Google Play ストアのテスト機能を使って動画の効果測定をする方法

Google Playストアに動画を追加する目的は2つあります。

1つはコンバージョン率をあげること。動画によって、わかりやすくアプリの内容や魅力を伝えることができればDL数の向上に繋がります。

アプリのリテンション率がこの3本のグラフ以下の場合、改善の余地があるということです。

2つめはインストール後のエンゲージメントとリテンションを上げることです。DL前に動画を見たユーザーは、アプリの価値や利用方法を深く理解した上で使い続けてくれるでしょう。

現時点でプロモーション動画を掲載しているのであれば、どれほどの効果があるか知りたいはず。この記事ではプロモーション動画の効果測定方法をご紹介します。

注意：この記事の内容は動画以外の要素 (アイコン、スクリーンショットなど) にも適応することができますが、主にGoogle Play ストアでの動画要素に絞っていることをご了承ください。

コンバージョン率へのインパクト

以下のように、Google Play ストアに動画を追加したことでコンバージョンの上昇が見られた例はいくつもあります。

全てのアプリで同じような結果が得られるとは限りませんが、現在掲載している動画がコンバージョン率へどのような影響を与えているかを測定することは、動画最適化への第一歩と言えるかもしれません。

ストア掲載情報のテスト機能

Google Play Consoleでは、A/Bテストを行うことができるストア掲載情報のテスト機能を提供しています。

この機能を利用すれば、ユーザーグループごとにパターンAとパターンBの動画を表示させ、コンバージョン率を比較することができるのです。

Image Source: https://developer.android.com/distribute/best-practices/grow/store-listing-experiments.html?hl=ja

テストを始める前に

どこのローカライゼーションから始めるべき？

国ごとにローカライズされた動画を作るのが理想的ではありますが、まずは現ユーザーで最も多く使用されている言語の動画から作成しましょう。ストア掲載情報のテスト機能は最大5ヵ国語まで同時にテストできますが、利用ユーザーの使用言語が多くない限り、1つの言語でテストすることをお薦めします。

目的を決める

動画を掲載していない場合、次のA/Bテストを行ってください。

• A：現在のまま (動画なし)
• B：動画以外の要素は変更せず、動画だけ追加する

動画を掲載している場合、次のA/Bテストを行ってください。

• A：現在の動画
• B：新しい動画

テストを実施する前に、次の3点を明確にしておきましょう。

• バリエーション：変更する要素 (動画ありかなしか、もしくは現在の動画か新しい動画か)
• 予測：期待する結果値 (どれくらいコンバージョン率に変化があるか)
• 根拠：コンバージョン率を向上すべき理由

テストが終了したら、それぞれのパターンからコンバージョン率を計測してください。

テスト中はマーケティングや新規ユーザー獲得の施策はなるべく変えない

上記のテスト機能はGoogle Play ストア内の結果を測定するものですが、外部要因によって結果が大きく変わってしまうこともあります。

その要因としてよくあるのが、大きなキャンペーン広告やプッシュ通知の配信によるものです。大きなキャンペーン広告を打った場合、詳細ページに流入したユーザーはアプリを理解した上で訪問しているため、DLをする可能性が高くなります。つまり、動画の影響度合いが計測できないということです。

Googleは、Google Play ストアへの流入元 (アプリストアでの検索やインターネットでの検索、広告など) を区別しないため、テスト結果にも影響してしまいます。

マーケティングでは常に同じ施策を実施することが難しいかもしれませんが、変更する場合は結果に影響することを忘れないでください。

現在のコンバージョン率を知る

Google Play Consoleを見れば、アプリの現在のコンバージョン率がわかります。

Google Play Consoleのユーザー獲得の獲得レポートから見ることができます

テスト前後でコンバージョン率の変化を見て行くため、先週までのコンバージョン率とテスト実施予定の国の累積のコンバージョン率を事前に確認しておいてください。

サンプル数を決める

テストを行うためには統計的有意性がある、つまり確率的に偶然ではないと言えるサンプル数 (テスト対象者数) が不可欠です。有意な結果を得るためには、パターンごとに数千単位でのインストールが必要と言われています。必要なサンプル数を割り出すために使えるツールもありますので、必要に応じて利用してください。

重要：「調整する必要あり」の値はテストケースによって変更してください（以下参照）

下記の値を変更する場合は注意してください。

• 検出可能な、最小の効果 (MDE)
• 統計的検出力(statistical power)

画像上の値は基準値です。アプリをリリースしたばかりであったり、DL数が少なかったりする場合は上記2つの値を低めに設定してもいいでしょう。

アプリがランキング上位でDL数も多いならば、もう少し厳しい値に設定しましょう。その場合は「Minimum Detectable Effect」の値を低めに、「statical power」の値を高めに設定してください。必要なサンプル数は増えますが、テスト結果の精度が大きく上がります。

上記の例だと、各パターン19,907人、合計39,814人の訪問者が必要です。また、コンバージョン率が20%の場合、合計7,962DLがサンプル数として必要になります。 しかし、これだけのサンプル数を集めるとなると、結構な時間が取られてしまうかもしれません。テストには、どれくらいの時間を割けば良いのでしょうか？

テスト期間

例えば、テストするアプリが1週間で5,000インストールされているとします。2パターンでテストをする時

• テスト期間が1週間の場合：1パターン2,500インストール→足りない
• テスト期間が2週間の場合：1パターン5,000インストール→より信頼性の高い結果が得られる

それでは、1週間に3万DLされている場合、テスト期間は2日でいいのでしょうか？

Googleでは最低でも週末を含む7日間は必要だと明記しています。ユーザーの行動は変則的であるため、結果として2日間では足りないと言えるでしょう。

2パターン以上のテストを同時にしてはいけない理由

ストア掲載情報のテスト機能では最大4パターン (現在のパターン＋3つのテストパターン) のテストを同時に行うことができます。

しかし、結果の取得が早く分析がしやすい理由からも、現在のパターンともう1つのテストパターン、2パターンのみでのテストをおすすめします。

Bending SpoonsのLuca Giacomel氏は「複数のパターンで同時にテストすると複数比較問題に起因するため、統計的信頼度の低下が見られる」と説明していました。

【STEP.1】YouTubeに動画をアップロードしましょう

Google Play ストアに表示される動画はYouTubeにアップロードされたものです。まずはYouTubeにプロモーション動画アップロードしましょう。

YouTube動画には「公開」「限定公開」「非公開」と3つのオプションがあります。「非公開」に設定すると、Google Play ストアでプロモーション動画を観ることができません。

動画を「限定公開」にした場合、流入元の大部分をGoogle Play ストアに絞ることができるため、動画を見た人のエンゲージメント分析の精度が上がります。

unlisted（限定公開）にすると、ほとんどをGoogle Playストアから来た人に絞れる

動画を「公開」に設定した場合、流入元を確認することができますが、流入元別にユーザー行動を分析することはできません。

もしアプリのトラフィックが高く、動画への流入が数千単位で見込めるのであれば、YouTubeの検索ランクが上がるので、動画を「公開」にすべきかもしれません。 そうでなければ、初めは「限定公開」にすることをおすすめします。動画の分析が一通り終わった段階で「公開」にするかどうかを判断してください。

【STEP.2】テストを作成しましょう

Google Play Consoleを立ち上げて「ストアでの表示」から「ストア掲載情報のテスト機能」を開いてください。

「新しいテスト」の「ローカライズ」から希望する言語を選んでください。

「ローカライズ」を選択すると、ローカライズした言語を理解できる人にのみ動画が表示されるため、ターゲットユーザーのデータを確実に取得することができるのです。

次は、テスト名を付けて表示率を設定してください。

次にテストしたい項目にチェックを入れます。今回のケースではプロモーション動画です。

YouTube動画のURLを貼り付けてください。

以上の設定が完了すればA/Bテストを開始できます。

【STEP.3】途中で結果を見ない

ここが一番難しいステップかもしれません。

テストの実施中は結果が気になって毎日進捗を確認したくなるでしょう。もし途中で覗いた結果が予想とは違っていても、設定した期間までテストを実施してください。また、テスト期間中にGoogle Play Consoleで「テスト終了」と表示されても、設定した期間までは続けましょう。期間の途中であってもサンプル数に達していないとGoogle Play Consoleが誤検知を起こす可能性があるからです。

誤検知と有意水準についてもっと知りたい方はこちらをご覧ください。

【STEP.4】分析しましょう

テスト期間が終わり、サンプル数も達成したらテスト結果を分析します。

「Current Installs」は各パターンのインストール数です。「Scaled Installs」はテストを行なっていなかった場合に予測されるインストール数を表します。この例は表示率を50%に設定していたので「Scaled Installs」は「Current Installs」の2倍になっています。

Google Search Consoleによる成功施策

上記は同じテストを10,000回行なった場合、90%は信頼区間が-3.3% ~ +6.1%の範囲内であることを示しています。この場合、今回実施したテストパターンを採用すべきではないということです。

こちらでは、同じテストを10,000回行なった場合、90%は+4.5% ~ +15.3%の範囲であることを示していますが、残り10%はこの信頼区間に当てはまらない場合もあります。

この場合、テストパターンを採用すべきだと言えるでしょう。

注意：最初に設定した検出可能な最小の効果 (MDE) を思い出してください。

MDEの値が大きく、パフォーマンスが0に近い場合は、たとえその値がプラスであっても注意しなくてはなりません。

MDEの値が5%よりも大きいと、テスト結果の信頼性が低くなるからです。

データが不足していると表示されたら

データが足りていると言われていても、数日後にデータが不足していると言われることがあります。何度も言いますが、サンプル数はテストを実施する前に決めておきましょう。

サンプル数は達していてもデータが不足していると言われた場合は、テストは終了していないと考え、テストパターンの採用はしないでください。

注意：サンプル数にも達しておらず、データが不足していると言われた場合は、ステップ3を再度確認しサンプル数に達するまで待ちましょう。

【STEP.5（任意）】テスト前後のコンバージョン率を分析する

Google Play Consoleでは、他のアプリのコンバージョン率と自分たちのアプリを比較できるベンチマークレポートを提供しています。

A/Bテストの結果を確証するために、テストから1週間前後のコンバージョン率を比較します。結果がはっきりと取得できるまでは他のテストを行なわないようにしてください。

コンバージョン率のベンチマークは全世界のオーガニックユーザーの値です。国を指定してテストしていた場合、ベンチマークも同じ国に絞ってください。

言うまでもありませんが、 テスト前の全体のコンバージョン率 ＞ テスト後の全体のコンバージョン率 テスト前のオーガニックのコンバージョン率 ＞ テスト後のオーガニックのコンバージョン率

であることを確認しましょう。もしも数値が違っていたら、テストのサンプル数を確認して再度同じテストを実施するか、B/Aテストを行ってください。

【STEP.6（任意）】B/Aテストを行いましょう

結果が著しく良かった場合のみ、B/Aテストを実施します。

『8fit』のThomas Petit氏は以下のB/Aテストは統計的観点から外れてはいるものの、大きなミスを防ぐことができると言います。

詳細はPetit氏のプレゼンテーションと資料をご確認ください。

• プレゼンテーション
• 資料

B/Aテストでは

• パターンA (現在のパターン) ：プロモ動画あり
• パターンB (確証のためのパターン) ：プロモ動画なし

とします。

テストはA/Bテストと全く同じ設定で行ってください。A/BテストでもB/Aテストでもテスト結果が変わらなければ、信頼できる結果ということです。

【STEP.7（任意）】プロモーション動画を改善しましょう

動画のクオリティはいくらでも上げることができます。特にテスト結果が悪かった場合は動画の改善から着手してみましょう。

YouTube アナリティクスを分析

動画経由でどれほどのユーザーがアプリをインストールしたかは計測できませんが、YouTube アナリティクスから動画のエンゲージメントを分析することができます。

以下の項目を分析しましょう。

• 動画閲覧数
• 動画閲覧時間
• 閲覧率

中でも興味深いのは視聴者維持率レポートです。 このレポートのグラフから、ユーザーが閲覧をやめたタイミングがわかります。

急に閲覧が落ちた場所があったら動画を修正するなどしてみてください。

注意：UACキャンペーンでも同様の分析を行なってください。

試してみましょう

動画を改善するために、どんなことができるでしょうか？

まず、全体の構成をまとめてみましょう。 例えば、

• 2秒　スマホ、ロゴ、アイコン画像
• 5秒　キャッチコピー1
• 5秒　キャッチコピー2
• 3/4秒　CTA

上記の場合、初めの2秒で表示されるロゴやアイコンはすでにGoogle Play ストアでユーザーが目にしているため削除しても良いと判断できます。キャッチコピーやコンセプトを変更してみてもいいかもしれません。

次のことを考慮して動画を調整してみてください。

• 小さめの画面用に最適化する：動画のほとんどがスマートフォンで再生されるので、小さな画面でもわかりやすく、見やすくしましょう。
• メッセージやキャッチコピーは冒頭に：一番伝えたいポイントを冒頭で差し込み、ユーザーの興味を引いてください。
• 音がなくてもわかる動画に：動画を観る人は音声をミュートしている場合が多いようです。 PlayStoreから観られていることを意識してテキストを入れましょう。複数の地域で動画を使用する場合、 動画を必ずローカライズ してください。

リテンションの効果を測定する

リテンションの測定は難しく、現時点ではリリース前後で分析するしか方法はありません。Google Search ConsoleにはDay1, Day7, Day15, Day30のリテンション率を確認するコホートレポートがあるのでそれらを追っていきます。

最後に

テストを行う上で気をつけることを以下にまとめます。

• ローカライズでテストを行う場合は、1ヵ国のみを選ぶこと
• テストする要素は1ヵ所のみ (動画入りor動画なし、旧動画or新動画)
• 予測される効果 (●%改善など) と根拠を事前に準備する
• テスト期間中は極力キャンペーンなどの施策を控える
• サンプル数とテスト期間は事前に決めておく
• サンプル数に達するまでテストを止めない
• 結果を分析し成功パターンのみを反映する

プロモーション動画によって、コンバージョン率とリテンション率を上げることができるかもしれません。ぜひ、検討してみてください。

この記事は、apptamin社のブログ"THE COMPLETE GUIDE TO A/B TESTING WITH GOOGLE PLAY STORE LISTING EXPERIMENTS"を著者の了解を得て日本語に抄訳し掲載するものです。Repro published the Japanese translation of this original article on apptamin in English under the permission from the author.