目次
教育用のビデオからお見合いアプリ用のプロフィールまでA/Bテストが実施されるほどスプリットテストは主流になりました。しかし、この手法が大衆化したことで、基本的に知っておくべき原則を見過ごすという罠に何度も陥っている人も見受けられます。本記事では、アプリストアのA/Bテストでの失敗例を見てみましょう。
サンプル数を間違える
テストの対象となるグループあたり100インストールより少ない状態で、結論を導きだすことはほとんど不可能です。サンプル数が少ないと、その結果は科学的な裏付けがあるものとは言えず不確かなものであると言えるでしょう。対象とするサンプル数が多いほど、正確なデータを得ることができますが、過剰にユーザーをテストに参加させ、無駄な費用が掛かってしまうのも嫌でしょう。
いくつか式を用いて、集計したデータから母集団の大きさ、許容誤差、信頼区間((原文：confidence error))をもとにしたサンプル数を計算することができます。標本を推計するためにStata、nQuery Advisor、UnifyPowといったオンラインのツールを使用しましょう。中でも一番簡単なのは以下のオンラインのツールかもしれません。 Evan’s Sample Size Calculator SurveySystem Sample Size Calculator
SplitMetricsを使用してA/Bテストを行うときは、ソフトが統計的に有意な結果が出るように実施します。
仮説を立てていない
アプリストア内のアプリの詳細ページに関するテストを行うとき、テストのデザインについて戦略的に考えることは役に立つでしょう。何をテストするのか固まっていれば、途中で当初の主旨から反れてしまうことはありません。どんな結果を望んでいるのかはっきりしていれば、少ないリソースで早くゴールにたどり着くことができます。A/Bテストの仮説を立てる前に以下の2つの質問を自分自身に問うてみてください。
- 何がゴールなのか？
- アプリの詳細ページで問題となっているかもしれないことは何なのか？
アプリの詳細ページのA/Bテストにおけるゴールは閲覧者がインストールするコンバージョン率であり、大抵の問題はそれを妨げるデザインのパーツです。ここで仮説を立てることができます。仮説には2つのことが含まれていなければいけません。
1つ目はコンバージョン率を向上させることによるゴールは何なのか。2つ目は上記の2つ目の質問で発見した問題を解決するために何を変更するのかです。試しにRovio社のAngry Bird 2のアプリ詳細ページを使ってサンプルの仮説を立ててみましょう。
モバイルアプリでアプリのインストールを増やすためのキャンペーンにおけるCPCが増えていることを考えたら、コンバージョン率がより高まるだけでも、多くのお金を節約できることがわかります。2015年に1,000万人を対象に実施したSplitMetricsの一斉調査によると、ゲームアプリのコンバージョン率の中央値は、4.47%でした。それを基準値とすると、コンバージョン率10%、5.53%（+123.71%）の増加を狙うのは十分に面白い挑戦だと思います。
これを達成するためのアイデアがひとつあります。ほとんどのゲームアプリ開発会社はアプリのスクリーンショットを横向きにします。これはゲームのカテゴリの中では標準的です。そこで縦向きにしたところ、我々のアプリ詳細ページは際立つ可能性があるのではないでしょうか？
RovioのAngry Bird 2はスプリットテストで良い結果を残した縦向きのスクリーンショットを使用してコンバージョン率が13%増えた。
Angry Bird 2の場合
コンバージョンのゴール
アプリ詳細ページ閲覧者のインストールへのコンバージョン率10%を達成する
アプリが抱えていた課題
たくさんのゲームアプリが横向きのスクリーンショットを使用していて、自分たちのアプリも同様だった。
仮説
スクリーンショットを縦向きに変えることによって、コンバージョン率を向上させることができる。この仮説をもとに、縦向きと横向きの2パターンのスクリーンショットを使ってテストを実施できます。
インストール数を計測するツールを併用していない
『Tune』、『AppsFlyer』、『Adjust』といったマーケティング用の計測ツールを使用しているなら、これらをA/Bテストツールと併用して、新規ユーザーをテストに貢献させることができます。これにより、どんなユーザーを獲得しているかについてより、充実したデータを得ることができます。
Split Metricsはどんなモバイルの集計、分析ツールにも連携しています。変数{click_id}を使ってどんなユーザー属性にも送ることができ、それをカスタムインストールURLに追加することができるのです。
予備のテストを実施していない
最初のテストを実施したとき、外的要因がテストの結果をめちゃくちゃにしてしまっているかもしれません。何回もテストを行うのは、総合的なコンバージョン率の変化を確認するだけではなく、ページ上のどのパーツがより多くのインストールを生み出しているのかを再認識するのにも便利だからです。一つのパーツ（たとえば最初のスクリーンショットと3番目のスクリーンショット、または「続きを読む」）に着目してそれがキャンペーンの結果に影響を及ぼしているのか確かめることができます。
一度にテストする対象が多すぎる
対象がたくさんあるテストの問題はセットアップが大変なことです。幅広く計画を立てる必要がありますし、どの要素がコンバージョンの成長や後退に貢献しているのかがわかりません。アプリの詳細ページで一度にたくさんの変更をしてしまうと、何がうまくいっていて、何がうまくいっていないのかを判断するのが難しくなります。背景色の色や配置、最初のスクリーンショットを変える、スクリーンショットの順番を入れ替えるなどのシンプルな変更はセットアップが簡単でわかりやすいテスト結果がでます。トラフィックと時間が無限にあるのではなければ、変更点は一つにして、テストを繰り返しましょう。
『Paper by FiftyThree』のマーケティングチームはそれぞれのスクリーンショットの色を変更することでアプリストアの詳細ページのコンバージョン率を向上させました。
テストを中止するのが早すぎる
テストを始める前にサンプルの量を確認し、テストが終わるまで待ちましょう。このトピックにおいて利用できる一番のリソースの一つでもある、2010年にEvan Millerが書いた記事がおすすめです。Evanは手動でも自動でも「中止条件」を付けているA/Bテストは有意義な結果をもたらさないと主張しています。このミスは統計学で「繰り返し有意検定の過誤」((原文: repeated significance testing errors))として知られているものからくるものです。
テストを繰り返さない
季節的な消費行動、人口動態の変遷、市場の変動、製品と競合の変化などはすべて様々なタイミングで異なる結果を引き出す要因になります。市場の競争で最前線に居続けるために素早く前進し、その道のりでプロダクトを最適化していくのが理想的でしょう。一流のアプリ開発会社はアプリストア上のプロモーションを有効利用します。10月のハロウィーンのテーマへの変更や、クリスマスのアプリストアの「デコレーション」、ブランドイメージの大胆な変更も有効利用できます。
RovioのAngry Bird 2の季節に合わせたアイコン。イースターエッグ、サンタの帽子、バレンタインのハート、そしてセント・パトリックスデイのアイルランド帽子
もっと知りたい方は
A/Bテストに関してより深く知りたい方は、以下のオンライン上のリソースを使用することができます。
- Jesse Farmer のStatistical Analysis and A/B testingアプリ詳細ページ閲覧者の行動がランダムなものかどうかを見分ける方法について説明している素晴らしい記事です。Farmerは帰無仮説、Z値、そしてその他の便利なツールについても扱っています。また、ランディングページのコンバージョン率のテストのサンプルも見ることができます。
- Paras ChopraのThe Ultimate Guide to A/B Testing Smashing Magazineから集めた総合的な記事です。何をA/Bテストできるかといった基礎的なことを扱っています。また、昔のA/Bテストの事例へのリンクもあります。
- Charles WheelanのNaked Statistic「統計の入門を逃した人のための救世主」というフレーズがこのアマゾンのベストセラーを正確に表しているでしょう。
まとめ
アプリストアの詳細ページのA/Bテストはモバイルマーケターにコンバージョン率の向上や、オーガニックのアプリダウンロード数の上昇など、様々な利益をもたらします。A/Bテストの美しいところは、まるでユーザーのところに行って直接アプリの詳細ページのデザインについて好きなところと嫌いなところを尋ねているかのようであることです。同時に、A/Bテストの有効性が明らかになってきたことで、この科学的な手法が基礎としてきたシンプルな約束事が見過ごされる危険性も生まれています。
ここまでアプリストアのA/Bテストを実施するときにマーケターが犯しやすい7つの失敗を取り上げました。ASOのテストにおいて賢く戦略的になることで、よりよく、より信頼できる知見を得られることでしょう。
この記事は、 SplitMetrics上の記事 " How Not To A/B Test: 7 Fails of App Marketers"を著者の了解を得て日本語に抄訳し掲載するものです。Repro published the Japanese translation of this original article on SplitMetricsin English under the permission from the author.
執筆者
