目次
最近あらゆる人がA/Bテストの虜になっているように思えます。ボタンの様々な色、カートアイコンの見た目の種類、ランディングページの新しいボタンなどに関するテストのヒントをいつも見かけます。ランダムにA/Bテストをすることでコンバージョン率やダウンロード数は増えるかも知れません（スクリーンショットの順番を変えるだけで、MyDayというアプリのダウンロード数が何倍にも増えたこともありました）。
しかし、多くの場合、ランダムにA/Bテストをしても確実な結果を引き出せることはほとんどありません。AppSumoによると、A/Bテストでは8回に1回しか本当に価値のある結果が出ないそうです。それ以外の場合にはテストに力を注ぐ価値はありません。それでは、どうやってモバイルアプリのA/Bテストを行って、本当にアプリのパフォーマンスを向上させるのに役立つ結果を得ることができるのでしょうか？これがこの記事のテーマです。
いつ、そしてなぜA/Bテストは失敗するのか
A/Bテストは統計的に有意な結果が得られなかった時に失敗とみなされます。テスト結果が統計的に有意ではないときというのは、テストした中でどの選択肢が良かったのかはっきりと結論が出なかった時です。はっきりとした意図を持たずにデザインを微調整したり、プロダクトの一部分をランダムにテストすれば有意ではない結果は簡単に出てしまいます。
そのような結果も価値があるという意見もありますが、全てのことにA/Bテストを行うのは効率が良くないということは明らかです。しかし、それは一つの側面にすぎません。もう一つ失敗といえるのはA/Bテストは統計的に有意な結果を示しながらも、予想した結果とは異なっていた時です。
例えば、たくさんのリソースをつぎ込んでプロダクトを劇的に変更しながらも、「変更後」のプロダクトが「変更前」のプロダクトよりも劣っていたとしましょう。これが起こってしまうのは、そもそもこの変更の効果を裏付けるのに十分なデータ（例えば、KPI設定、ユーザーリサーチ、マーケットリサーチ）が無いからなのです。A/Bテストがあなたの望む結果を示すのは、テストが意味のある物で、アプリのパフォーマンスを伸ばすこともできる箇所にターゲットを絞って行った時だけで、そのようなA/Bテストはあなたのビジネスのゴールを達成する手助けになります。ではどうやってA/Bテストを有意義なものにできるのでしょうか。
画像出典： TheNextWeb
まず、よく考えてA/Bテストを実施する
モバイルアプリにおけるA/Bテストというと、通常は下記の2つのどちらかを指します。
- アプリ内のコンテンツ（UIやUX、ユーサビリティ、アプリの初回体験、アクションを促すボタン）のテスト。アプリ内でのA/Bテストはユーザーのアプリ体験やアプリへのエンゲージメントを全体的に向上させるために用いられます。
- アプリストアのページ、広告、ランディングページのテスト。アプリストアとランディングページのA/BテストはCACを高めるために用いられます。
先に述べたように、プロダクトの細部に関して逐一盲目的にA/Bテストを実施するのは無意味な物になる可能性があります。しかし、何を向上させる必要があるのかを認識しているのなら、本当に意味のある改善点をテストすることができるのです。価値のあるA/Bテストを作るためには、以下の3ステップをたどってください。
1. ゴールを定める
A/Bテストを使って重要な指標を向上させようとする時には、ビジネスゴールを心に留めておくことが不可欠です。ほとんどのモバイルアプリにとって、最も重要な指標はコンバージョン率です。「ユーザーコンバージョン」はユーザーの具体的なアクションで、アプリをマネタイズするゴールに近づけます。ユーザーとアプリのエンゲージメントレベルごとに、異なるユーザーコンバージョンイベントを定めることができるのです。以下にユーザーコンバージョンイベントになりえるものを挙げておきます。
1. ユーザーがアプリをインストールする前
- 広告のクリック
- 購読
- アプリストアでのアプリ詳細ページ閲覧
- アプリストアからアプリのダウンロード
2. アプリ内のコンバージョン
- ユーザー登録
- ユーザーのエンゲージメントを促進するアクション（例えば、プロフィール画像の設定やコンテンツのシェア）
- クレジットカード情報の入力
- アプリ内での購入
- 友人のアプリへの招待
2. KPIを定め、現状を把握する
重要目標達成指標(KPI)はアプリの成功度合いを反映する指標です。しかし、「成功度合い」はインストール数、1セッションあたりのアプリ起動時間など決まっているものでしょうか。全てはあなたのビジネスにおける目標によって決まるのです。
A/Bテストにおいて、よく考えられたKPIはアプリのどの部分に注力すればいいのかをはっきり示してくれます。アプリの分析ツールを使ってKPIをはかり、プロダクトの弱点となり得る部分を見つけ、改善する部分の優先順位付けをしましょう。そして、A/Bテストで得られた知見を生かしてその弱点を無くすのです。
ダウンロード数を増やす必要がある場合は、アプリストアの詳細ページとアプリのランディングページを色々試してみてください。ユーザーがチャーンしやすい、もしくは1セッションあたりのアプリ起動時間が短すぎる場合はユーザーが離脱しやすい画面を見つけてそこでA/Bテストを実施しましょう。KPIとアプリの分析ツールについてもっと詳しく知りたい方は、このアプリの分析と指標についてのガイドをご覧ください。
3. 良いUIと良いUXが成功の鍵であると肝に銘じる
様々な種類のランディングページ、ショッピングカートのメニュー、トーク画面などをランダムにテストしているとしたら、結果も行き当たりばったりなものになってしまうでしょう。A/Bテストのテスト対象はターゲットにするユーザー目線のデザインで、良いデザインを生み出すための原則についての広域な調査に基づいているべきです。ただ「変える」ことを目的に何かを変えてKPIを向上させようとしてたくさんの時間を無駄にするも、ユーザーのデータを元にして考え抜かれたデザインの微調整でKPIを向上させるもあなた次第です。
ユーザーテストが正しく行われた時
以下に賢明なA/Bテストがしっかり結果をだし、コンバージョン率の向上に役立った実例を挙げておきます。
アプリ名：Runkeeper 取り組み：スタート画面を再構成することでユーザーのエンゲージメントを高めたRunkeeperは2008年にリリースされたiOSとAndroid向けの運動記録アプリです。2013年により多くのユーザーにランニング以外の運動も記録してもらうように働きかけることにしました。スタート画面を変えることで、ユーザーがウォーキング、サイクリング、それだけではなくその他の運動も記録するようになるをという仮説を元にA/Bテストを実施しました。
出典： Localytics
旧バージョンになじんだユーザーを手放すことにもつながりかねないので、スタート画面を変更するのはリスクの高いことです。しかし、Runkeeperの新しいスタート画面はうまく機能しました。アイコンをベースとしたメニュー画面ではより多くのユーザーがランニング以外の運動を記録するようになったのです。結果的に、ランニング以外の運動が記録された回数は235%増えました。
アプリ名：koda 取り組み：アプリストアのスクリーンショットのテストを行った。kodaはただアプリストアのスクリーンショットの順番を変えただけでkoda LittleDriverというアプリのインストール率を50%伸ばました。彼らはユーザーが画面を注意してみる時間は8秒前後に減っているという調査に基づいて仮説を立てました。これは平均的なユーザーは全てのスクリーンショットを見たり、長い説明文を読んだりしないということを意味しています。
kodaはそれぞれの効果を確かめるために3種類のスクリーンショットを作成しました。最初のテスト対象はアプリの機能を説明したスクリーンショットでは画像の一番最初の位置に配置したもの、2つ目のテスト対象は最初のスクリーンショットを加工したものです。そして、3つ目はそれに空と草原と道路を描いた画像を背景に足したものを使用しました。
出典： Bamboo Group
1番目のテスト対象を使った時アプリのインストールが50%増加し、一番良い結果を出しました。この結果は予想出来ていましたが、kodaはA/Bテスト価値のある知見をもう一つ引き出していたのです。ごちゃごちゃした背景はユーザーのコンバージョン率にネガティブな影響を与えることがあります。
アプリ名： Fab 取り組み：適切なアクションボタンを探し出そうとした Fab(オンラインの小売コミュニティアプリ)は「カートに追加する」ボタンをわかりやすくすると、どのようにカートに追加される商品の数に影響するかをテストしました。元々のデザインは小さなショッピングカートマークに「+」マークがついたものでした。一方A/Bテストで使用された代わりのデザインは「Add To Cart」と「+ Cart」というものでした。
出典： Wishpond
より直接的でわかりやすい「Add To Cart」というアクションボタンを使用した時、クリックが49%増加しました。この一見するとささいな変更がこれほど大きな影響を与えることができるということは、常識に基づいた判断がビジネスで常に一番良い結果が出る訳ではないということを示しています。
サービス名：Spreadshirt 取組：ページのデザインをシンプルにし改善SpreadshirtはカスタムTシャツとそのプリントの売買ができるオンラインの小売業者です。 Spreadshirtは売り手の数を増やそうとしていました。これを達成するために、Tシャツの売り手になるための手順を示したインフォグラフィックを変更しました。元々のインフォグラフィックは情報が詰まっていて便利でしたが、わかりにくかったかもしれません。
出典： Wishpond
変更後はミニマリスト的でありながら、売り手になるための手順をわかりやすく示した物でした。
出典： Spreadshirt
結果はどうなったのでしょうか「Start selling now」というボタンを押したユーザーの数は606%増加したのです！
結論
ここで紹介したA/Bテストが有意義な結果を残したのは、それらがアプリの分析データと鋭いデザインの改善によるものです。まず、ディベロッパーは改善するべき弱点を見つけ出しました。次に、プロダクトをよりわかりやすく、直観的で、使いやすいものにするためにユーザーのことを心に留めながらテストするものをデザインしました。
A/Bテストにおける一番の失敗は改善案を裏付けるのに十分な調査なしでランダムにテストを実施することです。モバイルアプリのA/Bテストを行うときは、ユーザーが何をほしいと思っているかを理解し、道理にかなったプロダクトのデザインを行い、そして、本当に意味のある結果を得るために分析とテストを繰り返さなければいけません。
この記事は、 Medium上の記事 “ When Mobile App A/B Testing Gives Really Valuable Results“を著者の了解を得て日本語に抄訳し掲載するものです。Repro published the Japanese translation of this original article on Mediumin English under the permission from the author.
執筆者
