Shopkickに在籍していたときに特に注力していたグロース施策はジオフェンス通知です。ジオフェンス通知とは位置情報に基づいた通知で、ユーザーがShopkickと提携しているお店の近くにいると通知を送信します。来店客数を増やすために、そのお店で何ポイントが利用可能かを知らせてShopkickのアプリを使ってもらうことが通知の役割です。
当時iOS、 Androidアプリのジオフェンシング機能対応は目新しかったので、機能の実装そのものも大変でしたし、精度とバッテリー消費の適切なバランスを保つ微調整にもかなりの技術的困難が伴いました。この機能が来店客数を20%~30%は増やしてくれると信じていたので大規模なリソース投入に踏み切ったのです。
しかしながら、この機能を実装したあとの結果にがっかりしました。最初の施策ではたった3%しか来店客数が増えなかったのです。期待とは程遠い結果でした。ジオフェンス通知がゲームチェンジャーになると固く信じていたので、この結果は何かの間違いだろうと思ったほどです。
その数週間をデバックや問題の究明に費やしました。我々はテストとデバックをするためだけにiOSアプリを開発し、ベイエリア全てにわたってフィールドテストを行ったのです。これだけやったあとも、細かい問題は見つけられましたが問題の核心をつきとめることはできませんでした。
最終的に、施策の実行結果のデータをもう一度じっくり見ることにしました。今回はジオフェンス通知を実装してからアプリを使い始めたユーザーとそれ以前のユーザーを別々に分析しました。するとこの機能が新規ユーザーの来店客数を20%以上増やし、新規ユーザーのアクティブ率も改善されていることが分かったのです。
ユーザーのアクティブ率とエンゲージメントの増加を目的とした実験においては、実験がどういう結果になったかを正確に知るためにセグメント別に分析することが重要です。この実験では2つの注目すべき結果がありました。
年老いた犬
”芸は若いうちに学べ”ということわざを聞いたことがあると思います。一つ目の注目すべき現象は、既存ユーザーはアプリの利用方法に偏りを持ってしまうことです。実験の前に製品の使い方を学んでいるので、ジオフェンス通知がなくてもアプリに十分な価値を見出しているのです。彼らは実験の前に自分なりのアプリの利用パターンを確立しているので、今後もアプリを使い続けてくれるでしょう。
しかしながら新規ユーザーは先入観を持たず、ジオフェンス通知を常にこのアプリの機能の一つだと認識しています。新規ユーザーだけを見ることで、バイアスのかかっていない母集団から価値あるインサイトを得られるでしょう。
薄まった結果
二つ目の注目すべき現象は、アクティブでエンゲージメントの高いユーザー群はエンゲージメント増加を狙いとした実験の結果を薄めてしまう場合があるということです。すでにアプリへのエンゲージメントがとても高いユーザーのエンゲージメントレベルをさらに高めるのはとても難しいからです。エンゲージメントしていないユーザーや新規ユーザーをもっとエンゲージメントさせるほうが簡単でしょう。
以下の図に示しているのは私がPinterestで行った実験結果です。新しいタイプのプッシュ通知をあるユーザー群に送るという実験でした。全体的に、ターゲットとしたユーザー群のWAUは3%上昇しました。
全ユーザーでの実験結果
しかしながら、セグメント分析を行いエンゲージメントの低いユーザー(月に4回以下しかアプリを使わない)に新しいプッシュ通知がどういう結果をもたらしたか見てみると、彼らのWAUは10%上昇していたのです。
月4回以下しかアプリを使わないユーザーの実験結果
案の定、アプリのコアユーザー(1週間に何度もアプリを使う)には新しいプッシュ通知がどういう結果をもたらしたか見てみると、WAUの指標には全く影響を与えていないことがわかったのです。
コアユーザーの実験結果
まとめ
表面的にA/Bテストをするのは簡単ですが、施策が全てのユーザーに等しく影響することはめったにないですし、大まかな結果だけをみてしまうとミスリードが起きてしまいます。
実験結果を国、性別、ユーザーのエンゲージメントレベル別（もちろん施策実行前のレベル別です）に分けること、そして”老いた犬”現象と”薄まった結果”現象を頭に入れておくことが大切です。そうすることで実験がもたらした影響を正しく理解できます。実験が必要なく、むしろ実験が悪影響を及ぼしてしまうユーザー群を見つけることもあるかもしれません。
この記事は、PinterestのグロースハッカーJohn Eganのブログ記事”Experiment Segmentation: Avoiding Old Dogs and Watered Down Results”を著者の了解を得て日本語に抄訳し掲載するものです。 Repro published the Japanese translation of this original article on John Egan’s blog in English under the permission from him.
