プロダクトのグロース戦略を狂わすロジックエラーとは？
生存バイアス((過去のパフォーマンスが良く生き残ったものを、実態を把握せずに過大評価してしまうこと))はグロースにおいて起こりうる最も単純なロジックエラーです。生存バイアスに詳しくない方のために、短い例で説明しましょう。
アメリカは第二次世界大戦の時に、燃料やペイロード((有償荷重のこと。航空機や船に金銭を支払って載せた荷物))のコストを妥協せず損失を最小限にするために、限られた量の装甲板を長距離爆撃機(飛行機)に装着しようとしました。そのため、軍は戦闘から帰還した飛行機を調査し、最もダメージを受けていた部分に装甲板を付けることに決めたのです。
軍の上層部はその計画通り動いていましたが、統計学者のAbraham Wardは「そこは装甲板を付けるには最悪の場所だ。」と一蹴しました。
Abrahamの洞察によると、「調査された飛行機の損傷した部分はダメージに耐えられた。だからこそ飛行機が基地に戻ることができた。」とのことでした。そしてAbrahamは、「調査した飛行機が損傷していない部にこそ装甲板を付けるべきだ」と結論付けました。なぜならその部分を損傷した飛行機は帰還できたのを見たことがないからです。
プロダクトのグロースにおいても、生存バイアスが現れるいくつかのパターンがあります。本稿で生存バイアスがグロース戦略を阻害する3つの例を見ていきましょう。
コンバージョン率が悪くなる理由
生存バイアスが生じる1つ目のパターン、コンバージョン率が時を経て悪くなる例から見ていきましょう。例えばあなたがランディングページ上に新しい登録フォームを作ったり新しい招待メールを始めたとします。それらはとても効果的でコンバージョン率を著しく向上させるでしょう。
実験を開始してしばらくは、全てが上手くいっているように思われます。しかし、6ヵ月後に様子を見ると、実験を開始する前の基準にコンバージョン率が戻っていることに気付きます。一体何が起こっているのでしょうか。
最初に新しい登録フォームを開始する時は、そのフォームは誰も見たことがないものです。登録フォームを初めて見た人の数％は登録しようとするでしょう。しかしながら、アカウントを手に入れたユーザーたちはもう登録フォームを見ることはありません。
その後、2回目にフォームを見た一部の人も登録するでしょう。しかし、彼らももうフォームを見ることはありません。成長が著しい会社のサービスであっても、最終的に5回ほどフォームを見てもなお登録しない人が大量に残ります。こういった人々が今後このフォームを通して登録するとは思えません。
つまりグロースチームは、ユーザーが新しいフォームに慣れてしまうと効果が下がってしまうことを予測し、重要なコンバージョンのポイントであるフォームにユーザーが再訪する時間を調整する必要があるということです。
より一般論を交えて説明すると、普及率のSカーブ((普及学: 社会学者のEverett M. Rogersが提唱し、新しいアイディアがなぜ、どのように普及するかを説明しようとする理論))に沿って進む際にコンバージョンの戦略を丸ごと変える必要があるということにもなります。
既存ユーザーのバイアス
次のパターンは、既存ユーザーの母体に生存バイアスが現れるパターンです。今日あなたが抱えているアクティブユーザーは全員、商品をどう使うか知っていて、サービスを継続して使うに値する価値をあなたのサービスに感じています。価値を感じていない人はおそらく既に離脱しています。
私がShopkickにいた時、グロースチームはジオフェンス通知を作ってパートナー店のうちの1つに近付くともらえるポイントの数を知らせるという大胆な施策を行ったことがあります。最初の実験の結果、予想を大きく下回るたったの2、3％の人しか店を訪問しませんでした。機能のバグを直し、なぜ訪問が増えないのかを探すのに数週間かかりました。数週間無駄に過ごした後、この実験結果を小さな発見として記録し、もうジオフェンス通知に投資しないと決めようとしていました。
しかし諦めようとしていたその時、新規ユーザーと既存のユーザーをセグメントして実験を分析してみたところ、真に何が起こっていたのかが分かったのです。既存ユーザーのたった2％の人々しか店舗に訪問していませんでしたが、新規ユーザーに関しては30%もの人々が訪問していたのです。
この実験はユーザーの活性化のために計画したものではなかったので、驚くべきことでした。最終的に、この実験には多くの意味がありました。既存ユーザーは全員どうやって商品を使うか理解し、店舗にいる時にアプリを使う習慣が付いていました。一方、それを理解していない人はずっと前にアプリを使うのをやめていました。この実験の洞察の結果、私たちはジオフェンス通知にもっと投資することに決め、ユーザーを活性化させるための戦略として成長させたのです。既存ユーザーがいかにバイアスになるかがわかる好例かと思います。
メールで登録者が減る
生存バイアスが間違いを誘う最後の例は、メールマーケティングです。メールやプッシュ通知を送る際の最適な頻度を決定することは重要です。そしてメールを送信する最適な頻度を理解するために、既存ユーザーのメールとの関わり方を見る場合が多いでしょう。
しかし、まだメールを受け取っている既存ユーザーは現在の頻度で良いと自身で選択しているので、このアプローチには強いバイアスがかかっています。頻度が気に入らなかった人の多くはすでにメール登録を解除しています。ユーザーにメールを送信する本当の最適な頻度を理解したいのなら、クリーンでバイアスの掛かっていない集団で試す必要があります。つまり、登録したての新規ユーザーです。まだあなたのサービスからメールや通知を受け取ったことのない新規ユーザーで実験することによってのみ、あなたの製品と関わる最適頻度を決定することができるのです。
まとめ
生存バイアスが邪魔するパターンをあらかじめ知っておけば、グロース戦略が狂うことなく、直感的に分からない結果が出ても解読することができます。
この記事は、 John Wegan上の記事 “ One Simple Logic Error That Can Undermine Your Growth Strategy“を著者の了解を得て日本語に抄訳し掲載するものです。Repro published the Japanese translation of this original article on John Wegan in English under the permission from the author.
