アプリのチャーン予測モデルを簡単に計算する方法｜Repro Journal （リプロジャーナル）

なぜユーザーはチャーンしてしまうのか

プッシュ通知をオンにしているユーザーの数は毎年減っています。2017年、プッシュ通知を数回でオフにしたり、一回もオンにしなかったユーザーは全体の38%でした。この値は2015年より7％高くなっています。

結果として、3分の1のユーザーがプッシュ通知を通したメッセージを受け取っていないことが分かります。メールアドレス登録などがない場合Eメールでメッセージを送ることもできません。

また、50%ものユーザーが1ヶ月に1つも新しいアプリをダウンロードせず、13%のユーザーは1ヶ月間に1つのアプリしかダウンロードしていません。このことからアプリを成長させるためには、チャーンを防ぐ顧客基盤の強化に注力すべきだといえます。

CHURNCAL 唯一必要な統計値

チャーンのモデリング

チャーンレートはアプリを使う人の中で、どれだけの人が一定期間の内に離れていくかという計算で求められます。ここではその簡単な方法をご紹介します。

まず、あなたのアプリを直近1ヶ月で利用し始めた人数を調べ、その数と2ヶ月目になっても使い続けている人数を比べてください。これらの数字からチャーンレートを求めることができます。

ビジネスや市場はそれぞれ課題を抱えているため、計算したチャーンレートが良いかどうか決める基準はありません。しかし、チャーンレートを何度も出していくことでアプリが成長したのかどうかその変化を見ることができるでしょう。

CHURNCAL チャーンの公式

信頼できるチャーンレートを出すために以下のソースを含めたデータを集める必要があります。

アプリの使用データ
課金データ
位置情報データ
セグメントや評価などが計算されたビジネスデータ

特定のビジネスデータは多くの場合、あらかじめ計算されている必要があります。これはETL(抽出、変換、読み込み)のプロセスで行い、意味のあるデータをとりましょう。

例えばタクシーアプリだと、タクシーユーザーとドライバーの両方からピックアップの位置情報を計算するためにデータをとる必要があります。

ドライバーには事前に、お客さんを乗せるたびにRideID(注文iDのようなもの)を付け、決済完了などの支払い情報や乗客が降りた後に乗客とドライバー両方に対する評価をIDに追加しましょう。

一度、入力データをとれたら、データ分析で最初の予測モデルを作成してください。これはとても複雑で、最初に取得できるのはチャーンや、それぞれのユーザーに影響する母数のリストです。このデータから価値を見出す過程で本当の価値が見えてきます。

チャーンの理解

『Liftgo』の場合、以下のものが数学・論理的な結果でした。

『Liftgo』におけるチャーンの計算で重要な要因

1人1人の乗客のタクシー利用回数
割引クーポンの使用割合(より多くの乗客がクーポンを使うということはより高いチャーニングの可能性)
1回のタクシー利用に対する平均利益(より長い運転はより小さいチャーンの可能性)
一定期間内のタクシー利用回数(90日間でどれだけ使われたか)

最初の予測モデルには75%の信頼性がありました。つまりチャーンユーザーを75％の確率で割り当てることができたのです。もし、予測モデルが30日以内に100人のユーザーがチャーンすると予測したら、75人が実際にチャーンしたということです。

正確性を高めるためにはより多くの様々なデータが必要なのですが、入れる要素を増やせば増やすほど、その予測モデルがエラーを起こす可能性も大きくなるため100%予測するということは不可能です。

最終的な目標として信頼性・正確性を85%付近に持っていくことを目指しましょう。しかし、アルゴリズムのバランスを測ることは戦略的ビジネスの判断を妥協することになるのです。

ビジネオーナーのなかには、より多くのデータをより簡単にあつめるために、リスクを背負うことを好む人もいますが、ほとんどのビジネスオーナーはデータ量を減らし、より正確な予測を立てようとします。

テストではこれが最も重要なチャーンのモデリングにおいてのプロセスと言えるでしょう。1度だけの統計で確証のある数字は得られません。

予測モデルの信頼性が高いかどうかをテストして評価する必要があります。もし一定の信頼性あればチャーンする可能性が高いと出たユーザーに対しては何らかの施策を行わなくてはなりません。

チャーン予測モデルのテストと向上

予測モデルのテストでは、まずユーザーをテストするグループと比較するグループに分けることから始めましょう。テストを検証するためには少なくとも2つ、比較可能なグループを持っている必要があります。

対照とするグループは、どんなメッセージやアップデートも受け取らないということが重要です。すると何も変更せず、ブランド愛のあるユーザーだけが長期間このグループに残ります。しかし、この方法ではあまり正確ではない結果が出てしまうのです。

例えばそれぞれのグループに100人ずつユーザーがいて、次の数ヶ月間で、たった10人のヘビーユーザーしか残らなかったとします。残ったヘビーユーザーが毎回メッセージを開封したとしても開封率は10%です。

また、彼らがテストグループより4倍以上もタクシーを利用したとしたらコンバージョン率は高くなります。

もしもテストグループの開封率が20%でコンバージョン率がたったの3%だった場合、どのように比較するのでしょうか？単純に比較しただけではテストグループへ送ったメッセージやアップデートの効果があったとは言えないでしょう。

もし自動計測ツールがグループ分けの自動リフレッシュ(Intercomのような)機能を持っていないとしたら、1週間に1度はリフレッシュをすることを推奨します。

チャーンする可能性の高いユーザーにはお金を使いたくはないでしょう。セグメンテーション分析ツールでどのユーザーがチャーンする可能性が低いのかわかります。

また、クーポンの使用数や返金した合計金額を把握して、そこから出したユーザーの注文平均価格、利益をテストグループと比べることで良い判断ができます。

『Liftago』は、いつも無料クーポンを使うユーザー(30%以上のタクシー利用に割引が適応され、1ヶ月以上前から参加した乗客は4回以上タクシーを利用していた)のグループとチャーンレートがあまり高くないユーザー(チャーンレート0.5であっても、予測モデルは75%の正確性しかないのでおそらく2分の1の確率より低くなるでしょう。) にグループを分けています。

結果的に『Liftago』においてのチャーンレートは0.85未満ということになりました。もしその値が高くなったとしたら、アクティブユーザーが少なかったからでしょう。もしチャーンレートが0.95より高くても数十人のユーザーしか利用していなかったとしたら、統計的にテストするのはとても難しいです。

CHURNCAL テスト可能なユーザーの図

10,000人のユーザーが75,000回タクシーを利用しているなら、少なくとも1人2-3回以上タクシーを利用しています。6,000 MAUの内の一部しか期間内にタクシーを一定回数 (少なくとも月に4回) 利用していないことがわかり、チャーンレートは計算可能となります。

この設定でのチャーンレートの変動を元にすれば、チャーンしそうなユーザーが1,000—2,000人いるということがわかるでしょう。この限られたユーザーしかテストグループと対照グループとして分けられることができないため、1つのグループは大体500—1,000人規模になります。

1,000人というユーザー数は統計値を作るには十分な数ではありますが、徹底的なA/B テストはできません。

この設定においてテストが完了するまで最低でも2-3週間はかかるでしょう。これは、アプリのチャーン予測モデルは最低でも60,000-70,000 万MAUが必要なためであり、もし予測モデルをより短い期間で使いたいのであれば、もっと多くのMAUが必要になってきます。

運が良ければ最初の結果を数週間以内で手に入れることができるでしょう。

プッシュ通知無しのグループのチャーンレート 75% プッシュ通知有りのグループのチャーンレート 71% (71%のユーザーが利用しなかった)

→4%差

意味のある数字はとれるのでしょうか？もし数万人ものMAUしか持っていないのであれば意味のある数字はとれないでしょう。しかし2次的に価値が出て来るかもしれません。

この記事は、 APPAGENT社のブログ" HOW TO EASILY CALCULATE CHURN MODEL FOR YOUR MOBILE APP"を著者の了解を得て日本語に抄訳し掲載するものです。Repro published the Japanese translation of this original article on APPAGENT in English under the permission from the author.