Pinterestに学ぶ！劇的にMAUを増加させる文言のテスト方法

どんな分野のグロースにおいても、ユーザーの興味をそそりエンゲージメントさせるために適切なフックを用いてメッセージを発信することが求められます。特にランディングページやメールの件名、プログのタイトルなど、ユーザーがその短文を見た瞬間にコンテンツにエンゲージメントするかどうか決めるような場面では、文言が肝になってくるのです。

BuzzFeedのような会社はこれを極め、競合よりも効率的に行うことで数十億ドルのビジネスを確立してきました。Pinterest社内でも文言のテストが効果的であることは認識していましたが、既存のシステムでは分析や設定がめんどくさいので、定期的なテストはしていなかったのです。このシステム環境によって文言を最適化させるために必要な繰り返しの作業ができずにいました。

しかし、昨年私たちはこの問題を解決するためのフレームワーク、「Copytune」を作成したのです。このフレームワークによって様々な言語での文言が最適化され、劇的にMAUが引き上がりました。この記事では、どのように私たちがCopytuneを作ったのか、文言の最適化に効果的な戦略とは何か、そしてこれらから学んだことについてお伝えします。

Copytuneの開発

Copytuneを作ると決めた際、我々はこのツールのゴールを下記のように頭に思い描いていました。

それぞれの言語で独立したテストを行い、各言語ごとの文言を最適化するツールにする。英語で最適だった文言がドイツ語でも最適というわけではありません。
簡単に文言のテストができるようにし、テスト設定の際はコードの変更が要らないツールにする。
仮に文言のテストを個別に30種類以上行い（一言語につき1つのテスト）かつそれぞれのテストで15種類のパターンを用意していたとすると、一番パフォーマンスの良かったコピー文言を各言語で選ぶのは人間の処理能力の限界を超えてしまうので、施策のテストが自動で行えるような機能を実装する。

dashboard それぞれの言語において一番読まれる文言が異なることを示しているCopytuneのダッシュボード

これらのゴールを達成するために、Tower（どんなものも載っている翻訳ライブラリ）のAPIを模倣したフレームワークを作りました。まずは全ての文字列がCopytuneを通過するようにし、その文字列のために設定されたテストはなかったかデータベースをチェックするようにしました。もしあれば、そのパターンの一つに戻ります。もしその文字列がテストになければ、CopytuneがそれをTowerに渡し、正しい翻訳を適用します。毎夜の仕事は全てのコピーテストの統計を蓄積し、最もいい文が検出できるほど十分なデータが取れたところでテストは自動的に終了です。

文言最適化戦略

最善の結果を得るためには文言のテストは面倒なプロセスを必要とします。一つのテストで一番いい文言を決定することはほぼ不可能なので、私たちはそれを見つけるために積み上げ方式を採用しました。

1.調査段階

どんな文言がうまくいくのかは明確にはわからないので、異なるテーマや口調など、多くのパターンをテストすることから始めました。だいたいいつも15-20個の異なるパターンをパッと思いついては出していきます。

【例】

ホームデコレーションに関する最新のピン
12/3/2015のホームデコレーションのトップピンをチェックしよう
あなたが好きそうな新しいピンを見つけました

2.精査段階

調査段階を経て、どの口調やフレーズが一番反応がよかったか確認します。調査段階で採用されたパターンを構成している様々な要素をテストすることで精査するのです。調査段階では、採用されたのが「あなたのためにいくつかの{pin_keyword}と{pin_topic}のピンとボードを見つけました！」だったとしましょう。この例ではいくつもテストできる最適化の方法があります。

variations

文頭に「こんにちは、エマ!」とピンナーの目を引くために付け加えることもできますし、「こんにちは、エマ!」と「エマ!」と「やぁ、エマ!」とどれがいいのかテストすることもできるのです。「見つけました」か「選びました」か、といったフレーズをテストすることもできます。「ピン」と「ボード」とするのか、「ピンとボード」の方がいいのかテストすることもできるのです。この例では少なくとも10通りはテストできます。これらを独立した構成要素として考え、採用されたものに対してテストしましょう。

3.組み合わせ段階

「こんにちは、エマ！」、「選びました」と「{pin_topic}」が2の精査段階で採用されたものとします。ここではこのコンビネーションがオリジナルの文よりもうまく機能するのかどうかテストすることができるのです。

「こんにちは、エマ! あなたのためにいくつか{pin_topic1}と{pin_topic2}のピンとボードを選びました!」
「あなたのためにいくつかの{pin_keyword}と{pin_topic}のピンとボードを見つけました！」

注：構成要素が一つとは限らないので、良さそうなコンビネーションが他にあればそれもテストしましょう。

過去最も反応が高かったメールでは、調査段階でもっともパフォーマンスの良かった文言のパターンを採用しても上がった開封率はわずか1%でした。しかし精査段階と組み合わせ段階全てのテストを行った後では、最適化されたメールの件名によって開封率が11%まで上がり、毎週何十万ものアクティブピンナーが増加したのです。

わかったこと

Copytuneができて約1年になりますが、これまでの取り組みでいくつかのことを学びました。

成功の定義

私たちがメールの件名をテストし始めた頃、成功基準をメールの開封率が上がることと定義しました。メールの件名を読んだ次の行動はそれを開くか開かないかの2択だということを考えれば、この指標は最もわかりやすいです。しかし、私たちが見つけたのは、もっとメールを受け取ったあとの行動（例えば、メール上のコンテンツへのクリック数）を成功の定義にする方がもっと効果的です。開封させることには長けている件名であっても、その件名を見たユーザーが抱いた期待と実際のコンテンツとにミスマッチがあり、結局はあまりクリックされないという場合もあるからです。

パターンを選ぶ

Copytuneのもともとのビジョンはパターンを選定し、自動で最適解を選ぶための多腕バンディット((多腕バンディット：(英称：Multi Armed Bandit)。それぞれに異なる見込み配当率が設定された、「One-armed bandit（片腕の盗賊）」というスロットマシンが複数並んでいる状況を模した仮説テストという意味))フレームワークを使うことでした。私たちがぶち当たった困難は機能の開発者が多岐にわたるメトリックをどのようにテストするのかについて知りたかったこと、そしてそのテストから具体的なMAUの利益をリポートできるようにしたかったということでした。これらのニーズに答えるために、最終的には私たちの内部A/BテストのフレームワークとCopytuneを統合しなければならなかったのです。

この記事は、PinterestのグロースハッカーJohn Eganのブログ記事”How Pinterest increased MAUs with one simple trick”を著者の了解を得て日本語に抄訳し掲載するものです。 Repro published the Japanese translation of this original article on John Egan’s blog in English under the permission from him.