こんにちは、READYFORのまきです。
今日は副業愛好家ではなく本業としての記事です。

この記事は READYFORアドベントカレンダー2021 、9日目の記事です。

なにこれ

Web系開発で、「その施策にどれだけ効果あるの？」となった時に最短距離でその疑問に応え、意思決定する方法を書きます。

筆者の経歴

新卒で入社した会社ではマーケティングリサーチャーとして、商品開発の不確実なポイントを定性調査・定量調査どちらも使って分析していました。

その後、大手通信系のメディア運用を行う子会社に入社し、プロダクトオーナーとして、Web開発の現場でやるべき施策の検討〜効果検証までを行なっていました。

そして現職READYFORではプロダクトマネージャーとして、前職と同様のことを前職ではData Analyst、UX Designer、Directorがやっていた領域にも広げて行なっています。

一貫して「ビジネス課題に対して定量的な知見から答えを出す」というところをやっています。

本題：解決方法

以下の3ステップで最小工数で効果予測を終わらせます

1. 結果が出たときのアクションを想像する

2. 数値を調べ始める前に方程式を作る

3. 必要な数値を算出する

どんな課題を解決するか

Web開発の現場でよく起きるのは、「どの施策をやる？」という意思決定です。

そんなときに

となり、検討もつかないことを任されてしまうというのがよくあるように感じます。

しかも、そんな時に限って、

となっているのです。

もしくは、施策を上司に提案してみたものの、「実際のところ、それでどれくらい効果あるの？」と聞かれてしまうこともあるでしょう。

そんなときに「1日以内に効果試算をする」方法を書きたいと思います。

※後述する数値算出のステップではある程度Google AnalyticsやSQLを使った解析経験がある必要があります

課題の原因

このような状態になるときは往々にして「自分では決められない病」が発症しています。

効果予測など、本来誰かが「この施策をやるんだ！」と決めてしまえば不要ですよね。

もちろん何の情報もなしに意思決定はリスクがあるのですが、完璧な効果予測もありえないものです。

そこで「意思決定の範囲を広げる」と「意思決定に必要な最低限の情報を提供する」という両方からの歩み寄りを見せることで、問題は解決します

解決手法①結果が出たときのアクションを想像する

A.どの施策をやるか決めなくてはいけないパターンの場合

この場合、効果を出す必要はないはずです。

基本的にはICE Scoreなどで経験に基づく主観的な効果をざっくり試算して話をクイックに進めるのをオススメします

それでも効果が必要な場合は最低限の比較可能な指標を出しましょう

例えば、あなたはGoogleの広告部門担当者だとして、Googleの広告売り上げを伸ばすアイディアとして以下の3つがあったとします。

1.検索結果ページのリスティング広告の件数を増やす

2.画像検索結果ページに広告を混ぜる

3.Gmailの受信トレイ画面に広告を掲載する

このとき、いきなり各施策の具体的な効果まで出す必要はありません。

まず各ページのPV、UUを把握し、どれくらいの施策対象のボリュームを見込めるかだけでも出せばそこで効果試算は一度終わって話し合ってよいはずです。

複数施策を比較する場合は、このように「同じ指標で評価する」のが重要です。

B.施策を考えた後に予測効果を出すことになったパターンの場合

このパターンは厄介です。

なぜかというと「ゴールが不明確」なためです。

例えば目標数値が決まっていて、施策で何千人かのUUを伸ばせればよいという定義があるなら、それに見合う規模かはざっと出せばよいでしょう。

しかし、「効果を知っておきたい」というためだけであればやる必要はありません。

具体的な要件定義などをした方が建設的です。

解決手法②数値を調べ始める前に方程式を作る

いざ本当に数値を出さなくては話が進まないとなった場合のことを考えましょう。

例えば先ほど書いた「検索結果ページのリスティング広告の件数を増やす」という施策の効果を予測する場合、以下のような方程式が考えられるはずです。

• 広告売上=広告平均単価×広告件数

• 広告件数=検索結果ページのPV×予測されるCTR

• 予測されるCTRは、現状の1件目の広告で何%、2件目で何%、3件目で…というのを繰り返し、現状出ている広告件数+X件したときの暫定的な数値を出す

このあたりは考えれば数分で決められるので、算出方法が自分でクリアに見えていないという場合は、相談できる相手とこの式だけ、実際の算出作業に入る前に作っておくべきでしょう。

また、他の人とやるメリットは「式の厳密さを齟齬なく決定できる」ことです。

上記の式の場合、おそらく算出が難しいのは最後の「予測されるCTR」だと思いますが、ここをどのように出すか、もはや何か数値を仮置きしていいのか、といったことは意思決定者とネゴれておくと後のステップで悩むことがなくなります。

解決手法③必要な数値を算出する

ここまで来たら、後は数値算出です。

数値はなるべく実際に当てはめるプロダクトの実績値から持ってくることをオススメします。

プロダクトの実績値はGoogle AnalyticsやプロダクトのDBからSQLで算出することになります。

弊社READYFORの場合は、プロダクトのDBからRedashにデータ連携がしてあり、そこでMySQLによく似たPrestoでSQLを書けば数値を算出できます。

※Prestoでのクエリの書き方はこちらの記事が参考になります

Google Analyticsの場合、Google Analyticsの画面上で数値を出すのはオススメしません。

というのも、解決手法②で書いたような方程式の計算と、数値の代入を同じ場所でできないためです。

オススメはGoogleスプレッドシートのGoogle Analyticsアドオンです。

私はGoogle Analyticsのデータを使って数値を出すときはなるべくこれを使うようにしています。

※Google Analytics上の指標・ディメンション名表示はGoogle Analytics本体とは異なるため、以下の記事が参考になります

留意点、デメリット

時間をかけない

1番の注意点は時間をかけすぎないことです。

あくまで意思決定のために行うので、なるべく短い時間で答えを出して、施策の具体化に進むべきです。

予測効果とKPIは別

効果試算ができたときに、効果測定でも同じ指標で評価したくなるかもしれませんが、事業上目標にしている数値を試算した場合、その数値は他の要因によっても左右されやすいはずです。

予測効果はそれとして取っておき、実際に施策をリリースしたときに効果を評価できる指標は少し細かい粒度で別途検討することをオススメします。

算出過程を後で見た人もわかるように残しておく

後から見た人が「どうやって数値を出したんだろう」と気にするのは必定です。

わかりやすく計算過程を終えるようにExcelやスプレッドシートに関数として残しておけば、計算に欠陥が会ったときに指摘してもらいやすくなります。

しかし、これは一番は数値算出する自分自身のためという意味合いが強いです。

「期間を変えてもう一度算出したい」や「似たような分析をするから参考にしたい」というシーンはほぼほぼ必ずやってきます。

そのとき、汚い計算過程しか残っていないと、理解するの時間がかかってしまうので、ここは最初から丁寧にやっておきましょう。

報告時に分析結果をコメントとして添える

というときに

というコメントだけでは、一目では結論がわからず、ファイルから答えを探す必要が出てしまいます。

このようなファイルは大体計算過程や途中に使ったデータなどがごちゃごちゃしているのでわかりづらいものです。

最初から

とわかったことと、できればネクストアクションも提示するのがデキる人です。

いかがでしたでしょうか。

少しでも効果施策で悩む方たちの助けになれば幸いです。

明日のREADYFORアドベントカレンダー2021は@neriparkさんが担当です！
お楽しみに🙌