「本質的に数字と向き合うってこういうこと ~LayerX 福島良典氏と語る夜~」に参加したのでイベントレポとして残しておきます。

Mirrativのデータサイエンティスト、坂本としふみさんが企画されており、数値と向き合う上で大事なことは何なのかを語るイベントでした。

Mirrativ x data で場を温めるプレゼン

まずMirrativの坂本氏からmirrativの紹介と実際にどのような分析を行っているかのお話がありました。

Mirrativとはスマホでゲーム実況を生配信できるプラットフォームサービスで、最近ではエモモと呼ばれるアバターでの配信も可能です。

Mirrativのデータログは主にBigQueryに保持していて、グローバルも同じだと言います。

mirrativでは主に以下のようなデータを保持しているといいます。

①ゲーム画面の時系列変化
②配信者の音声情報
③視聴者さんのリアクション情報

視聴者のリアクション情報は継続率などと組み合わせて使うことが多いようです。

また以下の基本的なデータも取っているようです。

・操作ログ
・ミラティブではフォロー・フォロワーの関係があるので、そちらのグラフ情報も解析情報

ミラティブ分析のあるある

1. Aという配信者を見せれば継続率が高いぞ
2. Aの配信に視聴者を寄せてみよう
3. それ以外の配信者に人が来なくなり、配信継続率が下がる(Aさん以外の満足度が下がる)

ミラティブはKPIの置き方が難しいプロダクトのようで、視聴者と配信者で以下のような矛盾を抱えているといいます。

・視聴者：面白いコンテンツが多い方が良い
・配信者：ハードル低く、気軽に配信したい

よって以下のような分析あるあるもあるようです。

1. Bという条件を満たした配信を見せると継続率が高いぞ(e.g. かっこいい声)
2. Bの条件を満たす配信に寄せてみよう
3. 時間帯によってコントロールできない施策となる

最近のミラティブの分析チームでは、木を見る人(企画・施策評価)と森を見る人(PF健康状態把握)で分けているようです。

より良いプラットフォームとなるようにどんどん分析者を増やしていく方向性のようです。

LayerX 福島良典氏と語る夜

LayerXの福島さんのセッションは大きく次の3つに分かれていました。

・見るべき数字の見極め
・グロースハックと実践
・組織論・キャリア論

それぞれのテーマに質問形式でいくつかテーマが設定されており、それを福島さんが語るという内容になっていました。

見るべき数字の見極め

1. この数字を見る/見ないの意思決定の背景、どういった分析の考え方をしているか

そもそもデータを何のために見るかという点から「ユーザーの満足度を最大化させるため」、もっというと「長期的な売り上げの最大化」のために見ることです。

どの数字を見るという点では「売り上げ」をどういう指標に分解すると良いかというところで判断すると言います。

また数値には「動く数値」と「動かない数値」があるといいます。

動く数値：ユーザーの滞在時間、クリック数
動かない数値(基本コントロールしづらく、落ちたらやばい数値)：リテンションレート、アプリの削除率など

特にリテンションレートは上げると事業計画に大きな影響を与えることができますが、基本は上がりづらい指標だと言います。

つまり観測すべき数値は以下に集約されると言います。

上げていくべき数値 + 落ちたらやばいんだけど、見ておくべき数値

またMirrativでは「率」にこだわっていると言います。ユーザーの熱量を可視化するために1人あたりの配信時間を追うなどの工夫をしているようです。

2. 上下するデータに翻弄されず、素直に数字と向き合うコツ

CPAとかリテンションも常に同じ数値ではないという前提のもと、それが季節要因なのか、異常値なのかを把握しておくのが大切だと言います。

またある一定の時期までは同じ指標をKPIとしておくとプロダクトとして成功率が高い傾向にあるのではないかと言います。

これは競合の平均値を知ることで意思決定が楽になるからだと言います。

またデータ分析ツールについてはMirrativ・gunosy各社以下のように使っているようです。

ミラティブ：BigQueryにログを流し込む、Redash、スプレッドシート、機械学習は各々好きなように
gunosy,LayerX：ミラティブに同上、githubのissueを使って分析issueを切っている(過去に調べた分析結果などをまとめている)

3. KPIはどのような思考プロセスで決定し、どのようなタイミングで定義し直しているのかを知りたい

こちらの質問に関しては「気づいた度に直す」しかないと言います。

・gunosyはプッシュ数値を増やせばDAUが増える（間違っていた）
    ・プッシュ切られる数値など見ていなかった
    ・中長期的に数値が落ち込んでいた
→後からこれ見てなかったねというように修正していく

具体的には上記のようなフローで直していくしかなく、木は改善されているのに森が改善されていない場合に怪しいと疑うと良いそうです。

また、「定量的な数値を見るときに対しての定性的な感覚」は大事にしているとのことです。

これは定性面を疑うのではなくて、定量面の見方自体が間違っているんではないというマインドを持っておくことを福島さんはおっしゃっていました。

グロースハックと実践

1. 探索的分析からインサイトを出し、KPIの劇的な改善が見られた事例が知りたいです

主に探索的分析のちょっとした気づきから数値が一気に伸びる可能性があると言います。

gunosyだとプッシュ通知のロジックを変えました
↓
セグメントごとに見ていくと、ここだけめっちゃ上がっている, ほか下がっている
↓
次のロジックどうしようという議論になる

また継続率などは上昇しづらいので、KPIにするのは難しいと言います。

構造的に決定するKPIはあげるのが難しいので、最初から追わない方が良い
↓
獲得経路やエンゲージメントなどを追った方が良い

2. 施策の選定と施策の準備はどうしていますか？

施策はやればやるほど限界効用が逓減していきます。

そこでgunosyでは他の伸びているサービスで自分たちで掘れていない施策はどれだろうと考えているようです。

またこのような施策は二番煎じでもそこそこ効くらしいです。

また施策の準備は数値ベースで行うと異質なものになると言います。ここは全体のバランスをとる人がいた方が良いとのことです。

3. 出てくる数値をどのような基準に従って定量的に判断されているのかを知りたい

gunosyでの基準は完全に統計的な検定に任せているようです。ここは恣意的な判断を一切挟まないようにしているようです。

ただし、ほとんどの施策で有意な結果は得られないので、その時は定性的に良い方を選ぶと言います。

「感情を排して、意思決定を行っていく」ところに終始すると言います。

4. デザインに関する意思決定はどうしているのか？

福島さんは、デザインに関しては決めの問題である可能性が高いと述べていました。

デザインに関するA/Bテストは、ユーザーの慣れの問題が大きいので中長期的に数値を見て大きく落ち込まない限りは決めてしまうそうです。

組織論・キャリア論

1. 数値に対する考察や意思決定の方向性の共有をどのように行っているか？

分析は、「なんのためにこれやっているのかを忘れがち」だと言います。また、大抵の施策は失敗します。(ほとんどは数値は動かない)

この前提があった上で、正解にたどり着いたときに、前提としてどのような過程だったかを共有できるようにしておくのがベストだと言います。

2. 新規事業や結果を出し続ける人たちに求められるスキルや特徴はなんでしょうか？(以下の画像が質問全文)

「どういう人を新規事業に抜擢するか？」という問いに関しては数字と一番向き合っている人がよいと言います。

これは「何をどこまで把握すべきかを感覚的に把握できている」必要があるからだと言います。

また、数値に強い人には「偏見」がなく、客観的な見方ができる人が強いと言います。これはサービスを触りまくっていたり、好奇心旺盛な人にも多く、強みになると言います。

数値を見る以上に大切にすることは？

最後のまとめの質問は「数値を見る以上に大切にしていることは？」でした。この問いに関して福島さんは以下のように答えています。

「数値は何かを評価するために見ている」ので、どう実験を組み立てるかが重要だと言います。

つまり、仮説の精度を高めることができるのが前提だと言います。(この数値をあげるとここが上がるはずだという粒度での仮説)

具体例でいうと以下のようになります。

ここのクリックログが意味することは何だろう（サービスとリンクさせられる人）

これが数値を見る上で数値を見る以上に大事にすべき感覚だとおっしゃっていました。