先日にbeBitのセミナーに行ってきました〜
オフィスが丸の内、一見ビルが古そうだけど、エレベータで10Fにあがり、扉が開いたらオッシャレー〜ってびっくりした。（記事の最後に入り口の写真をアップします！笑）

で、セミナーのタイトルは「サイト改善ABテストの成果の上げ方〜ネタが枯渇しない新しいデータ分析手法」です。
私も前職UNCOVER TRUTHでバリバリ分析〜施策提案〜ABテスト〜効果検証をやってきたので、確かに長期間に渡って、プロジェクトを回していくと、改善のネタが切れるなと共感し、とりあえず話を聞いてみようかなと参加した。

会社紹介やUSERGRAMのツール紹介を省いて、本題に進もう。

１．企業様からよく聞く現場で起きてる課題

・ABテストは
「クイックに仮設を検証し、成果を創出」に非常に有効な手段である。
今簡単にABテストを実現できるツールが多く存在し、【Google Optimize】【Adobe Target】【VWO】【Optimizely】などなど、操作が簡単で、デザイナーとコーダーがいれば、どの企業でも高速PCDAが回せると思う。

・一方で、
ABテストの（勝率・成果）の伸び止まり、ネタ切れなどの悩みがある。
　　■抜本的なテストはあらかたやりきった。あとは細かい改善のみ
　　■しかも、思いつくような改善は試し尽くしてしまった
　　■絞り出した小さな改善を試してみるが、結果に余り変化はなく、結局良かっ
　　たのか悪かったのかわからない

２．ABテストのあるべき業務フロー

まずは①アクセス解説ツールやヒートマップツールなど、データを抽出して分析、その結果に基づいて課題を定義する。例としてはサイトのボトルネック特定をよく耳にする。

次に、②課題に対して、更に深堀り解析して、課題解決になるような施策案を洗い出し、テストパターンを決める。ページの種類にもよるんだけど、1ページあたり大体5〜10案を出して、２、３案を絞って決めていく。ただし、たまにあるんだけど、システム上実行できない施策案もあるので、事前にエンジニアに確認して貰う必要がある。

施策案がフィックスできたら、③ABテストツールに実装して、テスト期間、ABパターンの割合、ユーザー属性などなどを設定して、ABテスト開始。経験上では、いくらサイトのボリュームが大きいとはいえ、ABテストをせめて１週間を回したほうがいい。なぜかというと、ユーザーの行動は平日と土日が違う。また、期間がながければ長いほどテストの精度が高くなりますが、もし１ヶ月を回しても効果が出なかったら、場合にもよるんだけど、施策を変えてPDCAを高速回した方がいいかも。

で、ABテストが終わったら、④アクセス解析ツールやテストツールで結果数値確認する。実際ABテストを実施した際に、毎日数値確認してるので、そこで有意差で判断する必要がある。ABテストが勝っても負けても、有意差が低いであれば、信憑性が低いと考えられる。

最後に、⑤ABテストが勝った、負けた要因を分析する。簡単にいうと、勝ったパターンを実装し、負けたパターンの代替案を検討しさらにPDCAを回していく。

３．実際のABテストの業務フロー（KKD）

１つは、実際ABテストを回してるときに、データではなく、KKD（勘/経験/度胸）に頼りがち、ABテストの結果を基づいてどう生かして施策を打てばいいなのか、負けたパターンをどう改善して行けばいいなのかわからないから要因分析がなかなかやりきれない、とはいえ、施策のスケジュールが決まっていて、もう間に合わないから、一旦なしにしようということが良く行っている。

２つ目、ページのボトルネックはわかるんだけど、しかもすでに試行錯誤は行っていて、なかなか新しい施策案の企画ができない。
この新しい企画を立てることろとしっかりうまく行ってるかどうかの分析するところはなかなか詰まりがち、なので、さっきのABテストの成果の伸び止まりに陥ってしまったと考えられる。

４．ABテストで行き詰まる理由は、データの活用方法

成果の頭打ち脱却に向けたよくあるお客さまが打った施策は主に２つ
・データ分析スキルの向上
・施策数をとにかく増やす
データ分析スキルの向上のため、担当者にアクセス解析の研修を受けさせたり、外部から人材を雇ったりして、当たる施策が出てくるためとにかく施策の回転を増やしたりもしている。
この２点はすごく重要だけど、うまくいかないケースが多いし、現状の問題点もとらえきれていない。
じゃ、本当の問題はなんだろう？
ABテストの企画や要因分析にあたり、「集計されたデータ」だけを見ていること。
集計されたデータだけをみていると、ユーザーの迷いや悩み（状況）を捉え違えてしまう。
逆に、実際に起こっているユーザーの迷いや悩み（状況）を正しく捉え、改善につなげれば、着実に成果は上がる。

５．状況を正しく捉えて成功した他社事例のご紹介

①大手WEBサービス運用企業様

個人情報入力が大変という状況ではなく、業界の信頼性がわからず不安という状況にあった

各業者に安心して査定を申し込めるよう、口コミページへのリンクを追加しCVR↗

②大手WEBサービス運用企業様

「幾つも紹介されると、かえって適した講座がわからなくなってしまう」という状況にあった

講座選びに悩むユーザを後押しできるよう、カルーセルは小さく＋診断コンテンツへの誘導強化

６．正しく状況を捉えるための手法は「シーケンス分析」

「シーケンス分析」（sequence analysis)とはユーザの動きの「順序」や「流れ」に着目して「状況」を推察する行動データの分析手法

そもそも行動データとはなにかという疑問を持ってる方がいると思うので、簡単に説明すると、行動データとは、流入経路・ページの訪問順序・滞在時間等のデジタル上の行動を時系列で可視化したログのこと。

シーケンス分析は３つのステップで分かれていて、
【STEP１】シーケンスデータを抽出
　　　　　 -期間・行動・属性などで、分析/改善対象を絞って抽出
【STEP２】状況を推察
　　　　　-対象箇所の行動を観察。ユーザの状況を推察し、企画を考える
【STEP３】ボリューム確認
　　　　　-推察した状況が全体でどの程度発生しているか、定量的に確認
短期的に成果につながる方法としては、現行施策の二次改善から始めた方がおすすめ

そのシーケンス手法においては、施策企画に非常に有効で、私も案件を回してる時に似たようなことをやっているが、シーケンスデータの抽出が非常に時間をかかって、思いついた仮設に対し、限りのある時間でなかなかやりきれなかったりもした。もし優秀なエンジニアがいれば、プログラムを組んでもらえば楽しく仕事できるのではないかとこっそり思ったりもしたｗ。

７．おさらい

①ABテストを継続すると、いずれKKDで立案→分析を回さざるを得なくなってしまい、成果が伸び止まってしまう。
②その原因は、課題定義を要因分析の際に、集計データではユーザの迷いや悩み（状況）を捉え違えてしまいがちだから。
③客観的な事実のデータに基づいてユーザの状況を捉えるのに適したデータ分析手法は「シーケンス分析」。
④シーケンス分析を実施するコツｈじゃ、対象を絞って分析することと、現行実施の二次改善から始めること。二次改善でクイックに成果創出することで、組織的な成果もつながる。

最後に、入り口の写真をアップして終了します！