色々なABテストツールが出てきたおかげてマーケターが気軽にABテストを実施することが出来るようになったと感じる。

しかし、中にはABテストを実施することが目的になってしまっている企業も少なくない。
本記事ではそんなABテストのアンチパターンをまとめてみた。

1. 実施することが目的になっている

ABテストはサイトKGI・KPIの向上が目的であって、的はずれな数値向上の為に実施しても何の意味もない。

例えば、「サービスのFAQページの閲覧率を上げたい！」という無邪気なアイデアからABテストを実施して実際に改善できたとしよう。
でも本当にFAQページの閲覧率を上げることでそのサイトのKPI改善に繋がっているのかは想定おらず、結果意味のあるABテストだったんだっけ？となってしまう。

--- 対策 ---
・KPIからブレイクダウンしていってABテストの改善箇所を決める
・このABテストで何の数値を改善して、それによってどうサイトKPIが向上するのかを仮説立てる

2. ボリュームが少ない箇所で実施している

サイトの改善箇所なんて上げればきりがない。限られたリソースの中でABテストの効果を最大化させる為にはボリュームが少ないページや機能の改善は一旦切り捨てていく必要がある。

要は、仮に奇跡的な施策で日次500PVのページAのCVRを30%に改善できたとしても、日次10,000PVのページBのCVRを3%に改善出来たほうがCVの実数としては大きいということだ。

--- 対策 ---
・GAでボリュームが大きいページや機能を確認する

3. 効果測定で都合のいい数値しか見ない

ABテストを実施してみると、どれだけ仮説を立てても全然想定していない結果になることがよくある。
失敗に終わらせない為に意味もなく改善した数値だけを抜き出したりして結果としてしまいたくなるが、本当の意味で失敗に終わらせない為には、
「なぜ仮説と違った結果になったのか？」
「想定していなかった結果から読み取れることはないか？」
を追求することが重要である。

--- 対策 ---
・仮説の目的としては失敗だったことを受け入れる
・次のABテストの糧にする

4. ネクストステップに繋げられていない

ABテストの結果をうけて、良かった・悪かっただけで終わってしまってはいないだろうか？
良かったのであれば、結果から考察してもっと良くする施策は打てないか？
悪かったのであれば、施策内容の一部を変えることで改善させることはできないか？
を考えるべきである。

また、サイトの成長にともなって訪問ユーザーのペルソナは変わっていくことがある。
一度改善しきったと思ったページや機能であってもステージごとに最適化を今一度見直していく必要はある。

--- 対策 ---
・良かったならもっと良く出来ないか？悪かったならどうしたら良く出来るか？を考える
・ステージ毎に最適化を行う

5. ひとつのABテストに時間かけすぎ

練りに練ったABテストを3個行い全ての施策で30%改善させるよりも、スピード感を持ったABテストを10個行い5個の施策で20%改善させたほうが効果が出る。
しかもどれだけ練っても仮説通りにいかないことは多々あるのでそれであれば試行回数を増やす方がはるかに有益である。

3のサンプル数がたまるまでの待機期間を除けば、1~5までのステップを1週間で常時5施策くらいを並行して行うのが理想だ。
名だたる成長企業では年間1000回以上の施策を回したりもしているくらいだ。
1. 改善点の発見
2. 改善施策の立案
3. 実施
4. 効果測定
5. ネクストアクション

--- 対策 ---
・施策内容を練りすぎないで80%くらいの完成度でどんどん実施する

最後に

便利なABテストツールが増えてきているので非マーケターであっても気軽に実施が出来るようになってきているが、考え方や改善手法を間違えるとリソースの無駄使いにしかならないので記事に書いた内容などを参考に意味のあるABテストを実践してもらえたら嬉しい。