1年間で100本以上のA/Bテストを回して学んだ「テスト成功に必要なこと」②
A/Bテストのカテゴリは、みんなお馴染み『A/Bテストの教科書』にまとまってるこれでだいたい網羅されてると思われます。
https://www.amazon.co.jp/Bテストの教科書-野口-竜司/dp/4839955220
ビジュアルチェンジは効果が出づらい
A/Bテストといえば真っ先に「クリエイティブ変えればいいんでしょ」みたいな発想にたどり着くかもしれませんが、経験上クリエイティブ変えるテストって一番効果が出づらいです。
普段自分がサイトやアプリ見ているときを思い出してほしいのですが、ファーストビューの画像なんかちゃんと見てますか？
パソコン持ってにこやかに微笑んでるのが女性だろうと男性だろうと、どっちでもいい人はどっちでも良いんです。
クリエイティブテストで効果を出すためには、「その画像がユーザーにとって重要である」ところから改善していくのをお勧めします。
そして比較対象のクリエイティブは、なるべく「ガラッと違うもの」にしないと結果が出ません。どっちでも良くない？と少しでも思ったらもう一度見直した方が良いかもしれません。
「整理する」テストは効果が出やすい
シンプルなサイトになってる自信があるならさておき、だいたいのサイトは情報過多になってる場合が多いです。
・ユーザーにとって重要でない要素を引き算
・レイアウトなどの工夫で「同じ情報のかたまり」を作る
・要素にメリハリ(優先順位)をつける
といったテストは、最初に始めるのにはオススメ。なぜなら「自分がユーザーだったら」という頭で考える習慣づけになるからです。
これ系のテストはユーザーにとって有益であれば効果が出やすいですが、ユーザーが別にどっちでもいいと思ってる要素はいくらいじっても効果が出ません(だいたい統計的信頼度が出ず、「どっちでもいい」認定行きです)
なので、ユーザーの視点に立って改善するという練習になるのではと思います。
個人的にコレ系でテッパンなのは、「ファーストビューにいらない要素入ってないか」テストです。
ファーストビューに入ってるキャンペーンバナーやカルーセル、実は要らない場合が結構多いのでは説。それよりもファーストビューに、「あなたが見たい情報はちゃんとこのサイトにあるよ」っていうのを分かるように入れてあげる方が直帰率下がって滞在時間伸びての良い感じになることが多いです。
ターゲティング系はユーザーのコンテキストがすべて
「再訪問ユーザーにこの文言を出してみたい」「過去に買った商品によってバナーを出し分けたい」とか、セグメントを絞ったテストをやってみたくなるのがありがちなパターン。
でも、過去に買った商品を今回も買いに来てるとは限らない、再訪問ユーザーだからって「お久しぶりです●●さん！」みたいなメッセージが刺さるとは限らない。
それがユーザーにとって正しく、重要であるかが成功するかどうかの鍵です。なので上手くいけばCVRは劇的に上がりますが、ユーザーのコンテキストを理解できないと相当難しいです。
もしセグメントを使ったテストがしたい場合は、広告LPから始めてみると良いかもしれません。
広告ごとにLPを作るのは大変ですが、LPのレイアウトを部分的に変えるだけで効果が上がればラッキーです。
よくある縦長LPでも文脈変えるだけで、伝わり方は工夫できます。
振り返りはちゃんとした方が120%良い
テストはやりっぱなしが一番もったいないです。特に上手くいかなかったテストほど振り返るべきです。アクセス解析ツールやA/Bテストのツールも使いながら、「なぜ上手くいかなかったのか」「どこまで上手くいかなかったのか」を確認することで、次のテストの成功につながります。
私が前に、入力フォームのA/Bテストをした時。結果としてはフォーム完了率は上がりませんでした。
そこで「何が原因か」をアクセス解析ツールで深掘りしていった結果、3ページある入力フォームのうち、1ページ目→2ページ目の遷移率はテストパターンの方が良く、2ページ目からの離脱が多い傾向が見えました。ユーザーがどこに行ったか見てみると、ヘルプページや会社概要のページです。
あらためてどんなテストしたかに戻ってみると、フォーム遷移直前のページの整理をしたテストでした。その中の変更点の1つとして、注意書きの一部を開閉式（最初は閉じていて、見たい人はボタンを押すと開く状態）にしている箇所がありました。
どうも2ページ目に進んだときに「あれ？これってどうなんだっけ？」という疑問が出てきて離脱したのではないか、という仮説が立ったので、次のテストではそこを無くして、再度テストしました。その結果、綺麗にフォーム完了までの全ステップの遷移率が上がり、CVRは無事上がりました。
というのは一例ですが、失敗したテストでもちゃんと見直せば次のヒントが出てくること結構あります。失敗は成功の母。
結局、経験とユーザー視点がモノを言う
これが私がテストを回し続けて思った「どうすれば成功するテストができるか」の答えです。あくまでも個人の感想。
ちなみに、テストすることが目的ではないので、「いやもうこれ明らかにこっちの方がええやん」と自信があるときはテストなんかしてないでさっさとそっちを採用した方がよいです。
テスト回し続けてるとだんだん「テストできること」に慣れてきて決断力が鈍ってしまうかもしれない。人間思い切りが肝心です。
元号もA/Bテストできればいいのにね。。