こんにちは、メルカリUSのプロダクトマネージャーをつとめている@tank_pmです。

プロダクト改善の際に効果測定をするためにA/Bテストを用いることが結構多いのですが、むやみやたらにA/Bテストを走らせると結構はまるなーと感じたので、それについて書いてみようと思います。

弊社では多くのA/Bテストを回すのですが、当然ながらうまくいくものもあれば、うまくいかないものもあります。

うまく行った際は、「KPIが5%向上した！95%開放しよう！」みたいなノリになるものかと思いますが、いざ開放してみると、結局動かしたい指標にあまり変化がなかったり、ABテスト結果通りの数値の変動が見受けられない、と言ったのケースがあったりするのかなーと思います。

高意欲ユーザーと低意欲ユーザーの違い

サービスに入ってくるユーザーはざっくり高い意欲を持ったユーザーとそこまで意欲が高くないユーザーに分けることができるのかなーと思ってます。

高い意欲を持ったユーザーは、ハードルがあったとしてもそれらを乗り越えて目的を達成する可能性が高いです。一方で、意欲の低いユーザーはどんなに簡単に・使いやすくしたとしても、そもそもやる気がないので目的を達成する可能性は低いです。

なので、たまに記事とかでみる、フローを少し簡単にしてみたり、見出しを変えてみたり、ボタンの大きさを変えてみたりしても、最終的に促したい行動に影響（最終的なコンバージョン）を及ばすことは結構難しかったりするのかなーと思います。

個人的には、いくら開発コストが小さい変更だったとしても、表面的な変更に時間・リソースを投資するよりも、いかにユーザーに対して根本的な価値を新たに提供する方に投資する方がはるかにROIが高いと感じています。

ファネル上層部KPIが改善されても下層部KPIが改善されない場合もある

ファネル上層部のKPIが改善されても下層部KPIが改善されない多くの場合は、低意欲ユーザーがファネルの次のステップに行きやすくなっただけで、結局最終ステップまでたどり着いてない、みたいなケースが多いと思っています。

ABテストの指標を上層部のKPIに設定してしまうと、あまり意味のない結果になったりする場合が多いので、個人的には最終コンバージョンなどを指標に置くべきだと思う派です。もちろん最終コンバージョンが何かは時と場合によると思いますが、要するに例えば、購入検討してくれても、最終的に買ってくれないと意味ないから、購入開始率をABテストのKPIとして設けるよりも、購入完了率とかをKPIに設けた方がいいと思う、と言う話です。（また、上層部のKPIが変動することによってユーザー・サービスにメリットがあるのであれば話は変わってくるかとも思います。）

改善したい指標にもよりますが、特に意欲の高いユーザーでないと取らないような行動（例えば商品購入など）においては、高意欲ユーザーの数自体が増えない限りなかなか動かせないと思っています。なぜならば、意欲がそこまで高くないユーザーは、最初の入り口を入りやすくしたとしても、どこか他のところで離脱する可能性が高いからです。特に意欲の高いユーザーでないと取らないような行動（例えば商品購入など）においては、高意欲ユーザーの数自体が増えない限りなかなか動かせないと思っています。なぜならば、意欲がそこまで高くないユーザーは、最初の入り口を入りやすくしたとしても、どこか他のところで離脱する可能性が高いからです。

同じ指標を改善する目的としたA/Bテストの結果は積み上がらない場合もある

また、同じ指標を改善することを目的としたABテストを複数走らせることも多々あるかと思いますが、同じような理由で、5%の改善をもたらす施策が3つリリースできたとしても、ベースラインの数値 * 1.05 * 1.05 * 1.05 のようにそれらの結果が全て積み上がるとは限らないです。

なので、ロードマップに10%の改善が見込める施策がいくつかあったとして、例え全てうまくいったとしても、結果が積み上がるとは限らないということを頭に入れておくべきだと感じています。

意欲を向上させる要素

もちろんサービス内容にもよるかと思いますが、ユーザーの「意欲」を向上・減少させる要素がいくつかあると思っています。

意欲が向上する要素
・安心・安全性（デザイン・ブランド・「お客様の声」など）
・商品の魅力度（値段が安い、送料無料、写真が綺麗、希少性など）
・緊急性（タイムセールなど）

意欲が減少する要素
・安心・安全性の欠如（サービス内容がわからない、信頼できるか不安、誤字脱字、デザイン、バグ、ブランドが知られてない）
・圧倒的な使いづらさ（クリティカルなUI/UXの欠如）
・商品の魅力度の欠如（値段が高すぎる、送料が高い、写真が綺麗じゃない）

サービスによってどの要素にプライオリティーを置くべきか変わってくるかと思うので、テスト等を通して検証するのが有効だと感じます。（また、上記以外にも意欲に影響を及ぼす要素は存在するはずなので、それらの発見も大事だと感じています）

優先順位をつけながら意欲が減る要素をなくしていき、意欲が向上する要素を増やしていき、意欲の「総合点」を上げていく、みたいなイメージかな〜と勝手に思ってます。

最後に

結構場合によって色々と事情が変わってくるかと思うので、「へえ〜まあ改善したいものよってはそうだよね〜」ぐらいの感覚で解釈していただけると幸いです。

また、この記事はもちろんABテストを批判する目的で書いたのではなく、ABテストを走らせる際に気をつけるべきだな〜と個人的に感じたものをつらつらと書いたものです。ご了承ください〜