見出し画像

"ABテスト"という言葉の定義を狭めたい

皆さんこんにちは。ギャプライズ鎌田(@kamatec)です。

僕がリスペクトしている方々のツイート内で「ABテスト」という言葉がどちらかというと悲観的なものとして使われているかなーと思うことが、ここ最近ありました。

上記のツイート内容に対して、僕自身は基本的に激しく同意です。

局所的なテストを繰り返した所で事業インパクトが出せるケースは少ない、むしろ気が付かない所でマイナス要因が波及しているケースというのは多々あるし、適当に考えた仮説のないテストの繰り返しは時間の浪費にしかならないと思ってます。

ただ個人的に少し悲しいのは「ABテスト」という言葉があまりに広義に使われているがゆえに、意味のある「ABテスト」まで否定的に考えてしまう人も少なからず出てしまうのではという点です。

僕自身、5年ほど前からOptimizelyという世界トップクラスの「ABテストツール」をパートナーとして日本で販売してきました。最近では約54億円の調達をしていてプレスリリースも流れていますが、その中でも「ABテストプラットフォーム」として紹介されてます。

でも実は本家サイトの中ではすでに「ABテスト」という言葉は一切つかっておらず、「Experimentation Platform」というポジションであるということを数年前からずっと言っています。

にもかかわらず市場からは「ABテストツール」と呼ばれるギャップに苦しんでいるのですが、この点からも「ABテスト」という言葉がいかに広義なものであるかという点が伺えます。

また個人的に感じるのは、どちらかというと「ABテスト=カンタン」という認知が先行しているが故に誤解を生みやすい状況を作っているのではと感じます。

僕が毎回良質なテスト事例として勝手に話しているメルカリさんの「Sold商品を消すと全KPIが異常に下がった」という事例があります。

これってめちゃくちゃ実験したことによる意義があったと思うのですが、言葉にすると「ABテスト」です。一方で「ボタンの色変えてみましたー」みたいなテストも同じ「ABテスト」として扱われます。

これって僕としては「回転寿司」と「銀座の高級寿司」を同じ「寿司」して扱うくらい違和感があるわけです。
※回転寿司を馬鹿にしているわけではありません。むしろ大好き。くら寿司に週一行くヘビーユーザーです。

何がいいたいかというと、記事のタイトルにもある通りなんですが、技術レベルが飛躍的に向上し、様々な環境・ターゲットで高精度なテスト、検証ができるようになった今、「ABテスト」という単語一つでは「テスト」の定義を明確には出来ないレベルに来ているのではということです。

そこで今回は「ABテスト」という言葉がなぜ「カンタン」とか「意味ない」的なイメージが一定量ついたのかなぁ、ということを勝手に考察しつつ、どんなシーンでテストを実施すると効果的なのかという点について僕なりの考えをお伝えできればと思います。

理由1:カンタンなテストが先行して認知された

「ABテスト」というと割と有名な事例かなと思っているのが、下記アメリカのオバマ大統領が選挙資金を集めるために実施したABテスト事例です。

上記の記事内にもあるのですが、写真やキャッチコピーなどのシンプルなABテストによって、6,000万ドルもの収益を上げたという事例です。

またもっと古いABテスト事例だと、下記Firefoxがボタンの色を変えたことによってダウンロード数を増やしたっていう事例なんかも一時期話題になったことがありました。

余談ですが、僕がWebディレクターをしていた時に、このテストが発端で「ボタンは緑にしてくれ!」みたいなオーダーが頻発しまして

「いや、サイト全体のベースカラーも緑なのにどうすんの。。」みたいになったのは、もはやいい思い出です。

ともあれこんな感じでABテスト=カンタンに成果が出せるものというテストが先行して世に出回ったため、今のイメージにつながったのかなーというのが僕が考える理由の1つです。

理由2:理論値でカンタンに見積りすぎ

これは僕も前科があるので人のこと言える立場ではないのですが、、

費用対効果をよく見せるために下記みたいな話しを聞くことがちょこちょこありました。

例え改善率103%だったとしても、それ100回重ねたら(1.03)^100で19倍ですよ。しかもその改善効果を年間換算したら年間数億円レベルの経済効果出せますよ。

みたいな。そんなにうまくいくなら、ABテストはもっと浸透してますね。そんな単純計算では結果はでません。

具体的には下記の記事に書いてある要因などが複雑に絡んできます。

Airbnbのデータサイエンティストは「Winner’s Curse(勝者の呪い)」なんてクールな表現を使ってますが、要は勝ったテストは往々にして評価を高く見られがちであり、実際の市場評価はもっとその下にあるよっていうことです。

でこんなデタラメな案内をしてしまったが故に、それを元にABテストを実施した結果、「そんなにうまくいかないじゃん!」っていうのが各所で起こった結果、ABテストに対する一定のネガティブイメージがついちゃったのかなーと思うのが僕が考える理由の2つ目です。

理由3:正しい準備方法と検証方法が出回ってない

ABテストは結果がわかりやすいが故に、「テスト内容」と「結果」だけの情報が出回って「準備」と「検証」に関する情報が少ないのも誤解を生んでいる一つの要因なのかなと考えてます。

例えばコレ、「シンプソンのパラドックス」という問題があります。

具体的にどんなものかは上記の記事にわかりやすくまとまっているのでぜひ読んでみて頂ければと思いますが、要は「同じデータでも分析の仕方によって全く矛盾したように見える結果が得られる」ということです。でこれを考慮した上でテストの準備と分析をしないと正しいABテストの判断は出来ないのですが、割と普通に無視されます。

具体的にWeb上のABテスト例でいうと

・新規顧客とリピーター顧客のCVRを合算して見ている

・新規顧客獲得を狙ったテストなのに、テスト対象に新規獲得に全く関係ない「ログインユーザー」が含まれてる

・「売りたい」と「買いたい」といった相反するユーザーが混在するTOPページでグループを分けずにテストしている

とかでしょうか。このように適切なセグメントグループに対するテストをしていないが故に、テスト結果に対してその後本番化しても目的としていた指標がリフトせず批判的な状況になってしまう、みたいなことが起こります。

これもABテストに対するネガティブイメージが一定量ついてしまった要因なのかなぁとか考えてます。

理由4:ABテスト以外の代替ワードがない

冒頭に上げたようなメルカリさんで実施しているテストと、ボタンの色を変えるみたいなテストを区別するためのワードがあるかというと、「市場認知としてはない」という事実もABテストがわかりやすいイメージのほうに引っ張られている要因かなと。

一応僕の会社内では、思いつきのものは「テスト」、明確なターゲットと仮説を持って設計したものは「実験」という言い方をして、

テストしないで実験しよう

ということを言っているのですが、お客様からしたら別に違いはわからないので、「ABテスト」って言ってます。

集客上もABテストに代替する言葉がないので、僕自身「ABテスト」で上位表示されるように記事を書いていたりします。

なのでこんな記事をかいている僕自身も「ABテスト」という言葉の定義を曖昧にしている1人なのかなぁと思ったりしています。

ABテストをしたほうがいいケース

ここまでウダウダと書いてきましたが、つまり僕はABテストが好きなんです。できることならより成果の出やすい状況で「ABテスト」という言葉を使ってもらいたい。

なので最後に少しだけ僕が考える「ABテストを実施したほうがいいケース」について書いてみようと思います。

わかりやすい例で言えば下記のサービスはテストしたほうがいいケースの典型ではないでしょうか。

上記はラクスルさんがサービスとして提供しているTVCMにおけるABテストサービスとその効果が記載された記事です。TVCMって億単位の金額が動くわけですが、こういったときこそ事前にテストを積み重ねる意味が出てきます。

つまり「リスク」が大きいものほどテストしたほうがいいかなということです。

「リスク」というと言葉として「危険」っていう意味で捉えがちかなーと思うのですが、個人的には投資用語として使われる「リスク」の意義で捉えています。

投資においてはリスクは「結果が不確実であること」を意味しています。危険がどうかというわけではなくプラス・マイナスどちらの意味も内包しています。

要は「ハイリスク・ハイリターン」を狙う際にテストは効果的だと思うのです。

自身の経験からしても想像以上の効果を出したABテストというのはそれ相応のリスク(不確実性)を抱えていました。

例えば

・TOPページから検索フォーム以外の動線をすべて排除する
・ECサイトで会員登録なしで商品を購入できるようにする
・問合せフォームの入力項目を電話番号以外全部消す
・ECサイトで返品保証を全品につける
・販売金額を変える

とか。いずれもリスクに寛容な責任者の方がやろうと言ってくれたからこそ出来たテストですが、何人かには烈火のごとく反対されました(笑)

もちろん提案にはそれなりの根拠があってしてはいるものの、最終的にはやってみないとわからないわけです。そんな時にABテストは強力な効果を発揮するのではないでしょうか。

さらにリスクの大きいテストはもう一つの恩恵があります。それは

「失敗から得るものが大きい」

ということです。私的な考えですが、企業においても個人においても成長過程において「学習」というプロセスは最も大事なファクターの一つではないかと捉えています。

リスクの大きいテストはこの「学習効果」が非常に高いわけです。経験上いきなり大当たりするテストなんて中々出ません。

この「学習」を経て成果につながっていく「プロセス」こそがABテストの一番の醍醐味ではないでしょうか。

ほんとはABテストの「準備」と「検証」の方法についても書きたかったんですが、気づいたら長文になってたので今日はこの辺にしておきます。

それではまた次回。
ギャプライズ鎌田(@kamatec)がお送りしました。

【ABテスト関連記事】

ABテストツールの選び方がわからない」という方向けに、失敗しないABテストツール選びのポイントをまとめました。よろしければご覧ください。




この記事が気に入ったらサポートをしてみませんか?