想定読者

本記事は、ビジネスアイディアは持っているものの、どのように良し悪しを検証すれば良いかわからない人に向けたものです。

ビジネスアイディアとは、たとえば以下のようなものです。

• 既存の顧客の売上を伸ばすためにクーポンキャンペーンを行う

• 自社アプリに新たに「おすすめ商品」ページを作成して売上を伸ばす

これらのアイディアは合理的に思えますが、どのようにその良し悪しを判断すればいいのでしょうか？さらに、施策を実施した結果、具体的にどれくらい売上げに貢献したのかを定量的に把握する方法はないのでしょうか？

この問題に対する一つの解答がA/Bテストという手法です。しかし、A/Bテストについて説明する前に、まずは即座に思いつくであろう効果検証方法について考えてみましょう。

方法１：施策の前後で比較する

施策を実施する前後で売上を比較すれば、施策の効果を測定できるように思えます。では、例えばアプリに新機能を導入した前後の売上が以下のようなグラフだったとします。

施策を実施した後の期間の売上が、実施前の期間よりも高いように見えます。この観察結果から、あなたの施策は成功していると主張できるでしょうか？

しかし、実はそう単純ではありません。極端な例を考えてみましょう。

実際は、新機能の使いにくさによって売り上げが減少していました。しかし、クリスマスや年末の需要があったため、売り上げが増え、新機能のマイナスの影響を相殺していました。その結果、全体的には売り上げが増加しているように見えた、ということがあり得ます。

このように、単純に施策の前後で比較するだけでは、実は効果検証および意思決定が間違えてしまうリスクがあるのです（実際には、新機能はリリースしない方がよかったということです）。

方法２：ユーザーを分けて比較する

方法１の問題は、比較時期が異なるため売上のベースラインが異なり季節性の影響を強く受けてしまうことでした。そこで方法２では、売上のベースラインが変化しないように、同時期に施策対象のユーザーと対象外のユーザーの売上を比較するアプローチを取ってみましょう。

この方法は比較的良い手法です。同じ時期の比較なので、季節的な要素に左右されずに効果を検証できます。

しかし1点気をつけるべき点があります。それは、ユーザーの対象・対象外をどのように決めているかです。

たとえば、シニア世代向けのキャンペーン施策を例に挙げてみましょう。施策対象は65歳以上とし、対象外は64歳以下とします。両グループの顧客単価を比較して、対象ユーザーの方が高い場合、この施策は顧客単価を引き上げる効果があると判断できるでしょうか？

直感的に違和感があるはずです。それは、シニア層が元々顧客単価が高い傾向があると考えられるからです。つまり、この比較では施策効果よりも年齢層の違いによる売上の差が実際に反映されているのです。もう少し工夫が必要そうです。

方法３：A/Bテスト

方法２の問題は、売上の違いがユーザーの属性（年齢や性別、ロイヤリティなど）によるものか、施策の効果なのかを区別するのが難しいことでした。

では、同じ属性を持つユーザー同士を同時期に比較すればいいですね。

ただし、実際にはこの方法は不可能です。なぜなら、完全に同じ属性を持つユーザーは自分自身以外存在しないためです（仮にDB内に記録されている属性データが全く同じでも、記録されていないその他情報は異なるはずです）。もしタイムマシンが存在すれば、施策対象時と非対象時を同時に観察して効果を評価することができますが、現実ではできません。

そこで登場するのが、A/Bテストというアプローチです。A/Bテストでは、施策の対象グループと非対象グループを完全にランダムに割り振ります。ランダムにユーザーを分けることで、平均的には同じ属性を持つユーザー同士の比較と考えことができます。ランダムに分ければ、年齢層も様々、年収も様々、あらゆる属性が均等に混じり合ったグループ同士の比較となるため、特定の属性に強い影響を受けにくくなります。

例えば、アプリの新機能をリリースする場合、新機能を利用するユーザーと利用しないユーザーをランダムに選択し、売上を比較します。また、シニア世代向けの施策の場合、65歳以上のユーザーをランダムに2つに分けて、片方にのみ施策を適用します。

A/Bテストは理論的にはシンプルで明確ですが、実際にはそれなりの準備が必要です。なぜなら、「対象外のグループ」を確立する必要があるからです。効果の検証のためには、介入しないグループが必要であり、これは公平性に疑問を持つ人々に対して説明が必要となってきます。

しかし、データに基づいた意思決定をするためには、A/Bテストの運用は不可欠です。下記ワークマンの本では、徹底的にA/Bテストに基づいた意思決定を行ってきた姿勢が紹介されています。

もちろん、A/Bテストが適用できないような複雑な状況もあります。そんな時は、社内のデータサイエンティストやアナリストに相談してみましょう。A/Bテストを実施することで、あなたのビジネスアイディアの価値を具体的に評価することができるのです。彼らはデータと統計の専門家であり、適切な解析方法を提案してくれることでしょう。

データ分析に関する相談や研修依頼など受け付けております。
質問・問い合わせはこちらから↓