正しく効果を測定するための方法論として、注目を集める「因果推論」。本連載では、マクロミルのデータサイエンスチームが、その考え方とマーケティングへの応用を解説します。前回は、行動データを用いた効果測定に適する「差分の差分法」について解説しました。

最終回となる今回は、これまでの連載の中で取り上げた手法を用いた、実際の効果測定の事例を紹介します。

１．テレビCMにおける効果的な広告クリエイティブを調査

１つ目の事例として紹介するのは、オンライン旅行予約サービスを運営するX社が、テレビCMの放映後に、効果的な広告クリエイティブの検証を行った事例です。

背景

X社は、それまでマス広告ではなくWEB広告に注力していました。詳細なターゲティングが可能というWEB広告の特徴を活かし、広告を届けたい消費者の中でも、より確度の高い消費者にアプローチしていました。

WEB広告の運用では、顧客の獲得効率を重視し、CTRやCPAなどのレスポンス指標で、広告施策の成果を測定していました。また、訴求軸を変えた複数のクリエイティブを同時に出稿し、指標を比較する「A/Bテスト」を積極的に活用することで、施策の改善を繰り返した結果、新規顧客を増やし、堅実な成長を遂げていました。

その一方で、競合となるサービスと比較すると、認知度が低いという課題を抱えていました。中長期的な成長を見据えるには、市場での認知を高める必要があると考え、テレビCMの放映に取り組むことを決定。これまで蓄積してきたWEB広告の運用ナレッジから、テレビCMでも広告効果の検証と改善を行い、徐々にテレビCM投下量を拡大していきたいと考えていました。

検証のアプローチ

ブランドの認知を高めることが目的のため、KPIは「認知」「好意」「利用意向」に設定し、テレビCMに接触したかどうかを判定したうえで、広告接触者と広告非接触者にアンケートを行う「ブランドリフト調査」を実施して、テレビCMの効果を測定しました。また、２つの異なるクリエイティブを時間帯やエリアで出し分け、クリエイティブごとに広告接触者を特定することで、効果の高いクリエイティブの検証も行えるようにしました。

ここで、今回の事例において重要なポイントを整理します。正しく効果を測るためには、交絡因子となりうる消費者の属性や要因を揃えたうえで、評価指標を比較する必要があります。ここでは交絡因子として２つの要因が想定されます。

１つ目は、「テレビ視聴頻度」です。今回の出稿媒体はテレビであり、そもそもテレビをよく視聴する人がテレビCMに接触しやすい傾向があります。また、テレビをよく見る人は、見ない人と比べて、インターネットの利用時間や頻度が低い可能性があり、もともとのオンライン旅行予約サービスの認知が低い可能性があります。

２つ目は、「旅行頻度・旅行への興味関心」です。時間帯やエリア単位で、テレビCMの放映を行っているため、テレビCMが放映された枠によっては、テレビCMの接触者が旅行への関心が高い、もしくは低い消費者に偏ってしまう可能性があります。旅行への関心は、オンライン旅行予約サービスの認知や好意に影響を与えると考えられるため、これも交絡因子となり得ます。

したがって、アンケート調査の実施時に、テレビ視聴頻度、旅行への興味関心、旅行頻度を聴取しておき、それらを共変量として用いて「傾向スコア」（「傾向スコア」については、第３回で詳しく解説しています）を算出し、重み付けによる調整を実施しました。

結果とインサイト

図１・２は、傾向スコアによる調整前後の、広告接触者と広告非接触者のKPIの差分です。クリエイティブ別に、結果を算出しています。

傾向スコアを用いた重み付けにより、広告非接触者の属性構成比を、広告接触者全体の属性構成比に揃えたときの差分が図２です。こちらの結果によれば、クリエイティブAの方が、有効性が高かったことが分かります。とりわけ認知や好意といった指標を押し上げる効果が高いことが分かり、今回の目的に即した広告だと判断できます。クリエイティブBについては、利用意向をわずかに押し上げる効果があるものの、認知・好意の醸成には大きな効果が見られず、クリエイティブAと比較して、効果は限定的であったことが分かります。X社は、この検証の結果を踏まえ、テレビCMの放映を継続するとともに、次回以降の出稿では、クリエイティブAの投下量を増やしていくことを決めました。

今回の分析の興味深い点は、傾向スコアでの調整を行わずに比較した図１のケースでは、調整した図２の場合に比べて、KPIの差分が低く算出されているという点です。　　

こうした現象は、「広告に接触しなかったときの認知度・好意度」が広告非接触者より広告接触者の方が低くなっている可能性が高いために生じたと考えられます。つまり、広告接触者は広告非接触者に比べて、テレビ利用頻度が高くインターネットの利用が少ないため、もともとX社のオンライン旅行予約サービスの認知度が低い集団であったと考えられるのです。調整前の広告非接触者の認知度・好意度は「広告に接触しなかったときの広告接触者の認知度・好意度」を再現できず、図１の単純比較では、広告効果を過小に評価していると言えます。

このようなバイアスを含む結果を信用してしまった場合、「テレビCMの効果は大きくなかった」という判断につながり、テレビCMを取りやめるというネクストアクションにつながっていた可能性もあります。テレビ視聴頻度といった交絡因子となりうる属性を傾向スコアによって同質化したおかげで、バイアスなく効果を測定することができ、ネクストアクションの確からしさを高めることが可能になりました。

２．地域限定販売のブランド浸透効果を検証

次に紹介する事例は、飲料メーカーのY社が、清涼飲料ブランドの新フレーバーを地域限定でテスト販売したことによる、ブランド浸透の効果を測定した事例です。

背景

Y社は、主力の清涼飲料ブランドについて、新フレーバーの上市を計画していました。販売不調に伴う在庫過多といったリスクも踏まえ、まずは少量生産で特定のエリアでのみ、限定販売を行い、その結果をもとに、全国への販売拡大を検討しようとしていました。

この新フレーバー発売の目的は、若年層へのブランドの浸透でした。以前から、当該ブランドは若年層の顧客取り込みに課題を持っており、新フレーバー投入によって若年層にアプローチをしたいと考えていました。

検証のアプローチ

新フレーバー投入によって、若年層において当該ブランドが浸透したかを検証するためには、消費者の属性データと購買データが必要です。したがって、このケースでは消費者単位での過去の購買行動が追える「購買履歴データ」を用いて効果検証を行うことにしました。

評価指標は「ブランド購入率」に設定し、新フレーバー投入により若年層のこの指標が上昇したかを検証しました。新フレーバーのみの購入率ではなく、ブランド購入率としたのは、新フレーバーをきっかけにした、同じブランドの既存フレーバーの購入が伸びることの効果も含めるという意図があったためです。また、新フレーバーという商品単位の購入率で評価する場合、「新フレーバーを購入したが、それが無ければ既存フレーバーを買っていた人」も「効果」に含まれます。ブランド単位で評価する際には、比較対象（限定販売を行っていない地域や時期）と比べるという視点が前提のため、こうしたフレーバースイッチの影響を取り除くことが可能です。

効果測定の方法としては、「差分の差分法」を採用しました（「差分の差分法」については、第４回で詳しく解説しています）。これは限定販売の対象エリアと、非対象エリアの購入率の単純な差や、対象エリアにおける販売前後の購入率の単純な差ではいずれも効果測定にバイアスが生じてしまうためです。つまり、前者では、購入率の差分に新フレーバー投入の効果だけでなく、エリア間の消費者の購買態度の違いによる影響が含まれ、後者では、差分に新フレーバー投入の効果と季節性など外部環境の変化による影響が含まれてしまうということです。

後者の例として、限定販売を実施した時期の若年層のブランド購入率を、前年同時期と比較し、前年差を計算するケースを考えます。こうした前年差には、新フレーバー投入の効果だけでなく、その時期・年に特有の需要変化による影響が含まれてしまうと考えられます。限定販売を行った年の夏の気温が前年よりも高い傾向にある場合には、気温による需要の増加の影響が含まれてしまうということです。

このようなバイアスを取り除き、純粋な新フレーバー投入の効果を取り出すためには、「差分の差分法」による分析が有用です。限定販売を行った対象エリアの若年層を「処置群」、それ以外のエリアの若年層を「対照群」とし、それぞれで限定販売前から販売中にかけての購入率の変化を比較することで、新フレーバー投入の効果を検証しました。

結果とインサイト

図３が処置群・対照群それぞれの限定販売を行っていた時期とその前年同時期における当該ブランドの購入率の変化です。

両群の変化の差分は2.6ptであり、こうした結果は新フレーバーの投入によって若年層の2.6%を新たに誘引することができたことを示唆しています。ブランドのそもそもの購入率の規模を考慮した場合、市場の若年層の約40人に1人を新たに取り込んだという結果は非常にポジティブなものであり、最終的に、Y社は若年へのアプローチ方法の１つとして新フレーバーをラインナップに残すことは有効と考え、全国に販路を拡大する判断をしました。

なお、図３に示すように処置群における前年同時期と限定販売の時期の購入率の差分は3.1ptとなっていました。「差分の差分法」で分析をするケースでも単純な分析方法を用いる場合でも解釈に大きな差はありませんでしたが、様々な可能性を考慮した「差分の差分法」による効果測定の方が結果の「エビデンスレベル」が高く、自信を持って結果に基づくネクストアクションに結び付けられると言えます。

３．意思決定の誤りを防ぐためには

今回は、効果測定の２つの事例を紹介してきました。いずれも、因果推論の考え方を取り入れることで、正しく「効果」を測ることができ、正確なインサイトをもとに次のアクションに結びついた事例と言えます。

本連載では、全５回にわたり、正しく効果を測定するための方法論である「因果推論」の枠組みを紹介してきました。マーケティングにおける「因果推論」の真髄は、「施策があったとき」と「施策がなかったとき」の「２つの世界」における結果を比較することにあります。「施策があったときの結果」の比較対象が、同じ集団の「施策になかったときの結果」になっていない場合、差分を取ったとしても正しい施策の効果は得られません。誤った方法で施策の評価を行い意思決定した場合、本来ならば得られるはずの利益を逃してしまう可能性があります。言い換えれば、マーケティングの効果測定で「因果推論」をフル活用することで、正しいチェックが実現でき、その後のよりよいマーケティングアクション、ひいては利益の最大化が実現できると言えるでしょう。

ビジネス環境の不確実性が増す中で、より確からしく、効率性が求められるマーケティングの現場において、「因果推論」は必要不可欠な技術として、マーケターの武器になるのではないでしょうか。