2019年、私はマーケティングの新しい職種のカテゴリーを作りたいと考え、私がまず「効果検証デザイナー」を名乗りたいと思います。

マーケティング施策において、特に大きな予算投資を伴う施策の効果検証や意思決定で、「効果検証のデザイン」が正しく行われていない印象があるためです。「効果検証のデザイン」という言葉自体聞きなれない言葉だと思います。全国数千店舗の飲食店舗チェーンの売上への影響を検証するケースいくつかを例に考えてみます。

1.TVCMの影響

2.店舗を禁煙にすることによる影響

3.店舗運用やシステム開発と連動する大規模なアプリやサイトの利用による影響

上記の1.3について、全国数千店舗規模の業態であれば、億単位または数10億単位の投資規模でしょう。2についても、全国の喫煙可能店舗を全て禁煙にする際の投資、または売上への影響はかなり大きいものでしょう。こうした大きな枠組みでの施策の効果把握ほど重要なのですが、適切な効果検証の方法をデザインできていないマーケターが殆どです。それができる組織にするための支援（研修や分析）が私の主なスコープです。

ネット広告はユーザーが広告をクリックまたは接触した後に購入したらそれは広告による影響だとみなす様な判定方法で誰でも把握できる為、多くの場合、かなり細かく効果の検証がされていますが、あくまで「みなしている」だけであり、因果推論のデザインにはなっていません。これについてはここでは深掘りを避けますが、後に紹介する拙書「Excelでできるデータドリブン・マーケティング」の1章までの全文公開noteに、因果推論の分析を応用する株式会社電通デジタルのデジタルアドの効果検証法を紹介しています。

1と2についてはTVCM、または店舗禁煙の事前事後で売上を単純比較することによる判断がよく行われています。単純な前後比較は因果推論ではNGです。季節性ほか、TVCM以外のトレンド要因などを考慮できないなど多くの問題を含んでいます。

1の場合には売上の時系列の変動をTVCMなどの時系列の推移によって説明する数理モデルを用いる分析によってTVCM他、マーケティング施策や販促などの内的要因や天候や気温やトレンド要因などの外的要因、それぞれの一単位が売上をいくら増やすか？効果（専門用語では「介入効果」）を推定するマーケティングミックスモデリングという分析を用いることなどが考えられます。

マーケティングミックスモデリングについては後に紹介する拙書「Excelでできるデータドリブン・マーケティング」で演習で学べます。なお、本noteのタイトル画像は同書籍の演習で紹介しているTVCM、紙媒体、OOH、Web広告の売上に対する介入効果について可視化したグラフです。

2については、全店舗で禁煙を実施した後の単純な前後比較では正しい因果推論ができない為、まずはテストケースとして禁煙する店舗の集団と禁煙しない店舗の集団を比較することを推奨します。1についてもTVCMの接触者と非接触者で比較、3についてもサイトやアプリの利用者と非利用者を比較する方法が考えられます。施策の影響がもしなかったら？という状況はタイムマシーンが無ければわかりません。そこで、施策の影響がある集団とない集団と比較し、売上の差分を効果として把握する方法です。

こうした際には原因（TVCMや禁煙、サイトやアプリなどの施策）→結果（売上）の介入効果を推定するため、2つの集団を比較する際に施策の影響の有無以外の条件を同一にする必要があります。それを満たす為には無作為に抽出された2つの集団に対して、片方は施策を実行し片方は実行しない。といった実験が有効です。しかし、そうした実験ができない場合は多く、そうした場合には実験に近い状況を分析によって導く「準実験」を適切にデザインする必要があります。

私はマーケティングミックスモデリング、または準実験のデザインに付帯する知識や具体的な分析方法を企業のマーケターに研修する、または研修と分析の双方を支援します。そうした分析から意思決定を行う為には、統計や因果推論の知識を企業マーケターが学ぶ必要もあると考えているため、（研修を受けて頂けない）分析のみの受託は原則お請けしない方針です。※ただし、統計や因果推論の知識をすでに有しているチームが対象となる場合を除く

マーケティングの現場では、介入効果を推定する為に本来比較してはいけない2つの偏った集団（施策の影響ありなし）を比較しているケースを多く見かけます。健康診断を受けている人と受けていない人を分け、その２つの集団の健康状態を比較することで健康診断（原因）→健康（結果）の効果（因果関係）を把握しようとするといったケースです。この場合、国民それぞれの健康意識の高さが、健康診断に行く（原因）と健康（結果）に双方に影響することが考えられ、健康意識が高い人ほど、健康診断に行き、健康意識が高い人ほど良い健康状態である傾向にあるため、（健康診断）を受けた人と受けていない人を比較した健康状態（結果）の差分には、健康意識の高さが健康状態にもたらす影響を含むため、差分から健康診断（原因）による健康状態（結果）への介入効果を推定できません。

ここでの健康意識のことを専門用語で交絡因子と言います。原因と結果、双方に影響を及ぼす、原因と結果以外の要因のことす。

飲食チェーンの事例2の場合はテストで禁煙を実施した店舗と実施しない店舗の比較の場合は、禁煙を実施した店舗が喫煙者が多いビジネス街のエリアに立地している場合が多いといったことが交絡因子になるかもしれません。3の事例の場合はサイトやアプリを利用する人はブランドに対するロイヤリティが高い傾向があり、それが交絡因子になるかもしれません。

効果検証の為に２つの集団を比較するなどの準実験のデザインでは交絡因子によるバイアスを考慮するための分析のデザインが必要です。こうしたことに対してマーケティング業界ではほとんど話題にすらされません。交絡因子など統計的因果推論の知識について浸透しておらず、そうした知識についてマーケティング業界の方にとってはとっつき辛いのかもしれません。AI化など、マーケティング業務に付帯する分析が自動化され探索的、自動化する手法の開発や普及が今後、より進んだとしても、交絡因子によるバイアスについては、分析者の判断や補正が必要です。そこまで判断してくれるAIが登場するにはまだ時間がかかるはずです。仮にAIがそれを判断する手法ができてもも、それを使う分析者（人間）が交絡因子とは何か？など因果推論に必要な知識について理解しておく必要があるはずです。ネット広告の効果検証など、みなしの因果効果の把握については誰でも理解できるCPA（コストパーアクション）などの指標をもとにギチギチに追求される割に、前述の1.2.3例のように、投資規模が大きく重要な意思決定となる施策の「効果検証デザイン」（施策の因果効果を推定するための効果検証についてあらかじめ定義し検証まで実行）がされていないケースが多いと思います。そうした状況を変えていく為にまずは、「因果関係」とは？ということから、マーケターの皆さんが興味をもっていただくと良いと思います。その為のオススメ書籍が「原因と結果の経済学」です。50万部を超える大ヒット書籍「統計学が最強の学問である」シリーズ著者の西内啓氏の推薦書籍です。とっつきづらいと思われがちな因果推論について、専門書ではなく、ビジネス書の文脈でわかりやすく紹介しています。

拙書「Excelでできるデータドリブン・マーケティング」は、ビジネス書と専門書の中間的な位置づけとして、主にExcelを用いてマーケティングミックスモデリングの分析演習を行いながら、効果検証のための統計や因果推論の知識を学ぶことができる書籍を作りました。「原因と結果の経済学」同様に、西内氏の推薦書籍となっています。1章までをnoteで全文公開しています。

効果検証について課題がある方はぜひご覧頂ければ幸いです。

更新情報

マーケティング意思決定に有用なサイエンスを学ぶことができる2時間1,000円のオンライン講義も開催しています。

マーケティング投資最適化の教科書（基礎理解編）

お読み頂き、ありがとうございました！