「効果検証デザイナー」の小川と申します。いくつかの広告会社、電通グループ、ネットイヤーグループを経て、今はカーツメディアワークスというPR会社のデジタルマーケティング事業を担当するコンサルタントです。

マーケティング業界ではインターネット広告のクリックの後、コンバージョンが発生したといったWEBマーケティングの数値検証はギチギチに行われている割に、TVCMや大規模なシステム開発を伴うサイトやアプリなど、数憶、数十憶円といった大きな投資の施策の因果効果を証明する為の「効果検証のデザイン」の知識については、ほとんど浸透しておりません。AIだデジタルトランスフォーメーションだという前に、マーケターの皆さんがまず学ぶべきことは他にもあるのでは？（統計や因果推論学びませんか？）といった気づきを共有する活動としてnoteを書いています。

そんな私が「統計学が最強の学問である」シリーズ著書である西内啓氏の推薦を受け、出版した書籍が「Excelでできるデータドリブン・マーケティング」です。回帰分析をベースに、時系列データ解析によってTVCMやネット広告などのマーケティング施策の説明変数が売上数などの目的変数に及ぼす影響を定量化し、それを元に施策の予算配分の最適化まで行う「マーケティングミックスモデリング」という分析を会得することができる書籍です。日本ではこの言葉の意味を知らないマーケターが多いと思います。（欧米では浸透しています）

Amazonでの発売日は2018年11月28日、予約開始は10月16日でした。予約開始から2019年3月30日までの売上ランキング推移がこちらです。最高は1月9日の790位で、最低は11月17日の255,180位です。

（図1）

11月17日以前の数日はランキングが下がり続けています。1冊も売れない日が続いたと思われます。11月28日以降は堅調な推移をキープしていますが、大きくランキングが下がらない様に、書籍のPRも兼ねnoteを何度かアップしてきました。現時点（2019年3月31日12時20分）のnoteダッシュボードの数値をまとめた各記事のいいね！数スキ数と、NewsPicksされた数をまとめたものが下記です。

（図2）

私はこの書籍を出すまでツイッター（397）は10年以上放置、note(195)とNews Picks（31）は2018年12月に初めてアカウントを作りました。※（）内の数字は執筆時点2019年3月31日12時20分のフォロワー数です。フォロワーは少ないのですが、News Picksやツイッター、noteで少しバズったコンテンツもあり、多いものは1万PVを超えました。noteが多くのPVを獲得した後、数日はAmazon売上ランキングが上がった実感がありましたが、本noteでは改めて「マーケティングミックスモデリング」分析手法を用いてnoteのPVが増えるとマーケティングミックスモデリングの本の売上数が増える説を検証します。

その前に、Amazonのランキングの算出法は独特で分析に使いづらいのでランキングロジックを解説した下記の記事を参考にさせて頂き、

以下の基準でランキングを売上数に置き換えました。これを売上推計値とします。（関係者からヒアリングした「実売数」の合計とさほど乖離ない様でした）※実売値をそのまま本noteで紹介することは控えさせて頂きます。

1000位以内（12冊）／1500位以内（10冊）／2000位以内（7冊）／4000位以内（5冊）／6000位以内（4冊）／8000位以内（3冊）／12,000位以内（2冊）／12001位以上（1冊）

発売日の11月28日~3月26日までの「118日」での売上推計値と各noteの公開日にPV数を割り付けた値を2軸の折れ線グラフとしてプロットします。

（図3）

1月7日の値は私が書いたnoteではなく、私の書籍のことにも言及頂いた松本健太郎氏のnote（データ・ドリブン・マーケティング論考）です。このnoteの公開以降、私の書籍のRankingが最も上がりました。（noteのアクセス数は同氏の別のnoteから参照しました。）

素晴らしい内容なので是非ご覧ください。

書籍付録Excelシート（VBAを組み込んだオリジナル分析ツール）を用いて、「118日（2018年11月28日~2019年3月25日）」のnoteのPV数を説明変数、売上推計値を目的変数として「LINEST回帰1」というマクロ実行ボタンを押してサクっと回帰分析を行います。

※書籍ではアルコール飲料や通販の事例で「118週」の時系列データ解析によってTVCMや紙媒体、交通広告(OOH）やネット広告の効果を定量化する分析演習を提供しています。今回は週単位ではなく日別データで分析しました。

（図4）

B5セルの「補正R2」はExcelの独自用語です。正確には「自由度調整済み決定係数」といいます。目的変数（ここでは売上推計値）の「変動をどれくらい説明できているか？」という指標です。「≒モデルの予測精度」と捉えることができます。◯割を超えなければならないといった統計的に定められた指標はありません。書籍では筆者の経験上80％を目指したいとしています。図4ではマイナスの値になっています。

E9セルのP値はnote PV数（説明変数）が売上推計値（目的変数）に与える影響（係数）が0であることを帰無仮説とし、それを棄却するか？の検定結果の値です。一般的にこの値が5％を下回ることが望ましいとされています。書籍では10％以下としており、付録Excelではそれを上回る値の場合セルが自動で黄色く着色されます。図4では60％以上となっています。

E8セルの効果数は得られた係数などか導いた説明変数（noteのPV数）によって目的変数（売上推計値）をどれだけ増やしたか？の合計の推定値です。図4では「2」冊となっています。

書籍付録Excelシートでは、回帰分析から求めた予測値と実績値と差分（残差）が自動でプロットされます。「残差」が予測値と実績値の差分の絶対値です。これを最小化（正確には残差の二乗の値の合計値を最小化）する分析が回帰分析です。誰が見ても、この分析結果（これを「モデル1」とします。）があまり意味のないものではないか？と思うのではないでしょうか？

（図5）

そこで、再び分析し直します。図3のグラフをよく見てみると、1月7日の松本氏のnoteなど、いくつかのnoteは1日遅れて売上数が伸びている為、「1日遅れて効果がありそうなnote」を「note PV数（t-1)」として1日下にズラした変数を作り（専門用語でラグを取ると言います。）noteの変数を2つに分けて回帰分析を行います。

（図6）

（図7）

この分析結果を「モデル2」とします。B5セルの決定係数が2割まで上がり、「効果数」の合計は21冊に増えました。説明変数のP値も1%未満の値になりました。さらに私が書籍で紹介する手法では、Excelの最適化演算ツール「ソルバー」を用いて変数を加工します。翌週（本分析では翌日）まで〇％の効果が持続する「残存効果」を0％~70％の間で探索し予測精度を上げます。説明変数の値が大きくなるにつれ、目的変数を増やす効果の増分が逓減する「非線形な影響」も探索することができます。「ソルバー」を用いて導いた分析結果がこちらです。

（図8）

決定係数は51％を超え、効果数の合計は73冊まで増えました。

※「残存効果」は翌期に◯％ずつ効果が持続すると10期先まで仮定した変数加工のための値、「累乗」は非線形な影響を加味する為の値です。1だと直線、1を下回る値になると曲線（非線形）となります。

（図9）

この分析結果を「モデル3」とします。

折れ線グラフのHOTは、Hold Out Testと言って、縦にひかれた赤線（左側）より「以前の期間」でデータで分析を行って予測モデルを作り、赤線（左側）「以降の期間」を予測するものです。ここの予測と実績が大きくズレています。

これはおそらく、他のnoteの効果と比較して、1月7日の松本健太郎さんのnoteの効果が大きいことが原因ではないか？などと考えます。

そこで、次に1月7日のnoteのPV数に対応する変数（実際にはラグを取り1月8日に割り付け）をさらにもう一つ（三つ目）の変数として独立させて分析をし直します。

（図10）

決定係数は60％を超え、効果数の合計は80冊まで増えました。

折れ線グラフのHOT(Hold Out Test)期間の予測と実績に当てはまりも改善しています。この分析を「最終モデル」とすると、これまで分析した4つのモデルの指標は下記の様になります。

・モデル1　決定係数　－0.007135　　効果数　2

・モデル2　決定係数　0.205388　　効果数　21

・モデル3　決定係数　0.510769　　効果数　73

・最終モデル　決定係数　0.606485　効果数　80

予測精度の目安となる決定係数を上げながら、モデルを進化させ、より確からしい効果としてnoteのPV数（説明変数）→Amazonの売上推測値（目的変数）への影響（専門用語では「介入効果」といいます）を推定していきました。最終モデルから23,638のnoteのPV数合計によって、Amazonの売上数は80冊増えたのではないか？という結論に至りました。

書籍の付録ではさらに予算配分シミュレーションまで行えるシートも共有しており、そのシートも用いると、下記の様なアウトプットが作成できます。

これは、最終モデルを元に、noteの1PVを得るための必要コストが仮に1円だとしたときに、３つの説明変数（当日に効いた小川noteのPV、翌日に効いた小川noteのPV、翌日に効いた松本氏のnoteのPV)X軸を1日あたりのコストとして、Y軸のAmazonの売上数（推測値）への影響の予測式（最終モデルに用いたもの）をプロットしたものです。

ちなみに、これによると当日に効いた小川noteのPVが最も効果が高いものとなっています。

書籍の付録を用いて分析する際にはマクロで簡単に集計できるので「当日に効いた小川note」でROIを算出してみます。仮に書籍の売上に対する利益（印税）を10％とした場合、ROI（投資に対する利益率）は128.8％となりました。

ここでのPV数の合計は23,683ですから、1PV当たり1円で23,683円。仮に、分析によって判明した最も効果が高かった「当日に効いた小川note」のPVの効果が、全てのnoteの効果だとして、ようやくROI100％を超える程度です。実際には金額換算で少なくともその10倍以上労力使っている気がしますが・・。

でも、改めて今回の検証で定量化してみて「スッキリ」しました。私は普段からマーケティング施策の効果を今回行った時系列データ解析、またはそれ以外の方法で定量化するアプローチをしないと、「モヤモヤ」してしまうのです。ただ、今、日本のマーケティングでは、施策の効果をここまで定量化していないケースのほうが多く、いわば「モヤモヤ」がスタンダードになってしまっている気がします。

今回の説（検証）について、「そもそもAmazonの売上も推計値じゃないか！」とツッコまれる方もいると思います。しかし、実際のマーケティングROI把握分析について、これと同じ様な状況で分析することも多いのです。効果の根拠とする目的変数自体から「確からしい」ものを作ることから始まるというケースも多いのです。（例えば、メーカーの場合、流通から売上データをもらえないケース等）

私が尊敬するマーケティング領域の戦略コンサルタントの方は、事象または因果効果について定量化しようとするスタンスこそが最も重要としており、その手法が統計的に高度である必要はないとおっしゃっています。私も同感です。大事なのは定量化しようとする「スタンス」です。とはいえ、ベース知識をつける勉強も必要です。皆さんのスタンダードをモヤモヤからスッキリに変える為に、「Excelでできるデータドリブン・マーケティング」を参考にして頂ければ幸いです。次回執筆書籍ではビジネス書として、マーケターが戦略を描く為の戦略論についてまとめる予定です。noteやツイッターでは、マーケティングサイエンスや雑感を発信していく予定です。

【note】
https://note.mu/ogataka

【Twitter】
https://twitter.com/dancehakase

今回の検証結果を踏まえ、次回作を1万部売る為にはnoteだけで8000冊売ろうとしたら、236.83万PVを稼げるライターになる必要があります。ぜひ、面白いと思って頂けたらシェア頂けますと幸いです。ここまで読んで頂きましてありがとうございました！

追加情報（2023年12月18日更新）

クッキー規制で目減りする効果計測の課題を解決法をnoteにしました。無料で使えるMETA社の高機能なMMM（マーケティング・ミックス・モデリング）ツール「Robyn」を徹底解説する2時間強のYouTube講義を公開しました。