施策をやったはいいけれど、効果測定はちゃんとできてますか

マーケティングキャペーンや広告の効果測定は「やらなければならないとは思っているけれども、そんな時間もないしやり方もよくわからない」という話はよく聞きます。

また、一応やってはいるものの、後で検証してみると方法や解釈がかなり怪しいレポートも見かけます。

そこで、効果測定をきちんとするためにはどのような観点があるかをまとめてみよう、というのが今回の記事です。

効果測定のための５つの観点

効果測定というとすぐに「どの指標を見るか」となりがちですが、それだけでは不十分です。

考えるべきこととしては大きくまとめると

１．目的をどうするか

２．どうやって測るのか

３．次にどうするかを考えるためにはどんなことを知るといいのか

４．その分析を誰がやるのか

５．限られた時間とリソースの中でどこまでやるか

の５つがありますが、それぞれ「どういった観点があるか」について考えてみようと思います。

１．目的をどうするか

何をするために効果測定をするのか

最初にするべきことは目的をどうするかを決めるということになりますが、当たり前のようで結構おざなりになっています。

効果測定というのは、つまりは「過去のキャンペーンでどうだったかを分析、検証して次にどうするかの意思決定をするため」です。

なので効果測定は目的ではありません。効果測定することを目的にしてしまうと、いかに正確な数値を出すかだけに注目してしまいますが時にはデータも時間も無い中で決断することも必要になります。

何を測るか

いきなりどの指標にしようか考えたり、とにかく何か測ってみてうまく行ってそうなところを探したりしてもうまくはいきません。

効果を測るためには基準からどれだけ違ったかを、つまりは「キャンペーンをやらなかったときに比べてどうだったか」の他にはないのではと思います。

指標をどう選ぶか

次に指標を選ぶのですが、これも種類がいろいろあるので、それっぽい指標を測ればそれでいいと思ってしまう人もいるのですが、逆です。

目標に合わせて何を測るかを決めましょう。そうしないと測ることが目的いなってしまったり、自分に都合の良い指標を設定してしまうということが本当によくあります。

売り上げを目標にしたキャンペーンなのに後になって「会員数も伸びているかもしれない」なんて言い出すと話がぶれます。

あるいは「会員数の増加を狙ったキャンペーンが失敗したから、会員の満足度に変えてみよう」とかもいけません。いろいろな切り口で見れば良い面悪い面はあるのでいくらでも捻じ曲げられます。

特定の施策の効果測定を行うのですから、その施策に合った指標を選ぶべきでしょう。

効果測定する必要があるのか

効果測定は次にどうするかを考えるのであれば必ず行うべきものです。

言い換えれば結果がどうあれやるやらないが決まっているのであればいくら分析しても意思決定には関係ないわけで、だったら今はそのキャンペーンの分析をしなくてもよいのでは、とも考えてみるべきでしょう。

いつかやるであろう別のキャンペーンのための学びのために、というのは正しいようで正しくありません。

なぜかというと、その時間で別のことに時間が使えるからです。限られた時間の中で、他にやるべきことを差し置いて使う予定のない分析に時間を費やす余裕はないのです。

２．どうやって測るのか

施策の効果をどう測るか

測るべき指標が決まったら、次に「どうやってその指標を正しく測るか」が問題になります。

施策の効果は「その施策で増えた分 ー その施策に費やしたコスト」ですので、つまりは「その施策で増えた分」と「その施策に費やしたコスト」をそれぞれどう測るか、ということが重要です。

増えた分をどう測るか

キャンペーンを行ったときの数値（例えば売上）だけを見て上がったからよかった、下がったから悪かったというのは安直すぎます。

大事なことは「キャンペーンがなかったらどうだったか」を知ることです。その時と比較して増えた分がそのキャンペーンの影響であると考えるべきでしょう。

これだけで本が一冊かけてしまう問題ですが、かいつまんで言うと「バレンタインデーにチョコレートの広告を出したらバカ売れした！これは広告の効果だ！！」というのはおかしい、ということです。

コストをどう測るか

キャンペーンのコストというと、発行したクーポンや値引き分は当然ですが、制作物の費用や動いた人が費やした時間もコストに含めるべきでしょう。

このコストを無視してしまえば大抵のキャンペーンは＋の評価になるのは当たり前なので、この点を考慮しない効果測定は意味がないです。

また、「その施策で増えた分」と「その施策に費やしたコスト」がわかったらその差分を取れば効果測定が完了するか、いえば決してそんなことはなく、直接間接に数値に表れることからそうでない影響まで考慮する必要があります。

効果はどこからどこまでか

キャンペーンをきっかけにサービスを使うようになってくれたユーザーがいたとして、一生分の売上をキャンペーン効果にするのは無理があります。

一方でそのキャンペーンの時の売上だけというのも違う気がします。常連になってくれたらいくらかはキャンペーンの効果と見なすことは受け入れることができます。

さて、適切な期間を決めてその間の売上を効果としよう、となるのはよいとして、では「適切な期間」とはどこからどこまでなんでしょうね。

セグメントの使い方

まず全体で見たときにあきらかに失敗であるならば細かく見てよいところを探すよりはキャンペーンそのものを見直したほうが良いでしょう。

そうでなければいろいろ分けてみると良いところ悪いところが出てくるのですが、その際ボリュームには要注意です。

細かく分ければいくらでも良いところは出てくるのでそこだけ見たくなりますが、全体的な視点は忘れないようにしましょう。

他の影響をどこまで加味するか

他にも考えるべきこととしては

・SNSによる拡散（良くも悪くも）の影響

・一見成功に見えるが実は満足度が大きく落ちている可能性

など数字に直接には表れてこない影響も考えるべきでしょう。

使えるデータはどれだけあるか

効果測定しようにもデータがとれていなければできません。事前に設計をしていないと必要なデータが存在すらしないということもあるでしょう。

なので使えるデータがどれだけあるかは重要な観点です。

３．次にどうするかを考えるためにはどんなことを知るといいのか

効果測定はそのキャンペーンを「やめるか、続けるか、続けるならどうするか」を考えるためなので、効果の良し悪しやいくら利益が増えたかをいくら精密に数値化して良し悪しがわかってもそれだけでは意味がありません。

何をしても賛成する人、反発する人は出てくるので、様々な影響を総合的に考える必要がありますが、どんなことを知るとよさそうでしょうか。

他の施策との比較

そのキャンペーンはそこそこ良かったとしても、人や金のリソースを同じだけ使えば別のキャンペーンではもっとずっと良い結果が得られるかもしれませんし、マーケティングより開発に力を注ぐ方がよいかもしれません。

選択肢は無限にありますが、そのキャンペーンをどうするかだけを考えると視野が狭くなりがちです。

中止した場合の影響の予測

キャンペーンを中止することで起きることがどのような影響を及ぼすかは予測しておく必要があります。

・反発する人の動き。影響力のある人がSNSで間違えた情報を拡散したりすることの特に悪影響

・競合の動き。自社がキャンペーンを止めても他社はそのままなので価格差が出たり、今まで行ったキャンペーンを仕掛けてくる可能性

・利用者のモチベーション。インセンティブがなくなる反動で離脱や乗り換えがどの程度起きるか

・市場判断。失敗や撤退といったネガティブな受け取られ方をされるリスクと、株価への影響

継続した場合の影響の予測

一方でキャンペーンを継続するにしても、同じキャンペーンを同じだけしたら同じだけ効果が得られるということはないでしょう。

その要因と、効果に与える影響は予測しておく必要がありそうです。例えば

・効果の減衰。同じようなキャンペーンをずっと続けると効果が減衰しないか。するならどれぐらいか。

・インセンティブを変えるか変えないか。変えるなら何をどのぐらいにするかと変更に応じて効果がどれぐらい変わるか。

・インセンティブの与えすぎでインセンティブが無いと買わないことにならないかの検証

・他社が同様無いしはよりインセンティブの高いキャンペーンを仕掛けてきた

後半に続く

軽くメモ程度で書いてたつもりが案外長くなってしまったのでいったんここまで。後半に続きます。

2019/07/10 後編を公開しました