今回は施策の効果測定って難しいですよね、と言う話です。

PDCAサイクルは日本でも広く普及しており、多くの方が日々の業務で活用されているかと思います。

特にプロセスが確立した業務では、KPI/KGに基づいた改善が効果的です。（製造工程における歩留り率99%を目指す、等）
しかし、Webサイトやモバイルアプリのユーザー行動分析は実行後のC（測定・評価）が特に難しいと感じることがあります。

例えば、ECサイトのオンラインビジネスを考えてみましょう。
2月のデータを分析したところ、コンバージョン率向上に向けたインサイトを発見しました。3月に開発し、4月にリリースされたとします。
2月と4月の結果を比較して成否の判断はできるでしょうか。コンバージョン率の違いだけで判断できるものでしょうか。
この例では2月は閑散期、4月は新年度で需要が高まっていると、何もしなくても4月の方が良い効果となるかもしれません。

もう少し時間軸を延ばして、コロナ禍におけるストリーミングサービスの例もあります。
コロナ禍は巣篭もり需要によりストリーミングサービスが成長しましたが、アフターコロナとなり淘汰が始まっています。会員数の減少や人員削減のニュースを目にされているかと思います。
デジタルマーケティングの担当者は業界的に会員数が減少している中でどのように成果を出していくか、に苦労されているかと思います。

不確定要素が多い環境でどのようにCを行えば良いでしょうか。

正しく効果測定を行う条件とは何でしょうか

理想的には変更箇所以外は全て同じ条件であることです。
BeforeとAfterを同じ時間タイミング、同じユーザーで行った結果を比較できれば解決します。が、現実社会ではそれは不可能です。（※1）

導入中のお客様でも検討中のPoCやツール導入後の効果を振り返る機会はあります。
一般的なお客様では、以下のように想定を交えて行なっています。どちらの方法にもメリットとデメリットがあります

仮説ベース
インサイト発見時点でのユーザー群の比較から、期待できる収益を算出。（以前の記事の考え方です）
利用シーン：本番導入前のPoC、開発の優先度を決める場合など
デメリット：実際に変更した後の効果測定はできていない
KGIベース
期間全体での成果を計算。ここには触れず、触れたとしても代表的なもののみ（例）2月の総売り上げは2億円、4月は2億4000万円なので20%の向上があった。
利用シーン：定期的なビジネスレビューなどの振り返り。調査会社のROIなどもこの方法が多そうです
デメリット：複数の施策を実施していた場合、個々の評価まではできない

ではどうすれば良いか

公平な評価を阻害する1番の要因は時間軸です。時間経過が長くなるほどに先にも述べたような世の中の経済状況や競合状況の影響を受けます。（※2）

効果測定の正確性を高めるためには、課題発見から改善策の実行までを短期間（リアルタイム）に行うことです。2つほど運用のイメージをご紹介します。

1. 2週間のセール期間

   • 最初3日の行動を分析し改修、後半の1週間は改善した結果を試す。

   • 前半1週間と後半1週間で比較をする

2. 新規サービス・新しい機能追加をリリース

   • リリースした午前中の行動データから課題を見つけ、午後には改修する

   • 1日目と2日目の午前中で比較をする

より短期間で改善をしてくことで外的要因の影響を抑えることができます。（※3）
もし今、このような運用を想定していなかった場合、変更するための影響範囲が広いことは承知しています。チーム体制（組織）、開発基盤、運用ポリシーなどのテクニカルな課題だけでなく、組織的な合意を取るのが難しい場合もあると思います。

何故、施策の効果測定を正しく行う必要があるのでしょうか。

施策の効果測定を正しく行う理由はいくつかあります。

• 今後の戦略に活かす：正確な効果測定がなければ、どの施策が成功し、どの施策が失敗したのかを理解することができません。成功した施策を強化し失敗した施策から学ぶことで今後の戦略の改善に役立てることができます。

• 人的リソースや予算の効率的な配分：どの施策が最も効果的であるかを特定できれば、限られた資源を効率的に配分することができます。

• 競争力を強化：デジタル市場はどこも競争が厳しくなっています。市場の変化に迅速に対応し、競合他社との差別化を図ることで市場シェアや顧客の獲得を目指すことができます

属人的な改善活動を超え、持続的・計画的な成長のために欠かせないものだと考えています。

本章は以上です。
効果測定の難しさを感じている方にとって、お役に立てば嬉しいです。
また、私の現場感が多く入った内容でもあるので、コメントやアドバイスも歓迎しております。

補足
※1：A/Bテストや多変量テストは良いプロダクトを作る有益なアプローチだとは思いますが、リリース後は時間軸が違うので効果測定が難しいことには変わりありません。
※2：時間以外に訪問者の違いもありますが、こちらは統計的アプローチで対応できます
※3：OODAサイクルというアプローチも広がっています。ご参考までに一つ記事を紹介です。https://growth-marketing.jp/knowledge/how-to-spped-up-ooda-loop/