A/Bテストを行う基盤の検討していて、統計ってむずいなって思いながらプロジェクトマネジメントしています。

案件をリリースして成果を最大化していく場合、AB稼働率は１００％だと成果を最大化できるよね、というお話です。

AB稼働率とは、検証したい画面においてどのくらいABテストを実施した期間があったか？というものです。

つまり、365日中180日をABテストに費やせば、AB稼働率は50%だったといえます。

このAB稼働率が高いほど、成果が得られるチャンスが増えるので、100％に近いほうがおいしいよね、という考え方です。

成果の計算式

以下の図のように定義しました。

重要なことはコントロール可能な部分に目を向けることだと思います。

もちろんコントロール不可な部分もある程度の見立てや検証仮説の精度は大事だと思いますが、考えすぎるよりやってしまったほうがいいかなと思う因数です。

AB稼働率はリリース案件数の因数になる

AB稼働率は上図のリリース案件数にひも付きます。

AB稼働率の高さが、チャンスを得るチャンスの多さに直結します。

AB稼働率の高め方

ABテストの検証期間にあわせたリリースサイクルを組むのが最も効率がよいと考えています。

たとえば、ABテストの結果が出るまでに4週間かかったとする場合、この4週間にあわせて開発をすべて進めていきます。

注意すべき点は、サイクルの重なり

例えば、AB検証期間を４ｗとして、

①企画、開発ともに２ｗの場合

②企画、開発ともに４ｗの場合

を考えてみます。

①企画、開発ともに２ｗの場合には、２サイクル分が重なります。

②企画、開発ともに４ｗの場合には、３サイクル分が重なります。

そのため、企画、開発ともに４ｗだった場合のほうがサイクルの重なりが大きくなるため、リソースは逼迫しがちになります。

リソースが不足すると、案件検討や開発がうまく進まない可能性があります。そうなれば、リリースできない案件が増えたり、よくわからない仮説の案件をとにかくやって失敗する（勝率が下がる）などが起きる可能性もあります。

まとめ

今回はAB稼働率を高めたほうが成果を得られるチャンスは最大化され、成果の最大化につながることを整理しました。