マガジンのカバー画像

[シリーズ]A/Bテスト改善

3
本
メルカリAnalyticsチームがA/Bテストの量・質を改善していくために取り組んでいることをお伝えします。
運営しているクリエイター
Mercari Analytics Blog

[シリーズ]A/Bテスト改善 -A/BテストのPost analysisでインサイトを得る方法-

A/Bテストが「やって終わり」になっている、A/Bテストからあまり学びが得られていない……A/Bテストを始めたばかりのチームや、A/Bテストが多く走っていて集計に追われているチームは、まずこういった課題を持っているのではないでしょうか。メルカリのAnalyticsチームも例外でなく、この壁にぶつかりました。 そこでAnalyticsチームでは、A/Bテスト改善の取り組みとして、A/Bテストの分析について手法を確立し、普及しようとしています。 この分析は、Experimen

Mercari Ana…

[シリーズ]A/Bテスト改善 -SRMの確認と原因究明の優先順位づけ-

こんにちは。メルカリAnalyticsチームの@nakanipiです。私はメルカリでホーム画面周りやメタデータ機能の分析・改善、またA/Bテストの改善を担当しています。 今回は「メルカリにおけるA/Bテスト改善」シリーズの第二弾をお届けしたいと思います。第一弾ではメルカリにおけるA/Bテストの現存課題をお届けしました。打ち手である「テスト設計・分析方法の確立と普及」のテーマに対し、この記事ではSRM (Sample Ratio Mismatch : ユーザー数の群間の偏り)

Mercari Ana…

[シリーズ]A/Bテスト改善 - メルカリにおける課題の全体像 -

こんにちは。メルカリAnalyticsチームの@natsumeです。私はメルカリで出品体験の分析・改善やA/Bテストの改善を担当しています。 今回は「メルカリにおけるA/Bテスト改善」シリーズの第一弾をお届けしたいと思います。メルカリがA/Bテストに関して、どのような課題を持っているのか、またどのように改善を進めているのかをシリーズを通してお伝えしたいと考えています。第一弾の今回は、メルカリのA/Bテストをめぐる課題の全体像を伝えられればと思います。 今までの改善について現

Mercari Ana…