dmaruyama

統計学を中心としたお勉強のアウトプット&忘れっぽい未来の自分のためのメモを残し…

dmaruyama

統計学を中心としたお勉強のアウトプット&忘れっぽい未来の自分のためのメモを残します 内容は知識のアップデートに応じて随時更新します

Andrew 先生から ML Ops の基礎を学ぶ①

とあるきっかけで Coursera の「Machine Learning Engineering for Production (MLOps)専門講座」の受講を開始しました。細かい実装の技術には関心は薄いのですが、プロダ…

dmaruyama
dmaruyama
1年前
3

効果検証における期間前後比較と中断時系列分析

プロダクトをリニューアルする、など対象をランダムに分割せずに全体に対して行う施策において効果検証を行う際には「施策を行った日の前後 n ヶ月」を比較するようなアプ…

dmaruyama
dmaruyama
1年前

統計的仮説検定で p 値だけでなく効果量も見ましょうねと言われる背景について

統計的仮説検定を行う際には、単に検定というフレームワークに当てはめて p 値が有意水準を下回るかどうかをみるだけでは、本来評価したいことが適切に評価できていないこ…

dmaruyama
dmaruyama
1年前
1

plotnine で python から ggplot2 ライクなグラフ描画を行う

この頃 ggplot に入門してみて、特定のデータをハイライトするなどちょっとこみいったチャートを作成したいシーンで使い勝手が良いなと感じました。EDA の時には慣れている…

dmaruyama
dmaruyama
1年前
2

CATE を推定する Uplift Modeling の概要

アップリフトモデリングについていくつか書籍と論文に目を通して勉強しました。興味のある箇所をピックアップしてメモします。 Uplift Modeling の概要Uplift Modeling は…

dmaruyama
dmaruyama
1年前

相関から一歩進んで因果を調べたい時の共変量の選択基準について

回帰分析や傾向スコアを用いて因果推論をする際には、何を共変量として考慮する必要があるのか特定する必要があります。その考え方については、「統計的因果推論 -回帰分析…

dmaruyama
dmaruyama
1年前

因果推論と Statistical Matching の基礎のお勉強メモ

因果推論の基本ルビンの潜在反応モデルでは、ある人物に介入した時の反応（$${Y_1}$$）と介入しなかった時の反応($${Y_0}$$)の差を介入の因果的効果と見做します。 しかし…

dmaruyama
dmaruyama
1年前
2

吸収マルコフ連鎖を用いたプロダクト分析アイデア

はじめにプロダクトの分析においては、ユーザーを任意にセグメンテーションして、より好ましいセグメントに遷移してもらうように施策を考える、ということを行います。例え…

dmaruyama
dmaruyama
1年前
1
dmaruyama

dmaruyama

Andrew 先生から ML Ops の基礎を学ぶ①

とあるきっかけで Coursera の「Machine Learning Engineering for Production (MLOps)専門講座」の受講を開始しました。細かい実装の技術には関心は薄いのですが、プロダクション環境に機械学習を乗っけるにあたってどういった手続きを踏んでどういった点を考慮する必要があるのかしっかり学び、ML系のプロジェクトを円滑に進められるようになりたいというモチベ

もっとみる
dmaruyama

dmaruyama

効果検証における期間前後比較と中断時系列分析

プロダクトをリニューアルする、など対象をランダムに分割せずに全体に対して行う施策において効果検証を行う際には「施策を行った日の前後 n ヶ月」を比較するようなアプローチをとることがあります。

この方法について、施策の因果的な効果という文脈での妥当性について考えを整理しておこうと思います。

期間前後比較をする際の仮定まず、期間前後比較で効果検証する際には何を仮定しているのでしょうか。ルビンの潜在

もっとみる
dmaruyama

dmaruyama

統計的仮説検定で p 値だけでなく効果量も見ましょうねと言われる背景について

統計的仮説検定を行う際には、単に検定というフレームワークに当てはめて p 値が有意水準を下回るかどうかをみるだけでは、本来評価したいことが適切に評価できていないことがあります。
"意味のある"評価のためには、効果量や検出力もあわせて検討する必要があります。そのあたりの話をシミュレーションを交えて確認していきたいと思います。

import numpy as npimport pandas as p

もっとみる
dmaruyama

dmaruyama

plotnine で python から ggplot2 ライクなグラフ描画を行う

この頃 ggplot に入門してみて、特定のデータをハイライトするなどちょっとこみいったチャートを作成したいシーンで使い勝手が良いなと感じました。EDA の時には慣れている matplotlib や seaborn でささっと描画して、レポーティングの時に見栄えの良いチャートを作るなどの際には ggplot を使いたいと思いました。
python から（見た目だけではなく文法含め） ggplot

もっとみる
dmaruyama

dmaruyama

CATE を推定する Uplift Modeling の概要

アップリフトモデリングについていくつか書籍と論文に目を通して勉強しました。興味のある箇所をピックアップしてメモします。

Uplift Modeling の概要Uplift Modeling は ATE や ATT よりもっと細かくサブグループ、ないしは個人ごとの因果効果を推定する手法です。これは Conditional Average Treatment Effect, CATE を推定すること

もっとみる
dmaruyama

dmaruyama

相関から一歩進んで因果を調べたい時の共変量の選択基準について

回帰分析や傾向スコアを用いて因果推論をする際には、何を共変量として考慮する必要があるのか特定する必要があります。その考え方については、「統計的因果推論 -回帰分析の新しい枠組み- 」で大変わかりやすく丁寧に解説がされており、そちらでのお勉強のメモを残しておこうと思います。

相関を因果と見做すためには$${X}$$ と $${Y}$$ の間に相関関係があったとしてもそこに因果関係があるとは限りませ

もっとみる
dmaruyama

dmaruyama

因果推論と Statistical Matching の基礎のお勉強メモ

因果推論の基本ルビンの潜在反応モデルでは、ある人物に介入した時の反応（$${Y_1}$$）と介入しなかった時の反応($${Y_0}$$)の差を介入の因果的効果と見做します。

しかし、現実には同一人物で介入をした場合としなかった場合を同時に観測することはできずません。（影分身してもらわないといけません。）

そこで、個人ではなく集団における平均的な因果効果として$${E[Y_1 - Y_0] =

もっとみる
dmaruyama

dmaruyama

吸収マルコフ連鎖を用いたプロダクト分析アイデア

はじめにプロダクトの分析においては、ユーザーを任意にセグメンテーションして、より好ましいセグメントに遷移してもらうように施策を考える、ということを行います。例えば RFM 分析では Recency, Frequency, Monetaly の 3 つの尺度でユーザーを分類して、現状を把握し、優良グループを増やすなどの施策を考えます。
このとき、任意に定義された状態をユーザーは時間に応じて移動してい

もっとみる