Takayuki Uchiba

統計学や機械学習、量子コンピューティングの記事をメインに書きます。統計検定1級(人文科…

Takayuki Uchiba

統計学や機械学習、量子コンピューティングの記事をメインに書きます。統計検定1級(人文科学優秀者)を取得しました。機械学習関連事業の技術顧問などを経て、「株式会社すうがくぶんか」という大人のための数学教室で色々な数学を教えています。趣味は代数幾何と物理の勉強。

メンバーシップに加入する

これまでに勉強してきた統計学・機械学習および周辺の知識を整理するためのメンバーシップです。一ヶ月に一記事程度、統計学の入門的な話題について、統計学が好きな人の理解の整理になるような記事を書いていきます。

  • 記事の購読

    ¥500 / 月

マガジン

  • 統計学のネタ帳

    統計学の小ネタを説明しています。

  • 数学のネタ帳

    あとで数学のまとまった話をするためのメモ帳

  • 統計モデル

    代表的な統計モデルをまとめます。

  • 欠測

    欠測に関連するトピックをまとめます。

  • 確率分布

    さまざまな確率分布とその性質についてまとめます。

最近の記事

maximal coupling

abstract 全変動距離を評価する方法にmaximal couplingがあります。今回はmaximal couplingを導入し、その応用としてPoisson近似の精度を知るために全変動距離を評価するLe Camの定理を証明します。 1 Introduction確率変数 $${X, Y}$$ の同時分布を考えます。$${X}$$ の周辺分布と $${Y}$$ の周辺分布を固定した状況で、$${X}$$ と $${Y}$$ が同じ値を取る確率 $${\mathbb{P}

    • 混合分布の分散

      abstract 二つの分布を混合したとき、この混合分布の分散がそれぞれの分布の分散に加え、期待値の差によっても決まることを示します。

      • 確率分布間の全変動距離

        abstract 確率分布間の全変動距離を定義します。また、この定義と同値な条件を紹介し、証明を与えます。 1 Introduction二つの確率分布の間の距離の例に全変動距離があります。以下、議論を簡単にするため、離散型の確率分布だけを考えます。二つの確率分布の確率質量関数をそれぞれ $${p(x), q(x)}$$ と表すとき、 $$ \begin{align*} d_{TV}(p, q) &:= \frac{1}{2}\sum_{x=-\infty}^{\infty

        • 劣Gauss分布の定義

          abstract 裾確率を正規分布の裾確率の定数倍で抑えることができる、つまりheavy tailでないような確率分布のクラスの一例として知られる劣Gauss分布について説明します。 Remark 記事が長い関係で目次が折りたたまれています。目次全体を確認したい方は「すべて表示」をクリックしてください。 1 Introduction劣Gauss分布(sub-Gaussian distribution)は、heavy tailでないような確率分布のクラスの一例です。特に裾確

        maximal coupling

        マガジン

        • 統計学のネタ帳
          33本
        • 数学のネタ帳
          3本
        • 統計モデル
          1本
        • 欠測
          0本
        • 確率分布
          0本
        • noteユーザーに捧げるR tutorials
          3本

        メンバーシップ

        • note『maximal coupling』の背景

          この投稿を見るには メンバーになる必要があります
        • ご報告: 01/28/2024

          この投稿を見るには メンバーになる必要があります
        • note『確率分布間の全変動距離』の背景

          この投稿を見るには メンバーになる必要があります
        • note『劣Gauss分布の定義』の背景

          この投稿を見るには メンバーになる必要があります
        • note『maximal coupling』の背景

          この投稿を見るには メンバーになる必要があります
        • ご報告: 01/28/2024

          この投稿を見るには メンバーになる必要があります
        • note『確率分布間の全変動距離』の背景

          この投稿を見るには メンバーになる必要があります
        • note『劣Gauss分布の定義』の背景

          この投稿を見るには メンバーになる必要があります

        メンバー特典記事

          混合分布の分散

          「記事の購読」に参加すると最後まで読めます

          abstract 二つの分布を混合したとき、この混合分布の分散がそれぞれの分布の分散に加え、期待値の差によっても決まることを示します。

          混合分布の分散

          一般化Newton法

          「記事の購読」に参加すると最後まで読めます

          abstract Minkaによって提案された一般化Newton法を解説し、ガンマ分布の最尤推定への応用を紹介します。

          一般化Newton法

          故障率曲線

          「記事の購読」に参加すると最後まで読めます

          abstract 故障率曲線は機械や装置の時間経過に伴う故障率の変化を表現する関数のグラフのことです。その形状からバスタブ曲線とよばれています。このノートではWeibull分布を用いた故障率曲線の統計モデリングを解説します。

          ベイジアン一つ抜き交差検証法

          「記事の購読」に参加すると最後まで読めます

          abstract ベイズ推定のモデル選択に用いられるベイジアン一つ抜き交差検証法を紹介し、MCMCによって得られる事後分布の乱数を用いた効率的な計算方法を紹介します。

          ベイジアン一つ抜き交差検証法

        記事

          相補誤差関数とGauss関数

          abstract 相補誤差関数とGauss関数は、それぞれ正規分布の裾確率と確率密度関数として知られています。このnoteでは、相補誤差関数をGauss関数で上・下から抑える不等式を紹介します。 1 Introduction$${g_{a,b}(x)=a\exp(-bx^2)}$$, $${a,b>0}$$ をGauss関数(Gaussian function)といいます。そして、$${a=1, b=1}$$ の場合のGauss関数を区間 $${[x,\infty)}$$

          相補誤差関数とGauss関数

          勾配降下法の収束性

          abstract 凸関数のうち勾配がある程度良い振る舞いをするような関数の場合に、十分に小さな学習率を用いれば勾配降下法が最適解に収束することを証明します。また証明に必要な知識を補足説明します。 Remark 記事が長い関係で目次が折りたたまれています。目次全体を確認したい方は「すべて表示」をクリックしてください。 1 Introduction勾配降下法(gradient descent)は、微分可能な関数 $${f(x)}$$ に対して最小値を与える解、いわゆる最適解

          勾配降下法の収束性

          標準正規分布の裾確率

          abstract 標準正規分布の裾確率を抑える不等式を導出します。このような不等式はいくつかありますが、今回はMills比に関連したものを紹介します。 1 Introduction確率変数 $${X}$$ がある値以上を取る確率 $${\mathbb{P}[X>x]}$$ を裾確率といいます。裾確率は確率分布の裾の重さを表す重要な指標で、統計学や機械学習の理論の様々な場面で用いられています。また生存時間分析では生存関数と呼ばれ、それ自体が分析の対象になります。 このnot

          標準正規分布の裾確率

          モーメントが満たす関係式

          abstract モーメントが満たす関係式を紹介し、これを用いて正規分布とPoisson分布の場合にいくつかのモーメントを具体的に求めます。また標準正規分布については、より直接的にモーメントを計算する方法を紹介します。 1 Introduction確率変数 $${X}$$ の $${k}$$ 乗の期待値 $${m_{k}=\mathbb{E}[X^k]}$$ は $${k}$$ 次モーメントとよばれ、$${X}$$ が従う確率変数の様々な情報を持っています。例えば、1次モー

          モーメントが満たす関係式

          Levy分布の特性関数と再生性

          abstract Levy分布の特性関数の導出を紹介します。また、特性関数から再生性を示します。 1 Introduction$${Z}$$ を標準正規分布に従う確率変数とするとき、$${X=1/Z^2}$$ が従う確率分布を標準Levy分布 $${Levy(0,1)}$$ というのでした。また $${Y=a+bX}$$, $${b>0}$$ が従う確率分布をLevy分布 $${Levy(a,b)}$$ というのでした。 Levy分布は $${k=1,2,3,\cdots

          Levy分布の特性関数と再生性

          Levy分布とそのモーメント

          abstract Levy分布を標準正規分布から導出し、モーメントを持たないheavy tailな確率分布の例になっていることを示します。 1 IntroductionLevy分布は期待値や分散を持たないheavy tailな確率分布の代表例です。このような確率分布の例としてCauchy分布(自由度1のt-分布)を思い出す方も多いのではないでしょうか。実は、どちらも安定分布と呼ばれるheavy tailを考えるときに重要になる確率分布のクラスの一例です。 このnoteでは

          Levy分布とそのモーメント

          誤差関数の広義積分を用いた定義

          abstract 誤差関数は正規分布の累積分布関数として知られる重要な関数です。このnoteでは、誤差関数をsinc関数とガウス関数の掛け算を広義積分することで定義する方法を示し、このことが正規分布の特性関数と関係があることを示します。 1 Introduction以下のように定義される関数 $${\mathrm{erf(x)}}$$ を誤差関数(error function)といいます。 $$ \begin{align*} \mathrm{erf}(x) &:= \fr

          誤差関数の広義積分を用いた定義

          分散の定義を見直してみよう

          abstract 分散を直感的に説明するとき、確率変数が取りうる値の「散らばり具合」ということがあります。このnoteではこの標語に関連して、よく知られた定義とは異なる分散の定式化を紹介します。 1 Introduction分散(variance)という用語は、1918年にR. A. Fisherが論文[F]で導入したのが初出だといわれています。確率変数 $${X}$$ の分散 $${\mathbb{V}[X]}$$ は、次のように定義されることが一般です。 $$ \be

          分散の定義を見直してみよう

          分散の劣加法性

          abstract 独立な確率変数の線形和には分散の加法性が知られています。では、線形和から一般の関数にした場合はどうでしょうか。このnoteではその問いに対する一つの回答として知られる分散の劣加法性(分散のテンソル化)を紹介します。 Remark 記事が長い関係で目次が折りたたまれています。目次全体を確認したい方は「すべて表示」をクリックしてください。 1 Introduction独立な確率変数の列 $${X_1,\cdots,X_n}$$ を用いて統計量 $${Y=f(

          分散の劣加法性

          統計検定1級®「統計数理」解説

          株式会社すうがくぶんかでは、無料公開講座『統計検定1級®解説授業』を実施しています!このnoteでは、これまでの講座で配布した統計検定1級®「統計数理」の解説を2019年度分から公開します o(^ ^)o 2023年度 2022年度 2019年度 Remark 著作権は私とすうがくぶんかにあります。個人利用に留めていただき、営利目的の使用はお控えください。また解説に誤植がある場合は、メールにて私にお伝えいただければ幸いです。 対策講座もぜひ!すうがくぶんかでは、20

          統計検定1級®「統計数理」解説

          2023年のすうがくぶんか

          abstract 2023年のすうがくぶんかの活動を簡単にまとめます。 1 2023年の活動まとめすうがくぶんかは2010年に創業して以来、今年で13年を迎えました。受講生の皆さまのお蔭様で2023年もさまざまな活動を実施することができました。ここでは、代表的な活動を時系列順に箇条書きでまとめます。 webサイトのリニューアル すうがくぶんかSlackのリリース + 参加者500名突破! 現代数学レクチャーシリーズ2023年 3月 / 9月 with 東京工業大学理学

          2023年のすうがくぶんか

          まだ見ぬカテゴリが現れる確率

          abstract 手元のデータには含まれていない新規のカテゴリが出現する確率を推定する課題は、機械学習でしばしば登場する問題です。このnoteでは、代表的なアプローチの一つであるGood-Turing推定量を簡単に紹介します。 1 Introduction機械学習課題では、まだ見ぬカテゴリが今後どれくらい出現する可能性があるのか、その確率を推定したいことがあります。例えば、装置の異常パターンを類別するような課題です。未知の異常パターンが出現する確率を推定することで、現状の類

          まだ見ぬカテゴリが現れる確率