toshi_4886

プライバシー保護機械学習の研究者

toshi_4886

プライバシー保護機械学習の研究者

メンバーシップ推定攻撃対策（MemGuard・実装編）

はじめにメンバーシップ推定攻撃の対策手法がどの程度効果があるか評価します。 コードは下記にあります。 https://github.com/toshi-4886/privacy_preserving_ML/blob/main/PyTorch/11_MIA_defense_MemGuard.ipynb 概要 メンバーシップ推定攻撃の対策手法であるMemGuardの効果を検証します。 メンバーシップ推定攻撃としては、機械学習モデルを用いる手法を用います。 M

toshi_4886

    • メンバーシップ推定攻撃対策（MemGuard・概要編）

      はじめにメンバーシップ推定攻撃の対策手法であるMemGuardの概要を紹介します。 MemGuard基本的な考え方 モデルの出力にノイズを加えることで、メンバーシップ推定攻撃をしにくくする防御手法です。 ノイズは、メンバーシップ推定攻撃の成功確率を最小化するように生成しますが、下記条件を満たす必要があります。 ノイズによって予測ラベルが変更されない ノイズの大きさの期待値が事前に決められた閾値以下 ノイズを加えた後の出力が、確率の条件を満たす（各要素が正かつ

      toshi_4886

      • 表形式データの分類（FT-Transformer）

        はじめに表形式データの分類モデルを構築します。 概要 adultデータセットを用いて収入を予測するモデルを構築します。 モデルはFT-Transformerを使用します。 FT-TransformerFT-Transformerは、Transformerを表形式データに適用できるように拡張した手法で、Feature TokenizerとTransformerから構成されます。 下の図は提案論文の図です。 Feature Tokenizerでは、入力の各要素をembed

        toshi_4886

        • 表形式データの分類（TabNet）

          はじめに表形式データの分類モデルを構築します。 コードは下記にあります。 https://github.com/toshi-4886/neural_network/blob/main/tabular/2_TabNet.ipynb 概要 adultデータセットを用いて収入を予測するモデルを構築します。 モデルはTabNetを使用します。 TabNetTabNetは表形式データのために提案されたニューラルネットワークです。 下記の提案論文の図に示されている通り、モデルの主

          toshi_4886

        メンバーシップ推定攻撃対策（MemGuard・実装編）

        toshi_4886

          表形式データの分類（MLP）

          はじめに表形式データの分類モデルを構築します。 コードは下記にあります。 https://github.com/toshi-4886/neural_network/blob/main/tabular/1_MLP.ipynb 概要 adultデータセットを用いて収入を予測するモデルを構築します。 モデルは全結合ニューラルネットワークを使用します。 実装1. ライブラリのインポート import sysimport osimport matplotlib.pyplot

          toshi_4886

          表形式データの分類（MLP）

          toshi_4886

          ニューラルネットワークの予測の不確実性（deep Gaussian process・実装編）

          はじめにニューラルネットワークの予測の不確実性を算出する手法を検証します。 Jupyter notebookは下記にあります。 https://colab.research.google.com/drive/1y5HCJEcXqJBXHGzxFkziIUlpYVlqlIxt?authuser=2#scrollTo=N_SghRrTZVqm 概要 連続値を予測する回帰のためのニューラルネットワークを構築 deep Gaussian process で予測の不確実性を算出

          toshi_4886

          ニューラルネットワークの予測の不確実性（deep Gaussian process・実装編）

          toshi_4886

          ニューラルネットワークの予測の不確実性（deep Gaussian process・概要編）

          はじめにdeep Gaussian processでニューラルネットワークの予測の不確実性を算出する手法を紹介します。 Gaussian process (ガウス過程)ガウス過程では、データセット$${{(x_1, y_1), ..., (x_n, y_n)}}$$の関数$$${y=f(x)}$$を、多変量正規分布を用いてモデル化します。 平均関数$${m(x_i)}$$とカーネル関数$${k(x_i,x_j)}$$を用いて下記のように定義します。 $$ p\left(

          toshi_4886

          ニューラルネットワークの予測の不確実性（deep Gaussian process・概要編）

          toshi_4886

          ニューラルネットワークの予測の不確実性（Stochastic gradient Langevin dynamics・実装編）

          はじめにニューラルネットワークの予測の不確実性を算出する手法を検証します。 jupyter notebookは下記にあります。 https://github.com/toshi-4886/neural_network/blob/main/uncertainty/4_SGLD.ipynb 概要 連続値を予測する回帰のためのニューラルネットワークを構築 Stochastic gradient Langevin dynamics (SGLD) で予測の不確実性を算出 S

          toshi_4886

          ニューラルネットワークの予測の不確実性（Stochastic gradient Langevin dynamics・実装編）

          toshi_4886

          ニューラルネットワークの予測の不確実性（Stochastic gradient Langevin dynamics・概要編）

          はじめにStochastic gradient Langevin dynamics (SGLD) でニューラルネットワークの予測の不確実性を算出する手法を紹介します。 Stochastic gradient Langevin dynamics確率的勾配降下法とランジュバン動力学によるを組み合わせて、パラメータの事後分布をサンプリングする手法です。 SGLDの更新式に従ってパラメータを更新し、その過程のパラメータを事後分布からのサンプリングとして近似的に使用します。 バッ

          toshi_4886

          ニューラルネットワークの予測の不確実性（Stochastic gradient Langevin dynamics・概要編）

          toshi_4886

          ニューラルネットワークの予測の不確実性（Monte Carlo dropout・実装編）

          はじめにニューラルネットワークの予測の不確実性を算出する手法を検証します。 Jupyter Notebookは下記にあります。 https://github.com/toshi-4886/neural_network/blob/main/uncertainty/3_mc_dropout.ipynb 概要 連続値を予測する回帰のためのニューラルネットワークを構築 Monte Carlo dropoutで予測の不確実性を算出 Monte Carlo dropout学習

          toshi_4886

          ニューラルネットワークの予測の不確実性（Monte Carlo dropout・実装編）

          toshi_4886

          ニューラルネットワークの予測の不確実性（Monte Carlo dropout・概要編）

          はじめにMonte Carlo dropoutで予測の不確実性を算出する手法の概要を説明します。 事前準備（変分ベイズ）前提知識として必要なベイズ推論と変分推論について説明します。 ベイズ推論 通常のニューラルネットワークでは、出力は変数$y$ですが、ベイズ推論では分布$${p(y|x)}$$を考えます。 分布が尖った形になっている場合は予測の不確実性が低く、裾が広い場合は不確実性が高いことになります。 ラベルの分布は、パラメータの分布$${p(\theta

          toshi_4886

          ニューラルネットワークの予測の不確実性（Monte Carlo dropout・概要編）

          toshi_4886

          ニューラルネットワークの予測の不確実性（stochastic variational inference・実装編）

          はじめにニューラルネットワークの予測の不確実性を算出する手法を検証します。 Jupyter notebookは下記にあります。 https://github.com/toshi-4886/neural_network/blob/main/uncertainty/2_SVI.ipynb 概要 連続値を予測する回帰のためのニューラルネットワークを構築 stochastic variational inference で予測の不確実性を算出 Stochastic var

          toshi_4886

          ニューラルネットワークの予測の不確実性（stochastic variational inference・実装編）

          toshi_4886

          ニューラルネットワークの予測の不確実性（stochastic variational inference・概要編）

          はじめにstochastic variational inference でニューラルネットワークの予測の不確実性を算出する方法の概要を説明します。 事前準備（変分ベイズ）前提知識として必要なベイズ推論と変分推論について説明します。 ベイズ推論 通常のニューラルネットワークでは、出力は変数ですが、ベイズ推論ではラベル$${y}$$の分布$${p(y|x)}$$を考えます。 分布が尖った形になっている場合は予測の不確実性が低く、裾が広い場合は不確実性が高いことになります

          toshi_4886

          ニューラルネットワークの予測の不確実性（stochastic variational inference・概要編）

          toshi_4886

          ニューラルネットワークの予測の不確実性（deep ensemble）

          はじめにニューラルネットワークの予測の不確実性を算出する手法を検証します。 Jupyter notebookは下記にあります。 https://github.com/toshi-4886/neural_network/blob/main/uncertainty/1_deep_ensemble.ipynb 概要 連続値を予測する回帰のためのニューラルネットワークを構築 deep ensembleで予測の不確実性を算出 deep ensemble異なる初期値で複数のニュ

          toshi_4886

          ニューラルネットワークの予測の不確実性（deep ensemble）

          toshi_4886

          公平な機械学習モデルの構築（Threshold Optimizer）

          はじめに公平な機械学習モデルを構築する手法を検証します。 Jupyter Notebook は下記にあります。 概要 公平性指標としてEqualized Oddsを使用します。 Threshold Optimizerを用いて、公平な機械学習モデルを構築します。 公平性指標Equalized Odds 今回考える公平性指標は、性別や人種などの各グループが公平に扱われているか（group fairness）を評価するために用いられます。 Equalized Oddsは、

          toshi_4886

          公平な機械学習モデルの構築（Threshold Optimizer）

          toshi_4886

          公平な機械学習モデルの構築（Correlation Remover）

          はじめに公平な機械学習モデルを構築する手法を検証します。 概要 公平性指標としてEqualized Oddsを使用します。 Correlation Removerを用いて、公平な機械学習モデルを構築します。 公平性指標Equalized Odds 今回考える公平性指標は、性別や人種などの各グループが公平に扱われているか（group fairness）を評価するために用いられます。 Equalized Oddsは、positiveとnegativeの2クラス分類におい

          toshi_4886

          公平な機械学習モデルの構築（Correlation Remover）

          toshi_4886