[プログラム・コード公開] コピペだけで１１の見える化・可視化手法を一気に実行して結果を比較する！ (Python言語)

2017年2月21日 21:42

[New] 実業家として有名な堀江貴文さん(ホリエモン)のメルマガ[Vol.359]における副業紹介において、このプログラム・コード販売が、なんと１番に紹介され評価していただきました！

こんにちは！大学教員ブロガーのねこしです。http://univprof.com/

仕事や研究において、多次元・多変量のデータセットの内容を把握するため、まずデータセットを可視化する方もいらっしゃいます。データの可視化を行うに、いくつかの可視化手法を実行して、それらの結果を確認することがよい理由についてはこちらに書きました。

http://univprof.com/archives/17-02-21-12639621.html

しかし、可視化する方法はわかっても、実際に可視化ができるようになるわけではありません。ネットや本でプログラミングを説明しているものはありますが、データの読み込み方とか結果の出し方とか、他にも調べてやらなくちゃいけないこと、多いんですよね・・・。手間と時間がかかります。

そこで、すぐに１１の見える化・可視化手法を一気に実行して結果を比較できるプログラムを作りました。Python言語で実行ができます。

１１の可視化手法はこちらです。

■主成分分析 (Principal Component Analysis, PCA)：線形の可視化手法であり、データセットのばらつきが大きい方向に新たな軸を作ることで、少ない軸でより多くの情報を表現できる。

■カーネル主成分分析 (Kernel Principal Component analysis, KPCA)：PCAとカーネル関数を組み合わせた非線形の可視化手法。本プログラムではガウシアンカーネルを使用。カーネルの行列(グラム行列)の分散が最大になるようにRBFカーネルのパラメータの値を選択。

■因子分析 (Factor Analysis, FA)：各変数の線形結合で表されるデータセットの共通因子を抽出する手法。

■多次元尺度構成法 (Multi Dimensional Scaling, MDS)：すべてのサンプル間で計算された距離の行列に基づいて、その距離関係がなるべく成り立つように二次元にサンプルを写像する手法。距離としてユークリッド距離を使用。

■Isometric Mapping (Isomap)：MDSではすべてのサンプル間で距離を計算したが、Isomapでは近傍のN個のみのサンプル間のみの距離の計算とすることで、局所的な構造を可視化。N=5としてあるが変更も可能。

■Locally Linear Embedding (LLE)：あるサンプルが、その近傍のN個のサンプルの線形結合で表現できるとか仮定し、その線形結合の重みが写像先でも一致するように二次元マップを作る。N=5としてあるが変更も可能。

■Modified LLE (MLLE)：LLEに正則化項を取り入れた手法。N=5としてあるが変更も可能。

■Hessian-based LLE (HLLE)：MLLEと同様にLLEの正則化問題を回避した手法。N=10としてあるが変更も可能。

■Spectral Embedding (SE)：サンプル間の隣接行列をスペクトル分解することで可視化する手法。k最近傍法により隣接行列を計算。k=5としてあるが変更も可能。

■Radial Basis Function-based SE (RBFSE)：隣接行列の作成にRadial Basis Function (RBF)を使用したSE。カーネルの行列(グラム行列)の分散が最大になるようにRBFカーネルのパラメータの値を選択。

■t-distributed Stochastic Neighbor Embedding (tSNE)：非線形の可視化手法。見える化・可視化したいデータセットがあり、それを二次元マップ上で確認することが目的。Perplexityを30にしてあるが変更も可能。