仕事や研究において、主成分分析(PCA)からのT2統計量・SPE(Q統計量)による外れ値・異常データの検出をする方もいらっしゃると思います。この実用的かつ実践的な方法はこちらに書きました。

http://univprof.com/archives/16-08-03-5241022.html

しかし、T2統計量・SPEのやり方はわかっても、実際にT2統計量・SPEができるようになるわけではありません。ネットでT2統計量・SPEのプログラミングを説明しているページはいくつもありますが、実際に自分の手でT2統計量・SPEを行うには、いくつものページを調べる必要があり一手間かかります。

そこでコピペするだけでT2統計量・SPEを実行可能なプログラムを作りました。

データ形式・必要なソフトウェア

以下の記事に示す形式のデータ(data.csv)さえ準備すれば、Python言語でT2統計量・SPEが可能です。なおdata.csvにおける最初のいくつかのサンプルをPCAモデル構築用データ数とします。プログラム中の”NumOfTrainingData”でその数を設定してください。NumOfTrainingData以降のサンプルが予測用のサンプルです。なお”NumOfTrainingData”はdata.csvの全サンプル数より小さい値にしてください。

https://note.mu/univprof/n/n694487325cb1

Python言語のために必要なソフトウェアは以下の記事をご覧ください。

https://note.mu/univprof/n/nb07629b23252

実行結果

実行結果を下に示します。予測用データのT2の値が”T2.csv”に、SPEの値が”SPE.csv”に、外れ値・異常データ判定結果が”NormalSamples.csv”に保存されます。判定結果では、正常データはTRUE, 外れ値・異常サンプルはFALSEです。

T2統計量・SPEからスタートしてさらにプログラミングを進めたいと考えている方にもぜひ利用していただければと思います。

プログラム公開

Python言語のプログラムは有料コンテンツとします。ただこれにより、こちらに記載したT2統計量・SPEをすぐに実行できます。

http://univprof.com/archives/16-08-03-5241022.html

こちらからプログラムのzipファイル自体はダウンロードできます。

http://univprofblog.html.xdomain.jp/code/pcaT2SPE_analysis_all_python.zip

購入していただくと解凍のためのパスワードがありますのでそちらをご利用ください。

またこちらのzipファイルに必要なスクリプトと関数があります。パスワードはかけていません。購入後に使い方の説明があります。

http://univprofblog.html.xdomain.jp/code/supportingfunctions.zip