ニューラルネットワークの各ユニットにおいて、総入力を出力に変換するために何の活性化関数を設定するかは、予測の精度に関わる非常に重要な問題である。単純パーセプトロンは、ニューロンの一種であり、活性化関数としてステップ関数を用いたものに相当する。

初期は、出力の正規化を行う関数として、シグモイド関数がよく用いられたが、現在は、勾配消失問題が起きにくく、簡単なReLU関数が用いられることが多い。また、出力層付近では、ソフトマックス関数がよく用いられる。

上記を大前提に、ここでは、以下を確認していきます。

①オートエンコーダ
②積層オートエンコーダ
③CPUとGPU

①オートエンコーダ

オートエンコーダの学習は、入力データと一致するデータを出力することを目的としています。オートエンコーダのネットワークは、入力したデータの次元数をいったん下げ、再び戻して出力するという構造になります。このため、入力データから出力データへの単なるコピーは不可能です。

オートエンコーダの学習では、入出力が一致するように各エッジの重みを調整します。この学習を通して、データの中から復元のために必要となる重要な情報だけを抽出し、それらから効率的に元のデータを生成するネットワークが形成されます。そのため、オートエンコーダの前半部分は次元削減、特徴抽出の機能を獲得し、後半部分は低次元の情報をソースとするデータ生成機能を獲得します。前半部分をエンコーダ、後半部分はデコーダと呼ばれます。

学習完了後、2つのネットワークは別々に使うことができます。つまり、エンコーダは特徴抽出器、デコーダは生成器として独立に用いることができます。