僕らはとても自分には思いつかないアイデアが具現化されると創造的なように感じる。
芸術家の描く絵はどれも素人には真似できないものだ。

しかし、一般人に描けないものであれば創造的に感じるわけではない。ノイズが一面に広がっている絵を見ても僕らは創造的だとは思わない。では、一般的な分布から外れているにもかかわらず完全なランダムでもない創造性とは何なのだろうか？

睡眠時のSWRはブラウン過程とみなせる

海馬には特定の場所で活性化する場所細胞が存在し、動物個体の場所の情報をエンコードしている。起きているときに活性化した場所細胞のシークエンスは睡眠時などにSharp Wave Ripple(SWR)として高速に再活性化(リプレイ)されることが知られている。ここで、ラットを2次元のフィールドを歩かせた後に寝ている間のリプレイのパターンを解析してみると、ブラウン運動(ランダムウォーク)に似た軌跡を示したそうだ。これは時間的・空間的に様々なタイムスケールに及び、創造的な探索過程を表している可能性があると議論されている。
すると、案外生物はランダムな過程から創造的な過程を生成しているのかもしれない。

生成AI―GAN, 拡散モデル

GAN(Generative Adversarial Network)は提案された2014年以降流行している生成モデルで、生成ネットワークと識別ネットワークの2つの異なるネットワークを敵対的に競争させることにより機能する。
生成ネットワークはランダムなノイズから新しい本物と見分けがつかないほどリアルなデータを作り出すことを目的とする。
識別ネットワークは本物のデータと生成ネットワークが作り出した偽のデータを識別することを目的とする。
これらのネットワークは識別ネットワークをだますことができるほどリアルなデータを生成ネットワークが作り出せるようになるまで互いに競争が続けられ、結果として高品質な生成データが生じるようになる。

拡散モデル(Diffusion Models)は2021年ごろから注目されている生成モデルで、実データに徐々にノイズを加えて完全なランダムノイズに変換する「フォワードプロセス」と、ランダムノイズから元のデータを復元する「リバースプロセス」の2つのプロセスからなる。
拡散モデルの訓練では、リバースプロセスによりノイズが加えられたデータから正確にデータを復元するよう学習することに焦点を当てる。

これらの学習手法では、生物と同様にノイジー・ランダムな過程からデータを生成することが共通していることが分かると思う。

多様体仮説と創造性

では、ノイズと創造的な作品を分けるものは何なのだろうか？

自然界やヒトの生成する高次元のデータは実際は低次元の多様体内に埋め込まれているということが多様体仮説として知られている。
ここから、ノイズと実際のデータの違いは低次元の多様体上に載っているかどうかである可能性がある。
つまり、AIも生物もノイズやランダムな過程を多様体にマップするような関数を保持しているのではないだろうか？
この低次元の多様体上にのっていながら、またはその延長線上にありながらも既存のデータの分布の密度が低い部分にマップされるように生成されると創造的であるように見えるのではないだろうか？
創造的なデータを生成するためには初期値をノイズにする必要があるのかもしれない。

参考文献

https://www.cell.com/neuron/fulltext/S0896-6273(19)30079-0