分類AIの進化史②ディープニューラルネットワークの登場
前回は、パーセプトロンを紹介しました。パーセプトロンは今で言うハイプを巻き起こしたのですが、その後の失望からAIの冬の時代が訪れました。それでも、ニューラルネットワークの研究は綿々と続いていました。ディープラーニングというと今世紀に発明されたかのように思われがちですが、その登場は1965年にまで遡ります。パーセプトロンから約７年後のことです。
データ処理グループ法
アレクセイ・イヴァクネンコは、ウクライナ（当時はソビエト連邦）の数学者で「ディープラーニングの父」と呼ばれることもあります。彼は1965年に、初めてのディープラーニングモデルを発表しました。
当時は、隠れ層が２つ以上あるニューラルネットワークをディープと呼んでいたので現代の基準から見るとそれほどディープではなかったのですが、それでもパーセプトロンからは大きな発展でした。
まだ、ニューラルネットワークの学習において誤差逆伝播法も確率的勾配降下法も登場しておらず、彼らは独自の手法であるデータ処理グループ法 (Group Method of Data Handling、GMDH)を使ってディープニューラルネットワークの訓練を行いました。
GMDHはシンプルなモデルからスタートし、その後繰り返し新しい層を作ります。各層のニューロン（ノード）の性能が評価され、性能が良いと判断されたニューロンだけが次の層で新しいニューロンを生成するために使用されます。この選抜プロセスによって、モデルは効率的に複雑さを増していきます。性能が良いニューロンが次の層の生成に使われるので、不必要な情報は削除され、重要な特徴だけが次の層に引き継がれます。
この方法は、自然界の進化において最も適応力のある特性だけが次の世代に引き継がれるという考え方に似ており、進化論的な考え方に似た側面があります。ある意味、自動的にモデルを生成する仕組みになっています。
GMDHはモデルを生成する点で優れているのですが、大規模なデータセットや非常に複雑なモデルに対しては、計算コストが高くなります。よって、GMDHは主に線形または少数の非線形関係をモデリングするのに適しているといえます。よって、ディープラーニングが得意とするような高度に非線形な問題には必ずしも適していないため、ディープラーニングにおいて主流とはなりませんでした。
しかしAIの冬の時代は続く
前回も紹介しましたが、同年代、特に1960年代から1970年代にかけて、ある意味、ニューラルネットワークの開発に関与した他の重要な人物としては、マービン・ミンスキー（Marvin Minsky）とシーモア・パパート（Seymour Papert）がいます。彼らは1969年に「Perceptrons」という本を出版し、当時のニューラルネットワーク、特にパーセプトロンが解けない問題（XOR問題など）を指摘しました。この本は一時的にニューラルネットワーク研究に冷水を浴びせる結果となり、いわゆる「AIの冬」を引き起こし一因を作ったとも言われています。
マービン・ミンスキーとシーモア・パパートは、2016年に亡くなったので第3次AIブームの始まりを目撃しています。かつて自分たちが非難したニューラルネットワークがついに成功を収めたことをどのような気持ちで眺めていたのでしょうか。
彼の研究はニューラルネットワークより、もっとアルゴリズム的な方向へ向かって行きました。そのため、自然言語処理や知識表現と推論手法などの発展に注力しました。
ただし、マービン・ミンスキーの名誉のために言うと、彼はさまざまな点で人工知能（AI）の発展に寄与しています。また、マービン・ミンスキーは、MIT Media Labの設立者の一人であり、多くの学生や研究者に影響を与えました。映画『2001年宇宙の旅』にアドバイザーとして参加したことでも知られています。さまざまな貢献から「人工知能の父」と呼ばれました。
日本でも重要な研究が
ディープラーニングが登場したとはいえ、その全盛になるまではまだまだ何十年も時間がかかります。コンピューターのパワーもなく、インターネットから大量のデータを集めることもできない時代では、より実現性の高そうな道を選ぶのも致し方なかったでしょう。
こうしてみると、アメリカやヨーロッパの研究者達だけが、人間の頭脳や知覚の仕組みなどから影響を受けて研究をしていたように見えるかもしれませんが、そんなことはありません。
当時の日本では、畳み込みの元祖となるモデルの開発が行われていました。
（続く）
この記事が気に入ったらサポートをしてみませんか？