「考える脳 考えるコンピュータ」（ジェフ・ホーキンス）で紹介している「知能の発達の歴史」をなぞりながら、対応する「強化学習フレームワーク」を並べて、立ち位置を確認してみる。

1. 知能とは

脳は膨大な量の記憶を使い、現実世界のモデルを形成している。人間のあらゆる知識と認識は、このモデルの中に蓄えられている。脳は記憶にもとづくモデルを使い、将来の出来事を絶え間なく予測する。

『未来を予想する能力』こそが知能の本質。

2. 知能の発達の歴史

知能というものの発達の歴史には、三つの注目すべき進化がある。そして、そのいずれにも、記憶による予測がかかわっている。

【第一の進化】DNAによる記憶の触媒
生物の個体は、まだ、生涯のうちに学習し、順応する能力はない。DNAにもとづく現実世界の記憶は、遺伝子をとおしてのみ、子孫に伝えることができる。

単細胞生物 - 今の強化学習 - Stable Baselines

【第二の進化】柔軟な神経系の発明
記憶をすばやく形成できるようになった。生物の個体は、現実世界から重要な構造を学習し、生涯のうちに行動を変えられるようになった。

動物 - 世界モデル / 状態表現学習 - S-RL Toolbox

【第三の進化】言語の発明
人間は生涯のうちに現実世界の構造を数多く学習し、言語によって大勢の他人に効率的に伝えることができるようになった。

人間 - 自然言語処理 + 強化学習 - CraftAssist