基本的にテキストを生成するAIの仕組みは次の単語を予測する仕組みをつくり、それを繰り返し適用して文章を作るというものです。
これで論理的思考ができるのは信じがたいことです。とりあえず信じることにしてきましたが、もう少し詳しい説明を得たのでお話しします。

直観に反する大規模言語モデル

テキストを生成する生成AIの動きは次のようなものです：

• 事前学習で単語間の関係を獲得する

• 与えられたプロントの次の単語を予測する

• プロンプトの後ろに今予測した単語を付け加えて、ひとつ前の予測を繰り返す

これは素直に直観に反した話です。100%予測できない以上、毎回少しずつエラーが起こります。何百語も何千語も生成すればどうやっても正解が出ないような気がします。
それが実は魔法のようにできるのだという理解をしてきました。
最近、2本ほど動画を見て、それができる方法を知りましたので、簡単にまとめます。

論理的思考を可能にする仕組み

大規模言語モデルの働き方

ひとつは大規模言語モデルだからできる、というものです。OpenAIのIlya Stukeverが「圧縮には人々が理解している以上のものがある」ということです。実際問題、パラメータ数の少ないGPT-2では成立しないが、GPT-3では成立するというのが参考文献[3Blue1Brown24]に紹介されています。
よく考えると人間の知識自体が知らないものを知っているものと関係づけることで成り立っています。大規模言語モデルとファッションモデルのモデルは全く違う関係にあります。次の単語を生成する上で前の単語との関係は重要です。大規模言語モデルはこれを認識しています。単語間の相互関係というのはコンテクストを決定し、次の単語を生成する上で重要な情報になります。

大規模言語モデルを対話で使う方法

もうひとつは対話的な応用で利用できるように大規模言語モデルを訓練することです。

• 正しいシーケンスでない

• 次の単語が低いほうが正しいシーケンスのほうがある

• エラーを直せない

最初の正しいシーケンスは人間を真似るロボットを作り、それを訓練することで修正します。
次の2つは、人間のフィードバックで強化学習し、正しい文章を作る報酬モデルを訓練することで正しくします。
つまり、単に次の単語を生成するだけでは解決できない部分を、ChatGPTのような対話型生成AIは対話に特化してさらに学習することで解決しています。

むすび

大規模言語モデルだけで対話的な生成AIに論理的思考をさせるのは難しいようです。ChatGPTはさらに高度な学習を組み合わせて対話的生成AIを実現しているということがわかりました。

参考文献

• [Rickard24] MIT 6.S087: Foundation Models & Generative AI. CHAT-GPT & LLMs https://www.youtube.com/watch?v=RVFj88i63rU Rickard Brüel Gabrielsson　2024年 1h05m

• [3Blue1Brown24] しかし、GPTとは何なのか？ トランスフォーマーのビジュアル入門｜ディープラーニング・第5章 https://www.youtube.com/watch?v=wjZofJX0v4M 3Blue1Brown 2024年 27m13s