はじめに

2023年に生成AIを勉強して思ったことはこれです。
加減乗除で認知的作業が可能だということが新鮮だったのでお話しします。

大規模言語モデルの個人的理解

大規模言語モデルは結局、次の操作と理解しています：

• 与えられた文章を単語に分解する

• 単語をエンベディング層の操作でベクトル（実数の列）に変換

• ベクトル列からアテンション処理をしてで確率に変換

• 出てきた確率で正しそうなベクトルを単語として選択

出てきた単語を最後に付け加えて新しい文章を作り、上を繰り返す。
この間、行う操作はひたすら実数の加減乗除です。

この結果、ありそうな文章が生成されます。これが単なる仮想的な文章ではなく、与えた質問が問題なら答えが問題解決になっているというのが驚きです。
結局、世界の知識を凝集した圧縮知識を使ってこの処理をすると問題解決ができるということです。

人間と計算機の違い

もともと、人間と計算機は得意なことが違うという認識でした。

以下の通りです：

• 人間：要約、創作、問題解決、認知的判断、戦略的判断、などが得意

• 計算機：記憶や加減乗除の計算が得意

計算機は計算が得意です。何十もの実数を掛け算したり、とても大きな数の掛け算をするのは計算機のほうが得意というのは広く理解されていました。
2023年には大規模言語モデルを使って加減乗除を繰り返すと問題が解けてしまうということがわかりました。もともと大量の加減乗除は計算機の得意なところだったので、かつて人間が得意といわれていた大部分の認知的問題は計算機でも解けるということがわかりました。

AIと生成AI（大規模言語モデル）の違い

生成AIが従来のAIと違うのは次のところです：
AI、とくに機械学習はたくさんデータがあれば答えが出るというものでした。
生成AI、特に大規模言語モデルの特性は、学習したデータによる学習以外のことができるということだと理解しています。創発性ということですね。
大規模言語モデルに可能性を感じるのもそこです。
言語とうのは問題を解くプラットフォームに使えるということですね。

おわりに

今年はマルチモーダルAIの年だと思います。マルチモーダルAIは驚きは多いですが、創発性という点では、大規模言語モデルのほうが本質だと思っています。
動画生成AIもたくさん論文が出ると思うので勉強してみたいと思います。

参考文献

• 大規模言語モデル入門 https://ses.sigse.jp/2023/wp-content/uploads/2023/08/SES2023_チュートリアル.pdf

• 大規模言語モデル（LLM）とは何ですか？ https://www.elastic.co/jp/what-is/large-language-models

• ChatGPTのコア技術「GPT」をざっくり理解する https://qiita.com/ksonoda/items/b767cbd283e379303178