今回はChatGPTの文章生成メカニズムをできるだけわかりやすくまとめてみました。

どういうメカニズムで動いているのかを知っていることでより仕事や日常生活での有効活用に繋げていただくことができるかと思います。

1. はじめに

この記事では、ChatGPTという技術がどのように自然な文章を作り出すのかについて解説します。ChatGPTは、まるで人と対話しているかのような会話を生成することができるモデルです。そのメカニズムを見ていきましょう。

この記事では、文章のトークン化、エンコーディング、デコーディングなどの主要なステップについて簡単に説明していきます。

2. 文章のトークン化：文章をパズルのピースに分ける

ChatGPTは、文章を小さなパズルのピースに分けます。このピースを「トークン」と呼びます。

例えば、「犬は動物ですか？」という文章は、「犬」「は」「動物」「ですか」「？」というトークンに分割されます。トークン化することで、文章を理解しやすい形に変換することができます。

3. トークンのエンコーディング：言葉を数字の絵に変える

文章が分割されたトークンは、数値の絵に変換されます。それぞれのトークンは、意味や関連性を持つ数字の絵（ベクトル）に変換されます。

この絵には、トークンの重要度を示す重みがつけられ、順序も考慮されます。この絵によって、モデルは文章の意味や文脈を理解することができます。

3.1 トークンをベクトル化

エンコーディングでは、トークンを機械が認識で数字の絵に変換（ベクトル化）します。トークンをベクトル化することで、モデルがトークンを数値表現として理解できるようになります。

例えば、「犬」「は」「動物」「ですか」「？」というそれぞれのトークンは「犬→99」「は→1」「動物→30」「ですか→6」「？→10」といったようにGPTモデルで事前学習された文字と数字の対応表に沿って数字と紐付けがなされます。

3.2 トークンの重み付け

エンコーディングの一環として、トークンに重みを割り当てることがあります。重要なトークンや文脈に関連するトークンには高い重みが与えられ、モデルが重要な情報をより正確に捉えることができます。（この重み付けの手法をAttentionと言います）

例えば、「犬」「は」「動物」「ですか」「？」というそれぞれのトークンに対して「犬→8」「は→2」「動物→6」「ですか→1」「？→5」といったようにそれぞれのトークンに重要度に応じて重み付けをするイメージです。

3.3 それぞれのトークンの順序付け

順序付けは、トークンの文章全体における文脈や意味を理解するために重要です。トークンの順序を考慮することで、文章のつながりや文の流れをモデルが把握できます。

例えば、「犬」「は」「動物」「ですか」「？」というそれぞれのトークンに対して「犬→1」「は→2」「動物→3」「ですか→4」「？→5」のように順番を振ってあげるようなイメージです。

トークンのベクトル化、重み付け、順序付けが完了するとChatGPTのモデルがインプットを文章として理解できるようになります。

4. デコーディング：数字の絵を言葉に戻す

デコーディングでは、エンコーディングで変換された数値の絵（ベクトル）を使って言葉を生成します。モデルは、エンコーディングされたトークンを元に、一つずつ言葉を生成していきます。生成された言葉は、前の言葉と組み合わせて文を作り、次の言葉の予測に役立つ文脈情報を提供します。

5. インプットした文章に続くトークン生成：文章の続きを想像する

ChatGPTは、デコーディングの際に文脈情報やトークン間の関連性を考慮してインプットした文章に続く最も適切なトークンを生成します。ここでいう適切なトークンというのはChatGPTが判断した最も確率の高そうなワードのことです。

例えば、「犬」「は」「動物」「ですか」「？」という入力に対して、犬が動物であるということはChatGPTもおそらくわかるので、「はい」といった肯定的なトークンを返してくれるはずです。

6. 生成したトークンを元に次のトークン生成：お話の続きを考えるようにトークンを生成

ChatGPTは、生成したトークンを次のトークンの予測に使用します。生成されたトークンは、前のトークンと組み合わせて、文脈や意味を反映した新しいトークンが生まれます。このプロセスは、一つずつトークンを生成しながらまるで物語の続きを考えるように生成されます。
生成されるトークンは次に続く文章としてもっとも自然で確率の高そうなトークンを選択しています。（この次の文章に続く最も確率の高そうなトークンを選択することをビームサーチと言います）

例えば、最初のトークンで「はい」を選択したとすると次に続く出力として最も相応しいであろう「犬」、さらにその次の出力として「は」、さらにその次の出力として「動物」といった形でトークンが生成されていきます。

Chat GPTの回答が一度に返ってくるわけではなく、少しずつ文章を紡ぎ出すような回答の仕方になるのはこのためです。

7. 生成したトークンを繋げて回答の生成：ピースを組み合わせて物語を作るように回答を作る

生成したトークンは、順番に組み合わせられて最終的な回答が生成されます。まるでパズルのピースを組み合わせて物語を作るように、モデルはトークンを繋げて回答を作り上げます。生成された回答は、モデルが学習した文脈やパターンに基づいて自然な文章となります。

最後に出力したトークンを一つの文章として「はい、犬は動物です。」といった回答を出力してくれます。

8. まとめ

この記事では、ChatGPTの文章生成メカニズムについてできるだけ簡潔に解説するようにしました。

ChatGPTは、トークン化やエンコーディング、デコーディングを経て、文章を自然に生成する力を持っています。モデルは、文章をパズルのピースのように扱い、トークンを生成しながら回答を構築します。

※参考
https://qiita.com/ksonoda/items/b767cbd283e379303178
https://arxiv.org/pdf/2203.02155.pdf