生成AIの仕組みとは？
～文章生成AI編～

【生成AIとは？～生成AIについて学ぶシリーズ～】

第9弾！

文章生成AIってなんで人間が書いたような文章を生成できるの？なんで何でも知ってるの？

文章生成AIの仕組みを紹介し、その賢さのヒミツに迫ります！

文章生成AIのアルゴリズム

そもそも「AI」とは、人工知能という名の通り、自分で何かを「考える」ことができることが特徴です。

しかし、「AI」も天才ではないので、何かを考えるためには事前に知識などを「学習」しておく必要があります。私たち人間と同じですね。

文章生成AIも同様に、いくつかの学習をすることによって、自ら考えてユーザと適切な会話をすることができています。

具体的に文章生成AIがどのように学習をしているか紹介します。

文章生成AIの学習は大きく分けて3つのステップがあります。

1. 事前学習（基礎的な知識の学習）

2. ファインチューニング（専門的な知識の学習）

3. 評価モデルを用いた学習（精度upのためひたすら練習）

それぞれについて詳しく見ていきましょう。

step1. 事前学習

まずはじめに、文章生成AIが正しい言語を話せるように、一般的な「文章」とはどのようなものなのか学習させなければなりません。私たち人間は、成長の過程で、自然と文章とはどのようなものなのか（主語と述語の関係や、単語の語順、文章同士のつながりなど）を学んでいますが、文章生成AIにも同様な学習をさせる必要があります。

事前学習とは、大量の文章データを学習させ、文章がどのような構造になっているのかをAIに学習させることです。この学習を行うことによって、入力された文章に続きそうな単語を予想し、出力することができるようになります。事前学習は、大量の文章データさえあれば、AIが自動で学習してくれます。何冊か教科書を渡しただけで、全部自分ひとりで学習してしまう生徒のようですね。そういう意味では天才かも！

ちにみに、文章生成AIは人が与えた文章データのみならず、自ら文章データを作り出して学習しており、これまでに学習した文章量は、人類がこれまでに生み出した文章の量よりも多いとも言われています！

step2. ファインチューニング

事前学習を行うことで、ある程度文章についてや、文章のつながりについて分かるようになりました。しかし、まだ人間が好むような違和感のない文章を出力することはできません。

そこで、次にファインチューニングを行います。ファインチューニングとは、事前学習を行ったAIに対して、特定の専門的な分野のデータを追加で学習させることです。例えばChatGPTの場合は、webページや書籍、ニュース記事、論文などから得られたデータを学習し、ユーザと様々なやりとりを自然な文章で行えるように学習しています。「文章」について学んだ生徒が、次はより専門的で応用的な内容を学んでいるようなものですね。

step3. 評価モデルを用いた学習

ここまでで、文章生成は必要な知識をすべて学びました。ここからは、ひたすら練習を重ねて、その精度を上げていきます。

文章の生成→生成した文章の評価→文章の生成→生成した文章の評価→・・・

と繰り返していくことで、生成する文章の精度を上げていきます。

例えばChatGPTは評価指標として、情報の正確性、文章の有益性、倫理観の3つを設けて学習しており、この練習を繰り返すことによって、私たちユーザのあらゆる質問や要求に対して、適切に回答ができる仕組みになっているのです。

おわりに

ここまで、文章生成AIの仕組みについて説明してきました。

次回は、

【生成AIとは？～生成AIについて学ぶシリーズ～】

第10弾「生成AIの仕組み～画像生成編～」

について配信予定です！

このアカウントではデロイトトーマツコンサルティングの有志メンバーが生成AIに関するあれこれをつぶやいています。ぜひフォローしてください！

#aiart #ai #art #aiアート #aiイラスト #stablediffusion #chatgpt #デロイトai