chatGPTのベースとなる技術は、Googleが2017年ごろ開発した、transformerです。 ちなみに、GPTのTはtransformerの頭文字です。

　　Transformerの仕組みについて簡単に説明すると、まず「Attention機構」というものがあります。これは、文章中の各単語が他の単語とどれだけ関連しているかを計算する方法です。 たとえば、「犬がボールを追いかける」という文があるとき、Attention機構は「犬」と「追いかける」の関連性を強く捉えます。

　　このAttentionの結果を使って、Transformerは文章の意味を理解し、次に来る単語を予測します。 たとえば、文の途中までが「犬がボールを」という場合、Transformerは次に「追いかける」という単語が来る可能性が高いと予測するかもしれません。

　　この予測された単語に基づいて、新しい単語が生成されます。そして、生成された単語も次の単語を予測する際の文脈として使われます。 このプロセスを繰り返すことで、最終的に応答文が生成されます。

　　開発された代表的なLLMがchatGPTということです。 chatGPTのようにtransformerを使ったLLMは星の数ほどあり、huggingfaceやgitHubで多数公開されています。

　　現時点でLLMのベース技術として最強と呼び声が高いtransformerですが、最近「mamba」というLLMのベース技術が登場しました。 続きは次回の動画で・・・。

　　現役のLLM開発者、兼ビジネスオーナーが、プログラミング・AI・ビジネスなどの基礎の教育に注力しています。
ご興味ある方は、LINE登録のほど、お願いします！

#プログラミング教育 #AI基礎 #ビジネススキルアップ #LLM開発 #transformer技術 #mamba革新 #教育への情熱 #技術とビジネスの融合
#eduai #roboken