Twitterのタイムラインで毎日見かけるChatGPT。

ChatBook社では、昨年からGPT-3というOpenAIが出しているライブラリを利用して様々な機能を開発しています。

GPT-3とChatGPTの違い

GPT-3とChatGPTは発端は同じですが、別々の成果物です。

前回のバージョンGPT-2に含まれた単語は15億件でしたが、GPT-3では4100億件の単語という大幅アップデートを行いました。

その最強のGPT-3をさらに改良した進化版言語モデルがChatGPTです。

具体的にどう改良したかというと、RLHF（Reinforcement Learning from Human Feedback）という強化学習を加えています。

RLHF（人間フィードバックによる強化学習）とは？

強化学習とは、モデルによる回答結果をマシンが正否を与え、モデルが自己学習する機能です。
ChatGPTは、この強化学習を人間によるフィードバックで行いました。

まず人間が"5才児でも分かるように"や"長めの文章で"と「指示」を出し、その回答に対して、自然な文章になっているかを逐一人間が「フィードバック」を行い、モデルが自己回答を「最適化」していきます。

多くの人々にテキストの可能性を見せたChatGPT。
サービス提供側からすると、世界のAIに対する眼差しが「Before ChatGPT」と「After ChatGPT」で大きく変わったエポックメイキングな出来事です。

とはいっても、事業として提供するにはまだまだ課題が残ります。

ビジネス問題①捏造

ChatGPTが嘘つきなのは、皆さんご存知でしょう。
ChatGPTへの好意的なツイートが溢れてやや落ち着いた頃、ChatGPTが回答した論文がすべて嘘だったというツイートがバズりました。

ChatGPTは、言語のプロではありますが、知識の伝達ツールではありません。複数言語がペラペラな子供だと思ってください（現時点では）。

言葉の生成はGenerativeAIの特徴ですが、ChatGPTは自然な言語を意識するあまり、前の回答を踏まえた連続的な会話ができるようになっています。そうすると、結果を誘導しやすくなります。

人物の話をして続けた後全く別の分野のマイナー単語を振ると、ChatGPTは間違ったことを堂々と言ってきます。ぜひお試しを。

ビジネス問題②差別

GPT-3は、Wikipediaやニュースサイトなど現在の人間の価値観が反映されたテキストから学習しております。
クリエイティブな回答とリスクはコインの裏側のようで、差別的・犯罪を助長するような回答を運用後もコントロールするチューニングが求められます。

上記課題をどこまで縮小できるかは、システム制作側として試験中です。

Vector Search（ベクトル検索）

ChatGPTを横目に、会話に特化したモデルの場合の検索に関する専用サービスが続々登場しています。

元来、より早く効率的な処理を実施するため、Word2Vecという、テキストをトークナイズ（数字化）する処理がありました。

「犬」や「猫」という単語を数字化して保存し、コサイン距離と呼ばれる指標により類似性や関係性を図るツールです。

この数値をより検索しやすくするために作られたのが、Vector Search（ベクトル検索）です。先駆けのサービスもあり、GPT-3のような言語ライブラリを利用するエンジニアチームには必須のツールとなるでしょう。

告知

このようなテクニカルで未来のお話を、SAPさんとスタートアップ4社合同で実施するウェビナーでお話します。申し込み締切り間近です！

また、このような領域に一緒に挑戦するエンジニアも募集中です。