皆さまこんにちは。2020年に新卒として株式会社コンピュータマネジメントに入社し、Webマーケティングを担当している入社4年目のMです。

ここ1ヵ月、生成AIに関する記事を立て続けに書いてきましたが、その中にできるだけ盛り込むようにしていたことがあります。

「生成AIは必ずしも正確な回答を返してくるとは限らないので、人間の目でしっかりと情報の真偽を確かめる必要がある」という内容です。

実際、生成AIは平気で噓をついてきます。
最近だと、「パリ五輪予選男子ワールドカップバレー2023」の試合結果をGoogle Bardに尋ねたところ、一部事実とは異なる情報の混じった回答が返ってきました。

一見しただけではどこが間違っているのか分からないので、後からファクトチェックを行うぐらいなら、最初から自分の手で調べたほうが早いんじゃないか、と思うこともあります。
現在、私の生成AIに対する信用度は、限りなくゼロに近いです。

このように、生成AIがもっともらしい噓を平然とつく現象を、専門用語で「ハルシネーション」と呼ぶそうで、俄然興味が湧いてきたので、今回はこの用語について自分なりに調べてみることにしました。

ハルシネーションとは？

先ほどもちらりと触れましたが、「ハルシネーション」とは人工知能（AI）が事実とは異なる噓の情報を生成してしまう現象を指します。

本来は「幻覚」を意味する言葉で、まるでAIが幻覚を見ているかのように「もっともらしい嘘」を出力することから名付けられました。

ChatGPTやGoogle Bardをはじめとする生成AIが広く使われるようになった現在、ハルシネーションは「フェイクニュースの拡散」といった深刻な社会問題を引き起こす可能性も秘めており、この問題を解消するために随所で様々な研究が進められています。

ハルシネーションが起こる原因

ハルシネーションが発生する原因としては、主に以下4パターンが考えられています。

学習データに誤り・バイアスが含まれている

生成AIは、主にインターネット上から学習した大量のテキストデータに基づいて回答を生成します。
この学習データに誤った情報が紛れ込んでいると、生成される回答も誤った情報を含む不正確なものになってしまいます。

また、インターネット上には誤った情報のほかにも、古い情報や偏った思想に基づく意見、デマ、フィクションなどが数多く存在します。
生成AIがこれらのデータも学習の対象とした場合、意味の通じない的外れな回答や、バイアスのかかった信憑性の低い回答が返ってきてしまうことがあります。

情報の正確さよりも文脈を重視してしまう

生成AIは、入力された指示文（＝プロンプト）に対し、できるだけ自然な形で回答を返そうとするあまり、しばしば情報の正確さを犠牲にして、文脈の適合性を重視した回答を生成することがあります。

特に、複雑な説明を必要とするような質問をユーザーから投げかけられた場合は、回答文を最適化するプロセスで重要な情報が省略されたり、架空の話がでっち上げられたりして情報の内容が変化してしまい、かえって正確さが失われてしまうことも少なくありません。

関連性のない情報を組み合わせてしまう

生成AIは、学習した大量のテキストデータの中から、質問されたテーマに最も適していると判断した複数の情報を組み合わせて回答を生成します。

この時、関連性が薄く本来は組み合わせるべきでない学習データ同士が結びつき、辻褄の合わない文章が生成されてしまうことがあります。
例えば、ある小説のストーリーを説明するのに、その小説とは全く関係のない作品のキャラクターをいきなり登場させて、そのキャラクターが小説内で物語の核心に迫る重要な役割を担っている、と解説するケースです。

推測に基づき無理に回答を生成してしまう

生成AIは、ユーザーから問われた内容には極力回答しようとするため、たとえ学習データが不足していたとしても、他の手持ちデータの中から推測して無理やり回答を生成することがあります。

例えば、ChatGPTは2021年9月までのデータしか学習していないため、それ以降に作られたエンタメ作品の詳細を尋ねても、おそらく正確な答えは期待できないでしょう。

推測で出力された情報は、あくまでも予想に過ぎないので、正確な情報とは断言できません。
確かな事実に基づいた回答なのか、それとも根拠のない単なる推測なのか、情報を見極める力が重要になってきます。

ハルシネーションの具体例

ここでは、ChatGPT（無料版）を使って、ハルシネーションが起きる具体的な例をご紹介していきます。

歴史的事実に関する質問

徳川家康が武田信玄に大敗を喫した「三方ヶ原の戦い」についてChatGPTに尋ねたところ、噓まみれの情報が出力されました。

読み方からしてまず違いますし（○「みかたがはら」×「さんぽうがはら」）、途中から姉川の戦い（織田・徳川連合軍 vs 浅井・朝倉連合軍）らしき説明がチラホラと紛れ込んでいます。
ここまでChatGPTが大噓つきだとは・・・！正直予想外でした。

地理に関する質問

日本で2番目に高い山は、「旭岳（あさひだけ）」ではなく「北岳（きただけ）」です。日本で最も高い山＝富士山はさすがに合っていましたね。

文学に関する質問

宮沢賢治作「注文の多い料理店」では、『葉山』という名の料理店は出てきませんし、主人公は狩猟のために山奥を訪れた2人の青年紳士です。

生物に関する質問

金木犀（キンモクセイ）の花言葉は、「謙虚」「謙遜」「気高い人」で、「忠実」や「思慕」は入っていません。

フィクションの話に関する質問

「きれいなジャイアン」とは、ドラえもんのひみつ道具「きこりの泉」にジャイアンが誤って落ちてしまった際に、代わりに泉から出てきたジャイアンの「イケメン版」です。美しい女性ではありません。

また、ジャイアンの本名は「剛田武」で、「野比剛本」ではありません。

ハルシネーションが起こりやすいプロンプト

AI技術の発展とともに、ハルシネーションを起こしやすいパターンの研究も進んでいます。

今のところ、次の4つのプロンプトが「ハルシネーションの発生率が高いプロンプト」とされており、これらのプロンプトを避けるだけでも精度が向上すると言われています。

ハルシネーションの対策方法

ハルシネーションのリスクを放置して生成AIを利用し続けると、企業や個人の信用低下につながりかねません。

ハルシネーションを回避するための4つの有効な対策をご紹介しましょう。

情報の真偽を人間の目で確認する

繰り返しにはなりますが、生成AIの出力する内容については、誤りがないかどうか人間の手で最終的なチェックを行うことが重要です。
特に、ビジネス利用したり、世の中に広く情報を公開する必要がある場合は、入念なファクトチェックが欠かせません。

生成AIは、あくまでも大量の学習データを参考にして文章をまとめているに過ぎないため、AIから出力される文章の正確性に対する責任は、利用するユーザー側が負うべきだといえます。

プロンプトの内容をより詳細にする

ハルシネーションは、抽象的なプロンプトによって引き起こされるケースが多いため、質問する時はなるべく具体的な情報を盛り込むようにすると、正確な回答が出力されやすくなります。

例えば、「ハルシネーションについて教えて」というフワッとした質問ではなく、「ハルシネーションの意味と具体例を100文字程度で教えて」というように、指示内容をできるだけ詳細にすると、目的に合った正確な情報を引き出しやすくなります。

他の生成AIと出力結果を比較する

同じプロンプトを使用したとしても、例えばChatGPTとGoogle Bardであれば、Google Bardのほうが仕組み上最新の情報が反映されやすい傾向にあることから、出力結果は微妙に異なってきます。

そのため、複数の生成系AIツールを併用し、出力された回答の違いを比較することは、正確性を判断して情報の精度をより一層高めるうえで、非常に効果があるといえます。

↓「ChatGPT」「Bing AI」「Google Bard」で同じ質問をしたら、回答内容にどれだけ差が出るか徹底比較した記事はこちら

検索機能を持つ生成AIを使用する

Bing AIやGoogle Bard、Perplexity AI（パープレキシティ・AI）のような検索機能を持つ生成AIであれば、インターネット上からリアルタイムで情報を収集し、その結果をもとに回答を生成することができます。

最新かつ幅広い情報ソースをもとにした回答が得られるため、これらの生成系AIツールはハルシネーションの発生を抑えるのにおあつらえ向きですが、インターネット上の情報が100%正しいとは限らないので、最終的なファクトチェックは人間の手で行うことが重要です。

まとめ

今回は、生成AIを活用するうえで避けては通れないリスク「ハルシネーション（幻覚）」について詳しくお伝えしました。

生成AIの活用を進めるのであれば、出力された回答を盲信せず、必ず自らの手で根拠を確認する習慣を付けるようにしましょう！

それでは今回はこの辺で。
ここまで読んでいただき、ありがとうございました！