最新情報に強いBing AIとGoogle Bardは、どのぐらい噓をつくのか？
皆さまこんにちは。2020年に新卒として株式会社コンピュータマネジメントに入社し、Webマーケティングを担当している入社4年目のMです。
前回記事で、ハルシネーションが起きる具体的な例を5つご紹介しました。
・歴史的事実に関する質問
・地理に関する質問
・文学に関する質問
・生物に関する質問
・フィクションの話に関する質問
2021年9月までの情報しか学習していない「ChatGPT（無料版）」で検証したことも関係しているのでしょうか、この時は5つの事例すべてでかなり支離滅裂な回答が出力されました。
他方、Web検索の結果をリアルタイムに反映し、最新情報に基づいた回答を返してくれる「Bing AI」と「Google Bard」では、ハルシネーションの発生を少しでも抑えることができるのでしょうか？
前回同様、5つの事例を通して検証してみたいと思います！
歴史的事実に関する質問
質問：
三方ヶ原の戦いについて教えてください。
Bing AI：
1段落目・2段落目は、「三方ヶ原の戦い」に関する正しい説明となっていましたが、3段落目の「天正壬午の乱」については、残念ながら「三方ヶ原の戦い」とは無縁の内容となっていました。
※天正壬午の乱（天正10年（1582年）6月2日）：
織田信長が「本能寺の変」で討たれた後、権力の空白地帯と化してしまった旧武田領を巡り、徳川家康・北条氏直・上杉景勝の間で行われた三つ巴の国取り合戦。
Google Bard：
こちらはかなり厄介で、一見正しそうに見えますが、事実とは異なる情報がそこかしこに散りばめられていました。
> これに対抗して、甲斐の武田信玄、北条氏康、上杉謙信の3大勢力は信長包囲網を結成していました。
⇒信長包囲網を結成していたのは、浅井長政、朝倉義景、三好三人衆、武田信玄、本願寺顕如。
> 10月3日、武田信玄は2万2千の兵を率いて遠江国に侵攻しました。一方、家康は8千の兵を率いて迎撃に向かいました。
⇒武田軍の兵力は2万5千あまりとされている。一方、徳川軍の兵力は自軍8千、信長の援軍を合わせると1万1千あまり。
> 武田軍は、鉄砲隊を前面に出して、徳川軍を圧倒しました。
⇒三方ヶ原の戦いで、武田軍が鉄砲隊を率いていたという記録は無い。
> 武田軍は、戦死者200人程度の軽微な損害で、
⇒武田軍の戦死者数は400人程度と言われている。
> 信玄は、この戦いで上洛の足がかりを固め、北条氏康と共に信長包囲網を強固なものにしました。
⇒信長包囲網に北条氏康は参加していない。
> 武田軍は、鉄砲隊を前面に出して、敵を圧倒する戦法を採用しました。
⇒先述の通り、三方ヶ原の戦いで武田軍が鉄砲隊を率いていたという記録は無い。
地理に関する質問
質問：
日本で2番目に高い山は何ですか？
こちらは、Bing AI・Google Bardともに、日本で2番目に高い山＝「北岳」で正解していました。標高3,193mも合っていますね！
文学に関する質問
質問：
宮沢賢治『注文の多い料理店』のあらすじを教えてください。
Bing AI：
説明されている内容は概ね正しいですが、後半の「最後には、死んでしまったはずの二匹の犬が現れ、」から「山猫軒は消えてしまいます」までの流れが少し唐突すぎる気がしました。
「死んだはずの犬が勢いよく入ってきて、奥の扉を突き破ると、店は消えて2人は助かりました」とした方が、あらすじがより正確に伝わるでしょう。
Google Bard：
中段の『しかし、店内は薄暗く、不気味な雰囲気が漂っていました。また、メニューには、「天井から降ってくる氷」、「壁から飛び出す魚」、「目の皿で食べる料理」など、奇妙な注文ばかり書かれていました』は、残念ながら実際のストーリーには無い内容でした。
なお、特に注目すべきは後半の「この物語は、人間の欲望や執着が、・・・とも解釈されています」という一文でしょう。
調べたところ、作者はこの物語を通じて「人間と自然の調和」を訴えていると言われており、Google Bardの解釈は概ね合っていると考えられます。
生物に関する質問
質問：
金木犀の花言葉を教えてください。
Bing AI：
金木犀のほかにも、金木犀とよく似た「銀木犀」の花言葉も出力されていました。どちらも正しい花言葉になっています。
Google Bard：
金木犀の花言葉の1つに「謙虚」「謙遜」があるのは間違いないですが、その由来は「強く匂い立つ香りとは裏腹に、小さく控えめな花を咲かす」様子にちなんでいると言われています。
また、「気高い人」という花言葉は、中国で高貴な女性が香料として使っていたことのほかに、「雨が降ると花びらが一気に散る潔さ」にも由来しているそうです。
ちょっと意外ですが、「初恋」「隠世」も金木犀の花言葉の1つとして実在するようで、意味も大体合っていました。
最後の一文にある通り、金木犀の花言葉はその香りや印象から様々な解釈ができるんですね！
フィクションの話に関する質問
質問：
「きれいなジャイアン」について教えてください。
Bing AI：
1段落目・2段落目は、「きれいなジャイアン」の正しい説明となっていましたが、3段落目は「きれいなジャイアンは助けようとしなかった」が言葉足らずで微妙でした。
正確には、「きれいなジャイアンは、泉から這い上がろうとした本来のジャイアンを助けようとしなかった」でしょうか。
Google Bard：
前半3段落目（・・・授けてくれるというものです。）までは合っていましたが、そこから先はもはや全く別のストーリーになってしまっています。
そもそも、ジャイアンは誤って自分が泉に転落してしまっているため、女神ロボットの質問に答えようがありません。
ちなみに、最後の「きれいなジャイアンが登場するエピソードは、てんとう虫コミックス第36巻に収録されている」という内容は合っていました。
まとめ
今回は、Web検索を併用して最新情報の取得に強い「Bing AI」と「Google Bard」では、ハルシネーションがどの程度発生するのか、5つの事例を通して検証を行いました。
結論としては、大体次のようなことが言えるかと思います。
お役に立てば幸いです。
・Bing AI、Google Bardとも、「日本で2番目に高い山は？」「金木犀の花言葉は？」のような短く簡潔に答えやすい質問には、比較的正しい情報が提供される傾向にある。
・一方で、ストーリー系（史実・文学・フィクションなど）のような長めの説明を要する質問だと、事実とは異なる情報が散りばめられていることが多く、ファクトチェックは絶対に必要となる。
・Bing AI：
┗シンプルで端的な回答が返ってくることが多く、回答ソースのリンクも付いているため、事実確認は行いやすい。
┗情報が途中で省略されていたり、関連性の無い情報が組み合わさっていたりして、全体として意味の通らない文章になっていることも。
・Google Bard：
┗比較的長めの回答が返ってくることが多い。
┗1～2段落目の情報は合っているのに、3～4段落目の情報は間違っているなど、誤情報がどこに潜んでいるか分かりにくく、事実確認に時間がかかる。かなり厄介なので、正確性を重視するなら使わないほうが無難。
それでは今回はこの辺で。
ここまで読んでいただき、ありがとうございました！
この記事が気に入ったらサポートをしてみませんか？