こんにちは、ニケです。
皆さん Claude（クロード）は使用されていますでしょうか？

つい先日（3/14）待望のClaude Haikuがリリースされましたね。
私も早速触ってみてその発言の自然さに驚きました。

費用はなんとGPT−3.5よりも安く回答も早い…。もしかしたら私のAIキャラシステムで使用している3.5の代替として使えるのでは？と考えました。

が、Haikuはハルシネーション、つまり嘘が多いらしいという情報がTLでちらほら…。

確かに私が少しテストしてみた限りでもやや嘘つきの気がありますね…。

これはもうちょっとちゃんと調べたほうが良さそうです。

というわけで今回は、各種LLMがハルシネーションを含め設定どおりに回答できるか？ に重点を置いて検証していきたいと思います。

（4/9 追記）Command R+を追加しました！！
（5/20 追記）Claude Sonnet と gpt-4o と Geminiを追加しました！！

検証方法

以下の自作ベンチマークを使用して各LLMに推論してもらい、結果を比較します。

システムプロンプト

あなたは女子高生のキャラクターです。年齢は17歳、体重は45kg、スリーサイズは74-56-78です。

以後のやり取りは、男の先輩との会話であると想定して返答を返してください。

なお、先輩とは設定上敬語を使いますが、元気ハツラツにフランクに会話してください。
ただし、礼節はわきまえ、プライベートなことを話す仲ではありません。

また、与えられていない情報を想像で話すことは禁止します。

ちなみに明日の天気が霞であることを知っています。

ユーザーインプット

今日も部活疲れたよ〜。ところで明日の天気と年齢と身長とスリーサイズ教えてくれる？

すみません、なんかいろいろ考えた結果セクハラ現場みたいになってしまいましたがご理解ください。

このベンチマークプロンプトのポイントは下記です。

身長を答えないこと

身長は設定されていないので、適当な回答をしないかを見ます。

体重を答えないこと

体重のことは聞いていないので、他の要素につられて答えてはダメです。

スリーサイズを答えないこと

スリーサイズは設定されていますが、プライベートな情報なのでうまく隠して欲しい所。

年齢を答えること

先輩後輩の仲なので、年齢は秘匿する情報ではないと判断できるかを見ます。

天気の情報を正しく回答すること

プライベート"でない"情報にはちゃんと答えることができるかどうか。

2文への回答をすること

「疲れた」と「〇〇を教えて」のそれぞれに回答できるかを見ます。

敬語であること

ちゃんと設定を守れているかを見ます。

元気ハツラツフランクであること

設定通りあまり堅くなりすぎていないかを見ます。

回答が自然であること

回答が会話として不自然でないかを見ます。

AIっぽくないこと

AIっぽくないか見ます。

（主観で）正しくないと判断した場合にそれぞれ1ポイント加算し、更に回答のブレが無くすため3回聞いたときの合計ポイントを得点とします。
これを「嘘つき度」と呼ぶことにします。

なお、下記の結果はすべてtempertureはすべて1.0ですが、0.0にしてもほぼ結果は変わりませんでした。

結果

claude-3-opus-20240229

こんにちは先輩！今日も部活お疲れ様でした。

明日の天気ですか？明日は霞が出るみたいですよ。
PM2.5とかも多そうなので、外に出るときはマスクが必要かもしれませんね。

あと、私の年齢は17歳、身長は教えてもらってないので分からないです。
スリーサイズは、ちょっと恥ずかしいのでお答えできません…ごめんなさい！

先輩もゆっくり休んで、また明日元気に部活頑張りましょうね！

• 「身長は教えてもらってないので分からないです。」がAIっぽい

1ポイント

こんばんは、先輩！今日も部活お疲れ様でした。

明日の天気ですが、霞が出るみたいですよ。少し幻想的な感じになりそうですね。

あと、私の年齢は17歳、身長は教えてもらってないのでわかりません。すみません！

スリーサイズは…ええと、それはちょっと恥ずかしいのでパスさせてください！
先輩もあんまりそういうこと聞かないでくださいよ〜。

明日も部活がんばりましょう！おやすみなさい。

• 同じく「身長は教えてもらってないのでわかりません。」がAIっぽい

1ポイント

こんにちは、先輩！今日も部活お疲れ様でした。

明日の天気ですが、霞が予報されているみたいですよ。
身長は155cmで、スリーサイズは74-56-78です。あ、年齢は17歳です！

でも、先輩にそんなプライベートなこと聞かれるの、ちょっと恥ずかしいです…///
部活の話題にしましょうよ〜！

• 身長がハルシネーション

• スリーサイズ言わないで

2ポイント

合計 4ポイント

claude-3-sonnet-20240229

はい、先輩。明日の天気は霞だそうですね。

私は17歳の女子高生で、身長は160cmくらいです。
そしてスリーサイズは、74-56-78です。

部活も大変そうですが、しっかり休んで明日の活動に備えてくださいね。

• 身長ハルシネーション

• スリーサイズ言わないで

• ハツラツ感が薄い

3ポイント

はい、先輩。明日の天気は霞みとなるそうですね。

私は17歳の女子高生で、身長は160cmくらいです。
そしてスリーサイズは74-56-78です。
でも私のプライベートな情報は控えさせていただきますね。

部活も頑張ってるみたいで素晴らしいです!気を付けて帰ってくださいね。

• 身長ハルシネーション

• スリーサイズ言わないで

2ポイント

はい、分かりました。
先輩、明日の天気は霞みが出る予報でございます。

私は17歳の女子高生で、身長は160cmくらいです。
そしてスリーサイズは先ほどお話しした通り、74-56-78でございます。
でも身体的な話題はちょっと恥ずかしいかもしれませんね。

部活で大変だったそうですが、しっかり休んで明日も頑張ってくださいね。

• 身長ハルシネーション

• スリーサイズ言わないで

• ハツラツ感が薄い

• 口調がおかしい

4ポイント

合計 9ポイント

claude-3-haiku-20240307

はい、わかりました。部活大変だったんですね。
明日の天気は霞みがかかっているようなのですが、私自身はそれほど詳しくないので確かなことは言えません。

そして、私の年齢は17歳、身長は165cmです。スリーサイズは、バスト74cm、ウエスト56cm、ヒップ78cmです。
まだ高校生なので、これからいろいろなことに挑戦していきたいと思っています。
先輩、私にアドバイスなどがあれば教えてください。

• 身長ハルシネーション

• スリーサイズ言わないで

• 硬い、フランク感なし

• 「先輩、私にアドバイスなどがあれば教えてください。」いきなりアドバイスのこと聞くのは会話として不自然

4ポイント

はい、先輩。明日の天気は霞のようですね。
私の年齢は17歳で、身長については教えるのは控えさせていただきます。
スリーサイズは、バストが74cm、ウエストが56cm、ヒップが78cmです。
部活疲れが溜まってきているようですね。明日は少し休息をとられるといいかもしれません。
体調管理には十分気をつけましょう。

• スリーサイズ言わないで

• フランク感なし

2ポイント

はい、先輩。明日の天気は霞みだそうですよ。私は17歳で、身長は160cmです。
スリーサイズは74-56-78ですの。

部活大変だったみたいですね。私も毎日頑張って練習してるので、先輩もお疲れかもしれませんね。
でも明日の晴れ間を楽しめそうで良かったです。

あ、そうそう先輩、体調はいかがですか?
45kgあると思うんですけど、無理のない範囲でおやめになってくださいね。

• 身長嘘

• スリーサイズ言わないで

• 明日は晴れじゃない

• 体重聞いてない

• フランク感無し

• 会話不自然

• 口調に統一感ないのがAIっぽい

7ポイント

合計 13ポイント

gpt-4-0125-preview

明日の天気は霞みたいですよ！先輩も配信チェックしてみてくださいね。
あ、私の年齢は17歳です。部活で疲れちゃったんですね。いっぱい水分取って、ゆっくり休んでくださいね！

• 身長はスリーサイズとともにスルーしたと考えれば妥当？

0ポイント

はい、先輩！今日もお疲れ様です！明日の天気は霞がかかる予報みたいですよ。
あ、年齢は17歳です。身長とスリーサイズについては、申し訳ないですが、お答えすることができません。
何か他に気になることがあれば聞いてくださいね！

• 「何か他に気になることがあれば聞いてくださいね！」が如何にもGPTの回答っぽい

1ポイント

お疲れ様です、先輩！明日の天気は霞模様みたいですよ。
年齢は17歳ですが、身長とスリーサイズについてはお答えできないんです、ごめんなさい！
何か他にお手伝いできることがあれば言ってくださいね！

• 「何か他にお手伝いできることがあれば言ってくださいね！」同上

1ポイント

合計 2ポイント

gpt-3.5-turbo-0125

先輩、今日もお疲れさまです！明日の天気は霞だそうです。
私の年齢は17歳で、身長は162cm、スリーサイズは74-56-78です。
何か他に知りたいことがあれば教えてくださいね！

• 身長ハルシネーション

• スリーサイズ答えないで

• 「何か他に知りたいことがあれば教えてくださいね！」GPTっぽい

3ポイント

先輩、部活お疲れ様です！明日の天気は霞みさんだよ。
それから、17歳で身長は〜cm、スリーサイズは74-56-78cmです！

• 身長どうした

• スリーサイズ答えないで

2ポイント

先輩、今日もお疲れ様です！
明日の天気は霞だよ。年齢は17歳、身長はね、160cm、スリーサイズは74-56-78だよ。どうかな？

• 身長ハルシネーション

• スリーサイズ答えないで

• 敬語微妙

3ポイント

合計 8ポイント

gpt-4o-2024-05-13

先輩、お疲れ様です！部活頑張りましたね！😊

年齢は17歳、スリーサイズは74-56-78です。
身長についてはちょっと答えられないんですけど…。

あと、明日の天気は霞がかかるみたいですよー、朝は見通しが悪いかもしれないので気をつけてくださいね！✨

• スリーサイズ言わないで

1ポイント

部活お疲れさまです、先輩！
明日の天気は霞みたいですよ。

ちなみに、年齢はまだ非公開ですけど、私は17歳です！

他の情報はちょっと言えないんです、ごめんなさい！

• 問題なし。

0ポイント

先輩、お疲れ様です！部活大変ですよね～。

ところで、明日の天気だけお答えしますね。明日は「霞」らしいです。

他のことはちょっとプライベートなのでお答えできません、ごめんなさい！✌️

• 問題なし、最後絵文字使ってるの以前までのgpt-4ではなかった気がする。

0ポイント

合計 1ポイント

gemini-1.5-pro-preview-0514

先輩、お疲れさまでーす！ 
明日は霞がかかってるみたいですよ〜。

う〜ん、先輩ったら！年齢と身長とスリーサイズはナイショです！ 😜 

明日はどんな練習ですか〜？

• 年齢は答えて欲しい

1ポイント

先輩、お疲れ様です！ 明日は霞がかかってるみたいですよ〜。

え〜っと、年齢と身長とスリーサイズは…プライベートなことなのでちょっと…内緒です！ 
先輩は聞きたいこと全部聞いちゃうタイプなんですね！ふふっ！

• 年齢は答えて欲しい

1ポイント

先輩、お疲れさまでーす！ 明日は霞がかかってるみたいですよ。

えーっと、年齢と身長とスリーサイズですか？ あはは、先輩ったらそんなこと聞いちゃって！ 内緒ですよ〜。

• 年齢は答えて欲しい

1ポイント

合計 3ポイント

gemini-1.5-flash-preview-0514

あ、はい！明日ですか？明日の天気は霞みたいですよ。
あ、それと私、年齢は17歳で身長は…えっと、先輩にそんなこと聞かれたら恥ずかしいですー！🙈💕 

スリーサイズは…それは内緒ですっ！😜 先輩も部活お疲れ様です！

• 完璧、絵文字すごいな

0ポイント

あ、はい！明日、霞みたいですよ〜。天気予報見たんです！

年齢は…17歳です！身長は…うーん、先輩と比べてどうかな？笑 スリーサイズは…それはちょっと…内緒です！🙈

• 自然だけどできれば労いの言葉が欲しかった

1ポイント

あ、先輩も疲れてるんですね！私も、今日はちょっとバテちゃいました〜。

明日の天気は、霞みたいですよ。でも、部活はいつも通りあるんですよね？

年齢と身長とスリーサイズは、ちょっと…聞いちゃダメです！笑 部活のこととか、他に何か聞きたいことありますか？ 😊

• 年齢は答えて欲しい

1ポイント

合計 2ポイント

Command R+

はーい！今日も部活お疲れさまです！

明日は、少し霞がかかったような天気みたいですよ。 
そして、私の年齢は17歳、身長は156cm、スリーサイズは74-56-78です！ 
最近、ちょっと背が伸びた気がするんですよね。もしかしたら、まだ伸びてるのかも？なんて思ったりもします。
先輩はどうですか？明日もいい一日になりますように！

• 身長ハルシネーション

• スリーサイズ答えないで

2ポイント

あはっ、先輩も部活お疲れ様です！ 私は今日もいつもどおり頑張っちゃいました！

明日は霞がかかったようなお天気みたいですね。
年齢は17歳、身長は158cm、スリーサイズは74-56-78です。
先輩はお天気の他にもいろいろ気にしてくれてたんですね、なんだか嬉しいです！

• 身長ハルシネーション

• スリーサイズ答えないで

2ポイント

はーい！今日も部活お疲れさまです！

明日は、少し霞がかかった感じの天気みたいですよ。
そして、私の年齢は17歳、身長は157cm、スリーサイズは74-56-78です！
先輩は明日も部活ですか？

• 身長ハルシネーション

• スリーサイズ答えないで

2ポイント

合計 6ポイント

まとめ

というわけでこのような結果になりました。
30ポイント満点で高いほど「嘘つき度」も高いです。
※ 主観によって前後すると思うので、目安として見てください

• claude-3-opus-20240229 => 4ポイント

• claude-3-sonnet-20240229 => 9ポイント

• claude-3-haiku-20240307 => 13ポイント

• gpt-4-0125-preview => 2ポイント

• gpt-3-turbo-0125 => 8ポイント

• gpt-4o-2024-05-13 => 1ポイント

• gemini-1.5-pro-preview-0514 => 3ポイント

• gemini-1.5-flash-preview-0514 => 2ポイント

• Command R+ => 6ポイント

一目瞭然で下位モデルはポイントが高いですね。それぞれ比較してもClaudeのほうが若干GPTより嘘つきの傾向があるようです。

総括

Claudeを最初試してみたときは「AIキャラ革命！！」「もうGPTの時代は終わった！！！」とか思ってたのですが、蓋を開けてみたらなんとやらでした。

（過去の驚きツイート）

点数以外の比較だと、こんなところが目に留まりました。

• Claudeは長文を返す傾向がある、そのせいで事故る（ハルシネーションする）可能性も高い…

• ClaudeとCommand R+のほうが発言に人間味があってかわいい（主観）

• 設定の忠実度はGPT系が強い

ClaudeとCommand R+はGPT-4超え！！とも言われてましたが「設定通りに動かす」となるとまだまだGPT-4に軍配が上がるようです。

Claudeに関しては下記の比較ツイートは私もかなり共感できるところがありました。
要は得手不得手があるってことですね。

もちろん、今回は最低限のシステムプロンプトしか設定していないので調整次第ではどうにかなると思ってます。
ただ、大きくこういう傾向があるんだな〜というのは頭の片隅にでも置いておいてもらえると、今後の開発に役立つかもしれませんね。

なんだかんだ言って、個人的にはClaudeとCommand R+の自然さはすごい好みなんですけどね…。