はじめに

謎かけとは

「〇〇とかけて、××と解く。その心はどちらも△△です。」

みたいな掛け言葉を使った言葉遊びです。ねづっちさんで有名ですね。

Claude3とは

性能はGPT−4超えとの噂があります。

教育

早速、Claude3の実力を謎かけで試してみました。

お題は「日本」です。

教育前のClaude3

教育後のClaude3

手取り足取り教えることで、ここまで謎かけの能力を向上させることに成功しました。

Claude3に与えた指示の概要

以下にClaude３に謎かけをさせるための手順を示します。
※実際の会話では、具体例を交えながら説明し、理解するまで何度もフィードバックを与えているので、このアルゴリズムもどきをコピペするだけではうまくいきません。

1. お題から自然な文章を作る

   • お題に関連する短く簡潔な文章を作ります。

   • この文章は、お題の特徴や性質を表すような内容にします。

2. 文章の中から同音異義語の候補となる言葉を選ぶ

   • 作成した文章の中から、同音異義語を探すのに適した言葉を辞書から検索し、出典と言葉の意味を追記します。

   • 具体的には、二字熟語や単語を中心に選ぶようにします。

3. 選んだ言葉をひらがなにし、同音異義語を探す

   • 選んだ言葉をひらがなに変換します。

   • そのひらがなを3通りの漢字で表現し、同音異義語の候補を挙げます。

   • この際、最初に選んだ言葉は除外します。

4. 同音異義語の候補を評価する

   • 挙げた同音異義語の候補について、以下の2つの基準で評価します。

     1. ひらがなにして文字が一致するか

     2. 一般的によく使われる言葉か（100点満点で70点以上が目安）

   • この2つの基準を満たす同音異義語を選びます。

5. 同音異義語の意味の類似度を評価する

   • 選んだ同音異義語と、最初に選んだ言葉の意味の類似度を評価します。

   • 類似度が5以上（10段階評価）の場合は、別の同音異義語を探します。

   • 類似度が5未満の同音異義語を謎かけに使用します。

6. 謎かけを作成する

   • 選んだ同音異義語を使って、お題と結びつける謎かけを作ります。

   • 謎かけの形式は、「AとかけてBと解きます。その心は、どちらもC（同音異義語の読み方）だからです。」というパターンを使います。

7. 謎かけの評価と採用

   • 作成した謎かけを以下の2つの基準で評価します。

     1. 同音異義語のひらがなが一致しているか

     2. 謎かけの文章が自然で分かりやすいか（5段階評価で4つ星以上が目安）

   • この2つの基準を満たす謎かけを採用します。

教育後のClaude3が回答している様子

問題点とその対策

ハルシネーション

Claude3やChatGPTなどのLLMはすぐに嘘をつきます。
存在しない単語を勝手にでっち上げます。
この問題に関しては、辞書から検索して出典と意味を明記するよう指示するとミスが減りました。（体感）

LLM賢すぎ

LLMは未知の言語を翻訳できるほど、優れた言語能力を持っています。そのため、独自のカバン語を作ることがあります。その中には、なるほどなと思わされる言葉が結構あり、人類がまだ見つけていない言葉という解釈もできます。
この問題に関しては、その言葉が一般的に使われているかどうか評価させることである程度対処できました。

わかった気になっている

LLMに、謎かけとは何か？同音異義語とは何か？同音異義語の見つけ方は？と聞いてみると、素晴らしい回答を得ることができます。
しかし、実際にやらせてみる普通に間違えます。

この問題に対しては、間違っている箇所とその理由を具体的に指摘し、改善策を考えさせるか提案する必要があります。

大抵の場合、プロセスを細かく分割と解決します。

例えば、
「ある言葉の同音異義語を探す」は
1.ある言葉をひらがなにする
2.漢字を使って３通りの方法で表す

の２ステップに分けることができます。

また、具体例を交えながら説明するのも非常に有効です。

他のお題に対する回答

最後に

チェリーピッキング感はありますが、初期状態に比べてかなり能力向上することは確かです。
ちなみに、GPT-4でも試してみましたが、（今の）GPT-4はアホすぎて話が通じませんでした。

試行錯誤する過程が結構楽しいので皆さんもぜひやってみてください。