開業医をしつつ、Ubie株式会社で働いてる白石です。
現在、ChatGPTをはじめとするLLM（大規模言語モデル）が話題ですが、その質問の仕方についてPrompt Engineering Guideによくまとまっており、基本となる考え方をについて、備忘録も兼ねて記事を書くことにしました。

また、実践として「晩御飯に相応しいいい感じのワインをChatGPTと選ぶ」ということ例にすすめていきます。

ちなみに「今日の料理にあうワインを教えてください」とするとこのようになります。

0. 基本のキ

より具体的に聞く

最初の「今日の料理にあうワインを教えてください」だとかなり一般的な答えになってしまっています。より具体的に聞いてみましょう。

ちなみに今日の晩御飯はキーマカレーだったのでキーマカレーにあうものをきいてみました。ちょっと具体的な回答になってきましたね。

より具体的にどういう状況かを教える

さらに状況や、どういう立場に立って答えてもらうかを指定すると効果的です。

「あなたはソムリエです。家で、妻と二人で、晩御飯にキーマカレーを食べるときにちょうどいいワインを教えてください。」と聞いてみました。

どう聞くのがより具体的なのかはトライ＆エラーは必要

もしかしてこういう聞き方もできるかも、と思ったら変えてみることが大事です。求めていた答えに大きく近づくかもしれません。

先程の質問文の「ワイン」を「赤ワイン」に変えて
「あなたはソムリエです。家で、妻と二人で、晩御飯にキーマカレーを食べるときにちょうどいい赤ワインを教えてください。」
と聞いてみました。
今度はグルナッシュやテンプラリーニョをすすめてくれるようになりました。

これまででも変化を楽しめるところですが、Prompt Engineeringを参考に、質問する際のテクニックを記載していきます。

１. 回答例を示してみる　Few-Shot Prompting

ChatGPTはいきなり質問をなげかけても、ある程度質問には答えてくれます。（これを「Zero-Shot prompting」と呼ばれます）

そこに、回答の例をいくつか見せることで、回答の精度をあげるテクニックになります。（これをFew-Shot Prompting）

以前はこれがよかったよ、を書いてみました。
「あなたはソムリエです。家で、妻と二人で、晩御飯にキーマカレーを食べるときにちょうどいいワインを教えてください。
以前にキーマカレーを食べたときは、アルバリーニョのフレッシュな酸味が合っていて美味しかったです。」

またこのタイミングで、具体的に買いにいけるものがいいなあと思い直し「銘柄と価格をかけ」というとこんな感じになりました。存在しないワインがでてきてしまいました。

２. 回答ステップを示してあげる　Chain-of-Thought Prompting

質問からいきなり回答に辿り着くのではなく、ステップ踏むことを明示的に指示することで、回答の精度をあげる手法になります。

今回ですと、

まずキーマカレーに合うワインの品種を答える
↓
その中でおすすめの銘柄を選んでもらう

というステップを踏んでふんでもらえばいいのではと思い以下のようにきいてみました。

「あなたはソムリエです。家で、妻と二人で、晩御飯にキーマカレーを食べるときにちょうどいいワインを答えてください。 キーマカレーにあうワインの品種をひとつ考え、その品種の中で、価格が五千円未満のものを３つずつ教えてください。」
説明がより詳細になった感じがします。

追記：ちなみに英語に翻訳して聞くと、実在するよさそうなワインをすすめてくれました。

３. 前提知識を与えておいてあげる　Generated Knowledge Prompting

あらかじめ前提知識を与えておくことで回答精度をあげる手法になります。

今回は僕と妻の好みをざっくり与えてみます。
「あなたはソムリエです。家で、妻と二人で、晩御飯にキーマカレーを食べるときにちょうどいい赤ワインを教えてください。
妻はピノ・ノワールが好きです。
僕はカベルネ・ソーヴィニヨンが好きです。」
すると好みに合わせてきてくれました。

４. そのほか

これは手入力におけるテクニックではないですが、Automatic Prompt Engineerといって雑に入力したプロンプトを最適なプロンプトにしてくれるサービスを使うというテクニックもあります。
Automatic Prompt Engineerの一例（PromptPerfect）
かなり具体的に指示をしてくれるようになります。

終わりに

ChatGPTを皮切りに、これからは優秀なAIにいかに指示をうまく出すか、ということが重要になってくるかと思います。

プロンプトを生成するためのプロンプトや、プロンプトを最適化するサービスなどがでてきますが、それらを扱う上でもベーシックな部分を学んでおくことは重要と考え、ワインを例に遊んだものをまとめてみました。
適宜updateしていこうと思います。

追記１. 表形式での出力してみやすくする

複数種類について比較したいとき、表形式での出力をするとよいようです。

「表形式で教えてください。 表には、ワインの品種、特徴、おすすめの銘柄、価格帯を表示してください。」と追加して聞いてみました。

追記２. 必要に応じてChatGPTに質問してもらう

情報不足かどうかを判断してもらい、もし足りない場合は質問するように指示します。

今回は
「オススメのワインを提示するのに、情報が足りない場合は、質問を投げかけてください」
とつけてみました。