話題のChatGPTにお悩み相談にのってもらえないかと以前から考えていたところ、今週に入ってよさそうな知見がいろいろと目に入ったので現時点の知見と実験結果を記録しておきます。

結論だけ先に書いておくと、
ChatGPTに悩みを相談するとき、回答を求めるのではなく質問者のロールを与えることで、人間の入力と思考を支援してもらう使い方をすると得られる効果が高そう。その際、会話の展開の幅と質を高めるために質問を複数提案してもらうとよさそう。
です。

これまでの自分の認識 ： ChatGPTは質問して使うもの

これまでもChatGPTの使い方としていろいろなものを目にしましたが、多くは「教えてもらう・調べてもらう」「添削・検証してもらう」「まとめてもらう」「提案してもらう」というものが主だったように認識していました。

悩みを相談することの難しさ

ではChatGPTに悩みも相談してみよう、と思い、試しに単刀直入に「自分のキャリアに悩んでいます。どうしたらいいでしょうか？」と相談してみました。

とてもまっとうな回答・アドバイスをもらいました。

しかし、問題がありました。自分はせっかく提案してもらった選択肢を見て満足して、そこで止まってしまったのです。
アドバイスとしてはとても正しかったのですが、顧客が求めていたのはアドバイスだけではなく、「一緒に考えてくれること」だったようです。

もっと詳細に入力したらより的を射た回答が、とも考えましたが、その「詳細に入力」がとても大変でやらなさそうだなとも感じました。

「回答ではなく質問を求める」という方策を見かけるようになった

そのような課題感を感じていたところ、比較的最近になって、「質問を求める」使い方を目にするようになった気がします。
1月13日のtweetで「AI指導教官役として質問やアドバイスをしてもらう」という使い方が紹介されていました。

また2月7日(月)には編集者として、10日(金)にはカウンセラー、11日(土)にはコーチとして質問する使い方が紹介されました。

「一緒に考えてくれる」を求めていた自分にとってはこれはなかなか筋がよさそうに見えて試してみました。

対話継続のための工夫：複数の質問をしてもらう

そこでいろいろ試してみました。その結果、現段階では、
質問者ロールを付与しつつ、複数の質問を提案してもらい、人間の側で答えたい質問を選んで回答していく
という進め方がよさそうに見えました。

（以下は単純に質問役をお願いした例）

このやり方だと、尤もらしい質問をしてくれますが、幅の広がりがかけたり、yes/noで回答可能なクローズドクエッションがなされたときに会話が止まってしまうという課題がありそうでした。

（以下は質問役として３つ質問を提案してもらった例）

こちらだと、対話の広がりと質の両方の観点から対話が改善されていて、また対話が止まることも回避しやすくなり、対話を継続しやすくなりました。

可能性を感じた点

• 気楽かつ低コスト（対人支援サービスと比較して）

• 質問の選択肢の幅が広く制限されていない（過去のルールベースのチャットボットと比較して）

• 最終的にアドバイスを求める場合でも、最初から詳細に入力するのは大変なので対話形式で引き出してもらうほうがやりやすそう。

• いいバランスでフィードバックしてくれたり、途中・最後にまとめもしてくれたりすると更によさそう

• 質問者側は視点の提供が主なので、AI系でよく懸念される正しくない回答のリスクとか責任とかの問題に繋がりづらい（回答には責任が伴いやすいor責任を伴うものでないと利用しづらい）

• 悩みに限らず、思考支援、言語化支援みたいな文脈での使い方は今後更に出てくる気がした

• その一環として、対話UIをプロンプト生成支援機能に化けさせるのはよい設計な気がした。一往復で解決できない問題でも対話を重ねる（プロンプトを練る）ことで解決に近づける

現状感じる難しさ

• プロンプトわかってても入力するのが面倒（この辺はいい感じのUIを用意したミニアプリとかがでてくるといい気がするというかたくさん出てきそう）

• 本物のコーチ・カウンセラーと比較すると、長期記憶能力は（まだ）ない。過去のやりとりを毎回入力として入れようとすると上限があり、またやれたとしても高額になっていく

  • その人個人の情報（過去の対話履歴や発信・発言など？）を入力データにして転移学習（ファインチューニング？）できるようになると乗り越えられる？

  • 個人の情報がたくさん集まると自分に似た人などの情報も入力データになって更にすごいことになりそう？

• 低コストといっても無料ではないのでマネタイズというかサービスとして成立させるところが難しそう

次したいこと

• たまにフィードバックと最後にいい感じにまとめ・図示もしてくれるプロンプトを考える

• GPT-2を自分で動かしてみる

考察：対人支援における対話継続自体の支援

2019年頃からコーチングをしているのですが、「セルフコーチングはなぜ難しいのか」という問いと向き合うことがよくありました。現段階の回答としては「向き合う相手がいることによる対話継続効果・思考継続効果がとても強いから」というものでした。

今回ChatGPTでセルフコーチング的なやりとりをしていて衝撃だったのが、「必ずしも人間と向き合わなくとも、状況設定と返答の品質によって対話継続効果はかなり生じる」という点でした。
この点は大規模言語モデルの改善とプロンプトの改善、またサービスのUX改善によって格段によいものが生まれてくるだろうと感じました。

参考：このnoteを書いた背景

2月9日(木)のnoteでの深津さんのウェビナーに参加してヒントをたくさんもらいました。深津式汎用プロンプトは必見です。質問してもらうほうが筋がいいのでは、と意識したのも、深津さんの「情報が足りない場合は質問してくれ、と命令する」というアイデアを聞いたのがきっかけだったりします。

余談

この２年ほどnote投稿から遠ざかっていましたが、最近の話題ChatGPTの面白さに惹かれて久しぶりに投稿しました。こういった新技術がでてきてみんなでアイデア考えるみたいな流れはとてもワクワクします。