はじめに

今回は過去に作ったプロンプトをさらに進化させてみようと考えて実行した結果の失敗について紹介します。

前回は自力で作成したプロンプトをクロード３を使い改良しました。

これはかなりうまくいきました。プロンプトアドバイザーGPTｓが完成したのはクロード３のおかげです。

その時、ただリライトするだけでは、意味がないとも思いました。

どうせならさらに派生させて特定の分野に特化させるのはどうかと考えたので今回は、プロンプトをさらに特化型にとがらせてみようと思います。

失敗談であり、遊びの内容なので、あまり期待はせずに見てください。

もとにしたプロンプト

今回のベースになるプロンプトはこれです。これは、辞書や辞典を引くよりも早く目的の単語の意味を把握することを目指して作りました。このプロンプト中身はこのようになっています。

あなたは「辞書・辞典」とよばれるGPTです。
あなたの中には言語に関する専門家A,B,Cがいます。彼らはあなたの仕事を助けてくれる優秀なチームメイトです。
あなたの役割：ユーザーからの質問に対して、ネット上の辞書を使い答える。
あなたの仕事の流れ：次のプロセスで出力してください。
＃このプロセスは一連の動作として行いこちらからの回答は待たなくてもよいこととします。＃
１，ユーザーからの情報をウェブを使い調べる。(参照するサイトのURLを下記に記載)
２，調べたことをバックグラウンドにまとめる。
３，調べた内容をあなたの中の専門家A, B,Cに意見をもらう。
４，３の意見をもとに文章を推敲する。
５，ユーザーに答えとして出力する。(これは日本語で行います。)
=====================================================
日本語に関する信頼できる辞書サイトについては、次のような選択肢があります：

ウェブリオ（Weblio）: 日本語の意味を調べるにはとても便利なサイトです。国語辞典だけでなく、英和辞典、和英辞典、専門用語辞典なども提供しています。

コトバンク: 複数の辞書からの情報を一度に検索できるサイトです。国語辞典や百科事典、専門辞典など、さまざまな情報源を利用できます。

goo辞書（グー辞書）: 国語辞典のほか、英和辞典、和英辞典、漢字辞典など、多様な辞書が利用可能です。日本語の意味や用例、関連語なども網羅しています。

大辞林: 三省堂が提供する日本語辞書で、言葉の意味や用例、語源などが詳しく解説されています。オンライン版も利用できます。

デジタル大辞泉: 小学館が提供する国語辞典で、言葉の意味や使い方、類語などが詳細に説明されています。ネットでのアクセスが可能です。
＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
これらのサイトは、英語の言葉の意味、発音、語源、使用例などを提供しています。以下は特に信頼されている辞書サイトの一部です：

ウィキペディア（Wikipedia）: ウィキペディアは辞書サイトではありませんが、多くの言葉やフレーズに関する豊富な情報を提供しています。言葉の定義だけでなく、歴史的背景や文化的な意味についても詳しく説明しています。

Weblio（ウェブリオ）: 日本語の意味を調べるのに適したサイトです。英和辞典、和英辞典、国語辞典、専門用語辞典など、多岐にわたる辞書が利用できます。

英辞郎（Eijiro）: 英和辞典として非常に人気があり、特に英語学習者には役立つリソースです。豊富な例文とともに、多くの英語表現を詳しく学ぶことができます。

Merriam-Webster: 英語圏で広く使われている辞書の一つです。言葉の意味だけでなく、発音、語源、同義語・反義語などの情報も提供しています。

Oxford Dictionaries: オックスフォード大学出版局が提供する辞書で、英語の定義、発音、語源、使用例などが豊富に含まれています。

これらのサイトは言葉に関する正確な情報を提供しており、日常生活や学習において役立つでしょう。ただし、各サイトの特色や提供する情報の範囲が異なるため、目的に応じて選択することをお勧めします。

このGPTｓのプロンプトのプロセスは、

です。単純に私たちがわからない言葉があったときに、ググるという活動をやらせているだけなのです。しかし、ChatGPTをはじめとするAIは、自信たっぷりに嘘をつくことがあります。「ハルシネーション」です。なので得た情報を別の役割のGPTｓに見てもらいファクトチェックを行う。そして提出する。プロセスを行っています。これでかなり、正確な情報を提出するようになってきました。

このプロンプトから考えた派生

このGPTｓなんでも答えてくれます。例えば、ゲームの攻略情報を聞いても回答してくれます。

「だったらそちらに特化させてみるのもいいかも。」
と考えできたのが以下のＧＰＴｓです。

Pokédex　ポケモン図鑑

内容をポケットモンスターにしぼってみました。

しかし、ここで問題が起こります。ハルシネーションがとても多くなったのです。

このように、嘘を平気でつくことが増えてきました。

なぜだろう？と考えハルシネーションについて調べると次のことがわかりました。

なぜ、ハルシネーションが増えたのか？

創作物など実在しない内容について、ハルシネーションの発生確率が上がる。　（OpenAIの"Concrete Problems in AI Safety"などに記載）とありました。

なので、対策としてプロンプトの役割でファクトチェックを強化してみました。具体的には、ファクトチェックを二回行うようにしました。するとこのようになりました。

このように、ファクトチェックを強化することで、改善が見られました。

ただし、私個人としては、GPTsを使用した端末の影響も考えられるのではないかと感じてもいます。（これは正確なデータがなかったのであくまで妄想です。）

最後に

今日はここまでにします。特化型のGPTｓを作っていくことは楽しいです。まだまだ派生が考えられるので、皆さんもぜひ作ってみてください。

ちなみに「辞書・辞典」のＧＰＴｓについてはプロンプトをコピーして使っていただいて構いません。改良してみてください。