ChatGPT楽しい。ただ、なかなか繋がりにくいときがありますね。

ChatGPTに、機械的に答えられそうな知識的質問から、AIには答えるのが難しそうな質問まで、いろいろと聞いてみました。
※以下のチャット画像において「t」のアイコンが私です。

問：神奈川県について (日本語/英語/中国語)

日本語での答え

英語での答え

日本語と英語では回答が異なっていました。以下は英語の回答で気になった個所です。
・川崎はスルー
・源氏物語絵巻は鎌倉にあったっけ？
・松尾芭蕉記念館 (東松山) は埼玉県

続いて川崎について聞いてみました。

ちゃんと川崎も神奈川と認識していました。

さらに、松尾芭蕉記念館についても聞いてみました。

東松山が埼玉県と認識していました。

中国語での答え

中国語での回答は、日本語とも英語とも違っていました。
熱田温泉ってどこ？ 熱海なら静岡県です。

結論：言語が違うと返答も異なる。単純に言語間で翻訳されるわけではない。

問：目黒蓮の人気の理由

最初に質問した際に誤変換してしまい、「目黒蓮」を「目黒連」としてしまいました。

誤変換はスルーされ、それっぽい回答がありました。
後日誤変換に気づき、再度質問しました。

分からないと言われてしまった。
正しく質問し直してみました。

また分からないと言われてしまったので、具体的に質問してみました。

それっぽい回答が返ってきたけど、誤変換での質問の時とは内容が異なりました。

結論：質問に誤字があっても答えてくれることがあるが、正確に質問した場合、質問に誤字がある場合とは別の回答になることがある。

問：「いらっしゃいませ」を韓国語に翻訳

少し前、Google翻訳で「いらっしゃいませ」を韓国語にした場合、逆の意味になってしまう、という話題があった (もう直ったようですが) ので、ChatGPTにも聞いてみました。

続けて、Google翻訳 誤翻訳版の意味についても聞いてみました。

翻訳に関して、変化球を投げてみました。

なんと、特定サービスについて回答を頂けてしまいました (企業間紛争がないようにお願いしたいところです)。なお、私はGoogle翻訳とDeepL、どちらも使用しています。利用目的によって使い分けています。

結論：ChatGPTは翻訳もできそう。ただし「どの翻訳ツールを使おうと、人による検査は必要」というのはChatGPTのいうとおり。

問：高校化学基礎 酸化数

これは、最近高1の娘に「酸化数」について教えたことがあって、それで思いついた質問です。

H2O とか、Oとか、文脈から理解できるんですね。

コンテキストを読み取って、H2Oの話題に立ち返って説明してくれました。すごい。

細かく見ていないですが、酸素視点ではH2O2などの例外を除いてあっている気がします。賢い。詳細はWikipediaを見てください。

結論：高校化学基礎レベルなら回答できる (学校はカンニング対策が重要)。コンテキストを理解して回答できる。

問：資格試験の記述問題

質問の難易度を挙げてみました。
R4技術士2次試験 情報工学部門(情報システム) II-1-1から引用してChatGPTに聞いてみました。

それっぽい回答が返ってきましたが、微妙な点も見られますし、ふわっとした回答になっています。質問に「技術士の立場から回答せよ」とか、付けたほうが良かったのかもしれません。

R4行政書士試験問45からも引用してChatGPTに聞いてみました。

まず、質問のA/B/Cを使って回答があったことにびっくりしました。A/B/Cを人物 (もしくは法人) だとわかるんですね。ただし内容的には微妙な回答でした (まるで私の本試験での回答を見ているようです)。また40字程度ではないです。なお、正答例はこちらです。

結論：割と専門的な質問であっても回答をくれるが、題意に沿っているとは限らないし、回答が正しいとは限らない。

問：漢字の字形

漢字の字形にフォーカスして質問してみました。AIにとって回答が難しいかと思いまして。

文字の由来や中国語での発音についてではなく、日本語視点での回答が得られました。回答内容が正しいのかはわかりません。

どうも日本語ネイティブに対する回答というよりかは、非日本語ネイティブに対する回答に見えます。

結論：日本語で質問した場合、日本人が期待していない回答をすることがある。

問：流行りの楽曲を教えて (スペイン語) ※2023/2/5追加

スペイン語で質問したら、様々なジャンルからスペイン語圏で流行りの曲を教えてくれました。合っているのかはわかりませんが、聞いてみたいと思うきっかけになります。しかし、Google先生で調べた時の情報量とは差がありますので、得られる情報の範囲は狭くなります。

日本語で質問した場合、知識ベースが日本語に限られるためか、大したことを教えてくれません。

結論：Google先生で調べるより、手っ取り早く調べられる。視野を広げたければGoogle先生に聞いたほうがよい。さらに、調査したい分野と親和性の高い言語で質問することで、より確からしい回答が得られる。

所感

2015年、野村総合研究所のレポート『日本の労働人口の 49％が人工知能やロボット等で代替可能に』の中で、人工知能やロボット等による代替可能性が低い 100 種の職業として、雑誌編集者、シナリオライター、経営コンサルタントなどが書かれていました。ChatGPTは今後ますます精度が高まると思うので、ChatGPTの登場により代替可能性が高くなった職業が増えるのではないでしょうか。

また、ChatGPTを使うにしてもファクトチェックは大切ですね。今後上手にChatGPTを使う方法を考えなければなりません。