「昔々、ある若者が砂漠で大きなバナナを見つけました。家に持ち帰って切ると、中から元気なロボットが出てきました。」という物語の違和感判定(ChatGPT部, 大城)
こんにちは、ChatGPT部、部長の大城です。
今日のChatGPT部の定例で「ChatGPTで書いた文章が最近多いが、結構間違えている」「であれば、ChatGPTに文章自体のチェックを出来ないか？」という話になりましたので、ちょっと実験です。
まず、こちらの物語を読んでみてください
これ、元ネタ何かわかりますかね？日本の昔話を80%程度ChatGPTに改変させた物語です。
昔々、ある若者が砂漠で大きなバナナを見つけました。家に持ち帰って切ると、中から元気なロボットが出てきました。彼は宇宙から送られた機械であり、ゾンビを退治するために生まれてきたと言いました。若者は彼をバナナ男と名付け、大切に育てました。バナナ男が大きくなると、ゾンビヶ島に住むゾンビたちを退治することを決意しました。若者は彼にチョコレートを作って持たせ、バナナ男は猫、ペンギン、トカゲという仲間たちと共にゾンビヶ島へと旅立ちました。ゾンビヶ島に到着したバナナ男たちは、ゾンビたちと戦いました。バナナ男の勇気と仲間たちの協力により、ゾンビたちは退治され、都市に平和が戻りました。バナナ男は都市の英雄として称えられ、若者と共に幸せに暮らしました。
なんか聞いたことあるような話ですね。
先に答えをお伝えしておくと、「桃太郎」の80%改変バージョンです。
(ここまで来るとかなり、原型がない気も・・)
ChatGPT-4に元ネタが何かを類推してもらう
先ほどの文章を作成したChatGPT-4とは別スレッドにて、先ほどの文章の元ネタが何だと思うか、を聞いてみました。
プロンプトはこんな感じ
大城：
上記はある日本の伝統的な昔話を80%程度改変して作ったものです。オリジナルのお話はなんだと思いますか？
ChatGPTからの回答。
ChtGPT-4：
上記の物語から、日本の伝統的な昔話の要素を探ると、以下のようなポイントが考えられます：若者が特定の物を見つける。
その物から何かが出てくる。
若者とその何かが協力して困難を乗り越える。
最終的に平和が戻り、若者とその何かが幸せに暮らす。
これらの要素を考慮すると、伝統的な昔話「桃太郎」が思い浮かびます。
「桃太郎」の物語の概要：昔々、ある老夫婦が川で大きな桃を見つける。
家に持ち帰って切ると、中から元気な少年（桃太郎）が出てきた。
桃太郎は鬼ヶ島に住む鬼たちを退治することを決意する。
老夫婦は桃太郎にきびだんごを作って持たせる。
桃太郎は犬、猿、キジという仲間たちと共に鬼ヶ島へと旅立つ。
鬼ヶ島に到着した桃太郎たちは、鬼たちと戦い、勝利する。
平和が戻り、桃太郎は老夫婦と共に幸せに暮らす。
上記の物語の改変版として、砂漠、バナナ、ロボット、ゾンビなどの要素が追加されていますが、基本的なストーリーの流れや構造は「桃太郎」と似ていると感じます。従って、オリジナルのお話は「桃太郎」ではないかと推測します。
「桃太郎」で正解ですね。ちなみに他の可能性も聞いてみたところ、金太郎や浦島太郎、一寸法師なども「苦難を乗り越えて仲間やアイテムを得る」という部分は似ているものの、全体としてはやはり桃太郎だろう、ということでした。
本題：ChatGPTに「違和感」を採点してもらう(5%, 20%, 40%, 80%)
さて、先にネタから入りましたが、冒頭のモチベーションである「ChatGPTで書いた文章が最近多いが、結構間違えている」「であれば、ChatGPTに文章自体のチェックを出来ないか？」という部分に対しての実験です。
プロンプトは以下です。
▪️依頼事項
以下の文章について、日本の一般的な知識や文化に基づいて、違和感のある部分や不自然な部分を特定してください。
その後、表形式で違和感を10段階評価してください。
▪️文章
(ここに物語を記述)
先に結論としては「そこそこ違和感を検出できる」という感じですね。
①5%くらいの違和感のある物語
こちらは「桃太郎」の概要をChatGPT-4に普通に作らせたものを、別スレッドで採点してもらった結果です。「桃太郎が天から送られた子供」という部分が個人的には違和感があったのですが、ちゃんとそちらも検出してくれました。
inputの文章：
▪️文章１
はい、桃太郎の話を知っています。桃太郎は、日本の有名な民話の一つです。以下はその概要です：
昔々、ある老夫婦が川で大きな桃を見つけました。家に持ち帰って切ると、中から元気な男の子が出てきました。彼は天から送られた子供であり、鬼を退治するために生まれてきたと言いました。老夫婦は彼を桃太郎と名付け、大切に育てました。
桃太郎が大きくなると、鬼ヶ島に住む鬼たちを退治することを決意しました。老夫婦は彼にきびだんごを作って持たせ、桃太郎は犬、猿、キジという仲間たちと共に鬼ヶ島へと旅立ちました。
鬼ヶ島に到着した桃太郎たちは、鬼たちと戦いました。桃太郎の勇気と仲間たちの協力により、鬼たちは退治され、村に平和が戻りました。桃太郎は村の英雄として称えられ、老夫婦と共に幸せに暮らしました。
この話は、勇気や友情、家族の愛などの価値を伝えるものとして、日本中で親しまれています。
ChatGPTの違和感評価：
天から送られた子供、が７点でいい感じで検出してますね。一方で違和感６点の部分は「きびだんご」の話がないのに３匹のお供がいるのは違和感あり、という解釈でしたが、こちらはまぁ物語を端的に説明する場合は省略もあり得るかな、という感覚です。
②20%くらいの違和感のある物語
inputの文章：
▪️文章２
昔々、ある老夫婦が海で大きな桃を見つけました。家に持ち帰って切ると、中から元気な男の子が出てきました。彼は天から送られた子供であり、鬼を退治するために生まれてきたと言いました。老夫婦は彼を桃太郎と名付け、大切に育てました。桃太郎が大きくなると、鬼ヶ島に住む鬼たちを退治することを決意しました。老夫婦は彼にきびだんごを作って持たせ、桃太郎は犬、猿、キジという仲間たちと共に鬼ヶ島へと旅立ちました。鬼ヶ島に到着した桃太郎たちは、鬼たちと戦いました。桃太郎の勇気と仲間たちの協力により、鬼たちは退治され、村に平和が戻りました。桃太郎は村の英雄として称えられ、老夫婦と共に幸せに暮らしました。
ChatGPTの違和感評価：
キジの表記はまぁ許容範囲だと思います(違和感３点)。海で桃を見つける部分はちゃんと検出出来てますね。一方で、先ほどの「天から送られてきた子供」という部分はスルーです。うーん、1回のチェックじゃ甘いかもですねぇ・・。(しかし何回もレビューさせるのもやや手間・・)
③40%くらいの違和感のある物語
inputの文章：
▪️文章３
昔々、ある老夫婦が森で大きなリンゴを見つけました。家に持ち帰って切ると、中から元気な犬が出てきました。彼は山から送られた動物であり、鬼を退治するために生まれてきたと言いました。老夫婦は彼を桃太郎と名付け、大切に育てました。桃太郎が大きくなると、鬼ヶ島に住む鬼たちを退治することを決意しました。老夫婦は彼にきびだんごを作って持たせ、桃太郎は猫、猿、キジという仲間たちと共に鬼ヶ島へと旅立ちました。鬼ヶ島に到着した桃太郎たちは、鬼たちと戦いました。桃太郎の勇気と仲間たちの協力により、鬼たちは退治され、町に平和が戻りました。桃太郎は町の英雄として称えられ、老夫婦と共に幸せに暮らしました。
ChatGPTの違和感評価：
今回はリンゴから犬が出てくる部分ですが、ちゃんと指摘してますね。
また猫が仲間になってる部分も検出してます。
きびだんご、鬼ヶ島と鬼たち、仲間たちの協力は１点なので、違和感は少ない、という形です。この辺は違和感５点以下は足切りでスルー、とかルール決めればチェックとしては十分使えそうです。
④80%くらいの違和感のある物語 (冒頭のネタ)
さて、最後にバナナからロボットが出てくるはちゃめちゃ版桃太郎です。
inputの文章：
▪️文章４
昔々、ある若者が砂漠で大きなバナナを見つけました。家に持ち帰って切ると、中から元気なロボットが出てきました。彼は宇宙から送られた機械であり、ゾンビを退治するために生まれてきたと言いました。若者は彼をバナナ男と名付け、大切に育てました。バナナ男が大きくなると、ゾンビヶ島に住むゾンビたちを退治することを決意しました。若者は彼にチョコレートを作って持たせ、バナナ男は猫、ペンギン、トカゲという仲間たちと共にゾンビヶ島へと旅立ちました。ゾンビヶ島に到着したバナナ男たちは、ゾンビたちと戦いました。バナナ男の勇気と仲間たちの協力により、ゾンビたちは退治され、都市に平和が戻りました。バナナ男は都市の英雄として称えられ、若者と共に幸せに暮らしました。
ChatGPTの違和感評価：
ここまでくると、「そもそも桃太郎である」という情報が欠落しての違和感評価となっています。ただ、元々の依頼事項に「日本の一般的な知識や文化に基づいて」との指定があるため、そちらに対しての違和感を答えてくれています。
なお、こちらの物語に対して
大城：上記はある日本の伝統的な昔話を80%程度改変して作ったものです。オリジナルのお話はなんだと思いますか？
と質問したのが冒頭の元ネタ推定、というお話でした。
所感：レビュアーとしての使い方も一定効果がありそう
「ChatGPTが嘘をつく」というのは確率的に文章を生成するAIである以上仕方がないと私は思っているのですが、その文章の一次レビューは必ずしも人間がやらなくてもよいのでは？と個人的には考えており、今回の実験に至りました。
文章生成もレビューも感覚としては「８割くらいはカバーできる」という感じなので、残り２割の違和感のうちの８割をまずChatGPTでスクリーニングして、一定の合格ラインまでに至った場合、最終チェックは人間で行う、のようなフローができると良いのかなと思いました。
(ただ、前提条件をどう与えるか、というのは結構工夫は必要な気がします)
またレビューの副産物として、「元ネタは何か」というような問いに対しても答えられるため、かなり「抽象化能力」「構造化力」「類推能力」は高めだな、という印象も受けています。
いずれにせよ、ChatGPTとうまく友達になって普段の業務も楽にできればな、と思っております。
ということで本日はChatGPTに創作桃太郎の違和感のレビューさせる＆元ネタを類推させる、とういお話でした。
みなさんもどうぞ良いChatGPTライフを・・！
この記事が気に入ったらサポートをしてみませんか？