ChatGPTなどのAIで書かれた文章を判定するGPTZeroというサービスがあると聞いて使ってみました。
最初は半信半疑だったけど、使ってみると確かに高確率でChatGPTの出力は見破られます。
しかし
例えば英語で言語モデルとは何かという文章をChatGPTに書いてもらいました。
これはAIが書いたと判定されます。これをGoogle翻訳で日本語に変換して、即座に英語に戻すと次のようなテキストになります。
これは全面的に人間が書いたっぽいと判定されます。Google翻訳もAIが書いていることには変わりないのですが。
さらにこのGoogle翻訳の出力をChatGPTで文法ミスを直してと言うと
これも人間判定となりました。違いは In other words周辺だけですから当然かも知れません。もともとの文章が人間判定だと、ChatGPTの出力でも人間判定を得やすいようです。
英文をすこしいじって人間判定に変わるタイミングを測ったのですが、Perplexityが高めになるようにいじればよさそうな感じはします。ちょこっと表現を変えてやるとかすればすぐに人間判定になります。
ChatGPTはすごく大掛かりですが、所詮は言語モデルで、次の単語を予測しているだけです。ですから、GPTが予測する単語にことごとく一致するとAI判定をされますが、そこをちょっと見出してやればごまかすことができそうな感じはします。
とはいえ僕は学生でもないし、AIで書いた文章だからと言って批判されることはない立場だと思っているので積極的に下手な英語をきれいに直してもらおうと思います。