ChatGPTがプロンプトを処理するときに重要なのは、「単語」と「その並び」です。
今回は、単語の並びによって、ChatGPTの出力がどのように変化するのか検証してみました。
[I am Miku]という3単語からなる文章の順序を入れ替えてプロンプトとします。全部で6通りのプロンプトとなります。
以下、これらを入力した結果です。

I am Miku
I Miku am

am Miku I

Miku I am

am I Miku
Miku am I

6パターンそれぞれで、異なる出力が得られました。
英語での入力では、順番を入れ替えると出力が大きく変わるということがわかりました。

次に日本語で試してみます。
「私はミクです。」という一文を以下のように分解します。
「私」　「は」　「ミク」　「です」
これらの順序を入れ替え、ChatGPTに入力していきます。

まず、元の文から

では、順番を入れ替えてみましょう。
は　です　ミク　私

「は」を抜いてみます。
です　私　ミク

日本語を形態素解析し、順序を入れ替えて入力しても、ChatGPTは意味をある程度理解してくれるということがわかりました。
日本語は英語と違い順序を逆に書いても文法的に間違いになりにくい言語であるため、このような結果になったのかもしれません。
逆に言うと、ChatGPTは日本語の文章内の単語の並びをうまく出力に反映することができない可能性があります。もしそうであれば、ChatGPTは日本語の機微をとらえきれない可能性があるということです。
日本語の単語の並びでベクトル作っても意味ないですもん。

まとめ
ChatGPTにおいて英語と日本語で単語の並びが出力にどのような影響を及ぼすか検証した。
英語は単語の並びによって出力が変化した。
日本語は単語を並び替えても出力がほとんど変化しなかった。
日本語の機微はChatGPTに理解されない可能性がある。
日本語を処理する仕組みつくらないといけないよね。

ヘドニス　八橋