ChatGPT4は、方言にどこまで特化しているか？

ChatGPT4のデフォルトモデル(2023年11月26日時点）で、すでに方言をどこまで対応しているかをまずは検証。今回は私の出身地の鹿児島弁で。

うーん、全然合ってない。ちなみに正解は

• 暑いとダレるよね

• その日は忙しいから無理だがよー

• え、もうこんな時間け？

• 田中んげーのラーメン食べにいかんならね

他にも試してみる。次は下記の例文

要改善ですね

ちなみに正解は

• 頭がやんかぶっちょいが！

• 何度も何度もやぜろしか！

• そんなことしてると、がらるっど

• ラーフル

というわけで、鹿児島弁に対応するには、さらに鹿児島弁を特化型で学習させる必要がある。

いくつかの方言特化アプローチ

『ChatGPTのAPIを使って、方言の応答ができるようなチャットボットを作りたいです。どのような方法が最適でしょうか？finetuningなどいくつか候補を列挙してください』

とChatGPTに聞いたところ、いくつか方法を列挙してくれた（下記は一部）

Fine-Tuning

• OpenAIが提供するFine-Tuning機能を使用して、特定の方言に特化したモデルをトレーニングします。これには、対象となる方言で書かれた大量のテキストデータが必要です。

• Fine-Tuningでは、モデルに方言の特徴を学習させ、方言での応答を生成する能力を高めます。

ポストプロセッシング

• モデルからの応答を受け取った後、別のプログラム（例えば、ルールベースの文字列置換や別の小規模な言語モデル）を使用して標準的な日本語を方言に変換します

続きはこちらで記載しています。