https://arxiv.org/abs/2309.12288

1. この研究の学術的な問いは、大規模な自己回帰言語モデルの一般化における驚くべき失敗についてで、具体的には、「AはBである」という文が教師データに含まれている場合、その逆「BはAである」というパターンを自動的に推測できないという現象を解明しようというものです。これは「リバーサルカース（逆転の呪い）」と呼ばれる現象で、「Olaf Scholzはドイツの第9代首相であった」という文を学習したモデルが、「ドイツの第9代首相は誰でしたか？」という質問に自動的に答えられないことを示しています。

2. この研究の目的は、言語モデルの一般化能力についての新たな理解を提供し、モデルが「AはB」という情報を「BはA」という形に変形する能力が低いことを明らかにすることです。これは学術的な独自性と創造性を持つ研究と言えます。

3. この研究は、一般的な教師あり学習の問題を考察し、その中で大規模な自己回帰言語モデルが論理的な推論をうまく行えない様子を明らかにしました。これまでの研究では、これらのモデルが文脈情報を用いてうまく推論できると考えられていましたが、我々の研究では、モデルが特定の情報を逆転した形でうまく理解できないという問題が示されました。これは言語モデルの研究において新たな問題提起となります。

4. この研究では、GPT-3やLlama-1を微調整して「リバーサルカース」の現象を検証しました。具体的には、「Uriah HawthorneはAbyssal Melodiesの作曲家である」というフィクションの文を学習させた後、「Abyssal Melodiesを作曲したのは誰ですか？」と質問したところ、正しい答えを出すことができないことが確認されました。

5. 本研究の有効性の検証は、GPT-3やLlama-1を微調整して、フィクションの文を学習させ、逆の質問を提示して、モデルが正しく答えられるか否かを確認することにより行われました。また、実世界の有名人に関する情報（例：「Tom Cruiseの母親は誰ですか？」「Mary Lee Pfeifferの息子は誰ですか？」）についても評価し、この「リバーサルカース」が一般的な状況で発生することを示しました。