見出し画像

【簡単AI論文】Corrective Retrieval Augmented Generation (Google)

この論文は、大規模な言語モデル(LLM)という、自然言語を理解したり生成したりできる人工知能の技術について、その精度と信頼性を高める方法を提案しています。


LLMは、インターネット上の大量のテキストを学習して、様々なタスクに対応できるようになりますが、その中には正しくない情報や古い情報も含まれているため、時には間違ったことを言ったり、想像したことを言ったりすることがあります。


これを幻覚(hallucination)と呼びます。




幻覚を防ぐために、LLMには外部の知識源が必要です。


例えば、Wikipediaのような信頼できる文書を検索して、LLMに与えることで、より正確な回答や文章を生成させることができます。


これを検索拡張生成(RAG)と呼びます。


しかし、RAGにも問題があります。


検索した文書が、質問やタスクと関係ない場合や、正しくない場合があるからです。


このような場合、LLMは検索した文書に惑わされて、幻覚を起こす可能性が高くなります。




そこで、この論文では、検索拡張生成を改良する方法を提案しています。


その方法は、修正検索拡張生成(CRAG)と呼ばれます。


CRAGの特徴は、以下の3つの点にあります。




1.検索評価器(retrieval evaluator)という、検索した文書が質問やタスクとどのくらい関係があるかを判断する機構を導入します。


検索評価器は、検索した文書に信頼度のスコアをつけて、それに応じて次のアクションを選択します。




2.アクションとは、検索した文書をどのように扱うかということです。


CRAGでは、3種類のアクションを用意しています。


正しい(Correct)、間違っている(Incorrect)、曖昧(Ambiguous)です。


正しいと判断された文書は、そのままLLMに与えますが、不要な部分は削除したり、重要な部分は強調したりします。


間違っていると判断された文書は、捨ててしまいますが、代わりにインターネット上の文書を検索して、LLMに与えます。


曖昧と判断された文書は、両方の方法を組み合わせて、LLMに与えます。




3.検索した文書やインターネット上の文書を、LLMに与える前に、より分かりやすく整理する方法を提案しています。


具体的には、文書を小さな知識の断片に分割して、それぞれの関連度を評価し、必要なものだけを選んで、再び結合します。


これにより、LLMは不要な情報に惑わされずに、必要な情報に集中できます。




このように、CRAGは、検索した文書の質を評価し、修正し、最適化することで、LLMの精度と信頼性を高めることができます。


この論文では、4つのデータセットを使って、CRAGの効果を実験的に検証しています。


その結果、CRAGは、RAGや他の最新の手法よりも、優れた性能を示しました。

この記事が気に入ったらサポートをしてみませんか?