LLMのハルシネーションを検知する方法
LLMのハルシネーション検知手法に関するこちらの記事を読み、興味を持ったので調べてみました。
記事のベースとなっているのは以下の論文のようです。
上記を参考に、ハルシネーション検知に対する考え方や、各検知手法について簡単にまとめました。
前提テストは以下の前提とします。これを「ブラックボックステスト」と呼んでいます。
外部知識は利用しない
LLMの内部挙動を見ない
生成された回答のみを使ってテストする
ハルシネーションを検知するには?同じ質問に対して複数の回答を