Hallucinationの意味

Hallucinationは、生成AIが事実と異なる、入力から外れた、または以前の出力と矛盾する内容を、もっともらしく提示する現象を指す一般的な呼び方です。NISTの生成AIプロファイルでは、この現象をConfabulationと呼び、モデルが誤った内容を自信を持って生成すること、入力や同じ文脈の以前の発言と食い違うことを説明しています。同資料ではHallucinationやFabricationは俗称としても使われるとされています。原因は一つではなく、学習データ、推論時の文脈、質問の曖昧さ、検索やツールの失敗、モデルの生成方式などが関係します。検索結果や出典らしいURL、計算過程が付いていても正しいとは限らないため、重要な情報は一次資料や別経路で確認します。読み方大全では一般に通じるHallucinationを見出しにし、NISTの用語と、AIが意図的に嘘をついているという意味ではない点を併記します。

生成AIの流暢さと正確性は別なので、業務判断や検索回答では根拠確認と不確実性の扱いが必要になります。

現在はRAG、ツール、出力検証、評価データ、人による確認を組み合わせ、発生条件を継続的に測定します。