RAG: meaning and usage

RAGはRetrieval-Augmented Generationの略称で、日本語では「検索拡張生成」などと訳されます。生成AIが持つ学習済みの知識だけに頼らず、質問に関連する文書やデータベースの情報を検索し、その結果をプロンプトや入力コンテキストに加えてから回答を生成する構成です。原論文では、事前学習モデルのパラメトリックな記憶と、検索によって参照する外部のノンパラメトリックな記憶を組み合わせています。一般的な実装では、知識ベース、検索器、検索結果を入力へ統合する層、生成モデルなどを組み合わせます。外部データを更新して回答の参照先を変えられる点が特徴ですが、検索結果の品質や権限、引用、プロンプトへの詰め方が不適切なら正確さは保証されません。検索できたこと自体は内容が正しいことの証明ではないため、参照元の確認と評価も必要です。ファインチューニングはモデルのパラメータを追加学習する方法であり、RAGは推論時に外部情報を取得する方法として区別します。

RAGが使われる背景には、生成時に外部文書やデータベースの情報を参照し、モデルの固定知識だけに依存せず回答の材料を更新したい需要があります。原論文の構成に沿い、再学習とは分けて扱います。

RAGは検索した情報を生成に利用する構成なので、モデルそのものやファインチューニングとは区別して検索結果と回答の対応を確認します。