Prompt Injectionの意味

Prompt Injectionは、AIモデルへ渡される入力に攻撃者の指示を混ぜ、システム指示やユーザーの本来の目的に反する出力や行動を誘導する攻撃です。NISTの敵対的機械学習の用語整理では、プロンプト攻撃や、外部データに含まれる指示でAIエージェントを乗っ取る間接プロンプトインジェクションが、AIシステムのセキュリティ上の課題として扱われています。直接攻撃は利用者が入力欄へ悪意ある文を送る形、間接攻撃はWebページ、メール、文書、コード、検索結果など、エージェントが後から読むデータに指示を埋め込む形です。入力を命令とデータに完全分離することが難しいため、最小権限、ツールの許可範囲、外部データの隔離、出力検証、重要操作の確認、監視、レッドチームなどを組み合わせます。Prompt Injectionを防げるという単一プロンプトや特定の禁止語だけで安全性を保証せず、実際のデータ経路と実行権限を対象に継続評価します。

外部入力を命令として扱うLLMアプリでは、秘密情報の漏えいや意図しないツール操作につながる可能性があります。

現在は入力と命令の分離、最小権限、出力検証、ツール承認、監視を組み合わせて継続的に対策します。