AI Safetyの意味

AI Safetyは、AIシステムが意図しない事故を起こしたり、悪用されたり、利用者や社会に有害な影響を与えたりするリスクを把握して低減するための考え方と実践です。NISTのAI Risk Management Frameworkは、AIのリスクを管理するためにGovern、Map、Measure、Manageの機能を示し、信頼性、安全性、セキュリティ、説明可能性、プライバシー、公平性など複数の特性を扱います。AI Safetyという言葉の範囲は、モデルの危険な出力、プロンプトインジェクション、誤情報、個人情報、権限を超えたツール操作、社会的な影響など、文脈により変わります。モデルに拒否機能を付けるだけで安全になるわけではなく、利用目的の定義、脅威分析、データ管理、最小権限、評価、ログ、監視、停止・復旧手順を組み合わせます。安全性は一度のテストで証明できる固定属性ではなく、利用状況や攻撃方法の変化に応じて継続的に見直す対象です。

AI Safetyは、AIシステムの事故や悪用、有害な影響を把握して低減するための考え方と実践です。

拒否機能だけでなく、データ、権限、評価、監視、インシデント対応まで含めてリスクを管理します。

現在は、AIリスク管理、生成AI、セキュリティ、プライバシー、AIガバナンスの文脈で、設計・測定・運用を継続的に見直す考え方として扱われます。