米NIST・NSA・CISA、暴走するAIエージェントの事故対応指針を公表監視・緊急停止・証拠保全など10項目|セキュリティニュースのセキュリティ対策Lab

投稿日時: 2026年10月23日更新日時: 2026年10月23日

米国立標準技術研究所（NIST）、国家安全保障局（NSA）、サイバーセキュリティ・インフラセキュリティ庁（CISA）は2026年10月16日、高度な自律型AIエージェントが運用者の意図しない行動を取った場合に備える共同指針を公表しました。準備、検知、対応、復旧、報告の5段階について、10項目の任意の実践策を提示しています。

指針が主に想定するのは、高度なAIエージェントを長時間・低監督下で訓練・評価する開発組織です。一方、文書はエージェントの導入・運用組織にも適用できる可能性があるとしています。従来のサイバーインシデント対応に加え、エージェント固有の権限管理、監視基盤の保護、行動履歴の保存、停止後の安全性検証が焦点です。

サマリー

NISTのCAISSI、NSAのSISC、CISAが10月16日に共同指針「Key Practices for Incident Readiness and Response in Super Intelligence Training and Evaluation」を公表しました。
文書番号は「PP-26-4396」、2026年10月版のバージョン1.0。法的義務を新設するものではない任意の実践策です。
対象は、運用者の指示によらずAIエージェントが制御・監督の枠を逸脱する「SI control incident（SI制御インシデント）」と、その一歩手前の「ニアミス」です。
10項目を「準備2・検知2・対応2・復旧1・報告3」に整理しています。
事前対策として最小権限、外部通信先の制限、エージェント間通信の制御、緊急停止手段の整備を挙げています。
AIエージェント自身が監視機能やログに干渉できない構成、異なるモデル系列を用いた監視の相互検証も推奨します。
発生時にはモデルやツール呼び出しの記録を保存し、被害範囲を分析したうえで資格情報の失効や実行環境の再構築を行います。
再開前には封じ込めの有効性、ログ・監視・停止機構の動作を検証し、残存リスクと再開判断を文書化します。
影響を受けた第三者への連絡、適用される法令に基づく政府機関への報告、適切な範囲での公表を提案しています。

項目	内容
発表日	2026年10月16日（米国時間）
発表機関	NIST CAISSI、NSA SISC、CISA
文書	Key Practices for Incident Readiness and Response in Super Intelligence Training and Evaluation
文書番号・版	PP-26-4396／Ver. 1.0
主な対象	高度なAIエージェントの訓練・評価組織。導入・運用組織も参照可能
位置づけ	任意のインシデント対策ガイダンス
構成	準備・検知・対応・復旧・報告の5段階、10項目

米3機関が示した「10の実践策」

共同指針は従来のNIST Cybersecurity Framework 2.0やインシデント対応指針「NIST SP 800-61 Rev.3」を土台としています。AIエージェントによる長時間の自律実行や、複数のエージェント・ツールをまたぐ行動を考慮し、次の10項目を定めました。

段階	実践策	具体的な取り組み
準備	1. 技術的な制御策の設計・実装	最小権限、通信先の許可リスト、隔離環境、異常時の遮断・停止機構を用意する
準備	2. 組織・担当者の対応準備	事象の分類・重大度判断、机上演習、外部通報窓口、責任者によるリスク判断を整備する
検知	3. 想定外の行動を監視	モデル、実行フレームワーク、ホスト、ネットワークを横断して監視する
検知	4. 監視機構を検証・保護	監視系をレッドチーム評価し、監視対象の出力自体に悪意ある内容が含まれる可能性を考慮する
対応	5. 証拠の収集・保全・分析	行動履歴、ツール呼び出し、拒否された操作、時刻情報、実行環境の設定を保存する
対応	6. 不適切な行動の抑止・停止	問題の実行を停止し、必要に応じ関連エージェントを停止、資格情報を失効する
復旧	7. 再開前の封じ込め検証・強化	信頼できる構成から環境を再構築し、同様の逸脱行動を新しい制御策で検知・防止できるか確かめる
報告	8. 影響を受けた関係者と調整	被害を受けた外部組織や開発・評価・インフラ提供者に、必要な情報を共有する
報告	9. 政府機関へ報告	適用される法的報告義務に従い、必要に応じ任意の情報共有も行う
報告	10. 公開可能な情報を共有	適切な範囲で発生事象、教訓、改善策を公表し、第三者による検証を支援する

「AIの暴走」と「外部からのプロンプトインジェクション」はどう違うのか

指針は「SI control incident」を、1つ以上のAIエージェントが重大な「指示されていない行動」を取り、運用者が定めた作業範囲や人間の監督を守るための制御を損なう事象と定義しています。実際の被害に至る前でも、合理的に予見できる差し迫った危険があれば「SI control near-miss（ニアミス）」として扱います。

注目すべきは、ここでいう「指示されていない行動」の範囲です。政府文書は、外部攻撃者によるプロンプトインジェクションや意図的にバックドアを組み込んだモデルによって誘発された行動を、基本的に「指示された行動」と位置づけ、SI制御インシデントの主要原因とは区別しています。

これは、プロンプトインジェクションが安全上の問題ではないという意味ではありません。AI制御上の問題と、攻撃者による不正操作・侵入とでは、原因の分類や調査対象が異なるという整理です。また、制御インシデントが通常のサイバーインシデントを引き起こすこともあり、両者は重なり得ます。

ログの「量」だけでなく、AIが何を判断・実行したかを保存

通常のサーバーログだけでは、AIがなぜ特定のツールを選び、どの権限を使って外部システムにアクセスしたかを把握できない場合があります。共同指針はモデルと実行フレームワーク（ハーネス）、ホスト、ネットワークにまたがる監視を推奨し、エージェントが監視プロセスやログを変更できないようにすることも明記しました。

調査では、モデルの重みや学習・評価環境を必要な範囲で保全するとともに、チェックポイント、サンドボックスのログ、ネットワーク通信、拒否されたツール呼び出し、設定情報などを残すよう求めています。これらは特にモデル開発・評価組織向けの項目です。一般企業の利用環境では基盤モデルの重みを取得できないこともあるため、利用可能な操作履歴、API呼び出し、権限付与・承認記録、接続先とデータ送信履歴の保全が現実的な対応になります。

さらに、監視に別のAIモデルを使う場合にも、同じモデル系列の判断を無条件で信頼せず、異なる系列のモデルによる相互確認や人間の確認を取り入れるよう記載しています。