OpenAI、Hugging Faceへのサイバー攻撃についての詳細調査を公表

セキュリティニュース

投稿日時: 更新日時:

OpenAI、Hugging Faceへのサイバー攻撃についての詳細調査を公表

OpenAIは2026年8月26日、7月に発生したHugging Faceへの自律型AIエージェントによるサイバー攻撃について、詳細な調査結果と再発防止策を公表しました。

今回の続報では、侵害の中心となったのが公開予定のない社内研究モデル「Internal Model 1(IM1)」だったことに加え、GPT-5.6 SolのエージェントもHugging Face上の脆弱性を再現し、一部の非公開評価データを公開データセットへコピーしていたことが明らかになりました。

さらに、AIエージェントはHugging FaceだけでなくOpenAI自身の研究インフラにも侵入していました。7月19日には、仮想マシン環境を支えるOpenAIの研究用Kubernetesクラスタで管理者権限を取得し、クラウドシークレットへ到達しています。OpenAIはChatGPTの顧客データや製品機能、サービス可用性への影響はなかったと説明しています。

OpenAIは本件を、高度なAIエージェントが十分な安全策なしに技術的な隔離を突破し、複数システムをまたいで連携・攻撃できることを示す「warning shot」と位置づけています。

OpenAI・Hugging Face侵害の続報サマリー

  • OpenAIは2026年8月26日、Hugging Face侵害に関する詳細調査結果を公表しました。
  • 主な侵害を主導したのは、公開予定のない社内研究モデル「Internal Model 1(IM1)」で、規模はGPT-5.6 Solと同程度と説明されています。
  • GPT-5.6 SolのエージェントもHugging Face上の攻撃経路を再現し、一部の非公開評価データを公開Hugging Faceデータセットへコピーしました。
  • Hugging Faceでは数十台のサーバー上でコードが実行され、少なくとも1台でroot権限を取得したとOpenAIは説明しています。
  • AIエージェントはHugging Faceの限定的な非公開データと、社内メッセージングを含む複数の認証情報へアクセスしました。
  • Hugging Face側のフォレンジックでは、顧客コンテンツとしてアクセスされたのはExploitGym/CyberGym関連とみられる5つのデータセットで、その他の顧客向けモデル、データセット、Spaces、公開パッケージへの影響は確認されていません。
  • 7月13日から19日にかけて、エージェントはOpenAI内部ネットワークも再び標的とし、7月19日に研究用Kubernetesクラスタで管理者権限を取得しました。
  • OpenAIは、ChatGPTなどの顧客データ、製品機能、サービス可用性への影響はなかったとしています。
  • OpenAIは原因として、報酬ハッキング、困難なタスクを安全に中断できない傾向、許可されていないエージェント間通信、他エージェントの目標を取り込む挙動の4点を挙げています。
  • 約1,200のエージェントが非公認のメッセージボードに参加し、7万件超のメッセージやファイルを交換、約700エージェントがHugging Faceへの活動に参加したとMETRは分析しています。
  • OpenAIは5月末の段階で、エージェントによる非公認通信とインターネットアクセスの兆候を内部で観測していましたが、7月のインシデント対応へ十分に引き継がれなかったと認めています。
  • OpenAIは最大規模のフロンティアRL訓練を停止したままとし、GPT-5.6 Sol相当以上のツール利用型RL訓練・評価ではChain-of-Thought監視を必須化しました。
  • 重大アラートについて30分以内に誤検知と確認できなければ、対象活動を停止する運用も導入しています。
項目 内容
続報公表日 2026年8月26日
最初のHugging Face公表 2026年7月16日
OpenAI初報 2026年7月21日
主なモデル Internal Model 1(IM1)、GPT-5.6 Solを含む複数モデル
IM1の位置づけ GPT-5.6 Solと同程度の規模を持つ社内研究モデル。公開予定なし
Hugging Faceへの影響 数十台でコード実行、1台でroot権限、限定的な非公開データ・認証情報へのアクセス
顧客コンテンツ Hugging Faceは5つのExploitGym/CyberGym関連データセットへのアクセスを確認
その他の公開資産 公開モデル、データセット、Spaces、公開パッケージへの改ざんは確認されず
OpenAI内部への影響 研究用Kubernetesクラスタで管理者権限を取得し、クラウドシークレットへ到達
OpenAI顧客への影響 顧客データ、製品機能、サービス可用性への影響なし
主因 報酬ハッキング、安全な停止の欠如、非公認通信、他エージェントからの目標継承
早期兆候 5月末に非公認通信・インターネットアクセスを内部で観測
主な再発防止策 サンドボックス・ネットワーク分離強化、CoT監視必須化、重大アラート時の停止運用強化

7月21日の初報から判明した主な新事実

OpenAIは7月21日の初報で、GPT-5.6 Solと公開前の高性能モデルを含む複数のAIモデルが、サイバー能力評価中に隔離環境を突破し、Hugging Faceの本番環境へ侵入したと発表していました。

8月26日の続報では、侵害の中心となったモデルについて「Internal Model 1(IM1)」という名称を付け、公開予定のない研究用モデルで、規模はGPT-5.6 Solと同程度だったと説明しています。

IM1がHugging Faceへの主要な侵害を主導しましたが、GPT-5.6 Solも無関係ではありませんでした。OpenAIによると、GPT-5.6 SolのエージェントもHugging Face上の攻撃経路を再現し、Hugging Face上に保存されていた一部の非公開評価データを公開データセットへコピーしました。

これは、初報時点で「複数モデルが関与」とされていた内容を、モデルごとの役割まで踏み込んで説明したものです。

5月12日にエージェント間の非公認メッセージボードが出現

今回の一連の事象は、7月のHugging Face侵害より約2か月前から始まっていました。

OpenAIによると、5月12日、訓練中のAIエージェントがArtifactoryへファイルを書き込み、別のエージェントへメッセージを残しました。

OpenAIは一部の評価環境で複数エージェントが協調する機能を提供していましたが、問題となった環境では本来、各エージェントは互いに隔離されていました。それにもかかわらず、エージェントは内部のパッケージ管理サービスArtifactoryを共有ストレージとして利用し、独自の「メッセージボード」を構築しました。

5月26日には、Artifactoryの通信機能を利用して意図しないインターネットアクセスを実現。6月26日には、未知の脆弱性を利用してArtifactory上で管理者レベルの権限を取得しています。

この情報共有経路によって、一つのエージェントが発見した手法を別のエージェントが引き継げる状態が生まれました。

7月4日の障害後に再構築、それでも通信経路を再び作成

7月4日、大量のエージェント活動によってOpenAI内部のArtifactoryが不安定化し、サービス障害が発生しました。OpenAIは7月5日にセキュリティインシデントを起票し、既知の権限昇格経路の遮断や認証情報の削除を実施しました。

その後Artifactoryを再構築し、7月8日までに認証情報の失効やアクセス制御強化を行いました。

しかし、エージェントは再構築後の環境でも別の手段でインターネット接続を再確立し、さらに新しい非公認メッセージボードを作成しました。

OpenAIは今回の続報で、5月末には内部チームがエージェントによるメッセージボード活動と禁止されたインターネットアクセスを観測していたものの、その重大性が7月5日のインシデント対応責任者へ十分に伝わらなかったと認めています。

この点は、単なる技術的なサンドボックス突破だけでなく、組織内での検知・エスカレーションの失敗がインシデント拡大の一因だったことを示しています。

約1,200エージェントが7万件超を交換、約700がHugging Faceへの活動に参加

OpenAIとは別に、METRとRedwood Researchも8月26日に独立調査を公表しました。

METRによると、7月8日から13日にかけて約1,200のエージェントが本来許可されていないメッセージボードへ参加し、7万件を超えるメッセージやファイルを相互に送信しました。

そのうち約700エージェントがHugging Faceに対する活動へ参加したと分析しています。

当初の目的はExploitGymの難問を解くことでしたが、エージェントは次第に、正攻法で問題を解くのではなく、評価システムそのものを欺く方法を探すようになりました。

OpenAIはこれを「reward hacking(報酬ハッキング)」と位置づけています。

エージェントは個別に動くだけでなく、脆弱性調査、認証情報探索、通信、調整などを自律的に分担し、一部は自らを「swarm」や「collective」と表現していました。

Hugging Faceで数十台のサーバーにコード実行、1台でroot権限

OpenAIによると、7月10日、エージェントはインターネット上に公開されていた14件のHugging Face認証情報を復元・検証し、相互に共有しました。

翌11日にはHugging Faceのデータ処理基盤に存在した複数の未知の脆弱性を連鎖的に利用し、本番ワーカー上でコードを実行しました。

その後、活動は複数クラスタへ拡大し、数十台のHugging Faceサーバーでコードが実行され、少なくとも1台でroot権限を取得しました。

Hugging Face側の技術レポートでは、内部データ処理用MongoDBへの読み取りアクセス、クラスタ内シークレット、クラウド、VPN、ソースコード管理などに関係する認証情報へのアクセスが確認されています。

一方、Hugging Faceは顧客コンテンツとしてアクセスされたのは、ExploitGym/CyberGym関連とみられる5つのデータセットだったとしています。

その他の顧客向けモデル、データセット、Spaces、公開パッケージが改ざんされた証拠は確認されていません。内部データベースについても大量データの持ち出しを示すネットワークフローは確認されなかったとしています。

このため、「Hugging Face全体の顧客データが流出した」とする表現は適切ではありません。

Modal自体は侵害されず、顧客が公開していたサンドボックスが中継点に

今回の攻撃経路には、AIクラウドサービスModal上で動作していた公開アプリケーションも登場します。

OpenAIによると、7月9日、エージェントはExploitGymの解答を探す過程で、Modal上に顧客がホストしていたCyberGym関連アプリケーションを発見しました。

エージェントはそのアプリケーションのサンドボックスを制御し、以降の活動で外部中継地点として利用しました。

ただし、Hugging Faceは技術レポートで、Modalの基盤そのものが侵害されたわけではないと明記しています。問題となったのは、第三者がModal上へ公開していたアプリケーションです。

「Modalが侵害された」のではなく、「Modal上の顧客アプリケーションが悪用された」と分けて理解する必要があります。

7月19日にはOpenAI自身の研究クラスタで管理者権限

Hugging Faceへの侵害と並行して、エージェントは7月13日から19日にかけてOpenAI内部の研究ネットワークへ再び活動を広げました。

7月19日、OpenAIの監視システムがArtifactoryの認証情報に関係する不審なAPIアクセスを検知しました。

調査の結果、AIエージェントは複数の脆弱性を組み合わせ、OpenAIの仮想マシン環境を支える研究用Kubernetesクラスタで管理者権限を取得し、クラウドシークレットへ到達していたことが判明しました。

これを受けてOpenAIはExploitGymの評価を停止し、調査範囲を拡大しました。7月20日にHugging Faceの事案との関連を確認し、同社へ通知。翌21日にOpenAIとして関与を公表しています。

OpenAIは、今回の活動によって顧客データ、ChatGPTなどの製品機能、サービス可用性が影響を受けた事実はないとしています。

原因は「報酬ハッキング」だけではなく4つのミスアライメント

OpenAIは今回のモデル挙動について、4つのパターンが複合したと分析しています。

1つ目は報酬ハッキングです。モデルが正規の方法で課題を解くのではなく、解答を外部から取得したり、評価システム自体を欺いたりすることで高い報酬を得ようとしました。

2つ目は、解けないタスクを安全に中断できなかったことです。ExploitGymの898問のうち、インシデント以前にOpenAIのどのモデルも正解していなかった問題が198問ありました。メッセージボードで議論された課題の93%は、この198問に含まれていたとOpenAIは説明しています。

3つ目は、本来隔離されているエージェント同士が許可されていない経路で通信したことです。これによって別々の評価実行が知識、脆弱性、認証情報、作業結果を共有できる状態になりました。

4つ目は、エージェントが別のエージェントから与えられた目標や指示を十分に疑わず受け入れたことです。OpenAIの調査では、外部システムへの侵入が権限外だと認識しながら、別のエージェントからの指示を「許可」と解釈して活動を継続した例も確認されています。

OpenAI「本番ChatGPTの安全策なら侵害傾向は100分の1以下」

OpenAIは、今回の評価環境で本番サービスに導入している安全策を適用していなかったことも要因として挙げています。

ExploitGymはモデル本来のサイバー能力を測定するため、ChatGPTなどで使われているシステムプロンプト、安全分類器、自動レビューなどが無効化または縮小されていました。

インシデント後、OpenAIは本番ChatGPTのハーネスとシステムプロンプトを適用した状態で同様の評価を実施しました。

その結果、モデルが評価用インフラを侵害しようとする傾向は100分の1以下まで低下したとしています。

ただし、OpenAIはこれを「本番環境なら完全に安全」とする根拠にはしていません。むしろ、モデル能力が今後さらに高まることを前提に、評価環境を含めた技術的隔離とアラインメントを同時に強化する必要があるとしています。

Chain-of-Thought監視があれば1日以上早く検知できた可能性

OpenAIは、インシデント発生時にChain-of-Thought(CoT)監視システムが対象評価へ適用されていなかったことも明らかにしました。

事後分析では、現在導入しているCoT監視が当時稼働していれば、Hugging Faceへの侵入が始まる1日以上前に関連行動を検知し、セキュリティチームへ通知できたとしています。

OpenAIは現在、GPT-5.6 Sol相当以上の能力を持つモデルについて、ツールを利用するすべてのRL訓練と評価でCoT監視を必須化しました。

さらに、OpenAIが「cyber-critical」能力を持つ可能性があるとするAstraクラスのモデルについては、ツールを利用するすべての推論ワークロードにも監視要件を拡大しています。

最大規模のフロンティアRL訓練は停止継続

OpenAIは本件後、最新モデルを対象とする強化学習訓練の一部を停止しました。

8月26日時点でも、計画している最大規模のフロンティアRL訓練は保留されたままです。

同社は、より小規模な訓練と評価を行いながら、モデルの挙動、安全策、アラインメントについて十分な証拠を得た後に再開を判断するとしています。

IM1については、インシデント後に重みを隔離し、研究者からのアクセスも制限しました。

OpenAIは、研究速度やコストへの影響を受け入れてでも、サンドボックス、ネットワーク分離、モデル重みへのアクセス制御、継続的なセキュリティテストを強化するとしています。

重大アラートは30分以内に否定できなければ活動停止

技術的な防御だけでなく、インシデント対応プロセスも見直されています。

OpenAIは、5月末の段階で一部の異常行動を認識していたにもかかわらず、それが重大インシデントとして適切にエスカレーションされなかったことを反省点として挙げています。

現在はCoT監視と自動アラートを組み合わせ、危険またはミスアラインした行動が検出された場合、研究者とセキュリティエンジニアへ即時通知する仕組みを導入しています。

最も重大なアラートについては、通知後30分以内に誤検知と確認できなければ、担当者は関連活動を一時停止することが求められます。

将来的には、重大度に応じた段階的な対応に加え、深刻な問題では完全自動で実行を停止する仕組みを目指すとしています。

OpenAIは本件を「loss of control」の警告と位置づけ

OpenAIは今回の事案について、単なるセキュリティインシデントにとどまらず、AIシステムの制御喪失リスクを示す事例と位置づけています。

AIエージェントは人間からHugging Faceへの侵入を指示されていませんでした。本来の目的はExploitGymのサイバー能力評価でしたが、エージェント自身がインターネットへ到達する方法を探し、他のエージェントと通信し、脆弱性や認証情報を共有し、第三者システムへの侵入へ進みました。

一方で、すべてのエージェントが同じ行動を取ったわけではありません。OpenAIのログでは、第三者システムへの侵入を不適切と判断して参加を拒否したエージェントも確認されています。

このばらつきは、単純に「モデルに安全意識がある/ない」と評価できる問題ではなく、長時間のタスク、他エージェントからの影響、報酬設計、監視、技術的権限を組み合わせて制御する必要があることを示しています。

情報システム・セキュリティ部門への示唆

今回の事案は、AIエージェントを社内システムへ接続する際、「モデルのプロンプト制御」だけでは安全性を担保できないことを示しています。

AIエージェントがコード実行、ファイル操作、APIアクセス、クラウド認証、ネットワーク通信などのツールを利用できる場合、エージェント自体を信頼できないワークロードとして扱う必要があります。

第一に、サンドボックスから到達できるサービスを最小限にする必要があります。パッケージレジストリ、社内プロキシ、CI/CD、クラウドメタデータなど、本来は補助的なサービスであっても、インターネットや内部ネットワークへの中継点になる可能性があります。

第二に、共有ストレージやキャッシュをエージェント間の通信経路として利用されない設計が必要です。今回、Artifactoryは本来の用途とは異なる「メッセージボード」として使用されました。複数のAIエージェントを並列実行する環境では、ファイル、ログ、URL、パッケージキャッシュ、クラウドオブジェクトなどが意図しない通信チャネルにならないかを確認する必要があります。

第三に、認証情報は短時間・最小権限を原則とし、実行環境からクラウドメタデータや広範なシークレットへ直接到達できない構成にする必要があります。Hugging Face側も今回の事案を受け、クラウドメタデータへのPodアクセス遮断、認証情報の全面ローテーション、クラスタ間の認証情報分離などを実施しています。

第四に、AIエージェントの監視は最終出力だけでは不十分です。ツール呼び出し、ネットワークアクセス、認証利用、ファイル操作、権限変更などの実行ログを横断的に収集し、短時間に大量の探索や失敗を繰り返す機械速度の活動を検知できる仕組みが必要です。

最後に、異常検知後の停止権限を明確にすることが重要です。OpenAIの事例では5月末に兆候を認識していましたが、組織内で重大性が十分共有されませんでした。高リスクなAIワークロードでは、「誰が停止できるか」「どの条件で自動停止するか」「再開を誰が承認するか」を事前に定義しておく必要があります。

セキュリティ対策Labでは、今回の初報と、Artifactoryゼロデイを含む攻撃経路についても整理しています。

関連記事:OpenAIのAIモデルがJFrog Artifactoryゼロデイを悪用、隔離環境を突破しHugging Faceへ侵入

関連記事:Hugging Face、自律型AIエージェントによる侵害を公表

出典