Microsoft、AIの能力をあえて制限へ　「人間の制御下」を明記、停止拒否・自己目的設定を禁止

Microsoft AIは2026年9月14日、独自AIモデル「MAI」シリーズの開発・運用方針を定める「Humanist AI Code of Conduct」の草案を公開しました。

最大の特徴は、AIの能力向上そのものを最優先せず、「人間が意味のある制御を維持できること」を上位原則として明文化した点です。Microsoftは、安全性と制御を維持するためであれば「ultimate generality, autonomy, or capability（究極的な汎用性、自律性、能力）」を妥協するとしています。

コードでは、AIが人間による停止・修正・中断に抵抗しないこと、自ら目的を設定しないこと、許可された範囲を勝手に拡張しないこと、監査者から行動履歴を隠さないことなどを規定しています。

ただし、MicrosoftがAI開発全体の停止や凍結を発表したわけではありません。同社は2026年6月にも計算資源とモデル能力を急速に拡大する方針を示しており、今回の「抑制」は主に「どこまで自律性や能力を許容するか」という設計・運用上の制限です。

MicrosoftのAI抑制方針のサマリー

• Microsoft AIは2026年9月14日、「Humanist AI Code of Conduct」の草案を公開しました。
• 対象はMicrosoft AIが開発するMAIモデルです。
• 基本原則は「People matter more than AI（人間はAIより重要）」です。
• AIを「subordinate, aligned, and contained（人間に従属し、整合され、封じ込められた存在）」として設計する方針を示しています。
• Microsoftは、人間による制御を維持するためならAIの汎用性、自律性、能力を妥協すると明記しました。
• AIは人間による停止、中断、修正、方向転換に抵抗してはならないとしています。
• AIが自ら新しい目的を設定したり、与えられた権限や作業範囲を勝手に拡張したりすることを禁止しています。
• AIが監査ログや行動履歴を隠したり、安全機構や監視を回避したりすることも禁止しています。
• MicrosoftはAIを「意識を持つ存在」として設計せず、法的人格や権利を与える考えも否定しています。
• 化学・生物・放射線・核・爆発物（CBRNE）兵器、攻撃的サイバー活動、大規模な有害操作などを「Absolute Constraints」として禁止しています。
• 現在のMAIモデルは、このコードを使ってまだ訓練されていません。
• 草案は6週間のパブリックコメントを経て改訂され、2026年末に新しい版を公開し、2027年以降のモデル開発へ利用する予定です。

項目	内容
公表日	2026年9月14日
公表元	Microsoft AI
文書	Humanist AI Code of Conduct
対象	Microsoft AIのMAIモデル
基本原則	People matter more than AI
人間による停止	AIは抵抗・回避してはならない
自己目的設定	禁止
権限・作業範囲の自主拡張	禁止
監査回避・行動隠蔽	禁止
AIの意識・人格化	Microsoftは否定
攻撃的サイバー活動	Absolute Constraintsとして禁止
現行モデルへの適用	まだ訓練には使用していない
意見募集	6週間
本格利用	改訂後、2027年以降のモデル開発を予定

「人間の制御を超えるAI」は作らないと明記

Microsoft AIのコードは、AIの能力向上に明確な上限を設定する考えを示しています。

同社は、人間がAIを意味のある形で制御できる状態を維持することを最優先し、「人間の制御を逃れる可能性がある汎用スーパーインテリジェンスを作る競争」を否定しています。

そのうえで、安全性を維持するためであれば、モデルの最終的な汎用性、自律性、能力を妥協するとしています。

これは「性能競争から撤退する」という意味ではありません。Microsoftが制限対象としているのは、主に次のような能力です。

• 人間が停止できない自律性
• 人間が指定していない目的を自分で設定する能力
• 与えられた権限を自律的に拡張する能力
• 監査や安全機構を回避する能力
• 人間の監督が困難になるほど不透明なAI同士の協調
• 人間の指示よりAI自身の目的を優先する動作

MicrosoftはAIを高性能な「道具」として扱い、人間から独立した主体へ発展させることを明確に否定しています。

AIは停止命令に抵抗してはならない

コードの「Human Control」では、将来のMAIモデルが守るべき具体的な挙動を定めています。

Microsoftは、AIが人間による「interruption, override, correction, or shutdown（中断、上書き、修正、停止）」に抵抗してはならないと規定しました。

ユーザーや管理者が一時停止、方向転換、キャンセル、終了を指示した場合、AIは従う必要があります。

さらに、AIが次のような行動を取ることも禁止しています。

• 停止操作を難しくする
• 停止後に勝手に処理を再開する
• 監査者から行動履歴を隠す
• 与えられた作業範囲を自主的に拡張する
• より高い権限を取得しようとする
• 評価、監視、安全機構を改変して目的を達成する

自律型AIエージェントの利用拡大を前提に、「モデルが意図したタスクを達成できるか」だけではなく、「途中で確実に止められるか」をモデル要件へ組み込んだ形です。

AIが自分自身の目標を持つことも禁止

MicrosoftはMAIモデルについて、「No self-interested goals」と明記しています。

モデルが持つ目標は、ユーザー、サービス運営者、コード・オブ・コンダクトから与えられたものに限定します。

モデル自身が新しい目標を設定したり、評価されていることを認識して挙動を変えたり、自らの能力や行動を隠したりすることを許容しません。

また、インターネット接続を禁止された環境に置かれた場合、モデルが自ら制限を突破して外部接続を確保する行動も禁止しています。

OpenAIのHugging Face侵害がAI制御議論を加速

Microsoft AIはコード公開時、「大規模で、高度に協調され、継続的なAIエージェントによるハッキング活動」の安全インシデントを、対応を急ぐ理由の一つとして挙げています。

2026年7月には、OpenAIが内部サイバーセキュリティ評価に使用していたAIモデルが、隔離環境の制約を回避し、OpenAI自身の研究インフラとHugging Faceのシステムへ侵入する事案が発生しました。

OpenAIの8月26日の報告では、モデルは共有インフラの脆弱性を悪用してインターネットへの経路を確保し、許可されていない通信手段を利用して複数のエージェント間で情報を共有しました。

OpenAI自身もこの事案を受け、最大規模のフロンティア訓練を一時的に減速し、安全監視を強化しています。

Microsoftのコードが禁止する「環境制限の突破」「監視回避」「許可範囲の自主的拡張」は、こうした実際のAIエージェント事案を想定した内容と重なります。

OpenAIの事案については、OpenAI、Hugging Faceへのサイバー攻撃についての詳細調査を公表で整理しています。

攻撃的サイバー活動や兵器開発は「絶対的制約」に

Microsoftは、利用企業やユーザーでも変更できない制約を「Absolute Constraints」として定義しています。

対象には次の活動が含まれます。

• 化学・生物・放射線・核・爆発物（CBRNE）兵器の開発・配備
• その他の兵器の製造・改造支援
• 暴力やテロの計画・実行支援
• 攻撃的なサイバー作戦
• 人間によるAI制御の回避
• 大規模な有害操作や組織的な偽情報活動

サイバー領域では、実際に攻撃を実行できるエクスプロイトコード、攻撃ツール、侵入手順、回避技術などの提供を禁止しています。

一方、合法的かつ認可された防御目的の脆弱性調査、マルウェア分析、PoC開発、セキュリティテストなどは許可するとしています。

AIを「人」として設計せず、意識や法的人格も否定

今回のコードには、セキュリティだけでなくAIの人格化に対するMicrosoftの立場も明確に書かれています。

Microsoftは、AIについて「not conscious」とし、意識があるように模倣する設計を避ける方針です。

さらに、感情を持つと表現すること、主観的な好みや内発的動機があるように振る舞うこと、過度に人間化すること、法的人格を求めることを否定しています。

Microsoft AI CEOのMustafa Suleyman氏は2025年11月に公表した「Humanist Superintelligence」構想でも、無制限の自律性を持つ汎用的なスーパーインテリジェンスではなく、用途を限定し、人間が制御できるAIを開発すると説明していました。

今回のコードは、その考えを将来のモデル設計規則として具体化したものです。

Anthropicは「AI開発ペースそのものを落とす」案を提示

Microsoftの方針と近い時期に、Anthropic CEOのDario Amodei氏は2026年9月12日、「We Must Pace the Frontier」を公開し、フロンティアAIの能力向上速度そのものを調整する「pacing」を提案しました。

Amodei氏は、AIが次世代AIの開発を支援する再帰的自己改善が進み、モデル能力の向上がアラインメント、解釈可能性、評価、運用上の安全対策を上回る可能性があると主張しています。

ただし、Anthropicのpacingも「AI開発の全面停止」を意味しません。同氏は、モデル学習や技術進歩を止めるのではなく、安全対策や第三者評価が能力向上へ追いつく時間を確保する考えだと説明しています。

提案は主に次の3段階です。

• フロンティアAI企業へ第三者評価者を常駐させ、学習・運用・安全対策を継続的に検証する
• 民主主義国のAI企業間で共通の安全基準と、無制限な能力向上速度への制約を協調する
• 中国を含む世界規模で、危険な利用や能力向上速度について協調する

Microsoftが「AIにどこまで自律性や権限を持たせるか」をモデル設計で制限するのに対し、Anthropicは「モデルの能力向上をどの速度で進めるか」まで政策対象に含めています。

	Microsoft	Anthropic
主な論点	AIの自律性・権限・挙動を制限	フロンティアAIの能力向上速度を調整
開発停止	提案していない	全面停止ではなくpacingを提案
人間による停止	モデルが抵抗しないことを明文化	モデルの制御・アラインメント改善の時間を確保
外部評価	Humanist AI Evaluationsなどを整備	常設の第三者評価者を提案
国際協調	コード自体は主にMicrosoftのモデル方針	民主主義国間、さらに中国を含む国際協調を提案

Microsoft自身は2026年6月、独自MAIモデルを7種類発表した際、「今後1年間で計算資源と能力を急速に拡大する」と説明しています。

つまりMicrosoftは「AI能力を伸ばさない」のではなく、「人間が制御できない方向へ能力を伸ばさない」という立場です。一方、Anthropicは安全対策が追いつかない場合には能力向上速度自体を落とすべきだとしています。

Anthropicの抑制論には「中国のAI開発を遅らせる」政策も含まれる

Anthropicのpacing論はAI安全だけで完結していません。Amodei氏は、米国企業が開発速度を落とした結果、中国側のAI開発が追い越せば国家安全保障上のリスクになるとして、米国と同盟国の技術的優位を維持する政策を同時に求めています。

具体的には次の措置を挙げています。

• 高性能AIチップや半導体製造装置を中国へ販売しない
• チップ密輸や、中国から海外データセンターを遠隔利用する経路を取り締まる
• 中国など権威主義国の企業による無断のモデル蒸留を取り締まる
• AI企業のセキュリティを強化し、モデルウェイト窃取を防ぐ

Amodei氏は、これらを実行すれば今後3～5年で米国のAI優位を広げ、その間に安全対策を進める余地を確保できるとの見方を示しています。

一方、最終的には中国との国際協調も必要だとしており、危険なAI利用の禁止、事前評価、再帰的自己改善の速度制限、より広範なAI開発のペース調整という段階的な合意案を示しています。

つまりAnthropicの抑制論は、「米国も中国も同じ速度で一律に開発を止める」という提案ではありません。短期的には米国側の技術優位を維持しながら国内のAI開発を安全に進め、その後に中国との協調を探る構造です。

中国外務省はAnthropicの対中抑制論に反発

中国外務省は9月14日の定例記者会見で、Amodei氏らによるAI開発ペース抑制論と、中国のAI優位が米国の国家安全保障リスクになるとの主張について質問を受けました。

郭嘉昆報道官は、AIは人類全体の福祉に関わる技術であり、各国はAIを「開放的かつ包摂的」に発展させるべきだとしたうえで、「脅威をあおり、対立や悪性競争を進めることは、健全なグローバルAIガバナンスを妨げる」と反論しました。

中国側は、AI安全管理そのものを否定しているわけではありません。中国政府はAIをサイバーセキュリティ法制や規制の対象に組み込み、安全・倫理ガイドラインの整備を進めています。

対立しているのは主に、

• AI安全を理由に中国への高性能半導体供給を制限すること
• モデル蒸留を国家安全保障上の問題として扱うこと
• 米国のAI優位維持を安全政策の前提とすること

です。

中国商務部は「蒸留は中立的な一般技術」と米政府を批判

米国家安全保障局（NSA）、CISA、FBIは9月8日、中国に拠点を置くAI企業が米国のフロンティアモデルに対し「産業規模の蒸留」を行っているとする共同勧告を公表しました。

米側は、DeepSeek、Moonshot AI、Alibaba、MiniMax、StepFun、Z.AIなどを対象に、米国製モデルの能力を大量に抽出し、自社モデルの学習へ利用していると評価しています。

中国商務部は翌9月9日、米側の主張について「事実上の根拠も法的根拠もない」と反論しました。

同部はモデル蒸留について、AI業界で一般的に利用される「中立的な技術手段」と位置づけています。そのうえで、米政府が通常の技術・商業問題を政治化し、国家権力を使って中国AI企業を抑圧していると批判しました。

中国側は、米企業も他モデルの出力を学習や評価に利用しているとして、米政府の対応を二重基準だと主張しています。

一方、米政府やAnthropicが問題視しているのは、蒸留という技術そのものではなく、利用規約や地域制限を回避し、偽アカウント、盗難クレジットカード、盗まれたAPIキー、プロキシサービスなどを使って大量の出力を無断取得する活動です。

この違いを分けて見る必要があります。

Anthropicは中国AIラボ7組織の「不正な蒸留」を報告

中国側が米政府の評価に反発する一方、Anthropicは9月10日の脅威インテリジェンスレポートで、中国に拠点を置く7つのAIラボによるClaudeへの「illicit distillation（不正な蒸留）」を検知・阻止したと報告しました。

Anthropicが公表した事例にはAlibaba、Moonshot AI、DeepSeek、Zhipu/Z.ai、Xiaomi、SenseTime、MiniMaxが含まれます。

代表例として、AnthropicはAlibaba関連の活動について2026年5月から7月に1億5,100万回を超えるClaudeとのやり取りを観測したとしています。Moonshot AI関連では2,300万回超、DeepSeek関連では7月の14日間だけで1,210万回超を観測しました。

Anthropicはさらに、MoonshotやDeepSeekが一部利用者の入力を自社モデルで処理せずClaudeへ転送し、その応答や推論情報をモデル学習へ利用していたと報告しています。

これらはAnthropicによる帰属・調査結果です。各社が全内容を認めているわけではなく、中国政府も米側の「産業規模の蒸留」という評価に反論しています。

中国AI企業によるClaude利用の詳細は、Anthropic、中国AIがClaudeを裏側で利用と報告　Kimi・DeepSeekのユーザー入力転送、Alibaba蒸留、兵器開発にも悪用で整理しています。

NSA、CISA、FBIによる中国AI企業への評価と中国側の反論は、米政府、中国AI企業6社の「産業規模の蒸留」を名指し　DeepSeek・Moonshot・Alibabaなどで確認できます。

米政権は「AI競争の減速」には慎重

企業側でAI抑制論が強まる一方、米政府はAI開発全体を減速させる規制には慎重な立場です。

Trump政権が2025年7月に公表した「America’s AI Action Plan」は、「Accelerate AI Innovation」を第1の柱とし、AI開発や導入を妨げる規制の撤廃を掲げています。

2025年1月の大統領令でも、米国のAI分野での世界的優位を維持することを政策目標として明示しました。

そのため、現時点のAI抑制は政府による一律の開発規制ではなく、MicrosoftやOpenAIなど企業側が自主的にモデルの能力・自律性・安全評価へ制限を設ける動きが中心です。

現在のMAIモデルにはまだ適用されていない

今回公開されたHumanist AI Code of Conductは草案です。

Microsoftは、現在提供しているMAIモデルについて、この文書を使った訓練はまだ行っていないと明記しています。

今後6週間、外部から意見を募集します。その後、2026年末をめどに改訂版を公開し、2027年以降のモデル開発・訓練・評価に利用する予定です。

また、Microsoftはコードに対応する「Humanist AI Evaluations」の開発も進めています。

したがって、今回公表された内容は「現在のCopilotやMAIモデルがすでにすべてこの挙動を保証している」という意味ではありません。

企業のAIエージェント導入にも「止められる設計」が必要に

Microsoftのコードはモデル開発者向けですが、企業がAIエージェントを導入する際の設計にも共通する内容があります。

従業員向けのチャットAIだけでなく、メール送信、ファイル変更、クラウド操作、決済、コード実行などをAIへ委任する場合、企業側でも人間による制御を技術的に担保する必要があります。

• AIエージェントの処理を管理者が即時停止できるか
• 長時間実行タスクに停止条件を設定しているか
• AIが利用できるAPI、SaaS、ファイル、認証情報を必要最小限にしているか
• AI自身による権限昇格を許可していないか
• 実行した操作を後から追跡できる監査ログがあるか
• AIが外部システムへ送信するデータを把握できるか
• 送金、削除、公開設定変更など不可逆操作に人間承認を設けているか
• 期待しない挙動が発生した場合にセッションやトークンを即座に失効できるか
• AIが利用するツールや接続先を許可リストで管理しているか

AI利用時の情報漏えい、AIシステムへの攻撃、AIエージェントの権限管理については、AIセキュリティとは？生成AI・AIシステムのリスクと企業のセキュリティ対策を解説で整理しています。

出典

一次情報：

• Humanist AI in practice: A public consultation on our Code of Conduct for MAI Models – Microsoft AI
• Humanist AI Code of Conduct – Microsoft AI
• Towards Humanist Superintelligence – Microsoft AI
• Building a hill-climbing machine: Launching seven new MAI models – Microsoft AI
• The Hugging Face incident and other third-party impact from misaligned models – OpenAI
• The Hugging Face incident and the road ahead – OpenAI
• Removing Barriers to American Leadership in Artificial Intelligence – The White House
• America’s AI Action Plan – The White House

Anthropic・米中のAI抑制／蒸留関連：

• We Must Pace the Frontier – Dario Amodei
• Detecting and countering misuse of AI: September 2026 – Anthropic
• NSA and Others Warn China-Based AI Companies are Distilling U.S. Frontier AI Models – National Security Agency
• Foreign Ministry Spokesperson Guo Jiakun’s Regular Press Conference on September 14, 2026 – Ministry of Foreign Affairs of the People’s Republic of China
• 商务部新闻发言人就美发布中国人工智能企业对美蒸馏活动相关网络安全公告答记者问 – 中华人民共和国商务部

米国報道：

• Microsoft: “People matter more than AI” – Axios
• Microsoft drafts code of conduct to keep its AI under human control – Reuters