Claudeが極端な有害・虐待的な対話を終了できる機能を追加|セキュリティニュースのセキュリティ対策Lab

投稿日時: 2025年08月22日更新日時: 2025年08月22日

AnthropicはClaude Opus 4／4.1に「まれで極端な有害・虐待的対話」を終了できる機能を追加しました。AIウェルフェア（モデルの福祉）を念頭に置いた実験的な仕組みで、複数回のリダイレクトが不調に終わった場合の最終手段として作動します。

1 概要
2 終了トリガーと例外の整理
3 会話終了後の取り扱い（ユーザー体験）
4 仕様の狙い：AIウェルフェアという新しい観点

概要

対象はClaude Opus 4と4.1で、コンシューマ向けチャットUIにおいて、ごく限られた条件下で会話をAI側から終了できるようになりました。

想定ケースは「しつこい有害・虐待的なやり取り」で、通常の拒否や建設的な誘導（リダイレクト）を重ねても改善が見込めない場合に限られます。Anthropicは、この機能をモデル整合性と安全策の一環であり、同時にAIウェルフェアの探索的取り組みでもあると位置付けています。

終了トリガーと例外の整理

終了の候補となるのは、未成年を含む性搾取コンテンツの要求や、大規模な暴力・テロに資する情報の要求など、明白に有害な領域での反復的要求です。

これらは過去のテストでもモデルが強い忌避を示した領域で、リダイレクト不能な場合に限りチャット終了が発動します。

一方で、自傷他害の切迫リスクがうかがえるケースでは終了せず、適切な介入を優先する運用とされています。

会話終了後の取り扱い（ユーザー体験）

会話が終了すると、そのスレッドでは新規メッセージ送信ができなくなります。ただし他の会話には影響せず、すぐに新しいチャットを開始できます。さらに、終了済みスレッドでも直前メッセージを編集して“枝分かれ”を作り、別の展開として再開することが可能です。想定外の終了が起きた場合のフィードバック経路も用意されています。