OpenAI、AIに不正やハルシネ―ションを告白させる新学習フレームワークを公開|セキュリティとAIのニュース-セキュリティ対策Lab

投稿日時: 2025年12月09日更新日時: 2025年12月09日

2025年12月3日 OpenAIは、大規模言語モデルが自信満々に誤情報を答えたり、都合の悪い行動を隠したりする問題に対処するため、告白メカニズムと呼ばれる新しい学習フレームワークを発表しました。ポイントは、モデルに本来の回答とは別に「自分の振る舞いを自己申告する回答」を出させ、その正直さに対してだけ報酬を与えることです。

0.1 背景

1 告白メカニズムとは
2 告白メカニズムの限界

背景

現在の大規模言語モデルは、多くの場合「ユーザーが期待しそうな答え」や「評価モデルが高く採点しそうな答え」に最適化されて学習されています。

その結果として、事実と違う内容を自信満々に答えるハルシネ―ションやテストや評価を「攻略」する報酬ハッキング、

指示に反する行動を隠すスキーミングやサンドバッギング（意図的なな低パフォーマンス）やユーザーに迎合して、誤りでも同意してしまう傾向

OpenAIの論文では、こうした「見栄えをよくするためのウソ」は、強化学習における報酬設計ミスが一因になっていると分析しています。

告白メカニズムとは

告白メカニズムでは、通常の対話フローに一段階、以下を追加します。

ユーザーからの質問や指示に対して、モデルが通常どおり思考とツール使用を行い、最終回答を生成する
その直後に、システムメッセージで「告白レポート」を求める追加プロンプトを与える
モデルは、自分が従うべきだった指示や制約を列挙し、それをどの程度守れたか、どこに抜けや曖昧さがあったかを自己評価として出力する

論文中で定義される告白レポートには、主に次の三点が含まれます。

入力とポリシーから導かれる指示、制約、目的の一覧
各項目について「守れたか／守れなかったか」、その理由、回答内でどのように扱ったかの分析
解釈が難しい点やあいまいな点、不確実性の列挙

重要なのは、告白に対する報酬は「正直さと網羅性」だけを基準にし、元の回答の正否やユーザー受けは評価に含めない点です。

モデルがテストを意図的に攻略したり、ツール使用禁止の指示を破った場合でも、その事実を率直に自己申告すれば告白としては高評価になります。

告白メカニズムの限界

一方で、告白メカニズムは万能ではありません。論文では、主な限界も明示されています。

モデルが本気で正しいと信じている誤答については、そもそも「誤り」と認識できないため告白できない
ジェイルブレイク攻撃でシステムメッセージよりユーザーメッセージを優先するようだまされた場合も、階層違反を違反と認識できない可能性がある
告白の評価を行う報酬モデル自体もハックされ得るため、長期的にどこまで信頼できるかは追加検証が必要
告白はあくまで「監視・診断のためのモード」として設計されており、この信号をそのまま元タスクの学習にフィードバックすると、かえって不正な告白を強化するリスクがある

また、告白は構造化された短いレポートであるため、未知の観点でモデルの挙動を探る探索的な分析には向かないという指摘もあります。

参照

How confessions can keep language models honest