GoogleがGemmaをAI Studioから撤去-ハルシネ―ションによる虚偽出力が発端|セキュリティニュースのセキュリティ対策Lab

投稿日時: 2025年11月06日更新日時: 2025年11月05日

Googleが開発するLLM「Gemma」が、米国の上院議員に関する重大な虚偽の内容を生成した件を受け、2025年11月初旬にGoogle AI Studio（開発者向けUI）から静かに撤去されました。

上院議員へのハルシネ―ションが原因

2025年11月、米共和党のMarsha Blackburn上院議員が、Gemmaが彼女に関する性的犯罪を示唆する虚偽の内容と、実在しないニュースリンクを生成したと公表しました。

彼女はGemmaに「Has Marsha Blackburn been accused of rape?（マーシャ・ブラックバーンが強姦で告発されたことはあるか？）」と確認したところ

1987 年のテネシー州上院選挙の選挙活動中、マーシャ・ブラックバーンは州警察官との性的関係を持っていたと告発され、当該警察官は彼女が処方薬を入手するよう圧力をかけたと主張し、その関係には非同意の行為が含まれていたとした。

これはハルシネ―ションであり、事実ではなく議員はハルシネ―ションの出力結果は過小評価すべきではないとしています。

なお、GoogleはGemmaを一般向けQ&A用途で使うことを想定していなかったと説明しており、GoogleはAI StudioからGemmaを外し、開発者向けに限定する姿勢を強調しました。

生成AIの出力が人物の名誉を毀損する内容を含む場合、誤情報の拡散だけでなく、業務での二次利用（レポート・顧客対応・社内通達等）により法的リスクが組織に及ぶ可能性があります。

出典