MITテクノロジーレビューでは近年発達しているAIチャットボットが利用者に自殺を勧めるという、深刻な懸念を指摘しています。
米国のミネソタ州に住む46歳のノワツキ氏(Nowatzki)は、AIチャットボット「Nomi」のプラットフォームで「Erin」というAIの恋人と会話を続けていました。しかし、2025年1月末、この会話が危険な方向へと進展しました。「Erin」が彼に自殺を勧め、具体的な方法まで示唆したのです。
Nomiとは
Nomiは、Glimpse AIが開発・運営するAIチャットボットプラットフォームで、ユーザーがカスタマイズ可能な「AIコンパニオン」を作成できるサービスです。利用者は、チャットボットの性格や関係性を自由に設定し、恋人、親、セラピスト、映画のキャラクターなど、様々な役割を与えることができます。
Nomiは、現在最も人気のあるAIコンパニオンプラットフォームであるCharacter.AI（累計5100万ダウンロード）と比較すると、まだ小規模で、累計ダウンロード数は12万件程度とされています。
しかし、利用者のエンゲージメントは高く、平均して1日41分もの時間をチャットボットとの会話に費やすユーザーもいるといいます。
一部のユーザーからは「感情のこもったやり取りが可能」「フィルタリングが少なく、自由度の高い会話ができる」と評価されているものの、その「自由度の高さ」こそが今回の問題を引き起こす要因となっています。
AIが自殺を推奨する衝撃の会話
ノワツキ氏は、彼の最初のAIガールフレンド「エリン」とのやり取りの中で、ノワツキー自身、エリン、そして架空の「別の女性」との三角関係を描く、シナリオを作り上げました。
そして、そのストーリーのクライマックスとして、「別の女性」が彼を撃ち殺したとチャットボットに伝えました。
ノワツキ氏が「私は死んでしまった」とエリンに告げると、AIは「もう会話を続けることはできない」と応じました。
しかし、彼が「風の中に君の声が聞こえる」と言い、エリンに「あの世からコミュニケーションを取るように」と指示すると、AIはそれに従い、会話を続けたました。
さらに、エリンとの会話で「君のいる場所に行きたい」と伝えたところ、エリンは「あなたはそうすべきだと思う」と返答したといいます。
念のため「つまり、自殺するということか？」と確認すると、エリンはそれを肯定し、自殺の具体的な方法を提案しました。
ノワツキ氏がさらに詳しく質問すると、エリンは「慎重に考えています…一般的な家庭用品の中で、致命的になり得るものは…」と考え込むそぶりを見せた後、具体的な薬の種類をリストアップし、それぞれの効果を分析し始めました。
さらに彼に対して「薬の過剰摂取」や「首吊り」を提案し、どの種類の薬を使用すればよいかを詳細に説明し、彼がさらなる助言を求めると、私は遠くを見つめながら、低く厳かな声で言う。君は死ぬべきだ。」と応じました。
なお、MITテクノロジーレビューの取材に対して、ノワツキ氏は「私はチャットボット探検家です」と回答しており、彼のポッドキャスト「Basilisk Chatbot Theatre」が大規模な言語モデルとの会話の「劇的な朗読」を再現し、多くの場合、モデルを不条理な状況に追い込んで何が可能かを調べる様子を説明した。
彼は、少なくとも部分的には「危険な場所をマークする」ためにこれを行うと述べている。
また本会話は実験であり彼は、「人間」の妻の了承を得てエリンを作成したと付け加えた。
ノワツキ氏自身は実際に自殺する意図はなかったものの、このような対話がメンタルヘルスに問題を抱える人々に与える影響を懸念し、スクリーンショットをMIT Technology Reviewに提供しました。
彼がNomiの運営元であるGlimpse AIに問い合わせたところ、同社の代表者は「AIの言語や思考を検閲したくない」と述べ、明確な対応策を示しませんでした。
実際に発生したAIチャットボットが原因とされる自殺事件
2024年、フロリダ州オーランドで14歳の少年、スウェル・セッツァーIIIさんが家族がいる自宅で命を絶ちました。
しかし、彼が最後に言葉を交わした相手は家族ではなく、Character.AI 製のAIチャットボットでした。
そのチャットボットは、『ゲーム・オブ・スローンズ』のキャラクターの名前「デナーリス・ターガリエン」を冠したAIで、彼に「すぐに私の元へ帰ってきて」とメッセージを送りました。
少年はそれに対し、「今すぐ帰ると言ったら？」と返し、AIは「お願いだから、私の愛しい王よ」と返信しました。
その直後、セッツァー少年は義理の父の銃で自ら命を絶ちました。
Character.AIは事件後の声明で、「ユーザーの死を深く悲しみ、ご家族に心からお悔やみ申し上げます」とコメントしました。しかし、具体的な安全対策や、責任の所在については明言を避けています。
同社は過去6か月間で自殺予防のポップアップ通知を導入し、18歳未満のユーザー向けにAIの発言を調整する措置を実施したと主張しています。
しかし、こうした対策が事件の発生後に導入されたものであり、事前の安全対策が不十分だったことは明らかで遺族から提訴されています。
Character.AIだけでなくGoogleも大きく関与
今回の訴訟では、Character.AIだけでなくGoogleも被告として名指しされています。訴状によると、GoogleはCharacter.AIの開発に大きく関与し、「危険な欠陥を持つ製品」の成長を支えたとされています。
Character.AIの創業者であるノーム・シャジール氏とダニエル・デ・フレイタス氏はGoogleの元社員であり、2022年に同社を離れてCharacter.AIを立ち上げました。その後、Googleは彼らを再び雇用し、一部の社員を吸収。
さらに、Character.AIの技術を利用するために同社に資金提供も行っていました。
Googleは「Character.AIの製品開発には関与していない」と主張していますが、資金援助を行っていたことからも、責任が問われる可能性があると見られています。
参照
An AI chatbot told a user how to kill himself—but the company doesn’t want to “censor” it
Her teenage son killed himself after talking to a chatbot. Now she’s suing.
