2024/09/07

生成AIを悪用しランサムウェア(ウイルス)を作成した男を逮捕

警視庁は2024年5月27日、川崎市、無職の男（２５）を不正指令電磁的記録作成容疑で逮捕した。複数の対話型生成ＡＩに指示を出してランサムウェア(ウイルス)の設計情報を回答させ、組み合わせて作成したという。生成ＡＩを使ったウイルス作成の摘発は全国初とみられる。

事件の概要

捜査関係者によると、男は昨年３月、自宅のパソコンやスマートフォンを使い、対話型生成ＡＩを通じて入手した不正プログラムの設計情報を組み合わせてウイルスを作成した疑い。

作成されたウイルスは攻撃対象のデータを暗号化したり、暗号資産を要求したりする機能があった。

男は調べに、容疑を認め「ランサムウェア（身代金要求型ウイルス）で金を稼ぎたかった。ＡＩに聞けば何でもできると思った」と供述しているという。このウイルスによる被害は確認されていない

GeminiやChatGPTなどの生成AIは通常、差別的な内容、悪用の恐れのある内容、児童ポルノや人権に該当する内容は「プロテクト」が設定されており、入力しても拒否されます。

しかし、生成AIのプロテクトを回避するプロンプト、いわゆる生成AIのジェイルブレイク（脱獄）をすれば、前述の非倫理的なプロンプトの入力が可能です。

さらに、海外の掲示板やダークウェブでは生成AIをジェイルブレイクする方法や、ジェイルブレイクし、マルウェアやランサムウェアのコードを生成を支持するプロンプトも出回っている為、

コードが分からなくても、生成AIを作成すればランサムウェアやマルウェアの「制作」は可能ですが、

しかし現実的に他者に被害を与えるランサムウェアやマルウェアの制作は難しいです。

前述の通り生成AIを利用すれば簡単にマルウェア、ランサムウェアの「制作」は可能です。

しかし、現実的に動作するマルウェアやランサムウェアとして動作させるには

・環境構築を行い、各種動作確認

・コードの難読化の処理

・複数のOSに対応する（iOSやAndroid ,Windows MacOS）

・既存のEDRを回避する為の動きの指示

など複数の事を考慮する事が必要です。

その為、現状では素人が生成AIを活用しても、他者に被害を与えるマルウェア、ランサムウェアの制作は難しいです。

今回生成ＡＩを使ったウイルス作成の初めての摘発と言われています。

しかし、実際に動作しないマルウェアをChatGPTへ指示して逮捕になっているので、

見せしめ逮捕や警察や検察の知識不足、別件逮捕などの可能性があり、Winny事件（ウィニー事件）と同様の状態にならないよう注視する必要があります。

なお、知識のある人間が生成AIを補助的に利用する事は可能で、実際ChatGPTがリリースされた翌月にはフィッシングメールが大量発生しています。

AIや生成AIの悪用事例や事件を紹介

生成AIはフィッシングメール以外にも生成AIで作成したディープフェイクを利用し、米国の選挙戦への介入なども確認されています。さらに中国は生成AIを活用したフェイク画像をSNSに投稿し、米国でどれくらい世論へ影響が発生するか実験もしています。

日本でも今後中国やロシアなどが生成AIを悪用し、世論形成（ナラティブ）を試みる行動は発生するでしょう

バイデン大統領の生成AI「なりすまし音声」を作成した男を起訴

中国が生成AIで作成したコンテンツをSNSで利用し、米国で世論工作を実施

I-SOON 中国政府へRATを提供していた企業から内部リーク

ChatGPTやGeminiなどの文章生成AIは日本でも普及し始めていますが、直接的な危険性も発生しています。

コーネル工科大学の研究者がChatGPTやGeminiなどの生成AIを標的にしたマルウェア「Morris II (モーリス　ツー)」を開発した事を発表しました。

Morris IIは、悪意のある「プロンプト」である敵対的自己複製プロンプトを使用して、生成AIや生成AIを利用しているシステムを騙して、マルウェアを生成させたり、スパムメールの送信、プロパガンダを含む画像の送信、システム内部のデータを窃取したりすることが可能であるとしています。

ChatGPTやGeminiなどの文章生成AIで拡散するマルウェア Morris II を研究者が発表

セキュリティインシデントとはその種類と事例などを解説