2025年6月、セキュリティ研究者のJaeson Schultz氏は、サイバー犯罪者がAIの大規模言語モデル（LLM）を悪用して、犯罪活動を効率化している実態を報告しました。報告では、ガードレールが設定されていない未検閲のLLMや、犯罪目的に特化したLLMが流通していることが明らかになっています。
犯罪者にとって都合のよい未検閲LLM
LLMには通常、安全対策として「アライメント」や「ガードレール」が組み込まれています。しかし、サイバー攻撃やサイバー犯罪者はこうした制限を回避するため、未検閲モデルを利用します。例えば「Llama 2 Uncensored」や「WhiteRabbitNeo」は、ローカル環境で簡単に動作し、フィッシングメールの作成や攻撃用ツールの生成が可能です。
犯罪者が開発・販売する専用LLM
多くのLLMが安全設計を施されている一方で、詐欺やマルウェア作成などに特化した「FraudGPT」「WormGPT」「DarkGPT」、「GhostGPT」といった犯罪用LLMも開発されています。これらはダークウェブで販売されており、詐欺メールのテンプレートやマルウェアのコード、脆弱性スキャナまで提供される場合もあります。
ただし、詐欺的な販売も横行しており、FraudGPTを販売すると主張する人物が購入希望者に仮想通貨を送らせた後、実際の製品を提供しない事例も報告されています。
正規LLMの脱獄（Jailbreak）手法も拡大
未検閲モデルのリソース制約や詐欺の多さから、正規のLLMを騙して悪用する「脱獄」も広く行われています。具体的には以下のような手法があります
- エンコードや隠語によるバイパス（Base64、モールス信号、絵文字など）
- 役割演技型プロンプト（DAN、Grandma手法など）
- 数学的な問いかけを装う方式
- システムコマンドや過去の会話履歴の改ざん
犯罪者の利用実態
LLMを活用する目的は、通常のユーザーと変わりません。コード生成、コンテンツ作成、リサーチといった用途が中心で、マルウェアの開発、フィッシングページの作成、脆弱性の探索、盗難クレジットカードの検証などが行われています。
ハッキングフォーラムでは、NmapなどのツールとLLMを組み合わせて出力の要約を行う試みも共有されており、効率化が進んでいる様子が伺えます。
LLM自体も攻撃対象に
LLMの技術が広まる一方で、その利用者やモデルそのものが攻撃対象となる事例も増えています。特に、Hugging Faceなどで公開されているモデルには、悪意あるコードが含まれている場合があり、研究者らはモデルファイルに仕込まれたPythonコードによる被害を警告しています。
また、Retrieval Augmented Generation（RAG）機能を使うモデルでは、外部データソースの改ざんによってLLMの回答内容を操作されるリスクも存在します。
まとめ
今回の調査から、LLMは新しい脅威の手段であると同時に、既存の攻撃手法を大幅に効率化するツールにもなっていることがわかります。LLMそのものの活用に加えて、その安全な運用、導入にあたっての信頼性確保も今後の大きな課題となりそうです。
関連：ChatGPTやGeminiなどの文章生成AIで拡散するマルウェア Morris II を研究者が発表
一部参照
https://blog.talosintelligence.com/cybercriminal-abuse-of-large-language-models/
関連記事
Hugging FaceでAIのバックドア 付き 機械学習モデルを確認
ChatGPTの脱獄、16進数エンコードと絵文字を使用してエクスプロイトコードを出力させる
ChatGPTやGeminiなどの文章生成AIで拡散するマルウェア Morris II を研究者が発表
I-SOON 中国政府へサイバー攻撃 ツールを提供していた企業から内部リーク
VSCodeで約900万回ダウンロードされていた拡張機能に悪意のあるコードが含まれていた
Pythonのパッケージ「llama_cpp_python 」で重大な脆弱性（CVE-2024-34359）
サイバー攻撃は「ID」への不正アクセスへ移行-2025年 Microsoftレポート
Googleへ不正アクセス、Gmail アカウント 情報の最大25億人分が漏洩の可能性-パスワード変更を推奨
Microsoft 365のDirect Sendを狙う新型のフィッシング サイバー攻撃
