生成AIの発達でサイバー攻撃はどう変わるか？

この記事では発展する生成AIによってサイバー攻撃はどう変わるか？を解説していきます。

生成AIとは？

指定した指示文で、テキスト、動画やイラストを創造するAIのことを指します。
2024年2月にはOpenAIがSORAというテキストで指示文を出すと、動画を生成するAIを発表しました。

今後も生成AIは身近になっていくでしょう。

悪用される生成AI

便利になる一方で、生成AIを悪用する事件も発生しています。

ディープフェイクで岸田首相を生成

ディープフェイクは架空の人物作成も可能ですが、実在の人物で指定の言葉を喋らせることが可能です。

実際日本でも岸田首相が卑猥な言葉を喋るディープフェイクがニュースで注目されました。

岸田首相のディープフェイクを紹介するニュース

ミス東大2024なぎさ 生成AIで作成された 「ミス東大ノーブラ散歩」動画

ミス東大なぎさを名乗る人物の以下ユーチューブチャンネルですが、明らかに肩と頭の比率が合っておらず、同チャンネルの他の動画では髪が不自然に固まっています。
明らかに生成AIを利用したディープフェイクでした。しかし一見すると生成AIだと認識できない動画になっています。

2024年2末追加：チャンネルがBANされて閲覧できない状態に。

こういった動画はMyFansやOnlyFansへの誘導の他に豚の屠殺詐欺などに利用される可能性が非常に高く注意が必要です。

豚の屠殺詐欺とは？仮想通貨で11兆円の被害

さらにSNSで確認された生成AIを利用した動画

2024年3月ごろから以下のような生成AIを利用しているのに、明記していないアカウントが大量に発生しています。MyFansへ送客しマネタイズを試みていると思われますが、個人情報が前述の豚の屠殺詐欺に悪用される可能性もあります。

今日も就活です🫡 pic.twitter.com/SOHhFonj62

— れい＠25卒 (@rei_scrt) March 17, 2024

YouTubeは生成AI動画に対してラベルを設定する事を発表

YouTube側も生成AI動画やディープフェイクへの対策に乗り出しています。

2024年2月にYouTubeは生成AIで合成、改変されたコンテンツにはラベルを導入する事を発表し、
特にニュースや選挙、金融、健康といったテーマへ順次適用されるとのことです

引用：https://webtan.impress.co.jp/n/2024/02/08/46493

生成AIはサイバー攻撃を容易にする

生成AIは各種サイバー攻撃を容易にしています。以下から実際の例を交えて解説していきます。

フィッシングメール攻撃への悪用

ChatGPTは、フィッシングメールの作成支援で利用され、

指定するシュチュエーションに沿った文章を低コストで多言語に制作できます。

実際、EメールセキュリティメーカーVadeの調査では、ユニークフィッシングメールは、​
2022年第3四半期の7,440万件に対し、第4四半期には2億7,830万件を発見しています。

2023年11月末日にChatGPTがリリースされましたが、
以下図の通りフィッシングメールの件数は2022年12月に急増しています。

※Vadeから抜粋

フィッシングメールは低コストで大きな利益を見込めるためサイバー攻撃の主要な手法の1つですが生成AIの発展により、大量にフィッシングメールが生成されています。

ディープフェイクで37億円の振り込め詐欺が発生

実際に発生した事件としては、香港で財務責任者のディープフェイクを利用した振り込め詐欺が発生しています。この事件ではビデオ会議で財務責任者が指定の口座に振り込みを依頼し、実際に振り込んだ後に財務責任者は何者かが作成したディープフェイクであることが発覚。

被害額は2500万ドル（日本円で約37億円）となり冗談ではすまない被害額になっています。

※CNN報道抜粋

架空の誘拐

娘が「ママ助けて！」という電話の後に、男が100万ドルの身代金を請求する事件がアメリカで報道されました。

しかし実際に娘は誘拐されておらず、AIで作成された音声を利用していることが発覚しました

AIの発展により、日本でもオレオレ詐欺で同様の事件が発生する懸念があります。

米 選挙戦への介入

2024年5月24日バイデン大統領の生成AI「なりすまし音声」を作成した「スティーブ・クレイマー」という男が起訴されました。この事件は生成AIによるディープフェイクを悪用した選挙戦の介入であると見られています。

バイデン大統領の生成AI「なりすまし音声」を作成した男を起訴

生成AIによりサイバー攻撃はどう変わるか？

弊社は生成AIにより、音声や映像を利用したサイバー攻撃が増加してくると考えています。

サイバーセキュリティの業界で有名な徳丸氏は、メディア向けの勉強会で旧来の手口を利用できる際は旧来の手口を踏襲するので、2024年もサイバー攻撃の手口は大きくは変わらないと発表されています。

しかし前段で紹介したディープフェイクや架空の誘拐のように、生成AIは人物の偽装に利用されており、
事件が認知・対策される前に大金を盗み取ろうと、攻撃者側は積極的に生成AIをディープフェイクと合成音声で攻撃を行なっています。

その為、生成AIにより電話・映像で見ている人物すらもフェイクであることを疑う必要性が発生し、

特に音声による振り込み依頼は、依頼を受け取ったあとにメールで再度確認するなど

2要素認証が一般的になるのではないか？と考えています。

関連記事

Hugging Faceでバックドア付きAIの機械学習モデルを確認

サイバー攻撃集団 ロックビットのメンバーを逮捕 メンバーには日本人風の名前も