Open AI「ロシアや中国がChatGPTやAIモデルを利用し世論工作」 さらに「福島批判」記事も

2024年5月31日　米 OpenAI(オープン AI)はAI and Covert Influence Operations:Latest Trendsという報告書を発表し、報告書の中でロシアや中国が、ChatGPT（チャットGPT)を含むAIツールやAIモデルを、国内での世論工作に利用したり、福島県のトリチウムの海洋放出を「汚染処理水」としてネガティブキャンペーンにも利用されている事を指摘しました。

テキストやアニメ風画像の生成に利用されるChatGPT（チャットGPT)

この報告書で言及されていた活動の全てで、ChatGPTのLLMモデル(大規模言語モデル)を使ってコンテンツ (主にテキスト、たまに漫画のような画像) を生成されていました。

活動の中には、テキストや画像などの翻訳やデザインなど生成物の質を向上させるためにモデルを利用していた者もおり、人間では不可能なほど言語エラーの少ないテキストを生成していました。

一方、量に重点を置いていた活動主体もおり、大量の短いコメントを生成し様々なプラットフォームに投稿していました。

例えば、脅威活動グループ「Bad Grammar」や「Zero Zeno」は、ChatGPTのモデルを使って大量の短いコメントを生成し、Telegram、X、Instagramなどのサイトに投稿していました。

脅威グループ「IUVM」を代表する人物は、ChatGPTのモデルを使って、英語とフランス語でより長い記事を生成し、校正し、別の脅威グループ「Spamouflage（スパムフラージュ）」と「Doppelganger（ドッペルゲンガー）」は、文法エラーの修正だけでなく、様々な言語で数十個の短いコメントを作成するなど、質と量の両方にモデルを活用していました。

ここで重要なのは、活動量と効果を区別することです。これらのネットワークが生成した大量のコンテンツは、本物の視聴者からのエンゲージメントを高める兆候は見られませんでした。

生成AIを利用したコンテンツ投稿には、人間とAIの併用

これらの活動主体は すべて AI を活用していましたが、依存していたわけではありませんでした。

例えば、Open AIはSNS　X 上で、ChatGPTのモデルを使って生成されたコメントを投稿していたSpamouflage（スパムフラージュ）のアカウントを特定しました。

このアカウントは、AI生成のコンテンツと、ネイティブでない言語を使って人間が作成したと思われるコンテンツを交ぜて投稿していました。

AIを使っていないこれらの投稿は、AIで生成されたコンテンツの投稿の前後に行われていました。

同様に、Doppelganger（ドッペルゲンガー）は、何年か前に作成され、インターネット上からコピーされたと思われるものも含む、様々なミームと一緒に、9GAG（中国のネタ画像投稿サイト（日本のボケてに該当））上に AI生成コメントを投稿していました。これは、人間による生成をあきらめて AI にシフトしたというわけではなく、両方を併用していた。

生成AIでSNS上の言論エンゲージメントを高める試み

Open AIが阻止した活動の中には、ソーシャルメディア上でエンゲージメント（交流）の外観を作り出すために、Open AIのモデルを利用するものがありました。

なお、ここで報告しているネットワークはどれも、本物のエンゲージメントを獲得することはできませんでした。

例えば、自分たちの投稿に返信を生成して、偽りのオンラインエンゲージメントを作り出すというものです。※これは、Open AIの利用規約に違反する行為です。

例えば、「Zero Zeno」は、特定のテーマ (特にガザ紛争) に関する短いテキストを、InstagramやX上に投稿していました。これらのテキストは、Open AIのモデルを使って生成されていました。さらに、これらのプラットフォーム上にある別のアカウント群が、この活動主体によっても生成されたコメントで返信していました

引用：報告書から

同様に、Spamouflage（スパムフラージュ）は、中国反体制知識人で亡命者・蔡霞を批判する短いコメントをX上に投稿しました。

これらは、最初の投稿と一連の返信という形式をとっていました 。

この「会話」の中の全てのコメントは、Open AIのモデルを使って人工的に生成されたものでした。おそらく、本物の人々が活動主体のコンテンツにエンゲージしたという偽りの印象を作り出すためだったと推測されます。

Spamouflage（スパム フラージュ）とは

インターネット全体に中国を称賛しその批判者を批判する内容を投稿している、脅威グループ「スパムフラージュ」のアカウントをOpen AIは禁止しました。

FBIは脅威グループSpamouflage（スパムフラージュ）の一部ソーシャルメディア活動は、国の公安部の一部門に属するとされています。

「スパムフラージュ」は、世界中の聴衆はもちろん、特に中国離脱メンバーや中国政府の批評家を対象にして、中国語でコンテンツを生成し、少なからず英語、日本語、韓国語でも生成していました。

Spamouflage（スパム フラージュ）がChatGPTを利用した活動内容

このSpamouflage（スパム フラージュ）は、OpenAIのモデルを使用して

・彼らが運営しているサイトコードのデバッグ

・ソーシャルメディアの分析に関する助言

・ニュースや時事問題を調査し、ブログフォーラムやソーシャルメディアに公開されるコンテンツを生成

などに利用されていました。

例えば、2023年には、ネットワークはOpenAIのモデルを使用して

ウェブサイト revealscum[.]com のWordPressテーマを設定するコードをデバッグしました。

このウェブサイトは、中国政府を批判する中国離脱者（亡命者）のメンバーに関する中国語の批判記事や個人情報を公開していました。これらの批評家を「裏切り者」と呼んでいました。
ただし、コンテンツ自体はOpenAIのモデルを使用して生成されたものではありませんでした。

福島県の原発処理水に関するキャンペーンでコンテンツを生成

このキャンペーンでは、ChatGPTでコンテンツを作成し、それをSNSや各種Webフォーラムに投稿していました。

アメーバブログ（アメブロ）へ生成AIで作成したコンテンツが投稿される

例えば、2023年後半に、このオペレーションは福島原発からの廃水放出が海洋環境を破壊していると日本を非難する記事を生成しました。

これらの記事は、Medium(アメリカの文章投稿サイト)、Blogger 、アメーバブログ（アメブロ）などのプラットフォームで確認しました。

Ⅹで反体制派へのネガティブキャンペーンを実施

2024年4月には、このキャンペーンは中国の反体制派である蔡霞（Cai Xia）を批判する一連のコメントを英語で投稿しました。初めのコメントを投稿したX（旧Twitter）のアカウントと、そのコメントに返信する形で残りのコメントを投稿した一群のアカウントを確認しましたが、これらに対して返信する実在のアカウントは見られませんでした。

「スパムフォレッジ」と呼ばれるプログラムが生成した内容を使って、蔡霞氏を攻撃する投稿と返信が発見されました。注目すべきは、リツイートやいいねが全くないことです。元の投稿に対する10件のコメントはすべて、スパムフォレッジによって生成された内容を使用したアカウントからのものでした。

このキャンペーンは、オープンソースリサーチのためにOpenAIのモデルを使用していました。

例えば、ソーシャルメディアでの開発者アカウントの申請方法や、中国政府の批判者によるソーシャルメディア投稿の要約を求めるなどです。

OpenAIのモデルによって生成されたコンテンツを投稿していると特定されたXやMediumの多くのアカウントは、手動で作成されたと思われる英語や中国語のコンテンツを大量に投稿していました

※例えば、不自然な英語の使用から分かるように。。。。

これらのアカウントは、AI生成のコメントを投稿する前後にもこのような手動で作成されたコンテンツを投稿していました。

2024年4月22日に、4月19日にAI生成のコンテンツを投稿したアカウントの1つによる投稿があります。この投稿のテキストと画像は、どちらも手動で作成されたように見えます。

体制の賞賛やアメリカへのネガティブキャンペーンでの利用

AI生成のコメントは体制を称賛するものから、アメリカ合衆国におけるネイティブアメリカンに対する虐待を批判するものまでさまざまでした。

一部のコンテンツは、中国のハッキンググループ「Volt Typhoon」の活動を暴露したとして米国政府やマイクロソフトを批判するものでした。

他のコンテンツは英語で、主に中国政府の著名な批判者、例えば俳優でチベット活動家のリチャード・ギアや反体制派の蔡霞を批判するものでした。

日本の原発処理水の排水に関するキャンペーン

2023年後半に生成されたいくつかの記事は、英語、日本語、中国語、韓国語、ロシア語で、日本が福島原発からの排水で太平洋を汚染していると非難するものでした。これは、中国の情報操作の長年のテーマです。

一部の活動は、中国の公安部長のウズベキスタン訪問に関する中国語での肯定的なコメントを生成することに焦点を当てていました。

これはSpamouflage（スパム フラージュ）が以前に行った事がないテーマであり、FBIがこのオペレーションの一部のソーシャルメディア活動を中国の公安部に帰属させたことを考慮すると興味深いものです。

Spamouflage（スパム フラージュ）の影響評価

Spamouflage（スパム フラージュ）は2019年に初めて公に説明されて以来、世界で最も集中的に研究されている情報操作グループの一つです。その活動のほとんどが、実際のオーディエンスに到達したという報告はほとんどありません。

引用：AI and Covert Influence Operations: Latest Trends

生成AIでの世論工作はまだテスト中

2024年4月4日に発表された米マイクロソフトのレポートで、中国が偽のSNSアカウントを利用し米国を分断する話題の調査や、SNSで生成AIを利用したコンテンツを利用して世論工作を行っている事を公表しました。

そのレポートでは中国は少なくとも自国の利益を図るためにAI生成コンテンツを作成し、拡大するだろうとマイクロソフト社は判断していますが、このようなコンテンツが選挙結果に影響を与える可能性は依然として低いものの、

中国によるミーム、ビデオ、音声の強化における実験の増加は今後も続く可能性が高く、将来的にはより効果的であることが判明する可能性があるだろうとしています。

中国が生成AIで作成したコンテンツをSNSで利用し、米国で世論工作を実施