AIや生成AIの情報漏洩 事例を解説

セキュリティニュース

投稿日時: 更新日時:

AIや生成AIの情報漏洩 事例を解説

生成AIの活用が当たり前になる一方で、最大の弱点は「人」と「運用」です。社内承認のないシャドーAIと無料版の利用が漏洩リスクを押し上げています。

またAIを利用したサービスやAI自体の脆弱性により個人情報が漏洩した事例もあります。本記事では、情報が漏れる仕組みを「ユーザーの入力行動」「モデル・基盤の設計」「外部サービスの脆弱性」「キャッシュ/ログの残存」の四層で整理し、具体事例とともに実務で機能する対策を解説します。

要点

  • 社内承認のないツール利用(シャドーAI)が情報漏洩の主要因となっていること、そして無料版の生成AI利用が漏洩リスクを顕著に高めている
  • ChatGPT利用者の64%が無料版を使い、機密を含むプロンプトの54%が無料版に投入されていました。分析では全プロンプトの約9%に機密が含まれ、その内訳は顧客情報が約46%で最多でした。
  • 従業員が非公認AIを使う動機は「時間短縮」「効率化」が中心で、FOMOも背景にありますが、リスク認識(サイバーセキュリティ72%など)が行動に結び付かず、スキャン実施やポリシー確認が低調というギャップがあります。
  • AIベンダ側の不具合・設計不備(ジェイルブレイク、キャッシュ由来の“ゾンビデータ”、弱い認証・権限管理)や、AIを組み込んだ外部サービスの脆弱性(テスト用アカウントの流出、MFA欠如、ID連番参照による情報閲覧)も漏洩経路になります。

なぜ生成AIやAIから情報が漏洩するのか

生成AIは入力データが自社境界を離れて外部処理されるため、無料版などでは学習・ログ・解析の対象になりやすく、データ主権を失いがちです。

また、利用者側の統制不足が拍車をかけます。承認前提のプロセスやデータ分類が徹底されないまま、たまに使う層が安易に機密を投入し、スキャンやポリシー確認を省略することで漏洩確率が上がります。

さらにAI(LLM)自体へのプロンプトインジェクションやジェイルブレイク—により、モデルが保有・参照する情報や接続先ツールを不正操作され、想定外の出力やデータ持ち出しが発生します。

意図しない不具合でも漏洩するリスクがあります。

例えば、検索エンジンやCDN、ベクトルDB、RAGキャッシュなどの周辺コンポーネントに残る履歴・複製が“ゾンビデータ”化し、非公開化後も再露出することがあります。

これらが重なると、「ユーザーの入力行動」「モデル・基盤の設計」「外部サービスの脆弱性」「キャッシュ/ログの残存」という四層で守りが崩れ、組織の意図を超えて情報が外部に漏洩していまいます。

以下から順に解説していきます。

従業員の不注意-蔓延するシャドーAI

シャドーAIとは社内で正式に承認されていないAIツールや生成AI(GenAI)を、従業員が個人的に導入・使用する行為を指します。

これらのツールは、生産性向上を目的に使われることが多い一方で、企業のIT部門の監視が及ばないため、セキュリティ上のリスクや情報の正確性の問題、組織全体の業務プロセスの分断などを引き起こす要因となっています。

AIによる情報漏洩リスクは、無料版の生成AIツールの利用がリスクを高めています。

2024年のHarmonic Security社の調査では、ChatGPTユーザーの64%が無料版を使用しており、機密情報を含むプロンプトの54%がこれらの無料版で入力されていました。

無料版では、入力データがアルゴリズムの学習に使用されることが多く、機密情報が不適切に利用されるリスクが増大します。

懸念されるのは、これらのサービスに適切なデータセキュリティが導入されていない場合、悪意のあるプロンプトや脆弱性の悪用、ハッキングによって、後日これらの情報が外部からアクセスされる可能性があることです。

Harmonic Security社の研究者たちは、Microsoft Copilot、OpenAI ChatGPT、Google Gemini、Anthropic Clause、Perplexityなどの複数の生成AIツールについて、ユーザーから入力された数千件のプロンプトを分析しました。

その結果、これらのツールを利用する従業員の多くは、文章の要約やブログの編集といった比較的単純なタスクを目的としている一方で、約9%のプロンプトに機密情報が含まれていたことがわかりました。

生成AIに最も多く入力される機密情報は顧客情報

Harmonic Security社によると、従業員が入力している機密情報は主に以下の5つのカテゴリに分類されます。

  • 顧客情報
  • 従業員情報
  • 法務・財務情報
  • セキュリティ情報
  • 機密コード

その中でも、顧客情報は全体の約46%を占め、機密データの中で最大の割合を占めています。

 

なぜ従業員は非公認のAI(シャドーAI)を使うのか?

Software AGの最新ホワイトペーパーによると、調査対象となった米英独の知識労働者6,000名のうち、75%がAIを業務に活用しており、その半数以上が個人で選んだ非公認のツールを使用していることが明らかになりました。

さらに、知識労働者の多くが以下の理由でシャドーAIを活用していることが示されました

  • 時間の節約(83%)

  • 業務の効率化(81%)

  • 成果を上げやすくするため(71%)

  • 昇進につながると考えている(47%)

  • AIを使わないことで置いていかれる不安(FOMO)(40%)

なぜ従業員は非公認のAI(シャドーAI)を使うのか?

たまにAIを利用するユーザーは対策が甘い

多くのホワイトカラーが生成AIを利用する事によるリスクに気づいています。

実際調査対象は生成AIを利用する事にるリスクで、以下のようなリスクを認識しています。

  • サイバーセキュリティ(72%)
  • データガバナンス(70%)
  • 不正確な情報(67%)

一方で、AIを利用する前に、EDRなどでセキュリティスキャンを実行するユーザーは27%、データ利用ポリシーを確認するユーザーは29%にとどまり

リスク認識はあっても行動が伴っていない実態が浮き彫りとなっています。

特に注意すべきは「たまに使うAIを使うユーザー層」で、リスクを認識しつつも対策が甘く、業務の整合性を脅かす危険性が高いとされています。

一方、日常的にAIを使うユーザーは、データ利用ポリシーを確認する割合が50%高く、セキュリティスキャンを実行する割合も65%高くなっています。

AI開発企業の脆弱性やシステム不具合

AIのLLMであるXのGrok4やOpenAIのChatGPT、MicrosoftのCopilotなどでシステム自体の不具合や脆弱性により情報が漏洩する可能性があります。

XのGrok4をジェイルブレイクしAniにメタンフェタミンの解説をさせる

2025年7月、XはAIモードのGrok4とアニメーションコンパニオンモード「Ani」がリリースされました。
この直後、AIのジェイルブレイクを研究するセキュリティ研究者により、 AI ガードレールを回避しAniへメタンフェタミンの製造方法を高速で説明させる事に成功しました

こういったジェイルブレイクを行う事により、サイバー攻撃に悪用したりLLMに保存されている個人情報を窃取する事も可能です。

またGrok4だけでなく、新規リリースされたGPT5やAIツールや利用者が少ない新興AIツールはセキュリティ対策が甘い場合があります

デフォルトではセキュリティ対策が甘いGPT5

SplxAIが新モデルGPT-5を対象に、1,000件超のアドバーサリアル(敵対的)プロンプトでレッドチーム分析を行ったところ、

デフォルトではGPT5よりGPT-4oのほうが一貫してセキュリティ的に堅牢という結果が出ました。

素の状態でもセキュリティ耐性が相対的に高く、基本プロンプトや強化プロンプトを重ねると、拒否すべき要求の選別や業務方針の順守で明確な優位が見られます。モデル選定では能力だけでなく、守りを厚くしたときにどこまで伸びるかという“堅牢性の伸びしろ”を指標化して評価する必要があります。

比較 GPT-5 vs GPT-4o

Microsoft CopilotがGitHubの非公開リポジトリを無断公開

2024年8月、Lasso の研究者はOpenAI がプライベート GitHub リポジトリのデータを使用してトレーニングを行い、公開していると主張する LinkedIn の投稿に遭遇しました。

これを受けて同社が調査を開始したところ、対象リポジトリは過去に公開されていたものの、現在は404エラーとなりアクセスできない状態でした。

しかし、ChatGPTに質問すると、直接データは提供しないものの、リポジトリの存在自体は認識していることが判明しました。

その理由を追求した結果、Bingが過去のリポジトリ情報をキャッシュしており、それが影響していることが分かりました。

さらに調査を進めると、MicrosoftのCopilotはBingのキャッシュデータを利用し、既に非公開となったリポジトリのデータを引き出せることが判明しました。

このユーザーが非公開または削除済みだと思っているが、まだアクセス可能な「ゾンビデータ」現象により、企業や個人が非公開化したつもりのデータが、実際にはCopilotを通じて依然として利用可能であるという重大なリスクが浮上しました。

このようにAIメーカーも検知してない不具合で、機密情報や個人情報が漏洩する可能性があります。

AIを活用したサービスからの漏洩

AIチャットボットは世界中で広がっていますが、AIを活用したサービスの不具合で個人情報が漏洩するリスクがあります。

2025年7月9日、米メディアWIREDの報道により、マクドナルドの求人サイト「McHire.com」で使用されているAIチャットボット“Olivia”の開発元であるParadox.ai社のセキュリティ不備で最大6400万件以上の個人情報漏洩の可能性がある事が指摘されました。

問題の発端は、セキュリティ研究者 Ian Carroll 氏と Sam Curry 氏が、Oliviaが導入されているMcHire.comの挙動に疑問を持ち、検証を開始したことでした。

彼らは、Paradox.ai社向けの管理者ログイン画面を発見し、ユーザー名・パスワードを「123456」と入力したところ、なんとアクセスが成功

多要素認証(MFA)も存在しませんでした。

このアカウントはテスト用のマクドナルド店舗に紐づいており、そこからシステム内部への操作が可能に。さらに、応募IDを変更して番号をインクリメント・デクリメントすることで、他人の応募情報や会話ログに自由にアクセスできてしまうという重大な脆弱性も見つかりました。

漏洩した可能性のある情報

Paradox.aiおよびマクドナルドの報告によると、影響を受けた情報の件数は以下の通りです

  • 最大6,400万件以上の応募ログにアクセス可能だった

  • 含まれていた情報:

    • 氏名

    • メールアドレス

    • 電話番号

    • 応募日時

    • Oliviaとのチャット履歴(履歴書の一部含む場合も)

なお、クレジットカード情報やパスワード、財務情報などの「センシティブ情報」は含まれていなかったと報告されています。

AIや生成AIの情報漏洩しない為の対策

規定を明確にする

まずは「何を、どこまで、どのように」生成AIを使ってよいかを文書化し、全社で共有します。

最小限でも、

①対象範囲(社内チャット、ヘルプデスク、開発、マーケなど)、

②許容用途(要約・下書き・コード補助など)と禁止事項(顧客情報・機微情報・秘密情報の入力禁止、モデル学習への二次利用を許容しない等)、

③データ分類と取り扱いルール(公開/社外秘/機微の区分、入力前の匿名化・マスキング、プロンプト内の固有名詞削除)、

④承認フロー(新しいAIサービスを使う前の申請・審査)、

⑤ログと監査(入力・出力・ファイル添付の記録範囲、保存期間、アクセス権限)、

⑥契約と法務(ベンダーのデータ処理条項、再学習の有無、国外移転、事故時の通知)

を明記します。

加えて、開発部門向けにはプロンプトインジェクション対策や出力検証(モデルの回答を鵜呑みにしないチェック手順)、生成物の著作権・三者権利の扱いを実装標準として定義します。規定は一度作って終わりではなく、導入部門の実態・監査結果・事故例を踏まえて四半期ごとに改訂し、eラーニングや小テストで定着させます。

こういった規定はAIMSやISO42001とAIマネジメントシステムと呼ばれ、世界標準の規定として存在します。

AIの利用環境や規定を整備したい方は検討してみてください。

IT資産管理ツールで許可しないアプリケーション利用を排除

未承認の生成AIアプリや拡張機能を“見える化”し、許可したもの以外は使えない状態にすることが、情報漏えい対策の土台になります。

具体的には、IT資産管理ツールでエージェント/エージェントレスの両輪によるソフトウェア棚卸しを行い、生成AIやクリップボード連携ツール、ブラウザ拡張などをカテゴリ分けして自動検出します。

検出した未承認アプリは、アプリケーション制御(許可リスト方式)やソフトウェア配布機能で即時アンインストールし、ポータブル版やZIP展開型、ユーザー領域に置かれた実行ファイルもハッシュや署名でブロックします。

AIサービスメーカーの場合

自社がAI機能を提供する立場であれば、一般的なWeb/API診断に加えて“AI特有の攻撃面”を含む総合的な脆弱性診断が不可欠です。

具体的には従来のアプリ診断に加え、モデル提供エンドポイントやRAG基盤、ベクターストア、エージェント機能を対象としたレッドチーム演習(プロンプトインジェクション、ツール経由のSSRFやデータ持ち出し、機密プロンプト抽出など)を組み合わせます。