Cloudflare、AIクローラーの規制機能を発表|セキュリティとIT、AIのニュース-セキュリティ対策Lab

投稿日時: 2025年07月03日更新日時: 2025年07月02日

2025年7月1日、CloudflareはAIクローラーによるウェブコンテンツの自動収集（スクレイピング）を、原則「禁止」とする新ルールを導入しました。これにより、Cloudflareを利用するすべての新規登録ドメインでは、AIクローラーがコンテンツへアクセスするには事前許可が必要になります。

同社はこの取り組みを、「AI時代における健全なWebの収益モデルの再構築」と位置づけ、クリエイターやメディア企業が自らのコンテンツに対する制御と報酬の主導権を取り戻すことを目的としています。

1 これまでの構造とCloudflareの問題提起
2 新機能の概要
3 コンテンツの経済価値とAI利用の接点に向けた「仕組みづくり」
4 WebコンテンツがAIの教師データに無断利用される

これまでの構造とCloudflareの問題提起

従来のインターネットは、検索エンジンによるインデックスとトラフィックの誘導という「相互利益モデル」に基づいて成立してきました。しかし、生成AIの急速な普及に伴い、このバランスは崩れつつあります。

AIクローラーは、元サイトにトラフィックを返すことなくコンテンツを学習素材として収集し、ユーザーには出所を明示しないまま応答を生成します。これによりサイト側には広告収益もブランド認知も生まれないという構造的損失が発生しており、Cloudflareはこの流れを「Web経済の危機」と位置付けています。

新機能の概要

新規ドメインはAIクローラーのアクセスをデフォルトで拒否
AI企業には、クローラーの目的（検索／学習／推論）を明示する義務
「Pay Per Crawl」モデルの導入も準備中：利用に対して料金が発生
数百万サイトがすでにブロック設定を選択済み

コンテンツの経済価値とAI利用の接点に向けた「仕組みづくり」

Cloudflareはこの取り組みを、単なるブロック機能としてではなく、「コンテンツ提供者とAI開発者との間で正当な価値交換を可能にする新しいインフラ」と位置づけています。将来的には、サイト運営者がAI企業と個別にライセンス契約を結ぶことを想定した課金インターフェース（Pay Per Crawl）の導入も視野に入れており、企業は「コンテンツを出すか、出さないか」だけでなく、

「どのAIに、いくらで出すか」まで選択できる時代が来ると予想されます。

WebコンテンツがAIの教師データに無断利用される

近年、生成AIが急速に進化する中で、その学習に使用される「教師データ」の出所に関する問題が浮き彫りになっています。多くのAI企業は、Web上に公開されたブログ、ニュース記事、技術ドキュメント、画像などのコンテンツを収集し、自社の大規模言語モデル（LLM）や画像生成モデルの訓練に利用しています。

このような事例の中でも特に注目を集めているのが、OpenAIやGoogle、Metaなどの大手AI企業が、自社AIモデルの学習にWebコンテンツを利用していたという報道です。

例えば、New York TimesがOpenAIを著作権侵害で提訴した件では、記事内容がそのままAIの出力に現れる例が多数見つかっており、「報道の収益モデルが崩れる」との懸念が業界内で高まっています。

日本国内でもイラストクリエイターの作品がAIの学習データに利用され、クリエイターコミュニティではAIイラストへ大きな反発を呼んでいます。

また、OpenAIのChatGPTのジブリ風イラストはジブリ作品を無断で学習している事が指摘されています。

これに対し、各サービス運営者がAI学習のオプトアウト機能を急遽実装するなど、後手に回る対応が続いています。

こうした背景からも、Cloudflareのようなインフラレベルでの「許可制モデル」へのシフトは、Web制作者とコンテンツ提供者の利益保護に直結する取り組みといえます。今後、著作権法や個人情報保護の観点も絡む形で、AI企業とWebコンテンツの所有者との間で法的・経済的な整備が進むことが期待されます。