Published: 2025-07-02 14:20
AIクローラーをデフォルトで拒否 クラウドフレアが決定
Cloudflare(クラウドフレア)は、許可や対価なくインターネット上のコンテンツにアクセスするAIクローラーをデフォルトでブロックすると表明した。大手CDNでは初めての試みとしている。
【この記事に関する別の画像を見る】
7月1日から、クラウドフレアのサービスを利用するWebサイトの所有者は、AIクローラーにコンテンツへのアクセスを許可するかどうかを選択し、AI企業がAIクローラーを使用して収集したコンテンツをどのように利用するか、決定できるようになる。
すべての新規ドメインは、AIクローラーのアクセスを許可するかどうかを確認され、AIクローラーのアクセスを許可もしくは拒否するかを事前に選択できる。デフォルトでAIクローラーのアクセスを制御できるようになり、Webページの所有者は手動でオプトアウト設定を構成する必要がなくなる。設定は簡単に変更でき、クローリングを許可することも可能。
今回の取り組みでは、AI企業側も、AIクローラーが収集したコンテンツを、学習、推論、検索など、どの目的で使用するかを明確に示せるようになる。
これらの新たなデフォルト設定によって、「コンテンツクリエイターとAIイノベーターの双方の理想を叶え、より持続可能な未来を目指す」としている。
■ 規律なきAIクローラーに懸念
クラウドフレアは発表の中で、現在のAIクローラーについて「無制限にコンテンツをスクレイピング(≒搾取)し続けている」とし、Web上のコンテンツクリエイターから収益を奪うフリーライダーであると指摘。インターネットの発展の原動力となったエコシステムを破壊し、「社会はいずれ損失を被り、インターネットの未来は危険にさらされる」と、強い懸念を表明している。
クラウドフレアはすでに、人間のユーザーとAIクローラーを識別するボット管理ソリューションを開発、スクレイピングを止めさせるオプションとして提供している。今回の取り組みは、より踏み込んだもので、許可ベースのモデルを強制適用するフェーズに入る形。
一方同社は、AIボットの所有者やAIエージェントの開発者が、自身を識別するために用いる新たなプロトコルの開発にも取り組んでいる。
クラウドフレアは、インターネット上の20%のトラフィックの管理と保護を提供している大手CDN(Contents Delivery Network)。
| # | 言葉 | 意味 |
|---|---|---|
| 6 | 許可 | きょか (許可) : 1. permission; approval; authorization; license 2. to permit; to authorize |
| 3 | 所有者 | しょゆうしゃ (所有者) : owner |
| 3 | 設定 | せってい (設定) : 1. establishment; creation; posing (a problem); setting (movie, novel, etc.); scene 2. options setting; preference settings; configuration; setup |
| 2 | 表明 | ひょうめい (表明) : declaration; indication; representation; manifestation; demonstration; expression; announcement; assertion |
| 2 | 大手 | おおて (大手) : 1. major company; big company 2. front castle gate |
| 2 | 選択 | せんたく (選択) : selection; choice; option |
| 2 | 企業 | きぎょう (企業) : enterprise; business; company; corporation |
| 2 | 使用 | しよう (使用) : use; application; employment; utilization; utilisation |
| 2 | 収集 | しゅうしゅう (収集) : 1. collecting; accumulating; gathering 2. collection (of art, stamps, insects, etc.) |
| 2 | 今回 | こんかい (今回) : this time; now |
| 2 | 取り組み | とりくみ (取り組み) : 1. bout (in sports, etc.); match 2. effort; initiative; dealing with; grappling with; wrestling with |
| 2 | 新た | あらた (新た) : new; fresh; novel |
| 2 | 未来 | みらい (未来) : 1. the future (usually distant) 2. future tense |
| 2 | 懸念 | けねん (懸念) : worry; fear; anxiety; concern |
| 2 | 識別 | しきべつ (識別) : discrimination; discernment; identification |
| 2 | 管理 | かんり (管理) : control; management (e.g. of a business) |
| 2 | 開発 | かいはつ (開発) : development; exploitation |
| 2 | 提供 | ていきょう (提供) : 1. offer; tender; providing; supplying; making available; donating (blood, organs, etc.) 2. sponsoring (a TV program) |
| 1 | 対価 | たいか (対価) : compensation; equivalent value; consideration |
| 1 | 試み | こころみ (試み) : 1. attempt; trial; experiment 2. endeavour (endeavor); effort; venture; initiative |
| 1 | 記事 | きじ (記事) : article; news story; report; account |
| 1 | 関する | かんする (関する) : to concern; to be related |
| 1 | 画像 | がぞう (画像) : image; picture; portrait |
| 1 | 決定 | けってい (決定) : decision; determination |
| 1 | すべて | すべて (全て) : 1. everything; all; the whole 2. entirely; completely; wholly; all |
| 1 | 新規 | しんき (新規) : 1. new; fresh 2. new item (e.g. customer, regulation); newly created object |
| 1 | 確認 | かくにん (確認) : confirmation; verification; validation; review; check; affirmation; identification |
| 1 | もしくは | もしくは (若しくは) : or; otherwise |
| 1 | 拒否 | きょひ (拒否) : refusal; rejection; denial; veto |
| 1 | 事前 | じぜん (事前) : prior; beforehand; in advance; before the fact; ex ante |
| 1 | 制御 | せいぎょ (制御) : 1. control (of a machine, device, etc.) 2. control (over an opponent, one's emotions, etc.); governing; management; suppression; keeping in check |
| 1 | Web | ウェブ : 1. web 2. World Wide Web; WWW; Web |
| 1 | 手動 | しゅどう (手動) : manual (operation) |
| 1 | 構成 | こうせい (構成) : composition; construction; formation; makeup; structure; organization; organisation |
| 1 | 変更 | へんこう (変更) : change; modification; alteration; revision; amendment |
| 1 | 可能 | かのう (可能) : possible; potential; practicable; feasible |
| 1 | 学習 | がくしゅう (学習) : study; learning; tutorial |
| 1 | 推論 | すいろん (推論) : inference; deduction; induction; reasoning |
| 1 | 検索 | けんさく (検索) : looking up (e.g. a word in a dictionary); retrieval (e.g. data); searching for; referring to |
| 1 | 目的 | もくてき (目的) : purpose; goal; aim; objective; intention |
| 1 | 明確 | めいかく (明確) : clear; precise; definite; distinct |
| 1 | よる | よる (因る) : 1. to be due to; to be caused by 2. to depend on; to turn on |
| 1 | 双方 | そうほう (双方) : both parties; both sides |
| 1 | 理想 | りそう (理想) : ideal; ideals |
| 1 | 叶える | かなえる (叶える) : 1. to grant (request, wish); to answer (prayer) 2. to fulfill (conditions); to meet (requirements) |
| 1 | 持続可能 | じぞくかのう (持続可能) : sustainable |
| 1 | 目指す | めざす (目指す) : 1. to aim at (for, to do, to become); to try for; to have an eye on 2. to go toward; to head for |
| 1 | 規律 | きりつ (規律) : 1. order; observance; discipline 2. rules; law; regulations |
| 1 | 発表 | はっぴょう (発表) : announcement; publication; presenting; statement; communique; making known; breaking (news story); expressing (one's opinion); releasing; unveiling |
| 1 | 現在 | げんざい (現在) : now; current; present; present time; as of |
| 1 | 無制限 | むせいげん (無制限) : unlimited; unrestricted; limitless |
| 1 | 搾取 | さくしゅ (搾取) : 1. exploitation; bleeding dry; squeezing dry 2. milking (e.g. a cow's teat); extracting (a liquid) through squeezing |
| 1 | 収益 | しゅうえき (収益) : earnings; proceeds; returns; revenue |
| 1 | 奪う | うばう (奪う) : to snatch away; to dispossess; to steal |
| 1 | 指摘 | してき (指摘) : pointing out; identification |
| 1 | 発展 | はってん (発展) : 1. development; growth; expansion; extension; flourishing 2. development (of a situation, story, etc.); advancement; progression; unfolding |
| 1 | 原動力 | げんどうりょく (原動力) : motive power; driving force |
| 1 | 破壊 | はかい (破壊) : 1. destruction; disruption 2. (application) crash |
| 1 | いずれ | いずれ (何れ) : 1. where; which; who 2. anyway; anyhow; at any rate |
| 1 | 損失 | そんしつ (損失) : loss (of assets, profit, etc.) |
| 1 | 被る | かぶる (被る) : 1. to put on (one's head); to wear; to have on; to pull over (one's head); to crown (oneself) 2. to be covered with (dust, snow, etc.); to pour (water, etc.) on oneself; to dash on oneself; to ship water |
| 1 | さらす | さらす (晒す) : 1. to expose (to the sun, public, danger, etc.) 2. to bleach; to refine |
| 1 | すでに | すでに (既に) : already; too late |
| 1 | 人間 | にんげん (人間) : 1. human being; human; person; man; mankind; humankind 2. character (of a person) |
| 1 | 止める | とめる (止める) : 1. to stop; to turn off 2. to park |
| 1 | 踏み込む | ふみこむ (踏み込む) : 1. to step into (e.g. someone else's territory); to break into; to raid 2. to come to grips with; to get to the core of |
| 1 | 強制 | きょうせい (強制) : compulsion; coercion; forcing (to do); enforcement |
| 1 | 適用 | てきよう (適用) : applying (e.g. a technology); adoption |
| 1 | 一方 | いっぽう (一方) : 1. one (esp. of two); the other; one way; the other way; one direction; the other direction; one side; the other side; one party; the other party 2. on the one hand; on the other hand |
| 1 | 同社 | どうしゃ (同社) : the same firm |
| 1 | 開発者 | かいはつしゃ (開発者) : developer |
| 1 | 自身 | じしん (自身) : (one's) self; oneself |
| 1 | 用いる | もちいる (用いる) : to use; to make use of; to utilize; to utilise |
| 1 | 取り組む | とりくむ (取り組む) : 1. to grapple with; to wrestle with; to engage in a bout; to be matched against 2. to tackle (e.g. a problem); to come to grips with; to work hard on |
| 1 | 保護 | ほご (保護) : 1. protection; safeguard; guardianship; custody; patronage 2. preservation; conservation |