按抓取付费

搜索是我们在网上找到几乎所有内容的方式——创作者、商家与答案。AI 正在改写规则，使创作者陷入两难境地：既要在这个智能体时代保持内容的可发现性，又要为自己的作品获得合理报酬。今日，我们正式启动两项计划，旨在协助创作者应对上述挑战。

Matthew Conroy

Cloudflare 即将为您的域自动创建 AI 优化的搜索索引，并提供一套即用型标准 API 和工具，包括 MCP 服务器、LLMs.txt 和搜索 API。

Celso Martinho和Anni Wang

今天是内容独立日：Cloudflare 与全球大多数头部内容发布者和 AI 企业一起将默认规则改变为：除非 AI 爬虫向创作者支付内容费用，否则将被阻止。

Matthew Prince

Cloudflare Radar 现已显示特定 AI 模型向站点发送流量的频率占其爬取该站点频率的比率。此信息可以帮助网站所有者决定允许或阻止哪些 AI 机器人。

David Belson和Sam Rhea

从 2024 年 5 月到 2025 年 5 月，爬虫流量增长了 18%，其中 GPTBot 增长了 305%，Googlebot 增长了 96%。

João Tomé、Jorge Pacheco和Carlos Azevedo