集成电路前沿 全球服务互联网20%流量的云安全巨头Cloudflare，于周二宣布上线一项颠覆性实验功能——首个允许网站所有者直接向人工智能公司出售内容抓取权限的“按爬行付费”市场。这一举措旨在解决AI训练数据采集与内容版权保护的核心矛盾，让出版商、博客等平台首次获得对AI爬虫的精细化控制权。
据悉，该市场基于Cloudflare去年推出的AI爬虫管理工具升级而来。此前，网站主已能通过其平台一键屏蔽所有AI机器人，或通过仪表盘监控爬虫访问行为。而此次升级后，参与者可在私有测试阶段选择三种模式：按预设费率对每次爬取收取微支付（如每千次访问收费）、允许AI公司免费抓取，或直接封禁特定爬虫。
Cloudflare强调，其技术能精准识别爬虫用途——无论是用于训练大模型、填充AI搜索结果，还是其他商业目的，网站主均可通过透明化数据看板实时追踪。
公司CEO Matthew Prince此前曾向TechCrunch透露，这一布局源于观察到出版行业对AI数据采集的强烈不满。
他指出：“传统网络爬虫免费抓取内容的模式已不适应AI时代，内容创作者理应从数据价值中获益。”
尽管市场仍处于早期测试阶段，但业内分析认为，若该模式跑通，或将重塑AI训练数据的供应链，推动行业从“野蛮采集”转向合规交易，同时为Cloudflare开辟新的盈利增长点。
>>阅读详细报道：从“防御”到“定价”：Cloudflare的AI爬虫战争升级