编者注：

Ziff Davis等出版商接连起诉OpenAI侵权，揭露行业困境：现有技术手段难以有效阻止AI爬虫抓取内容。诉讼拉锯战背后，是价值3000亿美元的科技巨头与内容创作者之间的资源不对等博弈。

2025年4月30日，数字媒体巨头Ziff Davis正式起诉OpenAI涉嫌侵权，成为继《纽约时报》后又一加入法律战局的出版商。这场诉讼暴露出残酷现实：尽管法律施压不断，出版界仍缺乏有效手段阻止AI公司免费抓取内容。

OpenAI的GPTBot爬虫成为众矢之的。旅行资讯网站Skift首席产品官Jason Clampet透露，即使通过robots.txt协议禁止GPTBot访问，该爬虫仍每周抓取其网站6万次。使用Tollbit监测工具后，ChatGPT的抓取行为在24小时内停止，但Meta的爬虫仍每周访问1.2万次。Meta发言人对此回应称，出版商应采用robots.txt等"行业标准"进行防御。

Ziff Davis在诉状中指出，尽管严格遵循OpenAI提供的"退出爬取"技术方案，GPTBot抓取其网站内容的频率在2024年5月沟通后"显著增加"。这印证了Mather Economics数字咨询董事总经理Arvid Tchivzhel的判断："面对市值3000亿美元的科技公司，出版商在爬虫防御技术投入上处于绝对劣势。"

技术防御体系几近失效

robots.txt协议作为最简易的防御手段，正被AI爬虫系统性无视。Tollbit报告显示，2024年第四季度规避该协议的AI抓取行为环比增长超40%。AI初创公司ProRata.ai创始人Bill Gross直言："几乎所有AI爬虫都在公然违反robots.txt，诉讼胜诉或强制付费可能是唯一解决方案。"

付费墙同样难堪重任。Skift与《纽约时报》均设有付费墙，但仍遭AI爬虫突破。Ziff Davis诉讼文件披露，由于大部分内容未设付费墙，其网站更易遭受爬取。维基媒体基金会数据显示，2024年1月以来，AI爬虫导致其基础设施成本激增50%。

灰色地带加剧技术困局

Tollbit最新报告揭示：2024年第三至第四季度，单网站抓取量翻倍，单页面抓取量增长超三倍。Perplexity等应用通过未标识爬虫进行内容抓取，而"灰色爬虫"的泛滥使得追踪愈发困难。Cloudflare的AI Audit工具显示，已有超过80万个网站选择完全屏蔽AI爬虫。

法律战线同样漫长。《纽约时报》2023年12月对OpenAI与微软的诉讼仍在审理，多数中小出版商无力承担诉讼成本。Fastly等云服务商推出的AI爬虫管理工具，以及Cloudflare的内容审计系统，成为出版商的新防线，但其效果尚待验证。

ProRata.ai等公司试图构建新的分成模式，推动AI公司为内容付费。但正如Gross所言："出版商曾相信科技公司会遵守规则，如今必须采取更主动的防御。"这场关乎内容主权的攻防战，正在重塑数字时代的版权边界。

参考文献：

https://archive.ph/iCNjo#selection-761.0-761.10