AI抓取标准落地:网站可一次性声明“我的内容不用于AI训练”

10月30日,OpenAI、Google、Microsoft和Anthropic先后表态,支持一项在robots.txt文件中使用的共享“policy token”标准。这一标准的核心功能是:网站可以在robots.txt中一次性声明“我的内容不用于AI训练”,参与该标准的AI公司爬虫在读到这条信号后,将不再抓取相应路径。

在此之前,网站如果想阻止AI抓取,需要针对每一家公司的爬虫分别设置规则。Google的Google-Extended、OpenAI的GPTBot、Anthropic的ClaudeBot,各自独立。新标准将这一过程简化为一个统一的入口:网站添加一个__usage_ai-training组,在组内用已有的Disallow指令列出不希望被用于训练的路径,即可同时向所有参与方表达偏好。草案给出的示例是,屏蔽整个站点、仅开放新闻资料文件夹:User-Agent: __usage_ai-training,Disallow: /,Allow: /press-kit/。

这项提案由Anthropic标准技术负责人Kevin Kelley提交至互联网工程任务组(IETF)的AI偏好工作组,以个人草案的形式发布。

四家公司的承诺,和各自不同的时间表

四家公司的表态在方向上一致,但在落地节奏上并不相同。Anthropic已经启动了该功能的开发工作,Kelley在IETF邮件列表中表示,这一共享信号将补充而非替代Anthropic现有的爬虫控制。OpenAI的计划是“在未来几个月内”实施,现有的GPTBot等爬虫控制将继续有效。Google的目标是2027年,其爬虫文档注明的时间是2027年初。Microsoft的时间表最为具体:从2027年2月1日起遵守新的偏好信号,届时将取代其自2023年以来使用的NoArchive和NoCache标签。

Microsoft在四家公司中提供的控制粒度最细。它允许网站分别选择退出“AI训练”和“AI grounding”(即让模型引用实时网页来生成答案的过程),其中一个选项可以允许Microsoft自身的产品(如Copilot)使用内容,但阻止Microsoft向其他公司出售的grounding服务。Google的处理方式则是:如果网站设置了共享退出信号、但未单独提及Google-Extended,Google将视其为对Google-Extended的屏蔽;允许Google-Extended的网站则有机会出现在Gemini应用的答案中并获得点击。

Meta传播主管Andy Stone对新标准表示了支持,称“创建一个能同时向多个提供商传达此类偏好的共同信号是重要的一步”,但没有说明Meta是否会遵守这一信号。

这条标准做了什么,以及它刻意回避了什么

理解这条标准的适用范围,和理解决它的条款同样重要。草案明确指出,__usage_ai-training声明的是网站对内容使用方式的“偏好”,而不是一条关于抓取的“命令”。它不建立任何许可或付费安排,Microsoft的表述是,新的偏好“不构成许可或付费安排”。网站与AI公司之间的私人协议可以覆盖这一信号;没有设置该组的robots.txt文件被视为“未表达偏好”,已有的通配规则不会被自动纳入共享训练偏好。

这意味着,这条标准解决的是“退出机制的技术门槛”问题,而不是“内容使用的商业对价”问题。它让网站不必逐家谈判就能表达拒绝,但它不保证这种拒绝会自动转化为谈判筹码或收入来源。

在它之前,已经有人在用别的方式解决同一件事

新标准进入的是一个已经相当拥挤的治理空间。Really Simple Licensing(RSL)标准允许发布商对来访的AI爬虫收费,Cloudflare则默认阻止AI爬虫。2026年10月,纽约时报、法新社和经济学家加入了SPUR联盟,要求AI公司在使用新闻内容前获得许可。发布商团体对现有退出机制的核心不满在于,它们将“在搜索中被发现”和“在AI训练中被使用”捆绑成了同一个选择,而“发布商不应该被迫做出这种选择”。

新标准在技术上回应了“一次设置、多家生效”的诉求,但它没有回应“被发现”与“被训练”之间的关系。Google的John Mueller在解释Google-Extended时给出的说明是:允许Google-Extended的网站可以出现在Gemini应用的答案中并获得点击。这条说明揭示的逻辑仍然存在:退出训练,可能意味着放弃一部分AI搜索场景中的可见性。标准的共享化降低了设置成本,但没有改变这层取舍。

(智算芯能前沿网综合)

本文由智算芯能前沿网编辑整理,转载请注明出处。