OpenAI、谷歌、微软和Anthropic联手推行AI数据抓取退出标准

OpenAI、谷歌、微软和Anthropic宣布采用新标准，网站可通过robots.txt统一声明是否允许AI抓取内容及用于模型训练。该标准由Anthropic提交至IETF，Anthropic已率先采用，OpenAI计划未来几个月落实，谷歌和微软预计明年支持；Meta表示支持但尚无明确计划。

来源：IT之家