AI 巨头设拒爬标准

被各家 AI 爬虫轮番"薅"内容的网站主，终于等来一个统一的对付办法。11 月 1 日消息，OpenAI、谷歌、微软与 Anthropic 宣布将共同采用一套新标准，让内容发布方能够一次性声明"拒绝 AI 抓取"，而不必再挨家挨户去谈。这套机制由 Anthropic 技术负责人 Kevin Kelley 提交给互联网工程任务组（IETF），并直接嵌进网站已有的 robots.txt 文件里。过去，robots.txt 只告诉搜索引擎哪些页面能抓、哪些不能，如今它的管辖范围被顺势延伸到 AI 训练。差别在于：以前发布方想拦某家 AI，得单独去它那儿登记偏好；有了新标准，一次写入就能同时通知多家。对那些苦于素材被悄悄喂进模型的媒体、论坛与独立站而言，等于省掉了一堆重复谈判。推动这事儿的背景很现实——AI 爬虫四处抓取网页、把内容塞进训练集，发布方正为此焦头烂额，而"每家公司各设一套规则"的旧法子早已跑不赢。Anthropic 已率先吃下这套标准，OpenAI 称未来数月内落实，谷歌与微软预计明年跟进。连 Meta 发言人也表态支持建立通用信号，只是落地时间还没定。当四家掌握最多算力的巨头罕见在"如何被拒绝"上达成一致，内容版权这场拉锯，总算从混沌走向了可对话的桌面。