编辑精选 · The Verge · AI · 2026/10/31 04:26

四大 AI 厂商支持通过 robots.txt 统一拒绝爬取

The biggest names in AI are backing a new way to opt out of scraping

The Verge 报道 OpenAI、Google、Microsoft 和 Anthropic 将采用新的政策令牌标准，允许出版商在 robots.txt 中统一设置 AI 爬取偏好，无需单独向各公司申请。

精选理由：报道 OpenAI、Google 等巨头支持新的 AI 爬取排除标准

本站展示摘要，完整内容请阅读来源原文。