← AI 热点
1 个来源 · 1 篇报道 · 2026/10/31 04:26
四大 AI 厂商支持通过 robots.txt 统一拒绝爬取
事实与进展
四大 AI 厂商支持通过 robots.txt 统一拒绝爬取
The Verge 报道 OpenAI、Google、Microsoft 和 Anthropic 将采用新的政策令牌标准，允许出版商在 robots.txt 中统一设置 AI 爬取偏好，无需单独向各公司申请。
The Verge · AI · 阅读报道 →
报道时间线
- 四大 AI 厂商支持通过 robots.txt 统一拒绝爬取
The Verge · AI · 2026/10/31 04:26