你的网站误屏蔽ChatGPT了吗？

去年许多网站复制了robots.txt，屏蔽了所有OpenAI和Anthropic的机器人，但这会同时屏蔽两类不同的机器人。GPTBot和ClaudeBot仅收集训练数据，而OAI-SearchBot、ChatGPT-User、Claude-SearchBot和Claude-User则是在真实用户询问AI时抓取页面。作者建议可以屏蔽前者，但保留后者，否则你的内容不会出现在AI回答中。2026年第三季度检查的网站中，84.2%没有AI爬虫政策，多数网站只是复制了别人的配置。作者提供免费检查服务，回复域名即可告知屏蔽了哪些机器人。该服务来自scout7.ai。