检索型爬虫与训练型爬虫要分开决定

检索型（要被引用必须放行）：OpenAI 的 OAI-SearchBot 与 ChatGPT-User、Anthropic 的 Claude-SearchBot 与 Claude-User、Perplexity 的 PerplexityBot 与 Perplexity-User，以及 Google 侧的 Googlebot。

训练型（可按策略选择）：GPTBot、ClaudeBot、Google-Extended、Applebot-Extended、Bytespider、CCBot 等。

⚠️ 部分平台没有公开专用标识（如 DeepSeek），没有标识不等于不抓取 —— 要从服务端日志里找，别因为 robots 里没有对应 UA 就当它不存在。

OpenAI：阻断 OAI-SearchBot 会把页面移出被引候选。

Anthropic：阻断 Claude-User 可能降低站点在用户主动发起的网页检索中的可见度。

Perplexity：PerplexityBot 索引方式类同其他搜索引擎，内容不用于模型预训练。

Google：Google-Extended 只控制训练与 grounding，且明确不是排名信号；屏蔽 Googlebot 则等于同时退出搜索与 Gemini 的可检索范围。

改完 robots.txt 只是第一步。CDN 或边缘层可能在站点配置之外拦截，Cloudflare 自 2025 年 7 月 1 日起对新域名默认屏蔽 AI 爬虫，且它的规则不区分检索与训练。

所以放行之后必须验证：看服务端日志里有没有对应请求、返回码是不是 200、返回体里有没有正文。没验证过的放行不算放行。