AI 爬虫放行

只改 robots.txt 不够：CDN 或防护层可能在站点配置之外拦截。Cloudflare 自 2025 年 7 月 1 日起对新域名默认屏蔽 AI 爬虫，且其规则不区分检索与训练。验证方式只有一个 —— 看服务端日志里有没有对应请求、返回码是不是 200、返回体里有没有正文。