Gemini 的抓取与放行

要被引用，检索型爬虫必须放行 —— 这是开关级的前提，内容做得再好也绕不过去。

训练型爬虫可以按品牌策略选择。业内有「不训练我、但要引用我」的主张；对以曝光为目标的品牌，通常两类都放行更划算。

⚠️ 放行不只是改 robots.txt。CDN 或防护层可能在站点配置之外拦截，Cloudflare 自 2025 年 7 月 1 日起对新域名默认屏蔽 AI 爬虫，且它的「Block AI bots」规则不区分检索与训练。

服务端日志是主源。不执行 JavaScript 的抓取请求不会进入前端分析工具，所以在网页分析里基本看不到 AI 侧的抓取行为。

验证清单：日志里有没有对应 UA 的请求、返回码是不是 200、返回的 HTML 里有没有正文、抓取频率有没有骤降。

⚠️ 特别要查「给爬虫返回空壳、给普通搜索引擎返回全文」这种情况 —— 这类问题不查抓取层永远发现不了，而它会让所有内容工作归零。