LEARN
用服务端日志验证抓取真的发生了
一句话说明
AI 侧的抓取行为在网页分析里基本看不到，服务端日志是判断「内容有没有被抓、抓到了什么」的唯一一手来源。
不执行 JavaScript 的抓取请求不会进入前端分析工具，所以 AI 侧的抓取行为在网页分析里基本看不到。要知道内容有没有被抓、抓到的是什么，服务端日志是唯一的一手来源。
我们的判断
先看日志再改内容。这条顺序能省掉最贵的一类无效投入 —— 页面在浏览器里完全正常、而抓取方拿到的是空壳，这种问题只有日志能暴露。
01
要看哪几项
按 user agent 分组统计请求量与返回码，检索型与训练型分开看。
看返回体大小。同一个 URL 给不同 UA 返回的体积差很多，说明存在按 UA 分流。
看抓取频率的变化。骤降优先排查放行规则与站点可访问性，不要先改内容。
02
三种常见结论与对应动作
完全没有某类 UA 的请求：检查 robots 与 CDN/边缘层，后者经常在站点配置之外拦截。
有请求但大量 4xx/5xx：优先修可访问性，这比任何内容优化都靠前。
有 200 但返回体过小：查渲染方式，确认关键内容不依赖客户端渲染。
03
取数上的注意
日志量大，按 UA 与路径预聚合再分析，不要每次全量扫。
UA 可以伪装也可以变更，只能作为线索；异常时结合 IP 段与行为模式一起判断。
⚠️ 日志与站长工具、网页分析的口径不同，不要相加，也不要为了对上差额去调平。
本页用到的数据
13.1 / 3.4 / 0.1 / ≈0
每词月点击（排 1–3 / 4–10 / 11–20 / 21+）
出处：我们对该品类一个头部站点 4,074 个非品牌词的逐词统计，2026-06
资料出处
- [1]Optimizing your website for generative AI features on Google Search．Google 搜索中心．2026-05-15
更新于 2026-08-10