抓取日志分析

按 user agent 分组统计请求量与返回码。检索型爬虫（如 OAI-SearchBot、Claude-SearchBot、PerplexityBot）与训练型爬虫要分开看。

看返回体大小。同一个 URL 给爬虫返回几 KB、给普通搜索引擎返回几十 KB，说明存在按 UA 分流的预渲染问题 —— 这类问题会让所有内容工作归零。

看抓取频率的变化。骤降优先排查放行规则与站点可访问性，不要先改内容。

完全没有某类 UA 的请求：检查 robots 与 CDN/防护层，后者经常在站点配置之外拦截。

有请求但大量 4xx/5xx：优先修可访问性，这比任何内容优化都靠前。

有 200 但返回体过小：查渲染方式，确认关键内容不依赖客户端渲染。

日志量大，按 UA 与路径预聚合再分析，不要每次全量扫。

AI 爬虫会伪装或变更 UA，UA 只能作为线索，异常时结合 IP 段与行为模式一起看。