LEARN
按 UA 分流的预渲染是个陷阱
一句话说明
按 user agent 分流的预渲染会让 AI 检索爬虫拿到空壳，而页面在浏览器里完全正常 —— 这类问题只有对比不同 UA 的返回体才能发现。
有些站点按 user agent 决定返回什么：给已知搜索引擎返回预渲染的完整 HTML，给其他请求返回需要执行脚本才能填充的骨架。AI 检索爬虫往往落在「其他」那一类，于是拿到空壳。
我们的判断
这是我们见过最贵的一类配置错误：所有内容投入的收益都被这一层吃掉，而团队看着页面正常、看着排名还在，完全不会怀疑到这里。检出成本只有一条命令，值得所有站点先查一遍。
01
为什么会出现这种配置
历史原因：早期为了让不执行 JavaScript 的搜索引擎能读到内容，很多站点加了「给爬虫返回预渲染版本」的分流。
白名单是按当时已知的 UA 写的。新出现的 AI 检索爬虫不在名单里，落进默认分支，拿到的是需要执行脚本才有内容的骨架。
02
怎么检出
用不同 UA 请求同一个 URL，比较返回体大小与是否包含正文。差异明显就是分流。
同时在服务端日志里看这些 UA 的返回码与返回体大小 —— 200 但体积很小是典型特征。
结构化数据也要顺便查：它必须出现在服务端返回的 HTML 里，由前端脚本注入的那种不跑脚本就看不到。
03
正确做法
不按 UA 分流，对所有请求返回同一份可读的 HTML。服务端渲染或静态生成都可以。
如果确实需要保留预渲染，白名单要包含检索型爬虫，并且**加一条常态检查** —— 名单会过期，新平台会出现。
资料出处
- [1]Optimizing your website for generative AI features on Google Search．Google 搜索中心．2026-05-15
更新于 2026-08-10