GLOSSARY

CDN / 边缘层

一句话说明

CDN 与边缘层在源站之前处理请求，可以在站点配置之外做拦截。

展开说明

这是 AI 爬虫放行最容易被忽略的一层：robots.txt 写了放行，边缘层照样可以拦。Cloudflare 自 2025 年 7 月 1 日起对新域名默认屏蔽 AI 爬虫，且其规则不区分检索与训练。

更新于 2026-08-06