GLOSSARY
robots.txt
一句话说明
robots.txt 是站点根目录下声明哪些爬虫可以抓取哪些路径的文本文件。
robots.txt 是站点根目录下声明哪些爬虫可以抓取哪些路径的文本文件。
01
展开说明
两个常见错误：一是多域名站点共用一份写死域名的静态文件，导致其中一个域名把别人的 sitemap 报给爬虫；二是把它当唯一开关，忽略了 CDN 层的独立拦截。它声明的 Sitemap 行也要指向本域名自己的那份。
更新于 2026-08-06
GLOSSARY
一句话说明
robots.txt 是站点根目录下声明哪些爬虫可以抓取哪些路径的文本文件。
robots.txt 是站点根目录下声明哪些爬虫可以抓取哪些路径的文本文件。
两个常见错误：一是多域名站点共用一份写死域名的静态文件，导致其中一个域名把别人的 sitemap 报给爬虫；二是把它当唯一开关，忽略了 CDN 层的独立拦截。它声明的 Sitemap 行也要指向本域名自己的那份。
更新于 2026-08-06