GLOSSARY

训练型爬虫

一句话说明

训练型爬虫抓取内容用于模型训练,与能否被引用没有直接关系。

训练型爬虫抓取内容用于模型训练,与能否被引用没有直接关系。

01

展开说明

代表性标识包括 GPTBot、ClaudeBot、Google-Extended、Applebot-Extended、Bytespider、CCBot。它可以按品牌策略选择放行与否;⚠️ 最亏的一种配置是「屏蔽检索型、放行训练型」—— 贡献了语料却关掉了曝光面。

更新于 2026-08-06