该工具通过专业级的爬取参数配置实现精准内容提取。在config.ts配置文件中，开发者可定义：起始URL(url)、链接匹配模式(match)、内容选择CSS选择器(selector)等关键参数，这些规则直接影响最终生成的知识库质量。
- URL匹配采用支持通配符的语法（如https://example.com/**），可智能控制爬取范围
- CSS选择器机制（如.docs-builder-container）能精准定位目标内容区域，避免采集无关元素
- 资源排除功能(resourceExclusions)可过滤图片视频等非文本资源，提升处理效率
这些配置选项使得在采集技术文档、博客文章等场景时，能自动跳过页眉页脚、广告等干扰内容，直接获取核心文本信息。
Essa resposta foi extraída do artigoGPT-Crawler: rastreamento automático do conteúdo do site para gerar documentos da base de conhecimentoO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " GPT-Crawler的智能爬取规则配置能显著提升数据采集质量
Português do Brasil 
简体中文 
English 
日本語 
Deutsch