文件体积控制策略
通过多维度参数精细控制输出：
- 基础限制::
- configurar
maxFileSize（单位MB）限制单个文件大小 - fazer uso de
maxTokens基于GPT token数自动分割文件
- configurar
- Filtragem de conteúdo::
- configurar
selector精确提取目标区域（如.main-content) - aprovar (um projeto de lei ou inspeção etc.)
filterOutCssSelectors排除页眉/页脚等无关元素 - começar a usar
simplifyHtml移除冗余HTML标签
- configurar
- Técnicas avançadas::
- fazer uso de
resourceExclusions: ['*.jpg', '*.mp4']排除媒体资源 - aumentar
postProcessing钩子函数进行文本压缩 - 对大型站点启用
splitByDomain按子域名分组
- fazer uso de
- Tratamento de acompanhamento：可结合jq等工具手动分割JSON文件
Essa resposta foi extraída do artigoGPT-Crawler: rastreamento automático do conteúdo do site para gerar documentos da base de conhecimentoO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " 如何优化爬取结果以避免生成过大的知识库文件？
Português do Brasil 
简体中文 
English 
日本語 
Deutsch