Derzeitige Position:Abb. Anfang " AI-Antworten

如何优化爬取结果以避免生成过大的知识库文件？

2025-08-27

2.1 K

文件体积控制策略

通过多维度参数精细控制输出：

基础限制::
1. aufstellenmaxFileSize（单位MB）限制单个文件大小
2. ausnutzenmaxTokens基于GPT token数自动分割文件
Filterung von Inhalten::
- konfigurieren.selector精确提取目标区域（如.main-content)
- passieren (eine Rechnung oder Inspektion etc.)filterOutCssSelectors排除页眉/页脚等无关元素
- .simplifyHtml移除冗余HTML标签
Fortgeschrittene Techniken::
- ausnutzenresourceExclusions: ['*.jpg', '*.mp4']排除媒体资源
- erhöhen.postProcessing钩子函数进行文本压缩
- 对大型站点启用splitByDomain按子域名分组
Nachbereitung der Behandlung：可结合jq等工具手动分割JSON文件