如何优化爬取结果以避免生成过大的知识库文件？

2025-08-27

2.1 K

文件体积控制策略

通过多维度参数精细控制输出：

基础限制::
1. セットアップmaxFileSize（单位MB）限制单个文件大小
2. 利用するmaxTokens基于GPT token数自动分割文件
コンテンツ・フィルタリング::
- コンフィグselector精确提取目标区域（如.main-content)
- とおすfilterOutCssSelectors排除页眉/页脚等无关元素
- 使い始めるsimplifyHtml移除冗余HTML标签
高度なテクニック::
- 利用するresourceExclusions: ['*.jpg', '*.mp4']排除媒体资源
- 増加postProcessing钩子函数进行文本压缩
- 对大型站点启用splitByDomain按子域名分组
フォローアップ治療：可结合jq等工具手动分割JSON文件