当前位置：首页 » AI答疑

如何优化爬取结果以避免生成过大的知识库文件？

2025-08-27

2.1 K

文件体积控制策略

通过多维度参数精细控制输出：

基础限制：
1. 设置maxFileSize（单位MB）限制单个文件大小
2. 使用maxTokens基于GPT token数自动分割文件
内容过滤：
- 配置selector精确提取目标区域（如.main-content）
- 通过filterOutCssSelectors排除页眉/页脚等无关元素
- 启用simplifyHtml移除冗余HTML标签
高级技巧：
- 使用resourceExclusions: ['*.jpg', '*.mp4']排除媒体资源
- 添加postProcessing钩子函数进行文本压缩
- 对大型站点启用splitByDomain按子域名分组
后续处理：可结合jq等工具手动分割JSON文件