分块参数配置
Yek提供灵活的分块控制选项:
核心参数
- –max-size:设置每块最大值(如10MB/128KB/1GB)
- –tokens:启用按近似LLM令牌计数分块
- –output-dir:指定输出目录(默认使用临时目录)
典型使用场景
- 基础分块:
yek --max-size 5MB
- 精确令牌控制:
yek --max-size 128K --tokens src/
- 多目录处理:
yek src/ tests/ --max-size 100KB
建议根据目标LLM的上下文窗口大小调整分块参数,例如GPT-4推荐128K令牌的块大小。
本答案来源于文章《Yek:读取git仓库文本文件并快速分块,以供大模型使用》