背景介绍
大型语言模型（LLM）在处理Git仓库文本时，需要先将数据分块并进行序列化。传统方法需要手动筛选文件和调整分块大小，耗时且效率低下。
核心解决方案
- 使用Yek工具自动化处理：默认以10MB为单位分块，可通过–max-size参数调整
- 智能过滤机制：自动应用.gitignore规则，并利用Git历史推断重要文件
- 多目录并行处理：支持一次性处理多个目录（如yek src/ tests/）
- 输出控制：可输出到临时目录或直接管道传输（如yek | pbcopy）
操作步骤
- 安装Yek（Unix-like系统使用curl命令，Windows使用PowerShell）
- 进入目标目录运行yek命令
- 根据需求添加参数调节：
– 按令牌计数：–max-size 128K –tokens
– 按字节大小：–max-size 100KB - 通过yek.toml配置文件实现高级定制
注意事项
建议先用默认参数测试处理效果，再逐步调整分块大小；处理大型仓库时可先尝试指定子目录。
本答案来源于文章《Yek：读取git仓库文本文件并快速分块，以供大模型使用》
未经允许不得转载：AI生产力工具 » 如何解决大型语言模型处理Git仓库文本时面临的数据分块效率问题？
简体中文 
English 
日本語 
Deutsch 
Português do Brasil