Background
大型语言模型（LLM）在处理Git仓库文本时，需要先将数据分块并进行序列化。传统方法需要手动筛选文件和调整分块大小，耗时且效率低下。
Core Solutions
- 使用Yek工具自动化处理：默认以10MB为单位分块，可通过–max-size参数调整
- 智能过滤机制：自动应用.gitignore规则，并利用Git历史推断重要文件
- 多目录并行处理：支持一次性处理多个目录（如yek src/ tests/）
- 输出控制：可输出到临时目录或直接管道传输（如yek | pbcopy）
procedure
- 安装Yek（Unix-like系统使用curl命令，Windows使用PowerShell）
- 进入目标目录运行yek命令
- 根据需求添加参数调节：
– 按令牌计数：–max-size 128K –tokens
– 按字节大小：–max-size 100KB - 通过yek.toml配置文件实现高级定制
caveat
建议先用默认参数测试处理效果，再逐步调整分块大小；处理大型仓库时可先尝试指定子目录。
This answer comes from the articleYek: reading git repository text files and quickly chunking them for use in large modelsThe
May not be reproduced without permission:AI productivity tools " 如何解决大型语言模型处理Git仓库文本时面临的数据分块效率问题？
English 
简体中文 
日本語 
Deutsch 
Português do Brasil