Background to the issue
不同LLM对输入数据有token数量、格式等差异化要求，手动预处理Git仓库文件耗时费力。
Customized Solutions
- 灵活分片机制：支持按近似token计数（–tokens）或字节大小（默认）分块
- 动态输出检测：自动识别是否被管道传输，适配不同下游应用
- 智能忽略策略：除.gitignore外，自动排除二进制/大文件等非文本数据
- 配置持久化：通过yek.toml保存常用参数组合
Practice Recommendations
- 评估目标LLM的token限制（如128K/100KB）
- 测试分块方式：
– ChatGPT等：建议使用–tokens模式
– 原始文本处理：使用默认字节模式 - 多轮调试：先用小目录测试不同参数组合
- 管道集成：yek src/ | 可直接接入后续处理流程
advanced skill
结合Git历史分析结果，可优先处理高频修改的文件；对特定扩展名文件可创建自定义忽略规则。
This answer comes from the articleYek: reading git repository text files and quickly chunking them for use in large modelsThe
May not be reproduced without permission:AI productivity tools " 如何优化Git仓库中文本数据的预处理流程以适配不同LLM的输入要求？
English 
简体中文 
日本語 
Deutsch 
Português do Brasil