Hintergrund des Themas
不同LLM对输入数据有token数量、格式等差异化要求，手动预处理Git仓库文件耗时费力。
Maßgeschneiderte Lösungen
- 灵活分片机制：支持按近似token计数（–tokens）或字节大小（默认）分块
- 动态输出检测：自动识别是否被管道传输，适配不同下游应用
- 智能忽略策略：除.gitignore外，自动排除二进制/大文件等非文本数据
- 配置持久化：通过yek.toml保存常用参数组合
Empfehlungen für die Praxis
- 评估目标LLM的token限制（如128K/100KB）
- 测试分块方式：
– ChatGPT等：建议使用–tokens模式
– 原始文本处理：使用默认字节模式 - 多轮调试：先用小目录测试不同参数组合
- 管道集成：yek src/ | 可直接接入后续处理流程
fortgeschrittene Fähigkeit
结合Git历史分析结果，可优先处理高频修改的文件；对特定扩展名文件可创建自定义忽略规则。
Diese Antwort stammt aus dem ArtikelYek: Lesen von Textdateien aus dem Git-Repository und schnelles Chunking für große ModelleDie
Darf nicht ohne Genehmigung vervielfältigt werden:KI-Produktivitätswerkzeuge " 如何优化Git仓库中文本数据的预处理流程以适配不同LLM的输入要求？
Deutsch 
简体中文 
English 
日本語 
Português do Brasil