問題の背景
不同LLM对输入数据有token数量、格式等差异化要求，手动预处理Git仓库文件耗时费力。
カスタマイズ・ソリューション
- 灵活分片机制：支持按近似token计数（–tokens）或字节大小（默认）分块
- 动态输出检测：自动识别是否被管道传输，适配不同下游应用
- 智能忽略策略：除.gitignore外，自动排除二进制/大文件等非文本数据
- 配置持久化：通过yek.toml保存常用参数组合
実践への提言
- 评估目标LLM的token限制（如128K/100KB）
- 测试分块方式：
– ChatGPT等：建议使用–tokens模式
– 原始文本处理：使用默认字节模式 - 多轮调试：先用小目录测试不同参数组合
- 管道集成：yek src/ | 可直接接入后续处理流程
高等技術
结合Git历史分析结果，可优先处理高频修改的文件；对特定扩展名文件可创建自定义忽略规则。
この答えは記事から得たものである。Yek: git リポジトリのテキストファイルを読み込んで、大規模なモデルのために素早くチャンキングする。について
無断転載を禁じます：AI生産性ツール " 如何优化Git仓库中文本数据的预处理流程以适配不同LLM的输入要求？
日本語 
简体中文 
English 
Deutsch 
Português do Brasil