当前位置：首页 » AI答疑

Yek是基于Rust的高效工具，专为LLM处理Git仓库内容分块和序列化设计。

2025-09-10

1.8 K

Yek的工具定位与核心能力

Yek作为专为大型语言模型（LLM）设计的预处理工具，其核心价值在于解决Git仓库内容的高效结构化处理问题。该工具采用Rust语言开发，继承了Rust高性能、内存安全等特性，使其在处理大规模文本文件时具备显著速度优势。

主要技术实现包含三个关键层面：首先是智能文件筛选系统，通过默认集成.gitignore规则自动排除非必要文件，并结合Git历史记录分析文件重要性；其次是动态分块机制，支持按近似令牌计数或字节大小两种维度进行内容分割；最后是灵活的IO处理，可自动检测管道输出模式并支持多目录并行处理。

典型应用场景包括：为LLM训练准备代码库语料、构建知识库检索系统时的文档预处理，以及需批量处理多个项目文档的自动化流程。通过yek.toml配置文件，用户可进一步定制文件过滤规则和分块策略。