分块参数配置
Yek提供灵活的分块控制选项:
コアパラメーター
- –max-size:设置每块最大值(如10MB/128KB/1GB)
- –tokens:启用按近似LLM令牌计数分块
- –output-dir:指定输出目录(默认使用临时目录)
代表的な使用例
- 基础分块:
yek --max-size 5MB
- 精确令牌控制:
yek --max-size 128K --tokens src/
- 多目录处理:
yek src/ tests/ --max-size 100KB
建议根据目标LLM的上下文窗口大小调整分块参数,例如GPT-4推荐128K令牌的块大小。
この答えは記事から得たものである。Yek: git リポジトリのテキストファイルを読み込んで、大規模なモデルのために素早くチャンキングする。について