海外访问：www.kdjingpai.com

Ctrl + D 收藏本站

当前位置：首页 » AI答疑

使用Crawl4LLM时有哪些重要的配置参数需要注意？

2025-09-05

1.4 K

关键配置参数解析

Crawl4LLM的YAML配置文件包含多个直接影响爬取效果的重要参数：

核心必填参数

cw22_root_path：ClueWeb22数据集存储路径(必须使用SSD)
model_path：fastText分类器模型文件位置
output_dir：结果输出目录(需预留足够空间)

性能调优参数

num_workers：线程数(建议设置为CPU核心数)
max_num_docs：最大处理文档数(默认2000万)
num_selected_docs_per_iter：每轮选择的文档数

算法选择参数

selection_method：推荐使用dclm_fasttext_score
rating_methods：可组合多种评分方式
order：desc表示优先获取高分文档

监控参数

wandb：设置为true启用训练过程监控

本答案来源于文章《Crawl4LLM：为LLM预训练提供的高效网页爬取工具》

相关文章

未经允许不得转载：AI生产力工具 » 使用Crawl4LLM时有哪些重要的配置参数需要注意？

相关推荐