关键配置参数解析
Crawl4LLM的YAML配置文件包含多个直接影响爬取效果的重要参数：
核心必填参数
- cw22_root_path：ClueWeb22数据集存储路径(必须使用SSD)
- caminho_do_modelo：fastText分类器模型文件位置
- output_dir：结果输出目录(需预留足够空间)
性能调优参数
- num_workers：线程数(建议设置为CPU核心数)
- max_num_docs：最大处理文档数(默认2000万)
- num_selected_docs_per_iter：每轮选择的文档数
算法选择参数
- método_de_seleção：推荐使用dclm_fasttext_score
- rating_methods：可组合多种评分方式
- order：desc表示优先获取高分文档
监控参数
- wandb：设置为true启用训练过程监控
Essa resposta foi extraída do artigoCrawl4LLM: uma ferramenta eficiente de rastreamento da Web para pré-treinamento de LLMO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " 使用Crawl4LLM时有哪些重要的配置参数需要注意？
Português do Brasil 
简体中文 
English 
日本語 
Deutsch