海外からのアクセス：www.kdjingpai.com

Ctrl + D このサイトをブックマークする

現在の場所図頭 " AIアンサー

使用Crawl4LLM时有哪些重要的配置参数需要注意？

2025-09-05

1.4 K

关键配置参数解析

Crawl4LLM的YAML配置文件包含多个直接影响爬取效果的重要参数：

核心必填参数

cw22_root_path：ClueWeb22数据集存储路径(必须使用SSD)
モデルパス：fastText分类器模型文件位置
出力先：结果输出目录(需预留足够空间)

パフォーマンス・チューニング・パラメーター

労働者数：线程数(建议设置为CPU核心数)
max_num_docs：最大处理文档数(默认2000万)
num_selected_docs_per_iter：每轮选择的文档数

算法选择参数

選択メソッド：推荐使用dclm_fasttext_score
rating_methods：可组合多种评分方式
order：desc表示优先获取高分文档

监控参数

wandb：设置为true启用训练过程监控

この答えは記事から得たものである。Crawl4LLM：LLM事前学習のための効率的なウェブクローリングツールについて

関連記事

無断転載を禁じます：AI生産性ツール " 使用Crawl4LLM时有哪些重要的配置参数需要注意？

おすすめ

日本語