Background
LLM预训练需要大量高质量数据，传统网页爬取存在数据冗余和效率低下的问题。Crawl4LLM提供了智能解决方案，通过算法筛选高价值内容。
Core Operating Procedures
- 配置智能筛选：在YAML文件中设置selection_method为dclm_fasttext_score，启用预训练评估模型
- 调整爬取参数：通过num_workers控制线程数(建议16核CPU配置16线程)，max_num_docs设置文档上限
- 使用SSD存储：将ClueWeb22等大型数据集存放在SSD上提升I/O性能
- 启用W&B监控：设置wandb:true记录爬取过程，便于后期优化
caveat
首次使用需下载fastText分类器至指定目录，并确保Python版本≥3.10。建议在虚拟环境中运行以避免依赖冲突。
This answer comes from the articleCrawl4LLM: An Efficient Web Crawling Tool for LLM PretrainingThe
May not be reproduced without permission:AI productivity tools " How to optimize the efficiency of LLM pre-training data collection?
English 
简体中文 
日本語 
Deutsch 
Português do Brasil