海外访问：www.kdjingpai.com

Ctrl + D 收藏本站

当前位置：首页 » AI答疑

什么是Crawl4LLM？它的核心功能是什么？

2025-09-05

1.4 K

Crawl4LLM概述

Crawl4LLM是由清华大学和卡内基梅隆大学联合开发的开源项目，专注于为大型语言模型(LLM)预训练优化网页爬取效率。其核心价值在于通过智能数据选择算法，大幅提升高质量训练数据的获取效率。

核心功能

智能数据选择：通过fastText分类器评估网页对模型训练的价值，能将需爬取网页数量从100个缩减到21个
多种爬取模式：支持智能选择和随机爬取等多种方式
高效爬取引擎：利用多线程技术显著提升爬取速度
大规模数据处理：兼容ClueWeb22等亿级数据集
可定制配置：通过YAML文件调整爬取参数

该项目已在GitHub开源，提供了完整的代码和文档支持，受到学术界和工业界的广泛关注。

本答案来源于文章《Crawl4LLM：为LLM预训练提供的高效网页爬取工具》

相关文章

未经允许不得转载：AI生产力工具 » 什么是Crawl4LLM？它的核心功能是什么？

相关推荐