問題の背景
传统爬虫会抓取大量低质量网页,影响LLM训练效果。Crawl4LLM通过评分机制实现内容过滤。
処方
- 双评分系统:在config中配置rating_methods,同时使用length(内容长度)和fasttext_score(质量评分)双重过滤
- モデル選択:下载推荐的openhermes分类器模型(bigram_200k_train.bin)可获得最佳评估效果
- 排序设置:设置order为desc(降序)确保优先抓取评分高的网页
- 阈值调整:通过修改YAML文件中的评分权重参数进一步优化筛选标准
实施效果
测试表明该方法可将必要爬取量减少79%,同时保持模型训练效果不下降。对于特殊领域需求,还可自定义训练fastText模型。
この答えは記事から得たものである。Crawl4LLM:LLM事前学習のための効率的なウェブクローリングツールについて