AI训练数据自动化准备方案
大模型微调需要大量结构化技术文档，但人工收集面临来源分散、格式混乱、清洗困难等挑战。DevDocs提供端到端解决方案：
- 批量采集：支持同时爬取多个技术文档网站
- 标准输出：直接生成训练可用的JSON格式
- controle de qualidade：通过日志分析爬取完整性
Implementar o processo:
- 创建URL列表文件urls.txt（每行一个文档地址）
- 运行并行爬取命令：
./scripts/batch_crawl.sh urls.txt 3(3表示深度) - 使用view_result.sh检查数据质量
- 将crawl_results内JSON文件直接用于模型训练
优化技巧：
- 深度设置：概念文档用5层，API文档用3层
- 使用selective_crawl.json配置文件过滤广告等内容
- 结合check_mcp_health.sh监控资源占用
效率对比：传统人工方式准备1000页训练数据需2周，本方案可在2小时内完成，且数据结构更规范。
Essa resposta foi extraída do artigoDevDocs: um serviço MCP para rastrear e organizar rapidamente a documentação técnicaO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " 在大模型训练中如何高效准备技术文档数据？
Português do Brasil 
简体中文 
English 
日本語 
Deutsch