训练准备工作
Requisitos de hardware
- 2-16个GPU(推荐使用支持NVLink的A100/H100)
- 充足的显存资源(1.7B模型约需40GB显存)
instalação do software
首先需要通过uv包管理工具安装Verifiers：
uv add 'verifiers[all]' && uv pip install flash-attn --no-build-isolation
两种主要训练方式
使用内置GRPOTrainer
- 启动vLLM推理服务器(使用7个GPU进行数据并行)
- 在剩余GPU上启动训练脚本
使用prime-rl框架
这是官方推荐的扩展性更强的方案，通过FSDP实现更好的性能：
uv run rl --trainer @ configs/your_exp/train.toml --orchestrator @ configs/your_exp/orch.toml --inference @ configs/your_exp/infer.toml
advertência
训练过程中如遇到NCCL通信问题，可尝试设置以下环境变量：NCCL_P2P_DISABLE=1或NCCL_CUMEM_ENABLE=1。
Essa resposta foi extraída do artigoVerificadores: uma biblioteca de ferramentas de ambiente de aprendizagem por reforço para treinamento de modelos de linguagem de grande porteO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " 如何使用Verifiers进行模型训练？需要哪些准备工作？
Português do Brasil 
简体中文 
English 
日本語 
Deutsch