训练准备工作
Hardware-Voraussetzung
- 2-16个GPU(推荐使用支持NVLink的A100/H100)
- 充足的显存资源(1.7B模型约需40GB显存)
Software-Installation
首先需要通过uv包管理工具安装Verifiers：
uv add 'verifiers[all]' && uv pip install flash-attn --no-build-isolation
两种主要训练方式
使用内置GRPOTrainer
- 启动vLLM推理服务器(使用7个GPU进行数据并行)
- 在剩余GPU上启动训练脚本
使用prime-rl框架
这是官方推荐的扩展性更强的方案，通过FSDP实现更好的性能：
uv run rl --trainer @ configs/your_exp/train.toml --orchestrator @ configs/your_exp/orch.toml --inference @ configs/your_exp/infer.toml
caveat
训练过程中如遇到NCCL通信问题，可尝试设置以下环境变量：NCCL_P2P_DISABLE=1或NCCL_CUMEM_ENABLE=1。
Diese Antwort stammt aus dem ArtikelVerifiers: eine Bibliothek von Verstärkungslernumgebungen für das Training großer SprachmodelleDie
Darf nicht ohne Genehmigung vervielfältigt werden:KI-Produktivitätswerkzeuge " 如何使用Verifiers进行模型训练？需要哪些准备工作？
Deutsch 
简体中文 
English 
日本語 
Português do Brasil