Preparação do ambiente básico
运行ReCall需要满足以下硬件和软件条件:支持CUDA的NVIDIA显卡(推荐RTX 3090及以上)、Python 3.8+环境、Linux操作系统。特别需要flash-attn和faiss-gpu等加速库的支持。
Guia de instalação passo a passo
- 代码克隆: através de
git clone https://github.com/Agent-RL/ReCall.git
获取最新代码 - Instalação dependente:核心依赖包含transformers和vllm等组件,需执行
pip3 install -e .
- 扩展组件:训练需额外安装
conda install -c pytorch -c nvidia faiss-gpu=1.8.0
模型服务启动
使用SGLang启动服务时需注意关键参数配置:--tp 2
设置张量并行度,--context-length 8192
指定上下文窗口,建议启用--enable-metrics
监控性能指标。
Essa resposta foi extraída do artigoReCall: treinamento de modelos grandes para inferência de chamadas de ferramentas por meio do aprendizado por reforçoO