ベース環境の準備
运行ReCall需要满足以下硬件和软件条件:支持CUDA的NVIDIA显卡(推荐RTX 3090及以上)、Python 3.8+环境、Linux操作系统。特别需要flash-attn和faiss-gpu等加速库的支持。
ステップバイステップのインストールガイド
- 代码克隆スルー
git clone https://github.com/Agent-RL/ReCall.git
获取最新代码 - 依存するインストール:核心依赖包含transformers和vllm等组件,需执行
pip3 install -e .
- 扩展组件:训练需额外安装
conda install -c pytorch -c nvidia faiss-gpu=1.8.0
模型服务启动
使用SGLang启动服务时需注意关键参数配置:--tp 2
设置张量并行度,--context-length 8192
指定上下文窗口,建议启用--enable-metrics
监控性能指标。
この答えは記事から得たものである。ReCall: 強化学習による道具の呼びかけ推論のための大規模モデルの学習について