benchmark.py 脚本输出的核心评估指标包括：
- accuracy-metric：模型答案的数学正确率，范围 0-100%，超过 85% 说明具备实用价值
- format-metric：输出格式规范性评分，评估步骤呈现、符号使用等细节
- token_throughput：GPU 每秒处理的 token 数，反映计算效率
典型结果解读方法：
- 对比不同模型版本的 JSON 输出文件
- 关注 accuracy 与 format 的平衡（理想情况应均 >80%）
- 当 throughput 低于 500 tokens/s 时需检查 GPU 配置
使用示例：CUDA_VISIBLE_DEVICES=0,1 python ./src/x_r1/benchmark.py --model_name='xiaodongguaAIGC/X-R1-0.5B' --dataset_name='HuggingFaceH4/MATH-500' --output_name='./output/result_benchmark_math500' --max_output_tokens=1024 --num_gpus=2
开发者可根据结果调整 batch_size 等参数优化性能。
本答案来源于文章《X-R1：在普通设备中低成本训练0.5B模型》
简体中文 
English 
日本語 
Deutsch 
Português do Brasil