benchmark.py 脚本输出的Principais indicadores de avaliaçãoIncluído:
- accuracy-metric：模型答案的数学正确率，范围 0-100%，超过 85% 说明具备实用价值
- format-metric：输出格式规范性评分，评估步骤呈现、符号使用等细节
- token_throughput：GPU 每秒处理的 token 数，反映计算效率
典型结果解读方法：
- 对比不同模型版本的 JSON 输出文件
- 关注 accuracy 与 format 的平衡（理想情况应均 >80%）
- 当 throughput 低于 500 tokens/s 时需检查 GPU 配置
Exemplo de uso:CUDA_VISIBLE_DEVICES=0,1 python ./src/x_r1/benchmark.py --model_name='xiaodongguaAIGC/X-R1-0.5B' --dataset_name='HuggingFaceH4/MATH-500' --output_name='./output/result_benchmark_math500' --max_output_tokens=1024 --num_gpus=2
开发者可根据结果调整 batch_size 等参数优化性能。
Essa resposta foi extraída do artigoX-R1: Treinamento de baixo custo de modelos de 0,5B em dispositivos comunsO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " X-R1 的 benchmark.py 脚本能提供哪些关键评估指标？如何解读这些结果？
Português do Brasil 
简体中文 
English 
日本語 
Deutsch