海外访问：www.kdjingpai.com

Ctrl + D 收藏本站

当前位置：首页 » AI答疑

如何防止数学模型在基准测试中出现数据污染问题？

2025-08-30

1.1 K

Light-R1数据去污染实施方案

数据污染会导致模型在测试集上虚假高分的严重问题，Light-R1通过三层防护机制确保评估公正：

题目指纹过滤：对MATH-500和AIME24/25题库计算MD5哈希值，删除与训练集相似度>85%的题目
语义去重检测：使用Sentence-BERT模型计算题目嵌入向量，余弦相似度>0.9时触发人工复核
时间隔离验证：确保训练数据生成时间早于测试题库发布时间（AIME24题库晚于2023-09）
评测协议透明化：公开所有训练数据来源和清洗日志，支持第三方审计

实施效果：经社区验证，模型在AIME24的76.6分中0%源于数据污染，相较部分未去污染模型可避免20-35%的虚高得分。

本答案来源于文章《Light-R1：360开源的数学领域超强推理模型》

相关文章

未经允许不得转载：AI生产力工具 » 如何防止数学模型在基准测试中出现数据污染问题？

相关推荐