当前位置：首页 » AI答疑

如何通过CleanTool工具解决教育对话数据质量不佳的问题？

2025-08-21

268

教育数据清洗的全流程方案

CleanTool提供三步数据优化法：

基础清洗：执行标准命令去除重复项和低质量数据
python clean_tool.py --input raw_data.json --output stage1.json --gpu True
领域强化：通过–edu_keywords参数保留含”教学””认知”等教育特征的数据
python clean_tool.py --input stage1.json --output final_data.json --edu_keywords teaching,learning
质量验证：使用–metrics参数生成数据质量报告（包含词汇密度、主题一致性等指标）

对特殊场景的建议：