arXiv cs.CL· Woojin Lee, Yoonkyu Woo, Jinah Kim, Hyeok-Min Gwon, Jin-Xia Huang·· 2 小时前精选AI 评分68
MisconceptDialogue：评估标准如何影响LLM数学辅导的测量成功率
MisconceptDialogue: Evaluation Criteria Shape Measured Success in LLM Math Tutoring
AI 导读
研究提出MisconceptDialogue框架，在5000+轮对话中测试5个开源LLM数学导师。发现基准式精确匹配评分报告的补救成功率为42.1%，而人工校准的LLM评审报告为81.3%，两者相差39.2个百分点，且该差异大于导师模型、教学策略等因素的综合影响。
推荐理由
研究揭示了评分标准对LLM数学辅导效果评估的巨大影响，为教育AI评测提供了关键的方法论警示。
来源：arXiv cs.CL · arxiv.org