研究揭示LLM数学辅导评估中评分标准导致39%成功率差异

Woojin Lee等人发布MisconceptDialogue框架，在5000多轮模拟对话中测试5个开源LLM数学导师。研究发现，采用基准式精确匹配评分报告的补救成功率为42.1%，而人工校准的LLM评审报告为81.3%，两者相差39.2个百分点。该差异大于导师模型、教学策略等因素的综合影响。该研究已被AACL-IJCNLP 2026主会议接收，但作者指出其模拟协议结果不能确立真实学生的学习效果。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。