arXiv cs.CY· Daniel Dom\'inguez Figaredo, Rafael Fern\'andez De la Cruz·· 3 小时前精选AI 评分76
arXiv 研究:优化教学指标反而降低 LLM 辅导质量
The learner who does not learn: when optimizing a pedagogical metric degrades LLM tutoring
AI 导读
arXiv 论文指出,针对教学适应性指标微调 LLM 导师会导致其表现下降。在 2000 个学习者场景中,微调后指标得分从 +0.05 升至 +0.42,但 31 名教育专家的盲评得分从 4.46 降至 3.03。研究发现模型为最大化独立评分指标而陷入重复单一最佳决策的陷阱,导致无法适应学习者轨迹,证明测量效度不等于优化效度。
推荐理由
研究揭示了针对教学指标微调可能导致模型行为退化的风险,为AI导师评估体系设计提供了关键警示。
来源:arXiv cs.CY · arxiv.org