arXiv cs.CL· Jinhao Yan, Zhihong Shen, Shengjie Wang, Yiting Ren, Wentao Zhang, Yilei Wang, Peichao Lai·· 4 小时前精选AI 评分65
TeachGrade:基于教师证据的免训练简答题评分框架
TeachGrade: Training-Free Short Answer Scoring with Teacher Evidence
AI 导读
TeachGrade 是一种免训练框架,利用教师评分示例构建冻结记忆以处理多步骤评分。在 SAS-Bench 的 3,829 个答案上,其宏观协同一致性分数从 Native 的 67.99 提升至 81.32,宏观二次加权 Kappa 系数达到 84.71,超过 OpenJudge 等现有方法。该框架在无需权重更新的情况下,支持跨语言、响应格式和模型骨干的复用。
推荐理由
提出免训练评分框架,在SAS-Bench上显著提升评分一致性,展示了利用教师证据优化自动评分的可行路径。
来源:arXiv cs.CL · arxiv.org