arXiv 研究：LLM 生成结构化评估在高等教育中的诊断质量分析
该研究基于 JorGPT 数据集分析了 LLM 在高等教育自动评分中的诊断质量，发现 LLM 生成的子维度分数高度相关，缺乏独立诊断信息。文本反馈检测学生误解的准确率仅为 5-7%，远低于教师的 15-31%，且反馈语气缺乏随答案质量变化的严重度调节。
推荐理由：研究揭示了 LLM 评分在诊断学生误解和反馈语气上的系统性偏差，为高校自动化评估的人机分工提供了实证依据。
该研究基于 JorGPT 数据集分析了 LLM 在高等教育自动评分中的诊断质量，发现 LLM 生成的子维度分数高度相关，缺乏独立诊断信息。文本反馈检测学生误解的准确率仅为 5-7%，远低于教师的 15-31%，且反馈语气缺乏随答案质量变化的严重度调节。
推荐理由：研究揭示了 LLM 评分在诊断学生误解和反馈语气上的系统性偏差，为高校自动化评估的人机分工提供了实证依据。