arXiv cs.CL· Giulio Corsi, Maryam Abo-Tabik, Yael Benn, Georgiana Thorpe Apreutesei, Roni Tibon, Alexandru Marcoci, Deborah Talmi·· 4 小时前精选AI 评分76
arXiv 论文：LLM 与人类在本科作业评分上的一致性取决于模型、提示词和机构
Machine--human agreement in marking undergraduate assignments is specific to model, prompt and institution
AI 导读
一项基于英国三所大学 761 份心理学本科作业的研究发现，三种前沿 LLM 与人类评分的一致性因模型、提示词和机构而异，且无单一最优组合。所有模型均将分数向中心压缩，高估最弱作业并低估最强作业，且这种误差在集成模型中未被消除。
推荐理由
研究指出 LLM 评分一致性受模型、提示词和机构共同影响，单一场景验证会高估其部署准备度。
来源：arXiv cs.CL · arxiv.org