跳到正文
arXiv cs.CL· Sebastian Nagl·· 4 小时前AI 评分42

SoK: 从法学院考试到可信评分标准裁判:开放式法律答案评分综述

SoK: Grading Open-Text Legal Answers, from Law School Exams to Trustworthy Rubric Judges

AI 导读

该论文系统化了开放式法律答案的评估方法,从教育测量和考试法中推导出八项需求,并对比了八种评估范式。研究发现,针对任务编写的评分标准(rubric)是提升 LLM 裁判与人类评分者一致性的最强杠杆,但现有报告数据往往缺乏必要的人类一致性基准。文章据此提出了“可信评分标准裁判”框架,强调通过代码验证证据、独立人类校准及人工审查来确保评估的可审计性。

来源:arXiv cs.CL · arxiv.org