arXiv cs.AI· Rayed AlGhamdi·· 2 小时前精选AI 评分68
Claude Code 作为高校手写考试智能体评分系统的可靠性研究
Reliability of Claude Code as an Agentic AI Grading System for Handwritten University Exams
AI 导读
该研究评估了基于 Claude Opus 4.6 的 Claude Code 在沙特阿拉伯某高校计算机图形学课程中评分 60 份手写期中试卷的可靠性。结果显示 AI 评分与人类专家总分高度一致（r = 0.97，MAE = 0.85），重测信度极佳（ICC = 0.96），但存在轻微正向偏差，且在绘图题及修正后的选择题上出现关键词匹配不足和注意力漂移等失效模式。
推荐理由
研究量化了 Claude Code 在高校手写考试评分中与专家的一致性，并识别出绘图题等具体失效模式。
来源：arXiv cs.AI · arxiv.org