arXiv cs.CL· Chungche Huang, Po-Ya Angela Wang, Shu-Kai Hsieh·· 3 小时前AI 评分50
LLM 自动作文评分中的评分标准控制机制证据：基于 25 个基础模型的研究
Inside the Scorer: Mechanistic Evidence on Rubric Control in LLM-Based Automated Essay Scoring from 25 Base Models
AI 导读
研究对 25 个开源基础 LLM（0.13B-10.31B 参数）进行探测与引导，发现长文本的整体分数可从模型激活中解码，但评分标准方向缺乏独立性。因果引导显示，针对特定评分标准的干预仅产生约 2% 的微弱优势，且未能在 10 项可测试比较中检测到显著效果。这表明分析性评分标准在基础 LLM 中并非独立控制变量，分数一致性不代表具备评分标准级别的控制能力。
来源：arXiv cs.CL · arxiv.org