arXiv cs.CL· Shuyi Fan, Boyuan Deng, Mengyu Xu, Xinhong Xie, Chenyang Li, Hongyang Zhang·· 3 天前AI 评分42
有界评分量表上的双重差分法可能制造虚假效应：基于预注册 LLM 评审审计的证据
Difference-in-Differences on a Censored Rating Scale Can Manufacture an Effect: Evidence from a Pre-Registered LLM-Judge Audit
AI 导读
研究证明，在评分有界时，双重差分法可能因量表边界衰减不均而制造虚假交互效应。一项包含 990 次调用的预注册 LLM 评审审计中，唯一显著次要交互（productive struggle，+0.378 分，p=0.002）被证实可由量表下限和严重度偏移复现 79% 至 85%。这表明观测到的交互效应无法识别潜在量表上的差异化偏好。
来源：arXiv cs.CL · arxiv.org