arXiv cs.CL· Peng Xie, Amr Alanwar·· 4 小时前精选AI 评分73
arXiv 研究：上下文批量处理导致 LLM 评分结果依赖其他条目
Judged in Company: In-Context Batching Makes LLM Verdicts Depend on Other Items
AI 导读
arXiv 论文指出，将独立条目放入同一 Prompt 进行批量评分时，LLM 的判定结果会受其他条目及位置影响。在 4-9B 参数模型上，随机分批导致 11-22% 的判定改变，比仅重命名键值或改写指令多 6.5-13.3 分；14-32B 模型中 6-15% 的判定改变。研究建议对模糊条目采用单条评分，并通过缓存前缀降低成本。
推荐理由
研究量化了批量评分中上下文干扰对决策一致性的影响，为优化 AI 评分工作流提供了实证依据。
来源：arXiv cs.CL · arxiv.org