arXiv发布LLM批量评分依赖性研究
热点事件持续更新
arXiv发布LLM批量评分依赖性研究
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
arXiv 发布论文《Judged in Company: In-Context Batching Makes LLM Verdicts Depend on Other Items》，指出将独立条目放入同一 Prompt 进行批量评分时，LLM 的判定结果会受其他条目及位置影响。研究显示，在 4-9B 参数模型上，随机分批导致 11-22% 的判定改变，比仅重命名键值或改写指令多 6.5-13.3 分；14-32B 模型中 6-15% 的判定改变。研究建议对模糊条目采用单条评分，并通过缓存前缀降低成本。
AI 根据报道生成 · 2 小时前更新
最新进展10月30日 12:00
arXiv 研究：上下文批量处理导致 LLM 评分结果依赖其他条目报道时间线
沿着报道，了解事件的不同侧面。
10月30日
- arXiv cs.CL精选arXiv 研究：上下文批量处理导致 LLM 评分结果依赖其他条目
arXiv 论文指出，将独立条目放入同一 Prompt 进行批量评分时，LLM 的判定结果会受其他条目及位置影响。在 4-9B 参数模型上，随机分批导致 11-22% 的判定改变，比仅重命名键值或改写指令多 6.5-13.3 分；14-32B 模型中 6-15% 的判定改变。研究建议对模糊条目采用单条评分，并通过缓存前缀降低成本。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。