arXiv cs.CL· Abdulrahman AlRabah, Xiaocheng Yang, Dilek Hakkani-T\"ur, Abdussalam Alawini·· 7 小时前AI 评分42
PredActBench：在受控工具噪声下评测工具增强对话
PredActBench: Benchmarking Tool-Augmented Dialogue under Controlled Tool Noise
AI 导读
研究团队发布 PredActBench 基准，用于评测 LLM 智能体在工具存在统计误差时的对话表现。该基准包含 60 门课程的 PredAct-CS 数据集，并评估了 13 个 LLM 及 13 名教师。结果显示，当工具噪声较大时，最强基线 GPT-5.5 的 F1 分数仅为 57.2，且模型很少向用户展示预测不确定性，导致用户过度依赖错误预测。
来源：arXiv cs.CL · arxiv.org