热点事件持续更新

arXiv发布LLM预测医学试题难度研究

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

Xiaomeng Xiong、Marcus Walker 和 Yanlin Jiang 在 arXiv 发布论文，提出利用开源大语言模型作为评判者和模拟考生来预测医学试题难度。该方法在 USMLE 数据集上达到 Spearman 相关系数 0.447，超过 2024 年 BEA 共享任务最佳系统的 0.25；在 PANCE 数据集上最佳配置达到 0.494，与 Claude Opus 5 的绝对判断结果相当。研究称该方法支持本地部署，适用于预测未发布或高安全性试题的难度。

AI 根据报道生成 · 40 分钟前更新

最新进展10月30日 12:00

LLMs as Judges and Examinees for Medical Item Difficulty Prediction

报道时间线

沿着报道，了解事件的不同侧面。

10月30日

12:00
arXiv cs.CL
LLMs as Judges and Examinees for Medical Item Difficulty Prediction
研究利用开源 LLM 作为评判者和模拟考生预测医学试题难度，在 USMLE 数据集上达到 Spearman 相关系数 ρ = .447，超过 2024 BEA shared task 最佳系统（ρ = .25）。在 PANCE 数据集上，最佳配置达到 ρ = .494，与 Claude Opus 5 的绝对判断结果（ρ = .488）相当。该方法支持本地部署，适用于预测未发布或高安全性试题的难度。

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。