LLMs as Judges and Examinees for Medical Item Difficulty Prediction

研究利用开源 LLM 作为评判者和模拟考生预测医学试题难度，在 USMLE 数据集上达到 Spearman 相关系数 ρ = .447，超过 2024 BEA shared task 最佳系统（ρ = .25）。在 PANCE 数据集上，最佳配置达到 ρ = .494，与 Claude Opus 5 的绝对判断结果（ρ = .488）相当。该方法支持本地部署，适用于预测未发布或高安全性试题的难度。