跳到正文
arXiv cs.CL· Anubhav Jangra, Smaranda Muresan·· 4 小时前AI 评分50

DivAlgo:代码生成模型算法多样性的系统评估

DivAlgo: A systematic evaluation of algorithmic diversity for code generation models

AI 导读

研究提出 DivAlgo 基准及轻量级相似度指标,用于评估代码生成模型的算法多样性。实验覆盖 24 个现代代码生成模型,发现未受控生成的代码多样性仅捕获人类解法的约 31%。即使采用最佳多样性生成策略,也仅能达到人类多样性的约 70%,表明模型难以复现人类的算法多样性。

来源:arXiv cs.CL · arxiv.org