arXiv cs.CL· Anubhav Jangra, Smaranda Muresan·· 4 小时前AI 评分50
DivAlgo:代码生成模型算法多样性的系统评估
DivAlgo: A systematic evaluation of algorithmic diversity for code generation models
AI 导读
研究提出 DivAlgo 基准及轻量级相似度指标,用于评估代码生成模型的算法多样性。实验覆盖 24 个现代代码生成模型,发现未受控生成的代码多样性仅捕获人类解法的约 31%。即使采用最佳多样性生成策略,也仅能达到人类多样性的约 70%,表明模型难以复现人类的算法多样性。
来源:arXiv cs.CL · arxiv.org