搜索
研究发现 Coding Agent 生成测试质量被高估，合格率不足单一评测一半
4 小时前
针对主流测试生成基准采用单一参考评测易高估测试质量的问题，南京大学刘佳恒团队提出新基准TestPrism，包含300个测试任务和3000个带标签的多样候选实现，以JSF为核心指标，要求测试同时在原始代码上失败、接受所有正确实现并拒绝所有错误实现。评测显示，前沿Coding Agent的测试真实可靠性远低于单一参考评测结果，最强配置JSF仅28.00%。团队进一步归纳出3大类7种测试生成错误机制，并提出TestHelix框架，通过异构合成、同伴交叉验证与递归自我改进，在同等推理预算下将JSF提升11.67至12.00个百分点，为更可靠的测试生成与评测提供新思路。
