搜索
评测 28 种 Agent 组合 最高任务解决率仅 14%
2 天前
针对长期演进的大型软件系统，现有代码Agent虽能熟练调用工具、修改文件、运行测试，但从新需求出发交付完整功能仍存在明显短板。复旦大学等机构研究者推出LoLBench评测基准，将Agent置于平均约240万行代码的大型软件系统中，评估其从功能提案到模块交付的完整长程代码任务能力。此类任务同时包含感知复杂性（识别需求隐含约束、跨模块依赖，推导修改范围与实现规范）和实现复杂性（完成跨文件正确修改、避免破坏原有功能）。该评测覆盖29个系统、8种语言、5个领域的100项任务，通过新增功能测试与回归测试结合验证交付正确性，并通过构造错误实现变异体优化测试检出率。对28种前沿Agent组合的实验显示，当前Agent最高任务解决率仅14%，大量交互与Token消耗集中在代码定位环节，代码定位准确率低、覆盖不全。即便额外提供修改文件树与API实现规范以降低感知负担，最佳组合任务解决率也仅提升至34%，仍有66%的任务无法完成，暴露出Agent易遗漏跨模块同步改动的关键断点。该评测旨在推动代码Agent能力从单纯代码生成向支持大型软件持续演进的方向发展。
