搜索
答对了，理由却错了：港科大提出 LexAgentHallu，追踪智能体的「隐性幻觉」
6 小时前
香港科技大学研究团队推出了法律智能体幻觉评测基准LexAgentHallu。该基准将评测范围从最终答案扩展至智能体完整执行轨迹，构建了涵盖法律内容与智能体执行过程的分层错误分类体系，收录了3414个实例，覆盖17个法律类别和6类任务。通过对18种闭源和开源智能体配置的评测，发现表现最优的配置仍有89%的执行轨迹至少出现一次幻觉，答案正确的样本中平均仍有68%的轨迹存在法律内容幻觉。错误并非随机分布，法源层级、程序期限等上游错误易引发后续连锁偏移。LexAgentHallu基准能将幻觉拆解为可定位的故障类型，为法律智能体在生成前明确边界、执行中验证依据、输出前检查一致性等环节提供可靠性支撑。同时指出，法律智能体的可信度不能仅凭最终答案证明，需对全推理链路进行核验以阻断错误传播。
