搜索
不靠外部裁判，统一多模态模型学会自己「看图改图」：修复成功率提升到 3 倍，GenEval 0.72→0.84
46 分钟前
南洋理工大学、上海交通大学与东京大学的研究者提出UMM-Reflection方法，基于开源统一多模态模型BAGEL，通过“反思SFT冷启动+整轨迹强化学习”训练完整的多轮“反思—修改”轨迹，使同一模型可自主完成看图、诊断、修改与停止决策，推理阶段无需外部打分器。实验显示，该方法将初始错误图像的修复成功率从20.6%提升至64.9%，GenEval指标从0.72升至0.84，其中空间位置分项从0.47跃升至0.89；在训练未见过的WISE等基准上亦有明显提升，效果远优于直接对生成器做强化学习。研究证实，模型本身具备判断图像对错的能力，强化学习的作用在于教会模型筛选出真正能将错误图像修正为正确结果的有效修改路径。目前相关代码、模型与训练数据均已开源。
