搜索
腾讯混元公布 SRPO 技术，解决大模型生图“过油”问题
2025-09-18
腾讯混元团队公布了SRPO（语义相对偏好优化）的研究成果，该成果为文生图模型提供了强化算法，有效解决了开源文生图模型Flux中人物皮肤质感“过油”的问题，使人像的真实感提升了3倍。传统在线强化学习方法依赖预训练奖励模型，存在成本高昂、泛化能力差等问题。而SRPO通过语义偏好实现了奖励模型的在线调整，并可通过添加控制提示词来定向调整优化目标。针对语义引导可能带来的奖励破解风险，研究团队提出了“语义相对偏好优化”策略和Direct-Align策略，有效降低了重建误差，并支持对生成轨迹的前半段进行优化。SRPO训练效率极高，仅需10分钟训练，其效果便超越了DanceGRPO，定量指标达到了SOTA水平。在人类评估中，其生成图像的真实度和美学优秀率均提升了超过3倍，同时训练时间降低了75倍。
