搜索
阿里千问提出 TRACE，FP4 强化学习 Rollout 最高加速 5.4 倍
2 小时前
针对大模型强化学习中Rollout环节算力消耗大，以及将数据从BF16压缩至FP4时，因量化边界偏差导致策略偏差、训练崩溃的问题，阿里千问联合相关团队提出了TRACE方法。该方法不追求分别提升训练端与Rollout端的量化精度，而是通过Rollout侧真实的FP4量化结果来指导训练侧的舍入方向，并设计了紧凑缓存方案以降低信息传输和存储的开销。在多个MoE模型上的实验表明，TRACE在联合FP4 W/A与FP4 KV Cache Rollout的设置下，性能可恢复至BF16 Rollout的水平。在128K输出长度下，Rollout解码吞吐量最高可提升5.4倍，仅增加约7.4%的额外RL步骤开销。此外，该方法还能使模型在强化学习过程中逐步适应FP4低精度执行环境，最终FP4策略质量优于BF16 RL后再量化的方案。
