搜索
不用反向传播也能预训练 Transformer，Jeff Dean 投的公司出相关成果
2 天前
Q Labs 提出了一种名为 Dust 的零阶优化方法，该方法无需反向传播即可完成 Transformer 预训练。它将传统进化策略的权重扰动转移至激活空间，为每个 token 独立添加高斯噪声以构建虚拟种群，通过一次前向传播并行评估大量虚拟个体，并结合带衰减系数的信用分配机制来估计梯度。在2.43亿参数规模以下的实验中，Dust 的表现优于同类零阶方法，在大规模群种下可近似甚至在部分设定下超越反向传播。然而，目前 Dust 的计算成本远高于反向传播，且仅在小规模实验中得到验证。第三方复现结果显示，在常规训练条件下，反向传播仍明显领先。该研究团队致力于探索算力的高效利用，突破反向传播的可微性限制。后续相关社区的优化已实现小规模基准的大幅提速，但该方法在大模型和大规模训练场景中的可扩展性仍有待验证。
