蚂蚁开源Awex框架,秒级同步万亿模型权重
8 小时前

据百灵大模型官方消息,蚂蚁集团开源高性能权重交换框架Awex,旨在解决大模型强化学习训练中,训练权重参数同步至推理引擎的核心延迟问题。该框架可在秒级完成TB级大规模参数交换,在千卡GPU集群上,5-10秒内可完成万亿参数级别的权重同步。