字节跳动Seed开源VeOmni框架
4 天前

字节跳动Seed团队发布并开源VeOmni框架,这是一个全模态PyTorch原生训练框架。VeOmni采用以模型为中心的分布式训练方案,将复杂的分布式并行逻辑与模型计算解耦,为全模态模型组合提供高效并行训练方案,大幅降低工程开销,提升训练效率和扩展性,将数周的开发时间缩短至几天。