搜索
百度开源文心 5.5 Flash Base，多基准测试刷新同尺寸模型 SOTA
2 小时前
百度正式开源最新基座模型文心5.5 Flash Base，采用MoE架构，总参数量2800亿，每个Token激活140亿参数，以33.5万亿Token完成预训练。其预训练上下文最高达128K，微调与推理阶段支持最长100万Token上下文，在多类基准测试中取得同尺寸模型SOTA表现。该模型围绕效率主线，在注意力机制、专家路由及训练机制等关键环节进行系统性优化与多项算法创新，同时优化分布式Muon优化器，推出面向大head dim的注意力算子FlashMask-4，提升大规模训练的通信、显存利用与计算效率。作为面向开发者和企业的基座模型，它可提供微调与定制空间，助力构建不同场景的专业模型与应用，降低开发训练成本与技术门槛，为行业提供更具拓展性的技术基础，推动大模型技术的能力探索与应用创新。
