搜索
面壁智能发布 LES 技术 助 35B 级开源 MoE 模型端侧流畅运行
10 小时前
面壁智能近日发布了新一代端侧多模态大模型MiniCPM-V 4.7，该模型包含35B-A3B和1B两个版本。其中，35B-A3B版本采用MoE架构，总参数量达350亿，但单次推理仅激活约30亿参数，成为首个可在端侧无损流畅运行的开源MoE模型。该模型依托自研LES前瞻专家调度技术等优化方案，在iPad Pro上仅需约3GB运行内存，即可实现每秒15个以上Token的解码速度，推理速度较传统方式提升约5倍。而1B轻量版本则进一步降低了端侧部署门槛，适用于更多配置有限的设备。目前，MiniCPM-V 4.7已支持iOS、安卓、鸿蒙系统，适配多类芯片平台，并开放了端侧适配代码。据统计，面壁智能联合开源社区推出的MiniCPM系列开源模型全球累计下载量已突破6000万次。此次发布标志着端侧大模型技术路线正发生变化，数百亿参数模型开始尝试进入移动终端。然而，从模型跑通到落地普通消费级手机，仍需解决功耗发热、多平台适配、体验价值验证等问题。未来，端侧大模型有望承载更复杂的多模态理解和智能体任务，减少对云端的依赖。
