搜索
0Day 极速适配 华为昇腾支持 2.8 万亿参数 Kimi K3.1 Pro 部署
2 小时前
月之暗面发布Kimi K3.1 Pro完整模型权重后，华为昇腾当日完成0Day推理适配，可直接开展部署验证。该模型为2.8万亿参数MoE混合专家模型，原生支持视觉理解，具备百万token超大上下文窗口，在代码编写、3D创作、金融分析、长文档处理等任务上较上代明显提升。模型采用混合线性注意力架构并新增稀疏注意力模块，对算子、缓存、多卡通信均有针对性调优需求。本次适配覆盖Atlas 800 A3、Atlas 900 A3 SuperPod、昇腾950超节点硬件，依托vLLM Ascend、SGLang两套推理框架实现。昇腾团队基于此前Kimi K3适配经验，提前分析模型结构，完成新增稀疏注意力与多模态推理相关适配；通过分布式缓存将缓存分散至多NPU卡以减轻单卡显存压力，改造核心算子减少冗余数据拷贝与无效计算，提升硬件利用率。部署支持直接加载原生权重，也可开启分模块差异化低比特量化搭配注意力缓存量化，降低显存占用、节省硬件资源。原有前缀缓存、分块预填充、投机推理等能力全部保留，开发者无需改变使用习惯即可将模型接入现有推理服务，官方已发布两套框架对应的部署文档供查阅。
