搜索
美团开源万亿参数大模型LongCat-2.0，同步开放国产卡推理代码
3 小时前
/ 阅读约2分钟
来源：凤凰网
美团7月6日开源万亿参数大模型LongCat-2.0，总参数1.6T，针对国产算力芯片优化，已在HuggingFace、GitHub和ModelScope同步上线，旨在验证国产芯片承载能力并推动算力应用。
凤凰网科技讯 7月6日，美团正式开源其万亿参数大模型LongCat-2.0。该模型总参数1.6T，平均激活约48B，架构上引入LongCat稀疏注意力和N-gram Embedding，旨在提升长上下文处理效率与代码理解能力。美团称其为“业界首个在五万卡国产算力集群上完成推理的万亿参数模型”。
针对国产算力芯片显存与带宽受限的特点，LongCat-2.0从模型、芯片适配与部署三方面进行了协同优化：模型层通过稀疏注意力和ScMoE架构缓解I/O与显存压力；芯片适配层利用Super Kernel减少算子启动开销；部署层采用PD分离部署兼顾首Token延迟与每个输出Token的生成时间。开源内容包含BF16、FP8及INT8等多精度版本，以及针对国产算力优化的推理代码。
美团表示，此次开源旨在验证国产芯片承载复杂大模型任务的成熟能力，并推动存量算力在真实场景中的应用。LongCat-2.0已在HuggingFace、GitHub和ModelScope同步上线。
