搜索
阿里发布下一代基础模型架构Qwen3-Next
3 天前
阿里推出了下一代基础模型架构Qwen3-Next，并开源了基于该架构的Qwen3-Next-80B-A3B系列模型。相较于Qwen3的MoE模型结构，Qwen3-Next进行了多项核心改进，包括引入混合注意力机制、采用高稀疏度MoE结构、实施一系列训练稳定友好的优化措施，以及采用提升推理效率的多token预测机制。Qwen3-Next-80B-A3B-Base模型拥有800亿参数，激活参数为30亿，其性能与Qwen3-32B dense模型相近甚至更优，而训练成本却不到Qwen3-32B的十分之一。
