搜索
阿里通义发布 Qwen3.8-Flash 模型：125B 参数，训练成本仅为前代 1/9
7 小时前
阿里通义千问团队近日发布了多模态混合专家（MoE）模型Qwen3.8-Flash，并开源了Qwen3.8-Flash-Next的权重，该模型被视为Qwen4系列的雏形。Qwen3.8-Flash主模型拥有1250亿参数，搭配510亿N-gram嵌入，每token激活60亿参数，原生支持262144个token的上下文，并可扩展至100万个token。该模型在注意力机制、残差连接、嵌入层和优化算法四个方面进行了升级，训练成本仅为Qwen3.7-Plus的九分之一，编码和办公能力显著提升，在14个基准测试中的8个取得了最优结果。Qwen3.8-Flash即将在千问AI平台上线，提供API服务，模型权重已在Hugging Face和ModelScope开源，并同步发布了FP8量化版本。
