搜索
腾讯混元推出0.3B端侧模型
3 小时前
2月10日，腾讯混元宣布推出面向消费级硬件场景的“极小”模型HY-1.8B-2Bit。该模型基于首个产业级2Bit端侧量化方案，通过2Bit量化技术，将等效参数量压缩至0.3B，内存占用仅600MB，比常用手机应用更小。通过对比原始精度模型，HY-1.8B-2Bit参数量降低6倍，生成速度提升2-3倍，可在边缘设备上无压力部署。该模型采用量化感知训练策略，结合数据优化、弹性拉伸量化及训练策略创新，在数学、代码、科学等指标上表现与4比特PTQ模型相当，实现了“小而强”的设计目标。目前，HY-1.8B-2Bit已在Arm等计算平台上完成适配，可在支持Arm SME2技术的移动设备上高效运行。
