搜索
苹果英伟达推动大参数端侧部署 AI PC 迈入千亿参数时代
12 小时前
此前，受硬件限制，端侧难以运行大模型。如今，英伟达RTX Spark和苹果Mac Studio分别实现了1200亿参数和近万亿参数大模型的端侧部署，这标志着个人AI PC正式进入千亿参数时代。二者采用MoE架构搭配高带宽统一内存的技术路径，通过不同产品实现端侧大模型落地，可帮助用户降低云端推理成本、避免敏感数据泄露，满足专业开发者、重度创作者等群体的生产力需求。目前，这类产品价格较高，但随着统一内存技术的推进，成本有望逐渐降低。
