搜索
英伟达提出 AI 内存全栈协同设计方案，Vera Rubin 平台推理吞吐量最高提 30 倍
2 小时前
英伟达指出，受AI模型规模扩大等因素影响，GPU内存压力持续上升，HBM供应趋紧、价格上涨。公司提出通过GPU、CPU、网络、存储及软件协同设计提升内存使用效率，而非单纯增加GPU内存容量。具体措施包括：以低精度格式压缩模型权重和KV Cache，将不活跃上下文转移至低成本存储层，以及多GPU分布式部署，从而释放HBM空间。测试数据显示，GB300 NVL72在特定工作负载下单位成本推理吞吐量最高为H200平台的10倍；Vera Rubin NVL72相较GB300 NVL72单位成本推理吞吐量最高提升30倍，而单GPU HBM容量仅增加约3%。
