搜索
英伟达破局 AI 内存瓶颈：HBM 仅增约 3%，每美元智能体吞吐量最高提升 30 倍
18 小时前
英伟达指出，大模型应用快速增长导致GPU显存压力陡增，HBM供应趋紧、涨价态势将持续。为此，公司推出全栈协同设计理念，将GPU、CPU、网络、存储和软件作为整体协同优化，通过低精度格式压缩数据、跨GPU分散放置权重、用CPU内存缓冲上下文、推理软件迁移不活跃上下文、将RAG索引下放至CPU与存储侧等方式破解AI内存瓶颈。相关测试显示，新平台在HBM容量仅小幅提升的情况下，智能体吞吐量较前代平台大幅提升。AI算力竞争的关键已转向每字节、每瓦特能产出的有效token量。
