近日，高通发布了面向AI数据中心市场的高带宽计算架构（HBC，High-Bandwidth Compute），高通表示，该架构可实现更低的单位Token能耗、更高的有效存储带宽，同时降低系统总体拥有成本。

如今，制约大模型落地的核心瓶颈已经不再是算力芯片的算力不够，而是行业反复提及的“内存墙”，过去行业最简单的解法是不断加购显存、堆叠硬件。但到了今年，行业共识已然转向，不再靠硬件堆料硬扛内存墙，而是走软件盘活存量、硬件重构底层两条互补路径，全产业链协同重塑存储与算力的协作逻辑，用巧劲撬开这堵厚重的存储墙。

01 AI推理存储矛盾越发激化

内存墙出现本质是CPU/GPU算力提升速度，远远超过内存读写带宽、延迟的提升速度，算力芯片运算速度快，但数据存取跟不上，处理器大部分时间闲置等待数据，导致算力与存储之间产生的巨大性能鸿沟。

数据显示，2024至2026年，主流大模型参数量暴涨百倍，上下文窗口从万字级拓展至百万字级，但服务器内存带宽年均提升不足15%，远滞后于AI业务增速，软硬件迭代速率的严重错配，让内存资源低效浪费问题全面爆发。

当前AI推理产业面临三重核心存储困境，且无法通过传统硬件扩容解决。一是显存与高端内存资源极度稀缺，单台AI推理服务器的DRAM、HBM消耗量是传统数据中心服务器的十倍以上，全球近六成DRAM晶圆产能被AI集群占用，消费电子与中端服务器产能持续被挤压，HBM更是长期处于锁单缺货状态；二是存储资源利用率极低，传统架构下GPU无法直接调度外部存储，大量低频KV缓存、闲置权重参数持续占用高价HBM显存，推理过程中临时张量、碎片化缓存造成30%以上的内存无效占用，资源浪费严重；三是存储成本居高不下，内存相关支出占据AI服务器硬件总成本一半以上，中小企业因存储门槛无法落地大模型服务，头部厂商也因存储产能限制，难以无限扩容推理集群。

面对这些难题，各大企业都在布局针对性的软硬件存储优化技术，通过精细化调度、数据压缩、架构重构、生态联动全方位破解内存墙桎梏。

02 算法重构存储调度逻辑，盘活存量存储

软件层面革新的核心逻辑只有一个：不新增任何存储硬件，通过压缩、分层调度、跨设备资源复用，盘活服务器闲置内存与闪存，削减高价显存无效占用，落地门槛低、见效快，是当下行业主流过渡方案，市面上各类厂商自研工具、量化算法，都是这套思路的具象落地。

行业统一将KV缓存作为显存消耗核心攻坚对象，优化方向分为两大分支。一是无损低比特量化压缩，跳出传统量化损伤模型精度的局限，依靠数学变换、误差校正机制，在极低比特位宽下维持模型输出效果，直接压缩显存占用、拉高推理吞吐。谷歌推出的TurboQuant是这条路线的典型验证案例，依托极坐标变换与误差校正实现3比特近乎无损KV缓存压缩，实测长文本场景显存占用压缩6倍、推理吞吐提升8倍；英伟达的NVFP4量化套件同样落地该逻辑，3比特档位精度损失控制在0.8%以内，其研究团队还提出一种KVTC（KV缓存变换编码）技术，更是将压缩理论上限推至20倍，进一步印证低比特压缩的优化潜力。

TurboQuant的缓存压缩性能图（来源：谷歌官网）

二是全域分布式分层调度，打通GPU、HBM、主机DRAM、本地闪存、远端存储多层介质，依靠冷热数据自动分流打破单卡显存孤岛，降低硬件综合成本。英伟达的Dynamo 1.0推理操作系统搭配 BlueField-4 CMX平台完整落地这套机制，自研缓存管理、低延迟RDMA传输模块自动区分高、中、低频上下文，温冷缓存下沉至共享存储池，在GB200集群实测MoE模型吞吐最高提升7倍，单位Token硬件成本下降40%；AMD收购的MEXT推出的AI预测内存技术则是补充了闪存扩容分支的落地案例，通过算法抹平闪存与DRAM性能差距，实现可用内存扩容2~4倍、基础设施成本减半，完善了低成本扩容的软件解法。

整体来看，所有软件技术都围绕“存量挖潜”展开，只是厂商基于自身芯片、DPU、处理器硬件禀赋，选择了压缩、集群调度、闪存扩容不同侧重，但底层目标一致。

03 重塑存算物理底层，消耗传输损耗

软件优化仅能在现有硬件框架内做资源再分配，无法突破芯片互联、存储介质的物理上限，想要承载万亿参数模型、大规模AI智能体并行任务，必须重构存算协同底层硬件架构。

当前行业也因此演化分化出三条主线：一是拉高单节点高速存储上限，打造一体化高性能整机集群。核心思路是提升原生HBM规格、新增专用存储硬件分担缓存压力，重构总线通路实现GPU直连外部存储，搭建多层级硬件存储底座。例如，专为破解长上下文KV缓存显存挤占问题打造的BlueField-4 STX专用存储机架，是英伟达Vera Rubin全栈AI计算存储平台中支撑本路线的核心落地方案。整套平台以NVL72 GPU机架作为算力底座，单卡搭载288GB HBM4、单机架合计20.7TB高速显存，留存用于超低延迟实时交互热数据，STX机架则新增独立CMX上下文存储层，作为外置共享缓存池承载海量复用型KV缓存，从硬件层面拆分冷热数据、分流显存负载，相较传统方案集群Token处理效率提升5倍；此外，英伟达与亚马逊联合推出的GIDS直通技术，实现GPU绕开CPU直连SSD，整机有效可用存储硬件扩容16倍，整套分层架构实测证明，依靠外置专用存储池分担显存压力，可稳定支撑百万Token超长上下文、上千智能体并行的高负载推理场景。

二是搭建标准化通用共享内存池，走开放兼容路线。依托通用互联协议打通全品类算力与存储，整合分散内存资源形成统一逻辑池，不绑定自有硬件，适配多品牌混合部署。英特尔以CXL 2.0架构为核心落地该方案，依托至强6代处理器原生协议打通CPU、GPU、FPGA与各类内存介质，联合阿里云、腾讯云、美光完成商业化落地，也是当前跨节点内存共享成熟度最高的方案，用产业生态合作成果验证开放内存池的规模化落地能力。

来源：英特尔官网

三是补齐大容量低成本高速存储介质，构建混合分层存储体系。针对HBM带宽高、容量小、造价昂贵的短板，研发新型高带宽闪存作为中频缓存载体，形成“HBM热数据+HBF中频缓存+普通闪存冷数据” 三级硬件架构。SK 海力士与闪迪联合研发的HBF高带宽闪存是这条路线的核心验证载体，单模块最高512GB，容量为同规格HBM的8~16倍，读取性能远超传统SSD，还能降低成本。

HBF堆叠架构示意图(来源：Tom's Hardware)

与上述三种方式不同，高通近期提出的HBC高带宽计算3D堆叠架构较为新颖，将加速器置于LPDDR堆栈下方，通过TSV直连规避HBM成本。官方数据显示，HBC相较传统HBM实现每瓦带宽提升6倍，对比SRAM达成每瓦容量提升200倍。第一代HBC Gen1搭载于AI250，单卡读写带宽133TB/s，相较AI200带宽提升18倍；新一代HBC Gen2赋能Dragonfly AI300推理加速器，整体性能较AI200提升54倍，单卡每瓦内存带宽相较主流GPU架构高出4至8倍。

业内专家指出，软件算法承担短期降本、缓解显存紧缺的任务，革新的硬件架构打开长期性能天花板，软硬协同、分层混合存储，将是未来很长一段时间破解内存墙的核心产业路径，其影响不止于推理提速、硬件成本下降，更会重塑全球存储供需格局与定价体系，降低中小企业落地大模型的硬件门槛，缓解行业普遍存在的内存资源浪费问题。