当前,人工智能产业正从算力驱动向内存驱动转型,内存资源紧缺成为技术发展的核心矛盾,高性能内存成本占AI服务器总成本的75%。为应对这一挑战,谷歌启动了软硬件协同优化战略:硬件方面,改造退役服务器,使DDR4内存通过转接卡和兼容接口适配依赖DDR5的TPU8i芯片,缓解DDR5供应压力。尽管TPU8i采用分层存储架构,但DDR5短缺仍导致部分AI训练任务不得不降级使用旧代内存。软件方面,谷歌重构底层函数库,改进模型架构和KV缓存压缩算法,使单位算力的内存占用降低30%以上。这场内存危机已引发行业连锁反应,多家云服务商延长DDR4设备使用周期,内存制造商加速扩产,谷歌的应对方案也被更多企业借鉴。
