搜索
Google扔出技术核弹 内存需求将崩塌?
6 小时前
全球AI算力竞赛迎来重大技术突破！近日，Google发布的全新AI内存压缩技术TurboQuant引发业界轰动。该技术宣称可在不牺牲模型精准度的前提下，将生成式AI推理阶段最耗资源的键值缓存（KV Cache）内存需求锐减至原来的1/6，同时使计算速度飙升8倍。TurboQuant通过PolarQuant与QJL两项核心技术，实现了对高维向量的高效压缩与误差修正，从而在保持模型性能的同时，显著降低了内存占用。这一突破不仅有望缓解当前AI基础设施面临的内存短缺问题，还可能大幅降低AI运行成本，推动AI应用的普及与规模化部署。
