Google新演算法 吓趴存储器
5 小时前 / 阅读约3分钟
来源:集微网
Google发表TurboQuant压缩演算法,仅需六分之一存储器即可运作大型语言模型,性能提升八倍,引发市场对存储器需求转弱疑虑,导致全球存储器与存储类股大跌。

Google发表最新“TurboQuant”压缩演算法,标榜仅需六分之一的存储器数量,就能运作大型语言模型(LLM),且性能能提升八倍,导致存储器需求转弱疑虑四起,吓坏市场投资人,进而引爆全球存储器与存储类股卖压。

美股存储器与存储类股率先倒地,美光、晟碟25日领头杀,一度重挫逾5%,收盘均跌超过3%,威腾也收黑,三家公司26日早盘续跌逾2%。

相关恐慌蔓延至亚股,南韩存储器双雄三星、SK海力士26日分别大跌4.7%、逾6%;在日本挂牌的铠侠也下挫超过5.7%。台湾存储器族26日早盘受南亚科引资四大科技巨头激励,普遍开高,南亚科(2408)更跳空涨停开出,但盘中涨停打开,尾盘翻黑跌1元收225.5元,群联、华邦、旺宏、威刚、十铨、晶豪科等人气股也都收黑。

TurboQuant问世,不少人视为是解决LLM高昂运作成本的重要里程碑,主因其锁定解决AI系统中的“键值快取”(KV Cache)瓶颈而设计,将原本占用大量空间的缓冲存储器压缩至3位元(bit)。

但这同步引发市场对这波因AI拉动存储需求暴增,掀起的存储器缺货大涨价退潮疑虑,进一步演变成市场“存储器股大逃杀”。

有消息指出,TurboQuant震撼业界,主因该演算法采“量化压缩”,让原本只有顶级电脑才能跑的AI,进化成手机或一般笔电都能跑出推论成果。这就像原本影片都输出4K等级,现在换成HD高画质输出即可,如此一来LLM所需空间少了75%,运作速度却快了两、三倍,对存储器、GPU的负担都相对减轻。

Google称此技术对硬体需求相对友善,在运作时会先关注整组数据的使用状况,区分重要“绝对不能改”的项目以及次要“大概就可以”的部分,将资源优先放在重要分类,确保推论的精准度,将次要部分省略或精简。

Google Research在官方部落格与相关学术论文指出,TurboQuant在将资料压缩成3.5位元(比原本细致度缩减75%以上)的情况下,依然能达到 “零精度损失(Zero Accuracy Loss)”。且因为TurboQuant有效挪出记忆空间,AI可以“记住”更长的上下对话内容而不容易出错。