谷歌冲破内存墙！新算法内存占用暴砍83%，速度提升8倍！

coffee198375

智东西3月26日报道，昨天，谷歌于发布了一款针对大语言模型键值缓存（KV Cache）的无损极限压缩算法TurboQuant，它能够从根本上解决向量量化中内存开销问题。谷歌称，TurboQuant可将大语言模型键值缓存内存占用至少降至原来的1/6，推理速度最高提升8倍，同时保持100%精确程度。


Cloudflare的联合创始人、CEO兼执行主席Matthew Prince称，谷歌推出TurboQuant堪称“谷歌的DeepSeek时刻”。


向量量化一直是企业为AI数据 “瘦身” 的主流技术，主要用于压缩高维向量、节省内存、提升检索与推理效率。但传统压缩方法通常会引入额外的内存开销（每一小块数据都要单独算、单独存一套完整的“压缩参数”），这些参数很占内存，每个数字都要多占1-2 bit，这样反而会影响向量量化的效果。

谷歌称，此次推出的TurboQuant借助了谷歌提出的1 bit无偏误差校正算法QJL与极坐标量化压缩技术PolarQuant，实现了压缩算法的突破。

谷歌官宣推出TurboQuant后，引发资本市场短期内对该技术会降低存储芯片采购需求的担忧，导致存储芯片板块集体回调。

当天美股盘中，美光股票跌幅超过5%，收盘时下跌3.4%，市值蒸发约151.6亿美元（约合人民币1047.37亿元）。闪迪股票下跌幅度更大，一度超过7%，收盘时下跌3.5%，市值蒸发约36.44亿美元（约合人民币251.75亿元）。韩股收盘时，SK海力士股价下跌了6.23%。