通信人家园

 找回密码
 注册

只需一步,快速开始

短信验证,便捷登录

搜索

军衔等级:

  中将

注册:2016-11-17354
跳转到指定楼层
1#
发表于 2026-3-30 10:55:08 |只看该作者 |倒序浏览
陈骏达 智东西

谷歌干崩内存股的论文,竟被曝出学术不端?

智东西3月29日报道,近日,谷歌的TurboQuant论文引发全网广泛关注。该论文提出的TurboQuant技术,据说能将大模型KV缓存的内存占用压缩至原来的1/6,似乎给当下的“AI存储荒”提供了解决思路,因此一度引发美股多支存储股大跌,市值合计蒸发超过900亿美元(约合人民币6220亿元)。

然而,反转也来得很快。3月27日,苏黎世联邦理工学院计算机博士后、RaBitQ论文作者华人高健扬发布文章,指出谷歌的TurboQuant论文存在三大问题:系统性地回避了其与已有RaBitQ方法(2024年发布)的相似性,错误描述了RaBitQ的理论结果,并刻意营造不公的实验环境。

640?from=appmsg#imgIndex=2
▲高健扬在知乎上发表的澄清文章

并且,谷歌TurboQuant团队可能还存在“知错不改”的嫌疑。高健扬称,早在2025年5月,在TurboQuant论文正式投稿至ICLR 2026之前,RaBitQ团队已经向作者指出了论文存在的问题,TurboQuant团队承认了相关问题,但选择不予修复。

640?from=appmsg#imgIndex=3
▲高健扬在X平台上发表的推文

今天下午,高健扬更新了知乎帖子,称他们仅收到TurboQuant论文第一作者Amir Zandieh的笼统答复,承诺会修正对RaBitQ理论结果的错误描述和实验环境差异,但拒绝在文中讨论TurboQuant与RaBitQ在技术上的相似性。

并且,TurboQuant团队仅愿意在今年4月ICLR 2026正式会议结束之后才做相应修正。

高健扬称,他决定此时公开说明这一事件,是因为错误的学术叙事一旦广泛传播,纠正的成本会越来越高。

高健扬在知乎上发布的公开澄清文章:
https://zhuanlan.zhihu.com/p/2020969476166808284?wechatShare=1&s_r=0

01.
KV缓存砍至1/6、推理提速8倍
TurboQuant具体做了什么?

在厘清事实之前,我们需要首先看看谷歌的TurboQuant究竟提出了什么方法。

向量量化一直是AI数据“瘦身”的主流技术,主要用于压缩高维向量、节省内存、提升检索与推理效率。但传统压缩方法通常会引入额外的内存开销,反而会影响向量量化的效果。

谷歌提出的TurboQuant是一种无损极限压缩算法,该算法主要通过两个关键步骤,在实现零精度损失的同时大幅缩小模型尺寸。

640?from=appmsg#imgIndex=4
▲TurboQuant博客

第一步是高质量压缩(PolarQuant方法)。TurboQuant首先对数据向量进行随机旋转。这一操作能够简化数据的几何结构,从而便于使用标准且高质量的模型量化器。

通过这一阶段,TurboQuant能够将大部分压缩能力(即多数比特)用于捕捉原始向量的主要特征和强度。

第二步是消除隐藏误差。TurboQuant仅用少量剩余压缩能力(仅1比特),对第一阶段残留的微小误差应用QJL算法。QJL阶段相当于一个数学误差检查器,能够消除偏差,从而获得更加精准的注意力评分。

QJL采用一种了称为“Johnson-Lindenstrauss变换”的方法,缩小复杂、高维数据,同时保持数据点之间的基本距离和关系。

实验中,谷歌称TurboQuant在所有基准测试中均达到了“完美的下游任务表现”,同时将KV缓存的内存占用减至1/6。

640?from=appmsg#imgIndex=5
▲TurboQuant基准测试结果

使用TurboQuant计算注意力逻辑值后,在H100 GPU加速器上,4比特TurboQuant相比32比特未量化的键值实现了高达8倍的性能提升。

640?from=appmsg#imgIndex=6
▲TurboQuant性能测试结果

02.
RaBitQ论文作者完整复盘:
去年就已提出质疑,TurboQuant团队不回邮件

TurboQuant论文在3月25日被“Google Research”官方账号转发后,获得了海量关注。然而,这篇论文与2024年5月由高健扬等人发布RaBitQ论文,有不少说不清道不明的联系。

高健扬在他发布的知乎帖子中回顾了相关争议的完整时间线:

640?from=appmsg#imgIndex=7
▲高健扬回顾事件完整时间线

可以看到,在2024年,RaBitQ团队就陆续发布了论文的预印本和扩展版,同时开源了相关代码。这篇论文还发表在顶级会议SIGMOD上。

2025年1月,TurboQuant论文第二作者Majid Daliri与RaBitQ团队取得联系,请求协助调试Python版RaBitQ实现,三个月后TurboQuant论文在arXiv发布。

TurboQuant发布后,RaBitQ团队很快发现了TurboQuant团队针对RaBitQ采用了不同的实验条件,然而TurboQuant团队在被要求修改事实性错误后,采取了消极态度,停止回复邮件。

2025年11月,TurboQuant论文被提交至ICLR 2026,相关错误并未修改,RaBitQ团队联系ICLR 2026后也未获得回应。

在高健扬看来,TurboQuant论文至少存在三个问题。

问题一:系统性地回避TurboQuant方法与已有RaBitQ方法的相似性

RaBitQ与TurboQuant在方法层面有直接的结构联系,两者都在量化前对输入向量施加随机旋转(Johnson-Lindenstrauss变换)。这是两篇论文方法设计中最核心、最接近的部分。

对于这一质疑,TurboQuant团队曾回复道:“随机旋转和Johnson-Lindenstrauss变换已成为该领域的标准技术,我们无法列举所有使用这些方法的方法。”

高健扬认为这一回应是在转移矛盾:作为在相同问题设定下,率先将随机旋转(Johnson-Lindenstrauss变换)与向量量化结合、并建立最优理论保证的先行工作,RaBitQ应当在文中被准确描述,其与TurboQuant方法的联系应当充分讨论。

问题二:错误描述RaBitQ的理论结果

高健扬称,TurboQuant论文在不提供任何论据的情况下,将RaBitQ的理论保证定性为“次优”,将原因归结为“较粗糙的分析(loose analysis)”。

然而,RaBitQ的误差界实际上已经达到了理论计算机顶级会议论文(Alon-Klartag,FOCS 2017)给出的渐近最优误差界,并因这一结果被邀请至理论计算机科学顶级会议FOCS的Workshop进行报告。

2025年,RaBitQ团队与TurboQuant的第二作者Majid Daliri进行了多轮详细的邮件技术讨论,澄清TurboQuant团队对RaBitQ理论结果的错误解读,然而相关错误定性一直未被修正。

问题三:刻意创造不公平的实验环境

TurboQuant团队在测试RaBitQ和TurboQuant时采用了不同的实验设置。

具体来看,TurboQuant团队使用单核CPU、关闭多线程并行的设置来测试RaBitQ算法,但却使用英伟达A100 GPU测试TurboQuant算法。

TurboQuant团队还使用了自己翻译的Python代码,而非RaBitQ团队开源的C++实现,前者的效果要差于后者。
同时,以上两点差异均未在论文中充分披露。

03.
论文评审发帖:
只提一次RaBitQ,我是震惊的

RaBitQ团队的维权,获得了一些网友和学术圈人士的声援。

TurboQuant论文的一位评审者在公开的学术论文评审平台OpenReview发表评论,称他虽然认为TurboQuant的理论分析和实验结果都很出色,但是也发现这一方法与RaBitQ存在明显的共通之处,并要求TurboQuant团队比较两者在设计上的差异如何影响性能。

然而,在查看TurboQuant的最终版本时,他惊讶地发现在论文的实验部分RaBitQ仅被提到了一次。

640?from=appmsg#imgIndex=8
▲TurboQuant论文评审谈这篇论文的问题

在知乎上,有位网友称自己去年读TurboQuant论文时,就感受到其与RaBitQ的相似之处,更像是把RaBitQ换了一种表达方式,在GPU上实现一遍,创新性不够。

640?from=appmsg#imgIndex=9
▲知乎网友评论TurboQuant创新性问题

还有网友称,自己复现了TurboQuant,发现至少在向量检索领域TurboQuant的召回率低于RaBitQ。

640?from=appmsg#imgIndex=10
▲知乎网友质疑TurboQuant复现结果

X平台上,有网友评价道,在论文提交前问题就被指出,但却被忽略,这是最糟糕的结果。这意味着TurboQuant团队明明意识到问题存在却故意保留了下来。虽然同行评审流程应该能发现这些问题,但ICLR的接收并不总是意味着技术论断站得住脚。

640?from=appmsg#imgIndex=11
▲X平台网友评价TurboQuant涉嫌学术不端事件

04.
结语:顶会论文、大厂标签不是护身符
学术叙事不容“带病传播”

截至目前,TurboQuant与RaBitQ之间的争议尚未有官方定论。然而,学术研究的核心在于“可追溯”与“可复现”。当一篇论文被顶级会议接收,并通过大型科技公司的渠道获得千万级曝光时,其技术叙事的影响力已远超学术圈本身,甚至波及资本市场。

在这种情况下,对先行工作的准确引用、对实验条件的完整披露、对质疑的及时回应,便不再是可有可无的环节,而是维护学术共同体公信力的基本责任。

目前,RaBitQ论文团队已向ICLR官方再次提交正式投诉和完整证据包。未来,他们还考虑在arXiv上发布详细技术报告,进一步呈现两项研究的关系。

无论结果如何,它都再次提醒我们,对学术规范的敬畏、对先行者的尊重,以及对每一份实验数据的诚实,始终是不可逾越的底线。

举报本楼

本帖有 5 个回帖,您需要登录后才能浏览 登录 | 注册
您需要登录后才可以回帖 登录 | 注册 |

版规|手机版|C114 ( 沪ICP备12002291号-1 )|联系我们 |网站地图  

GMT+8, 2026-3-30 18:03 , Processed in 0.154896 second(s), 20 queries , Gzip On.

Copyright © 1999-2025 C114 All Rights Reserved

Discuz Licensed

回顶部