最近，苹果再次发文指出LLM推理的根本缺陷。相关解读，一夜刷屏。然而，GitHub高级软件工程师怒不可遏，怒斥相关「流言」。
最近，苹果公司发表了预印本论文，指出推理大模型存在重大缺陷。
昨天，Ruben Hassid发布了相关解读的X帖子，认为这是项突破性研究：
苹果证明了Claude等AI推理模型，根本不会思考。
这种解读在社交平台上广泛传播，浏览量已超过1000万，且仍在持续增长。
但这种解读翻车了！
在Reddit和黑客新闻，网友纷纷表示论文争议太大。
GitHub高级工程师Sean Goedecke，对该论文持保留态度，尽管他也认为语言模型不是通往超级智能（ASI）的理想路径。
最直接的例证是：当用DeepSeek-V3测试时，模型直接拒绝了要执行上千步的谜题推演
——这并非推理能力崩溃，反而说明模型具备对自身能力边界的认知！
值得注意的是，「深度学习三巨头」Yoshua Bengio的兄弟Samy Bengio也参与了这次的研究。
虽然Samy没有获得图灵奖，声望不及Yoshua，但其在谷歌学术上的引用次数已超过九万次，是Jeff Dean等知名学者的合作者。
这也不是苹果第一次指出LLM推理有问题，但这次在各大社交平台上得到了广泛传播。
那么苹果的新论文到底展示了什么？我们又该如何看待语言模型？
要理解这场争议的核心，我们先看看苹果论文到底说了什么。
苹果到底说了什么？
这篇论文开篇就提出，在数学和编程基准测试中，大家不要太在意推理模型的表现，因为：
（a）这些基准测试存在污染；
（b）在数学和编程任务上，无法运行高质量实验，因为这些任务缺乏简明的复杂度量标准。
因此，苹果的研究团队选择使用四种人工谜题（puzzle）环境（汉诺塔的变体），再次评估了推理模型，难度从最简单的单盘汉诺塔逐步上升到二十盘汉诺塔。
汉诺塔（Tower of Hanoi）是根据一个传说形成的数学问题：
有三根杆子A，B，C。A杆上有N个（N>1）穿孔圆盘，盘的尺寸由下到上依次变小。
要求按下列规则将所有圆盘移至C杆:
（1）每次只能移动一个圆盘；
（2）大盘不能叠在小盘上面。可将圆盘临时置于B杆，也可将从A杆移出的圆盘重新移回A杆，但都必须遵循上述两条规则。
问题为：应该以何种方式移动？最少要移动多少次？
例如，他们对比了非推理模型DeepSeek-V3与推理模型DeepSeek-R1：
这个对比模式在所有推理/非推理模型对、以及所有谜题任务中基本一致。
论文得出以下几个核心结论：
对非常简单的谜题，非推理模型表现相当甚至更好，因为推理模型有时会「想太多」而导致错误。
对中等难度的谜题，推理模型明显更强。
一旦任务复杂度足够高，即使是推理模型也无法给出正确答案，不管你给它多长时间。
接下来，论文分析了推理模型的内部思维轨迹，验证了上述结论：
在简单问题中，正确答案几乎立刻出现；
在中等问题中，需要更多推理步骤；
而在最困难的问题中，则根本不会出现。
论文还指出，随着问题复杂度增加，一旦模型无法解决问题，开始「躺平摸鱼」：
模型不会继续投入更多token来解题，而是直接「放弃」，停止推理。
最后，论文尝试直接将正确的谜题求解算法输入模型，期望这能提高其推理能力。
结果只是「有一点用」：部分模型可以多解出一个盘，但整体效果并不显著。
总结来看，该论文得出以下结论：
推理模型存在复杂度「天花板」，一旦超出，性能明显下降。
推理模型可能存在「内在计算扩展上限」，证据是：模型在达到一定复杂度时，会选择放弃。
推理模型不擅长计算性任务，因为即使将算法直接给它们，也没用。
这样理解：不对
对苹果的这篇论文，Sean Goedecke有三大质疑：
首先，汉诺塔这类谜题不是判断「推理能力」的好例子；
其次，推理模型的复杂性阈值，不一定是固定的；
最后，存在复杂度阈值≠模型「并不真正具备推理能力」。
谜题不是好例子
相比数学和编程，汉诺塔是一个更糟糕的推理测试案例。
如果担心数学和编程基准测试存在训练数据污染，那为何选择训练数据中存在解法的知名谜题？
这是Sean Goedecke对论文最主要的不满。
论文却得出结论「给模型提供解法，也没有提高效果」。
这件事让他感到惊讶：
汉诺塔算法在模型训练数据中反复出现。
所以，给模型算法帮助当然不大——
模型早已经知道算法是什么了！
另外，推理模型是有针对性地被训练用于数学和编程任务的，而不是用于谜题。
也许谜题在某种程度上可以代表推理能力，但也可能根本不相关。
从另一个角度，他完全可以相信：模型在处理数学题或写代码时具备更完善的内部工具链，而不具备用于谜题的工具。
用谜题来测推理能力，等同于说「GPT-3.5之后，写彼特拉克式十四行诗没有明显进步，所以语言模型并没真正取得进展」。
彼得拉克式十四行，又称意大利十四行诗。诗标准意式十四行诗由14个十一音节诗行组成，分为前后两部分：前八行（octave）与后六行（sestet）
汉诺塔确实比数学问题更容易缩放复杂度，但正因为这个原因就选它，给人一种「路灯效应」的感觉
——不是因为它最好，而是因为它最方便。
路灯效应，指人们倾向于只在最容易寻找的地方进行搜索
复杂度阈值未必固定
假设语言模型在超过一定复杂性点后确实会放弃，就像它们在超过十个盘子的汉诺塔时一样。
换言之，假设之前对谜题作为测试例子的质疑是错误的，而苹果的论文确实具有普适性。
那么，这是否意味着模型无法处理超出某一复杂度的问题？
Sean Goedecke将苹果论文中的一些提示词输入DeepSeek-R1，以下是简化版的推理轨迹开头：
好的，我需要解一个有10个盘的汉诺塔问题。
让我思考如何处理这个问题。我记得经典解法是递归步骤……
n个盘的标准解法需要2^n-1步。对于10个盘是1023步。但手动列出每一步几乎不可能。
所以我需要一种系统化方法来逐步列出每一步。让我回忆一下汉诺塔的迭代解法……
请注意，模型立即决定「手动生成所有这些步骤是不可能的」，因为这需要跟踪上千个步骤。
于是它开始寻找「聪明的捷径」，但最终失败。
这里的关键见解是，超过一定复杂性阈值后，模型决定有太多的步骤需要推理，于是开始寻找巧妙的捷径。
模型所面对的任务其实已悄然转变：从「逐步推理完成」变为「发明一种能跳过推理的通用方案」。
从测试来看，即使在较低的盘子数量下，DeepSeek-R1也会抱怨几句，说「这会很繁琐」，即使你明确要求它逐步列出解法。
这是可以理解的：推理模型是为推理而训练的，不是为执行数千次机械步骤而训练的。
那么，对于汉诺塔谜题来说，真的存在复杂性阈值吗？
实际上，大家并不知道模型是否能够坚持完成千步序列。
我们所知道的是，模型不想这样做。
顺带一提，这也解释了一个「奇怪」的发现：
当问题变得更难时，模型使用的推理token反而减少。
因为任务如果只需几十步，它会积极推理；如果需要几百甚至上千步，它就选择放弃。
注意：Sean Goedecke没有访问其他推理模型轨迹的权限——
如果它们表现不同，那么他愿意承认在这个观点上他是错误的。
复杂任务失败≠0推理能力
假设到目前为止的一切都是错误的：
谜题真的是测试推理的好例子，推理模型真的有个固定的复杂性阈值。
这是否意味着模型不能推理？
当然，这并不意味着模型不能推理！
当然不是！
看到网络上的一些热评，Sean Goedecke情难自禁，简直要疯了。
多少人能真正坐下来，准确写出一千步的汉诺塔解法？
肯定有一些人可以，但也有很多人完全不行。
我们会因此说那些人「不具备推理能力」吗？
当然不会！
他们只是缺乏足够的耐心与专注，从而无法做到手动执行一千次算法而已。
即便只能推理到第十步，未能完成第十一步，也依然体现了推理能力。
能推理三步，也依然是推理，哪怕你无法看清第四步。
这也许不是「超人级」的推理，但绝对属于人类推理能力。
严格说来，这对论文可能不太公平——
它本身并没有明确说模型「根本不能推理」（除非你把标题当真）。
然而，互联网上这么说的人太多了，所以他认为值得讨论一下。
总结
苹果的论文《思维的幻觉》，不是特别好。
Sean Goedecke的主要反对意见是，他不认为推理模型像论文暗示的那样不擅长这些谜题：
从我自己的测试来看，模型早早决定几百个算法步骤太多，甚至不值得尝试，所以它们拒绝开始。
你不能比较八盘汉诺塔和十盘汉诺塔，因为你比较的是「模型能否完成算法」和「模型能否想出一个避免完成算法的解决方案」。
更加一般性地，他不相信谜题是评估推理能力的好试验场，因为
（a）它们不是人工智能实验室的重点领域，
（b）它们需要像计算机一样遵循算法，而不是需要解决数学问题的那种推理。
Sean Goedecke认为，推理模型并非像论文暗示的那样不擅长这类谜题。
在他的测试中，模型在面对上百步算法时，往往主动放弃，而非能力崩溃。
他强调，放弃并不意味着无法推理——
就像人类在面对高度重复、枯燥任务时也可能选择中止。
这种行为更多体现的是认知边界，而非思维能力的缺失。
因此，他不认同将「未完成复杂任务」等同于「不具备推理能力」的观点。
这篇论文并非一无是处，Sean Goedecke认为它有下列亮点：
推理模型在简单问题上有时会「想太多」，表现不如非推理模型，这一点很有趣；
模型在长算法执行过程中「放弃」的现象也很有意思，尽管它可能并不能很好地说明其普遍推理能力；
他喜欢「问题三阶段」这一观点：简单、中等可推理、以及复杂到模型会放弃的阶段。如果某种模型可以被训练成「永不放弃」，那将非常有趣。
无论如何，苹果的研究提供了重要提醒：
当前语言模型的推理能力远非「通用智能」。
那么，该如何定义「推理」？
又如何测试「思维」？
这可能是下一代AI必须直面的核心问题。
参考资料：
https://www.seangoedecke.com/illusion-of-thinking/
https://www.linkedin.com/feed/update/urn:li:activity:7337332564367462400/
https://x.com/RubenHssd/status/1931389580105925115
https://www.reddit.com/r/MachineLearning/comments/1l5hzhs/r_apple_research_the_illusion_of_thinking/
https://news.ycombinator.com/item?id=44203562
来源：36kr
| 
18
发表于 2025-6-10 11:05:23