OpenAI底层AGI技术被曝光！前研究主管豪言：从此再无新范式

ttxx

新智元报道

编辑：KingHZ

【新智元导读】不是更大模型，而是更强推理、更像人！AGI离落地，还有多远？OpenAI前研究主管表示，AGI所需突破已经实现！

AGI所需突破已经实现！

OpenAI前研究主管Bob McGrew公开表示：AGI的「技术拼图」已经齐全，关键在于如何将推理能力落地，并重塑价值创造路径

作为研究主管，他见证了OpenAI从GPT-3的突破到如今推理模型的演变。

他认为，实现通用人工智能 (AGI) 的三大支柱是：

Transformer、规模化预训练和推理。

AI能力持续增强。在过去五年中，技术发展迅猛、令人兴奋。

而且这一趋势仍在延续，他认为并不存在所谓的「技术墙」。

在红杉的「训练数据」(Training Data)系列播客中，他分享了关于AI的洞见。

AGI拼图已现

「除了预训练、后训练、推理这三部分外，未来可能不会再出现根本性突破。」

Bob McGrew的这个观点可能有争议。

但如果穿越到2030年， 总结实现更高智能（也许是AGI，也许是其他形式）所需的根本概念。

他认为，最终会得出全部关键点：

1. 基于transformer的语言模型；

2. 大规模预训练（比如GPT-1和GPT-2）；

3. 推理能力的引入与不断提升；

4. 越来越多的多模态能力。

他甚至认为，到了2035年，我们仍然不会看到这些之外的新趋势。为什么这么认为？

回到2020年，那时GPT-3刚训练完成。可以想象一下当时OpenAI的情景：模型还未发布，但已经知道它带来了「划时代的变革」。

Dario Amodei、Ilya Sutskever、Alec Radford等一群人围坐在办公室，盯着这个模型。他们很清楚接下来的路线图是什么：

• 从GPT-3到GPT-4，预训练规模必须扩大；
  
• 必须增强多模态能力，最终发展出能使用电脑的模型；
  
• 开始探索「测试时计算」（test time compute）。
  
  

所以Bob认为，从现在起大家会继续扩大、改进和打磨这三个概念。这非常难，需要大量智慧和努力。但若干年后再回头看，我们不会看到有其他新出现的根本性技术趋势。

他认为如果错了，那未来将更加精彩。但现在，他觉得他是对的。

为什么说今年是推理之年

我们正处在AI发展的关键节点，见证了预训练、后训练与推理三者的融合。

而2025年是「推理之年」。

推理是种新技术。从2023年9月的o1-preview，到六个月后的2024年4月发布o3，仅用了六个月，期间进展迅猛。

同时，OpenAI多年开发的推理能力，正在向Google、DeepSeek、Anthropic等公司扩散——只在短短几个月内就实现了。

这说明，推理是各大实验室今年的重点方向。

而且推理模型领域目前还有很多成果，唾手可得。例如，o1-preview与o3之间最大的区别在于：

前者无法使用工具，而后者则能在「思维链」（Chain of Thought）中调用工具。

在训练o1时，OpenAI就知道推理很值得做，但实现起来很难，最终他们用了六个月将其开发并发布。

但推理的下一步并不直观。


随着推理能力趋于成熟，技术潜力也将逐渐被「消耗殆尽」。因此，进展的速度可能会放缓，不再像前期那样迅猛。

预训练

地位仍在，但角色转型

许多人说：「预训练正面临瓶颈」「Scaling Law即将终结」……

但Bob认为：「预训练仍然重要，但收益递减。」

之所以会出现收益递减，是因为模型的智能增长与所投入的算力呈对数线性关系——也就是说，要提升一定幅度的智能，就必须成倍增加算力。

本质上，预训练是规模巨大、耗时持久的训练过程，要用整个数据中心持续运行好几个月。而当要训练下一个新模型时，通常要在多个数据中心上完成。

这可以依赖一些算法效率的提升，但从根本上说，必须等新的数据中心建成。这无法像推理那样在六个月内完成改进，而是需要数年的时间。

不过，这并不意味着预训练无用。

2025年，预训练的真正杠杆在于架构的改进。

即使正在重点开发推理能力，仍然希望改进预训练，提高推理时的效率、支持更长的上下文或更好地利用上下文。而要做到这些时，就必须从头开始，在新架构上重新进行预训练，然后再进入整个推理优化流程。

所以，预训练仍然重要，但它在整个流程中扮演的角色已经发生了变化。

后训练

模型的人格

预训练和推理的目标是提升智能。在这两个环节中，有明确的「Scaling Law」：

投入更多算力，就能获得更高的智能。

后训练不提升智能，而是塑造模型的「人格」，与「智能」完全不同。

本质上，智能是「薄问题」（thin problem），只要做得更好，它的适应能力和泛化能力就会提升，几乎可以迁移到任何任务上——

比如你在数学上做得更好，就能更好地应对法律推理问题。

但「模型人格」是「厚问题」（thick problem）。

这需要去思考：「我希望这个智能体表现出什么样的个性？我希望它如何行动？」更像是人类多年与他人互动的成长过程。

而如何将人类对「好人格」的定义，转化为真实、吸引人的AI人格，这本身就非常难，值得深入研究。

这需要像OpenAI的Joanne Jang（下图左）或Anthropic的Amanda Askell（下图右）之类的「产品经理」，专门去设计模型人格。

她们对人性有非常深刻的理解。

推理演进路径与挑战

推理为何关键？

主持人Sonya Huang对推理很感兴趣。

而OpenAI似乎很早就坚定地押注在这个推理范式上，可能比其他实验室都要早。

所以她问了Bob一个问题：「最初OpenAI为什么会对推理下注这么重？」

Bob McGrew认为推理是AGI缺失的关键拼图。

预训练可以让模型对问题有一种「直觉式的理解」。

但如果让人马上去计算2个五位数的乘法，对一般人来说完全做得到，但不能立刻得到准确结果。因为人类天生就需要「在回答前思考」——

人类需要「草稿纸」，慢慢推导。这就是早期模型（甚至包括GPT-3）所不具备的能力。

后来OpenAI开始关注到一些公开实验的启示——比如「逐步思考」（step by step thinking）、「思维链」（chain of thought）等概念。

OpenAI意识到模型可以自己引导推理过程，而不是仅仅模仿人类如何思考的样本。这种能力非常强大，而且可以被训练出来。

他们知道这会比单纯的预训练更具潜力，因为：

• 人类的思维是在脑子里的，不是模型能直接获取的数据；
  
• 公开的数据几乎都是「最终答案」，模型看不到中间推理过程；
  
• 所以模型必须自己推导出「思考的方式」。
  
  

这就是为什么OpenAI如此看重推理。

之前，Bob提到：「我们尚未揭示完全推理。」

主持人Stephanie Zhan继续追问道：「我们现在对推理理解得足够了吗？还是说还处在早期研发阶段？」

Bob McGrew认为行业一线依旧能看到大量新想法和细节上的改进，但局外人已经看不懂了。

现在，很多进展已经不会公开出现在论文中了。

就像以前，学术界还能做出很大的突破。但后来，当Bob再看到学术论文时，他会想：「哦，这个我们早就做过了，他们刚刚又重新发现了一次。」

如今，投入到这个方向的精力已经非常巨大。

因此，确实还有很多东西可以探索，但它们已经不是三言两语可以讲清楚的点子了。

参考资料：

https://www.youtube.com/watch?v=z_-nLK4Ps1Q

https://www.sequoiacap.com/podcast/training-data-bob-mcgrew/

来源：网易