通信人家园

标题: 打破56年数学铁律！谷歌AlphaEvolve自我进化实现算法效率狂飙  [查看完整版帖子] [打印本页]
时间:  2025-5-19 08:50
作者: tayun     标题: 打破56年数学铁律！谷歌AlphaEvolve自我进化实现算法效率狂飙


数学能力几乎和AlphaGo的围棋水平一样？！

这是研究员对AlphaEvolve的最新评价，就在不久之前，谷歌DeepMind联合陶哲轩等一众顶尖科学家打造了「通用科学人工智能」AlphaEvolve，直接打破了矩阵乘法领域56年以来的效率基准。

一位谷歌前员工更是将这一成就类比为传说中的“神之一手”：





具体而言，4x4矩阵乘法的49次标量乘法效率基准已经持续56年，而AlphaEvolve直接将这个数字改写为48。

别看数字只前进了一小步，但背后所代表的更快的矩阵乘法算法可谓意义重大。

不仅可以解决复杂数学难题，还能用来改进芯片设计、提高数据中心和AI训练的效率。

在谷歌内部使用中，它将Gemini架构中大型矩阵乘法运算加速了23%，从而将Gemini的训练时间缩短了1%，并且还将FlashAttention提速了32.5%。

那么接下来的问题是——

AlphaEvolve是如何做到的？背后藏着哪些核心技术原理？

在AlphaEvolve发布后的第一时间，知名播客《Machine Learning Street Talk》第一时间采访到了其背后的两位核心研究员：Alexander Novikov（左下）和Matej Balog（右下）。





在1个多小时的交谈中，关于AlphaEvolve如何改进矩阵乘法的详细过程、背后的技术原理以及中间遇到了哪些问题来了个一次性大公开。

网友们纷纷表示，很高兴看到更多干货流出~





Okk，以下为重点内容整理。

秘诀在于让AI“完全自由探索”

AlphaEvolve的一大作用，就是推进数学和算法发现的前沿。

其中最重要的成果之一，当属改进了Strassen于1969年提出的算法，它发现了一种使用48次标量乘法来对4x4复值矩阵进行乘法运算的算法。

关于取得这次突破的详细过程，两位研究人员揭示了几个关键环节。

大约两年前，谷歌开发了Alpha Tensor这个专门用于发现矩阵乘法算法的强化学习Agent，其前身就是著名的通用棋类AI“AlphaZero”，而AlphaZero更是在AlphaGo的基础上发展而来。

虽然Alpha Tensor确实能找到一些更快的算法，但使用范围仅限于布尔矩阵（即矩阵中的每个元素只有0或1），对普通实数/复数矩阵无突破。

于是，AlphaEvolve基于Alpha Tensor框架，进一步引入了进化算法，通过迭代生成、评估和优化候选算法来探索更优解。

与人类设计的算法不同，AlphaEvolve不依赖一些预设的“经验法则”或“设计套路”，比如习惯将问题固定分块（几X几），而是完全放开限制自由探索。

之所以这样做，是因为传统算法的“对称性陷阱”可能将搜索空间限制在局部最优（如49次乘法），从而错过更高效但结构非常规的算法。

最终，当研究人员主动让AlphaEvolve搜索复数矩阵乘法算法（比实数更一般化）时，他们意外发现复数算法在实数域同样有效。

因此他们立即扩大搜索空间（更复杂的运算组合），结果找到了一个仅需48次乘法的复数算法，优于Strassen递归的49次，并且该算法也进一步通过了数学验证。

而在突破4x4矩阵乘法算法后，他们还挑战了规模更大的矩阵，如5×5、6×6矩阵。

不过遗憾的是，AlphaEvolve未能超越现有最优解（如6×6因搜索空间爆炸且未引入对称性偏置）。

研究人员表示，这可能是因为更大矩阵需要特定归纳偏置（如对称性）来缩小搜索空间，而AlphaEvolve的通用性在此成为劣势。

换句话说，今后人们还需要在完全开放搜索和约束之间寻找平衡。

但不可否认的是，AlphaEvolve的一大优势在于开箱即用，研究员Matej Balog表示：





AlphaEvolve背后核心技术

AlphaEvolve不是试图生成解决方案，而是像inception一样生成生成解决方案的东西，它能够设计非常先进的算法。

研究人员提到，AlphaEvolve的高级架构是一种进化算法。对于系统提供的任何代码段，都可以自动评价它是否好以及有多好，然后继续迭代。

在这种评估和迭代的循环中，系统能够识别最好的代码，然后将它“喂”给LLM。

Gemini大语言模型体系

AlphaEvolve以Gemini Flash和Gemini Pro模型为基础，同时调用二者的功能。

Gemini Flash用于提升速度，快速处理大量数据、广泛洞察信息，在生成算法代码时，能够快速筛选大量代码片段。

Gemini Pro负责提升深度理解，深入挖掘潜在规律，在筛选的代码片段中选择最符合需求的部分进行整合。

进化算法框架

进化算法是AlphaEvolve实现算法优化创新的核心机制。

借鉴“适者生存”理念，对Gemini 大语言模型生成的多样化代码初始种群的每个算法进行适应度评估，对表现优异的代码保留、变异或组合，投入下一轮优化。

这种选择机制能够确保优质算法的基因被保留，在持续迭代过程中，算法种群的整体性能逐渐提升，逐渐逼近最优解。

研究人员表示，进化算法不仅应用在筛选算法的过程中，还应用于优化提示词上。比如，在改进特定问题之前，会让系统对此问题的提示词本身提出修改建议。

然后在给出的修改后的提示词中精心挑选一组能够更好地实现目标的提示。





自动化评估系统

自动化评估系统是AlphaEvolve对生成算法进行全面量化评价、筛选的关键模块。

通过多维度指标设定、自动化测试执行、评估结果反馈与迭代引导保障算法的持续优化。

研究人员表示，评估指标会有一个非常微妙的限制，他举了一个具体的例子，比如在问题定义中内置时间约束，只关注能够在10分钟之内取得进展的搜索算法，探索算法空间。





系统具备将待评估算法集成到测试环境的能力，通过多场景测试更全面地给出评估结果。

评估结果不仅用于筛选算法，还能为算法的进一步优化提供方向。

比如，某个矩阵乘法算法在准确性方面表现良好，但效率较低，那么后续的优化可能会集中在改进计算流程、减少不必要的计算步骤上。

基于评估结果，自动化评估系统会将表现优秀的算法传递给进化算法模块，作为下一代算法的基础。

异步分布式运行架构

异步分布式运行架构是AlphaEvolve实现高效、灵活算法优化的关键架构。

在进化算法框架中，种群的不同算法可以在异步分布式架构下并行进化，每个计算节点负责种群中的一部分个体。

例如，在与Gemini大模型的交互中，一些节点可以用来生成针对不同问题的算法代码，而另一部分可以用来进行数据优化处理。

在适用度评估过程中，不同的节点可以分别负责计算某个算法在准确率、效率、资源占用等不同指标上的得分。

从算法→模型，形成优化闭环

聊到最后，两位研究人员还总结了有关AlphaEvolve的几个重要发现。

第一，其性能直接受益于基础语言模型的提升。

当前AlphaEvolve主要采用混合模型策略，鉴于模型性能与算法发现效率存在明确正相关，因此未来可进一步提升基础模型能力。

第二，当前已初步实现递归自我改进，即AI已经展现出自我增强的潜力。

一旦将改进后的算法应用到基础模型，最终将形成一个自我优化的闭环。例如一开头提到的，将Gemini架构中大型矩阵乘法运算加速了23%，从而将Gemini的训练时间缩短了1%。

第三，当前实际资源消耗呈现高度灵活性。

具体来说，简单问题几乎能即时解决，而类似矩阵乘法这样的复杂问题往往需数百小时计算，系统目前能自动匹配问题难度调整资源投入。

除了遵循以上发现进行改进，未来还要在核心保持人机协作的同时提升自动化水平，以代替目前人类占主导的情形。

总之，通过以上详细介绍，有网友再次意识到了AlphaEvolve的重要性：






来源：网易

时间:  2025-5-19 09:02
作者: laozhu

神奇的算法



通信人家园 (https://www.txrjy.com/) Powered by C114