AlphaEvolve：一款由 Gemini 驱动的编码代理，用于设计高级算法
新型 AI 代理通过结合大型语言模型的创造力与自动评估器，为数学和计算中的实际应用演化算法
大型语言模型（LLM）功能极为多样。它们可以总结文档、生成代码，甚至头脑风暴新想法。如今，我们已将这些能力扩展至针对数学和现代计算中的基础且高度复杂的问题。
今天，我们宣布推出 AlphaEvolve，这是一款由大型语言模型驱动的进化式编码代理，用于通用算法的发现与优化。AlphaEvolve 将我们 Gemini 模型的创造性问题解决能力与验证答案的自动评估器相结合，并采用进化框架来改进最有前景的想法。
AlphaEvolve 提升了 Google 数据中心的效率、芯片设计和 AI 训练流程——包括训练支撑 AlphaEvolve 自身的大型语言模型。它还帮助设计了更快的矩阵乘法算法，并为开放数学问题找到了新的解决方案，在众多领域的应用前景令人惊叹。
利用大型语言模型设计更好的算法
2023 年，我们首次展示大型语言模型能够生成用计算机代码编写的函数，以帮助在一个开放科学问题上发现新的且可证明正确的知识。AlphaEvolve 是一款能够超越单一函数发现，演化整个代码库并开发更复杂算法的代理。
AlphaEvolve 利用一组最先进的大型语言模型：我们最快、最高效的模型 Gemini Flash 最大化探索思路的广度，而我们最强大的模型 Gemini Pro 则通过富有洞见的建议提供关键的深度。这些模型共同提出以代码形式实现算法解决方案的计算机程序。
图示展示了提示采样器如何首先为语言模型组装提示，然后由语言模型生成新程序。这些程序由评估器进行评估，并存储在程序数据库中。该数据库实现了一种进化算法，决定哪些程序将用于未来的提示。
AlphaEvolve 使用自动化评估指标来验证、运行和评分所提出的程序。这些指标为每个解决方案的准确性和质量提供了客观、可量化的评估。这使得 AlphaEvolve 在数学和计算机科学等可以清晰、系统化地衡量进展的广泛领域中特别有用。
优化我们的计算生态系统
在过去一年中，我们已将 AlphaEvolve 发现的算法部署到 Google 的计算生态系统中，包括我们的数据中心、硬件和软件。这些改进中的每一项的影响都会在我们的 AI 和计算基础设施中成倍放大，从而为所有用户构建一个更强大、更可持续的数字生态系统。
图示展示了 AlphaEvolve 如何帮助 Google 提供更高效的数字生态系统，从数据中心调度和硬件设计到 AI 模型训练。
改进数据中心调度
AlphaEvolve 发现了一种简单但非常有效的启发式方法，可帮助 Borg 更高效地编排 Google 庞大的数据中心。该解决方案现已投入生产一年有余，持续平均回收 Google 全球计算资源的 0.7%。这种持续的效率提升意味着在任何给定时刻，都能在相同的计算占用下完成更多任务。AlphaEvolve 的解决方案不仅带来了强劲的性能，还提供了人类可读代码的显著运营优势：可解释性、可调试性、可预测性和易于部署。
协助硬件设计
AlphaEvolve 提出了一项 Verilog 重写方案，移除了用于矩阵乘法的关键、高度优化的算术电路中的不必要位。至关重要的是，该方案必须通过稳健的验证方法，以确认修改后的电路保持功能正确性。该方案已被集成到即将推出的 张量处理单元（TPU）中，这是 Google 定制的 AI 加速器。通过使用芯片设计师的标准语言提出修改建议，AlphaEvolve 促进了 AI 与硬件工程师之间的协作方式，以加速未来专用芯片的设计。
增强 AI 训练和推理
AlphaEvolve 正在加速 AI 性能和研究速度。通过找到更智能的方法将大型矩阵乘法运算划分为更易管理的子问题，它将 Gemini 架构中这一至关重要的内核加速了 23%，从而使 Gemini 的训练时间减少了 1%。由于开发生成式 AI 模型需要大量计算资源，每一点效率提升都意味着可观的节省。除了性能提升之外，AlphaEvolve 还显著减少了内核优化所需的工程时间，从专家数周的努力缩短到数天的自动化实验，使研究人员能够更快地创新。
AlphaEvolve 还可以优化底层 GPU 指令。这个极其复杂的领域通常已经由编译器进行了高度优化，因此人类工程师通常不会直接修改它。AlphaEvolve 在基于 Transformer 的 AI 模型中，为 FlashAttention 内核实现带来了高达 32.5% 的加速。这类优化有助于专家定位性能瓶颈，并轻松将改进融入其代码库，从而提升生产力，并在未来节省计算和能源。
推进数学与算法发现的前沿
AlphaEvolve 还可以为复杂的数学问题提出新方法。在仅提供计算机程序的最小代码骨架的情况下，AlphaEvolve 设计了一种新颖的基于梯度的优化过程的许多组件，该过程发现了多种矩阵乘法的新算法，而矩阵乘法是计算机科学中的一个基本问题。
AlphaEvolve 为发现更快的矩阵乘法算法而提出的一系列更改。在此示例中，AlphaEvolve 在多个组件中提出了广泛的更改，包括优化器和权重初始化、损失函数以及超参数扫描。这些更改非常不平凡，在进化过程中需要 15 次突变。
AlphaEvolve 的过程找到了一种使用 48 次标量乘法来乘以 4x4 复值矩阵的算法，改进了 Strassen 1969 年算法，后者此前被认为是该设置下的最佳算法。这一发现表明，相较于我们之前的工作 AlphaTensor 取得了重大进展，后者专门研究矩阵乘法算法，而对于 4x4 矩阵，仅找到了二进制算术的改进。
为了考察 AlphaEvolve 的广度，我们将该系统应用于数学分析、几何、组合学和数论中的 50 多个开放问题。该系统的灵活性使我们能够在数小时内设置大多数实验。据我们所知，在大约 75% 的情况下，它重新发现了最先进的解决方案。
而在 20% 的情况下，AlphaEvolve 改进了此前已知的最佳解决方案，在相应的开放问题上取得了进展。例如，它推进了接吻数问题。这个几何挑战让数学家着迷了 300 多年，涉及接触一个共同单位球的最大数量的不重叠球体。AlphaEvolve 发现了 593 个外球的配置，并在 11 维中建立了新的下界。
前进之路
AlphaEvolve 展示了从发现特定领域的算法到为广泛的现实世界挑战开发更复杂算法的演进过程。我们预计 AlphaEvolve 将随着大型语言模型能力的提升而持续改进，尤其是当它们在编码方面变得更加出色时。
我们与People + AI Research 团队合作，一直在构建一个友好的用户界面来与 AlphaEvolve 交互。我们正在筹划一个面向选定学术用户的早期访问计划，同时也在探索让 AlphaEvolve 更广泛可用的可能性。如需登记您的兴趣，请填写此表单。
虽然 AlphaEvolve 目前正被应用于数学和计算领域，但其通用性意味着它可以应用于任何解决方案可被描述为算法并能自动验证的问题。我们相信 AlphaEvolve 可能在更多领域带来变革，例如材料科学、药物发现、可持续发展以及更广泛的技术和商业应用。
致谢
AlphaEvolve 由 Matej Balog、Alexander Novikov、Ngân Vũ、Marvin Eisenberger、Emilien Dupont、Po-Sen Huang、Adam Zsolt Wagner、Sergey Shirobokov、Borislav Kozlovskii、Francisco J. R. Ruiz、Abbas Mehrabian、M. Pawan Kumar、Abigail See、Swarat Chaudhuri、George Holland、Alex Davies、Sebastian Nowozin 和 Pushmeet Kohli 开发。这项研究是我们专注于利用 AI 进行算法发现工作的一部分。
我们衷心感谢 Jean-Baptiste Alayrac、Ankit Anand、Natasha Antropova、Giorgio Arena、Mohammadamin Barekatain、Johannes Bausch、Henning Becker、Daniel Belov、Alexander Belyaev、Sebastian Bodenstein、Sebastian Borgeaud、Calin Cascaval、Indranil Chakraborty、Benjamin Chetioui、Justin Chiu、Christopher Clark、Marco Cornero、Jeff Dean、Gaurav Dhiman、Yanislav Donchev、Srikanth Dwarakanath、Jordan Ellenberg、Alhussein Fawzi、Michael Figurnov、Aaron Gentleman、Bogdan Georgiev、Sergio Guadarrama、Demis Hassabis、Patrick Heisel、Chase Hensel、Koray Kavukcuoglu、Sultan Kenjeyev、Aliia Khasanova、Sridhar Lakshmanamurthy、Sergei Lebedev、Dmitry Lepikhin、Daniel Mankowitz、Andrea Michi、Kieran Milan、Vinod Nair、Robert O'Callahan、Cosmin Paduraru、Stig Petersen、Federico Piccinini、Parthasarathy Ranganatha、Bernardino Romera-Paredes、Georges Rotival、Kirk Sanders、Javier Gomez Serrano、Oleg Shyshkov、Timur Sitdikov、Tammo Spalink、Kerry Takenaka、Richard Tanburn、Terence Tao、Amin Vahdat、JD Velasquez、Dimitrios Vytiniotis、Julian Walker 和 Pengming Wang 的贡献、建议和支持。更多详情，请参阅我们的白皮书。
我们要感谢 Armin Senoner、Juanita Bawagan、Jane Park、Arielle Bier 和 Molly Beck 对博客文章的反馈以及对本公告的帮助；感谢 William Hood、Irina Andronic、Victoria Johnston、Lucas Dixon、Adam Connors 和 Jimbo Wilson 在插图和图表方面的帮助。