新型 AI 智能体将大语言模型的创造力与自动化评估器相结合，为数学和实际计算应用演化算法
大语言模型（LLM）用途极其广泛。它们可以总结文档、生成代码，甚至头脑风暴出新点子。现在，我们把这些能力进一步扩展，用于攻克数学和现代计算中基础而高度复杂的问题。
今天，我们发布 AlphaEvolve，这是一个由大语言模型驱动的进化式编码智能体，用于通用算法的发现与优化。AlphaEvolve 将我们 Gemini 模型富有创造力的问题求解能力与验证答案的自动化评估器结合起来，并用进化框架对最有前景的想法加以改进。
AlphaEvolve 提升了 Google 数据中心、芯片设计和 AI 训练流程的效率，其中包括训练 AlphaEvolve 自身所依赖的大语言模型。它还帮助设计出更快的矩阵乘法算法，并为数学中的开放问题找到了新解，在众多领域都展现出非凡的应用前景。
用大语言模型设计更好的算法
2023 年，我们首次证明，大语言模型可以生成以计算机代码写成的函数，帮助在一个开放的科学问题上发现新的、可证明正确的知识。AlphaEvolve 是一个智能体，它能超越单个函数的发现，演化整个代码库，开发出复杂得多的算法。
AlphaEvolve 利用一组最先进的大语言模型协同工作：我们最快、最高效的模型 Gemini Flash 最大限度地拓宽所探索想法的广度，而我们最强大的模型 Gemini Pro 则以深刻的建议提供关键的深度。二者共同提出以代码实现算法方案的计算机程序。
AlphaEvolve 使用自动化评估指标对所提出的程序进行验证、运行和打分。这些指标对每个方案的准确性和质量给出客观、可量化的评估。这使得 AlphaEvolve 在进展可以被清晰、系统地衡量的广泛领域中尤其有用，比如数学和计算机科学。
优化我们的计算生态系统
在过去一年里，我们已将 AlphaEvolve 发现的算法部署到 Google 的整个计算生态系统中，包括数据中心、硬件和软件。每项改进的影响都会在我们的 AI 和计算基础设施中被放大，从而为所有用户打造更强大、更可持续的数字生态系统。
改进数据中心调度
AlphaEvolve 发现了一种简单却非常有效的启发式方法，帮助 Borg 更高效地编排 Google 庞大的数据中心。该方案已在生产环境中运行一年多，平均持续回收 Google 全球 0.7% 的计算资源。这种持续的效率提升意味着，在任意时刻，同样的计算资源都能完成更多任务。AlphaEvolve 的方案不仅性能出色，还具有人类可读代码在运维上的显著优势：可解释、可调试、可预测、易于部署。
协助硬件设计
AlphaEvolve 提出了一个 Verilog 改写方案，去掉了矩阵乘法中一个关键的、高度优化的算术电路里不必要的位。关键在于，该方案必须通过严格的验证方法，以确认修改后的电路在功能上保持正确。这一方案已被集成到即将推出的 Tensor Processing Unit（TPU，Google 的自研 AI 加速器）中。AlphaEvolve 以芯片设计师的标准语言提出修改建议，促进了 AI 与硬件工程师之间的协作，从而加快未来专用芯片的设计。
提升 AI 训练与推理
AlphaEvolve 正在加速 AI 性能和研究速度。它找到了更聪明的办法，把一个大型矩阵乘法运算拆分成更易处理的子问题，使 Gemini 架构中这一关键内核提速 23%，让 Gemini 的训练时间缩短了 1%。由于开发生成式 AI 模型需要大量计算资源，每一点效率提升都意味着可观的节省。除了性能提升，AlphaEvolve 还大幅减少了内核优化所需的工程时间，从专家数周的工作缩短为数天的自动化实验，让研究人员能更快地创新。
AlphaEvolve 还能优化底层 GPU 指令。这个领域极其复杂，通常已经被编译器深度优化，因此人类工程师一般不会直接修改。AlphaEvolve 让基于 Transformer 的 AI 模型中 FlashAttention 内核实现最高提速 32.5%。这类优化可以帮助专家定位性能瓶颈，并轻松把改进并入自己的代码库，提升他们的生产力，也为未来节省算力和能源创造条件。
推进数学与算法发现的前沿
AlphaEvolve 还能为复杂的数学问题提出新的思路。只需提供一个最简的程序代码骨架，AlphaEvolve 就设计出了一套新颖的基于梯度的优化流程中的许多组件，并借此发现了多种新的矩阵乘法算法，而矩阵乘法是计算机科学中的一个基础问题。
AlphaEvolve 为发现更快的矩阵乘法算法而提出的一系列修改。在这个例子中，AlphaEvolve 在多个组件上提出了大量修改，包括优化器和权重初始化、损失函数以及超参数搜索。这些修改都非常不平凡，在进化过程中需要 15 次变异。
AlphaEvolve 的流程找到了一种用 48 次标量乘法完成 4x4 复数矩阵相乘的算法，改进了此前被认为是该场景下最优的 1969 年 Strassen 算法。这一发现相比我们此前的工作 AlphaTensor 是重大进步，后者专注于矩阵乘法算法，而对于 4x4 矩阵，只在二进制算术上找到了改进。
为了考察 AlphaEvolve 的适用广度，我们把该系统应用于数学分析、几何、组合数学和数论中的 50 多个开放问题。系统的灵活性让我们得以在数小时内搭建好大部分实验。据我们所知，在大约 75% 的情况下，它重新发现了当前最先进的解。
而在 20% 的情况下，AlphaEvolve 改进了此前已知的最佳解，在相应的开放问题上取得了进展。例如，它推进了接吻数问题。这个几何难题吸引数学家已逾 300 年，问的是最多能有多少个互不重叠的球同时与一个公共的单位球相切。AlphaEvolve 发现了一种由 593 个外层球构成的构型，在 11 维空间中确立了新的下界。
未来之路
AlphaEvolve 展现了一条演进路径：从为特定领域发现算法，到为各种现实挑战开发更复杂的算法。我们预计，随着大语言模型能力的提升，尤其是它们编程能力的进一步增强，AlphaEvolve 也将持续改进。
我们与 People + AI Research 团队一起，一直在构建一个便于使用的界面来与 AlphaEvolve 交互。我们计划为选定的学术用户开设抢先体验计划，同时也在探索让 AlphaEvolve 更广泛可用的可能性。如有兴趣，请填写这份表单进行登记。
虽然 AlphaEvolve 目前应用于数学和计算领域，但其通用性意味着，它可以应用于任何解可以用算法描述并能被自动验证的问题。我们相信，AlphaEvolve 有望在材料科学、药物发现、可持续发展以及更广泛的技术和商业应用等更多领域带来变革。
致谢
AlphaEvolve 由 Matej Balog, Alexander Novikov, Ngân Vũ, Marvin Eisenberger, Emilien Dupont, Po-Sen Huang, Adam Zsolt Wagner, Sergey Shirobokov, Borislav Kozlovskii, Francisco J. R. Ruiz, Abbas Mehrabian, M. Pawan Kumar, Abigail See, Swarat Chaudhuri, George Holland, Alex Davies, Sebastian Nowozin 和 Pushmeet Kohli 开发。这项研究是我们利用 AI 进行算法发现这一工作的一部分。
我们衷心感谢以下人员的贡献、建议与支持：Jean-Baptiste Alayrac, Ankit Anand, Natasha Antropova, Giorgio Arena, Mohammadamin Barekatain, Johannes Bausch, Henning Becker, Daniel Belov, Alexander Belyaev, Sebastian Bodenstein, Sebastian Borgeaud, Calin Cascaval, Indranil Chakraborty, Benjamin Chetioui, Justin Chiu, Christopher Clark, Marco Cornero, Jeff Dean, Gaurav Dhiman, Yanislav Donchev, Srikanth Dwarakanath, Jordan Ellenberg, Alhussein Fawzi, Michael Figurnov, Aaron Gentleman, Bogdan Georgiev, Sergio Guadarrama, Demis Hassabis, Patrick Heisel, Chase Hensel, Koray Kavukcuoglu, Sultan Kenjeyev, Aliia Khasanova, Sridhar Lakshmanamurthy, Sergei Lebedev, Dmitry Lepikhin, Daniel Mankowitz, Andrea Michi, Kieran Milan, Vinod Nair, Robert O'Callahan, Cosmin Paduraru, Stig Petersen, Federico Piccinini, Parthasarathy Ranganatha, Bernardino Romera-Paredes, Georges Rotival, Kirk Sanders, Javier Gomez Serrano, Oleg Shyshkov, Timur Sitdikov, Tammo Spalink, Kerry Takenaka, Richard Tanburn, Terence Tao, Amin Vahdat, JD Velasquez, Dimitrios Vytiniotis, Julian Walker 和 Pengming Wang。更多详情请参阅我们的白皮书。
我们要感谢 Armin Senoner, Juanita Bawagan, Jane Park, Arielle Bier 和 Molly Beck 对博客文章的反馈以及对本次发布的帮助；感谢 William Hood, Irina Andronic, Victoria Johnston, Lucas Dixon, Adam Connors 和 Jimbo Wilson 在插图和图表方面提供的帮助