你多久能有机会与一位既获得过奥斯卡奖、又发明了教科书级机器学习算法的嘉宾交谈？John Platt 拥有一座奥斯卡奖、两个教科书级算法、两颗以他命名的小行星，以及一个为 6 的埃尔德什-培根数。这无疑是我们迄今为止读过的所有嘉宾简介中最有趣的一个。而结果是一场史诗般又有趣的对话，涵盖了谷歌的实证研究助手（ERA）、AI 如何帮助应对气候变化，以及大量关于科学与 AI 协同演化的精彩故事。
John 的同事 Dave Bacon 喜欢打趣 John，说他的职业生涯特点就是比下一个大热门早二十年。这可能指的是卷积神经网络（有人认为是 John 创造了这个术语）、聚变研究、量子计算。John 和谷歌十多年来一直致力于用 AI 和计算解决人类最艰难的一些问题。最近，John 和他的团队将目光投向了用 AI 解决任何可以写成一个分数的科学问题。
谷歌的实证研究助手（ERA）
多年来，John 的团队承担了许多艰难的科学问题。在解决这些问题的过程中，他们注意到一个规律：许多科学问题都可以归结为 John 所说的“可评分任务”。一旦你有了评分函数，目标就是找到某个能使分数最大化的代码。困难之处在于构造评分函数，但即便有了评分函数，找到最大化者仍然可能需要付出相当大的努力。
John 的团队着手将这一通用问题的解决方案自动化。这源于一个“自动 Kaggle”AI 的想法，它可以解决你抛给它的任何 Kaggle 问题。Kaggle 归谷歌所有，所以所有数据都已就绪，他们可以轻松获取！
其成果就是谷歌的实证研究助手，即 ERA（论文、github、博客）。1 ERA 在概念上出奇地简单。Gemini（或你选择的 LLM）维护一棵不断生长的树，记录过去的实验（notebook）及其走向。它是蒙特卡洛树搜索的近亲：在每次迭代中，置信上界规则会挑选出最有希望进行变异的分支。这是乐观策略，而非贪婪策略，所以有时甚至第五好的 notebook 也会被选中。然后 Gemini 为每一个提出变异方案，一次大约十个。每个分支的历史是共享的，因此不同的叶子可以相互学习。
“这几乎就像拥有一个极度热切、不用睡觉的研究生。”
进化算法自 70 年代就已存在，但这之所以有效，是因为 Gemini 实际上知道该往哪里看！更有趣的是，Gemini 2.0 和 2.5 之间出现了一个阶跃变化，从完全不起作用变成了效果极佳。
ERA 如此强大，以至于 John 和他的团队用它解决了许多悬而未决的问题，至少产出了十篇论文。其中一些与气候变化有关，我们将在下一节讨论。
所以，我们不得不问：如果你拥有一个优化之神，你如何避免自欺欺人？John 的回答是，ERA 提供的是预测模型。确保它们真正具有描述性，是科学家的责任。这其中一部分只涉及良好的老式严谨机器学习科学。“它是一把电动工具。它能把你的手指切掉。”这引发了一些关于 Kaggle 竞赛的有趣讨论，以及人们可能以有趣的方式过拟合数据集，却没有真正解决你实际关心的问题：谷歌的凝结尾迹检测竞赛的获胜者注意到了标签中半个像素的误差（原点是在像素的角上还是中心？），这最终成为获胜秘诀的一部分。这对赢得 15,000 美元很有用，但如果你真的想解决凝结尾迹问题，就没那么有帮助了。
“人们自己会像这些 LLM 一样行事，试图进行奖励黑客。这又回到了
[古德哈特定律]：任何成为目标的指标都不再是好的指标。”
那么，他建议从哪里开始呢？
“永远先拟合线性回归。就做吧。就做吧。就做吧。或者 SVM。”
用 AI 应对气候变化
John 和他的团队为减缓气候变化的影响做了大量工作。我们讨论了他们的几项举措。
也许我们讨论过的最有趣的结果是减少飞机凝结尾迹（contrails）的影响。你在飞机后面看到的那些小条纹，竟然占所有人为全球变暖的 1%？！？其中一些冰晶尾迹可以持续数天。这些冰晶在红外线下是黑色的，就像一条保温毯，日夜困住热量。
这里发生的事情很容易理解：大气中的某个区域变得“冰过饱和”，2，一点点废气为水蒸气提供凝结核，水蒸气立即结晶。这里的规模令人震惊，一克废气就能产生十公斤冰晶。
原则上，解决这一切的办法相当简单！我们知道大气中哪些部分最有可能形成尾迹。只要让飞机下降一两个飞行高度层。问题就解决了，对吧？嗯，困难的部分是计算避免了多少变暖。这是一个反事实问题，其中部分问题困扰了 John 的团队两年多。他们有一个关于热量困住那一半的有效模型，但没有关于反射阳光的模型。ERA 能够找到一个简单的模型，其中包含一些他们未曾考虑到的混杂因素。破解了！
对气候进行建模通常是一个难题。气候最好被视为许多不同可能天气结果的吸引子。3 这使得建模变得更加困难。
“天气是你在
[吸引子]上的位置，而气候是吸引子的统计特性。气候的问题在于我们正在改变它。吸引子本身正在变化，它在移动。”
John和他的团队致力于处理气候变化的症状和根源，并在该领域有其他几项工作。我们简要介绍的另一个有趣的例子是FireSat，一种利用卫星星座在火灾变得太大而无法扑灭之前快速识别火灾的方法。对于住在加利福尼亚的人来说，你明白这个问题。在干旱年份，一场小火灾可能导致数十万英亩的土地被烧毁。如果你能在火灾只有房间大小时发现它，就可以扑灭它。等到它蔓延到一英亩时，我们就面临更困难的问题。
这一切将走向何方？通过回顾来展望
到目前为止，应该清楚John在科学、计算和AI的交叉领域有着令人难以置信且独特的视角。John谈到了1982年他与Richard Feynman一起参加的一门关于计算物理学的课程4。那时，量子计算还是一个定义不清的概念，没有理论或实验支持。John回忆说，每周二是客座讲座，每周四是Feynman解释为什么周二的客座讲师错了。John还回忆起在基本上没有计算能力的时代做科学，每秒一百万次操作就是最前沿的。
John的建议是什么：最重要的技能是发展深厚的领域专业知识。除了解决难题，没有其他方法可以培养品味。其中一个令人惊讶的部分是，John建议花时间以老式的方式做事。玩弄工具，自己实现东西。
“你可以开车上山，或者你可以徒步上山，也许偶尔徒步是可以的，甚至是有趣的。”
总结一下，John向观众传达的信息是，科学家仍然会有自己的位置，而且这只会为“创造性的东西、严谨的东西、哲学的东西”打开更多机会。但别忘了花时间做基础工作。
“世界上似乎有一种强烈的动力去优化和榨取一切。但当你过度优化时，你会失去一些东西。这是过拟合。”
无论你最终使用什么工具，John的建议与Feynman四十年前给他的建议相同：你不能欺骗自己，而你自己是最容易受骗的人。
我们与John进行了一次愉快的交谈。希望你喜欢！
本集还有
如果你问John，核聚变还有三年，而不是三十年。以及为什么
劳森判据意味着每种聚变方法都有一个致命弱点。为什么超导量子比特仍然难以驾驭。
他以母亲命名的小行星，结果发现它有一颗卫星。
迫在眉睫的
氦短缺无人谈论。NeurIPS如何始于人们闯入Snowbird的一个私人研讨会，以及为什么
Hopfield 网络就是你所需要的一切。在 VAX 上担任 Carver Mead 的系统管理员，那台机器配着一块 80 MB、洗碗机大小的硬盘。
1985 年用胶片、立体镜和一封写给 Brian Marsden 的信来寻找小行星。而
Vera Rubin 天文台在六周内就发现了 11,000 颗。费曼效应：他在房间里时一切都无比清晰，你一离开就全没了。
量子回声、NISQ 时代，以及他为何认为量子既不是三十年之后的事，也不是明天的事。一家想要把汞注入聚变反应堆并出售嬗变所得黄金的初创公司。“它可能行不通。”
John 为自己团队制定的 20% 时间规则：做些为了学习的事，你甚至不必告诉他具体做什么。
ERA 的 GitHub 仓库提供了一个开源实现，它运行的是 Gemini，但可用于任何 LLM。ERA 目前并非 Google 的产品。
“冰过饱和”说的是水蒸气，而不是液态水。冷空气能容纳一定量的水蒸气，而存在两种不同的上限：与液态水达到平衡的量，以及与冰达到平衡的更小的量。在冰点以下，一团空气可以处于这两个上限之间。它所含的水蒸气超过了冰所能容忍的量，但又不足以凝结成水滴，而冰没有凝结核也无法直接从水蒸气中形成。于是水蒸气就那样悬在那里，处于亚稳态，有时持续数天，直到有什么东西为它提供了凝结核。
我们最近在与 Anima Anandkumar 的一期节目中谈到了天气与气候的交叉领域，我们计划在未来的节目中更多地涉及天气和气候两方面。
这其实讲的是量子计算，但那是在早期，当时还没有人真正明白这意味着什么，它只是费曼和其他几个人在琢磨的一个模糊想法。