你能有多少次机会，和一位既拿过奥斯卡奖、又发明过教科书级机器学习算法的嘉宾聊天？John Platt 拥有一座奥斯卡奖、两个写进教科书的算法、两颗以他命名的小行星，以及 6 的 Erdos-Bacon 数。这无疑是我们迄今读过的所有嘉宾简介中最有趣的一份。随之而来的是一场精彩又好玩的长谈，内容涵盖 Google 的 Empirical Research Assistance（ERA）、AI 如何帮助应对气候变化，以及大量关于科学与 AI 共同演进的精彩故事。
John 的同事 Dave Bacon 常常打趣说，John 的职业生涯就是一直比下一个大趋势早二十年。这可以是卷积神经网络（有人认为这个术语是他创造的）、聚变研究，也可以是量子计算。John 和 Google 用 AI 和计算来攻克人类最棘手的一些难题，已经有十多年了。最近，John 和他的团队把目标对准了用 AI 解决任何可以写成一个分数的科学问题。
Google 的 Empirical Research Assistance（ERA）
多年来，John 的团队处理过许多棘手的科学问题。在解决这些问题的过程中，他们注意到一种规律：许多科学问题都可以归结为 John 所说的“可打分任务”（scoreable task）。一旦有了打分函数，目标就是找到能使分数最大化的代码。难点在于如何设计这个分数，但有了分数之后，找到最大化者仍可能要花不少功夫。
John 的团队着手将这一通用问题的解决方案自动化。这源于“auto-Kaggle”AI 的想法，它能解决你抛给它的任何 Kaggle 问题。Kaggle 归 Google 所有，所以所有数据他们都唾手可得！
成果就是 Google 的 Empirical Research Assistance，即 ERA（论文、github、博客）。1ERA 在概念上简单得出奇。Gemini（或你选择的任何 LLM）维护一棵不断生长的树，记录过往实验（notebook）及其演进方向。它与蒙特卡洛树搜索是近亲：每一轮迭代中，置信上界（Upper Confidence Bound）规则会挑出最有希望的 notebook 来做变异。这种做法是乐观的，而不是贪心的，所以有时连排名第五的 notebook 也会被选中。随后 Gemini 为每一个 notebook 提出变异，一次大约十个。每个分支的历史是共享的，因此不同的叶节点可以互相学习。
“这几乎就像有了一个不睡觉、超级热切的研究生。”
进化算法自 70 年代就有了，但这次之所以奏效，是因为 Gemini 真的知道该往哪儿找！更有意思的是，从 Gemini 2.0 到 2.5 出现了一次跃变，这套方法从根本行不通变成了效果极佳。
ERA 强大到 John 和团队用它解决了许多悬而未决的问题，至少产出了十篇论文。其中一些与气候变化有关，我们将在下一节讨论。
于是我们不得不问：如果你拥有一个优化之神，怎么避免自欺欺人？John 的回答是，ERA 提供的是预测模型，这些模型是否真正具有描述性，要由科学家来把关。其中一部分靠的就是老派而严谨的机器学习科学。“这是一件电动工具，能把你的手指削掉。”由此我们聊到了 Kaggle 竞赛，以及人们是怎样通过各种有趣的方式对数据集过拟合，却并没有真正解决你关心的问题：Google 的航迹云检测竞赛的获胜者注意到标签中存在半个像素的误差（原点在像素的角上还是中心？），而这恰恰成了获胜秘方的一部分。拿到 15,000 美元很棒，但如果你真想解决航迹云问题，这就没什么用了。
“人自己也会像这些 LLM 一样，试图钻奖励的空子。这又回到了 Goodhart 定律：任何一项指标一旦成为目标，就不再是好指标。”
那他建议从哪里入手呢？
“永远先拟合线性回归。就这么做。就这么做。就这么做。或者用 SVM。”
用 AI 应对气候变化
John 和他的团队在减缓气候变化影响方面做了大量工作。我们谈到了他们的几项举措。
也许我们谈到的最有意思的成果，是减少飞机凝结尾迹（航迹云，contrails）的影响。你在飞机后面看到的那些细小的条纹，竟然占了人类活动引起的全球变暖的 1%？！其中一些冰晶尾迹可以持续数天。这些冰晶在红外波段是黑色的，就像一条热毯，日夜不停地把热量困住。
这里发生的事不难理解：某片大气区域变得“冰过饱和”，2而一点点尾气就会引发水汽成核，瞬间结晶。这里的规模令人惊讶：一克尾气能产生十公斤冰晶。
原则上，解决办法相当简单！我们知道大气的哪些部分最容易形成尾迹，只要让飞机下降一两个飞行高度层就行了。问题解决了，对吧？难点在于核算究竟避免了多少升温。这是一个反事实问题，其中一部分把 John 的团队难住了两年多。他们已经有了针对吸热那一半的可用模型，却没有针对反射阳光那一半的。ERA 找到了一个简单的模型，其中包含了他们之前没考虑到的一些混杂因素。搞定了！
一般而言，气候建模是个难题。最好把气候理解为许多可能天气结果的吸引子。3这让建模困难得多。
“天气是你在吸引子上所处的位置，气候则是吸引子的统计特征。气候的问题在于我们正在改变它。吸引子本身在变，它在移动。”
John 和团队既治标也治本地应对气候变化，在这一领域还做了其他几项工作。我们简要谈到的另一个有趣例子是 FireSat，它利用一个卫星星座，在火情蔓延到无法扑灭之前就迅速发现它。住在加州的人都明白这个问题。在干旱的年份，一场小火可能烧掉几十万英亩。如果能在火只有一个房间那么大时发现它，就能把它扑灭。等它烧到一英亩，问题就难得多了。
这一切将走向何方？以回望来展望
到这里应该已经很清楚，John 对科学、计算与 AI 的交汇处有着非凡而独特的视角。John 谈到他 1982 年和 Richard Feynman 一起上过的一门计算物理学课。4那时量子计算还是个定义模糊的概念，既没有理论也没有实验支撑。John 回忆说，每周二是嘉宾讲座，每周四则是 Feynman 解释为什么周二的嘉宾讲错了。John 还回忆起那个几乎没有算力的年代做科学的情形，每秒一百万次运算就已是最前沿。
John 的建议是什么？最重要的技能是培养深厚的领域专长。除了攻克难题，没有别的办法培养品味。其中一点出人意料：John 建议花时间用老办法做事。摆弄工具，自己动手实现。
“你可以开车上山，也可以徒步上山，偶尔徒步一下也许没问题，甚至很有乐趣。”
总结一下，John 想对听众说的是：科学家仍然有一席之地，而且这反而会为“有创造性的事、严谨的事、哲学的事”打开更多机会。但别忘了花时间做那些苦活累活。
“这个世界上似乎有一股强大的冲动，要把一切都优化、榨干。但当你过度优化时，确实会失去一些东西。那就是过拟合。”
无论你最终用什么工具，John 的建议都和 Feynman 四十年前给他的一样：你绝不能欺骗自己，而你恰恰是最容易被欺骗的人。
我们和 John 聊得非常开心。希望你也喜欢！
▶ https://www.youtube.com/watch?v=2xBSGluFkG0
本期还包括
- 如果问 John，聚变是三年后而不是三十年后。还有，为什么 Lawson 判据意味着每种聚变路线都有自己的阿喀琉斯之踵。
- 超导量子比特为什么仍然难伺候。
- 他以母亲命名的那颗小行星，后来发现竟有一颗卫星。
- 没人谈论的、迫在眉睫的氦短缺。
- NeurIPS 是怎样起源于一群人闯进 Snowbird 的一场私人研讨会，以及为什么 Hopfield 网络就是你所需要的一切。
- 在一台 VAX 上给 Carver Mead 当系统管理员，硬盘只有 80 MB，却有洗碗机那么大。
- 1985 年靠胶片、立体镜和一封写给 Brian Marsden 的信来寻找小行星。Vera Rubin 天文台六周就找到了 11,000 颗。
- Feynman 效应：在房间里时一切清晰透彻，一离开就荡然无存。
- 量子回声、NISQ 时代，以及他为什么认为量子计算既不是三十年后，也不是明天。
- 一家创业公司想把汞注入聚变反应堆，再出售嬗变得来的黄金。“可能行不通。”
- John 为自己团队定的 20% 时间规则：做点用来学习的事，甚至不必告诉他做什么。
ERA 的 GitHub 仓库提供了一个运行 Gemini 的开源实现，但可以搭配任何 LLM 使用。ERA 目前不是 Google 的产品。
“冰过饱和”指的是水汽，而不是液态水。冷空气能容纳一定量的水汽，并且有两个不同的上限：与液态水平衡的量，以及更小的、与冰平衡的量。在冰点以下，一团空气可以处在这两个上限之间。它含有的水汽超过了冰所能承受的，却又不足以凝结成液滴，而冰没有核就无法直接从水汽中形成。于是水汽就这样悬在那里，处于亚稳态，有时能持续数天，直到有什么东西为它成核。
我们最近在对 Anima Anandkumar 的访谈那一期里谈过天气与气候的交叉，今后的节目里还打算更多地讨论天气和气候。
这门课其实讲的是量子计算，但那时还处在早期，没有人真正知道它意味着什么，它只是 Feynman 和少数几个人琢磨的一个模糊想法。