Periodic Labs 谈 AI 科学:自主实验室、物质编译器与超导
点播放,字幕跟着声音走
Subtitles follow the audio
逐句文字稿
点任意一句,从那里开始听
正在加载字幕…
-
但另外,我们也觉得,就算 Fable 7 变得特别强,甚至比现在还要强,它仍然得做实验才能拿到结果。
-
原因就是,对吧,机器学习特别擅长它训练过的东西。
-
但科学发现从定义上说,几乎就是那些你没训练过的东西。
-
这也是为什么我们要建这些实验室,这样不管是开源模型还是闭源模型,都能用这些实验室来对宇宙做实验;我们不觉得你能做出重大发现。在进入今天这集之前,
-
我有个小消息要跟听众说。谢谢。
-
如果你们没有选择点进来、收听我们的内容,我们就没法把你们这么明显想要的 AI 工程、科学和娱乐内容带给你们。
-
几乎每天都有人来找我们谈赞助,但幸运的是,你们中有足够多的人真的订阅了我们,让这一切在没有广告的情况下也能持续下去。
-
而我们也想保持这样。
-
不过我想请大家帮个忙。
-
你们能做的最有作用、又完全免费的一件事,就是点一下订阅按钮。
-
这是我会向你们提出的唯一请求,而它对我和我那每周都拼命努力、只为把 Latent Space 带给你们的团队来说,绝对意味着一切。
-
如果你们这么做了,我向你们保证,我们会一直努力让这个节目变得更好。现在,我们进入正题。
-
好,我们现在在 Periodic。
-
今天我们请到了 Periodic 的 Liam 和 Doge。
-
欢迎,也谢谢你们让我们来你们这儿。
-
是啊,很高兴能来这里,也谢谢你们过来。
-
我想先从你们网站上我很喜欢的一句引语开始。
-
上面写着:智能是必要的,但并不充分。
-
当想法被证明和现实一致时,新知识就诞生了。
-
这看起来很简单,但为什么它不是显而易见的呢?
-
我觉得这差不多就是 Doj 和我当初做 Periodic 时想的那个核心论点和前提:你不能光靠想就能想出一个解决方案。
-
宇宙太复杂了,所以你真想推动知识的前沿、取得进展,就得先提出这些猜想,然后真正去看看它到底成不成立。
-
你就算把教科书或论文读多少遍,自己一个人关在房间里苦想,也没法把所有可能的实验结果,不管是意料之中的还是意料之外的,全都想清楚。
-
你真的需要这种迭代过程,这也是我们做这件事的核心信念,所以从一开始我们就说,我们需要有 AI 系统,有物理世界的模拟,
-
但同时也得搭建起物理世界里的高通量实验,我们觉得从这里面会涌现出一种不同类型的智能。
-
我觉得还有一点很值得注意,在 OpenAI 和 Google 那种大实验室里,你并没有这些资源,所以你必须得自己出来做,因为你其实是在一边走一边摸索自己的打法。
-
是啊,我的意思是,我觉得像这样的团队以前从来没有过。
-
我们想把固态化学家、固态物理学家、实验学家、理论学家、硬件工程师、大语言模型 专家、计算机科学家聚到一起。
-
而且其中有些技术非常新,比如高通量实验、机械臂,也就是最近三年左右才开始有人尝试。
-
还有力场这方面的专业知识,其中一些力场也是非常新的。
-
不过是啊,我们觉得有一个实验室非常重要,有这样一个专注点、把所有这些人聚到一起合作,也非常重要。
-
我觉得历史上最接近的例子就是贝尔实验室这样的地方,那里有非常厉害的理论家、实验家和化学家一起合作,做出了了不起的成果。
-
所以我们现在也是想在这里做同样的事,对。
-
我待会儿想聊聊力场,但在那之前,对,力场到底是什么?
-
但在聊这个之前,我觉得先交代一下背景:我们听众之间最大的区别之一,就是一部分听众是 AI 工程师,另一部分听众是科学家。
-
那我们先快速对工程师们说几句:如果你一直在 OpenAI 这样的大实验室工作,区别到底在哪?
-
你在那边做的事和在这里做的事,有什么区别?
-
我觉得你已经暗示过这一点了,但也许可以更明确地说说,你得怎么重新调整自己的思维方式?
-
嗯,我觉得有意思的一点是,现在我们的强化学习环境实际上就来自真实环境,来自我们的物理实验室。
-
我们的数据来自物理实验室,这就是我们的终极真相。
-
只是拿论文或教科书里已知的一些答案来做优化,这还不够,因为我们要走得更远。
-
我觉得这是最大的区别之一。
-
但与此同时,还有比如说在不确定性下做决策的问题。
-
所以当你在数学上做优化的时候,它的精度是非常高的。
-
你其实不太需要处理方差、不确定性,或者异常测量值。
-
而这恰恰是我们流程里非常关键的东西。
-
比如,我们在做材料发现闭环的时候,材料从炉子里出来时并不会自带标签。
-
连打标签这个过程本身都可能有随机性、有噪声。
-
有时候不同机器之间还会有偏差。
-
也许我们的遥测数据还不够。
-
所以我们会以为是在这个温度下跑的,但实际上温度差了某个偏移量。
-
一个能接收这种带噪声数据、并像科学家那样做出明智决策的智能体,需要的是另一套推理策略。
-
所以我觉得这里面有大量共通的地方。
-
所以,标准的 mid-training、强化学习、构建会用工具的智能体、降低方差、确保 infra 在训练和推理之间不出现不匹配,这些都是共通的。
-
但我们必须更进一步,真正去想:当不确定性很高的时候,你怎么才能把工作做准?
-
你怎么把有限的数据用得极其高效?
-
所以我们在大幅扩大规模,但它仍然和数字环境很不一样,在数字环境里你可以随便增加更多环境,或者更多 rollout。
-
我们并没有同样的能力。
-
所以样本效率是另一个关键点。
-
这对我来说有点抽象,而且这个主题在科学播客上已经出现有一阵子了。
-
不过我觉得,在你谈实验不确定性的时候,可能先解释一下,你们做实验时一个具体流程长什么样,还有在我们跳到你怎么切入 AI 这一边之前,人类会怎么处理这个问题,这样会挺有帮助的。
-
你能举一个具体材料类型的例子吗?还有,在这个过程中,你在测量上会遇到什么样的不确定性?
-
我觉得这件事有很多个维度。
-
其中一个维度是,我觉得每个科学实验都必须做某种降维。
-
这跟写代码或做数学非常不一样。
-
所以当你做数学或写代码时,所有上下文都可以给到人类,或者给到 大语言模型。
-
它是一堆公理,还有人们从这些公理推导出来的一些推论。
-
它就像是一堆函数和 API 调用。
-
所以你需要推理的一切都摆在你面前,接下来你只要非常聪明,把它想明白就行了。
-
在物理里,你也知道,我们一开始面对的原子数量,比我们能在计算机里存下来的还要多。
-
所以很明显,我们必须从表示这个系统的原始维度和比特数,转到计算机能装得下的比特数。
-
我猜,这就是热力学最初的出发点。
-
他们一开始真的完全搞不懂蒸汽机是怎么工作的,但后来发现,好像只要找到五六个热力学变量,就能把发生的事情解释得相当好,这太不可思议了。这就是物理的美。
-
你有一个装满原子的房间。
-
里面有 10 的 23 次方个,或者 10 的 27 次方个。
-
这个房间里有某个数量的原子。
-
但即便如此,你需要的只是温度、压力,还有几个简单变量。
-
而它们就能告诉你一切。
-
在大多数情况下,它基本告诉了你需要知道的东西。
-
那假设你做出了一种材料。
-
你可以做的一件事就是去看一个 X 射线结构。
-
而它其实是一个信息损失很大的投影。
-
它并不是真正的结构,或者说它不会告诉你真实的结构,它告诉你的只是这个结构的某些主成分。
-
那么,人类要怎么拿这些简单的主成分来推理,然后又怎么把这一点扩展到 AI 上呢?
-
所以在理论物理这一边,我们认为能量的平均值和能量的涨落非常重要。
-
很多热力学都是从这里面推导出来的,后来我们又意识到,反应势垒也非常重要,动力学也非常重要。
-
所以人类可以试着通过想出一些降维描述符,来推理这个极其复杂的系统。
-
人们也很喜欢原子尺度的图景,比如你会去想局部的近邻环境是什么样,是来自八面体还是四面体,而化学家尤其能从中受益。
-
这是理论这边,而在实验这边,你会尽量收集尽可能多的数据。
-
所以你会有一本实验记录本,把你看到的一切都写下来,等等。当然,你心里也明白,你会漏掉很多东西。
-
所以就像 Liam 提到的,会出现各种各样的问题。
-
比如,你的炉子会随着时间慢慢老化。
-
因为你在使用炉子的时候,你烘烤的某些东西会蒸发,覆盖在加热元件上。
-
所以每次你用炉子,它都会变得越来越糟。
-
另一个问题是,你有炉子,但温度并不是完全均匀的。
-
所以你把东西放在炉子里的哪个位置,会影响结果。
-
我们目前还没有这个问题,但也许有一天会碰到。
-
光学仪器受振动的影响很大。
-
所以就像每次有人走路,我记得我读博的时候,有个实验室就碰到过很大的麻烦,因为他们的结果有时候会和别的时候非常不一样,最后他们把原因锁定在:夜里某个时间,楼上有人在走路,那个振动影响了激光装置。
-
所以没错,科学非常难,但这一点让它变得很特别,对吧?
-
Liam 和我一直在聊的另一件事是,现在很多进展都集中在数学、编程和理论计算机科学上,因为这些对 大语言模型s 来说更容易。
-
但在现实生活中,大多数需要智能的事情其实更像科学。
-
就像有各种各样的不确定性、各种各样的噪声、各种各样的缺失上下文,但你必须作为那个有智能的存在,去弄清楚下一步该做什么。
-
我觉得在这基础上还有一个很有意思的点:做数学、做理论计算机科学、做这类事情的最优推理策略,可能并不是做科学的最优推理策略。
-
当你的输出是一个带噪声的晶体结构,或者是一些集体变量的数值之类的,你怎么定义强化学习的奖励函数?
-
也许我就挑这个循环里的一个环节,然后具体展开讲讲。
-
所以作为材料发现循环的一部分,我们首先得弄清楚要造什么。
-
这既涉及原子组合在一起稳不稳定,也涉及我们预不预期它会具有我们想要的性质。
-
所以我们不只是想要一种新的原子构型,我们想要它们组合在一起时具有我们感兴趣的性质。
-
接下来是,你怎么合成它?你怎么真正把这个东西做出来?这也很不简单。
-
所以即使你知道某种东西能稳定存在,真正要确定用什么工艺条件把它做出来,这个过程也非常不简单。
-
但同样,一旦你完成这两步,做出了某个东西,它出来的时候并不会自带标签。
-
所以你实际上必须对它进行表征,弄清楚你做出的是什么。
-
所以在这种情况下,与其去设想这样一种强化学习环境——我们直接启动一个实验,等上几天,然后试着根据‘有没有找到室温超导体’来做一次更新——那完全不可行。我正想问这个。
-
你总不能把你的 GPU 放在那儿闲着一周什么的吧。
-
对,这完全不可行,因为你没有足够多的智能体来把方差降到足够低。
-
rollout 的时间要花在不同仪器之间来回跑,你得等,而且实际合成或炉子时间本身就有一些物理上的限制。
-
所以它实在太慢、噪声也太大。
-
所以我们考虑 AI 项目的方式,基本上就是围绕我们已经产生的这组数据来构建智能体。
-
所以在表征这个环节,你要找的是这样的强化学习环境:它能奖励你识别出实际存在的物相。
-
那如果给你原始实验数据,你能有效地把它拟合出来吗?
-
所以我们的做法是,朝材料打 X 射线。
-
X 射线的频率,或者说波长,跟原子之间的间距大致相当。
-
这样你就能得到很漂亮的衍射图样,它相当于晶体结构的一个指纹。
-
要识别出实际存在的到底是什么,这非常不简单。
-
所以我们早期的一些 AI 工作,基本上就是在开发能完成这件事的系统。
-
这也让我们能推进得快得多,因为如果你跑这么多实验,很快就会在搞清楚到底做出来了什么这件事上遇到瓶颈。
-
但话说回来,现在这个强化学习环境其实相当直接,就是你要奖励正确识别出存在的物相。
-
你要惩罚虚假的物相,或者那些在化学上根本说不通的东西。
-
所以这有点像,你知道,差不多是同一回事:你可以对不同部分分别这么做,等你把它们拼在一起,那就是端到端的发现闭环。
-
也许另一块是,随着我们积累起一大堆实验数据,你还能想到另一件事,基本上就是给当时世界的状态打上时间戳。
-
所以你可以说,在这个日期,这就是我们在此之前得到的实验证据。
-
而且你可以构建这样的强化学习环境:好,给定那批实验证据,再给定当时有哪些选择,科学家下一步做出的选择是什么,或者那个实验的结果是什么?
-
这也非常有意思,因为这让我们能做那种在外部更难做的项目,因为如果预训练模型已经把其中一些数据记住了,然后你又在那上面做强化学习,
-
如果它已经知道答案,而你又构造了依赖这个答案的强化学习任务,它就能假装在工作,因为它会想:哦,我早就知道答案了,所以它其实不用做那些困难的物理推理,也不用真的做计算模拟,
-
然后它得到了正确答案,你再强化那个策略,给那些推理策略更高的权重。
-
那些推理策略没法泛化到新系统,所以对我们没用。
-
但当我们积累起一篮一篮的实验数据,把东西拼在一起,保留整个过程的谱系,这就让我们有能力构造出那些本来根本不可能的新类型环境,就目前而言——我想问我的问题了,
-
但我担心自己把话题带偏了,我还是直接问吧,因为我再说一遍,我不是科学家出身,但算是工程背景,我对机器学习这边比较熟,但物理那边就完全不是了。好,这个问题其实有好几个版本,
-
但我觉得基本问题是,我们不是已经把大部分物理定律都搞明白了吗?
-
那为什么我们到现在都还没有完美的模拟器呢?
-
就像,这明明是很基础的东西啊,然后他就哈哈哈,说,真可爱。
-
但我心想,哥们儿,我这儿有这么多物理书呢。所以你什么意思?你什么意思,我们还没搞完?
-
对,所以这里其实有好几件事在同时发生,对吧?
-
我觉得,首先,物理定律我们肯定一条都还没搞完。
-
就算是在——好吧,但也许,你知道,在非常非常大的尺度上,可是在人类尺度上,在,你知道,材料尺度上,我们就想,还剩什么?我们还没搞完。
-
所以这是个非常好的问题。
-
为什么我们还没搞完,这本身就非常有意思,对吧?
-
有个很常见的故事,人们经常讲,比如狄拉克在搞量子力学的时候,大概在1920年代末,他写了一本关于量子力学的教科书,差不多就觉得这玩意儿已经全部搞定了。
-
然后有句话大家很喜欢引用,其实我不确定到底准不准确,但据说狄拉克说过,剩下的都是化学。
-
意思就是,他能解氢原子。只要把一切都组合起来就行了。
-
对,他也许能解一维氢原子链,但当时他还解不了,比如说,氮和氧相互作用,不过没关系,那只是化学。
-
对,物理学家特别喜欢单个原子这种特别简单的系统,而你能解的也就只有这些。
-
球形奶牛,对,但结果是,我觉得过去一百年我们学到的是,首先,那不是真的。它并不是做氢原子那套东西的简单延伸,而且剩下的也不只是化学。
-
那里其实有很多物理。我的意思是,我猜我们还没搞明白的其中一件事,就是高温超导。但还有很多其他的——高温对你来说大概是175、200,当人们说高温超导的时候,他们指的是非常规超导。所以有
-
常规超导。
-
那主要是由电子-声子耦合驱动的。在这种情况下,你差不多能看到同位素效应。
-
比如你拿同一个系统,只是把其中一种元素的重量换一下,你会看到超导温度下降的速度跟你预期的一样。所以那个就是常规的。
-
但后来那些更高温的超导体,比如铜氧化物,就是大概77开尔文、93开尔文那种,结果并不遵守那套物理。
-
但我们不知道它们遵循的是什么物理。
-
它们就是非常了不起的超导体。但不只是这样。
-
所以这肯定就是那种特别热门、但我们到现在都还没有理论的话题之一。
-
但还有很多其他我们搞不懂的东西。
-
比如说,就连简单量子力学系统里的强关联,我们现在也还模拟不了。
-
密度泛函理论是个非常强大的工具。
-
它在有些东西上准得惊人,但一旦出现强电子关联,它实际上就抓不住其中的一些效应了。
-
有太多东西等着我们去搞清楚了。
-
这就是为什么我特别兴奋看到AI被用到这个领域,因为不管是理论上、计算上还是实验上,都有太多东西要搞清楚,而且我们在这里每取得一点进步,都应该能改善人类的生活,因为我们对材料、对固态物理理解得越好,
-
我们就能为它们做出更好的器件。
-
菲尔·安德森有句名言,叫“More is different”,多即不同,意思基本上是,你可能已经理解了某个东西的所有基本规律,但当你把很多东西加在一起,它们的行为就会发生质的变化,跟简单物理告诉你的完全不一样。
-
所以理解一大堆东西放在一起会怎么表现,看起来好像应该很简单。
-
最开始的规律是简单的,但集体行为复杂得不得了,真的很难建模。
-
它既是涌现出来的,又是普适的,这简直不可思议。
-
我们在深度学习模型上也看到同样的事,对吧?
-
比如,我们在深度学习里到处都能看到幂律。我们并不理解,但这非常像物理学,那里也有涌现和普适性。
-
物理学界已经有很多理论论文在研究神经网络里的涌现。绝对是,没错。
-
对,然后我另一个追问是关于这个过程的,我们就叫它过程和最终结果吧。
-
你想让材料具备你瞄准的那些性质,然后你得找出达到那个结果的工艺过程。
-
那值不值得把这两件事分开,就是你先训练一个模型,让它对任何你想要的最终理论状态,都能完美地反推出任何工艺过程?
-
把这些东西分开来,专门训练一个模型,让它不管你想达到什么样的理论终态,都能完美地逆向推导出任何过程,这样做值得吗?
-
这有意义吗?
-
也许回到我们刚才聊的那个话题,既然原子的数量多到超过阿伏伽德罗常数,那我们就永远没法知道当时发生的事的确切背景。
-
我觉得,我们之所以永远没法完美地逆向工程出一切,可能是有原因的。
-
但基本上,我们只是想逆向工程到足够好的程度,能提升材料的性能就行。
-
你问的是,有没有一种前向模型,你给它一个输入,它就能预测输出;而你想造一个类似代理模型的东西,它可以……
-
比如输入就是它的最终状态,也就是这种原子构型,然后预测就是……
-
你差不多可以把这项工作拆分开。
-
你可以让一个团队做工艺这边,另一个团队做性质这边,然后就这样分别培养它们。
-
对,我觉得在这些方面我们还能取得很多进展。
-
把这些智能体工作流拆到不同的领域,我觉得在合成预测上也有很多实证工作可以做。
-
也就是说,拿到那个原子构型之后,你能用哪些工具?
-
以及,有了这些实验证据、有了之前的文献、之前的论文,你究竟怎么才能做到这些东西;最后你其实是在检验,你到底能不能真正复现它?
-
我之所以这么说,可能也是因为我在从公司的角度想这件事。
-
台积电有点像半导体的晶圆厂,但他们不设计半导体;你可以成为材料界的台积电,人们来找你,说“我想要这个”,然后你就能把工艺搞清楚。
-
对,这就像一台物质编译器。
-
就是说,给定这些要求,这到底是不是一组有效的构型?这种东西能存在吗?
-
它是一个好的目标函数吗?
-
我不知道,这太大了。
-
我们之前大概聊过,我们的使命之一就是合成超级智能,所以我觉得这跟它是一脉相承的。
-
我想再深入聊一下你刚才提到的那个点,你当时谈到了几个阶段。
-
我觉得这就要说到 Doge 关于什么是涌现的那条评论了。
-
相变这个概念,我觉得对很多听众来说可能有点陌生。
-
所以你能不能解释一下什么是相变,然后为什么它对强化学习环境之类的东西来说是一个有用的信号?
-
相变特别有意思。
-
我觉得人们在生活里最容易产生共鸣的,可能是冰融化,或者水沸腾。
-
你把冰的温度升高,它看起来还是冰,表现得也还是冰,但到了某个温度,它的温度就不再往上升了,然后就变成液体。
-
所以它突然就从固相变成了液相。
-
另一个跟我们非常相关的,当然就是伊辛模型。
-
我觉得计算机科学家和数学家可能也用别的名字研究它,但基本上就是你可以有自旋向上和自旋向下,如果两个都向上,和一个是向上一个是向下,它们的相互作用项是不一样的。
-
在温度足够高的时候,它们通常就是随机地向上或向下,熵占了上风。
-
你把温度降下来,它看起来还是一样。
-
但到了某个点,它们突然完美地排成一条线,对,这就是相变。
-
相变这个现象特别好,因为它让物理学家在研究某些东西时轻松很多。
-
它们往往会有一些特定的空间关联,这对我们也特别有帮助。
-
好,所以在我们实验室里,相变通常是这样发生的:我们把本质上属于不同晶体的前驱体混在一起,然后升高温度或者做点别的来促使它们反应,接着原子开始反应,形成这种新的晶体。
-
这会体现在 XRD 图谱里,因为通常如果原子的几何结构发生剧烈变化,XRD 图谱也会变化很大。
-
但在一个典型的实际材料发现过程里,真正发生的情况是,你第一次尝试某种东西,它不成功,而且结果并不是清清楚楚的“是”或“否”,而通常是很多相混在一起。
-
它通常会含有一些前驱体,可能还有一些非晶相,然后还会有一堆你也许根本没想合成的相。
-
所以这就成了一个挑战,这也是为什么我们发现,把模拟和 AI 结合起来做表征非常困难。
-
所以模拟总是可以说,哦,这个相看起来不像我们预测的那样,但它像是预测结果的一个变体。
-
现在让我来做一下力场计算,看看它是不是还稳定。
-
或者 AI 可以说,根据上一个实验和这个实验,这大概不是我们想合成的相,那我们改一下条件吧。
-
跟听众说一下,XRD 就是 X 射线衍射,你前面已经解释过了。是的。
-
有些情况下,会有一种以前根本没被记录过的相。
-
它在任何论文或数据库里都不存在,所以 AI 必须真正去用这些工具来判断:好吧,什么样的原子构型才能解释这些相?
-
但这对指导科学过程变得极其重要,因为比如说,我们心里有一个目标相,我们就真的很需要像爬坡一样去优化它,以便对这个相做更好的测量。
-
所以如果它是 1%,而我们会说,其实我们想提高这个相的纯度,我们想对这些实验数据做非常好的测量,来判断,你知道,哪些相存在,哪些不存在。
-
所以一个好处就是,你有一个很明确的、可以直接观察的变量。
-
就像回到刚才关于你怎么处理不确定性的说法,你的一个——看起来你答案的一部分是,你要让可观测的特征变得比较没有歧义。
-
这里就没有解读空间了。是这样吗?
-
这是背后的逻辑,还是说真的就是你只是需要找到一个新相?
-
所以这就是你关心的东西。
-
我是说,我觉得在很多这类情况下仍然有歧义。我是说,就像,你知道,一个很笨的例子就是重复实验。
-
对,我们会做重复实验。但不对,我是说,我觉得它们,你知道,这是个很有挑战性的任务,因为它并不完全是确定性的,而且会有——好吧,会有歧义和其他一些东西,两个不同的相其实可能和同一个图谱一致。
-
所以我觉得,这就是为什么系统真的需要用到一些化学直觉,来说,好吧,考虑到合成条件,考虑到这些先验知识,这非常不可能,所以这可以用来帮助消除歧义。
-
你在那里某种程度上是根据你的预期注入了一些先验。对。
-
我觉得热力学是最大的先验。
-
然后物理也是一个很大的先验。
-
另一个我们在这里非常受益的东西是多模态,或者说材料表征。
-
所以我们可以做 XRD,没错,有些相在 XRD 图谱上可能看起来很相似,但之后我们还可以测量电学性质、磁学性质,我们可以测量它们的形貌,比如用某种电子显微技术,
-
然后,有些在 XRD 上看起来相似的相,在这些维度里的某些维度上会看起来不一样。
-
这种多模态确实很有帮助。
-
还是那句话,AI 在这儿真的很有用,因为人类的上下文和算力也都有限。
-
所以如果你同时给人 10 种不同的模态,然后说,把这些全都一致地分析一遍,那还是挺难的。
-
但这事让 AI 来做其实并不需要超级智能,而且这很棒。对。
-
这就像超级智能,它能做特别多的计算,能把所有东西都看一遍,这就讲到那句话了:在不确定性下更好地做决策,现在它是把很多不同仪器上的信号、跨不同实验纵向地拼接起来,
-
跨重复实验,然后得到背后这个更好的模型,而不是只根据一台仪器的一次测量结果过度归纳。
-
让我说,你之前,我觉得是刚才,也说过,数据就是多到你没法塞进任何合理的计算机或处理流程之类的东西里。
-
所以到某个时候你就得扔掉数据,哪怕你有所有这些重复实验,哪怕你大概有 10 种不同的方法测同一个东西,因为万一你某个温度测量出问题了呢?
-
那你什么时候会把这些扔掉?你怎么决定该怎么办?
-
作为一个数据饥渴的 ML 人,我就什么都想要,对吧?
-
然后我就直接建模,什么都学,我连自己不知道什么都不知道,就让机器硬上。
-
对,所以我们不会扔掉任何数据。
-
我觉得我刚才想说的可能是,如果上帝在观察这个实验,那实验里的数据量比人类能放进计算机里的还要多。
-
不幸的是,我们这些凡人没法观察所有的原子。
-
所以就算数据比我们能存储的还多,我们其实也拿不到那些数据。
-
比如,我没法追踪所有原子的位置。
-
所以很遗憾,我们现在还处在这样一个阶段:收集到的任何数据都非常珍贵,我们一点都不会删。对。
-
也许把它和 AI 那边联系起来的一种思路是,想想探针,比如对基础模型做线性探针,对吧?
-
这个模型拥有所有这些数据。
-
所以上帝对材料在干什么有一整幅完整的图景。
-
然后实验就是那个小小的线性探针,输出大概就八个比特之类的。
-
所以你是把这么一个庞然大物粗粒化压缩成一点点信息,然后要么传统上是人的活儿,要么现在是你的智能体的活儿,就是从这八个比特的信息里去重建里面到底发生了什么。
-
这是个类比:你没法完全看清每一个参数,也没法看清那个输入对应的每一个激活。
-
你拿到的只是它的某个子集,或者是覆盖整个东西的一些粗粒化特征。
-
对,但你可能也会觉得,你多半会觉得麦克斯韦妖那个论证特别有意思,因为那种……
-
你能复述一下吗?因为我不知道,他之前提过,我老是忘。
-
就是,在19世纪,人们意识到一个系统的熵必须增加,或者对封闭系统来说保持不变,但它不能减少,这就是热力学第二定律。
-
然后有一个思想实验,问的是如果有一个非常微小、全知的小妖,它能看着原子,然后每当一个原子能量低的时候,
-
就打开一扇门,让它进到另一个房间,一直这么做来降低系统的熵,这就会打破热力学第二定律。
-
很长时间里,我觉得对于为什么会这样,一直没有很令人满意的答案,但后来有一篇更近期的论文,是在20世纪,离我们更近一些。
-
兰道尔提出了一个论证:你要删除信息,就必须消耗能量,而麦克斯韦妖做他正在做的这件事时,基本上会接触到太多信息,多到他不得不删掉一些。
-
当他删除信息的时候,就必须消耗能量,而这就确保了熵会增加。
-
所以虽然我们还没到能当麦克斯韦妖的水平,但我觉得你这个问题很有远见,指向了这样一个未来:我们存了太多数据,不得不删掉一些。对。
-
我当时显然没想讲到那个程度。
-
这确实让我想起空调。空调就是这么工作的。
-
但另外,我觉得这也就像是在问,你为什么不干脆把世界上所有传感器都买来,疯狂地过度测量、过度复制一切。我们就是这么干的。
-
对。
-
我觉得这是个……确认了。对,就是这样。
-
你是能看到单个原子吗?而这根本不可行。
-
但不对,我们会加大量遥测数据,这基本上就减少了隐藏变量的数量,如果你愿意这么说。对。
-
只是出于好奇,我当时想,你会不会担心你们只是在加州?
-
你难道不想在尼泊尔和澳大利亚做这个吗?对,我们可以。
-
我是说,我们有计划开更多实验室。
-
因为显然重力、你面朝哪个方向、你在哪里,这些都有影响。
-
而且,专业能力分布也可能变化。
-
在这里,我们有某些类型的专业能力。
-
比如,斯坦福物理系、工程系有某些专业能力,这对我们帮助很大,因为我们可以从那里招人,我们的研究人员可以合作。
-
就像你说的,地理位置可能很重要,但不同城市在物理、化学方面的专业能力也会有些差异。对。
-
我是说,我们有 Zoom 可以解决这个。
-
你的实验会受你所在位置影响。对。
-
我是说,Periodic 的未来不是只有一个实验室。
-
我是说,你得甩开你那好哥们 Jeff,去太空。对。是的。
-
我是说,我觉得有必要有这样一种实验室网络。
-
我觉得,就像刚才有人指出的,基于专业能力或材料限制,这些每一样都有一个最优地点。
-
有很多不同的限制条件在起作用。好。
-
所以有一件事我一直很好奇,你们怎么处理计算工具,或者说怎么把计算工具整合进决策流程,尤其是当比如说计算和实验不一定对得上的时候。
-
还有理论,从高层次理解的角度来说,嗯,这些东西是怎么协同工作的?
-
对,所以我是说,这里有一点特别有帮助,就是有些事在模拟里做起来更容易、也更准确,而有些事在实验里做起来更容易、也更准确。
-
我是说,总的来说,实验当然更准确,但有些测量用实验非常难做。
-
所以你会做出一个很差的版本,然后得到不准确的数据。比如说,我给你举几个例子。
-
其中一个就是,我们用密度泛函理论来估算材料的生成焓,然后——先打断一下。
-
你能解释一下密度泛函理论,还有生成熵吗?嗯,当然。抱歉,是生成焓,对。对。
-
所以密度泛函理论大概是材料领域最常用的模拟方法。
-
它来自 Kohn-Honinberg 定理,Kohn 还因此拿了诺贝尔奖。
-
当他意识到,当然,量子力学计算成本非常高,因为每个波函数都有指数级的希尔伯特空间。
-
所以你得解这个非常困难的问题,尤其是当系统规模增长时。
-
Kohn 和 Hohenberg 意识到,原来你不需要处理那个指数级的空间。
-
你只需要考虑电荷密度,至少对于量子力学系统的基态来说是这样。
-
所以其实这个定理挺简单的。
-
所以我觉得,连物理系本科生都能理解。
-
但这个想法是,量子力学系统基态的所有性质都是电荷密度的一个泛函,这很神奇,因为电荷密度只是一个三维对象,而希尔伯特空间和波函数都是指数级的。
-
所以那是一个非常有趣的观察,然后 Kohn 又发表了一篇论文,我记得是和他的博士后 Schaam 一起,Kohn-Schaam 波函数,算是给出了一种实用的方法,用来求解材料或量子力学性质的一些近似。
-
今天我们用得非常多,既在我们实验室里,也在外部。
-
然后生成焓是我们可以做的一类测量,用来理解材料的能量。
-
基本上,我们想问的是,这种材料具有的能量是多少?
-
因为如果那个能量高于这些原子可以形成的其他材料,那这种材料就不太可能被做出来。
-
所以稳定只是说,它处在其他材料及其能量构成的凸包上。
-
这样够清楚了吗,还是我们要不要——
-
我是说,也许简单讲一个高层次的要点。
-
所以密度泛函理论是一种方法,把随着电子数或系统规模指数级变难的东西,通过引入一些误差,近似地简化成通常大概是三次方的近似。
-
所以现在你就能计算一些量了,就是,你现在可以算那些本来根本算不了的东西,但这是有代价的。
-
如果你能把它做得完美,我们就不需要实验室了。
-
但我们做不到。
-
这也许正好可以呼应我们第二期节目,Heather Kulick 说过一句很有名的话:材料领域没有 AlphaFold,不只是计算上,而是连真值本身都不存在。
-
我们其实并不知道材料的晶体结构长什么样。
-
而 DFT 通常是我们通向那个目标的最佳途径。对,我觉得是这样。
-
我是说,也许我想补充两点:DFT 从定义上讲并不一定得是个近似。
-
Kohn-Honenberg 定理表明它可以是精确的,但我觉得,就像你指出的,交换关联泛函我们目前还拿不到。
-
然后对于基于电荷密度的模型,我们不知道动能泛函是什么。
-
然后就算我们有了完美的 DFT,我还是觉得我们需要实验室,因为即使我们有完美的 DFT,我们也没法把 10 的 23 次方个原子塞进计算机里。
-
对,你对那个数字非常着迷。
-
好吧,好吧,对,但如果算力是指数增长的,你可以说,在三次方缩放的规模下,最终你原则上还是能算这些东西,只是要等得足够久。
-
但只要三次方是个好的缩放规律,你就能做到。
-
作为一个非科学家,我要提一个观察,不知道你们想不想拿来讨论或者怎么样。
-
所以我来自金融行业,我们那时候有 Gaussian Copula,它是一种给信用违约互换定价的方法,靠做相关性,把所有东西压缩成一个单一的核。
-
它在精神上也感觉跟 VAE 很像,都是把所有这些东西浓缩成一个参数。
-
我就在想,是不是哪儿都有同样的套路。
-
你这个听起来比我的更高维一些。
-
VAE 只是一个单一的东西,但听起来一样?
-
对,那个电荷敏感性文件还是挺大的一个文件。
-
你说得有点笼统,但已经够用了。
-
这是最关键的一点。
-
就我个人而言,我还真不知道有什么更好的方法来预测一种新材料的稳定性。
-
它肯定不完美,但肯定比我想到的其他方法都要好。
-
所以回到你的问题,我们用它们的原因是对某些东西来说模拟比实验更容易,而且它们互补得很好。
-
然后我们就可以循环着来做这件事。
-
我们觉得光靠模拟本身永远不够,但在模拟、AI 和实验的循环里,我觉得我们能比以前快得多地取得进展。
-
模拟让你能做的一件事就是可以扩展得快得多。
-
我的意思是,现在算力上线比建新实验室容易多了。
-
你怎么避免——或者说,假设你把一堆 DFT 扩展了——你怎么避免让你的模型过度参照那个,同时仍然扎根于现实世界才是你最终在乎的真相。
-
如果你,你知道,你怎么——嗯,我们也扩展实验室啊。对,你也扩展实验室。
-
但我的意思是,你可以——以现在的算力,我能想象把 DFT 扩展到几百万、上亿次,而你的实验室,我想,一天也就几百、几千次吧。我也不确定。
-
就像,即使在真正高通量的情况下,你知道,相比起来你还是相当受限的,对吧?对。
-
我的意思是,一部分是人,但 大语言模型 们也很清楚 DFT 的局限性。
-
比如说,即使我们能像你说的那样用 DFT 做一亿次试验,我们也永远没法真正去试它们的微观结构。
-
微观结构是这个概念:DFT 通常模拟的是完美晶体,但晶体实际上通常并不完美,而它们的微观结构——也就是中等尺度上的结构——真的会影响性能。
-
当然还有其他问题,有些性质,比如超导温度,不太容易用 DFT 模拟。
-
再说一次,即使你用 DFT 做一亿次试验,也还是不够。
-
所以我们必须依赖启发式方法、实验等等。所以从所有这些计算到实际在实验室里执行的东西,中间有一个巨大的过滤。
-
那是人工介入,还是大语言模型,还是两者混合?可以是混合的。
-
比如,Materials Project 这个长期项目,长期以来都是最好的开源 DFT 数据库,它就用实验来校准 DFT。
-
所以他们实际上会用实验数据来校准 DFT。
-
我们内部也会这么做,比如每当我们对某个化学体系感兴趣,你会拿到实验、拿到模拟,然后可以对它们做校准。这是另一件事。
-
我跟很多生物学家朋友聊过,他们总是很困惑:在材料领域,你不能只做一个 XRD 结构就真的知道那结构是什么。
-
因为在生物学世界里,你可以看一个蛋白质的晶体结构,通常或多或少能,像是,亚……
-
嗯,就像,以埃级精度重建出来。
-
材料 XRD 的区别是什么……
-
你知道,X 射线只是为了……X 射线衍……
-
不,是衍射。衍射,抱歉。
-
材料的实验 XRD 跟,比如说,生物学世界相比。
-
比如说,你会丢失什么信息,以及为什么这有点像一种有损投影?
-
回答这个问题时,很难不听起来像疯了一样。
-
但你不觉得,有机化学和生物学几乎源自一个更低的 VC 维,像是更低的柯尔莫哥洛夫复杂度模型,几乎可以表示成一维序列,而且几乎可以被编译吗?
-
所以从某种意义上说,从柯尔莫哥洛夫复杂度的角度看,它更简单。一维?
-
我是说,DNA 就像 RNA 一样。
-
我觉得大多数人会说它更像是二维的。不过,是的。
-
我不是生物学家,所以我确信他们是对的。
-
但在无机化学里,多样性简直离谱。
-
它显然不可能来自那么低的柯尔莫哥洛夫复杂度模型,因为三维无机晶体可以有金属、绝缘体、超导体、金刚石,差别真的疯狂。
-
人们试过,但我们一直找不到那种一维表示,因为要为三维无机晶体找到一个 SMILES 字符串非常难。
-
而且原子之间相互作用的方式相当奇怪,比如共价键、离子键、金属键。
-
不过,是的,这非常有意思。
-
我有时候会想,你有没有深入了解过固态电解质的问题,比如为什么人们没法用固体来替代电池里的液态电解质?
-
会形成各种枝晶,基本上就是锂会长出这些结构,扎进固态电解质里,把它弄裂。
-
你看到这个就会觉得,跟生物学比起来,这简直太原始了。
-
在生物学里,这些系统能完成如此复杂的纳米技术壮举,而我们连让两个界面彼此配合都做不到,因为锂会把它弄坏。
-
对,不过那我觉得无机物可以非常耐高温。
-
你能造航天飞机,也能让硅的计算遵循摩尔定律。所以对,这就是一种取舍。对。
-
我们跟其他好几位嘉宾都聊过这个。
-
在我看来,一个很大的区别是,生物学里我们有一套工具箱,你知道,你基本上可以借用,比如从数百万年的进化里借来,对,进化已经给了我们所有工具,我们只要把它们复制出来就行;但进化也约束了 VC 维度,让它保持相当低,对于
-
像蛋白质之类的,不过,像细胞这种大规模系统涌现出来的、甚至超越其上的行为可以复杂得多。是啊,是啊,但也许更具体地说,比如说,如果你只看一个 X 射线,你有一个完美晶体,你朝它打一束 XRD,然后你得到
-
那个,你知道,你得到光谱。但那其实还是不能唯一地告诉你晶体结构现在到底是什么,
-
所以,这就是那种……它只是平均值。它只是平均行为。但比如说,这种 proportionation 是一件非常复杂的事,可能你是完美晶体,平均来看它像是这种完美的 XRD,但实际上还有另一种模式在发生,比如说,
-
原子会稍微向右或向左偏移,但平均下来它们在中间。
-
是啊,这日子不好过,是啊。
-
而蛋白质就不一样,你基本上知道有某种底层的蛋白质,它遵循一些规则。
-
所以你可以把前向模型和这个结合起来。对吧。
-
然后你就能一步步朝单晶 XRD 靠近,这会有帮助。
-
我们刚开始做 SciencePod 的时候,就有这些主题:AI 和科学、AI 和数学、AI 和物理,等等这些。
-
当时有一种互相较劲的感觉,就是,到底哪个更难?
-
而且我觉得你完全可以从科学上论证,材料科学是最难的。
-
不过我们选它,倒不一定是因为它最难。
-
我的意思是,其实在很多方面它反而更容易。
-
我是说,对很多大类材料,我们都有非常好的模拟器。
-
而在生物学里,要对一个细胞、一个器官或者一个完整生物体建模,那是极其困难的。
-
所以我觉得这是一个巨大的优势。
-
有意思的是,在最微观的层面上,它是一维或二维的,但接着它就有了好几个数量级更大的尺度和结构,而复杂性恰恰就是这么来的。这挺奇怪的。
-
而材料的复杂性,也许更多是在微观结构上。对。
-
材料在不同尺度上,同样也会有不同层面的复杂性。
-
所以对,微观结构,以及更往后的那些。
-
就有点像是个简短的清口环节。
-
从科幻的角度来说,假设你想发明什么材料就能发明什么材料。那什么更有价值?
-
我这里有个清单。
-
显然有室温超导体,但还有你提到的电池。
-
我一直觉得是电池。
-
只要比锂离子电池更好,你就成了。
-
它都已经一百年没什么进步了。
-
然后最后一个就是碳纳米管,主要是为了造太空电梯。
-
我不确定,反正我能想到的就是这三个。
-
在你们这个领域里,有没有什么是大家经常谈论、算是那种终极梦想的?
-
那肯定是超导体、磁体,尤其是如果你能降低对稀土或像钴这种很难获取的过渡金属的依赖,比如减少电池里的钴。
-
我觉得有一件非常根本、非常重要的事,就是如果我们能在计算能效上接近兰道尔极限。
-
你能解释一下兰道尔极限吗?
-
好,所以如果你看我们每个浮点运算、或者每次计算要花多少能量。
-
它一直遵循类似摩尔定律的那种趋势,也就是效率呈指数级提升。
-
所以我们每次浮点运算或每次计算花的能量一直在指数级减少。我的意思是,我最近没查过。
-
十年前还是这样。对,这很棒。
-
我记得我第一次了解这个、看到那个数据的时候,我们当时差多少来着?
-
大概还差十个、二十个数量级吧,或者差不多那样。
-
而我上次看的时候,我们居然已经很接近了。
-
比如说,我们只差……我也不知道,大概三到四个数量级。
-
其实这就像——我猜,就是指数变化在这么多年里一点点展开。
-
对,持续很多年的指数增长确实挺震撼的。
-
但在你这一生里,你也能说出点变化来。
-
对,就从我大概——怎么说——十或十五年前发现这件事以来。
-
我们必须做的一件事就是散热,因为在进行这些计算时,它会产生热量,这是必然会发生的,但之后我们就得把热散掉。
-
所以,如果我们能在做计算的效率上接近兰道尔极限,那对人类来说就太了不起了,因为这意味着我们做计算——这可能是人类最基本的行为之一——
-
但要从能源的角度尽可能高效地去做,而能源才是宇宙中真正的硬通货。
-
那会被量子计算影响吗?
-
我就先把这个想法抛出来吧。
-
理论上,这就是那种可以超大规模、轻松并行起来的计算。
-
所以它肯定会被可逆计算影响,但说实话,我不是专家,我也不懂。
-
所以如果你现在能做可逆计算,你实际上就不用为了计算消耗能量,因为你并没有真正删除任何信息,它是可逆的。
-
但我不知道这能不能行。我不知道。
-
量子计算,我猜它总得在某种程度上遵守这些定律,因为它必须遵守热力学。
-
它是幺正的,所以是可逆的。
-
我跟 Elad Gil 最难忘的一次对话之一,就是他其实对量子计算非常怀疑。
-
就算你今天有了它,也没有什么应用。我当时就想,哇。
-
它会破解安全性。我一直说,就这个了。这点我同意。
-
比如,人们会说,如果你今天有一台量子计算机,你就能把模拟做得好得多。
-
我就问他们,好吧,就算我们接受这一点。那你会模拟什么?
-
你还是只能模拟完美晶体。
-
你仍然会遇到 DFT 的那些问题,哪怕 DFT 在这种预测能力上是完美的。
-
所以我确实觉得,因为量子计算太令人兴奋了,人们会忽略一些东西。
-
比如,如果我们能在量子逻辑空间里计算,而不是在经典逻辑里,这实在太让人兴奋了,以至于人们会忽略它真正被造出来之后到底能做什么。
-
也许这也没关系,因为也许一旦它被造出来,它就会做出我们甚至无法想象的惊人事情。好。行。
-
我接下来想转到实验室自动化这部分,你们已经让实验闭环了。
-
你们谈到了机械臂,那就基本上讲讲你们在这里做的所有事情吧。
-
我最喜欢你说过的一句话是,你们实验室里的每一台设备都会有 140 的 IQ。好。那是什么意思?
-
早期,当我们扩大规模时,我们发现光是操作机器就给我们带来了巨大的瓶颈。
-
所以对于某一组机器,我们会有技术员和科学家去寻找特定的形貌,试着看看,好吧,我们实际做出来的到底是什么,看看这是不是符合我们的意图。
-
随着我们扩大实验室规模,我们很快就遇到了这些瓶颈,根本跟不上。
-
所以我们就开始用一些程序化的方法来采集 SEM 上的数据。
-
这个非常简单的程序会取一个视场、拍一张、再放大、再拍,但这样呈现出来的数据其实并没有那么有用。
-
对于我们真正想提取出来的东西来说,它有点太笨了。
-
所以到那个时候,把 AI 系统直接建到机器上、开始控制这些东西,就变得非常有必要了。
-
现在它们有完整的上下文,知道我们想达成什么。
-
也就是,这个实验的意图是什么?
-
我们想合成什么?
-
还有哪些其他实验证据?
-
而且它实际上会在机器里观察,并采集那些数据。
-
这一点现在真的很有价值,因为我们一直在谈这些隐藏变量,以及没法捕捉到所有东西。
-
但如果你能在那个实验进行的时候做更智能的数据采集,那你用于未来 AI 系统和未来计算预测的数据就会好得多。
-
你得到的数据就会更丰富。
-
所以这就是我们的意思:实验室里的一切都必须极其智能,才能让数据尽可能有用。
-
所以这就是这件事背后的动机和灵感。
-
那么在让每台设备都有智能这方面,目前最先进的做法是什么,对吧?
-
嗯,我觉得一个很有意思的点是,控制那台仪器的延迟是多少?
-
因为存在云端延迟,但还有设备端计算。没错。
-
然后不同的物理过程都有各自的时间尺度,如果去调用 API 之类的实在太慢,也就是推理量、token 数或者工具调用量跟那个实际过程的延迟根本不匹配,那就行不通。
-
这听起来像自动驾驶汽车。
-
我其实听到这个挺惊讶的,因为我原本以为推理的延迟,跟很多这类事情要跑好几个小时相比,应该是很小的,对吧?
-
或者也许,你知道,也许你们的实验快得多,或者是高通量之类的。我只是听到这个有点惊讶。
-
所以最终来说,实验确实要花,你知道,好几个小时、好几天,但可能有些特定步骤里延迟是会要紧的。
-
对,比如说,你可能想要更精细的控制。
-
还有一个问题是它有多贵,因为就像,某些模型分析数据可以很慢,同样这个原因也让它们非常贵。
-
然后最后,还有人的耐心。
-
如果一个人想要分析某个 XID 图谱,却得等两个小时才能拿到好结果,我觉得这跟两分钟就能拿到,差别非常大。
-
然后推理这块,你并不是只调用那个模型一次,对吧?
-
你可能会用很多很多 token,才能得出这些模式。
-
就像在循环里跑模拟。没错。把深度研究放进循环里。
-
这不是一次单独的工具调用。
-
也不是单条推理线程。
-
所以这样一来,延迟可能会涨得很厉害。我明白你的意思了。
-
那么你们的延迟里有多少是工具调用造成的?
-
而且我猜工具调用主要就是像 DFT 之类的计算技术,所以,对。
-
那你们的延迟有多少来自这些东西,又有多少来自实际的推理呢?
-
这真的取决于是什么过程。好。对。
-
然后我还会想到的另一件事,我猜,是从小东西逐步搭到大东西,我假设通常的诱惑,或者说典型的开发方式,是渐进式的:所有东西都是人工操作,然后你找到办法把它自动化,再在此基础上一点点搭起来。
-
我担心有时候人们发展东西就是那样搞的,但那是局部最优。它是短期的,只是一种优化。确实。
-
而实际上,你应该搞一个人形机器人,直接把它放进去。
-
我觉得我们持这样的看法:解决人形机器人问题,实际上会更慢地让我们达到某些目标。就是确认一下。
-
再说,很多这种事就像:你每天都这么做,我们也看得到,但我不知道实际情况到底是怎样。很多人都是超级人类派。对。
-
我觉得也许有一个办法是,把人工和自动化混在一起用,你就能很快识别出实验流程里的一些瓶颈,然后一个一个地缓解这些瓶颈。
-
比如说,如果有个特别考验手上精细操作的任务,人做起来很擅长,但你得花好几个月去把机器自动化,
-
也许别在那上面花太多时间,更有希望的可能是一些非常常规、占用大量科学家和技术人员时间、而且容易自动化的事情。所以我觉得这里面有一种实用主义。但我的意思是,归根结底,我们想从实验室得到的是海量的数据、高
-
质量的数据和多样化的数据,而这些就是我们的目标,而完全自主不是目标。
-
有点是这么回事:我们使用自动化,是为了服务于在数据上实现这些目标。
-
不过另外,我觉得自动化的另一个方面是,机器人在实验室里可能会犯更少的错误。
-
而且,让 AI 系统能全面查看我们所有数据,真的很有帮助。
-
因为有时候,如果数据里出现了某种置换,它就能识别出来。
-
所以举个例子,我们某个步骤一度出现了循环错误,因为有一台机器装载错了,导致模式不一致。
-
于是 AI 把这些东西读了一遍,说,嗯,根据实际运行的内容,这不应该是这样;它纵向地看这一堆数据,然后意识到,如果我做这个循环置换再反过来,
-
一切就都一致了,然后我们就能回到物理基础设施那边,明白是在装载时出了错。
-
我觉得管理数据质量对于在物理世界里做 AI 来说太基础了,而这类东西正是我们在构建时内置进去的,这样你就能改进操作流程。
-
但到那个时候,你就会想,好吧,这又是一个自动化的绝佳机会。
-
我们怎么才能让这件事变得特别可靠、特别持久,让我们再也不会犯那类错误?对。
-
降低实验数据的噪声底,我觉得非常重要。
-
文献里大多数实验数据的噪声底都太高了,实际上通常比 DFT 的精度还差。
-
因为当不同的人、不同的实验室、世界不同地方、不同时间做实验时,真的会给结果带来特别大的波动。
-
所以我们希望,把这些流程标准化之后,最大的好处之一就是噪声底会被降下来。
-
你一直挺公开地讲你们怎么用开源模型,并针对这类事情去微调它们。这样更好吗?
-
我能想象一种情况:你让一些专门模型只做一项任务,然后针对这项任务优化,再让一个通用前沿模型去监督所有事情——这是个好的思维模型吗?
-
这里面还有更多阶段是我可以考虑的吗?
-
我们基本上是把开源模型和闭源模型混着用。
-
我们从仿真这一侧搭建机器学习栈、仿真栈,是这件事的巨大受益者——我们不需要去争取那种访问权限。
-
但有很多领域,延迟太高,成本也太高。
-
但在某些情况下,只要能获取这些数据,我们实际上就能超越这些系统即使在最高推理力度下所能达到的边界。
-
所以这不一定只是成本或帕累托效率的问题,而是在有些情况下,当你拥有别人没有的数据时,你可以突破那个边界。
-
描述这件事的一种方式,是从计算效率的角度来看。
-
所以能拿到这些数据,相比一些前沿模型,你就能在计算效率上高那么多,而这对我们的项目来说一直是非常关键的一点。
-
对,我真的很想说,数据质量或者说数据获取,是可以跟计算做权衡的。你知道,我觉得花在计算上的钱和花在数据上的钱之间存在某种汇率,而我现在感觉,钟摆可能正在摆向数据这边。
-
我是说,显然你会同意这一点。
-
对,尤其是,你知道,说到实验数据的噪声底,我们需要有高质量的数据。
-
如果你拿海量算力去砸一堆噪声,是不会涌现出什么好结果的。
-
这对你来说更难,因为你们实际上是想保持稀疏。
-
你们实际上是想要拿到零结果,并从中学习。没错。对。
-
对,你在其他好几个场合都谈过零结果。
-
对材料来说,零结果长什么样?你又怎么有效地利用它,尤其是我觉得,从成功率来看,你们的整体信号通常可能相当稀疏?
-
我是说,零结果可能是:我们本来想做出某种结构,结果所有证据都表明我们并没有做出那个结构。
-
你们有没有故意不想做出某个结构的时候?当然有。对。好。酷。
-
你们会做阴性对照。当然。好。
-
比如会有杂质相,直接把你的性能搞没。对。好。它可能有毒。没错。百分之百。好。
-
有些情况下,负结果其实是:我们本来想做下面这个东西,然后我们实际上识别出了一个以前没被识别过的新结构。
-
所以从某种意义上说它算负结果——我们本来想做的是另一件事,但数据里却冒出了另一个东西。对。
-
而且一般来说,训练机器学习算法的时候,尤其是在很基础的层面上,如果是个分类算法,你没有负样本,那如果所有东西都是正样本,你其实就没法训练。
-
这在材料科学里是个特别糟糕的问题,因为人们通常只会发表他们能合成出来的晶体。
-
但他们合成不出晶体的时候,通常不会发表。有时候可能会。
-
而且我们其实从来不知道一个晶体是不是永远都合成不出来,对吧?这可能只是水平问题。没错。可能只是水平问题。尤其是放到文献里看。
-
合成方法的问题,技术的问题。
-
所以我觉得,我们自己去做实验,然后在我们尝试的背景下拿到负结果,这对我们真的有帮助。
-
这样我们甚至就能训练一个分类算法了。
-
我觉得还有另一个很成立的点:当你有一连串负结果,最后通过工艺迭代,终于能走到那个正结果。
-
这是一组非常有意思的,我称之为工艺工程类型的数据。
-
所以它就像是,通过迭代,你到底是怎么走到那个正确结果的?
-
因为材料科学里有太多地方,对于一个东西到底是怎么做出来的,其实都有这种模糊性。
-
即使是一种已知材料,要复现出来也可能非常不简单。
-
有些东西就像高中教科书一样,但另一些东西真的处在前沿,我们也在积累这方面的技术诀窍。
-
我正在搭建一个系统:给定这一连串负结果,你到底怎么才能走到那个正例?
-
看到分类器的结果,我几乎会觉得,如果你所有东西都在内部做,那你的大部分结果其实都会是负面的,而不是正面的,这还挺讽刺的,因为文献里给你的只有正面结果。
-
所以如果你算是从冷启动开始做这件事,问题似乎其实是反过来的——你有大量的负面结果,而正面结果不够多。
-
就像你说的,如果你是按单个实验来打标签,那大部分都会是负面的。
-
但如果你是按一轮一轮的campaign来打标签,假设按campaign算,而且我们成功的时候也算进去,那可能就会稍微平衡一些。我明白了。
-
所以你的推理轨迹几乎可以是覆盖整个campaign的。完全正确。
-
完全正确,这是关键所在。
-
这类数据基本上在其他任何地方都不存在,而我们花了大量时间把科学过程的完整脉络放进模型里。
-
所以追踪所有这些数据——比如对话、直觉、实验室里执行了什么、计算在哪里跑的、代码在哪里写的——把这一切串起来,是非常有价值的。
-
我觉得整体目标是:你不是在拿科学的最终产出去训练,而是在拿做科学的过程去训练。
-
这感觉非常像你在RSI里会尝试做的事,就是你让一个模型去训练出更好的模型。
-
而你现在是让一个模型去训练出更好的实验,但区别在于,它不会回流到核心模型里。
-
除非你正在开发的物理模型改进了芯片,而芯片又改进了AI。
-
所以这就是为什么RSI是……
-
更大的,对,更高层次的RSI。那就是大数据飞轮。
-
但这是不是意味着,在Fable 6或者GPT-8之类的模型里,它可能已经被这类更高阶的推理轨迹调过了,
-
然后它其实可以直接做这件事,不需要任何逻辑?
-
因为这基本上是同样的思考过程,对吧?
-
对,我是说,机器学习里显然有不确定性下的决策。
-
跑AI循环的时候是有噪声的。
-
但我们确实认为,当你真正跟物理世界打交道时,会面对一套不同的挑战。
-
但另外,我觉得还有一点,就是把所有东西压缩进权重里,仍然非常有价值。
-
如果推理时的思考就足够了,那所有前沿实验室早就在GPT-4停下来不训练了,然后说,好吧,从现在开始,我们就会非常擅长做推理阶段的改进。
-
所以我们认为,正因为物理科学和机器学习之间有这些差异,把它压缩进我们自己的权重里,会带来不同类型的系统和不同类型的能力。
-
但我们也觉得,即便 Fable 7 变得非常强,甚至比今天还要强,它仍然得跑实验才能拿到结果。
-
原因就在于,机器学习非常擅长它被训练过的那些东西。
-
但科学发现,按定义来说,几乎就是你没被训练过的东西。
-
所以这就是为什么我们在建这些实验室,好让不管是开源模型还是闭源模型,都能用这些实验室去捣鼓宇宙,因为我们不觉得你不去尝试就能做出重大发现。
-
对,不会出现那种——没人能直接零样本搞定室温超导体。
-
对,对。
-
我是说,作为一个以前密切接触过、你知道,湿实验室的人,我肯定比有些人更怀疑零样本搞出科学结果这件事,但我觉得有些人可能会有这种想法。
-
对,我觉得非常重要的是,要把我们在数学和理论物理里看到的结果,跟物理世界区分开。这是两回事。不不,这是非常不同的两回事。我是说,甚至都还不是理论物理。
-
到目前为止,主要是理论计算机科学、编程和数学。对对。是啊,是啊。也许下一个就是理论物理。会来的。
-
我能不能大概理清一个思维模型,看看你们能提取到哪些层级?
-
比如说,在自动化方面,我又回到这个主题上了,我们聊过整个 campaign,聊过单个检测实验和跑测试,以及人类做这些事做得很差,所以我们应该别再让人类做了。还有别的吗?
-
所以比如说,比 campaign 高一层,可能就是你正在检验的物理理论;那比 campaign 低一层又是什么?
-
我喜欢从那个角度去想,然后再从另一个角度想,就是,好吧,现在这已经是一次 API 调用了。
-
你再也不用碰这个了。
-
这个还是有大概90%靠人。
-
也许我们可以这样大概画出这块领域的地图。还有别的层级吗?我可以给你讲几个层级。
-
我觉得你这个问题问得很好。
-
我没法给出一个特别系统的答案,不过我们可以聊聊几个层级。
-
其中一个层级是原子尺度的结构。这算是一种抽象,对吧?
-
就好比我们做的任何事情里都没有完美的原子尺度结构,但它是一种近似。
-
另一个是连续介质模型。
-
这个就不再是原子尺度的了,而是用连续的网格来表示材料。
-
然后在另一个维度上,还有热力学,就是假设你把这个实验一直做下去,最终状态会是什么?
-
然后还有另一层抽象,就是动力学,它承认我们不会把这个实验永远做下去,所以时间就变得很重要。
-
所以一个反应会有多快发生、或者根本不会发生,哪怕它能量更低或者不更低?
-
所以热力学、动力学、原子尺度、连续介质,还有呢?还有没有其他层面的抓手?
-
嗯,我觉得你说的那个点,就是,好吧,可能会出现一个统领性的新理论突破,能够指导多个攻关方向。
-
有点像作为投资人,我会想说,兄弟们,瓶颈就在这儿,只要把这个拿下,其他一切就都拿下了。
-
我是说,从一开始我们的假设就是,最大的瓶颈之一就是自动化表征。
-
因为把粉末混一混、试着搞点东西出来,其实没那么难。
-
但如果你没法表征和分析它,然后明智地决定下一步该做什么,那随机乱混粉末其实也捞不到什么好处。
-
所以我们花了很多精力在自动化表征上,用模拟来形成闭环。
-
因为只有这样,你才能试很多东西,做出有依据的决定,然后决定第二天该做什么。
-
也许,我还有个追问。
-
那什么,人类在这个闭环里到底是怎么存在的?
-
就是说,你们会在哪些节点把人类加进来?
-
我是说,我猜你大概……
-
你可以在任何环节随机插进去,想什么时候加就什么时候加。
-
但比如说,你们会决定把时间花在哪儿呢?
-
我是说,看起来可能是所有层级都得管。
-
比如说,实验室里有人是真正动手搬运材料的,然后还有科学家在指导决定要做什么实验计划,再然后还有人类,他们在……我觉得我这其实就是在替你们问问题了,对吧。
-
百分百,我觉得它也一直在变。
-
所以我是说,我觉得就拿实验计划的指导来说,早期完全是人来驱动的,现在越来越变成 AI 驱动和人类驱动混合。
-
然后 Ders 刚才也说,早期我们就发现表征是个很大的瓶颈。
-
早期那会儿是人来驱动的,科学家们真的被压得喘不过气,现在这个平衡已经明显倒向 AI 驱动了。
-
这也让那些以前把所有时间都耗在这些精修上的科学家,现在能把工作提升到别的层面。
-
但我是说,我觉得这真的有点像随时间变化的结果。
-
而且它在各个层面都一直在变。对。
-
从普通搜索的角度来说,有没有哪些方法在比如物理世界里表现很好,但在别的世界里表现不好,或者反过来?
-
所以进化搜索在 大语言模型s 里挺流行的。
-
我觉得它在这儿应该不太好使。
-
尤其是在模拟里,人们用进化搜索已经用了很久了。
-
它在结构预测上挺强,比如找低能结构。好,那就是有用。
-
然后半导体行业里的工艺工程师会做 DOE,也就是实验设计,他们经常用某种零阶方法,比如说贝叶斯优化或者进化搜索,我不觉得他们会用 RL,但思路差不多,对。
-
你总得用某种算法把它搞明白。
-
而且所有零阶优化说到底表现都差不多,对吧?
-
好,我想回到我之前问过的一个问题,就是关于 scaling 的那个。
-
所以我很好奇,你对实验室的 scaling 有什么设想?
-
所以有几种不同的方式。
-
我是说,从生物学领域过来,生物学里有很多很酷的技巧你可以用。
-
你可以给东西打标签。
-
你可以用 DNA 测序来做各种有意思的读出结果,如果你能把复杂的测定映射到测序上,那你就能扩展到几百万、几亿之类的规模。
-
你们能做这种类似的技巧吗?
-
说到底,每一种实验测定都有自己的运行时间。
-
我有一篇最喜欢的博客文章,我会在节目笔记里引用。
-
但这些实验室的运行时长是什么样的呢?
-
你们的 scaling 是不是只是……材料从根本上是不是就是线性的?你知道,就是你只需要更多资源就能做更多事情,还是说你可以用聪明的办法把东西并行化、把东西组合起来?这里有没有什么技巧?
-
嗯,我是说,我觉得一种理解方式是,RL 环境并不是那么简单地跑个实验、然后等那个 agent 完整地 rollout——你知道,做计算、走完所有仪器,直到最终结果。
-
我们基本上会开始在所有不同的仪器、所有这些不同的 campaign 上产生数据,而你要开始为机器学习扩展这些数据,一种办法就是,现在可以基于——又回到这个词——来构建强化学习环境,
-
比如当时实验 campaign 或计算 campaign 的数据,或者你也可以开始取仪器的子集,然后你说,好吧,我们就只基于这一台仪器来创建强化学习环境,
-
或者也许是横跨这些不同的仪器,来达到某种奖励状态。
-
所以这就是一种方式,这一有限的数据篮子,从不同角度来看,就能为训练目的而扩展。
-
所以它并没有触及实际的实验运行,但从 ML 的角度来看,是这样。
-
也许我可以针对你刚才给的生物例子,给你一些类比。
-
所以人们尝试过的一件事就是组合溅射,如果你听说过这个的话,就像你有这些溅射靶材,然后你造出一个成分梯度。
-
所以当你看最终产物时,因为每个前驱体都存在梯度,它会在不同的空间位置生成不同的晶体。
-
所以一次你也许就能试几百、几千种晶体。
-
这和你刚说的那个例子挺像的,对吧。
-
而且据我所知,这个到目前效果不太好,因为事实证明它存在扩散,东西会到处跑。
-
还有一个我们考虑过、但还没做的办法,不过很多人都在聊,就是超导测量是个瓶颈,因为不像 XRD,没有高通量的超导测量,而且每次测量可能要花一个小时。
-
所以人们想过把不同的候选材料混进一个样品里放进去,如果它有超导性,你就知道其中一个来源是超导的,我知道这个办法是可行的。
-
这有点像大家做新冠检测的方式。
-
所以这类想法是有的。
-
有些效果很好,有些不行。对。
-
所以我觉得,你们马上就要宣布一笔大额融资了。
-
那你们怎么考虑扩大规模这件事?
-
我们做实验室设计已经有一阵子了,我觉得这些资源能让我们继续大幅扩大实验室规模,同时也能扩大算力,既包括 AI 这边的算力,也包括计算这边的算力。
-
但我觉得还有很关键的一点是,我们能建出哪些新类型的实验室。
-
所以我觉得,我们一直在门洛帕克的初始实验室里验证这个循环,但我们会继续扩展到新类型的实验室,并重复同样的过程。对。
-
我们想建的那种实验室,我觉得以前还没人在这种规模下、用这种方式建过。
-
所以到目前为止,我们从自己的建设过程中学到了很多,这些经验会指导我们做下一个版本,再下一个版本。
-
然后就像你说的,我们可以扩大规模、提高目标,提升仪器质量。
-
有些仪器非常贵。
-
等我们真正搞清楚哪些东西能带来很大回报,我们就可以在那些方面投入更多。
-
这也让硬件工程变成了这件事的核心。
-
所以比如早期,为了快,我们会买一些现成的仪器。
-
随着我们扩大实验室规模,你就得自己做。我们必须自己做。
-
所以我们意识到,好吧,对这个仪器来说,它的速度挺快的。
-
这些部件其实都挺快的,但真正拖后腿的瓶颈是这台称重机。
-
还有些可能跟数据质量有关的问题,比如这个机械臂的停靠位置其实是在之前混合过东西的板上方。
-
所以就有污染风险。
-
所以在硬件设计里,我们要重新设计,让停靠位置远离那些东西。
-
正是这些细微的细节,让我们能把实验活动的噪声底限压得更低。
-
所以基本上就是把这些经验学到手,然后放大规模。
-
你知道,组织结构图一发出去,你就有了很多团队。
-
我觉得我们看你们招聘页面的时候还挺意外的,我们当时就在想,好吧,我们感觉没法完全对应上 Periodic 到底在做什么。
-
也许有一些组织原则能帮我们理清这个招聘页面。
-
我们会招 AI 研究和基础设施、计算、实验岗位,还有硬件工程岗位,然后是产品岗位。
-
我们想实现的是智能的合成,而我们觉得要做到这一点,就需要对口的化学专业能力、对口的物理专业能力,还有模拟理论,以及薄膜、粉末方面的专长。
-
所以硬件工程,这些看起来是非常多元的岗位,确实如此,但它们其实在目标上是一致的,就是普查智能,这也同样适用于做 大语言模型 的研究人员、基础设施,甚至产品工程师,
-
因为产品工程师要确保所有研究成果都被做成产品,让实验室里的实验人员能用上。对。
-
所以要做到跟物理世界形成端到端的闭环,就真的要求你有能力掌管物理世界,去建这些实验室,有效地开展这些实验活动,基于这些去造出 AI 系统,让它们成为计算工具的好用户。
-
这就是 Periodic 的难点所在,同时也是它的机会所在。
-
就是这一群人,以前从来没有被凑到一起过。
-
这从根本上就是一个跨学科的问题。对。
-
对我们来说另一个很重要的指导原则是,我们希望那些非常擅长自己本行、又很有经验的人,能亲自动手去做。
-
现代生活把我们带到了这样一个境地:尤其是在学术界,当一个人在某领域的研究做得特别好时,我们就给他压上太多责任,写经费申请、教学,结果他反而没时间在那个领域亲身做研究了。
-
但如果你回头看贝尔实验室、IBM 这些取得过很大进展的机构,真正动手干活的都是非常有经验的人。
-
Bardeen 虽然是个理论家,但他每天都泡在实验室里。
-
Alex Mueller 虽然是实验室负责人,但他也照样待在实验室里做实验。所以我们这儿也尽量这么做。
-
所以我们这儿有各个领域世界级的领军人物,但他们都是亲自动手干活的。
-
你是想夸一夸,还是直接点名?我可太乐意了。
-
我读博的时候,同龄人里我最喜欢的计算材料科学家是 Muratahan Aykol。
-
他的博士是跟我们的顾问之一 Chris Wolverton 做的,他算是我们的计算材料科学专家,特别厉害。
-
他明明做的是模拟,但有时候却特别像个出色的实验家。
-
他对系统的理解非常透彻。
-
我们的实验室负责人是 Joe Checkelsky,他是 MIT 的教授,但现在请假全职跟我们一起干。
-
Joe 是个特别厉害的物理学家,对超导理解得非常深,而且他之前还在日本当过一阵子教授。
-
所以他把合成和化学也练得非常扎实,尤其对一个物理学家来说更是难得。
-
我们还有 Daniel Chica,他以前是 Mercouri Kanatzidis 合成组的研究生,那可能是世界上最好的固态化学组。
-
而 Daniel 就是他手下的合成专家之一。
-
他那双手就跟变魔术一样。
-
我是说,这种例子太多了。是啊,我知道。
-
我是说,比如 Dima Bahdanau,他一直在牵头我们很多 AI 和 大语言模型 方面的工作。
-
他就是神经网络注意力机制的发明人。哦,Bahdanau,Bahdanau attention。对,没错。
-
对,所以他特别亲力亲为,会钻进 trace、训练分布里,还有怎么把它跟实验室对接起来。
-
化学也好,讨论也好,我是说,他都会钻得很深。他真的非常深入。
-
其实他在蒙特利尔的实验室里还有固态合成方面的书,Ray Nakano。
-
所以他以前在 OpenAI 带过一些 operator 方面的工作。他现在就在实验室里。
-
所以我们带人参观实验室的时候,一开始还心想,哎,这个新来的科学家、这个新来的技术员怎么这么像 Ray。
-
不,那真的就是 Ray 本人,在实验室里跟科学家们一起把机器自动化。
-
这就像,这就是我们干成这件事所需要的 DNA,所需要的那种人。
-
我们还看到,你们有 forward deployment engineering 这样的岗位。
-
我们刚好在筹备一档 forward deployment engineering 的播客,因为有太多工程师其实可以做这个岗位。
-
他们可能不一定知道,Periodic 甚至还有适合他们的岗位。
-
这个岗位到底是做什么的,他们又是怎么跟客户合作的?
-
所以我们一直在给自己打造自己的产品、自己的工具、自己的 AI 和计算系统。
-
所以我们一直是自己的第零号客户。
-
现在我们做的是,把这些同样的工具带到不同的行业,而且目前我们非常聚焦在半导体行业。
-
不过,要做到这一点,这些公司都非常保密,我们需要能在一些安全级别最高的环境里运作。
-
所以我们的 Periodic forward deployed engineers 和研究人员会真正到现场工作,实际把我们的 AI 系统或计算系统集成进去,帮助我们的合作伙伴更快达到他们的目标状态。
-
所以基本上,我们在自己做材料发现和材料工程时积累出来的工具和 know-how,现在正带给工业界。
-
我们认为,这是让合作伙伴达到最终状态、实现目标的最有效方式,而不是把技术往墙那边一扔,就叫他们自己去琢磨。
-
然后这四位部署工程师也会在本地做推理,但之后也能拿数据来训练。
-
所以再说一遍,一旦我们把理解这些不同领域的系统拿过去部署,我们就能让它变成客户或合作伙伴数据上的专家,这样他们就能拥有自己的智能,拥有真正理解这些问题的系统,比只是调用某个 API 或用一个没训练过的模型有效得多。
-
所以这个 forward deployment engineering 岗位比典型的要扩展得多,因为它真的需要非常深的机器学习专业能力。
-
你必须在数据训练的角度、基础设施的角度,还有物理的角度都做到极其精确。
-
所以我们在跟一些技术性非常强的行业合作。
-
他们必须了解不同的领域,比如化学、材料科学,还有一些器件。
-
所以这些就是我们目前正在组建的岗位。
-
其中一部分就是愿意在台湾的现场待上很长一段时间。
-
行吧,我懂那种客户。
-
有意思的是,你们现在主要的变现方式就是这个,
-
但未来可能会变。
-
但我觉得,人们对纯研究实验室的这种模式其实不太了解。
-
因为当你把自己和贝尔实验室相比时,人们想的就是那种模式,也就是……
-
我觉得一个特别好的类比就是软件工程。对吧。
-
所以在软件工程的早期,比如我们有了 GitHub Copilot,然后有了早期版本的 ChatGPT。
-
人们把这些东西当作副驾驶,帮他们找到解决方案。
-
随着自动化越来越好,现在我们有了像 Codecs 这样的东西,很少有工程师还像以前那样写代码了。
-
我们觉得类似的事情也可能在 Periodic 身上发生,你可以用系统来加速研究人员、材料科学家、材料工程师、工艺工程师。
-
但随着自主性、智能和能力的增长,你就可以开始按结果来定价了。
-
所以帮我达到这个目标状态。
-
我觉得这对我们来说是个非常有意思的领域。是的。
-
我们觉得,我们对固态物理和科学最大的贡献可能就是让这些工具和课题变得有利可图。
-
就像 ChatGPT 让计算机科学和 大语言模型 专业在大学里变得比以前和之后都更受欢迎。
-
我们很想展示,固态物理材料科学研究能够产生巨大的商业影响,然后这会吸引更多的关注。
-
年轻人会想学物理,那将是梦寐以求的事。
-
而且你知道,贝尔实验室确实产生了巨大的商业影响,对吧?
-
所以,他们有些惊人的进展没能商业化。
-
他们当然也做过一些根本没法商业化的研究,比如宇宙背景,但他们确实从用电话线连接东海岸和西海岸的真空管中获益很多。是的。
-
我觉得,想到技术和资本其实紧密得不得了,也非常有意思。
-
所以,如果你看看聊天机器人很多年来的进展,比如想象一下回顾一下,好吧,从2010年到2015年,聊天机器人有什么进展,我们可能会有点说不清,在那五年里它们到底进步了多少;而如果你看从……
-
2021年到2026年,你知道,那简直是天壤之别。而当时发生的是,ChatGPT 和其他这些系统实现了产品市场契合,彻底改变了资本格局。
-
这会改变招聘、算力、数据等方面的格局,形成一个良性循环。成功带来成功。没错。
-
所以技术跟资本和那些资源是极其紧密地耦合在一起的,我们也想在物理世界里实现同样的事情。
-
所以我一直看到的一件事是,科学资助正在从政府拨款之类的渠道,转向风投和私人资金。
-
你们打算把你们在做的东西开源吗,比如发布数据集或者实际模型?
-
这是将来会做的事吗?
-
有很多模型可能不是你们最先进的,但发布出来仍然可能很有用。当然。
-
我是说,我们手头有几件事。
-
我们一直在给开源做贡献,比如像 PyMetjan、Materials Project 的基于代码的 custodian、他们的 DFT runner。TorchSim 其实是我们这里的一位研究员 Abhijit Gangan 创建的,他现在还在维护它。
-
JaxMD,Abhijit 在维护它。
-
所以我们做了很多开源贡献,包括——S.G. Lang、Megatron。
-
是的,所以我们一直是开源社区非常活跃的贡献者。
-
而且我们还有一个学术资助项目,会给大学里那些我们认为真正在推进合成超级智能这个方向的学术团队提供学术赠款。
-
所以看到这些也很棒。
-
我觉得这个资助出来的第一篇论文应该快要发表了,所以能看到更多像这样的论文出来,会很让人兴奋,对。
-
好,那我们还是可以说,你们已经成功实现了100%的实验室自动化,能做所有事,还能把所有东西都正确地表征出来。
-
你还有所有那些好玩的智能体,它们什么都能干。
-
我还是有点不太清楚,你们实际上到底要怎么走到超导这一步。
-
有很多难题要解决。
-
当大多数强关联系统或高温系统压根没有什么理论或模型时,这条路又该怎么走?
-
对,我是说,我们的看法是,要想出哪些化学空间可能存在超导,这并不难。
-
真正难的是把它们合成出来。
-
这就是为什么我们特别强调合成超级智能。
-
也许可以举一个历史上的例子,就是 Alex Mueller,当他觉得过渡金属氧化物可能是通往超导的一条好路时,他其实试的是镍酸盐,也就是镍氧加上一些阳离子,但那没成功。
-
后来他试了铜氧加上一些阳离子,那个成功了,再后来他拿了诺贝尔奖。
-
但后来我们知道,事实证明镍酸盐是个好主意。
-
我是说,镍和铜在元素周期表上就挨着。
-
只有两层,对吧?没错。
-
3D过渡金属也就那么几种。
-
后来 Harold Huang,我们这儿一位超厉害的斯坦福教授,他发现可以把镍酸盐做成薄膜,然后展现出超导性。
-
所以,如果我们在实验室里有真正出色的合成智能,而且能把这些东西真正规模化,我觉得我们就不会缺想法,或者 大语言模型 也不会缺关于该试哪些方向的想法,比如3D过渡金属、氧,这些都是非常相关的思路。
-
很多人一直在试钴酸盐,也就是不用铜或镍,而是试钴。
-
我觉得这特别让人兴奋。
-
也许还有一个可以研究的历史例子,就是发现二硼化镁的那个日本团队。
-
你知道,在常压下,它是临界温度最高的常规超导体,而他们发现它就是靠不停地试各种材料。
-
我觉得他们试了三万种不同的东西,其中大概有三十种表现出有意思的超导性,MgB2就是其中之一。
-
但在此之前,二硼化镁已经作为前驱体在人们的架子上放了几十年,而 BCS 理论早在1957年就已经被提出来了。
-
所以人们发现这些材料,并不是直接从理论推出来的,也不是因为以前没法合成,而就是因为他们试了一堆东西。
-
所以现在想象一下,如果你有你描述的这套完美自动化,听起来像做梦一样,那么 Takedo group 花了一整个职业生涯才试过的那三万种材料,我们一个月就能试完。
-
我们其实就是大大增加了让运气找上门的表面积。
-
不,不过你们做的事真的很鼓舞人心。恭喜你们成功。
-
我觉得你们在打造一个现代的游乐场。
-
我猜你们招人肯定特别容易,所以我有点羡慕,不过你们也是一路努力才走到这里的,所以,是啊。是啊。嗯,非常感谢。是啊,这对你们俩来说都是很大的挑战。是啊,特别有意思。谢谢。