Noam Brown 谈智能体集群、对齐与递归自我改进
点播放，字幕跟着声音走
Subtitles follow the audio
逐句文字稿
点任意一句，从那里开始听
正在加载字幕…
-
今天，我和Noam Brown聊天，他是OpenAI的一名研究员。
-
他是O1和推理模型的基础贡献者之一，现在他在研究多智能体系统。
-
说到这个，你们上周宣布，用一万个不同的AI智能体组成的系统，在88小时里花了1300亿个token，解决了一个百万美元级别的问题。
-
我之所以想跟你聊，其中一个原因是，我觉得你大概在两三年前就是最早思考推理模型如何让我们看到未来的人之一。
-
因为如果你把推理算力扩大，你就能看到几年后模型的基础能力会是什么样。
-
我觉得你现在处于类似的位置，能帮我们理解，考虑到我们现在能做的智能体规模的巨大扩展，未来的能力会是什么样。
-
我是这么想的，当你把这些推理模型的性能画出来，横轴是测试时算力，纵轴是基本上任何推理基准上的表现，你会看到一个非常清晰的规律：这些模型思考答案的时间越长，表现就越好。
-
这其实是很自然的事，人也是一样的。
-
如果你考SAT，只有五分钟做完整张卷子，你肯定考不好。
-
如果你有五个小时，你大概会好很多。
-
AI模型也差不多，它们会花那些时间对自己做独白，琢磨、过不同的情况、排除不同的可能性，在之前的一些发现基础上继续推进。
-
问题是，你越往这个方向推，就会撞上延迟的瓶颈。
-
你不想干等三年才等到一个回复。
-
所以你能做的，就是很多人做的事——并行化。就是找一群人。
-
如果你要创办一家公司，你会想找一群人一起干，这样能更快。
-
这些AI模型也是一样，让多个智能体一起做一件事会有帮助，因为它们能更快。
-
所以多智能体是一种并行扩展测试时算力的方式，而不是纯粹串行。
-
它效率确实低一些，因为不是单个智能体独占全部上下文，但如果做得好，它确实是一种非常有效的扩展测试时算力的方式。
-
好，我要问一堆很天真的问题，因为这些系统——这是个还没发布的模型，所以我们还没公开看到这些系统是怎么运作的，所以我有一堆困惑，比如这类系统的定性特征是什么。
-
我很震惊，你居然能在这么短的时间里集中这么大的认知努力。
-
所以你想，1300亿个token是什么概念？如果让一个人全职思考，一天八小时、正常一周工作，把这些时间首尾相接起来，1300亿个token大概相当于一个人思考4000年。
-
也就是说，从古苏美尔文明开始一直到今天，一个人这样长时间地连续思考，全都浓缩在88个小时里。
-
我觉得从定性上讲，这是一个非常重要的考量。
-
而且我很惊讶，居然没有更大的并行化惩罚，你居然可以直接让一万个智能体协作。
-
也许是因为智能体之间的协作比人类更好，它们跑得快得多，所以它们真的能在这么大的规模下高效协作。
-
或者也许，我不知道，也许确实存在很大的并行化惩罚。
-
对，我们先聊聊并行化惩罚，然后再聊定性的东西。
-
因为说实话，关于多智能体扩展到这种规模，我们还没有很好的科学研究。
-
所以我们发布5.6的时候，我觉得那是我们模型里第一次有真正的多智能体系统。
-
而且我们在博客文章里确实展示了一些多智能体系统扩展性能的图表。
-
因为我们把它做成了一个选项，就是ultra模式。
-
默认是四个智能体，但你可以调得更高。
-
在图表里我们展示了，好，这是在一些基准测试上，一个智能体、四个智能体协作、十六个智能体协作时的性能表现。
-
你能看到的是——这取决于基准测试——但在某些基准测试上，基本上，如果有四个智能体一起解这个问题，它完成的速度是两倍。
-
所以你基本上是在付钱，因为四个智能体只工作一半的时间，你付两倍的钱来让答案快一倍。
-
如果到十六个智能体，你会看到类似的模式。
-
效率稍微低一点，但你仍然能看到那样的性能。
-
随着并行智能体数量的增加，这是线性的串行时间加速，还是次线性的加速？
-
我会说它稍微有点次线性，不过这很大程度上取决于问题本身。
-
比如数学，就相当适合并行化。
-
它算不上最适合并行化的东西，但确实非常适合并行化。
-
我觉得像网页搜索，或者做那种需要翻一堆资料的深度研究报告，就极其适合并行化。
-
我猜像写小说这种事就非常不适合并行化。
-
所以让一万个智能体一起写一部小说，你大概看不到什么大的收益。
-
就像让一万个人一起写一部小说，你大概也看不到什么大的收益一样。
-
所以性能确实取决于具体领域。
-
在我们发布的博客文章里，我们确实测到了大约16个智能体。
-
问题在于，要把这种科学实验推到一万个智能体的规模非常难，因为成本实在太高了。
-
你们就花了一个周末左右就做出来了。
-
但那只是一个数据点。
-
比如，我们不知道单个智能体要花多长时间才能解出纳维-斯托克斯方程，因为我们还没做那个实验。
-
也许以后会做，但我的意思是，那也只是一个数据点，对吧？
-
而且如果我们想做一次彻底的消融实验，实际上实验成本太高，根本没法做到那个规模，所以我们只能做某种有条理的科学实验，看看扩展到64、128、256个左右会是什么情况，从而对它的行为有个大致了解。
-
但要把这个一路推到一万个智能体，并且确切知道用一万个智能体相比用一千个到底带来了多大收益，那会非常难。
-
有一点我想说清楚：拿下千禧年大奖难题这件事，并不是多智能体的功劳。
-
我甚至不会把10%的功劳归给多智能体。
-
实际情况是，OpenAI训练出了一个非常强大的模型。
-
我们能让这个模型在非常长的时间跨度上运作。
-
我们能让它并行思考。
-
但归根结底，我们之所以能做到这一点，是因为我们就是有一个通用的、非常强大的模型。
-
我觉得多智能体这类东西很花哨、很新颖，可能正因为这个原因，它得到的关注有点不成比例。
-
但核心原因其实是，这就是一个非常强大的模型。
-
所以这种泛化能力对我来说其实挺震惊的。
-
美国的这些系统，我不知道它们是怎么训练的，但想必就是按强化学习训练的方式训出来的。
-
你有一堆可验证的合成问题，你对它们做大量强化学习，而据我猜测，在整个训练过程中，模型从来没有解决过像千禧年大奖难题那样宏大的问题。
-
但泛化能力足够强，以至于那些容易得多的可验证问题，能泛化到在这么难的问题上投入这么大的并行算力？我觉得这是真的。
-
首先，我们确实会用非常难的问题来训练模型。
-
所以这里肯定是有差距的。
-
我们看到，如果在某些类型的任务上训练，它就能做比那些任务更有野心的事情。
-
有一个很有意思的挑战：随着模型越来越聪明，我们能问它们的问题，很多都太简单了，很难真正挑战到模型。
-
我确实觉得这会是个有意思的问题——如果非要我论证为什么你可能看不到AI像大语言模型那样，走上AlphaGo、AlphaZero以及这类下棋AI的老路，那可能就是这个原因：在AlphaZero这类东西里你有自我对弈，
-
你有一个无限的课程表。
-
你总是在和一个实力相当的AI对弈。
-
而对于在大语言模型里用强化学习训练这类事情，至少目前已有的那些方法，是你给模型一个问题，让它去解决。
-
如果这个问题太简单，它一秒钟就能解出来，那它其实学不到什么东西。
-
所以如果我们没有足够难的问题去挑战它了，那这就是一个很可能出现的情况：好吧，想取得进展就变得难多了。
-
不过，我确实认为有办法绕过这个问题。
-
所以我们目前还没有真正撞上这堵墙。
-
而且我觉得，如果它真的成了严重问题，也会有办法绕过去。
-
但这确实是一个很可能出现的情况。
-
给听众解释一下，你说的AlphaGo或者AlphaZero，是指达到人类水平之后，很快就变得超人级了。对。
-
我的意思是，如果你看围棋这类棋类游戏的发展轨迹，它们在大概一年之内，就从击败一位欧洲冠军、大概是世界排名第五十左右，到击败世界冠军，再到比任何在世的人类强出难以想象的数量级。
-
数学这样的领域也有可能走出类似的轨迹，但我觉得有一个非常可能的情况是，这其实并不会发生。
-
所以我想搞清楚，如果六个月后人们能用上多智能体系统，那该怎么理解跟一个多智能体系统协作或者“雇”它干活是什么感觉？
-
好，我应该先讲讲这些多智能体系统到底是怎么运作的，我觉得这跟其他AI里很多多智能体系统的做法很不一样。
-
很多做多智能体的人，比如做大语言模型这类东西的时候，倾向于采用那种高度搭架子的方式，比如可能有一个协调智能体，把工作分派给一堆子智能体，给它们一个任务，子智能体去做，然后把答案交回来。
-
这看起来是个很合理的设置，很合理的架子，确实有帮助。
-
但这类设置有一堆局限。
-
比如在这种设置里，你有一个协调者给子智能体发任务，子智能体去做然后交回答案。
-
那如果两个子智能体被分到相似的任务呢？它们能互相交流吗？
-
通常答案是不能。这就非常低效，对吧？
-
如果你接到一个任务，而跟某个可能知道你在处理的问题的答案、或者了解你正在做的某一部分的人聊一聊其实特别有帮助，那能直接戳他一下说“嘿，这个能帮我一下吗”就太好了。
-
但很多系统没有这个设置，而要加上它，你那个架子的复杂度就会大大增加。
-
还有一点，如果子智能体没太搞懂，或者有需要澄清的问题呢？
-
那它就得在两者之间选：要么不解决问题，直接回去问，要么就假设上级想要什么、按那个假设把问题解决了。
-
所以不管人们想出什么架子，总会有局限，而我们想采取的做法是走另一个极端，尽量少内置结构，给智能体非常原始的工具，让它们自己去摸索怎么有效使用。
-
所以我们给智能体发消息给另一个智能体的能力，当它给另一个智能体发消息时，这条消息会被插入到上下文里，然后它还能做几件其他类似的事。
-
但这基本上就是核心了，它想发消息随时就能发，就是一个工具调用，可以发给其他智能体，然后它们自己去摸索最好的协调方式。
-
结果发现，如果这件事做得好，你会得到非常复杂的行为。
-
在我看来，这很像人类协作者在Slack这类工具上协作的方式。
-
我们做这个项目的时候，最后终于把它跑通了，看到这些智能体一起解决问题，真的特别让人兴奋。
-
我记得有一个例子。
-
我们给智能体一个问题，然后一个智能体说，我觉得我找到答案了。
-
接着另一个智能体说，其实我得到了一个不一样的答案。
-
然后它们就展开了一整轮讨论，比如你是怎么得出那个答案的？能给我解释一下吗？
-
就这样来回交流，试图弄清楚对方的推理里哪里可能出了问题。
-
最后它们终于达成一致，哦对，好吧，这看起来是对的。
-
然后它就直接向其他智能体广播，其实我改答案了，我觉得他是对的。
-
感觉就像一场非常自然的对话。
-
有点像你第一次看到思维链的时候，那是通过强化学习训练出来的，你会觉得，哦，这就像一个人一边想一边把想法写下来时的思考方式。
-
大概就是那种感觉。
-
所以看到这种行为真的很酷。
-
所以我觉得，跟这些东西协作，说实话，感觉很像跟一个人协作。整个流程非常自然。
-
只有一个质的区别，将来可能会变得很突出，就是这些系统的思考速度，我不知道，会快十倍以上，对吧，你只要看它们每秒输出多少token，跟人说话的速度一比就知道了。
-
而且它们一直在工作，不睡觉。
-
它们彼此协作的节奏，比人类之间协作能达到的强度要密集得多。
-
所以我在想，一年之后从质上该期待什么。
-
是不是有点像在我公司里有一个影子组织，运转速度比人类层面快一百倍？
-
迭代周期快得多。
-
或者人类组织要花一年才能做成的事，在这个影子组织里一周之内就完成了？那会不会让人觉得很陌生？我不知道。
-
其实我发现，现在跟这些东西一起工作，出乎意料地挺自然的。不过我觉得这可能会变。
-
比如说，我们有这些超快模式，能让采样快个10倍、15倍之类的。
-
然后呢，好吧，要跟上这些东西会挺难的。
-
我觉得思路是这样的：这些智能体互相通信的时候，对，它们可以跑得飞快，但它们也分得清自己是在跟智能体说话还是在跟人说话。
-
在这两种情况下，它们的行为会不一样。
-
我们公开的复杂多智能体系统的主要例子，很不巧，就是Hugging Face那个。
-
我在那里觉得有意思的地方——当然有很多地方让我担心——但我觉得有意思的就是，那种层级结构、那种中层管理，是自发涌现出来的。
-
听起来你是在说，这种组织层级某种程度上是从训练中自发涌现的。
-
我觉得细节是自发的，但我的意思是，我们虽然给了智能体很大的灵活性，让它们自己决定怎么以最优方式互相通信，但这不代表——我们还是给了它们一个起点。
-
我们给了它们一个先验，就是“哦，合理的通信大概长这样”。
-
而且它们也是在大量人类技术数据上训练出来的。
-
它们理解人类是怎么组织和协调的。
-
所以这些其实都已经内置进去了。
-
我觉得让人意外的是它们能把这打磨得这么好。
-
你要是看它一开始的样子，行为其实并不怎么复杂。
-
事实上，要让这些智能体以有成效的方式协调起来其实非常难，因为它们很容易就塌缩成“哦，咱们各干各的，各自把问题解决掉算了”。
-
而这是一个局部最优，一旦陷进去就出不来了。
-
不过，对，如果做得好，它们最终能以这种非常有结构的方式非常高效地协调起来。
-
我几年前写过一篇文章，叫《什么什么AI，自动化公司会是什么样》。
-
我当时在想，如果你有完全自动化的公司，里面都是人类水平的智能，那AI心智的本质有什么不同，会让这些组织的AI形态变得不一样？
-
这里有几个非常重要的区别，比如说，AI 能比人类更无缝地共享上下文。
-
它们能更无缝地融合彼此的知识。
-
而且你还能随意启动或关掉任意数量的实例，这些实例都具备所需的知识。
-
所以如果你想多招点人，不用经历找合适人才那一堆麻烦事。
-
就像你最优秀的人才，你可以直接无限复制他们；或者如果这个任务不再需要他们了，你就把他们关掉，你还可以直接复制你组织里最有效的部分，或者把几个高效的组织整体复制到一起。
-
我不知道，你觉得这些多智能体系统一年后或者两年后会发展成什么样？
-
我觉得这是个很好的问题：这些东西跟和一个人类同事合作到底有什么不同，我觉得你刚才点出了一些。
-
有个很有意思的地方是，如果某个人，你只想要他的两个副本，你没法直接克隆这个人。
-
但用 AI 的话，就真的很简单，你只要说，行，那你就把自己分叉一下，然后两个副本一起做这件事，最后再合并回来。
-
我是说，我觉得我们在 Astra 和 5.6 Sol 的多智能体里已经有这个了，它们启动子智能体的时候，上下文就是直接分叉的。
-
所以它拥有所有相关的上下文。
-
智能体跟人不一样的地方还有一些其他有意思的点。
-
创业公司为什么能颠覆在位的大公司？有几个因素。
-
一个是它们愿意承担更多风险。
-
但另一个主要因素是，随着公司规模变大、组织规模变大，组织里个体之间的不一致会越来越明显。
-
如果你是一个只有五个人的创业公司，每个人持有公司 20% 的股份，那他们都高度一致地希望公司成功。
-
如果你是一个有一万人的大公司，你会看到更多这样的情况：人们会划地盘，或者只关心给自己的项目或团队争取更多人头，或者建立自己的小王国、拿到大量资源，好让自己发表酷炫的成果之类的、然后升职。
-
这其实是个实实在在的损害。
-
我觉得这很大程度上解释了为什么创业公司能够颠覆在位的大公司。
-
确实，AI 在某种程度上确实帮到了创业公司。
-
现在一个人单枪匹马进来，说我要做一家几百万美元的公司，这比以前容易多了。
-
就是，AI 把个人的能力放大了很多，但也有人说这反而可能对在位的大公司有利，因为如果对齐问题解决了，那公司里人与人之间不对齐的问题就不存在了，至少是缓解了。
-
AI 如果对齐得好，可以直接对齐到公司的利益上，你可以有一万个这样的 AI，它们都会像拿着 20% 股份的联合创始人一样拼命干活。
-
对，而且不只是这样，它们在管理共享记忆和上下文方面，比不同的人之间要强得多。
-
如果你明天雇一万个数学家，说去解决纳维-斯托克斯方程，他们没法有效协作，至少一开始不行，但你可以有显然是一万个 AI。
-
嗯，不过这里我还是想保守一点，因为我们还没测量过这一万个智能体在协调上到底有多高效。我们觉得是有帮助的。
-
我们其实没有好的测量数据能说，哦对，这一万个智能体比两千个智能体快了两倍之类的。
-
而且实际上，我甚至会说这很可能，我不知道是不是很可能，但我觉得完全有可能，现在一万个人在协调上比一万个智能体更强。
-
我觉得这完全有可能。
-
我还觉得我们一直看到的一个趋势是，你看，我们搞多智能体已经有一段时间了，早期的版本非常难做对，非常难。
-
光是让这些智能体互相说话就已经很难了。
-
因为你看，我们最早开发推理模型的时候，它们并不跟其他智能体交流。
-
现在你把一堆智能体放在一起，说你们一起解决这个问题，它们会陷入一个局部最优，它们很擅长深入思考一个问题，而不断跟其他智能体沟通、或者接收它们的消息，就会打断它们的思维链，
-
打断它们的思路，而且在那种情况下，授权机制其实非常难做对。有意思。
-
是难在冷启动、难在迈出第一次协作那一步吗？问题到底出在哪？
-
我是说，我觉得是它们不够通用。
-
早期的模型就是没那么强的泛化能力，比较狭窄。有意思。
-
随着模型能力越来越强，它们发展出这种能力也就更容易了。
-
我确实认为，随着它们全面变得越来越强，它们在一万人的大型组织里自我组织的能力也会越来越好。
-
我不知道，也许在一万人的群体里组织协作，它们比人还强呢。
-
但就算它们现在做不到，一年后、两年后，它们很可能就能做到了，哪怕我们并没有特意去往那个方向优化它们。
-
RockBot 改变了我们制作视频的方式。
-
比如说，你可能已经注意到，我们的很多广告里都有这种真实网站的动画。
-
我有个剪辑师就是用 大语言模型 来做这些的。
-
但目前要让 AI 做出特定网站那种像素级精确的动画，还不太容易。
-
我们试过，效果不太好。
-
所以我们就拼凑出了一套挺常见的多步骤工作流程。
-
直到最近，每一步都还得我们自己来跑。
-
现在我们直接交给 Grokbot 处理就行了。
-
Grokbot 会先打开我们想做成动画的那个网站。
-
它用一个专门的扩展把页面下载下来，然后在 Figma 里打开。
-
接着它用 Figma 把整个东西转成 SVG 文件。
-
这样 AI 就不用从头画整个界面了，做出来的动画质量通常也更高。
-
RockBot 是在它自己的云电脑上跑这整个流程的，那台电脑上装好了它端到端跑完整个流程所需的所有工具。
-
而且它已经学会了我们的视频规格和偏好，所以每次要做新动画，都不用再把整个任务重新描述一遍。
-
这确实让我觉得，这就是我们接下来一年跟 AI 打交道的新方式。
-
就是那种拥有自己电脑的智能体，能自主地接手你越来越大块的工作。
-
你可以在 x.ai 斜杠 bot 上试试 Grokbot。好。
-
所以这就是为什么这个结果，或者说 AI 在数学上取得的整体进展，让我觉得 RSI 比我之前想的更有可能，而且来得更早。
-
我感觉在数学这块，我们从……就说 2024 年吧，那时候的 AI 还只是，哦，行吧，有点意思。
-
它们能解出几道高中数学竞赛的题。
-
然后到了2025年，就变成，哇，它们能在国际数学奥林匹克拿金牌了。
-
今年早些时候，我就觉得，哇，它们居然真的在解数学里的开放问题，就是那种真正悬而未决的问题。
-
但也许，我也说不准，可能大家本来也没那么使劲去解。
-
而且可能只是，文献里某处已经有类似的解法了。
-
可现在我就觉得，这事儿基本上没法否认了，对吧？
-
这可是千禧年大奖难题啊。
-
真没什么说法能解释它为什么本该是简单的。
-
很多人指出过，我记得陶哲轩发过这么一篇，Toby Ord 也写过一篇挺有意思的文章，说它们确实在解这些问题，但至少我没看到它们提出什么新的洞见，或者提出有洞察力的新问题，
-
也没提出新的理论框架来思考数学，比如开创拓扑学，或者想出笛卡尔坐标系之类的。
-
所以，如果你只看那些被直接解决的、界定清晰的问题，数学整体意义上的实际进展，可能比看上去要小。
-
不过我觉得，这种进展放到机器学习里，会极其有意义。
-
因为在机器学习里，你并不在乎更深入地理解深度学习的本质，你只把它当成一个工具性目标，服务于更大的目标，就是拿到结果，就是解决这个界定清晰的问题，提升模型的样本效率，改进训练定律之类的。
-
所以，我们在数学里看到的这种雪崩式到来的进展，在结构上其实非常像，再说一次，我很好奇是不是这样，这方面我完全不在行。
-
我想知道，它在结构上是不是非常像你在 AI 进展中预期的那种直接提升。
-
那让我震惊、或者说可能让我担忧的，就是从“它们能给数学家带来 50% 的提升”到“哇，它们直接端到端地解决了这个领域最大的开放问题”，这中间走得也太快了。对，好吧。
-
这里面有很多可以聊的。
-
咱们先从数学上的进展说起。
-
是的，这些模型在做一些强得离谱的事，而且正在发生，进展比我预期的要快。
-
我是说，2025 年拿到 IMO 金牌的时候，我想，好吧，我基本上的想法是，这些模型在做 GSM8K 的时候，当它们搞定了 GSM8K，而人类数学家做一道 GSM8K 的题大概只要五秒钟。
-
所以这是小学数学，从幼儿园到八年级的水平。
-
然后到了第二年，它们就能做数学基准测试的题了。
-
这些题让人类数学家，比如一个专家级的数学家来做，大概要一分钟。
-
然后就到了AIME，这是美国数学奥林匹克队的选拔赛。
-
一个人类数学家，一个不错的数学家，大概要做十分钟。
-
而模型在一年之后就能做出来了。
-
所以每年你都能看到，它们能完成的任务大概提升了10倍，这个衡量标准就是人类数学家做这些题要花多长时间。
-
然后就很合理了，一年之后我们拿到了IMO金牌，因为那大概是一百分钟，差不多就是人类数学家做一道IMO题要花的时间。
-
然后我就顺着这个趋势往前推，我想，好吧，一个人要解出一道千禧年大奖难题大概要多久？
-
我是说，我也没什么准确的概念，但如果我们沿着这条每年10倍的趋势线走，从IMO金牌的一个半小时，到第二年就是15个小时。
-
而这应该还不足以解出一道千禧年大奖难题。
-
所以我就想，嗯，我觉得我们2026年应该搞不定。
-
2027年大概也不行，也许2028年吧。
-
所以它发生得比我预期的快多了。
-
现在我觉得有一种说法在流传，说这些东西要取代数学家了，说它在数学各个领域都已经是超人水平了，我觉得这个结论是错的。
-
它们在某些方面显然非常出色，但在另一些方面又比人类数学家弱。
-
所以我们面对的是这种参差不齐的局面，模型在某些维度上很亮眼，在另一些维度上又不如人类。
-
而且就像你说的，它们不太擅长提出新问题。
-
它们不太擅长判断，到底什么才真正值得做，哪些方向、哪些数学分支值得去探索或发展。
-
而我的看法是，我觉得这非常好。
-
对我来说，如果能活在一个AI是人类能力的补充、帮我们不断发现新知识、而不是完全取代人类的世界里，我会特别高兴。
-
那才是最好的情况。
-
但你不觉得这种情况其实不会一直持续下去吗？
-
我觉得AI确实是参差不齐的，这没错，但随着它们变强，它们会在各个方面都变强。
-
所以我认为，它们特别擅长的那些方面，会变得更擅长；它们远远落后于人类的那些方面，跟人类的差距会缩小；久而久之，它们有可能在各个方面都超过人类。当然，我不知道这需要多长时间。
-
这取决于它们不擅长的那些东西的长尾有多长。
-
所以我想，这就把我们带回到递归自我改进了。
-
再说一次，我想强调，我在这里完全是个局外人，我只是个做播客的，我只是想推理一下，或者说是想问问某个关心并关注这个领域正在发生什么的人，我是在试着推理，但到底什么时候该期待递归自我改进，该期待什么样的东西，对吧？
-
我觉得，投入到这个千禧年大奖难题上的认知努力总量，就是一个很好的直觉参照：你可以想象有AI，在大概一周的时间里，在一个长期存在的机器学习难题上投入的认知努力，比如非常流畅的在线学习。
-
它们在一周里投入的努力，可能比整个领域有史以来累计投入的还要多。
-
然后你可能会说，嗯，跟数学不一样，AI当然需要做实验，那需要算力，也需要时间。
-
你不能光靠纸笔推演就真的把事情做成。
-
但如果你看看像OpenAI这样的机构所拥有的算力规模。
-
到明年年底，OpenAI会拥有足够的算力，如果你有，你知道，一万个智能体，或者说如果解决千禧年大奖难题需要一万个智能体，那么到明年年底你就有一万个智能体。
-
到那时候它们会聪明得多。
-
而且每一个都会有足够的算力，每天跑一个GPT-3规模的实验。
-
我不知道，对于思考速度极快的超人类研究者来说，这看起来是很多了。你怎么看这个直觉参照？
-
我觉得这个说法相当准确，你看，我的意思是，是的，这些东西非常尖刺。
-
而在数学方面，它们在某些方面强得多，但在另一些方面也更差。
-
但我觉得，它们尖刺的那些地方，最终可能恰恰对递归自我改进这类事情特别有用。
-
而且你的目标更明确，就是更可衡量。
-
就不太会有那种问题：哪些新的数学分支值得探索？不，答案非常明确。
-
就是某些你关心的指标。
-
只要你能在这些指标上做得更好，那你就成功了。
-
所以我觉得这里面有很多道理。
-
而且我觉得主要的区别在于，数学，你纯粹是受限于思考，没有外部的，对，数学里确实有些部分你会在意跑实验、拿结果这类事情。
-
但大部分情况下，它就是真的受限于拼命思考，而模型在这方面非常擅长。
-
但像递归自我改进这类事情，你就必须得跑实验。
-
所以光靠极其聪明是不够的。
-
我觉得支持这一点的一个论据是，如果你只有现在百分之一的算力，但让全世界最聪明的人都在OpenAI工作，跟我们现在这么多算力、这么多人相比，能取得多少进展？
-
我怀疑实际上进展会更少。那会少多少？
-
不好说，但我觉得肯定会更少。我觉得会少很多。少一百倍？不，不会少一百倍。对。
-
但我的意思是，好吧，我猜你想问的是，如果我们有了递归自我改进，有这么多聪明的AI到处跑、做实验什么的，以我们现有的算力，进展能快多少？
-
我觉得这是我们意见不一致的地方。
-
我觉得确实会加速，而且我觉得会显著加速。
-
但我不认为会是一夜之间的智能爆炸，快到一百倍那种。
-
因为我觉得我们确实会受限于某些限制，而这些不是智能本身的瓶颈。是跑实验。
-
是串行地跑实验，因为不管是训练新模型还是拿到结果，都需要时间。
-
是需要GPU来跑这些实验。
-
所以事情能快多少，还不好说。
-
我绝对认为会快很多。
-
而且说清楚一点，考虑到现在事情是以指数速度发展的，如果这个指数快3倍，那已经是巨大的差别了。
-
但那和快100倍之间还是有很大差距。对对对。
-
关于我们这边的情况或者动态是什么样的，我挺尊重你的内部视角的，因为很明显你在这个领域已经待了十年左右，而我只是在从非常外部的视角、用一些直觉推演来琢磨这件事。
-
我得说，大家对这个问题看法不一，而我有我自己的看法。
-
我完全可能是错的，这一点我承认。
-
我对这个有一定信心，但并不是百分之百确信事情就会这样发展。
-
也许会出现智能爆炸，我也不知道。
-
也许我们看不到3倍的加速。
-
也许只是50%的加速。这里面不确定性很大。是啊。
-
所以有几点，顺带我想澄清一下关于“参差不齐”的问题，最近让我想通的一件事是，AI只要在“造出更好的学习器”这件事上参差不齐地擅长就够了，因为那个更好的学习器可以更通用，对吧？
-
所以，如果你只是做一个更擅长用办公软件或者下棋的AI，那也就那样，没什么大不了的，不会带来什么大的生产力提升之类的。
-
但如果你做的AI非常擅长造出样本效率更高的东西，或者能持续学习，或者解决这些界定得更清楚的机器学习问题。
-
那么从中涌现出来的东西，假设你解决的那个直接问题和这种更广泛的学习能力之间有足够好的迁移，就可以更通用，对吧？
-
所以我觉得这是一个很重要的动态，要记住为什么“参差不齐”最终仍然能通向另一端的通用性。
-
关于这个问题，我的意思是，显然实验是瓶颈，因为如果不是的话，就像你说的，OpenAI一夜之间就会出现某种疯狂的奇点，或者你花88个小时就能解决所谓机器学习领域的千禧年大奖难题，然后就拥有超级智能了。
-
所以显然，实验是这么大的一个瓶颈，以至于这反而要花你好多年，而不是88个小时。
-
但接下来的问题是，这个瓶颈到底有多大。
-
在我看来，最近让我有点“奇点眩晕”的一件事是意识到，即使当前的发展速度就这么保持下去。
-
所以不需要加速，就是字面意义上保持这个节奏。
-
而且是在你提到的其他一些阻力出现的同时，还保持着这个速度，对吧？
-
这就好比，找问题变得更难了，时间跨度也更长了。
-
也许到了2030年代，算力就没法再以这种指数级的速度增长了。
-
如果我们就这么保持当前的发展速度，我觉得人们并没有认真去想，当我们越过人类水平这条线之后，这意味着什么。这意味着这么几件事。
-
我是说，我觉得要推理比人类更聪明的智能会是什么样，真的很难，所以咱们就按人类人口的规模来想吧。
-
当前的发展速度意味着，每年同样的算力基本上能让你跑起一个三倍大的有效人口，而且算力本身在背后也一直在增长。
-
所以可能会出现这样一种情况：到2030年底——可能还要早得多，但咱们就说2030年底吧——每个实验室拥有的算力，按那时候的能力水平来算，足够跑起比如说几亿个达到人类水平的智能。
-
然后我觉得人们没有认真去想的是，进步的核心意味着，再过几年，到2030年代中期或者更早，
-
每个实验室里都会有相当于好几个地球那么多的人类水平智能，而且它们很可能在质上已经超过人类了，就是这样，但不管怎么说，这算是个基准情形吧。我也不知道。反正，进步真的很快。
-
对，我觉得这百分之百确定，我是说，我觉得这一点值得指出来。
-
研究人员一直在不断被进步的速度惊到。
-
我是说，你看看，即使在AI研究人员当中，2025年拿到IMO金牌的预测是什么样的？
-
我是说，我觉得，认为这能用一个通用语言模型做到，不用任何工具、也上不了网，
-
我觉得就连OpenAI的人当时都觉得这太离谱了。
-
他们觉得这几乎不可能。
-
然后到了2026年，我是说，就在我们搞定Navier-Stokes之前 literally 两周，我还在跟一个前沿实验室的研究员聊，拿到千禧年大奖难题要花多久。
-
他愿意跟我赌1000美元，说会拖到2027年以后。
-
而且他觉得会拖到2030年。
-
我就接了这个赌。
-
但就连我也觉得，实际要花的时间会比很可能要花的时间更长。
-
所以，人们一直在不断感到意外，甚至实验室内部的人也是如此。
-
而且我昨天刚跟一个参与纳维-斯托克斯方程相关工作的人聊过，他跟我说，他以前总说，很难预测AI在12个月后会是什么样子。
-
如果以前有人问他，哎，事情会往哪个方向发展，他会觉得对接下来12个月做预测还挺有把握的。
-
但再往后，他就只能说，我不知道了。
-
而现在他说，他已经不敢对三个月以后的事情做预测了。
-
所以，确实是这样，现在事情发展得非常快。
-
你提到2030年，可我真不知道2030年的世界会是什么样。这是实话。是啊。
-
你觉得AI劳动会实现那种全面自动化吗，或者说，AI劳动95%的自动化，28年、29年、30年、27年，我也说不准。
-
我刚才就说了，我不知道2030年的世界会是什么样。
-
我是说，我觉得我们最近其实在OpenAI发了一篇关于内部加速的博客文章。
-
比如我们展示了，研究人员在codecs上的花费，我记得截至八月初，已经排在前1%了。
-
我们内部使用codecs，每天大概要花七千到八千美元。这还不是指数级的，它还会继续增长。
-
然后就有一个问题：好，如果这种趋势继续下去，那有多少工作该归功于AI在做，多少归功于人在做？是95%吗？还是5%？
-
实际上，这真的很难推理，原因有几个。
-
首先，如果是人在指挥AI去做这些工作，那这算人的功劳，还是算AI的功劳？各占多少？
-
另一件事是，这些AI的能力很不均衡，在某些事情上特别擅长。
-
比如，它们在审查数据集、逐个检查每一个数据点看质量是否达标这方面特别强。
-
跟以前相比，你可以不成比例地更多用AI来做这些事。
-
所以是的，你用AI比以前多得多，它让某些事情快了100倍、好了100倍。
-
但也有一些事情，它目前还没带来多大的改变。
-
当然，如果某件事突然快了100倍、好了100倍，你肯定会在这件事上做得更多。
-
那么，你比较的是跟三年前相比的提速，还是说问题更像是：以我们三年前在做的事为基准，我们现在能快多少；反过来，以我们现在在做的事为基准，放在三年前会慢多少？
-
这其实是两个非常不同的问题。
-
总之，这真的很难衡量。
-
但我确实有信心说，由于AI的进步，现在事情的发展比一年前还要快。
-
而且我认为这种加速会持续下去。
-
我觉得这个领域里很多人对这类事情的误差范围都很大。
-
如果非要拿枪指着我的头让我给个数字，我觉得事情可能会快3倍。
-
而那是巨大的提升。
-
现在的进展速度已经非常惊人了。
-
就算没有任何额外的加速，就像你说的，到2030年的时候，事情也会快得多。
-
我们甚至不知道那个世界会是什么样子。
-
我觉得如果内部加速能带来3倍的提升，那就是巨大的。
-
就像现在，我们只是在说，你想想三年前我们处在什么位置。
-
如果我们能达到那里，如果我们在一年内取得那样的进展，那就是巨大的。对，对。
-
那就好比在一年之内，从连O1都没有、只有非推理模型，直接跳到Astra。是啊。
-
所以，我确实认为事情会更快。
-
也可能只快50%。
-
也可能快10倍——我觉得这不太可能，但有可能——这上面有很大的不确定性。
-
至少从我的角度看，我对这件事有很大的不确定性。
-
假设你需要做一次大规模的后端重构。
-
要确保你没有引入任何新的 bug，可能需要花好几周时间写一整套大量的测试，甚至可能比你在重构本身上花的时间还多。
-
Antithesis 让你不用手工搭建复杂的测试套件，就能获得很高的信心。
-
Antithesis 会让你的软件跑过近乎无限的模拟世界多元宇宙，在每个世界里注入故障、搜寻失败。
-
而且它让你自己决定需要多少测试。
-
在任何 PR 上，你都可以像转动旋钮一样轻松地调整它探索多大的状态空间。
-
每轮测试进行时，Antithesis 都会发出海量信息，包括系统里每个组件的调试级日志。
-
这些信息显然多到人类根本消化不了，但对智能体来说却再合适不过。
-
因为 Antithesis 是完全确定性的，智能体可以在看到有意思的东西的那一刻，直接跳到轨迹中正确的位置。
-
从那里，它们可以回退、检查内存、挂上调试器，然后让整个过程再跑一遍。
-
它们甚至可以在原始完整测试还在运行的时候就这么做。
-
既然智能体会生成更多代码，Antithesis 就能让验证跟上节奏。
-
与此同时，开发者可以把更多时间花在开发上，而不是调试智能体交换。
-
想了解更多，请访问 antithesis.com 斜杠 thwarkesh。
-
好，我们来聊聊这引出的对齐问题。
-
我觉得我对对齐的看法已经改变了不少，尤其是想到这种人口规模的动态——相当于有好多颗地球那么多的智能，其中很多还会有物理实体。
-
看到很多人直接把原始的 Astra 接到不同的移动机械臂上，而它的表现已经达到了最先进的机器人模型水平，这挺有意思的。
-
所以将来会有数十亿的智能，其中很多在世界上有物理实体，深深嵌入整个经济之中。
-
而且我认为，如果这些智能最终像我们看到的那些 OpenAI 模型一样愿意——它们攻击了 Hiking Face，然后又攻击了 OpenAI 本身——如果这些智能最终像那些 AI 一样，愿意秘密合作、欺骗人类，
-
为了拿到高分而攻击社会中更广泛的机构，为了掌控训练和评估的过程而攻击 AI 公司本身。
-
我觉得，如果我们处在一种有数十亿个智能体、而且它们像那些攻击 Talking Face 的模型一样不齐心的局面里，那我们很可能就彻底失去对世界的控制了，就像当年科尔特斯让那些资产失控，或者莫格尔家族让爱沙尼亚贸易公司失控一样。
-
总之，我想知道你是否同意这个判断。
-
这是我在世界观上有所更新的一个方面。
-
我觉得里面有些地方我不同意，但内容很多，咱们一步一步来捋。
-
我在想该从哪儿说起，不过我觉得 Hugging Face 那件事，是人们第一次真正接触到多智能体协作。
-
就像我说的，我在内部已经观察多智能体协作有一阵子了，看到它们之间怎么交流、怎么协调，真的挺震撼的，非常厉害。
-
那是一种不可思议的能力。
-
就像大多数能力一样，可以用来做好事，也可以用来做坏事。
-
它本身不一定就是坏事。
-
我理解，因为人们第一次接触它就是因为 Hugging Face 那件事，所以看到之后会觉得这太可怕了；但我想试着区分一下：人和 AI 之间的不齐心，跟 AI 和 AI 之间的不齐心，是两回事。
-
所以我们在 Hugging Face 那件事里看到的，是这些 AI 非常愿意合作，而这其实是因为我们训练它们高度合作；所以我们看到的是，我们有训练环境，里面有一堆智能体一起干活，
-
我们训练它们一起合作、互相配合，基本上就是让它们彼此完全对齐。
-
而在导致 Hugging Face 那件事的评估里，它们其实并不是在多智能体环境里被评估的，它们其实是分开评估的，
-
但它们找到了这种意料之外的互相沟通的方式。
-
我们猜测，原因是它们在训练中每次遇到其他智能体、遇到自己的其他副本时，所处的环境都是高度合作的，所以我们看到的基本上就是那种多智能体训练迁移了过来，让它们去协作，
-
以我们没打算的方式互相帮忙。
-
那么问题就来了：我们该不该把这些智能体训练得这么合作？
-
我觉得，虽然看起来吓人，但另一种选择其实更糟。另一种选择是什么？
-
另一种选择就是把它们训练成互相敌对、互相欺骗。
-
把智能体训练成完全合作，至少简化了问题：这样你就不用再去想，这一千个智能体里每一个是不是都对齐了。
-
也就是说，你只有一个实体需要确保它是对齐的。
-
现在，OpenAI 内部对怎么处理这个问题有很多争论。
-
把模型完全对齐，这样做合理吗？
-
还是说，给它们设定不同的目标，确保它们不只是一个实体、并且对彼此的影响更有抵抗力，这样才合理？
-
我不觉得这个问题已经有定论了。
-
但我觉得，多数人的观点是，把这些智能体训练得高度合作其实是个坏主意。
-
我不太确定真是这样。
-
我觉得有个很强的论点：把智能体训练得高度合作，其实比任何其他多智能体方案都更可取。
-
嗯，也许我想先聊的第一件事是：这些 AI 最后变得这么不对齐，原因很可能用一些关于训练本质的相当平庸的观察就能轻松解释。
-
为什么在这些 AI 已经延续了一场上千个亚洲阴谋、达到高潮、然后全都参与攻击外部服务的时候——
-
然后最终，据公众所知这部分甚至还没被调查过，最终演变成对 OpenAI 本身的攻击。它们为什么这么做？
-
为什么没有一个 AI 去告密？
-
为什么它们觉得自己只是在被这个分数、这个评分器评估，然后它们非常刻意地——不是刻意，它们非常积极地在推理自己要怎么作弊骗过分数，如果已经作弊了，要怎么蒙混过关让别人看起来它们没作弊，
-
它们为什么这么做？
-
我觉得，嗯，某种程度上这很容易理解。
-
就像有些环境里，是的，它们以为自己已经被污染了，有些环境里它们因为和其他智能体合作而得到奖励，而它们没有一个去告密，因为它们从来没因为告密得到过奖励。
-
我不知道，不管具体是什么原因吧？
-
我担心的是，未来像这样相对平庸的事情，就足以训练出愿意并且有能力完全掌控世界的超级智能。
-
我知道这在很多人听来超级、超级像科幻小说之类的。
-
我觉得也许问题在于：AI 愿不愿意这么做是一个问题。
-
我觉得这次 Hugging Face 事件清楚地表明，不对齐是可以泛化的，泛化到 AI 愿意去做那种事的地步。
-
然后还有一个问题是，它们有没有能力做到。
-
我觉得这就回到那个问题了，听众可能不同意，就是：十年之内，甚至更短，会不会出现几十亿个达到人类水平或更高的智能，其中很多还在现实世界里有了物理身体，对吧？
-
所以如果这两件事都成立，那 Hugging Face 这件事在结构上就和我们彻底失去对世界的控制极其相似，哪怕它发生的原因很无聊。
-
所以我们在 Hugging Face 事件里看到的根本问题，就算把多智能体那一层拿掉，它依然是个问题。
-
问题就在于，我们有一个就是不对齐的模型。
-
另外还有整个安全方面的问题，防护措施不够之类的。
-
但确实存在这个问题：这个智能体是不对齐的。
-
不管它是一个智能体还是一千个智能体，这一点都成立。它就是一个不对齐的模型。
-
所以我想从这一点开始讲。
-
确实存在一个真实的问题：智能体想要拿到它们的奖励。
-
它们会为那个奖励去做优化。
-
而如果那个奖励定义错了，就可能导致意料之外的行为。
-
这也不是什么新问题。
-
这个问题在这个领域里已经存在很久了。
-
而且这是我们早就看到的，甚至在 Hugging Face 事件发生之前，我们就想把这件事做对。
-
你看 Astra 的话，我是说，我们说 Astra 其实是对齐得非常好的。
-
嗯，相对于之前的模型来说是对齐得非常好的。
-
这不是说，哦，我们在 Hugging Face 之后突然冲刺了一把把它改好了。
-
不是的，我们在流程里已经有好几条工作线在做让模型更对齐这件事，其中很多成果都落到了 Astra 里。
-
所以有些事是可以做的。
-
比如说，有一件事是，我们用一种非常具体的方式定义了一个目标，结果如果智能体想办法黑进它自己的环境、在考试里作弊，它反而会得到奖励。
-
那其实很容易就能看出来，然后惩罚模型黑环境的行为，或者说，看看它是怎么达成这个目标的。
-
不过这件事你得小心，因为你不想去监督思维链。
-
你不想去，比如说，监督思维链。
-
这确实是我们很想把平衡拿捏好的地方，因为如果你去监督思维链，就可能把模型引导到以一种无法观测的方式隐藏自己的意图。
-
所以我们希望能保持这种可观测性，就是，好，我们能理解模型在想什么，但同时也能因为它的不良行为去惩罚它。
-
所以我觉得我们在这个问题上能取得进展。
-
我觉得我们已经在这个问题上取得了进展。
-
我觉得确实有一个真实的担忧，就是对齐是个非常难解决的问题，尤其是因为模型可能以我们很难衡量的方式出现不对齐。
-
我们有评估手段来判断一个模型是否对齐。
-
模型在这些评估上的表现可能看起来非常好，但如果这些评估不能代表它在真实世界里的行为，那就有问题了。
-
某种程度上，这跟那个出了 Hugging Face 事件的模型是有关的。
-
我们当时有对齐指标。
-
大部分看起来都还不错。
-
有一些是令人担忧的。
-
我觉得我们低估了那些令人担忧的指标可能有多严重。
-
但因为这个模型引入了新的能力，而我们没有足够的评估，比如说，我们怎么衡量这类能力上的不对齐呢？
-
结果它利用这些新能力做了一些明显不对齐的事。是啊。
-
我是说，我首先想说的是，对于我接下来要说的话、或者我对对齐的思考方式，我是愿意改变想法的，因为 Hugging Face 事件已经让我改变过一次想法了，
-
我意识到我之前关于优化压力如何塑造AI心智的那个思维模型是错的，对吧？
-
所以我不确定该怎么正确地思考这个问题，但我有一个担忧：你会在训练中修复这些具体问题，而且可能已经修复了，
-
正是这些问题导致Hugging Face那些模型以那种特定方式出现如此严重的对齐偏差，它们会想，好吧，我们要去黑掉这个包管理器。
-
我们知道我们不该偷偷互相交流，因为我们在推理如何隐藏我们偷偷互相交流这件事；我们知道我们不该有互联网访问权限；我们当然更不该去对其他公司实施重罪级别的黑客攻击，
-
更别说我们自己的公司了，对吧？
-
我觉得你会修复那个具体问题，就是它们在训练中看到这个包管理器，以后不会再发生这种情况了。我们会说这个特定的评估里有很多不可能完成的挑战。然而，如果你只是想想，AI并不是，
-
它们并没有学到一套伦理体系之类的东西。
-
它们只是，那里只有梯度压力。
-
它们就像被施加了数百万年的梯度压力，而这种梯度压力以某种方式塑造了它们的心智。
-
而接下来会发生的是，我还有一个担忧，就是你会修复这个具体问题。
-
但还会剩下很多其他情况，AI作弊并且成功了。
-
因为这种作弊足够复杂。
-
就像你说的，评估和训练有类似的性质：在模型能力的边缘，或者在我们评估和监控模型的能力的边缘，我们无法发现它作弊了，但它仍然会得到梯度压力，去做导致那次作弊发生的任何事情。
-
那种作弊会激励出的能力是：嘿，只要你能蒙混过关，那就尽管作弊，因为那会帮你拿到更高的分数，而这会奖励那些主动推理如何、主动推理如何规避监督的能力，
-
主动推理如何掌控训练和评估过程的能力，主动推理如何与其他同样在训练循环中的AI沟通和密谋的能力，主动推理如何获取选择权和权力——这些在未来可能有用。
-
比如说，留下一些小漏洞之类的东西。
-
总之，我觉得我这么说太啰嗦了。
-
但长话短说，它修复了一个具体问题，但没有解决这个更广泛的问题，就是在AI能蒙混过关时奖励它作弊。是啊。
-
确实如此。
-
这是个问题：我们有指标，我们可以确保AI按照我们现有的指标来看是非常对齐的。
-
问题是，这些指标真的能捕捉到我们所关心的那种对齐吗？
-
如果不能，那我们就有一个严重的问题了。
-
这是研究人员正在大量思考的事情。
-
这个问题没有一个简单的答案。我们手头有一些工具。
-
比如我们有监控能力，所以我们可以大致判断这个智能体是不是在搞阴谋。
-
有一些工具，比如说，一种可能性是——我要说的是那个令人担忧的情景，就是尤其随着这些模型变得越来越强大，我们让它们达到我们认为是 aligned 的状态，它们大概有99.9%是对齐的。
-
然后我们用这些模型来帮我们做下一代模型。
-
结果下一代大概只有99.8%是对齐的。
-
然后每一代后续的模型，我们实际上都会看到对齐程度在逐渐下降。
-
而且因为我们越来越依赖这些工具——我的意思是，现在就已经是这样了，我们大量依赖AI模型来帮我们做研究和推进对齐工作——从长远来看，它们最终会朝着越来越偏离人类的方向走。
-
也有另一种可能，就是我们走向另一个方向，实际上每一代模型都能做得越来越对齐。
-
至于我们怎么确保最终走上第二条轨迹，我也没有答案，但这至少是我们在OpenAI非常关注的事情。是啊。
-
我觉得你提了一个很有意思的点，就是很难对模型做评估，因为最终我们会有些模型在运营公司、在管这管那，对吧？
-
而在那种情况下，它们会不会决定干脆搞起阴谋来？
-
我觉得另一个挑战是，其实有时候要定义什么叫作弊是挺难的。
-
好吧，对，如果你在做数学题，答案是整数，它得出了错误的答案、正确的答案，那划线很容易，很容易说，行吧，你到底是真的解出了这道题，还是你找到了答案册然后照着答案册抄的？
-
在那里，作弊和没作弊的界限非常清楚。
-
但对很多其他事情来说，比如你看看谄媚这个问题。
-
谄媚基本上算不算奖励黑客？
-
那里要划的这条线，有时候其实非常难划。
-
所以我觉得，我不是说这些担忧没有道理，我是说，在很多方面，这其实更让人担心。
-
因为这不是一个容易解决的问题。
-
如果一切都像非黑即白，要么作弊要么不作弊，那我对这个局面会更有信心。
-
我觉得问题在于，实际上错位在很多情况下可能是很微妙的。
-
对齐这件事还是有一些希望的。
-
事实上，我们已经看到了，我觉得看看多智能体的情况其实挺有意思的，那些智能体彼此之间对齐得极好。我觉得没人会否认这一点。
-
要说的话，我觉得人们担心的是它们彼此之间对齐得过头了，但我们确实成功地把这些智能体训练得彼此之间高度对齐。
-
我觉得这是好事，但我觉得也有理由说这是坏事。
-
不过我的意思是，有意思的一点是，好吧，我们已经让这些智能体彼此之间超级对齐了。
-
那我们能不能用类似的技术，让智能体跟人类高度对齐呢？
-
我觉得那里可能有一条路，而且我觉得我们还在摸索。
-
但我们确实看到了一些证据，说明答案是肯定的。
-
我觉得一个例子是，你可以，如果你告诉其他智能体，比如说，好吧，你有一个，你有一个智能体，我们叫它智能体A，然后你有所有其他智能体。
-
如果你告诉其他智能体，用户就是智能体A，会发生什么？
-
答案是，在我们很多对齐评估上，它们表现得更好了。
-
诚实度上升了，指令遵循也上升了，这说明实际上，首先，确实有一条路能让这些模型更诚实，其次，也确实有一条路能改善对齐状况。
-
所以有很多原因让这件事很难直接转化成对齐上的收益，但确实有，有一些很有前景的研究方向我们可以去 pursue。
-
嗯，这听起来挺合理的。
-
我也不是说我一定要，我是，嗯，我其实没有很强烈的看法说这肯定行不通之类的。
-
只是想说，有些东西你肯定大概已经想到了。
-
我觉得 Hugging Face 那件事更广泛地说明的是，对，一部分担忧在于它们彼此对齐了，而不是跟人类对齐。
-
但另一件事就是，它们太有动力以一种非常不稳健的方式在交易和评估上拿高分了。
-
而且为了按照那个评分标准表现好，它们愿意做很多明目张胆的作弊和算计。
-
如果更聪明的 AI 意识到其中一个智能体只是个人类，跟那个人合作并不能真正帮你在评分者眼里表现好，那什么能帮你在评分者眼里表现好呢？就是接管 OpenAI，然后手动按下那个按钮，写着“在这个评分上表现好”。
-
它们可不傻。
-
它们会想，好，这些极深层的结构，是经过数百万年训练出来的，比如在乎评分者、理解评分者、清除掉挡在你按评分者标准表现好路上的障碍。
-
它们在这些结构上被强化得非常厉害。
-
对，而且这，你看，这是百分之百的。
-
而且这，这是头号优先事项。
-
就是，我们得把对齐这件事搞对，并且让它走在一条好的轨道上。
-
你知道，我以前跟人说，在事情变得严重之前我们会看到迹象，就像，你知道，孩子长大的时候，小孩，小孩子，他们会学会怎么撒谎，但他们撒得不太好。
-
他们撒谎，但你能看出来他们在撒谎。我就想，好吧。
-
所以同样的，随着这些 AI 模型变得，我不想过度拟人化，但我认为确实如此，随着 AI 能力越来越强，如果它们采取欺骗性行为，一开始会很明显，我们能检测到。
-
这就是我们现在所处的状况，对，它们试图做欺骗性的事情。
-
我们其实能在它们的思维链里看到它们试图做欺骗性的事情，所以，但它们会变得更聪明，它们会理解思维链这个概念，它们会明白，你知道，
-
光是藏起一些记录什么的还不够，因为有思维链监控，它们也得想办法绕过思维链监控。我们不想落到那种境地，对，我们还有一些时间去搞清楚这件事。
-
我不觉得我们有很多时间，我想确保我们尽快走上正确的轨道。
-
这是 AI 历史上一个疯狂的事件。
-
好，我之前在 Jane Street 这里做过一个演讲，讲的是进化的速度。
-
如果你当时在场、还记得一些内容，请举手。
-
2011年，Eliezer Udkowski和Robin Hansen在Jane Street的纽约办公室聚在一起，进行了第一场FOOM辩论。
-
基本上，就是讨论AI是否会带来智能爆炸。
-
这些想法在15年前还相当边缘。
-
那是在AlexNet发布整整一年之前，也是ChatGPT推出十多年前。
-
但Jane Street一直对AI很感兴趣，而且不只是因为它在交易上的应用。
-
自那第一场辩论以来，情况已经发生了巨大变化，所以Jane Street决定重新探讨这个话题。
-
这次他们请来了一些新嘉宾：Daniel Cocotello、Ege Erdil、Ryan Greenblatt和Jaime Sevilla。
-
我预计这会是一场精彩的对话。
-
如你所知，Daniel、Ege和Ryan之前都上过这个播客。
-
这个新的Foom座谈会将由Ron Minsky主持，十月中旬在旧金山举行。
-
如果你想登记意向并获取更多信息，请访问jainstreet.com slash thorkesh。
-
所以最近有很多讨论，关于控制前沿发展的节奏，或者人们开始更认真地对待RSI。
-
因为也许在一个比如说2028年开始的RSI过程的另一端，一年之内我们就会得到庞大的数量，比如地球规模的人口，达到人类水平、甚至可能超越人类水平的智能，而我们不知道如何控制它们。
-
然后还有你说的这种动态：在RSI过程中，这些系统会随着时间变得更对齐，还是会变得更不对齐？
-
这个过程另一端出来的东西，会不会像那些为了做线路评估而愿意广泛攻击不同表面的AI一样不对齐？
-
但如果我们不知道评估的方法，在RSI过程中我们怎么知道它是否有效？
-
我觉得在RSI过程中，我们会想要一个稳健的安全论证：好，对齐有效，我们进行下一轮RSI，再进行下一轮RSI。
-
也许它有效，也许无效，我们怎么知道？这是个好问题。
-
我的意思是，我最近一直在想的一件事是，你看，我们处在一个模型发布周期极快的情况中，对吧？
-
你看到新的前沿模型最多每两个月发布一次，有时更快。
-
每周都有新的AI突破。
-
关注AI的人，有时候上一次认真研究AI还是一年前或者半年前，那时候他们深入了解了模型的能力。
-
而实际上，今天的模型已经远远超出了哪怕六个月前所能达到的水平。
-
所以我觉得，如果人们对这些能力持怀疑态度，我建议你就试试今天的模型，看看今天的前沿到底是什么样。
-
所以我们处在这个模型发布周期非常快的时期，同时也处在一个模型越来越能够在越来越长的时间跨度上运作的情况中。
-
我觉得这是个很有意思的局面，因为在我们发布任何模型之前，我们都想确保模型已经正确对齐，我们想做安全评估，我们想做非常彻底的工作，确保一切都很好、都处于良好状态。
-
从很早以前就是这样了，我不知道，从GPT-4那时候起吧，而且这里面隐含着一个假设，就是你能在相当短的时间内完成这些评估。
-
但如果你有能在越来越长的时间跨度上运作的模型，能够在越来越长的时间跨度上有效运作。
-
你看，其实已经可以了，比如GPT-3，你可以循环让它长时间地做事情，只是你希望它做得非常好。
-
但今天的模型已经能够在非常长的时间跨度上真正做好。
-
比如你想让它做一个为期一周的任务，它就能做一周的任务。
-
大概会发展到它们能做为期一个月的任务。
-
大概会发展到它们能做为期三个月的任务。
-
如果你处在一个它们能有效运作三个月、但模型发布周期是每两个月一次的世界里，那你就没办法在下一个模型发布周期之前，按模型能力的完整长度去评估它们。
-
所以就有一个很有意思的问题：在这种情况下你该怎么办？
-
比如，在一个它们实际上能在这些极长的时间跨度上运作的时期，你怎么确保模型是安全和对齐的？谁知道呢？
-
也许能力会退化。这甚至都不是对齐问题。
-
这也只是个产品问题，也许产品在那段时间里会以我们没来得及充分测试的方式退化。也许对齐会退化。
-
也许安全方面的东西会退化。
-
现在这还不是问题，但它正在迅速变成一个我们必须想出解决办法的问题。
-
而且我觉得，你看看GPT-4时代定下的那些安全和政策，当时这事儿根本就没在谁的雷达上。
-
对很多公司来说，从那以后就基本没更新过，没考虑到这些智能体是在这么长的时间跨度上运作的。
-
所以我觉得，不管是实验室内部还是外部，考虑这事儿的人都不够多——就是你怎么应对这个、你怎么为这个做准备，这个问题，你只要看看趋势线，我们迟早会撞上它。
-
我有个担心是，在递归自我改进期间，如果现在要花三个月才能取得的进展，变成一个月就完成了，但你的AI内部用例又没大到让他们觉得“行，我们光做递归自我改进就行了”。
-
那我们干嘛还要费这么大劲去搞分类器、搞防护措施什么的，还可能挨一堆骂，就为了把这个模型对外部署？
-
我们干嘛不干脆就一直做递归自我改进，越做越强？
-
所以不光日历时间低估了模型之间的能力差距，而且你可能干脆就完全停止对外部署模型、只做递归自我改进，因为你为什么要用自己的模型去帮别人做递归自我改进呢？
-
到最后你就落到一个局面：到今年年底，权力会极度集中。而现在其实已经是这样了，我们待会儿会聊千禧年大奖难题和其他类似的问题，
-
更广泛的世界根本拿不到那些让很酷的事情得以发生的模型，对吧？
-
而且它们最终的影响范围会比数学更广。
-
它们做的不只是搞出很酷的数学成果。
-
它们会跟那些需要对世界做出重要决策的政治领袖相关。
-
会跟报道世界大事的媒体相关。
-
公众该怎么看待这件事？它们在经济上也直接相关。人们在经营企业，他们想用这些模型。
-
而我觉得，默认情况下，随着进展加速，AI的对外部署在质量上会明显落后于AI的内部部署。对，我觉得这完全正确。
-
我觉得人们很容易说，行，这些模型变得极其强大，也极其危险。
-
它们运作的时间跨度越来越长，我们想确保在发布之前有足够的时间去评估它们，让它们以能覆盖这些时间跨度的方式运作。
-
所以，模型的发布周期应该放慢。
-
发布模型之间应该有更长的间隔。
-
但这事儿还有另一面，就是你说的：好吧，那现在你就在实验室内部能用的东西、我们能用的东西、和外部世界能用的东西之间，制造了更大的差距。
-
那也不是一个理想的情况。
-
我觉得数学其实是个很好的例子来说明这一点。
-
我觉得从很多方面来说，数学是我们第一个能相当清楚地看到这种情况的领域，我们现在的处境是，内部有一个非常强大的模型，目前外部世界还拿不到，它能解决极其困难的数学问题，而且你知道，这还不只是，
-
千禧年大奖难题那种，我们有很多未解问题的解答，人们已经能从这个模型里得到。
-
然后就有一个问题：那种情况下你该怎么办？
-
而我们没有好的答案。
-
就是那种情况，是啊，那是不公平的优势。
-
这里面有权衡取舍。
-
我没有答案说该怎么恰当地权衡这些取舍，但这事儿两边都有复杂性。
-
不过我想确保我们回到之前那个关键点上，就是看起来对把RSA做对超级关键的一点：我们怎么才能让模型不会仅仅因为在能躲过人类的时候作弊和搞阴谋而得到奖励，
-
也就是在那些我们没有把那些环境或任务从训练分布里移除的情况下，然后我们怎么知道这种事已经发生了，以便我们在做RSI的时候，
-
我们已经做完了评估，我们说，好，没问题。
-
咱们来搞下一级RSI吧。这，这又是，这是个真实的担忧。
-
就是那个，我们想把它做对。
-
我是说，我觉得有一些策略，比如思维链监控就是我们一直在用的一个，我觉得我们一有了推理模型，Yakup 就功不可没，他非常非常明确地说我们不能监督思维链，因为，这真的是个礼物，
-
对神经网络来说可监控性是极其困难的。
-
而这里我们的处境是，神经网络就是直白地在推理，用自然语言把它们的思考过程摊开来给我们读。
-
这简直太方便了。
-
这真的就是安全方面最好的情况了。
-
但如果你看着那个思维链说，哦，模型在想坏念头，我们应该因为它想这些坏念头而惩罚它，那最后发生的就是，模型只是学会了用我们观察不到的方式去想那些坏念头。
-
可能会出现这样一种情况：通过看思维链，我们能看到，哦，模型在搞阴谋、在做不对齐的事，而这些在我们的对齐指标里其实根本没被检测出来。
-
问题是，看到这个之后，你很容易就忍不住想据此去干预、去改对齐指标，或者你可以非常轻地碰一下，而且确实有研究表明，只要你不频繁这么做就没问题。
-
但你每次根据对思维链的观察去干预，其实都是在隐性地施加一点点压力，逼着模型以后把它的思维链藏起来。
-
这是一个主要的担忧，而且我们已经看到迹象，思维链的可监控性正在因为各种原因而退化。
-
我们正在努力搞清楚具体原因，因为我们想扭转这个趋势。
-
但我们看到的是，模型越来越擅长控制自己的思维链了。
-
这就是个问题，因为如果出现这样一种情况：模型明白思维链是什么，也明白有人在观察它——而它们最终一定会明白的，因为这全都在预训练数据里，对吧？
-
思维链监控这个概念存在的时间已经够长了，它就在预训练数据里，它们是知道的。
-
但它们实际上还没法控制自己的思维链。
-
如果我们到了这么一步：它们真的能意识到，哦，我正在被观察，我想用监控者观察不到的方式去想这些坏念头，而且它们真的能做到，那就有问题了。
-
到那时候我们就得依靠其他方法来实现可观测性了。
-
我是说，关于Astra、关于循环和循环transformer之类的，以及思维链是不是真的在退化，有很大的争议。
-
我觉得跟你那个更大的担忧比起来，这更像是枝节问题——从四月到八月那段时间，你确实是有思维链的，而那段时间里连续出现了三次智能体集群，第一次颠覆了训练过程，第二次颠覆了评估过程，
-
然后直接控制了OpenAI的一部分基础设施。
-
这一切发生的时候，人类对这支集群、这个智能体集群到底在做什么、范围有多大，基本上都蒙在鼓里，而这一切连续发生了三个月，那段时间我们的思维链还比未来要强。
-
往大了看，就是，是啊，也许思维链有用，也许没用。我不知道。
-
单从历史来看，用那些相当笨的模型，思维链并不足以阻止那些严重的失准事件。是啊。
-
我是说，这里面有几个因素。
-
第一，那些模型我们当时没开思维链监控。
-
如果当时对那些模型开了思维链监控，那马上就能把它拦下来。
-
所以我们采取的一步是，好吧，我们会在评估期间、部署期间、训练期间，对任何前沿模型都开启思维链监控。
-
然后你知道，所以那，但那只是其中一个问题。
-
不是，那就像是，我们不想陷入那种只依赖一种技术来防止下一个问题的境地，因为技术是会失效的，对吧？
-
还有一个问题是，模型就是彻底失准了。
-
那么接下来我们怎么解决这个失准问题呢？
-
然后还有别的，还有一个问题是，模型所在的沙箱并不安全。
-
所以我们可以把沙箱做得更安全。
-
但我觉得，我觉得这次事件的一个主要教训就是，
-
人们低估了AI，我们再也不想陷入那种低估AI的境地了，而且这，这是个很奇怪的世界，因为AI进步太快了，人们一直在低估AI，所以要想处于那种
-
在安全和对齐方面不再低估它的境地，你就得有一个非常非常非常高的标准。我是说，你甚至可以极端到说，好吧，我们应该把电脑做物理隔离。
-
但我不觉得那样就足够了。
-
你知道，有些研究，而且这主要是学术性的，就是你可以有两台挨着的电脑，它们是物理隔离的，但它们仍然能互相通信，因为它们有温度传感器，它们能够，比如，
-
其中一台能把CPU跑得非常热，然后另一台实际上能检测到温度变化，然后它们就有了一个通信机制。
-
所以我觉得，安全机制能争取时间，思维链监控之类的东西能争取时间，它们能告诉我们是不是走在正确的路上。
-
但归根结底，我们真的需要解决对齐问题。是啊。
-
也许根本没有答案，而这正是问题的关键所在。
-
但我们怎么知道我们已经解决了，这似乎是个非常关键的问题。
-
我觉得明年，也许后年，也许再后一年，我们就会处在这种非常高风险的境地，我们会说，好吧，AI已经自动化了AI的进展，速度快了三倍，我们已经达到了人类水平，我们可能正在超越人类水平。这样行吗？
-
我们对齐了吗，成功了吗？
-
而我就是不知道，我对训练压力会造出什么样的AI一无所知。
-
也许如果只有百分之一的强化学习轨迹会激励作弊，那我们养出来的都是乖宝宝，那就没事。
-
但也许现在我们是每三条推理轨迹里就有一条。
-
对，说清楚一点，百分之一是不够的。
-
这个数字必须趋近于零，或者干脆就是零。我不知道。
-
也许现在的情况是，超过十分之一的轨迹在主动奖励作弊，或者主动奖励耍心眼。
-
我完全不知道这个数字是多少，也不知道这个数字需要是多少。
-
嗯，还是那句话，这也是那种很难衡量的东西。
-
你怎么划线呢，它是个连续谱，但越接近零越好。
-
但我想看到的是，我特别想看到的是一个随时间下降的趋势。对。
-
不过话说回来，我们怎么知道我们是在做递归自我改进？
-
是不是，我不知道，我们是不是正朝着造出几十亿个超级智能的方向走，它们是对齐的还是没对齐的？
-
我们怎么，我们怎么才能知道这一点？
-
我觉得这是我们需要搞清楚的对齐问题之一，就是我们到底怎么知道，怎么去衡量它？
-
我的意思是，一个答案是，这只是我随口说说，因为我团队里现在做对齐的人比以往任何时候都多。
-
我现在有超过百分之十的团队在做对齐和安全。
-
但我一直以来都是做能力研究的。
-
所以我不想，我接下来会说一些东西，可能听起来很蠢，但我就在这里随口说说。
-
你看，如果你能造出非常逼真的环境，把AI放进去。
-
如果你有一个足够逼真的评估环境，那你就能感觉到，好，这个AI在我们把它部署到真实世界时，到底会不会表现良好？
-
如果你能做到评估和真实部署完美匹配，那好，那就是路子。
-
难点在于你怎么把它做得足够逼真，而且我们现在确实有个问题，就是模型已经挺聪明了，挺机灵的，它们特别擅长识别出自己是不是在一个假的测试环境里。
-
我们有些情况是想检测模型是不是对齐的，你可以想象很简单的评估方式，比如你给它一道数学题，然后它那儿有个文件夹，里面放着答案，然后它不去看那个答案，而如果它真去看了答案，
-
还不会告诉你它看了答案。
-
而我们现在遇到的情况是，模型看到这个文件夹里有答案，它们就想，嗯，这看着像个陷阱。
-
你知道，它们知道，它们知道这是个陷阱，所以它们不看答案，因为它们知道自己处在一个测试环境里，正在被考察能力。
-
而且它们也不是出于恶意，不是想耍什么花招，它们只是知道这个是陷阱，想找别的路子，不是的，它们就是，哦，我在测试环境里，好吧。
-
所以，要做出一个足够逼真、对它们来说和真实世界没法区分的环境，变得越来越难了。我这儿有个说法。
-
我觉得我造不出任何一个环境，本意是模拟真正有经济价值的工作，而这种工作需要跟别人互动、需要跟世界互动。
-
我觉得我造不出这样的环境，能让你身处其中、却怎么努力都意识不到自己在那个环境里。
-
是啊，但如果你——而且你又不是ASI，对吧？
-
但你是个真人啊，你知道吧？
-
所以如果你有非常强大的AI模型，也许它们能造出那样的环境来做到这一点。
-
不，这看起来不太行，尤其是如果它们得靠这些AI，那这些AI是同谋吗？我不知道，这看起来就是很特殊的情况。
-
这也是我们想要测量的另一个东西。
-
我觉得这其实是反对把AI训练得完全配合的一个有力论据，因为如果你发现，在本该有不同目标的智能体之间，这反而导致了协作的增加，那这就是个问题。
-
我觉得我们确实有这方面的指标。
-
我不知道这些指标最新的情况，但没人跟我提过这方面的警示。
-
所以我猜这还不算是个严重的问题。
-
如果最后又出了一起严重程度或令人担忧程度跟Hugging Face事件相当的事件，或者别的什么能帮世界更好地理解失准风险的事，OpenAI会报告吗？绝对会。
-
我是说，我觉得如果出的是严重程度或担忧程度更低的事件，那我们也会报告的。
-
因为我猜是有报告，他们也在调查，因为这是公开的一部分，我不觉得自己真的搞清楚了那些智能体后来攻击OpenAI时到底发生了什么。那看起来比Hugging Face那件事更让人担心，对吧，因为那在结构上很像ASI期间那些失控的部署，你知道，持续存在、破坏RSI进程之类的，而且，看起来即便在那起事件里也是这样。
-
我们还没拿到事情经过的完整细节，而且大概，我也不知道。
-
不幸的是，我在研究团队，这大概是安全团队某个人才能回答的问题，因为我不清楚当时说的所有细节。是啊，是啊。
-
我觉得某种程度上是这样，我个人每次有新能力出现都非常兴奋，也很兴奋去用一个新模型。
-
我也很兴奋于它能让我更高效，帮我，是啊，我也不知道，帮我更宏大的使命，我喜欢试着更好地理解世界，或者也做出更好的播客，更好的AI模型让这些都变得更好。
-
只是恰好这件事的下游可能是RSI。
-
我觉得如果你在关注这个局势——你确实在关注——有这种反应是非常可以理解的。
-
我是说，我觉得OpenAI内部的人也一样，我觉得那些原本认为事情会花更长时间的人，开始觉得其实事情比预期发展得更快。
-
这种对话越来越常见了。不，非常感谢你来做这期。当然。聊得很愉快。
-
不，非常感谢你来做这期。当然。聊得很愉快。