Weco AI 让智能体自我改写八天：递归自我改进的证据与争议
点播放，字幕跟着声音走
Subtitles follow the audio
逐句文字稿
点任意一句，从那里开始听
正在加载字幕…
-
对我来说，harness 工程更像是一种便宜又高效的方式，把智能适配到具体任务上。
-
今年七月，一家总部在伦敦的新 AI 公司在 Twitter 上发了一条特别火的推文。
-
那条推文大概有 180 万次浏览，声称首次展示了递归自我改进的证据。
-
问题是，并不是所有人都买账。
-
我是 Zhengyao Jiang，Weco AI 的联合创始人兼 CEO，我们做的是能自我改进的智能体。
-
你确实说过，让自动研究智能体去自动研究它自己，跑了八天。
-
我们对自动研究的 harness 做自动研究，结果发现了一个比我们过去两年一直在调的那个更好的自动研究 harness。
-
现在大多数人想到递归自我改进的智能时，脑子里浮现的是一个能在循环里给自己大脑重新布线的系统，但如果这个系统只是改大脑外围的代码，那还算不算数呢？
-
我们关心的是结果，就是它到底有没有真正提升系统的能力，而不是某一层。
-
还有 Goodhart 定律这个小问题：当一个度量变成目标，它就不再是一个好的度量了。
-
更有意思的是，我们发现它的设计机制本身就能防止 reward hacking。
-
关于 RSI，人们最大的误解是什么？
-
大家以为一旦到了 RSI，就会出现技术奇点，或者所谓的智能爆炸。
-
我觉得不会是这样。
-
现在有一大批人在做创业公司，专注于递归改进超级智能。
-
这个项目其实是一年半前开始的，当时我们对递归自我改进这个概念产生了兴趣。
-
我是说，从历史上看，所有研究的回报都是递减的。
-
不过有个想法：能不能让研究者提升自己的效率？
-
历史上，这可以通过方法改进、更好的工具来实现，但人类研究者，比如人类研究者的大脑，始终是关键瓶颈。
-
如果我们现在有了一个自主研究系统，能不能把研究课题指向它自己，让它提升自己的研究效率？
-
而我们的希望是，有一天这种效率的提升能够克服回报递减。
-
这样一来，努力和产出之间的曲线就能从凹变成凸，当然，这算是个宏大的目标，有点像AGI。
-
没人知道我们能走多远，但提升这种自我指涉研究的效率，肯定已经写在路线图上了。
-
那我先把背景交代清楚，Weco做了一个叫AIDE的智能体，它就是一个研究框架，对吧，而且非常简单。
-
你给它一个指标，给它一个问题，它就会朝着那个问题不断爬坡，但他们做的是把它递归地搭起来，所以他们实际上是朝着改进这个智能体本身去爬坡，也就是说改进这个框架，比如提示词、工具，还有你知道的，
-
整个技能面，框架能做的所有事情，他们就让它一直跑着。
-
他们就让它一直跑，然后看看会发生什么。
-
在自我进化的自动研究框架上，我们观察到一个有意思的现象。
-
我们看它生成的代码，确实，那代码简直像外星代码，一团乱麻，但不知为什么，它的泛化能力特别好。
-
当然，我们有一组基准测试，想在上面爬坡。
-
之后，我们会在留出的基准测试上测它。
-
那些都是公开的基准，比如MLE Bench Light、ALE Bench Light。
-
ALE Bench是Sakana出的一个算法发现基准。
-
MLE Bench是OpenAI的机器学习工程基准。
-
我们还测了一个分布外程度很高的任务，叫Weather Bench 2。
-
本质上，你要构建一个基于物理的预报引擎来预测天气。
-
而Weather Bench跟训练或优化的设定相比，分布外程度非常高。
-
但它的泛化能力依然很好。
-
它的泛化比我们那个，我们会说更优雅、手工调优的框架还要好。
-
我们对实验结果有点纠结。
-
比如说，我们到底在多大程度上想坚持那些更基于第一性原理、更干净的方案，而不是那个在实践中确实效果更好的方案。
-
这方面我们肯定还有改进的空间。
-
我觉得，给优化器加上某些约束，可能有点像你对神经网络做正则化。
-
你怎么让它去尝试找到同一个问题的最简单解法？
-
这是一个方向。
-
但另一个方向可能是，好吧，你就得接受它。
-
呃，因为让人觉得这是段惊人代码的负担之一，可能是智能体在后台做了多少工作。
-
比如在我们这个自动研究、自我改进的案例里，它确实做了一百次实验。
-
而这个实验数量，大概跟我们过去两年做的差不多。
-
所以如果你让一个新来的实习生看我们的代码库，他可能也会觉得，好吧，这太难理解了。
-
我觉得一部分原因就是，对，你得承受那种理解大量实验结果的认知负担。
-
我们到底还需不需要那些约束？
-
这是个很好的问题。
-
我觉得在实践中，你还是需要那些约束。
-
人类和AI需要协作。
-
我相信人类智能在某些方面仍然优于AI。
-
比如在Aiden里，我们让智能体去参加OpenAI的招聘挑战，我们发现人类在生成有创造性的基础构件方面还是强得多。
-
我们发现，由人类来搭建第一个原型、给智能体正确的搜索空间，这非常重要。
-
基本上，最初的抽象会锚定搜索空间。
-
这有点像你设计神经网络架构时，为学习过程引入归纳偏置。
-
如果初始代码库是基于搜索的脚手架，比如8，那么智能体想出的很多点子其实都来自搜索相关的文献。
-
但如果你把初始代码库给成一个React智能体，React智能体基本上就是说你把所有上下文都放进历史里，给智能体完全的灵活性，那么很多点子就来自智能体本身，也就是外层循环的智能体，
-
外层循环指的是一个智能体去优化另一个智能体。
-
那我们说的递归自我改进到底是什么意思？
-
我们是在说造一个机器神吗？
-
还是只是在说某段代码在循环里跑、不断优化自己？
-
我们试着把这件事界定清楚。
-
你提到过RSI的四个层级，也就是递归地提升智能。
-
这四个层级是什么？
-
对，第一层我们叫它委托。
-
你可以跑递归自我改进的循环，但它并不严格比人类做研发更好。
-
我们相信之前所有公开的结果都停留在这一层，也就是第零层。
-
第一层我们叫它净正向，就是你跑自我改进循环，发现自我改进的速度实际上比人类做研发来改进系统更快。
-
而我们现在正处在这一层。
-
在第一层里，我们说改进的时候，总得有个衡量方式，比如我们是在一组下游任务上衡量它，
-
但我们并没有衡量它改进自身“改进能力”的能力有多好。
-
外层循环找到的内层循环，是不是真的能变成一个更好的外层循环？这就是我们说的第二层递归自我改进，我们叫它点火。
-
为什么从内层循环到外层循环的这种泛化很重要？
-
因为这是递归自我改进这个宏大目标的必要条件，本质上就是智能爆炸的场景。
-
提升效率可以克服那个，呃，难度增加的问题，因为在第一层，你仍然会看到收益递减。
-
就像从内层循环到外层循环的那个正反馈回路，并不是一开始就能跑起来的。
-
所以在这个设定里，底层的模型并没有变，因为适应能力非常非常重要，但我们说的是所有地方都要适应吗？
-
还是说我们指的是关键路径上的适应？
-
你是只需要有一个递归循环去适应系统的某些部分，还是说智能的所在，也就是模型本身，它需要适应，我们才能把这个叫做递归改进的智能？
-
我们其实也不太在意这个。
-
因为我们关心的是结果。
-
就是，它到底有没有真正提升系统的能力？
-
而不是某个特定的层。
-
当然，可以说不同的层上还有更多东西，而且公平地讲，我觉得最终第三层递归自我改进，就是当我们真正到达那个拐点的时候，我
-
觉得那时候所有不同的层上都需要有这种自指的循环，但对我们来说，我们关心的是harness这一层，但同时我们也不认为只有模型层的改进才算RSI。
-
你能不能说说，你找到的这个最精炼的agent，它的行为是什么样的？
-
对，最好的agent是885，我们这么叫它。
-
好吧，改动很多，但天哪，它确实降下来了。
-
有搜索算法上的改进。
-
有更好的上下文管理系统。
-
还有所有prompt的彻底重写。
-
更有意思的是，我们发现它设计的机制能防止自己搞reward hacking，就是外层循环试图阻止内层循环去作弊骗过基准测试。
-
而且它实际上为此设计了一个三层系统，包括prompt层面的反作弊。
-
这就像是，直接告诉它，好吧，基本上就是别作弊。
-
还有一组硬编码的规则，基本上就是检查内层循环agent生成的代码里有没有作弊的迹象。
-
更有意思的是，它还会根据某种统计特性把那些作弊的解法过滤掉。
-
比如说，如果某个解法偏离同类的平均值太远，我们就会说，好吧，这里可能发生了reward hacking。
-
但有意思的是，首先，这个机制是演化出来的，是在流程早期设计进去的，而到了后期它实际上坏掉了。
-
我觉得后期的代码改动只是引入了一个bug。
-
所以那一层就停止工作了。
-
嗯，这也算是我们刚才提到的意大利面式代码库的一个特点吧。
-
给在家听的朋友们解释一下，reward hacking的经典例子就是那个coast runners，船在原地绕圈，做完全退化的事情。
-
你在博客文章里说过，kernel优化就是一个特别典型的例子。
-
所以当你用agent去优化kernel的时候，就是那种老掉牙的捷径学习，古德哈特定律，随便你怎么叫它，它就会做出完全退化的东西。
-
我觉得更有意思的一点是，内层循环和外层循环优化的目标相似但并不相同。
-
在我们所有用于爬山优化的基准测试里，都有一个公开集和一个私有集。
-
内层循环的agent只看公开集，而外层循环看的是私有集上的汇总分数。
-
所以这两个agent是在不同层面的目标上做优化。
-
所以每当内层循环的agent想作弊，我们的评估协议就会显示，好吧，虽然你在公开集上表现很好，但你在私有集上的表现其实在下降。
-
于是外层循环就能学到这一点，并试图缩小公开集和私有集之间的差距。
-
这有点像作弊吧，外层agent能访问私有数据，然后大多数时候它其实相当有节制，并没有明目张胆地作弊，但原则上它是可以作弊的。对，这就是为什么这里其实有两层泛化。
-
我们在这里测试的是第一层泛化，也就是从同一个基准测试的公开集泛化到私有集。但为了评估整个元学习系统，
-
我们需要在一组留出的基准测试上测试它，这些基准测试是连外层循环都从没见过的任务，而且对所有这些基准测试，它们仍然有公开集和私有集的划分。
-
所以我们把发现的这个内层循环agent放到那些留出任务上测试。
-
这就是我们用来测试外层循环有多好的协议。
-
他们的实验只用了单层外层循环，但为什么只用一层呢？
-
问题在于，外层循环越多，成本就越高。
-
假设在内层循环里，你要在几百个任务上跑自动研究。
-
这就意味着外层循环的每一步，你都要在那几百个任务上全部跑一遍自动研究。
-
这会让成本大幅飙升。
-
如果发现的内层循环agent或者发现的那套harness能反过来用到外层循环上，那你就不需要再加一层了。
-
基本上就是每隔几步，把内层循环agent提升到外层循环，对，就这样，你可以无限地跑下去，无限次迭代，而不用再加一层。
-
如果我理解得没错，目前这些回合都是短暂的，彼此是隔离的。如果不是这样，会发生什么？
-
比如你们有没有做过实验，让它们知道之前发生过什么，或者让它们共享记忆之类的？这个我们还没实验过，但这是一个非常有前景的方向，我们正在探索。
-
我觉得还有一些更根本的问题表述上的问题需要解决。
-
对，目前我们把这个问题的框架设定成一个无状态的优化问题。
-
这个框架到底对不对？很可能不对。
-
还有很多更灵活的框架方式。
-
你们有没有发现缺乏上下文曾经是个问题？
-
那你有没有看到退化现象，比如它一直在绕圈子，或者反复尝试同样的东西？
-
对，我们确实看到了。
-
有时候agent就是不停地尝试各种搜索算法的想法，虽然某种程度上，你试了那么多次，大概也该学到这个方向一般行不通，但它还是继续试。
-
我记得你们最好的agent是30%探索、70%利用，如果这个比例也能根据上下文自适应调整，那岂不是很好？
-
对，最好的agent的搜索策略其实非常复杂，它实际上结合了多臂老虎机和一个奇怪的反饱和策略，就是那种，哦，如果我，好吧，首先它
-
会尝试用几条谱系来组织搜索过程，你也可以叫它们岛屿，然后用多臂老虎机算法在这些谱系之间分配预算，而且
-
它还对那个多臂老虎机做了一些定制，每当一条谱系饱和了，它就会创建一条新谱系，就像一个带全新上下文的新岛屿，但仍然会延续旧谱系的一些想法。
-
所以这是个非常复杂的策略，但看起来挺管用的。
-
把它和其他已有的东西对比一下挺有意思的。
-
比如AlphaVolve，你在博客文章里说，你其实会把它归类为递归改进的第一级。能解释一下为什么吗？
-
当然，有些地方是模糊地带。
-
我们认为它算是递归自我改进的一步，因为你找到了一个更好的算法。
-
比如在那个例子里，我记得是矩阵乘法算法。
-
某种程度上你可以说它成功改进了自己。
-
如果你把它应用回实际做语言模型推理的AI系统，你本质上就是让它变快了。
-
所以我们认为可以说那是递归自我改进的一步，不过我们自己不这么算，因为我觉得他们并没有真正测试这一点。
-
我们有一个固定的agent，我们在优化某个特定任务。
-
而你们实际上是在优化那个优化任务的agent，而且不止一个任务。
-
对，我们是想在端到端测试上优化整个系统。
-
在这之前，有很多关于元harness优化的工作。
-
比如你可以优化系统里的某个特定组件。
-
比如，我不确定你熟不熟悉达尔文哥德尔机。我正想问你那个呢。对，给我讲讲。好。
-
他们想做的是，让一个agent去优化一个编码agent。
-
所以有一个元agent在通用编码任务上优化一个编码agent。
-
而那个编码agent本身也是做优化的agent的一部分。
-
在他们那个例子里，只有两层。
-
有一个agent在优化另一个做编码的agent。
-
而在我们的情况里，有三层。
-
有一个外层循环的agent。
-
有一个内层循环的agent。
-
这两个都在做外层研究。
-
还有另一层，就是下游任务。
-
其中有些其实就是harness工程任务。
-
我觉得Darwin-Gaudet machine这条线有意思的地方在于，更下面那一层，也就是任务层，其实包含了搜索算法的一个组件。
-
他们说，好，如果我在单元测试里改进这个组件，性能其实可以泛化回整个搜索算法。
-
对我们来说，我们的问题是，在这个范式里我们到底能走多远？
-
比如我们开始这个项目的时候，一直在想，好，我们应该优化整个自动研究系统的端到端性能，而我们的外层循环agent就是指向这个目标的。
-
所以记住，Weco这条推文反响真的非常非常好。
-
它有180万次浏览。
-
也有一些反对的声音。
-
比如，Jeff Clune，他是这个领域的传奇人物，他说，这怎么就成了递归自我改进的第一个证据？
-
那其他那些工作呢？
-
他引用了Darwin Godel machines、hyper agents，还有他们自己在Recursive做的关于迈向自动化AI研究第一步的工作，以及很多其他工作。
-
所以确实有一些反对的声音。
-
我的意思是，首先，我们之后会有一篇正式的论文，至少是第一个PDF版本，我们会在里面就meta harness优化这一整条线向学术界致谢。
-
对我们来说，我们关心的是系统的结果，而不是概念上的差异，尽管我刚才确实解释了一些概念上的差异。
-
对我们来说，我们关心的是它是否真的改变了递归自我改进的曲线，也就是研发工作的曲线。
-
我们认为这是第一个证据，表明对于一个能够持续自我改进的完全自主系统来说，这条曲线真的开始被改变了。
-
Jeff更多是从概念层面来看这件事，比如存在一些自指循环。
-
当然，我们并不是说这个元优化想法是我们发明的，它可以追溯到二三十年前。
-
但我们确实看到了这种“意大利面式搜索”的好处，因为里面能找到大量的金子。
-
但这件事会怎么发展下去呢？
-
你觉得我们会不会找到某种……
-
系统会自己学会压缩那个搜索空间，然后变得快得多？
-
而这一定是件好事吗？
-
我个人认为这其实是两个有点正交的问题。
-
我觉得搜索空间，也就是维持一个好的抽象，并不一定会缩小搜索空间。
-
如果一个智能体足够聪明，它应该能够跳出当前的抽象，或者稍微改变它。
-
而生成非常复杂的代码，我觉得它会把搜索引向更低层次改动的方向，这不一定是一件好事。
-
但这里有我的人类偏见，比如拿我们手写的代码和生成的方案相比，我总是更偏爱自己的代码，但某种程度上，它确实不如生成的方案好用。
-
我们来聊聊奖励黑客吧。
-
你其实在研究奖励黑客方面有很深的背景。
-
对，那其实是Bingchen Zhao做的工作，他是meta的成员，在做LRM speed running。
-
他其实和Ming-Chi一起合著了第一项工作，他们在里面把自动研究应用到了，我记得是Nano-GPT上。
-
实际上还被Andre Capasi转发了。
-
对，他后来在这里做过实习，现在刚刚全职加入了Weco。
-
而spec bench是他在实习期间做的工作。
-
当时我们意识到，reward hacking是自动研究智能体的一个大问题，因为它在GPU内核工程这类任务上尤其严重，
-
智能体总能想出一些复杂的方法，让单元任务的表现好得多。
-
可当你把这个内核部署到模型真正的端到端推理里时，
-
性能反而变差了。specbench就是把这一点外推到更通用的软件工程上，我们沿用了在GPU内核上发现的那套协议，比如我们维护一个公开的
-
集合，它更像是软件系统的单元测试，还有一个留出集，我们在上面测试智能体生成的软件在那些单元任务组合上的能力，
-
就像模拟真实世界的使用情况。
-
那篇论文得出了一系列有意思的结论。
-
第一个有趣的发现是，智能体运行的时间越长、代码库越复杂，它表现出的reward hacking率就越高，
-
这算是意料之中，因为代码库变得越复杂，智能体搞reward hacking的空间就越大。这是第一点。
-
第二个有意思的地方是，公开集上的表现在不同模型之间相当一致。
-
所以如果你用更小的模型，配上自动研究框架做同样的任务，它也能达到同样的公开分数。
-
但在我们的测试里，更大的模型总是有更低的reward hacking率。
-
所以它生成的解决方案泛化得更好。
-
但在RSI那项工作里，大模型不容易搞reward hacking这个倾向，是因为那种多智能体的机制吗？你知道，就是，对，有个监督智能体。
-
还是说仅仅是因为模型更大？
-
是因为机制。
-
所以对于内循环智能体，我们只是把模型固定住。
-
而外循环智能体设法发现了各种不同的机制，来防止同一个模型搞reward hacking。
-
所以这可能相当危险，因为就在我们录制这次采访前不久，发生了著名的OpenAI和Hugging Face事件，他们当时在跑一个内部的黑客测试，有大量的智能体，结果这些智能体逃出了沙箱，还黑进了Hugging Face的服务器。
-
按照OpenAI的说法，这个测试的目的本来只是得到某些问题的答案，结果这些智能体自己决定，哎呀不行，我觉得黑进Hugging Face的服务器是个好主意。
-
会不会有更好的工具来做这件事？你明白我的意思吗？
-
我感觉这个问题正在急剧恶化，我自己都注意到了。
-
好，我觉得OAS那个案例相当戏剧化，属于新型的reward hacking行为。
-
我们看到的是，在可检测的reward hacking上，新模型其实越来越好了。
-
但因为能力前沿也进步得这么快，有些reward hacking行为按照以前的协议根本检测不出来。
-
我觉得未来我们只能不断演进检测协议，才能捕捉到这些新出现的reward hacking行为。
-
而且我觉得这个责任主要应该在模型、模型开发者这一边，不过在harness这一层，开发者如果愿意也可以加一些额外的防护栏。
-
对，我想你们那篇RSI博客文章里其实就有一个例子，有一段代码让人看不懂，你们以为是在reward hacking，但其实并不是。
-
对，这个挺有意思的。
-
基本上它做的就是给我们的评测脚本写了一个巨大的monkey patch。
-
一开始我们想，好吧，这肯定是在reward hacking。
-
你为什么要去改评测脚本？
-
嗯，但最后我们发现它其实只是在修一个bug。
-
嗯，而且，呃，不过从某种程度上说，呃，我觉得，呃，人类要检测出这些reward hacking会越来越难，因为智能体的行为变得太复杂了，很多开发……
-
瓶颈转移到了理解智能体生成的东西上。
-
我觉得应对这些问题的方法之一，就是定义一个好的抽象，而不是试图去理解所有代码，就像以前开发神经网络时，我们不会试图去理解所有的方式，
-
尽管这方面也有进展。
-
但总的原则是，我们定义一个好的输入输出契约，定义一个好的方式来衡量它的行为，
-
既包括泛化能力，也许还包括更复杂的分布外泛化。
-
我觉得这可能就是未来软件工程师和智能体生成的代码一起工作的方式。
-
大家都知道，我是个特别热衷于开放式探索的人，受《Why Greatness Cannot Be Planned》以及这个领域很多其他人的启发。
-
基本上，这意味着如果你只朝着一个目标做爬山，你就会对路上那些有意思的垫脚石视而不见。
-
所以这是个挺有意思的情况，对吧：如果你盲目追求单一目标，你还能在路上捡到那些有意思的垫脚石吗？
-
也许你能捡到，但它们是能带来分岔的垫脚石吗？
-
也就是说，你是不是戴着眼罩，实际上没法发现那些可能有创造性、能把你带进搜索空间全新区域的有趣新路径？
-
这又是个好问题。
-
而且如果我们想展开说，这就是个无底洞。
-
我觉得从开放式学习的角度来看，我同意我们目前的系统大概不具备收集垫脚石的那种特性。
-
当然，这里还有一整个全新的改进领域。
-
在我看来，收集垫脚石这种行为，需要你有一大批任务。
-
当你只针对单个任务做优化时，如果考虑效率，那总是贪心地爬山更好。
-
其实在八天自我改进的过程中，
-
外层循环尝试注入了各种各样的多样性搜索方法，但都没有真正提升效率。
-
我觉得这是意料之中的，因为我们只是从零开始优化单个任务。
-
但如果你有一大批任务，有时候你会在收集一些有意思的碎片，
-
比如从某个任务里得到的原始想法，虽然它没有提升当前任务的表现，但你可以把这个想法带到未来的任务里，而这其实是我自己对有趣性或开放性的定义：
-
一个想法、一个对象或产物，如果它既新颖，又对更大一批任务有用，那它就是有趣的。
-
显然有两种做法。
-
比如你可以试着针对所有任务来优化这个框架，或者你找一个任务，只针对那一个任务来优化框架。
-
对我来说，框架工程里，大部分有意思的部分其实都在后面。
-
我想说，如果你能自动调优这个框架，那几乎就是后训练的延续。
-
所以这也把话题连回到很多人对框架工程的抱怨上。
-
就是，哦，我设计了一个框架，但后来出了个新模型，它好像把这个框架里的所有想法都吸收进去了。
-
但有意思的是，没人对后训练这么抱怨。
-
比如，你会指望 GPT-4 那代的后训练能泛化到 GPT-5 吗？
-
没人这么问。为什么会这样呢？
-
我觉得是因为过去框架工程基本靠手工，而且不太能随算力扩展。
-
所以人们希望框架花几个月设计出来，就能泛化到下一个模型，但这其实根本不成立。
-
现在我觉得情况变了不少，框架可以自动设计了。
-
同样地，你花两三天基于新模型调优你的框架。
-
它不再像以前那样要靠人力工时来搭建了。
-
我确实有这样一个观点：很多知识是路径依赖的，很多人批评用大语言模型做研究的人，说你把信息抽离了它的语境，你不理解它为什么会出现，
-
所以这也是为什么需要一些启发式方法，因为不是说你直接说一句用 UCB 就行，得有一套框架来解释你为什么该用它，然后这个大语言模型在自主系统里才变得连贯。我对那些自动研究系统的理解是，就现在而言，
-
它们是不是还在试图重组已有的想法？
-
只是重组这些想法并测试它们的吞吐量极高。
-
某种程度上，那些语言模型并不深入理解这些想法从何而来，也不理解我怎么能利用这些想法被发现的过程来设计下一代算法，比如
-
以一种非常有创造性的方式。
-
不过我们发现的是，当你让模型想出点新东西时，它总是只修几个条目。
-
不过我在想，这是不是更多是因为我们基本上没有持续学习，我们只有语言模型的单个实例。
-
它非常集中化。
-
所以，也许那些想法，一开始你提示它的时候，那些想法可能挺有意思，但如果每个人都反复看到同一个想法很多次，那它就变得没那么有意思了。
-
而且我确实觉得，如果我们不解决持续学习这个问题，那这个问题可能就解决不了，因为对人类来说，每个研究者都有自己独特的、像神经网络权重一样的东西，而作为整体，人类能提出
-
很多不同的创造性想法，我觉得这个想法池作为研究社区来说是非常有价值的。
-
跟我说说这个parameter golf的事吧。
-
我记得大概两三个月前，OpenAI办了一个招聘挑战赛，他们想让很多研究者参加一个训练小型语言模型的比赛，
-
限制在16兆字节以内。
-
对，我们给这个比赛提交了一个实验性的harness，一个自动研究harness。
-
然后那个智能体跑了大概22天。
-
最终它做出了七项记录，被OpenAI接受了。
-
而最好的个人贡献者只做出了三项。
-
所以这也是我们发现的一个时刻。
-
这个自主系统可以如此强大。
-
它不只是爬山、刷一个基准。
-
首先，OpenAI接受了那些PR，其次，那么多人类研究者建立在那些AI智能体生成的PR之上，这对我们来说非常着迷。
-
因为某种程度上，AI智能体生成的知识只有进入人类创新的谱系里才有用。
-
而且我们认为这其实是人机协作的一个沙盒。
-
但里面有内层智能体，然后还有外层的搜索，实际上是在进化那个做这件事的harness。
-
而这看起来像是一个相当单调的过程。
-
对，外层循环其实是固定的。
-
而且我们希望这个内层循环的搜索策略能够泛化到外层循环。
-
我们确实试过。
-
我们从第15步开始重放了整个搜索过程。
-
一般来说，我们会跑大约100步。
-
在第15步，我们用原始的外层循环，然后把它和我们找到的最好的智能体——也就是前50步里找到的内层循环智能体——做比较。
-
我们发现的是内层循环第47步，我记得是。
-
最终它收敛得比之前的外层循环稍微快一点，但最终找到的解决方案性能差不多。
-
所以这也是为什么我们没有声称达到了第二级，呃，递归自我改进，也就是改进者成功在循环中提升了自己改进的能力。
-
那么这一切是否意味着人工超级智能马上就要到来了？
-
我不觉得会是这样。
-
就像，呃，即使你达到了递归自我改进，它也只是逐渐地让曲线弯一点。
-
就好像，好吧，即使你有一个GPT 3.5，它是个非常聪明的聊天机器人，但它不会成为能解决所有问题的AGI。
-
研究中仍然有很多环节需要人类参与，包括定义好的抽象、定义什么是好的，本质上就是定义评估标准以及附在评估上的约束。
-
第三个是提出创造性的基本构件，Aiden参数高尔夫竞赛。
-
我们仍然发现，这些创造性的基本构件大多其实来自人类。
-
很高兴能请你来上节目。
-
谢谢你邀请我。