John Schulman 等三位研究员辩论：递归自我改进还有多远
点播放，字幕跟着声音走
Subtitles follow the audio
逐句文字稿
点任意一句，从那里开始听
正在加载字幕…
-
今天我要跟三位AI研究员朋友聊聊，每次跟他们聊天我都能学到很多，而且他们恰好都在某种程度上比较开放的实验室和公司，所以你们可以真正公开地谈论这些事情。
-
跟我一起的是Baron Milic，他是Zephyr的CTO，这家公司正在开发开源模型。
-
John Schulman，他是Thinking Machines的首席科学家，之前是OpenAI的联合创始人，主导了RLHF的工作，那项工作最终催生了GPT，还有Charlie O'Neil，他是Base 10的模型训练负责人。
-
我的第一个问题是，如果我们到了2036年，已经过去10年了，但我们并没有几十亿个疯狂的超级智能到处跑、彻底改变世界，那最可能的原因是什么？
-
排除掉那种外部的政治冲击，比如打仗了，或者他们禁止AI之类的，那最可能的技术原因是什么，导致2036年没有变成一个疯狂的异形超级智能世界？
-
我的意思是，我的理由大概就是，肯定是那种经典的“X越多越……”悖论之类的，对吧？
-
就是，我们看到的是，你知道，我们以为AI如果能做这个，那就会非常厉害，对吧？
-
比如如果它能解这些很难的数学题，如果它能下棋赢，等等等等。
-
然后它把这些都解决了，结果却没有那么大影响。
-
显然它还是有一定影响的，但不是所有方面都这样。
-
就好像如果这种情况一直持续下去，始终没有出现那种真正的泛化的火花。
-
我觉得那可能导致的结果就是，AI只是在人们放进基准测试、放进环境里的所有东西上表现得极其出色，但仍然存在某种持续的“模拟到现实”的鸿沟，莫名其妙地挡住了所有东西。
-
我觉得这种情况不太可能。
-
我觉得我们从自己的实践中其实已经看到了这种泛化。
-
但如果泛化加元学习真的难到离谱，再加上我们又没解决持续学习，就是超级难、根本不可能。
-
那这种情况下，这大概就是我的默认设想了。
-
对，我同意这个说法。
-
人类现在相对于模型有很多优势，每次新模型出来，它会在某些方面追上来。
-
但最终你会被模型比较弱的那些地方卡住，就是它判断力更差的地方，或者模型没法很好地自我检查。
-
对，所以有一个不断重复的循环，人们会想，新模型一出来，大家就被震撼到了，说这就是了，这就是AGI，但用了一阵子之后，大概过一个月左右，就开始觉得它挺蠢的。
-
所以这个循环可能就这么一直转下去，很难预测它到底会重复多少次。
-
就像现在，你不会看到能力上的爆炸式增长，因为你在做研究和工程的时候，瓶颈还是卡得够死，就算模型能写的代码比一个人多得多，也不会让你生产力提高一百倍。
-
但没错，所以也许这种循环会比我们预想的更多。
-
对我来说，这就像是个问题：芯片上能有的那个学习器的全局最优，离transformer加RL，也就是现在这套配方，到底有多远。
-
所以我觉得，人们想象的是，一旦你有了一个在AI研究上比所有人类都强的智能体，哪怕它只比所有人类强0.1%。
-
那么，你能并行跑几十万个、甚至上百万个这样的智能体，而且能跑得快得多，芯片还会加速，这个事实。
-
这会压过其他所有的瓶颈，最终你就会撞上这种非常快的起飞，伴随着递归自我改进。
-
我可以想象，如果我们沿着现在这条轨迹继续走下去，用那个范式，基本上就是自注意力、RL、把RL环境不断规模化，那，我猜，如果你想想摩尔定律发生了什么，对吧，我们有过这么一条非常，
-
漂亮的直线，而且它维持了非常非常长的时间。
-
但为了维持那个缩放定律，得发生那么多离散的、不连续的创新。
-
同样的事情在大语言模型身上也差不多发生了。
-
就像，我们有过这个预训练的缩放定律，然后它差不多，你知道，开始碰到收益递减了。
-
然后我们想出了RL，把它解决了。
-
然后我们又得到了一条新的，你知道，收益递减曲线去撞，让它继续看起来像一条往上走的直线。
-
所以，如果它需要再来一次那样的不连续才能解决，我不确定，现在这种用这些RL环境训练LLM的方法，甚至是针对RSI的RL环境，能不能发现那个不连续点。
-
如果不能，我们可能就会撞上这条渐近线，就像……
-
抱歉，但你觉得不连续会比2012年以来的任何东西都更难吗？
-
如果我们知道那个答案，我们差不多就有能力把它实现出来了。
-
但也许我们应该区分一下，一种不连续是给当前范式做加法。再说一遍，它是累积的。
-
还有某种超越RL的东西，是我们必须去发现的。
-
也许它们有能力把那些点连成一条直线。
-
或者再说一遍，我们离全局最优到底还有多远？
-
我们是不是得回过头去，把梯度下降和神经网络整个都扔掉？
-
而且我不认为，如果你继续把当前这个范式往上扩，一个大语言模型，不管你跑多少个大语言模型，都一定能发现那个东西，如果它离得太远的话。
-
是啊，唯一真正的希望，就是深度学习根本没法把我们带到一个至少能主导人类研究和人类发展的AI，包括人类提出新范式之类的能力。
-
或者也许人类也永远不会发现下一个学习架构。
-
但就人类最终有可能发现它这一点来说。
-
但看起来就是，我也不知道，如果你就看看从2012年到现在发生的这些进展，然后你就把它继续往下推。
-
我的意思是，我知道它背后是靠大量的算力扩展之类的东西撑起来的，但如果它就是到不了至少能在研发上主导人类的地步，那才奇怪呢，尤其是接下来几年，Ryan Greenblatt最近上了这个播客，
-
他提出了这么一点：你可以想象，随着AI越来越强，能在模拟上取得进展，而这些进展会激励它们不仅把AI研发做得更好，而且总体上把科学做得更好。
-
所以这是所有实验室都在瞄准的东西，很多创业公司也在瞄准。
-
或者另一个帮助直觉的例子是，如果你看80年代以来国际象棋机器人的ELO分数，ELO随时间基本上就是很线性的增长，但有一个巨大的不连续，就是它们跨过人类区间的时候，从人类专家总能赢AI，变成人类专家永远赢不了AI，
-
随着ELO这种线性增长发生，你可能会想，我同意你的观点，到目前为止，AI的能力在世界上的最终经济影响还没那么大，但那是因为它们相对人类的ELO在缓慢上升。
-
是啊，我的意思是，我同意，这会非常，我的意思是，这件事不发生的唯一方式就是，像你说的，不知怎么地就在那之前渐近到平台期，基本上，因为在我看来我们已经相当接近开始跨过人类ELO分数的地方了，所以我们需要在那之前渐近到平台期，这是唯一的办法，
-
在你设想的这个情景里，不知怎么地我们就坐在2035年，一切都照常，我觉得要让这件事发生，就是这样。
-
另一个唯一的办法就是对AI有某种剧烈的监管。
-
其实，我觉得这才是这个情景最可能发生的方式，而不是技术上的那个东西。
-
是啊，我觉得研究有不同的种类。
-
有一种是自动研究风格的，目标已经被非常清晰地指定好了，你就是在优化那个目标。
-
我觉得大家脑子里想的都是，如果我们继续沿着这条路走，让预训练损失降下去，让我们自己的环境，那些东西升上去，那就会带来进步，但就像你知道的，也许Ryan说的是那种开放得多得多的科学，那种是需要的，为了像
-
范式转变，我们没法明确指定目标，AI也绝对没法明确指定那个目标，就像我们得非常非常小心地为这些东西指定目标，也许你的观点是，自2012年以来发生的那些突破的本质是
-
我们发现了，在2012年人们并没有这么说，或者我猜是这样。
-
我不知道，你们当时在场，我，至少John你在场，但我不在，我当时还在上小学，其实，John，我很好奇你那种，那种岁月沉淀下来的智慧，或者说那种当年在一线摸爬滚打出来的智慧，
-
但大概一个重大的突破就是意识到下一个token预测才是那个，就像你在2014年不会觉得nano GPT速通是值得去优化的东西，但现在我们已经进入了这个新范式，
-
你不会想到去在那上面做速通，然后让你们变得非常擅长那个，但也许还有下一个内循环值得去优化，而AI不会预见到。
-
然后还有一个外循环，比如收入之类的，最终应该会很强，但那是一个非常慢的外循环。对。
-
其实，我记得在OpenAI早期，我有一种直觉，就是仅仅最小化对数损失并不能让你达到智能
-
因为那些重要的部分在损失里占的比例太小了，会被噪声淹没。
-
所以仅仅用下一个token预测来训练一个语言模型，根本学不到你想让它学的那些有趣的东西。
-
我们需要设计更好的目标函数，把更多的重点放在重要的东西上。
-
你可以为这个提出各种各样的论证，你可以说，哦，人类大概不会去学怎么，就像我们不会去学怎么建模我们环境中的一切。
-
我们没法，大多数人没法，就像人们没法对他们看过的一个场景做出照片级的逼真复现。
-
所以一定有，我们一定需要一个更好的目标函数，但后来发现它就这么work了。
-
就像你指出的，内循环，即使在当前AI研究中，比如后训练基准之类的，也不一定能转化成用户喜欢的东西。
-
哦对，我是说，整个领域很大程度上依赖于泛化，而且很难预测你什么时候会得到泛化，或者什么时候会得到某种分布外泛化。
-
所以我们知道，如果你在你关心的任务上训练，你会做得更好。
-
但最重要的进展往往是那种我们根本没理由期待的泛化。
-
比如说，仅仅在这个非常朴素的下一个token预测目标上做预训练，就能泛化到各种感兴趣的任务，那些任务需要以某种深层的方式理解输入，
-
或者从预训练中学到某种非常罕见、代表性不强的技能。
-
然后还有从这些可验证任务到不太可验证任务的泛化。
-
这也是一种泛化，你事先根本没理由指望它会出现。
-
所以这是个有意思的问题，因为有一种直觉推演是：你可能会看到某种奇点非常迅速地到来，甚至都不用去扩大那些不只是AI劳动力的AI进展投入，理由就是，在你跑的每一个实验之前——那都是七位数成本的实验。
-
你会花掉等量的算力在AI劳动力上，于是你就有了自动化的你们这帮人，花一个世纪去思考该跑什么最优实验、做小规模的消融实验、发展出整整一个世纪分量的理论，
-
甚至在决定跑什么实验之前，就一路回溯到深度学习之前，把实验设置得极其最优。
-
然后实验做完之后，你再花一个世纪去思考，分析到底发生了什么、下一个该跑什么实验。
-
嗯，我觉得你要是想得足够深，这些事里有些你事先大概就能预料到。
-
比如说，大概存在某种非常聪明的办法，能让你做一个小规模实验，从中建立起理论，而这个理论之后又能泛化到大规模实验上。
-
所以我会觉得，我们离研究能做到的上限还差得远呢。
-
而且我能想象这样一个未来：AI在做大量的分析和理论构建，
-
花掉跟实验本身相当的算力，去做各种各样的分析，围绕我们目前看到的东西构建理论。
-
我觉得当目标被明确定义时，这方面有非常具体的例子。
-
再说一遍，思考能做的，只是根据你形成先验之后得到的那些比特来更新你的后验。
-
光靠思考，你得不到任何新的比特。
-
但当目标被明确定义、而且周围就摆着这些数据时，我想在我们目前所处的这个范式里，会出现一次巨大的提速。
-
一个很好的例子是，如果你让一个AI去思考Kaplan缩放定律，这个AI到那时候就会注意到：哦，他们只是拿了这些中间检查点，没有把退火考虑进去。所以这是错的。它当时就能抓出这个问题。
-
那样的话，光是AI这一个观察，我们就能提前一年或两年，省下一两年的进展。
-
再说一遍，一旦目标被明确定义——比如降低预训练损失之类的——就有很多很多好例子说明，只要你多想一想，本来就能在你做过的事情上省下相当多。
-
比如mu p，还有学习率如何随模型规模缩放，以及意识到模型宽度在其中也很重要。
-
我感觉你真的能反推出很多这类东西，砍掉很多低垂的果实。
-
所以如果我们的目标只是最大化当前这个目标函数，我能想象有10倍的提速，但我看不出这怎么能泛化到一开始就找出正确的目标函数上去。
-
光靠想并不一定能让你一开始就找到正确的目标。
-
我是说，对，我觉得这确实是任何从当前AI实现快速递归自我改进的关键问题。
-
就是，AI在学会自己的目标方面能泛化到什么程度？
-
因为要有任何形式的自我推动的自动化循环，你需要AI提出目标、优化它们、搞清楚这些、再提出新目标，而且这个循环在很长很长时间内都不能在任何一点上跑偏。
-
回到莫拉维克悖论，可能存在这样一种莫拉维克悖论的情况：我们觉得这种自主性和自我封装——能自己想清楚该做什么然后去做，并且这个循环超级简单——因为我们一直都在做这种事。
-
显然，进化需要创造出能长时间独立生存的生物。
-
这可能就是某种出于某种原因对AI来说特别难的东西，就像运动控制对AI来说特别难一样，而数学虽然对我们来说超级难，对AI却超级简单。
-
我不知道，时间跨度在增加，这不就说明那是……你会这么想，对，没错。
-
我是说，这是另一种可能性，但是，我同意，这没有明显的证据支持。
-
事实上，你知道，我们现在的智能体超级持久，做这件事相当容易，这某种程度上是反对这一点的证据。
-
但是，你知道，这可能就是，我们之所以没有看到那种立即起飞的原因之一，就是如果这件事很难的话。
-
如果你回顾从2012年到现在，或者从你开始做研究到现在。
-
从那以后发生的所有创新中，包括纯工程的、纯概念的，哪一样看起来会是人类在AI完全自动化AI研发之前最后要做的事情？
-
大概就是迭代式地提出正确的问题。
-
比如如果你能让AI做任何实验，但你得决定做什么实验。而现在我觉得AI在这方面跟编写实验代码比起来还差得远。
-
每当我们谈论研究，它们会提出一堆杂七杂八的东西，都是非常非常小的步子。
-
甚至从DeepMind那种“我们要通过让AI以超人水平玩游戏的来学习来解决智能问题”的路线，到像Radford这样一个普通研究员说“我要试着从非常广泛的数据中预测下一个token”。
-
然后即使Radford发现了这一点，也过了一段时间人们才决定扩大规模，因为我们必须想出缩放定律这个概念，以及你可以非常可靠地预测这些事情。对。
-
我会说，人类最后的工作，或者说会持续最久的人类角色，就是定义目标、决定我们到底想要什么。
-
我想说，人类最后的工作，或者说能撑最久的那个角色，就是定义目标，决定我们到底想要什么。
-
所以沿着这个思路，像决定AI、助手应该怎么表现，或者什么叫有帮助，或者我们做人类反馈强化学习时的目标是什么，就是这类事情，
-
然后后面定义宪法和模型规范又是另一件。
-
而且我觉得就算AI能把所有技术活儿都干了，我们还是得做很多这方面的事，得决定我们到底想要什么。
-
对齐就是最后的工作。
-
对，对齐算是答案，但对齐本身也可以拆成两部分：一个是把目标说清楚，或者说搞清楚正确的目标应该是什么。
-
然后才是真正去实现或者优化你定下来的那个目标。
-
我觉得第一件事短期内是不会消失的。
-
而且你想想一个后训练团队，为什么需要那么多人，就是因为有太多不同的领域，你都得去搞清楚模型应该怎么表现。
-
而且这事儿没法自动化，或者说很难整个自动化，因为总得有人去想，模型在这个领域应该怎么表现。
-
Jane Street在2025年初开始用Antithesis来测试他们的软件。
-
他们对这个产品印象太深了，以至于决定投资这家公司。
-
我最近跟Ron Minsky聊了聊，他是Jane Street技术组的联合负责人，我问了他Antithesis到底是怎么接进去的。
-
我觉得Antithesis最让人印象深刻的地方是，我们开始用它的时候，是在一个做高保障软件的团队里，已经非常小心了，但它还是能揪出那些本来特别难发现的bug，这很重要，一方面它让这些系统
-
更可靠，另一方面也让做这些系统的团队能跑得更快。
-
随着代码生产越来越自动化，这一点越来越重要。
-
我觉得总的来说，随着我们越来越多地用agent，你遇到的关键问题就是验证瓶颈。
-
就是人得花时间去看代码，然后判断，这东西你真的想放进生产软件里吗？
-
而能让测试变得更好的工具在这上面就特别有用。
-
它们能缓解验证瓶颈，让你能做完更多事、跑得更快，因为你能更有信心，agent生成的代码确实没有引入新问题。
-
想看看Antithesis怎么融入你的开发流程，就去antithesis.com斜杠Thorkesh。
-
那为什么模型提供商这边没有出现大规模的整合，这背后的逻辑是什么？
-
这里头指向集中化的因素实在太多了。
-
是，如果你把时间拉长到几年来看，会不会有什么东西能阻止这种趋势？
-
嗯，我觉得蒸馏是抵抗集中化力量的主要因素，因为基本上任何能通过RL学到的东西都能很容易地被蒸馏出来，因为它就是很少的比特。
-
它是那种你能从少量数据里就学到的东西。
-
所以如果你能从模型里拿到展示某种行为的轨迹，你就能很容易地把它蒸馏出来。
-
所以我觉得蒸馏是抵抗集中化的因素之一。
-
另外，我的意思是，也有一种可能，就是会出现公司专属的模型，可以从部署中不断学习，让一家公司持续改进自己的模型。
-
而这样的系统，可能由现在这几家寡头模型提供商来提供，也可能由某家目前还比较小的公司来提供。
-
但我觉得那会稍微改变一下游戏规则。对。
-
我还想指出，持续学习并不会阻止蒸馏，对吧？
-
就算你的模型每天都在进步，别人也可以每天都在蒸馏它。
-
所以这两个循环可能就是以同样的节奏在跑。对，这说得通。好。
-
所以就是复制模型的行为。
-
我猜你自己得知道什么样的提示分布是对的，才能拿到相关的模型行为。嗯，对。
-
如果只是用监督学习来蒸馏，提示分布是极其重要的。
-
所以，蒸馏一个模型是非常不容易的，哪怕你能完全访问它，能拿到思维链和所有东西。
-
是的，要把它所有有用的能力都蒸馏出来是很不容易的，因为你得用某种东西去提示这个模型。
-
你得用真实的提示去提示它。
-
你得有一个非常广的真实提示分布。
-
所以，最近出现的一个情况是，一些中国公司可能正在用这些路由器服务，这些服务就是为了让中国境内的人能用上美国的前沿模型，否则这些模型在中国是被封锁的，
-
但是有各种路由器或者代理服务，让中国境内的人能用上这些模型，主要是用来写代码，而这些路由器服务在收集和出售一部分数据。
-
所以我觉得这对蒸馏来说是一个非常有用的数据集，因为它给了你完美的提示分布。
-
我觉得在这件事上，AI能帮上很大的忙。
-
如果你真的去看前沿的流水线，或者看那些中国模型在论文里实际用的东西，里面有很多人工，或者他们从某个地方拿到种子提示，那是人工和这类数据的结合，
-
然后他们用自己现有的模型或者其他前沿模型，从这些种子提示里合成出大量的覆盖面。
-
所以这就像是，你可以把收集提示分布和创建环境这件事里很大一部分都自动化掉。
-
这就像人类需要提供的信息量越来越少。
-
就像模型变得越来越好，对吧？
-
哦，抱歉，但看起来这仍然是你的瓶颈，就像你得有一个有用户的服务，或者用户会经过这里，所以他们不一定是……我是说，对，这显然非常有帮助。
-
但理论上你可以直接去想用户想要什么，就像没有人……关键在于我们不需要……用户说给我做一个这样的应用。
-
哦，那个不行，我其实想让你做这个新功能，但其实咱们退一步，做另外这件事，而捕捉整个这条轨迹就是……或者说，如果你本来就能做到这一点，那你就直接有RSI了。对。
-
归根结底，如果你有这个完全自动化的循环，那基本上就是RSI，对吧？
-
AI在做决定，数据在做决定，训练，那就是这个循环。
-
但没错，这取决于你需要多少人类信息。
-
到了某个时候，如果你只是说，我想要看起来像这样的轨迹，你把这个提示给模型，模型就能给出一个相当不错的近似。
-
但如果你想要把我变成一个非常厉害的政治家，然后就直接凭空预判呢？
-
参议院大厅里的一场讨论会怎么进行之类的？
-
我就是觉得会有很多事情是……讽刺的是，我觉得这对蒸馏者来说其实比前沿实验室更容易，对吧？
-
因为蒸馏者只需要说，我想要一个厉害的政治家。他们去找前沿模型就行了。
-
前沿模型已经知道怎么当一个好政治家了，所以它直接就能生成那些轨迹。
-
但如果你真想造出第一个能做这件事的模型，你就得想办法搞到政治家每天到底在干什么的数据，然后把它建起来。
-
所以其实说“我想要个这样的东西”，然后让AI生成十亿个变体，要比从零开始真正造出这个东西容易得多。
-
我觉得基于这个观察，你其实可以做出一个非常具体的预测，就是中国那些实验室手里有这种路由数据。
-
我觉得最初引出这个想法的是，我当时说，不觉得很奇怪吗，Sonnet 5和Opus 5几乎客观上是比GLM 5.3、Kimi K3更差的模型，尽管它们不仅能做蒸馏，还能从Mythos那里做logit蒸馏。
-
所以这里的反驳是，好吧，提示词的分布真的、真的非常重要。
-
你得看到用户在实际做什么，才能把这些行为和东西蒸馏进去。
-
我觉得由此得出的预测是，前沿实验室现在在强化学习环境上不一定有多大优势，甚至可能根本没有。
-
因为没错，用户分布对通用行为之类的确实重要。
-
但衡量一个能力最好的标准，是你在前沿做出来的那些极其、极其困难的强化学习环境。
-
所以如果你作为Anthropic能接触到那些强化学习环境，又能接触到逻辑蒸馏，结果还是做出了一个更差的模型，那也许就是——那真实世界的部署比环境更重要。对。这真的很有意思。
-
但话说回来，他们一开始就得先激励出那些能力，在Fable或者前沿模型里。
-
奇怪的是，他们没法再用一个更小的模型之类的把这些能力重新激励出来。
-
也许，也许我们只是处在这个奇怪的、有点像恐怖谷的阶段，你知道，就是其实太想去复制那个前沿模型，比如学生和老师之间的差距还是别的什么，就是太大了，我觉得人们拿Opus说过这一点，就是说，
-
Opus 4.6和Opus 5的区别在于，Opus 5真的感觉像是有个AI当裁判，在检查它做的每一件可能的事，所以它才用那么多token，它会去琢磨所有这些事情，
-
但它不一定有Fable那种大模型的嗅觉，知道什么时候该停下来，或者哪条路值得走，之类的。心有余而力不足。
-
对，我会提出一个稍微不同的假设。
-
我想说，你能创建的环境有几个不同的维度。
-
一个是难度，另一个是真实度。
-
创建大量困难的环境相对来说比较容易，就是去做一个复杂得多的任务，或者做一件需要更多巧思的事。
-
你可以说这就像是基准测试的分布，因为很多最著名的基准测试都只是做一些非常难的、像谜题一样的任务，而且很容易验证。
-
然后还有真实度这个维度，你希望模型在真实的编程智能体场景里表现好，就是那种要跟人来回多轮交流、有多个目标的场景。
-
我想说，那些第一次塑造模型行为的实验室，得同时往这两个方向推，才能得到好的模型行为，
-
你得在真实度这个维度上真正下功夫，要有评分标准或者某种人类反馈来指导你用的奖励函数。
-
但我觉得如果你只是很天真地去做蒸馏，最后就只是在刷榜那个分布上跟老师模型对齐而已。
-
但如果你没有足够多的环境去真正锻炼模型在这些更棘手的真实场景下的能力，那你就没法把这些能力传给你的学生模型。
-
我觉得可能正在发生的一件事是，大模型从那些棘手的、狭窄的任务泛化到这些更真实的任务上，泛化得更好。
-
所以如果你有一个非常好的、真实的提示分布用来做蒸馏，你就能很好地匹配大模型。
-
但如果你只有这种容易验证的任务的分布，那你能在所有基准测试上匹配大模型，但在更广的分布上就表现更差。
-
这甚至可能解释一些Anthropic的小模型的情况，比如Sonnet 5，不过很难准确预测他们对这些模型做后训练时到底在干什么。
-
也可能是因为他们一直在改后训练的流程，在某些模型上就是有几件事搞错了，某个参数调得太高，弄出了一些人们很不喜欢的怪毛病。
-
所以后训练真的很容易在某个方面搞砸，而且这种问题在基准测试上还看不出来。
-
我的意思是，还有一个很基本的点，就是前沿AI实验室都是从大数据公司买数据的，而中国人也可以从数据公司买同样的数据。而且他们确实在这么做，对吧？确实在这么做，没错。
-
有很多人对此很不爽。
-
但如果他们有一模一样的数据，能买到同样的数据，那他们也能做蒸馏。
-
这意味着跟上其实挺容易的。对。
-
我还有一个问题是，第一批能够自动化AI研发的模型，到底会是怎么训练出来的？
-
因为有一个玩具版本，就是Ryan说的那个，你直接拿GPT-8，
-
去训练GPT-3规模的模型，让它们特别擅长那种内循环式的挑战，比如打通需要持续学习的电子游戏，或者用最少的算力达到某个损失值之类的。
-
但John，我觉得你有个很有意思的观点，就是实际中可能并不是这么发生的。
-
所以我很好奇，对，等到你真的有了能够自动化研发的EI时，它们大概会怎么训练？
-
对，我觉得我们大概会把两种方式结合起来，一种是从人类反馈里学习，吸收研究者的品味，另一种就是大量创建练习环境，里面包含做多步骤研究项目。
-
所以我觉得实际中人们会把这两样结合起来，然后每一轮迭代就修补上一轮里看起来最坏的那个地方。
-
所以研究者会大量使用这些AI，然后我们会注意到它们有一些一贯的弱点。
-
然后这些弱点要么通过收集人类反馈来修补，要么通过创建环境来修补。对，说得通。
-
也许可以这样想，就是我们把这条传承线往回退多少，然后从那里开始自我对弈。
-
我觉得在极限情况下，你想象的就是直接给它们一块GPU，也许再给点神经网络之类的东西，然后说，好，想办法训练出一个模型来完成这个特定任务。
-
但现在实际的做法是，我们一直走到这条传承线的最前沿，然后说，好，这些是Anthropic发现的bug。
-
他们最近几个月的训练栈会把这些变成环境。
-
你需要训练才能在前沿上变得更强。
-
所以显然你就把这条传承线之前所有的历史都锁死了。
-
但你可以想象一个世界，在那里你退回到GRPO之前之类的。
-
然后你有一些环境，试图让它去发现，最好的形态来对模型做RL。
-
然后也许你可以越退越远。
-
但我觉得我们在算力上仍然会瓶颈得厉害，所以人们会一直待在前沿，基本上就是把bug和自上一个模型版本以来发现的任何改进拿出来做差分，把它们变成训练环境。
-
这对在模型代际之间拥有不会偷来的新数据也很有好处。
-
再说一次，这基本上就是AI实验室内部的持续学习，把过去三个月的AI研究进展通过环境和RLHF之类的东西蒸馏回模型本身。而且这确实是蒸馏，对吧？
-
这可能就是我们中有些人觉得它是渐近的原因，因为你永远只是在试图拿到过去三个月的进展。
-
当然，这些进展也有AI在贡献，但它仍然有人类在环里，感觉就像你一直在一点一点地逼近人类研究者所发现和能做到的东西。
-
不过我想说的一点是，显然，如果你只是在轨迹上做蒸馏，你永远不可能超过它，但环境可以走得比人类能做的远得多。
-
设计一个没人能解决的环境非常容易，但AI显然还是可以去尝试解决它。
-
所以那就会是一条超越人类AI研究的路径。你有没有什么例子，比如在RSI方面，或者就像我们比人类速通玩家跑得还快那样？
-
对，我是说，我觉得尤其是在AI研究里，定义目标非常容易，就是那种，你知道，
-
你可以说损失得降到1.3之类的，现在没有人类能做到，但那是一个非常可测量、可验证的任务，如果AI做到了，那就太好了。再比如构建一个一亿参数的模型去打败《我的世界》，那可能太简单了，
-
但如果是个复杂得多的游戏之类的呢。
-
一亿参数的原始模型打败《我的世界》，我们居然说这太简单了，这不是很疯狂吗？
-
想象一下五年前你要是这么说。
-
不过我想说，很多研究并不完全是这样，不是那种在一个定义明确的目标上爬坡。
-
它更像是，我们对模型应该怎么变得更好有一种直觉，然后我们也有一些算法上的想法，看起来稍微朝这个方向走了一点。
-
所以，我们就设计一个任务，专门用来显示这个方法有没有生命迹象，看看能不能看到这些迹象，如果看到了，我们就可以做出越来越接近真实的任务版本。
-
对，它更多是由直觉引导的，然后内循环是为了引出或测试那个直觉，而不是测试本身带来洞见。
-
对，你不是在直接优化你最终关心的目标，或者那个实际的、生产上的目标。
-
它更像是你把目标稍微放松了一点。
-
你在说，对，我们在真实度这个轴上稍微放松一点，先找到一些真正管用的方法，然后等方法成熟一点之后再回到真实度上来。
-
然后还有一类研究更偏向于解释事物、发展理论，或者说，对，我们在机器学习里通常没有那种预测力那么强的数学理论，
-
但我们有很多更非正式的理论来解释到底发生了什么。对。
-
我是说，大概模型会在所有这些任务的某种组合上训练，有些会非常容易验证。
-
有些会是像L.M.当裁判，或者就是问人类，这个看起来合理吗？
-
然后你会设定，希望是这些都能泛化到那些更难的、更模糊、更不明确的任务上。
-
然后你希望的是，这些都能泛化到那些更难的、更模糊、更说不清的任务上去。
-
而且这在某种程度上可能确实会实现，但能不能泛化到那种程度——就是整个循环能变成自我封闭的、完全不需要人在里面——这还说不清楚。对，对，对。
-
也许我们退一步看。
-
在我看来，接下来AI研究的计划是这样的。
-
你觉得这能不能行得通，或者你同不同意这个描述，跟我说说。
-
所以，这个赌注就是，我们会在几百万个不同的环境里、几百种不同的领域里，把RLVR训练规模化。
-
最后涌现出来的会是一个智能体，它学会了这些基本技能，或者比基本更高一点的技能——比如能坚持、能在上下文里筛选信息、最终能端到端地优化跟其他智能体协作之类的事情，
-
而这样的智能体在上下文里会非常省样本。
-
你做过研究，关于怎么把上下文学习真正规模化、让它变得任意长，但你就是一直往上扩。
-
所以最后出来的东西，基本上就像一个随叫随到的远程员工，能顶一周或者一个月。
-
首先，你同不同意这是各家实验室正在下的赌注？
-
其次，这够吗？
-
基本上就是在拟像里、在数据中心里学会怎么学习，然后被部署到真实世界里。
-
但并不是真的从真实世界的部署里学习，只是从数据中心里的模拟环境里学这些元技能。
-
对，我觉得现在已经很难分清实验室的努力里有多少是直接奔着RSI去的，有多少是在做通用智能模型、好让它们能持续部署、赚收入来资助下一次大训练。
-
我觉得就后者而言，对，那大概就是他们下的赌注。
-
而且过去这几年这些环境往哪走，这个模式非常清楚。
-
我是说，Anthropic那一系列环境就是个很清楚的例子。
-
首先，我们就专注在编程上，我们要在这上面变得非常非常强。
-
然后我们从编程里得到的任务时间跨度——编程大概是就互联网上能拿来造环境的数据而言最容易摘的果子，比如他们自己内部的东西，可以拿来变成环境。然后我们就要泛化。
-
接下来我们要搞金融，真的就是那么多Excel数据和ARRA训练里那类东西。
-
然后呢，就是PowerPoint，就是这么一个长长的链条，像是整个劳动经济，而且这看起来效果非常好，很多其他实验室，甚至开源实验室，现在都意识到那个赌注下对了。
-
那这说明了什么？
-
我请Dario上播客的时候，我问他的问题是，如果你真的期望模型能像人一样在工作中学习，那你为什么要费劲把那些用PowerPoint之类的技能都烤进去呢？
-
你难道不就应该期望模型在部署之后自己就能学会这些吗？
-
所以是的，这有好几种不同的解释。
-
一种是，我们预期模型很快就能达到那个水平，但现在还没到。
-
那为什么不把这些技能摊销到模型训练里呢？
-
另一种是，我们并不专注于让它特别擅长广泛部署的工作。
-
我们只想让它特别擅长RSI。
-
而这只是我们获取收入的一种方式，好让我们能反过来投入到一个真正擅长做RSI开发的模型里。
-
然后呢，一旦奇点发生，最后出来的那个东西会非常擅长……
-
所有那些对当前这一代模型来说看起来像是瓶颈的事情。
-
对，John，我不知道你对这个有没有什么感觉，就是你觉得这些模型里为什么有这么多任务特定的知识，你怎么理解这件事。
-
如果路径是这种泛化的话。
-
对，我是说，如果模型在上下文学习方面足够好的话，那理论上你就不需要在金融上训练它们。
-
它们就能自己搞定，现场读完所有的书，然后搞清楚在相应的司法管辖区里怎么做所有事情。
-
对，而且你可以说，你需要做很多这种领域特定的训练，只是为了让他们更高效。
-
所以即使它们聪明到能现场搞清楚这些，你可能还是想做一堆RL，把这些直觉都烤进权重里，这样模型在运行时会更高效。
-
对，我会说在实践中，确实就是一个领域一个领域地来，试着在最高价值的领域里强化模型。
-
而且我会说，这就是模型为什么变得好这么多的答案之一。
-
就是因为模型提供方已经覆盖了很多高价值领域和最常用的技能类型。
-
我是说，我觉得另一件事就是，同时做这两件事其实没那么贵，对吧，因为模型本身就很庞大，从参数量的角度来说，它们完全负担得起把什么都学进去。
-
而且，很可能会有一些迁移，就算金融不是那种信息对RSI特别重要的领域。
-
光是那种通用的元学习——怎么判断什么重要、怎么培养品味、怎么做长周期的工作——这些本身就有可能是可以泛化的。
-
而且，世界上也没有那么多RSI相关的数据。
-
这东西挺难生成的，需要花很多功夫，如果你能把这些成本摊到别的数据上，从里面获得一些迁移，你本来就已经有海量的算力和巨大的参数空间了，
-
那为什么不做呢，更别说还有那种明显的商业意图，就是卖你的模型。这很合理。
-
哦对，我补充一下，我是说，有一个问题是，现在这种sim to real的范式会不会永远都是主流。
-
基本上就是，你先看现实世界的任务是什么样的，然后你试着造一堆可以在数据中心里模拟的环境，在上面做RL。
-
我觉得，显然这个做法非常成功，但它也有很多弱点，因为很多东西就是很难模拟，尤其是那些涉及跟一大堆真人实时互动的。
-
对，所以就有个问题，就是SIM2REAL会不会永远都是主流框架。
-
我觉得只要样本效率还比较低，SIM2REAL就必须是主流框架，因为现在你需要跟人类进行成千上万次交互，而没有人会坐在那儿，去应付这个，基本上就是待在RL训练的循环里。
-
所以我们现在只能靠模拟来获得需要的样本，但显然如果样本效率大幅提升，你就会预期从部署中学习会变成其中大得多的一部分。
-
不过你还可以做别的事情，比如你可以做离策略学习，这样你可以把所有轨迹都拿过来，即使不重新模拟所有东西，你也有可能从中学到一些东西。
-
Jane Street刚推出了一个新比赛，是他们迄今为止最有野心的一次。
-
设计一个协议仿真ASIC。
-
基本上，如果你有一块想测试的芯片，你可以把它连到这个ASIC上，然后这个ASIC会模拟真实的流量。
-
这样你就能看到芯片怎么响应，而不用把它插到一个实际运行的系统里。
-
Jane Street想要的是灵活的、通用的设计，而不是单一协议的仿真器。
-
我跟他们聊的时候，他们建议我先从实现三种据说非常常见的协议开始，UART、SPI和I2C。
-
Jane Street还提到，他们希望更有野心的设计也能搞定低速USB和以太网，以及任何其他能考验你芯片特定架构的协议。
-
重要的是，你的设计应该是可重新编程的，而不是把一堆特定协议硬塞到芯片上。
-
如果你的ASIC流片之后又出了新协议，你的芯片仍然得能处理它。
-
具体怎么做到由你决定，但有一个硬性约束。
-
你的设计必须针对一个开源的130纳米工艺节点。
-
这是因为Jane Street会出钱给最新颖的提交方案流片，并把实物寄给获胜者。
-
比赛开放到2027年1月18日，非常鼓励组队参加。
-
去jane street.com斜杠dwarkesh下载模板代码，开始动手吧。
-
我想多问一下这个，因为有点奇怪，你有50%的算力花在推理上，而这些推理并没有直接帮助模型变得更好。
-
比如你最终会期望数字心智拥有的一个关键优势就是，不像人类只能有50年的现实世界经验，一个模型通过它所有的实例，将会经历数百万年的部署，遍布经济中各种与经济相关的工作。
-
而现在，这些数据在真正有意义的意义上并没有帮助模型变得更好。
-
看起来太明显了，最终模型应该能够从这些数据中学习，而一旦它们做到了，你就会得到某种几乎像是广泛部署的智能爆炸的东西，因为模型正在从所有这些部署的实例中吸收如此多的信息。
-
但你预计这种蜂巢思维式的疯狂事情什么时候会开始发生？
-
我觉得，从很宽泛的、非常基本的层面来说，这已经在发生了，就在下一代模型里。
-
所以现在，你总是可以把你的部署数据放进未来模型的预训练或中期训练里，特别是如果你做一些过滤，或者某种判断、标注，或者最近的合成处理。
-
你觉得这能在多大程度上解释一代又一代的进步？
-
我觉得能解释相当一部分。
-
我的意思是，尤其是，我的意思是，这个，你知道，我不知道那些实验室是不是这么做，因为理论上他们声称不会在用户数据上训练。
-
但中国那边百分之百会这么做，他们肯定得到了这个优势，两方面都是，显然像部署。这基本上就是蒸馏。他们把模型拿出来。
-
他们拿到一些自己的部署数据。
-
他们会通过调用模型来获取其中一部分数据。
-
然后他们用这些数据训练下一代模型。
-
然后他们突然也能在自己的模型上这么做了。
-
完全没有理由不这么做。我完全同意这一点。
-
我觉得如果你把视角拉得足够远，这肯定正在发生。
-
你在想象这个，我们也都在想象这个。
-
这就是持续学习，那个圣杯。
-
就是这种非常非常有机的实时循环，单个模型获得经验，当场实时更新，并从中学习。
-
当你深入到那种细粒度的时候，很多东西都会出问题。但没错，那些大实验室在这么做。那些闭源模型在这么做。
-
也有一些早期迹象显示，用开源模型的人正以快得多的节奏在做这件事。
-
一个很好的例子大概就是Composer。
-
你有一个某种模型，然后你能够，或者说Harvey在法律智能体上也在做同样的事。
-
它从你为那个特定任务所拥有的数据中获取非常具体的环境，还有用户抱怨的东西，以及你以某种方式从你特定部署中提取出来的所有反馈。
-
而且很多这类公司相比大实验室有一个优势，就是他们能把这些数据用得非常非常好。
-
然后他们会创建环境。
-
他们会对Kimi K3做一次大规模后训练。他们会去部署它。
-
他们可能也会做一些在线学习。
-
Composer基本上做了很长时间的在线强化。
-
所以没错，仍然有人在环路里。
-
仍然有人在说，好，这些就是我们在意的信号。
-
接下来我说说我们打算怎么用现有的数据来构建环境。
-
而且这个节奏还是比你想象的要慢一些。
-
但它确实在发生。
-
最终，这个循环会变得越来越快。
-
我是说，Composer那件事挺有意思的，因为这就是模型在Cursor里，用户对模型建议的下一个补全按下Tab或者不按Tab。
-
基于这个反馈，每一天Composer都在变得更擅长预测下一个东西。
-
所以那是老的Tab模型。
-
他们其实对真正的生成模型也做了同样的事，不只是Tab模型。哦，这挺有意思的。
-
而且这很难，因为当你做在线强化学习的时候，你没有分组，对吧？
-
你只有一个用户说了一件事，然后你只得到一次rollout。
-
所以你面临一个很大的方差缩减问题。
-
而Kirsten对此给出的模糊回答是，哦，我们有很好的启发式方法，能够估计这个回答比平均水平好多少，或者比平均水平差多少。
-
然后他们会做一次大的reinforce更新，而他们判断模型有没有变差的办法是，如果在Cursor Bench上有提升，他们就每五个小时部署一次新模型，如果没有提升，他们就把那个版本扔掉。有意思。对。
-
我觉得你最大的问题其实是，你不知道从自然数据里得到的奖励函数应该是什么，而且如果你用一些表面的信号，比如用户有没有接受那段代码、那个编辑，那可能会以某种方式被reward hacking。
-
但这看起来更像是sim-to-real的一个更大的问题，任务的时间跨度越长，就越难在数据中心里模拟。
-
在我看来，至少即使在编程领域，我们已经到了一个点，就是没有什么长达一年的编程任务最终不需要你跟客户沟通、跟公司互动或者跟用户互动。
-
如果你想想我们希望AI能胜任的所有事情，你最终会希望超级智能能够经营一家企业，或者创办一家新企业并让它盈利，或者在市场上做有利可图的日内交易，或者打赢一场官司，而这些都是非常难以
-
在数据中心里模拟的事情，学习过程中一个固有的部分就是与真实世界互动，所以也许它们必须学会如何通过sim到real的迁移来在这些事情上变得更强，但另一种可能是，你确实需要从这类互动中获得权重更新才能在这些事情上变得更好，
-
而如果情况是这样，如果迁移不够强，你确实需要权重更新，那么模型样本效率相当低这个事实，也许就是一个更深层的问题。
-
我对这件事好奇的原因是，我觉得按默认情况来看，我看不出在未来10年内，你怎么可能不会从预训练中得到一些疯狂的递归式的东西。
-
但这件事可能不会发生的一个原因，就在于权重更新，权重更新的样本效率，它们看起来远远落后于人类，
-
从人类从出生到成年所看到的数据量，对比一个模型从冷启动到训练完成所看到的数据量来看，很可能落后人类一百万倍。
-
所以这一切都说明，首先，模拟和极其长视野、真正复杂的真实世界任务之间会不会有迁移？那些我们想让EIs在真实世界里做的事情？
-
如果不是这样，那是不是真的意味着这些模型样本效率的缺失会反过来咬我们一口？
-
我觉得我可能会把模型变擅长、以及模型仍会继续挣扎的两类任务这样区分：任务是不是累积性的，还是说你面对的是一个非平稳的分布，你必须不断学习、不断重新争论一堆东西。
-
所以累积性任务的一个例子也许就是RSI。
-
理论上有可能存在一个不到一百万token的Python文件，它能从零开始训练出一个有能力进行递归自我改进的模型。
-
而你做出的每一个发现，都像是你在沙地上划下的一条线，你会守住它。
-
如果对于RSI来说，我们不需要发现新的attention变体之类的东西，这是真的，
-
一旦你发现了attention，然后一旦你发现了mixture of experts，再一旦你发现了GRPO，你只要把它加进训练栈里，它就在那儿了。
-
一个很好的例子就是5.6或者Training，5.6 Tera，或者不管哪一个，OpenAI让我们去训练的。
-
它不需要回过头去发现attention。
-
它基本上大概会调用一堆脚本，也就是pre-training.sh和post-training.sh，然后就这么干了。
-
所以这就是一个累积性任务的例子。
-
我觉得真实世界，以及人们之所以这么多地思考持续学习，是因为它并不是一个真正的累积性任务。
-
想象在一家律师事务所里，你有一个agent扮演法律助理的角色。
-
那是一个非常非平稳的分布。
-
你必须能在你的上下文里装下那家公司里所有重要人物之间的所有关系，而这些关系还一直在变。
-
你还有所有这些关于事情怎么做、去哪儿找信息等等的隐性方式。
-
那就不像RSI那样是一个干净的累积性任务的例子了。
-
所以我觉得任务之间会出现这种分化。
-
但如果实验室意识到这一点，而且他们确实相信RSI在某种意义上是累积性的，就是说我们不需要回头去发现什么全新的架构之类的，那也许越来越多的精力和算力就会集中到那上面，而不是其他任务上。
-
太不幸了，RSI偏偏比它看起来的要容易。
-
是啊。
-
是啊，不知道你们几位对这个问题有没有什么想法。
-
嗯，我想说的是，现在的模型在很多不同的方面都比人类弱。
-
其中一些可能跟某个特定情形下的样本效率有关，我的意思是，在某些情形下模型样本效率很高，比如在上下文里学习，
-
但可能还存在某种中等长度的情形，在那里它们的样本效率就没那么高了，因为人类做某种权重更新的效率比模型更高。
-
所以我觉得在某些情形下样本效率较低，可能是模型弱点的来源之一。
-
但我觉得还有另外一些弱点，跟这个完全不是一回事。
-
比如说，思维的多样性不如人类，或者在某些需要长远的判断上表现很差。
-
我的意思是，我觉得人们所说的品味，很多其实是关于什么样的行为长期来看是行得通的，而且是人们已经意识到长期行得通的东西。
-
不是全部，但品味的某些方面，尤其是像软件工程这类事情，我觉得很多品味就是：什么样的系统在这个项目的长期运行中是容易维护、能好好工作的。
-
所以是的，我觉得限制人类做RSI的那些弱点，再加上其他一些东西，嗯，有各种各样的弱点，有些跟样本效率有关，有些则无关。
-
也许一个有意思的思想实验是，假如你能给模型一个比如一万亿token的上下文窗口，或者不管多少，反正足够装下你在比如RLHF之前的所有经验。
-
然后它把所有这些经验都放在上下文窗口里，而且它在上下文学习上的样本效率和它在100万token时一样。
-
你觉得这样品味的问题就解决了吗？
-
它能不能做出跟你一样的判断，还是说除了一个同样样本效率的更长上下文窗口之外，还有什么根本性的东西缺失了？
-
嗯，我的意思是，它得被训练成能从那个上下文里学习。
-
所以我不太确定，嗯，要么我们得训练它从那个上下文里做出正确的更新，要么它得能泛化。
-
所以你不觉得你可以直接把所有东西都塞进去，比如你整个的人生、整个研究经验？
-
我的意思是，你还是需要数据来训练它适应各种上下文，就算你理论上能搞到一万亿的上下文长度，你也需要一万亿那么长的数据来训练它。
-
就像现在，如果你只有两倍的上下文，你没法直接把所有东西都塞进去。
-
我只是问如果你有那个的话。
-
嗯，我觉得，是的，我的意思是，这其实就归结为一个问题：品味从较短周期的经历里到底有多容易被元学习出来。
-
我感觉没有明显的理由说它非得特别长，因为人类反正也没经历过多少长周期的经历，却不知怎么就培养出了品味。
-
我们又活不到一万岁。
-
我们发展得挺快的。
-
所以，你想想，就算读个博士，一个博一学生和一个做完博士后的，差距大概也就五年吧，他们总共也就做过大概十、五、三十个研究项目，但不知怎么的，他们就从相对较短的一系列小事里很快培养出了品味。
-
所以，理论上，是有可能这样培养出来的。
-
AI 显然会有多得多的经历来培养这种元学习出来的品味。
-
然后问题就在于，这能多好地泛化到真正长周期的事情上，我觉得这个问题目前真的还没解决。就是我们还不知道。
-
回到这个问题，最终应该会有一个阶段，AI 能从每一次单独的部署中学到大量东西。
-
目前你可以说存在一个模糊的元过程让模型在部署中改进，但我觉得那是一个非常弱的反馈回路。
-
你觉得会不会走到某个节点，出现这种蜂巢思维式的、非常快速的学习，如果是的话，它到底是怎么发生的？
-
其实我想说，我们会不会得到一个能从所有部署经历中学习的蜂巢思维？
-
我的意思是，这里面很大一部分其实是激励问题，而不是技术问题。
-
所以，公司不会愿意让模型提供商从他们所有的部署中学习，因为那可能只会削弱他们自己业务的优势。
-
我觉得，也许经济规律会逼着大家走的不是权重更新到一个大的共享模型，而是插入各种模块。
-
所以，一个很明显的例子，这是个 LoRA，但也可能是别的东西，你知道，一直有很多工作在尝试把任意长度的上下文塞进一个固定大小里。
-
比如，这些都是线性注意力那一类的东西。
-
还有像 cartridge 这种，本质上就是训练出非常非常压缩的 KVK，好塞进大量信息。
-
这又是一个例子，你知道，就是那种公司可能愿意接受、只要能插进模型里的东西。
-
而且它并不是真的去改动底层模型本身。
-
所以，从你自己的数据里实时学习，有很多不同的版本。
-
而后面那几种其实帮不到大实验室，因为它们只是些模块而已。
-
但我觉得经济压力会逼着实验室先走这条路，然后才能开始搞那个。
-
不过，是哪种经济压力呢？
-
因为我觉得，就算你有一堆 cartridge 或者 LoRA 之类的，你还是可以把所有这些轨迹拿过来蒸馏一下，直接倒进你下一代模型的预训练里。
-
对，所以大实验室得到的可能是一种更间接的学习形式。
-
那对他们来说显然还是很有价值的。
-
但我没法想象一个世界，一开始就是，我们要直接拿我们拿到的所有精确数据去训练这一个大模型。
-
不，我觉得这肯定会分阶段来。
-
因为我的意思是，这假设的是一个不连续的事件，突然之间我们就把权重更新给连续化了。
-
而实际上，我觉得更可能是这样：cartridge 之类的东西让你在部署中做专门化。然后你生成轨迹。你把它放进你的模型里。
-
三个月后，你推出一个在这方面更强的模型。你再专门化一次。你再整合一次。
-
然后最终，我们只会让这个睡眠越来越快。
-
所以不再是每三个月发布一个模型。
-
而是变成每周，然后每天，然后每小时，到那个点上我们基本上就一直在解决了。
-
对，我觉得这也是个很好的点，因为你问的是当前范式离能做到这个还有多远。
-
我觉得我们在这方面做过一些研究，很多人也做过大量研究。
-
在非常大的规模上，当你把足够多的噪声洗掉、有足够大的数据块时，这种把数据放进中期训练、创建我们自己环境的外层循环过程，在某种持续学习的机制下确实是有效的。
-
但问题是，当你放大到足够微观的层面，就变成，我只有一个模型，我要为一家律师事务所之类的东西去更新它。
-
而且我要非常持续地做这件事，用的数据量还相对比较小。
-
所有方法基本上都会有点崩掉。
-
所以比如说，如果我只用那些成功的轨迹对模型做SFT，不管是离策略还是在策略，最终在那种非常迭代的机制下，比如当你做几百次这种微更新的时候，你会看到灾难性遗忘，
-
你会看到之前学到的信息被忘掉，那些是在基础模型之上、更早时候学到的。
-
而且我会看到通用能力退化。
-
在策略蒸馏似乎能把这个极限往外推一点，但最终还是会败给同样的问题。
-
而强化学习很擅长把能力灌进去，但在灌知识方面就没那么行了。
-
就是那种非常明确的知识，比如，好吧，这个人在这个律所是这么做的，这是我们发现的一个非常具体的流程。
-
你得投入大量算力去创建合适的环境，才能把知识通过强化学习灌进去。
-
那你觉得这里的根本问题，为什么你在其他这些技能上会变差、会出现遗忘之类的，你觉得这根本上是容量的问题，还是技术的问题？两者都有一点。
-
我觉得SFT，甚至包括在策略蒸馏，都可能破坏性太强了。
-
强化学习之所以这么好，是因为它对模型的改动非常非常小，而且有很多证据能说明为什么会这样。
-
所以它只是用非常非常非常小的损失值去微调它，把它调到正确的点上。
-
但这也同时限制了你能用强化学习做什么，你实际上能把模型改变多少。
-
你的意思是，这件事之所以可能是赢家通吃，就是因为要把那么多信息蒸馏进基础模型实在太难了。
-
而不破坏界面里的某些东西。
-
把它蒸馏进另一个基础模型倒是很容易。
-
所以我觉得这主要是个技术问题。
-
肯定不是因为没有容量。
-
如果你有一个模型，有所有这些数据，然后你拿同样大小的模型，从头预训练，把这些东西都放进中期训练里，它会更好。
-
我觉得现在发生的很多事情就是这样。
-
所以这很像是有个瓶颈，阻止我们一直训练同一个模型，而不是从旧模型里拿到所有数据，然后从头训练一个新模型。
-
这正好就是Kajal说的，可塑性和灾难性遗忘的某种组合。
-
如果你只是天真地在非平稳数据上训练，因为你一边训练一边加新数据，基本上就是在扰乱数据分布。
-
所以旧的东西就被忘掉了。
-
而我们其实没有很好的方法来阻止这件事发生。
-
所以也许在极限情况下，你就是被从头重新训练模型、把所有信息都塞进去这件事卡住了。
-
这当然非常贵。
-
从头训练模型很贵。但你反正都会这么做。也不一定。
-
也许最终，如果你有持续学习，你根本不用训练任何模型，你就有一个模型，它一直在学习和扩展，对吧？
-
可能有一些很深层的技术原因让这件事非常困难，因为这些——这就是问题所在，对。
-
我觉得我们已经把需要从头做的量往后推了不少。
-
比如现在肯定可以拿预训练好的基础模型，在上面做很好的中期训练，那种持续性的，再加上从训练后期不同检查点做的一些强化学习。
-
这看起来更像持续学习了，但肯定还不是那种拿最新的模型，做几个很小的更新，然后迭代地永远不丢失。
-
我有点困惑，因为这不就是训练中或者后训练中发生的事吗？
-
你有一个已经经过大量训练的模型，然后你蒸馏某个被进一步强化学习过的分支之类的，这不就是字面上发生的事吗？
-
我觉得规模还是足够大，所以你把很多噪声都洗掉了。
-
而且你不是只专注于一个分布，就像Baron说的，如果你只专注于一个任务，那就不算一个分布。
-
我是说，在最终的那种状态下，你会做的是，我不知道，有数十亿个部署的实例，你同时从所有这些实例中学习，所以希望这样能洗掉一些噪声之类的东西，对吧？也许这是好事，是的。
-
是的，我是说，我觉得确实像Shara说的那样，你可以长时间地做持续的中期训练，而且你可以回滚到一个检查点，喂给它任何中期训练数据。
-
但与此同时，你不能无限期地这么做。
-
如果你就一直对同一个基础模型持续做中期训练，到某个点它就会趋于渐近线。
-
你没法在那个基础模型里学到新东西。
-
这就是为什么人们最终会去训练新的基础模型。
-
否则的话，你就会永远对同一个基础模型做中期训练了。
-
每次我录完一期访谈，我都会立刻把所有想法一股脑倒进Slack里。
-
比如哪些是最有意思的，然后看着它被剪掉。
-
这样能确保我的剪辑师拥有开始剪辑这期节目所需的全部背景信息。
-
但这些脑暴倾倒可没有什么清晰的时间戳，而且我未剪辑的录音长达好几个小时。
-
光是找到我提到的那些确切时刻，就可能要花掉剪辑师大量的时间。
-
所以我们决定试着在我们的聊天里加一个Grokbot制作人。
-
现在每当我的一个剪辑师发出这期节目的粗剪版，Grokbot就会在它自己的电脑上打开一份转录稿开始干活，通常在我看到那条消息之前就开始了。
-
它会拿我丢进Slack里的那些笔记，然后在转录稿里高亮出相关的片段。
-
它还会用我整理的一个大案例文件，里面装着我所有的偏好，这样它就能给出可能的剪辑建议。
-
等它弄完了，它会把它选出的最佳片段候选发给我，这样我就能在手机上审阅所有内容。
-
这招效果特别好。
-
能够发出像给剪辑师发短信那样的非正式消息，然后转录稿立刻就反映出我的偏好，这真的帮了大忙。
-
你可以自己在 x.ai slash bot 上试试 Grokbot。
-
好，我们现在来聊一聊数据。
-
我一直对这个问题很感兴趣：AI 的进步有多大程度上只是靠数据的进步来解释的。这并不是说它一定就很难自动化，但那是另一个问题。
-
那么，是否存在某种数据分布，如果你用当前的架构在上面训练，就能得到一个超级智能，它在每一个领域都完全碾压人类专家？
-
我们说的是预训练加后训练的数据，也包括环境之类的吗？
-
我觉得这种东西的存在是显而易见的，问题只是我们能不能把合适的环境搭建出来。
-
对，我是说在最简单的情况下，我们完全可以训练它输出那个 Python 文件，那个文件能训练出真正的超级智能，就是让它把那个东西记住，就像它……
-
是的，大概存在一个 RL 环境的阶梯，是可以搭建出来的，让你能得到一个至少和人类研究员一样强的 AI 研究员，但每往上爬一级，所需的努力大概是指数级增长的。
-
而这两件事就是你必须在它们之间做权衡的，来决定我们多快能到达最后那一级、也就是它更强的那一级。我觉得这一点相当清楚。
-
而且我觉得，我们在环境创建这方面还处于相对早期的阶段。
-
我们为了创建好的环境，利用了很多不对称性。
-
其中一个不对称性，我们之前聊过，就是有些环境里，往回走比往前走更容易。
-
我指的是，定义一个复杂的数据生成过程非常容易，而这个潜变量你对模型是隐藏的。
-
你可以生成任意复杂的环境，而模型必须花费大量不可削减的 token 和不可削减的工作量，才能搞清楚那个数据生成过程是什么。
-
还有一些不对称性，比如你可以从现实世界里注入信息。
-
Anthropic 通过成千上万的人和 LLM 结合起来发现了一个 bug，然后把它变成一个非常非常精巧的环境，理论上在单个 大语言模型 里就能在几百万 token 内找到。
-
所以有所有这些不对称性，我们在挑挑拣拣地利用，我们指望的是这种任务时间跨度的泛化。
-
但我觉得，是的，再说一遍，某个时候总会遇到收益递减。
-
到了某个时候，收益就会递减，而且一开始创建这些环境有多难、想出它们有多难，因为你不一定总能拥有这种往回走比往前走更容易的过程。
-
就像你真的得坐下来，构建出某种像人类那样的东西，时间跨度足够长，那会是一个极其复杂的任务，需要去创建。
-
而且，智能体实际去执行那些任务时，还会遇到算力和时间的瓶颈。
-
所以我觉得，你现在就会开始看到这条曲线趋于平缓了。
-
我看到有人说，有人把那个 talkie 模型——就是只用 1930 年以前的数据训练的那个——拿现代的编程智能体数据去微调。
-
结果它在 SweetBench 上的表现比 Claude 3 Opus 还好。
-
所以，这个对代码一无所知的模型，用中等规模的数据微调一下，作为编程智能体的表现就能超过那个大得多的预训练模型，这相当疯狂，它说明一旦你有了正确专家行为的范例，
-
把它复制进一个相对较弱的模型里，其实出奇地容易。是的。
-
但有个反例，差不多是这种情况：最近有篇论文，他们把它训练到大概五年级数学的水平。
-
还有小学水平的英语之类的。
-
所以它算是个还不错的语言模型。
-
然后他们试着用 RL 让它去做高中后期和大学水平的数学。
-
结果差距太大了，他们根本没法让它往上爬。
-
但如果你做连续的，比如说，你先七年级数学，然后八年级数学，这样一步步来，那你显然能爬到十二年级。
-
所以，还是那句话，就是那些梯子上横档之间的距离有多大，以及创建起来有多难？
-
是的，这就又回到了 RL 信号的问题。
-
RL 现在不太擅长探索。
-
所以如果模型在 128 次 rollout 里都找不到，那它极不可能获得信号来取得进展。
-
这就是为什么在 RL 里我们需要课程，而在预训练里不需要，因为这对预训练来说根本不是问题。
-
是的，再说一遍，预训练数据和后训练数据是不一样的。
-
我想随着我们继续推进，人类的参与会越来越少，但这改变不了一个事实：你的瓶颈在于你能从真实世界里提取多少信号。
-
所以世界上有很多信号，这是真的。
-
有些人在做电子表格类的任务。
-
有些人在做法律类的任务，还有各种类似的事情。
-
但就模型现在所处的能力前沿而言，世界上到底有多少比特是真正跟提升模型能力相关的？
-
有多少新的数学问题正在被解决，而且是当前模型根本够不着、抓不住的？比如说有多少新的编程问题正在被创造或解决，超出了当前模型的能力范围？我觉得这就是为什么收益递减会出现，
-
因为哪怕把整个世界加起来，它也没能给你那些有用的比特，把你推进下一个能力盆地。
-
是的，我完全同意这一点。
-
这真的是一个信号从哪来的问题，所以在预训练里，信号其实已经摆在明面上了。
-
对于预训练里你关心的那些任务，问题根本不是能不能拿到信号，而是要把存在的所有噪声都过滤掉，而这是个相当可自动化的过程。
-
但随着模型变得更好，随着我们进入中期训练和后训练，信号在我们原有的数据里根本就不存在了。
-
再怎么过滤也拿不到。
-
Common Core 里可没有藏着什么千禧年大奖难题的证明等着你去发现。
-
我们没法一直过滤到它出现为止。
-
所以到了那个阶段，你就得从别的途径拿到比特，要么直接让人类把他们的推理写出来，要么去创造环境，由人类来决定该创造什么环境、这些环境的目标是什么，
-
或者利用部署中存在的那些人类数据来做一些训练。
-
反正你得从某个地方拿到这些比特。是的。
-
这里有个问题：预训练缩短的进展里，有多少是由数据驱动的？是的。
-
我和 Jerry Hahn 做过这个研究，他是普林斯顿的管事人，我们基本上把 2019 年至今的所有配方，和 2019 年至今的所有数据集两两配对训练了一遍。
-
所以你的意思是，比如把 GPT-2 放在最新的数据集像 Ultra Fine Web 上训练，再把 Delphi——也就是最新的训练配方，或者开源训练配方——放在像 the pile 这样的老数据集上训练，然后你把整个网格都跑一遍。
-
然后你看，要达到某个能力水平，在这个网格上分别需要少多少算力。
-
你会发现，数据似乎能解释大约九倍的算力效率提升。
-
但架构改进在非常小的规模上，大概能解释三倍的算力效率提升。
-
所以，如果这在大规模上也成立，也就是说预训练算力效率的提升大部分都来自更好的数据，那这条路还能走多远？
-
比如说，你能不能就一直不停地过滤数据、造越来越多的合成数据，直到……你觉得这种预训练的进步还能持续多久？
-
我觉得我的先验是，还是那句话，低垂的果实差不多已经摘完了，我们有了互联网这么一大块东西，而且互联网本身也不一定在以同样的速度增长。
-
互联网上所有有用的东西，增长速度也不是一样的。
-
所以我们大概还能再拿到一堆 0.1% 的损失下降，但肯定不会有现在已经发生的这么多。
-
但你们发现两者加起来累计有 27 倍的提升，这也挺有意思的。
-
我记得是 Epoch 还是谁估计过，从 2019 年以来每年三倍，那算下来大概是三的七次方，也就是 2000 多倍的提升。
-
那少掉的那 100 倍左右是从哪来的？
-
这大概能给你一个很好的信号，说明这里面有多少是后训练带来的。
-
我觉得解释只能是，很多算力效率的提升是依赖规模的。
-
而我们研究的是一个极小的规模。
-
这就引出一个问题：数据带来的算力效率提升，和算法带来的算力效率提升，哪个更依赖规模？不知道你们俩怎么看。
-
我们只是没有足够的算力去研究这个问题。
-
我是说，就天真地想，对吧？
-
理论上，架构对规模的依赖是相当清楚的。
-
你可以给它拟合一条直线，但要是把预训练数据、后训练数据和中期训练数据合在一起，我完全不知道该怎么拟合。
-
我感觉数据其实在规模越大时越重要。
-
我感觉架构有点像一次性的东西。
-
我觉得只说一个“效率提升百分之多少”，其实有点误导。
-
因为架构师做的事情，就是让你能进入一个全新的、用旧架构根本达不到的状态。
-
而在那个状态里，显然，数据才是起决定作用的主要因素。
-
但如果我们没有，比如说连GQA都没有，还在做全注意力，那我们就做不到，比如说一百万，那就像是把开销重新分配到一百万上下文上。
-
而正因为这样，我们就永远用不上那些真正处于一百万上下文的数据。
-
所以我们就拿不到这些能力，尽管如果你只是做个很天真的测试，比如在2K上下文下这东西表现如何——那时候架构根本没解锁任何东西——那数据看起来就会比它实际上重要得多，对吧？
-
我不太确定这些东西是不是真的就是这种乘法式的增益。我明白了。
-
抱歉，那这样的话，这对数据的规模依赖性又意味着什么呢？
-
我是说，关于规模依赖性，我觉得我们现在很多中期训练和后训练数据，其实是随着规模变大而变得更好的，因为很多数据，比如我们那些超长上下文的东西，真的需要大模型才能用得上。
-
而且这不是，你知道，如果你试着用一个一亿参数的模型去训练三个bench的轨迹，那根本不会有任何进展。
-
它不会给你展示出，你用真正合理规模的模型去训练时能得到的那种提升。
-
而且现在也很难，因为架构变化太多了。
-
你看Kimi，比如说，或者DeepSeek。
-
他们做这些架构上的改动，心里想的可不只是降低预训练损失，还有比如说，模型在真实世界里会怎么被使用。
-
推理效率，在DeepSeek模型里加入某种压缩注意力，未必是围绕着“这能从根本上带来提升”这个思路。
-
而更像是，好吧，我们在考虑模型会怎么被使用。对对对。
-
嗯，我很好奇的一个问题，想借此理解未来，就是在我们越来越进入一个以强化学习为主的阶段时，参数规模会怎么发展。
-
比如，我不知道历史上有多快。
-
你可以看看那些开源架构，看看参数规模增长得有多快。
-
大概前沿开源模型是每年翻一倍左右。
-
而就前沿闭源模型而言，它们也有个一千亿或两千亿的活跃参数。
-
你觉得这个每年翻倍的趋势会一直持续下去吗，还是在强化学习的范式里会不一样——毕竟你还得在rollout上省算力，而且也许还存在某种阈值效应，就是一旦容量够了，再往上加参数就没那么重要了。
-
你们对2030年前沿模型会有多少活跃参数有概念吗？
-
嗯，我觉得接下来几年我们会是，因为我们太专注于为强化学习做越来越长horizon的rollout，这种情况下推理效率非常重要。
-
感觉这些模型在能力上未必已经饱和，瓶颈其实还是在环境上。
-
所以可能会看到一点平台期。
-
我有种感觉，Mythos和GPT系列模型比大家说的10万亿参数规模要小得多。
-
哪怕只是跟开源模型做个粗略对比，你大概也能反推出这个结论。
-
所以是的，接下来几年，我估计参数量不会有巨大的增长。
-
但话说回来，这里要权衡的东西太多了。
-
你根据自己有多少预训练数据，以及你要训练的强化学习环境有多难，来决定模型的规模。
-
理想情况下你想达到那个最优点，就是在你最难的环境上也能拿到还不错的通过率，比如一次就过之类的。
-
而如果为了通过那个环境把模型做得更大，那就不划算了，因为你只是在付远超所需的推理成本。
-
所以这里面有很多输入变量。
-
这取决于Macor还有内部团队这些人能多快把训练用的rollout环境复杂度提上去。
-
我预计模型还是会越来越大，因为大家都在扩大算力，GPU也越来越大。
-
但具体大多少，我觉得有点取决于那些不那么直观的缩放规律。
-
所以有一点是，我认为数据效率会比算力效率更能决定人们具体用哪种架构。
-
现在我们正进入一个高质量预训练数据快要用完的阶段，所以这可能会影响你想把模型做得多稀疏。
-
另外我还觉得我们对稀疏性理解得还不够，参数量和活跃参数是不同的资源，而且稀疏度确实增加了一些，但不清楚它会不会随着规模一直增加下去。
-
可能存在某种最佳平衡点。
-
有一种说法是，稀疏性会让数据效率变差，因为你可能得在多个专家上学习同样的东西。
-
所以这事儿还有得争。
-
所以我觉得我们并没有，我不认为我们对缩放定律有足够好的理论，能真正理解稀疏性为什么有帮助、能帮多少，以及它会不会在某个稀疏水平上趋于平稳。
-
你能不能具体说说，数据效率的影响到底体现在哪儿？
-
听起来你会说，那就应该少一点稀疏，但它对预训练缩放还有什么其他影响？
-
我想就是，缩放定律这块，你不再是想优化算力效率了。
-
所以架构上有各种选择可做，而每一种都会给你一条不同的缩放定律。
-
而传统上，你会看某种基于算力的包络线。
-
也就是看性能对算力，然后取最好模型的那条包络线。
-
但如果我们改成基于数据来做这个决定，那就相当于假设我们可以花很多算力，而把数据放在x轴上而不是算力，
-
那我们得到的就是另一组最优点，或者说是处在那条前沿上的另一组模型。
-
对，而且我也不觉得过去这几年我们每年都把模型规模翻了一倍。
-
人们训练一万亿参数的模型至少已经有好几年了。
-
甚至还有一个叫Falcon的开源模型，不过Periodic Labs的Liam，我记得他昨天在Twitter上发帖说，OpenAI早期有个实验训练了一个一万亿参数、非常非常稀疏的模型。
-
哦对，那是他们在OpenAI之前做的。
-
那是在Google的时候，switch transformer，对。
-
所以就是，你知道，它在知识方面非常非常强，但推理很糟糕，因为它太稀疏了。
-
所以就是，感觉我们在这个，大概一千亿到，你知道，最多两万亿参数的范围内，已经玩了至少有一阵子了。
-
而且肯定不是那种漂亮的线性增长，对。
-
我是说，我觉得有两件事。
-
所以就像Charlie说的，推理效率对RL rollout来说超级重要。
-
所以这真的会把激活参数压下来不少。
-
然后我觉得总参数量其实很大程度上也取决于硬件。
-
所以你真的需要非常高的内存带宽和显存大小，才能真正跑得动几万亿参数的模型。
-
而现在呢，大家还在大量用H100这些东西。
-
所以等大家都转向GB系列，然后VARubin出来之后，就能获得更强的扩展能力，真正去服务、去跑大规模的RL输入，在更大的规模上。
-
数据这个问题我觉得挺有意思的，因为按直觉来说，更大的模型在实际数据点上的样本效率要高得多。
-
所以就算你没有把模型喂饱和，往大了做还是更好，因为更大的模型泛化能力更强，同样的数据量下能达到更好的loss。
-
所以现在呢，我觉得我们算是数据挺多的。
-
瓶颈不是数据，而是算力。
-
所以我们现在做的是更小的模型，推理效率非常高。
-
但如果算力不再是瓶颈了，可能又会回到更大的模型，那种有点没喂饱和、但因为有更大的体量而有泛化能力的模型。
-
如果你只看基本的Chinchilla缩放定律，单纯把参数量最大化，其实达到同样loss所需的数据量减少得非常少。
-
如果你把参数量推到无穷大，所需的数据量我觉得下降不到10倍，就是因为幂律本身的性质。
-
但我们现在已经处在Chinchilla定律里数据过多的那一侧了，对吧？
-
所以现在，我们比Chinchilla说的训练得更多，所以我们很容易回到一个点，就是随着我们消耗数据，我们会回到Chinchilla最优点，甚至稍微偏向过训练、欠训练模型那一侧。
-
但当然了，就算这些新芯片上线什么的，接下来几年我们还是会在算力上严重受限，所以未必会是那种情况。
-
这其实取决于你训练和推理跟算力的比例。
-
如果你在数据上严重受限、算力不受限，那就该往大了做。
-
如果你在算力上严重受限，那就永远该往小了做。然后，对。
-
但你也可以用算力来生成合成数据。
-
所以这是那种特别难预测的事情之一。
-
对，我觉得一开始人们花了那么久才搞明白缩放定律，部分原因就是如果你没把这些东西都弄对，就不会得到那么干净的关系。
-
而且图上那些漂亮的直线，其实掩盖了大量的复杂性——你得确保每个超参数都按正确的方式缩放，或者把你的优化器参数化得能缩放，而且模型规模变了也不用改超参数。
-
而且bug也有它自己干净的缩放定律，对吧？
-
比如West Kaplan那个余弦退火的事，或者甚至只是没考虑嵌入参数，我觉得。
-
这就把小模型上的估计搞乱了，因为嵌入参数在模型里占的比例还挺大的。
-
稍微说说强化学习。
-
我感觉一年前，很多人都在提这个论点，说强化学习在模型上不会特别成功地扩展。
-
John，我记得你写过一篇研究论文，里面指出模型每个回合只学一个比特，就是你做强化学习的时候，基本上就是学——我答对了还是答错了？
-
我今年早些时候写过一篇博客，我说情况比那还糟，因为当通过率很低、模型几乎不可能答对的时候，它从一个强化学习回合里几乎什么都学不到。
-
但我看今天的模型，它们看起来挺聪明的，而且这似乎是扩大强化学习规模的结果。
-
Beren，我记得你几周前有篇帖子，试图解释到底发生了什么。
-
但为什么强化学习比人们天真以为的要成功得多呢？
-
我是说，我觉得强化学习的成功归结于好几个不同的因素。
-
首先，我觉得有点被低估的其实是中期训练。
-
我们看到的很多所谓的强化学习成功，其实来自非常非常好的中期训练数据，基本上就是我们在做预训练，只不过是在合成的推理数据和那种能让模型为强化学习热好身的环境上做。
-
而这实际上经常能把模型带到离最终强化学习检查点差不多80%的地方。
-
然后强化学习在这之上做的，基本上就是对策略做大量的微调。
-
所以这就是为什么它不需要像你天真以为的那么多比特的原因之一。
-
它不需要从零开始学会所有这些行为。
-
它只需要从这些回合里拿到几个比特，而这些你确实能拿到。
-
然后我在博客里真正强调的另一件事是，跟普通的预训练相比，这些比特其实是信号极其强的，这就是为什么你需要强化学习，而不是直接在成功的推理轨迹上做监督微调。
-
也许因为它恰恰就是关于怎么把答案做对的那几个比特。嗯，这里有两件事。
-
所以是的，第一，它恰恰就是关于怎么把答案做对的那几个比特。
-
但这并不完全是你想的那样，因为在监督微调里，你有一条轨迹，对吧？
-
你有一堆数学推理，然后最后是答案。那个比特还在。
-
你在答案那个 token 上仍然有监督微调。所以那个比特还在。
-
重要的是，目标函数忽略了所有其他的比特。
-
所以在监督微调里，你必须去尽量匹配模型产出的那些确切的推理 token。
-
所以你实际上拿到了太多关于你正在训练的这个别的模型具体是怎么推理的比特。
-
而对强化学习来说，你只拿到那一个比特，这就意味着那个信号不会被模型拥有的所有其他比特的噪声淹没。
-
所以这才是训练过程中信噪比真正大幅提升的地方，这也是为什么强化学习在步数上效率高得如此惊人。不知道你们对这个有没有想法。
-
关于强化学习对模型做了什么，跟中期训练或者 SOT 或者别的什么相比，一直有特别多的争论。
-
而且大家都在说 pass@1 会上升，但 pass@256 会下降。
-
就好像那些非常罕见的正确推理轨迹会被降权，会被那些更容易的推理轨迹产生的梯度信号给压过去。
-
而我觉得现在看强化学习，一个简单的视角就是，如果你有足够大的算力，能采样足够大的组大小，让你得到一堆正确答案的概率超过某个不算小的概率，那它就会被加权上去，然后就像
-
Beren 说的那样，基本上中期训练和你更多的预训练，也就是 pass@1、强化学习的起点，是随预训练 token 数的对数而扩展的。
-
我能问几个非常基础的问题吗？
-
我猜这个答案说得通，也许还有实证研究表明这就是正在发生的事，但然后我就去看模型本身，我不知道到底发生了什么，也许你可以给我讲讲过去一年 AI 进步的根基是什么，但如果它是，是的，
-
也许它只是把那些本来就会做正确思考的策略加权上去而已。
-
但从定性上看，模型的能力确实变得强太多了。
-
不过话说回来，也许这里面并没有什么内在矛盾。
-
但我们要怎么把这个观点所暗示的、模型受到的影响相对较小，跟模型实际似乎获得的定性能力提升对上呢？
-
所以这里我想指出的一点是，这并不一定意味着强化学习的效果很小，对吧？
-
就算你只有几个比特，只对参数做了很小的改动，但对函数空间的实际影响、模型最终从输入到输出的映射，仍然可能非常巨大。
-
哪怕只有一个比特，也能大幅改变你的函数空间，它能排除掉一半的假设空间，这已经很大了。
-
所以我不认为这一定就是比特少、强化学习量小。
-
一旦你从一个非常好的起点出发，就意味着你的行为不一定会发生剧烈变化，至少不一定。
-
我觉得这归结为两点。
-
第一点是，大家都希望强化学习能把这种推理能力泛化到所有这些不同的领域。
-
而我不认为我们一定得到了这种横向的泛化。
-
只在数学上训练，不一定就能让你成为最好的程序员。
-
你确实得在代码环境里做强化学习。
-
不过我觉得我们确实得到的是时间跨度上的泛化。
-
模型学会了用更多的 token、花更长的时间，并且仍然能在某种任务上取得进展。
-
所以你可以在那些任务越来越长的环境里训练，然后把它们放到一个全新的环境里。
-
是的，它们可能没有泛化出那些能让它们在那个环境里表现出色的推理模式，但它们至少泛化出了把那个任务继续做更长时间的能力，而这跟成功是相关的。
-
我记得有一篇论文叫 Edge Bench，它表明模型能持续工作的时间长度每三个月翻一倍。
-
所以这就是泛化的明确证据。
-
我觉得最后一种理解方式是在预训练里，有个叫“量子”的概念。
-
就是你有一条非常平滑的预训练损失曲线。
-
但当你真正去看模型内部发生了什么，模型其实是在学所有这些非常离散的任务。
-
而且有所有这些涌现点。
-
有点像是一种相变。
-
它之前没有归纳头，现在有了归纳头。
-
这种东西有成千上万、几百万，可能上亿个。
-
你把它们全都平均到一起，就得到了这条非常平滑的损失曲线。
-
我觉得在某种程度上，强化学习也发生了类似的事情。
-
就像Baron提到的，有一个非常慢的外循环，就是我们先训练一个模型，然后做RLA，然后到下一轮模型迭代训练时，我们会把一大堆这些合成的推理轨迹丢进中期训练数据里。
-
就像我们在为所有这些不同的任务一个个地攻克这些“量子”，而在单个任务层面上，它可能看起来像是一次相变，就像你突然从某个特定任务——比如某个金融任务或者Excel任务之类的——0.5%的通过率跳到90%的通过率，
-
但你把所有这些加在一起，再加上时间跨度的泛化，你就会觉得，哇，我们好像质变了一样。对，
-
我是说，我觉得这里面很大一部分也在于，我觉得强化学习确实会泛化一点，就像你突然会看到数学和代码之间、或者谜题和数学之间有一些迁移，这类东西也是。还有就是人们瞄准的环境数量，我觉得简直是大大增加了，所以就像你
-
知道，以前你试着做某个你日常生活中会做的任务，比如两年前，实验室根本不太会在意这个，他们不会专门为它训练模型，而现在范围就广得多了，对吧，他们有很多环境专门针对这个特定的东西。
-
对话早些时候我们谈到强化学习会导致这种熵坍缩，或者只是把概率集中到基础模型已经做过的解法上，导致策略里的更新相对稀疏。
-
但当我想到这个的时候，我觉得关于强化学习还有另一个故事，那就是回到Atari游戏，然后是AlphaGo想出第37手，那步超级有创造力的棋，因为它从来没有用人类数据初始化过，
-
它能以甚至算不上思考的方式去思考，想出极其有创造力的解法。
-
对，你觉得我们应该在什么时候期待，或者说是否应该期待，在大语言模型上做强化学习会产生像第37手那样的东西，就是极端的创造力，甚至超越人类的创造力，因为智能是从零开始初始化的？
-
我是说，这里有好几件事。
-
首先，我觉得AlphaGo用的是MCTS，这显然比普通的正向梯度做更多的探索之类的。
-
但我也觉得，强化学习不一定就会削弱创造力。
-
而且我是说，就算我们，我觉得，你知道，这显然是很定性的说法，但如果我们看看那个，你知道，OpenAI和Hugging Face那件事，那些模型一次就能想出好几个零日漏洞来逃出沙箱。
-
而且这显然已经是某种程度的第37手式的创造力了，我觉得，而这只是来自语言模型本身的泛化能力。
-
就像，我不认为强化学习真的会把它们的熵完全摧毁。对。尤其是在长时程上。对。
-
我是说，人们称之为创造力的一个东西，其实就是解决困难的搜索问题。
-
所以第37手显然就是这样一个例子，或者像是写一首满足一大堆不同约束的诗。
-
所以如果专门训练的话，AI显然会非常擅长这个。
-
但还有另一个方面，就是模型在强化学习之后输出的多样性会低很多，它们会养成一些怪癖。
-
而且就算模型看起来写得不错，当你做一些分布分析的时候，你会发现它们一直在重复用某些主题，一直在用同样的角色名字。
-
所以你就得不到像人类作者那样的多样性。
-
你得到的是某一种非常好的风格。
-
所以我觉得那种多样性肯定被强化学习削减了很多。
-
而且其实，因为我们之前聊到了蒸馏，这也算是其中一点。
-
对，现在发生的一件事就是，太多人在做蒸馏，主要是从Claude蒸馏，结果所有开源模型写出来的东西都跟Claude一样，怪癖也一样。
-
所以这让我觉得有点担心，我们正在形成这种单一文化。
-
对，再说一次，我不觉得这是强化学习作为一种方法本身的根本问题。蒸馏也是一样，就算是蒸馏，你也只是在数据上训练。只是因为你的数据不够广，并不意味着训练方法本身有什么问题。这是
-
数据的问题。而且我觉得很多情况下，强化学习里的熵坍缩基本上是因为在环境多样性不够大的时候，对相当简单的验证器过度利用。
-
因为比如说写作，我觉得写作大概是某个评判模型打分的，而那个评判模型有它特定的怪癖，模型就学会了去钻评判模型的空子，这就是它坍缩的原因。
-
但这其实是评判模型的问题，不是强化学习本身的问题。
-
好，接下来是对未来的超快速预测。
-
那我想问接下来几个问题的时间线。
-
到什么时候我们会有这样的模型，就是用户感觉起来是这样的。
-
你基本上可以把它当成一个即插即用的远程员工，干各种白领工作，不只是写代码，还有，我也不知道，视频剪辑、法律、律师助理之类的。就真的像一个真正的远程员工，能完整使用电脑，
-
能无缝地学习和运作整整一个月，执行复杂的项目，还需要跟其他人互动，等等等等。
-
就是一个人工员工一个月里能做的所有事。
-
如果你要求它必须用浏览器之类的，而不是像之前说的，公司把信息设置成可以通过程序直接访问的，那可能还得几年；但如果不是必须基于浏览器，比如你可以发Slack消息，这些它都能做，
-
那我大概还是会说一年左右。
-
对，我是说，如果要完全通用的话，可能得三年吧，但我觉得Charlie说得对，最终会有很多人把自己的组织弄得更方便AI使用。
-
所以在那之前，你就能达到八成、九成的程度了。
-
不好意思，但一年和三年之间的差别，其实就是字面意义上的……
-
就是我觉得会有一大堆杂七杂八的长尾任务，某些人类能做，但模型得花挺长时间才能做。
-
对，我是说，你指的是电脑操作方面的东西，还是基本的认知能力？
-
我是说，我觉得这归根结底是个问题：我们多快能解决这种在线学习，以及能不能靠给自己写文件之类的方式达到八成、九成的程度。这就是我最大的不确定。我真的不知道。
-
还有一个例子，可能是它不擅长的，就是，你知道，如果我得在工作里冲某个人吼一嗓子才能拿到东西，或者真的去逼某个人把事情做完，模型不会这么干的，它太温和了。对，对。
-
我想说，人类远程工作者的质量差异是很大的。
-
所以如果你想从Upwork上随便雇个人来做软件工程项目，那差异会非常大。
-
经常很难让他们好好干活，或者认真对待你给的所有反馈。而且我猜在某些情况下，它会更差，就是AI出现之前的版本比你现在能从现有AI那里得到的还差。
-
所以我觉得这事最后可能会有点复杂，因为也许在某种程度上，我们已经有这个了，只是工作质量不太高。但显然在某些更高质量的工作上，我们还达不到人类水平。
-
但我基本同意Charlie和Beren，也许，对，一年左右我们会有某个版本的这东西，还凑合，也许会有那种形态，有些事能做得很好，有些事做得不太好，然后从那里开始不断改进。
-
就像，我们一直在根据一条很长的长尾不断挪动球门。
-
就像，我记得你之前用过这个例子，比如报税之类的。
-
今年我 literally 就直接让 Codex 去把我需要做的所有东西都弄好，然后发给会计师。
-
而且有一大堆东西它得用电脑点来点去，还得下载一些东西。它没做。
-
结果还挺好的。完美。
-
所以，我也不知道。
-
很多东西它已经能做了。对。好吧。
-
给你带来10倍的整体生产力提升。
-
基本上，如果现在你要花一年才能取得一个突破，那你每个月都能取得一个突破。
-
我想我会直接拒绝给你一个标量。
-
在某些类型的工作上，我们可能已经超过那个了。
-
比如说你只是想证明，你在做某些类型的数学。
-
对你们这些AI研究员来说，是想推进AI研究的进展。
-
因为我们的AI研究被加速了多少？对。
-
被提升了。
-
大概五到十年吧。哦，真的吗？好吧，那还挺远的。
-
嗯，你觉得这比一般的远程工作者还要久？对。有意思。
-
我意识到你们对“完全通用的远程工作者”的定义可能很不一样。我本该说清楚的。对，确实。
-
因为显然，一个AI研究员也可以是远程工作者，所以就像。
-
对，不是，我想的是普通白领工作，一个月的时间跨度。
-
我觉得超过一个月之后就开始有点分化了。
-
一个非常能干的白领工作者，但不一定是那种超级有创造力的研究员。
-
我会说大概两年。两年？对。10倍？好。你呢，Baron？
-
我其实能想象这种情况，因为现在光是写代码这块就已经肯定超过10倍了，所以如果它哪怕能跑一两个实验反馈的循环，那已经是很巨大的了。
-
所以AI研究员的生产力在两年内提升10倍，如果你把它套进一个非常朴素的AI进展模型，看看有多少进展来自AI研究员，然后他们的生产力又提升10倍。
-
对，那从两年后开始，AI进展的速度就会急剧加快。
-
对，我是说，我觉得这意味着AI的进展不会卡在AI研究员做小实验的能力这个瓶颈上，也不会卡在别的什么瓶颈上。
-
当然，当然，但它就是快了10倍。肯定的，对。这可是件大事。
-
而且这也会帮到下一件事，让100倍加速来得更早，等等。
-
对，这个我愿意选更长一点。
-
那关键点是什么？
-
比如我吸收信息、对下一个实验做出贝叶斯最优决策的能力。有道理。
-
对，我是说，我假设你可以把其中一部分交给AI来做。
-
所以AI在决策上变得不错了，它跑了这个实验，得到了这个结果，它就跑下一个实验。
-
然后如果它能连着跑两三个实验都不崩，那其实就是一次很大的更新，很大的提升。
-
好，最后一个问题。
-
一个AI，在每一个可以在电脑上完成的工作领域里，都碾压顶尖的人类专家。
-
所以不只是AI研究，而是所有认知性的工作。
-
而且不只是短时间跨度的工作，而是哪怕要花三年什么的，AI依然会比人做得更好。
-
所以这基本上就是ASI了？对。好。
-
我会说大概三到四年。我靠？
-
我觉得这听起来没什么问题。
-
我是说，AI显然越来越受关注了。
-
所以这算是比较难的事情之一，但很多精力都在往这上面投。
-
而且对AI来说，这也不算最难的事情之一，因为它涉及大量代码和数学，而模型在这方面特别擅长。
-
也许对于那些涉及3D、空间和物理的东西，我觉得那会需要更长时间。
-
所以尤其是像机械工程之类的，现在还没得到最多的关注，那可能就要更久一点。
-
但它也包括一些领域，因为领域本身的性质，数据相对比较少，得边做边学这些数据。
-
比如说，它得变得比人还强，能在台积电当工程师什么的。
-
哦对，所以你得假设那个入职培训，对，你可以给AI同样的入职培训材料。
-
然后还有一些东西，比如更长时间跨度的学习，得解决一下，或者说，对。我会说5到10年。
-
基本上，对，你会觉得自动化AI研究差不多就是ASI级别的任务了。对，我也这么觉得。
-
对，我觉得世界上有太多事情，就算你有一个模型外部的记忆系统，就算上下文稍微增长一点，
-
但有些事从根本上说，就算你能自己查资料或者写笔记，你也需要不止一分钟才能做到。
-
对，我某种程度上同意，至少对实验室关注的那些东西来说是五年左右，但我觉得会有一个长长的尾巴，那些东西我理论上可以去学，但没人费心去做，计算机也没被分配去干
-
那个，所以对每一个人类专家来说，那可能都要更久。
-
没错，但我还包含了像能像人一样快速学习一个新领域的能力。我是说，我觉得那其实不一定必要，因为AI会拥有比任何人类都多得多的经验，对吧？这还不确定。
-
对，我觉得这是个很好的形式，让不同的专家来分歧、辩论、一起讨论，非常有成效。