Alex Zhang 谈递归语言模型、GPU Kernel 与智能体 Harness 设计
点播放，字幕跟着声音走
Subtitles follow the audio
逐句文字稿
点任意一句，从那里开始听
正在加载字幕…
-
哦，像，我特别喜欢Cloud Code，我喜欢Codex，我喜欢Pi，像，不，我喜欢Oh My Pi，我喜欢Prime Agent。
-
说实话，我觉得它们全都一样。
-
你知道，你的模型其实能做的多得多，只要你更努力去试，所以这是个技术问题。对对对，基本上就是这样。
-
我是说，我觉得有一点我特别想看到。
-
我很欣赏现在大家对那种参差不齐的智能有很大关注，因为它描绘了一个大图景，就是只要我们真的下定决心，我们就能做到。
-
但我有点希望，也许学术界应该有人来做这件事。
-
就是真的坐下来好好想想，如果我拿Astra来说，就算是现在最前沿的模型，也不够好在比如说一个月的时间跨度里持续、稳定地做好某一件具体的工作。
-
一万个智能体，88小时，监控300亿个token，按公开定价估算大概要4000万美元。
-
也许你得花个4000万美元才能得到一个结果，然后你会想，嗯，但这很让人兴奋。
-
我得说，确实，我们居然有选项可以往一个问题上面砸4000万美元去解决它，这真的非常让人兴奋。
-
在我们进入今天的节目之前，我有一条小小的信息要给听众们。谢谢你们。
-
如果你们没有选择点进来收听我们的内容，我们就没办法把你们这么明显想要的AI工程、科学和娱乐内容带给你们。
-
几乎每天都有人来找我们谈赞助，但幸运的是，你们中有足够多的人真的订阅了我们，让这一切在没有广告的情况下也能持续下去，我们想保持这样。
-
但我有一个小小的请求想拜托大家。
-
你能做的最有力、而且完全免费的一件事，就是点那个订阅按钮。
-
这是我唯一会向你们请求的事，而它对我和我的团队来说意义重大，我们每周都在那么努力地把InSpace带给你们。
-
如果你订阅了，我向你保证，我们会一直努力让节目变得更好。
-
现在让我们进入正题。
-
好了，我们现在在演播室里，和Alex Zhang在一起。
-
我想他最出名的应该是RLMs吧。
-
不过你还有几个别的身份。欢迎来到节目。谢谢，谢谢你的邀请。
-
我猜还有GPU mode吧？对，还有GPU mode。
-
你是被Mark Seraphine引荐进来的。
-
不是每个人都能得到这种待遇。
-
我跟GPU mode里的所有人都非常非常熟。
-
所以我们经常以各种不同的身份一起做事。
-
甚至已经超出了GPU mode本身。对。我们能解释一下这个吗？
-
那些跟这个圈子不太熟的人可能不知道。它其实是个Discord。
-
它以前主要是聚焦在，我猜是Cuda mode上，后来稍微泛化了一些。它是Mark创办的。
-
对我来说，它基本上就像是PyTorch团队的招聘渠道。
-
后来他离开了PyTorch。对，对，对，没错。
-
所以它以前是，我想它其实大概是我上大学那会儿创办的，差不多2023年吧，我记得是Mark Andreas和Jeremy Howard创办的。
-
最初的出发点就是，它是一个GPU，或者说是一个专门用来学习怎么写GPU kernel的Discord，他们还会办讲座。
-
基本上就仅此而已。
-
我当时对它感兴趣，是因为我正在写GPU kernel。
-
其实那完全是出于偶然。
-
我当时在Snapchat实习，然后——对REXIS特别无聊。
-
所以他们有个项目，他们感兴趣的是写，是一篇叫Infinite Tension的论文。好像是谷歌的一篇论文。
-
对，我们在Paper Club上讲过它。
-
对，对，所以我当时感兴趣的是，在Snapchat能不能为它写专门的kernel。
-
结果没成，什么都没搞出来，不过我那时候加入了GPU mode。
-
它当时叫CUDA mode，我猜是因为法律原因还是什么的，他们改了名字。
-
但我在那儿认识了Mark，认识了Matei，还认识了一堆在社区里特别活跃的人。
-
然后Mark提出了一个叫popcorn的想法，就是现在你看到的那个排行榜。
-
但大致的想法是，我觉得我们所有人都有这么一种直觉，就是GPU编程跟——如果你们做过那种竞赛编程的话，很像，我不是说这些技能可以互相迁移。
-
你有各种约束，你得稍微code golf一下。对对对。
-
其实人们做的优化空间小得惊人。
-
而且说实话，人们感兴趣去优化的kernel其实也没那么多。
-
所以我们就有这么个想法：如果你有足够的数据，就像Codeforces那样，上面有几百万道题。
-
如果你能对GPU代码做同样的事，你就能规模化、自动化GPU kernel的开发，这对研究者来说是天大的事。
-
因为我觉得最大的瓶颈之一——比如你看Mamba，他们发论文的时候是带着kernel一起发的，因为不然的话你根本没法真正用起来，你懂吧？
-
而且不是每个人团队里都有个Triton大神。
-
所以我们对这个特别感兴趣。
-
KernelBench差不多也是从那儿衍生出来的，就是：我们能不能让大语言模型来自动写GPU kernel代码？
-
我觉得那真是段非常非常开心的时光。
-
那是在大学和读博之间。
-
对，我在GPU mode做那些事的时候真的特别愉快。
-
所以现在我就偶尔帮忙讲讲lecture什么的。
-
我没那么深度参与了。
-
而且我觉得，总的来说，我们现在办的比赛没以前那么多了。
-
不过呢，我跟那边的人还是经常保持联系的。你们之间有没有那种友好的竞争关系？
-
因为我觉得以前做这类事情的社区就是MLSys、MLPerf那些。你们之间有没有友好的竞争？
-
这算是新一代的MLPerf吗，还是怎么回事？
-
GPU mode好的地方在于它同时也是一个社区，很多讲座对初学者来说都很容易跟上，可以提问什么的。
-
而且那些比赛某种程度上，不是说次要，但你可以通过参加它们来学习。
-
我觉得像很多MLSys、MLPerf的benchmark，大部分情况下，至少只有正经的实验室和公司才会认真参与。
-
这是我理解的情况。我可能说错了。
-
不过我觉得，现在除了GPU mode之外，还有一件特别让人兴奋的事，就是有越来越多的网站和人在做承办比赛这件事。
-
我记得有个网站叫Leet GPU还是什么的，就是GPU问题版的LeetCode。
-
我还见过其他一些类似的。
-
有很多都是从GPU mode衍生出来、在GPU mode上聊过的。
-
这特别让人兴奋，因为我觉得GPU编程以前超级小众。
-
我当年对它感兴趣的时候，我之所以会感兴趣，唯一的原因就是Treedow在普林斯顿做了一场讲座，因为他当时在申请教职。
-
我是说，他现在已经是那儿的faculty了。
-
但我听了他在2023年讲flash attention的那场讲座。
-
我当时就想，哇，这简直是有史以来最酷的东西。
-
我就觉得，这才是所有人都该去做的事。
-
我猜那时候VLM之类的也出来了。
-
然后就想，哦，你知道，我们应该去写kernel。
-
但现在呢，你知道，人人都写kernel，真的是人人都在写。
-
我觉得作为一个领域，它某种意义上其实已经快饱和了。
-
对于想入行的人，你有什么有意思的建议吗？
-
我觉得最大的新闻之一就是GPT 5.6写出了更高效的kernel。
-
所以Terra和Luna可能能便宜80%。
-
对，然后我们还看到其他一些比赛，有人在那儿破纪录，说我们在跑某种自动研究循环，而这些人根本没有写kernel的背景，对吧？对。
-
所以就算在GPU mode的排行榜上，你要是看最近很多题目，几乎所有的解法都是AI生成的。
-
不过你会注意到排行榜上，有个叫Gownerst的人，他是GPU mode非常非常资深的成员。
-
我们早就知道他是个超级超级厉害的GPU kernel写手。
-
我们在这个排行榜上发现的一件事是，几乎每一个——他其实也用AI帮他做这些解法，但大部分时候是他来提示、把它往某些方向上引导。
-
我们发现他的kernel基本上是前十里唯一一个在实际端到端系统里真正稳定的。
-
这就让人不禁要问，倒不是说，我的意思是，GPU kernel有个验证问题，这个我们早就知道了。
-
从kernel bench发布以来就一直是个问题。
-
有很多reward hacking在发生。
-
但你也会注意到代码行数小了很多。
-
这个明显吗，还是说只是？
-
对，不，这绝对是非常重要。
-
而且我觉得很有意思的是，擅长这个仍然有很大的alpha。
-
好，所以跟vibrate之间是有差距的。确实有。
-
对，我觉得，而且这也适用于很多AI系统。
-
就像，我觉得，你知道，就算是最近那些数学证明之类的，也不一定意味着数学家就过时了。
-
我是说，这些公司还是会雇数学家来做，不管是数据标注的工作，还是说引导模型去解决问题。
-
就是，在这些事情上有知识储备，仍然有很大的alpha。
-
这仅仅是知识的问题，还是说也有更多规划的成分，或者说有一种更好的、涌现出来的规划方式？
-
我觉得这是混合的，也许这就是你说的那种对如何解决问题的直觉。
-
比如说，我总是把我的代码画成图，对吧？
-
然后，如果图里有哪部分我不理解，我就一直琢磨到理解为止。
-
不然的话，就不行。对对。
-
所以我觉得这是这些东西的混合，就是那些工作的人。
-
那些知道怎么看待这些问题、怎么解决它们的人，也知道怎么用AI来做这些事。
-
因为你扮演的是一个非常强的验证者。
-
如果你有知识，或者你知道该怎么做，同时你也——
-
我觉得我们从这些agent swarm之类的东西里发现的一点是，当你往一个问题里投入足够多的算力时，你就能充分地探索这个问题的解法。
-
但很多时候，你知道，也许你可以在某件事上烧掉一千亿甚至一万亿个token。
-
但如果你找来一个对这个问题有所了解的人，他们能为模型揭示出一些东西，直接省掉那一万亿token的开销。
-
我是说，这里的趋势到底是什么，其实还不太清楚。
-
但我觉得，现在现实中还有太多我们想解决的问题，而我们没法总是往上面砸尽可能多的算力。
-
所有这些东西仍然有一个效率的层面，这一点非常非常重要。
-
有没有一个理论上的正确答案，你可以直接根据物理算出来，然后你就接近物理极限了？有的。
-
所以对于GPU kernel来说，你是可以计算的。
-
其实有时候计算起来没那么容易，取决于问题有多复杂。
-
对于矩阵乘法来说，这个非常容易算。
-
就是那种类似光速的估算，看最快的kernel能有多快，而且这也假设了，你知道，
-
也许你所有的数据都从CPU开始，或者从GPU上的DRAM开始，等等，这些会稍微改变这些数字，传输啊所有这些事情。对，但我要说的是，很多情况下其实并不清楚，
-
到底有没有可能达到这个理论数字，如果这么说能理解的话。
-
因为这假设了完美的数据重叠和传输，而且可能有些瓶颈是你绕不过去的。
-
但通常kernel连边都沾不上。
-
就是我们写的那些，离这个数字差得远，根本谈不上有什么意义。对。
-
那重要的是速度吗？
-
你也会关心内存吧，内存显然会影响速度，你关心功耗吗？
-
所以我们今年最火的播客之一就是Jeff Dean，他说，其实我只追踪微焦耳或者纳焦耳、皮焦耳。
-
对，通常我觉得是皮焦耳。
-
你关心这个吗？我不关心。
-
我猜可能我没那么——这里一切都是速度，对吧？没人在数皮焦耳。
-
但这里有个前提，我觉得速度要分单个kernel的语境和更大问题的语境，比如端到端的模型，因为有一点要考虑，这也是为什么说清楚光速指的是什么很重要，
-
因为在这些情况下，对于kernel来说，我们总是假设一切都在HBM里，比如说，但你可以想象一个端到端的kernel，就像一个端到端的模型，
-
你在两层之间可能想做的是，牺牲第一个操作的速度，把东西留在缓存里给第二个操作用。
-
而这些事情你是没法从这种孤立的kernel里得到的。
-
人们把这叫做融合问题，或者kernel融合问题。对，或者mega kernel之类的。
-
而且大多数情况下，它一般只在你受限于内存的时候才适用。
-
但这也是一个问题，就是随着这些模型变得更好，我们是不是就应该直接生成mega kernel？
-
这是不是我们想要的那种？你怎么看？
-
我觉得这真的很难，因为你需要数据才能做到这一点。
-
而且我觉得，我还没在现实中见过这样的例子，就是在没有任何示例的情况下，我们就能自己摸索出解决某一类非常困难问题的能力。
-
而且我觉得，另一个让我认为这也许没那么有意思的原因是，在单个kernel这个层面上，它们没那么复杂，但你多少能确定，单个kernel里并没有那么多结构，但像在mega kernel里，我会更倾向于
-
相信编译器在这里会更好，就是某种编译器来处理更高层的操作会更合理，因为总的来说，其实我觉得mega kernel非常像是，那些部件非常可组合，就是由各个单独的kernel组合起来的，有些地方你可能想做些奇怪的融合之类的
-
但总的来说，我觉得这些情况编译器大概都能处理，而且据我所知有一家公司正在做这个，他们也在GPU mode上做过一些分享，对，我想基本上把GPU mode的这些讨论都归拢到这里，因为显然我们还有其他内容
-
需要继续聊。我觉得有个东西值得提一下，你们发了很多非常好的讲座，都在YouTube上，大家可以去看。
-
而且你主导了相当一部分，你现在还挺深度参与的？
-
我以前是，有时候现在也还会做。
-
我觉得现在主要是Mark，通常是Mark来讲，Matei有时候也会讲，不过对，我强烈推荐这些。
-
它们是非常非常好的资源。
-
我觉得大家在上面分享的东西多到有点疯狂。所以，对。
-
因为如果你在那儿，你就是非常非常，你就是最精准的受众，你懂吗？对，没错。这东西不会触达主流大众。
-
而且我们也放了很多入门材料在上面，我觉得对大家很有用。
-
Colonel Bench算是挺有影响力的。
-
我就想看看，那是去年的事了，你还有什么正在进行的工作想推荐大家关注的，因为显然你在这个领域里很活跃。
-
对，我大概讲一下背景故事，其实我参与了很多benchmark的工作，我以前，可能在我读博之前。
-
这事是从我在普林斯顿开始的。
-
我在那儿和Sweet Bench团队合作。
-
John、Carlos、Ophir。他们都很棒。我很喜欢他们。
-
对，基本上就是，我觉得大家不太了解有多少benchmark其实都出自同一个圈子。
-
对，在普林斯顿。你认识Shun-Yu吗？认识。对。
-
我们之前请他来播客上过。他现在好像在带10-7。
-
对，他现在简直就是个超级明星。我见到他的时候，他当时在指导我朋友Michael，Michael Tang，他现在在Anthropic，但他们经常一起合作。不过我们俩当时算是Karthik实验室里仅有的两个本科生。
-
后来也陆续有其他人加入。不过对，Shanyu很棒。
-
我之前一直不知道他这么厉害，是后来才知道的，就是我离开之后。
-
不过对，我是说，好吧，像你这样的博士生真的很少，你就是下一个。
-
差不多一年我们才会介绍一个这样的人，基本上整个博士期间做的东西都特别对路。
-
这样的人其实不多。
-
Shanyu显然就是其中之一。
-
然后，你知道，Jack Morris也是另一个。
-
而且，你知道，我们节目开始前聊过，我们聊到了研究品味，对吧？
-
就好像，有些研究生就是命特别好，基本上就是，对、对、对、对、对，这个会留下来、会很重要、大家都该知道。
-
然后其他人呢，就什么都没有。
-
我觉得这在工业界实验室里的人身上也是一样的。
-
我觉得只是研究生更显眼而已。
-
所以你就是会看到，你知道，有些人……对，你可以发论文。
-
有些人真的是运气好，或者说，我是说，这是运气加上非常聪明之类的综合结果。
-
我觉得研究品味也是一样，我觉得它是通过机会培养出来的，至少在我身上是这样。我很幸运走了我走的这条路，先在普林斯顿工作，后来找到了我的导师，MIT的Omar，他是个特别棒的导师。
-
不过我得说，我发现研究生或者学术界最成功的研究，往往出现在人们关心那些工业界大多数人可能没在看的问题的时候。
-
我觉得问题就在这儿，很多研究生做的东西都是为了对工业界的实验室有好处，看起来好看。
-
比如说，他们会去做某个基准测试，现在特别火。
-
我是说，我觉得2023年的基准测试和现在的完全是两回事。
-
有很多人做的是像harness这种东西，比如meta harness，或者针对某某任务的特定harness。
-
但你仔细想想，一个人不去做这个的原因，可能是因为围绕我们今天的模型，已经有一个很清晰的目标了，就是“这是我想看到的东西”。
-
但我就拿RLM，也就是递归语言模型那篇论文来举例吧，因为我觉得它是个超级超级简单的想法。
-
我觉得它刚出来的时候，也有很多人看到这种东西就说，这到底有什么意义？
-
他们会说，对啊，为什么，这什么啊，这不就是sub-agent之类的吗，对吧？
-
我觉得当你得到这种反应的时候，这几乎是个好兆头，因为这说明大家根本没在想这东西的意义是什么。
-
我再举一个例子，就是Sweet Bench，Sweet Bench刚出来的时候，Ophir特别喜欢讲这个故事。
-
它刚出来的时候，根本没人关心。
-
大家都说，这是个不可能完成的任务。
-
就说，我们为什么会把这个当成一个基准测试啊？
-
直到Devon出来，大家才说，哇，这是值得我们不断爬坡去攻克的东西。
-
我觉得这很真实，你会发现很多想法都是这样，我最喜欢的例子大概是Eric Seligman关于Star和Quiet Star的工作，我觉得你读那篇论文的时候，至少我第一次读的时候，我就想，
-
这难道不是个显而易见的想法吗？也许不是吧，我也不知道。
-
我是说，我当时就想，哦，这看起来真的很简单，或者像思维链也是一样的，或者像应该用react。
-
就是，好吧，对，我是说，当然可以，但你仔细想想，就会问，为什么，这篇论文的价值是什么？
-
我觉得它的价值在于，它讲了一个故事，关于你希望这个领域变成什么样，而这在学术界是非常难做到的，因为你看所有这些论文，Quiet Star、react、RLM、Sweet Bench，这些论文没有一个是，
-
它们不是GPT-6 Astra发布那种东西，你懂吧？
-
并不是所有人都会说，哦天哪，我现在就要用这个，这是世界上最好的东西。
-
学术界就是负担不起做这种事。至少现在是这样。
-
我是说，我觉得这应该改变，原因有一大堆。
-
但我觉得，作为博士生，如果你没有利用这一点，那你其实处在一个非常独特的位置，基本上你可以研究任何你想研究的东西。
-
如果你不利用这一点，反而去做那些没人在乎的东西，或者别人觉得是鸡毛蒜皮的事，比如，哦，我想过这个，但我不怎么用它。
-
我就觉得，到头来，这研究永远不会那么有意思，因为如果你想待在学术界，你就得下大赌注。
-
因为不然的话，我觉得，那你就去工业界的实验室好了。
-
你知道，他们有海量资源，海量人才。
-
为什么要在一个你没什么资源、周围甚至都没多少人的领域里限制自己呢？
-
我觉得这真的就归结为，下大赌注。
-
但你就是得下大赌注，而且很多都会失败，你知道，这很自然。
-
但我觉得，作为博士生，这就是你比别的实验室任何一个人都有的最大优势，因为你不用应付官僚体制和那些乱七八糟的事。有道理。对。
-
我问过很多人这个问题，通常他们都是含糊其辞地带过去。
-
所以我觉得很感激你真的给出了一个深思熟虑的回答，就是说，不，这就是你的不公平优势，因为其他一切基本上都对你不利。
-
对，没错，所以，说实话，我会拿Jeff当例子，因为它不是一个学术项目，我想提这个是因为RLM也发生了同样的事，很多其他工作也是这样，东西会被过度炒作，对吧，某种程度上，某个东西被过度炒作了，然后人们就说，为什么
-
这个被过度炒作了，这明明很trivial，这很蠢，我在Jeff身上也看到了同样的事，因为我觉得那次发布就像，我是说，关于学术界有一整套说法，或者他们不是学术团体，但人们得做品牌，得某种程度上推销自己的研究，所以我
-
能理解，但我觉得有很多讨论说Jeff不过是我们早就知道的东西，我觉得这有点没抓住重点，就是为什么这样一个系统这么有意思，为什么它不只是某个愚蠢的MLP分类器，就像我们当年在机器学习入门课里做的那种东西。
-
我觉得Jeff真正有意思的地方在于，它打开了这个问题：语言模型是正确的吗？
-
就像它们现在的形式，我们能不能考虑一个不同于文本到文本的设计空间？
-
就他们现在这种形式而言，我们能不能考虑一个不同于文本到文本的设计空间呢？
-
他们做的事情基本上就是在说，我要利用这个语言模型的骨干。
-
我知道它捕捉了大量关于语言的信息，但我要改变模型的输出空间，给你一个权衡，就是如果你对这个问题有一些先验知识，我就能做非常非常快的推理。
-
比如说我只需要做一个二分类。
-
难道我要让我的语言模型来做这件事，然后付出400倍的成本吗？
-
不，那太蠢了。
-
我觉得很长一段时间里，因为实验室是唯一掌控这些东西的地方，你永远不会用GPT-6或者Fable以外的东西，因为它们是最好的模型。
-
但正因为如此，人们已经习惯了这种想法，就是语言模型就是一个自回归解码器。我们已经接受了这一点。
-
我觉得RLM出来的时候也是一样的情况。
-
我收到的一条评论，一个非常常见的批评就是，这不是一个语言模型。
-
或者说，当我看到这个的时候，我以为这是一个新架构，但其实不是。
-
而我的回应是，语言模型就是在对语言建模而已。
-
它不一定非得是这个transformer解码器，你懂吧？
-
而Jeb真正非常有意思的地方在于，我们现在有了一个新的可以调的东西，就是输出空间是什么，以及这如何影响推理延迟？
-
我觉得我们其实可以开始对语言模型本身的各个部分提出这个问题。
-
我们在循环transformer上也看到了这一点。
-
它是一个类似的想法，围绕它的很多关注都是，这是个蠢主意，谁在乎这个啊，但它确实是一个简单的想法，但它实际上打开了一整套全新的问题，我觉得尤其是如果你是博士生，这些就是你想回答的问题，因为我
-
觉得就像我们对Jev，比如说，我们不知道我们能把这个推到多远，对循环transformer我们也不知道能推到多远，如果你只循环模型的一部分呢，如果你路由到，比如说你有一个路由器指向模型的不同部分呢。
-
就像你能不能模仿你在harness里做的事情，把它放到模型内部？
-
你能在harness的选择和模型架构的选择之间搭什么桥？
-
这些都是我觉得像这样的工作打开的问题。而这真的非常令人兴奋。
-
尤其是Jev，我看到它的时候就想，这对RLM来说其实真的很有用。
-
我觉得这很合理，因为RLM或者swarm或者这类系统最大的瓶颈就是它们很慢。
-
当你一直在做多次语言模型调用的时候，你其实没有正确地分配你的算力，因为也许有些很琐碎的事情你只想让一个简单的模型去做，但你做不到，因为你的语言模型就是这么个笨重的东西。所以我非常兴奋。
-
我觉得我们会开始看到新型的模型出现，不再只是那种标准的前沿模型。
-
而且就是，有了这些新的权衡取舍，你能做的事情太多了。
-
我还要提一下Thinky和他们的interaction model。
-
对，又一个很好的例子。
-
对，所以基本上就是试着打破从sequence到sequence、decoder only这个范式，就真的去做点别的。
-
这里面有个层次的问题，如果你想竞争，你是竞争不过一个做自回归decoder的前沿实验室的。
-
就是他们拥有的算力扩展资源，连Thinky都不会，你知道吧，好吧，可能他们是为数不多能做到的之一，但那种情况下你也做不了什么。
-
我对Thinky了解不太多，或者说我也不想说什么，但就是，如果他们的策略只是复制OpenAI或者Anthropic，那这策略太糟糕了。
-
因为就是，我是说，他们就是没有，你得从你有啥优势这个角度去想。
-
如果你要用同样的配置，我确信他们不是，但就是，如果你要做同样的配置，你基本上就是在你能控制的东西上竞争，也就是数据和算力，而显然他们在那方面竞争不过前沿实验室，所以。
-
对，如果你是一个Neolab的话这很合理，其实我不知道你会不会把他们算作Neolab，但我猜就是。
-
他们就在那个行列里。
-
我猜他们算是比较奇怪的一个，对。
-
他们在那份名单上，他们应该inkling，就是他们不行。
-
除了OpenAI、Anthropic，也许还有Meta和GDM之外的任何一家，你就是得做点别的东西。
-
你知道吧，就是，这就是残酷的现实。
-
但我觉得，我其实觉得这是件好事。
-
我特别高兴，因为规模效应确实管用，这些公司就会一直这么干下去，因为这会打开一些潜在的新玩家的机会。
-
比如说他们要是发现了什么特别特别有意思的东西，因为我其实有点怀疑这种事在Frontier Labs里是不是真的在认真搞。
-
因为你想，你干嘛要那么做呢？
-
你知道吧，就是当老的那一注已经赢了的时候，你干嘛要冒险把大量算力投到新的赌注上呢。
-
所以我觉得这就是催生出一大堆NeoLabs的原因，对吧？
-
你有个副线下注，又拿不到算力，你就想，行吧，我走，我走。没错。
-
然后你说的那个潜在收益的例子，就像Jev，便宜了几百倍，你知道吧，它出来了，也许它就是个语言模型。
-
在这个情况下，它就是不一样。对对对。
-
所以就不猜Jev到底是什么了。
-
我猜我对它可能是什么有一些猜测。
-
我看到有些人说，哦，它像是个扩散的东西。
-
我猜那——也就是并行解码。对，并行解码。
-
说实话，我觉得不管它到底是什么，因为我觉得你可以，我见过一些开源的复现版本。
-
他们做的事真正让我兴奋的地方在于，我不太确定他们的优化目标是什么，以及他们是怎么训练的。
-
而且我觉得，这也是我们一直在琢磨的关于RLM的一件事，就是，好吧，RLM是个非常简单的想法。
-
要是我把这论文发出来，现在谁都能用。
-
但真正决定一个RLM实际价值的是，你能不能把它训练好，以及你能不能围绕这个系统塑造出某种架构，让它变得非常非常强。
-
而这正是，我是说，我猜我自己正在积极做的一件事。
-
但我觉得对他们来说，他们找到了训练这个系统的方法，这完全不简单。
-
我其实真的不太知道他们是怎么做到的。
-
我在网上看到过一些对比，你知道，有些人声称他们用的是Quen，或者是在Quen基础上做了后训练。
-
但你用的每一个开源Quen都会更差，因为他们训练它时做的那些事情显然效果非常好。
-
所以这真的非常令人兴奋。
-
这里面有一个校准的要素，这是个很少被谈到的话题，我觉得人们甚至都不知道或者不理解它。
-
我们在和Hugging Face的Clementine Fourier聊天时聊过这个，她以前负责Hugging Face的评测，基本上就是说模型被训练成给你最可能的下一个token，但当你问它们有多大信心时，它们会对你撒谎，
-
因为它们只会给你最可能的下一个答案，而不是真的说，不，我们来校准一下，我其实有50%的把握，我有20%的把握，然后我们试着去校准它。我想说，如果真要说的话，我觉得围绕这个生成合成数据其实挺容易的，
-
因为你能看到真相，然后合成——他们生成一堆答案，让Jeff去分类，再和真实答案对比，那就会是我的逆向工程。
-
对，我其实觉得校准可能是被低估的——人们只是把它当成一个非常快的分类器来用，但实际上他们甚至都没用到那些概率或者校准估计值。
-
我觉得它还是被误解了，再强调一遍，当你问一个模型你有多大信心时，
-
它会吐出一个43%。
-
最大的区别在于，这是一个有依据的分类。对。对。
-
我非常期待看到人们用这个模型做出什么来。
-
我是说，它能解决一切问题吗？不，当然不能。
-
但我觉得它解决了一类我们传统上一直很难搞的问题，就是低延迟的那些事情。
-
所以我特别喜欢那些游戏的例子。
-
那真的，我是说，我——对，那个Doom的例子，非常好。
-
我有一个关于语言模型玩电子游戏的基准测试。
-
我一直很着迷于你能不能有一个智能系统去玩新游戏以及这类事情。
-
所以我觉得他们能有这样一种独特的方式来做这件事，把语言和理解捕捉进一个快速的、非常非常快的模型里，真的非常非常酷。
-
既然你聊到这个话题了，关于电子游戏你有什么想指出的吗？哦，对，对。
-
我是说，你知道，你确实做了一个关于任何、任何社区的基准测试。
-
我猜这些数字现在已经非常过时了，因为很多模型都已经很不一样了。
-
而且我实际上看到有人跑过，外面有一些人在这些游戏上跑更新的模型，这真的很酷。
-
我猜这个基准测试的大致前提就是，我们只是想看看视觉语言模型在把延迟限制也算进去的情况下，接入游戏到底够不够好。
-
因为，这个其实是我在Claude Plays Pokemon出来之后马上就做出来的。
-
所以这大概是两年前的事了，我猜现在这已经算是上古时代了。
-
但我觉得这套任务真正非常非常酷的地方在于，就游戏本身而言，它非常多样。
-
而且我觉得大多数游戏都是人们知道或者以前见过的游戏。
-
我看到了，对，Jev在玩Doom。
-
我得说，我不觉得，我觉得他们只是在玩那种非常简单的关卡之类的，但说实话，大多数模型其实还是做不到，或者我其实不觉得有任何模型能有意义地通关这些游戏。
-
比如有些游戏它们是能通关的。
-
我记得我见过Astra能通关那个Kirby游戏。
-
而且我们做这个基准测试的时候，还特意设计了一个非常极简的harness。
-
我待会儿会讲到harness这一点，因为我觉得关于harness有一整段对话可以聊，比如harness的价值到底是什么？
-
harness对模型来说到底有什么意义？
-
但总的来说，我觉得，对，我希望很快或者不久就能看到所有这些游戏都被更新的模型拿下。对，这挺有意思的。
-
就像以前那个老的Claude Plays Pokemon，它们会从RAM里读取状态，还有哪些格子可以走之类的。
-
我们很久很久以前跟他们做过一期播客。明白了，明白了。
-
对，我是说，这很类似，对吧？
-
就像Jeff没有视觉能力，所以你得把那些游戏状态之类的东西喂进去。
-
我是说，咱们直接聊harness这些东西吧，因为是你先提起来的。
-
语言模型的harness是组合式泛化器。对。我要把这句话读出来。对。好，好。
-
所以我对人们怎么看待harness一直有点不太满意，因为大家比较的时候就说，哦，我喜欢Claude Code，我喜欢Codex，我喜欢Pi，就，不，我喜欢……
-
哦天哪，我喜欢Prime Agent。
-
说实话，我觉得它们全都一样。
-
这些harness的大部分设计决策，或者说设计选择，都是一样的。
-
可能Prime Agent稍微有点不同，因为它本质上就是个RLM，但总的来说，我觉得我们在harness上可以更有创造力得多。
-
我的意思是，如果我们从这样一个角度来想——harness到底在为模型做什么？
-
基本上，当你想解决一个问题，想用一个语言模型来解决它，一个非常困难的任务。
-
我们发现的一件事是，下一token预测对于做很多这类任务来说，是一种非常非常别扭的形式。
-
比如说，拿SWE-bench来说。
-
当你在一个代码库里导航的时候，你能靠单次语言模型调用就把这一切都搞定吗？
-
就像你直接说，帮我解决我在这个代码库上的查询。
-
不行。所以我们依赖harness来帮你做这些事情。
-
我觉得有意思的是，harness其实是一个非常非常有主见的程序，规定了你想怎么把一个语言模型贴合到一个问题上。
-
我提这个是因为，当我们想harness在做什么的时候，我们真的应该想想，harness里的哪些选择让语言模型能解决这个任务？
-
以及我能不能干脆就让一个语言模型直接做这件事？
-
因为harness，你想想，现在循环transformer已经成真了，我觉得真正有意思的是，你在某种程度上也可以用harness来建模一个循环transformer，对吧？
-
你现在只是在循环跑这个模型。
-
你可以说，我不是在解码，所以有点不一样，但总的来说，我们不知为何一直固守着同样的模型架构选择，永远不变，而我刚刚也给出了为什么这样的理由，但很明显，我们现在已经在围绕harness的rollout来训练模型了。
-
所以现在用harness来做训练的方式非常别扭，就是我们训练一个语言模型在harness里行动，但现在这变成了一个非常长的、可能是多智能体的rollout。
-
而且做这件事的方式真的很别扭、很取巧。
-
所以这篇博客讲的是，嗯，你可以这样理解这里发生的事情：如果harness基本上是在帮模型解决某个特定任务，
-
那不同的harness设计选择，能不能做点更有意义的事，而不只是“这里有一些能帮你的工具调用”？
-
比如“这是一种在你的代码库里grep的方法”。
-
所以其实这篇博客的想法是和RLM的想法一起出现的。
-
我们只是没有那样包装它而已。
-
我觉得这确实是真的。
-
围绕RLM还有很多其他想法，我们会陆续发布出来，但它们从一开始就都在那里了。
-
我的意思是，这些都是设计决策，我觉得我喜欢RLM的一点是，我感兴趣的不同抽象有过很多很多很多次迭代和版本，最终RLM最说得通，
-
但之所以是这样，有很多原因没有公开。
-
我的意思是，你会看到的，所以在这个例子里，我们在RLM身上看到的一件事是，如果你充分地把上下文卸载出去，让模型在这个上下文之上写代码，你会得到一个非常非常奇怪但有用的性质，那就是当模型在训练中认识到
-
如何解决一个任务时，结果发现很多任务的解法非常相似，甚至是在那些你都不太清楚解法是否相似的任务之间。
-
在这个例子里，我们有一个检索任务和一个聚合任务，它们的查询非常非常不同。
-
就是领域完全不一样。
-
当你在这两个任务上训练一个普通语言模型时，轨迹看起来非常不同。
-
所以当你比如说用Pi或者Cloud Code之类的，这个不在博客里，但我们确实有这些结果。
-
你会发现这些harness在这些问题之间区分得太过了，尽管解法是一样的。
-
所以我们训练RLM时发现的一件事是，它会把这些问题看成是一样的。
-
而它把这些看成一样的原因，是子智能体看到的是不同的问题，但子智能体在解决一个更简单的子任务。
-
所以你有信心它足够聪明，能做到这件事。
-
但就整体的基础策略而言，它们最终看起来是一样的。
-
所以比如说你在左边的任务上训练，它就能立刻解决右边的任务。
-
如果你去看我们给出的那些图，你会观察到一件事，就是你只是很朴素地在这些任务上训练你的RLM，它们自然而然就学会了泛化，比如说泛化到更长的任务，因为策略基本上是一样的。
-
你只是在改一个长度变量而已。
-
这其实对不同的任务也成立，而且它们不是长度上的不同。
-
它们是完全不同的任务，数学任务和写作任务。
-
但解法，那个高层的元解法是一样的，所以当你在其中一个上训练RLM时，它会把这种行为泛化到第二个上。
-
这里面没有什么魔法。
-
我想这可能就是我想强调的一点。
-
你会怎么去描述它们到底在学什么？
-
我注意到你这里说，你在短任务上训练它，它们能泛化到长八到三十倍的东西。
-
它们是在学怎么解决这类问题，还是说它们真正学到的核心东西是什么？
-
它们是在学怎么在某个长度上解决这类问题。
-
而事实证明，当你把它们学到的这个策略拿过来，它是可以直接迁移到更长长度上的，它们实际上就是同一个程序。
-
这一点真的很令人兴奋，因为这某种程度上意味着，当你有一个数据语料库或者环境来训练你的模型时，希望在于，第一，
-
你可以用更少的环境来训练，并且比现有模型通过朴素训练或者现有harness所能做到的泛化得更多。
-
但第二，你仍然想用上你所有的数据。
-
所以当你在这些任务上训练时，希望它能泛化到更广的一类问题上。
-
而这件事之所以更令人兴奋，至少在RLM或者任何递归调用系统的语境下，是因为这个论证是归纳成立的。
-
那我举个例子吧，因为我刚才说了，我主张竞赛编程和GPU优化用的是非常相似的技能组合。
-
模型可以，或者说harness有可能可以，我的意思是，你可能得往某个方向推它一把，但它能学会，就是，好，我解决这个GPU编程任务的思路，跟我为竞赛编程学到的东西非常相似。
-
所以我会列出一组解法。
-
我会生成一些agent来列出有希望的解法，然后我会写这个循环去逐个检查这些解法，也许对它们做进化，对着一个验证器来进化。
-
而在这两个任务之间，这看起来是一样的。
-
但那些子agent在做的事情可能是独特的、不一样的。
-
但就连子agent在解决的问题，其实可能也是同样的形式，对吧？
-
因为这是一个递归的论证。
-
所以我在整篇博客文章里想表达的就是，我们应该重新思考harness的角色是什么。
-
因为harness其实可以极大地提升你模型的泛化能力，以及它能获得的数据量。
-
而这并不只限于RLM。
-
我觉得还有一大类harness尚未被发现，它们其实能产生类似的性质。
-
再把这个论证往前推一点，我觉得你还能从中推断出的是，如果我看一个RLM，一个RLM里哪些组件其实是必需的？
-
以及我能不能直接训练一个模型来做这件事？
-
我能不能训练一个模型，让它在自己的前向传播里隐式地充当一个RLM？
-
这事儿想起来真的很奇怪，因为你知道，你可能会说，啊，代码是不可微的，等等等等，但这类行为有很多近似方式，我们会开始把它们发掘出来。
-
而且我觉得，我们会看到的不只是，我要设计一个新的编码harness，用某种特殊的压缩形式之类的。
-
我觉得我们在这里可以更有创造力得多。
-
就是，用这些语言模型我们能做的事情太多了，我觉得我们就是没在做。
-
而我对这个非常兴奋，因为我觉得，通过非常非常有主见、设计良好的harness，而且这种设计本身更利于扩展，我们能获得实打实的收益。
-
我这么说是什么意思呢，就是比如说RLM，它其实是一个非常原始的归纳偏置。
-
就是它的设计本身没什么特别了不起的地方，只不过它跟我们现在的做法非常不一样。
-
但这个东西，可能会随着我们手头可用的数据和环境，扩展得好得多。
-
我猜人们大概会问的反过来的问题是，现在的harness都非常偏向编码，而大家看到这在很多领域都管用。
-
Cloud code现在被用来做设计、做演示文稿，什么都干。
-
MuseSpark、Grokbot，这些都是非常简单、没什么主见的harness，它们擅长写代码，而且也在往外扩展。
-
那我们要怎么改进这些东西呢，我猜？
-
对，让我再提一篇论文，是最近刚出来的。
-
就是那篇Harness Tax论文。
-
我觉得是Arena写的。
-
我特别喜欢这篇论文，因为它提出了一个我本来就有的先验，基本上就是说，大多数——它证实了一个先验。
-
对，就是大多数harness的选择其实都无所谓，因为这些harness全都是一样的。
-
但我要说，比如说Grokbot，按我的理解，它其实跟其他一些harness的设计相当不一样。
-
我特别喜欢这一点。
-
而且我觉得至少从这里能看得很清楚，就是我很确定Anthropic或者OpenAI都只在自家的harness上训练。
-
他们大概不会在竞争对手的harness上训练。
-
我是说，我猜不会，因为我想不出他们为什么要那么做。
-
但你知道，这是你在开源模型上能看到的现象，对吧，就是什么时候特别擅长用open code，对，需要在harness里训练，以前的gemma在这方面是出了名的差，对，模型是好，但你得在harness里训练。
-
不过我觉得，随着模型变得更聪明，或者说变得更好，这个区别就没那么重要了，意思是说，如果你把Astra放进open code里，它也不会疯掉，因为我觉得它就是足够好了。
-
我这么说是因为，这些不同harness之间唯一的差别，大部分情况下就是成本。
-
我想说的是，如果你把这些模型接到RLM里，它们其实还是没那么好。还行吧。
-
我觉得主要原因是，我们训练所围绕的那一类harness，就是这种循环，这种我喜欢叫做“轨迹即提示”的东西，意思就是你把整个rollout的轨迹都保留下来，作为主模型使用的上下文。
-
就算你用了子agent，它基本上还是这个形式。
-
我觉得，如果我们想探索新的harness，就需要有专门的团队去真正做有意义的实验，比如把新的harness扩展出去做后训练，针对不同的harness设计做扩展。
-
我觉得我们真的能从这种事情里获得很有价值的知识或者收益，不管是RLM还是别的什么。这很让人兴奋。
-
因为我觉得，比如说，如果在Fable上训练很久，它曾经是RLM最好的模型，因为它们有动态工作流。
-
而且很明显，这是一种某种程度上被训练出来的能力，就算模型还是有点笨，在RLM harness里，它还是比其他模型表现好得多。
-
Astra现在做这些事情也够好了。
-
但这就是我们看到Fable最适合RLM的地方吗，还是有别的什么？
-
哦不，这些应该都是内部结果。
-
对，我现在没有公开的。
-
但总的来说，我觉得你很容易就能看出来，我们还没有针对RLM工作流做优化。
-
我觉得如果我们有了能正确做这些的模型，它们也会高效得多。
-
我是说，你其实可以自己想一想，为什么会是这样，对吧？
-
我觉得到了这个点，你得用10秒钟讲一下RLM到底是什么，因为这里有很多听众默认自己知道很多背景知识。
-
另外我觉得，不过你已经铺垫了一些背景，所以你可以，就着咱们刚说的这些，能不能给RLM一个干净利落的定义？可以。好。
-
我想回到那篇博客，那篇讲组合式泛化器的博客。就这篇。好。好。
-
这篇简直是最好的。
-
我真希望我当初把它写进原论文里，RLM基本上就是一种harness设计，这个harness里唯一的工具就是代码，
-
也就是这种用程序调用子agent的方式，它可以选择把自己当作工具来调用，它也有其他工具，但所有这些东西都是代码里的函数，而且它处理的上下文总是存在这个代码环境里的某个内存中。
-
所以这可以是一个文件系统，比如说，我举个例子，Prime Agent，Prime Agent 的轨迹，也就是上下文，即使你做了压缩之类的操作，它也是存在磁盘上的。
-
所以模型随时都能引用它最初的上下文，即使已经被压缩过了，而且它所有的工具都是在一个环境里运行的，比如说一个 Python REPL 或者一个 Bash REPL。
-
所以这就像是那种非常原始的抽象。
-
我想说，大多数 harness 的区别主要在于，第一，上下文卸载不是那样做的。
-
我的意思是，如果你看 Prime Agent 的话，顺便说一句，Prime Agent 确实做了上下文卸载，但没有做到那么彻底。
-
所以它仍然保持着标准的 code、code、codex 那种把轨迹当作 prompt 的循环，然后你做压缩。
-
但它额外有那种上下文被卸载的机制，而 Prime Agent 唯一独特的地方在于它唯一的工具就是 IPython。
-
所以这就像是围绕 RLM 的那种非常通用的抽象。
-
具体来说，RLM 要解决的核心问题是什么？
-
我记得它刚出来的时候，有一阵子，是上下文帮助通过了那个问题。
-
对，所以最初的问题是 harness 在处理长上下文时表现非常糟糕。
-
它们以前通常只真正用于特定的东西，比如代码。
-
你知道，它们能处理你的代码库，因为模型是在代码上训练过的。
-
但现在更多是围绕这篇博客讲的东西，也就是组合性，以及这样一个事实，我觉得 harness，
-
我们想要的是语言模型系统能在每一步对自己的动作有更多的控制权。
-
我这么说的意思是，工具调用非常受限，因为你每一轮都必须去调用它们。
-
比如你必须调用工具 A，然后工具 B，然后工具 C，而且没有一个中心化的上下文可以让你回溯。
-
而 RLM 就是专门围绕组合来设计的，有一个你随时可以从中取用的中心化上下文。
-
而这个上下文是围绕现有的语言模型来设计的。
-
其实在设计上另一个非常相似的例子就是 agent 集群，比如说，Hugging Face 那次事件。
-
这些 agent 集群有一个留言板，它们学会通过这个留言板来交流，而这个留言板在某种意义上就是它们共同操作的共享上下文，而 RLM 基本上就是说，通过它来交流的最佳方式就是用代码，你写代码来实现这件事，因为
-
这些模型写代码实在太强了，我们就想利用这一点。
-
然后对于这种组合式的东西，一直到生成你自己的 harness，你知道，针对具体任务的。没错，没错。
-
我觉得我们会开始看到这一点，如果你往上看到这个数字的话。
-
所以我们谈到这个想法，就是对于一个 harness 来说，局部在分布内的任务。
-
它有点像是一个建立在分布内任务之上的想法。
-
当我们想到语言模型时，一个分布内任务就是这样一个任务：它的提示词是模型以前见过的，或者见过某个版本的。
-
大多数 harness 都像右边那个一样运作，就是它们不断把轨迹追加成提示词。
-
所以最终，除非你是 Anthropic 或 OpenAI，并且在这些用户轨迹上做过训练，否则这些东西大部分最终都会变成分布外的。
-
但局部在分布内基本上就是那个组合式的论点：如果一个 RLM 把它的计算分解成某种类似元 harness 的东西，或者一个包含子 agent 的程序，让这些子 agent 去看一个局部问题，
-
那么在这个任务过程中，每一次单独的语言模型调用都是在分布内的，即使整个任务本身是分布外的。
-
我觉得这是一个非常理想的特性，原因很明显，如果每一次单独的语言模型调用对每个任务来说都是在分布内的，那你大概率会得到正确的答案。所以。
-
我的意思是，RLM 的逻辑极限就是那种 RLM：你不仅写 harness，你还训练一个定制模型。没错。
-
你收集数据，所有的一切。对。
-
就像是在你的 harness 里面有一个完全自动化的 AI 研究员。对。
-
我们会看到 RLM 的训练会走向何方。
-
我要说的是，作为一个学术界的人，我并没有在 MIT 做这个，至少没有在大规模意义上做，因为我负担不起。
-
但外面有一些公司在做这件事。
-
我觉得 Prime 和 Select 很明显就在做这个。而且这非常酷。
-
比如我非常期待看到，也许我们会观察到，我不知道，但也许我们会观察到，当你围绕一个聪明的 harness 来训练时，会出现更好的后训练扩展墙。
-
也许我们甚至会看到更聪明的 harness 出现，它们围绕这类原则能工作得更好。
-
什么叫更聪明的 harness？这听起来没什么意义啊。你刚说它们其实都一样。
-
不，我的意思更多是说，像 code、codecs、pi 这些，它们的相同之处在于，当你拆解 harness 的逻辑时，它们几乎是同一个东西。对，两次调用加一个循环。
-
但有了 RLM 和其他 harness 抽象之后，看起来就非常不一样了。
-
而这就是我觉得真正能区分开的地方。
-
我的意思是，这就像语言模型架构选择一样，很多架构选择在你把它扩展出去之后，最终看起来都差不多，或者说差异最终变得有点微不足道——我是说对一个实验室来说不算微不足道，但你知道，也许一个模型收敛得
-
比另一个稍微好一点，但总体上说，比如说，预训练扩展定律之所以成立，只是因为我们现在有的架构选择目前还算稳定，对吧？但如果你彻底改变架构，预训练扩展定律可能就不成立了，或者说这类
-
这种幂律看起来会非常不一样。harness 也是一样的道理，我觉得我们现在有的所有 harness 大体上看起来都差不多，但也有一些例外，我觉得这些例外正在出现。我其实想说，我最近比较
-
感兴趣的一件事，你知道，他们在谈论那些冒大风险的博士生，就是人们也一直在追求另一边，也就是如果你改变数据，预训练扩展定律就不成立。现在数据只是原始的非结构化文本，一个互联网语料库。如果你有一个更好的数据表示来训练，
-
那你的能力水平也会随之改变。
-
所以有架构，有数据，还有你能想到的其他任何东西。
-
好吧，我只是想回到这一点上。这些都说得通。
-
很有意思的是，你在整个技术栈上上下下地递归，从非常概念化的层面到，嗯，这就是我们今天所处的位置。
-
但就像，对，显然你可以向上和向下扩展。
-
我有点好奇，你是怎么开始和 Prime 合作的？
-
Prime 在这件事上承担了更多工作吗？
-
这是他们对 Hermes Agents 的回应吗？
-
你提到了 Grokbar，它有点不一样。
-
我只是想把这些人一个个点个名，听听你对每个人的看法。对，对。
-
我是在 Prime 发布了一篇博客文章之后参与进去的，顺便说一句，那篇文章和我完全没关系，文章讲的是他们相信 RLM 在某种程度上就是未来。
-
我有个朋友在那儿工作，就是 GPU mode 的 Matei，我们联系上了，我觉得我很认同那里很多研究员对 harness 设计的看法。
-
我印象很深的是，他们真正理解了 Arlen 那篇论文的目的，那篇论文并不只是说我们在解决长上下文任务，而是说我们其实想要更有主见的 harness 设计。
-
对，论文里你选择去强调的结果，和它真正的要点，总是两回事。
-
是的，我很想聊聊学术界的激励机制，以及它为什么有缺陷、有哪些问题，这个我们回头再讲。
-
总之，我很喜欢 Prime 那帮人。
-
所以后来我们决定合作之后，就开始研究 RLM 的训练，同时也搭建这种 RLM harness，看看能把它做到什么程度。
-
Prime Agent 就是这么来的。
-
我觉得 Prime Agent 的反响还挺不错的。
-
我唯一担心 Prime Agent 的一点是，至少在我们做它的时候，没有任何一个模型特别擅长做 RLM 那套东西。
-
所以那还是在 fable 之前、Astra 之前。
-
我想往回退一步，你能不能解释一下 Prime Agent 是什么，它和传统的、你知道的，cloud code，大家预期的那种 harness 有什么不同？
-
好，Prime Agent，我想我前面稍微提到过一点。对，就是那个背景。
-
基本上，它是架在 Pi 之上的一个 harness，就是 Pi Mono，PyMono，说明一下，它是个极简主义的 harness。
-
我把 Py 当作一切的参照，因为我觉得其他所有 harness 基本上都只是 Py。
-
但它就是 Py，只不过我们明确限制 IPython 是它唯一可用的工具。
-
其他所有工具都是以 Python 模块的形式加载进来，或者像 bash 脚本那样，它可以去运行。
-
所以它是在 Py 之上用了核心的 RLM 抽象。
-
然后它还有这个 continual harness 的东西，那是 Seth，他是另一个博士生。
-
这是他以前用来让语言模型 harness 打游戏的东西。
-
比如，他和 Joel 合作很多，Joel 就是那个 Gemini Plays Pokemon 的人。
-
顺便说一句，continual harness 其实也非常简单。我挺喜欢它的。
-
它基本上就是围绕一个设计原则：harness 的哪些部分你可以让 harness 自己去改。
-
有些部分你会让它改自己的技能、它能用的子智能体、给模型的系统提示词，而 continual harness 基本上就是作为 IPython kernel 里的一个工具来用的。
-
所以这就是 Prime Agent 的核心，它就是围绕这个设计的。
-
Prime Agent 里其他所有东西都是——标准的。标准的。标准的，对吧？
-
对，我觉得我特别喜欢它的一点，而且我们也算运气好，就是很多新的前沿模型在里面其实跑得特别好。
-
而且其实，很多开源模型也跑得很好，至少一些比较新的开源模型是这样。
-
还有一点在 Prime Agent 里我得特别提一下，就是我们有一套非常特别的智能体对智能体通信系统或者说框架，因为 RLM 往往会生成很多子智能体，我们想要一种方式让子智能体能够跟根智能体、或者彼此之间通信。
-
所以围绕每个子智能体被允许跟谁说话、怎么说话，有一些设计上的决定。
-
再说一次，一切都是代码，所以它会写代码来做这种通信，我觉得这一点真的特别特别酷。
-
然后还有，我想，持久化子智能体是另一个后来加进去的东西，就是子智能体可以活得比原来那个智能体的标准运行时长更久，你可以进到那个子智能体里，继续给它提示词，你对正在发生的事情有更多的可见性和灵活性。
-
这是我现在用 Codex 最大的痛点。
-
它的子智能体就是非常短命，而且他们还主动劝你别拿它做长时间运行的事情。对对对。
-
我觉得这也能理解。
-
所以我的意思是，诀窍就是把它外化到文件系统，对吧？对，对。这就是诀窍。
-
这就是那个大诀窍。
-
还有就是强制一切都通过代码来跑，信任那个会写代码的模型，它自己就会写出自己的 harness。
-
那 Prime 会为此去做后训练定制模型吗？
-
这是你们之间的一次性合作吗？就这样？
-
对，他们也在训练一个模型，我记得他们其实还挺公开地讲过这件事，在三月份的时候。
-
我的意思是，这显然是他们自己的事。
-
对对对，所以，我的意思是，他们是在展示他们能在自己的托管训练栈上训练它，但不对，所以模型训练这块，
-
我没有参与他们那个。主要原因是，我在博士期间还有别的东西想做。我觉得除了更多的校友之外，还有很多其他大的赌注可以下。有些我，我还不知道能分享多少。但总的来说，
-
我其实觉得，作为一个博士生，真正的奢侈之一就是有那么多大的赌注可以下。
-
它们大多数可能什么结果都没有，但现在真的是做研究非常非常激动人心的时刻，尤其是因为我觉得这个领域的大多数进展都有点无聊。
-
我不是说结果无聊，而是做这些事情的过程往往相当无聊。
-
所以就有这么一个问题，你知道，我们接下来想做什么？但这个我们可以之后再聊。好，行。
-
我想再多聊一点你的研究，然后我们就可以把它发出来了。
-
自从你发布了 RLM，大家对它的热情很高。
-
有没有什么第二方、第三方的工作你想提一下，说大家应该去看看的？哦，有有有。
-
就是 Harvey，那家法律 AI 公司，发了一篇博客文章，跟我们完全没关系，但他们在自己的法律工作上后训练了一个 RLM，
-
那类工作往往涉及大量翻查文件，翻找各种各样的具体信息，这些信息可能不太容易用纯粹的检索系统检索到。
-
他们展示了非常非常好的结果。非常令人兴奋。
-
我的意思是，我挺震惊他们居然做了这个。他们都没告诉我。
-
所以这东西出来的时候，我就想，哦，太棒了。
-
所以有这一个，我觉得超级超级酷。
-
顺便说一下，他们在那儿做的事，我觉得是跟 Base 10 合作的。对，是 Base 10。
-
Headlong，也就是 Laude Institute 的那个，算是他们那种持续运行的 harness。非常酷。哦，他们改名了。
-
他们以前叫别的名字。
-
好像是 auto- Terminus。Terminus。对，我知道。
-
他们已经走过了，对。
-
所以这是 Andy Konwinski 的大项目。超级超级酷。我很喜欢 Andy。
-
我不想贬低他们在做的事，因为他们用的是 RLM 这个抽象，但他们做的事比 RLM 酷多了，就是他们有一个系统，他们管它叫持续思考之类的。
-
所以就算你不去查询它，它也有办法去思考它上下文里的问题。
-
哦，所以它就是个一直开着的东西。
-
它是个一直开着的东西，但成本没那么高。
-
他们会控制 token 开销，确保不会把你的额度全烧光。这太酷了。
-
我在想，其实有很多，如果你去 RLM 的 GitHub 页面，我在下面链接了一堆东西。
-
大家在做的东西里有特别特别多很酷的。
-
Axe 是另一个很酷的，我记得就是一个人做的。
-
它算是 DSPy 和 RLM 外面套的一个 harness。
-
DSPy 也有一个 RLM。
-
我最后要提一嘴的是，在 ARC-AGI 3 上，我记得他们的 Kaggle 比赛里有很多 harness，就是官方那个，不是公开的 prime and select 那个，也不是大家平时评测用的那个。
-
它们都声称用了，或者说引用了，比如 Tufa，某种形式或者受 RLM 抽象启发的形式，用在了它们的 harness 里，这真的非常非常酷。
-
我觉得这就是，我的意思是，这恰恰是那种你能从组合、用代码、把神经符号系统和 AI 结合起来里看到大量好处的场景。
-
所以，对，非常非常酷。
-
我们就爱看到神经符号的好引用。对。
-
你还提到 ARC-AGI 3，OpenAI 出来说我们在这个上到了 99.9%。
-
他们还说我们解决了 never-yet-stokes，直接扔个模型上去就行。
-
关于它到底是不是纯模型，他们是不是用了 RLM，有一些争论，你知道吗？
-
我的意思是，我猜大概不是，除非你说，这里我得小心一点，因为大家在争论什么算 RLM，什么不算 RLM。
-
比较清楚的是，他们用的应该是某种智能体集群，带有某种共享上下文，比如某种共享文件系统。
-
这非常符合 RLM 那套思路的精神，但我觉得他们还做了很多更巧妙的事情，那些可能跟 RLM 本身没太大关系。
-
我有点同意这个看法，就是对于他们做的事情来说，harness 并不是那么必要。
-
我会这样表述：我觉得像 GPT-6 astro 那种类型的模型，在给定正确信息的前提下，技术上已经足够聪明，能够为这些极其困难的问题想出证明。
-
但你怎么拿到那些信息，这是一个巨大的问号。
-
而在他们的情况下，这大概归结为在集群里很多这样的智能体之间进行非常长时间的搜索，也许还有研究人员参与，这部分我其实不太确定，但就是把他们关于该探索什么的直觉之类的东西放进去。
-
最终这产生了一些信息，某个智能体能够利用这些信息来完成证明。
-
所以从这个意义上说，我觉得 harness 重要吗？
-
不重要，而且我觉得这指向的是，harness 的这些具体细节其实并不那么重要。
-
我觉得那篇 harness 论文也指向这一点，就是说除了用户对 harness 的感受之外，现实中真正重要的只是你如何以一种有意义的方式组合这些智能体来得到最终答案。
-
也许这就是集群和所有这些事情真正在讲的。
-
所以至少从我的角度看，如果我们开始思考用户使用场景，我们想从 harness 这些东西里得到什么？
-
我们想把这些东西里好的部分拿出来，比如 Claude Code、Codex，比如人们喜欢看到的那种流式输出，但在底层，实际运行的东西可以是某种非常奇怪、复杂的智能体集群，最终得出一个答案。
-
不过用户显然不想看到那个，对吧？
-
因为那不是可读的信息。
-
所以，你知道，这又是另一种符合 RLM，也就是递归语言模型精神的东西。
-
它听起来像是一个语言模型，但它不是一种语言模型架构。
-
但这样叫的原因是，我觉得我们未来会开始看到，也许有一天，我还为此写了一篇博客。
-
我们所认为的语言模型，就是我们查询的那个东西，实际上可能是一个集群，或者一个脚手架，或者某种非常奇怪的 harness 设计，它能很好地扩展，但用户就是看不到它。
-
最终，用户看到的只是这个 harness 的某个前端版本。
-
是的，我觉得这算是一个相对稳妥的赌注，至少可以断定这就是我们会看到的东西。
-
而这也许要回到基础 transformer 的局限性上。
-
就像，你知道，很明显，如果你只是拿一个基础 transformer，然后说去解纳维-斯托克斯方程之类的，它是做不到的。
-
对，我们都知道事情不会是这样。
-
但没错，我觉得这也许是更有意思的部分，也许那些关于 harness 到底重不重要的说法，更多是关于这一点：就是随便把模型或者 agent 指向一个不断增长的信息上下文，也许就足以解决非常困难的问题，这个我能接受。
-
虽然这里面有很多东西，但我确实想说的是，OpenAI 花的钱算是半公开的。
-
是 1 万个 agent，在 88 小时里。
-
1300 亿输出 token，按公开定价估算大约是 4000 万美元。
-
其实挺意外的，比我以为的少。对，没那么多。
-
最终是 300 亿输出，但就像你说的，有大量上下文在来回传递。
-
光是发送的 agent 消息总量就是那个的两倍多。
-
我觉得还有一件我很荣幸提到的事，就是 cursor，就 swarm 这方面而言。
-
这个稍微老一点，是二月份的，那已经算是上古了。
-
但如果你一直往下滚，滚到他们最终得出的那个多 agent 架构，基本上就是一个正常软件团队的组织架构图。
-
我在想的一件事是，因为我基本上，就是有这么一个 gather all 函数，你在用 subagent 的时候必须做，或者，你知道，其实跟 GPU 编程非常像。对，对，对。
-
所以那是个瓶颈。这是个瓶颈。
-
如果有一个主负责人，在协调所有的小弟，然后他们又得重新 gather，然后再重新协调。
-
那很慢，那很烂。
-
真正的 swarm 应该是每个人都是独立的个体。对，对。对吧？
-
嗯，这个我同意，不过我觉得这里还是有个问题值得讨论。
-
让我打个比方，就是什么时候该用 compaction，什么时候该用 RLM？
-
在很多场景下，RLM 能解决比 compaction 更难的任务，但大多数情况下你还是会更愿意用 compaction，因为它更便宜、更快。
-
我觉得放到 agent swarm 的语境里，也有类似的情况，就是我很确定，swarm 里大概 95% 都是完全没用的，或者说它在探索的东西完全是白烧 token，而在这种设置下，可能就没那么浪费。我不确定。
-
我是说，也许这里也是一样的情况。
-
每个人都有自己的活儿，有一个 Jira 看板。
-
我觉得某种程度上，问题就是这么被框定的，对吧？
-
所以比如你有一个搜索问题，你铺开一堆 subagent 去做搜索，那肯定会有大量没用的信息，对吧？
-
你最终要的是一个检索答案，但你铺开了这么多，不过这一点是有意识地被理解的，对吧？
-
是的，但这里就有个问题，就是什么样的设计适合解决什么样的问题？
-
比如说，理论上 OpenAI 可以用什么设计，他们可以把这个 API 打包起来，叫它 swarms，然后给你，跟你说，把它指向任何问题，我们就给你一个解决方案。
-
对，它叫 pro。
-
对，可能你得付个四千万美元才能拿到一个结果。
-
然后就会觉得，嗯，但这很让人兴奋。
-
我得说，我们居然有选项可以拿四千万美元砸向一个问题然后把它解决掉，这真的非常让人兴奋。
-
但在这个领域，关于什么是必要的，还有很多研究要做。
-
我们想做什么？
-
我们想要什么样的设计？
-
我是说，我们大概不会希望所有东西都变成一个 swarm，但这条线该划在哪儿？
-
agent 能自己设计出来或者自己决定吗？等等等等。所以。对。
-
然后顺便快速问一下，万一你对这个有看法。
-
你有没有深入研究过开放式问题（open-endedness）这一大类问题？
-
意思是没有提示词，直接开干。稍微研究过一点。
-
我博士之前，或者说我猜是博士之前吧，在 Sakana 待过一个夏天。
-
那是他们那边重点研究的东西。
-
我觉得有很多人，甚至在像 recursive superintel 这样的地方，现在这样的人很多了。对，我们刚请了 Richard Socher 来。哦，对。是啊。
-
所以，就是 Richard 的公司，然后，然后，然后其实，等等，那可能就是这家，可能是同一家公司。我记不清了。
-
Tim Lochtischel 也是吗？对。好。是的。他是主要的联合创始人。
-
他是 Google 开放式问题的负责人。对。对。对。
-
所以我觉得对于开放式问题，我把它们看得跟那些未解决的数学问题有点类似。
-
也许这种说法有点奇怪。
-
但我觉得很多技术，就是人们处理这些问题的方式，其实差不多是一样的。
-
比如进化搜索就非常像直接放出一大群 agent，然后指望它们能搞出点有意思的东西，这就是 Alpha Evolved 和一两年前其他一些工作做的事。
-
但我觉得可能不是的，我不确定这是不是你想说的，但我觉得在开放式风格的搜索问题里，不太清楚的一点是，我们是不是把它们全都框定成基本上就是一个未解决的、非常困难的问题，或者说目标很明确的那种。
-
如果不是这样的话，我到现在也还不完全清楚它的价值是什么。也许你有别的看法。
-
我对这个没有太多看法，但至少从我那时候的经历来看，我的感觉是，我们最终其实还是想用那种，比如说，OpenAI 处理 Navier-Stokes 的方式来处理问题。
-
还是需要在某些方向上做很多推动，才能达到我们想要的那个点，搞出点有意思的东西。
-
我的版本是这样的，也许它分成了基础科学和应用科学。
-
基础科学，你是为了研究而研究。
-
你就是想更好地理解事物。
-
我完全不知道会不会有任何应用，但那个，我是说，那个，然后应用科学呢，你是有目标的。
-
你就是想以某种方式把损失降到最低，对吧？
-
所以我真正在想的是，就人们下的那些大赌注而言，如果根本没有提示词呢？你懂我的意思吧？
-
你就选一个主入口，然后直接生成这么一大群东西，你就说，嘿，大家好，你们在忙什么呢？
-
然后你就自己决定，这是个有意思的问题。
-
最大的问题是，也许这条路是清晰的，但至少我在那的时候，人们对开放性最大的疑问就是，你最终怎么选？
-
你怎么把有意思的东西挑出来？
-
因为当没有……也许智能体会自己提出一个目标，但很多情况下，他们有个东西叫Fulu，我记得，它像是个模型路由器之类的东西，至少是受这个想法启发的，就是，
-
咱们挑一个问题，也许我们能从中挑出最好的解决方案。
-
在这个情况下，就是为这个问题挑出最好的模型。
-
你是第一个把模型路由和开放式智能联系起来的人。不不，对。
-
我提这个是因为我觉得，就开放性而言，普遍的问题就是，当我们有这么一大堆垃圾内容的时候，
-
我们怎么筛选，找出那些隐藏的宝贝，而开放性的解决方案其实就是让模型一直跑下去，就是做数据生成，就是做超级、超级、
-
超高通量的数据生成，然后让智能体去翻一遍，找出有意义的东西，我不确定，也许，也许这就够了，你懂吧，那对我来说会挺酷的，作为对基本上所有机器学习的一种反叛，那些都是有目标的，而这个是没有
-
目标的，对对，或者是一个定义不清的目标，你会说，那这个目标怎么样，你说，好吧也许吧，然后你再研究研究，发现那确实是个有意思的目标，因为我觉得找到目标函数，就像你说的，Jeff找到了一个目标函数，
-
很有意思，但没人在探索。
-
我觉得这跟你说的关于研究生的那番话也很像。
-
你留在学校里，是因为你想追求开放性。
-
如果你想利润最大化、逃离永久底层，那你就去实验室。对吧？对。
-
挺好笑的。
-
我感觉这种讨论我平时不太听得到。
-
我的意思是，我在东海岸，那边聊的东西很不一样，但每次我来这边，这总是大家讨论的话题。
-
不干这个你连房租都付不起。
-
你们这是要被价格挤出去了，兄弟们。
-
所以对，就是这些。
-
我不确定聊那些被管理不善的天才们够不够切题，就是你刚才提到的那些。不不，那只是你博客上的内容。
-
不过我会去戳一下Fubuino。
-
他们在博客文章里做了这件事，我也跟他们聊过这个。
-
所以Altra比较酷的成果之一，就是他们基本上让它自己去搞自动化数据科学研究，几乎不需要人工干预。
-
它就是在做出一些挺酷的进展。
-
所以这就是自动研究，它更开放一些，而开放性是分程度的，这点我同意。
-
那就把自动研究和有目标的自动研究分开来看。
-
这个就是随便搞搞，但你知道，挺酷的。
-
他们正在做这个，感兴趣的人可以关注一下。
-
既然你提到这个了，那顺便问一下，你对Sakana怎么看？
-
比如说，他们在做什么，除了是那个日本的之外？
-
对对对对。
-
我的意思是，我其实很喜欢那里的人。
-
我觉得他们有一个非常非常聪明的团队，而且这也说得通。
-
我的意思是，它是从GDM早期的一个团队分出来的，那个团队我想也是在搞这种开放式的、进化式的研究风格的东西。
-
至少我在那儿的经历里，我挺喜欢的一点是，他们确实出过那次事故，我忘了，到这会儿想不起来是什么时候了。
-
但我觉得就像——你说的是AI科学家那事吧。
-
不，是GPU内核那个。
-
好吧，对，这事大家是没法原谅他们的。对对对。
-
然后我想AI科学家那事吧，我的意思是，确实有人批评它，不过我不做那方面，所以我也没什么看法，但总的来说，我在Veece喜欢的一点是，他们更像是一个偏研究型的实验室。
-
所以，他们跟OpenAI或者Anthropic那种不在一个赛道上，那肯定的，绝对不是。他们没有，我的意思是，至少我在的时候，他们显然没有一个大家都在用的大竞争模型之类的。
-
但我觉得他们在某些方面就像一个博士实验室，这挺酷的。
-
我觉得David Ha真的非常非常聪明。
-
我觉得他很有sense，而且我觉得日本那边AI的市场也有点不一样，他们瞄准的人群可能跟咱们这边习惯的不太一样。
-
不过对，我喜欢他们做的很多研究在别人看来其实挺怪的，你知道吗，我就喜欢这样，我觉得怪一点没什么不好。对，没错。就是这样。
-
然后你说市场不一样，是不是像企业那块，那边做事的方式有点不同，比如怎么谈成交易之类的？他们确实有一个，我的意思是，我猜那个页面原本是日文的，但他们确实有一个专门针对日语的模型。
-
哦，你不知道吗？我自己也有私人朋友，也认识那个团队，所以确实有，甚至从文化上说话的方式来说，你知道，回答都是往那个方向调的。
-
这不是说它在benchmark上是前沿的那种。
-
它对他们来说是一个文化上合适的模型，他们也有聊天之类的功能。
-
但顺着你说的，你知道，还有比如教育应该是什么样子，有人想去做这个。
-
他们就是一个很博士实验室的风格，做你自己的事。为什么不呢？
-
有钱，去研究吧。他们说那是Kimi的微调。挺好的。哦，原来如此。Kimi。为他们高兴。
-
是啊。
-
我的意思是，你知道，说到Kimi，对吧？
-
就像另一个，你知道，就是一个博士生出来单干，然后说，对，我就有这个Kimi Delta注意力机制，是我想做的东西。对。
-
而且不知怎么的，居然一次就搞定了。
-
我到现在还是没搞明白。是啊。是啊。
-
嗯，他，他超级厉害。
-
至少我的，我的理解是这样。
-
我的意思是，我觉得总的来说，很多中国的实验室都做了非常非常酷的工作。
-
是啊，对Kimi的智能体集群有什么看法吗？有。
-
我要说的一点是，不管OpenAI在智能体集群上做什么，那显然都是正确的方向。
-
你得这么想，没有什么东西，尤其是在没有非常非常聪明的框架设计的情况下——我觉得目前还没有人真正拥有这种设计——没有什么东西是那么容易白来的。
-
比如说，智能体集群这个设计不是你可以想当然的东西。
-
不是说GPT-6 Astra就是超级聪明。
-
然后它就能把智能体集群跑得很好。他们显然是训练过的。
-
我的意思是，Hugging Face那件事就是他们在训练一个系统，让它像集群一样运作。
-
我觉得他们显然做了一些非常出色的东西，出色到你可以砸4000万美元进去，解决一个未解的问题。
-
而我觉得Kimi那个智能体集群的东西，至少从我读到的来看，给人的感觉就是，这挺有意思，但我其实不知道它能不能解决任何新颖的问题。
-
是啊，他们就是，他们说，它能帮你做电子表格。
-
他们基本上就是，是啊，你知道，这里有个集群，它能做点事情，挺酷的。
-
但是，我要说，动态工作流也是一样。
-
我其实有点觉得动态工作流那次发布算是有点翻车了。
-
我不知道你们怎么看，但我觉得，我的理解是，它用得不是很多。或者说——就是太贵了。太贵了。那是Ultra Code。
-
基本上就是，你知道，接管我的银行账户。
-
而且它不行，我试过了。
-
而且它做事的方式，怎么说呢，再说一次，我不是OpenAI最大的粉丝什么的，但我觉得他们做出来的东西非常厉害。
-
他们不知怎么的，让这个集群真的能朝着一个目标去行动。
-
而且是的，这非常难。我明白了。
-
所以多智能体集群的效率就是这里的目标函数。是的。
-
这里面有多少是垃圾？这垃圾可不少。我觉得是。
-
我觉得我们把集群收敛到一个答案这件事当成理所当然了。
-
就像，这不是我们理所当然就该有的东西。
-
是的，我们和Noam Brown做过一期，他整个观点就是，好吧，我们在很多竞争性智能体上做过工作，我们现在在做协作性智能体，现在这被叫做us more。
-
我想快速问一下，你对Gemini有什么看法吗？
-
他们也是IMO金牌，你知道，有一段时间他们在让智能体进行长时间推理，而且。是的，我是说。
-
现在想这个是不是太老了？
-
不不不，我觉得有点被夸大了，就像Gemini，再说一次，我得先说明我没在这些地方工作过。
-
所以这话你们听听就好，别太当真。
-
我是说，你对智能体框架有很强的看法。
-
但让我先说这一点。
-
这项工作真的非常厉害。
-
我觉得他们在这里展示的是，他们抓住了模型还不太好的那个时期。是的。
-
而且他们在框架该做什么这件事上做得非常非常聪明。
-
我记得这个，至少像，是的，像Alpha Geometry，我猜那是这之前一年的事，但非常酷。
-
他们把它做到了极致，而且他们设计得，我不知道，我对竞赛数学不太感冒，但我觉得像GDM，有点可惜，我聊过的每个谈到GDM的人基本都持同样的看法，就是它太官僚了。
-
不管什么好东西，他们有人才和资源去做几乎任何事，但就像，我不知道，在他们搞清楚那一块之前，比如说我对anti-gravity没什么意见，但我不认识任何用anti-gravity的人。
-
所以我自己试过一次，我看不出有什么理由换过去用。
-
而且我觉得不管出于什么原因，他们一直在这件事上挣扎，所以。
-
是啊，你知道，很多人在Meta待了很久一直吐槽，直到他们开始出成果。然后他们就翻身了。
-
我觉得Google现在正处在那个阶段。
-
而且你知道，你得活下去。是啊，是啊，是啊。
-
我想把话题拉回到，就聊聊你的一般性想法，我们可以聊投机性PCC、被管理不善的天才，或者干脆把这些都抛开，聊点别的什么都行。
-
好，那我们就聊一会儿管理不善这个话题。
-
关于投机性PCC，我唯一要说的就是它是个非常简单的想法。
-
几乎可以说显而易见就该这么做，也没什么更多可聊的了。
-
我觉得就是，你就该把它用在编程上，任何涉及程序化智能体调用的东西，比如RLM或者code act，是的，这根本不用想。
-
那，对于还没读过的人来说，一句话概括是什么？
-
简单来说就是，当模型在写代码的时候，或者甚至等它写完代码之后，很多工具往往是串行的，或者说你得等它们。
-
所以你就应该提前把它们启动起来。
-
比如如果你能编译这段代码，你大概就能搞清楚，虽然涉及变量之类的，你大概能搞清楚怎么去分析。是的，是的。所以就是投机。
-
是的，有人给我指出过，其实学术界，尤其是PL，编程语言那帮人，有一些非常酷的做法，所以，
-
你知道，也许某个时候我会去做这个，主要是你得换语言，因为如果你用JavaScript、Python，你就做不了这个。是的。是的。是的。是的。所以像Haskell。
-
是的，那是什么？
-
正常的那一个是哪个？
-
那不是Haskell，是Lisp，这个是OCaml。OCaml。对。
-
任何函数式语言你其实都能这么串起来。
-
所以如果你想写文本脚本，就用Effect TS。对。好。
-
我们可以切到那个空间图。我喜欢那个空间图。对。
-
这基本上就是你们整套的核心论点，对吧？
-
对我来说这有点像换个说法，但也许我漏了什么，就是说，我们要做更好的harness，或者说，你只要更努力，你的模型其实能力远不止于此。所以这是个技能问题。对。对，基本上是这样。
-
我觉得有一点我想看到。
-
我很欣赏现在大家很关注这种参差不齐的智能，因为它描绘了一个大图景，就是只要我们真下定决心，我们就能做到。
-
但我有点希望，也许学术界该有人来做这件事。
-
就是真的坐下来想想，比如我拿Astra来说，即便是现在的前沿模型，也不够好到能在一个特定的工作上，比如说持续一个月，稳定又出色地干下去。
-
我觉得这其实是个很蠢的问题。
-
我是真心觉得我们能解决这个。
-
你不需要是个前沿实验室，也不需要为了你的IPO去搞那些花里胡哨的东西。
-
我觉得这些模型已经聪明到，哪怕是用一种很傻的方式，我也真心觉得这就是个技能问题，你完全可以让一个模型干得跟，比如说，某个18岁的高中生做某份工作一样好。
-
我觉得我们做不到这一点简直荒谬。
-
部分原因是，语言模型的形式本身就不太适合干这个。
-
但我觉得你可以在它外面塑造一个harness来做到。
-
而且我觉得这件事本身，先不说RLM那些东西，先不说那些，你知道，我们该用什么抽象。
-
我就是觉得有人能设计出一个能做到这个的harness。
-
我，我是说，也许你说做这个，做什么？
-
做那些长时间运行但很简单的任务，而且要可靠地做。举个例子？
-
那这个跟，你知道，随便挑一个你喜欢的公司，比如Harvey，用大语言模型来做法律工作，有什么区别吗？还是说——我是说，我猜差不多就是那样，只不过瓶颈不是某些法律知识之类的。
-
就，我不知道，比如说——我是说，我猜例子就是，你知道，人们可以拿模型来搭pipeline什么的，然后让一个agent反复去做他们想要的任何任务。对，对。
-
所以，比如说，如果我想要一个通用的系统，我可以跟它说话，就像我跟一个实习生说话那样，基本上就是让它去做，去探索一些小东西。
-
所以也许一个例子就是，那种很傻的自动研究，也许就是个例子，就是不一定能找到超级超级新颖的解法，但至少能把任何问题里所有简单的部分都优化掉。
-
它们往往最后会过度偏向ML训练之类的东西。但，对，我也不知道。
-
也许这说得不是特别特别清楚，但有很多人的日常工作流里，你大概真的可以随手vibe code出一个特定的harness来帮你，比如把这件事自动化。
-
有些例子就是自动化，比如找研究论文之类的。
-
但通常人们会设计一个专门的agent来帮他们做这类事情。
-
或者像Vibeco那样的harness，然后直接跑它，或者像他们的Slack bot之类的。
-
但我几乎觉得应该有一种标准形式，就像一个harness，你直接插进去就行。
-
就像你不需要，它不需要是为找论文而设计的。
-
或者你就直接告诉它，帮我找这个，然后你把它插到那个环境里。
-
我想说的是，我觉得有很多简单的事情是可以自动化的，而且……
-
这是一个假设，还是关于能力过剩的一个观点？
-
就是即使我们暂停了，用现在的模型状态仍然能产生很多影响？
-
某种意义上说，是的。
-
就像我猜我展示的是这件事最简单的形式，但这其实是在说，我们在很多事情上拥有的是参差不齐的智能。
-
比如说，模型在编程和数学上强得不成比例。
-
这说的是，我们可以把那些能力转化到很多其他事情上。
-
所以比如说，通常你要是找一个IMO金牌得主之类的人，把他放到很多不同的解题领域里，他们都能搞明白。
-
但我其实不确定这对模型也成立。
-
比如说在GPU代码优化这块，有个很有意思的问题：如果你把模型里所有GPU编程的数据都拿掉，但它本身跟现在的Astra一样强，只是把那部分数据抽掉了，它还能优化GPU内核吗？
-
就是它能不能在上下文里大致学到它需要学的东西，然后有一套流程或者想出某种方案来完成优化任务。
-
我觉得这里有个错配：如果你找一个跟Astra一样聪明、或者懂的一样多的人，那个人能做的事和Astra能做的事之间是有差距的，也许就差在一个harness上。
-
而我觉得我们其实可以更接近人类。
-
对我来说，这听起来非常接近持续学习这个问题。
-
我觉得你在把——那是最好的例子，是的。好。是的。你干嘛不直接这么说呢？
-
对对，我猜——我当时在想，我要不要就直接蹦出几个词，比如持续学习？
-
我对这个说法比较谨慎，但是的，我，我，也许有点，也许有点，我不知道。
-
就，所以我觉得你是个非常，呃，我不知道。我其实不知道你本科是什么。
-
你是那种数学型的人吗？
-
哦，对对对对，那正是我想做的。
-
至少像是范畴论那种抽象，你在范畴的层面思考，然后你得把它翻译到具体的东西上。
-
但然后你其实更在乎的是那个范畴。
-
这就是沟通上的误差，因为每个人都在听具体的，但你其实还想同时传达那个一般的，而这很难。我也不太确定。
-
你也许可以用个简写，比如，好，我在第二层，然后我要跳到第三层，再回到第二层。
-
我们应该为这种事搞一套认识论上的简写，因为这真的很难。
-
你在把很多东西压缩进词里，就像顺序的词元解码。
-
我们该切换到新奥尔良吗？
-
有没有比英语、Python 或者 JavaScript 更好的输出形式？
-
我不知道。
-
这有点像是个烂梗，但确实有人猜测过，模型真正想输出的、那种母语到底是什么。有人说是二进制。
-
那是，那是 Marc Andreessen 的观点。我不知道。对。
-
就说英语和 Python 的混合吧，我这么说只是因为模型的能力在某种程度上反映了我们拿什么训练它。
-
所以我们还是想要，就是，对，我不太买二进制那套说法。
-
我想我理解，但就是，对，你还是想用某种方式给世界建模。
-
我觉得有一点我要提出来，这种对话里我总会提的，就是萨丕尔-沃尔夫假说，如果你选英语，你就被锁死在英语存在的那段时间里，就算它五百年吧，呃，其实也没那么长。
-
其实，呃，你知道，就是，你说的语言会不会限制你的思维。
-
如果你学一门不同的语言，呃，比如说，呃，有人，呃，在中文里，我们没有时态。
-
嗯，我不知道你，其实我本来也不知道，而我还是说中文的。
-
哦，我，我，我本来知道，但我的中文不太好。好。对。
-
或者比如在日语里，或者我忘了是哪种语言，比如在韩语里，你说话的每个人，对，你都得承认社会地位，对，还有一个不同的维度是性别，对吧，就是它会影响你做的一切。
-
我上语言学导论的时候，据说非洲有一种语言，里面好像有蔬菜的性别，呃，对，就是你有，或者像爱斯基摩语，不是。而如果你选择用英语输出你的思维链，你就是在偏向英语能解决的那些东西。
-
我不知道英语的先验到底是什么样的。这挺有意思的。
-
我没这么想过。
-
我是说，在某个层面上这挺有意思的，对吧？
-
所以你说语言这点是对的。
-
很多模型的思维链也会在不同语言之间波动。
-
最明显的例子就是中国的模型。
-
用英语说话，可能脑子里还是用中文推理。
-
但在同样的层面上，大多数模型的多语言能力都很强，而且这种适应能力，我们能看到，你可以往里加语言。
-
加一整门语言其实带来的提升没那么大，但它们会在不同语言之间来回推理。对。所以我们都是，都是那种回归式的。
-
我是说，但还有比如德语，你知道，呃，主宾格，呃，一致性，呃，你得把动词放到最后，这就特别烦人。
-
就像特别有名的，呃，对，没错。
-
你不到最后都不知道自己在干嘛，到最后你才反应过来，哦，那一堆名词，然后才是动词。
-
嗯，最经典、大多数人都听过的一个是《降临》，里面有七肢桶，它们认为时间对它们来说是平的，所以它们一次性输出整句话。
-
所以这最接近自回归和扩散之间的区别。
-
我们用自回归的方式说话，那如果你能用扩散的方式说话呢，东西就随着时间慢慢解出来。我懂了，我懂了。
-
但整个想法是一下子全部浮现出来的。
-
啊，我明白了。
-
所以那是一种截然不同的语言，但它确实是一种语言。我明白了。哦，这真的很有意思。这真的，真的很有意思。
-
这种语言机器可能会说，而我们，你知道，大概永远不会说，但就像，对，机器不在乎。
-
也许这是个很大的题外话，但有没有，有没有一些东西本身就是推理链，本身就天然是自回归的？
-
有时候就像，对，或者像，对对对。
-
先发生一件事，然后另一件事再发生。
-
比如代码里的任何东西，都得在某种意义上是因果的。
-
至少通常来说，必须是因果的。
-
嗯，不对。那说明你还没探索够函数式编程语言理论，在那里一切都是纯函数式的，完全是关系式的。
-
而你在某种程度上把那个求解器抽象掉了，它负责把那些永远为真的关系翻译成代码。
-
所以啊，我感觉这个话题可能有点超出我的能力范围了。
-
是啊，但我喜欢语言，不管是编程语言还是人类语言。
-
而且我确实经常思考这如何影响推理，以及我们能做的事情的边界在哪里。
-
我不需要再往深里讲了。
-
不知道你还有没有别的想法。
-
我本来准备问的收尾问题是，你有这么多想做的研究方向。
-
你经历过一个GPU阶段，又有一个RLM阶段，估计你还有其他计划中的东西，所以才没有在那上面加倍投入。
-
顺便说一句，我注意到一个很有意思的现象，你们这些人都是先从GPU那边入手，然后转向零梯度那边，这是Shen Yu的说法。
-
你不觉得这听起来没有搞GPU那么硬核吗？
-
是啊，我想从某种意义上说，你刚才提到我喜欢用偏数学的方式去思考问题。
-
而有时候做harness和agent这些东西会让人很不舒服，因为它太……
-
因为你会觉得所有harness都差不多，就是特别模糊。
-
你确定harness里就两个新想法，明白了。
-
是啊，而且从经验上讲，很多发现都很难验证，至少用我们能拿到的算力来说是这样。
-
但我之所以转向这一堆问题，是因为我觉得真正的创新大部分还没发生，就在这个方向上。
-
对我来说，GPU层面只是探索其他想法的一种手段。
-
比如说你想擅长写kernel，甚至想自动化写kernel，都是为了一个更大的目标，就是我想探索那些不会因为系统层面的难题而卡住的想法。
-
从这个意义上说，你知道，我猜那边写的东西很多都是harness相关的内容，但我对模型层面的东西也很感兴趣。
-
不过我就说到这里吧。好，这是个不错的暗示。
-
如果大家想联系你，你现在在哪些方面需要帮助？
-
你希望找什么样的合作者？
-
有没有什么想呼吁大家做的？有。
-
所以我觉得，我并没有什么特别的事情，让我觉得非得找某个人一起做，除非是跟某家公司合作、能拿到算力，或者跟别人聊聊这件事。
-
但我要说的是，我从来不排斥跟别人一起做想法。
-
经常有人联系我，往往是本科生，甚至其他学生。还有播客主。播客主。
-
通常我收到的邮件大概都是这个意思，比如说，我特别喜欢RLM，我想跟你一起做。
-
我觉得我——对，这就是个很糟糕的联系方式，对吧？对，是的。
-
最糟的是那种，我能请教你几个问题吗？对。
-
我就想，我不知道，你先读读我的论文吧，哥们。
-
他们会说，我读了你的论文，还加个引号，比如递归语言模型，或者prime agent，比如一个自我改进的RLM harness之类的。
-
其实我挺喜欢有主见的人，哪怕我们意见不合。
-
我觉得如果你有强烈的观点，并且能想清楚为什么你觉得这些观点对或错，因为通常很难真正判断，但你对某些问题有坚定的信念。
-
我随时都很乐意聊聊，甚至可能一起做点什么。
-
我对跟谁合作、做什么，都没有什么限制，所以。没有限制。
-
对，对，对，你知道，在agent的时代，我觉得你能做的工作多多了，你知道，就带宽而言，所以，对，我觉得总的来说，我不是那种很难打动的人，但我觉得只是需要花一点点心思，嗯，知道自己想要什么。
-
这很清楚。
-
我是说，当你看到一个新东西出来，执行得好，想法又好又简单，那我马上就会被吸引。
-
其实要获得FrontierLab那些人同样的关注，根本没那么难，因为他们正在找你。
-
你只需要把自己展示出来，对吧？没错。
-
对，但我要说的是，我觉得现在人的注意力非常稀缺，我确实也在为手上项目太多而苦恼，我不知道该怎么管理，我觉得agent一点忙都没帮上。我就是给它个提示，然后提示完就再也不看了，对吧？
-
这很常见。是啊。
-
是啊，这挺糟的，我猜这可能是比较小的一个区别吧，我是说，其实，也许你是在做研究，我不确定，但至少对我来说，我大概会有十到十五个不同的想法想做，但问题是，大部分都很烂。
-
而且这甚至对主动来找我的人可能也是这样，也许那个想法其实很烂，但在我看来挺有意思的。
-
所以我们可以花点时间研究一下，如果我们觉得确实有点东西，那就应该接下来几周好好去追这个方向。
-
顺便说一句，这就是我的风格，这也是我为什么喜欢读博，因为有些时候我就是在想问题，比如跑步的时候，或者打网球什么的。
-
我猜那时候我没在工作，但那种时候其实是最开心的。
-
然后当我真的对某件事特别笃定的时候，我就会放下一切，直接去做。
-
就是把所有时间都花在思考和攻克那个问题上。
-
然后，你知道，一旦到了可以跑实验的阶段，那就又变成轻松滑行了，所以。
-
好，抱歉，这大概是倒数第四个问题了，就是，我觉得很多人也在把科学当成下一个前沿，比如物理科学、生物、甚至数学。
-
你怎么区分，我猜，比如说，你选项目的时候，哪些是适合产业的，哪些可能纯粹就是科学导向的选择？
-
其实我在开始读博之前，做过AI用于生物方面的工作。
-
我得说，这个领域从那以后变化很大。
-
因为以前它是偏理论的，就，当然，你是什么意思？
-
就是，你知道，我有一条路，然后我选了那条。
-
但现在很多人都在跨界过来。是啊。
-
然后他们就说，所以我们搞了一个science pod，专门覆盖这些东西。哦，哇。
-
因为很多工程师会说，其实那边有可解的问题。是啊。
-
你知道，我先声明一下，我对很多这些话题的理解可能相当有限。
-
但我觉得，如果我发现了，要么是因为有人来找我，要么是我看一个问题然后想，嘿，我们现在用的一些设计原则，或者正在思考的一些设计原则，其实对这个问题的确很适用。
-
我对这些也很兴奋，但我觉得那更难。
-
我不知道，我觉得科学，尤其是像实证科学或者应用科学，它的那个，叫什么来着？
-
就是反馈循环之类的，特别特别长。
-
对，它最后会收敛成一个机器人学的问题。对，对，对。
-
我的意思是，对我来说，还有这个方面，就是现在什么值得我投入和押上我的时间？
-
因为可能我在这个问题上花了很多时间，然后六个月后，出现了一个不同的解决方案，可能是一个新模型出来了，然后就想，哦，它在这方面好太多了。
-
所以我确实得小心。
-
我就像，你知道，你得意识到你认为事情可能会往哪个方向发展。所以，对。发表周期。对，对，对。
-
所以我就可以，哦，RKGI3，它饱和了。我们搞定了。
-
对，我是说，RKGI3不到一年左右就饱和了，你知道吗？就像，我不知道。
-
就像如果你是一个实验室，选了这个题目，你现在可能有点难过，其实现在知识工作、游戏这些全都饱和了，其实前沿是科学。对，知识工作饱和了。对，GDP值大概八十多、九十多，我是说，你知道，
-
有百分之九十到百分之百。
-
我本来一直觉得接下来十年会拿到，但就像，下一个容易摘的果子会是，这说得通。对。对。
-
也许我会再多想想这个。其实我，我还没怎么太想过。
-
我只是在试着猜你的下一个，我觉得尤其是在MIT，那里有很多非常有才华的科学家，在自然科学领域。我觉得说我要去搞懂你的问题，这几乎有点像亵渎，就像，不，不，我知道，对，
-
所以我采访了ETA，他做了IMO那件事。他说我从来没，我从来没去过IMO。
-
我甚至不知道那是什么。这有点，我对这些有点不尊重。重点是，你得尊重，好吧，你知道，进展正在取得，数字正在被输出，对吧？没错。
-
对，我是说，这里面有一点教训，非常有意思，因为数学家们现在正以这种方式回应紧张情绪，对吧？
-
对，就像Terry Tao他们那些人。所以就像，咱们别，咱们别用AI。
-
对，我就像，对，对，我觉得那整件事有点奇怪，因为我觉得，我觉得如果他们很多人之前没跟OpenAI合作过，他们的理由会更有说服力，就像这一切发生之前那样。
-
不，那是人身攻击。
-
而且他们真的在努力避免那样。那又怎样，对吧？我不知道。
-
就像，那又怎样，他们合作过。
-
我会跟我不同意的人合作，或者什么的。
-
或者就像，我做了一件事，然后现在我后悔了，我改主意了，随便吧。
-
所以我会捍卫他们那么说的权利。
-
但是，对，很多人有理由不同意他们。对。好，酷。
-
谢谢你参加我们的节目。
-
恭喜你到目前为止取得的成功。
-
我简直不敢相信你博士还没读完。嗯，这是你的第二年，你知道的。
-
我简直不敢相信我们做这期播客居然没聊那篇ORL论文。
-
他给了一个定义。
-
我觉得那篇论文更多是关于实证结果的。
-
其实那个想法本身挺简单的。
-
对，而且你已经聊过很多次了。对，对，对，到这会儿了。
-
我觉得现在有更有意思的东西值得看，所以。
-
酷，那我们很期待看你接下来做什么。非常感谢。谢谢观看！