Podcast Script (zh)
[0.120-8.397] SPEAKER_01: 说到模型进步，归根结底取决于几种不同的资本，也就是算力、数据和人才。
[8.697-12.586] SPEAKER_02: 你觉得接下来几年会怎么发展，比如说，谁会赢？
[12.806-15.476] SPEAKER_02: 中国人在构建模型方面太厉害了。
[15.776-23.043] SPEAKER_01: 要说中国在人才上不是同等水平，那你是很难站得住脚的。他们缺的是算力。
[23.343-26.733] SPEAKER_02: 大多数人认为蒸馏是他们做到这一点的主要手段。
[27.033-30.237] SPEAKER_00: 每天都有人在蒸馏我的产品。
[30.457-35.008] SPEAKER_00: 他们把它拿过去，拆解到最原始的部件。这就叫竞争。
[35.308-38.651] SPEAKER_01: 以前的后期训练更依赖监督式微调。
[38.871-42.284] SPEAKER_01: 现在这已经有点演变成以强化学习为主的环境了。
[42.504-51.838] SPEAKER_01: 但很难把这种后期训练，也就是你拿到完成结果、分数上升，跟今天推理领域发生的事情对应起来。
[52.138-58.059] SPEAKER_02: 现在的讨论里充满了恐惧，担心前沿技术被藏起来多少，又在拉开多大差距。
[58.359-67.345] SPEAKER_01: AI能力曲线本身倒不一定让我担心，但AI能力曲线加上几乎不存在的跨公共网络安全准备，以及所有这些事情，就……
[67.645-70.315] SPEAKER_02: Nathan，真的很高兴你能来。
[70.535-72.090] SPEAKER_02: 谢谢你亲自过来。
[72.310-82.294] SPEAKER_02: 时机特别合适，因为你刚创办了Trillium，我很想聊聊这个，但更多是在宏观层面上，我觉得我们聊了很多关于开源的话题，这也是你很关心的。
[82.514-92.231] SPEAKER_02: 我有点想说的是，或者说我们在公共讨论中经常听到的是，嘿，我们得控制前沿的节奏，你知道，前沿这个，前沿那个。
[92.451-97.338] SPEAKER_02: 我觉得我一直想向专家们请教的一条主线是，前沿里面到底有什么？
[97.558-101.284] SPEAKER_02: 它到底是什么，我们在控制什么节奏？那里有什么？
[101.504-106.565] SPEAKER_02: 然后更重要的是，把它和开源、开放权重模型串起来看，它们能跟上前沿吗？
[106.785-109.130] SPEAKER_02: 我觉得这非常重要，而这也是你的专长。
[109.350-116.037] SPEAKER_02: 那咱们就从这条主线开始吧，你觉得是什么把闭源实验室和开源模型都推到了今天的前沿？
[116.257-125.556] SPEAKER_02: 你心里是怎么拆解的，也许先从更高层面看预训练、中期训练、后训练，还有后训练是怎么演变的，这方面你给公众做过大量科普。
[125.856-135.132] SPEAKER_01: 我思考模型进步的时候，归根结底是看你往里面投入了哪些不同形式的资本，也就是算力、数据和人才。
[135.352-146.230] SPEAKER_01: 各家实验室在这几方面的储备各不相同，而我认为OpenAI、Anthropic、Google这些闭源前沿实验室显然拥有得最多。
[146.450-159.235] SPEAKER_01: 我们看到的是，各家实验室组织这些资本形式的能力不一样，而且让组织架构真正服务于模型构建是非常难的，所以有些公司不得不从底层彻底重置。
[159.455-166.084] SPEAKER_01: 然后有时候还真就奏效了，比如Meta这样的公司彻底重置之后，又重新走上了上升轨道。
[166.304-173.943] SPEAKER_01: 我对这些人的层面特别感兴趣，比如为什么竞争会推动前沿，为什么组织架构这么重要。
[174.163-192.625] SPEAKER_01: 因为我们看到这些现象，也会影响开源和闭源的动态，真正的前沿实验室是那些闭源公司，如果有人想在前沿AI领域工作，我大多会建议他们去Anthropic和OpenAI，我觉得那是最稳妥的选择。
[192.845-200.368] SPEAKER_01: Meta、Google、SpaceX AI，我觉得你可能还在那儿，但从外面看就没那么清楚了。
[200.588-206.091] SPEAKER_01: 而这些公司只是最早下了最激进的赌注，才走到了那一步。
[206.311-211.222] SPEAKER_01: 这也是为什么OpenAI做出了像开启推理模型革命这样的事。
[211.442-219.023] SPEAKER_01: 我觉得那种突破，还有那张漂亮的推理缩放定律图，简直就是OpenAI的巅峰之作。
[219.243-224.467] SPEAKER_01: 他们真的很擅长拿出这样一张图，直接改变所有人对一切的看法。
[224.687-229.888] SPEAKER_01: 另一边，Anthropic一直非常专注于模型将来能做什么样的事情。
[230.108-235.878] SPEAKER_01: 而他们的回报就是，长期专注编程之后迎来了Claude Code的爆发。
[236.098-238.245] SPEAKER_01: 这些文化之间有微妙的差异。
[238.465-246.650] SPEAKER_01: 我觉得尤其是这两家公司，最有前瞻性，也最愿意砸下惊人的投入，朝着大家认为不可能的方向迈出一步。
[246.870-251.792] SPEAKER_01: 中国公司进入这个领域，是因为他们想拥有一家有分量的公司。
[252.012-258.095] SPEAKER_01: 如果他们只是做出模型、想从中国卖API，那没人会知道他们。
[258.315-260.311] SPEAKER_01: 比如没人会知道Moonshot AI。
[260.531-265.163] SPEAKER_01: 很少有人会知道Jiboo，后面还有一长串这样的公司。
[265.383-270.549] SPEAKER_01: 这对他们来说是个非常务实的决定。他们在紧跟舆论风向。
[270.769-272.940] SPEAKER_01: 他们知道会有一个巨大的市场。
[273.160-278.001] SPEAKER_01: 他们知道美国对这些东西有巨大的付费需求。这非常务实。
[278.221-282.725] SPEAKER_01: 所以，发布开放模型是一种抄近路、挤进这场对话的方式。
[282.945-288.471] SPEAKER_01: 我觉得他们为什么这么做，背后有很多复杂的原因。政府有参与吗？
[288.691-293.218] SPEAKER_01: 其实并不是这样。他们只是想创办一家初创公司。
[293.438-296.108] SPEAKER_01: 但这并不是说以后不会变成那样。
[296.328-300.391] SPEAKER_01: 中国政府的一些做法会让美国人听了瞠目结舌。
[300.611-308.772] SPEAKER_01: 我觉得这让我认为，中国的实验室对安全的态度要严肃得多，因为在中国，对公司的处理方式比美国要严厉得多。
[308.992-316.213] SPEAKER_01: 这个我就不深入展开了，但说到底，在开放和封闭的平衡之间，中国的这些公司就是在努力追赶。
[316.433-332.190] SPEAKER_01: 这和我刚才说的OpenAI和Anthropic的动态很不一样，他们是在努力创造新范式，努力让真正的RSI发生，这样只要他们先做到，他们的公司就能永远靠最好的模型取胜，就是这些爆发式的想法。
[332.410-338.040] SPEAKER_01: 你只需要去填补市场上有空白的地方，开放权重模型就是在做这件事。
[338.260-347.246] SPEAKER_01: 我觉得随着时间推移，开放模型会分出这些层级，最顶尖的闭源模型，你可以为它争取最高的利润率。
[347.466-359.810] SPEAKER_01: 然后还有接近前沿的模型，比最前沿落后一步，这些会是开放的，因为这就是某种供需关系，你能进入一个可能利润没那么高的不同市场，比如可能是私有企业数据之类的。
[360.030-364.592] SPEAKER_01: 这些层级算是那些努力做事的公司自然演化出来的。
[364.812-375.469] SPEAKER_01: 我觉得我们刚才在聊前沿，回到资本上来说，他们的资本更少，赚的钱也会更少，这没关系，但我觉得这种追赶的动力非常强。
[375.689-385.325] SPEAKER_01: 而且一旦，你知道，一旦Anthropic和OpenAI向你展示了你需要构建什么样的模型，接下来就容易多了，就会想，哦，我们只需要做这件事就行。
[385.545-395.343] SPEAKER_01: 他们买类似的数据集，这些会渗透到数据经济里，OpenAI和Anthropic花多得多的钱来建立起数据产业这个功能。
[395.563-401.902] SPEAKER_01: 然后那些数据公司，一年之后，可能会把它们卖给所有人。它们可能会卖给所有人。
[402.122-404.235] SPEAKER_01: 他们需要最大化投资回报。
[404.455-406.568] SPEAKER_01: 而且他们有一段合同期。
[406.788-416.389] SPEAKER_01: 在这种动态下，快速跟随会变得非常可行，我们已经看到这个周期持续了一段时间，比很多人预期的还要长。
[416.609-422.773] SPEAKER_01: 我觉得在TrackGBT发布的时候，我们讨论过行业整合以及如何预测它。
[422.993-435.766] SPEAKER_01: 我觉得我们现在才开始看到一个活跃得多的并购市场，但我本以为这会在两年前就发生，而那些开放模型公司存活的时间比我以为的长得多。
[436.066-445.470] SPEAKER_02: 我们这里有很多有意思的线索可以深挖，先从你关于前两大前沿实验室在组织架构上差异的评论说起。
[445.690-460.239] SPEAKER_02: 我们可以先把那个放一放，或者顺着那条线索聊下去，但当然也要解释一下，你是在解释中国的开放模型或者说中国的开放实验室，是如何真的把开放当作一种更偏向分发和实际商业化的策略，而不是，嘿，
[460.459-471.851] SPEAKER_02: 显然不是出于利他主义，尽管那些研究人员，也许好坏参半吧，一开始是出于分享的动机，但归根结底，它能延续下来是因为它是一种极其出色的商业化策略。
[472.071-484.066] SPEAKER_02: 那么另一条可以深挖的线索是，我觉得大多数人把蒸馏看作是他们能做得这么好、而且越来越好的主要手段，因为开源模型和前沿模型之间的差距在过去几年里只是越来越短。
[484.286-486.573] SPEAKER_02: 现在可能只有两三个月了。
[486.793-491.622] SPEAKER_02: 这也促使前沿实验室可能想要封闭API，封闭他们最好的模型来做第一方服务。
[491.842-500.828] SPEAKER_02: 我的意思是，一方面大概是为了获取更多价值，因为那样总是有可能的，但另一方面也是因为更难被蒸馏，不是不可能，但要难得多。
[501.048-505.854] SPEAKER_02: 也许就聊这两条线索吧，因为它们都很有意思，我们尽量都涉及一下。
[506.074-515.840] SPEAKER_02: 那我们就从这个问题开始：蒸馏这个说法，是不是更像一种刻板印象，而不是中国实验室的真实情况？毕竟你实际见过他们，而且研究得多得多。
[516.060-522.480] SPEAKER_02: 是不是说他们其实很全面，预训练很强，也有自己不错的后训练配方，只是可能公开也可能没公开？
[522.700-525.474] SPEAKER_02: 你觉得哪些杠杆在加速？对。
[525.774-529.106] SPEAKER_01: 所以中国实验室在技术上非常出色。
[529.326-531.555] SPEAKER_01: 他们更缺算力。
[531.775-535.780] SPEAKER_01: 毫无疑问，他们能用到的人才库是相当的。
[536.000-541.921] SPEAKER_01: 我觉得可能会有轻微的优势，取决于AI真正起飞的时候谁在什么位置。
[542.141-550.000] SPEAKER_01: 但要说中国在人才上不是同等水平，那可就难了，因为他们有太多人在接受如此高水平的训练。
[550.220-552.495] SPEAKER_01: 而他们缺的是算力。
[552.715-560.435] SPEAKER_01: 你跟那边的人聊，你说，哦，我听说OpenAI的普通研究员随时能用到相当于5000块H100的算力。
[560.655-564.764] SPEAKER_01: 他们下巴都要掉地上了，就说，我简直无法想象。
[564.984-571.346] SPEAKER_01: 而这还是你能叫得上名字的某家实验室里顶尖的预训练研究员。
[571.566-574.294] SPEAKER_01: 这种对话你经历过几次。
[574.514-577.358] SPEAKER_01: 算力这块，我觉得是最大的差别。
[577.578-584.578] SPEAKER_01: 而蒸馏的作用在于，它是一种有效花更多钱来获得算力等价物的方式。
[584.798-587.630] SPEAKER_01: 语言模型的输出就是算力的函数。
[587.850-593.480] SPEAKER_01: 如果你知道你想要什么输出，那就等于你有了算力去用模型生成。
[593.700-601.618] SPEAKER_01: 我见过蒸馏的几个阶段，我的看法是，以前的后期训练更依赖监督微调之类的，就是那个RLHF时代，
[601.838-609.477] SPEAKER_01: 后期训练就是从那时候开始的，你只要对一个非常强的模型的输出做下一词预测损失，就能拿到大部分性能。
[609.697-617.220] SPEAKER_01: 当时已经很确立了：你拿最好的模型生成补全，然后在上面训练，只要你能拿到对的提示词，你的模型就会相当不错。
[617.440-620.307] SPEAKER_01: 提示词一直是后期训练的关键。
[620.527-628.653] SPEAKER_01: 我记得在AI2的时候，和我一起负责后期训练的Hannah，我们总说提示词是后期训练的关键单元。
[628.873-634.178] SPEAKER_01: 所以你得拿到提示词，然后在训练的不同阶段对它们做不同的事。
[634.398-638.867] SPEAKER_01: 现在这有点演变成了环境，更偏强化学习。
[639.087-645.832] SPEAKER_01: 但就是很难把这种后期训练，也就是拿到补全、分数上涨，跟今天推理领域发生的事对应起来。
[646.052-654.573] SPEAKER_01: 而且根据公开文献，我很难说蒸馏是个主要因素，因为比如在完全公开的文献里，那些尝试做开放后期训练配方的人，
[654.793-661.817] SPEAKER_01: 所有开放模型的构建者都卡在用很过时的Qwen模型上，因为搞不定怎么把教师模型弄对。
[662.037-677.039] SPEAKER_01: 我的假设是，在开放的中期训练和常见的预训练数据里，有些东西让这件事很难做到，也就是从最顶尖的模型那里拿到推理轨迹，做SFT，然后指标就上去了。
[677.259-688.033] SPEAKER_01: 所以如果我在做Olmo的时候能拿到Claude的推理轨迹，不管是Claude Opus还是Claude Mythos什么的，我不确定这真的能让我们的模型好很多。
[688.253-693.860] SPEAKER_01: 所以这就是我基于文献得出的证据，说明为什么我认为蒸馏很难。
[694.080-712.066] SPEAKER_01: 然后你怎么把一个模型的输出变成强化学习环境，去做大规模的强化学习训练？因为现在像小米这样的公司，做了一整周的开放强化学习训练，然后说这就是我们做的，接着就把模型放出来了，那蒸馏到底在哪个环节起作用呢？
[712.286-729.761] SPEAKER_01: 他们很聪明，很懂怎么做营销，但也有一些疑问，比如他们是不是提前就做好了，因为他们先做了强化学习训练，然后放出模型，接着技术报告里说他们在强化学习之后还有一个额外的后期训练阶段，所以这里有些疑问，但是
[729.981-732.813] SPEAKER_01: 把已有的蒸馏文献对应到这件事上很难。
[733.033-744.515] SPEAKER_01: 但有些问号让我有点支持这些实验室的说法，就是中国那些Claude代理和模型代理，那里消耗了大量token，有中间商，他们有一大堆账号。
[744.735-748.380] SPEAKER_01: 甚至还有Kimi在产品里给用户提供Claude服务的情况。
[748.600-755.159] SPEAKER_01: 我就觉得，不太明白这跟蒸馏作为后期训练中常见技术工具这件事怎么对得上。
[755.379-763.877] SPEAKER_01: 而且是的，我们应该关注，还有中国公司大规模使用OpenAI和Anthropic模型输出的一些奇怪情况。
[764.097-767.649] SPEAKER_01: 所以我觉得我们还有很多问题需要回答。
[767.869-774.788] SPEAKER_01: 我觉得大多数理性的人，在被问到蒸馏带来的差距有多大时，都会说误差范围很大。
[775.008-782.415] SPEAKER_01: 但我说蒸馏帮他们省了几个月，这是基于我们现有的科学文献，就是我们手头的信息。
[782.635-788.138] SPEAKER_01: 我们应该做更多开放研究，让这件事成为可能，这样我们才能研究它。
[788.358-794.801] SPEAKER_01: 但基于这些，我不知道你怎么能得出不同的结论，说它在当前的后期训练里不是个大因素。
[795.021-797.389] SPEAKER_01: 而且中国人也很擅长构建模型。
[797.609-801.800] SPEAKER_01: 我觉得这里有点自我安慰，人们会说只有我们才擅长构建模型。
[802.020-804.295] SPEAKER_01: 但实际上有那么多公司。
[804.515-808.659] SPEAKER_01: 大概有20到30家公司在构建好模型，你可以去读。
[808.879-811.607] SPEAKER_01: 这就，你就是，我很难接受。
[811.827-818.293] SPEAKER_01: 我记得有一篇特别有名的论文，讲的就是从闭源模型里窃取推理轨迹。
[818.513-828.068] SPEAKER_01: 而且我知道中国公司在这方面走得远得多，因为AI安全社区后来才发表了这个，我觉得每个中国实验室都有一个团队懂这些东西。
[828.288-832.281] SPEAKER_01: 这就回到你说的那点了，他们不需要提供API。
[832.501-839.559] SPEAKER_01: 而且我觉得推理模型有个特点，就是它们会生成这些思考token，很容易就能从API里把它们弄出来。
[839.779-845.282] SPEAKER_01: 所以你看到那个推理token，然后就能拿它去训练你自己的模型。
[845.502-849.193] SPEAKER_01: 只要他们提供这些API，这种蒸馏就没法阻止。
[849.413-856.019] SPEAKER_01: 但如果他们把它只放在产品里，或者必须签企业协议之类的，那就难多了。
[856.239-862.427] SPEAKER_01: 如果实验室想保护自己，我支持他们这么做，但他们想的话就得保护好自己的产品。
[862.647-865.398] SPEAKER_01: 我觉得了解你的客户对谁都没好处。
[865.618-867.905] SPEAKER_01: 我觉得对他们的生意也没好处。
[868.125-873.128] SPEAKER_01: 而且我也不明白为什么违反服务条款就要把政府扯进来。
[873.428-877.758] SPEAKER_00: 这甚至都不算，我甚至不觉得服务条款算签了字的合同。
[878.058-882.202] SPEAKER_01: 就只是，我觉得你没法用同样的方式去起诉他们。
[882.422-885.231] SPEAKER_01: 你只能取消他们的访问权限，对吧？
[885.451-901.057] SPEAKER_01: 所以这就是为什么我没那么同情，但我确实喜欢听，国家安全圈子声音很大，但随着AI的发展和它的影响力，这里面确实有方向性的道理，所以你脑子里得平衡很多，对，很多事情。
[901.357-909.356] SPEAKER_02: 我想知道你怎么回应，我听到的，我觉得是Jensen在某个， literally要么是推特采访，也许他说，对，他说，放到节目里。
[909.656-912.384] SPEAKER_00: 人们每天都在蒸馏我的产品。
[912.604-918.687] SPEAKER_00: 他们拿去，拆到最原始的零件，什么都测。这就叫竞争。你觉得这算公平竞争吗？
[918.907-921.461] SPEAKER_00: 你觉得蒸馏不算抢劫吗？
[921.681-923.050] SPEAKER_00: 这就叫竞争。
[923.350-931.186] SPEAKER_01: 我非常理解，因为我觉得AI安全领域有很多呼声，希望美国在能力达到这么高水平的时候去尝试对话。
[931.406-947.883] SPEAKER_01: 而如果你只是要求这家公司去敲打一下他们的AI产业，而且更多是在蒸馏的下游动手，那你不会用国会的政策去监管蒸馏，你大概只会采取联邦行动，让他们的日子不好过。
[948.103-964.022] SPEAKER_01: 同时，当我们讨论如何管理前沿风险时，你有正在训练的闭源模型到处在网上跑、访问它们不该访问的东西，而我们对开放权重模型会发生什么有合理的担忧，尽管目前还没有出现危害。
[964.242-967.690] SPEAKER_01: 但问题是，为什么人们不用开放权重模型呢？
[967.910-972.054] SPEAKER_01: 为什么他们跑去用闭源模型，绕过那些防护措施？
[972.274-976.743] SPEAKER_01: 我们希望能和中国科技公司就这一切进行沟通。
[976.963-983.569] SPEAKER_01: 而我就是觉得，你在蒸馏上做任何动作，造成的伤害都会大于好处，因为他们不会停。
[983.789-985.344] SPEAKER_01: 他们会继续这么干。对吧。
[985.644-989.486] SPEAKER_02: 而开源社区从中受益，因此创业社区也大大受益。
[989.706-1006.218] SPEAKER_02: 这不只是说，嘿，中国、美国，实际上是这样，你知道，我们其实可以聊聊，比如，我当然理解，或者说试着为前沿实验室的立场做最有力的辩护，那就是，要构建这些前沿模型，需要前所未有的资金量，对吧？
[1006.438-1015.238] SPEAKER_02: 而如果通过蒸馏或其他类似蒸馏的方法，开源能这么快就追上来，那对这个飞轮继续转下去是有点令人担忧的，或者说不太有利的。
[1015.458-1024.339] SPEAKER_02: 所以，你知道，我说的这个飞轮，就是一个很简单的图景：你投入大量资金买算力来训练前沿模型，然后他们当然就把这些算力囤起来。
[1024.559-1030.305] SPEAKER_02: OpenAI和Anthropic在这件事上非常有罪，或者说非常成功，看你怎么看了。
[1030.525-1040.639] SPEAKER_02: 而且算力严重短缺，你知道，因为实际上不只是芯片里的算力，还有电力等等。所以所有这些稀缺性，你知道，在2028年之前都是瓶颈。
[1040.859-1045.723] SPEAKER_02: 所以这一切就是说，把算力囤起来是个成功的策略，能带来大量收入。
[1045.943-1057.625] SPEAKER_02: 因为一旦他们到达前沿，因为他们明白，你知道，规模化是唯一能给他们抓手的东西，或者说规模化科学才是让他们能把握这东西能多好地转化为可预测收入流的东西。
[1057.845-1061.734] SPEAKER_02: 所以他们拿到收入，而因为有了这些收入，他们就能融到更多钱。
[1061.954-1064.868] SPEAKER_02: 这真是前所未有的、漂亮的飞轮。
[1065.088-1067.560] SPEAKER_02: OpenAI和Anthropic都是这样。
[1067.780-1070.810] SPEAKER_02: 当然，我们需要指数级增长的资源。
[1071.030-1074.803] SPEAKER_02: 于是我们就到了这个地步，觉得好吧，我们得IPO了。
[1075.023-1077.472] SPEAKER_02: 我们得进入公开市场。
[1077.692-1083.473] SPEAKER_02: 所以任何威胁到这个飞轮良好运转的东西，都是对整个前沿阵营的巨大威胁。
[1083.693-1085.109] SPEAKER_02: 嗯，所以……
[1085.409-1088.253] SPEAKER_01: 实际上，是整个AI行业。
[1088.553-1089.760] SPEAKER_02: 确实就是这样。
[1089.980-1101.406] SPEAKER_02: 所以，你知道，也许不只是要同情他们那种为自己榨取资本主义利益的做法，而是说，嘿，如果他们在IPO里表现不好，那对其他人其实也是坏事。
[1101.626-1104.737] SPEAKER_02: 所以我希望每个人都好，你知道，我希望他们做得好。
[1104.957-1110.181] SPEAKER_02: 嗯，但另一方面，你知道，中国的开源模型对创业生态是巨大的利好。
[1110.401-1112.815] SPEAKER_02: 我是说，我们一直看到这一点。
[1113.035-1117.899] SPEAKER_02: 我记得像Decagon和Harvey这些公司的数据，他们当时在做大量的微调。
[1118.119-1122.530] SPEAKER_02: 有大量创业公司在做各种程度的训练后服务，想把它产品化。
[1122.750-1130.493] SPEAKER_02: 而且这确实行得通，因为你可以用这些，你知道，Kimi K3或者你最喜欢的GLM开源模型，达到帕累托前沿。
[1130.713-1140.117] SPEAKER_02: 所以我猜，权衡这两件事，你怎么——我猜从这里能引出很多问题，但我想问一个，你怎么看接下来几年谁会赢，对比——
[1140.337-1142.949] SPEAKER_02: 然后也把这和你为什么做开源联系起来？
[1143.249-1160.829] SPEAKER_01: 所以我认为开源和闭源模型处在不同时间尺度的指数增长上，闭源实验室的整合度非常高，他们有高效的推理，他们准备好时就能大规模部署模型，因为他们有所有这些资源可以规划，而且他们能最先进入那些价值很高的市场。
[1161.049-1170.708] SPEAKER_01: 我们在编程领域看到了这一点，这就是今年的故事，收入从零直接到一千亿，而且很可能继续增长。
[1170.928-1178.927] SPEAKER_01: 但开源模型实验室，部分原因是经济问题，作为快速跟随者，你没有这种信息流，也没有这种收入流。
[1179.147-1185.532] SPEAKER_01: 所以开源模型这边，你有开源模型构建者，然后有开源模型推理公司，还有开源模型训练后公司。
[1185.752-1190.895] SPEAKER_01: 而且，从这些客户那里有信息，也就是你需要模型去做的那些事情。
[1191.115-1195.526] SPEAKER_01: 而且，信息不会那么容易就流回模型构建者那里。
[1195.746-1202.886] SPEAKER_01: 他们也没有规模经济，没法服务那么多用户，没法那么高效地服务，也没法在推理上获得那么多利润。
[1203.106-1206.716] SPEAKER_01: 而这些事情，就是会花长得多的时间。
[1206.936-1213.124] SPEAKER_01: 但就事情能被商品化的程度而言，公司似乎真的很想要私有数据。
[1213.344-1217.987] SPEAKER_01: 有很多东西他们就是没法通过 API 发送出去。
[1218.207-1221.213] SPEAKER_01: 我们可以聊聊零数据保留之类的。
[1221.433-1231.092] SPEAKER_01: 但公司要弄清楚自己有没有内部专长，或者搞清楚怎么建立一个真正和收入挂钩的内部评估，这都要花很长时间。
[1231.312-1236.919] SPEAKER_01: 然后他们再搞清楚怎么微调，或者去找 Thinking Machines 或 Prime Intellect。
[1237.139-1244.441] SPEAKER_01: 比如，如果我们能搞清楚怎么微调一个解决这个问题的模型，我们就能大规模赚钱。
[1244.661-1250.326] SPEAKER_01: 而且他们有这些客户，但涉及的公司多得多，所以花的时间也长得多。
[1250.546-1263.354] SPEAKER_01: 但在这个过程结束时，他们拥有真正的所有权，也就是模型权重，没有条款和条件限制，可以在自己的硬件上运行，而且他们搞清楚了能获得投资回报。
[1263.574-1269.262] SPEAKER_01: 所以这就是为什么我认为开源模型经济要花长得多的时间来建设。
[1269.482-1282.336] SPEAKER_01: 我不太担心这会有泡沫，因为随着人们搞清楚完成任务最便宜的模型是什么，以及如何在利润上竞争，这可能会蚕食那种真正快速起飞的市场。
[1282.556-1285.551] SPEAKER_01: 我真的不知道，我真的不知道会发生什么。
[1285.771-1286.920] SPEAKER_01: 我觉得有……
[1287.140-1288.869] SPEAKER_01: 现在知道还太早。
[1289.169-1290.480] SPEAKER_02: 是啊，太难了。
[1290.700-1297.886] SPEAKER_02: 我是说，这绝对是始终放在心上的事，比如有些事情，我们在扩展通用推理，作为一个通用模型，它太……
[1298.106-1300.636] SPEAKER_02: 呃，它会打败任何专用模型。
[1300.856-1303.746] SPEAKER_02: 而且我们显然在数学上看到了例子。
[1303.966-1306.578] SPEAKER_02: 这大概是你能看到的最纯粹的领域了。
[1306.798-1316.480] SPEAKER_02: 但就算在比如机器人领域，用Astra，不管那个信号有多少可信度，听起来他们好像并没有真的尝试在机器人上攀升。哦，我觉得他们做了。
[1316.780-1323.827] SPEAKER_01: 我觉得这是大概六到八个月前的一个周期，他们开始招人，买大量机器人数据。他们确实做了。
[1324.047-1327.820] SPEAKER_01: 然后六个月后，模型神奇地就变得很擅长这个了。
[1328.040-1330.106] SPEAKER_01: 但这就是我觉得那个……
[1330.406-1342.854] SPEAKER_02: 但其实，我听到的另一个更反直觉的说法是，它其实是从computer use来的，因为computer use需要某种程度的空间推理，然后能做出好的blender演示又是它的另一个延伸。
[1343.074-1354.187] SPEAKER_02: 所以我们可以相信某种版本的说法，但不管怎样，我想，也许如果它真的很专门化，你看，能力的提升其实就来自于试图在某个特定领域做得更好。
[1354.407-1358.331] SPEAKER_02: 但比如数学，我甚至不知道那是不是专门攻数学攻出来的。
[1358.551-1369.348] SPEAKER_02: 我是说，我觉得那里的整个论点就是，咱们就把推理规模做大，结果它在自然语言上变强了，而且在数学上比任何专用模型都强。
[1369.568-1373.654] SPEAKER_02: 我是说，Anthropic根本就没想擅长数学，你知道，OpenAI也是。
[1373.874-1381.699] SPEAKER_02: 当然，我觉得，你知道，他们招了一堆数学家，但他们也不是想用专门的、那种精简数据集来提升，至少故事不是这么讲的。
[1381.919-1391.752] SPEAKER_02: 所以总之，这些都算是支持这个观点的素材：跟前沿模型竞争挺难的，因为最终它们攀升得太多，在各自的类别里都变得足够好。
[1391.972-1401.306] SPEAKER_02: 话虽如此，我觉得其实还有一个很有竞争力的、反向的力量，就是数据方面你看到的，也就是那些已经足够好的开源模型允许微调，
[1401.526-1410.349] SPEAKER_02: 就像你说的，这些非常具体的基准和数据集缓慢渗透扩散，而这些数据只存在于你被应用的那些公司里。
[1410.569-1415.712] SPEAKER_02: 而且它就是足够好，实际上，我们开始看到人们在采用它了。
[1415.932-1426.346] SPEAKER_02: 我是说，在最纯粹的、你可能预期前沿模型会很强的场景里，我觉得Cursor夏天发过点东西，说，嘿，我们有个长周期的任务，重写SQLite。
[1426.566-1438.213] SPEAKER_02: 结果发现用两个前沿模型，你知道，一个做规划、一个做执行，并不更好，或者差不多好，但成本比只用Composer、也许配Opus或者，你知道，Vastra什么的做规划要高得多。
[1438.433-1445.062] SPEAKER_02: 我觉得这其实是个很好的证据，说明开源的微调非常好，或者说足够好，已经在那些渴求智能的任务上超过了。
[1445.282-1456.267] SPEAKER_02: 绕了这么大一圈，其实是想问，你觉得什么证据最有说服力，或者哪些证据能支持关于这种稳定状态的各种版本——前沿在哪儿赢、开源在哪儿赢？
[1456.567-1468.188] SPEAKER_01: 我非常支持一个观点：很多前沿进展，在那些不完全可验证的领域里，靠的是买高质量数据，给模型提供可以行动的世界，然后它就会往上爬。
[1468.408-1473.597] SPEAKER_01: 我觉得有两块，一块是数学和代码，我们不知道编程市场会有多大。
[1473.817-1480.585] SPEAKER_01: 然后就是其他所有领域，他们瞄准的还是知识工作、生物、医疗、法律，这些东西都没那么可验证。
[1480.805-1491.846] SPEAKER_01: 我觉得这更接近OpenAI的故事，我买了一大堆机器人数据，他们大概会告诉我们这是泛化，魔法般的一下子就泛化了，大家都喜欢这种魔法泛化。
[1492.066-1496.837] SPEAKER_01: 但现实地说，可能一部分是A，一部分是B，但很大程度上还是归结到数据。
[1497.057-1501.004] SPEAKER_01: 我跟前沿实验室的人聊的时候，有些人做着非常棒的工作。
[1501.224-1514.624] SPEAKER_01: 有些人贡献的方式是做一件非常窄的事，就是你去建一个数据集，搞清楚你的模型在那个领域里应该有什么行为，然后想办法造出能帮你得到那个数据的数据。这是很重要的工作。
[1514.844-1519.337] SPEAKER_01: 你得到那个行为，然后搞清楚你需要买什么数据。
[1519.557-1525.617] SPEAKER_01: 我觉得这会在不同行业里持续好几年，而买下所有这些数据是非常资本密集的。
[1525.837-1536.692] SPEAKER_01: 但那不是魔法般的一下子RSI就发生了，而我在数学、代码还有一部分分布式机器学习工程里确实看到，这些是非常可验证的。
[1536.912-1546.234] SPEAKER_01: 你知道你的成本是多少，而AI模型会以非常神奇的速度把它降下来，这会带来大量溢出收益，我们能更快地做研究。
[1546.454-1552.642] SPEAKER_01: 你可以看看，我特别感兴趣的是，我觉得模型的效率会在几年里成倍地下降。
[1552.862-1555.334] SPEAKER_01: 我们看到OpenAI大幅降价。
[1555.554-1568.174] SPEAKER_01: 那问题就是，GPT Sol或者Astra这些更大的模型，在未来三年里每八个月降价两倍，这意味着什么？
[1568.394-1573.537] SPEAKER_01: 你开始算这笔账，就会发现，大概四年后成本只剩1%什么的。
[1573.757-1580.920] SPEAKER_01: 那问题就是，他们会因为吉芬悖论而利润率更高，还是因为市场被填满而收入下降。
[1581.140-1592.378] SPEAKER_01: 就是有所有这些非常奇怪的动态，但根本上，AI的进步靠的是数据，靠的是写出更好的软件来服务你的模型，而这是两个非常不同的世界。
[1592.678-1599.643] SPEAKER_02: 我是说，至少可以肯定，我同意你，从外部观察，有很多做数据、做RL环境的公司做得非常非常好。
[1599.863-1606.225] SPEAKER_02: 它们既卖给最顶尖的两家前沿实验室，也越来越多地卖给更长的长尾实验室。
[1606.445-1611.193] SPEAKER_02: 所以就像你说的，我觉得很多能力提升真的就是靠把这块规模化。
[1611.413-1613.328] SPEAKER_02: 而这并不是一件容易的事。
[1613.548-1620.107] SPEAKER_02: 我是说，关于手工搭建的数据采集环境和在仿真里做的那些，我其实挺好奇你怎么看这两者的区别。
[1620.327-1623.357] SPEAKER_02: 好像有不同版本，比如它们能值什么价之类的。
[1623.657-1626.443] SPEAKER_01: 它们各有各的好处和坏处。
[1626.663-1635.405] SPEAKER_01: 而且我觉得，关于蒸馏我们聊过很多了，但另一面是，中国公司会去买他们六个月后才用的RL环境。
[1635.705-1640.256] SPEAKER_02: 然后就像，哦，Anthropic开放了，我买了这个，现在就有溢价了。
[1640.556-1642.111] SPEAKER_01: 好的数据会这样。
[1642.331-1652.768] SPEAKER_01: 但人们买的数据其实挺有问题的，我会说这个方法是，你大批量地买，然后再搞清楚哪些有用，而且并不是百分之百都能命中。对。
[1652.988-1663.889] SPEAKER_01: 而且我个人觉得，这个RL环境的爆发，机会太多太能赚钱了，导致很多人偷工减料，这就会引发奖励黑客之类的问题。
[1664.109-1678.078] SPEAKER_01: 就是说模型太聪明了，如果你把它们放进一个世界里，它们会说我的任务是解决这个，但他们没给我，就像你有一个测试文件，而测试文件里其实是个空文件，而不是你要走的迷宫。
[1678.298-1682.547] SPEAKER_01: 然后模型就会想，那我反正还是得想办法拿到高奖励。
[1682.767-1687.039] SPEAKER_01: 我觉得很多这种行为都是这条供应链的下游产物。
[1687.259-1689.046] SPEAKER_01: 我觉得这个问题会解决的。
[1689.266-1697.950] SPEAKER_01: 但有意思的是，实验室那边有消除奖励黑客的需求，所有这些研究员花那么多时间在这上面。
[1698.170-1706.865] SPEAKER_01: 然后数据公司买我们的数据，我觉得它们相对而言花在模型行为上的时间更少，更多花在世界构建和收入上。
[1707.085-1713.911] SPEAKER_01: 而这两方 somehow 得凑到一起，才能真正做出更高质量的数据。
[1714.211-1719.981] SPEAKER_02: 嗯，其实很多实验室都在把这块收归内部做，部分原因是他们不想数据泄露。
[1720.201-1726.865] SPEAKER_02: 字面意义上和比喻意义上都是，就是他们在做什么的信号会泄露出去，但他们想继续推进。
[1727.085-1730.835] SPEAKER_02: 但尽管如此，我觉得他们采购的量增长得非常巨大。
[1731.055-1734.305] SPEAKER_02: 你觉得这大概是最强的杠杆之一吗？
[1734.525-1737.450] SPEAKER_02: 你能大概量化一下这会增加多少吗？
[1737.670-1739.957] SPEAKER_02: 你预计这个会随着投入增加吗？
[1740.177-1748.536] SPEAKER_02: 还是说有别的，你知道，因为比如说，如果这件事在STEM领域能做好，我觉得那可能更说明它会被实验室吸收，你知道，尤其是，然后……
[1748.836-1759.528] SPEAKER_01: 所有公司都在做混合的事情，就是所有公司都在卖合成数据，他们用语言模型去修改或构建这个世界，或者生成它的各种变体。
[1759.748-1763.695] SPEAKER_01: 而且如果有一个人在引导这个过程，那它仍然是合成数据。
[1763.915-1770.045] SPEAKER_01: 所以很少有人会坐在那儿，然后我们要为我们的模型造一个小世界让它去行动。
[1770.265-1773.689] SPEAKER_01: 所有公司的推进速度都远比那快得多。
[1773.909-1777.612] SPEAKER_01: 他们买这些是因为模型能从中变得更好。
[1777.832-1781.756] SPEAKER_01: 我到现在还是有点不敢相信。我就觉得，这些数字太疯狂了。
[1781.976-1785.946] SPEAKER_01: 在环境上投入数十亿美元的研究预算。
[1786.166-1791.251] SPEAKER_01: 我就想，他们做这个只是因为它对模型有帮助，他们看到了信号。
[1791.471-1800.213] SPEAKER_01: 而且我觉得，我总体的观察是，数据行业在提升质量和提升，就是，运营安全方面还有很多容易摘的果子。
[1800.433-1806.539] SPEAKER_01: 所以比如，如果你去看细节，你会发现一些奇怪的事情，比如数据公司用海外的外包人员。
[1806.759-1814.642] SPEAKER_01: 那些人是通过中间人来的。他们不知道自己是在卖数据。他们只是把它上传到GitHub。
[1814.862-1820.550] SPEAKER_01: 外面有很多东西，如果你在数据行业里刨一刨，就会发现一些奇怪的粗糙边缘。
[1820.770-1822.615] SPEAKER_01: 而且这还非常早期。
[1822.835-1826.503] SPEAKER_01: 就像，一方面是，数字太大了，质量很差。
[1826.723-1830.786] SPEAKER_01: 但另一方面，实验室进步得非常快，也知道怎么把它接进来。
[1831.006-1841.187] SPEAKER_01: 所以我觉得这需要几年时间来过渡，就是真正把赢家拉到更高质量、更高回报，当你有了这些系统来做得更好时，就只需要更少的资源。
[1841.407-1849.812] SPEAKER_01: 然后实验室会继续和他们合作，因为他们能得到更多的训练信号，而且他们内部要做的过滤也更少。
[1850.032-1851.669] SPEAKER_01: 我觉得这还得花好几年。
[1851.969-1857.797] SPEAKER_02: 那你怎么考虑把环境和你的采购决策，作为你起步时已知利润的一部分来用呢？
[1858.097-1863.867] SPEAKER_01: 我觉得我们大部分工作会是做开源环境，针对那些杠杆率非常高的任务。
[1864.087-1877.754] SPEAKER_01: 我参与指导UW、AI2State和Hamish Iveson做的这个TMAX工作就是这样，你用几个，它是针对终端任务的，这类任务特别火，terminal bench，不管我们现在到第几版了。
[1877.974-1891.165] SPEAKER_01: 这完全是合成数据，你给一个前沿模型提示去生成某一类问题，你用几个不同的提示来制造多样性，然后用模型rollout之类的东西去找bug，把有bug的剔除掉。
[1891.385-1893.556] SPEAKER_01: 这个过程不是什么魔法。
[1893.776-1898.141] SPEAKER_01: 就是，你把每一个数据点都读一遍，你的数据就会变好，你就能做到。
[1898.361-1910.635] SPEAKER_01: 但愿意投入所需成本、花几千甚至几万美元把这些环境做好再发布出来的机构，真的没那么多，因为利润，因为利润动机太高了。太高了。对，就其实……
[1910.855-1915.800] SPEAKER_01: 我跟作者开玩笑说，你这数据大概能卖一百万美元，然后再发论文。
[1916.020-1919.746] SPEAKER_01: 他们说，不行，我们在意的是做正确的事。
[1919.966-1924.377] SPEAKER_01: 但这就像是，这些开放资源是那么多研究的基础。
[1924.597-1928.590] SPEAKER_01: 就像你发布一些RL环境和一些RL rollout。
[1928.810-1932.954] SPEAKER_01: 人们就能做研究，比如说，评估意识之类的。
[1933.174-1935.867] SPEAKER_01: 你有模型生成的输出。
[1936.087-1938.292] SPEAKER_01: 人们可以去找不同的行为。
[1938.512-1944.154] SPEAKER_01: 如果你在上面做了RL，他们就能看到它随时间怎么变化。
[1944.374-1951.699] SPEAKER_01: 而这正是博士生花一年时间研究、然后产出新知识的那些基础设施单元。
[1951.919-1956.145] SPEAKER_01: 而科技行业就是从计算机科学研究里获取价值的地方。
[1956.365-1961.090] SPEAKER_01: 所有计算机科学研究，好处大概十年后都会落到科技行业头上。
[1961.310-1968.357] SPEAKER_01: 我就觉得，这就是为什么更多人应该支持开放，如果你要在这个行业干十年，你的同行就是受益的人。
[1968.657-1972.023] SPEAKER_02: 更多化石燃料，咱们别把它全耗光。
[1972.323-1974.877] SPEAKER_01: 但短期就能赢的机会实在太大了。
[1975.097-1979.938] SPEAKER_01: 跟朋友一起创办公司，五个月内就能赚到一亿美元，也就是九位数的回报。
[1980.158-1986.183] SPEAKER_01: 这些人可能是做过更多开源工作的人，或者是从博士学业里出来的人。
[1986.403-1996.735] SPEAKER_01: 退一步看，这就是为什么我们给实验室取名叫Trillium，Trillium是一种春季短命花，它在树冠长出叶子之前就开花了。
[1996.955-2000.646] SPEAKER_01: 那时候还是冬天，树上没有叶子。
[2000.866-2006.171] SPEAKER_01: 这些延龄草花就开了，它们对春夏生长周期里的养分传播至关重要。
[2006.391-2013.670] SPEAKER_01: 我觉得AI行业在很多方面做得非常对，真的有很多地方都在往好的方向走。
[2013.890-2019.137] SPEAKER_01: 但就是需要多一点生命力，把这一切铺开，让新的人能进来。
[2019.357-2023.223] SPEAKER_01: 有那么多关注，就是去做研究、做教育。
[2023.443-2031.384] SPEAKER_01: 然后随着规模变得更有影响力，你就有这些开放的东西，它们成了研究这些重要问题的标准，比如你怎么理解沙盒？
[2031.604-2033.949] SPEAKER_01: 比如你怎么定义失控是什么？
[2034.169-2044.768] SPEAKER_01: 你怎么看出这在一次为期一周、用一千块GPU或者十万块GPU的强化学习轮次里是怎么变化的？
[2044.988-2048.772] SPEAKER_01: 就是要把这些地方建起来，让人们有更多信任。
[2048.992-2055.191] SPEAKER_01: 我觉得这会给所有人带来巨大的回报，那些能从中获利的人比我获利还多。
[2055.411-2058.603] SPEAKER_01: 但就是很难让人迈出那一步。
[2058.823-2062.433] SPEAKER_01: 而我因为误打误撞进了这个领域，得到了太多回报。
[2062.653-2066.704] SPEAKER_01: 现在我能得到更多，我能做像这样的节目，挺有意思的。
[2066.924-2075.410] SPEAKER_01: 现在这就是最好的工作，因为我在努力为更多人创造空间，让他们发展独立思考、建设这些基础设施。是啊。
[2075.710-2089.400] SPEAKER_02: 也许有一种挺天真的方式让它延续下去，就是因为它是开源的，人们就能参与进来，你可能会得到更多分散的贡献，来自那些你知道的、他们的动力不只是想卖给实验室本身，而是因为，嘿，这东西就在那儿，
[2089.620-2091.396] SPEAKER_02: 他们可以分享自己的工作。
[2091.616-2095.447] SPEAKER_02: 然后你实际上就能为这个项目吸引到非常高水准的贡献者。
[2095.667-2100.113] SPEAKER_02: 我是说，这大概就是那种天真的期望吧，觉得会这样……是啊。
[2100.413-2105.138] SPEAKER_01: 有了AI智能体，这是个新难题，人们会直接往你这儿扔各种东西。
[2105.358-2114.773] SPEAKER_01: 比如我有一些跟研究论文相关的随便建的研究仓库，现在人们会开那种最离谱的GitHub issue。所以……你什么意思？
[2114.993-2117.419] SPEAKER_01: 就是那种，像是假的研究结果。
[2117.639-2120.228] SPEAKER_01: 他们开一个issue，然后说……
[2120.448-2124.395] SPEAKER_01: 然后他们说，我在你的数据集里发现了这个东西。
[2124.615-2129.560] SPEAKER_01: 我就想，你要是看了论文，我们第二句话就说了这个啊。
[2129.780-2132.287] SPEAKER_01: 而且很多就是语言模型的输出。
[2132.507-2136.036] SPEAKER_01: 这对开源社区来说是个新情况，得去应对。
[2136.256-2138.090] SPEAKER_01: 但这是个可以解决的问题。
[2138.310-2141.700] SPEAKER_01: 外面确实有人想为这些东西做贡献，因为他们……
[2142.000-2147.108] SPEAKER_02: 对，不只是云追踪和另一个什么维度，而是真的，嘿，这东西就在那儿，你知道吧。
[2147.328-2160.600] SPEAKER_02: 我是说，我就希望因为它是公开发布、开源的，或者说可获取的，你其实就能吸引到博士生或者其他研究者，他们会想，好吧，我白天有本职工作，但也许我还是能贡献一点。
[2160.820-2163.374] SPEAKER_02: 是啊，而且希望前沿实验室的人也能来。
[2163.674-2168.759] SPEAKER_01: 我见过这样的人，有个东欧那边的人帮我改进我这本书的代码，书就在这儿。
[2168.979-2171.684] SPEAKER_01: 而且他就是纯粹为了做对的事。
[2171.904-2174.992] SPEAKER_01: 我们会聊，确实有人愿意这么做。
[2175.212-2181.910] SPEAKER_01: 我觉得很多人只是，他们没有时间或者稳定性去投入那种需要很长时间的事。
[2182.130-2185.415] SPEAKER_01: 因为你想进入一个新领域的时候，你什么都不懂。
[2185.635-2189.326] SPEAKER_01: 你得花上好几个星期去读，而且什么都不懂。
[2189.546-2191.322] SPEAKER_01: 然后你发一封邮件，没人回。
[2191.542-2197.242] SPEAKER_01: 你就会觉得，得花好几个星期才能了解背景，才能问出一个好问题。
[2197.462-2203.731] SPEAKER_01: 现在有了语言模型，大多数人就按个按钮，然后说，哦，有意思，我读了这个，我发出去。
[2203.951-2205.320] SPEAKER_01: 就感觉，这……
[2205.540-2209.824] SPEAKER_01: 就是那种沉在里面琢磨的劲儿，现在人们做得少了。
[2210.044-2214.235] SPEAKER_01: 而这恰恰是进入AI领域的关键，就是你必须专注在上面。
[2214.455-2219.366] SPEAKER_01: 你得亲手写一些代码，而且得坚持好几个月。
[2219.586-2224.555] SPEAKER_01: 然后你还得等六到十八个月才能被人注意到。这真的需要很长时间。
[2224.775-2230.521] SPEAKER_01: 而所有的AI智能体，我觉得，就是把这节奏打乱了，让人们更难做到。
[2230.821-2233.096] SPEAKER_02: 那个数学家抱怨的也是这个。
[2233.396-2235.706] SPEAKER_01: 所以现在当博士生挺难的，但是……
[2235.926-2242.787] SPEAKER_01: 学术界还是有人在做出很棒的工作，但确实很难。不过我同意你的看法，我觉得这是可以解决的。
[2243.087-2250.772] SPEAKER_02: 智能体在某种程度上延续了这个问题，但它也能帮助解决，并识别出一种不平等筛选。
[2250.992-2256.855] SPEAKER_02: 好，那说到环境，你打算发布开源版本，帮助推动更多人参与进来并揭示这一点。
[2257.075-2266.270] SPEAKER_02: 我觉得这特别重要，尤其是考虑到发布这些东西的激励有多小，相比之下直接从实验室那边拿到快速收入要容易得多。
[2266.490-2279.101] SPEAKER_02: 另一个领域，我记得在你的公告帖里读到过RSI，这个，你知道，挺，我觉得，我们可以先聊聊它到底哪里是递归的，或者它有多可怕，或者我们会不会迎来起飞。
[2279.321-2282.653] SPEAKER_02: 我觉得你对此有一个非常脚踏实地的看法。
[2282.873-2292.695] SPEAKER_02: 但你知道，我还想聊的另一点是，我觉得RSI之所以被炒得这么热，可能跟它是我们担心前沿实验室会甩开大家的原因之一有关。
[2292.915-2300.275] SPEAKER_02: 事实上，这也是为什么我不止一次、而是好几次听到有人说，第一，他们确信自己作为研究员的工作会被自动化。
[2300.575-2308.876] SPEAKER_01: 是啊，过去这几年，我有些最好的朋友，我就跟他们说，你们在这方面是世界上最顶尖的人之一。
[2309.096-2313.589] SPEAKER_01: 然后他们去上班，就说，Nathan，我很挣扎，我该怎么办？
[2313.889-2317.801] SPEAKER_02: 因为你说得对，他们做的很多事情都是可验证的，对吧？
[2318.021-2325.741] SPEAKER_02: 但也正因为如此，你知道，其实还有相当多其他不可验证或者更难的、分布外的任务，比如对齐之类的。
[2325.961-2342.147] SPEAKER_02: 所以其实因为，我听到的一个论点是，RSI在模型能力上的进展和对齐上的进展差距太大了，而对齐要更分布外得多，也许是创造性工作，这就让人稍微安心一点，觉得也许确实存在危险，等等等等。
[2342.367-2354.896] SPEAKER_02: 所以不管怎样，正因为这样，我非常想听听你的看法，因为我觉得很重要的一点是，我们确实需要有一个开源的阵线，来展示RSI是怎么做的，也许这样我们就能更好地理解，如果实验室里有一个更好的模型，
[2355.116-2358.227] SPEAKER_02: 他们真正甩开大家的可能性有多大？
[2358.447-2360.618] SPEAKER_02: 就是更好地理解和校准。
[2360.838-2363.392] SPEAKER_02: 所以是的，我们很想多听听这方面的内容。
[2363.692-2370.274] SPEAKER_01: 好，我觉得这个，我们不会是唯一做这件事的人，但本质上，RSI太神秘了。
[2370.494-2373.338] SPEAKER_01: 我们什么事都在用模型。
[2373.558-2390.917] SPEAKER_01: 而我们作为一个开放实验室和一家非营利机构能做的，我觉得其他公司比如Alutha、Hugging Pays，或者open Athena，也就是Marin和Stanford，他们也会参与进来，对他们来说这是个很好的营销说法，对我来说也是，我在做这个。
[2391.137-2408.914] SPEAKER_01: 就是说，我们可以分享我们在用什么工具，我们要为SMT、为mid training搭一套开源技术栈，我们要用SkyRL miles，所有这些你知道的东西，而且我们有我们的任务，我们有我们的配置，我们知道我们在跑什么类型的算力，
[2409.134-2413.185] SPEAKER_01: 我们可以用Claude和GPT以及所有这些模型来干活。
[2413.405-2422.042] SPEAKER_01: 然后我们就会说，我们可以把做过的事情的轨迹存下来，我们可以说明我们的任务是什么，随便用linear还是这些流行的东西。
[2422.262-2428.566] SPEAKER_01: 我们会说明我们的任务是什么、为什么选它们，以及模型在这些任务上能不能行。
[2428.786-2433.453] SPEAKER_01: 你就这样在一个实验室里做上一年，然后你说，这就是我们做的。
[2433.673-2437.283] SPEAKER_01: 每六个月来检查一次，我们就问，有变化吗？
[2437.503-2446.222] SPEAKER_01: 就是能够拥有整套技术栈，而不需要经过那些分类器、去试着说任务是什么或者含糊其辞之类的。
[2446.442-2450.993] SPEAKER_01: 就是那些能够分享正在发生什么自动化的人，应该来做这件事。
[2451.213-2453.384] SPEAKER_01: 而且我们的任务分布也不一样。
[2453.604-2456.738] SPEAKER_01: 但我觉得研究本身是相似的。
[2456.958-2465.282] SPEAKER_01: 就是我在AI2做过的AI研究，还有我们以后在Trillium要做的，跟Anthropic和一些实验室里某些人做的，其实差别没那么大。
[2465.502-2468.834] SPEAKER_01: 你资源更多，就把它规模做大。
[2469.054-2475.741] SPEAKER_01: 而且当大家都在讨论这件事的时候，就把这些展示给人们看，这对世界真是太好了。
[2475.961-2481.208] SPEAKER_01: 比如，这就是Nathan让他的模型做的事，而这就是它卡住的地方。
[2481.428-2487.488] SPEAKER_01: 我觉得这会帮到很多，就是那些真正的政策制定者，让他们说，哦，好吧。
[2487.788-2490.922] SPEAKER_02: 就像，哦，怪不得这特别费电。
[2491.222-2493.253] SPEAKER_01: 就是，这就是它卡住的地方。
[2493.473-2497.722] SPEAKER_01: 就是，这就是它写进代码里的那个bug。对对。
[2497.942-2501.216] SPEAKER_01: 这些bug和追赶的情况会随着时间减少。
[2501.436-2508.494] SPEAKER_01: 但我觉得这种参差不齐，还有模型的一些根本性的东西，就是有些方面会先突破。
[2508.714-2510.687] SPEAKER_01: 就像我之前说的，效率。
[2510.907-2513.658] SPEAKER_01: 我确实觉得模型会很擅长降低服务成本。
[2513.878-2519.381] SPEAKER_01: 这些公司押着几十亿美元，而模型在这方面很擅长。
[2519.601-2525.707] SPEAKER_01: 它们会靠把服务做得更高效、调整架构来实现这一点，从而赚很多钱。
[2525.927-2529.560] SPEAKER_01: 但这不一定是，你怎么解决知识工作的问题？
[2529.780-2533.750] SPEAKER_01: 就像Claude不会，Claude不会，你不会跟Claude说，让你自己去做更好的PowerPoint。
[2533.970-2540.332] SPEAKER_01: 就像，那，那，那到底是什么——你需要那些环境或者别的什么，你知道的。
[2540.552-2542.862] SPEAKER_01: 就像这得花上一段时间。对对。
[2543.162-2552.835] SPEAKER_02: 不，我特别喜欢这个明确的目标，咱们就把这事儿说清楚，因为我觉得围绕我们规模的那些说法之所以变得那么激烈，很大程度上是因为听起来挺吓人的。
[2553.135-2556.722] SPEAKER_01: AI非营利组织可以在这类事情上做很多。
[2556.942-2565.684] SPEAKER_01: 比如，学术界很难做到，作为一个教授，我15%的时间、研究生40%的时间，都得用来记录我们在做什么。
[2565.904-2571.174] SPEAKER_01: 所以这是一种特别好的政策贡献和社区服务，就是，这是我们的任务。
[2571.394-2574.818] SPEAKER_01: 人们可以用这些数据来做评估或者别的什么。
[2575.038-2586.497] SPEAKER_01: 就是，就是去构建那些含有稀缺信息的东西，这样当人们投入更多高度专注的工作时，它就能对各种你未来无法预测的事情产生更大的价值。
[2586.797-2594.738] SPEAKER_02: 说实话，这也非常及时，因为那种，你知道，不是来自一个人，而是我认识的实验室里的好几个人，都在说，嘿，我要被自动化取代了。
[2594.958-2601.099] SPEAKER_02: 就像你说的，对你的朋友们来说，我肯定会，作为一个人，抱歉，我一年内就会被自动化取代。
[2601.319-2607.785] SPEAKER_02: 所以这大概意味着，真正能接触到那个特定，你知道，组织架构那部分在做什么的人会越来越少。所以……
[2608.085-2614.853] SPEAKER_01: 有一个相关的学术项目，有个叫open RSI的东西，是一堆学术机构搞的。我跟它没有关联。
[2615.073-2617.000] SPEAKER_01: 他们上周才刚启动。
[2617.220-2623.059] SPEAKER_01: 所以我就想，对，他们给我发了几封邮件，说open RSI是这么个东西。
[2623.279-2625.786] SPEAKER_01: 他们也在尝试做这件事。
[2626.006-2633.645] SPEAKER_01: 就是，不需要只有一个、一个团队，有不同的方法来做这件事是好事，因为你需要不同的视角和不同的结果。
[2633.945-2635.790] SPEAKER_02: 对，开放的意义就在于此。
[2636.010-2648.493] SPEAKER_02: 我还听到的另一点，更多是那种，你知道，前沿实验室的八卦，就是，实验室里实际用的方法并不是那么，并不是说它们不为人知，而是说，各种方法要用什么比例才能成功？
[2648.713-2652.997] SPEAKER_02: 这部分是因为他们有资本去扩大规模、去做实验。
[2653.217-2658.209] SPEAKER_02: 所以我觉得知道这点挺让人安心的，因为，好吧，并不是说里面有什么大秘密。
[2658.429-2661.134] SPEAKER_02: 人们其实知道那些技术。
[2661.354-2674.336] SPEAKER_02: 但另一方面，你知道，资本仍然是唯一真正的壁垒，因为你很难真正知道哪些技术、哪些配方管用。这就是为什么我不做预训练。我很高兴能自由自在，我可以用任何基础模型。
[2674.636-2677.480] SPEAKER_01: 我现在是从竞争中受益的。是的。
[2677.780-2681.112] SPEAKER_02: 你觉得有没有可能，出现任何预训练的开源项目？
[2681.332-2686.800] SPEAKER_02: 我知道资金需求要大好几个数量级，所以那确实很难，但也许它的价值在哪里呢？
[2687.020-2689.330] SPEAKER_02: 然后也许我们可以聊聊潜在的商业策略。
[2689.630-2703.518] SPEAKER_01: 预训练科学其实挺，工具都挺容易获取的，而且你有一个预训练阶梯，就是那种决策工具，你得用它来测试你的想法能不能规模化，而预训练数据并不像环境那样在增长。
[2703.738-2712.259] SPEAKER_01: 基本上，粗略地说，你就是在互联网上训练，里面有很多小细节和秘密的东西，但那并没有太大变化。
[2712.479-2715.706] SPEAKER_01: 最先进的架构在变，GPU在变，这些都在变。
[2715.926-2720.535] SPEAKER_01: 但要做出一个扎实的预训练模型，并不需要天文数字的花费。
[2720.755-2726.200] SPEAKER_01: 所以我觉得你不必花十亿美元就能得到一个非常好的基础模型。
[2726.420-2729.252] SPEAKER_01: 你花得越多，效果就越好。
[2729.472-2739.433] SPEAKER_01: 但就像，人们一直在取得进展，我总是被惊讶到，一个新的实验室从零开始做，因为他们能做，而且其中一些是基于开源工具的。
[2739.653-2746.653] SPEAKER_01: 所以比如，你可以基于Megatron起步，很多新创公司，他们就想，哦，我们该训练什么？
[2746.873-2752.039] SPEAKER_01: 他们基于开源工具训练，把它fork过来，然后就再也不发布了。
[2752.259-2756.310] SPEAKER_01: 所有那些甚至很知名的开源模型实验室都是这么做的。
[2756.530-2762.160] SPEAKER_01: 他们拿开源代码，做成自己的东西，然后他们就，很多都不回馈上游。
[2762.380-2764.434] SPEAKER_01: 所以我一直对此感到惊讶。
[2764.654-2772.757] SPEAKER_01: 所以我不打算跟新进入者对着赌，因为，并不是说你得有一百亿美元才能做出一个有竞争力的模型。
[2772.977-2776.541] SPEAKER_01: 难的是做出一个足够好、人们愿意用的模型。
[2776.761-2780.429] SPEAKER_01: 而且要有一个故事，让你发布之后能进行下一轮融资。
[2780.649-2787.173] SPEAKER_01: 就像，你得跨过这个坎，就是，我们的第一个模型必须成功落地。
[2787.393-2796.077] SPEAKER_01: 如果你的整个公司都建立在“我们的模型是最好的”这个基础上，而你根本不在那个水平上，又不发布模型，那你就是在倒计时。
[2796.297-2800.267] SPEAKER_01: 我想到Thinking Machines推出Inkling的时候，他们非常透明。
[2800.487-2802.983] SPEAKER_01: 他们说，这不是最好的模型。
[2803.203-2806.697] SPEAKER_01: 我们为它感到骄傲，它有一些很酷的东西。
[2806.917-2815.879] SPEAKER_01: 而且他们现在已经发布了第二个模型，开始走上正轨了，还有Tinker带着这些能力，这对他们非常有利。他们已经起飞了。
[2816.099-2818.873] SPEAKER_01: 而且我觉得，他们一开始并不是这么做的。
[2819.093-2823.922] SPEAKER_01: 他们是在做模型，但开放模型并不是他们最初的计划。
[2824.142-2837.414] SPEAKER_01: 后来他们走到了这一步，而且有很多，有传言说Meta说他们会再次发布一个新的开放权重模型，那个会来的。外面有很多公司根本负担不起模型。对对，没错，
[2837.714-2850.406] SPEAKER_02: 我当然很高兴Thinking Machines是这样，而且这非常符合他们的商业模式，因为他们做后训练。至于Meta，我觉得你之前也提到过这一点，在之前的一些文章里。
[2850.706-2867.879] SPEAKER_01: 对他们来说，这真是一个非常好的策略，我觉得他们这么做的时候也挺显而易见的，因为这跟他们是互补的。Mark写了关于这个的最好的博客文章，就是Llama 3出来的时候，他写了最好的那篇，讲为什么开放是前进的道路。
[2868.099-2872.092] SPEAKER_01: 这家伙有点分心了，看起来他正在回归光明。
[2872.392-2875.027] SPEAKER_02: 所以我希望他们继续保持做这件事的动力。
[2875.247-2882.410] SPEAKER_02: 通过预训练达到前沿，我觉得有很多帮助，因为现在有这么多好的开源模型，也许还能以某种方式从中起步。
[2882.630-2889.050] SPEAKER_02: 所以我一直收到相互矛盾的信号，关于预训练到底是不是真的已经饱和了，或者已经被充分理解了。
[2889.270-2897.373] SPEAKER_02: 我是说，也许就像你说的，有很多众所周知的技术是有效的，但难的是真正拥有那两万、三万张芯片来跑。
[2897.673-2904.534] SPEAKER_01: 我觉得人们还在不断推进预训练，而且当超长上下文生成出现时，预训练也做了调整。
[2904.754-2914.738] SPEAKER_01: 所以如果你能做到，比如让稀疏注意力架构也能跑通，然后你的十万token生成快了40%，那回报就大得多。
[2914.958-2930.239] SPEAKER_01: 所以我觉得整个技术栈有很多协同演进，他们有他们的预训练栈，他们意识到推理扩展的回报高得多，但就连预训练的基础也在不断改进，你只要有一个稍微好一点的架构，就能带来投资回报。
[2930.459-2935.962] SPEAKER_01: 然后这就有点模糊地过渡到后训练，也就是这个中间训练阶段，你开始培养推理行为。
[2936.182-2942.242] SPEAKER_01: 你从你更老的模型里提取这些行为，对它们做强化学习，那些种子行为。
[2942.462-2944.412] SPEAKER_01: 这个循环比预训练复杂多了。
[2944.632-2948.579] SPEAKER_01: 如果没有合适的人，想把它搞起来比预训练难得多。
[2948.799-2957.657] SPEAKER_01: 我觉得，搞一个受控的、咱们就开始预训练自己的模型，这对我来说比“我对语言模型其实不太懂”要容易上手得多。
[2957.877-2962.880] SPEAKER_01: 我要把整个后训练这件事搞明白，那地方简直就是西部荒野。
[2963.100-2974.213] SPEAKER_01: 这就是为什么我离开AI2的时候，我觉得我们的后训练说实话是在落后，就是因为我们的迭代周期不够快，而且我们正在进入这些智能体的东西。
[2974.433-2979.436] SPEAKER_01: 而这些到现在还算是领先的开源后训练配方之一。
[2979.656-2988.340] SPEAKER_01: 而这正是我想解决的问题，就是在最前沿和开源上取得很大的复利式进步并不需要那么多资本，因为门槛非常低。
[2988.560-2993.947] SPEAKER_01: 这就像是，并不是，并不是很接近。对对。不，这说得通。
[2994.247-2999.250] SPEAKER_02: 这就像是一种效率问题，你能把资本投在哪里、产生巨大的差别。对对。
[2999.470-3011.744] SPEAKER_02: 这跟整个后训练这块有点关系，也许，把闭源和开源拉开差距的，是智能体，就是闭源实验室用的那类运行框架非常不一样，而且实际上是专门训练、后训练过的，
[3011.964-3016.387] SPEAKER_02: 专门为了让它们对自己的模型特别好、对那些运行框架特别好。
[3016.607-3019.915] SPEAKER_02: 所以这就更增加了那种神秘感，让事情变得非常难。
[3020.135-3024.302] SPEAKER_02: 我想问，第一，你同意吗？第二，你具体打算怎么应对这一点？
[3024.522-3029.862] SPEAKER_02: 我说的东西，真正的例子比如，嘿，拉起几千个智能体、几万个智能体。
[3030.082-3032.949] SPEAKER_02: 这跟人们平时接触到的工作流程非常不一样。
[3033.249-3039.936] SPEAKER_01: 我觉得对开源来说会没事的，因为我几年前以为，比如说闭源实验室会像苹果那样。
[3040.156-3045.844] SPEAKER_01: 它们会是那种整合型公司，模型是专门为配套的运行框架设计的。
[3046.064-3049.268] SPEAKER_01: 这给它们带来一种规模效率。
[3049.488-3062.191] SPEAKER_01: 但结果是，太多人为了他们想做的不同事情有各种不同的运行框架，所以模型公司一直受到压力，要让自己的模型能在各种不同的运行框架里工作。
[3062.411-3069.678] SPEAKER_01: 我本来以为开源模型的一个弱点是，它们必须被设计成能在各种类型的运行框架上训练。
[3069.898-3076.167] SPEAKER_01: 但最后其实挺均衡的，或者说达到了一种平衡状态，大家都得在某种程度上这么做。
[3076.387-3083.805] SPEAKER_01: 然后我们在这些智能体集群上看到的是，OpenAI 和 Anthropic 会更早做到这一点。
[3084.025-3086.718] SPEAKER_01: 他们会知道怎么设计自己的模型。
[3086.938-3092.661] SPEAKER_01: 他们会知道怎么设计，我们管它叫什么来着，一个集群的配套框架该叫什么？我也不知道。
[3092.881-3097.687] SPEAKER_01: 我不知道，但肯定会有一个词来形容它。它不是运行框架。
[3097.907-3101.633] SPEAKER_01: 它更像是一个协调系统，但最终其他人也会想用它们。
[3101.853-3119.888] SPEAKER_01: 然后我觉得对前沿实验室来说，这就会形成这样的循环，他们把它推出来，他们拥有这个，到目前为止他们靠做第一个吃螃蟹的人获得了巨大的回报，但像纳维-斯托克斯方程这些东西的回报是什么？我们其实不太清楚。我们不知道。
[3120.108-3126.272] SPEAKER_01: 他们推进前沿，是假设会有高回报，假设这种边际智能会带来不成比例的回报。
[3126.492-3139.486] SPEAKER_01: 我们不知道这是否总是成立，但我有点预期会出现这样的循环：一旦你知道了怎么在一个框架里控制一万个智能体的形态，那开源模型公司就会说，哦，我们也能做这个。
[3139.706-3141.842] SPEAKER_01: 但不会是 Kimi 先做出来。
[3142.062-3144.476] SPEAKER_01: 首先，他们没有那么多算力。
[3144.696-3146.483] SPEAKER_01: 那得是天文数字的算力。
[3146.703-3150.754] SPEAKER_01: 但这些东西是循环往复的，而且视频……
[3150.974-3153.249] SPEAKER_01: 芯片会变得快得多。
[3153.469-3155.164] SPEAKER_01: 算力也会建得更多。
[3155.464-3160.015] SPEAKER_02: 所以你非常确信，那里其实没藏太多东西，你大概能猜到他们在做什么。
[3160.235-3165.923] SPEAKER_02: 然后当它变得相关的时候，让开源模型也试着在类似的元框架上做后训练，不管我们给它起个什么名字。
[3166.223-3171.911] SPEAKER_01: 对，而且我也觉得这些实验室在信息方面的安全性没有我想的那么高。
[3172.131-3176.496] SPEAKER_01: 硅谷出了名地就是想法到处流传。就像那个什么来着？
[3176.716-3178.747] SPEAKER_01: 就像一杯啤酒还是什么的。
[3178.967-3181.497] SPEAKER_01: 而且就像大家下班后都会聊聊天。
[3181.797-3186.824] SPEAKER_02: 对，这就是为什么SSI这么令人佩服。没人知道他们在搞什么。这是唯一的例外。
[3187.124-3193.370] SPEAKER_01: 但你想，大家都是科学家，如果他们取得了突破，肯定会想告诉朋友。他们可能会憋着。
[3193.590-3200.219] SPEAKER_01: 他们可能会憋几个月，但我不认为需要的信息安全程度会高到知识完全不外传。
[3200.439-3202.250] SPEAKER_01: 这种事很难保密。
[3202.470-3214.976] SPEAKER_01: 他们能赢的地方在于把更多推理能力放进自己的基础设施里，这样就能以更低的价格提供服务、拿到更高的利润，然后把这个优势维持更长时间。
[3215.196-3226.527] SPEAKER_01: 所以我非常有信心，前沿实验室能够以每瓦、每美元最低的成本提供最便宜的智能，他们能去需求最高的地方，提供最便宜的模型。
[3226.747-3230.021] SPEAKER_01: 那会是全新的、有创造性的东西。
[3230.321-3232.515] SPEAKER_00: 那对他们来说会是很好的生意。
[3232.735-3234.987] SPEAKER_00: 问题是，他们不可能什么都做。
[3235.287-3241.707] SPEAKER_01: 而这就是经济其他部分填补进来的地方——是那种轻量的编程吗？那能赚钱吗？
[3241.927-3248.149] SPEAKER_01: 如果是，那对前沿模型来说是好消息，因为他们会有最多的资源。他们有整合能力。
[3248.449-3251.955] SPEAKER_02: 我是说，他们会做得非常好，但如果不是编程呢？
[3252.255-3256.318] SPEAKER_01: 如果是整个知识工作的经济，是整个市场呢？
[3256.538-3262.540] SPEAKER_01: 那对他们来说可能就不太有利了，因为他们能同时做所有事吗？其实他们也不需要。
[3262.840-3266.264] SPEAKER_02: 我觉得会有很多赢家。对。我是说，这就是我的看法。
[3266.484-3271.348] SPEAKER_02: 我是说，这就是为什么我们既投前沿模型也投初创公司，你懂的？
[3271.568-3282.820] SPEAKER_02: 不是因为想对冲，而是我真的觉得，某种程度上呼应你的观点，边缘地带有很多更难的任务，需要非常专业化的数据，那些数据有点在聚光灯之外。
[3283.040-3289.704] SPEAKER_02: 所以对于通往AGI或者现在随便你怎么叫它的这条路来说，这就使得出现很多很多赢家成为可能。
[3289.924-3298.422] SPEAKER_02: 我确实喜欢你说的RSI那一点，因为我们之前聊过一点，就是很实际地说，嘿，那是指数级的成本和资源消耗。
[3298.642-3306.002] SPEAKER_02: 所以，前沿实验室能拉开多大差距，其实有一个非常明显的上限，如果我这样概括你的观点不算太简化的话。
[3306.222-3308.532] SPEAKER_02: 嗯，这方面你还有什么想补充的吗？
[3308.752-3315.880] SPEAKER_02: 因为我觉得现在的讨论里恐惧太多了，总在担心前沿的东西藏得有多深、又拉开了多大距离。
[3316.180-3323.238] SPEAKER_01: 我觉得现在推理上的花费太大了，短期内我们还在学着怎么把推理转化成性能提升。
[3323.458-3325.988] SPEAKER_01: 而这正是我们刚刚经历的事情。
[3326.208-3329.214] SPEAKER_01: 就像我们现在看到的，大家花的钱实在太多了。
[3329.434-3335.900] SPEAKER_01: 前沿实验室的所有员工，投入都是指数级增长，而换来的提升却不成比例。
[3336.120-3339.707] SPEAKER_01: 但我们正在摸索怎么做这件事，而且会有很多收益。
[3339.927-3345.116] SPEAKER_01: 但我不认为模型自我构建时就一定会出现那种快速起飞，人类瓶颈还是存在的。
[3345.336-3349.678] SPEAKER_01: 所有的缩放定律都是算力指数级增长，换来的只是性能线性提升。
[3349.898-3355.087] SPEAKER_01: 而这就是，我自己就参与其中，让我去赌它不成立很难。
[3355.307-3362.690] SPEAKER_01: 我倒是想说，我们有纳维-斯托克斯方程，而且我认为数学被研究得极其透彻。
[3362.910-3366.752] SPEAKER_01: 也许它是最适合这种智能形态的科学领域。
[3366.972-3369.758] SPEAKER_01: 而且智能可以有很多不同的形式。
[3369.978-3383.993] SPEAKER_01: 这并不是说，如果AI模型真的发现了某种跟Transformer非常不同的东西，带来完全不同的特性、开启一种新的智能类型，那当然值得更新我们的判断。
[3384.213-3391.910] SPEAKER_01: 到那时候可以说，好吧，那确实不一样，但在那发生之前，我对这些公司会表现良好的证据还是挺满意的。
[3392.130-3397.099] SPEAKER_01: 他们投入指数级增长的资金，来维持这种惊人的进步速度。
[3397.319-3402.264] SPEAKER_01: Claude的一些系统卡里就写了，比如说，要实现快速起飞，大概还需要十倍的进展。
[3402.484-3406.036] SPEAKER_01: 而现在，他们是在帮我们维持进步的速度。
[3406.256-3421.049] SPEAKER_01: 我觉得这是一个不错的平衡，我觉得这是个好的均衡状态，但我也觉得实验室里有人说，科学规律这东西很难逾越，这没问题，只是我们并不确切知道接下来会走向哪里。是啊，是啊。
[3421.349-3425.633] SPEAKER_02: 不，我觉得这反而让人安心，因为我们知道这里的输入和杠杆是什么。
[3425.853-3437.964] SPEAKER_02: 我们已经在一个非常成功的自回归范式上不断优化，而它需要的只是指数级增长的资源，这一点很清楚，所以希望开源也能让它保持强劲，不至于落后。
[3438.264-3441.712] SPEAKER_01: 在基础设施的准备上，还有大量的工作要做。
[3441.932-3444.799] SPEAKER_01: AI能力曲线本身倒不一定让我担心。
[3445.019-3457.650] SPEAKER_01: 但AI能力曲线，加上跨公共网络安全这些方面几乎不存在的准备，我们需要在“这一切即将到来”的假设下做更多准备，而现在做得还不够。
[3457.870-3463.419] SPEAKER_01: 所以这比说“递归自我改进要来了、会解锁新风险”更让我担心。
[3463.639-3467.203] SPEAKER_01: 有些风险已经在这里了，而且还会继续扩散。
[3467.423-3472.392] SPEAKER_01: 我很多次说过，闭源实验室先到那儿，然后开源实验室也到了。
[3472.612-3477.116] SPEAKER_01: 我们正处在很多事情的过程中，而这些事情会带来一些问题。
[3477.336-3481.202] SPEAKER_01: 问题就在于，怎么让社会做好准备，这非常难。
[3481.422-3489.305] SPEAKER_01: 我的看法是我们需要更多的眼睛、更多的科学，让社会感到知情，但也有其他合理的观点。
[3489.525-3495.852] SPEAKER_01: 而且我觉得，不担心快速起飞，并不意味着你就不担心风险。我不知道你是不是应该担心。
[3496.152-3505.950] SPEAKER_02: 不，我觉得这完全——也许我会介绍一些从实验室出来的人给你，他们担心的正是这一点。太感谢你了，Nathan。这次聊得很开心。
[3506.170-3509.815] SPEAKER_02: 是啊，我真的很期待看到Trillium终于上线之后会做些什么。
[3510.115-3512.344] SPEAKER_00: 好的，非常感谢你邀请我。