xAI 联合创始人 Igor Babuschkin 谈模型开发、River AI 与本地个人 AI
点播放，字幕跟着声音走
Subtitles follow the audio
逐句文字稿
点任意一句，从那里开始听
正在加载字幕…
-
欢迎回到Unsupervised Learning，我是Jacob Efron。
-
今天我们请到了Igor Babushkin，聊得特别精彩。
-
Igor总是在对的时间出现在对的地方，主导了很多非常有意思的AI工作。
-
他曾在DeepMind，主导了很多围绕StarCraft以及AlphaCode的工作。
-
他曾在OpenAI做推理方面的早期工作。
-
后来他是xAI的联合创始人，在Colossus上做了一些堪称壮举的工作，也帮助把模型推进到了今天这个水平。
-
能跟Igor聊他的新公司River AI真是太好了，聊了他们围绕面向企业、面向消费者的个人AI以及本地硬件所做的押注。
-
我们聊了他对生态走向的所有看法，聊了要把模型从编程提升到不可验证领域需要什么，以及他觉得我们什么时候能走到那一步。
-
我们聊了他为什么认为闭源模型提供商作为企业现在其实处境非常艰难，也谈到了他对AI模型对世界未来意味着什么以及相关政策影响的思考。
-
能跟一个处在行业最前沿的人聊所有这些大家最关心的问题，真是太棒了。
-
我觉得大家会非常喜欢Igor的视角。
-
话不多说，有请Igor。
-
Igor，非常感谢你来上播客。
-
特别高兴你能来。
-
谢谢你的邀请，Jacob。我们也很期待跟你聊。
-
你在DeepMind、OpenAI、xAI期间开创了那么多重要的研究。
-
你很早就介入了很多我觉得定义了今天这一年的东西。
-
有Firebase Reasoning、推理时搜索，而且你最近离开了xAI，创办了自己的公司River，专注做个人AI。
-
我觉得这期节目里有太多东西会让听众们兴奋地想听你的看法。
-
我想确保他们了解River，听到你对身处AI这一切发生之处的思考，还有你对我们要往哪儿走的预测。
-
我在想从哪里开始的时候，有一件事我觉得特别有意思，就是你今年早些时候写了一些很有意思的小说。
-
没看过的人可能不知道，其中一篇是那种反乌托邦的视角，讲模型最后失控、掌控了世界，结尾特别有意思，主角意识到这一切都是自己梦到的，这些事其实都还没发生，
-
但他们还是决定迈出第一步，开始去做。
-
然后有个很有意思的对比，你的第二篇其实是一封写给未来那些机器的情书。
-
所以也许可以先从这儿聊起，我很好奇，是什么启发你写这些的？
-
是啊，我觉得去年十一月、十二月那会儿，我们所有软件工程师、AI研究员都经历了一件挺大的事，就是编程智能体突然变得特别强，你根本没法忽视它们了。
-
之前呢，有些人用，有些人不用。
-
但从那之后，随着最新一代的Cloud Opus模型出来，大家突然都一致认同了，是的，这些模型非常强大，是的，它们让我们的工作轻松了太多太多。
-
而且同时，它们现在干了那么多我们以前做、而且以前还挺享受的软件工程活儿。
-
所以这对我们所有人来说都是一次真正的转变。
-
和很多人一样，我十二月的大部分时间都在用编程智能体，把我这辈子想做过的、或者做过的所有编程项目全都重写了一遍。
-
然后你会有一种难以置信的感觉，哇，现在什么都有可能了。
-
而且这些智能体会继续进步。
-
它们会越来越强。
-
那随着这些模型越来越强，整个世界会变成什么样呢？
-
这就有点启发了那个故事。
-
它其实很像现代版的《魔法师的学徒》。
-
《魔法师的学徒》里，学徒对魔法特别着迷，开始用它，但后来魔法就有点失控了。
-
有点像迪士尼那个短片，不过更接近原版的样子。
-
所以在我心里，它很大程度上就是那个故事的版本。
-
我觉得我们现在都正在变成魔法师的学徒，随着大语言模型和智能体变得越来越强。
-
而且我觉得这不会止步于编程，所以我非常非常有兴趣搞清楚：智能体接下来会走向哪里？
-
还有什么会被改变？
-
我越想越觉得，好像一切都会被改变。
-
整个计算领域其实都充满可能。
-
在智能体这件事上，一切都还悬而未决，因为能够深入理解你生活中、工作场所里正在发生什么，以及整个世界正在发生什么，然后据此采取行动，这种能力可以应用到任何问题上，
-
应用到任何你想做的事上，无论是作为企业还是作为消费者。
-
所以这就是为什么我对个人AI这么感兴趣，因为我觉得那是下一个迭代，那是智能体将来能为我们做的事情的下一种形态。
-
影响只会从这里开始越来越大。
-
我的意思是，显然你提到的那个十二月的时刻，感觉引起了那么多人的强烈共鸣，而且我觉得其实很多研究者也对你的故事有反应，觉得这真的很戳人。
-
我们在十一月、十二月在编程这边经历了那个时刻，我觉得很多人都在琢磨，要让智能体在其他领域也真正跑得很好，到底需要什么，也许还在问，编程和数学这些最可验证的领域是不是有什么特别之处，就是
-
你知道，我们会不会在其他领域看到同样的进展，你怎么看需要做些什么才能达到，你知道，更通用的智能体？对，我觉得其实从这儿出发有很多下一步可以走，
-
有很多不同的方向会打开，编程算是那条中心路径，那个显而易见的低垂果实，因为它可验证，因为它触及那么多不同的领域，解锁了那么多智能体能做的事。
-
但从这里出发，有几个不同的选项可以走。
-
我觉得科学发现是一个非常明确的方向。
-
我们也开始看到智能体能够解决数学和科学中真正严肃问题的第一批火花。
-
这也是xAI背后的一大灵感来源。
-
所以我们当时都特别着迷于这个想法，就是，当时大语言模型其实还不太能解决困难的推理问题，但我们隐约觉得这就是下一个大突破，这也是我们创办xAI时的一大灵感。
-
所以我觉得智能体在复杂编程项目上会继续快速进步，还有数学问题，任何可验证的东西。
-
就拿数学来说，你甚至可以用Lean这样的工具把你的定理和证明形式化。
-
而且它能给你一个很好的奖励信号，帮你改进智能体。
-
当这些东西变得越来越复杂时，它还能帮你判断自己是不是真的找到了证明。
-
看到它真的在实际中奏效，真的特别让人着迷，因为我们这些AI研究者之前就想过这件事，觉得也许形式化在未来会有用。
-
所以亲眼看到它在现实中发生，那感觉真的完全不一样。
-
但除此之外，一个巨大的瓶颈是数据。
-
所以如果你想在物理世界里取得重大突破，不管是材料科学，还是新的基础物理学发现，还是造一个更好的火箭发动机，就是埃隆可能想用智能体去做的那类事情，那往往就需要我们在真实世界里做实验。
-
所以你得想办法跟真实世界的环境把这个闭环给合上。
-
所以智能体在有了该设计什么材料的想法之后，它们需要得到一些反馈，知道这个想法好不好、成没成、有没有用。
-
所以我觉得，现在用智能体做科学发现，这是一个很大的前沿方向。
-
所以这种科学和发现的方向，我觉得是当下正在发生的一件大事。
-
这也是很多人现在用智能体重点关注的事情。
-
而且这里面有一种可能，就是我们会得到这些高度超级智能的AI，它们在创造科学突破、做决策、也许还包括预测未来方面，能力远远超过任何一个人，甚至超过所有人的集合。
-
所以我也会把这个大致归到那一类方向里。
-
然后我觉得可能还有别的方向。
-
那么普通人会用到的AI会是什么样的呢？
-
他们大概不会去用那种问一个问题就要花一百万美元运行一次的超级AI。
-
那么大家都会用的那个AI是什么样的呢？
-
所以我觉得实际上我们可能会看到一点分化，就是有一些超级AI只有少数人能接触到，但同时也有那种日常的、普通的AI，你和我都会一直用它来提高效率，或者帮我们把生活安排得更好，基本上就是过上更好的生活。
-
所以奖励函数就是看能多大程度帮人感觉更好、做成更多事、对自己感觉更好。
-
所以我觉得，在改善人类处境、改善我们日常生活方面，也有巨大的潜力。
-
但这些智能体可能并不需要最强的能力。
-
它们可能不需要能证明黎曼猜想。
-
我是说，这种分化其实已经能感觉到了，最前沿的模型在大量编程和数学任务上确实非常有价值。
-
但对很多ChatGPT用户来说，他们并不清楚，那些更复杂的模型、一年前的那些模型，其实已经完全够应付他们想做的大部分事情了。对，没错。
-
而且我觉得，让个人也感受到AI带来的好处很重要，因为越来越让人觉得，是少数几家大公司在造这些强大的AI模型、控制着人们怎么接触它们、也由它们来决定这些模型会怎么表现。
-
对我来说，非常重要的是让每个人都觉得自己真的能亲自从AI里获得价值，这也是我最近创办River的一个重要动力。
-
因为在我看来，这本质上可能是个技术问题。
-
我们对AI应该怎么构建、怎么分发给人们，做了一些既定的假设。
-
你应该做大规模的预训练。
-
你应该搭一个API，按token向人们收费。
-
这差不多就是大家都知道的模式，大家都照着做。
-
但其实不一定非得这样。
-
所以我们可以想出新的方式来构建AI模型、定制它们、把它们分发给人们，也许能让人们更好地掌控自己的体验，更好地掌控AI在做什么。
-
这是个研究问题，也是个工程问题。
-
所以这是我觉得非常着迷的事情。
-
也正因如此，我们决定创办这家新公司。对你来说，这件事是什么时候变得清晰起来的？
-
因为显然你之前的经历都是在一些最大的闭源公司，做那类模型。
-
所以这个想法是什么时候成形的？
-
是这样的，2025年我离开xAI的时候，决定在AI安全公司上做一些天使投资。
-
所以我见到了很多不同的创始人，在AI社区、尤其是AI安全领域，也就是那些有新想法的人，想着怎么帮助AI在长远上更造福人类，或者更好地控制AI的负面影响和风险。
-
而且外面有很多非常棒的想法。
-
我只是觉得这一切都特别吸引人。
-
但说到底，我只是坐在那儿，等着这些人把他们的使命往前推进、取得成功，我实在等得不耐烦了。
-
所以我就觉得，我想自己从头做点什么，好帮着推动这个方向。
-
对我来说，帮助让AI的好处惠及更多人、帮助把AI的控制权分散开来，这本身就是AI安全的一部分。
-
对我来说，这也许是我们现在最紧迫要做的事，因为对AI的掌控权正相当程度地集中。
-
尤其是在美国，你能感觉到人们对此并不太满意。
-
他们未必信任那些做AI的公司，也不觉得这些公司会把他们的利益放在心上。
-
所以我觉得，重要的是我们要展示出一些方式，让人们能感受到好处，能觉得自己在掌控整件事。
-
先插一句，如果你喜欢这期对话，支持这个节目最好的方式就是在你收听的地方点个关注或订阅。
-
这对我们请到最好的嘉宾、也帮更多人发现这个节目，真的很有帮助。好，回到Igor。
-
那接下来聊聊你对River AI这家公司、这个产品的愿景，以及你希望怎么去实现它，这会很有意思。
-
是的，我们刚开始做这家公司的时候，就四处看了看，想找找有哪些技术机会，有哪些想法是被投资不足的、却可能改变我们使用AI、构建AI的方式，那就把它当成一个研究课题来做，看看
-
这件事我们能不能做成，然后交付给全世界所有人。所以我们目前其实在做三个不同的项目。第一个是，我们意识到帮企业掌控AI的工具其实基本都已经有了。
-
你只需要把它做得非常非常出色。
-
所以我们才做了River API，你可以把它理解成一个强化学习和微调服务，跟Thinking Machines的Thinker之类的产品类似。
-
但我们有自己独特的做法。
-
我们特别引以为豪的一点是我们的工程能力。
-
我们真的把这个平台尽可能地优化了，用这些年学到的各种本事，努力让训练尽可能便宜、可靠、可扩展。
-
这就是我们在River API上的第一个押注。
-
第二个是围绕个人AI和个性化。
-
我们觉得这里有个机会，就是让AI智能体跟个人的契合度比现在好得多。
-
现在呢，我们训练AI模型，基本上就是让它对普通用户好用。
-
也就是说，你实际上是把所有用户的反馈、所有结果都汇总起来，或者在训练过程中汇总，然后告诉模型：对所有人都用同一种方式表现。
-
而我们的想法是，如果我们打破这个假设，让模型对它所服务的每个个体都有不同的表现，会怎么样？
-
你的AI智能体跟你说话的方式，和我的智能体跟我说话的方式会不一样，它们会有不同的偏好、不同的行为。
-
这个研究领域还相当早期，所以我们在这里探索了几个不同的方向，因为很明显，市面上所有商业上成功的智能体，都是按这种“平均人群”的方式训练出来的。
-
但我们觉得，一旦智能体真正直接从你身上学习，每次跟你互动都变得更好，那种感觉会非常棒。
-
所以这是我挺兴奋的一件事。
-
然后我们下的第三个大注是硬件。
-
因为现在大家的假设是，想用上最强大的智能体，唯一的途径就是能访问数据中心。
-
所以像OpenAI和Tropic这样的公司，他们建起非常非常大的数据中心。
-
所有的推理和训练都在那里进行。
-
而作为想用AI的个人，你必须通过他们的API。没有别的办法。
-
他们可以决定怎么限制，决定给不给你访问权限。
-
所以这里最终的招数是：我们能不能把推理算力带到用户本地？
-
也就是说，要真正在一个小设备上跑前沿模型——放在你办公室、放在你家里的那种——需要什么条件？
-
这非常像一个研究项目，因为今天你在那上面的内存限制非常严重。
-
所以你实际上没法把模型的所有权重都塞进一块芯片、一个设备里。
-
所以这就是我们做的，让你真的能感觉到自己对它有掌控权。
-
它就在你家里，你的数据也同样受到保护。
-
所以这就是我们在下的三个赌注。
-
而且我们做这件事的方式，非常像当年OpenAI和DeepMind的做法。
-
所以我们着眼的是很长的时间跨度，也会下一些风险更高的赌注。
-
我们假设一定会有研究，一定会有一些新的想法被用上。不，这真的很有意思。
-
我是说，我觉得这三个赌注每一个都很有意思。
-
那也许为了深入聊聊它们，我们先从最后一个、也就是硬件这边开始吧。
-
显然你在这里想达成的目标范围非常广。
-
硬件这边的动机，显然归根结底最可控的AI就是你能在本地运行的那种，对吧？
-
那样就没人能决定你有没有访问权限了。
-
是这个动机吗，还是说你看到了其他对终端用户实实在在的好处，让你把复杂度又提高了一层、加上了硬件这个部分？没错。
-
所以控制权这个方面对我们来说是最重要的。
-
我们希望人们能掌控自己的体验，真的感觉这个模型是属于他们的，而不是别人的。这是一个很大的动力。
-
但后来随着我们开始做这件事，我们也意识到还有几个额外的好处。
-
比如，家里有这么个盒子本地陪着你，可以给你低得多的延迟。
-
所以在通过语音或者视频输入、视频输出来和智能体交互这方面，它打开了很多新的可能性。
-
所以一旦你采用这种形态，其实会打开一些全新的消费级体验的可能性。
-
这是我很兴奋的一点，因为它甚至可能让整个体验比我们从数据中心那边得到的要好得多。
-
而且我觉得在个人场景里，隐私也会很重要。
-
这些深度了解你的个人智能体，它们会观察你做的一切，然后主动帮你，它们会接触到关于你的海量敏感数据。
-
基本上，你电脑上的所有文档、你在房间里说的每一句话，都可能被一个个人智能体存下来，因为有了这些上下文，它对你才更有用。
-
而把所有这些数据都发到数据中心去，那里可能会有安全泄露，或者你的数据可能——就算你不介意，那也真的很不理想。
-
所以我们也会从隐私的角度来考虑这件事。
-
我觉得公司愿景的一部分就是，让每个人都拥有自己的模型。
-
这个模型会持续学习、不断改进，并且针对那个人做定制。
-
大家在思考这类模型该怎么构建的时候，有不同的思路。
-
一种是直接动权重本身，去更新权重；另一种观点是，嘿，你可能只要靠一个非常好的记忆系统加上提示词就能做到。你怎么看这个？
-
而且这是不是还是——你们是不是在同时探索好几个不同的研究方向？
-
还是说你对某一种方法已经比较笃定了？
-
对我们来说，其实挺开放的，到底哪些会是关键工具还不好说。
-
但按我构建AI模型的经验来说，有一样东西是你真的非常非常需要的，那就是端到端训练。
-
也就是说，你确实需要训练你的智能体去利用它们的个人信息，去利用它们的记忆系统——如果它们有的话。这真的很关键。
-
而现在我们经常做的是，拿现成的专有智能体，这些智能体在编程上训练了很多，但未必在长时间跨度上、利用记忆去帮助某个人这方面训练过。
-
所以怎么把某个人的幸福感最大化当作目标函数，这个其实还没人真正做过。
-
对我来说这就是关键所在，因为我这些年来观察到，为某个特定任务训练出来的模型表现最好，而你真正需要的是针对你实际想优化的信号做端到端训练。
-
那也就是这个人的幸福感。
-
那你是不是基本上会让模型在真实环境里跑，然后接上某种自我报告的幸福感，或者接一个可穿戴设备来形成闭环？
-
是啊，这确实是我们得搞清楚的事。
-
但你也可以只是去观察，我到底有没有帮到用户？
-
而且模型越来越聪明，所以它们也许能自己判断出来，哦，其实我今天把事情搞砸了。
-
负向奖励，我让事情变好了，正向奖励。
-
所以那里的可能性正在不断增加。
-
它正在进入这个仍然非常有挑战性的不可验证领域。
-
所以我们需要用模型来判断你做得怎么样，而随着模型变得越来越聪明，这越来越成为可能。
-
当你设想River的未来状态时，你认为哪些模型上的差异可以作为典型例子，来说明你和我随着时间推移会有不同的模型？
-
显然，有一些能力如果通用模型具备了，所有人都会满意，然后还有一些不同的人可能想要的东西。
-
你最先想到的例子有哪些？
-
我觉得例子真的是无穷无尽。
-
而且这很难想象，因为我们自己还没有经历过。
-
但它可能是非常细微的东西，比如模型回复你时写多少文字，到它使用什么样的词汇。是更随意？还是更正式？
-
所以就是答案的这些不同方面。
-
今天，我们只有一套固定的回复方式，模型会以固定的风格回应你。
-
但未来，这可以被解开，而且几乎可以是无穷无尽的，因为它会影响它如何在一整天里帮助你。
-
它应该在什么时候主动联系你，在哪些情况下？
-
它是太烦人了，还是帮助不够？
-
它会自我校准来适应你。
-
它会知道你在书、电影、音乐方面的品味，并且能够据此来安排你的一天。
-
这真的是可能性无穷无尽。
-
要想对可能性有更多启发，你可以看看今天的推荐系统能做到什么。
-
所以如果你用TikTok或YouTube这样的应用，它会弄清楚你的兴趣是什么，并让你能够非常非常深入地沉浸在你想要看到的内容里。
-
而且这种体验跟给每个用户都推送同一套视频完全不同。
-
这大概就是我们在智能体世界里想打造的东西。
-
你可以把它想成推荐系统和智能体的结合体，这种事以前从来没人做过。
-
所以这是让我们挺兴奋的一件事。
-
显然，你可以想象企业领域里也有类似的情况。
-
你说你刚开始这项业务，是先跟企业合作做模型。对。
-
我是说，过去几个月里显然有大量讨论，关于拥有自己的模型，以及训练自己模型的重要性。
-
感觉现在很多人这么做，主要是为了成本和速度，对吧？
-
比如想办法跑更小的模型。
-
你觉得这会随着时间怎么变化？
-
比如，你觉得人们真的会去推动能力往前走吗？
-
或者，显然这跟你刚才说的有很多相似之处，人有不同的偏好，公司有不同的文化、不同的做事方式。
-
你觉得那里的相似之处是怎样的？
-
对，我觉得现在很多人会先用专有模型，它们能力最强，大家都在用，这是从它们起步的一大理由。
-
然后他们可能会出于速度、成本的原因做定制模型，隐私也可能是一个方面，如果你确实得在自己的基础设施上跑，因为你可能有别的客户，数据更敏感。
-
所以这些是我看到的主要原因，但我觉得人们用专有模型很大一部分原因是这个领域发展得太快了。
-
如果你想在自己公司内部学会训练自己的模型，真正掌握深度学习、掌握强化学习，把你手头内部数据的价值最大化，你就得组建团队，搭建基础设施，
-
而且这可能是个要花好几个月的大项目，才能超过专有模型。但到那时候……
-
正好赶上下一个，对。
-
没错，又出了个更好的新模型。
-
所以你本来完全可以直接用专有模型。
-
我觉得过去几年一直都是这么个路子。
-
但现在开源模型开始变得非常强大了，这种情况应该会变。
-
而且我们其实已经把那些不用深入、深入地了解公司所处理的数据和问题就能做到的事情的红利都吃尽了。
-
所以如果我是某个领域的专家，我的业务是做一个特定的SaaS工具，比如一个人力资源平台。
-
我可以想象，我拥有最好的数据，我最了解客户需要什么。
-
而且我在这个领域上思考得非常多，比Anthropic或OpenAI对我做的这个产品思考得多得多。
-
所以其实，这些公司才是最有资格决定他们的智能体该怎么工作、该做什么不该做什么、怎么最好地服务客户的人。
-
到目前为止这还没有真正发生，因为我们还在乘着专有模型越来越强这波浪潮。
-
但等这波浪潮过去了，你就面临一个选择：要么把你所有的数据交给Anthropic、交给OpenAI，让他们更好地后训练他们的模型，要么你自己动手，榨出额外的能力。
-
我觉得很多人会选择第二条路，因为否则你等于把整个业务根基都送出去了。
-
不然的话，你送出去的就是让你在竞争中胜过所有对手的那个东西。
-
你觉得专有模型会慢下来吗？
-
因为显然，数据预算多得没完没了。
-
他们似乎在从各个不同领域购买数据。
-
我能想到几种不同的论点，其中一个可能是，拿一家银行举例。
-
你可以直接雇一批前银行家，他们能帮你标注大量数据，在各种不同环境里做很多事情，然后突然你的模型在金融方面就变得相当厉害了。
-
我觉得这是个有意思的问题：第一，我们是否预期模型在这些其他领域也会继续进步？
-
第二，一家企业的数据，跟外面那支庞大的数据标注大军相比，到底有多独特？
-
对，所以训练这些模型其实是有收益递减的。
-
所以，我们想把预训练模型和整体模型做得越强，就得把越多的GPU拼在一起，也得收集越多的高质量数据。
-
而AI公司在扩大规模这方面做得非常了不起，投入了多得多的精力去收集数据、调优模型、一次又一次地改进，还不断往里面加入新的创新算法和能力。
-
但最终总得有个让步。
-
所以到了某个时候，你不可能用GPU把整个地球都铺满。
-
所以最终，AI公司在模型能力方面能做到的事情，会出现一定程度的放缓。
-
而且我认为我们已经开始接近那个点了。
-
与此同时，还有另一件事在发生，就是这些前沿模型开始变得能力太强了，你可能就不想再发布它们了，甚至可能会遭到批评，或者可能会有一些监管行动阻止你发布下一代模型。
-
与此同时，开源模型正变得越来越强。
-
所以我觉得，作为一个专有模型开发者，你开始有点被夹在中间了——哦，但你把模型做得太好了。
-
你就不被允许发布了。
-
可开源那边就在你身后紧追不舍，每个月都变得更强。
-
所以我觉得，作为专有模型开发者，这其实并不是最好的处境。
-
所以我认为OpenAI和Anthropic的出路在于创新。
-
就是他们过去几年一直在做、让他们走到今天这个位置的那些事。
-
所以他们必须想出一些真正全新的根本性想法，关于怎么让模型更有用，怎么让每个人都感受到他们所构建的东西带来的好处，去探索新的领域，探索产生影响力、创造收入的新方式。
-
因为基本上连能力提升都在放缓了。对，没错。
-
而如果他们不这么做，那你可能真的不得不把模型保密起来，因为它们开始跨过这个关键门槛——现在你真的得仔细考虑，能不能让任何人访问这个模型。
-
而在后训练这一侧，所投入的努力真是令人难以置信。
-
所以你基本上是在把全世界每个领域的专家都聚集起来，然后让他们跟你一起工作，把所有这些知识集中起来，汇入一套权重里，然后再交付给所有客户。
-
所以，把这种运作扩大规模也是极具挑战性的。
-
我觉得这方面也有点边际效益递减了。
-
所以我觉得出路在于走分布式这条路。
-
世界上各个特定领域本来就有那么多专家。
-
他们就在现有的公司里。
-
他们在大学里，等等等等。
-
我觉得我们应该给人们一个机会，让他们基本上能独立地对模型做出改进，本质上就是在本地为自己、为自己的公司、为自己的团队、为个人做后训练，而不是试图把人类所有的知识都抓过来，
-
然后再按token卖出去。
-
这只是我个人的理念，而这也正是我们想在River AI做的事——搞清楚怎么让人们基本上能在本地做自己的后训练。
-
这挺有意思的，因为我觉得我们现在正处在这个阶段：你在某个领域买大量数据，专注在那个领域，然后这就加上了那些能力，你基本上是一个一个来，这跟预训练的世界感觉很不一样——预训练那边是你到了某个门槛，
-
然后就开始看到全面的、大规模的泛化，对吧。我觉得有些人提出过，后训练和强化学习里也会发生同样的事，就是最终，你知道，我也说不准，你加到第30个、40个、50个领域，突然就变成——你能从把所有东西放在同一个地方
-
获得很多好处，而不是说在这个地方训练金融，在那个地方训练医疗。
-
你觉得我们以后在强化学习里会看到那种泛化、那种泛化带来的好处吗？还是说，拿一个非常强的预训练模型，专门往某一个领域上套，永远都会是合理的做法？
-
我觉得我们确实在看到泛化，意思是这些模型对世界有如此惊人的知识，技能面又如此之广，现在它们能进入任何领域，把其他所有地方的知识都带进来。
-
我觉得编程就是个很好的例子。
-
至于所有那些被后训练的不同东西之间有没有很大的协同效应，说实话我不太确定。
-
有太多专门的领域、太多专门的技能，你其实只在一个地方需要。
-
我怀疑这些到底有多少真的在贡献模型的整体智能。
-
所以很多智能似乎来自编程、数学训练之类的东西。
-
是啊，这看起来是个很有意思的问题：对企业来说，自己后训练自己的模型到底有多大意义，对吧？
-
比如有些制药公司有药物试验的数据集，相当专有；还有芯片设计公司，有些东西你一看就知道，对，那些公司有相当独特的数据，那些数据大概外面是没有的。
-
也许我不太确定的是，像普通银行这样的机构，手里的数据是不是最终也会被闭源模型厂商拿到。
-
是啊，我们可能会看到一些这样的企业陷入困境，如果它们没法保住自己的竞争优势，没法利用自己的优势、自己的知识产权来把自己的模型做得更好。
-
所以我觉得这真的取决于行业，你大概就能借此推测事情会往哪儿走、这种转变会怎么发生。我想说，最糟糕的处境就是你的全部知识都在互联网上。
-
如果让公司独特和特别的一切都已经在外面、都能被爬取，那处境就非常危险了。
-
这正好和River的整体理念吻合，就是让这种智能留在本地，也就是你与这些模型交互和使用它们的方式。
-
其实我觉得我们是有选择的，对吧？
-
我觉得作为一家公司，你可以选择把数据交给像Anthropic这样的公司，通过API、通过其他方式开放出去，甚至为了赚钱把数据卖给他们；或者你可以利用自己的优势来构建自己的模型。
-
所以我看到这两条不同的路，一条显然会导致智能更加集中，另一条则让AI的好处更加分散。
-
在你今天做的所有事情背后，似乎任何想自建模型或微调模型的人，用的都是中国最前沿的开源模型。
-
显然，过去几个月关于这些模型有很多讨论。
-
显然，我想你认为最前沿的开源模型对世界是很有好处的。
-
那你怎么看这个生态今天全是中国模型，而政府又在讨论可能封禁这些模型？
-
是啊，我觉得首先，外面有强大的开放模型是件好事。
-
这确实降低了门槛，让任何想进入AI、想定制模型、想利用模型为自己谋利、真正掌控自己命运的人都能做到。
-
但与此同时，这也让中国的实验室处于一种有利位置，它们也能施加一些控制。
-
比如，它们将来可能停止发布开放权重，而所有人都依赖它们。
-
这对美国经济可不是什么好事。
-
它们也可以更改这些模型的许可证。
-
我们已经经常看到这种情况了，就是有些条款规定，如果你的公司收入超过某个数，就得签合作协议，规则可能就不太一样了。
-
所以这是另一种施压、继续掌控开放权重的方式。
-
还有一个问题更偏理论，但理论上是有可能的，就是这些权重会不会以某种方式带有后门，或者带有我们会觉得不可取的行为。你对此有多担心？
-
嗯，目前我一点也不担心，因为我的感觉是，如果真有这类事情存在，我们至少应该已经看到过一个在现实中发生的例子了。
-
而且我们也没看到任何相关报道。
-
另外，就我所知，用来植入这些行为、把这些向量植入权重里的技术，今天还不够先进，没法真正避开检测、不留下任何痕迹。
-
所以我觉得我们现在还处在很早期的阶段，我不太担心，但理论上这个担忧是存在的，未来几年随着这项技术变得更成熟，而且也许大语言模型和智能体在包括军事在内的各个领域也变得越来越重要。
-
这确实是我们应该放在雷达上关注的事情。
-
所以我想说，美国拥有最好的开放模型真的非常关键。
-
所以这是我非常支持的一件事，我觉得我们都应该想办法，怎么让一个美国团队训练出有史以来最好的开放模型。
-
不只是美国最好的。
-
开放模型，而是全世界最好的。
-
所以是的，绝对非常支持这件事。
-
是啊，这看起来是个挺有意思的商业模式问题，就是你最终怎么把它训练出来，但它是一种公共品，也许我们会找到一帮人来做。
-
NVIDIA已经在大力补贴这类事情，让它成为可能，所以也许你会看到。
-
也许也会是我们。
-
我们在xAI就有过从零开始的经验。
-
然后不到两年，我们就有了Grok 3，接着还有Grok 4，它们都处在最前沿。
-
所以我很想训练出最好的开放模型。
-
但现在，我们非常感兴趣的是如何在这些开放权重之上建立业务，让公司能够自我维持。
-
我们在这方面进展不错，靠的是RL API和我们正在做的其他产品。
-
嗯，既然你来了，我要是不问问你过去担任过的一些角色，就太失职了，因为我觉得你显然亲眼见证过，而且某种程度上引领了过去几年发生的很多事情。
-
你知道，也许可以先从这儿说起，你说过AI的进展起飞得比你预想的要快。
-
过去这三四年里，有没有那么一两个时刻，真的让你特别意外？
-
但我觉得疯狂的是，我对这些进展并不太意外，只是亲身经历这一切实在太疯狂了。
-
你知道，这跟你想象中完全不一样，真正亲身经历的时候就是那么不同，简直就像活在梦里一样。
-
我刚开始对AI感兴趣的时候，我是个物理学家，在大型强子对撞机工作，在那儿读博士。
-
在物理学里，他们基本上教你的就是真正地往前思考。
-
我觉得这种东西也会潜移默化地影响到物理学家。
-
他们开始思考未来会是什么样子。
-
所以当你意识到，比如说AlphaGo出现了，DeepMind能做出一个非常非常强大的围棋AI，那对我来说，就是那一刻我恍然大悟：AI领域要发生了不起的事情了，我最好转行过去。
-
甚至很多知名研究者都是从物理学转过来的。
-
有意思的是，好多人都起步于那个领域。
-
是啊，我觉得这是学习如何思考这些难题、如何从第一性原理出发解决问题的绝佳方式。
-
所以这对做AI工作是很好的准备。
-
然后我决定加入DeepMind当研究工程师，那真的很有意思，因为我既能看到算法这一面，知道怎么解决这些研究问题、怎么训练模型，也能学到怎么搭建分布式系统、怎么提升训练和推理的效率等等。
-
后来我做了WaveNet的文本转语音生成。
-
再后来我对强化学习产生了浓厚兴趣，最后成了DeepMind星际争霸项目的技术负责人。
-
那是个非常有挑战性的强化学习项目。
-
在某些方面，它超前于时代。百分之百是这样。
-
那个环境似乎比我们今天做强化学习优化的很多东西都要复杂得多。完全正确。
-
我们得想办法应对那种复杂性，而我们开发出的一些策略，当时就能立刻看出它们以后也能应用到语言模型上。
-
比如说星际争霸，我们做了大量的模仿学习。
-
我们拿到了各种水平玩家打星际争霸的录像，从新手到接近职业选手的都有。
-
我们先从模仿学习入手，之后才切换到强化学习。
-
而且这里的奖励是可验证的。
-
因为这是个双人游戏，赢的人会得到正奖励，输的人得到负奖励。
-
我们发现，这两者结合起来——先做模仿学习，大规模训练模仿，再用强化学习进一步提升策略——效果真的非常非常强大。
-
而且直到今天，这些智能体还是这么训练的。
-
所以其实在DeepMind做完星际争霸项目之后，我们真的意识到编程会是下一个大方向。
-
当时其实有点早了。
-
那远远早于市面上出现任何商业化的、比较能打的代码模型。
-
我们把它看作星际争霸的自然延伸。
-
于是我们当时启动了一个叫AlphaCode的项目。
-
我当时强烈地感觉到，基本上大语言模型这类模型当时在代码上表现得很差。
-
我觉得原因是它们没法思考，说白了，我们没给它们足够的时间去思考问题。
-
人类解决难题的时候，总得想上一会儿。
-
然后就会有某种神奇的事情发生，让他们对问题理解得更透彻，从而把它解决掉。
-
而当时我们并没有让大语言模型做那种推理的机制。
-
所以我真的觉得我们得在这方面做些研究，当然也得动手干起来。
-
然后我了解到OpenAI刚刚成立了一个推理团队，专门就是来解决这个问题的。
-
于是我加入了OpenAI，搬到了加州，既参与了那里的推理工作，也跟Greg Brockman一起帮忙做了一些大规模的预训练。
-
所以我也算是见识到了那边大规模预训练这一块，真的挺有意思的。
-
很多推理方面的东西似乎都是在超大规模预训练之后才见效的，所以看起来在OpenAI做推理工作的早期，几乎就有这么一种信念，就是觉得随着模型规模变大、变得更好，这事儿肯定能成，这种直觉真的很了不起。
-
对，没错，而且当时我们还没有找到解决办法。
-
最后的解决办法本质上就是O1模型，还有后来OpenAI做的那些研究，解锁了这种商业推理的方法，就是让模型在给出最终答案之前可以生成思考token，然后用强化学习
-
来基本上改进它的思考过程和思考能力。
-
所以那最终就成了我们一直在找的那把钥匙。
-
那是几年之后才发生的。
-
然后呢，在OpenAI的时候，我就觉得这帮人肯定会做得特别牛。你怎么拿这个跟DeepMind比呢？
-
因为很明显，DeepMind那儿可是大牛云集、星光熠熠。
-
我是说，我觉得几乎每个人都在某个时候去过他们那个小brain待过一阵。
-
我觉得大家回过头来看，可能会觉得也许那边做了更多不同种类的押注，或者更相信强化学习，而没那么专注。
-
我也不太清楚，你两边都亲身经历过。
-
所以我挺好奇你是怎么看的。
-
说实话真的很难讲，因为DeepMind那儿有那么多非凡的思想者，我觉得有些正确的想法肯定也是在流传的。
-
但我觉得OpenAI能成，靠的是他们团队更小，而且内部能达成很好的一致，有很强的信念认为这就是对的路子。
-
我觉得这需要那种人才密度的临界规模，还有大家朝着正确的方向思考，而他们做到了。
-
所以即便是作为不被看好的一方，他们也能取得巨大的进展。
-
而且我觉得在当时我们看来，OpenAI在很多方面会赢，这一点已经挺明显了。
-
然后就在那个时候，我就开始想，哇，如果世界上只有一家AI公司掌控着最强的模型、决定什么能做，那还挺不幸的。
-
我们甚至还会想怎么给所有人建立UBI，好让全人类都能从OpenAI拿到钱，基本上就是它掌控着这些模型，
-
这一点让我觉得不太对劲，因为我一直是个开源爱好者，多年来也一直是Linux的重度用户。
-
所以我觉得那才是分配好处的方式。
-
说到底，从哲学上讲，你想想看，模型的预训练是基于全人类的知识，基于我们在网上创造的所有文本。这真的是一种公共资源。
-
它真的应该是全人类共同拥有的东西。
-
从技术上讲它不属于任何人，你可以直接下载它，这基本上让你能够压缩知识、提炼它，把它转化成以模型权重形式存在的、可操作、有用的东西。
-
而在我看来，这其实正是AI模型构建者们在做的事。
-
对我来说，从哲学上讲，那些预训练检查点应该公开出去、让人们免费使用，这才是最合理的，就是从第一性原理出发想一想，什么才是公平的。
-
但显然，AI实验室也投入了巨大的努力，体现在算力上，体现在所有这些专家身上，他们想办法搭建算法、训练模型、在这个领域里创新。
-
所以有他们参与肯定带来了巨大的好处，但是网上那些文本里凝聚了那么多人类的智慧。
-
但显然，所有这些数据都是开放的，这让xAI能够很快地回到接近前沿的水平。
-
我觉得看到这一切发生挺有意思的。这是怎么发生的？
-
是这样的，基本上我是偶然遇到Elon的，碰巧在特斯拉办公室，跟那里的团队聊他们在做什么。
-
他正好也在附近，所以我有机会跟他聊了聊，那挺有意思的，因为他也是个很了不起的思想者。
-
他会非常深入地思考人类、技术，以及两者之间的一切。
-
所以我觉得我们在这些事情上看法挺一致的，比如世界上也许应该有另一个竞争者，另一个有着不太一样使命的AI实验室，
-
对模型应该如何开发、以及它们在外面运行时应该如何表现，有着不同的理念。
-
所以我觉得我们从那时起就有了那种连接，后来当他想开始做点新东西时，他联系了我，xAI差不多就是这么开始的。
-
从那以后，我跟一些正在找事做的老朋友聊了聊，我们设法聚集了一批相当不错的人，我觉得这对任何一项事业都至关重要，你必须凑齐那个关键的人才规模，找到那种愿意拼命工作、
-
去做一番伟大事业的人，那真的是头号问题，我们能不能做成，取决于我们能不能把人聚到一起，然后从那里开始，几乎是从零起步，我们慢慢把公司建起来，训练模型。
-
然后不到两年时间，我们就达到了前沿水平。
-
我们干了些挺疯狂的事，你知道，最有名的就是让 Colossus 上线运行，我记得大概用了120天。
-
我想问，从你们能这么快完成这么多事情的速度里，你学到了什么教训？
-
是啊，我觉得这需要极大的专注和跳出框框思考。
-
所以那件事很大程度上是埃隆推动的，因为他看到我们需要非常非常快地让更多 GPU 上线，才能更有竞争力，尤其是为了训练 Grok3。
-
所以他决定，我们建自己的数据中心。
-
我们不想依赖任何人。
-
而且从我看到的来说，他真的是世界上最适合做这件事的人，因为他能看到大局，知道需要做什么，有哪些单独的组成部分和步骤，
-
然后以非常专注的方式，从第一性原理出发，想办法加速项目的每一个环节，然后还能去做一些别人可能根本不知道可行的事情。
-
最初提出来的时候，从时间线的角度看，你觉得疯狂吗？
-
我当时是觉得疯狂，但那时候我对埃隆也足够了解，我知道我们肯定能做成。
-
所以我也对他有极大的信心。
-
然后，让 Colossus 真正跑起来的关键，其实就是质疑别人都是怎么建数据中心的。
-
因为在外头，我们跟人聊的时候，问建一个新数据中心要多久？
-
里面装这么多 GPU，我们得到的报价都远超一年。
-
原因在于他们得先建一个新的外壳，就是一栋新的数据中心大楼，而且建的过程非常瀑布式。
-
而且你还经常要跟分包商的分包商的分包商打交道。
-
所以在这个过程中会损失很多效率，或者说可能会损失很多效率。
-
所以埃隆的心态完全相反。我们想自己干。
-
我们想当总承包商。
-
而这些都是别人甚至没意识到可行的解决问题的方法。
-
所以这有点像在每个项目环节上找矩阵里的漏洞。
-
所以是的，和他一起做这件事真的非常有意思。
-
不，我是说，我相信我们的听众会特别好奇，跟他一起工作到底是什么感觉？
-
而且很明显，你知道，你会怎么把那个环境跟你待过的，你显然在DeepMind、OpenAI都工作过，你知道，三个大概非常不同的环境和文化。
-
我得说，那次初步聊天之后我之所以特别想跟他合作，是因为我能感受到他对工程师的尊重。
-
所以作为一名研究工程师，他其实是在研究和工程之间来回切换得挺多的。
-
我不会说这些AI实验室里一定存在双重标准，但确实，你知道，你有那些头衔，多少反映了你是研究科学家还是研究工程师。
-
而我就是觉得受到了埃隆真正的尊重，感觉我们是在，他就像是我一起共事的另一个团队成员。
-
他非常关注工程会议，所以是真的在实际工作中直接跟人交流，会极其深入地钻研公司做的每件事的细节。
-
你能感受到对工程师的尊重，对他们正在解决的问题的尊重。
-
那真的是其中非常有趣的一点。
-
而且，他还有那种巨大的能量。
-
每天他都带着笑容来上班，想再一次从头开始攻克所有最难的问题。
-
那种能量，你在团队里也能感受到。
-
我觉得在一个大家真的、真的想成功，而且带着巨大能量和动力进来的地方工作，真的很令人兴奋。
-
你离开之后，我们看到了一些挺有意思的事，显然是被SpaceX收购了，然后又收购了Cursor。
-
你怎么看收购Cursor这件事？
-
是的，我觉得那是个极其聪明的举动。
-
我觉得这基本上让他能在编程模型上大幅领先。
-
所以Cursor既有一个非常熟悉编程的优秀团队。
-
市面上有很多产品是很多人都在用的，我自己也大量使用过Cursor。
-
而且有大量数据可以用来启动你的训练，并大幅超越xAI当时所处的水平。是的。
-
那么，来自真实世界、来自人们实际使用的编程数据，是不是就比从数据标注员和其他供应商那里得到的东西有价值得多？
-
我觉得它的数量真的很关键，如果你有足够多的量，那真的非常有价值。
-
构建合适的强化学习环境也有它的价值。
-
基本上就是设置这些可验证的任务，让智能体去做某件事，比如修复代码库里的一个bug，然后事后检查它是不是真的做对了，以及是不是用正确的方式做的。
-
而这正是能在编程模型上带来大量提升的东西。
-
这可以说是硬币的另一面。
-
在这个过程中，两种类型的数据你都需要。
-
是的，但显然，在见过这些东西实际部署之后，弄清楚该构建哪些环境要容易得多。
-
我敢肯定，当跑在Cursor框架里的是你自己的模型时，那肯定容易得多，但即便是Claude或者别的什么模型跑在Cursor框架里，大概也还是非常有价值的。
-
是的，而且显然我并不了解Cursor团队带来了什么样的数据，也不了解他们是怎么让模型性能实现如此巨大的飞跃的。
-
但我要说，他们能这么快地提升Grok模型的编程能力，真的非常令人印象深刻。
-
而且我敢肯定，我们甚至还没看到最大的跃升。
-
所以后面还会有一些新模型出来。
-
你觉得现在模型持续进步最大的瓶颈是什么？是数据吗？
-
还是说，只是把组织内部已有的这些专业知识喂进去？你怎么看这个问题？
-
我觉得最大的突破点会是新思路，也就是如何设置训练，让它能处理长得多的时间跨度，让它能更容易地处理不可验证的奖励。
-
而且我觉得这里面有很大的惯性，也有很大的能量壁垒，要让这些东西跑起来不容易，而继续在编程这套范式上迭代相对来说更容易。
-
所以我觉得这里的一个陷阱就是，只顾着把编程能力做得越来越好。
-
但我觉得人们真正想做的是，搞清楚怎么进入那些时间跨度更长的领域。
-
比如说，有一个量会成为你训练的瓶颈，就是你的智能体展开一次要花多长时间。
-
所以要更新模型，你得先做试错，让你的智能体去尝试很多很多解法，收集奖励，然后用强化学习来更新模型的权重。
-
但如果你的展开要花24个小时，那你训练模型就会非常困难，对吧？
-
因为每一个训练步骤都会花很长时间。
-
所以我们必须想办法把展开的工作、智能体正在做的工作切分开来。
-
然后能够增量地训练它们，也许智能体得根据增量进展去猜自己做得怎么样、做得好不好，然后再进入那些我们没有奖励、没法做单元测试、也没法给出证明或验证证明的领域。
-
所以如果人们想提升智能体，那才是今天真正应该发力的地方。
-
你觉得我们离攻克不可验证领域这个问题有多近？也许回到你的AI科学家，以及能不能做出新颖的物理学发现之类的。
-
你凭直觉觉得我们离这些东西有多近？
-
我觉得现在的模型能力太强了，它们常常能对某件事有没有成功做出惊人的判断。
-
但我们还没看到有人大规模地把这一点落地、进一步改进模型的好例子。
-
所以我觉得这可能是我们未来几个月、未来12个月左右会看到的东西。
-
就是人们真的把这种大语言模型评判器做出来，那些大语言模型评判器的方法，真正地，你知道，那里没有可验证的奖励，但我们仍然能从奖励交互中学到很多东西。
-
嗯，但你觉得人们，就是这套配方算是已知的了，真的就只是去跑那个实验而已。
-
嗯，我觉得人们可能还没搞清楚这套配方的所有细节，怎么最优地做这些事情。
-
但一直在帮忙的一点就是，模型本身变得太强了。
-
现在你常常可以信任它们的判断，它们往往非常可靠。
-
所以就是靠它来判断发生了什么。
-
所以这算是把整体水平都抬上去了。嗯。
-
我很好奇，你显然在很多想法上很早就有了信念，而这些后来都被证明是对的，而且显然你很早就押注了推理，还有一堆类似的事情。
-
在过去几年，或者也许是过去一年里，有没有什么事情是你原本非常笃定会在AI世界里发生、结果却走向了另一个方向的，让你改变了看法？
-
但问题是，我觉得没人能预测到，编程智能体一旦跨过某个能力门槛，会带来多么颠覆性的变化。
-
所以我原本以为编程模型会平稳地进步，就是一直不断变好，最终，你知道，它们会被越来越多地使用。
-
但使用量的突然爆发，那真是完全出乎意料。
-
现在我开始觉得，也许未来我们会看到更多这样的转变。
-
对，就是有那么一个阶跃式的时刻，我是说我觉得大概在十一月、十二月的时候大家都感受到了，甚至很难说清楚那到底是什么，但就是，你知道，突然就好用太多了，你能想象得到。
-
对，而且在其他领域，你也会到达某种节点，让这一点变得明显，但这挺难预测的。我觉得有意思的是，即便是最贴近那些模型的人，也很难事先预测到突破会在那个时候发生。
-
我一直在想该在哪里收尾，有一件事，你知道，那部电影把我们带回了最开始的地方，那其实就是关于你写这种虚构故事、思考世界会走向何方，而显然，这些问题正是驱动River和你创立它的原因。
-
你知道，我觉得你提出的那个问题，显然让很多人夜不能寐，就是，如果机器能做所有这些工作，那还剩下什么给人做？
-
我觉得未来，如果我们想作为人类在这个世界上保持相关性，我们就得找到和机器之间正确的那种共生关系。
-
所以今天，已经有一点共生在发生了。
-
如果我在用一个编程智能体，它会处理很多底层的细节，处理那些我在高层面上能理解、但可能不想自己动手敲代码的任务，而我仍然可以做架构、做规划。
-
我觉得那是一种很好的状态，人和机器在一起协作，但有一个很大的风险，就是这种平衡会随着时间发生偏移。
-
所以随着编程智能体、以及一般意义上的智能体变得越来越有能力，激励总是倾向于让它们掌握更多控制权，让它们做越来越多的事。
-
而这差不多就是这个故事要讲的，因为一旦你让智能体替你做所有的决定，你就不再掌控自己的人生了，你也不再掌控局面了。
-
所以我觉得我们应该努力去做的，是想办法让这种共生关系持续下去。
-
而对我来说，这需要对齐方面的新进展。
-
所以我们现在对模型做的那些对齐，现在往往是围绕从人类偏好中学习。
-
所以这一群人类，他们喜欢这种行为。
-
他们不喜欢这种行为，我们就会调整模型，让它符合这一点。
-
但我觉得，未来人类要想保持自身的相关性，就需要深得多、深得多的对齐，需要人和机器之间深得多的融合。
-
最终，也许会出现像Neuralink这样的东西，让你光靠想就能控制大量的智能。
-
但我觉得那还需要一段时间。
-
所以在那之前，我们可以通过改变训练模型的方式来更好地对齐模型，在算法上、在技术上做创新。
-
而这大概就是River AI想做的事。
-
所以我觉得，这也是我会鼓励每个做AI研究的人都去做的事，去想想我们怎么让AI模型贴近我们，怎么让它们遵循我们的意图、帮助我们，而不是反过来接管我们、取代我们。
-
对，没错，而且在这个语境下，帮助我们在某种意义上其实还是给了我们一个角色，即便它可能在某种程度上不是最优的，比如说，不管那个回形针目标是什么，它至少是在最大化，你知道，训练模型去最大化人类的繁荣。
-
这也是另一个收获。
-
过去24小时里显然有这么一封信，很多研究者都签了名。
-
我记得是昨天发布的，呼吁政府考虑放慢AI的发展。
-
而且大家对这一切发展得有多快都很担忧。
-
这跟你有没有共鸣？你是怎么看待这件事的？
-
是啊，我觉得到了这个阶段，想放慢是极其困难的。
-
AI已经变成了这么大的一件事。
-
美国经济也非常依赖AI继续取得进展。
-
外面还有国际上的竞争者。
-
中国在AI能力上正在快速追赶，他们也可能、也可能不会决定放慢。
-
所以我觉得，想让人放慢脚步真的、真的非常难。
-
从这个意义上说，我不知道那封信到底有多现实。
-
当然，如果我们真能稍微放慢一点，在对齐上多做一些工作，我会很乐意被惊喜到。
-
我觉得那会是件好事。
-
但如果我们没法放慢，我觉得我们就应该加速推进那些能改善对齐的技术、能提升安全性的AI模型，因为这很快就会和我们部署的模型变得非常、非常相关。
-
对，那做这件事最好的方式就是更多开源模型、加上闭源厂商内部投入更多努力吗？还是说如果你有一根魔法棒，什么能帮助增加这方面的工作量？
-
我觉得那些接近危险门槛的开源模型真的、真的很有价值，因为它让世界上任何人都能试试自己的想法，看怎么对齐这些模型、怎么控制它们。
-
所以它们还没强大到你能拿它们干出真正的坏事，但它们已经表现出了一些未来会变得危险的特征。
-
网络安全能力目前就是其中最大的一个。
-
所以我觉得，我们不该只让大型AI实验室里的几千个人去思考这些问题，我们应该让尽可能多的人去弄清楚，我们需要构建哪些算法、哪些工具，才能让这些东西变得可行。
-
我是说，你显然比任何人都更贴近这些事，那你现在觉得这一切最终能平安收场的概率有多大？这问题问得好。
-
我觉得到这个时候，问题得看是对谁而言算“平安”，因为AI可能会加剧世界上的不平等。
-
可能会有人从中大大受益。
-
然后也可能有人会觉得被落下了。
-
我觉得那是最直接、最紧迫的风险。
-
然后，是的，未来还有风险。
-
AI模型会不会接管？
-
它们会不会把控制权从那些建造它们、如今控制着它们的人手里夺走？
-
我是说，那也是一种风险，但太难预测了。
-
我觉得那会是更远的未来，而我能看到的更紧迫的问题是，我们能不能带着所有人一起走上这段旅程。
-
好，最后一个问题。
-
你写的那篇《向机器之神的祈祷》里，有一句很美的话，我记得大概是你没料到的眼泪，当模型第一次开口回应的时候。
-
所以我得问一下，这是来自你个人的经历吗，你有没有过那种感觉？
-
是的，我把那段写进去了，因为我到现在还记得，第一次让这些模型跑起来时那种神奇的感觉。
-
那时候跟今天比起来，真的是非常简陋。
-
我觉得这是所有AI早期的人都感受过的，当模型第一次开始做一些挺简单的事，但那些事是以前任何机器都做不到的，那真的就是特别特别神奇。
-
所以不管是写一个能生成质数的Python函数还是什么，就感觉这太不真实了。
-
所以对，我们想捕捉那种感觉。
-
我敢肯定，很多AI早期的人都感受过。
-
但现在回头看，这一切都显得那么不真实，因为模型已经进步得太大了。
-
它们现在真的在影响整个世界。
-
而且这已经远远超出了我们以前做的那些小实验，那时候AI还更像是个爱好。哦，完全是这样。
-
好，我觉得这是个完美的收尾。Igor，这次聊得太精彩了。
-
非常感谢你来上播客，分享这一切。谢谢你，Jacob。很感激。
-
我是Jacob Efron，这里是Unsupervised Learning，一个我有机会跟AI领域最聪明的人聊天、问他们一大堆关于模型进展以及这对企业和世界意味着什么的问题的播客。
-
希望你们能看出来，我做这个特别开心。
-
这是我白天在Redpoint做投资人之外的一个夜间和周末项目。
-
但我们能请到这些了不起的嘉宾，真的靠的是你们这些订阅播客、分享给朋友的人。
-
这才是最终让这一切运转起来的原因。
-
所以请考虑这么做。
-
非常感谢你们的支持和收听。我们下期见。