Applied Compute CEO Yash Patil：后训练为何赢下推理，RL 的边界在哪
点播放，字幕跟着声音走
Subtitles follow the audio
逐句文字稿
点任意一句，从那里开始听
正在加载字幕…
-
你会怎么形容我们现在的状况呢？
-
我们有了RL，本质上就是一台爬山机器。
-
最难的部分其实是定义要爬的山，所以我觉得评估对公司来说是很重要的事，A，要专注于构建，B，要非常小心地保护。你的员工不是可替代的。
-
你不会放心让他们去另一家公司工作的。
-
这些模型也是一样。
-
现在在AI圈子里，拥有自己的智能并训练自己的模型是非常流行的。
-
要聊这些话题，恐怕没有比Applied Compute的Yash更合适的人选了。
-
Applied Compute正在与一批最前沿的AI应用合作，处理一些非常有趣的后训练案例。
-
Yash和我聊到了他对当今开源模型一系列最重要问题的看法，包括什么时候真正值得对这些模型进行后训练，如何思考未来，这些东西什么时候才有意义，尤其是随着实验室从不同领域获取越来越多的数据。
-
我们还聊到了什么时候应该优化工具链而不是真正去后训练，以及听取了Yasha对当今生态系统中许多非常有趣的事情的看法。
-
总而言之，这是一次与领域内杰出人才的精彩对话。
-
我希望大家能像我一样喜欢这次对话。
-
闲话少说，有请Yasha。
-
非常感谢你来参加播客。谢谢你邀请我，是的。
-
我已经期待这一期很久了。
-
是的是的，嗯，这确实等了很久了。
-
很高兴我们终于也能当面聊了。
-
是的，在我们这个像小壁橱一样的演播室里，当面聊总是更好。
-
是的，这太棒了。
-
我是说，这里非常舒适，就是为这种场景量身打造的，所以。
-
对，绝对不是那种改造过来的图书馆。
-
这是专门为播客打造的。那谢谢你来上节目。当然。
-
嗯，我觉得我们有很多地方可以开始聊，但我认为对听众来说最有意思的切入点是，"拥有自己的智能"这件事现在正处在风口上。
-
我不知道这个转折点是什么时候出现的，三四个月前吧，但它现在肯定是个热门话题，而且关于依赖前沿实验室的风险，已经有好几个不同版本的说法了。
-
有人说，你永远不知道他们什么时候会把 API 收回去，什么时候他们觉得某个东西有安全风险，就不给你访问权限了。
-
还有人说，他们会自己去做产品，然后跟你竞争。
-
还有，如果你用他们的模型，他们就会拿你的数据去训练。
-
各种各样的说法都有。
-
我很好奇，你在想这件事的时候，也就是在支持"拥有自己的智能"的这些理由里，哪些说法让你有共鸣？
-
哪些你觉得可能有点被夸大了？对。
-
对，你知道，我的背景是，我其实在 OVN 工作过。我在其中一家实验室工作过。
-
我觉得这些风险，或者说都不算风险，只是我在考虑"拥有自己的智能"时会想到的东西，并不是那种假定实验室有恶意、比如说在偷你数据之类的说法。
-
我觉得，你知道，这些公司都是由很优秀的人组成的，有合同义务，而且确实，他们在保护数据上投入了大量的工程。
-
但我确实认为，"拥有自己的智能"这个理念，核心其实是灵活性和控制权。
-
你刚才说，你不知道"拥有自己的智能"这个说法是什么时候冒出来的，我觉得它真正火起来，是开源模型开始变强、你真的可以用它们去做事情的时候。
-
但你获得的控制权，其实可以比这深得多，对吧？
-
比如这些模型在哪儿运行、你怎么部署它们、你优化它们是为了什么——是成本、延迟，还是特定领域——你获得的控制越多，这就是我们说"拥有自己的智能"时的意思。
-
所以，如果你想拥有自己的智能，想能够用你自己的数据训练这些模型去做任务，你实际上得能拿到权重。
-
你需要有基础设施来做后训练、做推理、在它们之间做路由。
-
你知道，我确实认为，过度依赖单一模型供应商是有风险的。
-
幸运的是，我觉得这些实验室都在尽力服务尽可能多的人，但有时候模型确实会从某些产品里被撤下来。
-
这种情况其实发生过不止一次，尤其是在编程领域，所以你知道，我觉得随着这些实验室开始更多地进入特定的垂直领域，你知道，
-
他们会不会继续服务那些跟他们直接竞争的公司，这并不清楚，所以你能做的、最稳妥也最持久的一件事，以及你能建立起来的优势，我觉得就是投资整个全栈，让自己有能力做出驱动你产品的模型，
-
这些模型是智能的，能做你想让它们做的事，而且不会对任何一套模型或任何一家公司产生极端的依赖。
-
而且感觉这套说法现在真的占了上风。
-
我是说，我觉得最能说明这一点的例子之一就是，就在昨天，OpenAI 宣布了跟 Base 10 的合作，你可以用 OpenAI 的额度，通过 Base 10 几乎全花在开源模型上。
-
所以我觉得，首先，我们非常欣赏 Base 10 团队，我觉得 Tuan 和 Danny 还有那些人，他们真的是一家了不起的公司。
-
但没错，我觉得这是一个很明确的信号：嘿，这是个多模型的未来。
-
客户想要选择，想要灵活性。
-
我觉得在 OpenAI 这边，这是一个很明确的动作，就是：嘿，我们想更像一个平台。
-
我们希望大家能把自己承诺的额度用在不同产品上。
-
我们想成为企业使用 AI 的入口。
-
而且我觉得这对开源模型来说是一场大胜。
-
很多人都想用这些东西。
-
现在有了这么一个入口，你可以去用各种各样的模型，不管是闭源的还是开源的，我觉得这是朝多模型未来迈出的一大步。
-
我不知道你有没有注意到，但几个月前的说法绝对是：嘿，我们要去讨论、去宣传、去分析那个最强、最大、最猛的模型。
-
而现在更多的是在谈帕累托曲线。
-
存在成本跟性能之间的权衡。
-
你不需要为每一个任务都用超大模型。
-
而且你实际上能得到更多的选择和灵活性。
-
我觉得开源模型把这事推得更极端了，就是说，你可以从不同家族里选不同大小的开源模型，沿着帕累托曲线滑。
-
但另外，你知道，我们的核心论点是，你可以把那条帕累托曲线往外推。
-
你可以训练模型，让它们在特定方面变得更强，而且你实际上能用更低的成本得到更好的模型。
-
所以我觉得，所有这些事情，你知道，大概都体现了人们想要更多灵活性这个总体趋势。
-
他们对把 AI 部署到生产用例里已经越来越自在了。
-
他们已经做了大量的探索。
-
而现在就变成，嘿，我们，这个 AI 的东西真的起作用了，咱们去把它优化一下。
-
你觉得 OpenAI 那个 Base 10 的东西能成吗？
-
我是说，这挺有意思，他们有没有可能成为企业的那种中立伙伴，就是说，我们会给你最好的模型。
-
这件事我们也很期待能参与进去。
-
麻烦的地方在于，比如 Amazon 做这种市场就特别说得通，因为你有 Bedrock，你可以跑 Anthropic 的模型，可以跑 OpenAI 的模型，也可以跑开源模型。
-
那现在，OpenAI 会不会把它做到极致，就是你能跑所有你会上架的模型？我不确定。
-
你提到后训练能把帕累托前沿往外推，这好像已经有很多特别有意思的例子了。
-
感觉最明显的是，很多应用开发者已经发现，哇，当我大规模跑类似的工作负载时，推理账单真的会蹭蹭往上涨。
-
或者，嘿，如果速度更快，我客户的体验就会好很多。
-
所以我觉得，你知道，我听说过的很多早期的后训练用途，你知道，都是成本跟速度，感觉这些是特别有价值的东西。
-
能力这块，我挺好奇你能不能稍微聊聊，你知道，它们肯定是在把帕累托前沿往外推，同样大小的模型，你大概能获得更好的能力。
-
你怎么看现在通过后训练去打败前沿模型，比如那些最好的超大模型，在能力上的现状？
-
所以我觉得我们看到的很有意思的一点是，你知道，前沿模型在基础能力上肯定领先开源模型，但你能对开放权重模型做后训练，这就意味着，如果你有差异化的数据，某种你专有的东西，
-
那是超出模型分布范围的，这时候你就能真正把这些模型在能力上也推得更高。
-
我们总体的看法一直是，你的数据越超出分布，后训练就越可能真正给你带来能力上的提升。
-
但同样的，还是那句话，关键就在于那条帕累托曲线。
-
所以如果我能拿一个更便宜的模型，把它训练到跟前沿模型相当，但成本低得多，有时候你就能靠这个服务更多用户。
-
但你的数据其实必须非常差异化。
-
但大多数人做后训练，其实基本上都是为了优化性价比。
-
在能力方面，我觉得有个很有意思的问题：到底哪些数据能在多长时间内仍然是分布外的，对吧？
-
显然，我感觉那些实验室现在都死死盯着编程，所以也许他们当然也在其他领域做事，但可能不像几年后那么专注。
-
我挺好奇你怎么看，比如说五年后，Applied Compute 合作的多少企业会觉得，哦，我们的数据相对模型能做的事仍然是分布外的？
-
嗯，所以我觉得，老实说，我的答案是：我们训练模型的方式会变，对吧？
-
所以我们现在处在这个离线 RL 的范式里。
-
你会去从数据供应商公司那里采购高质量数据集。
-
你会专门针对这些数据做爬山优化，然后得到一个在那个领域非常偏科的模型。
-
RL 就是强化学习，是从经验中学习。
-
我觉得很多在线强化学习的方法，其实是在利用生产环境里的推理来改进你的模型。
-
这其实会成为大多数企业把自己的判断力和专业经验固化下来的方式，基本上就是，他们越用模型，模型就变得越好。
-
但总的来说，真正会处在分布外的专有数据，是公司内部产生的东西。
-
对，所以你知道，关于这个最极端的例子，对吧，就是要特别提一下 Liam，他以前是我的经理，Liam Fettes。
-
那就极其分布外，对吧，因为他们在自己生成那些数据，他们真的会进入真实世界，跑实验，拿到奖励信号，诸如此类。
-
但我觉得在企业里，这种情况看起来就是判断轨迹，对吧？
-
你知道，一家公司的运作方式可能跟另一家公司非常不一样，因为它们对风险的阈值不同，运营模式不同，专业能力不同，历史数据也不同，诸如此类。
-
而这也会影响他们所做的决策。
-
我们对分布外数据的理解方式，可能就像把它放到离线 RL 的语境里，也就是说，哦，必须得有一个高度可验证的信号，来自某个数学问题，或者某个基于评分标准的 RL 问题，诸如此类。
-
有时候，你会通过配置来优化一个 AI 系统。
-
所以你会去给模型写提示词，或者把一些内容放进上下文里。
-
而有时候，优化策略反而更有意义。
-
也就是它怎么做判断，怎么进行推理。
-
而这些事情实际上更难被明确地编纂成规则。
-
而这就是五年后我们会看到的情况，我觉得很多公司基本上都会有系统，来收集专家的输入，然后把它转化成更好的策略，是的。
-
所以，你知道，随着这些模型被使用，你其实就把一个组织做决策的很多方式给固化下来了，然后你用这些来，你知道，改进模型。
-
有足够的数据生成出来做这件事吗？
-
我猜，感觉要做所有这些事情，需要大量的数据。
-
嗨，我是 Anne Maris，我是 Unsupervised Learning 的制作人。
-
非常感谢你收听这个节目。
-
如果你喜欢这次对话，请订阅。
-
订阅能帮助我们成长，这也能帮助我们继续请到一些很棒的嘉宾。
-
非常感谢你的收听，我们下期再见。
-
有足够的数据生成出来做这件事吗？
-
我猜，感觉要做很多这些事情，需要大量的数据。
-
我觉得部分原因在于，这就像是一个全新的领域，对吧？
-
这里正在出现新的研究，全都是关于数据效率和从稀疏奖励中学习。
-
所以我们有了预训练，它呢，数据效率没那么高，但泛化能力非常强。
-
然后我们有了监督微调，你知道，这是拿 Unsupervised Learning 玩了个梗，对吧？这不就是这档播客的名字吗？
-
但监督微调呢，数据效率是更高了，可还是不太行。
-
然后是带可验证奖励的强化学习，你用这些可重放的环境，再加上某种验证器让信号一路反向传播回去，实际上是在拿数据量换质量。
-
它还是相当差，对吧？
-
它的数据效率还是不够高。
-
对你这个问题的回答是，未来会出现更高效利用数据的训练方法，而这正是很多更新的方法在做的事，比如在线强化学习、on-policy 自蒸馏，或者这类技术，或者 SAO，大家都在往这些方向推。
-
而我的基本看法是，阻碍持续学习的，基本上就是如何从稀疏奖励里做到极其高效的数据训练，这是个还没解决的问题。
-
作为 CEO，你怎么考虑这件事：在 Applied Compute 这个背景下，你应该在多大程度上投入解决那个问题，还是说，嘿，先把企业的问题理解得非常透，等研究往前走了，你再把一些成果拿来用？
-
是啊，所以我们现在其实就在跟客户做这件事，就是这种在线训练：我们能利用大规模的推理部署，那些部署在服务成千上万、甚至几十万的用户，然后用这些生产数据去改进模型。
-
我们并不死守某一种特定的训练方式。
-
强化学习和这些在线方法现在是最好用的，但它们还会继续演进、变得更好。
-
这也是为什么我们团队有很大一部分其实是研究系统团队，在真实客户的生产环境里尝试很多新方法。
-
更新模型和训练模型这方面，潜力巨大。
-
而且我相信，任何玩过这些工具的人都意识到，你知道，怎么说呢，如果你把提示词工程做得特别棒，或者创建一些技能，或者还有别的办法去获取知识。
-
而且我觉得，有时候可能有一种感觉，就是研究人员会有点像是手里拿着锤子找钉子。比如，哦，我们可以用模型来做这个，但其实还有别的办法。
-
你有多大信心，长期来看，解决这件事会是一个组织里有很多很多不同种类的模型，而不是用其他方式把东西拼起来？
-
嗯，我觉得我们相当有信心，未来会是一组非静态的权重。
-
我觉得这是我们深深相信的一件事。
-
一定会存在某种从现实世界反馈回模型的闭环。
-
这是每个任务都得这么做吗？
-
编程领域里已经有一些不错的例子了，但你觉得，什么情况算是这条线之上，也就是这个反馈闭环说得通，什么情况又算是这条线之下？
-
基本上，就是那些会随时间变化的东西。
-
你通常会想要某种闭环，让新信息能回流到模型里；但我也觉得，基础模型开箱即用带给你的那层智能，覆盖面正在不断扩大。
-
而到了某个时候，它对很多这种、呃，手工的、流程导向的任务来说，就会变得足够用了。
-
而那些需要迭代训练的东西，是更偏判断力的任务。
-
你懂的，在你方便透露的范围内，有没有什么例子，能想到怎么拿这种真实世界的数据来改进模型？
-
嗯嗯，基本上，我们现在合作的一个客户例子就是，他们有一个很多用户都在用的助手类产品。
-
他们会叫这个助手去完成各种任务，然后针对模型哪里做错了、哪里做对了给出反馈。
-
所以基本上，要去建一个巨大的技能文件或者上下文之类的东西，其实很不现实。
-
所以我们其实能借助一些在线训练方法，根据用户的直接反馈来调整模型的倾向。
-
而且我们能看到用户满意度、完成率真的上升了，工具调用失败也减少了，诸如此类。
-
主要问题就是，这么做的总拥有成本是多少？
-
比如，后训练到底有多贵？
-
而我们正在做、正在构建的很多东西，就是怎么真正降低对一个模型做 RL 的成本。
-
我们怎么能真正自动地、在线地做到这一点，而不用你去搭那种手工调过的、完全可重放的 RL 环境之类的东西？
-
所以我们看到的是，后训练以及真正调整权重的成本正在下降。
-
你最好还是先去做一堆上下文优化和 harness 优化。
-
但一旦你到了某个点，已经把你搭的 harness 和你做的工具榨得差不多了，其实你还是可以继续通过优化策略，让它更好地使用这些工具，从而再榨出很多东西。
-
所以我们合作的一些公司，他们真的有非常专门的 harness，还有自定义工具之类的。
-
我们正在跟一家芯片公司合作。
-
其实他们做了一大堆软件，而通用模型并不太会用这些软件去做 ETL 验证之类的事情。
-
所以结果就是，当你用上 RL 这种"刚刚好"的算法时，其实能把模型的表现推得好很多。
-
你刚才提到要降低 TCO，让持续训练变得可能。
-
这里面最难解决的问题是什么？
-
那我们在这条路上现在走到哪一步了？
-
嗯，用 RL 和基础设施最难解决的问题。
-
对，就是能把 TCO 降到那个程度，然后还能把它进一步产品化。
-
我的联合创始人 Lyndon，也是我们的首席架构师，他在这方面简直就是个巫师，是我见过最聪明的人之一。
-
而且你知道吗，GPU 的利用率有多低，你会很吃惊的。
-
比如说，如果你把全球的资源都聚合起来，基本上我会说，现有的硬件里还有多得多的东西可以榨出来，从而把这些成本大幅降下来。
-
你可以在数据效率高得多的算法上投入很多，这样你训练的时间就能更短，用的算力也更少。
-
所以我会说，系统这一侧和算法这一侧，是目前最能榨出东西的地方。
-
至于可用的数据之类的，有一些合成数据生成的技术，就是那种——我们能不能拿一定量的 token，把它扩成一个大得多的东西，再从里面提取出学习信号？
-
但老实说，我觉得大部分的成本优化和成本削减，都会发生在算法侧和系统侧。
-
Satya 出来说过，世界上有多少家公司，就应该有多少个模型，这显然对你们来说是个很好的卖点。
-
这个愿景能引起你的共鸣吗？
-
我的意思是，对于这个愿景——每家公司都是独一无二的存在，有自己独特的判断，需要有自己的模型——你有多相信？
-
嗯，我觉得原则上，这是否意味着每家公司都得预训练一个模型，或者训练一个自己的模型，我倒不觉得一定是这样。
-
但我确实觉得，每家公司内部都有闭环的反馈系统，值得把它捕捉下来。
-
现在还有很多低垂的果实，所以大家一开始都在做 harness 优化和上下文优化。
-
但不同公司是独特的，运作方式不一样，判断结构也不一样，彼此并不相同——这个想法我们从根本上认同，而这差不多就是我们整个公司的论点：你知道，如果所有人都用同一个模型，
-
就像很棒的模型在某种程度上给所有人设定了下限，但你怎么去优化那些模型、构建真正了不起的 AI 系统，这才决定上限。
-
所以人们能构建出来的产品确实会有差异，既体现在他们做的 harness 和上下文工程上，也体现在他们放在这些产品背后的模型上。
-
当然，你拿一个极端的例子，比如一家制药公司。
-
比如制药公司之间数据差别太大了，它们专注在一个疾病领域，产生大量实验数据，那它们当然应该有自己的模型。
-
如果你看银行，就像一家银行和另一家银行到底有多大不同，当然也许有一些小的判断决策是不一样的，但我在想，你知道，如果一个前沿实验室正在用一大堆非常好的、
-
你知道，通用金融数据来做后训练，那到底能有多独特呢？嗯，我觉得，我觉得市场上肯定有些东西会从整合中受益，我的意思是，这就是为什么会有 roll-up，对吧？
-
比如你基本上，你知道，拿会计师事务所之类的来说，我觉得它们就是因为业务性质而变得很分散，因为你有一个会计师，你有一个客户，他们是一对一匹配之类的。
-
这就说得通了：嘿，我们把会计师工作里的那些琐碎劳动拿掉，放进模型里。
-
这类东西，我觉得，你会看到整合。
-
但说到像银行这种不同公司怎么运作，我觉得每家公司都会做一长串决策和权衡，而这些跟别的公司不一样。
-
所以它们不太像，我猜，像一种大宗商品，你可以随便用这家或那家。
-
我觉得，这大概就是为什么银行的表现分布这么广，有那么多做得很差的。
-
其实是有竞争空间的。看到这个会很有意思，对吧？
-
本质上，我们会多少了解到，很多这些行业里的公司到底是不是真的特别不同，或者是不是有不同的做事方式，而这要看拥有自己的模型相对于使用现成的、普通的 Mercor 数据标注员到底有多大好处。
-
完全同意，而且我觉得，这件事真正体现出来的一种方式，并不总是能力，对吧？
-
我们现在对自己正在构建的东西感到非常兴奋，其中一个原因就是，我们正处在供应紧缺之中，对吧？
-
就像算力有限，大家多多少少都有这种感觉。
-
所以你能从自己的模型里榨出越多，从你实际可用的算力里榨出越多，你能做的事情就越多，对吧？
-
所以基本上，这就是为什么我们认为，拥有能去优化模型、让它们更高效的基础设施，就算你是在把帕累托曲线往外推，而不一定是在推能力前沿，那个差值也是一种机会或优势，对吧？
-
如果我能比竞争对手便宜 10 倍地做某件事，那就是差异化，而且那就是我在竞争格局里真正能赢过他们的东西。
-
我想，也许把视角拉远一点，聊聊那些正处在要不要开始搞自己模型边缘的人。
-
我的意思是，显然你也讲过，应该先试很多 harness 优化之类的东西，还有很多其他办法。
-
但我觉得，很多人都在试图搞清楚，RL 在这些不可验证的领域里到底效果有多好？
-
你会怎么形容我们现在所处的阶段？
-
对，所以我会说，RL 一开始，或者说这些项目一开始，以及当时在训练的那些内部模型，都集中在高度可验证的领域，比如数学和编程，一部分是因为它们高度可验证，一部分是因为实验室里每个人都喜欢数学。
-
但对我来说，这更是如此。
-
我觉得，如果你把不可验证的领域变成某种可以代理验证的领域，那在上面爬山会出奇地容易。
-
所以基于 rubric 的 RL 这类东西，其实效果相当好。
-
所以我会说，我们现在的状态是，如果一件事没有一个唯一确定的答案，那基本上，给它一个专家答案，再拿它跟这个答案对照打分，就能当作一个相当好的代理信号。
-
所以这其实也是为什么不同公司会有不同的专家，因此针对两个不同群体、两家不同公司去优化，真的会给你非常不同的模型。
-
所以他们会让你所有前员工都别去那些数据标注公司。
-
没错，对对，嗯，我觉得其实，有了 RL，我们本质上就有了一台爬山机器。
-
最难的部分其实是定义要爬的那座山，所以我觉得，evals 对公司来说真的是一件很重要的事：第一，要重点去构建；第二，要非常小心地保护起来。
-
如果你在考虑竞争之类的事，你看，只要是个公开 benchmark，它就会被拿去跑分，对吧？
-
所以如果你有些东西非常贴合你业务的运作方式，而你想让模型特别擅长这些，那其实不告诉别人好坏长什么样，对你反而有利，不然别人就能去把他们的东西也做得特别擅长这些。
-
所以这就是为什么我觉得，对，真正重要的是，要把你的 evals、员工，还有所有这些类似的东西都保护好。
-
你不会的，你的员工不是可以随便替换的。
-
你不会乐意他们去另一家公司、在那里干活。这些模型也是一样。
-
我觉得，如果你是一家领先的应用公司，这里就有一种矛盾：你当然想不断扩展你能交付给客户的能力，所以去实验室把你们的 evals 告诉他们是有帮助的；但另一方面，这些又都是很多来之不易的洞察。
-
完全没错，这确实是个很棘手的处境，所以我觉得，投资开放模型基础设施、投资一个多模型的未来，是每家公司都绝对应该做的事，因为对，你确实有点左右为难。
-
对，我想我们接下来可以聊聊 Black and Pew 这家公司。
-
而且我在想，肯定有不少企业会觉得，能跟你们合作、让你们撸起袖子帮他们解决各种问题，那会相当不错。
-
那你们在这个阶段怎么筛选业务，怎么判断跟谁合作、不跟谁合作？这个问题问得好。
-
所以我们基本上把后训练，以及真正训练这些定制模型，看作差异化所在，也是让业务有黏性、能在现成模型之上真正提供更多价值的部分。
-
但真正大部分价值捕获，其实发生在推理环节。
-
如果你看花在模型上的钱，绝大多数都花在实际部署和使用模型上，而不是训练模型本身。
-
所以当我们跟客户合作时，我们通常会瞄准价值非常高的用例。
-
这要么是因为我们准备给模型带来的能力提升极其有价值。
-
比如你前面描述的那些公司，像制药公司、网络安全公司、芯片公司之类的。
-
另一种情况是，推理负载真的很大。
-
所以基本上，某种效率提升、优化收益或者质量改进，如果能分摊到非常大的用户群上，或者分布在数十亿、数万亿 token 上，那其实也非常有价值。
-
所以我们其实会寻找大规模的推理负载。
-
这些通常是我们最好的客户，或者是非常分布外的数据——人们想拿那些只对自己独特的东西来训练。
-
你刚才提到了推理这一侧。
-
显然，现在对任何基础设施公司来说，诱惑似乎都是：有个推理业务挺不错的。
-
我觉得这件事上存在不同的看法。
-
做一个真正好的推理引擎，这种产品到底有多难？
-
所以我想，也许先退一步，讲讲我们为什么觉得……
-
首先，我们认为推理会是世界上最大的市场之一，甚至可能就是最大的。无数人都这么说过。
-
这并不是什么很独特的观点。
-
如果你相信 AI 会在外面承担大量知识工作，这几乎是显而易见的。
-
如果没有……那也拿不到多少训练经费。
-
没错，而我们的看法是，最重要的一点是——后训练其实会赢下推理。所以基本上我们看到的一个趋势是，公司会先从前沿模型起步，做大量实验，
-
然后他们的工作负载会变得成熟，他们会开始扩展这个负载，接着就会考虑开源模型，以及怎么去做成本优化，基本上就是把帕累托曲线往外推。
-
有意思的是，那些最规模化的负载，也就是你花钱最多的最大负载，其实恰恰是你最想先去做后训练的，对吧？
-
因为那其实正是收益最大的地方，而且它跟其他所有用例之间差不多是幂律关系。
-
而有趣的是，你可以同时协同优化你的推理和训练。
-
所以，你知道，基本上我们训练模型的方式，实际上会影响我们怎么去为客户搭建推理部署。
-
如果它像是一个大量调用工具的模型，而我们训练它去做一堆类似工具调用并行化之类的事情。你能多说说这个吗？
-
这在实践中到底意味着什么？
-
比如说，如果你——如果模型是那样设计出来的，它会怎样影响你所做的推理选择？
-
对，对，这是个很好的问题。
-
所以基本上，如果我们在做一个长时程、会调用工具的智能体，那我们搭建推理部署或推理引擎的方式，就会跟做那种很重的、解码密集型的工作负载不一样，对吧？
-
所以，你知道，你可以搭建这种分离式的设置，用多种不同类型的芯片分别来做预填充和解码。
-
因此，能影响模型如何训练，实际上也会影响我们想怎么去为超大规模的工作负载搭建推理部署。
-
这很有意思，我特别想深入聊聊这个，因为我觉得有很长一段时间都存在这个问题：自己造模型，对你更好地跑推理到底有多大帮助？
-
而且这最早出现在很多最初的开源模型宣传里，对吧？当时的想法是：嘿，我们训练这些模型，这样我们就能在它们上面更高效地跑推理。可后来的实际情况，至少在早期，其实是像 Fireworks 这样的公司会说：
-
谢谢你训练出这么棒的开源模型，接下来就由我们把它尽可能高效地跑起来。
-
对，所以我觉得现在的情况是，基本上，你训练和推理用的那些 kernel，你肯定希望它们能匹配上。
-
我们在训练这边做了很多工作，去优化我们能把这些东西训练得多快、多高效。
-
这些工作里有很多都能迁移到推理那边。
-
我觉得还有一件事很值得提，这跟我们刚聊的有点不相关：我觉得经常被忽略的一点是，如果你想把自己的推理账单砍掉 10%，你可以做一堆推理优化之类的事。
-
你可以做一堆推理优化，把成本降低 10%。
-
或者说，我觉得这些模型在很多事情上的 token 效率其实挺低的。
-
所以我们一直在跟客户做的就是，跟他们说：嘿，我们其实可以通过让你的模型 token 效率提高 10%，来砍掉你的 token 账单，同时在你关心的某个指标上保持同样的表现。所以我觉得，我们能告诉客户的一件事就是：嘿，
-
就像，这些事情其实是同一枚硬币的两面。
-
如果你跟我们合作，你其实可以同时影响这两边，这就是为什么我们想成为训练和推理两方面的集中式提供商。
-
自己来做训练，能在多大程度上让你对推理工作负载有更深的洞察，这会很有意思。
-
回到你最开始问的关于推理产品、以及它们多容易搭建起来的问题，我觉得我们看到的情况其实是，最关键的还是得有算力容量。
-
所以你得有实打实的 GPU，才能去服务这些模型之类的。
-
而像 vLLM 和 SGLang 这样的开源项目就是很好的起点。
-
事实上，我觉得几乎所有推理云都已经淘汰了很多自家的定制推理引擎，转而采用这些推理引擎里的某一个，然后做工作负载调优和性能调优，也许还在里面加几个自定义 kernel。
-
我记得 Dylan Patel 上过 Dwarkesh 的播客，他当时其实就在说这件事有多容易：基本上，你要是有些 GPU，把 vLLM 放上去，再挂到 OpenRouter 上，你就有了一套生产级的推理服务。
-
我不想把它说得太轻巧了。
-
我觉得要让这些推理部署变得高效得多、token 速度更快，里面需要大量优化和苦功夫。
-
而这很重要，尤其是当你上规模的时候，对吧？因为在一大堆芯片上省下 1%，加起来其实很可观。但就真正把生产级质量的模型服务跑起来而言，跟训练和推理相比，它绝对是更容易的那件事。对。
-
这很有意思，因为我觉得，作为一家基础设施公司的 CEO，你肯定得想这个问题：感觉有一堆公司从不同的地方起步，而且有一种愿望，或者说一种信念，就是随着时间推移，它们中的很多会横向扩张，并以各种方式侵入彼此的领域。
-
而且我想，你们既得搞清楚这里合理的先后顺序，也得想清楚那条红线要划在哪里：好吧，我们想做很多事情，但有些事我们不想做。
-
这件事在业务发展过程中是怎么演变的？你今天又是怎么看待它的？对，这是个很好的问题。
-
所以，我们宏大的愿景是：我们真正在打造的东西是，我们认为会出现一家新的 AI 超大规模云厂商。
-
就像云时代有 AWS、GCP 和 Azure。
-
它们当时做的是 CPU 算力。
-
并在上面做出了非常棒的灵活计算产品，比如网络、存储、数据库、数据湖，还有用来构建应用的各种东西，等等。
-
现在你有了这种新的计算结构，也就是 GPU。
-
你还有一个很奇怪的东西，就是一堆权重和参数，我们叫它模型。
-
结果你可以用推理引擎来服务它们，而推理引擎是在 AI 软件栈上层第一个真正形成粘性的软件，然后你就能服务这些有价值的智能 token。
-
我们的看法是，在那个软件层里，其实除了推理之外还有一大堆东西。
-
我们的大赌注是：嘿，后训练是整个技术栈里一个被严重忽视的部分。
-
我怎么把 GPU 算力变成更智能的 token？那就是训练。我怎么把这些 token 服务出去？那就是推理。
-
我怎么挑出该服务的正确 token？那就是路由。
-
但还有一大堆东西，比如安全监控、身份、智能体沙箱，所有这类东西。
-
当我们思考自己在构建什么时，我们其实想做得非常横向，但我们也确实想先起步。
-
我们把事情看成一座倒金字塔。
-
金字塔底部是很少有人能做到的事，金字塔顶部是很多人都能做到的事。
-
在金字塔最底部，我们认为那是模型训练所在的位置；再往上就是推理，再往上就是路由，再往上就是上下文、harness 以及诸如此类的东西。
-
我们的策略一直真正聚焦在那些杠杆极高、ROI 极高、非常难做的事情上：你需要搭建极其稳健的基础设施，需要一个你真正拥有并运营的 GPU 集群，诸如此类。
-
所以，作为一家基础设施公司，我们的目标是随着我们逐渐成熟来扩大服务范围；我们现在已经成立 16 个月了，所以第一步是从训练走到推理，但我们的路线图上有很多令人兴奋的东西，也有很多我们想去打造的东西。
-
特别有意思的是，我猜当你们销售漏斗里大概 80% 的机会找上门时，你会觉得：这大概用好的 harness 再加点数据工作之类的就能解决了。
-
那你们在 harness 优化这块最终会做些什么呢？
-
我猜很多人现在都在琢磨这件事。这个问题问得好。
-
我觉得我们现在确实是在专注做重点。
-
其实，跟我们合作的客户都有成熟的 AI 产品。
-
他们已经，已经组建了很棒的产品团队，而且在投入打造非常出色的 harness。
-
所以我们目前的运营模式其实是：我们不专注于 harness 层，也就是上下文那层，我们专注于模型那层，而且我们不一定做从零到一的 agent 搭建。
-
我们优化的是成熟产品背后的模型。说得通。
-
我猜，说到今天搭建 RL 环境，可能，我相信听众会很想听，实际上，你甚至可以就举一个示例，搭建其中一个环境到底涉及什么，以及你会怎么考虑，
-
我敢肯定这里面有 500 个烦人的地方，比如那些需要变得更好，或者你希望它们变得更好的部分？
-
好的一点是，就像我之前说的，RL 就像一台爬山机，对吧？
-
所以其实，你构建训练数据的方式，实际上也就是你构建 eval 的方式。
-
所以希望这能帮大家大概理解，构建一个好的 eval 到底需要什么，就是：嘿，你得有正确的任务，得有正确的环境，还得有正确的 verifier，对吧？
-
这大概就是你要做 RL 时的三个主要东西。问题是什么？
-
模型能访问的工具和服务的范围是什么？
-
然后我要怎么判断它是好还是坏？
-
举个例子，我们训练了这个 Harvey review table 定制模型，还发布了一篇关于它的案例研究。
-
但对于那个，对吧，我们基本上是跟 Harvey 团队合作，收集了一堆专家评分标准和答案，还用合成数据做了补充，并让模型能访问一些工具，然后就能说，嘿，
-
这就是你要去完成的任务，你知道，把所有这类信息提取出来，然后拿专家答案来评分，再用，你知道，真正的 request RL，我们就是这样把任务创建出来的。
-
这里的环境就是模型能在文档库里访问到的那些工具，而 verifier 就是拿专家答案来评分。
-
这里面最难的部分，是不是就在于真的让人们去创建这些评分标准，或者，你知道，去创建，你知道，那些会出现在这些东西里的真实文档？
-
是，我们跟所有客户都合作得非常紧密，因为他们是这个领域的专家，对吧？
-
我们真正带来的，是基础设施、训练团队，还有推理，你知道，生产环境里的服务这些东西。
-
所以你知道，这件事其实挺需要协作的。
-
我们经常可以在合成数据这边做很多工作，如果它像是某种——比如说，你可以拿某种文档，把它反向翻译成，你知道，问答对，举个例子。
-
这是个非常具体的例子。那种东西我们可以用合成数据来做，但当它涉及真正的专家、真正的律师时，我们其实想直接跟团队合作。对，我敢肯定，你知道，这整个论点似乎就是，这类工作会比随便哪个律师的
-
数据标注公司上手试着做出来的东西质量更高，我觉得，现在这大概已经是很久远的记忆了，但 OpenAI 关掉 Cursor，你预计这种事会发生吗？还有之前的 Windsurf，对吧？当然，对。Anthropic 和 Windsurf，对。
-
你预计这种事会更常发生吗，还是说？我是说，它已经发生过两次了。
-
我觉得竞争动态是真实存在的，他们的动机也是真实的，所以尤其是当公司开始更多地进入应用层，做出自己的竞争性产品，去跟它们模型最大的消费者竞争时，如果这种事发生得更多，我不会感到意外。
-
我一直喜欢来个快问快答环节，基本上就是把我之前没聊到的所有东西，用很没结构的方式一股脑塞进来。
-
那么，也许先从这个开始，RL 会泛化吗？某种程度上会。
-
在某些方面它确实在泛化，对吧？
-
比如模型做错误恢复的能力，或者使用工具、子代理之类的东西。
-
但我觉得，如果你真的去做实证，你可以跑这些实验，你可以拿一个数学数据集来训练，看看它能多大程度迁移到法律领域或类似的东西上，那种迁移其实并不真的存在。
-
肯定达不到预训练所具有的那种泛化程度。
-
所以我觉得它会渗透到相邻领域，就好像智能是某种球体或者圆。
-
它上面有一些参差不齐的尖点。
-
那些彼此靠得更近的点，你在那里会看到更多泛化，但它肯定没有跟预训练之类一样的泛化能力。
-
对，过去一年里，你在 AI 上改变过什么想法？
-
对，我是说，我猜有一件事，我并没有，也许我没有改变对它的看法，但我没有充分意识到，杰文斯悖论到底有多真实。
-
那个，有没有什么特别的事情，是你看到的，那个就是……？
-
对，就像，你知道，我觉得有一个很有意思的点是，我们现在处在一个，基本上，如果你去看一些 OpenRouter 的统计数据，只要某个模型一降价，用量立马就猛涨。
-
所以我真的觉得，我们正在走向一个所有东西都极度追求成本优化的世界。
-
我们也能感受到压力，就像现在每个人都在感受到压力，要把东西做得尽可能高效，把 AI 账单降下来。
-
我不觉得我当初充分意识到，跟能力之类的东西相比，它会成为一个多大的驱动因素。
-
我们正在到达一个点，我会说，大多数开源模型基本上已经能做到你想让它们做的所有事情了。
-
显然还有很多前沿的东西，我不想把这话说得太一概而论。
-
前沿模型很厉害，但我没想到人们会这么在意真正把成本优化到极致，以及为合适的任务用合适的模型。
-
有意思的是，因为显然对于其中一些任务，人们之前用前沿模型是因为你能得到很多价值，但如果在具体用例里能有办法便宜得多地做这件事呢。
-
对，这里面有一些边际价值回报，而到了某个时候，人们会去做实验，试一堆东西，然后最终收敛到合适的模型上。
-
当像 GEV 这样的东西出来时，在 Applied Compute 那边会是什么样？
-
那是什么样的，你们是怎么想这个事的？
-
我觉得这是个超级酷的模型。
-
我基本上觉得，接下来可能会有很多类似的东西出来。
-
它能开启一整套新的用例。这从名字里就能看出来。
-
这就是为什么他们把它叫做 JEV，就是那些便宜、快、为某一组特定任务设计的东西。
-
我们在 Applied Compute 里做的很多东西，也一直是这么去想的。
-
像 JEV 这样的模型，我们在研究，嘿，把它整合进训练过程里会是什么样，比如在 rollout 上做十亿 token 级别的大规模分类，或者做那些以前因为成本太高而做不了的事情。
-
所以对，当这样的东西出来时，我觉得特别兴奋，因为它基本上就是扩大了我们能去做和搭建的东西的范围，而且这有点像某种矩阵，对吧？
-
所以它是高度乘法式的，这些东西最后其实会叠加起来。
-
Jev 我觉得，可以说，与其说它是在替代一些东西，不如说它是一个使能者，让我们能做到以前在训练和推理上都做不到的事情，比如可观测性之类的。
-
对，就是因为在那种成本水平上。
-
对，在那个成本、那个成本或者价格点上，它基本上就能让我们做一整套全新的事情，而这些事情以前就算用最小、最便宜的 coin 模型之类的也做不到。
-
对，有没有一个你到目前为止见过的、让你特别有感触的直观例子？
-
其实我们把这个发在一篇博客文章里了。
-
我们基本上就是用 Jev 来做在线训练的大规模 trace 分析。
-
所以想象一下，你正处在这种指数级增长的曲线上，那你到底该怎么为你想要的计算量做预算呢？因为你很可能正进入其中的某些阶段。
-
所以，我觉得我们的思考方式是，我们其实是在努力打造一个非常有粘性、有差异化的业务。
-
所以，我们不会去追每一个我们本可以追的机会，比如‘哦，有人需要 embedding’之类的。
-
我们非常相信这个论点：人们会使用定制模型。
-
他们会愿意投资我们用来做后训练的基础设施。
-
所以其实我们不是去看所有东西的总需求，而是在想：我们能去合作、能和他们一起成长的最有战略意义的公司是哪些？
-
而且他们也是合适的人，能真正去证明这个论点：比起某种现成模型，定制模型要粘得多、有价值得多，而且 ROI 是持续性的。
-
我想聊两件我听你说过的事。你知道，其中一件，你说得特别有意思，就是：你认识的最好的工程师，好像都是在 AI 出现之前就学会编程的。
-
我想知道你能不能稍微展开讲讲，因为你知道，现在有那么多 16 岁的孩子在写代码，他们有点像这些工具的原生一代，你知道，他们只学过用这些 AI 工具写代码。
-
那你会怎么去想给别人建议这件事？
-
嗯，没有没有，这是个很好的问题。
-
我基本上，先说清楚，我并不是反对用 AI 写代码。
-
我猜你也用了不少 AI。
-
对，没错，而且我在 OpenAI 的时候，主要做的东西就是 Codex。
-
那其实是我当时把所有时间都投入进去的东西。
-
所以我对用 AI 写代码这件事非常兴奋。
-
我觉得，把你的思考外包给编程智能体，和用它们去执行一个你自己想好的计划和设计，这两者是有区别的。
-
所以我会说，我其实觉得人们最该专注的，是系统设计。
-
这话从我这么一个做基础设施的公司的人嘴里说出来，可能有点好笑。
-
但你在构建可扩展系统时遇到的那类问题，真的会逼着你去想自己在做什么，以及为什么要那样设计和组织这些东西。
-
我觉得这些模型现在真的越来越强了。
-
所以你不需要非得知道确切的语法和这一堆东西。
-
比起实际写代码，更重要的是把框架和设计搞对。
-
所以没错，我绝对非常支持用 AI 写代码。
-
只是你不能把自己的思考完全外包出去，基本上把它当成拐杖来依赖，因为那样一来，你就会搞出一大堆你根本解释不了的烂代码库。
-
所以可能最好的做法就是，你知道，学会解释你自己的代码。
-
这就是我们面试要考察的。比如说，我们会让来现场面试的人放手去做，但之后我们会问一大堆问题：你为什么这样构建？
-
你考虑了哪些取舍？
-
如果他们回答说，哦，是 Claude 做的，或者 Codex 做的，那你知道，这可不是我们特别想听到的。嗯，有意思。
-
那你是怎么……比如说，显然你们，你知道，我觉得大家都在试着向最 AI 原生的公司学习它们是怎么做事的。
-
那你是怎么考虑的，比如说，显然那是工程侧的面试，你知道，我确定你们也会招其他岗位，而且我确定你希望这些人相对也比较有 AI 原生思维。
-
对于工程之外的其他类型岗位，你是怎么考虑面试或者相应地改变流程的？哦，好问题。
-
对，我觉得，你知道，我们面试人的时候，基本上也是同样的原则。
-
所以，你知道，比如财务岗位或者商务拓展岗位之类的，人们经常会用 AI 工具去搭一个财务模型或者类似的东西，而如果他们解释不了自己为什么那样搭模型，
-
那基本上就是我们在找的东西。
-
其实说白了，我们的看法是，人们应该用任何能用的工具，但他们得完全搞清楚这些工具到底替他们做了什么、每一步都干了什么。
-
所以，我们更多是，面试过程不设限制，但在审核或者本质上评估他们对产出的理解时，会非常具体、非常严格。
-
那在如今这些做 RL 环境的公司里，一家 RL 环境公司凭什么比另一家更强？
-
我觉得真正关键的还是人的部分。对，就是他们能触达的人。
-
对，没错，就是专家网络。
-
所以，像 Mercor，还有你知道的 Handshake 这类公司，他们其实有非常厉害的专家网络。其实我在 OpenAI 的时候，你知道，我们就和 Mercor 合作过，
-
我觉得他们，你知道，显然现在也还在做，但我们当时在一些最早期的智能体产品上跟他们合作得非常紧密，比如 Deep Research 和 Codex，那才是你能找到世界上最顶尖的人来做……
-
编程、数学之类的东西，而且仍然有信号需要流进这些模型里。所以模型是数据的函数，数据质量越高，你的模型就越好。
-
所以我会说，可能真正的差异就在于，你能不能很快在一个很广的网络里发起一轮活动，然后基本上把它筛到最高质量的数据点。因为当你做训练的时候，你其实用不了那么多数据，对吧？
-
你用的是几百个数据点，每个任务可能就几百个，或者几百到两三千个，差不多这样。
-
所以，如果你的质量把控很差，那会对模型，对最终模型产生实质性的影响。
-
感觉这里很多东西，你知道，那些做模型的公司有多大优势，会取决于这个差距——一边是 Mercor 能招来的前银行家，他们能搞清楚任务是什么；另一边是 JP Morgan 内部的银行家，还有他们手上的东西、他们有的任务，以及，
-
他们创建出来的评估。
-
而且，怎么说呢，我也不知道，我不知道这两者之间的差距最后会有多大。对。
-
嗯，我觉得，当银行家，或者拿你刚说的例子来说，当银行家离开的时候，他们就接触不到很多长期积累起来的专有数据了。
-
他们显然会做很多推理和判断之类的事情，但这也非常受他们看的数据、他们工作所依据的数据影响。
-
但没错，我觉得这确实是一个真正的 alpha 来源，会渗透企业的边界。一直都是这样，对吧？
-
这就是为什么会有竞业协议之类的东西，对吧？
-
这几乎就像是，对，显然你见过这种趋势：一家公司倒闭了，人们把它买下来就是为了数据。
-
如果我是银行，而有一家银行倒闭了，我可不想让某个实验室去收购它什么的，我不知道他们到底能用什么数据来训练。对，没错。
-
我觉得这就像是，而且这几乎就是一个论据，说明这些公司为什么有价值，对吧？
-
那数据有价值，所以那家公司就有价值，因此，你能把东西保持得越专属于自己，就越好。
-
是啊，而且最后这个边界会落在哪儿，会特别有意思。
-
这显然就是黑猩猩、生物学那种，感觉很难外传出去，最终到底是实验室会搞懂经营一家银行的基本门道，还是别的什么？
-
是啊，嗯，我觉得就是有很多，我是说，经营一家银行就像，就像千层蛋糕一样，对吧？
-
我觉得，你知道，还说不准单个模型或者 ASI 模型之类的，是不是一上来就能直接干这个。
-
我觉得人还是很重要的。
-
就像，他们做这些工作积累了好多年的专业经验。
-
要把这些经验固化到模型里，其实相当难。
-
但没错，我觉得不同公司里会有很大一部分岗位肯定会被自动化掉。是啊，特别有意思。
-
嗯，我在想该在哪儿收尾，我觉得有一件事会挺有意思，就是，因为你整天都在做 RL，很多东西，比如，你把这些东西搭起来的时候，模型有时候会搞出一些很疯狂的 reward hacking。
-
我很好奇，你见过最好的例子是什么，你不用提具体的客户，就是，在某个部署里，可能某次运行没有完全按你预期走。对，对，对。
-
不，不，我是说，就是，甚至从 OpenAI 那会儿开始，就有各种很有意思的方式，这些模型真的很聪明。
-
它们会找到办法，就像水一样。
-
它们会找阻力最小的那条路。
-
所以我觉得，对我们来说，和我们合作的一些公司，比如围绕编程这块，
-
我们能在一些软件包里找到漏洞，模型就直接用它们在这些任务上轻松拿奖励，我觉得公开的东西里还有比这糟糕得多的。
-
我觉得说实话，这就是为什么我们看到网络安全公司对训练自己的模型之类的事有这么大兴趣，因为这几乎就是一个完美的、可以直接施加优化压力的问题，因为这些模型是特别强的编程先验。
-
而且基本上，进攻性网络能力，这些我们也相当擅长。
-
嗯，这真是一场很精彩的对话。
-
真的很感谢你来上播客、还专门抽时间。谢谢邀请我来。这太棒了，感觉特别好。
-
我是 Jacob Efron，这里是 Unsupervised Learning，一档播客，我在这里和 AI 领域最聪明的人聊天，问他们一大堆关于模型正在发生什么、以及这对世界上的企业意味着什么的问题。
-
希望你们也能看得出来，我做这个真的特别开心。
-
除了我白天在 Redpoint 当投资人，这其实是个晚上和周末搞的项目。
-
但我们能请到这些特别厉害的嘉宾，其实真的靠的是像你们这样的人订阅播客、把它分享给朋友。
-
真的，这才是最终让这整件事能成的原因。
-
所以，请大家考虑这么做。
-
非常感谢你们的支持和收听。我们下期再见。