Mitch Troyanovsky 谈构建长时程自主智能体与过程监督
点播放，字幕跟着声音走
Subtitles follow the audio
逐句文字稿
点任意一句，从那里开始听
正在加载字幕…
-
人类早就习惯了跟非确定性的系统打交道。
-
只不过那些系统通常是他们的同事，而不是他们的电脑。
-
而且从很多方面来说，无论是公司还是流程，核心都是你怎么设计一个系统，让这些非确定性的实体协同起来解决一个问题。
-
一旦你想明白这一点，就会发现，这其实就有点像智能体的设计。
-
假设你有100个评估。很好，全都通过了，看起来不错。
-
但你有信心这就能推广到真实世界、推广到生产环境吗？
-
我们的答案是：不能。就算你100次全对，如果一个人只是因为去查维基百科才答对，会计师事务所不会雇他。那他们也不该雇我们。
-
你会看到有些人，为一个没抽象好的代码文件抓狂，可他们的上下文却烂得一塌糊涂。英语反而更金贵。
-
因为英语会影响性能。
-
代码不影响性能。
-
大家好，我是FirstMark的Matt Turk。欢迎来到Matt播客。
-
人人都在做AI智能体，但除了编程之外，大多数智能体还是没法可靠地做真正的工作。
-
今天我的嘉宾是一位站在攻克这个难题最前沿的AI构建者。
-
Mitch Torianowski是Basis的联合创始人，这是一家独角兽AI公司，他们的智能体能自主运行好几个小时，有时甚至好几天，而且已经能端到端完成非常复杂的任务，比如准备完整的报税表。
-
这是一期真正的参考级节目，讲的是如何构建长时程自主智能体，Mitch分享了他一路走来学到的大量经验。
-
请欣赏我与见解深刻的Mitch Torianowski的对话。
-
我想从一个场景开始。我在准备这期节目时，看到了我们朋友Stephanie Balazzolo在The Information上的一段视频，她描述了走进Basis办公室的体验，看到一群人
-
对着麦克风非常小声地嘀咕。对顶尖的AI构建者或者活跃在X上的人来说，这可能已经是人人都懂的事了，但对绝大多数人来说，就请你们描述一下，你们对着那些麦克风嘀咕到底是在干什么。
-
我觉得，关于怎么跟AI打交道——不只是构建智能体——最好的一条建议就是：你得给它尽可能多的上下文，因为它从定义上就总是以某种方式缺失上下文。
-
说话就是比把事情写下来快太多了。
-
而且实际上，当你试着把事情写下来的时候，你其实是在把脑子里那些乱七八糟的想法做个总结。所以这就很花时间。
-
这对你我来说是有用的，因为要是有人噼里啪啦说一通，直接当Slack私信发给你，那挺没礼貌的。但对智能体来说，它们根本不在乎。
-
它们其实反而更喜欢这样。
-
所以能像这样把想法小声嘀咕出来，效率就高多了，毕竟你也不想大声嚷嚷。
-
而且现在有这些麦克风，你可以用非常非常小的声音说话，还能完整清晰地录下来。所以我们才这么做。
-
有时候新人来公司看到这个会觉得有点奇怪，但过了一个月左右，他们就再也回不去了，就是这样。
-
那你们是对着什么嘀咕呢？
-
对着Cursor，还是对着？
-
对，就是大家各自用的工具。
-
我是说，每个人用的东西不一样，但没错，Codex或者Claude或者Cursor，大家用什么就是什么。而且不只是工程团队，对吧？
-
所有职能都是这样，只要你想把某件事做成，想描述清楚你想要什么，都是这样。好，很好。
-
好，那我今天想做的，算是一场参考性的对话，聊聊构建长时程智能体的方方面面，一部分是基于你在X上发的那条很棒的推文串，而更重要的可能是你刚和BrainTrust合作发布的一个新的开源项目。
-
我们接下来都会聊到，不过为了给大家一点背景，先用两三句话说说Basis。你会怎么描述它？
-
好，Basis构建的是端到端做会计工作的智能体。
-
而会计是很难的。
-
它不是那种纯粹的文字进、文字出的东西。
-
所以它要求AI能够长时间执行大量操作，并且在这段时间里保持连贯一致，才能得到好的结果。
-
这也是为什么我们一直非常专注于研究：到底怎么才能构建出能规模化承担这类工作的智能体。
-
那你选会计，是因为从构建智能体的角度看它特别有意思，还是反过来？这问题问得好。
-
你选会计这个方向，是因为从做智能体的角度看它特别有意思，还是反过来？这个问题问得好。
-
可能正好相反，不过从智能体的角度看，我确实觉得它挺有意思的。
-
会计之所以有意思，原因有很多。
-
它是全国最大的知识型职业之一，甚至可能就是最大的。
-
全国加起来有三百多万会计师。
-
而且我觉得会计真正酷的地方在于，大多数人其实根本不会去想会计这回事。
-
他们不会去想，是啊，这东西为什么存在？
-
估计大多数听众从来没想过，会计为什么会有？
-
我知道我们接下来要聊智能体，不过先花三十秒，让大家感受一下会计有多酷。
-
你想想现实世界，有那么多事情在发生，经济活动嘛，对吧？
-
比如我刚才就在那儿喝了一瓶水。
-
你想，得有人，那个装瓶的人得决定去那家工厂或那个供应商那里进货，或者决定开一家新店，或者雇一个销售员。
-
这些都是经济决策，而它们都源于对现实世界的理解，对现实世界里有什么的理解。
-
钱在流转，有人签了合同，有人交付了库存。
-
就是所有这些发生的事件。
-
而现代资本主义在很大程度上，就依赖于所有这些参与者能基于这些事件做出决策，对吧？
-
比如那家公司的CEO，国税局显然要决定征多少税，银行要决定放多少贷，还有投资者，对吧？
-
所有这些人都关心现实世界，但他们没法理解它，因为它太庞大了，涉及的全是这些非结构化的、难以解析的信息。
-
而会计这门技艺，实际上就是把这些全都压缩成结构化的东西，让人们可以去看、去理解、去做决策。
-
所以你可以说，从更宏观的层面看，会计有点像凌驾于经济之上的一种智能，因为它本质上就是对所有已有信息做压缩。
-
所以我觉得，这是个非常酷、很值得思考的问题。
-
这在上下文感知方面仍然是同一回事。
-
所以我们要聊的是长时程智能体。
-
现在什么样的任务算长时程？这个范围一直在变，哪些算在这一类里？
-
好，也许我可以先说说我对智能体的简短定义。
-
我知道到现在可能大家基本都知道了，但我觉得这是个我面试时爱问的陷阱题，我倾向于把智能体看作一个AI，或者说某种推理过程，它拥有自主权，能去做出决策、去做不同的事情。
-
所以按定义来说，它是一个光谱，因为自主程度可以各不相同，对吧？
-
比如你会受限于你所处的环境。
-
而我觉得长时程同样也是一个光谱，你赋予智能体做决策的权力，让它能在更长的时间里保持连贯，对吧？
-
比如说，你让一个智能体去帮你查天气。
-
它可能算是个智能体，因为它有权决定调用哪个工具、在谷歌里搜什么，但它不需要做多少工作就能在一段时间内保持连贯，因为你就是查个天气而已。
-
但如果你让一个智能体去做，比如说，完成一整个功能，比如在你的代码库里实现某个功能，或者让它去做一个很大的Excel工作簿，那突然之间它可能得运行超过一分钟，我们说的是10分钟、20分钟、30分钟，
-
甚至可能比那长得多。
-
而一旦你开始进入这些量级，你就开始撞上大语言模型运作方式的根本极限了，我总爱说大语言模型有非常大的工作记忆，但默认情况下没有短期或长期记忆。
-
所以你得利用大语言模型的这些优势，来弥补它们没有良好的、或者说根本没有真正的短期或长期记忆这一点，办法就是，这个我们可以再多聊，就是用各种框架和这类进步，让它们能在一段时间内保持连贯。
-
所以我觉得，一旦你开始琢磨怎么让它保持连贯，因为你已经超出了它工作记忆的容量，那我大概会说，这时候你就开始进入我所说的长时程了。
-
而且从对话来看，我们这里聊的仍然是自主智能体。
-
我挺好奇的，也许举个例子，在Basis的语境里，自主是什么意思？
-
我读到你们现在已经有智能体能端到端地处理报税了？
-
那也许可以大致给我们讲讲那是什么样的，从步骤上看，要花多长时间，一个智能体在概念上到底做什么？
-
当你真正是自主的，或者说在真正长的时程上做一件事，比如端到端地做一份报税，那意味着你需要大量信息才能完成这项工作，而且你有工具去获取可能更多的信息。
-
比如说，想象你在做一份复杂的1065，你手上有各种不同的，你知道，K1、W2、其他文件、1099，还有你从公司那边需要的任何东西。
-
然后你还可能，取决于你在做什么，可能已经有试算平衡表了。
-
所以这往往就是你真正开始做一份报税所需要的东西，或者你面对的是账都还没做完的情况。
-
然后智能体就得真正去搞清楚，基于这些各种各样的东西，它要怎么着手处理，它能做到什么？
-
而这就是你开始进入，你知道，一些关于行为应该是什么样的东西，我们可以聊聊，比如说，好的实践长什么样，才能得到一套扎实的试算平衡表？
-
要做到什么程度才算好，才能正确地提取出，你知道，K1和K3，让你对结果有信心。
-
而要做到自主，就意味着它不会回头去问用户说，嘿，这个对吗，这个对吗，我需要这个，我需要那个，而是从开始干活到“我完成了”。
-
而“我完成了”并不意味着我完成了、你点个按钮，没人看一眼。实际上恰恰相反。
-
它更接近你能想象的一个报税编制人员做的，或者也许是第一遍处理，或者像初级工程师那样，说“我完成了，这些是我做的重要决定，这些是我的假设，这些是你需要看的不同地方，我们一起来审一遍吧”，对吧？
-
你想想，比如说一个工程，你知道，一个工程师交给你一个PR，没人喜欢收到一个一千行的PR。他们会说，做完了，我保证。
-
你会想，你才不想审那个呢。
-
但如果你反过来交给别人，你知道，一个很好的堆叠，就是那种拆分得很合理、你能非常容易理解的，嘿，这里正好就是这个改动是什么，这个diff是什么。
-
然后我在这里做了一个重大的架构假设，这是我为什么做这个改动。
-
而且你可以去优化，不只是为了把活干完，而是为了让你的审阅者容易理解你做的决定。
-
这显然在软件工程里非常成立，而且我觉得在大多数职业里其实都成立，尤其是在会计里，这个我们可以再深入聊聊。
-
所以对我来说，我觉得这就是自主的含义。
-
所以我觉得，对听这期节目的人来说，比较有意思也有帮助的是，花几分钟聊聊，我想，智能体的历史。
-
就像我们过去两三年都听过太多不同的东西、太多不同的术语，有些项目成了，有些项目没成。
-
所以我觉得有帮助的是，稍微往回倒一倒，就一点点，在AI里可能感觉像是史前，
-
但实际上也就是大概三年前、四年前，所以也许从2022年讲起，就是ReAct框架，不是软件工程那个，而是推理与行动，我相信那是2022年的一篇论文，从根本上说，智能体就是推理和行动的结合，这个你刚才也提到了
-
回到那个根本问题，这基本上还是现在正在发生的事吗？
-
我是说，当然上面叠加了极其复杂的机制，但智能体的基本理论还是那个吧，我觉得在现代大语言模型的范式里，是的，
-
差不多，或多或少是这个意思，我会说其实本质是一样的，但它往外延伸得更远，我不太记得当年那篇论文里有没有提到，就是需要用你的推理来调节你自己的状态。
-
我在公司里给第一次了解智能体的人——甚至不只是技术人员，其实是公司里任何人——总爱打的那个比方，就是电影《记忆碎片》。
-
我觉得《记忆碎片》，没看过的人说一下，那部电影里有个男的患有短期记忆丧失，每天醒来，他知道自己是谁，知道自己是个人类。
-
他知道一些基本的东西，但他不知道过去几年发生了什么，他完全不知道。
-
而他要朝着某个目标推进，可能是买日用品，可能是复仇，不管是什么，他实际上得给自己写下来。
-
然后第二天醒来，他读自己的笔记，基本上就是这样一点点积累起来，他就是这么积累知识的。
-
顺便说一句，这是克里斯托弗·诺兰早期的电影。
-
现在大家都痴迷《奥德赛》的时候，这算是他早期的作品之一。
-
是的，我还是觉得《致命魔术》是诺兰最好的电影，不过是的。
-
总之，我觉得这就是你说的那个点。
-
它确实关乎推理，但我觉得——我不认为论文里谈到了——就是，推理一方面是关于完成某个任务该走哪条路，比如这个税我是这么报还是那么报，这肯定有。
-
但另一方面还有推理，就是我怎么确保我下一步推理能拿到它需要的东西，好正确地跟世界交互，这在短周期里很容易，因为你还在上下文窗口内。
-
但一旦你开始进入更长的周期，超出了上下文窗口，或者遇到上下文腐化，你就得靠推理去硬生生地把你的环境搭建出来，不管是靠子智能体还是上下文压缩，这个我们可以再聊。
-
但我觉得，推理正是在这里变得极其重要。好，太好了。
-
那么2022年之后的下一步，大概就是2023年的BabyAGI了。
-
当时大家都觉得这是巨大的进步，但它算是失败了。
-
我是说，那是个很漂亮的实验，但实践中没太走通。
-
那这是为什么呢？
-
我猜当时大家聊得很多的是误差累积，就是说如果你有很多很多步骤，智能体一旦开始跑偏，误差就会不断累积放大。
-
从你的角度看，当时是这个原因吗？
-
对，我记得那时候，如果我没记错的话，当时大概是GPT-4 Turbo吧。首先，那时候的模型，如果是Turbo之前的，上下文窗口都非常小。所以你要想保持连贯，上下文里至少得有足够的信息，
-
才能组织起你自己的环境，而它们没有这个条件。而且就算后来上下文窗口变大了，我觉得到BabyAGI出来的时候，模型其实也不擅长在超过大概两万个token之后还保持注意力。
-
它们就是不够聪明。可能直到Opus 3，它们才开始能在十万token的规模上变聪明。所以那时候的BabyAGI
-
没有这个能力。然后显然，我后面还会多讲讲，它们就是不是好的推理者。所以如果你不是好的推理者，就会有很多累积误差，因为你会犯一个错，这个错在你
-
逐token生成的过程中出现，然后突然就不断累积，而你根本没有办法具备自我意识去真正有效地自我修复。所以那时候的重大突破就是推理模型。
-
对，我想想，要说那些“我的天”的时刻——不好意思说脏话了——但确实，那些让我们，至少让我个人觉得“我的天”的重大时刻，
-
大概就是，或者说真正算得上范式转变的时刻，其实并不多。
-
我觉得是Opus 3，我觉得它被低估了，但我认为它是第一个真正能在长上下文下真正理解的模型。
-
以前你要是往GPT-4 Turbo里塞八万个token的东西，它根本理解不了。
-
Opus 3是真的理解了，这非常了不起。我觉得就是它。
-
然后显然就是O1，大家都在谈这个。
-
再之后我觉得是O3，因为我觉得O3证明了，你不仅可以在推理时扩展推理的量，而且通过更好的训练、更多的算力、更好的数据等等，在后训练阶段，你可以让推理质量更高、更高效、就是更好。
-
所以它在推理时每多推理一个token，质量都更高，而这一点在O1出来的时候并不明显。
-
所以我觉得，对我来说那些就是重大的突破。
-
这些模型实际上是在循环中作为智能体训练的，有一条推理链，它们尝试、回溯、再尝试别的，这是不是它们对智能体效果更好的根本原因？我觉得有几个原因。
-
我觉得是因为模型能够调节它在流程中任何特定步骤上投入的算力，所以在任何一条轨迹里，有很多决策非常难，有些又非常简单。
-
而要让一个巨大的参数模型在每个推理步骤都动用全部算力，那根本不现实，服务成本也太高。
-
所以推理能力让你能够调节这个投入。
-
而且我觉得，就像你指出的，这可能是它的一种涌现行为：如果你是一个很强的推理者，能大幅调高推理投入，那你实际去看简单步骤和困难步骤的算力消耗，现代推理模型在这两者上的差别是很大的。
-
你会变得更擅长自我修复，因为你会停下来思考每一件事，更多地用这种思考，而不是全凭本能去做，而如果只是逐 token 生成，那就是全凭本能。
-
你在 X 上的帖子里提到 OpenAI 在 2023 年做的一件事，他们发表了一篇叫 Let's Verify Step-by-Step 的论文，里面让人类标注了大约 80 万个推理步骤。
-
那当时是怎么回事，目标是什么？
-
对，那篇论文出来了，我记得，大概在，我不记得确切的时间线了，但基本上当时有很多传言，大家还记得那篇 The Information 的文章吗，就是说，哦，草莓，它解决了数学题之类的。
-
所以我觉得甚至在这些传言出来之前，文献里就有一些迹象，也可能是在那之后，我其实记不清了。
-
但那些数学题，或者说这类可以被验证的问题，也许是个好办法，用来训练模型在各类任务上做得更好。
-
我觉得这纯粹是猜测，因为我不在那些实验室里，但当时确实有这个问题，而且在机器学习的历史上一直存在：你是只根据它有没有做对题来给奖励，还是根据它有没有像一个好的数学家那样去解题来给奖励。
-
有意思的是，在那篇论文里，他们展示了，如果你根据过程而不是仅仅根据结果来给奖励，在那个样本范围内你确实能得到更好的结果。
-
但这显然很贵，因为那需要数学家去给解题方法打分，对吧？
-
而如果你往后看一点，看 DeepSeek R1 那篇论文，他们基本上把当时我认为所有实验室都在做的事写了出来，至少 OpenAI 在做的，就是 RLVR，也就是从可验证奖励中进行强化学习来训练推理，
-
那基本上几乎没有过程监督，而只是说，嘿，你结果做对了吗？对了。
-
好，那我奖励你。
-
然后把它规模化，这显然效果很好。
-
在智能体最近的演进里，我记得应该是去年，有一张现在很有名的 METR 图表，显示长时程智能体的能力大约每七个月翻一倍。
-
你在 2026 年还观察到这个趋势吗？是的，绝对。
-
我是说，我觉得 METR 那张图现在有点不太准了，因为太难衡量了。
-
是啊，而且那个门槛也挺低的，对吧？
-
门槛确实挺低的，对，门槛挺低的。
-
而且我觉得，我对他们的数据集不是很熟，但据我了解，样本量偏小。
-
所以那个指标的具体细节我不太清楚，但我觉得，从感觉上来说，绝对是这样的，模型靠着变得更聪明，开始能保持更长时间的连贯性了，但现在它们也在专门针对这一点接受训练，对吧？
-
也就是说，它们在学怎么对自己有一个好的心智理论，你懂吧？
-
因为如果你要把任务外包给子智能体，你就需要这个能力，对吧？
-
或者如果你要给自己写笔记，回到《记忆碎片》那个类比，对吧？
-
就是，你得想到，嘿，我明天醒来会去读这些笔记。
-
我用什么信息密度最高的方式把这条笔记写下来，才能让未来的我看懂？
-
这就需要某种心智理论。
-
所以，随着这些模型越来越多地针对实际怎么去做这类工作进行训练，而这类工作是非常非常不人类的，人类其实不用这么做，因为我们这方面本来就很强，所以我们不用给自己写东西，我们的大脑会替我们做这件事。
-
你开始看到它走得更远了。
-
我觉得我们其实还处在相当早期的阶段，如果你看看一些进展的话，比如 Fable 5 和 5.6 Sol 之类的。很好。
-
为了把你刚提到的再深入聊一点，我觉得要谈 2026 年智能体的大背景，聊自主智能体的演进，就不能不谈可验证奖励。
-
那给我们讲讲它是什么，它在整个图景里处于什么位置，然后也许再讲讲为什么编程是第一个成功的自主智能体用例，以及这跟可验证奖励有什么关系。这挺有意思的。
-
我觉得大家对这个有点理解偏了，我这么说带点推测成分，因为我并不确切知道，但编程，是的，它是可验证的，意思是我能知道代码过没过。
-
所以我可以拿这个来训练，比如你问题做对了没有、做错了没有等等，这很有用。
-
但模型擅长编程，一部分是这个原因，但其实是，第一，编程在运行时是可验证的。
-
我觉得这一点非常重要，因为归根结底，智能体需要拿到关于自己表现如何的信号。
-
所以想象一下，如果你是个工程师，你写了代码，却永远没法运行它。
-
就算你是世界上最好的工程师，你迟早也会有个语法错误，某个地方会出错。
-
所以我觉得，编程在运行时这么容易验证，或者至少其中一部分在运行时是可验证的，这对它能走到今天显然非常有价值。而且这么做成本很低。
-
在环境里做起来很容易，而且超级贴合技术栈。
-
所以它在哪儿都能用，比如在你自己的电脑上，直接就能跑。
-
所以我觉得编程的这些特点，其实正是智能体在这方面越来越强的很多原因。
-
我觉得还有一点，你想想一年前、一年半前智能体写代码的水平，它们能去实现你告诉它的东西。
-
但它们没有那种品味，没有那种判断，就是说什么才算好软件？
-
因为就算你用可验证奖励来训练它们，比如“这个单元测试过了没有？”
-
你可以通过世界上所有的测试。
-
但这不代表你把应用搭对了，不代表你的数据库建得好，也不代表你把文件拆分得合理，对吧？
-
说到底，编程是主观的，它是一门艺术。
-
而艺术是没法靠可验证奖励来解决的。
-
所以我其实觉得这里面很大一部分，是训练数据的量和质量，各家实验室在编程方面显然已经做得相当好了。
-
他们花了很大力气确保数据质量很高，所以他们是在高质量代码上训练的。我觉得这是另一部分。
-
只不过可能因为实验室里显然全是工程师，这事更受重视，而且显然也是他们战略的一部分。
-
所以他们更上心，确保预训练和后训练的数据集里都有大量高质量代码。
-
这就是为什么智能体不光擅长写代码，现在也开始真正擅长做工程了。所以我觉得是这些因素加在一起。
-
我觉得可验证奖励也许只是个开头，让这些事情能发生。
-
但我觉得其他那些东西同样重要，甚至更重要。
-
太好了，这就带到了我们论点的核心，也就是你在编程之外某个领域的工作。
-
就是构建长周期、自主的智能体，为所谓的真实世界，或者说编程之外的领域。我就用这个说法。好。
-
那么，智能体为什么会吃力？
-
你提到了三个原因，也许你先说说这些原因是什么，然后我们一个一个来谈。
-
是啊，我觉得智能体吃力的原因有很多。
-
我觉得，第一，它们之所以吃力，是因为它们未必知道什么才算好。
-
我觉得它们吃力，是因为在运行时自我验证可能并不容易，就像我们聊编程时说的那样。
-
我觉得还有一点，这也许不算智能体本身的困难，也许更像是用户体验层面的问题，那就是在编程这件事上，工程师本来就深陷其中。
-
所以这里就有一种差别：如果你跑一个长周期的编程智能体，而工程师并没有真的在做工程、没有深入到代码细节里，而是被抽象到更高的层面，那你对质量的要求、你做决策的方式，
-
可能就需要比编程更高的标准。
-
写代码的人能接受更低的标准，这一直都是这样。
-
所以我觉得这些因素加在一起，就造成了现在这个局面。
-
而且即便是现在做编程，这些智能体也还没达到人类水平，没法在长时间里保持连贯。
-
这很明显，因为它们没法像初级工程师那样，在一个项目上连续写两周的代码。
-
所以哪怕从一开始，这就已经不如人类了。
-
那我们就来说说可验证奖励这部分，以及写这些系统的人未必对什么才算好有直觉这一点。
-
那你们是怎么解决这个问题的？
-
对于报税来说，通过测试意味着什么？它和代码不一样，不需要……好消息是，有些东西是可以编译的，不是全部，但你显然可以测试。
-
要么你被起诉，要么你没被起诉。
-
是啊，我觉得这个问题的答案就是，去看人类是怎么做的。
-
会计有一个很好的地方，其他一些职业也是如此，那就是会计是一个你真的会努力做到、而且必须做到正确的职业。
-
正因为如此，而且这里面涉及大量的判断和流程，我们有一句话，我在设计层面也说过一点，就是人类早就习惯了和非确定性系统打交道。
-
只不过那些系统通常是他们的同事，而不是他们的电脑。
-
而且在很多方面，公司和流程的本质就是：你如何为一个非确定性的实体设计一套系统，也就是……
-
就像人类一样，互相协作来解决一个问题。
-
一旦你意识到这一点，就会发现，这其实就有点像智能体的设计了。
-
所以我觉得，如果你要思考什么是好的智能体设计、什么可以被验证，你就应该去看看人类是怎么组织起来的。
-
而如果你看看人类是怎么做税务申报的，就会发现里面有一步步的验证环节。
-
有独立复核。
-
有些东西是可以确定性地验证的。
-
所以你可以说，嘿，试算平衡表加起来当然得是零吧。
-
这算是一个非常明显的检查。
-
比如，Excel 里有没有错误，这也是显而易见的事。
-
这类事情很多，要么太依赖人、要么太显而易见，但你必须确保它们被正确地编码进去。
-
还有些事情也许没法确定性地验证，但会计一眼看过去就知道不对，比如，哦，你把这个 Excel 里的这个工作表删了，或者你没引用这个东西，诸如此类。
-
所以你可以开始从这些没法确定性验证的东西里，有效地构建出验证器。
-
但如果一个会计来看，那会是一目了然的。
-
于是你就可以开始考虑用评判模型或者其他形式的验证，既用在你的评估里，也用在运行时。所以这是一点。
-
我记得你在 X 上的那条帖子里提到过，存在数据稀缺的问题。
-
你能不能展开讲讲？
-
打个比方说，假设你不光有合成数据，还有全国每一份真实的税务申报表——当然出于隐私原因你其实做不到，但假设你有，你也没有。
-
然后你就想，好吧，让我用这个来获取数据，不是用来训练，而是用来验证智能体做得怎么样。
-
这个量级跟合成地搭建数学题、然后生成个几十万、上百万道相比，是很小的。
-
所以就算你拥有世界上所有的数据，你也没法把它规模化。
-
所以你得考虑怎么合成生成这些数据。
-
而如果你去想怎么合成生成，那真的很难。
-
因为你不只是在合成生成文本，你是在合成生成必须真实且多样的产物。
-
于是你就又碰到那些老问题了，比如数据、数据多样性，还有你需要的各种东西。
-
我毫不怀疑这个问题迟早会被解决。
-
但今天它还没被解决。
-
所以从数据生成的角度来说可能做到的事，和模型本身具备的能力之间，就存在这么一种差距，这大概就是我们在那个讨论串里聊到的那些东西的总和。
-
那你怎么看反馈回路的长度？
-
对，这就是另一回事了，长度可能非常长，取决于你在做什么。
-
填一份1065表，一个人光实际干活就很容易要花20多个小时。
-
我不是说他们花了一天。
-
我是说实打实坐下来干活的时间，而且对于非常复杂的申报表，可能还要长得多。
-
所以就算你拥有世界上所有的数据——而你不可能拥有——你也根本没办法拥有所需的反馈回路，去做你想做的任何改进循环，把智能体训练得真正出色。
-
再说得具体一点，编制一份税务申报表会涉及多少个步骤？
-
对，给你个概念吧，比如说，你很容易就会有500份、1000份文件。
-
你得考虑怎么把这些文件相互对照，弄清楚哪些是重要的。
-
你可能得针对不同的文件做大量不同的查证。
-
你可能得考虑它们整体是什么意思，你得把它们全部汇总成——至少在今天——某种类型的工作簿，也就是那种大型的Excel表格。
-
要做的事情非常多。
-
所以你说的步骤，如果是指推理步骤的话，那轻松就是几千步。
-
而且这取决于你怎么搭建系统，如果你开始为不同的任务分出一堆子智能体——这差不多是必须做的——那你可能还会把步数进一步推高。
-
而这还没算上其他测试时计算的方法。
-
比如说，你可以这么做：想象有一个税务问题你必须解决，而且它难到离谱，你知道，只有专家才能解决这个具体的税务问题。
-
也许在这种情况下，与其让智能体自己去做、再派生一个子智能体，你可以派生五个，让它们投票。
-
所以还有很多别的办法，可以往问题上砸更多算力。
-
所以根据你在做什么，步数最后会变得相当大。好，很好。
-
那我复述一下：你面对的是非常复杂的流程，包含非常非常多的步骤。
-
你并没有很多数据来判断哪里做对了、哪里做错了。
-
甚至有时候连什么是对、什么是错都不总是清楚，虽然至少对我们问题中的某些部分，你可以明确判断这是对还是错，但并非总是如此。
-
所以这是一个非常复杂的问题，这就引出了你们是怎么应对它的。
-
特别是，有这么一个理念：你不能只依赖结果，而需要依赖过程。
-
那么，只依赖结果到底有什么问题？
-
是啊，依赖结果的问题在于，如果你有一条几千步的轨迹，甚至说实话哪怕只有一小时的轨迹，你会有评估标准来定义什么算好，而它可能完全是可变的，比如数字对不对得上，也可能有一部分是用语言模型当裁判，
-
比如有某种评分细则之类的。
-
假设你有100个评估，很好，全都通过了，看起来不错。
-
你就有信心这能推广到真实世界、推广到生产环境吗？
-
而我们的答案是不能。你实际上没法对此有信心。
-
所以你不应该只依赖这个。
-
这就好比，如果一个工程师跑来跟你说，嘿，你知道，我所有的测试都通过了，端到端测试、单元测试等等，那这是否意味着他把数据库架构设计好了？
-
不一定。这其实并不能告诉你这一点。
-
有很多方法可以在没有正确完成流程的情况下，通过所谓的结果。
-
所以我们发现，尤其是回到我之前把人类组织做类比的那一点，人类做事的方式里有很多值得学习的东西。
-
所以我认为，把这些经验丢掉，说，你知道，苦涩的教训，把这些经验都丢掉，我们就让智能体在运行时开发出一套全新的报税方式，因为苦涩的教训，诸如此类，这是个错误，
-
这套方式会比人类几百年来积累的关于正确流程的经验更好。
-
也许有一天这会成真。
-
我不是说它永远不会成真，而且我确实认为这是可能的，回到我们之前谈到的数据瓶颈。
-
我认为如果你在一个基于结果的过程里投入足够多的数据和足够多的算力，你最终能达到那一步，但不会很快。
-
所以如果你不会很快达到那一步，而模型又有这种潜在的能力，那你真正需要做的是想一想，让我们借鉴人类做事的方式，借鉴好的流程是什么样的。
-
你不能完全照搬，因为在好的智能体设计上，你有很多东西要想。
-
今天开箱即用的模型并不是在长时程上保持连贯性方面特别出色。
-
在行为方面确实有很多工作要做，这是肯定的。
-
而你可以改为设置某些评估，或者将来可能是某种奖励函数，来看它是否正确地遵循了流程。
-
也许我提到的那个帖子里的例子，我给听众说一下，就是想象你在做一件像税务研究这样基础的事。
-
如果你问某个税务问题，智能体肯定能答对。
-
它可能从预训练知识里就知道，也可能读某个博客就答对了，但真正的会计师不会信任这个。
-
他们会要求你引用原始来源。
-
所以即使你一百次里一百次都答对了，如果一个人只是因为去查维基百科才答对，会计师也不会雇他。所以他们也不应该雇我们。
-
所以我们认为非常重要的一点是，不，实际上，我们的智能体不是从预训练知识里学习，也不是从博客里读来的。
-
它们会去查实际的法规，用原始来源核实信息，这也正是你理想中希望一个真正的税务会计师做的事。
-
所以你们创造了行为规范这个概念。
-
那给我们讲讲那到底是什么。
-
具体来说，它是一个 markdown 文件吗？长什么样？
-
对，所以最初的想法，其实是我的联合创始人 Matt 提出来的。
-
真的就是大概两年前，我们当时在聊 Auto AGI。
-
那时候我们甚至还没有今天你想象中的那种完全自主的智能体，它们的选择是受限的，但即便在那时候，你还是会想，好，在这个岔路口，你希望它做出什么样的选择？
-
所以 Matt，我们当时内部其实管它叫元行为，因为想法是，你是在定义一个行为，但它是在元层面上，因为智能体在所有不同的轨迹里会有各种各样的行为。
-
所以这个想法是，与其直接去写提示词，你得先就元行为达成一致。
-
所以这其实就是这个概念最初的用途。
-
我发誓，真的就是两年前。
-
后来随着时间推移，它慢慢演变了。
-
最后我们就叫它行为了，因为这样简单一点。
-
想法就是，你有一个 markdown 文件，在里面写下你希望智能体怎么表现，就这么简单。
-
它的粒度可以不一样。
-
比如说，你有个非常具体的要求，比如你得去看原始来源。也许你想更具体一点。
-
也许你说，不，你应该总是专门去看 IRS 的网站。
-
或者另一个例子，想象你在做 PowerPoint。
-
一个行为就是，在你交付 PowerPoint 之前，你应该把它渲染成图片，这样你就能知道有没有格式问题。
-
然后你把这个写进一个 markdown 文件里。
-
理想情况下，这个 markdown 文件是自包含的。
-
这样人一眼就能看，嗯，对，这就是我们想要的行为，部分原因是行为本身其实是主观的练习。这个我们可以再聊。
-
这其实既是产品层面的事，也是智能层面的事，两者同等重要。
-
然后这个东西是评审可以看的，评审可以看一条轨迹，然后说，嘿，这个 agent 有没有表现出这个行为？
-
或者说，需要它表现出这个行为的条件有没有出现？
-
如果出现了，它到底有没有真的表现出那个行为？
-
然后你就可以据此打分。
-
那么这些 markdown 文件是谁写的，或者说谁来监督写这些文件的过程？是人类吗？好。
-
那些人是会计师吗？这是个好问题。
-
这要看情况。
-
我觉得这是会计师和 ML 研究员在应用层面的一种合力，因为你不是简单地说，比如，嘿，行为就是你应该去那个网站。
-
你可能是在说，嘿，行为是，对于这类研究，你应该开一个带完整历史的子 agent，因为你需要把那个上下文积累起来。
-
这里面涉及很多 agent 的机制，所以你会遇到这样一种情况：对人类来说好的流程是什么样的，但然后你需要把它翻译成 agent 的语言，再做决定，这里面有个结合点，你同时还要考虑 agent 的机制是什么样的，
-
所以我会说这是会计师和 ML 研究员的双重努力。
-
我们其实有一整个团队，叫会计产品运营，里面都是会计师，他们做的事情本质上就是和研究团队紧密合作，来搭建评分标准，既有基于结果的评分标准，也有行为方面的。
-
那你怎么权衡精确性和确保系统不出问题这两者呢？
-
你提到了 GoCheck，那个 IRS 网站。
-
有没有可能到了某个时候，其实你应该做的是，你知道，你的第一条是去 IRS 网站，但两年之后信息的存放位置会变？不，这是个非常好的点，
-
这正是为什么这些行为其实并不会展示给 agent。所以行为可以写着，嘿，应该去 IRS 网站，但这并不意味着 agent 被告知要去 IRS 网站，对吧？
-
可能告诉它，也可能不告诉，这要看情况。但重点是，我的思考方式是，作为 agent 的构建者，你知道，作为系统工程师，你在做决定：你想把这个情境规定得多具体。
-
显然，你更希望不那么具体，对吧？
-
我觉得擅长构建 agent 的人都知道，在边缘情况下，更好的做法是给出原则、给出原因、给出更多上下文，然后让它们自己去想明白。
-
所以对于行为，你其实不想把所有可能发生的事都定义出来，而是直接说，不不不。我们知道，比如说你在做 PowerPoint，在交给用户之前先截个图，就能发现问题。
-
这一点我们是确定的，对吧？
-
所以，作为 agent 工程师，我们要表明立场：在 agent 要做的所有事情里，这一件是我要给你打分的。
-
然后也许在这个地方你会规定得更具体一些。
-
如果你愿意，可以更具体，比如用这个确切的工具，但理想情况下你不必这么做。
-
这取决于你的系统是怎么搭的。
-
所以我觉得，你规定得多具体，可能取决于你想推动的那个具体结果，以及这个结果在多大程度上能推广到普遍情况。
-
如果你在做 PowerPoint，那当然截个图会让它更好。
-
但假设你的 agent 其实是个超快的 agent，那截图就要花时间。
-
所以对一个超快的 agent，你可能不希望它去截 PowerPoint 的图，因为这样一来，本来 30 秒的事就变成一分钟了。
-
但如果你的 agent 是个要跑 20 分钟的 ASIC agent，那从 20 分钟变成 20 分 30 秒，那就每次都做。
-
所以这就回到我说的产品层面的那一点：这不只是智能的问题。
-
这是一个主观的选择，关乎你希望 agent 在生产环境中整体上怎么表现。
-
我觉得这正是它对产品构建如此关键的原因。
-
我们几分钟前聊到过 2023 年 OpenAI 那个需要 80 万条人工标注的项目。
-
你们在 2026 年做的事跟它有什么不同？嗯，好问题。
-
至少在今天，我们并没有在主动奖励底层模型。
-
所以我们现在并没有通过在这个流程上给奖励来后训练自己的模型。
-
我确实觉得那是一个非常有意思的研究方向，我们可以之后再聊，但那不是我们现在正在积极做的事。
-
这其实是我们另外在单独研究的东西，但那更多是面向未来。
-
所以，如果你稍微退一步看，把构建智能体和上下文工程类比成直接训练一个模型，其实是很有帮助的。
-
我觉得人们谈到上下文的时候，你知道，大家会说提示词、上下文。
-
我觉得人们通常的心智模型是，哦，我写了点英文风格的指令让模型去做。
-
我觉得这是个错误的心智框架。
-
我喜欢的框架是把它当成训练数据来看。
-
只不过你是在运行时训练模型。它就是训练数据。
-
而且因为模型是在推理时学习的，训练数据的总量要低得多，对吧？
-
比如你系统里的上下文，智能体在整个轨迹中会逐步学习或发现的那部分，显然比你去后训练一个模型所用的数据量要低好几个数量级。
-
所以你做的事，本质上就是拿这些数据，努力确保它质量最高，好让智能体表现出你想要的行为。
-
当然，数据只是其中一部分。
-
还有执行框架，有哪些工具、有哪些能力、环境是什么样的，这一大堆东西。
-
当然还有你用的是什么模型，诸如此类。
-
所以这里的不同之处在于，我们拿这个信号去改进整个智能体系统，这所需的数据规模，比我们试图拿这个信号以强化学习的方式更直接地奖励给底层模型要小得多。
-
你几分钟前提到了一个评判器，也许可以带我们讲讲你是怎么训练这个评判器去做它该做的事，或者你是怎么指示评判器去做的？
-
我猜还有个显而易见的问题，就是谁来评判评判器。
-
对，对，我觉得确实是这样。
-
不只是行为评估，还有一般意义上的基于结果的评估。这是个很好的问题。
-
我希望我们有更多时间深入聊这个。
-
现实是，我们就是没有时间和资源去投入巨大精力，你知道，把每个评判器都做到完美。
-
但我可以给你讲个大概。
-
一般来说，你要做的就是培养一种直觉，判断这个评判器的品味对不对。
-
我确实觉得，评判器以及评判器品味这块，是一个很有意思的、值得做后训练研究的潜在方向。
-
现在，你得把评判器设置好，让它拥有做决策所需的信息，有合适的框架去做这件事，还得有数据和心态去完成它。
-
那我给你举个例子，用一些你能想象到的相当复杂的行为来说明。
-
所以至少目前来说，行为评判是相对昂贵的，因为它是个相当高级的评判器，它本身也是个智能体。
-
它不是传统意义上的评判器，它实际上就是个智能体，因为它必须去看整条轨迹。所以它挺贵的。
-
你可以想象未来，你知道，我觉得像 Brain Trust 这些公司已经开始在考虑这件事了，就是，
-
怎么才能更好地给轨迹打标签，这样你也许就能更轻松地过滤轨迹，只把可能相关的部分交给评判器，而不是让它在某种程度上看整条轨迹。
-
但如果你有一条轨迹，尤其是长周期的、可能包含很多子智能体的轨迹，你作为评判器就得想，我该从这条轨迹的哪里入手？我怎么理解它？
-
你大概会想要在某种形式上有它的一张地图。
-
我到底在评判谁？想象你有一个子智能体系统，深度有，你知道，七层，你可能真的有七层子智能体，那我评判的是根节点有没有表现正确，还是评判其中某一个？
-
这些其他的智能体，所以你得真正地好好写提示词，可能还要调优评判器，让它能很好地理解该去哪里评判，理解行为本身，比如条件是什么，以及理解怎么去，你知道，判断这个行为有没有发生，有没有什么？
-
这种方法有没有什么权衡取舍？
-
我想到的是，是的，有一个经过人工验证的流程，能保证、或者至少有助于确保一种严谨的方法，不太容易出错。
-
但与此同时，你也不会得到那种“第37步”式的结果，就是 AI 实际上会绕过这些、快进跳过那三步，做出好得多、高效得多的工作，
-
目前存在哪些持续的权衡取舍？这是个好问题。
-
嗯，我觉得首先，而且我想确保所有听众都清楚的一点是，把一个行为写下来是昂贵的，因为这意味着你现在要维护状态。你得让它保持最新。
-
如果你让模型或智能体表现出这个行为的方式是通过上下文，
-
那现在你就可能有重复的状态，取决于你怎么看这件事。
-
正因为有这种维护负担，你理想上会希望行为越少越好。
-
所以并不是说你去研究做质检需要哪些步骤，然后说，嘿，咱们把所有最佳实践都写下来，看看它有没有照做。
-
而是你挑出你认为最重要的那几个，它们对生产环境的泛化能力最强、影响最大，你只关心这些，而不是全部。
-
所以我觉得这是很重要的一点。
-
所以理想情况下，如果你做得对，理论上你还是给“第37手”留了空间，但我觉得这里还有另一层，就是：你到底在卖什么给人家？
-
如果你只是……就好比你要雇一个工程师，在你的岗位上、在公司里，你们有一套流程，流程大概是——我随便编一个——你画个简单的架构图，跟CTO聊一下，拿到批准，
-
然后你提一个PR，再把这个PR拆成10个更小的PR叠成一摞，然后合并进去，确保有你的意图测试，再部署。这就是流程。
-
想象一个工程师跑来找你，说，嘿，这是我1000行的PR。
-
我现在就要合并进生产环境。万一它比你想的还好呢？万一它是“第37手”呢？
-
它可能比CTO能想出来的还好，但这不代表它就是好的。
-
这里的“好”不是说CTO或者公司会对这个结果满意——仅仅因为它更好，对吧？因为归根结底，你做工作的原因不是因为某一个单独的工作单元有多惊艳，而是因为你能把它扩展到一家公司、一个系统，随便什么，
-
扩展到一个组织。所以，嗯，别人从我们这儿买的不是“这将会是有史以来最好的报税单”，他们买的是那份信心，知道它看起来是……对，最好看的那个，或者像，你知道，“第37手”把TB的数据挪到这边之类的，对吧？
-
他们买的是它会一致、可靠，是他们能信任的东西，是真正能……他们会，你知道，就像对待一个人一样，他们能学会越来越信任它，然后随着时间给它更多自主权，对吧？
-
我觉得那种信任和可靠性的水平，才是你部署到真实世界所需要的东西。
-
你不需要“第37手”。
-
你也许在，你知道，奥数比赛那种地方需要它，但在真实经济里干活不需要。对。
-
听你这么说，我觉得很有意思的众多事情之一是，你做这一切，其实并没有对底层模型怎么运作有真正的洞察。
-
跟我们所有人一样，你是靠猜、靠从模型产出的东西里推断它的行为、靠看工具调用来判断的。
-
这怎么行得通呢？
-
然后也许带我们走一遍，每次模型变化、或者下一代模型发布的时候，你是不是得用新模型的视角重新审视你一直在做的所有事情？
-
Zedge也许可以回到Opus 3、01、03，因为我确实觉得，做智能体的时候有一点非常重要，而围绕它做一家公司更是如此，那就是你不该那么意外。
-
你应该对世界有一个模型，而随着事物变化，你应该更新你的模型。
-
但要想成功，你知道，你不能一直不停地更新你的模型，你得在某种程度上是对的。
-
而且我确实觉得，如果你真正内化了关于这件事的一些概念，对吧，就是你现在有了这个，先别管内部机制，先别管这个NLM，你有了这个魔法盒子。
-
你有了这个魔法盒子，或者说这个外星人，我有时候喜欢这么叫它，你可以把海量数据送进这个外星人里，它就能在这个魔法盒子内部、在推理时进行推理和学习，然后给你返回输出，你知道，既然现在工具调用显然能用了之类的，
-
你就能把它接入系统的其余部分。
-
这基本上就是你需要知道的全部了。
-
我觉得一旦你真正领会了这意味着什么，然后把它推到逻辑的终点，很多东西就会自然而然地浮现出来，因为你开始明白，就像，好吧，我们等等。
-
比如，如果我有了这个能做成这件事的魔法盒子，那是不是意味着它可以决定去调用另一个魔法盒子？
-
那是不是意味着它有可能把多个这样的盒子串起来，一个接一个，对吧？
-
那是不是意味着它可以利用？
-
显然在那一刻它有一些，它是个魔法盒子，但它有一些状态。
-
我们知道这一点，它有一个激活状态。
-
缓存就是这么工作的。
-
所以存在某种激活状态，按定义，它必然会偏向当前这条轨迹。
-
所以也许为了审查，你想要一条不相关的轨迹，对吧？
-
就像一个新的盒子，它只是很聪明。
-
我觉得如果你建立起这类大语言模型直觉，再把它们和你知道的、也许是组织设计和管理的基本原理结合起来，我觉得你就开始接近也许算是智能体构建的前沿了。太迷人了。
-
实际当中，你怎么培养那种大语言模型直觉？
-
是靠一直读论文，还是跟研究人员交流，还是去感受最前沿在往哪儿走？
-
是啊，我觉得其实都不是。
-
我觉得关键在于……
-
我是说，我觉得刷推特什么的、了解一下是好的，但我其实觉得很多人在这上面过度看重了。
-
我觉得很多人会想，哦对，我看到这条推文了，我看到这个了，这是下一个很酷的东西。
-
我觉得问题在于，如果对事物怎么运作、什么是可能的没有根本性的理解，就很容易觉得东西在不停地变。
-
其实并没有，从03年以来，事情真的没怎么变过。
-
我得说，从03年以来几乎所有东西都相对是在趋势上，我不想说是在趋势上、然后我早就知道这个确切的趋势，但我会说，它们都在同一个范式里，从03年以来没有什么范式转移的变化。
-
我觉得理解和学习它们最好的办法，就是在自己的工作里大量使用它们，我觉得尤其是在编程里，然后试着去理解，一个好的心智模型是这样的：假设我试着让一个智能体帮我实现一个功能，但它没按我想要的方式做。
-
那，为什么？
-
真正的限制因素是什么？
-
这有点像埃隆那个著名的心态。
-
就是，好，你找到主要的限制因素，然后把它搞清楚。
-
我觉得如果你把类似的心态用到智能体上，去理解它为什么没法把这个自动化，是因为它其实不够聪明吗？
-
大概不是。它们挺聪明的。
-
它们已经聪明了挺长一段时间了。
-
所以一旦你把这种心态用到自己的工作里，我发现这对建立直觉相当有用，而且我确实在，你知道，我面试过的人身上看到这一点，很多智能体直觉最好的人，其实是的，很多人是ML背景出身，
-
但不是ML背景的人里，很多是那种特别擅长把自己的工作自动化的人，特别擅长思考这件事，特别擅长理解该建什么样的系统，
-
你知道，我大概一年半前在Data Driven做过一个关于本体论的演讲，我觉得有很多人会在自己的数据、自己的代码库里思考本体论。
-
而那些积极思考的人，不只是想我该怎么给模型写提示词，而是想我该怎么构建一个系统，他们就开始建立起非常好的直觉。
-
所以我们一定会在对话结束前聊到这个。
-
你通过BrandTrust、workers这个项目到底开源了什么，人们在哪里能找到它，它的起源是什么，你为什么专门和BrandTrust合作做这件事？
-
如果我们回到行为这个想法，对吧，这个想法是，你其实可以把它写下来、记录下来。
-
它到底是什么，它其实既是一份规范，也是一份评分标准。
-
我们把它叫做specs，有些人就问，这不就是评分标准吗？它确实是，两者都是。
-
而它之所以两者都是，是因为它不只是用来给智能体打分或者可能给它奖励，它也是用来让人类对齐的。
-
我觉得这一点被低估了，就是你想让智能体怎么表现，就像我们之前聊到的，其实是个主观问题。
-
所以在内部，你需要建立流程，让大家全都达成一致，嘿，这就是产品，对吧？你想让智能体怎么表现？
-
回到那个例子，你知道，就是快速PPT验证那个。
-
所以你需要一个标准，把这一点写下来。
-
而这个项目之所以出现，其实是因为我当时在和Brain Trust的CEO Ankur喝咖啡。
-
说实话我都忘了为什么，但我还是跟你说，我当时在跟他解释这个概念。
-
我当时在聊这个，是因为我们在内部就在做这件事，我觉得它非常酷。
-
他对此相当兴奋。
-
而且你知道，我在内部一直在想的一件事是，我们，我觉得我们做了很多非常前沿的工作，但这不是我们经常谈的东西，因为说实话，我们一直在工作。
-
对，就在我们开始录音之前，你还在给我看你和你的联合创始人Matt之间的一些内部Slack消息。
-
如果可以透露的话，比如Matt凌晨4点给你发Slack，而且——是提示词重构。
-
对，那是昨晚的事，所以我们录音的时候是周日晚上，你给我看了你早上6点是怎么回复那条Slack的。
-
所以是的，996在Basis的联合创始人之间充分上演。
-
是的，是的，是的。
-
我们是，没有996。
-
对Matt和我来说，是24-7。
-
对公司其他人来说，大家工作很努力，但绝对不是996。
-
所以我们想多聊聊这件事，分享一下我们在做什么。
-
我们也没有很多资源去大规模推给所有人。
-
所以我们聊着聊着，我就说，其实我觉得这对brain trust可能真的很有用。
-
说实话，对整个行业都是，因为如果有了一个标准，那就可以成为大家去定义的东西，还能自动被observability平台、监控平台吸收进去。
-
对那些可能没那么进阶的人来说，它也可以自带开箱即用的judge，或者提供定义方式，比如，这些是行为，你不用自己配置judge。
-
你可以直接让它帮你评判，然后看结果。所以他对此挺兴奋的。
-
所以合作就是这么来的。
-
所以这个开源仓库里就是这些内容。
-
里面有几个小例子。
-
有一个你可以直接用的示例judge。
-
还有实际写好的行为示例，你可以拿来用，然后在此基础上构建自己的。
-
我觉得思考怎么采用这个标准是有用的，但我觉得也许更重要的是，思考怎么采用这种心态——不要以为一个运行十小时的agent是个黑箱。它不是。
-
它有很多很多很多数据。
-
如果你不理解它是怎么开展工作的，那你可能是在亏待你的客户。
-
你希望人们拿这个开源项目做什么？
-
大概是贡献代码、为自己的目的去用？
-
它怎么才能成为行业标准？对，这是个好问题。我其实不知道。
-
我觉得最酷的应该是大家往里面贡献想法。
-
我觉得还有很多工作要做。我觉得这才刚刚开始。
-
我前面提到了几点，但还有很多事情要做：第一，怎么做出好的评判器；第二，怎么正确地标注和拆解轨迹，让评判器更容易理解？
-
因为按现在的成本水平，你没法在所有生产环境里都这么跑，比如说，因为你要对每一条轨迹都跑评判器。
-
但我觉得，在行为之上把那些工作搭建起来，还有很多可以做的。
-
另外我觉得，我们特意把标准做得相对灵活，类似技能那样，就是一份 markdown。
-
不是那种过度死板的要求，嘿，你必须得有这五个确切的词。
-
你可以写得很宽泛，也可以写得很具体，只要它还是自包含的，让评判器看到行为时能真正判断出，触发它展现的条件是否满足了？
-
如果满足了，那它到底展现了还是没展现？
-
只要有这一点，那里面就有很大的余地。
-
所以我觉得这就是我们想要的，你懂的，保持灵活。
-
那么，AI 构建者在构建自主的、长周期的智能体时，还应该考虑些什么？
-
我们聊了评判器，聊了行为。
-
你刚提到了本体，你在 Data-Driven 和 OEC 的演讲里也提到过，说它是智能体生活的世界。
-
这在这个图景里处于什么位置？对，它们超级重要。
-
很多人看到这项工作、听到、想到智能体的时候，脑子里总是想到编程智能体，因为那是所有人都有过的体验，至少听这个播客的人大概都是这样，大家经常想到编程智能体。
-
编程智能体很有意思，因为它们显然有一个随它们一起发布的运行框架。它们有特定的工具。
-
它们在上下文里编码了特定的行为，对吧？
-
顺便说一句，Codex 是开源的。
-
我强烈建议大家去看看那个开源仓库。
-
但它们控制不了自己运行时的训练数据，对吧？
-
因为它们运行时的训练数据，这就回到我前面的类比，也就是你的上下文，实际上就是它们正在处理的那个仓库。
-
所以同一个 Codex 智能体，可以说是同一个，在一个代码库上表现还行，换到另一个代码库上就表现特别出色，因为那个代码库有更好的运行时训练数据，对吧？
-
也就是说，它可能有很好的技能，或者很好的、关于怎么在这个代码库里操作的上下文，因为那里没有矛盾、没有混乱之类的。
-
所以，你代码库的本体结构，对工程师来说一直都很重要。
-
对真正优秀的智能体来说，随着时间推移，它的重要性只多不少。
-
而且我觉得，如果你考虑的是非编程类的智能体，这一点还要再升一个层级。
-
因为在编程里，运行时的训练数据不归你所有。
-
在非编程场景里，它就归你所有，对吧？
-
比如 Basis 智能体运行时看到的大部分数据，可以说是归 Basis 所有的，对吧？
-
这些训练数据我们必须确保它运转得非常好。
-
再说一遍，我说的训练数据，其实指的是实际上手写的上下文，对吧？
-
或者是属于你更广义的渐进式披露的一部分的东西，有些可能是手写的，有些可能不是，诸如此类。
-
而且因为智能体总是从零开始，所以把那个本体结构设计成对智能体来说很顺手的形式，对做出能长时间运行的东西来说超级关键。
-
这既包括那些可能是静态的数据，比如所有智能体都有的技能之类的，也包括一旦你进入真正长的周期，如果你说的是一个有状态的智能体，可能要运行几个月、几天到几个月，那突然之间你就有了一个本体结构，
-
回到《记忆碎片》那个例子，就是智能体留给自己的信息。
-
如果你只运行几个小时，那可能就几条笔记。
-
如果你运行几个月，那就是一堆文件夹了，对吧？
-
你会有那么多知识和上下文，描述着智能体的亲身经历，突然之间这个新智能体，说是新的，其实是带着被大幅压缩过的上下文启动的，它得把自己重新带回整个亲身经历的那种状态里。
-
所以，设计一个让它容易做到这一点的本体结构，再加上你编码进去的行为，确保它确实做得很好，这些差不多就是让它运转得非常好的关键。
-
设计一个本体结构到底是什么意思？
-
本体结构实际上是什么？它是一个图数据库，是一系列关系？
-
对，它可以是很多不同的东西，可以是不同的格式。
-
我觉得最简单的理解方式，老实说，就是一个文件系统，里面有一些结构，显然大多数人用的是虚拟文件系统。
-
所以你在那里有很大的灵活性，文件和文件夹还可以关联其他类型的元数据，对吧？
-
你可以有连接器、节点，如果你愿意的话还可以有图数据库，显然还有嵌入向量，有太多不同的数据来源可以用来丰富信息。
-
而且顺便说一句，现在模型越来越便宜，越来越多的事情其实可以直接用推理来做，而不需要用图或者嵌入这些东西。
-
如果Luna的成本是免费的，那你突然就可以把Luna跑遍整个本体结构，为智能体总结内容之类的。
-
所以这大概就是我会怎么去理解它。
-
也许还有一点，它不只是……
-
本体结构不只是指文件夹的结构。
-
传统意义上的本体，还包括语言，对吧？
-
有哪些对象和概念？
-
因为归根结底，如果你是在运行时被训练的，你就需要确保不会把概念混淆在一起，确保事情总体上说得通。
-
所以这就是我说的定义世界，对吧？
-
你是在定义智能体在探索周围这个世界时，可以预期看到什么。
-
你在某个地方提到过，给智能体的内部文档必须像代码库一样对待。
-
删掉一个关键段落，你就把智能体弄坏了，就像删掉一行代码一样。
-
那这些文档是在本体结构之外、智能体像查资料一样去搜索的吗？这一切是怎么运作的，最佳实践又是什么？对，这是个好问题。
-
先快速区分一下，我刚才讲本体结构和历史那部分，更多指的是Basis产品内部，就是那个生产产品里面的东西。
-
而说到智能体的内部使用，比如编程智能体，或者我们可能做的其他内部智能体。
-
那里就挺有意思的，因为取决于你怎么搭建的，你的环境可能不太受本体结构控制，因为就像你说的，在真实世界里你得去访问Linear、Gong、Pylon这些各种各样的东西。
-
所以我觉得，对内部智能体来说，一个关键点就是要非常清楚地理解什么内容是权威的、什么不是。
-
就好比我是一个刚加入公司的人，我可以去把所有的Gong录音都读一遍，但我们今天的销售策略到底是什么？
-
你要是去看两年前的Gong录音，能获得很多背景信息，但你不会知道现在的销售策略是什么。
-
一定得有一份权威的文档。
-
实际上，很多时候人就是靠跟别人聊天来学这些东西的，聊着聊着就懂了。
-
但换成智能体，这就很难做到。
-
更重要的是，如果你想要真正的组织智能，你就不希望一个智能体从这个人这里听到一套、从那个人那里听到另一套，也不希望它们各自有不同的书面记录，比如现在的销售话术是什么、我们怎么做演示文稿、我们怎么写邮件。
-
你需要一个权威来源。
-
所以我认为，对于真正AI原生的公司，尤其是未来，今天我觉得还相当早期，但尤其是未来，
-
清楚地理解公司的“正典”是什么，把它组织成一个合理的本体结构，并确保它像代码一样以某种形式保持更新，我觉得这最终会成为公司里人最重要的工作之一。
-
在Basis的团队里，你们招的岗位两年前根本不存在，比如语言架构师或者智能体经理。这些人是谁？他们做什么？
-
什么样的背景适合他们？对，我们需要很多这样的人。
-
所以如果你在听，想加入我们，拜托，请来找我。
-
好问题。我们自己也还在摸索。这不容易。
-
以下是我知道的。
-
我觉得这个最近可能有点流行了，但我觉得有一项技能真的很重要，就是好的系统思维。
-
好的系统思维从哪来？
-
来自那些不得不思考某种抽象、某个系统、某样东西，并把它设计成能在各种情况下都表现良好的人。
-
显然，如果你是个很厉害的工程师，工程本身就是系统思维。
-
不过我觉得，历史上大部分工程工作其实并不是真正基于系统思维的。
-
你知道，它更偏向执行一些。
-
但如果你想想最难的那部分工程，比如我要设计这个东西会是什么样子，或者我要建立正确的抽象，那其实非常依赖系统思维。
-
但它不是唯一这样的职业。
-
我觉得法律其实就有点像这样。
-
你知道，从很多方面来想，我觉得开国元勋们可能会是非常好的上下文工程师或者智能体管理者，因为你得写出一段英文，而这段英文会在运行时被律师、法官之类的人解读， literally 数百万次。
-
所以如果你在写一条法律——我不是说那种政客，而是如果你真的在努力写一条法律，努力写好，你是在想办法用英文写出某种东西，能在各种情境的范围内恰好在正确的层面上做抽象。
-
而且你得对司法系统有心理理论，去思考他们会怎么解读它。
-
这就像，你知道，挺有意思的，你在某些机场会看到，有时候他们会立这些牌子。
-
就像，你知道，别带枪，别带，你知道，别带刀，别带这个那个的。
-
就像，你可以列出30样东西，就像你说的，靠脆弱的规则。
-
所以同理，你可以列出50条脆弱的规则，或者你可以写出正确的抽象，以某种方式完美地覆盖它。
-
所以我觉得任何需要你以那种方式在抽象层面思考的事情，都是成为优秀系统工程师的好练习。
-
我觉得，你知道，那些不得不管理世界上最复杂Excel模型的人，说实话也差不太多。
-
所以我觉得有很多潜在的、潜在背景都适合。
-
我觉得你说话的时候我想到，你谈到你的部署智能团队，你说在一家公司部署智能体就像入职300个聪明绝顶的外星员工，他们没有任何上下文，所以才有了部署智能团队。
-
那这些人做什么呢？
-
他们还在吗，还是这个概念已经演变了？不不不，当然。
-
DI团队很棒。
-
我觉得到今天，我还得去谷歌一下。
-
但我们绝对是发明了“部署智能”这个词。
-
我知道，因为如果你去谷歌搜一下，我们就是第一个出来的公司。这名字挺酷的。
-
我不知道有没有别人也用了这个名字，我觉得它其实还没真正流行起来，但它的意思是，这其实不是FD，不是那种进来给你定制开发东西的工程师。
-
也不是现在有些公司里你能看到的那种所谓的agent PM，我就不点名了，就是那种，
-
你知道，这些所谓的PM，会进来用agent构建器帮你搭一个agent。其实这两种都不是。这个团队的人是那种对职业有深刻共情和理解的人，懂得要建立好的流程需要什么，
-
也懂得当突然可以开始把某些事情交给agent去做的时候，怎样才能成功，对吧？
-
所以DI团队的工作就是来和我们的会计师事务所合作，帮他们过渡到这个新时代，对吧？
-
我们给了他们魔法，但如果我们不教他们怎么用好这个魔法，不只是日常怎么用，还包括它如何改变事务所的本质，如何改变他们能接什么样的业务、招什么样的人、怎么扩张成为大家都想成为的那种未来事务所，
-
那就不行了。这就是DI团队和人紧密合作去做的事，因为让人家自己去学、自己去做，那不公平。
-
相反，他们带来很多关于自己事务所的知识，关于过去是怎么运作的，当然他们是人，我们可以把这些和我们的知识、以及如何部署agent结合起来，我觉得合在一起就能打造出一家真正真正前沿的会计师事务所。
-
说到前沿，也许在我们开始接近这次对话尾声的时候，我很想花点时间聊聊这个，你知道显然2026年的一大话题就是自我改进这个概念。
-
在Basis这里，在你的图景里，它处在什么位置？和自主agent一起。我记得你谈到过agent会对其他agent发展出心智理论。
-
所以从系统层面来讲，给我们描绘一下这个图景，自我改进是什么样子的？好。
-
其实我们内部，在那个帖子里我谈过我们的一些研究方向，我们的一个大研究方向就是怎么真正闭环，我们喜欢这么叫。
-
从“嘿，一个agent犯了个错，或者表现不好”之类的，到我们改进系统去解决这个问题。
-
我觉得这个闭环会来得相当快。
-
我觉得你会看到，我不知道整个闭环会不会完全闭合，但我觉得到年底会相当接近了。
-
我觉得，随着agent对自己、进而对其他agent的心智理论越来越好，会有两件事发生。
-
一个是，在运行时，它们更擅长编排子agent，也更擅长为自己调节自己的环境，但这也意味着它们在成为更好的上下文工程师，对吧？
-
它们在成为更好的harness工程师。
-
现在，它们在构建agent系统方面，比在构建大多数软件方面要差得远、远、远得多，差得远。
-
因为按定义来说，这类工作太新了，在它们的训练数据里没见过多少。
-
所以它们的直觉很差。
-
其实我觉得很多agent开发者犯的一大错误就是，他们有种奇怪的直觉，觉得上下文或者agent里的垃圾内容，好像比代码里的垃圾内容更能接受；你会看到有人为一个没抽象好的代码文件抓狂，可他们的上下文却是一团
-
糟，这特别好笑，因为上下文其实会影响运行时的表现。
-
而代码的组织方式，并不影响运行时的表现。
-
所以我觉得，很多工程师显然是因为长期养成的习惯，把代码看得比英文更金贵，可实际上英文才更金贵，因为英文影响表现，代码不影响表现，对吧？
-
只要逻辑一样，代码就不影响表现。
-
所以我觉得，随着agent变得更强，越来越擅长这类工程，也就是怎么搭建agent系统，你才会真正开始能闭环。
-
因为要闭环，对吧，你得把你拿到的信号用起来。而且你需要大量信号。
-
行为这块的其中一点，就是获取更多信号的一种方式。
-
而如果你只有基于结果的评估，你的信号就相当稀疏。
-
那你怎么才能把所有这些信号拿来，真正用来改进你的系统，对吧？
-
你把它扩散到整个系统里。
-
这可以由一个agent来做，去更新上下文、改变工具的性质、更新harness等等。而且我觉得要用一种可泛化的方式来做，不能过拟合。
-
你今天就能做，如果你就想让它对某个信号过拟合的话；但如果你想让它以可泛化的方式来做，agent还得再强一点，这方面还有些工作要做。
-
那模型层面的自我改进呢？
-
我记得你前面提到，你们目前还没怎么在模型本身上做强化学习。
-
你们做的、你们主要在做的，是harness方面的工作，如果我没理解错的话；但接下来是不是要押注在真正对行为遵循做强化学习上？对，这是个好问题。
-
我是这么想的：强化学习难的地方，在于确定你的奖励函数是什么，然后确定你要怎么把这个奖励分配到实际发生的事情上，对吧？
-
所以这就像是我们正在做的研究工作，因为行为正是信号的来源，对吧，你可以拿它来打造成奖励函数。
-
这跟其他一些生产监控的工作一样，也跟你搭建的那些evals一样，所以关键在于怎么构建好的信号，去做研究、去理解。这到底意味着什么？
-
尤其是在一个并非完全可验证的领域里。
-
这就是我们在做的工作，不管你是把这个信号拿去，让它通过权重扩散开来，你知道，通过正式的RL，还是通过harness扩散，通过随便你怎么叫的方式，比如非正式的RL，或者叫harness工程，
-
我觉得这跟信号的开发是另一个问题。
-
但我认为信号的开发才是真正难的部分。
-
而这正是我们真正专注的部分。
-
而且今天我们并不直接动权重。
-
我们不这么做的首要原因，是因为模型在自我编排方面取得的很多进步，带来的性能提升远远超过直接更新模型能带来的好处。
-
我觉得这可能会趋于平缓，我们走着瞧，但我认为这就是你目前还不去动权重的原因之一。
-
我也确实觉得那是一个非常有趣的研究方向，我们也会开始去探索。
-
所以对我们来说，在我们这个层面，在应用层这个层面，我们做的就是这类研究。
-
但我怀疑，模型要想真正在经济中做实际的工作，那是唯一能走通的路。
-
我不相信你训练一个模型，你知道，把预训练的算力规模扩大，把来自完全可验证奖励的后训练规模扩大，它就会突然输出一个能可靠地做报税工作的模型。
-
它也许能做得很好，但问题不在于它做得好不好，而在于质量、可靠性、可扩展性，这些是真正拿它干活的人会期望的。
-
不过你会担心你前面在这个对话里提到的beta lesson吧。
-
你觉得你们和其他人在最难的那个层面上做的所有这些出色的工作，最终会不会被模型吞掉？
-
哦，我觉得肯定会被吞掉。对，我不担心这个。
-
那绝对是未来。
-
其实，你看我那条推文串，作为这方面的暗示，我记得我说过，这些行为目前还不会展示给agent。
-
原因在于，如果你真的被beta lesson洗脑了，那么将来，整套试图做上下文工程的想法都会消失，你只需要说，嘿，我要这些行为，它就直接能用了。
-
所以我绝对认为它会被吞掉，毫无疑问。
-
我觉得被吞掉要花多久，我不太确定。
-
你知道，我觉得大概是五年以内。
-
我不觉得是两年以内，我觉得大概是五年以内。
-
所以对我们来说，你知道，我们处在超大规模模式，我们没法等beta lesson到来才去准确地完成报税，所以这就是为什么我认为那会是关键之一，你知道，是做成这件事的关键。
-
我确实觉得，我不知道。
-
这现在完全是猜测，但我确实怀疑，也许对这类工作做某种过程奖励，最终可能对优化实验室长期使用的算力相当重要。
-
因为我不知道你是不是想对经济里的每一个职业都做move 37。
-
我们已经有很多学习成果了，我的猜测是，没什么理由那么做。
-
那你觉得做自己的RL，算不算某种防止被模型能力吞掉的护城河？
-
当你思考未来的应用型AI公司时，它们是不是都会在某种程度上成为RL实验室？
-
总的来说，如果有人现在正想创业，我建议这样思考：技术护城河不是真正的护城河。
-
Basis长期终值里没有任何一部分来自我们发现的、别人没发现的什么秘密RL技巧，所以那不重要。
-
重要的是，现在我们显然非常擅长构建能在生产环境中可靠部署的长时程agent，而且会继续在这方面做到最好。
-
这让我们能赢得市场份额，并且深度嵌入。
-
这就是为什么我们跑得这么快，因为我们要做的工作就是去扩散，也许赶在AGI到来之前，不管你想怎么称呼它。
-
所以我认为，将来存在的大多数护城河都会是商业护城河。
-
在AGI时代是这样。
-
我认为在AGI之前时代也一直是这样。
-
我不觉得Salesforce能写出比我更好的SQL查询。
-
Salesforce的护城河跟他们的技术没什么关系，对吧？
-
它跟他们的商业地位有关，是他们掌握的那些权力，是他们拥有的那些工作流，是嵌入之后带来的种种东西，这些才是关键，而不是技术。
-
技术只是一种暂时的、打破格局的东西，让像我们这样三年半前显然还不存在的公司，突然之间就能做所有这些类型的工作。
-
不过我觉得，在很长一段时间里，也许就像你说的，它不会变成完全的大宗商品化，因为
-
就像你可以有一群天才人类，但这并不意味着所有天才人类在报税这件事上都是等价的，因为归根结底，有些你在意的东西是
-
主观的，而且我确实认为，把我们所做工作的能力建设起来，对我们来说真的非常重要，这样才能在可预见的未来交付真正高质量的东西。
-
好了，Mitch，这次聊得真是太精彩了。
-
最后，对AI开发者、对今天在做agent的人，除了你讲的所有这些该做和不该做的、经验教训之外，还有什么建议吗？想到什么都可以说。
-
我觉得最大的教训可能是：很容易看着这个世界、看着事情变化得这么快，就说，哦，这边一个东西，那边一个东西，就像推特上的多动症一样，太疯狂了，
-
中国的实验室每天都在发布新东西，然后就觉得自己无力去做第一性原理的决策。
-
但我其实认为，如果你把新世界看作一种底层的范式转变，就像云计算的转变那样，某种底层的范式转变，然后你试着去推演，好，有了这些东西，这意味着什么，如果
-
智能提升了X倍，或者如果没有提升，我觉得你会构建出连贯得多的系统，做出好得多的战略押注，无论是在技术层面还是商业层面。
-
所以事情在变，但并不是范式在变，至少没有变得那么剧烈。
-
所以我觉得真正理解这一点，对于能在这个世界里构建东西非常非常关键。
-
真是太精彩了。
-
非常感谢你分享这一切，我们很感激。当然，非常感谢你们邀请我。
-
嗨，我是Matt Turk。
-
感谢收听这一期Mad Podcast。
-
如果你喜欢，我们会非常感激你考虑订阅——如果还没订阅的话——或者在你观看或收听这期节目的平台上留下好评或评论。
-
这对我们打造播客、请到好嘉宾真的帮助很大。
-
谢谢，我们下期节目再见。