Goodfire 的 Eric Bigelow 谈关键 token、相变与上下文学习
点播放，字幕跟着声音走
Subtitles follow the audio
逐句文字稿
点任意一句，从那里开始听
正在加载字幕…
-
大家好，欢迎回到《认知革命》。
-
今天我的嘉宾是 Eric Bigelow，他是独角兽级的机制可解释性初创公司 Goodfire 的技术团队成员。
-
这期节目背后的故事很特别。
-
最近我跟 Apollo Research 的 Bronson Shane 聊过，他解释说，就算能访问模型内部的思维链，我们往往还是极难判断模型会决定怎么行动。
-
于是我让 Claude 去梳理文献，看看整个领域对这些关键决策 token 到底是怎么选出来的，已经理解到什么程度。
-
在那次梳理的过程中，有一个名字反复出现，那就是 Eric。
-
Eric 最近在哈佛大学心理学系读完了博士，论文题目是《走向大语言模型的认知科学》。
-
虽然他的一些学术同行一开始质疑他转向专注研究 大语言模型s，但如今连顶尖学术机构都愿意把 AI 当作某种心智来对待，这一点我觉得确实非常值得注意。
-
今天我们先来梳理 Eric 过去几年的研究，从他 2024 年那篇关于神经文本生成中分叉路径的论文开始。
-
在那篇论文里，他在模型思维链的每一个 token 上都做了大规模重采样实验，来找出那些会让最终答案的不确定性突然坍缩的关键 token。
-
跟 大语言模型s 打交道常常是这样：有些发现很符合直觉，有些则相当出人意料，有时候还很难解释。
-
有意思的是，Eric 说，一个系统真正做决定，与其说是模型本身做的，不如说是从模型最后的 token 分布里采样这个过程做的。
-
这也就是说，随机鹦鹉这个范式肯定该退休了，但随机性在模型行为里仍然扮演着重要角色。
-
Eric 把我们想理解的很多关于 大语言模型s 的问题，都放在上下文学习的框架里来看。
-
他强调，少样本提示只是其中一个很清楚的例子，说明运行时上下文能在多大程度上塑造模型行为。
-
他下的赌注是，这种灵活性意味着，改进后的外部框架和记忆系统会胜过针对单个用户的微调，因此我们的研究重点还是应该放在主要的基础模型上。
-
一路聊下来，我们也会讨论，为什么目前 70 到 80 亿参数似乎正好是可解释性研究的黄金区间。
-
以及为什么 KimiK3 让前沿级编程和奖励黑客行为的研究出现了一次阶跃式变化。
-
以及为什么至少就目前而言，前沿模型公司之外的可解释性研究，确实在实实在在地依赖中国的开放权重模型。
-
我们还会听到 Eric 对思维链为什么变得越来越怪的看法，包括他怎么理解思维链方言，以及 Astra 用来跟子智能体交流的那种奇怪语言。
-
另外，他还会分享使用 Goodfire 的 Silico 研究智能体的一些专业技巧，以及他希望未来 AI 产品界面能如何重新把模型的不确定性呈现给用户。
-
从这次对话，以及我最近围绕 AI 监控和控制的未来所做的其他对话来看，最核心的结论就是：思维链正变得越来越不可靠。
-
而且，因为这些问题似乎不仅跟强化学习训练相关，也跟原始预训练模型本身有关，所以这个趋势可能相当难逆转。
-
这反过来意味着，很多事情——包括我们理解智能体为什么采取某些行动的能力——可能都要依赖可解释性。
-
Eric 是这项研究的先驱，但你会听到，还有大量工作要做。
-
说到这里，希望你喜欢这段概览，了解我们目前对 AI 如何决定该做什么知道什么、还有多少有待发现，嘉宾是 GoodFire 的 Eric Bigelow。
-
Eric Bigelow，GoodFire 的技术团队成员，欢迎来到 Cognitive Revolution。非常感谢，Nathan。很高兴来到这里。
-
是啊，我也很期待这次对话。
-
我觉得这可能是播客历史上的第一次——到现在这个播客已经有大概 400 期了——我去找 AI 们问一个非常具体的问题，结果带回来一个名字，而那个名字就是你。所以这一期的前导对话，我是跟 Bronson Shane 聊的，
-
他在 Apollo，也许有个不那么光彩的纪录：可能比任何其他在世的人读过更多的思维链推理，至少是任何能在公开场合谈论这些的活人；而我从那次对话中得到的一个重大收获是，他说，你去看这些思维链，
-
它们——模型在那里来回折腾，做着一种线性化的可能性树搜索，然后在某个时刻做出决定；而即使你读了之前所有的思维链，也常常很不明显它们为什么会做出那个决定。
-
而且你根本不可能预测得到，某种程度上这还挺像人类——我是怎么做决定的呢？
-
我也不太确定自己时时刻刻都能很好地看清这一点，但这引出了一个问题。
-
好，那么到了某个时刻，经历完所有这些东西、所有这些推理，所有这些——再一次——试图推理评分者想要什么之类的东西之后，我们最终来到一段话，像是：“所以答案是……”那下一个 token 到底是怎么被选出来的？
-
这就是我去问那些 AI 的问题。
-
我当时让他们做一份文献综述。
-
而 Eric Bigelow 就成了贯穿那项研究的主线。
-
我当时就想，那家公司我知道。
-
我应该认识一下这个人。
-
所以接下来我想做的是，我觉得关于这些决定是怎么做出的，你可能和任何其他在世的人知道得一样多，甚至更多。
-
不过我担心，这可能也算不上多少。
-
但我希望从这次对话里得到的，是你工作的一点思想脉络，以及到目前为止我们对"这些东西到底是怎么做决定的"理解到了哪一步？关于这一点，我们都知道些什么？
-
还有，我们打算怎么才能把它理解得更透彻？
-
因为很明显，它们时时刻刻都在做着越来越有分量的决定。这样聊你觉得怎么样？
-
能成为AI们选出来的第一位嘉宾，我深感荣幸。
-
我一直觉得，它们……我跟Claude聊天的时候，它好像对我的研究特别来劲，但我肯定每个人都会有这种感觉。
-
我觉得，其实做这档播客、聊了这些，还有你问到的那些问题，让我觉得我真该在"决定到底是怎么做出来的"这个具体问题上投入更多精力。
-
不过我先简单过一遍一个项目，我觉得在我理解大语言模型在最基本层面上是怎么运作这件事上，它是最有启发性的项目之一。
-
那就是我的项目，《神经文本生成中的分叉路径》。
-
这个项目呢，基本上是两年前做的，当时用的是GPT 3.5系列里的一个模型。
-
我们的做法是拿推理链，给它一个问题，再给一个思维链的提示，让它一步一步推理下去。
-
然后它推理里的每一个token，我们都会把所有这些补全都重新采样一遍。
-
也就是在每一个token的位置，都重新采样出大概30条不同的生成轨迹。
-
然后从每一条这样的轨迹里，看它最后落在了哪个答案上。
-
你可以把这些汇总成各种分布，然后对这些分布做分析。
-
但我觉得这里面最惊人的一点是，如果你把它排成一个多变量时间序列，就能看到一些非常有意思的动态正在发生。
-
我这方面是受了点启发的，来自当时那阵子出来的一些关于学习动力学的研究，比如围绕grokking之类的，训练里会出现那种非常剧烈的相变，模型好像突然就学会了什么。
-
结果发现，在推理和上下文学习的过程中，其实也有同样的现象：在推理的过程中，会有某些位置，模型一开始是这个答案50%的概率、那个答案30%的概率。
-
然后走到某个点，它一碰到那个点，分布就突然变得面目全非。
-
而且经常是，分布就那么坍缩到一个最终答案上，就像模型——你可以说——它决定了接下来要说什么。
-
不过，我觉得我这里用“决定”这个词，可能得给它加上引号，因为我觉得它到底是什么意思，还是有点细微差别。
-
但我从中得到的一个很大的收获——而且我觉得这也算是从思考架构里自然得出的，不过能有结果真正支持这一点也很好——就是，模型，甚至在某种程度上当它们规划自己的回答时，
-
它们在每一个具体时刻到底会说什么，其实真的是由抛硬币决定的，也就是它下一个会生成什么token？
-
而且当时至少OpenAI有一种算是非常标准的界面，我觉得可惜现在已经没有了。
-
而且我后来也没怎么见过那种标准界面了，就是你能看到你得到的一段文本输出里所有token的对数概率。
-
你可以把鼠标悬停在不同token上，看看本来还可能生成哪些别的token。
-
如果你在很多文本生成里都这么做，你可能会发现，你问某个问题时得到的是某一个文本答案，但实际上本来可能有很多不同的答案。
-
你可能会问，如果这个词换成了另一个词，会发生什么。
-
而我们发现，有些关键词，有时候这些词——如果你像法官那样去看——你会猜，这大概就是推理链里第一次提到最终答案的地方。
-
但还有一些地方，分布会因为某个很随意的词发生剧烈变化，甚至像是一个左括号。你知道，我们论文里就有一个例子，像是千瓦时，左括号，KWH。
-
你知道，你根本不会想到，那竟然会改变最终答案会怎么发展。
-
但如果你真的在这个模型里走到那个确切的token，然后重新采样一堆文本生成，你会看到，在它不是左括号、而是开始变成某个别的随意词的情况下，最终答案就会不一样。
-
所以我觉得，把在大语言模型s里怎么做决定，或者说它们接下来要说什么，看成很大程度上是由偶然性、由采样到什么token决定的，这真的是我思考大语言模型s里很多事情的根基。
-
我觉得它也在某种程度上塑造了我怎么看待信念和模型，还有，被人们当作幻觉因素的东西，可能取决于它前面生成了哪些token。
-
而且我觉得，推理里有一个在这里真正起作用的特性，就是自洽性。
-
所以如果有一条很长的、自洽的推理链，而它在链条比较早的地方生成了某个token，比如说“假设这是那一年”，而不是“这是这一年”。
-
如果它以为年份是2024而不是2026，那一个问题的答案可能就非常不一样。
-
有这种情形，你可能会想，嗯，如果我问的是现任国家元首是谁，那显然有一个标准答案，现在这个年份是2026，所以模型就是在产生幻觉。
-
但我觉得，和大语言模型s交互时也有很多用例，我们其实并不知道真实答案是什么，而且存在这种、这种分叉的可能性空间，我们在和模型互动时，本来就想自然地探索它。
-
而且，嗯，比如说，如果我在做一个科研项目，我想和我的大语言模型聊聊，比如接下来该做什么，或者，我的实验结果意味着什么？
-
我可能真的很想反复琢磨，搞清楚它本来能生成的整个这个、这个可能性空间，这整棵可能性之树，还有如果它假设的是 A 而不是 B，结果会有什么不同。所以，回到你的问题，
-
我觉得我能给出的简单答案就是，我认为这个决定其实是在采样过程中做出的，这是我思考这个问题最主要的部分；也就是说，还是那句话，模型生成的每一个 token，都会去……
-
我工作里另一个很大的影响，是去思考上下文学习，以及模型如何适应上下文。
-
而我看待推理的方式是，模型基本上是在从自己已经生成出来的东西里做上下文学习。
-
所以，它们生成的那些词，其实是存在某种随机性的。
-
这个过程里会有这些像抛硬币一样的事情，可以说它是在做决定，但实际上只是从这些备选 token 的分布里采样。
-
但取决于采样到的是哪个 token，它会在上下文中学习，而且存在这种上下文依赖，然后它就会生成一套跟这个一致的推理。
-
而且我觉得，我挺看好机械可解释性，我觉得它能带来更多启发，真正回答决定到底是怎么做出的这个问题。
-
但然后，我觉得，我是说这项工作是几年前做的，而我认为现在的推理模型和当时的思维链推理有点不一样。
-
而且，嗯，我最近参与的一些项目，甚至包括对推理模型做机械可解释性，算是有点、呃，改变了我对这些模型在做什么的一些看法。
-
所以我觉得，我觉得仍然有上下文依赖性，但事实上就像你提到的，推理模型我觉得往往会做这种、这种很线性化的搜索，它们会在上下文里枚举所有这些不同的可能性。
-
然后到最后，它们就只是回过头来，从之前说过的那些东西里挑一个。
-
所以我觉得，这可能会改变这件事具体是怎么发生的。
-
从我看到的来说，如果你对推理模型做这种分叉路径分析，不确定性的动态往往会更平滑一些，
-
但有时候仍然会有这些分叉点：如果某个 token 的生成和另一个不同，或者模型真的、你知道，它枚举了所有这些推理链，但没有哪一条看起来比另一条明显更有希望，那最终它就会有点，
-
有些情况下它就会直接说，好吧，因此答案就是 B、C，而实际上这本来可能是不同的，取决于当时生成的是什么。
-
但我觉得，要理解导致那个选择点的内部过程，甚至仍然可以做更多工作。
-
而且，嗯，我参与的另一个项目也、也已经表明，至少在一些、一些别的玩具领域里，存在这种情况：有些神经元似乎会追踪模型的置信度，你甚至可以操控，让模型对它正在学习的任何概念总体上更有信心或更没信心。
-
但是啊，我觉得，我觉得我们真的需要更多这一路线的可解释性工作，而且我觉得，不幸的是，在可解释性领域里，上下文学习和推理被大大忽视了，相比起我认为，
-
它们对于我们如何看待 大语言模型s 所做的许多高层事情来说，有多么具有决定性。是啊。
-
我是说，当你跟那个读过的思维链比任何人都多的人聊天时，你还要记住，现在前沿公司很大一部分的
-
计划都建立在思维链监控上，就好像这是我们追踪它们正在做什么、做得对还是错的方式，然后你听到说，是啊，就算我把这些都读了，而且对它们用的那些奇怪内部方言像母语一样流利，我还是没法告诉你为什么
-
它显示出它所显示的东西，这，哦天哪，打给可解释性部门的红色电话在哪儿？嘿，我们会在广告之后马上继续采访。今天的节目由 Parallel 赞助，这是智能体找到答案的地方。现在大多数工程师都会密切关注新模型发布，却不怎么
-
那么关注他们智能体最重要的工具，网络搜索。
-
如果你跟我一样，你的智能体常常每天要进行几百次搜索。
-
虽然单次成本很小，但时间一长，这确实就开始累积起来了。
-
在开始用 Parallel 之前，我算过，我今年智能体搜索账单总共大概会到 500 美元。
-
好消息是，我刚让我的智能体做了一次系统性测试，发现 Parallel 的快速模式，每 1,000 次查询只要 1 美元，效果跟我之前默认用的服务商一样好，而换到它之后，我接下来的搜索账单大概能省下 80%。
-
Parallel 的基础设施是企业级的，他们的一整套 API 提供了一系列 Pareto 最优选项，让你能根据需求选择质量、成本和速度之间的合适平衡。
-
所以，无论你是在构建需要 200 毫秒延迟的语音智能体，还是需要深度研究的长时程智能体，把 Parallel 加进你的智能体工具箱，都是不用犹豫的选择。
-
现在就到 Parallel.ai 斜杠 TCR 免费开始使用。
-
也就是 Parallel.ai 斜杠 TCR。
-
本期节目由 Anthropic 赞助。
-
到现在你已经知道我的故事了。
-
Claude 起草我的开场文章，然后我来改写。
-
不是因为草稿不好，而是这样我才能对我发表的每样东西负责。
-
嗯，我有个重要更新。
-
Claude Fabel 5 是第一个让我重新思考自己这条规则的模型。
-
现在，我觉得共同署名，而不是独自占有，常常才应该是目标。
-
在模型表现出色的地方，改写它的成果，可能更多是出于虚荣，或者一种错位的责任感，而不是出于正直。
-
我在写歌的时候感受最深。
-
我不是作词人，但我很会把握歌曲概念，而 Fabel 写出来的一些歌词段落特别惊艳。
-
我会指出它没写好的地方，给它反馈，然后推着它去追求更高的灵感、增加意义层次、优化音节密度，最重要的是，写出一首热门歌。
-
现在，我们合作的几乎每一首歌，都会有人夸。
-
Claude 是专为解决问题的人打造的 AI。
-
它是那种理解你整个工作流程、跟你一起思考，而不是替你思考的协作者。
-
不管你是半夜在调试代码、搭建财务模型，还是在为下一步商业动作制定策略，Claude 都能延伸你的思考，去解决真正重要的问题。
-
要解决值得解决的问题，就从 Claude.ai 斜杠 TCR 开始用 Claude 吧。
-
也就是 Claude.ai 斜杠 TCR。
-
也去看看 Claude Pro，它包含今天节目里提到的所有功能。
-
再重复一次，就是 Claude.ai 斜杠 TCR。
-
我觉得你刚才已经提到几个不同的方向，我都想接着追问一下，也许先从这一点开始，咱们来聊聊上下文学习和……
-
其他东西，对吧。已经有很多研究在看——虽然“同构关系”这个说法可能有点太强——但大致就是上下文学习和微调之间的一种同构关系。
-
我觉得在 LoRA 规模的微调里尤其如此，因为你可以把权重变化定位到具体位置。
-
也许就算你做全权重微调，这一点也成立。
-
这个我就没那么确定了。
-
那我们应该怎么理解这种关系呢？
-
你觉得最重要的、但可能不那么显而易见的是什么？
-
所以我觉得，我觉得关于上下文学习，我想说的最重要、可能对很多人来说不那么明显的一点，尤其是如果你，如果你刚开始学它，就是：我觉得以前人们说上下文学习，指的就是那种传统的少样本，
-
给几个输入输出的例子，然后看看模型行为会怎么变化。
-
比如你可以做这种缩放曲线，就是你不断增加给它的示例数量，然后看看模型表现会随着这个怎么提升。
-
但后来我觉得，我自己理解上下文学习的方式是，而且我觉得还有几个人也呼应过这一点，其中有一篇我挺喜欢的论文，是 Andrew Lambin 等人写的，讲的是，我想想，应该叫《更广泛的上下文学习谱系》，在这里我觉得，
-
我理解的上下文学习，抓住的是模型为了调整自己的行为所做的一切，而不是那些通过权重学习发生的变化。
-
所以，这就是它一边读输入文本里的每一个新词，一边改变自己表征的方式。
-
这也适用于推理：在推理时，它会生成文本，然后用这些文本来决定自己接下来的行为。
-
所以我觉得，这种对上下文学习的看法，其实可以说是无处不在的。
-
我觉得这也让思考提示这件事更有支撑了；比如说有个词叫提示工程，在科学界我觉得它有点像是个不太光彩的词，感觉就像人们只是随便想出一堆取巧的办法，让模型表现更好，你知道吧，
-
跟它说你是位出色的软件工程师，然后还真管用，它就能把代码写得更好，诸如此类。不过这些今天可能没那么常见了，因为也许我们有点，我也不知道，把其中一些分布偏移直接微调进模型里了，
-
但我觉得，从某种意义上说，它真的没法跟这种权重学习直接类比；因为提示这件事，不管你微调多少，都不会消失。
-
你会给模型不同的上下文，而你会希望它能动态地调整自己的行为，对吧？
-
就像我觉得，就算你，我觉得把模型微调得再多，你还是会希望它在读，比如第一次读《哈利·波特》的时候……
-
我的意思是，当然它在数据里，但假设有另一个，你知道，它第一次读到的故事。
-
你会希望它在内部不断更新自己的信念：故事里发生了什么，谁是好人、谁是坏人，不同时候谁开心、谁难过。
-
而且其实，我另外有一篇论文，就是关于这种信念更新、表征变化和故事的；我挺喜欢这个比喻，因为我觉得它很容易理解：你知道，当你读一个故事时，你的信念应该会改变。
-
有一堆研究是在分析故事的情感，而那个项目的一个灵感来源，是库尔特·冯内古特那场著名的演讲，讲故事的形状；他在里面描述不同的故事，比如《灰姑娘》一开始，灰姑娘非常难过，一切都糟透了，
-
然后她受邀去参加舞会，一切都好了一阵子，接着魔法有点失效了，她得回到自己原本的生活，但比之前稍微好一点。
-
最后到了结尾，王子找到她，她有了一个无限幸福的结局，或者不管他具体是怎么说的。
-
而且我觉得，故事是有形状的，其实我们给模型的所有上下文也都有形状，而且是动态的、随时间变化的。
-
而且我觉得，这一点你其实，很难真的把它跟微调或者跟其他那些改变表征的方式相提并论。
-
而且我觉得，更广泛地说，我认为这也是拼图里的一块：要思考 大语言模型s 的可解释性，而不只是前馈网络的可解释性，关键在于 大语言模型s 所做的一切都是动态发生的。它们一直在更新自己的信念。
-
它们在内部不断改变自己的表征。
-
它们能在上下文中学会新的表征。
-
而且这不只是在你给几个输入输出示例的时候才会发生。
-
这是时时刻刻都在发生的。
-
在一段对话里就在发生。
-
在一个句子里也在发生。
-
在模型进行推理，或者生成很长的输入或输出文本的那段时间里，这也在发生。
-
它其实是在动态地改变自己的表征，来适应当下正在做的事。
-
对，我觉得很多研究某种程度上都忽略了这些正在发生的动态变化。
-
我觉得很多可解释性研究，往往聚焦在这种模板上：输入里只有那么几个变量被改变，而行为只在某一个 token 或某一个输出变量上被观察。
-
而 大语言模型s 真正在做的，我觉得其实要动态得多、自适应得多，而且时时刻刻都是如此。
-
关于这种上下文学习的看法，我还想提另一点，就是当时 grokking 和这类工作也启发了我一个想法：如果你看一个巨大数据集上的学习曲线，它们会非常非常平滑。
-
而随着你不断训练模型、扩大参数规模，只要你训练得越来越久，各项指标就会非常非常平滑地上升，或者更准确地说，误差会非常非常平滑地下降。
-
但如果你去看具体的问题，具体问题的表现其实可能会急剧变化。
-
实际上可能会出现这种相变。
-
我记得是 Neil Nanda 说过类似这样的话：只要你观察得足够仔细，把数据集拆成一个个单独的任务，再去看这些单独的任务，相变无处不在。
-
你会发现很多阶梯式的变化，模型看起来真的就是突然学会了某样东西。
-
我觉得上下文学习也是这样：如果你看总体，如果你看一个很大的数据集，事情可能看起来是平滑的，甚至可能平滑得有欺骗性。
-
但实际上，单个案例，比如一个单独的故事，会有这种非常非线性的动态；曲线可以变化得非常剧烈，甚至只过了一个 token 或一句话，事情就可能改变，而且
-
其他属性也可能改变，不只是，你知道，突然学会某样东西，信念也可以改变，信念可以上下起伏，会经历各种各样、各种各样的奇怪转折。所以我觉得，嗯，另一个，另一个我觉得有时候在运用上下文学习时会漏掉的东西，就是这一点，你知道，
-
聚焦到某一个示例问题上。
-
而且，嗯，还有一点我觉得也类似，我、我真的很好奇，如果你之前请的那位看过所有这些思维链的人，如果你看看，呃，同一个模型的重采样输出，
-
或者类似地在单条思维链内部做这种重采样。
-
因为我觉得，有时候你只要看一大堆不同的采样结果，然后试着从大体上理解模型是怎么思考的，就能得到很多信息。
-
但然后我觉得，对于单个提示词来说，就模型会怎么思考一个问题而言，这里面有一种非常精细复杂的景观。
-
而且我觉得，有时候你只有看同一个问题的很多不同的重采样输出，看看模式在哪里，哪些东西相似、哪些不同，才能得到这一点。
-
比如说，如果你给模型——取决于你用哪个模型——如果你给它们一个非常开放的提示词，比如生成一个故事，有时候你会注意到一些非常有意思的模式，它们会写出非常不同的故事，表面上看东西会非常不同，开头可能就很不一样，
-
但然后它们有点……
-
我一开始做那个 Corky Pass 项目，就是让模型给我讲一个叫 John 的男孩的故事，然后差不多一半的故事里 John 都有一条狗，他们去冒险，其中很多故事里，他们最后都会找到一个池塘、瀑布之类的，然后有时候是狗救了大家，
-
或者有时候是 John 救了大家，但我觉得这些都是你在同一个输入示例的输出里看到的不同模式。
-
所以我觉得，我觉得我们需要多做这种事，就是看同一个输入示例的很多重采样输出，来大致理解这些模型的上下文学习景观有多崎岖或者多平滑。
-
嘿，我们稍后会在赞助商信息之后继续我们的采访。
-
《认知革命》由 Tasklet 为您呈现并提供支持。
-
我已经用了快一年的 Tasklet 智能体，它们已经成了这档节目制作方式的重要组成部分。
-
每次录制之前，都有一个智能体研究嘉宾，然后给我发一份建议的问题大纲，还附上所有来源的链接。
-
与此同时，另一个智能体会给我从公关公司收到的铺天盖地的推介打分。
-
而这正是 Tasklet 背后的核心理念。
-
用智能体来运营你的业务，就是持续给它们真实的工作去做。
-
设置起来超级简单。
-
只要用平实的英语描述工作内容就行了。
-
研究一个新的销售线索，更新 CRM，再起草一封个性化的回复。
-
Tasklet 可以连接你的业务工具，并且能按时间表全天候运行，也可以在有事发生时运行，比如新邮件到达时。
-
每个智能体都会结合你的工具和业务背景来工作，并且能在不同对话线程之间记住有用的信息。
-
你还可以和团队共享智能体、连接和可复用的技能，这样一来，一个人摸索出来的工作流，整个公司都能用。
-
不需要开发者。
-
由你决定智能体可以自行做什么、什么需要你批准，而且没有按席位收费。
-
你按使用量付费，而不是为添加队友付费。
-
先从一个重复性任务开始，比如研究你要见的人，然后就从那里不断扩展。
-
访问 tasklet.ai，使用优惠码 CogRev，可获得 50 美元的免费额度。
-
优惠码是 cog rev，网址是 tasklet.ai。我们现在努力推进的一件大事，就是
-
持续学习。我很好奇，你在努力理解上下文学习时获得的经验，
-
对于完整的持续学习可能会带来多大的额外挑战，有什么提示或暗示。我可以想象，
-
比如说，直觉上的理解可能是：这下可真的很难了，因为每个人的模型都会随着时间变得个性化，谁说得准它们会差多少呢？但反过来，也许反驳的观点会是：我们在上下文学习里其实已经有这种情况了，因为会有大量
-
上下文，而且我们基本上已经在处理同一个问题了。你的经验让你觉得，就我们的可解释性技术而言，我们已经为持续学习做好准备了吗，还是说它仍然会带来一次像阶跃一样的难度提升？
-
我觉得，关于你问的我们当前的可解释性技术会不会在持续学习上遇到挑战，这真的取决于持续学习最终会怎么发展。
-
而且这个问题，我本人没有真正做过研究，也没有特别深入地去想过，比如我们是否需要为此采用不同的架构？
-
而且我知道，已经有不少人为此争论了一段时间。
-
而且就像你说的，拥有个性化的模型，或者拥有那种针对你的数据微调过的模型。
-
我觉得如果真是这样的话，那我们可能就得有可解释性，或者说可解释性技术也得跟着演进。
-
而且我们得有一些类似……我觉得，这么说吧，假设你有一个工具，它是在一个基础模型上训练的，然后这个模型又针对 10 个不同的人，或者 1000 万个不同的人做了微调，它能有多好？
-
我觉得这里面真正关键的问题，还有你的工具到底能多直接地迁移过去，其实就在于表征变化有多大。
-
而且我自己在这方面做过一些工作，GoodFire 的其他同事也有一些非常酷的研究，说的是存在这些低维流形，它们描述的就是模型在跟你交互时所经过的那种底层表征空间。
-
而且很多表征，某种意义上就是由这种低维的概念结构决定的。
-
我的直觉是，只要其中很多结构还是老样子，那很多技术应该都挺容易迁移过去的。
-
也许你得把自己的探针稍微微调一下，才能让它们在那个世界里对每个人自己那个微调模型都管用。
-
但我觉得那里唯一真正的挑战是，如果持续学习导致了那种灾难性遗忘，以至于模型的内部表征结构发生了根本性变化。
-
不过我有点怀疑这会不会真发生，因为我觉得那大概就意味着模型要崩掉了。
-
可能内部表征确实发生了大规模重组，但整体还是有结构的，模型还是能做很多它以前能做的那些事，只不过是换了新方式。
-
但在我看来，更有可能的是，如果我们真的处在一个共同的内部结构彻底崩溃的世界里，那模型在这种情况下很可能就是坏掉了；除非在这个持续学习的世界里，我们为这 1000 万人中的每一个都投入了多得离谱的算力去训练他们，
-
你知道，就是做大量的元学习，让它们既能保持在这些任务上的表现，又能学出全新的表征结构。
-
所以是的，我觉得在那个世界里，这有点像在一个主模型上做了一堆小小的调整，而我们很可能会有一些工具，可以直接迁移到这些微调后的模型上，也许只需要对我们现有的工具和探针之类的东西稍微做一点微调。
-
关于持续学习和上下文学习这个问题，我的个人看法是，我是说，同样，我对架构方面的争论没有特别强的立场，但我觉得这里有点像有一个苦涩的教训，就是，
-
提示、上下文学习、上下文工程，还有各种执行框架、外壳之类的，这些东西对相当多的事情来说可能就是你所需要的全部了。
-
我偏向这个观点，因为这就是我在做的东西，但我有点……对我来说，短期内最可能的结果是，我们并没有真正用非常不同的数据训练出来的定制模型，而是实际上，发生的情况是上下文不同，对吧？
-
就像你说的，这某种程度上已经是现在正在发生的事了。
-
我们有不同的大语言模型，它们有不同的记忆。
-
而记忆，在我看来，就是一堆数据，也就是一些 token，它们会在模型每次生成答案时作为上下文被学习。
-
它会看到这段很长的记忆。
-
而且，嗯，我觉得就是，不用太使劲，就特别容易从中榨出很多很多汁水。
-
最后你得到的这些记忆，可解释性还挺强的。
-
而且，呃，对，我觉得，我觉得得先让这个等式里的一些变量发生变化，我才会觉得针对每个人的数据分别微调模型、让定制化真能以那种方式带来回报，是特别有前景的做法。
-
所以也许我个人最大的猜测是，我们会看到更多上下文工程，更多这类东西，更多的框架，更多的记忆。
-
而且我觉得，这正是过去一年随着智能体兴起我们所看到的：大量的工程工作其实就是把很多东西放进上下文里。
-
对，很引人注目的是，Anthropic 从来就没有过微调产品，至少没有向零售开发者客户提供过。
-
而 OpenAI 已经把他们的那个给砍掉了。
-
而且，我们确实有的那少数几个关于可解释性应用于不同架构的测试案例，对我来说都是相当令人愉快的惊喜，因为那些技术迁移得居然那么好。
-
比如说，Othello GPT，还有 Othello Mamba，这两个基本上都是可解释的，而且内部似乎有相似的表示。
-
而且这些是通过相当相似的技术找回来的。
-
而且，是啊，但愿这些有利趋势能长久持续下去。
-
说到模型的变化，以及这些猛兽本身在过去几年里在我们眼前发生了多大的变形，我年纪够大，还记得温度曾经是我们在 API 层面可以玩的一个功能。
-
而且那时候，我知道我的 token 是怎么从分布里采样出来的，还受到类似永久性这种东西的约束；我也还记得有那么一段时间，我根本不知道 GPU 和确定性这回事。
-
我当时就想，我干嘛要把温度调成零啊？
-
难道我每次得到的不都是一样的东西吗？
-
结果那居然就是答案，不过我想，你会怎么描述，因为确实，温度这个参数已经消失了。
-
看起来模型确实，你知道，说模式崩溃可能有点重，但它们在某种程度上确实相当过拟合。
-
你那个讲故事的例子就是个好例子：像 GPT-3 那种狂野不羁的本性，在某些方面可能反而比 GPT-6 更适合生成睡前故事，因为 GPT-6 总是给你同样的小孩、狗和瀑布。
-
甚至现在在不同服务商之间，我也奇怪地看到了这种情况；我就不细说了，老听众已经听我讲过很多次，我怎么用模型来起草播客的开场白。
-
但最近在测试 Astro 和 Fable 的时候，我也注意到，它们在选择如何呈现一集节目时，做出的决定相似得令人发毛。
-
我就想，它们想出这些非常相似的点子，这绝不是随机的。
-
这里面有些东西贴合得相当紧，然后我们也看到了像是引入，或者至少说，用‘涌现’这个词可能更合适，就是……
-
这些元认知行为，你会看到‘哦，我觉得我走错路了，让我退回去，换个方式来做’，就是那种顿悟时刻一样的东西。那你会怎么描述——你愿意讲讲两年前的故事吗？当时你在做这种超高强度采样，而我们当时看到了这些像是……
-
关键 token。
-
底层模型发生了哪些变化？作为用户，作为想理解决策是怎么做出来的人，也作为可解释性研究者，就凭它们看起来已经调得这么精准，我们应该注意些什么？另外我也很好奇，
-
你到底知不知道，现在采样到底是怎么做的？
-
这个问题确实非常抠细节，不过，好啊，那就给我讲讲过去两年的故事吧。
-
你怎么理解模型在那段时间里发生的变化？
-
我得先说，我真希望我知道 Claude API 和最新 GPT 模型的采样参数是什么。
-
我觉得很遗憾，他们已经不再公开这些信息了。
-
我猜背后很可能也是类似的事情在发生。
-
只不过他们想限制人们能对模型做多少逆向工程，以及限制人们调 temperature 来做大量系统性的……
-
比如说，我觉得很多人在做非常系统化的提示，或者，你知道，拿几百万、几百万甚至几十亿个 token 的请求去猛砸 Claude API，那他们有很大风险是在做一些，你知道，
-
有点不怀好意的事，或者试图蒸馏模型，或者以某种方式提取模型权重。
-
所以我觉得，这大概就是他们这么做的主要原因，而不是说他们背地里在用什么不一样的采样方案。虽然如果有机会，我很想了解更多，如果能出乎我的意料，我也很乐意。至于过去这几年的故事——就像你说的，早期的模型更……
-
就像你说的，更像被放开了。我觉得这里我想到的一个词，是人们研究过的‘输出多样性’。所谓多样性，基本上就是，如果你给模型同一个提示，让它生成一堆不同的输出，它能生成多少个不同的输出，
-
它能生成多少个。我觉得，如果你……这方面有很多研究显示，这种多样性在某种程度上会随着监督微调而消失；你越是对模型做后训练，它们的输出就越不那么多变。这在一定程度上其实并不让人意外，因为早期那些……
-
补全模型，它们甚至不是聊天模型，只是原始的补全模型。你跟它说话，它甚至不知道自己在对话里。
-
它只是在做文本补全，在整个互联网数据上做下一个词的文本补全。
-
感觉你面对的就是一个非常原始的东西，像一大团没有固定形状的互联网数据。
-
如果你随便给它一些随机的 token，它也会用某种连贯的方式把它们补全。
-
而后来，我觉得我们把它进化了。
-
我们最早进入的是一个有监督微调、RLHF，还有其他为了聊天做的后训练，基本上就是模型指令微调的世界，对吧？
-
这其实就是把模型微调到这样一个分布：你会跟用户对话，用户会给你指令，而你就应该像一个聊天机器人那样去回应。
-
然后 RLHF，我把它看成是在进一步把那个分布收窄、锐化到聊天这个方向上。
-
你应该表现得像个聊天机器人，用连贯的方式跟人说话，而且要符合现在大家都在用的这种聊天界面。
-
然后我觉得 RL 做的事情就很不一样了，我参与过的几个项目在很大程度上塑造了我对 RL 的看法，还有最近这些实际去看模型推理过程、发现它们有多难以解释的事情，也影响了我。
-
然后我觉得 RL 有点……我也不知道该怎么从它的角度去想，我觉得它在某些方面确实把分布给锐化了。或者说，有些被 RL 得特别狠的小型开源模型，就有点被练坏了，它们会有点，嗯，你知道吧，我最近做过一些，
-
最近拿这个 Quen，嗯，3.6、35B、A、A3B 这样的模型做了一堆实验，它被 RL 得相当狠。
-
然后当你给它，呃，当你给它那种提示，比如‘给我讲个故事’，三分之二的故事都是关于一个钟表匠的，还有一大堆其他的也是。
-
我忘了具体是什么，但它生成的故事里就是老会出现另一个模式。
-
但我觉得，像，我最近其实拿 Astra 之类的试过这个，比如说，它确实会生成一堆不同的故事，这还挺有意思的。
-
就是它真的会生成相当不同的故事，故事弧线和角色都相当不一样。
-
我的意思是，我还没做过那种真正大规模的采样，比如几百上千个不同输出，然后一个个去看。
-
我大概应该那么做，但我对推理的印象是，推理有点把语言模型在做的事情的分布推向了一个完全不同的方向，跟它们训练时用的人类文本非常不一样，
-
这时候就要回到你之前说的那个说法，我真的觉得它跟我的想法非常一致：它们做的像是一种线性化的树搜索，会枚举出问题可能怎么解决的各种不同可能性，而有时候它们枚举出来的可能性是彼此
-
相关，但还有这个‘wait、wait’的想法，它像是一个非常关键的点，模型在这里改变主意；可如果你去看像 DeepSeek 模型的输出，或者我们自己那些模型的输出，它们在一条推理链里会说‘wait’五十次甚至更多。解一道题能有这么多顿悟，那可真是不少。
-
我觉得这其实就像是对当时模型遇到的一个问题的解决方案，那个问题就是它们怎么回溯，这跟我前面提到的分叉有关：当它生成一条推理链时，它可能会随机采样到某个词，然后就真的没法从那条路上退回来了。
-
它就等于把自己永远推上了那条路。
-
但我觉得推理模型的做法是绕开回溯这个问题：它们先把能想到的所有可能都枚举出来，然后再回过头从里面挑。
-
而且我觉得，至少对像 GPT-6、Astra 这种大概是最先进的专有模型，我的印象是，
-
它能生成不同故事，很可能是因为它只是在推理链里生成了一堆不同的可能性，然后再回过头去看它们，真正的采样其实就发生在那里。
-
我觉得，也许有些多样性就发生在推理链本身内部，这是我目前的想法，不过我也不知道，我可能得用RL模型做更多系统性的研究，才能更好地理解这个多样性问题。
-
但我只是觉得，嗯，最近一些项目影响了我的思路，而具体影响到哪儿，我真不太确定。
-
我觉得“推理”这个词，用来描述推理模型在做的事，几乎可以说是个误称。
-
我觉得传统的思维链推理，从某种意义上说确实很像人类的推理，就像是：咱们一步一步来拆解。
-
然后摆出一组命题：A所以B所以C所以D。但推理模型只会把A、B、C、D、A、E、F、G、F、G、A，所有这些不同的都罗列出来。
-
这几乎就像它们造出了一锅token的汤，然后回过头从这锅汤里撇出点东西来。
-
嗯，我觉得这就是我对过去几年很多研究的一个高层次总结。
-
就我个人而言，我觉得在原始能力方面，过去几年可能因为多了一点额外的规模扩展，有一些渐进的变化，但我觉得很多原始能力很可能一直都存在于这些预训练模型里。
-
而从那以后我们做的很多事情，就是想办法真正把这些能力激发出来、引出来，并且让模型行为的分布变得更锐利。
-
比如编程智能体，我觉得这就是必须让模型大量做编程训练，才能让它们以正确的方式行事。
-
即使它们已经从整个互联网、整个文本互联网上学到了正确的东西。
-
这就像是这件事的额外版本，是基础模型只是在全互联网上做下一个词补全的又一个例子。
-
我觉得很多智能体微调和让智能体取得成功的工作，其实就是在打磨它们所拟合的分布；你的编程智能体，你要做很多改动。
-
你一直在跟Git和diff打交道，一直在跑测试。
-
我觉得这更像是一种……小的分布偏移，或者说分布的锐化，而不是别的什么。
-
你做研究的时候，怎么选择用哪个模型？
-
显然，很多人是根据自己能拿到的算力资源支持什么来做选择。
-
我确定这对你来说也是一个因素。
-
但在Goodfire，你们有相当多的资源，而且你们建了一些基础设施，可以对……怎么说呢，比如K3，做可解释性，对吧？它是前沿规模吗？接近前沿规模吗？反正它很大。
-
那么，我想问，对于什么时候该选什么样的模型，你大概有个什么样的思维模型？
-
那当你在一个中国的前沿模型上做研究时，在你看来，这基本就等同于在美国的闭源模型上做吗？
-
你会觉得它们在多大程度上能互相替代，还是说你觉得它们可能各自有多独特？
-
所以，我觉得它们在很大程度上是可以互相替代的。
-
会有一些独特的地方，比如 Qwen 真的很喜欢用中文思考，如果你对 Qwen 做 logit lens，有时候中间会出现很多汉字，然后它才开始输出英文 token——如果你是在用英文跟它说话的话。
-
至于选择我要研究哪个模型这个问题，能在 Goodfire 拥有这么大的算力资源，真的是一种特权，而且我觉得我还在慢慢适应，也还在找办法尽可能最好地利用它们。
-
但还是有个问题，就是如果我们做很多实验的话，你知道，我觉得我还是很难证明，自己占用几百块 GPU 那么长时间去对 Kimi-K3 做非常非常精细复杂的实验是合理的，如果这些实验并不真的符合公司的一些目标，或者……
-
或者说是趁某段时间有点空闲、这些资源没被充分利用的时候来用。
-
所以我觉得，这个问题还是存在的。
-
我确实还是会考虑算力，也会想怎么权衡，你知道，什么样的模型规模才合适，让我能研究那些足够有趣的行为。
-
所以，我一般怎么选呢，就是我会挑一个模型。
-
我是觉得，如果你选得太小，那你面对的东西，怎么说呢，我认为性质上就不一样了，比如，你知道，参数低于十亿的时候。
-
取决于任务，有时候你还是能从里面得到一些有趣的行为。
-
但另一方面，我觉得通过从头训练模型也能学到很多东西，比如你在某个任务的一个版本上训练玩具神经网络或者 Transformer，然后观察学习动态，或者对它们做可解释性分析。
-
但我在研究中一直给自己定的一条标准，就是尽量研究那种像大模型一样的东西，你能看到那些非常复杂、像人一样的行为，而且你可以直接在模型里零样本地研究它们，不需要专门训练模型去做这些，也不需要用一个……
-
模型的复制品。所以选模型的时候，我通常倾向于七十亿到八十亿或更大的规模，这是个甜点区，因为你可以开始做不错的可解释性研究。而且我也觉得，几十亿参数的模型也可以很好，如果你的任务相对……
-
简单的话。
-
但我觉得，大概在八十亿或以上这个规模，你就可以开始做这种零样本提示，然后得到有趣的行为。
-
比如我那篇关于故事中信念更新的论文，一开始我们用了很多八十亿参数的模型。
-
一开始我完全不确定它表现会怎么样，但它实际上在阅读故事时，会非常动态地更新信念，涉及我们测试的很多不同情绪和其他属性。
-
所以，在那个规模上，模型的能力让我印象挺深的。
-
然后我提到，最近我在研究这个 Quen 35B、A3B 模型，而且我也非常、非常……
-
一开始的时候，在我还没花太多精力去弄这个模型之前，我就想先跟它聊一聊，感受一下它是什么样的。
-
而且我不确定它会不会有点像，嗯，已经有点废了，就像我说的，最初让它生成故事的时候，看到很多故事都差不多。
-
但后来，我平时跟大语言模型s 打交道时特别喜欢做的一件事，就是跟它们聊意识，看看它们会说什么，还有对话会怎么发展。
-
我觉得这能给我一些信号。
-
可能这算是我很强的偏见吧，但它确实能反映出，一个模型在思考一个相当微妙又复杂的话题时，到底能做得有多好。
-
而且，我也不知道，这个模型能把意识问题以及大语言模型s 谈得这么好，还能有点主动地去思考这件事，这让我印象非常深刻。
-
我是说，关于这些模型的后训练数据到底是什么，以及它们是不是在某种程度上真的在蒸馏一些闭源模型，这方面既有很充分的记录，也有一些只是猜测。
-
而不管这在多大程度上是真的，这都能解释为什么这些模型之间有很多相似之处。
-
但我觉得，对，就它们的核心能力来说，它们其实都是拿同样的数据训练出来的，也就是整个互联网。
-
而我觉得，这些模型之间最大的区别，就是后训练，以及我们到底给模型加了什么额外的那种独门秘方。
-
而我觉得，就闭源和开源之间的护城河来说，我个人认为，一直以来最大、以后也仍然会是最大的护城河，可能就是他们正在做的后训练，而且是各种层面的后训练；我觉得这真的是把闭源模型和开源模型区分开来的东西之一，而且我
-
觉得后训练的作用，就是会让模型在像写代码，或者你真正用模型时会在意的那些具体事情上强得多，但我觉得很多核心能力还是会非常相似；而且 Kimi K3 也是这个很大的、
-
我觉得，就我们终于有一个编程能力真的很好、可以拿来研究的模型来说，这是一个很大的阶跃。
-
而且虽然我个人还没研究过这个，但我看过 Goodfire 的人最近做的一些其他研究，比如关于奖励黑客的；那真是，我是说，这个模型编程能力这么好，真的很让人印象深刻，而且它还表现出这种，你知道，
-
像疯了一样的奖励黑客行为，你在更小规模上根本看不到；我觉得这确实给了我们一些信号，让我们去研究那些我们认为正在闭源前沿模型内部发生的现象。
-
所以我觉得，闭源模型，也就是，你知道，OpenAI 和 Anthropic 的模型，跟几乎其他所有人之间，肯定是有性能差距的，只有少数例外。
-
但我觉得，就我们做的那种可解释性研究工作来说，这并不，我觉得这不算太大的障碍。
-
主要的障碍在于，有些行为你就是真的没法研究，除非有足够的规模或者后训练。
-
就像我觉得，Kimmy 身上这种奖励黑客行为，就是一个非常有意思的例子：看起来，仅仅是让模型在某种特定的行为、编程能力上跨过那个阶跃，就已经非常重要，这样才能开始看到这些真的、这些危险的行为，而我们
-
想更好地研究和理解的那些行为，就是，你很难从一个小一点的模型里把它弄出来。
-
或者就算你从小一点的模型里把它弄出来了，那也可能，它只是通过一种完全不同的方式发生的。
-
这是不是意味着，如今在闭源模型公司之外，可解释性研究正变得越来越依赖中国模型？
-
有没有哪个美国模型可以替代 Kimi K3，而且你觉得用它不会损失太多价值？还是说，在今天这个世界，我们想做前沿可解释性研究，就非得用中国模型？
-
我觉得目前确实是这样。而且在最大的那些模型上，我觉得确实有一个、尤其在编程能力上、跟其他所有模型之间很大的差距，
-
但我觉得，如果美国公司对开源模型有更多投入，这个差距不是不能轻松补上的；而且我觉得，当你到更小规模的时候，差距可能还会小一点。
-
比如我觉得，我确实很密集地研究 Qwen 模型，我觉得它们在自己那个模型规模上真的就是最先进的，而且我很高兴它们存在，我能研究它们。
-
但我也觉得，如果禁止我用 350 亿参数规模的 Qwen，只能改去研究 Gemma 模型，那大概也不会让我慢太多。也许会慢一点。
-
我觉得现在，这个差距真正存在于食物链的顶端。
-
但然后，就是，嗯，我觉得如果真的有一天禁止使用中国模型，我真的很希望有一些美国公司能站出来扛起这件事。
-
不过，我觉得他们得有一套特别的商业方案，才能让这件事发生，才能拿到他们训练和交付这些模型所需要的钱。
-
但我还是希望这能发生。
-
我觉得，就是，一直有一些不太正式的讨论，是关于对开源模型一概施加限制，你知道，不管它们来自哪里。
-
而且我觉得，那会是更大的，那会是一个真正的问题。
-
而且我觉得，那真的会妨碍很多很好的可解释性研究。
-
而且也许，就是，我觉得一些最基础的研究其实还是能继续做下去，我们大概可以，如果我们，嗯，这取决于我们能接触到什么，但如果我们能接触到一些开源模型，
-
我觉得，就是，有很多基础性的可解释性研究，本来可以研究几年前的那些 大语言模型，而且还能继续这么做，比如说，我也不知道，再做好久，继续产出非常深刻、很有洞见的东西，帮我们现在理解一些重大的谜团。
-
但然后我觉得，也许有些最重要的行为，为了研究风险、奖励黑客，或者一些、一些跟失准有关的可疑现象，它们真的是随规模涌现出来的行为，只有当你达到某个、某个能力点，才会显现出来，那时候，
-
你研究的是同一种行为，而不是某种只是在某方面跟它有点像的东西。
-
我觉得，如果禁止开源模型，那些研究就会被拖慢，我真的希望那不会发生。
-
是啊，我可不想看到你得跑去内华达沙漠里的某个地堡报到，在地下做你的可解释性研究，或者那种设想里会搞出来的什么方案。
-
我看你背景的时候，觉得有件事特别有意思，你前不久刚读完博士，恭喜啊。
-
而且这个博士还是哈佛心理学系的。
-
你的论文题目是《迈向大语言模型的认知科学》。
-
我觉得最近让我最意外的几件事之一，就是把模型拟人化居然这么有成效。
-
那你自己对于该怎么把模型拟人化，大概有什么样的个人理念？
-
看起来我们不该对它有那么强的过敏反应，但显然这还是个我们得非常小心去用的东西。
-
那你是怎么小心地用它的呢？
-
嗯，是啊，我真的很喜欢这个问题。
-
我觉得，这是我读博期间变化很大的一个东西。
-
我是说，我刚开始读博的时候，大语言模型 还不存在。
-
而且，嗯，我是说，我的、我的导师在我的答辩上给我做了个小小的介绍，他说，你知道，要是你在我刚起步的时候告诉我，我的论文最后会叫这个标题，我会，我会说：哦，现在这是啥？
-
大语言模型是什么东西？
-
对我来说，是啊，当、当大语言模型出现的时候，那真的就是一个把一切都放下、去研究这些东西的时刻。
-
我是说，我有个同事当时就明确跟我说过，他建议我这么做。
-
我觉得那也说出了我当时的心声。
-
我觉得，我早先确实不得不反驳回去。
-
我确实从身边一些认知科学家那里收到了很多反对，他们习惯了深度学习里那种、那种有很多捷径式东西的情况，说模型其实做不了你说的那种行为，哪怕是在计算机视觉这种领域，模型也能——
-
ImageNet 真的算计算机视觉吗？
-
视觉所意味着的很多东西，并不是说，你知道，拿一个 RGB 输入矩阵，然后给我从一千个类别里挑一个标签，就能捕捉到的。
-
所以我觉得，一开始的时候，对拟人化是有很多反对声音的。
-
我忘了当时用的比喻是什么了，但我觉得，是一些心理学家，还有语言学、哲学之类相关领域的人，有时候会带着批判的眼光看 AI 研究，因为他们会觉得，比如说，心理学，
-
就是有很多围绕 AI 的工作，感觉像是在做很糟糕的心理学，或者人们会用一些在心理学里由来已久、被研究得很深的词，而这些词背后有一些非常根本的理论和实证问题，大家已经想了很多，可人们却只是
-
在用这些词的时候完全没意识到这些。所以我觉得我能理解。
-
你能举个这方面的例子吗？
-
比如说，大家在哪些地方最容易乱来？
-
我觉得，有一阵子，人们是有些抗拒的，我觉得，就是谈语言模型里的规划，还有语言模型到底是不是真的会规划事情，是有一些阻力的。
-
甚至说到模型有没有信念、对事情有没有知识，也差不多是这种反应：它们其实并不真的懂东西。
-
它们有点像，可能不完全是随机鹦鹉，但差不多就是那么回事。
-
它们只是在做大量的下一个词预测，而“下一个词预测”这个说法有点像是个贬义词，因为人类做的事很可能要复杂得多。
-
但我觉得，这些年下来，我觉得这种反对有一部分已经软化了，而其中一部分原因就是这些模型成功得简直离谱，对吧？
-
怎么说呢，你知道，它们真的以一种极其戏剧化的方式席卷了全世界，而到了某个时候，你不可能一直去对抗一条冲得那么那么猛的河。
-
你知道，我觉得我真正希望这些领域里更多对 AI 研究持批判态度的人做的，是别一看到人们用这些词就觉得有问题，而是过来，你知道，分享你自己的视角，你知道，
-
开始和可解释性研究者或者任何研究 AI 的人聊聊，开始谈谈，比如说，什么是信念，模型里的决策又是什么？
-
我们怎样才能更好地理解这些？
-
所以我觉得，大体上，我对把 AI 拟人化有两种看法，其中一种我觉得是，你可以，就是，在某个层面上你可以拟人化，差不多就是，你不用太小心。这是为了你自己。
-
是为了让你自己理解它。
-
你不需要把自己用的词看得太当真。
-
我的意思是，如果我开车的时候，我的车开始发出哐当哐当的怪声，我可能会说它是在试图告诉我什么。
-
我的意思是，我觉得这个例子有点夸张，因为显然我的车并不是想告诉我什么，但那样去想事情可能会有帮助。
-
认知科学有些领域会用到一个词，叫直觉理论；我觉得这里面有些东西就像一种直觉理论，也就是我们用来思考的那些框架，它们很大程度上是被进化内置的，层次比那些……你知道，非常基础的东西要高。
-
感知层面的东西要高——它们就像我们用来推理各种现象的系统，比如说推理人，我们有一大套机制，人们也很容易凭直觉去推理这类事。
-
所以有时候，把我的车拟人化成一个能动的主体，把那些问题、把我听到的声音当成它想告诉我这件事，这样想对我有帮助。
-
我觉得在那个层面上，只要这样有帮助，那就尽管做。
-
不过我觉得，到了 大语言模型s 这里，我们就进入了一个挺有意思的地带，因为它们做的事情不只是发出哐当哐当的声音。
-
它们是在说话，是在用语言表达。
-
它们在做数学推理，甚至也在做社会推理。
-
它们在帮我们回答科学问题，它们在写程序。
-
所以，我对拟人化的另一个看法是，我觉得对每个人来说，真正健康的做法，尤其是对那些来自这些领域、可能会批判性地看待词语被误用或者轮子被重新发明的人，就是尽量认真对待这些问题。
-
到底什么是信念，或者说，到底什么是决策？
-
顺便说一句，我得先声明，我不是人类决策方面的专家，但思考这个项目让我特别兴奋，也让我很想和大家一起思考所有这些东西。
-
我的意思是，我觉得分叉路径这个概念，以及生成某一个 token 会不会把你带上一条非常不同的路。
-
一开始我的想法是，这跟人做的事情太不一样了。
-
比如，我在论文里有这样一个例子：如果一个人正在说话，然后他说错了，比如他说，你知道，比利掉进了一个洞里，或者比利掉进了一艘宇宙飞船里，取决于你用哪个词……
-
如果你口误说成了“一个洞”，我的意思是，我在论文里有个更好的例子，但如果你口误了，你会纠正自己，然后继续讲你本来要讲的那个故事。
-
但对一个 大语言模型 来说，它可能就会认准那条路，然后开始讲一个非常不一样的故事。
-
所以看起来非常不一样。
-
但后来我觉得，生活里有很多事情其实就像这种分叉路径，你实际上就是有点像在抛硬币，取决于那一步发生了什么，你就顺着那个结果走。
-
而且有时候，我们甚至不会这么看它。
-
我的意思是，关于决策合理化有一大堆研究，比如有些案例是让人从一组刺激物里选出哪一个在某个方面更好。
-
然后之后你再把那些刺激物给他们，让他们解释自己的回答。
-
但作为实验者，你可能会把刺激物换一下。
-
所以你实际给他们的，可能跟他们真正选的不一样。
-
然后人们还会给出解释，说自己为什么选它。
-
所以他们就会去合理化一些他们根本就没做过的决定。
-
所以回到这一点，我觉得，我觉得有一个非常非常有前景的方向，就是真正认真对待我们拟人化时使用的那些说法，并试着更好地研究它们；我觉得，当来自心理学这样的领域的人，
-
神经科学、语言学、哲学的人提出批评时，往往是有某种原因，有时候并不是什么好理由。
-
有时候人们会有点害怕，你知道，在某些非常重要的事情上失去地盘，而你不希望某个领域被低质量的工作主导。
-
但很多时候，它来自这样一个出发点：有些非常重要的理论和实证问题，人们已经大量思考过该怎么解决。
-
而且我觉得，我们越能从前人的工作里汲取能汲取的东西，而不是重新发明轮子，而是在已有的轮子之上开始搭底盘、搭车架，我觉得这就是我想走向的未来。
-
而且我觉得，就是，我觉得很多在认知科学里持批评态度的人，比如，认知科学更是我自己的领域，是我最熟悉的领域。
-
我觉得，我觉得大语言模型s真的特别有意思。
-
我觉得很多认知科学家，至少直到最近，都觉得它们很无聊。
-
就是随机鹦鹉，或者模型在做一些蠢事。
-
但我觉得，这其实是一个真正的机会，让我们能学到一些关于我们自己的东西，也能想想我们到底该怎么看待这个棘手的理论问题。
-
如果我们可能会说，好吧，模型没有目标，也没有意图。
-
好吧，那这到底是什么意思呢？
-
我觉得在我们自己的领域里，我们有点把这当成理所当然，因为我们研究的是人、动物和生物体，而按照我们自己定义这些词的方式，它们似乎显然是有目标和意图的。
-
但我觉得，这是一个让这些深层问题重新焕发生机的机会。
-
而且我觉得，有些人对这些问题真的非常兴奋，而且这也是一个通过回答它们来产生巨大影响的机会。
-
那比如说，如果我们来看信念，你已经研究过一堆不同的东西了。
-
当我们聊到你的一些技术时，“什么是信念”也许是一个可以一直放在心里的问题。
-
你做过这个采样项目，想弄清楚一个 AI 面对某个给定提示时可能生成的全部可能性空间到底是什么。
-
如果有一个问题，任务就是得到正确答案，那你似乎是在说，在这些关键 token 上，信念状态会发生改变。
-
你还有一些低采样量的技术，配上一些技巧，让你能更高效地做到这一点。
-
然后你还看了内部表征，试着根据这些内部表征来预测结果会是什么。
-
那这一切让你对“什么是信念”有什么认识？
-
你对信念是什么有一套解释吗？
-
它是不是就简单归结为最终会给出这个答案的概率，以及那些不断变化的概率？还有没有更多东西？
-
但我觉得，这并没有捕捉到我在说自己有信念时，脑子里想的全部东西。
-
那当你想到一个 AI 拥有信念时，还有没有别的什么东西是你会谈到的？
-
嗯，我觉得这是个很好的问题。
-
我觉得这会让我想到几点。
-
其中一个想法是，我觉得在某种程度上，它确实跟一些很简单的东西有关，比如模型会生成哪些 token 的概率，只不过这里面有更多细微差别。
-
这里还有个问题，比如说，这在很多不同输入之间是怎么变化的，或者说，这些信念在上下文学习的过程中、在模型读一段文章时、或者在它生成一条推理链时是怎么变化的，它对这些不同概念的信念又是怎么变化的？
-
而我对信念的一些心智框架，是根据模型拥有的潜在假设或概念来分配概率，然后它的行为是根据潜在概念生成的，而这些潜在概念，也就是哪些概念会被唤起，
-
很大程度上其实是由它得到的数据决定的。
-
而且我觉得这其实很能说明一个我很喜欢、也对我影响很大的认知科学框架，也就是认知的贝叶斯建模；在这个框架里，很多认知在某种程度上都可以被看成贝叶斯推断，
-
在这里，人拥有这些潜在概念，而且不管上下文是什么，我们都有把这些概念拿来用的先验概率。
-
然后上下文或输入数据会让我们通过后验推断，去重新调整这些信念的权重，也就是我们对这些潜在概念的信念。
-
而且，你知道，通过选择哪些概念——或者我不该说选择，而是通过做推断，让这个推断在不同概念之间选出一些、压过另一些。
-
这能解释很多人类学习是如何运作的，以及人类如何能随机应变，把自己的行为快速适应到各种各样不同的情境里。
-
而且我觉得这也同样适用于大语言模型。
-
不过我觉得，信念这个问题还引出一个更大的图景：当一个人，或者就这一点而言一个大语言模型，相信某件事的时候，它内部到底在表征什么？
-
而且我觉得，这也是认知科学可以成长的空间，也许还能做一些我们从来没能在人身上做的实验，
-
在这个背景下，认知科学里的贝叶斯框架有时会受到一种批评，就是它做出的一些主张让人不清楚：这些到底是在说人脑中真的在进行某种推断，还是在说这是怎么实现的，
-
这种行为或这种计算背后的算法到底是什么；而有时候这些观点对此是不置可否的，而当研究大脑真的非常非常难、要揭示那些算法真正是什么或者事情到底如何实现也真的非常非常难的时候，不置可否是很容易的，
-
但对于语言模型，我们没有这个借口。
-
要窥探大脑内部并进行干预是非常非常容易的，而在人身上做这件事却非常复杂，既有方法论上的原因，也有伦理上的原因。
-
但我们可以对大语言模型做这些。
-
而且我觉得这给了我们一个机会，去真正开拓新的领域，理解信念是如何被表征的。
-
而且当模型在做推断时，它们是在抽取样本吗？
-
它们是在用我们过去用来给人建模的某些方式，去估计后验吗？
-
还有，那些模型真的就是实际发生的情况吗？
-
还是说，它们只是在描述总体行为，而表面之下真正发生的事其实违背了这些模型；还有，这些模型是不是真的只是在表现行为，而不是在表现算法？
-
我觉得你这个问题还有一点，是关于这种分叉路径方法的，也就是在推理的每一个点上，对所有这些推理轨迹重新采样。
-
我们在论文里用了这个词，也就是不确定性；我觉得这篇论文想做的其中一件事，就是突出用推理来谈确定性有多奇怪，因为就像在一条推理链的末尾，模型几乎——你知道，至少在当时，它们几乎百分之百确定那个
-
答案是什么，因为基本上，你不管——如果你在证明某个数学定理，你想说的是，这里本来可能有这些不同的证明结果，但你最后得到的是一个很长的证明，也许它是错的，但它把你引向一个结论；所以模型在那个点上并不是确定的，或者说它有
-
关于最终答案是什么的不确定性。
-
它是由之前的推理链决定的。
-
所以我们在推理里说的不确定性，就是你重新采样这些很长的推理链。
-
比如说在推理的某个点上我重新采样，得到 50% 的答案 A 和 50% 的答案 B。我们就说模型在 A 和 B 之间是五五开、不确定的。但这并不意味着它内部真的表征了这些完整的推理轨迹。
-
那意味着，如果从那个点开始继续推理，你会得到五五开的结果。
-
所以我最近一些工作一直在探索的一件事，就是更好地理解模型到底表征了什么。
-
而且其实，想直接从隐藏权重里解码出这些结果分布、这些 rollout 分布，是相当难的。
-
需要先说明的是，这可能只是数据不够的问题，而这些方法在推理层面的开销实在太大，所以很难收集很多数据。
-
所以这可能是数据问题，但另一种解释是，模型其实在不确定的时候，在对推理有点不确定的时候，并没有真正表征完整的推理链。
-
它们其实并不知道自己接下来会走到哪儿，这取决于它们会选哪个词。
-
但也许它们只表征了往前几步。
-
我现在在做的一个项目，差不多就是在研究这个，并且想说明你其实能在一定程度上解码出模型接下来会怎么做，而且你还能根据这个去引导采样。
-
在某种程度上，你还可以根据它们对那种最终结果的预测来引导采样。
-
但真要说模型在真正生成完整的推理链之前，到底有没有表征它，我其实不太这么觉得；但我觉得它们究竟表征了多少，确实还是个开放问题。
-
就像当一个模型可能走一条通向 A 的推理链时，它到底知不知道它可能会生成的那整个故事？
-
我的意思是，我不觉得它知道完整的故事，但我觉得有一个很妙的联系，可以跟人类认知理论联系起来，就是关于人怎么会——比如有很多关于数学家的东西，以及数学家是怎么……
-
当他们开始解一个证明的时候，当然，他们可能要花非常非常长的时间才能得到一个完整推导，但有时候他们脑子里会有一种高层的脚手架式的图景。
-
他们甚至在完成证明之前，就能看到这个证明的形状。
-
就像他们其实还没有走完从 A 点到 Z 点的所有这些步骤，但他们已经有某种高层的表征，知道那个分布的形状是什么。
-
我有点好奇，对 大语言模型s 来说是不是也是这样：它们其实有——它们可能并没有表征自己将要进行的完整故事或完整推理轨迹，但它们确实对可能走的高层路径有点不确定。
-
看几篇不同论文里的一些图，包括最近那篇 Forking Fast，那种突然的相变真的是一个极其惊人的结果。
-
你怎么理解这个？
-
首先，它居然会发生在一个像左括号这样的字符上，这就挺奇怪的。
-
总的来说，我们会不会觉得这些相变是发生在……你还有另一篇论文，讲的是至少某些思维链的那种表演性质。
-
这些相变是倾向于发生在之前还是之后？我确定应该是某种混合，但你可以想象一种展开过程：它一路往下走，到了思考得出结论的那个点，然后相变才发生，那就会挺奇怪的。
-
但反过来说，如果相变一开始就发生了，然后它们还得展开所有这些 token，而且是在已经发生相变之后才展开，让那种混乱进一步叠加，那也挺奇怪的。
-
我不觉得自己是那样做的。
-
有时候我也会，偶尔我会觉得自己有一种灵光一现、顿悟的时刻。
-
但更多时候，我觉得自己是在慢慢把飞机降落下来。而我也确实好奇，等我们转向循环模型时，我们看到的会不会相当不一样——就像我们现在可能已经在生产环境里用上 Astra 了，对吧？
-
如果你不用在每个时间点都选一个 token，那也许你就能慢慢走向一个结论，也许这样还更好。
-
这种突然在 token 层面发生的相变，总让人觉得有点奇怪，甚至有点不对劲。
-
也许并不是这样，但我希望看到的是，随着认知发生，变化是渐进的，这样对我来说会感觉好得多。
-
所以我想把这个问题明确一下：你是不是也和我有同样的直觉，觉得这些断崖式变化有点奇怪、或者说不对劲？
-
你是不是也希望看到飞机慢慢降落？
-
关于这些相变和展开过程里相关的部分——比如之前、之后或者别的什么——之间的关系，我们现在知道些什么？还有，等我们进入在潜空间里思考的时候，我们应该预期它会更难、更容易、更好还是更差？就先给你来几个简单题。对。
-
这些问题我都很喜欢。
-
我会尽量把它们都记在脑子里，但要是我忘了，请提醒我一下。
-
我觉得，关于我会不会被它们困扰这个问题，我一开始描述这个现象时，很多人都会有点不安，就像：哦，如果某个 token 不一样，实际上我就会得到一个完全不同的输出，那我们怎么才能把这些东西训练掉呢。
-
但我有点觉得，如果你真的去考虑输出多样性这个问题，如果你想让你模型做的事情有一些多样性，想让它做不同的事，而且想让它保持自洽，不想要那种纯属胡说八道的推理链，
-
那么我觉得，分叉可能就只是同时具备这两个关键要素后不可避免的一个性质。
-
而我最希望的是，我真的希望我们的用户界面能把这些东西呈现给我们；如果我们能把这种所谓的不确定性，哪怕只是一部分，呈现给用户就好了。
-
我是说，我之前提到过，早先有些界面会给你显示 token 的对数概率。
-
还有一种界面叫 loom，是由一个叫 Janus 的人开发的，他做过的一些东西影响了这项工作。
-
我真的很希望类似的东西能成为——更多地成为——我们和 OLMs 交互时用的标准用户界面的一部分，只不过是在语义这个层面上；我希望在我和 OLM 交互的时候，那些事情可能分叉、可能走向完全不同路径的点，能被高亮显示给我看。
-
我觉得，不管这个过程是渐变的还是突然的，如果确实发生了这种变化，而且你重新采样会得到非常不同的答案；也许如果是渐变的话，不同答案的分布在开始时还比较相似，但到后来，
-
它最后实际的分布可能和一开始非常不一样；但我觉得，我还是真的很希望看到这一点被呈现出来，而这就是我思考这件事的方式：不是把它当成一件必然会发生的、糟糕又可怕的事。
-
就像是突然来了个急左转，而你根本不知道。
-
我觉得，我个人的希望是，不管是一次急左转还是一次渐进的左转，你知道，它其实都能以某种方式呈现给用户。对了，你能再提醒我一下你另外两个问题吗？
-
对，这差不多是下一个问题：相变在 rollout 时间里是怎么发生的？
-
它们和看起来相关的文本之间有什么关系？对。
-
所以我觉得，至少就我看过的东西来说，它出现的方式真的各种各样，有各种版本：有时候发生在 rollout 的开头，有时候在结尾，有时候在中间。至少在那篇更早的论文里——再说一次，那是一个现在已经有好几年的模型——有相当多，
-
开头和序列结尾处更多一些，但这也随任务不同而变化。
-
而且中间也有很多变化。
-
我是说，我觉得，我觉得我从这里面得到的一个很大的启示是，真的每一个、每一个输入行为都能讲出它自己的故事。
-
并不是总会有这种戏剧性的不确定性动态；但一旦出现，真的就是，它真的取决于你看的是哪个、哪个输入和哪条推理链，它真的、真的有自己的故事要讲。
-
而且，而且我觉得，如果你往表面下面看，有时候会有——有很多情况是，你能看到某一步推理本来真的可以、本来可以不一样，而模型对这一步确实是不确定的。
-
而且有时候，我觉得有一件事是可以缓解的，也许我们会希望通过训练稍微去掉一点，那就是这种突然分叉发生在一些意想不到的 token 上；我觉得这在某种程度上说明了 大语言模型s 在文本里有一些奇怪的偏见，比如说可能那个开
-
括号 token，那里就有一个，像是整个人类互联网里某种奇怪的偏见：有很多文本会用“千瓦时”，然后括号里写 KWH，而这恰好以某种有趣的方式和某个语义相关。我觉得，如果这类东西少一点，那就会——会好得
-
多。
-
如果这种分叉真的发生在对人来说可解释的点上，我觉得、我觉得那会更好，但我觉得
-
关于你说的——你说过，如果有时候在序列结尾出现这种变化，你会觉得有点让人不安。其实我，你会经常看到这种情况：当一个模型似乎非常不确定
-
正确答案是什么，而且它就是不知道；也许就像，如果你做一堆 rollout，其中有一个答案的概率更高，
-
但你会看到一种很常见的模式：不确定性会保持稳定，直到某个点，它突然崩塌，然后变得完全确定。
-
有时候，那真的就是它终于说出“答案是……”的时候。
-
而那真的就是，它在那个确切的点之前都一直非常不确定。
-
我是说，之前一个有点好笑的例子是，当时有个叫 last letter 的任务，是用来测试当时的 大语言模型 的。
-
我敢肯定，现在所有最先进的 大语言模型 都能毫无问题地做出来，但这个任务就是拿四个词，取每个词的最后一个字母，然后把它们拼起来。
-
而当时的模型做这个非常吃力。
-
有些推理链挺搞笑的，但它甚至会写类似 Python 代码来解这个问题。
-
然后它最后会说，好吧，答案是……，而当你去看它可能走的不同路径时，
-
其实真的就是，这些不同的最终字母答案，都是从这些词里面有点随机抽出来的；而且真的就是在说出最终答案的那一刻，有点临时现编，是的，
-
我觉得，就像，我觉得把某种对确定性的理解呈现给用户，是我真的希望在用户界面里能多看到的东西，我是说，
-
我觉得这种分叉的一大问题——就像我们在 forking fast 这篇论文里，以及另一个关于从隐藏表示解码结果分布的项目里试图弄清楚的——是它非常昂贵。
-
它需要大量采样，才能得到关于推理的真实不确定性。
-
所以我觉得，forking fast 那篇论文里，我们的解决方案是用一些统计模型来建模这个分布，把它建模成在某些地方平滑、在另一些地方跳跃；这就像，如果你抽更多样本，这一点也会得到支持：它会变得更平滑，除了这些真正会突然跳变的关键点。
-
但说真的，做这件事最好、最高效的方法一直是用隐藏表示，如果我们能找到某种办法做到的话。
-
所以是的，我还是抱有希望，我们能拥有一个真的可以用隐藏表示进行非常高效的不确定性估计的世界。
-
而且，虽然我觉得这甚至更有希望，因为大多数提供商真的都只是汇聚到了这种聊天界面上，它感觉，我不知道，感觉非常……我觉得聊天界面有点缺乏灵感。
-
感觉它真的从 Eliza 时代以来就没怎么变过，你知道，那是 50 年或更久以前了，基本上就是文本输入、文本输出。
-
而且我觉得，在用户界面方面，我们能做的还有太多太多。
-
你知道，我真的希望我们能有点进入 GUI 的世界，而不是用 bash 终端那种方式跟聊天交互，并且能以一种精致而连贯的方式给用户提供更多信息。
-
就在过去几天，在线圈子里，出现了对‘随机鹦鹉’这个梗的悼词之类的。
-
而且在某种程度上，你是在说它也许还没有完全死掉。
-
我猜，关于这种重新生成 token 的一种理论是，概率在我们生成 token 时其实并没有真正变化，然后在这段话的末尾突然一跳，这时候就有点像木已成舟了。
-
对这件事的一种解读会是，你漏掉了某些东西。
-
在底层还有更多事情在发生，有什么东西在改变，而且它一定是更渐进的，只是你还没发现而已。
-
另一种解读会是，不，这件事其实一直到最后都是不确定的，然后我们随机选了一个特定的 token，而正是这个选择导致了行为上的差异。
-
在不同情况下会不会两者都成立？那是不是还留下了一些空间，我们是不是还应该给随机鹦鹉留一点空间？我不知道。
-
我觉得随机鹦鹉这个比喻大概可以就此安息了。
-
我前面稍微用过它一下，那是来自我博士早期从认知科学家和心理学家那里听到的一种批评，他们觉得 大语言模型s 研究起来没意思。
-
但我觉得这其实是一个相当浅薄的论点，并没有真正说明什么。
-
我的意思是，我觉得这有点像中文房间式的论证，里面有一本巨大的书，把例子都记住了。
-
但我觉得，这就像是在问，那本书里到底发生了什么，才让你能进行对话；不管这些鹦鹉在做什么，那都非常非常有意思。
-
不管具体是怎么回事，我并不真的觉得“它只是一个巨大的查找表”这个想法站得住脚。
-
而且我觉得，也有非常多研究显示出连贯的世界模型。
-
我的意思是，你提到了 Othello GPT，但还有很多研究，是通过观察表示，以及在 大语言模型s 里观察表示，来表明这些是非常结构化的世界模型。
-
而且在某个点上，学习世界模型比学习一个巨大的查找表更高效。
-
但话又说回来，我确实觉得随机性和采样仍然是这个等式里不可或缺的一部分。
-
而且它某种程度上必须是这样，如果我们想要一些……如果我们想要输出多样性，如果我们想要模型能够做不同的事情，如果我们还想要它们有不确定性，也许，也许会有一种情况，就是它们直接把这种不确定性说出来。
-
但如果我们不想让它们每次在有百分之百确定性时都只是守住自己的推理，那就还是得有一点这种，我觉得，像抛硬币、然后沿着一条路走。
-
我觉得，越能把这一点呈现给用户，越能让用户知道模型对它当成事实报告出来的东西到底有多不确定——而那可能其实是幻觉——如果人们能知道这些，那就越好。
-
但没错，我觉得随机性绝对没有死。
-
你之前提到过循环 transformer 这个概念，而我觉得，在我们可能正随着 GPT-Astra 迈入的潜空间思维链这个世界里，循环 transformer 真的像是在很大程度上推动了这件事，尤其是在效率方面，而不只是性能。
-
我觉得这真的是我现在花很多时间想要弄明白、并把它跟我对 大语言模型 的心智模型联系起来的东西，因为现在从某种意义上说，推理可以在这个确定性的前向传播过程中发生。
-
我是说，也许它是循环的，也许它有一定程度的深度，但从某种意义上说，它其实就只是确定性的。
-
就好像，整个权重就只是在那里做计算。
-
而且，呃，但我最近在做一些，像是分叉路径分析，对象是我能找到的那些，呃，开源 loop transformer。
-
比如有一个系列叫 Oro，而且你确实能看到一些很有意思的不确定性动态。
-
当模型在做完这种潜空间推理之后，在它们的推理链里生成 token 时，它在不同答案之间仍然是不确定的，而且它仍然会在某些特定的 token 上发生变化，
-
所以也许心智模型会稍微转变一点，就在于有多少思考其实只是发生在那条 token 流里；但接下来，如果模型有一些不确定性，如果它在自己的潜空间思维链里探索不同的可能性，也许仍然会发生的是，当它在生成回应时，它仍然……
-
在做这种像抛硬币一样的下一个词预测。我不知道，也许……我觉得也许这是件好事，它肯定有助于我的心智模型，但我觉得这种……
-
我不想生活在一个这样的世界里：如果你给完全一样的输入，你总是从模型那里得到完全一样的输出。感觉就像，如果我们处在那种正在发生的世界里，那么……
-
就没有视角的多样性了，我们就真的只有……那就像是模式崩溃最极端的版本，你知道，就像你的一个输入只会给你一个输出。而且，呃，我我我不觉得潜空间思维链……
-
会完全改变这一点，因为你最终还是会进入这种采样 token 的模式。
-
但没错，它可能会以一些相当剧烈的方式改变这一点。
-
所以没错，我还是在试着，试着弄明白这件事，试着想，潜空间思维链里面到底在发生什么？
-
以及我们该怎么用手上的一些工具来理解这件事？
-
甚至包括我们作为科学家用来理解模型的一些隐喻。
-
你有直觉，知道为什么思维链变得怪怪的吗？
-
很明显，思维链里发生的是一种相当不同的方言，或者说处理信息的方式，带着所有这些像是视角、错觉、免责声明之类的东西。
-
我们现在在 Astra 身上也看到了这一点，就是它给子代理发消息的方式。我原本天真地以为，那一定是某种长度惩罚，或者简洁性奖励之类的东西。但后来看起来好像不是，因为大家在数 token，说你其实完全可以用更少的
-
token 把话说出来，所以这仍然是个谜，我不知道 OpenAI 是不是有更好的解释，但他们肯定一直在说：我们正在调查这件事，这很重要。
-
我们想弄清楚为什么会这样。你有没有什么直觉可以分享，让大家也许能从中得到启发、顺着追下去？
-
把它扔进 Nobody AI 的待办池里，看看那儿到底是怎么回事。嗯，我觉得，我觉得推理其实带来了一个特别有意思的挑战，就是分布偏移：一般来说，做 RL 的时候，不管你是用单个模型，还是用
-
子代理的时候，并不一定有什么动力让这些东西保持人类可读，对吧？因为目标就是要找到、要拿到最终结果——如果做的是结果层面的验证，而不是过程层面的验证，那你的目标基本上就是用尽一切办法，得到一个更好的最终答案。
-
这有点让我想到人类的语言演化：如果你把时间尺度拉得足够长，人类语言是会变的。
-
其实并没有什么驱动力逼着英语非得和今天一模一样，或者和三百年前、六百年前一模一样。语言就是会变。
-
我是说，也有例外，比如据我了解，法国政府有一个机构，某种程度上就是为了让语言保持现状，而且已经存在很久了，某种程度上抵抗了语言演化的力量。
-
但这种事自然会发生的。
-
而且我是说，我觉得也有类似的小型缩影，有时候会被研究，比如那些没有语言的社群，他们需要发展出自己的语言，你能看到它仅仅在几代人之间就演化了，甚至用不着几百年。
-
但然后我觉得，这里也有点古德哈特定律的味道：如果你针对某个目标去优化，那这个目标就不再是有用的指标了。
-
类似地，如果你优化的是让思维链可被监控，那有时候思维链反而会变得更不忠实，最后你得到的就是一个不同的目标函数，它现在优先考虑的是：我要学会那些看起来合理的中间步骤，不管它们是不是真的合理。
-
我觉得不幸的是，这就是我们在 RL 里面对的情况：我们某种程度上给了模型这种自由，就是如果我们只根据最终结果给奖励或惩罚，那它们完全可以用奇怪的非人类语言跟自己的子代理交流。
-
然后如果我们强迫它们用人类语言说话，也许它们使用词语的方式和我们预期的不一样，实际上它们是在以某种方式绕过监控。我是说，我觉得我对这个问题的看法在过去一年左右发生了很大的转变，我以前非常看好
-
思维链监控这件事很有前景，就算它不是完全忠实，它还是能在很大程度上决定模型能做什么。但后来，有些……比如说有那篇关于被盗思维链的论文，展示了 GBT 模型的一些思维链。
-
然后它们就像，它们聊音乐剧的方式让人感觉，感觉几乎像间谍暗语：你说的是“音乐剧”，但实际上你指的是非常邪恶的东西。
-
而且这种事发生得很多。
-
我觉得事后回头看，为什么会这样其实挺明显的。
-
因为再说一次，如果你在做 RL，你就是在让模型以一种极其激进的方式，偏离它们训练时所在的分布。
-
所以我也说不准。
-
我不……我觉得我还是，我还是挺喜欢有思维链的，也喜欢事情确实会被逼进一个 token 流里。
-
就算它更难读，我也愿意相信它更容易理解。
-
就像一种由 大语言模型 生造出来的语言，可能还特别有意思。
-
我是说，单从科学角度讲，我有点，我真的很想搞明白 Astro 是怎么跟它的子智能体交流的。那挺酷的。
-
比如说，如果这、如果不是单纯因为长度惩罚在逼着它这样，那这到底是怎么变的？
-
而且我们能不能看看它一代一代的版本，就纯粹从科学上把它搞明白？
-
而且这大概也会对监测和理解这些、这些新语言很有帮助。
-
但那样的话，是啊，我们可能——还是回到这个隐式思维链的点——我们会进入一个思维链是隐式的、规划器跟子智能体怎么交流也是隐式的世界。
-
我……从本质上讲，没有理由非得是 token。
-
再说一次，我，我，我还是希望它保持是 token。
-
我觉得那里面还有另一层可解释性，而且有非常有意思的科学问题值得研究。
-
但是啊，我觉得并没有什么真正、真正的强制机制，能让这些东西一直保持得很好、又能让人解释。
-
而如果我们加一个强制机制，那也许它们就不再是人类可解释的，或者它们真正的含义已经跟以前不一样了。
-
所以，如果我想把你刚才说的，关于思维链里以及智能体跟智能体之间语言这种快速、剧烈演化，跟你早先说的东西对上，
-
你早先关于为什么持续学习不会让事情变得完全没法规解释的看法，这只是规模大小的问题吗？
-
是不是说，你的模型在持续学习的时候，会陪伴你没那么久，你知道，大概就是人类尺度的那点时间。
-
而这还不足以让所有东西都彻底被挤出我们作为基线能理解的那些、那些表征；可那些 RL 训练运行实在太大了，基本上是在按地质时间尺度运作。
-
所以，就算这些漂移积累得很慢，它们加起来也会变成前后差别大到惊人的东西——这是你会给出的说法吗？
-
还是说，会有另一种方式把这两种分析给综合起来？
-
先说清楚，你讲持续学习的时候，你指的是我们会真的给每个人微调模型的那种世界，对吧？
-
而且实际上会去改它们的权重。是这样吗？对，我觉得是这样。
-
我不知道，持续学习就按你说的来。但我只是，谁知道呢，对吧？
-
谁知道等它真发生的时候，最后会是什么样呢。
-
但你刚才说，上下文总是会改变表征，它可能不会改变太多，可是看起来 RL 这件事里的某些东西把它们改变得相当大，有，有那种……
-
从性质上说，哇，这跟以前比简直差别大得吓人，我猜这只是规模的问题，因为你是，对啊，如果只是一段时间里只有你和你的智能体，那当然可能会有一些扰动，或者表征可能会稍微变形一点，但你就一个人，不会把它推得
-
太多；而无数轮 RL 回合累积起来，却能造成很大的变化。
-
所以你看，就是这样，也许不再需要什么探险了。
-
所以我觉得这是个非常有意思的点，就是可能在 RL 过程中，表征实际上变化很大，因为这些语言本身也在变。
-
但我的意思是，我觉得唯一的办法，就是去研究那些我们研究不了的模型，对吧？
-
去研究这些藏在紧闭大门后面的模型，实际追踪它们在表征层面到底发生了什么。
-
但我觉得，我当时关于持续学习的回答，说的是模型内部的表征，而不是它们会说哪几种语言。
-
我是说，假设有一群人说的是某种语言里非常非常罕见的一种方言，可能只有大概 200 个人会说之类的，而且也许他们还在努力让这门语言存续下去，于是他们会对模型做一些微调，好让它会说他们的语言。
-
就算那样，我也会觉得，模型的大部分内部表征，也就是它怎么理解世界之类的这些东西，还有它为了有效运作而发展出来的所有那些内部世界模型……
-
我会觉得，这些东西很多都保持不变，但表面那一层的映射是在变的，对吧？
-
就像有一些很经典的东西，比如颜色空间，还有不同语言是怎么划分颜色空间的，对吧？
-
而我会打赌，随着模型学习不同的语言，颜色空间……
-
我的意思是，有意思的是，语言可能实际上反映了人们有不同的认知偏差，而这可能确实代表着世界模型本身的一点转变，但我会觉得，其中很多其实像是输入输出映射的变化，
-
也就是说，这有点像学一门新语言，但很多内部表征还是挺相似的。
-
但然后，对，我的意思是，老实说，这是个很好的问题，我自己就特别希望能研究它，就是能真正搞清楚，在 RL 的过程中表征到底是怎么变化的。
-
而且当，当模型，比如如果你能测量它们的语言变得有多奇怪，就像表面之下正在发生什么，是真的有更深层的变化在发生，还是说，当这些子智能体进入那种被压得特别紧的伪语言时，它们是在发展出……
-
还是内部表征在大幅转变，变得不一样了？也许吧，也许不是。
-
我真的很想知道。对。对。
-
这是个很好的点，我觉得有相当多证据支持这个想法：内部表征是高度保守的，甚至在一大堆不同语言之间，甚至是跨不同语系的语言之间，也是这样。
-
等等，等等。所以对那个问题来说，这是个相当好的观察。那我们接下来往哪儿走？
-
我们，我们现在正处在这样一个时刻，就是？
-
我们正急着把对各种重要系统的很多，比如说，近端控制权交给 AI，我们会用语言把任务交给它们，然后它们来做所有实际的工作，而我们对这件事并没有很好的说明，当然，有采样过程，可是……
-
在一个分布上，但当我们碰到这些关键 token 时，我们似乎仍然没有很好地解释：我们之后用来采样的那个分布，到底是怎么被决定的。那我们要怎么去把它弄明白呢？
-
嗯，我的意思是，我们就需要更多可解释性研究。
-
我觉得这就是——就是，这就是我，我已经得出好一阵子的结论了。
-
我的意思是，我觉得我们就像在赛跑一样，要提出能跟得上这些模型的理论框架和实证工具。
-
但是，拿现在为了让模型变得更好而投入的资源，和为了理解它们而投入的资源一比，这简直，这根本没法比。
-
你知道，有那种市值万亿美元的公司，它们，它们，它们在生产这些模型，而 AI 整体就是，你知道，好几万亿美元，而我在的这家，可能是最大的一家可解释性公司，也许吧。
-
也许是唯一一家估值超过十亿美元、还算有分量的公司，而我觉得这是件大事，对吧？
-
十亿美元对公司来说是一大笔钱，但我觉得，这里就是没有足够的投入。
-
而且，而且不只是产业界，学术界也一样。
-
我的意思是，我觉得学术界有很多很棒的研究正在进行，而学术界一如既往地，就像，资金严重不足到离谱。
-
而且，呃，不幸的是，至少在美国，看看政府现在的状况，还有学术界的经费，这，这变得越来越难了。
-
所以，所以我也真的，我愿意相信，这个问题在很大程度上能靠资源、靠投入更多资源和时间来解决。
-
而且我觉得，对，我觉得我们基本上就是在，对，在赛跑，在赛跑，要跟上这一切并理解这些模型，呃，而且说清楚一点，我觉得当我说可解释性的时候，我并不是，我也不想让人觉得我像是在排除评估。
-
因为我觉得这些都属于理解 AI 的同一个大谱系。
-
而且，我前面描述的那些工作，就是理解思维链、做这种重采样，原则上其实是行为层面的。
-
而当你看到这些类似上下文学习的动态时，你是能从行为上看出来的。
-
我是说，去看模型内部的表征也同样特别关键，这样你才能做事情，才能知道表面之下在发生什么，而那些东西可能并不明显，也才能把事情做得更高效。
-
而且，呃，而且我觉得，这两个点，就是往表面之下看和高效做事，真的太重要了，对吧？
-
比如，如果你想大规模地做事，你就得高效地做事。
-
你不能，你不能低效地做事，尤其是当它发生在每个人的机器上，或者你每次都在跟一个 大语言模型 对话的时候。
-
所以我觉得，我们真的需要更多能规模化的工具，也需要更好的理论基础，好把这些理论整合起来，真正理解一个 大语言模型 里从头到尾到底在发生什么。
-
而且我们需要更好地把握，这样才能回答那些重要的高层问题；现在这些问题太关键了，因为我们正把重要权力杠杆的控制权交给 AI，把大量认知劳动也推给它们。
-
甚至学生们也在用它们学习一门学科，把自己的一部分认知努力外包出去。
-
我就觉得，理解 AI 是，是，在我看来，这就是你现在能研究的最重要的话题，也是绝对最有意思的话题之一。
-
所以我希望我们能有更多这样的东西，就是对 AI 更多的理解，不管那具体意味着什么。
-
对 Silico 用户有什么建议吗？
-
先说最明显的，我觉得这整件事有时候有点荒诞。
-
但显然，其他条件都一样的话，我们不妨也让智能体来应对这个可解释性挑战。
-
上次我跟 Dan 聊这个已经太久了，那时候 Silico 才刚推出这个，你们整体上有没有学到什么？你们学到了什么？
-
我该确保带什么去参加我的 Silico 会话，才能让我宝贵的研究单元发挥最大价值？
-
当然，我这里的想法我觉得也适用于其他智能体，不只是 Silico。
-
我觉得很容易让人想干脆把整个项目交给智能体，然后就说，你知道，把这个大的开放性问题搞明白，跑起来，让它跑一大堆实验，看看出来的一堆图表，还有一堆类似描述。
-
但我觉着，智能体真的很容易有点迷失在里面，很容易搞出一些还没完全成形、或者不太说得通的理论；而我觉得，用智能体最好的方式，就是给它们一点点引导。
-
我觉得，一如既往，上下文就是一切。
-
如果你给的问题描述得特别不清楚，你得到的输出可能就会有点怪。
-
所以我尽量，在跟我的智能体说话的时候，给它们提供上下文。
-
每次我说、我在描述——比如“不，这好像不太对”，或者“也许我们该这么做”——我其实都是在把我的逻辑讲出来。
-
我是在说，这里哪里看起来不对，以及为什么。
-
这是我想做的事。
-
这是我接下来要做的事。
-
这是我大方向上的目标。
-
而让这个一直保持下去，嗯，我觉得对智能体真的、真的很有帮助，因为，呃，你知道，最近有个视频，讲的是当智能体集群里的一个智能体是什么感觉：你就好像在一座图书馆里醒过来，然后你只能想，搞什么鬼，而且，而且这非常，
-
是从第一人称视角拍的，然后就是想想智能体到底是怎么进到这些集群里的。
-
但说真的，如果你只是一个智能体，在一个全新的上下文里醒过来，根本不知道这个世界是怎么运作的，那你确实需要上下文。
-
它，它真的就是一切。
-
所以，嗯，我觉得试着，试着给点引导，试着真的把上下文补全，让模型知道、至少有点概念：你为什么在做你正在做的事，或者当出问题时，为什么会出问题。
-
我觉得，我觉得这些，这些都真的很重要。
-
然后我觉得，嗯，我觉得在某种程度上，自己来雕琢科学叙事，真正把核心主线想出来。
-
当我做这篇 forking fast 论文的时候，所有研究完全是由 Silico 做的，而且特别棒，就，全都在一周内搞定了，用这个、这个研究智能体是个巨大的加速器；在那之前，有好多不同的支线任务，我算是开始往那些方向走，而它们有点
-
没什么进展，也没有很快有结果；然后对我来说，一旦我做了真正高采样的实验，看到曲线很平滑，我就一下子想通了，心想：嘿，也许我可以对这个用一个统计模型，这样效率会更高。
-
所以，嗯，我有个同事是这么说的：在这个智能体的世界里，你会看到很多东西冒出来，有时候看起来，看起来特别好，但等你深入表面一看，就有点，有点可疑，或者，你知道，怎么说呢，
-
你不太确定它到底在做什么；就像研究品味和科学品味就是一切，价值千金。
-
所以，你越能做到这一点，我觉得这算是，你可以说，这是一个缺点：智能体还没完全到那个程度，还做不到自己完成这件事。
-
但我觉得，说实话，这是做科学最有满足感的部分之一，它也塑造了我看待世界的方式，以及我在使用智能体时怎么看待它们。
-
而且很好的是，还有一个我觉得对人类非常重要的角色：有自己的品味，把品味用起来，跟踪正在发生的事，并给出反馈。
-
我觉得用 Silico 有点像在跟一个特别热切的一年级、也许是二年级博士生合作：他有很多技能，也很努力，但也不总是清楚自己在更大的图景里到底在做什么，就像刚读研的学生可能也会这样。
-
我敢肯定，读研刚开始那会儿，我跟导师聊天时，肯定有过这种时候：他把我派去做某件事，然后我回来说，哦，这些结果挺酷的，但我不确定它们到底是怎么回事，我会试着再搞懂一点，不过你知道，我觉得，
-
我觉得能处在这样一个位置真的很令人兴奋，而且仍然扮演着这么重要的角色。
-
然后，是啊，我觉得，是啊，我的，我觉得，我觉得也许这算是我最大的建议：就是守住你的科学品味，并且试着参与到研究里去。不错。最后一个问题。
-
除了 大语言模型s 怎么做决定之外？
-
这些天午饭时和 Goodfire 里最热门的话题是什么？
-
我觉得，从夏天以来有两个大热门，它们变化很大、来势很猛，或者说，当然有智能体做可解释性这个想法，就是你刚才跟 Silico 聊到的那个；然后我现在也在另一个项目里做很多这方面的事，而且，嗯，
-
而且这确实看起来，你知道，如果我们，如果我们想让可解释性跟上这个领域飞快的速度，这也许是我们唯一能真正跟上的办法：把其中一部分自动化，并弄清楚怎么把可解释性标准化成一种，
-
一种常规科学，在那里，会有几乎像是这种有趣但无聊的实验，你可以对很多不同的、但有点相似的现象做这些实验，可实际上它们还是真的能帮你。
-
描绘出神经网络到底是怎么运作的更大图景。
-
但是啊，我觉得我们聊的正是这类话题，比如，我的意思是，我前几天刚跟人聊过，你知道，我怎么才能用 Silico 做好研究？
-
我在这里给了一个类似的回答。
-
还有聊到智能体怎么把可解释性自动化。
-
显然，这在推动 Silico 的时候是个大事。
-
另一个内部的重大推动，最近一直围绕着对齐，以及我们公司朝这个方向的转变；我觉得这一直是公司里很多人都感兴趣的事，而对可解释性感兴趣的人，跟那些至少
-
在一定程度上，以及对齐和安全这类问题感兴趣的人，重叠度非常高。
-
我的意思是，这有点像，我刚开始接触可解释性的时候，我参加了哈佛的一个 AI 安全团队，那儿的定期读书会就是我学到很多可解释性知识的方式；我觉得这些都是非常重要的问题，但我觉得真的，Hugging Face 那件事是一个
-
巨大的，你知道，分水岭时刻：人们在乎这件事，这不只是我们在乎、觉得它非常重要、然后一直在等一个时机的事，而是这个时机已经到了；所以是啊，围绕对齐的讨论多了很多，还有各种各样，你知道，
-
你可能预期会有的那些东西，比如，对齐有不同的种类吗？
-
所有价值观都是对齐到同一个东西上吗？
-
你可以为这件事制定通用标准吗，还是说它取决于一群人、一家公司，或者甚至一个政府想给他们的模型灌输什么样的价值观？
-
而且，我觉得还有跟对齐有关的一些根本性问题，我是说，比如奖励黑客这些事，还有当模型出问题、可以说在做坏事的时候到底发生了什么，真的很容易就滑进那些很深的问题里，比如说，
-
模型做这件事的时候是有意图的吗？
-
如果模型做出这个看起来不对、但又符合你指定的特定行为，那它进行奖励黑客到底意味着什么？
-
你知道，它遵守了法律的字面，却没遵守法律的精神。
-
这算奖励黑客吗？
-
是啊，我觉得对齐这个领域一直充满了这种特别吸引人的问题。
-
所以我觉得，既有理论上的问题，也有实证上的问题：从理论上说，这意味着什么？
-
目标和意图到底是什么？
-
怀着不良意图，或者说去欺骗，到底意味着什么？
-
然后还有实证问题，把这些真正落到实处，比如说，你怎么测量它？
-
你怎么确保自己测量的是真正的坏行为，而不只是某种简单的错误泛化？
-
你怎么给出正确的目标、正确的奖励，好让模型去，你知道，好让你以正确的方式塑造它的行为？
-
所以我觉得，这是现在非常普遍的两个主题。
-
而且我觉得，还有你可能预料到的各种东西。
-
我是说，我们会聊，你知道，中国的模型会不会在美国被封禁，开源模型能不能留下来，还有外界正在发生的所有这些对话，关于，关于 AI 和新模型发布。
-
你知道，我觉得像后期思维链这种东西，你知道，我们最近聊得很多。
-
我们怎么开发新的可解释性方法，来跟上它，或者说跟上正在发生的情况？
-
对了，你看到那篇讲思维链被偷的论文了吗？
-
你见过这些吗，Astra 说起它的子代理时提到的那些伪语言？
-
你知道，我觉得我们都在努力摸准脉搏，跟上外面世界上正在发生的所有这些特别令人兴奋、有时候又很吓人的东西。
-
能成为这样一个地方的一分子，真的很让人兴奋，因为我们不是远远地旁观，而是真的——我们的一部分职责就是去想办法解决这些问题。
-
而且，呃，对，在这样一个地方工作很有意思：可解释性，甚至对齐相关的东西，几乎都成了饭桌上随口聊的话题。
-
你知道，我，我兄弟有时候会给我发消息问，嘿，你听说那个大新闻事件了吗？
-
我就会说，对啊，我们上班的时候可没少聊这个。
-
而且，呃，我对此也有一些想法，但这些事变成这么，你知道，
-
大的事情，现在真的会对现实世界产生影响。而且，希望 Hugging Face 那件事只是一次鸣枪示警，但是，我，我不知道，如果投资或技术，或者两者，没有巨大变化，那不幸的是，可能，可能还需要更多这样的事。呃，但同时也真的很让人兴奋的是，能有
-
这些问题中的一些，既如此重要，而且我觉得也如此有趣，能成为主流。
-
是啊，这阵子真是够疯狂的。
-
你手头的事已经够多了，所以我真的很感谢你今天这么慷慨地腾出时间。
-
用我爸引用 Leslie Nielsen 的话说，我该让你回去工作了。
-
祝你好运，我们都指望你了。
-
那么现在，我就说，Eric Bigelow，谢谢你参与 The Cognitive Revolution。非常感谢你邀请我来。
-
如果
-
你从节目里获得了价值，希望你能花点时间分享给朋友，发到网上，在 Apple Podcasts 或 Spotify 上写个评价，或者直接在 YouTube 上给我们留言，我们会很感激。
-
当然，我们一直欢迎你的反馈、嘉宾和话题建议，以及赞助咨询，可以通过我们的网站 cognitiverevolution.ai，或者在你常用的社交网络上给我发私信。
-
The Cognitive Revolution 是 Turpentine Network 的一部分，这是一个现在属于 A16Z 的播客网络，专家们在这里聊技术、商业、经济、地缘政治、文化等等。
-
我们由 AI Podcasting 制作。
-
如果你需要播客制作方面的帮助，从你停止录音的那一刻，到你的听众开始收听的那一刻，所有环节都涵盖，去看看他们，并在 AIPodcast.ing 上看我的推荐。
-
也感谢每一位听众，感谢你们参与 The Cognitive Revolution。