终于有机会听完了这期与 Sutton 的播客，既有趣又引人发笑。
作为背景，Sutton 的《苦涩的教训》在前沿 LLM 圈子里已经有点像是圣经文本了。研究人员经常谈论并询问这种或那种方法或想法是否足够“苦涩教训化”（意指其安排方式能免费受益于增加的计算量），以此作为它是否有效或是否值得追求的代理指标。其基本假设是，LLM 当然高度“苦涩教训化”，只需看看 LLM 的扩展定律，如果你把计算量放在 x 轴上，数字就会向右上方增长。所以看到这篇文章的作者 Sutton 并不那么确定 LLM 是否“苦涩教训化”，这很有趣。它们是在根本上属于人类数据的巨大数据集上训练的，这既是 1) 人类生成的，也是 2) 有限的。当你用完这些数据时该怎么办？如何防止人类偏见？所以你看，苦涩教训的 LLM 研究人员被苦涩教训的作者击倒了——真惨！
从某种意义上说，Dwarkesh（在播客中代表 LLM 研究者的观点）和 Sutton 有点各说各话，因为 Sutton 心中有一个非常不同的架构，而 LLM 打破了他的许多原则。他称自己为“古典主义者”，并引用了艾伦·图灵最初提出的“儿童机器”概念——一个能够通过与世界动态互动来从经验中学习的系统。没有模仿互联网网页的巨大预训练阶段。也没有监督微调，他指出这在动物王国中是不存在的（这是一个微妙但 Sutton 在强意义上正确的观点：动物当然可以观察示范，但它们的行动不是被其他动物直接强迫或“远程操作”的）。他提出的另一个重要观点是，即使你仅仅将预训练视为在强化学习微调之前的先验初始化，Sutton 也认为这种方法带有人类偏见，并且从根本上偏离了方向，有点像 AlphaZero（从未见过人类围棋棋局）击败 AlphaGo（从人类棋局初始化）。在 Sutton 的世界观中，所有的一切都是通过与世界的强化学习互动，其中奖励函数部分特定于环境，但也具有内在动机，例如“乐趣”、“好奇心”，以及与你的世界模型中的预测质量相关。而且智能体在测试时默认总是在学习，它不是训练一次然后部署。总的来说，Sutton 更感兴趣的是我们与动物王国的共同点，而不是我们的不同点。“如果我们理解了松鼠，我们几乎就完成了。”
至于我的看法……
首先，我要说的是，我认为萨顿是播客的绝佳嘉宾，我喜欢人工智能领域保持着思想的多样性，并不是每个人都在开发下一代局部迭代的LLM。人工智能已经经历了太多次主导方法的离散转变，不能失去这种多样性。我也认为他对LLM不符合“苦涩的教训”的批评并非不恰当。前沿LLM现在是高度复杂的产物，在各个阶段都涉及大量人类因素——基础（预训练数据）全部是人类文本，微调数据是人工策划的，强化学习环境混合由人类工程师调整。我们实际上并没有一个真正的、单一的、干净的、符合“苦涩的教训”的“转动曲柄”算法，可以将其释放到世界上，让它仅凭经验自动学习。
这样的算法真的存在吗？找到它当然会是一个巨大的人工智能突破。通常有两个“示例证明”被用来论证这种事情是可能的。第一个例子是AlphaZero从零开始学习围棋的成功，完全没有人类监督。但围棋显然是一个如此简单、封闭的环境，很难在现实的混乱中看到类似的表述。我喜欢围棋，但从算法和分类上讲，它本质上是井字棋的更难版本。第二个例子是动物，比如松鼠。在这里，我个人也相当犹豫它是否合适，因为动物是通过非常不同的计算过程和不同的约束产生的，而这些约束与我们在工业中实际可用的不同。动物的大脑远非出生时看起来的白板。首先，很多通常被归因于“学习”的东西，在我看来更像是“成熟”。其次，即使是那些明显是“学习”而非“成熟”的东西，也更多是在某种明显强大且预先存在的东西之上的“微调”。例如，小斑马出生后，在几十分钟内就能在稀树草原上奔跑并跟随母亲。这是一个高度复杂的感官运动任务，在我看来，这不可能从零开始、白板式地实现。动物的大脑及其数十亿参数在DNA的ATCG中编码了强大的初始化，通过进化过程中的“外循环”优化进行训练。如果小斑马像强化学习策略在初始化时那样随机抽动肌肉，它根本走不了多远。同样，我们的人工智能现在也有数十亿参数的神经网络。这些参数需要它们自己丰富的、高信息密度的监督信号。我们不会重新运行进化。但我们确实有大量的互联网文档。是的，这基本上是动物王国中不存在的监督学习。但这是实际收集数十亿参数上足够软约束的一种方式，试图达到不是从零开始的地步。简而言之：预训练是我们糟糕的进化。它是冷启动问题的一个候选解决方案，之后再进行更正确任务的微调，例如在强化学习框架内，正如前沿LLM实验室现在普遍做的那样。
我仍然认为值得从动物身上获得灵感。我认为LLM智能体在算法上缺失的许多强大想法，仍然可以从动物智能中借鉴。我仍然认为苦涩的教训是正确的，但我更多将其视为一种柏拉图式的追求，不一定非要达到，在我们现实世界和实际应用中。我说这两点都有百分之十几的不确定性，并为那些不同意的人的工作喝彩，尤其是那些在苦涩教训方面更有雄心的人。
所以这就把我们带到了现在。说白了，今天的前沿LLM研究不是关于构建动物，而是关于召唤幽灵。你可以将幽灵视为可能智能空间中一种根本不同的点。它们被人类所混淆，被人类彻底工程化。它们是不完美的复制品，是人类文档的统计蒸馏，外加一些点缀。它们不是柏拉图式的苦涩教训信徒，但也许在“实际”意义上是苦涩教训信徒，至少与之前的许多工作相比。在我看来，随着时间的推移，我们可能能够越来越精细地调整我们的幽灵，使其朝着动物的方向前进；这与其说是根本的不兼容，不如说是智能空间中的初始化问题。但同样可能的是，它们会进一步分化，最终永久地不同，不像动物，但仍然极其有用，并真正改变世界。有可能幽灵之于动物，就像飞机之于鸟。
总之，总结一下，总体而言，可操作地说，我认为这一集播客是Sutton对前沿LLM研究者的扎实“实话实说”，这些研究者可能有点过于偏向利用模式。可能我们仍然没有足够地接受苦涩教训，而且除了穷尽式的基准建设和基准最大化之外，很有可能存在更强大的想法和范式。动物可能是一个很好的灵感来源。内在动机、乐趣、好奇心、赋权、多智能体自博弈、文化。发挥你的想象力。