上周能参加Dwarkesh的节目，我感到非常荣幸，我觉得那些问题和对话都非常棒。
我刚才也重新看了一遍那期播客。首先，是的，我知道，而且很抱歉我说得太快了：)。这对我自己也不利，因为有时候我说话的速度超过了我思考的速度，所以我觉得有些解释因此搞砸了，而且有时候我也担心自己跑题太远，或者在一些相对无关紧要的事情上陷得太深。总之，这里有一些笔记/提示：
AGI时间线。我对AGI时间线的评论似乎是早期反响中最受关注的部分。这就是“智能体十年”的说法，参考了这条推文 https://t.co/NiSn6jftqq 基本上，我的AI时间线比你在旧金山AI家庭派对或推特时间线上看到的要悲观5-10倍，但相对于日益高涨的AI否认者和怀疑者浪潮，仍然相当乐观。这种明显的矛盾并不存在：在我看来，我们同时1)看到了近年来LLM的巨大进步，而2)仍有大量工作要做（琐碎的工作、集成工作、连接物理世界的传感器和执行器、社会工作、安全与安保工作（越狱、投毒等）），以及研究，才能拥有一个你愿意在世界上任意工作中雇佣而非人类的实体。我认为，总的来说，10年对于AGI来说应该是一个非常乐观的时间线，只是与当前的炒作相比，感觉并非如此。
动物与幽灵。我之前在Sutton的播客上的文章 https://t.co/rSp1noyGBr 。我怀疑是否存在一个简单的算法，你可以把它放到世界上，它就能从零开始学习一切。如果有人构建了这样的东西，那我就错了，那将是AI领域最令人难以置信的突破。在我看来，动物根本不是这样的例子——它们通过进化被预装了大量智能，而它们所做的学习总体上非常少（例如：刚出生的斑马）。戴上我们的工程帽子，我们不会重新进行进化。但通过LLM，我们偶然发现了一种替代方法，可以在神经网络中“预装”大量智能——不是通过进化，而是通过预测互联网上的下一个词元。这种方法在智能领域产生了一种不同类型的实体。不同于动物，更像幽灵或灵魂。但我们可以（而且应该）随着时间的推移让它们更像动物，在某些方面，这正是许多前沿工作所关注的。
关于强化学习。我已经批评过强化学习几次了，例如 https://t.co/mYrMFVdVDW 。首先，你是在“通过吸管吸取监督”，所以我认为信号/浮点运算比非常糟糕。强化学习也非常嘈杂，因为一个补全可能包含很多错误，这些错误可能会被鼓励（如果你碰巧得到了正确答案），反之，深刻的见解标记可能会被 discourag（如果你碰巧在后来搞砸了）。过程监督和 LLM 评判也有问题。我认为我们会看到替代的学习范式。我长期看好“智能体交互”，但看空“强化学习” https://t.co/2L7FiaoKsw 。我最近看到许多论文，在我看来，它们沿着我所谓的“系统提示学习”的正确方向前进 https://t.co/df5mJDdN3C ，但我认为 arXiv 上的想法与前沿实验室中大规模、通用有效的实际实现之间仍有差距。总体而言，我非常乐观，认为我们很快就会在这方面取得良好进展，例如，我甚至可以说 ChatGPT 记忆等是新型学习范式的原始部署实例。
认知核心。我之前关于“认知核心”的帖子：https://t.co/q2s1ihGy0T ，其想法是精简 LLM，使它们更难记忆，或主动剥离它们的记忆，以使它们更好地泛化。否则，它们会过度依赖记忆的内容。人类不容易记忆，这现在看来更像是一个特性而非缺陷。也许无法记忆是一种正则化。还有我之前关于模型规模趋势是“倒退”以及为什么“模型必须先变大才能变小”的帖子 https://t.co/6k0FZRGXsb
穿越到 Yann LeCun 1989。这是我在播客中描述得非常仓促/糟糕的帖子：https://t.co/fQgqaXPyp6 。基本上——利用 33 年的算法进步知识，你能将 Yann LeCun 的结果改进多少？结果在多大程度上受到算法、数据和计算各自的限制？那里的案例研究。
nanochat。我对 ChatGPT 训练/推理流程（基本要素）的端到端实现 https://t.co/SIetgyoKWN
关于LLM智能体。我对这个行业的批评更多在于，相对于当前能力，工具被过度设计了。我生活在一个我视为中间阶段的世界里，我想与LLM协作，我们的优缺点相互匹配。而行业则生活在一个未来世界里，完全自主的实体并行协作编写所有代码，人类变得无用。例如，我不想要一个智能体离开20分钟，然后带回1000行代码。我当然也不觉得准备好监督10个这样的智能体。我希望以我能记住的块为单位进行，LLM解释它正在编写的代码。我希望它向我证明它做的是正确的，我希望它拉取API文档并向我展示它正确使用了它们。我希望它减少假设，并在不确定时与我询问/协作。我希望在学习过程中变得更好，成为一个更好的程序员，而不是仅仅被提供一大堆据说能用的代码。我只是认为工具应该更现实地看待它们的能力以及它们如何融入当今行业，我担心如果做得不好，我们最终可能会在软件中积累大量垃圾，并增加漏洞、安全漏洞等。https://t.co/8556ESSpyY
工作自动化。放射科医生如何做得很好 https://t.co/FVUI872dkD 以及哪些工作更容易被自动化以及为什么。
物理学。儿童应该在早期教育中学习物理，不是因为他们要继续做物理，而是因为它是能最好地启动大脑的学科。物理学家是知识上的胚胎干细胞 https://t.co/p72Elk8lPV 我有一篇更长的文章，在我的草稿箱里写了大约一年，希望很快完成。
再次感谢Dwarkesh邀请我！