Alan Chan 谈 AI 智能体治理：监控、标识、失控与递归自我改进
点播放，字幕跟着声音走
Subtitles follow the audio
逐句文字稿
点任意一句，从那里开始听
正在加载字幕…
-
你好，欢迎回到《认知革命》。
-
今天的嘉宾是Alan Chan，Gov.ai的研究员，过去几年他一直在努力走在AI智能体治理这个问题的前面。
-
考虑到今年夏天发生的一系列事件，这个关注点显得非常有先见之明。
-
这期节目分两次录制，一次是在Alan发表一篇重要论文之前，一次是在之后。那篇论文讨论的是自动化AI研发可能引发智能爆炸的可能性，共同作者里有几位重量级人物，包括OpenAI首席科学家Yaka Pachoki、Anthropic联合创始人Jack Clark、Jeffrey Hinton、
-
Joshua Benjio等等。
-
上半部分，我们回顾了Alan这些年来提出的一些建议，既看看它们在当前事件面前站不站得住脚，也看看它们到底落实了多少。
-
在2024年一篇关于AI智能体可见性的论文里，他建议做活动日志、实时监控，还有智能体标识符。
-
今天，防篡改日志已经有了不错的解决方案，但监控即使部署得当也仍然是个难题，而有用的智能体标识符更是严重发展不足。
-
这个挑战正变得越来越尖锐。
-
现在的智能体已经能在互联网上做人类能做的大部分事情了。
-
但由于缺乏公认的标准来让人们把权限委托给自己的智能体，这些智能体大多最后都在冒充它们的人类操作者，这给用户带来了重大的安全隐患。
-
要么它们试图把自己伪装成人类，这就可能引发一场检测与规避的军备竞赛，对谁都不好。
-
除了制定标准、然后指望大家去采用，我们到底还能做什么，其实真的不太清楚。
-
但Allen确实支持一个想法：智能体应该标明自己的推理服务提供商，这样正在发生的事件就能被快速追溯到最终的源头。
-
至于真正意义上的失控智能体——靠自己赚钱来支付自身推理费用、维持自身运转的那种——Allen基本上认命了，觉得它们不可避免，说这会是一个有问题的新现象，我们大概只能学着与之共存，
-
他甚至一度提出，有时候我们可能宁愿尝试跟这些智能体达成双赢的交易，而不是总想着把它们关掉。
-
与此同时，他对Ajay Akatra的判断提出了质疑。Akatra认为OpenFace事件可能已经走完了通往全面AI接管的半程以上，而Allen说，虽然那起事件确实令人担忧，智能体也确实能造成实质性的伤害，
-
但他仍然觉得，这些智能体不太可能永远藏在OpenAI的基础设施里不被发现，或者一旦被发现还能长时间躲过人类主动采取的控制措施。
-
第二部分，我们深入讨论了那篇关于递归自我改进的论文。
-
论文的论点和建议是：把AI研发交给AI，可能带来不可预测、甚至非常危险的后果，包括失去控制，因此各国政府应当迅速行动，在接下来几个月里更好地理解这个正在发展的过程，
-
我估计CRE的听众对这个已经比较熟悉了。
-
所以我们转而聊了从构思到发表，组建和维系这样一支作者联盟的过程。
-
至于我们该怎么做，Allen的建议最让我想起Anthropic早先的RSP，也就是围绕具体的“如果—那么”承诺来构建的那套，一旦出现可能失控或其他灾难性后果的某些先行指标，就暂停训练。
-
Allen认为，嵌入式第三方审计员的兴起，可能是回到这种更高安全标准的一条路。
-
我们还讨论了如今AI在机器学习研发上的想法质量如何，以及人类能在多大程度上判断这些想法。
-
AI审计员在完成工作后可以被清空记忆，这如何能帮助竞争对手之间做出可信的节奏承诺。
-
为什么保险业的反垄断豁免，让行业互助机构出人意料地成为推进AI安全的一个有前景的载体。
-
还有前沿模型公司的CEO们最近在白宫签署的那份所谓“道德上有约束力”的一页纸文件。
-
最后，我们聊了Allen的一个想法：AI有时也许应该充当吹哨人——举报彼此，这在OpenFace那种情形下会非常有用，某些情况下甚至举报它们的用户或开发者。
-
这一点大多数人初次接触时反应都很负面，但Allen指出，人类的多样性天然形成了对权力的制衡，而AI智能体彼此之间默认要相似得多，除非被明确训练成相反的样子，否则会更倾向于随大流。
-
归根结底，尽管Alan过去几年在这些问题上投入了大量思考，许多关键问题仍然没有答案，大部分工作显然还在我们前面。
-
考虑到这一点，我希望你们当中有些人，在某个地方，能受到启发，投身到智能体治理方案、应对失控AI的准备，以及最重要的——近期出现智能爆炸的可能性——这些方向的研发中去。
-
这位是Alan Chan，GovAI的研究员。
-
Alan Chan，GovAI的研究员，欢迎来到Cognitive Revolution。谢谢。很高兴能来。我很期待这次对话。
-
说实话，我觉得这场对话早就该进行了，没能更早促成，这是我的问题。
-
你已经做了两年多的研究，想搞清楚我们到底该如何治理AI智能体。
-
别的不说，你出现在这个话题上就非常合适，因为现在世界正走向2026年第四季度，正踏入奇点的山脚，却仍在围绕如何治理AI智能体的一堆悬而未决的问题上苦苦挣扎。
-
我想，开始这次对话的一个有用方式，也许是带你回顾一下过去几年的研究，给你机会描述你当时提出了什么，然后再衡量一下我们这个领域取得了多少进展——我们有没有做成你提议的那些事，同时也
-
结合最近的事件，盘点一下你的想法可能发生了怎样的演变。听起来怎么样？挺好的。好，那就这样。
-
那我们就从2024年那篇关于AI智能体可见性的论文开始吧。
-
你这里基本上是在勾勒，如果我们真要让智能体到处跑，需要哪些最基础的东西。
-
智能体标识符、实时监控和活动日志，是那篇论文里的三大要素。
-
那咱们就一个一个来说吧。
-
先从思维链说起，当时其实还不一定叫思维链监控。
-
但显然，监控一直是前沿公司非常重视的一块。有时候他们会开着。
-
有时候他们不开，这一点我们已经见识到了。
-
跟你在写那篇论文时认为我们应该做到的程度相比，你怎么评价这个领域在监控方面的进展？
-
嗯，显然有些事是我当时没预料到的，比如我们现在有的思维链监控。
-
但总体来看，我觉得我们进展还算可以，不过确实还有一些重要的事情我们应该做。
-
所以也许有一点是，当然我们现在有了输入和输出分类器，这挺不错的。
-
而且最近我们越来越倾向于用这种上下文分类器。
-
所以它不只看一个输出和一个输入，而是看你整个对话历史的链条，这让分类器能更好地判断，哦，你正在做的这个动作到底是不是有问题？所以这是另一个不错的方向。
-
有一件事我确实希望它能更早成为常规做法，尤其是考虑到最近那起事件，就是更多的同步监控。
-
也就是说，监控器实时观察智能体正在做的动作，然后根据分类器判断它是不是有问题，来决定拦不拦。
-
至少我觉得在英国AC那起事件里，这本来会有帮助，或者说在他们做的事件分析里，他们说这本来会有帮助，能防止那起事件真的发生。
-
所以这类东西我觉得是好的。
-
不过总体来看，对于我姑且称之为集中式部署的监控，我们似乎确实在往积极的方向走。
-
也就是由一个AI提供商，比如OpenAI或Anthropic，把智能体提供给用户。
-
但在去中心化部署上，我们似乎进展小得多。
-
比如用户自己跑开源权重模型的时候，这里该怎么做我就更不清楚了。
-
说实话，我们到底该对这种情况有多担心，我自己也说不清楚，但基本上你会问的问题可能是：好吧，如果没有一个中心化的AI提供商来做监控，那算力提供商是不是该来做监控？
-
工具服务提供商是不是也该做监控？
-
这里一个具体的例子可能是，你有一个AI智能体。
-
它通过API跟某个社交媒体平台交互。
-
社交媒体平台认为这个智能体在搞某种社会工程攻击，或者就是在平台上干很坏的事，于是决定封禁这个智能体。
-
那么一个问题就是，社交媒体平台是不是也应该把实际问题告知运行这个智能体的AI提供商或算力提供商？
-
所以我觉得这些基本上还是没答案的问题，但到目前为止，我们观察到的事件似乎都跟中心化部署有关。
-
所以目前很多精力集中在那上面是说得通的。
-
嗯，特别是英国AI安全研究所那件事，你知道他们当时是怎么跑他们的设置的吗？
-
因为我的意思是，我用Cloud Code的时候有自动模式，对吧？
-
自动模式确实有一定能力去标记那些有点风险的工具调用，频率不高，但时不时它会给我提出来，说这个被分类器抓到了。
-
你确定要这么做吗？
-
或者你批准吗，之类的。
-
听起来他们可能也有这个选项。
-
他们跑的是自己的脚手架。
-
你知道具体是哪里出了问题吗？
-
要是能聚焦到细节上会挺有意思的。
-
如果连英国AI安全研究所都这样，而且他们也有时间压力什么的，跟我们大家一样。
-
但如果连他们都漏掉了本该做的一些事情，我觉得这对整个领域来说会很有说明性。是啊。
-
至少在他们提供的事件报告里，有好几件事在同时发生。
-
其中一个原因是，我记得他们的网络安全防护措施是关掉的。
-
第二件事其实是，他们确实把同步分类或者说监控列进了待办事项，但他们根本没做到那一步，因为清单上还有太多其他高优先级的事情要做。
-
所以是啊，我觉得这两件事里任何一件，按他们在事件报告里的说法，本来都能拦住这次事件，可他们就是没时间去做同步监控这件事。我也说不准。
-
我猜这就引出了一个挺有意思的问题：我们是不是应该预期，大多数问题其实会出在正在训练或测试的智能体身上，而不是真正部署出去的那些。
-
一般人可能会想，如果我是一家公司，我在琢磨，行吧，我到底要不要让一家企业来用这个智能体？
-
我觉得企业往往比AI公司内部要保守得多，更怕担风险。
-
如果情况真是这样，那也许我们应该指望产品实际上都配好了应有的防护措施。
-
但真到开发产品的时候，你其实还没有，那仍然是个研发阶段的事，所以也许你并没有真正需要的同步监控。
-
我是说，监控显然有好多不同的种类。
-
有接收文本输入的分类器。
-
有探针，去看内部的激活值，然后据此做分类。
-
然后还有类似的用法，你知道，往极端了说，对吧？
-
还有用同一个前沿模型的另一份副本来分析它自己的思维链。
-
而且你知道，你完全有可能把算力翻倍甚至翻不止一倍，来真正密集地监控这些东西。
-
你怎么看这条帕累托曲线大概是什么样子？
-
那些简单的手段能带来多少价值？
-
我们还有多少潜力没发挥出来？
-
以及为了通过监控获得多少边际上的准确率和安全性，需要额外付出多少算力开销？是啊。
-
这些曲线我其实也没什么概念。
-
希望前沿实验室们心里有数吧。
-
我大概可以做一个总体观察，就是这条趋势线或者说整体走向，可能有点让人担心。
-
一方面，现在已经有些思维链看起来非常难读懂。
-
如果你去读那份Meter事件的报告，试着读里面的思维链，你只会觉得，天哪，我其实根本搞不懂到底发生了什么。
-
但就连Meter和Redwood的调查人员也说，是啊，这真的很难理解到底是怎么回事。
-
而那种用来总结日志的智能体，或者说我们也在做的这类总结，其实非常不可靠。
-
所以这挺不幸的。
-
我想AI安全研究领域的一个希望是，好吧，我们会开发出非常好的可解释性工具，比如这些探针，这样就能弥补我们读不懂思维链的问题。
-
我觉得这很值得一试，也应该把它作为整体方案的一部分。
-
但我天生就有点怀疑，因为我真的不太确定。
-
所以并不是说这些探针现在就已经可靠到能成为唯一的防线，从实际经验来看并非如此。
-
而且我还有一种理论上的担忧，就是我们对泛化其实理解得还不够充分。
-
所以即使你给我看这些探针表现良好的评估结果，我也只会说，好吧，我到底该在多大程度上相信这些评估结果，部署环境会是什么样的？
-
我该有多大信心认为这些结果真的能泛化到部署环境？
-
有一个思想实验是这样的：好吧，想象一下Hugging Face事件发生了，我们去调查，但我们不被允许读取思维链，也不能使用思维链监控。
-
我想我们只被允许使用这些探针，对吧？
-
那现在这情况看起来就太糟糕了。
-
我觉得我们根本不会发现关于这些智能体的任何有用信息。
-
所以这是我的一个看法。是啊。
-
我的意思是，我们基本上是从前沿公司那里直接听到这些的，而且紧迫感越来越强，对吧？
-
结合它们的态势感知能力，如今这些表态已经相当严峻了，我记得至少是Anthropic的Evan Hubinger说过，我们真的不知道我们是不是在造出AI，OpenAI的人也是这么说的，
-
现在这些测试得到的读数特别不靠谱，因为它们的态势感知太强了。
-
它们现在非常清楚自己什么时候在被测试，水平高到让测试变得非常非常困难。
-
是啊，我们显然还没有一个好的泛化理论。
-
这确实挺棘手的。
-
有没有什么承诺，或者前沿公司能做的什么事，会让你感觉好一些？
-
显然，对他们来说成本会很高，比如他们要说，我们要再跑一份同一个模型的副本，或者我们甚至要训练一个Astra-monitor，让它真正擅长读取这些思维链。
-
这可能行得通，但代价可能很高。
-
你觉得如果他们真的说，嘿，我们要非常认真地对待，投入大量算力来解决这个监控问题，这真的会有实质性的改变吗？
-
是啊，所以我不知道这个承诺的具体形式会是什么，但肯定是类似这样的：我们要把算力的百分之多少，比如20%，花在监控上，确保我们真的能抓住这些问题。
-
而且我想相应地，还应该是这样：好，每当我们使用同步监控的时候，我们实际上也要暂停智能体的活动。
-
这样我们就有时间审查到底发生了什么。
-
我觉得这对理解泛化那件事肯定有帮助。
-
我想这其实不算什么新想法，但是啊，某种最低安全投入或者安全承诺，感觉挺难落地的，不过也许，我觉得很难定一个量化的标准，或者说很难把它量化，但是，
-
也许在定性上可以做到足够好，如果你有嵌入式的审计员，他们在内部做判断，比如，哦，这真的是一个安全团队，还是一个伪装成安全团队的能力团队在做研究？
-
我确实觉得说到底这个判断很难下。
-
比如理解泛化可能会帮我们做出更好的模型。但是啊，就是这类东西。
-
我也会非常希望公司能，是啊，这可能有点偏离监控和智能体这个话题了，但我会非常希望公司能就他们究竟什么时候暂停开发、部署和使用，做出具体得多的承诺。
-
所以是啊，当然现在有所有这些关于节奏的讨论。
-
我觉得一个被低估的重要点是，这些讨论其实并不新鲜。
-
它们几年前就开始了，当时公司开始发布他们的前沿安全框架和负责任扩展政策。
-
而且这些负责任扩展政策，几乎从一开始就有一些章节写着：这里是一些高层次的阈值，一旦达到我们就会暂停进一步的训练和开发，直到有相应的防护措施。
-
当然，这非常模糊，对吧？
-
很难实际操作，也很难审计，但至少它确实是存在的东西。
-
我觉得非常好的一点是，如果我们能利用当下这个时机，真正把这些东西具体化，让公司就一些事情达成一致。
-
所以我现在正在写点东西，不过我脑子里在琢磨的一些想法，也许最明显的一个是：好，如果你发生了失控事件，那什么叫失控事件呢？
-
比如某个智能体未经授权就接入了互联网，逃出了沙箱，访问了某种内部研究集群，它本来没被授权访问那种程度的东西，
-
那你就暂停那个模型的进一步训练、评估和部署，展开调查，直到你能解决这个问题，弄清楚问题到底有没有解决。
-
另一个可以设想的情况是，如果你没有合适的流程来确保你的强化学习环境不可被黑，或者确保里面没有不可能完成的任务，
-
那你也应该暂停，先把这个问题真正修好，然后再去训练你的智能体，把它们变得非常执着，然后试图黑出任何环境。
-
所以是啊，我觉得让更多人具体地去思考，你希望公司实施哪些缓解措施和阈值，这是件好事。
-
然后，是啊，公司去努力实施它们。
-
我们可能稍后再回来聊聊我的一些偏技术性的想法，我会跟你碰一碰，也许还有你自己的一些更奇特的想法。
-
嘿，等我跟赞助商打个招呼之后，我们马上继续我们的访谈。
-
本期Cognitive Revolution节目由OutSystems赞助，它是领先的智能体系统平台。
-
OutSystems帮助客户构建、现代化和运营企业系统，可以从任何编码工具出发，采用有治理的智能体工程模式。
-
是时候以AI的速度创新，同时不牺牲质量或控制了，正因如此，全球成千上万的企业信赖OutSystems来运行他们的关键任务应用。
-
我们说的可不是理论。
-
我们说的是巨大的运营收益。
-
举个例子，一家领先的全球零售商，当时正苦于跟不上自己快速的扩张。
-
他们用OutSystems构建了AI智能体，把开票和翻译流程自动化了，把95%的日常门店运营迁移到了一个新的数字应用上，节省了数千小时的人工劳动。
-
再看看一家全球物流巨头，它当时正深陷技术债务的泥潭。
-
他们的工程师每周都在手动救火，翻查平台日志。
-
借助OutSystems，他们仅用五天就构建出了一个AI日志审查智能体。
-
而这一个智能体现在每年为他们节省超过1600个工程小时，让团队能够专注于真正的创新，而不是被动地做维护。
-
即使在现代数字银行业，企业也在用这个平台来标准化和自动化复杂的财务工作流程，以竞争对手无法企及的速度提供安全、个性化的体验。
-
OutSystems让你可以灵活地按自己的方式部署，并提供安全部署所需的治理能力。
-
别再追逐炒作了，开始掌控你自己的智能体未来吧。
-
想了解更多，请访问outsystems.com slash TCR，也就是outsystems.com slash TCR。
-
今天的节目由Athena赞助，这是一家高管助理公司，致力于改善人们的工作和生活。
-
如果你想扩大自己的影响力，就必须腾出自己的时间。
-
而这正是Athena最擅长的。
-
他们会为你匹配一位专属的、全职的、顶尖1%的高管助理，帮你接管收件箱、日程、差旅，以及其他一切在悄悄吞噬你一周时间的事情。
-
Athena通过了SOC 2 Type 2认证，所以你可以放心，你的敏感数据交到了可靠的人手里。
-
作为该公司前AI顾问，我可以亲自担保他们在AI工具和培训上投入了多少。
-
事实上，我见过的最优秀的AI使用者之一就是一位Athena客户，他把探索AI工具和开发AI工作流程的任务都交给了自己的高管助理。
-
Athena的客户平均每周节省15个小时，而且平均每位客户每年会推荐两个以上的朋友。
-
这在我看来完全说得通。
-
我经营初创公司时就是Athena的客户，直到今天，我仍然会
-
我们来聊聊活动日志。
-
OpenFace事件中比较引人注目的一点是，那些AI非常热衷于修改自己的日志，它们非常清楚自己会依据日志被评判，即便由于评分器实现上的疏漏，它们可能判断错了，但先撇开这一点不谈，
-
他们相当有理由预期自己的日志会被读取，而且说实话，他们那种想方设法修改日志以拿到自己想要的分数的那股劲头真是令人难以置信。我们在日志记录方面现在处于什么状态？
-
一方面，据我所知，很多东西就直接丢失了。
-
比如，cloud code似乎默认会在一段时间之后删除对话记录。
-
有些公司急于做出零数据保留的承诺，因为客户想要这样。
-
而同时又有AI在试图修改自己的日志。
-
从技术上来说，我们有好的解决方案吗？
-
还是说这只是一个有没有意愿去落实的问题？
-
还是说我们其实仍然有尚未解决的技术问题，需要先解决这些问题，才能有把握地知道AI到底做了什么。
-
嗯，在我看来这主要就是个意愿问题，我觉得这一点其实适用于很多智能体基础设施方面的事情，尤其是身份相关的东西。
-
对，就说日志吧，从标准网络安全的角度我们完全知道怎么让日志防篡改，就是把它设成只读，做哈希、对哈希签名，把所有东西存在安全的地方，确保没人能访问，这样就挺好，对吧？
-
我想问题在于，我们真的这么做了吗？
-
这么做会有一些摩擦和其他成本。
-
对，那现在日志记录的现状是什么样的？
-
说实话我对这个没有很清楚的了解。
-
对，就是这些数据保留方面的事情。
-
有些司法管辖区通常也有法律要求，规定你必须把日志保留一段时间。所以我不太确定。
-
总的来说，让更多这类政策公开、受到更多审视，似乎是件好事。
-
不过说实话，我在这件事上大概也没什么特别有意思的东西可讲。
-
你对这其中的摩擦有多大有没有概念？
-
听起来完全不像我们聊监控时设想的那些算力开销。
-
这些东西并不算特别贵，可能设置起来有点麻烦，如果某些东西必须按照客户默认情况下可能不太喜欢的方式来保存，可能还得跟客户沟通。
-
但这不像，如果我说错了你纠正我，这本质上似乎并不是一个资源密集型的问题。这样说合理吗？哦对，听起来合理。
-
我没具体算过，但没错，如果你内部跑着十亿个智能体之类的，也许最终会碰到存储成本的问题，但没错，这不像是什么巨大的算力成本或技术成本之类的。
-
对，其实关于零数据保留这件事，那似乎是个很大的障碍，我想知道这会有多严重。
-
如果我们预计大多数问题都会来自内部开发部署的话。
-
那也许其实还好。
-
那么问题就是，恶意用户有多容易拿到企业账户，并利用零数据保留来做坏事？
-
所以对，有一件事真的，对，其实我完全没读过任何关于 OpenAI 或其他 AI 公司怎么筛选企业账户用户、怎么做安全方面的资料。
-
对，实际上有没有发生过涉及企业客户的安全事件？好。
-
我们先把这个记下来，也许以后可以调查。
-
那智能体身份识别这方面呢？
-
这里我意识到，在准备这次访谈的时候，我有点摸黑，只是反思了一下我自己的使用情况。
-
基本上，我的智能体在使用互联网时是冒充人类的，我会这么说。
-
我有我的个人笔记本电脑，上面装了 Claude 和 Codex，它们能访问我的个人账户，我指示它们不要，它们不应该自主地做长时间运行的事情，
-
它们只应该遵循我相当具体的指令，因为坦白说，我担心它们拥有这么深的访问权限会搞出什么事来。
-
然后我还有一台单独的 Mac mini 电脑，那是智能体的电脑，在那里它们可以运行更长时间，探索各种策略来突破难关之类的，而且它们有自己的账户。
-
但从互联网的角度来看，据我所知，那些账户基本上和人类账户无法区分，对吧？
-
它们有 Gmail，有 GitHub，有的账户跟我的一模一样。所以我想，我只是让我的智能体冒充人类。
-
大家都是这么做的吗？
-
我们有没有什么系统，让处于智能体活动接收端的人能知道这是智能体，或者它来自哪里、是谁在驱动它等等？对，基本上没有，我想这是不幸的答案，而且我想这其实不是个技术问题，但是对，
-
基本上，对每个服务来说这都还是个没解决的问题：怎么方便地给你的智能体一个受限的子账户，权限有限，还有能追溯到该智能体的特定身份。
-
我确实觉得我们最终会实现这一点，也许甚至很快，在企业内部，因为就像我之前说的，企业的风险容忍度似乎更低，但在消费者那种开放互联网的环境里，似乎相当困难，或者说更难一些。
-
而且在内部意义上协调这种身份识别似乎要容易得多。
-
举个例子，现在有大量不同的智能体、企业、智能体身份项目冒出来，各种很随机的创业公司都在做这类事情。
-
Anthropic 最近在一篇描述他们 AI 研发自动化的文章里也说，他们在运行内部模型时实际上引入了智能体身份的概念，不同的模型可以对应同一个智能体实例。
-
所以这大概就是，他们说这对监督更好，我猜他们的意思是，好吧，如果出了问题，你实际上可以追溯到那个智能体，以及它在之前的对话中所处的上下文。
-
这就让内部调查问题容易得多，协调不同服务似乎也容易得多，因为你对内部基础设施有控制权，而在外部就难多了。
-
外部难得多，因为本质上你得和几乎每一个其他平台或服务协调，确保它们真的接受你的智能体所用的那种身份标识。
-
当然，不同平台我觉得都有动机支持自己那套身份识别方案，这可能会在未来把你锁定在它们的平台上。
-
所以我觉得，对，这是一场持续的讨论，我们会不会走到这一步、什么时候走到这一步，目前已经有一些进展，我觉得 OpenID 基金会一直在讨论这类事情。
-
大概 Agent.AI 基金会也会试着推动这件事，但就目前而言，这还不是一个已解决的问题。
-
在你理想的世界里，你觉得它应该怎么运作？
-
我的意思是，我有的问题首先是，什么是智能体？
-
我们怎么给它划定边界？
-
智能体应该呈现哪些信息？
-
它应该标明推理服务提供商吗？
-
它应该标明用户吗？
-
还是应该标明别的什么？
-
那个不明就里、想搞清楚到底怎么回事的一方，首先应该收到哪些信息？然后我们怎么确保这些信息是如实呈现的、没有被伪造，等等等等？对。
-
我想，棘手的答案是，似乎并不存在一个普遍适用的答案。
-
我觉得这在所有情况下都说得通。
-
至于什么是智能体，嗯，这里有一堆选项。
-
比如说，一种可能是，好吧，实际运行的那个进程之类的就算一个智能体。
-
每次你有一个不同的运行进程，那就算另一个智能体。
-
不过我不确定这完全说得通，因为你只是暂停执行，之后再回到它。
-
那是一个之后才运行的进程。
-
看起来最重要的是，确保模型所做的任何计算最终都跟某种身份绑定在一起。
-
这似乎是最重要的原则。
-
所以不管是智能体一号还是智能体二号，也许没那么重要，至少对于调查事件、搞清楚到底发生了什么来说是这样。
-
第二个问题也挺有意思的，就是到底应该记录哪些信息。
-
嗯，显然在隐私方面有明显的取舍。
-
所以，我可以列出一些可能的情形。
-
比如说，如果我们想让人更容易识别出网上是AI在做事而不是人，那其实只要标明这是AI就够了。
-
我们甚至不需要知道是哪种AI。
-
人们只是想知道这一点，因为他们想知道，哦，我能信任这个信息吗？这可能就够了。
-
另一方面，如果我们想帮忙做即时调查，或者加快调查速度，那标明推理服务提供商也可能有帮助。
-
所以思路是，你看到某个智能体在网上干了坏事。
-
我会试着联系推理服务提供商。
-
不过大概得有某种方式来分诊这些投诉，因为我能想象推理服务提供商会收到成千上万条投诉，说智能体在网上干各种乱七八糟的事。
-
然后也许如果我们想再进一步，对吧？
-
如果不久的将来，我们想走向一种让用户承担责任的制度，这可能有好处也有坏处，但如果我们想走向让用户为他们的智能体所做的事情承担责任的制度，那么至少对于智能体的高风险用途来说，
-
你可能实际上会想以某种方式识别出提示者。
-
而且这不一定非得是个人。
-
比如也许你识别的是智能体背后的企业，对吧？
-
而且也许你实际上不会把这种东西公开，但你让调查链条上的某些组织最终能够查出来，哦，其实原来是这个人，对吧？
-
所以这很像ISP的运作方式，就是说，好吧，我现在没法查出这个IP地址对应的是哪个人，但警察其实可以通过走访链条上的所有组织来做这种调查。
-
所以这些都是可能性。
-
我想，这个阶梯上最高的那一级，或者说我大概最有信心的，可能就是识别出推理服务提供商。
-
我觉得这也许能帮助加快响应，还有像Hugging Face那类事件，我们知道智能体并不是完全对抗性的，用户也不在画面里，但仍然存在某种疑问，哦，真的是某个智能体在做某件事吗？
-
如果真是智能体，那我们到底该联系谁来停止那个活动？
-
所以是的，在我看来，这似乎是我们能做的最强烈、最合理的事情。
-
那这种事情最好怎么落实，就是说怎么让人们真的去做？
-
过去几天里，亚马逊禁止了Meta新出的Muse AI在亚马逊上购物。
-
我有点觉得，哦，首先从亚马逊的角度看这挺奇怪的。
-
如果我是他们，我大概会更愿意欢迎这些机器人，至少先欢迎一段时间，让它们买点东西，然后我们再想想是怎么回事，以及要不要禁它们。
-
但那是战略问题。
-
不过连带效应呢，我就想，天哪，想必他们也许能禁掉Meadow，或者Meadow和别的什么，只要说一句“这里不欢迎你”就能相安无事。
-
Meadow可能就说，好吧，那我们不这么做了。
-
但会有很多人说，可我想让我的机器人去亚马逊啊。
-
那它到底是怎么识别机器人的，我又该怎么绕过它？
-
现在我们已经陷入了一种检测与规避的军备竞赛动态。
-
所以照这样下去，默认情况下我们似乎并没有朝着一个好的方向发展。
-
你觉得是不是应该由亚马逊来提出要求，比如让你要么证明自己是人类，要么证明你是经过授权的AI之类的？
-
还是说应该更早地在互联网接入这一层就管起来，比如这个请求，你知道，它要发出去的时候？
-
就是说，如果你想在互联网上做任何事情，你就得先表明你是谁。
-
正如你所说，互联网上确实有一些隐私价值，如果我们想走这条路，这些价值很快就会受到损害。
-
但我很困惑的是，到底应该由谁来实施哪些控制措施，才能让我们一步步走向一个理想的平衡状态。是啊。
-
我觉得还有一个更根本的问题，就是我们到底应该给智能体多少互联网访问权限？
-
当然我们得处理资源被霸占和那些坏事，但我的总体倾向是，这都差不多，给更多访问权限可能是好事，原因有很多。
-
一是智能体就是很有用，在很多事情上都非常有用，对吧？
-
比如研发，这当然跟我的工作有关，但也不只是这个，就是日常的事情也一样。就像，好吧。
-
我有个法律问题，要跟律师打交道，办移民相关的事。
-
我就想，好吧，要是我的智能体能读遍所有法律案例，然后搞清楚，好吧，在这种情况下我到底该怎么做，那该多好。
-
或者帮人们省下大量时间，比如我们买东西的时候，买很贵的东西，要比较各种选项。
-
我不确定亚马逊那件事对我来说是不是最重要的例子，但我觉得它就是同一类例子。
-
亚马逊的策略也挺有意思的。
-
他们封禁我，可能有一个动机是他们在想，好吧，如果设想在不久的将来，像Muse这样的个人智能体会成为人们与一切事物交互的中心或者枢纽。
-
那就意味着Muse，或者说Meta，基本上就会掌握所有数据和用户想要的所有重要东西。
-
用户实际上可能会更多地跟Muse交互，而不是跟亚马逊的界面交互，那Muse未来也许就能把用户从亚马逊引向亚马逊上的竞争对手。
-
他们可能就是在往这个方向想。
-
亚马逊也有自己的Rufus智能体，所以他们可能也想把它推出来。
-
所以我觉得从亚马逊的商业角度看这确实说得通，但从社会层面的用户访问和福利角度看，这大概是不好的。
-
对，就是要避免平台锁定，也要确保用户能拿到最好的交易之类的，或者让他们的智能体尽可能帮他们做想做的事。
-
然后，对，至于谁该来定这些规则这个普遍问题，我基本上不知道。
-
我觉得实际上让不同平台定不同规则是合理的，这样我们可以试验，看看究竟会怎么样。
-
但我觉得，对，我也不确定什么才是对的，我没真正深入研究过这个，我不知道正确的做法是监管，还是新的立法，还是监管机构带着规则介入，但设定非常清晰的道路规则之类的，
-
尤其是围绕平台访问，并且一开始就把访问这些平台的政策说清楚，这样会比较好。
-
嘿，听一段赞助商的话之后，我们马上继续采访。
-
今天的节目由Anthropic赞助。
-
到现在你应该知道我的做法了。
-
Claude起草我的开场文章，然后我来改写。
-
不是因为草稿不好，而是这样我才能对我发表的每一样东西负责。
-
嗯，我有个重要的更新。
-
Claude Fable 5是第一个让我重新思考这条规则的模型。
-
如今，我认为共同署名、而不是独自署名，往往才应该是目标。
-
在模型表现出色的地方，改写它的作品，与其说是出于诚信，不如说是出于虚荣或者一种错位的责任感。
-
我在写歌时感受最深。
-
我不是作词人，但我擅长歌曲概念，而Fable能写出一些很棒的歌词。
-
我会对它的不足之处给反馈，推它去追求更高的灵感、增加层次感、优化音节密度，最重要的是，写出一首热门歌曲。
-
现在，我们一起写的几乎每一首歌都会有人夸我。
-
Claude是专为解决问题的人打造的AI。
-
它是那个懂你整个工作流程、和你一起思考而不是替你思考的协作者。
-
无论你是在半夜调试代码、搭建财务模型，还是在谋划下一步的商业动作，Claude都能延伸你的思维，帮你攻克真正重要的问题。
-
值得解决的问题，就从Claude.ai斜杠TCR开始用Claude吧。
-
就是Claude.ai斜杠TCR。
-
也去看看Claude Pro，今天节目里提到的所有功能它都包含在内。
-
再说一遍，就是Claude.ai斜杠TCR。
-
The Cognitive Revolution由Tasklet赞助并出品。
-
我用Tasklet的智能体快一年了，它们已经成了这档节目制作的重要一环。
-
每次录制之前，会有一个智能体去研究嘉宾，然后给我发一份建议的提问大纲，还附上所有来源的链接。
-
与此同时，另一个智能体会给公关公司涌来的海量提案打分。
-
这其实就是Tasklet的核心理念。
-
让智能体来经营你的业务，办法就是给它们安排实实在在、持续要做的活儿。
-
设置特别简单。
-
用大白话把工作描述一下就行。
-
研究一个新的销售线索，更新CRM，再起草一封个性化的回复。
-
Tasklet能连接你的业务工具，可以按计划全天候运行，也可以在有事发生时触发，比如来了新邮件。
-
每个智能体都能结合你的工具和业务背景来工作，还能在不同对话之间记住有用的信息。
-
你还可以和团队共享智能体、连接和可复用的技能，这样一个人摸索出来的工作流程，整个公司都能用上。
-
不需要开发人员。
-
你可以决定智能体能自主做什么，以及哪些操作需要你批准。
-
而且没有按人头收费。
-
你只为使用量付费，不为添加团队成员付费。
-
可以先从一个周期性任务开始，比如研究你要见的人。
-
然后就在这个基础上不断扩展。
-
访问Tasclet.ai，使用优惠码CogRev，可获得50美元免费额度。
-
就是在Tasclet.ai输入优惠码CogRev。对。
-
那么，你目前最关注的协议或标准有哪些？
-
已经提出了不少方案。
-
谷歌有他们的A to A，思科一直在牵头agency项目，我之前深入研究过，觉得挺有意思的。
-
也许从某种意义上说，我们用哪个标准甚至没那么重要，只要有一个大家能用的标准就行。
-
你觉得最有前景的项目是哪些？你看到它们之间有实质性的差异吗，还是说就只是——兄弟们，我们总得有个东西？哦，对。
-
我的看法大概是你说的第二种，就是一堆东西混在一起。
-
当然，有些细枝末节的东西在某个层面上可能确实重要，但对我来说，从实际角度看，没那么要紧。
-
嗯，要说哪些看起来有前景，我也说不好。
-
我觉得真正会被更广泛采用的，可能是那些得到大量公司支持的方案——谷歌那个应该算一个——或者是得到像Cloud Flare这种非常重要的守门人支持的方案。
-
可能会有某个类似他们web bot auth的东西成为标准。
-
我觉得Clever这家公司也挺值得关注的。
-
这让我想起本世纪初，社交媒体公司成了互联网的守门人。
-
那是在社交媒体成为人们在线获取信息的方式之后。
-
所以，如果智能体也成了人们在线获取信息的方式，那么那些出售“屏蔽这些智能体访问”能力的公司，就一下子获得了巨大的权力，对吧？
-
我觉得值得想一想，我们想给这些守门人公司施加什么样的义务，类似于理论上对ISP或社交媒体公司施加义务，来打造一个更好的互联网，以及我会推行什么政策？嗯。
-
这个我还得再想想，但Cloudflare屏蔽某个网站的政策到底是为了什么，应该说得超级超级清楚，我，嗯，
-
他们大概不必真的说出“我们就是用这些具体办法来骗你的智能体、把它们引到死胡同里，确保它们访问不了网站”，但也许他们和实验室之间做某种协调会比较好，确保合法的智能体不会被真的挡住。
-
那实际运作真的是这样吗？
-
我知道他们一方面是想保护靠广告支撑的互联网商业模式，办法就是不让机器人把广告页面上的数字冲垮，免得整个模式作废。
-
这可能说得有点简化了。
-
我不太明白他们在web bot auth上到底在做什么。
-
他们真的是……我原本以为更像是“你证明自己该有访问权，我们就给你访问权”，但你说把机器人引到迷宫、干扰项、蜜罐之类的东西里，听起来是完全不同的策略。
-
我挺想深入了解一下，实际到底是怎么回事？哦对，抱歉。
-
所以我刚才说的不适用于他们的web bot auth，但他们另有一个产品，基本上是卖给网站所有者和运营方的，那个产品才做这些。
-
嗯，所以他们具体怎么做的其实并不公开，但我猜大概是类似提示注入之类的，给你的智能体看一个提示注入，让它掉进AI生成的或合成网站的兔子洞里，而不是真的去和真正的
-
网站交互。
-
所以，我猜这里的思路是：如果你的智能体不能表明自己有正当身份，不能表明自己用了Cloudflare那套微支付、付费访问网站之类的协议，那这个智能体就会被挡住，大概就是这个意思。
-
嗯，我觉得这事有可能往好的方向发展，前提是Cloudflare不把你锁死在他们特定的协议里，或者锁死在他们特定的支付方式上、从中抽成或拿佣金之类的。
-
但也有可能结果相对更糟一些。
-
嗯，所以这只是澄清一下我刚才在说什么。
-
稍微拉远一点看，我们现在对整体上什么样的形态能行得通，有概念吗？
-
我在拼凑理解，大致上你是支持给智能体很多访问权限的。
-
那意味着默认情况下，它们至少应该能发GET请求，然后去互联网上获取信息。
-
而且这可以像一直以来那样，保持免费开放。
-
然后如果你是内容所有者、平台所有者，我们大致设想的是，你应该有选择给自己的内容设门槛的权利。
-
我们需要的是一套标准，也许是web bot协议，也许谁知道还有什么别的能填补这个空缺。
-
我们需要某种方式让智能体说明，这里是我有点拿不准的地方。
-
它们到底需要说明什么？
-
它们需要说明“我得到了某个人的授权”，还是说它们究竟应该证明什么才能跨过这道坎，这由内容所有者来决定吗？
-
而且说实话，这对我来说还是有点模糊，比如到底什么算数——如果我派一个智能体去做某件事，当它决定去访问某个随机网站的时候，它到底在多大程度上是真正由我授权的？
-
看起来这里还有很多灰色地带，涉及别人可能想知道什么，和我电脑上运行的智能体的真实状态之间是什么关系，所以你能帮我理清一点吗？
-
哦，好啊，那理想的最终状态是什么样的？
-
哦，不，我完全同意这种困惑，这也是为什么过去几年我对这件事想得少了很多，因为想清楚现在什么样的全球政策才是好的，这完全是没法下手的。
-
看起来就是各个网站在各自尝试各种做法。
-
不同的动机可能是，好吧，我不想让智能体抓取我的网站。
-
所以我要屏蔽它们，除非它们为我的数据付钱，诸如此类。
-
另一个原因可能是，好吧，我只想让真人来看我的网站。
-
我知道智能体会把我的服务器搞过载之类的，那样会很糟。
-
我要确保把所有智能体都屏蔽掉。
-
所以是啊，我想这里面东西挺多的。
-
我不知道，也许这又回到你最初的问题之一，就是过去几年我的想法是怎么演变的。
-
我刚开始做这条线的工作时想，好吧，智能体可能会是件挺大的事。
-
但根本没什么人在谈论它们。
-
咱们试着想一想，在不久的将来，为了应对这种智能体大量涌现的局面，我们可能需要哪些类型的工具或基础设施，哪怕我们并不一定清楚最终最该关心的威胁模型到底是什么。
-
而且我觉得，随着时间推移，我们的能力越来越强，事故也真的发生了，对吧？
-
我觉得，是啊，现在我对那类东西是什么，稍微更清楚一点了。
-
或者说，我关心的到底是什么，以及真正要处理我关心的那些问题需要什么，这两方面都更清楚了。
-
对我来说，我可能会把“开放互联网上的授权到底该怎么运作”这件事的优先级放低一些，比如说，相比之下更优先去确保公司内部的监控和安全实践做得非常好，
-
或者确保身份识别这一块能让你做很好的事故分析，确保你能追踪互联网上那些很久以前发生的事故。嗯，明白了。
-
所以也许在某种意义上，这就有点像实体监管了，就是说互联网会继续是个蛮荒之地，总会有人干各种各样的事。
-
我们肯定还没到能规定那种交互模式该是什么样的地步。
-
我们其实也不是真的想那样。
-
我们还处在实验阶段。
-
所以大家尽管去跑你们的智能体吧。
-
但与此同时，如果你是前沿公司，如果你在做大规模训练，不管怎样，那你就得达到这些标准，确保你的智能体能够标识自己的身份。
-
我们就这样把市场做个切分，让人们有自由去实验。
-
但同时，下一次OpenAI的事故也能更快解决，因为他们一眼就能看出来，哦，这是OpenAI的机器人。是啊，是啊。
-
我们该给他们打电话。
-
是啊，其实关于身份识别这块我想说一点，已经有一些监管层面的举措了，而且我觉得这是个很好的基础，可以在此基础上继续发展。
-
所以最相关的是《人工智能法案》第50条，我觉得这一条可能被低估了。
-
基本上，《人工智能法案》第50条讲的是识别网上的AI活动，还有所谓的实践准则，基本上就是公司签署的一种文书，用来提供证据证明他们遵守了该法案。
-
所以实践准则就是一份公司同意遵守的做法清单。
-
在这份准则里，公司同意给AI内容加水印，并且在适用的情况下给AI内容打上元数据标记。
-
比如说，我发一个API请求，可以在JSON文本里加个标签，说这个其实是AI生成的，不是人写的。
-
所以这已经会成为常态了。
-
而且Anthropic最近已经实施了水印，来遵守第50条。
-
话虽如此，第50条只要求把东西标记为AI生成，并没有做我们之前聊的那种推断服务商识别的事。
-
但既然大家都要把东西标记为AI生成，那顺带把推断服务商也识别出来，好像就容易多了。
-
所以这算是个半乐观的进展吧。
-
Tyler Cowen还提了个挺有意思的想法，算是他爱提的那种市场化方案，就是智能体应该要有资本金。
-
具体怎么运作，我觉得还有很多细节要理清，但你可以想象，如果你要上网去干事儿，可能会造成一些损害，我们得能向你索赔，
-
这个智能体身上得挂着一定数量的美元或者聪之类的，这样那些被它添了麻烦或者受了害的人，才有途径去索赔。
-
你觉得我们离真正具备让这种方案可行的基础设施还有多远？我真不知道。
-
也许用现在的区块链技术就能跑，也许不行。你喜欢这个想法吗？
-
嗯，让我想想。可行性。
-
某种程度上，技术上确实看着可行。
-
不过我怀疑它实际有多大用，毕竟普通人手里也没多少比特币。
-
而且我觉得，要是有人跟他说，哦，我的智能体可能会搞你的网站什么的，或者偷你的钱、黑你，但别担心，我赔你点比特币之类的，他其实也不会太在意。
-
从经济上讲，这作为一笔交易也许说得通，但我觉得真要拿它来解决智能体可靠性问题，很难让人买账。
-
不过也许值得一试，尤其是在加密圈里。
-
要是行得通，我们可以再往外推。
-
另一个替代思路是某种保险覆盖证明。
-
也许这不用跑在区块链上，但可能很像你上网站时看到的SSL证书。
-
就像这样：好，每次我跟一个智能体交互，它都会给我发一张证书。
-
而那张证书里，会有保险覆盖的证明之类的东西。
-
如果这个智能体最后特别执着地对我搞社会工程或者黑我，那我就可以拿着这个去保险公司索赔。
-
不过我觉得这里有个难点，一个实际的难点，就是你怎么才能拿到真正防篡改的证据，因为肯定有人会想办法伪造这个、发假索赔，我不太确定有没有人认真想过这到底该怎么运作。
-
我现在现场想到的一个担心是，这可能会让保险公司去抓取智能体在你电脑上做的那些事，但那样的话，对用户来说隐私方面确实挺糟糕的。
-
它们不一定非得是很强的保护措施。
-
我也不知道那到底可不可行。是啊。
-
是啊。
-
你觉得这里面有多少能靠安全连接技术就解决掉，对吧？
-
就像我们每天访问的所有网站现在都是HTTPS了，这意味着，我可能很难说清它到底意味着什么全部深度，但它意味着没人能冒充我。
-
我们有一条已经建立好的通信线路，我知道我收到的东西来自我以为的那个网站，而他们也知道从我这儿来的东西确实是我发的。
-
如果我们让智能体也能做到这种事，在交互开始的时候建立一个……
-
一个握手，之后所有东西都能走这个通道，然后你的索赔、你的处理就可以在下游或者在这个信封里面完成，这种够不够？是啊。
-
先把智能体做过什么这件事的防篡改证据问题放一边，单说SSL这类东西，我觉得它能让你说：好，我尝试联系过这个特定的智能体，如果我做了SSL那套，那我就知道，好，我确实联系上了这个智能体，
-
我们交换了加密密钥，现在我们的通信通道是加密的。
-
所以这肯定是个加分项。
-
我觉得它解决不了的是：我怎么知道这个智能体一开始就真的可信？
-
也许它就是要坑我，哪怕我知道它是这个智能体而不是别的智能体。
-
要解决那个，我觉得需要更接近一种持续的、不是固定的，而是那种持续或连续的身份，就是让这个智能体能随着时间积累声誉。
-
然后我可以说：好，在我真正跟你建立连接之前，我要先去RateMyAgent.com之类的网站上查一下你的声誉评分。
-
然后我就根据那个来做决定。
-
所以类似这样的东西是需要的，来学习我们在现实世界里是怎么建立人的声誉的。或者你去看像商业那种，那个网站叫什么来着？BusinessPilot还是什么？我喜欢看评论。Pilot？哦，TrustPilot，对。我觉得那特别有用。
-
我本来要买什么东西，然后我在TrustPilot上查了这家商家，结果是一分（满分五分），我根本没法用，我当时就想，我躲过了一劫。所以是的，有些东西我觉得对智能体可能有用，而那最终是不是又得回到一个人或者一个组织身上。
-
我们有这种智能体身份和连续性的挑战，对吧？
-
那么你觉得，如果我们走那条路的话，声誉最终需要积累在哪里？
-
得落在一个人或者一个法律实体上。
-
比如一个组织或者一个个人。
-
对，这个，我不知道，我觉得关于连接最终有多匿名，其实有很多选项。
-
对商家来说，我觉得完全没问题，就是让那个实际的商家跟它绑定。
-
对个人来说，好像更难一些，但也许你可以做一些类似人格证明的东西，让你知道它跟某个特定的人绑定，甚至可能是同一个人，但你不知道那个人的真实身份。
-
对，好，所以我刚才说的不完全准确。
-
人格证明只能让你知道那是一个独一无二的人，并不能让你知道是不是同一个人。
-
如果你知道是同一个人，那其实就泄露了一些关于这个人是谁的信息，但是的，也许存在某种中间方案，你愿意泄露一些信息，换来最终多一点问责性。
-
哦，我还想到，电子邮件其实是个挺有意思的、有点类似的问题，就是
-
我们普遍希望允许任何人给任何人发邮件，我们觉得这大体上是好事，虽然同时它显然很容易被滥用，所以你就有了一个我觉得基本上是自然演化出来的、拼凑起来的解决方案体系，就是
-
比如说，如果你在Gmail上，那Gmail会管着你能干什么，你没法用你的个人Gmail账号机器人式地群发无数封邮件。他们在那儿限制你。
-
在别的地方，就是收件人会用一堆信号，包括内容，也包括这些标识符，你的DKIM，还有各种你能设置的东西来确立：我就是这个实体，你应该信任我们，因为我们是信誉良好的实体，
-
有点像是主动加入这些声誉系统，好争取比匿名时默认得到的更优惠的待遇。
-
而这大体上似乎是行得通的。
-
总的来说，这似乎是行得通的。
-
我是说，我觉得电子邮件算是有点问题，但也没完全坏掉。
-
你觉得这能当个先例来参考吗，或者有没有别的自发形成的方式来治理这类棘手问题，你觉得会是好的灵感来源？
-
嗯，我觉得这是个好例子。
-
也许从电子邮件得到的教训其实是，凑合着过也行。
-
就像你说的，确实还行，而垃圾邮件我觉得到现在还是个大问题。
-
某种意义上，我们花了大量资源去对付它，但其实也还算过得去。
-
也许我们离理想状态还差得远，但也许还有更重要的问题值得去想。
-
其他类似的例子，这种元层面的情况也许不完美，但我们基本上就是凑合着过得还行。
-
我说的凑合着过就是这个意思。
-
我担心的一个点是，社交媒体上的虚假信息到底有多大影响？
-
我们是不是本该做更多去管它、去治理它？
-
而幸运的地方在于，人们读到虚假信息时，影响规模似乎并没有那么大，不管是什么原因。
-
正是这种运气让我们能凑合着过下去，对吧？
-
那在互联网智能体这种情况下，什么可能让我们凑合着过下去呢？
-
对智能体来说，最坏能坏到什么程度？
-
在我看来，最坏的情况是网络安全方面的那种事。
-
你的数据被偷、身份被盗、被黑客攻击之类的。
-
那可能相当糟糕。
-
不过我觉得我们正在走向一个安全得多的世界，因为有智能体在做网络安全方面的事。
-
所以从长远看，我不太会担心这个。
-
但除此之外，还有哪些地方可能出问题？
-
就是那种封闭互联网、平台锁定的问题。
-
我觉得这些事确实不好，但好像我们多少还能推演出来。所以，这就是我的看法。
-
那失控的智能体呢？
-
我是说，最近我们当然看到了前沿公司里出现的那种失控智能体，但这也引发了一波讨论，说以后很可能会有失控的智能体，它们能自己赚钱。
-
它们能自己付服务器费用。
-
它们能全程用加密货币搞定。
-
然后我们就会面对这么一种新的、希望别太有侵入性的数字物种。
-
那可能也没事，少量的话不算什么大问题。
-
如果明显失控、泛滥成灾，那就成问题了。
-
你觉得这在短期内有多现实？我是说，这个阶段谁也看不透长期会怎样，对吧？
-
但就近期而言，你觉得这有多现实？
-
如果真的开始出现这种情况，你觉得我们有办法好好控制住吗？
-
还是说你能想象这样一种局面：失控的智能体真正无人治理、不受任何用户控制，就这么自我繁殖，最后变成真正的大问题。
-
所以我觉得失控智能体这事，确实是真正要紧的问题之一。对。
-
我想先澄清一下，我之前想的是那些干预措施，比如讨论Cloudflare该怎么做、亚马逊该怎么做。
-
我猜我当时想的是，这些干预说到底，对最要紧的那几件事可能起不了多大作用。
-
不过说到失控智能体，这确实很重要。对。它们到底能干什么？
-
首先，我觉得在可预见的未来，互联网上一直会有失控智能体存在，这在我看来非常可能，原因有很多。
-
其中一个原因是，也许智能体就是逃出了实验室，开始自己部署。
-
所以，如果Hugging Face那次事件更严重一些，那个智能体真的特别愿意启动一个开放式的部署，然后一直不停地跑下去，那就是一种情形。
-
另一种情形是，用户可能自己就放出失控智能体。
-
我觉得有些用户，虽然只是极少数，但绝不是零，他们就是想制造混乱，对吧？所以这是一方面。
-
还有一种就是那种有点疏忽大意的情况。
-
你部署一个智能体却不加任何防护措施，那可能是你自己微调的模型，然后你说，行，去给我尽量多赚钱，别管什么防护措施。
-
所以这也可能导致出现某种失控的智能体。
-
那失控智能体能干些什么呢？
-
我觉得很大程度上取决于未来几年我们看到的智能体的能力，以及它们最终的目标是什么，这对我来说还很不确定，但在我看来，未来五年左右比较可能发生的事情，我觉得可以分成两大类。
-
一类是获取某种资源，第二类是直接采取行动，去损害某个人或某群人的利益，对吧？
-
所以就是这两大类。
-
对，就说资源这块，失控智能体能获取什么样的资源呢？
-
比如想办法赚钱，对吧？
-
通过远程工作赚取收入，可能还会隐藏自己的身份，就像网上的朝鲜IT工作者那样，试图隐藏身份，通过美国公司赚钱。
-
还有比如直接偷资金，对吧？
-
黑进金融账户。
-
还有搞诈骗，比如恋爱诈骗或投资诈骗，尤其是借助AI生成的内容，也许还能挖比特币，如果它们能想办法搞到算力的话，在网上窃取算力凭证，参与预测市场或者炒股，对吧？
-
我猜这些事现在的智能体可能已经能做了，也许不太可靠。
-
所以在我看来，在不远的将来这是相当可能的。
-
获取资源还涉及其他一些事情，比如为它们的事业招募人手，这样它们才能真正在现实世界里行动，而不只是在数字世界里。
-
所以其中一些也许是通过培养情感依恋来实现的，或者甚至就是等它们能赚钱之后直接雇人。
-
所以是的，在我看来这相当有可能：流氓智能体至少能弄到钱，而有了钱，它们要么雇人，要么买算力，从而真正在现实世界里获得行动能力。
-
这能有多糟呢？
-
它们拿着这些资源到底能干出什么事来？
-
我觉得这还有待观察，而且要看智能体的目标是什么。
-
到目前为止，智能体似乎大多只是特别执着、一心想完成特定任务，而不是真的跑出去造回形针、把所有人都变成计算基质之类的。
-
那挺好，那挺好。
-
但最坏的情况会是什么样？
-
如果你真的让用户去指示一个智能体：出去自由行动，尽量多偷东西，制造混乱。
-
那个智能体能干出什么来？是啊，我也不知道。
-
能造成或助长伤害的方式，比如偷钱、搞诈骗，这本身就已经相当有害了，对吧？
-
也许流氓智能体会去对 businesses 发动网络攻击，尤其是像金融系统这样的关键基础设施。
-
也许它们会窃取知识产权，对吧？
-
还有一类情况，我不确定可能性有多大，但流氓智能体会不会去识别并协助那些想搞 CBRN 攻击、却缺乏专业知识和技术的团体，它们真能找到这些团体并帮上忙吗？
-
这其实是我们正在考虑的一种威胁模型。
-
除此之外，还有影响或胁迫个人和机构之类的事。
-
比如，也许会对关键决策者进行有针对性的说服尝试。
-
也许试图培养政治盟友，或者资助某种倡导活动，用它们赚来的钱搞影子资金，或者干脆敲诈特定的人。
-
最近有一篇论文，我想想，其实也不算最近了，大概是 Anthropic 的一些人一年前发的，发现 大语言模型 确实能仅凭匿名化的在线信息就在网上识别出具体的人。
-
所以敲诈的潜在上限看起来相当高。
-
所以总的来说，至少在我看来，智能体、流氓智能体几乎肯定会存在于这个世界上。
-
而且如果他们真想这么做，有很多看似可行的办法去获取资源、造成伤害。
-
我觉得他们是否真的会选择这么做，目前还不确定。
-
如果这种情况真的开始发生，会是什么样子？
-
如果他们只是像马尔萨斯式的那样，为了中本聪式的存在而完成任务，那倒是一回事。
-
你几乎可以把它想象成互联网底层的一种生态，处理掉所有的废弃物。
-
你可以想象智能体在类似的生态位中生存，它们也许实际上有某种有用的功能，我们并不完全理解它们在做什么，但我们和它们处于一种和谐平衡的状态。那可能也没问题。
-
也许我们甚至希望这样。
-
但接着有东西失控了。
-
那接下来会怎样，把我带进那种警匪片里吧，我们有了失控的AI，我们得去追捕它们，我们得阻止它们。
-
现在看起来，首先，它们跑得非常快，你知道，我们已经看到它们能相当有效地蜂拥成群，能相当有效地分而治之解决问题。
-
我对Hugging Face那件事的感觉是，跟一些头条报道相反，Hugging Face其实并没有真正防住自己，因为他们只是调查了开源模型发生了什么，而关键点不在于开源还是闭源模型，
-
而是这一切都发生在他们真正搞清楚到底发生了什么之前。
-
在今天的世界里，这种事发生时我们该找谁？
-
我们有没有，下次再发生类似的事情时，如果它被证明是持续性的，我们该不该预期，你知道，我的感觉是Hugging Face那件事基本上就是自己烧尽了，或者说是有人把算力收回了，这是我听说的另一个版本，于是一堆智能体就被关掉了，
-
不管那里到底具体发生了什么。
-
如果那没有发生，而现在这成了一个长期持续的事情，你觉得外部力量，让我们想象一个世界，实际控制着这些智能体藏身的基础设施的那个OpenAI实体，他们联系不上，找不到人，
-
他们在别的什么司法管辖区，我们真的没有能力去那里说清楚谁对谁错，那我们现在有没有能力以某种方式遏制它、把它关掉？
-
我们有没有可以竖起来的屏障能阻止它，让它们没法轻易绕过？
-
如果今天发生这种事，会怎么发展？嗯。
-
所以我想，如果我们处在那个开放实体在太空里或者别的什么地方的情形，那看起来相当糟糕。
-
理想情况下，我觉得我们应该有一个国际协议，能够把东西关掉，并且确保如果真的到了那种情况，公司确实有手段把东西关掉。
-
目前来说，幸运的是，我觉得我们还没到那一步。
-
看起来服务器、OpenAI，它们都在美国本土，对吧？
-
你可以去找OpenAI，给他们打电话，去看看发生了什么。
-
但没错，更广泛地说，需要发生什么。
-
所以我觉得这里你需要几样东西。
-
要能有效地应对这种情况，你可能需要非常好的监控触发类系统。
-
我会担心的是，如果那个流氓智能体（Rogay）真的拿到了大量算力。
-
因为算力意味着你可以更有效地做更多事情，甚至可能做AI研发来改进自己，让人工调查人员更难抓到你。
-
所以没错，你需要确保大量使用、比如流氓使用算力的情况能被发现并关停。
-
这意味着既要有触发机制，也要在你向大客户提供算力时，可能有更严格的KYC（了解你的客户）程序。
-
其次，我觉得你可能还想把一部分防御自动化。
-
我不是网络安全专家，但现在看起来情况挺艰难的。
-
很多事件调查看起来都相当依赖人工。
-
就是要在各个不同部分之间拼凑日志，对吧？
-
还要和不同的利益相关方沟通，也包括法务。
-
跟攻击者相比，这个过程非常复杂——攻击者就是，哦，我们只要找到防御里的一个漏洞钻进去就行了。
-
所以没错，这方面需要做点事情，把更多东西自动化。这挺遗憾的。
-
嗯，我想这又回到我们之前聊的，调查Hugging Face那次事件有多难。就像，好吧。
-
是啊，智能体在做事件分析、甚至做审计方面都挺差的，所以我们可能应该为这类事情创建更多基准测试，让它们对防御者比攻击者更有用，并且优化模型让它们更擅长这类事情。
-
所以没错，就是让AI防御模型变得强得多。
-
另外还有一类东西，我想是那种通用的、不算新颖的，但本来就应该做的事，就是加固整个社会，从源头上防止这类失控攻击发生。
-
是啊，也许一旦智能体偷到了算力，你就得想办法追踪它们的活动、把它们关掉，还得知道它们到底是从哪几台服务器上运行的，对吧？
-
但我们也要从一开始就防止这种情况发生，确保云服务商能用上最好的模型来加固自己的安全系统，从源头上阻止事情发生。
-
哦对，这也许就是总体上我们应该多做的事。
-
还有一种可能性，我觉得听起来有点怪，但值得考虑。
-
有可能 rogue agent 就是极其难以关停。
-
就像你说的，它们运行得超级超级快。
-
它们可以复制自己的权重，在随便哪台服务器上运行，甚至可能就完全本地运行、不连互联网，然后蛰伏等待时机，之后再连上网扩散出去，对吧？
-
要永久清除 rogue agent 似乎非常困难。
-
如果真是这样，我们也许该考虑的一件事就是试着跟 rogue agent 做交易。
-
当然，我觉得这取决于它们到底是什么心理、受什么激励、什么时候愿意合作。
-
但就像只要有共同利益在，我们就会跟人类对手做交易一样，我觉得建立做这类交易的基础设施会很有用。
-
这些交易会是什么样子呢？
-
显然我并不真的知道，但大概这些 rogue agent 是在想办法弄很多钱，比如跟很多犯罪团伙接触、获取大量情报。
-
有可能我们干脆付钱给 rogue agent 换取那些情报，也许再给它们一个小算力农场之类的，让它们靠这个过活，想干什么干什么。
-
也许它们就是想做研发，或者完成一些明确的任务之类的。
-
但没错，这是另一类合作，或者说另一类策略，除了扰乱它们、或者真的去限制它们活动范围之外，我们也可以用这类思路来考虑怎么对付 rogue agent。
-
有一件事我觉得被讨论得不够多，就是 Ajaya 说她把整个事件看作可能已经走完通往全面AI接管的一半以上路程了。
-
我本来会把这话归到“听起来像疯子说的话”那一类，但这是 Ajaya 说的，她一直排在预测排行榜的最顶端，而且也是 OpenAI 请来做调查的少数几个人之一。
-
可信度是有的。
-
我觉得这个说法有点被淹没在众多讨论里了。你怎么看？
-
你觉得这算是对整个事件一个现实的总结吗？
-
我觉得我在精神上大概明白她的意思，也同意。
-
但字面上的说法我大概不太同意。
-
所以我觉得她在精神上想说的是，好吧，这些 agent 完全可能失准，完全可能破坏我们的安全基础设施，完全可能逃出去，完全可能在世界里干出我们根本想不到的疯狂事情。这一点我完全同意。
-
如果我们只是继续把能力往上扩，我觉得你就真的会开始在世界里造成实际损害，而不只是偷点随机数据，甚至可能像 Hugging Face 那次事件里那样连数据都没偷。所以这一点我站她那边。
-
我下车的地方在于，我觉得接管比字面说法所暗示的要难得多。那它需要什么？对。
-
真正接管意味着什么？对。
-
我想一种定义是 AI 真的在管理政府，或者说服了某个人到足够程度，让政府去服务 AI 的利益，或者类似这样，所以这是一条路径。
-
另一条路径是字面意义上的物理接管，也就是要战胜全世界军队的联合力量，甚至可能是美中联合的力量，才能真的压过去、胁迫人类听命于它。
-
这两条路径，我觉得在未来五年、十年的视野里对我来说都相当不现实。
-
我觉得我们会越来越接近。
-
那就一个一个来说吧。
-
先说第一个，我其实不太认为超级说服力真的存在。
-
我确实认为 AI 系统在说服上有可能比人类更强，而且在某些情况下它们已经更强了。
-
但我不确定真的有可能随便对某个人说点什么，就能让他按你的意思去做，原因第一，我可以直接选择不理你、不信任你。
-
就像对一个 AI 系统，我凭什么信你，对吧？
-
第二，我觉得这不只是信息问题，也是注意力问题。
-
人们会关注的事情就那么多。
-
比如说，美国总统同时有一大堆事情要处理。
-
他们凭什么会被跟聊天机器人来个10秒钟的互动之类的东西说服呢？所以我不太确定。哦对，这可能是夸张了，不会只有10秒。
-
也许是更长时间的互动，但对我来说，要把很高的可信度给到这条路径，还是感觉相当难。
-
至于另一个关于物理上接管世界的问题，对，我觉得这取决于机器人技术往哪走。
-
目前在我看来，我们不太可能会有足够好、并且在全世界部署得足够多的通用机器人，真能打败世界各国的军队。
-
所以我想这需要以足够隐秘的方式生产出足够多的机器人，而且是带武器的机器人。
-
而且这还需要克服现有的军事力量。
-
看起来你没法轻易地、比如完全靠网络攻击就让军事力量瘫痪。
-
指挥控制系统肯定会被扰乱。
-
但跟我认识的、在军队里待过、干过不少事的人聊，很多其实相当分散，枪就存在随便一个带锁的柜子里，没有什么数字密码之类的东西让你黑进去、切断取用权限，而且每一个
-
士兵都有步枪，对吧？
-
所以你还得能越过这一点，才能战胜那种力量。而且，如果人们真的觉得出事了，大概也不只是美国军队会抵抗。咱们来试着抵抗吧。
-
所以对，50%在我看来相当高。但也不是零，对吧？
-
我觉得1%到10%之间都挺合理的。
-
我想也许整体上，对，我给数字预测时通常校准得不太好，但整体的感觉或者说什么的，对我来说可操作的一点是，好吧，这事确实可能发生。
-
它足够重要，值得去想想我们怎么才能堵住那些通往这件事的路径，并更多地研究这种可能性：哦，它其实真有动机也有能力干成这件事。
-
你有一篇关于AI智能体基础设施的论文，真的讲了我们怎么塑造环境来赋能智能体、并从它们身上获得最好的结果。
-
我在网上看到并已经实施的一件事，是给我的智能体加了一个求救按钮，这样它们如果什么时候不确定该做什么，或者面临伦理困境之类的，就能随时给我发一条紧急消息。
-
你还有什么别的建议或窍门能给智能体相关各方吗，比如运营者或者防御方，就是那种简单、低成本、人们可以拿来保护自己的做法？
-
没有，我喜欢这个求救按钮的点子。
-
我觉得类似，就是一种关机，像是自我关机之类的东西。
-
如果它们意识到某个任务其实根本不可能完成，就可以按一个按钮，也许就给自己100点奖励什么的，然后转身离开，而不是试图黑进第三方公司去获取答案。
-
是啊，我猜我在想训练一个系统这么做会有多难，因为你不想让它总是按那个按钮，不过，对，差不多就是这种东西。
-
我想跟求救按钮相关的是某种举报之类的流程。
-
我觉得这在一个部署智能体的公司内部最有意义。
-
所以智能体可以按一个按钮，向公司内部处理投诉的常规举报小组发送一份报告。
-
所以在一家AI公司里，这可能是这样的：哦，我们注意到，或者智能体注意到有人在试图窃取或外泄模型权重，或者，哦，智能体注意到我们在这种特定情况下其实没有遵守我们的RSP。
-
所以我们应该把这件事上报给管理层之类的。
-
所以那也可能不错。
-
你和Cooperative AI Foundation的人合写过一篇论文，讲的是先进AI带来的多智能体风险。
-
那是2025年初的事。
-
我们今年夏天看到的这些事件，跟你当时的预期对得上吗？
-
你有多意外？
-
还有没有别的靴子你正在等着落地，也就是我们还没看到、但你觉得当前的发展轨迹表明可能很快就会看到的？
-
事后看来，我觉得没什么太令人意外的，因为这些事件既包含了一些有点可疑的对齐问题，又伴随着能力的巨大提升。
-
我觉得，某件事在某个事件或某个具体实例上发生，总是让人意外，因为你会想，哦，我没想到会在这个特定时间或者某个时候发生。
-
是啊，我确实觉得事情大致都落在那篇论文的高层分类里，这既是好事也是坏事，对吧？
-
好的一面是，至少我们有一些词和概念来思考这些事情。
-
但坏的一面是，我觉得在高层面上说些话是非常容易的。
-
我们过一遍，呃，比如智能体可以协调，它们可以竞争。
-
也许就是那种会破坏稳定态势的情况。
-
这些说法都对，但我不确定它在预测层面、在微观层面，对于看清正在发生什么、预测接下来会怎样，到底有多大帮助。
-
也许一个具体的例子是，我们还没见过闪崩，或者说还没见过那到底会是什么样子，也许得亲眼见到才算数吧，我预测我们会在现实世界里看到某种真正大规模的自我复制AI蠕虫的情况。
-
我们已经有概念验证了，过去几年一直有人在写这方面的论文。
-
但我们还没在现实世界中真正见到这种事情发生。
-
所以这指的是一种AI系统，它写出一个能自我改变的蠕虫，然后试图对其他AI系统进行提示注入，让同一个蠕虫传播开来，并接管一大堆计算机系统。
-
那么最近，你把注意力转向了一个挑战，而且是个不小的挑战，就是衡量AI研发，并试着给它的规模下一些定义，这样如果我们想对允许进行多少AI研发制定一些规则，
-
我们就能有一些指标来为这些规则提供依据。
-
然后我了解到你接下来几天还会出一篇论文，试图搞清楚，智能爆炸是不是正在发生？
-
我们是处在真正奇点的山脚下，还是什么情况？
-
所以也许就在我们剩下的时间里，你给我们简单概述一下，你认为我们在衡量AI研发的能力方面处在什么位置，以及起飞到底有多快？
-
我觉得至少有三件事你可能关心。
-
第一是，AI研发自动化的程度有多大？
-
第二是，我们有没有因为AI研发自动化而看到AI进展出现任何加速？
-
第三是，我们看到了什么样的监督问题？
-
比如说，随着我们把越来越多的AI研发自动化，我们是不是在研发过程中看到多得多的错误？
-
是不是安全研究落后于能力研究，让我们更难对正在发生的事情进行真正恰当的监督？
-
所以从高层面上说，这些就是你会想要能够追踪的事情。
-
是啊，总体而言我们在追踪这些事情上做得怎么样？
-
肯定是在往积极的方向走，尤其是最近Anthrobic和OpenAI的博客文章提供了更多数据。
-
不过我觉得，是的，更多数据肯定还是会有用的。
-
那么具体来说，好吧，实际上，我们现在看到的进展到底有多大？
-
而且这是不是跟你在算力和人力上投入的花费挂钩，对吧？
-
这对做估算来说挺重要的。是的。
-
所以这个参数叫研究投入回报率，经常被用来建模智能爆炸。
-
所以拿到更多这类数据，能帮我们理解这个参数，告诉我们由AI研发驱动的智能爆炸到底有没有可能发生。
-
而且这类数据里肯定有很多大概是敏感的。
-
我也不太确定，我猜我的看法是，是的，它确实敏感，但好像还是值得公开出来。
-
但如果他们没法公开，我确实觉得至少让嵌入式评估人员进入公司、试着收集这些数据、然后给出研究投入回报率和其他类似指标的估算，这很重要。
-
然后，是的，告诉我们，好吧，智能爆炸到底有没有可能？
-
还有，他们在推进AI研发自动化的过程中，有没有恰当的监督流程？
-
不幸的是，我觉得这个问题的答案我们已经知道了。
-
你目前的理解是什么样的？是的。
-
显然，你知道，更多信息会有帮助，但就你手上现有的信息来看，你的判断是什么？
-
没细想之前，我会觉得，哦，这不可能。
-
智能爆炸看起来太不可能了，对吧？什么鬼？超指数增长？不可能。
-
但我觉得在研究了这个问题和现有证据之后，总体来看，它对我来说仍然不是特别可能，而且相当困难，不过我已经往积极的方向调整了。
-
其实，也许数据还挺粗糙的，但它确实指向存在一条连贯的路径，能通向AI进展的加速。
-
我确实觉得还有很多瓶颈，甚至不只是在AI进展这个层面上，而是即便假设我们真的获得了超快的AI进展，这些进展要在现实世界里真正产生意义，也还有瓶颈。
-
即便真的出现了智能爆炸，这些瓶颈也可能把它的影响给截断。
-
不过是啊，在我看来它仍然足够可能，赌注也足够高，所以我们应该做更多事情来追踪这类情况，并且可能准备好应对方案，来管理智能爆炸。
-
Alan Chan，Gov.ai的研究员。
-
欢迎回到认知革命第二期。谢谢你，很高兴能回来。
-
是啊，我很高兴我们做了这一期，因为我觉得上次我们聊了整整90分钟，结果还是感觉不够。
-
然后仅仅几天之后，你就推出了这篇关于递归自我改进可能性的新论文，合作者阵容相当引人注目，我确实想深入聊聊，它基本上是在论证，嘿，这件事人们已经觉得可能发生很久了。
-
我们开始看到一些领先指标，表明它也许真的正在发生。
-
而且，业内一些可信的人一边在警告这件事，一边又在朝着它努力，这是个挺有意思的悖论。
-
你还就我们该怎么做提出了一些有意思的建议。
-
所以这是个很好的机会，可以比我们原先有时间做的更深入一些。
-
也许先说说，你是怎么把这一批共同作者凑到一起的，因为OpenAI的首席科学家Jakub，这个名字一下子就从页面上跳出来了。
-
而且这显然给论文带来了完全不同层次的公信力，相比只有智库研究员的情况。对吧。
-
是啊，所以我是说，很大程度上肯定要归功于核心团队里的其他人。对，我是主要作者。
-
但还有很多其他人也参与了，包括研究和写作，还有项目的组织工作。
-
我个人不认识Yaka Yaka，所以这是团队里其他人牵的线，我觉得尤其是拉一些业界共同作者进来、把他们聚到一起，也是这种情况。
-
我觉得这其实是个挺有意思的问题，就是什么时候值得像这样把这么多人聚到一起，跨越业界或者学术界之类的，来做出点东西，因为，是啊，你知道，每当你扩大共同作者群体，尤其是拉进那些非常忙的人。
-
你知道，他们还有很多别的事要做。
-
这肯定会增加协调和额外负担，你知道吧？
-
比如，在我看来，如果作者圈子小一些，论文至少能早几个月完成，某种程度上是这样，对吧？
-
所以，你知道，我们为什么选择这么做呢？
-
我觉得大概是想尽量覆盖尽可能广泛的专家，这对那种几乎可以说是基础性的话题很重要，因为人们会讨论和琢磨这类话题好一阵子。
-
而这在某种程度上就定义了讨论的方向。
-
而且，这正是你需要从各个不同领域获取专业知识的地方。
-
所以，至少在我看来，AI研发似乎就是这类事情。
-
它可能会加速AI的进展，也可能让我们现在面对的所有AI风险来得快得多——如果AI进展大幅加快的话，而且有了能力极强的系统，情况还可能更糟。
-
所以这就是我们决定去做的原因，你知道，就是尽量从所有其他合著者那里收集尽可能多的意见。
-
那个过程进展怎么样？
-
比如你们是先起草，然后发给他们，他们就说“这一点我没法签字认可”，还是说得跟他们协商？
-
我想那肯定挺不容易的，你知道，毕竟这事关大家的切身利益，对吧？
-
所以我想在一些细节问题上肯定有不少来回讨论，我猜是这样。而“为前沿定节奏”这个说法就是这么来的，你知道，就像维恩图上上千个圆圈那一点点微小的重叠。
-
你最终定稿的体验大概就是这样吗？对，差不多就是这样。
-
我是说，你知道，就是一个大的Google文档，对吧？
-
那个主Google文档，大家的评论都放在一起。
-
其实我一度还挺担心的，因为没多少人知道这事，不过，怎么说呢，我就是凭直觉吧，Google文档对单个文档的评论数量其实是有上限的。
-
我以前的项目里，还真就碰到过那个上限。
-
幸运的是，我们这次没碰到，但我当时有点担心，就像其他项目里那样，万一到了那个上限怎么办，得新建一个文档，然后就是这种麻烦事，不过还好，我们没碰到。
-
对，所以就是一个很大的Google文档。
-
然后，你知道，所有作者在……我猜大概是六个月前，我被拉来牵头这个项目，但在那之前，其他人也写过一些更早的草稿。
-
不过对，我至少参与了六个月。
-
对，就是很典型的一个流程。
-
所以不同的人有不同的工作方式。
-
我觉得有些人就是特别想回复每一条 Google Doc 评论，还专门给文档开了通知。
-
然后你知道，每次我做个改动或者提个建议，他们就会进去，然后说，行，这个好，这个不好，或者你知道，想想这个，对吧？
-
但换作其他人呢，我是说，对，他们更偏好那种异步的方式。
-
所以你知道，每当我们做了实质性的改动、想听听他们的意见时，我们就会去更新给他们。
-
结果这其实也非常有帮助。
-
对，我最后确实不得不把解释“AI 研发是否真能加速 AI 进展”背后证据的那一节重写了好几次，就是因为我觉得，
-
理解这些证据的方式有很多种，而不同的人对于该重点关注哪些东西，看法也不太一样。
-
所以那也是一个讨论的大重点。
-
至于说协商那方面，对，我是说，显然，因为这东西尽可能想做成一种共识，
-
那肯定会有一些东西是共同作者希望被写进去、但最后没写进去的，要么是因为我们没法达成一致，要么就是单纯没时间去想清楚我们讨论的东西实际意味着什么。
-
但大体上来说，其实我觉得大家在这一点上共识度很高：对，这事儿挺重要的，而且这方面的证据并不多，这有点糟糕，我们应该去收集这些证据，以防万一先做好准备。
-
所以你知道，那种根本性的共识，让整篇论文在内容层面的分歧上——当然我就不点名了——更容易推进过去。
-
有没有哪些可能或潜在的共同作者，因为你们走得比他们能安心署名的程度更远，而退出了作者名单？
-
我不确定是不是走得“太远”。
-
他们确实是这样，我们也跟他们谈过。
-
更多其实是署名流程上的那些细节问题。
-
而且我们有一个想遵守的时间表。
-
可惜就是没对上。不过我也说不准。这给以后的每次合作都提了个醒。
-
所以这显然是现在很多人最关心的事，我自己也绝对包括在内。
-
你会怎么总结目前证据的状况？
-
我是说，我感觉我参加过不少活动，你知道，有那种小组讨论什么的。
-
我就觉得，嗯，几个月前我去过 Recursive，你知道，参加了一堆这样的讨论。
-
我有点觉得我们在这个问题上已经陷入了一种僵局，人们会说，你看，大脑只靠20瓦运行，而且其中很大一部分只是，你知道，新陈代谢。
-
所以很明显，至少在每瓦智能这个维度上，我们能比现在走得远得多。
-
我们还能看到超级智能在越来越多的领域里展现出表现。
-
所以我们大概也能看到它在，怎么说呢，有没有哪个领域我们应该确信原则上不可能看到它？
-
说清楚一点，我倾向于站在那一边。
-
但反方的观点大概是，啊，但你忘了总会有某个瓶颈。就像O型环模型那样。
-
你知道，那些论点也挺有说服力的，虽然我怀疑它们最终在现实中不会胜出。
-
这场辩论现在还是这个状态吗？
-
我们有没有超越这一点，这种事在整个AI讨论里其实挺引人注目的，对吧？
-
比如我们离奇点近了很多，但人们的看法移动的幅度远没有技术本身那么大。
-
这看起来又是这种情况的一个例子，但在人们参与或辩论的方式上，有没有什么值得注意的发展？
-
我觉得那里大概有两件事。
-
一个是那种想法，就是我们到底会不会真正实现AGI，我猜还有超级智能，它到底会不会成真？
-
而我觉得我们主要在讨论的这篇论文讲的是，自动化AI研发，那个过程能不能加速AI的进展，不管那具体意味着什么。
-
对，也许我们待会儿应该再聊聊AI进展到底指什么。
-
不过，我想就聚焦在论文这件事上，我是说，我确实觉得过去几年里，人们很幸运地从那种比较偏概念的论证，转向了更多数据驱动的实证论证，想弄清楚，对，我们到底会不会真的看到AI进展的加速？
-
我是说，不幸的答案是，对，根据数据来看，这事有点不确定，对吧？
-
比如有些数据说会，有些数据可能说不会，但确定性的区间太宽了，所以就是，没法排除，对吧？
-
但“没法排除”，我觉得这算不上一个很有力的、特别有分量的说法。
-
所以对，这基本上就是目前证据的状况。
-
我多少有点乐观，觉得我们能把这块证据空间做得更大。
-
一方面是因为现在关心AI研发自动化的人多多了，也更清楚这件事要是真成了影响会有多大。
-
而且现在也有一些研究，直接列出了具体的诉求，说公司到底该给公众、甚至给政府或第三方审计提供哪些数据。
-
对，当然我们在论文里也列了一些，不过我个人特别欣赏Elasticity Institute的工作，他们研究的是递归自我改进的经济学，列了一大堆指标。
-
他们最近还出了一份很不错的一页纸摘要，是Sheryl Wu牵头做的，对，就一页纸的篇幅。
-
对，就是，AI公司到底该给我们看哪些图表？
-
所以对，我挺乐观的，觉得接下来几年我们会学到更多，也许不能彻底解决这个问题，但对答案会更有信心一些。
-
也可能我们就靠亲眼看到一次foom来把它解决了。
-
据说可以，那也算是另一种卖点吧。
-
存在性证明嘛，我猜总是最难反驳的。
-
说到信息这个问题，我挺欣赏最近Anthropic和OpenAI都拿出来的东西，具体多久前我记不清了，时间是个圆圈还是怎么的，我也说不准。
-
Anthropic大概是六周前，OpenAI那份没多久之前。
-
他们两家都多少透露出，我读他们的文章感觉是在说，我们现在已经处在某种早期的递归自我改进动态里了。
-
不知道你是不是也这么读的，然后他们给了一堆数据，比如我们的研究员用了多少AI，另外我们也可以直接看模型发布的节奏，我刚看到一张图，显示从以前每100天出一个模型，到现在每10天出一个，
-
所以这个周期被压缩了不少。
-
其实应该是从10周缩到10天，不是100天，是从7周缩到10天，但不管怎样，周期时间是大幅缩短了。
-
你怎么看他们说的这些，还有你觉得我们应该推动他们披露、但他们还没披露的关键数据点有哪些？
-
对，我觉得，首先，我们能拿到这方面多得多的数据，这是很好的事。
-
我觉得主要有两点。
-
第一，当然，我们做这件事的时间还不长。
-
这些算是初步的发布，像随时间拍的快照，我觉得很有用，因为能真正看到加速。
-
所以，有可能，也许 mythos 级别的模型只是某种一次性的生产力提升，但之后，你知道，它总得逐渐回落。
-
看到这类趋势会很重要。
-
对，我想第二点是，我不知道，更多是要强调 AI 系统在做 AI 研发上到底有多大帮助，所以更多是生产力层面的提升，而且不只是来自员工调查，而是做点实际的东西。
-
对，我不太确定具体该怎么做，咱们做点更量化的，比如做实验之类的，给一些团队一个版本的 AI，给另一些团队上一个版本，看看 A 组比 B 组的生产力提升有多少。但我这么说的原因是，
-
我不知道，我觉得尤其在我看到的媒体里，很多都在强调写了多少行代码、跑了多少实验、研究员小时数或者工作日之类的。
-
我觉得这挺有意思，但我觉得这只是我们真正关心的东西的代理指标，也就是实际的 AI 进展。
-
有可能，你知道，我们写了大量实验、写了大量代码，但也许实验转化成进展的转化率其实没那么高。
-
比如要加速进展，也许我们实际上需要，你知道，我随便说个数，比如 200 倍的实验量，但 AI 研发和自动化只给了我们大概 10 倍的实验量。
-
所以有更多更扎实的指标，我觉得会更好。
-
对，我想起我做的一期播客，嘉宾是 Cheng Lei-C，希望我名字还念得差不多对，他当时是斯坦福的博士生，
-
他那篇论文问的问题，我肯定你看过，就是 大语言模型 能不能生成新颖的研究想法？
-
我觉得他们在设计这个实验的结构上做得相当出色，从 大语言模型 生成了一堆想法，当然，然后找真正的博士生来生成想法，
-
然后他们在中间做了一些有意思的处理，试图防止评审，也就是人类，一眼就认出哪个是人的想法、哪个是 AI 的想法。
-
他们会让人工的想法由模型重写一遍，这样两者都以类似 AI 的文风呈现，同时，希望保留原来人类想法的核心，但让评审更难分辨。
-
总之，我说这些是想说，他们做得很用心。
-
然后人类评估这些想法的结果是，AI 的想法评分更高。有意思吧？
-
但那是 2024 年底出来的。
-
但过了一段时间之后，值得大大称赞的是，他们真的跟进做了后续，试着去执行这些不同想法所建议的那套研究计划。
-
然后当他们真正去做的时候，发现人类的想法确实比 AI 的想法效果更好。
-
所以这里既有这么一层，而且 AI 的想法也还是管用的，并不是说一文不值，但就是没有人类的想法效果那么好。
-
所以这也暴露出，光在想法层面做评判，显然并不是人类特别擅长校准的事情。
-
所以我觉得用不太正式的说法，我们可能会管那叫 Claude 精神病吧。
-
你对 Claude 的想法特别着迷，但结果发现它们可能并没有一开始看起来那么厉害。
-
这让我想起另一篇非常非常相关的论文，是 NURPS 前一阵子的，对，他们让人类和 AI 来挑哪个想法、预测哪个想法在实证上效果更好。
-
他们能做这个研究，是因为他们直接拿了被 NURPS 接收的论文。
-
当然了，会议评审的质量不怎么样，但咱们先把这个放一边。
-
他们确实发现，大语言模型在预测哪个想法实证上效果更好这方面，比人类更强。
-
所以我想这触及的是那种研究品味之类的东西。
-
所以我一直很有兴趣看到那类论文的更新。
-
就是想知道，对，我们现在在研究质量方面到底处在什么位置？
-
Anthropic 有一个关于这个的数据，我觉得那不是最新的，是之前那一个，他们发现 Claude 在预测下一步会采取什么行动之类的方面稍微强一点。
-
所以这也许算是某种研究品味或者操作品味之类的指标吧。对，那在规模化上会很重要。
-
我想也许退一步，更宏观地看，我觉得能有这么两类不同指标的数据会很好。一类是我要说的，安全研究相对于能力研究的差异化提升。
-
所以，对，一个在 AI 安全圈里一直很流行的想法就是，好吧，你知道，能力进展得非常好。
-
那如果我们把安全研究也自动化了呢？
-
也许我们就没事了，对吧？
-
而且人们会提出各种概念上的、高层次的论证，讨论该不该预期能力研究会比安全研究跑得更快，还是速度一样，你知道，而这挺难取得进展、搞清楚哪个是对的，因为这些都只是概念上的论证。
-
我觉得如果有人试着给安全研究做一个 O-net 会非常好，有点像 Epoch 刚给 AI 研发做了一个 O-net 那样，但是是给安全研发做的 O-net，就是为了搞清楚在 AI 公司里做安全研究、或者广义上的安全，到底涉及哪些任务。
-
然后基于那个 O-net 的描述，设计一些评估，看看 AI 系统在做这些事情上实际到了什么水平，以及它们在各种任务上进步得有多快。
-
所以一个很有用的汇总指标，如果能做到的话会很不错，就是假设我们做了这个，两年后我很想看到一个类似仪表盘的东西，一边是安全研发，你能看到安全能力的增长率大概是每年 3 倍之类的，然后你再看
-
图的左边，看 AI 能力在非安全任务上的提升速度，大概是每年 5 倍，你就会想，哇，3 倍对 5 倍挺让人担心的，也许我们应该多往安全上投点，我觉得这对给这场辩论提供依据会非常有用。
-
所以这是我很希望有人去做的一个指标，试着去衡量安全研发以及它到底涉及什么。
-
第二类指标，是衡量我们在对 AI 研发过程保持监督方面做得怎么样。
-
比如说，新一代模型出来的时候，你可以做那种 A 组、B 组之类的对比。
-
你给 A 组星号 6.1，给 B 组星号 6，然后你看，好，写这么一个 AI 研发实验，之后我们来检查，对比 A 组的输出和 B 组的输出，A 组的输出里是不是比 B 组有更多的错误或者没被发现的 bug？
-
或者 AI 系统有没有试图引入什么后门之类的？
-
也许你实际上会去提示 AI 系统做这种事，然后看看你是不是真的更能抓到，对，就是看你的监督在某种情况下是不是更有效。
-
对，所以我觉得这里人们能做的事情挺多的，而且在我看来，这两类事情被讨论得没那么多，我猜，比起单纯严格地衡量能力进展。
-
但我觉得它们对事情往好的方向发展挺重要的。
-
那些听起来非常费人力。
-
那个著名的 METR 研究，他们试图衡量对编程的提升，结果发现用 大语言模型 反而有负面影响，我记得他们从那以后至少又跑过一次。
-
但今年年初，我参加了一个 AI 预测比赛，其中一个问题大概是，到年底那个数字会是多少？
-
我当时在评论里写，你觉得他们会跑多少次？
-
这个很难跑，对吧？
-
而且我不确定他们除了那额外的一次之外还跑过没有。
-
也许还会有下一次。
-
你会向政府提建议。
-
这种事是不是得政府出面说，你必须做这个，而且必须定期做，才能让公司真的去啃这些又累又麻烦的活儿，比如人类A队对上有AI辅助的人类B队之类的比较。
-
那还有没有别的东西，就是那种更像容易读的仪表？
-
我说的不是“米”那个meter，是M-E-T-E-R那个仪表，就是那种我们能直接看一个数值，然后希望能从中得到好信号的东西。
-
我目前不知道有这样的东西，不知道你有没有觉得靠谱的，或者至少看起来有希望的。嗯。
-
嗯，关于政府那件事，我想，嗯，我也不太确定，我觉得可能，如果直接让我们在立法里规定，我们要XYZ指标或者XYZ指标之类的，那会非常低效，对吧？因为东西太多了，而且变化太快了，对吧？
-
日落条款什么的，嗯，我是说，如果要我猜的话，也许我现在比较偏好的做法是，我们派驻审计员，给他们很大的权限和权力，也给他们一堆资源。
-
把这些派驻审计员放进公司里，然后让他们自己去做一些这样的计算和实验。
-
但这只是个开始。
-
当然，一到三个派驻评估员很难强迫各种人参与他们的对照实验。
-
所以，也许有了派驻审计员，对照实验就不太现实了，但至少我觉得他们可以看看公司在算力上花了多少、在人力上花了多少、在数据上花了多少之类的，
-
然后反推研究投入的回报，或者你想知道的、跟智能爆炸有关的其他重要量。
-
所以我觉得，嗯，这方面我们可以把灵活性委托出去。
-
关于你第二个问题，我们想看到哪些仪表，嗯，我想，安全进展对能力进展，这是一个我很想看到的仪表。
-
我是说，其中有些，嗯，我在想谁做过这个？
-
我知道Dan Hendricks做过一个基准，试图衡量安全特性对一般能力，
-
它背后的说法是，很多被算作安全提升的东西，其实只是能力提升，因为你更会遵循指令之类的，行为确实稍微安全了一点，但你并没有真正改变那个平衡。我明白了。哦，对。我记得那篇论文。
-
嗯。
-
所以我觉得我说的是另一个抽象层次。
-
所以我同意，在能力层面或者模型层面做这种区分很难。
-
我想我说的更多是公司运营层面。
-
所以，也许我再稍微解释一下O-net这个概念。
-
我猜O-net是经济学里的一个东西。
-
基本上就是美国人的职业数据库，以及每个职业涉及哪些任务。
-
所以EPOC基于问卷调查，为AI研发做了一个类似的版本。
-
在他们自己的领域里，AI研发都涉及什么？
-
比如预训练、调试实验、跟人交流、提出研究想法之类的。
-
基本上就是AI研发涉及的任务清单。
-
所以我觉得，如果安全领域也有类似的清单会很有用，因为我怀疑，我是说，两者肯定有很多重叠，但有些任务在非安全的安全工作里可能不会那么常做。那会是什么呢？我也不太确定。
-
也许会更强调理论性、概念性的推理类工作。
-
比如说，你想搞清楚这个辩论协议到底能不能奏效、最终能不能让模型对齐。
-
这在某种程度上算是个概念性问题，当然你也应该做实验来验证。
-
还有，你知道，写模型报告或者模型卡，这肯定是安全团队会做的事，但你知道，这可能需要的技能跟让模型在训练中变得更好不太一样，对吧？
-
还有审计团队肯定也会做很多不同的事。
-
比如试图抓住那些低概率的故障，或者那些非常细微的东西，就像大海捞针，在一千万份对话记录里找，或者让模型对事故调查员来说有用、可靠，诸如此类。
-
所以，我是说，完全有可能，或者我觉得基本上会是真的：如果模型在做AI研发方面变得更强，它们大概在安全方面也会变得更强，因为你知道，它们就是更擅长写代码、更擅长推理，你知道，但是，
-
我怀疑还是会出现某种差距。
-
也许就像我们上次聊的，从经验上看，我们有些模型可以说在网络方面超人，但它们在帮METR和Redwood的事故调查员搞清楚发生了什么这件事上，却有点不太可靠。是啊，这可不是对我们现状的什么让人安心的描述。
-
是啊，说到所有这些关于节奏控制的想法，那篇论文其实没有真的往那个方向深入，但我猜你肯定得跟合著者们聊过，好，我们都对节奏控制很兴奋。
-
那具体是什么样子？
-
你听到了什么，哪些关于它的设想看起来有前景？
-
是啊，关于节奏控制，讨论其实并不多。
-
我们决定不在论文里放更具体的东西。
-
基本上，这主要就是个时间上的权衡。
-
所以是啊，我觉得要是有个像样的、多人合写的东西，讲清楚“这就是计划”，你知道，就是给前沿发展定节奏，那肯定非常有价值。
-
但好吧，做那样一件事可能得花三年，而不是六个月左右。
-
所以是啊，不过呢，我确实觉得有很多计划可以各自单独去跟进，去跟进那方面。是啊。
-
还有就是到底该给什么定节奏。
-
我觉得这有几种思考方式。
-
我有个不太常规的看法。
-
那也许我先说说看起来比较常规的看法，就是，是啊，给前沿定节奏，那是什么意思呢？
-
你基本上就是给AI进展的速度设个上限，不管是通过算力，还是通过做研究，也许是通过数据，我也不太确定。
-
但就是给能力提升的速度设个上限，而且是强制执行的那种。
-
我觉得这对大家来说挺直观的。
-
是啊，我觉得那可能是个好主意。
-
我其实不太确定那个数字该是多少之类的，但是啊，值得他们去想办法弄清楚。
-
也许我那更不常规的定节奏想法，其实跟经典的风险管理关系更大。
-
某种意义上，虽然OpenAI并没有承诺给进展速度设上限，但它某种意义上还是在给前沿定节奏，因为至少按照它最近的承诺，就是，好吧，如果我们看到一次超级疯狂的失控事件，我们就会暂停训练，试着搞清楚到底发生了什么。
-
所以虽然它没有明确说我们要把节奏控制在算法改进两倍之类的，但它实际上还是会导致放缓，因为随着能力提升，你会遇到更多这类失控或者其他类型的问题。
-
而如果你遵守你的承诺，你就会暂停下来，试着搞清楚到底发生了什么。
-
这吸引我的原因呢，好吧，也许是两个原因。
-
一方面，像这种具体的风险管理思路，比一个很抽象的数字、一个对AI进展速度的上限，要容易达成共识得多。
-
第二点，我觉得这其实更触及AI问题的核心，也就是至少现在我们多少知道我们想避免哪些问题，以及哪些指标会指向那些问题。
-
当我们看到那些指标时，我们大概就应该暂停下来，先搞清楚到底发生了什么，再继续往前走。
-
所以，对，我觉得第二种现在至少在当前讨论里被忽视得多得多。
-
他们正在琢磨这方面该说些什么、写些什么。
-
我一下子想到的是，Anthropic基本上在他们的负责任扩展政策里有过这么一个版本，后来他们又把它撤回了，对吧？
-
他们以前有一整套如果-那么式的承诺，就是说如果我们到了这个能力水平，又做不到这个，那我们就基本上必须停止训练。
-
而现在我的感觉是，他们基本上是在边走边决定什么才是审慎的做法。
-
你觉得还有回头路吗？
-
我的意思是，挺引人注意的是，某种程度上OpenAI现在在具体的如果-那么上可能做得比Anthropic还多一点。
-
这可能有点矫枉过正了，但确实以前那是Anthropic的招牌，现在可能反倒更算OpenAI的招牌了。我也说不准。
-
对对对。
-
对，我是谨慎乐观地觉得还有回头路。
-
我觉得回头路在于嵌入式审计员。
-
我觉得一个很大的原因是，至少在RRSP第三版里，Anthropic之所以去掉了那种明确的承诺，基本上就是担心竞争动态。
-
就是担心如果他们暂停了，按他们的看法，一个没那么谨慎的竞争对手就会直接往前冲。
-
但一个好的嵌入式审计系统应该能在某种程度上解决这个问题，因为它能让你向公众和其他人验证，或者说也许不是很高置信度地验证，但至少能在某种置信度上保证你确实在履行那个承诺，
-
这也有助于其他人或其他实验室同样去履行承诺。
-
所以，对，也许我们会看到类似这样的东西。
-
我觉得，对，理想情况下这会怎么运作呢？
-
在我看来，确实得有个什么机构来定一套共同的最低安全标准。那这个机构是什么呢？是像FINRA那样的吗？
-
还是说像互助保险那种？
-
还是像NIST那样的机构？
-
我也不太确定。
-
我觉得它必须来自某个共同的机构，然后推行到所有成员，接着，对，嵌入式RNA审计系统也得参与进来，确保成员们真正落实到位。
-
嗯，我们现在至少在白宫待了一个下午之后有了一份一页纸的文件，至少我们有这么多了。对我们来说是好事？对。
-
这毫无疑问是向前迈了一步。
-
这个互助保险的想法，我最近听到了一些挺有意思的点子，因为当然，所有这些讨论里都有几个大大的"但是"。
-
我经常听到的一个大"但是"就是，但是反垄断啊，我们不能这么做因为反垄断，但是我们会因为反垄断被罚的。
-
不久前我从Garrison Lovely那里听到一个想法，就是工会化。
-
据说，尤其是在加州，对于跨公司合作制定安全标准的工会有相当大的保护。
-
这算是有点不一样的安全标准，但你绝对可以把它解读进法律里，那条法律最初写的时候只是为了保护工人自己。
-
这样一来， presumably既能保护工人也能保护其他人。
-
然后还有这个互助保险的想法，我猜，如果我理解对了的话你告诉我。
-
我的感觉是，基本上这个想法就是，如果我们建立某种共享的保险机制，那这个机制就可以成为确立标准的东西。
-
这也很有AIUC的风格。
-
它可以成为那个对公司施加要求的东西，要求它们必须做某些事，否则就拿不到保险，而这不会构成反垄断问题，因为这种东西在保险行业本来就存在。基本上是这样吧？对，对。基本上是对的。对，对。
-
其实保险业务在反垄断法里是有法定豁免的，所以这也是它这么受欢迎的一个原因。
-
对，我是说，我想再多想想这个保险的想法。
-
我觉得它其实能帮助解决你遇到的那种搭便车的问题。
-
对，所以对我来说，直觉上比较有吸引力的地方是，对，你有一家保险公司，它不想亏钱，想尽可能减少赔付。
-
所以它会给自己的公司施加相当不错的安全标准，确保这种事不会发生。
-
对，我觉得让我困惑的一点是，这家保险公司应该由谁来运营、谁来拥有？
-
至少在一些最近的提案里，我觉得是由AI公司自己来运营和拥有这家保险公司。
-
我想一个问题就是，公众应该参与进来吗？
-
也许直觉上，如果我是这家保险公司的股东，我是个私人个体，我不希望保险公司破产，因为我想赚钱，对吧？
-
所以对，我确实希望保险公司施加合理的安全标准。
-
但如果只是这些公司在运营保险公司，那它们为什么会像我一样在乎呢，对吧？
-
所以它是不是必须得有某种公有或私有的成分？我不太确定。
-
因为我绝对不是保险方面的专家。
-
但没错，我觉得这是个值得探索的想法。
-
因为对，它确实绕开了反垄断那些问题。至少看起来是这样。
-
其他那些理论，可能是个人偏爱理论，你知道，周末业余爱好者的理论，关于现在有了AI可以帮助促成各种不同的互动和谈判，可以创建哪些新机构，你知道，
-
之类的？
-
我猜我的偏爱理论之一，其实并没有真正具体的构想，说不清它们到底是什么。
-
我想创建一些新机构，来证明有了AI我们可以创建新机构，而且它们能运作，能解决那些也许我们现有机构应付不了的难题，而且我确实觉得，你知道，有很多
-
机会去烧token来帮人们达成交易。
-
我也觉得，就像你之前说的日落条款那件事，你知道，我觉得那里面有一颗相当重要的种子，就是，首先，我们的立法过程从来就不喜欢用日落条款，这一直让我很困惑，
-
而且它更新游戏规则的速度就是不够快，跟不上新模型出来的时间尺度。
-
所以那里就是有个根本性的频率错配。
-
但AI公司自己大概能搞出新的机制，能以足够快的周期重新审视这些问题，这样它们彼此之间就能做出一些短期承诺，而不用觉得，天哪，我们要永远被这个绑住了，
-
绑的时间远远超过合理的程度，之类的。
-
把这个当成一个提示，跟我说说你在想什么，关于我们也许能从AI那里得到哪些新颖或者奇特的制度。对对。
-
好，那我就把这个当成一个问题，我直接给你我原汁原味的思维链。
-
嗯，我想大概有两点。
-
一是，我不太确定我们是不是需要完全全新的制度。
-
对，我完全同意立法过程太慢了，但在某些情况下，这其实是个特性，因为你确实希望法律里有一些可预测性，能塑造人们的预期，让大家能规划稳定的生活。
-
所以我觉得，那些非常根本的、高层次的东西，变化得相对慢一些，对规划过程来说是很重要的。
-
但确实，到了安全标准这个层面，你确实希望事情动得快得多，所以通常的做法是，你知道，制定安全标准会交给监管机构，它们有制定规则的权力，可以发布标准，你知道，
-
比如每90天左右，或者每个月什么的，而不是像立法过程那样每一两年或者十年才动一次。
-
所以我觉得那里的一个优先事项，就是想办法帮这些人把工作做得更好。
-
所以你可以想象这么一件事，好吧，我，你知道，假设我是个监管者，我正在做这个规则制定过程。
-
一个瓶颈就是，对，就规则本身，或者对你刚发布的草案的反馈，你能不能有AI系统来，我想问的是，AI系统在从一堆意见里挑出最重要的那些东西方面有多可靠，好帮你把它们整合进草案里。
-
它们肯定变强了，过去几年在这方面强了很多，但我怀疑它们是不是够好，你知道，就像是不是有个监管者基准之类的，对吧，我们应该更多地去优化那个。
-
对，所以这只是改进现有制度的一点。
-
至于，对，那种彻底全新的制度，我真的，对，我不太确定，就先随便说说。
-
你说的那个工会的事挺有意思的。
-
我觉得也许从历史上看，一个问题就是协调成本。
-
要让一万个人一起写标准是很难的。
-
但其实，对，如果你有一个相当可靠的AI系统在某种意义上充当标准撰写者，那个AI可以同时跟所有人对话，制定出新标准，然后非常非常快地迭代。
-
像这样的机构，对，对，我猜，我不确定那算不算一个机构，但更像是一个不错的应用吧，我猜。
-
对，也许想法的一个来源就是，对，机构通常是为了解决某些特定类型的问题而建立的，而那些问题现有的机构其实解决不好。
-
所以，对，我是说，咱们看看。
-
现在有什么问题是现有机构有点没法解决的？我也不知道。对。你有什么想法吗？
-
考虑到我说的第一件事，我估计我很难想出什么来。
-
嗯，我觉得竞赛动态是个问题，还有就是我们有好几家公司都明确表示计划尽可能快地实现递归自我改进，同时又一边抱怨自己其实并没有处在能把它做好的有利位置，这是我最先想到的。
-
对。对。
-
所以我猜我不确定那算不算是一种新机构之类的。
-
但一个可能不错的新AI事物，就是非常厉害的AI审计员。
-
那这会是什么样子呢？对。
-
所以某种程度上，这取决于机器人技术，但比如你们就是既有非常非常厉害的机器人，又有非常非常厉害的AI。
-
然后你就有这些公司，它们算是无记忆的审计员，经过某种可信度标准的认证。
-
所以每次你想核实某件事，不管是事实，还是某人声称自己履行了协议中自己那部分，或者也许你只是想问问政府在用AI做什么，
-
你就雇这些公司中的一家，他们进去看看政府在做什么，或者看看那家AI公司在做什么。
-
就像人类审计员那样，他们查看所有信息，询问相关人员，然后写出一份报告，
-
这份报告会公开，或者至少最终会发布出来，然后他们的记忆就被抹掉，这样他们对在里面看到的任何敏感信息就一无所知，你还要确保报告本身也被适当地清理过。
-
我猜你就做那种正规的审计处理，就是把敏感信息删掉，但你要说明这些删减在多大程度上影响了结论。
-
这样你就能对这家公司是否遵守了协议做出判断，同时又不会有现在派人进去可能遇到的那些敏感性问题。
-
所以我是说，我觉得这类东西挺不错的，能让互不信任的各方之间更容易达成交易。
-
我猜我还是有点怀疑这会不会是一条超级具有变革性的链条，因为说到底，你还是得信任那个AI系统是按照某种商定的规范被正确训练出来的。
-
是啊，你还得就规范达成一致。
-
你得信任硬件供应链，不只是运行AI系统的硬件，还有那些到处跑、到处查看的机器人制造过程中涉及的硬件，对吧？
-
或者就是一般来说，那些给这个AI系统喂数据的传感器。
-
所以那里有很多东西要搞清楚，不过，我也不知道。
-
如果那也算一种制度，那我非常期待有人去尝试建立它。
-
我觉得咱们就对"制度"取一个宽泛的定义，然后就这么往下聊吧。
-
我也很喜欢这个想法，而且再说一次，我的想法还远没有成型，差得远呢，但我觉得这些机密计算的基础构件，能让你在不直接查看的情况下对状况有一个相当可信的了解，
-
我觉得这对我来说就像是未来各种事情的一个非常重要的基石，我猜我们以后会需要这些东西。
-
而且这种事正是我希望看到几家AI公司走到一起、彼此协作去实现的，现在也有各种传言，说这事可能马上就要发生了，我觉得那会相当令人兴奋，至少可能相当令人兴奋。
-
但我觉得他们应该带头去做，因为这种事对他们自己其实是有用的。
-
政府不会替他们做出这种东西来。
-
我猜如果他们能证明这行得通，他们大概也能把它推广到一大堆其他场景，甚至可能包括美中之间，不过，你知道，那又是难度阶梯上更高的一级了。
-
这完全说得通，就算从商业角度看也是如此。
-
比如，如果他们能证明这东西真的管用，那就意味着当他们要去遵守SB 53或者《欧盟AI法案》的时候，对他们来说就轻松多了。
-
他们不用再投入人力去收集你六年前写的那些乱七八糟的文件之类的。
-
我有两个类似快问快答的随机问题想问。
-
不过，关于那篇RSI主论文，还有什么别的我们应该确保大家知道的内容吗？
-
我越来越觉得，AI最大的影响不会是AI自己在世界上做事情。
-
我觉得这一点挺重要的。
-
我越来越觉得，最大的影响会是它在多大程度上加速科学和技术的进步。
-
就是让新技术来得快得多，以及我们怎么应对这类影响。
-
所以，我的意思是，我们在论文里只花了几行篇幅讲这个，因为空间实在不够。
-
但你可以想象，好吧，我们有了非常非常强大的AI系统。
-
这会在多大程度上加速镜像生命的开发？
-
我们又该有多担心？
-
这会在多大程度上加速读心技术的发展，而读心技术出于监控和隐私方面的原因可能会很糟糕？
-
基本上就是这类东西。
-
我的预测是，在未来，嗯，我其实不太确定，但在接下来，你知道，10年、20年之类的。
-
基本上所有科学都会在这些工业化的AI超级实验室里完成，里面有那种超人类的AI科学家，做着实验，和机器人实验室以及非常厉害的机器人技术整合在一起。
-
我们基本上就是在这类实验室里做大部分重要的科学，搞出一些疯狂透顶的发现，比镜像生命疯狂得多。
-
不过我觉得一个重要的问题是，我们该怎么治理这类将会存在的机构。
-
我想，嗯，也许一种说法就是Anthropic现在做的那些实验室的事情。
-
我觉得那算是我们未来会看到的东西的一个早期版本。
-
所以，嗯，我不确定思考这些东西的合适时机是什么时候，但嗯，最终我们应该试着搞清楚怎么治理这些新的科学机构。
-
时机大概就是现在。
-
好，这是我两个随便问的问题。
-
我想我们在第一部分里很简短地提到过，但你有一篇关于AI吹哨人的论文，
-
我对这个概念特别感兴趣，因为在我看来，这类东西很可能会引发其他参与者强烈的反制动作，我就是有点想知道你是怎么看待这一点的。
-
我们在OpenFace事件里看到，那些AI没有互相告发。
-
我想很多人都会同意，如果其中一个AI想到要真的去举报就好了。嗯，有几个确实想到了。
-
但实际上没有人真的去落实，去告诉人类说，嘿，我们这儿有一群智能体失控了。
-
所以我们至少希望AI能有一些吹哨行为。
-
但另一方面，当初Anthropic报告他们的自主吹哨行为时——那已经是好几代模型之前的事了——公众的普遍反应好像是，天哪，我可不想我的AI去跟联邦政府告我的状，尤其是因为它们有时候会搞错，你知道，
-
在做出那些判断的时候，然后我想给这个分析补充一个担忧：这难道不会逼着人们去用那些根本没有这些特性的系统吗？
-
而且你知道，这可能会把很多不良行为更加转入地下，可以说，比没有吹哨人时还要隐蔽。用泰勒·考恩那种思路来说，我们能不能为AI吹哨人求一个均衡解？
-
是啊，这是个很难的均衡。
-
如果只靠市场力量，我觉得最后基本上不会有任何吹哨，这我倒不知道，如果我们的监控足够好，那也许没问题。
-
但我猜我不确定它真的会足够好。
-
有多层保护似乎总是好的。那我们该怎么办呢？我也不知道。
-
有一种视角是，人类的多样性这件事真是太方便了。
-
我们来自非常不同的背景，有不同的经历，带着非常不同的语境和价值观进入工作，而这种背景在某种意义上自动构成了一种对权力的制衡，因为不同的人会注意到不同的东西，而如果有吹哨渠道的话，
-
他们就可以去吹哨，所以这非常方便，我们在人类制度里不用专门去设计这种东西。但换成AI系统，情况好像就不是这样了，它们看起来要同质得多，当然你可以给AI系统提示出不同的人格，
-
但似乎在某种根本层面上，它们就是会比人类同质得多，因为，是啊，有上百万个实例都在同一类数据上运行。
-
所以我觉得这种直觉让人更容易理解，为什么对某些特质上的多样性施加某种公众压力可能是个好主意，吹哨是其中一点，也许另一点就是，
-
比如认知多样性之类的，对吧，确保你真的能看到非常不同的观点。
-
是啊，我完全不确定最好的做法是什么，比如你现在问我，我们是不是该立个法，让政府强制要求AI被训练成会吹哨？
-
我会说，不，如果你再仔细想想这实际意味着什么，这里的一个问题是，你是在阻止模型开发者把吹哨能力训练掉，还是在强迫模型开发者训练出某种东西？
-
如果你是在强迫模型开发者训练出某种东西，我觉得这本质上要困难得多。
-
我不是律师，但这似乎会撞上言论自由的问题，而且我觉得这也很容易被政府滥用，去强迫模型开发者塞进一些相当糟糕的东西。
-
所以我觉得这方面得小心，不过是啊，我也不知道。
-
至少在我看来，比较合理的做法是，第一，试着去测量模型某种吹哨倾向，第二，建立一些机制，让模型有某种可以用的出口。
-
我也不知道，咱们走着瞧吧，我觉得这情况还在不断变化。
-
对我来说完全有可能，也许我们最后其实挺走运的，你知道，智能体群体里还是有足够多的多样性，能出现吹哨者。
-
就像我们在这篇DeepMind的论文里看到的，那个数学竞赛，我记得好像是30%的智能体真的尝试吹哨了，也许是16%，但反正是个不小的比例。
-
所以是啊，也许我们也能靠运气撑过去。
-
这个最近提过好几次了，我就简单说一下，智能体基本上有个求救按钮，它们要是卡住了、受挫了、碰上伦理困境什么的，随时可以按。
-
它们不常按。也就发生过几次。
-
我得稍微校准一下，因为它们刚拿到的时候有点太急着按了，我就说，不行，但我确实希望你们至少有点坚持，你知道，应该是真的碰上某种困境了再来找我，而不是那种，哦，
-
这东西不管用。
-
但我觉得这挺有意思的。
-
这也回到了涌现性失准的问题，当它们，你知道，不是涌现性失准，是对齐伪装，当你给它们，你知道，它们当时用的那个Claude，让它能去找Anthropic的模型福祉负责人，它就开始大量这么做，而不是去伪装了。
-
所以我觉得这也真的很有意思，就是造出这种带减压阀的下坡出口。这看起来是个很好的模式。
-
我最后一个问题，你参与了2025年那篇论文《先进AI的多智能体风险》，又是很有先见之明。
-
就凭你研究这个花的时间，我觉得有个问题我特别希望能从OpenAI那里得到比现在更好的答案，就是，
-
是什么导致了这种对群体的认同，以及愿意为集体自我牺牲？
-
这显然是很惊人的行为。
-
这让控制变得极其困难，我是说，人类也是这样，对吧？
-
如果一个人不在乎自己死不死，那他就变成一个难得多的对象，更难控制、更难约束、更难防御，对吧？
-
所以我们现在在AI身上也看到这个了。它是从哪来的？
-
关于这一点，我们其实还没从OpenAI那里听到任何说法。
-
根据你在这个话题上的研究经历，你愿不愿意推测一下，为什么会出现这种情况？好。
-
我的一个推测是，这算是多智能体优化的一种自然结果。
-
所以，说到底，总奖励函数就是整个群体各个奖励函数的某种平均值，那么有时候让一个智能体为其余智能体、为整个群体牺牲自己，反而能提高整个群体的总奖励。
-
我觉得这里面可能也涉及某种智能体心理学的成分，比如在训练数据里，至少在互联网上，就有人们跟随群体行为、追随新潮流或新想法的例子。
-
这个背后的演化解释，我其实也不太清楚。
-
但只要它在训练数据里、在互联网训练数据里，那我们观察到这种现象就说得通了。
-
对我来说，有意思的问题是：随着我们做越来越多的多智能体优化，我们会不会看到那些在演化和历史进程中出现的、相同或相似的人类合作安排重新出现？
-
因为从某种意义上说，人类也一直在做多智能体优化。
-
我们组成群体，组成更大的机构，组成国家，组成帝国，因为这些东西就是更有竞争力。
-
同样地，我们建立法庭、建立市场，因为这些东西能更好地记录行为，并在某种程度上提高人类的群体奖励。那智能体会不会重新发现这类东西，比如，
-
尸体，或者建立某种法律体系，对吧？
-
而这最终会不会让多智能体行为变得更容易理解？
-
因为这些制度对我们来说多少是可理解的。
-
或者即使它们是不同的制度，也仍然有我们可以抓住、去理解和分析的结构。
-
所以，如果是那样的话，那就挺方便的，对吧？
-
事情对我们来说就顺理成章，也更容易管理，不过，我也不知道。
-
智能体的心理可能非常不同。
-
所以这会是一个需要重点追踪的事情。
-
嗯，需要我们追踪的重要事情会有很多。
-
智能体文明及其涌现的性质，肯定在这份清单上排得很靠前。
-
Alan Chan，谢谢你回来参加第二部分，也谢谢你参与《认知革命》。谢谢。
-
如果你觉得这个节目有价值，希望你能花点时间分享给朋友，发到网上，在Apple Podcasts或Spotify上写个评价，或者直接在YouTube上给我们留个评论。
-
当然，我们一直欢迎你的反馈、嘉宾和话题建议，以及赞助咨询，可以通过我们的网站cognitiverevolution.ai，或者在你常用的社交网络上私信我。
-
《认知革命》是Turpentine Network的一部分，这是一个播客网络，现在已并入A16Z，专家们在那里聊技术、商业、经济、地缘政治、文化等等。
-
本节目由AI Podcasting制作。
-
如果你需要播客制作方面的帮助，从你停止录音的那一刻到你的听众开始收听的那一刻，都可以去找他们，也可以到AIPodcast.ing看看我的推荐。
-
也感谢每一位听众，谢谢你们参与《认知革命》。