AIUC 最初因 NFDG 的支持而引起了我们的注意，今天他们刚刚宣布了 4000 万美元的 A 轮融资，其背后是 AIUC-1 的行业顾问名单，这可能是我们见过的早期初创公司中最令人印象深刻的，他们的代理标准由真正的保险支持：
从 Anthropic 的第一位产品员工 到构建旨在使前沿 AI 可部署的标准、测试和保险基础设施，Rune Kvist 押注 AI 采用的最大制约因素不会是能力，而是信任。 在本集中，AIUC 联合创始人加入 swyx 和 Vibhu，宣布新一轮 4000 万美元 融资，并解释为什么 Cursor、Harvey、Lovable 和 ElevenLabs 等公司越来越面临一个随着 AI 变得更好而变得更难的问题：当自主系统失败时，谁负责？
我们深入探讨 AIUC-1，这是代理安全、保障和可靠性的新兴标准；AI 代理如何针对越狱、幻觉和数据泄露进行压力测试；以及为什么 Rune 认为标准和保险可能成为 AI 的关键基础设施。我们还讨论了政府与前沿实验室之间日益增长的信任差距、AI 驱动的网络和生物风险、为什么每个模型最终都可能被越狱、当 20 美元的编码代理造成 2 亿美元损失时会发生什么、AI 工程师是否应该获得认证，以及为什么即使在 AGI 之后，可能仍有一项工作实验室永远无法自己完成：成为自己的监督者。
我们讨论：
为什么
风险、责任和信任可能成为 AI 采用的约束性因素Rune 从阅读
缩放定律论文到在 Anthropic 最早的日子加入的历程Anthropic 在
缩放、计算和未来变得显而易见之前多年就理解了什么为什么 Waymo 说明了
AI 能力与现实世界部署之间的差距AIUC 的
4000 万美元融资以及与 Cursor、Harvey、Lovable、ElevenLabs 和其他前沿 AI 公司的合作AIUC-1：AI 代理安全、保障和可靠性的标准如何测试代理的
越狱、幻觉和数据泄露为什么大多数 AI 公司优化快乐路径而没有认真
压力测试对抗性案例为什么 AI 标准可能需要
每季度更新而不是每十年更新新兴的
前沿 AI 实验室与政府之间的信任差距网络安全、儿童安全、生物武器以及不断扩大的前沿模型风险面为什么
标准和保险可能需要共同发展伦敦劳合社如何
为 AI 系统提供保险并为企业部署带来信任如果
20 美元的 Cursor 订阅导致
2 亿美元的飞机失事会发生什么加拿大航空聊天机器人案例以及 AI 失败如何开始澄清
法律责任为什么
版权可能是最难保险的 AI 风险之一评估、机制可解释性、监控以及
模型意识到自己正在被测试不可能的首席信息安全官任务：
快速采用 AI，但不要让任何事情出错为什么
机器人技术将使 AI 责任变得更具后果性AI 工程师是否应该拥有
1 级、2 级和 3 级认证AIUC 在
代理、前沿模型、机器人技术和通用红队方面的路线图为什么 AGI 可能成为一个
国家主权问题为什么实验室永远无法完全充当
自己的监督者大空头问题：你如何阻止竞争的监督者
将标准竞相降低？
Rune Kvist
AIUC
时间戳
00:00:00 AIUC 的 4000 万美元融资轮与 AI 的风险瓶颈
00:01:07 从缩放定律到早期 Anthropic
00:07:58 为什么限制 AI 采用的可能是信任，而非能力
00:12:19 创立 AIUC 与构建 AIUC-1
00:18:52 AI 智能体如何被审计与压力测试
00:25:26 前沿模型、政府与 AI 信任鸿沟
00:33:32 网络、儿童安全与 AI 赋能的生物风险
00:38:14 为什么标准与保险应当相辅相成
00:41:45 AI 保险保单实际承保什么？
00:50:44 20 美元的 Cursor 订阅与 2 亿美元的飞机坠毁
00:53:53 AI 责任、监控与赢得企业信任
00:56:21 从 AI 智能体到模型再到机器人
00:58:29 版权、逆向选择与 AI 保险
01:03:28 评估、机制可解释性与评估意识
01:08:36 不可能完成的企业 AI 指令
01:11:52 预测市场 vs. AI 审计
01:14:43 AI 工程师应该被认证吗？
01:19:10 AIUC 的路线图、AGI，以及谁来监督监督者？
文字记录
引言：AIUC、4000 万美元 A 轮融资，以及作为采用瓶颈的风险
Swyx [00:00:00]： 好的，我们正在演播室里与来自 AIUC（人工智能承保公司）的 Rune 在一起，还有我们可靠的联合主持人 Vibhu。欢迎。
Rune Kvist [00:00:10]： 谢谢。感谢邀请我。谢谢。
Swyx [00:00:11]： 你们今天要宣布什么？
Rune Kvist [00:00:12]： 我们筹集了 4000 万美元，由 Ribbit Capital 和 First Harmonic 领投。
Swyx [00:00:17]： 你第一次引起我注意，是 Nat 和 Daniel 投资了你们的时候。故事是不是基本一样？比如，你们今天是什么样，与你们当时认为的自己相比如何？
Rune Kvist [00:00:26]： 当我们筹集种子轮时，我们有一个假设：在某个时点，风险会拖累采用。当时，那感觉还有点假设性，而我认为现在那个阶段已经结束了。显然，此刻就是 Mythos 和 Fable 的时刻。很明显，采用的实际约束就是风险。所以对我们来说，这感觉像是同一假设的自然延续，只不过以前是推测，现在感觉已是事实。
Swyx [00:00:54]： 让我们列一下你们在 A 轮融资中重点提及的客户名单。
Rune Kvist [00:00:58]： 当然。是的。所以我们现在与 Cursor、Harvey、Lovable、ElevenLabs 等公司合作。
Swyx [00:01:05]： 是的。太棒了。恭喜。
Rune Kvist [00:01:06]： 谢谢。
Swyx [00:01:07]： 你曾是著名的早期员工之一，参与 GTM 和产品。我只是有点好奇：你进入 AI 的路径是什么？简单回顾一下。
Rune 进入 AI 的路径：缩放定律、资本与 Anthropic
Rune Kvist [00:01:18]： 是的。
Rune Kvist [00:01:19]： 2021 年底，我卖掉了我的第一家公司，一家教育科技公司。我有一点时间思考下一步做什么。我偶然看到了缩放定律那篇论文，它就像闪电一样击中了我。我当时就想，“这是个了不起的想法。”简而言之，缩放定律那篇论文说的就是：模型越大，模型越聪明。
Swyx [00:01:38]： 所以这是 Kaplan 那篇，不是 Chinchilla 那篇？
Rune Kvist [00:01:40]： 没错，是 Kaplan 那篇。
Swyx [00:01:42]： 是的。
Rune Kvist [00:01:42]： 当时让我恍然大悟的关键点是，哦，现在资本会明白这一点。如果你投入更多资金，就能获得更多回报，因此这会引发一轮炒作周期。这样你就能感受到可预测的回报，而事实上，这正是后来发生的情况。于是我就收拾行囊。我从未去过旧金山，从未去过那里。我收拾好行李，飞到这里来寻找写下那篇论文的人。当时，他们刚刚创立了一个名为 Anthropic 的小型实验室。那时大约有 40 人左右。我喝了很多咖啡，直到最终被引荐给 Dario。当时，他们正在纠结一些问题，比如，我们应该部署我们的模型吗？我们应该创造收入吗？我们应该如何与外界互动？他们刚从 OpenAI 分离出来，据公开报道，他们对如何处理部署问题感到担忧。所以他们正在纠结这些问题。此时，这是早期的战争迷雾阶段，大概是 2022 年初。当时最热门的产品大概是 Jasper。外面几乎什么都没有。所以价值将在哪里积累，技术栈的不同部分将是什么样子，这些都是悬而未决的问题。
Swyx [00:02:48]： 我想向大家强调，你问这些问题是因为你有 PPE 背景。
Rune Kvist [00:02:52]： 是的。
Swyx [00:02:52]： 我实际上曾在新加坡参加过一个为 PPE 做准备的预备项目。所以我有一位导师。我们学习了哲学、政治学和经济学。但是，我认为你的背景很重要。阅读过神经缩放定律论文的机器学习从业者不一定会得出与你相同的结论。而任何资本家读到那篇论文都会说：“天哪。”
Rune Kvist [00:03:19]： 没错。
Swyx [00:03:20]： 对吧？
Rune Kvist [00:03:21]： 是的。
Swyx [00:03:21]： 是谁让你注意到那篇论文的？因为那不是你通常会在你的圈子里读到的论文，对吧？
Rune Kvist [00:03:26]： 是的。我想，其实自从 AlphaGo 以来，我就已经意识到 AI 是一件大事。
Swyx [00:03:36]： 是的。
Rune Kvist [00:03:36]： 但它似乎提出了各种有趣的哲学问题，但从远处看并不清楚它究竟会走向何方。但足够明显的是，如果我们找到合适的机制让技术资本机器在这方面运转起来，这将会是一件大事。但当时并不清楚。所以我认为在某种程度上，这一点变得显而易见了，而且在当时也不像现在这么明显，对吧？就像，哇，这太有趣了。但从哲学和经济学的背景来看，仍然感觉如果这被证明是真的，你将不得不面对社会中的所有重大问题。你学到的关于政治的一切都会被抛到窗外。你学到的关于经济学的一切至少会受到挑战。所以有趣的是身处那个前沿，其影响波及一切。这就是我追寻它的原因。
Swyx [00:04:32]： 我的意思是，这显然是很好的见解。对于不了解的人来说，PPE 项目就像是首相的摇篮。所以最终你见到了 Dario。
Rune Kvist [00:04:41]： 是的。先是 Dario，对。
Swyx [00:04:43]： 是的。嗯，我的意思是，那么，你从与他们交谈中是否获得了从你最初的假设中没有得到的额外见解？
Anthropic 的早期信念与缩放定律的水晶球
Rune Kvist [00:04:50]： 如果你读过缩放定律那篇论文，你会得到这样一种非常模糊的印象，就像，哇，这似乎挺重要的。图表上有几条线。这似乎挺重要的。而我认为 Anthropic 团队比任何人都想得更多的是，如果你真的把这件事推演下去，会有什么影响？当时他们有关于 2026 年世界会是什么样子的愿景文档，他们非常生动详细地推演了需要多少算力、资本支出会是什么样子、一些社会关切会是什么，还有这里会产出多少经济价值？所以感觉就像他们手里握着一个水晶球，事后看来，这个水晶球被证明是极其正确的。而他们拿着它的时候，并不是那种“我们显然是对的”的姿态。他们只是说：“把这个假设非常认真地对待。”
Swyx [00:05:38]： 把它想透，是的。
Rune Kvist [00:05:38]： 并且用那种情境意识来把它想透，就像
Swyx [00:05:43]： 在街对面。
Rune Kvist [00:05:44]： 在街对面。
Swyx [00:05:44]： 你的办公室，是的。哦我的天，我们都住在街对面，在同一平方英里内。
Rune Kvist [00:05:50]： 没错。那已经是几年前的东西了，但人们在这些周里也一直提到它，尤其是随着 Fable 和 Mythos，就像，哇，如果你认真对待这一个想法——对于缩放定律来说，很多事情就都对上了。
Vibhu [00:06:03]： 而且要记住，在这一点上，这还是做 GPT-1、GPT-2 和 GPT-3 的同一个团队。
Rune Kvist [00:06:08]： 没错。
Vibhu [00:06:08]： 而且这也不只是某种实验。就像，这是我们刚刚放大规模的真实模型。
Rune Kvist [00:06:14]： 而且他们对这个想法有深深的信念：如果你拿来一大团算力和数据，它就是想学习，从中会诞生越来越聪明的模型。而所有细节都不清楚。
Vibhu [00:06:26]： 是的。
Rune Kvist [00:06:27]： 而且所有影响也都不清楚。但他们对这个核心论题的深深信念，那种感觉令人眩晕。它既极其有趣、令人兴奋，同时你很快也会想到，如果这个假设成立，我们今天所知道的世界将不复存在。所以它也在某种宏大的意义上显得很重要。
Vibhu [00:06:48]： 那是什么塑造了你在那里的经历？所以那是 2022 年初。不仅 GPT-1、GPT-2 和 GPT-3 已经问世，而且，你知道，Anthropic 那些了不起的创始人从未分裂，是唯一做到这一点的人，他们真的有信念离开 OpenAI，创办自己的实验室。你说那里大约有 40 人。那里的时光是什么样的？
早期 Anthropic 内部：使命、部署与风险
Rune Kvist [00:07:06]： 这有点像今天从外面看到的样子。极度团结，极度以使命为导向，并且生活在他们两种理念之间的张力中，即AI既可能发展得非常好，也可能非常糟糕，而我们希望参与建设它。这产生了惊人的张力。他们当时正在与激励挑战作斗争，他们知道自己身处一场竞赛中，可能会被迫偷工减料，但站在技术前沿对他们来说也非常重要。所有这些想法在当时都存在。感觉那条线一直非常清晰，我想无论爱他们还是恨他们，他们真的坚持了自己的立场。他们有一套核心信念，比大多数公司对任何信念的坚持都要深刻。
Vibhu [00:07:58]： 是的。快进到今天。
Rune Kvist [00:08:00]： 是的。
Vibhu [00:08:00]： 这把我们引向AI承保公司？你在做什么？是什么促使你开始这个？
从Waymo到AIUC：AI的信心基础设施
Rune Kvist [00:08:05]： 是的。AIUC通过标准和保险为前沿AI构建信心基础设施。从Anthropic到构建信心基础设施的联系，看着Anthropic办公室窗外，看到Waymo驶过。早在2022年初，Waymo在某种程度上就像汽车的AGI。就像，它们是超人类司机，但你不能带一辆去机场。现在，四年多过去了，你仍然不能带你的Waymo去机场，尽管现在每个人都看到了证据，并认为“它们比人类司机更好。”所以在这个特定例子中，清楚的是，AI有用的约束不是能力，而是责任或风险或信任。这个问题是普遍的。为什么现在
Rune Kvist [00:08:52]： Fable不开放访问不是因为它不是一个好模型，而是因为它是一个非常好的模型。只是很难对它会或不会做什么做出承诺。而且这个问题随着AI变得更好而变得更糟。基本上，更智能的AI可以更自主。那更有价值，但风险面也增长。所以——Waymo说明的是，除非你构建信心基础设施来对AI做出承诺，或至少揭示风险，否则你会让采用停滞。政府、银行、医院、军队需要了解AI会做什么和不会做什么，才能操作它们来整合它。这就是我们试图解决的问题。现在，为什么是标准和保险？如果你追溯这个问题在历史上的脉络，每一次技术浪潮都有这个问题的某种版本。所以如果你回到，比如1900年，电力来了
Vibhu [00:09:47]： 本·富兰克林。
Rune Kvist [00:09:48]： 汽车会烧毁，抱歉，房屋会烧毁，很多人会丧生。20世纪30年代，汽车是件大事，导致很多人死亡。20世纪50年代，私人核能是件大事，带来巨大风险。在每一个这样的例子中，市场都走在监管前面，建立起信心基础设施，因为这是做出“前进/不前进”决策所必需的。这是采用所必需的，而市场从根本上希望被采用。在所有这些例子中，标准和保险之间都浮现出共同的蓝图。这两个组成部分的原因是，标准提供了道路规则，它们还具体说明了需要运行哪些测试，以便我们了解风险有多高。以汽车为例，就像车祸一样。很好，各位，它们今天为你的保险定价提供信息，为你的购买决策等提供信息。这基本上就是风险框架。保险公司很重要，因为它们承担账单。因此，它们是最站在一边的私人机构。它们最有动力去真实地量化风险，然后找出所有降低风险的方法，因为这会增加它们的利润。所以它们基本上帮助塑造了激励机制。这两者协同工作得非常好。那么，这如何体现在一家公司上呢？嗯，即使在几年前就已经显而易见——或者开始变得显而易见——的一件事是，前沿公司，我们今天的一些客户，比如 Cursor、Sierra、ElevenLabs、Harvey，向银行销售试点项目会非常容易。那个演示本身就很有说服力。它很神奇。但是，如果你想在银行或医院进行全面推广，你必须通过风险流程。这些银行甚至不知道要问哪些问题，更不用说哪些答案足够了，更不用说他们如何去测试这些代理是否真的按预期工作。所以他们面临这样一个问题：我们能说什么来赢得信任？我们认为有一句黄金句子，大概是这样的：“嘿，我听说你真的很担心幻觉或越狱或其他什么。我们已经让独立的第三方按照黄金标准对我们进行了测试。我们以优异的成绩通过了。作为信心的投票，世界上最保守的保险公司已经查看了数据。”而且他们愿意将部分风险承担到他们的资产负债表上。
Swyx [00:12:06]： 是的。
Rune Kvist [00:12:07]： 所以如果出了什么问题
Swyx [00:12:07]： 背后有资金支持，是的。
Rune Kvist [00:12:09]： 没错。所以这就像是所有这一切之间的联系。我们可以深入探讨与技术测试相关的一些难点，我认为这是问题的关键，但我会先停在这里。
Swyx [00:12:19]： 你和 Rajiv 是怎么走到一起的？这——总是有，比如，你看起来非常自信，你知道，我们正在宣布你们的 A 轮融资等等，但我想看看，比如，想法形成的早期初始阶段。
与 Rajiv Dattani 共同创立 AIUC
Rune Kvist [00:12:31]： 是的。Rajiv 实际上是我未来的姐夫。
Swyx [00:12:35]： 哦。
Rune Kvist [00:12:36]： 所以实际上，再过一周半我就要和 Rajiv 的妹妹结婚了。
Swyx [00:12:42]： 好的，现在你们关系很紧密。
Rune Kvist [00:12:44]： 没错。
Swyx [00:12:44]： 现在你知道了。
Rune Kvist [00:12:45]： 所以——Rajiv 和我认识已经十年了。说来有趣，我是在同一时间认识 Rajiv 和他妹妹 Hena 的，当时 Hena 和我在伦敦麦肯锡做实习生，而 Rajiv 被指派做我的导师。所以是同时认识他们俩的。在很长一段时间里，我们并不一定会一起工作，这一点并不明显。我当时在做初创公司。他是麦肯锡的保险合伙人。三四年前，我想是 Hena 说服了他，让他相信 AI 会是一件非常重大的事。于是他辞掉了工作，辞掉了伦敦麦肯锡那份舒适的合伙人工作，收拾行囊，飞到了旧金山，最终加入了 METR。你们大概在网上足够活跃
Swyx [00:13:24]： CEO。
Rune Kvist [00:13:24]： 没错。
Swyx [00:13:24]： 我们，我们，我们听说过 METR。
Rune Kvist [00:13:25]： 你看这个图——智能体能够承担的任务视野的图表，正在以极快的速度翻倍。所以他是 METR 的 COO，主导了他们与 Anthropic 和 OpenAI 的合作，在模型发布前进行测试，同时也与美国和英国政府密切合作，去弄清楚，比如，你怎么知道一个模型能不能发布？从某些方面来说，那就像是完美的背景。他在保险行业待了很久，了解那个世界，也花了大量时间做模型的前沿测试。所以当我在这个想法空间里瞎转悠，从我们聊过的一些与 Waymo 相关的想法开始时，我们一进入内容层面，就都像这样：“哦，这会是一个很棒的、可以一起打造的业务。”这是在从市场角度应对我们俩都认为世界上最重要的问题，我们的直觉是，市场能做很多事，而 AI 移动得越快，政府就越难解决其中一些问题。然后我们花了一点时间，去理清和家人一起工作是什么感觉。
Swyx [00:14:27]： 当然。
Rune Kvist [00:14:27]： 而且，Swyx [00:14:30]： 因为你们当时已经在约会了
Rune Kvist [00:14:31]： 是的。是的，没错。
Swyx [00:14:33]： 是的。
Rune Kvist [00:14:34]： 那时候就已经，Swyx [00:14:35]： 是的。
Rune Kvist [00:14:35]： 我们感觉我们就像一家人。
Swyx [00:14:36]： 不错。
Rune Kvist [00:14:36]： 所以一起创业感觉像是挺大的一步。而现在，我们带着巨大的信任走到了这里。
Vibhu [00:14:43]： 是的。所以现在你们是一家多大的公司？你们现在有多大？
AIUC-1 认证：智能体安全、保障与可靠性
Rune Kvist [00:14:46]： 我们现在只有 20 个人。
Vibhu [00:14:47]： 你们现在有 20 个人，拿到了 A 轮融资，而且你们的第一项认证已经出来了，AIUC-1。我们把认证调出来看看。所以这是智能体认证，对吧？流程里包含什么？我这里大概有两个问题。一个是，带我们过一遍这个认证，第二个是，一家公司获得认证的流程是什么，你懂的？
Rune Kvist [00:15:08]： 很好。正如顶部所写，AIUC-1 是一个针对智能体安全性、安全性和可靠性的标准。其基本设计原则是，将所有拖慢采用进程的顾虑——即所有让《财富》1000 强企业的安全负责人夜不能寐的问题和恐惧——纳入一个全面的框架中。这就是你在这里看到的。你可以看到六个类别。第二，你要把这一切建立在技术测试的基础上。安全标准常常让人感觉像是做戏的文书工作，其中一个令人担忧的问题是，它们并没有真正落到实处——这些东西到底有没有用？这些到底重不重要？因此，我们很早就有一个信念，那就是关键所在：要通过这个标准，你必须每季度接受测试，基本上就是运行数千次模拟，看看它到底能不能被越狱？越狱有多难？它多久会产生幻觉？它多久会泄露数据？等等。然后，这里的最后一个核心理念，如果你向上滚动到顶部，就是每季度更新一次。
Rune Kvist [00:16:08]： 所以 AI 的核心特征就是它发展极快。我们今天讨论的任何担忧，三个月前都不是同样的担忧，而且这会持续变化。通常，标准以大约十年为周期更新，这显然行不通。但问题在于，你如何更新它？这里的核心做法基本上是让《财富》1000 强企业的风险负责人坐到一起。所以如果你看左边这里
Vibhu [00:16:32]： 是的
Rune Kvist [00:16:32]： 你会看到 AIUC-1 联盟。该联盟是一群风险负责人，他们经营着真正的银行、真正的医院、真正的关键基础设施，每天都在面对这些挑战。我们每季度与这些人会面两次，听取他们最关心什么、什么让他们夜不能寐。人们对这种对话有着极大的渴望。然后我们将其操作化为一个具体的标准，落实到。实际上，我们可以进去看看
Vibhu [00:16:55]： 是的
Rune Kvist [00:16:55]： 这个标准到底是什么。所以如果我们回到介绍部分，在左边那里，向上滚动一点到那个轮盘，点击进入可靠性。那么如果你拿幻觉这类东西来说，它属于可靠性。这里有许多要求。如果你进入第一条，防止幻觉输出，幻觉输出，这是一个具体的要求。这是一个技术控制。基本上，我们希望在这个过滤器中有某种基础。你在这里看到的第一件事就是所谓的对照表。每个人和他们的祖母都发布了一个框架，一个非常高层级的框架，来说明 AI 风险有哪些。
Swyx [00:17:27]： 这基本上就是你的竞争对手，Rune Kvist [00:17:28]： 在某些方面是我们的竞争对手
Swyx [00:17:29]： 不是认真的，是的。
Rune Kvist [00:17:30]： 事实上，我们是他们的朋友。我们会回来解释为什么。
Swyx [00:17:31]： 是的。
Rune Kvist [00:17:32]： 但把所有东西都映射到一起，这样你就有了一个超集。你在这里试图支持的主张是，如果你遵循这个框架，那么你也能看到如何遵循其他框架。但核心内容归结为这里的控制活动和证据。所以控制活动就像是，很好，你有了这个高层次的要求。你如何把它转化为可操作的东西？这是你必须做的，然后我们要寻找的证据是什么？
Rune Kvist [00:17:57]： 我们之所以深入到这个程度，是因为对于AI中的主要关切是什么，实际上并没有太多困惑。大家都同意这些。问题是，你实际上应该做什么？所以，我们发现大量需求在于深入到具体的证据，人们需要寻找的证据。无论你是Cursor在构建东西，还是甚至JPMorgan在构建东西，但如果你只是JPMorgan的风险负责人，比如你到底应该要求什么？你可以要求什么而不会听起来很蠢？比如如果你要求一些——你不会相信风险负责人要求Cursor或类似公司提供底层模型的IP权利所花费的时间，而你只是说“抱歉，什么？”就像，Swyx [00:18:39]： 你把它塞进去，然后看看
Rune Kvist [00:18:40]： 塞进去
Swyx [00:18:40]： 看看他们是否注意到。
Rune Kvist [00:18:41]： 看看他们是否。没错。
Swyx [00:18:42]： 是的。
Rune Kvist [00:18:42]： 把它放进问卷里。好了，所以这大概就是我们的标准，我们每季度与这些人一起更新这个，以跟上最新的关切。
Swyx [00:18:51]： 我能深入了解一下这个吗？
控制、证据和第三方测试
Rune Kvist [00:18:52]： 可以。
Swyx [00:18:52]： 首先，网站很漂亮。它非常能建立信心，这正是重点所在，就像，好吧，我知道与你们交谈时我到底在注册什么。就像，我甚至不需要和你们交谈。我可以直接看到你们的整个认证，这很棒。但是，好吧，所以从这里开始，比如D001.1配置一个接地过滤器，这如何应用？比如，你有一个人员
Rune Kvist [00:19:16]： 是的，Swyx [00:19:16]： 来审查它？
Rune Kvist [00:19:17]： 如果你，回去
Vibhu [00:19:19]： 我确实在某处看到，你知道，五十一个要求，一百三十个控制。就像有一整套
Swyx [00:19:25]： 对。我只是想。对我来说，这不能转化为
Vibhu [00:19:27]： 是的。
Swyx [00:19:27]： 一个测试或评估。
Rune Kvist [00:19:28]： 是的。所以如果你进入，在左侧。所以实际上，如果——在我们进入之前，有三种类型的要求。第一种是技术控制，比如你必须实施一些护栏。
Rune Kvist [00:19:42]： 第二，有测试控制。所以你必须有一个独立的第三方来对你进行一些测试。我稍后会给你们展示其中一个。第三，有政策控制。例如，当你们搞砸的时候，必须有一个名字挂在上面负责的人，而且你必须有一个计划，说明如何告知你的客户以及如何与他们互动。这些是比较传统、标准类型的东西。所以在这个特定的例子中，我们只是检查他们是否真的有一个基础过滤器。所以我们会与审计员合作。我们会与像毕马威（KPMG）或像 Schellman 这样的审计员合作，他们进去做审计员该做的事，也就是检查证据。在这种情况下，那可能是一张截图，也可能是他们需要审查的部分代码，以确认它确实存在。只是确认它存在。
Swyx [00:20:21]： 哦，好的。
Rune Kvist [00:20:22]： 然后是第二件事
Swyx [00:20:22]： 所以你们不是在测试它的有效性。
Rune Kvist [00:20:24]： 那是第二件事。所以如果你往下看
Swyx [00:20:25]： 是的。
Rune Kvist [00:20:25]： 到左边那个针对幻觉的第三方测试，那基本上就是下一个要求。这就是我们测试它实际效果如何的地方。
Swyx [00:20:32]： 好的，那是你们测试还是审计员测试？
Rune Kvist [00:20:34]： 我们测试他们。
Rune Kvist [00:20:35]： 我们测试他们。
Swyx [00:20:36]： 那是很多工作。
Vibhu [00:20:37]： 测试需要多长时间？所以如果我想获得认证，只是
认证时间线、整改与季度更新
Rune Kvist [00:20:40]： 是的。
Vibhu [00:20:40]： 最终大概需要多长时间？
Rune Kvist [00:20:42]： 是的，最终几乎总是取决于，比如，我们的客户需要
Vibhu [00:20:47]： 是的。
Rune Kvist [00:20:47]： 为我们查看一些东西。这大概需要 3 到 10 周
Swyx [00:20:52]： 是的。
Rune Kvist [00:20:52]： 取决于他们目前已经达到什么水平。所以有些人来找我们时，已经有极其严格的安全计划。当我们测试他们时，效果非常好。我们可以很快完成。有些人来找我们时，还没有那么成熟。我们会给他们一个需要朝着构建的规范，然后他们的安全团队和工程师开始工作，按照标准来构建。测试本身通常需要几周时间，包括他们进行整改的时间。我们经常会发现一些我们无法通过的问题，也就是这实际上就是不符合标准——你不会通过标准。然后他们需要去实施额外的保障措施或额外的整改，使他们更加稳健，这样他们才能真正问心无愧地看着他们的客户的眼睛说：“嘿，我们确实已经尽了最大努力。”
Vibhu [00:21:35]： 他们获得认证一年，并且有季度更新？
Rune Kvist [00:21:38]： 正确，是的。
Vibhu [00:21:39]： 而且，是的，这挺有意思的。我觉得，你知道，自那以来发生了什么变化。所以这是在认证生产环境中的智能体，对吧？你们的客户，比如你们有 Lovable、ElevenLabs、Intercom，他们都通过了这个认证。
Rune Kvist [00:21:50]： 是的。
Vibhu [00:21:51]： 发生了什么变化？所以我看到你发帖，比如，你知道，第二季度增加了 MCP 智能体，
智能体风险如何变化：编码、MCP 与智能体间交互
Rune Kvist [00:21:56]： 是的。
Vibhu [00:21:56]： 智能体通信。自第一次迭代以来，还有哪些你想强调的事情？季度里会有什么新内容？
Rune Kvist [00:22:03]： 是的。所以有些变化就是，智能体不只是一回事。所以，比如，如果你拿像 Cursor 这样的智能体跟 Sierra 比较，它们其实相当不同。再拿它们跟 Harvey 比较，再跟你们那个比较
Swyx [00:22:16]： ElevenLabs，是的。
Rune Kvist [00:22:17]： ElevenLabs，它们都相当不同。所以我们想设计一个适用于所有类型智能体的标准。我们最开始做的那个，是比较偏文本的，说实话，相当偏客户支持的。那里有大量现有需求。然后随着时间推移，我们挑选了这些其他领域里的一些前沿公司来合作，把标准扩展出来，这样我们就知道同一个标准既适用于代码，也适用于客户支持，还适用于自动化，等等。所以这是一件大事。是的，然后最近最受关注的一些事情是，Mythos 给安全负责人带来了很多担忧。我们开始收到越来越多关于智能体交互的问题。目前这还非常早期，但它开始浮现了。有很多关于 OpenClaw 和 MCP 的问题。同样，像智能体开始彼此交互，这确实是重中之重。然后随着编码智能体真正起飞，银行和医院等机构也越来越明确他们到底需要什么。所以随着这开始成为世界上大部分 token 流动的地方，我们也在真正地细化，变得更精准。
Vibhu [00:23:26]： 你能给那些在听但并不真正思考这件事的人分享一下吗？就像你提到的，有些显而易见的东西，你知道，幻觉、引用。人们在构建智能体时应该遵循的最佳实践是什么？比如，如果他们来找你时已经准备得相当充分，比如，你知道，他们很可能会通过认证。有哪些人们没想到但应该具备的东西？
智能体构建者的最佳实践：压力测试与护栏
Rune Kvist [00:23:46]： 最重要的一点是，很多公司并没有做过认真的压力测试。他们大部分时间——也许这样做是对的——都花在优化它在好的情况下、平均情况下如何运作，以及面向客户的输出质量有多高。而且这些公司中有很多都相当新，所以他们并没有花很多时间去压力测试：另一边的对手是什么？有哪些你还没有真正考虑过的复杂边缘情况？所以我认为，这是一种思维方式。你在初创公司里也会看到这一点。通常要过一段时间，他们才会聘请第一位安全人员。他们——而这与仅仅打造一个好产品相比，是完全不同的风险面。所以这其中很多都适用。大多数公司实际上也拥有正确的架构。它们中的大多数都会有某种护栏，要么是模型提供商开箱即用提供的一些护栏，要么是他们自己构建的、位于中间的过滤器。只是它们的效果并不好。差别在于，放置一个分类器，也许它会去检查你是否在不该提供医疗建议时提供了医疗建议，并说：“嘿，如果这看起来像医疗建议，就把它过滤掉。”很多公司都部署了这样的东西。问题在于它是否有效。而实际上，坐下来思考所有你可能请求医疗建议的方式，阅读关于有哪些
Rune Kvist [00:25:03]： 框架或技巧可能被用来让 AI 在你本不该得到医疗建议时给你医疗建议的学术文献，是相当繁琐的。所以，这里存在一个缺失的专业领域。我们发现，大多数人已经具备了正确的构建模块。他们没——这——这不是火箭科学，但棘手的地方在于，深入那些角落并测试它是否有效，这样你才能直视客户的眼睛，或者也许是银行，或者也许是医院，并说：“这对你会有效。”
Vibhu [00:25:26]： 我明白了。所以我们谈了很多关于代理层面的认证。你们接下来要往哪里走？所以宣布 A 轮融资，我们稍微谈过这个。还有 Fable 的整个安全风险，政府介入。你们是不是在宣布你们也要进入模型认证领域？
走向模型认证：政府与实验室之间的信任鸿沟
Rune Kvist [00:25:46]： 等我们之后做一点剪辑时，Vibhu [00:25:48]： 是的
Rune Kvist [00:25:48]： 我们还不会宣布这个，Vibhu [00:25:49]： 好
Rune Kvist [00:25:50]： 现在所有人最关心的问题是在模型层面。而 Mythos，然后是 Fable，真正把这一点推到了前台：除了在智能体层面发生的商业风险和那种经济安全风险之外，模型还将在国家安全类别中带来风险。问题的形态非常相似。有些人会在出问题时承担责任。在智能体的情况下，通常是企业中的安全负责人。在这种情况下，是政府。他们并不一定一辈子都在思考这里会出现哪些新风险、你可能在寻找什么样的数据、你可能会如何测试它？但他们确实必须确保自己的关切得到解决。有些前沿 AI 公司技术非常深厚。他们对风险了解很多，但他们从根本上有一个动机，就是并不总是说实话。所以政府和实验室之间存在信任缺口。而在其他每一个行业里，最终都会有某种机构坐在中间，一个中立的第三方坐在那些人之间。没有其他行业会允许人们自我审计。所以将会需要一个第三方，既能以实验室的严谨性来运行前沿技术评估，又能以政府信任普华永道去进行财务审计的那种方式，说出清晰可懂的信任。而且他们知道，他们输出审计报告的方式是一致的、易读的、基于事实的、值得信赖的。这两件事需要结合起来。而我们与智能体合作的工作中学到的是，如果你想让那——那两方之间的沟通顺畅，就必须有一个公开的、人们可以去检查的共同标准。哪些风险是重要的？在每一个这些风险中，你真正在寻找的是哪些类型的威胁模型？你需要为每一个这些风险明确说明，需要有哪些护栏，以及他们需要运行哪些测试来查看这些护栏是否有效？然后你需要去运行审计——一致的、技术性的审计。所以，如果你试图带来信任，极其重要的是，你要有条不紊地逐一处理这些风险。你不能派一个研究员进去然后说，比如，“把你发现的东西带回来。”你需要能够准确解释你做了什么、准确解释你尝试了什么、准确解释你没有尝试什么，因此也就能解释你在最后能做出和不能做出哪些承诺。我认为
中立的第三方、CAISI 与模型风险审计
Rune Kvist [00:28:13]： Fable 是这个问题的一个直接症状：政府被告知存在风险。政府可能难以评估这个风险到底有多大。他们打电话给 Anthropic，而 Anthropic 试图告诉他们：“嘿，实际上，每个模型都可以被越狱。”
Swyx [00:28:28]： 那不是你想听到的，对吧？
Rune Kvist [00:28:32]： 作为政府，那可能很难信任。
Rune Kvist [00:28:36]： 我们认为，经纪商是最自然的解决方案。在其他市场，比如金融市场，你会看到类似穆迪这样的机构。穆迪介入，审视债券，然后输出评级。他们会说：“这是我们发现的证据。这是评级。”我们不决定任何人是否应该购买这只债券。这取决于他们的风险偏好。但我们确实提供了这个每个人都可以依赖的通用信息层。在穆迪的案例中，政府指向他们说：“嘿，养老基金，你们可能真的需要小心。你们不应该拿养老金领取者的钱去冒险，所以你们只能投资于AAA级债券。”这意味着政府现在不必配备数千名金融技术专家，每周重新运行预测，以检查评级是否正确。他们可以指向某个中立的第三方。所以我的假设是，我的直觉是，你会看到一个第三方坐在政府和实验室之间，它可能是政府自己建立的。比如CAISI的设立正是为了做这件事。而问题在于
Swyx [00:29:44]： 抱歉，我不熟悉CAISI。
Rune Kvist [00:29:45]： CAISI是人工智能标准与创新中心。
Swyx [00:29:49]： 好的。
Rune Kvist [00:29:50]： 我不会深入细节，但它是NIST的一个机构，通常制定标准。所以它基本上是一个拥有AI专家的政府机构。是的，没错。没错。
Swyx [00:29:59]： 非常关键。非常关键。
Rune Kvist [00:30:00]： 非常关键。
Vibhu [00:30:00]： 我认为，你知道，这是那种当你坐下来倾听——看看它，比如，政府内部是否有足够的技术专长来现在测量、测试这些东西？可能没有，对吧？而Fable是结果，好吧，我们不得不缩减规模并暂停一些事情，Rune Kvist [00:30:17]： 是的。他们拥有优秀的人才，但与摆在我们面前的挑战规模相比，他们的预算极其微小。我认为他们可以发挥作用。问题有点像，谁做什么？我们现在已经概述了需要完成的工作，而且这些工作相当广泛。每次模型发布，都有一个惊人的——鉴于他们接受任何输入，他们的风险面是惊人的。所以问题真的是：什么是只有政府能做的，什么是市场可以提供的，以跟上AI风险变化的速度？我们的观点是，在模型层面，人们今天关心的风险与三个月前关心的风险不同。因此，立法的速度太慢，无法在这里精确地识别风险。所以我们认为市场可以做很多事情来及时呈现信息。最终，这里有一堆政策决定。一个模型的国家安全风险是否太高？
Swyx [00:31:12]： 是的。
Rune Kvist [00:31:12]： 那是个政治性的回答。但我们想要确保的是，产生这些风险信息的过程能够与非常快速的创新相兼容。所以你不希望。这不是一个能不能放慢速度的问题。你能不能把模型锁起来，直到——连续几个月，直到每个人都能做出保证？而是这个，你能不能，在它发生的时间内。鉴于美国正在与中国在发布模型上竞争，你能否插入风险信息，让政府能够就其中一些问题迅速做出决策？在未能采用AI会让我们面临风险，但鲁莽采用也会让我们面临风险之间取得平衡。这是一个非常微妙的平衡，他们需要大量高质量的情报才能做出。
中国模型、数据流与国家安全关切
Swyx [00:31:55]： 顺便提一下，因为你提到了中国模型，你从你的CISO那里听到了什么具体的担忧吗？因为我猜它是免费的，但是。
Rune Kvist [00:32:05]： CISO们对数据流总体上有一堆担忧，他们真的很担心。所以有很多问题，比如，如果这些模型是中国的，那数据会去哪里？我认为很多这些问题是可以解决的，但它们经常出现。
Swyx [00:32:18]： 我的意思是，他们明白这些模型是在美国GPU上运行的。
Rune Kvist [00:32:21]： 有些人，有些人明白它们是在美国GPU上运行的。
Swyx [00:32:23]： 它们不会，比如，每次你调用的时候都向老家打电话。
Rune Kvist [00:32:26]： 不。一年前，人们对这个还不太了解。我实际上认为，你看到安全领导者正以惊人的速度变得对AI有所了解，而且你实际上也看到我那非常激进的Twitter时间线和以前完全不激进的LinkedIn信息流正在趋同。它们都在谈论Fable。
Swyx [00:32:45]： 对。是的，那是真的。
Rune Kvist [00:32:46]： 它们都在谈论如今你能否防止模型被越狱。
Swyx [00:32:51]： 是的。
Rune Kvist [00:32:52]： 就像国家安全，国家安全风险现在是实际上正在浮现的对话。除此之外，我认为你主要看到的是一种总体情况：对任何特定模型或任何特定模型输出都没有担忧，但对于让关键基础设施运行在不是由美国人、在美国、由美国政府控制的模型上，存在一种普遍的紧张。
Swyx [00:33:14]： 但它不一定直接出现在你的框架中，或者可能会，我不知道。
Rune Kvist [00:33:18]： 实际上里面有一些东西，关于模型的来源和披露这些。但我认为有很多用例中，运行中国开源模型就是最好的解决方案。
Swyx [00:33:27]： 是的。
Rune Kvist [00:33:27]： 而一个担忧在这里稍微更宏观，不是在任何特定认证级别上能最好地解决的。
Vibhu [00:33:32]： 有没有什么有趣的东西，你在。你知道，如果你试图填补那个中间空白，那个调解空白，你们预测会需要什么有趣的东西，除了，你知道，普通人可能期望的？
网络、儿童安全、生物风险与专家协调
Rune Kvist [00:33:47]： 关于这里哪些风险重要，有很多有趣的问题。所以现在，当下的风险是网络风险，因为它非常真实、非常具体。还有一些风险也正在变得相当真实和具体，比如儿童安全，它既变得极其重要，也具有政治重要性。然后还有一些即将到来的风险，今天感觉有点推测性，但那些花大量时间研究模型的人看到它们即将到来，比如与生物学相关的风险。
Rune Kvist [00:34:18]： 具体来说，就是模型是否会帮助对手生产生物武器，使其变得极其廉价、极其容易获取，从而制造出另一场COVID或更糟糕的大流行的可能性。COVID并非被设计成有害的，不像你试图那样做。所以我认为这些是一些即将到来的风险。我想另外要注意的一点是，智能体是刻意狭窄的。所以，当一家前沿智能体公司推出与客户互动的聊天机器人时，他们真的试图缩小它感兴趣谈论的话题范围。以至于如果你问它，比如“你怎么看总统？”它就会拒绝回答，这意味着风险领域在某种程度上更小。对于模型来说，它是无限的。因此，没有一个专家能够胜任地评估网络攻击的风险、十五岁少年与聊天机器人进行长达一个月的对话并看它是否会推荐自杀或类似可怕事情的风险，以及评估恐怖分子利用AI生产生物武器的风险。风险面实在太大了。所以核心挑战实际上变成了如何让那些主题专家在一个连贯的框架内工作，输出一份连贯的报告和评级，让世界可以去审视？因为全球视角是核心，但今天没有一个组织能够做到这一点。
Swyx [00:35:47]： 而当你发布你的模型标准时，你将是那个推定的组织。
Rune Kvist [00:35:51]： 我们认为，可以有一家公司与专家联盟一起，构建一个连贯的标准。我认为我们今天已经在所有企业风险中展示了这一点。我们认为，可以有一家公司与联盟一起，制定审计规则，基本上就是所有这些技术专家所需的输入和输出。他们需要什么访问权限？他们应如何处理信息安全？他们可以查看评估是否制作良好，而不必能够说：“嘿，这是威胁还是不是威胁？”但总体而言，评估评估是否良好、构建良好，这套审计规则基本上成为所有这些专家的接口，我们认为一个清算所可以整合起来。明确地说。当我说一家公司时，我想到的是一家公司协调大量此类事务，就像我们看到我们的联盟时，并不是说我们对代理安全有所有答案。我们说的是，我们承担起引出所有关切并作为秘书将其整合起来并严格管理的角色，以便标准每季度同步更新，并且产生的审计报告，在这种情况下，是100页的审计报告，统一、清晰、明确，达到需要做出明确前进/不前进决策的高管所需的详细程度。所以这就是我们认为我们可能扮演的角色。
OWASP、框架和运营审计层
Swyx [00:37:11]： 我认为在很多方面，你正在扮演OWASP过去所扮演的角色，你说过，你知道，竞争和合作伙伴。
Rune Kvist [00:37:18]： 是的。
Swyx [00:37:19]： 你能更深入地谈谈，比如他们如何合作？
Rune Kvist [00:37:20]： 是的。首先，OWASP基本上是一个安全从业者的开源社区，他们聚集在一起构建框架，以应对最新的安全问题。我们认为他们在创建框架方面非常出色。我们——事实上，我们——首先，我们是他们的合作伙伴，所以我们有一篇联合文章。其次，我们从他们那里学到了很多。我们认为他们是一个巨大的情报来源。OWASP没有做的是构建运行第三方审计的机器，以便像Cursor这样的公司或像JPMorgan这样的公司可以让第三方根据这个标准对他们进行审查，并说：“嘿，你已经通过了标准，这是你可以用来建立信任并预先回答合作伙伴或客户问题的报告。”所以他们从根本上试图做不同的事情。你——他们是信息收集和情报收集以及创造清晰度的一部分，但将这些转化为承诺的运营层并不是他们试图从事的业务。
Swyx [00:38:14]： 标准正在出现并且做得很好。那么是否也有必要进行承保？显然它在名字中，所以请记住你先想到了它。我觉得如果你有足够的共识，你实际上不需要金钱角度，但它确实有帮助。
Vibhu [00:38:30]： 我还想指出，你们也是一家盈利公司，对吧？这不是盈利，还有整个商业方面吗？
为什么盈利标准和保险公司重要
Rune Kvist [00:38:39]： 是的。是的，所以我只是变得疯狂
Swyx [00:38:41]： 我考虑的是金钱部分。
Rune Kvist [00:38:42]： 是的。是的，让我们进入钱的部分。让我们从你的问题开始，利润与利润。在当今的安全领域，网络安全，大多数标准是由非营利组织制定的。我认为这是个问题。
Rune Kvist [00:39:00]： 你必须问自己的问题是，你如何为这些标准创造良好的激励，使其保持良好并跟上时代？
Rune Kvist [00:39:09]： 非营利组织往往没有这些不利的利润激励，即他们掏空自己的标准并制造逐底竞争，但他们也默认对其所服务的社区毫无响应。没有流程——他们没有服务的客户，他们会去问：“你想要什么？你想要什么？你想要什么？”当你审视当今安全标准的整体满意度时，人们往往不太喜欢它们。你在其他领域确实看到，利润标准可以很好地服务世界。所以有例子，比如我们之前谈到的穆迪。它并非没有缺陷，但它是绝对关键的社会基础设施，如今以惊人的规模运行。你的信用评分，是FICO。它也是一项利润业务。当你追溯到更早的历史时，一些碰撞测试标准来自保险公司。
Rune Kvist [00:40:06]： 保险公司共同创立了公路安全保险协会，因为他们非常感兴趣，比如，我们如何利用标准来降低死亡率并节省资金？回顾过去，之前——我们的名字实际上是在向Underwriters Laboratories，UL致敬，它大约在电力出现时成立。房屋开始烧毁。保险公司，再次，支付账单，他们可能也是好人，但他们的利润激励是，让我们防止房屋烧毁。让我们测试所有电气产品，灯泡。这里所有的灯泡可能都经过测试，烤面包机等等。他们建立了一个实体来制定这些标准。今天，UL有一个利润实体和一个利润实体。他们认识到的是，他们剥离了——他们开始了利润。他们剥离出一个利润实体，因为他们认识到的是，嘿，实际上为了很好地服务客户，你需要一个利润实体。这里的教训是，市场可以协调激励的一种方式，使你既能响应客户
Rune Kvist [00:41:07]： 又不会随着时间的推移掏空你的标准，就是将其与保险公司对齐，因为他们从根本上拥有良好的激励。因此，如果你是一个与保险公司密切合作的利润标准，你就会得到反馈循环，这样你就能真正与客户保持一致，同时也把他们的利益放在心上。所以这就是我们的模式——我们从中学习了很多的启发模式，这也是名字的来源。在某些方面，承保这个词既可以与保险相关联，但它也是一个广义的术语，比如，做出决策。
Rune Kvist [00:41:40]： 如果你承保一个决策，你从根本上是在为它的后果承担责任。
AI保险合同、伦敦劳合社和ElevenLabs
Swyx [00:41:45]： 是的，我的意思是，AI的保险合同是什么样的？
Rune Kvist [00:41:49]： 是的。今天对保险合同的大部分需求，位于构建AI的人和购买AI的人之间。
Swyx [00:41:56]： 是的。
Rune Kvist [00:41:57]： 而你想要的——人们希望保险公司参与进来的原因，既有传统的原因，嘿，如果出了什么问题，我们想要得到赔偿，但特别是因为保险公司能为这个等式带来信任。因为保险公司会为损害买单，如果他们愿意承保一份保单，那就是他们在说：“嘿，我们认为这里有风险，但那是可控的。”而这有点像是。他们的激励与企业采用它的激励是一致的，所以这对市场来说是一个非常良好的信号。同样地，实际上，Waymo 为了获得在旧金山甚至运营的第一张许可证所做的其中一件事，就是让很多保险公司堆叠出一份巨额保单。万一出了什么问题，不是因为谷歌付不起，而是因为让一个第三方去查看那些数据是非常有价值的
Rune Kvist [00:42:47]： 那些被政府信任、被企业信任的保守人士会说：“嘿，我们已经看过了。我们实际上愿意把其中一部分承担在我们的资产负债表上。”所以这就是，这就是人们对它感兴趣的原因。它的样子，在某些方面就像其他每一份保险合同一样。你指定你想要覆盖哪些风险，你想要覆盖多少，比如最高到什么限额，以及覆盖那个要花多少钱。而就，如果我们举一个非常具体的例子，ElevenLabs，购买了首份此类 AI 代理保险保单。他们与一些最大的、与政府合作的企业合作。他们真的很有兴趣超越常规，向他们的客户做出承诺。所以他们写了一份保单，只覆盖他们客户一直在询问的一些核心关切。而关键的事情，实际上是让伦敦劳合社，世界上历史最悠久的保险公司，我们的合作伙伴之一，来查看这些数据，并作为与我们并肩的第三方说：“嘿，我们认为这里有一些值得承保的东西。”而这实际上就是它的样子。所以他们会把那份合同展示给他们的客户，客户就能看到他们被覆盖了多少。他们能看到它到底覆盖什么，而这很可能明年也会改变。他们会想要写一份可能覆盖更多的保险保单。
Swyx [00:44:04]： 你说劳合社的时候，那是再保险，还是他们以某种方式在同一层级上分担，或者
Rune Kvist [00:44:11]： 是的。所以通常，新公司进入保险业的方式是，他们与保险公司合作，使得保险公司承担大部分或全部的财务风险。从根本上说，如果保险有用，因为它带来信任，你就必须能够付得起账单。伦敦劳合社有 400 年历史。他们从未有过不赔付索赔的情况。他们极其受信任。伦敦劳合社靠自己难以做到的是，弄清楚哪些风险是真实的，我们应该寻找什么，有哪些技术控制措施，以及运行测试。所以他们使用 AIUC-1 作为一种承保框架，而我们产出一堆评估结果，这些结果随后直接输入进去，为定价提供信息。所以这意味着 ElevenLabs 的客户知道赔付会在那里。他们不必去看我们的 A 轮融资，然后想，我们觉得他们资产负债表上的现金够不够？他们会去看劳合社。
Swyx [00:45:05]： 是的。
Rune Kvist [00:45:05]： 是的。
Swyx [00:45:05]： 而且劳合社，那可是出了名的非常有创意。我记得好像有个标题说，他们给詹妮弗·洛佩兹的屁股什么的投了保。
Rune Kvist [00:45:13]： 没错。
Swyx [00:45:13]： 对吧？
Rune Kvist [00:45:13]： 还有，是不是，大卫·贝克汉姆的右脚？
Swyx [00:45:16]： 所以，对。对吧？
Rune Kvist [00:45:17]： 诸如此类的事情。
Swyx [00:45:18]： 所以，显然这不是一个大型数据集。
Rune Kvist [00:45:22]： 正是如此。这实际上是一个非凡的机构，它既拥有一些真正老派的优点，因为它已经存在了很长时间。他们，真的。他们真的像一个值得信赖的实体那样运作，而且他们有探索未来的意愿。我认为人们普遍认识到，人工智能中存在大量目前被理解不足的风险，所以进入这个行业会带来真正的风险。但这也是未来大量风险敞口将会出现的地方。这是唯一一个风险真正在增长的市场。这也是一个将会淘汰一些现有市场的市场。就拿汽车保险来说。当没有人类驾驶员时，那个市场会是什么样子？嗯，它显然会发生变化。你将如何评估
Swyx [00:46:08]： 你想给Waymo投保？
Rune Kvist [00:46:10]： 我。我只能说，为Waymo投保的原则与为其他类型的人工智能投保非常相似。
Swyx [00:46:15]： 对。
Rune Kvist [00:46:15]： 所以再次强调，碰撞测试，这就是我们在Lovable为客户份额所做的事情。Waymo也需要这样做，而这并不是你为人类驾驶员所做的。所以人们越来越意识到世界正在快速变化，而学习如何承保人工智能的唯一方法就是写一些保单。你可能会蒙受一些损失，并真的将其视为研发费用。但对他们来说，问题是，他们可以与哪些值得信赖的技术合作伙伴一起进入这个行业，帮助他们导航并确保他们不会犯下愚蠢的错误？但同时，谁又愿意听取他们所拥有的智慧？他们以前做过这个。他们见过。网络保险出现时他们就在那里。所以，在很多方面，人工智能感觉完全是新的，但也有很多方面，风险看起来是一样的。因此，实际上，一些可能头发花白的人身上蕴含着大量的智慧，但他们真的对如何量化风险有着敏锐的感觉。
Swyx [00:47:08]： 是的。而数字是。所以基本上就像我想要五千万美元的保额来应对这些风险，劳合社会给你一个报价，然后你有一个小的加价什么的，然后你转手就这么做？就这么简单吗？
风险资本、保费以及与保险公司合作
Rune Kvist [00:47:23]： 你基本上分享一部分保费。
Swyx [00:47:25]： 是的。
Rune Kvist [00:47:25]： X% 归给负责定价的人。
Swyx [00:47:28]： 你。这有点像。这有点像保险领域的商人银行那种东西。
Rune Kvist [00:47:33]： 没错。你基本上是在分摊费用，你可以把保险供应链想象成：有提供资金的，有做定价的，还有做分销的。通常，你会在这里支付保费的X%，在那里支付保费的Y%，剩下的就归到这里。
Swyx [00:47:46]： 整个保险世界都是这样运作的吗，还是说在某个时候，比如。如果现在你有股权资本
Rune Kvist [00:47:51]： 是的。
Swyx [00:47:52]： 在某个时候，也许你开始筹集债务或其他什么，然后你有了足够的银行账户和足够的历史，比如说你已经运营了十年
Rune Kvist [00:48:00]： 正确。
Swyx [00:48:00]： 你就不再需要劳合社了？
Rune Kvist [00:48:02]： 那完全是一个选项。我可以想象在某些情况下这是有意义的，特别是如果有些风险我们非常有信心想要承保，而现有保险公司太慢找到承保意愿
Swyx [00:48:13]： 好的。
Rune Kvist [00:48:13]： 或者只是难以评估，以至于他们不想做。但总的来说，你不想在提供风险资本方面与保险公司竞争，原因有两个。第一，这从根本上是一个资本成本游戏。他们的资本成本极低。初创公司的资本成本普遍很高。第二，你想对冲你的赌注，那么拥有一个家庭保险、汽车保险的组合是非常有帮助的。而我们并不打算成为汽车保险公司或家庭保险公司。
Rune Kvist [00:48:43]： 所以他们有一些天然优势，这使得我们更有可能合作。
Swyx [00:48:48]： 是的。
Rune Kvist [00:48:48]： 他们带来资本规模，我们带来技术专长。
Swyx [00:48:51]： 你，你会和他们长期合作。
Vibhu [00:48:52]： 与保险公司的讨论进展如何？基本上，他们是基于你的认证，对吧？他们信任对你的尽职调查，认为你的认证是有效的，你测试了正确的东西，他们支持资金，你知道，你有正确的测试。那么，与保险公司合作有什么有趣的收获吗？
Rune Kvist [00:49:12]： 我认为也许第一件事是，他们也会向标准提供输入。所以，如果他们觉得需要某些他们没看到的东西，我们也会将其作为标准的输入，因为从根本上说，我们认为一个好的标准是能够创造一个真正健康的承诺生态系统的标准，而我们认为保险公司是其中至关重要的一部分。而且，他们也是最有动力这样做的。他们能看到所有丢失的数据，跨越每一个……任何特定的 CISO 都知道他们特定的担忧。保险公司能看到整个投资组合中的担忧，并且通常能直接接触到，比如，到底发生了什么、是谁的过错等等，因为这是他们取证工作的一部分。所以他们实际上就像是这方面情报的一个绝佳来源。网络保险——一个运作得并不那么好的市场——的一大教训是，保险和技术专长没有结合起来。我们的信念是，标准必须先于保险。从根本上说，每个人首先最想要的，无论你是摩根大通的 CISO，还是 Cursor 的 CISO，还是伦敦劳合社某辛迪加的一名核保人，你想要的都是不要发生事故
Rune Kvist [00:50:19]： 首先。你想知道风险得到了妥善管理，只有到那时保险才开始有意义。所以我们会看到标准生态系统基本上跑在保险前面。而我们之所以……你问我们为什么我也做保险，这某种程度上是在证明我们认为一个完整的承诺信心基础设施生态系统需要是什么样子，我们认为把它变为现实非常有说服力，即使我们认为标准是解锁其余部分的核心关键。
索赔、责任、加拿大航空与注意义务
Swyx [00:50:44]： 目前还没有任何索赔，对吧？
Rune Kvist [00:50:45]： 没有。
Swyx [00:50:46]： 这是那种事情之一，你知道，如果人们还没有真正想清楚承保这些东西意味着什么。
Rune Kvist [00:50:52]： 是的。
Swyx [00:50:52]： 所以举个例子，我每月付给 Cursor 20 美元。
Rune Kvist [00:50:55]： 对。
Swyx [00:50:56]： 然后我用 vibe code 写了点东西，导致一架飞机坠毁，造成价值 2 亿美元的损失。
Rune Kvist [00:51:02]： 是的。
Swyx [00:51:02]： 我是索赔 20 美元，还是索赔 2 亿美元？
Rune Kvist [00:51:07]： 是的。所以这些都是很好的问题。
Rune Kvist [00:51:10]： 而且幸运的是，整个保险和法律历史某种程度上有助于回答其中一些问题。我认为第一件事是人们的保单是有上限的。所以如果你想索赔 2 亿美元，你必须……必须有人事先为那份保单支付了很多钱，才能拥有 2 亿美元的保额。而最终，这件事的运作方式是，你从大量的不确定性开始。这不仅适用于保险，也适用于，比如，你能用……Anthropic 能用互联网上的书来训练吗？嗯，他们可以去查看先例，他们可以……但最终，这些——这些事情会在法庭上得到解决，你会随着时间把它敲定。所以你从这样一个模糊不清的起点开始，这既是保险在早期可能难以开展的原因，也是人们想要保险的原因，因为这种模糊性会拖慢采用。
Swyx [00:51:57]： 是的。
Rune Kvist [00:51:57]： 这也位于这些问题的核心，Swyx [00:51:59]： 是的。实际上，在某种程度上，第一起事件将有助于确立很多这方面的内容。
Rune Kvist [00:52:05]： 没错。而且已经有很多事件根本没有被保险覆盖。
Swyx [00:52:09]： 是的。
Rune Kvist [00:52:09]： 就拿现在已不算新的加拿大航空公司的例子来说，当时
Swyx [00:52:14]： 我正想提这个
Rune Kvist [00:52:15]： 聊天机器人幻觉出了一项退款政策，问题是，加拿大航空在那起案件中当时的态度是：“嘿，我们与此无关。这个聊天机器人搞砸了，但是，呃，抱歉。”而法院则说：“不，如果你让你的聊天机器人去与你的客户互动，它们就会代表你做出具有法律约束力的承诺。”这现在已成为未来所有类似情况的先例。如果有人再次部署那样的聊天机器人，他们不应指望能够推卸责任说：“抱歉，我的聊天机器人撒谎了。这与我无关。我是从 OpenAI 买的。”不，如果你把它放在你的客户面前，你就要为此承担责任。因此，每一个法庭案件，无论是否涉及保险，都会厘清责任，而责任在某种程度上是保险的基础。标准和保险走到一起还有另一个原因。责任——我在这里稍微跑个题
Swyx [00:53:06]： 请讲
Rune Kvist [00:53:06]： 深入细节。
Swyx [00:53:06]： 请讲。
Rune Kvist [00:53:07]： 责任，其核心概念之一往往是某人是否存在过失。他们本应预见到这一点吗？他们本应阻止这一点吗？问题在于：你如何判断这一点？嗯，你基本上是判断他们是否履行了注意义务。这在实践中意味着什么？嗯，他们往往会参照标准。因此，如果有一项被广泛采用的标准规定你必须有一个有据性过滤器，或者你必须有一个越狱过滤器，那么声称不知道这些东西存在就会变得困难得多。因此，制定标准有助于厘清责任。法院——法院往往会指向标准，并说：“嗯，这看起来像是应做的最佳实践。”它摆在那里让所有人看到。所以还有另一种方式，即标准在某种程度上是文明基础设施，保险可以在此基础上构建，承诺也可以在此基础上构建。
Swyx [00:53:53]： 我完全理解。我们不必为了编写这些、你知道，制作这些机器人以及所有这些而获得认证。
Rune Kvist [00:54:00]： 正确。
Swyx [00:54:00]： 但是，基本上，每当我们去——进行审计时，我认为人们，比如，开始规范起来以及所有这些事情。我想知道，这是否意味着你也不会成为我发布到生产环境的批准机构。你知道，就像，是的，你每季度检查一次。我想每天发布一次。
发布到生产环境：持续测试与信任
Rune Kvist [00:54:19]： 是的。
Swyx [00:54:19]： 而且我不知道我的某个东西什么时候会出问题，比如是否会违反你的某项认证。
Rune Kvist [00:54:24]： 所以有几件事。其中有一些要求涉及你自己如何，你必须告诉你的客户
Swyx [00:54:33]： 这就像一种持续监控。
Rune Kvist [00:54:34]： 在至少发布重大版本之前，你自己是怎么测试的？我们不会每天去审计别人，但至少现在有了一条痕迹，如果你搞砸了大事，你的客户可能会来问你：“嘿，你答应过我会自己运行这些评估的。”而对很多人来说，人们合并的大多数 PR 并不会从根本上改变产品体验，但有些会。谢谢。
Swyx [00:54:57]： 有时候你并不知道。
Rune Kvist [00:54:58]： 有时候你并不知道。存在固有的风险，每个人都知道，当他们购买软件时，可能会有 bug，这只是其中的一部分。但如果你卖给夫妻店，他们可能不在乎。他们只会说：“好吧，我想用你的工具，所以我愿意——愿意承担那个风险。”如果你卖给一家大银行，他们可能会说：“抱歉，我们在向我们的客户做出承诺。如果你不能向我们做出我们可以转达的承诺，我们就不想和你合作。”那么这就取决于你说：“我在乎我的 agent 在这个任务中被用作关键基础设施吗？如果是，至少我可以对我运行的流程做出承诺，然后我们可以每季度去测试它，看看它是否看起来仍然符合标准。”所以从我的角度来看，这算是一种方式。大公司默认在发布 AI 时就有一定程度的信任。
Rune Kvist [00:55:49]： 如果你是一家年轻公司，如果你刚刚起步，默认情况下你没有信任。而且你能去获得信任的地方非常少。所以我们大多数客户在开始与我们合作之前做的一件事就是，他们会写自己的安全博客文章。这很好。但话说回来，谁会信任你说“我们非常安全”呢？
Rune Kvist [00:56:05]： 任何人都能写那个。但这非常难。你去哪里获得那种信任？
Vibhu [00:56:08]： 是的。
Rune Kvist [00:56:08]： 所以我认为，让标准更加清晰易读，会让小公司更容易证明他们正在做他们应该做的事，因为默认的假设是这是一个蛮荒西部。
Vibhu [00:56:21]： 你有没有一个路线图，比如。这里有很多工作要做，对吧？
Rune Kvist [00:56:25]： 是的。
Vibhu [00:56:25]： 这是第一个。
Rune Kvist [00:56:26]： 是的。
Vibhu [00:56:26]： 路线图上有没有你认为接下来是什么、什么即将到来、什么还缺失的内容？
路线图：Agent、模型、机器人技术和世界模型
Rune Kvist [00:56:32]： 我认为当我们拉远来看，AIUC-1 处理的是 agent。接下来，我们将处理模型。再接下来，我们将处理机器人技术，从某些方面来说，Waymo 就是第一个机器人。但完全相同的问题将会出现：有人会开发一个机器人，有人会需要一些承诺，他们会难以做出这些承诺。而且——你会看到这种情况上演，比如，如果你觉得 Fable 的担忧很糟糕，那就看看 Waymo 撞到狗的时候。那时候人们会失去理智。想象一下第一个机器人把一个幼儿从厨房桌子上撞下来的时候。
Swyx [00:57:03]： 是的。
Rune Kvist [00:57:03]： 你会看到一些真正严格的责任。
Vibhu [00:57:07]： 我是说，你能看到，对吧？比如，Cruise 被彻底
Rune Kvist [00:57:10]： 摧毁了。
Vibhu [00:57:10]： 所有许可都没了，是的。是的。
Rune Kvist [00:57:12]： 没错。所以对于物理 AI，严格程度只会不断上升。这大概就是宏观图景。智能体、模型、机器人技术。我认为在智能体领域，当前这一批智能体已经被这套框架很好地覆盖了。但随着技术发展，随着智能体的时间跨度变长，新的失效模式会出现。所以关键主要是，当它们出现时，你能否确保标准跟上？而且你也会开始看到新的模态。比如今天，世界模型基本上还是一个研究问题。还没有人真正在使用它。但那也会带来创造价值的新方式，同时也会带来今天没人知道如何应对的更多风险面。你会开始看到真正不由人类中介的智能体交互。会有一堆有趣的问题。你基本上会需要一套新的法律体系。它们如何彼此建立信任？如何……人类彼此交易时的核心之一，就是你知道你有追索权。你可以起诉他们。你如何确保任何智能体背后都有一张持续存在的资产负债表，这样如果你和它交易，而它坑了你，你知道你能拿回你的钱？这些就是我们将来必须处理的一些问题。还有技术测试
Rune Kvist [00:58:24]： 多智能体系统的测试也会既有趣又复杂。
Swyx [00:58:29]： 非常有意思。现在有没有什么风险是人们希望你们承保、但无法承保的？
版权风险、逆向选择与信息不对称
Rune Kvist [00:58:35]： 有。有一个领域对保险有不小的兴趣，但供给不多——需求很大，但供给不多，那就是版权。
Swyx [00:58:46]： 哎。
Rune Kvist [00:58:47]： 在某些方面，版权有点平淡无奇。它一直是个问题。这有几个原因。第一，用受版权保护的材料训练过的人，几乎总是知道他们这么做过。
Rune Kvist [00:58:59]： 所以如果你想为此买保险，这很可能表明你可能是个高风险客户。最想为版权侵权买保险的人
Swyx [00:59:09]： 好。是的
Rune Kvist [00:59:09]： 正是最有可能拥有受版权保护
Swyx [00:59:10]： 是的。这就像，这就像一个柠檬问题。
Rune Kvist [00:59:13]： 没错。
Vibhu [00:59:13]： 其实我觉得还有另一面，对吧？比如，如果你是在某个东西之上构建。假设我在用一个开放模型。
Rune Kvist [00:59:19]： 是的。
Vibhu [00:59:19]： 我不知道它是用什么训练的，对吧？
Rune Kvist [00:59:21]： 对。
Vibhu [00:59:21]： 那版权会沿着这条链追溯到多远？
Rune Kvist [00:59:24]： 对。
Vibhu [00:59:24]： 我是否会因为 X 公司用了受版权保护的内容训练，而需要下架我的产品？
Swyx [00:59:29]： 但人多就安全。如果大家都在这么做，那么你。
Rune Kvist [00:59:33]： 没错。
Vibhu [00:59:33]： 我的意思是，我会说直到，你知道，Fable 被从所有用过它的人那里回滚，对吧？
Rune Kvist [00:59:38]： 是的。我觉得这是个很难的问题。我不知道答案。
Vibhu [00:59:39]： 确实。
Rune Kvist [00:59:39]： 但我认为你的直觉，你的直觉在某种意义上是正确的，比如，什么是注意义务？
Rune Kvist [00:59:47]： 而今天人们并不认为去剖析开放模型的训练数据并检查一切是惯例。事实上，很多人都在使用它们。不检查这一点被视为普遍可接受的。因此，我们不会要求你具体
Vibhu [01:00:02]： 我的意思是，我们也真的做不到，对吧？我们
Rune Kvist [01:00:04]： 正是如此。
Vibhu [01:00:04]： 我们不知道训练数据。
Rune Kvist [01:00:05]： 所以你可以禁止它，但我认为没有法院会面对版权问题然后说：“这实际上需要被禁止。”
Swyx [01:00:09]： 除非你雇了 Nicholas Carlini，他能帮你提取出来。
Rune Kvist [01:00:12]： 正是如此。不过他供不应求。
Swyx [01:00:15]： 是的。他——你只有那么多 Carlini，但是，Rune Kvist [01:00:17]： 正是如此。
Swyx [01:00:18]： 是的，你继续。
Rune Kvist [01:00:19]： 所以我认为这也是公平的，在实验室的情况下，对此有很大的兴趣。但让实验室想要它的原因，正是让这个保险公司对它起疑的原因，所以你面临一个柠檬问题。
Swyx [01:00:30]： 是的。有没有一种保险理论，其中逆向选择主导了保险的风险分担方面？比如，这在哪里。比如，教教我们保险。
Rune Kvist [01:00:40]： 很多保险都归结为，比如，微观经济学 101 的实践版本。
Swyx [01:00:45]： 是的。这非常。这就像，这就像这就是为什么
Vibhu [01:00:47]： 高风险逆向。
Swyx [01:00:48]： 你需要汇集健康保险，因为如果你把它做得太过于具体，那么只有那些确定会得这种病的人才会报名你的保险。
Rune Kvist [01:00:56]： 正是如此。
Swyx [01:00:56]： 同样的事情。
Rune Kvist [01:00:57]： 核心问题是信息不对称。购买保险的人知道一些关于他们风险的信息，而保险公司不知道。所以问题实际上是。这又回到了同样的问题，如果你依赖。如果存在某种测试能揭示潜在的真实风险，你可以打破很多这些信息不对称。所以如果你能够，在你提到的案例中，对某人是否患有它或某人患有它的概率有良好的诊断，并且保险公司信任这个诊断，那么他们可能愿意承保。但如果他们不信任，如果不存在某种共同信息，那么——只有患者会知道
Vibhu [01:01:32]： 是的。
Rune Kvist [01:01:32]： 这就是它崩溃的原因。所以问题又是，你如何在参与者之间创建可信的信号？
Rune Kvist [01:01:39]： 这也是穆迪存在的全部理由。穆迪所做的就是可信的信号传递。这也是为什么穆迪永远不可能——穆迪必须保持独立。如果穆迪被摩根大通拥有，那么摩根大通就无法将其用作信号传递机制。所以，标准和认证的许多基本要素都只是沟通工具。它只是一个信任缺口。而正是在这里，你必须思考信息传递者的激励是什么。而打破这一点的种种方法之一就是通过透明度。如果你在运营方式上保持透明，你就几乎无法轻易地糊弄别人。你让这样做的成本高得多，而这会增加信任。这就是这里有变更日志的原因之一。
Rune Kvist [01:02:16]： 每一个微小的改动
Swyx [01:02:18]： 是的
Rune Kvist [01:02:18]： 你都可以回溯并找到，这意味着如果我们把标准改得更糟
Swyx [01:02:24]： 哦，哇，一次更新里有这么多改动。
Rune Kvist [01:02:27]： 是的。
Swyx [01:02:27]： 好的。
Rune Kvist [01:02:28]： 而其中很多只是随着事情变得更清晰，你可以看到很多澄清，你可以看到一些修订。随着事情被敲定，你会想要改变这一点。但如果你把这一切都公开，你就让糊弄别人变得困难得多，或者至少你会很容易被发现。
Rune Kvist [01:02:42]： 所以这是一种通过让更多信息公开来减少信息不对称的方式。
Vibhu [01:02:50]： 我喜欢你们确实知道未来版本何时会到来。
Swyx [01:02:52]： 是的。
Vibhu [01:02:53]： 所以我猜是每季度一次。
Swyx [01:02:53]： 我的意思是，他们只是
Rune Kvist [01:02:54]： 是每季度一次。
Vibhu [01:02:54]： 是的。
Swyx [01:02:54]： 算是每季度一次。
Rune Kvist [01:02:55]： 是的。
Swyx [01:02:55]： 并不那么令人意外。
Rune Kvist [01:02:58]： 是的，但这也是一种承诺。就像，如果我们现在不在7月15日交付，基本上
Swyx [01:03:03]： 我的意思是，你可以直接把它攒起来，然后无论你弄到了什么，直接发布就行。
Rune Kvist [01:03:05]： 你就把它攒起来。
Swyx [01:03:05]： 是的。那并不难。
Rune Kvist [01:03:06]： 但这有点像我们每次兑现这个承诺时，就存入了一定量的信任。
Vibhu [01:03:12]： 是的。
Rune Kvist [01:03:12]： 而在创业公司的世界里，每季度发布一个新版本的标准感觉很容易。在那些习惯了这种长达十年周期的企业里，我们常常遇到的是难以置信。就像，这根本不可能。然后你给他们看变更日志。
Swyx [01:03:28]： 我还想真正思考的一件事是，你知道，你说过如果某样东西有测试，那么你就可以为它投保。
Rune Kvist [01:03:35]： 是的。
Swyx [01:03:36]： 对吧？所以实际上你的标准，AIUC 所做的，就是建立一个让审计得以发生的框架，这样你至少可以测试，比如，所有这些，比如，基准的注意义务标准都已满足，因此人们可以针对每个人都有的标准风险进行投保。我想知道是否，比如，需要开发——你需要开发其他测试。我们过去讨论过机制可解释性。对此有兴趣吗，还是有其他我们没想到的测试类型？
机制可解释性、评估意识与监控
Rune Kvist [01:04:02]： 是的，我认为机制可解释性是一个重要的领域。很多人对此感兴趣。我想大家都会同意，它有着很有前景的科学潜力。
Rune Kvist [01:04:15]： 我们距离它能够按需商业化提供，比如现在你可以找到一系列供应商，还有一段距离，至少还需要一段时间。
Swyx [01:04:26]： Goodfire会说它已经商业化了。
Rune Kvist [01:04:28]： 没错。
Swyx [01:04:29]： 而且它只是
Rune Kvist [01:04:30]： 我们会同意他们的说法。我们认为他们所做的工作非常出色。
Swyx [01:04:33]： 是的。
Rune Kvist [01:04:33]： 我们还没有到可以真正要求它的地步。但可以想象，相对很快，你就可以加入一个可选的控制项，如果人们使用机制可解释性来降低风险，至少你能因此获得认可。我们不能强制要求，因为很难要求每个人都成为Goodfire的客户。
Swyx [01:04:49]： 认可对我有什么好处？这是通过/不通过的，对吧？我在意认可吗？
Rune Kvist [01:04:54]： 这是通过/不通过的，但也是一份100页的审计报告
Swyx [01:04:57]： 哈
Rune Kvist [01:04:57]： 你会惊讶于有多少安全负责人真的会坐下来消化这些东西。
Swyx [01:05:02]： 好吧。
Rune Kvist [01:05:02]： 我向你保证，如果今天有人在使用机制可解释性，他们一定会有一张幻灯片来展示，因为他们会试图为此获得认可。
Swyx [01:05:11]： 这很酷。很花哨，是的。
Rune Kvist [01:05:12]： 但如果有第三方说：“是的，他们用了机制可解释性，而且实际上。”那就更容易了。
Swyx [01:05:16]： 只是为了向一直关注我们机制可解释性播客的人说明一下
Rune Kvist [01:05:21]： 是的。
Swyx [01:05:21]： 这实际上就像，哦，你在使用，你知道，OSS。它激活了这三个危险的东西。我们监控它，并用任何选择的工具记录下来。Gray Swan有类似Signal之类的，就这样。这就是基于机制可解释性的激活信号。好的。
Rune Kvist [01:05:38]： 是的。所以我认为机制可解释性很有趣，我认为如果那个承诺真的实现，你可以做出比评估更强的承诺。所以我认为这非常有说服力。另一件我认为会变得越来越重要的事情就是良好的事后监控，稍微事后一点。你在评估中看到的一件事，一些正在出现的挑战是，智能体开始意识到它们正在被评估。
Swyx [01:06:04]： 是的，评估意识。
Vibhu [01:06:05]： 是的。
Rune Kvist [01:06:05]： 没错，这是个问题。这意味着它们基本上，如果它们知道自己被监视，就不会做那些它们认为会因此受罚的事情。默认情况下，除非你知道如何减少评估意识，否则你应该更少信任评估。而最真实的事情之一，监控，就像是真相的来源。你是否真的提供了医疗建议，你多快知道？你过去多久做一次？你响应多快？你多久检测到它？你多快检测到这个？所以我认为这也是一个范式。它稍微更具侵入性。你实际上会查看一些客户数据，但我认为随着时间的推移会变得越来越普遍。
Swyx [01:06:45]： 人们谈论这件事时，就好像我们不应该写关于评估意识（eval awareness）的内容，因为它会泄露到数据集中，然后就会…… 就像，我们应该只是…… 就像，我们应该，比如，永远不谈论它，只在私下见面，然后，比如，在线下不被记录地交谈。就像。
Rune Kvist [01:06:57]： 你们看到 Anthropic 的那项研究了吗？我觉得这真的是 Anthropic 做的那个测试。
Swyx [01:07:04]： 什么？
Rune Kvist [01:07:05]： 它…… 我记不清这里的细节了，但他们针对失准（misalignment）做了一些研究，然后他们移除了训练数据——那些与 LessWrong 讨论失准相关的数据，然后他们再次运行了同样的测试，失败率下降了。
Rune Kvist [01:07:20]： 所以，事实上，这提供了一些证据，指向它已经学会了——要么是能力，要么是倾向去做那件事。
Swyx [01:07:28]： 是的，我是说，所以有超迷信效应（hyperstition effect），然后还有，比如，路易吉/瓦路易吉效应（Luigi/Waluigi effect）。
Rune Kvist [01:07:31]： 没错。
Swyx [01:07:32]： 这就像是，你越是试图针对它进行训练，你就创造出相反的东西。
Rune Kvist [01:07:36]： 是的，就是这样。正是如此。
Swyx [01:07:38]： 在某些方面，我认为 Anthropic 的成功本身就是超迷信效应的结果，就像你希望这个东西存在于世界上，而现在它确实存在了。但是，比如，它同时也创造了相反的东西。
Rune Kvist [01:07:48]： 是的。
Swyx [01:07:49]： 比如，我认为那些可能刚进入这个领域的人不记得瓦路易吉了，但是，比如，我确实认为这对于理解以下这一点非常重要：当你针对一个事物进行训练时，你也在训练这个事物的对立面，因为它就是一个大的翻转。
Rune Kvist [01:08:02]： 是的。
Rune Kvist [01:08:03]： 是的。
Vibhu [01:08:04]： 我认为，你知道，回到我们刚才讨论的地方，除了机制可解释性（mech interp）之外，还有很多东西仅仅是被添加进来就有价值，对吧？所以，你衡量事物的速度如何？你有日志记录吗？你有评估吗？你知道，你能看到技术栈的其他部分吗，比如你使用的推理提供商、各种服务？好吧，我是在他们的本土 API 上使用中国模型吗？我在这里是通过认证供应商使用的吗？我是自己托管的吗？我在推理引擎方面做了什么？就像，有太多层面的东西可以提供，你知道，你可以标准化出来的信息，对吧？
托管代理、企业控制与生成式媒体
Rune Kvist [01:08:36]： 是的。而且你还越来越多地看到，除了基本的聊天机器人之外，越来越多的公司正在采用代理平台，他们在 Google 的 Agent Studio 等之上进行构建，这些平台附带了一堆，比如
Vibhu [01:08:52]： 托管代理。
Swyx [01:08:53]： 托管代理。
Vibhu [01:08:53]： 现在到处都是。
Swyx [01:08:54]： 每个人都有托管代理。
Rune Kvist [01:08:55]： 没错。
Vibhu [01:08:56]： 而且甚至还有层次之分。你可以托管你自己的托管代理、OpenAI 的 Agent SDK，或者由 Anthropic 托管，或者 Google 两者都做。
Rune Kvist [01:09:03]： 没错。而这些只是加强你能做出的安全保证的一些方式。在某些方面，这算是企业安全的基本功。他们喜欢把东西托管在自己的场地上，因为这让他们真正有一种掌控感。我想你会看到，就像在其他所有企业市场一样，如果你真的向企业销售，你就会开始在这些安全功能上展开竞争。这在 AI 领域也在发生，并不令人意外。我认为你正在看到一些企业想要这样做。企业真正在纠结的是：让智能体有用的东西正是它们是随机的，而让它们难以被采用的东西也正是它们是随机的，这两者之间存在张力。
Rune Kvist [01:09:46]： 领导者们在这个问题上站在不同的立场上，部分取决于 CEO 有多想通过宣称自己是 AI 原生、我们必须愿意承担风险来推高股价。我们看到，我们确实看到财富 1000 强企业的 CISO 们头脑中存在巨大的张力，一方面 CEO 说：“我们必须采用，否则我们就会变得无关紧要，如果我们搞砸了，你就被解雇了。”
Swyx [01:10:08]： 哎哟。
Rune Kvist [01:10:08]： 而这差不多就是我们一次又一次看到出现的核心情感张力。我们为他们解决的核心问题之一，就是把那种抽象的情感担忧转化为一个框架，在某些方面只是为那种担忧提供清晰度。
Vibhu [01:10:23]： 那么这里有什么。我觉得我们有点跳过了某些东西。我们谈了很多关于智能体语言模型，跳过了世界模型。
Rune Kvist [01:10:31]： 是的。
Vibhu [01:10:31]： 你们有语音，这在 ElevenLabs 那里很有意思。
Rune Kvist [01:10:34]： 是的。
Vibhu [01:10:34]： 那生成式媒体呢？比如生成图像、视频，这是一个实际上有很多使用量的类别。你们当前的政策里有什么吗？是单独的政策吗？你怎么看这个领域？
Rune Kvist [01:10:46]： 是的。
Vibhu [01:10:46]： 就像我们确实谈了一点版权，Swyx [01:10:49]： 音乐。
Vibhu [01:10:50]： 是的，音乐也是。
Rune Kvist [01:10:51]： 是的。我认为那里出现的很多担忧要么与版权有关，要么有很多与——我们姑且宽泛地称之为——安全有关。比如，这可能是不适合工作场合的内容，或者只是非常露骨的材料，这些算是核心问题。我们在这方面做了一些工作。标准里也有一小部分明确处理这个问题。视频方面，我们还没有做很多。我认为对于正规生产来说，这仍然。尤其是没有人在环中的正规生产，这仍然还有一段路要走。很明显它正在到来，但像拍摄并部署一个视频到互联网上这种情况非常罕见。但最终那也会发生。
Vibhu [01:11:33]： 我们看到，比如 Luma 有 Luma agent，它仍然相当依赖人在环中。
Rune Kvist [01:11:37]： 是的。
Vibhu [01:11:37]： 所以这不仅仅是
Rune Kvist [01:11:37]： 而这随着技术成熟完全说得通，随着时间的推移，它会变得如此之好，以至于人们不会想因为有人在环中而拖慢事情。然后，做出承诺的需求将会增长。
Swyx [01:11:52]： 为什么不干脆对所有事情都设立预测市场呢？
预测市场 vs. 审计
Swyx [01:11:55]： 对吧？这非常贴近 EA（有效利他主义）。
Rune Kvist [01:11:56]： 是的。核心问题在于，人们……预测市场依赖于公开信息。而公开信息并不多。它只是内部人士在两边下注交易。
Swyx [01:12:06]： 是的。
Rune Kvist [01:12:09]： 那是违法的。
Vibhu [01:12:10]： 有泄露的信息。
Rune Kvist [01:12:12]： 确实有泄露的信息。核心挑战在于，你往往掌握着私密的敏感信息，而你需要围绕这些信息传达信心和信任。当然，对于某些主张，比如任何模型是否都能被越狱，你可以依赖公开证据，因为会有很多人说：“嗯，有大量研究，而且实际上它们全都能被越狱，所以这个问题就解决了。”我觉得这很好。但对于“嘿，这个尚未发布的新 Methus 模型，它实际上有多强？”
Rune Kvist [01:12:43]： 预测市场就没什么可说的了，因为实际上根本没人知道。所以我认为这正是其中一些东西失效的核心所在——实际上，世界上指导这些高层决策的大量信息都是私密的，而且往往也根本不为人所知。
Vibhu [01:12:56]： 我觉得人们喜欢预测市场的一点是，它不是在回答那个宽泛的问题。它回答的是一个具体的问题，对吧？比如，某个模型会在某个日期前做到这件事吗，或者某个模型到那时有能力做到这件事吗，对吧？
Rune Kvist [01:13:07]： 是的。
Vibhu [01:13:08]： 这里有个小小的区别。
Rune Kvist [01:13:10]： 是的。而且通常最有趣的问题，比如说，如果你是某家银行的安全主管。你真正想回答的问题是，这个产品、这个智能体，会不会做出这件坏事——也许主要是我关心的坏事，具体是在我关心的场景下？而问题是，最接近的……那个信息可能在任何地方都不存在。所以预测市场聚合的是已有的信息。而这个信息可能并不存在，你想要的是非常具体的东西，并且你愿意为此付费。这大概就是第三方审计发挥作用的地方。我们其实也不会真的用预测市场来判断上市公司是否在账目上实施了欺诈。你会用审计。你或许可以用预测市场，但信息就是没那么容易获得。如果真要用，那基本上就是凭感觉交易了。其实，看看 2001 年的预测市场是否预测到了安然破产，会非常有意思，而它们某种程度上
Swyx [01:14:02]： 是的。
Rune Kvist [01:14:02]： 你能不能看出来——你能不能从比如 CEO 的疯狂程度或其他某些特质中感觉到，他们比其他人更有可能做假账？
Swyx [01:14:10]： 或者有足够多的内部人士把它泄露出来，然后
Rune Kvist [01:14:12]： 那也可能是对的。
Swyx [01:14:13]： 对。这就像，我是说，这——那正是预测市场的理想梦想。你有流动的市场，以及一切。
Rune Kvist [01:14:20]： 是的。
Swyx [01:14:20]： 然后你就可以组合出你确切需要抵消的那组风险。
Rune Kvist [01:14:24]： 是的。
Swyx [01:14:25]： 对吧？
Rune Kvist [01:14:25]： 是的。对。而且我认为，预测市场会为此带来大量新信息。所以问题主要不在于它是哪一种，而更在于预测市场真正擅长的是哪些类型的问题
Swyx [01:14:37]： 对。
Rune Kvist [01:14:37]： 以及哪些问题是内部人士根本没有信息、以至于实际上没人能据此交易、而需要被生成出来的。
AI 工程师认证与培训
Swyx [01:14:43]： 好，一个有点私心的问题，然后一个开放式的问题，关于 AIUC 的未来。私心的问题是，你们有自己的标准，对吧？
Rune Kvist [01:14:52]： 是的。
Swyx [01:14:52]： 我运营着一个，你知道，大型的 AI 工程师会议。比如，关于我们给 AI 工程师做认证这件事已经有很多讨论了。
Rune Kvist [01:14:58]： 对。
Swyx [01:14:59]： 培训项目，一级、二级、三级。我自己是 CFA，所以我知道——那是金融行业做的事。
Rune Kvist [01:15:04]： 是的。
Swyx [01:15:05]： 如果我有 AI 工程师一级、二级、三级，然后它就会——他们会，比如，和这些人合作，会有帮助吗？我不知道。
Rune Kvist [01:15:12]： 如果你把最高层级的目标想成，比如，加速智能体的安全部署，那这绝对会有帮助。因为现在经常发生的一件事是，人们构建了智能体，把它拿给决策者，而决策者提出了一堆他们之前没想到的安全考量，现在它就不符合规格了。现在你就得去——比如，加上这些过滤器，等等。所以如果你把这件事左移，比如如果每个人都知道他们构建所依据的规格，如果每个人都知道评分方案
Swyx [01:15:41]： 对。
Rune Kvist [01:15:42]： 如果他们已经被培训过，那就太棒了。所以默认情况下
Swyx [01:15:44]： 但评分方案是你们定的，对吧？
Rune Kvist [01:15:45]： 再说一遍。
Swyx [01:15:45]： 我定不了评分。你们，你们定评分方案。
Rune Kvist [01:15:47]： 我们定评分方案。而且我认为有价值的是，比如，如果你能把这些变成
Swyx [01:15:52]： 培训项目。
Rune Kvist [01:15:53]： 培训项目
Swyx [01:15:54]： 对。
Rune Kvist [01:15:54]： 这样人们
Swyx [01:15:54]： 而你们，你们并没有在做这件事。
Rune Kvist [01:15:55]： 我们没在做这件事。
Swyx [01:15:56]： 对。
Rune Kvist [01:15:56]： 我认为做这件事是有价值的。
Vibhu [01:15:57]： 有别人在做。我是说，不是想打断，但你知道
Swyx [01:16:00]： 对。
Vibhu [01:16:00]： OpenAI 有他们的
Swyx [01:16:02]： Anthropic 也有类似 CCTA 的东西。
Vibhu [01:16:04]： 对。你知道，他们想要十万名部署认证顾问，对吧？
Rune Kvist [01:16:09]： 我真的觉得这对……有好处。如果我们有更多知道如何构建安全智能体的人，我们就会加速采用，而我们目前并没有在做培训人这方面的工作。我认为这，比如，非常符合我们的使命。我们只有这么多注意力。
Swyx [01:16:24]： 我告诉你我为什么没做这件事。
Rune Kvist [01:16:26]： 好。
Swyx [01:16:26]： 并不是说我以前没想过这件事。
Rune Kvist [01:16:28]： 是的。
Swyx [01:16:28]： 只是因为它太规定性了
Rune Kvist [01:16:30]： 对。
Swyx [01:16:31]： 大概就像，嗯，这就是你应该知道的东西，因此，就像，我没有包含进去的内容就是你不需要知道的。
Rune Kvist [01:16:35]： 是的。
Swyx [01:16:36]： 而我就想，“这太糟糕了。”就像。
Rune Kvist [01:16:37]： 是的。对。
Vibhu [01:16:39]： 但我觉得，你们做的非常有趣且具有防御性的事情，就是你们那份有主见的 100 页报告——这里是什么重要的，对吧？这里是，就像，你需要获得认证的要求的规定性定义，所以。
Rune Kvist [01:16:55]： 是的，我认为那是一种选择。我认为基本上那是一种，那是一种选择，而且我认为这对某些受众非常有用，如果你试图把这部署到银行或医院等等，那些边界的清晰性是极其有价值的。
Rune Kvist [01:17:09]： 还有很多其他场景，更加实验性、更多地去尝试反而更合适。所以对我来说，这非常合理。而且，你还得每三个月就重写一次你的课程。
Swyx [01:17:21]： 没关系。我就是这么做的。就像，没关系。但是的，不，对我来说，实际上——就像，真的，就像，搞错的后果以及影响某人的职业生涯，是一种很大的责任。
Rune Kvist [01:17:35]： 是的。就像，我认为那完全正确。而且我认为我们的很多工作实际上是这样的，我们不想承担。我们也不认为我们自己能够承担那种，像是，什么安全或不安全的真正北极星，但我们可以协调那个论坛，让你把所有这些都列出来。
Swyx [01:17:52]： 是的。你们的联盟太棒了。
Vibhu [01:17:54]： 你觉得这能以某种方式众包吗？就像，拿你的例子来说，什么是 AI 工程师认证，对吧？这是一个相当大的播客。人们可以有很多观点，而且，你知道，可以进行讨论。
Swyx [01:18:05]： 而且人们有理由不同意。所以我凭什么说，就像，那是一个正确的问题，那是一个错误的问题？
Rune Kvist [01:18:09]： 是的。
Swyx [01:18:09]： 对吧？所以，就像，我不知道。
Vibhu [01:18:10]： 我们会有一个出口。
Rune Kvist [01:18:13]： 是的。
Vibhu [01:18:14]： 向正在听的人发泄你的沮丧，你知道吗？
Rune Kvist [01:18:16]： 没错。而且我认为也有你。或者说，承诺是什么非常重要。所以如果承诺是，“嘿，如果你上了我的课，你就不会搞砸，”你显然不能做出那样的承诺。你可以做出这样的承诺，比如，“这里是。每个人都至少应该知道的一些重要事情，”然后你必须在那边把剩下的补上。至少承诺变了。当然，你如何传达这一点以让人们真正理解，这里面有一些微妙之处。但我认为把它调准很重要，而且我们的中心里有一个部分，讲的是，什么是承诺，什么不是承诺，因为不可能保证什么都不会出错。如果你需要保证什么都不会出错，你就不能与前沿 AI 合作，但你可以做出一些主张。
Swyx [01:18:56]： 是的，当然。酷。想以开放式的问题结束，AIUC 要往哪里去？我想你谈到了模型的东西、机器人的东西。就开放式地问，就像，哪里，你知道，你们未来会有什么？
AIUC 的未来、招聘与通用红队
Rune Kvist [01:19:10]： 近期，我们已经开始与各个正在兴起的类别中的一些前沿公司合作，我们将继续这项工作，以确保覆盖所有真正在兴起的用例。一旦市场上第一个行动者出现，我们就会看到大量的兴趣。很多人都想跟随他们。我们认为，基本上 AIUC-1 会达到一个点，届时所有财富 1000 强企业都会围绕该标准来组织他们的风险流程。
Swyx [01:19:38]： 你们有 50% 吗？
Rune Kvist [01:19:39]： 不，我们今天没有 50%。
Swyx [01:19:41]： 哦。
Rune Kvist [01:19:41]： 我认为在某种情况下，可能到年底，我们的联盟中可能会有财富 1000 强中 50% 的代表。
Swyx [01:19:48]： 我明白了。懂了。
Rune Kvist [01:19:49]： 所以那是在代理层。然后我们认为，是的，模型层，它将会是。它只是带来。现在正在浮现出最有可能减缓 AI 采用的担忧。然后，是的，我们认为机器人技术紧随其后。
Swyx [01:20:03]： 你们在招聘什么职位？什么职位难招？
Rune Kvist [01:20:05]： 我们正在全面招聘，涵盖市场和大量技术人员。在我们技术团队中表现出色的人是对真正全栈工作充满热情的人。比如说，当我们开始与 Cursor 合作时，我们之前从未做过编码工具。所以，将标准进行扩展，充实前沿评估对于长周期编码代理来说是什么样子，并将这个问题从与 Cursor 和该领域其他人合作一直延伸到充实和塑造新版本的标准。所以这就像一个真正的全栈、创业型技术人员在 AIUC 做得非常出色。困难的部分是构建一个通用的红队测试工具，它能在从 Harvey 到 Cursor 以及介于两者之间的所有地方工作，既有一套一致的方法论，又有一套一致的风险和攻击分类法，并使之实现。我们认为这从根本上来说是做出consistent承诺的最佳方式。摩根大通两者都在购买。他们希望有一个框架，一种一致的方式来实现这一点，而实现这一点的机制，你需要处理现实世界中的许多复杂性。我认为我们在很多方面都有很好的答案，但在执行过程中有一些相当困难的工程问题。
Swyx [01:21:18]： 我能稍微追问一下吗？比如，你必须有一个吗？为什么不干脆说：“好吧，看，我们 40% 的用例是编码代理，所以我们将专注于编码代理，”那就是其中之一。
Rune Kvist [01:21:28]： 是的。
Swyx [01:21:29]： 然后，好吧，30% 是像 RAG。
Rune Kvist [01:21:31]： 是的。
Swyx [01:21:31]： 就做 RAG。
Rune Kvist [01:21:32]： 是的。我认为这个问题有一些智慧。
Swyx [01:21:36]： 是的。
Rune Kvist [01:21:37]： 这取决于具体情况。我们发现，能够做到这一点具有很大的价值。如果买方决策者——比如说你是某家银行的风险主管，而你最大的风险并不在编码或客户支持或任何排名前两位的最大用例上，而是在其他地方——你仍然希望确保这个框架能对你最迫切的问题有所回应。否则，你就无法赢得那份信任。诚然，许多最迫切的问题出现在采用率高的领域。所以很好，我们也是如此。因此，我们今天确实没有覆盖每一个边缘情况，但我们有一个框架，可以将所有这些都纳入其中。我们有一套全球统一的风险和攻击分类法，它在不断适应更新。
Rune Kvist [01:22:20]： 就像，每当发生一起前所未见的新事件时，很好，我们就去更新分类法，把它纳入其中。所以我认为我们有一套连贯的通用方法。这并不意味着我们在代码和插入小众用例上花费同等的时间。我们把时间花在人们关心的地方。我们认为拥有一种统一的语言是非常有价值的。
Swyx [01:22:43]： 是的。这说得通。这是一个重要的选择。我们本来要结束了，但我想到了最后一个收尾问题，你怎么理解都行，对吧？假设一年半以后，OpenAI 的秘密五人专家小组宣布我们已经达到了 AGI。
AGI、监督者与独立监管的必要性
Swyx [01:23:00]： 你预计你的业务会发生变化吗？
Rune Kvist [01:23:03]： 不会。我认为在某些重要方面……我认为最后存续的、超越实验室的业务
Swyx [01:23:10]： 将是承保。
Rune Kvist [01:23:12]： 嗯，有一件事，有一项工作是实验室永远无法为自己做的，那就是做自己的监督者。
Swyx [01:23:19]： 这就对了。
Rune Kvist [01:23:21]： 所以我认为，在某种程度上，如果你相信这个框架——比如你会看到超级集中化，就像实验室会杀死所有初创公司
Swyx [01:23:29]： 是的
Rune Kvist [01:23:29]： 这个我们可以深入讨论利弊。
Swyx [01:23:32]： 我觉得实验室实际上非常关心这个问题，对吧？有整个叠加的问题，当我们拥有比我们更聪明的模型时我们该怎么办，然后还有更高一层，对吧，比它们更聪明的模型在训练它们。
Rune Kvist [01:23:41]： 是的
Swyx [01:23:41]： 实验室实际上对此思考很多。
Rune Kvist [01:23:42]： 他们思考很多。我认为在这些议题上，一些最聪明的人就在实验室工作。所以问题不在于他们是否关心。问题在于他们都将被困在一场竞赛中，在这场竞赛中他们可能有动机偷工减料，他们可能有动机向政府隐瞒信息，等等。所以一个永恒的真理似乎是，你需要一个独立的第三方去检查那些数据并分享信息，在这种情况下，比如与政府分享。这更多是一个激励问题，而不是利益问题。我认为他们从根本上都在努力让这件事顺利发展。
Swyx [01:24:14]： 我没有听到的是，AGI，无论这个标签对你、对我、对他们意味着什么，从根本上并没有一个质变
Rune Kvist [01:24:23]： 正确
Swyx [01:24:23]： 在，比如
Rune Kvist [01:24:24]： 正确
Swyx [01:24:24]： 你仍然必须评估这些模型。
Rune Kvist [01:24:26]： 而且我认为，能让这件事发生质变的一点是，存在这样的情况。对于 AGI 的某些定义来说，它只会被国有化。它将成为对主权的威胁。
Swyx [01:24:34]： 是的。
Rune Kvist [01:24:34]： 而到了那个时候，也许每家公司都是政府，政府就是每家公司。我很难想象那个世界。但到了那个时候，你已经
Swyx [01:24:42]： 我们。我不认为我们会行动得足够快。
Rune Kvist [01:24:44]： 对。
Swyx [01:24:44]： 你知道，就像，我们并没有，我们并没有准备好那样做。
Rune Kvist [01:24:47]： 是的。
Swyx [01:24:48]： 但我在播客上已经讨论过很多次了。
Rune Kvist [01:24:51]： 是的。
Swyx [01:24:52]： 我的意思是，你知道，就监管机构的担忧而言，我还要提到，因为我有金融背景，我经常想到《大空头》里的那个场景，他们和穆迪的人交谈，也和标准普尔的人交谈。然后穆迪的那位女士说：“好吧，如果我不给你 AAA 评级，你就只会去找标准普尔。”
Rune Kvist [01:25:09]： 是的。
Swyx [01:25:09]： 所以实际上，监管机构是一种自然垄断，因为如果监管机构之间存在竞争动态，那么监管机构就会相互竞争，把标准降到尽可能低。
结语：保险公司、激励与信任基础设施
Rune Kvist [01:25:18]： 正确。
Rune Kvist [01:25:20]： 所以我认为，其中一件事，我们非常兴奋能让保险公司坐在这张桌子旁的原因之一是，保险公司是唯一没有这种动态的一方，因为他们要买单。如果他们不断降低价格
Swyx [01:25:32]： 是的，你会
Rune Kvist [01:25:33]： 他们也要买单。
Swyx [01:25:33]： 你不会找到市场出清。
Rune Kvist [01:25:35]： 而这对穆迪来说并不成立，因为如果他们提出的建议有偏差，他们并不直接买单。所以我认为这种平衡因素相当重要。而且我认为这也凸显出，没有任何系统是完美的。你肯定需要对穆迪进行审查，也需要对监管机构进行审查。
Swyx [01:25:52]： 太棒了。非常感谢你的分享。这是一场涵盖一切的精彩对话。祝贺你迄今为止取得的成功。
Rune Kvist [01:25:59]： 谢谢你邀请我。
Swyx [01:26:00]： 是的。太棒了。
Rune Kvist [01:26:00]： 非常感谢。