AIUC 最初引起我们注意，是因为 NFDG 的投资。今天它刚刚宣布了 4000 万美元 A 轮融资，其背后的行业顾问阵容，是我们见过的早期创业公司里最令人印象深刻的之一，他们为 AIUC-1（由真实保险背书的智能体标准）站台：
从担任 Anthropic 的第一位产品岗员工，到搭建标准、测试和保险基础设施，让前沿 AI 真正可以部署，Rune Kvist 押注的是：AI 落地的最大约束将不是能力，而是信任。本期节目中，AIUC 联合创始人与 swyx 和 Vibhu 一起宣布了一轮新的 4000 万美元融资，并解释了为什么 Cursor、Harvey、Lovable 和 ElevenLabs 等公司正越来越多地面对一个随着 AI 变强而更难解决的问题：自主系统出了故障，谁来负责？
▶ https://www.youtube.com/watch?v=Sc2_LfWgHb4
我们深入聊了 AIUC-1，这一面向智能体安全性、安全保障和可靠性的新兴标准；聊了如何对 AI 智能体进行越狱、幻觉和数据泄露方面的压力测试；也聊了为什么 Rune 认为标准和保险可能成为 AI 的关键基础设施。我们还讨论了政府与前沿实验室之间日益扩大的信任鸿沟、AI 带来的网络与生物风险、为什么每个模型最终都可以被越狱、当一个 20 美元的编程智能体造成 2 亿美元损失时会发生什么、AI 工程师是否应该持证上岗，以及为什么即使在 AGI 之后，也可能有一份工作是实验室永远无法自己完成的：做自己的监督者。
我们讨论的内容：
- 为什么风险、责任和信任可能成为 AI 落地的决定性约束
- Rune 从阅读 Scaling Laws 论文到在最早期加入 Anthropic 的历程
- Anthropic 在规模化、算力和未来这些问题上，比所有人早几年看清了什么
- 为什么 Waymo 说明了 AI 能力与现实部署之间的差距
- AIUC 的 4000 万美元融资，以及与 Cursor、Harvey、Lovable、ElevenLabs 等前沿 AI 公司的合作
- AIUC-1：AI 智能体安全性、安全保障和可靠性标准
- 如何测试智能体的越狱、幻觉和数据泄露
- 为什么大多数 AI 公司只优化顺利路径，而没有认真地对对抗性场景做压力测试
- 为什么 AI 标准可能需要每季度更新，而不是每十年更新
- 前沿 AI 实验室与政府之间正在出现的信任鸿沟
- 网络安全、儿童安全、生物武器，以及不断扩大的前沿模型风险面
- 为什么标准与保险可能需要共同演进
- 伦敦劳合社（Lloyd’s of London）如何为 AI 系统承保，并为企业部署带来信任
- 如果一份 20 美元的 Cursor 订阅牵涉到一起 2 亿美元的空难，会发生什么
- 加拿大航空聊天机器人案，以及 AI 故障如何开始厘清法律责任
- 为什么版权可能是最难承保的 AI 风险之一
- 评估（Evals）、机制可解释性、监控，以及模型意识到自己正在被测试
- 不可能完成的 CISO 任务：快速采用 AI，但不能出任何差错
- 为什么机器人会让 AI 责任的后果严重得多
- AI 工程师是否应该有一级、二级、三级认证
- AIUC 在智能体、前沿模型、机器人和通用红队测试方面的路线图
- 为什么 AGI 可能变成一个国家主权问题
- 为什么实验室永远无法完全充当自己的监督者
- 《大空头》式难题：如何防止相互竞争的监督机构在标准上逐底竞争？
Rune Kvist
AIUC
时间戳
00:00:00 AIUC 的 4000 万美元融资与 AI 的风险瓶颈
00:01:07 从 Scaling Laws 到早期 Anthropic
00:07:58 为什么限制 AI 落地的可能是信任，而不是能力
00:12:19 创立 AIUC 并打造 AIUC-1
00:18:52 AI 智能体如何被审计和压力测试
00:25:26 前沿模型、政府与 AI 信任鸿沟
00:33:32 网络、儿童安全与 AI 带来的生物风险
00:38:14 为什么标准与保险应该结合在一起
00:41:45 AI 保险单究竟承保什么？
00:50:44 20 美元的 Cursor 订阅与 2 亿美元的空难
00:53:53 AI 责任、监控与赢得企业信任
00:56:21 从 AI 智能体到模型再到机器人
00:58:29 版权、逆向选择与 AI 保险
01:03:28 评估、机制可解释性与评估感知
01:08:36 不可能完成的企业 AI 任务
01:11:52 预测市场 vs. AI 审计
01:14:43 AI 工程师应该持证上岗吗？
01:19:10 AIUC 的路线图、AGI，以及谁来监督监督者？
文字记录
引言：AIUC、4000 万美元 A 轮，以及作为落地瓶颈的风险
Swyx [00:00:00]：好的，我们现在在录音室里，嘉宾是来自 AIUC（Artificial Intelligence Underwriting Company，人工智能承保公司）的 Rune，还有我们可靠的联合主持人 Vibhu。欢迎。
Rune Kvist [00:00:10]：谢谢。谢谢邀请我。谢谢。
Swyx [00:00:11]：你们今天要宣布什么？
Rune Kvist [00:00:12]：我们融资了 4000 万美元，由 Ribbit Capital 和 First Harmonic 领投。
Swyx [00:00:17]：我最早注意到你们，是 Nat 和 Daniel 投了你们的时候。现在的故事和当时基本一样吗？比如，你们今天是什么样，和当时设想的相比呢？
Rune Kvist [00:00:26]：我们融种子轮的时候，有一个假设：总有一天，风险会拖住 AI 的落地。当时这感觉还有点假设的成分，而我认为现在这个阶段已经过去了。显然，现在就是那个时刻，有 Mythos 和 Fable 为证。很明显，对落地的决定性约束，字面意义上就是风险。所以对我们来说，这是同一个假设的自然延续，只不过之前它是推测，现在感觉像是事实。
Swyx [00:00:54]：我们来列一下你们在 A 轮中重点提到的客户。
Rune Kvist [00:00:58]：没问题。是的，我们现在在和 Cursor、Harvey、Lovable、ElevenLabs 这些公司合作。
Swyx [00:01:05]：嗯，太棒了。恭喜。
Rune Kvist [00:01:06]：谢谢。
Swyx [00:01:07]：你以前是出了名的最早一批参与 GTM（市场推广）和产品的员工之一。我就是好奇：你是怎么进入 AI 领域的？简单回顾一下。
Rune 进入 AI 的道路：Scaling Laws、资本与 Anthropic
Rune Kvist [00:01:18]：好。
Rune Kvist [00:01:19]：2021 年底，我卖掉了一家公司，也就是我的第一家公司，一家教育科技公司。我有了一点时间思考下一步做什么。我看到了 Scaling Laws 论文，它一下子就击中了我，就像闪电一样。我当时觉得，“这是个大想法。”简单说，Scaling Laws 论文讲的就是：模型越大，模型越聪明。
Swyx [00:01:38]：所以是 Kaplan 那篇，不是 Chinchilla 那篇？
Rune Kvist [00:01:40]：没错，Kaplan 那篇。
Swyx [00:01:42]：嗯。
Rune Kvist [00:01:42]：当时对我来说关键的领悟是：哦，现在资本会明白这件事了。你投入更多钱，就能产出更多钱，所以这会引发一轮炒作周期。于是你得到一种可预期回报的感觉，而事实上后来也正是这样发展的。所以我就收拾行李，我从没去过旧金山，从来没去过，就收拾行李飞到这里，去找写这篇论文的人。当时他们刚成立一个叫 Anthropic 的小实验室，那时大概有 40 来个人。我喝了一大堆咖啡，最终才被介绍给 Dario。当时他们正在纠结这些问题：我们该不该部署自己的模型？该不该赚取收入？该怎么与外部世界打交道？他们刚从 OpenAI 分出来，据公开报道，他们对 OpenAI 处理部署的方式有些担忧。所以他们在纠结其中一些问题。那是 2022 年初，战争迷雾般的早期。当时最火的产品是 Jasper 之类的，几乎什么都还没有。所以价值会积累在哪里、技术栈的不同部分会是什么样，全都是未解之题。
Swyx [00:02:48]：我想向大家强调一下，你会问这些问题，是因为你有 PPE 的背景。
Rune Kvist [00:02:52]：是的。
Swyx [00:02:52]：我当年在新加坡其实上过一个为 PPE 做预备的项目，所以我有过一位导师。我们学了哲学、政治和经济。但我觉得你的这种背景很重要。读过那篇 Scaling Laws 论文的机器学习人员，不一定会得出和你一样的结论。而任何一个资本家读了都会说，“天哪。”
Rune Kvist [00:03:19]：没错。
Swyx [00:03:20]：对吧？
Rune Kvist [00:03:21]：是的。
Swyx [00:03:21]：是谁让你注意到那篇论文的？因为在你们那个圈子里，这并不是大家通常会读的论文，对吧？
Rune Kvist [00:03:26]：嗯。其实自从 AlphaGo 以来，我就意识到 AI 是件大事。
Swyx [00:03:36]：嗯。
Rune Kvist [00:03:36]：但当时感觉它抛出了一堆有趣的哲学问题，从远处看，并不清楚它究竟会走向哪里。不过有一点很明显：只要找到合适的机制，让技术资本机器围绕它运转，这就会成为大事。只是当时还不清楚。所以我觉得，这件事变得显而易见，而在当时并不像现在这样显而易见，对吧？当时的感觉就是，哇，这太有意思了。但从哲学和经济学背景出发，我仍然觉得，如果这件事成真，你将要面对社会上所有的大问题。你学过的关于政治的一切都要抛到窗外。你学过的关于经济学的一切，至少会受到挑战。所以让我觉得有意思的，是站在这个会影响一切的前沿上。这就是我去追寻它的原因。
Swyx [00:04:32]：我是说，这显然是非常好的洞察。对不了解的人说一下，PPE 项目就是培养首相的地方。然后你就见到了 Dario。
Rune Kvist [00:04:41]：对。先见到的是 Dario。
Swyx [00:04:43]：嗯。那么，和他们交流之后，你有没有获得一些原来的假设里没有的额外洞察？
Anthropic 的早期信念与 Scaling Laws 这颗水晶球
Rune Kvist [00:04:50]：如果你读 Scaling Laws 论文，得到的只是一个非常模糊的轮廓：哇，这好像挺重要。图上有几条线，好像挺重要。而我认为，Anthropic 的团队比任何人都想得更深的是：如果你真的把它推演下去，会有什么影响？当时他们就有一些愿景文档，描述 2026 年的世界会是什么样子，他们用栩栩如生的细节推演了需要多少算力、资本开支会是什么样子、会有哪些社会层面的担忧，以及这里会产生多少经济价值。所以感觉他们手里握着一颗水晶球，事后看来这颗水晶球惊人地准确。而且他们并不是带着“我们显然是对的”的态度，只是说：“认真对待这个假设。”
Swyx [00:05:38]：把它想透，对。
Rune Kvist [00:05:38]：而且要用和《态势感知》（Situational Awareness）那种方式一样去想透它，也就是
Swyx [00:05:43]：就在街对面。
Rune Kvist [00:05:44]：就在街对面。
Swyx [00:05:44]：你的办公室，对。天哪，我们都住在街对面，同一平方英里之内。
Rune Kvist [00:05:50]：没错。那已经是几年前的事了，但这几周随着 Fable 和 Mythos 出现，人们又不断引用它，感觉就是，哇，如果你认真对待这一个想法，也就是 Scaling Laws，很多事情就都说得通了。
Vibhu [00:06:03]：要知道，当时这支团队就是做出 GPT-1、GPT-2 和 GPT-3 的那批人。
Rune Kvist [00:06:08]：没错。
Vibhu [00:06:08]：这也说明，这不只是一些实验，而是一个真正的模型，我们只是把它扩大了规模。
Rune Kvist [00:06:14]：他们对这个想法有很深的信念：只要有一大团算力和数据，它就想要学习，由此会诞生越来越聪明的模型。而所有的细节当时并不清楚。
Vibhu [00:06:26]：嗯。
Rune Kvist [00:06:27]：所有的影响当时也不清楚。但他们对这个核心论点有着深刻的信念，这让人有些眩晕。它既极其有趣、令人兴奋，同时你也会很快意识到，如果这个假设成立，我们今天所知的世界将不复存在。所以从某种宏大的意义上说，它也显得很重要。
Vibhu [00:06:48]：当时是什么塑造了你？那是 2022 年初。不仅 GPT-1、GPT-2 和 GPT-3 已经问世，而且 Anthropic 那几位了不起的创始人，他们从未分道扬镳，是仅有的一批，真的有信念离开 OpenAI 去创办自己的实验室。你说当时那里大约有 40 个人。那段时间是什么样的？
早期 Anthropic 内部：使命、部署与风险
Rune Kvist [00:07:06]：和它今天从外部看起来的样子非常像。极其团结，极其以使命为导向，并且生活在两种想法之间的张力里：AI 既可能发展得非常好，也可能非常糟，而我们想参与构建它。这会产生惊人的张力。他们也在纠结一个激励问题：他们知道自己身处一场竞赛，在竞赛中你可能被迫偷工减料，但同时对他们来说，站在技术最前沿也非常重要。所有这些想法在当时就已经存在了。感觉这条路线一直非常清晰，而且我觉得，不管你爱他们还是恨他们，他们确实始终坚持自己的立场。他们有一套核心信念，这些信念他们抱持得比大多数公司对任何信念都更深。
Vibhu [00:07:58]：嗯。快进到今天。
Rune Kvist [00:08:00]：嗯。
Vibhu [00:08:00]：这是怎么引向 AI 承保公司的？你们在做什么？是什么促使你创办它？
从 Waymo 到 AIUC：面向 AI 的信心基础设施
Rune Kvist [00:08:05]：好的。AIUC 通过标准和保险，为前沿 AI 构建信心基础设施。从 Anthropic 到构建信心基础设施，这个联系在于：望着 Anthropic 办公室的窗外，看到 Waymo 的车开过。早在那时，也就是 2022 年初，Waymo 在某种意义上就像是汽车的 AGI。它们是超人类水平的驾驶员，但你却没法坐一辆去机场。现在四年多过去了，你还是没法坐 Waymo 去机场，尽管现在大家已经看过证据，认为“它们比人类开得更好”。所以在这个例子里，很清楚的是，AI 能否发挥作用的决定性约束不是能力，而是责任、风险或者信任。这个问题是普遍的。现在的原因是
Rune Kvist [00:08:52]：Fable 没有开放访问，并不是因为它不是一个好模型，而是因为它是一个非常好的模型。只是很难对它会做什么或不会做什么作出承诺。而且随着 AI 变强，这个问题会更严重。基本上，更智能的 AI 可以更自主。这更有价值，但风险面也在扩大。所以 Waymo 说明的是：除非你构建信心基础设施，来对 AI 作出承诺，或者至少让风险被看见，否则落地就会陷入停滞。政府、银行、医院、军队需要对 AI 会做什么、不会做什么有所了解，才能够运营并把它纳入自己的体系。这就是我们想要解决的问题。那么，为什么是标准和保险？如果你沿着历史追溯这个问题，每一波技术浪潮都有这个问题的某种版本。比如回到 1900 年前后，电力出现了
Vibhu [00:09:47]：本杰明·富兰克林。
Rune Kvist [00:09:48]：汽车起火，不好意思，是房子起火，很多人死亡。到了 1930 年代，汽车成了大事，也造成大量死亡。1950 年代，民用核能成了大事，带来巨大风险。在每一次这样的情形中，市场都跑在监管前面，去创建信心基础设施，因为这是做出“放行与否”决定所必需的。这是落地所必需的，而市场从根本上就想要落地。而在所有这些情形中，标准与保险之间都会出现一个共同的蓝图。之所以需要这两个组成部分，是因为标准提供了道路规则，同时也规定了需要运行哪些测试，让我们了解风险有多高。拿汽车来说，就像碰撞测试。很好，大家都会用到，它们决定了你今天的保险定价，影响你的购买决策，等等。这基本上就是风险框架。保险公司之所以重要，是因为他们来买单。他们是最站在这一边的私营机构，有最强的动力如实量化风险，然后想出各种办法降低风险，因为这会增加他们的利润。所以他们基本上是在帮助塑造激励。这两者协同起来效果非常好。那么，这在公司层面如何体现？几年前就已经很明显、或者开始变得明显的一点是：前沿公司，也就是我们今天的一些客户，比如 Cursor、Sierra、ElevenLabs、Harvey，向银行推销试点会非常容易。演示本身就能卖出去，简直是魔法。但要把它推进下去，如果你想在银行或医院做全面铺开，就必须走风险流程。这些银行甚至不知道该问哪些问题，更别说什么样的答案才算足够，更不用说如何去测试这些智能体是否真的按预期工作。所以他们面临的问题是：我们该说什么才能赢得信任？我们认为有一句“黄金句子”，大意是：“嘿，我知道你很担心幻觉或越狱或者其他什么问题。我们已经请独立的第三方按黄金标准对我们做了测试。我们顺利通过。作为信心的表态，全世界最保守的保险公司看过了数据。”他们愿意把一部分风险放到自己的资产负债表上。
Swyx [00:12:06]：嗯。
Rune Kvist [00:12:07]：所以如果真的出了问题
Swyx [00:12:07]：背后有真金白银，对。
Rune Kvist [00:12:09]：没错。这就是这一切之间的联系。我们可以再聊聊技术测试方面的难点，我认为那才是问题的关键，不过我先说到这里。
Swyx [00:12:19]：你和 Rajiv 是怎么走到一起的？总是有这样的情况，你看上去非常自信，而且我们在宣布你们的 A 轮之类的事情，但我想了解最早期、想法成形的阶段。
与 Rajiv Dattani 共同创立 AIUC
Rune Kvist [00:12:31]：是这样，Rajiv 其实是我即将成为的大舅子。
Swyx [00:12:35]：哦。
Rune Kvist [00:12:36]：我其实一周半以后就要和 Rajiv 的妹妹结婚了。
Swyx [00:12:42]：好，这下关系很铁了。
Rune Kvist [00:12:44]：没错。
Swyx [00:12:44]：这下你明白了。
Rune Kvist [00:12:45]：所以，Rajiv 和我已经认识十年了。有趣的是，我是同时认识 Rajiv 和他妹妹 Hena 的，当时 Hena 和我是 McKinsey 伦敦办公室的实习生，而 Rajiv 被分配做我的导师。所以我们是同时认识的。很长一段时间里，我们并不一定会一起共事。我在创业，他是 McKinsey 的保险业务合伙人。三四年前，我想是 Hena 说服他相信 AI 会是件大事。于是他辞掉了 McKinsey 伦敦办公室那份舒服的合伙人工作，收拾行李飞到旧金山，最后加入了 METR。你们应该够“线上”了
Swyx [00:13:24]：CEO。
Rune Kvist [00:13:24]：没错。
Swyx [00:13:24]：我们听说过 METR。
Rune Kvist [00:13:25]：你看到那张图，也就是智能体能承担的任务时间跨度翻倍得极快的那张图。他当时是 METR 的 COO，主导了他们与 Anthropic 和 OpenAI 的合作，在模型发布前对其进行测试，同时也与美国和英国政府密切合作，研究如何判断一个模型能不能发布。从某种意义上说，这是完美的背景。他在保险领域待了很久，熟悉那个世界，也花了很多时间做前沿模型测试。所以当我在这个想法空间里摸索，从我们谈到的与 Waymo 相关的一些想法开始，我们一深入内容，就都觉得：“哦，这会是一个值得一起打造的好生意。”这是在应对我们俩都认为世界上最重要的问题，而且是从市场的角度：我们的直觉是，市场能做很多事，而 AI 发展得越快，政府就越难解决其中的一些问题。然后，我们又花了一点时间去理清楚，和家人一起工作是什么感觉。
Swyx [00:14:27]：当然。
Rune Kvist [00:14:27]：而且，
Swyx [00:14:30]：因为你们当时已经在交往了
Rune Kvist [00:14:31]：对。对，没错。
Swyx [00:14:33]：嗯。
Rune Kvist [00:14:34]：当时就已经，它
Swyx [00:14:35]：嗯。
Rune Kvist [00:14:35]：我们觉得自己已经是一家人了。
Swyx [00:14:36]：真好。
Rune Kvist [00:14:36]：所以一起创业感觉是很大的一步。而现在我们在这里，彼此拥有极大的信任。
Vibhu [00:14:43]：嗯。那你们现在公司有多大？你们现在多少人？
AIUC-1 认证：智能体安全性、安全保障与可靠性
Rune Kvist [00:14:46]：我们现在只有 20 个人。
Vibhu [00:14:47]：你们现在 20 个人，拿到了 A 轮，并且推出了第一个认证，AIUC-1。我们把认证页面调出来。这就是智能体认证，对吧？这个流程包含什么？我有两个问题：一是请带我们走一遍这个认证；二是一家公司要获得认证，流程是什么？
Rune Kvist [00:15:08]：好。正如页面最上方所写，AIUC-1 是面向智能体安全性、安全保障和可靠性的标准。基本的设计原则是：把所有拖慢落地的顾虑，也就是让《财富》1000 强的安全负责人夜不能寐的所有问题和恐惧，都放进一个全面的框架里。你在那里看到的就是这个。你可以看到六个类别。第二，你要把这一切建立在技术测试的基础上。安全标准常常给人一种走过场、纸面文章的感觉，问题就在于它们没有真正落到“这些到底有没有用？这些到底重不重要？”上。所以我们很早就有一个信念，认为这将是关键所在：要通过它，你必须每个季度接受一次测试，基本上要运行数千次模拟，看它到底能不能被越狱？越狱有多难？它多久产生一次幻觉？多久泄露一次数据？等等。然后最后一个核心理念，如果你往上滚动到页面顶部，就是每季度刷新一次。
Rune Kvist [00:16:08]：AI 的核心特征是它发展得极快。我们今天讨论的各种顾虑，和三个月前并不一样，而且还会不断变化。通常标准按十年的周期更新，显然行不通。但问题是你怎么更新？这里的关键，基本上就是把《财富》1000 强的风险负责人请到桌边。如果你看左边这里
Vibhu [00:16:32]：嗯
Rune Kvist [00:16:32]：你会看到 AIUC-1 联盟。这个联盟是一群风险负责人，他们管理着真实的银行、真实的医院、真实的关键基础设施，每天都在面对这些挑战。我们每个季度和这些人见两次面，听他们最关心什么、什么让他们夜不能寐。大家对这种交流有极大的需求。然后我们把这些落实为一个具体的标准，纳入其中。其实我们可以进去看看这到底是
Vibhu [00:16:55]：嗯
Rune Kvist [00:16:55]：这个标准究竟是什么。回到引言部分，在左边往上滚一点到那个轮盘，点进“可靠性”。比如幻觉就属于可靠性。这里有若干要求。点进最上面那个，“防止幻觉输出”，这是一项具体要求。这是一项技术控制措施。基本上，我们希望有某种基于事实依据（grounding）的过滤器。你在这里首先看到的是所谓的交叉映射（crosswalk）。现在人人都发布过一套框架，关于 AI 风险是什么的、非常高层次的框架。
Swyx [00:17:27]：这基本上就是你们的竞争对手，
Rune Kvist [00:17:28]：某种意义上是我们的竞争对手
Swyx [00:17:29]：不是认真意义上的，对。
Rune Kvist [00:17:30]：其实我们和他们是朋友。稍后我会回头解释为什么。
Swyx [00:17:31]：嗯。
Rune Kvist [00:17:32]：但是把所有东西映射在一起，就得到一个超集。你想支撑的主张是：如果你遵循这个框架，那么你也就能看出自己如何遵循了其他框架。但实质内容在下面，在控制活动和证据里。控制活动就是说，很好，你有了这个高层次的要求，怎么把它落实成可操作的东西？你必须做这些，然后我们要找的证据是什么？
Rune Kvist [00:17:57]：我们之所以深入到这个程度，是因为对于 AI 的主要担忧是什么，其实并没有那么多困惑。大家对此意见一致。问题在于，你到底应该做什么？所以，我们发现大家有很多需求，是想落到人们需要查看的具体证据上。无论你是 Cursor 在构建某样东西，还是 JPMorgan 在构建，又或者你只是 JPMorgan 的一位风险负责人，你究竟该要求什么？你能要求什么而不显得愚蠢？比如，你不会相信有多少次，一位风险负责人向 Cursor 之类的公司索要底层模型的知识产权，而你的反应是“抱歉，什么？”就像
Swyx [00:18:39]：你把它混进去，看他们会不会发现
Rune Kvist [00:18:40]：混进
Swyx [00:18:40]：看你有没有注意到。
Rune Kvist [00:18:41]：看他们有没有。没错。
Swyx [00:18:42]：嗯。
Rune Kvist [00:18:42]：写进问卷里。好了，这大概就是我们的标准，我们每个季度都和这些人一起更新，以跟上最新的顾虑。
Swyx [00:18:51]：我能在这一点上深入问一下吗？
控制措施、证据与第三方测试
Rune Kvist [00:18:52]：可以。
Swyx [00:18:52]：首先，这个网站很漂亮。非常让人有信心，这也正是重点，就是，好的，我清楚地知道和你们合作我会得到什么。我甚至不用跟你们谈，只要看你们整套认证就行，这很棒。不过，那么从这里看，比如 D001.1 配置事实依据过滤器，这怎么落实？是有人去逐项检查吗
Rune Kvist [00:19:16]：嗯，
Swyx [00:19:16]：走一遍吗？
Rune Kvist [00:19:17]：如果你回到
Vibhu [00:19:19]：我确实在某处看到，有五十一项要求、一百三十项控制措施。有整整一套
Swyx [00:19:25]：对。我只是想……对我来说，这并不能转化成
Vibhu [00:19:27]：嗯。
Swyx [00:19:27]：一个测试或评估。
Rune Kvist [00:19:28]：是的。你看左手边。其实，在进去之前，要求有三种类型。第一种是技术控制措施，比如你必须实施一些护栏。
Rune Kvist [00:19:42]：第二种是测试控制措施。你必须让独立的第三方对你运行一些测试。我稍后给你们看其中一项。第三种是政策控制措施。例如，你必须有一个人，当你们搞砸的时候他的名字要押在上面，并且你必须有一套计划，说明如何告知客户并与他们沟通。这些属于比较传统的、标准类的东西。所以在这个具体例子里，我们只检查他们是否确实有一个事实依据过滤器。我们会和审计机构合作，比如 KPMG 或 Schellman 这样的审计机构，他们去做审计机构做的事，也就是检查证据。在这个例子中，证据可能是一张截图，也可能是他们需要审阅的一部分代码，来确认它确实存在。就是确认它存在而已。
Swyx [00:20:21]：哦，好的。
Rune Kvist [00:20:22]：然后第二点
Swyx [00:20:22]：所以你们不测试它的有效性。
Rune Kvist [00:20:24]：那是第二点。所以如果你往下
Swyx [00:20:25]：嗯。
Rune Kvist [00:20:25]：看到左边的幻觉第三方测试，基本上那就是下一项要求。这里我们测试它实际效果有多好。
Swyx [00:20:32]：好的，那是你们来测，还是审计机构来测？
Rune Kvist [00:20:34]：我们来测他们。
Rune Kvist [00:20:35]：我们来测他们。
Swyx [00:20:36]：那工作量很大。
Vibhu [00:20:37]：测试要多久？如果我想获得认证，只是
认证周期、整改与季度更新
Rune Kvist [00:20:40]：嗯。
Vibhu [00:20:40]：从头到尾大概要多久？
Rune Kvist [00:20:42]：嗯，从头到尾，几乎总是取决于我们的客户需要
Vibhu [00:20:47]：嗯。
Rune Kvist [00:20:47]：为我们去查看某些东西。大概需要 3 到 10 周
Swyx [00:20:52]：嗯。
Rune Kvist [00:20:52]：取决于他们本来已经做到什么程度。有些人来找我们时，已经有极其严格的安全体系。我们测试他们，结果非常好，可以很快完成。有些人来找我们时，进度还不太靠前。我们给他们需要朝着去构建的规范，然后他们的安全团队和工程师就动手构建，以达到标准。测试本身通常需要几周，包括他们整改的时间。经常我们会发现某些项目过不了，确实达不到标准，你就通不过标准。然后他们需要去实施额外的防护措施或整改，让自己更稳健，这样才能真正问心无愧地看着客户的眼睛说：“嘿，我们真的已经尽了最大努力。”
Vibhu [00:21:35]：然后他们的认证有效期是一年，并且每季度更新？
Rune Kvist [00:21:38]：对，没错。
Vibhu [00:21:39]：嗯，很有意思。我想，从那以后有什么变化。这是对生产环境中的智能体做认证，对吧？你们的客户，比如 Lovable、ElevenLabs、Intercom，都已经通过了这个认证。
Rune Kvist [00:21:50]：是的。
Vibhu [00:21:51]：有什么变化？我看到你们发布过，比如 Q2 增加了 MCP 智能体，
智能体风险如何变化：编码、MCP 与智能体间交互
Rune Kvist [00:21:56]：嗯。
Vibhu [00:21:56]：智能体通信。从第一版以来，还有什么你想特别强调的吗？每个季度会更新什么？
Rune Kvist [00:22:03]：嗯。有些变化是因为智能体并不是单一的东西。比如，拿 Cursor 这样的智能体和 Sierra 比，它们其实相当不同。再跟 Harvey 比，再跟你们的 ElevenLabs 比
Swyx [00:22:16]：ElevenLabs，对。
Rune Kvist [00:22:17]：ElevenLabs，它们都相当不同。所以我们想设计一个适用于所有类型智能体的标准。我们从一个以文本为主的开始，老实说，主要面向客户支持。那里有很多现成的需求。然后随着时间推移，我们在其他每个领域里选了一些前沿公司来合作并完善标准，这样我们就知道同一套标准对代码、客户支持、自动化等等都适用。这是一件大事。然后，最近大家最关心的一些事情是，Mythos 引发了安全负责人的许多担忧。我们开始收到越来越多关于智能体交互的问题。目前还非常早期，但已经开始出现。有很多问题与 OpenClaw 和 MCP 有关。还是那样，智能体开始彼此交互，是真正让大家挂心的事。另外，随着编码智能体真正起飞，银行和医院等机构也对自己的需求越来越明确。随着那里成为世界上大部分 token 流经的地方，我们要把这方面做得更加精准。
Vibhu [00:23:26]：能不能为不太考虑这些问题的听众分享一下？比如你提到了那些显而易见的东西，幻觉、引用之类。人们在构建智能体时应该遵循哪些最佳实践？如果他们带着差不多准备好的状态来找你们做认证，他们大概率能通过认证。那么，有哪些人们没想到但应该具备的东西？
智能体构建者的最佳实践：压力测试与护栏
Rune Kvist [00:23:46]：最重要的是，很多公司还没有做过认真的压力测试。他们把大部分时间，也许这样做无可厚非，花在优化好的情形、平均情形下的表现，也就是给客户的输出质量有多高。而且这些公司很多都比较新，所以还没有花很多时间去压力测试：另一边的对手是什么样？有哪些你还没认真考虑过的复杂边界情形？所以我觉得这是一种思维方式。在创业公司里你也会看到这一点。往往要过一段时间，他们才会雇第一个安全人员。这是与做出好产品完全不同的风险面。所以这些都适用。其实大多数公司的架构也是对的。他们大多会部署某种护栏，要么是模型提供商开箱即用的，要么是自己构建的、夹在中间的过滤器。只是它们效果不太好。比如，部署一个分类器，去检查你是否在不该给医疗建议的时候给了医疗建议，并规定“嘿，如果这看起来像医疗建议，就把它过滤掉”。很多公司都有这样的东西。问题是它是否有效。而坐下来仔细思考你可以通过多少种方式去索取医疗建议，阅读学术文献了解有哪些类型的
Rune Kvist [00:25:03]：包装或花招，可以让 AI 在本不该给你医疗建议时给你医疗建议，其实相当琐碎。所以这里存在一块缺失的专业能力。我们发现，大多数人已经具备了正确的基本组件。这并不是什么高深的火箭科学，但麻烦的地方在于，你得深入到各个角落，去测试它是否有效，这样你才能直视客户的眼睛，可能是银行，可能是医院，然后说：“这对你们是管用的。”
Vibhu [00:25:26]：明白了。我们聊了很多智能体层面的认证。你们接下来往哪里走？宣布 A 轮，我们稍微聊过。还有 Fable 的整个安全风险、政府介入。你们是不是也在宣布要进入模型认证？
迈向模型认证：政府与实验室之间的信任鸿沟
Rune Kvist [00:25:46]：等我们之后剪辑的时候，
Vibhu [00:25:48]：嗯
Rune Kvist [00:25:48]：我们暂时还不会宣布这件事，
Vibhu [00:25:49]：好的
Rune Kvist [00:25:50]：现在人人都最关心的问题在模型层面。Mythos，然后是 Fable，已经把这点推到了前台：除了智能体层面正在发生的商业风险和经济安全风险之外，模型还将带来国家安全类别的风险。问题的形态非常相似。你有一些人，如果出了问题要对此负责。在智能体的情形里，通常是企业里的安全负责人。在这种情形里，则是政府。他们并不一定一辈子都在思考这里有哪些新风险、你可能要寻找什么样的数据、该如何测试。但他们必须确保自己的顾虑得到解决。另一边是一些前沿 AI 公司，技术上非常深入，对风险了解很多，但它们从根本上有一个激励，使其并不总是如实相告。所以政府与实验室之间存在信任鸿沟。而在其他每个行业里，最终都会有某种机构居中，一个中立的第三方位于这些人之间。没有哪个行业允许人们自己审计自己。所以将需要一个第三方，既能采用实验室的严谨去运行前沿技术评估，又能以政府信任 PwC 去做财务审计的那种方式，传达可读、可信的结论。他们知道 PwC 输出的审计报告格式一致、易读、基于事实、值得信赖。这两样东西需要结合起来。而我们从智能体工作中学到的是：如果你想让这两方之间的沟通顺畅，就必须有一个公开的、人们可以去检视的共同标准。哪些风险重要？在每一项风险里，你真正要找的威胁模型有哪些？你需要为每一项风险明确规定：必须落实哪些护栏，以及需要运行哪些测试来检验这些护栏是否有效？然后你需要去开展技术审计，而且是前后一致的审计。所以如果你想带来信任，有条不紊地逐项梳理风险极其重要。你不能派一位研究员进去，说“你发现什么就带回来什么”。你必须能够解释你到底做了什么、具体尝试了什么、具体没有尝试什么，因此最终你能够作出和不能作出什么样的承诺。我把
中立第三方、CAISI 与模型风险审计
Rune Kvist [00:28:13]：Fable 看作这个问题的直接症状：政府被告知存在风险。政府可能难以评估这个风险到底有多大。他们打电话给 Anthropic，而 Anthropic 试图告诉他们：“嘿，其实每个模型都可以被越狱。”
Swyx [00:28:28]：这可不是你想听到的话，对吧？
Rune Kvist [00:28:32]：作为政府，这可能很难相信。
Rune Kvist [00:28:36]：我们认为，经纪人式的中间方是最自然的解决方案。在其他市场里，比如金融市场，你有 Moody’s。Moody’s 进去查看一只债券，然后输出评级。他们会说：“这是我们发现的证据，这是评级。”我们并不决定任何人是否应该买这只债券，那取决于他们的风险偏好。但我们确实提供了这样一个大家都可以依赖的共同信息层。在 Moody’s 的例子里，政府会指向他们，对养老基金说：“嘿，你们最好真的小心。你们不应该拿养老金领取者的钱冒险，所以只能投资三 A 评级的债券。”这意味着政府不需要配备成千上万的金融技术专家，每周重新跑预测来看评级是否正确。他们只需要指向某个中立的第三方。所以我的假设，我的直觉是，你会看到一个位于政府和实验室之间的第三方，要么由政府自己来建。比如 CAISI 就是为了做这件事而设立的。而问题是
Swyx [00:29:44]：抱歉，我不熟悉 CAISI。
Rune Kvist [00:29:45]：CAISI 是 Center for AI Standards and Innovation（人工智能标准与创新中心）。
Swyx [00:29:49]：好的。
Rune Kvist [00:29:50]: 细节我就不展开了，它是 NIST 下面通常负责制定标准的一个机构。基本上就是一个拥有 AI 专家的政府机构。对，没错，没错。
Swyx [00:29:59]: 非常关键。非常关键。
Rune Kvist [00:30:00]: 非常关键。
Vibhu [00:30:00]: 我觉得，你知道，这类事情你只要退一步想想就会明白——政府现在有足够的技术专长来衡量、测试这些东西吗？大概没有，对吧？而 Fable 正是这种局面的结果：我们不得不收缩规模、暂停一些事情，
Rune Kvist [00:30:17]: 对。他们有很出色的人才，但相对于我们面前挑战的规模，预算少得惊人。我认为他们有自己的角色要扮演。问题在于，到底谁来做什么？我们现在已经梳理出了要完成的工作，而且相当庞大。每次模型发布，风险面都大得惊人——毕竟它们可以接收任何输入。所以真正的问题是：哪些事只有政府能做，而市场又能提供什么，才能跟上 AI 风险变化的节奏？我们的看法是，即便在模型层面，人们今天关心的风险，也和三个月前关心的不一样。所以立法的节奏太慢，无法精准锁定这里的风险。因此我们认为，市场可以做很多事情来及时呈现信息。归根结底，这里面有一堆政策决策。比如，一个模型的国家安全风险是不是太高了？
Swyx [00:31:12]: 嗯。
Rune Kvist [00:31:12]: 那是个政治层面的答案。但我们想确保的是，产出这些风险信息的流程要能与非常快的创新节奏兼容。所以你不想……这并不是要不要把速度放慢的问题，也不是要把模型锁上几个月，直到所有人都能给出保证。而是说，在美国与中国竞相发布模型的情况下，你能不能插入风险信息，让政府能就其中一些问题快速做出决策？要在这两者之间取得平衡：不采用 AI 会让我们陷入风险，但鲁莽地采用 AI 同样会让我们陷入风险。这是一个非常微妙的平衡，他们需要大量高质量的情报才能做出判断。
中国模型、数据流向与国家安全顾虑
Swyx [00:31:55]: 顺带提一句，既然你提到了中国模型，你从 CISO 那里听到过什么具体的担忧吗？因为我猜它是免费的，不过。
Rune Kvist [00:32:05]: CISO 们普遍都很担心数据流向的问题。比如会有很多疑问：如果这些模型是中国的，数据会去哪里？我认为其中很多问题是可以解决的，但这类疑问经常出现。
Swyx [00:32:18]: 我是说，他们明白这些模型跑在美国的 GPU 上。
Rune Kvist [00:32:21]: 有些人，有些人明白它们跑在美国的 GPU 上。
Swyx [00:32:23]: 它们并不会每次调用时都“往家里回传”数据。
Rune Kvist [00:32:26]: 是的。一年前，大家对这一点没有多少了解。我其实觉得，安全负责人们正在以惊人的速度具备 AI 素养；而且你也会看到，我那个满是 AI 信徒的 Twitter 时间线，和过去完全不信这一套的 LinkedIn 动态，正在趋同。两边都在谈论 Fable。
Swyx [00:32:45]: 对，没错。
Rune Kvist [00:32:46]: 他们现在都在谈论能否防止模型被越狱。
Swyx [00:32:51]: 嗯。
Rune Kvist [00:32:52]: 国家安全风险现在正成为真正浮现出来的话题。除此之外，我觉得大体的情形是：人们并不担心某个具体的模型或某个具体的模型输出，但对于让关键基础设施运行在非美国制造、非美国人开发、美国政府无法掌控的模型上，存在一种普遍的不安。
Swyx [00:33:14]: 但这在你们的框架里不一定直接体现出来，也可能有，我不清楚。
Rune Kvist [00:33:18]: 其实里面有一部分内容涉及模型的来源并要求披露。但我认为，在很多使用场景里，运行中国的开源模型就是最佳方案。
Swyx [00:33:27]: 嗯。
Rune Kvist [00:33:27]: 而且这个担忧更偏宏观，并不适合在某个具体的认证层级上解决。
Vibhu [00:33:32]: 有没有什么有意思的东西，你看到的……你知道，如果你想填补中间那个空白，那个居中调解的空白，你们预测还需要哪些有趣的东西，是一般人可能想不到的？
网络安全、儿童安全、生物风险与专家协作
Rune Kvist [00:33:47]: 关于哪些风险重要，有很多有意思的问题。目前当下的头号风险是网络安全，因为它非常真实、非常具体。另一些正在变得相当真实、相当具体的风险，比如儿童安全，它既极其重要，在政治上也变得重要。还有一些风险正在逼近，今天听起来有点推测性，但长期与模型打交道的人看到它们正在到来，比如与生物学相关的风险。
Rune Kvist [00:34:18]: 具体来说，就是模型是否会帮助对手制造生物武器，让这件事变得极其廉价、极其容易获得，从而增加再次出现新冠、甚至更严重疫情的可能性。要知道，新冠并不是为了作恶而被设计出来的，而如果有人刻意去做就不一样了。所以我认为这些是正在逼近的风险。另外还有一点值得一提：智能体是被刻意限定在狭窄范围内的。比如，当一家前沿的智能体公司部署一个与客户互动的聊天机器人时，他们会努力收窄它愿意谈论的话题，这样如果你问它“你怎么看总统？”，它就会直接拒绝，这意味着风险面相对小一些。而对模型来说，风险面是无限的。因此，没有任何一位专家能够胜任地评估网络攻击的风险、十五岁的孩子与聊天机器人进行长达数月的对话时它是否真的会推荐自杀之类可怕的事情，以及恐怖分子能否用 AI 制造生物武器的风险。风险面实在太大了。所以核心挑战其实变成了：如何让这些领域专家在同一个连贯的框架内工作，产出一份连贯的报告和评级，让全世界都可以去审视？因为全球视角至关重要，但今天没有任何一个组织能做到这一点。
Swyx [00:35:47]: 而当你们发布模型标准的时候，你们会是顺理成章的那一个。
Rune Kvist [00:35:51]: 我们认为，可以由一家公司，联合一个专家联盟，建立一套连贯的标准。我认为我们已经在今天所有的企业风险领域证明了这一点。我们认为可以由一家公司，联合一个联盟，来规定审计规则，基本上就是所有这些技术专家所需要的输入和输出。他们需要什么样的访问权限？应该如何对待信息安全？他们可以判断评测（eval）是否做得好，而不必非得判断“这到底是不是一个威胁”。总体来说，评估这些评测是否优质、构建是否得当，这套审计规则基本上就成为所有这些专家之间的接口，我们认为由一个统一的交换中心来整合是可行的。需要说明的是，当我说一家公司时，我想的是一家公司来协调其中的大量工作，就像我们组建联盟时那样——我们并不是说自己掌握了智能体安全的所有答案，我们说的是，我们承担的角色是收集各方的所有关切，担任把它们汇总起来的秘书，并把事情管得井井有条，让标准每季度同步更新，让产出的审计报告——这里指的是 100 页的审计报告——统一、简明、清晰，细致程度恰好满足高管做出明确的“通过/不通过”决策的需要。这大致就是我们认为自己可能扮演的角色。
OWASP、框架与运营审计层
Swyx [00:37:11]: 我觉得在很多方面，你们扮演的就是 OWASP 过去在这方面扮演的角色，而你之前提到过竞争对手和合作伙伴。
Rune Kvist [00:37:18]: 对。
Swyx [00:37:19]: 能不能多讲讲你们是怎么合作的？
Rune Kvist [00:37:20]: 好的。首先，OWASP 基本上是一个由安全从业者组成的开源社区，大家聚在一起，为应对最新的安全问题构建框架。我们认为他们在创建框架方面非常出色。事实上，我们……首先，我们是他们的合作伙伴，我们有一篇联合发表的文章。其次，我们从他们那里学到了很多。我们认为他们是极好的情报来源。OWASP 不做的，是搭建一台运行第三方审计的机器，让像 Cursor 或 JPMorgan 这样的公司可以找一个第三方，依据这套标准对自己进行审查，然后说：“嘿，你通过了这套标准，这是报告，你可以用它来建立信任，并提前化解合作伙伴或客户的疑问。”所以他们从根本上是想做另一件事。他们是信息收集和情报收集、以及让事情变得清晰的一部分，但把这些转化为承诺的运营层，并不是他们想做的业务。
Swyx [00:38:14]: 标准正在涌现，而且进展很好。那么，还有必要再做承保吗？显然它就在你们名字里，所以请记住是你先想到的。我觉得如果共识足够，其实并不需要金钱这一环，不过有它确实有帮助。
Vibhu [00:38:30]: 我也想提一下，你们也是一家营利性公司，对吧？不是非营利的，而是有一整套商业层面的东西，对吧？
为什么营利性的标准制定者和保险公司很重要
Rune Kvist [00:38:39]: 对。对，所以我现在简直要疯了
Swyx [00:38:41]: 我在想钱这一块。
Rune Kvist [00:38:42]: 对。好，我们来聊聊钱这一块。先从你的问题说起，营利与非营利。在今天的安全领域，也就是网络安全，大多数标准是由非营利组织制定的。我认为这是个问题。
Rune Kvist [00:39:00]: 你必须问自己的问题是，如何营造良好的激励机制，让这些标准既好用又能跟上发展？
Rune Kvist [00:39:09]: 非营利组织往往没有那种有害的逐利动机，不会把标准掏空、造成逐底竞争，但它们默认也完全不会响应自己所服务的社群。没有这样的流程——它们没有那种会去问“你们想要什么？你们想要什么？你们想要什么？”的客户。而看看人们今天对安全标准的整体满意度，大家往往就是不太喜欢它们。在其他领域你确实能看到，营利性的标准可以很好地服务世界。有些例子，比如我们之前聊过的 Moody’s。它并非没有缺陷，但它绝对是关键的社会基础设施，今天以惊人的规模运转。你的信用评分，是 FICO。那也是一门营利性的生意。再往历史上追溯，一些碰撞测试标准就来自保险公司。
Rune Kvist [00:40:06]: 保险公司共同创立了公路安全保险协会（Insurance Institute for Highway Safety），因为它们非常关心如何用标准来降低死亡率并省钱。再往前追溯——我们的名字其实是向 Underwriters Laboratories，也就是 UL 致敬，它创立的时间差不多就是电刚出现的时候。房子开始着火。保险公司又一次在买单，它们也许也是好人，但它们的逐利动机是：让我们防止房子被烧毁。让我们测试所有的电器产品，灯泡。这里所有的灯泡大概都经过了测试，还有烤面包机等等。于是它们成立了一个实体来制定这些标准。如今，UL 既有营利实体，也有非营利实体。它们意识到——它们最初是非营利的，后来分拆出一个营利实体，因为它们意识到，要想把客户服务好，你需要一个营利实体。这里的教训是，市场对齐激励的方式之一，就是既要对客户有响应
Rune Kvist [00:41:07]: 又不随时间把标准掏空，办法就是与保险公司对齐，因为它们从根本上拥有良好的激励。所以，如果你是一个与保险公司紧密合作的营利性标准制定者，你就有了反馈闭环，让你真正贴近客户，同时也真心为他们的利益着想。这就是我们——我们从中学到很多的那个有启发性的模式，也是名字的由来。在某种意义上，underwrite（承保）这个词既可以和保险联系在一起，也是一个更宽泛的、指做决定的说法。
Rune Kvist [00:41:40]: 如果你为一个决定“承保”，你本质上就是在为它的后果承担责任。
AI 保险合同、Lloyd’s of London 与 ElevenLabs
Swyx [00:41:45]: 对，我想问，AI 的保险合同是什么样子的？
Rune Kvist [00:41:49]: 好的。如今保险合同的大部分需求，介于构建 AI 的人和购买 AI 的人之间。
Swyx [00:41:56]: 对。
Rune Kvist [00:41:57]: 人们希望保险公司参与进来的原因，一方面是出于传统的理由，也就是如果出了问题，我们希望得到赔偿，但尤其是因为保险公司能为这件事带来信任。因为保险公司会赔付损失，如果它们愿意出具保单，就等于在说：“我们认为这里有风险，但是可控的。”它们的激励与采用这项技术的企业是一致的，所以这对市场来说是一个非常好的信号。同样地，Waymo 当初为了拿到在旧金山运营的第一张许可，做的事情之一就是让许多保险公司联合起来承保一份巨额保单，以防出问题。这并不是因为 Google 付不起，而是因为让第三方去审视这些数据非常有价值
Rune Kvist [00:42:47]: 这些第三方受到政府信任，也作为保守的一方受到企业信任，它们会说：“我们看过了，我们确实愿意把其中一部分放到我们的资产负债表上。”这就是人们对它感兴趣的原因。至于它长什么样，在某些方面和其他任何保险合同一样。你要明确想承保哪些风险事故，承保多少，也就是赔付上限是多少，以及承保这些要花多少钱。举一个非常具体的例子，ElevenLabs 购买了首个同类的 AI 智能体保险保单。他们服务一些最大的企业，这些企业又和政府打交道。他们很想做得更好，向客户做出承诺。所以他们写了一份保单，只覆盖客户一直在询问的一些核心关切。关键在于，要让世界上最古老的保险公司 Lloyd’s of London——我们的合作伙伴之一——来审视这些数据，和我们一起作为第三方说：“我们认为这里有值得承保的东西。”这就是它的样子。他们会把这份合同展示给客户，客户可以看到自己受保的额度，可以看到它具体覆盖什么，而且明年这很可能会改变。他们会想写一份覆盖范围更广的保单。
Swyx [00:44:04]: 你说的 Lloyd’s，是再保险吗，还是说它们以某种方式在同一层级上分担风险，或者
Rune Kvist [00:44:11]: 是这样。通常，新公司进入保险业的方式，是与保险公司合作，由保险公司承担大部分或全部的财务风险。从根本上说，如果保险之所以有用是因为它带来信任，那你就必须有能力把账付清。Lloyd’s of London 有 400 年的历史。它们从未拒付过理赔。它们极受信任。Lloyd’s of London 自己很难做到的，是弄清哪些风险是真实的、应该关注什么、有哪些技术控制措施，以及运行测试。所以它们把 AIUC-1 用作承保框架，我们产出一批评测结果，直接输入进去，用来为定价提供依据。这意味着 ElevenLabs 的客户知道赔付一定会到位。他们不必去看我们的 A 轮融资，琢磨我们的资产负债表上是否有足够的现金。他们会去看 Lloyd’s。
Swyx [00:45:05]: 嗯。
Rune Kvist [00:45:05]: 嗯。
Swyx [00:45:05]: 而且 Lloyd’s 以脑洞大著称。我记得有个新闻标题，说他们给 Jennifer Lopez 的臀部投了保，或者类似的东西。
Rune Kvist [00:45:13]: 没错。
Swyx [00:45:13]: 对吧？
Rune Kvist [00:45:13]: 我记得还有，是 David Beckham 的右脚吧？
Swyx [00:45:16]: 对，没错吧？
Rune Kvist [00:45:17]: 诸如此类的东西。
Swyx [00:45:18]: 所以显然不是一个很大的数据集。
Rune Kvist [00:45:22]: 没错。它其实是一个了不起的机构，既拥有悠久历史带来的那种真正老派的美德，它们确实像一个值得信赖的实体那样运作，又有探索未来的胃口。我认为大家普遍认识到，一方面 AI 里存在大量如今仍理解不足的风险，所以进入这门生意本身就有实实在在的风险；但另一方面，未来很多风险敞口也将出现在这里。这是唯一一个风险确实在增长的市场。这也是一个会吞掉部分现有市场的市场。比如车险。当不再有人类司机时，这个市场会是什么样？显然它会改变。你要如何评估
Swyx [00:46:08]: 你们想给 Waymo 投保吗？
Rune Kvist [00:46:10]: 我只能说，给 Waymo 投保的原则，和给其他类型的 AI 投保非常相似。
Swyx [00:46:15]: 对。
Rune Kvist [00:46:15]: 所以还是那句话，碰撞测试，这就是我们为 Lovable 的客户共享所做的事。Waymo 也需要这样做，这和你对人类司机的做法不同。所以现在有一种日益增长的认识：世界变化得非常快，而学会如何为 AI 承保的唯一办法就是去写一些保单。你可能会承受一些损失，把它视为 R&D 开支就好。但他们面临的问题是，他们能找到哪些值得信赖的技术伙伴一起进入这门生意，帮他们摸清方向，确保不犯愚蠢的错误？同时，谁又愿意倾听他们积累的智慧？他们以前做过这件事。他们见证过网络安全出现的时候。所以，AI 在很多方面感觉全新，但风险在很多方面也看起来相同。因此，在一些也许头发花白的人身上，其实蕴藏着大量智慧，他们真正对如何量化风险有敏锐的感觉。
Swyx [00:47:08]: 对。那个数字是……所以基本上就是，我想要五千万美元的保额来覆盖这些风险事故，Lloyd’s 会给你一个报价，然后你加一点小小的加价，再转手卖出去？就这么简单吗？
风险资本、保费与和保险公司合作
Rune Kvist [00:47:23]: 基本上你是分走一部分保费。
Swyx [00:47:25]: 嗯。
Rune Kvist [00:47:25]: 其中 X% 会给负责定价的人。
Swyx [00:47:28]: 你们有点像……有点像保险领域的投资银行（merchant bank）之类的。
Rune Kvist [00:47:33]: 没错。你们基本上是分摊费用，你可以把保险供应链想成：有人出资本，有人做定价，有人做分销。通常，你会把保费的 X% 付给这一环，Y% 付给那一环，剩下的归这一环。
Swyx [00:47:46]: 整个保险界都是这样运作的吗？还是说到某个时点会……比如，现在你们有股权资本
Rune Kvist [00:47:51]: 对。
Swyx [00:47:52]: 到某个时点，也许你们开始融债务之类的，然后你们有了足够的银行账户余额和足够的历史，比方说你们已经运营了十年
Rune Kvist [00:48:00]: 没错。
Swyx [00:48:00]: 就不再需要 Lloyd’s 了？
Rune Kvist [00:48:02]: 那完全是一个选项。我能想象某些情形下这样做是合理的，特别是当有些风险我们很有信心想要承保，而现有的保险公司反应太慢，还没形成承保意愿
Swyx [00:48:13]: 好。
Rune Kvist [00:48:13]: 或者干脆很难评估，以至于它们不想做。但总的来说，通常你不想在提供风险资本这件事上与保险公司竞争，原因有两个。一是那从根本上是一场资金成本的游戏。它们的资金成本极低，而初创公司的资金成本大体上很高。二是你要对冲风险，所以拥有一个包含房屋保险、车险的组合是很有帮助的。而我们不会去成为车险公司，也不会去做房屋保险公司。
Rune Kvist [00:48:43]: 所以它们有一些天然的优势，这让我们与之合作的可能性大得多。
Swyx [00:48:48]: 嗯。
Rune Kvist [00:48:48]: 它们带来规模化的资本，我们带来技术专长。
Swyx [00:48:51]: 你们会和它们合作很长时间。
Vibhu [00:48:52]: 那和保险公司的讨论进展如何？基本上它们是依据你们的认证来做的，对吧？它们信任对你们的尽职调查，相信你们的认证有效、测试了正确的东西，并且是在你们有了正确测试的前提下拿出资金作担保。那么和保险公司合作有什么有意思的收获吗？
Rune Kvist [00:49:12]: 我想也许第一点是，它们也会反馈到标准里。如果它们觉得需要某些东西却没看到，我们也会把它作为输入纳入标准，因为我们从根本上认为，好的标准是能创造一个非常健康的承诺生态的标准，而保险公司是其中关键的一环。同样，它们的激励也是最强的。它们看得到整个行业的损失数据。任何一个 CISO 只知道自己具体的关切，而保险公司看到的是整个组合的关切，并且在做部分取证工作时，往往能直接了解到究竟发生了什么、谁有过错等等。所以它们其实是这方面很好的情报来源。网络保险这个运转得不太好的市场，给我们的一个重要教训是，保险和技术专长没有结合起来。我们的信念是，标准必须先于保险。归根结底，无论你是 JPMorgan 的 CISO，还是 Cursor 的 CISO，还是 Lloyd’s of London 辛迪加的承保人，每个人最先、最想要的都是不发生事故
Rune Kvist [00:50:19]: 首先根本就不出事。你想确认风险得到了良好管理，只有在这之后，保险才开始有意义。所以我们会看到标准生态基本上跑在保险前面。至于你问我们为什么也做保险，这某种程度上是在验证我们认为整套承诺与信心基础设施生态应该是什么样子，而我们认为把它变为现实非常有吸引力，即便我们认为标准才是解锁其余一切的核心关键。
理赔、责任、Air Canada 与注意义务
Swyx [00:50:44]: 目前还没有发生过理赔，对吧？
Rune Kvist [00:50:45]: 没有。
Swyx [00:50:46]: 这就是那种事情，你知道，如果大家还没有真正想清楚覆盖这些东西意味着什么。
Rune Kvist [00:50:52]: 对。
Swyx [00:50:52]: 比如说，我每月付给 Cursor 20 美元。
Rune Kvist [00:50:55]: 嗯。
Swyx [00:50:56]: 然后我用 vibe coding 写了个东西，导致一架飞机坠毁，造成 2 亿美元的损失。
Rune Kvist [00:51:02]: 对。
Swyx [00:51:02]: 那我是索赔 20 美元，还是索赔两亿美元？
Rune Kvist [00:51:07]: 对。这些都是很好的问题。
Rune Kvist [00:51:10]: 好在整个保险史和法律史在某种程度上能帮助回答其中一些问题。我认为首先，保单是有限额的。所以如果你想索赔 2 亿美元，那就得……有人必须事先为这份保险付出很高的保费，才能拥有 2 亿美元的保额。而最终，这件事的运作方式是，你从大量的不确定性出发。这不仅仅是保险的问题，比如，Anthropic 能不能用互联网上的书来训练？他们可以去查先例，他们可以……但归根结底，这些事情是在法庭上了结的，你要随着时间一点点磨出结果。所以你是从这种模糊地带起步，这既是保险在早期很难做的原因，也是人们想要保险的原因，因为这种模糊性拖慢了采用。
Swyx [00:51:57]: 嗯。
Rune Kvist [00:51:57]: 这也存在于那些人的头脑中，
Swyx [00:51:59]: 对。从某种意义上说，第一起事故其实会帮助确立其中很多东西。
Rune Kvist [00:52:05]: 没错。而且已经有不少事故发生了，只是没有被保险覆盖。
Swyx [00:52:09]: 对。
Rune Kvist [00:52:09]: 就拿现在已经算老的 Air Canada 的例子来说，
Swyx [00:52:14]: 我正想提这个
Rune Kvist [00:52:15]: 聊天机器人幻觉出了一项退款政策，当时 Air Canada 的态度是：“嘿，这跟我们没关系。是这个聊天机器人搞砸了，不过，抱歉。”而法院的回应是：“不，如果你让聊天机器人与客户互动，它们就是在代表你做出具有法律约束力的承诺。”这现在成了先例，适用于未来的一切情形。如果再有人部署类似的聊天机器人，就不应指望能把责任一推了之，说：“抱歉，我的聊天机器人撒谎了，跟我无关，我是从 OpenAI 买的。”不行，如果你把它放在客户面前，你就要为它负责。所以每一起案件，无论是否涉及保险，都在厘清责任，而责任是保险的基础。标准和保险结合在一起还有另一个原因。关于责任……我稍微岔开一下话题
Swyx [00:53:06]: 请讲
Rune Kvist [00:53:06]: 深入一下细节。
Swyx [00:53:06]: 请讲。
Rune Kvist [00:53:07]: 在责任问题上，核心概念之一往往是某人是否存在过失。他们是否应该预见到这一点？是否应该防止这件事？问题是，如何做出判断？其实就是判断他们是否尽到了注意义务（duty of care）。这在实践中意味着什么？往往是参照标准。所以如果有一项被广泛采用的标准，规定你必须有一个事实依据（groundedness）过滤器，或者必须有一个越狱过滤器，那么你就更难声称自己不知道这些东西存在。所以制定标准有助于厘清责任。法院常常会援引标准，说：“嗯，这看起来是最佳实践。”它就摆在那里，人人可见。所以这是标准作为“文明的基础设施”的另一种体现，保险可以建立在它之上，承诺也可以建立在它之上。
Swyx [00:53:53]: 我完全理解。我们要做这些机器人之类的东西，并不需要先获得认证。
Rune Kvist [00:54:00]: 没错。
Swyx [00:54:00]: 但基本上，每当我们去做审计时，我觉得大家就会开始整顿自己，等等。我在想，这是否意味着你们不会同时成为批准我上线到生产环境的权威。你知道，对，你们每季度检查一次，而我想每天发布一次。
上线到生产环境：持续测试与信任
Rune Kvist [00:54:19]: 对。
Swyx [00:54:19]: 而且我不知道我的某个东西什么时候坏了，比如违反了你们的某项认证要求。
Rune Kvist [00:54:24]: 这里有几点。里面有几项要求，涉及你自己该怎么做，你必须告诉你的客户
Swyx [00:54:33]: 就像是持续监控。
Rune Kvist [00:54:34]: 至少在发布重大版本之前，你自己是如何测试的。我们不会每天去审计别人，但至少现在有了一条可追溯的记录：如果你出了大问题，你的客户可能会来问你：“嘿，你承诺过你会自己运行这些评测。”而对很多情况来说，大多数……人们合并的 PR 并不会从根本上改变产品体验，但其中有一些会。谢谢。
Swyx [00:54:57]: 有时候你自己也不知道。
Rune Kvist [00:54:58]: 有时候你自己也不知道。大家都知道，买软件本来就有固有风险，可能有 bug，这是常态。但如果你卖给的是小商小店，他们可能不在乎。他们会说：“我想用你的工具，所以我愿意承担这个风险。”如果你卖给的是大银行，他们可能会说：“抱歉，我们要对自己的客户做出承诺。如果你不能向我们做出可以转交下去的承诺，我们就不想和你合作。”那就要由你来决定：“我是否在乎让我的智能体在这类任务中被用作关键基础设施？”如果在乎，至少我可以就自己运行了哪些流程做出承诺，然后我们可以每季度去测试，看看它是否仍然符合标准。所以在我看来，这是一种……大公司默认在发布 AI 时就拥有一定程度的信任。
Rune Kvist [00:55:49]: 如果你是一家年轻公司，刚刚起步，默认情况下你没有任何信任。而能让你去获取信任的地方非常少。所以我们的大多数客户在开始与我们合作之前，做的一件事就是自己写安全方面的博客文章。这很好。但谁会相信你说的“我们非常安全”呢？
Rune Kvist [00:56:05]: 这种话谁都能写。但这非常难。你要去哪里获得这种信任？
Vibhu [00:56:08]: 对。
Rune Kvist [00:56:08]: 所以我认为，让标准更易理解，能让小公司更容易证明自己正在做该做的事，因为默认的假设是这里是蛮荒西部。
Vibhu [00:56:21]: 你们有没有一份路线图？这里有很多工作要做，对吧？
Rune Kvist [00:56:25]: 对。
Vibhu [00:56:25]: 这只是第一个。
Rune Kvist [00:56:26]: 对。
Vibhu [00:56:26]: 路线图上有什么，你认为接下来是什么，会有什么，缺什么？
路线图：智能体、模型、机器人与世界模型
Rune Kvist [00:56:32]: 我想，当我们把视野拉远，AIUC-1 针对的是智能体。接下来我们会处理模型。再往后，我们会处理机器人，而在某种意义上，Waymo 就是第一个机器人。但完全相同的问题将会出现：有人会开发一个机器人，有人会需要一些承诺，而他们会很难做出这些承诺。而且你会看到这一幕上演——如果你觉得 Fable 引发的担忧很严重，那就看看 Waymo 撞到一条狗的时候。人们会因此失去理智。想象一下，当第一台机器人把一个幼儿从厨房桌子上撞下来的时候。
Swyx [00:57:03]: 对。
Rune Kvist [00:57:03]: 你会看到真正严格的责任（strict liability）。
Vibhu [00:57:07]: 我是说，这是可以预见的，对吧？比如 Cruise 就彻底
Rune Kvist [00:57:10]: 完蛋了。
Vibhu [00:57:10]: 所有许可都没了，对。对。
Rune Kvist [00:57:12]: 没错。所以对于物理世界的 AI，严格程度会越来越高。这就是大图景：智能体、模型、机器人。我认为在智能体方面，目前这一批智能体已经被这套标准很好地覆盖。但随着技术进步，随着智能体的时间跨度变长，新的失效模式会出现。所以主要问题是，当它们出现时，你能否确保标准跟得上。你还会开始看到新的模态。比如今天，世界模型主要还是一个研究问题，没有人真正在使用它。但它也会带来新的创造价值的方式，同时带来今天没人知道如何应对的更多风险面。你会开始看到真正不经人类中介的智能体之间的交互。会出现一堆有意思的问题。你基本上会需要一套新的法律体系。它们如何在彼此之间建立信任？如何……人类彼此交易时的核心之一，是你知道自己有追索权，你可以起诉对方。你如何确保每个智能体背后都有一份持续存在的资产负债表，这样当你和它交易、它坑了你的时候，你能把钱拿回来？这些就是我们将不得不面对的一些问题。而技术测试
Rune Kvist [00:58:24]: 多智能体系统的技术测试也会既有趣又复杂。
Swyx [00:58:29]: 太有意思了。目前有没有哪些风险是无法承保的，而人们希望你们能承保的？
版权风险、逆向选择与信息不对称
Rune Kvist [00:58:35]: 有的。有一个领域，保险的需求很旺盛，需求很多，但供给不多，那就是版权。
Swyx [00:58:46]: 哎哟。
Rune Kvist [00:58:47]: 在某种意义上，版权有点平淡无奇，它一直都是个问题。原因有几个。第一，用受版权保护的材料训练过模型的人，几乎总是知道自己这么做了。
Rune Kvist [00:58:59]: 所以，如果你想为它买保险，这本身就可能说明你是高风险客户。最想为版权侵权投保的那些人，
Swyx [00:59:09]: 好，嗯。
Rune Kvist [00:59:09]: 恰恰是最有可能用了受版权保护内容的人。
Swyx [00:59:10]: 对，这就像“柠檬问题”。
Rune Kvist [00:59:13]: 没错。
Vibhu [00:59:13]: 我觉得这里还有另一面，对吧？比如你是在别人的东西之上做开发。假设我用的是开源模型。
Rune Kvist [00:59:19]: 嗯。
Vibhu [00:59:19]: 我不知道它是用什么训练的，对吧？
Rune Kvist [00:59:21]: 对。
Vibhu [00:59:21]: 那版权责任沿着这条链条要追溯多远？
Rune Kvist [00:59:24]: 是的。
Vibhu [00:59:24]: 就因为 X 公司用受版权保护的内容训练了模型，我就有责任下架我的产品吗？
Swyx [00:59:29]: 不过法不责众。如果人人都这么做，那你就……
Rune Kvist [00:59:33]: 对。
Vibhu [00:59:33]: 我是说，我觉得除非 Fable 被所有用过它的人回滚，对吧？
Rune Kvist [00:59:38]: 嗯。我觉得这是个难题，我也不知道答案。
Vibhu [00:59:39]: 确实。
Rune Kvist [00:59:39]: 但我觉得你的直觉是对的，关键在于：什么才算是注意义务（duty of care）？
Rune Kvist [00:59:47]: 如今大家并不认为，惯常做法是去剖析开源模型的训练数据、逐项检查。事实上，很多人都在用这些模型，不去检查这一点被普遍视为可以接受。因此，我们不会要求你做具体的……
Vibhu [01:00:02]: 我是说，我们其实也做不到，对吧？我们不……
Rune Kvist [01:00:04]: 没错。
Vibhu [01:00:04]: 我们不知道训练数据。
Rune Kvist [01:00:05]: 所以你当然可以禁用它，但我认为没有哪家法院在面对版权问题时会说：“这个确实得禁掉。”
Swyx [01:00:09]: 除非你雇到 Nicholas Carlini，他能替你把数据提取出来。
Rune Kvist [01:00:12]: 没错。不过这样的人才很稀缺。
Swyx [01:00:15]: 对。Carlini 就那么几个，不过，
Rune Kvist [01:00:17]: 没错。
Swyx [01:00:18]: 嗯，你接着说。
Rune Kvist [01:00:19]: 所以我觉得，就实验室而言，它们对此确实很有兴趣。但恰恰是让实验室想买保险的原因，让保险公司对它心存疑虑，于是就出现了柠檬问题。
Swyx [01:00:30]: 嗯。有没有这样一种保险理论：逆向选择压倒了保险的风险分担功能？比如说，这方面……给我们讲讲保险吧。
Rune Kvist [01:00:40]: 很多保险问题归根结底都是微观经济学入门课的实际应用版本。
Swyx [01:00:45]: 对。就像是，这就是为什么
Vibhu [01:00:47]: 高风险厌恶。
Swyx [01:00:48]: 健康保险必须集中承保，因为如果划分得过于具体，那么只有注定会得病的人才会来买你的保险。
Rune Kvist [01:00:56]: 没错。
Swyx [01:00:56]: 道理一样。
Rune Kvist [01:00:57]: 核心问题是信息不对称。投保人对自身风险的了解，是保险公司不掌握的。所以问题其实在于……这又回到了同一个问题：如果你依赖……只要存在某种能揭示真实潜在风险的测试，就能化解很多这类信息不对称。所以如果像你说的那个例子，有一种保险公司信任的、可靠的诊断方法，能判断某人是否患病、或患病概率有多大，那么它们可能愿意承保。但如果没有，如果不存在共同掌握的信息，那么只有患者本人知道，
Vibhu [01:01:32]: 嗯。
Rune Kvist [01:01:32]: 这就是市场崩塌的原因。所以问题仍然是：如何在各方之间建立可信的信号传递？
Rune Kvist [01:01:39]: 这也正是 Moody’s 存在的全部理由。Moody’s 做的就是可信的信号传递。这也是 Moody’s 永远不可能……Moody’s 必须保持独立。如果 Moody’s 归 JPMorgan 所有，JPMorgan 就没法把它当作信号传递机制。所以标准和认证的很多基本功能，其实就是沟通工具，是在弥合信任缺口。这时你就得考虑传话者的激励是什么。另一种化解的办法是透明。如果你的运作方式是透明的，就很难轻易糊弄别人。这会大幅提高作假的成本，从而增进信任。这也是我们在这里设有变更日志的原因之一。
Rune Kvist [01:02:16]: 每一处小改动，
Swyx [01:02:18]: 嗯。
Rune Kvist [01:02:18]: 你都可以回头查到，这意味着，如果我们让标准变差了，
Swyx [01:02:24]: 哇，一次更新里改动可真多。
Rune Kvist [01:02:27]: 是的。
Swyx [01:02:27]: 好。
Rune Kvist [01:02:28]: 这里很多只是随着事情逐渐明朗而做的澄清，也有一些修订。随着细节敲定，你会想做调整。但如果全部公开，想糊弄别人就难得多，或者至少很容易被发现。
Rune Kvist [01:02:42]: 所以，这是一种通过公开更多信息来减少信息不对称的方式。
Vibhu [01:02:50]: 我喜欢你们会提前告知后续版本什么时候发布。
Swyx [01:02:52]: 对。
Vibhu [01:02:53]: 所以我猜是每季度一次。
Swyx [01:02:53]: 我是说，他们只是
Rune Kvist [01:02:54]: 每季度一次。
Vibhu [01:02:54]: 对。
Swyx [01:02:54]: 差不多是每季度。
Rune Kvist [01:02:55]: 对。
Swyx [01:02:55]: 不算意外。
Rune Kvist [01:02:58]: 对，但这也是一种承诺。比如，如果我们 7 月 15 日没能交付，基本上就是
Swyx [01:03:03]: 我是说，你可以先攒着，攒到什么就发什么。
Rune Kvist [01:03:05]: 先攒着再发。
Swyx [01:03:05]: 对。这不难。
Rune Kvist [01:03:06]: 但这有点像是，每次兑现承诺，我们就存入一点信任。
Vibhu [01:03:12]: 嗯。
Rune Kvist [01:03:12]: 在创业公司的世界里，每季度发布一个新版标准似乎很容易。但对习惯了十年一个周期的企业来说，我们常常会遇到难以置信的反应，觉得根本不可能。然后你把变更日志给他们看。
Swyx [01:03:28]: 我还想认真想一想的是，你之前说过，如果某个东西有测试，那就能为它投保。
Rune Kvist [01:03:35]: 对。
Swyx [01:03:36]: 对吧？所以你们的标准，也就是 AIUC，本质上是建立一个审计框架，让大家至少能测试这些基线性的注意标准是否已经满足，因此人们可以针对大家共有的标准风险投保。我在想，是不是需要开发其他测试。我们以前聊过机制可解释性（mech interp）。你们对这个有兴趣吗，或者还有我们没想到的其他测试吗？
机制可解释性、评测感知与监控
Rune Kvist [01:04:02]: 嗯，我觉得机制可解释性是个大方向，很多人感兴趣。我想大家都会同意，它在科学上很有前景。
Rune Kvist [01:04:15]: 但离它能按需商用、让你有一批供应商可选，至少还有一段距离。
Swyx [01:04:26]: Goodfire 会说它已经可以商用了。
Rune Kvist [01:04:28]: 没错。
Swyx [01:04:29]: 而且它就……
Rune Kvist [01:04:30]: 我们同意他们的说法。我们认为他们做的工作非常了不起。
Swyx [01:04:33]: 嗯。
Rune Kvist [01:04:33]: 我们还没到可以真正把它作为硬性要求的地步。但可以想见，不久之后我们可以加入一项可选控制项：如果有人用机制可解释性来降低风险，至少能因此获得加分。我们没法强制要求，因为很难要求所有人都成为 Goodfire 的客户。
Swyx [01:04:49]: 加分对我有什么用？这不是通过或不通过的二元结果吗？我会在乎加分吗？
Rune Kvist [01:04:54]: 结果确实是通过或不通过，但同时也是一份 100 页的审计报告，
Swyx [01:04:57]: 哦？
Rune Kvist [01:04:57]: 你会惊讶地发现，安全负责人真的会坐下来认真消化这些内容。
Swyx [01:05:02]: 好。
Rune Kvist [01:05:02]: 我敢保证，如果有人今天在用机制可解释性，他们一定会为此做一页幻灯片，因为他们会想拿到加分。
Swyx [01:05:11]: 确实很酷，很高级。
Rune Kvist [01:05:12]: 但如果有第三方出面说“没错，他们确实用了机制可解释性，而且……”就容易得多。
Swyx [01:05:16]: 为那些一直在关注我们机制可解释性播客的听众说得更直白一点，
Rune Kvist [01:05:21]: 嗯。
Swyx [01:05:21]: 就是说：你在用某个开源模型（OSS），它激活了这三个危险特征，我们对此进行监控，并用你选择的任何工具把它记录下来。Gray Swan 有类似 Signal 之类的东西，就是这样。这就是基于机制可解释性的激活信号。好的。
Rune Kvist [01:05:38]: 对。我觉得机制可解释性很有意思，如果这一承诺真正兑现，你就能做出比评测（evals）更有力的保证，这非常有吸引力。另一件我认为会越来越重要的事，是良好的运行监控，而且稍微偏事后一些。在评测中你已经看到一些新出现的挑战，那就是智能体开始意识到自己正在被评测。
Swyx [01:06:04]: 对，评测感知（eval awareness）。
Vibhu [01:06:05]: 嗯。
Rune Kvist [01:06:05]: 没错，这是个问题。意思是，如果它们知道自己被监视，就不会去做它们认为会受罚的事。默认情况下，除非你知道如何降低评测感知，否则你应该降低对评测的信任度。而最真实的东西之一，监控，就是事实的来源。你到底有没有给出医疗建议，你多快能发现？过去发生过多少次？响应有多快？发现的频率有多高？发现得有多快？所以我认为这也是一种范式。它稍微更具侵入性，你确实得查看一些客户数据，但我认为随着时间推移会越来越普遍。
Swyx [01:06:45]: 有人说，我们不该写关于评测感知的内容，因为这些内容会泄露进数据集，然后……就是说，我们干脆永远别谈这个，只当面聊，私下不录音地聊。就像这样。
Rune Kvist [01:06:57]: 你们看过 Anthropic 的那项研究吗？我想那就是 Anthropic 自己做的测试。
Swyx [01:07:04]: 什么？
Rune Kvist [01:07:05]: 它花了……细节我记不清了，但他们做了一些关于失准（misalignment）的研究，然后把训练数据中与 LessWrong 上讨论失准相关的部分拿掉，再跑同样的测试，结果失败率下降了。
Rune Kvist [01:07:20]: 所以，这实际上是一定程度的证据，表明模型学到了这方面的能力或倾向。
Swyx [01:07:28]: 对，所以既有超迷信（hyperstition）效应，也有 Luigi/Waluigi 效应。
Rune Kvist [01:07:31]: 没错。
Swyx [01:07:32]: 也就是说，你越是试图朝某个方向训练，就越会造出它的反面。
Rune Kvist [01:07:36]: 对，就是这样。完全正确。
Swyx [01:07:38]: 某种程度上，我觉得 Anthropic 的成功本身就是超迷信的结果，也就是你希望世界上存在这样一个东西，现在它真的存在了。但这同时也会催生出它的反面。
Rune Kvist [01:07:48]: 对。
Swyx [01:07:49]: 我觉得刚入行的人可能不记得 Waluigi 了，但我确实认为这对理解很重要：当你训练某个东西时，你也在训练它的反面，因为这只是一个很容易翻转的开关。
Rune Kvist [01:08:02]: 对。
Rune Kvist [01:08:03]: 对。
Vibhu [01:08:04]: 我想回到我们之前聊的，其实除了机制可解释性，还有很多东西值得补充，对吧？比如你们版本里的这些问题：你能多快衡量？有日志吗？有评测吗？你还能看到技术栈的其他部分，比如你使用的推理提供商、各种服务。比如：我是在用中国模型的本土 API 吗？我是通过认证供应商在用吗？我是自己托管吗？推理引擎这一侧我在做什么？有太多层面的东西，会给出可以标准化的信息，对吧？
托管智能体、企业级管控与生成式媒体
Rune Kvist [01:08:36]: 对。而且你还会越来越多地看到，除了基础的聊天机器人，大公司正在采用智能体平台，在 Google 的 Agent Studio 等之上构建，这些平台自带一堆，比如
Vibhu [01:08:52]: 托管智能体。
Swyx [01:08:53]: 托管智能体。
Vibhu [01:08:53]: 现在到处都是。
Swyx [01:08:54]: 人人都有托管智能体。
Rune Kvist [01:08:55]: 没错。
Vibhu [01:08:56]: 而且还分不同层级。你可以自己托管托管智能体，比如 OpenAI 的 Agent SDK，也可以由 Anthropic 托管，Google 则两种都有。
Rune Kvist [01:09:03]: 对。这些都是进一步强化你能给出的安全保证的方式。某种程度上，这是企业安全的老本行。他们喜欢把东西托管在自己的场地内，因为这给他们真正的掌控感。我认为你会看到，就像在其他所有企业市场一样，只要你真的卖给企业，就会开始在这些安全特性上竞争。AI 领域也在发生这种事，这并不意外。我也看到一些企业想要……企业正在艰难应对这样一个矛盾：让智能体有用的恰恰是它们的随机性，而让它们难以落地的也恰恰是它们的随机性，两者相互拉扯。
Rune Kvist [01:09:46]: 各位领导者站在这张桌子的哪一边，部分取决于 CEO 有多想靠宣称自己是 AI 原生来推高股价，以及我们必须愿意承担风险。我们看到，财富 1000 强公司的 CISO 们内心有着惊人的张力：一方面 CEO 说，“我们必须采用，否则就会变得无足轻重，而且如果你搞砸了，你就走人。”
Swyx [01:10:08]: 哎哟。
Rune Kvist [01:10:08]: 这就是我们一再看到的那种核心情绪张力。我们为他们解决的核心问题之一，就是把这种抽象的情绪性担忧转化为一个框架，某种程度上就是为这种担忧提供清晰度。
Vibhu [01:10:23]: 那么这里有没有……有件事我觉得我们略过了。我们谈了很多智能体语言模型，略过了世界模型。
Rune Kvist [01:10:31]: 嗯。
Vibhu [01:10:31]: 你们有语音方面的工作，和 ElevenLabs 合作，挺有意思。
Rune Kvist [01:10:34]: 对。
Vibhu [01:10:34]: 那生成式媒体呢？生成图像、视频，这个品类其实使用量很大。你们现在的政策里有涉及吗？是单独的政策吗？你怎么看这个领域？
Rune Kvist [01:10:46]: 嗯。
Vibhu [01:10:46]: 我们确实聊过一点版权，
Swyx [01:10:49]: 还有音乐。
Vibhu [01:10:50]: 对，音乐也是。
Rune Kvist [01:10:51]: 对。我认为那里出现的很多担忧要么与版权有关，要么与广义上的安全有关。比如可能是不适宜工作场合的内容，或者非常血腥露骨的素材，这些是核心问题。我们在这方面做过一些工作，标准里也有一小部分明确涉及这块。视频方面我们还没做太多。而且对于真正的生产环境，尤其是没有人工介入的真正生产，还有一段路要走。它显然会到来，但很少有人会直接把视频一键部署到互联网上。不过最终这也会发生。
Vibhu [01:11:33]: 我们看到比如 Luma 有 Luma agent，但仍然是相当强调人在回路中的。
Rune Kvist [01:11:37]: 对。
Vibhu [01:11:37]: 所以不只是
Rune Kvist [01:11:37]: 这完全合理，随着技术成熟，它会变得非常好，以至于人们不愿意再因为让人介入而拖慢速度。到那时，做出承诺的需求就会增长。
Swyx [01:11:52]: 为什么不干脆对所有事情都开预测市场？
预测市场与审计
Swyx [01:11:55]: 对吧？这很有 EA（有效利他主义）色彩。
Rune Kvist [01:11:56]: 是的。核心问题在于，预测市场依赖公开信息，而这里公开的信息并不多，基本只是内部人士在两边交易。
Swyx [01:12:06]: 嗯。
Rune Kvist [01:12:09]: 那是违法的。
Vibhu [01:12:10]: 也有泄露出来的信息。
Rune Kvist [01:12:12]: 是有泄露的信息。核心挑战在于，你往往掌握的是私密的敏感信息，却需要围绕它传达信心和信任。当然，对于某些命题，比如任何模型是否都能被越狱，你可以依赖公开证据，因为会有很多人说：“有大量研究，而且事实上所有模型都能被越狱，所以这个问题就解决了。”我觉得这很好。但对于，比如，这个尚未发布的新模型 Methus 到底有多强？
Rune Kvist [01:12:43]: 预测市场对此几乎说不出什么，因为实际上没有人知道。所以我认为这就是其中一些环节失灵的核心所在：世界上很多指导高层决策的信息是私密的，而且往往根本无人知晓。
Vibhu [01:12:56]: 我觉得人们喜欢预测市场的一点是，它回答的不是宽泛的问题，而是具体的问题，对吧？比如某个模型会不会在某个日期前做到这件事，或者某个模型能不能在那之前具备这种能力，对吧？
Rune Kvist [01:13:07]: 对。
Vibhu [01:13:08]: 这里有一点区别。
Rune Kvist [01:13:10]: 对。而且，如果你是比如银行的安全负责人，最有意思的问题往往是：这个产品，这个智能体，会不会做出某件我最关心的坏事，而且是在我最关心的具体场景下？问题在于，最接近的……这种信息可能在任何地方都不存在。预测市场汇总的是已有的信息。而这种信息可能并不存在，你想要的是非常具体的东西，并且愿意为此付费。这就是第三方审计的用武之地。我们同样不会用预测市场来判断上市公司的账目有没有造假，而是用审计。你或许也可以那样做，但信息本来就没那么容易获得，那样的话就只是凭感觉交易。其实挺想看看，2001 年的预测市场有没有预测到 Enron 破产，它们有点
Swyx [01:14:02]: 嗯。
Rune Kvist [01:14:02]: 你能不能从 CEO 的疯狂程度或其他特质，感觉出他们比别人更可能做假账？
Swyx [01:14:10]: 或者当时有足够多的内部人士把消息泄露出去，那么
Rune Kvist [01:14:12]: 这也有可能。
Swyx [01:14:13]: 对。我是说，这就是预测市场的理想愿景。有流动性充足的市场，什么都能交易。
Rune Kvist [01:14:20]: 嗯。
Swyx [01:14:20]: 然后你就能组合出自己所需的确切风险敞口来对冲。
Rune Kvist [01:14:24]: 是的。
Swyx [01:14:25]: 对吧？
Rune Kvist [01:14:25]: 对。我认为预测市场会带来大量新信息。所以问题主要不是二选一，而更多在于：预测市场擅长哪类问题，
Swyx [01:14:37]: 嗯。
Rune Kvist [01:14:37]: 以及哪些问题连内部人士都没有相关信息，没人真的能据此交易，需要先把信息生产出来。
AI 工程师认证与培训
Swyx [01:14:43]: 好，有一个出于私心的问题，然后再问一个关于 AIUC 未来的开放性问题。私心的问题是：你们有自己的标准，对吧？
Rune Kvist [01:14:52]: 是的。
Swyx [01:14:52]: 我办着一个大型的 AI Engineer 大会。外面一直有很多讨论，说我们要不要给 AI 工程师做认证。
Rune Kvist [01:14:58]: 嗯。
Swyx [01:14:59]: 培训项目，一级、二级、三级。我自己就是 CFA，所以我知道金融行业就是这么做的。
Rune Kvist [01:15:04]: 是的。
Swyx [01:15:05]: 如果我设有 AI 工程师一级、二级、三级，然后让他们和你们合作，会有帮助吗？我不知道。
Rune Kvist [01:15:12]: 如果你把最高层面的目标看作加速智能体的安全部署，那绝对会有帮助。因为现在经常发生的情况是，大家做出智能体，拿给决策者看，决策者提出一堆他们没想到的安全考量，于是它就不符合规格要求了，你得回头去加这些过滤器之类的东西。所以如果能把这件事前移，也就是所有人都知道自己要按什么规格去做，都知道评分标准，
Swyx [01:15:41]: 嗯。
Rune Kvist [01:15:42]: 要是他们已经受过培训，那就太棒了。所以默认情况下
Swyx [01:15:44]: 但评分标准是你们定的，对吧？
Rune Kvist [01:15:45]: 你再说一遍？
Swyx [01:15:45]: 评分不是我来定的。是你们，你们来定评分标准。
Rune Kvist [01:15:47]: 评分标准是我们定的。我觉得有价值的是，如果你能把这些变成
Swyx [01:15:52]: 培训项目。
Rune Kvist [01:15:53]: 培训项目，
Swyx [01:15:54]: 嗯。
Rune Kvist [01:15:54]: 让人们能够
Swyx [01:15:54]: 这你们没在做。
Rune Kvist [01:15:55]: 我们没做这个。
Swyx [01:15:56]: 嗯。
Rune Kvist [01:15:56]: 我认为做这件事是有价值的。
Vibhu [01:15:57]: 也有别人在做。我是说，不好意思打断一下，你知道的
Swyx [01:16:00]: 对。
Vibhu [01:16:00]: OpenAI 有他们的
Swyx [01:16:02]: Anthropic 也有类似 CCTA 的东西。
Vibhu [01:16:04]: 对。他们想要十万名经过认证、可派驻部署的顾问，对吧？
Rune Kvist [01:16:09]: 我确实认为这很有好处。如果有更多人懂得如何构建安全的智能体，我们会加速落地，而目前我们并没有在培训人员这一侧做工作。我认为这和我们的使命非常契合，只是我们的精力有限。
Swyx [01:16:24]: 我来告诉你我为什么没做。
Rune Kvist [01:16:26]: 好。
Swyx [01:16:26]: 不是我以前没想过。
Rune Kvist [01:16:28]: 是的。
Swyx [01:16:28]: 只是一旦做规定性的东西，
Rune Kvist [01:16:30]: 对。
Swyx [01:16:31]: 比如“这是你应该知道的”，那么我没有纳入的内容，就等于是你不需要知道的。
Rune Kvist [01:16:35]: 对。
Swyx [01:16:36]: 我就觉得，“这太糟了。”
Rune Kvist [01:16:37]: 是的，对。
Vibhu [01:16:39]: 不过我觉得，你们做的那件很有意思、也很有壁垒的事，就是那份有鲜明主张的 100 页报告，告诉大家什么才重要，对吧？也就是对获得认证所需满足要求的规定性定义。
Rune Kvist [01:16:55]: 对，我认为这是一种选择。这种选择对某些受众非常合适，比如你要把它部署到银行或医院之类的地方，边界清晰是极其有价值的。
Rune Kvist [01:17:09]: 在很多其他场景里，更偏实验、更多尝试才是更合适的做法。所以对我来说，你的想法完全说得通。而且你还得每隔三个月就重写一遍课程大纲。
Swyx [01:17:21]: 没事，我就是这么干的，没问题。不过说真的，对我来说，搞错并影响到某个人的职业生涯，是一份很大的责任。
Rune Kvist [01:17:35]: 对，我觉得你说得很对。我们很多工作其实是这样的：我们不想扛起……我们也不认为自己有能力扛起什么是安全、什么是不安全的“真正北极星”，但我们可以召集一个论坛，让你把这一切列出来。
Swyx [01:17:52]: 对。你们的联盟（consortium）很棒。
Vibhu [01:17:54]: 你觉得这件事能以某种方式众包吗？比如就你举的例子，什么才是 AI 工程师认证，对吧？这是个相当大的播客，人们有很多看法，也可以展开讨论。
Swyx [01:18:05]: 而且人们合理地存在分歧。那我有什么资格说这个问题是对的、那个问题是错的？
Rune Kvist [01:18:09]: 嗯。
Swyx [01:18:09]: 对吧？所以，我也不知道。
Vibhu [01:18:10]: 我们会有个出口。
Rune Kvist [01:18:13]: 嗯。
Vibhu [01:18:14]: 把你的挫败感倾诉给正在听的人，你知道的。
Rune Kvist [01:18:16]: 没错。我认为还有一点，承诺的内容非常关键。如果承诺是“只要你上了我的课，你就不会搞砸”，那显然做不出这种承诺。你可以承诺的是：“这里有一些每个人至少应该知道的重要内容”，剩下的部分需要你自己去补全。至少承诺的性质就变了。当然，如何传达这一点才能让人真正理解，也有些微妙之处。但我认为把这点拿捏好很重要，我们在中心里有一个专门的部分，讲什么是承诺、什么不是承诺，因为不可能保证不出任何问题。如果你需要保证不出任何问题，那你就没法使用前沿 AI，但你可以做出一些声明。
Swyx [01:18:56]: 对，没错。好。最后想问一个开放性的问题，AIUC 的未来走向哪里？我想你提到了模型方面、机器人方面。就是开放地谈谈，你们的未来是什么样的？
AIUC 的未来、招聘与通用红队测试
Rune Kvist [01:19:10]: 非常近期的话，我们现在已经开始与各个正在起飞的品类中的一些前沿公司合作，我们会继续这项工作，确保覆盖所有真正起飞的用例。我们看到，一旦市场上有第一个动起来，就会有很多人想跟进。我们认为，AIUC-1 最终会达到这样一个程度：所有财富 1000 强公司都会围绕这个标准来组织自己的风险流程。
Swyx [01:19:38]: 那你们已经有 50% 了吗？
Rune Kvist [01:19:39]: 不，我们今天还没有 50%。
Swyx [01:19:41]: 哦。
Rune Kvist [01:19:41]: 我觉得有可能在年底前，我们的联盟能代表财富 1000 强中的 50%。
Swyx [01:19:48]: 明白了。好。
Rune Kvist [01:19:49]: 这是智能体层面。然后我们认为是模型层面，它会带来……现在正在浮现那些最可能拖慢 AI 采用的担忧。接下来，我们认为机器人领域会排在后面。
Swyx [01:20:03]: 你们在招什么人？什么岗位最难招？
Rune Kvist [01:20:05]: 我们全面招聘，市场和技术团队成员的岗位都有。在我们技术团队里表现很出色的，是那些真正热衷于做全栈的人。比如我们开始与 Cursor 合作时，之前从没做过编码工具。于是要把标准扩展过去，充实长周期编码智能体的前沿评测应该是什么样，并把这个问题从头到尾做完：从与 Cursor 和这个领域的其他伙伴合作，一直到充实并塑造新版本的标准。所以真正全栈、有创业精神的技术人才在 AIUC 会如鱼得水。难点在于构建一个通用的红队测试者，从 Harvey 到 Cursor 以及两者之间的所有产品都适用，既有统一的方法论，也有统一的风险与攻击分类体系，而且要做到……我们认为这从根本上是做出一致承诺的最佳方式。JPMorgan 两家都在买。他们希望有一个框架、一种一致的产出方式，而要让这件事落地，你得处理现实世界的大量复杂性。我认为我们在其中很多方面有不错的答案，但执行起来确实有一些相当困难的工程问题。
Swyx [01:21:18]: 我能再追问一下吗？必须只有一个吗？为什么不干脆说：“好，我们 40% 的用例是编码智能体，所以我们专门做编码智能体”，这是其中一块。
Rune Kvist [01:21:28]: 对。
Swyx [01:21:29]: 然后，30% 是 RAG。
Rune Kvist [01:21:31]: 对。
Swyx [01:21:31]: 那就专门做 RAG。
Rune Kvist [01:21:32]: 对，我觉得这个问题有它的道理。
Swyx [01:21:36]: 嗯。
Rune Kvist [01:21:37]: 这取决于……我们发现很有价值的一点是：如果采购方的决策者，比如你是银行的风险负责人，你最大的风险不在编码、也不在客服这类最大的两个用例，而是在别的地方，你仍然希望确保这个框架对你迫切的问题能有所回应。否则你就赢不到那份信任。当然，很多迫切的问题确实跟着采用量走。所以很好，我们也是如此。我们今天确实没有覆盖每一个边缘情况，但我们有一个框架，可以把这些全部纳入其中。我们有一套全局统一、持续更新的风险与攻击分类体系。
Rune Kvist [01:22:20]: 每当出现一起前所未见的新事件，好，我们就去更新分类体系，把它固化进去。所以我认为我们有一套连贯的通用方法。这并不意味着我们在代码和某个小众用例上花的时间一样多。我们确实把时间花在人们关心的地方。我们认为拥有一种统一的语言是非常有价值的。
Swyx [01:22:43]: 嗯，有道理。这是个重要的选择。我们本来要结束了，不过我想到最后一个收尾问题，你可以随意理解。假设一年半之后，OpenAI 的五人秘密专家小组宣布我们已经达到了 AGI。
AGI、监督者与独立监督的必要性
Swyx [01:23:00]: 你预计你们的业务会改变吗？
Rune Kvist [01:23:03]: 不会。我认为在某种重要意义上，实验室之外最后留存下来的业务，
Swyx [01:23:10]: 会是承保。
Rune Kvist [01:23:12]: 嗯，有一件事是实验室永远无法为自己做的，那就是充当自己的监督者。
Swyx [01:23:19]: 说得好。
Rune Kvist [01:23:21]: 所以，如果你相信那种框架，即会出现高度集中，实验室会干掉所有创业公司，
Swyx [01:23:29]: 嗯。
Rune Kvist [01:23:29]: 这个我们可以展开讲讲利弊。
Swyx [01:23:32]: 我觉得实验室其实非常在意这个，对吧？当时有整个叠加态的讨论：当我们有了比我们更聪明的模型，再往上一层，更聪明的模型在训练它们，我们该怎么办。
Rune Kvist [01:23:41]: 对。
Swyx [01:23:41]: 实验室其实对此想了很多。
Rune Kvist [01:23:42]: 他们想得很多。我认为在这些议题上，最聪明的一批人就在实验室里工作。所以问题不在于他们在不在乎，而在于他们都会陷入一场竞赛，可能有动机偷工减料，可能有动机向政府隐瞒信息，等等。因此，有一条仿佛永恒的真理：你需要一个独立的第三方去检查这些数据，并分享信息，比如分享给政府。这更多是激励问题，而不是兴趣问题。我认为他们从根本上都在努力让这件事顺利发展。
Swyx [01:24:14]: 我没听到的是，AGI，不管这个标签对你、对我、对他们意味着什么，并不会从根本上带来质的转变，
Rune Kvist [01:24:23]: 对。
Swyx [01:24:23]: 在……
Rune Kvist [01:24:24]: 对。
Swyx [01:24:24]: 你仍然得评估这些模型。
Rune Kvist [01:24:26]: 我认为唯一会造成质变的事情是：按某些 AGI 的定义，它会被国有化，它会成为对主权的威胁。
Swyx [01:24:34]: 对。
Rune Kvist [01:24:34]: 到那时，也许每家公司都是政府，政府就是每家公司。我很难想象那样的世界。但到那时，你已经有点
Swyx [01:24:42]: 我们……我觉得我们动作不会那么快。
Rune Kvist [01:24:44]: 对。
Swyx [01:24:44]: 就是，我们并没有准备好那么做。
Rune Kvist [01:24:47]: 嗯。
Swyx [01:24:48]: 不过我在播客里已经讨论过很多次了。
Rune Kvist [01:24:51]: 嗯。
Swyx [01:24:52]: 说到监督者的问题，我还想提一下，因为我有金融背景，我经常想起《大空头》（The Big Short）里的那一幕：他们去找 Moody’s，也找 Standard & Poor’s。然后 Moody’s 的那位女士说：“如果我不给你 AAA 评级，你就会转头去 Standard & Poor’s。”
Rune Kvist [01:25:09]: 对。
Swyx [01:25:09]: 所以实际上，监督者是一种自然垄断，因为如果监督者之间也有竞赛动态，它们就会互相竞争，一路压低到最低的标准。
结语：保险公司、激励机制与信任基础设施
Rune Kvist [01:25:18]: 对。
Rune Kvist [01:25:20]: 所以我们之所以特别希望保险公司坐在这张桌子旁，原因之一就是保险公司是唯一不存在这种动态的角色，因为账单由它们来付。如果它们不断压低价格，
Swyx [01:25:32]: 对，你会……
Rune Kvist [01:25:33]: 它们也得为此买单。
Swyx [01:25:33]: 你会发现市场无法出清。
Rune Kvist [01:25:35]: 而 Moody’s 并非如此，如果它们给出的建议有偏差，并不需要直接买单。所以我们认为这种平衡因素相当重要。我认为这也说明了没有任何系统是完美的。你需要对 Moody’s 进行审视，当然也需要对各类监督者进行审视。
Swyx [01:25:52]: 太棒了。非常感谢你的耐心配合。这是一场精彩的对话，涵盖了方方面面。祝贺你们到目前为止取得的成功。
Rune Kvist [01:25:59]: 谢谢邀请。
Swyx [01:26:00]: 好的，太棒了。
Rune Kvist [01:26:00]: 非常感谢。