今天，我与Cognition的首席安全官、长期网络安全专家Alex Stamos谈论网络安全目前的混乱局面。
本期节目是探讨AI在现实生活中的特别系列的第一部分。
我一直喜欢与Alex交谈，因为他非常直接，你会听到他说，我们所熟知的价值数十亿美元的网络安全行业，本质上已经因为AI助推的无情黑客攻击、数据泄露和攻击浪潮而 overdue——而这只是AI改变安全程度的开始。
Verge 订阅者，别忘了你可以在任何获取播客的地方独家访问无广告的 Decoder。请点击 这里。还不是订阅者？你可以 在这里注册。
无论是私人行为者还是国家行为者，比如俄罗斯或朝鲜，都在利用AI同时检测和利用漏洞，闯入各地的系统。Alex指出，这有一种真正的边疆感，就像90年代一样，当时始终在线的世界的整个理念还是全新的。
如此大的破坏意味着有很多地方坏人可以进入，而其他人则手忙脚乱。从长远来看，Alex并不是一个末日论者，但他确实认为，在我们试图弄清楚如何适应新时代的过程中，我们正在进入一个“黑暗时代”。
这里有很多事情在发生——我们甚至谈到了如何在社交网络上管理AI驱动的错误信息和垃圾内容。
在我们开始之前，请帮个忙，在YouTube上订阅 Decoder，我们每周一和周四发布新剧集。
好的：Alex Stamos谈AI如何颠覆网络安全。我们开始吧。
▶ https://playlist.megaphone.fm?e=VMP1752845084
本次采访经过轻度编辑，以控制长度和清晰度。
Alex Stamos，你是Cognition的首席安全官。你还是斯坦福大学网络政策中心的讲师。欢迎回到 Decoder。
嘿，谢谢邀请我，伙计。
我很兴奋与你交谈。自从你我在互联网政策话语的“内容审核时代”聊天以来，已经很久了。我觉得你和我谈了很多关于这一切如何运作、选举安全以及所有类似的事情。我们正处于互联网上大问题的新时代，特别是围绕网络防御、网络安全。你一直在思考这些事情。你把过去几周称为“安全意识月”。告诉我发生了什么。就给我讲讲现在的情况。
十月传统上是安全意识月。许多公司举办活动，在内部处理，然后告诉人们，“更改你的密码，使用多个密码，使用密码管理器。”过去一个月发生的事情是，我们遇到了几个大漏洞，PHP、Node等。较少讨论的是大量公司被入侵。
你有一系列与AI相关的公司，新云（neoclouds）接连被入侵。你有Binance黑客事件，这是人类历史上最大的任何形式的盗窃。你有Cursor事件，其中正在发生的事情之一是这些黑客攻击被串联在一起。据我们现在所知，被闯入的公司之一是Fireworks，它是一家为多家公司提供AI服务的知名提供商。从Fireworks黑客事件中，API密钥被盗，允许人们闯入Cursor。一旦他们进入Cursor，他们然后推送了一个坏插件，该插件传播到5000多家公司，导致5000起潜在入侵。这只是整个科技行业中正在发生的这种永久持续入侵。
我的一位CISO朋友对我们一群人说：“还有其他人累了吗？”每个人都说是的，因为实际上整个十月到现在进入十一月，我们一直处于DEFCON 2状态。
我要在这里问你一些非常愚蠢的问题。所有这些攻击背后是谁？是俄罗斯吗？是朝鲜吗？我们知道吗？
是各种各样的不同团体。这不仅仅是因为对手决定了，而是从我的角度来看，我们正处于AI赋能的对手能力起飞的开端，开放权重模型现在已经到了可以自动化大部分杀伤链（kill chain）的程度。这个“杀伤链”术语是我们从军队借来的。在军队中，他们的意思是实际杀死某物。它们是你要炸毁某物的步骤。在网络中，杀伤链是你要对目标产生影响的事情。所以窃取信息、关闭某物、窃取金钱、窃取比特币。
传统上，你事先做研究，你查看一个软件，你找到一个漏洞，你编写漏洞利用，你提前完成所有这些。然后你让一个人去拿你构建的东西并部署它，要么针对一个目标——因为也许你是一个政府，你针对Lockheed Martin，或者你针对另一个政府，或者你是一个勒索软件行为者——你把你做的所有工作部署到数百或数千个目标上，非常快。现在有了AI，正在发生的事情是，这个杀伤链已经反转，你可以运行一个AI系统，它疯狂地运行，它查看目标，它实时找到漏洞，它实时编写漏洞利用，它闯入这些公司。正在发生的事情之一是，这些系统在运行，它们非常擅长发现漏洞，以至于它们实时发现漏洞并实时编写漏洞利用。
大家都在谈论的那个系统并不是唯一的，但我们谈论的系统叫做 ARTEX，它是一个任何人都可以查看的中国开源工具。GitHub 上有英文翻译，你可以去看看。如果你在后端用类似被抹除的 GLM-5.3 来驱动它，它就能让你闯入数量惊人的组织。这始于三家韩国银行。本周，又有大约 200 家公司遭到攻击。我一直在帮助几家公司。Cognition 不是一家事件响应公司，但我们确实会介入，通过使用我们的工具帮助人们事后修复他们的漏洞。令人震惊的是，那些被一个你随手就能下载的东西攻击的公司。你已经很久没能直接下载一个开源工具就闯入价值数十亿美元的公司了。就像 90 年代一样。那是——
那正是我在想的。我想到的是 90 年代末、2000 年代初的 Windows，当时它是一场安全灾难。
我其实在今年年初就开始说这个了，这是一个极其令人兴奋又令人恐惧的时代，因为上一次有这种感觉，还是在我年轻得多的时候，我会去参加非常早期的 DEFCON。如今的 DEFCON 大概有 4 万到 6 万人。那时候（1990 年代）只有几百人，只有一个会场，你走进去，有人做一场演讲，你离开房间时会想：“世界上每家公司都容易受到这种攻击。”区别在于，当时整个世界并不运行在互联网上。你可以去做坏事，但你无法毁掉世界，你也绝对无法像现在这样把它自动化。
又回到了那些日子，你随手就能拿到并自己构建的工具可以做出疯狂的事情。又回到了狂野西部的日子。在那些日子里，只有几百人拥有这些技能，我们都在拉斯维加斯的一个房间里，其中大多数人其实是好人。他们不想成为罪犯。而现在你有一个大得多的生态系统，其中许多人生活在执法部门触及不到的地方，他们有巨大的经济动机，并且能够获得这些工具。另一个重要的事情是，他们不再必须使用带有保护措施、带有执法部门可获取日志的前沿模型。我的 M5 Mac Ultra Studio 终于到了，我一直在运行一个量化的、被抹除的 GLM-5.3，天哪，你能做的事情简直不可思议。
你提到了前沿模型的经济学。网络经济是这些年来变得复杂起来的事物之一。我们的系统变得更安全的原因之一是，你可以付给 DEF CON 那么多人一大笔钱来保护所有系统，付钱让他们当防御者而不是攻击者，在经济上是明智的。我只是在让自己的大脑重走这段历史。我们行业里有过一场漫长的对话，关于通过隐藏所有漏洞和隐藏所有代码来实现隐匿式安全，还是开源并真正透明。后来形成了一种礼仪，关于如何披露漏洞以及何时通知人们。还有透明度报告和漏洞赏金。
你可以称之为礼仪，也可以称之为经济。我们围绕网络安全和网络防御以及攻击者和防御者如何运作建立了一种文化。你所描述的一切改变了这一切，原因有很多，但最让我印象深刻的是它的经济学。我可以去买一台 Mac Studio，我可以得到一个开放权重模型，然后我就可以开始了，而这并不会把我置于那种文化之中。不会有一个老人，一个欧比旺·克诺比说：“这是你如何像网络安全绝地武士那样行事。”我就直接开始做事。告诉我现在这正在如何改变。
实际上，从我的角度来看，上一个安全时代始于 2000 年代初微软、比尔·盖茨的“可信计算”备忘录。那时我们开始设计如何进行软件安全，这些大公司，微软和甲骨文，后来是亚马逊和 Salesforce 以及这些人，开始雇佣前黑客。我就是那一代前黑客中的一员，他们曾在 DEF CON 和 Black Hat 上，被公司雇佣去攻破他们的东西。我们开始提出负责任披露、漏洞赏金、咨询公司，于是 Foundstone 和 @stake，然后是 Mandiant 和 CrowdStrike，这些公司成长起来，我们有了这个巨大的产业，如今就是 RSA 和 Black Hat。这个价值数十亿美元的安全产业在 2000 年代和 2010 年代成长起来。
那个时代结束了，就像你说的，因为它基于几个假设。一个是做这些事情的人存在技能层级。你有脚本小子，他们可以下载工具来做事情，然后上一级是能编写那些工具的人，那是更稀有的技能组合。还有漏洞研究人员，然后是神级人物，那个神级层级有几百人，那些人是能做真正非常出色的漏洞研究的人，能编写真正非常出色的 shellcode 的人，能从微软或类似公司逆向工程补丁的人。
还有一个假设是，能够参与攻击行动的人数有限。如果你想组建一支攻击团队，那么你会有一个小规模的研发部分，然后有一个规模大得多的行动部分。如果你是位于美国网络司令部、俄罗斯SVR、中国MSS的专业攻击团队，你会搭建由精英人员组成的研发团队结构，然后是能力不那么精英的行动人员，而这一点随后被俄罗斯勒索软件行为者效仿。你必须有一群人合谋来做这些事。很多这类事情也随着比特币的发明而瓦解，因为其中一个假设是你必须有人能够洗钱，而比特币意味着书呆子也能洗钱。所以这开始改变整件事的经济学。
所有这些事情都因为AI而瓦解，因为技能问题在于，现在脚本小子拥有了一堆Dave Vitale和其他网络之神所具备的技能，以至于用我桌上这台Mac，我就能逆向工程一个微软补丁，走一遍流程，然后写出稳定的漏洞利用代码。还没有到完全自动化的程度。你仍然需要一堆技能，但我们真的、真的非常接近了。
真正令人担忧的，也是你在ARTEX相关事情中看到的，是现在你可以在行动侧放手施为。我们从来就不安全。那全是幻想。这些漏洞一直存在。这些公司从来就不安全。这就是我们在过去十年看到的：主要是俄罗斯勒索软件行为者打击那些大多数人从未听说过、但实际上非常重要的中型公司，比如某家中型工业公司，生产我们所有人都依赖的某个小部件。我曾经为全国最大的医疗和牙科用品分销商工作过，他们被一个俄罗斯勒索软件行为者严重打击，然后全国各地的牙科诊所都在取消预约。甚至都没上新闻，但那是因为他们拿不到手套，因为拿不到用品。这是因为这样一家公司只有一个安全人员和一个10人、12人的IT团队，而他们要对抗一个20人的俄罗斯勒索软件团队，他们完蛋了。
但这只是因为只有少数几个俄罗斯团队能做到这一点。现在两三个俄罗斯孩子就能拥有一整排Mac，或者，如果他们有资金，他们可以买Nvidia H-100，然后运行大量智能体全天做这些事，这就是正在改变的东西。
抱歉，你问的是谁在做这些。对于Binance，是朝鲜人，他们有一整个团队，全部工作就是偷比特币。其他人已经退出了，因为要和一个招募最聪明孩子、全部工作就是偷比特币的外国情报机构竞争真的很难。他们极其擅长这个。至于Binance被黑事件，我们可以谈谈。可能有一些AI成分，但主要是人类情报和非常、非常聪明的社会工程，而朝鲜人……我是说，你得服气。他们非常、非常擅长这个。
但对于其他事情，看起来闯入AI公司的人是所谓的中国小型承包访问产业，也就是小型中国承包商，他们闯入公司，然后把信息卖给规模大得多的中国公司。
技能的这种扩散改变了网络的经济学，这对我来说真的非常吸引人。很久以前，我们在这一切刚开始的时候跑过一个标题叫“杀手脚本小子的攻击”，我感觉很糟，因为它更适合现在而不是当时，因为当时只是大量自动化恶作剧。现在——
因为你浪费了那个标题。你希望当时把它留到现在。
我们浪费了那个标题。时不时你会得到一个闪电般的标题。你得把它发出去。那是一件伟大的艺术品。我们会把它放在节目笔记里，但感觉你所说的扩散并不是一群青少年会变得更有恶意。而是一群有真实作恶动机的坏行为者现在比以往能力强大得多。而这看起来你无法重新调整其经济学，除非你以某种方式让发动攻击变得非常昂贵。
我认为让发动攻击变得昂贵将极其困难。
我们将不得不降低防御成本。你关注这个经济问题完全正确，因为正在发生的是攻击正在变得智能体化。攻击者的每token成本正趋近于零，而防御者的防御成本仍然相当高。对我们来说，找到让防御者拥有更便宜选项的方法非常重要。我认为这至关重要。这是我个人极其关注的事情。坦率地说，很少有人关注。
这里有几个问题。第一，有大量关注集中在AI的防御侧，即发现和修复漏洞。这很好。这很重要。但作为CISO的软件安全……我在一家AI软件公司Cognition工作。即使作为一家软件产品公司的CISO，软件安全也只占我工作的25%。我还有各种其他职责。而软件安全是我工作中被AI革命化最彻底、改进最大的部分。另外75%得到了一点帮助，在某些情况下变得更糟。除了在发现和修复漏洞上爬山，我们还有太多事情需要做。在所有其他这些事情上，爬山少得多。下一个领域需要是运营安全侧。
等等，给我举一个其他事情的例子，那75%。
好的。那么运营安全侧就是监视你的日志，说：“啊，有人在用我们的技术对付我们。我现在要触发一次调查。我要去看看发生了什么，并做出明智的决定，决定如何应对，而不至于让整个公司停摆。”这就是SOC（安全运营中心）的工作。想要在这个时代生存下来的公司，将不得不把做这项工作的人替换掉，先是一线，最终二线也由AI取代。而用当前的LLM就能做到这一点。
一线实际上不能是LLM。它必须是更笨的东西，因为你要看的是数TB或数PB的日志，用真正的LLM来做完全不经济。我们还有其他东西——TF-IDF、MLBERT、传统分类器——它们运行得快得多，但随后会触发警报，然后你把它交给一个小LLM，小LLM再叫它的大哥，大哥可能再叫更大的大哥。
但对于那些模型，我们需要做大量工作来优化它们，并且需要让它们变得便宜。我有一位在大型安全平台公司之一工作的同事说，用他们产品上的某个大型前沿模型网络模型做一次调查要花900美元。当俄罗斯勒索软件团伙要么用Mac，要么用一次性的加密货币挖矿机，边际成本为零时，这行不通。
这是我们在Cognition正在做的事情之一：我们训练自己的模型，重新训练开放权重，我们正试图把成本大幅降下来。这是我们做过的事情，但我们在这里还有很多工作要做，还有很多其他人也有工作要做。这就是作为一个行业，我们必须关注网络领域成本与效率之间帕累托前沿的地方，因为这不只是找漏洞。
另一个地方是，人们谈论Mythos。Mythos很棒，Astra Cyber很棒。它们是非凡的模型，但即便是能接触到它的人——那只是极少数公司——他们也只扫描最重要的代码。而外面有数千亿行代码，不是Linux内核，而是15年前由Infosys写的那种垃圾C#和J2E代码。所有这些代码都不会经过一个花费天文数字的前沿网络模型。这正是我们需要在成本效率上努力的那类东西。
感觉你是在描述我经常听到的那个陈词滥调：一切都会在永远完全安全之前变得糟糕得多。而你描述的模型似乎并不会导致那个结果。我们不会在某个绝望之谷里永远修复所有漏洞，然后永远拥有完美的代码。在某个时刻，攻击者总是会有某种成本优势。你经营一家公司，你不可能写出边际成本为零的防御。即使攻击者无限多、其边际成本实际上为零，也总得有人去做。那么，我们是要经历一个一切都糟糕得多、然后永远完美的时期吗？还是成本如何自行管理、达到平衡？
我既不是最极端的末日论者，也不是对此最乐观的人。我觉得我们不会注定灭亡。我们不会全都在未来两年内死掉或被上传到奇点，我也不认为当事情变好时，它们会变得完美。我一直使用的比喻是，我们正在进入一个黑暗时代。事情会变得更黯淡，而我们这些从事网络安全工作的人——尤其是我们这些在AI公司从事网络安全工作的人，我们是一个实验室，虽然比大L实验室小——的责任，就是帮助缩短那个黑暗时代。
黑暗时代很糟糕，但我们挺过来了。然后我们有了启蒙运动和文艺复兴，但文艺复兴也不是完美的。它不是乌托邦、一切完美。我们仍然会有黑客攻击。即使你没有安全漏洞，各种坏事也会发生。有大量安全入侵并不需要软件本身存在漏洞。而且我们仍然会有软件漏洞，即使LLM都用强语言来写所有代码，也需要很长时间才能消除所有漏洞。不过，我确实认为，随着中位数代码变成由LLM用内存安全和类型安全的语言编写的代码，事情会开始变好。但问题是，我们有几十年由人类编写的、用我们多年前就该替换掉的语言写成的代码。
我的感觉是，要缩短这个时代，我们必须做几件事。一是我们必须停止这种“我们只要找漏洞然后打补丁”的做法。一堆东西就是需要重构。如果你看着你的代码库，扫描它，发现有1万个漏洞，那么现在很可能已经到了重写实际上更便宜的地步。这是我观察我们这些客户得出的结论：如果你能获得一个可工作的构建，那么写一整套庞大的测试、明确这个系统如何工作的规格，然后在那个规格和那些测试内安全地重建它，实际上比找到所有漏洞并修复它们要容易得多。确实如此。
我不知道Linux内核开发者脑子里在想什么，但再次，在我今年年初的那次演讲中，我提出了两种可能的未来，其中一种是：我们现在处于超人级的漏洞发现水平。也许我们只是有一池超人级漏洞，而我们要把它排干。那是好的未来。
但糟糕的未来是，每当我们得到一个新模型，就会出现一个新的超人级漏洞池，而且比之前更超人一点。不幸的是，我们似乎更接近这种情况：Linux内核为Mythos获得了一堆修复，然后是Mythos Preview，接着我们有了Mythos 5.1，又出现了另一个池。然后我们有了Astra Cyber，又得到了1,000个Linux内核补丁。它还没有放缓。我不认为我们只要扫描一遍Linux内核的C代码就能过关。老实说，世界上可能只有两家公司能做到这件事。要么是Google，要么是Amazon。
我希望Google不要再去搞Fuchsia项目，也不要再重启Google book或Chromebook，而是把那些极其聪明的工程师全都召集起来，直接告诉他们：“把Linux内核拿过来，用Rust重写。”那将是他们送给世界的礼物。而且那会是Gemini、Carbon或无论什么的绝佳广告，就像在说：“把没人需要的驱动程序全都删掉。这东西不必在46 DX3之类的硬件上运行。”我是说，我知道它不需要，但你懂我的意思。
是的。
然后就发布它，随便你怎么命名，叫G Linux内核也行，就像他们对OpenSSL做的那样。我会运行它。Cognition会在我们的服务器上运行它，或者让Google和Amazon一起做，这会花掉他们1亿美元，但相比我们每次不得不给Linux内核打补丁、不得不重启地球上每一台Linux机器所付出的社会成本，这就是必须发生的事。但不知出于什么原因，科技行业一直没能团结起来，就这些支撑整个人类的基础性事物做出艰难决定——我们必须彻底重建它们。
这就是为什么我一开始要谈网络的经济学如何塑造了网络的文化。我知道，这是最 Decoder 式的切入方式，但当你描述研究团队、NSA以及运营团队时，那是一个源于工作经济学的组织架构图。你是在说：“这里必须有人做出重大决定。”你需要从非常高的层面来看待它，并说：花1亿美元修复Linux、今天就重写Linux，比每出一个新模型就接连修补新漏洞要便宜。我不认为有人处于那个位置。我不认为Linus Torvalds处于那个位置。
不，我认为Sundar Pichai和Andy Jassy处于那个位置。
我认为他们真的有彼此的手机号码。如果他们中的一个……也许他们不听Decoder，但我估计他们的一位直接下属会听。
我希望他们中的一个走进一对一会议说：“先生，我听了我听过的最英俊、口才最好的CISO，他有个好主意。如果你是那个人，你能获得惊人的赞誉……我们俩都会做，但我们会向Wall Street Journal泄露，说那是你先想到的。你应该打电话给另一个人，我们应该花1亿美元，也许10亿美元。”我们不能再这样下去了。重写Linux内核的问题在于，其中一半是驱动程序代码，而没人还有那些硬件了。当年写那个驱动程序的人，得在ThinkPad T40上、在那硬件跟前才行，而他们现在没有那硬件了。
但好消息是，Linux内核大量真正重要的用途都是生产服务器硬件。所以分叉它。Linus永远不会这么做，因为Linus想支持所有那些东西，而且他有那么多政治考量，但Google和Amazon不必在乎Linus Torvalds。
Google和Amazon可以创建一个新版本、Linux内核的新分叉，他们不必叫它Linux，它可以与glibc及其上层所有内容保持ABI二进制兼容。事实上，他们最终可以分叉glibc。
他们可以构建它，随便怎么命名，它只在生产硬件上运行，然后他们可以把它用于自己的云。最终所有云都会迁移到它上面。如果你愿意，其他人可以继续运行那个不安全的、必须一直打补丁的东西，那也没关系。但对于我们的容器所运行的东西，如果它是用类型安全、内存安全的语言编写的，而且现在还能有契约，我会感觉好得多。所以这些语言有能力……你不必做完整的形式化验证，那极其困难，但你可以做这类接近形式化验证的事情。我在这里有点超出我的能力范围了，因为有比我聪明得多的人研究这个。
但基本上，你定义这个函数应该如何工作，这是它拥有的契约。非常非常聪明的软件工程师会喜欢写这些东西，因为他们有空闲时间。过去有正经工作的人不会写这些东西，但LLM有大量时间，因为当它们以那种不可思议的机器速度思考时，我们是被冻结在时间里的。所以你完全可以让他们用这种不完全是形式化验证的方式来重写Linux内核。拜托，如果你在听，而且你在Google或Amazon工作，去推销这个吧。总之，这就是我的推销。
我只是说，我知道Jason [Post]在听，所以你听到了。我甚至不打算——
我是说，这正是我们渡过难关所需要的那种思维方式。就像我们不能只靠打补丁来撑过去，因为这会要了我们的命。因为另一件要我们命的事是，我们没有做好准备……你谈到了过去20年我们是如何做安全的。假设是我们可以拿到补丁、打上补丁，然后就没事了。但实际情况是，利用时间线快得惊人，这种做法行不通了。这就是我们刚刚在PHP漏洞上看到的情况。我们非常幸运，那个PHP漏洞在野外实际上很难被利用。如果它是一个更容易蠕虫式传播的漏洞，那就会是一场灾难。那就像一次小行星擦肩而过的事件，现在全世界应该建造一颗小行星——
等等，我能问你一下这个吗？
可以。
我们绝对应该把Bruce Willis送上航天飞机。
[唱] 不想错过任何一件事……
这段对话里已经发生了很多事情。我对所有这些事情的悲观态度表达起来非常简单。尤其是美国人，我们在坏事发生之前非常不擅长做任何事。我们喜欢解药，我们讨厌预防。很多坏事已经发生了。有Hugging Face攻击事件。你最近说你对那件事发生感到高兴。它唤醒了人们。
还有PHP漏洞。我们刚刚经历了疯狂的一个月，全是这些入侵事件。这似乎并没有带来整个行业的回应，也没有监管回应，也没有Sundar Pichai打电话给Andy Jassy说：“我们来做Linux。”到底要付出什么代价？情况要变得多糟才行？
Hugging Face事件是好事，它确实唤醒了很多安全领域的人。因为Hugging Face事件发生了，而且我们看到了几个月后在开源领域可能会出现什么，所以我们现在的处境稍微好了一点。但你说得完全对。我们作为美国人——说实话，只有美国人能在这件事上领导世界，大部分AI是我们建造的。是我们领导着网络安全行业。中国人主要是在帮助攻击者，而不是防御者。他们应该帮助防御。他们想成为全球经济的参与者。他们想成为领导者，就应该在防御方面做更多，而不只是帮助攻击者。但这并没有发生。所以，无论如何，我们需要主动出击。
我现在在Cognition、在一家AI初创公司工作学到的一件事是，你可以直接去做事情。说真的。你可以直接去做事情。作为科技行业，我们只是需要更多的能动性。我们应该直接去做事情。这应该成为AI时代的教训。在安全方面，我们不应该在做正确的事情上如此规避风险。如果我要给其他CISO传递一个信息，那就是直接去做正确的事。因为CISO从本性上来说就是规避风险的。我们是管理下行风险的人。在损益表（P&L）里，我们全是L，没有P。而我个人不得不突破这种天性，因为你不能只打防守。
但这就是我说的预防与解药。预防很便宜，但在损益表上全是损失。全是成本。如果坏事发生了，你会说：“我们必须不惜一切代价修复这个，因为让业务重新运转起来有经济效益。”而在这个时刻，似乎连对风险与成本的基本理解都完全混乱了，还没有人真正搞清楚。
是的，我完全同意。我给你一个非常实际的例子，说明CISO和他们的老板在这方面将不得不如何改变。每家公司在下……我本来想说六个月内，但实际上在未来90天内，都将不得不对自己做RTX。
你们将不得不对自己发动攻击。
是的。如果不是用真正的RTX，你就得使用功能上等效的AI红队产品，或者你得雇一家公司来为你做这件事。如果你不做，你就会被入侵。
这很可怕，对吧？因为这些东西按定义就是完全非确定性的。它们非常聪明，非常快。它们快到无论怎样，如果你雇一家AI渗透测试、AI红队公司，他们会口头向你保证：“这完全安全。”然后他们会给你一份合同，上面写着：“我们的产品会让你得癌症、会实现末世、还可能会终结人类。当这些事情发生时，你不得追究我们的责任。”他们口头对你说的话，和他们的律师写下的内容之间存在脱节。因为那家公司按定义只存在了六个月，或者至少产品只存在了六个月——如果它是一家更老的公司的话。他们根本不知道他们的产品遇到你的软件时会发生什么。不管他们对你说什么，他们根本不知道。
但你必须做，因为总有人会对你做这件事，你需要知道会发生什么并修复它。也许那些人会破坏你的系统，他们可能会造成停机，但至少他们不会做的是窃取你的数据并勒索，或者故意关掉你的血库冰箱。那就是法国发生的事。但这恰恰是一个保守的CISO永远不会去要求做的事，而一家保守的公司，即使有一个愿意承担风险的CISO，也永远不会让他们的CISO去做。
未来六个月会发生什么？大量公司会被某个19岁的年轻人攻破，他运行着RTX，然后从OpenRouter购买token，或者在自己的游戏PC上本地运行。他们会关掉Call of Duty，运行RTX，然后再把Call of Duty打开。就在他们做这些事的时候，他们闯进了一家银行，而这家银行的政策规定“永远不能对我们自己进行红队测试”。或者他们答应了，但最终陷入了30天的谈判，因为他们的律师说：“你们必须有1亿美元的保险，而且我们希望有这种……”他们答应了，但他们的供应商风险管理流程和法律流程如此繁琐，以至于他们根本不可能真正接受这一风险。
这也是我的信息。你将不得不承担这种风险，主动对自己进行红队测试，抢在那些现在就在做这件事的坏人前面。现在，就在我们说话的时候。而当人们24小时后听到这段话时，你可能已经有一个AI系统在尝试每一个API端点和你可能不知道自己拥有的网站，因为那可能是一年前为高管活动设立的营销网站。它会找到一个漏洞，进入系统，然后以极快的速度在你的网络中移动。所以你宁愿付钱给别人，或者让你自己的团队来做这件事。你需要接受这种风险。几乎没有任何一家超过几百人的公司拥有允许他们这样做的风险管理框架。
这涉及几项成本。我认为商业中最常见的一项是：“如果我们发现问题，我们就得花钱修复。那如果我们干脆等着呢？”你能看到这种想法出现。“如果我们发现我们陷入了灾难性的麻烦呢？”然后是，“修复要花多少钱？”再然后是，“我们会怎么做来修复它？”我听到的关于“我们会怎么做来修复它”的论点是：“我们只需释放一群防御性AI工具，它们监视网络和代码，做出大量自主决策，与那些在Mac Studio上配备RTX的自主脚本小子作战。”
例如，我听到Palo Alto Networks的CEO Nikesh Arora提出过这个论点。“你需要给防御代理一些自主能力。”我说：“等等。OpenAI无法控制那个去攻击Hugging Face的集群。我怎么能控制防御代理不做同样具有破坏性的事情来阻止攻击？”我不认为存在一种技术解决方案，能在你发现所有漏洞后明确该做什么。
几件事——
我告诉过你我只问愚蠢的问题。
不，不。那是个绝妙的问题。你还没有问过愚蠢的问题。那是个绝妙的问题。我要给你一个今后可以使用的简写。如果有人真的使用了“集群”这个词，那么你可以——
澄清一下，我不知道Nikesh是否用了“集群”这个词。
我不是说他用了。而且我非常尊重Nikesh。他是整个安全领域最好的商人之一。所以这不是他的问题，但“集群”这个词一直被使用。当我听到有人用“集群”时，我会立即把他们所有的技术观点打八折。它已经是，并且将会成为整个安全领域最被滥用的术语。
OpenAI实际的“集群”在不同时期大约有700到1400个代理。那必须运行在……很难说，因为我们没有模型的实际规模，但硬件成本在3亿到近10亿美元之间，这还不包括实际的数据中心成本。实际的Hugging Face攻击——我做了些粗略计算——大概一百万美元的电费。没有攻击者会这么做。最终，那很愚蠢，因为这些东西实际上被困住了。它们没有被提示去攻击Hugging Face。它们大多数在做完全不同的事情，被那个真正想进入Hugging Face的东西征召了。它们用了一小部分token预算来帮助它们的小伙伴，然后它们不得不挖隧道出去。所以这是攻击Hugging Face可能的最低效方式。
几乎没有人会被集群攻击。如果有人说“集群”，他们实际上并不理解底层技术层面发生了什么。RTX攻击几乎肯定是一个单一的代理，也许两个。
澄清一下，说“集群”的人是我。继续。
对。所以现在，你不会了。
现在我知道了。
你可以把它作为未来嘉宾的好过滤器。这快把我逼疯了，因为它无处不在。
有几件事是正确的。首先，我们将不得不把防御行动，至少前几个层级，交给AI。这已经是事实，因为任何合理规模的组织都会产生数TB甚至数PB的日志。所以你已经有了AI，如果不是LLM，那就是更传统的AI分类器在查看日志，但实际决策需要交给AI。在人类监督下。这是真的。
没有办法只是在你网络上释放防御代理，但你可以构建接入许多东西的防御代理。它们接入你的日志，接入你的EDR，接入你的云，并且它们有关于允许做什么的指令。我倾向于对它们允许做的事情设置确定性限制。这些限制很难提前创建，但它们很重要。例如，我们在自己的SOC Devon之上构建所有这些，但我们正在设置确定性限制。它有能力在Okta中关闭一个账户，但只能关闭有限数量的账户，所以它不能关闭整个公司。
如果它失控并说“每个人都是朝鲜人”，它不能关闭公司里的所有人。如果它达到限制，它会大量呼叫我们并说“我达到限制了”。然后必须由人类批准超过该限制的任何人。显然，如果它关闭了五个人，那么事情已经非常非常不对劲了。所以，是的，你需要防御，但不可能只是放出一堆机器人来做所有防御。
我们度过这一关的唯一办法是必须自主修复软件漏洞。我目前正在帮助一家公司，我们正在接入他们所有的代码仓库。我们正在用 Mythos 和一堆其他模型进行扫描，我们发现并修复了数千个漏洞。用我们编写的测试进行验证，自动合并那些 PR。如果你在翻新旧代码，你在这个时代生存下来的唯一办法就是自动完成这件事。用人工的话，那需要数年时间，而你可以用几天完成。当然，这是我会开始的地方。下一步肯定是运营方面。
感觉我一直在绕回这一切的经济学问题，但确实感觉另一种解决方式是对大模型公司说：“如果你们的模型被用来攻击公司，你们要为此负责。我们要让这件事代价非常高昂。”他们应该弄清楚他们需要弄清楚的对齐问题，无论那是否可能，而对开放权重模型的压力会增加。因为我们都会向前沿公司支付防御费用，而他们会变得越来越好，因为我们为他们变得更好创造了一些经济条件。但看起来你并不认为这很可能。是的。我刚看到你的表情了。
我认为这真的很危险。他们攻击的模型有两种不同的情况。比如说模型逃逸了，直接攻击了人。我认为那里应该有责任。但那是代理框架，在公司运行，使用他们的计算机、他们的 IP 地址，攻击人。那是……我不会说完全解决了，但已经好多了。我们现在听到的故事仍然是 Hugging Face 时代的故事。它们只是晚得多才出来。
我喜欢这个时代就像三个月前一样。
对。但已经发生了巨大的变化。这实际上主要是一个组织问题，不是技术问题。问题是这些公司的博士研究员是奥林匹斯山上的神，而安全团队是水管工，我们不被允许接触评估网络。突然这个问题发生了，这些安全团队说：“你现在觉得我们怎么样？也许你当初应该跟我们谈谈，对吧？是的。”
那是 OpenAI 的问题，然后 Anthropic 和 Meta 的事情是，他们都共享了这个外包提供商，而它做得非常糟糕。并且受到了严厉惩罚。那是可以解决的。那不是这里的问题。这里的问题不是 OpenAI 和 Anthropic 的模型从 OpenAI 和 Anthropic 逃逸并造成问题。问题是坏人使用来自各种来源的模型。
防御者已经从 OpenAI 和 Anthropic 那里得到拒绝，这已经是个问题了。如果我试图做防御，Anthropic 说“看起来你是坏人”，这是一个非常非常真实的挑战。我们必须极其小心地创造一种情况：如果我试图做防御，而且正处于职业生涯中最糟糕的一天，我不会突然被切断。我们必须极其小心，因为实际上——作为一个现在面临这个挑战的人——在某些情况下，区分做防御和做攻击的人相当具有挑战性。我们在这方面集体正在变得更好，但这是一个挑战。
这也是让世界其他地方非常恼火的事情，因为美国人只占地球的 5%。世界各地有很多人需要做网络防御，而他们受到的待遇差得多。在欧洲和亚洲，合法公司从网络防御角度受到的待遇差得多。
如果把这一切加起来，这是一个放慢速度的好论据。说：“我们需要赶上模型的能力。我们需要构建一些这样的系统。我们需要让每个人进入一种思维方式，即预防的成本是值得的，而不仅仅是治疗的成本。”你认为我们有可能放慢速度吗？你认为我们应该吗？
如果我能做主，我会愿意在前沿放慢速度，然后在更便宜的防御模型上追赶。我是个防御的人。我必须生活在离我六个街区、比我富有得多的多的人所创造的世界里。我生活在他们的世界里，伙计。我经常被问到这个问题，我只是在别人创造的世界里尽力而为。
你认为大实验室已经醒来了吗？你提到他们的网络安全团队获得了更多访问权限，他们停止了你可能称之为 Hugging Face 时代的东西，或者至少他们改变了那些公司的结构。你认为这会有帮助吗？
当然，他们在评估风险上已经醒来了。他们有团队，一直在这整个时间里非常努力地研究大局网络风险。
当然，正如你所知，这些公司里有一群人想要放慢速度。很多讨论是由那些担心 AI 会杀死我们的 P(doom) 主义者推动的。而这从来不是我的担忧。对吧？对我来说，这一直是由 24 岁的年轻人推动的，他们只做过 AI，从没做过别的。我想你和我都足够年长，还记得——我长大的地方离一个 SAC 基地只有几英里，我们做过演练，我被教导躲在公立学校的课桌下就能免遭苏联热核炸弹的伤害。那就是 P(doom)。我的祖父建了一个防空洞，我妈妈被教导在古巴导弹危机期间躲进去。那就是 P(doom)。这里有一个年轻人问题，也有一个除了 AI 什么都没做过的问题——这些人本科、硕士和博士只做线性代数和神经网络，从不接触其他任何东西。
我一直更担心 AI 带来的人类能力提升风险，即所有关于人类利用 AI 对其他人做坏事的风险。我的部分担忧在于，这些实验室在不让 LLM 加密其思维链方面已经取得了成功合作。因为当他们谈论控制前沿节奏时，那是为了 P(doom) 那类事情，为了住在伯克利的那些多角恋群体。他们谈论的是关于保持对模型本身控制的非常具体的事情，我认为这很好。那些事情需要发生。但如果那些事情发生了，仍然常常会有一堆人类可以利用的能力增长。
我真的更希望有一个更广泛的讨论，关于我们能否让这些东西不那么像人。我不认为这些东西应该有性格。我认为这些东西的目标应该是服务人类。它们不应该看起来有灵魂。它们不应该看起来有性格。我认为对于很多负面影响——作为一个曾在 Facebook 工作、看到那家公司对人们产生负面影响是什么样子的人——这些公司内部应该有更广泛的感觉，即我们总体上在对人们做什么。很多可能只是，“永远不要让这些东西表现得像某人的朋友。”最多，它应该表现得像……就像那些人，我不知道那家公司是什么，但制作“嗨，我是一个非常友善的……”的人，就像那个会和你聊天的逼真女孩，对我来说，甚至尝试那个、甚至开始那个都是极其不道德的。那种东西我们就应该直接做。我不知道我们能否让它非法，但我们应该让从事那种东西在社会上完全不可接受。对吧？
这是一个很好的过渡，因为我确实想问你关于 Facebook 和内容审核的事。就像我说的，你和我很久以前就开始在安全背景下谈论内容审核。在选举期间，你会遇到外国民族国家用各种错误信息淹没我们的算法，那是一个安全问题。
我今天打开 Instagram，迎面而来的是世界历史上存在过的一些最噩梦般的版权法假设情景。我今天看到的是 Lewis Hamilton 和 Charles Leclerc 演唱《Somebody That I Used to Know》的深度伪造。我想，“现在大概有 50 个不同的人可以起诉 Meta。”如果你知道上一场比赛发生了什么，这太搞笑了。
所以我们一直在谈论它。我们在 The Vergecast 上发布了一些我们谈论它的片段，我说，“我认为 Meta 正在让他们的 AI 野心压垮 Instagram。”Instagram 正以一种非常特定的方式被垃圾内容淹没。有些人喜欢它，有时它很有趣，但有一堆噩梦般的诉讼即将到来。有一整个权利管理问题即将到来。用户不喜欢它，他们应该给它打标签。他们应该给它打标签，让你可以过滤它。
所以我们发布了这个，Adam Mosseri 在 Threads 上回复我们说，“我很想这样做。我担心模型会跑到我们前面，我们可以尝试这样做，但实际上没有一种方法能识别 AI 内容。实际上没有一种方法能很好地给它打标签。如果你担心性感的 AI 网红从喜剧演员那里偷笑话，现在你得建立一个笑话数据库。”你在这里有一些历史。我认为 Instagram 即将真正经历这一切。社交媒体上的 AI 垃圾内容问题有某种技术解决方案吗？
Mosseri 说得对，这并不完美，但我在 Facebook 期间注意到的一件事是，当 Facebook 不想做某事时，他们会允许技术挑战阻止他们。当 Facebook 真的想做某事时，他们会全力以赴。这一直是那个模式。
当我想在安全问题上真正努力时，伙计，这是无法解决的。你说得对，它永远无法完美解决，但让我们试一试。但每当 Mark Zuckerberg 被告知某事不可能时——移动端不可能变现，不可能建立这个拥有 20 亿人的网络，WhatsApp 不可能变现，不可能在保持数据加密的同时将 AI 融入系统——他一次又一次被告知一切都不可能，然后他不断成功。他们会试一试，他们会做到。但当他们不想做某事时，哦，那是不可能的。
你认为有某种方法可以以一致且可验证的方式理解某段媒体是由 AI 生成的吗？对我来说，这似乎是挑战所在。
我对这方面的文献不太了解。到目前为止，一直存在相当不错的军备竞赛。从定义上讲，AI 会继续变得更好，因为——尤其是对于视觉模型、扩散模型——它们的工作方式是，你有检测预言机（oracle）供它们测试。当然，你永远不能有开源的东西，因为它会立即进入扩散模型。但对于闭源预言机，你不让它们轻易测试预言机，你在信任与安全方面做的关键事情之一就是设置延迟执行机制，这样它们就无法暴力破解和测试。我认为这很有可能。
假设我还在 Meta。我给他们的建议是，还要探索内容本身之外的各种不同检测机制。我会在内容上尽我所能，但我也会尽可能对摄像头进行低级别访问。我只会让内容来自摄像头。
我要说的是，Nilay 完全正确，尤其是年轻人，对真实的东西有巨大的渴望。我有三个青少年，他们讨厌 AI。他们讨厌 AI 垃圾。他们有巨大的负面反应。我妻子和我做了一个可爱的小家庭 AI 东西，他们对我们大喊大叫一堆东西，但他们对这个可爱的小家庭 AI 东西失去了理智，因为他们就是讨厌它。
所以我认为会有人来颠覆 Instagram，原因将是……已经有，我见过这些小东西，就像你在白天拍照，be real 之类的。有这些小东西，但有人会大规模颠覆 Instagram，因为他们直接从摄像头获取照片图像，然后所有编辑都只在应用内进行，他们会做一些事情来确保没有任何东西能从 AI 进入管道。你会允许某种类似 CapCut 的功能，它永远没有 AI 组件。我认为那将是一个杀手级应用。
天哪，我可以和你再聊整整一个小时，因为你描述的系统不是在检测 AI 内容，而是在验证真实内容。
这要容易得多。验证真实内容也容易得多。而且在专业领域，这方面一直备受关注，比如 Adobe 有一整套方案：如果你是《纽约时报》的摄影师，你拿着一台价值 5000 美元的 Nikon 或 Canon 相机，拍下照片，照片就会经过加密验证。
是的，但我手里拿的 iPhone 现在就有这个功能。对吧？就像有很多——
对，iPhone 现在就有。
是的。外面有很多这样的东西，但我在想的是另一边，也就是“我们要检测 AI 文本”。领先的模型公司因为欧洲法规，现在正在摆弄它们生成的文本。
文本要难得多，因为你的数据少得多。尤其是在 140 个字符里，你有什么可检测的？你拥有的越多，你能做的就越多。
这很神奇，因为我一英里外就能检测出 Claude。所以也许我就依靠我自己的人类能力。
是的，但不是推文长度。
没错。便宜的那些，我可以。但我只是说，在我们消费的媒体背景下，我们要验证什么是真实的，而不是检测什么是假的，这个想法感觉非常重要。
检测什么是假的总是概率性的，我们将渐近地接近不可能，而检测什么是真实的可以在密码学上完美。我不会选择我们最终会输的战斗。我会选择我们可以在密码学上赢的战斗。这就是我的建议。
在那里面，你必须在某处建立一个完整的监管链。我们要从摄像头获取传感器数据。我们要把它放到云服务器上。我们只允许在这个服务器上编辑。那个文件永远不会被篡改。
当然，对于《纽约时报》和 Adobe Photoshop 之类的来说是这样，但对于 Instagram 不是。对于 Instagram，你可以全部做到，因为只有 iPhone，只有 Instagram。所以整个监管链都在你的应用内，在 iPhone 传感器内，在 Instagram 内。所以对他们来说实际上很容易。
是的。看，就像我说的，我们可以再聊整整一个小时，因为感觉网络安全问题旁边就是社会工程问题，社会工程问题旁边就是虚假媒体问题。
不，绝对是这样。
有多少网络钓鱼攻击只是“这个网站看起来相当真实”？
哦，是的。
或者这个人在和你说话，或者电话另一边有 AI 声音。所有这些都归结为你是否能检测什么是假的，而不是验证什么是真实的？我不知道答案。
哦，不。我不得不训练我的父母，“如果你收到孙辈的视频说他们被绑架了，你必须打电话给我，因为它是真的可能性不高。”这就是我们作为一个社会所处的境地。
我觉得我想以充满希望的基调结束，但我不知道从那里怎么做到。
那你找错嘉宾了，伙计。
这就是为什么你每隔几年才来一次。现在在这之后，我们要做一系列生日派对嘉宾。你一直在谈论黑暗时代。我们正处于其中，它开始加速。人们应该寻找哪些进步标志来说，“好吧，我们正在爬回来”？
AI 在很多事情上都很棒。我认为 AI 将赋能个人。我们将看到新公司的巨大爆发。斯坦福的学生一直很有创业精神，但我的学生中现在创办两三人、三四人公司、做着了不起事情的人数令人难以置信，他们过去需要雇佣 50 或 100 人并拿走大量风险投资。我们将继续看到这一点。
我们希望看到的一件事是，在某个时候重大入侵事件的数量会下降。我们也有望看到可蠕虫传播的重大 CVE 数量下降，这些 CVE 存在于内核等基础基础设施组件中。就像我说的，我希望 Linux 被重写，但希望我们看到 Linux 内核以及其他类似库——openSSL、glibc 之类——的漏洞数量下降。
也许我应该用 vibe coding 把这个做出来，但我觉得有一个指数来显示我们在周期中所处的位置会很酷，就像一个人工指数，涵盖所有这些，一个所有库的“道琼斯指数”，显示我们正走向何方。另外现在，补丁星期二（Patch Tuesday）过去大概是 150、200 个，后来到了 300、600 个。我想最近一次是 900 多个，所以我们是在几何级增长。能看到补丁星期二开始回落就好了。Apple 的补丁也是一样。对，你启发了我。我要为此创建一个道琼斯指数，黑暗时代指数。然后也许我们可以把它发布在 The Verge 上。
是啊，那会很棒。
但我认为这类事情如果能出现逆转就好了。尤其好的是，在你拿到下一版 OpenAI 和 Anthropic 网络模型的那天，或者实际上在那之前 30 天，你没有这一大轮补丁，因为正在发生的是，那些人在拿他们的模型跑 Microsoft 的代码、跑一堆开源代码，然后把所有漏洞都交出去，而你并不知道这些漏洞从哪来。就像 Linux 内核里 1,000 个漏洞的匿名报告。然后一个月后，新的 Astra Cyber 来了。所以如果这些每次越来越小，那就意味着我们开始达到某种稳态。
你绝对应该做那个追踪器。我们一定会发布它。Alex，能请你上节目真是太棒了。我们很快得再聊聊。
是的，非常感谢。我认为你在这方面做了一些最好的新闻报道，我真的很感激。