《特定常规武器公约》是一个聚焦致命性自主武器系统的国际论坛，每年在日内瓦联合国总部举办两次。2017年11月，当布兰卡·马里扬参加该论坛时，她以为这为期五天的会议——主要讨论各种假设情形，设想一个由杀手机器人作战的世界——会一如既往。毕竟，这是一些人认为可能永远不会被开发、也大概率永远不会部署的技术。但她很快意识到，那一年有所不同。那个遥远、想象中的未来，突然比以往任何时候都更近、更真实。
AI 战争已经到来
Anthropic 与五角大楼的争斗凸显了自主战争的风险——但也掩盖了它究竟有多近。
第一天，一些与会者观看了一部由生命未来研究所制作的短片《杀手机器人》。视频中，一家虚构的国防承包商向观众推销一款 AI 驱动的无人机，它能在无人协助的情况下以精确打击杀人。“他们过去常说，枪不杀人，人杀人，”其 CEO 对观众说。“但人不会。他们会情绪化，会违抗命令，会瞄不准。让我们看看武器来做决定吧。”马里扬回忆说，房间里的气氛突然变得忧虑起来。最令人恐惧的不是这个设定——而是五角大楼已经在开发这种技术的一个版本。
那次会议是在“梅文计划”启动后举行的第一次会议。“梅文计划”是美国国防部的一项倡议，利用 AI 分析无人机监控画面。到 2017 年底，梅文计划已经有一家大型科技公司加入：谷歌。“我们当时讨论的系统并非未来主义的，”马里扬说，她是 Project Ploughshares 的高级研究员，这是一家以和平为重点的独立研究所。“它们是现有的平台，具有一定程度的自主性，或者能够根据传感器数据和传感器输入选择并攻击目标。”
世界已经见识过无人机战争——由人类指挥的致命机器。现在，它正面对一个人类可能被完全排除在回路之外的未来。“我们担心的不是这些终结者式的人物，而是自主性的赋能真正带来的后果，”马里扬说。
美国军方数十年来一直支持 AI 发展，而 AI 也反过来改变了战争
近十年后，各国军方尚未开发出完全自主的致命武器。但这些系统正处于美国政府与 AI 初创公司 Anthropic 之间一场近期高风险争斗的中心。Anthropic 试图守住两条“红线”：禁止国内大规模监控，以及禁止能够在零人类参与下识别、追踪并击杀目标的武器。自今年年初以来，它已成为唯一一家对专家所称的 AI 战争最后前沿之一施加实质性限制的军事 AI 承包商。
但在不断变化的联盟、诉讼和戏剧性事件中，人们很容易忽视更大的背景——人工智能早已深深植根于军事之中。七十年前，新罕布什尔州科学家之间的一次夏季会议让国防部开始注意到人工智能在战争中的潜力。自那以后，其影响力每十年呈指数级增长。尤其是近年来，人工智能促成了比以往任何时候都更多、更快的杀戮。
就连 Anthropic 似乎也认为自己的红线不会维持太久。毕竟，历史已经证明并非如此。
美国军方数十年来一直支持人工智能的发展，而人工智能也反过来改变了战争。在 2000 年代，这项技术已能解析全球范围内收集的前所未有数量的数据，掀起了一场监控革命。到了 2010 年代后期，先进的人脸识别和其他复杂的机器视觉系统得以发展。
Anthropic 与五角大楼之间的争斗，让人们注意到这些系统日益增长的力量。这场争斗始于 2026 年 1 月，当时国防部长皮特·赫格塞思要求重新谈判国防部现有的人工智能合同。这些条款取消了所有灰色地带或此前商定的条件，允许五角大楼在“任何合法用途”这一模糊而宽泛的范围内使用这些公司的技术。Anthropic——当时唯一获准将其技术部署在五角大楼机密网络上的 AI 公司——表示反对。
就连 Anthropic 似乎也认为自己的红线不会维持太久
像 Anthropic 这样的承包商对其技术的具体用途设限，实属罕见。“它不是曼哈顿计划那种政府创造的技术，”也不是诺斯罗普·格鲁曼那样的传统军事供应商，加州大学伯克利分校公共政策副教授安德鲁·雷迪说。“当你让这种初创企业生态系统直接与五角大楼打交道时，这就是暴露出来的痛点之一。”他说，即使在硅谷内部，对于何时应该设限也存在“大量分歧”。
谁将获胜也尚不清楚。作为一种谈判策略，国防部在 3 月将 Anthropic 列为军事供应链风险，总统唐纳德·特朗普宣布禁止所有政府机构使用其 Claude 系统。此后，随着 Anthropic 推出专注于网络安全的模型 Mythos，双方关系显然有所缓和，但一场法庭之争仍在进行中。Anthropic 拒绝就本文置评。
无论如何，这场辩论以一种新的方式将“完全自主武器”带入了公众话语。但人工智能在军事行动中悄然增长的影响力，数十年来从未放缓。
“我们其实已经越过了卢比孔河，却假装没有，”雷迪说。
争论的核心是《国防部指令3000.09》，这是为数不多规范致命性自主武器使用的政策之一。该指令最初于2012年制定，它将此类系统定义为“一旦激活，无需操作员进一步干预即可选择和攻击目标”的系统。并规定，全自主和半自主武器在设计上都必须允许人类对武力使用行使“适当程度的”判断。
该指令确立了“战争中使用自主性的首个政策”，生命未来研究所人工智能与国家安全负责人哈姆扎·乔杜里表示。
“即使没有完全自主，人工智能也将杀伤链压缩到仅需几秒钟。”
然而，根据你如何解读这一定义，某些导弹防御项目可能几十年前就已越过了这条线。以“密集阵”近防武器系统为例。它是一种类似巨型枪炮的自动化武器系统，旨在保护海军舰艇免受来袭导弹攻击。如果有人在回路中，这类系统就无法工作，因为它必须在毫秒级时间内做出响应。
一些专家表示，区别在于这些系统仅在防御性的固定环境中运行。按照这种解读，它们是在交战，但并非在决策——只是对来袭威胁做出反应。“该法规中‘和’字大有文章——我们有能决策的系统和能交战的系统，但不能有两者兼而有之的系统，”雷迪说。
“即使没有完全自主，人工智能也将杀伤链压缩到仅需几秒钟，以至于人类实际上无法做出国际人道法所要求的评估来防止平民伤害，”科技正义法律组织法律研究员麦迪·巴特说。“当人类未能做到这一点而导致平民死亡时，那就是战争罪。”
进攻与防御之间的界限也很模糊。“我最喜欢和学生做的练习之一，就是展示一种军事技术，然后问：‘这是防御性的还是进攻性的？’”雷迪说，并以发射井中的核武器为例，有人会认为它是防御性的，因为用于威慑，也有人会认为它是进攻性的，因为其设计用于打击外国目标。“仅仅因为其主要功能……本质上是防御性的，并不意味着该技术本身就是防御性的。”
某些导弹防御系统可能几十年前就已越过了自主回应的界限
普渡大学教授索林·亚当·马泰更为直言不讳：“你不能只靠防御来打仗。”
2023年，政府的首席数字与人工智能办公室（CDAO）——即国防部所有AI行动的核心枢纽——发布了国防部指令3000.09的更新。但这并未解决该文件的核心模糊之处。2024年，拜登政府发布了一份关于AI与国家安全的备忘录，为在某些国家安全场景中如何使用AI制定了规则——而目前，即便在特朗普治下，该政策依然有效。但五角大楼经历了重大动荡。CDAO目前正进行重大重组，使其与国防部其他部门更加隔离，该办公室现在向埃米尔·迈克尔汇报，他同时担任国防部研究与工程副部长及该部门的首席技术官。
国际努力，如《特定常规武器公约》和“停止杀手机器人运动”，也未能取得太大进展。马里扬告诉The Verge，尽管《特定常规武器公约》极大地帮助了小国了解AI战争的整体格局，但总体进展“非常缓慢，我们尚未看到具体协议，尤其是在主要国家和更先进的军队之间”。尽管一些国家表示有兴趣禁止致命性自主武器，但甚至连该术语的官方国际定义都没有。加州大学伯克利分校高级研究学者、OpenAI地缘政治团队前负责人莎拉·肖克表示，这种情况“常常导致许多人各说各话……而一些国家发现缺乏具有约束力的文书对它们有利”。
一些国家表示有兴趣禁止致命性自主武器，但甚至连官方的国际定义都没有
“我认为大多数人——决策者、民间社会成员……参加这些会议的人很可能已经厌倦了，”肖克补充道。“已经十多年了，确实没有达成任何协议。”
无论2017年之前自主武器的状况如何，Maven极大地加速了它们的时间线——并改变了辩论的基调。该项目标志着2010年代田园诗般、“不作恶”的硅谷首次明显卷入战争，迫使谷歌员工和公众做出反应。“那是我们第一次就AI技术在军事行动中的作用展开全国性对话，”马泰说。
Project Maven始于时任国防部副部长罗伯特·沃克的一份备忘录。他成立了一个“算法战跨职能团队”，任务是训练可部署到战区的AI算法，甚至可能在年底前完成。谷歌很快获得了合同。
内部阻力迅速增长。2018年4月，约4000名员工签署请愿书，要求谷歌退出“战争业务”。信中称，一位谷歌高管曾向谷歌员工保证，他们的技术“不会‘操作或驾驶无人机’，也‘不会被用于发射武器’”。但员工们表示：“尽管这排除了一小部分直接应用，但这项技术是为军方打造的，一旦交付，就很容易被用来协助这些任务。”“我们不能把我们技术的道德责任外包给第三方。”谷歌未就本文的置评请求作出回应。
据报道，MSS近来在抓捕委内瑞拉总统尼古拉斯·马杜罗以及美国对伊朗的打击中都发挥了不可或缺的作用，而美国对伊朗的打击据报道迄今已在该地区造成数千人死亡。
“你不能只靠防御来打仗。”
谷歌员工主张公司应当表明立场——公司也确实这样做了，在2018年中期争议之中选择不再续签合同。但亚马逊和微软迅速介入，拿下了同一工作价值数千万美元的合同。Palantir很快接手，Project Maven变成了Maven Smart System（MSS），它不仅能够进行目标检测和跟踪，还能大规模分析监控数据。
Claude也与MSS交织在一起，尽管参与程度更为有限。在Anthropic于2024年开始允许其技术用于军事用途后，其Claude聊天机器人被加入用户界面，帮助分析人员就特定地理区域以及情报或目标类型查询该系统。一些专家表示，即便是这一相对较小的添加，也使该系统更加高效。结果，Claude使目标定位成为可能，可能打击更多个体。
Shoker表示，目标数量之庞大可能使任何有意义的人类监督都变得困难。“我们对MSS的了解是，它减少了目标定位循环中的人类数量——而这实际上是刻意设计的。”
虽然Anthropic或许可以接受减少人类干预，但它反对将其降至零。不过，正如谷歌在Project Maven上的遭遇所表明的那样，竞争对手非常愿意填补这一空缺。
其他人工智能公司纷纷抓住机会与五角大楼合作。甚至在与Anthropic的争端开始之前，几家主要的人工智能实验室就已经放宽了其运营准则或调整了其使命宣言，以允许进行军事交易——包括谷歌、OpenAI，以及可以说Anthropic自身。OpenAI迅速签署了Anthropic所拒绝的条款。而在冷落Anthropic之后的几个月里，国防部与八家公司签署了协议，将其人工智能部署在机密网络上：谷歌、微软、亚马逊云服务、英伟达、OpenAI、Reflection、甲骨文和SpaceX。
人工智能公司纷纷抓住机会与五角大楼合作
Shoker表示，在OpenAI——该领域最大的参与者之一——工作时，她并没有与许多研究决策支持系统或自主武器系统风险的人有过互动。她说，这些领域的研究社区仍然“极其孤立”。“这个领域的人已经对[那些风险]发出警告并进行研究有一段时间了，”Shoker说，并补充道，“问题……在于那些人不在实验室里。”OpenAI未回应置评请求。
在内部，员工表达了异议，这与近十年前对Project Maven的抵制强烈呼应。在外部，OpenAI的五角大楼协议引发了广泛争议，导致首席执行官Sam Altman宣布他正试图重新谈判该协议。但硅谷高管正在积极反击员工的组织和发声，包括利用人工智能识别泄密者。而且许多科技工作者已经担心，在人工智能即将取代自己公司入门级职位的时代，他们的工作岌岌可危。
与此同时，通过与特朗普政府的法庭斗争，Anthropic仍在努力恢复其作为军事和情报承包商的地位。其技术自2024年以来已深度融入国防部的运营，去年夏天它推出了Claude Gov，这是一款专为国家安全机构使用而设计的产品，围绕机密材料的护栏有所放宽。
据报道，Anthropic 正准备在今年 IPO，这使其面临一场高风险的损失。据报道，该公司正与投资者洽谈，计划以 9000 亿美元 的估值筹集资金。投资者要求该实验室实现盈利的压力 比以往任何时候都大。
近几个月来，Anthropic 首席执行官 Dario Amodei 对针对美国人的大规模监控立场坚定，但他对针对其他所有人的此类监控却毫无异议——事实上还 表示支持。
Tech Justice Law 的 Batt 表示，Anthropic 的“非常狭窄”的红线“不足以保护人权或遵守国际法”。她补充说：“Anthropic 特别提到，对美国人的大规模国内监控会引发严重的公民自由担忧，但同样的公民自由担忧同样适用于非美国人。”“事实上，考虑到残酷的移民打击行动，我们或许应该特别担心针对非公民的大规模监控的先进能力。”
Anthropic 首席执行官 Dario Amodei 谴责针对美国人的大规模监控，但对针对其他所有人的此类监控却毫无异议
这甚至还没有涉及海外大规模监控的伦理问题，而这个问题在美国国内的大多数伦理讨论中都明显缺席。
尽管 Amodei 认为 Anthropic 的系统尚未准备好支持完全自主的武器，但他在概念上或道德上并不反对它们。在一篇 博客文章 中，他说“完全自主的武器（那些将人类完全排除在外、自动化选择和交战目标的武器）可能对我们的国防至关重要。”Amodei 甚至表示，他乐意“直接与战争部合作进行研发，以提高这些系统的可靠性”，并加快公司帮助部署这些系统的时间表。
Tech Justice Law 的 Batt 表示，这一立场与国际人道法“从根本上存在矛盾”，因为国际人道法要求对任何特定攻击进行逐案评估。她说：“将 AI 引入这些目标选择过程，实际上基于一种‘速度制胜’的理念。”“无论人类在过程中的哪个环节被纳入，如果实施这些系统的目标是将耗时数周或数天的事情缩短到几秒钟，那么人类并没有真正为自己做出有意义的评估。”
当 Hegseth 宣布打算重新起草五角大楼的 AI 合同时，他明确表示，国防部“必须接受，行动不够快的风险大于对齐不完美的风险”——并且必须取消大量的测试和评估。
“将 AI 引入这些目标选择过程，实际上基于一种‘速度制胜’的理念。”
Chaudhry 表示，过去的政府曾试图在保留安全性的同时去除“纯粹官僚”的战争层级，但 Hegseth 的备忘录“明确设定了一种权衡，并表示我们偏向速度。”专家表示，在军事行动方面，这通常不是最好的笼统方法，但往往是最致命的。AI 已经实现了这种致命性——而且它准备走得更远。
马里扬表示，自赫格塞思备忘录发布以来，越来越多的国家开始关注自主作战的风险。但面对美国军方及其硅谷合作伙伴，这些国家能做的尚不明确。目前，它们只是在试图理解其影响。马里扬说，如果人类“只是在橡皮图章式地批准决定”，“那么问责的界限在哪里——责任又该如何界定？”
2017年7月，在“防务一号”技术峰会上，Maven项目被作为国防部的未来核心。算法战跨职能团队负责人向与会者做了展示。
他表示，人工智能“短期内”不会在战斗中自主选择目标。但如今，若无干预，那一刻已不远。
关注本报道的话题和作者，即可在个性化首页信息流中看到更多类似内容，并接收邮件更新。