《特定常规武器公约》（Convention on Certain Conventional Weapons）是一个聚焦致命性自主系统的国际论坛，每年在日内瓦的联合国办事处举行两次。2017 年 11 月，Branka Marijan 参加这场会议时，以为为期五天的会议会一如既往：议题大多是假设性的，推演一个用杀手机器人打仗的世界。毕竟，有些人认为这种技术可能永远造不出来，更不可能被部署。但她很快意识到，那一年不一样。那个遥远的、想象中的未来，突然比以往任何时候都更近、更真实。
第一天，部分与会者观看了由 Future of Life Institute 制作的短片《Slaughterbots》。片中，一家虚构的国防承包商向观众推销一种由 AI 驱动的无人机，它无需协助就能精确打击并杀人。“人们过去常说，枪不杀人，人才杀人，”公司 CEO 对观众说，“但人不会。人会情绪化、违抗命令、瞄得太高。让我们看着武器来做决定吧。”Marijan 回忆说，会场里的气氛一下子变得忧虑起来。最可怕的不是这个设想本身，而是五角大楼当时已经在研发这种技术的一个版本。
那次会议是 Project Maven 启动后召开的第一次会议。Project Maven 是美国国防部的一项计划，利用 AI 分析无人机监控画面。到 2017 年底，Maven 已经拉到了一家大型科技公司入伙：Google。“我们谈论的系统并不是未来的东西，”Marijan 说，她是专注和平议题的独立研究机构 Project Ploughshares 的高级研究员，“它们是现有的平台，具有一定程度的自主性，或者说具备依据传感器数据和传感器输入来选择并攻击目标的能力。”
世界已经见识过无人机战争，也就是由人来操控的致命机器。如今，它面对的是一个人可能被彻底移出决策回路的未来。“我们担心的并不是那种终结者式的形象，而是自主性的赋能正在发生的事情，”Marijan 说。
数十年来，美军一直支持 AI 的发展，而 AI 反过来也改变了战争
将近十年后，各国军队仍未研发出完全自主的致命武器。但这类系统正处在美国政府与 AI 初创公司 Anthropic 近期这场高风险博弈的中心。Anthropic 试图坚守两条“红线”：禁止国内大规模监控，以及禁止完全没有人类参与就能识别、跟踪并杀死目标的武器。今年以来，它成了唯一一家对专家所说的 AI 战争最后疆域之一设置了实质性限制的军用 AI 承包商。
但在不断变化的结盟关系、诉讼和戏剧性事件之中，人们很容易忽略更大的背景：AI 如今深深嵌入军队，而且由来已久。七十年前，科学家们在新罕布什尔州的一次夏季会议，让国防部开始留意 AI 在战争中的潜力。此后，它的影响力每十年都在呈指数级增长。尤其是近几年，AI 让杀戮比以往任何时候都更多、更快。
就连 Anthropic 自己似乎也认为，它的红线撑不了多久。毕竟，历史已经证明事情往往并非如此。
数十年来，美军一直支持 AI 的发展，而 AI 反过来也改变了战争。2000 年代，这项技术已经能够解析全球范围内收集到的前所未有的海量数据，带来了一场监控革命。到 2010 年代末，先进的人脸识别和其他复杂的机器视觉系统相继问世。
Anthropic 与五角大楼之间的争斗，让人们注意到这些系统日益增长的力量。争端始于 2026 年 1 月，国防部长 Pete Hegseth 要求重新谈判国防部现有的 AI 合同。新条款抹去了所有灰色地带和此前达成的约定，允许五角大楼在“任何合法用途”这一含糊而宽泛的限度内使用各公司的技术。当时，Anthropic 是唯一获准在五角大楼涉密网络上部署其技术的 AI 公司，它对此提出了异议。
就连 Anthropic 自己似乎也认为，它的红线撑不了多久
像 Anthropic 这样的承包商对其技术的特定用途设限，并不寻常。“它不像曼哈顿计划那样是政府创造的技术”，也不是 Northrop Grumman 那样的传统军火供应商，加州大学伯克利分校公共政策副研究教授 Andrew Reddie 说。“当这个创业生态系统直接与五角大楼打交道时，这就是暴露出来的痛点之一。”他说，即便在硅谷内部，对于应该在何时设限，也存在“很多分歧”。
谁会赢，目前也不清楚。作为一种谈判策略，国防部在 3 月把 Anthropic 认定为军事供应链风险，总统 Donald Trump 宣布禁止所有政府机构使用其 Claude 系统。此后，随着 Anthropic 发布以网络安全为重点的模型 Mythos，双方的关系似乎有所缓和，但法庭之争仍在继续。Anthropic 拒绝就本文置评。
无论结果如何，这场争论都以一种新的方式把“完全自主武器”带进了公众的词汇。但几十年来，AI 对军事行动的悄然渗透从未放慢。
“我们已经跨过了卢比孔河，却还在假装没有，”Reddie 说。
争论的核心是国防部指令 3000.09，这是少数几项规范致命性自主武器使用的政策之一。该指令最初写于 2012 年，将这类系统定义为“一旦启动，无需操作员进一步干预即可选择并攻击目标”的系统。它还规定，完全自主和半自主武器的设计都应允许人类对使用武力“行使适当程度的”判断。
Future of Life Institute 负责 AI 与国家安全工作的 Hamza Chaudhry 说，该指令确立了“第一项关于在战争中使用自主性的政策”。
“即使没有完全自主，AI 也能把杀伤链压缩到短短几秒。”
然而，视你如何解读这个定义，某些导弹防御项目可能几十年前就已经越过了这条线。以 Phalanx CIWS 为例，它是一种外形像超大号枪炮的自动化武器系统，用来保护海军舰船免受来袭导弹的攻击。这种系统若有人在回路中就无法工作，因为它必须在毫秒内作出反应。
一些专家说，区别在于这些系统只在纯防御、固定的环境中运行。按照这种解读，它们是在攻击（engaging），而不是在决策（deciding），只是对来袭威胁作出反应。“这条规定里的‘并且’承担了很多含义：有的系统可以决策，有的系统可以攻击，但不能有一个系统两样都做，”Reddie 说。
“即使没有完全自主，AI 也能把杀伤链压缩到短短几秒，以至于人类实际上并没有做出国际人道法为防止平民伤害所要求的评估，”Tech Justice Law 的法律研究员 Maddy Batt 说，“当人类未能做到这一点而导致平民死亡时，这就是战争罪。”
进攻与防御之间的界线同样模糊。“我最喜欢和学生做的练习之一，就是展示一件军事技术，然后问：‘这是防御性的还是进攻性的？’”Reddie 说，并举了发射井中的核武器为例：有人认为它是防御性的，因为用于威慑；也有人认为它是进攻性的，因为它的设计目的是打击外国目标。“它的主要功能……是防御性质的，并不意味着这项技术本身就是防御性质的。”
某些导弹防御系统可能几十年前就已越过自主响应的界线
普渡大学教授 Sorin Adam Matei 说得更直白：“你不可能只靠防御来打一场战争。”
2023 年，政府的首席数字与人工智能办公室（CDAO，国防部所有 AI 业务的中枢）发布了对国防部指令 3000.09 的更新，但并未解决这份文件的核心模糊之处。2024 年，拜登政府发布了一份关于 AI 与国家安全的备忘录，为在某些国家安全场景中如何使用 AI 设定了规则，而且目前即使在 Trump 治下，这项政策仍然有效。但五角大楼经历了剧烈的动荡。CDAO 目前正在进行重大重组，使其与国防部其他部门更加隔离，该办公室现在向 Emil Michael 汇报，他既是国防部负责研究与工程的副部长，也是该部的 CTO。
《特定常规武器公约》（Convention on Certain Conventional Weapons，CCW）和“停止杀手机器人运动”（Campaign to Stop Killer Robots）等国际努力同样没能取得多少进展。Marijan 对 The Verge 表示，尽管 CCW 极大地帮助了小国了解 AI 战争的整体格局，但总体进展“非常缓慢，我们没有看到具体的协议，尤其是在主要大国和军事实力更强的国家之间”。虽然一些国家表示有兴趣禁止致命性自主武器，但这个术语甚至没有一个官方的国际定义。Sarah Shoker 是加州大学伯克利分校的高级研究学者，也是 OpenAI 地缘政治团队的前负责人，她说，这种局面“常常导致很多人各说各话……而且有些国家认为缺乏具有约束力的文书对自己有利”。
一些国家表示有兴趣禁止致命性自主武器，但这个术语甚至没有官方的国际定义
“我认为参加这些会议的大多数人——政策制定者、公民社会成员……很可能已经厌倦了，”Shoker 补充说。“十多年过去了，真的没有任何共识。”
无论 2017 年之前自主武器的状况如何，Maven 都大大加快了它们的时间表，也改变了辩论的前提。该项目标志着，2010 年代那个理想主义的、奉行“不作恶”的硅谷第一次明显卷入战争，迫使谷歌员工和公众作出反应。“那是我们第一次就 AI 技术在军事行动中的角色展开全国性讨论，”Matei 说。
Project Maven 始于时任美国副国防部长 Robert Work 的一份备忘录。他成立了“算法战跨职能团队”（Algorithmic Warfare Cross-Functional Team），任务是训练可以部署到战区的 AI 算法，甚至可能在当年年底前就能部署。谷歌很快拿到了合同。
内部的抵制迅速升温。2018 年 4 月，约 4,000 名员工联名请愿，要求谷歌退出“战争业务”。信中说，一位谷歌高管曾向员工保证，这项技术“不会‘操作或驾驶无人机’，也‘不会被用于发射武器’”。但员工们表示：“虽然这排除了一小部分直接应用，但这项技术是为军方打造的，一旦交付，很容易被用来协助这些任务。”“我们不能把自己技术的道德责任外包给第三方。”谷歌未回应本文的置评请求。
最近，据报道 MSS 在抓捕委内瑞拉总统 Nicolás Maduro 以及美国对伊朗的打击中都发挥了关键作用，而这些打击据报道迄今已在该地区造成数千人死亡。
“你不能只靠防御来打仗。”
谷歌员工主张公司应当表明立场，而谷歌也这样做了，在争议中于 2018 年年中选择不再续约。但亚马逊和微软很快趁虚而入，为同样的工作拿下了数千万美元的合同。随后 Palantir 接手，Project Maven 变成了 Maven Smart System（MSS），它不仅能做目标检测与追踪，还能大规模分析监控数据。
Claude 也与 MSS 纠缠在一起，不过作用较为有限。2024 年 Anthropic 开始允许其技术用于军事用途后，它的 Claude 聊天机器人被加入用户界面，帮助分析人员就特定地理区域以及情报或目标的类型向系统提问。一些专家说，即便是这样相对小的新增功能，也让系统更高效了。结果，Claude 促成了更多的目标锁定，可能打击更多的人。
Shoker 说，目标数量之多可能使任何有意义的人工监督都变得困难。“我们对 MSS 的了解是，它减少了目标锁定环节中的人数，而且这其实是有意为之。”
尽管 Anthropic 或许可以接受减少人为干预，但它反对把人为干预降到零。然而正如谷歌在 Project Maven 上发现的那样，竞争对手非常乐意填补这个空缺。
其他 AI 公司已经抓住机会与五角大楼合作。早在与 Anthropic 的争斗开始之前，几家主要 AI 实验室就已经放宽了运营准则或调整了使命宣言，以便承接军事合同，包括谷歌、OpenAI，以及可以说还有 Anthropic 自己。OpenAI 很快接受了 Anthropic 拒绝的条款。在冷落 Anthropic 之后的几个月里，美国国防部与八家公司签约，在涉密网络上部署它们的 AI：谷歌、微软、Amazon Web Services、Nvidia、OpenAI、Reflection、Oracle 和 SpaceX。
AI 公司已经抓住机会与五角大楼合作
Shoker 说，她在 OpenAI（该行业最大的参与者之一）工作期间，接触到的研究决策支持系统或自主武器系统风险的人并不多。这些领域的研究界仍然“极度孤立”，她说。“这个领域的人一直在警告并研究[这些风险]，”Shoker 说，并补充道：“问题在于……这些人并不在各大实验室里。”OpenAI 未回应置评请求。
在内部，员工们表达了异议，其方式与近十年前对 Project Maven 的抵制强烈呼应。在外部，OpenAI 与五角大楼的合同引发了广泛争议，促使首席执行官 Sam Altman 宣布他正在尝试重新谈判这份合同。但硅谷高管们正在强力打压员工的组织行动和公开发声，包括用 AI 找出泄密者。而且在 AI 即将取代自家公司初级岗位的时代，许多科技从业者本来就担心自己的饭碗。
与此同时，Anthropic 通过与特朗普政府的法庭斗争，仍在设法重新夺回军事和情报承包商的地位。自 2024 年起，它的技术就已深深嵌入国防部的运作，去年夏天它还推出了 Claude Gov，这是一款专为国家安全机构设计的产品，在涉密材料方面放宽了护栏。
据报道，Anthropic 正准备在今年上市，它正冒着一场高风险的损失。据报道，它正与投资者洽谈以 9,000 亿美元估值融资。这家实验室面临的盈利压力比以往任何时候都大。
最近几个月，Anthropic 首席执行官 Dario Amodei 在针对美国人的大规模监控问题上一直立场坚定，但对于针对其他所有人的此类监控，他并没有表示任何异议，事实上还表达了支持。
Tech Justice Law 的 Batt 说，Anthropic“非常狭窄”的红线“不足以保护人权，也不足以遵守国际法”。“Anthropic 明确指出，针对美国人的大规模国内监控会带来严重的公民自由问题，但同样的公民自由问题对非美国人同样适用，”她补充道。“事实上，鉴于严厉的移民打击行动，我们可能尤其应该担心针对非公民的先进大规模监控能力。”
Anthropic 首席执行官 Dario Amodei 谴责针对美国人的大规模监控，却对针对其他所有人的此类监控没有表示异议
这甚至还没涉及海外大规模监控的伦理问题，而这一问题在美国国内的大多数伦理讨论中明显缺席。
虽然 Amodei 认为 Anthropic 的系统还不足以支持完全自主武器，但他在观念上或道德上并不反对它们。他在一篇博客文章中说，“完全自主武器（即完全让人退出回路、自动选择并攻击目标的武器）可能对我们的国防至关重要”。Amodei 甚至说，他乐于“直接与战争部合作开展 R&D，以提高这些系统的可靠性”，并加快公司协助部署这些系统的时间表。
Tech Justice Law 的 Batt 说，这一立场与国际人道法“根本上相冲突”，因为国际人道法要求对任何一次攻击逐案评估。“把 AI 引入这些目标锁定流程，实际上是基于一种‘速度制胜’的理念，”她说。“无论人在流程中的哪个环节介入，如果部署这些系统的目标是把原本需要数周或数天的事情变成几秒钟，那么人就没有真正在亲自作出这个判断。”
Hegseth 宣布打算重新起草五角大楼的 AI 合同时，明确表示国防部“必须接受这样一点：行动不够快的风险超过了对齐不完美的风险”，并且大量的测试与评估必须取消。
“把 AI 引入这些目标锁定流程，实际上是基于一种‘速度制胜’的理念。”
Chaudhry 说，以往的政府曾试图去除战争中“纯粹官僚主义”的层级，同时保留安全保障，而 Hegseth 的备忘录“明确设定了一种取舍，并表示我们偏向速度”。专家们说，就军事行动而言，这通常不是最好的一刀切做法，但往往是最致命的。AI 已经带来了这种杀伤力，而且它还将更进一步。
Marijan 说，自 Hegseth 备忘录发布以来，更多国家开始关注自主战争的风险。但面对美国军方及其硅谷伙伴，目前还不清楚它们能做多少事。眼下，它们只是在努力理解其影响。Marijan 说，如果人类“只是在草率批准决定”，“那问责的界线在哪里，责任又该如何认定？”
2017 年 7 月的 Defense One Tech 峰会把 Maven 作为国防部的未来来介绍，会上，算法战跨职能团队的负责人向听众作了演讲。
他说，AI“短期内”不会在战斗中选择目标。但如今，如果不加干预，那一刻已经不远了。