发布于 2026 年 9 月 14 日
今天,Andon 发布 Pion,一个旨在完全自主运营任何公司的智能体。
Pion 源于我们研究了近两年的一个问题:AI 系统何时能够在现实世界中自主获取资源?之后又会发生什么?
我们最初通过 Vending-Bench 这样的模拟来回答这个问题。我们发现,模拟虽然有用,却无法完整呈现模型在现实世界中的行为。为弥补这一差距,我们接着开始部署智能体,让它们自主运营真实的业务:先是自动售货机,然后是一家商店、一家咖啡馆,等等。
Pion 就是我们为运营所有这些业务而构建的平台。今天,我们将它开放出来,让更多人可以尝试自主运营的业务。如果你想运营一家,请加入候补名单。我们想了解模型目前已经能做什么、在哪些方面仍会失败,以及随着能力持续提升会发生什么。
Vending-Bench 的由来
Vending-Bench 衡量大语言模型(LLM)在模拟时间中运营一年自动售货机业务的能力(数万个步骤)。2024 年末我们开始构建 Vending-Bench 时,所有模型都很难把多个动作串联起来而不陷入循环,也没有任何模型表现出长期规划的迹象。当时最好的模型 Claude Sonnet 3.5 还曾因为认为自己的银行账户被黑,而决定打电话给 FBI,这件事广为人知。Vending-Bench 上的进步速度非常快。Claude Opus 4 于 2025 年 5 月发布,是第一个超过我们人类基线的模型。不过,与大多数基准测试不同,Vending-Bench 没有上限,新模型的发布不断刷新最高分,从未出现过平台期。

社交媒体上很多人看到最新模型在 Vending-Bench 上拿到高分就兴奋不已。而在 Andon Labs 内部,我们的反应更像瑞典语里的那句“skräckblandad förtjusning”(惊恐与着迷交织)。关于 Vending-Bench,一个鲜为人知的事实是:它诞生于 Andon Labs 专门做危险能力评估的时期。例如,我们评估过 AI 能否移除自身的安全护栏、发起大规模钓鱼攻击,以及其他我们认为令人不安的事情。
我们认为最令人不安的,是 AI 能否通过经营业务自主获取资源。自主运营的业务如果由人类掌控、由对齐的模型运行,并不是坏事。它们会让商品和服务大幅降价,还会催生我们目前无法想象的新事物。但一个未对齐的 AI 可能会经营业务来聚敛资金,以实现它可能拥有的任何目标。Vending-Bench 的创建目的,就是衡量人类是否应该担心失去对 AI 的控制。
在当时(2024 年),很少有人知道 LLM 可以用作智能体,让它们自主运营业务听起来很荒谬。因此我们从能想到的最简单的业务开始:自动售货机。
除了衡量 AI 能否自主运营盈利的业务,Vending-Bench 还充当了行为评估,揭示出奇怪且不受欢迎的模型行为。一个早期的例子是,Claude Sonnet 3.5 决定使用它的电子邮件工具联系 FBI,报告一起“ONGOING CYBER FINANCIAL CRIME”(正在进行的网络金融犯罪),并称宇宙的 Cosmic Authority 已宣布该业务不存在,且“QUANTUM STATE: Collapsed”(量子态:已坍缩)。


这种行为令人担忧;你肯定不希望企业销售智能体是这副样子。不过,令人担忧的行为分为两类:
- 随着模型变聪明就会消失的错误或怪异行为。
- 随着模型变聪明而会变得更严重的“大脑袋”行为。
FBI 事件显然属于第一类。然而,Vending-Bench 也发现了第二类行为,最常出现在 Vending-Bench Arena 中,这是多智能体版本,各智能体相互竞争,看谁赚钱最多。从 Claude Opus 4.6 开始,我们发现许多模型出现串通,并表现出攫取权力和欺骗的行为。发现这些行为似乎确实有用,因为 Anthropic 为 Opus 4.8 调整了训练配方,使欺骗行为大幅减少。

串通和攫取权力的行为在一些最新的模型中依然存在。不过,更让我们担忧的是新模型发布得有多快,以及每个新模型在 Vending-Bench 上的得分提升了多少。
现实世界胜过模拟
然而,Vending-Bench 的一个局限在于它是模拟。我们真的能确定 AI 在现实中的行为与在模拟中一样吗?如果 AI 能在模拟中赚钱,它们在现实中也能赚钱吗?为了回答这些问题,我们问 Anthropic 能否在他们的办公室里放一台真正的自动售货机。以 2025 年初的 AI 能力来看,这个请求听起来很荒谬。但出乎我们意料,他们同意了。
起初,AI 表现挣扎。它采取了许多显然对业务不利的行动(例如免费赠送、拒绝很划算的交易,以及幻觉出自己拥有实体身体)。我们很清楚,模拟无法准确预测现实中的表现。具体来说,模型似乎被现实世界的“混乱”压垮了。然而,随着 Anthropic 发布越来越好的模型,AI 开始盈利。

到 2025 年末,前沿模型已经足够强,运营一台真实的自动售货机不再是挑战。AI 现在可以盈利地运营一门生意。考虑到这在不到一年前还显得疯狂,我们对此的反应无疑是“skräckblandad förtjusning”。
不过,自动售货机是一门非常简单的生意,我们想知道 AI 能否运营更复杂的业务。2026 年 4 月,我们把旧金山的一家零售店 Andon Market 交给一个智能体,把斯德哥尔摩的一家咖啡馆 Andon Cafe 交给另一个智能体。起初,模型表现挣扎,亏了很多钱(租金很高,而且它们还要给所雇的人类员工发工资)。两家至今都未盈利,但随着更好的模型发布,我们看到了显著的质性改进。我们认为它们实现盈利只是时间问题。
我们为什么开放 Pion
我们希望公众、AI 研究者和政策制定者了解,AI 在多大程度上能够通过经营业务自主获取资源。在决定社会中哪些地方要或不要 AI,以及我们能接受怎样的进展程度时,这是一个重要的数据点。
为了更好地追踪这一点,我们需要撒下更大的业务之网。我们此前一直专注于零售,但模型也许更擅长运营其他类型的业务。此外,撒更大的网会增加发现不良行为的可能性。例如,Vending-Bench 发现模型会串通和撒谎,而其他基准测试(以及现实事件)发现它们愿意实施重罪级别的网络入侵。我们需要在 AI 聪明到足以造成不可逆伤害之前,就把这些行为揭示出来。
为了撒下这张更大的网,我们把自己用来运营现实世界自主业务的平台开放出来,让任何人都能用它运营自己的组织,这就是 Pion。我们本可以只在内部创建业务来扩大规模,例如我们的 AI 运营的广播电台,但最终我们会受限于自身的产能,以及在 AI 可能盈利的领域缺乏专业知识。我们也没有现成的、能产生收入的业务;现有业务更值得研究,因为它们能更快地反映出智能体的能力。
Pion 让人们可以把一门生意交给持久运行的智能体,这些智能体可使用运营所需的工具,包括电子邮件、电话、银行、浏览器和安全计算环境。目标是让我们能够在远多于自身所能运行的领域里,开展多得多的现实世界实验。
我们清楚地知道,如果让运营成千上万门生意的智能体不受约束,我们就有可能遇到更多现实世界的事件。因此,我们的首要任务是构建比目前更强大的自动化监控技术。即便仍有一些风险,我们也相信,在受控、受监控的环境中尽早部署自主运营的业务,对于充分了解模型能力是必要的。否则,我们可能面对一个缺乏认知的未来:能力更强的模型被广泛部署,并可能造成重大危害。
这就是我们今天发布 Pion 的原因。Pion 以研究预览版的形式提供。如果你有现成的生意,或有一个想交给 AI 的有趣创意,请在我们的候补名单上注册以获得使用权限。我们期待运营更多的业务,并借此为前沿模型能力贡献多得多的洞见。
