本周 AI Engineer New York 大会 的关键主题之一是如何平衡智能体的自主性与安全性和保障。本周，前沿实验室和金融公司都在演讲中聚焦这一问题。
主要教训是：安全的自主性取决于你把控制权和人类判断放在哪里，而不是你施加了多少限制。
赞助商：使用 shop.dev 将购物功能构建到你的智能体中
为智能体添加商务功能通常意味着从头重建搜索和结账流程。shop.dev 为你提供一个单一 API，可在任何智能体或应用中实现购物。一次连接即可访问超过十亿种产品及其当前价格和库存情况，通过 Shop 即时登录，并在对话中直接完成一键 Shop Pay 结账。它面向所有开发者开放，试用无需账户或密钥。→ 立即试用 shop.dev
OpenAI 金融服务 ChatGPT 负责人 Joseph Kim 今天在 AIE New York 发表了主题演讲。（我们还与 Kim 录制了一期特别播客，即将发布。）他谈到了可靠性以及一个“有用性阈值”，他说这是“模型变得足够有能力且可靠，从而为你节省时间的那个点。”
Kim 认为，不断增长的模型能力很快将把金融分析师带过这一阈值，并让他们能够将更多工作委托给智能体。
他对 2027 年 AI 在金融领域的作用做出了一些具体预测。他声称，明年金融行业不仅将减少对 Excel 和 PowerPoint 的依赖，而且智能体将足够出色，能够完成“投资想法生成和交易”。
模型能力的“上涨潮”也正在带来更好的可追溯性。
“在金融领域，你需要能够检查一个数字来自哪里，并理解其背景，”Kim 说。“我们希望这种审查成为 [ChatGPT for Financial Services] 体验的自然组成部分。正是这类产品细节有助于将模型的能力转化为人们可以使用的工作成果。”
至于何时需要人类参与其中，Kim 将此框定为产品设计决策。
“界面会如何变化？用户仍然需要控制、审查或批准什么？这些是你现在就可以开始着手的产品设计问题。”
在对冲基金中平衡 AI 安全与创新
对冲基金 Two Sigma 的架构高级副总裁 John Feminella 正在处理 Kim 提到的正是这类产品设计问题。在一次主题演讲中，他谈到了他们已实施的五项控制措施，用以约束智能体而不限制模型能力。
Feminella 认为，安全和创新不应被视为一个光谱的两端。他尤其批评了“审批疲劳”，即一个人批准所有事情可能会阻碍创新——而且如果他们并未完全关注所有需要做出的决策，还会引入风险。
在 Two Sigma，他们实施了一套控制措施，他将其定义为“护栏和共享能力，让团队能够以不妨碍其目标的方式推进工作。”
这些控制措施是可组合的，意味着“每一项只做一件事，然后它们共同让我们以适当的安全水平运行具有真正自主性的智能体。”
其中一项控制措施是使用自动模式分类器，Feminella 表示，这“会就常规呼叫做出决策，然后只把最重要的、最有可能产生影响的请求发送给人工处理。”
分类器可用于模糊的情况，而确定性规则更适合明确的情况。
Anthropic：为智能体提供上下文，然后界定信任的边界
Anthropic 的演讲概述了一个类似的框架，其目标是将“信任”构建到金融智能体工作流中。
上个月，Anthropic 宣布推出 Claude for Financial Advisors，允许财务顾问将其系统连接到 Claude 以及一组工作流技能。
在本周的 AIE 上，Anthropic 金融服务董事总经理 Belinda Neal 解释了 Anthropic 为何与金融机构合作开发这款新产品。
“每隔一段时间，就会有一个模型跨过一道门槛。而当它跨过时，就会掀起一波工作方式的变革。”
Neal 的同事 Keon Shahab 在 Anthropic 从事应用 AI 工作，随后谈到了“为智能体构建信任层”。他说这涉及三个步骤：
“智能体以什么身份行事，需要一个身份与权限层。我们如何沙箱化并确定智能体的审批层，以便在其行动之前有人签字批准。最后，一旦我们随时间调整任何变量，我们如何知道智能体仍能正常工作。”
Shahab 用一个交易中断调查智能体说明了提议与行动之间的边界，该智能体会建议修改订单以供人工批准。
“我们希望它[该智能体]只是对我们的订单数据提出新的修改建议，而不是实际进行这些修改，”他说。
“通过一次构建一个你信任的基础层，你就可以快速大规模部署许多智能体，”Shahab 总结道。
Bloomberg：在模型之外强制执行安全
作为 Bloomberg 首席技术官办公室的架构与新兴技术负责人，Andrey Rybka 负责在该公司平衡自主性与规模。
在今天于 AIE 的一次演讲中，Rybka 谈到了一系列智能体造成破坏的真实事件——以及有助于防止这种情况的防御措施。这些措施包括限定范围的身份与凭证、对工具调用的控制、出站流量限制、审计追踪、预算以及终止开关。
在一个例子中，一个智能体将嵌入在市场评论中的指令当作补货指令来对待。Rybka 建议对高价值操作采取输入验证、提示注入防御、来源追踪和人工批准。
“我们希望在模型之外进行确定性控制，”Rybka 说。“检查每一次调用，记录下来，并保留一个终止开关。”
快速前进，安全停下
尽管 OpenAI 和 Anthropic 等前沿实验室正在为金融智能体构建“信任框架”，但最终还是要由金融机构为其智能体设置控制措施。Two Sigma 的 John Feminella 一语中的：实施能够促成自主性的控制措施，但不要设置路障。
或者正如他在结论中所说：“为什么汽车要有刹车？不仅仅是为了让你能停下来，而是为了让你能快速前进并安全停下。”