OpenAI 首次向用户广泛提供其 Decisions API 模型，由此进入快速、廉价智能市场；这一市场最近让 TypeSafe 成为一家 76 亿美元公司，该公司由这家前沿实验室的一位前研究员创立。
TypeSafe 的 Jev 模型开创了一个类别，即充当超级分类器的深度学习模型：给定一组选项，它们能快速做出选择，并给出对自身决策的置信度评分。软件开发者很快发现，这些决策模型或 System One 模型可以在多种工作流中替代 LLM，运行更快，成本也大幅降低。
OpenAI API 产品负责人 Nikunj Handa 告诉 TechCrunch，他的同事看到 Jev 后说：“哇，我们好像有一百万个用例可以用它。”Handa 的团队迅速行动，推出自己的版本：团队没有构建专门校准的决策模型，而是采用 ChatGPT Luna 并重新配置，以加快推理并降低成本。
“Decisions API 最大的突破在于速度，把耗时从一到三秒缩短到 100、120、180 毫秒，”Handa 说。“未来，我们可能会进行特定训练，让我们的模型在这些方面表现得更好。但现在，只是普通的老 Luna 就能完成任务。”
Decisions API 于 9 月 29 日在该公司的开发者日活动上发布，并于周四向所有客户开放。OpenAI 为公开版本新增了语音和视觉模态，并通过在地理上部署推理资源，努力确保全球各地区的低延迟。
在与 Box、Datadog、Ramp 和 Speak 等客户的初步试验中，工程师使用该 API 以更高吞吐量替代 OpenAI 的 LLM。构建 AI 语言辅导工具的 Speak 首席技术官 Andrew Hsu 表示，Decisions API 使该公司将操作之间的时间从 1.4 秒缩短到 0.13 秒。OpenAI 还使用该产品提升了其 Dots 语音助手的响应速度。
不过，除了“它对你有效”之外，究竟什么构成一个好的决策模型仍不清楚——在智能、成本、校准和速度之间的优化似乎因工作负载而异。TypeSafe 首席执行官 Diogo Almeida 不信任基准测试，并敦促人们在自己的工作中试用这些模型，但就连 TypeSafe 也在上周发布了自己的排名，同时推出了其最新的 Jev 模型，该模型包含支持图像和 smart-if 语句等新功能。
像 AIM System One Index 和 Artificial Analysis Decision Index 这样的公开基准测试往往更青睐 Liquid 上周发布的新决策模型 D1 Ultra，以及 Base Lab 的 Elephant-1。最新的 Jev 模型在这两个指数上仍具竞争力，分别位列第七和第三，而 OpenAI 的 Decision Model 分别位列第八和第十四。不过，就目前而言，TypeSafe 的产品在 OpenRouter 上被查询次数最多。
然而，最有趣的 Jev 基准测试是 JevMan，在这个基准测试中，决策模型玩 PacMan；最新的 Jev 模型在该排名中位居榜首。构建该基准测试的 Opper AI 首席增长官 Felix Wunderlich 表示，这款经典游戏“是一个有趣的测试，因为它会不间断地产生快速、高风险的决策。在每个路口，模型必须在几百毫秒内决定往哪里走。”
OpenAI 可以说能力更强的模型可能具有优势的地方在于多模态——对于图像分类，“Luna 极其强大，并且表现出更好的校准，”Handa 告诉 TechCrunch，并补充说 OpenAI 的客户希望 Decisions API 在使用图像作为输出方面更加灵活。
Handa 还看到速度的进一步提升将催生新的用例：“我们能不能把它做到比如 60 毫秒，然后你可以想象像视频每一帧都调用一次 API 那样？”
随着这些产品变得更快、更便宜，我们可以期待它们名副其实地体现 Jev 的名字——这位经济学家解释了如何更高效地使用一种资源会使其更加无处不在。或者，按照 Handa 的看法，将会出现不断扩大的“疯狂用例集合”，这些用例此前一直隐藏在显而易见之处，直到决策模型将它们揭示出来。