返回 文章 学习 CMS 文章

TypeSafe 发布 System One 模型与 Jev：面向自动化的快速结构化决策模型

TypeSafe 推出 System One 模型 Jev，用校准决策强化学习替代字符串生成，为自动化提供快速、结构化、无幻觉的决策接口。

Hacker News
TypeSafeSystem One ModelsJevRLCD
成长分 / 100 67 综合收获、行动、留存与影响

TypeSafe 发布 System One 模型与 Jev：面向自动化的快速结构化决策模型
为什么值得读了解一种不同于主流 LLM 聊天范式的新模型类别：专为自动化决策设计，输出带类型的概率化决策而非字符串。

获取 Jev 在速度、成本、置信度校准和类型安全方面的具体技术主张与评估方法。

关键洞察
  1. System One 模型专为快速、结构化、可供软件直接使用的决策而构建，Jev 是首个公开模型，已开放早期访问。
  2. Jev 采用校准决策强化学习（RLCD），优化目标是给出认识论上诚实的概率答案，每次输出都传达置信度和不确定性。
  3. Jev 放弃字符串生成，针对结构化输出优化，不会产生幻觉，可视为前沿智能的函数调用：输入非结构化状态，输出带类型的概率化决策。
转成行动

深入阅读

正文与原文对照

原文保真覆盖：全文原文字符：12037
Diogo Almeida，TypeSafe 创始人

模型在聊天方面早已超越人类多年，那么自动化在哪里？

这是我过去四年一直在追问的问题。在 OpenAI 时，我参与构建了让语言模型能够有效遵循指令、与人对话的方法，这些工作最终成为 ChatGPT 背后的研究。当时我以为聊天模型也许会通向 AGI，但尽管外界炒得火热，我很快意识到其中缺少了某个非常重要的东西。

经过两年的隐身研发、无数技术挑战和研究突破……我无比激动地宣布，TypeSafe AI 今天发布我们的第一个 System One 模型：这是一类全新的前沿模型，专为做出软件可直接使用的快速、结构化决策而生。

我们构建了一整套完全专注于自动化的新技术栈：包括全新的模型架构、追求极致效率的并行采样器，以及我们称为“校准决策强化学习”（Reinforcement Learning for Calibrated Decisions，RLCD）的训练方法。

我们的首个公开模型是 Jev，今天开放抢先体验。在 System One 任务上，Jev 达到了与现有 LLM 相近的智能水平，同时速度和效率高出两个数量级。Jev 放弃了字符串生成，专为结构化输出优化，因此不可能产生幻觉。

可以把 Jev 看作一次具备前沿智能的函数调用：输入非结构化状态，输出带类型的概率化决策。

非凡的主张需要非凡的证据，所以请看下面的证据。💅

新旧前沿

现有 LLM System One + Jev
优化方式 基于人类反馈的强化学习（RLHF）/ 基于可验证奖励的强化学习（RLVR） 校准决策强化学习（RLCD）
优化目标 人类偏好：人类评分者更喜欢的文章和聊天回复。
可验证奖励：可以通过程序验证的输出。		 校准决策：在 System One 任务上给出认识论上诚实的概率的答案。
输入 非结构化数据（如文本），侧重顺序消息。 非结构化数据（如文本），侧重结构化的程序状态。
输出 字符串/生成文本。字符串很灵活，可以是任何东西：聊天回复、代码、幻觉、拒绝回答，甚至是类型安全的结构化值。要被软件使用，回复需要经过解析和校验。同时总存在 AI 失控跑偏的风险。 类型安全的结构化值。可能的输出及其结构事先已定义。模型永远不会出现类型错误。所有答案都附带校准后的概率和置信度分数。
采样 顺序式。一次生成一个 token，每个都以前一个为条件。 并行式。一次查询即可生成全部输出。效率极高，并且充分考虑硬件特性。
成本 输入 token：每百万 token 0.20 至 10 美元。
输出 token：约为输入 token 的 5 倍价格。		 输入 token：每百万 token 0.042 美元（每十亿 token 42 美元）。
输出 token：免费（便宜到无需计量）。
速度 前沿模型的端到端响应时间为 3 至 329 秒。用于和人交互足够快，但集成到代码中就会成为很大的瓶颈。 TypeSafe 的端到端响应时间为 70 毫秒至 500 毫秒。对于 System One 类型的查询，在同等前沿智能水平下，速度可快 40 至 200 倍。
置信度 即使被要求给出置信度估计，模型也往往过度自信且前后不一致。如果一个模型有 95% 的情况能完成某项任务，却无法说明何时落在那 5% 里，它就无法实现该任务的自动化。 每次输出都始终附带置信度和不确定性。经过校准：置信度越高，准确率越高。一致性更强：对相似输入返回相似答案。
使用场景 有人参与的任务（聊天机器人、copilot、编程智能体）。通用且强大，但需要人工监督，因为它们的自由度也意味着可能失控跑偏。
可验证的问题（数学证明、内核优化）。当正确性可以低成本地自动检查时，LLM 可以不断生成、测试、迭代，直到找到可行的方案。
演示。字符串的灵活性使其非常适合快速制作只能偶尔奏效的原型。		 AI 驱动的工作流/智能 if 语句。结构化输出可以作为模糊的决策规则嵌入普通软件：在手写逻辑过于脆弱的地方进行分类、路由、打分、提取或分支。周围的代码约束了它们的自由度，使其更容易组合成可靠的系统。
对大数据做 Map-Reduce。把 PB 级数据转化为特征和洞察。

实时应用。100 毫秒的速度意味着你可以在用户体验至关重要的应用中使用 AI。

验证一切。对 LLM 的提示词、推理轨迹和/或输出进行打分、评判、验证、设置护栏以及检测越狱。

证据/技术结果

我们欢迎怀疑者，我们自己也是怀疑者。

有些说法你可以轻松验证：

  • 单次调用速度：我们确实就是这么快，不过我们公布的评测通常是在西海岸的笔记本电脑上运行的（我们的服务目前部署在那里）。
  • 单次调用成本：我们的定价是透明的。我们无法证明它没有补贴；定价的可持续性需要长期来证明（我们预计价格会下降，而不是上升）。
  • 没有类型错误：只要找到一个反例就能轻松证伪，但这在数学上是不可能的。

对于我们更大胆的主张，我们希望尽可能提供细致的说明。

并排演示

我们的并排演示展示了我们的模型与 LLM 的一个关键区别：Jev 并行输出所有概率，而不是按 token 自回归地生成。字符串极其强大、通用，但成本高昂。“放弃”字符串其实给我们带来了很多超能力！

说明
  • 对于已获得 TypeSafe 抢先体验资格的人，这里是实际的查询。
    • 该查询经过高度简化，questions 被选用了具有描述性、便于人类阅读的键名，以便屏幕上的输出易于理解。
    • state 也是一段简短、密集而详细的文字，以突出采样方法上的差异。相对较短的输入使我们的模型显得更有优势。
  • 眼尖的人会发现，在录制的这次运行中，与 GPT-5.6 Terra 唯一的分歧在于“流失可能性等级”。我们认为这个问题的实际答案确实有些模棱两可。
  • 这个例子中我们使用了默认推理设置的 GPT-5.6 Terra，因为我们发现它在平均智能水平上与 Jev 最为接近。
  • 有趣的是：正是一个类似的演示让我们下定决心全力投入 System One 模型这个方向！

工作流评测

我们设计了一种新型评测，用来衡量 AI 在代码中的工作效果。我们不针对真实标签的分类进行优化，也不允许调整测试框架和模型（否则可能通过框架工程造成过拟合）。相反，我们假设存在一个正确的计算图（用代码表示的“工作流”），并把最大、最聪明、最昂贵的外部模型的预测作为参考概率。

换句话说：每个模型使用相同的工作流。我们测试它们与最聪明模型的平均结果（在这里是 Astra 和 Fable）相比表现如何。

Jev 的表现遥遥领先——在近两个数量级的范围内占据帕累托前沿。我们也与那些使用生成的提示词、在思维链中完成全部逻辑的模型做了对比，但这种方式的表现往往比直接使用工作流差得多。

请注意，这里的调用比上面的并排演示复杂得多。这是因为它们更能代表真正的业务自动化所需的生产工作负载类型。下面是我们发布的 4 个工作流中最简单的一个：

现实中最可靠的工作流往往包含许多相互独立、经过拆解的问题，其细粒度行为依赖于概率而非离散决策。最终结果是离散的分支，但得出最终答案的过程涉及大量针对特定领域的工程工作，需要高度一致地完成。

详情请见我们的工作流评测网站：包括示例、分歧案例、完整查询以及每个工作流。

说明
  • 我们主页上“快 193.6 倍、便宜 444.6 倍”的说法就来源于此，我们预计这属于现实收益中偏高的一端。
  • 这些工作流的内容并非为了让我们的模型好看而刻意挑选或构造，也不在我们的训练分布内。不过，它们是由我们模型能力团队的成员制作的，因此可能存在一定偏差。
  • 我们使用 GPT-6 Astra 和 Fable 5.1 的平均值作为参考答案，这会使答案偏向 OpenAI 和 Anthropic 的模型。我们很可能低估了我们的模型和 DeepSeek 模型的相对表现。
  • 这些 LLM 使用了我们的 System One LLM 封装，它约束 LLM 输出与我们的 API 兼容的结构化决策。我们发现这是从 LLM 获得决策最准确的方式，但与不带概率的决策相比，它往往更慢、更贵。

幻觉与类型安全

幻觉与类型安全本质上相互关联，我们认为后者是自动化的基本门槛。在智能体中，出现幻觉式的工具调用只是不方便，但如果它属于有延迟保证的系统，或埋在依赖链的好几层深处，就是绝对的致命问题。现有模型，无论多聪明，仍然会产生幻觉和类型错误。

说明
  • LLM 的数据来自 OpenRouter，也就是说这里几乎肯定存在偏差：更复杂的查询可能被路由到了更好的模型。
  • 我们的数字不是经验测得的。模式匹配是有保证的，因此我们可以放心地在图中填上 0%。

有趣的演示

我们工作中最令人兴奋的部分或许是催生新的使用场景。我们还有很多东西要展示给你，这里先放上团队最喜欢的几个：

Doom

我们很喜欢这个 doomo 演示展示了实时智能，以及代码加 AI 能做到的事（doone）。其背后的工程师担心每秒 10 次查询（最终每小时约 7 美元的成本），但我们其他人都认为这比预期低！这个演示太有趣了，我们打算不仅发布一份深入的讲解，还要举办一些活动一起来折腾它。

说明
  • 该演示针对的是以文本形式表示的结构化状态数据结构，而不是图像（目前还不是……）
  • 非 AI 的 Doom 机器人可以玩得更好，但我们想要的是一个能对游戏状态的不同表示做出反应的机器人，而最重要的是……遵循指令这件事酷毙了！
维基竞速（Wikiracing）

这个游戏的目标是从一个维基百科页面出发，仅利用沿途遇到的链接到达另一个指定的维基百科页面。每一步都可能要在数百到数千个链接中做选择！这是一个很棒的演示场，不仅能展示每秒智能，还能展示在高基数选择下不产生幻觉所带来的复利效应。

说明
  • 据我们所知，第 2 和第 3 个挑战都以“Rubber Duck”开头完全是巧合。作者是在团队指出之后才注意到的。
  • 我们在这里的加速倍数往往比之前的演示小得多。这是因为这里对比的是各模型的非推理模式（Astra 除外，它被设为最低推理档位）。这也是 Jev 往往用更少步数完成的原因（这是智能更高的标志）。这样做是为了让演示看起来不那么难熬。开启推理后，这些 LLM 在该任务上的表现要差得多。
  • Jev 支持最高 255 的基数。对于基数更高的选择，我们采用两阶段系统：先独立打分，再做出明确选择，因此偶尔会变慢。

下一步

Jev 仍处于早期阶段。我们还有大量工作在推进中，非常期待继续发布 🔥。

今天，我们开放抢先体验，并会尽快让开发者从候补名单中入选。我们想听听你需要自动化哪些决策、Jev 在哪里好用、在哪里不足。告诉我们你想构建什么样的科幻应用！！

我们创办 TypeSafe，是因为我们相信 AI 需要一个软件可以依赖的接口。我们迫不及待想看到新的使用场景在社区和经济中持续扩散。

我们提供常见问题解答

“System One 模型”和“Jev”这两个名字从何而来？

我们受到丹尼尔·卡尼曼（Daniel Kahneman）的《思考，快与慢》启发。这个模型类别的名字借用了快速、直觉的系统 1 思维与缓慢、审慎的系统 2 推理之间的区分。

“系统 1 思维”也暗含容易出错的意思。出于我们将来会详细说明的原因，我们相信 System One 模型可以比其替代方案做得更可靠。

我们以威廉·斯坦利·杰文斯（William Stanley Jevons）为 Jev 命名。我们预计机器智能会走上与煤炭类似的道路：蒸汽机效率提高之后，需求反而增加。智能成本每下降一个数量级，就会解锁多出若干数量级的使用场景。

为什么需要一种新的训练算法？

Jev 适合哪些使用场景？

Jev 只是一个更小的 LLM 吗？

Jev 在公开基准测试上表现如何？

我们的训练数据来自哪里？

这些结果有点离谱——这怎么可能？