Ricursive Intelligence 是一家全栈人工智能实验室，通过协同优化硬件、软件和模型来构建自我改进的系统。
为驱动我们的芯片设计平台，我们从零开始训练了一个语言模型，在智能体编程（agentic coding）上创下新的美国开放权重 SOTA。我们针对训练和服务平台优化了模型架构，带来了显著的效率提升。
今天，我们发布 Ripple-65B Preview，这是驱动我们 AI 芯片设计平台的专有模型的通用变体。该模型在 12 万亿 token 上预训练，支持最长 1M 上下文长度。Ripple-65B Preview 在智能体编程上表现强劲，在 TerminalBench 2.1 上达到美国开放权重最先进水平（80.52），并超越了规模显著更大的美国开放权重模型，如 Reflection Beam 501B（80.1）、Meta Muse Spark Open 816B（76.4）、Thinking Machines Inkling 975B（63.8）和 NVIDIA Nemotron 3 Ultra 550B（56.4）。
Ripple 的稠密模型架构在低延迟 token 生成的同时提供强大的推理性能。该模型较小的参数规模还使其能够在 NVIDIA DGX Spark 等本地设备上高效运行，这些设备相对于数据中心加速器具有高计算 FLOPs 和低内存带宽的特点。
Ripple-65B Preview 已在 Hugging Face、Together AI、GMI Cloud 和 OpenRouter 上提供。Fireworks 将于今天晚些时候上线。
以十分之一成本实现美国开放权重前沿水平
LLM 预训练以昂贵著称。2023 年，OpenAI CEO Sam Altman 表示 GPT-4 的训练成本超过 1 亿美元。次年，Dario Amodei 表示前沿 AI 模型的训练成本可高达 10 亿美元，并预测到 2026 至 2027 年，仅预训练成本就将升至100 亿至 1000 亿美元。
相比之下，我们仅用 3200 万美元就开发并训练了 Ripple-65B Preview，据我们所知，这是此前智能体编程开放权重 SOTA 成本的十分之一。¹ 请注意，3200 万美元是我们从零开始的完整研发成本，包括预训练阶梯开发、数据混合、评估、调试、合成数据生成、后训练配方开发，以及最终的正式预训练和后训练运行。
陡峭上升的强化学习
我们没有投入暴力式 RL 爬坡，而是围绕计算效率，仔细迭代我们的 SFT 和 RL 配方。我们选择不购买任何后训练数据，而是自行设计合成数据流水线、质量过滤和覆盖率指标。
我们的混合 RL 配方使用截断重要性采样、分数居中和线性长度惩罚，并配合高质量长时程合成环境。RL 任务针对我们的模型能力进行调优，随着模型改进，我们持续加入更难的任务。
最终结果是从一个强大的初始 SFT 检查点出发的陡峭 RL 爬坡。我们仅用 140 万次 rollout 就达到了 TerminalBench 2.1 的 80.5 分，rollout 次数比此前 SOTA 的 Reflection Beam 少约 70 倍。
协同设计的模型架构
Ripple-65B Preview 的架构旨在 NVIDIA 硬件上高效训练和服务。一个关键目标是做出能够降低预训练和后训练基础设施复杂性、同时仍能实现强大推理和智能体性能的设计决策。因此，我们选择训练现代化的稠密 Transformer 模型，而不是像其他实验室那样使用混合专家（MoE）。这一决策很快见效，我们能够从零训练出一个强大的模型，并在预训练和后训练全程保持稳定的 MFU（40%），即使只使用简单的分片、没有自定义内核、也没有量化。
Ripple-65B Preview 采用薄而深的模型长宽比，d_model 较窄（5120），共 80 层。为提升推理性能，我们超额配置注意力头数量，同时提高 SWA 与全局层的比例并减小 SWA 窗口大小，以补偿增加的成本。此外，我们加入了FFN 激活裁剪、门控注意力、全局 NoPE和值残差。
细致的模型阶梯带来大幅改进
我们通过一系列细致的模型阶梯实验优化了 Ripple 的预训练配方。
我们的起点是 Olmo 3 的模型阶梯，在此基础上我们在小规模上测试干预措施，重点是提升编程能力。我们的 v1.0 阶梯实现了StepFun 的批量大小和学习率缩放定律，v1.1 实现了我们的新阶梯，可平滑缩放架构维度和模型深度。阶梯 v1.2 从 post-norm 基线切换到 pre+post norm，这在小规模上表现中性，但从 4B 开始显示出改进。阶梯 v1.3 实现了sigmoid 门控注意力。阶梯 v1.4（2-stream mHC）在较小规模上表现良好，但在 4B 规模上没有改进，因此被否决。阶梯 v1.5 切换到全局 NoPE，并加入最终学习率冷却至零，阶梯 v1.6 加入了值残差。在最终版本中，我们切换到自定义预训练数据集，大幅上采样了代码。
综合来看，这些累积的改动将代码上的计算效率（以 dolma_stack CE 衡量）在 4B 模型规模上最多提升了 16 倍。换言之，我们最终的 Ripple 模型阶梯可以用少 16 倍的计算量达到与 Olmo 3 阶梯相似的代码性能。请注意，Olmo 3 阶梯基线的斜率比阶梯 v1.0+ 更平缓，这表明计算效率的提升将随规模增加而增大。
结论
我们构建 Ripple-65B Preview，是为了开始闭合模型与驱动它们的硬件之间的循环。该模型的一个内部变体驱动着我们的 AI 芯片设计平台，我们期待随着我们向前沿扩展，会涌现出怎样的能力。
我们有幸在现有开源贡献的基础上进行构建，包括来自 Allen Institute for AI（AI2）的 Olmo 团队、Prime Intellect、RadixArk 和 NVIDIA 的贡献。强大的开源生态系统也是自我改进的：贡献者增强了生态系统，而生态系统反过来又吸引了更多贡献者。
在 Ricursive，我们正在有选择地招聘杰出的研究人员和工程师，以推动从模型到芯片的全栈 AI 前沿。如果你感兴趣，请查看 https://www.ricursive.com/careers。
¹ 据报道，像 Reflection 这样的美国开放权重参与者承诺每月为 SpaceX Colossus 的计算支付 1.5 亿美元，用于训练他们的模型。Reflection 报告称，Beam 的预训练耗时 4 周，后训练耗时 4 周。