多年来，AI 的聚光灯一直打在训练上：也就是构建模型那个规模庞大、极耗 GPU 的过程。但对如今大多数部署 AI 的团队来说，真正决定单位经济效益的是持续不断的推理成本。据估算，推理占生产级 AI 系统全生命周期总成本的 80% 到 90%，原因很简单：每一次用户查询、每一步智能体操作、每一次 API 调用，它都在持续运行。训练是有上限的一次性投入，而推理会随着你上线的每一个新用户和新用例而扩张。
在 NVIDIA GTC 2026 上，NVIDIA CEO 黄仁勋把这一转变讲得很直白：“人们为信息付费，但更多是为工作付费。智能体系统能把活干完。”AI 从新鲜玩意儿变成主力干将，这正是在重塑基础设施的优先级。
对 Together AI 来说，这一切并不新鲜。应对推理的迫切需求，正是我们一直在做的事。我们的 CTO Ce Zhang 在 GTC 上深入讲解了这些动态，分享了运行业内要求最苛刻的一批生产级推理负载时积累的来之不易的经验。
▶ https://together-website.b-cdn.net/video/17-March-1300-PM_Podcast_EP81222.mp4
推理难在哪里，与众不同
推理并不只是“把模型跑起来”。在生产环境中，它是一个要同时兼顾多个相互冲突维度的优化问题：
- 延迟决定了你能构建什么。对于编程助手、实时客服或对话式智能体这类应用，低于 500ms 的响应时间不是锦上添花，而是决定产品用起来像软件还是像在等待。智能体工作流会放大这一点：五次模型调用、每次 200ms，用户看到结果之前就已经累积了整整一秒的延迟。这个阈值很重要，达不到会带来产品层面的后果。
- 吞吐量决定了你的单位经济效益。AI 原生公司面对的成本结构与传统 SaaS 有着本质区别。传统软件公司的目标毛利率是 80% 到 90%，而 AI 公司的毛利率通常只有 50% 到 60%，仅推理一项就约占处于规模化阶段公司收入的 23%。高效的推理意味着每个 GPU 小时能服务更多请求，这笔账会直接体现在利润率上。
- 模型格局不断变化。为今天的模型优化的推理栈，明天可能就要大改。新架构、新的量化方法、新硬件层出不穷；要始终站在前沿，需要在整个技术栈上持续投入，而不是一次性优化了事。
- 并发毫不留情。同时服务成千上万的用户，意味着要应对差异极大的上下文长度、延迟要求和成本特征，而且这一切同时发生，还不能有任何性能下降。这既是算力问题，也同样是调度和编排问题。
这也是为什么这件事的风险比大多数团队起初预想的要高。
Together 如何做推理
Together 的推理方案不是某一项单点优化，而是研究、系统工程和硬件专长层层叠加的组合，会随着前沿的推进不断改进：
- 能落地到生产的研究。Together Research 团队贡献了推理效率领域一些应用最广泛的进展：FlashAttention（目前已演进到 FlashAttention-4）、ThunderKittens，以及我们开源的自适应推测解码系统 Aurora，它能让 LLM 推理最高提速 1.25 倍。这些研究成果通常在发表后数周内就会进入客户的生产环境。
- 自适应推测解码。标准的推测解码用一个较小的草稿模型提出候选 token，再由较大的模型并行验证，在代码补全或结构化输出这类可预测的负载上可带来 1.5 到 3 倍的加速。我们的 ATLAS 和 Aurora 系统更进一步：Aurora 是一个基于强化学习的开源框架，能实时从线上推理轨迹中学习，并随流量模式的变化而调整。即便与训练充分的静态推测器相比，它也能实现可观的加速，而且不会中断服务。
- 全栈硬件优化。在最新的 NVIDIA Blackwell 硬件（GB200 NVL72、HGX B200）上运行，意味着要在 72 卡 GPU 网格上构建定制的并行策略，实现 NVFP4 量化，并搭建从权重到生产的流水线，让新发布的模型在数天内上线。当 Cursor 需要为数百万活跃开发者提供生产级延迟时，Together AI 搭建了全栈基础设施来实现这一目标，在不可预测的高并发流量下满足严格的延迟 SLA。
- 智能调度与批处理。高吞吐量推理需要做出聪明的实时决策：哪些请求合并成一批，如何根据上下文长度和延迟要求进行路由，以及何时用吞吐量换取响应速度。Together 的推理引擎会动态处理这些问题，在不牺牲 AI 原生应用和产品所依赖的使用体验的前提下，榨取每个 GPU 小时的最大效率。
把这件事做对的经济账
斯坦福 2025 年 AI Index 记录了一个惊人的趋势：从 2022 年底到 2024 年底，达到 GPT-3.5 水平的推理成本下降了 280 多倍。但推理的总支出却在上升；成本降低后，团队会把 AI 部署到更多用例、更多用户和更多智能体步骤中。单个 token 成本的降低并没有减轻基础设施的挑战，反而扩大了它的覆盖面。随着业界逐渐把更低的 token 成本视为衡量 AI 基础设施 TCO 的真实指标，Together AI 优化整个软硬件栈的做法，持续为客户带来更好的盈利能力。
对 AI 原生公司来说，推理优化因此成为一种复利式的优势。把推理效率提高 2 倍，你就能在同样的硬件上服务更多客户，同时解锁以前行不通的用例。每一次效率提升不仅直接体现在利润率上，也决定了你长期能构建出什么。
这正是 Together AI 引以为傲的地方：它不只是一个快速的推理平台，更是一层基础设施，让 AI 原生团队得以增长，而成本增速不会超过收入增速。
在 AI Native Cloud 上运行生产规模的推理
Together AI 是 AI Native Cloud，提供覆盖 Serverless & Dedicated 推理、加速计算和模型定制（Model Shaping）的全栈 AI 平台，帮你从每个 GPU 小时中获得更多价值，同时不牺牲用户期待的速度和生产级可靠性。
推理不是边缘议题。对于如今构建 AI 原生应用的团队来说，它将决定利润率、产品路线图以及竞争能力。好消息是：在 AI Native Cloud 上应对它的工具，从未像现在这样好。
准备好在 Together AI 上构建下一代产品了吗？立即开始。
_____________________________________________________________________________________
想深入了解？我们的生产级推理最佳实践指南详细介绍了推测解码、优化内核、量化和硬件加速。
常见问题
什么是大规模 AI 推理？
AI 推理是运行训练好的模型来生成响应的过程，每当用户发送一条消息、触发一个智能体或发起一次 API 调用，都会发生推理。在大规模场景下，这意味着要同时处理成千上万乃至数百万个请求，每个请求的上下文长度、延迟要求和成本特征都各不相同。基础设施面临的挑战不只是算力，而是如何高效、持续地编排这一切，同时不降低任何单个用户的速度或可靠性。
为什么 AI 推理比训练更贵？
训练是密集但有上限的投入，只发生一次（或在模型更新时周期性发生）。相比之下，推理是持续运行的：每次用户交互、每个智能体步骤、每次 API 调用都会产生成本。行业估算认为，推理占生产级 AI 系统全生命周期总成本的 80% 到 90%。使用量增长，账单也随之增长。对 AI 原生公司来说，推理实际上就是销货成本，直接随收入增长。
什么是推测解码？
推测解码是一种推理加速技术：由一个更小更快的“草稿”模型一次提出多个 token，再由较大的目标模型并行验证。匹配的 token 被接受，其余的则被丢弃并重新生成。当草稿模型与目标模型对齐良好时，这种方法可以在不改变输出的前提下带来 1.5 到 3 倍的加速，对代码补全或结构化数据生成这类可预测的负载尤其有效。Together AI 的 ATLAS 系统在此基础上更进一步，采用自适应推测解码，能够实时从线上流量中学习并调整。
什么是自适应推测解码？
标准的推测解码依赖静态草稿模型，即离线训练、部署时固定不变的模型。问题在于，真实世界的流量模式不断变化，领域一变，静态草稿模型的准确率就会下降。自适应推测解码通过持续从线上推理轨迹中学习来解决这一问题，在不中断服务的情况下更新草稿模型。Together AI 的 Aurora 框架是一个基于强化学习的开源实现，即使从零开始，也能比训练充分的静态推测器实现可观的加速。
在 AI 语境下，“推理研究”指什么？
推理研究是专注于让 AI 模型在生产环境中运行得更快、更便宜、更高效，同时不牺牲输出质量的研究领域。它涵盖算法层面的工作（如推测解码和注意力优化）、系统层面的工作（如内核工程和请求调度）以及硬件层面的工作（如量化和 GPU 利用率）。它有别于模型研究，后者关注的是提升模型所知或所能。随着推理成本成为 AI 部署中的主要开支，推理研究已成为应用 AI 中杠杆率最高的领域之一。
推理优化如何影响 AI 产品的经济效益？
推理优化直接改善单位经济效益：推理更快意味着每个 GPU 小时能服务更多请求，也就意味着单次请求的成本更低。在大规模场景下，即便是不大的效率提升也会显著累积：吞吐量提高 2 倍，相当于同样的负载下基础设施成本减半。这对产品团队很重要，因为它决定了哪些用例在经济上可行，业务量增长时利润率改善得有多快，以及随着市场成熟，产品能否维持有竞争力的定价。