摘要
我们为推理平台发布了一次重大更新，让你无需自建技术栈，就能完全掌控性能、成本和质量。模型几分钟即可上线，每个部署从一开始就具备生产级能力：可以在同一个稳定的端点后运行多个部署；通过金丝雀（canary）、蓝绿（blue-green）和滚动更新安全地发布变更，并在触及你设定的阈值时自动回滚；用 A/B 测试和影子（shadow）测试在真实流量上验证；还能在单个或多个区域之间自动扩缩容。
我们还宣布开启自定义训练的封闭测试，涵盖全权重和 LoRA 强化学习以及监督式微调，训练出的检查点可以直接部署到生产环境。申请参与自定义训练测试。
开放权重模型如今在质量上已能比肩闭源模型，运行成本只是后者的零头，还可以针对具体任务充分定制。这样的组合让它们成为认真打造 AI 产品和智能体的团队的基石。但采用开放权重模型的战略动机，仍然是能够掌握控制权。与闭源模型不同，开放权重模型让团队可以掌控性能、质量和功能。许多商业 AI 应用已经采用以开放权重为主的端点策略，以便完全掌控自己的用户体验。许多企业则借助这种控制权，把自己宝贵的专有知识产权融入模型，同时不必担心暴露给第三方。
开放权重模型的用户希望对性能、功能和质量拥有最大程度的控制，但很少有团队愿意每周都要考验自己的能力，去正确协调量化级别、并行方案、引擎参数、草稿模型架构等一大堆相互牵连的决策，这还只是其中几项。与此同时，实现最佳质量和性能的前沿技术也在飞速演进。在日新月异的 AI 领域，没有人有时间，也没有人愿意停下来研读一部年鉴那么厚的推理内部细节，或是堆积如山的研究论文，即便是运行着全球最成功的模型和智能体的团队也不例外。
Together Dedicated Model Inference 运用了我们在每月处理超过 400 万亿 token 的过程中积累的经验，打造出这样一个推理平台：
- 让用户完全掌控自己的模型、性能、成本、质量和功能
- 避免因从零搭建每一套推理技术栈和端点管理层而造成的时间损耗、资金浪费和意外停机
- 持续纳入经过审核的最新研究成果，达到前沿水平的性能、质量和效率
这次更新把我们研究、模型优化和平台工程团队的进展整合到同一项服务中，目的是让企业能以更简单、更可靠、也更优化的方式，在生产环境中运行开放权重模型、获得授权的闭源权重模型以及微调模型。
要同时做到可控与简单，就不能只把推理看作在 API 背后托管一个模型。你所采用的精度、部署的硬件、使用的服务配置，以及扩缩容和流量路由的方式，都会对性能、可靠性和成本产生实质影响。
我们构建这个平台，是为了让你从实验走向生产时，不必更换平台，也不必重建部署。即使你还在测试和迭代，生产就绪能力也已内置于底层。这意味着你可以安全地推出新版本、用真实流量测试变更、对生产请求做影子复制、在多个部署之间路由流量、随需求扩缩容，并在结果不如预期时回滚。
Decagon 的 Max Lu 这样描述这种转变：
Together 已经把我们的延迟降到了语音场景所需的水平。他们的新推理平台改变的是我们发布下一个模型版本的方式：我们可以在一小部分线上流量上对新的微调模型做金丝雀发布，一旦关键指标出现退化就自动回滚。我们将从“快速推理”迈向“可以每周安全迭代的快速推理”。
这正是我们最终想要释放的价值：不只是快速、高效的推理，更是在不引入不必要风险的前提下，持续改进你所提供服务的能力。你可以先从 Together 已经优化过的路径起步，随着工作负载越来越专门化，再逐步接管更多控制权。这一原则贯穿整个平台，从如何引入并配置模型，到如何扩缩容、测试变更、观测性能，以及把新版本推向生产。
▶ How to Deploy & Scale Open Models in Production | Together AI Inference Demo
带上你想要部署的模型
你可以部署 Together 模型平台上的模型，也可以带上自己的开放权重模型或微调模型。可以从 Hugging Face、S3 或本地上传完整的模型权重或适配器（adapter）。
平台旨在支持模型的完整生命周期，从早期的微调版本，一直到最终承载生产流量的各个版本。
选择模型的运行方式
模型本身只是部署的一部分。硬件类型、量化、张量并行、推测解码（speculative decoding）和服务引擎，都会影响工作负载的性能和经济性。
你不应该为了获得出色的效果，而成为其中每一项选择的专家。Together 的部署配置方案（deployment profile）打包了我们研究和工程团队已经测试并优化过的配置，让你可以从一套经过验证的方案起步，而不必从头拼装。当你需要更多控制时，这些选项依然可以自行调整。你可以在不同的硬件和优化方案中选择，并且随着时间推移，决定主要针对延迟、吞吐量，还是二者的平衡进行优化。
减少等待模型启动的时间
模型越大，启动时间就越多地耗费在把数百 GB 的权重搬运到位上。我们重建了模型缓存和分发层，使这些权重可以在整个集群内共享，并在部署需要之前就主动预热。在内部测试中，这让多个前沿模型的热启动速度提升了大约 4 倍。
| 模型规模 | 代表性模型 | 平均部署时间 |
|---|---|---|
| 小型模型 | Qwen 2.5 7B、Qwen 3.5 9B、Llama 3.1 8B | 约 2–5 分钟 |
| 中型模型 | GPT-OSS 20B、Qwen 3.6 27B、Qwen 3.5 35B | 约 3–7 分钟 |
| 大型模型 | Llama 3.3 70B、Qwen 3 235B | 约 4–12 分钟 |
| 前沿规模的 MoE 模型 | Kimi K2.7、MiniMax M3、GLM 5.2 | 约 7–14 分钟 |
掌控部署在哪里、如何扩缩容
你可以把模型固定在特定区域运行，也可以让放置位置保持灵活。你还可以定义部署如何响应流量的变化。
不同的工作负载有不同的需求信号，因此自动扩缩容不应局限于单一的通用指标。平台默认提供合理的起点，同时在你的工作负载有更具体的要求时，允许你根据进行中的请求数、GPU 利用率、首个 token 时间（time to first token）、延迟、解码速度或吞吐量来扩缩容。
部署不断演进，端点保持稳定
推理端点不再必须对应单一的静态部署。你可以在同一个端点之后创建多个部署，每个部署可以使用不同的模型权重、硬件或服务配置。
这样一来，你可以更改 API 背后实际运行的内容，而不必让应用改变调用模型的方式。端点保持稳定，其背后的部署不断演进，让你在测试、发布和替换模型或配置时，无需改动应用层。
安全地把变更推向生产
使用金丝雀、蓝绿或滚动更新，逐步引入新的模型版本和配置。
平台负责流量切换和部署生命周期，同时让你控制变更推进的速度，以及何时应当停止或回滚。你无需自己搭建发布机制，就能获得所需的生产级控制能力。
用真实流量测试，又不让用户承担风险
使用 A/B 测试，把一定比例的流量路由到不同的部署，直接比较它们的表现。使用影子流量，把生产请求镜像到新的部署，同时不影响返回给用户的响应。
这样就能用真正重要的流量来评估新的权重、配置和硬件，而不必只依赖离线基准测试或合成测试。
衡量实际发生的情况
新平台提供组织级、可抓取的 Prometheus 端点，你可以把它接入自己选择的可观测性工具，用来构建仪表盘、设置告警、监控发布健康状况、比较 A/B 测试的各个变体，并将影子流量与生产流量进行对比。
我们还更新了产品内的分析体验，让你可以直接在 Together 中更轻松地了解部署健康状况、流量、性能和扩缩容行为。
加入我们的强化学习测试
在推理平台之外，我们还启动了自定义训练的封闭测试，包括全权重和 LoRA 强化学习以及高级监督式微调。你可以通过 Python SDK 和细粒度的原语来配置训练，并在专用算力上并发运行多个 LoRA 实验。自定义训练把实验与生产直接连通。当检查点准备好评估时，你可以将其原生部署到自己的推理部署中，训练与服务之间无需单独交接，也无需重建环境，就能在同一个平台上从后训练实验走向生产评估。封闭测试期间名额有限。
申请参与即可开始。
下一步
这次更新只是开始。它是一个平台的基础：在这个平台上，模型可以被训练、优化、部署、度量并持续改进，而不必为生命周期的每个环节拼凑一套不同的系统。
开放权重模型赋予企业对质量、性能和成本的极大掌控力。我们的工作，是让这种控制权触手可及，而不把推理变成一个自己动手搭建的基础设施项目。这意味着提供开箱即用的默认设置、我们已经优化好的配置，以及在你需要时更深入的控制能力。
在接下来的几周里，我们将深入介绍平台背后的系统，包括部署配置方案、模型启动、自动扩缩容、可观测性、发布、A/B 测试和影子流量。目前，全新的 Dedicated Model Inference 平台已经可用，帮助你从早期迭代走向生产，并在上线之后持续改进你所提供的服务。
→ 开始使用
→ 联系我们的团队
→ 阅读文档