今天我们宣布与 Moonshot AI(月之暗面)建立战略合作伙伴关系。月之暗面是推动开源前沿的领先模型实验室之一,专注于大规模 MoE 架构。根据这项合作,Together AI 将成为 Moonshot 模型发布的首发平台,从 Kimi K3 开始,并延伸到 Moonshot 今后发布的每一个开放权重模型。
对于基于开放模型进行构建的开发者来说,这意味着可以通过 Together AI 部署在美国的基础设施、定价模式和工具链,在发布当天就用上 Moonshot 的前沿模型,同时确保零数据留存,以及对模型和数据的合规访问。开发者还可以用自己的数据对这些模型进行后训练,为自己的应用获得所需的质量和性能。
前沿性能,开放权重
Kimi K3 是迄今发布的最大的开放模型:一个拥有 2.8T 参数的稀疏混合专家(Mixture-of-Experts)模型,原生支持视觉,上下文窗口为 1M token。Moonshot 围绕两个新的架构组件构建了它:
- Kimi Delta Attention(KDA),改变了信息在序列长度上的流动方式,在长上下文长度下显著加快了解码速度。
- Attention Residuals(AttnRes),改进了跨模型深度检索表示的方式,以极小的额外计算成本带来了可观的训练效率提升。
在此之上叠加了一系列优化器改进,包括逐头(per-head)Muon 和基于分位数的专家负载均衡,Moonshot 称这些改进结合起来,与 Kimi K2 相比可带来约 2.5 倍的扩展效率提升。最终得到的模型面向长周期编码、智能体工作流、游戏开发和知识密集型任务,其基准测试结果使它能与当今市场上领先的闭源系统直接竞争。
生产级推理平台
Kimi 模型已在 Together AI 的各类推理产品中提供,包括 Serverless、Provisioned Throughput 和 Dedicated Inference。开发者可以从试用这些模型,顺畅过渡到将其应用于生产用例,并获得有 SLA 保障的产品和自动扩缩容。
借助 Provisioned Throughput,团队可以为前沿开放模型使用预留的推理容量,采用按 token 计费的定价和 99% 的可用性 SLA。这正是开发者已经习惯从闭源模型供应商那里得到的预留容量保障,如今也适用于开放权重模型。无需计算 GPU 小时数,只要以可预测的价格获得有保障的吞吐量。对于希望获得更多控制权,同时享有生产级平台全部优势的团队,可以使用 Dedicated Model Inference,它部署快速、token 经济性更好,并且持续把研究创新交付到产品中。
后训练
开发者还可以对 Kimi 模型进行后训练,针对目标用例获得更好的质量。借助自定义训练,包括全权重和 LoRA 强化学习,以及高级监督微调,开发者可以通过 Python SDK 和细粒度原语来配置训练,并在专用容量上并发运行多个 LoRA 实验。自定义训练把实验直接连接到生产。当某个检查点准备好评估时,可以原生部署到推理端,训练和服务之间无需单独交接,也无需重新搭建。
这项合作为开发者带来什么
- 首日可用:Kimi K3 已在 Together AI 上线,具备最高的模型质量和性能,并经 Moonshot 验证。Moonshot 未来的发布也将在发布时同步登陆 Together。
- 久经验证的规模与生产就绪的基础设施:Together AI 经过研究优化的推理栈针对 K3 这样的大型稀疏 MoE 模型做了调优,因此开发者得到的是该架构所承诺的性能,而不是通用部署。Together 的推理栈已经为 Cursor、Y Combinator 和 Decagon 等公司的生产流量提供服务,大规模部署编码和智能体工作负载。
- 一次集成,涵盖 Moonshot 全系列:Moonshot 每发布新模型,都会出现在同一个 Together AI 模型库中,使用你已经在调用的同一套 API。无需新的 SDK,无需另开账号,每次 Kimi 新模型发布时也不必重新改造你的应用。
- 首日即可后训练:Together 客户可以把 Kimi 模型用作微调的基础模型,并可灵活地去除 MIT 许可证所要求的署名。
- 开放权重,控制方式由你选择:由于 Kimi K3 是开放权重的,你可以在 Together 上以 serverless 方式运行以加快迭代速度,也可以随着用量增长转到 Provisioned Throughput 或 Dedicated Model Inference,而不会被锁定在某一家供应商的路线图上。
加入交流
想直接听听 Moonshot AI 和 Together AI 背后团队的分享吗?欢迎加入 Moonshot AI 团队的 Feihu Tang,以及 Together AI 的 Jue Wang 和 Zain Hasan,一起探讨 Kimi K3 背后的技术决策、如何在 Together 上实际运行它,以及接下来的计划。带上你的问题来吧。
