今天我们宣布与月之暗面(Moonshot AI)建立战略合作伙伴关系,月之暗面是领先的模型实验室之一,通过大规模MoE架构推动开源前沿。根据这一合作,Together AI成为月之暗面模型发布的启动平台,从Kimi K3开始,并延伸至月之暗面未来发布的每一个开放权重模型。
对于基于开放模型进行构建的开发者来说,这意味着通过Together AI的美国托管基础设施、定价模型和工具,可以在第一时间访问月之暗面的前沿发布,同时确保零数据保留以及合规的模型和数据访问。开发者还可以使用自己的数据对这些模型进行后训练,以提升其应用的质量和性能。
前沿性能,开放权重
Kimi K3是迄今为止发布的最大开源模型:一个2.8T参数的稀疏混合专家模型,原生支持视觉,并拥有100万token的上下文窗口。月之暗面围绕两个新的架构组件构建了它:
Kimi Delta Attention (KDA),它改变了信息在序列长度上的流动方式,在长上下文场景下实现显著更快的解码。Attention Residuals (AttnRes),它改进了表示在模型深度上的检索方式,以极小的额外计算成本增加了有意义的训练效率。
在此基础上,还有一组优化器改进,包括每头Muon和基于分位数的专家负载均衡,月之暗面表示,这些改进相结合,相比Kimi K2实现了约2.5倍的扩展效率提升。结果是一个为长周期编码、智能体工作流、游戏开发和知识密集型任务而构建的模型,其基准测试结果使其能够与当今市场上的领先专有系统直接竞争。
生产推理平台
Kimi模型可通过Together AI推理产品使用——包括无服务器、预置吞吐量和专用推理。开发者可以从试用这些模型开始,将其应用于生产用例,并获得SLA支持和自动扩展。
通过预置吞吐量,团队可以为前沿开放模型使用预留推理容量,采用基于token的定价和99%正常运行时间的SLA。这是开发者已经从闭源模型提供商那里期望的预留容量保证,现在可用于开放权重。无需GPU小时计算,只需以可预测的价格获得保证的吞吐量。对于希望获得更多控制权并享受生产就绪平台所有好处的团队,他们可以使用专用模型推理,实现快速部署、更好的token经济性以及持续的研究创新融入产品。
后训练
开发者还可以对Kimi模型进行后训练,以提升其目标用例的质量。通过自定义训练,包括全权重和LoRA强化学习以及高级监督微调,开发者可以通过Python SDK和细粒度原语配置训练,并在专用容量上同时运行多个LoRA实验。自定义训练将实验直接连接到生产。当检查点准备好进行评估时,可以原生部署到推理,无需在训练和服务之间进行单独交接,也无需重建。
这一合作为开发者解锁了什么
零日可用性:Kimi K3 已在 Together AI 上提供,具有最高模型质量和性能,经 Moonshot 验证。未来 Moonshot 的发布也将在上线时同步登陆 Together。
经过验证的规模与生产就绪基础设施:Together AI 的优化推理栈专为 K3 等大型稀疏 MoE 模型调优,使开发者获得架构承诺的性能,而非通用部署。Together 的推理栈已为 Cursor、Y Combinator 和 Decagon 等公司处理生产流量,大规模部署编码和智能体工作负载。
一次集成,完整 Moonshot 产品线:随着 Moonshot 发布新模型,它们将出现在同一个 Together AI 模型库中,使用您已在调用的同一 API。无需新 SDK、无需单独账户、无需每次新 Kimi 模型发布时重新连接您的应用。
零日后训练:Together 客户可以将 Kimi 模型作为基础模型进行微调,并可灵活移除 MIT 许可证中要求的署名。
开放权重,您掌控选择:由于 Kimi K3 是开放权重的,您可以在 Together 上以无服务器方式运行以快速迭代,或随着使用规模增长迁移到预置吞吐量或专用模型推理,而不会受限于单一供应商的路线图。
加入讨论
想直接听取 Moonshot AI 和 Together AI 团队的意见?加入 Moonshot AI 团队的 Feihu Tang 以及 Together AI 的 Jue Wang 和 Zain Hasan,讨论 Kimi K3 背后的技术决策、如何在 Together 上实际运行以及下一步计划。带上您的问题。
