我们很高兴地分享，Together AI 正与 IBM 和 NVIDIA 合作，以扩展企业级 AI 推理，首先是在 IBM Cloud 上部署一个由 NVIDIA Spectrum-X 以太网网络支持的大型 NVIDIA B300 GPU 集群。这是 IBM Cloud 上首个此类专用的、大规模推理集群，而我们是在其上运行的首个客户。
实际正在发生什么
基础设施：一个专为推理打造的专用 NVIDIA B300 GPU 集群，运行在 IBM Cloud 上。模型：我们运营推理层，IBM 提供云，NVIDIA 提供芯片和网络。发展轨迹：随着 token 需求呈抛物线式增长，我们正在为未来做规划
为什么这很重要
我们创办 Together AI，是因为我们相信 AI 的未来不应被少数几家封闭实验室所拥有。这一押注的回报比我们预期的还要快：每月向超过一百万开发者提供数百万亿个 token，而且需求还在持续攀升。
企业和 AI 原生公司选择开放模型有两个简单原因：他们的主权数据仍归他们所有，而且他们能以封闭模型成本的一小部分获得前沿级性能。使用量越大，这笔账就越划算。
通过这一合作：
- NVIDIA 带来芯片——专为高吞吐量推理而设计的 B300 GPU 和 Spectrum-X 以太网网络。
- IBM 带来数十年来为全球最大型企业运行关键任务基础设施的经验。
- Together AI 带来推理平台——在生产环境中运行开放模型的最快、最高效的方式，并经过全球一些最严苛 AI 工作负载的锤炼。
把这些结合在一起，结果很简单：大规模的企业级推理——更多生产级 token，并具备企业所期望的可靠性、安全性和防护措施。
开源 AI 必须能够在任何地方大规模运行，并且像任何封闭系统一样快速可靠。过去几年我们一直在确保它能够做到，而这次合作正是朝着这一目标迈出的一大步。