今天，我们很高兴地宣布，Ensemble AI 团队的核心成员将加入 Cloudflare，帮助我们加快 AI 基础设施方面的工作，让开发者更轻松地大规模、高效地运行强大的 AI 模型。
Ensemble AI 于 2023 年在旧金山创立，过去几年一直专注于 AI 领域最重要的挑战之一：在不牺牲质量的前提下，让大模型的服务更快、更小、更具成本效益。该团队开发了模型压缩和高效推理的新方法，旨在降低大语言模型和多模态架构的内存、计算和部署开销。
随着 AI 成为开发者构建应用的核心组成部分，推理的经济性比以往任何时候都更重要。模型越来越大，工作负载越来越动态，而客户也越来越期望 AI 无处不在：全球分布、快速、可靠且价格可负担。让 Ensemble AI 团队加入 Cloudflare，增强了我们实现这一目标的能力。
融入 Ensemble 的专长
Ensemble AI 团队一直致力于在降低运行成本的同时，保留现代 AI 模型内部的结构。Ensemble 没有把模型效率仅仅当作量化或硬件问题，而是探索了新的模型构件，可以在架构层面让神经网络更紧凑、更高效。
这项工作的核心之一是 NdLinear。它是 Transformer 模型中标准线性层的即插即用替代品，直接作用于多维激活，而不是把结构压平丢掉。这让模型能够保留有意义的轴，例如注意力头、通道、空间维度或其他结构化表示，同时减少参数量和计算量。Ensemble 还开发了 NdLinear-LoRA，这是一种高效的适配方法，旨在减少微调大模型所需的可训练参数。
这些方法与其他效率技术互为补充，包括量化和向量量化。它们共同指向这样一个未来：开发者可以用大幅降低的内存、计算和成本要求，运行能力出色的 AI 模型。
让 AI 推理更高效
Cloudflare Workers AI 让开发者能够在 Cloudflare 全球网络上使用由 GPU 驱动的无服务器推理。随着开发者构建越来越多 AI 原生应用，高效提供模型服务的能力成为平台的关键部分。
推理成本是 AI 应用规模化的最大障碍之一。模型大小、内存占用、吞吐量和 GPU 利用率每提升一点，都能让开发者更容易用上 AI，也让客户的成本更划算。随着 AI 工作负载从简单的文本生成扩展到智能体、多模态模型、个性化、微调、检索和强化学习，这一点尤为重要。
我们正在加大对核心机器学习能力的投入，让 Workers AI 更快、更灵活、更具成本效益。这建立在我们已有的提升模型效率的工作之上，包括我们的推理引擎 Infire、Unweight 等张量压缩技术，以及我们用于运行超大语言模型的平台。该团队将专注于改善大语言模型和其他先进 AI 架构的服务经济性，重点是模型效率、GPU 利用率和可扩展的部署。
为下一代 AI 工作负载而构建
AI 基础设施正进入新阶段。开发者不再只需要能访问模型，他们需要的是能够可靠、经济地在靠近用户的位置运行模型的基础设施。他们需要能够尝试不同的模型规模、微调方法和部署模式，而不被成本或运维复杂度所阻碍。
Cloudflare 在解决这一问题上具有独特优势。我们的全球网络、开发者平台和无服务器架构，为我们把 AI 带到应用已有的运行位置附近奠定了基础。Workers AI 机器学习工程团队将帮助我们改进这一体验背后的效率层。
将 Cloudflare 的全球基础设施与 Ensemble 在模型压缩和高效架构方面的工作相结合，我们可以继续打造这样一个平台：开发者能够以更低的成本、更好的性能和更少的运维负担部署 AI 应用。
接下来
我们将携手继续构建所需的基础设施，让 AI 对各地的开发者更高效、更易用、更有用。我们的目标很简单：帮助开发者以全球规模运行强大的 AI 工作负载，同时改善整个 Cloudflare 平台的推理经济性。如果你想加入我们的使命，请查看我们的招聘页面。
