Meta 超级智能——领导力、算力与数据
AI 数据中心巨人之战、“帐篷”、AI 数据与人才战争、扎克创始人模式、Behemoth 4 事后分析、OBBB 税收意外之财、AI 与 Reality Labs
Meta 以约 300 亿美元估值收购 Scale AI 49% 股份的惊人举动表明，对于这家年现金流达 1000 亿美元的广告机器而言，资金根本不是问题。尽管资源看似无限，Meta 在模型性能上却一直落后于基础实验室。
真正的警钟是 Meta 在开源权重模型上被 DeepSeek 超越。这惊醒了沉睡的巨人。如今，马克·扎克伯格全面进入创始人模式，亲自领导 Meta 的冲锋，并指出了 Meta 的两个核心短板：人才和算力。作为最后一批仍在运营科技巨头的创始人之一，马克不需要 SemiAnalysis 告诉他放慢股票回购以投资未来！
除了砸钱解决问题，他还在从根本上重新思考 Meta 的 GenAI 策略。他正在从零开始组建一个新的“超级智能”团队，并亲自挖角顶尖 AI 人才，其薪酬让顶级运动员的收入相形见绌。该团队被挖角人员的典型报价是 4 年 2 亿美元，是同行水平的 100 倍。此外，还有一些价值数十亿美元的报价未被 OpenAI 的研究/工程领导层接受。尽管这些报价并非全部成功，但扎克通过大幅提高每位员工的成本，正在碾压竞争对手。
或许更具标志性的是，扎克将整个数据中心策略扔进了垃圾桶，现在正在“帐篷”中建造价值数十亿美元的 GPU 集群！
正如本报告所详述的，一切皆有可能。我们剖析了 Meta 从算力到人才的前所未有的重塑，以追求超级智能，以及我们如何走到这一步的故事。从 Llama 3.0 开源主导到 Llama 4 Behemoth 的史诗级失败，这位 AI 巨人虽已倒下但并未出局。事实上，我们相信 Meta 的训练 FLOPS 增长将能与 OAI 相媲美。该公司正从每位研究人员的 GPU 匮乏转变为 GPU 极度富裕。
Meta GenAI 1.0：AI 渐进主义
与 OpenAI 等纯 AI 实验室相比，Meta 和 Google 等公司采取了“AI 渐进主义”策略，通过更好的推荐系统和 GenAI 增强现有产品，以改进广告定向、内容标记和内部工具。这在财务业绩上取得了丰厚回报，使 Meta 能够摆脱苹果在 iOS 14.5（2021 年末、2022 年初）中发布应用跟踪透明度（ATT）功能以阻止其跟踪用户的企图。
尽管 Meta 可以说比 Google 更不受 GenAI 颠覆的影响，但两家公司的 LLM 努力都有些令人失望。原因之一是将资本主要分配给核心业务，而非追求超级智能。
“我们今年的资本支出增长将同时用于生成式 AI 和核心业务需求，其中大部分资本支出支持核心业务。”
来源：Meta 2025 年第一季度财报电话会议，SemiAnalysis 强调
GenAI 是这些科技巨头业务的延伸。它们不像 OpenAI 在聊天机器人领域或 Anthropic 在编码 API 领域那样，有主导新用例的生存需求。这在 OpenAI 等领先 AI 基础实验室与 Meta 之间的算力与人力资本分配中显而易见。扎克对竞争性报价和薪资通胀的影响将造成严重损害。
因此，当 m
衡量生成式AI消费者应用的吸引力，Meta和Google在覆盖面和参与度上明显落后于ChatGPT。
但这种情况正在改变。利用我们专有的加速器行业模型和数据中心行业模型，我们预测未来几年Meta在生成式AI方面的投资将显著增加。
Meta生成式AI 2.0 – 第一部分：重新发明数据中心策略（再次）
从建筑到帐篷
就在一年前，Meta废弃了其沿用十年的“H”形数据中心蓝图，转而采用新的AI优化设计。
如今在2025年，扎克伯格决定再次重新制定策略。受xAI前所未有的上市速度启发，Meta正在采用一种将速度置于首位的设计。他们已经在建造更多这样的数据中心！传统数据中心和房地产投资者，仍对xAI的孟菲斯站点和上市速度感到震惊，将再次受到冲击。
这种设计不追求美观或冗余。它追求的是快速上线计算能力！从预制电源和冷却模块到超轻结构，速度至关重要，因为没有备用发电（即看不到柴油发电机）。
电力目前使用Meta附近的现场变电站。Meta可能采用复杂的工作负载管理，以最大化利用从电网获得的每一瓦电力。在最热的夏季，它甚至可能需要关闭工作负载。
普罗米修斯1GW AI训练集群——一种“全方位”基础设施策略
Meta正在俄亥俄州悄然建造世界上最大的AI训练集群之一。我们从其基础设施组织内部的消息来源得知，他们称这个集群为普罗米修斯。为了击败竞争对手的AI实验室，Meta实施了“全方位”基础设施策略：
自建园区。
从第三方租赁。
AI优化设计。
现场、表后天然气发电。
观察下面的普罗米修斯训练集群，我们认为Meta正在将所有站点通过超高速网络连接到一个后端网络上，该网络由Arista 7808交换机（搭载Broadcom Jericho和Ramon ASIC）驱动。
通过结合自建和租赁，Meta加速了部署。事实上，他们在2024年下半年预租赁的容量超过了任何超大规模云服务商，主要集中在俄亥俄州。
此外，当当地电网无法满足需求时，Meta完全进入了埃隆模式。在Williams的帮助下，他们正在建设两座200MW的现场天然气发电厂。第一座发电厂的设备清单包括：
3台Solar Turbines的Titan 250涡轮机
9台PGM 130涡轮机
3台Siemens Energy SGT400涡轮机
15台CAT 3520往复式发动机
未来的SemiAnalysis报告将更深入地探讨这些系统用于数据中心供电的成本、优缺点等。这对某家现场天然气解决方案供应商具有显著的负面影响。
这种总计算优势对OpenAI很重要，因为强化学习的出现意味着分布在美国各地的许多大型数据中心可以异步使用，通过后训练为提升模型智能做出贡献。
为了不被超越，Meta的第二个前沿集群Hyperion旨在缩小与OpenAI的差距。
在规模上击败Stargate：Meta的Hyperion 2GW集群
当所有人的目光都集中在阿比林的Stargate数据中心时，Meta已经计划了一年多的应对措施，并取得了巨大进展。路易斯安那州集群预计将在2027年底成为世界上最大的单个园区，第一阶段IT电力超过1.5GW
. 消息人士告诉我们，这个项目内部代号为 Hyperion。
Meta 于 2024 年底破土动工，目前正在积极建设电力基础设施和数据中心园区。
需要明确的是，Meta 还有许多其他数据中心正在建设和扩容中。Meta 所有 AI 数据中心的完整列表、预期完工日期以及每栋建筑的季度用电量，可在我们的数据中心行业模型中找到。
Llama 4 的失败——从开源王子到巨兽乞丐
在我们深入探讨超级智能人才竞争之前，先来看看 Meta 是如何陷入这种尴尬境地的。在凭借 Llama 3 引领开源前沿之后，Meta 如今却落后于中国的 DeepSeek。
从技术层面来看，我们认为导致这次失败运行的主要因素如下：
分块注意力
专家选择路由
预训练数据质量
扩展策略与协调
分块注意力
如果简单实现，大型语言模型中的注意力机制会随 token 数量呈二次方增长。为了解决这个问题，研究人员引入了内存高效机制。Meta 为 Behemoth 选择了分块注意力，这可能是一个错误。
标准因果注意力：想象一系列从左上角向外展开的三角形，代表每个后续 token 的注意力大小。token 数量翻倍，三角形面积就翻四倍。
分块注意力将这个三角形分解为固定大小的块。每个块将注意力重置为新的“第一个”token。凭借减少内存占用的效率，它能够支持更长的上下文。Meta 认为他们需要这种机制来实现长上下文，但权衡下来并不值得。每个块中的第一个 token 无法访问之前的上下文。虽然有一些全局注意力层，但如下文所述，这还不够。
其他模型中使用的滑动窗口注意力提供了一种更平滑的替代方案：注意力窗口逐 token 向前滑动。这保持了局部连续性，即使长距离推理仍然需要多层来传播上下文。
Behemoth 的分块注意力实现追求效率，却造成了盲点，尤其是在块边界处。这影响了模型发展推理能力，因为思维链长度超过一个块时，模型难以进行长距离推理。虽然事后看来这似乎很明显，但我们认为问题的一部分在于 Meta 甚至没有建立适当的长上下文评估或测试基础设施，来确定分块注意力不适用于开发推理模型。Meta 在强化学习和内部评估方面远远落后，但新挖来的员工将大大有助于缩小推理能力差距。
专家选择路由
大多数现代大型语言模型使用混合专家架构，在每个模型层之间，token 根据路由器被路由到不同的专家。在当前的 MoE 模型中，大多数采用 token 选择路由进行训练，即路由器提供一个形状为 T x E 的张量（T 为总 token 数，E 为 MoE 模型中的专家数），并在 E 维度上运行 topK softmax，生成一个 T x K 的张量。这实际上意味着路由器被要求为每个 token T 选择 K 个最可能的专家，其中 K 可以是一个或多个专家。K 是一个可由研究人员调整的超参数。
这种方法的优点是每个 token 都能保证被 K 个专家处理，确保每个 token 的信息价值被吸收
由相同数量的专家决定。缺点是某些专家可能不成比例地“受欢迎”，而其他专家则训练不足，导致每个专家的“智能”不平衡。这是一个已知问题，许多顶级实验室已经开发了带有辅助损失（或无损失）负载均衡的修复方案。当使用专家并行（EP）进行训练时，这可能导致训练MFU降低，因为模型分布在不同的GPU节点上，导致更多的集合通信（NCCL）在横向扩展网络（InfiniBand或RoCE）上运行，而不是在纵向扩展网络（NVLink）上。这是NVIDIA NVL72设计的主要动机，其中纵向扩展网络扩展到标准8路服务器之外。
专家选择路由由Google于2022年引入，它翻转了逻辑：专家选择前N个令牌。以路由器生成的相同T x E张量为例，在专家选择路由中，在T维度上运行topN softmax，生成E x N张量。这实际上意味着每个E专家选择了N个概率最高的令牌进行路由。N超参数可以由研究人员调整，但为了与令牌选择路由方法进行比较，N = K * T / E。
与令牌选择路由直接比较时，专家选择路由保证了专家以平衡的方式被激活，避免了与不平衡专家相关的性能下降。需要明确的是：路由器在两种情况下都做出选择。在令牌选择中，路由器的输入是令牌，它选择专家。在专家选择中，路由器的输入是专家，它选择令牌。
这平衡了专家训练的负载，并提高了分布式硬件上的MFU。超大规模网络专为此类并行性而构建，我们在网络模型中对此进行了广泛介绍。
这种方法的缺点与令牌选择架构相反。专家选择路由可能导致某些“热门”令牌被多个专家关注。虽然这不会产生令牌选择路由中存在的训练瓶颈，但可能导致模型泛化能力下降，因为LLM现在不会平等地关注所有令牌。此外，大多数EC模型需要以TC训练结束才能产生有效的LLM。
推理也是EC的另一个问题。推理分为两个步骤：预填充和解码。在预填充阶段，用户提示被编码并加载到KVCache中。此步骤受计算量限制。在解码步骤中，模型计算注意力并逐层逐令牌地通过模型的前馈网络。
在这里，专家选择路由面临困难，因为专家最初只能从每层1个令牌乘以批次大小中选择，导致每个专家获得的令牌集与训练时相比非常小（例如，训练运行可能有8k序列长度乘以16批次大小=每次128k个令牌）。能够像训练时一样看到整个序列会破坏现代自回归模型的因果性，因此即使是EC模型也会混合使用EC和TC。
Meta在运行中途从专家选择路由切换到令牌选择路由，这对于EC模型来说并不罕见。然而，切换导致的性能下降使得模型明显比完全在TC上训练的模型更差。
数据质量：自伤行为
Llama 3 405B在15T令牌上训练，我们认为Llama 4 Behemoth需要更多。
多出几个数量级的token，大约3-4倍。获取足够高质量的数据是一个主要瓶颈，西方超大规模企业无法通过抄袭其他模型输出的作业来绕过这一瓶颈。
在Llama 4 Behemoth之前，Meta一直使用公共数据（如Common Crawl），但在训练中途切换到了他们自建的内部网络爬虫。虽然这通常更优，但也产生了反效果。团队难以清理和去重新的数据流。这些流程尚未经过大规模压力测试。
此外，与包括OpenAI和Deepseek在内的所有其他领先AI实验室不同，Meta不使用YouTube数据。YouTube讲座转录和其他视频是极好的数据来源，而该公司可能在没有这些数据的情况下难以生成多模态模型。
扩展实验
除了上述技术问题，Llama 4团队在将研究实验扩展为完整的训练运行方面也遇到了困难。存在相互竞争的研究方向，且缺乏领导力来决定哪个方向是最有效的推进路径。某些模型架构选择没有经过适当的消融实验就被直接纳入模型。这导致了扩展阶梯管理不善。
作为扩展实验难度的一个例子，我们来看看OpenAI对GPT 4.5的训练。OAI的内部代码单体仓库对于训练他们的模型非常重要，因为他们需要一个验证数据集来测量训练消融时的困惑度，且该数据集已知未被污染。在扩展GPT 4.5训练实验时，他们看到了模型泛化能力的有希望进展，但中途才意识到单体仓库的部分内容直接复制粘贴自公开可用数据。模型并非在泛化，而是在重复训练数据集中的记忆代码！大规模预训练运行需要极大的勤奋和准备才能有效执行。
尽管存在所有这些技术问题，但并非全无收获。Meta仍然能够将logits蒸馏到更小、更高效的预训练Maverick和Scout模型中，从而绕过了较大模型的一些有缺陷的架构选择。对于较小的模型，蒸馏比强化学习高效得多。尽管如此，这些模型仍然受限于其来源的局限性：它们并非同类尺寸中最佳。
Meta GenAI 2.0 第二部分：弥合人才差距
随着基础设施改造的进行和技术教训的吸收，Meta的GenAI 2.0战略现在转向超级智能的下一个要素：人才。
马克·扎克伯格理解与领先AI实验室之间的人才差距，并已亲自接管招聘工作。他致力于建立一个规模虽小但人才密度极高的团队，随意提供数千万美元的签约奖金。目标是创造一种“飞轮效应”：顶尖研究人员加入这一冒险，为项目带来可信度和动力。这已经初见成效，近期高调招聘包括：
Nat Friedman，前GitHub CEO
Alex Wang，前Scale AI CEO
Daniel Gross，Ilya Sustkever的初创公司SSI的CEO兼联合创始人。
招聘宣传很有说服力：每位研究人员拥有无与伦比的计算资源，有机会构建最好的开源模型系列，以及访问超过20亿日活跃用户。每位研究人员四年期通常2亿至3亿美元的薪酬也增强了这一宣传。因此，Meta已从OpenA
我、Anthropic 以及许多其他公司。
并购、Scale AI 等
据报道，扎克伯格曾向 Thinking Machines 和 SSI 提出收购要约，但均被拒绝。虽然有人指出扎克伯格“退而求其次”选择了 Scale AI，但我们认为事实并非如此。正如我们之前讨论的，Llama 4 的许多核心问题都是数据问题，而收购 Scale 正是解决这一问题的直接举措。
Alex 将带来 Scale 的许多顶尖工程师，尤其是专门从事评估的 SEAL 实验室，这正是 Meta 迫切需要的。SEAL 开发了推理模型评估的顶级基准之一——HLE（人类最后的考试）。随着 Nat Friedman 和 Daniel Gross 加入团队，Meta 不仅获得了精英运营者，还得到了 AI 社区中最具影响力和最受尊敬的两位投资者。Meta 的高层拥有非常强大的产品人才。
买得越多，省得越多：OBBB 版
扎克伯格选择开始这场支出狂欢的时机再好不过了。《一项大而美的法案》中包含了一些专门针对超大规模计算提供商的税收优惠，这可能会极大地加速当前大规模建设的税收激励。由联邦政府资助的超级智能就是现代曼哈顿计划。