2023 年 ChatGPT 发布之后，我很清楚，要想成功，研究需要比 Microsoft Research 内部通常的做法更有组织性。其他研究团队投入的支持和专注程度之大，以至于即使一个人提出了一个聪明的想法，也很可能来得太晚、缺乏说服力，因为一个人无法足够快地推进，而一个人能搭建的基线也不够强，不足以真正证明一个想法值得起飞。其他几个人也有类似的想法，于是我们组织起来，在 MSR 内部创建了 AI Frontiers 这个子组织。
在 AI Frontiers，我们积极尝试组织连贯的研究工作。这并不完全是“自上而下”或“自下而上”，而大多处于混乱的中间地带。当然存在分歧，解决分歧有时相当具有挑战性。算力可用性也常常是一个严重的瓶颈。但总体而言，我大致认为这个组织在开创性工作上取得了成功，尤其是考虑到 AIF 规模很小（约 50 人），并且与我们之前能做的事情相比。AIF 的许多工作是在弄清楚如何让智能体工作，例如 Autogen 编排框架和 Fara 计算机使用智能体。然而在纽约，我们中有几个人对开发新的基础能力感兴趣，例如能够实现外推的 Next Latent 目标、创建优化/改进版 Muon 的 Dion3，或者通过递归高效地让模型功能大幅增强的 Full Bandwidth Transformer。
我们还积极尝试与 MSR 的其他部分分享。例如，AIF 决定开发一个默认与整个 Microsoft Research 共享的 monorepo。例如，这个 monorepo 中包含了我上个月在 COLM 主题演讲 中谈到的、经过验证具备能力的边缘规模预训练代码库。这看起来可能是个小细节，但创建一个结构良好的模型创建流水线所需的努力是巨大的，而我知道至少有 4 项工作（另外 3 项不在 MSR 内部公开的仓库中）在尝试开发模型构建流水线。
9 月初，我们被重组进了 Microsoft AI。表面上看这说得通，因为把两个不同的 AI 组织放在一起会创造更好地集中力量的机会，而且 AIF 在一些地方领先于 MAI，当然反之亦然（MAI 规模大得多）。实际上，存在重大问题，因为 MAI 的前 Inflection 领导层的理念是不兼容的。那里的核心理念是扩展，并且激进地不做研究。这可能会让一些人感到震惊，他们自然认为做出更好模型的方式是通过研究，但有大量证据表明，就预测质量而言，更大的模型就是更好的模型，而且从商业角度看，规模回报远比研究回报更可预测。当然，在只做扩展的环境中，主要精力放在获取/制作/精炼数据上，这与我们当时在做的事情相去甚远。除了关注点不兼容之外，还有大量证据表明他们并不真正想要我们。
发现自己处于这种境地很难受。我认为只关注扩展既是方向错误，也不好玩。这是一种可以理解的失败模式——扩展很直接，人们常常会短视地完全采用一个而放弃另一个，从而放弃在多个相互竞争的理想（如创新和规模）之间做权衡。但研究回报是真实且显著的。例如，字节跳动的实验表明，Full Bandwidth Transformer 的一个变体可能相当于两倍大小的模型，这意味着在相同能力下可显著节省训练和推理成本。算一算——考虑到该行业投资接近一万亿美元，将训练和推理成本减半值多少钱？
所以我尽我所能安置了我的人，然后离开了。我很幸运，世界上还有许多其他人能够看到研究和创新的价值，而这正是我内在的兴趣中心。其他每一位 AIF 创始领导团队成员似乎都得出了类似的结论。
这确实留下了一个问题：为什么不回到 MSR？我和一些人聊过，但无法摆脱两个严重障碍。第一，我就是不习惯待在一家我所做的研究没有通往实际使用路径的公司。当我在 MAI 时，我无法让创新进入使用（甚至无法被认真考虑），所以从 MSR 获得成功的前景似乎很小。第二，我担心 MSR 的基本约定已经破裂：做好工作，好事就会发生。据我所知，我们做了好工作，却被未经同意地重组掉了。不幸的是，如果 MSR 领导层不培养出有效组织以应对时局的意思，看到这类事情继续发生我也不会感到惊讶。
所以 AI Frontiers 结束了。我很遗憾地说，明年不会有与那里的人一起的实习机会——我多次享受与实习生共事。并向我留下的人们致以最美好的祝愿。不难想象，如果掌权者能多培养一点智慧，未来的 Microsoft 会再次对研究具有吸引力。