返回 文章 学习 CMS 文章

Sam Altman:内存应放在数据中心而非个人电脑

Altman认为,在内存供应受限时,个人电脑本地运行模型是对全球资源的浪费。

Sam AltmanRAM短缺数据中心本地推理
成长分 / 100 53 综合收获、行动、留存与影响

Sam Altman:内存应放在数据中心而非个人电脑
为什么值得读了解AI巨头对内存资源分配的核心观点

认识本地推理与云端推理在资源效率上的冲突

关键洞察
  1. Altman指出,许多人认为开源模型可以解决本地推理问题,从而减少对数据中心的需求。
  2. 但从全球分配角度看,让每个人电脑中闲置大量DRAM(仅5%时间使用)是“非常糟糕的”。
  3. 在供应受限环境下,应追求云端最大利用率,而许多人的直觉恰恰相反。
转成行动

深入阅读

正文与原文对照

原文保真覆盖:全文原文字符:2111

当被问及供应链短缺问题,例如持续存在的 RAM 短缺时,OpenAI CEO Sam Altman 在一次采访中表示,把 RAM 放在个人 PC 而不是数据中心里是“糟糕的”。在参加 Cheeky Pint 播客节目时(他还在节目中评论了 AI 对数学的影响),Altman 说:

“很多人想要本地推理。不知怎的,他们以为问题现在已经解决了,因为我们将会有开源模型,我们将能够在自己的电脑上运行它们,所以我们就不需要数据中心里的所有东西了。

但从全球分配的角度来看,实际上,让每个人都把世界上有限的 DRAM 供应中的一部分放在自己的电脑里、而且只用到 5% 的时间,是相当糟糕的。

如果你要应对这种供应非常受限的环境,你希望云端实现最大利用率。而不知怎的,每个人的——很多人的直觉恰恰相反。”

无论 Altman 指的是你的游戏 PC,还是使用 Surface RTX Spark Dev Box 或新款触屏 MacBook Pro 之类设备的开发者,结果都是一样的。目前,内存公司 Samsung 和 SK Hynix 与云服务运营商以及 OpenAI 的 Stargate 等项目签有长期协议,这些协议已经预定了未来几年世界上大部分的 RAM 产量。而他们愿意为芯片投入的数十亿美元,正是你使用的笔记本电脑、手机和其他科技产品现在变得越来越贵的原因。