返回 讨论 学习 CMS 文章

该卖掉 RTX 5090 换 Mac Studio M5 Ultra 96GB 吗?

卖掉 RTX 5090 换 Mac Studio M5 Ultra 96GB 是否合理?社区从内存容量、带宽和 prefill 性能展开讨论。

RTX 5090Mac StudioM5 Ultra本地大模型
成长分 / 100 54 综合收获、行动、留存与影响

为什么值得读了解在本地大模型场景下,显存容量与内存带宽之间的实际权衡。

获取社区对 Mac Studio 与 RTX 5090 在编码用途上的真实观点。

关键洞察
  1. RTX 5090 内存带宽为 1.8 TB/s,Mac Studio M5 Ultra 为 1.2 TB/s,前者带宽更高。
  2. 有用户认为只有升级到 128GB 才值得卖掉 5090,低于此容量免谈。
  3. 有观点指出需先了解 M5 Ultra 的 prefill 表现,才能判断其速度劣势是否会被大内存优势抵消。
转成行动

深入阅读

正文与原文对照

原文保真覆盖:全文原文字符:976

我可以把 5090 卖到 5000 美元,而这台 Mac 税前是 5499 美元。

5090 的内存带宽是 1.8 TB/s,而 M5 Ultra 是 1.2 TB/s。

这算是一次合理的升级吗?主要用途是写代码。

阅读更多

讨论精选

eidrag(168↑):高招是租一台 512GB 的 Mac Studio 用两年,然后再换

Express_Quail_1493(155↑):我只会为了换到 128 GB 才卖掉它——低于这个数免谈

starkruzr(91↑):在实际层面,我们得先搞清楚 M5 Ultra 的 prefill 表现有多好才能下结论。它肯定会比 5090 差,但它的速度慢到什么程度、会不会抵消掉可用内存大幅增加(用于权重和 kv)带来的好处,还有待观察。 5090 的主要问题是,你仍然得跑被部分阉割的量化版本,才能真正在上下文方面放开手脚。32GB 对于比如 27B 来说真的不够。没错,你可以跑 Q4 然后获得飞快的速度,但当你把 token 数往上堆的时候,它就开始变得极其愚蠢了。