返回 讨论 build CMS 文章

100美元打造20GB显存、448GB/s带宽的超低成本AI推理方案

用两张P102-100矿卡(约100美元)即可获得20GB显存和448GB/s带宽,适合预算有限的本地AI推理。

P102-100矿卡低成本AI推理20GB显存
成长分 / 100 61 综合收获、行动、留存与影响

为什么值得读了解如何以极低成本(100美元)获得20GB显存和448GB/s带宽,用于本地AI推理。

学习通过功耗限制(如150W)在几乎不损失性能(仅3%)的情况下降低能耗和发热。

关键洞察
  1. P102-100矿卡本质上是GTX 1080 Ti,拥有20GB显存(两张卡)和448GB/s带宽。
  2. 该卡使用PCI-E 1x 1.0接口,数据加载速度较慢(加载模型需18秒),但推理性能不受影响。
  3. 通过限制功耗至150W,每张卡功耗约120W,性能损失仅3%,待机功耗仅7W。
转成行动

深入阅读

正文与原文对照

原文保真覆盖:全文原文字符:737

讨论精选

UnlikelyPotato (0↑): P102-100s 基本上就是 1080 Ti。它们曾是比特币挖矿卡,拥有 PCI-E 1x 1.0 插槽(我认为),所以数据加载到它们上面需要一段时间……但价格并不差。不过,它们是耗电的小野兽,需要双 8 针电源接口,但你可以大幅限制它们的功耗,而不会对性能产生太大影响。

Boricua-vet (0↑): 是的,加载这个模型需要 18 秒。我将它们限制在 150W,每张卡的 token 生成速度相比 250W 损失了 3%。限制功耗后,它们通常最大消耗约 120W,所以两张卡共 240W,待机时每张 7W。

Dany0 (0↑): 可惜其他东西都很贵。 这让我觉得花 200 美元订阅 Codex 看起来极其荒谬。