返回 讨论 学习 CMS 文章

35B 多模态模型在约 3GB 内存手机上运行?MiniCPM-V 4.7 演示引发关注

一个 35B 多模态模型在约 3GB 内存手机上运行的演示,挑战端侧大模型部署的常识。

MiniCPM-V多模态模型端侧AI手机部署
成长分 / 100 59 综合收获、行动、留存与影响

35B 多模态模型在约 3GB 内存手机上运行?MiniCPM-V 4.7 演示引发关注
为什么值得读了解端侧多模态大模型在极低内存设备上运行的可能性。

关注 MiniCPM-V 4.7 这一新版本的实际演示效果。

关键洞察
  1. 演示显示 35B 多模态模型可在约 3GB 内存的手机上运行。
  2. 该演示来自 Reddit 的 r/localllama 社区,标题称其“相当惊人”。
  3. 若属实,将显著降低多模态大模型在移动设备上的内存门槛。
转成行动

深入阅读

正文与原文对照

原文保真覆盖:全文原文字符:66

一个 35B 多模态模型在约 3GB 内存的手机上运行?MiniCPM-V 4.7 演示相当惊人

https://v.redd.it/cqwote16egvh1