返回 文章 学习 CMS 文章

PrismML 将微型语言模型带入高通骁龙智能眼镜

PrismML 为高通骁龙智能眼镜打造了可本地运行的微型语言模型,向设备端开源 AI 愿景迈出一步。

PrismML高通智能眼镜微型语言模型
成长分 / 100 60 综合收获、行动、留存与影响

PrismML 将微型语言模型带入高通骁龙智能眼镜
为什么值得读了解 PrismML 如何将大模型缩小 4 倍并几乎保留全部性能,并应用于智能眼镜场景。

洞察设备端 AI 作为替代依赖专有 AI 实验室和无限算力需求的方案。

关键洞察
  1. PrismML 由加州理工学院研究人员创立,加州大学伯克利分校的 Ion Stoica 担任顾问。
  2. 在高通骁龙峰会上,高通展示了 PrismML 的 1-bit Bonsai LLM 在基于骁龙 AR1 Gen 1 平台的 AI 智能眼镜上本地运行。
  3. PrismML 的模型能大幅缩小大型模型(缩小 4 倍),同时在标准基准测试中几乎保留全部性能。
转成行动

深入阅读

正文与原文对照

原文保真覆盖:全文原文字符:1258

AI 实验室 PrismML——由加州理工学院的研究人员创立,并由加州大学伯克利分校的 Ion Stoica 担任顾问——已为其在骁龙芯片上运行的智能眼镜打造了一个微型语言模型版本。

周三,在高通的骁龙峰会上,这家芯片制造商展示了 PrismML 的 1-bit Bonsai LLM,该模型可以在基于骁龙 AR1 Gen 1 平台构建的 AI 智能眼镜上本地运行。

正如 TechCrunch 此前报道的那样,PrismML 的成名之处在于它能大幅缩小大型模型(在此例中缩小了 4 倍),同时在标准基准测试中几乎保留其全部性能。智能眼镜版本是一个 20 亿参数的模型,针对视觉和语言进行了调优,因此佩戴者可以实时询问他们正在看什么。

Prism 更大的目标是打造在设备上运行的开源权重 AI,并更好地利用设备已有的算力。这家初创公司将其宣传为一种替代方案,以取代依赖专有 AI 实验室的隐私承诺及其对更多算力永无止境的需求。

为高通芯片发布模型是朝着这一愿景迈出的一步。但目前尚未有搭载 PrismML 的智能眼镜发布。