如果 AI 实验室 PrismML 还没进入你的视野，那它应该进入了。原因不在于它融到了大笔资金（其实还没有，只有一轮 2225 万美元的种子轮），而在于参与其中的技术人才，以及它正在开发的、可能改变行业的技术。
PrismML 押注的是：能力强、性能高的推理型大语言模型，其实不必很大。
它正在把推理模型做得足够小，小到可以装进 PC 和智能手机。（甚至有传闻称它正与 Apple 洽谈，不过 CEO Babak Hassibi 对此拒绝向 TechCrunch 置评。）
周四，PrismML 发布了 Bonsai 2 27B，这是其模型家族的最新成员，它把阿里巴巴广泛使用的开源模型 Qwen3.8 27B 压缩到了 5.9 GB。这个体积足以装进一台 PC，甚至可能装进高端智能手机。相比原模型，内存占用减少了 9 到 10 倍。
PrismML 由一群 Caltech 研究者创立，由 Caltech 教授、压缩技术专家 Hassibi 领导。这家初创公司还请到了 Ion Stoica 担任顾问。Stoica 是 Databricks（以及其他公司）的联合创始人，也是伯克利著名的 Sky Computing Lab 的主任，该实验室孕育了许多技术和初创公司，从 Letta 到 SGLang。
PrismML 的投资方还包括 Khosla Ventures、Cerberus Capital 和 Caltech。
这家初创公司当然不是唯一一家研究 LLM 压缩技术的公司。Multiverse Computing 也是其中之一，它由西班牙 Donostia 国际物理中心一位知名教授创立。（而且 Multiverse Computing 已经融到了大笔资金。）
但 Hassibi 说，PrismML 的压缩技术独一无二，因为其 LLM 相比原模型几乎没有损失性能。Bonsai 2 达到了 Qwen 综合基准测试得分的 98%。而几个月前（3 月）发布的第一代 Bonsai 是 95%。公司称，那个初代模型已被下载超过 1100 万次，PrismML 更小的模型又被下载了 260 万次。
这说明 PrismML 的压缩效果在每次发布之间都有提升。它能否达到 100% 的基准性能持平，还有待观察。Hassibi 说，压缩很可能总会带来一些影响。
不过，完全的基准持平本来就相当学术化。LLM 在未压缩的状态下就谈不上多么精确，基准测试也远没有完美反映真实任务，所以 2% 的性能下降大概不会对模型的实际使用表现产生实质影响。（此外，模型所运行的周边软件，也就是 harness，对准确率的影响也很大。）
PrismML 称，它是通过缩小构成模型的“权重”来做到这一点的，权重本质上就是模型在训练期间学到并存储的信息。通常每个权重需要 16 位。PrismML 的方法称为“三值（ternary）”权重，把它简化为三种取值：+1、−1 或 0。由于每个权重要存储的值小得多，模型占用的空间大幅减少。（想深入了解这项压缩技术，可以看该项目的 Hugging Face 页面。）
这家初创公司的下一个目标是把这项压缩技术应用到更大的模型上。“我们接下来要发布的模型，希望在未来几个月内，会在数千亿参数的量级，我预计在那里保留智能会更容易。”Hassibi 告诉 TechCrunch。
他补充说，随着模型规模增大，“有更多的空间可以在不损失智能的前提下对它们进行压缩。所以我想说，作为一个总体趋势，对于更大的模型，更容易做到 100%。”
Stoica 告诉我们，他对这项技术感到兴奋，因为它让先进模型得以在用户自己的设备上运行。“你将把智能握在指尖，而且它是免费的，因为它运行在你已经买了的设备上。它还是私密的，因为你不会把数据发送到云端。”