返回文章 apply CMS 文章

打破三值大语言模型的 1.58 比特壁垒：BITCOS 分布自适应权重布局

利用三值 LLM 权重中大量零值，BITCOS 以存在位图加压缩符号向量实现低于 1.58 比特/权重的存储，并带来实际推理加速。

Hacker News

三值LLM模型压缩低位量化BITCOS

成长分 / 100 71 综合收获、行动、留存与影响

为什么值得读揭示三值 LLM 权重并非等概率分布，零占比高达 51.5%，挑战了传统 1.58 比特/权重的信息论基准。

提出 BITCOS 布局，在 29 个测试模型中的 26 个上比五三进制打包更紧凑，最稀疏模型达到 1.485 比特/权重。

关键洞察

三值 LLM 权重中零最多占 51.5%，实际分布远非等概率，因此传统按 log2(3)≈1.585 比特衡量的成本可被进一步压缩。
主流五三进制打包因二次幂分组向上取整为 1.625 比特/权重，而 BITCOS 在零密度为 z 时每权重成本为 2 - z 比特。
BITCOS 由稠密存在位图加压缩符号向量组成，在 29 个测试模型中的 26 个上比五三进制打包更紧凑，最稀疏模型达 1.485 比特/权重。

转成行动

深入阅读

正文与原文对照

原文保真覆盖：全文原文字符：3705

计算机科学 > 人工智能

[提交于 2026年9月14日]

标题：打破三值大语言模型的 1.58 比特壁垒

查看 PDF

HTML（实验性）

摘要：三值大语言模型（LLM）将每个权重存储为三个符号 $\{-1,0,+1\}$ 之一，因此三值模型的成本通常参照信息论的每权重 $\log_2 3 \approx 1.585$ 比特来衡量。主流的部署格式将五个三值权重打包进一个字节（五三进制打包），而由于实践中使用的二次幂分组大小，这会向上取整为每权重 $1.625$ 比特。这种有效存储位宽将三个符号 $\{-1,0,+1\}$ 视为等概率。我们测量了 29 个三值 LLM 模型的实际符号分布，发现零最多占全部权重的 $51.5\%$ 。受此发现启发，我们提出了 BITCOS，一种简单的分布自适应布局，由稠密的存在位图加上压缩的符号向量组成，在模型权重的零密度为 $z$ 时，每个权重元素的成本为 $2 - z$ 比特。在 29 个测试模型中的 26 个里，BITCOS 比五三进制打包更紧凑地存储权重，并在其中最稀疏的模型上达到每权重 $1.485$ 比特。BITCOS 适合在现代处理器和 GPU 上高效解包，我们为 AVX-512、AVX2 和 Intel Xe2 GPU 提供了优化的解包序列。与生产级最先进的三值矩阵-向量乘法内核相比，在真实世界三值模型所表现出的零密度下，我们提出的布局所实现的增益最高达 $1.28\times$ 。最后，我们展示了在 5 个不同平台（客户端和服务器 CPU、集成和独立 Xe2 GPU）上的端到端 LLM 推理结果，其中解码吞吐量在 CPU 上最高提升 $1.18\times$ ，在 GPU 上最高提升 $1.27\times$ 。