返回 讨论 学习 CMS 文章

Bonsai-27B 与 Ternary-Bonsai-27B 更新：1位量化模型在低端硬件上运行

1 位量化模型 Bonsai-27B 在低端硬件上运行，性能令人印象深刻，但 agentic 能力尚未成熟。

REDDIT LOCALLLAMA
Bonsai-27BTernary-Bonsai-27B1-bit quantizationternary quantization
成长分 / 100 65 综合收获、行动、留存与影响

为什么值得读了解 1 位量化模型在低端硬件上的实际运行表现

探讨量化模型在 agentic 任务中的局限性

关键洞察
  1. 1 位量化模型 Bonsai-27B 在 HP Mini（i5-12代，16GB DDR5）上以 3.5 tok/sec 运行
  2. 该模型性能与更高精度的 4B 模型相当，但智能程度更高
  3. 量化模型在 agentic/工具调用任务中仍存在失败风险
转成行动

深入阅读

正文与原文对照

原文保真覆盖：全文原文字符：970

讨论精选

Dany0 (0↑): agentic 还不是目标 是啊，这毫不意外。尽管如此，它的表现绝对超出了预期。

看看他们能否找到让工具调用/agentic 在量化模型中不失败的秘诀，将会很有趣。

SimplyRemainUnseen (0↑): 我在一台搭载第12代 i5 和 16GB DDR5 的 HP Mini 上以 3.5 tok/sec 的速度运行了 1 位模型。显然不如具有编程能力的 F16 模型好，但能运行起来本身就令人印象深刻，而且速度与更高精度的 4B 模型差不多（同时智能程度高得多）。 这为仅使用 CPU 推理的办公级机器开辟了一个全新的模型类别。我很期待看到它的发展。

PhilippeEiffel (0↑): 这项技术非常有前景。 看到 DeepSeek v4 pro、GLM 5.2、Kimi K2.7、MiniMax M3、Step 3.7 Flash、MiMo V2.5 Pro 等大模型的 1 位和三进制版本可能会非常有趣。

这将使这些模型对更多用户可用。