Bonsai 27B:使用自定义 WebGPU 内核在浏览器本地运行的 1 位稠密大语言模型
Bonsai 27B 利用 WebGPU 在浏览器中本地运行 1 位稠密 LLM,实现高效、私密的 AI 推理。
Bonsai 27B1-bitWebGPU浏览器推理
成长分 / 100
71
综合收获、行动、留存与影响

探索 1 位量化技术如何实现模型压缩与高效推理。
- Bonsai 27B 是一个 1 位稠密大语言模型,可在浏览器中本地运行。
- 使用自定义 WebGPU 内核实现高效推理,无需服务器。
- 模型完全在客户端运行,保护用户隐私。
深入阅读
正文与原文对照
原文保真覆盖:全文原文字符:66