返回 讨论 学习 CMS 文章

腾讯混元开源新模型 Hy3:295B 总参数,21B 激活,Apache 2.0 许可

腾讯 Hy3 模型以 295B 总参数、21B 激活的稀疏架构,在 Apache 2.0 许可下开源,兼顾性能与部署效率。

腾讯混元Hy3开源模型
成长分 / 100 69 综合收获、行动、留存与影响

腾讯混元开源新模型 Hy3:295B 总参数,21B 激活,Apache 2.0 许可
为什么值得读了解腾讯在开源大模型领域的最新进展,特别是稀疏激活架构的实践。

评估 Hy3 是否适合本地部署或二次开发,因其激活参数仅 21B。

关键洞察
  1. Hy3 总参数量达 295B,但推理时仅激活 21B 参数,显著降低计算资源需求。
  2. 采用 Apache 2.0 开源许可,允许商用、修改和再分发,对开发者友好。
  3. 模型已托管在 Hugging Face,可直接下载使用。
转成行动

深入阅读

正文与原文对照

原文保真覆盖:全文原文字符:72

腾讯混元新开源模型:Hy3(总计295B,激活21B - Apache 2.0)

https://huggingface.co/tencent/Hy3