返回 讨论 学习 CMS 文章

Mistral 发布 Leanstral-1.5-119B-A6B 模型

Mistral 发布 Leanstral-1.5-119B-A6B,一个高效 MoE 模型,总参数 119B 但推理时仅激活 6B。

MistralLeanstralMoE大语言模型
成长分 / 100 58 综合收获、行动、留存与影响

Mistral 发布 Leanstral-1.5-119B-A6B 模型
为什么值得读了解 Mistral 在 MoE 架构上的最新进展

获取高效大模型部署的潜在新选择

关键洞察
  1. Leanstral-1.5-119B-A6B 是一个混合专家(MoE)模型
  2. 总参数量 1190 亿,但推理时仅激活 60 亿参数
  3. 模型已在 Hugging Face 上公开发布
转成行动

深入阅读

正文与原文对照

原文保真覆盖:全文原文字符:114

Mistral 发布 Leanstral-1.5-119B-A6B

https://huggingface.co/mistralai/Leanstral-1.5-119B-A6B