返回 文章 学习 CMS 文章

Ted Sanders 谈 LLM 性能的多维性与模型命名逻辑

LLM 性能虽多维，模型规模是主要解释变量；模型命名同时承载发布顺序与改进幅度信息。

OpenAI
LLM模型规模模型命名版本号
成长分 / 100 53 综合收获、行动、留存与影响

为什么值得读理解 LLM 性能评价为何不能简单按单一维度排序。

了解模型规模与性能、成本、冷门事实召回之间的关系。

关键洞察
  1. LLM 性能高度多维，不存在固定排序保证数学最好的模型也最擅长讲笑话。
  2. 尽管复杂，性能差异的很大一部分可由单一变量解释：模型规模。
  3. 通常更大的模型性能更可靠、每 token 成本更高、对冷门事实的召回更好。
转成行动

深入阅读

正文与原文对照

原文保真覆盖：全文原文字符：1127

总体而言，LLM 的性能是多维度的，这一点令人难以置信。并不能保证存在一种固定的排序，使得在数学上表现最好的模型同时也是最擅长讲笑话的模型。尽管存在这种复杂性，性能上的大部分差异却仅由一个变量解释：模型规模。一般来说，规模更大的模型会（a）性能更强、更可靠，（b）每个 token 的成本更高，（c）对冷门事实的回忆能力更好。正如你所指出的，我们的模型排序为：

Luna < Terra < Sol < Astra

[...] 如今，版本号同时表示几件事：发布顺序、与其他版本的关系，以及改进的幅度。因此，像 6.1 这样的版本号会表明它是在 5.6 之后发布的，可能在训练数据、性格方面与其他 6.1 模型有相似之处（这也是它不叫 5.7 的原因），并且其提升幅度不足以大到值得拥有 7 所伴随的那种头条关注和期待。

—— Ted Sanders，解释 OpenAI 的模型命名惯例