返回 动态 学习 CMS 文章

Karpathy：LLM“认知核心”竞赛——个人计算的新内核

了解未来个人计算中 LLM 作为“认知核心”的形态与特性。

X KARPATHY
LLM认知核心个人计算多模态
成长分 / 100 74 综合收获、行动、留存与影响

为什么值得读Karpathy 对 LLM 个人计算架构的前瞻性思考，揭示未来操作系统级 AI 的形态。

理解为何牺牲知识换取能力，以及如何通过工具和本地化弥补。

关键洞察
  1. 认知核心模型参数规模为数十亿，优先能力而非知识。
  2. 特性包括原生多模态、套娃架构、可调推理、积极使用工具、设备端 LoRA 微调、云端委托。
  3. 知识缺陷通过低延迟、私有数据访问、离线连续性和主权来弥补。
转成行动

深入阅读

正文与原文对照

原文保真覆盖：全文原文字符：1379

LLM“认知核心”的竞赛——一个几十亿参数的模型，最大限度地牺牲百科全书式知识以换取能力。它始终在线，默认存在于每台计算机上，作为LLM个人计算的内核。

其特性正在逐渐清晰：

  • 原生多模态文本/视觉/音频，输入和输出均支持。
  • 套娃式架构，允许在测试时上下调节能力。
  • 推理，也可调节。（系统2）
  • 积极使用工具。
  • 设备端微调LoRA插槽，用于测试时训练、个性化和定制。
  • 如果互联网可用，它会将正确的部分委托给云端的神谕并进行双重检查。

它不知道征服者威廉的统治结束于1087年9月9日，但它能模糊地认出这个名字，并能查找日期。它不能背诵空字符串的SHA-256为e3b0c442...，但如果你真的需要，它可以快速计算出来。

LLM个人计算在广泛的世界知识和顶级问题解决能力方面的不足，将通过超低交互延迟（尤其是随着多模态的成熟）、对数据和状态的直接/私有访问、离线连续性、主权（“不是你的权重，就不是你的大脑”）来弥补。也就是说，许多原因与我们喜欢、使用和购买个人电脑而不是通过远程桌面等方式访问云端的瘦客户端相同。