2026年8月12日
Nitay Calderon 和 Gal Yona，Google Research 研究科学家
当大语言模型（LLM）把事实弄错时，是因为它们从未学过这些事实，还是因为它们无法回忆起已经编码的内容？我们的知识画像框架揭示了后者：前沿 LLM 几乎编码了所有事实，却难以回忆起其中许多事实。
事实性对于让大语言模型（LLM）可靠至关重要。当模型错误地回答一个事实性问题时，是因为该事实从未被编码，还是因为该事实已被编码但无法访问？标准的准确率指标将这两种情况混为一谈，尽管它们暗示着非常不同的局限性和非常不同的干预措施。编码失败需要扩大模型规模或扩展数据覆盖范围，而回忆失败还可能指向帮助 LLM 更好地利用其已编码内容的训练后和推理时方法。
在《空书架还是丢失的钥匙？回忆是参数化事实性的瓶颈》一文中，我们引入了知识画像，一个衡量编码和回忆的行为框架，并用它来考察前沿 LLM（如 Gemini3 和 GPT-5）中事实性的底层瓶颈。随后我们表明，前沿 LLM 中的许多事实性错误更应被理解为丢失的钥匙（回忆失败），而非空书架（编码失败）。
以此类比，我们用编码表示事实的参数化表征，用回忆表示在没有外部线索的情况下检索已编码的事实，用再认表示在备选项中识别出正确事实。为支持这一分析，我们引入了 WikiProfile，一个包含 2,150 条源自维基百科的事实的基准，每条事实都配有十个问题，用以探测编码、回忆和再认。
知识画像将分析单元从单个问题转变为事实。我们不再问模型是否正确回答了某个特定问题，而是问一个更宽泛的问题：该事实处于什么状态？我们将每条事实归入五种知识画像之一：(1) 编码失败，(2) 回忆失败，(3) 直接回忆，(4) 借助思考的回忆，以及 (5) 无编码的推断。这些画像比仅靠问题层面的准确率提供了更具信息量的诊断。
分类基于该事实是否被编码以及它的可访问程度：无法被回忆、可以被直接回忆，或只能借助思考被回忆（在给出最终答案之前引发中间计算，包括思维链提示和思考优化型 LLM）。
刻画事实的五种知识画像。
我们通过三个行为概念将其操作化：
顶部：我们从 Wikipedia 中提取事实，这是预训练数据的主要来源。左侧：我们通过提示 LLM 在原始上下文中复现事实来衡量编码。右侧*：我们通过以不同措辞和关系方向提问，在有和没有思考的情况下衡量知识。
为了操作化知识画像，我们构建了 WikiProfile，这是一个旨在衡量自然发生事实的事实性的基准。WikiProfile 使用由提示 LLM（带思考的 Gemini-2.5-Pro）驱动的全自动流程构建。提示是通过在小型保留子集上手动优化开发的。我们通过识别事实从 Wikipedia 页面中提取候选事实：一个涉及有序实体对（主语和宾语）的命题，其中主语在文档中首先出现。每个事实配对 10 个任务：两个用于编码，四个用于知识评估，四个用于识别的多项选择变体。
我们通过生成、细化和过滤的三步过程生成直接和反向问题，确保每个问题明确、具体、最小且具有唯一答案。所有问题都经过基于搜索引擎的过滤。我们丢弃返回多个答案或需要澄清的情况。在此自动过滤和最终手动验证步骤之后，基准包含 2,150 个事实。
基于提示 LLM 的全自动流程。左侧（紫色）：事实提取和命题完成任务构建。中间（红色和蓝色）：通过生成、细化和过滤构建直接和反向问题。右侧（绿色）：基于直接/反向对创建剩余问题（自然措辞、上下文和多项选择版本）。
我们评估了 13 个 LLM。每个模型都在有和没有思考的情况下进行评估。对于每个模型、事实和任务，我们采样八个响应。响应由提示 LLM 自动评分器自动评分（更多细节见论文），产生约 450 万个响应。
在前沿 LLM（Gemini-2.5-Pro、Gemini-3-Pro 和 Flash、GPT-5）中，事实编码接近饱和，但回忆并非如此。对于 Gemini-3-Pro 和 GPT-5，95–98% 的事实被编码，但这些模型仍然无法直接回忆 26–34% 的事实。即使有思考，它们仍然在 11–12% 的事实上失败。 这意味着在前沿模型中，事实错误越来越多地不是来自缺失的知识，而是来自存储但无法可靠访问的知识。换句话说，瓶颈正在从知识获取转向知识利用。
扩展强化了这一图景。在 Gemma 3 系列中，更大的模型显示出远少的编码失败，但回忆失败仍然显著，并在剩余错误中占据更大份额。扩展改善模型存储的内容多于改善模型可以访问的内容。
13 个 LLM 中五种画像的分布（百分比）。黑线标记潜在知识。如图所示，编码失败随规模急剧减少，而回忆失败即使在前沿模型中也持续存在。
我们的结果表明，回忆与事实被学习时的条件紧密耦合。当查询偏离训练时的上下文、措辞或事实出现的顺序时，回忆会变得更加困难。我们重点指出两种系统性出现这种情况的情形。
先前工作已经表明，LLM 在长尾（罕见）事实上表现不佳，并常将此框定为模型容量问题。我们的结果则提示了一幅互补的图景。当我们比较低流行度与高流行度事实时，我们发现罕见事实的编码率接近流行事实。编码上的差距相对有限；然而，回忆上的差距更大。这重新框定了长尾问题：许多罕见事实并非不存在于模型的参数中。它们存在，但难以访问。瓶颈已从知识获取转向知识利用。
我们比较了两个流行度层级（底部 20% 与顶部 20%）在编码率和直接回忆率上的表现。Δ 表示层级之间的差距。如图所示，编码上的差距较窄，而回忆上的差距较宽。所有 LLM 的结果请见我们的论文。
我们还重新审视了反转诅咒：当 LLM 知道“A 是 B”，却无法回答“B 是什么？”时。乍看之下，这可能表明 LLM 缺乏双向知识。但我们的结果提示对这一观点需要作出修正。在开放式生成（即回忆）中，反向问题始终比直接问题更难。然而，在多项选择验证（即识别）中，反向问题并不比直接问题更难，而且往往更容易。这种分离很重要。如果一个模型在正确答案与干扰项一起呈现时能够识别它，却无法在反向查询中生成它，那么问题就不只是双向知识缺失。相反，该事实似乎已被编码，甚至可被识别，但当查询方向偏离训练期间遇到该事实的方式时，就难以回忆。反转诅咒是一个回忆问题。
我们在两项任务中比较直接问题与反向问题：验证（多项选择）和生成（闭卷）。Δ 表示直接设置与反向设置之间的差距。LLM 在验证中能有效处理反向问题，但在生成中表现吃力。
我们现在转向这样一个问题：是什么使得原本无法访问的知识得以恢复。为此，我们考察思考是否有可能承担这一角色。思考恰恰在直接回忆最弱的地方最能改善回忆。这种增益在罕见事实和反向问题上尤为明显，缩小了流行度差距和方向性差距。
我们考察思考对回忆（知道已编码事实）的影响。 左图：我们比较两个事实流行度层级（底部 20% 与顶部 20%）。 右图：我们比较直接问题与反向问题。流行度差距或方向性差距由 Δ（无思考）和 ΔT（有思考）表示。
如图所示，思考缩小了这些差距（ΔT< Δ）。
更具体地说，在思维优化模型中，思维大约能恢复 40–65% 已编码但非直接可知的事实。相比之下，对于未编码的事实，它的帮助要小得多。这一模式表明，思维主要充当一种回忆促进机制：它帮助模型访问已经编码的事实，而不是主要通过复杂的多步推理来推导答案。话虽如此，思维并非没有代价。它带来计算成本，而且目前尚不清楚如何准确判断模型应在何时调用它。
我们报告了通过思维从未知变为已知的事实的百分比，并以该事实是否已编码（红色）或未编码（黄色）为条件。在思维优化的 LLM 中，思维能恢复 40–65% 的已编码事实，但只能恢复 5–15% 的未编码事实。
知识画像使我们能够精确诊断 LLM 中的事实行为。将这一方法应用于维基百科事实，我们的结果表明，我们应当改变思考前沿 LLM 中事实错误的方式。如果编码已接近饱和，那么事实性的进一步提升可能较少来自扩展（模型规模或数据）。通过表明思维可以恢复相当一部分已编码但非直接可知的事实，事实性的下一步改进可能不仅来自更好的知识获取，还来自更好地利用模型中已经编码的知识。