美国90%工作时间花在AI基准测试覆盖不足的任务上

近年来，人工智能基准测试数量激增，但对具有经济价值的工作的覆盖仍然有限。为了衡量这一点，我们汇编了相关基准测试，以评估它们对美国职业的覆盖情况。这份基准测试地图是我们朝着构建一个全面、持续更新的资源迈出的第一步，旨在理解人工智能在整个经济中的能力。

每个方块代表构成美国劳动力的923个ONET职业之一，这些职业被分为22个职业家族。职业的阴影根据其任务在我们初始人工智能基准测试列表中所占的比例来着色。一个基准测试提示可以映射到多个ONET任务。

点击一个家族以展开

在我们的数据集中：923个职业中只有208个职业有至少5个基准测试提示的任务，并且22个职业家族中有6个没有这样的职业。

我们的发现表明，美国90%的工作时间花在现有基准测试很少或没有覆盖的任务上。这使得我们很难知道人工智能模型在美国人实际从事的工作上表现如何。

现有基准测试的覆盖也不是随机的。我们的地图表明，人工智能社区首先关注最大的劳动力市场：

任务覆盖的调整概率

年化职业工资总额（对数尺度）

每个点显示了具有给定AI暴露标签的O*NET任务属于具有给定工资总额的职业时，在我们的基准测试索引中被至少5个提示覆盖的估计概率。AI暴露标签是二元的，来自Eloundou等人（2023）。职业工资总额根据BLS对平均工资和每个职业中美国从业人数的估计计算，假设每周工作40小时。估计的覆盖概率来自任务级别的逻辑回归，以覆盖概率对AI暴露和职业工资总额对数进行回归。误差条是基于在职业组级别聚类的标准误的点态95% delta方法置信区间。

例如，我们初始列表中的基准测试大量覆盖了暴露于AI的律师任务，但几乎不覆盖同样暴露于AI的法律秘书或法庭书记员的任何O*NET任务。较小、中等收入的知识工作职业的长尾似乎覆盖不足。

随着我们构建对经济中模型能力的覆盖，我们希望既能揭示又能帮助填补我们对模型能做什么的理解中的更多空白。

为了将经济划分为部门、职业和任务，我们使用了美国劳工部的ONET分类法。ONET将美国劳动力划分为923个职业；对于每个职业，O*NET试图提供构成该职业的“任务”的全面列表，所有职业总计18,797个任务。

为了衡量基准测试覆盖，我们从29个基准测试的列表开始，这些基准测试因其质量和经济相关性而被选中。（完整列表和选择标准在基准测试索引标签中）。在选择此列表的基准测试时，我们优先考虑：

继 Wang 等人 的工作之后，我们随后让一个 LLM 评判器为每个基准提示词标注尽可能多的、它认为与该提示词相对应的 ONET 任务。我们使用 人类专家标注 在 Mercor 的 APEX 基准上验证了我们的 LLM 标注，这些基准是这 29 个基准列表的一个子集。在 Benchmark Map 上，如果我们的 LLM 评判器将某个 ONET 任务映射到我们 29 个基准中至少 5 个提示词，该任务就算作“已覆盖”。

为了估算美国人在该列表基准所覆盖任务上花费的工作时间总占比，我们将我们的覆盖率估计与 Hatgis-Kessell 等人 由 LLM 推导出的每个 O*NET 任务工作时间占比估计相结合。

关于我们方法的更详细说明可在 Methodology 标签页中找到。

我们对总体经济覆盖率以及覆盖率模式的估计，均来自我们最初选择的 29 个基准列表。这并不是更广泛的未饱和、公开、智能体经济基准总体的完整或完全具有代表性的样本。任何不完整的列表都必然会使经济覆盖率的估计偏低，而且很难界定这种偏差的范围。因此，我们想强调，这些结果是暂定的。随着我们扩充初始基准列表，我们将更新这些结果。

我们还对每个职业类别中纳入的基准数量设定了上限，以最大化覆盖的广度。我们认为这使我们对全经济范围基准覆盖率的估计更加准确，代价是使我们对基准最多的职业类别（例如软件工程）的覆盖率估计偏低。

通过选择未饱和的基准，我们有可能低估 LLM 更容易完成的 O*NET 任务上的基准覆盖率。另一方面，如果饱和是任务真实性较低的下游结果，那么纳入饱和基准则有可能高估基准覆盖率。鉴于基准往往会高估 LLM 在现实世界部署中的表现，后一种说法似乎很可能成立。我们认为，纳入饱和基准所带来的偏差会大于排除它们所带来的偏差，但两种选择都不理想。

最后，虽然我们在 Benchmark Index 标签页中概述了我们的基准选择标准，但若干标准（如“经济真实性”）难以形式化，并在我们的选择中引入了一些主观性。

我们索引中的基准对整体经济的覆盖相对深入而狭窄。它们不成比例地聚焦于最易受 AI 自动化影响的经济任务（以 Eloundou 等人 的衡量为准），被评为“暴露”的 O*NET 任务出现在基准中的可能性约为被评为“未暴露”任务的 6 倍。这很合理：基准旨在衡量 AI 进展，而 AI 进展在最易受 AI 影响的任务上最有可能实现。这解释了为什么基准中充斥着软件工程和金融分析的任务，而卡车驾驶和天然气厂运营的任务却很少。

但即使在控制 AI 暴露度之后，来自工资总额较大职业的 O*NET 任务在基准提示词中仍显著过度代表：

任务覆盖的调整后概率

年化职业工资总额（对数刻度）

每个点表示：一个带有给定 AI 暴露标签的 O*NET 任务，若属于某个给定工资总额的职业，在我们的基准索引中至少被 5 条提示覆盖的估计概率。AI 暴露标签为二元变量，来自 Eloundou 等（2023）。职业工资总额根据 BLS 对平均工资的估计以及每个职业的美国从业人数计算，假设每周工作 40 小时。估计的覆盖概率来自任务层面的逻辑回归，以覆盖概率对 AI 暴露和职业工资总额的对数进行回归。误差棒为逐点 95% delta 法置信区间，基于在职业组层面聚类的标准误。

在控制职业和 AI 暴露评分后，ONET“任务重要性”是基准覆盖的另一个预测因素。具体而言，ONET 任务附带领域专家对其职业重要性的估计，采用 1-5 分制。我们发现，被评为最重要的任务在基准中被代表的概率大约是最不重要任务的 6-10 倍：

任务覆盖的调整概率

O*NET 任务重要性（1-5 评分量表）

每个点表示：在控制职业后，一个带有给定 AI 暴露标签且 ONET 重要性评分处于给定五分位数的 ONET 任务，在我们的基准索引中至少被 5 条提示覆盖的估计概率。AI 暴露标签为二元变量，来自 Eloundou 等（2023）。重要性五分位数根据 O*NET 重要性评分计算。估计的覆盖概率来自任务层面的逻辑回归，以覆盖概率对 AI 暴露和重要性五分位数进行回归，并包含职业固定效应。误差棒为逐点 95% delta 法置信区间，基于在职业组层面聚类的标准误。

上述图表表明，迄今为止用于高质量、经济相关基准的相对有限资源得到了合理分配；优先制作覆盖工资总额最大的职业中最重要的、且暴露于 AI 的任务的基准是自然的。但除非此类基准的数量和多样性显著增加，否则这些模式将在我们对具有经济价值的模型能力的看法中造成重大盲点。

按职业衡量模型能力至关重要——对于决定哪些模型符合其需求的企业、预测 AI 经济影响的政策制定者，以及思考自身职业的美国人而言都是如此。不幸的是，这是一个难以解决的问题。

我们可以尝试对与给定工作相关的所有基准提示的模型表现取平均。但正如我们的基准地图所示，基准对某些经济任务的覆盖强度远高于其他任务。简单平均会给频繁被基准测试的任务过多权重。

ONET 提供了一种可能减少这种偏差的方法。如果我们按 ONET 分类对职业相关基准提示的模型表现进行加权平均，使得每个 ONET 任务在我们的职业平均中权重相等*，我们就更接近一个代表真实经济表现的数值。

作为第一步，我们在 Mercor 的 APEX 基准测试 上针对四个职业尝试了这种方法：投资银行、法律、会计和软件工程。我们将 O*NET 加权分数与模型在各项职业相关任务上表现的简单平均值进行比较。得到的加权分数与未加权分数总体上相当接近：

APEX-1 + APEX-Agents · O*NET：金融与投资分析师 · 11 项任务 · 176 条提示

至少在这个案例中，ONET 加权带来的变化非常小。模型在 APEX 提示上的表现，在上述加权分数所涵盖的各项 ONET 任务之间较为相似，这限制了重新加权的价值。然而，在上述 4 个职业相关的 ONET 任务中，只有不到 ⅓ 拥有足够的 APEX 覆盖度，能够被纳入我们的加权分数。我们希望将 ONET 加权应用于更大规模的基准测试集合，从而得到高质量的特定职业模型分数，并正朝着这一目标努力。

然而，即使我们纳入来自数十个基准测试的任务，仍有若干障碍存在：

美国经济中所做工作的广度之大，意味着对于任何一项 O*NET 职业和任务，我们拥有的基准测试条目都相对较少。这意味着我们的估计本身统计效力不足，仅仅一两个低质量条目就可能严重偏倚我们的分数。

有些基准测试条目已高度饱和，而另一些则仍未解决。这在一定程度上是时间因素造成的（因为较旧的基准测试是为性能较弱的模型和更简单的环境设计的），也在一定程度上是质量因素造成的（有些基准测试条目评分方式过于简单、存在小错误，或者可以被奖励黑客利用）。我们目前还没有一种明确的方式按质量进行加权。

在现实世界中，AI 模型仍主要由人类使用，而非端到端地自动化整个工作职能。因此，衡量模型在现实世界中的职业能力，理想情况下还应包括衡量模型在多大程度上增强了人类生产力。我们已经完成了这一方向上的一些早期工作，但找到一种可扩展的方法论仍然困难重重。

基于知识的工作非常适合通过基准测试来衡量，因为它主要是在笔记本电脑和手机等数字机器上完成的。Dingel 和 Neiman 估计，美国只有 37% 的工作可以完全在家完成，这表明约 63% 的工作涉及某些带有物理世界成分的任务，而这些任务很难被纳入当前的基准测试。就目前而言，这可能并非一个重大的疏漏——随着机器人能力的快速发展，我们预计对物理任务基准测试将有显著需求。

我们正在积极解决这些问题；如果你也在做这方面的工作，请联系我们！

我们感谢 Wang 等人 提供的 O*NET 标注方法，并感谢 Nathan Lambert 对本文草稿的反馈。