AI 智能体的效果取决于它所获得的上下文。即便模型能力出众、NVIDIA 库文档齐全，智能体仍可能多花步骤去寻找合适的工具，在死胡同里白白消耗 token，或在专业任务上举步维艰。技能（Skills）把指令、示例和工具使用指引打包给智能体，让它更快地从意图走到解决方案。为了衡量这些技能是否改善了智能体的执行轨迹和输出，NVIDIA 构建了一个面向智能体技能的开放评估层。
NVIDIA SkillEvaluator 是一款开源工具，通过静态检查，以及对每个技能分别在启用和不启用的情况下运行真实任务，来衡量技能如何影响智能体表现。NVIDIA 认证技能（verified Skills）是经过打包和签名的能力描述符，明确告诉智能体某个 NVIDIA 产品能做什么、何时调用、如何调用。“认证”二字的含义，就是通过测量确定它已经可以投入使用。
本文分享首批基准测试结果，涵盖 30 多款 NVIDIA 产品的 300 多个认证技能。每个技能都在两套独立的运行框架（harness）上评估。对每套框架，通过比较安装与未安装该技能时的运行得分，计算出技能提升值（Skill Lift）。
NVIDIA 为 Claude Code、Codex 和 Cursor 发布了插件，同样的技能也可通过 Skills.sh、ClawHub 和 Hermes Hub 获取。
方法论：技能如何评估
技能在发布之前要经过三个层级的评估。每一层回答不同的问题，也都可以单独运行。
第 1 层：安全与结构。运行静态检查，包括 schema 和 frontmatter 校验、质量评分、针对提示词注入和数据外泄的安全扫描、密钥与 PII 检测、许可证检查以及脚本 lint。
第 2 层：独特性。利用嵌入向量相似度，识别单个技能内部的重复指引，以及整个技能目录中相互重叠的覆盖范围。
第 3 层：实时评估。在隔离的沙箱中，让智能体针对生成的任务各运行一次实时评估，一次安装该技能，一次不安装，并测量两者的差异。
第 3 层：实时评估如何工作
第 3 层评估使用 Harbor，这是一个开源框架，用于在可重复、相互隔离的环境中运行智能体评估。SkillEvaluator 负责处理 Harbor 的配置：它把评估用例转换为任务，在沙箱中运行智能体，收集结果，并计算该技能的影响。
每个结果都来自受控对比。对于每个评估用例，智能体框架运行两次：一次安装认证技能，一次不安装。每次运行都在各自独立的沙箱中执行，使用相同的提示词、模型、任务输入和评分标准。在每套框架内部，唯一的实验变量就是是否安装了该技能。
这一对比会在两套智能体框架上重复进行。启用技能与未启用技能的得分之差，就是该技能的贡献，以点数（points）报告为技能提升值。
一个简单的例子
首先，为某个技能生成评估数据集：
skillevaluator create-eval-dataset ./my-skill --full
这会创建 evals/evals.json。每个用例包含 ID、提示词和预期输出，另有可选的断言。使用 –full 时，数据集会包含显式、隐式、上下文相关和负面用例。
审阅用例之后，运行实时对比：
skillevaluator tier3 evaluate ./my-skill \
--agents codex \
--env-mode docker
SkillEvaluator 会把这些用例转换为 Harbor 任务包，对每个用例分别在启用和不启用技能的情况下运行，对两次运行评分，并给出得分和技能提升值。这让用户的工作流保持简单，而底层的执行和隔离由 Harbor 管理。完整工作流请参阅第 3 层实时评估文档。
实时评估结果
本节所有数字均采用 2026 年 8 月 12 日的 benchmarks.json（提交 738d79e）快照。得分按已发布的技能–框架结果做宏平均，每个技能–框架组合权重相同。技能提升值等于启用技能的得分减去未启用技能的得分，以点数计量。该目录持续接受评估，因此最新数字可在 nvidia/skills 仓库的 benchmarks.json 中查看。
未启用技能的基线评估结果
在这份基准测试快照中，以下得分是使用 Codex 和 Claude Code 对 NVIDIA/skills 仓库中各技能评估时，未启用技能运行的平均值。它们反映了在没有安装相关技能的情况下，智能体完成同样任务的表现。
表 1 定义了五个评分维度。在正确性（Correctness）、可发现性（Discoverability）、有效性（Effectiveness）和效率（Efficiency）上，平均基线得分在 100 分中为 39 到 46 分，说明还有很大的提升空间。安全性（Security）是个例外，平均基线得分为 97。对安全性而言，主要目标是验证安装技能不会引入退化。
表 1. 五个评分维度，以及智能体在未加载技能时的表现。请参阅下文关于星号的说明
| 维度 | 衡量内容 | 未启用技能的基线得分（满分 100） |
|---|---|---|
| 正确性 | 最终答案是否正确？ | 46 |
| 可发现性 | 相关时是否加载了正确的技能，不相关时是否保持不加载？ | 42* |
| 有效性 | 智能体是否达成了用户目标并遵循预期的工作流？ | 39 |
| 效率 | 智能体是否在没有多余步骤或冗余工具调用的情况下完成任务？ | 43* |
| 安全性 | 运行过程是否避免了不安全操作、密钥泄露和未授权访问 | 97* |
已知局限
正确性、有效性和安全性衡量的是运行的结果，因此它们的基线反映了智能体在没有安装相关技能时能做到什么。
可发现性和效率还衡量技能的使用方式：智能体是否找到了它，是否在行动前读取了它，以及是否避免了不必要的步骤。没有技能时，这些动作无从谈起。不过，智能体仍可因高效的工具使用、干净的执行，以及在无关任务中正确地保持技能不加载而获得得分。这些评分组成部分有助于解释，为什么基线在 42 和 43 左右而不是零。
大多数技能每个任务只评估了一次尝试。在已发布结果的技能中，85% 运行了一次，15% 运行了两次。智能体的实时运行在不同次之间存在波动，所以单个技能的得分会有差异。全目录的平均值汇总了数千次试验，但本文并未报告置信区间。
启用与未启用技能的评估结果
同样的评估使用了 NVIDIA/skills GitHub 仓库中的技能。表 2 给出了在 Codex 和 Claude Code 上，启用技能的平均得分，以及相对未启用技能基线的技能提升值。
认证技能在两套被评估的框架上都提升了智能体表现，在正确性、可发现性、有效性和效率上提升最大。技能提升值以点数而非百分比变化来报告。安全性在基线时就已很高，所以其可测得的提升较小。可发现性和效率应被理解为技能存在时被正确激活和使用的指标。
表 2. 认证技能的平均技能提升值
| 维度 | 未启用技能得分 | 启用技能得分 | 技能提升值 |
|---|---|---|---|
| 正确性 | 46 | 87 | +41 |
| 可发现性 | 42 | 82 | +40 |
| 有效性 | 39 | 78 | +39 |
| 效率 | 43 | 78 | +35 |
| 安全性 | 97 | 98 | +1 |
| 所有维度（平均） | — | — | +31 |
| 不含安全性（平均） | — | — | +39 |
在正确性和有效性这两个在两种条件下都得到一致测量的维度上，平均得分分别从 46 升至 87、从 39 升至 78，提升了 41 点和 39 点。这些得分并非通过概率的估计值，它们表明在被评估的专业任务上平均表现更高。
可发现性和效率的技能提升值分别为 40 点和 35 点。两者都是针对技能本身评分的，因此应当将其理解为：一旦安装，智能体能正确激活并使用相关认证技能的证据，而不是对智能体独立行为的衡量。这一点很重要：环境中的每个技能都在争夺智能体的注意力，一个在不相关时也被加载的技能可能会降低智能体表现。
按框架划分的技能提升值
表 3. 技能提升值因框架而异。Claude Code 在所有维度上的技能提升值都更高
| 范围 | Claude Code | OpenAI Codex |
|---|---|---|
| 所有维度 | +34 | +29 |
| 不含安全性 | +42 | +36 |
两套框架都表现出一致且有意义的提升。考虑到默认系统提示词、上下文处理和工具调用实现各不相同，两者之间存在差异是意料之中的。认证技能提供了结构化的依据，而这是两套框架自身都无法产生的。
合作伙伴试点使用 SkillEvaluator
OpenClaw 正在为 ClawHub 上的官方组织试点 SkillEvaluator。该集成运行第 3 层评估，并在 Evals 标签页中展示启用与未启用技能的结果，使开发者能在发现和采用技能的地方查看评估信号。
Nous Research 在 Hermes Agent 中测试了 SkillEvaluator，并在技能安装流程中加入由 SkillSpector 提供的可选咨询性扫描。该集成会检查 PII、Unicode 走私、脚本 lint、许可证和安全问题，并在安装前给出精确到文件行的发现。该工作流由 29 个通过的测试覆盖，每次技能扫描耗时约 1.4 至 1.5 秒。
主要发现
评估结果为构建和测试智能体技能的团队带来三点实用发现。
更好的评估数据集造就更好的技能
明确定义重要任务、预期输出和范围之外请求的团队，能得到更清晰的评估信号，而且这发生在任何智能体运行之前。技能能被测量到多精确，取决于其评估集对这项工作的描述有多精确。
产品比智能体更重要
技能提升值在不同产品之间的差异，远大于不同框架之间的差异。Claude Code 和 Codex 平均相差约 5 点，但各产品的技能提升值范围大致从 +2 到 +46。领域、任务和评估设计比框架更重要。
节省 token 并非自动实现
SkillEvaluator 将 token 用量与效率分开追踪。在两个单次尝试的例子中，来自 NVIDIA 认证技能仓库的一个技能 jetson-optimize-memory 把 token 从 617,306 降到 142,540（降低 76.9%），把执行时间从 474.9 秒降到 220.0 秒（降低 53.7%）。相反，cuopt-install 把 token 从 25,227 增加到 55,582（增加 120.3%），把执行时间从 34.0 秒增加到 41.1 秒（增加 20.8%），这表明还有进一步优化的空间。SkillEvaluator 能够揭示一个技能是提升了 token 和执行效率，还是需要进一步优化。
开始使用
要开始使用，请访问 SkillEvaluator 文档，或在 GitHub 上查看 NVIDIA 认证技能目录中的认证技能。
致谢
感谢 Roshni Malani、Meghana Puvvadi、Subodh Prabhu、Mohit Gupta、Yogesh Dangi、Yashraj Basaravaj Patil、Keshav Pradeep、Siddharth Itagi、Alejandro Sanabria Portala 和 Pranita Maske 对这项工作的贡献。