返回 文章 build CMS 文章

NVIDIA 与微软发布新工具:在 Windows PC 上构建个人 AI 智能体

NVIDIA 与微软联手为 Windows PC 带来端侧 AI 智能体开发栈,从安全沙箱到推理加速全面就绪。

NVIDIAMicrosoftAI智能体Windows
成长分 / 100 72 综合收获、行动、留存与影响

NVIDIA 与微软发布新工具:在 Windows PC 上构建个人 AI 智能体
为什么值得读了解 NVIDIA 与微软在 COMPUTEX 2026 和 Microsoft Build 2026 上发布的最新端侧 AI 智能体工具。

掌握在 Windows 上安全部署自主智能体的关键方案,包括 MXC 和 OpenShell 沙箱机制。

关键洞察
  1. Microsoft eXecution Containers (MXC) 提供策略层,定义并实施隔离与遏制,降低智能体与个人文件交互时的提示注入风险。
  2. NVIDIA OpenShell 运行时基于 MXC 构建并引入 Windows,提供策略管理、推理路由和 PII 混淆等能力。
  3. NVIDIA RTX Spark 产品系列提供 1 petaflop AI 算力、高达 128 GB 内存,Surface RTX Spark Dev Box 预装开发者配置的 Windows。
转成行动

深入阅读

正文与原文对照

原文保真覆盖:全文原文字符:12466

AI 智能体正在改变你与 PC 的交互方式。创作者、开发者和 AI 爱好者已经在广泛使用这些智能体来协助编程、视频剪辑和内容管理等日常任务。

NVIDIA 与微软正在携手,让新一代开发者能够在 Windows 平台上构建端侧智能体,实现更简便的设置、原生的安全性,以及与开发者已在使用的应用和工具的集成。

本文详细介绍了 NVIDIA 和微软在 COMPUTEX 2026 期间的 NVIDIA GTC 台北大会和 Microsoft Build 2026 上发布的新工具,以满足智能体需求的爆发式增长。这些工具包括原生 Windows 上开箱即用的智能体沙箱、快 2 倍的智能体推理、来自 Nous Research 和 H Company 的新智能体应用与工具,以及 llama.cpp 和 ComfyUI 中增强的多 GPU 支持。本地 AI 开发栈现已准备就绪,可以与用户并肩运行复杂的智能体 AI 工作流。

如何使用 Microsoft eXecution Containers 和 NVIDIA OpenShell 保护本地智能体

在 Microsoft Build 上,微软宣布了一组安全原语,使智能体能够在内置身份与策略执行的前提下执行代码、操作文件并跨系统编排任务。Microsoft eXecution Containers(MXC)构成策略层,负责定义隔离与遏制并为其提供检测,同时依靠原生 Windows 操作系统构件来应用这些策略。

对开发者而言,这降低了一道关键门槛:与个人文件和应用交互的智能体会带来真实的提示词注入风险,而 MXC 确保它们无法访问整个系统。

NVIDIA 也在与微软合作,将构建于 MXC 之上的 NVIDIA OpenShell 运行时引入 Windows。通过 OpenShell 集成 MXC,为开发者提供了一个易于集成的软件包,用于安全地部署自主、常驻的智能体,同时提供策略创建与管理、推理路由以及个人身份信息(PII)混淆等额外能力。

各大智能体应用都希望借助 MXC 和 OpenShell 来增强在 Windows 上的安全性,其中包括广受欢迎的开源智能体 OpenClaw 和 Hermes Agent。

NVIDIA RTX Spark 如何为个人 AI 智能体提供动力?

本周早些时候,NVIDIA 在 GTC 台北发布了 NVIDIA RTX Spark 产品家族,包括为个人助理时代打造的小型台式机和笔记本电脑。这些台式机和笔记本提供 1 petaflop 的 AI 算力、最高 128 GB 内存,以及 CUDA 加速的 AI 框架,可在日常工作的同时运行大模型。

微软正在打造 RTX Spark 的特别开发者版本——Surface RTX Spark Dev Box,预装了为开发者配置的定制版 Windows 以及上手所需的主流开发者工具。详情请参阅为开发者打造新一代设备:Surface RTX Spark Dev Box。

NVIDIA NemoClaw、Hermes Agent 和 H Company 如何扩展智能体能力?

用于构建自主 AI 智能体的 NVIDIA NemoClaw 现已通过 Linux 和 Windows Subsystem for Linux(WSL)支持所有 NVIDIA 客户端系统——GeForce RTX、NVIDIA RTX PRO、NVIDIA DGX Spark 和 NVIDIA DGX Station for Windows。这让你可以轻松设置智能体并为其建立沙箱,并使用为你的硬件精心挑选的优化本地模型。此次更新还改进了安装程序,使其更简单、更顺畅。NemoClaw 现在还支持将 Hermes Agent 作为一个选项来运行。

本周,Hermes Agent 也发布了原生 Windows 支持,包括命令行界面和一款精致的全新桌面应用。这简化了用户体验,同时让智能体更容易与原生 Windows 应用、API 和文件交互并加以使用。

此外,AI 研究与产品公司 H Company 发布了全新的 Holo 3.1 系列模型。这些模型针对 Computer Use(计算机操作)进行了调优,这种模式让智能体能够通过观察屏幕和点击来执行操作,从而将智能体能力扩展到更广泛的应用。它们包含量化检查点,内存占用比 FP8 低 35%。该公司还宣布了一款支持本地模型的新 Computer Use harness,即将推出。NVIDIA 帮助 H Company 优化了其新模型和 harness,使其在 NVIDIA GPU 上的性能提升超过 2 倍。

NVIDIA 与开源社区如何加速本地智能体 AI 的推理?

智能体全天候 7×24 小时运行越来越复杂的任务,高效的本地算力就变得更加重要。NVIDIA 已与开源社区合作,增强了面向智能体的主流推理后端 llama.cpp 和 vLLM。

llama.cpp 现在在 Qwen 3.5 和 3.6 27B 稠密模型上实现了 2 倍性能,在 Qwen 3.5 和 3.6 35B 混合专家(MoE)模型上实现了 1.6 倍性能。以下两项技术使之成为可能:

  • 多词元预测(Multi-Token Prediction,MTP):一种先进的推测解码技术,由较小的草稿模型提前提出若干词元,目标模型在一次前向传播中完成验证,在输出质量不变的情况下提供更高的吞吐量。MTP 对开发者最为实用,因为对于已支持它的模型,无需任何额外训练。
  • Programmatic Dependent Launch (PDL):此更新带来更快的解码性能。存在依赖关系的内核可以在同一个 CUDA 流上并发执行。在此之前,同一个 CUDA 流中存在依赖关系的内核必须顺序执行。

vLLM 已经采用了 MTP,同时还将获得更多优化,使推理性能提升 2.6 倍。这些优化包括为 MoE 模型选用更好的 BF16 内核,以及通过改进 CUDA Graphs 降低运行时开销。

你现在就可以通过 LM Studio、llama.cpp 和 vLLM 开始体验这些更新。

展示吞吐量性能提升的柱状图。对比了三种配置:DGX Spark 上使用 vLLM 的 Qwen3.6-35B 提升 2.6 倍,RTX 5090 上使用 llama.cpp/LM Studio 的 Qwen3.6-27B 提升 2 倍,RTX 5090 上使用 llama.cpp/LM Studio 的 Qwen3.6 35B 提升 1.6 倍。
图 1. NVIDIA DGX Spark 和 NVIDIA RTX 5090 上本地智能体 AI 部署的整体吞吐量性能得到提升

多 GPU 支持如何为 RTX PC 扩展 AI 性能?

在本地运行 AI 的一种常见方式是使用多块 GPU,以获得更多内存和算力。像 vLLM 这样的云端框架因应用于数据中心,对多 GPU 做了很好的优化,而 llama.cpp 以及 PyTorch 中的 ComfyUI 实现等 PC 框架则没有针对多 GPU 进行优化。

为解决这一难题,NVIDIA 与 llama.cpp 和 ComfyUI 双方合作,提升了配备两块同型号 GPU 的 RTX PC 的性能。这让你可以运行更大的模型,并利用两块 GPU 的算力获得更好的性能。

llama.cpp 现已支持张量并行(TP),可充分利用两块 GPU,内存容量最高提升约 2 倍,计算性能最高提升约 1.8 倍。LM Studio 已通过其应用提供这些改动,供更多人使用。要开始使用 LM Studio,请打开 LM Studio 应用,选择“设置”,然后选择“运行时”以启用 TP。

柱状图显示,在 llama.cpp 上以张量并行方式运行的两块 RTX 5070 GPU,生成吞吐量相比单块 RTX 5070 最高提升 6.5 倍,并且在全部四个测试模型——Qwen3.6-27B、Gemma-4-31B、Qwen3.6-35B-A3B 和 GPT-OSS-20B——上都优于流水线并行。
图 2. 在 llama.cpp 上,张量并行多 GPU 技术相比流水线并行和单 GPU 推理,词元生成性能最高提升 1.8 倍

ComfyUI 集成了无分类器引导(Classifier-Free Guidance,CFG)方法,在两块 GPU 上最高可获得 2 倍算力。用户还可以将模型链拆分到多块 GPU 上,使其完全加载到显存中,从而运行高 VRAM 模式。这消除了低 VRAM 模式下的内存交换开销,带来额外的性能提升。

标题为“ComfyUI 上的多 GPU 创意 AI 性能”的柱状图,对比了单块 RTX 5090 与采用 CFG 和设备选择的多 GPU RTX 5090 在各模型上的生成性能。
图 3. 在 ComfyUI 上,多 GPU 技术在不同 RTX 5090 配置下带来的生成时间性能提升

要开始使用多 GPU 推理,请查看 llama.cpp GitHub 仓库以及《如何构建多 GPU AI PC》。

媒体和视频开发者有哪些新内容?

NVIDIA AI for Media SDK(AI4M)现已面向构建 AI 驱动的视频和广播流水线的开发者开放私有访问。它包含以下功能:

  • LipSync 正式发布(GA):针对特定语言优化的模型现已支持法语、德语和西班牙语,LipSync 可实现更高质量的配音和内容本地化,发音表现相比基础模型有所改进。
  • Active Speaker Detection(ASD,主动说话人检测)正式发布:增强的多摄像头和多麦克风支持,加上跨视频的说话人 ID 关联,解锁了此前需要人工完成的自动化工作流——口型同步配音、视频剪辑和高级日志记录。

更多用于 Windows 上 GPU 加速 AI 开发与部署的工具

更广泛的 Windows AI 平台及 Windows ML 持续成熟,由 NVIDIA GPU 上的 NVIDIA TensorRT for RTX 提供支持。开发者现在有多种途径在 Windows 应用中交付 GPU 加速的 AI。

Windows AI Foundry 和 Windows AI API 现已支持 GPU 加速。当你在 RTX 硬件上调用受支持的 API 时,工作负载会被路由到 NVIDIA GPU 上,以实现更高性能的本地推理。首个受支持的模型是 Phi-Silica,这是一个 3.3B 的小语言模型(SLM),可用于摘要、改写、代码生成及其他端侧 AI 任务。

Windows ML 和 TensorRT for RTX 的采用势头持续增强。四家合作伙伴最近已从 DirectML 升级:

  • Voicemod 实现实时 AI 变声速度提升 42%
  • Topaz 的 1080p 到 4K 放大速度提升 20%,同时引擎存储占用减少 3-4 倍
  • DxO PhotoLab 9.7 发布,AI 照片处理更快
  • Camo Streamlight 的 AI 自动调节功能可实时智能调整光线强度

对于希望在 Windows 中运行 Linux 应用的用户,新的 Windows Subsystem for Linux Containers(WSL-C)是一种内置方式,可从原生 Windows 应用中创建、运行 Linux AI 容器并与之交互。应用用户无需自行安装和管理 WSL 系统资源,开发者可以使用 C/C++ 库将这一功能构建到自己的应用中。WSL-C 让复杂的专业级开发环境可以直接在 Windows PC 上运行,使你能够更快工作、在本地迭代,并与生产工作流保持一致。

开始在 Windows PC 上构建个人 AI 智能体

AI 智能体正在重塑软件的构建、使用和部署方式——而 NVIDIA RTX 上的本地 AI 栈已准备就绪。凭借安全的智能体沙箱、更快的推理、多 GPU 扩展以及日趋成熟的 Windows AI 平台,面向全球超过 1 亿台 NVIDIA RTX PC 进行开发的开发者,已经拥有交付下一代 AI 应用所需的基础设施。

了解更多并开始为 NVIDIA RTX AI PC 开发。