返回 文章 apply CMS 文章

NVIDIA DLSS 5 发布:3D 引导神经渲染、ACE 更新与 RTX Kit 新能力

DLSS 5 以引擎帧为不可动摇基础,通过 3D 引导神经渲染添加逼真光照与材质细节,并保留艺术意图。

DLSS 5神经渲染NVIDIA ACERTX Kit
成长分 / 100 74 综合收获、行动、留存与影响

NVIDIA DLSS 5 发布:3D 引导神经渲染、ACE 更新与 RTX Kit 新能力
为什么值得读了解 DLSS 5 如何以游戏引擎渲染帧为基础,在保留场景结构与角色身份的同时增强光照和材质细节。

掌握 DLSS 5 面向开发者的控制手段,包括模型选择、结构强度与色调强度调节、语义 AI 遮罩和引擎级遮罩。

关键洞察
  1. DLSS 5 将图形管线扩展为最终的神经渲染阶段,以引擎渲染帧(含几何、纹理和光照缓冲区)作为不可动摇的基础,开发者指导可改变的内容。
  2. DLSS 5 采用严格的一帧进、一帧出模型并结合游戏引擎运动矢量,确保实时 3D 渲染的确定性与时间稳定性,在单块 GeForce RTX 50 系列 GPU 上本地运行,最高支持 4K。
  3. 开发者可通过选择多个模型、调整结构强度与色调强度、使用语义 AI 遮罩和引擎级遮罩来指导输出,并可通过提供光线追踪或路径追踪光照等更丰富源数据提升准确度。
转成行动

深入阅读

正文与原文对照

原文保真覆盖:全文原文字符:10531

NVIDIA DLSS 5 引入了 DLSS 3D 引导神经渲染(3D-Guided Neural Rendering)和精细化控制,帮助游戏开发者在保留艺术意图的同时,加入逼真的光照和材质细节。我们还介绍了 NVIDIA ACE、RTX Mega Geometry 2.0 和 RTX Kit 在角色 AI、高密度几何体和渲染工作流方面的更新。

本文涵盖:

  • DLSS 5 如何以游戏引擎渲染的帧为基础来实现 3D 引导神经渲染,以及《NBA 2K27》的开发商 Visual Concepts 如何使用 DLSS 5 在保留扫描面部几何的同时增强材质和光照
  • NVIDIA ACE 新的语音与推理能力
  • RTX Kit SDK 更新,包括支持连续细节层次(level-of-detail)集群流式加载的 RTX Mega Geometry 2.0

DLSS 5 引入带开发者控制的 3D 引导神经渲染

▶ https://www.youtube.com/watch?v=58FagrSqC4M

视频 1. NVIDIA 应用深度学习研究总监 Edward Liu 和内容技术总监 Gabriele Leone 讲解该技术及其开发者控制的工作原理,包括 DLSS 5 如何始终以游戏引擎数据为根基、保持帧间稳定,并让开发者掌控最终输出

带 3D 引导神经渲染的 DLSS 5 把图形管线扩展出一个最终的神经渲染阶段。它以游戏引擎渲染的帧为不可动摇的基础,包括由美术人员制作的几何体、纹理和光照缓冲。

引擎帧决定了哪些内容必须保留,开发者则决定哪些内容可以改变。该模型利用帧颜色和运动向量,旨在添加逼真的光照和材质细节,同时保留场景结构、角色特征和艺术意图。

示意图:一帧坐姿角色的表面法线图经过 DLSS 5 训练。被保留的属性分为角色特征、场景语义、光照语义以及镜头与构图。
图 1. DLSS 5 经过训练,通过保持角色特征、场景和光照语义以及镜头构图来保留艺术意图

DLSS 5 专为实时 3D 渲染打造,可输出确定性的、时间上稳定的结果。它严格遵循一帧输入、一帧输出的模式,并结合游戏引擎的运动向量,使玩家移动时结果保持一致。这个紧凑的专用模型在单块 GeForce RTX 50 系列 GPU 上本地运行,最高支持 4K。

两行示意图,对比处理多帧分块的离线生成模型与 DLSS 5:后者在实时场景中逐帧依次处理并输出。
图 2. DLSS 5 严格遵循一帧输入、一帧输出的序列,实现实时逐帧稳定,而不像离线生成模型那样处理多帧分块

面向开发者的控制与集成

  • 艺术指导:开发者可以从多个模型中选择,在不同场景、玩法或过场动画中混合使用,并调整结构强度(Structure Intensity)和色调强度(Tone Intensity),以调节高频细节以及更大范围的光照与色彩响应。
  • 定向应用:开发者可以使用语义 AI 蒙版,在识别出的场景元素上应用或抑制该效果,再用引擎级蒙版隔离道具或资产组,例如玻璃器皿、水滴和植被。
  • 输入质量:DLSS 5 能显著提升传统光栅化画面,但如果给模型提供更丰富的源数据,例如光线追踪或路径追踪的光照,结果会准确得多。
DLSS 5 开发者控制面板叠加在一幅静物渲染图左侧,画面中有精致的玻璃器皿、一个木盒和织物。面板显示 DLSS 已启用、已选择模型 C、全局结构强度和色调强度滑块、模型自动蒙版,以及针对植被和花瓶的开发者蒙版控制。
图 3. DLSS 5 把艺术指导工具交到开发者手中,包括模型选择、结构强度和色调强度控制、语义 AI 蒙版以及引擎级蒙版

DLSS 5 现已在由 Visual Concepts 开发、2K 发行的《NBA 2K27》中提供,支持所有 GeForce RTX 50 系列台式机和笔记本 GPU。GeForce NOW Ultimate 会员在云端使用由 NVIDIA 运营、搭载 GeForce RTX 5080 的游戏主机进行串流时,也可以体验。Visual Concepts 使用整体色调和风格控制,以及逐像素的提升控制蒙版,在尊重球员形象的同时微调角色细节。

▶ https://www.youtube.com/watch?v=79D8SVjB3HQ

视频 2. 听 NBA 2K 开发商 Visual Concepts 讲述他们如何调校 NVIDIA DLSS 5,帮助在 2K27 中实现更逼真的 NBA 体验

在 NBA 2K27 中,DLSS 5 保留了扫描得到的面部几何,同时增强了皮肤的次表面散射、光线穿过头发和耳朵的透射,以及接触阴影。

《NBA 2K27》中 Cade Cunningham 的两个画面,对比 DLSS 5 开启与关闭:开启后皮肤光照更温暖,头发更清晰,脖子和球衣领口的阴影更紧致,同时面部几何保持不变。

image3
图 4. 《NBA 2K27》中 Cade Cunningham 的 DLSS 5 开启与关闭对比,突出皮肤次表面散射、头发清晰度、接触阴影和材质细节的变化,同时保留球员面部几何

有关 DLSS 5 的更多详情,请查看我们的 DLSS 5 文章。点击这里注册,即可接收面向开发者的 DLSS 更新通知。

NVIDIA ACE 扩展模型和平台支持

NVIDIA ACE 提供可直接集成的 AI 模型和工具,用于构建知识丰富、可交互、能对话的游戏内角色。最新更新扩展了语音管线和推理框架,让开发者更容易在游戏中运行 AI。

为了在运行游戏图形的同时本地运行这些模型,NVIDIA In-Game Inferencing(NVIGI)SDK 通过进程内 C++ 执行,提供了一条高性能、精简的本地 AI 模型部署路径。

版本重点

  • NVIDIA Nemotron Speech 3.5 Streaming:一个 6 亿参数的自动语音识别(ASR)模型,采用流式架构转写玩家语音,在保持准确率的同时尽量降低延迟。
  • Qwen3 TTS:一个 6 亿参数的文本转语音模型,可生成高质量音频,并支持自定义微调。

NVIDIA In-Game Inference SDK 更新

  • RTX Spark 支持(开发者预览):新增对 RTX Spark 的早期支持。RTX Spark 是 NVIDIA 面向轻薄笔记本和超高能效台式机的全新 AI 与图形平台。
  • 扩展的模型支持:将 Gemma4 集成到 GPT 插件中。
  • 新增插件与示例:新增 Stable Diffusion 插件及示例代码。
  • 性能增强:纳入最新的 llama.cpp 更新,以最大限度提升推理性能。

点此获取 NVIDIA In-Game Inference SDK。

堆栈示意图:应用程序通过 NVIGI SDK 连接到语言、语音、图像生成及其他 AI 推理后端的插件,这些后端运行在 GPU 和 CPU 硬件上。
图 5. NVIDIA In-Game Inferencing 提供统一的插件架构,用于在图形工作负载的同时本地运行 AI 模型

NVIDIA RTX Kit 各项更新推进神经渲染和路径追踪

NVIDIA RTX Kit 是一套渲染技术,可用于在着色器中训练和部署 AI、以可用于游戏的性能对精细场景进行路径追踪,以及渲染逼真的数字角色。最新的 SDK 更新扩展了对高密度几何体、神经纹理工作流、光照和纹理过滤的支持。

RTXMG 示例应用中使用 Zorah 资产的场景,突出展示 Mega Geometry 的效果
图 6. RTX Mega Geometry 示例应用中使用 Zorah 资产的场景,突出展示 Mega Geometry 的效果

RTX Kit 2026.3 的更新包括:

  • RTX Character Rendering 1.4 改进了远场头发 BCSDF 采样和能量守恒
  • RTX Dynamic Illumination 3.1 新增 DLSS Ray Reconstruction 集成,并对 ReSTIR PT 做了一些改进
  • RTX Neural Texture Compression 0.10 测试版新增对带 Linear Algebra 的 Microsoft DirectX 12 Agility SDK 预览版的支持,使 DirectX 着色器中的神经纹理解压可以利用 RTX Tensor Core 加速。它还新增了对 Windows ARM64 的支持。
  • RTX Neural Shading 1.4 新增对最新 DirectX Linear Algebra 预览工具链的支持,并更新了其着色器和示例依赖项。
  • RTX Texture Filtering 1.3 引入协同纹理过滤(Collaborative Texture Filtering)技术,旨在提升随机纹理过滤的放大质量。它还新增了对 Windows ARM64 的支持。

RTX Mega Geometry 2.0 现已推出

除了 RTX Kit 的更新外,RTX Mega Geometry SDK 也已更新到 2.0,新增了对高密度网格连续细节层次集群流式加载的支持。新发布的带纹理 glTF 版 Zorah 展示了这种细节规模。

多尊雕像的三个视图:左侧为精细网格,中间为三角形集群,右侧为微三角形,展示 RTX Mega Geometry 的细节层次组织方式。
图 7. NVIDIA RTX Mega Geometry 把精细网格组织成集群,使光线追踪场景能够高效地调整几何细节

RTX Mega Geometry 即将登陆《战争机器:E-Day》(Gears of War: E-Day),为 GeForce 游戏带来更高的帧率、更高的画质和响应更灵敏的操控。我们与 The Coalition 的工作室技术总监 Kate Rayner 和渲染负责人 Mike Perzel 进行了交流,了解《战争机器:E-Day》如何集成 RTX Mega Geometry 和 DLSS。

▶ https://www.youtube.com/watch?v=yeMtCvxBiIM

视频 3. RTX:游戏幕后 | 搭载 DLSS 4.5 和 RTX Mega Geometry 的《战争机器:E-Day》

游戏开发者资源

查看完整的游戏开发者资源列表,并随时了解 NVIDIA 游戏开发的最新动态: