NVIDIA 发布 NV-Reason-CT：面向 3D CT 的放射科医生思维链推理开放 VLM

放射学 AI 在检测胸部 X 光片、病理切片和二维扫描中的异常方面已取得显著进展。然而，临床信息最丰富、数据密度最高的影像模态之一——三维计算机断层扫描（CT）——在很大程度上仍未被现代视觉语言模型（VLM）充分覆盖。前沿通用模型在体数据影像上表现不佳，而大多数开放医疗 AI 模型缺乏放射科医生信任并验证 AI 生成结论所需的多步对话深度。

NVIDIA 正通过 NV-Reason-CT 来弥补这一空白，这是一款专为三维 CT 分析打造的 VLM。NV-Reason-CT 将思维链推理扩展到完整的体数据 CT，能够生成结构化诊断报告、模拟放射科医生的内在思考，并支持针对胸部和腹部的多步追问对话。它建立在 NV-Reason-CXR 开创的推理方法之上；该方法已通过一项被 RSNA 2026 接收的多读片者临床研究验证，证实在保持诊断准确性的同时节省了放射科医生的时间。

NV-Reason-CT 是一个开放的研究与开发基础；它不是自主诊断系统，也不是获得批准的临床产品。它是一个AI 基础模型，面向构建专用 CT 分析应用的研究人员和开发者，供其针对自身用例进行后训练。

为什么三维 CT 推理需要不同的方法

一次腹部 CT 检查可包含 300–600 张轴位切片，在三个空间维度上编码解剖上下文，而标准二维编码器无法仅凭相互独立的切片重建出这些信息。

这种体数据的复杂性给医疗 AI 在感知、推理和对话深度方面带来了一系列相互叠加的挑战：

• 感知：标准 VLM 把图像输入视为二维词元网格。把 CT 体数据当作一叠相互独立的二维帧来处理，会丢掉切片之间的空间关系，而这些关系恰恰定义了肿块、积液和浸润等结构——这些结构的形状、范围和密度只有在三维中才具有临床意义。
• 推理：即使是能正确感知异常的模型，往往也只输出一个诊断标签，而不解释为什么。放射科医生不是以标签来思考的，而是通过系统性的解剖结构复查、鉴别诊断和置信度分级来思考。无法复现这一推理过程的 AI，就无法被审计、被用来教学，也无法安全地融入临床工作流。
• 对话深度：放射科医生在复核一处可疑发现时，不会一眼看过就结案。他们会追问、重新考虑鉴别诊断，并把不同解剖区域的发现关联起来。大多数现有模型缺乏支持这种迭代式临床推理的多轮对话能力。

为 CT 分析提供完整的三维推理

NV-Reason-CT 将专用的完整三维视觉 Transformer（ViT）编码器与一个经过训练、能生成思维链推理的语言模型结合起来，其推理方式反映了放射科医生系统性分析 CT 体数据的做法。

与把二维编码器套用于 CT、将各切片独立处理的方法不同，NV-Reason-CT 把 CT 体数据作为真正的三维输入来处理。这保留了层面方向上的解剖连续性，使模型能够像放射科医生滚动浏览检查影像时那样，整体地推理各个结构。

核心模型能力包括：

• 结构化报告生成：NV-Reason-CT 可生成详细的结构化报告。NVIDIA 团队整理了一套 CT 本体，涵盖 30 种胸部和 29 种腹部异常，用于指导和评估模型——例如肺结节、气胸、肝脏病变、肾囊肿等——其格式可自然对应临床文档工作流。
• 模拟放射科医生的思维链：NV-Reason-CT 还能生成模拟放射科医生思考链条的推理。模型会产生逐步的内在思考——系统性地检查各解剖区域、提出相关发现、考虑鉴别诊断并表达不确定性——风格类似于经验丰富的放射科医生逐步研读一项检查。
• 多步对话式追问：临床医生和研究人员可以针对具体发现追问、要求澄清鉴别诊断，或在任何阶段探查模型的推理。这种多轮能力使 NV-Reason-CT 从一个报告生成器转变为交互式的诊断伙伴。
• 完整的三维 ViT 编码器：专门打造的三维视觉编码器原生处理 CT 体数据，提取二维方法无法恢复的体数据特征。此外，三维视觉词元的网格坐标会传给 LLM，通过 3D MRoPE 在整个 LLM 各层中体现词元之间的空间关系。这一架构选择使模型能够推理空间范围、横截面形态和层间关系——这些是准确解读 CT 的感知基础。

NV-Reason-CT 的架构如何为体数据推理量身打造？

该模型架构将 Qwen3.5-4B LLM 与三维 ViT（Primus/Colipri）结合。所有权重都在包含结构化报告、推理轨迹和多步 VQA（内部设计）的大规模 CT 队列数据上进行端到端重新训练。标准的基于 Transformer 的 VLM 是为二维图像设计的。把体数据展平成二维切片序列来适配 CT，会丢失定义体数据病变的空间结构。

编码器架构改编自 Primus 三维 ViT，训练前以 Colipri 权重初始化；它处理重采样为 2 mm 各向同性分辨率下 192³ 体素的 CT 体数据，使用互不重叠的 8x8x8 patch 词元——得到 24x24x24 = 13,824 个视觉词元的上下文。所有视觉词元（连同其三维网格坐标）都直接传给 LLM，而不做合并（或下采样）。LLM 中包含 3D MRoPE，用以体现视觉词元的三维空间关系。

语言模型部分经过训练，以放射科医生的风格进行推理：系统性地复查各解剖区域，在记录异常发现的同时也注明正常发现，表达经过校准的不确定性，并得出结构化结论。该模型被设计成不是作为分类器来回应，而是作为老师：解释问题、梳理证据，并通过可见的逻辑步骤得出诊断。

NV-Reason-CT 的训练方法是什么？

NV-Reason-CT 建立在 NV-Reason-CXR 所引入的方法之上，采用两阶段训练流程：先进行监督微调，再进行强化学习（RL）。

阶段 1：基于放射科医生推理数据的监督微调

第一阶段用混合数据训练模型，包括结构化报告、放射科专家的推理标注和通用 VQA。放射科医生为 CT 检查提供了详细的思维链口述，记录了他们的内在复查过程，包括每个解剖区域检查什么、认为哪些发现重要、权衡哪些鉴别诊断，以及如何得出最终评估。

由此形成的训练课程涵盖约 550,000 条结构化问答样本，覆盖胸部和腹部区域，包括分区解剖问答、特定侧别与局部发现问答、严重程度问答，以及二元异常识别。我们还加入了针对无效提示词和图文不匹配样本的拒答示例，以提高鲁棒性。

训练数据包括 CT-RATE、NIH CT 数据集和 CancerVerse。该数据集还补充了从大语言模型蒸馏而来的高质量合成推理数据，并以放射科专家的标注作为基准示例。合并后的数据集为模型提供了丰富的信号，使其了解在各种 CT 发现中结构化放射学推理是什么样子。

阶段 2：以 RL 提升推理质量

第二阶段使用组相对策略优化（Group Relative Policy Optimization，GRPO）来提升推理质量。基于所识别异常和诊断的准确性设计的奖励函数，引导模型产生不仅结构良好、而且临床上正确的推理。GRPO 奖励具有解剖感知能力：模型针对每个解剖区域内的准确性得到强化，而不是依赖单一的全局信号，从而改善了在整个胸腹部发现分布上的校准。

这种两阶段方法（先学习推理模式，再强化正确性）使 NV-Reason-CT 能够泛化到各种各样的 CT 表现，而无需为完整的训练分布提供穷尽标注的推理链。

基准测试结果

NV-Reason-CT 在三维 CT 理解的主要公开基准测试上取得了最先进的结果。

在三维 CT 理解的主要公开基准 CT-RATE 上，NV-Reason-CT 超越了所有已发表的基线，包括三维对比学习模型（VoxelFM、Pillar-0、CT-CLIP、Merlin）、二维/三维融合的 MLLM（ClinFusion-8B），以及基于切片的前沿模型（MedGemma 1.5）。这是首次有单一开放模型在 CT 分类和报告生成上同时达到具有竞争力的水平。

表 1. CT-RATE 分类结果（18 个标签，固定统一阈值）。NV-Reason-CT 使用直接的是/否提示词进行评估，没有分类头，也没有针对特定任务的适配。

除了基准测试表现，NV-Reason-CT 还获得了美国国立卫生研究院（NIH）放射科医生的积极临床评价，他们验证了结构化报告的质量以及思维链推理轨迹的临床合理性。

“NV-Reason-CT 提供了那种系统性的、逐步展开的推理，反映了我们实际思考一项 CT 检查的方式，”国立卫生研究院高级临床医生 Baris Turkbey 医学博士、F.S.A.R. 表示，“能够审视模型的思考过程，而不只是它的结论，才让我们有可能信任并依据其发现采取行动。”

临床验证与现实影响

NV-Reason-CT 的价值不止于基准分数。审阅过该模型输出的放射科医生和临床研究人员一致强调了两项能力，使它有别于早期的 CT AI 系统：

• 节省结构化报告的时间：生成涵盖 60 多种异常的详细结构化报告十分耗时，即使对经验丰富的放射科医生也是如此。NV-Reason-CT 可在数秒内给出这样的输出，其推理便于临床医生快速浏览、核实和修改——在保留放射科医生监督的同时，减轻常规报告的认知负担。
• 支持审计的可解释性：传统医疗 AI 模型输出标签或分数。NV-Reason-CT 输出的是它的推理。这使模型的结论可以被审计，而黑箱系统做不到这一点：放射科医生可以阅读思维链，找出模型推理与自己一致的地方，并标出分歧所在。这正是临床应用所需要的透明度。

NV-Reason-CT 如何助力研究和医疗 AI？

NV-Reason-CT 旨在成为更广泛的医疗 AI 社区可以在其上构建的基础。

研究人员可以使用模型检查点和后训练方案来研究医学影像中的思维链推理、在特定机构的 CT 数据集上微调，或将 NV-Reason-CT 集成到多模态研究管线中。用于分割和合成数据生成（SDG）的配套模型包括 NV-Generate-CTMR 和 NV-Segment-CTMR。

包括放射科工作流供应商、PACS 开发商和临床决策支持平台在内的医疗 AI 公司，可以针对特定临床应用来调整 NV-Reason-CT，从而把结构化 CT 推理集成到现有的放射科阅片工作流中。Aidoc、HOPPR、Rad AI、Mosaic Clinical Technologies 和 Raidium 等公司所处的领域，正需要这样一款能力出色、开放且可对话的三维 CT 模型来填补真正的能力空白。

NV-Reason-CT 运行示例与输出

以下示例加载 NV-Reason-CT，并对三维 CT 体数据执行一次推理。检查点可从 Hugging Face 获取。GitHub 仓库包含推理脚本、训练配置和后训练方案。

import torch
from transformers import AutoModelForImageTextToText, AutoProcessor

model_name = "nvidia/NV-Reason-CT" 

model = AutoModelForImageTextToText.from_pretrained(
    model_name, 
    trust_remote_code=True,
    attn_implementation="sdpa",
    torch_dtype=torch.float16,
).eval().to("cuda")


processor = AutoProcessor.from_pretrained(model_name, trust_remote_code=True)

messages = [
    {
        "role": "user",
        "content": [
            {"type": "image"},
            {"type": "text", "text": "full chest CT reasoning analysis"}
        ]
    }
]

# Create prompt using chat template

text = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=False,
    enable_thinking=True
)

# Process inputs

inputs = processor(
    text=prompt,
    images3d=["chest_ct.nii.gz"],
    anatomy_region="chest",
    return_tensors="pt",
).to(model.device)

# Generate chain-of-thought reasoning and structured report

with torch.inference_mode():
    generated_ids = model.generate(
        **inputs,
        max_new_tokens=4096,
        do_sample=False,
        use_cache=True,
    )

# Decode

new_tokens = generated_ids[:, inputs.input_ids.shape[1]:]
response = processor.batch_decode(
    new_tokens,
    skip_special_tokens=True,
    clean_up_tokenization_spaces=False,
)[0]

print(response)

输出节选

<think> I will review the CT volume systematically, use the valid technique context, 
identify the key imaging findings, and then provide the final labels. </think>

We are going to review this IV contrast-enhanced CT of the chest in a systematic way. 
First, one important technical and support-device detail: there is a left-sided port catheter, 
and the catheter tip terminates in the superior vena cava, which is an expected central venous position.

I will begin with the lungs and airways. The central airways are patent, so there is no major tracheal 
or main bronchial occlusion. However, when we come down into the right lung, the right lower lobe 
is the dominant abnormality. There is a large mass-like process in the right lower lobe, and it is associated 
with partial collapse of the right lower lobe. This is a meaningful finding because a mass with postobstructive 
or associated volume loss is concerning for a malignant process.

There is also an additional mass-like lesion in the right lower lobe [...].

So overall, the dominant thoracic finding is a large right lower lobe mass-associated partial collapse, 
with additional right lower lobe mass-like disease and bulky mediastinal and right hilar adenopathy. 
The pattern is concerning for thoracic malignancy with nodal involvement. There are also scattered bilateral 
ground-glass opacities that remain nonspecific and could be inflammatory, infectious, or neoplastic. 
In addition, there is lytic lower thoracic spine disease with moderate spinal stenosis and a few indeterminate 
right rib sclerotic lesions.

NV-Reason-CT 在 NVIDIA Medical AI 生态中的位置

NV-Reason-CT 是 NVIDIA Medical AI 开放医疗 AI 模型家族的一员，这些模型被设计为可在整个放射科流程中协同工作：

• NV-Generate-CTMR：合成逼真的三维 CT 和 MRI 体数据，用于训练数据增强和研究
• NV-Segment-CTMR：对三维 CT 和 MR 体数据进行器官与病灶的自动分割
• NV-Reason-CXR：面向胸部 X 光分析的思维链推理
• NV-Reason-CT：面向完整三维 CT 分析的思维链推理

这些模型合在一起，为端到端的放射学 AI 管线提供了构建模块——从合成数据生成，到分割，再到透明、可对话的临床推理。

了解更多，请探索 NVIDIA Medical AI 生态。

开始使用 NV-Reason-CT 进行放射科医生思维链推理

NV-Reason-CT 把思维链推理带入了医学中信息密度最高的模态之一。通过将专用的完整三维 ViT 编码器与经过推理训练的语言模型相结合，该系统可为 CT 体数据生成结构化诊断报告和逐步的放射科医生式思考，涵盖胸部和腹部发现，并支持多轮对话。

准备好开始了吗？该模型现已开放用于研究和开发。无论你是想探索模型的推理能力、在自己的 CT 数据集上微调，还是将其集成到临床 AI 管线中，都可以从这里开始：

• 通过网页演示对 CT 体数据运行推理
• 从 Hugging Face 下载权重和配置
• 在 NVIDIA-Medtech/NV-Reason-CT GitHub 仓库中浏览训练方案、推理脚本和后训练代码
• 阅读研究论文 NV-Reason-CT: 3D Visual Language Model for CT Analysis

欲获取最新动态，请订阅 NVIDIA 新闻，并在 LinkedIn、X 和 YouTube 上关注 NVIDIA Healthcare。