返回 文章 apply CMS 文章

Google 用深度学习从太空绘制全球甲烷排放地图

用端到端视觉 Transformer 把 EMIT 高光谱卫星数据变成可规模化甲烷减排行动。

甲烷排放深度学习遥感卫星高光谱成像
成长分 / 100 78 综合收获、行动、留存与影响

Google 用深度学习从太空绘制全球甲烷排放地图
为什么值得读了解如何用深度学习解决天基甲烷检测中背景复杂、来源重叠和标注数据稀缺等核心难题。

获取可直接使用的全球甲烷羽流数据库、训练模型、合成羽流和推理库等开放资源。

关键洞察
  1. MAPL-EMIT 采用 Swin-S 视觉 Transformer,将完整光谱与空间上下文一并处理,能区分随风扩散的甲烷羽流与光谱相似的地面斑块。
  2. 模型同时解决检测、增强量化和来源估计三个任务,可在密集工业区理清多个重叠羽流并定位各自来源起点。
  3. 由于缺乏数百万真实标注羽流,团队用拉格朗日烟团模型生成 360 万个合成羽流注入真实 EMIT 场景进行训练。
转成行动

深入阅读

正文与原文对照

原文保真覆盖:全文原文字符:12250

甲烷是一种强效温室气体;在 100 年的时间尺度上,其升温潜能是二氧化碳的 30 倍。事实上,自工业时代开始以来,它已造成约 25% 的人为升温。由于甲烷在大气中的寿命相对较短,及时减少这些排放为缓解全球气温上升提供了一条关键的“快速行动”路径。

这种紧迫性体现在全球甲烷承诺中:超过 125 个国家承诺到 2030 年将排放量减少 30%。要实现这些目标,我们必须让各利益相关方有能力追踪废弃物、农业和能源行业的局部点源(空间范围很小、尺度仅数十米量级的排放)。成本效益最高的策略,是减少石油天然气基础设施、农业设施和垃圾填埋场的排放。

为了在全球尺度上追踪这些排放,科学家越来越依赖天基成像。一个典型例子是安装在国际空间站上的 NASA 地球表面矿物粉尘源调查(EMIT)仪器。它最初是为绘制干旱地区的矿物组成而设计的,但 NASA 喷气推进实验室(JPL)的科学家以及更广泛的科学界,已经利用 EMIT 先进的高光谱能力来探测甲烷排放。它为每个像素记录数百个不同的光谱波段,使研究人员能够“看见”这些原本不可见气体独特的化学指纹。

在这些投入的基础上,我们在发表于美国国家科学院院刊(PNAS)的论文《利用深度学习处理 EMIT 高光谱辐射测量数据,对甲烷点源进行全球监测》中,介绍了一种把原始卫星数据转化为可规模化减排行动的新方法。Methane Analysis and Plume Localization with EMIT(MAPL-EMIT)是一个深度学习框架,朝着在全球范围内自动完成甲烷羽流的检测、浓度增强预测和源估计迈出了重要一步。我们展示了 MAPL-EMIT 在专家标注的羽流上达到 84% 的高召回率,并且与现有基于匹配滤波器的增强方法相比具有较高的信噪比。为了支持更广泛的科学界,我们在 Earth Engine 上发布了全球羽流数据库,在 Kaggle 上发布了训练好的模型和合成羽流,并在 Github 上发布了推理库。

▶ https://storage.googleapis.com/gweb-research2023-media/media/MAPL-EMIT-1.mp4

播放 静音循环视频 暂停 静音循环视频

取消静音 视频 静音 视频

从太空看全球甲烷探测。随着画面放大,MAPL-EMIT 模型会突出显示具体的甲烷羽流,揭示源头位置等关键细节。

从太空发现甲烷的挑战

从太空测量甲烷需要在三个关键因素之间取得平衡:(1)视场(空间覆盖范围/重访周期),(2)空间分辨率,以及(3)光谱分辨率。

像 TROPOMI 这样的全球测绘仪器,设计目的是通过高覆盖范围(幅宽约 2,600 公里)、较粗的空间分辨率(约 5.5 公里 x 3.5 公里)和精细的光谱采样(0.1 纳米)相结合,来探测背景甲烷浓度的微小变化。

相比之下,EMIT 这类点源测绘仪器擅长在设施尺度上测量甲烷排放。它们结合了中等覆盖范围(视场宽 80 公里)、非常高的空间分辨率(60 米)和中等的光谱分辨率(7.4 纳米光谱采样),足以以较高的信噪比捕捉甲烷的化学特征。

然而,要在全球尺度上充分释放这些丰富数据的潜力,还面临额外的挑战。地球多样的地貌构成了复杂的背景,一些地表材料还会伪装成甲烷,使得识别较小或较弥散的源格外困难。为了在 EMIT 团队基础性工作的基础上实现高通量的全球测绘,我们与他们合作,应用能够理解场景更广泛视觉上下文的深度学习模型。

这项工作与 Google 围绕 Google Earth AI 开展的更广泛努力相契合,后者是我们的一套地理空间模型和数据集,旨在把行星级数据转化为可付诸行动的情报。通过将深度学习大规模应用于卫星图像,我们希望用面向特定环境监测的专用工具,来补充更广泛的行星级 AI 倡议。

三联图,分别显示常规航拍视图、地表热力图和被分离出来的气体排放羽流。
发现看不见的东西。这组对比展示了甲烷探测的挑战:常规可见光图像中看不到气体,NASA L2B 增强结果(来自匹配滤波器)显示出带噪声的信号,而 MAPL-EMIT 模型则能把甲烷羽流从背景地貌中清晰地分离出来。

MAPL-EMIT:面向大气的视觉 Transformer

我们用端到端的视觉 Transformer 架构(Swin-S transformer)构建了 MAPL-EMIT。许多方法是逐像素分析高光谱数据,而 MAPL-EMIT 借助现代计算机视觉技术,同时处理完整的光谱及其周围的空间上下文。通过分析气体如何在地表上空扩散,模型能更好地区分真正被风吹散的甲烷羽流(从某个特定源头扩散出的一道甲烷气体痕迹)与仅仅光谱特征相似的一块地面,而后者历来会导致甲烷的误检。

关键在于,这种空间感知能力使模型能够理清高度复杂的场景。在密集的工业区,多个相邻设施的排放往往会合并成一团云。为了理解这类场景,MAPL-EMIT 同时解决三项不同的任务:

  • 浓度增强 量化:测量每个羽流中每个像素里甲烷的精确含量。
  • 羽流轮廓划分:分割出羽流的确切形状和边界,即使在下风向有羽流相互重叠时也是如此。
  • 源定位:沿扩散的气体反向追溯,确定排放的准确位置。
卫星地图叠加图,显示从标有“X”的源头向外扩散的两个集中排放羽流。
理清复杂的排放。通过分析空间上下文,MAPL-EMIT 同时划分出多个相互重叠的甲烷羽流的确切形状,并确定各自的源头位置(以 X 标记),即使在密集的工业区也是如此。

从数百万个模拟羽流中学习

基于 Transformer 的模型需要海量数据来学习,但包含数百万个真实甲烷排放的全球带标注数据集根本不存在。为了解决这一问题,我们开发了一个基于物理的模拟框架。我们创建了 360 万个合成甲烷羽流,并将它们直接注入真实的 EMIT 场景。通过使用拉格朗日烟团模型(模拟粒子如何在空气中移动和扩散),我们得以重现真实气体排放那种混乱、湍流的状态。在这些高度逼真的模拟数据上训练,让 MAPL-EMIT 学会了在各种各样的大气和地理条件下发现甲烷。这种合成训练方法带来了几个关键优势:

  • 不同的排放速率:模型学会了同时识别大规模泄漏和较小的间歇性排放。
  • 羽流多样性:它能够在大量不同的地形和大气条件下看到羽流,从而获得更好的泛化能力。
  • 羽流源估计与重叠羽流:由于羽流是我们合成生成的,我们可以训练模型估计源位置并划分重叠的羽流。

▶ https://storage.googleapis.com/gweb-research2023-media/media/MAPL-EMIT-4.mp4

播放 静音循环视频 暂停 静音循环视频

取消静音 视频 静音 视频

用合成现实来训练。由于并不存在数百万个带标注的真实甲烷羽流,我们把基于物理的模拟羽流(代表不同的排放速率和湍流大气条件)直接注入真实的 EMIT 高光谱场景,以此训练模型。

在真实世界中释放前所未有的灵敏度

部署到真实卫星数据上,MAPL-EMIT 展现出可规模化排放测绘的强大潜力。以 NASA 的黄金标准 L2B 甲烷羽流数据集为基准测试,该模型捕获了 84% 的专家标注羽流,并在约 1100 个 EMIT 数据粒(granule)中多识别出约 50% 的合理羽流,展示了它从背景噪声中分离微弱信号的能力。更多细节请参阅论文。

这种更高的灵敏度也使 MAPL-EMIT 能够可靠地捕捉较弱的排放,提升了当前的探测极限。该模型在复杂环境中也表现出稳健性,成功绘制了全球排放量最高的 25 个垃圾填埋场中 24 个的羽流。

与许多高灵敏度模型一样,误报仍是一个持续存在的挑战,在复杂地形中尤其如此。为缓解这一问题,输出结果附有基于物理的羽流置信度(光谱拟合)评分,该评分依据跨步推理(strided inference)中的检测次数评估,并结合其他多项属性进行评价,使用户可以自行筛选,并在捕获真实羽流的能力与误报风险之间权衡取舍。不过这并不总是那么简单,所以我们还会根据这些属性给每个羽流标注“较低”或“较高”置信度,让用户可以直接使用这些数据。

▶ https://storage.googleapis.com/gweb-research2023-media/media/MAPL-EMIT-5.mp4

播放 静音循环视频 暂停 静音循环视频

取消静音 视频 静音 视频

追踪长期持续的排放。一段 MAPL-EMIT 甲烷探测的时间序列,成功捕捉到源自约旦安曼一处大型垃圾填埋场的羽流,展示了该模型在复杂环境中的高灵敏度和稳健性。

为甲烷减排打下稳固基础

MAPL-EMIT 展示了一次强有力的合作,将 Google 的机器学习专长与 NASA JPL 合作方的领域知识结合在一起。我们共同在设施尺度上充分挖掘天基甲烷观测的潜力,为全球社区提供在减少温室气体排放方面采取有意义行动所需的工具。

通过扩展我们在整个 EMIT 数据目录上探测羽流的能力,MAPL-EMIT 为当地利益相关方、研究人员、政策制定者和各行业提供了一个强大的新工具,使他们能比以往更快地识别甲烷排放。随着 NASA 准备发射下一代成像光谱仪,其覆盖范围将提升 30 至 50 倍,稳健的自动化技术比以往任何时候都更加重要。我们邀请更广泛的科学界探索我们新发布的 Earth Engine 上的全球羽流数据库以及用于交互式可视化的 Earth Engine App,从 Kaggle 下载训练好的模型和合成羽流,并访问我们在 Github 上的推理库。我们希望这些数据能为推动有针对性的减排打下稳固基础,让我们都离实现全球气候目标更近一步。

致谢

我们要感谢 Google 和 NASA JPL 中开展这项工作并使发布成为可能的各位同仁,包括(按字母顺序):Alex Wilson, Anna M. Michalak , Varun Gulshan, Philip G. Brodrick, Andrew K. Thorpe, Christopher V. Arsdale, Burak Ekim, Carl Elkin, Tal Geller, Omry Gillon, Nita Goyal, Mansi Kansal, Roy Nadler, John Platt, Sergei Shames, Bijoy Shetty, Aaron Sonabend, Deepika Sukhija, Shahar Timnat, Maxim Neumann, Anton Raichuk, Frances Reuland, Adam R. Brandt, David R. Thompson, Robert O. Green, Jay Radzinski, Vishal V. Batchu 和 Michelangelo Conserva。