Pansharpening approach via two-stream detail injection based on relativistic generative adversarial networks

（基于相对论生成对抗网络的双流细节注入全色锐化方法）
全色锐化技术的目标是从低空间分辨率的多光谱图像（MS）和高空间分辨率的单波段全色图像（PAN）重建高分辨率的光谱图像（HRMS）。由于这种技术的功效依赖于其增强MS图像的空间信息同时保存其光谱特征的能力，本文提出了一种有效的细节注入生成式对抗网络DI-GAN，用于遥感图像的全色锐化。DI-GAN采用深度双流卷积神经网络（CNN）生成器模型来联合PAN图像上可用的空间信息和属于MS图像的光谱特性，以便预测要准确注入到MS图像中的高频细节，从而重建期望的HRMS。特别提出了一个原始的损失函数，以鼓励网络只预测高频细节。DI-GAN并行结合了一个相对论鉴别器，使全色锐化的结果更加逼真。

介绍

由于与信噪比相对应的物理限制，具有高空间分辨率（HRMS）的多光谱图像的采集当前是不实际的。因此，作为一种替代解决办法，GeoEye1、QuickBird和WorldView等大多数遥感光学卫星提供两种具有不同和互补的空间和光谱特性的图像：全色（PAN）图像和多光谱（MS）图像。PAN图像是在单个宽波长带宽上以最大空间分辨率捕获的，因此产生具有不足光谱质量的高空间分辨率。相反，MS图像在不同的多个窄带宽上被捕获，具有高达八个波段的高光谱分辨率，但是空间质量较低。因此，为了克服采集系统带来的物理限制，研究人员提出了一种图像融合技术，称为全色锐化，通过结合MS和PAN图像的最佳特征，提供单一的高空间和光谱产品。商业公司（如Google Earth和Bing Maps）对全色锐化图像的需求不断增加，这些公司需要高分辨率测绘产品。此外，由于全色锐化是许多遥感任务（例如变化检测）中增强卫星图像的一个必要的预处理步骤，因此受到了遥感和图像处理界的极大关注，场景解读），以及图像分类，其需要HRMS来检测小物体和表面并监视它们的时间变化。
在过去的几十年里，涉及全色锐化的文章数量显著增加。一般而言，大多数拟议技术可分为五大类：组件替换（CS）、多分辨率分析（MRA）、基于CS和MRA的混合技术、基于模型的技术和基于深度学习的方法。MRA类别提供了高光谱保真度，但可能产生严重的空间失真。相反，CS类别提供了相反的特性，因为其产品具有高的空间细节，但光谱特征可能会受到显著干扰。另一个常用类别涉及基于模型的方法，其相对于CS和MRA类别实现了增强的融合性能。然而，由于超参数和先验知识的数量巨大，这种分类需要很高的计算时间，这使得优化过程非常复杂。由于计算机硬件的显著发展，深度学习在许多应用中取得了相当大的成功，已经引起了一些计算机视觉社区的关注。由于该技术的高性能，研究人员开发了几种基于深度学习的全色锐化方法，特别是卷积神经网络（CNNs）。受CNN处理超分辨率任务的能力的启发，特别是超分辨率CNN（SR-CNN），Masi等人引入了第一个基于CNN的全色锐化方法，称为PNN（用于全色锐化神经网络），相对于最先进的方法，该方法实现了增强的融合质量。Wei、Yuan、Shen和Zhang等人尝试通过利用深度神经网络的能力来提高融合质量，开发了深度残差全色锐化CNN（DRPNN），旨在学习从原始MS到HRMS的非线性映射，Wei等人开发了深度残差全色锐化CNN（DRPNN），旨在学习从原始MS到HRMS的非线性映射。与PNN相比，DRPNN获得了非常有竞争力的结果。在过去的几年中，生成式对抗网络（GANs）在各种计算机视觉任务上取得了巨大的成绩，这引起了深度学习社区的极大关注。（对GAN的表述：略）
为了提高全色锐化图像的空间质量，在保留光谱信息的同时，生成更逼真的高分辨率遥感图像，提出了一种基于GAN的端到端双流全色锐化细节注入技术—>全色锐化细节注入GAN（Pansharpening Detail Injection GAN，DI-GAN）。为了生成高空间质量的全色锐化图像，双流生成器网络根据从MS和PAN图像提取的特征来学习需要注入到MS图像中的高频细节。同时，提出了一种相对论平均鉴别器，使泛锐化结果更加逼真。

贡献

1）与直接预测HRMS不同，所提出的方法集中在从可用的低分辨率MS图像中找到缺失的高分辨率细节。由于保留了MS图像的光谱特征，该策略导致更好的光谱质量，同时增强了融合过程中的空间质量。
2）与将MS和PAN图像连接为受SR任务影响的单输入单输出（SISO）的一些基于CNN的方法不同，发生器网络通过两个相同的网络采用双流架构，分别用于MS和PAN图像。多输入单输出（MISO）体系结构更好地利用了两个采集图像的规范。因此，它可以导致更自适应的特征提取，并因此导致更好的融合质量。
3）总体而言，GANs提供了一种新的概念来处理全色锐化任务，因为它们在训练过程中包含了一种注重融合结果真实感方面的机制，相对于现有技术，尤其是在视觉检测方面，GANs产生了更好的融合性能。然而，由于大多数基于GAN的技术是受SR任务的启发，它们直接估计期望的融合图像，这可能负面地影响MS图像的光谱特征。对于本文所提出的方法，它仅估计需要注入到MS图像中的高频细节，这保留了MS图像的低频信息，因此，在融合结果中仔细地保留了光谱特征。此外，GAN的生成行为通过利用相对论平均鉴别器而不是标准鉴别器。前者提供了更逼真的图像，因为它预测了输入图像比假图像相对更逼真的概率。
4）该方法利用GAN的对抗性学习原理，通过一个有效的损失函数，仅对缺失的高频细节进行预测。因此，所提出的损耗包括惩罚不期望的低频信息的新项，这又引导发生器网络估计更合适的高频细节。该过程保证了产生富含空间和光谱信息的全色锐化图像，此外由于对抗学习而更加逼真。

相关工作

对于一些传统方法和基础GAN的表述：略

后来，相对论平均GAN（Relativistic average GAN (RaGAN)）被开发出来，通过修改鉴别器学习目的来加强生成性能。更准确地说，相对论平均鉴别器**旨在预测给定真实的数据平均起来比生成的假数据相对更真实的概率，**而不是在标准GAN的情况下预测数据是真实还是假。最近，Wang等人成功引入了一种基于超分辨率技术的RaGAN，称为Esrgan（增强型超分辨率生成对抗网络），其性能优于最先进的方法。特别是基于标准GAN的网络。

背景

Detail injection scheme

设𝑀∈ R（𝐻×𝑊×𝑐）R^{（𝐻×𝑊 ×𝑐）}R（H×W×c）为低分辨率通道的MS图像𝑐，每个波段的大小为𝐻×𝑊，𝑃∈ R（𝐻×4）×（𝑊×4）R^{（𝐻×4）×（𝑊×4）}R（H×4）×（W×4）为高分辨率的PAN图像，每个波段的大小为（𝐻×4）×（𝑊×4）。通常，大多数全色锐化技术需要上采样𝑀到的相同空间分辨率𝑃，以在融合过程之前生成𝑀∧。事实上，一个典型的高分辨率质谱图像（𝑀∧）可以分为低频和高频分量。假设𝑀∨构成的低通滤波版本𝑀∧，其仅包括低频分量，则全色锐化过程可被表示为细节注入方案，如下所示：
其中𝐼_𝐷，表示需要注入到𝑀∨中的高频细节，𝑘表示波段的索引。注入操作产生所需的全色锐化图像𝑀∧。基于这一假设，MRA类别旨在从𝑃中提取高频细节（𝐼_𝐷），计算𝑃与其低通滤波版本（𝑃_𝐿）之间的残差。𝑃_𝐿 可以通过几个MRA模型如拉普拉斯金字塔和自适应小波变换来估计。一般而言，最基于MRA的技术可以表述为：
基于MRA的技术的主要目的是在不影响光谱特征的情况下进一步改善空间内容，这产生了高光谱保真度。因此，融合图像是通过注入缺失信息而获得的，在很大程度上，缺失信息是通过包含𝑀∨和𝑃来计算的。基于MRA的技术之间的关键区别在于用于定义图像𝑃_𝐿和注入增益{𝑔_𝑘}~𝑘 ∈1，…，𝑐~。相反，根据Vivone等人提出的，CS类别将强度分量（𝐼𝑐）视为的低通滤波版本𝑃。因此，这一组可以用类似的公式表示;其中𝐼𝑐表示通过应用适当的CS模态获得的强度分量。因此，从Eqs.(2)以及（3）MRA和CS类别可以统一为单个注射方案。Eq.(1)在我们的发展中会被考虑。换句话说，Eq.(1)中的方法通过注入高频细节而不降低频谱特征来遵循MRA类别，同时与CS类别一样好地增强空间质量。

方法

全色锐化任务的主要目的是从MS图像（𝑀）和高空间分辨率PAN（𝑃）预测HRMS。全色锐化方法的有效性依赖于其增强的空间内容𝑀同时保持其光谱信息的能力。我们根据细节注入方案中所提出的技术以其高光谱保真度为特征，旨在增强MS图像的空间信息，同时保持光谱特征。这一过程只能通过将缺失的高分辨率细节注入MS谱带来完成。提出了一种新的双流细节注入生成式对抗网络（DI-GAN）。DI-GAN由三个基本部分组成：生成器（G）和相对论平均鉴别器（D_𝑅𝑎），以及有效的条件损失函数。G是非常深的残差CNN，其目的在于估计需要从𝑀和𝑃注入MS图像中的缺失的残差高频细节（𝐼_𝐷）以便重建高分辨率全色锐化图像。由于D的对抗性学习，D_𝑅𝑎被应用于鼓励全色锐化图像（由G产生）更加真实。受细节注入机制的启发，该技术通过只向MS图像中注入所需的高频细节来提高MS图像的空间分辨率，从而保持MS图像的光谱信息。结果，MS图像的低频信息上可用的光谱内容几乎保持不受影响。
（题外话：本质上还是基于CS，把PAN空间信息给MS）

由于缺乏目标HRMS，因此按照Wald协议在缩小规模下执行训练，以执行监督学习。并且𝑀和𝑃分别被以𝑀 ↓和𝑃↓表示的它们的降级版本替换，因子为4。通过应用模拟传感器点扩散函数（PSF）的低通线性高斯滤波器来获得图像的退化版本，其在MS和PAN传感器的图像上引入模糊效应；然后，𝑀↓被上采样到与𝑃↓相同的大小以获得𝑀∨↓，而在这种情况下原始MS（𝑀）被作为目标。将G获得的细节注入到𝑀∨↓中产生了所需的融合图像，记为𝑀∧↓。图2示出了所提出的技术的总体框架。

Relativistic average discriminator

代替使用标准鉴别器，其目的仅在于区分输入图像是真是假，不能保证最佳的真实感质量，为了提高GAN的生成式融合性能，我们采用了相对论平均鉴别器（D_𝑅𝑎）。D𝑅𝑎量化了真实的图像（𝑀）比随机抽样的伪图像（𝑀∧↓）平均相对更真实的概率。换句话说，它学会估计真实的图像比假图像更真实的概率，同时，假图像比真实图像更不真实。这个过程可以通过对称地最小化鉴别器的损失函数和发生器的对抗损失来实现。定义如下：
其中𝜎表示Sigmoid激活函数，C（𝑥）表示输入的鉴别器输出𝑥。D_𝑅𝑎的对抗学习允许生成器从生成的伪图像（𝑀∧↓）和真实的多光谱图像（𝑀）的梯度中获益，而在PSGAN，仅涉及生成的假的。
D_𝑅𝑎结构由核3 × 3的8个连续卷积组成，通过加倍增加滤波器的数量，随后是LeakyReLU。应用步长2对特征映射进行下采样，而不是最大池化。最后一个卷积层之后是2个密集层，最后一个层中是Sigmoid激活函数。D_𝑅𝑎的体系结构如图3所示。

Detail injection two-stream generator

G网络的最终目标是合成尽可能接近真实的MS图像的全色锐化结果。为此，G被定义为一个新的两流结构网络，它学习从𝑀∨↓中缺失的细节，𝑀∨↓是计算𝑀和𝑀∨↓之间的残差。该策略不仅可以提高全色锐化产品的空间质量，而且由于只允许高频细节被注入到全色锐化结果𝑀∨↓中，因此可以减少光谱失真。
受Kim等人的启发，G网络的架构如图4所示。它包括三个步骤。
首先，假设𝑀∨↓和𝑃 ↓包含两种不同的互补信息，前者具有丰富的光谱分辨率，而后者具有丰富的空间分辨率，利用两个相同的由两个卷积组成的浅网络分别提取𝑀∨↓和 𝑃↓的光谱和空间特征。然后，通过由10个连续卷积组成的深层子网络从后面的特征的级联中提取深层特征，随后是LeakyRelu激活函数。由于自然图像中高频结构的数量与低频结构相比太少，因此不应用跳跃连接操作。最后，由于目标高频细节包括正像素和负像素，因此在不使用激活函数的情况下执行最后的卷积。最后一层重建细节（𝐼𝐷）需要在𝑀∨↓像素级别注入。这些细节被添加到𝑀∨↓中，以产生最终的全色锐化产品𝑀∧↓，其特征在于高的空间和光谱分辨率。

由于适当损失函数的选择可以极大地影响期望全色锐化产品的质量，因此采用有效损失函数，其允许G经由对抗损失函数产生更逼真的全色锐化图像，同时经由范数𝐿₂损失函数使后者的图像尽可能接近地面真实图像。因此，生成器总损耗函数包括两个不同的部分，并可表述如下：

𝐿2测量由G重构的𝑀∧↓和参考𝑀之间的2-范数距离以及预测细节的低频部分的2-范数，以迫使它们处于高频。其定义如下
表示G的低频分量（𝑀∨↓，𝑃↓）。它被包括在损失函数中，以补偿在估计不期望的低频信息时所经历的误差。后者鼓励生成器网络仅预测高频图像，并进而导致更好的频谱特征保留。请注意，𝐿₁和𝐿₂广泛用于超分辨率和全色锐化任务。然而，𝐿₂提供了用于捕获残留细节的更强的鲁棒性，这使得它更适合我们的方法。