Journal of Marine Sciences >

2025 , Vol. 43 >Issue 2: 39 - 46

DOI: https://doi.org/10.3969/j.issn.1001-909X.2025.02.005

Reconstruction of strip-like missing data in geostationary satellite remote sensing imagery based on convolutional neural networks

  • HE Qi , 1 ,
  • SHEN Hao 1, 2 ,
  • HAO Zengzhou , 2, * ,
  • LI Yunzhou 3, 4 ,
  • HUANG Haiqing 2
Expand
  • 1. College of Information Technology, Shanghai Ocean University, Shanghai 201306, China
  • 2. State Key Laboratory of Satellite Ocean Environment Dynamics, Second Institute of Oceanography,MNR, Hangzhou 310012, China
  • 3. Institute of Oceanographic Instrumentation, Qilu University of Technology (Shandong Academy of Sciences), Qingdao 266061, China
  • 4. Laoshan Laboratory, Qingdao 266237, China

Received date: 2024-09-24

  Revised date: 2025-05-07

  Online published: 2025-08-05

Fold

Abstract

During satellite operation, sensor malfunctions can lead to irregular strip-like missing areas in imagery, which compromises the integrity of observed information. To address this issue in geostationary satellite remote sensing imagery, a reconstruction model based on convolutional neural networks (CNN)is proposed. The model’s performance is evaluated under different combinations of temporal input data to identify the optimal configuration of consecutive temporal auxiliary data. In the auxiliary data combination, (taking the generation time of the image to be restored as the current time t), when the model takes the previous four phases (t-4, t-3, t-2, t-1)and the previous and subsequent three phases (t-3, t-2, t-1, t+1, t+2, t+3)as inputs respectively, the restoration effect is excellent and can be used for data restoration and reconstruction in real-time and delayed scenarios respectively. Compared with models that use only a single time point as auxiliary data, the proposed model utilizing multi-temporal inputs demonstrates better reconstruction results and higher accuracy. The model is also applicable to the restoration of missing information in other geostationary satellite images.

Key words： geostationary satellite; image inpainting; deep learning; multi-temporal phases; auxiliary data

Cite this article

HE Qi , SHEN Hao , HAO Zengzhou , LI Yunzhou , HUANG Haiqing . Reconstruction of strip-like missing data in geostationary satellite remote sensing imagery based on convolutional neural networks[J]. Journal of Marine Sciences, 2025 , 43(2) : 39 -46 . DOI: 10.3969/j.issn.1001-909X.2025.02.005

0 引言

静止轨道卫星(简称“静止卫星”)具有观测频次高、观测范围广以及观测时间长等优势,已成为连续监测海洋与气象变化的重要观测平台[1]。在海洋观测中,卫星搭载的红外亮温通道直接反映海表面热辐射特征,可反演得到海面温度(sea surface temperature, SST)产品[2]。然而,随着卫星进入运行后期,传感器易发生故障[3],导致其观测的遥感影像出现不规则条带状缺失[4],影响其反演信息在空间分布上的连续性,进而影响到数据产品在不同应用场景中的可靠性,例如在台风等海洋灾害的动态监测与预警等的实时观测场景以及全球海温变化趋势、重要海洋现象(如海洋锋、海洋热浪)研究等延时分析场景。因此,开展遥感影像条带状缺失修复研究是十分必要的。
遥感影像的条带状缺失修复有基于空间数据、光谱数据和时相数据三种主要方式。基于空间数据的修复是通过空间插值法,用周围像素对缺失像素进行填补,缺失区越小,修复效果越佳[5-6]。基于光谱数据的修复是利用不同波段间的相关性,通过已知光谱波段信息对某一观测波段上的缺失值进行填补[7-8],相关性越强,修复效果越佳。基于时相数据的修复主要是利用相邻时刻影像信息的相似性。如CHEN等[9]通过邻域相似像素插值(NSPI)算法对不同时间上的相似像素进行加权平均得到缺失区的像素;ZENG等[10]通过加权线性回归和拉普拉斯先验正则化(WLR+LPRM)建立缺失数据与时相数据间的线性约束关系。
卷积神经网络(CNN)、生成对抗网络(GAN)等深度学习技术,可以自动学习图像的高级特征和复杂语义信息,成为近年来图像修复任务中的主流方法[11-12]。如ZHANG等[13]通过深度卷积神经网络模型(STS-CNN)学习遥感影像在时间、空间和光谱上的相关性,实现了影像条带状缺失的修复和重建。ZHANG等[14]基于卷积神经网络对云覆盖及云阴影遥感影像进行修复,发现以多时相影像作为辅助信息时,模型修复效果好于以单时相影像为辅助信息时。STUCKER等[15]利用多时相影像,通过卷积神经网络模型对云覆盖区进行修复,相比采用单时相影像为辅助的直接插值法,该模型修复图像的平均绝对误差(MAE)降低约10%,峰值信噪比(PSNR)提升约1 dB。
本文利用静止卫星影像连续时相数据间的相关性,构建了一种基于卷积神经网络的条带状缺失数据修复算法。通过对比不同时相辅助数据情景下的模型精度,确定静止卫星遥感影像缺失修复的最佳辅助数据方案,提高其在实时观测与延时分析中应用的可靠性。

1 研究数据与方法

1.1 数据

采用中国气象卫星风云二号D星(FY-2D)2015年2月、5月和8月的红外通道(IR1,10.3~11.3 μm)亮温影像数据集,数据的空间范围为26°E—146°E,60°S—60°N(图1),观测时间分辨率为1小时。
图1 FY-2D红外通道亮温影像

Fig.1 Brightness temperature image from FY-2D infrared channel

1.2 模型数据集的构建

采用FY-2D红外亮温影像数据构建模型所需的数据集。从2月和5月影像数据集中筛选出无任何像素缺失的影像数据(观测完整图像),取其中一幅影像,以其生成时刻为当前时刻(t),判断其前、后各5个(以1小时为间隔)时刻(t-1,t-2,……,t-5,t+1,t+2,……,t+5)的影像是否完整,若完整,筛选出该时间序列影像。逐一对观测完整图像进行以上判断,直至筛选出所有的时间序列影像。从8月影像数据集中筛选出存在不规则条带状缺失的影像,并据此提取不规则条带状缺失掩膜(如图2所示)。在时间序列影像中,对当前时刻的影像添加不规则条带状缺失掩膜,作为待修复图像;将其余影像作为时相图像。最后,对观测完整图像、待修复图像、时相图像及条带缺失掩膜进行统一裁剪,裁剪窗口大小设为100×100像素,滑动步长为100像素,共获得19 800组样本。样本分别用作卷积神经网络模型的训练集(来自2月)和测试集(来自5月),比例约为8:2。
图2 不规则条带状缺失掩膜

Fig.2 Irregular strip-like missing mask

1.3 卷积神经网络模型

本研究构建了一种卷积神经网络模型(图3),以不同时相图像组合作为辅助信息,对静止卫星影像中的不规则条带状缺失进行修复。
图3 卷积神经网络模型结构

Fig.3 Structure of the convolutional neural network model

1)模型的输入输出。将t时刻的待修复图像与其相邻时刻的n(n∈[1,10])幅时相图像在通道维度(即图像的第三维)上堆叠,堆叠结果作为模型输入。将模型预测像素与条带状缺失掩膜像素(像素值为0表示未缺失,1表示缺失)进行点乘计算,得到预测图像像素(未缺失为0,缺失赋为预测值),再与待修复图像叠加,得到t时刻的修复后图像。
2)模型的网络结构。该模型基于CNND架构[16]构建编码器-解码器模型。编码器包含压缩激励模块[17]、若干3×3卷积层+ReLU激活函数和下采样-卷积层,逐步提取时相图像中利于修复的特征,在每次下采样前引入压缩激励模块,增强关键信息的感知能力,抑制干扰信息。解码器由若干3×3卷积层+ReLU激活函数、上采样-双线性插值和1×1卷积层交替堆叠而成。编码器与解码器之间的连接采用跳跃连接结构。
3)模型的训练和测试。在训练阶段,将用作训练的待修复图像与时相图像一同输入模型,以修复区预测像素和观测完整图像的真实像素间的均方误差(MSE)作为损失函数,通过损失函数最小化不断优化模型的修复性能。在测试阶段,将用作测试的待修复图像与时相图像一同输入模型,输出最终的修复结果,并对其进行评估。

1.4 时相辅助数据筛选实验

首先,将待修复图像与不同组合的时相图像(根据经验选取前1~5个时刻的影像或前、后各1~5个时刻的影像)输入模型,对不同时相图像组合下的修复图像进行精度评估,确定最优数量的时相图像组合。
接着,基于前述确定的最优时相图像组合输入模型,将其修复结果与三种采用单时相图像的修复算法进行对比:NSPI[9](邻近相似像元插值法)、WLR[10](加权线性回归)以及STS-CNN[13](时-空-谱一体化深度卷积神经网络模型)。
最后,将该模型应用于MTSAT静止卫星条带状缺失数据的修复和重建,以验证本文模型在其他静止卫星数据修复任务中的适应性。

1.5 修复效果评价

采用主观和客观两种形式对模型的修复效果进行评价。主观评价是进行直观的视觉判断,客观评价则通过亮温值的MAE和像素的PSNR两个指标进行。其中,MAE越低,PSNR越高,说明修复精度越高,具体公式如下
$\text { MAE }=\frac{1}{n} \sum_{i=1}^{n}\left|R_{i}-I_{i}\right|$
$\mathrm{MSE}=\frac{1}{n} \sum_{i=1}^{n}\left(P_{i}-Q_{i}\right)^{2}$
$\operatorname{PSNR}=10 \cdot \log _{10}\left[\frac{\left(2^{B}-1\right)^{2}}{\mathrm{MSE}}\right]$
式中:n表示修复区像素数量;Ri表示修复区第i个像素处预测亮温值;Ii表示修复区第i个像素处实测亮温值;Pi表示修复区第i个像素处的预测像素值;Qi表示修复区第i个像素处实测像素值;MSE表示像素的均方误差;B为比特数,对于静止卫星影像,B=8,表示每个像素的最大值为255。
通过修复散点密度分布图展示亮温预测值误差,并计算皮尔逊相关系数R、RMSE、MAE和标准差STD。

2 结果

2.1 不同多时相图像组合作为输入时模型的修复精度

从表1可见,输入不同时相图像组合,模型输出图像的修复精度不同。在以前1个至前5个时相图像作为模型输入的组合中,以前4个时相图像为输入时,模型的修复精度最高,MAE和PSNR分别为0.728 K和44.181 dB;在以前、后的各1个至各5个时相图像作为模型输入的组合中,以前、后各3个时相图像为输入的修复精度最高,MAE和PSNR分别为0.695 K和44.470 dB。
表1 以不同的时相图像组合作为模型输入时的图像修复精度评价

Tab.1 Evaluation of image reconstruction accuracy using different combinations of temporal inputs

模型输入(时相图像组合) MAE/K PSNR/dB
前1个时相 0.827 43.777
前2个时相 0.879 43.634
前3个时相 0.791 43.962
前4个时相 0.728 44.181
前5个时相 0.776 44.030
前、后各1个时相 0.871 43.728
前、后各2个时相 0.725 44.324
前、后各3个时相 0.695 44.470
前、后各4个时相 0.753 44.154
前、后各5个时相 0.795 44.023
因此,采用前4个时相图像作为输入时,模型可用于实时观测场景中的数据修复;采用前、后各3个时相图像作为输入时,模型可用于延时分析场景中的数据修复。

2.2 单/多时相图像为辅助的修复效果对比

分别比较了以单时相图像为辅助的NSPI、WLR、STS-CNN模型与本文模型的修复效果,均以2015年5月5日12时31分的IR1单波段图像作为修复对象,将图像分成无云陆地区、无云海洋区和云区三类,分别进行修复效果评估。
从图4可见,采用本文模型修复的图像在视觉效果上均与真实图像接近,而在与其对比的3种模型修复图像中,STS-CNN修复的图像在晴空区域出现轻微的修复痕迹,NSPI和WLR修复的图像在云边缘出现不自然的过渡。
图4 不同模型修复的图像

Fig.4 Reconstructed images from different models

相较于NSPI、WLR和STS-CNN模型,本文模型在三种类型图像的分类上大多表现出更高的修复精度(表2)。采用前4个时相图像进行修复时,无云海洋区的MAE为0.584 K,云区的为1.118 K,具有最高的修复精度,但无云陆地区的MAE为0.882 K,相较其他3种模型精度较低;采用前、后各3个时相图像作为模型输入时,修复图像的MAE在无云陆地区为0.474 K,在无云海洋区为0.555 K,在云区为1.077 K,具有最高的修复精度。本文模型在红外亮温通道下对无云海洋区的条带状缺失修复效果显著,有效提升了后续海面温度产品的空间连续性。
表2 不同模型的修复精度

Tab.2 Reconstruction accuracy of different models

模型 无云陆地区 无云海洋区 云区
MAE/K PSNR/ dB MAE/K PSNR/dB MAE/K PSNR/dB
NSPI 0.682 43.095 1.062 39.641 1.941 35.662
WLR 0.674 43.682 0.920 41.299 1.705 37.209
STS-CNN 0.698 44.475 0.831 43.974 1.490 39.413
本文模型(采用前4个时相图像作为模型输入) 0.882 43.158 0.584 45.493 1.118 41.129
本文模型(采用前、后各3个时相图像作为模型输入) 0.474 47.391 0.555 45.662 1.077 41.535
由图5可见,相比其他3种模型,本文模型修复图像的亮温值与真实图像的亮温值更接近。NSPI、WLR和STS-CNN模型的MAE在1.113 ~ 1.434 K之间,RMSE为1.698~2.667 K,而本文模型的MAE分别为0.779 K和0.821 K,RMSE分别为1.350 K和1.411 K;NSPI、WLR和STS-CNN模型的STD在1.540~2.641 K之间,而本文模型的STD分别为1.345 K和1.408 K,离散程度较低。
图5 亮温散点密度分布

Fig.5 Distribution of brightness temperature scatter density

2.3 本文模型在其他静止卫星数据修复中的适应性

为验证本文模型对其他静止卫星数据修复的适应性,选取MTSAT静止卫星2015年5月31日18时32分的IR1单波段图像作为修复对象,采用本文模型进行修复,并对修复效果进行评价。在图像上分别截取出无云区和云区,叠加不规则条带状缺失掩膜(图6)。由于之前实验结果中无云陆地区和无云海洋区的修复精度接近,因此将二者合并为无云区。
图6 在MTSAT数据上添加不规则条带状缺失示意图

Fig.6 Schematics of irregular strip-like missing mask added to MTSAT data

从表3可见,本文模型对MTSAT静止卫星数据的修复精度高,当模型输入的数据采用前4个时相图像时,修复图像在无云区的MAE为0.427 K,在云区的MAE为0.880 K;当模型输入的数据采用前、后各3个时相图像时,修复图像在无云区的MAE为0.416 K,在云区的MAE为0.877 K。可见,本文模型对MTSAT静止卫星数据的修复同样具有良好的适应性。
表3 本文模型对MTSAT数据修复的精度

Tab.3 Reconstruction accuracy of the proposed model on MTSAT data

模型输入 无云区 云区
MAE/K PSNR/dB MAE/K PSNR/dB
前4个时相图像 0.427 48.579 0.880 42.437
前、后各3个时相图像 0.416 48.645 0.877 42.761

3 结论

针对静止卫星影像的条带状缺失,本文构建了基于卷积神经网络的数据修复模型,通过缺失数据和多时相辅助数据间的相关性,实现对条带状缺失数据的修复和重建,对比不同输入数据组合下模型修复图像的精度,确定时相辅助数据的最佳组合,为卫星图像数据在实时、延时应用场景中的修复提供参考。研究主要结论如下。
1)在采用前1个~前5个时相图像为输入的组合中,采用前4个时相图像时,修复图像的PSNR为44.181 dB,模型可用于实时观测场景下的数据修复;在采用前、后各1个~各5个时相图像为输入的组合中,采用前、后各3个时相图像时,修复图像的PSNR为44.470 dB,可用于延时分析场景下的数据修复。
2)本文模型对无云陆地、无云海洋和云区的条带状缺失均展现出较高的修复效果,修复后的图像有助于提升后续海面温度产品的空间连续性。相较于采用单时相图像为辅助的NSPI、WLR、STS-CNN模型,采用多时相为辅助的本文模型,修复图像的精度更高。
3)本文模型对其他不同静止卫星(如MTSAT)的条带状缺失数据修复同样具有适应性。

References

Publishing order | Descend order by publishing year | Descend order by cited within
[1]
杨航, 王素娟, 刘铭坤, 等. FY-3C/VIRR西北太平洋区域海表温度精度评估[J]. 中国海洋大学学报, 2020, 50(12): 151-159.

YANG H, WANG S J, LIU M K, et al. Evaluation of sea surface temperature from FY-3C/VIRR observations in the Northwest Pacific[J]. Periodical of Ocean University of China, 2020, 50(12): 151-159.

[2]
宋晚郊, 张鹏, 孙凌, 等. 基于DINEOF 的风云极轨气象卫星海表温度重构方法研究[J]. 海洋学研究, 2022, 40(2): 10-18.

SONG W J, ZHANG P, SUN L, et al. Reconstruction of sea surface temperature from DINEOF-based FY polar-orbiting meteorological satellite[J]. Journal of Marine Sciences, 2022, 40(2): 10-18.

DOI

[3]
李宁, 季辰, 程亮, 等. 遥感影像缺失重建方法对比与时间序列合成[J]. 现代测绘, 2019, 42(5):22-27.

LI N, JI C, CHENG L, et al. The methods comparison of remote sensing image missing reconstruction and time series image synthesis[J]. Modern Surveying and Mapping, 2019, 42(5): 22-27.

[4]
薛兴盛, 吴艳兰. 面向风云静止卫星地表温度产品的缺失数据修复方法对比[J]. 安徽农业大学学报, 2017, 44(2):308-315.

XUE X S, WU Y L. A comparison of missing data reconstruction methods for Feng Yun geostationary satellite land surface temperature products[J]. Journal of Anhui Agricultural University, 2017, 44(2): 308-315.

[5]
张鹏, 刘勇. MOD09A1数据产品中缺失条带的插补方法[J]. 遥感技术与应用, 2015, 30(2):331-336.

DOI

ZHANG P, LIU Y. An interpolation method for stripe missing in the product MOD09A1[J]. Remote Sensing Technology and Application, 2015, 30(2): 331-336.

[6]
陈彦军, 张玉红. 无参考图条件下的Landsat-7 SLC-off图像缺失像素填充算法研究[J]. 地理科学, 2021, 41(7):1276-1284.

DOI

CHEN Y J, ZHANG Y H. Filling algorithm for missing pixels in Landsat-7 SLC-off images using no reference images[J]. Scientia Geographica Sinica, 2021, 41(7): 1276-1284.

DOI

[7]
WANG L L, QU J J, XIONG X X, et al. A new method for retrieving band 6 of Aqua MODIS[J]. IEEE Geoscience and Remote Sensing Letters, 2006, 3(2): 267-270.

[8]
SHEN H F, ZENG C, ZHANG L P. Recovering reflectance of AQUA MODIS band 6 based on within-class local fitting[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2011, 4(1): 185-192.

[9]
CHEN J, ZHU X L, VOGELMANN J E, et al. A simple and effective method for filling gaps in Landsat ETM+ SLC-off images[J]. Remote Sensing of Environment, 2011, 115(4): 1053-1064.

[10]
ZENG C, SHEN H F, ZHANG L P. Recovering missing pixels for Landsat ETM+ SLC-off imagery using multi-temporal regression analysis and a regularization method[J]. Remote Sensing of Environment, 2013, 131: 182-194.

[11]
吕建峰, 邵立珍, 雷雪梅. 基于深度神经网络的图像修复算法综述[J]. 计算机工程与应用, 2023, 59(20):1-12.

DOI

LÜ J F, SHAO L Z, LEI X M. Image inpainting algorithm based on deep neural networks[J]. Computer Engineering and Applications, 2023, 59(20): 1-12.

DOI

[12]
彭进业, 余喆, 屈书毅, 等. 基于深度学习的图像修复方法研究综述[J]. 西北大学学报:自然科学版, 2023, 53(6):943-963.

PENG J Y, YU Z, QU S Y, et al. Asurvey of image inpainting methods based on deep learning[J]. Journal of Northwest University: Natural Science Edition, 2023, 53(6): 943-963.

[13]
ZHANG Q, YUAN Q Q, ZENG C, et al. Missing data reconstruction in remote sensing image with a unified spatial-temporal-spectral deep convolutional neural network[J]. IEEE Transactions on Geoscience and Remote Sensing, 2018, 56(8): 4274-4288.

[14]
ZHANG Q, YUAN Q Q, LI J, et al. Thick cloud and cloud shadow removal in multitemporal imagery using progressively spatio-temporal patch group deep learning[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2020, 162: 148-160.

[15]
STUCKER C, GARNOT V S F, SCHINDLER K. U-TILISE: A sequence-to-sequence model for cloud removal in optical satellite time series[J]. IEEE Transactions on Geoscience and Remote Sensing, 2023, 61: 5408716.

[16]
GUO S, YAN Z F, ZHANG K, et al. Toward convolutional blind denoising of real photographs[C]// 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach, CA, USA, 2019: 1712-1722.

[17]
HU J, SHEN L, SUN G. Squeeze-and-Excitation networks[C]// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, UT, USA, 2018: 7132-7141.

Options
Outlines

/

〈 〉