海洋学研究 >

2024 , Vol. 42 >Issue 3: 119 - 130

DOI: https://doi.org/10.3969/j.issn.1001-909X.2024.03.010

研究论文

基于深度学习和Sentinel-1卫星影像的北极海冰分类精度和影响因素

  • 邵志远 , 1, 2, 3 ,
  • 赵杰臣 , 1, 2, 4, * ,
  • 解龙翔 1, 2, 3 ,
  • 牟芳如 1, 2 ,
  • 肖静 1, 2 ,
  • 刘敏君 1, 2 ,
  • 陈雪婧 1, 2
展开
  • 1.哈尔滨工程大学 青岛创新发展基地,山东 青岛 266000
  • 2.青岛哈尔滨工程大学创新发展中心,山东 青岛 266000
  • 3.宁波上航测绘股份有限公司,浙江 宁波 315200
  • 4.哈尔滨工程大学 极地海洋声学与技术应用教育部重点实验室,黑龙江 哈尔滨 150001
*赵杰臣(1984—),男,副教授,主要从事极地海冰观测和数值预报研究,E-mail:。

邵志远(1998—),男,江苏省灌南县人,主要从事极地遥感研究,E-mail:。

收稿日期: 2023-10-08

  修回日期: 2024-04-17

  网络出版日期: 2024-11-25

基金资助

哈尔滨工程大学青年科学家培育基金项目(79000012/006)

山东省泰山学者工程资助项目(2023)

收起

Classification accuracy and influencing factors of Arctic sea ice based on deep learning and Sentinel-1 satellite imagery

  • SHAO Zhiyuan , 1, 2, 3 ,
  • ZHAO Jiechen , 1, 2, 4, * ,
  • XIE Longxiang 1, 2, 3 ,
  • MU Fangru 1, 2 ,
  • XIAO Jing 1, 2 ,
  • LIU Minjun 1, 2 ,
  • CHEN Xuejing 1, 2
Expand
  • 1. Qingdao Innovation and Development Base of Harbin Engineering University, Qingdao 266000, China
  • 2. Qingdao Innovation and Development Center of Harbin Engineering University, Qingdao 266000, China
  • 3. Ningbo Shanghang Surveying and Mapping Co. Ltd., Ningbo 315200, China
  • 4. Key Laboratory for Polar Acoustics and Application of Ministry of Education of Harbin Engineering University, Harbin 150001, China

Received date: 2023-10-08

  Revised date: 2024-04-17

  Online published: 2024-11-25

Fold

摘要

海冰类型是极地海冰的重要属性之一,多年冰的物理性质较一年冰有着显著差异,因此识别海冰类型对极地气候变化研究和冰区船舶航行保障意义重大。卫星遥感是获取多时序、大范围海冰信息的有效手段。该文以北极西北航道和东北航道为研究区域,基于3个深度学习模型(ResNet、Vision Transformer、Swin Transformer)对Sentinel-1卫星双极化合成孔径雷达影像进行海冰分类研究。 结果表明,8×8像素切片数据集的海冰分类效果优于其他尺寸切片数据集;对假彩色合成图像进行偏移量处理能够有效地减少噪声对海冰分类的影响;在3个深度学习模型中,Swin Transformer模型分类精度最高,整体准确率和Kappa系数均在98%以上。比较多年冰密集度数据发现,3个模型的结果与AMSR2的偏差均小于10%。

关键词： 人工智能; 神经网络; Swin Transformer; 海冰分类; 多年冰; 北极航道; 合同孔径雷达

本文引用格式

邵志远 , 赵杰臣 , 解龙翔 , 牟芳如 , 肖静 , 刘敏君 , 陈雪婧 . 基于深度学习和Sentinel-1卫星影像的北极海冰分类精度和影响因素[J]. 海洋学研究, 2024 , 42(3) : 119 -130 . DOI: 10.3969/j.issn.1001-909X.2024.03.010

Abstract

The type of sea ice is one of the important attributes of polar sea ice, and the physical properties of multi-year ice are significantly different from those of first-year ice. Therefore, the identifying the types of sea ice is of great significance to the research of polar climate change and the navigation security of ships in ice-covered regions. Satellite remote sensing is an effective method to obtain multi-temporal and large-scale sea ice type information. Based on three deep learning models (ResNet, Vision Transformer, Swin Transformer) and Sentinel-1 satellite dual-polarization synthetic aperture radar (SAR) images, this paper studies the classification method for sea ice in the regions of the Northwest and Northeast Passage in the Arctic. The results showed that the sea ice classification effect of 8×8 pixel slice dataset was better than that of other size slice datasets. Offset processing false color images could effectively reduce the influence of noise on sea ice classification. Among the three deep learning models, the Swin Transformer model had the highest classification accuracy, with the overall accuracy and Kappa coefficient above 98%. Comparing the multi-year ice concentration, it was found that the results of the three models deviate less than 10% from the AMSR2 data.

Key words： artificial intelligence(AI); neural network; Swin Transformer; sea ice classification; multi-year ice; Arctic Passage; synthetic aperture radar(SAR)

0 引言

海冰覆盖地球4%~6%的面积,其中大部分位于南、北极区域。与海水相比,海冰具有较高的表面反照率,即能够反射大部分的太阳辐射,影响局地的能量平衡;同时,作为大气-海洋之间动量和气体交换的屏障,海冰的稳态有利于维持极地地区的冷源状态,进而对全球气候变化产生重要影响[1-2]。在全球气候变化背景下,北极海冰面积正不断减小,厚度持续变薄,影响着北极气候系统和生态系统[3⇓-5]。因此,开展北极海冰的分类研究具有重要的科学意义。
随着大数据的发展,传统的海冰分类算法过于依赖人为设定的规则和特征提取,比如阈值法、专家系统、支持向量机、随机森林等方法,已经不能满足当下更加快速、准确识别海冰的需求[6]。深度学习以多层神经网络为基础,对图像的特征进行训练和学习[7],其高精度的分类效果受到了各个领域学者的广泛关注[8-9]。因此,本文在海冰分类研究中引入深度学习模型,以期提高在复杂噪声背景下海冰类型识别的准确率。
目前,基于深度学习的海冰分类、识别研究,以卷积神经网络和循环神经网络为主。针对海冰现场实测数据不易获取的问题,相关的研究有:崔艳荣[10]以冰蛋图作为参考标准,基于残差卷积网络识别海冰类型;KHALEGHIAN等[11]基于半监督学习方法和卷积神经网络降低了对实测数据的依赖;王芳[12]基于全卷积神经网络对北冰洋的海冰时序迁移能力进行评估。为了进一步提高海冰分类的精度,HAN等[13]和张赛等[14]通过卷积神经网络和异构数据的特征级融合实现了海冰图像的分类;李金鑫[15]通过改变切片大小提高了卷积神经网络对海冰的识别能力;HAN等[16-17]基于卷积神经网络与其他模块的融合,提高了海冰分类的准确率。循环神经网络主要基于时间序列海冰数据来预测海冰的发展态势。如:PETROU等[18]和焦艳等[19]基于长短期记忆(long short-term memory, LSTM)网络来预测海冰运动状态;LIU等[20]、ZHENG等[21]以及WEI等[22]基于北极的时空特征和LSTM模型来预测海冰密集度变化;李明慧[23]基于残差网络模型和LSTM网络提取海冰的时空维度特征;葛梦滢等[24]将SE-ConvLSTM网络模型(squeeze-and-excitation convolutional LSTM network)用于海冰分类,发现该方法可以有效地捕获海冰相邻运动向量的空间相关性。
随着Transformer模型及其变体在图像识别、目标监测等领域展现出优于卷积神经网络和循环神经网络的性能[25],它们也开始被应用于海冰图像的识别和分类[26⇓⇓-29]。Swin Transformer是Transformer模型的一种变体[30],与Transformer相比,Swin Transformer模型在图像细节和边缘检测方面表现更加优异,其高效的计算性能、可扩展的结构设计,使其能够得到更广泛的应用[31⇓-33]。例如,Swin Transformer已经被应用在海冰融池提取[28]和冰架前沿变化监测[29]中,但在海冰类型识别方面尚未取得良好效果。
本文基于北极东北、西北航道的Sentinel-1影像和深度学习模型开展海冰分类研究。首先通过SNAP软件进行数据预处理,减小Sentinel-1高分辨率影像噪声,同时通过假彩色合成图像偏移量处理增强地物特征,以CIS冰蛋图为参考作标注,确定多年冰、一年冰和海水的类型,并对不同切片大小、不同深度学习模型(ResNet、Vision Transformer 、Swin Transformer)的分类精度进行评估。最后,基于AMSR2(advanced microwave scanning radio-meter2)多年冰密集度数据来评估3个模型生成的1.28 km高分辨率数据的精度。

1 数据和方法

1.1 数据来源和处理

本文选取18景哨兵一号Sentinel-1影像作为数据源,影像成像时间为2021年10月—2023年3月,均从阿拉斯加卫星数据中心(The Alaska Satellite Facility, chttps://search.asf.alaska.edu)下载获取。影像是经过几何校正等处理的EW GRD(超宽幅模式)一级影像,极化方式为HH和HV,空间分辨率约为40 m×40 m,覆盖北极东北和西北航道,如图1所示。影像的编码以及详细信息如表1所示,其中序号1~9位于西北航道,序号10~18位于东北航道。本文的训练和测试影像均为随机选择,序号1、2、3、9、10、11、16、18用于测试,其他10景影像用于模型训练。
图1 Sentinel-1影像的空间分布

(红色数字表示影像序号,红色框表示影像空间位置。)

Fig.1 The spatial distribution of Sentinel-1 images

(The red number indicates the image serial number, and the red box indicates the image spatial position.)

表1 Sentinel-1影像信息

Tab.1 The coding list of Sentinel-1 images

序号 成像日期 经度 纬度 卫星 用途
1 2021-10-27 131.45°W—111.54°W 73.83°N —78.49°N Sentinel-1B 测试
2 2022-01-30 111.25°W—95.77°W 70.29°N —74.80°N Sentinel-1A 测试
3 2022-01-31 72.80°W—58.44°W 68.99°N —73.47°N Sentinel-1A 测试
4 2022-10-31 134.51°W—107.33°W 76.85°N —81.92°N Sentinel-1A 训练
5 2022-10-31 140.17°W—124.76°W 69.97°N —74.69°N Sentinel-1A 训练
6 2022-11-24 113.12°W—93.62°W 73.58°N —78.22°N Sentinel-1A 训练
7 2022-11-26 111.20°W—95.77°W 70.29°N —74.80°N Sentinel-1A 训练
8 2022-11-27 96.81°W—81.42°W 70.25°N —74.76°N Sentinel-1A 训练
9 2023-01-18 86.97°W—68.44°W 72.78°N —77.41°N Sentinel-1A 测试
10 2021-12-09 77.70°E—99.03°E 77.24°N —82.11°N Sentinel-1B 测试
11 2022-01-16 59.76°E—79.41°E 73.68°N —78.33°N Sentinel-1A 测试
12 2022-01-27 112.31°E—139.43°E 76.82°N —81.90°N Sentinel-1A 训练
13 2022-01-27 109.03°E—128.43°E 73.55°N —78.19°N Sentinel-1A 训练
14 2022-11-29 81.86°E—101.92°E 73.00°N —78.31°N Sentinel-1A 训练
15 2022-12-10 39.32°E—52.06°E 66.83°N —71.26°N Sentinel-1A 训练
16 2023-02-04 87.81°E—115.34°E 76.98°N —82.06°N Sentinel-1A 测试
17 2023-02-20 131.25°E—151.36°E 73.03°N —78.34°N Sentinel-1A 训练
18 2023-03-08 49.27°E—64.70°E 72.78°N —77.41°N Sentinel-1A 测试
以加拿大海冰事务局(Canadian Ice Service,CIS)发布的冰蛋图(https://ice-glaces.ec.gc.ca/cgi-bin/getprod.pl?lang=en&areaid=WIS55&prodid=WIS55C)作为深度学习模型对海冰分类结果的参考数据。CIS冰蛋图[10-11]是基于人工分析和SAR技术划分的北极海冰类型分区图,因其以椭圆符号呈现,故被称为冰蛋图(egg code)。冰蛋图一般分四行,第一行为海冰密集度,第二行为各类型海冰占整体海冰的比例,第三行以不同代码表示该区域主要的海冰类型,第四行为该区域主要浮冰尺寸。
以AMSR2数据为参考来验证本文制作的多年冰密集度数据的准确性和可靠性。AMSR2数据来源于GCOM-W1卫星搭载的先进微波扫描辐射计2号(https://seaice.uni-bremen.de/multiyear-ice-concentra-tion/data-access/),数据的时间分辨率为1 d,空间分辨率为6.25 km。

1.2 影像预处理和假彩色合成

由于Sentinel-1影像自身存在一定的条纹噪声,因此,首先使用开源的SNAP遥感软件进行图像预处理,包括热噪声去除、辐射定标、相干斑滤波、地形编码。再参考于皓等[34]的假彩色合成方法对图像进行处理,其中,红色通道(R)按照公式(1)对HV极化图像进行处理,蓝色通道(B)按照公式(2)对HH极化图像进行处理,绿色通道(G)按照公式(3)对HV极化图像和HH极化图像组合进行处理。
R= σ H V + 0.002
B= σ H H + 0.002
G=R×(2×B+R×(1-2×B)
式中:R表示红色通道,σHV为HV极化图像数据;B表示蓝色通道,σHH为HH极化图像数据;G表示绿色通道。

1.3 数据集制作

ZHANG等[35]发现多尺寸海冰切片图像的模型训练效果优于单一尺寸,因此本文采用3种尺寸图像进行模型训练。利用滑动窗口将假彩色图像切割为32×32像素、16×16像素、8×8像素的海冰切片数据集,共约30 000张,其中24 000张用于训练,6 000张用于验证。在每一景测试图像中随机选取2 400张切片用于测试,其中海水、一年冰、多年冰各800张,8景测试图像共19 200张切片。
海冰切片标注是海冰数据集制作的基础,由于北极海冰实测数据难以获取,业内一般以冰蛋图作为标注的参考依据。依据冰蛋图第三行海冰类型,将代码为“7.”、“8.”、“9.”的区域标注为多年冰,其他代码的区域均标注为一年冰;依据第一行海冰密集度,将冰间水道和海冰密集度为0的区域标注为海水。

1.4 模型介绍

ResNet是一种卷积神经网络架构,通过堆叠残差块使网络深度达到152层,在图像分类研究中获得了广泛的应用[36]。
Vision Transformer是一种完全基于自注意力机制的图像分类方案[37],将图像的像素点映射为序列,基于自注意力机制捕捉像素之间的关系,避免了传统卷积神经网络模型中需要手动设计卷积核的操作,同时它可以处理任意像素大小的图像,具有良好的扩展性。
Swin Transformer具有层次性的特征图,随着层次的加深,特征图的高和宽逐渐变小,实现了下采样,并使用移动窗口将自注意力计算限制在非重叠的局部窗口,同时允许跨窗口连接,从而实现更高的分类效率和精度[28]。

1.5 评价指标

使用整体准确率(Accuracy)和Kappa系数对19 200个测试数据进行图像分类精度评估,公式见(4)~(6)。Accuracy是指正确预测次数在预测总次数中的占比,Kappa系数的计算基于混淆矩阵。
Accuracy= T P + T N T P + F P + T N + F N
Kappa= A c c u r a c y - p e 1 - p e
pe= ( T P + F N ) ( T P + F P ) + ( T N + F N ) ( T N + F P ) ( T P + F P + T N + F N ) 2
式中:TP表示实际为正例,判定也为正例的次数;FP表示实际为负例,却判定为正例的次数;TN表示实际为负例,判定也为负例的次数;FN表示实际为正例,却判定为负例的次数;pe表示偶然一致性。

2 结果和分析

研究表明,Sentinel-1的双极化图像能够提高海冰分类的精度[10⇓-12],所以本文使用双极化(HH和HV)数据对海冰进行分类。基于测试数据集,分别从切片大小、假彩色合成图像处理和不同深度学习模型这三个方面对海冰分类结果进行对比、分析。

2.1 切片大小对海冰分类结果的影响

将不同切片大小的图像带入Swin Transformer网络模型进行训练和验证,比较三种切片大小(32×32像素、16×16像素、8×8像素)的海冰分类结果差异,以获取最优的切片尺寸。
对比图2a~2d可以发现,在74°N,108°W附近,图2d的多年冰分类结果优于图2b和2c,即8×8像素的分类结果优于其他两种像素。对2号区域分类结果统计显示,8×8像素切片的多年冰分类结果的准确率比32×32像素和16×16像素切片高1%,整体准确率和Kappa系数也略高于其他两种切片(表2)。
图2 不同切片大小影像的海冰分类结果示例

Fig.2 The examples of sea ice classification results with different slice size images

表2 不同尺寸切片影像分类结果评价

Tab.2 Evaluation for classification results of different slice size images

区域 切片大小 准确率/% 整体准确
率/%		 Kappa
系数/%
海水 一年冰 多年冰
2号 32×32像素 100.00 100.00 98.88 99.62 99.44
16×16像素 100.00 100.00 98.88 99.62 99.44
8×8像素 99.25 100.00 99.88 99.71 99.63
16号 32×32像素 100.00 100.00 97.50 99.17 98.75
16×16像素 100.00 99.63 99.38 99.67 99.50
8×8像素 100.00 99.88 100.00 99.96 99.94
同样,对比图2e~2h可以发现,在80°N—81°N,110°W—106°W附近,8×8像素切片的多年冰分类结果优于其他两种像素切片。对16号区域海冰分类结果进行统计,发现8×8像素切片的多年冰分类的准确率分别比32×32像素和16×16像素海冰切片高2.5%和0.62%,整体准确率和Kappa系数也高于32×32像素和16×16像素海冰切片。
综上,8×8像素为海冰图像分类的最佳切片大小。

2.2 偏移量处理假彩色合成图像对海冰分类的影响

将不同的假彩色合成图像带入Swin Transformer网络模型进行训练和验证,对比偏移量处理与否的假彩色合成图像的海冰分类结果。从图3可以看出,在3号区域,经偏移量处理图像(图3d)的多年冰分类效果远优于未处理的(图3c);在10号区域,处理后图像的分类结果(图3h)受噪声的影响小于未处理的(图3g),并且在未处理图像的分类结果中(图3g),存在多年冰和一年冰被错误识别为海水的情况。
图3 假彩色合成图的偏移量处理对海冰分类结果的影响

Fig.3 The effect of offset processing of false color images on the results of sea ice classification

如表3所示,在3号区域,经偏移量处理的多年冰分类准确率比未处理的高22.37%,整体准确率和Kappa系数分别高7.46%和11.19%;在10号区域,经偏移量处理的一年冰、多年冰分类准确率分别比未处理的高4.25%和3.62%,整体准确率和Kappa系数分别高2.46%和3.69%。
表3 不同假彩色合成图像的海冰分类精度评价

Tab.3 Evaluation of classification accuracy of sea ice in different false color images

区域 偏移量
处理情况		 准确率/% 整体准确
率/%		 Kappa
系数/%
海水 一年冰 多年冰
3号 未处理 99.88 99.63 77.63 92.37 88.56
处理后 99.25 100.00 100.00 99.83 99.75
10号 未处理 99.75 95.75 96.38 97.29 95.94
处理后 99.25 100.00 100.00 99.75 99.63
综上,选择经偏移量处理后的假彩色合成图像进行海冰分类。

2.3 不同深度学习模型海冰分类结果的对比分析

为体现深度学习网络模型的泛化性,利用8景不同时间、不同海域的Sentinel-1影像(西北、东北航道各4景),对比、分析了基于ResNet、Vision Transformer和Swin Transformer网络模型的分类结果。如表4所示,Swin Transformer的整体准确率和Kappa系数均在98%以上,均高于Vision Transformer和ResNet网络模型。
表4 不同深度学习模型的海冰分类精度评价

Tab.4 Evaluation of classification accuracy of sea ice in different deep learning models

区域 深度学习模型 准确率/% 整体准确率/% Kappa系数/%
海水 一年冰 多年冰
ResNet 99.50 100.00 93.75 97.75 96.63
1号 Vision Transformer 98.63 100.00 99.63 98.12 97.19
Swin Transformer 97.50 100.00 100.00 99.17 98.75
ResNet 100.00 100.00 94.38 98.12 97.19
2号 Vision Transformer 96.88 99.88 100.00 98.92 98.38
Swin Transformer 99.25 100.00 99.88 99.71 99.63
ResNet 100.00 100.00 98.50 99.50 99.25
3号 Vision Transformer 95.25 100.00 98.88 98.42 97.63
Swin Transformer 99.25 100.00 100.00 99.75 99.63
ResNet 99.88 99.88 97.88 99.17 98.81
9号 Vision Transformer 98.88 100.00 100.00 99.62 99.44
Swin Transformer 99.88 99.88 99.25 99.67 99.50
ResNet 100.00 100.00 97.50 99.62 99.44
10号 Vision Transformer 97.50 100.00 100.00 99.17 98.75
Swin Transformer 99.50 100.00 100.00 99.75 99.63
ResNet 100.00 100.00 99.38 99.79 99.69
11号 Vision Transformer 99.25 100.00 100.00 99.83 99.75
Swin Transformer 100.00 100.00 100.00 100.00 100.00
ResNet 99.50 100.00 98.00 99.17 98.75
16号 Vision Transformer 95.13 100.00 100.00 98.37 97.56
Swin Transformer 100.00 99.88 100.00 99.96 99.94
ResNet 100.00 100.00 93.88 97.96 96.94
18号 Vision Transformer 97.13 100.00 99.88 99.00 98.50
Swin Transformer 98.63 100.00 99.63 99.42 99.13
在9号区域,不同深度学习模型海冰分类结果(图4a、图4b和图4c)分别与AMSR2的多年冰密集度图像(图4d)进行对比发现,在74°N,74°W附近,图4a中多年冰少于图4b和图4c中的。统计结果(表4)显示ResNet的多年冰分类准确率分别比Vision Transformer和Swin Transformer低2.12%和1.37%,Swin Transformer的整体准确率和Kappa系数均高于ResNet和Vision Transformer。
图4 深度学习模型的海冰分类结果与AMSR2的多年冰密集度

Fig.4 Sea ice classification results from deep learning models and AMSR2 multi-year ice concentration

在11号区域,对比3个深度学习模型的海冰分类结果发现,在75°N,68°E—69°E附近,图4e中分布的多年冰少于图4f和图4g。如表4所示,11号区域的ResNet的多年冰分类准确率比Vision Transformer和Swin Transformer均低0.62%,而Swin Transformer的整体准确率和Kappa系数均高于ResNet和Vision Transformer。

2.4 多年冰密集度反演结果的评估

在对8×8像素的切片进行海冰分类的基础上,利用4×4的滑动窗口得到多年冰密集度,通过ResNet、Vision Transformer、Swin Transformer模型生成3种空间分辨率为1.28 km的多年冰密集度图像,计算3种图像与AMSR2多年冰密集度的差值平均值。
在1号区域中,选取76°N—77°N,128°W—124°W区域进行多年冰密集度的定量对比分析。ResNet、Vision Transformer、Swin Transformer三个模型的多年冰密集度均小于AMSR2,其中ResNet、Swin Transformer优于Vision Transformer(图5a~5d,图6)。
图5 深度学习模型和AMSR2的多年冰密集度

Fig.5 Multi-year ice concentration of deep learning models versus AMSR2

图6 基于深度学习模型与AMSR2的多年冰密集度差值

Fig.6 Multi-year ice concentration difference based on deep learning models and AMSR2

在18号区域中,在71°N—72°N,57°E—61°E区域的多年冰密集度的定量对比分析显示,ResNet、Vision Transformer、Swin Transformer三个模型的多年冰密集度均大于AMSR2的多年冰密集度(图5e~5h,图6)。
图6显示,除了在10号区域,不同深度学习模型的多年冰密集度与AMSR2的差值平均值均不超过10%,并且不同模型间的差异较小。在西北航道中(1、2、3、9号区域),Swin Transformer模型的多年冰密集度与AMSR2最为接近;在东北航道中(10、11、16号区域),ResNet、Swin Transformer 略优于Vision Transformer模型,但差距不大。

3 结论

本文基于深度学习模型和Sentinel-1双极化(HH和HV)SAR影像对北极西北和东北航道进行海冰分类研究。通过不同切片大小的测试样本的对比,显示8×8像素大小的切片数据集的分类效果最佳,整体准确率和Kappa系数也比其他切片数据集高。偏移量处理与否的假彩色合成图像的分类结果相差较大,偏移量处理后的假彩色合成图像能够更好地减少噪声对海冰分类的干扰,整体准确率和Kappa系数均有提高。在3个深度学习模型对海冰分类结果的对比中,虽然在单个的海水、一年冰、多年冰分类的准确率方面,有些结果中ResNet和Vision Transformer优于Swin Transformer,但Swin Transformer的整体准确率和Kappa系数均在98%以上,高于Vision Transformer和ResNet网络模型。在测试的8景图像的分类结果中,Swin Transformer的多年冰密集度与AMSR2的差值平均值小于10%;在1、2、3、9号区域,Swin Transformer模型的多年冰密集度与AMSR2数据最为接近。

参考文献

原文顺序 | 文献年度倒序 | 文中引用次数倒序
[1]
KIM J W, KIM D J, HWANG B J. Characterization of Arctic sea ice thickness using high-resolution spaceborne polarimetric SAR data[J]. IEEE Transactions on Geoscience and Remote Sensing, 2012, 50(1): 13-22.

[2]
HOSHINO S, TATEYAMA K, IZUMIYAMA K. Classification of ice in Lützow-Holm Bay, East Antarctica, using data from ASCAT and AMSR2[J]. Remote Sensing, 2020, 12(19):3179.

[3]
张晰. 极化SAR渤海海冰厚度探测研究[D]. 青岛: 中国海洋大学, 2011.

ZHANG X. Research on sea ice thickness detection by polarimetric SAR in Bohai Sea[D]. Qingdao: Ocean University of China, 2011.

[4]
FARRELL S L, DUNCAN K, BUCKLEY E M, et al. Mapping sea ice surface topography in high fidelity with ICESat-2[J]. Geophysical Research Letters, 2020, 47(21): e2020GL090708.

[5]
CAO X W, LU P, LEI R B, et al. Physical and optical characteristics of sea ice in the Pacific Arctic Sector during the summer of 2018[J]. Acta Oceanologica Sinica, 2020, 39(9): 25-37.

[6]
DIERKING W, LANG O, BUSCHE T. Sea ice local surface topography from single-pass satellite InSAR measurements: A feasibility study[J]. The Cryosphere, 2017, 11(4): 1967-1985.

[7]
RHEINLAENDER J W, DAVY R, ÓLASON E, et al. Driving mechanisms of an extreme winter sea ice breakup event in the Beaufort Sea[J]. Geophysical Research Letters, 2022, 49(12): e2022GL099024.

[8]
刘泉宏, 张韧, 汪杨骏, 等. 深度学习方法在北极海冰预报中的应用[J]. 大气科学学报, 2022, 45(1):14-21.

LIU Q H, ZHANG R, WANG Y J, et al. Application of deep learning methods to Arctic Sea ice prediction[J]. Transactions of Atmospheric Sciences, 2022, 45(1): 14-21.

[9]
刘启明, 杨树国, 赵莉. 基于深度卷积神经网络的海洋多目标涡旋检测方法[J]. 青岛科技大学学报:自然科学版, 2022, 43(4):120-126.

LIU Q M, YANG S G, ZHAO L. Ocean multi-eddy detection method based on deep convolution neural network[J]. Journal of Qingdao University of Science and Technology: Natural Science Edition, 2022, 43(4): 120-126.

[10]
崔艳荣. 卷积神经网络在渤海海冰卫星遥感中的应用[D]. 上海: 上海海洋大学, 2020.

CUI Y R. Application of convolutional neural network in remote sensing of sea ice satellites in the Bohai Sea[D]. Shanghai: Shanghai Ocean University, 2020.

[11]
KHALEGHIAN S, ULLAH H, KRAEMER T, et al. Deep semisupervised teacher-student model based on label propagation for sea ice classification[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2021, 14: 10761-10772.

[12]
王芳. 基于Sentinel-1极化数据北冰洋海冰分类研究[D]. 北京: 中国地质大学, 2021.

WANG F. Arctic sea ice classification based on Sentinel-1 polarization data[D]. Beijing: China University of Geos-ciences, 2021.

[13]
HAN Y L, GAO Y, ZHANG Y, et al. Hyperspectral sea ice image classification based on the spectral-spatial-joint feature with deep learning[J]. Remote Sensing, 2019, 11(18): 2170.

[14]
张赛, 樊博文, 禹定峰, 等. 基于多尺度融合网络的辽东湾海冰提取方法研究[J]. 海洋测绘, 2023, 43(1):68-72.

ZHANG S, FAN B W, YU D F, et al. Research on sea ice extraction method of Liaodong Bay based on multi-scale fusion network[J]. Hydrographic Surveying and Charting, 2023, 43(1): 68-72.

[15]
李金鑫. 基于卷积神经网络的SAR图像分类[D]. 长春: 吉林大学, 2018.

LI J X. SAR image classification based on convolutional neural network[D]. Changchun: Jilin University, 2018.

[16]
HAN Y L, WEI C, ZHOU R Y, et al. Combining 3D-CNN and squeeze-and-excitation networks for remote sensing sea ice image classification[J]. Mathematical Problems in Engineering, 2020: 8065396.

[17]
HAN Y L, LIU Y K, HONG Z H, et al. Sea ice image classification based on heterogeneous data fusion and deep learning[J]. Remote Sensing, 2021, 13(4): 592.

[18]
PETROU Z I, TIAN Y L. Prediction of sea ice motion with convolutional long short-term memory networks[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(9): 6865-6876.

[19]
焦艳, 黄菲, 高松, 等. 基于长短时记忆神经网络的辽东湾海冰延伸期预报方法研究[J]. 中国海洋大学学报:自然科学版, 2020, 50(6):1-11.

JIAO Y, HUANG F, GAO S, et al. Research on extended-range forecast model of sea ice in the Liaodong Bay based on long short term memory network[J]. Periodical of Ocean University of China, 2020, 50(6): 1-11.

[20]
LIU Q H, ZHANG R, WANG Y J, et al. Daily prediction of the Arctic sea ice concentration using reanalysis data based on a convolutional LSTM network[J]. Journal of Marine Science and Engineering, 2021, 9(3): 330.

[21]
ZHENG Q Y, LI W, SHAO Q, et al. A mid- and long-term Arctic sea ice concentration prediction model based on deep learning technology[J]. Remote Sensing, 2022, 14(12): 2889.

[22]
WEI J F, HANG R L, LUO J J. Prediction of Pan-Arctic sea ice using attention-based LSTM neural networks[J]. Frontiers in Marine Science, 2022, 9: 860403.

[23]
李明慧. 基于深度学习的SAR影像海冰分类研究[D]. 上海: 上海海洋大学, 2019.

LI M H. Sea ice classification based on deep learning with SAR imagery[D]. Shanghai: Shanghai Ocean University, 2019.

[24]
葛梦滢, 高稳, 祝敏, 等. 基于SE-ConvLSTM的时空特征融合SAR图像海冰分类[J]. 遥感技术与应用, 2023, 38(6):1306-1316.

DOI

GE M Y, GAO W, ZHU M, et al. Sea ice classification of SAR images based on SE-ConvLSTM spatial-temporal feature fusion[J]. Remote Sensing Technology and Application, 2023, 38(6): 1306-1316.

[25]
VASWANI A, SHAZEER N, PARMAR N, et al. Attention is all you need[C]//31st Conference on Neural Information Processing Systems (NIPS 2017), Long Beach, CA, USA, 2017.

[26]
MU B, LUO X D, YUAN S J, et al. IceTFT v1.0.0: Interpretable long-term prediction of Arctic sea ice extent with deep learning[J]. Geoscientific Model Development, 2023, 16(16): 4677-4697.

[27]
刘剑锋, 郜利康, 赫晓慧, 等. 结合卷积网络与注意力机制的冰凌提取算法[J]. 遥感信息, 2023, 38(4):49-56.

LIU J F, GAO L K, HE X H, et al. Combining CNN with self-attention mechanism for ice extraction[J]. Remote Sensing Information, 2023, 38(4): 49-56.

[28]
SUDAKOW I, ASARI V K, LIU R X, et al. MeltPondNet: A swin transformer U-Net for detection of melt ponds on Arctic sea ice[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2022, 15: 8776-8784.

[29]
ZHU Q, GUO H D, ZHANG L, et al. GLA-STDeepLab: SAR enhancing glacier and ice shelf front detection using Swin-TransDeepLab with global-local attention[J]. IEEE Transactions on Geoscience and Remote Sensing, 2023, 61: 5218113.

[30]
LIU Z, LIN Y T, CAO Y, et al. Swin Transformer: Hierarchical vision Transformer using shifted windows[C]//2021 IEEE/CVF International Conference on Computer Vision (ICCV). Montreal, QC, Canada. IEEE, 2021: 9992-10002.

[31]
SHI W T, XU J, GAO P. SSformer: A lightweight transformer for semantic segmentation[C]// IEEE 24th International Workshop on Multimedia Signal Processing (MMSP). Shanghai, China. IEEE, 2022.

[32]
DAN Y P, ZHU Z N, JIN W S, et al. S-Swin Transformer: Simplified Swin Transformer model for offline handwritten Chinese character recognition[J]. PeerJ Computer Science, 2022, 8: e1093.

[33]
ZHU Y P, LU S. Swin-VoxelMorph: A symmetric unsuper-vised learning model for deformable medical image registration using Swin Transformer[C]// Medical Image Computing and Computer-Assisted Intervention-MICCAI, 2022, 13436:78-87.

[34]
于皓, 田忠翔, 李春花. 基于Sentinel-1双极化数据的北极海域假彩色图像合成方法[J]. 海洋预报, 2022, 39(5):60-69.

YU H, TIAN Z X, LI C H. A method of synthesizing RGB pseudo color images based on Sentinel-1 dual-polarization data in the Arctic[J]. Marine Forecasts, 2022, 39(5): 60-69.

[35]
ZHANG J D, ZHANG W Y, HU Y X, et al. An improved sea ice classification algorithm with Gaofen-3 dual-polarization SAR data based on deep convolutional neural networks[J]. Remote Sensing, 2022, 14(4): 906.

[36]
张珂, 冯晓晗, 郭玉荣, 等. 图像分类的深度卷积神经网络模型综述[J]. 中国图象图形学报, 2021, 26(10):2305-2325.

ZHANG K, FENG X H, GUO Y R, et al. Overview of deep convolutional neural net-works for image classification[J]. Journal of lmage and Graphics, 2021, 26(10): 2305-2325.

[37]
刘文婷, 卢新明. 基于计算机视觉的Transformer研究进展[J]. 计算机工程与应用, 2022, 58(6):1-16.

DOI

LIU W T, LU X M. Research progress of Transformer based on computer vision[J]. Computer Engineering and Applications, 2022, 58(6): 1-16.

DOI

Options
文章导航

/

〈 〉