Journal of Marine Sciences >

2024 , Vol. 42 >Issue 3: 38 - 50

DOI: https://doi.org/10.3969/j.issn.1001-909X.2024.03.003

Recent developments in AI-based oceanic eddy identification

  • XU Guangjun , 1, 2 ,
  • SHI Yucheng 1 ,
  • YU Yang 3 ,
  • XIE Huarong 4 ,
  • XIE Wenhong 5 ,
  • LIU Jingyuan 1 ,
  • LIN Xiayan 6 ,
  • LIU Yu 6 ,
  • DONG Changming , 2, 4, *
Expand
  • 1. School of Electronics and Information Engineering, Guangdong Ocean University, Zhanjiang 524088, China
  • 2. Southern Marine Science and Engineering Guangdong Laboratory (Zhuhai), Zhuhai 519000, China
  • 3. Fujian Provincial Meteorological Observatory, Fuzhou 350007, China
  • 4. School of Marine Sciences, Nanjing University of Information Science and Technology, Nanjing 210044, China
  • 5. Nanjing Xingyao Technology Co., LTD, Nanjing 210012, China
  • 6. Marine Science and Technology College, Zhejiang Ocean University, Zhoushan 316022, China

Received date: 2023-12-30

  Revised date: 2024-08-12

  Online published: 2024-11-25

Fold

Abstract

Ocean eddies are prevalent oceanic phenomenon that play a crucial role in the global transportation of oceanic materials and energy. Although traditional methods for detecting ocean eddies are widely used, they suffer from significant drawbacks such as excessive reliance on expert-set thresholds, continuous manual intervention, large detection errors, low efficiency, and poor global applicability, making it difficult to adapt to the complex and variable marine environment. Currently, the rapid development of artificial intelligence (AI) presents a promising solution for the intelligent detection of ocean eddies. AI can automatically and rapidly extract deep features from images, effectively address the challenges posed by the high similarity in oceanic phenomenon features and significant geometric variability. This paper provides an overview of AI-based oceanic eddy identification methods based on different deep learning methods, focuses on coder-decoder structure, fully convolutional neural network, multi-scale context method and attention mechanism, and aims to provide valuable insights and references for future ocean eddy research.

Key words： oceanic eddy; artificial intelligence; feature detection; deep learning; coder-decoder structure; fully convolutional neural network; multi-scale context method; attention mechanism

Cite this article

XU Guangjun , SHI Yucheng , YU Yang , XIE Huarong , XIE Wenhong , LIU Jingyuan , LIN Xiayan , LIU Yu , DONG Changming . Recent developments in AI-based oceanic eddy identification[J]. Journal of Marine Sciences, 2024 , 42(3) : 38 -50 . DOI: 10.3969/j.issn.1001-909X.2024.03.003

0 引言

海洋涡旋是海洋中一种常见且复杂的海水流动现象,具有非对称螺旋结构,同时呈现出水平和旋转运动特征,并能够持续数天至数年[1]。海洋涡旋半径约为10~100 km,在产生到消亡的整个生命周期中可移动几公里到数百公里不等。由于其独特的形态和广泛的分布,海洋涡旋在全球海洋物质和能量的输运中起着至关重要的作用[2⇓⇓-5]。根据旋转方向不同,涡旋分为气旋和反气旋,在地球自转引起的科氏力作用下,气旋在北(南)半球逆时针(顺时针)旋转,反气旋在北(南)半球顺时针(逆时针)旋转。
海洋涡旋具有较高的动能,其水平旋转或切向运动速度远高于大洋海水的平均流速,甚至高出一个数量级。这些高速旋转的涡旋伴随着强烈的剪切效应,具有极强的非线性特征,因而具备保持自身特征的记忆性和保守性[6-7]。作为连接海洋大尺度和小尺度动力过程的纽带,海洋涡旋在海洋能量传递方面扮演着不可或缺的角色。海洋涡旋可以影响几米到数千米的深度,涡旋内部引起的上升流会将海洋深层的营养物质输送到真光层,从而引发浮游生物的大规模繁殖,进而提高海洋初级生产力[3]。此外,海洋涡旋还会对大气边界层产生影响,在一定程度上影响局地海面的风、云、降水情况,水声传输以及邻近地区的海洋生态系统[8⇓⇓-11]。因此,海洋涡旋的研究一直是海洋科学领域备受关注的焦点,准确且高效地检测和预测海洋涡旋对于推动海洋科学研究发展具有深远的意义。
在过去的几十年里,人们提出了不少检测海洋涡旋的方法,根据数据类型的不同大致可分为欧拉方法和拉格朗日方法[12]。NENCIOLI 等[13]进一步将欧拉方法划分为基于物理参数的方法和基于流场几何特征的方法。前者主要依赖于海洋涡旋的物理参数进行探测,能够检测海洋涡旋的核心区域和中心点,但过度依赖专家经验设置的阈值,无法适应复杂海洋环境引起的海洋涡旋动态变化;后者主要依赖于针对海洋涡旋的自定义设置的全局搜索算法,尽管这种方法能够进行全局搜索,但还是需要持续的人工干预,仍然不足以适应海洋涡旋的动态变化。因此,无论是基于物理参数还是基于流场几何特征,传统动力学方法都存在一定的局限性,难以完全表征复杂海洋环境引起的海洋涡旋动态变化。
近年来,随着人工智能的飞速发展,以深度学习为代表的机器学习方法,因其自动、快捷、无须依赖单一阈值等诸多优点引起了越来越多研究者的关注。人工智能与海洋科学的交叉融合在各领域都得到广泛应用,如海洋特征智能检测、海洋要素现象智能预报、模式动力参数智能估算、偏微分方程智能求解等。智能检测通常指的是利用人工智能技术,如机器学习、深度学习等,使系统能够自动地检测、分析和学习各种数据、图像、声音或文本等信息。智能检测能够通过大规模数据的学习和迭代优化,提高检测的准确度和鲁棒性;同时,相比传统的规则或模板匹配方法,智能检测能够更好地适应不同的场景和变化,具有更强的泛化能力;此外,智能检测在处理复杂、多变的数据时具有更高的效率,从而在实际应用中具有更大的优势。
本文回顾了近几年基于人工智能的海洋涡旋智能检测的发展:第1节介绍了几种海洋涡旋检测常用的数据源,探讨了涡旋在这些数据中的表现形式;第2节回顾了检测海洋涡旋的几种传统动力学方法,包括欧拉方法和拉格朗日方法,分析了它们在涡旋检测中的优缺点;第3节依据不同的智能算法框架介绍近年来基于人工智能的海洋涡旋智能检测方法,展示了人工智能技术如何提升检测的精度和效率;第4节展望了海洋涡旋智能检测的未来发展方向,提出了优化算法、数据融合以及自动化检测系统等关键趋势。

1 海洋涡旋检测的数据源

随着卫星遥感技术的迅猛发展,海洋科学研究迎来了一个崭新的时代。卫星遥感技术提供了大量高质量的海面数据,成为获取实时海洋特征最为高效和可靠的技术手段之一[14],为深入理解海洋系统的运行机制和及时应对海洋环境的变化提供了前所未有的便利和可能性。

1.1 海面高度异常数据

海面高度异常(sea surface height anormaly,SSHA)是指海洋表面相对于其长期平均值的异常升高或下降。卫星高度计可以通过测量海洋表面与参考面的相对高度差而实现对SSHA的测量。在南、北半球,受到科氏力的影响,气旋(反气旋)会引起局地的辐散(辐聚),从而导致涡旋中心附近的海面高度降低(升高)(图1a)。这种海面高度的异常升降成为定位和检测涡旋存在的重要指标。基于SSHA数据利用地转关系也可以推导出海面的地转流数据,同样可以用于海洋涡旋的检测。然而,测高卫星产品在卫星轨道交叉的区域进行了时空插值,从而只能得到空间分辨率有限的海面高度异常场,并且在未进行充分采样的区域存在不确定性,可能导致涡旋漏检测或误检测。
图1 中尺度涡旋在三种不同图像中的表征

Fig.1 Representation of mesoscale eddies in three different images

1.2 海面温度数据

海面温度(sea surface temperature,SST)是指海洋表面的温度,反映了海洋表面水体的温度分布情况。卫星技术可以提供全球范围内的高分辨率海面温度遥感数据,实现对SST全面监测。SST数据通常通过卫星遥感技术借助微波辐射计和红外线辐射计等仪器获取。一般情况下,气旋(反气旋)内部的局地上升流(下沉流)会导致涡旋表面的海水温度低于(高于)周围海水温度,故又称为冷(暖)涡,在SST图像中表现为负(正)的温度异常(图1b)。最近有研究[15]指出,气旋也可能包裹暖水,而反气旋也可能包裹冷水,这类涡旋被称为异常涡旋。由于可见光图像具有比卫星高度计数据更高的空间分辨率,在SST和海洋水色(叶绿素a质量浓度)等卫星图像中的海洋涡旋特征更明显,但经常被云层覆盖。SST数据主要与其他数据进行多源信息融合输入,进而提高涡旋检测的精度和效率,很少单独用于海洋涡旋的检测。

1.3 合成孔径雷达图像数据

合成孔径雷达(synthetic aperture radar,SAR)是一种雷达成像技术,通过合成射频波束获得较大的有效孔径,得到的雷达图像具有较高的空间分辨率,能够提供详细的海洋表面结构信息。与光学遥感不同,SAR可以在任何天气条件下进行观测,甚至在云层遮挡的情况下也能够工作。这使得SAR数据成为获取全天时、全天候海洋涡旋信息的可靠工具。
SAR记录的是由表面波的非均质性引起的海面粗糙度变化[16-17]。海洋涡旋伴生的辐聚或辐散会导致海面粗糙度发生变化,在SAR图像中呈现明显的亮色或暗色条纹(图1c)。此外,海面存在的自然油膜物质也可作为示踪剂,涡旋对海水的聚合作用会使得油膜物质聚集,抑制局部的海面粗糙度,使得涡旋在SAR图像上呈现明显的暗色条纹。因此,SAR在研究海洋小尺度涡旋方面具有独特的优势。

2 海洋涡旋检测的传统动力学方法

海洋涡旋检测的传统动力学方法主要包括欧拉方法(物理参数法、流场几何法)和拉格朗日方法等。

2.1 物理参数法

在物理参数法中,应用最广泛的中尺度涡旋自动探测方法是Okubo-Weiss(OW)参数法[18-19],其通过水平速度场计算得到对应的剪切、拉伸和涡度参数,根据涡旋的物理性质来确定参数的阈值,进而检测海洋涡旋。该方法对数据噪声高度敏感,很难确定合适的阈值,存在涡旋探测失败或者低估涡旋大小的问题。根据所采用的物理参数不同,研究者们相继提出了Q-判据[20]、Ω-准则[21]、Δ-准则[22]和λ2-准则[23]等不同方法。前三种方法基于Jacobi矩阵计算得到物理参数,而λ2-准则是基于涡流中心存在最小压力的假设。同样,这些方法也需要计算相关物理参数,根据预先设定的阈值来检测海洋涡旋。DOGLIOLI等[24]提出了一种基于小波分析的检测模型,将海面相对涡度作为特征参数进行涡旋的检测和追踪,该方法已成功地应用于南非附近海域的涡旋检测,但同样受到阈值的限制,难以适用于全球海域。

2.2 流场几何法

流场几何法通常基于流场的全局拓扑性质。这类方法不依赖于参数设置,而是基于针对海洋涡旋的自定义设置的全局搜索算法。CHAIGNEAU等[25]最早提出了涡旋检测的缠绕角(winding angle, WA)方法,将WA定义为流线相对于涡旋中心的旋转角度。与OW参数方法相比,WA方法检测涡旋的能力更强,但该算法复杂度很高,检测效率相对较低。NENCIOLI 等[13]提出了一种基于流场矢量几何特征的海洋涡旋自动检测和追踪算法(vector geometry-based eddy detection algorithm,VG),该方法基于四个约束条件确定涡旋中心,包括沿涡旋中心的东西和南北方向速度分量的变化以及速度矢量旋转方向的一致性,再根据流函数的闭合轮廓计算涡旋大小。与WA方法类似,VG算法虽然提高了涡旋检测的精度,但其计算效率有待提高。

2.3 拉格朗日涡旋检测方法

拉格朗日涡旋检测方法主要基于全球漂流浮标数据,利用轨迹回路的几何特征来探测涡旋[12]。通过漂流浮标轨迹上点的间距阈值来检测回路并确定涡旋中心;基于涡旋中心到浮标轨迹点的矢量方位角来确定回路的旋转角度和极性,进一步估计回路参数,如涡旋的中心、发生时间、旋转周期和大小;最后对相邻时间的回路进行比较从而确定涡旋的轨迹。该方法存在与参数取值有关的不确定性,可能会导致小涡旋的遗漏以及将环流误判为涡旋。

3 基于人工智能的涡旋检测方法

近年来,人工智能领域的深度学习算法在海洋科学研究领域应用愈加广泛。深度学习方法通过多层次自学习提取图像的深层特征,无需人工建模,能够有效解决海洋现象特征相似度高和几何差异大的问题,被越来越广泛地应用于海洋现象检测。与传统方法相比,基于深度学习的方法可以提取丰富的特征信息,从而大大提高精度。本节将介绍不同深度学习方法在海洋涡旋智能检测中的应用。

3.1 基于编码器-解码器架构的海洋涡旋智能检测

编码器-解码器架构(如UNet、SegNet等)是深度学习领域中流行的架构,这类方法适用于处理像素级的图像分割任务,能够有效提取和利用多层特征,同时保持空间信息的连续性,适合复杂的海洋环境分析。该方法更适用于需要精确定位和形状恢复的涡旋检测任务。通过添加跳跃连接,可以进一步促进高层语义信息与低层空间信息的融合,提高检测精度。但需要注意的是,深度解码器可能导致训练时梯度消失问题,需要精心设计网络结构和优化策略。

3.1.1 初期应用:基础卷积神经网络与UNet

2018年FRANZ等[26]首次将人工智能技术应用于海洋涡旋智能检测,提出了一种具有简单卷积模块和上采样模块的卷积神经网络(convolution neural network,CNN)架构,利用SSHA数据实现对海洋涡旋的检测(图2)。该模型采用编码器-解码器结构,其中编码器部分的每个模块由卷积层、批处理归一化层和激活层组成。解码器与编码器相似,但每个模块之前都有一个上采样层,使特征图像恢复到原始大小。该模型的输出是每个像素是否为涡旋的概率值,并没有区分涡旋的极性,只适用于基础涡旋检测,检测精度有限。随后,LGUENSAT 等[27]提出一种源自UNet架构的模型——EddyNet,实现了涡旋像素级的检测和分类。UNet架构在编码和解码阶段之间插入路径,将解码器的空间位置信息与编码器的特征相结合。基于SSHA数据,该模型检测海洋涡旋的准确率达到89.83%。但该模型无法充分利用语义信息和特征来有效区分边缘,无法对涡旋的大小进行定量分析。
图2 基于CNN的海洋涡旋检测模型[26]

(图中蓝色表示卷积层、批归一化层和ReLU激活层;绿色表示池化层;橙色表示上采样层;红色表示softmax激活层。)

Fig.2 Oceanic eddy detection model based on CNN[26]

(Blue: convolution, batch normalization and ReLU-activation layers; green: pooling layers; orange: up-sampling layers; red: softmax-activation layer.)

3.1.2 深度改进:残差网络与目标检测网络

LI 等[28]在UNet网络框架的基础上融入了残差网络(residual network,ResNet)模块,用于基于SSHA数据的海洋涡旋检测。该算法不仅在海洋小尺度涡旋智能检测方面表现出色,还显著提高了涡旋检测的计算效率,但可能增加模型复杂度,对硬件资源有较高的要求。与之类似,DUO 等[29]提出一种基于目标检测网络的海洋涡旋检测网络(ocean eddy detection net, OEDNet),该网络使用RetinaNet模块提取涡旋特征,采用特征金字塔网络模块对提取的特征进行细化,最后将子网络模块用于涡旋分类和定位,提高了特征提取和分类能力。然而由于该网络生成的是水平候选框,对于长宽比较大的涡旋来说,一旦倾斜角度过大,会产生较多的冗余区域,通常会导致涡旋漏检,从而降低检测精度,因此不利于进行非最大化抑制操作。SANTANA 等[30]提出一种融合ResNet模块的编码器-解码器架构——残差涡旋检测网络(residual eddy detection network,REDN)。该模型包括编码和解码模块,其中编码模块包括卷积块和最大池化层,以捕获上、下文信息,解码模块使用上采样层进行特征定位。通过残差模块提供检测效果,避免了过度复杂的网络设计。过度复杂的模型对涡旋的检测精度并没有显著的提升作用,海洋涡旋检测模型无需设计较深的网络结构。

3.1.3 先进方法:多涡旋检测与多模态数据融合

张盟等[31]基于SSHA数据提出了一种新的多涡旋检测模型,该模型可以较好地检测出气旋和反气旋。模型由编码模块和解码模块两部分组成:编码模块包括从图像输入进行卷积操作开始,到下采样结束的整个过程,通过卷积汇聚丰富的涡旋特征语义信息;解码模块包括从上采样操作开始,到检测出涡旋的整个过程,可以对海洋涡旋进行准确的空间分辨率恢复。虽然该模型能够较好地检测气旋和反气旋,但仍需要进一步验证其在不同数据集中的通用性。刘启明等[32]建立了一个基于深度卷积神经网络的多目标海洋涡旋检测模型,编码部分使用密集卷积块提取和融合涡旋特征,解码部分使用转置卷积进行上采样操作,最终检测出涡旋。模型中密集卷积和转置卷积的结合提高了特征提取和上采样效果,但复杂的卷积操作对计算资源有较高要求。LIU等[33]提出了一种基于SSHA和SST融合数据的多模态UNet涡旋检测模型MM-Unet,该模型明显优于仅考虑单一特征的深度学习模型。MM-Unet模型考虑了网络结构、特征输入以及海洋涡旋掩模数据对模型性能的重要性,并且融合数据的使用显著提高了涡旋探测的精度和效率,然而多模态数据的获取和处理较为复杂。
编码器-解码器架构在海洋涡旋检测任务中展现了强大的能力,通过有效提取和利用多层特征,同时保持空间信息的连续性,显著提升了检测精度。从初期的基础卷积神经网络到后来的改进模型,如EddyNet和REDN,这些方法在提升检测准确率的同时也面临计算复杂度和资源要求的问题。最新的多涡旋检测模型和多模态数据融合技术进一步推动了涡旋检测的精度和效率。然而,多模态数据的处理和模型设计的复杂性仍然是未来需要解决的关键问题。

3.2 基于全卷积网络方法的海洋涡旋智能检测

全卷积网络(fully convolutional networks, FCN)最初被设计用于图像语义分割任务,其核心思想是将传统卷积神经网络(CNN)中的全连接层转换为卷积层,使得网络能够直接对输入图像进行像素级的分类或检测,从而保留了空间信息,这对于需要精确位置信息的任务如海洋涡旋检测尤为重要。通过多层卷积和上采样操作,FCN不仅能够捕获不同尺度的涡旋特征,还能在保持空间分辨率的同时,实现对整个图像范围的涡旋检测,但是在上采样阶段可能丢失一些细节信息,需要引入更高效的上采样策略或结合后处理算法来细化涡旋边界。

3.2.1 多模态信息融合与深度区域提取

沈飙等[34]提出了一种基于深度区域提取网络的涡旋检测模型(mask region-based convolutional neural network,Mask-RCNN),使用超参数对SSHA、SST和流速数据进行缩放,探究不同数据在涡旋检测中的重要性。该算法利用多模态信息融合提高了涡旋定位和分类的准确性,实现像素级分割,增强了特征提取能力,但数据融合过程复杂,计算成本较高,处理不同数据模态时还需要额外的预处理步骤。LIU等[35]提出了DL-AED模型用于检测异常涡旋(图3),该模型由两个模块组成:一个是用于建立SSHA-SST关系的数据融合模块,另一个是用于检测异常涡旋的特征提取模块。该模型通过结合SSHA特征和SST信息来区分正常和异常涡旋。然而,DL-AED模型对数据融合和异常检测的要求较高,需要大量的训练样本以提升模型的泛化能力,可能受限于数据的质量和多样性。
图3 基于深度学习的异常涡旋检测DL-AED模型的示意图及异常涡旋检测结果

(图件改绘自文献[35]。)

Fig.3 Schematic diagram of the deep learning-based abnormal eddy detection DL-AED model and its output

(Figure is redrawn from reference [35].)

3.2.2 深度迁移学习与目标检测网络

在深度迁移学习与目标检测网络方面,CAO等[36]将深度迁移学习与YOLOF目标检测网络相结合,调整YOLOF目标检测模型的相关参数进行训练。该模型在海洋涡旋的检测效率方面表现出色,准确率达到91%,且避免了主观设置阈值带来的偏差,但对小尺度涡旋的检测能力有限,并且深度迁移学习的过程需要较长时间进行调整和优化。

3.2.3 多特征融合与主成分分析

YAN等[37]利用Sentinel-1卫星获取的SAR图像,提出了多特征融合神经网络(multifeature fusion neural network, MFNN),该网络通过融合多层次特征和多尺度特征来检测海洋涡旋。MFNN使用ResNet-50进行图像特征提取,并通过空间金字塔池化(atrous spatial pyramid pooling,ASPP)模块提取多尺度特征。该网络能够处理SAR图像中的空间变异性问题,多层次和多尺度特征融合增强了图像特征的提取能力,提升了涡旋检测的全面性和准确性,但训练和推断时间较长,对SAR图像中的噪声和干扰较为敏感。DU等[38]提出的DeepEddy架构通过两个主成分分析卷积层来学习涡旋特征,通过二进制哈希层和分块直方图对特征进行非线性变换。针对SAR图像的空间变异性问题,引入空间金字塔模型实现多尺度特征融合,最后使用线性支持向量机分类器对涡旋进行检测。该模型结合主成分分析和空间金字塔模型,提升了特征学习和检测精度,但对训练样本的要求较高,在训练样本的多样性和空间变异性处理能力方面仍有提升空间。

3.2.4 边缘增强与目标检测

ZHANG等[39]开发了一种基于Mask R-CNN和边缘增强的方法来实现SAR图像的涡旋检测。该方法通过使用Canny边缘检测算法提取SAR图像中涡旋的大致边缘,然后将边缘检测结果和相应的原始SAR图像输入Mask R-CNN模型中进行学习,从而加强边缘信息,提高检测精度。贾翊文等[40]采用人工标注的方式构建了包含海洋亚中尺度和小尺度涡旋目标的SAR影像数据集,并对比了RetinaNet、Faster R-CNN和Cascade R-CNN三种深度学习目标检测网络在海洋涡旋检测方面的表现。其中RetinaNet网络效率更高,Faster R-CNN的检测精度更高,而Cascade R-CNN的抗背景干扰能力更强。

3.2.5 跨域检测与高频地波雷达

基于高频地波雷达(high-frequency radar,HFR)数据,LIU等[41]提出了一种跨域亚中尺度涡检测神经网络(cross-domain submesoscale eddy detection neural network,CDEDNet),其中跨域意味着使用一个区域的涡旋数据训练得到的网络来检测另一个区域的涡旋。该模型包括CDEDNet-0、CDEDNet-1和CDEDNet-2三个版本,分别针对不同问题进行优化:CDEDNet-0基于南海HFR数据,CDEDNet-1通过域自适应增加训练样本,CDEDNet-2使用参数迁移学习进行多场景涡旋检测(图4)。CDEDNet在跨域检测方面具有较强的能力,可以适应不同区域的数据,但迁移学习的效果可能受到数据和特征异质性的影响,需要较多的训练样本和迁移学习策略的优化。
图4 基于高频地波雷达智能检测的海洋涡旋[41]

Fig.4 Intelligent detection of oceanic eddies based on HFR[41]

全卷积网络在海洋涡旋检测中展现了其独特优势,通过多层卷积和上采样操作,能够有效捕获涡旋的多尺度特征,并保持空间分辨率。然而,不同的模型和算法在进行涡旋检测时各有优劣。多模态信息融合和深度区域提取技术提高了检测精度,但增加了计算复杂度和预处理要求;深度迁移学习和目标检测网络在中尺度涡旋检测方面表现出色,但对小尺度涡旋的检测能力有限;多特征融合和主成分分析方法提升了特征学习和检测精度,但对训练样本要求较高;边缘增强技术提高了检测精度;跨域检测模型在不同区域的数据适应性方面表现出色。

3.3 基于多尺度上下文方法的海洋涡旋智能检测

基于多尺度上下文方法的海洋涡旋智能检测,通过使用扩张卷积、金字塔池化或者具有不同感受野的卷积核,可以在不增加计算复杂度的情况下捕获更广泛的空间上下文信息,能够捕捉到不同大小的涡旋特征,有助于提高检测的准确性。扩张卷积可以在保持较高分辨率的同时扩大感受野,而金字塔池化则在不同尺度下聚合特征,这有助于模型理解全局与局部特征,从而更准确地识别和定位海洋中的涡旋结构,有效区分真正的涡旋与其他海洋现象。但这种方法的挑战在于如何有效地整合这些信息而不影响计算效率以及如何避免过拟合。

3.3.1 金字塔场景解析网络与扩张卷积

XU等[42]将一种融合金字塔池化模块和空洞卷积的金字塔场景解析网络(pyramid scene parsing network,PSPNet)应用于海洋涡旋检测(图5)。该模型以SSHA数据为输入,不仅融合了不同层次的语义特征和细节特征,而且能够捕获更多图像的全局和局部信息。该架构基于金字塔场景解析模块,该模块使用不同的池化级别来检查不同分辨率的图像,然后融合检测到的特征,以更好地理解全局上下文。与传统VG算法相比,PSPNet算法能够检测到更多的海洋涡旋,特别是在小尺度涡旋检测方面表现出色。虽然该算法最后一个特征图的编码包含了丰富的语义信息,但由于网络模型中的跨行操作导致细节信息丢失,涡旋边界的细节信息损失严重,且计算成本较大,需要较高的计算资源。随后,XU等[43]还探讨了 DeepLabV3+和BiSeNet在海洋涡旋检测中的表现。DeepLabV3+引入了空洞卷积和金字塔池化,提升了多尺度特征的捕获能力,但其检测的涡旋寿命较短;BiSeNet通过引入空间路径避免了涡旋边缘信息的破坏,在大型涡旋检测方面表现更好。然而,这些模型在多尺度上下文融合效率方面存在不足,边缘信息可能丢失,对小尺度涡旋的检测能力有限。
图5 金字塔场景解析网络模型示意图

(图件改绘自文献[42]。)

Fig.5 Schematic diagram of the pyramid scene parsing network (PSPNet)

(Figure is redrawn from reference [42].)

3.3.2 双分支卷积神经网络与多模态数据融合

HANG等[44]提出的一种双分支卷积神经网络(two-branch convolutional neural network,TBCNN)主要由涡旋识别分支和边缘提取分支组成:前者采用单层和多层特征融合方法来更有效地学习多尺度特征,从而检测不同大小的涡旋,后者增强了涡旋的边缘信息。TBCNN在处理涡旋边缘信息方面表现优异,但在小尺度涡旋检测中仍然存在挑战。针对不规则的小尺度涡旋,ZHAO等[45]设计了一种基于多模态数据融合的端到端海洋涡旋检测网络Symmetric Net,该网络能够实现海洋涡旋检测中的多模态数据融合。Symmetric Net通过横向连接将来自下采样通路的低级特征图和来自上采样通路的高级特征图进行融合,同时使用空洞卷积,在不损失分辨率的情况下获得丰富的上下文信息,通过融合多模态数据来检测涡旋。Symmetric Net在小尺度涡旋检测中的准确性有显著提升,但其计算复杂度较高,对数据的质量和数量有较高要求。杜艳玲等[46]提出的旋转区域-密集特征金字塔网络卷积神经网络(rotational region-dense feature pyramid network convolutional neural network,R2-DCNN)是一种端到端的多尺度目标涡旋检测模型,用于解决海洋涡旋检测中的显著冗余、重叠与嵌套问题。该模型融合了涡旋检测网络和密集特征金字塔网络,并采用了多尺度RoI Align机制,以增强特征的传播和重用,确保特征的完整性。R2-DCNN在涡旋检测性能方面表现优异,但其对计算资源的消耗较大,检测速度较慢,对GPU计算资源的需求较高。

3.3.3 多源信息融合与上下文信息关联

基于SST、SSHA和流速数据的多源信息融合输入,FAN等[47]设计了一种对称网络,该网络通过横向连接将来自下采样路径的低级特征映射和来自上采样路径的高级特征映射进行融合,同时引入了扩展卷积,增加感受野以获得更多上下文信息,以多源信息融合方法提高了涡旋的检测精度。在传统目标检测网络的启发下,XIA 等[48]提出了一种上下文与边缘关联网络(context and edge association network,CEA-Net)(图6),该网络以融合残差结构的Darknet-53为主干提取多层次特征,从分层特征图中选择不同层次或大小的特征图来检测多尺度海洋涡旋,为了进一步增强海洋涡旋网络的上下文特征,在主干网络中融入特征空间金字塔模块。此外,基于注意力机制,设计了上下文信息与边缘信息相关联的信息融合模块,保证了检测结果的完整性。
图6 上下文与边缘关联网络的示意图

(图件改绘自文献[48]。)

Fig.6 Schematic diagram of context and edge association network (CEA-Net)

(Figure is redrawn from reference [48].)

基于多尺度上下文方法的海洋涡旋智能检测在捕捉不同尺度的涡旋特征和提高检测精度方面展现出显著优势。扩张卷积和金字塔池化技术通过扩大感受野和聚合多尺度特征,实现了全局与局部特征的有效结合。然而,如何在保证计算效率的同时整合多尺度信息,避免过拟合,仍然是未来研究的重要方向。多源信息融合和上下文信息关联技术虽然提升了检测性能,但也对计算资源和数据质量提出了更高要求。

3.4 基于注意力机制的海洋涡旋智能检测

注意力机制可以动态加权特征,强调感兴趣区域,抑制不相关的背景。其中两种典型的注意力机制网络是通道注意力网络和空间注意力网络。通过学习每个特征通道的重要性,通道注意力可以确定跨特征通道的相互依赖关系,并为每个通道分配唯一的权重系数,突出显著性特征,抑制非显著性特征。空间注意力通过给所有位置的特征分配权重来选择性地聚合彼此相关的特征,从而抑制非重要位置的特征,以实现对特征有意义区域的关注。在海洋涡旋检测中,这不仅有助于识别复杂背景下微弱的涡旋信号,还能增强模型的可解释性,揭示涡旋识别的关键视觉线索。不过,设计和实施有效的注意力机制可能增加模型的复杂度,需要平衡好性能提升与计算成本之间的关系。
ZHANG等[49]提出了基于注意力机制的深度学习模型,包括注意力机制、ResNet和UNet相融合的网络(attention ResNet UNet,AttresUnet)和双重注意力网络(dual attention network,Danet),如图7。这两种模型在处理高纬度地区涡旋时表现优异,尤其在样本失衡问题上表现突出。AttresUnet结合了注意力机制和UNet结构,利用注意力机制强化了特征表示,提升了模型对涡旋的识别能力;Danet通过双重注意力机制(包括通道和空间注意力)进一步提升了模型的性能。然而,注意力机制增加了模型的复杂度,可能导致计算成本增加,训练和推断时间可能较长。SAIDA等[50]提出了一种结合注意力模块(attention module)、串行属性空间金字塔模块(serial atrous spatial pyramid module)和特征增强模块(feature enhancing block)的深度卷积神经网络。该网络通过注意力模块提高不同类别之间的边缘分割度;通过串行属性空间金字塔模块聚合全局特征数据,解决了卷积带来的局部信息丢失问题;同时,特征增强模块提高了特征映射的类信息和全局信息的有效性。实验表明该模型对不同的测试数据具有一致的泛化能力,有助于精确分割海洋涡旋,提高涡旋的检测性能,但模型复杂度较高,可能导致训练不稳定。ZHAO等[51]提出了一种用于涡旋检测的融合金字塔分割注意力机制的 UNet(pyramid split attention eddy detection UNet architecture,PSA-EDUNet)模型,在传统UNet基础上引入了金字塔分割注意力(pyramid split attention,PSA)模块。该模型以SST和SSHA的融合数据为输入,有效捕获不同尺度的空间信息,改进了解码器中特征信息的传递方式,并通过分组卷积解决数据量过大的问题,但对数据预处理和特征融合要求较高。杜艳玲等[52]改进了UNet网络,提出了一种海洋涡旋小目标检测模型,通过获取更加丰富的目标轮廓和尺度特征信息提升不同极性海洋涡旋目标检测精度,还融入了注意力机制,在获取丰富的细粒度底层空间信息的同时减少采样过程中轮廓信息丢失,提高小目标检测精度。
图7 双重注意力网络的示意图

(图件改绘自文献[49]。)

Fig.7 Schematic diagram of the dual attention network (Danet)

(Figure is redrawn from reference [49].)

注意力机制在海洋涡旋智能检测中发挥了重要作用,通过动态加权特征,能够有效提升模型的检测精度和可解释性。通道注意力和空间注意力各自从不同的角度增强了模型对关键特征的关注。然而,这些方法也带来了计算复杂度高和训练不稳定的问题,需要在性能提升与计算成本之间找到平衡。未来的研究可以进一步优化这些注意力机制,以提高检测性能,并探索新的多尺度和多模态融合方法,进一步增强海洋涡旋检测的准确性和效率。

4 总结与展望

通过回顾不同海洋涡旋检测方法的发展和演变,探讨了传统涡旋检测方法的局限性以及人工智能技术在这一领域的应用前景。传统方法因误差大、效率低、全球适用性差等问题,难以应对当今海洋大数据快速增长的需求。相较之下,基于人工智能的涡旋检测方法通过从数据中自动学习特征,克服了传统方法中特征提取的困难,显著提升了检测的准确性和效率。目前,海洋涡旋智能检测已从早期的试验阶段进入实际应用阶段,相关算法不断涌现,极大地提升了检测准确性和效率。利用多源数据和多尺度分析开发高效、准确且普遍适用的涡旋自动检测方法成为可能。
未来,海洋涡旋智能检测的潜在发展方向有:
1)优化算法和网络结构:未来的研究应致力于优化检测模型的网络结构,平衡性能提升与计算成本,提高模型的通用性和实用性。同时,继续完善多尺度上下文融合技术和注意力机制,以避免过拟合,提升检测性能和稳定性。
2)多模态数据融合与跨域检测:探索多模态数据的融合与跨域检测的潜力,集成不同类型和不同尺度的数据,以提高涡旋检测的适应性和精度。包括在涡旋检测模型中纳入地形、海底信息,并通过改进传感器技术和数据校正方法提升数据质量。
3)智能化与自动化:开发更复杂和精细的深度学习模型,利用物理模型的先验知识,推动涡旋三维结构的智能检测和实时监测,实现涡旋自动化检测和决策系统,助力海洋科学研究和海上操作。
综上所述,海洋涡旋智能检测的发展代表了海洋科学领域的重大进步,利用先进的人工智能技术能够更高效、准确地监测和分析海洋涡旋,不仅提升了涡旋检测的精度和速度,还增强了模型在复杂海洋环境中的适应能力。随着涡旋检测技术的不断优化,海洋涡旋的实时监测和预测成为可能,增强了我们对海洋动力过程的理解,为气候研究、海洋资源管理以及海洋环境保护提供了更可靠的数据支持,推动了海洋科学领域的全面发展。

References

Publishing order | Descend order by publishing year | Descend order by cited within
[1]
MORROW R, LE TRAON P Y. Recent advances in observing mesoscale ocean dynamics with satellite altimetry[J]. Advances in Space Research, 2012, 50(8): 1062-1076.

[2]
WANG H Z, LIU D, ZHANG W M, et al. Characterizing the capability of mesoscale eddies to carry drifters in the northwest Pacific[J]. Journal of Oceanology and Limnology, 2020, 38(6): 1711-1728.

[3]
DONG C M, MCWILLIAMS J C, LIU Y, et al. Global heat and salt transports by eddy movement[J]. Nature Commu-nications, 2014, 5: 3294.

[4]
JI J L, DONG C M, ZHANG B, et al. An oceanic eddy statistical comparison using multiple observational data in the Kuroshio extension region[J]. Acta Oceanologica Sinica, 2017, 36(3): 1-7.

[5]
FRENGER I, MÜNNICH M, GRUBER N, et al. Southern Ocean eddy phenomenology[J]. Journal of Geophysical Research: Oceans, 2015, 120(11): 7413-7449.

[6]
CHELTON D B, SCHLAX M G, SAMELSON R M, et al. Global observations of large oceanic eddies[J]. Geophysical Research Letters, 2007, 34(15): L15606.

[7]
董昌明. 海洋涡旋探测与分析[M]. 北京: 科学出版社, 2015.

DONG C M. Oceanic eddy detection and analysis[M]. Beijing: Science Press, 2015.

[8]
FRENGER I, GRUBER N, KNUTTI R, et al. Imprint of Southern Ocean eddies on winds, clouds and rainfall[J]. Nature Geoscience, 2013, 6: 608-612.

[9]
GAUBE P, CHELTON D B, SAMELSON R M, et al. Satellite observations of mesoscale eddy-induced Ekman pumping[J]. Journal of Physical Oceanography, 2015, 45(1): 104-132.

[10]
GAUBE P, BARCELÓ C, MCGILLICUDDY D J Jr, et al. The use of mesoscale eddies by juvenile loggerhead sea turtles (Caretta caretta) in the southwestern Atlantic[J]. PLoS One, 2017, 12(3): e0172839.

[11]
李佳讯, 张韧, 陈奕德, 等. 海洋中尺度涡建模及其在水声传播影响研究中的应用[J]. 海洋通报, 2011, 30(1):37-46.

LI J X, ZHANG R, CHEN Y D, et al. Ocean mesoscale eddy modeling and its application in studying the effect on underwater acoustic propagation[J]. Marine Science Bulletin, 2011, 30(1): 37-46.

[12]
DONG C M, LIU Y, LUMPKIN R, et al. A scheme to identify loops from trajectories of oceanic surface drifters: An application in the Kuroshio extension region[J]. Journal of Atmospheric and Oceanic Technology, 2011, 28(9): 1167-1176.

[13]
NENCIOLI F, DONG C M, DICKEY T, et al. A vector geometry-based eddy detection algorithm and its application to a high-resolution numerical model product and high-frequency radar surface velocities in the southern California bight[J]. Journal of Atmospheric and Oceanic Technology, 2010, 27(3): 564-579.

[14]
ZHANG C H, LI H L, LIU S T, et al. Automatic detection of oceanic eddies in reanalyzed SST images and its application in the East China Sea[J]. Science China Earth Sciences, 2015, 58(12): 2249-2259.

[15]
SUN W J, LIU Y, CHEN G X, et al. Three-dimensional properties of mesoscale cyclonic warm-core and anticyclonic cold-core eddies in the South China Sea[J]. Acta Oceanologica Sinica, 2021, 40(10): 17-29.

[16]
XU G J, YANG J S, DONG C M, et al. Statistical study of submesoscale eddies identified from synthetic aperture radar images in the Luzon Strait and adjacent seas[J]. International Journal of Remote Sensing, 2015, 36(18): 4621-4631.

[17]
JI Y X, XU G J, DONG C M, et al. Submesoscale eddies in the East China Sea detected from SAR images[J]. Acta Oceanologica Sinica, 2021, 40(3): 18-26.

[18]
OKUBO A. Horizontal dispersion of floatable particles in the vicinity of velocity singularities such as convergences[J]. Deep Sea Research and Oceanographic Abstracts, 1970, 17(3): 445-454.

[19]
WEISS J. The dynamics of enstrophy transfer in two-dimensional hydrodynamics[J]. Physica D: Nonlinear Phenomena, 1991, 48(2/3): 273-294.

[20]
HUNT J C R. Vorticity and vortex dynamics in complex turbulent flows[J]. Transactions of the Canadian Society for Mechanical Engineering, 1987, 11(1): 21-35.

[21]
LIU C Q, WANG Y Q, YANG Y, et al. New omega vortex identification method[J]. Science China Physics, Mechanics & Astronomy, 2016, 59(8): 684711.

[22]
CHONG M S, PERRY A E, CANTWELL B J. A general classification of three-dimensional flow fields[J]. Physics of Fluids A: Fluid Dynamics, 1990, 2(5): 765-777.

[23]
JEONG J, HUSSAIN F. On the identification of a vortex[J]. Journal of Fluid Mechanics, 1995, 285: 69-94.

[24]
DOGLIOLI A M, BLANKE B, SPEICH S, et al. Tracking coherent structures in a regional ocean model with wavelet analysis: Application to Cape Basin eddies[J]. Journal of Geophysical Research: Oceans, 2007, 112(C5): C05043.

[25]
CHAIGNEAU A, GIZOLME A, GRADOS C. Mesoscale eddies off Peru in altimeter records: Identification algorithms and eddy spatio-temporal patterns[J]. Progress in Oceano-graphy, 2008, 79(2/3/4): 106-119.

[26]
FRANZ K, ROSCHER R, MILIOTO A, et al. Ocean eddy identification and tracking using neural networks[C]//2018 IEEE International Geoscience and Remote Sensing Sympo-sium(IGARSS). IEEE, 2018: 6887-6890.

[27]
LGUENSAT R, SUN M, FABLET R, et al. EddyNet: A deep neural network for pixel-wise classification of oceanic eddies[C]//2018 IEEE International Geoscience and Remote Sensing Symposium(IGARSS). IEEE, 2018: 1764-1767.

[28]
LI X F, LIU B, ZHENG G, et al. Deep-learning-based information mining from ocean remote-sensing imagery[J]. National Science Review, 2020, 7(10): 1584-1605.

DOI PMID

[29]
DUO Z J, WANG W K, WANG H Z. Oceanic mesoscale eddy detection method based on deep learning[J]. Remote Sensing, 2019, 11(16): 1921.

[30]
SANTANA O J, HERNÁNDEZ-SOSA D, SMITH R N. Oceanic mesoscale eddy detection and convolutional neural network complexity[J]. International Journal of Applied Earth Observation and Geoinformation, 2022, 113: 102973.

[31]
张盟, 杨玉婷, 孙鑫, 等. 基于深度卷积网络的海洋涡旋检测模型[J]. 南京航空航天大学学报, 2020, 52(5):708-713.

ZHANG M, YANG Y T, SUN X, et al. Ocean eddy detection model based on deep convolution neural network[J]. Journal of Nanjing University of Aeronautics & Astronautics, 2020, 52(5): 708-713.

[32]
刘启明, 杨树国, 赵莉. 基于深度卷积神经网络的海洋多目标涡旋检测方法[J]. 青岛科技大学学报:自然科学版, 2022, 43(4):120-126.

LIU Q M, YANG S G, ZHAO L. Ocean multi-eddy detection method based on deep convolution neural network[J]. Journal of Qingdao University of Science and Technology: Natural Science Edition, 2022, 43(4): 120-126.

[33]
LIU Y J, LI X F, REN Y B. A deep learning model for oceanic mesoscale eddy detection based on multi-source remote sensing imagery[C]//2020 IEEE International Geoscience and Remote Sensing Symposium(IGARSS). IEEE, 2020: 6762-6765.

[34]
沈飙, 陈扬, 杨琛, 等. 海洋科学中尺度涡的计算机视觉检测和分析方法[J]. 数据与计算发展前沿, 2020, 2(6):30-41.

SHEN B, CHEN Y, YANG C, et al. Computer vision detection and analysis of mesoscale eddies in marine science[J]. Frontiers of Data & Computing, 2020, 2(6): 30-41.

[35]
LIU Y J, ZHENG Q A, LI X F. Characteristics of global ocean abnormal mesoscale eddies derived from the fusion of sea surface height and temperature data by deep learning[J]. Geophysical Research Letters, 2021, 48(17): e94772.

[36]
CAO L J, ZHANG D J, ZHANG X F, et al. Detection and identification of mesoscale eddies in the South China Sea based on an artificial neural network model—YOLOF and remotely sensed data[J]. Remote Sensing, 2022, 14(21): 5411.

[37]
YAN Z F, CHONG J S, ZHAO Y W, et al. Multifeature fusion neural network for oceanic phenomena detection in SAR images[J]. Sensors, 2019, 20(1): 210.

[38]
DU Y L, SONG W, HE Q, et al. Deep learning with multi-scale feature fusion in remote sensing for automatic oceanic eddy detection[J]. Information Fusion, 2019, 49: 89-99.

[39]
ZHANG D, GADE M, ZHANG J W. SAR eddy detection using mask-RCNN and edge enhancement[C]//2020 IEEE International Geoscience and Remote Sensing Symposium (IGARSS), September 26-October 2, 2020, Waikoloa, HI, USA. IEEE, 2020: 1604-1607.

[40]
贾翊文, 荆文龙, 杨骥, 等. 基于深度学习的SAR影像海洋涡旋检测算法对比分析[J]. 海洋科学进展, 2024, 42(1):137-148.

JIA Y W, JING W L, YANG J, et al. Comparative analysis of ocean eddy detection algorithms based on deep learning in SAR images[J]. Advances in Marine Science, 2024, 42(1): 137-148.

[41]
LIU F Y, ZHOU H, HUANG W M, et al. Cross-domain submesoscale eddy detection neural network for HF radar[J]. Remote Sensing, 2021, 13(13): 2441.

[42]
XU G J, CHENG C, YANG W X, et al. Oceanic eddy identification using an AI scheme[J]. Remote Sensing, 2019, 11: 1349.

[43]
XU G J, XIE W H, DONG C M, et al. Application of three deep learning schemes into oceanic eddy detection[J]. Frontiers in Marine Science, 2021, 8: 672334.

[44]
HANG R L, LI G, XUE M, et al. Identifying oceanic eddy with an edge-enhanced multiscale convolutional network[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2022, 15: 9198-9207.

[45]
ZHAO Y X, FAN Z L, LI H T, et al. SymmetricNet: End-to-end mesoscale eddy detection with multi-modal data fusion[J]. Frontiers in Marine Science, 2023, 10: 1174818.

[46]
杜艳玲, 王丽丽, 黄冬梅, 等. 融合密集特征金字塔的改进R2CNN海洋涡旋自动检测[J]. 智能系统学报, 2023, 18(2):341-351.

DU Y L, WANG L L, HUANG D M, et al. Improved R2CNN ocean eddy automatic detection with a dense feature pyramid[J]. CAAI Transactions on Intelligent Systems, 2023, 18(2): 341-351.

[47]
FAN Z L, ZHONG G Q. SymmetricNet: A mesoscale eddy detection method based on multivariate fusion data[Z/OL]. arXiv, 2019: 1909. 13411. https://arxiv.org/abs/1909.13411v1.

[48]
XIA L H, CHEN G, CHEN X Y, et al. Submesoscale oceanic eddy detection in SAR images using context and edge association network[J]. Frontiers in Marine Science, 2022, 9: 1023624.

[49]
ZHANG Y Y, LIU N, ZHANG Z Y, et al. Detection of Bering Sea slope mesoscale eddies derived from satellite altimetry data by an attention network[J]. Remote Sensing, 2022, 14(19): 4974.

[50]
SAIDA S J, SAHOO S P, ARI S. Deep convolution neural network based semantic segmentation for ocean eddy detection[J]. Expert Systems with Applications, 2023, 219: 119646.

[51]
ZHAO N, HUANG B X, YANG J, et al. Oceanic eddy identification using pyramid split attention U-net with remote sensing imagery[J]. IEEE Geoscience and Remote Sensing Letters, 2023, 20: 1-5.

[52]
杜艳玲, 吴天宇, 陈括, 等. 融合上下文和注意力的海洋涡旋小目标检测[J]. 中国图象图形学报, 2023, 28(11):3509-3519.

DU Y L, WU T Y, CHEN K, et al. Small object detection for ocean eddies using contextual information and attention mechanism[J]. Journal of Image and Graphics, 2023, 28(11): 3509-3519.

Options
Outlines

/

〈 〉