综述 | 浏览量 : 0 下载量: 135 CSCD: 0
  • 导出

  • 分享

  • 收藏

  • 专辑

    • 单帧红外图像多尺度小目标检测技术综述

    • Multiscale small-target detection techniques in single-frame infrared images: a review

    • 寇人可

      12

      王春平

      3

      罗迎

      4

      张勇

      2

      徐泽龙

      2

      彭真明

      5

      武晨燕

      6

      付强

      1
    • 2024年29卷第9期 页码:2625-2649   

      纸质出版日期: 2024-09-16

    • DOI: 10.11834/jig.230788     

    移动端阅览

  • 引用

    阅读全文PDF

  • 寇人可, 王春平, 罗迎, 张勇, 徐泽龙, 彭真明, 武晨燕, 付强. 2024. 单帧红外图像多尺度小目标检测技术综述. 中国图象图形学报, 29(09):2625-2649 DOI: 10.11834/jig.230788.
    Kou Renke, Wang Chunping, Luo Ying, Zhang Yong, Xu Zelong, Peng Zhenming, Wu Chenyan, Fu Qiang. 2024. Multiscale small-target detection techniques in single-frame infrared images: a review. Journal of Image and Graphics, 29(09):2625-2649 DOI: 10.11834/jig.230788.
  •  
  •  
    论文导航

    摘要

    在复杂背景和噪声干扰下,如何利用红外探测系统快速且准确发现特征少、强度低、尺度变化以及运动状态未知的非合作小目标是一项具有挑战性的任务,备受学者关注。为了让读者全面了解该领域的研究现状,本综述将从算法原理、文献、数据集、评价指标、实验和发展方向等方面进行总结概括。首先,解释了以“红外多尺度小目标(点源和小面源)”为对象进行研究的原因并分析了红外多尺度小目标及背景的成像特性;其次,分别讨论了基于经典算法和深度学习算法的原理、设计策略和相关文献,并对比分析了这两类算法的优缺点;然后,总结了现有的红外小目标公开数据集和算法评价指标;最后,分别选取7种经典算法和15种深度学习算法进行定性和定量的对比分析。通过对单帧红外图像多尺度小目标检测技术的全面回顾,对该领域下一步的研究方向给出了9条具体建议。本综述不仅可以帮助初学者快速了解该领域的研究现状和发展趋势,也可作为其他研究的参考资料。此外,在本领域研究过程中,还将现有的20种经典算法、15种深度学习算法和9种评价指标集成在人机交互系统中,相关系统的视频介绍发布可由以下链接得到:https://github.com/kourenke/GUI-system-for-infrared-small-target-detection

    Abstract

    Traditional radar detection is almost ineffective in complex and strong electromagnetic interference environments, especially in the case of stealth targets with an extremely low-radar cross-section. In such scenarios, the infrared search and track (IRST) system, with its strong anti-interference capability and all-weather and all-airspace passive detection, emerges as a viable alternative to radar in target detection. Therefore, this system is widely used, such as reconnaissance and early warning, maritime surveillance, and precision guidance. However, the efficient and accurate use of the IRST system when identifying noncooperative small targets with minimal features, low intensity, scale variations, and unknown motion states in complex backgrounds and amidst noise interference remains a challenging task, which draws attention from scholars globally. To date, the research on infrared (IR) small-target detection technology mainly focuses on long-distance weak and small (point source) targets. However, when the scene and target scale change considerably, false alarms or missed detections easily occur. Therefore, this review focuses on the problem of IR multiscale small-target detection technology. To provide a comprehensive understanding of the current research status in this domain, this review summarizes the field from the perspectives of algorithm principles, literature, datasets, evaluation metrics, experiments, and development directions. First, the research motivation is clarified. In practical application background, with the change in the motion state of noncooperative small targets, the scale also vary greatly, from point-like targets to small targets with fuzzy boundaries to small targets with clear outlines, which is usually difficult to distinguish properly. Therefore, to be more in line with practical application background, this review is comprehensively analyzed from the perspective of IR multiscale small-target detection technology. Second, the imaging characteristics of IR multiscale small targets and backgrounds are analyzed. The targets are characterized by various types, scale changes (from point sources to small surface sources), low intensity, fuzzy boundaries, lack of texture and color information, and unknown motion status. The background also exhibits characterization of by complex and variable scenes and serious noise interference. Then, the algorithm principles, related literature, and advantages and disadvantages of different algorithms for single-frame IR image using multiscale small-target detection techniques are summarized. In this review, we classify IR multiscale small-target single-frame detection techniques into two main categories: classical and deep learning algorithms. The former are classified into background estimation, morphological, directional derivative/gradient/entropy, local contrast, frequency-domain, overcomplete sparse representation, and sparse low-rank decomposition methods based on various modeling ideas. The latter are divided into convolutional neural networks (CNNs), classical algorithm + CNN, and CNN + Transformer based on network structure. In these network structures, for the adequate extraction of the IR multiscale small-target feature information, design strategies, such as contextual feature fusion, multi-scale feature fusion, dense nesting, and generative adversarial networks, have been introduced. To reduce the computational complexity or the limitation of data sample size, scholars introduced strategies, such as lightweight design and weak supervision. Classical algorithms and deep learning algorithms feature their on advantages and disadvantages, and thus, appropriate algorithms should be selected depending on specific problems and needs. In addition, the combination of the two types of algorithms to maximize their advantages is a current research hotspot. Finally, 10 existing public datasets and 17 evaluation metrics are organized, and 7 classical algorithms and 15 deep learning algorithms are selected for qualitative and quantitative comparative analysis. In addition, in the research process in this field, we have integrated 20 existing classical algorithms, 15 deep learning algorithms and 9 evaluation metrics in a human-computer interaction system, and the video introduction of the relevant system is published in kourenke/GUI-system-for-IR-small-target-detection (github.com). A comprehensive review of multiscale small-target detection techniques in single frame IR images resulted in 9 specific suggestions for subsequent research directions in this field. This review cannot only help beginners in rapidly comprehending the research status and development trends in this field but also serve as a reference material for other researchers.

    关键词

    红外图像; 多尺度小目标; 目标检测; 经典算法; 深度学习算法

    Keywords

    infrared image; multi-scale small target; target detection; classical algorithm; deep learning algorithm

    论文引用格式:Kou R K, Wang C P, Luo Y, Zhang Y, Xu Z L, Peng Z M, Wu C Y and Fu Q. 2024. Multiscale small-target detection techniques in single-frame infrared images: a review. Journal of Image and Graphics, 29(09):2625-2649(引用格式:寇人可, 王春平, 罗迎, 张勇, 徐泽龙, 彭真明, 武晨燕, 付强. 2024. 单帧红外图像多尺度小目标检测技术综述. 中国图象图形学报, 29(09):2625-2649)[

    0 引 言

    在反穿透作战的背景下,为了先敌发现、先敌攻击和先敌退出,远距离快速发现并截获目标是取得制胜的关键因素之一。但在复杂强电磁干扰环境下,传统雷达探测近乎失效,而红外探测系统具有全天候、全空域被动工作、抗干扰能力强以及可以更好地识别伪装目标等优点,已成为传统可见光和雷达探测系统的有效补充或替代手段(

    Kou等,20172023a),广泛运用在侦察预警、海上监视和精确制导等任务中。但当目标距离红外探测系统10公里甚至几十公里时,它在图像视场中仅占据较小的区域。同时,当红外辐射受到大气散射折射、光学散焦和各种噪声的影响时,会导致图像中的目标信噪比较低,纹理细节不足(Zhao等,2022)。上述因素均增加了红外小目标检测的难度,特别是对地探测时,虚警率和漏检率会非常高。综上所述,如何利用红外探测系统快速准确地发现特征少、强度低、尺度变化和运动状态未知的非合作小目标是一项具有挑战性的任务,备受国内外学者关注。

    现有的红外小目标检测技术主要包括基于单帧检测和多帧检测两大类(

    李俊宏 等,2020)。其中,多帧检测技术主要是利用目标在帧间的时空关系进行检测,计算复杂度相对较高,实时性较差;而单帧检测技术对初始假设和先验知识的要求较少、计算效率更高,从而备受关注。因此,本综述将全面回顾现有的单帧红外小目标检测技术,如图1所示。从图1看出,本综述将重点围绕具有军事背景的远距离红外小目标检测问题展开研究:近几十年来,已经涌现了大量的经典算法,这些算法主要是针对特定场景和弱小的点状目标进行建模,因此在特定场景下的检测效果较好。但是当场景和目标尺度发生较大变化时,很容易出现虚警或漏检,鲁棒性相对较差。而随着深度学习的发展,一些基于数据驱动的检测或分割网络在尺度发生较大变化的红外小目标检测任务上表现出较好的性能。究其原因,主要是通过大数据的支持,提高了算法的鲁棒性;通过网络轻量化设计,提高了算法的实时性;通过注意力机制、多尺度融合、密集嵌套融合等策略,减少了虚警率和漏检率并提高了目标多尺度的检测能力。但制约深度学习算法的关键因素除了网络结构外,最关键的是数据集的丰富度和标签的精准度。为了进一步扩充数据样本,很多学者提出了各类数据扩充和标签制作的方法。具体可参考第2.1和2.2小节。

    fig

    图1  红外多尺度小目标检测技术发展路线图

    Fig.1  Roadmap of infrared (IR) multi-scale small target detection technology

    icon 下载:  原图 | 高精图 | 低精图

    本综述的研究动机如下:1)在现有红外小目标检测问题上,由于目标距离红外探测系统很远,通常在视场中呈现为高斯分布的点状目标,因此,该领域的绝大多数研究性论文和综述主要是以“点目标(弱小目标)”为对象展开研究。在很多文献(

    Chapple等,1999Zhao等,2022)中对红外弱小目标有过相似但不完全一致的定义。例如,对比度小于15%、信噪比小于1.5或目标像素小于图像的0.15%等。但在实际应用背景中,随着非合作小目标运动状态的改变,尺度也会发生较大的变化,从点状目标到边界模糊的小目标再到轮廓清晰的小目标,通常很难有明确界定。因此,为了更符合实际应用背景,本综述将从“红外多尺度小目标”检测技术的视角进行综合分析。2)本综述旨在使读者全面了解现有的单帧红外多尺度小目标检测技术,包括技术原理、相关文献、优缺点、数据集、评价指标、实验及发展趋势等。

    1 红外多尺度小目标及背景成像特性

    1.1 红外多尺度小目标成像特性分析

    本综述中对红外多尺度小目标的理解较为宽泛,如图2所示。它既包括了具有近似高斯分布的点状目标,也包括了具有一定形状的小面源目标。具体分析如下:

    fig

    图2  单帧红外图像中不同尺度、不同类型的小目标

    Fig.2  Small targets of different scales and types in a single frame IR image ((a) a point-shaped drone in the ground background;

    (b) corresponding to the local 3d mesh in (a); (c) a small ship with a certain shape in the sea background;

    (d) a flight with clear contours in the sky)

    icon 下载:  原图 | 高精图 | 低精图

    1)对于点目标而言。以图2(a)为例,有一个点状无人机在复杂地面背景中缓慢移动。分别选取图2(a)中的目标区域和典型的较暗背景、高亮背景、亮暗背景边缘和高亮噪声局部区域进行标准方差的计算并绘制局部3D网格图,如图2(b)所示。可以看出,真实目标局部近似高斯分布,标准方差约29.67;较暗背景局部平缓且灰度值整体较低,标准方差约17.05;高亮背景局部平缓且灰度值整体较高,标准方差约13.63;亮暗背景边缘局部呈阶梯状,标准方差约35.77;高亮噪声点局部起伏不定,标准方差约43.35。由于红外点状目标具有高斯分布的特点,与背景特征差别较大,可以通过数学建模或深度学习的方法进行检测。但由于噪声与点状目标极为相似,当目标静止不动时,虚警率较高的问题很难解决。因此,很多学者在研究红外点目标检测问题的同时,更关心如何消除噪声的影响,例如探测器盲源和非均匀性矫正等技术。

    2)对于小面源目标而言。以图2(c)和(d)为例,虽然舰船和飞机在红外图像中较为明显,但在精准分割时,很难明确界定目标轮廓的准确位置。此外,对于不同尺度、类型的小目标(如舰船、飞机、坦克),很难用一个通用的数学模型完成检测任务。而随着深度学习的发展,在红外多尺度小目标数据集的支持下,很多学者专注于网络模型的设计和数据集的采集和扩充工作,从而提高了红外多尺度小目标检测的精度、鲁棒性和时效性。

    1.2 红外背景成像特性分析

    随着作战手段多元化,目标很可能出现在各种复杂场景中。典型的红外成像场景可以分为空天背景、地面背景和海面背景等,如图3所示(黄苏琦,2020)。对于复杂的空天背景(图3(a)—(d)),主要的干扰是云层。在不同气象条件和高度下,云层呈现的形态和辐射强度千变万化,特别是与目标形态相似的碎云、云边缘等会对小目标的检测造成干扰,但相比地面和海面背景,检测效果一般要好很多。对于复杂的地面背景(图3(e)—(h)),由于场景种类丰富且差异较大、干扰源多,导致对地探测的虚警率会非常严重。因此,如何进一步提高复杂陆地背景下的红外多尺度小目标检测问题一直是国内外学者研究的重点。对于复杂的海面背景(图3(i)—(l)),海面的杂波、空天的云层以及近岸的陆地背景均是干扰源。因此,该场景中的红外多尺度小目标检测也是非常困难的。

    fig

    图3  复杂的红外背景

    Fig.3  Complex IR background ((a) low cloud sky scene; (b) cumulus cloud sky scene; (c) high cloud sky scene;

    (d) thick cumulus cloud sky scene; (e) architectural and road scenes; (f) rolling mountain scenes; (g) forest scenes;

    (h) remote sensing ground observation scenarios; (i) pure sea and sky scenes; (j) scenarios of sea surface fluctuations;

    (k) cumulus cloud-sea surface scene;(l) near shore sea scenes)

    icon 下载:  原图 | 高精图 | 低精图

    综上所述,红外多尺度小目标的检测本质就是利用目标与非目标的特征区别,通过数学建模或深度学习网络模型进行特征提取,将目标从复杂背景和随机噪声中分离出来。下面将具体介绍红外多尺度小目标的检测算法。

    2 红外多尺度小目标单帧检测技术

    现有的红外多尺度小目标单帧检测技术主要分为经典算法和深度学习算法两类。其中,经典算法主要是以弱小目标为检测对象;深度学习算法适合于多尺度小目标检测任务。下面将针对这两类算法从技术原理、相关文献及优缺点等方面进行分析。

    2.1 经典的红外弱小目标检测算法

    经典的红外弱小目标检测算法根据设计原理的不同,可分为局部检测和全局检测两大类 (

    韩金辉 等,2022),如图4所示。其中,局部检测类算法主要是根据红外弱小目标的局部异质性和对比性完成检测任务;而全局检测类算法是根据目标的稀疏性和背景的低秩性完成检测任务。

    fig

    图4  经典的红外弱小目标检测算法

    Fig.4  Classic IR small target detection algorithms

    icon 下载:  原图 | 高精图 | 低精图

    2.1.1 背景估计法

    从原理上看,一帧完整的红外图像是由背景、目标和随机噪声3个子部分叠加而成。若能通过某种目标的抑制方法将背景估计出来并从原图中减去,即可得到候选目标的显著图,最后通过自适应阈值分割技术检测出目标位置。

    现有的背景估计法既包括中值滤波、最大均值/中值滤波(

    Deshpande等,1999)等传统算法,也包括双边滤波(Bae和Sohng,2010)、二维最小均方差(Cao等,2008张艺璇 等,2019)等自适应背景估计算法。此类算法相对简单,易于实现。但由于检测性能直接依赖于背景估计的准确度,当目标所处的背景非常复杂时,会出现大量的虚警或漏检。

    2.1.2 形态学法

    从原理上看,可根据红外弱小目标局部特性设计一个匹配的滤波模板,使用该模板遍历整幅图像,通过局部腐蚀和膨胀等操作,能够有效地去除图像中的噪声和干扰,同时保留目标的结构信息。

    在利用形态学法检测红外小目标问题上,

    Tom等人(1993)提出了经典的顶帽变换法(Top-Hat),然而Top-Hat算法无法自适应目标的形状和大小。因此,Bai和Zhou(2010)在经典Top-Hat基础上,提出了一种新型Top-Hat结构窗口,并考虑了目标和周围区域之间的差异信息。随后,学者们结合局部熵或对比度信息进一步改进Top-Hat算法,例如,Deng等人(2021)提出了基于M-估计器和局部熵的特殊环形Top-Hat变换。习腾彦等人(2023)提出了基于局部对比度自适应的双结构元素Top-Hat算法。此类算法计算效率高,但检测性能直接依赖于滤波模板的大小和形状。当模板过大时,容易导致较小的目标漏检;反之,则可能会造成大量的虚警。同理,模板的形状若与目标不匹配,也会出现漏检或虚警。因此,对于非合作的多尺度小目标,该算法的鲁棒性表现不佳。

    2.1.3 方向导数/梯度/熵法

    从原理上看,红外弱小目标的梯度较大且方向指向中心,而普通背景的梯度较小且方向随机,背景边缘的梯度方向呈平行状且指向基本一致,如图5所示。因此,可以根据目标和背景的方向导数/梯度的差别有效判别目标的准确位置或者根据均匀区域的熵值比非均匀区域低的特点,将红外弱小目标从复杂背景中分离出来。

    fig

    图5  红外图像中目标及背景的梯度特性

    Fig.5  Gradient characteristics of targets and backgrounds in IR images ((a) point target gradient direction distribution;

    (b) gradient direction distribution of background

    edge and normal background)

    icon 下载:  原图 | 高精图 | 低精图

    Deng等人(2016)设计了一种基于多尺度灰度差加权局部熵检测算法(multiscale gray difference weighted image entropy,MGDWIE)。Aghaziyarati等人(2019)提出了一种累积方向导数加权的绝对平均差值算法。Bi等人(2020)利用多阶方向导数对红外弱小目标进行检测。杨本臣等人(2023)提出了一种基于六方向梯度差各向异性的检测算法。此类算法通过增加“方向”维度或熵信息,进一步补充了目标与复杂背景的特征区别。但在复杂背景和噪声的干扰下,真实的红外弱小目标的形状和大小不是严格的高斯分布。因此,此类算法的检测效果往往不会太好。

    2.1.4 局部对比度法

    从原理上看,这类方法通过模拟人眼的视觉机制,以对比度而非亮度作为目标提取的依据,如图6所示。此类算法的核心技术是建立滤波窗口并遍历计算窗口中心若干像素点与窗口四周邻域若干像素点的灰度“差值”、“比值”或“比—差联合值”作为局部对比度信息来完成红外弱小目标的检测任务。通过此类算法可以迅速获取图像中亮度虽非最高但在局部一般比较突出的目标。

    fig

    图6  人类视觉系统对比度机制

    Fig.6  Contrast mechanisms in the human visual system

    icon 下载:  原图 | 高精图 | 低精图

    近年来,比值型和比—差联合型局部对比度算法备受关注。

    Chen等人(2014)首次提出了比值型局部对比度(local contrast method,LCM)算法,该算法以构建8方向、双层窗口为核心,逐像素自左向右、自上向下遍历计算,耗时过长且无法抑制噪声和复杂背景。因此,Qin和Li(2016)提出新型局部对比度(novel LCM,NLCM)算法,该算法虽然减少了计算量,但以图像块为步长进行遍历的计算方式会导致检测精度有所下降。Han等人(2014201820202021)在LCM算法基础上,先后提出改进局部对比度(improved LCM,ILCM)、相对局部对比度(relative LCM,RLCM)、三层窗口局部对比度(tri-Layer LCM,TLLCM)和增强的最接近平均背景估计(enhanced closest-mean background estimation,ECMBE)等算法,其中比值型ILCM算法容易将小目标当成噪声给平滑掉;比—差联合型RLCM算法计算复杂度较高;比—差联合型TLLCM算法在RLCM算法基础上设计了3层窗口,进一步提高了检测的鲁棒性;比—差联合型ECMBE算法在TLLCM算法基础上进一步考虑了背景层的选择,有效解决了“当目标靠近高亮背景边缘时,容易被平滑掉的问题”。上述文献主要存在两个问题:1)以窗口形式逐像素遍历整幅图像,导致计算效率低下;2)没有考虑目标在红外图像中的全局特性,鲁棒性较差。因此,Kou等人(2022)提出了将改进密度峰全局搜索(improved density peak global search method,IDPGSM)和双权重增强的局部对比度(double-weights enhanced local contrast method,DWELCM)相结合的检测思路,进一步提高了计算效率和检测精度。

    为了直观表征不同对比度算法的性能,本文分别利用差值型高斯差分滤波(difference of Gaussians,DoG)算法(

    Wang等,2012)、比值型LCM、ILCM、NLCM算法和比—差联合型RLCM、TLLCM、IDPGSM+DWELCM算法进行了定性对比实验,如图7所示。从图7可以直观地看出,不同局部对比度检测算法对背景的抑制效果和目标增强的能力。另外,此类算法还可以与背景估计法、形态学法和导数梯度法等相结合,也可以与深度学习网络相结合。

    fig

    图7  经过7种经典局部对比度算法检测后的显著图

    Fig.7  Saliency map after 7 classic local contrast algorithms

    ((a) original IR image; (b) DoG; (c) LCM; (d) ILCM; (e) RLCM; (f) NLCM; (g) TLLCM; (h) IDPGSM + DWELCM)

    icon 下载:  原图 | 高精图 | 低精图

    2.1.5 频域滤波法

    从原理上看,频域滤波与空域滤波中的背景估计法相似,区别是将原始图像的空域信息转换到频域;然后在频域中通过低通滤波器估计背景并与原始信息做差或通过高通滤波直接提取目标信息,如图8图9所示。

    fig

    图8  频域低通滤波法原理图

    Fig.8  Schematic diagram of frequency domain low-pass filtering methods

    icon 下载:  原图 | 高精图 | 低精图
    fig

    图9  频域高通滤波法原理图

    Fig.9  Schematic diagram of frequency domain high-pass filtering methods

    icon 下载:  原图 | 高精图 | 低精图

    例如,

    Yang等人(2004)提出了一种自适应巴特沃斯高通滤波红外弱小目标检测算法。Kong等人(2016)提出了一种基于小波变换的海洋背景下小目标检测算法。Wang等人(2017c)根据目标、背景和噪声之间的频率差,提出了一种非负约束变分模型分解(nonnegativity-constrained variational mode decomposition,NVMD)算法。此类算法的前提是假设红外弱小目标与复杂背景在频域中所对应的频谱信息是不同,但噪声、背景边缘等很可能也包含一定的高频信息,从而导致虚警的出现。

    2.1.6 超完备稀疏表示法(字典法)

    从原理上看,稀疏表示作为信号处理中的一个有用工具,已广泛应用于人脸识别、信号分类和图像去噪等领域(

    Zhao 等,2022)。对于红外弱小目标检测任务,首先将红外图像划分为若干子图像;然后,采用事先构建好的超完备目标字典矩阵或背景字典矩阵对这些子图矩阵进行匹配,并得到最稀疏的表示系数;最后,通过合适的阈值将表示系数较小的子图像判定为背景,而表示系数较大的子图像则可能包含弱小目标。

    根据红外弱小目标的成像特性,为了构建目标字典,通常采用高斯强度模型(Gaussian intensity model,GIM)来模拟目标字典(

    Zhao等,2011)。基于GIM,Li等人(2014b)通过K奇异值分解算法建立自适应目标形态过完备词典。Wang等人(2017a)提出了一种称为稳定多子空间学习(stable multi-subspace learning,SMSL)模型,该模型在L1范数和正交子空间下包含群稀疏性。此外,Qin等人(2016)Liu等人(2017)对目标和背景均构建了超完备字典,丰富了样本库。此类算法中,超完备字典的构建直接决定了检测的效果。然而,现有的字典库很难完全匹配不同复杂场景中非合作多尺度小目标的形态。

    2.1.7 稀疏低秩分解法

    从原理上看,稀疏低秩分解法是利用目标稀疏性和背景的低秩性对红外图像进行分解和重构。具体而言,是通过对矩阵进行稀疏分解和低秩逼近,可以得到目标和背景的稀疏表示系数,从而将弱小目标从背景中提取出来。

    在稀疏低秩分解法中,最经典的是

    Gao等人(2013)提出的基于红外图像块(infrared patch-image,IPI)模型,该算法是将红外弱小目标检测问题转化为低秩稀疏矩阵的优化问题,如图10所示。在IPI算法基础上,Dai等人(2016)开发了加权IPI(weighted IPI,WIPI)模型,该模型可以自适应地分配权重。然而,这并未从根本上解决背景估计不准确的问题。因此,Dai等人(2017)又进一步引入了基于奇异值和最小化的非负IPI算法。Wang等人(2017b)引入正则化因子对分解结果进行约束。Dai和Wu(2017)引入张量概念,将图像块堆叠成三维张量再分解。此外,这类算法还有非常多的参考类型(Zhang和Peng,2019Zhang等,2019Zhu等,2020罗俊海和余杭,2023),这里不一一赘述。尽管上述算法在红外弱小目标检测任务上取得了较好的结果,但由于一些复杂的背景边缘、角落和噪声点处也具有数据的稀疏性,因此很容易被错误地分解进入稀疏矩阵,从而严重干扰真实目标的检测。

    fig

    图10  IPI算法原理图

    Fig.10  Schematic diagram of IPI algorithm

    icon 下载:  原图 | 高精图 | 低精图

    综合2.1.1节—2.1.7节不同算法的原理分析,可以得出:1)经典算法首先假设目标与背景在某个方面具有不同的特征,然后通过人工设计的方法来提取这一特征,从而实现目标检测;2)经典算法严重依赖于前提假设,一旦某个假设在复杂背景下不成立,则该算法也就随之失效;3)经典算法主要是针对红外点状目标进行建模,很难适应于多尺度小目标检测任务。本综述对经典的红外弱小目标各类检测算法进行了总结概括,如表1所示。

    表1  经典红外弱小目标检测算法对比分析
    Table 1  Comparative analysis of classic infrared small and weak target detection algorithms
    类别算法关键技术优点缺点改进方向
    局部检测类 背景估计法 通过空间滤波模型估计背景。 原理简单;计算复杂度低。 当背景复杂时,容易估计失准。 1)设计自适应背景滤波方法、自适应结构窗口、多尺度滑动窗口等;2)尝试不同类型算法的结合;3)构建丰富的字典;4)优化各类算法中的超参数。
    形态学法 设计结构窗口并进行局部腐蚀和膨胀。 可针对目标特点设计结构窗口;计算复杂度低。 当目标的形状和大小发生变化时,会出现漏检。
    方向导数/梯度/熵法 计算每个像素点的方向导数/梯度/熵。 增加“方向”维度或熵信息,进一步补充了目标与复杂背景的特征区别。 可能会陷入局部最优解;计算复杂度相对较高。
    局部对比度法 设计局部窗口,遍历并计算每个像素和邻域的差值/比值/比—差联合值。 兼顾目标增强和复杂背景抑制;定义灵活,可有针对性设计公式。 要求目标必须符合局部对比度较高的特点。
    全局检测类 频域法 利用目标的高频信息和背景的低频信息进行检测。 提供目标及背景的频谱信息,从而可以更好地理解目标的特性。 复杂的背景边缘、噪声等也携带高频信息,容易导致虚警。
    超完备稀疏法 构造一个超完备字典矩阵。 属于机器学习类算法,自适应能力较强。 很难构建出满足所有场景的目标字典。
    稀疏低秩分解法 利用目标的稀疏性和背景的低秩性。 具有较强的可解释性和鲁棒性;不需要目标在局部最突出。 背景边缘和噪声很容易被错误地分解为稀疏矩阵,导致虚警;计算复杂度相对较高。
    icon 下载:  CSV icon 下载:  表格图片

    2.2 基于深度学习的红外多尺度小目标分割算法

    针对2.1小节经典的红外弱小目标检测算法鲁棒性较差、无法自适应多尺度目标检测等问题,随着深度学习的发展和大量红外小目标数据集及高质量掩码标签的公开发布,很多学者也尝试利用深度学习的目标检测算法(

    Ju等,2021McIntosh等,2021Yao等,2022)或分割算法(Kou等,2023c)来完成红外多尺度小目标检测任务。

    现有的目标检测算法可划分为两阶段和单阶段两类。两阶段的方法主要以R-CNN(

    Girshick等,2014)及其衍生算法为代表,它们需要在检测前先进行感兴趣区域的提取,因而计算速度有所限制。而单阶段方法以YOLO(you only look once)系列(Redmon等,2016Redmon和Farhadi,2018Bochkovskiy等,2020)、SSD(single shot multibox detector)(Liu等,2016)等算法为代表,它们取消了感兴趣区域的提取过程,在速度和效率方面有所提升。但是,这些检测算法的输出结果通常是一个锚框,这显然无法精细地提取目标轮廓信息。

    为解决该问题,基于编码—解码结构的语义分割技术(

    Shelhamer等,2017)被引入红外小目标检测领域。截至2024年,基于深度学习的红外多尺度小目标分割网络的主要设计框架包括:卷积神经网络(convolutional neural network,CNN)、经典算法 + CNN以及CNN + Transformer。在这些设计框架中,为了充分提取红外多尺度小目标特征信息,引入了注意力机制特征融合、多尺度特征融合、密集嵌套以及生成对抗等设计策略;为了降低计算复杂度或数据样本量的限制,引入了轻量化设计和弱监督等策略,如图11所示。

    fig

    图11  基于深度学习的红外多尺度小目标分割算法

    Fig.11  Deep learning-based IR multi-scale small target segmentation algorithms

    icon 下载:  原图 | 高精图 | 低精图

    2.2.1 红外小目标数据集介绍

    图11可知,大数据是深度学习技术发展的必要条件,为了进一步提高红外多尺度小目标检测或分割的精度,很多学者开源发布了红外小目标数据集及标签,但受制于成本和保密等因素,相比可见光目标检测领域,红外小目标的公开数据仍显得十分有限,具体如表2所示。

    表2  红外小目标公开数据集汇总
    Table 2  Summary of infrared small target public datasets
    类别数据集样本数量标签形式数据集介绍
    训练集测试集
    单帧 MDvsFA(Wang等,2019) 10 000个 100个 锚框、掩码 第一个公开的红外小目标数据集,其中部分图像为合成图像且分辨率较低。
    SIRST(Dai等,2021a,b) 341个 86个 锚框、掩码 第一个具有高质量图像和标签的真实红外小目标数据集。
    SIRST-V2(Dai等,2023) 512个 256个 锚框、掩码 从数千个不同场景的红外序列图像中选择的单帧红外小目标图像构成。
    SIRST-Aug(Zhang等,2023) 8 525个 545个 锚框、掩码 基于数据集SIRST,进行了数据扩充(裁剪、旋转、位移等)。
    NUDT-SIRST(Li等,2023b) 1 061个 265个 锚框、掩码 该数据集包含多种目标类型、丰富的目标大小和不同的杂波背景。
    IRSTD-1k(Zhang等,2022) 800个 201个 锚框、掩码 该数据集包含不同形状和大小的目标、丰富的背景和准确的像素级注释。
    序列

    IR-small-target-tracking

    (Kou等,2023d)

    10个序列(2 079帧) 锚框 该序列数据集是为了验证红外小目标跟踪算法而建立,包括固定场景拍摄和非固定场景拍摄的序列图像。
    IRSAT(回丙伟 等,2020) 22个序列(16 177帧) 质心 该序列数据集包含天空、地面和其他背景。
    SIATD(Sun等,2021) 350个序列(150 185帧) 质心 该序列数据集是杂波背景下红外小目标的半合成数据集。
    视频 Anti-UAV(Jiang等,2021) >300视频 锚框 该视频数据为不同背景下的无人机(小型目标),包括红外和可见光视频。
    icon 下载:  CSV icon 下载:  表格图片

    现有的红外小目标检测、分割或跟踪的相关文献,绝大多数是以表2中的数据集进行训练和测试。当然,也存在少部分文献使用自建但未公开发布的数据集。为了在有限的数据集上,更好地训练网络模型,

    Wang等人(2022a)使用真实目标的信杂比等信息对新生成的目标进行约束,提高了生成目标的拟真度。Zhang等人(2023)使用尺度展缩、灰度调整、旋转、平移和多目标融合等方法创建若干新的目标样本。但是,这类方法完全使用现有数据集作为基础,对于目标样本库的信息扩充能力比较有限。因此,也有一些学者采用形状与真实目标相似的二维高斯函数或 Gabor 函数进行纯仿真,通过调整参数,可生成各种不同形态的目标数据,有效地扩充目标样本库的信息。例如,Fang等人(2022)用仿真方法,增加了训练图像中的目标数;Chen等人(2022a)用小目标的高斯模型训练一个带监督的注意力模块。

    2.2.2 基于注意力融合策略的分割网络设计

    注意力机制是深度学习中常用的模块,可以方便地嵌入各种网络中。目前在目标检测或分割网络中最常用到的主要是通道注意力和空间注意力。其中,通道注意力是将数据立方中的各通道平面按照最大池化或平均池化的方法归结为一个数值,得到一个一维高度矢量,然后根据该矢量给各通道赋予不同的权重。而空间注意力是先将数据立方按高度进行最大池化或平均池化,得到一个二维平面,然后再根据该平面的数值为图像中的每个位置赋权重。一般而言,权重越高,表示该通道或位置的信息越重要。

    为了有效提取红外多尺度小目标特征,受ExFuse(enhancing feature fusion)(

    Zhang等,2018)、DFN(discriminative feature network)(Yu等,2018a)和SENet(squeeze-and-excitation network)(Hu 等,2018)等注意力机制的启发,Zhang等人(2023)Dai等人(2021b)Zuo等人(2022)Yu等人(2022b)Tong等人(2021)分别设计了不同的非对称上下文注意力特征融合模块,如图12所示。这些模块的共性特点是:采用自上而下的通道注意力机制提取高级语义信息;采用自下而上的空间注意力机制提取低级特征信息。

    fig

    图12  基于空间和通道注意力机制的上下文融合模块设计图

    Fig.12  Design diagram of context fusion module based on spatial and channel attention mechanisms

    ((a)

    Zhang et al. (2023);(b) Dai et al. (2021b);(c) Zuo et al. (2022);(d) Yu et al. (2022b);(e) Tong et al. (2021))

    icon 下载:  原图 | 高精图 | 低精图

    2.2.3 基于多尺度特征融合策略的分割网络设计

    尽管红外小目标在图像中只占据几个到几十个像素,但它们也存在尺度上的变化。为了使网络能够尽可能多地学习不同尺度的红外小目标特征,受空洞空间金字塔池化模块(atrous space pyramid pooling,ASPP)(

    Chen等,2018a)的启发,Huang等人(2021)Zuo等人(2022)Chen等人(2022b)Zhang等人(2023)在红外小目标检测或分割网络中均设计了类似ASPP的多尺度特征融合模块,如图13所示(Kou等,2023b)。这些模块的共性特点是:使用空洞卷积或自适应全局平均池在高级特征图上构建多个不同尺度的特征图;然后,使用Concat操作进行拼接;最后,使用1 × 1卷积进行特征融合。

    fig

    图13  基于多尺度特征融合策略的网络结构图

    Fig.13  Network structure based on multi-scale feature fusion strategy

    icon 下载:  原图 | 高精图 | 低精图

    2.2.4 基于密集嵌套特征融合策略的分割网络设计

    为了更好地检测多尺度小目标,尤其是为了更好地实现像素级的准确分割,研究者们提出应在解码器中加强低层特征与高层特征的融合。早期的特征金字塔网络(feature pyramid network,FPN)(

    Lin 等,2017)中就涉及低层与高层特征图的融合过程。Li等人(2023b)He等人(2022)Liu等人(2022)分别设计了密集嵌套注意力网络(dense nested attention network,DNANet)、亚像素采样楔形网络(subpixel sampling cuneate network,SPSCNet)和图像增强网络,以实现高层次和低层次特征之间的渐进交互,通过反复融合和增强,进而使红外小目标的上下文信息得到了组合和充分利用。这些网络的结构如图14所示(Kou等,2023b)。

    fig

    图14  基于密集嵌套特征融合网络结构设计图

    Fig.14  Design diagram of the network structure based on dense nested interactive feature fusion

    ((a) network structures of DNA-Net (

    Li et al., 2023b); (b) network structures of SPSCNet (He et al., 2022);

    (c) network structures of image enhancement (

    Liu et al., 2022)

    icon 下载:  原图 | 高精图 | 低精图

    2.2.5 基于生成对抗策略的分割网络设计

    生成对抗网络(generative adversarial network,GAN)通过生成器和鉴别器的对抗博弈,以最终达到纳什均衡为目的。在红外多尺度小目标检测任务上,

    Wang等人(2019)首次引入GAN来解决因红外小目标正负样本极度不平衡导致漏检和虚警的问题。Zhao等人(2021)使用仿真目标对生成器进行训练并将训练完成的生成器用于检测目标。Ren等人(2022)使用GAN重建超分辨率区域图像,间接实现了红外多尺度小目标检测。Zhou等人(2022)将红外多尺度小目标检测任务设计成一个竞争游戏框架(pixelGame),通过对抗策略进一步平衡假阴性像素和假阳性像素。此外,为了解决训练数据的稀缺性,Kim和Hwang (2022)利用生成对抗网络生成红外小目标检测合成训练数据。

    2.2.6 基于轻量化策略的分割网络设计

    虽然基于深度学习算法的鲁棒性较好,但网络的计算复杂度相对较高。这对实时性要求很高的红外小目标检测任务而言是很难落地使用的。因此,有很多学者从轻量化网络设计角度出发,开展了大量的研究。例如,

    Hu等人(2022)提出了一种带有13层卷积层的轻量级网络,推理速度可达56帧/s的速度。章琦等人(2022)提出了一种适用于嵌入式边缘计算设备的红外弱小目标检测算法,可以达到20帧/s视频流实时检测。邵斌 等人(2023)提出一种基于实时语义分割的红外小目标检测网络,推理速度可达117 帧/s。Kou等人(2023c)认为,各种多尺度特征融合模块和通道/空间注意力机制融合模块并没有显著提高红外小目标的分割精度,反而导致了参数和浮点运算(floating point operations,FLOPs)的急剧增加。因此,他们取消了复杂的特征融合模块,设计了一个轻量化红外小目标分割网络模型(lightweight infrared small target segmentation network,LW-IRSTNet),该模型的参数压缩到0.16 M,FLOPs压缩到303 M,其计算复杂度远小于14种先进的对比基线结果且在分割精度上与基线最好结果持平。

    2.2.7 结合经典算法的分割网络设计

    经典算法中有许多设计被证明是对弱小目标检测非常有效的。因此,有部分研究者提出在深度学习模型中融入经典算法的思想。例如,

    Dai等人(2021a)最先提出可以对卷积网络提取到的特征图做局部对比度计算。Yu等人(2022a)将用于对比度计算的参数设计成可学习的。Hou等人(2022)先使用不同大小模板提取原始图像的多尺度对比度,再送入深度卷积网络。Sun等人(2023)使用方向性对比度对卷积得到的低层信息进行加权,提高了对背景边缘的抑制能力。

    2.2.8 基于Transformer框架的分割网络设计

    以上2.2.2节—2.2.7节中的研究成果均是在CNN框架下的网络设计。随着Transformer(

    Dosovitskiy等,2021Liu等,2021a)在计算机视觉领域展现出强大的性能,Liu等人(2021b)首次提出了一种基于CNN + Transformer结构的红外小目标分割算法,通过Transformer自注意机制,在更大范围内学习红外小目标的特征信息。随后,Wu等人(2023)提出了多级TransUNet(multi-level TransUNet,MTUNet),它使用混合ViT(vision Transformer)编码器和CNN来提取红外小目标特征。Wang等人(2022b)提出了一种从粗到细的内部注意力感知网络(interior attention-aware network,IAANet),包括用于区域建议网络、语义生成器和基于Transformer的自注意力编码模块。

    2.2.9 基于弱监督的分割网络设计

    在2.2.2节—2.2.8节中,红外多尺度小目标分割网络模型均是通过全像素掩码标签进行训练。但是,由于红外小目标缺少纹理、颜色信息,且边界非常模糊,在像素级掩码标注过程中会耗费大量的人工成本且很难做到准确标注。针对这些问题,

    Ying等人(2023)首次提出利用单点标签完成端到端的红外多尺度小目标分割网络的训练和测试;Li等人(2023a)利用蒙特卡罗线性聚类算法将不同尺度红外小目标的点标签恢复为全像素的掩码标签。以上文献中的核心技术是如何利用点标签生成目标的掩码形状,然后利用伪掩码标签进行全监督学习。然而,现有的方法主要存在两个问题:1)针对多尺度红外小目标,掩码标签生成的精度和鲁棒性还有待提高;2)点标签约束性较高,一般要求在目标的质心或形心。

    因此,

    Kou等人(2023e)提出了基于单点标签和多尺度链生长聚类的自适应红外小目标掩码生成算法,该算法可以自适应恢复复杂背景下的不同数量、尺度、形状、强度的小面源目标或点目标。同时,设计了便捷高效的红外小目标掩码标注软件IR-Labelmask,为解决红外小目标标注难度大、人工成本高的问题提供了一定的帮助。但总体而言,这方面研究尚少,还有很多值得深入研究的课题。

    2.3 经典算法和深度学习算法对比分析

    综合2.1节和2.2节,可以看出经典的红外弱小目标检测算法和基于深度学习的红外多尺度小目标检测算法均具有各自的优势和缺点。因此,只能辩证地进行分析,如表3所示。

    表3  经典算法和深度学习算法对比分析
    Table 3  Comparative analysis of classical algorithms and deep learning algorithms
    方法优点缺点讨论分析
    经典的红外弱小目标检测算法

    解释性强:基于明确的数学模型和物理规律进行建模,其预测结果具有较强的可解释性。

    针对性强:当检测环境和对象均符合所建数学模型和物理规律时,检测精度相对较高。

    依赖知识:需要专业知识和经验来建立数学模型和物理规律,因此对专业知识和技能的要求较高。

    鲁棒性差:仅适用于弱小的点状目标检测任务,当场景和目标变化较大时,容易出现虚警或漏检。

    1)经多年验证,在工程应用中,经典算法更易被采纳。但深度学习算法的工程部署也在逐步实践当中;

    2)应根据具体问题和需求选择合适的算法;

    3)将两类算法相结合,充分发挥它们的优势是目前的研究热点;

    4)如何平衡算法的精度和计算复杂度一直是研究的热点和难点。

    基于深度学习的红外多尺度小目标检测算法

    自动化高:对数据特征进行自主学习,通过反向传播不断优化参数,从而减少人工的干预。

    鲁棒性强:适用于复杂背景中多种类型和尺度的小目标检测或分割任务。

    依赖数据:高度依赖于训练数据的质量和数量,如果训练数据存在偏差或不足,则可能导致算法的性能下降。

    解释性差:被喻为“黑箱”,很难准确地解释某个模型是如何做出某个决策。

    icon 下载:  CSV icon 下载:  表格图片

    3 评价指标

    为了定量评估不同算法的性能,研究人员开发了许多评价指标。由于每个评价指标只能从一方面评价检测性能,这意味着在决策时需要综合考虑不同评价指标的性能。因此,本节分别对经典检测算法和基于深度学习分割算法的常用评价指标进行了整理。

    3.1 经典检测算法的评价指标

    对于经典的红外小目标检测算法,评价指标主要包括(

    Zhao等,2022):局部信噪比(local singal to noise ratio, LSNR)、局部信噪比增益(local singal to noise ratio gain, LSNRG)、局部信号与背景比(local singal to background ratio, LSBR)、局部信号与背景比增益(local singal to background ratio gain, LSBRG)、信杂比(signal to clutter ratio, SCR)、信杂比增益(signal to clutter ratio gain, SCRG)、背景抑制因子(background suppression factor, BSF)、ROC曲线(receiver operating characteristic curve)、ROC曲线下的面积(area under curve,AUC)及每秒传输帧数(frames per second, FPS)等。具体如表4所示。

    表4  经典检测算法评价指标
    Table 4  Evaluation metrics for classical detection algorithms

    评价

    指标

    物理意义数学定义数学表达式中的字符含义评价标准
    LSNR 局部信噪比:测量红外小目标及其邻域的信噪比。 μTμB μTμB分别表示目标及其邻域的最大灰度值。 LSNR越高,则越容易检测到目标。
    LSNRG 局部信噪比增益:描述探测红外小目标的困难程度。 LSNRoutLSNRin LSNRoutLSNRin分别表示处理后的图像和原始图像的LSNR LSNRG越高,检测算法的性能越好。
    LSBR 局部信号与背景比:检测性能依赖于局部区域内的信噪比。 10lgi=LxHxj=LyHy(I(i,  j)-mw)2σw2 (Lx, Ly)(Hx, Hy)表示目标邻域中感兴趣的窗口;I(i,  j)σwmw分别表示感兴趣窗口内的像素值、标准差和均值。 LSBR越高,则越容易检测到目标。
    LSBRG 局部信号与背景比增益:描述探测红外小目标的困难程度。 LSBRout-LSBRin LSBRoutLSBRin分别表示处理后的图像和原始图像的LSBR LSBRG越高,检测算法的性能越好。
    SCR 信杂比:描述探测红外小目标的困难程度。 μt-μbσb μt表示小目标的平均像素值。μbσb分别表示小目标邻域的平均像素和标准差。 SCR越高,则越容易检测到目标。
    SCRG 信杂比增益:从原始图像中提取目标的信息量。 SCRoutSCRin SCRoutSCRin分别表示处理后的图像和原始图像的SCR SCRG越高,检测算法的性能越好。
    BSF 背景抑制因子:描述各种检测方法的背景抑制能力。 σinσout σinσout分别表示原始图像和处理图像中背景区域的标准差。 BSF越高,检测算法的性能就越好

    ROC

    曲线

    描述真阳性比例与假阳性比例的关系,衡量模型的准确性。 TPR=检测到真实目标的数量真实目标的总数量FPR=检测到虚假目标的数量图像总的像素数量 真实目标或虚假目标数量可以定义为像素级或目标质心级。具体计算方法不同文献存在一定差别。 ROC曲线越靠近左上角,相应检测方法的性能越好。
    AUC ROC曲线的下面积。 - - AUC越高,相应的方法越好。
    FPS 计算效率的衡量标准。 - - FPS越高,算法效率越高。

    注:  “-”表示无对应内容。

    icon 下载:  CSV icon 下载:  表格图片

    3.2 深度学习分割算法的评价指标

    基于深度学习的红外小目标分割网络,评价指标主要可以分为计算复杂度评价指标和精度评价指标(

    Kou等,2023b)。其中,计算复杂度评价指标主要包括参数量(params)、浮点运算量(FLOPs)和时效性(FPS);检测精度评价指标主要包括精度(precision)、召回率(recall)、F1分数、交并比(intersection over union, IoU)、归一化交并比(nIoU)、ROC曲线和AUC值等。具体如表5所示。

    表5  深度学习分割算法的评价指标
    Table 5  Evaluation metrics for deep learning segmentation algorithms
    评价指标物理意义数学定义数学表达式中的字符含义评价标准
    params 参数量:模型中需要学习的可调整的权重和偏差。 - - params越低,模型的计算复杂度则越低。
    FLOPs 浮点运算量:模型在执行推断或训练时进行的浮点运算的总数。 - - FLOPs越低,模型的计算复杂度则越低。
    FPS 计算效率的衡量标准。 - - 表4中含义相同。
    precision 精确率:指模型预测为正例的样本中,实际为正例的比例,可以是像素级或目标级。 TPTP+FP 真正例(TP)表示模型正确地预测为正类的像素数量或样本数量;假正例(FP)表示模型错误地预测为正类的像素数量或样本数量;假负例(FN)表示模型错误地预测为负类的像素数量或样本数量。 precision越高,网络模型的性能越好。
    recall 召回率:是指实际为正例的样本中,被模型预测为正例的比例,可以是像素级或目标级。 TPTP+FN recall越高,网络模型的性能越好。
    PR曲线 描述不同置信度阈值下精确率与召回率之间的权衡,可以是像素级或目标级。 - PR曲线越靠近右上角,相应检测方法的性能越好。
    F1 F1值:是精确率和召回率的调和平均值,用于综合评估模型的性能。 2×precision×recallprecision+recall F1越高,网络模型的性能越好。
    IoU 交并比:衡量目标语义分割任务中预测分割掩码与真实分割掩码之间的重叠程度。 TPT+P-TP 真正例(TP)表示模型正确地预测为正类的像素数量。T表示真实目标的像素数量;P表示预测目标的像素数量。 IoU越高,网络模型的性能越好。
    nIoU 归一化像素级交并比:更好地兼顾红外小目标的结构相似性和像素精度。 1NiNTP[i]T[i]+P[i]-TP[i] N表示真实目标的总数量。 nIoU越高,网络模型的性能越好。
    ROC曲线 表4中含义相同。 - - 表4中含义相同。
    AUC 表4中含义相同。 - - 表4中含义相同。

    注:  “-”表示无对应内容。

    icon 下载:  CSV icon 下载:  表格图片

    4 实验分析

    4.1 实验环境配置

    经典算法偏重于数学建模,绝大多数代码的运行环境是MATLAB;而深度学习算法主要是依赖于数据进行学习,绝大多数代码的运行环境是Python。因此,本节中实验中环境配置具体如下。

    4.1.1 经典算法环境配置

    1) 系统配置。Windows 11系统,内存为16 GB,CPU采用第11代Intel(R)Core(TM)i7-11800H,算法运行环境为MATLAB 2021(a)。

    2)算法及超参数设置。本文从2.1.1节—2.1.7节的每一类算法中,分别选取一种典型算法进行实验分析,代表算法及超参数设置如表6所示(

    Zhao等,2022)。

    表6  经典算法及超参数设置
    Table 6  Classic algorithms and hyperparameter settings
    经典算法超参数设置
    背景估计类:MaxMean(Deshpande等,1999) 局部窗口大小:5 × 5
    形态学类:Top-Hat(Tom等,1993) 结构形状:方形;局部窗口大小:5 × 5
    方向导数类:MGDWIE(Deng等,2016) 最大尺度:5;相邻区域大小:7 × 7
    局部对比度类:IDPGSM+DWELCM(Kou等,2022) 随机种子:20; 局部窗口大小:9 × 9; 边界缩进l为3; K1为4; K2为9
    频域类:NVMD(Wang等,2017c) σ1=0.5; σ2=2; N=8; α=200
    超完备稀疏表示:SMSL(Wang等,2017a) 块大小:30 × 30; 步长:10; λ=3/m, n; h=1
    稀疏低秩分解类:IPI(Gao等,2013) 块大小:50 × 50; 滑动步长:9; λ=L/min I, J, P; L=3; ε=10-7
    icon 下载:  CSV icon 下载:  表格图片

    3)数据集。一个公开发布的序列红外小目标数据集(

    Li等,2014a),共30帧,图像分辨率为256 × 200像素。序列图像中,有一个远距离拍摄到的飞机(点状目标)在复杂云层背景中快速移动。

    4.1.2 深度学习算法环境配置

    1)系统配置。使用Ubuntu 18.04系统,内存为32 GB,CPU为Intel®Xeon(R)E5-2630 v3@2.40 GHz × 32,GPU为NVIDIA GeForce RTX 2080 Ti。

    2)算法。U-Net(

    Ronneberger等,2015), FusionNet(Quan等,2021), ENet(Paszke等,2016), BiSeNet(Yu等,2018b), DeeplabV3+(Chen等,2018b), DABNet(Li等,2019a), DFANet(Li等,2019b), CGNet(Wu等,2021), ACM-UNet(Dai等,2021b), LSPMNet(Huang等,2021), DNANet(Li等,2023b), AGPCNet(Zhang等,2023), ABCNet(Pan等,2023), MTUNet(Wu等,2023)和LW-IRSTNet(Kou等,2023c)。

    3)超参数配置。Batch大小为64,Epoch为100,优化器为SGD(stochastic gradient descent),动量为0.9,权重衰减为10-4,初始学习率为0.05,学习率策略为poly,损失函数为SoftIoULoss。

    4)数据集:考虑到公共数据集中没有明确定义红外小目标的形状和大小,并且数据样本量较小,融合了表2所列的4个现有的数据集(MDvsFA、SIRST、SIRST-Aug、NUDT-SIRST)进行训练和测试,以验证不同算法的鲁棒性和多尺度检测能力。此外,本文在红外成像中考虑了黑热模式,因此数据集MDFA中的背景和目标进行灰度反转。

    4.2 经典算法对比分析

    4.2.1 定性分析

    图15展示了经7种经典算法处理后获得的目标显著图。从图15可以直观地看出,在复杂云层背景中有一架快速移动的飞机(点状目标)。其中,利用MaxMean、Top-Hat、MGDWIE、NVMD和SMSL等算法进行检测后的显著图中存在更多的残余杂波。而局部对比度类IDPGSM+DWELCM算法和稀疏低秩分解类IPI算法的检测效果要好很多。从现阶段的文献数量统计角度看,在经典算法的研究中,恰恰是局部对比度类算法和稀疏低秩分解类算法的研究较为丰富,数学模型相对更加完善。

    fig

    图15  经7种经典算法处理后获得的目标显著图

    Fig.15  Target saliency map obtained after processing with seven classic algorithms ((a) original infrared image;

    (b) MaxMean; (c) Top-Hat; (d) MGDWIE; (e) IDPGSM + DWELCM; (f) NVMD; (g) SMSL; (h) IPI)

    icon 下载:  原图 | 高精图 | 低精图

    4.2.2 定量分析

    本文对图15中的7种经典算法在序列数据集上进行了定量评估,如表7所示。可以看出,IDPGSM + DWELCM算法和IPI算法的SCR、SCRG、BSF相比其他对比算法,性能表现排名第1和第2。这映证了图15中的直观分析结果。

    表7  经典算法定量结果
    Table 7  Quantitative results of classical algorithms
    算法评价指标
    SCRSCRGBSF
    MaxMean 1.74 1.13 1.36
    Top-Hat 8.56 6.05 1.88
    MGDWIE 16.36 9.6 2.57
    IDPGSM + DWELCM 178.52 99.78 67.47
    NVMD 8.93 6.13 2.03
    SMSL 14.14 8.01 3.51
    IPI 99.39 61.36 22.86
    icon 下载:  CSV icon 下载:  表格图片

    4.3 深度学习分割算法对比分析

    4.3.1 定性分析

    经典算法主要是针对弱小的点状目标进行检测,而深度学习算法可以适应多尺度小目标的检测任务。因此,本文选取了不同复杂背景下的3种尺度的小目标(点状目标、边界模糊的小目标和轮廓清楚的面目标)进行测试,如图16所示(

    Kou等,2023c),其中蓝色、绿色和红色分别代表虚警、漏检和正确检测结果。

    fig

    图16  在复杂背景下红外多尺度小目标分割结果

    Fig.16  Segmentation results of IR multi-scale small targets in complex backgrounds ((a), (b), and (c) are the segmentation results of 15 segmentation algorithms for infrared small targets in ground, jungle, and sky backgrounds, respectively)

    icon 下载:  原图 | 高精图 | 低精图

    图16可以直观看出,15种不同的分割网络均适用于多尺度红外小目标分割任务。但由于网络结构设计不同,分割效果差别也很大。在图16(a)中,受地面杂波和噪声的干扰,UNet、FusionNet、ENet、DFANet、ACMNet、DNANet和ABCNet这7种算法均出现了虚警;在图16(b)中,丛林为前景而飞机在丛林的后方,受到丛林干扰,只有LW-IRSTNet、MTUNet、ABCNet、AGPCNet、DNANet、CGNet、DeeplabV3+这7种算法有效检测出了目标,而其他8种算法均存在漏检或虚警;在图16(c)中,虽然15种算法均有效分割出目标形状,但分割的精度有差别。其中,LW-IRSTNet、MTUNet、ABCNet和DNANet的分割效果相对较好。

    4.3.2 定量分析

    为了进一步定量验证以上15种分割网络的计算复杂度和分割效果,采用表6中的评价指标进行分析,实验结果如表8所示(

    Kou等,2023c)。从轻量化角度看:LW-IRSTNet、ACM-UNet、ENet这3种网络的计算复杂度相对较低;从分割效果角度看:LW-IRSTNet、MTUNet、AGPCNet、DNANet这4种网络的分割精度相对较高;从工程落地角度看:LW-IRSTNet有效地平衡了分割精度和计算复杂度。当该算法部署在国产香橙Pi5嵌入式平台上,其推理速度可以满足实时性要求。

    表8  数据驱动算法定量检测结果
    Table 8  Quantitative detection results of data-driven algorithms
    类别算法FLOPs/Mparams/MFPS/(帧/s)

    融合数据集(MDFA(黑热)+ SIRST(白热)

    + SIRST Aug(白热)+ NUDT-SIRST(白热))

    precisionrecallF1IoU

    经典的/实时/显著性

    目标分割网络

    UNet 65 475.44 34.52 2.22 0.746 2 0.829 8 0.785 8 0.647 1
    FusionNet 123 722.00 81.66 1.43 0.777 8 0.721 4 0.748 5 0.598 1
    ENet 535.15 0.35 12.24 0.711 4 0.777 9 0.743 1 0.591 3
    BiSeNet 10 176.43 23.06 20.52 0.707 4 0.684 6 0.695 8 0.533 5
    DeeplabV3+ 20 755.57 54.61 2.01 0.774 0 0.671 6 0.719 2 0.561 5
    DABNet 1 321.11 0.75 10.87 0.723 6 0.730 4 0.727 0 0.571 0
    DFANet 541.79 2.36 3.62 0.710 9 0.664 4 0.686 8 0.523 0
    CGNet 888.47 0.49 11.87 0.727 4 0.715 4 0.721 3 0.564 1

    针对红外小目标而

    设计的分割网络

    ACM-UNet 503.79 0.52 36.04 0.675 6 0.717 1 0.695 7 0.533 4
    LSPMNet 61 706.93 31.14 0.07 0.671 2 0.722 0 0.695 7 0.533 4
    DNANet 14 279.08 4.69 2.78 0.827 5 0.757 4 0.790 9 0.654 2
    AGPCNet 43 180.42 12.35 2.63 0.803 9 0.804 7 0.804 3 0.672 7
    ABCNet 83 132.98 73.51 1.60 0.781 0 0.777 2 0.779 1 0.638 2
    MTUNet 6 216.81 8.22 9.40 0.807 3 0.801 4 0.804 4 0.672 7
    LW-IRSTNet 303.53 0.16 30.03 0.811 3 0.785 0 0.797 9 0.663 8

    注:  加粗、下划线、斜体字体分别表示各列排名最优、次优、第三的结果(

    Kou等,2023c

    icon 下载:  CSV icon 下载:  表格图片

    5 检测算法人机交互系统的设计

    针对现有的红外小目标检测算法种类繁多、代码复现耗时耗力、工程应用难的问题,本团队分别设计了基于经典算法和深度学习算法的红外小目标检测人机交互系统,并集成了20种经典算法、15种深度学习算法和9种评价指标。我们期望通过不断地优化完善,建立一个红外小目标检测算法的基准平台。相关系统的介绍发布在kourenke/GUI-system-for-infrared-small-target-detection(github.com)。

    6 结 语

    虽然红外小目标检测技术广泛运用在侦察预警等各类任务上并取得了较好的检测结果,但在现有材料科学和成像器件的硬件制约下,面对动态变化的复杂背景,如何进一步提高远距离非合作红外小目标检测的精度、鲁棒性、实时性并降低虚警率和漏检率仍有很大的空间。针对该课题,本文提出如下建议:

    1)研究对象。正如本文强调的红外多尺度小目标检测问题,检测对象不应局限于弱小(点状)目标,而是要有一定尺度的适应范围,从点目标到具有一定形状的小目标均属于被研究的对象。

    2)研究方向。为了提升红外小目标的检测能力,不应局限于算法设计层面,还可以从战术应用层面和系统性评估层面进行改进,通过综合手段提升红外小目标检测性能。例如,在算法设计层面:(1)可进一步探索经典算法和深度学习相结合的方法,充分发挥两种检测思路的优势,构造出新的检测框架;(2)可关注空时结合类算法,充分利用单帧和帧间信息提取目标特征;(3)需重视正演与反演相结合的思想,从而减少多解性问题,提高模型的鲁棒性。在战术应用层面,可以通过红外目标辐射建模、大气透过率建模及作用距离建模,仿真评估不同目标在不同气象条件下的作用距离包线,进而探究最佳探测点和有效的探测区域(

    Kou等,20172023a)。试想,在最佳的探测角度上,目标的辐射强度相对较大,从而结合高效的检测算法,势必会进一步提升检测能力。在系统评估层面,可以通过外观检查、实验室标定、外场测试和仿真评估等综合手段筛选出性能优异的红外探测系统。试想,利用性能相对最好的设备,在最佳的探测角度上,通过高效的检测算法,势必会进一步提升检测能力。

    3)研究场景。现有大多数文献并未区分应用场景和目标种类。事实上,在经典算法中,可以深度挖掘每一类场景和每一种目标的特征属性,进而针对性建模;在深度学习算法中,可以分类采集不同场景和目标的数据集,进而针对性训练网络。此外,根据近年来各类基金的申报指南,可重点关注复杂陆地背景下的红外点状目标的检测与持续稳定跟踪问题。

    4)样本数据。基于深度学习的红外多尺度小目标检测算法非常依赖数据和标签的数量、质量和丰富度。因此,这方面的基础性工作仍要持续进行。

    5)评价标准。现有的评估指标很难全面反映算法的性能。例如IoU指标,它的好坏并不能完全反映小目标的检测性能。因此,设计合理的评估指标是非常必要的,有待进一步讨论。

    6)材料科学。随着材料和微电子技术的发展,红外焦平面阵列、红外光电物理等先进技术正在推动红外探测器件向高分辨率、大面积阵列和单片多波段方向发展。因此,采用性能更高的红外图像采集系统可以显示大量信息,更准确地检测目标。

    7)探测体制。利用红外中、长波段融合探测技术,红外与可见光融合技术、红外与雷达融合技术等手段,可以有效补充信息,进一步减少虚警率和漏检率。

    8)任务延伸。红外多尺度小目标检测技术是为后续的跟踪、打击等任务提供必要的数据支持。因此,应充分考虑后续的任务需求,有针对性设计红外小目标检测算法。

    9)工程落地。现有的绝大多数文献仅停留在算法的理论研究阶段。为积极推动算法的工程应用,建议在算法设计之初就要考虑与不同硬件的兼容性问题、部署后的实时性问题,并针对不同硬件相应地优化算法代码。例如,在深度学习算法中通常使用Pytorch框架进行训练和推理,但部署在不同嵌入式平台上,通常需要转化硬件所适配的模型框架,并充分调用NPU(neural network processing unit)、GPU(graphics processing unit)等资源,从而加速算法的推理效率。

    参考文献(References)

    Aghaziyarati SMoradi S and Talebi H. 2019. Small infrared target detection using absolute average difference weighted by cumulative directional derivatives. Infrared Physics and Technology10178-87DOI: 10.1016/j.infrared.2019.06.003 [百度学术] 

    Bae T W and Sohng K I. 2010. Small target detection using bilateral filter based on edge component. Journal of Infrared, Millimeter, and Terahertz Waves316): 735-743DOI: 10.1007/s10762-010-9633-0 [百度学术] 

    Bai X Z and Zhou F G. 2010. Analysis of new top-hat transformation and the application for infrared dim small target detection. Pattern Recognition436): 2145-2156DOI: 10.1016/j.patcog.2009.12.023 [百度学术] 

    Bi Y GChen J ZSun H and Bai X Z. 2020. Fast detection of distant, infrared targets in a single image using multiorder directional derivatives. IEEE Transactions on Aerospace and Electronic Systems563): 2422-2436DOI: 10.1109/TAES.2019.2946678 [百度学术] 

    Bochkovskiy AWang C Y and Liao H Y M. 2020. YOLOv4: optimal speed and accuracy of object detection [EB/OL]. [2023-11-01]. https://arxiv.org/pdf/2004.10934.pdf [百度学术] 

    Cao YLiu R M and Yang J. 2008. Small target detection using two-dimensional least mean square (TDLMS) filter based on neighborhood analysis. International Journal of Infrared and Millimeter Waves292): 188-200DOI: 10.1007/s10762-007-9313-x [百度学术] 

    Chapple P BBertilone D CCaprari R SAngeli S and Newsam G N. 1999. Target detection in infrared and SAR terrain images using a non-Gaussian stochastic model//Proceedings Volume 3699, Targets and Backgrounds: Characterization and Representation V. Orlando, United StatesSPIE: 122-132DOI: 10.1117/12.352951 [百度学术] 

    Chen C L PLi HWei Y TXia T and Tang Y Y. 2014. A local contrast method for small infrared target detection. IEEE Transactions on Geoscience and Remote Sensing521): 574-581DOI: 10.1109/TGRS.2013.2242477 [百度学术] 

    Chen FGao C QLiu F CZhao YZhou Y XMeng D Y and Zuo W M. 2022a. Local patch network with global attention for infrared small target detection. IEEE Transactions on Aerospace and Electronic Systems585): 3979-3991DOI: 10.1109/TAES.2022.3159308 [百度学术] 

    Chen L CPapandreou GKokkinos IMurphy K and Yuille A L. 2018a. DeepLab: semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected CRFs. IEEE Transactions on Pattern Analysis and Machine Intelligence404): 834-848DOI: 10.1109/TPAMI.2017.2699184 [百度学术] 

    Chen L CZhu Y KPapandreou GSchroff F and Adam H. 2018b. Encoder-decoder with atrous separable convolution for semantic image segmentation//Proceedings of the 15th European Conference on Computer Vision. Munich, GermanySpringer: 833-851DOI: 10.1007/978-3-030-01234-2_49 [百度学术] 

    Chen Y HLi L YLiu X and Su X F. 2022b. A multi-task framework for infrared small target detection and segmentation. IEEE Transactions on Geoscience and Remote Sensing60: #5003109DOI: 10.1109/TGRS.2022.3195740 [百度学术] 

    Dai Y MLi XZhou FQian Y LChen Y H and Yang J. 2023. One-stage cascade refinement networks for infrared small target detection. IEEE Transactions on Geoscience and Remote Sensing61: #5000917DOI: 10.1109/TGRS.2023.3243062 [百度学术] 

    Dai Y M and Wu Y Q. 2017. Reweighted infrared patch-tensor model with both nonlocal and local priors for single-frame small target detection. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing108): 3752-3767DOI: 10.1109/JSTARS.2017.2700023 [百度学术] 

    Dai Y MWu Y Q and Song Y. 2016. Infrared small target and background separation via column-wise weighted robust principal component analysis. Infrared Physics and Technology77421-430DOI: 10.1016/j.infrared.2016.06.021 [百度学术] 

    Dai Y MWu Y QSong Y and Guo J. 2017. Non-negative infrared patch-image model: robust target-background separation via partial sum minimization of singular values. Infrared Physics and Technology81182-194DOI: 10.1016/j.infrared.2017.01.009 [百度学术] 

    Dai Y MWu Y QZhou F and Barnard K. 2021a. Attentional local contrast networks for infrared small target detection. IEEE Transactions on Geoscience and Remote Sensing5911): 9813-9824DOI: 10.1109/TGRS.2020.3044958 [百度学术] 

    Dai Y MWu Y QZhou F and Barnard K. 2021b. Asymmetric contextual modulation for infrared small target detection//Proceedings of 2021 IEEE Winter Conference on Applications of Computer Vision (WACV). Waikoloa, USAIEEE: 949-958DOI: 10.1109/WACV48630.2021.00099 [百度学术] 

    Deng HSun X PLiu M LYe C H and Zhou X. 2016. Infrared small-target detection using multiscale gray difference weighted image entropy. IEEE Transactions on Aerospace and Electronic Systems521): 60-72DOI: 10.1109/TAES.2015.140878 [百度学术] 

    Deng L ZZhang J KXu G X and Zhu H. 2021. Infrared small target detection via adaptive M-estimator ring top-hat transformation. Pattern Recognition112: #107729DOI: 10.1016/j.patcog.2020.107729 [百度学术] 

    Deshpande S DEr M HVenkateswarlu R and Chan P. 1999. Max-mean and max-median filters for detection of small targets//Proceedings Volume 3809, Signal and Data Processing of Small Targets. Denver, United StatesSPIE: 74-83DOI: 10.1117/12.364049 [百度学术] 

    Dosovitskiy ABeyer LKolesnikov AWeissenborn DZhai X HUnterthiner TDehghani MMinderer MHeigold GGelly SUszkoreit J and Houlsby N. 2021. An image is worth 16x16 words: Transformers for image recognition at scale [EB/OL]. [2023-11-01]. https://arxiv.org/pdf/2010.11929. pdf [百度学术] 

    Fang H ZDing LWang L MChang YYan L X and Han J H. 2022. Infrared small UAV target detection based on depthwise separable residual dense network and multiscale feature fusion. IEEE Transactions on Instrumentation and Measurement71: #5019120DOI: 10.1109/TIM.2022.3198490 [百度学术] 

    Gao C QMeng D YYang YWang Y TZhou X F and Hauptmann A G. 2013. Infrared patch-image model for small target detection in a single image. IEEE Transactions on Image Processing2212): 4996-5009DOI: 10.1109/TIP.2013.2281420 [百度学术] 

    Girshick RDonahue JDarrell T and Malik J. 2014. Rich feature hierarchies for accurate object detection and semantic segmentation//Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus, USAIEEE: 580-587DOI: 10.1109/CVPR.2014.81 [百度学术] 

    Han J HLiang KZhou BZhu X YZhao J and Zhao L L. 2018. Infrared small target detection utilizing the multiscale relative local contrast measure. IEEE Geoscience and Remote Sensing Letters154): 612-616DOI: 10.1109/LGRS.2018.2790909 [百度学术] 

    Han J HLiu C YLiu Y CLuo ZZhang X J and Niu Q F. 2021. Infrared small target detection utilizing the enhanced closest-mean background estimation. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing14645-662DOI: 10.1109/JSTARS.2020.3038442 [百度学术] 

    Han J HMa YZhou BFan FLiang K and Fang Y. 2014. A robust infrared small target detection algorithm based on human visual system. IEEE Geoscience and Remote Sensing Letters1112): 2168-2172DOI: 10.1109/LGRS.2014.2323236 [百度学术] 

    Han J HMoradi SFaramarzi ILiu C YZhang H H and Zhao Q. 2020. A local contrast method for infrared small-target detection utilizing a tri-layer window. IEEE Geoscience and Remote Sensing Letters1710): 1822-1826DOI: 10.1109/LGRS.2019.2954578 [百度学术] 

    Han J HWei Y TPeng Z MZhao QChen Y HQin Y and Li N. 2022. Infrared dim and small target detection: a review. Infrared and Laser Engineering514): #20210393 [百度学术] 

    韩金辉魏艳涛彭真明赵骞陈耀弘覃尧李楠. 2022. 红外弱小目标检测方法综述. 红外与激光工程514): #20210393DOI: 10.3788/IRLA20210393 [百度学术] 

    He XLing QZhang Y YLin Z P and Zhou S L. 2022. Detecting dim small target in infrared images via subpixel sampling cuneate network. IEEE Geoscience and Remote Sensing Letters19: #6513005DOI: 10.1109/LGRS.2022.3189225 [百度学术] 

    Hou Q YWang Z PTan F JZhao YZheng H L and Zhang W. 2022. RISTDnet: robust infrared small target detection network. IEEE Geoscience and Remote Sensing Letters19: #7000805DOI: 10.1109/LGRS.2021.3050828 [百度学术] 

    Hu JShen L and Sun G. 2018. Squeeze-and-excitation networks//Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake, USAIEEE: 7132-7141DOI: 10.1109/CVPR.2018.00745 [百度学术] 

    Hu KSun W HNie Z BCheng RChen S and Kang Y. 2022. Real-time infrared small target detection network and accelerator design. Integration87241-252DOI: 10.1016/j.vlsi.2022.07.008 [百度学术] 

    Huang LDai S SHuang THuang X K and Wang H N. 2021. Infrared small target segmentation with multiscale feature representation. Infrared Physics and Technology116: #103755DOI: 10.1016/j.infrared.2021.103755 [百度学术] 

    Huang S Q. 2020. Infrared Dim Small Target Detection Based on Joint Temporal-Spatial-Spectral Features. ChengduUniversity of Electronic Science and Technology of China (黄苏琦. 2020. 时空谱多特征联合红外弱小目标检测方法研究. 成都: 电子科技大学) [百度学术] 

    Hui B WSong Z YFan H QZhong PHu W DZhang X FLing J GSu H YJin WZhang Y J and Bai Y X. 2020. A dataset for infrared detection and tracking of dim-small aircraft targets under ground/air background. China Scientific Data53): 286-297 [百度学术] 

    回丙伟宋志勇范红旗钟平胡卫东张晓峰凌建国苏宏艳金威张永杰白亚茜. 2020. 地/空背景下红外图像弱小飞机目标检测跟踪数据集. 中国科学数据53): 286-297DOI: 10.11922/csdata.2019.0074.zh [百度学术] 

    Jiang NWang K RPeng X KYu X HWang QXing J LLi G RZhao JGuo G D and Han Z J. 2021. Anti-UAV: a large multi-modal benchmark for UAV tracking [EB/OL]. [2023-11-01]. https://arxiv.org/pdf/2101.08466.pdf [百度学术] 

    Ju M RLuo J NLiu G Q and Luo H B. 2021. ISTDet: an efficient end-to-end neural network for infrared small target detection. Infrared Physics and Technology114: #103659DOI: 10.1016/j.infrared.2021.103659 [百度学术] 

    Kim J H and Hwang Y. 2022. GAN-based synthetic data augmentation for infrared small target detection. IEEE Transactions on Geoscience and Remote Sensing60: #5002512DOI: 10.1109/TGRS.2022.3179891 [百度学术] 

    Kong X YLiu LQian Y S and Cui M J. 2016. Automatic detection of sea-sky horizon line and small targets in maritime infrared imagery. Infrared Physics and Technology76185-199DOI: 10.1016/j.infrared.2016.01.016 [百度学术] 

    Kou R KWang H YZhao Z H and Wang F. 2017. Optimum selection of detection point and threshold noise ratio of airborne infrared search and track systems. Applied Optics5618): #5268DOI: 10.1364/AO.56.005268 [百度学术] 

    Kou R KWang C PFu QYu Y and Zhang D D. 2022. Infrared small target detection based on the improved density peak global search and human visual local contrast mechanism. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing156144-6157DOI: 10.1109/JSTARS.2022.3193884 [百度学术] 

    Kou R KWang C PFu QZhang J J and Huang F Y. 2023a. Detection model and performance evaluation for the infrared search and tracking system. Applied Optics622): 398-410DOI: 10.1364/AO.469807 [百度学术] 

    Kou R KWang C PPeng Z MZhao Z HChen Y HHan J HHuang F YYu Y and Fu Q. 2023b. Infrared small target segmentation networks: a survey. Pattern Recognition143: #109788DOI: 10.1016/j.patcog.2023.109788 [百度学术] 

    Kou R KWang C PYu YPeng Z MYang M BHuang F Y and Fu Q. 2023c. LW-IRSTNet: lightweight infrared small target segmentation network and application deployment. IEEE Transactions on Geoscience and Remote Sensing61: #5621313DOI: 10.1109/TGRS.2023.3314586 [百度学术] 

    Kou R KWang C PYu YPeng Z MHuang F Y and Fu Q. 2023d. Infrared small target tracking algorithm via segmentation network and multistrategy fusion. IEEE Transactions on Geoscience and Remote Sensing61: #5612912DOI: 10.1109/TGRS.2023.3286836 [百度学术] 

    Kou R KWang C PFu QLi Z WLuo YLi B YLi W, and Peng Z M. 2023e. MCGC: a multiscale chain growth clustering algorithm for generating infrared small target mask under single-point supervision. IEEE Transactions on Geoscience and Remote Sensing62: #5620412DOI: 10.1109/TGRS.2024.3390756 [百度学术] 

    Li B YWang Y QWang L GZhang FLiu TLiu Z PAn W and Guo Y L. 2023a. Monte Carlo linear clustering with single-point supervision is enough for infrared small target detection//Proceedings of 2023 IEEE/CVF International Conference on Computer Vision. Paris, FranceIEEE: 1009-1019DOI: 10.1109/ICCV51070.2023.00099 [百度学术] 

    Li B YXiao CWang L GWang Y QLin Z PLi MAn W and Guo Y L. 2023b. Dense nested attention network for infrared small target detection. IEEE Transactions on Image Processing321745-1758DOI: 10.1109/TIP.2022.3199107 [百度学术] 

    Li GYun IKim J and Kim J. 2019a. DABNet: depth-wise asymmetric bottleneck for real-time semantic segmentation [EB/OL]. [2023-11-01]. https://arxiv.org/pdf/1907.11357.pdf [百度学术] 

    Li H CXiong P FFan H Q and Sun J. 2019b. DFANet: deep feature aggregation for real-time semantic segmentation//Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach, USAIEEE: 9514-9523DOI: 10.1109/CVPR.2019.00975 [百度学术] 

    Li J HZhang PWang X W and Huang S Z. 2020. Infrared small-target detection algorithms: a survey. Journal of Image and Graphics259): 1739-1753 [百度学术] 

    李俊宏张萍王晓玮黄世泽. 2020. 红外弱小目标检测算法综述. 中国图象图形学报259): 1739-1753DOI: 10.11834/jig.190574 [百度学术] 

    Li YLi P C and Shen Q. 2014a. Real-time infrared target tracking based on ℓ1 minimization and compressive features. Applied Optics5328): #6518DOI: 10.1364/AO.53.006518 [百度学术] 

    Li Z ZChen JHou QFu H XDai ZJin GLi R Z and Liu C J. 2014b. Sparse representation for infrared dim target detection via a discriminative over-complete dictionary learned online. Sensors146): 9451-9470DOI: 10.3390/s140609451 [百度学术] 

    Lin T YDollár PGirshick RHe K MHariharan B and Belongie S. 2017. Feature pyramid networks for object detection//Proceedings of 2017 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Honolulu, HI, USAIEEE: 2117-2125DOI: 10.1109/CVPR.2017.106 [百度学术] 

    Liu D PLi Z ZLiu BChen W HLiu T M and Cao L. 2017. Infrared small target detection in heavy sky scene clutter based on sparse representation. Infrared Physics and Technology8513-31DOI: 10.1016/j.infrared.2017.05.009 [百度学术] 

    Liu F CGao C QChen FMeng D YZuo W M and Gao X B. 2021b. Infrared small-dim target detection with Transformer under complex backgrounds [EB/OL]. [2023-11-01]. https://arxiv.org/pdf/2109.14379.pdf [百度学术] 

    Liu SChen P F and Woźniak M. 2022. Image enhancement-based detection with small infrared targets. Remote Sensing1413): #3232DOI: 10.3390/rs14133232 [百度学术] 

    Liu WAnguelov DErhan DSzegedy CReed SFu C Y and Berg A C. 2016. SSD: single shot MultiBox detector//Proceedings of the 14th European Conference on Computer Vision. Amsterdam, the NetherlandsSpringer: 21-37DOI: 10.1007/978-3-319-46448-0_2 [百度学术] 

    Liu ZLin Y TCao YHu HWei Y XZhang ZLin S and Guo B N. 2021a. Swin Transformer: hierarchical vision Transformer using shifted windows//Proceedings of 2021 IEEE/CVF International Conference on Computer Vision. Montreal, CanadaIEEE: 9992-10002DOI: 10.1109/ICCV48922.2021.00986 [百度学术] 

    Luo J H and Yu H. 2023. Research of infrared dim and small target detection algorithms based on low-rank and sparse decomposition. Laser and Optoelectronics Progress6016): #1600004 [百度学术] 

    罗俊海余杭. 2023. 基于低秩稀疏分解的红外弱小目标检测算法研究进展. 激光与光电子学进展6016): #1600004DOI: 10.3788/LOP222077 [百度学术] 

    McIntosh BVenkataramanan S and Mahalanobis A. 2021. Infrared target detection in cluttered environments by maximization of a target to clutter ratio (TCR) metric using a convolutional neural network. IEEE Transactions on Aerospace and Electronic Systems571): 485-496DOI: 10.1109/TAES.2020.3024391 [百度学术] 

    Pan P WWang HWang C Y and Nie C. 2023. ABC: attention with bilinear correlation for infrared small target detection//Proceedings of 2023 IEEE International Conference on Multimedia and Expo (ICME). Brisbane, AustraliaIEEE: 2381-2386DOI: 10.1109/ICME55011.2023.00406 [百度学术] 

    Paszke AChaurasia AKim S and Culurciello E. 2016. ENet: a deep neural network architecture for real-time semantic segmentation [EB/OL]. [2023-11-01]. https://arxiv.org/pdf/1606.02147.pdf [百度学术] 

    Qin H LHan J JYan XZeng Q JZhou H XLi J and Chen Z M. 2016. Infrared small moving target detection using sparse representation-based image decomposition. Infrared Physics and Technology76148-156DOI: 10.1016/j.infrared.2016.02.003 [百度学术] 

    Qin Y and Li B. 2016. Effective infrared small target detection utilizing a novel local contrast method. IEEE Geoscience and Remote Sensing Letters1312): 1890-1894DOI: 10.1109/LGRS.2016.2616416 [百度学术] 

    Quan T MHildebrand D G C and Jeong W K. 2021. FusionNet: a deep fully residual convolutional neural network for image segmentation in connectomics. Frontiers in Computer Science3: #613981DOI: 10.3389/fcomp.2021.613981 [百度学术] 

    Redmon JDivvala SGirshick R and Farhadi A. 2016. You only look once: unified, real-time object detection//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, USAIEEE: 779-788DOI: 10.1109/CVPR.2016.91 [百度学术] 

    Redmon J and Farhadi A. 2018. YOLOv3: an incremental improvement [EB/OL]. [2023-11-01]. https://arxiv.org/pdf/1804.02767.pdf [百度学术] 

    Ren KGao YWan M JGu G H and Chen Q. 2022. Infrared small target detection via region super resolution generative adversarial network. Applied Intelligence5210): 11725-11737DOI: 10.1007/s10489-021-02955-6 [百度学术] 

    Ronneberger OFischer P and Brox T. 2015. U-Net: convolutional networks for biomedical image segmentation//Proceedings of the 18th International Conference on Medical Image Computing and Computer-Assisted Intervention. Munich, GermanySpringer: 234-241DOI: 10.1007/978-3-319-24574-4_28 [百度学术] 

    Shao BYang HZhu BChen Y and Zou R P. 2023. Infrared small target detection algorithm based on real-time semantic segmentation. Laser and Optoelectronics Progress6014): #1410006 [百度学术] 

    邵斌杨华朱斌陈熠邹融平. 2023. 基于实时语义分割的红外小目标检测算法. 激光与光电子学进展6014): #1410006DOI: 10.3788/LOP221958 [百度学术] 

    Shelhamer ELong J and Darrell T. 2017. Fully convolutional networks for semantic segmentation. IEEE Transactions on Pattern Analysis and Machine Intelligence394): 640-651DOI: 10.1109/TPAMI.2016.2572683 [百度学术] 

    Sun HBai J XYang F and Bai X Z. 2023. Receptive-field and direction induced attention network for infrared dim small target detection with a large-scale dataset IRDST. IEEE Transactions on Geoscience and Remote Sensing61: #5000513DOI: 10.1109/TGRS.2023.3235150 [百度学术] 

    Sun X LGuo L CZhang W LWang Z and Yu Q F. 2021. Small aerial target detection for airborne infrared detection systems using lightGBM and trajectory constraints. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing149959-9973DOI: 10.1109/JSTARS.2021.3115637 [百度学术] 

    Tom V TPeli TLeung M and Bondaryk J E. 1993. Morphology-based algorithm for point target detection in infrared backgrounds//Proceedings Volume 1954, Signal and Data Processing of Small Targets. Orlando, United StatesSPIE: 2-11DOI: 10.1117/12.157758 [百度学术] 

    Tong X ZSun BWei J YZuo Z and Su S J. 2021. EAAU-Net: enhanced asymmetric attention U-Net for infrared small target detection. Remote Sensing1316): #3200DOI: 10.3390/rs13163200 [百度学术] 

    Wang ALi WHuang Z CWu XJie F R and Tao R. 2022a. Prior-guided data augmentation for infrared small target detection. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing1510027-10040DOI: 10.1109/JSTARS.2022.3222758 [百度学术] 

    Wang HZhou L P and Wang L. 2019. Miss detection vs. false alarm: adversarial learning for small object segmentation in infrared images//Proceedings of 2019 IEEE/CVF International Conference on Computer Vision (ICCV). Seoul, Korea (South)IEEE: 8508-8517DOI: 10.1109/ICCV.2019.00860 [百度学术] 

    Wang K WDu S YLiu C X and Cao Z G. 2022b. Interior attention-aware network for infrared small target detection. IEEE Transactions on Geoscience and Remote Sensing60: #5002013DOI: 10.1109/TGRS.2022.3163410 [百度学术] 

    Wang XLv G F and Xu L Z. 2012. Infrared dim target detection based on visual attention. Infrared Physics and Technology556): 513-521DOI: 10.1016/j.infrared.2012.08.004 [百度学术] 

    Wang X YPeng Z MKong D H and He Y M. 2017a. Infrared dim and small target detection based on stable multisubspace learning in heterogeneous scene. IEEE Transactions on Geoscience and Remote Sensing5510): 5481-5493DOI: 10.1109/TGRS.2017.2709250 [百度学术] 

    Wang X YPeng Z MKong D HZhang P and He Y M. 2017b. Infrared dim target detection based on total variation regularization and principal component pursuit. Image and Vision Computing631-9DOI: 10.1016/j.imavis.2017.04.002 [百度学术] 

    Wang X YPeng Z MZhang P and He Y M. 2017c. Infrared small target detection via nonnegativity-constrained variational mode decomposition. IEEE Geoscience and Remote Sensing Letters1410): 1700-1704DOI: 10.1109/LGRS.2017.2729512 [百度学术] 

    Wu T HLi B YLuo Y HWang Y QXiao CLiu TYang J GAn W and Guo Y L. 2023. MTU-Net: multilevel TransUNet for space-based infrared tiny ship detection. IEEE Transactions on Geoscience and Remote Sensing61: #5601015DOI: 10.1109/TGRS.2023.3235002 [百度学术] 

    Wu T YTang SZhang RCao J and Zhang Y D. 2021. CGNet: a light-weight context guided network for semantic segmentation. IEEE Transactions on Image Processing301169-1179DOI: 10.1109/TIP.2020.3042065 [百度学术] 

    Xi T YYuan L H and Wang S P. 2023. Adaptive Top-Hat infrared small target detection based on local contrast. Laser and Optoelectronics Progress6016): #1628003 [百度学术] 

    习腾彦袁丽华王树鹏. 2023. 基于局部对比度的自适应Top-Hat红外小目标检测. 激光与光电子学进展6016): #1628003DOI: 10.3788/LOP222850 [百度学术] 

    Yang B CSong W NJin H B and Li S M. 2023. Infrared small target detection using gradient differential anisotropic Gaussian filtering. Laser and Optoelectronics Progress6016): #1612003 [百度学术] 

    杨本臣宋婉妮金海波李斯萌. 2023. 梯度差各向异性高斯滤波的红外小目标检测. 激光与光电子学进展6016): #1612003DOI: 10.3788/LOP222723 [百度学术] 

    Yang LYang J and Yang K. 2004. Adaptive detection for infrared small target under sea-sky complex background. Electronics Letters4017): #1083DOI: 10.1049/el:20045204 [百度学术] 

    Yao S BZhu Q YZhang TCui W N and Yan P M. 2022. Infrared image small-target detection based on improved FCOS and spatio-temporal features. Electronics116): #933DOI: 10.3390/electronics11060933 [百度学术] 

    Ying X YLiu LWang Y QLi R JChen NLin Z PSheng W D and Zhou S L. 2023. Mapping degeneration meets label evolution: learning infrared small target detection with single point supervision//Proceedings of 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Vancouver, CanadaIEEE: 15528-15538DOI: 10.1109/CVPR52729.2023.01490 [百度学术] 

    Yu CLiu Y PWu S HHu Z HXia XLan D Y and Liu X. 2022a. Infrared small target detection based on multiscale local contrast learning networks. Infrared Physics and Technology123: #104107DOI: 10.1016/j.infrared.2022.104107 [百度学术] 

    Yu CLiu Y PWu S HXia XHu Z HLan D Y and Liu X. 2022b. Pay attention to local contrast learning networks for infrared small target detection. IEEE Geoscience and Remote Sensing Letters19: #3512705DOI: 10.1109/LGRS.2022.3178984 [百度学术] 

    Yu C QWang J BPeng CGao C XYu G and Sang N. 2018a. Learning a discriminative feature network for semantic segmentation//Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake, USAIEEE: 1857-1866DOI: 10.1109/CVPR.2018.00199 [百度学术] 

    Yu C QWang J BPeng CGao C XYu G and Sang N. 2018b. BiSeNet: bilateral segmentation network for real-time semantic segmentation//Proceedings of the 15th European Conference on Computer Vision. Munich, GermanySpringer: 334-349DOI: 10.1007/978-3-030-01261-8_20 [百度学术] 

    Zhang L D and Peng Z M. 2019. Infrared small target detection based on partial sum of the tensor nuclear norm. Remote Sensing114): #382DOI: 10.3390/rs11040382 [百度学术] 

    Zhang M JZhang RYang Y XBai H CZhang J and Guo J. 2022. ISNet: shape matters for infrared small target detection//Proceedings of 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). New Orleans, USAIEEE: 867-876DOI: 10.1109/CVPR52688.2022.00095 [百度学术] 

    Zhang QZhu H TCheng HZhang J and Zhang Y. 2022. Lightweight infrared small-target detection algorithm. Laser and Optoelectronics Progress5916): #1611007 [百度学术] 

    章琦朱鸿泰程虎张俊张晔. 2022. 轻量级红外弱小目标检测算法. 激光与光电子学进展5916): #1611007DOI: 10.3788/LOP202259.1611007 [百度学术] 

    Zhang T FLi LCao S YPu T and Peng Z M. 2023. Attention-guided pyramid context networks for detecting infrared small target under complex background. IEEE Transactions on Aerospace and Electronic Systems594): 4250-4261DOI: 10.1109/TAES.2023.3238703 [百度学术] 

    Zhang T FWu HLiu Y HPeng L BYang C P and Peng Z M. 2019. Infrared small target detection based on non-convex optimization with Lp-norm constraint. Remote Sensing115): #559DOI: 10.3390/rs11050559 [百度学术] 

    Zhang Y XLi L and Xin Y H. 2019. Infrared small target detection based on adaptive double-layer TDLMS filter. Acta Photonica Sinica489): #0910001 [百度学术] 

    张艺璇李玲辛云宏. 2019. 基于自适应双层TDLMS滤波的红外小目标检测. 光子学报489): #0910001DOI: 10.3788/gzxb20194809.0910001 [百度学术] 

    Zhang Z LZhang X YPeng CCheng D Z and Sun J. 2018. ExFuse: enhancing feature fusion for semantic segmentation//Proceedings of the 15th European Conference on Computer Vision. Munich, GermanySpringer: 273-288DOI: 10.1007/978-3-030-01249-6_17 [百度学术] 

    Zhao BWang C PFu Q and Han Z S. 2021. A novel pattern for infrared small target detection with generative adversarial network. IEEE Transactions on Geoscience and Remote Sensing595): 4481-4492DOI: 10.1109/TGRS.2020.3012981 [百度学术] 

    Zhao J JTang Z YYang J and Liu E Q. 2011. Infrared small target detection using sparse representation. Journal of Systems Engineering and Electronics226): 897-904DOI: 10.3969/j.issn.1004-4132.2011.06.004 [百度学术] 

    Zhao M JLi WLi LHu JMa P G and Tao R. 2022. Single-frame infrared small-target detection: a survey. IEEE Geoscience and Remote Sensing Magazine102): 87-119DOI: 10.1109/MGRS.2022.3145502 [百度学术] 

    Zhou HTian C NZhang Z XLi C YXie Y Q and Li Z B. 2022. PixelGame: infrared small target segmentation as a Nash equilibrium. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing158010-8024DOI: 10.1109/JSTARS.2022.3206062 [百度学术] 

    Zhu HNi H PLiu S MXu G X and Deng L Z. 2020. TNLRS: target-aware non-local low-rank modeling with saliency filtering regularization for infrared small target detection. IEEE Transactions on Image Processing299546-9558DOI: 10.1109/TIP.2020.3028457 [百度学术] 

    Zuo ZTong X ZWei J YSu S JWu PGuo R Z and Sun B. 2022. AFFPN: attention fusion feature pyramid network for small infrared target detection. Remote Sensing1414): #3412DOI: 10.3390/rs14143412 [百度学术] 

    文章被引用时,请邮件提醒。
    提交

    相关作者

    许可 国防科技大学电子科学学院
    刘心溥 国防科技大学电子科学学院
    汪汉云 信息工程大学地理空间信息学院
    万建伟 国防科技大学电子科学学院
    郭裕兰 国防科技大学电子科学学院
    张浩 淮阴工学院交通工程学院;淮阴工学院计算机与软件工程学院
    董锴龙 淮阴工学院计算机与软件工程学院
    高尚兵 淮阴工学院计算机与软件工程学院

    相关机构

    信息工程大学地理空间信息学院
    国防科技大学电子科学学院
    淮阴工学院计算机与软件工程学院
    淮阴工学院交通工程学院
    国防科技大学电子科学学院自动目标识别重点实验室
    0