CN118470557B 一種基于可見光與紅外多模態融合的小目標檢測方法及系統 （中國科學院國家空間科學中心）

號一種基于可見光與紅外多模態融合的小目本發明公開了一種基于可見光與紅外多模將衛星或無人機采集的可見光圖像和紅外圖像2將衛星或無人機采集的可見光圖像和紅外圖像進行像素級所述改進的特征表達網絡，用于通過將Leaky_Relu激活函數引入卷積層部分，以所述改進的Head網絡結構，用于通過引入BottleneckCSP2結構，進行所述MF模塊，用于從不同模態中提取共享和特殊信息，能夠以對稱且所述改進的Head網絡結構包括4個結構相同的分支以及1個分類和回所述改進的卷積模塊，用于對改進的主干網絡結構處理得到的特2.根據權利要求1所述的基于可見光與紅外多模態融合的小目標檢測方法，其特征在將卷積模塊的SiLu激活函數替換為Leaky_Relu函數，改進后的卷積模塊包括Conv2d、3.根據權利要求2所述的基于可見光與紅外多模態融合的小目標檢測方法，其特征在使用最近鄰插值對池化后的特征圖進行上采樣，使得不同尺度4.根據權利要求3所述的基于可見光與紅外多模態融合的小目標檢測方法，其特征在輸入的特征圖x，通過卷積層Conv1和批量歸一化層BN1，以及Leaky_ReLU激活函數，Conv1和BN1輸出的結果再通過空洞卷積層atrous_conv和批量歸一化層BN_atrous以及3將Pooled_features中的每個池化特征圖通過最近鄰插值進行上采樣，以匹配原始輸將特征圖x、空洞卷積的輸出x_atrous和上采樣后的池化特征圖Pooled_features_將拼接后的特征圖features通過一維卷積層Conv2和批量歸一化層BN2，并5.根據權利要求1所述的基于可見光與紅外多模態融合的小目標檢測方法，其特征在6.根據權利要求1所述的基于可見光與紅外多模態融合的小目標檢測方法，其特征在7.根據權利要求1所述的基于可見光與紅外多模態融合的小目標檢測方法，其特征在8.一種基于權利要求1所述的基于可見光與紅外多模態融合的小目標檢測方法的系融合模塊，用于將衛星或無人機采集的可見光圖像和紅外圖像進行像素級融合處理；和所述改進的特征表達網絡；用于通過將Leaky_Relu激活函數引入卷積層部分，以所述改進的Head網絡結構，用于通過引入BottleneckCSP2結構，進行4[0002]近年來，應用于衛星和無人機的目標檢測技術對民用和軍事領域產生重要影目標。其主要原因在于網絡的特征信息提取以及特征融合能力不足和特征表達能力有限，提高遙感小目標識別準確度成為一個重要的研究算法直接應用于紅外和可見光多模態融合小目標檢測場景中很難取得理想模態數據的采集過程中由于采集視角和時間差異使得小目標的空間對齊和配準可能不準感器的數據信息。像素級融合具體流程如圖1所示，像素級融合是指在原始數據上進行融5[0015]優選的，所述改進的主干網絡結構包括：依次連接的MF模塊、改進的卷積模塊、[0021]將卷積模塊的SiLu激活函數替換為Leaky_Relu函數，改進后的卷積模塊包括[0027]輸入的特征圖x，通過卷積層Conv1和批量歸一化層BN1，以及Leaky_ReLU激活函6[0028]最大池化層Maxpool對輸入x進行池化，捕獲不同尺度的特征，形成Pooled_[0029]將Pooled_features中的每個池化特征圖通過最近鄰插值進行上采樣，以匹配原[0030]將特征圖x、空洞卷積的輸出x_atrous和上采樣后的池化特征圖Pooled_[0031]將拼接后的特征圖features通過一維卷積層Conv2和批量歸一化層BN2，并應用[0032]優選的，所述改進的特征表達網絡中，調整平均池化層下采樣比例通過調整[0034]所述改進的卷積模塊，用于對改進的主干網絡結構處理得到的特征圖進一步處[0039]另一方面，本發明提供了一種基于可見光與紅外多模態7征信息易丟失的問題。通過將BottleneckCSP結構引入Backbone部分，并在Head模塊引入BottleneckCSP2結構以增強網絡的[0057]圖6是本發明的一種基于可見光和紅外多模態融合的小目標實時識別方法與其他[0060]所述改進的SPP空間金字塔池化模塊主要作用是捕獲不同尺度特征以提高模型對[0062]輸入的特征圖x，通過卷積層Conv1和批量歸一化層BN1，以及Leaky_ReLU激活函8[0063]最大池化層Maxpool對輸入x進行池化，捕獲不同尺度的特征，形成Pooled_[0064]將Pooled_features中的每個池化特征圖通過最近鄰插值進行上采樣，以匹配原[0065]將特征圖x、空洞卷積的輸出x_atrous和上采樣后的池化特征圖Pooled_[0066]將拼接后的特征圖features通過一維卷積層Conv2和批量歸一化層BN2，并應用[0067]所述引入改進的卷積模塊是將卷積模塊的SiLu激活函數替換為Leaky_Relu函[0069]作為上述方法的一種改進，所述改進的主干網絡通過引入BottleneckCSP結構以得模型能夠更好地適應不同場景和光照條件下的小目標檢測任務，提高檢測的魯棒性。[0074]Leaky_Relu激活函數是一種改進的ReLU(RectifiedLinearUnit)激活函數。它[0075]平均池化層的下采樣比例的改進，主要是通過通過調整subscale實現。調整9subscale可以改變FALoss從而影響小目標的檢測能力。根據數據集特點將原模型中subscale調整為0.0700，使得在降低模型計算量的同時盡量減少小目標特征的丟失。=int(1/subscale)。其中，subscale就是平均池化層的下采樣比例。從而通過調整[0080]本發明的實施例1提出了一種一種基于可見光與紅外多模態融合的小目標檢測方[0088]圖4是未改進的主干網絡Backbone框圖。采用SiLU激活函數和無改進的SPP網圖5是本發明的一種基于可見光和紅外多模態融合的小目標實時識別模型框圖。主要由兩[0090]本發明的實施例2提供了一種基于可見光與紅外多模態融合的小目標檢測系統，[0097]圖6是本發明的基于可見光和紅外多模態融合的小目標實時識別方法與其他方法的識別結果對比圖。一種基于可見光和紅外多模態融合的小目標實時識別方法具體步驟入Head網絡(包含頸部網絡)，將Head部分中用于檢測小目標的P3特征圖對應的C3結構用[