CN117671414B 一種基于部分卷積嵌入和聚集分發機制的目標檢測方法 （深圳瑞泊龍科技有限公司）

道回龍埔社區恒明灣創匯中心1棟CD一種基于部分卷積嵌入和聚集分發機制的本發明涉及一種基于部分卷積嵌入和聚集分卷積嵌入到骨干網絡來提取空間特征信息以及使用聚集分發機制增加模型的多尺度信息融2S1：獲取公共目標檢測數據集，將所述公共目標檢S2：將訓練集中的圖像進行歸一化處理，并將歸S3：使用YOLOv8作為目標檢測網絡的基礎框架模塊，所述空間特征提取模塊將部分卷積嵌入到骨干網絡來增加空間特征信息的提取能S4：將所述S2中合成的批次輸入所述S3中搭建所述S3中，所述空間特征提取模塊將部分卷積嵌入到骨干網絡來增搭建空間特征提取模塊，將YOLOv8的骨干部分backbone對應的C2f模塊替換為部分卷所述快速特征融合子模塊負責將來自不同層級的特征部分卷積利用特征映射的冗余，在部分輸入通道上應用常規k2×?(1)pp部分卷積的FLOPs僅為常規卷積的部分卷積的內存訪問情況用公式表示x2c,(2)ppp部分卷積的內存訪問數量為常規卷積的其余的(c_c)個通道不參p每個Fasternet模塊有一個部分卷積層，其后面跟著兩個1*1維卷積所述S3中，多尺度信息融合模塊使用聚集分發機制增加模型的多尺度信息融合能力，3搭建多尺度信息融合模塊，在YOLOv8模型的檢測頭處引入goldyolo檢測頭，所述所述特征對齊模塊FAM通過收集backbone部分不同尺度的特征圖，并通過上采樣或者所述信息融合模塊IFM融合對齊后的特征生成全局特征，通過split切信息注入模塊Inject使用增強分支檢測能力的注意力操作將全局特征split后分發到假設輸入圖像shape為NX3XHXW，從backbone得到的多尺度特征有四個，分別為B2、將對齊并concat后的特征Falign輸入到RepBlock模塊中得到Ffuse融合特征，同時使用信息注入模塊Inject，采用自注意力形式，輸入為待被分發的當前尺度下的x_local2.根據權利要求1所述的一種基于部分卷積嵌入和聚集分發機制的目標檢測方法，其3.根據權利要求1所述的一種基于部分卷積嵌入和聚集分發機制的目標檢測方法，其4深度學習的目標檢測技術逐漸發展成熟。目標檢測旨在找出圖像中指定目標的類別和位(YouOnlyLookOnce)作為經典的單階段(One_stage)目標檢測算法，它的優勢在于實時性模塊，所述空間特征提取模塊將部分卷積嵌入到骨干網絡來增加空間特征信息的提取能5[0014]搭建空間特征提取模塊，將YOLOv8的骨干部分backbone對應的C2f模塊替換為部卷積擁有比一般網絡結構較低的總浮點運算數量FLOPs和較高的每秒浮點運算數量FLOPS，pp道數；部分卷積的FLOPs僅為常規卷積的部分卷積的內存訪問情況用公式表pppp[0025]搭建多尺度信息融模塊，在YOLOv8模型的檢測頭處引入goldyolo檢測頭，所述[0026]所述特征對齊模塊FAM通過收集backbone部分不同尺度的特征圖，并通過上采樣[0028]信息注入模塊Inject使用增強分支檢測能力的注意力操作將全局特征split后分6用Conv來調節通道，以適應不同模型的大小，Ffuse通過Split在通道上拆分為Finj_P3和[0038]信息注入模塊Inject，采用自注意力形式，輸入為待被分發的當前尺度下的x_行的分支分別提取類別特征和位置特征，每條分支都使用一個1x1的卷積來完成其各自的(總浮點運算數量)和較高的FLOPS(每秒浮點運算數量)，通過同時減少冗余計算和內存訪7[0052]圖4為部分卷積結構圖和Fasternet模塊結構圖；圖4(a)為部分卷積結構圖；圖4[0055]圖7為改進后的YOLOv8模型和原模型進行實際檢測差異對比圖；圖7(a)原YOLOv8[0056]圖8為改進后的YOLOv8模型和原模型進行實際檢測差異對比圖；圖8(a)原YOLOv8[0057]圖9為改進后的YOLOv8模型和原模型進行實際檢測差異對比圖；圖9(a)原YOLOv88模塊，所述空間特征提取模塊將部分卷積嵌入到骨干網絡來增加空間特征信息的提取能pp道數，在實際實現時一般有所以部分卷積的FLOPs僅為常規卷積的部分卷積pp9pp齊模塊(FAM)通過收集backbone部分不同尺度的特征圖，并通過上采樣或者下采樣的方式增強分支檢測能力的注意力操作將全局特征split后其中N表示batch_size，表示不同尺度特征圖用Conv來調節通道，以適應不同模型的大小，Ffuse通過Split在通道上拆分為Finj_P3和80.01時的mAP值和IOU從50％開始，以步長為0.05增加到95％時候的平均mAP值，平均精度均值因此還需要引入FLOPs(FloatingPointOperations,浮點運算次數)和參數量(Params)兩項[0104]首先將YOLOv8n作為基準算法(baseline)在VOC2012Train/Validation公開數據62.845.93.08.169.351.34.110.777.952.770.554.787.282.867.976.472.292.77(a)和圖7(b)分別利用原模型和改進后模型對編號為001073的圖像進行檢測的結果，圖7且還能檢測出圖片中間的person；圖8中的圖8(a)和圖8(b)圖檢測的為原數據集編號為002662的圖像，從中不難看出改進后的模型在圖8(b)中對于person類的置信度提高到了0.86，并且在復雜場景下能夠檢測到chair類；最后圖9中圖9(a)和9(b)檢測的是編號為009005的圖像，同樣是在復雜的場景下能夠更加清楚地識別到bicycle類。可