CN116543155B 基于上下文級聯和多尺度特征細化的語義分割方法及裝置 （海南大學）

基于上下文級聯和多尺度特征細化的語義本發明公開了一種基于上下文級聯和多尺上下文信息和細化空間細節時更好的平衡分割2將骨干網絡處理后的特征圖輸入所述上下文級聯模塊，將各級不同將骨干網絡處理后的特征圖輸入所述多尺度特征細化模塊通過通道將所述低維多尺度空間特征圖和所述具有全局特征的多尺度上下文信息的特征圖在將所述深度融合的特征圖輸入上采樣模塊，通過上采樣后得到其中，所述將骨干網絡處理后的特征圖輸入所述上下文級聯所述骨干網絡處理后的特征圖進入所述上下文級聯模塊通過通道壓縮所述不同擴張率組合的密集級聯擴張卷積模塊獲取各自的具有不同感受野的多尺度特征所述上下文級聯模塊將各級所述不同感受野的多尺度特征圖級聯后得到具有局部特將所述骨干網絡處理后的特征圖在所述上下文級聯模塊中經過通道壓縮后進行全局所述上下文級聯模塊通過短期密集級聯的方式，將具有全局特征表所述四條分支以并行方式分別通過不同擴張率的深度可分離卷積，豐36.根據權利要求1或4所述的方法，其特征在注意力指導的低維多尺度空間特征圖和所述具有全局特征的多尺度上下文信息的特征圖，上下文級聯模塊，用于將骨干網絡模塊處理后的特征圖通過多尺度特征細化模塊，根據注意力機制實現高維4[0003]全卷積網絡FCN問世以來，就將語義分割帶到了一個全新的方向，跟以往方法不[0009]將骨干網絡處理后的特征圖輸入所述多尺度特征細化模[0010]將所述低維多尺度空間特征圖和所述具有全局特征的多尺度上下文信息的特征5次進行多次不同擴張率的深度可分離卷積和通道遞減，提取特征圖中不同尺寸目標特征，[0014]所述上下文級聯模塊將各級所述不同感受野的多尺度特征圖級聯后得到具有局[0015]將所述骨干網絡處理后的特征圖在所述上下文級聯模塊中經過通道壓縮后進行征圖和所述具有全局特征的多尺度上下文信息的特征圖，將高維特征與低維特征進行整積神經網絡中，所述卷積神經網絡包括基于上下文級聯和多尺度特征細化的語義分割網6尺度特征細化的語義分割方法及裝置，基于上下文級聯模塊(ContextCascadeModule，[0035]圖2是本發明實施例提供的一種圖像分割的處理方法中密集級聯擴張卷積模塊[0036]圖3是本發明實施例提供的一種圖像分割的處理方法中上下文級聯模塊(CCM)流神經網絡中，所述卷積神經網絡包括基于上下文級聯和多尺度特征細化的語義分割網絡(CCMFRNet)，其中，CCMFRNet用于實時語義分割，它主要由骨干網絡、上下文級聯模塊(ContextCascadeModule，CCM)、多尺度特征細化模塊(Multi_scaleFeature7圖像分辨率將不會再降低，圖像分辨率統一保持為原圖分辨率1/8大小，繼續進行語義提(CCM)包括三個不同擴張率組合的密集級聯擴張卷積模塊(DenseCascadeDilated的原圖分辨率1/8大小的特征圖記為特征圖輸r",上述操作可以8提取中等尺寸目標語義信息的特征圖，記為具體的操作可以通過公式3進行表4}d2＜d3＜d4[0059]第二級操作：第一級的輸出特征圖在經過第二個3×3深度可分離卷積第二級的輸出特征圖第二級的操作可以用下9[0061]第三級操作：第二級的輸出特征圖在經過第三個3×3深度可分離卷積得到第三級的輸出特征圖第三級的操作可以用下述公式到四級操作級聯后的特征圖上述操作可以用公到并輸出通道數為Cr的多尺度特征圖其拼接融合后的多尺度特征圖通道數與原[0081]3、將骨干網絡處理后的特征圖輸入所述多尺度特征細化模塊通過通道切分及卷用注意力對低維多尺度空間特征圖進行約束，使其可以自主選擇的對噪聲信息進行抑制，[0089]4、將所述由注意力指導的低維多尺度空間特征圖和所述具有全局特征的多尺度上下文信息的特征圖在所述多尺度特征細化[0092]MFRM使用深度可分離卷積和一個簡單的長跳躍連接，減少了內存占用和計算開[0094]最后通過上采樣層(UL)將輸出的深度融合后的特征圖直接上采樣到原始輸入圖[0098]上下文級聯模塊201，用于將骨干網絡模塊處理后的特征圖通過級聯操作將各級不同感受野的輸出特征圖進行通道融合，獲取具有全局特征的多尺度上下文信息的特征[0