CN116485664B 一種基于模糊核先驗學習的圖像盲去模糊網絡及方法 （西安電子科技大學）

一種基于模糊核先驗學習的圖像盲去模糊本發明涉及一種用于圖像去模糊的網絡及集差異和圖像局部模糊核的變化導致較差的泛到模糊圖像的模糊核圖像，其包括特征提取網網絡用于通過模糊圖像和估計出的模糊核圖像2所述模糊核估計網絡用于估計得到模糊圖像的模糊核圖像，其包括所述去模糊網絡用于輸入待處理的模糊圖像，并利用估計的模糊核圖像得到清晰圖的多個下采樣層，沿信號輸出方向依次編號為第一下采樣層、第二下采樣層…第m下采樣所述上采樣層包括依次連接的基礎模塊和上每個下采樣層的模糊核注意力模塊的輸入端均與標準化流模型的輸過前一編號的下采樣模塊輸出端與后一編號的模糊核注意力模塊的另一輸入端連接；第m采樣層和下采樣層之間通過上采樣層的下采樣模塊輸出端與下采樣層的基礎模塊輸入端相鄰編號的上采樣層之間通過前一編號的基礎模塊輸入端與后一編號的上采樣模塊第一下采樣層的模糊核注意力模塊的圖像特征卷積層的輸他采樣層的模糊核注意力模塊的圖像特征卷積層的輸入端分別與前一編號的采樣層的下所述相加層的輸出端與同一模糊核注意力模塊的基礎模塊的輸3.根據權利要求1或2所述的一種基于模糊核先驗學所述基礎模塊包括依次連接的第一LayerNorm層、第一卷積層、第二卷積層、第一所述SimplifiedChannelAttention層包括連接的AveragePooling層和第3所述第一SimpleGate層用于將圖像特征圖按通道平均分為兩部分所述第一SimpleGate層和第二SimpleGate層結所述標準化流模型包括依次連接的二十個flowb所述flowblock包括依次連接的batchnormalizationlayer、permutationlayer和所述上采樣層數量為三個，沿信號輸出反方向依次編號為第一上采清晰圖像集X中選取對應的清晰圖像作為參考樣本，采用自監督損失函數對模糊核估計網4(k)表示參數為θ的標準化流模型，其輸入為模糊核圖像集K中隨機選取的模糊核圖θ步驟5.3)中，所述重建損失函數Lrecon為重模糊損失函數Lreblur與PSNR損失函數LPSNR的重模糊損失函數Lreblur和PSNR損失函數LK(yi)表示利用模糊核估計網絡從模糊圖像中估計10.根據權利要求9所述的一種基于模糊核先驗學習的圖像盲去模糊方法，其特征在6.1.2)特征提取網絡將隱編碼zi和標準差σi送入不確定性學習模塊中進行高斯重采56方法恢復出清晰的圖像(參見AmitGoldsteinandRaananFattal.Blur_kernelestimationfromspectralirregularities.InEuropeanConferenceonComputerVision,pages622–635.Springer,2012.以及JinshanPan,ZheHu,ZhixunSu,andMing_HsuanYang.Deblurringtextimagesvial0_regularizedintensityandgradientprior.InProceedingsoftheIEEEConferenceonComputerVisionandPattern了優越的性能(參見OrestKupyn,VolodymyrBudzan,MykolaMykhailych,DmytroMishkin,andJiˇr/1Matas.Deblurgan:Blindmotiondeblurringusingconditionaladversarialnetworks.InProceedingsoftheIEEEconferenceonandpatternrecognition,pages8183–8192,2018.以及OrestKupyn,TetianaMartyniuk,JunruWu,andZhangyangWang.Deblurgan_v2:Deblurring(orders_of_magnitude)fasterandbetter.InProceedingsoftheIEEE/CVFInternationalConferenceonComputerVision,pages8878–8887,2019.以及Sung_JinCho,Seo_WonJi,Jun_Pyo7Hong,Seung_WonJung,andSung_JeaKo.Rethinkingcoarse_to_fineapproachinsingleimagedeblurring.InProceedingsoftheIEEE/CVFinternationalconferenceoncomputervision,pages4641–4650,2021.以及DasongLi,YiZhang,KaChunCheung,XiaogangWang,HongweiQin,andHongshengLi.Learningdegradationrepresentationsforimagedeblurring.InEuropeanConferenceonComputer經網絡直接從模糊圖像中估計非均勻模糊核，其中與本發明最接近的工作是孫劍等人在2015年提出的方法(參見JianSun,WenfeiCao,ZongbenXu,andconvolutionalneuralnetworkfornon_uniformmotionblurremoval.InProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition,恢復出原始的清晰圖像，在這類方法中與本發明相近的工作是DeepDeblur方法(參見SeungjunNah,TaeHyunKim,andKyoungMuLee.Deepmulti_scaleconvolutionalneuralnetworkfordynamicscenedeblurring.InProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition,pages3883–3891,2017.)，于深度學習的圖像盲去模糊方法從單幅圖像中同時估計清晰圖像和圖像模糊核仍然是一[0008]本發明的目的是解決現有基于深度學習的圖像盲去模糊方法將圖像盲去模糊視[0009]本發明提出的一種基于模糊核先驗學習的圖像盲去利用標準化流模型和不確定性學習模塊將復雜的運動模糊核空間映射為簡單的高斯分布8間通過前一編號的下采樣模塊輸出端與后一編號的模糊核注意力模塊的另一輸入端連接；第m下采樣層的下采樣模塊的輸出端與中間單元最前端的基礎模塊輸入端連接；相同編號的上采樣層和下采樣層之間通過上采樣層的下采樣模塊輸出端與下采樣層的基礎模塊輸[0017]相鄰編號的上采樣層之間通過前一編號的基礎模塊輸入端與后一編號的上采樣模塊輸出端連接；第m上采樣層的基礎模塊輸入端與中間單元的最末端的基礎模塊輸出端連接；圖像特征卷積層和模糊核特征卷積層的輸出端分別與融合特征卷積層的輸入端連[0019]第一下采樣層的模糊核注意力模塊的圖像特征卷積層的輸入端用于輸入模糊圖9化流模型包括依次連接的二十個flowblock；所述flowblock包括依次連接的batch[0029]5.1)標準化流模型訓練：從時從清晰圖像集X中選取對應的清晰圖像作為參考樣本，采用自監督損失函數對模糊核估清晰圖像集X中選取對應的清晰圖像作為參考樣本，先將模糊圖像輸入到模糊核估計網絡[0038]fθ(k)表示參數為θ的標準化流模型，其輸入為模糊核圖像集K中隨機選取的模糊失函數LPSNR的加權和：Lrecon＝LPSNR+λLreblur，其中，λ為重模糊損失函數的權重，λ取值為[0062]1、本發明網絡利用標準化流模型和不確定性學習模塊將復雜的運動模糊核空間隱空間來估計非均勻模糊核，即利用特征提取網絡來估計模糊核在隱空間中的編碼系數，不確定性分量相加得到最終的隱編碼，進一步提高了非均勻模糊核估計的準確性和魯棒[0069]圖1為本發明一種基于模糊核先驗學習的圖像盲去模糊方法實施例獲得的運動模[0070]圖2為本發明一種基于模糊核先驗學習的圖像盲去模糊網絡的標準化流模型形成[0072]圖4為本發明一種基于模糊核先驗學習的圖像盲去模糊網絡的模糊核估計網絡框[0073]圖5為本發明一種基于模糊核先驗學習的圖像盲去模糊網絡的去模糊網絡框架示[0074]圖6為本發明一種基于模糊核先驗學習的圖像盲去模糊網絡的模糊核注意力模塊[0076]圖8為本發明一種基于模糊核先驗學習的圖像盲去模糊方法實施例與現有不同方[0077]圖9為本發明一種基于模糊核先驗學習的圖像盲去模糊方法實施例與現有不同方法在HIDE數據集上的視覺對比圖(編號1表示輸入的模糊圖像；編號2表示從模糊圖像截取[0078]圖10為本發明一種基于模糊核先驗學習的圖像盲去模糊方法實施例與現有不同方法在RealBlur數據集上的視覺對比圖(編號1表示輸入的模糊圖像；編號2表示從模糊圖像截取的局部放大圖；編號3表示局部放大圖的真實圖像；編號4_8依次表示采用HINet、[0079]圖11為本發明一種基于模糊核先驗學習的圖像盲去模糊方法實施例與現有不同方法在RWBI數據集上的視覺對比圖(編號1表示輸入的模糊圖像；編號2表示從模糊圖像截取的局部放大圖；編號3表示局部放大圖的真實圖像；編號4_8依次表示采用HINet、元的最末端的基礎模塊輸出端連接；第一上采樣層的上采樣模塊輸出端用于輸出清晰圖注意力模塊的圖像特征卷積層的輸入端分別與前一編號的采樣層的下采樣模塊的輸出端[0086]基礎模塊包括依次連接的第一LayerNorm層、第一卷積層、第二卷積層、第一積層、第二SimpleGate層和第五卷積層；SimplifiedChannelAttention層包括連接的化流模型包括依次連接的二十個flowblock；flowblock包括依次連接的batchflowblock疊加而成，每個flowblock包括依次連接的batchnormalizationlayer、一個permutationlayer和一個affinetransformation塊包括依次連接的第一LayerNorm層、第一卷積層、第二卷積層、第一SimpleGate層、SimplifiedChannelAttention層、第三卷積層、第二LayerNorm層、第四卷積層、第二[0103]fθ(k)表示參數為θ的標準化流模型，其輸入為模糊核圖像集K中隨機選取的模糊[0106]訓練完成之后，標準化流模型能夠在模糊核圖像和相應的隱變量z之間建立一個[0107]5.2)模糊核估計網絡模型訓練：從模糊圖像集Y中隨機選取模糊圖像yi作為輸入[0112]G(yi)表示從yi估計出的最終的隱編碼，即不確定性模塊的輸出的最終的隱編碼為重模糊損失函數Lreblur與PSNR損失函數LPSNR的加[0124]6.1)將待處理的模糊圖像輸入到訓練好的模糊核估計網絡得到估計出的模糊核碼zi和標準差σi送入不確定性學習模塊中進行高斯重采樣得到每個隱編碼zi的不確定性分[0132]6.2)將待處理的模糊圖像和對應的[0148](一)為了證明本發明提出的一種基于模糊核先驗學習的圖像盲去模糊網絡的有[0149](1)為了證