CN116579924B 一種傅里葉疊層顯微成像重建方法、裝置及設(shè)備 （長春大學(xué)）

本發(fā)明公開一種傅里葉疊層顯微成像重建域，用于解決現(xiàn)有技術(shù)中重建方法數(shù)據(jù)計(jì)算量傅里葉疊層顯微成像仿真圖像數(shù)據(jù)以及真實(shí)數(shù)力機(jī)制構(gòu)建得到包括生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)的注注意力生成對抗網(wǎng)絡(luò)中，得到重建后的目標(biāo)圖2獲取圖像數(shù)據(jù)集；所述圖像數(shù)據(jù)集中包括傅里葉疊層顯微成像基于注意力機(jī)制構(gòu)建得到注意力生成對抗網(wǎng)絡(luò)；所述注意力生采用所述仿真圖像數(shù)據(jù)對所述注意力生成對抗網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到初采用所述真實(shí)數(shù)據(jù)集對所述初始注意力生成對抗網(wǎng)絡(luò)的參數(shù)進(jìn)行調(diào)整將待處理圖像數(shù)據(jù)輸入所述目標(biāo)注意力生成對抗網(wǎng)絡(luò)中，得到重建基于生成網(wǎng)絡(luò)以及判別網(wǎng)絡(luò)基于注意力機(jī)制構(gòu)建得到注意力生成對所述解碼模塊通過子像素卷積逐步放大特征，其中網(wǎng)絡(luò)在每個(gè)編碼其頻譜中包含的所有頻率分量的綜合貢獻(xiàn)自適應(yīng)的重新調(diào)整每個(gè)所述跨級(jí)連接模塊用于高低層語義特征的融合，在編解碼模塊采集傅里葉疊層顯微成像仿真過程中的基礎(chǔ)圖像數(shù)據(jù)；所述基將所述基礎(chǔ)圖像數(shù)據(jù)在傅立葉域中合成，并通過傅立葉逆變換多組圖像數(shù)據(jù)組成圖像數(shù)據(jù)集，每組圖像數(shù)據(jù)中設(shè)定網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練時(shí)的損失函數(shù)；所述判別網(wǎng)絡(luò)目標(biāo)函數(shù)定設(shè)定網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練時(shí)的參數(shù)設(shè)置；所述參數(shù)至少包括訓(xùn)練過程所述生成網(wǎng)絡(luò)通過跨級(jí)連接對傅里葉疊層顯微成像仿真圖像數(shù)據(jù)中的特征進(jìn)行提取3所述跨級(jí)連接模塊用于高低層語義特征的融合，在編解碼模塊所述解碼模塊對分層特征圖進(jìn)行上采樣，所述解碼模塊由拼接層、上所述解碼模塊經(jīng)過卷積擴(kuò)大特征通道數(shù)或者按特征通道維度拼接融合自編碼部分的通過預(yù)設(shè)上采樣操作將融合后的底層特征圖的空間分辨率加倍，通通過所述編碼模塊中從輸入中提取分層特征圖；每個(gè)編碼模塊包于識(shí)別輸入圖像是否為真實(shí)圖像或識(shí)別輸入圖像是否注意力生成對抗網(wǎng)絡(luò)構(gòu)建模塊，用于基于注意力機(jī)制構(gòu)建得到注意力生成對抗網(wǎng)絡(luò)；初始注意力生成對抗網(wǎng)絡(luò)訓(xùn)練模塊，用于采用所述仿真圖4基于生成網(wǎng)絡(luò)以及判別網(wǎng)絡(luò)基于注意力機(jī)制構(gòu)建得到注意力生成對所述解碼模塊通過子像素卷積逐步放大特征，其中網(wǎng)絡(luò)在每個(gè)編碼其頻譜中包含的所有頻率分量的綜合貢獻(xiàn)自適應(yīng)的重新調(diào)整每個(gè)所述跨級(jí)連接模塊用于高低層語義特征的融合，在編解碼模塊采用所述仿真圖像數(shù)據(jù)對所述注意力生成對抗網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到初采用所述真實(shí)數(shù)據(jù)集對所述初始注意力生成對抗網(wǎng)絡(luò)的參數(shù)進(jìn)行調(diào)整將待處理圖像數(shù)據(jù)輸入所述目標(biāo)注意力生成對抗網(wǎng)絡(luò)中，得到重建基于生成網(wǎng)絡(luò)以及判別網(wǎng)絡(luò)基于注意力機(jī)制構(gòu)建得到注意力生成對所述解碼模塊通過子像素卷積逐步放大特征，其中網(wǎng)絡(luò)在每個(gè)編碼其頻譜中包含的所有頻率分量的綜合貢獻(xiàn)自適應(yīng)的重新調(diào)整每個(gè)所述跨級(jí)連接模塊用于高低層語義特征的融合，在編解碼模塊5[0002]傅里葉疊層成像技術(shù)(Fourierptychographicmicroscopy，F(xiàn)PM)是一種新興的計(jì)算成像技術(shù)，該技術(shù)可有效地解決傳統(tǒng)顯微成像領(lǐng)域中高分辨率和大視場不可兼得的問率和定量相位成像的優(yōu)勢而成為計(jì)算成像領(lǐng)域重要的研究課題。FPM需要采集具有一定冗[0012]將待處理圖像數(shù)據(jù)輸入所述目標(biāo)注意力生成對抗網(wǎng)絡(luò)中，得到重建后的目標(biāo)圖6括傅里葉疊層顯微成像仿真圖像數(shù)據(jù)以及真實(shí)數(shù)據(jù)集，且添加有高斯噪聲的圖像數(shù)據(jù)集；層顯微成像仿真圖像數(shù)據(jù)對注意力生成對抗網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到初始注意力生成對抗網(wǎng)[0019]目標(biāo)圖像重建模塊，用于將待處理圖像數(shù)據(jù)輸入所述目標(biāo)注意力生成對抗網(wǎng)絡(luò)微成像的仿真圖像數(shù)據(jù)以及真實(shí)數(shù)據(jù)集，且所述圖像數(shù)據(jù)集中圖像數(shù)據(jù)中添加有圖像噪[0025]將待處理圖像數(shù)據(jù)輸入所述目標(biāo)注意力生成對抗網(wǎng)絡(luò)中，得到重建后的目標(biāo)圖7練，本網(wǎng)絡(luò)能更好的解決成像系統(tǒng)噪聲對傅里葉疊成顯微重建圖像紋理造成的干擾問題，8[0043]圖像數(shù)據(jù)集可以包括大規(guī)模傅里葉疊層成像顯微成像仿真低分辨率數(shù)據(jù)集和小據(jù)重建結(jié)果和重建時(shí)間上驗(yàn)證注意力生成對抗網(wǎng)絡(luò)[0053]采用圖1中的方法構(gòu)建完成的目標(biāo)注意力生成對抗網(wǎng)絡(luò)的整體結(jié)構(gòu)可以結(jié)合圖29級(jí)連接可以使神經(jīng)網(wǎng)絡(luò)能盡可能利用完整的頻率信息，將不同層級(jí)輸出的特征進(jìn)行融合，好的解決成像系統(tǒng)噪聲對傅里葉疊成顯微重建圖像紋理造成的干擾問題，生成真實(shí)的紋分別代表強(qiáng)度和相位的雙通道。25600組高分辨率圖像數(shù)據(jù)中每組強(qiáng)度和相位的組合作為[0063](2)合成后的復(fù)振幅數(shù)據(jù)通過傅里葉疊層成像模型進(jìn)行仿真，在仿真成像過程中[0064](3)傅里葉疊層低分辨率數(shù)據(jù)通過傳統(tǒng)的傅里葉疊層重建算法合成低分辨復(fù)振根據(jù)其頻譜中包含的所有頻率分量的綜合貢獻(xiàn)自適應(yīng)的重新調(diào)整[0073]所述生成網(wǎng)絡(luò)通過跨級(jí)連接對傅里葉疊層顯微成像仿真圖像數(shù)據(jù)中的特征進(jìn)行[0076]所述解碼模塊經(jīng)過卷積擴(kuò)大特征通道數(shù)或者按特征通道維度拼接融合自編碼部舉例形式說明生成網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)：[0083]網(wǎng)絡(luò)的第一層可以使用3×3卷積層接收輸入的低分辨率合后的深層特征信息通過relu激活的3×3卷積和Sigmoid激活的3×3卷積來輸出雙通道復(fù)[0086]上述生成網(wǎng)絡(luò)部分將殘差注意力網(wǎng)絡(luò)設(shè)計(jì)成編解碼結(jié)構(gòu)的多尺度殘差注意力網(wǎng)的圖像作為輸入，從5個(gè)級(jí)聯(lián)的Conv_LReLU模塊開始，每個(gè)模塊中的卷積濾波器數(shù)分別為FPGAN方法，隨機(jī)初始化了網(wǎng)絡(luò)，并以2×10_5的典型起始學(xué)習(xí)率訓(xùn)練了生成模型和判別模[0106]真實(shí)數(shù)據(jù)集采集中先對實(shí)驗(yàn)成像系統(tǒng)參數(shù)進(jìn)行設(shè)置，物鏡的數(shù)值孔徑NA設(shè)置為[0109]實(shí)驗(yàn)訓(xùn)練在配備一個(gè)TeslaV100圖形處理卡(NVIDIA)的計(jì)算機(jī)電腦上進(jìn)行。在訓(xùn)生成對抗網(wǎng)絡(luò)在真實(shí)數(shù)據(jù)上的普適性，在真實(shí)數(shù)據(jù)上進(jìn)一步測試了方法的有效性和通用添加到輸入圖像中進(jìn)行重建，具體來說在成像仿真過程中加入了零均值和標(biāo)準(zhǔn)差為1×10_4有頻率分量的綜合貢獻(xiàn)自適應(yīng)的重新調(diào)整每個(gè)特征圖，幫助網(wǎng)絡(luò)專注于更有用的通道信[0127]注意力生成對抗網(wǎng)絡(luò)構(gòu)建模塊520，用于基于注意力機(jī)制構(gòu)建得到注意力生成對[0128]初始注意力生成對抗網(wǎng)絡(luò)訓(xùn)練模塊530，用于采用所述仿真圖像數(shù)據(jù)對所述注意[0129]目標(biāo)注意力生成對抗網(wǎng)絡(luò)確定模塊540，用于采用所述真實(shí)數(shù)據(jù)集對所述初始注[0130]目標(biāo)圖像重建模塊550，用于將待處理圖像數(shù)據(jù)輸入所述目標(biāo)注意力生成對抗網(wǎng)根據(jù)其頻譜中包含的所有頻率分量的綜合貢獻(xiàn)自適應(yīng)的重新調(diào)整[0146]所述生成網(wǎng)絡(luò)通過跨級(jí)連接對傅里葉疊層顯微成像仿真圖像數(shù)據(jù)中的特征進(jìn)行[0149]所述解碼模塊經(jīng)過卷積擴(kuò)大特征通道數(shù)或者按特征通道維度拼接融合自編碼部;;[0157]基于同樣的思路，本說明書實(shí)施例還提供了一種傅里葉疊層顯微成像重建設(shè)微成像的仿真圖像數(shù)據(jù)以及真實(shí)數(shù)據(jù)集，且所述圖像數(shù)據(jù)集中圖像數(shù)據(jù)中添加有圖像噪[0162]將待處理圖像數(shù)據(jù)輸入所述目標(biāo)注意力生成對抗網(wǎng)絡(luò)中，得到重建后的目標(biāo)圖[0170]存儲(chǔ)器可以是只讀存儲(chǔ)器(read_onlymemory，ROM)或可存儲(chǔ)靜態(tài)信息和指令的和指令的其他類型的動(dòng)態(tài)存儲(chǔ)設(shè)備，也可以是電可擦可編程只讀存儲(chǔ)器(electricallyerasableprogrammableread_onlymemory，EEPROM)、只讀光盤(compactdiscread_令或數(shù)據(jù)結(jié)構(gòu)形式的期望的程序代碼并能夠由計(jì)算機(jī)存取的任何其他介質(zhì)，但不限于此。理器、數(shù)字信號(hào)處理器(digitalsignalprocessing，DSP)、ASIC、現(xiàn)成可編程門陣列產(chǎn)品包括一個(gè)或多個(gè)計(jì)算機(jī)程序或指令。在計(jì)算機(jī)上加載和執(zhí)行所述計(jì)算機(jī)程序或指令可讀