CN116405701B 圖像濾波方法、裝置、設(shè)備及存儲(chǔ)介質(zhì) （騰訊科技（深圳）有限公司）

塊，確定當(dāng)前圖像塊的色度分量的目標(biāo)濾波順序，目標(biāo)濾波順序是通過(guò)解碼碼流或基于N種濾將當(dāng)前圖像塊的第一色度分量和第二色度分量2對(duì)于所述重建圖像中待濾波的當(dāng)前圖像塊，確定所述當(dāng)前圖二色度分量的目標(biāo)濾波順序，所述目標(biāo)濾波順序是通過(guò)解碼碼流或基于N種濾波順序的濾基于所述目標(biāo)濾波順序，將所述當(dāng)前圖像塊的第一色度分標(biāo)濾波順序是基于所述N種濾波順序中每一種濾波順序的第一濾波代價(jià)確定的，所述濾波分量輸入所述神經(jīng)網(wǎng)絡(luò)濾波器中進(jìn)行濾波時(shí)確定的濾波基于所述N種濾波順序分別對(duì)應(yīng)的第二濾波代價(jià)，從所述N6.根據(jù)權(quán)利要求4所述的方法，其特征在于，7.根據(jù)權(quán)利要求1_6任一項(xiàng)所述的方法，3個(gè)CTU為一個(gè)訓(xùn)練單元訓(xùn)練得到，或者所述神經(jīng)網(wǎng)絡(luò)濾波器是以預(yù)設(shè)圖像區(qū)域?yàn)橛?xùn)練單元第二訓(xùn)練順序，所述第一訓(xùn)練順序?yàn)樗錾窠?jīng)網(wǎng)絡(luò)濾波器的輸入中所述第一色度分量在對(duì)于所述重建圖像中待濾波的當(dāng)前圖像塊，確定所述當(dāng)前圖基于所述目標(biāo)濾波順序，將所述當(dāng)前圖像塊的第一色度分基于所述N種濾波順序分別對(duì)應(yīng)的第一濾波代價(jià)，從所述N基于所述第j個(gè)濾波后的圖像塊和所述當(dāng)前圖像塊的原始圖像塊，確所述基于所述N種濾波順序分別對(duì)應(yīng)的第一濾波代價(jià)，從所述N種濾波4基于所述N種濾波順序分別對(duì)應(yīng)的第二濾波代價(jià)，從所述N順序確定單元，用于對(duì)于所述重建圖像中待濾波的當(dāng)前圖像塊，確定所濾波單元，用于基于所述目標(biāo)濾波順序，將所述當(dāng)前圖順序確定單元，用于對(duì)于所述重建圖像中待濾波的當(dāng)前圖像塊，確定所的第一色度分量和第二色度分量的目標(biāo)濾波順序，所述目標(biāo)濾波順序是基于N種濾波順序?yàn)V波單元，用于基于所述目標(biāo)濾波順序，將所述當(dāng)前圖所述處理器，用于執(zhí)行所述計(jì)算機(jī)程序以實(shí)現(xiàn)如上述權(quán)利要求1至11或12至16任一項(xiàng)所述計(jì)算機(jī)程序使得計(jì)算機(jī)執(zhí)行如上述權(quán)利要求1至11或12至16任一項(xiàng)5和第二色度分量的目標(biāo)濾波順序，所述目標(biāo)濾波順序是通過(guò)解碼碼流或基于N種濾波順序和第二色度分量的目標(biāo)濾波順序，所述目標(biāo)濾波順序是基于N種濾波順序的濾波代價(jià)確定6像塊的第一色度分量和第二色度分量的目標(biāo)濾波順序，所述目標(biāo)濾波順序是基于N種濾波序使得計(jì)算機(jī)執(zhí)行上述第一方面至第二方面中任一方面或令使得計(jì)算機(jī)執(zhí)行上述第一方面至第二方面中任一方面或其各過(guò)解碼碼流或基于N種濾波順序的濾波代價(jià)確定的，N為大于1的正整數(shù)；基于目標(biāo)濾波順7標(biāo)準(zhǔn)而操作，所述標(biāo)準(zhǔn)包含ITU_TH.261、ISO/IECMPEG_1Visual、ITU_TH.262或ISO/8頻編解碼系統(tǒng)100包含編碼設(shè)備110和解碼設(shè)備120。其中編碼設(shè)備用于對(duì)視頻數(shù)據(jù)進(jìn)行編輸給解碼設(shè)備120。信道130可以包括能夠?qū)⒕幋a后的視頻數(shù)據(jù)從編碼設(shè)備110傳輸?shù)浇獯a括一個(gè)或多個(gè)圖像(picture)或圖像序列(sequenceofpictures)。碼流以比特流的形式聯(lián)數(shù)據(jù)可包含序列參數(shù)集(sequenceparameterset，簡(jiǎn)稱SPS)、圖像參數(shù)集(picture9[0061]視頻編碼器112經(jīng)由輸出接口113將編碼后的視頻數(shù)據(jù)直接傳輸?shù)浇獯a設(shè)備120。[0066]顯示裝置123顯示解碼后的視頻數(shù)據(jù)。顯示裝置123可與解碼設(shè)備120整合或在解可用于對(duì)圖像進(jìn)行有損壓縮(lossycompression)，也可用于對(duì)圖像進(jìn)行無(wú)損壓縮(losslesscompression)。該無(wú)損壓縮可以是視覺(jué)無(wú)損壓縮(visuallylossless[0076]幀間預(yù)測(cè)單元211可用于幀間預(yù)測(cè)，幀間預(yù)測(cè)可以包括運(yùn)動(dòng)估計(jì)(motion成預(yù)測(cè)塊也可以理解為把參考?jí)K作為預(yù)測(cè)塊然后再在預(yù)測(cè)塊的基礎(chǔ)上處理生成新的預(yù)測(cè)有8種角度預(yù)測(cè)模式和1種非角度預(yù)測(cè)模式，H.265/HEVC擴(kuò)展到33種角度預(yù)測(cè)模式和2種非殘差單元220可產(chǎn)生CU的殘差塊，使得殘差塊中的每一采樣具有等于以下兩者之間的差的參數(shù)(QP)值來(lái)量化與CU的TU相關(guān)聯(lián)的變換系數(shù)。視頻編碼器200可通過(guò)調(diào)整與CU相關(guān)聯(lián)的[0083]重建單元250可將重建后的殘差塊的采樣加到預(yù)測(cè)單元210產(chǎn)生的一個(gè)或多個(gè)預(yù)像緩存270中的重建后的像素塊來(lái)對(duì)在與CU相同的圖像中的其[0086]熵編碼單元280可接收來(lái)自變換/量化單元230的量化后的變換系數(shù)。熵編碼單元達(dá)同樣的信號(hào)所需要的碼率。常見(jiàn)的統(tǒng)計(jì)編碼方式有變長(zhǎng)編碼(VLC，VariableLengthCoding)或者基于上下文的二值化算術(shù)編碼(CABAC，ContentAdaptiveBinary[0089]視頻解碼器300可接收碼流。熵解碼單元310可解析碼流以從碼流提取語(yǔ)法元內(nèi)預(yù)測(cè)模式以基于空間相鄰PU的像素塊來(lái)產(chǎn)生PU的預(yù)測(cè)塊。幀內(nèi)預(yù)測(cè)單元322還可根據(jù)從碼流解析的一個(gè)或多個(gè)語(yǔ)法元素來(lái)確定PU[0092]幀間預(yù)測(cè)單元321可根據(jù)從碼流解析的語(yǔ)法元素來(lái)構(gòu)造第一參考圖像列表(列表預(yù)測(cè)單元321可根據(jù)PU的一個(gè)或多個(gè)參考?jí)K來(lái)產(chǎn)生P單元330可使用與TU的CU相關(guān)聯(lián)的Q[0095]重建單元340使用與CU的TU相關(guān)聯(lián)的殘差塊及CU的PU的預(yù)測(cè)塊以重建CU的像素[0097]視頻解碼器300可將CU的重建圖像存儲(chǔ)于解碼圖像緩存360中。視頻解碼器300可預(yù)測(cè)單元320基于預(yù)測(cè)信息對(duì)當(dāng)前塊使用幀內(nèi)預(yù)測(cè)或幀間預(yù)測(cè)產(chǎn)生當(dāng)前塊的預(yù)測(cè)塊。反量[0101]上述是基于塊的混合編碼框架下的視頻編解碼器的基本[0102]在現(xiàn)有的混合編碼框架中，視頻中的每幀圖像往往會(huì)先被分割成一定大小的單[0104]本申請(qǐng)涉及的主要技術(shù)是基于神經(jīng)網(wǎng)絡(luò)的濾波器(NeuralNetworkLoop[0106]在神經(jīng)網(wǎng)絡(luò)濾波器的訓(xùn)練過(guò)程中，往往以最大編碼單元為單位輸入色度的UV分元U分量的濾波后的值和最大編碼單元V分量的濾波量濾波的學(xué)習(xí)存在一定相似性。嚴(yán)格規(guī)定測(cè)試過(guò)程中的色度濾波順序與訓(xùn)練過(guò)程保持一量和第二色度分量的目標(biāo)濾波順序，其中目標(biāo)濾波順序是基于N種濾波順序的濾波代價(jià)確[0111]圖7為本申請(qǐng)一實(shí)施例提供的圖像濾波方法的流程示意圖，本申請(qǐng)實(shí)施例應(yīng)用于[0126]在一種示例中，還可以將重建圖像的2個(gè)CTU或3個(gè)CTU等多個(gè)CTU作為一個(gè)神經(jīng)網(wǎng)[0129]在一種示例，如圖8C所示，預(yù)設(shè)圖像區(qū)域包括重建圖像的至少一個(gè)殘缺數(shù)量的[0137]下面對(duì)解碼端確定當(dāng)前圖像塊的第一色度分量和第二色度分量的目標(biāo)濾波順序[0138]在本申請(qǐng)實(shí)施例中，解碼端確定目標(biāo)濾波順序的具體方式包括但不限于如下幾…………當(dāng)前圖像塊的第一色度分量和第二色度分量的目標(biāo)濾波順序?yàn)榈谝簧确至吭谇暗诙_定出當(dāng)前圖像塊的第一色度分量和第二色度分量的目標(biāo)濾波順序?yàn)榈谝簧确至吭谇岸ó?dāng)前圖像塊的第一色度分量和第二色度分量輸入神經(jīng)網(wǎng)絡(luò)濾波器的目標(biāo)濾波順序?yàn)榈跒V波順序?qū)?dāng)前圖像塊的第一色度分量和第二色度分量輸入神經(jīng)網(wǎng)絡(luò)濾波器中進(jìn)行濾波，述N種濾波順序的具體類型不做限制，例如N種濾波順序包括上述表1所示的各種濾波順序色度分量的濾波后的值和當(dāng)前圖像塊的原始圖像塊的第二色度分量，確定第j種濾波順序[0164]基于上述步驟，編碼端可以確定出N種濾波順序中的每一種濾波順序?qū)?yīng)的第一[0165]在一些實(shí)施例中，上述目標(biāo)濾波順序?yàn)镹種濾波順序中第一濾波代價(jià)最小的一種色度分量和第二色度分量的目標(biāo)濾波順序包括如下S102_B1[0177]解碼端在當(dāng)前圖像中確定出當(dāng)前圖像塊的周圍已濾波區(qū)域后，執(zhí)行上述S102_B2色度分量輸入神經(jīng)網(wǎng)絡(luò)濾波器中進(jìn)行濾波，確定這N種濾波順序中的每一種濾波順序?qū)?yīng)[0178]本申請(qǐng)實(shí)施例對(duì)確定周圍已濾波區(qū)域在第i種濾波順序下的第i個(gè)第二濾波代價(jià)濾波后的值。進(jìn)而基于周圍已濾波區(qū)域的第一色度分量在該第i種濾波順序下的濾波后的神經(jīng)網(wǎng)絡(luò)濾波器對(duì)周圍已濾波區(qū)域的第一色度分量和第二色度分量進(jìn)行濾波時(shí)的計(jì)算代值，為了便于描述，將周圍已濾波區(qū)域的第一色度分量在該第i種濾波順序下的濾波后的域的第二色度分量的濾波后的值和周圍已濾波區(qū)域的第二色度分量，確定第i種濾波順序[0187]再例如，第二濾波代價(jià)包括計(jì)算代價(jià)和失真代價(jià)，則解碼端基于第i種濾波順序種濾波順序?qū)?yīng)的失真代價(jià)和計(jì)算代價(jià)之和或加權(quán)和，確定為第i種濾波順序?qū)?yīng)的第二[0190]例如，將N種濾波順序中第二濾波代價(jià)最小的一種濾波順序，確定為目標(biāo)濾波順一色度分量和第二色度分量輸入神經(jīng)網(wǎng)絡(luò)濾波器時(shí)，第二色度分量位于第一色度分量之和第二濾波順序中第二濾波代價(jià)最小的一個(gè)濾波順序確定為[0201]在一些實(shí)施例中，上述神經(jīng)網(wǎng)絡(luò)濾波器是以至少一個(gè)CTU為一個(gè)訓(xùn)練單元訓(xùn)練得絡(luò)濾波器進(jìn)行訓(xùn)練。上述預(yù)設(shè)圖像區(qū)域的相關(guān)描述可以參照上述預(yù)設(shè)圖像區(qū)域的相關(guān)描[0203]在一些實(shí)施例中，神經(jīng)網(wǎng)絡(luò)濾波器的色度分量的訓(xùn)練順序?yàn)镹種訓(xùn)練順序中的任在前U分量在后的濾波順序，將當(dāng)前圖像塊的周圍已濾波區(qū)域的U分量和V分量輸入神經(jīng)網(wǎng)量在前U分量在后的濾波順序，將當(dāng)前圖像塊的周圍已濾波區(qū)域的U分量和V分量輸入神經(jīng)周圍已解碼區(qū)域在其他濾波順序下的第二濾波代價(jià)，這樣可以確定出N種濾波順序中每一濾波器中進(jìn)行濾波，得到當(dāng)前圖像塊的第一色度分量的濾波值和第二色度分量的濾波值，其中當(dāng)前圖像塊的第一色度分量的濾波值和第二色度分量的濾波值構(gòu)成當(dāng)前圖像塊的色濾波器中進(jìn)行濾波，得到當(dāng)前圖像塊的第一色度分量的濾波值和第二色度分量的濾波值，其中當(dāng)前圖像塊的第一色度分量的濾波值和第二色度分量的濾波值構(gòu)成當(dāng)前圖像塊的色前圖像塊的第一色度分量和第二色度分量的目標(biāo)濾波順序，該目標(biāo)濾波順序是基于N種濾準(zhǔn)確確定的目標(biāo)濾波順序?qū)?dāng)前圖像塊的第一色度分量和第二色度分量輸入神經(jīng)網(wǎng)絡(luò)濾[0234]在一種示例中，還可以將重建圖像的2個(gè)CTU或3個(gè)CTU等多個(gè)CTU作為一個(gè)神經(jīng)網(wǎng)[0237]在一種示例，如圖8C所示，預(yù)設(shè)圖像區(qū)域包括重建圖像的至少一個(gè)殘缺數(shù)量的[0245]下面對(duì)編碼端確定當(dāng)前圖像塊的第一色度分量和第二色度分量的目標(biāo)濾波順序[0246]在本申請(qǐng)實(shí)施例中，編碼端確定目標(biāo)濾波順序的具體方式包括但不限于如下幾圖像塊的第一色度分量和第二色度分量的目標(biāo)濾波順序包括如下S202_A1和S202_A2的步色度分量和第二色度分量輸入神經(jīng)網(wǎng)絡(luò)濾波器中進(jìn)行濾波，確定這N種濾波順序中的每一[0251]本申請(qǐng)實(shí)施例對(duì)確定當(dāng)前圖像塊在第j種濾波順序下的第j個(gè)第一濾波代價(jià)的具度分量在該第j種濾波順序下的濾波后的值，確定該第j種濾波順序?qū)?yīng)的第一濾波代價(jià)。分量在該第j種濾波順序下的濾波后的值記為當(dāng)前圖像塊的第塊的第二色度分量的濾波后的值和當(dāng)前圖像塊的原始圖像塊的第二色度分量，確定第j種[0260]再例如，第一濾波代價(jià)包括計(jì)算代價(jià)和失真代價(jià)，則編碼端基于第j種濾波順序下，當(dāng)前圖像塊的第一色度分量的濾波后的值和當(dāng)前圖像塊的原始圖像塊的第一色度分[0263]例如，將N種濾波順序中第一濾波代價(jià)最小的一種濾波順序，確定為目標(biāo)濾波順波順序中第一濾波代價(jià)最小的一個(gè)濾波順序確定為目[0271]在一些實(shí)施例中，上述神經(jīng)網(wǎng)絡(luò)濾波器是以至少一個(gè)CTU為一個(gè)訓(xùn)練單元訓(xùn)練得絡(luò)濾波器進(jìn)行訓(xùn)練。上述預(yù)設(shè)圖像區(qū)域的相關(guān)描述可以參照上述預(yù)設(shè)圖像區(qū)域的相關(guān)描[0273]在一些實(shí)施例中，神經(jīng)網(wǎng)絡(luò)濾波器的色度分量的訓(xùn)練順序?yàn)镹種訓(xùn)練順序中的任像塊的U分量和V分量輸入神經(jīng)網(wǎng)絡(luò)濾波器NNLF中進(jìn)行濾波，輸出當(dāng)前圖像塊的U分量的濾圖像塊的U分量和V分量輸入神經(jīng)網(wǎng)絡(luò)濾波器NNLF中進(jìn)行濾波，輸出當(dāng)前圖像塊的U分量的周圍已編碼區(qū)域在其他濾波順序下的第一濾波代價(jià)，這樣可以確定出N種濾波順序中每一色度分量和第二色度分量的目標(biāo)濾波順序包括如下S202_B1[0294]編碼端在當(dāng)前圖像中確定出當(dāng)前圖像塊的周圍已濾波區(qū)域后，執(zhí)行上述S202_B2色度分量輸入神經(jīng)網(wǎng)絡(luò)濾波器中進(jìn)行濾波，確定這N種濾波順序中的每一種濾波順序?qū)?yīng)[0295]本申請(qǐng)實(shí)施例對(duì)確定周圍已濾波區(qū)域在第i種濾波順序下的第i個(gè)第二濾波代價(jià)濾波后的值。進(jìn)而基于周圍已濾波區(qū)域的第一色度分量在該第i種濾波順序下的濾波后的神經(jīng)網(wǎng)絡(luò)濾波器對(duì)周圍已濾波區(qū)域的第一色度分量和第二色度分量進(jìn)行濾波時(shí)的計(jì)算代值，為了便于描述，將周圍已濾波區(qū)域的第一色度分量在該第i種濾波順序下的濾波后的域的第二色度分量的濾波后的值和周圍已濾波區(qū)域的第二色度分量，確定第i種濾波順序[0304]再例如，第二濾波代價(jià)包括計(jì)算代價(jià)和失真代價(jià)，則編碼端基于第i種濾波順序種濾波順序?qū)?yīng)的失真代價(jià)和計(jì)算代價(jià)之和或加權(quán)和，確定為第i種濾波順序?qū)?yīng)的第二[0307]例如，將N種濾波順序中第二濾波代價(jià)最小的一種濾波順序，確定為目標(biāo)濾波順濾波器中進(jìn)行濾波，得到當(dāng)前圖像塊的第一色度分量的濾波值和第二色度分量的濾波值，其中當(dāng)前圖像塊的第一色度分量的濾波值和第二色度分量的濾波值構(gòu)成當(dāng)前圖像塊的色濾波器中進(jìn)行濾波，得到當(dāng)前圖像塊的第一色度分量的濾波值和第二色度分量的濾波值，其中當(dāng)前圖像塊的第一色度分量的濾波值和第二色度分量的濾波值構(gòu)成當(dāng)前圖像塊的色前圖像塊的第一色度分量和第二色度分量的目標(biāo)濾波順序，該目標(biāo)濾波順序是基于N種濾前圖像塊的第一色度分量和第二色度分量的目標(biāo)濾波順序，目標(biāo)濾波順序是基于N種濾波述N種濾波順序中每一種濾波順序的第一濾波代價(jià)確定的，所述濾波順序的第一濾波代價(jià)[0329]在一些實(shí)施例中，所述目標(biāo)濾波順序?yàn)樗鯪種濾波順序中第一濾波代價(jià)最小的濾波順序?yàn)樗錾窠?jīng)網(wǎng)絡(luò)濾波器的輸入中所述第一色度分量在前，所述第二色度分量在[0335]在一些實(shí)施例中，所述神經(jīng)網(wǎng)絡(luò)濾波器是以至少一個(gè)CTU為一個(gè)訓(xùn)練單元訓(xùn)練得[0336]在一些實(shí)施例中，所述神經(jīng)網(wǎng)絡(luò)濾波器的色度分量的訓(xùn)練順序?yàn)镹種訓(xùn)練順序中實(shí)施例，并且裝置中的各個(gè)模塊的前述和其它操作和/或功能分別為了實(shí)現(xiàn)解碼器對(duì)應(yīng)的圖像塊的第一色度分量和第二色度分量的目標(biāo)濾波順序，所述目標(biāo)濾波順序是基于N種濾濾波順序?yàn)樗錾窠?jīng)網(wǎng)絡(luò)濾波器的輸入中所述第一色度分量在前，所述第二色度分量在[0353]在一些實(shí)施例中，所述神經(jīng)網(wǎng)絡(luò)濾波器是以至少一個(gè)CTU為一個(gè)訓(xùn)練單元訓(xùn)練得[0354]在一些實(shí)施例中，所述神經(jīng)網(wǎng)絡(luò)濾波器的色度分量的訓(xùn)練順序?yàn)镹種訓(xùn)練順序中訓(xùn)練順序?yàn)樗錾窠?jīng)網(wǎng)絡(luò)濾波器的輸入中所述第一色度分量在前，所述第二色度分量在并且裝置中的各個(gè)