CN117197262B 語義可伸縮圖像編碼方法、系統、設備及存儲介質 （中國科學技術大學）

US2003044078A1,2003.03.06US2015304667A1,2015.1本發明公開了一種語義可伸縮圖像編碼方計算資源與傳輸量的同時保證后續任務的順利2獲取原始輸入圖像及其對應的兩種不同粒度的語義特征，將構建基于樹形結構的語義可伸縮圖像編碼框架，對于所述第一語義特征，使用第一特征壓縮模型進行壓縮，壓第一分支中，對所述第一比特流進行重建，利用重建獲第二分支中，對所述第一比特流進行重建，利用重建獲得的首先對所述第二語義特征進行特征變換，利用所述第一編碼通過所述第一算數解碼器與第一解碼器依次對所述第二比特流進第二層卷積層至第五層卷積層中的相鄰卷積層之間設有激所述特征變換通過面向特征壓縮的特征變換模塊實現，所述面向特征壓3輸入尺寸為H×W×C的第一語義特征或者第二語義特征，經過可學習維的卷積層在通道維度上融合特征，再通過重排操作層將特征的通道維度轉化空間維度，輸出為第二分支中壓縮所述原始輸入圖像時所需的均值所述第二編碼器結合預測模塊輸出的均值與尺度參數對所述原始輸入圖像進行編碼，8.一種語義可伸縮圖像編碼系統，其特征在于，數據信息獲取單元，用于獲取原始輸入圖像及其對語義可伸縮圖像編碼框架構建及編碼單元，用于構建基于樹其中，當所述一個或多個程序被所述一個或多個處理器執4[0001]本發明涉及圖像視頻壓縮編碼技術領域，尤其涉及一種語義可伸縮圖像編碼方碼。語義可伸縮圖像編碼考慮同時壓縮圖像信號和從圖像中提取的具有語義信息的特征，[0003]隨著深度學習技術的不斷成熟，深度神經網絡被廣泛用于提取圖像中的語義信粒度的語義信息可用于目標檢測等較復雜的視覺任務，圖像信號層的信息可用于重建圖要進一步分析的樣本，發送端再發送包含細粒度語義信息或圖像信號信息的比特流給云[0004]如之前所述，語義可伸縮圖像編碼考慮同時壓縮多層次細粒度語義特征的信息量，而細粒度語義特征的信息量又包含了粗粒度語義特征的信息5[0017]數據信息獲取單元，用于獲取原始輸入圖像及其對應的兩種不同粒度的語義特6[0026]圖3為本發明實施例提供的基于樹形結構的語義可伸縮圖像編碼框架的編碼示意7[0045]圖3展示了基于樹形結構的語義可伸縮圖像編碼框架的編碼示意圖。所述基于樹對第二語義特征和原始輸入圖像，分別提出了對應8得的第一語義特征，輸出為第一分支中壓縮所述原始輸入圖像時所需的均值與尺度參數；9第一部分比特流與第二部分比特流作為第三比是因為第二個階段的特征空間尺度比第四個階段的特征Minnen等人提出的基于深度學習的圖像編碼器(記[0085]第二語義特征用于目標檢測任務，所選用的評價指標為AP(Average[0086]圖像壓縮的評價指標為PSNR(峰值信噪比)。圖像和特征壓縮后的碼率使用bpp法有著明顯的優勢。圖9中顯示本發明提出的方案在圖像重建任務上也能取得和傳統圖像[0090]數據信息獲取單元，用于獲取原始輸入圖像及其對應的兩種不同粒度的語義特任何熟悉本技術領域的技術人員在本發明披露的技術范圍內，可輕易想到的變化或替換，