CN113066156B 表情重定向方法、裝置、設備和介質 （廣州虎牙科技有限公司）

述個性化表情系數與預先生成的目標個性化虛以驅動與所述目標個性化虛擬形象表情基組對解決主播驅動虛擬形象時虛擬形象表情不自然2實時獲取直播視頻幀中的人臉圖像，并根據標準表確定與所述標準表情系數對應的個性化表情系數，其中，所將所述個性化表情系數使用到所述目標個性化虛擬形象表情標個性化虛擬形象表情基組對應的個性化虛擬形象的獲取包括多種面部表情動作的多視角視頻數據，并確定所根據所述標準表情基組確定與所述主視角視頻數據的每個視頻幀中的人臉圖像分別根據與所述多視角視頻數據對應的三維網格流數據、與所述主視角視頻數據的每個視頻幀中的人臉圖像分別對應的標準表情系數作為訓練樣本進行3.根據權利要求1所述的方法，其特征在于，在實時獲取直播視頻幀中的人臉圖像之獲取包括多種面部表情動作的多視角視頻數據中根據與所述多個圖像幀對應的三維網格流數據，以及表情將所述標準表情系數輸入目標神經網絡中，通過所述目標神經所述表情系數訓練數據包括：根據所述標準表情基組確定與所述多視角性化虛擬形象表情基組確定的與所述多視角視頻數據的每個視頻幀中的人臉圖像分別對6.根據權利要求1所述的方法，其特征在于，在實時獲取直播視頻幀中的人臉圖像之3標準表情系數確定模塊，用于實時獲取直播視頻幀中的人臉圖像，并根個性化表情系數確定模塊，用于確定與所述標準表情重定向模塊，用于將所述個性化表情系數使用到所述目標個性第一個性化虛擬形象表情基組拆解模塊，用于在實時獲取所述第一個性化虛擬形象表情基組拆解模塊在表情基組模板的基礎上，將與多視角視頻數據對應的三角視頻數據的每個視頻幀中的人臉圖像分別對應的標準表情系數作為訓練樣本進行目標4導致將使用驅動模型的表情基組學習到的表情系數遷移到虛擬形象表情基組上時會出現述目標個性化虛擬形象表情基組對應的個性化虛擬形象[0011]個性化表情系數確定模塊，用于確定與所述標準表情系數對應的個性化表情系5[0018]在本發明實施例提供的技術方案中，在預先生成的目標個性化虛擬形象表情之化表情系數使用到目標個性化虛擬形象表情基組而得到的虛擬形象表情不會存在不自然[0033]圖1是本發明實施例一提供的一種表情重定向方法的流程圖，本實施例可適用于6性化虛擬形象表情基組可以在不同的個性化模特的多視角視頻數據中拆解得到。情基組中選取與個性化虛擬形象選擇請求中攜帶信息匹配的一個個性化虛擬形象表情基7動與所述目標個性化虛擬形象表情基組對應的個性形象表情基組中各個虛擬形象表情基進行組合，即可生成與人臉圖像一致表情的虛擬形[0053]針對實時獲取的連續多個直播視頻幀中的人臉圖像，分別執行生成標準表情系[0054]在本發明實施例提供的技術方案中，在預先生成的目標個性化虛擬形象表情之化表情系數使用到目標個性化虛擬形象表情基組而得到的虛擬形象表情不會存在不自然[0056]圖4是本發明實施例二提供的一種表情重定向方法的流程圖，本實施例在上述實[0058]根據所述標準表情基組確定與所述主視角視頻數據的每個視頻幀中的人臉圖像8[0062]其中，多視角視頻數據是通過多個攝像頭在多個角度拍攝個性化模特而生成主視角視頻數據是指通過個性化模特正面的攝像頭拍攝[0065]對與主視角視頻數據的每個視頻幀中的人臉圖像分別對應的標準表情系數進行標識作為與其對應的個性化虛擬形象表情基組的人臉以對與每個視頻幀對應的網格點數適量減少(例如從100萬個左右網格點減少到4萬左右個主視角視頻數據的每個視頻幀中的人臉圖像分別對應的標準表情系數作為訓練樣本進行的人臉圖像分別對應的標準表情系數作為訓練樣本進行目標個性化虛擬形象表情基組的學習到與主視角視頻序列對應的標準表情系數；將多視角視頻序列輸入到三維重建模塊，得到拓撲一致低面數的3D網格流數據；通過EBFR算法拆解模塊在表情基組模板的基礎上，9動與所述目標個性化虛擬形象表情基組對應的個性象表情基組上，即可達到主播驅動與目標個性化虛擬形象表情基組對應的虛擬形象的目準表情系數遷移到個性化虛擬形象表情基組上會使虛擬形象表情更加[0086]圖7是本發明實施例三提供的一種表情重定向方法的流程圖，本實施例在上述實角視頻數據中的多個圖像幀，得到目標個性化虛擬形象表情基組與標準表情系數并不匹[0105]作為一種可選的實施方式，所述將所述標準表情系數映射成所述個性化表情系象表情基組確定的與所述多視角視頻數據的每個視頻幀中的人臉圖像分別對應的個性化[0107]參照圖8，對與多視角視頻數據中主視角視頻數據的每個視頻幀中的人臉圖像分學習與主視角視頻數據的每個視頻幀中的人臉圖像分別對標識作為與其對應的個性化虛擬形象表情基組的人臉[0109]對與多視角視頻數據中主視角視頻數據的每個視頻幀中的人臉圖像分別對應的化虛擬形象表情基組學習與多視角視頻數據的每個視頻幀中的人臉圖像分別對應的個性[0111]當將根據標準表情基組確定的與實時獲取直播視頻幀中的人臉圖像對應的標準網絡進行訓練時，也能提高目標神經網絡將標準表情系數映射成個性化表情系數的精準動與所述目標個性化虛擬形象表情基組對應的個性個攝像頭獲取單視角主播圖像，并輸入到基于3DMM庫的表情驅動模塊中得到標準表情系需要借助一個基于3DMM庫的表情驅動模型獲得標準表情系數，通過重定向技術轉換接口，可適用于主播在直播間中驅動虛擬形象表情的情況，該裝置可以采用軟件和/或硬件的方[0123]個性化表情系數確定模塊420，用于確定與所述標準表情系數對應的個性化表情[0124]表情重定向模塊430，用于將所述個性化表情系數使用到所述目標個性化虛擬形象表情基組上，以驅動與所述目標個性化虛擬形象表情基組對應的個性化虛擬形象的表[0125]在本發明實施例提供的技術方案中，在預先生成的目標個性化虛擬形象表情之化表情系數使用到目標個性化虛擬形象表情基組而得到的虛擬形象表情不會存在不自然基組確定與所述多視角視頻數據中主視角視頻數據的每個視頻幀中的人臉圖像分別對應[0132]本發明實施例所提供的表情重定向裝置可執行本發明任意實施例所提供的表情述目標個性化虛擬形象表情基組對應的個性化虛擬形象中，如計算機的軟盤、只讀存儲器(Read-OnlyMemory，ROM)、隨機存取存儲器