CN117651169B 音視頻數(shù)據(jù)的傳輸方法、裝置、設備、介質(zhì)及程序產(chǎn)品 （北京百度網(wǎng)訊科技有限公司）

本公開提供了音視頻數(shù)據(jù)的傳輸方法、裝幀的幀屬性，確定所述候選傳輸順序的損失參2為待傳輸音視頻數(shù)據(jù)中的數(shù)據(jù)幀確定候選傳順序中音頻幀和視頻幀之間的顯示時間距離根據(jù)所述損失參數(shù)從所述候選傳輸順序中確定目標傳輸順序，并采根據(jù)預設的客戶端播放條件和所述候選傳輸順序，確定所述候選根據(jù)所述目標幀的幀尺寸和網(wǎng)絡傳輸速度為所述所述根據(jù)所述目標幀的幀尺寸和網(wǎng)絡傳輸速度為所述候選傳輸順序確定播放起始時根據(jù)所述第一幀尺寸和所述網(wǎng)絡傳輸速度的商確定所述所述數(shù)據(jù)幀的播放時間和傳輸?shù)竭_時間之間的冗余根據(jù)所述數(shù)據(jù)幀的冗余時間差為所述候選傳輸順序確定冗余損失根據(jù)所述前序幀的幀尺寸、所述數(shù)據(jù)幀的幀尺寸和所述網(wǎng)絡傳輸速根據(jù)所述播放起始時間、所述數(shù)據(jù)幀的顯示時間戳和所述數(shù)據(jù)3根據(jù)所述播放時間和所述傳輸?shù)竭_時間之間的差值確定所述數(shù)據(jù)幀的冗根據(jù)所述總冗余時間與所述數(shù)據(jù)幀的總數(shù)量的商為所述候選傳輸順序確定冗余損失根據(jù)所述數(shù)據(jù)幀的幀尺寸和所述前序幀的幀尺寸之和確定第根據(jù)所述第二幀尺寸和所述網(wǎng)絡傳輸速度的商確定所述數(shù)據(jù)幀的根據(jù)所述數(shù)據(jù)幀的顯示時間戳和所述數(shù)據(jù)幀對應類型的起始幀的顯示時間戳之間的根據(jù)所述顯示時間差和所述播放起始時間之和確定所述數(shù)據(jù)根據(jù)所述參考幀的顯示時間戳、所述數(shù)據(jù)幀的顯示時間戳和所述數(shù)根據(jù)所述數(shù)據(jù)幀的類型和所述候選傳輸順序，確定與所述數(shù)據(jù)幀相根據(jù)所述候選傳輸順序確定所述前一幀和所述數(shù)據(jù)幀之間的幀以及所述數(shù)據(jù)幀與所根據(jù)所述數(shù)據(jù)幀的顯示時間戳和各參考幀的顯示時間戳之間的差值平方和確定交錯根據(jù)所述交錯時間差和所述數(shù)據(jù)幀對應的同類型幀的總數(shù)量的商確損失參數(shù)確定模塊，用于根據(jù)所述數(shù)據(jù)幀的幀屬性，確定4失參數(shù)表征不同候選傳輸順序中音頻幀和視頻幀之間的顯示目標順序確定模塊，用于根據(jù)所述損失參數(shù)從所述候選傳輸順序中確定目標傳輸順播放起始時間確定單元，用于根據(jù)所述目標幀的幀尺寸和網(wǎng)絡傳根據(jù)所述第一幀尺寸和所述網(wǎng)絡傳輸速度的商確定所述冗余損失確定單元，用于根據(jù)所述數(shù)據(jù)幀的冗余時間差為所述候傳輸?shù)竭_時間確定子單元，用于根據(jù)所述前序幀的幀尺寸、所述播放時間確定子單元，用于根據(jù)所述播放起始時間、所述數(shù)據(jù)冗余時間差確定子單元，用于根據(jù)所述播放時間和所述傳輸?shù)竭_冗余損失確定子單元，用于根據(jù)所述總冗余時間與所述數(shù)據(jù)幀的總根據(jù)所述數(shù)據(jù)幀的幀尺寸和所述前序幀的幀尺寸之和確定第根據(jù)所述第二幀尺寸和所述網(wǎng)絡傳輸速度的商確定所述數(shù)據(jù)幀的5根據(jù)所述數(shù)據(jù)幀的顯示時間戳和所述數(shù)據(jù)幀對應類型的起始幀的顯示時間戳之間的根據(jù)所述顯示時間差和所述播放起始時間之和確定所述數(shù)據(jù)參考幀確定單元，用于根據(jù)所述候選傳輸順序中所述數(shù)據(jù)幀的位交錯損失確定單元，用于根據(jù)所述參考幀的顯示時間戳根據(jù)所述數(shù)據(jù)幀的類型和所述候選傳輸順序，確定與所述數(shù)據(jù)幀相根據(jù)所述候選傳輸順序確定所述前一幀和所述數(shù)據(jù)幀之間的幀以及所述數(shù)據(jù)幀與所根據(jù)所述數(shù)據(jù)幀的顯示時間戳和各參考幀的顯示時間戳之間的差值平方和確定交錯根據(jù)所述交錯時間差和所述數(shù)據(jù)幀對應的同類型幀的總數(shù)量的商確所述存儲器存儲有可被所述至少一個處理器執(zhí)行的指令，所述指令被使所述計算機執(zhí)行根據(jù)權利要求1-11中被處理器執(zhí)行時實現(xiàn)根據(jù)權利要求1-11中任一項所述6頻中的音頻幀和視頻幀的傳輸順序進行合理規(guī)劃。機程序在被處理器執(zhí)行時實現(xiàn)根據(jù)本公開中任一實施例所述的音視頻數(shù)據(jù)7[0019]應當理解，本部分所描述的內(nèi)容并非旨在標識本公開的實施例的關鍵或重要特[0028]圖1是根據(jù)本公開實施例的一種音視頻數(shù)據(jù)的傳輸方法的示意圖，本實施例可適景中或者視頻直播的初始緩存下發(fā)場景中，客戶端需要從服務器中獲取待傳輸音視頻數(shù)頻數(shù)據(jù)中的順序相同，同樣視頻幀序列中視頻幀的順序與待傳輸音視頻數(shù)據(jù)中的順序相8[0032]如圖2所示為待傳輸音視頻數(shù)據(jù)的候選傳輸順序示意圖，在待傳輸音視頻數(shù)據(jù)中i=1,2,…na,xnst1表示在音頻幀序列中的第na個音頻幀后的視頻幀數(shù)量，xi和xna+1可以等于0，用一個長度為na+1的向量xeRpa+1表示視頻幀的視頻候選傳輸順序，其中，X=[X1,X2,…1xns+1],其中，X滿足na+1個連續(xù)視頻幀集合為SY,S,…,S?。+1,該集合與V,V2,…vn,相同。則向量X中不同的數(shù)值組合代表了對應的幀尺寸為顯示時間戳(PresentationTimeStamp，PTS)用于表示該數(shù)據(jù)幀在客戶端中的播放時間，音頻幀序列A,A2,…Ans對應的顯示時間戳為網(wǎng)絡傳輸速度是指數(shù)據(jù)幀在從服務器傳輸?shù)娇蛻舳藭r的發(fā)[0035]損失參數(shù)是指按照不同的候選傳輸順序?qū)σ纛l幀序列和視頻幀序列進行傳輸時[0038]根據(jù)預設的客戶端播放條件和候選傳輸順序，確定候選傳輸9音頻幀和視頻幀的數(shù)量根據(jù)候選傳輸順序中音頻幀和視頻幀的排列[0047]根據(jù)目標幀中所包括的所有數(shù)據(jù)幀的幀尺寸之和確定客戶端開始播放時從服務[0048]本實施例以客戶端播放條件為客戶端在接收到至少一個音頻幀和至少一個視頻順序中的第j個視頻幀的幀尺寸；xm表示候選傳輸順序中第m-1個音頻幀和第m個音頻幀之[0054]根據(jù)不同候選傳輸順序?qū)膿p失參數(shù)的比較結果從候選傳輸順序中確定目標[0056]圖3是根據(jù)本公開實施例的另一種音視頻數(shù)據(jù)的傳輸方法的示意圖，本實施例是傳輸順序中每一個數(shù)據(jù)幀的位置信息以及客戶端播放起始時間確定每一個數(shù)據(jù)幀的播放時間，根據(jù)各候選傳輸順序中每一個數(shù)據(jù)幀的位置信息確定每一個數(shù)據(jù)幀的傳輸?shù)竭_時滿足客戶端播放條件的情況下已接收的音頻幀和/或視頻幀；根據(jù)目標幀的幀尺寸和網(wǎng)絡[0072]根據(jù)數(shù)據(jù)幀的幀尺寸和該數(shù)據(jù)幀對應的前序幀的幀尺寸的和確定的第二幀尺寸根據(jù)第二幀尺寸和網(wǎng)絡傳輸速度的商得到該數(shù)據(jù)幀的傳輸?shù)娇蛻舳松系捻樞蛑械趇-1個音頻幀和第i個音頻幀之間的第k個視頻幀的傳輸?shù)竭_時間；SIZE表示候選傳輸順序中的第j個音頻幀的幀尺寸；SIZE"表示候選傳輸順序中的第j個視頻幀的幀尺qq[0081]根據(jù)數(shù)據(jù)幀的顯示時間戳和數(shù)據(jù)幀對應類型的起始幀的顯示時間戳之間的差值示戳和對應類型的起始幀的顯示時間戳之間的差值可以確定該數(shù)據(jù)幀在對應類型幀序列起始條件為客戶端在接收到至少一個音頻幀和至少一個視頻幀的情況下開始播放進行說中的第i個音頻幀的顯示時間戳；表示候選傳輸順序中的第個[0091]根據(jù)待傳輸音視頻數(shù)據(jù)中各數(shù)據(jù)幀的冗余時間差確定該候選傳輸順序?qū)娜遊0095]根據(jù)待傳輸音視頻數(shù)據(jù)中各數(shù)據(jù)幀的冗余時間差之和確定待傳輸音視頻數(shù)據(jù)按有數(shù)據(jù)幀的總數(shù)量的商確定的冗余時間平均值作為該候選傳輸順序?qū)娜哂鄵p失參數(shù)，即冗余損失參數(shù)表征了待傳輸音視頻數(shù)據(jù)中數(shù)據(jù)幀redundancy"=B-L?;redundancy"x表示候選傳輸順序中第i-1個音頻幀和第i個音頻幀之間的第k個視頻幀的冗余時間差，redundancy?"x-xi表示候[0103]本實施例的方案，通過數(shù)據(jù)幀的幀屬性確定不同候選傳冗余損失參數(shù)表征該候選傳輸順序?qū)臄?shù)據(jù)幀播放時間和傳輸?shù)竭_時間差值的總體水[0104]圖4是根據(jù)本公開實施例的又一種音視頻數(shù)據(jù)的傳輸方法的示意圖，本實施例是[0111]根據(jù)候選傳輸順序確定前一幀和數(shù)據(jù)幀之間的幀以及數(shù)據(jù)幀與后一幀之間的幀[0112]與數(shù)據(jù)幀相同類型的前一幀和后一幀分別與該數(shù)據(jù)幀之間的幀即為目標音頻幀[0117]根據(jù)數(shù)據(jù)幀的顯示時間戳和各參考幀的顯示時間戳之間的差值平方和確定交錯差值平方和確定交錯時間差，交錯時間差反映了音頻幀和視頻幀之間的顯示時間距離信過交錯損失參數(shù)表征音頻幀和視頻幀之間交錯即和對應第個視頻幀到第個視頻幀，對應第[0129]本實施例的方案，通過數(shù)據(jù)幀的幀屬性確定不同候選傳[0133]示例性的，在上述示例的基礎上，總損失參數(shù)的表達式為α1Lfirst-α2Lredundancy+α3Ldistance失參數(shù)從候選傳輸順序中確定目標傳輸順序即是對m的求解問題。向量xeRIlat1表示視頻幀的視頻候選傳輸順序，[0134]圖5是根據(jù)本公開實施例的一種音視頻數(shù)據(jù)的傳輸裝置的結構示意圖，該裝置可[0137]目標順序確定模塊430，用于根據(jù)所述損失參數(shù)從所述候選傳輸順序中確定目標[0145]根據(jù)所述目標幀中目標音頻幀的幀尺寸和目標視頻幀的幀尺寸之和確定第一幀[0157]總冗余時間確定子單元，用于根據(jù)所述數(shù)據(jù)幀的冗余時間差之和確定總冗余時[0163]根據(jù)所述數(shù)據(jù)幀的顯示時間戳和所述數(shù)據(jù)幀對應類型的起始幀的顯示時間戳之[0171]根據(jù)所述候選傳輸順序確定所述前一幀和所述數(shù)據(jù)幀之間的幀以及所述數(shù)據(jù)幀[0173]根據(jù)所述數(shù)據(jù)幀的顯示時間戳和各參考幀的顯示時間戳之間的差值平方和確定[0174]根據(jù)所述交錯時間差和所述數(shù)據(jù)幀對應的同類型幀的總數(shù)量的商確定交錯損失[0175]上述音視頻數(shù)據(jù)的傳輸裝置可執(zhí)行本公開任意實施例所提供的音視頻數(shù)據(jù)的傳的計算機程序或者從存儲單元508加載到隨機訪問存儲器(RAM)503中的計算機程序，來執(zhí)因特網(wǎng)的計算機網(wǎng)絡和/或各種電信網(wǎng)絡與其他設備交換信機程序的部分或者全部可以經(jīng)由ROM502和/或通信單元509而被載入和/或安裝到設備500機程序可在包括至少一個可編程處理器的可編程系統(tǒng)上執(zhí)行和/或解釋，該可編程處理器[0183]用于實施本公開的方法的程序代碼可以采用一個或多個編程語言的任何組合來理器或控制器，使得程序代碼當由處理器或控制器執(zhí)行時使流程圖和/或框圖中所規(guī)定的包部分地在機器上執(zhí)行且部分地在遠程機器上執(zhí)行或完全在[0186]可以將此處描述的系統(tǒng)和技術實施在包括后臺部件的計算系統(tǒng)(例如，作為數(shù)據(jù)面或者該網(wǎng)絡瀏覽器來與此處描述的系統(tǒng)和技術的實施方式交互)、或者包括這種后臺部