CN117745761B 一種點追蹤方法、裝置、電子設備和存儲介質 （上海人工智能創新中心）

US2015146917A1,2015.05.28質點的當前位置信息確定待追蹤點在當前視頻幀定待追蹤點在當前視頻幀片段中對應的時空依賴特征以及預設迭代次數對初始特征軌跡和初頻幀序列中依次確定待追蹤點對應每個視頻幀的時空依賴特征以及采用預設自適應滑動窗口2基于待追蹤點的當前位置信息確定所述待追蹤點在當前視頻幀片段中對應的初始特確定所述待追蹤點在所述當前視頻幀片段中基于預設自適應滑動窗口策略、所述時空依賴特征以及預設迭基于所述目標位置軌跡確定所述待追蹤點在所述當前視頻幀片段中最后一幀圖像的其中，所述基于預設自適應滑動窗口策略、所述時空依賴特將所述時空依賴特征作為前饋神經網絡層的輸入，生成當前迭前迭代次數下更新后的所述初始特征軌跡和所述初在進行所述預設迭代次數的迭代更新后，得到所述目標特征軌跡和所述目標位置軌將所述目標特征軌跡依次輸入至線性層和Sigmoid激活層，確定在當前所述預設窗口在所述位置遮擋狀態滿足預設窗口更新條件時，按照所述預設重新確定所述新的當前視頻幀片段對應的新的目標至所述新的目標特征軌跡對應新的位置遮擋狀態不滿足所述預調用預訓練的點追蹤模型的卷積神經網絡提取所述當前視頻幀片段中的每一幀圖像按照所述當前位置信息確定所述待追蹤點在所述當前視頻幀片段的第一幀圖像中的在所述第一幀圖像對應的初始特征圖中，調用預設雙線性采3確定所述初始特征軌跡中所述待追蹤點的特征向量與對應時間步的初始特征圖之間將所述相關矩陣、所述初始特征軌跡和所述初始位置軌跡拼接述基于待追蹤點的當前位置信息確定所述待追蹤點在當前視頻幀片段中對應的初始特征軌跡和初始位置軌跡的步驟，直至確定出所述待追蹤點對應視頻幀序列的最終位置軌跡，目標位置信息確定所述待追蹤點在所述下一組視頻幀片段的第一幀圖像中的初始位置坐將所述下一組視頻幀片段作為所述當前視頻幀片段，并返回執行所述在所述視頻幀序列中依次確定所述待追蹤點將各所述目標位置軌跡按照時間維度拼接為所述最軌跡初始化模塊，用于基于待追蹤點的當前位置信息確定所述待追蹤特征確定模塊，用于確定所述待追蹤點在所述當前視頻幀片段中對應的時空依賴特述目標特征軌跡對所述當前視頻幀片段對應的預設窗口大小進最終軌跡確定模塊，用于基于所述目標位置軌跡確定所述待追位置信息確定所述待追蹤點在當前視頻幀片段中對應的初始特征軌跡和初始位置軌跡的4軌跡更新單元，用于將所述時空依賴特征作為前饋神經網絡層跡更新量得到所述當前迭代次數下更新后的所述初始特征軌跡和所述第一目標軌跡確定單元，用于在進行所述預設迭代次數的第二目標軌跡確定單元，用于重新確定所述新的當前視所述存儲器存儲有可被所述至少一個處理器執行的計算機程序，所述述至少一個處理器執行，以使所述至少一個處理器能夠執行權利要求1_6中任一項所述的9.一種計算機可讀存儲介質，其特征在于，所述5[0006]基于待追蹤點的當前位置信息確定待追蹤點在當前視頻幀片段中對應的初始特和初始位置軌跡進行迭代更新，生成當前視頻幀片段對應的目標特征軌跡和目標位置軌[0009]基于目標位置軌跡確定待追蹤點在當前視頻幀片段中最后一幀圖像的目標位置6于待追蹤點的當前位置信息確定待追蹤點在當前視頻幀片段中對應的初始特征軌跡和初待追蹤點的當前位置信息確定待追蹤點在當前視頻幀片段中對應的初始特征軌跡和初始以及捕獲跨點之間的復雜依賴關系，有效提升了在目標遮擋情況下的點追蹤精度和效率；[0021]應當理解，本部分所描述的內容并非旨在標識本發明的實施例的關鍵或重要特7員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都應當屬于本發明保護的范[0035]圖1為本發明實施例一提供了一種點追蹤方法的流程圖，本實施例可適用于對視蹤裝置可以采用硬件和/或軟件的形式實現，該點追蹤裝置可配置于有計算能力的電子設[0038]初始特征軌跡可以是指利用待追蹤點的當前位置信息在前視頻幀片段對應的特[0039]初始位置軌跡可以是指利用待追蹤點的當前位置信息對當前視頻幀片段進行初標所構成的序列。8編碼器(Encoder)提取當前視頻幀片段中的每一幀圖像分別對應的特征圖，再采用雙線性[0042]其中，時空依賴特征可以理解為用于表征待追蹤點在時間和空間的相關性的特頻幀片段的最后一幀圖像的遮擋情況去自適應調整當前視頻幀片段對應的預設窗口大小，若預測到待追蹤點在最后一幀圖像中被遮擋，則增加當前視頻幀片段對應的預設窗口大跡和初始位置軌跡作為對應的目標特征軌跡和目標[0047]目標特征軌跡和目標位置軌跡可以分別是指針對當前視頻幀片段的初始特征軌跡和初始位置軌跡進行迭代更新后的特征軌[0048]在本發明實施例中，可以采用滑動窗口的方式一次處理一組連續視頻幀進行處9進行預設迭代次數的迭代更新，生成當前視頻幀片段對應的目標特征軌跡和目標位置軌跡，然后根據目標特征軌跡去預測待追蹤點在當前視頻幀片段的最后一幀圖像的遮擋情位置信息確定待追蹤點在當前視頻幀片段中對應的初始特征軌跡和初始位置軌跡的步驟，直至確定出待追蹤點對應視頻幀序列的最終置軌跡可以由多個視頻幀片段對應的目標位置軌跡按照時間維度待追蹤點的當前位置信息確定待追蹤點在當前視頻幀片段中對應的初始特征軌跡和初始以及捕獲跨點之間的復雜依賴關系，有效提升了在目標遮擋情況下的點追蹤精度和效率；[0055]圖2為本發明實施例二提供的一種點追蹤方法的流程圖，基于上述實施方式進一[0058]在本發明實施例中，可以調用預先訓練好的CNN網絡從當前視頻幀片段中提取出每一幀圖像分別對應的特征映射即初始特征圖，其中，CNN網絡的具體模型參數例如層數[0062]在本發明實施例中，可以在當前視頻幀片段的第一幀圖征軌跡的初始化，即在時間維度上將上述特征向量平鋪至每一幀圖像對應的初始特征圖行迭代更新過程中，可以確定初始特征軌跡中待追幀)的初始特征圖之間的內積結果，并調用空間金字塔算法在上述內積結果提取出多尺度以調用Transformer解碼器分別獲取融合特征對應的時間自注意力和空間自注意力，再將和XK-1分別表示上一次迭代更新后得到的初始特追蹤模型的線性層和Sigmoid激活層中，以獲取在當前預設窗口大小下的待追蹤點對應最[0080]S2100、重新確定新的當前視頻幀片段對應的新的目標特征軌跡和新的目標位置標位置信息確定待追蹤點在下一組視頻幀片段的第一幀圖像中的初始[0084]S2120、返回執行確定待追蹤點在當前視頻幀片段中對應的初始特征軌跡和初始一目標在不同時間步的特征表示之間的距離，同時最大化不同目標或背景特征之間的距當前視頻幀片段的第一幀圖像中的初始位置坐標，并將初始位置坐標平鋪至每一幀圖像，內積結果，并從內積結果提取出多尺度相似度特征以構建當前視頻幀片段對應的相關矩滿足預設窗口更新條件；利用預設窗口大小在視頻幀序列中滑動得到下一組視頻幀片段，并按照目標位置信息確定待追蹤點在下一組視頻幀片段的第一幀圖像中的初始位置坐標；返回執行確定待追蹤點在當前視頻幀片段中對應的初始特征軌跡和初始位置軌跡的步驟，[0092]圖3為本發明實施例三提供的一種點追蹤方法的流程圖，本實施例在上述實施例過在首幀特征映射中的給定坐標(即當前位置信息)內雙線性采樣來計算待追蹤點的特征當前視頻幀片段的每一幀圖像中，進而得到待追蹤點對應當前視頻幀片段的初始位置軌模型的多點信息交互模塊確定待追蹤點對應當前視頻幀片段的目標特征軌跡和目標位置特征Ffuse對應的時間自注意力Ftraj[0102]同時，將自適應滑動窗口(AdaptiveSlidingWindow，ASW)策略無縫地集成到對應當前視頻幀片段的目標特征軌跡和目標段中對應最后一幀圖像的位置坐標作為下一組視頻幀片段的第一幀圖像中的初始位置坐[0105]S360、在視頻幀序列中依次確定待追蹤點對應每個視頻是在處理時間序列數據時保持目標特征的一致性，本發明實施例采用了時間對比損失機[0110]本發明實施例提出的點追蹤方法通過在FlyingThings++、CroHD、BADJA和TAP_Vid_DAVIS等多個基準數據集上的定量評估表現出卓越的點追蹤性能。相對于現有點追蹤視覺領域的點追蹤問題提供了有效的解決方[0111]如圖7所示，本發明實施例提出的點追蹤方法在嚴重遮擋和大幅度運動變化場景軌跡初始化模塊初始化得到待追蹤點在當前視頻幀片段中對應的初始特征軌跡和初始位置軌跡；在對當前視頻幀片段對應的初始特征軌跡和初始位置軌跡進行迭代更新過程中，基于待追蹤點的當前位置信息確定待追蹤點在當前視頻幀片段中對應的初始特征軌跡和定模塊基于目標位置軌跡確定待追蹤點在當前視頻幀片段中最后一幀圖像的目標位置信[0139]本發明實施例所提供的點追蹤裝置可執行本發明任意實施例所提供的點追蹤方[0141]圖9示出了可以用來實施本發明的實施例的電子設備50的結構示意圖。電子設備至少一個處理器執行的計算機程序，處理器51可以根據存儲在只讀存儲器(ROM)52中的計算機程序或者從存儲單元58加載到隨機訪問存儲器(RAM)53中的計算機程序，來執行各種如因特網的計算機網絡和/或各種電信網絡與其他設[0144]處理器51可以是各種具有處理和計算能力的通用和/或專用處理組件。處理器51機程序可在包括至少一個可編程處理器的可編程系統上執行和/或解釋，該可編程處理器[0147]用于實施本發明的方法的計算機程序可以采用一個或多個編程語言的任何組合機器上執行且部分地在遠程機器上執行或完全在遠程機器或服務面或者該網絡瀏覽器來與此處描述的系統和技術的實施方式交互)、或者包括這種后臺部字數據通信(例如，通信網絡)來將系統的部件相互連接。通信網絡的示例包括：局域