CN118334677B 一種密集視頻描述訓練方法、裝置、設備及介質 （上海人工智能創新中心）

算事件描述文本和原始視頻幀之間的相似度矩偽事件邊界作為密集視頻描述模型優化過程中2S3，基于預訓練的視覺一語言模型，計算事件描述,為正值，distance=max(left-cx,index-righit)，left表示偽邊界的左邊S4，將生成的事件描述文本和對應的偽事件邊S6，在下游給定的帶有事件邊界標注的密集視2.根據權利要求1所述的一種利用未標注視頻的基于偽邊界增強和精煉的密集視頻描使用真實標注事件描述對大語言模型進行測試，通過模型反饋設將原始字幕文本追加到任務提示文本后輸入3.根據權利要求1所述的一種利用未標注視頻的基于偽邊界增強和精煉的密集視頻描34.根據權利要求1所述的一種利用未標注視頻的基于偽邊界增強和精煉的密集視頻描5.根據權利要求1所述的一種利用未標注視頻的基于偽邊界增強和精煉的密集視頻描基于密集視頻描述模型在每個候選邊界的中間結果，對每個候選邊界進6.一種利用未標注視頻的基于偽邊界增強和精煉的密集視,4密集視頻描述模型優化模塊，用于執行以下步驟模型微調模塊，用于在下游給定的帶有事件邊界標注的密集視7.一種電子設備，包括存儲器和處理器，所述存儲5[0002]密集視頻描述在長視頻分析、視頻理解及視頻推薦等眾多領域發揮著重要作們進一步收集了大量的未標注視頻，將這些視頻中的音頻對話轉錄為對應的字幕和時間67[0037]基于密集視頻描述模型在每個候選邊界的中間結果，對8[0052]3、利用大語言模型和預訓練的多模態模型，本發明高效地利用大量的無標簽數[0056]圖4為一種實施例中的本發明優化后的密集視頻描述模型的視頻描述結果示意[0058]本實施例提供一種利用未標注視頻的基于偽邊界增強和精煉的密集視頻描述訓[0060]視頻數據主要于公開數據集HowTo100M中挑選和收集，該數據集收集于視頻網站YouTube，視頻類型主要為帶步驟的教學視頻，如廚房場景下的做菜教學等。本實施例從9每個step的平均長度，即平均每一個事件描述對應多少幀圖像，width＝num_frame/num_[0103]其中的現有技術1采用的是以下文獻中的方案：TengWang,RuimaoZhang,ZhichaoLu,FengZheng,RanCheng,andPingLuo.End_to_enddensevideocaptioningwithparalleldecoding.InProceedingsoftheIEEE/CVFInternationalConferenceonComputerVision,pages6847–6857,2021.[0104]現有技術2采用的是以下文獻中的方案：AntoineYang,ArshaNagrani,PaulHongsuckSeo,AntoineMiech,JordiPont_Tuset,IvanLaptev,JosefSivic,andCordeliaSchmid.Vid2seq:Large_scalepretrainingofavisuallanguagemodelfordensevideocaptioning.InProceedingsoftheIEEE/CVFConferenceonComputerVisionandPatternRecognition,pages10714–10726,2023.[0105]現有技術3采用的是以下文獻中的方案：ShaoxiangChenandYu_GangJiang.Towardsbridgingeventcaptionerandsentencelocalizerforweaklysuperviseddenseeventcaptioning.InProceedingsoftheIEEE/CVFConferenceonComputerVisionandPatternRecognition,pages8425–8435,20[0108]本實施例提供一種利用未標注視頻的基于偽邊界增強和精煉的密集視頻描述訓programmablegatearray，FPGA)、專用集成電路(applicationspecificintegratedcircuit，ASIC)、片上系統(systemonchip，SoC)、中央處理單元(centralprocessingprocessor，DSP)、圖形處理器(graphicsprocessingunit，GPU)以及神經網絡處理器的計算機程序指令或者從存儲單元加載到隨機訪問存儲器(RAM)中的計算機程序指令，來[0118]本文中以上描述的功能可以至少部分地由一個或多個硬件邏輯部件來執行。例[0119]用于實施本發明的方法的程序代碼可以采用一個或多個編程語言的任何組合來理器或控