CN117390213B 基于oscar的圖文檢索模型的訓練方法和實現圖文檢索的方法 （西交利物浦大學）

US2023134531A1,2023.05.04基于OSCAR的圖文檢索模型的訓練方法和實本發明提供一種基于OSCAR的圖文檢索模型本對輸入面向視覺語言任務的預訓練模型OSCAR2將所述訓練集中的多個圖像一文本樣本對輸入面向視覺語言任務的預訓練模型OSCAR將所述訓練集中的每個樣本作為錨點樣本，基于所述圖像特征計算正樣本對中圖像與文本的正相似度、負樣本對和所基于所述正相似度和負相似度計算損失函數，通過所述損失函數所述將所述訓練集中的每個樣本作為錨點樣本，基于所述圖像特基于核函數計算每個負樣本與所述錨點樣本q之間的相似度以及對應的權重，進行加所述基于核函數計算每個負樣本與所述錨點樣本q之間的相似度以及對應的權重，進基于高斯徑向基函數計算每個負樣本與錨點樣本之根據以下公式計算每個負樣本與錨點樣本間的相似度對3度和負相似度的集合，Scv表示錨點樣本為文本樣本時正相似度和負相似度的集合；本樣本對輸入預訓練的OSCAR圖文檢索模型中，進行特征提取生成圖像特征表示和文本特獲取所述訓練集中的圖像樣本，提取所述圖像樣本的區域視覺特征和區域位置特征，獲取所述訓練集中的文本樣本，采用分詞技術將所述文本樣本劃基于所述圖像嵌入和所述文本嵌入，采用注意力機制生成4.一種利用OSCAR圖文檢索模型實現圖文檢索的方法，所述O基于所述圖文檢索模型中的文本編碼器對所述目標文本進行特基于所述圖文檢索模型中的圖像編碼器對所述目標圖像進行特基于所述文本特征表示及所述圖像特征表示，確定所述目標文5.一種采用如權利要求1一3任一項所述的基于OSCAR的圖文檢索模型訓練方法的訓練特征提取模塊，用于將所述訓練集中的多個圖像一文相似度計算模塊，用于計算正樣本對中圖像與文本的正相似度、4對比損失計算模塊，用于基于所述正相似度和負相似度計算損失函少一條指令用于被處理器執行以實現如權利要5[0001]本發明涉及信息檢索技術領域，尤其涉及一種基于OSCAR的圖文檢索模型的訓練義差異則是指在捕捉圖像和文本之間的跨模態對應關[0004]目前在面向視覺語言任務中，OSCAR模型的性能非常強大，其已經在幾百萬對圖[0005]因此，本申請基于OSCAR模型構建一種新的圖文檢索模型，以提升模型的泛化能[0006]本發明的目的在于提供一種基于OSCAR的圖文檢索模型的訓練方法和實現圖文檢[0010]將所述訓練集中的多個圖像一文本樣本對輸入面向視覺語言任務的預訓練模型6[0017]基于核函數計算每個負樣本與所述錨點樣本q之間的相似度以及對應的權重，進[0018]進一步地，所述基于核函數計算每個負樣本與所述錨點樣本q之間的相似度以及相似度和負相似度的集合，Scv表示錨點樣本為文本樣本時正相似度和負相似度的集合；7[0033]獲取所述訓練集中的文本樣本，采用分詞技術將所述文基于OSCARbase模型獲得每個標記對[0040]第三方面，本發明還提供一種基于OSCAR的圖文檢索模型訓練裝置，所述裝置包[0048]本發明的有益效果在于：本發明實施例提供的一種基于OSCAR的圖文檢索模型的8[0049]上述說明僅是本發明技術方案的概述，為了能夠更清楚[0050]圖1為本發明實施例提供的一種基于OSCAR的圖文檢索模型訓練方法的流程示意[0056]本申請實施例提供一種基于OSCAR的圖文檢索模型訓練方法，該訓練方法的執行[0059]本發明實施例中，可以從指定的開源的自然語言學習模[0062]具體地，基于預訓練的OSCAR模型生成圖像特征表示和文本特征表示的步驟，包9[0065]在一個示例中，利用預訓練于VisualGenome數據集上的FasterR_CNN模型提取[0066]2)獲取訓練集中的文本樣本，采用分詞技術將文本樣本劃分為多個標記，基于[0072]本實施例中，將獲取的圖像嵌入和文本嵌入輸入至OSCAR視覺語言模型中的單個Transformer模型來獲得圖像和文本的聯合特征表示，再通過平均池化將圖像的局部特征[0080]3)基于核函數計算每個負樣本與錨點樣本q之間的相似度以及對應的權重，進行負樣本與錨點樣本q之間的相似度以及對應的權重，進行加權平均獲得多個不同難度的負[0096]本發明實施例基于InfoCMR提出一種全新的損失函數，用于對比不同來源的正負相似度和負相似度的集合，Scv表示錨點樣本為文本樣本時正相似度和負相似度的集合；些高斯噪聲向量與批處理中的每個樣本形成高置信度的負樣本對，有助于平滑表示空間。[0101]本發明實施例提供的一種基于OSCAR的圖文檢索模型的訓練方法，利用視覺語言預訓練模型OSCAR對圖像樣本和文本樣本進行特征提取，通過負樣本合成模塊生成不具有[0102]請參閱圖2，為本發明實施例提供的一種采用如上述方法訓練得到的圖文檢索模[0104]基于圖文檢索模型中的文本編碼器對目標文本進行特征提取，得到文本特征表[0105]基于圖文檢索模型中的圖像編碼器對目標圖像進行特征提取，得到圖像特征表[0106]基于文本特征表示及圖像特征表示，確定目標文本在目標圖像中的圖像檢索結括外部存儲設備。存儲器20不僅可以用于存儲安裝于計算機設備的應用軟件及各類數據，還可以用于暫時地存儲已經輸出或者將要輸出和線路連接整個電子設備的各個部件，通過運行或執行存儲在存儲器20內的程序或者模總線或擴展工業標準結構(extendedindustrystandardarchitecture，簡稱EISA)總線[