CN117252986B 一種三維預訓練大模型參數高效型微調方法及系統 （上海人工智能創新中心）_第1頁
CN117252986B 一種三維預訓練大模型參數高效型微調方法及系統 （上海人工智能創新中心）_第2頁
CN117252986B 一種三維預訓練大模型參數高效型微調方法及系統 （上海人工智能創新中心）_第3頁
CN117252986B 一種三維預訓練大模型參數高效型微調方法及系統 （上海人工智能創新中心）_第4頁
CN117252986B 一種三維預訓練大模型參數高效型微調方法及系統 （上海人工智能創新中心）_第5頁
已閱讀5頁，還剩19頁未讀， 繼續免費閱讀

下載本文檔

版權說明：本文檔由用戶提供并上傳，收益歸屬內容提供方，若內容存在侵權，請進行舉報或認領

文檔簡介

一種三維預訓練大模型參數高效型微調方涉及一種三維預訓練大模型參數高效型微調方將調整后的令牌輸入下游任務頭，得到預測輸2通過幾何感知適配器對所述強化后的提示令牌進行聚類，并通過自注所述自注意力層和所述前饋網絡用于探索點云中的全局形狀信息和所述幾何感知適配器用于與自注意力層的長程依賴性達到互補，匯聚所述點云先驗提示模塊用于以下游任務訓練數據集中的3D特征作為所述幾何感知適配器模塊用于對所述強化后的提示令牌進行聚類，3特征通過最遠點采樣和K近鄰進行聚類，并對類內部的特征通過自注意力機制進行局部所述數據處理模塊用于獲取三維下游數據集，所述驗證與應用模塊用于對所述預訓練模型輸出的預測結果進行驗證，4[0003]目前主流的方法是在適配到下游任務的時候將大模型的所有參數在原有基礎上效微調(Parameter_EfficientFine_tuning)技術已經被提出，通過微調部分參數以最小列。5[0012]在一些示例性實施例中，通過最遠點采樣和K近鄰的方式對所述強化后的提示令[0013]在一些示例性實施例中，下游任務訓練數據集通過對三維下所述三維下游數據集為下游三維場景任務的數[0014]第二方面，本申請實施例還提供了一種三維預訓練大模并結合點云先驗庫中的先驗知識對所述可學習提示令牌進行增強，得到強化后的提示令6[0020]圖1為本申請一實施例提供的一種三維預訓練大模型參數高效型微調方法的流程[0021]圖2為本申請一實施例提供的一種三維預訓練大模型參數高效型微調系統的模塊[0022]圖3為本申請一實施例提供的一種三維預訓練大模型參數高效型微調方法的架構[0030](1)基于對比學習的預訓練方法：在三維領域由于大規模高質量標注數據集的缺[0031](2)基于點云重建的預訓練方法：基于點云重建的預訓練方法是目前三維預訓練7未屏蔽的數據內容學習到高級潛在特征。自動編碼器主干采用非對稱的編碼器_解碼器結適配矩陣；偏差調節僅通過將模型的偏置項設為可學習的來實現與全面微調相當的性能；[0034]為了解決上述技術問題，本申請提供一種三維預訓練大模型參數高效型微調方8碼器模塊包括依次連接的自注意力層(也可稱為自注意層)、前饋網絡以及幾何感知適配[0047]在一些實施例中，通過最遠點采樣和K近鄰的方式對所述強化后的提示令牌進行9何有效地將下游三維語義融入預訓練模型來達到高效微調。針對點云稀疏和不規則的特合三維領域的特有知識和局部特征交互，僅對新增的模塊和任務頭在下游任務進行微調，[0064]本領域的普通技術人員可以理解，上述各實施方式是實現本申請的具體實施

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網頁內容里面會有圖紙預覽，若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間，僅對用戶上傳內容的表現方式做保護處理，對用戶上傳分享的文檔內容本身不做任何修改或編輯，并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容，請與我們聯系，我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論