CN116467416B 一種基于圖神經網絡的多模態對話情感識別方法及系統 （四川省人工智能研究院(宜賓)）

技術開發區長江北路西段附二段430號一種基于圖神經網絡的多模態對話情感識本發明公開了一種基于圖神經網絡的多模對多變量表征數據和多頻率表征數據進行數據2S2：根據所述說話人和上下文感知的單模態表示，S4：對所述多變量表征數據和所述多頻率表征數據S33：分別利用高通濾波器和低通濾波器提取所述無向圖中當前節點特征的高頻消息S12：分別利用第一全連接網絡和第二全連接網絡對輸入對話的聽覺特征和視覺特征3維度，o()是一個非線性激活函數，m.為超邊權重矩陣且，4N是節點i的鄰居節點，N,是節點j的鄰居節點，表示多變量表征數據，?ie[,N],xe{,a,}表示多頻率表征數據。8.根據權利要求1_7中任意一項所述的基于圖神經網絡的多模態對話情感識別方法，59.一種基于權利要求1_8中任意一項所述的基于圖神經網絡的多模態對話情感識別方多變量傳播模塊，所述多變量傳播模塊用于根據多頻率傳播模塊，所述多頻率傳播模塊用于提取各模情感分類模塊，所述情感分類模塊用于對所述多變量表征數6[0002]對話情感識別任務(EmotionRecognitioninConversation,ERC)旨在使機器能一個主要的方式是使用上下文感知模塊(如循環單元或Transformer)來捕獲上下文關系，估了模態和上下文之間的多變量關系，因為它以松散耦合的方式編碼多模態和上下文關對話語之間的多模態和上下文依賴關系進行建模，從而提供更緊密的糾纏和更豐富的交[0007]本發明的目的在于提供一種基于圖神經網絡的多模態對7[0016]S11：利用雙向門控循環單元對輸入對話的文本特征進行編碼，得到文本編碼數[0017]S12：分別利用第一全連接網絡和第二全連接網絡對輸入對話的聽覺特征和視覺表示雙向門控循環單元函數，u;表示輸入對話的文本特征，表8e為超邊權重矩陣且diag()[0045]S33：分別利用所述高通濾波器和所述低通濾波器提取所述無向圖中當前節點節g[0051]所述無向圖的歸一化圖拉普拉斯矩陣為：其中，D是一個對角g9gg矩陣，為歸一化后的情感表征且;=ReLU(e),ei表示[0065]本發明還提供一種基于上述的基于圖神經網絡的多模態對話情感識別方法的多[0075]圖3為本發明基于圖神經網絡的多模態對話情感識別系統基于不同圖網絡層的結[0076]圖4為本發明基于圖神經網絡的多模態對話情感識別系統與FAGCN的效果比較示[0083]S11：利用雙向門控循環單元對輸入對話的文本特征進行編碼，得到文本編碼數[0084]S12：分別利用第一全連接網絡和第二全連接網絡對輸入對話的聽覺特征和視覺T()[0095]=ef+s,xe{t,a,}同一對話同一模態中的所有其他語句此外，每個第一節點都通過一條多模態超邊連接到相同語句的其他模態(ze{t,a,},z*x)。以這種方式，構造的動調整邊緣加權策略，而本發明使用隨機初始化的權重值來避免使模型不必要地復雜化。e為超邊權重矩陣且diag()關聯矩陣且HeRW的l,n表示加權關聯矩陣且T表示轉置操作。vizgggg[0123]S33：分別利用所述高通濾波器和所述低通濾波器提取所述無向圖中當前節點節個信號p,Fl和Fh的濾波運算可以看作是和相應的卷積核之間的卷積*c：器進行濾波運算可以看成是和濾波器對應的卷積i-以很容易地模擬不同頻率成分[0150]本發明還提供一種基于上述的基于圖神經網絡的多模態對話情感識別方法的多[0156]本發明將提出的多模態對話識別系統(M3Net)的性能在兩個流行的多模態數據集有1塊NVIDIAGeForceRTX3090的機器上訓練。使用準確率和F1分數作為衡量性能的指hDhLK340.5330.43Net超越了以前的方法，并在準確率和F1分數指標方面取得了新進行比較，并將結果顯示為變體6和7。串行建模略微降低了MELD上的性能，但會導致