CN117315738B 基于時空注意力機制的多模態心理狀態檢測方法及系統 （蘭州大學）

Spatio-TemporalAttentionalTRANSACTIONSONKNOWLEDGEAND2966.基于時空注意力機制的多模態心理狀態檢本申請提供一種基于時空注意力機制的多數據和語音數據中提取面部表情特征和語音特行心理狀態的檢測，提高心理狀態檢測的準確2將特征維度統一后的所述面部表情特征和所述語音特征輸入時空注意將所述時空融合特征輸入心理狀態分類器，以獲得所述心理所述空間注意模塊按照下式提取面部表情和語音的單Sm為特征維度統一后的面部表情特征或語音特征，所述時間注意模塊按照下式提取面部表情和語音的單所述多模態融合轉換器按照下式融合面部表情和語音的多2.根據權利要求1所述的基于時空注意力機制的多模態心理狀態檢測方法，其特征在3.根據權利要求1所述的基于時空注意力機制的多模態心理狀態檢測方法，其特征在3如果所述數據長度大于預設長度閾值，則按照預設長度閾如果所述數據長度小于預設長度閾值，則按照預設長度4.根據權利要求1所述的基于時空注意力機制的多模態心理狀態檢測方法，其特征在對所述面部表情特征和所述語音特征執行數據歸5.根據權利要求1所述的基于時空注意力機制的多模態心理狀態檢測方法，其特征在將所述面部表情特征和所述語音特征輸入線性映射層，所述線性映獲取所述線性映射層輸出的矩陣形狀相同的所述面部表情特6.根據權利要求1所述的基于時空注意力機制的多模態心理狀態檢測方法，其特征在特征提取模塊，用于在所述面部表情數據中提取面部表情特多模態融合模塊，用于將特征維度統一后的所述面檢測分類模塊，用于將所述時空融合特征輸入心理狀態分類器，所述空間注意模塊按照下式提取面部表情和語音的單Sm為特征維度統一后的面部表情特征或語音特征，4所述時間注意模塊按照下式提取面部表情和語音的單所述多模態融合轉換器按照下式融合面部表情和語音的多5[0007]在所述面部表情數據中提取面部表情特征，以及在所述語音數據中提取語音特[0009]將特征維度統一后的所述面部表情特征和所述語音特征模塊和多模態融合轉換器，所述空間注意模塊用于提取面部表情和語音的單模態空間信6[0030]可選的，所述多模態融合轉換器按照下式融合面部表情和語音的多模態時空信[0031]=LN(MultiHead(Q,kv)+?):7語音的單模態空間信息，所述時間注意模塊用于提取面部表情和語音的單模態時間信息，所述多模態融合轉換器用于融合面部表情和語音的多面部表情的時空融合特征和語音的時空融合特征，時空注意力轉換器包括空間注意模塊、[0043]圖1為本申請實施例提供的基于時空注意力機制的多模態心理狀態檢測方法的流89以使用具有抑郁癥的用戶和正常用戶的包括面部表情數據和語音數據的社交媒體數據作[0065]由于面部表情特征和語音特征維度不匹配，為了保證特可以對面部表情特征和語音特征進行預處理，以統一面部表情特征和語音特征的特征維層，用于使面部表情特征和語音特征具有相間注意模塊(TemporalAttentionBlock，TAB)和多模態融合轉換器(MultimodalFusion[0075]空間注意模塊是對每一幀中的每個數據點所表示的面部表情或語音狀態進行建模態融合轉換器按照下式融合面部表情和語音的多時間注意模塊得到的面部模態或語音模態下的時空特征，FFN()為帶有激活函數的兩層全用于融合面部表情和語音的多模態時空信息。最后將時空融合特征輸入