CN118506421B 時(shí)空特征集成和全局-局部特征融合的抑郁強(qiáng)度識別方法 （西安理工大學(xué)）

12.時(shí)空特征集成和全局-局部特征融合的抑郁含一個(gè)神經(jīng)元的全連接層相連輸出抑郁強(qiáng)度分空特征集成和全局局部特征融合的抑郁強(qiáng)度識2所述LSTIA_PLEGDF全局特征學(xué)習(xí)分支模型由短時(shí)信息聚合模塊、全局所述LSTIA_PLEGDF全局特征學(xué)習(xí)分支模型的具體構(gòu)建過人臉全局圖像序列連續(xù)的短時(shí)特征{X1,X2,...,Xi}，沿著通道維度將每個(gè)短時(shí)特征X片段的輸出相加，再通過時(shí)空卷積層進(jìn)行特征學(xué)習(xí)得到輸出特征具體計(jì)3x1x1(3x3x3(1x3x3(3*特征權(quán)重加權(quán)后的特征，表示對進(jìn)行時(shí)間維度和空間維度特征權(quán)重加權(quán)后的特征，表示和進(jìn)行通道拼接后的短時(shí)特征；i通道拼接后的短時(shí)特征T45再次翻倍的全局特征局部感知力增強(qiáng)模塊、一個(gè)通道數(shù)翻倍的3維卷積殘差塊以及一個(gè)通步驟1.2.1、將初始全局特征XG1在空間維度平均分割為4個(gè)不重疊的區(qū)域XL=度轉(zhuǎn)化為局部特征向量X,該計(jì)算過程為：6的信息與局部區(qū)域的相關(guān)度，Rk代表局部特征向量中第k個(gè)元素與局部特征向量區(qū)域XL中每個(gè)局部區(qū)域和其他3個(gè)局部區(qū)域的相關(guān)系數(shù)矩陣RR;表示局部特征相關(guān)系數(shù)向量R轉(zhuǎn)化的局部步驟1.2.4、通過相關(guān)系數(shù)矩陣R;計(jì)算局部相關(guān)性感知的局部特征Xoutj進(jìn)行拼步驟3.1、將人臉全局圖像序列的全局特征Xglobal，以及步驟2中獲取的局部區(qū)域特征global為人臉全局圖像序列的全局特7gl表示全局和局部區(qū)域相關(guān)性特征；g和Fl表示線性映射后的全局特征和局部區(qū)域特征，F(xiàn)gl表示全局和局部區(qū)域相圖像序列通過對從抑郁癥視頻數(shù)據(jù)集AVEC2013和AVEC2014中獲得的視頻數(shù)據(jù)中的每個(gè)圖8深度模型從面部表情有效學(xué)習(xí)到抑郁強(qiáng)度相關(guān)的全局上下文信息；(2)如何充分利抑郁強(qiáng)對時(shí)域信息建模主要存在兩個(gè)挑戰(zhàn)：(1)如何有效的建模短時(shí)抑郁特征的幀間時(shí)空關(guān)系；(2)如何有效的建模長時(shí)抑郁特征的時(shí)間上下文關(guān)系。以上挑戰(zhàn)直接影響到目[0005]本發(fā)明的目的是提供時(shí)空特征集成和全局一局部特征融9[0012]步驟1中LSTIA_PLEGDF全局特征學(xué)習(xí)分支模型由短時(shí)信息聚合模塊、全局抑郁特通過分層堆疊的方式對全局特征的時(shí)空信息進(jìn)行有效[0015]步驟1.2、將初始全局特征獲取人臉全局圖像序列連續(xù)的短時(shí)特征{X1,X2,...,Xi}，沿著通道維度將每一個(gè)片段的輸出相加，再通過時(shí)空卷積層進(jìn)行特征學(xué)習(xí)得到輸出特征具id(FC,(SP(X?:))(9)S表示的空間注意力權(quán)重；特征X",X",…,X"},得到完整的初始全局特征XG1：[0041]步驟1.2.1、將初始全局特征XG1在空間維度平均分割為4個(gè)不重疊的區(qū)域XL=度轉(zhuǎn)化為局部特征向量X,該計(jì)算過程為：部區(qū)域的信息與局部區(qū)域的相關(guān)度，Rk代表局部特征向量中第k個(gè)元素與局部特k＝{1,2,...,N}表示局部特征相關(guān)系數(shù)向量集得到區(qū)域XL中每個(gè)局部區(qū)域和其他3個(gè)局部區(qū)域的相關(guān)系數(shù)矩陣R;,計(jì)算過程為：[0051]其中，—→表示在空間維度將局部特征相關(guān)系數(shù)向量R按照位置信息進(jìn)行排W1間維度下采樣的時(shí)間子特征，Xt1”表示Xt1'經(jīng)過時(shí)間注意力權(quán)重W1加權(quán)后的時(shí)間子特征，道數(shù)再次翻倍的全局特征局部感知力增強(qiáng)模塊、一個(gè)通道數(shù)翻倍的3維卷積殘差塊以及一再與另一個(gè)僅包含一個(gè)神經(jīng)元的全連接層相連輸出抑郁強(qiáng)度分?jǐn)?shù)，從而進(jìn)行抑郁強(qiáng)度識[0103]步驟1中的抑郁癥患者人臉全局圖像序列及步驟2中的抑郁癥患者眼睛區(qū)域圖像序列通過對從抑郁癥視頻數(shù)據(jù)集AVEC2013和AVEC2014中獲得的視頻數(shù)據(jù)中的每個(gè)圖像樣[0105](1)本發(fā)明中設(shè)計(jì)短時(shí)信息聚合模塊，用來增強(qiáng)模型提取固定時(shí)間范圍內(nèi)持續(xù)時(shí)[0106](2)本發(fā)明中設(shè)計(jì)全局抑郁特征局部感知力增強(qiáng)模塊，提取面部局部區(qū)域之間的的利用局部區(qū)域之間的相關(guān)性信息來增強(qiáng)全局特征的[0107](3)本發(fā)明中設(shè)計(jì)了長時(shí)信息聚合模塊，利用改進(jìn)的注意力機(jī)制來感知輸入特征[0108](4)本發(fā)明中設(shè)計(jì)了全局和局部語義相關(guān)性特征融合模塊，捕捉全局和局部語義[0111]圖2為本發(fā)明時(shí)空特征集成和全局_局部特征融合的抑郁強(qiáng)度識別方法中LSTIA_PLEGDF_FGLSCF模型中的短時(shí)信息聚合[0112]圖3為本發(fā)明時(shí)空特征集成和全局_局部特征融合的抑郁強(qiáng)度識別方法中LSTIA_PLEGDF_FGLSCF模型中的全局抑郁特征局部感知力增強(qiáng)[0113]圖4為本發(fā)明時(shí)空特征集成和全局_局部特征融合的抑郁強(qiáng)度識別方法中LSTIA_PLEGDF_FGLSCF模型中長時(shí)信息聚合[0114]圖5為本發(fā)明時(shí)空特征集成和全局_局部特征融合的抑郁強(qiáng)度識別方法中LSTIA_PLEGDF_FGLSCF模型中全局和局部語義相關(guān)性特征融合[0117]本發(fā)明時(shí)空特征集成和全局_局部特征融合的抑郁強(qiáng)度識別方法中，抑郁癥患者人臉全局圖像序列及抑郁癥患者眼睛區(qū)域圖像序列從抑郁癥數(shù)據(jù)集AVEC2013和AVEC2014的圖像數(shù)量滿足所有實(shí)驗(yàn)的需求。輸入到網(wǎng)絡(luò)的全局人臉圖像序列可以表示為獲取人臉全局圖像序列連續(xù)的短時(shí)特征{X1,X2,...,Xi}，沿著通道維度將每一個(gè)片段的輸出相加，再通過時(shí)空卷積層進(jìn)行特征學(xué)習(xí)得到輸出特征具(9)S表示的空間注意力權(quán)重；[0146]步驟1.2.1、將初始全局特征XG1在空間維度平均分割為4個(gè)不重疊的區(qū)域XL=度轉(zhuǎn)化為局部特征向量X,該計(jì)算過程為：部區(qū)域x!的信息與局部區(qū)域的相關(guān)度，Rk代表局部特征向量中第k個(gè)元素與局部特k＝{1,2,...,N}表示局部特征相關(guān)系數(shù)向量集得到區(qū)域XL中每個(gè)局部區(qū)域和其他3個(gè)局部區(qū)域的相關(guān)系數(shù)矩陣R;,計(jì)算過程為：W1道數(shù)再次翻倍的全局特征局部感知力增強(qiáng)模塊、一個(gè)通道數(shù)翻倍的3維卷積殘差塊以及一[0188]該實(shí)施例中構(gòu)建的LSTIA_PLEGDF全局特征學(xué)習(xí)分支模型的網(wǎng)絡(luò)參數(shù)結(jié)構(gòu)如表1所[0199]其中，linear1(·)和linear2(·)表示線性層，Xglobal步驟1學(xué)習(xí)的全局特征，Xlocal'表示步驟2中通過50層的3維殘差卷積網(wǎng)絡(luò)學(xué)習(xí)的局部區(qū)域特征，F(xiàn)g和Fl表示線性映[0218]步驟A、將通過多任務(wù)級聯(lián)卷積網(wǎng)路裁剪好的人臉序列圖像以及對應(yīng)的眼睛區(qū)域[0219]步驟B、搭建LSTIA_PLEGDF全局特征學(xué)習(xí)分支學(xué)習(xí)面部全局的時(shí)空抑郁特征簽取值范圍為0至63分的貝克抑郁分?jǐn)?shù)，標(biāo)簽值在實(shí)數(shù)域是連續(xù)的，此外，AVEC2013和AVEC2014數(shù)據(jù)集給出的基線模型使用的是均方根誤差(RMSE)平均絕對誤差(MAE)作為模型來評估基于全局和局部通道注意力融合網(wǎng)絡(luò)的模[0227]在AVEC2013數(shù)據(jù)集上不同網(wǎng)絡(luò)模型的性能對比結(jié)果如表2所示，在AVEC2014數(shù)據(jù)8.869.557.479.207.225.827.656.067.756.008.396.218.236.158.566.658.786.868.306.517.846.087.475.90[0233]由表2和表3可以看出，本發(fā)明時(shí)空特征集成和全局_局部特征融合的抑郁強(qiáng)度識別方法，在均方根誤差(RMSE)和平均絕對誤差(MAE)指標(biāo)上的值分別7