CN118948257B 人體步態(tài)預(yù)測(cè)方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì) （南方科技大學(xué)）

WO2022027822A1,2022.02.10WO2023108315A1,2023.06.本發(fā)明提供了一種人體步態(tài)預(yù)測(cè)方法、裝據(jù)當(dāng)前預(yù)測(cè)結(jié)果和預(yù)先存儲(chǔ)的多個(gè)相鄰信號(hào)窗2獲取人體下肢的當(dāng)前表面肌電信號(hào)，所述當(dāng)前表面肌電信號(hào)包對(duì)所述當(dāng)前表面肌電信號(hào)對(duì)應(yīng)的當(dāng)前信號(hào)窗進(jìn)行多個(gè)維度的肌電特征學(xué)習(xí)與步態(tài)模根據(jù)所述當(dāng)前預(yù)測(cè)結(jié)果和預(yù)先存儲(chǔ)的多個(gè)相鄰信號(hào)窗對(duì)應(yīng)的相鄰所述目標(biāo)步態(tài)預(yù)測(cè)結(jié)果包括當(dāng)前預(yù)測(cè)步態(tài)模式；所述根據(jù)所述當(dāng)前預(yù)按照時(shí)間順序?qū)λ霎?dāng)前預(yù)測(cè)結(jié)果和所述多個(gè)相鄰信號(hào)窗對(duì)應(yīng)的相鄰預(yù)測(cè)結(jié)果進(jìn)行將所述當(dāng)前時(shí)序預(yù)測(cè)結(jié)果輸入至訓(xùn)練后的自適應(yīng)投票模型，得到所號(hào)對(duì)應(yīng)的當(dāng)前信號(hào)窗進(jìn)行多個(gè)維度的肌電特征學(xué)習(xí)與步態(tài)模式預(yù)測(cè)，得到當(dāng)前預(yù)測(cè)結(jié)果，根據(jù)所述當(dāng)前信號(hào)窗和訓(xùn)練后的基于多維特征學(xué)習(xí)的步態(tài)預(yù)經(jīng)網(wǎng)絡(luò)模塊用于進(jìn)行空間域信息的學(xué)習(xí)，所述時(shí)域/頻域卷積神經(jīng)網(wǎng)絡(luò)模塊用于對(duì)時(shí)序信包括第一空間CNN模塊和第二空間CNN模塊，所述時(shí)域/頻域卷積神經(jīng)網(wǎng)絡(luò)模塊包括第一時(shí)所述根據(jù)所述當(dāng)前信號(hào)窗和訓(xùn)練后的基于多維特征學(xué)習(xí)的步態(tài)預(yù)測(cè)模將所述當(dāng)前信號(hào)窗分別輸入至所述空一時(shí)分支和所述時(shí)域分支，習(xí)的步態(tài)預(yù)測(cè)模型中所述全連接模塊輸出的所述當(dāng)前預(yù)3所述時(shí)域/頻域卷積神經(jīng)網(wǎng)絡(luò)模塊包括順次連接的第二卷積層、第二批量歸一化層和所述雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)模塊包括順次連接的雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)所述全連接模塊包括順次連接的第二全連接層和輸出層；在所述全連獲取最近預(yù)測(cè)得到的N+1個(gè)歷史預(yù)測(cè)步態(tài)模式，并按照預(yù)測(cè)時(shí)間由近到遠(yuǎn)的順序進(jìn)行基于各個(gè)所述歷史預(yù)測(cè)步態(tài)模式，判斷所述當(dāng)前預(yù)測(cè)步態(tài)模式是否符如果符合，將第N+1個(gè)所述歷史預(yù)測(cè)步態(tài)模式到所述當(dāng)前預(yù)測(cè)步態(tài)模式的步態(tài)切換模通過設(shè)置在所述人體的單側(cè)下肢的多個(gè)貼片電極，采集得到所述當(dāng)前表面肌電信號(hào)；獲取模塊，用于獲取人體下肢的當(dāng)前表面肌電信號(hào)，所述當(dāng)前預(yù)測(cè)模塊，用于對(duì)所述當(dāng)前表面肌電信號(hào)對(duì)應(yīng)的當(dāng)前信號(hào)窗進(jìn)行確定模塊，用于根據(jù)所述當(dāng)前預(yù)測(cè)結(jié)果和預(yù)先存儲(chǔ)的多個(gè)相鄰4所述目標(biāo)步態(tài)預(yù)測(cè)結(jié)果包括當(dāng)前預(yù)測(cè)步態(tài)模式；所述確定模塊具體用9.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存在于，所述計(jì)算機(jī)程序被處理器運(yùn)行時(shí)執(zhí)行權(quán)利要求1_6中任一項(xiàng)所述的人體步態(tài)預(yù)測(cè)方5[0002]基于醫(yī)用機(jī)器人和外骨骼技術(shù)的持續(xù)進(jìn)步，行走助力型外骨骼逐漸成為研究熱種行走助力型外骨骼)的發(fā)展?jié)摿托枨笾饕嬖谟诳祻?fù)輔助機(jī)器的弱人機(jī)交互能力。利用下肢外骨骼機(jī)器人輔助患者進(jìn)行康復(fù)訓(xùn)練相比于傳統(tǒng)人工輔助康復(fù)治療的方案更加的[0008]對(duì)當(dāng)前表面肌電信號(hào)對(duì)應(yīng)的當(dāng)前信號(hào)窗進(jìn)行多個(gè)維度的肌電特征學(xué)習(xí)與步態(tài)模6于進(jìn)行空間域信息的學(xué)習(xí)，時(shí)域/頻域卷積神經(jīng)網(wǎng)絡(luò)模塊用于對(duì)時(shí)序信息進(jìn)行時(shí)域信息的域/頻域卷積神經(jīng)網(wǎng)絡(luò)模塊包括第一時(shí)域/頻域CNN模塊、第二時(shí)域/頻域CNN模塊、第三時(shí)域/頻域CNN模塊和第四時(shí)域/頻域CNN模塊，雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)模塊包括第一BiLSTM模塊的輸出端和第四BiLSTM模塊的輸出端均與全連接模塊的輸[0016]時(shí)域/頻域卷積神經(jīng)網(wǎng)絡(luò)模塊包括順次連接的第二卷積層、第二批量歸一化層和時(shí)域/頻域卷積神經(jīng)網(wǎng)絡(luò)模塊中，輸入數(shù)據(jù)通過第二卷積層的卷積操作和第二批量歸一化[0020]按照時(shí)間順序?qū)Ξ?dāng)前預(yù)測(cè)結(jié)果和多個(gè)相鄰信號(hào)窗對(duì)應(yīng)的相7[0024]獲取最近預(yù)測(cè)得到的N+1個(gè)歷史預(yù)測(cè)步態(tài)模式，并按照預(yù)測(cè)時(shí)間由近到遠(yuǎn)的順序[0026]如果符合，將第N+1個(gè)歷史預(yù)測(cè)步態(tài)模式到當(dāng)前預(yù)測(cè)步態(tài)模式的步態(tài)切換模式確通過對(duì)同一肌肉上相鄰兩個(gè)貼片電極的信號(hào)進(jìn)行差分運(yùn)算，得到一個(gè)通道的表面肌電信通道的多個(gè)采樣時(shí)間點(diǎn)對(duì)應(yīng)的二維時(shí)序信號(hào)，每個(gè)通道對(duì)應(yīng)人體下肢的一個(gè)信號(hào)采集位8[0038]圖2為本發(fā)明實(shí)施例提供的一種基于多維特征學(xué)習(xí)的步態(tài)預(yù)測(cè)模型的結(jié)構(gòu)示意術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范穿戴外骨骼的多種步態(tài)需求，因此外骨骼能實(shí)現(xiàn)步態(tài)的數(shù)量是評(píng)估外骨骼性能的重要指電子設(shè)備執(zhí)行，該電子設(shè)備可以但不限于為下肢外骨骼機(jī)器人的處理器等數(shù)據(jù)處理設(shè)備。參見圖1所示的一種人體步態(tài)預(yù)測(cè)方法的流程示意圖，該人體步態(tài)預(yù)測(cè)方法主要包括如下對(duì)同一肌肉上相鄰兩個(gè)貼片電極的信號(hào)進(jìn)行差分運(yùn)算，可得到一個(gè)通道的表面肌電信號(hào)。9道的1200個(gè)采樣時(shí)間點(diǎn)(簡(jiǎn)稱為采樣點(diǎn))對(duì)應(yīng)的二維時(shí)序信號(hào)，即尺寸為8×1200的二維時(shí)特征與步態(tài)模式的映射信息。對(duì)于時(shí)域/頻域卷積神經(jīng)網(wǎng)絡(luò)模塊：當(dāng)輸入數(shù)據(jù)為時(shí)域信號(hào)[0057]時(shí)域/頻域卷積神經(jīng)網(wǎng)絡(luò)模塊可以包括順次連接的第二卷積層、第二批量歸一化[0058]3、雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)模塊，也即BiLSTM(Bi_directionalLongShort_Term[0064]空間卷積神經(jīng)網(wǎng)絡(luò)模塊包括第一空間CNN模塊和第二空間CNN模塊，時(shí)域/頻域卷模塊和第四時(shí)域/頻域CNN模塊，雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)模塊包括第一BiLSTM模塊、第二塊、第三時(shí)域/頻域CNN模塊和第三BiLSTM模塊，頻域分支包括順次連接的第四時(shí)域/頻域CNN模塊和第四BiLSTM模塊，第一BiLSTM模塊的輸出端、第二BiLSTM模塊的輸出端、第三BiLSTM模塊的輸出端和第四BiLSTM模塊的輸出端均與全連接模塊的輸[0067]步驟S130，根據(jù)當(dāng)前預(yù)測(cè)結(jié)果和預(yù)先存儲(chǔ)的多個(gè)相鄰信號(hào)窗對(duì)應(yīng)的相鄰預(yù)測(cè)結(jié)預(yù)測(cè)步態(tài)模式到當(dāng)前預(yù)測(cè)步態(tài)模式的步態(tài)切換模式確定為預(yù)測(cè)步態(tài)切換模式；如果不符[0072]本發(fā)明實(shí)施例提供的人體步態(tài)預(yù)測(cè)方法，能夠獲取人體下肢的當(dāng)前表面肌電信[0074]本發(fā)明實(shí)施例提出一種用于下肢步態(tài)預(yù)測(cè)的多維度特征學(xué)習(xí)算法：Deep_STF[0075]本發(fā)明實(shí)施例還提出一種自適應(yīng)投票策略，通過將連續(xù)5個(gè)時(shí)序窗口(即信號(hào)窗)Conv)之后通過BN層(如B1中右邊的BatchNorm)并使用LeakyReLU進(jìn)行激活，隨后進(jìn)行最大[0080](3)在BiLSTM模塊(C)中，輸入數(shù)據(jù)首先通過雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(如C1中的[0087]最后將四分支的輸出通過全連接模塊D結(jié)合起來形成一維向量，形成1×256的整[0091]將采集的歷史表面肌電信號(hào)數(shù)據(jù)按照7:1:2分割為訓(xùn)練集、驗(yàn)證集和測(cè)試集。在STF模型以及上述四種深度神經(jīng)網(wǎng)絡(luò)中均體現(xiàn)了顯著的準(zhǔn)確率[0094]對(duì)應(yīng)于上述的人體步態(tài)預(yù)測(cè)方法，本發(fā)明實(shí)施例還提供了一種人體步態(tài)預(yù)測(cè)裝[0096]預(yù)測(cè)模塊302，用于對(duì)當(dāng)前表面肌電信號(hào)對(duì)應(yīng)的當(dāng)前信號(hào)窗進(jìn)行多個(gè)維度的肌電[0097]確定模塊303，用于根據(jù)當(dāng)前預(yù)測(cè)結(jié)果和預(yù)先存儲(chǔ)的多個(gè)相鄰信號(hào)窗對(duì)應(yīng)的相鄰[0098]本發(fā)明實(shí)施例提供的人體步態(tài)預(yù)測(cè)裝置，能夠獲取人體下肢的當(dāng)前表面肌電信[0101]進(jìn)一步地，上述空間卷積神經(jīng)網(wǎng)絡(luò)模塊包括第一空間CNN模塊和第二空間CNN模的第二時(shí)域/頻域CNN模塊和第二BiLSTM模塊，空一頻分支包括順次連接的第二空間CNN模塊、第三時(shí)域/頻域CNN模塊和第三BiLSTM模塊，頻域分支包括順次連接的第四時(shí)域/頻域CNN模塊和第四BiLSTM模塊，第一BiLSTM模塊的輸出端、第二BiLSTM模塊的輸出端、第三[0103]時(shí)域/頻域卷積神經(jīng)網(wǎng)絡(luò)模塊包括順次連接的第二卷積層、第二批量歸一化層和時(shí)域/頻域卷積神經(jīng)網(wǎng)絡(luò)模塊中，輸入數(shù)據(jù)通過第二卷積層的卷積操作和第二批量歸一化