CN118968665B 基于多模態(tài)識(shí)別和物聯(lián)網(wǎng)技術(shù)的智能門(mén)禁管理方法及系統(tǒng) （南京宜訊系統(tǒng)工程有限公司）

基于多模態(tài)識(shí)別和物聯(lián)網(wǎng)技術(shù)的智能門(mén)禁本發(fā)明公開(kāi)了一種基于多模態(tài)識(shí)別和物聯(lián)齊和自適應(yīng)預(yù)處理，提取多尺度特征并動(dòng)態(tài)融訪問(wèn)控制、自適應(yīng)人流控制和實(shí)時(shí)異常事件檢2處理后的數(shù)據(jù)存儲(chǔ)到時(shí)序數(shù)據(jù)庫(kù)中并更新特步驟S3、獲取最終融合特征向量和預(yù)構(gòu)建的特征分布模步驟S45、獲取當(dāng)前場(chǎng)地的實(shí)時(shí)人流分布數(shù)據(jù)和人流數(shù)據(jù)，計(jì)算每個(gè)位置點(diǎn)的局部密3算當(dāng)前用戶行為序列中每個(gè)行為與正常模式集合中每個(gè)模式的偏差度；構(gòu)建孤立森林模2.如權(quán)利要求1所述的基于多模態(tài)識(shí)別和物聯(lián)網(wǎng)技術(shù)的智能門(mén)禁管理方法，其特征在43.如權(quán)利要求2所述的基于多模態(tài)識(shí)別和物聯(lián)網(wǎng)技術(shù)的智能門(mén)禁管理方法，其特征在步驟S21、從時(shí)序數(shù)據(jù)庫(kù)中讀取處理后的數(shù)據(jù)和特征索引；根據(jù)特征索引提取視覺(jué)特54.如權(quán)利要求3所述的基于多模態(tài)識(shí)別和物聯(lián)網(wǎng)技術(shù)的智能門(mén)禁管理方法，其特征在步驟S32、構(gòu)建局部敏感哈希函數(shù)集并應(yīng)用于所有更新后的模板和輸入的融合特征向?yàn)橐恢滦栽u(píng)分和環(huán)境上下文概率輸入決策樹(shù)；得到驗(yàn)證是否通過(guò)的結(jié)果和最終的驗(yàn)證級(jí)5.如權(quán)利要求4所述的基于多模態(tài)識(shí)別和物聯(lián)網(wǎng)技術(shù)的智能門(mén)禁管理方法，其特征在步驟S131、對(duì)接收的圖像序列和深度圖序列計(jì)算局部步驟S133、從前兩個(gè)步驟獲取去模糊后的圖像序列和增6步驟S139、接收上一步驟中平滑后的毫米波雷達(dá)信號(hào)所述存儲(chǔ)器存儲(chǔ)有可被所述處理器執(zhí)行的指令，所述指令用于被所現(xiàn)權(quán)利要求1至5任一項(xiàng)所述的基于多模態(tài)識(shí)別和物聯(lián)網(wǎng)技術(shù)的智7能門(mén)禁管理方法不僅能夠提高安全性和可靠性，還能實(shí)現(xiàn)更加智能化和個(gè)性化的訪問(wèn)控[0003]目前，智能門(mén)禁系統(tǒng)的研究主要集中在單一或雙重生物[0005]發(fā)明目的，提供一種基于多模態(tài)識(shí)別和物聯(lián)網(wǎng)技術(shù)的智89[0037]步驟S16、將壓縮特征和降維后的數(shù)據(jù)合并為數(shù)據(jù)流；根據(jù)網(wǎng)絡(luò)狀況和數(shù)據(jù)重要[0055]步驟S32、構(gòu)建局部敏感哈希函數(shù)集并應(yīng)用于所有更新后的模板和輸入的融合特證級(jí)別；處理時(shí)間序列數(shù)據(jù)；將處理后的數(shù)據(jù)分為訓(xùn)練集和測(cè)試集，采用預(yù)先構(gòu)建的并訓(xùn)練好的[0068]步驟S47、從行為模式數(shù)據(jù)庫(kù)中檢索正常行為模式集合，提取當(dāng)前用戶的行為序有樣本或達(dá)到最大深度；計(jì)算當(dāng)前用戶行為序列中每個(gè)行為在孤立森林中的平均路徑長(zhǎng)理步驟使用。實(shí)現(xiàn)了全方位的場(chǎng)景感知。精密時(shí)間協(xié)議服務(wù)器的使用確保了不同設(shè)備間數(shù)據(jù)的精確同個(gè)基礎(chǔ)秩r_base和最大秩r_max。對(duì)于每個(gè)模式i，計(jì)算其與其他模式的平均相關(guān)性a_i=U1T[0106]步驟S155、對(duì)量化后的特征F_quantized應(yīng)用熵編碼。計(jì)算量化后的特征F_量v_1,v_2,,v_m。[0109]步驟S158、將預(yù)處理原始數(shù)據(jù)D_preprocessed投影到P上，得到降維后的數(shù)據(jù)D_[0110]步驟S159、將壓縮特征F_compressed和預(yù)處理原始數(shù)據(jù)D_reduced合并為一個(gè)數(shù)絡(luò)狀況和數(shù)據(jù)重要性的自適應(yīng)傳輸策略，大大提高了數(shù)據(jù)傳輸?shù)目煽啃院托省８倪M(jìn)的算特征協(xié)方差矩陣，進(jìn)行特征值分解，選擇前k個(gè)最大特征值對(duì)應(yīng)的特征向量構(gòu)建投影矩[0125]步驟S211、從時(shí)序數(shù)據(jù)庫(kù)中讀取處理后的數(shù)據(jù)D_processed和特征索引I_2enhanced=K_v*W_s*W_c，其中*表示逐元素乘法。這樣得到增強(qiáng)后的視覺(jué)特征K_v_/ρ(A+1,f_2,...,f_m]。m的選擇基于累積解釋方差比例，使得Σi=1mλ_i/Σi=1nλi≥[0153]步驟S255、將F_sparse投影到投影矩陣P上，得到降維后的特征F_reduced=F_[0160]步驟S266、通過(guò)優(yōu)化后的TT核心G_1,G_2,,G_d重構(gòu)得到張量融合特征T_份模板集T={t_1,t_2,,t_n}[0183]步驟S3310、計(jì)算當(dāng)前驗(yàn)證結(jié)果的置信度得分C=f(s_程使用。使用麥克風(fēng)陣列采集空間化音頻信號(hào)A(t,θ,φ)。利用熱成像相機(jī)采集熱圖序列H={H_1,[0205]S12.使用精密時(shí)間協(xié)議(PTP)服務(wù)器同據(jù)點(diǎn)添加微秒級(jí)時(shí)間戳t_i，得到帶時(shí)間戳的數(shù)據(jù)集D_t={I_t,Z_t,A_t,H_t,V_t,P_t,N_in_t,N_out_t}。計(jì)算D_t中各模態(tài)數(shù)local。根據(jù)C_local自適應(yīng)調(diào)整對(duì)比度限制參數(shù)α_i，應(yīng)用對(duì)比度受限自適應(yīng)直方圖均衡據(jù)G和H自適應(yīng)調(diào)整SIFT算法的尺度參數(shù)σ計(jì)算短時(shí)頻譜S(t,f)，根據(jù)S(t,f)的時(shí)變特性動(dòng)態(tài)調(diào)整梅爾濾波器組的中心頻率f_c和帶模式相關(guān)性矩陣R。根據(jù)R動(dòng)態(tài)調(diào)整Tucker分解的核張量秩r_i。應(yīng)用自適應(yīng)Tucker分解算[0210]S17.將S16的F_compressed和D_reducedtransformed應(yīng)用增量聚類(lèi)算法，動(dòng)態(tài)更新聚類(lèi)中心C_i和聚類(lèi)半徑r_i，得到聚類(lèi)結(jié)果S_[0212]S19.將S18處理后的S_clustered寫(xiě)入分I_s和訪問(wèn)頻率F_a。根據(jù)I_s和F_a動(dòng)態(tài)調(diào)整數(shù)據(jù)保留周期T_r。應(yīng)用自適應(yīng)數(shù)據(jù)保留策[0214]S21.從時(shí)序數(shù)據(jù)庫(kù)中讀取S1處理后的數(shù)據(jù)D_processed和特征索引I_feature。環(huán)境特征E_main，應(yīng)用指數(shù)加權(quán)移動(dòng)平均，計(jì)算平滑系數(shù)α,得到平滑后的特征E_main_enhanced和E_main_smoothed與預(yù)先存儲(chǔ)的身份標(biāo)簽Y組合。計(jì)算每個(gè)特征與Y之間的互信息I(X;Y)。設(shè)定互信息閾值T_I，選擇I(X;Y)>T_I的特征子集，得到選定的特征集F_非零特征值的特征向量，構(gòu)成投影矩陣P。將F_sparse投影到P上，得到降維后的特征F_[0218]S25.將S24的F_reduced組織成^(_1/2)AD^(_1/2)HW)，其中H為輸入特征，W為可學(xué)習(xí)的[0220]S27.將S25的F_tt和S26的F_gcn連接形成多模態(tài)特征矩陣F_multi=[F_tt;F_[0221]S28.將S27得到的F_final寫(xiě)入時(shí)序數(shù)據(jù)庫(kù)，更新特征索引I_feature。計(jì)算F_[0222]S3.獲取S2中的最終融合特征向量F_finaT_c_i)，其中η為學(xué)習(xí)率。計(jì)算更新后模板的質(zhì)量評(píng)分q_i=f(age_i,usage_i,[0225]S33.從用戶行為數(shù)據(jù)庫(kù)中檢索與T_best相關(guān)的歷史行為序列B={B_1,B_2, [0226]S34.從環(huán)境數(shù)據(jù)庫(kù)中檢索當(dāng)前環(huán)境參數(shù)E_current和歷史環(huán)境_用戶關(guān)聯(lián)數(shù)據(jù)D_[0227]S35.基于歷史驗(yàn)證數(shù)據(jù)計(jì)算全局誤報(bào)率FA索最優(yōu)決策閾值τ,使得|FAR(τ)[0231]S41.從用戶數(shù)據(jù)庫(kù)中檢索與身份ID對(duì)應(yīng)的歷史行為數(shù)據(jù)H={h_1,h_2,,征分解，獲取前k個(gè)主成分，構(gòu)成投影矩陣P。將F投影到P上，得到降維后的行為特征F_c_2,,c_m}和隸屬度矩陣U。迭代更距離，χ(x)為指示函數(shù)。計(jì)算每個(gè)點(diǎn)到密度更高點(diǎn)的最小距離δ_i=min_j:ρ_j>ρ_i(d_可通行路徑）。對(duì)每條邊e_ij∈E，根據(jù)S45中的擁堵情況計(jì)算其代價(jià)函數(shù)c(e_ij)=f