CN118312922B 一種多模態(tài)網絡內容安全智能審核系統(tǒng)及其方法 （陜西淘丁實業(yè)集團有限公司）

一種多模態(tài)網絡內容安全智能審核系統(tǒng)及本發(fā)明提供一種多模態(tài)網絡內容安全智能多模態(tài)網絡內容數(shù)據(jù)中提取不同模態(tài)內容的特2數(shù)據(jù)接入與預處理模塊，用于接收來自不同來源的多模態(tài)網絡內容數(shù)據(jù),并對所述多多模態(tài)分析模塊，用于將預處理后的多模態(tài)網絡內容數(shù)據(jù)映射到一個共同的語義空審核引擎模塊，用于綜合運用規(guī)則引擎和機器學習審核結果處置模塊，用于輸出和存儲所述審核結果視頻分析子模塊，用于在所述圖像視覺特征的基礎上，結合時序信息音頻分析子模塊，用于采用梅爾頻率倒譜系數(shù)、聲音事件檢測和審核子模塊，用于將從所述多模態(tài)網絡內容數(shù)據(jù)中提取所述審核子模塊在對所述多模態(tài)網絡內容數(shù)據(jù)進行審核的過程中，通過特征級融合對提取的所述不同模態(tài)內容的特征進行拼接或平均，通過決策級融合對所述違規(guī)判定結果進行加權平均或投票，獲得所數(shù)據(jù)接入子模塊，用于實時獲取用戶發(fā)布的文本數(shù)據(jù)、圖片3根據(jù)所述審核結果和預設規(guī)則，觸發(fā)相應的人工審核或自動采用元學習技術實現(xiàn)審核策略的自動生成和調優(yōu)，根據(jù)審核結果的反饋，學習采用強化學習實現(xiàn)主動學習，根據(jù)所述機器學習模型的不確定度接收來自不同來源的多模態(tài)網絡內容數(shù)據(jù),并對所述多模態(tài)網絡內容數(shù)據(jù)進行預處將預處理后的多模態(tài)網絡內容數(shù)據(jù)映射到一個共同的語義空間，在綜合運用規(guī)則引擎和機器學習模型，根據(jù)所述不同模態(tài)內容的特輸出和存儲所述審核結果，并根據(jù)所述審核結果觸發(fā)相應的人工審核或自動處置流所述的在所述語義空間中從所述多模態(tài)網絡內容數(shù)采用詞向量、詞頻一逆文檔頻率和文本主題模型相融合的方法提取采用卷積神經網絡、尺度不變特征變換和顏色直方圖相融合的方法提采用梅爾頻率倒譜系數(shù)、聲音事件檢測和語音識別相融合的方法提取預4根據(jù)所述不同模態(tài)內容的特征和所述審核策略對所述多模態(tài)網絡內容數(shù)據(jù)進行審核，通過所述規(guī)則引擎加載預先配置的審核策略，將從所述多模態(tài)網根據(jù)所述審核策略對所述多模態(tài)網絡內容數(shù)據(jù)進行審核，綜合判斷在對所述多模態(tài)網絡內容數(shù)據(jù)進行審核的過程中，采用跨模態(tài)檢索技5[0007]數(shù)據(jù)接入與預處理模塊，用于接收來自不[0009]策略管理模塊，用于配置和管理來自不同來源的多模態(tài)網絡內容數(shù)據(jù)的審核策6合的方法提取預處理后的多模態(tài)網絡內容數(shù)據(jù)的7[0039]接收來自不同來源的多模態(tài)網絡內容數(shù)據(jù),8數(shù)據(jù)進行預處理；多模態(tài)分析模塊用于從多模態(tài)網絡內容數(shù)據(jù)中提取不同模態(tài)內容的特[0065]應當理解，本公開的方法實施方式中記載的各個步驟可義將在下文描述中給出。9[0069]本公開實施方式中的多個裝置之間所交互的消息或者信息的名稱僅用于說明性[0080]本實施例中，數(shù)據(jù)接入與預處理模塊110接收來自不同來源的多模態(tài)網絡內容數(shù)[0082]多模態(tài)分析模塊120，用于通過跨模態(tài)檢索技術或方法將不同的模態(tài)網絡內容數(shù)[0083]本實施例中，多模態(tài)分析模塊120通過跨模態(tài)檢索技術或方法將不同的模態(tài)網絡[0084]本實施例在提取不同模態(tài)內容的特征的過程中，還可以[0086]策略管理模塊130，用于配置和管理來自不同來源的多模態(tài)網絡內容數(shù)據(jù)的審核過程，使用強化學習算法（例如DeepQNetwork，簡稱DQN、ProximalPolicy[0112]具體的，數(shù)據(jù)接入子模塊111可以通過API接口（ApplicationProgramming量模型有Word2Vec（WordtoVector，詞向量）、GloVe（GlobalVectorsforWord權重特征和10維的主題分布特征。將這三個特征向量拼接起來，得到一個410維的特征向融合的方法提取預處理后的多模態(tài)網絡內容取最后一層全連接層的輸出作為圖像的CNN特[0151]將CNN特征、SIFT特征和顏色直方圖特征進行融合，得到圖像的最終視覺特征表像素運動矢量，得到一系列光流特征圖。時序特征是指使用RNN（RecurrentNeural合的方法提取預處理后的多模態(tài)網絡內容數(shù)據(jù)的通過池化操作（例如平均池化）壓縮為一個13維的特征向量；將聲音事件標簽通過獨熱（one_hot）編碼轉換為一個固定長度的特征向量；將語音識別文本通過詞嵌入（如[0171]閾值配置為每類違規(guī)內容的判定結果設置置信度閾值，超過閾值則判定為違[0173]審核子模塊142在對多模態(tài)網絡內容數(shù)據(jù)進行審核的過程中，采用跨模態(tài)檢索技塊142在對多模態(tài)網絡內容數(shù)據(jù)進行審核的過程中，可以采用圖神經網絡對異構信息網絡用元學習技術可以根據(jù)已有的違規(guī)內容樣本，快速生成針對特定領域或場景的審核模將其分類為安全威脅類內容，置信度為0.9。命名實體識別是指識別文本中的特定命例如，對于一個視頻，使用YOLO模型對其關鍵幀進行武器檢測，如果檢測到武裝器械等武[0186]具體的，審核子模塊142通過特征級融合對提取的多模態(tài)內容的特征向量進行拼度0.9視頻審核結果為安全威脅（置信度0.8則最終判定為安全威脅內容，置信度為施例在審核結果的解釋和可視化中，利用知識圖譜展示違規(guī)內容的推理鏈條和證據(jù)圖譜，個產品真是糟糕","image_url":"/img.jpg","violation_type":指根據(jù)審核結果的置信度和違規(guī)類型，將疑似違規(guī)內容分配給不同的人工審核員進行復之間的敏感成人內容分配給B組審核員。審核結果反饋是指人工審核員對疑似違規(guī)內容進id":"abcdef","content_id":"123456","reviewer_id":"Tom","review_time":"2024_05_0114:20:30","review_result"數(shù)據(jù)集更新和模型性能評估；審核結果分析是指分析人工審核結果與機器判定結果的差[0197]圖5是本發(fā)明實施例的另一種多模態(tài)網絡內容安全智能審核系統(tǒng)的結構框圖，如（BidirectionalEncoderRepresentationfromTransformers，預訓練的語言表征模測模型的骨干網絡，在自己的數(shù)據(jù)集上進行微調（fine_tuning顯著提升了模型的準確少量侵害行為圖片數(shù)據(jù)集微調，即可得到一個性能不錯的侵害行為圖片檢測模型。跨模態(tài)安全威脅內容檢測模型。由12層Transformer組成的大型語言模型（如GPT_2蒸餾到一個由6層LSTM組成的小型語Transformer是一個利用注意力機制來提高模型訓絡對某些邊界樣本的判斷不確定時，主動將這些樣本提交給人工標注，并用標注結果微調[0223]圖6是本發(fā)明實施例的一種多模態(tài)網絡內容安全智能審核方法流程圖，如圖6所多模態(tài)內容的特征輸入機器學習模型中，結合審核策略對多模態(tài)網絡內容數(shù)據(jù)進行審核，廣播接收器、PDA(PersonalDigitalAssistant，個人數(shù)字助理)、PAD(PortableFlat_載終端(例如車載導航終端)等等的移動終端以及諸如數(shù)字TV、臺式計算機等等的固定終可以根據(jù)存儲在只讀存儲器(Read_OnlyMemory，ROM)302中的程序或者從存儲裝置308加(HyperTextTransferProtocol，超文本傳輸協(xié)議)之類的任何當前已知或未來研發(fā)的網絡[0243]接收來自不同來源的多模態(tài)網絡內容數(shù)據(jù),并對多模態(tài)網絡內容數(shù)據(jù)進行預處[0248]可以以一種或多種程序設計語言或其組合來編寫用于執(zhí)行本公開的操作的計算機程序代碼，上述程序設計語言包括但不限于面向對象的程序設計語言—諸如Java、以通過任意種類的網絡——包括局域網(LAN)或廣域網(WAN)—連接到用戶計算機，或者，[0251]本文中以上描述的功能可以至少部分地由一個或多個硬件邏輯部件來執(zhí)行。例[0255]盡管已經采用特定于結構特征和/或方法