CN116010902B 基于跨模態(tài)融合的音樂(lè)情感識(shí)別方法及系統(tǒng) （復(fù)旦大學(xué)）

基于跨模態(tài)融合的音樂(lè)情感識(shí)別方法及系統(tǒng)一種基于跨模態(tài)融合的音樂(lè)情感識(shí)別方法及系統(tǒng)。本發(fā)明方法包括獲取待識(shí)別音樂(lè)的音樂(lè)信序列；將特征融合序列輸入到Transformer2所述2D_CNN(2_DimensionalConvolutionalNeuralNetwork，二對(duì)所述片段等長(zhǎng)的特征序列中的片段進(jìn)行位置編碼，得到具有位置編2.根據(jù)權(quán)利要求1所述的音樂(lè)情感識(shí)別方法，其特TransformerEncoder是一個(gè)6層的TransformerEncoder；Transformer機(jī)構(gòu)由多頭自注意3將所述融合后的音樂(lè)情感特征輸入預(yù)訓(xùn)練的全連接分類(lèi)器，5.一種基于權(quán)利要求1_4之一所述音樂(lè)情感識(shí)別方法的基于跨模態(tài)融合的音樂(lè)情感識(shí)預(yù)處理模塊，用于對(duì)所述音樂(lè)情感特征進(jìn)行預(yù)處理，得到具有位置編融合模塊，用于將所述特征融合序列輸入預(yù)訓(xùn)練的TransformerEn預(yù)測(cè)模塊，用于將所述融合后的音樂(lè)情感特征輸入預(yù)訓(xùn)練的全連接這5個(gè)模塊執(zhí)行基于跨模態(tài)融合的音樂(lè)情感識(shí)別方法6.一種電子設(shè)備，其特征在于，包括存儲(chǔ)器理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至4中任一項(xiàng)所述的基于跨模態(tài)融合的音樂(lè)情感4[0002]音樂(lè)情感識(shí)別(MER)是指識(shí)別給定音樂(lè)片段所包含的情感信息的任務(wù)，其輸入是模型學(xué)習(xí)音頻中的隱式特征(latentfeatures)。Mion等人使用特征選擇方法和主成分分信息與音樂(lè)情感高度相關(guān)。Schmidt等人將頻譜質(zhì)心，MFCC(MelFrequencyCepstrumGaussianMixtureModel)學(xué)習(xí)音樂(lè)中的隱式特征的方法，并將其取名為高斯聲學(xué)情感模2017年仍被Chen等人應(yīng)用在情感識(shí)別方法中。除了AEG以外，支持向量機(jī)(SVM，Support[0006]自深度學(xué)習(xí)方法逐漸發(fā)展成熟，近年來(lái)地音樂(lè)情感識(shí)別研究大多基于深度學(xué)在2016年，Li等人提出了一個(gè)基于DBLSTM(DeepBidirectionalLongShortTerm和RNN(RecurrentNeuralNetwork，循環(huán)神經(jīng)網(wǎng)絡(luò))仍是音樂(lè)情感識(shí)別中的主流，2019年5BoltzmannMachine)的多模態(tài)情感[0008]近年來(lái)比較具有代表性的多模態(tài)情感方法是由Delbouys等人在2018年提出的，[0019](4)將所述特征融合序列輸入預(yù)訓(xùn)練的Transfor[0020](5)將所述融合后的音樂(lè)情感特征輸入預(yù)訓(xùn)練的全連接分類(lèi)器，得到預(yù)測(cè)的音樂(lè)6[0024](3)將調(diào)整后的頻譜圖輸入預(yù)訓(xùn)練的2D_CNN模型進(jìn)行音頻特征提取，得到音頻特[0035](3)對(duì)所述片段等長(zhǎng)的特征序列中的片段進(jìn)行位置編碼，得到具有位置編碼的特征融合序列。[0038]進(jìn)一步地，步驟(4)中所述的TransformerEncoder是一個(gè)6層的Transformer輸入是特征融合序列(多模態(tài)融合的嵌入表示合序列；7被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述的基于跨模態(tài)融合的音樂(lè)8起來(lái)，計(jì)算拼接后文本信息對(duì)應(yīng)的詞嵌入表示，具體地，可以使用Transformers庫(kù)中的BertEmbeddings()函數(shù)進(jìn)行快捷的計(jì)算，將輸入的文本信息轉(zhuǎn)化為BERT模型可以處理的[0076]步驟S32：將轉(zhuǎn)換為一維向量的音樂(lè)情感特征進(jìn)行切分，得到片段等長(zhǎng)的特征序9的嵌入表示序列即為具有位置編碼的特征融合序列。音樂(lè)情感特征。具體地，預(yù)訓(xùn)練的TransformerEncoder是一個(gè)6層的Transformer輸入是特征融合序列(多模態(tài)融合的嵌入表示的TransformerEncoder、初始預(yù)訓(xùn)練的2D_CNN、預(yù)訓(xùn)練的BERT模型和初始預(yù)訓(xùn)練的Resnet50；模型中初始預(yù)訓(xùn)練的TransformerEncoder、初始預(yù)訓(xùn)練的2D_CNN、預(yù)訓(xùn)練的BERT模型和初始預(yù)訓(xùn)練的Resnet50加載開(kāi)源的預(yù)[0085]對(duì)該音樂(lè)情感識(shí)別模型進(jìn)行整體訓(xùn)練時(shí)，音樂(lè)信息均可以在音樂(lè)的數(shù)據(jù)庫(kù)中獲型的整體訓(xùn)練過(guò)程中無(wú)需更新其參數(shù)，并且在對(duì)該音樂(lè)情感識(shí)別模型的進(jìn)行整體訓(xùn)練時(shí)，預(yù)訓(xùn)練的Resnet50的整體模型，在對(duì)該音樂(lè)情感識(shí)別模型訓(xùn)練的過(guò)程中，初始預(yù)訓(xùn)練的TransformerEncoder、初始預(yù)訓(xùn)練的2D_CNN和初始預(yù)訓(xùn)練的Resnet50的參數(shù)會(huì)得到自適[0089]1.本發(fā)明提供的基于跨模態(tài)融合的音樂(lè)情感識(shí)別方法能更高效地利用除了音頻[0090]2.本發(fā)明提供的基于跨模態(tài)融合的音樂(lè)情感識(shí)別方法使用的特征提取模型多為[0091]3.本發(fā)明提供的基于跨模態(tài)融合的音樂(lè)情感識(shí)別方法在某些輸入缺省時(shí)仍可以[0092]4.本發(fā)明提供的基于跨模態(tài)融合的音樂(lè)情感識(shí)別方法使用了擁有較高性能的跨模態(tài)Transformer進(jìn)行各個(gè)模態(tài)特征的融合，相比現(xiàn)存使用跨模態(tài)注意力或直接特征拼接合序列。序，所述處理器運(yùn)行計(jì)算機(jī)程序以使電子設(shè)備執(zhí)行實(shí)施例1的基于跨模態(tài)融合的音樂(lè)情感算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)實(shí)施例一的基于跨模態(tài)融合[0106]將本發(fā)明所提出的方法在MSDD(MillionSongDatasetannotatedbyDeezer)[0110][1]VaswaniA,ShazeerN,ParmarN,etal.Attentionisallyouneed[J].Advancesinneuralinformationpro[0111][2]DevlinJ,ChangMW,LeeK,etal.Bert:Pre_trainingofdeepbidirectionaltransformersforlanguageunderstanding[J].arXivpreprintarXiv:1810.04805,2018.imagerecognition[C]//ProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition.2016:770_778.[0113][4]DelbouysR,HennequinR,PiccoliF,etal.MusicMoodDetectionBasedOnAudioAndLyricsWithDeepNeuralNet[J].2018.[0114][5]ZhaoJ,RuG,YuY,etal.Multimodalmusicemotionrecogniti