機器學習基礎(chǔ)與應用 課件 第九章 基于樸素貝葉斯算法的店鋪評論分類

第九章基于樸素貝葉斯算法的店鋪評論分類目

錄樸素貝葉斯算法概述樸素貝葉斯算法原理文本分類數(shù)據(jù)預處理流程010203樸素貝葉斯算法概述01樸素貝葉斯算法概述樸素貝葉斯算法（naivebayesmodel）是一種基于貝葉斯定理與特征條件獨立假設(shè)的分類方法。它在假設(shè)數(shù)據(jù)特征之間相互獨立的條件下，使用已知的數(shù)據(jù)概率來對未知的數(shù)據(jù)進行分類。01以水果分類為例，假設(shè)一個水果的顏色、形狀、和大小三個特征分別是紅色、圓形、直徑4cm。當我們使用樸素貝葉斯算法判斷該水果是不是蘋果時，首先會假設(shè)這三個特征互相獨立、沒有依賴關(guān)系，然后再計算該水果是不是蘋果的概率。樸素貝葉斯算法原理02樸素貝葉斯算法原理貝葉斯定理是18世紀英國數(shù)學家托馬斯·貝葉斯（ThomasBayes）提出的重要概率論理論。貝葉斯定理的公式如下：02貝葉斯定理P(B|A)表示在已知特征A的情況下，事件B發(fā)生的概率，也稱為后驗概率；P(B|A)表示在已知事件B發(fā)生的情況下，特征A出現(xiàn)的概率，也稱為似然度；P(B)表示事件B的先驗概率，指在考慮特征A之前，事件B發(fā)生的概率；P(A)表示特征A的先驗概率，指在考慮事件B之前，特征A出現(xiàn)的概率。樸素貝葉斯算法原理例：已知某工廠生產(chǎn)次品的概率為10%，同時該工廠停電的概率為1%，停電時生產(chǎn)次品的概率為90%，那么當該工廠生產(chǎn)了次品的時候，停電的概率有多大？02貝葉斯定理在該例中，首先定義事件的概率，即設(shè)P(次品)表示生產(chǎn)次品的概率，即P(次品)=10%；設(shè)P(停電)表示工廠停電的概率，即P(停電)=1%；P(次品|停電)表示停電時生產(chǎn)次品的概率，即P(次品|停電)=90%；而該工廠生產(chǎn)次品時，停電的概率用P(停電|次品)表示，通過貝葉斯公式計算，停電的概率為：樸素貝葉斯算法原理在許多情況下，特征與特征之間可能存在關(guān)聯(lián)性，例如通過溫度、濕度、氣壓等特征判斷是否是晴天，如果溫度高，濕度就可能小，他們之間是存在關(guān)聯(lián)性的。在這種多特征、多類別的場景下，如果直接從有限的樣本中估計類別的概率往往會比較困難。02樸素貝葉斯算法原理樸素貝葉斯算法采用了“特征條件獨立性假設(shè)”，即假設(shè)樣本中的各個特征之間都是相互獨立的、互不關(guān)聯(lián)的，忽略特征之間的關(guān)聯(lián)性，使計算概率的過程更加簡單。樸素貝葉斯算法還需要估計先驗概率和條件概率，并利用貝葉斯定理計算后驗概率，樸素貝葉斯算法通常表現(xiàn)出很好的分類效果。樸素貝葉斯算法原理例：樸素貝葉斯算法實現(xiàn)文本分類（判斷是否為籃球運動）表中文本特征是文字形式的，計算機很難進行計算，通常會通過一些文本預處理的方式將文本特征轉(zhuǎn)成向量形式。如詞頻特征矩陣將文本特征中重復的詞去掉得到詞頻列表如[突破，扣籃，罰球，唱歌，跳舞]，接著再轉(zhuǎn)為詞頻特征02樸素貝葉斯算法原理文本特征類別突破；扣籃True罰球；扣籃True唱歌；跳舞False樸素貝葉斯算法原理如果現(xiàn)在有[突破，罰球]這兩個特征，那么使用樸素貝葉斯算法去判斷該數(shù)據(jù)是否是籃球運動時，會得出以下公式。02樸素貝葉斯算法原理屬于籃球運動的概率為不屬于籃球運動的概率為所以最后將擁有[突破，罰球]特征的文本分為屬于籃球運動這一類型。文本分類數(shù)據(jù)預處理流程03文本分類數(shù)據(jù)預處理流程文本分類數(shù)據(jù)預處理是文本分類中比較重要且關(guān)鍵的過程，文本分類數(shù)據(jù)預處理的好壞直接影響著分類的效果。文本分類數(shù)據(jù)預處理可以幫助我們從原始文本分類數(shù)據(jù)中提取有用信息并去除無用信息，而不同的任務(wù)常常需要使用不同的預處理步驟和方法，來對文本分類數(shù)據(jù)進行預處理，為后續(xù)模型訓練和分析打下基礎(chǔ)。03常見的文本分類數(shù)據(jù)預處理步驟：文本分類數(shù)據(jù)預處理流程03常見的文本分類數(shù)據(jù)預處理步驟：01分詞將文本拆分成一個個單獨的單詞或詞組，以方便后續(xù)處理02去除停用詞將一些常見的，但是對分析用處不大的、無意義的字詞或者標點符號從文本中去除03文本特征提取從文本中提取有用的信息并將其作為模型的輸入特征04文本向量化將文本轉(zhuǎn)換為向量形式文本分類數(shù)據(jù)預處理流程分詞是實現(xiàn)文本分類的第一個步驟，指將一段文本按照一定的規(guī)則或算法進行切分，切分成一個個具有實際含義的詞匯單位。在英文中，單詞之間以空格作為自然分界符；而在漢語中，詞沒有一個形式上的分界符。也就是說，相比于英文，中文沒有詞與詞之間的分界符（如空格）。因此分詞是處理中文文本的首要步驟。03分詞文本分類數(shù)據(jù)預處理流程對于中文進行分詞可以使用jieba庫。jieba分詞庫是一個優(yōu)秀的Python第三方中文分詞庫，常常用于對中文文本進行分詞。jieba分詞庫的分詞原理是利用中文詞庫來確定漢字之間的關(guān)聯(lián)概率，并將概率大的漢字組成詞組，形成最終的分詞結(jié)果。jieba分詞庫支持3種分詞模式：精確模式、全模式、搜索引擎模式。03分詞文本分類數(shù)據(jù)預處理流程03分詞分詞模式簡介特點切分結(jié)果精確模式對語句進行最精確的切分不存在冗余數(shù)據(jù)，能夠完整地把文本按照中文詞庫的標準完成拆分，比較適合文本分析全模式將語句中所有可能是詞的詞語都切分出來分詞速度很快，但是會存在冗余數(shù)據(jù)搜索引擎模式在精確模式的基礎(chǔ)上，對長詞再次進行切分提高召回率，適合用于搜索引擎分詞例：“冰墩墩是2022年北京冬季奧運會的吉祥物”文本分類數(shù)據(jù)預處理流程停用詞是指在文本分析中被忽略的一些常見詞語，例如“的”“了”“是”等。這些詞在文本中出現(xiàn)的頻率非常高，但通常不攜帶太多的語義信息，因此這些詞在文本分類中通常可以被忽略。忽略這些詞可以減少文本數(shù)據(jù)量，提高文本處理效率，同時可以避免這些無意義的詞對文本分類的影響。03去除停用詞文本分類數(shù)據(jù)預處理流程停用詞通常包括語氣助詞、連詞、代詞、介詞、冠詞、副詞等一些無實際意義的詞語。在文本分類中，常常使用停用詞表來忽略這些詞語。停用詞表可以是自己預定義的，也可以是根據(jù)具體的文本數(shù)據(jù)集來自動生成的。目前常用的中文停用詞表：03去除停用詞百度停用詞表哈工大停用詞表中文停用詞表文本分類數(shù)據(jù)預處理流程文本特征是指用于描述文本的屬性或特性，可以用于文本分類、情感分析、實體識別等任務(wù)。常見的文本特征提取包括詞頻（TF）、TF-IDF值等。詞頻特征是一種比較簡單文本特征，它指的是文本中每個詞出現(xiàn)的次數(shù)。因為每個文本一般都是由單詞所組成的，而每個單詞出現(xiàn)的次數(shù)在一定程度上又可以從側(cè)面反映該文章的內(nèi)容。例：love這個詞出現(xiàn)的比較多，則可以猜測很大可能屬于情感類的文章。在處理文本類的信息時，詞頻特征是非常重要的信息之一。03文本特征提取文本分類數(shù)據(jù)預處理流程詞頻特征簡單易于理解，能夠從宏觀角度捕獲文本信息，但是詞頻特征往往會受到停止詞匯的影響（即停用詞），例如“的”“，”等，他們出現(xiàn)次數(shù)往往較多，容易影響文本的分析效果，所以在處理文本類型的數(shù)據(jù)時常常包含去停用詞這一部分操作。03文本特征提取文本分類數(shù)據(jù)預處理流程原因：計算機系統(tǒng)內(nèi)部以二進制來表示、存儲和處