計算機基礎項目實戰(zhàn) 1

計算機視覺項目開發(fā)實戰(zhàn)

(微課版)項目八中草藥分類—SVM圖像分類思維導圖學習目標概覽能夠?qū)嶋H問題抽象為機器學習問題知識目標學習目標素養(yǎng)目標技能目標培養(yǎng)算法公平性與算法偏見的認知素養(yǎng)培養(yǎng)合理利用資源與可持續(xù)發(fā)展的意識激發(fā)創(chuàng)新精神與社會責任感能夠使用SVM構建分類模型能夠準確計算并解讀分類模型的評價指標掌握機器學習的基本概念、主要分類及典型工作流程理解SVM的基本原理，以及核函數(shù)的作用與選擇掌握準確率、精確率、召回率等指標的計算方法與適用場景，理解混淆矩陣的構成及其在模型性能分析中的作用目錄項目導入知識準備項目拓展項目實施項目鞏固8.1機器學習基礎8.2支持向量機8.3分類模型評價指標PART01項目導入項目導入在中華文明五千多年的歷史長河中，中草藥作為傳統(tǒng)醫(yī)學的瑰寶，不僅承載著古人“天人合一”的哲學智慧，更凝聚著中華民族守護生命健康的集體智慧。古老智慧正迎來數(shù)字化新機遇。從基于手工特征的傳統(tǒng)機器學習，已演進到基于深度CNN的圖像分類，并進一步探索能理解植物百科知識的多模態(tài)大模型。用前沿的數(shù)字技術，守護千年的文化瑰寶PART02知識準備知識準備—機器學習基礎計算機視覺的目標是讓計算機像人一樣能夠“看懂”并理解圖像和視頻。如何將一幅圖像中的內(nèi)容（例如，中草藥的葉片）轉(zhuǎn)化為計算機能夠理解的“知識”呢？

通過分析大量已標注的圖像數(shù)據(jù)，從中歸納特征、學習規(guī)律，從而形成能夠進行“識別”與“判斷”的智能模型。這種模型構成了圖像分類與目標檢測等視覺任務實現(xiàn)智能決策的基礎。知識準備—機器學習基礎8.1.1機器學習的概念機器學習是人工智能的一個核心分支，它通過模擬人類學習的方式，使現(xiàn)代計算機具備一定的思考與推理能力。機器學習并不依賴于人類預先設定的規(guī)則，而是通過從大量數(shù)據(jù)中自行分析、歸納出規(guī)律，從而構建出一個能夠?qū)ξ粗獢?shù)據(jù)進行預測或決策的智能模型。以本項目“中草藥分類”為例，讓計算機識別出輸入的植物葉片圖像是薄荷、艾草還是枸杞，如圖8-1所示。圖8-1薄荷、艾草、枸杞圖像知識準備—機器學習基礎8.1.1機器學習的概念機器學習的本質(zhì)是對人類學習機制的簡化與模擬。機器學習是數(shù)據(jù)驅(qū)動的，它以計算機作為工具，從大量數(shù)據(jù)中發(fā)現(xiàn)并學習其內(nèi)在規(guī)律，并將其應用到新的場景中。在圖像分類任務中，計算機并非直接“理解”圖像內(nèi)容，而是通過分析海量已標注圖像，學習到不同類別（如中草藥）的視覺特征模式，從而獲得對新圖像進行歸類的判別能力。

知識準備—機器學習基礎8.1.2機器學習的分類監(jiān)督學習監(jiān)督學習是從帶有標簽的數(shù)據(jù)中學習，其核心特點是所使用的訓練數(shù)據(jù)都帶有明確的“答案”（即標簽）。監(jiān)督學習模型的任務就是學習輸入數(shù)據(jù)（如圖像）與輸出標簽（如艾草、薄荷）之間的映射關系。例如，本項目要實現(xiàn)的中草藥分類就是一個典型的監(jiān)督學習任務。為此，需要準備已標注的大量中草藥圖像，其中每個中草藥葉片都對應一個準確的中草藥名稱標簽。然后，監(jiān)督學習模型通過分析這些“數(shù)據(jù)-標簽”對，學習如何根據(jù)葉片的顏色、紋理、形狀等特征來區(qū)分不同類別。知識準備—機器學習基礎8.1.2機器學習的分類監(jiān)督學習監(jiān)督學習主要包括分類和回歸兩大任務，如圖8-2所示。圖8-2分類與回歸任務示意圖分類：預測離散的類別標簽，其輸出結果是一個有限的、不連續(xù)的類別標識。回歸：預測連續(xù)的數(shù)值。在分類任務中，除了本項目將使用的SVM，常見的分類模型還包括KNN、決策樹、神經(jīng)網(wǎng)絡等。知識準備—機器學習基礎8.1.2機器學習的分類無監(jiān)督學習與監(jiān)督學習相反，無監(jiān)督學習所使用的數(shù)據(jù)是不包含標簽的。無監(jiān)督學習模型的任務不是預測某個標簽，而是自主發(fā)現(xiàn)數(shù)據(jù)中的潛在結構或分布規(guī)律。圖8-3降維與聚類任務無監(jiān)督學習主要包含降維[如主成分分析（PrincipalComponentAnalysis，PCA）]和聚類（如k-Means算法）兩種任務，如圖8-3所示。知識準備—機器學習基礎8.1.2機器學習的分類強化學習強化學習模擬了一種更接近人類“從交互中學習”的方式，它通過智能體（Agent）與環(huán)境進行持續(xù)交互，根據(jù)其行動所獲得的獎勵或懲罰反饋來學習最優(yōu)策略，其核心是“試錯”與“延遲回報”。理解這3種學習方式的區(qū)別，有助于我們根據(jù)實際任務需求（如是否需要標注數(shù)據(jù)、目標是分類還是發(fā)現(xiàn)結構等）選擇正確的機器學習算法。知識準備—機器學習基礎8.1.3機器學習的流程數(shù)據(jù)收集與準備數(shù)據(jù)是機器學習模型的“燃料”，其質(zhì)量直接決定模型性能的上限。比如，為了完成中草藥分類任務，我們首先需要建立一個高質(zhì)量的圖像數(shù)據(jù)集。在獲得圖像后，為每幅圖像打上正確的類別標簽（如艾草、薄荷、枸杞），這是監(jiān)督學習的基礎。在數(shù)據(jù)準備階段會對數(shù)據(jù)進行一些預處理。數(shù)據(jù)集劃分也是數(shù)據(jù)準備階段的重要工作。通常會把處理好的數(shù)據(jù)集隨機劃分為互不相交的訓練集、驗證集和測試集，分別用于訓練模型、調(diào)整參數(shù)和評估模型的性能。完整的機器學習流程主要包括以下5個階段。知識準備—機器學習基礎模型選擇在完成數(shù)據(jù)的收集與準備后，需根據(jù)任務類型選擇合適的機器學習模型。在本項目中，我們將選擇SVM作為中草藥葉片圖像的分類模型。SVM特別適合在少樣本、高維數(shù)據(jù)（如圖像特征）上尋找最優(yōu)決策邊界。8.1.3機器學習的流程模型訓練模型訓練是使用準備好的訓練集數(shù)據(jù)對模型進行參數(shù)優(yōu)化的過程。在這一過程中，算法會根據(jù)事先設定的損失函數(shù)不斷調(diào)整模型的參數(shù)，以提升模型性能。損失函數(shù)在模型訓練中起著關鍵的指導作用，它量化了模型預測結果與真實標簽之間的差異。知識準備—機器學習基礎模型評估與調(diào)優(yōu)在模型訓練完成后，需在驗證集上評估其性能。通過觀察模型在驗證集上的分類準確率、精確率、召回率等指標，可以了解模型在未知數(shù)據(jù)上的泛化能力，并據(jù)此調(diào)整模型的超參數(shù)。在本項目的中草藥分類任務中，使用SVM作為分類模型。通過評估與調(diào)優(yōu)，對模型的懲罰系數(shù)、核函數(shù)類型和相關參數(shù)等進行調(diào)整，找到其最優(yōu)配置，以獲得最佳的中草藥葉片圖像識別準確率。

8.1.3機器學習的流程模型的測試最終，將調(diào)優(yōu)后的模型在從未參與訓練或調(diào)優(yōu)的測試集上進行測試。測試集的性能客觀反映了模型對未知數(shù)據(jù)的預測能力。若性能達標，即可將該模型部署到實際應用中。知識準備—支持向量機8.2.1支持向量機的概念支持向量機（SVM）是一種經(jīng)典的監(jiān)督學習算法，主要用于解決分類問題。觀察圖8-4（a），對于二維平面中線性可分的兩類樣本，存在很多能夠?qū)⑺鼈兎珠_的直線。哪一條直線的分類效果最優(yōu)呢？圖8-4最優(yōu)分類器與支持向量SVM核心思想：在特征空間中尋找一個最優(yōu)的決策超平面，使得不同類別樣本的間隔最大化。這個超平面可以被視為一個“決策邊界”，能夠較好地區(qū)分不同類別的數(shù)據(jù)點。知識準備—支持向量機【例8-1】使用SVM對線性可分數(shù)據(jù)進行二分類。8.2.1支持向量機的概念—案例知識準備—支持向量機運行本例完整代碼，將輸出如下結果，并展示圖8-5所示的圖形。8.2.1支持向量機的概念—案例【例8-1】使用SVM對線性可分數(shù)據(jù)進行二分類。圖8-5分水嶺算法分割結果與最終交通標志檢測結果知識準備—支持向量機8.2.1支持向量機的概念現(xiàn)實世界中的數(shù)據(jù)往往充滿挑戰(zhàn)：決策邊界可能不是完全線性的，數(shù)據(jù)中可能存在噪聲或異常值，不同類別的樣本可能會出現(xiàn)部分重疊。SVM引入了“軟間隔”概念。軟間隔允許出現(xiàn)一定程度的分類錯誤，即在追求最大間隔的同時，容忍部分樣本被錯誤分類或落入間隔區(qū)域內(nèi)。軟間隔的實現(xiàn)依賴于關鍵參數(shù)—懲罰系數(shù)C，體現(xiàn)了模型在“最大化間隔”與“最小化分類錯誤”之間的平衡。懲罰系數(shù)C的選擇根據(jù)具體問題和數(shù)據(jù)特點進行權衡。當訓練數(shù)據(jù)質(zhì)量較高、噪聲較少且決策邊界清晰時，可以選擇較大的C值，以更好地捕捉數(shù)據(jù)的精細結構。當數(shù)據(jù)存在明顯噪聲或決策邊界模糊時，選擇較小的C值能夠獲得更好的泛化性能，確保模型在實際應用中的可靠性。知識準備—支持向量機【例8-2】在線性不可分數(shù)據(jù)上對比不同C值對SVM分類結果的影響。8.2.1支持向量機的概念—案例知識準備—支持向量機運行上述代碼，將輸出圖8-6所示的結果。8.2.1支持向量機的概念—案例圖8-6不同C值對SVM決策邊界的影響【例8-2】在線性不可分數(shù)據(jù)上對比不同C值對SVM分類結果的影響。知識準備—支持向量機8.2.2支持向量機的核函數(shù)線性不可分的數(shù)據(jù)集，即無法通過一個線性超平面將不同類別的樣本完美地分開。當兩類樣本呈現(xiàn)出復雜的非線性分布時，需要借助核函數(shù)來處理非線性分類問題。圖8-7核函數(shù)示意圖SVM中核函數(shù)的基本思想是通過非線性映射，將原始空間中的數(shù)據(jù)點映射到更高維度的特征空間，使得數(shù)據(jù)點在這個新空間中變得線性可分。以圖8-7中的數(shù)據(jù)點為例，在原始的二維平面中，無法用一條直線將這些點完美分開。知識準備—支持向量機8.2.2支持向量機的核函數(shù)SVM中核函數(shù)的巧妙之處在于，它可以避免顯式的高維映射計算，而是直接在原始空間中計算樣本在高維空間中的內(nèi)積，大大降低了計算復雜度。這一技巧被稱為“核技巧”，其核心優(yōu)勢在于有效規(guī)避了“維度災難”問題。SVM中常用的核函數(shù)主要有以下幾種類型。線性核：最簡單的核函數(shù)，形式為，適用于線性可分的情況。多項式核：通過多項式變換將數(shù)據(jù)映射到高維空間，形式為。徑向基函數(shù)（RadialBasisFunction，RBF）核：也稱為高斯核，是最常用的核函數(shù)，形式為。在這些核函數(shù)中，RBF核最為靈活和常用，它能夠?qū)?shù)據(jù)隱式地映射到無限維空間，具有很強的表達能力。RBF核通過調(diào)節(jié)參數(shù)γ來控制單個訓練樣本的影響范圍。對于中草藥分類項目，由于不同中草藥葉片的特征可能呈現(xiàn)出復雜的非線性關系，RBF核通常是較合適的選擇。知識準備—支持向量機【例8-3】使用RBF核函數(shù)SVM對線性不可分數(shù)據(jù)進行分類。8.2.2支持向量機的核函數(shù)—案例知識準備—支持向量機運行上述代碼，將得到圖8-8所示的結果。8.2.2支持向量機的核函數(shù)—案例圖8-8不同γ值對RBF核函數(shù)SVM決策邊界的影響【例8-3】使用RBF核函數(shù)SVM對線性不可分數(shù)據(jù)進行分類。知識準備—分類模型評價指標分類模型常用的評價指標包括準確率、精確率、召回率等，這些指標可以從不同維度評估模型的性能。此外，混淆矩陣作為一種直觀的工具，能夠清晰展示模型在各個類別上的預測結果分布。在二分類任務中，通常將標簽為1的樣本稱為正例，標簽為0的樣本稱為負例。根據(jù)樣本的真實標簽與分類模型的預測結果，可以把樣本分為以下4種類型。真正例（TruePositive，TP）：表示被正確地預測為正例的樣本數(shù)量，即樣本真實標簽為1，預測標簽也為1。假正例（FalsePositive，F(xiàn)P）：表示被錯誤地預測為正例的樣本數(shù)量，即樣本真實標簽為0，但預測標簽為1。假負例（FalseNegative，F(xiàn)N）：表示被錯誤地預測為負例的樣本數(shù)量，即樣本真實標簽為1，但預測標簽為0。真負例（TrueNegative，TN）：表示被正確地預測為負例的樣本數(shù)量，即樣本真實標簽為0，預測標簽也為0。知識準備—分類模型評價指標將TP、FP、FN、TN等數(shù)值組織為一個2×2的矩陣，就會得到圖8-9所示的二分類混淆矩陣。通過該矩陣，可以直觀地統(tǒng)計各類別樣本被正確分類和錯誤分類的數(shù)量，進而方便地計算出準確率、精確率和召回率等各種評價指標。圖8-9二分類混淆矩陣知識準備—分類模型評價指標準確率（accuracy）是最常見的分類模型評價指標之一，它衡量了被正確分類的樣本所占的比例，即預測正確樣本占總樣本的比例。其計算公式如下：accuracy=(TP+TN)/(TP+TN+FP+FN)精確率（precision）和召回率（recall）基于模型對正例的預測結果來衡量其性能。精確率衡量的是在所有被預測為正例的樣本中，真正例的比例，它關注的是預測結果的“準確性”。其計算公式如下：precision=TP/(TP+FP)召回率衡量的是在所有真正為正例的樣本中，被模型正確預測出來的比例，它關注的是模型對正例的“覆蓋能力”。其計算公式如下：recall=TP/(TP+FN)精確率和召回率通常存在此消彼長的關系。提高精確率可能會降低召回率，反之，提高召回率可能會降低精確率。在實際分類問題中，通過調(diào)整模型的預測閾值來平衡二者。知識準備—分類模型評價指標【例8-4】根據(jù)給定的真實標簽與模型預測標簽，繪制二分類混淆矩陣，并計算各性能評價指標。假設真實標簽為[1,1,1,1,0,1,0,1,1,0]，預測結果為[1,0,0,1,0,1,0,1,0,1]。知識準備—分類模型評價指標【例8-4】根據(jù)給定的真實標簽與模型預測標簽，繪制二分類混淆矩陣，并計算各性能評價指標。假設真實標簽為[1,1,1,1,0,1,0,1,1,0]，預測結果為[1,0,0,1,0,1,0,1,0,1]。運行本例代碼，將輸出下面的結果，并展示圖8-10所示的圖形。圖8-10二分類混淆矩陣可視化結果PART03項目實施項目實施項目任務輸入植物葉片圖像，識別常見中草藥植物。任務實現(xiàn)本項目將按照機器學習的一般流程使用SVM實現(xiàn)中草藥圖像的自動分類。整個過程包括數(shù)據(jù)集準備與預處理、特征提取、模型訓練與評估、繪制混淆矩陣以及圖像的分類與預測5個核心環(huán)節(jié)。為保持代碼的模塊化和可維護性，將針對每個步驟編寫獨立的函數(shù)或類，包括圖像數(shù)據(jù)的加載與預處理函數(shù)、特征提取函數(shù)、模型訓練與評估函數(shù)、混淆矩陣繪制函數(shù)、預測功能類。此外，還將設計專門的可視化函數(shù)用于展示分類結果和模型性能，最終通過主程序?qū)⑦@些模塊有機整合，形成一個完整的中草藥圖像分類系統(tǒng)。這種模塊化的設計思路不僅便于對代碼進行調(diào)試和優(yōu)化，還有利于后續(xù)功能的擴展。程序使用OpenCV結合os與glob模塊實現(xiàn)圖像數(shù)據(jù)的讀取，使用Scikit-learn庫實現(xiàn)數(shù)據(jù)的預處理、數(shù)據(jù)集分割、SVM模型構建、訓練與測試評估，使用skimage與NumPy庫提取圖像特征。項目實施步驟1：數(shù)據(jù)集準備與預處理load_dataset()函數(shù)用于從指定的目錄下讀取中草藥圖像數(shù)據(jù)，在將圖像縮放到統(tǒng)一的大小后進行隨機旋轉(zhuǎn)與隨機光照變化等數(shù)據(jù)增強處理。函數(shù)最終返回以NumPy數(shù)組格式存儲的圖像數(shù)據(jù)與標簽。具體代碼如下：項目實施步驟2：特征提取使用extract_features()函數(shù)遍歷圖像數(shù)組中的各幅圖像，分別提取HSV直方圖、LBP紋理特征和Hu矩形狀特征。最后，返回由這些特征拼合成的特征矩陣。具體代碼如下：項目實施步驟3：模型訓練與評估定義train_and_evaluate()函數(shù)，首先對特征進行標準化處理，然后使用PCA進行降維。接著，將特征劃分為訓練集與測試集。進而構建RBF核函數(shù)SVM，并通過交叉驗證搜索最優(yōu)的懲罰系數(shù)C與核函數(shù)參數(shù)γ。最后，在測試集上評估模型的性能。具體代碼如下：項目實施步驟4：繪制混淆矩陣plot_confusion_matrix()函數(shù)用于接收混淆矩陣與數(shù)據(jù)集中樣本的類別數(shù)，并將其進行可視化展示。具體代碼如下：項目實施步驟5：圖像的分類與預測HerbClassifier類中包含初始化函數(shù)、predict()函數(shù)和visualize_prediction()函數(shù)。初始化時加載訓練好的模型及預處理組件；預測時對單幅圖像進行預處理和特征提取，并給出類別預測結果與置信度；可視化函數(shù)用于展示圖像及其在各個類別上的預測概率。具體代碼如下：項目實施按順序組織上述步驟中的函數(shù)與類，并編寫主程序調(diào)用，即可完成整個中草藥圖像分類項目的訓練與預測流程。運行本項目的完整代碼，將輸出如下結果，并展示圖8-11所示的圖形。

圖8-11中草藥識別的可視化結果PART04項目拓展項目拓展從傳統(tǒng)方法到深度學習：中草藥識別的性能躍升使用SVM進行中草藥圖像分類代表了傳統(tǒng)機器學習算法的經(jīng)典范式，但存在固有局限性：首先，人工設計的特征往往依賴于專家的先驗知識，難以全面捕捉圖像中的細微判別信息；其次，這些特征對圖像的旋轉(zhuǎn)與縮放、光線變化及復雜背景干擾等的魯棒性較差，導致模型在真實復雜場景下的泛化能力受限。深度學習模型可以直接從原始像素數(shù)據(jù)中自動學習由低層到高層的分級特征表示，擺脫了對人工設計特征的依賴。這種變革具體體現(xiàn)在識別