機器學習基礎與應用 課件 第四章 基于KNN算法的二手車價格預測

第四章基于KNN算法的二手車價格預測目

錄KNN算法的定義KNN算法實現流程KNN算法的優缺點010203KNN算法的定義01KNN算法的定義KNN（K-nearestneighbor）也被稱為K-近鄰算法，是目前機器學習領域中最簡單的算法之一，既可用于分類任務也可用于回歸任務。KNN算法，即給定一個訓練數據集，對新的輸入實例，在訓練數據集中找到與該實例最鄰近的K個實例。使用KNN算法處理分類任務時，如果K個實例的多數屬于某個類，就把該輸入實例分類到這個類中；使用KNN算法處理回歸任務時，輸入實例的預測值就是K個實例的平均值。01KNN算法的定義圖中的正方形表示第一類、深色圓點表示第二類、淺色圓點表示新的實例（未分類的樣本）。當我們進行分類時，如果K=3，則新實例屬于深色圓點類別；當我們進行回歸時，如果K=3，則新實例預測值為最近3個實例的平均值。01KNN算法實現流程02KNN算法實現流程KNN算法的指導思想是“近朱者赤，近墨者黑”，它通過你的“鄰居”來推斷出你的類別或者預測你的值。首先計算待分類樣本與已知類別的訓練樣本之間的距離，找到距離與待分類樣本數據最近的K個鄰居；再根據這些鄰居所屬的類別來判斷待分類樣本數據的類別。如果用空間內兩個點的距離來度量，距離越大，表示兩個點越不相似；距離越小，表示兩個點越相似。02KNN算法實現流程KNN算法實現回歸預測任務時的基本流程：02計算已知數據集中的點與當前點之間的距離1選取與當前點距離最小的K個點3返回前K個點的平均值，以此作為回歸預測的結果5按照距離遞增的順序進行排序2確定前K個點并計算K個點的平均值4KNN算法實現流程02距離的計算方法計算方法含義二維公式（例：A(x1,y1)、B(x2,y2)）歐式距離計算兩點之間最短距離的方法曼哈頓距離兩點在南北方向上的距離加上在東西方向上的距離線段a代表的是歐式距離；線段b、c、d代表的是曼哈頓距離。歐式距離和曼哈頓距離的計算方法不僅可以應用在二維數據中，同樣也可以應用于三維、多維數據中KNN算法實現流程02K值的選取構建KNN算法模型的一個核心要素是K值的選擇，K值的選取對模型的準確率至關重要。K值的選擇通常取決于數據集的實際情況。如果K值太小，分類結果易受噪聲點影響，模型過于復雜，會發生過擬合而忽略數據的真實分布；如果K值太大，模型將過于簡單而忽略訓練數據實例中的大量有用信息。在應用中，一般會先取一個較小的K值，然后再慢慢進行調整。KNN算法實現流程02K值的選取例：正方形和六邊形是訓練數據點，而五角星則是需要分類或者回歸預測的數據。假如K=3，在離五角星最近的3個數據點中：（1）有2個六邊形，1個正方形；（2）使用KNN算法進行分類時，應該把五角星分到六邊形這一組；使用KNN進行回歸預測時，應該把2個六邊形、1個正方形進行相加，然后求平均值，即可得到預測結果。KNN算法實現流程02K值的選取例：正方形和六邊形是訓練數據點，而五角星則是需要分類或者回歸預測的數據。假如K=5，在離五角星最近的5個數據點中：（1）有2個六邊形，3個正方形；（2）使用KNN算法進行分類時，應該把五角星分到正方形這一組；使用KNN算法進行回歸預測時，應該把2個六邊形、3個正方形進行相加，然后求平均值，即可得到預測結果。KNN算法的優缺點03KNN算法的優缺點03KNN算法的優點01KNN算法通過選取K個鄰近值來判斷分類，對異常值有較高的容忍度，對噪聲數據的容忍能力較強，即噪聲數據對分類算法效果影響不大。0203KNN算法不需要復雜的訓練過程，新樣本數據可直接加入樣本數據集而不必進行重新訓練。KNN算法的分類過程直接利用了樣本之間的關系，因此降低了因類別特征的不當選擇對分類結果造成的影響，可以最大程度地降低分類過程中的誤差項。KNN算法的優缺點03KNN算法的缺點計算量較大，速度慢成因：每一個待分類的樣本均需要計算出它到所有已知樣本的距離后，才能求得該樣本的K個鄰居。解決方法：對樣本數據預處理，先對已知樣本點進行裁剪，去除對分類作用不大的樣本。成因：隨機選定的K值可能會導致分類錯誤或誤差較大。解決方法：通常需要多次選擇K值以達到最佳分類效果。樣本數量不均衡時，數量多的類別會靠“