聚類分析和判別分析(與“樣本”有關的文檔共132張)

聚類分析和判別分析第一頁，共132頁。聚類分析與判別分析的基本概念8.1層次聚類分析中的Q型聚類8.2層次聚類分析中的R型聚類8.3快速聚類分析8.4判別分析8.5第二頁，共132頁。本章介紹統計學中經常使用的分類統計分析方法——聚類分析與判別分析。主要內容有層次聚類分析、快速聚類分析和判別分析。其中層次聚類分析根據聚類的對象不同分成Q型聚類和R型聚類。第三頁，共132頁。8.1聚類分析與判別分析的基本概念統計學研究這類問題的常用分類統計方法主要有聚類分析（clusteranalysis）與判別分析（discriminantanalysis）。其中聚類分析是統計學中研究這種“物以類聚”問題的一種有效方法，它屬于統計分析的范疇。聚類分析的實質是建立一種分類方法，它能夠將一批樣本數據按照他們在性質上的親密程度在沒有先驗知識的情況下自動進行分類。這里所說的類就是一個具有相似性的個體的集合，不同類之間具有明顯的區別。第四頁，共132頁。聚類分析是一種探索性的分析，在分類的過程中，人們不必事先給出一個分類的標準，聚類分析能夠從樣本數據出發，自動進行分類。聚類分析所使用方法的不同，常常會得到不同的結論。不同研究者對于同一組數據進行聚類分析，所得到的聚類數未必一致。因此我們說聚類分析是一種探索性的分析方法。第五頁，共132頁。對個案的聚類分析類似于判別分析，都是將一些觀察個案進行分類。聚類分析時，個案所屬的群組特點還未知。也就是說，在聚類分析之前，研究者還不知道獨立觀察組可以分成多少個類，類的特點也無所得知。第六頁，共132頁。變量的聚類分析類似于因素分析。兩者都可用于辨別變量的相關組別。不同在于，因素分析在合并變量的時候，是同時考慮所有變量之間的關系；而變量的聚類分析，則采用層次式的判別方式，根據個別變量之間的親疏程度逐次進行聚類。第七頁，共132頁。聚類分析的方法，主要有兩種，一種是“快速聚類分析方法”（K－MeansClusterAnaly-sis），另一種是“層次聚類分析方法”（HierarchicalClusterAnalysis）。如果觀察值的個數多或文件非常龐大（通常觀察值在200個以上），則宜采用快速聚類分析方法。因為觀察值數目巨大，層次聚類分析的兩種判別圖形會過于分散，不易解釋。第八頁，共132頁。判別分析是一種有效的對個案進行分類分析的方法。和聚類分析不同的是，判別分析時，組別的特征已知。如為了對貸款進行管理，需要預測哪些類型的客戶可能不會按時歸還貸款。已知過去幾年中，900個客戶的貸款歸還信譽度，據此可以將客戶分成兩組：可靠客戶和不可靠客戶。第九頁，共132頁。再通過收集客戶的一些資料，如年齡、工資收入、教育程度、存款等，將這些資料作為自變量。通過判別分析，建立判別函數。那么，如果有150個新的客戶提交貸款請求，就可以利用創建好的判別函數，對新的客戶進行分析，從而判斷新的客戶是屬于可靠客戶類，還是不可靠客戶類。第十頁，共132頁。8.2層次聚類分析中的Q型聚類層次聚類分析是根據觀察值或變量之間的親疏程度，將最相似的對象結合在一起，以逐次聚合的方式（AgglomerativeClustering），它將觀察值分類，直到最后所有樣本都聚成一類。第十一頁，共132頁。層次聚類分析有兩種形式，一種是對樣本（個案）進行分類，稱為Q型聚類，它使具有共同特點的樣本聚齊在一起，以便對不同類的樣本進行分析；另一種是對研究對象的觀察變量進行分類，稱為R型聚類。它使具有共同特征的變量聚在一起，以便從不同類中分別選出具有代表性的變量作分析，從而減少分析變量的個數。第十二頁，共132頁。本節講述Q型聚類的原理和SPSS的實現過程，下一節將講述R型聚類的實現過程。第十三頁，共132頁。定義：層次聚類分析中的Q型聚類，它使具有共同特點的樣本聚齊在一起，以便對不同類的樣本進行分析。8.2.1統計學上的定義和計算公式第十四頁，共132頁。層次聚類分析中，測量樣本之間的親疏程度是關鍵。聚類的時候會涉及到兩種類型親疏程度的計算：一種是樣本數據之間的親疏程度，一種是樣本數據與小類、小類與小類之間的親疏程度。下面講述這兩種類型親疏程度的計算方法和公式。第十五頁，共132頁。計算公式如下。樣本數據之間的親疏程度主要通過樣本之間的距離、樣本間的相關系數來度量。SPSS根據變量數據類型的不同，采用不同的測定親疏程度的方法。第十六頁，共132頁。樣本若有k個變量，則可以將樣本看成是一個k維的空間的一個點，樣本和樣本之間的距離就是k維空間點和點之間的距離，這反映了樣本之間的親疏程度。聚類時，距離相近的樣本屬于一個類，距離遠的樣本屬于不同類。1．連續變量的樣本距離測量方法第十七頁，共132頁。（1）歐氏距離（EuclideanDistance）兩個樣本之間的歐氏距離是樣本各個變量值之差的平方和的平方根，計算公式為第十八頁，共132頁。（2）歐氏距離平方（SquaredEuclideanDistance）兩個樣本之間的歐氏距離平方是各樣本每個變量值之差的平方和，計算公式為第十九頁，共132頁。（3）Chebychev距離兩個樣本之間的Chebychev距離是各樣本所有變量值之差絕對值中的最大值，計算公式為第二十頁，共132頁。（4）Block距離兩個樣本之間的Block距離是各樣本所有變量值之差絕對值的總和，計算公式為第二十一頁，共132頁。（5）Minkowski距離兩個樣本之間的Minkowski距離是各樣本所有變量值之差絕對值的p次方的總和，再求p次方根。計算公式為第二十二頁，共132頁。（6）Customized距離（用戶自定義距離）兩個樣本之間的Customized距離是各樣本所有變量值之差絕對值的p次方的總和，再求q次方根。計算公式為第二十三頁，共132頁。連續變量親疏程度的度量，除了上面的各種距離外，還可以計算其他統計指標。如Pearson相關系數、Sosine相似度等。2．連續變量的樣本親疏程度的其他測量方法第二十四頁，共132頁。第二十五頁，共132頁。3．順序或名義變量的樣本親疏程度測量方法對于此類變量，可以計算一些有關相似性的統計指標來測定樣本間的親疏程度。也可以通過下面兩個計算公式來得到。第二十六頁，共132頁。第二十七頁，共132頁。第二十八頁，共132頁。4．樣本數據與小類、小類與小類之間的親疏程度測量方法SPSS默認的變量為Var00001、Var00002等，用戶也可以根據自己的需要來命名變量。SPSS變量的命名和一般的編程語言一樣，有一定的命名規則，具體內容如下。第二十九頁，共132頁。所謂小類，是在聚類過程中根據樣本之間親疏程度形成的中間類，小類和樣本、小類與小類繼續聚合，最終將所有樣本都包括在一個大類中。在SPSS聚類運算過程中，需要計算樣本與小類、小類與小類之間的親疏程度。SPSS提供了多種計算方法（計算規則）。第三十頁，共132頁。（1）最短距離法（NearestNeighbor）以當前某個樣本與已經形成小類中的各樣本距離的最小值作為當前樣本與該小類之間的距離。第三十一頁，共132頁。（2）最長距離法（FurthestNeighbor）以當前某個樣本與已經形成小類中的各樣本距離的最大值作為當前樣本與該小類之間的距離。第三十二頁，共132頁。（3）類間平均鏈鎖法（Between-groupsLinkage）兩個小類之間的距離為兩個小類內所有樣本間的平均距離。第三十三頁，共132頁。（4）類內平均鏈鎖法（Within-groupsLinkage）與小類間平均鏈鎖法類似，這里的平均距離是對所有樣本對的距離求平均值，包括小類之間的樣本對、小類內的樣本對。第三十四頁，共132頁。（5）重心法（CentroidClustering）將兩小類間的距離定義成兩小類重心間的距離。每一小類的重心就是該類中所有樣本在各個變量上的均值代表點。第三十五頁，共132頁。（6）離差平方和法（Ward’sMethod）小類合并的方法：在聚類過程中，使小類內各個樣本的歐氏距離總平方和增加最小的兩小類合并成一類。第三十六頁，共132頁。

研究問題對一個班同學的數學水平進行聚類。聚類的依據是第一次數學考試的成績和入學考試的成績。數據如表8-1所示。8.2.2SPSS中實現過程第三十七頁，共132頁。表8-1 學生的數學成績姓名數學入學成績hxh99.0098.00yaju88.0089.00yu79.0080.00shizg89.0078.00hah75.0078.00john60.0065.00watet79.0087.00jess75.0076.00wish60.0056.00Iiakii100.00100.00第三十八頁，共132頁。

實現步驟圖8-1在菜單中選擇“HierarchicalCluster”命令第三十九頁，共132頁。圖8-2“HierarchicalClusterAnalysis”對話框（一）第四十頁，共132頁。圖8-3“HierarchicalClusterAnalysis：Method”對話框（一）第四十一頁，共132頁。圖8-4“HierarchicalClusterAnalysis：Plots”對話框（一）第四十二頁，共132頁。圖8-5“HierarchicalClusterAnalysis：Statistics”對話框（一）第四十三頁，共132頁。圖8-6“HierarchicalClusterAnalysis：SaveNewVar”對話框第四十四頁，共132頁。由于本例中選中的選項較多，這里按照各個結果分別解釋。（1）首先是層次聚類分析的概要結果，該結果是SPSS輸出結果文件中的第一個表格，如下表所示。8.2.3結果和討論第四十五頁，共132頁。（2）輸出的結果文件中第二個表格如下表所示。第四十六頁，共132頁。（3）輸出的結果文件中第三個表格為層次聚類分析的凝聚狀態表，包括：第四十七頁，共132頁。（4）輸出的結果文件中第四個表格如下表所示。第四十八頁，共132頁。（5）輸出的結果文件中第五個表格如下表所示。第四十九頁，共132頁。（6）輸出的結果文件中第六部分如圖8-7所示。第五十頁，共132頁。（7）由于對圖8-6“HierarchicalClusterAnalysis:SaveNewVar”對話框進行了設置，將聚類成三類時，各個樣本的類歸屬情況保存為一個變量，因此在SPSS數據編輯窗口中就新增了一個變量的值，如圖8-8所示。第五十一頁，共132頁。圖8-8層次聚類分析結果保存第五十二頁，共132頁。8.3層次聚類分析中的R型聚類8.3.1統計學上的定義和計算公式定義：層次聚類分析中的R型聚類是對研究對象的觀察變量進行分類，它使具有共同特征的變量聚在一起。以便可以從不同類中分別選出具有代表性的變量作分析，從而減少分析變量的個數。第五十三頁，共132頁。計算公式：R型聚類的計算公式和Q型聚類的計算公式是類似的，不同的是R型聚類是對變量間進行距離的計算，Q型聚類則是對樣本間進行距離的計算。第五十四頁，共132頁。

研究問題對一個班同學的各科成績進行聚類，分析哪些課程是屬于一個類的。聚類的依據是4門功課的考試成績，數據如表8-2所示。8.3.2SPSS中實現過程第五十五頁，共132頁。表8-2 學生的四門課程的成績姓名數學物理語文政治hxh99.0098.0078.0080.00yaju88.0089.0089.0090.00yu79.0080.0095.0097.00shizg89.0078.0081.0082.00hah75.0078.0095.0096.00john60.0065.0085.0088.00watet79.0087.0050.0051.00jess75.0076.0088.0089.00wish60.0056.0089.0090.00Iiakii100.00100.0085.0084.00第五十六頁，共132頁。

實現步驟圖8-9在菜單中選擇“HierarchicalCluster”命令第五十七頁，共132頁。圖8-10“HierarchicalClusterAnalysis”對話框（二）第五十八頁，共132頁。圖8-11“HierarchicalClusterAnalysis：Method”對話框（二）第五十九頁，共132頁。圖8-12“HierarchicalClusterAnalysis：Plots”對話框（二）第六十頁，共132頁。圖8-13“HierarchicalClusterAnalysis：Statistics”對話框（二）第六十一頁，共132頁。（1）首先是層次R型聚類分析的結果，該結果是SPSS輸出結果文件中的第一個表格。8.3.3結果和討論第六十二頁，共132頁。（2）輸出的結果文件中第二個表格如下表所示。第六十三頁，共132頁。（3）輸出的結果文件中第三個表格如下表所示。第六十四頁，共132頁。（4）輸出的結果文件中第四個表格如下表所示。第六十五頁，共132頁。（5）輸出的結果文件中第五個表格如下表所示。第六十六頁，共132頁。（6）輸出的結果文件中第六部分如下：第六十七頁，共132頁。8.4快速聚類分析SPSS層次聚類分析對計算機的要求比較高，在大樣本的情況下，可以采用快速聚類分析的方法。采用快速聚類分析，得到的結果比較簡單易懂，對計算機的性能要求也不高，因此應用也比較廣。第六十八頁，共132頁。定義：快速聚類分析是由用戶指定類別數的大樣本資料的逐步聚類分析。它先對數據進行初始分類，然后逐步調整，得到最終分類。快速聚類分析的實質是K-Mean聚類。8.4.1統計學上的定義和計算公式第六十九頁，共132頁。和層次聚類分析一致，快速聚類分析也以距離為樣本間親疏程度的標志。但兩者的不同在于：層次聚類可以對不同的聚類類數產生一系列的聚類解，而快速聚類只能產生固定類數的聚類解，類數需要用戶事先指定。第七十頁，共132頁。另外，在快速聚類分析中，用戶可以自己指定初始的類中心點。如果用戶的經驗比較豐富，則可以指定比較合理的初始類中心點，否則，需要增加迭代的次數，以保證最終聚類結果的準確性。第七十一頁，共132頁。計算公式如下。快速聚類分析計算過程如下。

首先需要用戶指定聚類成多少類（比如k類）。

然后SPSS確定k個類的初始類中心點。SPSS會根據樣本數據的實際情況，選擇k個由代表性的樣本數據作為初始類中心。初始類中心也可以由用戶自行指定，需要指定K組樣本數據作為初始類中心點。第七十二頁，共132頁。

計算所有樣本數據點到k個類中心點的歐氏距離，SPSS按照距k個類中心點距離最短原則，把所有樣本分派到各中心點所在的類中，形成一個新的k類，完成一次迭代過程。其中歐氏距離（EuclideanDistance）的計算公式為第七十三頁，共132頁。第七十四頁，共132頁。

SPSS重新確定k個類的中心點。SPSS計算每個類中各個變量的變量值均值，并以均值點作為新的類中心點。

重復上面的兩步計算過程，直到達到指定的迭代次數或終止迭代的判斷要求為止。第七十五頁，共132頁。

研究問題為研究不同公司的運營特點，調查了15個公司的組織文化、組織氛圍、領導角色和員工發展4方面的內容。現要將這15個公司按照其各自的特點分成4種類型，數據如表8-3所示。8.4.2SPSS中實現過程第七十六頁，共132頁。表8-3 不同公司的特點公司組織文化組織氛圍領導角色員工發展Microsof80.0085.0075.0090.00IBM85.0085.0090.0090.00Dell85.0085.0085.0060.00Apple90.0090.0075.0090.00聯想99.0098.0078.0080.00NPP88.0089.0089.0090.00北京電子79.0080.0095.0097.00清華紫光89.0078.0081.0082.00北大方正75.0078.0095.0096.00TCL60.0065.0085.0088.00娃哈哈79.0087.0050.0051.00Angel75.0076.0088.0089.00Hussar60.0056.0089.0090.00世紀飛揚100.00100.0085.0084.00Vinda61.0064.0089.0060.00第七十七頁，共132頁。

實現步驟圖8-15在菜單中選擇“K-MeansCluster”命令第七十八頁，共132頁。圖8-16“K-MeansClusterAnalysis”對話框第七十九頁，共132頁。圖8-17“K-MeansClusterAnalysis：Options”對話框第八十頁，共132頁。圖8-18“K-MeansClusterAnalysis：Iterate”對話框第八十一頁，共132頁。圖8-19“K-MeansCluster:SaveNewVariable”對話框第八十二頁，共132頁。圖8-20指定初始類中心點第八十三頁，共132頁。本例中選中的選項較多，這里按照各個結果分別解釋。（1）SPSS輸出結果文件中的第一部分如下表所示。8.4.3結果和討論第八十四頁，共132頁。（2）輸出的結果文件中第二部分如下表所示。第八十五頁，共132頁。（3）輸出的結果文件中第三部分是快速聚類分析后的各個類包含樣本的情況。第八十六頁，共132頁。（4）輸出的結果文件中第四部分如下表所示。第八十七頁，共132頁。（5）輸出的結果文件中第五個部分如下表所示。第八十八頁，共132頁。（6）輸出的結果文件中第六個部分如下表所示。第八十九頁，共132頁。（7）輸出結果的最后一個表格列出了4個類中分別包括的樣本數，如下表所示。第九十頁，共132頁。（8）在步驟5中曾指定了將樣本所屬類以及樣本和類中心點的距離，作為樣本的2個新變量保存到SPSS的數據編輯窗口中。SPSS運行后，數據編輯窗口如圖8-21所示，其中我們可以看到新增加了兩個變量（圖中加深的兩列），分別表示樣本所屬類以及樣本和類中心點的距離。第九十一頁，共132頁。第九十二頁，共132頁。8.5判別分析前面3節講述了不同種聚類分析的方法，不論是哪種方法，聚類分析都是直接比較各事物之間的性質，將性質相近的歸為一類，將性質差別較大的歸入不同的類。第九十三頁，共132頁。本節講述的判別分析，也是一種比較常用的分類分析方法。判別分析先根據已知類別的事物的性質，利用某種技術建立函數式，然后對未知類別的新事物進行判斷以將之歸入已知的類別中。第九十四頁，共132頁。有學者在研究中提出，可以利用判別分析來對聚類分析結果的準確性進行檢驗。聚類分析分成幾類后，即可以作為判別分析的類別輸入，進行判斷。第九十五頁，共132頁。定義：判別分析先根據已知類別的事物的性質（自變量），建立函數式（自變量的線性組合，即判別函數），然后對未知類別的新事物進行判斷以將之歸入已知的類別中。8.5.1統計學上的定義和計算公式第九十六頁，共132頁。判別分析有如下的假定：

預測變量服從正態分布。

預測變量之間沒有顯著的相關。

預測變量的平均值和方差不相關。

預測變量應是連續變量，因變量（類別或組別）是間斷變量。

兩個預測變量之間的相關性在不同類中是一樣的。第九十七頁，共132頁。在分析的各個階段應把握如下的原則：

事前組別（類）的分類標準（作為判別分析的因變量）要盡可能準確和可靠，否則會影響判別函數的準確性，從而影響判別分析的效果。

所分析的自變量應是因變量的重要影響因素，應該挑選既有重要特性又有區別能力的變量，達到以最少變量而有高辨別能力的目標。

初始分析的數目不能太少。第九十八頁，共132頁。第九十九頁，共132頁。第一百頁，共132頁。第一百零一頁，共132頁。這些判別函數是各個獨立預測變量的線性組合。程序自動選擇第一個判別函數，以盡可能多地區別各個類，然后再選擇和第一個判別函數獨立的第二個判別函數，盡可能多地提供判別能力。程序將按照這種方式，提供剩下的判別函數。判別函數的個數為k。第一百零二頁，共132頁。圖8-22判別分析的示意圖第一百零三頁，共132頁。

研究問題調查了15個公司的組織文化、領導角色和員工發展3個方面內容作為預測變量，因變量為公司對員工的吸引力。為符合研究問題，將公司對員工的吸引力根據被測的實際填答情形，劃分為高吸引力組（group=1）、中吸引力組（group=2）和低吸引力組（group=3）。數據如表8-4所示。8.5.2SPSS中實現過程第一百零四頁，共132頁。表8-4 不同類的不同公司特點公司組織文化領導角色員工發展GroupMicrosoft80.0075.0090.001IBM85.0090.0090.001Dell85.0085.0060.001Apple90.0075.0090.001聯想99.0078.0080.001NPP88.0089.0090.002北京電子79.0095.0097.003清華紫光89.0081.0082.001北大方正75.0095.0096.001TCLE60.0085.0088.003世紀成79.0050.0051.002Angel75.0088.0089.001Hussar160.0089.0090.003世紀飛揚100.0085.0084.003Vinda61.0089.0060.003第一百零五頁，共132頁。

實現步驟圖8-23在菜單中選擇“Discriminant”命令第一百零六頁，共132頁。圖8-24“DiscriminantAnalysis”對話框第一百零七頁，共132頁。圖8-25“DiscriminantAnalysis：Define”對話框第一百零八頁，共132頁。圖8-26“DiscriminantAnalysis：StepwiseMethod”對話框第一百零九頁，共132頁。圖8-27“DiscriminantAnalysis：Statistics”對話框第一百一十頁，共132頁。圖8-28“DiscriminantAnalysis：Classification”對