聚類(lèi)分析簡(jiǎn)單例子.ppt

《聚類(lèi)分析簡(jiǎn)單例子.ppt》由會(huì)員分享，可在線(xiàn)閱讀，更多相關(guān)《聚類(lèi)分析簡(jiǎn)單例子.ppt（38頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

一、系統(tǒng)聚類(lèi)的基本思想,系統(tǒng)聚類(lèi)的基本思想是：距離相近的樣品（或變量）先聚成類(lèi)，距離相遠(yuǎn)的后聚成類(lèi)，過(guò)程一直進(jìn)行下去，每個(gè)樣品（或變量）總能聚到合適的類(lèi)中。系統(tǒng)聚類(lèi)過(guò)程是：假設(shè)總共有n個(gè)樣品（或變量），第一步將每個(gè)樣品（或變量）獨(dú)自聚成一類(lèi)，共有n類(lèi)；第二步根據(jù)所確定的樣品（或變量）“距離”公式，把距離較近的兩個(gè)樣品（或變量）聚合為一類(lèi)，其它的樣品（或變量）仍各自聚為一類(lèi)，共聚成n?1類(lèi)；第三步將“距離”最近的兩個(gè)類(lèi)進(jìn)一步聚成一類(lèi)，共聚成n?2類(lèi)；……，以上步驟一直進(jìn)行下去，最后將所有的樣品（或變量）全聚成一類(lèi)。為了直觀地反映以上的系統(tǒng)聚類(lèi)過(guò)程，可以把整個(gè)分類(lèi)系統(tǒng)畫(huà)成一張譜系圖。所以有時(shí)系統(tǒng)聚類(lèi)也稱(chēng)為譜系分析。除系統(tǒng)聚類(lèi)法外，還有有序聚類(lèi)法、動(dòng)態(tài)聚類(lèi)法、圖論聚類(lèi)法、模糊聚類(lèi)法等，限于篇幅，我們只介紹系統(tǒng)聚類(lèi)方法。,二、類(lèi)間距離與系統(tǒng)聚類(lèi)法,在進(jìn)行系統(tǒng)聚類(lèi)之前，我們首先要定義類(lèi)與類(lèi)之間的距離，由類(lèi)間距離定義的不同產(chǎn)生了不同的系統(tǒng)聚類(lèi)法。常用的類(lèi)間距離定義有8種之多，與之相應(yīng)的系統(tǒng)聚類(lèi)法也有8種，分別為最短距離法、最長(zhǎng)距離法、中間距離法、重心法、類(lèi)平均法、可變類(lèi)平均法、可變法和離差平方和法。它們的歸類(lèi)步驟基本上是一致的，主要差異是類(lèi)間距離的計(jì)算方法不同。以下用dij表示樣品Xi與Xj之間距離，用Dij表示類(lèi)Gi與Gj之間的距離。,1.最短距離法定義類(lèi)Gi與Gj之間的距離為兩類(lèi)最近樣品的距離，即為(5.11)設(shè)Gk類(lèi)與合并成一個(gè)新類(lèi)記為Gr，則任一類(lèi)與的距離為(5.12),最短距離法進(jìn)行聚類(lèi)分析的步驟如下：（1）定義樣品之間距離，計(jì)算樣品的兩兩距離，得一距離陣記為D（0），開(kāi)始每個(gè)樣品自成一類(lèi)，顯然這時(shí)Dij=dij。（2）找出距離最小元素，設(shè)為Dpq，則將Gp和Gq合并成一個(gè)新類(lèi)，記為Gr，即Gr=｛Gp，Gq｝。（3）按（5.12）計(jì)算新類(lèi)與其它類(lèi)的距離。（4）重復(fù)（2）、（3）兩步，直到所有元素。并成一類(lèi)為止。如果某一步距離最小的元素不止一個(gè)，則對(duì)應(yīng)這些最小元素的類(lèi)可以同時(shí)合并。,【例5.1】設(shè)有六個(gè)樣品，每個(gè)只測(cè)量一個(gè)指標(biāo)，分別是1，2，5，7，9，10，試用最短距離法將它們分類(lèi)。（1）樣品采用絕對(duì)值距離，計(jì)算樣品間的距離陣D（0），見(jiàn)表5.1,表5.1,（2）D（0）中最小的元素是D12＝D56＝1，于是將G1和G2合并成G7，G5和G6合并成G8，并利用（5.12）式計(jì)算新類(lèi)與其它類(lèi)的距離D（1），見(jiàn)表5.2,表5.2,（3）在D（1）中最小值是D34＝D48＝2，由于G4與G3合并，又與G8合并，因此G3、G4、G8合并成一個(gè)新類(lèi)G9，其與其它類(lèi)的距離D（2），見(jiàn)表5.3,表5.3,（4）最后將G7和G9合并成G10，這時(shí)所有的六個(gè)樣品聚為一類(lèi)，其過(guò)程終止。上述聚類(lèi)的可視化過(guò)程見(jiàn)圖5.1所示，橫坐標(biāo)的刻度表示并類(lèi)的距離。這里我們應(yīng)該注意，聚類(lèi)的個(gè)數(shù)要以實(shí)際情況所定，其詳細(xì)內(nèi)容將在后面討論。,圖5.1最短距離聚類(lèi)法的過(guò)程,再找距離最小兩類(lèi)并類(lèi)，直至所有的樣品全歸為一類(lèi)為止。可以看出最長(zhǎng)距離法與最短距離法只有兩點(diǎn)不同：一是類(lèi)與類(lèi)之間的距離定義不同；另一是計(jì)算新類(lèi)與其它類(lèi)的距離所用的公式不同。,3.中間距離法最短、最長(zhǎng)距離定義表示都是極端情況，我們定義類(lèi)間距離可以既不采用兩類(lèi)之間最近的距離也不采用兩類(lèi)之間最遠(yuǎn)的距離，而是采用介于兩者之間的距離，稱(chēng)為中間距離法。中間距離將類(lèi)Gp與Gq類(lèi)合并為類(lèi)Gr，則任意的類(lèi)Gk和Gr的距離公式為(?1／4???0)(5.15)設(shè)Dkr＞Dkp，如果采用最短距離法，則Dkr=Dkp，如果采用最長(zhǎng)距離法，則Dkr=Dkq。如圖5.2所示，(5.15)式就是取它們（最長(zhǎng)距離與最短距離）的中間一點(diǎn)作為計(jì)算Dkr的根據(jù)。,特別當(dāng)?=?1／4，它表示取中間點(diǎn)算距離，公式為(5.16),,,圖5.2中間距離法,,,【例5.2】針對(duì)例5.1的數(shù)據(jù)，試用重心法將它們聚類(lèi)。（1）樣品采用歐氏距離，計(jì)算樣品間的平方距離陣D2（0），見(jiàn)表5.4所示。,表5.4,（2）D2（0）中最小的元素是D212＝D256＝1，于是將G1和G2合并成G7，G5和G6合并成G8，并利用（5.18）式計(jì)算新類(lèi)與其它類(lèi)的距離得到距離陣D2（1），見(jiàn)表5.5：其中，其它結(jié)果類(lèi)似可以求得,（3）在D2（1）中最小值是D234＝4，那么G3與G4合并一個(gè)新類(lèi)G9，其與與其它類(lèi)的距離D2（2），見(jiàn)表5.6：,表5.6,（4）在中最小值是＝12.5，那么與合并一個(gè)新類(lèi)，其與與其它類(lèi)的距離，見(jiàn)表5.7：,表5.7,（5）最后將G7和G10合并成G11，這時(shí)所有的六個(gè)樣品聚為一類(lèi)，其過(guò)程終止。上述重心法聚類(lèi)的可視化過(guò)程見(jiàn)圖5.3所示，橫坐標(biāo)的刻度表示并類(lèi)的距離。,圖5.3重心聚類(lèi)法的過(guò)程,6.可變類(lèi)平均法由于類(lèi)平均法中沒(méi)有反映出Gp和Gq之間的距離Dpq的影響，因此將類(lèi)平均法進(jìn)一步推廣，如果將Gp和Gq合并為新類(lèi)Gr，類(lèi)Gk與新并類(lèi)Gr的距離公式為：（5.22）其中?是可變的且?<1，稱(chēng)這種系統(tǒng)聚類(lèi)法為可變類(lèi)平均法。,8.離差平方和法該方法是Ward提出來(lái)的，所以又稱(chēng)為Ward法。該方法的基本思想來(lái)自于方差分析，如果分類(lèi)正確，同類(lèi)樣品的離差平方和應(yīng)當(dāng)較小，類(lèi)與類(lèi)的離差平方和較大。具體做法是先將n個(gè)樣品各自成一類(lèi)，然后每次縮小一類(lèi)，每縮小一類(lèi)，離差平方和就要增大，選擇使方差增加最小的兩類(lèi)合并，直到所有的樣品歸為一類(lèi)為止。設(shè)將n個(gè)樣品分成k類(lèi)G1，G2，…，Gk，用Xit表示Gt中的第I個(gè)樣品，nt表示Gt中樣品的個(gè)數(shù)，是Gt的重心，則Gt的樣品離差平方和為,,,這種系統(tǒng)聚類(lèi)法稱(chēng)為離差平方和法或Ward方法。下面論證離差平方和法的距離遞推（5.26）式。,由于,,三、類(lèi)間距離的統(tǒng)一性,上述八種系統(tǒng)聚類(lèi)法的步驟完全一樣，只是距離的遞推公式不同。蘭斯（Lance）和威廉姆斯（Williams）于1967年給出了一個(gè)統(tǒng)一的公式。(5.28)其中ap、aq、?、?是參數(shù)，不同的系統(tǒng)聚類(lèi)法，它們?nèi)〔煌臄?shù)，詳見(jiàn)表5.8。這里應(yīng)該注意，不同的聚類(lèi)方法結(jié)果不一定完全相同，一般只是大致相似。如果有很大的差異，則應(yīng)該仔細(xì)考查，找到問(wèn)題所在；另外，可將聚類(lèi)結(jié)果與實(shí)際問(wèn)題對(duì)照，看哪一個(gè)結(jié)果更符合經(jīng)驗(yàn)。,表5.8系統(tǒng)聚類(lèi)法參數(shù)表,【例5.3】假定我們對(duì)A、B、C、D四個(gè)樣品分別測(cè)量?jī)蓚€(gè)變量和得到結(jié)果見(jiàn)表5.9。試將以上的樣品聚成兩類(lèi)。,表5.9樣品測(cè)量結(jié)果,動(dòng)態(tài)聚類(lèi)法,第一步：按要求取K=2，為了實(shí)施均值法聚類(lèi)，我們將這些樣品隨意分成兩類(lèi)，比如（A、B）和（C、D），然后計(jì)算這兩個(gè)聚類(lèi)的中心坐標(biāo)，見(jiàn)表5.10所示。表5.10中的中心坐標(biāo)是通過(guò)原始數(shù)據(jù)計(jì)算得來(lái)的，比如（A、B）類(lèi)的，等等。,表5.10中心坐標(biāo),第二步：計(jì)算某個(gè)樣品到各類(lèi)中心的歐氏平方距離，然后將該樣品分配給最近的一類(lèi)。對(duì)于樣品有變動(dòng)的類(lèi)，重新計(jì)算它們的中心坐標(biāo)，為下一步聚類(lèi)做準(zhǔn)備。先計(jì)算A到兩個(gè)類(lèi)的平方距離：由于A到（A、B）的距離小于到（C、D）的距離，因此A不用重新分配。計(jì)算B到兩類(lèi)的平方距離：,由于B到（A、B）的距離大于到（C、D）的距離，因此B要分配給（C、D）類(lèi)，得到新的聚類(lèi)是（A）和（B、C、D）。更新中心坐標(biāo)如表5.11所示。,表5.11更新后的中心坐標(biāo),第三步：再次檢查每個(gè)樣品，以決定是否需要重新分類(lèi)。計(jì)算各樣品到各中心的距離平方，得結(jié)果見(jiàn)表5.12。到現(xiàn)在為止，每個(gè)樣品都已經(jīng)分配給距離中心最近的類(lèi)，因此聚類(lèi)過(guò)程到此結(jié)束。最終得到K=2的聚類(lèi)結(jié)果是A獨(dú)自成一類(lèi)，B、C、D聚成一類(lèi)。,表5.12樣品聚類(lèi)結(jié)果,