數(shù)學(xué)建模-聚類分析.ppt

《數(shù)學(xué)建模-聚類分析.ppt》由會員分享，可在線閱讀，更多相關(guān)《數(shù)學(xué)建模-聚類分析.ppt（45頁珍藏版）》請?jiān)谘b配圖網(wǎng)上搜索。

第二節(jié)聚類分析,,,聚類分析（ClusterAnalysis）是研究“物以類聚”的一種多元統(tǒng)計(jì)方法。國內(nèi)有人稱它為群分析、點(diǎn)群分析、簇群分析等。,一、聚類分析的基本概念,研究對樣品或指標(biāo)進(jìn)行分類的一種多元統(tǒng)計(jì)方法,是依據(jù)研究對象的個體的特征進(jìn)行分類的方法。聚類分析把分類對象按一定規(guī)則分成若干類，這些類非事先給定的，而是根據(jù)數(shù)據(jù)特征確定的。在同一類中這些對象在某種意義上趨向于彼此相似，而在不同類中趨向于不相似。職能是建立一種能按照樣品或變量的相似程度進(jìn)行分類的方法。,聚類分析的基本思想是認(rèn)為我們所研究的樣本或指標(biāo)（變量）之間存在著程度不同的相似性（親疏關(guān)系）。于是根據(jù)一批樣本的多個觀測指標(biāo)，具體找出一些彼此之間相似程度較大的樣本（或指標(biāo)）聚合為一類，把另外一些彼此之間相似程度較大的樣本（或指標(biāo)）又聚合為另一類，關(guān)系密切的聚合到一個小的分類單位，關(guān)系疏遠(yuǎn)的聚合到一個大的分類單位，直到把所有樣本（或指標(biāo)）都聚合完畢，把不同的類型一一劃分出來，形成一個由小到大的分類系統(tǒng)。最后把整個分類系統(tǒng)畫成一張譜系圖，用它把所有樣本（或指標(biāo)）間的親疏關(guān)系表示出來。這種方法是最常用的、最基本的一種，稱為系統(tǒng)聚類分析。,,,,除此以外，還有動態(tài)聚類法、圖論聚類法、模糊聚類法、有序聚類法等。聚類分析有兩種：一種是對樣本的分類，稱為Q型，另一種是對變量（指標(biāo)）的分類，稱為R型。,R型聚類分析的主要作用：⒈不但可以了解個別變量之間的親疏程度，而且可以了解各個變量組合之間的親疏程度。⒉根據(jù)變量的分類結(jié)果以及它們之間的關(guān)系，可以選擇主要變量進(jìn)行Q型聚類分析或回歸分析。（R2為選擇標(biāo)準(zhǔn)）Q型聚類分析的主要作用：⒈可以綜合利用多個變量的信息對樣本進(jìn)行分析。⒉分類結(jié)果直觀，聚類譜系圖清楚地表現(xiàn)數(shù)值分類結(jié)果。⒊聚類分析所得到的結(jié)果比傳統(tǒng)分類方法更細(xì)致、全面、合理。在課堂上主要討論Q型聚類分析,Q型聚類常用的統(tǒng)計(jì)量是距離.,那么Q型系統(tǒng)聚類法則可以表述為：把樣本看成n維空間的點(diǎn)，而把變量看成n維空間的坐標(biāo)軸，m個樣本開始時自成一類，然后規(guī)定各類之間的距離，將距離最小的一對并成一類，然后再計(jì)算距離，直到所有單位全部合并為止。,二、距離和相似系數(shù),在進(jìn)行聚類分析時，樣本間的相似系數(shù)和距離有多種不同的定義，通常按特性來劃分。變量特征的測度尺度有三種類型：?間隔尺度（由連續(xù)的實(shí)值變量表示）?有序尺度（沒有明確的數(shù)量表示，只有次序關(guān)系，如產(chǎn)品等級）?名義尺度（具有某種特性，如性別）,,從一組復(fù)雜數(shù)據(jù)產(chǎn)生一個相當(dāng)簡單的類結(jié)構(gòu)，必然要求進(jìn)行“相關(guān)性”或“相似性”的度量。在相似性度量的選擇中，常常包含許多主觀上的考慮，但最重要的考慮是指標(biāo)的性質(zhì)或觀測的尺度（名義、次序、間隔）以及相關(guān)知識。課堂上主要討論的指標(biāo)測量為間隔尺度的情況。,⒈距離,每個樣本有p個指標(biāo)，因此每個樣本可以看成p維空間中的一個點(diǎn)，n個樣本就組成p維空間中的n個點(diǎn)，這時很自然想到用距離來度量n個樣本間的接近程度。用表示第i個樣本與第j個樣本之間的距離。一切距離應(yīng)滿足以下條件：,常見的距離有：,blockdistance絕對值距離：euclideandistance歐式距離squaredeuclideandistance平方歐式距離chebychevdistance切比雪夫距離minkowskidistance明考斯基距離（明氏距離）當(dāng)q=1,2時，為絕對值、歐式距離；若趨近無窮時，則為切比雪夫距離,明氏距離在實(shí)際的運(yùn)用很多，但有一些缺點(diǎn)。例如觀測值的單位問題；指標(biāo)間的相關(guān)問題，因此改進(jìn)得到以下兩種距離：,Lanberra蘭氏距離Mahalanobis馬氏距離以上都是樣本間距離的定義。,⒉相似系數(shù),夾角余弦相關(guān)系數(shù)變量間的距離利用相似系數(shù)來定義距離利用樣本協(xié)差陣來定義距離把變量Xi的n次觀測值看成p維空間的點(diǎn),在p維空間中定義m個變量間的距離。,①夾角余弦兩變量的夾角余弦定義為：,②相關(guān)系數(shù)兩變量的相關(guān)系數(shù)定義為：,三、系統(tǒng)聚類法基本步驟,1.選擇樣本間距離的定義及類間距離的定義；2.計(jì)算n個樣本兩兩之間的距離，得到距離矩陣3.構(gòu)造個類，每類只含有一個樣本；4.合并符合類間距離定義要求的兩類為一個新類；5.計(jì)算新類與當(dāng)前各類的距離。若類的個數(shù)為1，則轉(zhuǎn)到步驟6，否則回到步驟4;6.畫出聚類圖；7.決定類的個數(shù)和類。,系統(tǒng)聚類分析的方法,系統(tǒng)聚類法的聚類原則決定于樣品間的距離以及類間距離的定義，類間距離的不同定義就產(chǎn)生了不同的系統(tǒng)聚類分析方法。以下用dij表示樣品X(i)和X(j)之間的距離，當(dāng)樣品間的親疏關(guān)系采用相似系數(shù)Cij時，令；以下用D(p,q)表示類Gp和Gq之間的距離。,1.最短距離法(SINglemethod),2.最長距離法(COMpletemethod),,,,,,,,,,,最長距離,最短距離,A,B,C,D,E,F,例,為了研究遼寧等5省1991年城鎮(zhèn)居民生活消費(fèi)情況的分布規(guī)律，根據(jù)調(diào)查資料做類型分類，用最短距離做類間分類。數(shù)據(jù)如下：,將每一個省區(qū)視為一個樣本，先計(jì)算5個省區(qū)之間的歐式距離，用D0表示距離矩陣（對稱陣，故給出下三角陣）因此將3.4合并為一類，為類6，替代了3、4兩類類6與剩余的1、2、5之間的距離分別為：d(3,4)1=min(d31,d41)=min(13.80,13.12)=13.12d(3,4)2=min(d32,d42)=min(24.63,24.06)=24.06d(3,4)5=min(d35,d45)=min(3.51,2.21)=2.21,,得到新矩陣合并類6和類5，得到新類7類7與剩余的1、2之間的距離分別為：d(5,6)1=min(d51,d61)=min(12.80,13.12)=12.80d(5,6)2=min(d52,d62)=min(23.54,24.06)=23.54,,得到新矩陣合并類1和類2，得到新類8此時，我們有兩個不同的類：類7和類8。它們的最近距離d(7,8)=min(d71,d72)=min(12.80,23.54)=12.80,,得到矩陣最后合并為一個大類。這就是按最短距離定義類間距離的系統(tǒng)聚類方法。最長距離法類似！,3.重心法(CENtroidmethod),,4.類平均法(AVEragemethod),,,,,中間距離,,,,,5.離差平方和法(WARD),基本思想來源于方差分析。它認(rèn)為：如果分類正確，同類間的類差平方和應(yīng)較小，類與類之間的離差平方和應(yīng)較大.具體做法是，先將n個樣本分成一類,然后每次縮小一類,每縮小一類離差平方和就要增大.,離差平方和法(WARD),⒍系統(tǒng)聚類方法的統(tǒng)一,⒎系統(tǒng)聚類法參數(shù)表,類的個數(shù)的確定,由適當(dāng)?shù)拈撝荡_定；根據(jù)數(shù)據(jù)點(diǎn)的散布直觀地確定類的個數(shù)；根據(jù)統(tǒng)計(jì)量確定分類個數(shù)；,類的個數(shù)的確定,根據(jù)譜系圖確定分類個數(shù)的準(zhǔn)則：各類重心間的距離必須很大；類中保包含的元素不要太多；類的個數(shù)必須符合實(shí)際應(yīng)用；如果采用幾種不同的聚類方法處理，則在各種聚類圖中應(yīng)該發(fā)現(xiàn)相同的類。,四、系統(tǒng)聚類的參數(shù)選擇㈠聚類類別：㈡統(tǒng)計(jì)㈢圖：樹型譜系圖冰柱譜系圖㈣聚類方法1.Between-groupslinkage類間平均法兩類距離為兩類元素兩兩之間平均平方距離2.Within-groupslinkage類內(nèi)平均法兩類距離為合并后類中可能元素兩兩之間平均平方距離3.Nearestneighbor最短距離法4.Furthestneighbor最長距離法5.Centroidclustering重心法(歐式距離)6.Medianclustering中間距離法(歐式距離)7.WardMethod離差平方法(歐式距離),SPSS界面指南,五、系統(tǒng)聚類法之例：地區(qū)按經(jīng)濟(jì)效益分類某年全國28個省區(qū)經(jīng)濟(jì)效益指標(biāo)表，演示,類間平均法,類內(nèi)平均法,最短距離法,最長距離法,重心法,中間距離法,,離差平方法,