SAS中的聚類分析方法總結(jié).docx

《SAS中的聚類分析方法總結(jié).docx》由會(huì)員分享，可在線閱讀，更多相關(guān)《SAS中的聚類分析方法總結(jié).docx（9頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

SAS中的聚類分析方法總結(jié)（1）——聚類分析概述 說(shuō)起聚類分析，相信很多人并不陌生。這篇原創(chuàng)博客我想簡(jiǎn)單說(shuō)一下我所理解的聚類分析，歡迎各位高手不吝賜教和拍磚。 按照正常的思路，我大概會(huì)說(shuō)如下幾個(gè)問題： 1. 什么是聚類分析？ 2. 聚類分析有什么用？ 3. 聚類分析怎么做？ 下面我將分聚類分析概述、聚類分析算法及sas實(shí)現(xiàn)、案例三部分來(lái)系統(tǒng)的回答這些問題。 聚類分析概述 1. 聚類分析的定義 中國(guó)有句俗語(yǔ)叫“物以類聚，人以群分”——剔除這句話的貶義色彩。說(shuō)白了就是物品根據(jù)物品的特征和功用可以分門別類，人和人會(huì)根據(jù)性格、偏好甚至利益結(jié)成不同的群體。分門別類和結(jié)成群體之后，同類（同群）之間的物品（人）的特征盡可能相似，不同類（同群）之間的物品（人）的特征盡可能不同。這個(gè)過程實(shí)際上就是聚類分析。從這個(gè)過程我們可以知道如下幾點(diǎn)： 1) 聚類分析的對(duì)象是物（人），說(shuō)的理論一點(diǎn)就是樣本 2) 聚類分析是根據(jù)物或者人的特征來(lái)進(jìn)行聚集的，這里的特征說(shuō)的理論一點(diǎn)就是變量。當(dāng)然特征選的不一樣，聚類的結(jié)果也會(huì)不一樣； 3) 聚類分析中評(píng)判相似的標(biāo)準(zhǔn)非常關(guān)鍵。說(shuō)的理論一點(diǎn)也就是相似性的度量非常關(guān)鍵； 4) 聚類分析結(jié)果的好壞沒有統(tǒng)一的評(píng)判標(biāo)準(zhǔn)； 2. 聚類分析到底有什么用？ 1) 說(shuō)的官腔一點(diǎn)就是為了更好的認(rèn)識(shí)事物和事情，比如我們可以把人按照地域劃分為南方人和北方人，你會(huì)發(fā)現(xiàn)這種分法有時(shí)候也蠻有道理。一般來(lái)說(shuō)南方人習(xí)慣吃米飯，北方習(xí)慣吃面食； 2) 說(shuō)的實(shí)用一點(diǎn)，可以有效對(duì)用戶進(jìn)行細(xì)分，提供有針對(duì)性的產(chǎn)品和服務(wù)。比如銀行會(huì)將用戶分成金卡用戶、銀卡用戶和普通卡用戶。這種分法一方面能很好的節(jié)約銀行的資源，另外一方面也能很好針對(duì)不同的用戶實(shí)習(xí)分級(jí)服務(wù)，提高彼此的滿意度。 再比如移動(dòng)會(huì)開發(fā)全球通、神州行和動(dòng)感地帶三個(gè)套餐或者品牌，實(shí)際就是根據(jù)移動(dòng)用戶的行為習(xí)慣做了很好的用戶細(xì)分——聚類分析； 3) 上升到理論層面，聚類分析是用戶細(xì)分里面最為重要的工具，而用戶細(xì)分則是整個(gè)精準(zhǔn)營(yíng)銷里面的基礎(chǔ)。精準(zhǔn)營(yíng)銷是目前普遍接納而且被采用的一種營(yíng)銷手段和方式。 3. 聚類分析的流程是怎樣的？ 比較簡(jiǎn)單的聚類分析往往只根據(jù)一個(gè)維度來(lái)進(jìn)行，比如講用戶按照付費(fèi)情況分成高端用戶、中端用戶和低端用戶。這 個(gè)只需要根據(jù)商業(yè)目的統(tǒng)計(jì)一下相關(guān)數(shù)據(jù)指定一個(gè)高端、中端和低端的分界點(diǎn)標(biāo)準(zhǔn)就可以。 如果是比較復(fù)雜的聚類分析，比如移動(dòng)里面經(jīng)常會(huì)基于用戶的多種行為（通話、短信、gprs流失扥等）來(lái)對(duì)用戶進(jìn)行細(xì)分，這個(gè)就是比較復(fù)雜的用戶細(xì)分。如果是這樣的細(xì)分通常會(huì)作為一個(gè)比較標(biāo)準(zhǔn)的數(shù)據(jù)挖掘項(xiàng)目來(lái)執(zhí)行，所以基本上會(huì)按照數(shù)據(jù)挖掘的流程來(lái)執(zhí)行。具體分如下幾步： 1) 業(yè)務(wù)理解 主要是了解業(yè)務(wù)目標(biāo)和數(shù)據(jù)挖掘的目標(biāo)及執(zhí)行計(jì)劃 2) 數(shù)據(jù)理解 主要是弄清楚可已取哪些變量數(shù)據(jù)，具體怎么定義 3) 數(shù)據(jù)整理 根據(jù)之前的定義提取需要的數(shù)據(jù)，并進(jìn)行檢測(cè)異常數(shù)據(jù)，并對(duì)變量進(jìn)行挑選及探索，比如最終要用那些變量來(lái)執(zhí)行聚類算法、那些變量是離散變量，需要做特殊處理、 數(shù)據(jù)大概可以聚成幾類、類別形狀有不規(guī)則的情形嗎？ 4) 建立模型 關(guān)鍵是選用什么樣的距離(相似性度量)和算法： l比如是樣本比較小，形狀也比較規(guī)則，可以選用層次聚類 l比如樣本比較大，形狀規(guī)則，各類的樣本量基本相當(dāng)，可以選用k-means算法 l比如形狀規(guī)則，但是各類別之間的樣本點(diǎn)的密度差異很大，可以選用基于密度的算法 5) 模型評(píng)估 主要是評(píng)估聚類分析結(jié)果的好壞。實(shí)際上聚類分析在機(jī)器學(xué)習(xí)里面被稱之為無(wú)監(jiān)督學(xué)習(xí)，是沒有大家公認(rèn)的評(píng)估方法的。所以更多會(huì)從業(yè)務(wù)可解釋性的角度去評(píng)估 聚類分析的好壞； 6) 模型發(fā)布 主要是根據(jù)聚類分析的結(jié)果根據(jù)不同的類的特診去設(shè)計(jì)不同的產(chǎn)品、服務(wù)或者渠道策略，然后去實(shí)施營(yíng)銷 4. 具體在sas里面如何執(zhí)行？ 通過前面的講解我們已經(jīng)知道，聚類分析涉及到如下6步，對(duì)應(yīng)著6步SAS都會(huì)有相應(yīng)的過程來(lái)執(zhí)行。 1) 距離的計(jì)算：proc distance 2) 數(shù)據(jù)標(biāo)準(zhǔn)化：proc stdize 3) 聚類變量的選擇：proc varclus 4) 初始類別數(shù)的選擇：proc mds和proc princomp 5) 不規(guī)則形狀的變換：proc aceclus 6) 算法的選擇：層次聚類-proc cluster 劃分型聚類-proc fastclus（k-means）和 密度型聚類-proc modeclus 7) 類別特征描述：proc means 以上四個(gè)部分就從是什么、為什么、怎么樣三個(gè)角度對(duì)聚類分析做了簡(jiǎn)單的介紹。接下來(lái)的帖子我會(huì)重點(diǎn)介紹SAS中各種聚類算法的差異、應(yīng)用范圍及實(shí)際的案例。 5. 用proc distance做什么？ 我們知道數(shù)據(jù)變量分四類：名義變量、次序變量、interval變量和ritio變量。但sas里面目前的聚類算法都要求變量時(shí)ratio變量。那想要對(duì)離散變量進(jìn)行聚類怎么呢？一種想法自然是講所有的離散變量都轉(zhuǎn)成0-1變量。這會(huì)有如下幾個(gè)問題： 1) 變量的信息可能會(huì)有損失，比如次序型變量轉(zhuǎn)成0-1變量后，次序信息就很難保留； 2) 當(dāng)離散變量的取值非常多時(shí)，轉(zhuǎn)成0-1變量后生成的新變量也會(huì)非常多，這樣也會(huì)造成很多處理上的不便； 3) 0-1變量也沒法做標(biāo)準(zhǔn)化等等一些運(yùn)算，因?yàn)檫@種運(yùn)算其實(shí)是沒有意義的 那該如何處理離散變量的聚類呢？答案是用proc distance。我們知道聚類過程中首先是從計(jì)算距離或者相似度開始的。一個(gè)很自然的想法就是針對(duì)離散變量定義有意義的距離（對(duì)離散變量和連續(xù)變量混合類型的數(shù)據(jù)）。Proc distance就是用來(lái)算這種距離的一個(gè)很好的過程。距離或者相似度可以看成是連續(xù)數(shù)據(jù)，自然就可以用sas里面的聚類算法了。 6. 用proc stdize做什么？ 前面說(shuō)過聚類算法首先要算的距離，然后通過距離來(lái)執(zhí)行后續(xù)的計(jì)算。在距離計(jì)算的過程方差比較大的變量影響會(huì)更大，這個(gè)通常不是我們希望看到。所以非常有必要講參與聚類的變量轉(zhuǎn)換成方差盡量相同。Proc stdize就能實(shí)現(xiàn)這種功能。Proc stdize不僅提供了將變量轉(zhuǎn)換了均值為0，方差轉(zhuǎn)換為1的標(biāo)準(zhǔn)化，還提供了很多其它類型的標(biāo)準(zhǔn)化。比如，range標(biāo)準(zhǔn)化（變量減去最小值除以最大值和最小值得差） 7. 用proc varclus做什么？ 在做回歸分析的時(shí)候，我們知道變量過多會(huì)有兩個(gè)問題： 1) 變量過多會(huì)影響預(yù)測(cè)的準(zhǔn)確，尤其當(dāng)無(wú)關(guān)緊要的變量引入模型之后； 2) 變量過多不可避免的會(huì)引起變量之前的共線性，這個(gè)會(huì)影響參數(shù)估計(jì)的精度 聚類分析實(shí)際上也存在類似的問題，所以有必要先對(duì)變量做降維。說(shuō)到降維，馬上有人會(huì)說(shuō)這個(gè)可以用主成分啊，這個(gè)的確沒錯(cuò)。但是主成分的解釋性還是有點(diǎn)差。尤其是第二主成分之后的主成分。那用什么比較好呢？答案是proc varclus——斜交主成分。 我們常說(shuō)的主成分實(shí)際上正交主成分。斜交主成分是在正交主成分的基礎(chǔ)上再做了一些旋轉(zhuǎn)。這樣得到的主成分不僅能保留主成分的優(yōu)點(diǎn)（主成分變量相關(guān)程度比較低）。另外一方面又能有很到的解釋性，并且能達(dá)到對(duì)變量聚類的效果。使同類別里面的變量盡可能相關(guān)程度比較高，不同類別里面的變量相關(guān)程度盡可能低。這樣根據(jù)一定的規(guī)則我們就可以在每個(gè)類別里面選取一些有代表性的變量，這樣既能保證原始的數(shù)據(jù)信息不致?lián)p失太多，也能有效消除共線性。有效提升聚類分析的精度。 8. 用proc mds 和proc princomp做什么？ 將原始數(shù)據(jù)降到兩維，通過圖形探測(cè)整個(gè)數(shù)據(jù)聚類后大致大類別數(shù) 9. 用proc aceclus做什么？ 聚類算法尤其是k-means算法要求聚類數(shù)據(jù)是球形數(shù)據(jù)。如果是細(xì)長(zhǎng)型的數(shù)據(jù)或者非凸型數(shù)據(jù)，這些算法的表現(xiàn)就會(huì)相當(dāng)差。一個(gè)很自然的變通想法就是，能不能將非球形數(shù)據(jù)變換成球形數(shù)據(jù)呢？答案是可以的。這就要用到proc aceclus。 10. 標(biāo)準(zhǔn)化對(duì)聚類分析到底有什么影響？ 1) 在講影響之前先羅列一下proc stdize里面的標(biāo)準(zhǔn)化方法吧 2014-5-9 15:59:09 上傳 下載附件 (140.66 KB) 2) 標(biāo)準(zhǔn)化對(duì)聚類分析的影響 從圖1中不太容易看清楚標(biāo)準(zhǔn)化對(duì)于聚類分析的影響 2014-5-9 16:02:55 上傳 下載附件 (54.14 KB) 從圖2可以清晰的看到標(biāo)準(zhǔn)化對(duì)于聚類分析的影響 2014-5-9 16:04:14 上傳 下載附件 (30.75 KB) 3) 各種標(biāo)準(zhǔn)化方法的比較 一個(gè)模擬數(shù)據(jù)的例子，模擬數(shù)據(jù)有三個(gè)類別，每個(gè)類別有100個(gè)樣本。我們比較了各種標(biāo)準(zhǔn)化方法之后再進(jìn)行聚類的誤判情況，可以大概看出各種標(biāo)準(zhǔn)化方法的差異。但此例并不能說(shuō)明以下方法中誤分類數(shù)小的方法就一定優(yōu)與誤分類數(shù)大的方法。有時(shí)候還跟數(shù)據(jù)本身的分布特征有關(guān)。這個(gè)例子也提醒我們有時(shí)候我們常用的std和range標(biāo)準(zhǔn)化并不見得是最好的選擇。 2014-5-9 16:07:39 上傳 下載附件 (108.54 KB) 附：本節(jié)相關(guān)sas代碼就作為回帖吧。 /*********************************************************/ /*1.模擬數(shù)據(jù)1;測(cè)試標(biāo)準(zhǔn)化方法對(duì)聚類的影響 模擬數(shù)據(jù)，樣本量相同，均值和方差不相同*/ /*********************************************************/ data compact; keep x y c; n=100; scale=1; mx=0; my=0; c=1;link generate; scale=2; mx=8; my=0; c=2;link generate; scale=3; mx=4; my=8; c=3;link generate; stop; generate: do i=1 to n; x=rannor(1)*scale+mx; y=rannor(1)*scale+my; output; end; return; run; title 模擬數(shù)據(jù)1; proc gplot data=compact; plot y*x=c; symbol1 c=blue; symbol2 c=black; symbol3 c=red; run; proc stdize data=compact method=std out=scompacted2; var x y; run; title 標(biāo)準(zhǔn)化后的模擬數(shù)據(jù)1; proc gplot data=scompacted2; plot y*x=c; symbol1 c=blue; symbol2 c=black; symbol3 c=red; run; /*********************************************************/ /*2.create result table*/ /*********************************************************/ data result; length method$ 12; length misclassified 8; length chisq 8; stop; run; %let inputs=x y; %let group=c; %macro standardize(dsn=,nc=,method=); title "&method"; %if %bquote(%upcase(&method))=NONE %then %do; data temp; set &dsn; run; %end; %else %do; proc stdize data=&dsn method=&method out=temp; var &inputs; run; %end; proc fastclus data=temp maxclusters=&nc least=2 out=clusout noprint; var &inputs; run; proc freq data=clusout; tables &group*cluster / norow nocol nopercent chisq out=freqout; output out=stats chisq; run; data temp sum; set freqout end=eof; by &group; retain members mode c; if first.&group then do; members=0; mode=0; end; members=members+count; if cluster NE . then do; if count > mode then do; mode=count; c=cluster; end; end; if last.&group then do; cum+(members-mode); output temp; end; if eof then output sum; run; proc print data=temp noobs; var &group c members mode cum; run; data result; merge sum (keep=cum) stats; if 0 then modify result; method = "&method"; misclassified = cum; chisq = _pchi_; pchisq = p_pchi; output result; run; %mend standardize; %standardize(dsn=compact,nc=3,method=ABW(.5)); %standardize(dsn=compact,nc=3,method=AGK(.9)); %standardize(dsn=compact,nc=3,method=AHUBER(.5)); %standardize(dsn=compact,nc=3,method=AWAVE(.25)); %standardize(dsn=compact,nc=3,method=EUCLEN); %standardize(dsn=compact,nc=3,method=IQR); %standardize(dsn=compact,nc=3,method=L(1)); %standardize(dsn=compact,nc=3,method=L(2)); %standardize(dsn=compact,nc=3,method=MAD); %standardize(dsn=compact,nc=3,method=MAXABS); %standardize(dsn=compact,nc=3,method=MEAN); %standardize(dsn=compact,nc=3,method=MEDIAN); %standardize(dsn=compact,nc=3,method=MIDRANGE); %standardize(dsn=compact,nc=3,method=NONE); %standardize(dsn=compact,nc=3,method=RANGE); %standardize(dsn=compact,nc=3,method=SPACING(.3)); %standardize(dsn=compact,nc=3,method=STD); %standardize(dsn=compact,nc=3,method=SUM); %standardize(dsn=compact,nc=3,method=USTD); proc sort data=result; by misclassified; run; title 匯總數(shù)據(jù); title2 聚類判定類別錯(cuò)誤樣本數(shù)排序; proc print data=result; run;