SAS中的聚類分析方法總結(jié).docx

《SAS中的聚類分析方法總結(jié).docx》由會員分享，可在線閱讀，更多相關(guān)《SAS中的聚類分析方法總結(jié).docx（9頁珍藏版）》請在裝配圖網(wǎng)上搜索。

SAS中的聚類分析方法總結(jié)（1）——聚類分析概述 說起聚類分析，相信很多人并不陌生。這篇原創(chuàng)博客我想簡單說一下我所理解的聚類分析，歡迎各位高手不吝賜教和拍磚。 按照正常的思路，我大概會說如下幾個問題： 1. 什么是聚類分析？ 2. 聚類分析有什么用？ 3. 聚類分析怎么做？ 下面我將分聚類分析概述、聚類分析算法及sas實現(xiàn)、案例三部分來系統(tǒng)的回答這些問題。 聚類分析概述 1. 聚類分析的定義 中國有句俗語叫“物以類聚，人以群分”——剔除這句話的貶義色彩。說白了就是物品根據(jù)物品的特征和功用可以分門別類，人和人會根據(jù)性格、偏好甚至利益結(jié)成不同的群體。分門別類和結(jié)成群體之后，同類（同群）之間的物品（人）的特征盡可能相似，不同類（同群）之間的物品（人）的特征盡可能不同。這個過程實際上就是聚類分析。從這個過程我們可以知道如下幾點： 1) 聚類分析的對象是物（人），說的理論一點就是樣本 2) 聚類分析是根據(jù)物或者人的特征來進行聚集的，這里的特征說的理論一點就是變量。當(dāng)然特征選的不一樣，聚類的結(jié)果也會不一樣； 3) 聚類分析中評判相似的標(biāo)準(zhǔn)非常關(guān)鍵。說的理論一點也就是相似性的度量非常關(guān)鍵； 4) 聚類分析結(jié)果的好壞沒有統(tǒng)一的評判標(biāo)準(zhǔn)； 2. 聚類分析到底有什么用？ 1) 說的官腔一點就是為了更好的認識事物和事情，比如我們可以把人按照地域劃分為南方人和北方人，你會發(fā)現(xiàn)這種分法有時候也蠻有道理。一般來說南方人習(xí)慣吃米飯，北方習(xí)慣吃面食； 2) 說的實用一點，可以有效對用戶進行細分，提供有針對性的產(chǎn)品和服務(wù)。比如銀行會將用戶分成金卡用戶、銀卡用戶和普通卡用戶。這種分法一方面能很好的節(jié)約銀行的資源，另外一方面也能很好針對不同的用戶實習(xí)分級服務(wù)，提高彼此的滿意度。 再比如移動會開發(fā)全球通、神州行和動感地帶三個套餐或者品牌，實際就是根據(jù)移動用戶的行為習(xí)慣做了很好的用戶細分——聚類分析； 3) 上升到理論層面，聚類分析是用戶細分里面最為重要的工具，而用戶細分則是整個精準(zhǔn)營銷里面的基礎(chǔ)。精準(zhǔn)營銷是目前普遍接納而且被采用的一種營銷手段和方式。 3. 聚類分析的流程是怎樣的？ 比較簡單的聚類分析往往只根據(jù)一個維度來進行，比如講用戶按照付費情況分成高端用戶、中端用戶和低端用戶。這 個只需要根據(jù)商業(yè)目的統(tǒng)計一下相關(guān)數(shù)據(jù)指定一個高端、中端和低端的分界點標(biāo)準(zhǔn)就可以。 如果是比較復(fù)雜的聚類分析，比如移動里面經(jīng)常會基于用戶的多種行為（通話、短信、gprs流失扥等）來對用戶進行細分，這個就是比較復(fù)雜的用戶細分。如果是這樣的細分通常會作為一個比較標(biāo)準(zhǔn)的數(shù)據(jù)挖掘項目來執(zhí)行，所以基本上會按照數(shù)據(jù)挖掘的流程來執(zhí)行。具體分如下幾步： 1) 業(yè)務(wù)理解 主要是了解業(yè)務(wù)目標(biāo)和數(shù)據(jù)挖掘的目標(biāo)及執(zhí)行計劃 2) 數(shù)據(jù)理解 主要是弄清楚可已取哪些變量數(shù)據(jù)，具體怎么定義 3) 數(shù)據(jù)整理 根據(jù)之前的定義提取需要的數(shù)據(jù)，并進行檢測異常數(shù)據(jù)，并對變量進行挑選及探索，比如最終要用那些變量來執(zhí)行聚類算法、那些變量是離散變量，需要做特殊處理、 數(shù)據(jù)大概可以聚成幾類、類別形狀有不規(guī)則的情形嗎？ 4) 建立模型 關(guān)鍵是選用什么樣的距離(相似性度量)和算法： l比如是樣本比較小，形狀也比較規(guī)則，可以選用層次聚類 l比如樣本比較大，形狀規(guī)則，各類的樣本量基本相當(dāng)，可以選用k-means算法 l比如形狀規(guī)則，但是各類別之間的樣本點的密度差異很大，可以選用基于密度的算法 5) 模型評估 主要是評估聚類分析結(jié)果的好壞。實際上聚類分析在機器學(xué)習(xí)里面被稱之為無監(jiān)督學(xué)習(xí)，是沒有大家公認的評估方法的。所以更多會從業(yè)務(wù)可解釋性的角度去評估 聚類分析的好壞； 6) 模型發(fā)布 主要是根據(jù)聚類分析的結(jié)果根據(jù)不同的類的特診去設(shè)計不同的產(chǎn)品、服務(wù)或者渠道策略，然后去實施營銷 4. 具體在sas里面如何執(zhí)行？ 通過前面的講解我們已經(jīng)知道，聚類分析涉及到如下6步，對應(yīng)著6步SAS都會有相應(yīng)的過程來執(zhí)行。 1) 距離的計算：proc distance 2) 數(shù)據(jù)標(biāo)準(zhǔn)化：proc stdize 3) 聚類變量的選擇：proc varclus 4) 初始類別數(shù)的選擇：proc mds和proc princomp 5) 不規(guī)則形狀的變換：proc aceclus 6) 算法的選擇：層次聚類-proc cluster 劃分型聚類-proc fastclus（k-means）和 密度型聚類-proc modeclus 7) 類別特征描述：proc means 以上四個部分就從是什么、為什么、怎么樣三個角度對聚類分析做了簡單的介紹。接下來的帖子我會重點介紹SAS中各種聚類算法的差異、應(yīng)用范圍及實際的案例。 5. 用proc distance做什么？ 我們知道數(shù)據(jù)變量分四類：名義變量、次序變量、interval變量和ritio變量。但sas里面目前的聚類算法都要求變量時ratio變量。那想要對離散變量進行聚類怎么呢？一種想法自然是講所有的離散變量都轉(zhuǎn)成0-1變量。這會有如下幾個問題： 1) 變量的信息可能會有損失，比如次序型變量轉(zhuǎn)成0-1變量后，次序信息就很難保留； 2) 當(dāng)離散變量的取值非常多時，轉(zhuǎn)成0-1變量后生成的新變量也會非常多，這樣也會造成很多處理上的不便； 3) 0-1變量也沒法做標(biāo)準(zhǔn)化等等一些運算，因為這種運算其實是沒有意義的 那該如何處理離散變量的聚類呢？答案是用proc distance。我們知道聚類過程中首先是從計算距離或者相似度開始的。一個很自然的想法就是針對離散變量定義有意義的距離（對離散變量和連續(xù)變量混合類型的數(shù)據(jù)）。Proc distance就是用來算這種距離的一個很好的過程。距離或者相似度可以看成是連續(xù)數(shù)據(jù)，自然就可以用sas里面的聚類算法了。 6. 用proc stdize做什么？ 前面說過聚類算法首先要算的距離，然后通過距離來執(zhí)行后續(xù)的計算。在距離計算的過程方差比較大的變量影響會更大，這個通常不是我們希望看到。所以非常有必要講參與聚類的變量轉(zhuǎn)換成方差盡量相同。Proc stdize就能實現(xiàn)這種功能。Proc stdize不僅提供了將變量轉(zhuǎn)換了均值為0，方差轉(zhuǎn)換為1的標(biāo)準(zhǔn)化，還提供了很多其它類型的標(biāo)準(zhǔn)化。比如，range標(biāo)準(zhǔn)化（變量減去最小值除以最大值和最小值得差） 7. 用proc varclus做什么？ 在做回歸分析的時候，我們知道變量過多會有兩個問題： 1) 變量過多會影響預(yù)測的準(zhǔn)確，尤其當(dāng)無關(guān)緊要的變量引入模型之后； 2) 變量過多不可避免的會引起變量之前的共線性，這個會影響參數(shù)估計的精度 聚類分析實際上也存在類似的問題，所以有必要先對變量做降維。說到降維，馬上有人會說這個可以用主成分啊，這個的確沒錯。但是主成分的解釋性還是有點差。尤其是第二主成分之后的主成分。那用什么比較好呢？答案是proc varclus——斜交主成分。 我們常說的主成分實際上正交主成分。斜交主成分是在正交主成分的基礎(chǔ)上再做了一些旋轉(zhuǎn)。這樣得到的主成分不僅能保留主成分的優(yōu)點（主成分變量相關(guān)程度比較低）。另外一方面又能有很到的解釋性，并且能達到對變量聚類的效果。使同類別里面的變量盡可能相關(guān)程度比較高，不同類別里面的變量相關(guān)程度盡可能低。這樣根據(jù)一定的規(guī)則我們就可以在每個類別里面選取一些有代表性的變量，這樣既能保證原始的數(shù)據(jù)信息不致?lián)p失太多，也能有效消除共線性。有效提升聚類分析的精度。 8. 用proc mds 和proc princomp做什么？ 將原始數(shù)據(jù)降到兩維，通過圖形探測整個數(shù)據(jù)聚類后大致大類別數(shù) 9. 用proc aceclus做什么？ 聚類算法尤其是k-means算法要求聚類數(shù)據(jù)是球形數(shù)據(jù)。如果是細長型的數(shù)據(jù)或者非凸型數(shù)據(jù)，這些算法的表現(xiàn)就會相當(dāng)差。一個很自然的變通想法就是，能不能將非球形數(shù)據(jù)變換成球形數(shù)據(jù)呢？答案是可以的。這就要用到proc aceclus。 10. 標(biāo)準(zhǔn)化對聚類分析到底有什么影響？ 1) 在講影響之前先羅列一下proc stdize里面的標(biāo)準(zhǔn)化方法吧 2014-5-9 15:59:09 上傳 下載附件 (140.66 KB) 2) 標(biāo)準(zhǔn)化對聚類分析的影響 從圖1中不太容易看清楚標(biāo)準(zhǔn)化對于聚類分析的影響 2014-5-9 16:02:55 上傳 下載附件 (54.14 KB) 從圖2可以清晰的看到標(biāo)準(zhǔn)化對于聚類分析的影響 2014-5-9 16:04:14 上傳 下載附件 (30.75 KB) 3) 各種標(biāo)準(zhǔn)化方法的比較 一個模擬數(shù)據(jù)的例子，模擬數(shù)據(jù)有三個類別，每個類別有100個樣本。我們比較了各種標(biāo)準(zhǔn)化方法之后再進行聚類的誤判情況，可以大概看出各種標(biāo)準(zhǔn)化方法的差異。但此例并不能說明以下方法中誤分類數(shù)小的方法就一定優(yōu)與誤分類數(shù)大的方法。有時候還跟數(shù)據(jù)本身的分布特征有關(guān)。這個例子也提醒我們有時候我們常用的std和range標(biāo)準(zhǔn)化并不見得是最好的選擇。 2014-5-9 16:07:39 上傳 下載附件 (108.54 KB) 附：本節(jié)相關(guān)sas代碼就作為回帖吧。 /*********************************************************/ /*1.模擬數(shù)據(jù)1;測試標(biāo)準(zhǔn)化方法對聚類的影響 模擬數(shù)據(jù)，樣本量相同，均值和方差不相同*/ /*********************************************************/ data compact; keep x y c; n=100; scale=1; mx=0; my=0; c=1;link generate; scale=2; mx=8; my=0; c=2;link generate; scale=3; mx=4; my=8; c=3;link generate; stop; generate: do i=1 to n; x=rannor(1)*scale+mx; y=rannor(1)*scale+my; output; end; return; run; title 模擬數(shù)據(jù)1; proc gplot data=compact; plot y*x=c; symbol1 c=blue; symbol2 c=black; symbol3 c=red; run; proc stdize data=compact method=std out=scompacted2; var x y; run; title 標(biāo)準(zhǔn)化后的模擬數(shù)據(jù)1; proc gplot data=scompacted2; plot y*x=c; symbol1 c=blue; symbol2 c=black; symbol3 c=red; run; /*********************************************************/ /*2.create result table*/ /*********************************************************/ data result; length method$ 12; length misclassified 8; length chisq 8; stop; run; %let inputs=x y; %let group=c; %macro standardize(dsn=,nc=,method=); title "&method"; %if %bquote(%upcase(&method))=NONE %then %do; data temp; set &dsn; run; %end; %else %do; proc stdize data=&dsn method=&method out=temp; var &inputs; run; %end; proc fastclus data=temp maxclusters=&nc least=2 out=clusout noprint; var &inputs; run; proc freq data=clusout; tables &group*cluster / norow nocol nopercent chisq out=freqout; output out=stats chisq; run; data temp sum; set freqout end=eof; by &group; retain members mode c; if first.&group then do; members=0; mode=0; end; members=members+count; if cluster NE . then do; if count > mode then do; mode=count; c=cluster; end; end; if last.&group then do; cum+(members-mode); output temp; end; if eof then output sum; run; proc print data=temp noobs; var &group c members mode cum; run; data result; merge sum (keep=cum) stats; if 0 then modify result; method = "&method"; misclassified = cum; chisq = _pchi_; pchisq = p_pchi; output result; run; %mend standardize; %standardize(dsn=compact,nc=3,method=ABW(.5)); %standardize(dsn=compact,nc=3,method=AGK(.9)); %standardize(dsn=compact,nc=3,method=AHUBER(.5)); %standardize(dsn=compact,nc=3,method=AWAVE(.25)); %standardize(dsn=compact,nc=3,method=EUCLEN); %standardize(dsn=compact,nc=3,method=IQR); %standardize(dsn=compact,nc=3,method=L(1)); %standardize(dsn=compact,nc=3,method=L(2)); %standardize(dsn=compact,nc=3,method=MAD); %standardize(dsn=compact,nc=3,method=MAXABS); %standardize(dsn=compact,nc=3,method=MEAN); %standardize(dsn=compact,nc=3,method=MEDIAN); %standardize(dsn=compact,nc=3,method=MIDRANGE); %standardize(dsn=compact,nc=3,method=NONE); %standardize(dsn=compact,nc=3,method=RANGE); %standardize(dsn=compact,nc=3,method=SPACING(.3)); %standardize(dsn=compact,nc=3,method=STD); %standardize(dsn=compact,nc=3,method=SUM); %standardize(dsn=compact,nc=3,method=USTD); proc sort data=result; by misclassified; run; title 匯總數(shù)據(jù); title2 聚類判定類別錯誤樣本數(shù)排序; proc print data=result; run;