模式識別第6章模式特征的選擇與提取.ppt

《模式識別第6章模式特征的選擇與提取.ppt》由會員分享，可在線閱讀，更多相關(guān)《模式識別第6章模式特征的選擇與提取.ppt（31頁珍藏版）》請?jiān)谘b配圖網(wǎng)上搜索。

1、,武漢大學(xué)電子信息學(xué)院,IPL,第六章 模式特征的選擇與提取,模式識別與神經(jīng)網(wǎng)絡(luò)Pattern Recognition and Neural Network,,內(nèi)容目錄,,IPL,第六章 模式特征的選擇與提取,6.1 引言,3,2,4,5,6.2 類別可分離性判據(jù),6.3 特征提取與K-L變換,6.4 特征的選擇,6.5 討論,1,,第六章 模式特征的選擇與提取,3,6.1 引言,特征的選擇與提取是模式識別中重要而困難的一個(gè)環(huán)節(jié)： 分析各種特征的有效性并選出最有代表性的特征是模式識別的關(guān)鍵一步 降低特征維數(shù)在很多情況下是有效設(shè)計(jì)分類器的重要課題 三大類特征：物理、結(jié)構(gòu)和數(shù)學(xué)特征 物理和結(jié)構(gòu)特征

2、：易于為人的直覺感知，但有時(shí)難于定量描述，因而不易用于機(jī)器判別 數(shù)學(xué)特征：易于用機(jī)器定量描述和判別，如基于統(tǒng)計(jì)的特征,第六章 模式特征的選擇與提取,4,特征的形成,特征形成 (acquisition)： 信號獲取或測量原始測量 原始特征 實(shí)例： 數(shù)字圖象中的各像素灰度值 人體的各種生理指標(biāo) 原始特征分析： 原始測量不能反映對象本質(zhì) 高維原始特征不利于分類器設(shè)計(jì)：計(jì)算量大，冗余，樣本分布十分稀疏,引言,第六章 模式特征的選擇與提取,5,特征的選擇與提取,兩類提取有效信息、壓縮特征空間的方法：特征提取和特征選擇 特征提取 (extraction)：用映射（或變換）的方法把原始特征變換為較少的新特征

3、 特征選擇(selection) ：從原始特征中挑選出一些最有代表性，分類性能最好的特征 特征的選擇與提取與具體問題有很大關(guān)系，目前沒有理論能給出對任何問題都有效的特征選擇與提取方法,引言,第六章 模式特征的選擇與提取,6,特征的選擇與提取舉例,細(xì)胞自動(dòng)識別： 原始測量：（正常與異常）細(xì)胞的數(shù)字圖像 原始特征（特征的形成，找到一組代表細(xì)胞性質(zhì)的特征）：細(xì)胞面積，胞核面積，形狀系數(shù)，光密度，核內(nèi)紋理，和漿比 壓縮特征：原始特征的維數(shù)仍很高，需壓縮以便于分類 特征選擇：挑選最有分類信息的特征 特征提?。簲?shù)學(xué)變換 傅立葉變換或小波變換 用PCA方法作特征壓縮,引言,第六章 模式特征的選擇與提取,7,

4、6.2 類別可分離性判據(jù),類別可分離性判據(jù)：衡量不同特征及其組合對分類是否有效的定量準(zhǔn)則 理想準(zhǔn)則：某組特征使分類器錯(cuò)誤概率最小 實(shí)際的類別可分離性判據(jù)應(yīng)滿足的條件： 度量特性： 與錯(cuò)誤率有單調(diào)關(guān)系 當(dāng)特征獨(dú)立時(shí)有可加性： 單調(diào)性： 常見類別可分離性判據(jù)：基于距離、概率分布、熵函數(shù),第六章 模式特征的選擇與提取,8,基于距離的可分性判據(jù),類間可分性:=所有樣本間的平均距離：,可分性判據(jù),(8-1),squared Euclidian,(8-5),類內(nèi)平均距離,類間距離,(8-6),第六章 模式特征的選擇與提取,9,基于距離的可分性判據(jù)矩陣形式,可分性判據(jù),基于距離的準(zhǔn)則概念直觀，計(jì)算方便，但與

5、錯(cuò)誤率沒有直接聯(lián)系,樣本類間離散度矩陣,樣本類內(nèi)離散度矩陣,類間可分離性判據(jù),第六章 模式特征的選擇與提取,10,基于概率的可分性判據(jù),基于概率的可分性判據(jù)：用概率密度函數(shù)間的距離來度量,可分性判據(jù),散度：,第六章 模式特征的選擇與提取,11,正態(tài)分布的散度,可分性判據(jù),Mahalanobis,第六章 模式特征的選擇與提取,12,基于熵函數(shù)的可分性判據(jù),熵函數(shù)：,可分性判據(jù),Shannon熵：,平方熵：,熵函數(shù)期望表征類別的分離程度：,第六章 模式特征的選擇與提取,13,類別可分離性判據(jù)應(yīng)用舉例,圖像分割：Otsu灰度圖像閾值算法(Otsu thresholding) 圖像有L階灰度，ni是灰

6、度為i的像素?cái)?shù)，圖像總像素?cái)?shù) N= n1+n2+ + nL 灰度為i的像素概率：pi = ni/N 類間方差：,可分性判據(jù),第六章 模式特征的選擇與提取,14,Otsu thresholding,灰度圖像閾值:,可分性判據(jù),Otsu灰度圖像二值化算法演示及程序分析:,第六章 模式特征的選擇與提取,15,6.3 特征提取與K-L變換,特征提?。河糜成洌ɑ蜃儞Q）的方法把原始特征變換為較少的新特征 PCA (Principle Component Analysis)方法：進(jìn)行特征降維變換，不能完全地表示原有的對象，能量總會有損失。希望找到一種能量最為集中的的變換方法使損失最小 K-L (Karhun

7、en-Loeve)變換：最優(yōu)正交線性變換，相應(yīng)的特征提取方法被稱為PCA方法,第六章 模式特征的選擇與提取,16,K-L變換,離散K-L變換：對向量x用確定的完備正交歸一向量系uj展開,特征提取,第六章 模式特征的選擇與提取,17,離散K-L變換的均方誤差,用有限項(xiàng)估計(jì)x ：,特征提取,該估計(jì)的均方誤差：,第六章 模式特征的選擇與提取,18,求解最小均方誤差正交基,用Lagrange乘子法：,特征提取,結(jié)論：以相關(guān)矩陣R的d個(gè)本征向量為基向量來展開x時(shí)，其均方誤差為：,K-L變換：當(dāng)取矩陣R的d個(gè)最大本征值對應(yīng)的本征向量來展開x時(shí)，其截?cái)嗑秸`差最小。這d個(gè)本征向量組成的正交坐標(biāo)系稱作x所在的

8、D維空間的d維K-L變換坐標(biāo)系， x在K-L坐標(biāo)系上的展開系數(shù)向量y稱作x的K-L變換,第六章 模式特征的選擇與提取,19,K-L變換的表示,K-L變換的向量展開表示：,特征提取,K-L變換的矩陣表示：,第六章 模式特征的選擇與提取,20,K-L變換的性質(zhì),y的相關(guān)矩陣是對角矩陣：,特征提取,第六章 模式特征的選擇與提取,21,K-L變換的性質(zhì),特征提取,K-L坐標(biāo)系把矩陣R對角化，即通過K-L變換消除原有向量x的各分量間的相關(guān)性，從而有可能去掉那些帶有較少信息的分量以達(dá)到降低特征維數(shù)的目的,第六章 模式特征的選擇與提取,22,K-L變換圖解,,二次曲線方程,標(biāo)準(zhǔn)二次曲線方程,特征提取,第六章

9、 模式特征的選擇與提取,23,K-L變換的數(shù)據(jù)壓縮圖解,取2x1變換矩陣U=u1，則x的K-L變換y為： y = UTx = u1T x = y1 變換的能量損失為,特征提取,第六章 模式特征的選擇與提取,24,K-L變換的產(chǎn)生矩陣,數(shù)據(jù)集KN=xi的K-L變換的產(chǎn)生矩陣由數(shù)據(jù)的二階統(tǒng)計(jì)量決定，即K-L坐標(biāo)系的基向量為某種基于數(shù)據(jù)x的二階統(tǒng)計(jì)量的產(chǎn)生矩陣的本征向量 K-L變換的產(chǎn)生矩陣可以有多種選擇： x的相關(guān)函數(shù)矩陣R=ExxT x的協(xié)方差矩陣C=E(x-) (x-)T 樣本總類內(nèi)離散度矩陣：,特征提取,第六章 模式特征的選擇與提取,25,未知類別樣本的K-L變換,用總體樣本的協(xié)方差矩陣C=

10、E(x-) (x-)T進(jìn)行K-L變換，K-L坐標(biāo)系U=u1,u2,...,ud按照C的本征值的下降次序選擇 例：設(shè)一樣本集的協(xié)方差矩陣是：求最優(yōu)2x1特征提取器U解答：計(jì)算特征值及特征向量V, D=eig(C);特征值D=24.736, 2.263T,特征向量:由于12，故最優(yōu)2x1特征提取器此時(shí)的K-L變換式為：,特征提取,第六章 模式特征的選擇與提取,26,6.4 特征的選擇,特征選擇:=從原始特征中挑選出一些最有代表性、分類性能最好的特征進(jìn)行分類 從D個(gè)特征中選取d個(gè),共 種組合。若不限定特征選擇個(gè)數(shù)，則共2D種組合 典型的組合優(yōu)化問題 特征選擇的方法大體可分兩大類： Filter方法

11、：根據(jù)獨(dú)立于分類器的指標(biāo)J來評價(jià)所選擇的特征子集S，然后在所有可能的特征子集中搜索出使得J最大的特征子集作為最優(yōu)特征子集。不考慮所使用的學(xué)習(xí)算法。 Wrapper方法：將特征選擇和分類器結(jié)合在一起，在學(xué)習(xí)過程中表現(xiàn)優(yōu)異的的特征子集會被選中。,第六章 模式特征的選擇與提取,27,經(jīng)典特征選擇算法,許多特征選擇算法力求解決搜索問題，經(jīng)典算法有： 分支定界法 單獨(dú)最優(yōu)特征組合法 順序后退法 順序前進(jìn)法 模擬退火法 Tabu搜索法 遺傳算法,特征選擇,第六章 模式特征的選擇與提取,28,單獨(dú)最優(yōu)特征組合,計(jì)算各特征單獨(dú)使用時(shí)的可分性判據(jù)J并加以排隊(duì)，取前d個(gè)作為選擇結(jié)果 不一定是最優(yōu)結(jié)果 當(dāng)可分性判據(jù)

12、對各特征具有(廣義)可加性，該方法可以選出一組最優(yōu)的特征來，例： 各類具有正態(tài)分布 各特征統(tǒng)計(jì)獨(dú)立 可分性判據(jù)基于Mahalanobis距離,特征選擇,第六章 模式特征的選擇與提取,29,順序后退法,該方法根據(jù)特征子集的分類表現(xiàn)來選擇特征 搜索特征子集：從全體特征開始，每次剔除一個(gè)特征，使得所保留的特征集合有最大的分類識別率 依次迭代，直至識別率開始下降為止 用“l(fā)eave-one-out”方法估計(jì)平均識別率：用N-1個(gè)樣本判斷余下一個(gè)的類別，N次取平均,特征選擇,第六章 模式特征的選擇與提取,30,6.5 討論,特征的選擇與提取是模式識別中重要而困難的一步 模式識別的第一步：分析各種特征的有效性并選出最有代表性的特征 降低特征維數(shù)在很多情況下是有效設(shè)計(jì)分類器的重要課題 三大類特征：物理、結(jié)構(gòu)和數(shù)學(xué)特征 物理和結(jié)構(gòu)特征：易于為人的直覺感知，但難于定量描述，因而不易用機(jī)器判別 數(shù)學(xué)特征：易于用機(jī)器定量描述和判別,第六章 模式特征的選擇與提取,31,習(xí)題,1. 試推導(dǎo)(8-6)式，即：,2. 試由(8-1)式推導(dǎo)(8-5)式，即：,3. 習(xí)題8.1,9. 習(xí)題9.1,