模式識(shí)別學(xué)習(xí)心得.ppt

《模式識(shí)別學(xué)習(xí)心得.ppt》由會(huì)員分享，可在線閱讀，更多相關(guān)《模式識(shí)別學(xué)習(xí)心得.ppt（16頁珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

模式識(shí)別學(xué)習(xí)心得,作者：白靜 2012.9.8,模式識(shí)別定義,模式識(shí)別(Pattern Recognition)是指對(duì)表征事物或現(xiàn)象的各種形式的(數(shù)值的、文字的和邏輯關(guān)系的)信息進(jìn)行處理和分析,以對(duì)事物或現(xiàn)象進(jìn)行描述、辨認(rèn)、分類和解釋的過程,是信息科學(xué)和人工智能的重要組成部分。 模式識(shí)別又常稱作模式分類，從處理問題的性質(zhì)和解決問題的方法等角度，模式識(shí)別分為有監(jiān)督的分類（Supervised Classification）和無監(jiān)督的分類(Unsupervised Classification)兩種。二者的主要差別在于各實(shí)驗(yàn)樣本所屬的類別是否預(yù)先已知。一般說來，有監(jiān)督的分類往往需要提供大量已知類別的樣本，但在實(shí)際問題中，這是存在一定困難的，因此研究無監(jiān)督的分類就變得十分有必要了。 模式還可分成抽象的和具體的兩種形式。前者如意識(shí)、思想、議論等,屬于概念識(shí)別研究的范疇,是人工智能的另一研究分支。我們所指的模式識(shí)別主要是對(duì)語音波形、地震波、心電圖、腦電圖、圖片、照片、文字、符號(hào)、生物傳感器等對(duì)象的具體模式進(jìn)行辨識(shí)和分類。,模式識(shí)別的發(fā)展簡(jiǎn)史,1929年 G. Tauschek發(fā)明閱讀機(jī) ，能夠閱讀0-9的數(shù)字。 30年代 Fisher提出統(tǒng)計(jì)分類理論，奠定了統(tǒng)計(jì)模式識(shí)別的基礎(chǔ)。 50年代 Noam Chemsky 提出形式語言理論——傅京蓀提出句法/結(jié)構(gòu)模式識(shí)別。 60年代 L.A.Zadeh提出了模糊集理論，模糊模式識(shí)別方法得以發(fā)展和應(yīng)用 80年代 以Hopfield網(wǎng)、BP網(wǎng)為代表的神經(jīng)網(wǎng)絡(luò)模型導(dǎo)致人工神經(jīng)元網(wǎng)絡(luò)復(fù)活，并在模式識(shí)別得到較廣泛的應(yīng)用。 90年代 小樣本學(xué)習(xí)理論，支持向量機(jī)也受到了很大的重視。,模式識(shí)別的方法和應(yīng)用,模式識(shí)別的方法： 統(tǒng)計(jì)模式識(shí)別 句法模式識(shí)別 模糊模式識(shí)別 人工神經(jīng)網(wǎng)絡(luò)法 人工智能方法 模式識(shí)別的應(yīng)用 文字識(shí)別 語音識(shí)別 指紋識(shí)別 遙感 醫(yī)學(xué)診斷,模式識(shí)別基本概念,模式識(shí)別(Pattern Recognition)：確定一個(gè)樣本的類別屬性（模式類）的過程，即把某一樣本歸屬于多個(gè)類型中的某個(gè)類型。 樣本（Sample)：一個(gè)具體的研究（客觀）對(duì)象。如患者，某人寫的一個(gè)漢字，一幅圖片等。 模式(Pattern)：對(duì)客體（研究對(duì)象）特征的描述（定量的或結(jié)構(gòu)的描述），是取自客觀世界的某一樣本的測(cè)量值的集合（或綜合）。 特征(Features)：能描述模式特性的量（測(cè)量值）。在統(tǒng)計(jì)模式識(shí)別方法中，通常用一個(gè)矢量 表示，稱之為特征矢量，記為 模式類(Class)：具有某些共同特性的模式的集合。,模式識(shí)別系統(tǒng),一個(gè)典型的模式識(shí)別系統(tǒng)由下圖所示的結(jié)構(gòu)框圖組成，一般由數(shù)據(jù)獲取，預(yù)處理，特征提取選擇、分類決策及分類器設(shè)計(jì)五部分組成。分類器設(shè)計(jì)在訓(xùn)練過程中完成，利用樣本進(jìn)行訓(xùn)練，確定分類器的具體參數(shù)。而分類決策在識(shí)別過程中起作用，對(duì)待識(shí)別的樣本進(jìn)行分類決策。,模式識(shí)別系統(tǒng),,范例 木板 圖象 512512 d=3 長(zhǎng)度 紋理 亮度 c=2 松木\ 樺木,維數(shù) 無限 有限/ 很大R 有限d 不大c,,,dR無限,模式識(shí)別過程,特征矢量和特征空間,特征矢量： 設(shè)一個(gè)研究對(duì)像的n個(gè)特征量測(cè)量值分別為Ｘ１，Ｘ２．．．．Ｘｎ，我們將它們作為一個(gè)整體來考慮，讓它們構(gòu)成一個(gè)ｎ維特征矢量 特征空間： 各種不同取值的特征矢量的全體構(gòu)成了ｎ維特征空間。,隨機(jī)矢量的描述,隨機(jī)矢量： 在模式識(shí)別過程中，要對(duì)許多具體對(duì)象進(jìn)行測(cè)量，以獲得許多次觀測(cè)值。 每次觀測(cè)值不一定相同，所以對(duì)許多對(duì)象而言，各個(gè)特征分量都是隨機(jī)變量，即許多對(duì)象的特征向量在n維空間中呈隨機(jī)性分布，稱為隨機(jī)矢量。 隨機(jī)矢量的分布函數(shù)： 設(shè) 為隨機(jī)矢量， 為確定性矢量。 隨機(jī)矢量的聯(lián)合概率分布函數(shù)定義為： 式中 表示括號(hào)中事件同時(shí)發(fā)生的概率。,聚類分析 (Clustering Analysis),一、聚類分析的基本思想 ★相似的歸為一類。 ★模式相似性的度量和聚類算法。 ★無監(jiān)督分類（Unsupervised） 。,二、特征量的類型 ★物理量----(重量、長(zhǎng)度、速度) ★次序量----(等級(jí)、技能、學(xué)識(shí)) ★名義量----(性別、狀態(tài)、種類),三、方法的有效性 取決于分類算法和特征點(diǎn)分布情況的匹配。,聚類過程遵循的基本步驟,三、聚類準(zhǔn)則（clustering criterion） 以蘊(yùn)涵在數(shù)據(jù)集中類的類型為基礎(chǔ),二、近鄰測(cè)度(proximity measure) 定量測(cè)定兩特征如何“相似”或“不相似”,一、特征選擇(feature selection) 盡可能多地包含任務(wù)關(guān)心的信息,聚類過程遵循的基本步驟,六、結(jié)果判定（interpretation of the results） 由專家用其他方法判定結(jié)果的正確性,五、結(jié)果驗(yàn)證（validation of the results） 常用逼近檢驗(yàn)驗(yàn)證聚類結(jié)果的正確性,四、聚類算法（clustering algorithm） 按近鄰測(cè)度和聚類準(zhǔn)則揭示數(shù)據(jù)集的聚類結(jié)構(gòu),聚類應(yīng)用的四個(gè)基本方向,一、減少數(shù)據(jù) 許多時(shí)候，當(dāng)數(shù)據(jù)量N很大時(shí)，會(huì)使數(shù)據(jù)處理變得很費(fèi)力。因此可使用聚類分析的方法將數(shù)據(jù)分成幾組可判斷的聚類m（mN）來處理，每一個(gè)類可當(dāng)作獨(dú)立實(shí)體來對(duì)待。從這個(gè)角度看，數(shù)據(jù)被壓縮了。 二、假說生成 在這種情況下，為了推導(dǎo)出數(shù)據(jù)性質(zhì)的一些假說，對(duì)數(shù)據(jù)集進(jìn)行聚類分析。因此，這里使用聚類作為建立假說的方法，然后用其他數(shù)據(jù)集驗(yàn)證這些假說。 三、假說檢驗(yàn) 用聚類分析來驗(yàn)證指定假說的有效性。 四、基于分組的預(yù)測(cè) 對(duì)現(xiàn)有數(shù)據(jù)進(jìn)行聚類分析，形成模式的特征，并用特征表示聚類，接下來，對(duì)于一個(gè)未知模式，就可以用前面的聚類來確定是哪一類？,模式相似性測(cè)度,用于描述各模式之間特征的相似程度 ●距 離 測(cè) 度 測(cè)度基礎(chǔ)：兩個(gè)矢量矢端的距離 測(cè)度數(shù)值：兩矢量各相應(yīng)分量之差的函數(shù)。 ●相 似 測(cè) 度 測(cè)度基礎(chǔ)：以兩矢量的方向是否相近作為考慮的基礎(chǔ),矢量長(zhǎng)度并不重要。 ●匹 配 測(cè) 度 當(dāng)特征只有兩個(gè)狀態(tài)（0，1）時(shí)，常用匹配測(cè)度。 0表示無此特征 1表示有此特征。故稱之為二值特征。,聚類的算法,簡(jiǎn)單聚類方法 針對(duì)具體問題確定相似性閾值，將模式到各聚類中心間的距離與閾值比較，當(dāng)大于閾值時(shí)該模式就作為另一類的類心，小于閾值時(shí)按最小距離原則將其分劃到某一類中。 按最小距離原則進(jìn)行兩類合并的方法 首先視各模式自成一類,然后將距離最小的兩類合并成一類,不斷地重復(fù)這個(gè)過程，直到成為兩類為止。 依據(jù)準(zhǔn)則函數(shù)動(dòng)態(tài)聚類法 設(shè)定一些分類的控制參數(shù)，定義一個(gè)能表征聚類結(jié)果優(yōu)劣的準(zhǔn)則函數(shù)，聚類過程就是使準(zhǔn)則函數(shù)取極值的優(yōu)化過程。,