模式識別_第一章_緒論PPT課件

模式識別 思考 如何區(qū)分蘋果與桔子 與模式識別相關的學科 統(tǒng)計學概率論線性代數(shù) 矩陣計算 形式語言 機器學習人工智能圖像處理計算機視覺 教學目標 掌握模式識別的基本概念和方法有效地運用所學知識和方法解決實際問題為研究新的模式識別的理論和方法打下基礎 教材及參考文獻 齊敏 李大健 郝重陽 模式識別導論 清華大學出版社 2009 5 R Duda P Hart D Stork PatternClassification secondedition 2000 有中譯本 邊肇祺 模式識別 第二版 清華大學出版社 2000 張學工 模式識別 第三版 清華大學出版社 2010 蔡元龍 模式識別 西北電訊工程學院出版社 1986 第一章緒論 什么是模式 Pattern 什么是模式 廣義地說 存在于時間和空間中可觀察的物體 如果我們可以區(qū)別它們是否相同或是否相似 都可以稱之為模式 模式是一個客觀事物的描述 及一個可以用來仿效的完善的例子 模式所指的不是事物本身 而是從事物獲得的信息 因此 模式往往表現(xiàn)為具有時間和空間分布的信息 模式的直觀特性 可觀察性可區(qū)分性相似性 一 模式識別的概念 模式識別 直觀 無所不在 物以類聚 人以群分 周圍物體的認知 桌子 椅子人的識別 張三 李四聲音的辨別 汽車 火車 狗叫 人語氣味的分辨 炸帶魚 紅燒肉人和動物的模式識別能力是極其平常的 但對計算機來說卻是非常困難的 狹義定義模式識別 研究一種自動技術 依靠這種技術 計算機將自動地 或人盡量少地干涉 把待別識模式分配到各自的模式類中去 廣義定義模式識別 patternrecognition 按哲學的定義是一個 外部信息到達感覺器官 并被轉(zhuǎn)換成有意義的感覺經(jīng)驗 的過程 例 識別熱水 字跡等 模式識別的概念 二 模式識別的研究 目的 利用計算機對物理對象進行分類 在錯誤概率最小的條件下 使識別的結果盡量與客觀物體相符合 Y F X X的定義域取自特征集Y的值域為類別的標號集F是模式識別的判別方法 三 模式識別簡史 1929年G Tauschek發(fā)明閱讀機 能夠閱讀0 9的數(shù)字 30年代Fisher提出統(tǒng)計分類理論 奠定了統(tǒng)計模式識別的基礎 50年代NoamChemsky提出形式語言理論 傅京蓀提出句法結構模式識別 60年代L A Zadeh提出了模糊集理論 模糊模式識別方法得以發(fā)展和應用 80年代以Hopfield網(wǎng) BP網(wǎng)為代表的神經(jīng)網(wǎng)絡模型導致人工神經(jīng)元網(wǎng)絡復活 并在模式識別得到較廣泛的應用 90年代小樣本學習理論 支持向量機也受到了很大的重視 四 模式識別的應用 舉例 生物學自動細胞學 染色體特性研究 遺傳研究天文學天文望遠鏡圖像分析 自動光譜學經(jīng)濟學股票交易預測 企業(yè)行為分析醫(yī)學心電圖分析 腦電圖分析 醫(yī)學圖像分析 模式識別的應用 舉例 工程產(chǎn)品缺陷檢測 特征識別 語音識別 自動導航系統(tǒng) 污染分析軍事航空攝像分析 雷達和聲納信號檢測和分類 自動目標識別安全指紋識別 人臉識別 監(jiān)視和報警系統(tǒng) 五 模式識別方法 模式識別系統(tǒng)的目標 在特征空間和解釋空間之間找到一種映射關系 這種映射也稱之為假說 特征空間 從模式得到的對分類有用的度量 屬性或基元構成的空間 解釋空間 將c個類別表示為其中為所屬類別的集合 稱為解釋空間 六 假說的兩種獲得方法 監(jiān)督學習 概念驅(qū)動或歸納假說 在特征空間中找到一個與解釋空間的結構相對應的假說 在給定模式下假定一個解決方案 任何在訓練集中接近目標的假說也都必須在 未知 的樣本上得到近似的結果 依靠已知所屬類別的訓練樣本集 按它們特征向量的分布來確定假說 通常為一個判別函數(shù) 在判別函數(shù)確定之后能用它對未知的模式進行分類 對分類的模式要有足夠的先驗知識 通常需要采集足夠數(shù)量的具有典型性的樣本進行訓練 假說的兩種獲得方法 續(xù) 非監(jiān)督學習 數(shù)據(jù)驅(qū)動或演繹假說 在解釋空間中找到一個與特征空間的結構相對應的假說 這種方法試圖找到一種只以特征空間中的相似關系為基礎的有效假說 在沒有先驗知識的情況下 通常采用聚類分析方法 基于 物以類聚 的觀點 用數(shù)學方法分析各特征向量之間的距離及分散情況 如果特征向量集聚集若干個群 可按群間距離遠近把它們劃分成類 這種按各類之間的親疏程度的劃分 若事先能知道應劃分成幾類 則可獲得更好的分類結果 七 模式分類的主要方法 數(shù)據(jù)聚類統(tǒng)計分類結構模式識別神經(jīng)網(wǎng)絡 1 數(shù)據(jù)聚類 目標 用某種相似性度量的方法將原始數(shù)據(jù)組織成有意義的和有用的各種數(shù)據(jù)集 是一種非監(jiān)督學習的方法 解決方案是數(shù)據(jù)驅(qū)動的 2 統(tǒng)計分類 基于概率統(tǒng)計模型得到各類別的特征向量的分布 以取得分類的方法 特征向量分布的獲得是基于一個類別已知的訓練樣本集 是一種監(jiān)督分類的方法 分類器是概念驅(qū)動的 3 結構模式識別 該方法通過考慮識別對象的各部分之間的聯(lián)系來達到識別分類的目的 識別采用結構匹配的形式 通過計算一個匹配程度值 matchingscore 來評估一個未知的對象或未知對象某些部分與某種典型模式的關系如何 當成功地制定出了一組可以描述對象部分之間關系的規(guī)則后 可以應用一種特殊的結構模式識別方法 句法模式識別 來檢查一個模式基元的序列是否遵守某種規(guī)則 即句法規(guī)則或語法 4 神經(jīng)網(wǎng)絡 神經(jīng)網(wǎng)絡是受人腦組織的生理學啟發(fā)而創(chuàng)立的 由一系列互相聯(lián)系的 相同的單元 神經(jīng)元 組成 相互間的聯(lián)系可以在不同的神經(jīng)元之間傳遞增強或抑制信號 增強或抑制是通過調(diào)整神經(jīng)元相互間聯(lián)系的權重系數(shù) weight 來實現(xiàn) 神經(jīng)網(wǎng)絡可以實現(xiàn)監(jiān)督和非監(jiān)督學習條件下的分類 八 模式識別系統(tǒng) 1 模式識別系統(tǒng)的基本構成 數(shù)據(jù)獲取 特征提取和選擇 預處理 分類決策 分類器設計 2 模式識別系統(tǒng)組成單元 數(shù)據(jù)獲取 用計算機可以運算的符號來表示所研究的對象二維圖像 文字 指紋 地圖 照片等一維波形 腦電圖 心電圖 季節(jié)震動波形等物理參量和邏輯值 體溫 化驗數(shù)據(jù) 參量正常與否的描述預處理單元 去噪聲 提取有用信息 并對輸入測量儀器或其它因素所造成的退化現(xiàn)象進行復原 2 模式識別系統(tǒng)組成單元 特征提取和選擇 對原始數(shù)據(jù)進行變換 得到最能反映分類本質(zhì)的特征測量空間 原始數(shù)據(jù)組成的空間特征空間 分類識別賴以進行的空間模式表示 維數(shù)較高的測量空間 維數(shù)較低的特征空間分類決策 在特征空間中用模式識別方法把被識別對象歸為某一類別基本做法 在樣本訓練集基礎上確定某個判決規(guī)則 使得按這種規(guī)則對被識別對象進行分類所造成的錯誤識別率最小或引起的損失最小 3 模式識別過程實例 在傳送帶上用光學傳感器件對魚按品種分類鱸魚 Seabass 品種鮭魚 Salmon 識別過程 數(shù)據(jù)獲取 架設一個攝像機 采集一些樣本圖像 獲取樣本數(shù)據(jù)預處理 去噪聲 用一個分割操作把魚和魚之間以及魚和背景之間分開 識別過程 特征提取和選擇 對單個魚的信息進行特征選擇 從而通過測量某些特征來減少信息量長度亮度寬度魚翅的數(shù)量和形狀嘴的位置 等等 分類決策 把特征送入決策分類器 4 模式分類器的獲取和評測過程 數(shù)據(jù)采集特征選取模型選擇訓練和測試計算結果和復雜度分析 反饋 訓練和測試 訓練集 是一個已知樣本集 在監(jiān)督學習方法中 用它來開發(fā)出模式分類器 測試集 在設計識別和分類系統(tǒng)時沒有用過的獨立樣本集 系統(tǒng)評價原則 為了更好地對模式識別系統(tǒng)性能進行評價 必須使用一組獨立于訓練集的測試集對系統(tǒng)進行測試 實例 統(tǒng)計模式識別 19名男女同學進行體檢 測量了身高和體重 但事后發(fā)現(xiàn)其中有4人忘記填寫性別 試問 在最小錯誤的條件下 這4人是男是女 體檢數(shù)值如下 實例 統(tǒng)計模式識別 續(xù) 待識別的模式 性別 男或女 測量的特征 身高和體重訓練樣本 15名已知性別的樣本特征目標 希望借助于訓練樣本的特征建立判別函數(shù) 即數(shù)學模型 實例 統(tǒng)計模式識別 續(xù) 由訓練樣本得到的特征空間分布圖 實例 統(tǒng)計模式識別 續(xù) 從圖中訓練樣本的分布情況 找出男 女兩類特征各自的聚類特點 從而求取一個判別函數(shù) 直線或曲線 只要給出待分類的模式特征的數(shù)值 看它在特征平面上落在判別函數(shù)的哪一側(cè) 就可以判別是男還是女了 實例 句法模式識別 問題 如何利用對圖像的結構信息描述 識別如下所示圖片 實例 句法模式識別 續(xù) 將整個場景圖像結構分解成一些比較簡單的子圖像的組合 子圖像又用一些更為簡單的基本圖像單元來表示 直至子圖像達到了我們認為的最簡單的圖像單元 基元 所有這些基元按一定的結構關系來表示 利用多級樹結構對其進行描述 這種描述可以采用形式語言理論 實例 句法模式識別 續(xù) 多級樹描述結構 實例 句法模式識別 續(xù) 訓練過程 用已知結構信息的圖像作為訓練樣本 先識別出基元 比如場景圖中的X Y Z等簡單平面 和它們之間的連接關系 例如長方體E是由X Y和Z三個面拼接而成 并用字母符號代表之 然后用構造句子的文法來描述生成這幅場景的過程 由此推斷出生成該場景的一種文法 實例 句法模式識別 續(xù) 識別過程 先對未知結構信息的圖像進行基元提取及其相互結構關系的識別 然后用訓練過程獲得的文法做句法分析 如果能被已知結構信息的文法分析出來 則該幅未知圖像與訓練樣本具有相同的結構 識別成功 否則就不是這種結構 識別失敗 模式識別的應用 例1 1不停車收費系統(tǒng) 1 提取車輛外形幾何參數(shù)進行處理分析 實現(xiàn)分類 如視頻檢測方法 紅外檢測方法 2 測量車輛的其他物理參數(shù) 噪聲 振動 壓重等 實現(xiàn)分類 如動態(tài)稱重 電磁感應等 3 直接識別車輛身份的方法實現(xiàn)分類 如電子標簽 視頻牌照識別等 例如第一種方式 交通部的收費標準 按噸位劃分 收費站 按車型收費 間接按車輛設計載重量收費 關鍵 車型的自動分類 幾種主要技術 頂長比 車高 例1 2生物識別技術 根據(jù)每個人獨有的可以采樣和測量的生物學特征 生理特征 和行為學特征進行身份識別的技術 1 指紋識別 最早 最成熟的識別技術 2 掌紋識別 研究紋線上某幾個點的幅值 灰度值 線長與線所對應的角之比等特征 3 人臉識別 4 虹膜識別 5 簽名識別6 擊鍵分析 本門課程的主要內(nèi)容 第一章概論第二章聚類分析第三章判別函數(shù)第四章統(tǒng)計判別第五章特征選擇和提取第六章句法模式識別第七章模糊模式識別第八章神經(jīng)網(wǎng)絡 小結 模式和模式識別的概念模式識別的發(fā)展簡史和應用模式識別的主要方法模式識別的系統(tǒng)和實例 同學們 來學校和回家的路上要注意安全 同學們 來學校和回家的路上要注意安全