模式識(shí)別_第四章_概率分類法PPT課件

《模式識(shí)別_第四章_概率分類法PPT課件》由會(huì)員分享，可在線閱讀，更多相關(guān)《模式識(shí)別_第四章_概率分類法PPT課件（116頁珍藏版）》請?jiān)谘b配圖網(wǎng)上搜索。

第4章基于統(tǒng)計(jì)決策的概率分類法 4 1研究對象及相關(guān)概率4 2貝葉斯決策4 3貝葉斯分類器的錯(cuò)誤率4 4聶曼 皮爾遜決策4 5概率密度函數(shù)的參數(shù)估計(jì)4 6概率密度函數(shù)的非參數(shù)估計(jì)4 7后驗(yàn)概率密度分類的勢函數(shù)方法 第4章基于統(tǒng)計(jì)決策的概率分類法 獲取模式的觀察值時(shí) 有二種情況 確定性事件 事物間有確定的因果關(guān)系 第三章內(nèi)容 隨機(jī)事件 事物間沒有確定的因果關(guān)系 觀察到的特征具有統(tǒng)計(jì)特性 是一個(gè)隨機(jī)向量 只能利用模式集的統(tǒng)計(jì)特性進(jìn)行分類 使分類器發(fā)生分類錯(cuò)誤的概率最小 1 兩類研究對象 2 相關(guān)概率 1 概率的定義 設(shè) 是隨機(jī)試驗(yàn)的基本空間 所有可能的實(shí)驗(yàn)結(jié)果或基本事件的全體構(gòu)成的集合 也稱樣本空間 A為隨機(jī)事件 P A 為定義在所有隨機(jī)事件組成的集合上的實(shí)函數(shù) 若P A 滿足 4 1研究對象及相關(guān)概率 3 對于兩兩互斥的事件A1 A2 有 1 對任一事件A有 0 P A 1 2 P 1 事件的全體 則稱函數(shù)P A 為事件A的概率 設(shè)A B是兩個(gè)隨機(jī)事件 且P B 0 則稱 為事件B發(fā)生的條件下事件A發(fā)生的條件概率 3 條件概率定義 1 不可能事件V的概率為零 即P V 0 2 概率的性質(zhì) 4 1 1 概率乘法公式 如果P B 0 則聯(lián)合概率P AB P B P A B P A P B A P BA 3 貝葉斯公式 在全概率公式的條件下 若P B 0 則將 4 2 4 3 式代入 4 1 式中 有 4 4 4 條件概率的三個(gè)重要公式 則對任一事件B有 2 全概率公式 設(shè)事件A1 A2 An 兩兩互斥 且 4 2 4 3 今后的分類中常用到類概率密度p X i i類的條件概率密度函數(shù) 通常也稱為 i的似然函數(shù) 設(shè)隨機(jī)樣本向量X 相關(guān)的三個(gè)概率 2 后驗(yàn)概率P i X 相對于先驗(yàn)概率而言 指收到數(shù)據(jù)X 一批樣本 后 根據(jù)這批樣本提供的信息統(tǒng)計(jì)出的 i類出現(xiàn)的概率 表示X屬于 i類的概率 5 模式識(shí)別中的三個(gè)概率 1 先驗(yàn)概率P i 根據(jù)以前的知識(shí)和經(jīng)驗(yàn)得出的 i類樣本出現(xiàn)的概率 與現(xiàn)在無關(guān) 3 條件概率P X i 已知屬于 i類的樣本X 發(fā)生某種事件的概率 例對一批得病患者進(jìn)行一項(xiàng)化驗(yàn) 結(jié)果為陽性的概率為95 1代表得病人群 則X化驗(yàn)為陽性的事件可表示為 P 2 X 表示試驗(yàn)呈陽性的人中 實(shí)際沒有病的人的概率 若用某種方法檢測是否患有某病 假設(shè)X表示 試驗(yàn)反應(yīng)呈陽性 則 例如 一個(gè)2類問題 1診斷為患有某病 2診斷為無病 P 2 表示該地區(qū)人無此病的概率 則 P 1 表示某地區(qū)的人患有此病的概率 P X 2 表示無病的人群做該試驗(yàn)時(shí)反應(yīng)呈陽性 顯示有病 的概率 值低 高 值低 高 P X 1 表示患病人群做該試驗(yàn)時(shí)反應(yīng)呈陽性的概率 P 1 X 表示試驗(yàn)呈陽性的人中 實(shí)際確實(shí)有病的人的概率 通過統(tǒng)計(jì)資料得到 4 三者關(guān)系 根據(jù) 4 4 貝葉斯公式有 4 5 M 類別數(shù) 2 決策規(guī)則 4 2 1最小錯(cuò)誤率貝葉斯決策 討論模式集的分類 目的是確定X屬于那一類 所以要看X來自哪類的概率大 在下列三種概率中 先驗(yàn)概率P i 類 條件 概率密度p X i 后驗(yàn)概率P i X 采用哪種概率進(jìn)行分類最合理 1 問題分析 后驗(yàn)概率P i X 4 2貝葉斯決策 設(shè)有M類模式 4 6 最小錯(cuò)誤率貝葉斯決策規(guī)則 雖然后驗(yàn)概率P i X 可以提供有效的分類信息 但先驗(yàn)概率P i 和類概率密度函數(shù)p X i 從統(tǒng)計(jì)資料中容易獲得 故用Bayes公式 將后驗(yàn)概率轉(zhuǎn)化為類概率密度函數(shù)和先驗(yàn)概率的表示 由 可知 分母與i無關(guān) 即與分類無關(guān) 故分類規(guī)則又可表示為 4 7 幾種等價(jià)形式 對兩類問題 4 7 式相當(dāng)于 可改寫為 統(tǒng)計(jì)學(xué)中稱l12 X 為似然比 為似然比閾值 對 4 8 式取自然對數(shù) 有 4 7 4 8 4 9 都是最小錯(cuò)誤率貝葉斯決策規(guī)則的等價(jià)形式 例4 1假定在細(xì)胞識(shí)別中 病變細(xì)胞的先驗(yàn)概率和正常細(xì)胞的先驗(yàn)概率分別為 現(xiàn)有一待識(shí)別細(xì)胞 其觀察值為X 從類條件概率密度發(fā)布曲線上查得 試對細(xì)胞X進(jìn)行分類 解 方法1 通過后驗(yàn)概率計(jì)算 方法2 利用先驗(yàn)概率和類概率密度計(jì)算 是正常細(xì)胞 4 2 2最小風(fēng)險(xiǎn)貝葉斯決策 1 風(fēng)險(xiǎn)的概念 自動(dòng)滅火系統(tǒng) 疾病診斷 不同的錯(cuò)判造成的損失不同 因此風(fēng)險(xiǎn)不同 兩者緊密相連 考慮到對某一類的錯(cuò)判要比對另一類的錯(cuò)判更為關(guān)鍵 把最小錯(cuò)誤率的貝葉斯判決做一些修改 提出了 條件平均風(fēng)險(xiǎn) 的概念 對M類問題 如果觀察樣本X被判定屬于 i類 則條件平均風(fēng)險(xiǎn)ri X 指將X判為屬于 i類時(shí)造成的平均損失 2 決策規(guī)則 式中 i 分類判決后指定的判別號 j 樣本實(shí)際屬于的類別號 Lij 將自然屬性是 j類的樣本決策為 i類時(shí)的是非代價(jià) 即損失函數(shù) 每個(gè)X都按條件平均風(fēng)險(xiǎn)最小決策 則總的條件平均風(fēng)險(xiǎn)也最小 總的條件平均風(fēng)險(xiǎn)稱為平均風(fēng)險(xiǎn) 條件平均風(fēng)險(xiǎn)與平均風(fēng)險(xiǎn)的區(qū)別 1 多類情況 設(shè)有M類 對于任一X對應(yīng)M個(gè)條件平均風(fēng)險(xiǎn) 對每個(gè)X有M種可能的類別劃分 X被判決為每一類的條件平均風(fēng)險(xiǎn)分別為r1 X r2 X rM X 決策規(guī)則 i 1 2 M 用先驗(yàn)概率和條件概率的形式 p X 對所有類別一樣 不提供分類信息 i 1 2 M 決策規(guī)則為 2 兩類情況 對樣本X 當(dāng)X被判為 2類時(shí) 4 15 4 16 由 4 15 式 決策規(guī)則 為閾值 計(jì)算 計(jì)算 定義損失函數(shù)Lij 判別步驟 類概率密度函數(shù)p X i 也稱 i的似然函數(shù) 解 計(jì)算和得 例4 2在細(xì)胞識(shí)別中 病變細(xì)胞和正常細(xì)胞的先驗(yàn)概率分別為 現(xiàn)有一待識(shí)別細(xì)胞 觀察值為X 從類概率密度分布曲線上查得 損失函數(shù)分別為L11 0 L21 10 L22 0 L12 1 按最小風(fēng)險(xiǎn)貝葉斯決策分類 為病變細(xì)胞 損失函數(shù)為特殊情況 3 0 1 損失最小風(fēng)險(xiǎn)貝葉斯決策 1 多類情況 0 1 情況下 可改寫成 最小錯(cuò)誤率貝葉斯決策 2 兩類情況 決策規(guī)則為 或從式 4 20 導(dǎo)出似然比形式 式中 決策規(guī)則 類似地 Lij X 的確定 根據(jù)錯(cuò)誤造成損失的嚴(yán)重程度 及專家經(jīng)驗(yàn)確定 4 2 3正態(tài)分布模式的貝葉斯決策 許多實(shí)際的數(shù)據(jù)集 均值附近分布較多的樣本 距均值點(diǎn)越遠(yuǎn) 樣本分布越少 此時(shí)正態(tài)分布 高斯分布 是一種合理的近似 正態(tài)分布概率模型的優(yōu)點(diǎn) 物理上的合理性 數(shù)學(xué)上的簡單性 圖中為某大學(xué)男大學(xué)生的身高數(shù)據(jù) 紅線是擬合的密度曲線 可見 其身高應(yīng)服從正態(tài)分布 1 相關(guān)知識(shí)概述 1 二次型 二次型中的矩陣A是一個(gè)對稱矩陣 即 含義 是一個(gè)二次齊次多項(xiàng)式 3 單變量 一維 的正態(tài)分布 密度函數(shù)定義為 曲線如圖示 1 0 5 0 1 1 2 一維正態(tài)曲線的性質(zhì) 2 曲線關(guān)于直線x 對稱 3 當(dāng)x 時(shí) 曲線位于最高點(diǎn) 4 當(dāng)x 時(shí) 曲線上升 當(dāng)x 時(shí) 曲線下降 并且當(dāng)曲線向左 右兩邊無限延伸時(shí) 以x軸為漸近線 向它無限靠近 1 曲線在x軸的上方 與x軸不相交 5 一定時(shí) 曲線的形狀由 確定 越大 曲線越 矮胖 表示總體的分布越分散 越小 曲線越 瘦高 表示總體的分布越集中 4 3 規(guī)則 即 絕大部分樣本都落在了均值 附近 3 的范圍內(nèi) 因此正態(tài)密度曲線完全可由均值和方差來確定 常簡記為 p x 5 多變量 n維 正態(tài)隨機(jī)向量 密度函數(shù)定義為 式中 C 協(xié)方差矩陣C的行列式 多維正態(tài)密度函數(shù)完全由它的均值M和協(xié)方差矩陣C所確定 簡記為 p X N M C 為協(xié)方差矩陣 是對稱正定矩陣 獨(dú)立元素有個(gè) 以二維正態(tài)密度函數(shù)為例 等高線 等密度線 投影到x1ox2面上為橢圓 從原點(diǎn)O到點(diǎn)M的向量為均值M 橢圓的位置 由均值向量M決定 橢圓的形狀 由協(xié)方差矩陣C決定 協(xié)方差矩陣Ci 反映樣本分布區(qū)域的形狀 均值向量Mi 表明了區(qū)域中心的位置 2 正態(tài)分布的最小錯(cuò)誤率貝葉斯決策規(guī)則 1 多類情況 具有M種模式類別的多變量正態(tài)密度函數(shù)為 前面介紹的Bayes方法事先必須求出p X i P i 而當(dāng)p X i 呈正態(tài)分布時(shí) 只需要知道M和C即可 每一類模式的分布密度函數(shù)都完全被其均值向量Mi和協(xié)方差矩陣Ci所規(guī)定 其定義為 對正態(tài)密度函數(shù) 為了方便計(jì)算 取對數(shù) 對數(shù)是單調(diào)遞增函數(shù) 取對數(shù)后仍有相對應(yīng)的分類性能 最小錯(cuò)誤率Bayes決策中 i類的判別函數(shù)為 去掉與i無關(guān)的項(xiàng) 得判別函數(shù) 正態(tài)分布的最小錯(cuò)誤率Bayes決策的判別函數(shù) 4 25 di X 為超二次曲面 可見對正態(tài)分布模式的Bayes分類器 兩類模式之間用一個(gè)二次判別界面分開 就可以求得最優(yōu)的分類效果 判決規(guī)則同前 2 兩類問題 2 當(dāng)C1 C2 C時(shí) 由式 4 25 有 由此導(dǎo)出判別界面為 為X的線性函數(shù) 是一超平面 當(dāng)為二維時(shí) 判別界面為一直線 如圖4 4所示 4 28 兩類相同 抵消 展開相同 合并 判別界面如圖4 5所示 圖4 5C1 C2 I且先驗(yàn)概率相等 例4 3設(shè)在三維特征空間里 有兩類正態(tài)分布模式 每類各有4個(gè)樣本 分別為 其均值向量和協(xié)方差矩陣可用下式估計(jì) 4 30 4 31 式中 Ni為類別 i中模式的數(shù)目 Xij代表在第i類中的第j個(gè)模式 兩類的先驗(yàn)概率 試確定兩類之間的判別界面 解 經(jīng)計(jì)算有 因協(xié)方差矩陣相等 故 4 28 為其判別式 由于 圖中畫出判別平面的一部分 以上排完 4 3貝葉斯分類器的錯(cuò)誤率 4 3 1錯(cuò)誤率的概念 錯(cuò)誤率 將應(yīng)屬于某一類的模式錯(cuò)分到其他類中的概率 是衡量分類器性能優(yōu)劣的重要參數(shù) 定義為 表示n重積分 即整個(gè)n維模式空間上的積分 式中 是X的條件錯(cuò)誤概率 平均錯(cuò)誤率 錯(cuò)誤率的計(jì)算或估計(jì)方法 按理論公式計(jì)算 計(jì)算錯(cuò)誤率上界 實(shí)驗(yàn)估計(jì) 設(shè)R1為 1類的判決區(qū) R2為 2類的判決區(qū) 分類中可能會(huì)發(fā)生兩種錯(cuò)誤 將來自 1類的模式錯(cuò)分到R2中去 將來自 2類的模式錯(cuò)分到R1中去 錯(cuò)誤率為兩種錯(cuò)誤之和 4 3 2錯(cuò)誤率分析 1 兩類問題的錯(cuò)誤率 一維情況圖示 4 33 4 33 兩類問題的最小錯(cuò)誤率貝葉斯決策規(guī)則 用后驗(yàn)概率密度表示為 用先驗(yàn)概率和類概率密度函數(shù)表示為 或 判別界面為 兩類問題最小錯(cuò)誤率貝葉斯決策中錯(cuò)誤率P e X 為 4 33 令 則 在最小錯(cuò)誤率貝葉斯決策中 判別界面位于兩曲線的交點(diǎn)處 即 可以看出這個(gè)錯(cuò)誤率是所有錯(cuò)誤率中最小的 圖中三角形的面積減小到0 但總錯(cuò)誤概率不可能為零 通常需要考慮總錯(cuò)誤概率 僅使一類樣本的錯(cuò)誤概率最小是沒有意義的 因?yàn)檫@時(shí)另一類的錯(cuò)誤概率可能很大 其他情況下的錯(cuò)誤率 設(shè)共有M類 當(dāng)判決時(shí) 當(dāng)X判為任何一類時(shí) 都存在這樣一個(gè)可能的錯(cuò)誤 故 2 多類情況錯(cuò)誤率 總錯(cuò)誤率為 正確分類概率 則 錯(cuò)誤率 簡化計(jì)算 假定 4 3 3正態(tài)分布貝葉斯決策的錯(cuò)誤率計(jì)算 1 正態(tài)分布的對數(shù)似然比 設(shè) 對數(shù)似然比決策規(guī)則 若 則 令 有 由正態(tài)分布概率密度函數(shù) 有 h X 是X的線性函數(shù) 故h X 是正態(tài)分布的一維隨機(jī)變量 計(jì)算錯(cuò)誤率較為方便 2 對數(shù)似然比的概率分布 均值 方差 1和 2間的馬氏距離平方 圖4 9對數(shù)似然比h X 的概率分布 3 正態(tài)分布最小錯(cuò)誤率貝葉斯決策的錯(cuò)誤率 兩類問題最小錯(cuò)誤率貝葉斯決策的錯(cuò)誤率 其中 令 若 則 計(jì)算結(jié)果通過查標(biāo)準(zhǔn)正態(tài)分布表求得 圖4 10錯(cuò)誤率與馬氏距離的關(guān)系 P e 隨著的增大而單調(diào)遞減 只要兩類模式的馬氏距離足夠大 錯(cuò)誤率就可以減到足夠小 4 3 4錯(cuò)誤率的估計(jì) 1 已設(shè)計(jì)好分類器時(shí)錯(cuò)誤率的估計(jì) 1 先驗(yàn)概率未知 隨機(jī)抽樣 N 隨機(jī)抽取的樣本數(shù) k 錯(cuò)分樣本數(shù) 2 先驗(yàn)概率已知 選擇性抽樣 分別從 1類和 2類中抽取出N1和N2個(gè)樣本 用N1 N2 N個(gè)樣本對設(shè)計(jì)好的分類器作分類檢驗(yàn) 設(shè) 1類被錯(cuò)分的個(gè)數(shù)為k1 2類錯(cuò)分的個(gè)數(shù)為k2 k1 k2統(tǒng)計(jì)獨(dú)立 聯(lián)合概率為 式中 i是 i類的真實(shí)錯(cuò)誤率 總錯(cuò)誤率的最大似然估計(jì)為 2 未設(shè)計(jì)好分類器時(shí)錯(cuò)誤率的估計(jì) 要求 用收集到的有限的N個(gè)樣本設(shè)計(jì)分類器并估計(jì)其性能 錯(cuò)誤率的函數(shù)形式 1 2 1 用于設(shè)計(jì)分類器的樣本的分布參數(shù) 2 用于檢驗(yàn)分類器性能的樣本的分布參數(shù) 設(shè) 是全部訓(xùn)練樣本分布的真實(shí)參數(shù)集 為全部樣本中N個(gè)樣本分布的參數(shù)估計(jì)量 有 將有限樣本劃分為設(shè)計(jì)樣本集和檢驗(yàn)樣本集的兩種基本方法 1 樣本劃分法 將樣本分成兩組 其中一組用來設(shè)計(jì)分類器 另一組用來檢驗(yàn)分類器 求其錯(cuò)誤率 取不同劃分方法的平均值作為錯(cuò)誤率的估計(jì) 缺點(diǎn) 需要的樣本數(shù)N很大 2 留一法 將N個(gè)樣本每次留下其中的一個(gè) 用其余的 N 1 個(gè)設(shè)計(jì)分類器 用留下的那個(gè)樣本進(jìn)行檢驗(yàn) 檢驗(yàn)完后重新放回樣本集 重復(fù)進(jìn)行N次 注意 每次留下的一個(gè)樣本應(yīng)當(dāng)是不同的樣本 適用于樣本數(shù)較小的情況 缺點(diǎn) 計(jì)算量大 4 4聶曼 皮爾遜 Neyman Person 決策 適用于P i 或P i 和Lij X 難以確定時(shí) 基本思想 限制一個(gè)錯(cuò)誤概率 追求另一個(gè)最小 二類問題 在兩類問題貝葉斯決策的錯(cuò)誤率公式中 1 基本思想 式中 先驗(yàn)概率通常為常數(shù) 故一般也稱P1 e 和P2 e 為兩類錯(cuò)誤率 P1 e 1類模式被誤判為 2類的錯(cuò)誤率 P2 e 2類模式被誤判為 1類的錯(cuò)誤率 聶曼 皮爾遜決策出發(fā)點(diǎn) 在P2 e 等于常數(shù)的條件下 使P1 e 為最小 以此確定閾值t 一維情況聶曼 皮爾遜決策示意 此時(shí)聶曼 皮爾遜決策含義 在虛警概率P2 e 是一個(gè)可以承受的常數(shù)值的條件下 使漏報(bào)概率為最小 求解問題 在P2 e 等于常數(shù)的條件下 求P1 e 極小值的條件極值問題 P2 e 的值一般很小 2 判別式推導(dǎo) 式中 待定常數(shù) P2 e 常數(shù) 求P1 e 最小 即是求Q最小 構(gòu)造輔助函數(shù) 要使Q最小 積分項(xiàng)至少應(yīng)為負(fù)值 即在R1區(qū)域內(nèi) 至少應(yīng)保證 4 57 同理由式 4 57 有 在R2區(qū)域內(nèi)至少應(yīng)保證 由于和是已知的 所以聶曼 皮爾遜決策最終歸結(jié)為尋找似然比閾值 求解 值從常數(shù)P2 e 入手 這時(shí)由有 即是P2 e 的函數(shù) 通過查標(biāo)準(zhǔn)正態(tài)分布表可以求得的值 表中末行系函數(shù)值 3 0 3 1 3 9 縱向值 的整數(shù)部分和小數(shù)點(diǎn)后第一位 橫向值 的小數(shù)點(diǎn)后第二位 表中為 0時(shí) 的值 1 標(biāo)準(zhǔn)正態(tài)分布表 復(fù)習(xí) 2 正態(tài)分布的概率計(jì)算 左邊陰影部分的面積表示為概率 即分布函數(shù) 在任一區(qū)間內(nèi)取值的概率 當(dāng)時(shí) 解 1 2 3 例4 4一兩類問題 模式分布為二維正態(tài) 其分布參數(shù)協(xié)方差矩陣為C1 C2 I 設(shè)P2 e 0 046 求聶曼 皮爾遜決策規(guī)則的似然比閾值 和判別界面 i 1 2 解 1 求類概率密度函數(shù)正態(tài)分布的類概率密度函數(shù)為 已知 又計(jì)算得 2 求似然比 3 求判別式 決策規(guī)則 兩邊取自然對數(shù) 有 得判別式 4 62 4 求似然比閾值 由與的關(guān)系有 分離積分 向正態(tài)分布表的標(biāo)準(zhǔn)形式 變換 有 令有 查正態(tài)分布數(shù)值表 要求P2 e 0 046 在表上查 當(dāng)時(shí) 對應(yīng) 對應(yīng) 1 69 即 有 計(jì)算得 由 4 62 式得判別界面 圖4 12聶曼 皮爾遜決策結(jié)果 4 5概率密度函數(shù)的參數(shù)估計(jì) 4 5 1最大似然估計(jì) 兩類估計(jì)方法 概率密度函數(shù)的形式未知 直接估計(jì)概率密度函數(shù)的方法 已知概率密度函數(shù)的形式而函數(shù)的有關(guān)參數(shù)未知 通過估計(jì)參數(shù)來估計(jì)概率密度函數(shù)的方法 參數(shù)估計(jì)法 非參數(shù)估計(jì)法 兩種主要參數(shù)估計(jì)法 最大似然估計(jì) 貝葉斯估計(jì) 設(shè) i類的類概率密度函數(shù)具有某種確定的函數(shù)形式 是該函數(shù)的一個(gè)未知參數(shù)或參數(shù)集 最大似然估計(jì)把 當(dāng)作確定的未知量進(jìn)行估計(jì) 從 i類中獨(dú)立地抽取N個(gè)樣本 1 似然函數(shù) 稱這N個(gè)樣本的聯(lián)合概率密度函數(shù)為相對于樣本集XN的 的似然函數(shù) 在參數(shù) 下觀測到的樣本集XN的概率 聯(lián)合分布 密度 2 最大似然估計(jì) 根據(jù)已經(jīng)抽取的N個(gè)樣本估計(jì)這組樣本 最可能 來自哪個(gè)密度函數(shù) 最似 哪個(gè)密度函數(shù) 也即 要找到一個(gè) 它能使似然函數(shù)極大化 由求得 為一維時(shí)的最大似然估計(jì)示意圖 的最大似然估計(jì)量就是使似然函數(shù)達(dá)到最大的估計(jì)量 為便于分析 定義似然函數(shù)的對數(shù)為 的最大似然估計(jì)是下面微分方程的解 設(shè) i類的概率密度函數(shù)有p個(gè)未知參數(shù) 記為p維向量 此時(shí) 解以上微分方程即可得到 的最大似然估計(jì)值 3 正態(tài)分布情況舉例 設(shè) i類 正態(tài)分布 一維模式 概率密度函數(shù)為 待估計(jì)參數(shù)為 2 4 69 其中 若XN表示從 i中獨(dú)立抽取的N個(gè)樣本 則 的似然函數(shù)為 其中 得 由以上方程組解得均值和方差的估計(jì)量為 類似地 多維正態(tài)分布情況 均值向量的最大似然估計(jì)是樣本的均值 最大似然估計(jì)結(jié)果 協(xié)方差矩陣的最大似然估計(jì)是N個(gè)矩陣的算術(shù)平均 4 5 2貝葉斯估計(jì)與貝葉斯學(xué)習(xí) 貝葉斯估計(jì)和貝葉斯學(xué)習(xí)將未知參數(shù)看作隨機(jī)參數(shù)進(jìn)行考慮 1 貝葉斯估計(jì)和貝葉斯學(xué)習(xí)的概念 1 貝葉斯估計(jì) 步驟 2 貝葉斯學(xué)習(xí) 迭代計(jì)算式的推導(dǎo) 4 72 4 71 式中 除樣本XN以外其余樣本的集合 4 72 4 73 將 4 73 式代入 4 72 式得 類似地 4 74 4 75 將 4 75 式代入 4 74 式得 4 76 參數(shù)估計(jì)的遞推貝葉斯方法 迭代過程即是貝葉斯學(xué)習(xí)的過程 迭代式的使用 給出X2 對用X1估計(jì)的結(jié)果進(jìn)行修改 2 正態(tài)分布密度函數(shù)的貝葉斯估計(jì)和貝葉斯學(xué)習(xí) 1 貝葉斯估計(jì) 逐次給出X3 X4 XN 得到 式中 4 79 有 由于 有 式中 與最大似然估計(jì)形式類似 式中 同前 2 貝葉斯學(xué)習(xí) 圖4 14均值的貝葉斯學(xué)習(xí)過程示意圖 可見 則利用貝葉斯估計(jì)得到的M的后驗(yàn)概率密度函數(shù)為 其中 根據(jù)貝葉斯學(xué)習(xí)得到的類概率密度函數(shù)為 4 6概率密度函數(shù)的非參數(shù)估計(jì) 4 6 1基本方法 根據(jù)樣本直接估計(jì)類概率密度函數(shù)的方法 1 出發(fā)點(diǎn) 基于事實(shí) p X 類概率密度函數(shù) 隨機(jī)向量X落入?yún)^(qū)域R的概率P為 設(shè)從密度為p X 的總體中獨(dú)立抽取的樣本X1 X2 XN 若N個(gè)樣本中有k個(gè)落入?yún)^(qū)域R中的概率最大 則 希望是X落入?yún)^(qū)域R中概率P的一個(gè)很好的估計(jì) 類概率密度函數(shù)p X 的估計(jì) 設(shè)p X 連續(xù) 區(qū)域R足夠小且體積為V p X 在R中沒有變化 X是R中的點(diǎn) 有 得 X點(diǎn)概率密度的估計(jì) 2 存在的兩個(gè)問題 4 91 1 固定V 樣本數(shù)增多 則k N以概率1收斂 但只能得到在某一體積V中的平均估計(jì) 2 N固定 V趨于零 或發(fā)散到無窮大 沒有意義 必須注意V k k N隨N變化的趨勢和極限 保持合理性 3 估計(jì)的步驟 構(gòu)造一串包含X的區(qū)域R1 R2 RN 對R1采用一個(gè)樣本估計(jì) 對R2采用兩個(gè)樣本 假定VN是RN的體積 kN是落入RN內(nèi)的樣本數(shù)目 是p X 的第N次估計(jì) 有 4 為保證估計(jì)合理性應(yīng)滿足的三個(gè)條件 1 2 3 使式右邊能以概率1收斂于p X 4 92 落入RN中的樣本數(shù)始終是總數(shù)中的極小部分 5 兩種非參數(shù)估計(jì)法 Parzen窗法 kN近鄰估計(jì)法 4 6 2Parzen窗法 1 Parzen窗估計(jì)的基本概念 設(shè)區(qū)域RN d維超立方體 棱長 hN 則 以原點(diǎn)為中心的超立方體 當(dāng)Xi落入以X為中心 體積為VN的超立方體時(shí) 否則 落入超立方體內(nèi)的樣本數(shù)為 4 95 代入得 Parzen窗法基本公式 實(shí)質(zhì) 窗函數(shù)的作用是內(nèi)插 樣本對估計(jì)所起的作用取決于它到X的距離 為密度函數(shù)應(yīng)滿足的兩個(gè)條件 2 窗函數(shù)的選擇 1 方窗函數(shù) 2 正態(tài)窗函數(shù) 3 指數(shù)窗函數(shù) 一維形式 滿足條件和的都可以作為窗函數(shù) 最終估計(jì)效果的好壞與樣本情況 窗函數(shù)以及窗函數(shù)參數(shù)的選擇有關(guān) 定義 有 如何選取根據(jù)經(jīng)驗(yàn)折中考慮 限制條件 1 總體密度函數(shù)p X 在X點(diǎn)連續(xù) 2 窗函數(shù)滿足以下條件 3 窗函數(shù)受下列條件的約束 有 估計(jì)結(jié)果 解 估計(jì)結(jié)果 具有一般性 適用于單峰 多峰形式 Parzen窗法特點(diǎn) 要得到較精確的估計(jì)必須抽取大量的樣本 一般非參數(shù)估計(jì)法的共同問題 比參數(shù)估計(jì)法多得多 樣本數(shù)目隨模式維數(shù)一般按指數(shù)規(guī)律增長 4 6 3kN 近鄰估計(jì)法 基本思想 使體積為樣本密度的函數(shù) 而不是樣本數(shù)N的函數(shù) 限制條件仍然是 例4 5和4 6中 用kN 近鄰法估計(jì)的p X 的結(jié)果 4 7后驗(yàn)概率密度函數(shù)的勢函數(shù)估計(jì)法 勢函數(shù)的確定方法有兩種方法 第i類判別函數(shù)的迭代算法 說明 解 從圖上可看出兩類模式不是線性可分的 選擇指數(shù)型二維勢函數(shù) 結(jié)束 同學(xué)們 來學(xué)校和回家的路上要注意安全 同學(xué)們 來學(xué)校和回家的路上要注意安全