馬爾可夫鏈概率論與數(shù)理統(tǒng)計(jì).ppt

《馬爾可夫鏈概率論與數(shù)理統(tǒng)計(jì).ppt》由會(huì)員分享，可在線(xiàn)閱讀，更多相關(guān)《馬爾可夫鏈概率論與數(shù)理統(tǒng)計(jì).ppt（44頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

第一節(jié)馬爾可夫過(guò)程及其概率分布 第二節(jié)多步轉(zhuǎn)移概率的確定 第十三章馬爾可夫鏈 第三節(jié)遍歷性 第一節(jié)馬爾可夫過(guò)程及其概率分布 一 馬爾可夫過(guò)程的概念 二 馬爾可夫過(guò)程的概率分布 三 應(yīng)用舉例 四 小結(jié) 一 馬爾可夫過(guò)程的概念 1 馬爾可夫性 無(wú)后效性 馬爾可夫性或無(wú)后效性 即 過(guò)程 將來(lái) 的情況與 過(guò)去 的情況是無(wú)關(guān)的 2 馬爾可夫過(guò)程的定義 具有馬爾可夫性的隨機(jī)過(guò)程稱(chēng)為馬爾可夫過(guò)程 用分布函數(shù)表述馬爾可夫過(guò)程 恰有 或?qū)懗?并稱(chēng)此過(guò)程為馬爾可夫過(guò)程 3 馬爾可夫鏈的定義 時(shí)間和狀態(tài)都是離散的馬爾可夫過(guò)程稱(chēng)為馬爾可夫鏈 簡(jiǎn)記為 研究時(shí)間和狀態(tài)都是離散的隨機(jī)序列 二 馬爾可夫過(guò)程的概率分布 1 用分布律描述馬爾可夫性 有 稱(chēng)條件概率 說(shuō)明 轉(zhuǎn)移概率具有特點(diǎn) 2 轉(zhuǎn)移概率 由轉(zhuǎn)移概率組成的矩陣 稱(chēng)為馬氏鏈的轉(zhuǎn)移概率矩陣 此矩陣的每一行元素之和等于1 它是隨機(jī)矩陣 3 平穩(wěn)性 有關(guān)時(shí) 稱(chēng)轉(zhuǎn)移概率具有平穩(wěn)性 同時(shí)也稱(chēng)此鏈?zhǔn)驱R次的或時(shí)齊的 稱(chēng)為馬氏鏈的n步轉(zhuǎn)移概率 一步轉(zhuǎn)移概率 特別的 當(dāng)n 1時(shí) 一步轉(zhuǎn)移概率矩陣 的狀態(tài) 記為P 設(shè)每一級(jí)的傳真率為p 誤碼率為q 1 p 設(shè)一個(gè)單位時(shí)間傳輸一級(jí) 只傳輸數(shù)字0和1的串聯(lián)系統(tǒng) 傳輸系統(tǒng) 如圖 分析 例1 三 應(yīng)用舉例 而與時(shí)刻n以前所處的狀態(tài)無(wú)關(guān) 所以它是一個(gè)馬氏鏈 且是齊次的 一步轉(zhuǎn)移概率 一步轉(zhuǎn)移概率矩陣 例2一維隨機(jī)游動(dòng) 游動(dòng)的概率規(guī)則 1 3的概率向左或向右移動(dòng)一格 或以1 3的概率留 在原處 如果Q現(xiàn)在位于點(diǎn)i 1 i 5 則下一時(shí)刻各以 以概率1移動(dòng)到2 或4 這一點(diǎn)上 如果Q現(xiàn)在位于1 或5 這點(diǎn)上 則下一時(shí)刻就 1和5這兩點(diǎn)稱(chēng)為反射壁 上面這種游動(dòng)稱(chēng)為帶有兩個(gè)反射壁的隨機(jī)游動(dòng) 模擬方法 產(chǎn)生均勻分布的隨機(jī)數(shù)序列13232211122 其中1表示左移 2表示不動(dòng) 3表示右移 理論分析 狀態(tài)空間就是I 而與時(shí)刻n以前所處的狀態(tài)無(wú)關(guān) 所以它是一個(gè)馬氏鏈 且是齊次的 一步轉(zhuǎn)移概率 說(shuō)明 相應(yīng)鏈的轉(zhuǎn)移概率矩陣只須把P中第1行改為 改變游動(dòng)的概率規(guī)則 就可得到不同方式的 隨機(jī)游動(dòng)和相應(yīng)的馬氏鏈 如果把點(diǎn)1改為吸收壁 一步轉(zhuǎn)移概率矩陣 某計(jì)算機(jī)房的一臺(tái)計(jì)算機(jī)經(jīng)常出故障 研究者每隔15分鐘觀察一次計(jì)算機(jī)運(yùn)行狀態(tài) 收集了24小時(shí)的數(shù)據(jù) 共作97次觀察 用1表示正常狀態(tài) 用0表示不正常狀態(tài) 所得的數(shù)據(jù)序列如下 1110010011111110011110111111001111111110001101101 分析 狀態(tài)空間 I 0 1 例3 111011011010111101110111101111110011011111100111 96次狀態(tài)轉(zhuǎn)移的情況 因此 一步轉(zhuǎn)移概率可用頻率近似地表示為 某電話(huà)亭有兩部電話(huà) 顧客的到達(dá)與離開(kāi)都是隨機(jī)的 每隔一分鐘來(lái)一個(gè)顧客的概率為q 有一個(gè)顧客打完電話(huà)離開(kāi)的概率為p 而且如果顧客到達(dá)時(shí)發(fā)現(xiàn)前面已經(jīng)有一個(gè)顧客在等待 該顧客即離去 并且排除每分鐘內(nèi)多于1人到達(dá)或離開(kāi)的情況 用馬氏鏈來(lái)描述這個(gè)系統(tǒng) 例4 設(shè)Xn表示第n分鐘電話(huà)亭里的顧客數(shù) 即系統(tǒng)的狀態(tài) Xn n 0 1 2 3 是一個(gè)隨機(jī)過(guò)程 狀態(tài)空間為I 0 1 2 3 仿真前面例子的分析 可知它是一個(gè)齊次馬氏鏈 分析該馬氏鏈的一步轉(zhuǎn)移概率 p00p01p10p11p12p13p21p32p22p23p33 四 小結(jié) 齊次馬氏鏈 平穩(wěn)性的概念 一步轉(zhuǎn)移概率矩陣的計(jì)算 一步轉(zhuǎn)移概率 一步轉(zhuǎn)移概率矩陣 第二節(jié)多步轉(zhuǎn)移概率的確定 一 C K方程 二 多步轉(zhuǎn)移概率的確定 一 C K方程 是一齊次馬氏鏈 則對(duì)任意的 切普曼 柯?tīng)柲缏宸蚍匠?簡(jiǎn)稱(chēng)C K方程 說(shuō)明 C K方程基于下列事實(shí) 這一事件可分解成 件的和事件 如下圖所示 證明 由條件概率定義和乘法定理得 馬氏性和齊次性 所以 考慮到馬氏性和齊次性 即得C K方程 C K方程也可寫(xiě)成矩陣形式 二 多步轉(zhuǎn)移概率的確定 利用C K方程我們?nèi)菀状_定n步轉(zhuǎn)移概率 得遞推關(guān)系 從而可得 馬氏鏈的n步轉(zhuǎn)移概率是一步轉(zhuǎn)移概率的n次方 結(jié)論 解 例1 例2 甲乙兩人進(jìn)行某種比賽 設(shè)每局比賽中甲勝的概率為p 乙勝的概率為q 平局的概率為r p r q 1 設(shè)每局比賽后 勝者得1分 負(fù)者得 1分 平局不記分 當(dāng)兩人中有一個(gè)人得到2分時(shí)比賽結(jié)束 以Xn表示第n局比賽甲的分?jǐn)?shù) 為齊次馬爾可夫鏈 解 概率為 第三節(jié)遍歷性 一 遍歷性的概念 三 應(yīng)用舉例 二 有限鏈 遍歷性的充分條件 一 遍歷性的概念 對(duì)于一般的兩個(gè)狀態(tài)的馬氏鏈 由上例題內(nèi)容可知 意義 對(duì)固定的狀態(tài)j 不管鏈在某一時(shí)刻的什么狀 態(tài)i出發(fā) 通過(guò)長(zhǎng)時(shí)間的轉(zhuǎn)移到達(dá)狀態(tài)j的概率都趨 定義 則稱(chēng)此鏈具有遍歷性 二 有限鏈 遍歷性的充分條件 試說(shuō)明帶有兩個(gè)反射壁的隨機(jī)游動(dòng)是遍歷的 并求其極限分布 平穩(wěn)分布 解 例1 三 應(yīng)用舉例 無(wú)零元 鏈?zhǔn)潜闅v的 代入最后一個(gè)方程 歸一條件 得唯一解 所以極限分布為 這個(gè)分布表明 經(jīng)過(guò)長(zhǎng)時(shí)間游動(dòng)之后 質(zhì)點(diǎn)Q位于點(diǎn)2 或3或4 的概率約為3 11 位于點(diǎn)1 或5 的概率約為1 11 設(shè)一馬氏鏈的一步轉(zhuǎn)移概率陣為 試討論它的遍歷性 解 例2 表明 此鏈不具遍歷性