馬爾可夫鏈概率論與數(shù)理統(tǒng)計.ppt

《馬爾可夫鏈概率論與數(shù)理統(tǒng)計.ppt》由會員分享，可在線閱讀，更多相關《馬爾可夫鏈概率論與數(shù)理統(tǒng)計.ppt（44頁珍藏版）》請在裝配圖網(wǎng)上搜索。

第一節(jié)馬爾可夫過程及其概率分布 第二節(jié)多步轉(zhuǎn)移概率的確定 第十三章馬爾可夫鏈 第三節(jié)遍歷性 第一節(jié)馬爾可夫過程及其概率分布 一 馬爾可夫過程的概念 二 馬爾可夫過程的概率分布 三 應用舉例 四 小結 一 馬爾可夫過程的概念 1 馬爾可夫性 無后效性 馬爾可夫性或無后效性 即 過程 將來 的情況與 過去 的情況是無關的 2 馬爾可夫過程的定義 具有馬爾可夫性的隨機過程稱為馬爾可夫過程 用分布函數(shù)表述馬爾可夫過程 恰有 或?qū)懗?并稱此過程為馬爾可夫過程 3 馬爾可夫鏈的定義 時間和狀態(tài)都是離散的馬爾可夫過程稱為馬爾可夫鏈 簡記為 研究時間和狀態(tài)都是離散的隨機序列 二 馬爾可夫過程的概率分布 1 用分布律描述馬爾可夫性 有 稱條件概率 說明 轉(zhuǎn)移概率具有特點 2 轉(zhuǎn)移概率 由轉(zhuǎn)移概率組成的矩陣 稱為馬氏鏈的轉(zhuǎn)移概率矩陣 此矩陣的每一行元素之和等于1 它是隨機矩陣 3 平穩(wěn)性 有關時 稱轉(zhuǎn)移概率具有平穩(wěn)性 同時也稱此鏈是齊次的或時齊的 稱為馬氏鏈的n步轉(zhuǎn)移概率 一步轉(zhuǎn)移概率 特別的 當n 1時 一步轉(zhuǎn)移概率矩陣 的狀態(tài) 記為P 設每一級的傳真率為p 誤碼率為q 1 p 設一個單位時間傳輸一級 只傳輸數(shù)字0和1的串聯(lián)系統(tǒng) 傳輸系統(tǒng) 如圖 分析 例1 三 應用舉例 而與時刻n以前所處的狀態(tài)無關 所以它是一個馬氏鏈 且是齊次的 一步轉(zhuǎn)移概率 一步轉(zhuǎn)移概率矩陣 例2一維隨機游動 游動的概率規(guī)則 1 3的概率向左或向右移動一格 或以1 3的概率留 在原處 如果Q現(xiàn)在位于點i 1 i 5 則下一時刻各以 以概率1移動到2 或4 這一點上 如果Q現(xiàn)在位于1 或5 這點上 則下一時刻就 1和5這兩點稱為反射壁 上面這種游動稱為帶有兩個反射壁的隨機游動 模擬方法 產(chǎn)生均勻分布的隨機數(shù)序列13232211122 其中1表示左移 2表示不動 3表示右移 理論分析 狀態(tài)空間就是I 而與時刻n以前所處的狀態(tài)無關 所以它是一個馬氏鏈 且是齊次的 一步轉(zhuǎn)移概率 說明 相應鏈的轉(zhuǎn)移概率矩陣只須把P中第1行改為 改變游動的概率規(guī)則 就可得到不同方式的 隨機游動和相應的馬氏鏈 如果把點1改為吸收壁 一步轉(zhuǎn)移概率矩陣 某計算機房的一臺計算機經(jīng)常出故障 研究者每隔15分鐘觀察一次計算機運行狀態(tài) 收集了24小時的數(shù)據(jù) 共作97次觀察 用1表示正常狀態(tài) 用0表示不正常狀態(tài) 所得的數(shù)據(jù)序列如下 1110010011111110011110111111001111111110001101101 分析 狀態(tài)空間 I 0 1 例3 111011011010111101110111101111110011011111100111 96次狀態(tài)轉(zhuǎn)移的情況 因此 一步轉(zhuǎn)移概率可用頻率近似地表示為 某電話亭有兩部電話 顧客的到達與離開都是隨機的 每隔一分鐘來一個顧客的概率為q 有一個顧客打完電話離開的概率為p 而且如果顧客到達時發(fā)現(xiàn)前面已經(jīng)有一個顧客在等待 該顧客即離去 并且排除每分鐘內(nèi)多于1人到達或離開的情況 用馬氏鏈來描述這個系統(tǒng) 例4 設Xn表示第n分鐘電話亭里的顧客數(shù) 即系統(tǒng)的狀態(tài) Xn n 0 1 2 3 是一個隨機過程 狀態(tài)空間為I 0 1 2 3 仿真前面例子的分析 可知它是一個齊次馬氏鏈 分析該馬氏鏈的一步轉(zhuǎn)移概率 p00p01p10p11p12p13p21p32p22p23p33 四 小結 齊次馬氏鏈 平穩(wěn)性的概念 一步轉(zhuǎn)移概率矩陣的計算 一步轉(zhuǎn)移概率 一步轉(zhuǎn)移概率矩陣 第二節(jié)多步轉(zhuǎn)移概率的確定 一 C K方程 二 多步轉(zhuǎn)移概率的確定 一 C K方程 是一齊次馬氏鏈 則對任意的 切普曼 柯爾莫哥洛夫方程 簡稱C K方程 說明 C K方程基于下列事實 這一事件可分解成 件的和事件 如下圖所示 證明 由條件概率定義和乘法定理得 馬氏性和齊次性 所以 考慮到馬氏性和齊次性 即得C K方程 C K方程也可寫成矩陣形式 二 多步轉(zhuǎn)移概率的確定 利用C K方程我們?nèi)菀状_定n步轉(zhuǎn)移概率 得遞推關系 從而可得 馬氏鏈的n步轉(zhuǎn)移概率是一步轉(zhuǎn)移概率的n次方 結論 解 例1 例2 甲乙兩人進行某種比賽 設每局比賽中甲勝的概率為p 乙勝的概率為q 平局的概率為r p r q 1 設每局比賽后 勝者得1分 負者得 1分 平局不記分 當兩人中有一個人得到2分時比賽結束 以Xn表示第n局比賽甲的分數(shù) 為齊次馬爾可夫鏈 解 概率為 第三節(jié)遍歷性 一 遍歷性的概念 三 應用舉例 二 有限鏈 遍歷性的充分條件 一 遍歷性的概念 對于一般的兩個狀態(tài)的馬氏鏈 由上例題內(nèi)容可知 意義 對固定的狀態(tài)j 不管鏈在某一時刻的什么狀 態(tài)i出發(fā) 通過長時間的轉(zhuǎn)移到達狀態(tài)j的概率都趨 定義 則稱此鏈具有遍歷性 二 有限鏈 遍歷性的充分條件 試說明帶有兩個反射壁的隨機游動是遍歷的 并求其極限分布 平穩(wěn)分布 解 例1 三 應用舉例 無零元 鏈是遍歷的 代入最后一個方程 歸一條件 得唯一解 所以極限分布為 這個分布表明 經(jīng)過長時間游動之后 質(zhì)點Q位于點2 或3或4 的概率約為3 11 位于點1 或5 的概率約為1 11 設一馬氏鏈的一步轉(zhuǎn)移概率陣為 試討論它的遍歷性 解 例2 表明 此鏈不具遍歷性