連續(xù)時間馬爾科夫鏈.ppt

《連續(xù)時間馬爾科夫鏈.ppt》由會員分享，可在線閱讀，更多相關(guān)《連續(xù)時間馬爾科夫鏈.ppt（17頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1 第四章 連續(xù)時間的馬爾可夫鏈 連續(xù)時間馬爾可夫鏈定義無窮小轉(zhuǎn)移概率矩陣Kolmogorov向前方程與向后方程連續(xù)時間馬爾可夫鏈的應(yīng)用 2 定義 設(shè)隨機過程 X t t 0 狀態(tài)空間I in n 0 若對任意0 t1 t2 tn 1及i1 i2 in 1 I 有 則稱 X t t 0 為連續(xù)時間馬爾可夫鏈 上式中條件概率的一般表現(xiàn)形式為 定義 若pij s t 的轉(zhuǎn)移概率與s無關(guān) 則稱連續(xù)時間馬爾可夫鏈具有平穩(wěn)的或齊次的轉(zhuǎn)移概率 此時轉(zhuǎn)移概率簡記為其轉(zhuǎn)移概率矩陣簡記為 3 時間軸 0 s s t 狀態(tài)i 狀態(tài)i持續(xù)時間 i 在0時刻馬爾可夫鏈進入狀態(tài)i 而且在接下來的s個單位時間中過程未離開狀態(tài)i 問在隨后的t個單位時間中過程仍不離開狀態(tài)i的概率是多少 4 一個連續(xù)時間的馬爾可夫鏈 每當(dāng)它進入狀態(tài)i 具有如下性質(zhì) 當(dāng)vi 時 稱狀態(tài)i為瞬時狀態(tài) 一個連續(xù)時間馬爾可夫鏈?zhǔn)前凑找粋€離散時間的馬爾可夫鏈從一個狀態(tài)轉(zhuǎn)移到另一個狀態(tài) 但在轉(zhuǎn)移到下一個狀態(tài)之前 它在各個狀態(tài)停留的時間服從指數(shù)分布 此外在狀態(tài)i過程停留的時間與下一個到達的狀態(tài)必須是相互獨立的隨機變量 1 在轉(zhuǎn)移到另一狀態(tài)之前處于狀態(tài)i的時間服從參數(shù)為vi的指數(shù)分布 2 當(dāng)過程離開狀態(tài)i時 接著以概率pij進入狀態(tài)j 當(dāng)vi 0時 稱狀態(tài)i為吸收狀態(tài) 5 定理 齊次馬爾可夫過程的轉(zhuǎn)移概率具有下列性質(zhì) 正則性條件 6 定義對于任一t 0 記 分別稱 pj t j I 和 pj j I 為齊次馬爾可夫過程的絕對概率分布和初始概率分布 定理齊次馬爾可夫過程的絕對概率及有限維概率分布具有下列性質(zhì) 7 定理設(shè)pij t 是齊次馬爾可夫過程的轉(zhuǎn)移概率且滿足正則性條件 則下列極限存在 無窮小轉(zhuǎn)移概率矩陣 引理設(shè)齊次馬爾可夫過程滿足正則性條件 則對于任意固定的i j I pij t 是t的一致連續(xù)函數(shù) 8 若連續(xù)時間齊次馬爾可夫鏈?zhǔn)蔷哂杏邢逘顟B(tài)空間I 1 2 n 則其轉(zhuǎn)移速率可構(gòu)成以下形式的矩陣 Q矩陣的每一行元素之和為0 對角線元素為負(fù)或0 其余qij 0 9 例題 證明泊松過程為連續(xù)時間齊次馬爾可夫鏈 并求其pij qij 例題 一個城市劃分成兩個區(qū)域A和B 各區(qū)被指定一輛消防車1和2負(fù)責(zé) 當(dāng)接到報警電話時 不論其來自A區(qū)還是B區(qū) 只要有一輛消防車空閑就會被服務(wù) 當(dāng)兩輛車都忙時 呼叫被拒絕 假設(shè)兩區(qū)的報警電話都是泊松分布 參數(shù)為 j j A B 兩輛車服務(wù)于不同區(qū)的時間為獨立的指數(shù)分布 參數(shù)為 ij i 1 2 j A B 則兩輛消防車的狀態(tài)為連續(xù)時間齊次馬爾可夫鏈 10 定理 Kolmogorov向后方程 假設(shè) 則對一切i j及t 0 有 定理 Kolmogorov向前方程 在適當(dāng)?shù)恼齽t條件下 則對一切i j及t 0 有 利用Kolmogorov向后方程或向前方程及下述初始條件 可以解得pij t 11 Kolmogorov向后和向前方程所求得的解pij t 是相同的 在實際應(yīng)用中 當(dāng)固定最后所處狀態(tài)j 研究pij t 時 i 0 1 采用向后方程較方便 當(dāng)固定狀態(tài)i 研究pij t 時 j 0 1 采用向前方程較方便 Kolmogorov向后和向前方程的矩陣表達形式為 連續(xù)時間馬爾可夫鏈的轉(zhuǎn)移概率的求解問題就是矩陣微分方程的求解問題 其轉(zhuǎn)移概率由其轉(zhuǎn)移速率矩陣Q決定 若Q是一個有限維矩陣 則上述矩陣方程的解為 12 定理齊次馬爾可夫過程在t時刻處于狀態(tài)j I的絕對概率pj t 滿足下列方程 定義設(shè)pij t 為連續(xù)時間馬爾可夫鏈的轉(zhuǎn)移概率 若存在時刻t1和t2 使得 則稱狀態(tài)i和j是互通的 若所有狀態(tài)都是互通的 則稱此馬爾可夫鏈為不可約的 13 轉(zhuǎn)移概率pij t 在t 時的性質(zhì)及其平穩(wěn)分布關(guān)系 定理設(shè)連續(xù)時間的馬爾可夫鏈?zhǔn)遣豢杉s的 則有下列性質(zhì) 若它是正常返的 則極限存在且等于 j 0 j I 這里 j是方程組的唯一非負(fù)解 此時稱 j j I 是該過程的平穩(wěn)分布 并且有若它是零常返的或非常返的 則 14 例題考慮兩個狀態(tài)的連續(xù)時間馬爾可夫鏈 在轉(zhuǎn)移到狀態(tài)1之前在狀態(tài)0停留的時間是參數(shù)為 的指數(shù)變量 而在回到狀態(tài)0之前它停留在狀態(tài)1的時間是參數(shù)為 的指數(shù)分布 求該馬爾可夫鏈的平穩(wěn)分布 例題 機器維修問題1設(shè)例題5 2中狀態(tài)0代表某機器正常工作 狀態(tài)1代表機器出故障 狀態(tài)轉(zhuǎn)移概率與例題5 2相同 即在h時間內(nèi) 及其從正常工作變?yōu)槌龉收系母怕蕿閜01 h h o h 在h時間內(nèi) 機器從有故障變?yōu)榻?jīng)修復(fù)后正常工作的概率為p10 h h o h 試求在t 0時正常工作的機器 在t 5時為正常工作的概率 15 生滅過程 16 例題 理發(fā)店問題 一個理發(fā)店有兩位理發(fā)師 兩個等待座位 顧客的到達率為每小時5個 理發(fā)師一小時可給兩個人理發(fā) 假定顧客到達為泊松分布 理發(fā)師的服務(wù)時間為指數(shù)分布 用X t 表示理發(fā)店內(nèi)的顧客數(shù) 則X t 為生滅過程 例題 M M 1排隊系統(tǒng) 顧客到達為參數(shù)為 的泊松過程 系統(tǒng)內(nèi)只有一個服務(wù)臺 每個顧客的服務(wù)時間為 的指數(shù)分布且與顧客到達時間相互獨立 用X t 表示系統(tǒng)t時刻的顧客數(shù) 則X t 為生滅過程 求1 求平穩(wěn)分布 2 系統(tǒng)的平均隊長 3 平均等待的顧客數(shù) 17 例題 機器維修問題2 設(shè)有m臺機床 s個維修工 sm 機床或是工作 或是損壞等待修理 機床損壞后 空著的維修工立即修理 若維修工不空 則機床按先壞先修隊列排隊等待修理 假定每臺機床從工作到損壞的時間服從參數(shù)為 的指數(shù)分布 每臺修理的機床修理好的時間為參數(shù)為 的指數(shù)分布 用X t 表示時刻t損壞的機床臺數(shù) 則 X t t0 是狀態(tài)空間E 0 1 2 m 的時間連續(xù)的生滅過程