《連續(xù)時間馬爾可夫鏈.ppt》由會員分享，可在線閱讀，更多相關(guān)《連續(xù)時間馬爾可夫鏈.ppt（28頁珍藏版）》請在裝配圖網(wǎng)上搜索。
1、第五章：連續(xù)時間的馬爾可夫鏈,連續(xù)時間馬爾可夫鏈定義 無窮小轉(zhuǎn)移概率矩陣 柯爾莫哥洛夫向前方程與向后方程 連續(xù)時間馬爾可夫鏈的應(yīng)用,定義5.1： 設(shè)隨機(jī)過程X(t),t0，狀態(tài)空間I=in, n0，若對任意0t1
2、時間中過程未離開狀態(tài)i，問在隨后的t個單位時間中過程仍不離開狀態(tài)i的概率是多少？,無記憶性,一個連續(xù)時間的馬爾可夫鏈，每當(dāng)它進(jìn)入狀態(tài)i，具有如下性質(zhì)： 在轉(zhuǎn)移到另一狀態(tài)之前處于狀態(tài)i的時間服從參數(shù)為vi的指數(shù)分布； 當(dāng)過程離開狀態(tài)i時，接著以概率pij進(jìn)入狀態(tài)j，,當(dāng)vi=時，稱狀態(tài)i為瞬時狀態(tài)； 當(dāng)vi0時，稱狀態(tài)i為吸收狀態(tài)。,對于指數(shù)分布的隨機(jī)變量X,定理5.1： 齊次馬爾可夫過程的轉(zhuǎn)移概率具有下列性質(zhì)： 證明,正則性條件,,證明:,定義5.3 對于任一t0，記,為絕對概率和初始概率。 分別稱pj(t),jI和pj,jI為齊次馬爾可夫過程的絕對概率分布和初始
3、概率分布。,定理5.2 齊次馬爾可夫過程的絕對概率及有限維概率分布具有下列性質(zhì)：,例題5.1： 證明:泊松過程X(t)為連續(xù)時間齊次馬爾可夫鏈。 (1)先證明馬氏性 (2)再證明齊次性,,,Q矩陣和柯爾莫哥洛夫方程,引理5.1 設(shè)齊次馬爾可夫過程滿足正則性條件，則對于任意固定的i,jI，pij(t)是t的一致連續(xù)函數(shù)。,定理5.3 設(shè)pij(t)是齊次馬爾可夫過程的轉(zhuǎn)移概率且滿足正則性條件，則下列極限存在： 稱為轉(zhuǎn)移速率或跳躍強(qiáng)度,Q矩陣和柯爾莫哥洛夫方程,若連續(xù)時間齊次馬爾可夫鏈?zhǔn)蔷哂杏邢逘顟B(tài)空間I=1,2, ,n，則其轉(zhuǎn)移速率可構(gòu)成以下形式的矩陣,Q矩陣的每一行元
4、素之和為0，對角線元素為負(fù)或0，其余qij0,利用Q矩陣可以推出任意時間間隔t的轉(zhuǎn)移概率所滿足的方程組，從而可以求解轉(zhuǎn)移概率。,定理5.4（ 柯爾莫哥洛夫向后方程） 假設(shè) ，則對一切i,j及t0，有,證明,由C-K方程可以知道：,,,兩邊除以h， 取極限可以得到：,,即,定理5.5（柯爾莫哥洛夫向前方程） 在適當(dāng)?shù)恼齽t條件下，則對一切i,j及t0，有,利用Kolmogorov向后方程或向前方程及下述初始條件，可以解得pij(t),柯爾莫哥洛夫向后和向前方程的矩陣表達(dá)形式為,連續(xù)時間馬爾可夫鏈的轉(zhuǎn)移概率的求解問題就是矩陣微分方程的求解問題，其轉(zhuǎn)移概率由其轉(zhuǎn)移速率矩陣Q決定。,柯爾莫
5、哥洛夫向后方程的矩陣表達(dá)形式為,例題5.2 考慮兩個狀態(tài)的連續(xù)時間馬爾可夫鏈，在轉(zhuǎn)移到狀態(tài)1之前在狀態(tài)0停留的時間是參數(shù)為的指數(shù)變量，而在回到狀態(tài)0之前它停留在狀態(tài)1的時間是參數(shù)為的指數(shù)分布，求轉(zhuǎn)移概率P00(t),P01(t),P10(t),P11(t)。,,,,向前方程：,,,解：,當(dāng)h趨于0時,,,,,,,,,,,,,,同理：,可求平穩(wěn)分布和絕對概率分布,Kolmogorov向后和向前方程所求得的解pij(t)是相同的,在實際應(yīng)用中，當(dāng)固定最后所處狀態(tài)j，研究pij(t)時（i=0,1, ），采用向后方程較方便； 當(dāng)固定狀態(tài)i，研究pij(t)時（j=0,1, ），采用向前方程較方便；
6、,定理5.6 齊次馬爾可夫過程在t時刻處于狀態(tài)jI的絕對概率pj(t)滿足下列方程,定義5.4 設(shè)pij(t)為連續(xù)時間馬爾可夫鏈的轉(zhuǎn)移概率，若存在時刻t1和t2，使得,則稱狀態(tài)i和j是互通的。若所有狀態(tài)都是互通的，則稱此馬爾可夫鏈為不可約的。,轉(zhuǎn)移概率pij(t)在t時的性質(zhì)及其平穩(wěn)分布關(guān)系,定理5.7 設(shè)連續(xù)時間的馬爾可夫鏈?zhǔn)遣豢杉s的，則有下列性質(zhì)： 若它是正常返的，則極限 存在且等于j0，jI。這里j是方程組 的唯一非負(fù)解，此時稱j,jI是該過程的平穩(wěn)分布，并且有 若它是零常返的或非常返的，則,例題5.3：機(jī)器維修問題 設(shè)例題5.2中狀態(tài)0代表某機(jī)器正常工作，狀態(tài)1代表機(jī)器出故障。狀態(tài)轉(zhuǎn)移概率與例題5.2相同，即在h時間內(nèi)，及其從正常工作變?yōu)槌龉收系母怕蕿閜01(h)=h+o(h)；在h時間內(nèi)，機(jī)器從有故障變?yōu)榻?jīng)修復(fù)后正常工作的概率為p10(h)=h+o(h)，試求在t=0時正常工作的機(jī)器，在t=5時為正常工作的概率。,5.3 生滅過程,設(shè)齊次馬爾可夫過程 的狀態(tài)空間為 轉(zhuǎn)移概率為 , 如果：,,,,則稱 為生滅過程 . 其中 為出生率， 為純滅過程。 為死亡率， 為純生過程。,,,,,,,
連續(xù)時間馬爾可夫鏈.ppt
