《連續(xù)時間馬爾可夫鏈》由會員分享，可在線閱讀，更多相關(guān)《連續(xù)時間馬爾可夫鏈（16頁珍藏版）》請在裝配圖網(wǎng)上搜索。
1、1 第三節(jié) 連續(xù)時間馬爾可夫鏈 2 1 連續(xù)時間馬爾可夫鏈定義 連續(xù)時間的馬爾可夫鏈?zhǔn)沁@樣一種隨機過程，它： 具有無記憶性 狀態(tài)空間是離散的 時間上是連續(xù)的 與離散時間的馬爾可夫鏈的不同在于其狀態(tài)發(fā)生變 化的時刻是任意時刻，是連續(xù)值。 3 1 連續(xù)時間馬爾可夫鏈定義 取值在非負(fù)整數(shù)集 E上的隨機過程 X=Xt, tT=0,), 如果對一 切 T中的時刻 0t1t2tn+1及滿足 的任意狀態(tài) 成立著 則稱 X是 連續(xù)時間的馬爾可夫鏈 。 ( , 1 ) 0ktkP X i k n (1 )ki E k n 1 1 | , 1 | nk nn t t k t t n P X j X i k n P
2、 X j X i n n 1 in in+1 與此歷史無關(guān) 4 1 連續(xù)時間馬爾可夫鏈定義 記 pij(s,t)=P(Xt=j|Xs=i) 若此轉(zhuǎn)移概率只與 t-s有關(guān)，則稱 它為 X的齊次轉(zhuǎn)移概率函數(shù)，此 馬氏鏈 X為連續(xù)時間 齊次馬氏鏈 。 記 pij(t),成為長度為 t的時間區(qū)間上的 轉(zhuǎn)移概率 為連續(xù)時間馬氏鏈的 齊次轉(zhuǎn)移矩陣 其中 0 0 0 1 0 2 1 0 1 1 1 2 2 0 2 1 2 2 ( ) ( ) ( ) . ( ) ( ) ( ) . ( ) ( ) ( ) ( ) ( ) . . . . . ij p t p t p t p t p t p t P t p t
3、 p t p t p t ( ) 0 ( ) 1ij i j j p t p t 1 / 2 1 / 3 1 / 6 ( 2 . 5 ) 1 / 3 0 2 / 3 1 0 0 P 例如： 5 1 連續(xù)時間馬爾可夫鏈定義 若滿足下述條件 則稱 P(t)是 X的標(biāo)準(zhǔn)轉(zhuǎn)移矩陣。 有： 0 1l i m ( ) 0ijt ijpt ij 如 如 1 ( 0) 0 ( 0) ij ij p ij PI 6 2 K-C方程 1.K-C方程： 寫成矩陣的形式 : P(t+s)=P(t)P (s) 2. K氏前向方程 3. K氏后向方程 Q稱作密度矩陣，或瞬時概率轉(zhuǎn)移矩陣，也叫瞬時 強度轉(zhuǎn)移矩陣，通常稱作
4、Q矩陣 。 ( ) ( ) ( )i j i k k j k p t s p t p s ( ) ( ) ( ) ( )i j i k k j k P t P t Q p t p t q ( ) ( ) ( ) ( )i j i k k j k P t Q P t p t q p t （書 31頁） 7 3 Q矩陣 若 則 排隊論中 Q矩陣性質(zhì) 行和為 0 對角線元素為負(fù)數(shù) 如果 Q矩陣中元素為 0，則表示這種直接轉(zhuǎn)移不可能發(fā)生 0 1l i m ( ) 0ijt ijpt ij 如 如 0 0 ( ) 1 l im ( 0) ( 0 ) () l im ( 0) ( , ) ( 0) ii
5、ii ii ii i t ij ij ij i j t pt q p q q t pt q p q i j t QP 1 0 6 4 2 . 5 2 . 5 0 1 1 2 Q 例： 8 3 Q矩陣 齊次馬爾可夫鏈狀態(tài)之間的瞬時轉(zhuǎn)移可以用圖表示， 圖上標(biāo)明狀態(tài)之間瞬時強度轉(zhuǎn)移值 qij，叫狀態(tài)流圖 1 0 6 4 2 . 5 2 . 5 0 1 1 2 Q 例： 0 1 2 2.5 6 4 1 1 狀態(tài)流圖 9 4 Q矩陣 P(t) 依據(jù) K氏微分方程，可以從 Q矩陣求得 P(t), P(0)=I. 例：考察 E 0,1的連續(xù)時間馬氏鏈 X，設(shè) t極小 01 10 ( ) ( ) ( ) (
6、) p t t o t p t t o t 10 4 絕對概率 初始分布 (p0 ,p1 ,p2 ,p3 , ) pi=P(X(0)=i)=i(0) 絕對分布 (0(t), 1(t), 2(t), 3(t) j(t)=P(X(t)=j)= 由初始分布與 t時間區(qū)間轉(zhuǎn)移概率矩陣求 t時刻絕對 分布 為求瞬時概率分布函數(shù)的方程組 ()i i j i p p t ( ) ( ) (0 )j k k j i i k t t q p 初值： 11 5 平穩(wěn)分布 定義 若 存在，且 ，則 j稱為齊次 馬爾可夫鏈的平穩(wěn)分布 如何判別連續(xù)馬爾可夫鏈的平穩(wěn)分布必定存在？ 轉(zhuǎn)移概率矩陣是標(biāo)準(zhǔn)的 不可約的齊次馬氏鏈
7、，則極限存在，且與初始分布無關(guān) 正常返的齊次馬氏鏈，則此極限值為平穩(wěn)分布，且全部大 于 0 l im ( ) ( )jjt t j E 1 jj 12 5 平穩(wěn)分布 如何求離散馬爾可夫鏈的平穩(wěn)分布？ 定理 3.1 若 存在，則 。 根據(jù) 若存在平穩(wěn)分布，則 l im ( ) ( )jjt t j E lim ( ) 0jt t ( ) ( )j i i j i t t q l im ( ) l im ( )j i i jtt i t t q 00 1 i ij i i i qQ 寫成矩陣形式： 13 4 平穩(wěn)概率例題 一個連續(xù)時間的馬氏鏈 E=0,1,2,其狀態(tài)強度轉(zhuǎn)移矩陣和狀 態(tài)轉(zhuǎn)移圖為 平
8、衡方程： 列出方程組 得： 1 1 0 2 3 1 0 1 1 Q 1 0 2 1 1 1 2 0 1 2( , , ) 0Q 01 0 1 2 12 0 1 2 20 30 0 1 0 1 2 11 24 14 主要公式對比 離散時間馬氏鏈 連續(xù)時間馬氏鏈 轉(zhuǎn)移概率 一步轉(zhuǎn)移概率 pij 一步轉(zhuǎn)移概率矩陣 P n步轉(zhuǎn)移概率 n步轉(zhuǎn)移概率矩陣 P(n) t時間區(qū)間轉(zhuǎn)移概率 pij(t) t時間區(qū)間轉(zhuǎn)移概率矩陣 P(t) 強度轉(zhuǎn)移矩陣 Q 瞬時分布 初始分布 pi n時刻分布 初始分布 pi t時刻分布 j(t) 平穩(wěn)分布 (n)ijp (n)j 15 主要公式對比 離散時間馬氏鏈 連續(xù)時間馬氏
9、鏈 K-C方程 前向 方程 后向 方程 瞬時分布 平穩(wěn)分布 ( ) ( ) ( ) () n m n m i j i k k j k n m n m p p p P P P ( ) ( ) ( ) ( ) ( ) ( ) i j i k k j k p t s p t p s P t s P t P s ( ) ( ) ( ) ( )i j i k k j k P t P t Q p t p t q ( ) ( ) ( ) ( )i j i k k j k P t Q P t p t q p t () ( ) ( 0 ) ( ) ( 1 ) () nn k k i k n n n i i i P X i p p PP ( ) ( )j i i jit p p t ( ) ( )j k k j k t t q ( ) 0 P IP 0Q 16 6 兩個定理 定理 3.2 一個連續(xù)時間的齊次馬氏鏈，系統(tǒng)處在同一狀態(tài)的連續(xù) 時間服從負(fù)指數(shù)分布 定理 3.3 一個離散時間的齊次馬氏鏈，在同一狀態(tài)連續(xù)停留時間 的分布是幾何分布 因為馬氏鏈停留在某狀態(tài)下，發(fā)生轉(zhuǎn)移的概率與在此狀態(tài) 停留了多長時間是無關(guān)的。
連續(xù)時間馬爾可夫鏈
