《《馬爾可夫鏈》PPT課件.ppt》由會(huì)員分享，可在線閱讀，更多相關(guān)《《馬爾可夫鏈》PPT課件.ppt（113頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。
1、第四章馬爾可夫鏈,,4.1馬爾可夫鏈與轉(zhuǎn)移概率,定義設(shè)X(t)，tT為隨機(jī)過(guò)程，若對(duì)任意正整數(shù)n及t10，且條件分布PX(tn)xn|X(t1)=x1,,X(tn-1)=xn-1=PX(tn)xn|X(tn-1)=xn-1，則稱X(t)，tT為馬爾可夫過(guò)程。若t1,t2,,tn-2表示過(guò)去，tn-1表示現(xiàn)在，tn表示將來(lái)，馬爾可夫過(guò)程表明：在已知現(xiàn)在狀態(tài)的條件下，將來(lái)所處的狀態(tài)與過(guò)去狀態(tài)無(wú)關(guān)。,,,,,4.1馬爾可夫鏈與轉(zhuǎn)移概率,常見馬爾可夫過(guò)程通常有三類：(1)時(shí)間、狀態(tài)都是離散的，稱為馬爾可夫鏈(2)時(shí)間連續(xù)、狀態(tài)離散的，稱為連續(xù)時(shí)間馬爾可夫鏈(3)時(shí)間、狀態(tài)都是連續(xù)的，稱為馬爾可夫過(guò)程（
2、時(shí)間離散、狀態(tài)連續(xù)的馬爾可夫過(guò)程，通常用泛函中二元函數(shù)的范數(shù)進(jìn)行研究）,隨機(jī)過(guò)程Xn，nT，參數(shù)T=0,1,2,,狀態(tài)空間I=i0,i1,i2,定義若隨機(jī)過(guò)程Xn，nT，對(duì)任意nT和i0,i1,,in+1I，條件概率PXn+1=in+1|X0=i0,X1=i1,,Xn=in=PXn+1=in+1|Xn=in，則稱Xn，nT為馬爾可夫鏈，簡(jiǎn)稱馬氏鏈。,4.1馬爾可夫鏈與轉(zhuǎn)移概率,4.1馬爾可夫鏈與轉(zhuǎn)移概率,馬爾可夫鏈的性質(zhì)PX0=i0,X1=i1,,Xn=in=PXn=in|X0=i0,X1=i1,,Xn-1=in-1PX0=i0,X1=i1,,Xn-1=in-1=PXn=in|Xn-1=in-
3、1PXn-1=in-1|X0=i0,X1=i1,,Xn-2=in-2PX0=i0,X1=i1,,Xn-2=in-2=PXn=in|Xn-1=in-1PXn-1=in-1|Xn-2=in-2PX0=i0,X1=i1,,Xn-2=in-2,4.1馬爾可夫鏈與轉(zhuǎn)移概率,==PXn=in|Xn-1=in-1PXn-1=in-1|Xn-2=in-2PX1=i1|X0=i0PX0=i0馬爾可夫鏈的統(tǒng)計(jì)特性完全由條件概率PXn+1=in+1|Xn=in確定。,4.1馬爾可夫鏈與轉(zhuǎn)移概率,定義稱條件概率pij(n)=PXn+1=j|Xn=i為馬爾可夫鏈Xn，nT在時(shí)刻n的一步轉(zhuǎn)移概率，簡(jiǎn)稱轉(zhuǎn)移概率，其中i,j
4、I。定義若對(duì)任意的i,jI，馬爾可夫鏈Xn,nT的轉(zhuǎn)移概率pij(n)與n無(wú)關(guān)，則稱馬爾可夫鏈?zhǔn)驱R次的，并記pij(n)為pij。齊次馬爾可夫鏈具有平穩(wěn)轉(zhuǎn)移概率，狀態(tài)空間I=1,2,3,，一步轉(zhuǎn)移概率為,4.1馬爾可夫鏈與轉(zhuǎn)移概率,轉(zhuǎn)移概率性質(zhì)(1)(2)P稱為隨機(jī)矩陣,4.1馬爾可夫鏈與轉(zhuǎn)移概率,例4.1賭博問(wèn)題。甲乙二人進(jìn)行一系列賭博，甲有a元，乙的賭本無(wú)限，每賭一局輸者給贏者1元，沒(méi)有和局，如果甲輸光，再輸則賭本為負(fù)。設(shè)在每一局中，甲贏的概率為p，輸?shù)母怕蕿閝=1-p。設(shè)Xn表示第n次賭博結(jié)束后甲的賭本，則Xn，n1是馬爾科夫鏈，求Xn的轉(zhuǎn)移矩陣,4.1馬爾可夫鏈與轉(zhuǎn)移概率,例4.1無(wú)限
5、制隨機(jī)游動(dòng),,,,,,,qp,-101i-1ii+1,一步轉(zhuǎn)移概率:,4.1馬爾可夫鏈與轉(zhuǎn)移概率,n步轉(zhuǎn)移概率:i經(jīng)過(guò)k步進(jìn)入j,向右移了x步,向左移了y步則,4.1馬爾可夫鏈與轉(zhuǎn)移概率,例4.4具有吸收壁和反射壁的隨機(jī)游動(dòng)狀態(tài)空間1,2,3,4，1為吸收壁，4為反射壁狀態(tài)轉(zhuǎn)移圖狀態(tài)轉(zhuǎn)移矩陣,4.1馬爾可夫鏈與轉(zhuǎn)移概率,定義稱條件概率=PXm+n=j|Xm=i為馬爾可夫鏈Xn，nT的n步轉(zhuǎn)移概率(i,jI,m0,n1)。n步轉(zhuǎn)移矩陣其中P(n)也為隨機(jī)矩陣,4.1馬爾可夫鏈與轉(zhuǎn)移概率,定理4.1設(shè)Xn，nT為馬爾可夫鏈，則對(duì)任意整數(shù)n0,0l
6、)P(n)=PP(n-1)(4)P(n)=Pn,4.1馬爾可夫鏈與轉(zhuǎn)移概率,證(1),4.1馬爾可夫鏈與轉(zhuǎn)移概率,(2)在(1)中令l=1,k=k1,得由此可遞推出公式(3)矩陣乘法(4)由(3)推出說(shuō)明：(1)此為C-K方程(切普曼-柯爾莫哥洛夫)(2)n步轉(zhuǎn)移概率由一步轉(zhuǎn)移概率確定，n步轉(zhuǎn)移概率矩陣由一步轉(zhuǎn)移概率矩陣確定(n次冪),4.1馬爾可夫鏈與轉(zhuǎn)移概率,初始概率絕對(duì)概率初始分布絕對(duì)分布初始概率向量絕對(duì)概率向量,定義,4.1馬爾可夫鏈與轉(zhuǎn)移概率,,設(shè)Xn，nT為馬爾可夫鏈，則對(duì)任意整數(shù)jI和n1，絕對(duì)概率pj(n)具有性質(zhì)(1)(2)(3)PT(n)=PT(0)P(n)(4)PT(n)
7、=PT(n-1)P,定理4.2,例如，設(shè)馬氏鏈的狀態(tài)空間I=1,2，那么時(shí)刻n的絕對(duì)概率分布應(yīng)滿足,PT(n)=(p1(n),p2(n)),PT(n)=PT(0)P(n),4.1馬爾可夫鏈與轉(zhuǎn)移概率,證(1),4.1馬爾可夫鏈與轉(zhuǎn)移概率,(2)(3)(4)為(1)(2)的矩陣表示。,4.1馬爾可夫鏈與轉(zhuǎn)移概率,,定理4.3設(shè)Xn，nT為馬爾可夫鏈，則對(duì)任意整數(shù)i1,i2,,inI和n1，有性質(zhì)證,4.1馬爾可夫鏈與轉(zhuǎn)移概率,例4.2賭徒輸光問(wèn)題甲有賭資a元，乙有賭資b元，賭一局輸者給贏者1元，無(wú)和局。甲贏的概率為p，乙贏的概率為q=1-p，求甲輸光的概率。解狀態(tài)空間I=0,1,2,,c，c=a
8、+b,,,,,,,qp,a-1aa+1,,,0a+b,4.1馬爾可夫鏈與轉(zhuǎn)移概率,設(shè)ui表示甲從狀態(tài)i出發(fā)轉(zhuǎn)移到狀態(tài)0的概率，求ua顯然u0=1，uc=0(u0表示已知甲輸光情形下甲輸光的概率，uc表示已知乙輸光情形下甲輸光的概率)ui=pui+1+qui-1(i=1,2,,c-1)（甲在狀態(tài)i下輸光：甲贏一局后輸光或甲輸一局后輸光）,4.1馬爾可夫鏈與轉(zhuǎn)移概率,,4.1馬爾可夫鏈與轉(zhuǎn)移概率,,4.1馬爾可夫鏈與轉(zhuǎn)移概率,,4.1馬爾可夫鏈與轉(zhuǎn)移概率,,4.1馬爾可夫鏈與轉(zhuǎn)移概率,例4.3天氣預(yù)報(bào)問(wèn)題RR表示連續(xù)兩天有雨，記為狀態(tài)0NR表示第1天無(wú)雨第2天有雨，記為狀態(tài)1RN表示第1天有雨第2
9、天無(wú)雨，記為狀態(tài)2NN表示連續(xù)兩天無(wú)雨，記為狀態(tài)3p00=PR今R明|R昨R今=PR明|R昨R今=0.7p01=PN今R明|R昨R今=0p02=PR今N明|R昨R今=PN明|R昨R今=0.3p03=PN今N明|R昨R今=0,4.1馬爾可夫鏈與轉(zhuǎn)移概率,類似地得到其他轉(zhuǎn)移概率，于是轉(zhuǎn)移概率矩陣為若星期一、星期二均下雨，求星期四下雨的概率,4.1馬爾可夫鏈與轉(zhuǎn)移概率,星期四下雨的情形如右，星期四下雨的概率2步轉(zhuǎn)移概率矩陣為,4.2馬爾可夫鏈的狀態(tài)分類,Xn,n0是離散馬爾可夫鏈，pij為轉(zhuǎn)移概率，i,jI，I=0,1,2,為狀態(tài)空間，pj,jI為初始分布定義4.3狀態(tài)i的周期d：d=G.C.Dn:
10、0(最大公約數(shù)greatestcommondivisor)如果d1，就稱i為周期的，如果d=1，就稱i為非周期的,4.2馬爾可夫鏈的狀態(tài)分類,例4.6設(shè)馬爾可夫鏈的狀態(tài)空間I=1,2,,9，轉(zhuǎn)移概率如下圖從狀態(tài)1出發(fā)再返回狀態(tài)1的可能步數(shù)為T=4,6,8,10,，T的最大公約數(shù)為2，從而狀態(tài)1的周期為2,4.2馬爾可夫鏈的狀態(tài)分類,注(1)如果i有周期d，則對(duì)一切非零的n,n0modd，有（若，則n=0modd）(2)對(duì)充分大的n，（引理4.1）例題中當(dāng)n=1時(shí)，當(dāng)n1時(shí)，,4.2馬爾可夫鏈的狀態(tài)分類,例4.7狀態(tài)空間I=1,2,3,4，轉(zhuǎn)移概率如圖，狀態(tài)2和狀態(tài)3有相同的周期d=2，但狀態(tài)2
11、和狀態(tài)3有顯著的區(qū)別。當(dāng)狀態(tài)2轉(zhuǎn)移到狀態(tài)3后，再不能返回到狀態(tài)2，狀態(tài)3總能返回到狀態(tài)3。這就要引入常返性概念。,4.2馬爾可夫鏈的狀態(tài)分類,由i出發(fā)經(jīng)n步首次到達(dá)j的概率(首達(dá)概率)規(guī)定由i出發(fā)經(jīng)有限步終于到達(dá)j的概率,4.2馬爾可夫鏈的狀態(tài)分類,若fii=1，稱狀態(tài)i為常返的；若fii<1，稱狀態(tài)i為非常返的i為非常返，則以概率1-fii不返回到ii為常返，則構(gòu)成一概率分布，期望值表示由i出發(fā)再返回到i的平均返回時(shí)間,定義,4.2馬爾可夫鏈的狀態(tài)分類,若i<，則稱常返態(tài)i為正常返的;若i=，則稱常返態(tài)i為零常返的，非周期的正常返態(tài)稱為遍歷狀態(tài)。例：判斷下面馬氏鏈各狀態(tài)的類型,定義,設(shè)i為常
12、返,4.2馬爾可夫鏈的狀態(tài)分類,引理4.2周期的等價(jià)定義G.C.D=G.C.D例4.8設(shè)馬爾可夫鏈的狀態(tài)空間I=1,2,3，轉(zhuǎn)移概率矩陣為求從狀態(tài)1出發(fā)經(jīng)n步轉(zhuǎn)移首次到達(dá)各狀態(tài)的概率,4.2馬爾可夫鏈的狀態(tài)分類,解狀態(tài)轉(zhuǎn)移圖如下，首達(dá)概率為,4.2馬爾可夫鏈的狀態(tài)分類,同理可得,4.2馬爾可夫鏈的狀態(tài)分類,首達(dá)概率與n步轉(zhuǎn)移概率有如下關(guān)系式定理4.4對(duì)任意狀態(tài)i,j及1n<，有,4.2馬爾可夫鏈的狀態(tài)分類,證,P(A,B|C)=P(B|A,C)P(A|C),,例：已知馬氏鏈轉(zhuǎn)移圖如下，求從狀態(tài)1出發(fā)再返回1的n步轉(zhuǎn)移概率，n=1,2,,8,4.2馬爾可夫鏈的狀態(tài)分類,定理4.5狀態(tài)i常返的充要
13、條件為如i非常返，則,以下討論常返性的判別與性質(zhì),4.2馬爾可夫鏈的狀態(tài)分類,數(shù)列的母函數(shù)與卷積an,n0為實(shí)數(shù)列，母函數(shù)bn,n0為實(shí)數(shù)列，母函數(shù)則an與bn的卷積的母函數(shù),4.2馬爾可夫鏈的狀態(tài)分類,定理4.5狀態(tài)i常返的充要條件為如i非常返，則證:規(guī)定，則由定理4.4,4.2馬爾可夫鏈的狀態(tài)分類,,4.2馬爾可夫鏈的狀態(tài)分類,對(duì)0s<1,4.2馬爾可夫鏈的狀態(tài)分類,,4.2馬爾可夫鏈的狀態(tài)分類,定理4.7設(shè)i常返且有周期為d，則其中i為i的平均返回時(shí)間，當(dāng)i=時(shí)推論設(shè)i常返，則(1)i零常返(2)i遍歷,,例：已知馬氏鏈轉(zhuǎn)移圖如下，求從狀態(tài)1出發(fā)再返回1的n步轉(zhuǎn)移概率，n=1,2,,8,
14、4.2馬爾可夫鏈的狀態(tài)分類,證(1)i零常返，i=，由定理4.7知，對(duì)d的非整數(shù)倍數(shù)的n，從而子序列i是零常返的,4.2馬爾可夫鏈的狀態(tài)分類,(2)子序列所以d=1，從而i為非周期的，i是遍歷的i是遍歷的，d=1，i<，,4.2馬爾可夫鏈的狀態(tài)分類,例4.10對(duì)無(wú)限制隨機(jī)游動(dòng)由斯特林近似公式可推出(1)當(dāng)且僅當(dāng)p=q=1/2時(shí)，4pq=1,4.2馬爾可夫鏈的狀態(tài)分類,狀態(tài)i是常返的狀態(tài)i是零常返的,4.2馬爾可夫鏈的狀態(tài)分類,(2)當(dāng)且僅當(dāng)pq，4pq<1狀態(tài)i是非常返的,4.1馬爾可夫鏈與轉(zhuǎn)移概率,例4.1無(wú)限制隨機(jī)游動(dòng),,,,,,,p,-101i-1ii+1,一步轉(zhuǎn)移概率:,,,,,,,,
15、,,p,p,p,q,q,q,q,狀態(tài)的可達(dá)與互通狀態(tài)i可達(dá)狀態(tài)j，ij：存在n0,使?fàn)顟B(tài)i與狀態(tài)j互通，ij：ij且ji定理4.8可達(dá)關(guān)系與互通關(guān)系都具有傳遞性，即(1)若ij，jk，則ik(2)若ij，jk，則ik,4.3狀態(tài)空間的分解,4.2馬爾可夫鏈的狀態(tài)分類,證(1)ij，存在l0，使jk，存在m0，使由C-K方程所以ik(2)由(1)直接推出,4.2馬爾可夫鏈的狀態(tài)分類,定理4.9如ij，則(1)i與j同為常返或非常返，如為常返，則它們同為正常返或零常返(2)i與j有相同的周期,4.2馬爾可夫鏈的狀態(tài)分類,例4.9設(shè)馬氏鏈Xn的狀態(tài)空間為I=0,1,2,，轉(zhuǎn)移概率為考察狀態(tài)0的類型,
16、4.2馬爾可夫鏈的狀態(tài)分類,可得出0為正常返的由于，所以0的周期為d=10為非周期的，從而為遍歷狀態(tài)對(duì)于其它狀態(tài)i,由于i0,所以也是遍歷的,4.3狀態(tài)空間的分解,定義狀態(tài)空間I的子集C稱為閉集，如對(duì)任意iC及kC都有pik=0;閉集C稱為不可約的，如C的狀態(tài)互通；馬氏鏈Xn稱為不可約的，如其狀態(tài)空間不可約引理4.4C是閉集的充要條件為對(duì)iC及kC都有,4.3狀態(tài)空間的分解,證充分性顯然成立必要性（數(shù)學(xué)歸納法）設(shè)C為閉集，由定義當(dāng)n=1時(shí)結(jié)論成立設(shè)n=m時(shí)，，iC及kC，則注：如pii=1，稱狀態(tài)i為吸收的，等價(jià)于單點(diǎn)集i為閉集。,4.3狀態(tài)空間的分解,例4.11設(shè)馬氏鏈Xn的狀態(tài)空間為I=1
17、,2,3,4,5，轉(zhuǎn)移概率矩陣為狀態(tài)3是吸收的，故3是閉集，1,4，1,3,4，1,2,3,4都是閉集，其中3，1,4是不可約的。I含有閉子集，故Xn不是不可約的鏈。,4.3狀態(tài)空間的分解,例4.12無(wú)限制隨機(jī)游動(dòng)為不可約馬氏鏈，各狀態(tài)的周期為2，當(dāng)p=q=1/2時(shí)，是零常返的，當(dāng)pq時(shí)，是非常返的。,4.3狀態(tài)空間的分解,定理4.10任一馬氏鏈的狀態(tài)空間I，可唯一地分解成有限個(gè)或可列個(gè)互不相交的子集D,C1,C2,之和，使得：(1)每一Cn是常返態(tài)組成的不可約閉集；(2)Cn中的狀態(tài)同類型，或全是正常返，或全是零常返，它們有相同的周期，且fij=1，i,jCn；(3)D由全體非常返態(tài)組成，自
18、Cn中狀態(tài)不能到達(dá)D中的狀態(tài)。,4.3狀態(tài)空間的分解,例4.13馬氏鏈的狀態(tài)空間I=1,2,3,4,5,6,狀態(tài)轉(zhuǎn)移矩陣為分解此鏈并指出各狀態(tài)的常返性及周期性。,4.3狀態(tài)空間的分解,解由狀態(tài)轉(zhuǎn)移圖知可見1為正常返狀態(tài)且周期為3，含1的基本常返閉集為C1=k:1k=1,3,5，從而狀態(tài)3及5也為正常返狀態(tài)且周期為3。同理可知6為正常返狀態(tài)，6=3/2，周期為1。含6的基本常返閉集為C2=k:6k=2,6，可見2，6為遍歷狀態(tài)。,4.3狀態(tài)空間的分解,于是I可分解為I=DC1C2=41,3,52,6定義4.10稱矩陣A=(aij)為隨機(jī)矩陣，若顯然k步轉(zhuǎn)移矩陣為隨機(jī)矩陣。,4.3狀態(tài)空間的分解,
19、引理4.5設(shè)C為閉集，G是C上所得的k步轉(zhuǎn)移子矩陣，則G仍是隨機(jī)矩陣。證任取iC，由引理4.4有從而且，故是隨機(jī)矩陣。,4.3狀態(tài)空間的分解,注：對(duì)I的一個(gè)閉子集，可考慮C上的原馬氏鏈的子馬氏鏈，其狀態(tài)空間為C，轉(zhuǎn)移矩陣為G=(pij)，i,jC是原馬氏鏈的轉(zhuǎn)移矩陣為P=(pij)，i,jI的子矩陣。,4.3狀態(tài)空間的分解,定理4.11周期為d的不可約馬氏鏈，其狀態(tài)空間C可唯一地分解為d個(gè)互不相交的子集之和，即且使得自Gr中任一狀態(tài)出發(fā)，經(jīng)一步轉(zhuǎn)移必進(jìn)入Gr+1中(Gd=G0)。注：任取一狀態(tài)i，對(duì)每一r=0,1,,d-1定義集,,例：已知馬氏鏈轉(zhuǎn)移圖如下，求從狀態(tài)1出發(fā)再返回1的n步轉(zhuǎn)移概率
20、，n=1,2,,8,4.3狀態(tài)空間的分解,例4.14設(shè)不可約馬氏鏈的狀態(tài)空間為C=1,2,3,4,5,6，轉(zhuǎn)移矩陣為,4.3狀態(tài)空間的分解,,,4.3狀態(tài)空間的分解,由狀態(tài)轉(zhuǎn)移圖可知各狀態(tài)的周期d=3,固定狀態(tài)i=1，令故C=G0G1G2=1,4,63,52,4.3狀態(tài)空間的分解,定理4.12設(shè)Xn,n0是周期為d的不可約馬氏鏈，則在定理4.11的結(jié)論下有(1)如只在0,d,2d,上考慮Xn，即得一新馬氏鏈Xnd，其轉(zhuǎn)移矩陣，對(duì)此新鏈，每一Gr是不可約閉集，且Gr中的狀態(tài)是非周期的；(2)如原馬氏鏈Xn常返，則新馬氏鏈Xnd也常返。,,,,,,,,,,,,,,,,,,4.3狀態(tài)空間的分解,例4
21、.15設(shè)Xn為例4.14中的馬氏鏈，已知d=3，則Xnd,n0的轉(zhuǎn)移矩陣為,4.3狀態(tài)空間的分解,由子鏈X3n的狀態(tài)轉(zhuǎn)移圖可知G0=1,4,6，G1=3,5，G2=2各形成不可約閉集，周期為1,,,4.3狀態(tài)空間的分解,,,,,,4.4漸近性質(zhì)與平穩(wěn)分布,考慮漸近性質(zhì)定理4.13如j非常返或零常返，則證若j非常返，則由定理4.5，從而若j零常返，則由定理4.7推論，,4.4漸近性質(zhì)與平穩(wěn)分布,由定理4.4，對(duì)N
22、常返的。證設(shè)I=0,1,,N，如I全是非常返狀態(tài)，則對(duì)任意i,jI，由定理4.13知故矛盾。,4.4漸近性質(zhì)與平穩(wěn)分布,如I含有零常返狀態(tài)i，則C=j:ij是有限不可約閉集，由定理4.10知，C中均為零常返狀態(tài)，由定理4.13知，由引理4.5知所以,4.4漸近性質(zhì)與平穩(wěn)分布,推論2如馬氏鏈有一個(gè)零常返狀態(tài)，則必有無(wú)限多個(gè)零常返狀態(tài)。證設(shè)i為零常返狀態(tài)，則C=j:ij是不可約閉集，C中均為零常返狀態(tài)，故C不能是有限集。否則，,4.4漸近性質(zhì)與平穩(wěn)分布,當(dāng)j是正常返狀態(tài)時(shí)，不一定存在，即使存在也可能與i有關(guān)。,例如下面的馬氏鏈中,不存在,4.4漸近性質(zhì)與平穩(wěn)分布,我們考慮,4.4漸近性質(zhì)與平穩(wěn)分布
23、,定理4.14如j是正常返狀態(tài)，周期為d，則對(duì)任意i及0rd-1，有證對(duì)d的非正整數(shù)倍數(shù)的n，(定理4.4，及設(shè)v-r=md，則v=md+r),4.4漸近性質(zhì)與平穩(wěn)分布,于是，對(duì)1Nn有固定N，先令n，再令N，由定理4.7可得從而,4.4漸近性質(zhì)與平穩(wěn)分布,推論設(shè)不可約、正常返、周期為d的馬氏鏈，其狀態(tài)空間為C，則對(duì)一切i,jC有其中為定理4.11中所給出當(dāng)d=1時(shí)，則對(duì)一切i,j有,例，已知馬氏鏈的轉(zhuǎn)移矩陣,P2=0.51000.49000.42000.5800P3=0.44700.55300.47400.5260,P4=0.46590.53410.45780.5422P8=0.46160.
24、53840.46150.5385,4.4漸近性質(zhì)與平穩(wěn)分布,定理4.15對(duì)任意狀態(tài)i,j有推論如Xn不可約、常返，則對(duì)任意i,j有,4.4漸近性質(zhì)與平穩(wěn)分布,下面考慮平穩(wěn)分布設(shè)是Xn,n0齊次馬爾可夫鏈，狀態(tài)空間為I，轉(zhuǎn)移概率為pij定義稱概率分布j,jI為馬爾可夫鏈的平穩(wěn)分布，若,例如，設(shè)馬氏鏈的狀態(tài)空間I=1,2，那么平穩(wěn)分布應(yīng)滿足,=(1,2),1+2=1,=P,4.1馬爾可夫鏈與轉(zhuǎn)移概率,初始概率絕對(duì)概率初始分布絕對(duì)分布初始概率向量絕對(duì)概率向量,定義,4.1馬爾可夫鏈與轉(zhuǎn)移概率,,設(shè)Xn，nT為馬爾可夫鏈，則對(duì)任意整數(shù)jI和n1，絕對(duì)概率pj(n)具有性質(zhì)(1)(2)(3)PT(n)=
25、PT(0)P(n)(4)PT(n)=PT(n-1)P,定理4.2,4.4漸近性質(zhì)與平穩(wěn)分布,注：(1)若初始概率分布pj,jI是平穩(wěn)分布，則pj=pj(1)=pj(2)==pj(n)(2)對(duì)平穩(wěn)分布j,jI，有矩陣形式=P(n)其中=(j)，P(n)=(),4.4漸近性質(zhì)與平穩(wěn)分布,定理4.16不可約非周期馬爾可夫鏈?zhǔn)钦７档某湟獥l件是存在平穩(wěn)分布，且此平穩(wěn)分布就是極限分布推論1有限狀態(tài)的不可約非周期馬爾可夫鏈必存在平穩(wěn)分布。(定理4.13推論1)推論2若不可約馬爾可夫鏈的所有狀態(tài)是非常返或零常返，則不存在平穩(wěn)分布。,4.4漸近性質(zhì)與平穩(wěn)分布,推論3若j,jI是馬爾可夫鏈的平穩(wěn)分布，則例4.1
26、6設(shè)馬爾可夫鏈的轉(zhuǎn)移概率矩陣為求馬爾可夫鏈的平穩(wěn)分布及各狀態(tài)的平均返回時(shí)間。,4.4漸近性質(zhì)與平穩(wěn)分布,解因?yàn)轳R爾可夫鏈?zhǔn)遣豢杉s非周期有限狀態(tài)的，所以平穩(wěn)分布存在，設(shè)=(1,2,3)，則=P，1+2+3=1即各狀態(tài)的平均返回時(shí)間為,4.4漸近性質(zhì)與平穩(wěn)分布,例4.17設(shè)馬爾可夫鏈具有狀態(tài)空間I=0,1,2,，轉(zhuǎn)移概率為pi,i+1=pi,pii=ri,pi,i-1=qi(i0)，其中q0=0,pi,qi0,pi+ri+qi=1。此馬爾可夫鏈為生滅鏈，它是不可約的。記a0=1，證此馬爾可夫鏈存在平穩(wěn)分布的充要條件為,4.4漸近性質(zhì)與平穩(wěn)分布,證設(shè)j,jI是平穩(wěn)分布,4.4漸近性質(zhì)與平穩(wěn)分布,,4.4漸近性質(zhì)與平穩(wěn)分布,例4.18設(shè)馬爾可夫鏈轉(zhuǎn)移概率矩陣為求每一個(gè)不可約閉集的平穩(wěn)分布。,4.4漸近性質(zhì)與平穩(wěn)分布,解從狀態(tài)轉(zhuǎn)移圖看出，狀態(tài)空間可分解為兩個(gè)不可約常返閉集C1=2,3,4和C2=5,6,7，一個(gè)非常返集N=1。在常返集上求平穩(wěn)分布。,4.4漸近性質(zhì)與平穩(wěn)分布,在C1上，對(duì)應(yīng)的轉(zhuǎn)移概率矩陣為C1上的平穩(wěn)分布為0,0.4,0.2,0.4,0,0,0同理可求得C2上的平穩(wěn)分布為0,0,0,0,1/3,1/3,1/3,,馬爾可夫過(guò)程（無(wú)后效性）馬爾可夫鏈（狀態(tài)、時(shí)間離散）齊次馬爾可夫鏈（轉(zhuǎn)移概率與時(shí)間無(wú)關(guān)）,I初始概率、絕對(duì)概率,ipi(0)pi(t)tt+T,,,,,,,,,,,
《馬爾可夫鏈》PPT課件.ppt
