馬爾科夫鏈考試?yán)}整理.pdf

《馬爾科夫鏈考試?yán)}整理.pdf》由會(huì)員分享，可在線閱讀，更多相關(guān)《馬爾科夫鏈考試?yán)}整理.pdf（61頁珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

若 表示質(zhì)點(diǎn)在時(shí)刻n所處的位置，分析它的概率特性。例1 直線上帶吸收壁的隨機(jī)游動(dòng)（醉漢游動(dòng)）設(shè)一質(zhì)點(diǎn)在線段[1，5 ]上隨機(jī)游動(dòng)，每秒鐘發(fā)生一次隨機(jī)游動(dòng)，移動(dòng)的規(guī)則是：（1）若移動(dòng)前在2，3，4處，則均以概率 向左或向右 移動(dòng)一單位；（2）若移動(dòng)前在1，5處，則以概率1停留在原處。21質(zhì)點(diǎn)在1，5兩點(diǎn)被“吸收”1 2 3 4 5( )X n 前言：馬爾可夫過程的描述分類 1 t X(t),例3 電話交換臺(tái)在時(shí)刻前來到的呼叫數(shù) 是無后效性的隨機(jī)過程. X(t),例2 直線上的隨機(jī)游動(dòng)時(shí)的位置 是 無后效性的隨機(jī)過程.無記憶性未來處于某狀態(tài)的概率特性只與現(xiàn)在狀態(tài)有關(guān)，而與以前的狀態(tài)無關(guān)，這種特性叫無記憶性（無后效性）。例4 布朗運(yùn)動(dòng) 2 若 表示質(zhì)點(diǎn)在時(shí)刻n所處的位置，求一步轉(zhuǎn)移概率。引例 例1 直線上帶吸收壁的隨機(jī)游動(dòng)（醉漢游動(dòng)）設(shè)一質(zhì)點(diǎn)在線段[1，5 ]上隨機(jī)游動(dòng)，每秒鐘發(fā)生一次隨機(jī)游動(dòng)，移動(dòng)的規(guī)則是：（1）若移動(dòng)前在2，3，4處，則均以概率 向左或向右 移動(dòng)一單位；（2）若移動(dòng)前在1，5處，則以概率1停留在原處。21質(zhì)點(diǎn)在1，5兩點(diǎn)被“吸收”1 2 3 4 5( )X n一步轉(zhuǎn)移概率矩陣的計(jì)算 3 有兩個(gè)吸收壁的隨機(jī)游動(dòng)其一步轉(zhuǎn)移矩陣為 ????????????????????? 10000 2102100 0210210 0021021 000011P狀態(tài)空間I={1，2，3，4，5}，參數(shù)集T={1，2，3，………}， 4 例2．帶有反射壁的隨機(jī)游動(dòng)設(shè)隨機(jī)游動(dòng)的狀態(tài)空間I = {0，1，2，…}，移動(dòng)的規(guī)則是： （1）若移動(dòng)前在0處，則下一步以概率p向右移動(dòng)一個(gè)單位，以概率q停留在原處（p+q=1）； （2）若移動(dòng)前在其它點(diǎn)處，則均以概率p向右移動(dòng)一個(gè)單位，以概率q向左移動(dòng)一個(gè)單位。設(shè) 表示在時(shí)刻n質(zhì)點(diǎn)的位置， 則{ ， }是一個(gè)齊次馬氏鏈，寫出其一步轉(zhuǎn)移概率。 nXnX 0?n 5 q p右反射壁m-1 mpq左反射壁 1 20 1 0 0 0 ... 0 0 00 0 0 ... 0 0 00 0 0 ... 0 0 0... ... ... ... ... ... ... ... ...0 0 0 0 0 ... 00 0 0 0 0 ... 0q pq pq pP q pq p? ?? ?? ?? ??? ?? ?? ?? ?? ? 6 pq反射壁 1 2 301 0 0 0 ...0 0 0 ...0 0 0 ...... ... ... ... ... ...q pq pP q p? ?? ?? ??? ?? ?? ? 7 例3．一個(gè)圓周上共有N格（按順時(shí)針排列），一個(gè)質(zhì)點(diǎn)在該圓周上作隨機(jī)游動(dòng)，移動(dòng)的規(guī)則是：質(zhì)點(diǎn)總是以概率p順時(shí)針游動(dòng)一格， 以概率 逆時(shí)針游動(dòng)一格。試求轉(zhuǎn)移概率矩陣。 pq ??1 1 0 0 0 ... 00 0 ... 0 00 0 ... 0 0... ... ... ... ... ... ...0 0 ... 0 00 ... 0 0 0p qq pq pP q pp q? ?? ?? ?? ??? ?? ?? ?? ?? ?{1,2,..., }I N? 8 4．一個(gè)質(zhì)點(diǎn)在全直線的整數(shù)點(diǎn)上作隨機(jī)游動(dòng)，移動(dòng)的規(guī)則是：以概率p從i移到i-1，以概率q從i移到i+1，以概率r停留在i，且 ，試求轉(zhuǎn)移概率矩陣。 1??? qpr 1 ... ... ... ... ... ... ... ...... 0 0 0 ...... 0 0 0 ...... ... ... ... ... ... ... ...p r qP p r q? ?? ?? ??? ?? ?? ?{..., 2, 1,0,1,2,...}E? ? ? 9 5．設(shè)袋中有a個(gè)球，球?yàn)楹谏幕虬咨?，今隨機(jī)地從袋中取一個(gè)球，然后放回一個(gè)不同顏色的球。若在袋里有k個(gè)白球，則稱系統(tǒng)處于狀態(tài)k，試用馬爾可夫鏈描述這個(gè)模型（稱為愛倫菲斯特模型），并求轉(zhuǎn)移概率矩陣。解 這是一個(gè)齊次馬氏鏈，其狀態(tài)空間為 I={0，1，2，…，a}一步轉(zhuǎn)移矩陣是 1 0 1 0 0 ... 01 10 0 ... 02 20 0 ... 0... ... ... ... ... ...1 10 ... 0 00 ... 0 0 1 0aa a aP a aaa a? ?? ??? ?? ?? ??? ??? ?? ?? ??? ?? ?? ?? ? 10 練習(xí)題．扔一顆色子，若前n次扔出的點(diǎn)數(shù)的最大值為j，就說 試問 是否為馬氏鏈？求一步轉(zhuǎn)移概率矩陣。 I={1，2，3，4，5，6},nX j?,nX j? 11 1 1 1 1 1 16 6 6 6 6 62 1 1 1 10 6 6 6 6 63 1 1 10 0 6 6 6 64 1 10 0 0 6 6 6 5 10 ... 0 0 6 60 ... 0 0 1 0P ? ?? ?? ?? ?? ?? ?? ??? ?? ?? ? ? ?? ?? ?? ?? ?? ? 12 例1甲、乙兩人進(jìn)行比賽，設(shè)每局比賽中甲勝的概率是p，乙勝的概率是q，和局的概率是 ，（ ）。設(shè)每局比賽后，勝者記“+1”分，負(fù)者記“—1”分，和局不記分。當(dāng)兩人中有一人獲得2分結(jié)束比賽。以 表示比賽至第n局時(shí)甲獲得的分?jǐn)?shù)。 r1??? rqp nX（1）寫出狀態(tài)空間；（3）問在甲獲得1分的情況下，再賽二局可以結(jié)束比賽的概率是多少？ 13 解 （1） 記甲獲得“負(fù)2分”為狀態(tài)1，獲得“負(fù)1分”為狀態(tài)2，獲得“0分”為狀態(tài)3，獲得“正1分”為狀態(tài)4，獲得“正2分”為狀態(tài)5，則狀態(tài)空間為{1 2 3 4 5}I? ， ， ， ，一步轉(zhuǎn)移概率矩陣 1 0 0 0 00 0 0 00 00 0 0 0 1q r pP q r pq r p? ?? ?? ?? ??? ?? ?? ?? ? 14 （2）二步轉(zhuǎn)移概率矩陣(2) 2P P? ???????????????? ?????? 10000 20 222 02 00001 22 222 22 rpppqrqrq pprpqrrqq pprpqrrpq 15 （3）從而結(jié)束比賽的概率；從而結(jié)束比賽的概率。所以題中所求概率為 )1(0)( rprpp ????? 16 分析例2 賭徒輸光問題賭徒甲有資本a元，賭徒乙有資本b元，兩人進(jìn)行賭博，每賭一局輸者給贏者1元，沒有和局，直賭至兩人中有一人輸光為止。設(shè)在每一局中，甲獲勝的概率為p，乙獲勝的概率為 ，求甲輸光的概率。 pq ??1這個(gè)問題實(shí)質(zhì)上是帶有兩個(gè)吸收壁的隨機(jī)游動(dòng)。從甲的角度看，他初始時(shí)刻處于a，每次移動(dòng)一格，向右移（即贏1元）的概率為p，向左移（即輸1元）的概率為q。如果一旦到達(dá)0（即甲輸光）或a + b（即乙輸光）這個(gè)游動(dòng)就停止。這時(shí)的狀態(tài)空間為{0，1，2，…，c}，c = a + b，?，F(xiàn)在的問題是求質(zhì)點(diǎn)從a出發(fā)到達(dá)0狀態(tài)先于到達(dá)c狀態(tài)的概率。 17 考慮質(zhì)點(diǎn)從j出發(fā)移動(dòng)一步后的情況解 設(shè) cj??0設(shè) ju 為質(zhì)點(diǎn)從 j出發(fā)到達(dá)0狀態(tài)先于到達(dá) c 狀態(tài)的概率。 在以概率 p移到 1?j 的假設(shè)下，到達(dá)0 狀態(tài)先于到達(dá) c 狀態(tài)的概率為 1?ju同理 以 概 率 q 移 到 1?j 的 前 提 下 ， 到達(dá)0狀態(tài)先于到達(dá)c狀態(tài)的概率為 1?ju根據(jù)全概率公式有 qupuu jjj 11 ?? ??這一方程實(shí)質(zhì)上是一差分方程，它的邊界條件是0,10 ?? cuu 18 于是設(shè) ))(( 11 jjjj uupquu ??? ??pqr ? 1??? jjj uud則可得到兩個(gè)相鄰差分間的遞推關(guān)系 1?? jj rdd于是 21 2 0jj j jd rd r d r d? ?? ? ? ?? 欲求 au 先求 ju 需討論 r 19 當(dāng)而 1?r cuu ?? 01 )( 110 ??? ??? jjcj uujcj d???? 10 010 dr jcj???? 011 drrc??? cjj uuu ?? )( 11 ??? ??? iic ji uu 011 drd ic jiic ji ?? ???? ?? 1 0(1 )j c jr r r d? ?? ? ? ?? 01 drrr cj???兩式相比 ccjj rrru ??? 1 20 故 ccaa rrru ??? 1 ???????? ????????? ?? cca pqpqpq )(1)()(當(dāng) 1?r 00 1 cduu c ???而 0)( djcuj ??因此 c jcuj ??故 cbcacua ??? 21 用同樣的方法可以求得乙先輸光的概率由以上計(jì)算結(jié)果可知當(dāng) 1?r 即 qp? 時(shí)，甲先輸光的概率為???????? ????????? ? cca pqpqpq )(1)()(當(dāng) 1?r 即 qp? 時(shí)，甲先輸光的概率為cb 當(dāng) qp? 時(shí)，乙輸光的概率為 ???????? ????????? ? ca pqpq )(1)(1 當(dāng) qp? 時(shí)，乙先輸光的概率為 ca 22 例3 排隊(duì)問題顧客到服務(wù)臺(tái)排隊(duì)等候服務(wù)，在每一個(gè)服務(wù)周期中只要服務(wù)臺(tái)前有顧客在等待，就要對(duì)排在前面的一位提供服務(wù)，若服務(wù)臺(tái)前無顧客時(shí)就不能實(shí)施服務(wù)。 設(shè)在第 n 個(gè)服務(wù)周期中到達(dá)的顧客數(shù)為一隨機(jī)變量 nY 且諸 nY 獨(dú)立同分布： 1??k kp 記 nX 為服務(wù)周期 n 開始時(shí)服務(wù)臺(tái)前顧客數(shù)則有 ??? ?????? 0, 1,11 nn nnnn XY XYXX 若若 此時(shí){ nX ， 1?n }為一馬氏鏈， 求其轉(zhuǎn)移矩陣 在第n周期已有一個(gè)顧客在服務(wù)，到第n+1周期已服務(wù)完畢23 解 先求出轉(zhuǎn)移概率 )0|0( 0100 ??? XXPp )0( 0?? YP 0p?)0|1( 0101 ??? XXPp )1( 0?? YP 1p?)1|0( 110 ??? ? nn XXPp )1|01( ????? nnn XYXP )0( ?? nYP 0p?)1|1( 111 ??? ? nn XXPp )1|11( ????? nnn XYXP )1( ?? nYP 1p?)2|0( 120 ??? ? nn XXPp )2|01( ????? nnn XYXP )1( ??? nYP 0?)2|1( 121 ??? ? nn XXPp )2|11( ????? nnn XYXP )0( ?? nYP 0p?)2|2( 122 ??? ? nn XXPp )1( ?? nYP 1p? 24 所以轉(zhuǎn)移矩陣為 0 1 2 3 40 1 2 3 41 0 1 2 30 1 200 0p p p p pp p p p pP p p p pp p p? ?? ?? ?? ??? ?? ?? ?? ?? ?????? ? ? ? ? ? 25 證 }{ jXP n ? 0I { , }ni P X j X i?? ? ?? 0 0I { } { | }ni P X i P X j X i?? ? ? ?? ( )i I niji p p??? 0{ , }n iP X j X i? ? ?? (n) (n)1 2 1 2(1) (1) (1) (1)1 1 i 1 1 11 2 21E I={1,2},3 2 P ,P , P ,P5 51,P {X =1}= piinP p p p p p?? ??? ? ??設(shè)馬氏鏈的狀態(tài)空間 初始分布為試對(duì)n=1,2,3,計(jì)算 解：例2 26 定理4.3 馬爾科夫鏈的有限維分布： 1 1 2 m-1 m1 1 2 2 m m 0 1 20 1 2 {X ,X , ,X } 1) , 0,0.1 0.2 0.70.9 0.1 00.1 0.8 0.10.3 0.4 0.3 {X 0,X 1,X 2} 2i ii i i i ii I P i i ip p p p nPp p p p? ? ? ?? ?? ?? ??? ?? ?? ?? ? ? ? ? ?? ?? n由全概率公式得到證明，它是公式（ 的推廣?？紤]狀態(tài)0，1，2上的一個(gè)馬氏鏈X它又轉(zhuǎn)移概率矩陣初始分布為 ， ， ，試求 概率（1）3：（例 ） 2 3 4{X 0,X 2,X 1}p ? ? ? 27 ? 練習(xí)：馬氏鏈的狀態(tài)空間I={1，2，3}，初始概率為1 2 3 12 12 22 1 3 04 41 1 1 1 1 1, , ,4 2 4 3 3 31 30 4 4(1) P{X(0)=1,X(1)=2,X(2)=2},p (2)(2) P{X(1)=2,X(2)=2 X(0)=1}=p(3) P{X(1)=1,X(2)=2,X(3)=3}p p p P p? ?? ?? ?? ?? ? ? ?? ?? ?? ?? ?? ?計(jì)算證明：求 28 例4 市場占有率預(yù)測設(shè)某地有1600戶居民，某產(chǎn)品只有甲、乙、丙3廠家在該地銷售。經(jīng)調(diào)查，8月份買甲、乙、丙三廠的戶數(shù)分別為480，320，800。9月份里，原買甲的有48戶轉(zhuǎn)買乙產(chǎn)品，有96戶轉(zhuǎn)買丙產(chǎn)品；原買乙的有32戶轉(zhuǎn)買甲產(chǎn)品，有64戶轉(zhuǎn)買丙產(chǎn)品；原買丙的有64戶轉(zhuǎn)買甲產(chǎn)品，有32戶轉(zhuǎn)買乙產(chǎn)品。用狀態(tài)1、2、3分別表示甲、乙、丙三廠，試求（1）轉(zhuǎn)移概率矩陣；（2）9月份市場占有率的分布；（3）12月份市場占有率的分布； 29 解 （1）E{1，2，3},狀態(tài)1、2、3分別表示甲、乙、丙的用戶一步轉(zhuǎn)移概率矩陣為480 48 96 48 960.7, 0.1, 0.2480 480 48032 320 32 64 640.1, 0.7, 0.2320 320 32064 32 800 64 320.08, 0.04, 0.88800 800 800? ?? ? ? ? ? ?? ? ? ? ?? ?? ? ? ? ?11 12 1321 22 2331 32 33P P P－ －P P P ＝P P P ＝??????????? 88.004.008.0 2.07.01.0 2.01.07.0 1P（2）以1600除8月份甲，乙，丙的戶數(shù)，得初始概率分布（即初始市場占有率）(0) (0) (0)1 2 3(0) ( , , ) (0.3 0.2 0.5)P p p p? ? 30 所以9月份市場占有率分布為（3）12月份市場占有率分布為1)0()1( PPP ? )5.02.03.0(? ?????????? 88.004.008.0 2.07.01.0 2.01.07.0)54.019.027.0(? 41)0()4( PPP ? )5.02.03.0(? 488.004.008.0 2.07.01.0 2.01.07.0 ?????????? )5983.01698.02319.0(? 31 例1其一步轉(zhuǎn)移矩陣為試研究各狀態(tài)間的關(guān)系，并畫出狀態(tài)傳遞圖。 設(shè)馬氏鏈 }0,{ ?nXn 的狀態(tài)空間 I={0，1，2}????????????????? 32310 414121 021211P解 先按一步轉(zhuǎn)移概率，畫出各狀態(tài)間的傳遞圖 32 2/31/41/4 1/31/21/20 1 21/2 圖3---1由圖可知 狀態(tài)0可到達(dá)狀態(tài)1，經(jīng)過狀態(tài)1又可到達(dá)狀態(tài)2；反之，從狀態(tài)2出發(fā)經(jīng)狀態(tài)1也可到達(dá)狀態(tài)0。因此，狀態(tài)空間I的各狀態(tài)都是互通的。又由于I 的任意狀態(tài)i (i = 0，1，2)不能到達(dá)I 以外的任何狀態(tài)， 所以I是一個(gè)閉集而且I 中沒有其它閉集 所以此馬氏鏈?zhǔn)遣豢杉s的。 33 例2其一步轉(zhuǎn)移矩陣為試討論哪些狀態(tài)是吸收態(tài)、閉集及不可約鏈。解 先按一步轉(zhuǎn)移概率，畫出各狀態(tài)間的傳遞圖 設(shè) 馬 氏 鏈 的 狀 態(tài) 空 間 為 I = {1， 2， 3， 4， 5}????????????????? 00010 00001 00100 002/102/1 02/1002/11P 34 111/2 1/21/2 31 1/2圖4---24 52 1 閉集，由圖可知 狀態(tài)3為吸收態(tài)且 故 1C= {3}為閉集2C ={1,4} 3C ={1,3,4}閉集， 閉集，其中 是不可約的。1C ， 2C又因狀態(tài)空間I有閉子集，故此鏈為非不可約鏈。 35 3．常返態(tài)與瞬時(shí)態(tài)則稱狀態(tài)i為常返態(tài)則稱狀態(tài)i為瞬時(shí)態(tài)注 若 1?iif 若 1?iif“常返”一詞，有時(shí)又稱“返回”、“常駐”或“持久”“瞬時(shí)”也稱“滑過” 或“非常返”定理4 若 1?iif ，則系統(tǒng)以概率 1無窮次返回 i； 若 1?iif ，則系統(tǒng)以概率 1 只有有窮次返回 i。 定理5 i是常返態(tài)的充要條件是 ?????0 )(n niip定理6 如果i為常返態(tài)，且 ，則j也是常返態(tài)。ji?定理7 所有常返態(tài)構(gòu)成一個(gè)閉集 36 5．正常返態(tài)與零常返態(tài)平均返回時(shí)間 從狀態(tài)i出發(fā)，首次返回狀態(tài)i的平均時(shí)間稱為狀態(tài)i平均返回時(shí)間.根據(jù)的值是有限或無限，可把常返態(tài)分為兩類：設(shè)i是常返態(tài)，則稱i為正常返態(tài)； )(11 }{][ niiniiniii nfnTnPTE ?? ?? ????? 若 ??i? 若 ??i? ， 則稱i為零常返態(tài)。 37 例 其一步轉(zhuǎn)移矩陣如下，是對(duì)I進(jìn)行分解。0 .1 0 .1 0 .2 0 .2 0 .4 0 00 0 0 .5 0 .5 0 0 00 0 0 1 0 0 00 1 0 0 0 0 00 0 0 0 0 .5 0 .5 00 0 0 0 0 .5 0 0 .50 0 0 0 0 0 .5 0 .5P ? ?? ?? ?? ?? ?? ? ?? ?? ?? ?? ?? ?I可分解為：C 1={2，3, 4} C2={5，6,7} 兩個(gè)閉集及N={1} ，即I=N+ C1+ C2 1 20 0.5 0.5 0.5 0 0.50 0 1 P= 0.5 0.5 01 0 0 0 0.5 0.5P ? ? ? ?? ? ? ??? ? ? ?? ? ? ?? ? ? ?38 用極限判斷狀態(tài)類型的準(zhǔn)則（2）i是零常返態(tài)（3）i是正常返態(tài) 0lim )( ??? niin p（1）i是瞬時(shí)態(tài)? ????? )(0 niin p（這時(shí) 0lim )( ??? niin p ）? ????? )(0 niin p且? ????? )(0 niin p且 0lim )( ??? niin p首頁 39 例3 轉(zhuǎn)移矩陣}4,3,2,1{?I ????????????????? 0001 1000 0100 41414141P試對(duì)其狀態(tài)分類。解 按一步轉(zhuǎn)移概率，畫出各狀態(tài)間的傳遞圖 2 1/41 11/4 1/4 11/41 43 40 從圖可知，此鏈的每一狀態(tài)都可到達(dá)另一狀態(tài)，即4個(gè)狀態(tài)都是相通的?？紤]狀態(tài)1是否常返，需要計(jì)算 11f ：41)1(11 ?f (2)11 14 41 14f p p? ? ?41413413)3(11 ???? pppf 4141342312)4(11 ?? ppppf )(11111 nn ff ???? 141414141 ?????于是狀態(tài)1是常返的。 ??????? 25)(1111 nn fn?又因?yàn)樗誀顟B(tài)1是正常返的。此鏈所有狀態(tài)都是正常返的。 2 1/41 11/4 1/4 11/41 43 41 三、狀態(tài)的周期與遍歷1．周期狀態(tài)對(duì)于任意的 ，令其中GCD表示最大公約數(shù)Ii? }01{ )( ??? niii pnGCDd ： 如果 1?id ， 則稱 為周期態(tài)，i id 為周期 如果 1?id 則稱 為非周期態(tài)。i定理11 設(shè)馬氏鏈的狀態(tài)空間為 I， Iji ?, （1）若 ji? ，則 ji dd ? ； （2）若是不可約馬氏鏈，且 0?iip ，則此馬氏鏈?zhǔn)欠侵芷阪湣?．遍歷狀態(tài) 若狀態(tài)i是正常返且非周期，則稱i為遍歷狀態(tài)。 若馬氏鏈{ nX }的所有狀態(tài)都是遍歷的， 111/2 1/21/2 31 1/2圖4---24 52 1 42 例4 設(shè)馬氏鏈的狀態(tài)空間I = {0,1,2,…}，轉(zhuǎn)移概率為試討論各狀態(tài)的遍歷性。解 根據(jù)轉(zhuǎn)移概率作出狀態(tài)傳遞圖2100 ?p ， 211, ??iip ， 210 ?ip ， Ii?…1/2 1/2 1/21/2 1/21/20 1 21/2 圖4---4 31/2 43 從圖可知，對(duì)任一狀態(tài) 都有 ，故由定理可知，I 中的所以狀態(tài)都是相通的，Ii? 0?i因此只需考慮狀態(tài)0是否正常返即可。(1)00 1,2f ? (2)00 1 1 1,2 2 4f ? ? ? (3) 300 1 1( ) ,2 8f ? ? …故 121100 ????? nnf從而0是常返態(tài)。又因?yàn)?( )0 001 1 1 22n nn nnf n? ? ?? ?? ? ? ? ??? ?所以狀態(tài)0為正常返。 又由于021)1(00 ??p 故狀態(tài)0為非周期的從而狀態(tài)0是遍歷的。 故所有狀態(tài)i都是遍歷的。 …1/2 1/2 1/21/2 1/21/20 1 21/2 圖4---4 31/2 44 1/3 1/211/3 1/211/31 2 34例5．設(shè)馬氏鏈的狀態(tài)空間I={1，2，3，4}，其一步轉(zhuǎn)移矩陣為解 試對(duì)其狀態(tài)分類。 ????????????????? 0010 021210 0001 31313101P 按一步轉(zhuǎn)移概率，畫出各狀態(tài)間的傳遞圖它是有限狀態(tài)的馬氏鏈，故必有一個(gè)常返態(tài)，又鏈中四個(gè)狀態(tài)都是互通的。因此，所有狀態(tài)都是常返態(tài)，這是一個(gè)有限狀態(tài)不可約的馬氏鏈?？衫^續(xù)討論是否為正常返態(tài) 45 可討論狀態(tài)10)1(11 ?f 31)2(11 ?f 21213131)3(11 ????f 1211212131)4( 11 ?????f ( )11 11 21 1 1 1 1 13 2 12 2 12 2 12nnf f??? ? ? ? ? ? ?? ?? ?122 1121212131)5(11 ???????f 122 112121212131 2)6(11 ????????f 1? 1/3 1/211/3 1/211/31 2 34 46 狀態(tài)1是常返態(tài))(1111 nn fn??????? 21 1 1 1 12 3 4 5 63 2 12 2 12 2 12? ? ? ? ? ? ? ? ? ? ?? ? ?狀態(tài)1是正常返態(tài)所以，全部狀態(tài)都是正常返態(tài) 1/3 1/211/3 1/211/31 2 34 47 例1 其一步轉(zhuǎn)移矩陣為試證此鏈具有遍歷性，并求平穩(wěn)分布和各狀態(tài)的平均返回時(shí)間????????????????? 32310 32031 032311P解 由于 ?? 212 )(PP ???????????????? 329291 949491 949231 48 所以因此，該馬氏鏈具有遍歷性。解得1 1 22 1 3 3 2 31 2 31 13 32 13 32 23 3 1? ? ?? ? ?? ? ?? ? ?? ? ???? ? ???? ? ???? ? ? ??所以馬氏鏈的平穩(wěn)分布為 Xi? 1 2 371 72 74各狀態(tài)的平均返回時(shí)間 49 例2 設(shè)有6個(gè)球（其中2個(gè)紅球，4個(gè)白球）分放于甲、乙兩個(gè)盒子中，每盒放3個(gè)，今每次從兩個(gè)盒中各任取一球并進(jìn)行交換，以 表示開始時(shí)甲盒中紅球的個(gè)數(shù)， （ ）表示經(jīng)n次交換后甲盒中的紅球數(shù)。( 1 ) 求馬氏鏈{ ， }的轉(zhuǎn)移概率矩陣；0XnX 1?nnX 1?n( 2 ) 證明{ ， }是遍歷的； nX 1?n（3）求 )(lim nijn p?? 2,1,0, ?ji（4）求lim ( )jn p n?? 2,1,0?j 50 解 其一步轉(zhuǎn)移矩陣為 ????????????????? 31320 929592 032311P甲 乙紅球0白球3 紅球2白球1紅球1白球2 紅球1白球2紅球2 白球1 紅球0白球3 1/32/95/9 2/32/91/30 1 22/3 51 由狀態(tài)傳遞圖 1/32/95/9 2/32/91/30 1 22/3（2）由于它是一個(gè)有限馬氏鏈，故必有一個(gè)常返態(tài)，又鏈中三個(gè)狀態(tài)0、1、2都相通，所以每個(gè)狀態(tài)都是常返態(tài)。所以是一個(gè)不可約的有限馬氏鏈，從而每個(gè)狀態(tài)都是正常返的。所以此鏈為非周期的。 故此鏈?zhǔn)遣豢杉s非周期的正常返鏈，即此鏈?zhǔn)潜闅v的。 52 也可以利用定理1證明遍歷性 2212 31320 929592 03231 ?????????????????? PP 53 解之得 0 0 11 0 1 22 1 20 1 2j 1 23 92 5 23 9 32 19 3 10,( 0,1,2)j? ? ?? ? ? ?? ? ?? ? ??? ? ???? ? ? ????? ? ??? ? ? ?? ? ???故得 ( )0lim nin p?? ? 0 15? ?( )1lim nin p?? ? 1 35? ? 54 （4） 0 15? ?1 35? ?0lim ( )n p n?? ?1lim ( )n p n?? ? 55 例3 市場占有率預(yù)測設(shè)某地有1600戶居民，某產(chǎn)品只有甲、乙、丙3廠家在該地銷售。經(jīng)調(diào)查，8月份買甲、乙、丙三廠的戶數(shù)分別為480，320，800。9月份里，原買甲的有48戶轉(zhuǎn)買乙產(chǎn)品，有96戶轉(zhuǎn)買丙產(chǎn)品；原買乙的有32戶轉(zhuǎn)買甲產(chǎn)品，有64戶轉(zhuǎn)買丙產(chǎn)品；原買丙的有64戶轉(zhuǎn)買甲產(chǎn)品，有32戶轉(zhuǎn)買乙產(chǎn)品。用狀態(tài)1、2、3分別表示甲、乙、丙三廠，試求（1）轉(zhuǎn)移概率矩陣；（2）9月份市場占有率的分布；（3）12月份市場占有率的分布；（4）當(dāng)顧客流如此長期穩(wěn)定下去市場占有率的分布。（5）各狀態(tài)的平均返回時(shí)間 56 解 （1） 由題意得頻數(shù)轉(zhuǎn)移矩陣為再用頻數(shù)估計(jì)概率，得轉(zhuǎn)移概率矩陣為??????????? 7043264 6422432 9648336N ??????????? 88.004.008.0 2.07.01.0 2.01.07.0 1P（2）以1600除以N中各行元素之和，得初始概率分布（即初始市場占有率） )5.02.03.0(),,()0( 321 ?? pppP 57 所以9月份市場占有率分布為（3）12月份市場占有率分布為1)0()1( PPP ? )5.02.03.0(? ?????????? 88.004.008.0 2.07.01.0 2.01.07.0)54.019.027.0(? 41)0()4( PPP ? )5.02.03.0(? 488.004.008.0 2.07.01.0 2.01.07.0 ?????????? )5983.01698.02319.0(? 58 （4）由于該鏈不可約、非周期、狀態(tài)有限正常返的，所以是遍歷的。解方程組??????? ??? ??? ??? ??? 1 88.02.02.0 04.07.01.0 08.01.07.0 321 3213 3212 3211 ??? ???? ???? ????即得當(dāng)顧客流如此長期穩(wěn)定下去是市場占有率的分布為)625.0156.0219.0(),,( 321 ????1 2 3( , , ) (1/0.219 1/0.156 1/0.625)? ? ? ?（5） 59 例4(書中69頁例4.18） 其一步轉(zhuǎn)移矩陣為試并每個(gè)不可約閉集的平穩(wěn)分布0 .1 0 .1 0 .2 0 .2 0 .4 0 00 0 0 .5 0 .5 0 0 00 0 0 1 0 0 00 1 0 0 0 0 00 0 0 0 0 .5 0 .5 00 0 0 0 0 .5 0 0 .50 0 0 0 0 0 .5 0 .5P ? ?? ?? ?? ?? ?? ? ?? ?? ?? ?? ?? ? 60 的平穩(wěn)分布得狀態(tài)空間可分解為：C={2，3, 4} D={5，6,7} 兩個(gè)閉集，分別求 轉(zhuǎn)移概率矩陣1 2 3 4 5 6 71 2 3 4 5 6 7 2 1 2( , , , , , , ) (0, , , ,0,0,0)5 5 51 1 1( , , , , , , ) (0,0,0,0, , , ,)3 3 3? ? ? ? ? ? ?? ? ? ? ? ? ? ??1 20 0.5 0.5 0.5 0 0.50 0 1 P= 0.5 0.5 01 0 0 0 0.5 0.5P ? ? ? ?? ? ? ??? ? ? ?? ? ? ?? ? ? ? 61