馬爾科夫鏈考試例題整理.pdf

《馬爾科夫鏈考試例題整理.pdf》由會員分享，可在線閱讀，更多相關(guān)《馬爾科夫鏈考試例題整理.pdf（61頁珍藏版）》請在裝配圖網(wǎng)上搜索。

若 表示質(zhì)點在時刻n所處的位置，分析它的概率特性。例1 直線上帶吸收壁的隨機游動（醉漢游動）設(shè)一質(zhì)點在線段[1，5 ]上隨機游動，每秒鐘發(fā)生一次隨機游動，移動的規(guī)則是：（1）若移動前在2，3，4處，則均以概率 向左或向右 移動一單位；（2）若移動前在1，5處，則以概率1停留在原處。21質(zhì)點在1，5兩點被“吸收”1 2 3 4 5( )X n 前言：馬爾可夫過程的描述分類 1 t X(t),例3 電話交換臺在時刻前來到的呼叫數(shù) 是無后效性的隨機過程. X(t),例2 直線上的隨機游動時的位置 是 無后效性的隨機過程.無記憶性未來處于某狀態(tài)的概率特性只與現(xiàn)在狀態(tài)有關(guān)，而與以前的狀態(tài)無關(guān)，這種特性叫無記憶性（無后效性）。例4 布朗運動 2 若 表示質(zhì)點在時刻n所處的位置，求一步轉(zhuǎn)移概率。引例 例1 直線上帶吸收壁的隨機游動（醉漢游動）設(shè)一質(zhì)點在線段[1，5 ]上隨機游動，每秒鐘發(fā)生一次隨機游動，移動的規(guī)則是：（1）若移動前在2，3，4處，則均以概率 向左或向右 移動一單位；（2）若移動前在1，5處，則以概率1停留在原處。21質(zhì)點在1，5兩點被“吸收”1 2 3 4 5( )X n一步轉(zhuǎn)移概率矩陣的計算 3 有兩個吸收壁的隨機游動其一步轉(zhuǎn)移矩陣為 ????????????????????? 10000 2102100 0210210 0021021 000011P狀態(tài)空間I={1，2，3，4，5}，參數(shù)集T={1，2，3，………}， 4 例2．帶有反射壁的隨機游動設(shè)隨機游動的狀態(tài)空間I = {0，1，2，…}，移動的規(guī)則是： （1）若移動前在0處，則下一步以概率p向右移動一個單位，以概率q停留在原處（p+q=1）； （2）若移動前在其它點處，則均以概率p向右移動一個單位，以概率q向左移動一個單位。設(shè) 表示在時刻n質(zhì)點的位置， 則{ ， }是一個齊次馬氏鏈，寫出其一步轉(zhuǎn)移概率。 nXnX 0?n 5 q p右反射壁m-1 mpq左反射壁 1 20 1 0 0 0 ... 0 0 00 0 0 ... 0 0 00 0 0 ... 0 0 0... ... ... ... ... ... ... ... ...0 0 0 0 0 ... 00 0 0 0 0 ... 0q pq pq pP q pq p? ?? ?? ?? ??? ?? ?? ?? ?? ? 6 pq反射壁 1 2 301 0 0 0 ...0 0 0 ...0 0 0 ...... ... ... ... ... ...q pq pP q p? ?? ?? ??? ?? ?? ? 7 例3．一個圓周上共有N格（按順時針排列），一個質(zhì)點在該圓周上作隨機游動，移動的規(guī)則是：質(zhì)點總是以概率p順時針游動一格， 以概率 逆時針游動一格。試求轉(zhuǎn)移概率矩陣。 pq ??1 1 0 0 0 ... 00 0 ... 0 00 0 ... 0 0... ... ... ... ... ... ...0 0 ... 0 00 ... 0 0 0p qq pq pP q pp q? ?? ?? ?? ??? ?? ?? ?? ?? ?{1,2,..., }I N? 8 4．一個質(zhì)點在全直線的整數(shù)點上作隨機游動，移動的規(guī)則是：以概率p從i移到i-1，以概率q從i移到i+1，以概率r停留在i，且 ，試求轉(zhuǎn)移概率矩陣。 1??? qpr 1 ... ... ... ... ... ... ... ...... 0 0 0 ...... 0 0 0 ...... ... ... ... ... ... ... ...p r qP p r q? ?? ?? ??? ?? ?? ?{..., 2, 1,0,1,2,...}E? ? ? 9 5．設(shè)袋中有a個球，球為黑色的或白色的，今隨機地從袋中取一個球，然后放回一個不同顏色的球。若在袋里有k個白球，則稱系統(tǒng)處于狀態(tài)k，試用馬爾可夫鏈描述這個模型（稱為愛倫菲斯特模型），并求轉(zhuǎn)移概率矩陣。解 這是一個齊次馬氏鏈，其狀態(tài)空間為 I={0，1，2，…，a}一步轉(zhuǎn)移矩陣是 1 0 1 0 0 ... 01 10 0 ... 02 20 0 ... 0... ... ... ... ... ...1 10 ... 0 00 ... 0 0 1 0aa a aP a aaa a? ?? ??? ?? ?? ??? ??? ?? ?? ??? ?? ?? ?? ? 10 練習題．扔一顆色子，若前n次扔出的點數(shù)的最大值為j，就說 試問 是否為馬氏鏈？求一步轉(zhuǎn)移概率矩陣。 I={1，2，3，4，5，6},nX j?,nX j? 11 1 1 1 1 1 16 6 6 6 6 62 1 1 1 10 6 6 6 6 63 1 1 10 0 6 6 6 64 1 10 0 0 6 6 6 5 10 ... 0 0 6 60 ... 0 0 1 0P ? ?? ?? ?? ?? ?? ?? ??? ?? ?? ? ? ?? ?? ?? ?? ?? ? 12 例1甲、乙兩人進行比賽，設(shè)每局比賽中甲勝的概率是p，乙勝的概率是q，和局的概率是 ，（ ）。設(shè)每局比賽后，勝者記“+1”分，負者記“—1”分，和局不記分。當兩人中有一人獲得2分結(jié)束比賽。以 表示比賽至第n局時甲獲得的分數(shù)。 r1??? rqp nX（1）寫出狀態(tài)空間；（3）問在甲獲得1分的情況下，再賽二局可以結(jié)束比賽的概率是多少？ 13 解 （1） 記甲獲得“負2分”為狀態(tài)1，獲得“負1分”為狀態(tài)2，獲得“0分”為狀態(tài)3，獲得“正1分”為狀態(tài)4，獲得“正2分”為狀態(tài)5，則狀態(tài)空間為{1 2 3 4 5}I? ， ， ， ，一步轉(zhuǎn)移概率矩陣 1 0 0 0 00 0 0 00 00 0 0 0 1q r pP q r pq r p? ?? ?? ?? ??? ?? ?? ?? ? 14 （2）二步轉(zhuǎn)移概率矩陣(2) 2P P? ???????????????? ?????? 10000 20 222 02 00001 22 222 22 rpppqrqrq pprpqrrqq pprpqrrpq 15 （3）從而結(jié)束比賽的概率；從而結(jié)束比賽的概率。所以題中所求概率為 )1(0)( rprpp ????? 16 分析例2 賭徒輸光問題賭徒甲有資本a元，賭徒乙有資本b元，兩人進行賭博，每賭一局輸者給贏者1元，沒有和局，直賭至兩人中有一人輸光為止。設(shè)在每一局中，甲獲勝的概率為p，乙獲勝的概率為 ，求甲輸光的概率。 pq ??1這個問題實質(zhì)上是帶有兩個吸收壁的隨機游動。從甲的角度看，他初始時刻處于a，每次移動一格，向右移（即贏1元）的概率為p，向左移（即輸1元）的概率為q。如果一旦到達0（即甲輸光）或a + b（即乙輸光）這個游動就停止。這時的狀態(tài)空間為{0，1，2，…，c}，c = a + b，。現(xiàn)在的問題是求質(zhì)點從a出發(fā)到達0狀態(tài)先于到達c狀態(tài)的概率。 17 考慮質(zhì)點從j出發(fā)移動一步后的情況解 設(shè) cj??0設(shè) ju 為質(zhì)點從 j出發(fā)到達0狀態(tài)先于到達 c 狀態(tài)的概率。 在以概率 p移到 1?j 的假設(shè)下，到達0 狀態(tài)先于到達 c 狀態(tài)的概率為 1?ju同理 以 概 率 q 移 到 1?j 的 前 提 下 ， 到達0狀態(tài)先于到達c狀態(tài)的概率為 1?ju根據(jù)全概率公式有 qupuu jjj 11 ?? ??這一方程實質(zhì)上是一差分方程，它的邊界條件是0,10 ?? cuu 18 于是設(shè) ))(( 11 jjjj uupquu ??? ??pqr ? 1??? jjj uud則可得到兩個相鄰差分間的遞推關(guān)系 1?? jj rdd于是 21 2 0jj j jd rd r d r d? ?? ? ? ?? 欲求 au 先求 ju 需討論 r 19 當而 1?r cuu ?? 01 )( 110 ??? ??? jjcj uujcj d???? 10 010 dr jcj???? 011 drrc??? cjj uuu ?? )( 11 ??? ??? iic ji uu 011 drd ic jiic ji ?? ???? ?? 1 0(1 )j c jr r r d? ?? ? ? ?? 01 drrr cj???兩式相比 ccjj rrru ??? 1 20 故 ccaa rrru ??? 1 ???????? ????????? ?? cca pqpqpq )(1)()(當 1?r 00 1 cduu c ???而 0)( djcuj ??因此 c jcuj ??故 cbcacua ??? 21 用同樣的方法可以求得乙先輸光的概率由以上計算結(jié)果可知當 1?r 即 qp? 時，甲先輸光的概率為???????? ????????? ? cca pqpqpq )(1)()(當 1?r 即 qp? 時，甲先輸光的概率為cb 當 qp? 時，乙輸光的概率為 ???????? ????????? ? ca pqpq )(1)(1 當 qp? 時，乙先輸光的概率為 ca 22 例3 排隊問題顧客到服務(wù)臺排隊等候服務(wù)，在每一個服務(wù)周期中只要服務(wù)臺前有顧客在等待，就要對排在前面的一位提供服務(wù)，若服務(wù)臺前無顧客時就不能實施服務(wù)。 設(shè)在第 n 個服務(wù)周期中到達的顧客數(shù)為一隨機變量 nY 且諸 nY 獨立同分布： 1??k kp 記 nX 為服務(wù)周期 n 開始時服務(wù)臺前顧客數(shù)則有 ??? ?????? 0, 1,11 nn nnnn XY XYXX 若若 此時{ nX ， 1?n }為一馬氏鏈， 求其轉(zhuǎn)移矩陣 在第n周期已有一個顧客在服務(wù)，到第n+1周期已服務(wù)完畢23 解 先求出轉(zhuǎn)移概率 )0|0( 0100 ??? XXPp )0( 0?? YP 0p?)0|1( 0101 ??? XXPp )1( 0?? YP 1p?)1|0( 110 ??? ? nn XXPp )1|01( ????? nnn XYXP )0( ?? nYP 0p?)1|1( 111 ??? ? nn XXPp )1|11( ????? nnn XYXP )1( ?? nYP 1p?)2|0( 120 ??? ? nn XXPp )2|01( ????? nnn XYXP )1( ??? nYP 0?)2|1( 121 ??? ? nn XXPp )2|11( ????? nnn XYXP )0( ?? nYP 0p?)2|2( 122 ??? ? nn XXPp )1( ?? nYP 1p? 24 所以轉(zhuǎn)移矩陣為 0 1 2 3 40 1 2 3 41 0 1 2 30 1 200 0p p p p pp p p p pP p p p pp p p? ?? ?? ?? ??? ?? ?? ?? ?? ?????? ? ? ? ? ? 25 證 }{ jXP n ? 0I { , }ni P X j X i?? ? ?? 0 0I { } { | }ni P X i P X j X i?? ? ? ?? ( )i I niji p p??? 0{ , }n iP X j X i? ? ?? (n) (n)1 2 1 2(1) (1) (1) (1)1 1 i 1 1 11 2 21E I={1,2},3 2 P ,P , P ,P5 51,P {X =1}= piinP p p p p p?? ??? ? ??設(shè)馬氏鏈的狀態(tài)空間 初始分布為試對n=1,2,3,計算 解：例2 26 定理4.3 馬爾科夫鏈的有限維分布： 1 1 2 m-1 m1 1 2 2 m m 0 1 20 1 2 {X ,X , ,X } 1) , 0,0.1 0.2 0.70.9 0.1 00.1 0.8 0.10.3 0.4 0.3 {X 0,X 1,X 2} 2i ii i i i ii I P i i ip p p p nPp p p p? ? ? ?? ?? ?? ??? ?? ?? ?? ? ? ? ? ?? ?? n由全概率公式得到證明，它是公式（ 的推廣。考慮狀態(tài)0，1，2上的一個馬氏鏈X它又轉(zhuǎn)移概率矩陣初始分布為 ， ， ，試求 概率（1）3：（例 ） 2 3 4{X 0,X 2,X 1}p ? ? ? 27 ? 練習：馬氏鏈的狀態(tài)空間I={1，2，3}，初始概率為1 2 3 12 12 22 1 3 04 41 1 1 1 1 1, , ,4 2 4 3 3 31 30 4 4(1) P{X(0)=1,X(1)=2,X(2)=2},p (2)(2) P{X(1)=2,X(2)=2 X(0)=1}=p(3) P{X(1)=1,X(2)=2,X(3)=3}p p p P p? ?? ?? ?? ?? ? ? ?? ?? ?? ?? ?? ?計算證明：求 28 例4 市場占有率預(yù)測設(shè)某地有1600戶居民，某產(chǎn)品只有甲、乙、丙3廠家在該地銷售。經(jīng)調(diào)查，8月份買甲、乙、丙三廠的戶數(shù)分別為480，320，800。9月份里，原買甲的有48戶轉(zhuǎn)買乙產(chǎn)品，有96戶轉(zhuǎn)買丙產(chǎn)品；原買乙的有32戶轉(zhuǎn)買甲產(chǎn)品，有64戶轉(zhuǎn)買丙產(chǎn)品；原買丙的有64戶轉(zhuǎn)買甲產(chǎn)品，有32戶轉(zhuǎn)買乙產(chǎn)品。用狀態(tài)1、2、3分別表示甲、乙、丙三廠，試求（1）轉(zhuǎn)移概率矩陣；（2）9月份市場占有率的分布；（3）12月份市場占有率的分布； 29 解 （1）E{1，2，3},狀態(tài)1、2、3分別表示甲、乙、丙的用戶一步轉(zhuǎn)移概率矩陣為480 48 96 48 960.7, 0.1, 0.2480 480 48032 320 32 64 640.1, 0.7, 0.2320 320 32064 32 800 64 320.08, 0.04, 0.88800 800 800? ?? ? ? ? ? ?? ? ? ? ?? ?? ? ? ? ?11 12 1321 22 2331 32 33P P P－ －P P P ＝P P P ＝??????????? 88.004.008.0 2.07.01.0 2.01.07.0 1P（2）以1600除8月份甲，乙，丙的戶數(shù)，得初始概率分布（即初始市場占有率）(0) (0) (0)1 2 3(0) ( , , ) (0.3 0.2 0.5)P p p p? ? 30 所以9月份市場占有率分布為（3）12月份市場占有率分布為1)0()1( PPP ? )5.02.03.0(? ?????????? 88.004.008.0 2.07.01.0 2.01.07.0)54.019.027.0(? 41)0()4( PPP ? )5.02.03.0(? 488.004.008.0 2.07.01.0 2.01.07.0 ?????????? )5983.01698.02319.0(? 31 例1其一步轉(zhuǎn)移矩陣為試研究各狀態(tài)間的關(guān)系，并畫出狀態(tài)傳遞圖。 設(shè)馬氏鏈 }0,{ ?nXn 的狀態(tài)空間 I={0，1，2}????????????????? 32310 414121 021211P解 先按一步轉(zhuǎn)移概率，畫出各狀態(tài)間的傳遞圖 32 2/31/41/4 1/31/21/20 1 21/2 圖3---1由圖可知 狀態(tài)0可到達狀態(tài)1，經(jīng)過狀態(tài)1又可到達狀態(tài)2；反之，從狀態(tài)2出發(fā)經(jīng)狀態(tài)1也可到達狀態(tài)0。因此，狀態(tài)空間I的各狀態(tài)都是互通的。又由于I 的任意狀態(tài)i (i = 0，1，2)不能到達I 以外的任何狀態(tài)， 所以I是一個閉集而且I 中沒有其它閉集 所以此馬氏鏈是不可約的。 33 例2其一步轉(zhuǎn)移矩陣為試討論哪些狀態(tài)是吸收態(tài)、閉集及不可約鏈。解 先按一步轉(zhuǎn)移概率，畫出各狀態(tài)間的傳遞圖 設(shè) 馬 氏 鏈 的 狀 態(tài) 空 間 為 I = {1， 2， 3， 4， 5}????????????????? 00010 00001 00100 002/102/1 02/1002/11P 34 111/2 1/21/2 31 1/2圖4---24 52 1 閉集，由圖可知 狀態(tài)3為吸收態(tài)且 故 1C= {3}為閉集2C ={1,4} 3C ={1,3,4}閉集， 閉集，其中 是不可約的。1C ， 2C又因狀態(tài)空間I有閉子集，故此鏈為非不可約鏈。 35 3．常返態(tài)與瞬時態(tài)則稱狀態(tài)i為常返態(tài)則稱狀態(tài)i為瞬時態(tài)注 若 1?iif 若 1?iif“常返”一詞，有時又稱“返回”、“常駐”或“持久”“瞬時”也稱“滑過” 或“非常返”定理4 若 1?iif ，則系統(tǒng)以概率 1無窮次返回 i； 若 1?iif ，則系統(tǒng)以概率 1 只有有窮次返回 i。 定理5 i是常返態(tài)的充要條件是 ?????0 )(n niip定理6 如果i為常返態(tài)，且 ，則j也是常返態(tài)。ji?定理7 所有常返態(tài)構(gòu)成一個閉集 36 5．正常返態(tài)與零常返態(tài)平均返回時間 從狀態(tài)i出發(fā)，首次返回狀態(tài)i的平均時間稱為狀態(tài)i平均返回時間.根據(jù)的值是有限或無限，可把常返態(tài)分為兩類：設(shè)i是常返態(tài)，則稱i為正常返態(tài)； )(11 }{][ niiniiniii nfnTnPTE ?? ?? ????? 若 ??i? 若 ??i? ， 則稱i為零常返態(tài)。 37 例 其一步轉(zhuǎn)移矩陣如下，是對I進行分解。0 .1 0 .1 0 .2 0 .2 0 .4 0 00 0 0 .5 0 .5 0 0 00 0 0 1 0 0 00 1 0 0 0 0 00 0 0 0 0 .5 0 .5 00 0 0 0 0 .5 0 0 .50 0 0 0 0 0 .5 0 .5P ? ?? ?? ?? ?? ?? ? ?? ?? ?? ?? ?? ?I可分解為：C 1={2，3, 4} C2={5，6,7} 兩個閉集及N={1} ，即I=N+ C1+ C2 1 20 0.5 0.5 0.5 0 0.50 0 1 P= 0.5 0.5 01 0 0 0 0.5 0.5P ? ? ? ?? ? ? ??? ? ? ?? ? ? ?? ? ? ?38 用極限判斷狀態(tài)類型的準則（2）i是零常返態(tài)（3）i是正常返態(tài) 0lim )( ??? niin p（1）i是瞬時態(tài)? ????? )(0 niin p（這時 0lim )( ??? niin p ）? ????? )(0 niin p且? ????? )(0 niin p且 0lim )( ??? niin p首頁 39 例3 轉(zhuǎn)移矩陣}4,3,2,1{?I ????????????????? 0001 1000 0100 41414141P試對其狀態(tài)分類。解 按一步轉(zhuǎn)移概率，畫出各狀態(tài)間的傳遞圖 2 1/41 11/4 1/4 11/41 43 40 從圖可知，此鏈的每一狀態(tài)都可到達另一狀態(tài)，即4個狀態(tài)都是相通的。考慮狀態(tài)1是否常返，需要計算 11f ：41)1(11 ?f (2)11 14 41 14f p p? ? ?41413413)3(11 ???? pppf 4141342312)4(11 ?? ppppf )(11111 nn ff ???? 141414141 ?????于是狀態(tài)1是常返的。 ??????? 25)(1111 nn fn?又因為所以狀態(tài)1是正常返的。此鏈所有狀態(tài)都是正常返的。 2 1/41 11/4 1/4 11/41 43 41 三、狀態(tài)的周期與遍歷1．周期狀態(tài)對于任意的 ，令其中GCD表示最大公約數(shù)Ii? }01{ )( ??? niii pnGCDd ： 如果 1?id ， 則稱 為周期態(tài)，i id 為周期 如果 1?id 則稱 為非周期態(tài)。i定理11 設(shè)馬氏鏈的狀態(tài)空間為 I， Iji ?, （1）若 ji? ，則 ji dd ? ； （2）若是不可約馬氏鏈，且 0?iip ，則此馬氏鏈是非周期鏈。2．遍歷狀態(tài) 若狀態(tài)i是正常返且非周期，則稱i為遍歷狀態(tài)。 若馬氏鏈{ nX }的所有狀態(tài)都是遍歷的， 111/2 1/21/2 31 1/2圖4---24 52 1 42 例4 設(shè)馬氏鏈的狀態(tài)空間I = {0,1,2,…}，轉(zhuǎn)移概率為試討論各狀態(tài)的遍歷性。解 根據(jù)轉(zhuǎn)移概率作出狀態(tài)傳遞圖2100 ?p ， 211, ??iip ， 210 ?ip ， Ii?…1/2 1/2 1/21/2 1/21/20 1 21/2 圖4---4 31/2 43 從圖可知，對任一狀態(tài) 都有 ，故由定理可知，I 中的所以狀態(tài)都是相通的，Ii? 0?i因此只需考慮狀態(tài)0是否正常返即可。(1)00 1,2f ? (2)00 1 1 1,2 2 4f ? ? ? (3) 300 1 1( ) ,2 8f ? ? …故 121100 ????? nnf從而0是常返態(tài)。又因為 ( )0 001 1 1 22n nn nnf n? ? ?? ?? ? ? ? ??? ?所以狀態(tài)0為正常返。 又由于021)1(00 ??p 故狀態(tài)0為非周期的從而狀態(tài)0是遍歷的。 故所有狀態(tài)i都是遍歷的。 …1/2 1/2 1/21/2 1/21/20 1 21/2 圖4---4 31/2 44 1/3 1/211/3 1/211/31 2 34例5．設(shè)馬氏鏈的狀態(tài)空間I={1，2，3，4}，其一步轉(zhuǎn)移矩陣為解 試對其狀態(tài)分類。 ????????????????? 0010 021210 0001 31313101P 按一步轉(zhuǎn)移概率，畫出各狀態(tài)間的傳遞圖它是有限狀態(tài)的馬氏鏈，故必有一個常返態(tài)，又鏈中四個狀態(tài)都是互通的。因此，所有狀態(tài)都是常返態(tài)，這是一個有限狀態(tài)不可約的馬氏鏈?？衫^續(xù)討論是否為正常返態(tài) 45 可討論狀態(tài)10)1(11 ?f 31)2(11 ?f 21213131)3(11 ????f 1211212131)4( 11 ?????f ( )11 11 21 1 1 1 1 13 2 12 2 12 2 12nnf f??? ? ? ? ? ? ?? ?? ?122 1121212131)5(11 ???????f 122 112121212131 2)6(11 ????????f 1? 1/3 1/211/3 1/211/31 2 34 46 狀態(tài)1是常返態(tài))(1111 nn fn??????? 21 1 1 1 12 3 4 5 63 2 12 2 12 2 12? ? ? ? ? ? ? ? ? ? ?? ? ?狀態(tài)1是正常返態(tài)所以，全部狀態(tài)都是正常返態(tài) 1/3 1/211/3 1/211/31 2 34 47 例1 其一步轉(zhuǎn)移矩陣為試證此鏈具有遍歷性，并求平穩(wěn)分布和各狀態(tài)的平均返回時間????????????????? 32310 32031 032311P解 由于 ?? 212 )(PP ???????????????? 329291 949491 949231 48 所以因此，該馬氏鏈具有遍歷性。解得1 1 22 1 3 3 2 31 2 31 13 32 13 32 23 3 1? ? ?? ? ?? ? ?? ? ?? ? ???? ? ???? ? ???? ? ? ??所以馬氏鏈的平穩(wěn)分布為 Xi? 1 2 371 72 74各狀態(tài)的平均返回時間 49 例2 設(shè)有6個球（其中2個紅球，4個白球）分放于甲、乙兩個盒子中，每盒放3個，今每次從兩個盒中各任取一球并進行交換，以 表示開始時甲盒中紅球的個數(shù)， （ ）表示經(jīng)n次交換后甲盒中的紅球數(shù)。( 1 ) 求馬氏鏈{ ， }的轉(zhuǎn)移概率矩陣；0XnX 1?nnX 1?n( 2 ) 證明{ ， }是遍歷的； nX 1?n（3）求 )(lim nijn p?? 2,1,0, ?ji（4）求lim ( )jn p n?? 2,1,0?j 50 解 其一步轉(zhuǎn)移矩陣為 ????????????????? 31320 929592 032311P甲 乙紅球0白球3 紅球2白球1紅球1白球2 紅球1白球2紅球2 白球1 紅球0白球3 1/32/95/9 2/32/91/30 1 22/3 51 由狀態(tài)傳遞圖 1/32/95/9 2/32/91/30 1 22/3（2）由于它是一個有限馬氏鏈，故必有一個常返態(tài)，又鏈中三個狀態(tài)0、1、2都相通，所以每個狀態(tài)都是常返態(tài)。所以是一個不可約的有限馬氏鏈，從而每個狀態(tài)都是正常返的。所以此鏈為非周期的。 故此鏈是不可約非周期的正常返鏈，即此鏈是遍歷的。 52 也可以利用定理1證明遍歷性 2212 31320 929592 03231 ?????????????????? PP 53 解之得 0 0 11 0 1 22 1 20 1 2j 1 23 92 5 23 9 32 19 3 10,( 0,1,2)j? ? ?? ? ? ?? ? ?? ? ??? ? ???? ? ? ????? ? ??? ? ? ?? ? ???故得 ( )0lim nin p?? ? 0 15? ?( )1lim nin p?? ? 1 35? ? 54 （4） 0 15? ?1 35? ?0lim ( )n p n?? ?1lim ( )n p n?? ? 55 例3 市場占有率預(yù)測設(shè)某地有1600戶居民，某產(chǎn)品只有甲、乙、丙3廠家在該地銷售。經(jīng)調(diào)查，8月份買甲、乙、丙三廠的戶數(shù)分別為480，320，800。9月份里，原買甲的有48戶轉(zhuǎn)買乙產(chǎn)品，有96戶轉(zhuǎn)買丙產(chǎn)品；原買乙的有32戶轉(zhuǎn)買甲產(chǎn)品，有64戶轉(zhuǎn)買丙產(chǎn)品；原買丙的有64戶轉(zhuǎn)買甲產(chǎn)品，有32戶轉(zhuǎn)買乙產(chǎn)品。用狀態(tài)1、2、3分別表示甲、乙、丙三廠，試求（1）轉(zhuǎn)移概率矩陣；（2）9月份市場占有率的分布；（3）12月份市場占有率的分布；（4）當顧客流如此長期穩(wěn)定下去市場占有率的分布。（5）各狀態(tài)的平均返回時間 56 解 （1） 由題意得頻數(shù)轉(zhuǎn)移矩陣為再用頻數(shù)估計概率，得轉(zhuǎn)移概率矩陣為??????????? 7043264 6422432 9648336N ??????????? 88.004.008.0 2.07.01.0 2.01.07.0 1P（2）以1600除以N中各行元素之和，得初始概率分布（即初始市場占有率） )5.02.03.0(),,()0( 321 ?? pppP 57 所以9月份市場占有率分布為（3）12月份市場占有率分布為1)0()1( PPP ? )5.02.03.0(? ?????????? 88.004.008.0 2.07.01.0 2.01.07.0)54.019.027.0(? 41)0()4( PPP ? )5.02.03.0(? 488.004.008.0 2.07.01.0 2.01.07.0 ?????????? )5983.01698.02319.0(? 58 （4）由于該鏈不可約、非周期、狀態(tài)有限正常返的，所以是遍歷的。解方程組??????? ??? ??? ??? ??? 1 88.02.02.0 04.07.01.0 08.01.07.0 321 3213 3212 3211 ??? ???? ???? ????即得當顧客流如此長期穩(wěn)定下去是市場占有率的分布為)625.0156.0219.0(),,( 321 ????1 2 3( , , ) (1/0.219 1/0.156 1/0.625)? ? ? ?（5） 59 例4(書中69頁例4.18） 其一步轉(zhuǎn)移矩陣為試并每個不可約閉集的平穩(wěn)分布0 .1 0 .1 0 .2 0 .2 0 .4 0 00 0 0 .5 0 .5 0 0 00 0 0 1 0 0 00 1 0 0 0 0 00 0 0 0 0 .5 0 .5 00 0 0 0 0 .5 0 0 .50 0 0 0 0 0 .5 0 .5P ? ?? ?? ?? ?? ?? ? ?? ?? ?? ?? ?? ? 60 的平穩(wěn)分布得狀態(tài)空間可分解為：C={2，3, 4} D={5，6,7} 兩個閉集，分別求 轉(zhuǎn)移概率矩陣1 2 3 4 5 6 71 2 3 4 5 6 7 2 1 2( , , , , , , ) (0, , , ,0,0,0)5 5 51 1 1( , , , , , , ) (0,0,0,0, , , ,)3 3 3? ? ? ? ? ? ?? ? ? ? ? ? ? ??1 20 0.5 0.5 0.5 0 0.50 0 1 P= 0.5 0.5 01 0 0 0 0.5 0.5P ? ? ? ?? ? ? ??? ? ? ?? ? ? ?? ? ? ? 61