馬爾科夫鏈例題考試易考題型.pdf

《馬爾科夫鏈例題考試易考題型.pdf》由會員分享，可在線閱讀，更多相關(guān)《馬爾科夫鏈例題考試易考題型.pdf（11頁珍藏版）》請在裝配圖網(wǎng)上搜索。

2012-8-24 1 若 表示質(zhì)點在時刻 n所處的位置，分析它的 概率特性。 例 1 直線上帶吸收壁的隨機游動（醉漢游動） 設(shè)一質(zhì)點在線段 [1， 5 ]上隨機游動，每秒鐘發(fā)生 一次隨機游動，移動的規(guī)則是： （ 1）若移動前在 2， 3， 4處，則均以概率 向左 或向右 移動一單位； （ 2）若移動前在 1， 5處，則以概率 1停留在原處。 2 1 質(zhì)點在 1， 5兩點被“吸收 ” 1 2 3 4 5 ()X n 前言：馬爾可夫過程的描述分類 tX(t),例3 電話交換臺在 時刻前來到的呼叫數(shù) 是無后效性的隨機過程. X(t),例2 直線上的隨機游動時的位置 是 無后效性的隨機過程. 首頁 無 記 憶 性 未來處于某狀態(tài)的概率特性只與現(xiàn)在狀態(tài) 有關(guān)，而與以前的狀態(tài)無關(guān)，這種特性叫 無記憶性（無后效性）。 例 4 布朗運動 若 表示質(zhì)點在時刻 n所處的位置，求 一步轉(zhuǎn)移概率。 引 例 例 1 直線上帶吸收壁的隨機游 動（醉漢游動） 設(shè)一質(zhì)點在線段 [1， 5 ]上隨機游動，每秒鐘發(fā)生 一次隨機游動，移動的規(guī)則是： （ 1）若移動前在 2， 3， 4處，則均以概率 向左 或向右 移動一單位； （ 2）若移動前在 1， 5處，則以概率 1停留在原處。 2 1 質(zhì)點在 1， 5兩點被“吸收 ” 1 2 3 4 5 ()X n 一步轉(zhuǎn)移概率矩陣的計算 首頁 有兩個吸收壁的隨機游動 其一步轉(zhuǎn) 移矩陣為 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? = 10000 2 1 0 2 1 00 0 2 1 0 2 1 0 00 2 1 0 2 1 00001 1 P 狀態(tài)空間 I={1， 2， 3， 4， 5}， 參數(shù)集 T={1， 2， 3， ………}， 例 2．帶有反射壁的隨機游動 設(shè)隨機游動的狀態(tài)空間 I = {0， 1， 2， …}，移動的 規(guī)則是： （ 1）若移動前在 0處，則下一步以概率 p向右移 動一個單位，以概率 q停留在原處（ p+q=1）； （ 2）若移動前在其它點處，則均以概率 p向右移 動一個單位，以概率 q向左移動一個單位。 設(shè) 表示在時刻 n質(zhì)點的位置， 則 { ， }是一個齊次馬氏鏈，寫出其一步轉(zhuǎn) 移概率。 n X n X 0≥n 首頁 q p 右反射壁 m-1 m p q 左反射壁 1 2 0 1 000..000 000.000 000.000 ... ... ... ... ... ... ... ... ... 00000.. 0 00000..0 qp qp qp P qp qp ? ? ? ? ? ? ? ? = ? ? ? ? ? ? ? ? ? ? 首頁 2012-8-24 2 p q 反 射 壁 1 2 3 0 1 000.. 0 0 0 ... 000. ... ... ... ... ... ... qp qp P qp ?? ?? = ?? ?? 首頁 例 3．一個圓周上共有 N格（按順時針排列），一 個質(zhì)點在該圓周上作隨機游動，移動的規(guī)則是： 質(zhì)點總是以概率 p順時針游動一格， 以概率 逆時針游動一格。試求轉(zhuǎn)移概率 矩陣。 pq ?= 1 1 000.0 00.00 00.00 ... ... ... ... ... ... ... 00..0 0 0.. 00 0 p q qp qp P qp pq ? ? ? ? ? ? ? ? = ? ? ? ? ? ? ? ? ? ? {1, 2 , ..., }I N= 首頁 4．一個質(zhì)點在全直線的整數(shù)點上作隨機游動，移 動的規(guī)則是：以概率 p從 i移到 i-1，以概率 q從 i移到 i+1，以概率 r停留在 i，且 ，試 求轉(zhuǎn)移概率矩陣。 1=++ qpr 1 ... ... ... ... ... ... ... ... ... 0 0 0 ... ... 0 0 0 ... ... ... ... ... ... ... ... ... prq P prq ?? ?? = ?? {..., 2, 1,0,1,2,...}E =?? 首頁 5．設(shè)袋中有 a個球，球為黑色的或白色的，今隨 機地從袋中取一個球，然后放回一個不同顏色的 球。若在袋里有 k個白球，則稱系統(tǒng)處于狀態(tài) k， 試用馬爾可夫鏈描述這個模型（稱為愛倫菲斯特 模型），并求轉(zhuǎn)移概率矩陣。 解 這是一個齊次馬氏鏈，其狀態(tài)空間為 I={0， 1， 2， …， a} 一步轉(zhuǎn)移矩陣是 1 0 1 0 0 ... 0 11 0 0 ... 0 22 0 0 ... 0 ... ... ... ... ... ... 11 0 ... 0 0 0 ... 0 0 1 0 a aa a P aa a aa ? ? ? ? ? ? ? ? ? ? ? ? ? ? = ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 首頁 練習(xí)題． 扔一顆色子，若前 n次扔出的點數(shù)的最大值為 j， 就說 試問 是否為馬氏鏈？求一步轉(zhuǎn)移概率矩 陣。 I={1， 2， 3， 4， 5， 6} 首頁 , n Xj= , n Xj= 111111 666666 21111 0 66666 3111 00 6666 411 000 666 51 0 ... 0 0 66 0 ... 0 0 1 0 P ? ? ? ? ? ? ? ? ? ? ? ? ? ? =? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 2012-8-24 3 例 1 甲、乙兩人進行比賽，設(shè)每局比賽中甲勝的概率 是 p，乙勝的概率是 q，和局的概率是 ， （ ）。設(shè)每局比賽后，勝者記“ +1” 分，負者記“ —1”分，和局不記分。當(dāng)兩人中有 一人獲得 2分結(jié)束比賽。以 表示比賽至第 n 局時甲獲得的分數(shù)。 r 1=++ rqp n X （ 1）寫出狀態(tài)空間； （ 2）求 (2) P ； （ 3）問在甲獲得 1分的情況下，再賽二局可 以結(jié)束比賽的概率是多少？ 首頁 解 （ 1） 記甲獲得“負 2分”為狀態(tài) 1，獲得 “負 1分”為狀態(tài) 2，獲得“ 0分”為狀態(tài) 3， 獲得“正 1分”為狀態(tài) 4，獲得“正 2分”為 狀態(tài) 5，則狀態(tài)空間為 {12345}I = ，，，， 一步轉(zhuǎn)移概率矩陣 100 0 0 00 00 00 000 0 1 qr p P qr p qrp ? ? ? ? ? ? ? ?= ? ? ? ? ? ? ? ? 首頁 （ 2）二步轉(zhuǎn)移概率矩陣 (2) 2 P P= ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ++ + ++ = 10000 20 222 02 00001 22 222 22 rpppqrqrq pprpqrrqq pprpqrrpq 首頁 （ 3） 在 (2) P 中 (2) 45 p 是在甲得 1 分的情況下經(jīng)二步轉(zhuǎn)移至得 2 分 從而結(jié)束比賽的概率； (2) 41 p 是在甲得 1 分的情況下經(jīng)二步轉(zhuǎn)移至— 2 分（即乙得 2 分） 從而結(jié)束比賽的概率。 所以題中所求概率為 (2) 45 p + (2) 41 p )1(0)( rprpp +=++= 首頁 分 析 例 2 賭徒輸光問題 賭徒甲有資本 a元，賭徒乙有資本 b元，兩人進行 賭博，每賭一局輸者給贏者 1元，沒有和局，直 賭至兩人中有一人輸光為止。設(shè)在每一局中，甲 獲勝的概率為 p，乙獲勝的概率為 ， 求甲輸光的概率。 pq ?=1 這個問題實質(zhì)上是帶有兩個吸收壁的隨機游動。從 甲的角度看，他初始時刻處于 a，每次移動一格，向 右移（即贏 1元）的概率為 p，向左移（即輸 1元）的 概率為 q。如果一旦到達 0（即甲輸光）或 a + b（即 乙輸光）這個游動就停止。這時的狀態(tài)空間為 {0， 1， 2， …， c}， c = a + b，。現(xiàn)在的問題是求質(zhì)點從 a出 發(fā)到達 0狀態(tài)先于到達 c狀態(tài)的概率。 首頁 考慮質(zhì)點從 j出發(fā)移動一步后的情況 解 設(shè) cj ≤≤0 設(shè) j u 為質(zhì)點從 j 出發(fā)到達 0 狀態(tài)先于到達 c 狀態(tài)的概率。 在以概率 p 移到 1+j 的假設(shè)下， 到達 0 狀態(tài)先于到達 c 狀態(tài)的概率為 1+j u 同理 以概率 q 移到 1?j 的前提下， 到達 0狀態(tài)先于到達 c狀態(tài)的概率為 1?j u 根據(jù)全概率公式有 qupuu jjj 11 ?+ += 這一方程實質(zhì)上是一差分方程，它的邊界條件是 0,1 0 == c uu 首頁 2012-8-24 4 于是 設(shè) （ p + q） 11 ?+ += jjj qupuu ))(( 11 jjjj uu p q uu ?=? ?+ p q r = 1+ ?= jjj uud 則可得到兩個相鄰差分間的遞推關(guān)系 1? = jj rdd 于是 2 12 0 j jj j drd rd rd ?? == ==L 欲求 a u 先求 j u 需討論 r 首頁 當(dāng) 而 1≠r c uu ?= 0 1 )( 1 1 0 + ? = ?= ∑ jj c j uu j c j d ∑ ? = = 1 0 0 1 0 dr j c j ∑ ? = = 0 1 1 d r r c ? ? = cjj uuu ?= )( 1 1 + ? = ?= ∑ ii c ji uu 0 11 drd i c ji i c ji ∑∑ ? = ? = == 1 0 (1 ) jcj rr rd ?? =+++L 0 1 d r rr cj ? ? = 兩式相比 c cj j r rr u ? ? = 1 首頁 故 c ca a r rr u ? ? = 1 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?= cca p q p q p q )(1)()( 當(dāng) 1=r 00 1 cduu c ==? 而 0 )( djcu j ?= 因此 c jc u j ? = 故 c b c ac u a = ? = 首頁 用同樣的方法可以求得乙先輸光的概率 由以上計算結(jié)果可知 當(dāng) 1≠r 即 qp ≠ 時，甲先輸光的概率為 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? cca p q p q p q )(1)()( 當(dāng) 1=r 即 qp = 時， 甲先輸光的概率為 c b 當(dāng) qp ≠ 時，乙輸光的概率為 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ca p q p q )(1)(1 當(dāng) qp = 時，乙先輸光的概率為 c a 首頁 例 3 排隊問題 顧客到服務(wù)臺排隊等候服務(wù)，在每一個服務(wù)周期中只 要服務(wù)臺前有顧客在等待，就要對排在前面的一位提 供服務(wù)，若服務(wù)臺前無顧客時就不能實施服務(wù)。 設(shè)在第 n個服務(wù)周期中到達的顧客數(shù)為一隨機變量 n Y 且諸 n Y 獨立同分布： ) nk P Yk p==（ ， 0,1, 2,k = L ， 1= ∑ k k p 記 n X 為服務(wù)周期 n 開始時服務(wù)臺前顧客數(shù) 則有 ? ? ? = ≥+? = + 0, 1,1 1 nn nnn n XY XYX X 若 若 此時 { n X ， 1≥n }為一馬氏鏈， 求其轉(zhuǎn)移矩陣 在第 n周期已有一個 顧客在服務(wù)，到第 n+1 周期已服務(wù)完畢 解 先求出轉(zhuǎn)移概率 )0|0( 0100 === XXPp )0( 0 == YP 0 p= )0|1( 0101 === XXPp )1( 0 == YP 1 p= )1|0( 110 === + nn XXPp )1|01( ==+?= nnn XYXP )0( == n YP 0 p= )1|1( 111 === + nn XXPp )1|11( ==+?= nnn XYXP )1( == n YP 1 p= )2|0( 120 === + nn XXPp )2|01( ==+?= nnn XYXP )1( ?== n YP 0= )2|1( 121 === + nn XXPp )2|11( ==+?= nnn XYXP )0( == n YP 0 p= )2|2( 122 === + nn XXPp )1( == n YP 1 p= 首頁 2012-8-24 5 所以轉(zhuǎn)移矩陣為 01234 01234 1 0123 012 0 00 ppppp ppppp P pppp ppp ?? ?? = ?? ?? ?? L L L L LLLLLL 首頁 證 }{ jXP n = 0 I {,} n i P XjXi ∈ = == ∑ 00 I {}{ | } n i P XiPX jXi ∈ = === ∑ () i I n ij i pp ∈ = ∑ 0 {, } n i P XjXi= ==U (n) (n) 12 12 (1) (1) (1) (1) 11 i1 21 E I={1,2}, 32 P,P, P,P 55 1, P{X=1}= p i i n Ppppp ∈ == = ==+ ∑ 設(shè)馬氏鏈的狀態(tài)空間 初始分布為 試對n=1,2,3,計算 解： 例2 定理 4.3 馬爾科夫鏈的有限維分布： 112 m-1m 112 2 m m 01 2 012 {X , X , , X } 1) ,0, 0.1 0.2 0.7 0.9 0.1 0 0.1 0.8 0.1 0.3 0.4 0.3 {X 0, X 1, X 2} 2 iii ii ii iI Pi i i pp p p n P ppp p ∈ == = = ≥ ?? ?? = ?? === === ∑ L L n 由全概率公式得到證明，它是公式（ 的推廣。 考慮狀態(tài)0，1，2上的一個馬氏鏈X 它又轉(zhuǎn)移概率矩陣 初始分布為 ， ， ，試求 概率（1） 3： （ 例 ） 234 {X 0, X 2, X 1}p === ? 練習(xí)：馬氏鏈的狀態(tài)空間 I={1， 2， 3}，初始概 率為 123 12 12 22 13 0 44 111 111 ,,, 424 333 13 0 44 (1) P{X(0)=1,X(1)=2,X(2)=2},p (2) (2) P{X(1)=2,X(2)=2 X(0)=1}=p (3) P{X(1)=1,X(2)=2,X(3)=3} pppP p ?? ?? ?? ==== ?? ?? ?? 計算 證明： 求 例 4 市場占有率預(yù)測 設(shè)某地有 1600戶居民，某產(chǎn)品只有甲、乙、丙 3廠 家在該地銷售。經(jīng)調(diào)查， 8月份買甲、乙、丙三廠 的戶數(shù)分別為 480， 320， 800。 9月份里，原買甲的 有 48戶轉(zhuǎn)買乙產(chǎn)品，有 96戶轉(zhuǎn)買丙產(chǎn)品；原買乙的 有 32戶轉(zhuǎn)買甲產(chǎn)品，有 64戶轉(zhuǎn)買丙產(chǎn)品；原買丙的 有 64戶轉(zhuǎn)買甲產(chǎn)品，有 32戶轉(zhuǎn)買乙產(chǎn)品。用狀態(tài) 1、 2、 3分別表示甲、乙、丙三廠，試求 （ 1）轉(zhuǎn)移概率矩陣； （ 2） 9月份市場占有率的分布； （ 3） 12月份市場占有率的分布； 解 （ 1） E{1， 2， 3},狀態(tài) 1、 2、 3分別表示甲、乙、丙的用戶 一步轉(zhuǎn)移概率矩陣為 480 48 96 48 96 0.7, 0.1, 0.2 480 480 480 32 320 32 64 64 0.1, 0.7, 0.2 320 320 320 64 32 800 64 32 0.08, 0.04, 0.88 800 800 800 ?? = = == == == = = = ?? == == = 11 12 13 21 22 23 31 32 33 PPP －－ PP P＝ PPP ＝ ? ? ? ? ? ? ? ? ? ? = 88.004.008.0 2.07.01.0 2.01.07.0 1 P （ 2）以 1600除 8月份甲，乙，丙的戶數(shù)，得初始概率 分布（即初始市場占有率） (0) (0) (0) 123 (0) ( , , ) (0.3 0.2 0.5)Pppp== 2012-8-24 6 所以 9月份市場占有率分布為 （ 3） 12月份市場占有率分布為 1 )0()1( PPP = )5.02.03.0(= ? ? ? ? ? ? ? ? ? ? 88.004.008.0 2.07.01.0 2.01.07.0 )54.019.027.0(= 4 1 )0()4( PPP = )5.02.03.0(= 4 88.004.008.0 2.07.01.0 2.01.07.0 ? ? ? ? ? ? ? ? ? ? )5983.01698.02319.0(= 例 1 其一步轉(zhuǎn)移矩陣為 試研究各狀態(tài)間的關(guān)系，并畫出狀態(tài)傳遞圖 。 設(shè)馬氏鏈 }0,{ ≥nX n 的狀態(tài)空間 I={0， 1， 2} ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? = 3 2 3 1 0 4 1 4 1 2 1 0 2 1 2 1 1 P 解 先按一步轉(zhuǎn)移概率，畫出各狀態(tài)間的傳遞 圖 首頁 2/3 1/4 1/4 1/3 1/2 1/2 0 1 2 1/2 圖 3---1 由圖可知 狀態(tài) 0可到達狀態(tài) 1，經(jīng)過狀態(tài) 1又可到達狀態(tài) 2； 反之，從狀態(tài) 2出發(fā)經(jīng)狀態(tài) 1也可到達狀態(tài) 0。 因此，狀態(tài)空間 I的各狀態(tài)都是互通的。 又由于 I 的任意狀態(tài) i (i = 0， 1， 2)不能到達 I 以外的任 何狀態(tài)， 所以 I是一個閉集 而且 I 中沒有其它閉集 所以此馬氏鏈是不可約的 。 首頁 例 2 其一步轉(zhuǎn)移矩陣為 試討論哪些狀態(tài)是吸收態(tài)、閉集及不可約鏈 。 解 先按一步轉(zhuǎn)移概率，畫出各狀態(tài)間的傳遞 圖 設(shè)馬氏鏈的狀態(tài)空間為 I = {1， 2， 3， 4， 5} ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? = 00010 00001 00100 002/102/1 02/1002/1 1 P 首頁 1 1 1/2 1/2 1/2 3 1 1/2 圖 4---2 4 5 2 1 閉集， 由圖可知 狀態(tài) 3為吸收態(tài) 且 故 1 C = {3}為閉集 2 C ={1,4} 3 C ={1,3,4} 閉集， 閉集， 4 C ={1,2,3,4} 其中 是不可約的。 1 C ， 2 C 又因狀態(tài)空間 I有閉子集， 故此鏈為非不可約鏈。 首頁 3．常返態(tài)與瞬時態(tài) 則稱狀態(tài) i為常返態(tài) 則稱狀態(tài) i為瞬時態(tài) 注 若 1= ii f 若 1< ii f “常返”一詞，有時又稱“返回”、“常駐”或“持久” “瞬時”也稱“滑過” 或“非常返” 定理 4 若 1= ii f ，則系統(tǒng)以概率 1 無窮次返回 i； 若 1< ii f ，則系統(tǒng)以概率 1 只有有窮次返回 i。 定理 5 i是常返態(tài)的充要條件是 ∞= ∑ ∞ =0 )( n n ii p 定理 6 如果 i為常返態(tài)，且 ，則 j也是常返態(tài)。 ji ? 定理 7 所有常返態(tài)構(gòu)成一個閉集 2012-8-24 7 5．正常返態(tài)與零常返態(tài) 平均返回時間 從狀態(tài) i出發(fā)，首次返回狀態(tài) i的平均時間 稱為狀態(tài) i平均返回時間 . 根據(jù)的值是有限或無限，可把常返態(tài)分為兩類： 設(shè) i是常返態(tài)， 則稱 i為正常返態(tài)； )( 11 }{][ n ii n ii n iii nfnTnPTE ∑∑ ≥≥ ====μ 若 ∞< i μ 若 ∞= i μ ， 則稱 i為零常返態(tài)。 首頁 例 其一步轉(zhuǎn)移矩陣如下，是對 I進行分解。 設(shè)馬氏鏈 { 0, ≥nX n }的狀態(tài)空間 I={1， 2， 3, …,7} 0.1 0.1 0.2 0.2 0.4 0 0 0 0 0 .5 0 .5 0 0 0 0 0 0 1 0 0 0 0 1 0 0 0 0 0 0 0 0 00.50.50 0 0 0 0 0 .5 0 0 .5 0 0 0 000.50.5 P ? ? ? ? ? ? ? ? ? ? = ? ? ? ? ? ? ? ? ? ? ? ? I可分解為： C 1 ={2， 3, 4} C 2 ={5， 6,7} 兩個閉集及 N={1} ，即 I=N+ C1+ C2 12 0 0.5 0.5 0.5 0 0.5 0 0 1 P = 0.5 0.5 0 10 0 00.50.5 P ??? ? ??? ? = ??? ? ??? ? 用極限判斷狀態(tài)類型的準則 （ 2） i是零常返態(tài) （ 3） i是正常返態(tài) 0lim )( = ∞→ n ii n p （ 1） i是瞬時態(tài) ? ∞< ∑ ∞ = )( 0 n ii n p （這時 0lim )( = ∞→ n ii n p ） ? ∞= ∑ ∞ = )( 0 n ii n p 且 ? ∞= ∑ ∞ = )( 0 n ii n p 且 0lim )( ≠ ∞→ n ii n p 首頁 例 3 轉(zhuǎn)移矩陣 已知馬氏鏈 { ,0,1,2, n Xn= L }的狀態(tài)空間 }4,3,2,1{=I ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? = 0001 1000 0100 4 1 4 1 4 1 4 1 P 試對其狀態(tài)分類。 解 按一步轉(zhuǎn)移概率， 畫出各狀態(tài)間的傳 遞圖 2 1/4 1 1 1/4 1/4 1 1/4 1 4 3 首頁 從圖可知，此鏈的每一狀態(tài)都可到達另一狀態(tài)，即 4個 狀態(tài)都是相通的。 考慮狀態(tài) 1是否常返， 需要計算 11 f ： 4 1 )1( 11 =f (2) 11 14 41 1 4 fpp=?= 4 1 413413 )3( 11 =??= pppf 4 1 41342312 )4( 11 == ppppf 0 )( 11 = n f （ 5, 6,n = L ） )( 11 1 11 n n ff ∑ ∞ = = 1 4 1 4 1 4 1 4 1 =+++= 于是狀態(tài) 1是常返的。 ∞≥= n iii pnGCDd ： 如果 1> i d ， 則稱 為周期態(tài)， i i d 為周期 如果 1= i d 則稱 為非周期態(tài)。 i 定理 11 設(shè)馬氏鏈的狀態(tài)空間為 I， Iji ∈, （ 1）若 ji ? ，則 ji dd = ； （ 2）若是不可約馬氏鏈，且 0> ii p ，則此馬氏鏈是非周期鏈。 2．遍歷狀態(tài) 若狀態(tài) i是正常返且非周期，則稱 i為遍歷狀態(tài)。 若馬氏鏈 { n X }的所有狀態(tài)都是遍歷的， 則稱 { n X }為遍歷鏈 1 1 1/2 1/2 1/2 3 1 1/2 圖 4---2 4 5 2 1 2012-8-24 8 例 4 設(shè)馬氏鏈的狀態(tài)空間 I = {0,1,2,…}，轉(zhuǎn)移概率為 試討論各狀態(tài)的遍歷性。 解 根據(jù)轉(zhuǎn)移概率作出狀態(tài)傳遞圖 2 1 00 =p ， 2 1 1, = +ii p ， 2 1 0 = i p ， Ii∈ … 1/2 1/2 1/2 1/2 1/2 1/2 0 1 2 1/2 圖 4---4 3 1/2 首頁 從圖可知，對任一狀態(tài) 都有 ， 故由定理可知， I 中的所以狀態(tài)都是相通的， Ii∈ 0?i 因此只需考慮狀態(tài) 0是否正常返即可。 (1) 00 1 , 2 f = (2) 00 11 1 , 22 4 f = ?= (3) 3 00 11 () , 28 f = = … 故 1 2 1 1 00 == ∑ ∞ = n n f 從而 0是常返態(tài)。 又因為 () 000 11 1 2 2 n n nn nf nμ ∞∞ == = =?==p 故狀態(tài) 0為非周期的 從而狀態(tài) 0是遍歷的。 故所有狀態(tài) i都是遍歷的。 … 1/2 1/2 1/2 1/2 1/21/2 0 1 2 1/2 圖 4---4 3 1/2 1/3 1/2 1 1/3 1/2 1 1/3 1 2 3 4 例 5．設(shè)馬氏鏈的狀態(tài)空間 I={1， 2， 3， 4}，其一步轉(zhuǎn)移矩陣為 解 試對其狀態(tài)分類。 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? = 0010 0 2 1 2 1 0 0001 3 1 3 1 3 1 0 1 P 按一步轉(zhuǎn)移概率，畫出各狀態(tài)間的傳遞圖 它是有限狀態(tài)的馬氏鏈，故必有一個常返態(tài)，又 鏈中四個狀態(tài)都是互通的。因此，所有狀態(tài)都是 常返態(tài)，這是一個有限狀態(tài)不可約的馬氏鏈。 可繼續(xù)討論是否為正常返態(tài) 可討論狀態(tài) 1 0 )1( 11 =f 3 1 )2( 11 =f 2 1 2 1 3 1 3 1 )3( 11 =?+=f 12 1 1 2 1 2 1 3 1 )4( 11 =???=f () 11 11 2 1 11 1 1 1 3212212212 n n ff ∞ = = =++ + + + ?? ∑ L 122 1 1 2 1 2 1 2 1 3 1 )5( 11 ? =????=f 122 1 1 2 1 2 1 2 1 2 1 3 1 2 )6( 11 ? =?????=f 1= 1/3 1/2 1 1/3 1/2 1 1/3 1 2 3 4 狀態(tài) 1是常返態(tài) )( 11 1 1 n n fn ∑ ∞ = =μ ∞ ij p 。 112 213 323 123 11 33 21 33 22 33 1 π ππ π ππ π ππ πππ ? =+ ? ? ? =+ ? ? ? =+ ? ? ? ++= ? 112 2 3 3 1/ 7, 1/ 3.5, 1/ 7/4μ πμπ μπ==== == 所以馬氏鏈的平穩(wěn)分布為 X i π 1 2 3 7 1 7 2 7 4 各狀態(tài)的平均返回時間 例 2 設(shè)有 6個球（其中 2個紅球， 4個白球）分放于甲、 乙兩個盒子中，每盒放 3個，今每次從兩個盒中 各任取一球并進行交換，以 表示開始時甲 盒中紅球的個數(shù)， （ ）表示經(jīng) n次交換 后甲盒中的紅球數(shù)。 ( 1 ) 求馬氏鏈 { ， }的轉(zhuǎn)移概率矩陣； 0 X n X 1≥n n X 1≥n ( 2 ) 證明 { ， }是遍歷的； n X 1≥n （ 3）求 )( lim n ij n p ∞→ 2,1,0, =ji （ 4）求 lim ( ) j n pn →∞ 2,1,0=j 首頁 解 其一步轉(zhuǎn)移矩陣為 （ 1）因 n X 表紅球數(shù)，所以狀態(tài)空間 E = {0,1,2} ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? = 3 1 3 2 0 9 2 9 5 9 2 0 3 2 3 1 1 P 甲 乙 紅球 0 白球 3 紅球 2 白球 1 紅球 1 白球 2 紅球 1 白球 2 紅球 2 白球 1 紅球 0 白球 3 1/3 2/9 5/9 2/3 2/9 1/3 0 1 2 2/3 由狀態(tài)傳遞圖 1/3 2/9 5/9 2/3 2/9 1/3 0 1 2 2/3 （ 2）由于它是一個有限馬氏鏈，故必有一個常返態(tài)， 又鏈中三個狀態(tài) 0、 1、 2都相通，所以每個狀態(tài)都是常返態(tài)。 所以是一個不可約的有限馬氏鏈，從而每個狀態(tài)都是正常返的。 所以此鏈為非周期的。 故此鏈是不可約非周期的正常返鏈，即此鏈是遍歷的。 又由 0 3 1 00 >=p 首頁 也可以利用定理 1證明遍歷性 （ 3）由于 () j lim n ij n p π →∞ = （ 2,1,0=j ） ， 所以先求平穩(wěn)分布 j π 2 2 12 3 1 3 2 0 9 2 9 5 9 2 0 3 2 3 1 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? == PP 首頁 解之得 001 1012 212 012 j 12 39 252 393 21 93 1 0,( 0,1,2)j πππ ππππ πππ πππ π ? =+ ? ? ? =++ ? ? ? ? =+ ? ? ++= ? >= ? ? 0 1 5 π = ， 1 3 5 π = ， 2 1 5 π = 故得 () 0 lim n i n p →∞ = 0 1 5 π = () 1 lim n i n p →∞ = 1 3 5 π = 首頁 2012-8-24 10 （ 4） 0 1 5 π = 1 3 5 π = () 2 lim n i n p →∞ = 2 1 5 π = 0 lim ( ) n p n →∞ = 1 lim ( ) n pn →∞ = 2 lim ( ) n pn →∞ = 2 1 5 π = 首頁 例 3 市場占有率預(yù)測 設(shè)某地有 1600戶居民，某產(chǎn)品只有甲、乙、丙 3廠家 在該地銷售。經(jīng)調(diào)查， 8月份買甲、乙、丙三廠的戶 數(shù)分別為 480， 320， 800。 9月份里，原買甲的有 48戶 轉(zhuǎn)買乙產(chǎn)品，有 96戶轉(zhuǎn)買丙產(chǎn)品；原買乙的有 32戶轉(zhuǎn) 買甲產(chǎn)品，有 64戶轉(zhuǎn)買丙產(chǎn)品；原買丙的有 64戶轉(zhuǎn)買 甲產(chǎn)品，有 32戶轉(zhuǎn)買乙產(chǎn)品。用狀態(tài) 1、 2、 3分別表 示甲、乙、丙三廠，試求 （ 1）轉(zhuǎn)移概率矩陣； （ 2） 9月份市場占有率的分布； （ 3） 12月份市場占有率的分布； （ 4）當(dāng)顧客流如此長期穩(wěn)定下去市場占有率的分布。 （ 5） 各狀態(tài)的平均返回時間 首頁 解 （ 1） 由題意得頻數(shù)轉(zhuǎn)移矩陣為 再用頻數(shù)估計概率，得轉(zhuǎn)移概率矩陣為 ? ? ? ? ? ? ? ? ? ? = 7043264 6422432 9648336 N ? ? ? ? ? ? ? ? ? ? = 88.004.008.0 2.07.01.0 2.01.07.0 1 P （ 2）以 1600除以 N中各行元素之和，得初始概率分布 （即初始市場占有率） )5.02.03.0(),,()0( 321 == pppP 首頁 所以 9月份市場占有率分布為 （ 3） 12月份市場占有率分布為 1 )0()1( PPP = )5.02.03.0(= ? ? ? ? ? ? ? ? ? ? 88.004.008.0 2.07.01.0 2.01.07.0 )54.019.027.0(= 4 1 )0()4( PPP = )5.02.03.0(= 4 88.004.008.0 2.07.01.0 2.01.07.0 ? ? ? ? ? ? ? ? ? ? )5983.01698.02319.0(= 首頁 （ 4）由于該鏈不可約、非周期、狀態(tài)有限正常返 的，所以是遍歷的。 解方程組 ? ? ? ? ? ? ? =++ ++= ++= ++= 1 88.02.02.0 04.07.01.0 08.01.07.0 321 3213 3212 3211 πππ ππππ ππππ ππππ 即得當(dāng)顧客流如此長期穩(wěn)定下去是市場占有率的分布為 )625.0156.0219.0(),,( 321 =πππ 123 ( , , ) (1/ 0.219 1/ 0.156 1/ 0.625)μμμ= （ 5） 例 4 (書中 69頁 例 4.18） 其一步轉(zhuǎn)移矩陣為 試并每個不可約閉集的平穩(wěn)分布 設(shè)馬氏鏈 { 0, ≥nX n }的狀態(tài)空間 I={1， 2， 3, …,7} 0.1 0.1 0.2 0.2 0.4 0 0 0 0 0 .5 0 .5 0 0 0 0 0 0 1 0 0 0 0 1 0 0 0 0 0 0 0 0 00.50.50 0 0 0 0 0 .5 0 0 .5 0 0 0 000.50.5 P ? ? ? ? ? ? ? ? ? ? = ? ? ? ? ? ? ? ? ? ? ? ? 2012-8-24 11 的平穩(wěn)分布得 狀態(tài)空間可分解為： C={2， 3, 4} D={5， 6,7} 兩個閉集，分別 求對應(yīng)轉(zhuǎn)移概率矩陣 1234567 1234567 212 (,,,,,,)(0,, , ,0,0,0) 555 111 (,,,,,,)(0,0,0,0,, , ,) 333 πππππππ πππππππ = = 12 0 0.5 0.5 0.5 0 0.5 0 0 1 P = 0.5 0.5 0 10 0 00.50.5 P ??? ? ??? ? = ??? ? ??? ?