馬爾科夫鏈例題考試易考題型.pdf

《馬爾科夫鏈例題考試易考題型.pdf》由會(huì)員分享，可在線閱讀，更多相關(guān)《馬爾科夫鏈例題考試易考題型.pdf（11頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

2012-8-24 1 若 表示質(zhì)點(diǎn)在時(shí)刻 n所處的位置，分析它的 概率特性。 例 1 直線上帶吸收壁的隨機(jī)游動(dòng)（醉漢游動(dòng)） 設(shè)一質(zhì)點(diǎn)在線段 [1， 5 ]上隨機(jī)游動(dòng)，每秒鐘發(fā)生 一次隨機(jī)游動(dòng)，移動(dòng)的規(guī)則是： （ 1）若移動(dòng)前在 2， 3， 4處，則均以概率 向左 或向右 移動(dòng)一單位； （ 2）若移動(dòng)前在 1， 5處，則以概率 1停留在原處。 2 1 質(zhì)點(diǎn)在 1， 5兩點(diǎn)被“吸收 ” 1 2 3 4 5 ()X n 前言：馬爾可夫過(guò)程的描述分類(lèi) tX(t),例3 電話交換臺(tái)在 時(shí)刻前來(lái)到的呼叫數(shù) 是無(wú)后效性的隨機(jī)過(guò)程. X(t),例2 直線上的隨機(jī)游動(dòng)時(shí)的位置 是 無(wú)后效性的隨機(jī)過(guò)程. 首頁(yè) 無(wú) 記 憶 性 未來(lái)處于某狀態(tài)的概率特性只與現(xiàn)在狀態(tài) 有關(guān)，而與以前的狀態(tài)無(wú)關(guān)，這種特性叫 無(wú)記憶性（無(wú)后效性）。 例 4 布朗運(yùn)動(dòng) 若 表示質(zhì)點(diǎn)在時(shí)刻 n所處的位置，求 一步轉(zhuǎn)移概率。 引 例 例 1 直線上帶吸收壁的隨機(jī)游 動(dòng)（醉漢游動(dòng)） 設(shè)一質(zhì)點(diǎn)在線段 [1， 5 ]上隨機(jī)游動(dòng)，每秒鐘發(fā)生 一次隨機(jī)游動(dòng)，移動(dòng)的規(guī)則是： （ 1）若移動(dòng)前在 2， 3， 4處，則均以概率 向左 或向右 移動(dòng)一單位； （ 2）若移動(dòng)前在 1， 5處，則以概率 1停留在原處。 2 1 質(zhì)點(diǎn)在 1， 5兩點(diǎn)被“吸收 ” 1 2 3 4 5 ()X n 一步轉(zhuǎn)移概率矩陣的計(jì)算 首頁(yè) 有兩個(gè)吸收壁的隨機(jī)游動(dòng) 其一步轉(zhuǎn) 移矩陣為 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? = 10000 2 1 0 2 1 00 0 2 1 0 2 1 0 00 2 1 0 2 1 00001 1 P 狀態(tài)空間 I={1， 2， 3， 4， 5}， 參數(shù)集 T={1， 2， 3， ………}， 例 2．帶有反射壁的隨機(jī)游動(dòng) 設(shè)隨機(jī)游動(dòng)的狀態(tài)空間 I = {0， 1， 2， …}，移動(dòng)的 規(guī)則是： （ 1）若移動(dòng)前在 0處，則下一步以概率 p向右移 動(dòng)一個(gè)單位，以概率 q停留在原處（ p+q=1）； （ 2）若移動(dòng)前在其它點(diǎn)處，則均以概率 p向右移 動(dòng)一個(gè)單位，以概率 q向左移動(dòng)一個(gè)單位。 設(shè) 表示在時(shí)刻 n質(zhì)點(diǎn)的位置， 則 { ， }是一個(gè)齊次馬氏鏈，寫(xiě)出其一步轉(zhuǎn) 移概率。 n X n X 0≥n 首頁(yè) q p 右反射壁 m-1 m p q 左反射壁 1 2 0 1 000..000 000.000 000.000 ... ... ... ... ... ... ... ... ... 00000.. 0 00000..0 qp qp qp P qp qp ? ? ? ? ? ? ? ? = ? ? ? ? ? ? ? ? ? ? 首頁(yè) 2012-8-24 2 p q 反 射 壁 1 2 3 0 1 000.. 0 0 0 ... 000. ... ... ... ... ... ... qp qp P qp ?? ?? = ?? ?? 首頁(yè) 例 3．一個(gè)圓周上共有 N格（按順時(shí)針排列），一 個(gè)質(zhì)點(diǎn)在該圓周上作隨機(jī)游動(dòng)，移動(dòng)的規(guī)則是： 質(zhì)點(diǎn)總是以概率 p順時(shí)針游動(dòng)一格， 以概率 逆時(shí)針游動(dòng)一格。試求轉(zhuǎn)移概率 矩陣。 pq ?= 1 1 000.0 00.00 00.00 ... ... ... ... ... ... ... 00..0 0 0.. 00 0 p q qp qp P qp pq ? ? ? ? ? ? ? ? = ? ? ? ? ? ? ? ? ? ? {1, 2 , ..., }I N= 首頁(yè) 4．一個(gè)質(zhì)點(diǎn)在全直線的整數(shù)點(diǎn)上作隨機(jī)游動(dòng)，移 動(dòng)的規(guī)則是：以概率 p從 i移到 i-1，以概率 q從 i移到 i+1，以概率 r停留在 i，且 ，試 求轉(zhuǎn)移概率矩陣。 1=++ qpr 1 ... ... ... ... ... ... ... ... ... 0 0 0 ... ... 0 0 0 ... ... ... ... ... ... ... ... ... prq P prq ?? ?? = ?? {..., 2, 1,0,1,2,...}E =?? 首頁(yè) 5．設(shè)袋中有 a個(gè)球，球?yàn)楹谏幕虬咨?，今隨 機(jī)地從袋中取一個(gè)球，然后放回一個(gè)不同顏色的 球。若在袋里有 k個(gè)白球，則稱系統(tǒng)處于狀態(tài) k， 試用馬爾可夫鏈描述這個(gè)模型（稱為愛(ài)倫菲斯特 模型），并求轉(zhuǎn)移概率矩陣。 解 這是一個(gè)齊次馬氏鏈，其狀態(tài)空間為 I={0， 1， 2， …， a} 一步轉(zhuǎn)移矩陣是 1 0 1 0 0 ... 0 11 0 0 ... 0 22 0 0 ... 0 ... ... ... ... ... ... 11 0 ... 0 0 0 ... 0 0 1 0 a aa a P aa a aa ? ? ? ? ? ? ? ? ? ? ? ? ? ? = ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 首頁(yè) 練習(xí)題． 扔一顆色子，若前 n次扔出的點(diǎn)數(shù)的最大值為 j， 就說(shuō) 試問(wèn) 是否為馬氏鏈？求一步轉(zhuǎn)移概率矩 陣。 I={1， 2， 3， 4， 5， 6} 首頁(yè) , n Xj= , n Xj= 111111 666666 21111 0 66666 3111 00 6666 411 000 666 51 0 ... 0 0 66 0 ... 0 0 1 0 P ? ? ? ? ? ? ? ? ? ? ? ? ? ? =? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 2012-8-24 3 例 1 甲、乙兩人進(jìn)行比賽，設(shè)每局比賽中甲勝的概率 是 p，乙勝的概率是 q，和局的概率是 ， （ ）。設(shè)每局比賽后，勝者記“ +1” 分，負(fù)者記“ —1”分，和局不記分。當(dāng)兩人中有 一人獲得 2分結(jié)束比賽。以 表示比賽至第 n 局時(shí)甲獲得的分?jǐn)?shù)。 r 1=++ rqp n X （ 1）寫(xiě)出狀態(tài)空間； （ 2）求 (2) P ； （ 3）問(wèn)在甲獲得 1分的情況下，再賽二局可 以結(jié)束比賽的概率是多少？ 首頁(yè) 解 （ 1） 記甲獲得“負(fù) 2分”為狀態(tài) 1，獲得 “負(fù) 1分”為狀態(tài) 2，獲得“ 0分”為狀態(tài) 3， 獲得“正 1分”為狀態(tài) 4，獲得“正 2分”為 狀態(tài) 5，則狀態(tài)空間為 {12345}I = ，，，， 一步轉(zhuǎn)移概率矩陣 100 0 0 00 00 00 000 0 1 qr p P qr p qrp ? ? ? ? ? ? ? ?= ? ? ? ? ? ? ? ? 首頁(yè) （ 2）二步轉(zhuǎn)移概率矩陣 (2) 2 P P= ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ++ + ++ = 10000 20 222 02 00001 22 222 22 rpppqrqrq pprpqrrqq pprpqrrpq 首頁(yè) （ 3） 在 (2) P 中 (2) 45 p 是在甲得 1 分的情況下經(jīng)二步轉(zhuǎn)移至得 2 分 從而結(jié)束比賽的概率； (2) 41 p 是在甲得 1 分的情況下經(jīng)二步轉(zhuǎn)移至— 2 分（即乙得 2 分） 從而結(jié)束比賽的概率。 所以題中所求概率為 (2) 45 p + (2) 41 p )1(0)( rprpp +=++= 首頁(yè) 分 析 例 2 賭徒輸光問(wèn)題 賭徒甲有資本 a元，賭徒乙有資本 b元，兩人進(jìn)行 賭博，每賭一局輸者給贏者 1元，沒(méi)有和局，直 賭至兩人中有一人輸光為止。設(shè)在每一局中，甲 獲勝的概率為 p，乙獲勝的概率為 ， 求甲輸光的概率。 pq ?=1 這個(gè)問(wèn)題實(shí)質(zhì)上是帶有兩個(gè)吸收壁的隨機(jī)游動(dòng)。從 甲的角度看，他初始時(shí)刻處于 a，每次移動(dòng)一格，向 右移（即贏 1元）的概率為 p，向左移（即輸 1元）的 概率為 q。如果一旦到達(dá) 0（即甲輸光）或 a + b（即 乙輸光）這個(gè)游動(dòng)就停止。這時(shí)的狀態(tài)空間為 {0， 1， 2， …， c}， c = a + b，?，F(xiàn)在的問(wèn)題是求質(zhì)點(diǎn)從 a出 發(fā)到達(dá) 0狀態(tài)先于到達(dá) c狀態(tài)的概率。 首頁(yè) 考慮質(zhì)點(diǎn)從 j出發(fā)移動(dòng)一步后的情況 解 設(shè) cj ≤≤0 設(shè) j u 為質(zhì)點(diǎn)從 j 出發(fā)到達(dá) 0 狀態(tài)先于到達(dá) c 狀態(tài)的概率。 在以概率 p 移到 1+j 的假設(shè)下， 到達(dá) 0 狀態(tài)先于到達(dá) c 狀態(tài)的概率為 1+j u 同理 以概率 q 移到 1?j 的前提下， 到達(dá) 0狀態(tài)先于到達(dá) c狀態(tài)的概率為 1?j u 根據(jù)全概率公式有 qupuu jjj 11 ?+ += 這一方程實(shí)質(zhì)上是一差分方程，它的邊界條件是 0,1 0 == c uu 首頁(yè) 2012-8-24 4 于是 設(shè) （ p + q） 11 ?+ += jjj qupuu ))(( 11 jjjj uu p q uu ?=? ?+ p q r = 1+ ?= jjj uud 則可得到兩個(gè)相鄰差分間的遞推關(guān)系 1? = jj rdd 于是 2 12 0 j jj j drd rd rd ?? == ==L 欲求 a u 先求 j u 需討論 r 首頁(yè) 當(dāng) 而 1≠r c uu ?= 0 1 )( 1 1 0 + ? = ?= ∑ jj c j uu j c j d ∑ ? = = 1 0 0 1 0 dr j c j ∑ ? = = 0 1 1 d r r c ? ? = cjj uuu ?= )( 1 1 + ? = ?= ∑ ii c ji uu 0 11 drd i c ji i c ji ∑∑ ? = ? = == 1 0 (1 ) jcj rr rd ?? =+++L 0 1 d r rr cj ? ? = 兩式相比 c cj j r rr u ? ? = 1 首頁(yè) 故 c ca a r rr u ? ? = 1 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?= cca p q p q p q )(1)()( 當(dāng) 1=r 00 1 cduu c ==? 而 0 )( djcu j ?= 因此 c jc u j ? = 故 c b c ac u a = ? = 首頁(yè) 用同樣的方法可以求得乙先輸光的概率 由以上計(jì)算結(jié)果可知 當(dāng) 1≠r 即 qp ≠ 時(shí)，甲先輸光的概率為 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? cca p q p q p q )(1)()( 當(dāng) 1=r 即 qp = 時(shí)， 甲先輸光的概率為 c b 當(dāng) qp ≠ 時(shí)，乙輸光的概率為 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ca p q p q )(1)(1 當(dāng) qp = 時(shí)，乙先輸光的概率為 c a 首頁(yè) 例 3 排隊(duì)問(wèn)題 顧客到服務(wù)臺(tái)排隊(duì)等候服務(wù)，在每一個(gè)服務(wù)周期中只 要服務(wù)臺(tái)前有顧客在等待，就要對(duì)排在前面的一位提 供服務(wù)，若服務(wù)臺(tái)前無(wú)顧客時(shí)就不能實(shí)施服務(wù)。 設(shè)在第 n個(gè)服務(wù)周期中到達(dá)的顧客數(shù)為一隨機(jī)變量 n Y 且諸 n Y 獨(dú)立同分布： ) nk P Yk p==（ ， 0,1, 2,k = L ， 1= ∑ k k p 記 n X 為服務(wù)周期 n 開(kāi)始時(shí)服務(wù)臺(tái)前顧客數(shù) 則有 ? ? ? = ≥+? = + 0, 1,1 1 nn nnn n XY XYX X 若 若 此時(shí) { n X ， 1≥n }為一馬氏鏈， 求其轉(zhuǎn)移矩陣 在第 n周期已有一個(gè) 顧客在服務(wù)，到第 n+1 周期已服務(wù)完畢 解 先求出轉(zhuǎn)移概率 )0|0( 0100 === XXPp )0( 0 == YP 0 p= )0|1( 0101 === XXPp )1( 0 == YP 1 p= )1|0( 110 === + nn XXPp )1|01( ==+?= nnn XYXP )0( == n YP 0 p= )1|1( 111 === + nn XXPp )1|11( ==+?= nnn XYXP )1( == n YP 1 p= )2|0( 120 === + nn XXPp )2|01( ==+?= nnn XYXP )1( ?== n YP 0= )2|1( 121 === + nn XXPp )2|11( ==+?= nnn XYXP )0( == n YP 0 p= )2|2( 122 === + nn XXPp )1( == n YP 1 p= 首頁(yè) 2012-8-24 5 所以轉(zhuǎn)移矩陣為 01234 01234 1 0123 012 0 00 ppppp ppppp P pppp ppp ?? ?? = ?? ?? ?? L L L L LLLLLL 首頁(yè) 證 }{ jXP n = 0 I {,} n i P XjXi ∈ = == ∑ 00 I {}{ | } n i P XiPX jXi ∈ = === ∑ () i I n ij i pp ∈ = ∑ 0 {, } n i P XjXi= ==U (n) (n) 12 12 (1) (1) (1) (1) 11 i1 21 E I={1,2}, 32 P,P, P,P 55 1, P{X=1}= p i i n Ppppp ∈ == = ==+ ∑ 設(shè)馬氏鏈的狀態(tài)空間 初始分布為 試對(duì)n=1,2,3,計(jì)算 解： 例2 定理 4.3 馬爾科夫鏈的有限維分布： 112 m-1m 112 2 m m 01 2 012 {X , X , , X } 1) ,0, 0.1 0.2 0.7 0.9 0.1 0 0.1 0.8 0.1 0.3 0.4 0.3 {X 0, X 1, X 2} 2 iii ii ii iI Pi i i pp p p n P ppp p ∈ == = = ≥ ?? ?? = ?? === === ∑ L L n 由全概率公式得到證明，它是公式（ 的推廣。 考慮狀態(tài)0，1，2上的一個(gè)馬氏鏈X 它又轉(zhuǎn)移概率矩陣 初始分布為 ， ， ，試求 概率（1） 3： （ 例 ） 234 {X 0, X 2, X 1}p === ? 練習(xí)：馬氏鏈的狀態(tài)空間 I={1， 2， 3}，初始概 率為 123 12 12 22 13 0 44 111 111 ,,, 424 333 13 0 44 (1) P{X(0)=1,X(1)=2,X(2)=2},p (2) (2) P{X(1)=2,X(2)=2 X(0)=1}=p (3) P{X(1)=1,X(2)=2,X(3)=3} pppP p ?? ?? ?? ==== ?? ?? ?? 計(jì)算 證明： 求 例 4 市場(chǎng)占有率預(yù)測(cè) 設(shè)某地有 1600戶居民，某產(chǎn)品只有甲、乙、丙 3廠 家在該地銷(xiāo)售。經(jīng)調(diào)查， 8月份買(mǎi)甲、乙、丙三廠 的戶數(shù)分別為 480， 320， 800。 9月份里，原買(mǎi)甲的 有 48戶轉(zhuǎn)買(mǎi)乙產(chǎn)品，有 96戶轉(zhuǎn)買(mǎi)丙產(chǎn)品；原買(mǎi)乙的 有 32戶轉(zhuǎn)買(mǎi)甲產(chǎn)品，有 64戶轉(zhuǎn)買(mǎi)丙產(chǎn)品；原買(mǎi)丙的 有 64戶轉(zhuǎn)買(mǎi)甲產(chǎn)品，有 32戶轉(zhuǎn)買(mǎi)乙產(chǎn)品。用狀態(tài) 1、 2、 3分別表示甲、乙、丙三廠，試求 （ 1）轉(zhuǎn)移概率矩陣； （ 2） 9月份市場(chǎng)占有率的分布； （ 3） 12月份市場(chǎng)占有率的分布； 解 （ 1） E{1， 2， 3},狀態(tài) 1、 2、 3分別表示甲、乙、丙的用戶 一步轉(zhuǎn)移概率矩陣為 480 48 96 48 96 0.7, 0.1, 0.2 480 480 480 32 320 32 64 64 0.1, 0.7, 0.2 320 320 320 64 32 800 64 32 0.08, 0.04, 0.88 800 800 800 ?? = = == == == = = = ?? == == = 11 12 13 21 22 23 31 32 33 PPP －－ PP P＝ PPP ＝ ? ? ? ? ? ? ? ? ? ? = 88.004.008.0 2.07.01.0 2.01.07.0 1 P （ 2）以 1600除 8月份甲，乙，丙的戶數(shù)，得初始概率 分布（即初始市場(chǎng)占有率） (0) (0) (0) 123 (0) ( , , ) (0.3 0.2 0.5)Pppp== 2012-8-24 6 所以 9月份市場(chǎng)占有率分布為 （ 3） 12月份市場(chǎng)占有率分布為 1 )0()1( PPP = )5.02.03.0(= ? ? ? ? ? ? ? ? ? ? 88.004.008.0 2.07.01.0 2.01.07.0 )54.019.027.0(= 4 1 )0()4( PPP = )5.02.03.0(= 4 88.004.008.0 2.07.01.0 2.01.07.0 ? ? ? ? ? ? ? ? ? ? )5983.01698.02319.0(= 例 1 其一步轉(zhuǎn)移矩陣為 試研究各狀態(tài)間的關(guān)系，并畫(huà)出狀態(tài)傳遞圖 。 設(shè)馬氏鏈 }0,{ ≥nX n 的狀態(tài)空間 I={0， 1， 2} ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? = 3 2 3 1 0 4 1 4 1 2 1 0 2 1 2 1 1 P 解 先按一步轉(zhuǎn)移概率，畫(huà)出各狀態(tài)間的傳遞 圖 首頁(yè) 2/3 1/4 1/4 1/3 1/2 1/2 0 1 2 1/2 圖 3---1 由圖可知 狀態(tài) 0可到達(dá)狀態(tài) 1，經(jīng)過(guò)狀態(tài) 1又可到達(dá)狀態(tài) 2； 反之，從狀態(tài) 2出發(fā)經(jīng)狀態(tài) 1也可到達(dá)狀態(tài) 0。 因此，狀態(tài)空間 I的各狀態(tài)都是互通的。 又由于 I 的任意狀態(tài) i (i = 0， 1， 2)不能到達(dá) I 以外的任 何狀態(tài)， 所以 I是一個(gè)閉集 而且 I 中沒(méi)有其它閉集 所以此馬氏鏈?zhǔn)遣豢杉s的 。 首頁(yè) 例 2 其一步轉(zhuǎn)移矩陣為 試討論哪些狀態(tài)是吸收態(tài)、閉集及不可約鏈 。 解 先按一步轉(zhuǎn)移概率，畫(huà)出各狀態(tài)間的傳遞 圖 設(shè)馬氏鏈的狀態(tài)空間為 I = {1， 2， 3， 4， 5} ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? = 00010 00001 00100 002/102/1 02/1002/1 1 P 首頁(yè) 1 1 1/2 1/2 1/2 3 1 1/2 圖 4---2 4 5 2 1 閉集， 由圖可知 狀態(tài) 3為吸收態(tài) 且 故 1 C = {3}為閉集 2 C ={1,4} 3 C ={1,3,4} 閉集， 閉集， 4 C ={1,2,3,4} 其中 是不可約的。 1 C ， 2 C 又因狀態(tài)空間 I有閉子集， 故此鏈為非不可約鏈。 首頁(yè) 3．常返態(tài)與瞬時(shí)態(tài) 則稱狀態(tài) i為常返態(tài) 則稱狀態(tài) i為瞬時(shí)態(tài) 注 若 1= ii f 若 1< ii f “常返”一詞，有時(shí)又稱“返回”、“常駐”或“持久” “瞬時(shí)”也稱“滑過(guò)” 或“非常返” 定理 4 若 1= ii f ，則系統(tǒng)以概率 1 無(wú)窮次返回 i； 若 1< ii f ，則系統(tǒng)以概率 1 只有有窮次返回 i。 定理 5 i是常返態(tài)的充要條件是 ∞= ∑ ∞ =0 )( n n ii p 定理 6 如果 i為常返態(tài)，且 ，則 j也是常返態(tài)。 ji ? 定理 7 所有常返態(tài)構(gòu)成一個(gè)閉集 2012-8-24 7 5．正常返態(tài)與零常返態(tài) 平均返回時(shí)間 從狀態(tài) i出發(fā)，首次返回狀態(tài) i的平均時(shí)間 稱為狀態(tài) i平均返回時(shí)間 . 根據(jù)的值是有限或無(wú)限，可把常返態(tài)分為兩類(lèi)： 設(shè) i是常返態(tài)， 則稱 i為正常返態(tài)； )( 11 }{][ n ii n ii n iii nfnTnPTE ∑∑ ≥≥ ====μ 若 ∞< i μ 若 ∞= i μ ， 則稱 i為零常返態(tài)。 首頁(yè) 例 其一步轉(zhuǎn)移矩陣如下，是對(duì) I進(jìn)行分解。 設(shè)馬氏鏈 { 0, ≥nX n }的狀態(tài)空間 I={1， 2， 3, …,7} 0.1 0.1 0.2 0.2 0.4 0 0 0 0 0 .5 0 .5 0 0 0 0 0 0 1 0 0 0 0 1 0 0 0 0 0 0 0 0 00.50.50 0 0 0 0 0 .5 0 0 .5 0 0 0 000.50.5 P ? ? ? ? ? ? ? ? ? ? = ? ? ? ? ? ? ? ? ? ? ? ? I可分解為： C 1 ={2， 3, 4} C 2 ={5， 6,7} 兩個(gè)閉集及 N={1} ，即 I=N+ C1+ C2 12 0 0.5 0.5 0.5 0 0.5 0 0 1 P = 0.5 0.5 0 10 0 00.50.5 P ??? ? ??? ? = ??? ? ??? ? 用極限判斷狀態(tài)類(lèi)型的準(zhǔn)則 （ 2） i是零常返態(tài) （ 3） i是正常返態(tài) 0lim )( = ∞→ n ii n p （ 1） i是瞬時(shí)態(tài) ? ∞< ∑ ∞ = )( 0 n ii n p （這時(shí) 0lim )( = ∞→ n ii n p ） ? ∞= ∑ ∞ = )( 0 n ii n p 且 ? ∞= ∑ ∞ = )( 0 n ii n p 且 0lim )( ≠ ∞→ n ii n p 首頁(yè) 例 3 轉(zhuǎn)移矩陣 已知馬氏鏈 { ,0,1,2, n Xn= L }的狀態(tài)空間 }4,3,2,1{=I ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? = 0001 1000 0100 4 1 4 1 4 1 4 1 P 試對(duì)其狀態(tài)分類(lèi)。 解 按一步轉(zhuǎn)移概率， 畫(huà)出各狀態(tài)間的傳 遞圖 2 1/4 1 1 1/4 1/4 1 1/4 1 4 3 首頁(yè) 從圖可知，此鏈的每一狀態(tài)都可到達(dá)另一狀態(tài)，即 4個(gè) 狀態(tài)都是相通的。 考慮狀態(tài) 1是否常返， 需要計(jì)算 11 f ： 4 1 )1( 11 =f (2) 11 14 41 1 4 fpp=?= 4 1 413413 )3( 11 =??= pppf 4 1 41342312 )4( 11 == ppppf 0 )( 11 = n f （ 5, 6,n = L ） )( 11 1 11 n n ff ∑ ∞ = = 1 4 1 4 1 4 1 4 1 =+++= 于是狀態(tài) 1是常返的。 ∞≥= n iii pnGCDd ： 如果 1> i d ， 則稱 為周期態(tài)， i i d 為周期 如果 1= i d 則稱 為非周期態(tài)。 i 定理 11 設(shè)馬氏鏈的狀態(tài)空間為 I， Iji ∈, （ 1）若 ji ? ，則 ji dd = ； （ 2）若是不可約馬氏鏈，且 0> ii p ，則此馬氏鏈?zhǔn)欠侵芷阪湣?2．遍歷狀態(tài) 若狀態(tài) i是正常返且非周期，則稱 i為遍歷狀態(tài)。 若馬氏鏈 { n X }的所有狀態(tài)都是遍歷的， 則稱 { n X }為遍歷鏈 1 1 1/2 1/2 1/2 3 1 1/2 圖 4---2 4 5 2 1 2012-8-24 8 例 4 設(shè)馬氏鏈的狀態(tài)空間 I = {0,1,2,…}，轉(zhuǎn)移概率為 試討論各狀態(tài)的遍歷性。 解 根據(jù)轉(zhuǎn)移概率作出狀態(tài)傳遞圖 2 1 00 =p ， 2 1 1, = +ii p ， 2 1 0 = i p ， Ii∈ … 1/2 1/2 1/2 1/2 1/2 1/2 0 1 2 1/2 圖 4---4 3 1/2 首頁(yè) 從圖可知，對(duì)任一狀態(tài) 都有 ， 故由定理可知， I 中的所以狀態(tài)都是相通的， Ii∈ 0?i 因此只需考慮狀態(tài) 0是否正常返即可。 (1) 00 1 , 2 f = (2) 00 11 1 , 22 4 f = ?= (3) 3 00 11 () , 28 f = = … 故 1 2 1 1 00 == ∑ ∞ = n n f 從而 0是常返態(tài)。 又因?yàn)? () 000 11 1 2 2 n n nn nf nμ ∞∞ == = =?==p 故狀態(tài) 0為非周期的 從而狀態(tài) 0是遍歷的。 故所有狀態(tài) i都是遍歷的。 … 1/2 1/2 1/2 1/2 1/21/2 0 1 2 1/2 圖 4---4 3 1/2 1/3 1/2 1 1/3 1/2 1 1/3 1 2 3 4 例 5．設(shè)馬氏鏈的狀態(tài)空間 I={1， 2， 3， 4}，其一步轉(zhuǎn)移矩陣為 解 試對(duì)其狀態(tài)分類(lèi)。 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? = 0010 0 2 1 2 1 0 0001 3 1 3 1 3 1 0 1 P 按一步轉(zhuǎn)移概率，畫(huà)出各狀態(tài)間的傳遞圖 它是有限狀態(tài)的馬氏鏈，故必有一個(gè)常返態(tài)，又 鏈中四個(gè)狀態(tài)都是互通的。因此，所有狀態(tài)都是 常返態(tài)，這是一個(gè)有限狀態(tài)不可約的馬氏鏈。 可繼續(xù)討論是否為正常返態(tài) 可討論狀態(tài) 1 0 )1( 11 =f 3 1 )2( 11 =f 2 1 2 1 3 1 3 1 )3( 11 =?+=f 12 1 1 2 1 2 1 3 1 )4( 11 =???=f () 11 11 2 1 11 1 1 1 3212212212 n n ff ∞ = = =++ + + + ?? ∑ L 122 1 1 2 1 2 1 2 1 3 1 )5( 11 ? =????=f 122 1 1 2 1 2 1 2 1 2 1 3 1 2 )6( 11 ? =?????=f 1= 1/3 1/2 1 1/3 1/2 1 1/3 1 2 3 4 狀態(tài) 1是常返態(tài) )( 11 1 1 n n fn ∑ ∞ = =μ ∞ ij p 。 112 213 323 123 11 33 21 33 22 33 1 π ππ π ππ π ππ πππ ? =+ ? ? ? =+ ? ? ? =+ ? ? ? ++= ? 112 2 3 3 1/ 7, 1/ 3.5, 1/ 7/4μ πμπ μπ==== == 所以馬氏鏈的平穩(wěn)分布為 X i π 1 2 3 7 1 7 2 7 4 各狀態(tài)的平均返回時(shí)間 例 2 設(shè)有 6個(gè)球（其中 2個(gè)紅球， 4個(gè)白球）分放于甲、 乙兩個(gè)盒子中，每盒放 3個(gè)，今每次從兩個(gè)盒中 各任取一球并進(jìn)行交換，以 表示開(kāi)始時(shí)甲 盒中紅球的個(gè)數(shù)， （ ）表示經(jīng) n次交換 后甲盒中的紅球數(shù)。 ( 1 ) 求馬氏鏈 { ， }的轉(zhuǎn)移概率矩陣； 0 X n X 1≥n n X 1≥n ( 2 ) 證明 { ， }是遍歷的； n X 1≥n （ 3）求 )( lim n ij n p ∞→ 2,1,0, =ji （ 4）求 lim ( ) j n pn →∞ 2,1,0=j 首頁(yè) 解 其一步轉(zhuǎn)移矩陣為 （ 1）因 n X 表紅球數(shù)，所以狀態(tài)空間 E = {0,1,2} ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? = 3 1 3 2 0 9 2 9 5 9 2 0 3 2 3 1 1 P 甲 乙 紅球 0 白球 3 紅球 2 白球 1 紅球 1 白球 2 紅球 1 白球 2 紅球 2 白球 1 紅球 0 白球 3 1/3 2/9 5/9 2/3 2/9 1/3 0 1 2 2/3 由狀態(tài)傳遞圖 1/3 2/9 5/9 2/3 2/9 1/3 0 1 2 2/3 （ 2）由于它是一個(gè)有限馬氏鏈，故必有一個(gè)常返態(tài)， 又鏈中三個(gè)狀態(tài) 0、 1、 2都相通，所以每個(gè)狀態(tài)都是常返態(tài)。 所以是一個(gè)不可約的有限馬氏鏈，從而每個(gè)狀態(tài)都是正常返的。 所以此鏈為非周期的。 故此鏈?zhǔn)遣豢杉s非周期的正常返鏈，即此鏈?zhǔn)潜闅v的。 又由 0 3 1 00 >=p 首頁(yè) 也可以利用定理 1證明遍歷性 （ 3）由于 () j lim n ij n p π →∞ = （ 2,1,0=j ） ， 所以先求平穩(wěn)分布 j π 2 2 12 3 1 3 2 0 9 2 9 5 9 2 0 3 2 3 1 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? == PP 首頁(yè) 解之得 001 1012 212 012 j 12 39 252 393 21 93 1 0,( 0,1,2)j πππ ππππ πππ πππ π ? =+ ? ? ? =++ ? ? ? ? =+ ? ? ++= ? >= ? ? 0 1 5 π = ， 1 3 5 π = ， 2 1 5 π = 故得 () 0 lim n i n p →∞ = 0 1 5 π = () 1 lim n i n p →∞ = 1 3 5 π = 首頁(yè) 2012-8-24 10 （ 4） 0 1 5 π = 1 3 5 π = () 2 lim n i n p →∞ = 2 1 5 π = 0 lim ( ) n p n →∞ = 1 lim ( ) n pn →∞ = 2 lim ( ) n pn →∞ = 2 1 5 π = 首頁(yè) 例 3 市場(chǎng)占有率預(yù)測(cè) 設(shè)某地有 1600戶居民，某產(chǎn)品只有甲、乙、丙 3廠家 在該地銷(xiāo)售。經(jīng)調(diào)查， 8月份買(mǎi)甲、乙、丙三廠的戶 數(shù)分別為 480， 320， 800。 9月份里，原買(mǎi)甲的有 48戶 轉(zhuǎn)買(mǎi)乙產(chǎn)品，有 96戶轉(zhuǎn)買(mǎi)丙產(chǎn)品；原買(mǎi)乙的有 32戶轉(zhuǎn) 買(mǎi)甲產(chǎn)品，有 64戶轉(zhuǎn)買(mǎi)丙產(chǎn)品；原買(mǎi)丙的有 64戶轉(zhuǎn)買(mǎi) 甲產(chǎn)品，有 32戶轉(zhuǎn)買(mǎi)乙產(chǎn)品。用狀態(tài) 1、 2、 3分別表 示甲、乙、丙三廠，試求 （ 1）轉(zhuǎn)移概率矩陣； （ 2） 9月份市場(chǎng)占有率的分布； （ 3） 12月份市場(chǎng)占有率的分布； （ 4）當(dāng)顧客流如此長(zhǎng)期穩(wěn)定下去市場(chǎng)占有率的分布。 （ 5） 各狀態(tài)的平均返回時(shí)間 首頁(yè) 解 （ 1） 由題意得頻數(shù)轉(zhuǎn)移矩陣為 再用頻數(shù)估計(jì)概率，得轉(zhuǎn)移概率矩陣為 ? ? ? ? ? ? ? ? ? ? = 7043264 6422432 9648336 N ? ? ? ? ? ? ? ? ? ? = 88.004.008.0 2.07.01.0 2.01.07.0 1 P （ 2）以 1600除以 N中各行元素之和，得初始概率分布 （即初始市場(chǎng)占有率） )5.02.03.0(),,()0( 321 == pppP 首頁(yè) 所以 9月份市場(chǎng)占有率分布為 （ 3） 12月份市場(chǎng)占有率分布為 1 )0()1( PPP = )5.02.03.0(= ? ? ? ? ? ? ? ? ? ? 88.004.008.0 2.07.01.0 2.01.07.0 )54.019.027.0(= 4 1 )0()4( PPP = )5.02.03.0(= 4 88.004.008.0 2.07.01.0 2.01.07.0 ? ? ? ? ? ? ? ? ? ? )5983.01698.02319.0(= 首頁(yè) （ 4）由于該鏈不可約、非周期、狀態(tài)有限正常返 的，所以是遍歷的。 解方程組 ? ? ? ? ? ? ? =++ ++= ++= ++= 1 88.02.02.0 04.07.01.0 08.01.07.0 321 3213 3212 3211 πππ ππππ ππππ ππππ 即得當(dāng)顧客流如此長(zhǎng)期穩(wěn)定下去是市場(chǎng)占有率的分布為 )625.0156.0219.0(),,( 321 =πππ 123 ( , , ) (1/ 0.219 1/ 0.156 1/ 0.625)μμμ= （ 5） 例 4 (書(shū)中 69頁(yè) 例 4.18） 其一步轉(zhuǎn)移矩陣為 試并每個(gè)不可約閉集的平穩(wěn)分布 設(shè)馬氏鏈 { 0, ≥nX n }的狀態(tài)空間 I={1， 2， 3, …,7} 0.1 0.1 0.2 0.2 0.4 0 0 0 0 0 .5 0 .5 0 0 0 0 0 0 1 0 0 0 0 1 0 0 0 0 0 0 0 0 00.50.50 0 0 0 0 0 .5 0 0 .5 0 0 0 000.50.5 P ? ? ? ? ? ? ? ? ? ? = ? ? ? ? ? ? ? ? ? ? ? ? 2012-8-24 11 的平穩(wěn)分布得 狀態(tài)空間可分解為： C={2， 3, 4} D={5， 6,7} 兩個(gè)閉集，分別 求對(duì)應(yīng)轉(zhuǎn)移概率矩陣 1234567 1234567 212 (,,,,,,)(0,, , ,0,0,0) 555 111 (,,,,,,)(0,0,0,0,, , ,) 333 πππππππ πππππππ = = 12 0 0.5 0.5 0.5 0 0.5 0 0 1 P = 0.5 0.5 0 10 0 00.50.5 P ??? ? ??? ? = ??? ? ??? ?