《馬爾科夫鏈》PPT課件.ppt

《《馬爾科夫鏈》PPT課件.ppt》由會(huì)員分享，可在線閱讀，更多相關(guān)《《馬爾科夫鏈》PPT課件.ppt（42頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

1、 4.3 狀 態(tài) 空 間 的 分 解 定 義 ： C為 狀 態(tài) 空 間 I的 子 集 ，0,ijp 都 有 則 稱 C為 I的 閉 集 。引 理 4.4： 若 C為 狀 態(tài) 空 間 I的 閉 子 集 ， 則 對(duì) 任 意 0 nijp 都 有 若 對(duì) 任 意 的顯 然 ： 若 C為 狀 態(tài) 空 間 I的 閉 子 集 ， 則 C中 元 素 形 成 的轉(zhuǎn) 移 概 率 子 矩 陣 G= , ,ijp i j C 是 隨 機(jī) 矩 陣 , ,i C j C , ,i C j C 1 2 34 1110.80.2例 如 ： 從 下 面 狀 態(tài) 空 間 為 I=1,2,3,4的 馬 爾 科 夫 鏈 的 轉(zhuǎn)移

2、概 率 圖 可 以 看 到2,3是 一 個(gè) 閉 集 0 0.8 0 0.20 0 1 00 1 0 00 0 1 0P 2,3對(duì) 應(yīng) 的 子 矩 陣 (粉 色 部 分 ）是 隨 機(jī) 矩 陣 。注 意 到 ： 2,3， 4也 是 閉 集2,3， 4對(duì) 應(yīng) 的 子 矩 陣 （ 綠 色 部 分 ） 0 0.8 0 0.20 0 1 00 1 0 00 0 1 0 也 是 隨 機(jī) 矩 陣 。 1 2 34 1110.80.2但 是 閉 集 2,3中 的 兩 個(gè) 狀 態(tài) 互 通而 閉 集 2,3， 4中 的 3個(gè) 狀 態(tài) 不 是 互通 的 。 3不 可 達(dá) 4。同 樣 I=1， 2,3， 4也 可 以

3、看 做 閉 集 ，但 其 中 的 的 4個(gè) 狀 態(tài) 不 是 互 通 的 。為 區(qū) 別 狀 態(tài) 子 集 的 這 種 不 同 特 點(diǎn) ， 引 入 不 可 約 子 集的 概 念 ： 定 義 ： 若 C為 狀 態(tài) 空 間 I的 閉 子 集 ， 且 C中 任 意 兩 個(gè) 狀態(tài) 互 通 ， 則 稱 C是 I的 不 可 約 閉 集 ；特 別 ： 若 Markov鏈 I的 任 意 兩 個(gè) 狀 態(tài) 互 通 ， 則 稱 該Markov鏈 是 不 可 約 的 。 例 6： 證 明 （ 馬 爾 科 夫 鏈 的 常 返 態(tài) 的 幾 個(gè) 性 質(zhì) ）j i則 表 明 由 出 發(fā) 不 能 概 率 1返 回 ， 2 ,i i

4、j是 常 返 的 ， 若 則 必 有 3 , ,i C i j i j C i 是 常 返 的 則 ,則 是 不 可 約 的 常 返 閉 集 。 1jif 若 =1jif所 以 ， j證 明 （ 1） 1 , 1iji j f 對(duì) 于 互 通 的 常 返 態(tài) 和 必 有 1jif ，j i即 ， j從 而 也 是 是 常 返 的 。 ,i j可 達(dá) 所 以 存 在 n 0 使 0,nijp i則 導(dǎo) 致 由 出 發(fā) 不 能 概 率 1返 回 ，i i i與 是 常 返 矛 盾 。 1ijf 同 理 可 知 （ 2） 和 （ 1） 的 證 明 類 似 。（ 3） 由 （ 2） 知 ， C i故

5、是 不 可 約 集 ， 其 中 的 每 個(gè) 狀 態(tài) 都 常 返 。 C i C i由 的 構(gòu) 造 ， 易 知 是 閉 集 。 C i i的 每 一 個(gè) 狀 態(tài) 都 與 互 通 閉 集 。本 例 是 馬 爾 科 夫 鏈 的 常 返 態(tài) 的 一 個(gè) 重 要 性 質(zhì) ！據(jù) 此 可 對(duì) 是 馬 爾 科 夫 鏈 進(jìn) 行 狀 態(tài) 分 解 ： 定 理 4.10： 任 一 馬 氏 鏈 的 狀 態(tài) 空 間 I， 都 可 以 唯 一 分解 為 互 不 相 交 的 子 集 之 和 ： 21 CCDI 其 中(2) D 是 所 有 非 常 返 態(tài) 的 集 合 。(1) nC每 一 是 不 可 約 的 常 返 閉 集,

6、 21 CCD注 1： 1, 0 nn ij nj Ci C f j C 時(shí) nC 中 所 有 狀 態(tài) 是 互 通 的 ，注 2： 且 同 為 正 常 返 或 零 常 返 它 們 有 相 同 的 周 期 ， D 是 所 有 非 常 返 態(tài) 的 集 合 ， 其 中 各 狀 態(tài) 未 必 互通 ， 周 期 也 未 必 相 同 。注 3： 證 明 首 先 將 狀 態(tài) 空 間 按 個(gè) 狀 態(tài) 的 常 返 性 分 解 為 ：I D C 然 后 ， 將 進(jìn) 一 步 分 解 ：C 1 ,i C任 選 一 作 1 1,C j i j 1C則 是 不 可 約 的 常 返 閉 集 。2 1,i C C 再 任 選

7、一 作 2 2,C j i j 同 理 ， 是 不 可 約 的 常 返 閉 集 。2C重 復(fù) 此 過(guò) 程 ， 得 21 CCDI nC每 一 是 不 可 約 的 常 返 閉 集 D為 常 返 集 ， 為 非 常 返 集 。C 證 畢 ！ 華 北 電 力 大 學(xué) 數(shù) 理 學(xué) 院 何 鳳 霞 4.4 的 漸 近 性 質(zhì) 與 平 穩(wěn) 分 布定 理 *： nijp 0lim 11ijnij jn i jfp dd j為 非 常 返 ， 或 零 常 返j為 正 常 返 ，不 存 在 j為 正 常 返 ，證 明 ： 1 k n knij ij jjkp f p （ ） 1 1 N Nk n k k n k

8、 knij jj ij ij jj ijk k k Nf p p f p f （ ）N n 固 定 ， 令 ， 則一 、 的 漸 近 性 質(zhì) nijp i I 華 北 電 力 大 學(xué) 數(shù) 理 學(xué) 院 何 鳳 霞 0 lim 0n kij ijn k Np f 所 以為 非 常 返 ， 或 零 常 返 時(shí) ，j lim 0njjn p N 再 對(duì) 令 并 注 意 到 1 1 kijk f 收 斂得 ： lim 0nijn p 為 正 常 返 時(shí) ，j 1lim njjn ip 1jd 1 11 1limN Nk n k kij ij ij ijnk k k Nj jf p f f N 再 對(duì) 令

9、 lim n ijijn ifp 得 ： lim njjn p因 為 不 存 在 ，1jd 為 正 常 返 時(shí) ： lim nijn p所 以 不 存 在j 華 北 電 力 大 學(xué) 數(shù) 理 學(xué) 院 何 鳳 霞 注 若 馬 氏 鏈 不 可 約 ， 此 時(shí) 該 鏈 所 有 的 狀 態(tài) 屬 性 相 同 。 1lim nijn jp ,i j I 若 不 可 約 馬 氏 鏈 為 正 常 返 非 周 期 的 ， 則 ：若 全 為 非 常 返 或 零 常 返 的 ， 或 為 正 常 返 常 周 期 的 ，極 限 結(jié) 論 和 定 理 *相 同 。 華 北 電 力 大 學(xué) 數(shù) 理 學(xué) 院 何 鳳 霞 Mark

10、ov鏈 極 限 研 究 中 ， 對(duì) 狀 態(tài) i常 返 特 性 的 正 判 別 和 i的 平 均 返 回 時(shí) 間 是 兩 個(gè) 關(guān) 鍵 的 問(wèn) 題 。i下 面 我 們 給 出 在 常 見(jiàn) 的 有 限 維 狀 態(tài) 空 間 時(shí) 狀 態(tài) 常 返 性的 一 些 結(jié) 論 ；但 是 利 用 定 義 判 別 和 計(jì) 算 都 比 較 困 難 。 i然 后 我 們 介 紹 平 穩(wěn) 分 布 ， 并 利 用 平 穩(wěn) 分 布 ， 計(jì) 算 并研 究 Markov鏈 極 限 華 北 電 力 大 學(xué) 數(shù) 理 學(xué) 院 何 鳳 霞 推 論 1： （ 1） 有 限 馬 氏 鏈 ， 至 少 有 一 個(gè) 正 常 返 態(tài) ， 不 可 能

11、有 零 常 返 態(tài)若 所 有 的 狀 態(tài) 為 非 常 返 或 零 常 返 ， 那 么證 明 ： （ 1） ( )1 1N nijj p lim 0 nijn p 試 中 令 得 ： 0=1， 矛 盾 。n所 以 ， 有 限 馬 氏 鏈 必 有 正 常 返 態(tài) 。（ *） （ *）設(shè) 有 限 馬 科 科 夫 鏈 有 N個(gè) 狀 態(tài) ， 則（ 2） 有 限 不 可 約 馬 氏 鏈 ， 所 有 的 狀 態(tài) 必 為 正 常 返 ！ 二 、 有 限 馬 氏 鏈 的 狀 態(tài) 特 點(diǎn)根 據(jù) 定 理 *， 有 ： 華 北 電 力 大 學(xué) 數(shù) 理 學(xué) 院 何 鳳 霞 若 有 限 馬 科 科 夫 鏈 存 在 零 常

12、 返 狀 態(tài) i，構(gòu) 造 狀 態(tài) 空 間 的 子 集 ：則 C(i)是 不 可 約 有 限 閉 集 ， 形 成 子 馬 爾 科 夫 鏈 。 :C i j i j 而 C(i) 中 的 所 有 狀 態(tài) 為 零 常 返 ，所 以 ， 有 限 馬 氏 鏈 不 存 在 零 常 返 態(tài) 。這 與 有 限 馬 爾 科 夫 鏈 必 有 正 常 返 態(tài) 矛 盾 。（ 2） 根 據(jù) （ 1） 有 限 馬 氏 鏈 ， 至 少 有 一 個(gè) 正 常 返 態(tài) ，而 不 可 約 馬 爾 科 夫 鏈 所 有 的 狀 態(tài) 具 有 相 同 的 常 返性 ， 故 全 為 正 常 返 態(tài) 。也 稱 為 正 常 返 鏈 。推 論 2

13、： 馬 氏 鏈 若 有 零 常 返 態(tài) ， 則 必 有 無(wú) 窮 多 個(gè) 零 常 返 態(tài) 華 北 電 力 大 學(xué) 數(shù) 理 學(xué) 院 何 鳳 霞 三 、 平 穩(wěn) 分 布定 義 4.11 ,設(shè) 齊 次 馬 氏 鏈 轉(zhuǎn) 移 概 率 矩 陣 為 PP 1 2( , , ) 若 滿 足 方 程 ： 1jj 且則 稱 為 該 馬 氏 鏈 的 平 穩(wěn) 分 布 1 2( , , ) 注 ： i iji I pj即 ：若 為 馬 氏 鏈 的 平 穩(wěn) 分 布 ， 則 P2P nP ni iji I pj即 ：表 明 Markov鏈 一 旦 在 某 個(gè) 時(shí) 刻 進(jìn) 入 平 穩(wěn) 分 布 ， 則 以 后的 絕 對(duì) 概 率

14、分 布 保 持 不 變 ， 這 也 是 “ 平 穩(wěn) ” 的 含 義 。P 華 北 電 力 大 學(xué) 數(shù) 理 學(xué) 院 何 鳳 霞 定 理 4.16 不 可 約 非 周 期 的 馬 氏 鏈 ， 是 正 常 返 的 充要 條 件 是 存 在 平 穩(wěn) 分 布 ， 且 此 平 穩(wěn) 分 布 就 是 極 限 分 布 ： 1/ ,j j I 證 明 ： 充 分 性 ： 設(shè) 為 馬 氏 鏈 的 平 穩(wěn) 分 布 ， 則 P ni iji I pj1 ii I 故 上 式 右 端 求 極 限 可 以 和 級(jí) 數(shù) 交 換 次 序 。,i j 1 ii I 與 矛 盾 ， 所 以 該 鏈 必 為 正 常 返 鏈 。 0

15、lim limn ni ij i ijn ni I i Ip p j =0若 鏈 不 為 正 常 返 （ 則 為 非 常 返 ， 或 零 常 返 ） ， 則 ： lim 0nijn p 華 北 電 力 大 學(xué) 數(shù) 理 學(xué) 院 何 鳳 霞 1lim 0nijn jp 設(shè) 極 限 ： lim ni ijn i I p 且 j 1 ii Ij 1j lim ni ijni I p 必 要 性 ： 設(shè) 該 馬 氏 鏈 是 正 常 返 的 ， 所 以 有 ： 1lim 0nijn jp ( + ) ( ) ( ) n m n mij ik kj kp p p ( ) ( )1 N n mik kjk p

16、 p得n 1j ( )1 1 N mkjk k p1j ( )1 1 mkjk k p得N 令 得m 1 1 1Nk k 1 1 1k k 華 北 電 力 大 學(xué) 數(shù) 理 學(xué) 院 何 鳳 霞 1 1j j ( )1 1 1 mkjj k k p 若 有 某 個(gè) 使 嚴(yán) 格 大 于 號(hào) 成 立 ， 則j ( )1 11 mkjk jk p 1 1 k j 矛 盾 。 1j 1 1 kjk k p所 以 ： 得m 1 1 1 k k 1得m 1j ( )1 1 mkjk k p為 該 馬 氏 鏈 的 平 穩(wěn) 分 布 。 1/ , j j I j 中所 以 ， 馬 氏 鏈 存 在 平 穩(wěn) 分 布 ，

17、 且 極 限 分 布 華 北 電 力 大 學(xué) 數(shù) 理 學(xué) 院 何 鳳 霞 定 理 ： ( )lim ( )nij jn P i 不 依 賴 于則 絕 對(duì) 分 布 也 有 極 限 分 布 ， 且 ： j nlim jp n 證 明 jp nnlim nk kjk p pjk kp j 若 轉(zhuǎn) 移 概 率 具 有 極 限 分 布 ： 1jj nlimj k kp 華 北 電 力 大 學(xué) 數(shù) 理 學(xué) 院 何 鳳 霞 例 1 ： 設(shè) 馬 爾 科 夫 鏈 的 轉(zhuǎn) 移 概 率 矩 陣 為 9.005.005.0 1.08.01.0 2.01.07.0P求 馬 爾 科 夫 鏈 的 極 限 分 布 及 各 狀

18、 態(tài) 的 平 均 返 回 時(shí) 間 解 ： 這 是 一 個(gè) 不 可 約 非 周 期 ， 有 限 狀 態(tài) 的 馬 氏 鏈 ，所 以 必 有 極 限 分 布 ， 且 極 限 分 布 就 是 平 穩(wěn) 分 布 。 1 2 3( , , ) : 極 限 分 布 滿 足1 2 3( , , ) 1 2 3( , , ) 0.7 0.1 0.20.1 0.8 0.10.05 0.05 0.9 1 2 3 1 及 華 北 電 力 大 學(xué) 數(shù) 理 學(xué) 院 何 鳳 霞 由 方 程 組 ： 1 9.01.02.0 05.08.01.0 05.01.07.0 321 3213 3212 3211 解 得 ： 5882.

19、0,2353.0,1765.0 321 狀 態(tài) 1、 2、 3的 平 均 返 回 時(shí) 間 依 次 是 ： 1 1 10.1765 0.2353 0.5882、 、 即 ： 5.6657、 4.2499、 1.7001 華 北 電 力 大 學(xué) 數(shù) 理 學(xué) 院 何 鳳 霞 帶 有 兩 個(gè) 反 射 壁 的 隨 機(jī) 游 動(dòng) , 其 轉(zhuǎn) 移 概 率 陣 為 ：解例 2 01000 3/13/13/100 03/13/13/10 003/13/13/1 0001054321P 5 4 3 2 1這 是 一 個(gè) 不 可 約 非 周 期 ， 有 限 狀 態(tài) 的 馬 氏 鏈 ，所 以 必 有 極 限 分 布 ，

20、 且 極 限 分 布 就 是 平 穩(wěn) 分 布 。 :),( 521 滿 足 方 程 組極 限 分 布 P 求 其 極 限 分 布 . 華 北 電 力 大 學(xué) 數(shù) 理 學(xué) 院 何 鳳 霞 即 ： 1 2 5( , , , ) 1 2 5( , , , ) 得 ： .1,3/1 3/13/1 3/13/13/1 ,/33/1,3/1 54321 45 5434 4323 3212 21 0 1 0 0 01/3 1/3 1/3 0 00 1/3 1/3 1/3 00 0 1/3 1/3 1/30 0 0 1 0 .33: 54321 由 前 四 個(gè) 方 程 解 得代 入 最 后 一 個(gè) 方 程 (

21、歸 一 條 件 ), 得 唯 一 解 .11/3,11/1 43251 華 北 電 力 大 學(xué) 數(shù) 理 學(xué) 院 何 鳳 霞 所 以 極 限 分 布 為 .)11/1,11/3,11/3,11/3,11/1(這 個(gè) 分 布 表 明經(jīng) 過(guò) 長(zhǎng) 時(shí) 間 游 動(dòng) 之 后 , 醉 漢 Q 位 于 點(diǎn) 2 (或 3 或 4 ) 的 概 率 約 為 3/11, 位 于 點(diǎn) 1 (或 5) 的 概 率 約 為 1/11. 華 北 電 力 大 學(xué) 數(shù) 理 學(xué) 院 何 鳳 霞 例 3 某 地 區(qū) 有 1600戶 居 民 ,只 有 甲 、 乙 、 丙 三 個(gè) 工 廠的 某 產(chǎn) 品 在 該 地 區(qū) 銷 售 。 據(jù) 調(diào)

22、 查 ， 8月 份 買 甲 乙 丙 產(chǎn)品 的 戶 數(shù) 為 別 為 480， 320， 800。 9月 份 調(diào) 查 發(fā) 現(xiàn) ， 原買 甲 的 有 48戶 轉(zhuǎn) 買 乙 產(chǎn) 品 ， 96戶 轉(zhuǎn) 買 丙 產(chǎn) 品 ； 原 買乙 的 有 32戶 轉(zhuǎn) 買 甲 產(chǎn) 品 ， 64戶 轉(zhuǎn) 買 丙 產(chǎn) 品 ； 原 買 丙的 有 64戶 轉(zhuǎn) 買 甲 產(chǎn) 品 ， 32戶 轉(zhuǎn) 買 乙 產(chǎn) 品 ； 預(yù) 測(cè)（ 1） 9月 份 和 12月 份 格 產(chǎn) 品 的 市 場(chǎng) 占 有 率 （ 2） 市 場(chǎng) 平 穩(wěn) 后 ， 各 產(chǎn) 品 的 市 場(chǎng) 占 有 率解 ： 若 將 此 市 場(chǎng) 的 變 化 看 作 齊 次 馬 爾 可 夫 鏈 。 狀

23、態(tài) 1， 2， 3分 別 表 示 甲 、 乙 、 丙 工 廠 的 產(chǎn) 品 。 華 北 電 力 大 學(xué) 數(shù) 理 學(xué) 院 何 鳳 霞 那 么 初 始 分 布 ： 10 480,320,800480 320 800P 0.3,0.2,0.5轉(zhuǎn) 移 頻 數(shù) 陣 ：480 48 96 48 9632 320 32 64 6464 32 800 64 32 336 48 9632 224 6464 32 704 頻 數(shù) 陣 的 第 1， 2， 3行 非 別 除 以 480， 320， 800，得 轉(zhuǎn) 移 概 率 陣 ： 0.7 0.1 0.2 0.1 0.7 0.20.08 0.04 0.88P 華 北

24、電 力 大 學(xué) 數(shù) 理 學(xué) 院 何 鳳 霞 1 0P P P 0.7 0.1 0.20.3 0.2 0.5 0.1 0.7 0.20.08 0.04 0.88 市 場(chǎng) 平 穩(wěn) 后 ， 格 產(chǎn) 品 的 市 場(chǎng) 占 有 率 即 平 穩(wěn) 分 布 。9月 份 市 場(chǎng) 占 有 率 0.27 0.19 0.5412月 份 市 場(chǎng) 占 有 率 44 0P P P 0.2319 0.1698 0.5983,P 1 2 3 1 解 得 1 2 3, , 0.219,0.156,0.625 市 場(chǎng) 平 穩(wěn) 后 ， 甲 乙 丙 產(chǎn) 品 占 市 場(chǎng) 的 份 額 分 別 為 ：21.9%,15.6%,62.5% 華 北

25、 電 力 大 學(xué) 數(shù) 理 學(xué) 院 何 鳳 霞 例 4： 設(shè) 農(nóng) 用 拖 拉 機(jī) 站 每 季 度 對(duì) 拖 拉 機(jī) 進(jìn) 行 一 次 檢 查 和維 修 。 根 據(jù) 零 件 磨 損 程 度 將 拖 拉 機(jī) 分 為 5類 ：狀 態(tài) 1 2 3 4 5運(yùn) 行 效率 （ %) 90-100 75-89 60-74 40-59 不 運(yùn) 行當(dāng) 拖 拉 機(jī) 處 于 1， 2， 3， 4， 5時(shí) ， 估 計(jì) 一 季 度 可 獲 利潤(rùn) 分 別 為 5000、 4000、 3000、 2000和 0元 。 根 據(jù) 過(guò) 去的 資 料 ， 拖 拉 機(jī) 的 磨 損 狀 態(tài) 的 自 然 轉(zhuǎn) 移 概 率 陣 為 ：0 0.6 0

26、.2 0.1 0.10 0.3 0.4 0.2 0.1 0 0 0.4 0.4 0.20 0 0 0.5 0.50 0 0 0 1P 華 北 電 力 大 學(xué) 數(shù) 理 學(xué) 院 何 鳳 霞 有 3種 維 修 策 略 ， 分 別 是 ： 處 于 狀 態(tài) 5時(shí) 維 修 ， 處于 狀 態(tài) 4， 5時(shí) 維 修 ， 處 于 狀 態(tài) 3， 4， 5時(shí) 維 修 ，處 于 狀 態(tài) 3時(shí) 維 修 ， 修 理 費(fèi) 用 平 均 要 300元 ， 處 于狀 態(tài) 4時(shí) 維 修 ， 修 理 費(fèi) 用 平 均 要 500元 ， 處 于 狀 態(tài)5時(shí) 維 修 ， 修 理 費(fèi) 用 平 均 要 1000元 。 問(wèn) ， 從 長(zhǎng) 遠(yuǎn)考 慮

27、， 為 了 得 到 更 多 的 利 潤(rùn) ， 哪 種 維 修 策 略 最 好 ？ 華 北 電 力 大 學(xué) 數(shù) 理 學(xué) 院 何 鳳 霞 解 ： 對(duì) 于 第 一 種 大 修 策 略 ， 處 于 狀 態(tài) 5時(shí) 維 修 ， 轉(zhuǎn) 移概 率 陣 為 1 0 0.6 0.2 0.1 0.10 0.3 0.4 0.2 0.10 0 0.4 0.4 0.20 0 0 0.5 0.51 0 0 0 0P nX 的 極 限 分 布 1 2 5( , , , ) 1,P 由解 得 (0.1999, 0.17, 0.18, 0.252, 0.199)平 均 利 潤(rùn)5000 0.1999 4000 0.17 3000 0.

28、18 2000 0.252 0 0.199 2722 1 2 5 1 平 均 維 修 費(fèi) 用 ： 1000 0.199 199 平 均 凈 利 潤(rùn) : 2722-199=2523 華 北 電 力 大 學(xué) 數(shù) 理 學(xué) 院 何 鳳 霞 對(duì) 于 第 二 種 大 修 策 略 ， 轉(zhuǎn) 移 概 率 陣 為2 0 0.6 0.2 0.1 0.10 0.3 0.4 0.2 0.10 0 0.4 0.4 0.21 0 0 0 01 0 0 0 0P 2,P 由解 得 (0.266, 0.228, 0.241, 0.168, 0.097)平 均 利 潤(rùn)5000 0.266 4000 0.228 3000 0.24

29、1 2000 0.168 0 0.097 1 2 5 1 平 均 維 修 費(fèi) 用 ： 500 0.168 1000 0.097 181 平 均 凈 利 潤(rùn) : 2998-181=2817=2998.6 華 北 電 力 大 學(xué) 數(shù) 理 學(xué) 院 何 鳳 霞 對(duì) 于 第 三 種 大 修 策 略 ， 轉(zhuǎn) 移 概 率 陣 為3 0 0.6 0.2 0.1 0.10 0.3 0.4 0.2 0.11 0 0 0 01 0 0 0 01 0 0 0 0P 3,P 由解 得 (0.35, 0.3, 0.19, 0.095, 0.065)平 均 利 潤(rùn)5000 0.35 4000 0.3 3000 0.19 2

30、000 0.095 0 0.065 1 2 5 1 平 均 維 修 費(fèi) 用 ： 300 0.19 500 0.095 1000 0.065 169.5 平 均 凈 利 潤(rùn) : 3539-169.5=3369.5=3539 華 北 電 力 大 學(xué) 數(shù) 理 學(xué) 院 何 鳳 霞 所 以 第 三 種 大 修 策 略 好 ， 即 在 每 年 的 檢 修 中 ， 發(fā)現(xiàn) 拖 拉 機(jī) 到 了 3， 4或 5狀 態(tài) ， 就 要 及 時(shí) 大 修 。 華 北 電 力 大 學(xué) 數(shù) 理 學(xué) 院 何 鳳 霞 四 、 一 般 可 約 馬 氏 鏈 P中 的 分 析 lim nijn p對(duì) 于 不 可 約 馬 爾 科 夫 鏈

31、， 通 過(guò) 平 穩(wěn) 分 布 比 較 好 地 解 決了 的 極 限 分 布 問(wèn) 題 。對(duì) 于 一 般 可 約 馬 氏 鏈 ， 需 要 先 對(duì) 馬 氏 鏈 的 狀 態(tài) 空 間進(jìn) 行 分 解 ， 然 后 再 討 論 lim nijn p lim nijn p 1 2 3 ,I D C C C 設(shè) 狀 態(tài) 空 間 分 解 為 ：1 2 3D C C C其 中 非 常 返 ， 、 、 都 是 不 可 約 常 返 閉 集C中 有 三 類 ： 1d 正 常 返 非 周 期 ， 正 常 返 周 期 ,零 常 返 。一 般 可 約 馬 氏 鏈 P中 的 分 析 lim nijn p 華 北 電 力 大 學(xué) 數(shù)

32、理 學(xué) 院 何 鳳 霞 j不 為 正 常 返 時(shí) ， lim 0nijn p lim nijn p 不 存 在11 i j C（ ） 、 時(shí) ， 1 jj 解 對(duì) 應(yīng) 的 平 穩(wěn) 分 布 即 得 ：1C i I 1jj d 為 正 非 常 返 時(shí) , i I 下 面 不 妨 假 定 ： 1C 為 正 常 返 非 周 期 閉 集 1j C 時(shí) ， 0 ijp 2 , 1 ,ki k i j （ ） C 屬 于 不 同 的 常 返 集 時(shí) ， lim =nijn p ji D 時(shí)（ 3) 則 利 用 下 面 的 方 法 求 極 限 ： 11 1n n nij ik kj ik kjk D k Cp

33、 p p p p 11lim limn nij ik kj ikn nk D k Cjp p p p 華 北 電 力 大 學(xué) 數(shù) 理 學(xué) 院 何 鳳 霞 12 3 4 65例 5 馬 氏 鏈 的 概 率 轉(zhuǎn) 移 圖 所 示 ， 分 析 轉(zhuǎn) 移 概 率 極 限 : 1 2 1,5 2,3 4,6I D C C lim 0nijn p 1 1 5j 或 時(shí) lim nijn pd=2, 不 存 在 2 4 6j 或 時(shí) 3 2 3j 或 時(shí) 0.31 0.10.1 0.40.1 111 0.50.51,i C若 lim 0nijn p 1 1n n n ij ik kj ik kjk D k cp

34、 p p p p 1lim limn nij ik kj ikn nk D k Cjp p p p 2,i C若 1lim 0nij jn jp ,i D若 (用 平 穩(wěn) 分 布 求 解 ）d=1 1,5 2,3 4,6 2非 常 返 ， 正 常 返 非 周 期 ， 正 常 返 周 期 華 北 電 力 大 學(xué) 數(shù) 理 學(xué) 院 何 鳳 霞 例 6： 設(shè) 馬 爾 科 夫 鏈 的 轉(zhuǎn) 移 概 率 矩 陣 為 0.50.500000 0.500.50000 00.50.50000 0000010 0001000 0000.50.500 004.02.02.01.01.0P（ 1） 求 每 一 個(gè) 不

35、可 約 閉 集 的 極 限 分 布 （ 2） 求解 （ 1） ： 這 是 一 個(gè) 可 約 馬 氏 鏈 。 根 據(jù) 狀 態(tài) 空 間 的 分 解 1 2,3,4 5,6,7I 定 理 ， 狀 態(tài) 空 間 分 解 為 ： 12lim nn p 華 北 電 力 大 學(xué) 數(shù) 理 學(xué) 院 何 鳳 霞 7,6,5432 21 ,C,C其 中 1D 是 非 常 返 集對(duì) 應(yīng) 的 轉(zhuǎn) 移 概 率 矩 陣 為 得 其 平 穩(wěn) 分 布 ：由 方 程 組 ： 1 5.0 5.0 432 324 23 42 0 ,0 ,0 ,52 ,51 ,52 ,0 4321 ,C 001 100 5.05.001P 12 3 4

36、65 7是 常 返 閉 集 ， 非 周 期1= P 2 3 42 1 2= , = =5 5 5 ， ， 華 北 電 力 大 學(xué) 數(shù) 理 學(xué) 院 何 鳳 霞 7,6,52 C 對(duì) 應(yīng) 的 轉(zhuǎn) 移 概 率 矩 陣 為 0.50.50 0.500.5 05.00.52P 1 5.05.0 5.05.0 5.05.0 765 767 756 655 得 其 平 穩(wěn) 分 布 ： 31 ,31 ,31 ,0 ,0 ,0 ,0 5 6 47 1= = =3 華 北 電 力 大 學(xué) 數(shù) 理 學(xué) 院 何 鳳 霞 解 （ 2） ： 7 112 1 21n nk kkp p p 41 111 12 1 22n n

37、k kkp p p p 2 0 5 6 7 nkp , k , , :,注 意 到上 式 兩 邊 令 n 2 2lim 0.4, 2,3,4 nkn p k 12lim nn p 4111 12 2 1n 2lim n kkp p p 112n 20.1lim 0.1 0.2 0.25np 112 12n nlim limn np p 由 于 故 從 上 式 可 解 得 ： 12 n 2lim 9np 12 3 4 65 7 華 北 電 力 大 學(xué) 數(shù) 理 學(xué) 院 何 鳳 霞 注 ： 1jj d 正 常 返 ， 時(shí)前 面 的 關(guān) 于 Markov鏈 的 極 限 研 究 中 知 道 ， 11li

38、m n kijn k pn lim nijn p 有 時(shí) 不 存 在 ，但 事 實(shí) 上 ， 此 時(shí) 的 依 然 存 在 ， 并 有 一 般 結(jié) 論 ：（ 見(jiàn) 本 章 定 理 4.15） 11lim n kijn k pn 0ijif j為 非 常 返 ， 或 零 常 返j為 正 常 返特 別 ： 11lim n kjjn k pn 1i 華 北 電 力 大 學(xué) 數(shù) 理 學(xué) 院 何 鳳 霞 上 式 的 概 率 解 釋 ：為 狀 態(tài) i的 平 均 返 回 時(shí) 間 ，i 就 表 示 j在 單 位 時(shí) 間 內(nèi) 的 平 均 返 回 次 數(shù)1j而 1n kiik p 表 示 自 i出 發(fā) 在 前 n步 返 回 i的 平 均 次 數(shù) ，內(nèi) 返 回 i的 平 均 次 數(shù)就 表 示 馬 氏 鏈 自 狀 態(tài) i出 發(fā) 單 位 時(shí) 間 11lim n kiin k pn 所 以 有 ： 11lim n kiin k pn 1i