馬爾可夫鏈的K-C方程.ppt

《馬爾可夫鏈的K-C方程.ppt》由會(huì)員分享，可在線閱讀，更多相關(guān)《馬爾可夫鏈的K-C方程.ppt（17頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

隨機(jī)信號(hào)分析 主講 杜青松 馬爾可夫鏈的轉(zhuǎn)移概率和切普曼 柯?tīng)柲缏宸蚍匠?上節(jié)課主要內(nèi)容回顧 馬爾可夫過(guò)程的一般概念 馬爾可夫過(guò)程的統(tǒng)計(jì)特性 馬爾可夫鏈的定義 本節(jié)課主要學(xué)習(xí)內(nèi)容 馬爾可夫鏈的一步轉(zhuǎn)移概率 馬爾可夫鏈的m步轉(zhuǎn)移概率 切普曼 柯?tīng)柲缏宸蚍匠?馬爾可夫鏈的一步轉(zhuǎn)移概率 由馬爾可夫鏈的定義以及 馬爾可夫過(guò)程的任意有限維概率分布均可由它的初始分布和二維條件分布來(lái)確定 這個(gè)性質(zhì)可知可見(jiàn) 為了描述馬爾可夫鏈X n 的n維概率分布 最重要的是條件概率 馬爾可夫鏈的一步轉(zhuǎn)移概率 稱此條件概率為X n 在時(shí)刻k時(shí)的一步轉(zhuǎn)移概率 記為它表示在時(shí)刻k時(shí)X k 取i值的情況下 在下一時(shí)刻k 1時(shí)X k 1 取j的概率 馬爾可夫鏈的一步轉(zhuǎn)移概率 表示概率 表示起始時(shí)刻 當(dāng)前時(shí)刻 表示起始時(shí)刻 k時(shí)刻 所處的狀態(tài) 表示下一時(shí)刻 k 1時(shí)刻 要到達(dá)的狀態(tài) 馬爾可夫鏈的一步轉(zhuǎn)移概率 顯然pij k 應(yīng)具有以下兩個(gè)性質(zhì) 馬爾可夫鏈的m步轉(zhuǎn)移概率 類似地 還可以定義m步轉(zhuǎn)移概率它代表X n 在時(shí)刻n時(shí)的狀態(tài)為i條件下 經(jīng)過(guò)m步轉(zhuǎn)移到達(dá)狀態(tài)j的條件概率 馬爾可夫鏈的m步轉(zhuǎn)移概率 表示概率 表示起始時(shí)刻 當(dāng)前時(shí)刻 表示起始時(shí)刻 k時(shí)刻 所處的狀態(tài) 表示m步以后 k m時(shí)刻 要到達(dá)的狀態(tài) 表示轉(zhuǎn)移步數(shù) 馬爾可夫鏈的m步轉(zhuǎn)移概率 顯然有當(dāng)m 1時(shí) 它就是一步轉(zhuǎn)移概率 切普曼 柯?tīng)柲缏宸蚍匠?馬爾可夫鏈X n 的m步轉(zhuǎn)移概率滿足如下的切普曼 柯?tīng)柲缏宸蚍匠?即 切普曼 柯?tīng)柲缏宸蚍匠?不失一般性 設(shè)X n 的狀態(tài)空間中的所有狀態(tài)可以用1 2 N 非負(fù)整數(shù) 來(lái)表示 那么從n時(shí)刻的狀態(tài)i出發(fā) 可以以什么樣的方式經(jīng)過(guò)m r步轉(zhuǎn)移到狀態(tài)j呢 n n m n m r 切普曼 柯?tīng)柲缏宸蚍匠?也就是說(shuō) 給定起始時(shí)刻n和n時(shí)刻的狀態(tài)i 給定一個(gè)中間時(shí)刻n m 則從n時(shí)刻的狀態(tài)i出發(fā)經(jīng)過(guò)中間時(shí)刻n m到達(dá)時(shí)刻n m r的可能性有N種 那么 這N種可能性各自的概率是多少呢 n n m n m r 切普曼 柯?tīng)柲缏宸蚍匠?