馬爾可夫鏈的K-C方程.ppt

《馬爾可夫鏈的K-C方程.ppt》由會員分享，可在線閱讀，更多相關(guān)《馬爾可夫鏈的K-C方程.ppt（17頁珍藏版）》請在裝配圖網(wǎng)上搜索。

隨機信號分析 主講 杜青松 馬爾可夫鏈的轉(zhuǎn)移概率和切普曼 柯爾莫哥洛夫方程 上節(jié)課主要內(nèi)容回顧 馬爾可夫過程的一般概念 馬爾可夫過程的統(tǒng)計特性 馬爾可夫鏈的定義 本節(jié)課主要學(xué)習(xí)內(nèi)容 馬爾可夫鏈的一步轉(zhuǎn)移概率 馬爾可夫鏈的m步轉(zhuǎn)移概率 切普曼 柯爾莫哥洛夫方程 馬爾可夫鏈的一步轉(zhuǎn)移概率 由馬爾可夫鏈的定義以及 馬爾可夫過程的任意有限維概率分布均可由它的初始分布和二維條件分布來確定 這個性質(zhì)可知可見 為了描述馬爾可夫鏈X n 的n維概率分布 最重要的是條件概率 馬爾可夫鏈的一步轉(zhuǎn)移概率 稱此條件概率為X n 在時刻k時的一步轉(zhuǎn)移概率 記為它表示在時刻k時X k 取i值的情況下 在下一時刻k 1時X k 1 取j的概率 馬爾可夫鏈的一步轉(zhuǎn)移概率 表示概率 表示起始時刻 當(dāng)前時刻 表示起始時刻 k時刻 所處的狀態(tài) 表示下一時刻 k 1時刻 要到達的狀態(tài) 馬爾可夫鏈的一步轉(zhuǎn)移概率 顯然pij k 應(yīng)具有以下兩個性質(zhì) 馬爾可夫鏈的m步轉(zhuǎn)移概率 類似地 還可以定義m步轉(zhuǎn)移概率它代表X n 在時刻n時的狀態(tài)為i條件下 經(jīng)過m步轉(zhuǎn)移到達狀態(tài)j的條件概率 馬爾可夫鏈的m步轉(zhuǎn)移概率 表示概率 表示起始時刻 當(dāng)前時刻 表示起始時刻 k時刻 所處的狀態(tài) 表示m步以后 k m時刻 要到達的狀態(tài) 表示轉(zhuǎn)移步數(shù) 馬爾可夫鏈的m步轉(zhuǎn)移概率 顯然有當(dāng)m 1時 它就是一步轉(zhuǎn)移概率 切普曼 柯爾莫哥洛夫方程 馬爾可夫鏈X n 的m步轉(zhuǎn)移概率滿足如下的切普曼 柯爾莫哥洛夫方程 即 切普曼 柯爾莫哥洛夫方程 不失一般性 設(shè)X n 的狀態(tài)空間中的所有狀態(tài)可以用1 2 N 非負整數(shù) 來表示 那么從n時刻的狀態(tài)i出發(fā) 可以以什么樣的方式經(jīng)過m r步轉(zhuǎn)移到狀態(tài)j呢 n n m n m r 切普曼 柯爾莫哥洛夫方程 也就是說 給定起始時刻n和n時刻的狀態(tài)i 給定一個中間時刻n m 則從n時刻的狀態(tài)i出發(fā)經(jīng)過中間時刻n m到達時刻n m r的可能性有N種 那么 這N種可能性各自的概率是多少呢 n n m n m r 切普曼 柯爾莫哥洛夫方程