《泊松過程、馬爾科夫鏈.ppt》由會員分享，可在線閱讀，更多相關(guān)《泊松過程、馬爾科夫鏈.ppt（30頁珍藏版）》請在裝配圖網(wǎng)上搜索。
1、第七章 泊松過程、馬爾科夫鏈,按隨機過程的不同性質(zhì)進行分類，是一種更深刻、更能反映實際背景的分類方法。本章介紹幾種常用的隨機過程類型：獨立增量過程、泊松過程、正態(tài)過程、維納過程和馬爾科夫鏈。,7.1 獨立增量過程與泊松過程,一、獨立增量過程,1.獨立增量過程,平穩(wěn)獨立增量過程,2.平穩(wěn)獨立增量過程(齊次增量過程),設(shè)X(t),t0是獨立增量過程，若對任意0s
2、件：,則隨機過程N(t),t0為計數(shù)過程。,泊松過程,2.泊松過程,(1)泊松過程的定義,設(shè)隨機過程X(t),t0的狀態(tài)空間為X=0,1,2,,且滿足下列三個條件：,則稱X(t),t0為強度是的泊松過程。,復習：泊松分布,泊松量過程的數(shù)字特征,(2)泊松過程的數(shù)字特征,設(shè)t,s0,+),且s
3、為泊松過程的等待時間序列,Tn,n=1,2,為泊松過程的等待(或到達)時間序列間隔序列。,泊松量過程的實例,到達時刻的條件分布,到達時刻的條件分布,設(shè)X(t),t0是具有參數(shù)的泊松過程。在0,t內(nèi)事件A已經(jīng)發(fā)生n次，則第k(k
4、性質(zhì)，而不涉及它的有限維分布，這種理論稱為隨機過程的相關(guān)理論。,1.定義,正態(tài)過程的一種特殊情形：維納過程,三、維納過程,定義：設(shè)W(t),t0為隨機過程，如果滿足：,則稱W(t),t0為維納過程。,2.正態(tài)過程的一個重要性質(zhì),隨機過程為正態(tài)過程的充分必要條件是其任意有限個狀態(tài)的線性組合為一維正態(tài)隨機變量。,7.3 馬爾科夫鏈,一、馬爾科夫過程,馬爾科夫過程是具有這樣特性的過程：當已知隨機過程現(xiàn)在時刻處于某狀態(tài)時，此過程“將來”的情況便與“過去”的情況無關(guān)。這種特性通常稱為無后效性。,馬爾科夫鏈,二、馬爾科夫鏈,1.馬爾科夫鏈的定義,例：在玻爾氫原子模型中，電子可在允許的軌道上運動，假設(shè)以Xn
5、-1=ai表示電子在第i條軌道上運動，并且電子軌道的躍遷只在t1,t2,t3,發(fā)生，顯然，在時刻tn由第i軌道變到第j軌道的概率只與i,j有關(guān)，而與電子過去在什么軌道上無關(guān),這個過程Xn,n0是個馬爾科夫過程。,一步轉(zhuǎn)移概率,2.轉(zhuǎn)移概率(一步轉(zhuǎn)移概率),設(shè)Xn,n0為馬爾科夫鏈，其狀態(tài)空間為,則稱條件概率,為馬爾科夫鏈Xn,n0在時刻n的一步轉(zhuǎn)移概率，簡稱為轉(zhuǎn)移概率，記作 .,一般地，轉(zhuǎn)移概率不僅與狀態(tài)有關(guān)，還與時刻有關(guān)。當轉(zhuǎn)移概率與時刻無關(guān)時，表示馬爾科夫鏈具有平穩(wěn)轉(zhuǎn)移概率，稱這樣的馬爾科夫鏈是齊次的或時齊的，并記 pij(n)為pij,P244例6(簡講),一步轉(zhuǎn)移概率的性質(zhì),轉(zhuǎn)移概
6、率的性質(zhì)：,轉(zhuǎn)移概率可寫成矩陣形式：,有 限 狀 態(tài) 空,無 限 狀 態(tài) 空 間,或,例7(p246),多步轉(zhuǎn)移概率,三、多步轉(zhuǎn)移概率,2. 性質(zhì),多步轉(zhuǎn)移概率的計算,3. n 步轉(zhuǎn)移概率的計算,上式稱切普曼-柯爾莫哥洛夫方程，又稱C-K方程。,定理：設(shè)Xn , n0為馬爾科夫過程，則對任意非負整數(shù)m
7、)一維概率分布,定義 設(shè)Xn , n0為齊次馬爾科夫過程,其狀態(tài)空間為X=a1,a2,,an,,稱下列一組概率為Xn , n0的初始分布,為Xn , n0的初始分布，也稱初始概率分布。,向量形式為,可以證明，齊次馬爾科夫過程的一維概率分布(任意時刻)可由初始概率分布和轉(zhuǎn)移概率決定,定理：,特別地，當m=0時，有，,向量形式為：,可見，馬氏鏈的一維概率分布被初始分布和一步轉(zhuǎn)移概率完全決定。,例14(p252),有限維概率分布,(2)有限維概率分布,同樣可證：齊次馬氏鏈的任意維概率分布被初始分布和一步轉(zhuǎn)移概率完全決定，其關(guān)系為,t1-0=t1,經(jīng)t2-t1步轉(zhuǎn)移。本應(yīng)標注為(t1,t2),即強調(diào)從
8、t1時刻的ai1態(tài)經(jīng)步轉(zhuǎn)移到t2時刻的ai2態(tài)，但因是齊次馬氏鏈，具有穩(wěn)定的轉(zhuǎn)移概率，即轉(zhuǎn)移概率與時刻無關(guān)而只與經(jīng)歷的時間長短有關(guān)，故只標注轉(zhuǎn)移步數(shù)即可。其他項的表達同理。,例15(p254),本節(jié)結(jié)束！,復習：泊松分布,X服從參數(shù)的泊松分布,記為X()，則,其中0,服從泊松分布的隨機變量，其數(shù)期望和方差為,,求等待時間間隔Tn的分布函數(shù)：,,求等待時間Wn的分布函數(shù)及概率密度：,,事件關(guān)系：第n個事件在時刻t或之前發(fā)生,當且僅當時間t已發(fā)生的事件數(shù)目X(t)至少為n ，即,于是,上式對t求導，得,證明：到達時刻的條件分布 (p234),在0,t內(nèi)已發(fā)生n次條件上,第k次事件發(fā)生時刻Wk的概率
9、密度為,,,例7(p246):直線上帶完全反射壁的隨機游戲的一步轉(zhuǎn)移概率。,解：游走的狀態(tài)空間為X=-2s,-s,0,s,2s, 對應(yīng)X=a1,a2,a3,a4,a5,由給出的游走規(guī)則，可知,得一步轉(zhuǎn)移概率為,,例10(p250):直線上帶完全反射壁的隨機游戲的二步轉(zhuǎn)移概率。,解：,,,例14(p252):在“直線上帶完全反射壁的隨機游戲”中設(shè)隨機質(zhì)點開始處于線段的中點x=0處，求隨機質(zhì)點經(jīng)兩步到達反射壁的概率。,分析：給定初始狀態(tài)，也就是給出了初始的概率分布。依據(jù)馬爾科夫鏈一維分布的計算公式,,,經(jīng)兩步到達反射壁的概率為：,已知：,根據(jù)：,,例15(p254):齊次馬爾科夫鏈Xn , n=0,1,2,的狀態(tài)空間為X=0,1,2,初始分布為 其一步轉(zhuǎn)移概率矩陣為,解: (1)可由乘法公式結(jié)合馬氏性求，,也可直接由n維分布概率公式求:,(2)直接由n維分布概率公式求,(3)注意，所求的是條件概率，是兩步轉(zhuǎn)移概率。,,,
泊松過程、馬爾科夫鏈.ppt
