《隨機過程Ch5連續(xù)時間馬爾可夫鏈.ppt》由會員分享，可在線閱讀，更多相關(guān)《隨機過程Ch5連續(xù)時間馬爾可夫鏈.ppt（93頁珍藏版）》請在裝配圖網(wǎng)上搜索。
第五章連續(xù)時間馬爾可夫鏈,,I馬爾可夫鏈,54321012345T,,,,,,,,5.1連續(xù)時間馬爾可夫鏈,定義5.1設(shè)隨機過程{X(t)，t?0}，狀態(tài)空間I={0,1,2,?}，若對任意0?t1
0，則稱狀態(tài)i與j是互通的。若所有狀態(tài)都是互通的，則稱此馬爾可夫鏈為不可約的?？啥x狀態(tài)的常返性,5.2柯爾莫哥洛夫微分方程,例5.2設(shè)兩個狀態(tài)的連續(xù)時間馬爾可夫鏈，狀態(tài)轉(zhuǎn)移概率滿足，試討論平穩(wěn)分布。,5.2柯爾莫哥洛夫微分方程,,5.2柯爾莫哥洛夫微分方程,,5.2柯爾莫哥洛夫微分方程,轉(zhuǎn)移概率為,5.2柯爾莫哥洛夫微分方程,轉(zhuǎn)移概率的極限為平穩(wěn)分布為,5.2柯爾莫哥洛夫微分方程,若取初始分布為平穩(wěn)分布，即則過程在時刻t的絕對概率分布為,5.2柯爾莫哥洛夫微分方程,,5.2柯爾莫哥洛夫微分方程,定理5.7設(shè)連續(xù)時間馬爾可夫鏈是不可約的，則有下列性質(zhì)：(1)若它是正常返的，則極限存在且等于?j>0，j?I。這里?j是的唯一非負解，此時稱{?j>0，j?I}是該過程的平穩(wěn)分布，并且有(2)若它是零常返的或非常返的，則,例如上例中馬氏鏈有兩個狀態(tài)I={0,1}，那么,生滅過程,設(shè)某系統(tǒng)具有狀態(tài)集S={0,1,2,…},或S={0,1,2,…,k},N(t)表示系統(tǒng)在時刻t(t>=0)的狀態(tài)。若在N(t)=n的條件下，隨機過程{N(t),t>=0}滿足以下條件:(1)N(t+?t)轉(zhuǎn)移到“n+1”的概率為Pn,n+1(?t)=?n?t;(2)N(t+?t)轉(zhuǎn)移到“n-1”的概率為Pn,n-1(?t)=?n?t);(3)N(t+?t)轉(zhuǎn)移到其他狀態(tài)“S-{n+1,n-1}”的概率為o(?t)(高階無窮小);則稱隨機過程{N(t),t>=0}為生滅過程。,生滅過程狀態(tài)變化的性質(zhì),(1)在無窮小?t內(nèi),系統(tǒng)或生長1個;或滅亡1個;或既不生長又不滅亡（概率:1-?n(?t)-?n(?t)）;(2)系統(tǒng)生長一個的概率?n(?t)與?t有關(guān)，而與t無關(guān);與系統(tǒng)當前狀態(tài)n有關(guān)，而與以前的狀態(tài)無關(guān)；(3)系統(tǒng)滅亡一個的概率?n(?t)與?t有關(guān)，而與t無關(guān);與系統(tǒng)當前狀態(tài)n有關(guān)，而與以前的狀態(tài)無關(guān)；,——馬爾可夫性質(zhì),,若排隊系統(tǒng)具有下列性質(zhì):(1)顧客到達為泊松流，時間間隔服從參數(shù)為?n的負指數(shù)分布;(2)顧客服務(wù)時間服從參數(shù)為?n的負指數(shù)分布;則排隊系統(tǒng)的隨機過程{N(t),t>=0}具有馬爾可夫性質(zhì),為一個生滅過程.,排隊系統(tǒng),(四)排隊系統(tǒng)狀態(tài)轉(zhuǎn)移圖,,,,,三、排隊系統(tǒng)穩(wěn)態(tài)概率Pn的求解,第五章連續(xù)時間的馬爾可夫鏈,第四章討論了時間與狀態(tài)都是離散的最簡單的馬爾可夫過程,第五章介紹另一類應(yīng)用廣泛的特殊類型的馬爾可夫鏈,即時間連續(xù)狀態(tài)離散的馬爾可夫過程.5.1連續(xù)時間的馬爾可夫鏈考慮取非負整數(shù)值的連續(xù)時間隨機過程{X(t),t≥0}.定義5.1若隨機過程{X(t),t≥0},狀態(tài)空間I={in,n≥0},對任意0≤t1＜t2＜…＜tn+1及i1,i2,…,in+1∈I,有P{X(tn+1)=in+1|X(t1)=i1,X(t2)=i2,…,X(tn)=in}=P{X(tn+1)=in+1|X(tn)=in}(☆),則稱{X(t),t≥0}為連續(xù)時間馬爾可夫鏈.由定義知,連續(xù)時間馬爾可夫鏈是具有馬爾可夫性的隨機過程.,,連續(xù)時間的馬爾可夫鏈,一般,記條件概率(☆)式為:P{X(s+t)=j|X(s)=i}=pij(s,t)(★).表示系統(tǒng)在時刻s處于狀態(tài)i,經(jīng)過時間t后轉(zhuǎn)移到狀態(tài)j的轉(zhuǎn)移概率.定義5.2如果(★)式的轉(zhuǎn)移概率與s無關(guān),則稱連續(xù)時間馬爾可夫鏈具有齊次(平穩(wěn))的轉(zhuǎn)移概率.此時簡記其轉(zhuǎn)移概率為pij(s,t)=pij(t),轉(zhuǎn)移概率矩陣為:P(t)=(pij(t)),(i,j∈I,t≥0).一般,簡稱具有齊次轉(zhuǎn)移概率的連續(xù)時間馬爾可夫鏈為齊次馬爾可夫過程.在以下的討論中,均假定所考慮的都是齊次馬爾可夫過程.如果在某時刻,譬如時刻0,馬爾可夫鏈進入狀態(tài)i,而在,連續(xù)時間的馬爾可夫鏈,接下來的s個單位時間中過程并未離開狀態(tài)i(即未發(fā)生轉(zhuǎn)移),問:在隨后的t個單位時間中過程仍不離開狀態(tài)i的概率是多少呢?由馬爾可夫性,過程在時刻s處于狀態(tài)i的條件下,在區(qū)間[s,s+t]中仍然處于狀態(tài)i的概率正是它處于狀態(tài)i至少t個單位時間的(無條件)概率.若記τi為過程在轉(zhuǎn)移到另一狀態(tài)之前,停留在狀態(tài)i的時間,則對一切s,t≥0有:P{τi＞s+t|τi＞s}=P{τi＞t}.可見,隨機變量τi具有無記憶性,它服從指數(shù)分布.于是:一個連續(xù)時間馬爾可夫鏈,每當它進入狀態(tài)i,就具有性質(zhì)(連續(xù)時間馬爾可夫鏈的特征性質(zhì)):,連續(xù)時間的馬爾可夫鏈,(1)在轉(zhuǎn)移到另一狀態(tài)之前處于狀態(tài)i的時間,服從參數(shù)為vi的指數(shù)分布:(2)當過程離開狀態(tài)i時,接著以概率pij進入狀態(tài)j,且有pij=1.以上兩條性質(zhì),是構(gòu)造連續(xù)時間馬爾可夫鏈的一個方法.如果vi=∞,則稱狀態(tài)i為瞬時狀態(tài),在這種情況,過程一旦進入此狀態(tài)立即就離開;如果vi=0,則稱狀態(tài)i為吸收狀態(tài),在這種情況,過程一旦進入此狀態(tài)就永遠不再離開.瞬時狀態(tài)只是一種理論狀態(tài),在后文的討論中我們總假設(shè)0≤vi＜∞.于是,一個連續(xù)時間馬爾可夫鏈是這樣的隨機過程,它按照一個離散時間的馬爾可夫鏈從一個狀態(tài)轉(zhuǎn),,f(x)=(vi≥0),,連續(xù)時間的馬爾可夫鏈,移到另一個狀態(tài),但在轉(zhuǎn)移到下一個狀態(tài)之前,它在各個狀態(tài)停留的時間服從指數(shù)分布.而且,在狀態(tài)i過程停留的時間與下一個到達的狀態(tài)必須是相互獨立的隨機變量(因為若下一個到達的狀態(tài)依賴于τi,那么過程處于狀態(tài)i已有多久的信息與下一個狀態(tài)的預(yù)報有關(guān),這與馬爾可夫性矛盾).定理5.1齊次馬爾可夫過程的轉(zhuǎn)移概率具有下列性質(zhì):(1)pij(t)≥0;(2)pij(t)=1;(3)pij(t+s)=pik(t)pkj(s).其中(3)式,即是連續(xù)時間齊次馬爾可夫鏈的C-K方程.,,,連續(xù)時間的馬爾可夫鏈,證明:(1)與(2)式由概率定義以及pij(t)的定義顯然可得.下證(3)式.由全概率公式和馬爾可夫性得:pij(t+s)=P{X(t+s)=j|X(0)=i}=P{X(t+s)=j,X(t)=k|X(0)=i}=P{X(t)=k|X(0)=i}P{X(t+s)=j|X(t)=k}=P{X(t)=k|X(0)=i}P{X(s)=j|X(t)=k}=pik(t)pkj(s).對于轉(zhuǎn)移概率pij(t),一般還假定它滿足:limpij(t)=并稱之為正則性條件.,,,t→0,,連續(xù)時間的馬爾可夫鏈,正則性條件說明,過程剛進入某狀態(tài)不可能立即又跳躍到另一狀態(tài).這正好說明一個物理系統(tǒng)要在有限時間內(nèi)發(fā)生無限此跳躍、從而消耗無窮多的能量這是不可能的.定義5.3對于任一t≥0,記pj(t)=P{X(t)=j},pj=pj(0)=P{X(0)=j},j∈I并分別稱{pj(t),j∈I}和{pj,j∈I}為齊次馬爾可夫過程的絕對概率分布和初始概率分布.定理5.2齊次馬爾可夫過程的絕對概率及有限維概率分布具有以下性質(zhì):(1)pj(t)≥0;(2)pj(t)=1;,,連續(xù)時間的馬爾可夫鏈,(3)pj(t)=pipij(t);(4)pj(t+τ)=pi(t)pij(τ);(5)P{X(t1)=i1,…,X(tn)=in}=.例5.1證明泊松過程{X(t),t≥0}為連續(xù)時間齊次馬爾可夫鏈.證明:先證泊松過程具有馬爾可夫性,再證齊次性.由泊松過程的定義知它是獨立增量過程,且X(0)=0.對任意0＜t1＜t2＜…＜tn＜tn+1,有P{X(tn+1)=in+1|X(t1)=i1,…,X(tn)=in},,,,連續(xù)時間的馬爾可夫鏈,=P{X(tn+1)-X(tn)=in+1-in|X(t1)-X(0)=i1,X(t2)-X(t1)=i2-i1,…,X(tn)-X(tn-1)=in-in-1}=P{X(tn+1)-X(tn)=in+1-in};另一方面,由于P{X(tn+1)=in+1|X(tn)=in}=P{X(tn+1)-X(tn)=in+1-in|X(tn)-X(0)=in}=P{X(tn+1)-X(tn)=in+1-in}.所以P{X(tn+1)=in+1|X(t1)=i1,…,X(tn)=in}=P{X(tn+1)=in+1|X(tn)=in},即泊松過程是一個連續(xù)時間馬爾可夫鏈.下證齊次性.當j≥i時,由泊松過程的定義,得,連續(xù)時間的馬爾可夫鏈,P{X(s+t)=j|X(s)=i}=P{X(s+t)-X(s)=j-i}=e-λt.當j＜i時,由于過程的增量只取非負整數(shù)值,此時pij(s,t)=0.因而pij(s,t)=pij(t)=即轉(zhuǎn)移概率只與t有關(guān),泊松過程具有齊次性.下文討論連續(xù)時間齊次馬爾可夫鏈的轉(zhuǎn)移概率pij(t)的求解方法.,,,柯爾莫哥洛夫微分方程,5.2柯爾莫哥洛夫微分方程對于離散時間齊次馬爾可夫鏈,如果已知其一步轉(zhuǎn)移概率矩陣P=(pij),則k步轉(zhuǎn)移概率矩陣由一步轉(zhuǎn)移概率矩陣的k次方即可求得.但是,對于連續(xù)時間齊次馬爾可夫鏈,轉(zhuǎn)移概率pij(t)的求解一般較為復(fù)雜.下面首先討論pij(t)的可微性及pij(t)所滿足的柯爾莫哥洛夫微分方程;然后給出pij(t)的一種求解方法.引理5.1設(shè)齊次馬爾可夫過程滿足正則條件,則對于任意固定i,j∈I,pij(t)是t的一致連續(xù)函數(shù).證明:設(shè)h＞0,由定理5.1得pij(t+h)-pij(t)=pir(h)prj(t)-pij(t),,柯爾莫哥洛夫微分方程,=pii(h)pij(t)-pij(t)+pir(h)prj(t)=-[1-pii(h)]pij(t)+pir(h)prj(t).故有pij(t+h)-pij(t)≥-[1-pii(h)]pij(t)≥-[1-pii(h)],pij(t+h)-pij(t)≤pir(h)prj(t)≤pir(h)=1-pii(h),因此有|pij(t+h)-pij(t)|≤1-pii(h).對于h＜0,同樣有pij(t)-pij(t+h)=pir(-h)prj(t+h)-pij(t+h)=pii(-h)pij(t+h)-pij(t+h)+pir(-h)prj(t+h)=-[1-pii(-h)]pij(t+h)+pir(-h)prj(t+h).,,,,,,,,柯爾莫哥洛夫微分方程,故有pij(t)-pij(t+h)≥-[1-pii(-h)]pij(t+h)≥-[1-pii(-h)],pij(t)-pij(t+h)≤pir(-h)prj(t+h)≤pir(-h)=1-pii(-h),因此有|pij(t)-pij(t+h)|≤1-pii(-h).綜上所述,一般地有|pij(t+h)-pij(t)|≤1-pii(|h|).由正則性條件知lim|pij(t+h)-pij(t)|=0.即pij(t)關(guān)于t是一致連續(xù)的.,,,h→0,柯爾莫哥洛夫微分方程,在以下討論中,我們恒假定齊次馬爾可夫過程滿足正則性條件.定理5.3設(shè)pij(t)是齊次馬爾可夫過程的轉(zhuǎn)移概率,則下列極限存在:(1)lim=vi=qii≤∞(i=j);(2)lim=qij＜∞,i≠j.一般稱定理中的qij為齊次馬爾可夫過程從狀態(tài)i到狀態(tài)j的轉(zhuǎn)移概率(或跳躍強度).定理中極限的概率意義是:在長為Δt的時間區(qū)間內(nèi),過程從狀態(tài)i轉(zhuǎn)移到另一其它狀態(tài)的轉(zhuǎn)移概率1-pii(Δt),等于qijΔt加上一個比Δt,Δt→0,Δt→0,,柯爾莫哥洛夫微分方程,高階的無窮小量;而從狀態(tài)i轉(zhuǎn)移到狀態(tài)j的概率pij(Δt)等于qijΔt加上一個比Δt高階的無窮小量.推論對有限齊次馬爾可夫過程,有qii=qij＜∞.證明:由定理5.1,有pij(Δt)=1,即1-pii(Δt)=pij(Δt).由于求和是在有限集中進行,故有l(wèi)im=lim=qij,即:qii=qij(◇).對于狀態(tài)空間無限的馬爾可夫過程,一般只有qii≥qij.,,,,,,,,,,Δt→0,Δt→0,柯爾莫哥洛夫微分方程,若連續(xù)時間齊次馬爾可夫鏈,具有有限狀態(tài)空間I={0,1,…,n,則它的轉(zhuǎn)移速率可構(gòu)成下述形式的矩陣:由(◇)式知,Q的每一行元素的和都為0,因而對角線元素為負或0,且當i≠j時,qij≥0.利用Q矩陣,可推出任意時間間隔t的轉(zhuǎn)移概率所滿足的方程組,從而可以求解轉(zhuǎn)移概率.由C-K方程,有pij(t+h)=pik(h)pkj(t).等價地,有,Q=,-q00q01…q0nq10-q11…q1n…………qn0qn1…-qnn,,,,,,,,柯爾莫哥洛夫微分方程,pij(t+h)-pij(t)=pik(h)pkj(t)-[1-pii(h)]pij(t).兩邊除以h并令h→0取極限,由定理5.3,得lim=limpkj(t)-qiipkj(t).☆如果在上式的右邊極限與求和可交換次序,那么運用定理5.3,就有以下結(jié)論:定理5.4(柯爾莫哥洛夫向后方程)設(shè)qij=qii,則對一切i,j以及t≥0,有p’ij(t)=qikpkj(t)-qiipkj(t).證明:這其實只需證明☆式右邊極限與求和可交換次序.對任意固定的N,有l(wèi)iminfpkj(t)≥liminfpkj(t),,h→0,h→0,,,,,,,,,h→0,,,h→0,柯爾莫哥洛夫微分方程,=qikpkj(t).鑒于該式對一切N都成立,故有l(wèi)iminfpkj(t)≥qikpkj(t)(◆).下面來倒轉(zhuǎn)這一不等式.注意到對N＞i,由pkj(t)≤1知limsuppkj(t)≤limsup[pkj(t)+]≤limsup[pkj(t)+-]=qikpkj(t)+qii-qik.最后的等式由定理5.3獲得.因上述不等式對一切N＞i,,h→0,,,,,,,,h→0,h→0,,,,,,,,柯爾莫哥洛夫微分方程,成立,令N→∞且由qij=qii,便得limsuppkj(t)≤qikpkj(t).由此式與(◆)式即得limpkj(t)=qikpkj(t).定理5.4中pij(t)滿足的微分方程組,以柯爾莫哥洛夫向后方程所著稱.所以稱它們?yōu)橄蚝蠓匠?是因為在計算時刻t+h的狀態(tài)的概率分布時,需要對退后到時刻h的狀態(tài)取條件,即要從pij(t+h)=P{X(t+h)=j|X(0)=i,X(h)=k}P{X(h)=k|X(0)=i}=pkj(t)pik(h)開始計算.,,,,,,,,h→∞,h→∞,,,柯爾莫哥洛夫微分方程,對時刻t的狀態(tài)取條件,可以導(dǎo)出另一組方程,稱柯爾莫哥洛夫向前方程:pij(t+h)=pik(t)pkj(h),或pij(t+h)-pij(t)=pik(t)pkj(h)-pij(t)=pik(t)pkj(h)-[1-pjj(h)]pij(t),所以lim=lim{pik(t)-pij(t)}.如果在上式的右邊極限與求和可交換次序,則由定理5.3即得p’ij(t)=pik(t)qkj-qijpij(t).,,,,,,h→0,h→0,,,,柯爾莫哥洛夫微分方程,令人遺憾的是:前式右邊極限與求和的次序交換并不恒成立.不過在大多數(shù)模型中--包括全部生滅過程和全部有限狀態(tài)的模型,是成立的.定理5.5(柯爾莫哥洛夫向前方程)在適當?shù)恼齽t條件下p’ij(t)=pik(t)qkj-qijpij(t).利用定理5.4和定理5.5中的方程組以及初始條件pii(0)=1,pij(0)=0,i≠j.便可解得pij(t).柯爾莫哥洛夫向后方程和向前方程雖然形式不同,但它們所求得的pij(t)是相同的.在實際應(yīng)用中,當固定回后所處狀態(tài)j,研究pij(t)時(i=0,1,…),采用向后方程較方便;當固定狀態(tài)i,研究pij(t),,柯爾莫哥洛夫微分方程,時(j=0,1,…),則采用向前方程比較方便.向后方程和向前方程可以寫成矩陣形式:p’(t)=QP(t);p’(t)=P(t)Q.式中矩陣p’(t)的元素是矩陣p(t)的元素的導(dǎo)數(shù),這,-q00q01q02…q10-q11q12…q20q21-q22……………,Q=,,,,,,,P(t)=,p00(t)p01(t)p02(t)…p10(t)p11(t)p12(t)…p20(t)p21(t)p22(t)……………,,,,,,,柯爾莫哥洛夫微分方程,這樣,連續(xù)時間馬爾可夫鏈的轉(zhuǎn)移概率的求解問題就化成矩陣微分方程的求解問題,其轉(zhuǎn)移概率由其轉(zhuǎn)移速率矩陣Q決定.特別,如果Q是一個有限維矩陣,則向后方程和向前方程矩陣形式的解為:p(t)=eQt=.定理5.6齊次馬爾可夫過程在t時刻處于狀態(tài)j∈I的絕對概率pj(t)滿足下列方程p’j(t)=-pj(t)qjj+pk(t)qkj.證明:由定理5.2,有pj(t)=pipij(t),,,,柯爾莫哥洛夫微分方程,將定理5.5中向前方程式的兩邊同乘以pi,并對i求和,得pip’ij(t)=(-pip’ij(t)qjj)+pip’ik(t)qkj,故有p’j(t)=-pj(t)qjj+pk(t)qkj.與離散馬爾可夫鏈類似,以下討論轉(zhuǎn)移概率pij(t)當t→∞時的極限分布與平穩(wěn)分布的有關(guān)性質(zhì).定義5.4設(shè)pij(t)為連續(xù)時間馬爾可夫鏈的轉(zhuǎn)移概率,若存在時刻t1和t2,使得pij(t1)＞0,pji(t2)＞0,則稱狀態(tài)i與j是互通的.若所有狀態(tài)都是互通的,則稱此馬爾可夫鏈為不可約的.關(guān)于狀態(tài)的常返性及非常返性等概念與離散馬爾可夫鏈類似,此處不再一一定義.,,,,,,柯爾莫哥洛夫微分方程,下面定理(不加證明)給出:轉(zhuǎn)移概率pij(t)在t→∞時的性質(zhì)及其與平穩(wěn)分布的關(guān)系.定理5.7設(shè)連續(xù)時間的馬爾可夫鏈是不可約的,則該鏈具有下列性質(zhì):(1)若它是正常返的,則極限limpij(t)存在且等于πj(＞0),j∈I.這里πj是方程組πjqjj=πkqkj,πj=1的惟一非負解.此時稱{πj,j∈I}為該過程的平穩(wěn)分布并且有l(wèi)impj(t)=πj.(2)若它是零常返的或非常返的,則,t→∞,,,t→∞,柯爾莫哥洛夫微分方程,limpij(t)=limpj(t)=0,i,j∈I.在實際應(yīng)用中,有些問題可以用柯爾莫哥洛夫方程直接求解,有些問題雖不能直接求解,但可以用定理5.7(1)中方程求解.以下討論幾個在應(yīng)用中有一定代表性的例題.例5.2考慮兩個狀態(tài)的連續(xù)時間馬爾可夫鏈,在轉(zhuǎn)移狀態(tài)1之前鏈在狀態(tài)0停留的時間是參數(shù)為λ的指數(shù)變量,而在回到狀態(tài)0之前,它停留在狀態(tài)1的時間是參數(shù)為μ的指數(shù)變量.顯然,該鏈是一個齊次馬爾可夫過程,其狀態(tài)轉(zhuǎn)移概率為:p01(h)=λh+o(h),p10(h0=μh=o(h).,t→∞,t→∞,,柯爾莫哥洛夫微分方程,由定理5.3知q00=lim=lim=p01(h)|h=0=λ=q01,q11=lim=lim=p10(h)|h=0=μ=q10.由柯爾莫哥洛夫向前方程得p’00(t)=μp01(t)-λp00(t)=-(λ+μ)p00(t)+μ.其中最后一個等式來自p01(t)=1-p00(t).因而e(λ+μ)t[p’00(t))+(λ+μ)p00(t)]=μe(λ+μ)t,或[e(λ+μ)tp00(t)]=μe(λ+μ)t,于是e(λ+μ)tp00(t)=e(λ+μ)t+c.,h→0,,,,h→0,,,h→0,h→0,,,柯爾莫哥洛夫微分方程,由于p00(0)=1,可見c=,于是p00(t)=+e-(λ+μ)t.若記λ0=,μ0=,則p00(t)=μ0+λ0e-(λ+μ)t.類似地,由向前方程p’01(t)=λp00(t)-μp01(t)可解得:p01(t)=λ0[1-e-(λ+μ)t].再由對稱性知:p11(t)=λ0+μ0e-(λ+μ)t,p10(t)=μ0[1-e-(λ+μ)t].轉(zhuǎn)移概率的極限:limp00(t)=μ0=limp10(t),,,,,,,,t→∞,t→∞,柯爾莫哥洛夫微分方程,limp11(t)=λ0=limp01(t).由此可見,當t→∞時,pij(t)的極限存在且與i無關(guān).由定理5.7知,平穩(wěn)分布為:π0=μ0,π1=λ0.如果取初始分布為平穩(wěn)分布,即P{X(0)=0}=p0=μ0,P{X(0)=1}=p1=λ0.則過程在時刻t的絕對概率分布為:p0(t)=p0p00(t)+p1p11(t)=μ0[λ0e-(λ+μ)t+μ0]+λ0μ0[1-e-(λ+μ)t]=μ0,p1(t)=p0p01(t)+λ0p11(t)=μ0λ0[1-e-(λ+μ)t]+λ0[λ0+μ0e-(λ+μ)t]=λ0.,t→∞,t→∞,柯爾莫哥洛夫微分方程,例5.3機器維修問題.假定例5.2中狀態(tài)0代表某機器正常工作,狀態(tài)1代表機器出故障.狀態(tài)轉(zhuǎn)移概率與例5.2相同,即在h時間內(nèi),機器從正常工作變?yōu)槌龉收系母怕蕿閜01(h)=λh+o(h);在h時間內(nèi),機器從有故障變?yōu)榻?jīng)修復(fù)后正常工作的概率為p10(h)=μh+o(h).試求在t=0時正常工作的機器,在t=5時正常工作的概率.解:由例5.2已經(jīng)求得該過程的Q矩陣是:Q=.根據(jù)題意,要求的是機器最后所處的狀態(tài)為正常工作,只需計算p00(t).由例2知:p00(t)=μ0+λ0e-(λ+μ)t.故p00(5)=μ0+λ0e-5(λ+μ).因為P{X(0)=0}=p0=1,所以P{X(5)=0}=p0(5)=p0p00(5)=μ0+λ0e-5(λ+μ).,-λλμ-μ,,,,,,,生滅過程,連續(xù)時間馬爾可夫鏈的一類重要的特殊情形是生滅過程,它的特征是在很短的時間內(nèi),系統(tǒng)的狀態(tài)只能從狀態(tài)i轉(zhuǎn)移到狀態(tài)i-1或i+1或保持不變.其確切定義是:定義5.5設(shè)齊次馬爾可夫{X(t),t≥0}的狀態(tài)空間是I={0,1,2,…},轉(zhuǎn)移概率為pij(t),如果pi,i+1(h)=λih+o(h),λi＞0,pi,i-1(h)=μih+o(h),μi＞0,μ0=0,pii(h)=1-(λi+μi)h+o(h),pij(h)=o(h),|i-j|≥2則稱{X(t),t≥0}為生滅過程.λi為出生率,μi為死亡率.若λi=iλ,μi=iμ(λ,μ正常數(shù)),則稱{X(t),t≥0},,生滅過程,為線性生滅過程.若μi≡0,則稱{X(t),t≥0}為純生過程;若λi≡0,則稱{X(t),t≥0}為純滅過程.生滅過程的概率解釋:如果以X(t)表示一個生物群體在t時刻的大小,則在很短的時間h內(nèi)(不計高階無窮小o(h)),群體變化有三種可能:狀態(tài)由i變到i+1,即增加一個個體,其概率為λih;狀態(tài)由i變到i-1,機5減少一個個體,其概率為μih;群體大小不增不減,其概率為1-(λi+μi)h.柯爾莫哥洛夫向前方程與向后方程.由定理5.3,得qii=-pii(h)|h=0=λi+μi,i≥0.,,生滅過程,qij=pij(h)|h=0=qij=0,|i-j|≥2.故柯爾莫哥洛夫向前方程為p’ij=λj-1pi,j-1(t)-(λj+μj)pij(t)+μjpi,j+1(t),i,j∈I.柯爾莫哥洛夫向后方程為p’ij=μipi-1,j(t)-(λi+μi)pij(t)+λipi+1,j(t),i,j∈I.由于上述柯爾莫哥洛夫向前、向后方程組求解較為困難,我們轉(zhuǎn)而討論其平穩(wěn)分布.由定理5.7(1)式,有,λi,j=i+1,i≥0,,μi,j=i-1,i≥0.,,,生滅過程,λ0π0=μ1π1,(λj+μj)πj=λj-1πj-1+μj+1πj+1,j≥1.逐步遞推,得π1=π0,π2=π1=π0,…,πj=πj-1=π0,….再利用πj=1,得平穩(wěn)分布(☆):π0=(1+)-1,πj=(1+)-1,j≥0.該式也指出,平穩(wěn)分布存在的充要條件是:＜∞.,,,,,,,,,,,,,,生滅過程,例5.4兩個生滅過程.(1)M/M/s排隊系統(tǒng).假設(shè)顧客按照參數(shù)為λ的泊松過程來到一個有s個服務(wù)員的服務(wù)站,即相繼來到之間的時間是均值均為1/λ的獨立指數(shù)隨機變量,每一個顧客一來到,如果有服務(wù)員空閑,則直接進行服務(wù),否則此顧客要加入排隊行列在隊列中等待.當一個服務(wù)員結(jié)束對一位顧客的服務(wù)時,顧客就離開服務(wù)系統(tǒng),排隊的下一個顧客(如有顧客等待)進入服務(wù).假定相繼的服務(wù)時間是獨立的指數(shù)隨機變量,均值為1/μ.如果以X(t)記時刻t系統(tǒng)中的人數(shù),則{X(t),t≥0}是生滅過程:μn=λn=λ,n≥0.,nμ,1≤n≤s,,sμ,s＜n,,,生滅過程,M/M/s排隊系統(tǒng)中的M表示馬爾可夫過程,s代表s個服務(wù)員(一般,A/B/C:A為顧客到達間隔時間分布;B為服務(wù)時間的分布;C為服務(wù)站內(nèi)服務(wù)臺個數(shù)).特別,在M/M/1排隊系統(tǒng)中,λn=λ,μn=μ.于是若λ/μ＜1,則由平穩(wěn)分布(☆)式,得πn==()n(1-),n≥0.要平穩(wěn)分布(即極限分布)存在,λ必須小于μ是直觀的.顧客按速率λ到來且以速率μ受到服務(wù),因而當λ＞μ時顧客到來的速率高于接受服務(wù)的速率,排隊的長度趨于無窮.λ=μ時的情況,類似于對稱的隨機游動,它是零常返的,從而沒有極限概率.,,,,生滅過程,(2)有遷入的線性增長模型模型:μn=nμ,n≥1,λn=nλ+θ,n≥0.稱為有遷入的線性增長模型.這種過程來自于對生物繁殖與群體增長的研究.假定群體中的每個個體以指數(shù)率λ出生;而且由于從外界遷入的因素,群體又以指數(shù)率θ增加,因此當系統(tǒng)中有n個成員時,整個出生率是nλ+θ.假定該群體的各個成員以指數(shù)率μ死亡,從而μn=nμ.例5.5尤爾(Yule)過程設(shè)群體中各個成員獨立地活動且以指數(shù)率生育.如果假設(shè)沒有任何成員死亡,以X(t)記時刻t群體的總量,則X(t)是一個純生過程:λn=nλ,n＞0并稱之為尤爾過程.試計,,生滅過程,算:(1)從一個個體開始,在時刻t群體總量的分布;(2)從一個個體開始,在時刻t群體諸成員年齡之和的均值.解:(1)記Ti(i≥1)為第i個與第i+1個成員出生之間的時間,即Ti是群體總量從i變到i+1所花的時間.由尤爾過程的定義可見Ti(i≥1)是獨立的具有參數(shù)iλ的指數(shù)變量.故有P{T1≤t}=1-e-λt,P{T1+T2≤t}=P{T1+T2≤t|T1=x}λe-λxdx=(1-e-2λ(t-x))λe-λxdx=(1-e-λt)2.及P{T1+T2+T3≤t}=P{T1+T2+T3≤t|T1+T2=x}d,,,,,,生滅過程,=(1-e-3λ(t-x))(1-e-λt)2λe-λxdx=(1-e-λt)3.一般地,由歸納法可得:P{T1+T2+…+Tj≤t}=(1-e-λt)j.由于P{T1+T2+…+Tj≤t}=P{X(t)≥j+1|X(0)=1},所以p1j(t)=(1-e-λt)j-1-(1-e-λt)j=e-λt(1-e-λt)j-1,j≥1.由此可見,從一個個體開始,在時刻t群體的總量具有幾何分布,其均值為eλt.一般,如果群體從i個個體開始,在時刻t群體總量是i個獨立同幾何分布隨機變量之和,則具有負二項分布,即pij(t)=e-iλt(1-e-λt)j-i,j≥i≥1.(2)記A(t)為群體在時刻t諸成員的年齡之和,則可以,,,生滅過程,證明,A(t)=a0+X(s)ds,式中a0是初始個體在t=0時的年齡.取期望有EA(t)=a0+E[X(s)ds]=a0+E[X(s)]ds=a0+eλsds=a0+.例5.6傳染模型考慮有m個個體的群體,在時刻0由一個已感染的個體與m-1個未受到感染但可能被感染的個體組成.個體一旦受到感染將永遠地處于此狀態(tài).假設(shè)在任意長為h的時間區(qū)間內(nèi)任意一個已感染的人將以概率ah+o(h)引起任一指定的未感染者成為感染者.若以X(t)記時刻t群體中已受感染的個體數(shù),則{X(t),t≥0}是一純生過程,其,,,,,,生滅過程,λn=這是因為,當有n個已受感染的個體時則m-n個未受感染者的每一個將以速率na變成已感染者.記T為直至整個群體被感染的時間,Ti為從i個已感染者到i+1個已感染者的時間,則T=Ti.由于Ti是相互獨立的指數(shù)隨機變量,其參數(shù)分別為λi=(m-i)ia,i=1,2,…,m-1.故ET=ETi=,DT=DTi=.,(m-n)na,n=1,2,…,m-1,,0,其它.,,,,,,,,,,,,生滅過程,對規(guī)模合理的群體,ET漸進地為ET=(+)≈(+)dt=.例5.7機器維修設(shè)有m臺機床,s個維修工人(s＜m).機床或者工作,或者損壞等待修理.機床損壞后,空著的維修工人立即來修理;若維修工人不空,則機床按先后排隊等待維修.假定在h時間內(nèi),每臺機床從工作到損壞的概率為λh+o(h),每臺修理的機床轉(zhuǎn)到工作的概率為μh+o(h).用X(t)表示時刻t損壞的機床臺數(shù),則{x(t),t≥0}是馬爾可夫鏈,其狀態(tài)空間I={0,1,…,m}.設(shè)時刻t有i臺機床損壞,則在(t,t+h)內(nèi)又有一臺機床損壞的概率,在不計高階無窮小,,,,,,,,,,生滅過程,時,它應(yīng)等于原來正在工作的m-i臺機床中,在(t,t+h)內(nèi)恰有一臺損壞的概率.于是pi,i+1(h)=(m-i)λh+o(h),i=0,1,…,m-1.類似地,有pi,i-1(h)=,pij(h)=o(h),|i-j|≥2.顯然,這是一個生滅過程,其λi=(m-i)λ,i=0,1,…,m;μi=.由平穩(wěn)分布(☆)式,得該問題的平穩(wěn)分布:,iμh+o(h),1≤i≤s,sμh+o(h),s≤i≤m,,,iμ,1≤i≤s,sμ,s＜i≤m,生滅過程,π0=[1+()j+()j]-1,()jπ0,1≤j≤s,()jπ0,s＜j≤m.當已知m,λ,μ后,便可由上述平穩(wěn)分布計算出安排s個維修工人時平均不工作的機床臺數(shù).因而也就可以具體計劃如何適當安排維修工人的人數(shù)s.在第五章,主要討論了連續(xù)時間的馬爾可夫鏈、柯爾莫哥洛夫微分方程以及生滅過程.如何理解其內(nèi)的一些概念呢?,,,,,,,πj=,,關(guān)于第五章中的幾個概念,若連續(xù)時間的馬爾可夫鏈以概率1在任意長的時間內(nèi)轉(zhuǎn)移的次數(shù)是有限的,則該馬爾可夫鏈就是正則的.如果齊次馬爾可夫過程滿足正則性條件,那么對任意固定的i,j∈I,pij(t)都是t的一致連續(xù)函數(shù).pij是齊次馬爾可夫過程從狀態(tài)i到狀態(tài)j的轉(zhuǎn)移概率,由其極限式得到轉(zhuǎn)移速率qij,這極限式的概率意義是:在長度為t的時間區(qū)間內(nèi),過程從狀態(tài)i轉(zhuǎn)移到另一其它狀態(tài)的轉(zhuǎn)移概率1-pii(t),等于qii(t)加上一個比t高階的無窮小量;而從狀態(tài)i轉(zhuǎn)移到狀態(tài)j的概率pij(t)等于qij(t)加上一個比t高階的無窮小量.Q矩陣的意義:Q矩陣稱為齊次馬爾可夫過程的轉(zhuǎn)移速率矩陣.由于Q=P’(0),故又稱為轉(zhuǎn)移概率矩陣P(t)的密度,關(guān)于第五章中的幾個概念,矩陣.它反映齊次馬爾可夫過程的轉(zhuǎn)移概率(函數(shù))在t=0的變化率.Q矩陣是一個常數(shù)矩陣,而轉(zhuǎn)移概率矩陣是一個函數(shù)矩陣.Q矩陣比轉(zhuǎn)移概率矩陣容易求得.柯爾莫哥洛夫微分方程的實際意義與限制條件:柯爾莫哥洛夫微分方程建立了齊次馬爾可夫過程的Q矩陣與轉(zhuǎn)移概率矩陣P(t)之間的聯(lián)系.如果給了密度矩陣Q,在一定條件下,可以通過柯爾莫哥洛夫向后(前)方程解出轉(zhuǎn)移概率pij(t).若Q是一個有限維矩陣,則由向后(前)方程可以解得:P(t)=eQt=[(Qt)’/j!].在柯爾莫哥洛夫微分方程的證明中,需要交換極限與,,關(guān)于第五章中的幾個概念,求和的次序.但是,對向前方程來說,必須附加適當?shù)臈l件才能實現(xiàn).這使得方程的應(yīng)用受到一定的限制.對于只有有限個狀態(tài)的馬爾可夫過程的遍歷性,在應(yīng)用中有一個簡便的充分條件判定方法:定理設(shè)齊次馬氏鏈{Xn,n≥1}的狀態(tài)空間為I={a1,a2,…,aN},P是它的一步轉(zhuǎn)移概率矩陣,如果存在正整數(shù)m,使對任意的ai,aj∈I,都有Pij(m)＞0,i,j=1,2,…,N,則此鏈具有遍歷性;且具有極限分布π=(π1,π2,…,πN),它是方程組π=πP,或πj=πipij,j=1,2,…,N的滿足條件πj＞0,πj=1的惟一解.依照定理,為證有限鏈是遍歷的,只需找一正整數(shù)m,使m,,,關(guān)于第五章中的幾個概念,步轉(zhuǎn)移概率矩陣Pm無零元即可.生滅過程的概率的意義:由生滅過程的轉(zhuǎn)移概率pij(t)的性質(zhì)知,若忽略t的高階無窮小量,生滅過程即種群群體的狀態(tài)變化有三種可能:(1)由狀態(tài)i→i+1,即增加了一個個體,概率是λit;(2)由狀態(tài)i→i-1,即減少了一個個體,概率是μit;(3)由i→i,即群體個數(shù)沒有變化.由此可以得出:生滅過程的所有狀態(tài)都是互通的.但是在充分小的時間區(qū)間內(nèi),只能在兩個相鄰狀態(tài)內(nèi)變化,或者狀態(tài)無變化.,
隨機過程Ch5連續(xù)時間馬爾可夫鏈.ppt
裝配圖網(wǎng)所有資源均是用戶自行上傳分享，僅供網(wǎng)友學(xué)習(xí)交流，未經(jīng)上傳用戶書面授權(quán)，請勿作他用。
鏈接地址：http://m.appdesigncorp.com/p-3281437.html