《隨機(jī)過(guò)程Ch5連續(xù)時(shí)間馬爾可夫鏈.ppt》由會(huì)員分享，可在線閱讀，更多相關(guān)《隨機(jī)過(guò)程Ch5連續(xù)時(shí)間馬爾可夫鏈.ppt（93頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。
第五章連續(xù)時(shí)間馬爾可夫鏈,,I馬爾可夫鏈,54321012345T,,,,,,,,5.1連續(xù)時(shí)間馬爾可夫鏈,定義5.1設(shè)隨機(jī)過(guò)程{X(t)，t?0}，狀態(tài)空間I={0,1,2,?}，若對(duì)任意0?t1
0，則稱狀態(tài)i與j是互通的。若所有狀態(tài)都是互通的，則稱此馬爾可夫鏈為不可約的?？啥x狀態(tài)的常返性,5.2柯?tīng)柲缏宸蛭⒎址匠?例5.2設(shè)兩個(gè)狀態(tài)的連續(xù)時(shí)間馬爾可夫鏈，狀態(tài)轉(zhuǎn)移概率滿足，試討論平穩(wěn)分布。,5.2柯?tīng)柲缏宸蛭⒎址匠?,5.2柯?tīng)柲缏宸蛭⒎址匠?,5.2柯?tīng)柲缏宸蛭⒎址匠?轉(zhuǎn)移概率為,5.2柯?tīng)柲缏宸蛭⒎址匠?轉(zhuǎn)移概率的極限為平穩(wěn)分布為,5.2柯?tīng)柲缏宸蛭⒎址匠?若取初始分布為平穩(wěn)分布，即則過(guò)程在時(shí)刻t的絕對(duì)概率分布為,5.2柯?tīng)柲缏宸蛭⒎址匠?,5.2柯?tīng)柲缏宸蛭⒎址匠?定理5.7設(shè)連續(xù)時(shí)間馬爾可夫鏈?zhǔn)遣豢杉s的，則有下列性質(zhì)：(1)若它是正常返的，則極限存在且等于?j>0，j?I。這里?j是的唯一非負(fù)解，此時(shí)稱{?j>0，j?I}是該過(guò)程的平穩(wěn)分布，并且有(2)若它是零常返的或非常返的，則,例如上例中馬氏鏈有兩個(gè)狀態(tài)I={0,1}，那么,生滅過(guò)程,設(shè)某系統(tǒng)具有狀態(tài)集S={0,1,2,…},或S={0,1,2,…,k},N(t)表示系統(tǒng)在時(shí)刻t(t>=0)的狀態(tài)。若在N(t)=n的條件下，隨機(jī)過(guò)程{N(t),t>=0}滿足以下條件:(1)N(t+?t)轉(zhuǎn)移到“n+1”的概率為Pn,n+1(?t)=?n?t;(2)N(t+?t)轉(zhuǎn)移到“n-1”的概率為Pn,n-1(?t)=?n?t);(3)N(t+?t)轉(zhuǎn)移到其他狀態(tài)“S-{n+1,n-1}”的概率為o(?t)(高階無(wú)窮小);則稱隨機(jī)過(guò)程{N(t),t>=0}為生滅過(guò)程。,生滅過(guò)程狀態(tài)變化的性質(zhì),(1)在無(wú)窮小?t內(nèi),系統(tǒng)或生長(zhǎng)1個(gè);或滅亡1個(gè);或既不生長(zhǎng)又不滅亡（概率:1-?n(?t)-?n(?t)）;(2)系統(tǒng)生長(zhǎng)一個(gè)的概率?n(?t)與?t有關(guān)，而與t無(wú)關(guān);與系統(tǒng)當(dāng)前狀態(tài)n有關(guān)，而與以前的狀態(tài)無(wú)關(guān)；(3)系統(tǒng)滅亡一個(gè)的概率?n(?t)與?t有關(guān)，而與t無(wú)關(guān);與系統(tǒng)當(dāng)前狀態(tài)n有關(guān)，而與以前的狀態(tài)無(wú)關(guān)；,——馬爾可夫性質(zhì),,若排隊(duì)系統(tǒng)具有下列性質(zhì):(1)顧客到達(dá)為泊松流，時(shí)間間隔服從參數(shù)為?n的負(fù)指數(shù)分布;(2)顧客服務(wù)時(shí)間服從參數(shù)為?n的負(fù)指數(shù)分布;則排隊(duì)系統(tǒng)的隨機(jī)過(guò)程{N(t),t>=0}具有馬爾可夫性質(zhì),為一個(gè)生滅過(guò)程.,排隊(duì)系統(tǒng),(四)排隊(duì)系統(tǒng)狀態(tài)轉(zhuǎn)移圖,,,,,三、排隊(duì)系統(tǒng)穩(wěn)態(tài)概率Pn的求解,第五章連續(xù)時(shí)間的馬爾可夫鏈,第四章討論了時(shí)間與狀態(tài)都是離散的最簡(jiǎn)單的馬爾可夫過(guò)程,第五章介紹另一類應(yīng)用廣泛的特殊類型的馬爾可夫鏈,即時(shí)間連續(xù)狀態(tài)離散的馬爾可夫過(guò)程.5.1連續(xù)時(shí)間的馬爾可夫鏈考慮取非負(fù)整數(shù)值的連續(xù)時(shí)間隨機(jī)過(guò)程{X(t),t≥0}.定義5.1若隨機(jī)過(guò)程{X(t),t≥0},狀態(tài)空間I={in,n≥0},對(duì)任意0≤t1＜t2＜…＜tn+1及i1,i2,…,in+1∈I,有P{X(tn+1)=in+1|X(t1)=i1,X(t2)=i2,…,X(tn)=in}=P{X(tn+1)=in+1|X(tn)=in}(☆),則稱{X(t),t≥0}為連續(xù)時(shí)間馬爾可夫鏈.由定義知,連續(xù)時(shí)間馬爾可夫鏈?zhǔn)蔷哂旭R爾可夫性的隨機(jī)過(guò)程.,,連續(xù)時(shí)間的馬爾可夫鏈,一般,記條件概率(☆)式為:P{X(s+t)=j|X(s)=i}=pij(s,t)(★).表示系統(tǒng)在時(shí)刻s處于狀態(tài)i,經(jīng)過(guò)時(shí)間t后轉(zhuǎn)移到狀態(tài)j的轉(zhuǎn)移概率.定義5.2如果(★)式的轉(zhuǎn)移概率與s無(wú)關(guān),則稱連續(xù)時(shí)間馬爾可夫鏈具有齊次(平穩(wěn))的轉(zhuǎn)移概率.此時(shí)簡(jiǎn)記其轉(zhuǎn)移概率為pij(s,t)=pij(t),轉(zhuǎn)移概率矩陣為:P(t)=(pij(t)),(i,j∈I,t≥0).一般,簡(jiǎn)稱具有齊次轉(zhuǎn)移概率的連續(xù)時(shí)間馬爾可夫鏈為齊次馬爾可夫過(guò)程.在以下的討論中,均假定所考慮的都是齊次馬爾可夫過(guò)程.如果在某時(shí)刻,譬如時(shí)刻0,馬爾可夫鏈進(jìn)入狀態(tài)i,而在,連續(xù)時(shí)間的馬爾可夫鏈,接下來(lái)的s個(gè)單位時(shí)間中過(guò)程并未離開(kāi)狀態(tài)i(即未發(fā)生轉(zhuǎn)移),問(wèn):在隨后的t個(gè)單位時(shí)間中過(guò)程仍不離開(kāi)狀態(tài)i的概率是多少呢?由馬爾可夫性,過(guò)程在時(shí)刻s處于狀態(tài)i的條件下,在區(qū)間[s,s+t]中仍然處于狀態(tài)i的概率正是它處于狀態(tài)i至少t個(gè)單位時(shí)間的(無(wú)條件)概率.若記τi為過(guò)程在轉(zhuǎn)移到另一狀態(tài)之前,停留在狀態(tài)i的時(shí)間,則對(duì)一切s,t≥0有:P{τi＞s+t|τi＞s}=P{τi＞t}.可見(jiàn),隨機(jī)變量τi具有無(wú)記憶性,它服從指數(shù)分布.于是:一個(gè)連續(xù)時(shí)間馬爾可夫鏈,每當(dāng)它進(jìn)入狀態(tài)i,就具有性質(zhì)(連續(xù)時(shí)間馬爾可夫鏈的特征性質(zhì)):,連續(xù)時(shí)間的馬爾可夫鏈,(1)在轉(zhuǎn)移到另一狀態(tài)之前處于狀態(tài)i的時(shí)間,服從參數(shù)為vi的指數(shù)分布:(2)當(dāng)過(guò)程離開(kāi)狀態(tài)i時(shí),接著以概率pij進(jìn)入狀態(tài)j,且有pij=1.以上兩條性質(zhì),是構(gòu)造連續(xù)時(shí)間馬爾可夫鏈的一個(gè)方法.如果vi=∞,則稱狀態(tài)i為瞬時(shí)狀態(tài),在這種情況,過(guò)程一旦進(jìn)入此狀態(tài)立即就離開(kāi);如果vi=0,則稱狀態(tài)i為吸收狀態(tài),在這種情況,過(guò)程一旦進(jìn)入此狀態(tài)就永遠(yuǎn)不再離開(kāi).瞬時(shí)狀態(tài)只是一種理論狀態(tài),在后文的討論中我們總假設(shè)0≤vi＜∞.于是,一個(gè)連續(xù)時(shí)間馬爾可夫鏈?zhǔn)沁@樣的隨機(jī)過(guò)程,它按照一個(gè)離散時(shí)間的馬爾可夫鏈從一個(gè)狀態(tài)轉(zhuǎn),,f(x)=(vi≥0),,連續(xù)時(shí)間的馬爾可夫鏈,移到另一個(gè)狀態(tài),但在轉(zhuǎn)移到下一個(gè)狀態(tài)之前,它在各個(gè)狀態(tài)停留的時(shí)間服從指數(shù)分布.而且,在狀態(tài)i過(guò)程停留的時(shí)間與下一個(gè)到達(dá)的狀態(tài)必須是相互獨(dú)立的隨機(jī)變量(因?yàn)槿粝乱粋€(gè)到達(dá)的狀態(tài)依賴于τi,那么過(guò)程處于狀態(tài)i已有多久的信息與下一個(gè)狀態(tài)的預(yù)報(bào)有關(guān),這與馬爾可夫性矛盾).定理5.1齊次馬爾可夫過(guò)程的轉(zhuǎn)移概率具有下列性質(zhì):(1)pij(t)≥0;(2)pij(t)=1;(3)pij(t+s)=pik(t)pkj(s).其中(3)式,即是連續(xù)時(shí)間齊次馬爾可夫鏈的C-K方程.,,,連續(xù)時(shí)間的馬爾可夫鏈,證明:(1)與(2)式由概率定義以及pij(t)的定義顯然可得.下證(3)式.由全概率公式和馬爾可夫性得:pij(t+s)=P{X(t+s)=j|X(0)=i}=P{X(t+s)=j,X(t)=k|X(0)=i}=P{X(t)=k|X(0)=i}P{X(t+s)=j|X(t)=k}=P{X(t)=k|X(0)=i}P{X(s)=j|X(t)=k}=pik(t)pkj(s).對(duì)于轉(zhuǎn)移概率pij(t),一般還假定它滿足:limpij(t)=并稱之為正則性條件.,,,t→0,,連續(xù)時(shí)間的馬爾可夫鏈,正則性條件說(shuō)明,過(guò)程剛進(jìn)入某狀態(tài)不可能立即又跳躍到另一狀態(tài).這正好說(shuō)明一個(gè)物理系統(tǒng)要在有限時(shí)間內(nèi)發(fā)生無(wú)限此跳躍、從而消耗無(wú)窮多的能量這是不可能的.定義5.3對(duì)于任一t≥0,記pj(t)=P{X(t)=j},pj=pj(0)=P{X(0)=j},j∈I并分別稱{pj(t),j∈I}和{pj,j∈I}為齊次馬爾可夫過(guò)程的絕對(duì)概率分布和初始概率分布.定理5.2齊次馬爾可夫過(guò)程的絕對(duì)概率及有限維概率分布具有以下性質(zhì):(1)pj(t)≥0;(2)pj(t)=1;,,連續(xù)時(shí)間的馬爾可夫鏈,(3)pj(t)=pipij(t);(4)pj(t+τ)=pi(t)pij(τ);(5)P{X(t1)=i1,…,X(tn)=in}=.例5.1證明泊松過(guò)程{X(t),t≥0}為連續(xù)時(shí)間齊次馬爾可夫鏈.證明:先證泊松過(guò)程具有馬爾可夫性,再證齊次性.由泊松過(guò)程的定義知它是獨(dú)立增量過(guò)程,且X(0)=0.對(duì)任意0＜t1＜t2＜…＜tn＜tn+1,有P{X(tn+1)=in+1|X(t1)=i1,…,X(tn)=in},,,,連續(xù)時(shí)間的馬爾可夫鏈,=P{X(tn+1)-X(tn)=in+1-in|X(t1)-X(0)=i1,X(t2)-X(t1)=i2-i1,…,X(tn)-X(tn-1)=in-in-1}=P{X(tn+1)-X(tn)=in+1-in};另一方面,由于P{X(tn+1)=in+1|X(tn)=in}=P{X(tn+1)-X(tn)=in+1-in|X(tn)-X(0)=in}=P{X(tn+1)-X(tn)=in+1-in}.所以P{X(tn+1)=in+1|X(t1)=i1,…,X(tn)=in}=P{X(tn+1)=in+1|X(tn)=in},即泊松過(guò)程是一個(gè)連續(xù)時(shí)間馬爾可夫鏈.下證齊次性.當(dāng)j≥i時(shí),由泊松過(guò)程的定義,得,連續(xù)時(shí)間的馬爾可夫鏈,P{X(s+t)=j|X(s)=i}=P{X(s+t)-X(s)=j-i}=e-λt.當(dāng)j＜i時(shí),由于過(guò)程的增量只取非負(fù)整數(shù)值,此時(shí)pij(s,t)=0.因而pij(s,t)=pij(t)=即轉(zhuǎn)移概率只與t有關(guān),泊松過(guò)程具有齊次性.下文討論連續(xù)時(shí)間齊次馬爾可夫鏈的轉(zhuǎn)移概率pij(t)的求解方法.,,,柯?tīng)柲缏宸蛭⒎址匠?5.2柯?tīng)柲缏宸蛭⒎址匠虒?duì)于離散時(shí)間齊次馬爾可夫鏈,如果已知其一步轉(zhuǎn)移概率矩陣P=(pij),則k步轉(zhuǎn)移概率矩陣由一步轉(zhuǎn)移概率矩陣的k次方即可求得.但是,對(duì)于連續(xù)時(shí)間齊次馬爾可夫鏈,轉(zhuǎn)移概率pij(t)的求解一般較為復(fù)雜.下面首先討論pij(t)的可微性及pij(t)所滿足的柯?tīng)柲缏宸蛭⒎址匠?然后給出pij(t)的一種求解方法.引理5.1設(shè)齊次馬爾可夫過(guò)程滿足正則條件,則對(duì)于任意固定i,j∈I,pij(t)是t的一致連續(xù)函數(shù).證明:設(shè)h＞0,由定理5.1得pij(t+h)-pij(t)=pir(h)prj(t)-pij(t),,柯?tīng)柲缏宸蛭⒎址匠?=pii(h)pij(t)-pij(t)+pir(h)prj(t)=-[1-pii(h)]pij(t)+pir(h)prj(t).故有pij(t+h)-pij(t)≥-[1-pii(h)]pij(t)≥-[1-pii(h)],pij(t+h)-pij(t)≤pir(h)prj(t)≤pir(h)=1-pii(h),因此有|pij(t+h)-pij(t)|≤1-pii(h).對(duì)于h＜0,同樣有pij(t)-pij(t+h)=pir(-h)prj(t+h)-pij(t+h)=pii(-h)pij(t+h)-pij(t+h)+pir(-h)prj(t+h)=-[1-pii(-h)]pij(t+h)+pir(-h)prj(t+h).,,,,,,,,柯?tīng)柲缏宸蛭⒎址匠?故有pij(t)-pij(t+h)≥-[1-pii(-h)]pij(t+h)≥-[1-pii(-h)],pij(t)-pij(t+h)≤pir(-h)prj(t+h)≤pir(-h)=1-pii(-h),因此有|pij(t)-pij(t+h)|≤1-pii(-h).綜上所述,一般地有|pij(t+h)-pij(t)|≤1-pii(|h|).由正則性條件知lim|pij(t+h)-pij(t)|=0.即pij(t)關(guān)于t是一致連續(xù)的.,,,h→0,柯?tīng)柲缏宸蛭⒎址匠?在以下討論中,我們恒假定齊次馬爾可夫過(guò)程滿足正則性條件.定理5.3設(shè)pij(t)是齊次馬爾可夫過(guò)程的轉(zhuǎn)移概率,則下列極限存在:(1)lim=vi=qii≤∞(i=j);(2)lim=qij＜∞,i≠j.一般稱定理中的qij為齊次馬爾可夫過(guò)程從狀態(tài)i到狀態(tài)j的轉(zhuǎn)移概率(或跳躍強(qiáng)度).定理中極限的概率意義是:在長(zhǎng)為Δt的時(shí)間區(qū)間內(nèi),過(guò)程從狀態(tài)i轉(zhuǎn)移到另一其它狀態(tài)的轉(zhuǎn)移概率1-pii(Δt),等于qijΔt加上一個(gè)比Δt,Δt→0,Δt→0,,柯?tīng)柲缏宸蛭⒎址匠?高階的無(wú)窮小量;而從狀態(tài)i轉(zhuǎn)移到狀態(tài)j的概率pij(Δt)等于qijΔt加上一個(gè)比Δt高階的無(wú)窮小量.推論對(duì)有限齊次馬爾可夫過(guò)程,有qii=qij＜∞.證明:由定理5.1,有pij(Δt)=1,即1-pii(Δt)=pij(Δt).由于求和是在有限集中進(jìn)行,故有l(wèi)im=lim=qij,即:qii=qij(◇).對(duì)于狀態(tài)空間無(wú)限的馬爾可夫過(guò)程,一般只有qii≥qij.,,,,,,,,,,Δt→0,Δt→0,柯?tīng)柲缏宸蛭⒎址匠?若連續(xù)時(shí)間齊次馬爾可夫鏈,具有有限狀態(tài)空間I={0,1,…,n,則它的轉(zhuǎn)移速率可構(gòu)成下述形式的矩陣:由(◇)式知,Q的每一行元素的和都為0,因而對(duì)角線元素為負(fù)或0,且當(dāng)i≠j時(shí),qij≥0.利用Q矩陣,可推出任意時(shí)間間隔t的轉(zhuǎn)移概率所滿足的方程組,從而可以求解轉(zhuǎn)移概率.由C-K方程,有pij(t+h)=pik(h)pkj(t).等價(jià)地,有,Q=,-q00q01…q0nq10-q11…q1n…………qn0qn1…-qnn,,,,,,,,柯?tīng)柲缏宸蛭⒎址匠?pij(t+h)-pij(t)=pik(h)pkj(t)-[1-pii(h)]pij(t).兩邊除以h并令h→0取極限,由定理5.3,得lim=limpkj(t)-qiipkj(t).☆如果在上式的右邊極限與求和可交換次序,那么運(yùn)用定理5.3,就有以下結(jié)論:定理5.4(柯?tīng)柲缏宸蛳蚝蠓匠?設(shè)qij=qii,則對(duì)一切i,j以及t≥0,有p’ij(t)=qikpkj(t)-qiipkj(t).證明:這其實(shí)只需證明☆式右邊極限與求和可交換次序.對(duì)任意固定的N,有l(wèi)iminfpkj(t)≥liminfpkj(t),,h→0,h→0,,,,,,,,,h→0,,,h→0,柯?tīng)柲缏宸蛭⒎址匠?=qikpkj(t).鑒于該式對(duì)一切N都成立,故有l(wèi)iminfpkj(t)≥qikpkj(t)(◆).下面來(lái)倒轉(zhuǎn)這一不等式.注意到對(duì)N＞i,由pkj(t)≤1知limsuppkj(t)≤limsup[pkj(t)+]≤limsup[pkj(t)+-]=qikpkj(t)+qii-qik.最后的等式由定理5.3獲得.因上述不等式對(duì)一切N＞i,,h→0,,,,,,,,h→0,h→0,,,,,,,,柯?tīng)柲缏宸蛭⒎址匠?成立,令N→∞且由qij=qii,便得limsuppkj(t)≤qikpkj(t).由此式與(◆)式即得limpkj(t)=qikpkj(t).定理5.4中pij(t)滿足的微分方程組,以柯?tīng)柲缏宸蛳蚝蠓匠趟Q.所以稱它們?yōu)橄蚝蠓匠?是因?yàn)樵谟?jì)算時(shí)刻t+h的狀態(tài)的概率分布時(shí),需要對(duì)退后到時(shí)刻h的狀態(tài)取條件,即要從pij(t+h)=P{X(t+h)=j|X(0)=i,X(h)=k}P{X(h)=k|X(0)=i}=pkj(t)pik(h)開(kāi)始計(jì)算.,,,,,,,,h→∞,h→∞,,,柯?tīng)柲缏宸蛭⒎址匠?對(duì)時(shí)刻t的狀態(tài)取條件,可以導(dǎo)出另一組方程,稱柯?tīng)柲缏宸蛳蚯胺匠?pij(t+h)=pik(t)pkj(h),或pij(t+h)-pij(t)=pik(t)pkj(h)-pij(t)=pik(t)pkj(h)-[1-pjj(h)]pij(t),所以lim=lim{pik(t)-pij(t)}.如果在上式的右邊極限與求和可交換次序,則由定理5.3即得p’ij(t)=pik(t)qkj-qijpij(t).,,,,,,h→0,h→0,,,,柯?tīng)柲缏宸蛭⒎址匠?令人遺憾的是:前式右邊極限與求和的次序交換并不恒成立.不過(guò)在大多數(shù)模型中--包括全部生滅過(guò)程和全部有限狀態(tài)的模型,是成立的.定理5.5(柯?tīng)柲缏宸蛳蚯胺匠?在適當(dāng)?shù)恼齽t條件下p’ij(t)=pik(t)qkj-qijpij(t).利用定理5.4和定理5.5中的方程組以及初始條件pii(0)=1,pij(0)=0,i≠j.便可解得pij(t).柯?tīng)柲缏宸蛳蚝蠓匠毯拖蚯胺匠屉m然形式不同,但它們所求得的pij(t)是相同的.在實(shí)際應(yīng)用中,當(dāng)固定回后所處狀態(tài)j,研究pij(t)時(shí)(i=0,1,…),采用向后方程較方便;當(dāng)固定狀態(tài)i,研究pij(t),,柯?tīng)柲缏宸蛭⒎址匠?時(shí)(j=0,1,…),則采用向前方程比較方便.向后方程和向前方程可以寫(xiě)成矩陣形式:p’(t)=QP(t);p’(t)=P(t)Q.式中矩陣p’(t)的元素是矩陣p(t)的元素的導(dǎo)數(shù),這,-q00q01q02…q10-q11q12…q20q21-q22……………,Q=,,,,,,,P(t)=,p00(t)p01(t)p02(t)…p10(t)p11(t)p12(t)…p20(t)p21(t)p22(t)……………,,,,,,,柯?tīng)柲缏宸蛭⒎址匠?這樣,連續(xù)時(shí)間馬爾可夫鏈的轉(zhuǎn)移概率的求解問(wèn)題就化成矩陣微分方程的求解問(wèn)題,其轉(zhuǎn)移概率由其轉(zhuǎn)移速率矩陣Q決定.特別,如果Q是一個(gè)有限維矩陣,則向后方程和向前方程矩陣形式的解為:p(t)=eQt=.定理5.6齊次馬爾可夫過(guò)程在t時(shí)刻處于狀態(tài)j∈I的絕對(duì)概率pj(t)滿足下列方程p’j(t)=-pj(t)qjj+pk(t)qkj.證明:由定理5.2,有pj(t)=pipij(t),,,,柯?tīng)柲缏宸蛭⒎址匠?將定理5.5中向前方程式的兩邊同乘以pi,并對(duì)i求和,得pip’ij(t)=(-pip’ij(t)qjj)+pip’ik(t)qkj,故有p’j(t)=-pj(t)qjj+pk(t)qkj.與離散馬爾可夫鏈類似,以下討論轉(zhuǎn)移概率pij(t)當(dāng)t→∞時(shí)的極限分布與平穩(wěn)分布的有關(guān)性質(zhì).定義5.4設(shè)pij(t)為連續(xù)時(shí)間馬爾可夫鏈的轉(zhuǎn)移概率,若存在時(shí)刻t1和t2,使得pij(t1)＞0,pji(t2)＞0,則稱狀態(tài)i與j是互通的.若所有狀態(tài)都是互通的,則稱此馬爾可夫鏈為不可約的.關(guān)于狀態(tài)的常返性及非常返性等概念與離散馬爾可夫鏈類似,此處不再一一定義.,,,,,,柯?tīng)柲缏宸蛭⒎址匠?下面定理(不加證明)給出:轉(zhuǎn)移概率pij(t)在t→∞時(shí)的性質(zhì)及其與平穩(wěn)分布的關(guān)系.定理5.7設(shè)連續(xù)時(shí)間的馬爾可夫鏈?zhǔn)遣豢杉s的,則該鏈具有下列性質(zhì):(1)若它是正常返的,則極限limpij(t)存在且等于πj(＞0),j∈I.這里πj是方程組πjqjj=πkqkj,πj=1的惟一非負(fù)解.此時(shí)稱{πj,j∈I}為該過(guò)程的平穩(wěn)分布并且有l(wèi)impj(t)=πj.(2)若它是零常返的或非常返的,則,t→∞,,,t→∞,柯?tīng)柲缏宸蛭⒎址匠?limpij(t)=limpj(t)=0,i,j∈I.在實(shí)際應(yīng)用中,有些問(wèn)題可以用柯?tīng)柲缏宸蚍匠讨苯忧蠼?有些問(wèn)題雖不能直接求解,但可以用定理5.7(1)中方程求解.以下討論幾個(gè)在應(yīng)用中有一定代表性的例題.例5.2考慮兩個(gè)狀態(tài)的連續(xù)時(shí)間馬爾可夫鏈,在轉(zhuǎn)移狀態(tài)1之前鏈在狀態(tài)0停留的時(shí)間是參數(shù)為λ的指數(shù)變量,而在回到狀態(tài)0之前,它停留在狀態(tài)1的時(shí)間是參數(shù)為μ的指數(shù)變量.顯然,該鏈?zhǔn)且粋€(gè)齊次馬爾可夫過(guò)程,其狀態(tài)轉(zhuǎn)移概率為:p01(h)=λh+o(h),p10(h0=μh=o(h).,t→∞,t→∞,,柯?tīng)柲缏宸蛭⒎址匠?由定理5.3知q00=lim=lim=p01(h)|h=0=λ=q01,q11=lim=lim=p10(h)|h=0=μ=q10.由柯?tīng)柲缏宸蛳蚯胺匠痰胮’00(t)=μp01(t)-λp00(t)=-(λ+μ)p00(t)+μ.其中最后一個(gè)等式來(lái)自p01(t)=1-p00(t).因而e(λ+μ)t[p’00(t))+(λ+μ)p00(t)]=μe(λ+μ)t,或[e(λ+μ)tp00(t)]=μe(λ+μ)t,于是e(λ+μ)tp00(t)=e(λ+μ)t+c.,h→0,,,,h→0,,,h→0,h→0,,,柯?tīng)柲缏宸蛭⒎址匠?由于p00(0)=1,可見(jiàn)c=,于是p00(t)=+e-(λ+μ)t.若記λ0=,μ0=,則p00(t)=μ0+λ0e-(λ+μ)t.類似地,由向前方程p’01(t)=λp00(t)-μp01(t)可解得:p01(t)=λ0[1-e-(λ+μ)t].再由對(duì)稱性知:p11(t)=λ0+μ0e-(λ+μ)t,p10(t)=μ0[1-e-(λ+μ)t].轉(zhuǎn)移概率的極限:limp00(t)=μ0=limp10(t),,,,,,,,t→∞,t→∞,柯?tīng)柲缏宸蛭⒎址匠?limp11(t)=λ0=limp01(t).由此可見(jiàn),當(dāng)t→∞時(shí),pij(t)的極限存在且與i無(wú)關(guān).由定理5.7知,平穩(wěn)分布為:π0=μ0,π1=λ0.如果取初始分布為平穩(wěn)分布,即P{X(0)=0}=p0=μ0,P{X(0)=1}=p1=λ0.則過(guò)程在時(shí)刻t的絕對(duì)概率分布為:p0(t)=p0p00(t)+p1p11(t)=μ0[λ0e-(λ+μ)t+μ0]+λ0μ0[1-e-(λ+μ)t]=μ0,p1(t)=p0p01(t)+λ0p11(t)=μ0λ0[1-e-(λ+μ)t]+λ0[λ0+μ0e-(λ+μ)t]=λ0.,t→∞,t→∞,柯?tīng)柲缏宸蛭⒎址匠?例5.3機(jī)器維修問(wèn)題.假定例5.2中狀態(tài)0代表某機(jī)器正常工作,狀態(tài)1代表機(jī)器出故障.狀態(tài)轉(zhuǎn)移概率與例5.2相同,即在h時(shí)間內(nèi),機(jī)器從正常工作變?yōu)槌龉收系母怕蕿閜01(h)=λh+o(h);在h時(shí)間內(nèi),機(jī)器從有故障變?yōu)榻?jīng)修復(fù)后正常工作的概率為p10(h)=μh+o(h).試求在t=0時(shí)正常工作的機(jī)器,在t=5時(shí)正常工作的概率.解:由例5.2已經(jīng)求得該過(guò)程的Q矩陣是:Q=.根據(jù)題意,要求的是機(jī)器最后所處的狀態(tài)為正常工作,只需計(jì)算p00(t).由例2知:p00(t)=μ0+λ0e-(λ+μ)t.故p00(5)=μ0+λ0e-5(λ+μ).因?yàn)镻{X(0)=0}=p0=1,所以P{X(5)=0}=p0(5)=p0p00(5)=μ0+λ0e-5(λ+μ).,-λλμ-μ,,,,,,,生滅過(guò)程,連續(xù)時(shí)間馬爾可夫鏈的一類重要的特殊情形是生滅過(guò)程,它的特征是在很短的時(shí)間內(nèi),系統(tǒng)的狀態(tài)只能從狀態(tài)i轉(zhuǎn)移到狀態(tài)i-1或i+1或保持不變.其確切定義是:定義5.5設(shè)齊次馬爾可夫{X(t),t≥0}的狀態(tài)空間是I={0,1,2,…},轉(zhuǎn)移概率為pij(t),如果pi,i+1(h)=λih+o(h),λi＞0,pi,i-1(h)=μih+o(h),μi＞0,μ0=0,pii(h)=1-(λi+μi)h+o(h),pij(h)=o(h),|i-j|≥2則稱{X(t),t≥0}為生滅過(guò)程.λi為出生率,μi為死亡率.若λi=iλ,μi=iμ(λ,μ正常數(shù)),則稱{X(t),t≥0},,生滅過(guò)程,為線性生滅過(guò)程.若μi≡0,則稱{X(t),t≥0}為純生過(guò)程;若λi≡0,則稱{X(t),t≥0}為純滅過(guò)程.生滅過(guò)程的概率解釋:如果以X(t)表示一個(gè)生物群體在t時(shí)刻的大小,則在很短的時(shí)間h內(nèi)(不計(jì)高階無(wú)窮小o(h)),群體變化有三種可能:狀態(tài)由i變到i+1,即增加一個(gè)個(gè)體,其概率為λih;狀態(tài)由i變到i-1,機(jī)5減少一個(gè)個(gè)體,其概率為μih;群體大小不增不減,其概率為1-(λi+μi)h.柯?tīng)柲缏宸蛳蚯胺匠膛c向后方程.由定理5.3,得qii=-pii(h)|h=0=λi+μi,i≥0.,,生滅過(guò)程,qij=pij(h)|h=0=qij=0,|i-j|≥2.故柯?tīng)柲缏宸蛳蚯胺匠虨閜’ij=λj-1pi,j-1(t)-(λj+μj)pij(t)+μjpi,j+1(t),i,j∈I.柯?tīng)柲缏宸蛳蚝蠓匠虨閜’ij=μipi-1,j(t)-(λi+μi)pij(t)+λipi+1,j(t),i,j∈I.由于上述柯?tīng)柲缏宸蛳蚯啊⑾蚝蠓匠探M求解較為困難,我們轉(zhuǎn)而討論其平穩(wěn)分布.由定理5.7(1)式,有,λi,j=i+1,i≥0,,μi,j=i-1,i≥0.,,,生滅過(guò)程,λ0π0=μ1π1,(λj+μj)πj=λj-1πj-1+μj+1πj+1,j≥1.逐步遞推,得π1=π0,π2=π1=π0,…,πj=πj-1=π0,….再利用πj=1,得平穩(wěn)分布(☆):π0=(1+)-1,πj=(1+)-1,j≥0.該式也指出,平穩(wěn)分布存在的充要條件是:＜∞.,,,,,,,,,,,,,,生滅過(guò)程,例5.4兩個(gè)生滅過(guò)程.(1)M/M/s排隊(duì)系統(tǒng).假設(shè)顧客按照參數(shù)為λ的泊松過(guò)程來(lái)到一個(gè)有s個(gè)服務(wù)員的服務(wù)站,即相繼來(lái)到之間的時(shí)間是均值均為1/λ的獨(dú)立指數(shù)隨機(jī)變量,每一個(gè)顧客一來(lái)到,如果有服務(wù)員空閑,則直接進(jìn)行服務(wù),否則此顧客要加入排隊(duì)行列在隊(duì)列中等待.當(dāng)一個(gè)服務(wù)員結(jié)束對(duì)一位顧客的服務(wù)時(shí),顧客就離開(kāi)服務(wù)系統(tǒng),排隊(duì)的下一個(gè)顧客(如有顧客等待)進(jìn)入服務(wù).假定相繼的服務(wù)時(shí)間是獨(dú)立的指數(shù)隨機(jī)變量,均值為1/μ.如果以X(t)記時(shí)刻t系統(tǒng)中的人數(shù),則{X(t),t≥0}是生滅過(guò)程:μn=λn=λ,n≥0.,nμ,1≤n≤s,,sμ,s＜n,,,生滅過(guò)程,M/M/s排隊(duì)系統(tǒng)中的M表示馬爾可夫過(guò)程,s代表s個(gè)服務(wù)員(一般,A/B/C:A為顧客到達(dá)間隔時(shí)間分布;B為服務(wù)時(shí)間的分布;C為服務(wù)站內(nèi)服務(wù)臺(tái)個(gè)數(shù)).特別,在M/M/1排隊(duì)系統(tǒng)中,λn=λ,μn=μ.于是若λ/μ＜1,則由平穩(wěn)分布(☆)式,得πn==()n(1-),n≥0.要平穩(wěn)分布(即極限分布)存在,λ必須小于μ是直觀的.顧客按速率λ到來(lái)且以速率μ受到服務(wù),因而當(dāng)λ＞μ時(shí)顧客到來(lái)的速率高于接受服務(wù)的速率,排隊(duì)的長(zhǎng)度趨于無(wú)窮.λ=μ時(shí)的情況,類似于對(duì)稱的隨機(jī)游動(dòng),它是零常返的,從而沒(méi)有極限概率.,,,,生滅過(guò)程,(2)有遷入的線性增長(zhǎng)模型模型:μn=nμ,n≥1,λn=nλ+θ,n≥0.稱為有遷入的線性增長(zhǎng)模型.這種過(guò)程來(lái)自于對(duì)生物繁殖與群體增長(zhǎng)的研究.假定群體中的每個(gè)個(gè)體以指數(shù)率λ出生;而且由于從外界遷入的因素,群體又以指數(shù)率θ增加,因此當(dāng)系統(tǒng)中有n個(gè)成員時(shí),整個(gè)出生率是nλ+θ.假定該群體的各個(gè)成員以指數(shù)率μ死亡,從而μn=nμ.例5.5尤爾(Yule)過(guò)程設(shè)群體中各個(gè)成員獨(dú)立地活動(dòng)且以指數(shù)率生育.如果假設(shè)沒(méi)有任何成員死亡,以X(t)記時(shí)刻t群體的總量,則X(t)是一個(gè)純生過(guò)程:λn=nλ,n＞0并稱之為尤爾過(guò)程.試計(jì),,生滅過(guò)程,算:(1)從一個(gè)個(gè)體開(kāi)始,在時(shí)刻t群體總量的分布;(2)從一個(gè)個(gè)體開(kāi)始,在時(shí)刻t群體諸成員年齡之和的均值.解:(1)記Ti(i≥1)為第i個(gè)與第i+1個(gè)成員出生之間的時(shí)間,即Ti是群體總量從i變到i+1所花的時(shí)間.由尤爾過(guò)程的定義可見(jiàn)Ti(i≥1)是獨(dú)立的具有參數(shù)iλ的指數(shù)變量.故有P{T1≤t}=1-e-λt,P{T1+T2≤t}=P{T1+T2≤t|T1=x}λe-λxdx=(1-e-2λ(t-x))λe-λxdx=(1-e-λt)2.及P{T1+T2+T3≤t}=P{T1+T2+T3≤t|T1+T2=x}d,,,,,,生滅過(guò)程,=(1-e-3λ(t-x))(1-e-λt)2λe-λxdx=(1-e-λt)3.一般地,由歸納法可得:P{T1+T2+…+Tj≤t}=(1-e-λt)j.由于P{T1+T2+…+Tj≤t}=P{X(t)≥j+1|X(0)=1},所以p1j(t)=(1-e-λt)j-1-(1-e-λt)j=e-λt(1-e-λt)j-1,j≥1.由此可見(jiàn),從一個(gè)個(gè)體開(kāi)始,在時(shí)刻t群體的總量具有幾何分布,其均值為eλt.一般,如果群體從i個(gè)個(gè)體開(kāi)始,在時(shí)刻t群體總量是i個(gè)獨(dú)立同幾何分布隨機(jī)變量之和,則具有負(fù)二項(xiàng)分布,即pij(t)=e-iλt(1-e-λt)j-i,j≥i≥1.(2)記A(t)為群體在時(shí)刻t諸成員的年齡之和,則可以,,,生滅過(guò)程,證明,A(t)=a0+X(s)ds,式中a0是初始個(gè)體在t=0時(shí)的年齡.取期望有EA(t)=a0+E[X(s)ds]=a0+E[X(s)]ds=a0+eλsds=a0+.例5.6傳染模型考慮有m個(gè)個(gè)體的群體,在時(shí)刻0由一個(gè)已感染的個(gè)體與m-1個(gè)未受到感染但可能被感染的個(gè)體組成.個(gè)體一旦受到感染將永遠(yuǎn)地處于此狀態(tài).假設(shè)在任意長(zhǎng)為h的時(shí)間區(qū)間內(nèi)任意一個(gè)已感染的人將以概率ah+o(h)引起任一指定的未感染者成為感染者.若以X(t)記時(shí)刻t群體中已受感染的個(gè)體數(shù),則{X(t),t≥0}是一純生過(guò)程,其,,,,,,生滅過(guò)程,λn=這是因?yàn)?當(dāng)有n個(gè)已受感染的個(gè)體時(shí)則m-n個(gè)未受感染者的每一個(gè)將以速率na變成已感染者.記T為直至整個(gè)群體被感染的時(shí)間,Ti為從i個(gè)已感染者到i+1個(gè)已感染者的時(shí)間,則T=Ti.由于Ti是相互獨(dú)立的指數(shù)隨機(jī)變量,其參數(shù)分別為λi=(m-i)ia,i=1,2,…,m-1.故ET=ETi=,DT=DTi=.,(m-n)na,n=1,2,…,m-1,,0,其它.,,,,,,,,,,,,生滅過(guò)程,對(duì)規(guī)模合理的群體,ET漸進(jìn)地為ET=(+)≈(+)dt=.例5.7機(jī)器維修設(shè)有m臺(tái)機(jī)床,s個(gè)維修工人(s＜m).機(jī)床或者工作,或者損壞等待修理.機(jī)床損壞后,空著的維修工人立即來(lái)修理;若維修工人不空,則機(jī)床按先后排隊(duì)等待維修.假定在h時(shí)間內(nèi),每臺(tái)機(jī)床從工作到損壞的概率為λh+o(h),每臺(tái)修理的機(jī)床轉(zhuǎn)到工作的概率為μh+o(h).用X(t)表示時(shí)刻t損壞的機(jī)床臺(tái)數(shù),則{x(t),t≥0}是馬爾可夫鏈,其狀態(tài)空間I={0,1,…,m}.設(shè)時(shí)刻t有i臺(tái)機(jī)床損壞,則在(t,t+h)內(nèi)又有一臺(tái)機(jī)床損壞的概率,在不計(jì)高階無(wú)窮小,,,,,,,,,,生滅過(guò)程,時(shí),它應(yīng)等于原來(lái)正在工作的m-i臺(tái)機(jī)床中,在(t,t+h)內(nèi)恰有一臺(tái)損壞的概率.于是pi,i+1(h)=(m-i)λh+o(h),i=0,1,…,m-1.類似地,有pi,i-1(h)=,pij(h)=o(h),|i-j|≥2.顯然,這是一個(gè)生滅過(guò)程,其λi=(m-i)λ,i=0,1,…,m;μi=.由平穩(wěn)分布(☆)式,得該問(wèn)題的平穩(wěn)分布:,iμh+o(h),1≤i≤s,sμh+o(h),s≤i≤m,,,iμ,1≤i≤s,sμ,s＜i≤m,生滅過(guò)程,π0=[1+()j+()j]-1,()jπ0,1≤j≤s,()jπ0,s＜j≤m.當(dāng)已知m,λ,μ后,便可由上述平穩(wěn)分布計(jì)算出安排s個(gè)維修工人時(shí)平均不工作的機(jī)床臺(tái)數(shù).因而也就可以具體計(jì)劃如何適當(dāng)安排維修工人的人數(shù)s.在第五章,主要討論了連續(xù)時(shí)間的馬爾可夫鏈、柯?tīng)柲缏宸蛭⒎址匠桃约吧鷾邕^(guò)程.如何理解其內(nèi)的一些概念呢?,,,,,,,πj=,,關(guān)于第五章中的幾個(gè)概念,若連續(xù)時(shí)間的馬爾可夫鏈以概率1在任意長(zhǎng)的時(shí)間內(nèi)轉(zhuǎn)移的次數(shù)是有限的,則該馬爾可夫鏈就是正則的.如果齊次馬爾可夫過(guò)程滿足正則性條件,那么對(duì)任意固定的i,j∈I,pij(t)都是t的一致連續(xù)函數(shù).pij是齊次馬爾可夫過(guò)程從狀態(tài)i到狀態(tài)j的轉(zhuǎn)移概率,由其極限式得到轉(zhuǎn)移速率qij,這極限式的概率意義是:在長(zhǎng)度為t的時(shí)間區(qū)間內(nèi),過(guò)程從狀態(tài)i轉(zhuǎn)移到另一其它狀態(tài)的轉(zhuǎn)移概率1-pii(t),等于qii(t)加上一個(gè)比t高階的無(wú)窮小量;而從狀態(tài)i轉(zhuǎn)移到狀態(tài)j的概率pij(t)等于qij(t)加上一個(gè)比t高階的無(wú)窮小量.Q矩陣的意義:Q矩陣稱為齊次馬爾可夫過(guò)程的轉(zhuǎn)移速率矩陣.由于Q=P’(0),故又稱為轉(zhuǎn)移概率矩陣P(t)的密度,關(guān)于第五章中的幾個(gè)概念,矩陣.它反映齊次馬爾可夫過(guò)程的轉(zhuǎn)移概率(函數(shù))在t=0的變化率.Q矩陣是一個(gè)常數(shù)矩陣,而轉(zhuǎn)移概率矩陣是一個(gè)函數(shù)矩陣.Q矩陣比轉(zhuǎn)移概率矩陣容易求得.柯?tīng)柲缏宸蛭⒎址匠痰膶?shí)際意義與限制條件:柯?tīng)柲缏宸蛭⒎址匠探⒘她R次馬爾可夫過(guò)程的Q矩陣與轉(zhuǎn)移概率矩陣P(t)之間的聯(lián)系.如果給了密度矩陣Q,在一定條件下,可以通過(guò)柯?tīng)柲缏宸蛳蚝?前)方程解出轉(zhuǎn)移概率pij(t).若Q是一個(gè)有限維矩陣,則由向后(前)方程可以解得:P(t)=eQt=[(Qt)’/j!].在柯?tīng)柲缏宸蛭⒎址匠痰淖C明中,需要交換極限與,,關(guān)于第五章中的幾個(gè)概念,求和的次序.但是,對(duì)向前方程來(lái)說(shuō),必須附加適當(dāng)?shù)臈l件才能實(shí)現(xiàn).這使得方程的應(yīng)用受到一定的限制.對(duì)于只有有限個(gè)狀態(tài)的馬爾可夫過(guò)程的遍歷性,在應(yīng)用中有一個(gè)簡(jiǎn)便的充分條件判定方法:定理設(shè)齊次馬氏鏈{Xn,n≥1}的狀態(tài)空間為I={a1,a2,…,aN},P是它的一步轉(zhuǎn)移概率矩陣,如果存在正整數(shù)m,使對(duì)任意的ai,aj∈I,都有Pij(m)＞0,i,j=1,2,…,N,則此鏈具有遍歷性;且具有極限分布π=(π1,π2,…,πN),它是方程組π=πP,或πj=πipij,j=1,2,…,N的滿足條件πj＞0,πj=1的惟一解.依照定理,為證有限鏈?zhǔn)潜闅v的,只需找一正整數(shù)m,使m,,,關(guān)于第五章中的幾個(gè)概念,步轉(zhuǎn)移概率矩陣Pm無(wú)零元即可.生滅過(guò)程的概率的意義:由生滅過(guò)程的轉(zhuǎn)移概率pij(t)的性質(zhì)知,若忽略t的高階無(wú)窮小量,生滅過(guò)程即種群群體的狀態(tài)變化有三種可能:(1)由狀態(tài)i→i+1,即增加了一個(gè)個(gè)體,概率是λit;(2)由狀態(tài)i→i-1,即減少了一個(gè)個(gè)體,概率是μit;(3)由i→i,即群體個(gè)數(shù)沒(méi)有變化.由此可以得出:生滅過(guò)程的所有狀態(tài)都是互通的.但是在充分小的時(shí)間區(qū)間內(nèi),只能在兩個(gè)相鄰狀態(tài)內(nèi)變化,或者狀態(tài)無(wú)變化.,
隨機(jī)過(guò)程Ch5連續(xù)時(shí)間馬爾可夫鏈.ppt
裝配圖網(wǎng)所有資源均是用戶自行上傳分享，僅供網(wǎng)友學(xué)習(xí)交流，未經(jīng)上傳用戶書(shū)面授權(quán)，請(qǐng)勿作他用。
鏈接地址：http://m.appdesigncorp.com/p-3281437.html