《隨機(jī)過(guò)程課件-馬爾可夫鏈.ppt》由會(huì)員分享，可在線(xiàn)閱讀，更多相關(guān)《隨機(jī)過(guò)程課件-馬爾可夫鏈.ppt（80頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。
1、關(guān)鍵詞： 馬爾可夫性 時(shí)齊馬爾可夫鏈 n步轉(zhuǎn)移概率 C-K方程 馬氏鏈的有限維分布律 常返 暫留 正常返 零常返 互達(dá) 周期 不可約 平穩(wěn)分布,第十一章 馬爾可夫鏈,,浙江大學(xué)隨機(jī)過(guò)程,3,,,浙江大學(xué)隨機(jī)過(guò)程,4,浙江大學(xué)隨機(jī)過(guò)程,5,浙江大學(xué)隨機(jī)過(guò)程,6,,浙江大學(xué)隨機(jī)過(guò)程,7,浙江大學(xué)隨機(jī)過(guò)程,8,浙江大學(xué)隨機(jī)過(guò)程,9,浙江大學(xué)隨機(jī)過(guò)程,10,浙江大學(xué)隨機(jī)過(guò)程,11,,如果把1這點(diǎn)改為吸收壁，即Q一旦到達(dá)1這一點(diǎn)， 則永遠(yuǎn)留在點(diǎn)1時(shí)，此時(shí)的轉(zhuǎn)移概率矩陣為：,一步轉(zhuǎn)移概率矩陣為：,浙江大學(xué)隨機(jī)過(guò)程,12,例4：排隊(duì)模型 設(shè)服務(wù)系統(tǒng)由一個(gè)服務(wù)員和只可以容納兩個(gè)人的等候室組成。服
2、務(wù)規(guī)則為：先到先服務(wù)，后來(lái)者需在等候室依次排隊(duì)，假設(shè)一個(gè)需要服務(wù)的顧客到達(dá)系統(tǒng)時(shí)發(fā)現(xiàn)系統(tǒng)內(nèi)已有3個(gè)顧客，則該顧客立即離去。 設(shè)時(shí)間間隔t內(nèi)有一個(gè)顧客進(jìn)入系統(tǒng)的概率為q，有一接受服務(wù)的顧客離開(kāi)系統(tǒng)(即服務(wù)完畢)的概率為p,又設(shè)當(dāng)t充分小時(shí)，在這時(shí)間間隔內(nèi)多于一個(gè)顧客進(jìn)入或離開(kāi)系統(tǒng)實(shí)際上是不可能的，再設(shè)有無(wú)顧客來(lái)到與服務(wù)是否完畢是相互獨(dú)立的。,浙江大學(xué)隨機(jī)過(guò)程,13,現(xiàn)用馬氏鏈來(lái)描述這個(gè)服務(wù)系統(tǒng)： 設(shè)Xn=X(nt)表示時(shí)刻nt時(shí)系統(tǒng)內(nèi)的顧客數(shù)，即系統(tǒng)的狀態(tài)。Xn,n=0,1,2是一隨機(jī)過(guò)程，狀態(tài)空間I=0,1,2,3,且如前例1、例2的分析可知，它是一個(gè)時(shí)齊馬氏鏈，它的一步轉(zhuǎn)移概率矩陣為：
3、,浙江大學(xué)隨機(jī)過(guò)程,14,,,例5：設(shè)甲、乙兩袋共裝5個(gè)球，每次任取一袋,并從袋中 取出一球放入另一袋(若袋中無(wú)球則不取)。Xn表示 第n次抽取后甲袋的球數(shù)，n=1,2,.Xn,n=1,2, 是一隨機(jī)過(guò)程，狀態(tài)空間I=0,1,2,3,4,5,當(dāng)Xn=i 時(shí)，Xn+1=j的概率只與i有關(guān)，與n時(shí)刻之前如何取到 i值是無(wú)關(guān)的，這是時(shí)齊馬氏鏈，一步轉(zhuǎn)移矩陣為：,浙江大學(xué)隨機(jī)過(guò)程,15,,例6：卜里耶（Polya)罐子模型。設(shè)一罐子裝有r個(gè)紅球， t個(gè)黑球，現(xiàn)隨機(jī)從罐中取出一球，記錄其顏色，然后將 球放回，并加入a個(gè)同色球。持續(xù)進(jìn)行這一過(guò)程，Xn表示 第n次試驗(yàn)結(jié)束時(shí)罐中的紅球數(shù)，n=0，
4、1,2,. Xn,n=0，1,2,是一隨機(jī)過(guò)程， 狀態(tài)空間I=r,r+a,r+2a,,當(dāng)Xn=i 時(shí)，Xn+1=j的概率只 與i有關(guān)，與n時(shí)刻之前如何取到i值是無(wú)關(guān)的， 這是一馬氏鏈，但不是時(shí)齊的,一步轉(zhuǎn)移概率為：,浙江大學(xué)隨機(jī)過(guò)程,16,浙江大學(xué)隨機(jī)過(guò)程,17,浙江大學(xué)隨機(jī)過(guò)程,18,浙江大學(xué)隨機(jī)過(guò)程,19,浙江大學(xué)隨機(jī)過(guò)程,20,浙江大學(xué)隨機(jī)過(guò)程,21,浙江大學(xué)隨機(jī)過(guò)程,22,浙江大學(xué)隨機(jī)過(guò)程,23,浙江大學(xué)隨機(jī)過(guò)程,24,證畢！,浙江大學(xué)隨機(jī)過(guò)程,25,浙江大學(xué)隨機(jī)過(guò)程,26,浙江大學(xué)隨機(jī)過(guò)程,27,浙江大學(xué)隨機(jī)過(guò)程,28,,浙江大學(xué)隨機(jī)過(guò)程,29,浙江大學(xué)隨機(jī)過(guò)程,30,,,浙江大學(xué)隨
5、機(jī)過(guò)程,31,浙江大學(xué)隨機(jī)過(guò)程,32,浙江大學(xué)隨機(jī)過(guò)程,33,浙江大學(xué)隨機(jī)過(guò)程,34,,浙江大學(xué)隨機(jī)過(guò)程,35,,浙江大學(xué)隨機(jī)過(guò)程,36,,,浙江大學(xué)隨機(jī)過(guò)程,37,浙江大學(xué)隨機(jī)過(guò)程,38,,浙江大學(xué)隨機(jī)過(guò)程,39,,,浙江大學(xué)隨機(jī)過(guò)程,40,浙江大學(xué)隨機(jī)過(guò)程,41,,浙江大學(xué)隨機(jī)過(guò)程,42,浙江大學(xué)隨機(jī)過(guò)程,43,浙江大學(xué)隨機(jī)過(guò)程,44,浙江大學(xué)隨機(jī)過(guò)程,45,浙江大學(xué)隨機(jī)過(guò)程,46,浙江大學(xué)隨機(jī)過(guò)程,47,浙江大學(xué)隨機(jī)過(guò)程,48,浙江大學(xué)隨機(jī)過(guò)程,49,浙江大學(xué)隨機(jī)過(guò)程,50,浙江大學(xué)隨機(jī)過(guò)程,51,,,浙江大學(xué)隨機(jī)過(guò)程,52,浙江大學(xué)隨機(jī)過(guò)程,53,浙江大學(xué)隨機(jī)過(guò)程,54,,,浙江大學(xué)隨
6、機(jī)過(guò)程,55,浙江大學(xué)隨機(jī)過(guò)程,56,,浙江大學(xué)隨機(jī)過(guò)程,57,,浙江大學(xué)隨機(jī)過(guò)程,58,,浙江大學(xué)隨機(jī)過(guò)程,59,,浙江大學(xué)隨機(jī)過(guò)程,60,浙江大學(xué)隨機(jī)過(guò)程,61,浙江大學(xué)隨機(jī)過(guò)程,62,,,,,,,,,,,,浙江大學(xué)隨機(jī)過(guò)程,63,,,,,,,,,,,,,浙江大學(xué)隨機(jī)過(guò)程,64,浙江大學(xué)隨機(jī)過(guò)程,65,浙江大學(xué)隨機(jī)過(guò)程,66,浙江大學(xué)隨機(jī)過(guò)程,67,浙江大學(xué)隨機(jī)過(guò)程,68,浙江大學(xué)隨機(jī)過(guò)程,69,浙江大學(xué)隨機(jī)過(guò)程,70,例6：設(shè)有6個(gè)球(2個(gè)紅球,4個(gè)白球)隨機(jī)平分放入甲, 乙兩個(gè)盒中.今每次從兩盒中各任取一球并進(jìn)行交換. 表示開(kāi)始時(shí)甲盒中的紅球數(shù), 表示經(jīng)n次交換 后甲盒中的紅球數(shù).
7、(1)求此馬氏鏈的初始分布; (2)求一步轉(zhuǎn)移矩陣; (3)計(jì)算,浙江大學(xué)隨機(jī)過(guò)程,71,,浙江大學(xué)隨機(jī)過(guò)程,72,浙江大學(xué)隨機(jī)過(guò)程,73,平穩(wěn)分布的意義,浙江大學(xué)隨機(jī)過(guò)程,74,浙江大學(xué)隨機(jī)過(guò)程,75,Markov鏈的應(yīng)用PageRank,PageRank, 就是網(wǎng)頁(yè)排名，又稱(chēng)網(wǎng)頁(yè)級(jí)別，是一種由搜索引擎根據(jù)網(wǎng)頁(yè)之間相互的超鏈接計(jì)算的網(wǎng)頁(yè)排名技術(shù)，Google用它來(lái)體現(xiàn)網(wǎng)頁(yè)的重要性。是Google的創(chuàng)始人拉里佩奇和謝爾蓋布林在斯坦福大學(xué)發(fā)明了這項(xiàng)技術(shù), 并最終以拉里佩奇（Larry Page）之姓來(lái)命名。,浙江大學(xué)隨機(jī)過(guò)程,76,Markov鏈的應(yīng)用--PageRank,浙江大學(xué)隨機(jī)過(guò)程,77,鏈接源I D 鏈接目標(biāo) 1 1 2,3,4,5, 7 2 1 3 1,2 4 2,3,5 5 1,3,4,6 6 1,5 7 5,浙江大學(xué)隨機(jī)過(guò)程,78,浙江大學(xué)隨機(jī)過(guò)程,79,浙江大學(xué)隨機(jī)過(guò)程,80,
隨機(jī)過(guò)程課件-馬爾可夫鏈.ppt
