離散信道的信道容量.ppt

《離散信道的信道容量.ppt》由會(huì)員分享，可在線閱讀，更多相關(guān)《離散信道的信道容量.ppt（33頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

1、1,第五章 離散信道的信道容量,第五章 離散信道的信道容量,內(nèi)容提要： 信道對(duì)于信息率的容納并不是無限制的，它不僅與物理信道本身的特性有關(guān)，還與信道輸入信號(hào)的統(tǒng)計(jì)特性有關(guān)，它有一個(gè)極限值，即信道容量，信道容量是有關(guān)信道的一個(gè)很重要的物理量。這一章研究信道，研究在信道中傳輸?shù)拿總€(gè)符號(hào)所攜帶的信息量，并定義信道容量。,3,本章重點(diǎn)： 1.信道容量的定義； 2.平均互信息量達(dá)到信道容量的充要條件； 3.幾種特殊離散信道信道容量的計(jì)算。,5.1 信道容量的定義,信息傳輸率是衡量通信質(zhì)量的一個(gè)重要指標(biāo)，由定理2.1知：對(duì)于固定信道，總存在某種輸入概率分布q(x)，使I（X; Y）達(dá)到最大值，定義這個(gè)最

2、大值為信道容量，記為C。 （比特/碼符號(hào)） （5-2） 使I（X; Y）達(dá)到信道容量的分布q (x)為最佳分布。,5.2 離散無記憶信道容量的計(jì)算,定理5.1 如果信道是離散無記憶（DMC）的，則CN NC， 其中C是同一信道傳輸單符號(hào)時(shí)的信道容量。,下面一條定理給出了一維信道和N維信道的信道容量之間的關(guān)系。,若信道離散無記憶，則根據(jù)定理2.4有：,若 （1） 輸入的N個(gè)符號(hào)統(tǒng)計(jì)獨(dú)立，即信源離散無記憶,根據(jù)定理2.3有：,（2）對(duì)每個(gè)i,輸入分布q (xi) 可使I (Xi; Yi) 達(dá)到信道容量C，則： = = NC CN NC

3、 (5-5),綜合式(5-4)和(5-5)，在信源和信道都離散無記憶的情況下，有CN = NC，即定理中等號(hào)成立，這時(shí)N長(zhǎng)序列的傳輸問題可歸結(jié)為單符號(hào)傳輸問題。,5.2.1 達(dá)到信道容量的充要條件,定理5.2 使平均互信息量I（X; Y）達(dá)到信道容量C的充要條件是信道輸入概率分布 ，簡(jiǎn)記為q (X) = q (x1), q (x2), , q (xM)滿足： (5-6),介紹幾種無噪信道，對(duì)于無噪信道，信道的輸入X和輸出Y之間有著確定的關(guān)系，一般有三類：無損信道、確定信道和

4、無損確定信道。,【例5.2】 無損信道 無損信道的輸入符號(hào)集元素個(gè)數(shù)小于輸出符號(hào)集的元素個(gè)數(shù)，信道的一個(gè)輸入對(duì)應(yīng)多個(gè)互不交叉的輸出，如圖5-2所示，信道輸入符號(hào)集X =x1, x2, x3，輸出符號(hào)集Y =y1, y2, y3, y4, y5 , y6，其信道轉(zhuǎn)移概率矩陣記為 ，計(jì)算該信道的信道容量。,圖5-2 無損信道,2. 根據(jù)定義計(jì)算信道容量C 從上式可看出，求信道容量C的問題轉(zhuǎn)化為尋找某種分布q (x) 使信源熵H（X）達(dá)到最大，由極大離散熵定理知道，在信源消息等概分布時(shí) ，熵值達(dá)到最大，即有,1. 先考察平均互信息量I（X; Y）= H（X）-H（XY），在無噪信

5、道條件下，H（XY）= 0，則平均互信息量I（X; Y）= H（X）,3. 根據(jù)平均互信息量I（X; Y）達(dá)到信道容量的充要條件式（5-6）對(duì)C進(jìn)行驗(yàn)證： 先根據(jù)計(jì)算出(yj)， j =1,2,3,4,5,6,再計(jì)算出：,5.2.2 幾類特殊的信道,定義5.1 如果信道轉(zhuǎn)移概率矩陣P中，每一行元素都是另一行相同元素的不同排列，則稱該信道關(guān)于行（輸入）對(duì)稱。,定義5.2 如果信道轉(zhuǎn)移概率矩陣P中，每一列元素都是另一列相同元素的不同排列，則稱該信道關(guān)于列（輸出）對(duì)稱。,定義5.3 如果信道轉(zhuǎn)移概率矩陣P可按輸出符號(hào)集Y分成幾個(gè)子集（子矩陣），而每一子集關(guān)于行、列都對(duì)稱，稱此信道為準(zhǔn)對(duì)稱信道。,1.

6、 準(zhǔn)對(duì)稱信道,【例5.6】 信道輸入符號(hào)集X = x1, x2，輸出符號(hào)集Y = y1, y2, y3, y4，給定信道 轉(zhuǎn)移概率矩陣 ，求該信道的信道容量C。,這是一個(gè)準(zhǔn)對(duì)稱信道，根據(jù)定理5.3，當(dāng)X等概分布， 時(shí)，信道容量 平均互信息量 I（X; Y）= H（Y）-H（YX） (5-7),定理5.3 實(shí)現(xiàn)DMC準(zhǔn)對(duì)稱信道的信道容量的分布為等概分布。,由 ，先算出 (5-8),將式(5-8)和 代入式(5-7)，可算得信道容量

7、 = 0.0325 (比特/符號(hào)),【例5.8】 信道輸入符號(hào)集X = x1, x2 ，輸出符號(hào)集Y = y1, y2, y3，給定信道轉(zhuǎn)移概率矩陣 ，求信道容量C。,設(shè)使平均互信息量達(dá)到信道容量的信源分布為 q(x1) = ，q(x2) =1- 。 由 可算出,2. 信源只含兩個(gè)消息,平均互信息量 I(X; Y) = H(Y) H (YX) = -(1-q) log + (1-) log (1-) 根據(jù)定義，求C的問題就轉(zhuǎn)化為為何值時(shí)，I(X; Y ) 達(dá)到最大值。令 則信道容量 C = I (X; Y)a=0.5 = 1-q,計(jì)算信道容量C按下面步驟進(jìn)

8、行： (1)先驗(yàn)證信道轉(zhuǎn)移概率矩陣P =p(yjxi)是方陣，且矩陣P的行列式p(yjxi)0；,3.信道轉(zhuǎn)移概率矩陣為非奇異方陣,(2)計(jì)算出逆矩陣P-1= p-1 (yjxk)；,(3)根據(jù)式（5-17），計(jì)算出；,,(4)根據(jù)式（5-18） ，計(jì)算出信道容量C；,,,,(5) 驗(yàn)證是否滿足q(xi) 0， i =1, 2, , K。 l先由式（5-16） 計(jì)算出（yk） k =1, 2, , K l再由式（5-21） 計(jì)算,【例5.9】 給出信道轉(zhuǎn)移概率矩陣 ，求信道容量C。,（1）P矩陣的行列式 ，說明P是一個(gè)非奇異方陣。,,（2）P的逆矩陣,,（3）算出,（4）信道容量

9、 （奈特/碼符號(hào)）,（5）下面驗(yàn)證是否q (xi) 0，i =1, 2 先根據(jù) 算出 再算得,圖5-9 兩個(gè)信道,5.3 組合信道的容量,考慮有兩個(gè)信道。信道1 信道2：,5.3.1 獨(dú)立并行信道,在這種情況下，二個(gè)信道作為一個(gè)信道使用，傳送符號(hào) ，接收符號(hào) ，根據(jù)定理2.4，對(duì)于離散無記憶信道，下式成立 （5-22）,對(duì)上面不等式兩邊取最大值，得 C C 1 + C2 （5-23）,推廣到N個(gè)信道的并行組合，當(dāng)N個(gè)信道并行獨(dú)立使用時(shí)，記Ck (k = 1, 2, , N )為第k個(gè)信道

10、的信道容量，C為組合信道的總?cè)萘?，則有 （5-24）,等號(hào)成立的條件，都要求信源離散無記憶，即要求信道獨(dú)立使用且輸入獨(dú)立。,5.3.2 和信道,兩個(gè)信道輪流使用，使用概率分別為p1, p2，且p1+p2 = 1，記概率分布P =（p1, p2），和信道的平均互信息計(jì)算如下 I（P）= I（p1, p2） = p1I（X;Y）+ p 2 I（X /;Y /）+ H 2（P） 式中：H 2(P) = - p1 log p1 - p2 log p2。,根據(jù)定義，有 （5-26）,求使式(5-26)取極大值的P 令

11、 ，對(duì)數(shù)以2為底，注意到p2 = 1- p1， 得 記 C1 - log p1 = C2 - log p2 = （為待定常數(shù)） （5-27）,從式（5-27）中解出： （5-28）,,將式(5-28)代入條件p1+p2 = 1，得 （5-29）,式（5-28）中的p1, p2就是使平均互信息量I（p1, p2）達(dá)到最大的取值，將其代入式（5-26），得：,= （p1+p2）=,將式（5-29）代入式（5-30）得：,推廣到N個(gè)信道輪流使用的情況, 當(dāng)N個(gè)信道以不同概率輪流使用時(shí)，記Ck (k = 1, 2, , N )為第k個(gè)信道的信道容量，C為組合信道

12、的總?cè)萘?，則有 （5-31）,5.3.3 串行信道,將兩個(gè)信道級(jí)聯(lián)，有X / = Y，如圖5-10所示 。,圖5-10 串行信道,串行信道的信道轉(zhuǎn)移概率 用矩陣表示為： （5-32）,串行級(jí)聯(lián)信道的信道轉(zhuǎn)移概率趨向于兩個(gè)獨(dú)立信道轉(zhuǎn)移概率的均值。若將N個(gè)轉(zhuǎn)移概率相同的信道級(jí)聯(lián)，當(dāng)N 時(shí)，其總信道容量將趨于零。,信道1：P1 = p (yx) ，信道2：P2 = p (yx ) ，信道1和信道2是獨(dú)立的，信道2的輸出Z只與其輸入Y及信道轉(zhuǎn)移概率P2 = p (yx )有關(guān)，而與X無關(guān)。因此信道1和信道2串連就構(gòu)成了一個(gè)馬爾可夫鏈，對(duì)

13、于馬爾可夫鏈有如下定理：,數(shù)據(jù)處理定理：無論經(jīng)過何種數(shù)據(jù)處理，都不會(huì)使信息量增加。,定理5.4 若隨機(jī)變量X、Y、Z組成一個(gè)馬爾可夫鏈，如圖5-11所示，則有 I（X; Z） I（X; Y） （5-33） I（X; Z） I（Y; Z） （5-34）,【例5.11】 兩個(gè)離散信道 ， ，將它們串行連接使用，如圖 5-10，計(jì)算總信道容量C。,（1）先計(jì)算總信道的信道轉(zhuǎn)移概率矩陣,串聯(lián)信道的總信道矩陣P等于第一級(jí)信道的信道矩陣P1，從而概率滿足 p (yx) = p (zx) (對(duì)所有

14、的x，y，z) （5-36）,對(duì)式（5-36）兩邊關(guān)于x求和，得 p (y) = p (z) （5-37） 利用式（5-37），由式（5-36）得,(2)計(jì)算信道容量C,在例5.11中，第一個(gè)信道是輸入只有兩個(gè)消息的情況，設(shè)最佳分布為 q (x1) = ，q (x2) = 1-，仿照例5.8可算出 = 0.4，則信道容量C = C1 = 0.32 (比特/符號(hào))。,本章主要定義了信道容量及討論了信道容量的計(jì)算方法。討論并證明了使平均互信息量達(dá)到信道容量的充要條件，并給出如下幾種

15、情況下信道容量的計(jì)算方法 （1） 準(zhǔn)對(duì)稱信道 （2） 信源只含兩個(gè)消息 （3） 信道轉(zhuǎn)移概率矩陣為可逆方陣 還討論了多個(gè)信道組合使用情況下，總信道容量的計(jì)算方法，討論了以下幾種情況： （1）N個(gè)信道獨(dú)立并行使用：記每個(gè)信道單獨(dú)使用時(shí)的信道容量為Ck ，k=1,2, , N，則總信道容量C滿足 ，當(dāng)N個(gè)信道獨(dú)立輸入且獨(dú)立使用時(shí)等號(hào)成立。 （2）N個(gè)信道輪流使用：各信道使用概率為pk ，k =1,2, , N， 總信道容量為 ，每個(gè)信道的使用概率為,本 章 小 結(jié),（3）N個(gè)信道串聯(lián)使用：記各個(gè)信道的信道轉(zhuǎn)移概率矩陣為Pk ，k =1,2, , N，則總信道的信道轉(zhuǎn)移概率矩陣P等于各信道轉(zhuǎn)移概率矩陣相乘，即P = P1 P2 PN ，矩陣的乘法要滿足：左乘矩陣的列數(shù)應(yīng)等于右乘矩陣的行數(shù)，且矩陣相乘不滿足交換率。,