離散信道的信道容量.ppt

《離散信道的信道容量.ppt》由會員分享，可在線閱讀，更多相關(guān)《離散信道的信道容量.ppt（33頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1、1,第五章 離散信道的信道容量,第五章 離散信道的信道容量,內(nèi)容提要： 信道對于信息率的容納并不是無限制的，它不僅與物理信道本身的特性有關(guān)，還與信道輸入信號的統(tǒng)計特性有關(guān)，它有一個極限值，即信道容量，信道容量是有關(guān)信道的一個很重要的物理量。這一章研究信道，研究在信道中傳輸?shù)拿總€符號所攜帶的信息量，并定義信道容量。,3,本章重點： 1.信道容量的定義； 2.平均互信息量達到信道容量的充要條件； 3.幾種特殊離散信道信道容量的計算。,5.1 信道容量的定義,信息傳輸率是衡量通信質(zhì)量的一個重要指標，由定理2.1知：對于固定信道，總存在某種輸入概率分布q(x)，使I（X; Y）達到最大值，定義這個最

2、大值為信道容量，記為C。 （比特/碼符號） （5-2） 使I（X; Y）達到信道容量的分布q (x)為最佳分布。,5.2 離散無記憶信道容量的計算,定理5.1 如果信道是離散無記憶（DMC）的，則CN NC， 其中C是同一信道傳輸單符號時的信道容量。,下面一條定理給出了一維信道和N維信道的信道容量之間的關(guān)系。,若信道離散無記憶，則根據(jù)定理2.4有：,若 （1） 輸入的N個符號統(tǒng)計獨立，即信源離散無記憶,根據(jù)定理2.3有：,（2）對每個i,輸入分布q (xi) 可使I (Xi; Yi) 達到信道容量C，則： = = NC CN NC

3、 (5-5),綜合式(5-4)和(5-5)，在信源和信道都離散無記憶的情況下，有CN = NC，即定理中等號成立，這時N長序列的傳輸問題可歸結(jié)為單符號傳輸問題。,5.2.1 達到信道容量的充要條件,定理5.2 使平均互信息量I（X; Y）達到信道容量C的充要條件是信道輸入概率分布 ，簡記為q (X) = q (x1), q (x2), , q (xM)滿足： (5-6),介紹幾種無噪信道，對于無噪信道，信道的輸入X和輸出Y之間有著確定的關(guān)系，一般有三類：無損信道、確定信道和

4、無損確定信道。,【例5.2】 無損信道 無損信道的輸入符號集元素個數(shù)小于輸出符號集的元素個數(shù)，信道的一個輸入對應(yīng)多個互不交叉的輸出，如圖5-2所示，信道輸入符號集X =x1, x2, x3，輸出符號集Y =y1, y2, y3, y4, y5 , y6，其信道轉(zhuǎn)移概率矩陣記為 ，計算該信道的信道容量。,圖5-2 無損信道,2. 根據(jù)定義計算信道容量C 從上式可看出，求信道容量C的問題轉(zhuǎn)化為尋找某種分布q (x) 使信源熵H（X）達到最大，由極大離散熵定理知道，在信源消息等概分布時 ，熵值達到最大，即有,1. 先考察平均互信息量I（X; Y）= H（X）-H（XY），在無噪信

5、道條件下，H（XY）= 0，則平均互信息量I（X; Y）= H（X）,3. 根據(jù)平均互信息量I（X; Y）達到信道容量的充要條件式（5-6）對C進行驗證： 先根據(jù)計算出(yj)， j =1,2,3,4,5,6,再計算出：,5.2.2 幾類特殊的信道,定義5.1 如果信道轉(zhuǎn)移概率矩陣P中，每一行元素都是另一行相同元素的不同排列，則稱該信道關(guān)于行（輸入）對稱。,定義5.2 如果信道轉(zhuǎn)移概率矩陣P中，每一列元素都是另一列相同元素的不同排列，則稱該信道關(guān)于列（輸出）對稱。,定義5.3 如果信道轉(zhuǎn)移概率矩陣P可按輸出符號集Y分成幾個子集（子矩陣），而每一子集關(guān)于行、列都對稱，稱此信道為準對稱信道。,1.

6、 準對稱信道,【例5.6】 信道輸入符號集X = x1, x2，輸出符號集Y = y1, y2, y3, y4，給定信道 轉(zhuǎn)移概率矩陣 ，求該信道的信道容量C。,這是一個準對稱信道，根據(jù)定理5.3，當X等概分布， 時，信道容量 平均互信息量 I（X; Y）= H（Y）-H（YX） (5-7),定理5.3 實現(xiàn)DMC準對稱信道的信道容量的分布為等概分布。,由 ，先算出 (5-8),將式(5-8)和 代入式(5-7)，可算得信道容量

7、 = 0.0325 (比特/符號),【例5.8】 信道輸入符號集X = x1, x2 ，輸出符號集Y = y1, y2, y3，給定信道轉(zhuǎn)移概率矩陣 ，求信道容量C。,設(shè)使平均互信息量達到信道容量的信源分布為 q(x1) = ，q(x2) =1- 。 由 可算出,2. 信源只含兩個消息,平均互信息量 I(X; Y) = H(Y) H (YX) = -(1-q) log + (1-) log (1-) 根據(jù)定義，求C的問題就轉(zhuǎn)化為為何值時，I(X; Y ) 達到最大值。令 則信道容量 C = I (X; Y)a=0.5 = 1-q,計算信道容量C按下面步驟進

8、行： (1)先驗證信道轉(zhuǎn)移概率矩陣P =p(yjxi)是方陣，且矩陣P的行列式p(yjxi)0；,3.信道轉(zhuǎn)移概率矩陣為非奇異方陣,(2)計算出逆矩陣P-1= p-1 (yjxk)；,(3)根據(jù)式（5-17），計算出；,,(4)根據(jù)式（5-18） ，計算出信道容量C；,,,,(5) 驗證是否滿足q(xi) 0， i =1, 2, , K。 l先由式（5-16） 計算出（yk） k =1, 2, , K l再由式（5-21） 計算,【例5.9】 給出信道轉(zhuǎn)移概率矩陣 ，求信道容量C。,（1）P矩陣的行列式 ，說明P是一個非奇異方陣。,,（2）P的逆矩陣,,（3）算出,（4）信道容量

9、 （奈特/碼符號）,（5）下面驗證是否q (xi) 0，i =1, 2 先根據(jù) 算出 再算得,圖5-9 兩個信道,5.3 組合信道的容量,考慮有兩個信道。信道1 信道2：,5.3.1 獨立并行信道,在這種情況下，二個信道作為一個信道使用，傳送符號 ，接收符號 ，根據(jù)定理2.4，對于離散無記憶信道，下式成立 （5-22）,對上面不等式兩邊取最大值，得 C C 1 + C2 （5-23）,推廣到N個信道的并行組合，當N個信道并行獨立使用時，記Ck (k = 1, 2, , N )為第k個信道

10、的信道容量，C為組合信道的總?cè)萘?，則有 （5-24）,等號成立的條件，都要求信源離散無記憶，即要求信道獨立使用且輸入獨立。,5.3.2 和信道,兩個信道輪流使用，使用概率分別為p1, p2，且p1+p2 = 1，記概率分布P =（p1, p2），和信道的平均互信息計算如下 I（P）= I（p1, p2） = p1I（X;Y）+ p 2 I（X /;Y /）+ H 2（P） 式中：H 2(P) = - p1 log p1 - p2 log p2。,根據(jù)定義，有 （5-26）,求使式(5-26)取極大值的P 令

11、 ，對數(shù)以2為底，注意到p2 = 1- p1， 得 記 C1 - log p1 = C2 - log p2 = （為待定常數(shù)） （5-27）,從式（5-27）中解出： （5-28）,,將式(5-28)代入條件p1+p2 = 1，得 （5-29）,式（5-28）中的p1, p2就是使平均互信息量I（p1, p2）達到最大的取值，將其代入式（5-26），得：,= （p1+p2）=,將式（5-29）代入式（5-30）得：,推廣到N個信道輪流使用的情況, 當N個信道以不同概率輪流使用時，記Ck (k = 1, 2, , N )為第k個信道的信道容量，C為組合信道

12、的總?cè)萘浚瑒t有 （5-31）,5.3.3 串行信道,將兩個信道級聯(lián)，有X / = Y，如圖5-10所示 。,圖5-10 串行信道,串行信道的信道轉(zhuǎn)移概率 用矩陣表示為： （5-32）,串行級聯(lián)信道的信道轉(zhuǎn)移概率趨向于兩個獨立信道轉(zhuǎn)移概率的均值。若將N個轉(zhuǎn)移概率相同的信道級聯(lián)，當N 時，其總信道容量將趨于零。,信道1：P1 = p (yx) ，信道2：P2 = p (yx ) ，信道1和信道2是獨立的，信道2的輸出Z只與其輸入Y及信道轉(zhuǎn)移概率P2 = p (yx )有關(guān)，而與X無關(guān)。因此信道1和信道2串連就構(gòu)成了一個馬爾可夫鏈，對

13、于馬爾可夫鏈有如下定理：,數(shù)據(jù)處理定理：無論經(jīng)過何種數(shù)據(jù)處理，都不會使信息量增加。,定理5.4 若隨機變量X、Y、Z組成一個馬爾可夫鏈，如圖5-11所示，則有 I（X; Z） I（X; Y） （5-33） I（X; Z） I（Y; Z） （5-34）,【例5.11】 兩個離散信道 ， ，將它們串行連接使用，如圖 5-10，計算總信道容量C。,（1）先計算總信道的信道轉(zhuǎn)移概率矩陣,串聯(lián)信道的總信道矩陣P等于第一級信道的信道矩陣P1，從而概率滿足 p (yx) = p (zx) (對所有

14、的x，y，z) （5-36）,對式（5-36）兩邊關(guān)于x求和，得 p (y) = p (z) （5-37） 利用式（5-37），由式（5-36）得,(2)計算信道容量C,在例5.11中，第一個信道是輸入只有兩個消息的情況，設(shè)最佳分布為 q (x1) = ，q (x2) = 1-，仿照例5.8可算出 = 0.4，則信道容量C = C1 = 0.32 (比特/符號)。,本章主要定義了信道容量及討論了信道容量的計算方法。討論并證明了使平均互信息量達到信道容量的充要條件，并給出如下幾種

15、情況下信道容量的計算方法 （1） 準對稱信道 （2） 信源只含兩個消息 （3） 信道轉(zhuǎn)移概率矩陣為可逆方陣 還討論了多個信道組合使用情況下，總信道容量的計算方法，討論了以下幾種情況： （1）N個信道獨立并行使用：記每個信道單獨使用時的信道容量為Ck ，k=1,2, , N，則總信道容量C滿足 ，當N個信道獨立輸入且獨立使用時等號成立。 （2）N個信道輪流使用：各信道使用概率為pk ，k =1,2, , N， 總信道容量為 ，每個信道的使用概率為,本 章 小 結(jié),（3）N個信道串聯(lián)使用：記各個信道的信道轉(zhuǎn)移概率矩陣為Pk ，k =1,2, , N，則總信道的信道轉(zhuǎn)移概率矩陣P等于各信道轉(zhuǎn)移概率矩陣相乘，即P = P1 P2 PN ，矩陣的乘法要滿足：左乘矩陣的列數(shù)應(yīng)等于右乘矩陣的行數(shù)，且矩陣相乘不滿足交換率。,