《信道與信道容量》PPT課件.ppt

《《信道與信道容量》PPT課件.ppt》由會員分享，可在線閱讀，更多相關(guān)《《信道與信道容量》PPT課件.ppt（47頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1、2020/8/5,1,第3章信道與信道容量,3.1信道的基本概念 3.2離散單個符號信道及其容量 3.3離散序列信道及其容量 3.4連續(xù)信道及其容量 3.5信源與信道的匹配,2020/8/5,2,信道模型和信道容量,信道 傳送信息的載體，信號通過的通道。 任務(wù)是以信號方式傳輸信息、存儲信息。 研究信道就是研究信道中理論上能夠傳輸或存儲的最大信息量，即信道的容量問題。信息論不研究信號在信道中傳輸?shù)奈锢磉^程。 信道研究方法 抽象地將信道問題歸結(jié)為輸入、輸出和轉(zhuǎn)移概率矩陣三個要素來描述。,2020/8/5,3,信道分類,按信道的用戶數(shù)量來劃分 單用戶信道：即只有一個輸入端和一個輸出端的單向通信信道。

2、 多用戶信道：即在輸入端或輸出端中至少有一端存在兩個以上的用戶，并且還可以雙向通信的信道。 按輸入/輸出之間的關(guān)系來劃分 無反饋信道：信道的輸出端信號不反饋到輸入端，即輸出信號對輸入信號沒有影響。 反饋信道：信道的輸出信號通過一定途徑反饋到輸入端，使輸入端的信號發(fā)生變化。,2020/8/5,4,信道分類,按信道參數(shù)與時間的關(guān)系來劃分 固定參數(shù)信道：即信道的統(tǒng)計特性不隨時間而變化，如光纖、電纜信道。 時變參數(shù)信道：即信道的統(tǒng)計特性隨時間而變化，如無線信道。 按信道中的噪聲種類來劃分 隨機(jī)差錯信道：指噪聲隨機(jī)地影響每個傳輸碼元，如以高斯白噪聲為主體的信道。 突發(fā)差錯信道：指噪聲、干擾的影響是前后相

3、關(guān)的，錯誤成串出現(xiàn)，如脈沖干擾或閃電等。,2020/8/5,5,信道分類,按輸入/輸出信號在幅度和時間上的取值劃分 離散信道：輸入和輸出的信號在時間和幅度上均為離散的信道。 連續(xù)信道：信號的幅度連續(xù)，時間離散。 半離散半連續(xù)信道： 輸入變量取值離散而輸出變量取值連續(xù)。 輸入變量取值連續(xù)而輸出變量取值離散。 波形信道：信道的輸入和輸出信號在時間和幅度上均連續(xù)，一般可用隨機(jī)過程來描述。,單用戶、無反饋、固定參數(shù)的離散信道,2020/8/5,6,信道模型,信道轉(zhuǎn)移概率矩陣p(Y/X) 描述輸入/輸出的統(tǒng)計依賴關(guān)系，反映信道統(tǒng)計關(guān)系。 信道的輸入X=(X1, X2,, Xi,) 輸入符號集：Xi=a1

4、, a2,, an 信道的輸出 Y=(Y1,Y2,,Yj,) 輸出符號集：Yj=b1, b2,, bm,信 道,,輸入X,輸出Y,p(Y/X),,2020/8/5,7,根據(jù)干擾和記憶性分類,無干擾（無噪聲）信道 信道的輸出信號Y與輸入信號X之間有確定的關(guān)系Y=f (X) 有干擾無記憶信道 每個輸出信號只與當(dāng)前輸入信號之間有轉(zhuǎn)移概率關(guān)系，與其他時刻的輸入（出）信號無關(guān)。 有干擾有記憶信道 一般情況下，信道存在碼間干擾，輸入信號不但與當(dāng)前輸入信號有關(guān)，還與以前的輸入信號有關(guān)。 將記憶很強(qiáng)的L個符號當(dāng)作矢量符號，各矢量符號之間認(rèn)為是無記憶的。 將轉(zhuǎn)移概率看成馬爾可夫鏈的形式。,2020/8/5,8,

5、信道模型,二進(jìn)制離散信道：BSC信道 輸入符號X取值0,1 輸出符號Y取值0,1 信道轉(zhuǎn)移概率 p(0/0) = 1pp(0/1) = p p(1/1) = 1p p(1/0) = p,,無錯傳輸概率,,有錯傳輸概率,2020/8/5,9,信道模型,離散無記憶信道：DMC信道 輸入符號集：X=a1, a2,, an 輸出符號集：Y=b1, b2,, bm 輸入輸出特性 p(Y=bj /X=ai) p(bj /ai)=pij,轉(zhuǎn)移概率矩陣,各行概率之和為1,2020/8/5,10,信道模型,離散輸入、連續(xù)輸出信道 輸入符號集：X=a1, a2,, an 輸出未經(jīng)量化，即Y=-, 輸出特性由

6、離散輸入X、連續(xù)輸出Y以及一組條件概率密度函數(shù) p( y /X=ai) 來決定。 加性高斯白噪聲（AWGN）信道 式中，G是均值為零、方差為2的高斯隨機(jī)變量 當(dāng)X給定，Y是一個均值為ai、方差為2的高斯隨機(jī)變量,有限、離散,YXG,無限、連續(xù),2020/8/5,11,信道模型,波形信道 輸入是模擬波形，輸出也是模擬波形 連續(xù)無記憶信道和連續(xù)有記憶信道 任一時刻輸出變量與以前時刻的輸入輸出是否有關(guān) 根據(jù)噪聲對信道中信號的作用不同，可將噪聲分為：加性噪聲和乘性噪聲 假設(shè)輸入該信道的帶限信號x(t)，相應(yīng)的輸出是y(t)， n(t)代表加性噪聲過程的一個樣本函數(shù)，則y(t) x(t) n(t),加性

7、高斯白噪聲,2020/8/5,12,信道容量的定義,信道傳輸率R 信道中平均每個符號能傳送的信息量 RI (X;Y) bit/符號 信息傳輸速率Rt 若平均傳輸一個符號所需時間為t 則 RtI (X;Y) / t bit /s,當(dāng)信道確定時，p(bj/ai)確定?；バ畔⑹顷P(guān)于p(ai)的函數(shù)。,2020/8/5,13,信道容量的定義,定理：給定轉(zhuǎn)移概率矩陣P后，平均互信息I(X;Y)是概率矢量Px的上凸函數(shù)。 概率矢量Pxp(a1), p(a2), p(an) 用I(Px)表示I是Px的函數(shù)，則在I(Px)曲線的上凸點(diǎn)對應(yīng)的輸入符號概率矢量Px上， I(Px)取得極大值。這個值就是信道容量

8、。,2020/8/5,14,信道容量的定義,信道容量 信道容量C的單位是信道上每傳送一個符號所能攜帶的比特數(shù)，即比特/符號。 如果以e為底，即取自然對數(shù)時，信道容量的單位是奈特/符號。 如果已知符號傳送周期是T 秒，信道容量Ct=C /T，單位為bit/s或nat/s。,2020/8/5,15,第3章信道與信道容量,3.1信道的基本概念 3.2離散單個符號信道及其容量 3.3離散序列信道及其容量 3.4連續(xù)信道及其容量 3.5信源與信道的匹配,2020/8/5,16,離散單符號信道,離散單個符號信道,,無干擾離散信道,有擾離散信道,,對稱DMC信道,準(zhǔn)對稱DMC信道,一般DMC信道,,無噪無損

9、信道,無噪有損信道,有噪無損信道,2020/8/5,17,無干擾離散信道,信道輸入X=a1, a2,, an，信道輸出Y=b1, b2,, bm 無噪無損信道 輸入和輸出符號之間有確定的一一對應(yīng)關(guān)系。 H(Y/X)=0， H(X/Y)=0， I(X;Y)=H(X)=H(Y) C=max I(X;Y)=log n,輸入符號等概率分布,2020/8/5,18,無干擾離散信道,無噪有損信道 多個輸入變成一個輸出。 H(Y/X)=0， H(X/Y)0， H(X)H(Y) C=max I(X;Y)=max H(Y),2020/8/5,19,無干擾離散信道,有噪無損信道 一個輸入對應(yīng)多個輸出。 H(Y/X

10、) 0， H(X/Y)=0， H(X)H(Y) C=max I(X;Y)=max H(X),2020/8/5,20,對稱DMC信道,對稱DMC信道的定義 輸入對稱矩陣：轉(zhuǎn)移概率矩陣P的每一行都是第一行的置換（包含同樣元素）。 輸出對稱矩陣：轉(zhuǎn)移概率矩陣P的每一列都是第一列的置換（包含同樣元素）。 如果輸入、輸出都對稱，則稱該DMC為對稱DMC信道,2020/8/5,21,對稱DMC信道,有擾對稱DMC信道具有如下性質(zhì)： 對稱信道的條件熵H(Y/X)與信道輸入符號的概率分布無關(guān)。 如果信道輸入符號等概率分布，則信道輸出符號也等概率分布；反之，若信道輸出符號等概率分布時，信道輸入符號也是等概率分布

11、。,,2020/8/5,22,對稱DMC信道,當(dāng)信道輸入符號等概率分布時，對稱DMC信道達(dá)到其信道容量。,2020/8/5,23,對稱DMC信道,例：信道轉(zhuǎn)移概率矩陣為 求：信道容量 解：,n=2時，為BSC信道,=0時無差錯，信道容量最大,=1/2時，信道容量為0,2020/8/5,24,對稱DMC信道,實際通信系統(tǒng)中，信號往往要通過幾個環(huán)節(jié)的傳輸或多步的處理。若將這些傳輸和處理看成信道，則串接成為一個串聯(lián)信道。,根據(jù)信息不增性：,串接的信道越多，其信道容量可能會越??；串接信道數(shù)量無限多時，信道容量趨于零。,2020/8/5,25,對稱DMC信道,例：設(shè)有兩個離散BSC信道，其轉(zhuǎn)移矩陣為,串

12、聯(lián)信道的轉(zhuǎn)移矩陣為：,m為串接信道的個數(shù),2020/8/5,26,準(zhǔn)對稱DMC信道,如果轉(zhuǎn)移概率矩陣P的輸入對稱而輸出不對稱，即P的每一行都包含相同的元素而各列的元素不同，則稱該信道是準(zhǔn)對稱DMC信道。 準(zhǔn)對稱DMC信道的容量,2020/8/5,27,準(zhǔn)對稱DMC信道,例：已知信道轉(zhuǎn)移矩陣為 求該信道容量。 解：設(shè)輸入符號概率為p(a1)=，p(a2)=1 聯(lián)合概率矩陣,,輸入符號等概率分布時，準(zhǔn)對稱DMC信道達(dá)到其信道容量C,,2020/8/5,28,準(zhǔn)對稱DMC信道,例：設(shè)信道轉(zhuǎn)移概率矩陣為： 求該信道的容量。 解：當(dāng)輸入符號等概率分布時， 達(dá)到信道的容量，即,,,,2020/8/5,29

13、,準(zhǔn)對稱DMC信道,矩陣分解法 將轉(zhuǎn)移概率矩陣劃分成若干個互不相交的對稱子矩陣。 當(dāng)輸入分布為等概率時，達(dá)到信道容量為,,n為輸入符號集個數(shù),p1 ps是轉(zhuǎn)移概率矩陣中一行的元素,Nk是第k個子矩陣中行元素之和,Mk是第k個子矩陣中列元素之和,2020/8/5,30,一般DMC信道,以輸入符號概率矢量Px為自變量的函數(shù)I(Px)的極大值，即信道容量。 為了使I(X;Y)最大化，即求取信道容量的值，輸入符號概率集 p(ai) 必須滿足的充分必要條件是： I(ai;Y)C，對于所有滿足p(ai)0條件的i I(ai;Y)C，對于所有滿足p(ai)0條件的i,此結(jié)論只給出了達(dá)到信道容量C 時輸入符號

14、概率分布的充要條件，并未給出具體值，所以C 沒有具體可求的公式。,2020/8/5,31,第3章信道與信道容量,3.1信道的基本概念 3.2離散單個符號信道及其容量 3.3離散序列信道及其容量 3.4連續(xù)信道及其容量 3.5信源與信道的匹配,2020/8/5,32,離散序列信道及其容量,X=(X1, X2,, XL),Xl=a1, a2,, an,Y=(Y1,Y2,,YL),Yl=b1, b2,, bm,無記憶離散序列信道的轉(zhuǎn)移概率為：,若信道是平穩(wěn)的，則：,2020/8/5,33,離散序列信道及其容量,平均互信息的兩個性質(zhì)： 如果信道無記憶 如果輸入矢量X 中 各個分量相互獨(dú)立,獨(dú)立、無記憶

15、,且平穩(wěn),2020/8/5,34,離散序列信道及其容量,例：求BSC二次擴(kuò)展信道的信道容量。 解：,,p=0.1時，C1=0.53 bit/符號 C2=1.06 bit/序列,C2=2C1,2020/8/5,35,離散序列信道及其容量,獨(dú)立并聯(lián)信道 L個相互獨(dú)立的信道，每個信道的輸出只與本信道的輸入有關(guān)。,,2020/8/5,36,第3章信道與信道容量,3.1信道的基本概念 3.2離散單個符號信道及其容量 3.3離散序列信道及其容量 3.4連續(xù)信道及其容量 3.5信源與信道的匹配,2020/8/5,37,連續(xù)信道及其容量,連續(xù)單符號加性信道 信道的輸入和輸出都是取值連續(xù)的一維隨機(jī)變量，加入信

16、道的噪聲是均值為零、方差為2的加性高斯噪聲。,非高斯噪聲信道的容量要大于高斯噪聲信道的容量,2020/8/5,38,連續(xù)信道及其容量,多維無記憶加性連續(xù)信道,多維無記憶加性連續(xù)信道可等價成L個獨(dú)立的并聯(lián)高斯加性信道,,2020/8/5,39,連續(xù)信道及其容量,注水法 某些單元時刻的噪聲太大，使子信道信號功率pl出現(xiàn)負(fù)值。 置pl=0，重新調(diào)整信號功率的分配，直至pl不再出現(xiàn)負(fù)值。 噪聲小的子信道分配到的輸入功率大，傳輸?shù)谋忍財?shù)多。,2020/8/5,40,連續(xù)信道及其容量,受加性高斯白噪聲干擾的帶限波形信道 輸入x(t)、輸出y(t)和噪聲n(t)：模擬波形 帶限AWGN波形信道在平均功率受限

17、條件下信道容量的基本公式為 W：頻帶寬度，簡稱帶寬 SNR (信噪比)：表示信號功率與噪聲功率的比值 PS：信號的平均功率 加性白噪聲的功率譜密度為N0 /2,香農(nóng)公式,bit/s,2020/8/5,41,連續(xù)信道及其容量,香農(nóng)公式的討論 帶寬W一定時，信道容量C 隨信噪比SNR的增加而單調(diào)增加，因此增大信號功率、減小信道噪聲可以增加信道容量。 信道容量C一定時，帶寬W增大，信噪比SNR可降低，即二者可以互換。 如果輸入信號功率PS固定，信道容量C 隨帶寬W的增加而增加。但到一定階段后，增加變得緩慢。,2020/8/5,42,連續(xù)信道及其容量,香農(nóng)限 每傳輸1比特信息所需的能量。 當(dāng)歸一化的信

18、噪比小于香農(nóng)限（-1.6dB）時，歸一化信道容量為零，即信道完全喪失通信能力。 頻帶利用率 歸一化信道容量 單位頻帶的信息傳輸率。,2020/8/5,43,連續(xù)信道及其容量,例：電話信道的帶寬為3.3kHz，若信噪功率比為20dB，即SNR100，計算該信道的信道容量。 解：,實際電話信道的容量只有19.2kbit/s,理論計算沒有考慮串音、回波等干擾因素,2020/8/5,44,第3章信道與信道容量,3.1信道的基本概念 3.2離散單個符號信道及其容量 3.3離散序列信道及其容量 3.4連續(xù)信道及其容量 3.5信源與信道的匹配,2020/8/5,45,信源與信道的匹配,符號匹配 信源輸出的符

19、號必須是信道能夠傳送的符號，這是實現(xiàn)信息傳輸?shù)谋匾獥l件。 可在信源與信道之間加入編碼器予以實現(xiàn)，也可以在信源編碼時一步實現(xiàn)。 信息匹配 對于某一信道，只有當(dāng)輸入符號的概率分布滿足一定條件時，才能達(dá)到其信道容量。 當(dāng)信源與信道連接時，信息傳輸率達(dá)到了信道容量，則稱此信源與信道達(dá)到匹配；否則認(rèn)為信道有冗余。,2020/8/5,46,信源與信道的匹配,信道冗余度 信道絕對冗余度CI(X;Y) 信道相對冗余度 無損信道的相對冗余度,無損信道的相對冗余度與信源的冗余度等價,冗余度大說明信源與信道匹配程度低，信道的信息傳遞能力未得到充分利用。,冗余度小說明信源與信道匹配程度高，信道的信息傳遞能力得到較充分利用。,冗余度為零說明信源與信道完全匹配，信道的信息傳遞能力得到完全利用。,2020/8/5,47,信源與信道的匹配,例：某離散無記憶信源符號概率分布如下圖所示。 通過一個無噪無損二元離散信道進(jìn)行傳輸，其信道容量為C1 bit/信道符號。,信源的信息熵：H(X)=1.75 bit/信源符號,C1,00,01,10,11,C2,000,001,010,011,R1=H(X)/2=0.875 bit/信道符號C,R2=H(X)/3=0.583 bit/信道符號C,信道的信息傳輸率：,