信息論基礎(chǔ)-信道容量的計(jì)算

《信息論基礎(chǔ)-信道容量的計(jì)算》由會(huì)員分享，可在線閱讀，更多相關(guān)《信息論基礎(chǔ)-信道容量的計(jì)算（40頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

1、1,,,,,2.2.二進(jìn)刪除信道M信道 X=0,1; Y=0,2,1,0 1-p 0,p,p,1 1-p 1,2,離散無(wú)記憶信道和信道容量,C=1-p 最佳入口分布為等概分布,2,對(duì)稱離散信道的信道容量,I(X;Y)=H(Y)-H(Y/X) 而,H(Y/X=x)是對(duì)矩陣的行求和，是與x無(wú)關(guān)的一個(gè)常數(shù)，即,因此,當(dāng)輸出等概分布時(shí)，即H(Y)=logs時(shí)信道容量才能達(dá)到。,離散無(wú)記憶信道和信道容量,3,那么，在什么樣的信源輸出情況下，信道輸出能等概分布呢？ 可以證明，,輸入等概分布時(shí)，輸出也等概分布,離散無(wú)記憶信道和信道容量,4,Eg. 求信道容量,離散無(wú)記憶信道和信道容量,5,我

2、們首先從一個(gè)例子開(kāi)始 例：二元無(wú)記憶對(duì)稱信道得二次擴(kuò)展信道。 二元記憶對(duì)稱信道為,離散無(wú)記憶信道和信道容量,6,可以將信道的擴(kuò)展和信源的擴(kuò)展聯(lián)系起來(lái)看，當(dāng)信源擴(kuò)展以后，信道也就稱為了擴(kuò)展信道。,則它的二次擴(kuò)展信道為：,離散無(wú)記憶信道和信道容量,7,因此，如果信源、信道都是無(wú)記憶的,這就是離散無(wú)記憶信道序列的信道容量，該信道容量在信源是無(wú)記憶信源且每一個(gè)輸入變量Xi 達(dá)到最大入口分布時(shí)達(dá)到。,,離散無(wú)記憶信道和信道容量,8,數(shù)據(jù)可靠傳輸和信道編碼,4.1 離散無(wú)記憶信道和信道容量 4.2 信道容量的計(jì)算 4.3 信道編碼理論 4.4 帶反饋的信道模型 4.5 聯(lián)合信源-信道編碼定理 4.6 線性

3、分組碼 習(xí)題四,9,,10,,接入信道容量的分析與尋呼信道不一樣，尋呼信道用于前向鏈路，容量的分析主要在于對(duì)尋呼信道占用率的計(jì)算，而接入信道用于反向鏈路，對(duì) CDMA 系統(tǒng)來(lái)說(shuō)，反向鏈路容量主要用于干擾的分析。即使采用時(shí)隙化的隨機(jī)接入?yún)f(xié)議，接入信道也可能有較高的通過(guò)量，大量的接入業(yè)務(wù)會(huì)在反向鏈路中產(chǎn)生無(wú)法接受的干擾。如前所述，第一個(gè)接入試探失敗后，下一個(gè)接入試探將增加一定量的功率，最終的結(jié)果將導(dǎo)致小區(qū)接收功率的增加以及反向鏈路容量的減少。 為了保證話音業(yè)務(wù)信道的容量，應(yīng)設(shè)計(jì)一個(gè)合適的接入信道，以限制接入對(duì)反向鏈路容量的干擾。一般情況下，我們保持接入信道干擾余量在業(yè)務(wù)信道負(fù)載的 10% 以下,業(yè)

4、務(wù)信道負(fù)載定義如下：對(duì)某個(gè)用戶來(lái)說(shuō)，CDMA 系統(tǒng)中的其他用戶都是干擾，這種干擾提高了接收機(jī)的噪聲基底，降低了接收機(jī)的靈敏度。,11,,CDMA是碼分多址的英文縮寫(Code Division Multiple Access)，它是在數(shù)字技術(shù)的分支--擴(kuò)頻通信技術(shù)上發(fā)展起來(lái)的一種嶄新而成熟的無(wú)線通信技術(shù)。CDMA技術(shù)的原理是基于擴(kuò)頻技術(shù)，即將需傳送的具有一定信號(hào)帶寬信息數(shù)據(jù)，用一個(gè)帶寬遠(yuǎn)大于信號(hào)帶寬的高速偽隨機(jī)碼進(jìn)行調(diào)制，使原數(shù)據(jù)信號(hào)的帶寬被擴(kuò)展，再經(jīng)載波調(diào)制并發(fā)送出去。接收端使用完全相同的偽隨機(jī)碼，與接收的帶寬信號(hào)作相關(guān)處理，把寬帶信號(hào)換成原信息數(shù)據(jù)的窄帶信號(hào)即解擴(kuò)，以實(shí)現(xiàn)信息通信。,12,

5、,移動(dòng)通訊技術(shù)的分類 移動(dòng)通信系統(tǒng)有多種分類方法。例如按信號(hào)性質(zhì)分，可分為模擬、數(shù)字；按調(diào)制方式分，可分為調(diào)頻、調(diào)相、調(diào)幅；按多址連接方式分，可分為頻分多址(FDMA)、時(shí)分多址(TDMA)、碼分多址(CDMA)。 目前中國(guó)聯(lián)通、中國(guó)移動(dòng)所使用的GSM移動(dòng)電話網(wǎng)采用的便是FDMA和TDMA兩種方式的結(jié)合。GSM比模擬移動(dòng)電話有很大的優(yōu)勢(shì)，但是，在頻譜效率上僅是模擬系統(tǒng)的3倍，容量有限；在話音質(zhì)量上也很難達(dá)到有線電話水平；TDMA終端接入速率最高也只能達(dá)到9.6kbit/s；TDMA系統(tǒng)無(wú)軟切換功能，因而容易掉話，影響服務(wù)質(zhì)量。因此，TDMA并不是現(xiàn)代蜂窩移動(dòng)通信的最佳無(wú)線接入，而CDMA多址技

6、術(shù)完全適合現(xiàn)代移動(dòng)通信網(wǎng)所要求的大容量、高質(zhì)量、綜合業(yè)務(wù)、軟切換等，正受到越來(lái)越多的運(yùn)營(yíng)商和用戶的青睞。,13,,CDMA的機(jī)理相關(guān)。CDMA是一個(gè)自擾系統(tǒng)，所有移動(dòng)用戶都占用相同帶寬和頻率，打個(gè)比方，將帶寬想像成一個(gè)大房子，所有的人將進(jìn)入惟一的大房子。如果他們使用完全不同的語(yǔ)言，他們就可以清楚地聽(tīng)到同伴的聲音而只受到一些來(lái)自別人談話的干擾。在這里，屋里的空氣可以被想像成寬帶的載波，而不同的語(yǔ)言即被當(dāng)作編碼，我們可以不斷地增加用戶直到整個(gè)背景噪音限制住了我們。如果能控制住用戶的信號(hào)強(qiáng)度，在保持高質(zhì)量通話的同時(shí)，我們就可以容納更多的用戶。 數(shù)據(jù)可靠傳輸和信道編碼,14,互信息 I(X；Y）是輸入

7、信源的概率分布p(x)的上凸函數(shù)； 每個(gè)固定信道都有一個(gè)最大的信息傳輸率，即信道容量C.,,信道容量的計(jì)算知識(shí)回顧,15,最佳入口分布不一定是唯一的，但是最佳輸出分布是唯一的； 單位時(shí)間內(nèi)信道的最大信息傳輸率，即,,信道容量的計(jì)算,16,常見(jiàn)信道的信道容量C： 無(wú)噪信道,,信道容量的計(jì)算,,,17,常見(jiàn)信道的信道容量C： 離散對(duì)稱信道,,信道容量的計(jì)算,,,,,18,1 信道容量的計(jì)算原理 C是選擇不同的輸入概率分布p(x),在滿足 p(x)=1條件下，求互信息的極大值：,,信道容量的計(jì)算,,,,,,Lagrange乘子法,19,例1、設(shè)某二進(jìn)制數(shù)字傳輸系統(tǒng)接收判決器 的輸入信號(hào)電平、噪聲密度

8、分布及判決電平 如下圖所示. 試求： (1)信道模型；(2)平均互信息；(3)信道容量.,信道容量的計(jì)算,20,解2）令 ，則Y的概率分布為,信道容量的計(jì)算,,,,所以，,,,,21,3）為求信道容量，對(duì)平均互信息求駐點(diǎn)：,信道容量的計(jì)算,,,,令 ，解得p=3/5，這時(shí)互信息達(dá)最大值.,,將p=3/5代入（2），得到信道容為:C=0.32bit/sym.,22,2 達(dá)到信道容量輸入分布的充要條件,信道容量的計(jì)算,令,,定理4.2.2 一般離散信道的互信息I(X；Y)達(dá)到極大值（即等于信道容量）的充要條件是輸入概率分布p(x)滿足,,,23,結(jié)論：當(dāng)信道互信息達(dá)到信道容量時(shí)

9、，輸入信源符號(hào)集 中每一個(gè)信源符號(hào)對(duì)輸出端y提供相同的互信息，只是 概率為零的符號(hào)除外. 這個(gè)結(jié)論和直觀概念是一致的： 在某給定的輸入分布下，若有一個(gè)輸入符號(hào)xi對(duì)輸出y所 提供的互信息比其他輸入符號(hào)所提供的互信息大，那 么，我們就可以更多地使用這一符號(hào)來(lái)增大互信息.但 是，這就會(huì)改變輸入符號(hào)的概率分布，必然使這個(gè)符號(hào) 的互信息減小，而其他符號(hào)對(duì)應(yīng)的互信息增加。所以， 經(jīng)過(guò)不斷調(diào)整輸入符號(hào)的概率分布，就可使每個(gè)概率不 為零的輸入符號(hào)對(duì)輸出Y提供相同的互信息.,信道容量的計(jì)算,24,例2 一個(gè)信道的信道矩陣為,信道容量的計(jì)算,,求信道容量.,25,解：由x0和x2時(shí)信道的對(duì)稱性以及x1時(shí)的不可靠

10、傳輸，可以假定最佳輸入概率分布為,信道容量的計(jì)算,,這時(shí)，,,因?yàn)槟軌驖M足信道容量定理：,,,26,所以假定的輸入分布確實(shí)是最佳輸入分布，這時(shí) 信道容量為,信道容量的計(jì)算,,27,習(xí)題1：求下述信道的信道容量.,信道容量的計(jì)算,C=1 p(0)=p(2)=1/2, p(1)=0,28,習(xí)題2：求下述信道的信道容量.,信道容量的計(jì)算,,分析： 由于a3到b1、b2是等概的，可略；a1、a2均到b1 ，a4、a5均到b2，所以可只取a1、a5. 設(shè)輸入分布：p(a1)=p(a5)=1/2，p(ai)=0,p(a1)= p(a2)= p(a4)= p(a5)= 1/4，p(ai)=0,C=1,29,

11、Z信道,Z信道的信道矩陣：,設(shè)入口概率分布為：,則，輸出符號(hào)的概率分布：,從而，,30,可得：,注：這時(shí)要找某個(gè) 使得I(U;V)達(dá)到最大值，困難!,定理求法,Z信道,31,定理4.2.2 一般離散信道達(dá)到信道容量的充要條件是入口概率分布滿足,該定理表明，當(dāng)信道平均互信息達(dá)到信道容量時(shí)，輸入信源符號(hào)集中每一個(gè)符號(hào)對(duì)輸出端提供相同的互信息；只是概率為零的符號(hào)除外.,32,可得：,注：這時(shí)要找某個(gè) 使得I(U;V)達(dá)到最大值，困難!,定理求法,即,33,可整理為：,從而 ，,即，,解得：,Z信道,34,解方程組，求信道容量,由定理4.2.2可得：,即,令,35,可得,（*）,由于,兩邊求和，得,從

12、而，對(duì)應(yīng)的輸出概率分布為：,從而可得最大入口分布！,解方程組，求信道容量,36,例：,可列方程組：,解方程組，求信道容量,37,解之得：,解方程組，求信道容量,信道容量,最佳入口分布,38,信源與信道的匹配,信道的信道容量是固定的，如果某一信源通過(guò)該信道傳輸時(shí)，信息傳輸率達(dá)到了信道容量，我們認(rèn)為信源與信道達(dá)到匹配，否則，我們認(rèn)為有剩余. 定義：信道剩余度C-I(X;Y) 信道的相對(duì)剩余度,39,如何才能做到匹配呢？ 一般通信系統(tǒng)中，把信源發(fā)出的符號(hào)變成能在信道中傳輸?shù)姆?hào)，在傳輸時(shí)，要能夠盡量用較少的符號(hào)表示相同的信息，這樣就可以提高信息的傳輸率，從而提高信道的利用率. 這就是香農(nóng)無(wú)失真信源編碼理論，也就是無(wú)失真數(shù)據(jù)壓縮理論. 無(wú)失真信源編碼就是將信源輸出的消息變換成適合信道傳輸?shù)男滦旁吹南?lái)傳輸，而使新信源的符號(hào)接近等概率分布，新信源的熵接近最大熵. 這樣，信源傳輸?shù)男畔⒘窟_(dá)到最大，信道剩余度接近于零，信源與信道達(dá)到匹配.,信源與信道的匹配,40,數(shù)據(jù)可靠傳輸和信道編碼,4.1 離散無(wú)記憶信道和信道容量 4.2 信道容量的計(jì)算 4.3 信道編碼理論 4.4 帶反饋的信道模型 4.5 聯(lián)合信源-信道編碼定理 4.6 線性分組碼 習(xí)題四,