基本信息論7熵速率和信道容量

《基本信息論7熵速率和信道容量》由會(huì)員分享，可在線閱讀，更多相關(guān)《基本信息論7熵速率和信道容量（24頁珍藏版）》請?jiān)谘b配圖網(wǎng)上搜索。

1、2.7 熵速率和信道容量 一、信源熵速率 1、離散信源的熵速率 信源熵速率 ：信源在單位時(shí)間內(nèi)輸出的熵， 也稱信息速率或傳信率 ii i ( ) ( ) l o g ( )H X p x p x 離 散 信 源 的 熵 ： 若信源每秒輸出 n個(gè)符號，則其熵速率： ii i ( ) ( ( ) l o g ) ( /H X n H n p pX xx 比 特 秒 2、連續(xù)信源的熵速率 ( ) ( ) l og ( )H X p x p x dx 連 續(xù) 信 源 的 熵 ： 若信源輸出帶寬有限，最大為 W，則采樣率至 少為 2W，則其熵速率： ( ) 2 ( ) l og ( ) /H X W p

2、 x p x dx 比 特 秒 二、信道容量的概念 1、離散信道的信道容量 信道容量 ：信道對信源一切可能的概率分布而 言能夠傳送的最大熵速率。其單位為比特 /秒。 用以傳送離散消息的信道，稱為離散信道。 若離散信源有 N 個(gè)符號，符號間無相關(guān)性且等 概率分布，則輸出熵最大： m a x i ii( ) ( ) l o g ( ) l o gH X p x p x N 若離散信道最多每秒傳送 n 個(gè)信源符號，則最 大熵速率，也即信道容量為： m a x m a x( ) ( ) l o gC H x nH X n N m a x m a x( ) ( ) l ogC H x nH X n N

3、1）信道容量是信道可能傳送的最大熵速率，實(shí) 際傳信率可能大大低于信道容量，造成信道容量 不能充分利用。 2）信道容量 C：比特 /秒 信道單位時(shí)間內(nèi)最多可傳輸?shù)姆枖?shù) n：符號 /秒 3）若傳信率不能滿足要求，應(yīng)先改造信源，充分 利用現(xiàn)有信道容量。 原因：信源符號間有相關(guān)性、符號非等概率分布 解決方法：信源最佳編碼（匹配編碼） 1、連續(xù)信道的信道容量 帶寬為 W，平均功率 P 受限的連續(xù)信源，其幅 度為高斯分布時(shí)，輸出熵最大： m a x ( ) l n 2 e PHX 根據(jù)采樣定理，每秒的采樣率為 2W，則信道傳 送的最大熵速率，也即信道容量為： m a x m a x( ) 2 ( ) 2

4、 l n 2 e PC H x W H X W l n 2 e PCW 若信道無噪聲，則 信源輸出的熵速率 = 信宿接收的熵速率 信道容量 = 信源的最大熵速率 三、離散有噪聲信道中的熵速率和信道容量 若信道有噪聲，則 信源輸出的熵速率 信宿接收的熵速率 信道容量 = 信宿端的最大接收熵速率 接收熵速率 信源熵： H (X) ( ; ) ( ) ( / ) ( ) ( / )I X Y H X H X Y H Y H Y X 信宿端的接收熵為平均互信息量： 有噪聲信道信宿端的接收熵速率 R： ( ; ) ( ; )R n I X Y I X Y ( ) ( / ) ( ) ( / )n H X

5、 H X Y H X H X Y ( ) ( / ) ( ) ( / )n H Y H Y X H Y H Y X ( / ) ( / )H X Y n H X Y其 中 ： 為 疑 義 度 熵 速 率 ( / ) ( / )H Y X n H Y X 為 散 布 度 熵 速 率 5/6 1/6 1/2 1/2 y1=1 p(y1)=7/12 y2=0 p(y2)=5/12 p(x1)=1/4 x1=1 p(x2)=3/4 x2=0 X空間 Y空間 例 二元通信系統(tǒng)，信源以平均 1000消息 /秒的速率 發(fā)送消息，計(jì)算信源熵速率和信宿端接收熵速率 ( ) 0 . 8 1 1 /HX 解 ： 信

6、 源 熵 ： 比 特 消 息 ( ) ( ) 1000 0 .811 811 / H X nH X 信 源 熵 速 率 ： 比 特 秒 ( / ) 0 . 7 4 4 /H X Y 疑 義 度 ： 比 特 消 息 ( / ) ( / ) = 744 / H X Y nH X Y疑 義 度 熵 速 率 ： 比 特 秒 ( ) ( / ) = 811 744 67 / R H X H X Y 信 宿 端 接 收 熵 速 率 ： 比 特 秒 ( ; ) 0 . 0 6 7 /I X Y 或 平 均 互 信 息 量 ： 比 特 消 息 ( ; ) ( ; ) = 1000 0.067 67 / R I

7、 X Y nI X Y 信 宿 端 接 收 熵 速 率 ： 比 特 秒 可疑度 H(X/Y)是為了克服信道中噪聲干擾、使信 宿能無差錯(cuò)地加以識別信源發(fā)出的消息而必須額 外提供的糾正信息。 四、可疑度的物理解釋 信源 發(fā)射機(jī) 接收機(jī) 校正 理想觀察者 + 信道 噪聲 正確 信息 如有錯(cuò)誤發(fā)糾錯(cuò)信息 山農(nóng)設(shè)想的理想化通信系統(tǒng) ()HX ()HX( ) ( / )H X H X Y ( / )H X Y 假設(shè)：二元信源 等概率分布 p(0) = p(1) = 0.5 信道對稱，即： ( / ) ( 1 / 0) ( 0 / 1 )p p p p傳 送 錯(cuò) 誤 ： 收 發(fā) ( / ) ( 0 / 0)

8、 ( 1 / 1 ) 1p p p p 傳 送 正 確 ： 收 發(fā) 1 ( 1 )p 觀當(dāng) 接 受 錯(cuò) 誤 時(shí) ， 發(fā) （ 糾 錯(cuò) ） ， 則 11( 1 ) ( 0 ) ( 1 / 0 ) ( 1 ) ( 0 / 1 ) 22p p p p p p p p 觀 0 ( 0)p 觀 那 么 ， 理 想 觀 察 者 當(dāng) 接 受 正 確 時(shí) ， 發(fā) （ 不 糾 錯(cuò) ） ， 則 11( 0 ) ( 0 ) ( 0 / 0 ) ( 1 ) ( 1 / 1 ) ( 1 ) ( 1 ) 22p p p p p p p 觀 1 p 則將理想觀察者看成一個(gè)離散信源， 其提供的附加熵： 1 0 ( ) l o

9、g ( ) l o g ( 1 ) l o g ( 1 ) i H p i p i p p p p 觀 ( / )H X Y 例 二元信源， p(0)=p(1)=0.5，每秒信源發(fā)出 10000 個(gè)符號，信號通過有噪聲對稱信道，其差錯(cuò)率為 1%，求信宿收到的信息速率。 解：信源熵： ( ) ( 0 ) l o g ( 0 ) ( 1 ) l o g ( 1 ) 1 /H X p p p p 比 特 符 號 信源熵速率： ( ) ( ) 1 0 0 0 0 /H X n H X 比 特 秒 差錯(cuò)率為 1%，即 10000個(gè)符號錯(cuò) 100個(gè)，是否信 宿端的接收熵速率為： 9900比特 /秒？ (

10、/ ) ( / ) ( 1 / 0) ( 0 / 1 ) 0.0 1p y x p p p p ： 收 發(fā) ( / ) ( 1 / 1 ) ( 0 / 0) 1 0.9 9p p p p 收 發(fā) ( ) ( ) ( / )p x y p x p y x 1( 0 1 ) ( 0 ) ( 1 / 0 ) 0 . 0 0 5 ( 1 0 ) 2p p p p p 1( 0 0 ) ( 0 ) ( 0 / 0 ) ( 1 ) 0 . 4 9 5 ( 1 1 ) 2p p p p p ( / ) ( ) l o g ( / ) xy H X Y p xy p x y 11 l o g ( 1 ) l

11、o g ( 1 ) 22 11 l o g ( 1 ) l o g ( 1 ) 22 p p p p p p p p l o g ( 1 ) l o g ( 1 ) 0 . 0 8 0 8 /p p p p 比 特 符 號 ( 0 ) ( 1 ) 0. 5 ( / ) ( / ) pp p x y p y x 且 對 稱 信 道 ， 則 接收熵速率 ( ) ( / )R n H X H X Y 1 0 0 0 0 ( 1 0 . 0 8 0 8 ) 9 1 9 2 / 比 特 秒 9 9 0 0 / 比 特 秒 或 可疑度 = 理想觀察者提供的附加熵 1 0 ( / ) ( ) lo g (

12、) lo g ( 1 ) lo g ( 1 ) i H X Y p i p i p p p p ( 0 ) 1 0 . 9 9pp 觀 ( 1 ) 0 . 0 1pp觀 0 . 0 8 0 8 / 比 特 符 號 五、離散有噪信道的信道容量 離散有噪對稱信道的信道容量 l b , , . ,11ppC n N H p NN 信 道 容 量 . 11 . 11 . 11 pp p NN pp p NN pp p NN 信 道 矩 陣 為 ： 1pp其 中 ： 1 ( )C n H p ( ) l o g l o gH p p p p p 其 中 ： 二元離散有噪對稱信道的信道容量 pp pp 信

13、 道 矩 陣 為 ： /1p p p其 中 ： - 差 錯(cuò) 率 誤 碼 率 , 六、連續(xù)有噪信道的熵速率 高斯白噪聲加性波形信道 高斯白噪聲： 平均值為零 幅度分布為高斯分布 單邊功率譜均勻且其密度為 N0 自相關(guān)函數(shù)為尖銳的 函數(shù) 與其它高斯白噪聲的互相關(guān)系數(shù)為零 加性： ( ) ( ) ( )y t x t n t ( )Xt輸 入 信 號 ： ( )Yt輸 出 信 號 ： ( )nt信 道 噪 聲 ： 為 加 性 高 斯 白 噪 聲 設(shè)：輸入信號平均功率受限為 P 信道帶寬為寬度為 W的矩形 信道中干擾噪聲平均功率為 N 則 信源 X與噪聲 n的共熵 ( ) ( ) ( / )H X n

14、 H X H n X ( ) ( )H X H n () ( / ) ( ) n t X H n X H n 與 獨(dú) 立 ( / ) ( / ) ( / ) ( / ) p y x p n x H Y X H n X 由 于 加 性 干 擾 ， 有 ， 則 ( ) ( / ) ( )H Y H X Y H X Y( ) ( / )X H Y X ( ) ( / )H X H n X ()H Xn ( ) ( )H X H n ( ) ( / ) ( ) ( )H X H X Y H Y H n ( ; )I X Y ( ; ) ( ) ( / ) ( ) ( )I X Y H X H X Y

15、H Y H n 連 續(xù) 信 道 信 宿 端 接 收 的 凈 信 息 量 ： ( ; ) ( ) ( / ) ( ) ( )R n I X Y H X H X Y H Y H n 接 收 熵 速 率 （ 信 道 傳 信 率 ） ： = 信源熵速率 疑義度熵速率 = 信宿端總的熵速率 噪聲熵速率 七、連續(xù)有噪信道的信道容量 信道容量 C（最大熵速率） m a x m a x ( ) ( )C R H Y H n 設(shè)發(fā)送信號平均功率為 P，信道中噪聲平均功率 為 N，則接收信號平均功率為 P+N。 在平均功率受限的前提下，信宿端 Y為高斯分布 （即信源為高斯分布）時(shí)， 取得最大值 : ()HY m

16、a x ( ) ln 2 ( )H Y W e P N 而噪聲熵速率： ( ) l n ( 2 )H n W e N 信道容量：（山農(nóng)公式） m ax ( ) ( ) l n 1 /PC H Y H n W N 奈 特 秒 :W 信 道 帶 寬 平均功率受限的高斯白噪聲連續(xù)信道，其信道 容量與信道帶寬、功率信噪比有關(guān)。其值越大， 信道容量越大。 l b 1 /PCW N 比 特 秒 平均功率受限的高斯白噪聲連續(xù)信道，只有在 輸入信號幅度為高斯分布時(shí)，傳信率才能達(dá)到 理論最大值，即信道容量。 平均功率受限的高斯白噪聲連續(xù)信道，高斯白 噪聲的危害最大，因其具有最大噪聲熵速率。 WC P CN m ax ( ) ( ) m ax ( ) H n C H Y H n 山農(nóng)公式指出了理論上可以達(dá)到的信道容量與 實(shí)際工程技術(shù)參數(shù)（帶寬 W、功率信噪比 P/N） 之間的關(guān)系，指出了帶寬和信噪比之間可以互 換，為實(shí)際有用的擴(kuò)頻通信打下了理論基礎(chǔ)。