連續(xù)信源的熵連續(xù)信道的平均互信息與信道容量

《連續(xù)信源的熵連續(xù)信道的平均互信息與信道容量》由會員分享，可在線閱讀，更多相關《連續(xù)信源的熵連續(xù)信道的平均互信息與信道容量（52頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1、第6章 連續(xù)信源的熵、連續(xù)信道的平均互信息與信道容量第6章 連續(xù)信源的熵、連續(xù)信道的平均互信息與信道容量教學內(nèi)容和要求理解單符號連續(xù)信源及其模型，理解其熵，掌握其微分熵理解單符號連續(xù)信道及其模型，掌握其平均互信息，理解其信道容量掌握高斯信道的信道容量，香農(nóng)公式 第6章 連續(xù)信源的熵、連續(xù)信道的平均互信息與信道容量6.1 單符號連續(xù)信源的熵與微分熵1、單符號連續(xù)信源定 義信源發(fā)出的消息為單一符號，這些符號隨機取值于一個連續(xù)域表 示連續(xù)型隨機變量X 第6章 連續(xù)信源的熵、連續(xù)信道的平均互信息與信道容量)x(p)xX(pdX )xX(dP b,axX 隨機變量X的取值x為信源發(fā)出的消息1dx)x(p

2、 ba 其中 第6章 連續(xù)信源的熵、連續(xù)信道的平均互信息與信道容量)ab/(1)x(p)xX(p b,axX 例 1 2 22 )x(2 e21)x(p)xX(p ),(xX 例 2 第6章 連續(xù)信源的熵、連續(xù)信道的平均互信息與信道容量概率密度函數(shù)p(x)如圖所示2、熵與微分熵Nabx p(x) xba a+(i-1)x a+ix 第6章 連續(xù)信源的熵、連續(xù)信道的平均互信息與信道容量 ix )x(p ix落在第i個區(qū)域的概率N,2,1idx)x(pxiaxx)1i(aP xia x)1i(a N,2,1ix)x(pdx)x(p ixia x)1i(a 根據(jù)中值定理 Nabx p(x) xba

3、a+(i-1)x a+ix 第6章 連續(xù)信源的熵、連續(xù)信道的平均互信息與信道容量 N1i i0 xNN1i ii0 xN N1i ii0 xN xlogx)x(plim)x(plogx)x(plim x)x(plogx)x(plim)X(H xloglimdx)x(plog)x(p dx)x(pxloglimdx)x(plog)x(p 0 xNba ba0 xNba熵 第6章 連續(xù)信源的熵、連續(xù)信道的平均互信息與信道容量微分熵信源發(fā)出消息x所對應概率密度函數(shù)p(x)對數(shù)負值的數(shù)學期望，用h(X)表示定 義 ba dx)x(plog)x(p)X(h 表 示 第6章 連續(xù)信源的熵、連續(xù)信道的平均互

4、信息與信道容量微分熵不能作為連續(xù)信源的信息度量定義微分熵的目的微分熵差具有信息度量的意義連續(xù)信源的微分熵與離散信源的熵在形式上統(tǒng)一 第6章 連續(xù)信源的熵、連續(xù)信道的平均互信息與信道容量均勻信源的微分熵dx)x(plog)x(p)X(h ba )ablog(dx)x(pab1logdxab1log)x(p baba 例 3 )ab/(1)x(p)xX(p b,axX 第6章 連續(xù)信源的熵、連續(xù)信道的平均互信息與信道容量高斯信源的微分熵 dx)x(xpXE其中 dx)x(p)x()X(E 222 例 4 2 22 )x(2 e21)x(p)xX(p ),(xX 第6章 連續(xù)信源的熵、連續(xù)信道的平均

5、互信息與信道容量 dxelog)x(pdx21log)x(p dxe21log)x(p 2 22 2 2 )x(2 2 )x(2 )e2log(212elog2log dx)x(p)x(2 elogdx)x(p21log 22 222 dx)x(plog)x(p)X(h 第6章 連續(xù)信源的熵、連續(xù)信道的平均互信息與信道容量不具非負性例如，當b-a1時，均勻信源的微分熵0)ablog()X(h 嚴格上凸3、微分熵的主要性質和最大微分熵定理微分熵h(X)對于信源概率密度函數(shù)p(X)嚴格上凸 第6章 連續(xù)信源的熵、連續(xù)信道的平均互信息與信道容量平均功率受限下的最大微分熵定理連續(xù)信源一般討論特定限制條

6、件下的最大微分熵最常用的限制條件平均功率受限均值為0且方差受限 )eP2log(21)X(h P0Pmax 2 最大微分熵信源具有最大微分熵，的高斯、方差，均值平均功率被限定為 第6章 連續(xù)信源的熵、連續(xù)信道的平均互信息與信道容量設p(x)是任意概率密度函數(shù)，但0dx)x(xp Pdx)x(px22 dx)x(plog)x(p)X(h dxee22)x(plog)x(p 22222x2x22 第6章 連續(xù)信源的熵、連續(xù)信道的平均互信息與信道容量 dxe2)x(p 1log)x(pdxe21log)x(p 2222 2x22x2 dx1e2)x(p 1)x(p)e2log(21 222x22 m

7、ax2 2x22 )X(h)eP2log(21)e2log(21 dx)x(pdxe21)e2log(21 22 第6章 連續(xù)信源的熵、連續(xù)信道的平均互信息與信道容量222x2 e21)x(p 當)eP2log(21)e2log(21)X(h)X(h 2max 第6章 連續(xù)信源的熵、連續(xù)信道的平均互信息與信道容量6.2 單符號連續(xù)信道的平均互信息1、單符號連續(xù)信道定 義對應于單符號連續(xù)信源和單符號連續(xù)信宿的信道表 示信源連續(xù)型隨機變量X信宿連續(xù)型隨機變量Y 第6章 連續(xù)信源的熵、連續(xù)信道的平均互信息與信道容量隨機變量X的取值x為信源發(fā)出的消息隨機變量Y的取值y為信宿收到的消息X p(y/x)

8、Y)x(p)xX(pdX )xX(dP b,axX )y(p)yY(pdY )yY(dP b,ad,cd,cyY 通常 第6章 連續(xù)信源的熵、連續(xù)信道的平均互信息與信道容量p(y/x)為信道轉移概率密度函數(shù)1dy)x/y(pdc 其中 第6章 連續(xù)信源的熵、連續(xù)信道的平均互信息與信道容量2、噪聲熵與噪聲微分熵Mcdy p(y/xi) ydc c+(j-1)y c+jyx落在第i個區(qū)域基礎上信道轉移概率密度函數(shù)p(y/xi)如圖所示 i=1,2, ,N 第6章 連續(xù)信源的熵、連續(xù)信道的平均互信息與信道容量Mcdy p(y/xi) ydc c+(j-1)y c+jy jy )x/y(p ijy/x

9、i落在第j個區(qū)域的信道轉移概率M,2,1jdy)x/y(pyjcx/yy)1j(cP yjc y)1j(c ii M,2,1jy)x/y(pdy)x/y(p ijyjc y)1j(c i 根據(jù)中值定理 第6章 連續(xù)信源的熵、連續(xù)信道的平均互信息與信道容量噪聲熵y)x/y(plogyx)yx(plim)X/Y(H M1j N1i ijji0y,xM,N M1j N1i ji0y,xM,N M1j N1i ijji0y,xM,N ylogyx)yx(plim )x/y(plogyx)yx(plim dc ba0yMdc ba dxdy)xy(pyloglimdxdy)x/y(plog)xy(p 第

10、6章 連續(xù)信源的熵、連續(xù)信道的平均互信息與信道容量 yloglimdxdy)x/y(plog)xy(p 0yMdc ba 第6章 連續(xù)信源的熵、連續(xù)信道的平均互信息與信道容量噪聲微分熵信道將信源發(fā)出消息x轉移為信宿收到消息y所對應信道轉移概率密度函數(shù)p(y/x)對數(shù)負值的數(shù)學期望，用h(Y/X)表示定 義 dc ba dxdy)x/y(plog)xy(p)X/Y(h 表 示 第6章 連續(xù)信源的熵、連續(xù)信道的平均互信息與信道容量3、平均互信息信宿收到消息y所對應概率密度函數(shù)p(y)對數(shù)負值的數(shù)學期望信宿的微分熵與噪聲微分熵之差，用I(X;Y)表示定 義表 示 )X/Y(h)Y(h dxdy)x/

11、y(plog)xy(pdy)y(plog)y(p)Y;X(I dc badc 第6章 連續(xù)信源的熵、連續(xù)信道的平均互信息與信道容量)X/Y(H)Y(H)Y;X(I )X/Y(h)Y(h yloglim)X/Y(hyloglim)Y(h 0yM0yM 微分熵不能作為信息度量，平均互信息微分熵差，具有信息度量的意義信宿每收到一條消息所含信源一條消息的平均信息 第6章 連續(xù)信源的熵、連續(xù)信道的平均互信息與信道容量以信宿為參考，利用信宿的微分熵和信道的噪聲微分熵來度量信道中傳輸?shù)钠骄畔⒁孕旁礊閰⒖?，利用信源的微分熵和信道的損失微分熵來度量信道中傳輸?shù)钠骄畔?Y/X(h)X(h)Y;X(I 第6章

12、連續(xù)信源的熵、連續(xù)信道的平均互信息與信道容量4、平均互信息的主要性質 對稱性)X;Y(I)Y;X(I 非負性0)Y;X(I )Y(h)X/Y(h dc badc ba dcdc ba dxdy)y(plog)xy(pdxdy)x/y(plog)xy(p dy)y(plog)y(pdxdy)x/y(plog)xy(p 第6章 連續(xù)信源的熵、連續(xù)信道的平均互信息與信道容量 dc ba dxdy)x/y(p )y(plog)xy(p dc ba dxdy1)x/y(p )y(p)xy(p0 dxdy)xy(pdxdy)y(p)x(p dc badc ba 0)X/Y(h)Y(h)Y;X(I 第6章

13、連續(xù)信源的熵、連續(xù)信道的平均互信息與信道容量 嚴格凸性信道給定時，I(X;Y)對于信源概率密度函數(shù)p(X)嚴格上凸信源給定時，I(X;Y)對于信道轉移概率密度函數(shù)p(Y/X)嚴格下凸 第6章 連續(xù)信源的熵、連續(xù)信道的平均互信息與信道容量6.3 高斯信道的信道容量1、高斯信道加性噪聲信道中噪聲與信號相互獨立且對信號的作用表現(xiàn)為線性疊加定 義 道作用下的單符號連續(xù)信的白色高斯加性噪聲、方差均值WGANN0 2 第6章 連續(xù)信源的熵、連續(xù)信道的平均互信息與信道容量表 示 X Y=X+ZZ)x(p)xX(pdX )xX(dP ),(xX )y(p)yY(pdY )yY(dP ),(yY 第6章 連續(xù)信

14、源的熵、連續(xù)信道的平均互信息與信道容量N2z2eN21)z(p)zZ(pdZ )zZ(dP ),(zZ 第6章 連續(xù)信源的熵、連續(xù)信道的平均互信息與信道容量2、高斯信道的噪聲微分熵雅可比行列式110 11yfyf xfxfJ 21 21 )x/y(p)x(p)xy(p )z(p)x(p)xz(pJ)xz(p)xy(p xyz:f,xx:f 21 設坐標變換N2z2eN21)z(p)x/y(p 第6章 連續(xù)信源的熵、連續(xù)信道的平均互信息與信道容量 dxdy)x/y(plog)x/y(p)x(p)X/Y(h dz)z(plog)z(p dxdz)z(plog)z(p)x(p )eN2log(21)

15、Z(h 第6章 連續(xù)信源的熵、連續(xù)信道的平均互信息與信道容量3、高斯信道的信道容量單符號連續(xù)信道給定時，I(X;Y)對于信源概率密度函數(shù)p(X) 嚴格上凸總能找到一種信源概率密度函數(shù)p(X)，使I(X;Y)達到最大定 義信道給定時平均互信息I(X;Y)的最大值，用C表示表 示 )Y;X(ImaxC )X(p 第6章 連續(xù)信源的熵、連續(xù)信道的平均互信息與信道容量)eN2log(21)Y(hmax)Z(h)Y(hmax )X/Y(h)Y(hmax)Y;X(ImaxC )X(p)X(p )X(p)X(p 信源平均功率受限下，信宿高斯分布是否可達？NP0 P0 2Z2X2YY 2XX ，方差高斯分布，

16、且均值的高斯分布，信宿滿足，方差信源取均值 第6章 連續(xù)信源的熵、連續(xù)信道的平均互信息與信道容量SNRNP信噪功率比式中達到信道容量的信源概率密度函數(shù) P2x2eP21)x(p)xX(p 信道容量)NP1log(21)eN2log(21)NP(e2log21C 第6章 連續(xù)信源的熵、連續(xù)信道的平均互信息與信道容量6.4 帶寬有限高斯信道的信道容量香農(nóng)公式1、波形信道定 義對應于波形信源和波形信宿的信道表 示信源連續(xù)型隨機過程X(t)信宿連續(xù)型隨機過程Y(t) 第6章 連續(xù)信源的熵、連續(xù)信道的平均互信息與信道容量隨機過程X(t)在t時刻的取值x(t)為信源發(fā)出的消息隨機過程Y(t)在t時刻的取值

17、y(t)為信宿收到的消息)t(xp)t(x)t(Xp)t(dX )t(x)t(XdP b,a)t(x)t(X )t(yp)t(y)t(Yp)t(dY )t(y)t(YdP b,ad,cd,c)t(y)t(Y 通常 第6章 連續(xù)信源的熵、連續(xù)信道的平均互信息與信道容量X(t) py(t)/x(t) Y(t)py(t)/x(t)為信道轉移概率密度函數(shù)1)t(dy)t(x/)t(yp dc 其中 第6章 連續(xù)信源的熵、連續(xù)信道的平均互信息與信道容量2、帶寬有限高斯信道定 義的波形信道作用下帶寬限定為的白色高斯加性噪聲、方差均值W WGANN0 2 表 示 )t(h)t(Z)t(X)t(Y 激響應的理

18、想低通濾波器的沖帶寬為式中W)t(h 第6章 連續(xù)信源的熵、連續(xù)信道的平均互信息與信道容量3、帶寬有限高斯信道的信道容量根據(jù)采樣定理，不失真?zhèn)鬏斠粭l消息的最小時間T=1/2W0,T時間，波形信道單符號連續(xù)信道信源平均功率受限下信道容量 )NP1log(21)W2/N W2/P1log(21C 第6章 連續(xù)信源的熵、連續(xù)信道的平均互信息與信道容量達到信道容量的信源概率密度函數(shù)P2x2eP21)x(p)xX(p 第6章 連續(xù)信源的熵、連續(xù)信道的平均互信息與信道容量4、單位時間的信道容量波形信道習慣于信道單位時間內(nèi)平均互信息的最大值單位時間的信道容量定 義單位時間的信道容量，用Ct表示表 示 )Y;

19、X(ImaxT1TCC )X(pt 第6章 連續(xù)信源的熵、連續(xù)信道的平均互信息與信道容量其中T為平均傳輸一條消息所需的時間單位為bit/sec(bps) 第6章 連續(xù)信源的熵、連續(xù)信道的平均互信息與信道容量5、香農(nóng)公式)WNP1log(W)NP1log(WW21/)NP1log(21TCC 0t T=1/2W的單邊功率譜密度式中WGANWNN 0 第6章 連續(xù)信源的熵、連續(xù)信道的平均互信息與信道容量6、香農(nóng)公式的意義信道容量正比于信噪功率比，且信噪功率比小于1時信道容量仍大于0信道容量正比于所傳輸信號的帶寬，但所傳輸信號的帶寬趨于無窮時，信道容量趨于有限值elogNP 0 第6章 連續(xù)信源的熵

20、、連續(xù)信道的平均互信息與信道容量elogNPelogNPWNP1 1lim elogW1 WNPWNP1 1limW1 )WNP1log(limClim 000w 2 200w0wtw 信道容量一定時，增大所傳輸信號的帶寬，可以降低對信噪功率比的要求，反之亦然 第6章 連續(xù)信源的熵、連續(xù)信道的平均互信息與信道容量帶寬有限高斯信道所傳輸信號的帶寬W=3kHz，信道容量Ct=1.5104bps，求信噪功率比；如果將信噪功率比降低到-3dB，求保持同樣信道容量所需的帶寬 43t 105.1)NP1log(103)NP1log(WC 5315)NP1log( 例 1 )dB(9.1431lg10NPlg103113212NP 5 第6章 連續(xù)信源的熵、連續(xù)信道的平均互信息與信道容量4t 105.15.1logW)5.01log(W)NP1log(WC 5.010NP3NPlg10 3.0 )kHz(6.25585.0 105.15.1log105.1W 44