信息論基礎-離散無記憶信道信道容量.ppt

《信息論基礎-離散無記憶信道信道容量.ppt》由會員分享，可在線閱讀，更多相關《信息論基礎-離散無記憶信道信道容量.ppt（23頁珍藏版）》請在裝配圖網(wǎng)上搜索。

第4章數(shù)據(jù)可靠傳輸和信道編碼 2 數(shù)據(jù)可靠傳輸和信道編碼 4 1離散無記憶信道和信道容量4 2信道容量的計算4 3信道編碼理論4 4帶反饋的信道模型4 5聯(lián)合信源 信道編碼定理4 6線性分組碼習題四 3 數(shù)據(jù)可靠傳輸和信道編碼 4 1離散無記憶信道和信道容量4 2信道容量的計算4 3信道編碼理論4 4帶反饋的信道模型4 5聯(lián)合信源 信道編碼定理4 6線性分組碼習題四 4 離散無記憶信道和信道容量 為確定信道傳輸?shù)南薅?就要考慮信道傳遞信息的基本單元 信號 信號無論采用光 聲 電還是其他形式都是一種物理過程 每個信號都需要一定的時間 在烽火臺上點燃烽火也許要花好幾分鐘 現(xiàn)代極高頻無線電通信傳遞信號所需要的時間還不到億分之一秒 盡管如此 總要有一定的時間間隔才能把信號與信號分離開來 超過時間間隔的一定限度 信號就會無法分辨 典型的例子就是一個人說話過分快 聽的人根本聽不懂他在說什么 因此 要使一個信道能夠起到傳遞信息的功能 每分鐘傳遞的信號數(shù)目就要有一定的限度 5 離散無記憶信道和信道容量 這 點是比較容易理解的 再比如 我們規(guī)定公共汽車必須一輛接一輛地開來 每輛汽車必須在車站停一分鐘 以便乘客上下 那么不管增加多少車輛 也不會越過每分鐘一輛的速率 既然如此 要想提高運輸量 途徑就是增加每輛汽車的裝載量 那么能否提高每個信號所攜帶的信息量呢 信息量的定義告訴我們 一個事件發(fā)小的概率越小 告訴我們這件事是否發(fā)生的信號帶來的信息量越大 進而增大每個信號信息量的辦法是增加不同信號的數(shù)目 6 離散無記憶信道和信道容量 但是 對于任何給定的信道來講 可以分辨的信號數(shù)目 這和前面所講的以時間間隔分辨信號是不同的概念 是有限的 例如對于電報來講 不同的信號只有點和劃 對于電話來講 可以分辨的音素也是有限的 即使在沒有噪聲干擾的情況下 每輛公共汽車可以載滿乘客 不必擔心中途會發(fā)少什么意外 信道在單位時間內(nèi)只能準確地傳遞有限的信號 而每個信號所攜帶的信息量又是有限的 因此信道在單位時間內(nèi)傳遞的信息量也是有限的 該限度就稱為信道容量 信道容量限制了通信系統(tǒng)的能力 7 離散無記憶信道 提高傳輸?shù)目煽啃?8 信道的分類 根據(jù)信道用戶的多少 可分為 1 單用戶信道 只有一個輸入端和一個輸出端 2 多用戶信道 廣播 電視 衛(wèi)星 計算機網(wǎng) 至少有一端有兩個以上的用戶 雙向通信 離散無記憶信道 9 根據(jù)符號的概率分布 可分為 1 有記憶信道 2 無記憶信道 任一時刻輸出符號只統(tǒng)計依賴于對應時刻輸入符號的信道 離散無記憶信道 10 根據(jù)輸入輸出信號的特點 可分為 1 離散信道 輸入集和輸出集都是離散集 電報信道和數(shù)據(jù)信道 2 連續(xù)信道 電視和電話信道 3 半離散半連續(xù)信道 輸入集和輸出集中一個是連續(xù)集 另一個是離散集 連續(xù)信道加上數(shù)字調(diào)制器或數(shù)字解調(diào)器 4 波形信道 以下我們只研究單用戶離散無記憶信道 離散無記憶信道 數(shù)字信道以數(shù)字脈沖形式 離散信號 傳輸數(shù)據(jù) 11 滿足離散無記憶信道的充要條件是其中 輸入符號集X x1 x2 xN 輸出符號集Y y1 y2 yN 離散無記憶信道 12 信道轉(zhuǎn)移概率分布的矩陣形式 離散無記憶信道 信道轉(zhuǎn)移概率 13 信道轉(zhuǎn)移概率分布的圖示 離散無記憶信道 14 信道的任務是以信號方式傳輸信息和存儲信息 因此 研究信道就是研究信道中能夠傳送或存儲的最大信息量 即信息無差錯傳輸?shù)淖畲笏俾?就是信道容量問題 因此 首先要考慮信道中平均每個符號能傳輸?shù)男畔⒘?平均互信息 區(qū)分 帶寬與信道容量 信道容量 15 帶寬 信道可以不失真地傳輸信號的頻率范圍 為不同應用而設計的傳輸媒體所支持的帶寬有所不同 在現(xiàn)代網(wǎng)絡技術中 帶寬 表示信道的數(shù)據(jù)傳輸速率 信道容量 信道在單位時間內(nèi)可以傳輸?shù)淖畲笮盘柫?表示信道的傳輸能力 信道容量有時也表示為單位時間內(nèi)可傳輸?shù)亩M制位的位數(shù) 稱信道的數(shù)據(jù)傳輸速率 位速率 以位 秒 b s 形式予以表示 簡記為bps 信道容量和信道帶寬具有正比的關系 帶寬越大 容量越大 局域網(wǎng)帶寬 傳輸速率 10Mbps 100Mbps 1000Mbps 廣域網(wǎng)帶寬 傳輸速率 64Kbps 2Mbps 155Mbps等 信道容量 16 由于I X Y H X H X Y bit 符號是輸入隨機變量X的概率分布p x 的上凸函數(shù) 因此對于一個確定信道 總存在一個信源 某種概率分布p0 x 使得傳輸每個符號平均獲得的信息量最大 即每個固定信道都有一個最大的信息傳輸率 定義這個最大值為信道容量C 離散無記憶信道和信道容量 17 離散無記憶信道和信道容量 18 通常 P xi 稱為信道的入口分布P yi 稱為信道的出口分布i x y logP x y P x P y 為入口與出口信號的互信息密度函數(shù)p0 x 為最大入口分布 其中 輸入符號集X x1 x2 xN 輸出符號集Y y1 y2 yN 離散無記憶信道和信道容量 19 注 1 C與輸入信源的概率分布無關 它只是信道傳輸概率的函數(shù) 只與信道的統(tǒng)計特性有關 是完全描述信道特性的參數(shù) 是信道能夠傳輸?shù)淖畲笮畔⒘?2 從數(shù)學上來說 計算C就是求I X Y 的最大值 但是 對于一般信道計算相當復雜 這里我們只討論幾種典型的無記憶信道的C的計算 離散無記憶信道和信道容量 20 如果一個離散信道的信道轉(zhuǎn)移矩陣中的每一行都是由同一組元素的不同組合構成的 并且每一列也是由這一組元素組成的 則稱為對稱信道 如 和 2 1二進對稱信道 BSC 離散無記憶信道和信道容量 21 X 0 1 Y 0 1 p 0 0 p 1 1 1 p p 0 1 p 1 0 p 01 p0 pp 11 p1 p稱為交叉概率誤差 離散無記憶信道和信道容量 22 如果信道的輸入概率分布X w 1 w 則由此可得 離散無記憶信道和信道容量 23 平均互信息對存在一個極大值 即當時 有極大值 從而BSC的信道容量 最大入口分布 離散無記憶信道和信道容量