《信道模型信道容量》PPT課件.ppt

《《信道模型信道容量》PPT課件.ppt》由會(huì)員分享，可在線閱讀，更多相關(guān)《《信道模型信道容量》PPT課件.ppt（63頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

1、1 第 3章 信 道 容 量o 3.1 信 道 的 數(shù) 學(xué) 模 型 和 分 類(lèi)o 3.2 單 符 號(hào) 離 散 信 道 的 信 道 容 量n 3.2.1 信 道 容 量 的 定 義n 3.2.2 幾 種 特 殊 離 散 信 道 的 信 道 容 量n 3.2.3 離 散 信 道 容 量 的 一 般 計(jì) 算 方 法o 3.3 多 符 號(hào) 離 散 信 道o 3.4 多 用 戶 信 道o 3.5 連 續(xù) 信 道o 3.6 信 道 編 碼 定 理 2 3.1 信 道 的 數(shù) 學(xué) 模 型 和 分 類(lèi)o 信 道 是 信 息 傳 輸 的 媒 介 或 通 道 。 信 道 可 以看 成 是 一 個(gè) 變 換 器 ，

2、它 將 輸 入 事 件 X變 換 成輸 出 事 件 Y。 X與 Y之 間 是 統(tǒng) 計(jì) 依 賴 關(guān) 系 。o 信 道 的 數(shù) 學(xué) 模 型 ： X P(y/x) Y信 道X Y干 擾 ( / )p y x 3 信 道 的 分 類(lèi) 按 時(shí) 間 特 性 ：o 離 散 信 道 ： 輸 入 離 散 ， 輸 出 離 散o 連 續(xù) 信 道 ： 輸 入 連 續(xù) ， 輸 出 連 續(xù)o 半 連 續(xù) 信 道 ： 輸 入 和 輸 出 一 個(gè) 離 散 一 個(gè) 連 續(xù)o 時(shí) 間 離 散 的 連 續(xù) 信 道 ： 輸 入 和 輸 出 分 別 為 有限 個(gè) 或 可 數(shù) 無(wú) 限 個(gè) 取 自 連 續(xù) 集 的 序 列 4 信 道 的

3、分 類(lèi) 按 輸 入 輸 出 個(gè) 數(shù)：o 兩 端 信 道 （ 兩 用 戶 信 道 ） ： 輸 入 和 輸 出 均 只有 一 個(gè) 事 件 集 ；o 多 端 信 道 （ 多 用 戶 信 道 ） ： 輸 入 和 輸 出 中 至少 有 一 個(gè) 具 有 兩 個(gè) 或 兩 個(gè) 以 上 的 事 件 集 。 5 信 道 的 分 類(lèi) 按 信 道 接 入：o 多 元 接 入 信 道 ： 多 個(gè) 不 同 信 源 的 信 息 經(jīng) 編 碼后 送 入 統(tǒng) 一 信 道 傳 輸 ， 接 收 端 譯 碼 后 再 送 給不 同 的 信 宿 。 如 在 衛(wèi) 星 通 信 系 統(tǒng) 中 的 應(yīng) 用 。o 廣 播 信 道 ： 單 一 輸 入

4、， 多 個(gè) 輸 出 。 6 信 道 的 分 類(lèi) 按 統(tǒng) 計(jì) 特 性：o 恒 參 信 道 ： 統(tǒng) 計(jì) 特 性 不 隨 時(shí) 間 變 化 ；o 隨 參 信 道 ： 統(tǒng) 計(jì) 特 性 隨 時(shí) 間 變 化 。 7 信 道 的 分 類(lèi) 按 記 憶 特 性o 無(wú) 記 憶 信 道 ： 信 道 輸 出 僅 與 當(dāng) 前 的 輸 入 有 關(guān) ；o 有 記 憶 信 道 ： 信 道 輸 出 不 僅 與 當(dāng) 前 輸 入 有 關(guān) ，還 與 過(guò) 去 的 輸 入 有 關(guān) 。 8 平 均 互 信 息o 定 義 ： 原 始 信 源 熵 與 信 道 疑 義 度 之 差 稱 為 平均 互 信 息o 含 義 ： 接 收 到 輸 出 符 號(hào)

5、 集 Y以 后 ， 平 均 每 個(gè)符 號(hào) 獲 得 的 關(guān) 于 X的 信 息 量 。 ( ; ) ( ) ( / )defI X Y H X H X Y 9 o 平 均 互 信 息 量 等 于 X， Y的 熵 與 它 們 的 聯(lián) 合 熵 之 差 ，即n I(X;Y)= H(X)+H(Y)H(X,Y)o 平 均 互 信 息 量 總 大 于 或 等 于 0， 即n I(X;Y)=I(Y;X)0o X與 X的 平 均 互 信 息 量 等 于 X的 熵 ， 即n I(X;X)=H(X)o 對(duì) 于 固 定 的 信 源 分 布 ， 平 均 互 信 息 量 I(X;Y)是 信 道傳 遞 概 率 p(y/x)的

6、 下 凸 函 數(shù) 。o 對(duì) 于 固 定 的 信 道 ， 平 均 互 信 息 I(X;Y)是 輸 入 信 源 的概 率 分 布 p(x) 的 上 凸 函 數(shù) 。平 均 互 信 息 量 10 例 3.2.3 分 析 二 元 對(duì) 稱 信 道o 考 慮 二 元 信 道0 1 =1 1X p pP w w p pp p P信 源 概 率 空 間 為 ： 信 道 矩 陣 為 ：其 中 ， 為 信 道 錯(cuò) 誤 傳 遞 概 率 。1 p1 pppX Y1 0a 2 1a 10 b21 b 11 例 3.2.3固 定 二 元 對(duì) 稱 信 道 的 平 均 互 信 息o 二 元 對(duì) 稱 信 道 的 平 均 互 信

7、息 為 ：o 定 理 ： 當(dāng) 信 道 固 定 ， 即 p 為 一 個(gè) 固 定 常 數(shù) 時(shí) ，可 得 出 I (X;Y )是 信 源 分 布 w 的 上 凸 函 數(shù) ，如 下 圖 所 示 （ 固 定 二 元 對(duì) 稱 信 道 的 平 均 互 信息 ） ( ; )I X Y w1 ( )H p 0 1/2 1( ; ) ( ) ( )I X Y H wp wp H p 12 例 3.2.3固 定 二 元 對(duì) 稱 信 道 的 平 均 互 信 息o 圖 示 曲 線 表 明 ， 對(duì) 于 固 定 的 信 道 ， 輸 入 符 號(hào)集 X的 概 率 分 布 不 同 時(shí) ， 在 接 收 端 平 均 每 個(gè)符 號(hào) 所

8、 獲 得 的 信 息 量 就 不 同 。o 當(dāng) 輸 入 符 號(hào) 為 等 概 率 分 布 時(shí) ， 即 平 均 互 信 息 量 I (X;Y )為 最 大 值 ， 這 時(shí) ， 接收 每 個(gè) 符 號(hào) 所 獲 得 的 信 息 量 最 大 。o 該 定 理 是 研 究 信 道 容 量 的 基 礎(chǔ) 。 1/2 w w 13 例 3.2.3固 定 二 元 對(duì) 稱 信 道 的 平 均 互 信 息o 圖 示 曲 線 表 明 ， 對(duì) 于 固 定 的 信 道 ， 輸 入 符 號(hào)集 X的 概 率 分 布 不 同 時(shí) ， 在 接 收 端 平 均 每 個(gè)符 號(hào) 所 獲 得 的 信 息 量 就 不 同 。o 當(dāng) 輸 入 符

9、 號(hào) 為 等 概 率 分 布 時(shí) ， 即 平 均 互 信 息 量 I (X;Y )為 最 大 值 ， 這 時(shí) ， 接收 每 個(gè) 符 號(hào) 所 獲 得 的 信 息 量 最 大 。o 該 定 理 是 研 究 信 道 容 量 的 基 礎(chǔ) 。 1/2 w w 14 例 3.2.3固 定 信 源 分 布 時(shí) 的 平 均 互 信 息o 二 元 對(duì) 稱 信 道 的 平 均 互 信 息 為o 定 理 ： 當(dāng) 固 定 信 源 的 概 率 分 布 w 時(shí) ， 則 平 均互 信 息 I (X;Y) 是 信 道 特 性 p 的 下 凸 函 數(shù) ，如 下 圖 所 示 ：( ; ) ( ) ( )I X Y H wp wp

10、 H p ( ; )I X Y( )H w ( )H w p0 0.2 0.4 0.6 0.8 15 例 3.2.3固 定 信 源 分 布 時(shí) 的 平 均 互 信 息o 從 上 圖 可 知 ， 當(dāng) 二 元 信 源 固 定 后 ， 改 變 信 道特 性 p 可 獲 得 不 同 的 平 均 互 信 息 I ( X;Y ) 。o 當(dāng) p = 1/2 時(shí) ， I ( X;Y ) = 0， 即 在 信 道 輸 出端 獲 得 的 信 息 最 小 ， 這 意 味 著 信 源 的 信 息 全部 損 失 在 信 道 中 ， 這 是 一 種 最 差 的 信 道 ， 其噪 聲 最 大 。o 該 定 理 是 信 息

11、率 失 真 論 的 基 礎(chǔ) 。 16 第 3章 信 道 容 量o 3.1 信 道 的 數(shù) 學(xué) 模 型 和 分 類(lèi)o 3.2 單 符 號(hào) 離 散 信 道 的 信 道 容 量n 3.2.1 信 道 容 量 的 定 義n 3.2.2 幾 種 特 殊 離 散 信 道 的 信 道 容 量n 3.2.3 離 散 信 道 容 量 的 一 般 計(jì) 算 方 法o 3.3 多 符 號(hào) 離 散 信 道o 3.4 多 用 戶 信 道o 3.5 連 續(xù) 信 道o 3.6 信 道 編 碼 定 理 17 信 道 容 量 的 定 義o 定 義 ： 信 道 容 量 為 平 均 互 信 息 的 最 大 值n 其 單 位 是 比

12、特 /符 號(hào) 或 奈 特 /符 號(hào) 。o 平 均 互 信 息 I (X;Y ) 是 輸 入 變 量 X 概 率 分 布 p(x) 的 上 凸 函 數(shù) 。n 對(duì) 于 一 個(gè) 固 定 的 信 道 ， 總 存 在 一 種 信 源 概 率 分 布 ， 使 傳輸 每 一 個(gè) 符 號(hào) 平 均 獲 得 的 信 息 量 ， 即 平 均 互 信 息 I(X;Y)最 大 ， 而 相 應(yīng) 的 概 率 分 布 p (x) 稱 為 。( )max ( ; )def p xC I X Y 18 信 道 容 量 的 概 念o 信 道 容 量 C僅 與 信 道 的 統(tǒng) 計(jì) 特 性 有 關(guān) ， 與 信 源 分 布無(wú) 關(guān) 。n

13、I (X;Y ) 的 值 是 由 信 道 傳 遞 概 率 決 定 的 。n 信 道 傳 遞 概 率 矩 陣 描 述 了 信 道 的 統(tǒng) 計(jì) 特 性o 平 均 互 信 息 I (X;Y ) 在 數(shù) 值 計(jì) 算 上 表 現(xiàn) 為 輸 入 分 布 p(x) 的 上 凸 函 數(shù) ， 所 以 存 在 一 個(gè) 使 某 一 特 定 信 道 的信 息 量 達(dá) 到 極 大 值 信 道 容 量 C的 信 源 。o 信 道 容 量 表 征 信 道 傳 送 信 息 的 最 大 能 力 。n 實(shí) 際 中 信 道 傳 送 的 信 息 量 必 須 小 于 信 道 容 量 ， 否 則 在 傳送 過(guò) 程 中 將 會(huì) 出 現(xiàn) 錯(cuò)

14、誤 。 19 信 息 傳 輸 率 R與 信 息 傳 輸 速 率 Rto R 定 義 為 ： 信 道 中 平 均 每 個(gè) 符 號(hào) 所 能 傳 送 的信 息 量 。 單 位 為 ： 比 特 /符 號(hào) 。n 平 均 互 信 息 I ( X;Y )是 接 收 到 符 號(hào) Y 后 平 均 每 個(gè)符 號(hào) 獲 得 的 關(guān) 于 X 的 信 息 量 。n 信 道 的 信 息 傳 輸 率 就 是 平 均 互 信 息n R = I ( X;Y )o 如 果 平 均 傳 輸 一 個(gè) 符 號(hào) 為 t 秒 ， 則 信 道 每 秒平 均 傳 輸 的 信 息 量 Rt（ 單 位 ： 比 特 /秒 ） ， 一 般 稱 為 信

15、息 傳 輸 速 率 ： 1 ( ; )tR I X Yt 20 信 道 容 量 與 信 息 傳 輸 速 率o 信 道 容 量 C 實(shí) 際 上 是 某 一 個(gè) 固 定 信 道 的 最 大的 信 息 傳 輸 速 率 。o 如 果 平 均 傳 輸 一 個(gè) 符 號(hào) 需 要 t 秒 鐘 ， 則 信 道在 單 位 時(shí) 間 內(nèi) 平 均 傳 輸 的 最 大 信 息 量 Ct（ 單位 ： 比 特 /秒 ） 為 ： ( )1max ( ; )t p xC I X Yt 21 第 3章 信 道 容 量o 3.1 信 道 的 數(shù) 學(xué) 模 型 和 分 類(lèi)o 3.2 單 符 號(hào) 離 散 信 道 的 信 道 容 量n 3.

16、2.1 信 道 容 量 的 定 義n 3.2.2 幾 種 特 殊 離 散 信 道 的 信 道 容 量n 3.2.3 離 散 信 道 容 量 的 一 般 計(jì) 算 方 法o 3.3 多 符 號(hào) 離 散 信 道o 3.4 多 用 戶 信 道o 3.5 連 續(xù) 信 道o 3.6 信 道 編 碼 定 理 22 單 符 號(hào) 離 散 信 道o 單 符 號(hào) 離 散 信 道 的 輸 入 和 輸 出 都 是 單 個(gè) 隨 機(jī)變 量 ， 其 數(shù) 學(xué) 模 型 如 下 圖 ：o 信 道 的 輸 入 隨 機(jī) 變 量 取 值 于 符 號(hào) 集 Xo 信 道 的 輸 出 隨 機(jī) 變 量 取 值 于 符 號(hào) 集 Yo 信 道 的

17、傳 遞 概 率 為 1, 2, 1, 2, ., ; ., n mX x x x Y y y y 信 道 ( / )j ip y xX Y( / )ij j ip p y x 23 簡(jiǎn) 單 的 離 散 無(wú) 記 憶 信 道o 信 道 矩 陣 為 ：o 且 滿 足n 這 意 味 著 矩 陣 中 每 一 行 之 和 為 1。( / ) ( / )( / ), . ij j i j ij ip p y x P Y y X xX P y x Y 其 中其 概 率 空 間 為 , 11 11 mn nmp pp p P 1 1; 1,2, ,jm ijp i n 24 幾 種 特 殊 離 散 信 道 的

18、信 道 容 量o 離 散 無(wú) 噪 信 道 的 信 道 容 量o 強(qiáng) 對(duì) 稱 離 散 信 道 的 信 道 容 量o 對(duì) 稱 離 散 信 道 的 信 道 容 量o 準(zhǔn) 對(duì) 稱 離 散 信 道 的 信 道 容 量 25 離 散 無(wú) 噪 信 道o 離 散 無(wú) 噪 信 道 的 輸 出 Y與 輸 入 X之 間 有 著 確定 的 關(guān) 系 ， 一 般 有 以 下 三 類(lèi) ：n 無(wú) 損 信 道n 無(wú) 噪 （ 確 定 ） 信 道n 無(wú) 噪 無(wú) 損 信 道 26 損 失 熵 H(X/Y)與 噪 聲 熵 H(Y/X) | | ;| | ;稱 為 損 失 熵 ， 即 信 道 疑 義 度 。表 示 信 源 符 號(hào) 通 過(guò)

19、 有 噪 信 道 傳 輸 后 所 引 起 的 信 息 量 的 損 失 。因 為損 失 熵 等 于 信 源 所 含 有 的 信 息 量 減 去 信 道 輸 出 端 接 收 到 符 號(hào) 集 之 后 平 均 每 個(gè) 符 號(hào) 所 獲 得 的 關(guān) 于 輸 入 集 的 信 息 量 。稱 為 噪 聲 熵 ， 反 映 了 信 道 中 噪 聲 源 的 不 確 定 性 。因 為噪 聲 熵 等 于 輸 出 信 源 所 H X Y H X Y H X I X YX Y XH Y X H Y X H Y I X YY 含 有 的 信 息 量 減 去 信 道 輸 出 端 接 收 到 符 號(hào) 集 之 后 平 均 每 個(gè) 符

20、 號(hào) 所 獲 得 的 關(guān) 于 輸 入 集 的 信 息 量 。Y X 27 無(wú) 損 信 道o 無(wú) 損 信 道 的 一 個(gè) 輸 入 對(duì) 應(yīng) 多個(gè) 互 不 相 交 的 輸 出 。 如 右 圖所 示 31/2 1/2 0 0 0 0 0 0 3/5 3/10 1/10 0 0 0 0 0 0 10 y| 1 y| 0j ii j j inP Bp x y BH X Y 當(dāng) 時(shí) ， 其 信 道 矩 陣 為信 道 的 后 向 概 率故 知 損 失 熵 1/10 my5y3x 6y 3B1x 1y2y 1B1/21/21 2x 3y4y 2B3/5 3/10nx nBX Y 28 無(wú) 損 信 道 的 信 道

21、 容 量 ( ) ( )| 0 ( ; ) ( ) ( ) C=max ( ; ) max ( ) log i j p x p x x yH Y XI X Y H X H YI X Y H X n 在 這 類(lèi) 信 道 中 ， 因 為 信 源 發(fā) 生 符 號(hào) ，并 不 能 確 定 在 信 道 輸 出 端 會(huì) 發(fā) 生 哪 個(gè) ，因 此 噪 聲 熵 。于 是 ， 可 求 出 無(wú) 損 信 道 的 平 均 互 信 息 為其 信 道 容 量 29 無(wú) 噪 信 道o 無(wú) 噪 信 道 的 一 個(gè) 輸 出 對(duì)應(yīng) 著 多 個(gè) 互 不 相 交 的 輸入 ， 如 右 圖 所 示 。 2 1 0 01 0 00 1 0

22、0 1 00 1 0 0 | 1 | 0i jj i i jm x Ap y x x AH Y X P當(dāng) 時(shí) ， 信 道 矩 陣 為 : 前 向 概 率因 此 ， 噪 聲 熵 。 5x nx3x4x1x2x 1y2ymy1A2AmA 11111111X Y 30 無(wú) 噪 信 道 的 信 道 容 量 ( ) ( ) | 0 ( ; ) ( ) ( ) C=max ( ; ) max ( ) log j i p x p x y xH X YI X Y H Y H XI X Y H Y m 在 這 類(lèi) 信 道 中 ， 信 道 輸 出 端 接 收 到 某 個(gè) 以 后 ，并 不 能 斷 定 是 哪 一

23、個(gè) 輸 入 符 號(hào) ，因 而 損 失 熵 。于 是 ， 可 以 求 出 確 定 信 道 的 平 均 互 信 息 為其 信 道 容 量達(dá) 到 此 類(lèi) 信 道 的 信 道 容 量 的 概 率 分 布 是使 信 道 輸 出 分 布 為 等 概 分 布 的 輸 入 分 布 。 31 無(wú) 損 無(wú) 噪 信 道o 無(wú) 損 無(wú) 噪 信 道 的 輸 入 和輸 出 是 一 一 對(duì) 應(yīng) 關(guān) 系 ，如 右 圖 所 示 。 3xnx1x2x 1y2y my1111X Y3y 3 1 0 00 1 0 0 0 1 | 0 | | 1 j ii jj i i jn p y xp x y i jp y x p x y i j

24、 P當(dāng) 時(shí) ， 其 信 道 矩 陣 為 單 位 陣 信 道 的 前 向 概 率 和 后 向 概 率 一 致 。 即 32 無(wú) 損 無(wú) 噪 信 道 ( ) ( ) | ( ; ) ( ) ( ) C = max ( ; ) max ( ) log p x p x H Y XH X YI X Y H X H Y YI X Y H X n 信 道 的 噪 聲 熵 和 損 失 熵 均 等 于 零 。故 無(wú) 損 確 定 信 道 的 平 均 互 信 息 為它 表 示 信 道 輸 出 端 接 收 到 符 號(hào) 后 ， 平 均 獲 得 的信 息 量 就 是 信 源 發(fā) 出 每 個(gè) 符 號(hào) 所 含 有 的 平 均

25、 信 息 量 ，信 道 中 沒(méi) 有 損 失 信 息 。其 信 道 容 量 33 幾 種 特 殊 離 散 信 道 的 信 道 容 量o 離 散 無(wú) 噪 信 道 的 信 道 容 量o 強(qiáng) 對(duì) 稱 離 散 信 道 的 信 道 容 量o 對(duì) 稱 離 散 信 道 的 信 道 容 量o 準(zhǔn) 對(duì) 稱 離 散 信 道 的 信 道 容 量 34 離 散 對(duì) 稱 信 道o 信 道 矩 陣 具 有 很 強(qiáng) 對(duì) 稱 性 的 特 殊 信 道n 離 散 輸 入 對(duì) 稱 信 道n 離 散 輸 出 對(duì) 稱 信 道n 對(duì) 稱 信 道 35 離 散 輸 入 對(duì) 稱 信 道o 定 義 ： 若 一 個(gè) 離散 無(wú) 記 憶 信 道 的信

26、 道 矩 陣 中 ， 每一 行 都 是 其 它 行的 同 一 組 元 素 的不 同 排 列 ， 則 稱此 類(lèi) 信 道 為 離 散輸 入 對(duì) 稱 信 道 。n 矩 陣 的 行 是 排 列的 。 1/3 1/3 1/6 1/61/6 1/3 1/6 1/3| log | | log | | log | | i j j ii j i j i j ii jj k j kj kH Y X p x y p y xp x p y x p y xp y x p y xH Y X H Y X x P例 如 ， 信 道 矩 陣 為對(duì) 于 輸 入 對(duì) 稱 信 道 有 36 離 散 輸 出 對(duì) 稱 信 道o 定 義

27、： 若 一 個(gè) 離 散 無(wú)記 憶 信 道 的 信 道 矩 陣中 ， 每 一 列 都 是 其 他列 的 同 一 組 元 素 的 不同 排 列 ， 則 稱 該 類(lèi) 信道 為 離 散 輸 出 對(duì) 稱 信道 。n 矩 陣 的 列 是 排 列 的 。 0.4 0.60.6 0.40.5 0.5例 如 : P 37 離 散 準(zhǔn) 對(duì) 稱 信 道 、 對(duì) 稱 信 道o 定 義 ： 若 一 個(gè) 離 散 無(wú) 記 憶 信 道 的 信 道 矩 陣 中 ， 按 照 信 道的 輸 出 集 Y(即 信 道 矩 陣 的 列 )可 以 將 信 道 劃 分 成 s個(gè) 子 集(子 矩 陣 )， 每 個(gè) 子 矩 陣 中 的 每 一

28、行 (列 )都 是 其 它 行 (列 )的 同 一 組 元 素 的 不 同 排 列 ， 則 稱 這 類(lèi) 信 道 為 離 散 準(zhǔn) 對(duì) 稱信 道 。n 矩 陣 的 行 是 可 排 列 的 ， 列 不 可 排 列 。n 子 矩 陣 具 有 可 排 列 性 。o 當(dāng) 劃 分 的 子 集 只 有 一 個(gè) 時(shí) ， 信 道 是 關(guān) 于 輸 入 和 輸 出 對(duì) 稱的 ， 這 類(lèi) 信 道 稱 為 對(duì) 稱 信 道 。n 矩 陣 具 有 可 排 列 性 ： 矩 陣 的 行 和 列 都 是 可 排 列 的 。 38 離 散 （ 準(zhǔn) ） 對(duì) 稱 信 道 舉 例0.8 0.1 0.1 = 0.1 0.1 0.80.8 0

29、.1 0.1 = =0.1 0.8 0.11 1 11 1 1 1 2 3 61 1 13 3 6 6 = =1 1 1 1 6 2 31 1 16 6 3 3 3 6 2 1 2P P PP P例 如 ， 信 道 矩 陣 為它 可 以 劃 分 為 兩 個(gè) 子 矩 陣滿 足 上 述 定 義 ， 所 以 它 是 準(zhǔn) 對(duì) 稱 信 道 。例 如 ， 信 道 矩 陣 為是 對(duì) 稱 信 道 。 39 定 理o 定 理 ： 若 一 個(gè) 離 散 對(duì) 稱 信 道 具 有 n 個(gè) 輸 入符 號(hào) ， m 個(gè) 輸 出 符 號(hào) ， 則 當(dāng) 輸 入 為 等 概 分布 時(shí) ， 達(dá) 到 信 道 容 量 ， 且 1 21 2

30、 log ( )mmC m H q q qq q q 其 中 ， 為 信 道 矩 陣 中 的 任 一 行 。 40 定 理 證 明 1 21 2 1 2 1( / )log ( / ) ( ; ) ( ) ( / ) 1( / ) ( )log ( / )( )( ) ( / )( / ) ( , , , ) ( ; ) ( / ) ( , , , )XYXX mm mY I X Y H Y H Y XH Y X p xy p y xp xp x H Y X x xH Y X x H q q qq q q I X Y H Y H q q qp y x p y xH Y X x 其 中 噪 聲

31、熵由 于 信 道 的 對(duì) 稱 性 ， 與 無(wú) 關(guān) ，從 而 有 ： 其 中 ， 為 信 道 矩 陣 中 的 任 一 行 。 因 此 得 41 定 理 證 明 （ 續(xù) ） 1 2( ) ( ) 1 2max ( ; ) max ( ) ( , , , )( ) log log ( , , , )mp x p x mC I X Y H Y H q q qH Y mY C m H q q q 根 據(jù) 信 道 容 量 的 定 義 ， 可 得已 知 ， 等 號(hào) 成 立 的 充 要 條 件 是 輸 出 為 等 概 分 布 所 以 ： o 引 理 ： 對(duì) 于 對(duì) 稱 信 道 ， 只 有 當(dāng) 信 道 輸 入

32、分 布 為 等 概分 布 時(shí) ， 輸 出 分 布 才 能 為 等 概 分 布 。o 根 據(jù) 引 理 ， 對(duì) 稱 信 道 的 最 佳 輸 入 分 布 為 等 概 分 布 。 42 例 1 2 1/2 1/3 1/61/6 1/2 1/31/3 1/6 1/2log , , log 1/2 1/3 1/61 1 1 1 1 1 log3 log log log 0.126 /2 2 3 3 6 60.126 nC m H q q q m H P設(shè) 某 離 散 對(duì) 稱 信 道 的 信 道 矩 陣 為該 信 道 的 信 道 容 量 為 : ， ，比 特 符 號(hào)表 明 ， 在 該 對(duì) 稱 信 道 中 ，

33、 每 個(gè) 符 號(hào) 平 均 能 夠 傳 輸 的最 大 信 息 量 為 比 特 。 而 且 只 有 當(dāng) 信 道 輸 入 符 號(hào)是 等 概 分 布 時(shí) 才 能 達(dá) 到 這 個(gè) 最 大 值 。 43 定 理 (準(zhǔn) 對(duì) 稱 信 道 )o 如 果 一 個(gè) n行 m列 單 符 號(hào) 離 散 信 道 矩 陣 P 的 行 是 可 排 列的 ， 列 不 可 排 列 。 矩 陣 中 的 m 列 可 分 成 s 個(gè) 不 相 交 的子 集 分 別 有 m1 , m2 ,., ms 個(gè) 元 素 （ m1 + m2 +.+ ms =m） ， n行 mk , ( k = 1,2, . ,s ) 列 組 成 的 子 矩 陣 P

34、k 具有 可 排 列 性 。 該 準(zhǔn) 對(duì) 稱 信 道 的 容 量 為 ：o 實(shí) 現(xiàn) 離 散 準(zhǔn) 對(duì) 稱 無(wú) 記 憶 信 道 信 道 容 量 的 輸 入 分 布 為 等 概分 布 。 1 211 2 ( )log ( ) ( )( ) ( )s k k k mk mkC m p y p y H q q qq q qp y k p y 其 中 ， 為 信 道 矩 陣 中 的 任 一 行 ，為 第 個(gè) 子 集 中 概 率 的 平 均 值 。 44 準(zhǔn) 對(duì) 稱 信 道 1 2 1 2 1 21 1 ( )( ; ) ( ) ( , , , )( )=log( ), ,( )=- ( )log ( )

35、- ( )log ( )j k ms sm sj j j jj k p y MI X Y H Y H q q qH Y mH Y m sM M M m m mH Y p y p y p y p y 由 信 道 矩 陣 的 行 對(duì) 稱 性 ，由 于 信 道 矩 陣 的 列 不 滿 足 對(duì) 稱 性 ， 當(dāng) 時(shí) ，輸 入 分 布 可 能 出 現(xiàn) 負(fù) 值 。為 了 保 證 輸 入 分 布 的 非 負(fù) 性 ， 可 將 中 的 項(xiàng) 分 成 個(gè) 子 集 ：， 每 個(gè) 子 集 分 別 有 個(gè) 元 素 ， 則 45 準(zhǔn) 對(duì) 稱 信 道( )( ) ( ) ( ) ( )log ( )( ) 1,2 ,- ( )

36、log ( ) - ( )log ( )=-log ( ) ( )=- ( )log ( )( ) ( )j kj k j kj k j jp y Mk k j j j jp y M p y Mj j k j jp y M kk p y p yp y k smp y p y p y p yp y p y m p y p ys p y H Y 令 第 個(gè) 子 集 中 概 率 的 平 均 值 為 ：由 極 值 性 ，由 于 個(gè) 子 矩 陣 都 是 行 列 排 列 的 ， 當(dāng) 輸 入 等 概 時(shí) ， 各 個(gè) 子 矩 陣的 輸 出 等 概 ， 為 ， 此 時(shí) 達(dá) 到 最 大1( )= ( )log (

37、 )s k k kkH Y m p y p y ， 即 46 例 題 (準(zhǔn) 對(duì) 稱 信 道 )1 22 21 11 4 23 12 1 1/2 1/4 1/8 1/81/4 1/2 1/8 1/81/2 1/4 1/8 1/81/4 1/2 1/8 1/8( ) ( / ) 1 1 1 3( ) 2 2 2 4 8( ) ( / ) 1 1 1 1( ) 2 2 8 8 8( ) i j ij i i j ij ik kk PP Pp x p y xp y p x p y xp yC m p y 信 道 矩 陣 將 它 分 成 可 排 列 的子 矩 陣 和 則1 2 1 23 3 1 1 1

38、1 1 1 1 1 1 12 log 2 log log log log log8 8 8 8 2 2 4 4 8 8 8 8log ( ) ( )0.061 ( / )s k m mp y H q q qCC q q q 比 特 信 道 符 號(hào) 其 中 ， 為 信 道 矩 陣 中 的 任 一 行 。 47 均 勻 信 道 （ 強(qiáng) 對(duì) 稱 信 道 ）1 1 1 11 1 11 1 1p p pp n n np p ppP p pn n np p p pn n n 如 果 信 道 輸 入 符 號(hào) 和 輸 出 符 號(hào) 個(gè) 數(shù) 相 同 ， 且 信 道 矩 陣 為式 中 則 稱 此 信 道 為 強(qiáng) 對(duì)

39、 稱 信 道 或 均 勻 信 道 。 48 均 勻 信 道 的 幾 個(gè) 特 性o 均 勻 信 道 是 對(duì) 稱 信 道 的 一 個(gè) 特 例 ；o 輸 入 符 號(hào) 數(shù) 與 輸 出 符 號(hào) 數(shù) 相 等 ；o 信 道 中 總 的 錯(cuò) 誤 概 率 為 p ， 對(duì) 稱 地 平 均 分 配給 n 1 個(gè) 輸 出 符 號(hào) ， n 為 輸 入 符 號(hào) 的 個(gè) 數(shù) ；o 均 勻 信 道 中 不 僅 各 行 之 和 為 1， 而 且 各 列 之和 也 為 1n 一 般 信 道 各 列 之 和 不 一 定 等 于 1o 二 元 對(duì) 稱 信 道 就 是 n = 2 的 均 勻 信 道 。 49 均 勻 信 道 的 信

40、道 容 量 C 1 2log log , , , ,1 1 1 log log log log1 1 1 1 log log log 1 log log 1 mC n H q q qp p pn H p n n np p p pn p p n n n npn p p p nn p n H p p p 證 明 ：其 中 ， 是 錯(cuò) 誤 傳 遞 概 率 ； 是 正 確 傳 遞 概 率 。達(dá) 到 C信 道 容 量 的 分 布 是 信 道 輸 入 為 等 概 分 布 。 log log 1C n p n H p 均 勻 信 道 的 信 道 容 量 為 50 例 5 二 元 對(duì) 稱 信 道 的 信 道

41、容 量( ; ) ( ) ( )二 元 對(duì) 稱 信 道 的 平 均 互 信 息 為 如 圖 所 示 ， I X Y H wp wp H p ( ; )I X Y w 1 ( )H p 0 1/2 1 ;1/2 1/2 1 / 1 平 均 互 信 息 對(duì) 信 源 概 率 分 布 存 在 一 個(gè) 最 大 值 ， 即 當(dāng) 時(shí) ， 。因 而 二 元 對(duì) 稱 信 道 的 信 道 容 量 單 位 ： 比 特 秒 為 I X Y ww w H wp wp HC C H p 511.0 1.00.8 0.80.6 0.60.4 0.40.2 0.20 p概 率C/( / )容 量 比 特 符 號(hào) 例 5（ 續(xù)

42、 ）信 道 容 量 僅 為 信 道 傳 遞 概 率 的 函 數(shù) ，而 與 信 道 輸 入 變 量 的 概 率 分 布 無(wú) 關(guān) 。不 同 的 二 元 對(duì) 稱 信 道 （ 其 傳 遞 概 率 不 同 ）信 道 容 量 也 將 不 同 ， 如 下 圖 所 示C pX w p 52 1/2 0 ( )p C P x 當(dāng) 時(shí) ， 其 信 道 容 量 ， 可 見(jiàn) ， 此 時(shí) 不 管 輸 入 概 率 分 布如 何 ， 都 能 達(dá) 到 信 道 容 量 。 因 為 任 何 的 輸 入 概 率 分 布 都 使平 均 互 信 息 等 于 零 ， 達(dá) 到 信 道 容 量 。 說(shuō) 明 此 信 道 輸 入 端 不 能 傳

43、 遞任 何 信 息 到 輸 出 端 。 當(dāng) 然 ， 這 種 信 道 是 沒(méi) 有 任 何 意 義 的 ， 但 它 在理 論 上 正 好 說(shuō) 明 信 道 的 最 佳 輸 入 分 布 不 一 定 是 唯 一 的 。二 元 對(duì) 稱 信 道 的 信 道 容 量 53 第 3章 信 道 容 量o 3.1 信 道 的 數(shù) 學(xué) 模 型 和 分 類(lèi)o 3.2 單 符 號(hào) 離 散 信 道 的 信 道 容 量n 3.2.1 信 道 容 量 的 定 義n 3.2.2 幾 種 特 殊 離 散 信 道 的 信 道 容 量n 3.2.3 離 散 信 道 容 量 的 一 般 計(jì) 算 方 法o 3.3 多 符 號(hào) 離 散 信

44、道o 3.4 多 用 戶 信 道o 3.5 連 續(xù) 信 道o 3.6 信 道 編 碼 定 理 54 一 般 離 散 信 道 1; , 1,2, ,1 in iiI X Y p x i np x 平 均 互 信 息 是 n個(gè) 變 量 的 多 元 函 數(shù) ，且 滿 足 約 束 條 件 ， 故 可 用 拉 格 朗 日 乘 子 法 來(lái) 計(jì) 算這 個(gè) 條 件 極 值 。 ;i i ip x I X Yp x I X Y p x 信 道 容 量 定 義 為 ： 在 信 道 固 定 的 條 件 下 ， 對(duì) 所 有 可 能 的 輸 入 概 率 分 布， 求 平 均 互 信 息 的 極 大 值 。 前 面 已

45、經(jīng) 導(dǎo) 出 ， 平 均 互 信 息 是輸 入 概 率 分 布 的 上 凸 函 數(shù) ， 因 此 對(duì) 的 極 大 值 必 然 存 在 。一 般 的 離 散 無(wú) 記 憶 信 道 達(dá) 到 信 道 容 量 的 輸 入 概 率 分 布 應(yīng) 滿 足 的 條 件 ？ 55 一 般 離 散 信 道 容 量 的 計(jì) 算 -1 1 1( ; ) 1( ; ) 1 0n ii n iii iF I X Y p xI X Y p xF Cp x p x 引 進(jìn) 一 個(gè) 新 的 函 數(shù) 其 中 ， 為 拉 格 朗 日 乘 子 ， 是 待 定 常 數(shù) 。解 方 程 組 ， 可 求 得 一 般 信 道 容 量 。 56 一

46、般 離 散 信 道 容 量 的 計(jì) 算 -2 1 1 11 1 1/ / ; 1,2,.,( ; ) ( ) ( / ) 1( ; )log / log0 0/ 1m n mj j i j i j ij i jn jj i j i j ii in iii i n iii dp yp y p x p y x p y x i rdp xI X Y H Y H Y XpI X Yp xFp x p x p xp x y p y p x p y x p y x 由 有因 為 ， 所 以方 程 組 ， 可 寫(xiě) 為求 偏 導(dǎo) 得 ： 1 1/ log / log / log / 0m mj i j j i

47、 j i j ij jp y x p y p y x e p y x p y x 57 一 般 離 散 信 道 容 量 的 計(jì) 算 -3 1 11 11log ln log ; / 1/ lo / log log log log( ; ) glog mj j j ijm jn m j ij ii j jij i ij ji inip y p y e p y xp y xp y x e p xp y e ee p y xp y x p yI X Y Cp x p x 其 中 ， 所 以 ， 整 理 上 式 得 ：對(duì) 該 式 兩 邊 乘 以 并 求 和即 為 平 均 互 信 息 的 最 大 值 1

48、 1/ log / log / log / 0m mj i j j i j i j ij jp y x p y p y x e p y x p y x 1 / l lm j ij ij jy xp y x 58 定 理 1 1 ; 0 2 ; 0 |; | l o g ; ii ii im j ii j ij jC p xI x Y C p x iI x Y C p x iI X p y xI x Y p y xY Cp y 設(shè) 有 一 般 離 散 信 道 ， 它 有 n個(gè) 輸 入 符 號(hào) ， m個(gè) 輸 出 符 號(hào) 。當(dāng) 且 僅 當(dāng) 存 在 常 數(shù) 使 輸 入 分 布 滿 足對(duì) 一 切對(duì) 一

49、切 時(shí) ， 達(dá) 極 大 值 。 此 時(shí) ， 常 數(shù) 即 為 所 求 的 信 道 容 量 。式 中 稱 為 條 件 iiY X xX x Y 。它 表 示 信 道 輸 出 端 接 收 到 符 號(hào) 集 以 后 ， 獲 得 關(guān) 于 的信 息 量 。 或 者 說(shuō) ， 信 源 符 互 信 息號(hào) 對(duì) 信 道 輸 出 端 符 號(hào) 集平 均 提 供 的 互 信 息 。 1 /( ; ) / log logm j ij ij ji p y xp yI x Y x e Cp y 令 59 定 理 的 說(shuō) 明o 該 定 理 只 給 出 了 達(dá) 到 信 道 容 量 時(shí) ， 最 佳 輸 入概 率 分 布 應(yīng) 滿 足 的

50、 條 件 ， 并 沒(méi) 有 給 出 輸 入 符號(hào) 的 最 佳 概 率 分 布 值 ， 因 而 也 沒(méi) 有 給 出 信 道容 量 的 數(shù) 值 。n 該 定 理 還 隱 含 著 ， 達(dá) 到 信 道 容 量 的 最 佳 分 布 并不 一 定 是 唯 一 的 。n 在 一 些 特 殊 情 況 下 ， 常 常 可 以 利 用 這 一 定 理 找出 所 求 的 輸 入 概 率 分 布 和 信 道 容 量 。 60 一 般 離 散 信 道 容 量 的 計(jì) 算 （ 續(xù) ） 1 1 1 1 1 11 1/ log / / loglog/ log / /2 2 2 12 2 log 2/j jj jm mj i j

51、 i j i jj jj jm mj i j i j i j jj j m mC Cj jj jm mC j jj i j ip y x p y x p y x p y Cp y Cp y x p y x p y xp y j p yCp y p x p y x 令 則 ： ， 根 據(jù) 信 道 矩 陣 可 求 出且 ， 兩 邊 對(duì) 求 和 從 而 求 出 信 道 容 量再 根 據(jù) 式 可 求 1n ii p x 出 對(duì) 應(yīng) 的 輸 入 概 率 分 布 1 /( ; ) / log logm j ij ij ji p y xp yI x Y x e Cp y 令 61 一 般 離 散 信 道 容

52、 量 的 計(jì) 算 步 驟 1 0( ; ) 1 0i in i iii ip x p x CI X Y p x p xp x C p xC 注 意 ： 必 須 最 后 解 出 ， 并 確 認(rèn) 所 有 的 時(shí) ， 所 求 的 才 存 在 因 為 在 對(duì) 求 偏 導(dǎo) 時(shí) ， 僅 限 制 并 沒(méi) 有 限 制 ， 所 以求 出 的 有 可 能 為 負(fù) 值 ， 此 時(shí) 的 就 不 存 在 ， 必 須 對(duì) 進(jìn) 行 調(diào) 整 ，再 重 新 求 解 一 般 要 通 過(guò) 迭 代 算 法 來(lái) 實(shí) 現(xiàn) 1 111/ / log /log /jjm mj i j j i j i jj jmj Cj jnj i j i

53、iip y x p y x p y xC Cp y p yp y p x p y x p x 將 一 般 離 散 信 道 容 量 的 計(jì) 算 步 驟 總 結(jié) 如 下 ：（ ） 由 ， 求 ；（ ） 由 ， 求 ；（ ） 由 ， 求 ；（ ） 由 ， 求 . 62 例 題 ： 求 一 般 信 道 的 信 道 容 量 1 1 11 1 1 1 1 0; 1 log 1 log 1log log 1 log 11 log/ / l 1 11 ;1 1 og /log j j m mj i j j i j i jj jmj CjC jp Cp y y x p y x p y xC Cp y p y 1

54、 1 22（ ） 由 ， 求 ；（ ） 由 ， 求 ；（ 得得 ） 由 ， 求 ； 12 1 111 1 1p y p y C 例 ：有 一 信 道 矩 陣1 0 1-求 信 道 容 量 63 例 題 ： 求 一 般 信 道 的 信 道 容 量 11 11 1 1 1 ; 11 1;1 1 1 1/0log 1 1 /nj i j i iip y p xp y p x p y x p xp x p y p xp x p xp y xp x p x CC 1 1 2 2 21 21 21 2由 方 程 組解 得 ：因 為 是 條 件 轉(zhuǎn) 移 概 率 ， 所 以 0 1， 從 而有 ， ， 保 證 了（ ） 由 ， 求 .的 存 在