《信道容量》PPT課件.ppt

《《信道容量》PPT課件.ppt》由會員分享，可在線閱讀，更多相關(guān)《《信道容量》PPT課件.ppt（39頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1、2021-4-20 1/64 信 道 容 量 2021-4-20 2/64 信 道 的 信 息 傳 輸 速 率n 如 果 信 源 熵 為 H(X)， 希 望 在 信 道 輸 出 端 接 收 的 信息 量 也 是 H(X)， 由 于 干 擾 的 存 在 ， 一 般 只 能 接 收到 I(X;Y)。 信 道 的 信 息 傳 輸 率 R(信 道 中 平 均 每 個符 號 所 能 傳 送 的 信 息 量 )： 就 是 平 均 互 信 息 R=I(X;Y)。n 輸 出 端 Y往 往 只 能 獲 得 關(guān) 于 輸 入 X的 部 分 信 息 ， 這是 由 于 平 均 互 信 息 性 質(zhì) 決 定 的 ： I(X

2、;Y)H(X)。 2021-4-20 3/64 ni mj xypxp xypijini mj yp xypji ni iji ijj ij xypxpyxpYXI 1 1 )/()( )/(21 1 )( )/(2 1log)/()(log)();( n I(X;Y)是 信 源 輸 入 概 率 分 布 p(xi)和 信 道 轉(zhuǎn) 移 概 率 p(yj /xi)的 二 元 函 數(shù) ： 當(dāng) 信 道 特 性 p(yj /xi)固 定 后 ， I(X;Y)隨 信 源概 率 分 布 p(xi)的 變 化 而 變 化 。 調(diào) 整 p(xi)， 在 接 收 端 就 能獲 得 不 同 的 信 息 量 。 由

3、平 均 互 信 息 的 性 質(zhì) 已 知 ， I(X;Y)是 p(xi)的 上 凸 函 數(shù) ， 因 此 總 能 找 到 一 種 概 率 分 布 p(xi)（ 即 某 一 種 信 源 ） ， 使 信 道 所 能 傳 送 的 信 息 率 為 最 大 。信 道 的 信 息 傳 輸 速 率 2021-4-20 4/64 信 道 容 量n 信 道 容 量 C： 信 道 中 最 大 的 信 息 傳 輸 率 ， 單 位 是 比 特 /信 道 符號 。n 單 位 時 間 的 信 道 容 量 Ct： 若 信 道 平 均 傳 輸 一 個 符 號 需 要 t 秒 鐘 ，則 單 位 時 間 的 信 道 容 量 為n C

4、和 Ct都 是 求 平 均 互 信 息 I(X;Y)的 條 件 極 大 值 問 題 ， 當(dāng) 輸 入 信源 概 率 分 布 p(x i)調(diào) 整 好 以 后 ， C和 Ct已 與 p(xi)無 關(guān) ， 而 僅 僅 是信 道 轉(zhuǎn) 移 概 率 的 函 數(shù) ， 也 就 是 只 與 信 道 統(tǒng) 計 特 性 有 關(guān) ；n 對 于 特 定 的 信 道 ， 其 信 道 容 量 C是 確 定 的 。 信 道 容 量 是 完 全描 述 信 道 特 性 的 參 量 ； 是 信 道 能 夠 傳 送 的 最 大 信 息 量 。)/();(maxmax )()( 信 道 符 號比 特YXIRC ii xpxp )/();(

5、max)(1 秒比 特YXIC ixptt 2021-4-20 5/64 幾 種 特 殊 離 散 信 道 的 信 道 容 量n 離 散 無 噪 信 道 的 信 道 容 量 （ 三 種 無 噪 信 道 ）n 強 對 稱 離 散 信 道 的 信 道 容 量n 對 稱 離 散 信 道 的 信 道 容 量n 準(zhǔn) 對 稱 離 散 信 道 的 信 道 容 量 2021-4-20 6/64 具 有 一 一 對 應(yīng) 關(guān) 系 的 無 噪 信 道n 信 道 模 型 如 圖 n 對 應(yīng) 的 信 道 矩陣 是 0001 0010 0100 10001000 0100 0010 0001 無 噪 無 損信 道 2021

6、-4-20 7/64 n 因 為 信 道 矩 陣 中 所 有 元 素 均 是 “ 1”或 “ 0”， X和 Y有 確 定 的 對 應(yīng) 關(guān) 系 ： 已 知 X后 Y沒 有 不 確 定 性 ， 噪 聲 熵 H(Y/X)=0； 反 之 ， 收 到 Y后 ， X也 不 存 在 不 確 定 性 ， 信 道 疑 義度 H(X/Y)=0; 故 有 I(X;Y)=H(X)=H(Y)。n 當(dāng) 信 源 呈 等 概 率 分 布 時 ， 具 有 一 一 對 應(yīng) 確 定 關(guān) 系的 無 噪 信 道 達 到 信 道 容 量 : rXHYXIC ii xpxp 2)()( log)(max);(max 具 有 一 一 對 應(yīng)

7、 關(guān) 系 的 無 噪 信 道 2021-4-20 8/64 具 有 擴 展 性 能 的 無 噪 信 道n 信 道 模 型 如 圖 所 示 。n rs， 輸 入 X的 符 號 集 個 數(shù)小 于 輸 出 Y的 符 號 集 個 數(shù) 。其 信 道 矩 陣 如 下 ： )/()/(000000 00)/()/()/(000 00000)/()/()/( 3837262524131211 xypxypxypxypxypxypxypxyp 有 噪 無 損信 道 2021-4-20 9/64 n 雖 然 信 道 矩 陣 中 的 元 素 不 全 是 “ 1”或 “ 0”， 但 由于 每 列 中 只 有 一 個

8、非 零 元 素 ： 已 知 Y后 ， X不 再 有 任 何 不 確 定 度 ， 信 道 疑 義 度 H(X/Y)=0， I(X;Y)= H(X) -H(X/Y)= H(X) 。n 信 道 容 量 為n 與 一 一 對 應(yīng) 信 道 不 同 的 是 ， 此 時 輸 入 端 符 號 熵 小于 輸 出 端 符 號 熵 ， H(X) s， 輸 入 X的 符 號 集 個 數(shù) 大 于 輸 出 Y的 符 號 集 個 數(shù) 。 其 信道 矩 陣 如 下 ： 100 010 010 001 001 無 噪 有 損信 道 2021-4-20 11/64 n 信 道 矩 陣 中 的 元 素 非 “ 0”即 “ 1” ，

9、 每 行 僅 有 一 個 非 零 元素 ， 但 每 列 的 非 零 元 素 個 數(shù) 大 于 1： 已 知 一 個 xi后 ， 對 應(yīng) 的 yj完 全 確 定 ， 信 道 噪 聲 熵 H(Y/X)=0。 但 是 收 到 某 一 個 yj后 ， 對 應(yīng) 的 xi不 完 全 確 定 ， 信 道 疑 義 度 H(X/Y)0。 n 信 道 容 量 為n 這 種 信 道 輸 入 端 符 號 熵 大 于 輸 出 端 符 號 熵 ， H(X)H(Y)。： 在 求 信 道 容 量 時 ， 調(diào) 整 的 始 終 是 輸 入 端 的 概 率 分 布p(x i) ， 盡 管 信 道 容 量 式 子 中 平 均 互 信

10、息 I(X;Y)等 于 輸 出 端符 號 熵 H(Y)， 但 是 在 求 極 大 值 時 調(diào) 整 的 仍 然 是 輸 入 端 的 概率 分 布 p(xi) ， 使 得 輸 出 端 的 概 率 分 布 p(yj)達 到 最 佳 分 布 。sYHYXIC ii xpxp 2)()( log)(max);(max 具 有 歸 并 性 能 的 無 噪 信 道 無 噪 有 損 2021-4-20 12/64 例 題 ： 下 圖 信 道 的 信 道 容 量 是 C =H (Y)=log23=1.585(比 特 /信道 符 號 )， 求 要 達 到 這 一 信 道 容 量 對 應(yīng) 的 信 源 概 率 分 布

11、 。p 由 信 道 矩 陣 得 p(y1)= p(x1) 1+ p(x2) 1 p(y2)= p(x3) 1+ p(x4) 1 p(y3)= p(x5) 1p 只 要 p(y1)= p(y2)= p(y3)= (1/3)， H(Y)達 到 最 大 值 ， 即 達 到信 道 容 量 C。 p 此 時 使 p(y1)= p(y2)= p(y3)= (1/3) 成 立 的 信 源 概 率 分 布p(xi),i=1,2,3,4,5存 在 ， 但 不 是 惟 一 的 。 p 這 種 信 道 的 輸 入 符 號 熵 大 于 輸 出 符 號 熵 ， 即 H(X) H(Y)。 100 010 010 001

12、001 2021-4-20 13/64 結(jié) 論n具有一一對應(yīng)關(guān)系的無噪信道的信道容量：n具有擴展性能的無噪信道的信道容量：n具有歸并性能的無噪信道的信道容量：結(jié)論：離散無噪信道的信道容量C只決定于信道的輸入符號數(shù)r，或輸出符號數(shù)s，與信源無關(guān)。sYHYXIC ii xpxp 2)()( log)(max);(max rXHYXIC ii xpxp 2)()( log)(max);(max rXHYXIC ii xpxp 2)()( log)(max);(max 2021-4-20 14/64 強 對 稱 離 散 信 道n 單 符 號 離 散 信 道 的 X和 Y取 值 均 由 r個 不 同 符

13、 號 組 成 ， 即 X x1,x2,xi,xr， Y y1,y2,yj,yrn 信 道 矩 陣 為 n 這 種 信 道 稱 為 強 對 稱 /均 勻 信 道 。n 這 類 信 道 中 ： 總 的 錯 誤 概 率 是 p， 對 稱 平 均 地 分 配 給 (r-1)個 輸 出 符 號 。n 信 道 矩 陣 中 每 行 之 和 等 于 1， 每 列 之 和 也 等 于 1。 而 一 般 信道 矩 陣 中 ， 每 列 之 和 不 一 定 等 于 1。 1 11 11 1p pr rp pr rp pr rp pP p 1 1 ( 1)pr p p r 每 個 符 號 的 正 確 傳 遞 概 率 ，

14、 其 它 個 符 號 的 錯 誤傳 遞 概 率 為 2021-4-20 15/64 強 對 稱 信 道 矩 陣 特 點n 強 對 稱 信 道 矩 陣 ， 它 的 每 一 行 和 每 一 列 都 是 同 一 集 合 各 個元 素 的 不 同 排 列 。n 由 平 均 互 信 息 定 義 ： 1 1( 1 ), , ,p pr rrp 個 21 1 11 1( ; ) ( ) ( / )( / ) ( ) ( / )log ( / ) ( ) ( )( ) , , , n n ni j i j i ii j ip pr rI X Y H Y H Y XH Y X p x p y x p y x p

15、 x H Y X xH Y X x H p 其 中 條 件 熵其 中 令 2021-4-20 16/64 n H(Y/X=x)的 意 義 ： 是 固 定 X=xi時 對 Y求 和 ， 相 當(dāng) 于在 信 道 矩 陣 中 選 定 了 某 一 行 ， 對 該 行 上 各 列 元 素的 自 信 息 求 加 權(quán) 和 。 由 于 信 道 的 對 稱 性 ， 每 一 行都 是 同 一 集 合 的 不 同 排 列 ， 所 以n 當(dāng) xi不 同 時 ， H(Y/X=x)只 是 求 和 順 序 不 同 ， 求 和結(jié) 果 完 全 一 樣 。 所 以 H(Y/X=x)與 X無 關(guān) ， 是 一 個 常數(shù) 。 2 21

16、1( ) log ( 1) ( log )p pr rH Y X x p p r 2021-4-20 17/64 強 對 稱 離 散 信 道 的 信 道 容 量n 由 于n 如 何 達 到 信 道 容 量 ： 求 一 種 輸 入 分 布 使 H(Y)取 得 最 大 值 。 現(xiàn) 已 知 輸 出 符 號 集 Y共 有 r個 符 號 ， 則 H(Y)log2r。 根 據(jù) 最 大 離 散熵 定 理 ， 只 有 當(dāng) p(y j)= (1/r)， 即 輸 出 端 呈 等 概 率 分 布 時 ， H(Y)才 達 到 最 大 值 log2r 。 要 獲 得 這 一 最 大 值 ， 可 通 過 公 式 尋 找

17、相 應(yīng) 的 輸 入 概 率 分 布 ； 一 般 情 況 下 不 一 定 存 在 一 種 輸 入 符 號 的 概 率 ， 使 輸 出 符 號 達 到等 概 率 分 布 。 但 強 對 稱 離 散 信 道 存 在 。 1 11 1 11 1( )( / ) ( ) ( / ) ( / ) , , , ( ; ) ( ) ( / ) ( ) , , , max ( ) , , , i n p pi r ri p pr rp pr rp xH Y X p x H Y X x H Y X x H pI X Y H Y H Y X H Y H pC H Y H p 于 是 得 信 道 容 量 1( ) (

18、 ) ( / ) 1,2, ,rj i j iipy px py x j r 2021-4-20 18/64 輸 入 是 什 么 概 率 分 布 時 達 到 信 道 容 量n 強 對 稱 離 散 信 道 的 輸 入 和 輸 出 之 間 概 率 關(guān) 系 可 用 矩 陣 表 示 為n 信 道 矩 陣 中 的 每 一 行 都 是 由 同 一 集 合 中 的 諸 元 素 的 不 同 排 列 組 成 ， 所 以 保 證 了 當(dāng) 輸 入 符 號 X是 等 概 率 分 布 ， 即 p(x i)=(1/r)時 ， 輸 出 符 號 Y一 定 是 等 概 率 分 布 ， 這 時H(Y)=log2r。 相 應(yīng) 的

19、信 道 容 量 為 1 11 1 12 2 21 11 1( ) ( ) ( )( ) ( ) ( )( ) ( ) ( ) p pr rp pT r rr r p pr r rr rT Tr r r r r r r rpp y p x p xp y p x p xpPp y p x p xpP P P P 其 中 是 的 轉(zhuǎn) 置 ， 對 于 對 稱 矩 陣 ， 1 1( 1), , ,p pr rrp 個 2 1 2 2 1 12 2 2 1log ( , , , ) log , , , log log log ( / )p ps r rprC r H p p p r H pr p p p

20、比 特 信 道 符 號 2021-4-20 19/64 n 結(jié) 論 ： 當(dāng) 信 道 輸 入 呈 等 概 率 分 布 時 ， 強 對 稱 離 散 信 道 能 夠 傳輸 最 大 的 平 均 信 息 量 ， 即 達 到 信 道 容 量 ： 這 個 信 道 容 量 只 與 信 道 的 輸 出 符 號 數(shù) r和 相 應(yīng) 信 道 矩 陣 中 的任 一 行 矢 量 有 關(guān) 。2 1 12 2 2 1log , , , log log log ( / )p pr r prC r H pr p p p 比 特 信 道 符 號 1 1( 1 ), , ,p pr rrp 個 2021-4-20 20/64 對 稱

21、 離 散 信 道 對稱離散信道的可排列性：n 行 可 排 列 ： 一 個 矩 陣 的 每 一 行 都 是 同 一 集 合 中 諸 元 素 的 不 同 排 列 。n 列 可 排 列 ： 一 個 矩 陣 的 每 一 列 都 是 同 一 集 合 中 諸 元 素 的 不 同 排 列 。n 矩 陣 可 排 列 性 ： 一 個 矩 陣 的 行 和 列 都 是 可 排 列 的 。 21 , spppP 21 , rqqqQ 2021-4-20 21/64 n 例 ： 1 1 12 3 61 1 1 13 3 6 6 1 1 11 2 6 2 31 1 1 16 6 3 3 1 1 13 6 2 1 1 1

22、1 1 1 1 1 13 3 6 6 3 6 2 3 6P PP Q r s P Qs r P 對 稱 信 道 ， ， 和 是 同 一 集 合， Q是 的 子 集 7.01.02.0 1.02.07.0431613161 616131313 PP不 對 稱 信 道 2021-4-20 22/64 對 稱 離 散 信 道 的 信 道 容 量n 平 均 互 信 息 21 1 1 1 2( ; ) ( ) ( / ) ( ) ( ) ( / )log ( / )( ) ( ) ( )( ) ( , , , )( ) ( / ) ( )( ; ) ( ) ( ) ( )n m i j i j ii j

23、n ii sI X Y H Y H Y X H Y p x p y x p y xH Y p x H Y X xH Y X x H p p pH Y X x X H Y X H Y X xI X Y H Y H Y X x H Y H 其 中由 于 信 道 的 對 稱 性 ， 每 一 行 都 是 同 一 集 合 諸 元 素 的 不 同 排 列 ，所 以 也 是 與 輸 入 無 關(guān) 的 常 數(shù) ， 故 ，因 此 1 2 2 1 2 ( ) ( , , , )max ( ) ( ) log ( , , , )i s sp x p p pC H Y H Y X x s H p p p 信 道 容 量

24、 為 2021-4-20 23/64 n 對 稱 離 散 信 道 的 信 道 容 量 與 強 對 稱 的 形 式 相 同 ， 只是 這 里 sr。n 由 于 對 稱 信 道 的 特 點 ， X等 概 率 分 布 時 ， Y也 是 等概 率 分 布 ， 從 而 使 Y的 熵 達 到 最 大 值 log2s， 即 達 到信 道 的 容 量 。n ex： 3.6 2 1 2( )max ( ) ( ) log ( , , , )i sp xC H Y H Y X x s H p p p 2021-4-20 24/64 n 3.6 某 對 稱 離 散 信 道 的 信 道 矩 陣 為 1/3 1/3 1

25、/6 1/6 1/6 1/6 1/3 1/3 ， 求 其 信 道 容 量解 ：P= )/(0817.0 61log61 61log6131log3131log312 1/6,1/6)H(1/3,1/3,-log4C 符 號bit 2021-4-20 25/64 準(zhǔn) 對 稱 離 散 信 道 的 信 道 容 量n準(zhǔn)對稱離散信道：一個r行s列單符號離散信道矩陣P的行可排列，列不可排列。但是矩陣可以分解為n 個具有可排列性的子矩陣P k 。n例 兩個子矩陣均是可排列的，故信道P是準(zhǔn)對稱信道。 8181 818122141 41211 81812141 81814121 PPP 子 矩 陣相 交 的 子

26、 集 ， 構(gòu) 成 兩 個兩 列 和 后 兩 列 分 成 互 不 陣 的 前具 有 可 排 列 性 ， 但 把 矩行 具 有 可 排 列 性 ， 列 不 2021-4-20 26/64 n 準(zhǔn) 對 稱 離 散 信 道 容 量 為n 其 中 ， 是 第 k個 子 矩 陣 中 行 元 素 的 和 ， 而 是子 矩 陣 列 元 素 的 和n ex： 3.8 1 2 1log ( , , , ) logns k kkC r H p p p N M kN kM了 解 2021-4-20 27/64 3.8 設(shè) 信 道 矩 陣 為 計 算 該 信 道 的 信 道 容 量 。解 ： 可 分 解 為 兩 個 互

27、 不 相 交 的 子 矩 陣N1=1-q， N2=q； M1=1-q， M2=2q利 用 qpqp pqqpP 11 qpp pqpQ 111 qqQ2 qqqqpqqpHC 2log)1log()1(),1(2log 1 2 1log ( , , , ) logns k kkC r H p p p N M 2021-4-20 28/64 單 符 號 離 散 無 記 憶 信 道 的 N次 擴 展 信 道 的數(shù) 學(xué) 模 型 2021-4-20 29/64 l 無 記 憶 性 ： 離 散 信 道 在 時 刻 k的 輸 出 隨 機 變 量 Yk只 與 時 刻 k的 輸 入 隨 機 變 量 Xk(k=

28、1,2,N)有 關(guān) ， 與 k時 刻 之 前 的 輸 入隨 機 變 量 X1X2Xk-1和 輸 出 隨 機 變 量 Y1Y2Yk-1無 關(guān) 。： k時 刻 之 前 的 輸 出 隨 機 變 量 序 列 Y1Y2Yk-1只 與k時 刻 之 前 的 輸 入 隨 機 變 量 序 列 X1X2Xk-1有 關(guān) ， 與 以 后 的第 k時 刻 的 輸 入 隨 機 變 量 Xk無 關(guān) 。單 符 號 離 散 無 記 憶 信 道 與 其 N次 擴 展 信 道傳 遞 概 率 的 關(guān) 系 2021-4-20 30/64 l 離 散 無 記 憶 信 道 的 N次 擴 展 信 道 離 散 無 記 憶 信 道 的 N次 擴

29、 展 信 道 的 傳 遞 概 率 等 于 各 時 刻 相應(yīng) 的 單 符 號 離 散 無 記 憶 信 道 的 傳 遞 概 率 的 乘 積 。 離 散 無 記 憶 信 道 的 N次 擴 展 信 道 既 是 無 記 憶 的 ， 又 是 無 預(yù)感 的 。 即 輸 出 隨 機 變 量 Y k只 與 對 應(yīng) 的 輸 入 隨 機 變 量 Xk有關(guān) 。 Nk ijijijij iiijjjij Nk kkNNNN kkNNNN xypxypxypxyp xxxyyypabp XYPXYPXYPXYPXXXYYYPP 1 122112121 )/()/()/()/( )/()/( )/()/()/()/()/(

30、)X/Y( 2211 2121 或 者 接 前 頁 2021-4-20 31/64 離 散 無 記 憶 信 道 N次 擴 展 信 道 兩 端 的 平 均 互 信 息 為I(X;Y)=H(Y) H(Y /X) 平 均 互 信 息 公 式 續(xù) 下 頁 )/XH(Y)/XH(Y)/XH(Y )x/xyp(y)logx/xyp(y)yp(x)X/YH( NN2211 iijj2iijjr1i s1j ji N1N1N1N1N N N1 Nk kkN XYHYYYHHHI 121 )/()()X/Y()Y()Y;X( 單 符 號 離 散 無 記 憶 信 道 與 其 N次 擴 展 信 道平 均 互 信 息

31、 的 關(guān) 系 2021-4-20 32/64 第 k個 隨 機 變 量 Xk單 獨 通 過 單 符 號 離 散 信 道 時 的 平 均 互信 息 N個 輸 入 、 輸 出 變 量 的 平 均 互 信 息 之 和 為 于 是 有 ： Nk Nk Nk kkkNk kkkkk NkXYHYHXYHYHYXI1 1 11 ,2,1,)/()()/()();( Nk kk Nk kN Nk kNk kNNk kk YXII YHHYYYH YHHYHYYYHYXII 1 121 11211 );()YX( )()()( )()()()();()YX( ;所 以 有應(yīng) 用 熵 的 性 質(zhì) 容 易 證 明

32、 Y Y NkXYHYHYXI kkkkk ,2,1),/()();( H(X 1X2XN-1 XN)=H(X1)+H(X2/X1) + H(X3/X1X2)+ H(XN/X1X2XN-1) 2021-4-20 33/64 當(dāng) 且 僅 當(dāng) 信 源 X =X1X2XN無 記 憶 ， 或 者 說 信 源 X是 離 散 無記 憶 信 源 X的 N次 擴 展 信 源 XN =X1X2XN時 ， 也 可 以 說 輸出 端 各 Yk(k =1,2,N)相 互 獨 立 時 等 號 成 立 。u 結(jié) 論 1： 離 散 無 記 憶 信 道 的 N次 擴 展 信 道 的 平 均 互 信 息 ，不 大 于 N個 隨

33、 機 變 量 X1X2 XN單 獨 通 過 信 道 X P(Y/X) Y的 平 均 互 信 息 之 和 。 即 ： Nk kk YXII 1 );()Y;X(u 結(jié) 論 2： 離 散 無 記 憶 信 道 的 N次 擴 展 信 道 ， 當(dāng) 輸 入 端 的N個 輸 入 隨 機 變 量 統(tǒng) 計 獨 立 時 ， 信 道 的 總 平 均 互 信 息 等于 這 N個 變 量 單 獨 通 過 信 道 的 平 均 互 信 息 之 和 。 2021-4-20 34/64 由 于 離 散 無 記 憶 信 源 的 N次 擴 展 信 源 中 的 隨 機 變 量都 取 自 同 一 符 號 集 Xk x1x2xN(k=1

34、,2, ,N) ，并 具 有 相 同 的 概 率 分 布 ， 而 且 都 通 過 同 一 個 離 散 無記 憶 信 道 X P(Y/X) Y ， 信 道 輸 出 端 隨 機 變 量 序 列中 的 隨 機 變 量 Yk(k=1,2, ,N)也 取 自 同 一 符 號 集 ，并 具 有 相 同 的 概 率 分 布 ， 而 且 相 互 統(tǒng) 計 獨 立 。 所 以 I(Xk; Yk)= I(X; Y) );();();( 1 YXNIYXII Nk kk YX 單 符 號 離 散 無 記 憶 信 道 與 其 N次 擴 展 信 道平 均 互 信 息 的 關(guān) 系 信 源 為 有 記憶 時 是“ =” 20

35、21-4-20 35/64 u 結(jié) 論 3： 離 散 無 記 憶 信 道 的 N次 擴 展 信 道 ， 如 果 信 源 也 是離 散 無 記 憶 信 源 的 N次 擴 展 信 源 ， 則 信 道 總 的 平 均 互 信 息是 單 符 號 離 散 無 記 憶 信 道 平 均 互 信 息 的 N倍 。 結(jié) 論 3的 說 明 ： 因 為 離 散 無 記 憶 信 道 N次 擴 展 信 道 可 以 用 N個單 符 號 離 散 信 道 來 等 效 ， 這 N個 信 道 之 間 沒 有 任 何 關(guān) 聯(lián) 關(guān) 系 ，若 輸 入 端 的 N個 隨 機 變 量 之 間 也 沒 有 任 何 關(guān) 聯(lián) 關(guān) 系 的 話 ，

36、 就相 當(dāng) 于 N個 毫 不 相 干 的 單 符 號 離 散 信 道 在 分 別 傳 送 各 自 的 信息 ， 所 以 在 擴 展 信 道 的 輸 出 端 得 到 的 平 均 信 息 量 必 然 是 單 個信 道 的 N倍 。 用 C表 示 離 散 無 記 憶 信 道 容 量 ， 用 CN表 示 其 擴 展 信 道 容 量 ， CN=NC 單 符 號 離 散 無 記 憶 信 道 與 其 N次 擴 展 信 道 的信 道 容 量 關(guān) 系 2021-4-20 36/64 作 業(yè) 2021-4-20 37/64 2021-4-20 38/64 獨 立 并 聯(lián) 信 道 獨 立 并 聯(lián) 信 道 ： 輸 入

37、 和 輸 出 隨 機 序 列 中 的 各 隨 機 變 量 取值 于 不 同 的 符 號 集 ， 就 構(gòu) 成 了 獨 立 并 聯(lián) 信 道 。 是 離 散 無記 憶 信 道 的 N次 擴 展 信 道 的 推 廣 。p 輸 入 隨 機 序 列 X=X1X2XN ， Xk x1k,x2k,xnkp 輸 出 隨 機 序 列 Y=Y1Y2YN ， Yk y1k,y2k,ynkp N個 獨 立 并 聯(lián) 信 道 的 容 量 CNp 第 k個 單 符 號 離 散 無 記 憶 信 道 的 信 道 容 量 為 Ck， 則 有 Nk kNN ccccC 121 Nk kN CC 1maxn當(dāng) 輸 入 端 各 隨 機

38、變 量 統(tǒng) 計 獨 立 ， 且 每 個輸 入 隨 機 變 量 Xk (k=1,2, ,N) 的 概 率 分布 達 到 各 自 信 道 容 量 Ck(k=1,2, ,N)的 最佳 分 布 時 ， CN達 到 其 最 大 值 ： 2021-4-20 39/64 獨 立 并 聯(lián) 信 道 推 廣 到 更 一 般 情 況 ：p 輸 入 各 隨 機 變 量 不 但 取 值 于 不 同 的 符 號 集 ， 而 且 各 集 合的 元 素 個 數(shù) 也 不 相 同 ；p 輸 出 隨 機 變 量 也 取 值 于 不 同 的 符 號 集 合 ， 各 集 合 的 元 素個 數(shù) 也 不 相 同 ；p 這 種 更 一 般 的 信 道 可 得 到 與 上 述 類 似 的 結(jié) 論 。 可 以 把 N個 變 量 的 獨 立 并 聯(lián) 信 道 看 成 是 離 散 無 記 憶信 道 的 N次 擴 展 信 道 的 推 廣 ， 也 可 以 把 離 散 信 道 的 N次擴 展 看 成 是 獨 立 并 聯(lián) 信 道 的 特 例 。