《信道容量》PPT課件

《《信道容量》PPT課件》由會(huì)員分享，可在線閱讀，更多相關(guān)《《信道容量》PPT課件（68頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

1、 3.1 信 道 的 基 本 概 念3.2 平 均 互 信 息 及 平 均 條 件 互 信 息3.3 平 均 互 信 息 的 特 性3.4 信 道 容 量 及 其 計(jì) 算 方 法 我 們 研 究 信 道 的 目 的 是 要 討 論 信 道 中 平 均 每 個(gè)符 號(hào) 所 能 傳 送 的 信 息 量 ,即 信 道 的 信 息 傳 輸 率 R 平 均 互 信 息 I (X;Y)： 接 收 到 符 號(hào) Y后 平 均 每 個(gè) 符 號(hào) 獲 得 的 關(guān) 于 X的 信 息 量 。 ni ijij i j ijijij xypxpyp yp xypxypxpYXI 1 )|()()( )( )|(log)|()

2、();( 信 道 的 信 息 傳 輸 率 就 是 平 均 互 信 息 信 息 傳 輸 率 R 符 號(hào)/)/()();( bitYXHXHYXIR 若 已 知 平 均 傳 輸 一 個(gè) 符 號(hào) 所 需 時(shí) 間 為 t(s)，則 信 道 在 單 位 時(shí) 間 內(nèi) 平 均 傳 輸 的 信 息 量 定義 為 信 息 傳 輸 速 率 ： sbittYXIR /);( )/(),( )/()( )/(log)/()( )( )/(log)();( ijii j i iji ijijii j j ijji abpapf abpap abpabpap bp abpbapYXI 當(dāng) 信 道 的 轉(zhuǎn) 移 概 率 一

3、定 時(shí) ， 平 均 互 信 息 是 輸 入 信 源 概率 分 布 的 上 凸 函 數(shù) ； 即 對(duì) 每 個(gè) 固 定 信 道 都 有 一 個(gè) 最 大的 信 息 傳 輸 率 。 定 義 這 個(gè) 最 大 的 信 息 傳 輸 率 為 信 道 容量 C 信 道 容 量 C： 最 大 的 信 息 傳 輸 率 信 道 所 能 傳 輸 的 最 大 信 息 量符 號(hào)/bit);(max)( YXIC xp 單 位 時(shí) 間 的 信 道 容 量 ： sbitYXItC xp /);(max1 )( 信 道 容 量 C求 出 后 ， 已 與 輸 入 信 源 的 概率 分 布 無 關(guān) ， 它 只 是 信 道 傳 輸 概

4、率 的 函數(shù) ， 只 與 信 道 的 統(tǒng) 計(jì) 特 性 有 關(guān) 。 對(duì) 于 某 特 定 的 信 道 ， 其 信 道 容 量 C是 確定 的 ， 是 不 隨 輸 入 信 源 的 概 率 分 布 變 化而 改 變 的 。 所 以 ， 信 道 容 量 是 完 全 描 述 信 道 特 性 的參 量 ， 是 信 道 能 夠 傳 輸 的 最 大 信 息 量 。 對(duì) 于 一 般 信 道 ,信 道 容 量 計(jì) 算 相 當(dāng) 復(fù) 雜 ,我 們 只討 論 某 些 特 殊 類 型 的 信 道 ： 離 散 信 道 可 分 成 ： 無 干 擾 (無 噪 )信 道 無 噪 無 損 信 道 有 噪 無 損 信 道 無 噪 有

5、損 信 道 有 干 擾 無 記 憶 信 道 有 干 擾 有 記 憶 信 道 設(shè) 信 道 的 輸 入 X A=a1 ar 輸 出 Y B=b1 bs信 道 輸 入 和 輸 出 符 號(hào) 之 間 有 確 定 的 一 一 對(duì) 應(yīng) 關(guān) 系)3,2,1,(10)|()|( jiji jibapabp jiijX 100 010 001Pa1 b1a2 b2a3 b3111 Y 信 道X 0001 0010 0100 1000 Pa1 b1 Ya2 b2an-1 bn-1an bn1 1 信 道 由 )|(log),()|( ijij ji abpbapXYH )|(log),()|( jiij ji ba

6、pbapYXH 計(jì) 算 得 ： 噪 聲 熵 H(Y|X) = 0 損 失 熵 H(X/Y)=0)()(),( XHYHYXI rXHYXIC xP 2)( log)(max);(max 信 道 一 個(gè) 輸 入 對(duì) 應(yīng) 多 個(gè) 輸 出 (r s) 每 個(gè) 輸 入 所 對(duì) 應(yīng) 的 輸 出 不 重 合X b1 Ya1 b2 b3a 2 b4 b51/31/31/31/43/4 3/1)|( 3/1)|( 3/1)|( 13 12 11 abp abp abp 計(jì) 算 得 1)|( 1)|( 1)|( 31 21 11 bap bap bap 1)|( 1)|( 52 42 bap bap 同 理 1

7、 1 1 0 03 3 3 1 30 0 0 4 4P 由 信 道一 個(gè) 輸 入 對(duì) 應(yīng) 多 個(gè) 輸 出 (r s) 接 收 到 符 號(hào) Y后 ,對(duì) 發(fā) 送 的 X符 號(hào) 是 完 全 確 定 的 。 噪 聲 熵 H(Y|X) 0 損 失 熵 H(X|Y) = 0)()(),( YHXHYXI rXHYXIC xp log)(max);(max)( 信 道 多 個(gè) 輸 入 變 成 一 個(gè) 輸 出 (r s)X 10 10 01 01 01Pa1 Ya2 b1a3a 4 b2a5 111 11 01)|( 01)|( 或或ji ji bap abp 輸 出 Y與 輸 入 X不是 一 一 對(duì) 應(yīng) ,

8、而 是多 一 對(duì) 應(yīng) 關(guān) 系 。 信 道 多 個(gè) 輸 入 變 成 一 個(gè) 輸 出 (r s) 噪 聲 熵 H(Y|X) 0 損 失 熵 H(X|Y) 0)()(),( XHYHYXI sYHYXIC xp log)(max);(max)( 01)|( 01)|( 或或ji ji bap abp 信 道 中 接 收 到符 號(hào) Y后 不 能完 全 消 除 對(duì) X的 不 確 定 性 ,信息 有 損 失 。 但輸 出 端 Y的 平均 不 確 定 性 因噪 聲 熵 等 于 零而 沒 有 增 加 。 求 信 道 容 量 ， 必 須 求 出 使 互 信 息 量 達(dá) 到最 大 的 信 源 概 率 分 布 p(

9、x)； 對(duì) 于 無 噪 無 損 信 道 ， 當(dāng) 信 宿 為 等 概 分 布時(shí) ， 信 源 也 為 等 概 分 布 ; 問 題 ： 對(duì) 于 無 噪 有 損 信 道 ， 信 源 的 概 率分 布 是 否 也 為 等 概 分 布 ？ 對(duì) 稱 離 散 信 道 ： 對(duì) 稱 性 : 每 一 行 都 是 由 同 一 集 q1, q2,qs的 諸 元 素 不同 排 列 組 成 輸 入 對(duì) 稱 每 一 列 都 是 由 p1, p2,pr集 的 諸 元 素 不 同排 列 組 成 輸 出 對(duì) 稱 21316161213131612131316161 61613131 PP 滿 足 對(duì) 稱性 ,所 對(duì) 應(yīng)的 信 道

10、是對(duì) 稱 離 散信 道 。 信 道 矩 陣 7.01.01.02.02.07.031613161 61613131 PP 不 具 有 對(duì) 稱 性 ,因 而 所 對(duì) 應(yīng) 的 信 道 不 是 對(duì)稱 離 散 信 道 。 信 道 轉(zhuǎn) 移 概 率 矩 陣 行 可 排 列 ， 列 也 可 排 列 各 行 元 素 集 相 同 ， 只 是 排 列 順 序 不 同 各 列 的 元 素 集 也 相 同 ， 只 是 排 列 順 序 不 同 21316161213131612131316161 61613131 PP 對(duì) 于 對(duì) 稱 信 道 H(Y/X)=H(Y/ai)niaYH abpabp abpabpapXYH

11、 i ijj ij iji j iji ,2,1)|( )|(log)|( )|(log)|()()|( ijsj ij spps pppHs XYHYHC 1 21 loglog ),(log )/()(max 對(duì) 稱 離 散 信 道 能 夠傳 輸 的 最 大 的 平 均信 息 量 ,它 只 與 對(duì)稱 信 道 矩 陣 中 行 矢量 p1, p2,ps 和輸 出 符 號(hào) 集 的 個(gè) 數(shù)s有 關(guān) 。 找 一 組 信 源 概 率 分 布 ， 使 C達(dá) 到 最 大 。 現(xiàn) 在 P(bj） =1/s， 信 源 的 概 率 分 布 為 ： 假 設(shè) 信 源 為 等 概 率 分 布 p(ai)=1/r常 數(shù)

12、 r abpabpabpr abpapabpapabpapbp rjjj mjmjjj/1 )/()/()/(/1 )/()()/()()/()()( 21 2211即 信 源 等 概 分 布 ， 信 宿 也 等 概 分 布 ， 使 C達(dá) 到 最 大 。 例 3-1某 對(duì) 稱 離 散 信 道 的 信 道 矩 陣 為 31316161 61613131P符 號(hào)/082.0 61log6161log6131log3131log312 )61,61,31,31(4log bitHC 信 道 容 量 為 若 輸 入 符 號(hào) 和 輸 出 符 號(hào) 個(gè) 數(shù) 相 同 ,都 等 于 r,且 信道 矩 陣 為 p

13、rprp rpprp rprppP 111 111 111 此 信 道 稱 為 強(qiáng) 對(duì) 稱 信 道 (均 勻 信 道 ) 信 道 矩 陣 中 各 列 之 和 也 等 于 1 強(qiáng) 對(duì) 稱 信 道 的 信 道 容 量 ： )()1loglog 1logloglog 1log)1)(1(loglog )1,1,1(log2 pHrpr rppppr rprprppr rprppHrC （ 例 ： 設(shè) 信 道 的 轉(zhuǎn) 移 概 率 矩 陣 如 下 ， 求 信 道 容量 。 214141 412141 414121 214141 412141 414121 H（ Y/xi） = 符 號(hào)/5.141log4

14、141log4121log21)/( bitaYH i 符 號(hào)/08.05.158.15.13log)/(log bitXYHrC )(1 pHC 0)21,21(1 HC 信 道 無 噪 聲 當(dāng) p = 0, C =1 0 = 1bit 當(dāng) p =1/2, 信 道 強(qiáng) 噪 聲 BSC信 道 容 量 C p 準(zhǔn) 對(duì) 稱 信 道 轉(zhuǎn) 移 概 率 矩 陣 輸 入 對(duì) 稱 而 輸 出 不 對(duì) 稱 ， 即 每 一行 都 包 含 同 樣 的 元 素 ， 而 各 列 的 元 素 可 以 不 同 。 行 可 排 列 ， 列 不 可 排 列 616131313161 613131613161 61613131

15、 1P 它 們 滿 定 對(duì) 稱 性 ,所 以 P1所 對(duì) 應(yīng) 的 信 道 為 準(zhǔn) 對(duì) 稱信 道 。 準(zhǔn) 對(duì) 稱 信 道 矩 陣 P的 列 劃 分 成 若 干 個(gè) 互 不 相 交的 子 集 Bk,由 Bk為 列 組 成 的 矩 陣 Qk是 對(duì) 稱 矩 陣 。 準(zhǔn) 對(duì) 稱 信 道 1.01.07.02.0 2.07.07.02.01.01.02.07.02P ),(log )/()(max 21 s ipppHs aYHYHC 準(zhǔn) 對(duì) 稱 信 道 容 量 81812141 81814121P 假 設(shè) 81log81241log4121log214log )/()(max iaYHYHC假 設(shè) 無

16、滿 足 概 率 空 間 解 41)(81)(81 41)(41)(21 21 21 apap apap 例 ： 當(dāng) 輸 入 分 布 為 等 概 率 時(shí) ： nk kks MNpppHrC 121 log),(log 其 中 r是 輸 入 符 號(hào) 集 的 個(gè) 數(shù) ,(p1, p2,ps)為 準(zhǔn) 對(duì) 稱信 道 矩 陣 中 的 行 元 素 。 設(shè) 矩 陣 可 劃 分 成 n個(gè) 互 不 相 交 的 子 集 。 Nk是 第 k個(gè) 子 矩 陣 Qk中 行 元 素 之 和 , Mk是 第 k個(gè) 子 矩 陣 Qk中 列 元 素 之 和 。 ),2,1()|( )|( nkxypM xypN X ik Yy i

17、k k 例 ： 設(shè) 信 道 傳 遞 矩 陣 為 81812141 81814121P 2141 41211P 8181 81812P 信 道 符 號(hào) ）（ 比 特 /061.0811.075.11 )41log4143log43()81,81,41,21(2log log),(log 121 H MNpppHrC nk kks 計(jì) 算 得 ： N1 =3/4, N2 = 1/4, M1=3/4, M2 = 1/4 將 它 分 成 另 一 種 簡(jiǎn) 單 的 方 法 ： 1.當(dāng) 輸 入 分 布 為 等 概 率 時(shí) ： 計(jì) 算 出 各 個(gè) 輸 出 概 率分 布 p(bj); 2.然 后 計(jì) 算 H(Y

18、); 3.C=H(Y)max-H(Y/ai); 上 題 另 解 ： 令 p(ai)=1/2 信 道 符 號(hào) ）（ 比 特 /061.0)81,81,41,21(811.1 )/()( H aYHYHC i )(83)/()()/()()( 22121111 bpabpapabpapbp )(81)/()()/()()( 42321313 bpabpapabpapbp bitYH 811.181log8283log86)( 特 殊 無 干 擾 信 道 求 解 本 質(zhì) ， H(Y/X)=0或H(X/Y)=0 特 殊 有 干 擾 信 道 ， 噪 聲 熵 雖 然 不 為 0， 但是 由 于 行 可 排

19、 列 ， 所 以 計(jì) 算 有 規(guī) 律 性 , H(Y/X)= H(Y/ai)； 具 體 公 式 見 下 表 ： 分 類 轉(zhuǎn) 移 矩 陣 特 點(diǎn) 信 道 容 量特殊信道 無干擾 無 損 無 噪 r=s， 每 行 都 是 單 位坐 標(biāo) 向 量有 噪 無 損 r s， 每 列 有 且 只 有一 個(gè) 非 零 元 素?zé)o 噪 有 損 r s， 每 行 只 有 一 個(gè)1有干擾 強(qiáng) 對(duì) 稱 r=s， 矩 陣 對(duì) 角 線 是1-p， 其 他 p/n-1對(duì) 稱 行 ， 列 都 可 排 列準(zhǔn) 對(duì) 稱 只 有 行 可 排 列 1log)1log()1(log nppppr )/(log iaYHs rlogslogr

20、log )/()( max iaYHYH )(1 pHrC st 當(dāng) 信 源 輸 入 符 號(hào) 的 速 率 為 rs(符 /秒 ),信 道 容 量 實(shí) 際 信 息 傳 輸 速 率 Rt為 )|()( YXHXHrR st 例 BSC信 道 如 圖 , rs=1000符 號(hào) /秒 ,錯(cuò) 誤 傳 遞 概 率 p=0.1求 :信 道 容 量 0 Y0.9 1 0.1sbispHrC st /531469.011000 )9.0log9.01.0log1.0(11000 )(1 輸 入 符 號(hào) 等 概 時(shí) 有 最 大 信 息 傳 輸 速 率信 道 實(shí) 際 信 息 傳 輸 速 率 sbitYXHXHrR

21、st /413398.0811.01000)|()( sbitXHrD sin /811811.01000)( )/(),( )( )|(log)|()();( iji j ijijij abpapf bp abpabpapYXI i )1)()/()()1)();()( iii apXYHYHapYXIap i ijijj jj abpapbpbpbpYH )/()()()(log)()( j jij j j ijjj jiji ebpabp ebp abpbpbpabpap YH log)(log)/( log)( )/()()(log)/()( )( j iiiii abpabpap X

22、YH )/(log)/()( )/( i j iiiii abpabpapXYH )/(log)/()()/( )/()( )( ijij abpap bp 0)( iap令 ebp abpabpj j iiii log)( )/(log)/( C YxI bp abpabp ebp abpabppYXI ij j iiiii j j iiiii );( )( )/(log)/( log)( )/(log)/();( ebp abpabpap j j iiiii log)( )/(log)/()(假 設(shè) 使 I(X;Y)達(dá) 到 極 值 的 輸 入 概 率 分 布 為 p1,p2,pr，則 可

23、以 得 到 ： 定 理 3.3： 一 般 離 散 信 道 的 平 均 互 信 息 I(X;Y)達(dá) 到 極 大 值 的充 分 和 必 要 條 件 是 輸 入 概 率 p(ai)必 須 滿 足 : I (ai;Y) = C 對(duì) 于 所 有 ai其 p(ai) 0 I (ai;Y) C 對(duì) 于 所 有 ai其 p(ai) = 0( / )( ; ) ( / )log ( ) j ii j ij jp b aI a Y p b a p b其 中 ：其 中 I（ ai ;Y） 稱 為 條 件 互 信 息 ， 它 表 示 信 道 輸 出端 收 到 符 號(hào) 集 Y后 ， 獲 得 的 關(guān) 于 輸 入 符 號(hào)

24、ai的 信 息量 。 或 者 說 ， 符 號(hào) ai對(duì) 信 道 輸 出 端 符 號(hào) 集 Y平 均 提供 的 信 息 量 。 上 式 說 明 ： 當(dāng) 信 道 的 平 均 互 信 息 I(X;Y)達(dá) 到 信 道 容 量 時(shí) ,輸入 符 號(hào) 概 率 集 p(ai)中 每 一 個(gè) 符 號(hào) ai對(duì) 輸 出 端 Y提 供 相 同 的 互 信 息 ,只 是 概 率 為 0的 除 外 。 信 道 容 量 的 取 得 的 過 程 ， 亦 是 信 源 符 號(hào) 概 率 分布 的 自 我 調(diào) 整 的 過 程 ， 某 一 個(gè) 輸 入 信 源 符 號(hào) 對(duì)輸 入 提 供 的 平 均 信 息 量 大 于 其 他 符 號(hào) ， 則

25、 勢(shì) 必更 多 的 使 用 這 個(gè) 信 源 符 號(hào) ， 與 此 同 時(shí) ， 信 源 符號(hào) 的 概 率 分 布 也 就 發(fā) 生 了 變 化 和 調(diào) 整 ， 由 于 輸入 信 源 符 號(hào) 分 布 的 調(diào) 整 ， 又 減 少 了 這 個(gè) 符 號(hào) 對(duì)輸 出 提 供 的 平 均 信 息 量 ， 增 加 了 其 他 符 號(hào) 提 供的 平 均 信 息 量 。 最 終 ， 輸 入 信 源 符 號(hào) 的 每 一 個(gè)非 零 概 率 符 號(hào) ， 對(duì) 輸 入 隨 機(jī) 變 量 提 供 的 信 息 量達(dá) 到 相 等 ， 體 現(xiàn) 出 信 道 的 最 大 傳 輸 能 力 。 例 3.9： 10 2121 01Px1x2x3 y

26、1y2猜 測(cè) p(x2)=0,對(duì) 于 其 余 輸 入 符 號(hào) ， 一 種 可 取 的 方 式 是讓 其 概 率 均 勻 分 布 。 1)( )/(log)/();( 111 jjj yp xypxypYxI 0);( 2 YxI 1);( 3 YxI滿 足 定 理 要 求 ， 因 此 ， 求 得 這 個(gè) 信 道 的 信 道 容 量 為C=1 bit/符 號(hào) 例 3-10 如 圖 所 示 的 離 散 信 道 ， 求 信 道 容 量和 最 佳 輸 入 符 號(hào) 分 布 概 率 。 a1a2a3a4 a5 b1b2110.5110.5解 ： 由 于 輸 入 符 號(hào) a3傳 遞 到 b1和 b2是 等

27、概 的 ， 所 以 a3可 以 省 去 ， 即p(a3)=0對(duì) 其 余 輸 入 符 號(hào) ， 一 種 可 取 的 方 式是 讓 其 概 率 相 等 ， 可 計(jì) 算 得 到p(b1)=p(b2)=1/2 計(jì) 算 得 ： I(a1;Y)= I(a2;Y)= I(a4;Y)= I(a5;Y)= log2 ： I(a3;Y)=0 所 以 該 信 道 的 信 道 容 量 為 1bit/符 號(hào) 另 一 種 可 取 的 方 法 是 ， 只 取 a1和 a2中 一個(gè) ， a4和 a5中 一 個(gè) ， 如 只 取 a1和 a5， 即 輸入 符 號(hào) 的 概 率 為 ：p(a1)=p(a5)=1/2,p(a2)=p(a

28、3)=p(a4)=0 同 樣 可 算 出 p(b1)=p(b2)=1/2 I(a1;Y)= I(a2;Y)= I(a4;Y)= I(a5;Y)=log2I(a3;Y)=0同 樣 滿 足 定 理 的 要 求 ， 因 此 C=1bit/符 號(hào) Cbp abpabpYaI j j iiiii )( )/(log)/();( Ccj jjbp 222)( j jii jj iiiij ii Cbpabp Cbpabpabpabp )(log)/( )(log)/()/(log)/( jj Cbp )(log j jiiiij ii abpabpabp )/()/(log)/( jC 2log 令 一

29、般 信 道 容 量 的 計(jì) 算 方 法 ： 1） 利 用 方 程 ,求 出 s個(gè) 2） 利 用 公 式 ， 求 出 信 道 容 量 C 3） 利 用 公 式 ， 求 出 信 宿 的 概 率 分 布 p(bj) 4） 利 用 公 式 ， 求 出 信 源 概 率 分 布 。 j jiiiij ii abpabpabp )/()/(log)/( j jC 2log c j jbp 2)( i ijij abpapbp )/()()(注 意 :必 須 求 解 出 所 有 p(ai)， 并 確 認(rèn) 所 有 的 p(ai)都大 于 零 ， 所 求 的 C才 存 在 。 如 果 求 出 的 p(ai)小 于

30、 0，必 須 對(duì) 概 率 進(jìn) 行 調(diào) 整 ， 再 求 解 C， 一 般 要 通 過 迭代 算 法 來 實(shí) 現(xiàn) 。 （ 1） 離 散 序 列 信 道 定 義定 義 ： 多 符 號(hào) 離 散 信 源 X N=X1X2XN在 N個(gè) 不 同時(shí) 刻 分 別 通 過 單 符 號(hào) 離 散 信 道 X P(Y/X) Y，則 在 輸 出 端 出 現(xiàn) 相 應(yīng) 的 隨 機(jī) 序 列 Y N=Y1Y2YN，這 樣 形 成 一 個(gè) 新 的 信 道 稱 為 離 散 序 列 信 道 。l 離 散 序 列 信 道 模 型 P(Y/X)X Y ),(),( 2121 NNNN YYYYXXXX , 2121 siri bbbYaa

31、aX （ 2） 離 散 序 列 信 道 模 型設(shè) 信 源 矢 量 XN的 每 一 個(gè) 隨 機(jī) 變 量 Xi ( i=1,2,N)均 取 自 于 信 道 的 輸 入 符 號(hào) 集a1,a2,an ， 則 信 源 共 有 rN個(gè) 不 同 的 元 素(i=1,2,rN)。則 輸 出 矢 量 YN由 N個(gè) 符 號(hào) 組 成 的 輸 出 序 列YN =Y1Y2 YN ， 它 的 每 一 個(gè) 隨 機(jī) 變 量 Yi均取 自 于 信 道 的 輸 出 符 號(hào) 集 b1,b2,bs,則 信源 共 有 sN個(gè) 不 同 的 元 素i , 211111 rrri aaaaaaaaa , 211111 sssi bbbbbb

32、bbb j l 對(duì) 于 無 記 憶 離 散 序 列 信 道 ， 其 信 道 轉(zhuǎn) 移 概 率 為 ：)|(),|,()X|Y( 111NN iiNiNN XYpXXYYpp l 根 據(jù) 平 均 互 信 息 的 定 義l 如 果 信 道 是 無 記 憶 的 ， 有 ：l 如 果 輸 入 矢 量 X N中 各 個(gè) 分 量 相 互 獨(dú) 立 ， 有 ： )( )/(log)( )( )/(log)( )/()();( N NNNN N NNNN NNNNN Yp XYpYXp Xp YXpYXp XYHYHYXI Ni iiNN YXIYXI 1 );();( Ni iiNN YXIYXI 1 );()

33、;( （ 3） 離 散 序 列 信 道 容 量 當(dāng) XN中 各 個(gè) 分 量 相 互 獨(dú) 立 且 信 道 無 記 憶 時(shí) ， 有 當(dāng) XN達(dá) 到 最 佳 分 布 時(shí) ， 有 信 道 容 量 ： l 因 為 輸 入 隨 機(jī) 序 列 在 同 一 信 道 中 傳 輸 ， 所 以 有 ， Ni iiNN YXIYXI 1 );();( Ni iiiNi Xp Ni iiXPNNXpN CYXI YXIYXIC 11 )( 1)()( );(max );(max);(max NCCN 表 明 ， 對(duì) 于 離 散 無 記 憶 N次 擴(kuò) 展 信 道 ， 其 信 道容 量 等 于 單 變 量 信 道 的 信 道

34、 容 量 的 N倍 ； 只 有 當(dāng) 輸 入 信 源 是 無 記 憶 的 ， 同 時(shí) 序 列 中 每一 分 量 Xi的 分 布 各 自 達(dá) 到 最 佳 分 布 時(shí) ， N次擴(kuò) 展 信 道 的 信 道 容 量 才 能 達(dá) 到 NC; 一 般 情 況 下 ， 消 息 序 列 在 離 散 無 記 憶 N次 擴(kuò)展 信 道 中 傳 輸 時(shí) ， 其 平 均 互 信 息 為 ：I(XN;YN) NCNCCN 例 3-12.BSC信 道 二 次 無 記 憶 擴(kuò) 展 信 道00X011011 00011011Y 22 22 22 22 )1()1()1( )1()1()1( )1()1()1( )1()1()1(

35、 pppppp pppppp pppppp ppppppP 轉(zhuǎn) 移 概 率 矩 陣 2次 擴(kuò) 展 信 道 的 信 道 容 量 ),1(),1(,)1(4log 2222 ppppHC 若 p = 0.1 則 C2=(2 0.938)bit/序 列 = 1.062bit/序 列 單 符 號(hào) 信 道 的 容 量 為 C1 = 0.531bit/符 號(hào) 設(shè) 有 N個(gè) 信 道 ,它 們 的 輸 入 、 輸 出 分 別 是 ： X1,X2XN； Y1,Y2YN Ni iNNL iiN CCCC YXIIC 121 1NN,2,1 );()Y;X(max 信 道信 道信 道p(Y1|X1)p(YN|XN)

36、p(Y2|X2) 每 一 個(gè) 信 道 的 輸 出 Yi只 與 本信 道 的 輸 入 Xi有 關(guān) ,與 其 他 信道 的 輸 入 、 輸 出 都 無 關(guān) 。 獨(dú) 立 并 聯(lián) 信 道 的 信 道 容 量 X 1X 2XN Y 1Y 2Y N 信 源 發(fā) 出 的 消 息 （ 符 號(hào) ） 一 般 要 通 過 信 道 來 傳 輸 . 對(duì) 于 某 一 信 道 其 信 道 容 量 是 一 定 的 。 對(duì) 于 某 一 信 道 ， 只 有 當(dāng) 輸 入 符 號(hào) 的 概 率 分 布 滿 足一 定 條 件 時(shí) 才 能 達(dá) 到 其 信 道 容 量 。 也 就 是 說 只 有特 定 的 信 源 才 能 使 某 一 信 道

37、 的 信 息 傳 輸 率 達(dá) 到 最大 。 一 般 信 源 與 信 道 連 接 時(shí) ， 其 信 息 傳 輸 率R=I(X;Y)并 未 達(dá) 到 最 大 。 這 樣 ， 信 道 的 信 息 傳 輸率 還 有 提 高 的 可 能 ， 即 信 道 沒 有 得 到 充 分 利 用 。 信 道 冗 余 度 定 義 為 ： ( ; )C I X Y 信 道 絕 對(duì) 冗 余 度 ( ; )1 I X YC 相 對(duì) 冗 余 度冗 余 度 越 大 ， 說 明 信 源 與 信 道 匹 配 程 度 越 低 ， 信 道 的信 息 傳 遞 能 力 未 能 得 到 充 分 利 用 ；冗 余 度 越 小 ， 說 明 信 源

38、與 信 道 匹 配 程 度 越 高 ， 信 道 的信 息 傳 遞 能 力 得 到 較 充 分 利 用 。 冗 余 度 為 零 ， 說 明 信 源 與 信 道 完 全 匹 配 ，信 道 的 信 息 傳 遞 能 力 得 到 完 全 利 用 。 無 損 信 道 的 相 對(duì) 剩 余 度 無 損 信 道 的 信 道 容 量 C=logr 而 I(X;Y)=H(X)（ 整 個(gè) 信 源 的 熵 都 無 損 的 傳遞 過 去 ） 因 而 無 損 信 道 的 相 對(duì) 剩 余 度 =1-H(X)/logr 而 上 式 就 是 信 源 的 剩 余 度 對(duì) 于 無 損 信 道 ， 可 以 通 過 信 源 編 碼 ，

39、減 少信 源 的 剩 余 度 ， 使 信 息 傳 輸 率 達(dá) 到 信 道 容量 。 信 源 輸 出 的 符 號(hào) 進(jìn) 行 信 源 編 碼 可 以 達(dá) 到 兩個(gè) 目 的 ： 一 是 將 信 源 符 號(hào) 變 換 成 信 道 能 夠傳 輸 的 符 號(hào) ， 即 符 號(hào) 匹 配 ； 二 是 變 換 后 的符 號(hào) 分 布 概 率 能 使 信 息 傳 輸 率 接 近 信 道 容量 ， 即 信 息 匹 配 。 從 而 使 信 道 冗 余 度 接 近于 零 ， 信 源 和 信 道 達(dá) 到 匹 配 ， 信 道 得 到 充分 利 用 。問 題 ： 如 何 進(jìn) 行 轉(zhuǎn) 換 ， 才 能 使 信 道 的 信 息傳 輸 率

40、達(dá) 到 信 道 容 量 ？ 例 某 離 散 無 記 憶 信 源 ， 輸 出 符 號(hào) 的 概 率分 布 如 表 所 示 ， 該 信 源 的 信 息 熵 為H(X)=1.937bit/信 源 符 號(hào) 。 通 過 一 個(gè) 無 噪無 損 二 元 離 散 信 道 進(jìn) 行 傳 輸 ， 二 元 離 散信 道 的 信 道 容 量 C=1bit/信 道 符 號(hào) 。 根 據(jù)符 號(hào) 匹 配 ， 必 須 對(duì) 信 源 X進(jìn) 行 二 元 編 碼 ，才 能 使 信 源 符 號(hào) 在 此 二 元 信 道 中 傳 輸 。表 中 了 列 出 了 C1和 C2兩 種 編 碼 。 321321161814121)( 654321 ss

41、sssssPS s1 s2 s3 s4 s5 s6P(Xi) 1/2 1/4 1/8 1/16 1/32 1/32C1 000 001 010 011 100 101C2 0000 0001 0010 0011 0100 0101碼 C1的 信 息 傳 輸 率 R1=H(X)/3=0.646bit/信 道 符 號(hào)碼 C2的 信 息 傳 輸 率 R2=H(X)/4=0.484bit/信 道 符 號(hào)R2R1C,信 道 有 冗 余尋 找 一 種 編 碼 ， 使 得 信 息 傳 輸 率 接 近 或 等 于 信道 容 量 C， 也 就 是 說 ， 尋 找 一 種 編 碼 使 得 每 個(gè) 信源 符 號(hào) 所 需 的 二 元 碼 最 短 （ 把 信 源 輸 出 符 號(hào) 序 列變 換 為 最 短 碼 字 序 列 ） ， 這 就 是 信 源 編 碼 理 論 。 無 失 真 信 源 編 碼 就 是 將 信 源 輸 出 的 消 息變 換 成 適 合 信 道 傳 輸 的 新 信 源 的 消 息 來傳 輸 ， 而 使 新 信 源 的 符 號(hào) 接 近 等 概 分 布 ，新 信 源 的 熵 接 近 最 大 熵 logr， 這 樣 ， 信道 傳 輸 的 信 息 量 達(dá) 到 最 大 ， 信 道 冗 余 度接 近 于 零 ， 使 信 源 和 信 道 達(dá) 到 匹 配 ， 信道 得 到 充 分 利 用 。