般單符號離散信道的信道容量

《般單符號離散信道的信道容量》由會員分享，可在線閱讀，更多相關《般單符號離散信道的信道容量（35頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1、4.2 離 散 單 個 符 號 信 道 及 其 容 量4.2.1 離 散 單 符 號 信 道 及 其 容 量4.2.2 離 散 無 干 擾 信 道4.2.3 對 稱 信 道4.2.4 準 對 稱 信 道4.2.5 一 般 離 散 信 道 的 信 道 容 量 3.2 離 散 單 個 符 號 信 道 及 其 容 量 信 息 傳 輸 率 R： 信 道 中 平 均 每 個 符 號 所 能 傳 送 的信 息 量 信 息 傳 輸 速 率 Rt:信 道 在 單 位 時 間 內(nèi) 平 均 傳 輸 的信 息 量 。 t為 平 均 傳 送 一 個 符 號 所 需 的 時 間 。 ; /R I X Y H X H X

2、Y bit 符 號 ; ( / )tR R t I X Y t bit s 對 于 某 特 定 的 信 道 ， 轉(zhuǎn) 移 概 率 p(bj|ai)已 經(jīng)確 定 ， 則 互 信 息 是 關 于 輸 入 符 號 分 布 概 率 的 凸函 數(shù) 。 也 就 是 說 可 以 找 到 某 種 概 率 分 布 p(ai)， 使I(X;Y)達 到 最 大 ， 也 即 R 達 到 最 大 ， 該 最 大 值 就是 信 道 所 能 傳 送 的 最 大 信 息 量 ， 即 信 道 容 量 。 信 道 容 量 也 可 定 義 為 信 道 的 最 大 的 信 息 傳輸 速 率 R t。 ( ) ( ) /max max

3、; /det/i ip a p a bitC R I X Y nat 符 號符 號符 號 ( ) ( ) /1max max ; /det/ i itp a p a bitC R I X Y natt sss【 注 】 、 一 般 地 ， 我 們 只 考 慮 第 一 種 定 義 方 式 。 說 明 ： 信 道 容 量 是 信 道 本 身 的 特 性 ， 與 信 源 無 關 ； 不 是 所 有 的 信 源 傳 輸 符 號 時 都 可 以 達 到 這 個 傳輸 速 率 ， 使 信 道 達 到 最 大 傳 輸 率 的 輸 入 概 率 分布 稱 為 最 佳 輸 入 分 布 ； 信 道 容 量 是 信

4、息 傳 輸 率 R的 上 限 ， 定 量 了 信 道信 息 的 最 大 通 過 能 力 。 信 道 傳 遞 信 息 過 程 中 引 入 兩 個 定 義 ：1、 信 道 疑 義 度 :H(X|Y)2、 噪 聲 熵 :H(Y|X) 1、 信 道 疑 義 度 1 1( / ) ( / )log ( / )rj i ji i jH X b P a b p a b 這 是 收 到 后 關 于 X的 后 驗 熵 ， 表 示 收 到 后 關 于輸 入 符 號 的 信 息 測 度jb jb , 1( / ) ( / ) ( )log ( / )j X YH X Y E H X b P xy P x y 這 個

5、 條 件 熵 稱 為 信 道 疑 義 度 ， 表 示 輸 出 端 在 收 到 一 個符 號 后 ， 對 輸 入 符 號 尚 存 的 不 確 定 性 ， 這 是 由 信 道 干 擾 造成 的 ， 如 果 沒 有 干 擾 ， H(X|Y)=0,一 般 情 括 下 H(X|Y)小 于H(X)， 說 明 經(jīng) 過 信 道 傳 輸 ， 總 能 消 除 一 些 信 源 的 不 確 定 性 ，從 而 獲 得 一 些 信 息 。 I(X;Y)=H(X)-H(X|Y)= H(Y)-H(Y|X)2、 噪 聲 熵平 均 互 信 息 I(X;Y)表 示 信 道 傳 遞 的 信 息 量 。. ( / )( ; ) ( )

6、log ( )X Y P x yI X Y P xy P y H(X|Y)即 信 到 疑 義 度 ， 也 表 示 通 過 有 噪 信 道 造 成 的損 失 ， 故 也 稱 為 損 失 熵 ， 因 此 信 源 的 熵 等 于 收 到 的 信 息量 加 上 損 失 的 熵 ； 而 H(Y|X)表 示 已 知 輸 入 的 情 況 下 ， 對 輸出 端 還 殘 留 的 不 確 定 性 ， 這 個 不 確 定 性 是 由 噪 聲 引 起 的 ，故 也 稱 之 為 噪 聲 熵 。 4.2.2 無 干 擾 離 散 信 道 無 噪 現(xiàn) 象 ： 1個 輸 入 只 對 應 1個 輸 出 ， 噪 聲 熵 H(Y|X

7、)=0 無 損 現(xiàn) 象 ： 1個 輸 出 只 對 應 1個 輸 入 ， 疑 義 度 H(X|Y)=0 無 噪 無 損 信 道 ： 即 X、 Y一 一 對 應 ， 則H(Y|X)= H(X|Y)= 0 有 噪 無 損 信 道 ： 一 個 輸 入 X產(chǎn) 生 多 個 輸 出 Y （ 有 噪 ） ,而 且 每 個 X值 所 對 應 的 Y值 不 重 合 ； 又 因 為 信 道 無 損 ，接 收 到 符 號 Y后 ， X完 全 確 定 。因 為 無 損 ： H(X/Y)=0， 有 噪 ： H(Y/X)0 所 以 ： I(X;Y)=H(X)H(Y) 無 噪 有 損 信 道 ： 一 個 Y對 應 多 個 X

8、， 而 且 每 個 Y 值 所 對 應 的 X值不 重 合 。 接 收 到 符 號 Y后 不 能 完 全 消 除 對 X的 不 確定 性 。 H(X/Y) 0； I(X;Y)=H(Y) H(X) X Y X Y X Y 1 1 1 1 1 1 1 1 1 1 1 1 1 (a) 無 噪 無 損 信 道 (b) 無 噪 有 損 信 道 (c) 有 噪 無 損 信 道部 分 理 想 化 的 無 干 擾 離 散 信 道 損 失 熵 （ 疑 義 度 ） H(X/Y) = 0 的 信 道 稱 為 無損 信 道 ， 其 信 道 容 量 為 ： 其 中 ， r為 輸 入 信 源 X的 符 號 個 數(shù) ， 等

9、 概 率 分 布 時H(X)最 大 。 噪 聲 熵 H(Y/X) = 0 的 信 道 稱 為 無 噪 信 道 ， 其信 道 容 量 為 ： 其 中 ， s為 輸 出 信 源 Y的 符 號 個 數(shù) ， 等 概 率 分 布 時H(Y)最 大 。 ( )max log /p xC H X r bit symbol ( )max log /p yC H Y s bit symbol 一 一 對 應 的 信 道 稱 為 無 噪 無 損 信 道 ( ) ( )max maxlog log /p x p yC H X H Yr s bit symbol X、 Y一 一 對 應 ， 無 噪 無 損 信 道 C

10、 maxI(X;Y) log r多 個 輸 入 變 成 一 個 輸 出 ， 無 噪 信 道 C maxI(X;Y) maxH(Y)一 個 輸 入 對 應 多 個 輸 出 ， 無 損 信 道 C maxI(X;Y) maxH(X) 4.2.3 對 稱 DMC信 道 對 稱 DMC信 道 定 義輸 入 對 稱 轉(zhuǎn) 移 概 率 矩 陣 P的 每 一 行 都 是 第 一 行 的 重 新 排 列(包 含 同 樣 元 素 )， 稱 該 矩 陣 是 輸 入 對 稱 。輸 出 對 稱 轉(zhuǎn) 移 概 率 矩 陣 P的 每 一 列 都 是 第 一 列 的 重 新 排 列(包 含 同 樣 元 素 )， 稱 該 矩 陣

11、 是 輸 出 對 稱 。對 稱 的 DMC信 道 輸 入 、 輸 出 都 對 稱 。 對 稱 DMC信 道 例 子 31316161 61613131 216131 312161 613121接 下 來 考 慮 對 稱 信 道 的 信 道 容 量 ： 因 為 輸 入 對 稱 所 以 條 件 熵與 信 道 輸 入 符 號 概 率 分 布 無 關 。 則 信 道 容 量 為無 關與 iabpabpj ijij )/(log)/( / ) ( ) ( / )log ( / )( / )log ( / ) ( / )i j i j ii j j i j i ijH Y X p a p b a p b

12、ap b a p b a H Y a )/()(max )|()(max )|()(max);(max )( )( )()( XYHYH XYHYH YXHXHYXIC ii iiap ap apap 又 輸 出 對 稱 ， 若 信 道 輸 入 符 號 等 概 率 分 布 ， 則 與 j無 關 ， 即 信 道 輸 出 也 等 概 率 分 布 ； 反 之 ， 若 信道 輸 出 符 號 等 概 率 分 布 ， 對 稱 信 道 的 輸 入 符 號 必定 也 是 等 概 率 分 布 的 。 因 此 要 使 H(Y)最 大 ， 只 有信 道 輸 出 符 號 等 概 率 分 布 ， 此 時 輸 入 符 號

13、 也 等 概率 分 布 。 則 對 稱 DMC信 道 的 容 量 為 1log ( | ) log logsi ij ijjC s H Y a s p p 1( ) ( ) ( / ) ( / )j i j i j ii ip b p a p b a p b an 信 道 轉(zhuǎn) 移 概 率 矩 陣 如 下 ： 信 道 輸 入 符 號 和 輸 出符 號 的 個 數(shù) 相 同 ， 都 為 r， 且 正 確 傳 輸 概 率 為 1 ，錯 誤 概 率 被 對 稱 地 均 分 給 r-1個 輸 出 符 號 ， 此 信 道 稱為 強 對 稱 信 道 或 均 勻 信 道 ， 是 對 稱 離 散 信 道 的 一

14、個特 例1 1 111 1 11 1r rr rr r P log (1 , , , )1 1C r H r r 當 n=2時 ， 即 為 二 進 制 對 稱 信 道 C 1 H（ ） =1- log - (1- )log(1- ) 0 0.2 0.4 0.6 0.8 1 0 0.2 0.4 0.6 0.8 1 4.2.4 準 對 稱 DMC信 道定 義 ： 如 果 轉(zhuǎn) 移 矩 陣 P 的 列 可 以 劃 分 成 若 干 個 互 不 相交 的 子 集 Bk， （ 即 B1B2 Bk=； B1 B2 Bk= P） 且 每 個 子 集 所 組 成 的 子 陣 都 是 輸 入 輸 出 對 稱 矩陣

15、， 則 稱 該 信 道 是 準 對 稱 DMC信 道 。1 0 0 1p pp p P 要 判 斷 一 個 信 道 是 否 為 離 散 準 對 稱 信 道 ， 必 須 對該 信 道 的 轉(zhuǎn) 移 矩 陣 進 行 適 當 的 調(diào) 整 ， 即 按 列 重 排再 按 列 分 塊 。 這 種 調(diào) 整 ， 就 是 定 義 中 所 說 的 將 轉(zhuǎn)移 矩 陣 的 列 劃 分 成 子 集 再 組 成 子 陣 的 過 程 。 轉(zhuǎn) 移矩 陣 的 列 與 輸 出 符 號 對 應 ， 因 此 ， 把 轉(zhuǎn) 移 矩 陣 的列 劃 分 成 互 不 相 交 的 子 集 ， 也 相 當 于 把 信 道 的 輸出 符 號 集 合

16、中 的 符 號 劃 分 成 互 不 相 交 的 子 集 。 1 1/3 1/3 1/6 1/61/6 1/3 1/6 1/3 P 結 論 ： 對 于 準 對 稱 DMC信 道 ， 當 輸 入 分 布 為 等 概分 布 時 ， 互 信 息 達 到 最 大 值 。 信 道 容 量 表 示 為 ： 將 轉(zhuǎn) 移 概 率 矩 陣 劃 分 成 若 干 個 互 不 相 交 的 對 稱 的子 集 ， r為 輸 入 符 號 集 個 數(shù) ； p1， p2， ps是 轉(zhuǎn)移 概 率 矩 陣 P 中 一 行 的 元 素 ； Nk 是 第 k個 子 矩 陣 中行 元 素 之 和 ， Mk是 第 k個 子 矩 陣 中 列

17、元 素 之 和 ， t是 互 不 相 交 的 子 集 個 數(shù) 。1 2 1log ( , , ) logts k kkC r H p p p N M 如 2.05.03.0 2.03.05.0P 2.02.0,5.03.0 3.05.0 符 號/036.04.0log2.0 8.0log8.0)2.0,3.0,5.0(2log 2 22 bitHC 4.2.5 一 般 離 散 信 道 的 信 道 容 量 信 道 容 量 計 算 ： 對 所 有 可 能 的 輸 入 概 率 分 布 P(ai)求該 信 道 平 均 互 信 息 I(X;Y)的 極 大 值 。 由 于 I(X;Y)是 P(ai)的 型

18、 上 凸 函 數(shù) ， 所 以 極 大 值 一定 存 在 。 n個 變 量 滿 足 概 率 存 在 條 件 ： P(ai) 1。 當 信 道 給 定 時 ， 條 件 轉(zhuǎn) 移 概 率 矩 陣 P(bj|ai)都 為 定 量。 計 算 ： 拉 格 朗 日 乘 數(shù) 法 計 算 該 條 件 極 值 引 進 一 個 新 函 數(shù) )();( iX aPYXI 先 求 出 達 到 極 值 的 概 率 分 布 和 拉 格 朗 日 乘數(shù) 的 值 ， 然 后 再 求 解 出 信 道 容 量 C。 1)( 0)( )();()( iX i iXi aP aP aPYXIaP 令 ： 例 2.05.03.0 2.03.

19、05.0P 2.0)1(2.02.0)( 2.05.0)1(5.03.0)( 2.03.0)1(3.05.0)( 321 bp bp bp 信 道 的 輸 入 符 號 有 兩 個 ， 設 p(a1) ， p(a2) 1 。 信 道 的 輸 出 符 號 有 三 個 ， 用 b1、 b2、 b3表 示 。( ) ( , ) ( ) ( | )j i j i j ii ip b p a b p a p b a log log0.3 0.2 log 0.3 0.2 0.5 0.2 log 0.5 0.20.2log0.2 0.5log0.5 0.3log0.3 0.2lo 02; g .j j i j

20、 i j ij i jP b P b pI X Y H Y a p b p b aH Y X a ( ; ) 00.5I X Y 令解 得 符 號/036.0);(max bitYXIC 即 輸 入 符 號 分 布 等 概 率 時 ， I(X;Y) 達 到 極 大 值 。所 以 信 道 容 量 為 定 理 ： 一 般 離 散 信 道 達 到 信 道 容 量 的 充 要 條 件是 輸 入 概 率 分 布 滿 足( ) ( ; ) 0( ) ( ; ) 0i i ii i ia I x Y C x pb I x Y C x p 對 所 有 其對 所 有 其 1 ( / )( ; ) ( / )lo

21、g ( )s j ii j ij jp b aI x Y p b a p b 該 定 理 說 明 ， 當 平 均 互 信 息 達 到 信 道 容 量 時 ，信 源 每 一 個 符 號 都 對 輸 出 端 輸 出 相 同 的 互 信 息 。 證 明 可 以 利 用 該 定 理 對 一 些 特 殊 信 道 求 得 它 的 信 道 容 量例 ： 輸 入 符 號 集 為 :0,1,2， 輸 出 符 號 集 ： 0,11 01 12 20 1P 假 設 P(0)=P(2)=1/2， P(1)=0， 則 ：1( 0) 21( 1) 2P yP y 21 ( /0)(0, ) ( /0)log log2(

22、)y P yI Y P y P y 21 ( /2)(2, ) ( /2)log log2( )y P yI Y P y P y 21 ( /1)(1, ) ( /1)log 0(1)y P yI Y P y P 所 以 ： log2 1C 對 于 一 般 信 道 的 求 解 方 法 ， 就 是 求 解 方 程 組1 1( / )log ( / ) ( / )log ( )s sj i j i j i jj jP b a P b a P b a P b C 移 項 得 ： 1 1( / ) log ( ) ( / )log ( / )s sj i j j i j ij jP b a C P b

23、 P b a P b a 令 log ( )j jC P b 則 : 1 1( / ) ( / )log ( / )s sj i j j i j ij jP b a P b a P b a 若 r=s， 此 方 程 有 解 ， 可 以 解 出 s個 未 知 數(shù) ， 再 根 據(jù)j1( ) 2 , ( ) 1j sCj jjP b P b 得12 1js Cj 從 而 1log 2 jsjC 例 ： 1 1 102 4 40 1 0 00 0 1 01 1 104 4 2P 可 列 方 程 組 ： 1 2 423 1 3 41 1 1 1 1 1 1 1 1log log log2 4 4 2 2 4 4 4 4001 1 1 1 1 1 1 1 1log log log4 4 2 4 4 4 4 2 2 解 之 得 ： 2 31 4 02 2 0 0 2 5log(2 2 2 2 ) log log5 12C 2 log5 11 4 1( ) ( ) 2 10P b P b 1 42 3 4( ) ( ) 3011( ) ( ) 30P a P aP a P a 0 log5 12 3 4( ) ( ) 2 10P b P b