読者です 読者をやめる 読者になる 読者になる

情報理論、通信路容量について:めも

通信路容量

定義

{ C = \max_{p(x)} I(X;Y) }

以下、それぞれの場合の通信路行列Xと通信路容量Cを記述

ノイズのない二元通信路

{
X = \left(
    \begin{array}{rr}
      1 & 0  \\
      0 & 1
    \end{array}
  \right)
\\
\\
C = \max_{p(x)} I(X;Y) = \max_{p(x)} H(p(x)) = H(\frac{1}{2} , \frac{1}{2}) = 1
}

重なりのないノイズのある通信路

{
X = \left(
    \begin{array}{rrrr}
      \frac{1}{2} & \frac{1}{2} & 0 & 0  \\
      \frac{1}{2} & \frac{1}{2} & 0 & 0  \\
      0 & 0 & \frac{1}{2} & \frac{1}{2} \\
      0 & 0 & \frac{1}{2} & \frac{1}{2} 
    \end{array}
  \right)
\\
\\
C = \max_{p(x)} I(X;Y) = \max_{p(x)} H(p(x)) = H(\frac{1}{2} , \frac{1}{2}) = 1
}

ノイズのあるタイプライタ

{
X = 省略 \\
C = \max_{p(x)} I(X;Y) = \max_{p(x)}  \sum_x p(x,y) \log \frac{p(x,y)}{p(x)p(y)} \\
= \max_{p(x)} \{ H(Y) - H(Y|X) \} \\
= \max_{p(x)} H(Y) - 1 \\
= log 26 - 1 \\
= log 13
}

二元対対称通信路(BSC)

{
X = \left(
    \begin{array}{rr}
      1-p & p  \\
      p & 1-p
    \end{array}
  \right)
\\
\\
C = \max_{p(x)} \{ I(X;Y) \} \\
= \max_{p(x)} \{ H(Y) - H(Y|X) \} \\
= \max_{p(x)} \{ H(Y) - \sum_{x \in \chi} p(x) H(Y|X=x) \} \\
= \max_{p(x)} \{ H(Y) - \sum_{x \in \chi} p(x) H(p) \} \\
= \max_{p(x)} \{ H(Y) - H(p) \} \\
= 1 - H(p) \\
= 1 + p \log p + ( 1 - p ) \log ( 1 - p )
}

消失ありの二元対称通信路(BEC

この通信路ではαの確率で信号を消失してしまう。