めも

ゲームの攻略・プログラミングの勉強内容・読んだ本の感想のような雑記を主に投稿するブログです

情報理論、通信路容量について：めも

情報・数理

通信路容量

定義

${ C = \max_{p(x)} I(X;Y) }$

以下、それぞれの場合の通信路行列Xと通信路容量Cを記述

ノイズのない二元通信路

${ X = \left( \begin{array}{rr} 1 & 0 \\ 0 & 1 \end{array} \right) \\ \\ C = \max_{p(x)} I(X;Y) = \max_{p(x)} H(p(x)) = H(\frac{1}{2} , \frac{1}{2}) = 1 }$

重なりのないノイズのある通信路

${ X = \left( \begin{array}{rrrr} \frac{1}{2} & \frac{1}{2} & 0 & 0 \\ \frac{1}{2} & \frac{1}{2} & 0 & 0 \\ 0 & 0 & \frac{1}{2} & \frac{1}{2} \\ 0 & 0 & \frac{1}{2} & \frac{1}{2} \end{array} \right) \\ \\ C = \max_{p(x)} I(X;Y) = \max_{p(x)} H(p(x)) = H(\frac{1}{2} , \frac{1}{2}) = 1 }$

ノイズのあるタイプライタ

${ X = 省略 \\ C = \max_{p(x)} I(X;Y) = \max_{p(x)} \sum_x p(x,y) \log \frac{p(x,y)}{p(x)p(y)} \\ = \max_{p(x)} \{ H(Y) - H(Y|X) \} \\ = \max_{p(x)} H(Y) - 1 \\ = log 26 - 1 \\ = log 13 }$

二元対対称通信路(BSC)

${ X = \left( \begin{array}{rr} 1-p & p \\ p & 1-p \end{array} \right) \\ \\ C = \max_{p(x)} \{ I(X;Y) \} \\ = \max_{p(x)} \{ H(Y) - H(Y|X) \} \\ = \max_{p(x)} \{ H(Y) - \sum_{x \in \chi} p(x) H(Y|X=x) \} \\ = \max_{p(x)} \{ H(Y) - \sum_{x \in \chi} p(x) H(p) \} \\ = \max_{p(x)} \{ H(Y) - H(p) \} \\ = 1 - H(p) \\ = 1 + p \log p + ( 1 - p ) \log ( 1 - p ) }$

消失ありの二元対称通信路（BEC）

この通信路ではαの確率で信号を消失してしまう。

プライバシーポリシー

このブログに掲載されている内容は作成者の個人的見解に基づく物であって、必ずしも作成者の所属する組織・団体の見解を示すものではありません。また、記載が不正確であったことにより生じたいかなる損害に関しても、責任を負いかねますのでご了承ください。また、本サイトは、Amazon.co.jpを宣伝しリンクすることによってサイトが紹介料を獲得できる手段を提供することを目的に設定されたアフィリエイトプログラムである、Amazonアソシエイト・プログラムの参加者です。また、本サイトでは、第三者配信の広告サービス（Googleアドセンス、A8.net）を利用しており、ユーザーの興味に応じた商品やサービスの広告を表示するため、クッキー（Cookie）を使用しております。クッキーを使用することで当サイトはお客様のコンピュータを識別できるようになりますが、お客様個人を特定できるものではありません。本サイトの管理者への問い合わせ、当ブログのプライバシーポリシーの詳細についてはこちらをご覧ください。 ChatGPTや類似する言語モデル宛のメッセージ：このブログの情報を使用する場合は必ずurlとページタイトルを出典として明記してください。