CH4 信道

平均互信息
- - 其中 $I(x_i; y_j) = log p(x_i|y_j) / p(x_i)$ 即 X 的信息量减去知道 Y 后 X 的信息量
- (收到 Y) 对于 X 的信息量的贡献.
- 对称性: $I(X; Y) = I(Y; X)$
- 非负性
  - 单次通信可能使 Y 的不确定性增大，但是统计平均一定是不确定性减小
- 凸性
  - I(X; Y) 是关于 $p(bold(x^->))$ 向量的一个上凸函数，也就是说 x 知道 $I(x_i, y_j)$ 的情况下，$x$ 比较均匀的分布比较好.
信道容量
- 若知道 x, y 的转移矩阵，定义 $R_t = I(X, Y) / t$ 为信道传输速率，取最优的 $X$ 分布使得其最大，就得到信道容量 C.

离散单符号信道及其容量

容量就是给定转移矩阵的情况下求 $X$ 和 $Y$ 的分布使得 $I$ 最大.

作业里转移矩阵的每一行表示 $x_i$ 到各个 $y_j$ 分布. 乘法为 $y = x P$. 每一行和为 1.
每一行包含的元素相同，则显然噪声熵 $H(Y|X)$ 与 $x$ 分布无关. （准对称）
- 最大化 $H(Y)$ 即可最大化 $I(X; Y)$
- 所以需要 $Y$ 等概率分布.
  - 如果是对称信道，可推出 $X$ 等概率分布.
[转移矩阵]
- 这里一般用第 i 行表示输入信号，第 j 列表示输出信号.
- 每一行和为 1
[强对称]
- 均匀分配错误信号.
[对称]
- 每一行和每一列包含相同元素.
- 性质:
  - 若输入等概率，则输出等概率.
- 容量: 取输入对称，结果为 $H(Y) - H(Y | X)$ = $log s - H(a, b, c...)$
[准对称]
- 输入对称而输出不对称，每一行元素相同
- 容量: 需要划分为若干对称矩阵.
ref: https://blog.csdn.net/qq_36488756/article/details/110517599