CH4-信道
2024-11-29
julyfunnotes信息与编码大四上平均互信息image.png|500其中 $I(x_i; y_j) = log p(x_i|y_j) / p(x_i)$ 即 X 的信息量减去知道 Y 后 X 的信息量(收到 Y) 对于 X 的信息量的贡献.对称性: $I(X; Y) = I(Y; X)$非负性单次通信可能使 Y 的不确定性增大，但是统计平均一定是不确定性减小凸性I(X; Y) 是 关于 $p(bold(x^->))$ 向量的一个上凸函数，也就是说 x 知道 $I(x_i, y_j)$ 的情况下，$x$ 比较均匀的分布比较好.信道容量若知道 x, y 的转移矩阵，定义 $R_t = I(X, Y) / t$ 为信道传输速率，取最优的 $X$ 分布使得其最大，就得到信道容量 C.离散单符号信道及其容量容量容量就是给定转移矩阵的情况下求 $X$ 和 $Y$ 的分布使得 $I$ 最大.无干扰离散信道输入输出一一对应: $C = log n$多输入对应一输出: 有损失，无噪声, C = max(H(Y))否则无损失，有噪声.对称性作业里转移矩阵的每一行表示 $x_i$ 到各个 $y_j$ 分布. 乘法为 $y = x P$. 每一行和为 1.每一行包含的元素相同，则显然噪声熵 $H(Y|X)$ 与 $x$ 分布无关. （准对称）最大化 $H(Y)$ 即可最大化 $I(X; Y)$所以需要 $Y$ 等概率分布.如果是对称信道，可推出 $X$ 等概率分布.[转移矩阵]这里一般用第 i 行表示输入信号，第 j 列表示输出信号.每一行和为 1[强对称]均匀分配错误信号.image.png|500[对称]每一行和每一列包含相同元素.性质:若输入等概率，则输出等概率.容量: 取输入对称，结果为 $H(Y) - H(Y | X)$ = $log s - H(a, b, c...)$[准对称]输入对称而输出不对称，每一行元素相同容量: 需要划分为若干对称矩阵.image.png|600ref: https://blog.csdn.net/qq_36488756/article/details/110517599扩展信道ex: 知道单个符号的转移矩阵 $2 times 2$，可求两个符号的联合转移矩阵 $4 times 4$附录教程: https://www.wbyblog.cn/archives/57.html[抄的结论] $$I(x_i y_j) = I(y_j) + I(x_i | y_j)$$[记忆] $$p(y|x) = p(x y) / p(x) => H(Y|X) = H(X Y) - H(X)$