CH4-信道

• 平均互信息
  • 
    • 其中 即 X 的信息量减去知道 Y 后 X 的信息量
  • (收到 Y) 对于 X 的信息量的贡献.
  • 对称性:
  • 非负性
    • 单次通信可能使 Y 的不确定性增大，但是统计平均一定是不确定性减小
  • 凸性
    • I(X; Y) 是 关于 向量的一个上凸函数，也就是说 x 知道 的情况下， 比较均匀的分布比较好.
• 信道容量
  • 若知道 x, y 的转移矩阵，定义 为信道传输速率，取最优的 分布使得其最大，就得到信道容量 C.

离散单符号信道及其容量

容量

容量就是给定转移矩阵的情况下求 和 的分布使得 最大.

无干扰离散信道

• 输入输出一一对应:
• 多输入对应一输出: 有损失，无噪声, C = max(H(Y))
• 否则无损失，有噪声.

对称性

• 作业里转移矩阵的每一行表示 到各个 分布. 乘法为 . 每一行和为 1.

• 每一行包含的元素相同，则显然噪声熵 与 分布无关. （准对称）

  • 最大化 即可最大化
  • 所以需要 等概率分布.
    • 如果是对称信道，可推出 等概率分布.

• [转移矩阵]

  • 这里一般用第 i 行表示输入信号，第 j 列表示输出信号.
  • 每一行和为 1

• [强对称]

  • 均匀分配错误信号.
  • 

• [对称]

  • 每一行和每一列包含相同元素.
  • 性质:
    • 若输入等概率，则输出等概率.
  • 容量: 取输入对称，结果为 =

• [准对称]

  • 输入对称而输出不对称，每一行元素相同
  • 容量: 需要划分为若干对称矩阵.
  • 

• ref: https://blog.csdn.net/qq_36488756/article/details/110517599

扩展信道

• ex: 知道单个符号的转移矩阵 ，可求两个符号的联合转移矩阵

附录

• 教程: https://www.wbyblog.cn/archives/57.html
• [抄的结论]
• [记忆]