10.1.queries-keys-values

  • 设想一个由 key, value 对组成数据库
  • 某个实体可以对查询 q 和 返回权重
  • 则定义 (即 value 的线性组合)

image.png

  • 凸组合: 权重和为 1 且权重 ,可使用 softmax 来达成
  • 这边定义的 show_heatmaps 函数输入矩阵为四维 (n, m, r, c),显示 个矩阵,每个矩阵长宽

image.png