RNN 基础模型
这里 极其类似于单隐藏层感知机中的隐藏层,只是前一刻的隐藏层输出会成为下一刻隐藏层的输入的一部分。而 隐状态则存储在网络之外。
Perplexity 困惑度
可以直接利用神经网络输出的概率,评估它有多自信。当每个输出的概率均为 时,困惑度为 ,当概率为 时困惑度正无穷,当概率为均匀分布时困惑度为唯一词元数(也是未压缩情况下存储序列最好的编码方式)。看到一个语言模型报告其 perplexity 为 时,直观理解为它每次输出认为有 个词作为下一个词的合理选择。ref: http://sentiment-mining.blogspot.com/2016/11/perplexity.html