理解LSTM网络

刚开始学习神经网络的时候,连基础的CNN都看不懂,更无法理解,它是如何从图片中提取特征的。看到LSTM单元更加懵掉了。如此复杂的结构究竟是怎样被发明出来的?每一步为什么要这么做呢?

本文是一篇详细介绍的基础文章,包含数学公式肯定是在所难免的,要搞清楚这些原理,就必须理解这些公式。

循环神经网络

LSTM长短时记忆网络是一种特殊的循环神经网络,所以我们还是从普通的RNN说起。

网络结构长这个样子,核心的部分就是那个循环结构。对于t时刻的输入x_t,输出为h_t,状态为s_t,于是当前的状态就是:
s_t = Wx_t+ Us_{t-1}=W_s [s_{t-1}, x_t]

当前的输出为:
h_t = \sigma (V s_t)
接下来要做的就是带入样本,训练权重W_s,V.

循环神经网络看起来好像输入和输出长度必须相等,实际上不相等也是可以的。例如在文本分类或者情感分析中,只需要最后的输出h_t,之前的h_{t-1}可以不用计算。

当然也可以是一个输入多个输出,比如根据图片自动生成对图片的描述,网络结构可以是这样。

普通RNN最大的问题就是每次输入,都是只根据上一次的状态更新当前的状态值,s_t只依赖与s_{t-1},每次更新权重都会发生变化,那么对于一个输入长序列,RNN无法记住长序列的信息。理由也是状态无法有选择的更新,没有记忆的功能。直观理解起来就是记性不太好,对于记忆容易遗忘。

现在改造RNN就是希望能记住更长的信息,那至少得有状态存储,有选择更新状态值。于是LSTM就应允而生了。(想要记住长序列的信息也可以在RNN前面接CNN,CNN滤波器的感受视野可以记住一些局部信息,这是题外话了)

LSTM网络

到这里我们大致可以想到LSTM会存在哪些结构了。首先对于上一个状态的输入,我们可以选择是否遗忘。也就是当前的状态是否会跟上一个状态有关。其次需要保存一个候选的状态,用于更新状态。对应的叫做遗忘门和记忆存储单元。

遗忘门就是对上一个输出,选择遗忘多少。f_t\sigma函数的输出,在[0,1]上,0表示完全遗忘,1表示不遗忘。

i_t是输入值被\sigma函数处理以后用于更新候选状态, \tilde{C_t} 是候选的状态值。接下来就要更新当前的状态值C_t

当前状态C_t取决于对上一个状态的遗忘和候选状态单元的值。

更新完当前的状态值就可以计算输出了。这里的输出为h_t.总结起来一共做了三次\sigma处理和两次\tanh处理。两条贯穿整个节点的横线,上面那条是更新当前状态,下面是更新输出结果。

单从理解的角度看,其实并不难理解,无非就是这4个步骤的计算,如果站在设计者的角度想,那确实难度很大,要设计出这样的单元结构是一件从0到1的事情,至于LSTM出现很多的变种,无非是从1到多的问题。

致谢

感谢 Hochreiter & Schmidhuber 1997的发明; 以及Colah的blog,非常详细通俗的博客文章。文章的配图来自Colah的博客和机器之心。

关注机器学习和算法的码农,喜欢编程和读书
文章已创建 74

发表评论

电子邮件地址不会被公开。

相关文章

开始在上面输入您的搜索词,然后按回车进行搜索。按ESC取消。

返回顶部