LSTM全称为：long short term memory，也叫作长短期记忆人工神经网络，本质上是一种时间循环神经网络。LSTM是为了解决一般的RNN长期依赖问题而被专门设计出来的。所有的RNN都具有一种重复神经网络模块的链式形式。在标准RNN中，这个重复的结构模块只有一个非常简单的结构，例如一个tanh层。

LSTM 也具有这样的结构，但是重复的模块拥有的却是一个不同的结构。相比单一神经网络层，LSTM有四个，采用一种非常特殊的方式来进行交互。

LSTM核心思想：

LSTM最为关键的地方是：细胞的状态(绿色的图代表的是一个cell)，以及穿过细胞的那条水平线。

细胞状态与传送带相类似。直接运行在整个链上，线性交互数量很少。能够很容易的让信息在上面流传并且保持不变。

如果只有上面的那条水平线是无法进行添加或者删除信息的，需要借助一种叫做 门(gates) 的结构来实现。

门 能够实现选择性地让信息通过，这主要是利用一个 sigmoid 的神经层以及一个逐点相乘的操作而实现的。

sigmoid 层输出的每一个元素都是一个在 0 和 1 之间的实数，表示的是让对应信息通过的权重(或者占比)。比如， 0 代表“不让任何信息通过”， 1代表“让所有信息通过”。

LSTM通过遗忘门、输入门和输出门，三个这样的基本结构来实现信息的保护和控制。