循环神经网络原理 -- GRU、LSTM、深度循环神经网络、双向循环神经网络

循环神经网络

在循环神经网络中输入数据是存在时间相关性的，也就是说，前一个时间点的数据会对后一时间点的数据产生影响。假设 ${\mathbf{X}}_t\in {\mathbb{R}}^{n\times d}$ 是序列中时间步 $t$ 的小批量输入，${\mathbf{H}}_t\in {\mathbb{R}}^{n\times h}$ 是该时间步的隐藏变量。与多层感知机不同的是，这里我们保存上一时间步的隐藏变量 ${\mathbf{H}}_{t?1}$，并引入一个新的权重参数 ${\mathbf{W}}_{hh}\in {\mathbb{R}}^{h\times h}$，该参数用来描述在当前时间步如何使用上一时间步的隐藏变量。具体来说，时间步 $t$ 的隐藏变量的计算由当前时间步的输入和上一时间步的隐藏变量共同决定：

$${\mathbf{H}}_t=?({\mathbf{X}}_t{\mathbf{W}}_{xh}+{\mathbf{H}}_{t?1}{\mathbf{W}}_{hh}+{\mathbf{b}}_h).$$

与多层感知机相比，我们在这里添加了 ${\mathbf{H}}_{t?1}{\mathbf{W}}_{hh}$ 一项。由上式中相邻时间步的隐藏变量 ${\mathbf{H}}_t$ 和 ${\mathbf{H}}_{t?1}$ 之间的关系可知，这里的隐藏变量能够捕捉截至当前时间步的序列的历史信息，就像是神经网络当前时间步的状态或记忆一样。因此，该隐藏变量也称为隐藏状态。隐藏状态中 ${\mathbf{X}}_t{\mathbf{W}}_{xh}+{\mathbf{H}}_{t?1}{\mathbf{W}}_{hh}$ 的计算等价于 ${\mathbf{X}}_t$与${\mathbf{H}}_{t?1}$ 连结后的矩阵乘以${\mathbf{W}}_{xh}$与${\mathbf{W}}_{hh}$连结后的矩阵。由于隐藏状态在当前时间步的定义使用了上一时间步的隐藏状态，上式的计算是循环的。使用循环计算的网络即循环神经网络（recurrent neural network）。

循环神经网络有很多种不同的构造方法。含上式所定义的隐藏状态的循环神经网络是极为常见的一种。在时间步 $t$，输出层的输出和多层感知机中的计算类似：

$${\mathbf{O}}_t={\mathbf{H}}_t{\mathbf{W}}_{hq}+{\mathbf{b}}_q.$$

循环神经网络的参数包括隐藏层的权重 ${\mathbf{W}}_{xh}\in {\mathbb{R}}^{d\times h}$、${\mathbf{W}}_{hh}\in {\mathbb{R}}^{h\times h}$ 和偏差 ${\mathbf{b}}_h\in {\mathbb{R}}^{1\times h}$，以及输出层的权重 ${\mathbf{W}}_{hq}\in {\mathbb{R}}^{h\times q}$ 和偏差 ${\mathbf{b}}_q\in {\mathbb{R}}^{1\times q}$。值得一提的是，即便在不同时间步，循环神经网络也始终使用这些模型参数。因此，循环神经网络模型参数的数量不随时间步的增加而增长。

上图展示了循环神经网络在3个相邻时间步的计算逻辑。在时间步 $t$，隐藏状态的计算可以看成是将输入 ${\mathbf{X}}_t$ 和前一时间步隐藏状态 ${\mathbf{H}}_{t?1}$ 连结后输入一个激活函数为 $?$ 的全连接层。该全连接层的输出就是当前时间步的隐藏状态 ${\mathbf{H}}_t$，且模型参数为 ${\mathbf{W}}_{xh}$ 与 ${\mathbf{W}}_{hh}$ 的连结，偏差为 ${\mathbf{b}}_h$。当前时间步 $t$ 的隐藏状态 ${\mathbf{H}}_t$ 将参与下一个时间步 $t+1$ 的隐藏状态 ${\mathbf{H}}_{t+1}$ 的计算，并输入到当前时间步的全连接输出层。

门控循环单元（GRU）

循环神经网络中如何通过时间反向传播？一文中介绍了循环神经网络中的梯度计算方法。我们发现，当时间步数较大或者时间步较小时，循环神经网络的梯度较容易出现衰减或爆炸。虽然裁剪梯度可以应对梯度爆炸，但无法解决梯度衰减的问题。通常由于这个原因，循环神经网络在实际中较难捕捉时间序列中时间步距离较大的依赖关系。

门控循环单元

门控循环神经网络（gated recurrent neural network）的提出，正是为了更好地捕捉时间序列中时间步距离较大的依赖关系。它通过可以学习的门来控制信息的流动。其中，门控循环单元（gated recurrent unit，GRU）是一种常用的门控循环神经网络。

重置门和更新门

如下图所示，门控循环单元中的重置门和更新门的输入均为当前时间步输入 ${\mathbf{X}}_t$ 与上一时间步隐藏状态 ${\mathbf{H}}_{t?1}$，输出由激活函数为 sigmoid 函数的全连接层计算得到。
具体来说，假设样本数为 $n$、输入个数为 $d$（即每个样本包含的元素数，一般为词典大小）、隐藏单元个数为 $h$，给定时间步 $t$ 的小批量输入 ${\mathbf{X}}_t\in {\mathbb{R}}^{n\times d}$ 和上一时间步隐藏状态 ${\mathbf{H}}_{t?1}\in {\mathbb{R}}^{n\times h}$。重置门 ${\mathbf{R}}_t\in {\mathbb{R}}^{n\times h}$ 和更新门 ${\mathbf{Z}}_t\in {\mathbb{R}}^{n\times h}$ 的计算如下：

$${\mathbf{R}}_t=\sigma ({\mathbf{X}}_t{\mathbf{W}}_{xr}+{\mathbf{H}}_{t?1}{\mathbf{W}}_{hr}+{\mathbf{b}}_r)$$
$${\mathbf{Z}}_t=\sigma ({\mathbf{X}}_t{\mathbf{W}}_{xz}+{\mathbf{H}}_{t?1}{\mathbf{W}}_{hz}+{\mathbf{b}}_z)$$

其中 ${\mathbf{W}}_{xr},{\mathbf{W}}_{xz}\in {\mathbb{R}}^{d\times h}$ 和 ${\mathbf{W}}_{hr},{\mathbf{W}}_{hz}\in {\mathbb{R}}^{h\times h}$ 是权重参数，${\mathbf{b}}_r,{\mathbf{b}}_z\in {\mathbb{R}}^{1\times h}$ 是偏差参数。sigmoid 函数可以将元素的值变换到0和1之间。因此，重置门 ${\mathbf{R}}_t$ 和更新门 ${\mathbf{Z}}_t$ 中每个元素的值域都是$[0,1]$。

候选隐藏状态

接下来，门控循环单元将计算候选隐藏状态来辅助稍后的隐藏状态计算。如下图所示，我们将当前时间步重置门的输出与上一时间步隐藏状态做按元素乘法（符号为$\odot$）。如果重置门中元素值接近0，那么意味着重置对应隐藏状态元素为0，即丢弃上一时间步的隐藏状态。如果元素值接近1，那么表示保留上一时间步的隐藏状态。然后，将按元素乘法的结果与当前时间步的输入连结，再通过含激活函数 tanh 的全连接层计算出候选隐藏状态，其所有元素的值域为$[?1,1]$。

具体来说，时间步 $t$ 的候选隐藏状态 ${\tilde{\mathbf{H}}}_t\in {\mathbb{R}}^{n\times h}$ 的计算为：

$${\tilde{\mathbf{H}}}_t=\text{tanh}({\mathbf{X}}_t{\mathbf{W}}_{xh}+\left({\mathbf{R}}_t\odot {\mathbf{H}}_{t?1}\right){\mathbf{W}}_{hh}+{\mathbf{b}}_h)$$

其中 ${\mathbf{W}}_{xh}\in {\mathbb{R}}^{d\times h}$ 和 ${\mathbf{W}}_{hh}\in {\mathbb{R}}^{h\times h}$ 是权重参数，${\mathbf{b}}_h\in {\mathbb{R}}^{1\times h}$ 是偏差参数。从上面这个公式可以看出，重置门控制了上一时间步的隐藏状态如何流入当前时间步的候选隐藏状态。而上一时间步的隐藏状态可能包含了时间序列截至上一时间步的全部历史信息。因此，重置门可以用来丢弃与预测无关的历史信息从而有助于捕捉时间序列里短期的依赖关系

隐藏状态

最后，时间步 $t$ 的隐藏状态 ${\mathbf{H}}_t\in {\mathbb{R}}^{n\times h}$ 的计算使用当前时间步的更新门 ${\mathbf{Z}}_t$ 来对上一时间步的隐藏状态 ${\mathbf{H}}_{t?1}$ 和当前时间步的候选隐藏状态 ${\tilde{\mathbf{H}}}_t$ 做组合：

$${\mathbf{H}}_t={\mathbf{Z}}_t\odot {\mathbf{H}}_{t?1}+(1?{\mathbf{Z}}_t)\odot {\tilde{\mathbf{H}}}_t$$
值得注意的是，更新门可以控制隐藏状态应该如何被包含当前时间步信息的候选隐藏状态所更新，如上图所示。假设更新门在时间步 $t^{\prime }$ 到 $t$（$t^{\prime }<t$）之间一直近似于1。那么，在时间步 $t^{\prime }$ 到 $t$ 之间的输入信息几乎没有流入时间步 $t$ 的隐藏状态 ${\mathbf{H}}_t$。实际上，这可以看作是较早时刻的隐藏状态 ${\mathbf{H}}_{t^{\prime }?1}$ 一直通过时间保存并传递至当前时间步 $t$。这个设计可以应对循环神经网络中的梯度衰减问题，并更好地捕捉时间序列中时间步距离较大的依赖关系（即长期的依赖关系）。

输出结果

将上面得到的隐藏状态 $H_t$ 输入神经网络，得到结果 ${\mathbf{Y}}_t\in {\mathbb{R}}^{n\times q}$：
$${\mathbf{Y}}_t={\mathbf{H}}_t{\mathbf{W}}_{hq}+{\mathbf{b}}_q$$

总结来说：

• 重置门有助于捕捉时间序列里短期的依赖关系；
• 更新门有助于捕捉时间序列里长期的依赖关系。

长短期记忆（LSTM）

LSTM 中引入了3个门，即输入门（input gate）、遗忘门（forget gate）和输出门（output gate），以及与隐藏状态形状相同的记忆细胞（某些文献把记忆细胞当成一种特殊的隐藏状态），从而记录额外的信息。

输入门、遗忘门和输出门

与门控循环单元中的重置门和更新门一样，如下图所示，长短期记忆的门的输入均为当前时间步输入${\mathbf{X}}_t$ 与上一时间步隐藏状态 ${\mathbf{H}}_{t?1}$，输出由激活函数为 sigmoid 函数的全连接层计算得到。如此一来，这3个门元素的值域均为$[0,1]$。

具体来说，假设样本数为 $n$，输入个数为 $d$，隐藏单元个数为 $h$，给定时间步 $t$ 的小批量输入 ${\mathbf{X}}_t\in {\mathbb{R}}^{n\times d}$ 和上一时间步隐藏状态 ${\mathbf{H}}_{t?1}\in {\mathbb{R}}^{n\times h}$。 时间步 $t$ 的输入门 ${\mathbf{I}}_t\in {\mathbb{R}}^{n\times h}$、遗忘门 ${\mathbf{F}}_t\in {\mathbb{R}}^{n\times h}$ 和输出门 ${\mathbf{O}}_t\in {\mathbb{R}}^{n\times h}$ 分别计算如下：

$${\mathbf{I}}_t=\sigma ({\mathbf{X}}_t{\mathbf{W}}_{xi}+{\mathbf{H}}_{t?1}{\mathbf{W}}_{hi}+{\mathbf{b}}_i)$$
$${\mathbf{F}}_t=\sigma ({\mathbf{X}}_t{\mathbf{W}}_{xf}+{\mathbf{H}}_{t?1}{\mathbf{W}}_{hf}+{\mathbf{b}}_f)$$
$${\mathbf{O}}_t=\sigma ({\mathbf{X}}_t{\mathbf{W}}_{xo}+{\mathbf{H}}_{t?1}{\mathbf{W}}_{ho}+{\mathbf{b}}_o)$$

其中的 ${\mathbf{W}}_{xi},{\mathbf{W}}_{xf},{\mathbf{W}}_{xo}\in {\mathbb{R}}^{d\times h}$ 和 ${\mathbf{W}}_{hi},{\mathbf{W}}_{hf},{\mathbf{W}}_{ho}\in {\mathbb{R}}^{h\times h}$ 是权重参数，${\mathbf{b}}_i,{\mathbf{b}}_f,{\mathbf{b}}_o\in {\mathbb{R}}^{1\times h}$ 是偏差参数。

候选记忆细胞

接下来，长短期记忆需要计算候选记忆细胞 ${\tilde{\mathbf{C}}}_t$。它的计算与上面介绍的3个门类似，但使用了值域在$[?1,1]$的 tanh 函数作为激活函数，如下图所示。

具体来说，时间步 $t$ 的候选记忆细胞 ${\tilde{\mathbf{C}}}_t\in {\mathbb{R}}^{n\times h}$ 的计算为

$${\tilde{\mathbf{C}}}_t=\text{tanh}({\mathbf{X}}_t{\mathbf{W}}_{xc}+{\mathbf{H}}_{t?1}{\mathbf{W}}_{hc}+{\mathbf{b}}_c)$$

其中 ${\mathbf{W}}_{xc}\in {\mathbb{R}}^{d\times h}$ 和 ${\mathbf{W}}_{hc}\in {\mathbb{R}}^{h\times h}$ 是权重参数，${\mathbf{b}}_c\in {\mathbb{R}}^{1\times h}$ 是偏差参数。

记忆细胞

我们可以通过元素值域在$[0,1]$的输入门、遗忘门和输出门来控制隐藏状态中信息的流动，这一般也是通过使用按元素乘法（符号为$\odot$）来实现的。当前时间步记忆细胞 ${\mathbf{C}}_t\in {\mathbb{R}}^{n\times h}$ 的计算组合了上一时间步记忆细胞和当前时间步候选记忆细胞的信息，并通过遗忘门和输入门来控制信息的流动：

$${\mathbf{C}}_t={\mathbf{F}}_t\odot {\mathbf{C}}_{t?1}+{\mathbf{I}}_t\odot {\tilde{\mathbf{C}}}_t.$$

如下图所示，遗忘门控制上一时间步的记忆细胞 ${\mathbf{C}}_{t?1}$ 中的信息是否传递到当前时间步，而输入门则控制当前时间步的输入 ${\mathbf{X}}_t$ 通过候选记忆细胞 ${\tilde{\mathbf{C}}}_t$ 如何流入当前时间步的记忆细胞。如果遗忘门一直近似1且输入门一直近似0，过去的记忆细胞将一直通过时间保存并传递至当前时间步。这个设计可以应对循环神经网络中的梯度衰减问题，并更好地捕捉时间序列中时间步距离较大的依赖关系。

隐藏状态

有了记忆细胞以后，接下来我们还可以通过输出门来控制从记忆细胞到隐藏状态 ${\mathbf{H}}_t\in {\mathbb{R}}^{n\times h}$ 的信息的流动：

$${\mathbf{H}}_t={\mathbf{O}}_t\odot \text{tanh}({\mathbf{C}}_t).$$

这里的 tanh 函数确保隐藏状态元素值在-1到1之间。需要注意的是，当输出门近似1时，记忆细胞信息将传递到隐藏状态供输出层使用；当输出门近似0时，记忆细胞信息只自己保留。下图展示了长短期记忆中隐藏状态的计算。

输出结果

长短期记忆的隐藏层输出包括隐藏状态和记忆细胞，但只有隐藏状态会传递到输出层，而记忆细胞不参与输出层的计算。
将上面得到的隐藏状态 $H_t$ 输入神经网络，得到结果 ${\mathbf{Y}}_t\in {\mathbb{R}}^{n\times q}$：
$${\mathbf{Y}}_t={\mathbf{H}}_t{\mathbf{W}}_{hq}+{\mathbf{b}}_q$$

深度循环神经网络

到目前为止所涉及的循环神经网络只有一个单向的隐藏层，在深度学习应用里，我们通常会用到含有多个隐藏层的循环神经网络，也称作深度循环神经网络。下图演示了一个有 $L$ 个隐藏层的深度循环神经网络，每个隐藏状态不断传递至当前层的下一时间步和当前时间步的下一层。在之前的介绍中，我们只包含输入层、第一层隐藏层和输出层。

具体来说，在时间步 $t$ 里，设小批量输入 ${\mathbf{X}}_t\in {\mathbb{R}}^{n\times d}$（样本数为 $n$，输入个数为 $d$ ），第 $?$ 隐藏层（ $?=1,\dots ,L$ ）的隐藏状态为 ${\mathbf{H}}_t^{(?)}\in {\mathbb{R}}^{n\times h}$（隐藏单元个数为 $h$ ），输出层变量为 ${\mathbf{O}}_t\in {\mathbb{R}}^{n\times q}$（输出个数为 $q$ ），且隐藏层的激活函数为 $?$。第一层隐藏层的隐藏状态和之前的计算一样：

$${\mathbf{H}}_t^{(1)}=?({\mathbf{X}}_t{\mathbf{W}}_{xh}^{(1)}+{\mathbf{H}}_{t?1}^{(1)}{\mathbf{W}}_{hh}^{(1)}+{\mathbf{b}}_h^{(1)}),$$

其中权重 ${\mathbf{W}}_{xh}^{(1)}\in {\mathbb{R}}^{d\times h}$、${\mathbf{W}}_{hh}^{(1)}\in {\mathbb{R}}^{h\times h}$ 和偏差 ${\mathbf{b}}_h^{(1)}\in {\mathbb{R}}^{1\times h}$ 分别为第一层隐藏层的模型参数。

当 $1<?\le L$ 时，第 $?$ 隐藏层的隐藏状态的表达式为

$${\mathbf{H}}_t^{(?)}=?({\mathbf{H}}_t^{(??1)}{\mathbf{W}}_{xh}^{(?)}+{\mathbf{H}}_{t?1}^{(?)}{\mathbf{W}}_{hh}^{(?)}+{\mathbf{b}}_h^{(?)}),$$

其中权重 ${\mathbf{W}}_{xh}^{(?)}\in {\mathbb{R}}^{h\times h}$、${\mathbf{W}}_{hh}^{(?)}\in {\mathbb{R}}^{h\times h}$ 和偏差 ${\mathbf{b}}_h^{(?)}\in {\mathbb{R}}^{1\times h}$ 分别为第 $?$ 隐藏层的模型参数。

最终，输出层的输出只需基于第 $L$ 隐藏层的隐藏状态：

$${\mathbf{O}}_t={\mathbf{H}}_t^{(L)}{\mathbf{W}}_{hq}+{\mathbf{b}}_q,$$

其中权重 ${\mathbf{W}}_{hq}\in {\mathbb{R}}^{h\times q}$ 和偏差 ${\mathbf{b}}_q\in {\mathbb{R}}^{1\times q}$ 为输出层的模型参数。

同多层感知机一样，隐藏层个数 $L$ 和隐藏单元个数 $h$ 都是超参数。此外，如果将隐藏状态的计算换成门控循环单元或者长短期记忆的计算，我们可以得到深度门控循环神经网络。

双向循环神经网络

之前介绍的循环神经网络模型都是假设当前时间步是由前面的较早时间步的序列决定的，因此它们都将信息通过隐藏状态从前往后传递。有时候，当前时间步也可能由后面时间步决定。例如，当我们写下一个句子时，可能会根据句子后面的词来修改句子前面的用词。双向循环神经网络通过增加从后往前传递信息的隐藏层来更灵活地处理这类信息。下图演示了一个含单隐藏层的双向循环神经网络的架构。

下面我们来介绍具体的定义。 给定时间步 $t$ 的小批量输入 ${\mathbf{X}}_t\in {\mathbb{R}}^{n\times d}$（样本数为 $n$，输入个数为 $d$ ）和隐藏层激活函数为 $?$。在双向循环神经网络的架构中， 设该时间步正向隐藏状态为${\overrightarrow{\mathbf{H}}}_t\in {\mathbb{R}}^{n\times h}$（正向隐藏单元个数为 $h$ ）， 反向隐藏状态为 ${\overleftarrow{\mathbf{H}}}_t\in {\mathbb{R}}^{n\times h}$（反向隐藏单元个数为 $h$ ）。我们可以分别计算正向隐藏状态和反向隐藏状态：

$$\begin{array}{rlr}{\overrightarrow{\mathbf{H}}}_t& =?({\mathbf{X}}_t{\mathbf{W}}_{xh}^{(f)}+{\overrightarrow{\mathbf{H}}}_{t?1}{\mathbf{W}}_{hh}^{(f)}+{\mathbf{b}}_h^{(f)}),{\overleftarrow{\mathbf{H}}}_t& =?({\mathbf{X}}_t{\mathbf{W}}_{xh}^{(b)}+{\overleftarrow{\mathbf{H}}}_{t+1}{\mathbf{W}}_{hh}^{(b)}+{\mathbf{b}}_h^{(b)})\end{array}$$

其中权重 ${\mathbf{W}}_{xh}^{(f)}\in {\mathbb{R}}^{d\times h}$、${\mathbf{W}}_{hh}^{(f)}\in {\mathbb{R}}^{h\times h}$、${\mathbf{W}}_{xh}^{(b)}\in {\mathbb{R}}^{d\times h}$、${\mathbf{W}}_{hh}^{(b)}\in {\mathbb{R}}^{h\times h}$ 和偏差 ${\mathbf{b}}_h^{(f)}\in {\mathbb{R}}^{1\times h}$、${\mathbf{b}}_h^{(b)}\in {\mathbb{R}}^{1\times h}$ 均为模型参数。

然后我们连结两个方向的隐藏状态 ${\overrightarrow{\mathbf{H}}}_t$ 和 ${\overleftarrow{\mathbf{H}}}_t$ 来得到隐藏状态 ${\mathbf{H}}_t\in {\mathbb{R}}^{n\times 2h}$，并将其输入到输出层。输出层计算输出 ${\mathbf{O}}_t\in {\mathbb{R}}^{n\times q}$（输出个数为 $q$ ）：

$${\mathbf{O}}_t={\mathbf{H}}_t{\mathbf{W}}_{hq}+{\mathbf{b}}_q$$

其中权重 ${\mathbf{W}}_{hq}\in {\mathbb{R}}^{2h\times q}$ 和偏差 ${\mathbf{b}}_q\in {\mathbb{R}}^{1\times q}$ 为输出层的模型参数。不同方向上的隐藏单元个数也可以不同。