个人笔记

循环神经网络（RNNs）：具有隐状态、不同层参数共享的神经网络

常见的三种基础 RNNs ：RNN、GRU、LSTM

RNN

隐变量模型：使用隐状态 $h_{t-1}$ 存储前 $t-1$ 步的序列信息 $$P(x_t|x_{t-1},...,x_1)\approx P(x_t|h_{t-1})$$ $$h_t=f(x_t,h_{t-1})$$ 循环神经网络（recurrent neural networks，RNNs） 是具有隐状态的神经网络

假设时刻 $t$ 的输入为 $X_t\in {\mathbb{R}}^{n\times d}$，对应的权重参数为 $W_{xh}$，前 $t-1$ 时刻积累的隐状态为 $H_{t-1}\in {\mathbb{R}}^{n\times h}$，对应的权重参数为 $W_{hh}$，偏置为 $b$。则此 RNN 隐藏层计算可表示如下： $$H_t=\varphi (X_t{W}_{xh}+H_{t-1}{W}_{hh}+b_h)$$ 输出层计算可表示如下： $$O_t=H_t{W}_{hq}+b_q$$ 其中 $\varphi$ 表示激活函数，模型的可训练参数包括 $W$ 和 $b$，参数下标表示参数对应的维度

GRU

GRU 在 RNN 的基础上增加了针对隐状态的门控：

• 更新门（update gate）用于确定隐状态是否需要更新，有助于捕捉序列中的长期依赖
• 重置门（reset gate）用于确定隐状态是否需要重置，有助于捕捉序列中的短期依赖

假设时刻 $t$ 时的批次输入为 $X_t\in {\mathbb{R}}^{n\times d}$，上一时刻的最终隐状态为 $H_{t-1}\in {\mathbb{R}}^{n\times h}$。则重置门 $R_t\in {\mathbb{R}}^{n\times d}$ 和更新门 $Z_t\in {\mathbb{R}}^{n\times d}$ 的计算方式如下： $$\{\begin{array}{c}{R}_t=\sigma (X_t{W}_{xr}+H_{t-1}{W}_{hr}+b_r)\\ Z_t=\sigma (X_t{W}_{xz}+H_{t-1}{W}_{hz}+b_z)\end{array}$$ 其中 $W_{xr},W_{xz}\in {\mathbb{R}}^{d\times h}$ 和 $W_{hr},W_{hz}\in {\mathbb{R}}^{h\times h}$ 是权重参数，$b_r,b_z\in {\mathbb{R}}^{1\times h}$ 是偏置项

时刻 $t$ 时的候选隐状态（candidate hidden state） $\widetilde{H}t\in \mathbb{R}^{n\times h}$\mathrm{计}\mathrm{算}\mathrm{如}\mathrm{下}：$$\widetilde{H}_t=tanh(X_tW\{xh}+(R_t\odot H_{t-1})W_{hh}+b_h)$$ 其中 $W_{xh}\in {\mathbb{R}}^{d\times h}$ 和 $W_{hh}\in {\mathbb{R}}^{h\times h}$ 是权重参数，$b_h\in {\mathbb{R}}^{1\times h}$ 是偏置项，$\odot$ 是哈达玛积 (Hadamard product，即同阶矩阵间对应元素相乘)

时刻 $t$ 时的最终隐状态 $H_t\in {\mathbb{R}}^{n\times h}$ 计算如下： $$H_t=Z_t\odot H_{t-1}+(1-Z_t)\odot {\tilde{H}}_t$$

当 $Z_t$ 接近 1 时，模型倾向于保留旧状态；当 $Z_t$ 接近 0 时，模型倾向于保留当前状态

LSTM

长短期记忆网络引入了记忆元（memory cell，其实可以看作为隐状态的一种特殊类型），简称单元（cell），通过三种门控制记忆元的输入、输出和遗忘：

• 输出门（output gate）：控制记忆元存储数据的输出
• 输入门（input gate）：决定何时将数据存入记忆元
• 遗忘门（forget gate）：管理记忆元存储内容的重置

具体计算过程和 GRU 非常相似，只不过细节上略有调整，比如 ${\tilde{H}}_t,H_t$ 转为 ${\tilde{C}}_t,C_t$

因此，就暂时略过了（敲公式快敲麻了）