一、GRU
其中, rt表示重置门,zt表示更新门。
- 重置门决定是否将之前的状态忘记。(作用相当于合并了 LSTM 中的遗忘门和传入门)
当rt趋于0的时候,前一个时刻的状态信息ht−1会被忘掉,隐藏状态h^t会被重置为当前输入的信息。
- 更新门决定是否要将隐藏状态更新为新的状态h^t(作用相当于 LSTM 中的输出门) 。
二、GRU的优点:解决梯度消失的问题
本文共 232 字,大约阅读时间需要 1 分钟。
其中, rt表示重置门,zt表示更新门。
当rt趋于0的时候,前一个时刻的状态信息ht−1会被忘掉,隐藏状态h^t会被重置为当前输入的信息。
转载于:https://www.cnblogs.com/Lee-yl/p/10066246.html