1.背景介绍
RNN模型在机器翻译,语言模型,问答系统中取得了非凡的成就,由于RNN的结构,当前的层输入为前一层的输出,所有RNN比较适合时间序列问题,但也正是由于这种串行结构,限制了RNN模型的训练速度,与CNN相比,RNN并不能进行并行化处理。而SRU网络结构的提出就是为了解决这个问题,SRU(simple recurrent units)将大部分运算放到进行并行处理,只是将有具有小量运算的步骤进行串行。
2.SRU介绍
SRU算法主要是将运算操作最多的去除时间上的依赖关系,并进行并行化处理,下图将SRU结构与传统的RNN进行了对比。

讯享网
另外,与其它的算法相比:

2.1 SRU网络结构
SRU基础结构包含了一个单一的forget gate,假定输入Xt和时间t,需要计算线性的转换˜xt 和forget gate ft,则:

上面的计算仅仅依靠Xt,因此,能够进行并行化处理。
forget gate中包含internal state Ct,则计算output state ht:



其中,f表示forget gate,r表示 reset gate,h表示output state,c表示internal state。x表示输入。
2.2 CUDA-LEVEL optimization
综合上面的公式:

其中,n表示sequence length,U ∈ Rn×3d,d是hidden state size,k表示mibi-batcj的大小,U是一个(n,k,3d)的张量。
因此,Mini-batch版本的算法为:

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/79198.html