2025年SRU介绍

SRU介绍1 背景介绍 RNN 模型在机器翻译 语言模型 问答系统中取得了非凡的成就 由于 RNN 的结构 当前的层输入为前一层的输出 所有 RNN 比较适合时间序列问题 但也正是由于这种串行结构 限制了 RNN 模型的训练速度 与 CNN 相比 RNN 并不能进行并行化处理

大家好,我是讯享网,很高兴认识大家。

1.背景介绍

    RNN模型在机器翻译,语言模型,问答系统中取得了非凡的成就,由于RNN的结构,当前的层输入为前一层的输出,所有RNN比较适合时间序列问题,但也正是由于这种串行结构,限制了RNN模型的训练速度,与CNN相比,RNN并不能进行并行化处理。而SRU网络结构的提出就是为了解决这个问题,SRU(simple recurrent units)将大部分运算放到进行并行处理,只是将有具有小量运算的步骤进行串行。

2.SRU介绍

    SRU算法主要是将运算操作最多的去除时间上的依赖关系,并进行并行化处理,下图将SRU结构与传统的RNN进行了对比。
这里写图片描述
讯享网

     另外,与其它的算法相比:
这里写图片描述

2.1 SRU网络结构

    SRU基础结构包含了一个单一的forget gate,假定输入Xt和时间t,需要计算线性的转换˜xt 和forget gate ft,则:
这里写图片描述

    上面的计算仅仅依靠Xt,因此,能够进行并行化处理。
     forget gate中包含internal state Ct,则计算output state ht:
这里写图片描述

这里写图片描述

其中,f表示forget gate,r表示 reset gate,h表示output state,c表示internal state。x表示输入。

2.2 CUDA-LEVEL optimization

综合上面的公式:
这里写图片描述
其中,n表示sequence length,U ∈ Rn×3d,d是hidden state size,k表示mibi-batcj的大小,U是一个(n,k,3d)的张量。
因此,Mini-batch版本的算法为:
这里写图片描述

小讯
上一篇 2025-03-03 10:10
下一篇 2025-02-24 11:10

相关推荐

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/79198.html