要说近些年来最火的深度学习模型，十个人中会有九个人说是Transformer。Transformer的通用性与易训性使得其在自然语言处理领域大方异彩。自2017年提出以来，近5年来大量NLP领域的创新均是基于transformer进行的，例如我们熟知的BERT，GPT2等，均取得良好的实验效果。本篇博客介绍transformer的结构，并提出自己对模型结构的看法。
目录
- transformer结构
-
- encoder
-
- multi-head attention
- add&Norm归一化
- add&Norm残差结构
- decoder
-
- masked multi-head attention
- feed forward
- 训练方法
- 模型响应
- 参考
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请联系我们，一经查实，本站将立刻删除。
如需转载请保留出处：https://51itzy.com/kjqy/124019.html