系列文章
李沐《动手学深度学习》预备知识 张量操作及数据处理
李沐《动手学深度学习》预备知识 线性代数及微积分
李沐《动手学深度学习》线性神经网络 线性回归
李沐《动手学深度学习》线性神经网络 softmax回归
李沐《动手学深度学习》多层感知机 模型概念和代码实现
李沐《动手学深度学习》多层感知机 深度学习相关概念
李沐《动手学深度学习》深度学习计算
李沐《动手学深度学习》卷积神经网络 相关基础概念
李沐《动手学深度学习》卷积神经网络 经典网络模型
李沐《动手学深度学习》循环神经网络 相关基础概念
李沐《动手学深度学习》循环神经网络 经典网络模型
目录
- 系列文章
- 一、注意力提示
-
- （一）生物学中的注意力提示
- （二）查询、键和值
- （三）注意力的可视化
- 二、注意力汇聚：Nadaraya-Waston核回归
-
- （一）生成数据集
- （二）平均汇聚
- （三）非参数注意力汇聚
- （四）带参数注意力汇聚
- 三、注意力评分函数
-
- （一）掩蔽softmax操作
- （二）评分函数一：加性注意力
- （三）评分函数二：缩放点积注意力
- 四、Bahdanau注意力
-
- （一）Bahdanau注意力模型
- （二）定义注意力解码器
- （三）训练
- 五、多头注意力
- 六、自注意力和位置编码
-
- （一）自注意力
- （二）比较卷积神经网络、循环神经网络和自注意力
- （三）位置编码
- 七、Transformer
-
- （一）模型
- （二）基于位置的前馈网络
- （三）残差连接和层规范化
- （四）编码器
- （五）解码器
- （六）训练
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请联系我们，一经查实，本站将立刻删除。
如需转载请保留出处：https://51itzy.com/kjqy/51886.html