目录
- 一.是什么?
- 二.为什么要用知识蒸馏把大模型学习到的东西迁移到小模型呢呢?
-
- 2.1 轻量化网络的方向
- 三.用蒸馏温度处理学生网络的标签
-
- 3.1 soft target
- 3.2 用教师网络预测出的soft target作为学生网络的标签。
- 3.3 蒸馏温度
- 3.4为什么要加入蒸馏温度T让softmax的结果更平滑?
- 四.知识蒸馏训练过程
-
- 4.1 图示知识蒸馏训练过程
- 4.2 损失函数
- 4.3 图解损失函数计算过程
- 五.推理过程
- 六.最终效果:
-
- 1.零样本识别
- 2.使用soft target训练而不是hard target,减少了过拟合
- 七.迁移学习和知识蒸馏的区别
- 八.知识蒸馏实现代码
- 九.参考视频

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/78996.html