全网最细图解知识蒸馏(涉及知识点:知识蒸馏实现代码,知识蒸馏训练过程,推理过程,蒸馏温度,蒸馏损失函数)

全网最细图解知识蒸馏(涉及知识点:知识蒸馏实现代码,知识蒸馏训练过程,推理过程,蒸馏温度,蒸馏损失函数)目录 一 是什么 二 为什么要用知识蒸馏把大模型学习到的东西迁移到小模型呢呢 2 1 轻量化网络的方向 三 用蒸馏温度处理学生网络的标签 3 1 soft target 3 2 用教师网络预测出的 soft target 作为学生网络的标签 3 3 蒸馏温度 3 4 为什么要加入蒸馏温度 T 让 softmax 的结果更平滑 四

大家好,我是讯享网,很高兴认识大家。


讯享网

目录

  • 一.是什么?
  • 二.为什么要用知识蒸馏把大模型学习到的东西迁移到小模型呢呢?
    • 2.1 轻量化网络的方向
  • 三.用蒸馏温度处理学生网络的标签
    • 3.1 soft target
    • 3.2 用教师网络预测出的soft target作为学生网络的标签。
    • 3.3 蒸馏温度
    • 3.4为什么要加入蒸馏温度T让softmax的结果更平滑?
  • 四.知识蒸馏训练过程
    • 4.1 图示知识蒸馏训练过程
    • 4.2 损失函数
    • 4.3 图解损失函数计算过程
  • 五.推理过程
  • 六.最终效果:
    • 1.零样本识别
    • 2.使用soft target训练而不是hard target,减少了过拟合
  • 七.迁移学习和知识蒸馏的区别
  • 八.知识蒸馏实现代码
  • 九.参考视频
小讯
上一篇 2025-01-08 10:09
下一篇 2025-04-02 09:24

相关推荐

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/78996.html