2025年【深度学习】随机失活 (dropout)

【深度学习】随机失活 (dropout)Introduction 随机失活 dropout 2012 年于 AlexNet 中被提出 Note 只针对 全连接层 进行操作 训练 阶段 和 测试 阶段 的操作 不同 可解释为一种特殊的 模型融合 集成学习 方式 也可解释加入了 dropout 正则化 正则化的一种

大家好,我是讯享网,很高兴认识大家。

Introduction

随机失活,dropout,2012年于AlexNet中被提出。

Note :

  • 只针对 全连接层 进行操作;
  • 训练阶段 和 测试阶段 的操作 不同;
  • 可解释为一种特殊的 模型融合 (集成学习) 方式;
  • 也可解释加入了 dropout正则化 (正则化的一种);
  • 还可以解释为 加噪声 以 提高鲁棒性。

训练阶段

按概率p 随机 将神经元 置 0 [如下(b)图],以 缓解 神经元之间 隐形的协同适应,从而达到降低模型复杂度的目的:
这里写图片描述
讯享网

别看dropout之后的网络只是原网络的一个 子网络 ,复杂度不比原网络。但由于每个神经元的dropout是 随机dropout,因此每一轮都相当于在一个 新的 子网络上训练。那么最终得到的模型便是 无数个 子网络 共同训练 的成果,效果自然会更好。

然后麻烦也来了,训练阶段的每个神经元要事先添加一道概率流程:
这里写图片描述

对应的公式变化如下如下:

  • 没有dropout的神经网络:
    这里写图片描述
  • 有dropout的神经网络:
    这里写图片描述

Tensorflow 中的 dropout API 如下:

tf.nn.dropout

其中,根据 keep_prob参数项 随机进行 dropout 。

# coding=utf-8 import tensorflow as tf import numpy as np inputs = np.random.uniform(-10, 10, size=[3, 3]) features = tf.placeholder_with_default(input=inputs, shape=[3, 3]) # 随机失活 output_dropout = tf.nn.dropout(features, keep_prob=0.5) with tf.Session() as sess: print ("\nfeatures :\n{}".format(sess.run(features))) print ("\n----------\n") print ("\ndropout :\n{}".format(sess.run(output_dropout))) 

讯享网
讯享网features : [[ 0. -3.0 -2.] [-1. -1. 3.] [-9. 8. -7. ]] ---------- dropout : [[ 0. -6. -5.] [ -0. -3. 7.] [-18. 16. -0. ]] 

测试阶段

所有 神经元均呈 激活态,但其权重 需乘上 p p p 以保证各权重能有和 训练阶段 相同的 期望值 :
这里写图片描述


[1] 理解dropout

小讯
上一篇 2025-01-28 19:55
下一篇 2025-04-03 21:09

相关推荐

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/113934.html