TD3:双延迟深度确定性策略梯度

TD3:双延迟深度确定性策略梯度基本概念 TD3 TD3 全称 Twin Delayed Deep Deterministi Policy Gradient 中文名双延迟深度确定性策略梯度 简单来说 TD3 算法是一个相对于 DDPG 算法优化的版本 TD3 算法在 DDPG 算法的基础上 主要有三个方面的优化 1 网络结构的优化

大家好,我是讯享网,很高兴认识大家。

基本概念

TD3

TD3全称Twin Delayed Deep Deterministic Policy Gradient,中文名双延迟深度确定性策略梯度。简单来说TD3算法是一个相对于DDPG算法优化的版本。TD3算法在DDPG算法的基础上,主要有三个方面的优化:

1、网络结构的优化:TD3在DDPG基础上增加了一个Critic网络,主网络上TD3有2个Critic网络和一个Actor网络,同时Target目标网络也有主网络的一个备份。为什么增加一个Critic网络?原因很简单,增加一个Critic网络,就可以形成对比,通过选取最小的Q值,来避免持续过高的估计。这在只有一个Critic网络是做不到的,当然还可以再增加一个Critic网络。
在这里插入图片描述
讯享网
2、更新方式的优化:DDPG网络的更新方式是Critic网络参数更新一次,Actor参数也跟着更新一次。但是在TD3网络中,并不是这样的,它采用延迟更新的策略。也就是说,Critic网络更新多次后,Actor网络才更新一次。

为什么采用延迟更新?这样做的目的主要是为了稳定Q值,减少一些错误的更新。想象一下,原本是最高点,当Actor好不容易到达最高点,Q值更新了,这里并不是最高点了。这是Actor只能转头再继续寻找新的最高点;更坏的情况是Actor被困在次高点,没能找到正确的最高点。

3、参数更新的优化:在更新Critic网络时候加入随机噪声 a ~ \tilde{a} a~,以达到对Critic网络波动的稳定性。

Critic网络参数更新的方式为:
在这里插入图片描述
TD3算法的伪代码如下图所示:
在这里插入图片描述

小讯
上一篇 2025-02-20 14:16
下一篇 2025-03-18 11:06

相关推荐

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/131477.html