随机策略算法

❶ [强化学习-07]--DPG、DDPG

DPG算法新理解

DPG算法主要应用于off-policy策略，区别于随机策略，确定性策略在给定状态下采取的动作是确定的，而随机策略采取的动作具有不确定性。确定性策略梯度更新公式与随机策略梯度更新公式存在区别，确定性策略少了对动作的积分，多了reward对动作的导数，这使得在高维动作空间中，确定性策略更容易训练。

DDPG算法流程采用AC框架，适用于解决连续动作空间的深度强化学习问题。DDPG结合了DQN结构，提高了稳定性和收敛性，其核心是使用actor-critic结构输出具体的行为，而非行为概率。与DPG算法相比，DDPG采用了卷积神经网络作为策略函数和Q函数的近似，并引入了actor和critic网络。此外，DDPG使用了软更新策略和经验回放机制，通过引入噪声增加了学习的覆盖，改进了loss函数，使学习过程更加高效稳定。

与DQN相比，DDPG的关键区别在于更新目标网络的参数方式不同。DDPG采用软更新策略，参数更新更平滑，避免了硬更新可能导致的不稳定问题。同时，DDPG增加了随机性操作，对选择的动作添加了噪声，增加了探索的多样性。在actor网络的损失函数方面，DDPG通过取负号操作，使Q值与损失函数呈反比关系，从而优化策略学习过程。

总结而言，DPG和DDPG算法在解决深度强化学习问题时，分别通过确定性策略和连续动作空间的处理，以及通过软更新、经验回放和随机性操作等技术手段，提高了算法的稳定性和学习效率。这些技术的引入不仅丰富了深度强化学习的理论基础，也为实际应用提供了更强大的工具和方法。