控制理论与应用

作者：钟皓俊,王振雷

单位：华东理工大学能源化工过程智能制造教育部重点实验室,华东理工大学能源化工过程智能制造教育部重点实验室

关键词：PID参数优化;深度强化学习;TD3

基金：国家自然科学基金项目(62293501,62173147).

PID控制器在工业控制领域应用广泛,其参数的选择过度依赖于人工经验,效率低且过程繁琐.近年来,深度强化学习因其具有对复杂环境自学习的能力,在很多领域取得了成功应用.本文提出一种基于双经验回放池双延迟深度确定性策略梯度(TD3)算法的PID参数优化方法,利用深度强化学习的方法,自主优化PID控制器的参数.在整个优化过程中,将控制问题视为序列决策过程,通过设计智能体的状态、动作空间以及网络结构,将PID参数的优化过程转化为强化学习策略网络权重的更新过程.同时,针对TD3算法训练前期探索效率低的问题,在TD3算法的基础上,增加双经验回放池机制,提升了算法训练前期的效率.最后,在二阶系统和一阶加纯时滞系统上进行仿真验证,并与基于粒子群优化(PSO)算法优化PID参数的方法进行对比,实验结果表明,所提算法优化得到的PID参数在控制器上体现的控制性能要优于PSO算法.

来源：2026年第1期

《控制理论与应用》期刊编辑部

查看控制理论与应用杂志2026年第1期