控制理论与应用

作者：池海红,周明鑫

单位：哈尔滨工程大学,哈尔滨工程大学

关键词：强化学习; 深度强化学习; 高超声速飞行器; 航迹规划

基金：国家重点研发计划项目(2018YFC0310102)资助.

由于高超声速飞行器的复杂特性, 对其进行航迹规划是一项非常困难的任务. 本文针对高超声速飞行器巡航段, 提出了一种将无模型的强化学习和交叉熵方法相结合的在线航迹规划算法. 本文将航迹规划问题建模为环境信息缺失程度不同的马尔可夫决策过程, 利用(PPO)算法在建立的飞行环境模拟器中离线训练智能体, 并通过提高智能体的动作在时间上的相关性来保证航迹的曲率平滑. 交叉熵方法则以已训练的智能体由观测到的状态给出的动作作为一种先验知识, 进一步在线优化规划策略. 实验结果表明了本文的方法可以生成曲率平滑的航迹, 在复杂的飞行环境中具有较高的成功率, 并且可以泛化到不同的飞行环境中.

来源：2022年第5期

《控制理论与应用》期刊编辑部

查看控制理论与应用杂志2022年第5期