01 研究背景
四旋翼无人机的姿态控制直接关系到其飞行性能和安全性能，一个有效的姿态控制系统能够使无人机具有更好的飞行品质、更精准的操作能力，也能够应对复杂多变的飞行环境，保证飞行安全。相比于传统的PID控制，最优姿态控制通过优化问题求解，得到精确的控制输入值，从而使系统在给定的性能指标下达到最佳性能。根据最优控制理论可知，最优姿态控制问题可转化为Hamilton-Jacobi-Bellman (HJB)方程的求解问题。然而，对于无人机这类高度非线性系统而言，HJB方程为典型的偏微分方程，难以直接求得其解析解。为解决该问题，强化学习算法应运而生，它通过试错学习的方式获得HJB方程的近似数值解，该方法现已被广泛应用于无人机的最优姿态控制领域。
虽然强化学习算法已成功用于解决无人机系统的最优姿态控制问题，但在实际任务场景中，系统状态不可能在无限空间范围内进行调整。此类安全约束已成为控制器设计过程中不可忽视的问题。例如，当无人机穿越狭窄走廊时，姿态角调整幅度过大或者速度过快时，可能导致无人机失控或与障碍物发生碰撞。此外，无人机在飞行过程中不可避免地受到各种不确定扰动的影响，如何抵消此类扰动对于控制器的影响也是亟待解决的问题。基于上述讨论，考虑状态约束和外部扰动下的四旋翼无人机保成本控制问题对于进一步完善基于强化学习的最优姿态控制具有重要的研究意义与应用价值。
02 成果介绍
南京理工大学马倩教授团队与美国德克萨斯大学阿灵顿分校Frank L. Lewis教授团队合作提出了一种基于控制障碍函数和强化学习的保成本控制器设计方法，有效解决了外部扰动和非对称状态约束对四旋翼无人机最优姿态跟踪控制的影响。研究成果发表于IEEE/CAA Journal of Automatica Sinica第11卷第6期：Q. Ma, P. Jin, and F. L. Lewis, “Guaranteed cost attitude tracking control for uncertain quadrotor unmanned aerial vehicle under safety constraints,” IEEE/CAA J. Autom. Sinica, vol. 11, no. 6, pp. 1447–1457, Jun. 2024. doi: 10.1109/JAS.2024.124317
本文所提出的框架将状态约束和扰动抑制融入到基于强化学习的最优控制设计过程中，相较于传统的强化学习算法而言，提高了控制器的安全性和鲁棒性。具体而言，首先，建立由跟踪误差和参考信号构成的增广系统，将跟踪问题转化为增广系统的镇定问题。然后，设计越界惩罚项和鲁棒增强项来刻画状态约束和未知扰动对系统性能的影响，并将惩罚项融入强化学习的代价函数设计过程中；基于带有惩罚项的代价函数，将增广系统的保性能最优控制问题进一步简化为标称系统的最优镇定问题，并利用单评价网络结构强化学习算法完成最优控制器的设计与实现。最后，通过Lyapunov稳定性理论证明闭环系统状态是一致最终有界的，且系统状态不会违反约束。
图1 四旋翼无人机结构示意图
图2 正弦信号下姿态角的跟踪轨迹
图3 正弦信号下姿态角的跟踪误差轨迹
为验证所提出的基于安全强化学习的姿态跟踪控制器(Safety Reinforcement Learning, SRL)的优越性，将其与基于传统强化学习的最优姿态跟踪控制器(Basic Reinforcement Learning, BRL) 和无安全约束的鲁棒最优跟踪控制器(Robust Reinforcement Learning, RRL)进行比较。图2和图3分别为三种控制器作用下的无人机姿态跟踪曲线以及姿态跟踪误差曲线，结果表明在姿态调整过程中，SRL算法使姿态角波动显著小于BRL和RRL，且保证了跟踪误差始终处于安全约束范围内。
03 作者及团队
感谢本文作者提供以上简介
转载本文请联系原作者获取授权，同时请注明本文来自Ouariel科学网博客。
链接地址：https://wap.sciencenet.cn/blog-3291369-1483933.html?mobile=1
收藏
