0.   引　言

水面无人艇(unmanned surface vehicle, USV)，是海洋环境中无人系统的重要组成部分，在军事、民用和科研等方面具有举足轻重的地位^[1-3]。路径跟踪技术是保证USV航行质量的基础。近年来，随着人工智能技术的不断发展，深度强化学习（deep reinforcement learning，DRL）技术得到了广泛应用。强化学习（reinforcement learning，RL）是指智能体与环境不断互动，并根据奖励逐渐学习最优策略的过程^[4-7]。借助神经网络强大的特征提取和函数拟合能力，DRL成为机器学习领域的研究热点。目前，DRL方法也被用于USV的控制策略研究。例如，李宝安^[8]基于深度确定性策略梯度（deep deterministic policy gradient, DDPG）算法训练神经网络实现了USV的运动控制，相比传统的比例−积分−微分（proportional integral derivative，PID）控制算法，其在稳定性以及抗干扰能力上具有一定优势，但仿真验证仅限于跟踪期望舵角曲线，在风浪干扰的情况下未给出验证结果。Deng等^[9]使用RL方法实现了USV的最佳控制行为，并与传统PID算法相比较，验证了该RL算法的可行性。Zhao等^[10]设计了一种改进的深度Q网络 （deep Q-network，DQN）结构，将决策网络输出为USV的控制律，降低了路径跟踪系统的复杂度，并通过数值仿真验证了所提方法具有可用性和通用性。祝亢等^[11]将DRL技术与引导系统结合，使USV获得所需的航向命令，并将训练完成的控制器与BP-PID控制器进行对比研究，该系统具有偏航误差小、舵角变化频率小等优点。Zhao等^[12]通过具有随机制动的改进DRL解决了欠驱动USV形成的路径跟踪问题，验证了RL方法在USV编队控制的优越性。

目前，将RL应用到USV航向PID控制领域的研究较少。PID控制算法作为经典控制算法，具有结构简单、可靠性高和操作方便等优点，在USV领域得到了广泛应用。但固定参数的PID控制器控制精度差且超调量大，而PID参数整定又是一个复杂的过程，实际应用依赖于人工经验。针对USV航向控制PID参数自整定的研究主要集中于采用群体智能算法或自适应等方式，以目标函数最优为参数优化目标，例如蚁群算法、遗传算法、模糊算法等。这些算法在一定程度上解决了控制参数的寻优问题，但是在未知环境下实时性较差，且存在计算量大、难以适应干扰改变等问题。苑光明等^[13]提出了一种利用具有变异特征的蚁群算法优化PID参数来进行USV航向控制的方法，其具有航向控制超调量小、跟踪速度快等优点，但未考虑风浪干扰对控制器影响。Zhang等^[14]针对未知时变环境扰动和船舶航向控制参数不确定性的非线性控制问题，设计了一种自适应自调节PID方案，解决了控制参数整定难、设计复杂的问题，很好地抵抗了时变干扰。Liao等^[15]设计了一种改进的自适应模糊PID控制方法，解决了USV受机动性、扰动大等因素影响的控制问题，通过实验验证了所提方法的有效性和可行性。

基于以上分析，运用DRL方法解决PID参数整定问题具有重大意义。本文将提出一种改进DDPG的USV智能参数控制方法，针对模型状态、动作、奖励等方面进行设计，以及考虑DDPG算法累计误差大、训练速度慢的问题，提出一种分离优先经验回放的经验池改进算法，以提升数据的采样效率。此外，还设计自适应采样批次函数，使智能体能够根据自身训练程度将相应批次大小的数据输入智能体评价网络。最后，在干扰情况下，将本文所提方法与经过DDPG算法训练后的智能参数器、文献[16]自适应PID控制器进行仿真对比，以验证改进后的DDPG智能参数器跟踪效果。

1.   USV运动模型

本文中对USV建立水平面三自由度运动模型，如图1所示。

图  1  USV操纵运动坐标系

Figure  1.  USV manipulation motion coordinate system

下载: 全尺寸图片 幻灯片

图1中，$u, v, r$分别为USV运动的3个自由度上的速度，U为u和v的合速度，$\varphi$为USV艏向角。由受力分析可以得到USV在水平面上的如下运动方程：

式中：m为USV实际质量；${x_{\rm{G}} }$为USV重心左、右中线上的纵向坐标；${{\boldsymbol{I}}_{\textit{z}}}$为惯性矩；$\boldsymbol{X}，\boldsymbol{Y}和\boldsymbol{N}$分别为USV3个自由度的所受的力和力矩分量。

USV在两坐标系的变换关系如下式所示：

式中：$\dot{X}，\dot{Y}$代表位置导数；$\dot \varphi$代表方位角导数。

作用在USV上的水动力和力矩不仅与其自身几何形状有关，还与其运动特性和流体特性有关。为了进一步简化问题，考虑操舵时间短暂，本文忽略操作过程中推进器转速和舵角的导数$\dot d$因素的作用，则水动力关系式可表示为：

将上式在平衡状态附近作泰勒展开，忽略三阶以上的高阶项，并考虑其综合影响，可得到

上述公式的水动力系数及参数详见文献[11]。

2.   自适应航行控制器设计

视线（LOS）制导法^[17]在USV航向控制领域发挥着重要作用。本文定义如下：O−XY为惯性坐标系，O_d−X_dY_d为载体坐标系；USV的x和y轴速度u及v、角速度r、航向角$\varphi$、USV与目标航线横向距离y_e、目标航线的倾斜角度α_k、前视距离Δ、USV舵角d。如图2所示，LOS制导原理是设定一个当前前视目标点（x_d , y_d）和上一路径点（x₀ , y₀），并有一定的前视距离Δ，则期望航向角${\varphi _{\text{d}}} = {\alpha _{\text{k}}} - {\text{ arctan}}\left( {{y_{\text{e}}}/\varDelta } \right)$，航向角与目标航线倾角的偏差为e_psi。通过不断地计算航向偏差，LOS法可计算下一时刻USV的期望舵角值，从而不断地实时调整航向。LOS制导法极大程度上简化了控制器输出，降低了控制器设计的复杂程度。

图  2  LOS原理示意图

Figure  2.  Schematic diagram of LOS algorithm

下载: 全尺寸图片 幻灯片

在航向控制领域，针对PID控制器的积分饱和现象，本文使用PD控制USV航向舵角。控制器的输出为USV的舵角，即

其中，

式中：$e_{\rm{psi}}'$为上一时刻航向角偏差；${e_{{\text{psi\_dot}}}}$为航向偏差变化率。

本文方法总流程说明如下：首先，由LOS法确定期望航向$\varphi _{\mathrm{d}}$，将USV状态信息存入经验池；然后，经神经网络训练由Actor网络输出PD参数；再经控制器计算得到下一步的舵角；最后，由模型得到USV新的航向角及其他状态信息。本文总体控制结构如图3所示。

图  3  基于DRL的USV控制框图

Figure  3.  Block diagram of USV control based on DRL

下载: 全尺寸图片 幻灯片

3.   基于DRL的智能参数调整

RL是机器学习的一个重要分支，它主要研究的是智能体如何在环境中采取行动，以最大化其对环境的累积奖励。在这个过程中，智能体与环境不断地交互，通过尝试不同的行为并观察结果，来学习如何采取最优的行动。马尔科夫决策过程（Markov decision process, MDP）是DL中的一个基本概念，一个MDP中由状态空间S、动作决策空间A、初始状态的分布$p\left( {{s_{\text{1}}}} \right)$以及转移模型$p\left( {{{{s}}_{t{\text{ + 1}}}}{\text{| }}{{{s}}_t}{\text{, }}{a_t}} \right)$和奖励函数$r\left( {{s_t}{\text{, }}{a_t}} \right)$组成。在每个时间步内智能体收到一个状态${s_t}$，并做出动作${a_t}$，获得奖励${r_t}$。智能体的行为策略描述为π，其是将状态映射到动作的概率分布。RL的目标是找到一个最优策略${{\text{π}}^ * }$，使某一状态的回报最大化，即累计回报值$R_t = r_{t+1} + \gamma r_{t+2} + \gamma^2 r_{t+3} + \cdots$（其中γ为折扣因子）。动作价值函数广泛的应用在RL算法中，动作价值函数如式（6）所示。通过计算期望值，可以评估在给定状态下执行某一动作的预期回报。

DDPG算法是一种Actor−Critic的DRL方法。策略函数${\text{π}}(s|{\theta _{\text{a}}})$和动作价值函数$Q(s,a|{\theta _{\text{c}}})$是深度神经网络（deep neural networks, DNN），其中${\theta _{\text{a}}}$和${\theta _{\text{c}}}$为参数，并采用随机梯度下方法更新参数。

式中：${\alpha _{\text{c}}}$和${\alpha _{\text{a}}}$为学习率；N为随机采样样本的数量；B代表经验池；${y_i}$为动作价值估计，并由下式确定：

式中：${\theta _{{\text{a}}'}}$和${\theta _{{\text{c}}'}}$是两个目标网络的参数。在DDPG算法中引入目标网络来稳定训练，通过下式更新学习参数：

式中，$\tau$为目标网络的更新速率。

DDPG算法的工作结构如图4所示。算法执行过程如下：

图  4  DDPG算法工作结构

Figure  4.  DDPG algorithm framework

下载: 全尺寸图片 幻灯片

1) 由Actor网络生成一组动作a_t，并加入Ornstein−Uhlenbeck （OU）噪声；

2) 智能体根据当前动作将下一状态${s_{t + 1}}$输入到奖励函数中，将$\left( {{s_t}{\text{, }}{a_{{t}}}, r, {s_{t + 1}}} \right)$存入经验池；

3) 从经验回放缓冲区抽取n个样本，分别将${s_t}{\text{, }}{s_{t + 1}}$输入到Actor网络，将$\left( {{s_t}{\text{, }}{a_{{t}}}, r, {s_{t + 1}}} \right)$输入到Critic网络迭代更新；

4) Target−Actor网络接收${s_t}{\text{, }}{s_{t + 1}}$，将动作a和随机噪声输入到智能体与环境交互，由策略函数根据下一状态计算得到下一个动作${\mu (s_{t + 1})}$，并输入到Target−Critic网络，然后接收动作值Q，对网络进行更新；

5) Target−Critic网络接收${s_{t + 1}}$和${a_{t + 1}}$并计算Q值，然后将Q值与奖励r结合，计算标签，用于网络的迭代更新。

因此，本文状态空间可定义为：

Actor网络结构如图5所示，其包括一个输入层，两个隐藏层以及一个输出层。输入层维度为12；两个隐藏层的神经元分别为400和300；输出层维度为2。为了更好地挖掘相关特征，防止出现梯度饱和、梯度消失的问题，中间激活函数采用ReLU，输出层激活函数采用Tanh。

图  5  Actor网络结构

Figure  5.  Actor network structure

下载: 全尺寸图片 幻灯片

图6描述了Critic网络结构，该结构包括一个输入层，两个隐藏层及一个输出层。输入层分两个部分：一部分是环境的状态信息，另一部分是Actor网络输出的动作值；两个隐藏层的神经元分别为400和300；输出层维度为1，即状态动作值。

图  6  Critic网络结构

Figure  6.  Critic network structure

下载: 全尺寸图片 幻灯片

本文使用的奖励函数分两个部分，设置如下：

奖励函数的目的是使目标USV尽快贴合期望轨迹，并控制USV在距离期望轨迹1 m的范围内。针对DDPG算法累计误差较大的问题，本文对Actor网络和Target−Actor网络延迟进行更新，即在对Critic网络更新N次后，再对Actor网络和Target−Actor网络进行更新。

式中，N_a表示目前总经验池的数量；N_m表示经验池的最大容量。式（14）表示训练开始时，经验池容量还没有达到最大，N向下取整取为1。在训练初期，大多数经验价值不大，对智能体的学习不利，所以快速存储经验；当经验池的容量达到最大时，则让智能体充分学习经验。

针对训练速度慢的问题，本文的方法是将经验池分为成功探索经验池和失败探索经验池。同时，为了消除数据之间的相关性，本文设计了自适应批次数量函数，见式（15），即在成功经验池和失败经验池中各自抽取B条经验数据：

式中：${n_{\text{e}}}$为训练次数；${n_{\max }}$为设置的总训练次数；σ为倍数；n为原来样本数量。

4.   仿真验证

仿真基于Python编程语言，在tensorflow框架下执行并验证。在DRL中，每次的奖励值是衡量训练效果的重要指标，图7为改进DDPG算法与DDPG算法训练1500次的奖励回报对比结果。由图7可见，改进后的DDPG算法显著缩减训练时间，且收敛迅速，后期网络表现更稳定。

图  7  改进DDPG与DDPG算法奖励收敛曲线

Figure  7.  Reward convergence curve of improved DDPG and DDPG

下载: 全尺寸图片 幻灯片

上述训练完成后，保存DDPG中使奖励函数达到最大的Actor网络参数，将其应用于轨迹跟踪仿真。本文以要求USV沿着理想的直线路径航行为例，初始航向与该路径平行。为了验证改进DDPG智能参数匹配器抗干扰性和航行稳定性，在横向力和回转力矩允许范围内，同时加入[−0.2×10³, 0.2×10³]的设计干扰，包括横向干扰力（单位N）和转艏干扰力矩（单位N·m），如图8所示。

图  8  设计干扰

Figure  8.  Design interference

下载: 全尺寸图片 幻灯片

仿真时，预设期望轨迹为点(20, 20)到点(160, 20)的线段。USV从(0, 0)出发，初始航向角为$0^\circ$，初始纵向速度u =1.242 m/s，横向速度为0 m/s，可视距离Δ取两倍船长，K_p范围为[−0.50, 0.50]，K_d范围为[−50, 50]，最大舵角范围为[−35°, 35°]，最大打舵速度为16.667 (°)/s。最大时间步设为1750步，时间步间隔0.1 s。当USV距离终点小于1 m时仿真结束。改进DDPG参数器输出的控制参数如图9所示。

图  9  K_p和K_d曲线

Figure  9.  K_p and K_d curves

下载: 全尺寸图片 幻灯片

将改进DDPG智能参数器与DDPG智能参数器、自适应PID控制器做对比。跟踪轨迹对比曲线如图10所示。USV航行速度、角速度曲线如图11所示。

图  10  跟踪轨迹曲线对比

Figure  10.  Comparison of trajectory tracking curve

下载: 全尺寸图片 幻灯片

图  11  速度和角速度变化曲线对比

Figure  11.  Comparison of velocity and angular velocity curve

下载: 全尺寸图片 幻灯片

由图10可知，在扰动情况下，3种控制器都较好地完成了轨迹跟踪，但改进后的参数器超调量更小，收敛速度更快，更好地完成了轨迹跟踪。由图11可以看出，与自适应控制器相比，基于DDPG算法的参数器速度量抖动更小，曲线更平滑；与DDPG算法参数器相比，改进后DDPG算法参数器的响应速度相差不大，但跟踪曲线更平滑，整个跟踪控制过程中横向误差相对较小，并且稳态性能得到提升。同时，无论是横向速度量还是转艏角速度量，改进后的参数器波动幅度更小，曲线更平缓。

USV航向角与期望航向角对比曲线如图12所示，舵角对比曲线如图13所示。USV航行稳定后的平均横向误差和平均航向角偏差如表1所示。

图  12  航向角变化曲线对比

Figure  12.  Comparison of heading angle change curves

下载: 全尺寸图片 幻灯片

图  13  舵角变化曲线对比

Figure  13.  Comparison of rudder angle change curves

下载: 全尺寸图片 幻灯片

表  1  两种控制器在扰动情况下误差数据对比表

Table  1.  Comparison of error data of two controllers in the case of follower disturbance

控制器	稳定后横向误差 均值/m	稳定后航向角偏差 均值/(°)
改进DDPG	0.291	0.80
DDPG	0.425	2.08
自适应PID[16]	0.997	3.02

下载: 导出CSV 

| 显示表格

由图12可知，在干扰情况下，改进DDPG参数器更好地完成了航向角的跟踪，且稳定后的曲线更平滑，抖动较小。当期望航向改变时，改进后的参数器能够以较快的调节速度达到期望航向，并保持稳定的跟踪效果，且稳定后的平均航向角偏差小于1°。由图13可知，当USV受到干扰时，改进的参数器克服了打大舵的问题，稳定后的舵角在0°附近上线波动，最大波动角度不超过6°，且动舵频率也在一个合理的范围之内。

5.   结　语

本文研究了一种USV的自适应航行方法。该方法包括一个基于DDPG算法的智能参数器，在无法精确建模的情况下学习USV动力学，为USV路径跟踪提供适当的PID控制参数，引导抗干扰的操舵行为，实现USV快速、精准路径跟踪。所提方法的创新体现在以下3个方面：

1） 针对DDPG算法累计误差大的问题，设计自适应延迟更新Actor网络参数的方法，即在Critic网络更新一定次数后再对Actor网络参数进行更新。

2） 针对DDPG算法训练速度慢，不易收敛的问题，设计自适应批次函数，在训练时自动从成功经验池和失败经验池选取合适批次数据进行训练，从面显著增加了训练速度，同时还增加了训练探索，使参数匹配器更具鲁棒性。

3） 将DRL方法应用到航向PID参数整定方面。与原DDPG算法相比，航向稳定性控制精度提升了45.7%；与自适应PID控制相比，航向稳定性控制精度提升了73.5%。改进后DDPG算法参数器可以快速保证USV航向稳定，提高了抗干扰能力，使USV路径跟踪的控制效果更优。

本文所提算法在参数整定上具有一定优势，与PID控制方法结合控制效果更优。鉴于PID控制技术易实现的可能，其发展前景应不止停留在仿真层面，未来还需进一步开展实验验证；鉴于目前其他控制技术的成熟度，未来还应基于性能更强的控制策略设计DRL控制器。