Reinforcement learning-based autonomous generation technology of loading scheme for product oil tanker
-
摘要:目的 旨在基于强化学习方法研究液货舱装载方案自主生成技术。方法 以实际运营的成品油船载货量作为输入，以货舱及压载舱的装载率为目标，基于Unity ML-Agents构建智能体与环境，通过PyTorch框架对智能体进行训练，提出一种综合考虑装载时间与纵倾变化幅度的奖励函数计算方法，并以算例分析来验证所提方法的有效性。结果 结果显示，所训练的智能体能够学习良好的策略，并实现液货舱装载方案的自主生成。结论 研究结果表明，将强化学习用于解决多目标条件下的液货舱装载方案自主生成是合理可行的。Abstract:Objectives This paper aims to study the automatic generation technology of loading and unloading schemes for the liquid cargo tank of oil tanker based on reinforcement learning.Methods Using the cargo capacity of an actual operating oil tanker as input and the loading rates of the cargo tank and ballast water tank as the targets, an intelligent agent and environment were built based on Unity ML-Agents. The agent was trained using the PyTorch framework, and a reward function calculation method that comprehensively considers the loading time and the change in the trim amplitude was proposed. Finally, the example analysis were carried out to validate the validity of the proposed method.Results The results show that, the trained agent can learn good strategies and achieve autonomous generation of liquid cargo tank loading schemes.Conclusions The study showed that applying reinforcement learning to solve the problem of autonomous generation of liquid cargo tank loading schemes under multi-objective conditions is reasonable and feasible.
-
0. 引 言
2019年5月，交通运输部联合中央网信办、国家发改委、教育部、科学技术部、工业和信息化部、财政部共同发布了《智能航运发展指导意见》，提出了我国智能航运发展的战略目标和任务。随着智能船舶与智能航运的不断发展，以及人工智能、机器学习等技术的不断革新，智能技术已广泛应用于船舶系统和管理等领域[1]。
近年来，研究学者们通过引入强化学习技术，提出了一系列智能化、无人化的算法。这些方法通过学习和优化，可以用于船舶路径规划、船舶避障等方面，从而实现自主船舶的自主导航[2]；也可以用于集装箱码头操作和货物自动化装卸等方面[3-4]，例如基于Q-Learning算法的针对无人水面舰船的路径规划方法，通过考虑多个目标，包括时间、距离、安全等，实现路径规划的多目标优化[5]；基于强化学习的船体腐蚀优化清洗路径的方法，通过考虑多个因素，包括清洗效率、清洗时间、清洗成本等，实现自主船舶船壳腐蚀清洗系统的优化控制[6]；基于多智能体深度强化学习的船舶避碰方法，通过对船舶动态特征的建模和多智能体的协同控制，实现船舶自主避碰[7]；基于多智能体强化学习技术的多船舶避碰方法，能够遵循国际海上避碰规则，并通过学习和协同控制，实现多船舶自主避碰[8]；采用权重搜索遗传算法（weight coefficient searching genetic algorithm）制定液货船装卸计划[9]；使用深度强化学习算法实现海上物流中滚装货物的自动化装卸作业，通过训练一个智能体自主管理滚装货物，并在避免与障碍物碰撞的同时执行装卸操作[10]。Unity ML-Agents（machine learning agents）工具可用来辅助训练和评估智能体，通过配备障碍物检测传感器，设置奖励函数从环境中实时获取反馈。通过对智能体的性能评估表明，其可成功学习所有所需操作，包括车道跟随、障碍物规避和滚装货物放置[11]，现有研究展示了通过强化学习的智能自主系统来提高海上运输性能和服务质量的潜力，同时也展示了使用Unity ML-Agents辅助训练的便捷性与可靠性。
液货船作为一种运输大规模液体货物的海上交通工具，其装卸过程因货物本身的危险性等因素，传统的液货船装卸方式存在诸多不足，如人力成本高、装卸效率低、安全隐患大等。作为智能船舶与无人航运研究的一个方向，液货船自动化装卸不仅需考虑船体稳定性、货物重量和船舶结构等多种因素，还需考虑到安全性和可靠性等方面的问题。在自动化装卸过程中，自主生成货舱装载方案是整个过程的重要一环，其会影响自动装卸的执行效率和安全性。目前，在这些方面应用强化学习的研究比较有限。同时，如何将影响装卸过程的诸多因素与相关知识引入到强化学习的环境模型中也是一个挑战。
本文将以一艘运营中的成品油船作为研究对象，以载货量为输入、以决定货舱及压载舱的装载率为目标，应用Unity ML-Agents进行智能体与环境的构建，基于PyTorch[12]框架对智能体进行训练。为了能够让智能体具备优化装载方案的能力，本文根据优化目标，提出一种适用于该任务的奖励函数计算方法。
1. 模拟环境
1.1 原理
对于智能体将执行的一个任务空间O(T)，这个任务空间中的每个任务都需要在满足包括舱容、可用舱等限制条件下，将一定重量的液体货物分配到可以使用的货舱中。
智能体所需学习的策略目标是得到一个优化后的策略πθ，即
πθ:S×A→R+ (1) 式中：θ代表网络参数； S表示状态空间；A表示动作空间。
智能体在上述策略下基于有限经验从不同初始状态完成任务。在时刻t，任务T的环境状态s可表示为
st∈ST(s) (2) 智能体的训练模型将会根据策略预测出一组行动的概率分布，其中的动作记为at。接下来，智能体会通过执行动作at与环境进行交互并根据奖励函数得到即时奖励Rt。随后，智能体将感知下一个状态：
st+1∼S(st+1|st,at) (3) 通过迭代的方式，网络模型可以不断优化损失函数LT，该函数是对由初始状态到有限范围H的策略所遵循的轨迹τ的映射。
τ=(s0,a0,R0,…,sH,aH,RH) (4) 轨迹的损失实际上等价于负的累计奖励，其表达式表示如下：
LT(τ)=−∑Ht=0Rt (5) 整个策略的训练过程如下述算法所示。
算法：策略学习的伪代码 输入：训练任务O(T)，最大迭代次数集合K，观察的轨迹数N，训练模型的超参数 输出：策略πθ 随机生成初始参数θ while 未达到最大迭代次数 do foreach Ki,Oi(T)属于(K,O(T)) do while k≤Ki do 抽取一批任务T∈Oi(T) for 所有T do 根据策略πθ,抽取N条轨迹 计算关于θ的损失函数的梯度 end 根据计算出的梯度更新θ end end end 1.2 系统
系统由一个智能体和一个动态环境组成，环境包括货舱、压载舱以及船体，如图1所示。其中，货舱与压载舱装载率是动态的且随时间变化。智能体是学习和生成装载方案的算法，它将在环境中学习如何分配货舱与压载舱的装载率，并同时满足以下限制条件：可以进行装载操作的货舱及压载水舱，在训练过程中是部分随机的；智能体的首要目标，是将不超过船舶最大载货量的液体货物，装入可以进行装载操作的货舱之中；智能体应确保装载过程中船舶强度和稳性不超过限制范围；智能体应学会用尽可能短的时间，完成货物的装载。
本文使用Unity来创建环境和模拟训练过程。Unity可以实现逼真的视觉效果和物理效果，同时降低构建环境的复杂性。Unity提供的可视化功能，既可以在训练过程中用于帮助评估系统的可信度，也可以在训练完成后直观地展现模型的训练效果。
智能体的实际训练过程，由Unity ML-Agents辅助完成。它可以使用PyTorch框架控制强化学习的过程，并通过一个底层Python接口与Unity中的模拟环境进行交互并控制学习环境。
1.3 ML-Agents
Unity ML-Agents 是一个开放源代码工具包，其可以帮助开发人员在Unity中训练和评估智能体的机器学习模型。该工具包可以支持各种强化学习算法，包括深度强化学习方法，例如深度Q网络[13]（deep Q-network，DQN，）、近端策略优化[14]（proximal policy optimization, PPO）及SAC算法[15]（soft actor-critic, SAC）等。
利用Unity ML-Agents可以方便地使用Unity引擎所提供的工具，从而为各种不同类型的智能体与环境创建模型，并可以在分析过程中实时观察智能体的行为与反馈。
2. 模型实现与仿真
根据智能体学习的策略、限制条件并考虑模型训练效率，考虑环境主要包括船体（含重量分布）、液货舱和压载水舱。船体部分可用来在训练或推理过程中实时反馈由装载导致的船体姿态变化，其尺寸、空船重量和重心应与实船一致。本文分析对象为一艘实际运营的9000 t成品油船，船长117.60 m、型宽19.00 m、型深10.00 m，其布置情况如图2所示。该船空船重3 406.3 t，空船重心参数及数值见表1。
表 1 空船重心Table 1. Values for the gravity center of light ship参数 数值 重心距舯/m 44.999 重心高/m 8.017 重心距中/m 0 在构建环境时，需要建模的液货舱与压载舱会按照实际位置建模，对应舱室参数如表2所示。限于篇幅，本文仅以液货舱RCAR1P为例展示部分舱容信息，如表3所示。
表 2 舱室参数Table 2. Tank parameters舱室编号 体积/m3 重心距舯/m 重心高/m 重心距中/m RCAR1P 548.24 93.648 6.124 −2.713 RCAR1S 542.59 93.647 6.127 2.738 RCAR2P 765.22 82.614 5.938 −3.870 RCAR2S 768.29 82.617 5.937 3.848 RCAR3P 1028.45 70.144 5.848 −4.101 RCAR3S 1025.32 70.127 5.848 4.101 RCAR4P 1247.74 54.774 5.821 −4.146 RCAR4S 1249.13 54.774 5.821 4.146 RCAR5P 1213.90 38.047 5.900 −4.045 RCAR5S 1210.20 38.047 5.900 4.045 RWBT1P 318.58 95.052 4.595 −4.901 RWBT1S 328.78 95.052 4.467 4.743 RWBT2P 258.15 83.259 3.399 −6.606 RWBT2S 268.06 83.254 3.298 6.363 RWBT3P 304.71 70.608 2.983 −6.731 RWBT3S 317.27 70.604 2.892 6.468 RWBT4P 352.41 55.100 2.961 −6.682 RWBT4S 367.35 55.100 2.868 6.412 RWBT5P 246.90 41.029 2.984 −6.733 RWBT5S 256.82 41.032 2.894 6.473 RWBT6P 228.11 30.246 3.275 −6.526 RWBT6S 237.38 30.318 3.146 6.301 表 3 RCAR1P部分舱容表Table 3. Summary of partial tank capacities of RCAR1P装载率/% 体积/m3 重心距舯/m 重心高/m 重心距中/m 惯性矩/m4 0.0 0.00 94.171 1.301 −0.587 3.93 0.6 3.26 93.199 1.352 −1.547 43.54 1.2 6.84 93.197 1.404 −1.613 49.25 1.9 10.63 93.215 1.456 −1.664 56.27 2.7 14.62 93.235 1.509 −1.712 63.87 3.4 18.82 93.256 1.563 −1.760 72.08 4.2 23.22 93.276 1.617 −1.808 80.93 5.1 27.82 93.295 1.672 −1.856 90.02 10.8 59.47 93.409 2.012 −2.136 143.87 20.3 111.23 93.489 2.496 −2.340 152.18 29.9 164.08 93.523 2.965 −2.432 160.86 39.8 218.04 93.543 3.432 −2.493 169.91 49.8 273.09 93.558 3.899 −2.541 179.35 60.1 329.25 93.571 4.369 −2.582 190.00 70.6 387.19 93.585 4.845 −2.624 208.36 80.4 440.56 93.601 5.276 −2.665 226.04 90.3 494.91 93.620 5.707 −2.702 217.93 97.7 535.38 93.638 6.024 −2.722 207.65 98.8 541.70 93.642 6.073 −2.722 120.97 99.7 546.49 93.646 6.111 −2.717 42.29 100.0 548.24 93.648 6.124 −2.713 21.11 2.1 动作（Action）
根据油船实际运营过程，同时为使模型得到一定程度的简化，以空载工况为起始状态对智能体进行训练。 智能体将对共计22个舱分别独立进行装载操作，并将采用连续动作模式，每次动作将增加或减少与之对应的某个舱的装载率。
2.2 奖励（Reward）
作为环境对智能体所采取动作的反馈，具体的奖励机制如下：
1） 对于任务成功，当前货舱总载货量W大于等于目标货物重量Wt，奖励值为+1，结束当前回合（Episode）。
2） 对于任务失败，装载过程中超出稳性或强度限制，奖励值为−1，结束当前回合。
3） 每一步采取动作后，根据船体纵倾值Vtrim相对其限制范围边界的偏离程度，根据式（6）可以计算出纵倾奖励Rtrim，增加在这一步的奖励当中。式中，C1为纵倾奖励修正系数，根据多次测试，取0.0005，Ltrim为纵倾限值，取船长的1.5%，即1.764。
Rtrim=C1×(Ltrim−|Vtrim|)/Ltrim (6) 4） 每一步采取动作后，根据当前货舱总载货量W从开始进行本回合装载实际经过的时间t，根据式（7）可得到时间奖励Rtime，增加在这一步的奖励中。
Rtime=C2×W/t (7) 式中：C2为时间奖励修正系数，根据多次测试的结果，取为0.9。
综上，在每一步采取动作后，智能体所得到的奖励应为
R={Rtime+Rtrim+1,任务成功Rtime+Rtrim−1,任务失败Rtime+Rtrim,任务中 (8) 2.3 观察（Observation）
训练过程中，收集的观察量包括：液货舱与压载舱的装载率；液货舱需要装载的目标货物重量；纵倾奖励值Rtrim；时间奖励值Rtime。
2.4 回合终止（Episode terminal）
训练中每个回合在满足下述条件之一时，即会终止：液货舱已装货物总重量大于等于当前任务装载重量；船体稳性或强度超出限制范围；一个轮次可以模拟的最大步数，一般用于在训练进入无意义的迭代时提前终止当前回合，本文研究设为10000。
2.5 模型训练配置
经过对多次训练及其结果的比较，最终采用如表4所示的模型训练配置和主要超参数。
表 4 模型配置与超参数Table 4. Model configuration parameters and hyper-parameters参数 数值 batch_size 2 048 buffer_size 20 480 learning_rate 0.001 learning_rate_schedule linear beta 0.0015 epsilon 0.18 lambd 0.90 num_epoch 5 hidden_units 256 num_layers 3 gamma 0.99 strength 1.0 time_horizon 256 max_steps 1.5×107 注：参数的具体描述和取值范围，可参见https://unity-technologies.github.io/ml-agents/Training-Configuration-File/ 3. 结果分析与讨论
图3 所示为智能体通过估计预测在短期内获得的奖励，即智能体在学习期间得到的所有状态下的平均估计值。在成功训练的过程中，该值在整个学习过程中会随着时间的推移而持续增加，直至稳定在某个值附近。图4所描述的是学习率的线性演变过程。
为了评估智能体的学习进度，可以采用熵、价值损失、策略损失等指标予以评价。其中，熵可以衡量模型决策的随机性和不确定性，如图5所示。熵反映了预期的信息内容，并量化了动作结果中出现的意外。在训练过程中，其值呈现下降趋势，但是在4百万步和8百万步附近有明显的增大然后继续下降，可以看出，智能体因为采取了与之前不同的尝试，使得熵在短期内增加。
价值损失指标可以帮助评估智能体学习的状态空间，通过其可计算每次迭代的价值函数的平均损失，从而反映模型预测各状态值的能力。如图6 所示，该价值损失在训练中先增加，在学习收敛后减少。这表明智能体准确地学习了状态空间，且整体变化趋势与图2中累计奖励的变化趋势相吻合，价值损失的突变通常出现在累计奖励的低点。另外，价值损失在4百万步和8百万步之后的突然增加，也表明智能体在进行了新的尝试，并在智能体学习了新的经验后开始降低。
策略损失是策略损失函数的平均值，如图7所示。它能够反映策略的执行、发展和进化过程。结果表明，它在训练过程中振荡，并且当智能体选择最佳动作序列时，成功的事件会使策略振荡的幅度减小。
上述结果表明，本研究所训练的智能体已经能够学习良好的策略。使用适当的模型超参数，策略学习可以收敛到一个解决方案，在此解决方案中，智能体学习如何完成任务。收敛还确保了某种稳定性，并允许智能体利用其自身知识或经验，而不是无限制地探索环境或选择随机行动。利用训练好的模型，根据输入的目标载货重量可以由智能体自主生成分步的装载方案。
算例1：目标载货重量5180 t，所有液货舱均可装载。
从图8可以看出，智能体在装载的前中期按照相同比率对各液货舱进行装载，且出现了重合的现象。在结束阶段，装载率才开始出现差异。从图9可以看出，对于压载水舱，智能体会进行较为频繁的调整，从而使纵倾满足优化目标。
图10和图11所示为算例1装载方案最终阶段的稳性和强度曲线，该方案稳性与强度均满足要求。
算例2：目标载货重量3950 t，液货舱RCAR1P、RCAR1S不装载。
从图12中可以看出，虽然智能体采取了与算例1相似的策略，但是在两个液货舱不可用的情况下，不同液货舱的装载率在更早的时候开始出现差异。从图13可以看出，与算例1相似，智能体会根据已经学习的策略对压载水舱的装载进行了较为频繁的调整。
图14和图15所示为算例2装载方案最终阶段的稳性曲线和强度曲线，该方案稳性与强度均满足要求。
表5统计了上述两个算例最终得到的装载重量及与目标重量的相对误差。从表中可知，在两个算例中智能体生成的方案与输入目标之间仍然存在一定的误差。
表 5 两个算例得到的实际装载重量Table 5. Statistics of actual loaded weight for the two examples目标重量/t 实际重量/t 相对误差/% 算例1 5 180 5238.946 1.125 算例2 3 950 3955.778 0.146 表6统计了装载方案中，相邻两个步骤所对应的船舶纵倾值变化。从表中可以看出，通过将纵倾变化引入到奖励函数当中，智能体会采取尽可能减少纵倾变化幅度的方式来生成装载方案。
表 6 两个算例得到的相邻步骤间的纵倾差值Table 6. Difference of trim value between adjacent steps for the two examples步骤数 差值平均值 差值标准差 算例1 76 0.037 0.002 算例2 69 0.015 0.007 通过对训练过程和算例结果的分析表明，智能体经过训练已经学习到了装载策略，并能够采用此策略来自主分配和调整货舱及压载舱的装载率以实现目标装货量的要求，而且能够保证在整个装载过程中使船舶满足稳性和强度的要求。
4. 结 语
本文以一艘运营中的成品油船为研究对象，以载货量作为输入、以决定货舱及压载舱的装载率作为目标，应用Unity ML-Agents构建进行智能体与环境，基于PyTorch框架训练智能体。针对优化目标要求，提出了一种适用于优化装载方案能力的奖励函数的计算方法。结果表明，将强化学习算法用于解决更复杂环境和工况下的装载方案生成问题是极具希望的方法，所作研究不仅能够满足船体稳性与强度作为策略学习的首要目标，同时通过引入一种新的奖励函数计算方法，还将减少装载时间以及装载过程中的纵倾变化幅度也纳入到策略学习的目标中。通过对训练过程以及算例结果的分析表明，经过训练后的智能体已经具备了根据目标载货量自主生成合理装载方案的能力。
目前，所提方法自动生成的方案依然存在误差，该误差来自于研究所使用的装载计算工具和强化学习算法的计算过程，下一步工作将通过改进算法以减小误差。此外，在实际装卸过程中，船体管路设计、泵的能力等也是实现从自主生成装载方案到自主完成装卸过程中必须考虑的重要限制条件，因此探索包括所有装卸约束的多目标优化策略也将是未来需要进一步研究的首要任务之一。
-
算法：策略学习的伪代码 输入：训练任务O(T)，最大迭代次数集合K，观察的轨迹数N，训练模型的超参数 输出：策略πθ 随机生成初始参数θ while 未达到最大迭代次数 do foreach Ki,Oi(T)属于(K,O(T)) do while k≤Ki do 抽取一批任务T∈Oi(T) for 所有T do 根据策略πθ,抽取N条轨迹 计算关于θ的损失函数的梯度 end 根据计算出的梯度更新θ end end end 
下载: 导出CSV
表 1 空船重心
Table 1 Values for the gravity center of light ship
参数 数值 重心距舯/m 44.999 重心高/m 8.017 重心距中/m 0
下载: 导出CSV
表 2 舱室参数
Table 2 Tank parameters
舱室编号 体积/m3 重心距舯/m 重心高/m 重心距中/m RCAR1P 548.24 93.648 6.124 −2.713 RCAR1S 542.59 93.647 6.127 2.738 RCAR2P 765.22 82.614 5.938 −3.870 RCAR2S 768.29 82.617 5.937 3.848 RCAR3P 1028.45 70.144 5.848 −4.101 RCAR3S 1025.32 70.127 5.848 4.101 RCAR4P 1247.74 54.774 5.821 −4.146 RCAR4S 1249.13 54.774 5.821 4.146 RCAR5P 1213.90 38.047 5.900 −4.045 RCAR5S 1210.20 38.047 5.900 4.045 RWBT1P 318.58 95.052 4.595 −4.901 RWBT1S 328.78 95.052 4.467 4.743 RWBT2P 258.15 83.259 3.399 −6.606 RWBT2S 268.06 83.254 3.298 6.363 RWBT3P 304.71 70.608 2.983 −6.731 RWBT3S 317.27 70.604 2.892 6.468 RWBT4P 352.41 55.100 2.961 −6.682 RWBT4S 367.35 55.100 2.868 6.412 RWBT5P 246.90 41.029 2.984 −6.733 RWBT5S 256.82 41.032 2.894 6.473 RWBT6P 228.11 30.246 3.275 −6.526 RWBT6S 237.38 30.318 3.146 6.301
下载: 导出CSV
表 3 RCAR1P部分舱容表
Table 3 Summary of partial tank capacities of RCAR1P
装载率/% 体积/m3 重心距舯/m 重心高/m 重心距中/m 惯性矩/m4 0.0 0.00 94.171 1.301 −0.587 3.93 0.6 3.26 93.199 1.352 −1.547 43.54 1.2 6.84 93.197 1.404 −1.613 49.25 1.9 10.63 93.215 1.456 −1.664 56.27 2.7 14.62 93.235 1.509 −1.712 63.87 3.4 18.82 93.256 1.563 −1.760 72.08 4.2 23.22 93.276 1.617 −1.808 80.93 5.1 27.82 93.295 1.672 −1.856 90.02 10.8 59.47 93.409 2.012 −2.136 143.87 20.3 111.23 93.489 2.496 −2.340 152.18 29.9 164.08 93.523 2.965 −2.432 160.86 39.8 218.04 93.543 3.432 −2.493 169.91 49.8 273.09 93.558 3.899 −2.541 179.35 60.1 329.25 93.571 4.369 −2.582 190.00 70.6 387.19 93.585 4.845 −2.624 208.36 80.4 440.56 93.601 5.276 −2.665 226.04 90.3 494.91 93.620 5.707 −2.702 217.93 97.7 535.38 93.638 6.024 −2.722 207.65 98.8 541.70 93.642 6.073 −2.722 120.97 99.7 546.49 93.646 6.111 −2.717 42.29 100.0 548.24 93.648 6.124 −2.713 21.11
下载: 导出CSV
表 4 模型配置与超参数
Table 4 Model configuration parameters and hyper-parameters
参数 数值 batch_size 2 048 buffer_size 20 480 learning_rate 0.001 learning_rate_schedule linear beta 0.0015 epsilon 0.18 lambd 0.90 num_epoch 5 hidden_units 256 num_layers 3 gamma 0.99 strength 1.0 time_horizon 256 max_steps 1.5×107 注：参数的具体描述和取值范围，可参见https://unity-technologies.github.io/ml-agents/Training-Configuration-File/
下载: 导出CSV
表 5 两个算例得到的实际装载重量
Table 5 Statistics of actual loaded weight for the two examples
目标重量/t 实际重量/t 相对误差/% 算例1 5 180 5238.946 1.125 算例2 3 950 3955.778 0.146
下载: 导出CSV
表 6 两个算例得到的相邻步骤间的纵倾差值
Table 6 Difference of trim value between adjacent steps for the two examples
步骤数 差值平均值 差值标准差 算例1 76 0.037 0.002 算例2 69 0.015 0.007
下载: 导出CSV
-
[1] 张华, 孟昭燃, 齐鸣. 化学品船智能货物管理技术及最新应用[J]. 中国船检, 2022(9): 61–65. doi: 10.3969/j.issn.1009-2005.2022.09.017 ZHANG H, MENG Z, QI M. Smart cargo management technology for chemical tankers and its latest applications[J]. China Ship Survey, 2022(9): 61–65 (in Chinese). doi: 10.3969/j.issn.1009-2005.2022.09.017
[2] CHUN D H, ROH M I, LEE H W, et al. Deep reinforcement learning-based collision avoidance for an autonomous ship[J]. Ocean Engineering, 2021, 234: 109216. doi: 10.1016/j.oceaneng.2021.109216
[3] DRUNGILAS D, KURMIS M, SENULIS A, et al. Deep reinforcement learning based optimization of automated guided vehicle time and energy consumption in a container terminal[J]. Alexandria Engineering Journal, 2023, 67: 397–407. doi: 10.1016/j.aej.2022.12.057
[4] YAN N N, LIU G Z, XI Z. H A multi-agent system for container terminal management[C]//Proceedings of the 7th World Congress on Intelligent Control and Automation. Chongqing, China: IEEE, 2008.
[5] YANG C P, ZHAO Y Q, CAI X, et al. Path planning algorithm for unmanned surface vessel based on multiobjective reinforcement learning[J]. Computational Intelligence and Neuroscience, 2023(8): 1–14.
[6] LE A V, KYAW P T, VEERAJAGADHESWAR P, et al. Reinforcement learning-based optimal complete water-blasting for autonomous ship hull corrosion cleaning system[J]. Ocean Engineering, 2021, 220: 108477. doi: 10.1016/j.oceaneng.2020.108477
[7] CHEN C, MA F, XU X B, et al. A novel ship collision avoidance awareness approach for cooperating ships using multi-agent deep reinforcement learning[J]. Journal of Marine Science and Engineering, 2021, 9(10): 1056. doi: 10.3390/jmse9101056
[8] WEI G, KUO W. COLREGs-compliant multi-ship collision avoidance based on multi-agent reinforcement learning technique[J]. Journal of Marine Science and Engineering, 2022, 10(10): 1431. doi: 10.3390/jmse10101431
[9] 齐鸣, 林嘉昊, 孙淼, 张勇. 权重搜索遗传算法在液货船装卸计划生成中的应用[J]. 中国舰船研究, 2022, 17(增刊 1): 28–36. QI M, LIN J H, SUN M, et al. Application of weight coefficient searching genetic algorithm in the plan generation of cargo loading and unloading for liquid cargo carrier[J]. Chinese Journal of Ship Research, 2022, 17(Supp 1): 28–36 (in Chinese).
[10] OUCHEIKH R, LÖFSTRÖM T, AHLBERG E, et al. Rolling cargo management using a deep reinforcement learning approach[J]. Logistics, 2021, 5(1): 10. doi: 10.3390/logistics5010010
[11] JULIANI A, BERGES V P, TENG E, et al. Unity: a general platform for intelligent agents[J/OL]. arXiv: 1809.02627 [cs. LG], 2020. [ 2020-05-06]. https://doi.org/10.48550/arXiv.1809.02627.
[12] PASZKE A, GROSS S, MASSA F, et al. PyTorch: an imperative style, high-performance deep learning library[C]// Proceedings of the 33rd International Conference on Neural Information Processing Systems (NIPS'19). Vancouver, Canada : Curran Associates, Inc. , 2019: 8026–8037.
[13] MNIH V, KAVUKCUOGLU K, SILVER D, et al. Human-level control through deep reinforcement learning[J]. Nature, 2015, 518(7540): 529–533. doi: 10.1038/nature14236
[14] SCHULMAN J, WOLSKI F, DHARIWAL P, et al. Proximal policy optimization algorithms[J/OL]. arXiv: 1707.06347 [cs. LG] , 2017. [2017-08-28]. https://doi.org/10.48550/arXiv.1707.06347.
[15] HAARNOJA T, ZHOU A, ABBEEL P, et al. Soft actor-critic: off-policy maximum entropy deep reinforcement learning with a stochastic actor[C]//Proceedings of the 35th International Conference on Machine Learning (ICML 2018). Stockholm, Sweden: Curran Associates, Inc. , 2018: 1861–1870.
计量
- 文章访问数: 135
- HTML全文浏览量: 22
- PDF下载量: 9
