留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

智能船舶远程辅助驾驶3D场景构建关键技术研究

孙晓雪 王胜正 殷非 谢宗轩

孙晓雪, 王胜正, 殷非, 等. 智能船舶远程辅助驾驶3D场景构建关键技术研究[J]. 中国舰船研究, 2020, 37(X): 1–7 doi: 10.19693/j.issn.1673-3185.01743
引用本文: 孙晓雪, 王胜正, 殷非, 等. 智能船舶远程辅助驾驶3D场景构建关键技术研究[J]. 中国舰船研究, 2020, 37(X): 1–7 doi: 10.19693/j.issn.1673-3185.01743
SUN X X, WANG S Z, YIN F, et al. Key technologies of 3D scene construction for remote assisted driving of intelligent ships[J]. Chinese Journal of Ship Research, 2020, 37(0): 1–7 doi: 10.19693/j.issn.1673-3185.01743
Citation: SUN X X, WANG S Z, YIN F, et al. Key technologies of 3D scene construction for remote assisted driving of intelligent ships[J]. Chinese Journal of Ship Research, 2020, 37(0): 1–7 doi: 10.19693/j.issn.1673-3185.01743

智能船舶远程辅助驾驶3D场景构建关键技术研究

doi: 10.19693/j.issn.1673-3185.01743
基金项目: 国家重点研发计划项目资助(2019YFB1600605);上海市科技创新行动计划社会发展科技领域项目资助(18DZ1206101)
详细信息
    作者简介:

    孙晓雪,女,1997年生,硕士生。研究方向:航海仿真。E-mail:xxsuncn@163.com

    王胜正,男,1976年生,博士,教授,博士生导师。研究方向:航海仿真,智能船舶航行,大数据应用技术,机器学习。E-mail:szwang@shmtu.edu.cn

    殷非,男,1984年生,高级工程师。研究方向:船舶智能系统。E-mail:znxtk704@163.com

    谢宗轩,男,1983年生,博士,讲师。研究方向:极地航行,智能航海,航海数学。E-mail:zxxie@shmtu.edu.cn

    通讯作者:

    王胜正

  • 中图分类号: U675.7

Key technologies of 3D scene construction for remote assisted driving of intelligent ships

图(8)
计量
  • 文章访问数:  59
  • HTML全文浏览量:  11
  • PDF下载量:  1127
  • 被引次数: 0
出版历程
  • 收稿日期:  2019-08-31
  • 修回日期:  2020-10-10
  • 网络出版日期:  2020-12-10

智能船舶远程辅助驾驶3D场景构建关键技术研究

doi: 10.19693/j.issn.1673-3185.01743
    基金项目:  国家重点研发计划项目资助(2019YFB1600605);上海市科技创新行动计划社会发展科技领域项目资助(18DZ1206101)
    作者简介:

    孙晓雪,女,1997年生,硕士生。研究方向:航海仿真。E-mail:xxsuncn@163.com

    王胜正,男,1976年生,博士,教授,博士生导师。研究方向:航海仿真,智能船舶航行,大数据应用技术,机器学习。E-mail:szwang@shmtu.edu.cn

    殷非,男,1984年生,高级工程师。研究方向:船舶智能系统。E-mail:znxtk704@163.com

    谢宗轩,男,1983年生,博士,讲师。研究方向:极地航行,智能航海,航海数学。E-mail:zxxie@shmtu.edu.cn

    通讯作者: 王胜正
  • 中图分类号: U675.7

摘要:   目的  为实现对智能船舶航行全寿期岸基远程监控和管理,研究基于虚拟现实技术的船舶远程辅助驾驶支持系统。  方法  通过实时采集和融合船舶航行态势信息及船舶周围动、静态目标信息,利用虚拟现实技术全方位、多视角地重构和呈现船舶航行场景,建立船舶碰撞风险预测模型,以三维动态形式显示船舶周边相对于本船航行的危险关系。  结果  该系统能够准确显示船舶真实航行场景及其状态信息,可提供三维多视角的瞭望功能,不仅为船端驾驶人员提供了全面的航行信息,还实现了岸基远程辅助驾驶支持能力。  结论  研究成果可为船岸一体化智能体系建设提供技术支持和保障。

English Abstract

孙晓雪, 王胜正, 殷非, 等. 智能船舶远程辅助驾驶3D场景构建关键技术研究[J]. 中国舰船研究, 2020, 37(X): 1–7 doi: 10.19693/j.issn.1673-3185.01743
引用本文: 孙晓雪, 王胜正, 殷非, 等. 智能船舶远程辅助驾驶3D场景构建关键技术研究[J]. 中国舰船研究, 2020, 37(X): 1–7 doi: 10.19693/j.issn.1673-3185.01743
SUN X X, WANG S Z, YIN F, et al. Key technologies of 3D scene construction for remote assisted driving of intelligent ships[J]. Chinese Journal of Ship Research, 2020, 37(0): 1–7 doi: 10.19693/j.issn.1673-3185.01743
Citation: SUN X X, WANG S Z, YIN F, et al. Key technologies of 3D scene construction for remote assisted driving of intelligent ships[J]. Chinese Journal of Ship Research, 2020, 37(0): 1–7 doi: 10.19693/j.issn.1673-3185.01743
    • 众所周知,绝大多数海上事故某种程度上都是“人为失误”所造成的。为了减少航行中受到人为因素的影响,无人艇在过去几十年中得到了不断发展[1],并且更大型的远洋商用集装箱和散货船无人驾驶功能也在开发之中[2],预计具有完全自主功能的远洋货船将在10~15年内投入商业运营[3]。2016年,罗尔斯·罗伊斯公司提出了无人驾驶船队远程监控的岸基操作控制中心构想,这将使驾驶员既能远程洞察无人船的航行状况,一定程度上还可操控船舶及提供重要的驾驶决策。可见,这对于克服有人驾驶和完全自主驾驶之间的差距是非常有益的,也保障了无人船航行的安全可靠性。

      远程驾驶主要功能之一是将机器传感器检测的周围环境信息进行空间和时间的显示,而对船员而言,对船外航行环境的持续感知是关键[4]。因此,在远程辅助驾驶时,增强操控人员对监控内容的认知很重要。Hosseini等[5]和Shen等[6]展示了如何利用虚拟现实技术提高汽车驾驶时的认知程度。Marten等[7]提出了一种无人艇远程操作方法,操控 人员可使用虚拟现实技术模拟船舶周围航行环境,并指出用户在使用三维界面时具有较好的态势感知能力。在界面显示视角方面,Porathe[8]建议在屏幕上使用以自我为中心的三维海图视图作为导航辅助手段,以减少操控 人员的认知负荷。国内学者对船舶远程监控系统的研究主要以监控船舶运行状态(经纬度和航向)为主[9],有学者将远程监控与导航结合,利用地理信息系统 (geographic information system,GIS)实现了船舶定位和航线状态的远程监控。该系统主要实现了以定位为主的二维平面船体位置电子海图显示功能及航行状态信息查看功能。但是,在系统中船舶运动被视为质点运动,忽略了船舶尺寸,无法保障船舶在水域拥挤情况下远程驾驶操作的安全性,较难作为船舶远程辅助驾驶的载体。而且,在单一平面俯视视角下,系统显示的视野与真实情况存在偏差,破坏了远程驾驶的沉浸感。虽然现有的三维船舶驾驶系统以船桥视角呈现了船舶的运动状态,但是航行数据却是非实船数据,其主要用于航海船员驾驶操作培训。此外,沈智鹏等[10]提出的船舶遥控驾驶操作系统,通过采集实船数据实现了远程观测船舶操作和运动情况,但该系统未显示通航水域的其他船舶,以及未呈现船舶真实的航行环境。

      为此,我们拟基于Unity3D引擎,设计一种智能船舶远程辅助驾驶支持系统,借鉴黄一[11]构建无人船信息管理系统的设计思想,建立实船感知数据库,在虚拟世界中全方位、实时呈现船舶的三维航行环境、运动态势、船舶碰撞关系,增强重要航行信息的显示,实现船岸协同下的远程辅助驾驶,为未来无人船舶的远程监控系统设计奠定技术基础。

    • 智能船舶远程辅助驾驶支持系统主要是通过对本船及周围船舶态势数据的采集和融合处理,呈现出船舶三维航行环境及其运动态势,根据最近会遇距离(distance of close point of approaching,DCPA)、最近会遇时间(time to close point of approaching,TCPA)等航行安全要素建立船舶碰撞风险模型,将本船的安全等级和信息进行可视化,以及提供航行环境的多视角瞭望功能,使驾驶员远程全方位掌握船舶的航行安全状况并提供船舶驾驶辅助决策。该系统采用C/S与B/S复用模式,通过网络将船舶客户端采集的环境数据、本船数据、周围船舶数据传输到服务器,在客户端运用Unity3D引擎搭建三维航行环境,实现船舶的航向、位置、安全关系等信息的多视角实时三维动态显示。智能船舶远程辅助驾驶支持系统的整体架构如图1所示。

      图  1  系统框架结构图

      Figure 1.  Structural diagram of system framework

    • 图1所示,船舶远程辅助驾驶支持系统主要包括以下几个模块:

      1) 数据收集模块。主要功能是通过船载传感器,例如雷达、船舶自动识别系统(automatic identification system,AIS)、电子海图信息与显示系统(electronic chart display and information system,ECDIS)、差分全球定位系统(differential global position system,DGPS)和惯性导航(inertial navigation system,INS),来收集本船及周边船舶的航向、航速、地理位置、DCPA、TCPA、航线等数据,通过ECDIS获取包括等水深线信息、浮标信息在内的航行环境数据,经网络传输到岸基的服务器端进行数据预处理。

      2) 数据处理模块。主要功能是对传入的数据进行预处理、建模、计算和分发。对多源数据信息进行预处理并融合,建立态势感知数据库,便于数据的更新及查询使用。根据传入的数据建立模型数据库,例如船舶模型数据库、浮标模型数据库、港口模型数据库等。

      3) 三维显示模块。主要功能是根据实时传入的航行数据,以三维动态的方式,显示船舶航行时的运动姿态、周边的航行环境、船舶详细信息面板和船舶碰撞风险预测警示。根据传入的模型数据库,对船舶航行区域的环境进行三维场景重构,包括海洋、港口、船舶、浮标等。基于较为成熟的船舶六自由度运动数学模型,结合本船船型数据、位置和航向航速等信息,等比例显示船舶航行运动的全过程。此外,通过分析周边船舶相对于本船的运动趋势、距离等信息,设置避碰警戒圈,建立风险评估模型,将周边船舶与本船的安全关系进行文字、图标等进行可视化显示,一方面计算视野盲区内潜在的碰撞隐患并设置不同颜色的跟随标签,另一方面降低驾驶员对数据分析计算的要求。

      4) 人机交互模块。主要功能是接收操纵杆鼠标等输入设备发出的视角切换、船舶选择、参数设置等指令。通过切换视角,实现任意距离内360°观察本船航行态势和任意船舶的三维信息;通过点击选择周边船舶,显示或隐藏船舶详细信息面板;通过设置参数,有选择地显示船舶信息类型、可航行水域、障碍物和避障路线。

    • 数据收集模块采集的实时船舶坐标是WGS-84坐标系下的经纬度坐标,单位为(°);而船舶远程辅助驾驶支持系统中的空间坐标系是以某海图的经纬度坐标为世界原点的三维坐标系,单位为m。因此需要对收集的经纬度数据进行坐标系转换,即将WGS-84坐标系($\phi $gλghg)转换为虚拟现实系统中的三维坐标系(XYZ),再由Unity3D内置的透视投影算法,将三维坐标系(XYZ)转换为影像平面坐标系(uv),以完成三维坐标到屏幕坐标的转换。令hg=0,Z=0,将三维空间坐标转换问题变为空间直角坐标系转换问题。

      空间直角坐标转换中的仿射变换是一种二维坐标到二维坐标之间的线性变换,包括平移、旋转、缩放。其示意图如图2所示,$\phi $λ为WGS-84大地坐标系的坐标轴; XY 为虚拟现实系统中三维坐标系的坐标轴; ($\phi_p $λp)为 P 点在WGS-84大地坐标系中的坐标;( XpYp)为 P 点在虚拟现实系统中三维坐标系中的坐标;( $\phi_b $λb)为基准点 b 在WGS-84大地坐标系中的位置;基准点 b 也是虚拟现实系统中三维坐标系的原点。

      图  2  仿射变换

      Figure 2.  Affine transformation

      其坐标转换公式如下:

      $$Y_p = ({\phi _p} - {\phi _b}) \times 60 \times 1\;852$$ (3)
      $$X_p = ({\lambda _p} - {\lambda _b}) \times \cos \phi_b \times 60 \times 1\;852$$ (4)

      由于Unity3D采用左手坐标系,X 轴正方向指向右, Y 轴正方向指向上, Z 轴正方向指向前,所以转换后的 Yp值要赋值给虚拟现实系统三维坐标系的 Z 轴。再由Unity3D内置的透视投影算法,将三维坐标系( XYZ )转换为影像平面坐标系(uv),以便完成三维坐标到屏幕坐标的转换。

    • 为了保障远程辅助驾驶系统提供的决策与真实航行操作具有同等安全可靠性,利用虚拟现实技术重构的航行场景应该补偿远程操作员不在船上时的环境感知损失。

    • 与Lager等[7]采用直接将海图嵌入三维场景显示海图信息的方式不同,本文设计的系统是将电子海图中的符号三维可视化,并与真实的航行场景相匹配。在利用三维可视化技术重构船舶海洋环境的过程中,直接将基于官方认证的电子海图(electronic navigation chart,ENC)水深数据、等深轮廓线创建的三维水深区域与海洋环境融合显示;通过对不同水深区域的海水进行着色,直观呈现安全可航区域和危险禁航区,使得驾驶员迅速掌握周围水域哪些能走,哪些较危险。如图3(a)所示的单个等水深区域,该多边形是包含孔的多边形,无法使用简单的凸多边形绘制方法,则需要使用细分算法将这些复杂的多边形分割为简单的凸多边形,然后才能绘制。此处我们采用奇偶规律来区分多边形的“内部”与“外部”,内部区域不进行填充。三维等水深区域局部可视化结果如图3(b)所示。

      图  3  部分等水深区域

      Figure 3.  Partial bathymetric area

    • 为准确呈现航行环境中大多数船舶类型和尺寸的三维信息,该系统将常见的船舶类型进行三维建模,再根据AIS静态数据中的船舶尺寸和类型,动态加载相应的船舶三维模型,并通过缩放模型尺寸以实现对航行环境中实际船舶尺寸类型的真实显示。最后,根据AIS动态数据实现船舶的位置和航向、航速的运动可视化。同理,港口、码头、浮标等的模型也采用动态加载方式。

    • 驾驶员在航行过程中不仅要对集成的船桥驾驶系统进行操作和监视,还要频繁瞭望。数字形式的船舶碰撞危险度呈现的缺点是:一方面不利于提高驾驶员的直观警惕性,另一方面还要通过瞭望将周围环境与船上导航设备的信息进行解释和匹配,再根据实际瞭望情况进行避碰决策,从而增加了避碰响应时间。研究表明,与传统界面相比,三维用户界面减少了事故的发生,并且对情景状况有更好的全面掌握[8]。为了更好地将AIS收集的周边船舶数据进行可视化,提高驾驶员的警惕性,在界面新建一个用户界面(UI)层,用于设置和显示基本信息:将本船的主要信息设置在顶部,右侧为周边船舶的危险等级列表和详细面板显示区域,底部可更改本船的观察视角,左侧为本船的信息设置面板。除了面板显示信息的方式外,将周边船舶对本船的危险程度以及本船航行紧张情况进行图形显示:根据周边船舶与本船存在的碰撞风险程度,对周边船舶进行颜色圈标识以直观地显示本船当前航行危险情况;同时在本船周围设置安全警戒圈,根据不同距离内周边船舶数量呈现本船当前航行紧张情况;并为船舶配置跟随UI标签以可视化船舶航向、船舶名称等简略信息,其中,将船舶航向设计为船舶跟随船艏箭头图像,直接进行三维显示,将船舶静态信息设计为船舶跟踪标签。

    • 为确保船舶航行过程中的安全,综合考虑DCPA和TCPA来计算船舶碰撞危险度,然后再将船舶危险碰撞度以图形信息的形式进行三维可视化及叠加到相应的船舶模型上,通过其随时间和空间的变化动态地呈现在驾驶员的虚拟现实操作界面中,以解决航行中瞭望与频繁监控系统数据的冲突,并且直观地展示周边船舶与本船的航行安全关系。

      图4为船舶碰撞风险值的计算流程,通过该模型可动态计算并显示周边船舶碰撞风险等级。首先计算周边目标船舶的最小会遇距离${D_{{\rm{DCPA}}}}$、最小会遇时间${T_{{\rm{TCPA}}}}$以及根据经纬度地理坐标公式计算得到的两船舶距离D,然后建立风险值计算模型,最后根据风险值对应的警示颜色对船舶跟踪标识信息进行颜色处理,将其直观地显示在三维航行环境中,并突出周边船舶相对于本船的安全风险程度,同时在界面上呈现船舶风险等级排序列表。风险值对应的颜色可在客户端面板上通过设置进行自定义。风险值计算公式为

      图  4  目标船舶碰撞风险值计算流程图

      Figure 4.  Flow chart for calculating collision risk value of target ship

      $$Risk = 100\text{%} - \frac{D}{{3 \times 1\;852}} \times \frac{{{D_{{\rm{DCPA}}}}}}{{{D_{{\rm{DSPA}}}}}} \times \frac{{{T_{{\rm{TCPA}}}}}}{6} \times 100\text{%} $$ (5)

      式中:D为两船当前距离,m;DDSPA为最小安全会遇距离,m,船舶拥挤水域一般取0.3~0.5 n mile[12]

    • 基于Unity3D引擎强大的跨平台发布能力,本系统客户端可以在Windows,MAC环境下运行,外接漫游操纵杆进行人机交互,软件采用C#语言进行编程。船端的数据信息采集硬件包括:电子海图、GPS、雷达、AIS、罗经等。通过将采集的真实航行场景数据传输到岸基服务器,数据经处理和融合后存储到服务器的感知数据库,再根据船端和岸基发送的数据请求进行客户端虚拟场景搭建和三维同步显示,以实现岸基对真实船舶航行情况的远程监控并提供辅助驾驶决策。

    • 设计通用的船舶信息UI对船舶模型进行跟随标识,颜色随计算的风险值变化,以直观显示在三维航行场景中。驾驶员可通过操纵杆点击当前视角范围内的船模或跟随UI,以查看船舶的详细信息。在界面右下角始终展示航行水域内前10%的船舶风险等级列表,便于当前视角盲区内的潜在危险船舶得到应有的警示。通过点击列表中显示的船舶信息,系统会自动锁定该船舶,并在右上角显示其详细信息面板。海面上橙色区域代表障碍物所在水域。系统显示效果如图5所示。

      图  5  三维碰撞预测警示显示

      Figure 5.  Three-dimensional display of collision prediction warning

    • 系统可实现俯视、尾视和船桥视角的瞭望功能。三维俯视角以航行海图为背景,从本船正上方的高空中俯视以本船为中心的整体航行环境,以便在更宽阔的环境中观察本船的运动态势以及了解周边船舶的数量和航行信息;三维尾视角以本船艉部为观察点,三维近距离掌握本船航道信息及其与周边船舶的运动趋势;三维船桥视角为真实驾驶视觉,显示船舶航行正前方场景。通过操作操纵杆可实现视角的缩放和旋转功能。多视角显示情景如图6所示。

      图  6  三维多视角显示

      Figure 6.  3D multi-view display

    • 为了验证船舶远程辅助驾驶系统场景的有效性,设计本次实验对系统进行测试。测试地点为某智能船舶海上实验测试场,虚拟系统三维空间原点以青岛港(120.249383° W,36.022500° N)经纬度为基准。船舶远程辅助驾驶支持系统载入实船航行数据后,将显示结果与电子海图进行对比,如图7所示。可见,在该系统俯视视角下,航行环境与电子海图显示基本一致,虚拟环境与真实环境搭建一致。

      图  7  电子海图与系统显示效果图

      Figure 7.  Comparison on 3D display of electronic chart and simulation system

      实验过程中,三维航行视景不仅呈现了真实的船舶航行场景和本船运动状态,而且驾驶员通过切换视角能轻易获取周边船舶的运动态势和查询信息;船舶航行运动显示流畅,交互响应时长0.1 s,基本实现岸基的远程辅助驾驶支持。现场试验表明:该系统操作简单,减少了驾驶员在航行过程中30%的工作量,而且将航行数据信息进行分析处理和可视化,降低了驾驶员的认知负荷,能有效为船舶提供远程驾驶辅助支持。

    • 基于虚拟现实技术的智能船舶远程辅助驾驶支持系统,全方位、多视角地呈现了船舶航行的三维环境、运动态势和船舶碰撞关系,并且显著标识了重要的航行信息。该系统可准确显示船舶真实航行场景及其状态信息,提供三维碰撞预测警示和多视角瞭望功能,降低远程驾驶员的认知负荷,为实现岸基驾驶员对本船航行态势的远程辅助操控提供支持。

参考文献 (12)

目录

    /

    返回文章
    返回