0.   引　言

随着航运业与科学技术的迅速发展，现代船舶更加大型化、专业化、智能化，进而对船舶管理人员的技能要求越来越高。为有效、快速地提升船舶管理人员的操作能力与管理经验，国内外均采用船舶动力仿真系统对船员进行培训。仿真系统可实现各种运行工况（航行、靠港、停泊、备车、起航、离港）和各种常见故障的模拟操作训练，从而保证船舶动力系统的高效与安全运行^[1]。

传统的船舶动力仿真系统采用半实物（hardware-in-the-loop, HIL）仿真的方法，通过搭建与实船具有高度相似性的模拟操作平台并在模拟设备上操作，从而获得与实船相近的系统响应过程^[2-3]。近年来，随着虚拟现实（virtual reality, VR）技术的发展，开始在HIL仿真系统中接入VR头戴式设备来实现船舶三维视景仿真^[4-6]。陶瑞等^[7]对固定水灭火设备进行三维建模，开发了船舶固定水灭火模拟训练系统，利用VR头戴式设备实现船舶虚拟场景的三维可视化及交互操作。Li等^[8]针对船舶通信导航设备维修管理的现状及存在的问题，阐述了VR技术在设备维修管理中的应用，设计并实现了一个基于VR技术的船用通信导航设备维护管理系统。杨晓等^[9]通过采用细节层次模型来解决VR系统的真实感和实时性之间的矛盾，构建了虚拟船舶的三维船舶模型层次结构，通过VR头戴式设备实现了虚拟船舶的三维场景漫游、碰撞检测、场景的快速导航与瞬移和典型设备的交互行为仿真。方雄兵等^[10]提出了一种面向舰船维修仿真应用系统的架构，设计舰船虚拟维修仿真应用系统的组成及各模块功能，实现了舰船虚拟维修仿真应用系统的原型。

虽然传统的船舶动力仿真系统能够在一定的程度上真实地模拟系统设备的操作方式、工作流程，并获得相对准确的数值以及反馈极其真实的声光效果，但是操作环境与实船环境仍有较大差异。因此，通过单一的VR头戴式设备可提高局部场景逼真度，有利于单个设备和小系统的认知与虚拟操作，然而难以获得大型动力系统场景的全貌和实船操作沉浸感，以及进行多站位VR的协同交互操作。

基于上述问题，本文将提出一种沉浸式的船舶机舱仿真交互系统，该系统由HIL仿真系统、VR系统两个部分组成。通过构建一个高速网络系统实现HIL仿真系统内部的数据实时交互，包括HIL仿真系统与VR系统的数据，以及VR系统内部沉浸式立体投影系统与多站位VR系统的数据的实时交互，解决时钟同步和空间一致性的实现问题，从而有助于获得良好的实船操作沉浸感。

1.   沉浸式仿真交互系统需求分析与设计

1.1   系统需求分析

针对已开发的仿真交互系统存在的问题，为了使仿真交互系统在人员操作培训与船舶运维管理方面发挥更好的作用，提高系统总体的效率与效益，新型的船舶机舱仿真交互系统应实现以下功能：

1）人员操作培训。教练员根据受训人员训练内容的不同设置操作环境以及初始工况，并可以设置常见的故障工况来考核受训人员的故障分析和应急操作能力。

2）VR多站位协同操作。各站位VR系统配合动作指令，在虚拟场景环境中有序地完成各自站位的操作，是一种支持多用户协同的沉浸式VR形式。

3）系统实时交互与属性同步。构建一个高速网络系统，完成整个系统的实时通信，通过数学模型仿真服务器实现HIL仿真系统与VR系统状态的同步变化。

4）操作模式多元化。系统提供4种交互模式，即实物盘台操作、软件界面操作、VR三维视景操作和沉浸式立体投影操作。系统支持多种交互模式的并行，用户可根据自身情况进行选择，提高操作灵活性。

1.2   仿真系统设计

在需求分析的基础上，设计面向船舶机舱沉浸式仿真交互的系统架构，如图1所示。设计的架构分为HIL仿真系统和VR系统两个部分，采用分布式协同仿真，对船舶机舱资源进行整合，实现面向轮机资源管理的团队化协同训练。

图  1  沉浸式仿真交互系统架构

Figure  1.  Architecture of immersive simulation interactive system

下载: 全尺寸图片 幻灯片

1.2.1   HIL仿真系统

HIL仿真系统的设计是整个仿真系统的基础，主要用于对船舶动力系统进行计算机仿真，模拟真实船舶上的各种操作。通过计算机模拟机舱内各动力设备在不同工况、不同外界条件下的实际工作情况，来对人员进行运维管理方面的培训。HIL仿真系统设计的核心是动力系统数学模型，数学模型可实时反映仿真系统各动力设备状态的动态变化。在建立动力设备系统的特性和状态参数之间关系的数学模型表达式后，采用计算机语言进行编写动力系统数学模型，该模型需要装入仿真支撑平台进行实时仿真，以实现船舶在各运行工况和常见故障工况下的仿真。

如图1所示，HIL仿真系统主要包括数学模型服务器、实物操作盘台、人机交互界面和数据采集系统。

1.2.2   VR系统

引入VR系统的船舶机舱仿真交互系统可以模拟出真实的机舱环境和设备，具有高逼真度、沉浸感强的特点，同时实现实时交互操作^[11-12]。本文设计的VR系统中有两种交互操作方式，可通过接入头戴式VR设备进行三维虚拟场景操作，也可通过搭建沉浸式立体投影系统实现VR的人机交互。图2为VR系统的开发流程图。

图  2  VR系统开发流程图

Figure  2.  VR system development process

下载: 全尺寸图片 幻灯片

使用三维软件建立机舱三维模型。为节省模型在计算机中的运行内存，提高流畅度与实时性，采用多层次细节（level of detail，LOD）建模技术，用于可见面判定算法的几何层次模型，以便对复杂场景进行快速绘制。通过清晰表达与快速绘制的有机结合，并根据视点到模型的距离，显示出不同细节程度版本的模型。距离越近，模型细节程度越高，包含的多边形数量越多。图3所示，细节复杂的压缩机模型，设置4层LOD模型，当视点距离压缩机较远时，模型只有325个多边形，Culled 12%。视点最近时，模型细节程度恢复到原有的3190个多边形，LOD100%，模型细节清晰可见。采用基于图像与景物几何相结合的建模技术，同时对各采样样本（图像）之间的关系及模型的几何拓扑关系（几何数据、几何拓扑与特征数据）进行研究考虑，在一定程度上可以实现高逼真度、高绘制速度及良好交互性的有效融合。

图  3  LOD优化模型

Figure  3.  LOD optimization model

下载: 全尺寸图片 幻灯片

导入Unity实时3D驱动引擎进行二次开发，对三维机舱设备的操作进行描述与定义，利用C#语言对场景模型的交互控制机制进行编程，可实现自动漫游、手动操作控制、碰撞检测、三维拾取和三维模型交互逻辑等功能^[13]。多站位VR系统包括驾驶台站位VR系统、集控台站位VR系统、电站站位VR系统、机旁操作台站位VR系统等，通过将VR头戴式设备接入机舱三维场景模型中，支持多用户同时沉浸在VR虚拟场景环境下，配合动作指令，协同操作。

沉浸式立体投影系统也称为洞穴式投影（CAVE），其水平视场角和垂直视场角最大都可以达到360°，是沉浸感最强的VR环境^[14]。图4所示为立体投影系统的工作原理图，该多功能的4面6通道立体投影系统包括立体投影屏幕、动作捕捉设备、立体眼镜、中控装置、主动3D投影设备、扩声设备等。

图  4  立体投影系统工作原理图

Figure  4.  Working principle of stereo projection system

下载: 全尺寸图片 幻灯片

动作捕捉设备实时捕捉用户的位置、角度信息和姿态变化情况，并把它们作为沉浸式立体投影系统的输入信号发送给中控装置，中控装置接收到信号后经对其进行分析和运算，调整机舱三维模型虚拟场景的渲染视角和控制改变虚拟模型的运动状态，实时渲染出VR动画图像。随后，把它们处理成图像信息发送给主动3D投影设备，以及输出到投影屏幕上并同步发送给立体眼镜，实现立体眼镜与投影屏幕画面的实时同步。通过用户的操作控制改变机舱三维模型的系统状态，实时渲染出相应的VR动画图像，从而实现VR的人机交互。中控装置的同步信号还会同步发送到扩声设备中，用于音效输出，实现原声再现^[15]。另外，通过高速网络系统中数据的高速传输，可实现沉浸式立体投影系统与多站位VR系统三维图像的实时同步。

1.3   软件系统构成

如图5所示，仿真交互系统软件由数学模型软件（主机系统数学模型、辅助系统数学模型、电站系统数学模型）、仿真支撑软件、人机交互界面（虚拟操作界面、监控报警软件）、通信软件、人机定位与跟踪交互软件、系统通信软件和操作系统等组成。其中：通信软件采用C/S（client/server）通信模式，实现HIL与VR系统的实时通信；数学模型软件用于实现各运行工况和各常见故障工况下的模拟；仿真支撑软件用于对数学模型进行统一调度与管理，实现模型运行管理、工况投入、故障设置等功能；人机交互界面用于船舶动力仿真交互系统在驾驶台、集控台、电站、机旁操作台等部位的相关操控；监控报警系统软件用于船舶主机、机舱设备运行状态监测与控制。

图  5  系统软件结构图

Figure  5.  System software structure

下载: 全尺寸图片 幻灯片

1.4   硬件系统

如图6所示，仿真交互系统硬件由实物操作盘台（4台）、操作终端计算机（3台）、监控计算机（2台）、数据采集系统、仿真计算机、VR站位计算机（4台）、HTC VIVE设备（4套）、立体投影系统硬件（立体投影机、4面6通道投影幕、系统主控制器、图形服务器组等）、网络交换机等组成。其中，实物操作盘台与实船保持一致，所有计算机通过千兆级网络交换机等网络接口设备组建局域网通信。

图  6  系统硬件结构图

Figure  6.  System hardware structure

下载: 全尺寸图片 幻灯片

2.   系统功能模块实现

2.1   系统状态与形态的实时统一

如图1所示系统架构，HIL仿真系统与VR系统通过高速网络系统连接成了一个整体的船舶机舱仿真交互系统。组建局域网，基于C/S通信架构，实现系统内部网络数据的高速传输。在虚拟场景环境中，对三维实体模型的操作任务及功能进行事先定义，交互式实体行为建模，系统与实体变量统一描述，与HIL仿真系统数学模型对接，确定多站位协同交互操作机制，所有系统状态与变量均通过数学模型仿真服务器进行实时同步，构建统一的系统状态与形态，可以达到实时交互、属性同步的效果。

2.2   多站位VR协同交互操作

通过搭建局域网服务器，构建基于C/S通信架构的服务端与客户端之间的高速网络系统，实现多个VR站位在线训练的功能。多站位VR系统包括驾驶台站位VR系统、集控台站位VR系统、电站站位VR系统、机旁操作台站位VR系统，各站位VR系统通过接入高速网络系统中，完成数据同步单元的相互连接以及与仿真服务器的同步校正单元连接，实现多站位VR系统与HIL仿真系统的实时交互以及与立体投影系统的画面同步。各站位VR系统包括一套HTC VIVE设备及VR支撑平台的计算机，通过Steam以及Steam VR插件即可实现将制作好的场景模型对接进头戴式VR设备，利用手持控制器对编程好的动作进行操作调试。多用户同时头戴式VR设备沉浸到虚拟场景环境中，分别负责各自站位的交互动作，配合总指挥的动作指令有序操作，在实训中提高面对各种故障工况时的协同作战能力和指挥决策能力，实现多人就地站位协同操作及各VR站位的实时交互，创造出一种高逼真度、高沉浸感且多用户可同时参与的虚拟操作环境，提高了操作的灵活性及体验感。

2.3   多功能立体投影系统

如图7所示，在沉浸式立体投影系统中，包含场景选择和模式选择两种功能。场景选择分为4个站位场景，分别对应驾驶台站位VR、集控台站位VR、电站站位VR和机旁操作台站位VR。通过使用MSVR软件进行分屏管理，与中控器完成视频显示控制，用户可自由地跳跃到4个VR站位中的任一个。立体投影系统与各VR站位的图形服务器均上载统一的机舱三维模型，系统状态、形态以及系统的操作与数学模型服务器实时同步，实现立体投影系统与各站位三维图像的实时同步，并且在立体投影系统中每台图形服务器都采用同步卡输出，以完成4面6通道的三维图像立体同步。模式选择包括有自动漫游与手动交互这两种模式。其中，自动漫游模式涉及了船舶驾驶台、一层、机舱以及全景的漫游，有助于用户获得身临其境的感性认识，增强真实感。手动交互模式中有逻辑操作与逻辑复原，可以通过模拟各种运行工况下的操作及复原，有助于对学员进行培训与教学，提高受训者对机舱设备结构的直观认知及获得很好的实船操作沉浸感。

图  7  立体投影系统功能框架图

Figure  7.  Functional framework of stereographic projection system

下载: 全尺寸图片 幻灯片

3.   系统关键技术实现

3.1   通信软件开发

如图8所示，通信软件主要由ModOperComServer（用户自行开发）和ModOperComClient（仿真平台开发）两个部分组成。ModOperComServer是共享内存与各操作系统之间的桥梁，负责从操作系统中读取和处理发送至仿真支撑平台的数据并放置到共享内存中，以及从共享内存中读取仿真支撑平台发送至操作系统的数据并发送各操作系统。

图  8  通信框架图

Figure  8.  The communication framework

下载: 全尺寸图片 幻灯片

ModOperComServer是由C#高级语言编写并在Visual Studio的集成开发环境中进行编译。程序开发采用3层架构，分别是视图层、逻辑层和数据层。视图层采用微软公司提供的NET平台下的WPF工具，逻辑层是实现视图层与数据层之间数据交互的桥梁，数据层是开发软件对应使用的数据，数据来源于仿真支撑平台中。共享内存区由ModOperComClient创建，负责存储不同类型变量数据与数值，允许多个不相关的进程访问同一块逻辑内存。同时，为防止多线程紊乱，在具体编码中采用线程锁的方式对共享内存区设置读写权限，以实现有序访问。对于分布式调度系统中数据的传递，采用Socket网络通信来实现调度服务器与多台计算节点客户端之间通信。

另外，在程序开发过程中由于C#是托管型代码，托管型代码的对象在托管堆上分配内存，创建的对象由虚拟机托管且不能直接操作共享内存，需要通过C#调用C++的动态链接库（DLL），但C++是非托管型代码，非托管型代码对象有实际的内存地址，创建的对象须自己管理和释放。因此，通过在C#中调用非托管动态链接库作为静态入口点来实现对共享内存区数据的读写操作。

3.2   多站位VR数据优化

考虑多人协同操作时，运行客户端计算机可能存在硬件差异以及多VR交互过程中数据量增加的问题，因此需要优化处理数据以提高多VR在线协同操作的流畅度。针对高速网络系统中可能会出现网络延迟比较轻微的环境，采用线性预测算法进行数据优化。在三维虚拟场景中，虚拟人物位置用x，y，z表示。客户端程序中存有场景环境中所有虚拟人物最近n个位置的信息及相应时间。设人物位置为G，相应时间设为t，则对于人物的x，y，z轴坐标有如下计算公式：

式中：${a}_{n}$, ${a}_{n-1}$,...,${a}_{1}$为在x轴方向上多项式中各项的系数；${b}_{n}$, ${b}_{n-1}$,...,b₁为在y轴方向上多项式中各项的系数；${c}_{n}$, ${c}_{n-1}$,...,c₁为在z轴方向上多项式中各项的系数。将已知的${G}_{1}$, ${G}_{2}$,...,${G}_{n}$和${t}_{1}$, ${t}_{2}$,...,${t}_{n}$代入式（1），可得

根据上述方程组，可以求出式（1）中的参数${a}_{n}$, ${a}_{n-1}$, ..., ${a}_{1}$。同理，也可以将${G}_{1}$, ${G}_{2}$, ..., ${G}_{n}$和${t}_{1}$, ${t}_{2}$, ..., ${t}_{n}$分别被代入式（2）和式（3）中，求出${b}_{n}$, ${b}_{n-1}$, ..., ${b}_{1}$和${c}_{n}$, ${c}_{n-1}$, ..., ${c}_{1}$。

一般地，只要新的时刻${t}_{n+1}$与前n个时刻相差不是很大，则该多项式方程就可以用来预测新时刻的位置。当新的时刻位置计算完毕后，还可以根据最近的n个时刻 (${t}_{2}$，${t}_{3}$, ..., ${t}_{n+1}$) 预测时刻${t}_{n+2}$的位置。图9～图11所示为根据某站位虚拟人物采样数据点的x轴和z轴在Matlab中对测试结果进行验证。当$n{\text{ = }}3$时，预测结果更接近于真实的数据点，故客户端程序保存所有站位虚拟人物最近3个位置的信息及相对应的时刻。

图  9  x轴随时间t变化

Figure  9.  The x-axis varies with time t

下载: 全尺寸图片 幻灯片

图  10  z轴随时间t变化

Figure  10.  The z-axis varies with time t

下载: 全尺寸图片 幻灯片

图  11  x和z轴随时间t变化

Figure  11.  The x and z axes vary with time t

下载: 全尺寸图片 幻灯片

多站位VR所操作的虚拟人物移动速度可看作是匀速运动。针对此类数据，可以降低其通信频率。客户端程序根据虚拟人物当前状态及之前的几个状态来预测下一个状态。当网络系统出现轻微延迟时，虚拟人物根据预测结果运动，从而使虚拟人物及场景画面保持正常的运行状态。当服务器的新数据到达后，替换之前的预测数据，再根据真实的数据更新场景模型中的数据。如果预测数据和服务器发送的真实数据有偏差，则采取渐进平滑的过渡算法将虚拟人物移动到新的位置^[16]。同理，此线性预测算法也可以对虚拟人物的旋转角度和手部运动等数据进行预测。

3.3   VR头戴式设备与立体投影系统同步

沉浸式立体投影系统为4面6通道立体投影系统，包括正幕、左侧幕、右侧幕和地幕。正幕为背投式投影屏幕，左侧幕、右侧幕、地幕均采用背投式投影屏幕，围合出一个立体投影空间。当场景图像被分配到多台立体投影机进行画面的同步投影时，需要在Unity中导入MSVR SDK开发包，并使用MSVR软件进行分屏管理。

在沉浸式立体投影系统进行场景选择后，其与多站位VR系统的图像信息都会通过网络通信上载到统一的机舱系统三维模。实现立体投影系统与多站位VR三维图像实时同步的本质是渲染相关信号与仿真数据的同步。某站位VR系统操作时，每一帧画面的数据包都会通过UDP的形式传输给立体投影系统的服务主机，服务主机通过UDP协议广播给各客户机，各客户机接收到数据包后经解析获取本通道的数据，并分别赋给立体投影机，随后完成场景渲染后给服务主机发送结束信号并阻塞线程，并等待服务主机发送下一帧画面的数据包。同时，服务主机接收到某站位VR系统操作时，每一帧画面的数据包经解析后也都会向该操作站位VR系统发送结束信号，并等待该操作站位VR系统发送下一帧画面的数据包，从而保证了VR头戴式设备与立体投影系统的画面的同步，以及多通道投影的画面帧的同步。图12为同步过程示意图。

图  12  同步过程示意图

Figure  12.  Diagram of synchronization process

下载: 全尺寸图片 幻灯片

4.   案例实现

按照以上系统设计的方案，搭建了沉浸式内河船舶仿真交互系统硬件平台，并在此基础上对系统软件进行了开发，如通信软件、监控报警软件和VR交互场景等。在此实验平台上，可以设置不同的运行工况及常见故障工况供人员进行操作培训，也可提供与实船一致的沉浸式虚拟场景辅助教学培训。操作人员可选择多元化的交互模式和多用户下的协同操作，以获得更好的体验感。

图13为系统硬件平台布置图，包括实物操作盘台、柴油机实物模型、VR大屏、立体投影系统，受训者在此平台上进行各种模拟操作。

图  13  系统布置图

Figure  13.  System layout

下载: 全尺寸图片 幻灯片

图14为多站位VR系统中各站位VR的交互场景，用户头戴VR显示器，通过交互手和移动手的控制器完成各种动作指令。

图  14  多站位VR系统

Figure  14.  Multi-station VR system

下载: 全尺寸图片 幻灯片

图15为部分虚拟场景图，通过接入到沉浸式多功能立体投影系统中，用户不仅可以在虚拟场景中完成与对应的实体模型行为交互，还可以进行场景的自动漫游，并提供了驾驶室、一层、机舱和全景漫游4种选择。

图  15  部分虚拟场景图

Figure  15.  Part of the virtual scenarios

下载: 全尺寸图片 幻灯片

5.   结　语

本文设计并实现了一种沉浸式船舶机舱仿真交互系统，介绍了该系统各部分的组成、系统功能模块、关键技术的实现。具体而言，通过VR系统与HIL仿真系统的连接实现了整个系统的实时交互与属性同步，解决了实现时钟同步与空间一致性的问题；通过沉浸式立体投影系统和多站位VR系统的集成与数据整合，完成了沉浸式立体投影系统与多站位VR系统三维图像的实时同步，同时增加了多站位VR系统协同交互操作的功能。该沉浸式船舶机舱仿真交互系统提供的多元化仿真交互操作模式给操作人员创造了一个高逼真度、沉浸感强的虚拟场景环境，有助于提升受训者对船舶结构和机舱设备的直观认识，这对于船舶智能运维管理和人员操作培训等具有指导意义。