Kara0807的个人博客分享 http://blog.sciencenet.cn/u/Kara0807

博文

基于数字四胞胎的平行驾驶系统及应用

已有 3110 次阅读 2019-6-5 09:59 |系统分类:论文交流|文章来源:转载

 基于数字四胞胎的平行驾驶系统及应用


刘腾,王晓,邢阳

高玉,田滨,陈龙


【摘   要】平行驾驶是一种兼具运营管理、在线状态监测、应急驾驶安全接管等功能的先进云端化网联自动驾驶集成解决方案。着重介绍平行驾驶的数字四胞胎系统,即物理车、描述车、预测车和引导车的集成系统。首先,给出平行驾驶与数字四胞胎的具体定义与框架;随后,介绍描述车、预测车和引导车的具体含义和内涵;最后,讨论数字四胞胎系统在矿山、物流等场景中的应用实例。

 

【关键词】平行驾驶;数字四胞胎;描述车;预测车;引导车

 

【引用格式】刘腾,王晓,邢阳,高玉,田滨,陈龙.基于数字四胞胎的平行驾驶系统及应用智能科学与技术学报,2019,1(1): 40-51.

1.引言

随着基于社会物理信息系统的平行管控理论ACP方法的发展及其在过去十几年中的应用,平行驾驶的理论框架已经被稳步构思。同时,平行驾驶也受到了网联和自动驾驶快速发展的启发。


德国联邦公路研究院、美国国家公路交通安全管理局和国际自动机工程师学会SAE International分别于2012年、2013年和2014年定义和推荐了自动驾驶车辆的不同级别,其中SAE International定义的级和级之间的自动化水平产生了明显跳跃。级自动驾驶要求驾驶员连续监测车辆行驶状态;而级自动驾驶的状态监测由自动驾驶系统进行,因此允许驾驶员完全脱离驾驶任务,但驾驶员必须在有需求的情况下随时准备在一段时间内进行接管。


目前在汽车技术应用方面主要为级自动驾驶和部分级自动驾驶,具体的几种商业产品有:用于一级自动化的自适应巡航控制(ACC)、宝马的交通堵塞辅助、通用的超级巡航、奔驰的车距保持和转向辅助、丰田的高速公路自动驾驶辅助、沃尔沃的自适应巡航控制和转向辅助,以及特斯拉Model S级自动驾驶。


由于DARPA(美国防高级研究计划局)无人驾驶挑战赛的推动,在过去十年中,级和级(或完全自动化)的自动驾驶技术有了实质性的发展,谷歌的自动驾驶车辆就是一个例子。目前完全自动驾驶的挑战之一是在更复杂的驾驶环境中可靠稳健地运行(例如现实生活中复杂的城市道路)。同时,车队或协同车辆自动化也已经进行了几十年的研究,进一步提高了车辆安全、能源效率以及公路通行能力。


欧洲的自动驾驶路线图建议到2030年实现3个主要的自动驾驶里程碑,即:到2020年实现在低速和不太复杂驾驶场景下的级自动驾驶,到2025年实现在高速公路上的完全自动驾驶,到2030年随着网联车技术的展实现在城市区域的完全自动驾驶。


据此可预见,在未来20~40年的时间里,道路运输系统将由具有不同自动化水平的网联车辆混合组成,这需要对未来的智能和安全驾驶采取统一的管理方法,也将极大地促进基于CPSScyber physical social systems,社会物理信息系统)的平行驾驶技术的发展。


本文将整个平行驾驶系统分为4个不同的组成部分,称为自动驾驶数字四胞胎系统。这4部分由单独或互相连接的实车3个虚拟的车辆(守护天使)组成。这3个虚拟车辆是在人工世界中建立起来的,分别称为描述车辆、预测车辆和引导车辆。描述车辆负责建立真实车辆和道路环境的准确模型,预测车辆旨在对描述车辆的决策和规划做出正确的运算和分析,引导车辆的目的是指导真实车辆在不同的驾驶场景中采取正确的行动。


为了更清晰地阐述平行驾驶的数字四胞胎系统及其应用情况,本文的内容安排如下:第1节介绍平行驾驶的框架和自动驾驶数字四胞胎的结构;第2节、第3节和第4节分别详细阐述平行驾驶人工世界中的3个虚拟守护天使,即描述虚拟车、预测虚拟车、引导虚拟车;第5节介绍自动驾驶数字四胞胎的实际应用情况,包括平行驾驶真车系统、平行智能矿山系统和平行智能物流运输系统。

 

2.平行驾驶数字四胞胎的定义

本节主要介绍平行驾驶及其数字四胞胎的定义与框架。首先给出基于社会物理信息系统的平行驾驶框架,详细介绍物理世界、精神世界和人工世界如何相辅相成地提升自动驾驶车辆的安全性和运营效率;然后给出数字四胞胎的框架,详细介绍各个子系统的定义和功能。


2.1  平行驾驶


在信息物理系统(cyber physical systems,CPS)的基础上,加入社会信息和人工信息,构成社会物理信息系统(CPSS)。通常,在CPSS中,“C”具有两层含义,一是物理世界中的信息系统,二是软件定义的虚拟的人工世界。“P”则指传统的物理系统,而“S”不仅包含人类社会系统,还包括根据真实物理系统构建的虚拟人工系统。CPSS使得真实系统与虚拟系统能够实现交流、反馈和互相提升。真实系统能够为虚拟系统的构建和校正提供宝贵的数据,而虚拟系统又能够引导和辅助实际系统的运行,从而实现各自的自我升华[1]。


基于CPSS,中国科学院自动化研究所王飞跃研究员于2004年提出了平行系统的概念,其核心的理论是ACP方法,即人工社会(artificial societies)、计算实验(computational experiments)与平行执行(parallel execution)的有机组合。在平行系统中,人工社会常用于对复杂系统进行建模,计算实验则用作计算和分析相应的知识和策略,而平行执行则是控制和管理真实系统与人工系统交互的手段。同时,ACP方法还可作用于CPSS中的3个平行世界中,即物理世界、精神世界和人工世界。ACP方法的不同形式可以同时在人工系统和真实系统中被激活,用于解决复杂系统的管理与控制问题[2]。


将基于ACP方法的平行系统的概念应用到网联自动驾驶问题中,得到平行驾驶系统,如图1所示。上面提到的三级世界并存于平行驾驶系统中,其中物理世界主要是指真实智能车的实际运行,精神世界主要是对驾驶的行为和意图进行识别,而人工世界又包含两层,第一层是虚拟驾驶层,用于模拟虚拟驾驶员在人工环境中的虚拟驾驶行为,第二层是信息层,主要包含社会因素、地理因素和传感器信息因素。


平行驾驶的基本原则是通过人工世界的模拟和交互来完成复杂的自动驾驶任务,从而指导物理智能车的运行。在人工世界中,每一辆虚拟车中的控制器都会与其余的虚拟车、精神世界的驾驶员意图和物理世界的真实智能车进行多方交互,通过多种计算实验方法来提升人工世界中虚拟系统的建模精度,获取不同场景下的控制或运行策略,同时明确虚拟车与真实车之间的交互方式和方法。如何构建具有不同职责的虚拟车,各个虚拟车之间的任务和目标是什么,不同虚拟车之间怎样进行交互等是需要进一步考虑的问题。因此,本文提出了数字四胞胎的概念来明确平行驾驶中真实车与虚拟车的职责,同时指出数字四胞胎的应用前景。


1.jpg

图1  社会物理信息系统中基于ACP的平行驾驶

2.2  数字四胞胎


为了明确和细化平行驾驶人工世界中虚拟车的责任和任务,也为了让虚拟车能够更好地辅助真实车实现高等级的自动驾驶,本文提出了“平行驾驶数字四胞胎”的概念,这“四胞胎”分别是描述车、预测车、引导车和真实车。在平行驾驶中,3辆虚拟车可以看作真实车的3个“守护天使”,它们扮演不同的角色使得真实无人驾驶车在平行驾驶系统中更加安全、可靠。如图2所示,描述车主要通过形式化描述自动驾驶车辆的行为和交通环境的特征以构建虚拟车辆和环境模型;预测车则主要通过大量的计算实验方法对复杂行车场景和工况(含边缘场景/工况)进行试错、优化和预测;而引导车则通过信息—物理车辆之间的实时交互以引导真实车辆安全高效地行驶。


2.jpg

图2  平行驾驶中的数字四胞胎结构

真实车辆在不同驾驶场景和工况下运行可以获得大量的数据,包括交通场景的数据,如信号灯位置、十字路口位置、行人拥挤路段、施工路段等,也包括车辆自身的数据,如发动机和电机的转速、电池的输出功率和荷电状态(state of charge,SOC)、车辆的速度和加速度变化、车辆的行驶里程等。这些数据都可以通过内置或外置传感器的形式记录并保存,用于在人工世界中对真实车进行建模。描述车的建模包括对自动驾驶车辆转动系统的建模、对不同道路场景的建模和对环境的建模等。通过在线采集数据的不断标定和修正,描述车的模型能够更加精确,从而能够更好地模拟真实车的运行。


预测车可以看作一个多智能体的学习系统,不同的智能体实现自动驾驶车辆不同的行驶目标,并将学习得到的知识用以辅助和指导真实车的行驶。在预测车中,有多种多样的计算实验方法用以实现系统的自我标定和自我升华,如大数据分析、深度学习、机器学习、软件分析、神经网络等。预测车的自我标定是指将同一输入给予描述车的模型和真实车辆系统,然后验证输出的状态是否一致,从而验证建模的准确性。而自我升华是指将描述车构建的虚拟车辆模型运行于不同的人工场景,包括边缘场景和紧急工况,通过不同智能体的多次学习和提升,获得不同场景下优化的决策与规划、控制策略等。将这些获取的策略当作知识存储,并用于指导真实车辆在同一场景下的运行。


引导车主要起到两方面的作用:一方面是将人工世界中预测车辆获得的宝贵知识用于指导真实车辆的运行,另一方面则是管理大量的虚拟车辆与真实车辆的交互。为了解决第一个问题,基于安全/行为/场景的学习方法(如模仿学习和逆强化学习等)可以用来评估并运用预测车学到的各种知识,并将这些知识传输到真实车辆的车载控制器中,用于指导真实车辆在不同场景中的运行。为了解决第二个问题,可以将先进的人机交互界面(如指纹识别、人脸识别、声音交互、触屏交互等)作为虚拟车与真实车的交互方式。接下来就详细介绍数字四胞胎中3个虚拟车的功能和实现方式。

 

3.描述虚拟车

3.1  基于描述学习的描述虚拟车结构


软件定义的数字四胞胎结构中,描述虚拟车的设计受到描述学习的方法启发,主要负责学习现实物理世界中的对象,建立学习策略来描述和模拟实际物理车辆和行车环境。描述虚拟车是真实物理车的映射,通过不同的学习策略将物理世界中的交通环境信息、驾驶员行为信息以及车辆动力学特征映入软件定义的数字空间。在基于CPSS的平行驾驶框架中,汽车的现实世界由车辆的物理世界和人类的精神世界组成,分别展示为驾驶过程中可能出现的物理行为和认知行为。其中,物理行为又由本车物理行为和周围车辆的物理行为组成。基于此,描述虚拟车负责学习和描述交通环境、驾驶员以及车辆动态特性。根据描述学习的定义,可以将描述过程分为三类,即:行为学习方法、认知学习方法以及构成学习方法[3],如图3所示。


3.2  行为学习


行为学习方法以学习物体的外在行为为目标, 无需涉及内在状态推理,通过采集外在可观测数据,将数据分为激励数据与响应数据,通过训练获得两者之间的映射关系,求解最优的环境与响应的关系。如图3所示,行为学习方法可以建立驾驶环境、驾驶员行为和车辆动力学模型。建立驾驶环境模型可视为根据本车与周围车辆的交互,建立以相对位置信息为输入,车辆决策与路径信息为输出的映射关系。同理,驾驶行为的学习依据驾驶员获取的环境信息,估计其对车辆的控制信号,如方向盘转角与油门开度。


3.jpg

图3  描述虚拟车结构

因此,行为学习类似于一基于有监督学习的行为克隆过程。文献[3]给出一种典型的无人驾驶汽车行为克隆算法,该算法以多个车辆前视摄像头为输入,采用端到端的学习方式,建立了视频数据与通过强化学习所获得方向盘转角之间的映射模型。文献[4]给出了一种驾驶员行为学习的方法,相似地,利用端到端的学习策略建立了从驾驶员图像到驾驶员状态估计的模型。总的看来,行为学习通常可通过易观测的外在行为与动作的数据,学习到描述两者之间关系的映射模型。


3.3  认知学习


CPSS平行驾驶框架下,驾驶员同时存在于物理层与精神层,对于精神层的认知状态,难以利用简单的行为学习方法获得。虽然全自动驾驶汽车不需要驾驶员,但对于驾驶员的认知过程学习可以有效地辅助无人车决策算法设计。对于半自动无人驾驶汽车,当车辆无法应对周围未见或复杂情况,车载控制器需要退出,并依赖驾驶员应对复杂场景,因此,驾驶员认知学习同样可以用于半自动无人驾驶汽车。


与行为学习方法不同,认知学习无法利用特定时刻下的激励与响应数据计算精神层面的认知状态。同时,认知状态无法直接测量,因此,认知行为的学习与描述需要记录驾驶员一段时间内的驾驶行为与身体姿态,如头部转动、注视方向等特征,以此为输入量,并根据观测到的驾驶员操控信息推理出内在的认知行为。文献[5]给出了一种有效的驾驶员意图推理方法,通过实时采集和分析过去一段时间内驾驶员的生理信号,推理出驾驶员可能存在的换道与转向意图。利用认知学习的方法可以在人工场景内建立具有类似于驾驶员行为特征的虚拟驾驶员或虚拟无人车,其更具备类似于人类驾驶员的自然驾驶方式和决策过程,使无人车的决策与规划控制更易被驾驶员和乘客所采纳。


3.4  构成学习


构成学习是一种更为复杂的描述学习方式。构成学习强调知识不能仅仅通过学习和指导,还需要不同学习机构之间进行交互。此时,学习过程成为一种主动的交互和探索过程。描述虚拟车首先获得初步的场景和规则知识,利用增强学习等方式不断探索对于真实物理车更加真实的描述。同时,物理车可以产生多个类似却不同的虚拟车,这些虚拟车分别专注于不同的描述功能。之后,描述车子系统通过不多的学习和探索获得对于特定场景的真实描述,同时子系统之间利用协同交互的方式逐步完善描述虚拟车的各项功能,进而生成一个更能真实反映物理实车和驾驶环境的描述车系统。


4.预测虚拟车

4.1  预测学习的概念


Yann LeCun在2016年神经信息处理系统大会(NIPS)主题报告中提出了“预测学习”的概念,可以理解为深度无监督的学习方法,它可以用来解释智能体如何从与环境的交互中学习特定知识[6]。与基于ACP的平行系统的思想比较发现,两者的本质是一样的。其核心都是用机器给真实环境建模,仿真预测可能的未来,并通过观察和演示来理解世界运行的能力。其中仿真是无监督或半监督的,而初始状态和最终结果是有监督的。


在平行驾驶的第二个“守护天使”中,预测学习起到至关重要的作用。它先对历史的、当前的和未来的信息进行预测,用以丰富模型信息和算法信息,再利用深度学习或机器学习等人工智能方法对车辆的决策和规划策略进行优化和求解。对自动驾驶车辆而言,预测可以是对自身行为、速度、路径的预测,也可以是对周围车辆的驾驶意图和行为决策的预测。在描述车模型和预测信息的基础上,通过不同的计算实验方法来实现自动驾驶车辆安全性、动力性和平顺性等驾驶目标。


4.2  预测虚拟车的概念


在平行驾驶中,预测虚拟车主要负责自动驾驶车辆的行为决策和运动规划,如图4所示。在上层中,真实车在不断的运行中采集大量的数据,包括自身车辆的数据、场景和环境数据。描述车在收集数据的基础上,构建出不同驾驶场景的行为决策和运动规划模型,在此基础上,预测车的不同子系统采用不同的方法来求解最优的决策或规划策略,如生成式对抗网络、Actor-critic强化学习、深度学习等。


4.jpg

图4  预测虚拟车结构

在预测虚拟车的每一个子系统中,都主要包含3个主要的部分,即环境模拟器、计算模块和实验模块。环境模拟器主要是指某个特定决策或规划的模型,包括周围车辆的速度、行为的状态、交通灯的状态等。计算模块主要是指对这个特定问题的求解过程,获得特定的最优变量反馈给环境中的自动驾驶车辆,指导其运行。同时还将其传输到实验模块中,用以评估和存储。在预测虚拟车中,不同的子系统可以处理不同的问题,如换道、超车、十字路口转向、通过隧道和施工路段、紧急停车、交通灯故障等问题。最终,不同的预测虚拟车获得的特定场景的知识可以用以指导真实车的运行,也可以反馈给描述车,用以提升建模的精度。


5.引导虚拟车

5.1  引导虚拟车的概念


引导虚拟车负责指导真实车辆做出决策和实现目标结果,旨在产生一系列适当的行动策略,以帮助真实车辆应对复杂的交通场景。引导虚拟车关注平行驾驶系统中的策略学习在现实世界中否被恰当地利用。


总的来说,引导虚拟车可以被视为一种特殊的预测性车辆。然而,引导车辆必须比预测车辆更加智能化,因为引导车辆必须对所执行动作与响应之间的关联性进行学习,从而可以在面对复杂场景时引导真实车辆。由于预测车辆能够预测将来会发生的响应,所以引导车辆可以从多个预测车辆中获取预测结果以评估哪些行动有助于获得最大奖励并产生目标结果。

根据上述平行数字四胞胎的框架可知,引导车辆有两个重要任务:首先要判断所学和预测的动作是否可以被实际车辆所采用,其次是如何有效地与实际车辆进行交互。在后文中,这两个问题将根据平行驾驶理论来解决。


5.2  引导虚拟车的学习过程


在预测车辆获得实际车辆和虚拟车辆在执行后状态如何转换的知识之后,引导车辆将进一步关注在平行系统中学到的策略是否能够应用于实际车辆。基于引导车辆的概念,本文将引导车辆的构建划分为两个阶段:第一阶段学习行为的原理,第二阶段评估可能发生的潜在行为,并找出最佳策略集以通知真实车辆。引导车辆的总体框架及其与其他虚拟车的关系如图5所示。


5.jpg

图5  引导虚拟车结构

如图5所示,引导车辆将来自预测车辆的预测结果作为输入,然后将尝试学习基于这些结果制定政策的原理,其中包含来自真实世界和描述车辆必需的上下文信息。在引导车辆获得用于引导真实车辆的最优策略后,会将此信息发送给真实车辆和描述车辆以指导决策。同时,引导车辆将学习到的原理和策略反馈给预测车辆指导其学习的方向,从而可以做出更合理的预测。据此,引导车辆的第一阶段是学习如何根据预测的结果和环境制定合理的策略。在第二阶段,引导车辆将基于学习的原理更新其参数,以确保在给定状态下,实际车辆采取的行动接近引导车辆采取的行动。


6.数字四胞胎应用

6.1  平行驾驶真实车系统


为了试验和验证提出的数字四胞胎理论,本文构建了真实的平行驾驶系统来对真实车和3个“守护天使”进行分析论证。平行驾驶中的真实车可以代表不同智能化等级的自动驾驶车辆,同时它们的数量也是可变的。可以将单一真车作为研究对象,也可以将通过V2V连接的一列车队作为研究对象。


平行驾驶系统中的真实车如图6所示。真实车车载传感器包括激光雷达、摄像头、工控机、人机交互设备(HMI)、紧急停车设备、无线传输设备、差分GPS和惯性导航(IMU)等。其中激光雷达和摄像头的主要作用是感知环境信息,用于描述虚拟车构建驾驶场景和周围环境。车辆的位置信息由惯性导航和GPS组合导航获得。工控机用于处理采集的环境信息和输出控制信号,而无线传输设备则主要用于连接真实车和人工世界中的虚拟车。引导虚拟车通过特定的规则来对比真实车载控制器的控制信号和预测虚拟车的控制信号,通过模式切换的方式来实时选择某一类信号对真实车进行实际控制。


6.jpg

图6  平行驾驶系统中的真实车

6.2  数字四胞胎在矿山中的应用


矿山工作环境恶劣、机械运作单一,需要不断进行重复性操作,驾驶员普遍存在疲劳驾驶现象,交通事故发生率较高,而国家和社会层面对矿山伤亡持零容忍态度;年轻一代很少有人愿意从事矿山设备驾驶,矿区严重缺乏熟练工人,存在明显的人力断层现象;在人工成本支出方面,澳洲Pilbara的一个矿用司机一年工资、住宿等费用大约为100万美元,一台矿卡需要4个司机,运输成本占矿山支出的60%;由于驾驶不熟练或驾驶习惯问题,人工驾驶会造成设备磨损严重、耗油量加大等多种问题;矿山缺乏统一的精确矿山车辆管理系统,且人工驾驶不能实现24小时不间断工作,又容易受到极端天气的影响,矿山整体工作效率偏低。因此,实现矿山无人化,能够解决目前矿山行业普遍存在的安全、成本、效率、环保等多方面的问题。在矿卡需求方面,预计到2020年,澳洲、欧洲和美洲的主要矿业公司中有50%将使用无人化产品,部分矿山已经决定全部采用无人矿卡。但目前无人化矿卡的占比仅不到5%[7]。


矿山是一个相对封闭和结构化的受控环境,除作业设备和专业人员外,无外来车辆和行人的干扰,加上驾驶员的劳动强度高、工作条件恶劣,因此矿山是无人驾驶技术能够快速落地和急需落地的主要场景之一。相比于单台设备的无人化,矿山更需要所有设备之间的集群化智能协同无人作业,这正是平行驾驶所能提供的重要解决方案。平行驾驶通过描述系统能够获得感知极限和意外情况下的数据与场景,通过大量算法与大规模算力分析并评估行驶决策,将知识与经验分享给系统中所有车辆。它依靠具有感知、传输与决策能力的单车,以及背后庞大的GPU等设备进行数据存储与计算,使得车辆本身具有根据环境变化调整自身行为的能力,只有出现预警时,才需要人来操作。平行无人矿山系统就是将平行驾驶技术应用到矿山整体场景中的平行智能解决方案。


6.2.1  平行无人矿山的构成


平行无人矿山由四部分组成:平行无人矿山管控中心、无人矿卡运输平台、自主挖掘/铲运平台,以及远程接管平台。平行无人矿山管控中心负责对无人矿山实施全面实时监控与综合调度,通过所建立的虚拟矿山与实际矿山的实时互动与双向优化,保障实际矿山安全作业。无人矿卡运输平台以及自主挖掘/铲运平台搭载多种传感设备,实现矿山的自主挖掘、装载、无人化运输、卸载一体化作业。远程接管平台负责监控矿山设备的运营,在无人矿卡运输平台或自主挖掘/ 铲运平台主动提出接管请求时,或在特殊紧急情况下,经由平行无人矿山管控中心的综合决策,下达接管指令,由远程接管平台实现对多台设备的干预与接管。作为矿山的神经中枢,平行无人矿山管控中心对矿山进行全天候、全方位的监测与管理,实现生产方案优化、资源调度、生产设备监测与维护、人事资源管理等功能,保障无人矿山的安全、高效运营[8]。平行无人矿山系统如图7所示。


7.jpg

图7  平行无人矿山系统

平行无人矿山系统中的数字四胞胎分别为:无人矿卡、自主挖掘和铲运机等组成的真实系统,管控中心的虚拟平行矿山(描述系统)、管控中心的大数据分析与深度学习等组成的预测系统,管控调度和接管平台组成的引导系统。矿山生产运行的各种数据被传输至信息处理中心,在信息处理中心通过数据融合、数据挖掘、可视化处理等手段构建与实际矿山运行系统平行的各个子系统。通过建立描述矿山、预测矿山和引导矿山3个软件定义的虚拟矿山系统可以构建一个完整的实际矿山平行系统。这样,一方面利用实际数据建立虚拟模型,完成对矿山生产作业各方面的并行、在线、实时仿真;另一方面通过对平行系统的演化及与真实系统的协同交互完成对现实系统的预测、评估与优化。


6.2.2  虚拟平行矿山构建


作为平行无人矿山管控中心的基础,虚拟端平行矿山的构建至关重要。实际工作中,矿山系统复杂多变,难以对其建立可靠的数学模型,因此矿山生产过程难以精确控制,存在较大的安全隐患。利用信息技术对矿山系统中各个子系统的关键动态属性进行数据采集;利用数字建模、虚拟技术、可视化技术等方法建立与现实相对应的人工系统,将各采集点的数据实时导入人工系统,使得人工系统成为与现实系统相对应的平行系统;在平行系统中利用各种智能算法、优化算法对现实系统的作业进行预测、优化并将结果反馈给现实系统,从而实现对现实系统的优化控制。


以无人矿卡为例的虚拟端平行矿山系统的架构如图8所示,其可视化显示场景如图9所示。虚拟平行矿山中的无人矿卡仿真平台涵盖了整车模型、可视化场景、虚拟传感器/环境感知、偏差计算、规划与决策、控制算法等模块。可输出的数据包括各视角下的摄像头画面、雷达数据、车辆三维坐标、航向、车速、方向盘、油门/刹车踏板开度、车身姿态、轮胎力等。借助该平台可实现对无人矿卡算法在规划、决策、控制等方面有效性的快速验证,尤其是各种极端工况下的验证,同时也可实现对矿卡性能的准确模拟。


8.jpg

图8  虚拟端平行矿山架构

在平行矿山系统中,每一个子系统都会建立一个与之对应的平行子系统,将现实空间的物理系统映入虚拟空间建立平行系统,可以从本质上解决各子系统网联化程度低、调度难、管理混乱等问题。同时,还可以通过计算实验和平行执行的方式将在虚拟世界中探索获得的预测与管理策略作用于现实矿山系统,对各类复杂的矿山调度、协同、管理、控制、通信等问题不断进行分析和评估,使现实矿山系统能够应对未知的工作场景和任务[9]。


9.jpg

图9  虚拟端平行矿山可视化显示

6.2.3  虚拟平行矿山应用案例


鉴于矿卡及其工作环境的特殊性,若直接将控制算法进行实车验证,会造成各种不必要的风险、造成测试人员和成本的浪费,且存在测试工况不够充分的问题,借助该虚拟平台可实现对无人矿卡算法的快速、安全、充分验证。虚拟端的矿卡动力学模型已通过实际矿卡整车试验进行了验证。基于该平台,实现了对3种路径跟踪控制算法在特定工况下的测试评估,3种路径跟踪控制算法分别为PID(比例—积分—微分)控制、前馈+预瞄反馈(preview feedback,PFB)控制、虚拟地形场法(virtual terrain field,VTF)控制。


根据ISO 3888-1双移线测试方法并参考《GB/T 25979-2010重型商用汽车列车和外商铰接客车横向稳定性试验方法》,设计矿卡的双移线跟踪道路如图10所示,测试车速为35 km/h,经测试,该路线的最大侧向加速度超过2 m/s2。


矿卡工作时有空载和满载两种状态,空载时总重为80 t,满载时总重为190 t,图11、图12分别对比了空载和满载时VTF、PFB、PID这3种控制方法的侧向位移偏差和控制转角。整体上,控制转角平稳、车辆没有发生失稳现象。空载时,3种控制方法对应的最大侧向位置误差分别为0.097 m、0.129 m和0.107 m;满载时的误差则分别为0.131 m、0.189 m和0.161 m。VTF方法的误差最小,而且误差持续时间最短;PFB方法和PID方法的误差较大,且需要0.5~1 s的时延才能将误差逐渐消除。可见,在双移线路况下,VTF方法的路径跟踪控制效果最佳。


10.jpg

图10  矿卡双移线路径行驶轨迹

11.jpg

图11  矿卡双移线轨迹跟踪偏差及响应曲线—空载

12.jpg

图12  矿卡双移线轨迹跟踪偏差及响应曲线—满载

6.3  数字四胞胎在物流中的应用


近年来,在全球资本和国家政策的激励下,无人驾驶技术发展迅猛并取得了令人惊喜的表现。不同于商用车的推广难以在短期实现,具有特定驾驶环境和驾驶目的的商用车可以较为便利地采用无人驾驶技术,在短期内为无人驾驶技术提供宝贵的实践经验。商用车的特定场景(如矿山、物流、港口、厂区或景区等)具有相对单一的行驶路线,可以快速建立起高精度地图,便于无人车的决策与规划。以物流领域为例,为保证物流系统的快速性和高效性,物流车司机的工作量通常很大,同时在驾驶安全要求下,工作内容单一枯燥,这一行业特点造成了当前物流领域的人力资源短缺、人力投入大、效率难以保证等问题,因此,将无人驾驶应用在物流领域可以突破当前产业瓶颈,具有强而有力的落地依据,可以进一步开发物流行业的潜力,提升运输效率和客户满足度。


基于无人驾驶技术的物流车如图13所示,该物流车配备了激光雷达、毫米波雷达、摄像头与GPS。该无人驾驶物流车配备有远程接管平台,可实现场景响应接管、主动接管、主动避障和遥控端驾驶员监控。同时,中心管控平台可以在已建立的虚拟场景中实时进行计算试验,通过构建与真实交通环境和车辆性能相对应的虚拟交通场景,建立描述虚拟车。之后,在描述车的基础上,通过对车辆在人工场景下的大量计算试验,以及预测车辆可能出现的控制效果,对复杂场景和工况进行试错、优化和预测,进而建立预测虚拟车。最后,通过评估人工场景中可能出现的工况和策略,根据场景反馈获得在该行驶工况中的最优控制策略,进而建立引导车以引导真实车解决现实工况下的问题。平行驾驶四胞胎结构的使用实现了虚实结合,大幅提升了驾驶安全和运行效率,降低了车辆测试成本。


13.jpg

图13  无人驾驶物流车

14.jpg

图14 真实道路信息与软件定义虚拟道路信息

通过虚拟车与实际车的虚实互动,该物流车在高效和安全方面的性能得到了极大的提升。首先,激光雷达和毫米波雷达采集道路环境信息,并通过Panosim进行虚拟场景的构建,如图14所示。同时真实车上的摄像头视角在虚拟世界中也有其对应的虚拟视角[10],如图15所示。虚拟世界中“守护天使”的目的就是提高真实车辆的效率及安全性,因此可以在虚拟世界中加入各种不同的驾驶场景,同时也可以加入额外的车辆和行人来训练虚拟车的决策和规划模块。


15.jpg

(a)真实行车中摄像头视角

16.jpg

(b)虚拟行车中摄像头视角

图15  真实车辆摄像头视角与虚拟车辆摄像头视角对比

17.jpg

图16  真实车辆与虚拟车辆速率和转向角的对比

该方案采用低成本的Kinect来监控驾驶员,它可以提供RGB图像以及图像的深度信息,同时还能够探测到驾驶员的转头、面部变化(如闭眼、张嘴)和上肢关节移动。如图17所示,如果长时间的闭眼和频繁的打哈欠被DMS检测到,系统将会发出警告。如果驾驶员被检测到视线偏离、分心等,DMS同样会发出警告。


18.jpg

图17  驾驶员监控系统

7.结束语

本文提出平行驾驶思想与其软件定义的数字四胞胎结构,主要包括:真实物理车、描述虚拟车、预测虚拟车以及引导虚拟车。概括地说,平行驾驶的数字四胞胎结构强调:使用描述虚拟车建立与现实场景和车辆相对应的虚拟场景,用来在数字空间描述真实车辆的运动状态和环境交互;使用预测虚拟车,通过计算实验的方式预测描述车在与数字场景交互下可能出现的各种结果,解决基于虚拟驾驶数据的数据探索与可行解分析;通过引导虚拟车解决车辆决策与控制的探索方向,分析预测虚拟车计算结果与虚拟场景进行交互,通过车辆状态反馈寻找最优的解决方案,并在线引导真实物理车应对未见场景的调招。基于平行驾驶的数字四胞胎结构可以为无人驾驶技术提供理论依据和数据支撑,通过所建立的人工场景、大规模计算实验和在线学习与引导,为无人驾驶汽车提供充足的测试和优化的决策方案,确保无人驾驶汽车的安全稳定运行。

 

作者简介


19.png


 

· 关于《智能科学与技术学报》·

《智能科学与技术学报》(季刊,www.cjist.com.cn)是由中华人民共和国工业和信息化部主管,人民邮电出版社主办,中国自动化学会学术指导,北京信通传媒有限责任公司出版的高端专业期刊,面向国内外公开发行。《智能科学与技术学报》以建设世界一流科技期刊为目标,聚焦智能科学与技术领域,秉承“专家办刊”的重要原则,坚持“推进跨界融合,注重协同创新,强化产学研用,搭建开放、创新并具国际化示范引领效应的智能科学与技术研究学术交流平台,进而助力构建智能科学与技术及其产业应用的健康生态场”的办刊宗旨,主要包括“综述”“学术论文”“专题”“评述”等栏目,将主要刊载面向智能科学与技术领域有突破的基础理论研究、创新性关键技术应用、热点问题探讨、重大成果进展等,刊载重点领域包括:人工智能,智能控制,混合智能,平行智能,生物智能,军事智能的前沿理论与方法、技术与趋势、应用系统。

 

《智能科学与技术学报》将努力发展成国内外智能科学与技术领域顶级的学术交流平台,为业界提供一批内容新、质量优、信息含量大、应用价值高的优秀文章,为实现《新一代人工智能发展规划》提出的我国人工智能发展的战略目标,促进我国智能科学与技术的快速发展贡献力量。

 

 

 

 



https://wap.sciencenet.cn/blog-951291-1183175.html

上一篇:[转载]最新!IEEE解除对华为员工编辑和同行评审活动的限制!
下一篇:经济学角度下的自动驾驶汽车
收藏 IP: 159.226.177.*| 热度|

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-4-30 18:14

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部