Kara0807的个人博客分享 http://blog.sciencenet.cn/u/Kara0807

博文

L4自动驾驶实现之前,汽车最需要的“标配”竟是TA

已有 276 次阅读 2020-11-25 14:25 |个人分类:人员招聘|系统分类:论文交流

微信图片_20201125140219.jpg

本文来源:智车科技  原创 刘洪


导读 /


Yole Dédevelopement影像首席分析师Pierre Cambou曾断言:“预计到2025年,DMS市场的加速发展将带来43%的复合年增长率。它可能是高级驾驶员辅助系统(ADAS)摄像头的下一个增长点,因为驾驶员分心正在成为一个棘手问题,正引起监管机构的注意。”

微信图片_20201125140225.png

人,才是道路杀手


微信图片_20201125135806.png

据报道,仅美国每年就有约4万人死于道路交通事故,其中95%是人为失误造成的。据世界卫生组织估计,全球死亡人数约为130万人,显而易见,人类根本不适合重复性和平淡无奇的驾驶。在无聊、分心和疲劳等因素的综合作用下,一些驾驶员会在高速公路上长时间看着手机或社交媒体,而他们却控制着以每小时60英里速度行进的两吨金属。


今天,没有其他学科能像自动驾驶那样引起如此激烈的争论,也没有任何一门学科能像自动驾驶那样观点两极分化。归纳起来有三种不同趋势,每种趋势都有不同的供应商、价格点和技术。


·无人驾驶出租车:其拥趸认为,公共交通和私家车已接近末日,取而代之的是Waymo和Cruise的无人驾驶出租车车队;

·特斯拉(自动驾驶):其粉丝们相信马斯克将在未来两个季度内实现称霸世界;

·传统汽车OEM:追求更安全的放手驾驶目标,不太可能很快就把自己的地位拱手让给硅谷新贵们。


ADAS来到2.0:安全第一


虽然有2018年及以后自动驾驶汽车(AV)发生的多起死亡事故,令汽车OEM及其零部件合作伙伴退后了一步,以更好地平衡安全与高科技先进功能,但市场仍然巨大。Allied Market Research预测,2026年自动驾驶汽车市场将达到5570亿美元,到2026年的复合年增长率可达39.5%。不过,影响增长的一些重要因素包括:改善安全和减少交通拥堵、政府监管、联网基础设施的增长、高制造成本、对联网汽车的更高需求以及智能城市的发展。


汽车OEM和Tier1在实现自动驾驶目标方面仍面临巨大挑战,这使一些公司降低了对自动驾驶汽车的期望,并将更多的注意力放在了ADAS上。人们的基本共识是:自动驾驶仍然是一个不容易实现的目标,包括新兴科技初创企业、领先汽车OEM/Tier1,乃至Waymo这样资金雄厚的自动驾驶先驱者。


IHS Markit汽车信息娱乐和ADAS研究总监Egil Juliussen说:“人们意识到,自动驾驶汽车确实很难实现,尤其是证明其软件是安全的。”一个很大的问题在于,驾驶员仍然需要观察道路,但是安全系统如何确保驾驶员的眼睛盯着挡风玻璃,而不是在看其他分散注意力的东西?

  

面对2018年AV产业的降温,VSI Labs的创始人Phil Magney表示:“与最初确立的崇高目标相比,AV技术的推广比人们所意识到的要困难得多。”他补充道:“现在,汽车行业对ADAS重新产生了兴趣。如果您愿意,可以称之为ADAS 2.0。”

何为DMS?


DMS就是驾驶员监控系统(driver monitoring system),其应用包括检测分心或打瞌睡的驾驶员,通常使用对近红外光高度敏感的全局快门式传感器,这些传感器足够紧凑,可以隐藏在车辆装饰后面。


DMS的重要性不言而喻,欧盟(通过Euro NCAP)已要求2022年前所有在欧洲销售的新车都必须安装一个DMS摄像头。为此,DMS的普及率将直线上升。


新的趋势是,汽车安全技术正从车外应用转向车内应用,感测技术正在将驾驶员状态监测与外部环境读数结合在一起。与此同时,汽车人工智能(AI)集成正在成为汽车安全的推手,其范围已超出娱乐和用户辅助功能。


未来,驾驶员监控功能的主要应用将集中在开发更主动、更可靠、更精确的摄像头系统。这些系统能够通过虹膜追踪和行为监测实时识别驾驶员是否疲劳、分心或驾驶不当。这意味着,在开发自动驾驶系统(ADS)时,DMS将成为“标配”,因为它可同时提供多种功能,包括实时检测/提醒、驾驶员能力评估和必要时接管驾驶控制。预计在不久的将来会出现集成DMS的车辆。


其实,对L2-L3自动驾驶系统而言DMS非常重要,而对L4以上就没有什么意义了,因为彼时已不需要驾驶员对行车过度干预。

微信图片_20201125142324-1.png


DMS是最务实的方案


现阶段,如何让人类驾驶更安全是整个行业的追求。对OEM来说,L4和L5自动驾驶所需的传感器套件、GPU和传感器融合软件的成本和功耗都很高。目前实现更安全的放手(L2)和脱眼(L3)驾驶的唯一短期、经济有效的解决方案只有DMS。


最著名的DMS是采用通用汽车超级巡航的凯迪拉克CT6,它是安装在转向柱上的小型近红外(NIR)摄像头,方向盘嵌入的近红外发光二极管可照亮驾驶员头部,并与一系列多色LED一起提供简单的信号。该系统在近红外光谱(940nm)下工作,基本不受外界光照条件(阳光直射、天气和隧道)的影响,也可以在夜间工作,且可透过大多数太阳眼镜。


CT6的驾驶员监控技术由澳大利亚供应商Seeing Machines提供,最近,其行业领先的DMS已扩展到乘客监控方面。过去一年里,超级巡航得到了新闻界和科技界的普遍赞誉。DMS可以追踪驾驶员的上半身和头部位置,在管理人类分心和疲劳以及支持更安全L2放手驾驶方面很有效,引起了Euro NCAP、欧盟委员会和NTSB的注意。其他基于摄像头的DMS技术供应商包括瑞典的Smart Eye(奥迪和各种宝马车型)和三菱(Subaru Forester)。


未来两年,计划推出DMS摄像头量产车辆的OEM阵容相当庞大,包括宝马、戴姆勒、菲亚特克莱斯勒、福特、吉利、捷豹路虎、斯巴鲁、大众汽车(奥迪和保时捷品牌)和沃尔沃。OEM正迅速在流行车型中采用基于摄像头和雷达的低成本L2 ADAS。因此,2020年的主要趋势是自动紧急制动(AEB)、车道保持辅助(LKAS)、盲点监控(BLIS)和增加DMS。


即使是L4最响亮的倡导者英伟达(Nvidia)也改变了其公关策略,CEO Jensen Huang表示:“L2车将在很长一段时间内存在,驾驶员监控非常重要,人工智能会在你睡着的时候叫醒你。”

DMS在“看着”你的眼睛


“眼睛是你心灵的窗户。”——莎士比亚

“脸是心灵的图画,眼睛是它的叛徒。”——西塞罗

就像扑克专家能够察言观色一样,通过对人眼的复杂实时分析,可以了解人的很多认知和情绪状态的信息。


除了身体和头部位置,DMS还追踪和测量眼睑——眨眼频率、持续时间和眨眼速度的实时变化——以准确测量驾驶员的疲劳程度。通过监控瞳孔和使用非常复杂的算法,DMS可以评估视线,并精确地确定驾驶员在看什么。


DMS还将作为一个先进的生物认证系统,在启动车辆前对人的面部和眼睛进行多次测量,以确认驾驶员身份。加上手机车门解锁,传统无钥匙进入和防盗系统的日子似乎已来日无多。汽车(包括共享车辆)可以知道谁坐在方向盘后面,根据偏好自动调节座椅和后视镜位置、收音机播放、空调等,实现自动个性化。精确的视线追踪还可以实现对车载功能的控制。驾驶员只需查看抬头显示器上的图标,就可以与车内的许多系统(电话、空调、音频或导航)进行交互或调节。


方案软硬兼施


其实,做DMS的厂商并不多,这里介绍几家。


·软件算法:

EyeTracking开发的一种专利程序可以通过小型摄像头实时监控认知负荷。采用认知活动指数(Index of Cognitive Activity™,ICA)的视线追踪算法能够让车辆实时了解驾驶员的工作强度,通过监测瞳孔大小的微小而快速的波动,可以测量驾驶员的实时认知工作负荷,这种波动是由于人的脑力活动而引起的。ICA方法滤除光对瞳孔信号的影响,只保留所需的测量信息。


最新汽车技术提供了前视摄像头来检测前方的物体,如汽车、骑自行车的人和行人。但驾驶员真的看到了吗?虽然传统视线追踪数据可以告诉你一个人的眼睛看向哪里,但它不能知道你是否真的“看到”了他要看的东西。EyeTracking的专利技术可以回答这个问题。

  

EyeTracking技术:检测瞳孔反应、眨眼和头部位置

 

使用ICA,车辆可以知道驾驶员是否专注,使车辆能够意识到:“驾驶员似乎精神负荷增加,是否应该提醒他?”“现在处于完全自动驾驶模式,驾驶员是否精神饱满,是否准备好重新控制车辆?”


当一个人的认知状态改变时,他的行为也会改变。视线追踪认知状态技术可以检测人的眼睛、面部和工作负荷水平的变化,并利用这些信息来确定此人是否专注、疲劳、无聊、超负荷、分心等等。一旦识别出来,认知状态估计值就可以传递给ADAS,以纳入有关车辆安全、乘客舒适度等方面的决策。


作为视线追踪行业中第一家专门致力于眼睛数据的应用、解释和分析的公司,EyeTracking利用专利动态兴趣区域技术,结合计算机处理能力和GPU的扩展,能够实时识别驾驶员前方物体(如行人、路标等),并将其与驾驶员头部追踪方向或视线追踪“注视点”数据相关联。


EyeTracking总裁兼首席技术官James Weatherhead表示,车辆的环境感知系统(尤其是前视摄像头)可用来识别车辆前方的危险,监控驾驶员视线的内部摄像头系统可用来识别驾驶员的视线。如果汽车处于完全自动驾驶模式,车辆系统可能会选择不允许驾驶员接管车辆的控制权,因为它认为驾驶员没有注意到前面检测到的危险。

 

EyeTracking的驾驶员注意力技术可以单独使用,也可以与其他驾驶员认知工作负荷和认知状态测量技术相结合。EyeTracking正与业界合作,除了通过其OEM服务部门为客户制造采用该技术的定制产品外,还可以为各种应用提供IP授权。


·系统:

推出L3自动驾驶系统的汽车制造商正在迅速采用DMS。Veoneer开发的DMS可以在手动和自动驾驶情况下调用,通过精确测量眼睛和头部位置、驾驶员注意力和疲劳程度来提醒驾驶员。当发现或即将发生危险情况时,DMS将采取行动。


Veoneer的解决方案建立在传统系统基础上,为人机交互系统增加了人脸识别、表情识别等功能,增强了驾驶员/车辆的信任度,让未来的车辆能够做出更好的决策,以提高舒适性和安全性。


VIA Mobile360驾驶员监控系统通过Mobile360 DMS技术监控和检测驾驶员行为,以识别潜在的危险或违规行为,如饮食和吸烟,以及疲劳和走神的迹象,从而提高道路安全。车队管理人员还可以通过提供与云计算相关的数据,采取必要的措施解决可能会影响驾驶员绩效和健康状况的问题。


监测与检测包括:长途卡车、送货车、出租车和代驾车辆驾驶员的睡意;使用手机、吃东西、喝酒和抽烟等分散对道路注意力的情况;不遵守安全程序(如安全带)等可能导致驾驶员严重受伤、保险和法律责任的情况;驾驶员身份确认,最大限度地降低被盗风险,防范乘客风险。

微信图片_20201125135822.png
用DMS技术实现车队管理


VIA Mobile360 DMS技术具有灵活的配置,可与VIA Mobile360 ADAS、VIA Mobile360 SVS和其他相关技术集成,以满足客户特定的部署需求。

 微信图片_20201125141940.png

用DMS技术实现车队管理


Veoneer董事长、总裁兼首席执行官Jan Carlson表示,公司正在与高通一起为下一代ADAS和自动驾驶系统提供方案,包括Veoneer的下一代感知和驾驶策略软件堆栈,以及高通支持Snapdragon Ride ADAS/AD的SoC和加速器的产品组合。这些合作协议扩大了市场机会,使Veoneer成为向OEM提供完整系统的SoC和软件堆栈系统集成商。


·芯片

重头戏应该是作为系统基础并可能使系统变为模块的芯片。6月,OmniVision推出全球首款汽车晶圆级摄像头模块CameraCubeChip™ OVM9284,解决了部署DMS摄像头躲不过的一个现实问题——“太显眼”,为更多车辆改善DMS体验打开了方便之门。它将先进的图像传感器技术集成到晶圆芯片规模封装中,实现了以下特性:


·利用OmniVision的正面和背面照明CMOS图像传感器技术的CMOS图像传感器;

·采用半导体堆叠方法制作晶圆结构层的晶圆级光学元件;

·采用OmniVision晶圆芯片级封装专业技术——表面贴装处理工艺,简化了供应链;

·具有先进成像能力的超薄、紧凑器件的完全集成组件,可以实现小尺寸高质量的摄像头方案,还可以在一个设备中安装多个摄像头,提供适合微小空间的微型摄像头模块。


微信图片_20201125142331-2.png


OmniVision市场总监Aaron Chiang说,这个100万像素(MP)模块的紧凑尺寸仅为6.5 x 6.5 mm,可在驾驶室内隐藏起来,为DMS设计人员提供了最大的灵活性。此外,其功耗比竞争产品低50%以上,能够在最狭小的空间和尽可能低的温度下连续运行。


他说:“现有的DMS摄像头大多使用玻璃镜头,体积大,难以避免分散驾驶员的注意力,而且对大多数车型来说,价格太贵。”


OmniVision为晶圆级摄像头模块创建了简化的一站式采购模式,组装和运输量最少。可回流焊CameraCubeChip™ 可直接焊接在印刷电路板上,无需插座或插接,使集成变得更加简单,为需要微型摄像头方案的市场提供了更多选择。


就在刚刚,OmniVision、Ambarella和Smart Eye成为了汽车行业首个DMS和视频会议摄像头解决方案合作伙伴,共同推出了将OmniVision RGB和红外成像双模全局快门式图像传感器、Ambarella AI Vision处理器和Smart Eye AI DMS软件算法相结合的参考设计。特别是Smart Eye的DMS解决方案提供了可集成在乘用车及其他车辆中的视线追踪软件,以提升安全性和改善用户体验。软硬件的结合对于方案部署的重要性可见一斑。


现在,汽车中可以用一个摄像头实现完整的双模式摄像头应用——DMS和Videocall(视频通话工具)!这种联合解决方案能够实现:


·全方位驾驶员和座舱监控:从安全应用到增强现实显示,以及具有深度神经网络和AI内部感测;

·单向视频会议:允许远程会议参与者看到车内视频,而车辆只接收音频,以减少驾驶员分心。


Smart Eye首席执行官Martin Krantz说:“我们的AI软件使汽车OEM和Tier1能够部署具有先进AI功能的新一代驾驶员和车内监控系统,为驾驶员和乘客增加安全性和便利性。这种双模式联合解决方案具有独特的能力,可以在不考虑照明条件的情况下,在监控驾驶员的同时拍摄视频会议图像。它有助于OEM满足欧盟新车安装DMS摄像头要求,同时灵活实现个性化车辆特征。”

DMS的未来


分心驾驶是一个很广泛的问题,“永远在线”的文化使许多人在开车时不可能关掉手机,把注意力集中在驾驶上。解决驾驶时手机分散注意力的一种方法是将手机和社交媒体更深入地整合到汽车用户界面中(可能是悖论)。预计2028将出现4K UHD增强现实挡风玻璃和全抬头显示。信息、社交媒体提示和路线规划都将投射到挡风玻璃——驾驶员的视野中。


利用“近凝视/远凝视”概念的视线追踪软件将监控驾驶员阅读信息时视线偏离前方道路的时间。驾驶员可直接从挡风玻璃上读取手机信息,但每次只能读取几秒钟。从安全角度看,驾驶员的直接视野永远不会离开前方道路。


酒后/醉酒驾车是执法机构面临的一个主要问题,但仅在车辆DMS系统中添加“醉酒检测”并非易事。酒精是一种抑制剂,而像安非他明和可卡因这样的毒品是兴奋剂,所以很难用摄像头来测量一个既喝醉又吸毒的人的净效应。要了解人类眼睛对酒精和毒品的各种组合反应还要进行大量研究,而这个问题不能仅通过应用深度学习和AI来解决。减少道路交通事故需要防止既醉酒又吸毒的人开车,所以这将是未来DMS的一个重点。


情感使我们成为人类,人的情绪会影响我们的驾驶方式,在和孩子或伴侣吵架,或在工作中度过了糟糕的一天之后,我们也会坐在方向盘后面。究竟是通过更多的科学和人为因素研究(视觉机器),还是通过AI情绪识别(Affectiva)的发展来识别情感,目前还不清楚。然而,了解人类的情绪和认知负荷将是汽车行业长期研究中最令人兴奋的领域之一。

- End -

微信图片_20201125135839.jpg

微信图片_20201125135855.jpg



http://wap.sciencenet.cn/blog-951291-1259803.html

上一篇:[转载]【本周预告】CPHS 2020 Online Session 本周直播预告
下一篇:[转载]【参会指南】IFAC CPHS 2020 Program at a Glance, from Dec. 3 to Dec

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2021-1-21 01:40

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部