驾驶员监控系统DMS简介
发布时间:2020-06-02 12:00:01

司机监控系统(drivermonitoringsystem,DMS)一般用于L2-L3级自动驾驶系统,除非系统仍需安全人员测试,否则对L4级无意义。

监测的目的是了解驾驶员的注意力分散、疲劳或昏昏欲睡,甚至是无法驾驶的事故,如欺骗辅助驾驶系统,用矿泉水代替方向盘上的手,或与乘客争吵。此外,作为自动驾驶的研究和发展阶段,监控驾驶员可以提供驾驶行为的数据,甚至可以用于仿真系统中。

非侵入式的监控方法,而基于视觉的监控系统更具吸引力。主要视觉线索包括面部特征、手部特征或身体特征。许多检测系统只使用单一的视觉线索,鲁棒性差。例如,当遮挡或照明发生变化时,很容易受到干扰。因此,将多个视觉线索结合起来是关键,也是挑战。

驾驶员面部监控系统是基于驾驶员面部图像处理的实时系统,用于研究驾驶员的身心状况。驾驶员状态可从眼睑闭合、眨眼、注视方向、打哈欠和头部运动等方面进行检测。基本上分为两类:

下图为驾驶员面部监控系统框图:检测面部、眼睛等面部特征,跟踪变化,提取症状,实现疲劳和分心检测。驾驶员面部监控系统面临的主要挑战是:

人脸检测方法可以参考一般的目标检测方法,而现在的深度学习在这一领域也显示出了“肌肉”。人脸检测是一个老问题。人脸检测的挑战如下:

眼睛区域总是首先用来提取驾驶员的症状,因为最重要的心理活动与眼睛活动有关。

眼睛检测分为两类:

除了眼睛,还可以检测到其他面部成分:嘴、鼻子和突出点。

人脸跟踪是分析驾驶员心理活动的主要方法。这种跟踪任务类似于一般的单目标跟踪。主要挑战包括:

与疲劳、分心和困倦有关的症状提取如下:

下面是几个例子:

如图所示,是一个基于DNN的司机监控系统。

基于人脸、双眼和嘴巴三个区域的检测网络结构如下:

基于单目(左眼)区域和口腔区域的检测网络结构如下

如图所示,这是一个基于深度学习模型的面部表情识别系统:输入图像检测面部和特征,从面部成分中提取时间和空间特征,并使用预先训练的分类器(图像取自CK+数据集(d))来确定表情。

整个深度学习模型是CNN和LSTM的结合,如下图所示

下面是一个身体姿势系统,可以识别驾驶员分心症状。症状包括:饮酒、调整收音机、右驾、摆弄头发或化妆品、面朝后、与乘客交谈、左手打电话、右手打电话、左手发短信、右手发短信。

系统的算法框图如下:包括人脸检测、手部检测和皮肤区域分割。对于每个输出图像(皮肤、面部、手),训练alexnet和perception V3网络(5 alexnet和5 perception V3),最终识别是加权组合输出。

联系我们

17757188259

联系人:赵经理

手机:17757188259

QQ:9157188259

Email:9157188259@qq.com

地址:成都市中山路8888号中山大厦

成本人片在线观看视频_秋葵视频老司机安卓下载安装_a毛片免费全部播放