一种基于人脸多参量检测的驾驶危险行为监控方法、系统、设备和可读存储介质

1.本发明属于道路交通安全技术领域，具体属于一种基于人脸多参量检测的驾驶危险行为监控方法、系统、设备和可读存储介质。


背景技术：

2.随着经济的发展和人们对生活品质的要求提高，汽车逐渐在人们心中扮演重要的角色；现代工艺的不断发展，又使得汽车的造价成本不断降低。在汽车价格降低和人们对汽车需求的增加这两个因素的综合作用下，道路上汽车的数量不断增加，由此而生的一个重要问题就是道路交通安全隐患。交通事故导致的死亡在全世界范围内都在上升，由疲劳驾驶引发的事故占主要成分。除此之外，驾驶员的其他危险行为频发，比如低头玩手机、被路旁情况吸引等，这些行为会导致驾驶员视线偏离行驶方向，从而导致交通事故的发生。
3.采用人脸检测和人脸对齐的方法，通过对驾驶员在驾驶过程中的人脸图像进行分析，可以识别驾驶员的疲劳和视线偏移等驾驶危险行为，从而触发报警。眼睑闭合度(percentage of eyelid closure，perclos)、眨眼频率、打哈欠等是普遍使用的评价参量。perclos通过统计1min内眼睛闭合时间所占的比例，来评价疲劳状态，占比超过80％表示处于疲劳状态。然而，道路交通事故往往会在几秒内发生。perclos由于检测时间过长导致检测灵敏度较差，如果缩短检测时间，就会导致即使perclos达到100％也不足以说明驾驶员处在疲劳状态。对于眨眼频率而言，每个人习惯的眨眼频率不一致，难以形成一个统一的标准。通过嘴巴的开合程度识别打哈欠，但是又难以区分打哈欠与说话，而且疲劳状态与哈欠之间并没有完全的联系。同时，现有方法并没有对低头玩手机、被路旁情况吸引等视线离开行驶方向的驾驶危险行为进行考虑，而这一问题是引发道路交通事故的另一主要原因。
4.因此，希望可以通过设计一种方法，通过对驾驶员图像进行分析，以更高的灵敏度实时检测驾驶疲劳和视线偏移等驾驶危险行为，并根据检测结果进行报警。


技术实现要素：

5.为了解决现有技术中存在的问题，本发明提供一种基于人脸多参量检测的驾驶危险行为监控方法、系统、设备和可读存储介质。通过综合perclos和眼睛闭合时间，并建立与卡罗琳斯卡睡意评价指标(karolinska sleepiness scale，kss)的转换关系评价驾驶员的疲劳程度。通过判断眼睛是否存在于采集到的图像中，识别视线离开行驶方向的驾驶危险行为。
6.为实现上述目的，本发明提供如下技术方案：
7.一种基于人脸多参量检测的驾驶危险行为监控方法，包括以下过程，
8.识别监控图像中的人脸区域，进行人脸检测和人脸对齐，在人脸区域中检测描述人脸特征，根据是否可以检测到人脸特征坐标，判断是否检测到眼睛，如果在预设时间内没有测到检测到眼睛，则触发报警；
9.如果检测到眼睛，通过描述眼睛特征的坐标，进行驾驶疲劳检测，如果是驾驶疲劳，则依据疲劳程度进行报警；如果不是驾驶疲劳，则继续监控驾驶危险行为。
10.优选的，具体包括以下步骤，
11.步骤1，接受输入的监控图像，识别监控图像中的人脸区域；
12.步骤2，进行人脸检测和人脸对齐，在人脸区域中检测描述人脸特征，根据是否可以检测到人脸特征坐标，判断是否检测到眼睛，如果没有检测到眼睛，则统计视线离开行驶方向时间t
ed
，如果t
ed
＞2s，则触发报警；如果检测到眼睛，则计算眼睛纵横比ear值，依据眼睛纵横比ear值判定眼睛状态；
13.步骤3，依据眼睑闭合度perclos和眼睛闭合时间计算kss，如果kss》4，则触发报警；
14.步骤4，报警结束或者触发条件不成立，返回接受输入图像；同时，报警之后，将所有的统计时间归零，重新进行驾驶危险行为监控。
15.进一步的，步骤2中，采用残差回归树的方法进行人脸检测和人脸对齐，在人脸区域中检测描述人脸特征。
16.进一步的，步骤3中，如果累计时间t
count
＝2s，则计算perclos；同时，实时判断眼睛是否闭合，统计眼睛闭合的时间t
ec
，综合perclos和t
ec
确定疲劳等级kss，根据kss等级进行不同强度的报警。
17.一种基于人脸多参量检测的驾驶危险行为监控系统，包括接受输入图像模块、视线偏移报警模块、眼睛闭合判断模块和疲劳程度报警模块；
18.所述接受输入图像模块用于接受驾驶人的监控图像；
19.所述视线偏移报警模块用于进行人脸检测和人脸对齐，依据人脸特征坐标判断是否检测到眼睛，进行视线偏移判断；
20.所述眼睛闭合判断模块用于判断眼睛是否闭合；
21.所述疲劳程度报警模块用于依据疲劳程度进行报警。
22.优选的，还包括状态清零模块，所述状态清零模块用于在报警结束或者触发条件不成立时，清空数据，继续监控驾驶危险行为。
23.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上述任意一项所述的一种基于人脸多参量检测的驾驶危险行为监控方法的步骤。
24.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上述任意一项所述的一种基于人脸多参量检测的驾驶危险行为监控方法的步骤。
25.与现有技术相比，本发明具有以下有益的技术效果：
26.本发明提供一种基于人脸多参量检测的驾驶危险行为监控方法，通过计算perclos的时间长度为2s，拥有较高的检测灵敏度，可以对驾驶疲劳进行实时的检测。同时，在perclos达到100％的时候，通过眼睛闭合时间评价疲劳状态，避免对严重疲劳程度无法检测的问题发生，使得对疲劳状态的检测更加全面。本发明在检测驾驶疲劳问题的同时，还检测低头玩手机、被路旁情况吸引等驾驶危险行为，评价尺度更多，可以更全面的保障道路交通安全。本发明中包含眼睛睁开、眼睛闭合、眼睛存在或者消失于图像中，以及对应的时
间等多个检测参量，考虑情况更全面。本发明中对于眼睛是否闭合的判断采用上眼皮和下眼皮的相对距离，避免判断结果受到眼睛大小的影响。本发明在驾驶疲劳的评价中，建立perclos、眼睛闭合时间与kss的转换关系，实现了单位的统一，对于之后的报警处理而言更加方便。本发明中的监控系统将所有检测量的统计输出为3个时间，简化了系统的设计和报警触发的实现。
附图说明
27.图1为人脸特征坐标示意图；
28.图2为kss疲劳程度划分细则示意图；
29.图3为perclos、眼睛闭合时间与kss的转换关系图；
30.图4为基于人脸多参量检测的驾驶危险行为监控系统设计流程图；
31.图5为实施例任务设置示意图；
32.图6为实施例0-70s眼睛纵横比ear曲线；
33.图7为实施例0-70s眼睛闭合曲线；
34.图8为实施例0-70s疲劳程度kss曲线；
35.图9为实施例70-190s视线偏移曲线；
36.图10为实施例任务报警结果曲线。
具体实施方式
37.下面结合具体的实施例对本发明做进一步的详细说明，所述是对本发明的解释而不是限定。
38.本发明提供了一种基于人脸多参量检测的驾驶危险行为监控方法，其包括：
39.人脸检测，识别出图片中人脸区域；
40.人脸对齐，在人脸区域中检测描述人脸特征的68个坐标，包括脸部轮廓、眉毛、眼睛、鼻子和嘴巴等部位的特征坐标。
41.视线偏移检测，比如低头玩手机、被路旁情况吸引等，这些行为会导致驾驶员视线偏离行驶方向，眼睛消失于采集到的图像中。因此，通过判断眼睛是否存在于采集到的图像中，可以识别驾驶员的危险行为。通过人脸对齐是否可以检测到特征坐标，判断眼睛是否存在于图像中。
42.驾驶疲劳检测，根据人脸对齐得到的眼睛特征坐标，通过眼睛纵横比(eye aspect ratio，ear)衡量上眼皮和下眼皮之间的相对距离，判断眼睛是否闭合。本文联合perclos和眼睛闭合时间，每2s进行一次perclos计算，当perclos小于100％的时候，由perclos评价疲劳状态；当perclos达到100％，则由眼睛闭合时间评价疲劳状态，根据眼睛闭合时间进一步划分疲劳程度。利用kss将疲劳程度分为9个等级，建立perclos、眼睛闭合时间与kss之间的对应转换关系。
43.基于上述方法，本发明还提供了一种基于人脸多参量检测的驾驶危险行为监控系统，包括：
44.统计3个时间参数：t
ec
,t
ed
,t
count
。t
ec
为眼睛闭合时间，实时进行统计；t
ed
为眼睛消失时间，实时进行统计；t
count
为累积时间，累积时间达到2s之后计算perclos，并将t
count
置
为0，重新进行统计。
45.系统具体包括五个模块：接受输入图像模块，视线偏移报警模块，眼睛闭合判断模块，疲劳程度报警模块，状态清零模块。
46.接受输入图像模块，接受来自各种摄像头或者图像传输通路传输的图像；视线偏移报警模块，对输入图像计算人脸特征坐标，从而判断是否检测到眼睛。如果没有，则统计视线偏移时间t
ed
。如果t
ed
＞2s，则触发报警；眼睛闭合判断模块，如果检测到眼睛，则计算ear值，并结合阈值th
re
判断眼睛是否闭合；疲劳程度报警模块，计算kss，如果kss》4，则触发报警。具体为：如果累计时间t
count
＝2s，则计算perclos，同时，实时判断眼睛是否闭合，统计眼睛闭合的时间t
ec
。综合perclos和t
ec
确定疲劳等级kss，根据kss进行不同强度的报警；状态清零模块，报警结束或者触发条件不成立时，返回接受输入图像；同时，报警之后，将所有的统计时间t
ec
,t
ed
,t
count
等归零，重新进行统计。
47.实施例
48.本发明所提供的基于人脸多参量检测的驾驶危险行为监控方法，具体包括四个步骤：人脸检测、人脸对齐、视线偏移检测、驾驶疲劳检测。
49.一、人脸检测，本发明中的人脸检测采用haar人脸检测器进行，在一幅图像中，确定出人脸所在的区域。
50.二、人脸对齐，根据人脸检测确定的人脸区域，检测描述人脸特征的68个坐标，如图1所示。
51.具体采用残差回归树的方法，该方法利用残差量不断更新输出，使得树的输出结果可以更快地收敛于真值，计算量小，算法鲁棒性高。基本原理为：利用上一棵树的输出计算残差量，通过残差量对输出进行更新，作为下一棵树的输入。人脸对齐可以分为三个步骤，具体操作如下：
52.如果训练集中有n幅图像，分别为i1,i2,
…
,in。
53.对于每一幅图像中，求解其特征坐标，分别为s1,s2,
…
,sn。为si的估测值。
54.每一个特征si中，包含68个特征坐标，即si＝(x1,x2,
…
,x
68
)。其中，包含(x,y)两个坐标。
55.第一步，初始化。每一幅图像的输入特征为
56.1、上述对每一幅图像的输入特征的计算可以采用下述公式：
[0057][0058]
第二步，训练一棵树。一幅图像的特征都作为该树的输入，通过分裂得到输出特征对于n幅图像，每一幅图像将会落入到一个叶子结点中，形成第一棵树的输出特征，根据真实特征坐标和输出特征计算残差量，并通过残差量补偿得到下一棵树的输入。
[0059]
2、上述残差量计算可以采用下述公式：
[0060]
[0061]
3、上述残差量补偿计算可以采用下述公式：
[0062][0063]
第三步，训练k棵树。同样的方法，直到训练k棵树，得到输出特征：
[0064]
预测过程中，利用最后一棵树进行。
[0065]
三、视线偏移检测，基于是否可以检测到眼睛特征坐标，进行眼睛是否存在的判定。眼睛消失，即视线离开行驶方向时，对道路交通安全造成巨大隐患。通过计算视线离开行驶方向时间，当时间》2s时，交通事故极易发生。
[0066]
四、驾驶疲劳检测，在人脸特征坐标检测结果中，得到了描述人脸特征的68个坐标，如图1所示。其中37、38、39、40、41、42等6个坐标为左眼特征坐标，43、44、45、46、47、48等6个坐标为右眼特征坐标。
[0067]
6个眼睛特征坐标涵盖了眼睛周围，包含丰富的眼睛信息，通过上眼皮和下眼皮之间的距离，可以反映眼睛的闭合程度，考虑到不同人的眼睛大小不同，绝对距离不具有普适性，因此采用相对距离。通过计算眼睛纵横比(eye aspect ratio，ear)来判断眼睛是否闭合。
[0068]
4、上述左眼的ear计算可以采用下述公式：
[0069][0070]
其中，||p
38-p
42
||表示两点之间的欧氏距离。
[0071]
5、上述右眼的ear计算可以采用下述公式：
[0072][0073]
如果ear过小，接近0时，表示上下眼皮距离接近，此时为闭眼状态，反之为睁眼状态。根据阈值thre判断眼睛是否闭合(is eye close，iec)，如果ear值小于thre，则认为眼睛处于闭合状态；否则，认为眼睛处于睁开状态。
[0074]
6、上述阈值thre的确定可以采用下述公式：
[0075]
thre＝min(ear)+[max(ear)-min(ear)]
×
40％
ꢀꢀꢀ
(6)
[0076]
7、上述眼睛是否闭合iec的确定可以采用下述公式：
[0077][0078]
其中，1表示眼睛闭合，0表示眼睛睁开。
[0079]
综合眼睑闭合度(percentage of eyelid closure，perclos)和眼睛闭合时间，并建立与卡罗琳斯卡睡意评价指标(karolinska sleepiness scale，kss)的转换关系来评价疲劳程度。每2s秒检测一次perclos，统计2s内眼睛闭合时间占比。
[0080]
8、上述perclos计算可以采用下述公式：
[0081][0082]
其中，t2为2s内眼睛闭合的总时间。
[0083]
当perclos》80％时，处于轻度疲劳状态。当perclos达到100％的时候，无法进一步细分疲劳程度。因此，实时检测眼睛是否闭合，一旦发生闭合，则统计眼睛闭合时间。眼睛闭合时间超过2s，将由眼睛闭合时间决定疲劳状态。
[0084]
kss将人的疲劳程度划分为9个等级，具体划分细则如图2所示。制定kss与perclos、眼睛闭合时间的转换关系如图3所示。
[0085]
本发明所提供的基于人脸多参量检测的驾驶危险行为监控系统，通过对驾驶员驾驶过程中的图像进行分析，监控驾驶员的驾驶危险行为并触发报警，从而保障道路交通安全。
[0086]
根据基于人脸多参量检测的驾驶危险行为监控方法，构建系统，主要包括五个模块：接受输入图像模块，视线偏移报警模块，眼睛闭合判断模块，疲劳程度报警模块，状态清零模块。
[0087]
接受输入图像模块，接受来自各种摄像头或者图像传输通路传输的图像，如果将系统搭建到带有摄像头的设备上，则直接接受摄像头采集的图像，否则，接受传输的图像；视线偏移报警模块，进行人脸检测和人脸对齐，根据是否可以检测到人脸特征坐标，判断是否检测到眼睛，如果没有，则统计视线离开行驶方向时间t
ed
。如果t
ed
＞2s，则触发报警；眼睛闭合判断模块，如果检测到眼睛，通过描述眼睛特征的坐标，左眼37、38、39、40、41、42，右眼43、44、45、46、47、48计算ear值，并结合阈值thre判断眼睛是否闭合；疲劳程度报警模块，如果累计时间t
count
＝2s，则计算perclos，同时，实时判断眼睛是否闭合，统计眼睛闭合的时间t
ec
。综合perclos和t
ec
确定疲劳等级kss，根据kss进行不同强度的报警；状态清零模块，报警结束或者触发条件不成立时，返回接受输入图像；同时，报警之后，将所有的统计时间t
ec
,t
ed
,t
count
等归零，重新进行统计。
[0088]
如图4所示，系统具体设计实现方法为：
[0089]
(1)接受输入图像；
[0090]
(2)首先判断是否检测到眼睛，如果没有，则统计视线离开行驶方向时间t
ed
。如果t
ed
＞2s，则触发报警；
[0091]
(3)如果检测到眼睛，则计算ear值；
[0092]
(4)计算kss，如果kss》4，则触发报警。具体为：如果累计时间t
count
＝2s，则计算perclos；同时，实时判断眼睛是否闭合，统计眼睛闭合的时间t
ec
，综合perclos和t
ec
确定疲劳等级kss，根据kss等级进行不同强度的报警；
[0093]
(5)报警结束或者触发条件不成立，返回接受输入图像；同时，报警之后，将所有的统计时间t
ec
,t
ed
,t
count
等归零，重新进行统计。
[0094]
本发明提供了一种上述基于人脸多参量检测的驾驶危险行为监控方法实现的实施例，下面通过实施例对本发明进行详细说明。
[0095]
在实施例中，让受试者模拟驾驶疲劳和视线离开行驶方向等驾驶危险行为，如图5所示，在190s内，分三个阶段完成如下任务：
[0096]
(1)0-30s，正常行驶
[0097]
眼睛目视前方。
[0098]
(2)31-70s，疲劳驾驶
[0099]
闭眼时间1s，重复3次，中途停顿0.5s；
[0100]
闭眼时间2s，重复3次，中途停顿0.5s；
[0101]
闭眼时间3s，重复3次，中途停顿0.5s；
[0102]
闭眼时间5s，重复3次，中途停顿0.5s。
[0103]
(3)71-190s，视线离开行驶方向
[0104]
观察左侧、右侧、低头，每次转头时间1s，重复3次，中间停顿0.5s；
[0105]
观察左侧、右侧、低头，每次转头时间2s，重复3次，中间停顿0.5s；
[0106]
观察左侧、右侧、低头，每次转头时间3s，重复3次，中间停顿0.5s；
[0107]
观察左侧、右侧、低头，每次转头时间5s，重复3次，中间停顿0.5s。
[0108]
针对0-70s，首先计算人眼的ear值并绘制曲线，如图6所示，虚线为自适应计算判断眼睛是否闭合的阈值曲线，虚线上方表现眼睛睁开，下方表示眼睛闭合。分析曲线，受试者在前30s几乎没有眨眼。30s-70s之间，图中闭眼时间结果与任务设置完全匹配。图中信号具有波动，这是因为人由于呼吸和心跳而不可能处于绝对静止状态，眼睛的特征坐标总是会发生一些变化，因此ear值会发生波动。由ear曲线绘制眼睛是否闭合曲线，如图7所示，1表示眼睛闭合，0表示眼睛睁开。可以看出，眼睛闭合曲线的分析结果与ear曲线的结果完全一致，同时与实验预期也一致。根据kss转换关系，疲劳程度1-5是由perclos决定的，6-9是由眼睛闭合时间决定的。如图8所示，虚线描述的范围为kss值的理论范围，图中疲劳程度的估测值(散点)大致分布在理论值(虚线)的范围内，估测与理论一致。
[0109]
对70-190s，分析绘制视线偏移曲线，如图9所示。1表示视线未发生偏移，0表示视线偏移。从视线偏移的时间来看，70-190s内视线偏移的时间分布与任务预设一致。
[0110]
在整个过程中，报警结果如图10所示。为了更清楚的反映报警，将perclos和闭眼时间触发的报警进行区分表示。标志1、2、3的报警触发条件分别为：视线偏移时间大于2s，闭眼时间大于2s，perclos大于80％。根据图10，在70s以前的报警由闭眼时间和perclos触发，后面的报警由视线偏移时间触发，与任务预期一致，说明可以有效地检测闭眼和视线偏移，并统计时间，触发相应的报警。
[0111]
下述为本发明的装置实施例，可以用于执行本发明方法实施例。对于装置实施例中未纰漏的细节，请参照本发明方法实施例。
[0112]
本发明在一个实施例中，提供了一种计算机设备，该计算机设备包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor、dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行一条或一条以上指令从而实现相应方法流程或相应功能；本发明实施例所述的处理器可以用于种基于人脸多参量检测的驾驶危险行为监控方法的操作。
[0113]
本发明在一个实施例中，本发明还提供了一种存储介质，具体为计算机可读存储介质(memory)，所述计算机可读存储介质是计算机设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括计算机设备中的内置存储介质，
当然也可以包括计算机设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速ram存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令，以实现上述实施例中有关种基于人脸多参量检测的驾驶危险行为监控方法的相应步骤。
[0114]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0115]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0116]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0117]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0118]
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

技术特征：
1.一种基于人脸多参量检测的驾驶危险行为监控方法，其特征在于，包括以下过程，识别监控图像中的人脸区域，进行人脸检测和人脸对齐，在人脸区域中检测描述人脸特征，根据是否可以检测到人脸特征坐标，判断是否检测到眼睛，如果在预设时间内没有测到检测到眼睛，则触发报警；如果检测到眼睛，通过描述眼睛特征的坐标，进行驾驶疲劳检测，如果是驾驶疲劳，则依据疲劳程度进行报警；如果不是驾驶疲劳，则继续监控驾驶危险行为。2.根据权利要求1所述的一种基于人脸多参量检测的驾驶危险行为监控方法，其特征在于，具体包括以下步骤，步骤1，接受输入的监控图像，识别监控图像中的人脸区域；步骤2，进行人脸检测和人脸对齐，在人脸区域中检测描述人脸特征，根据是否可以检测到人脸特征坐标，判断是否检测到眼睛，如果没有检测到眼睛，则统计视线离开行驶方向时间t
ed
，如果t
ed
＞2s，则触发报警；如果检测到眼睛，则计算眼睛纵横比ear值，依据眼睛纵横比ear值判定眼睛状态；步骤3，依据眼睑闭合度perclos和眼睛闭合时间计算kss，如果kss>4，则触发报警；步骤4，报警结束或者触发条件不成立，返回接受输入图像；同时，报警之后，将所有的统计时间归零，重新进行驾驶危险行为监控。3.根据权利要求2所述的一种基于人脸多参量检测的驾驶危险行为监控方法，其特征在于，步骤2中，采用残差回归树的方法进行人脸检测和人脸对齐，在人脸区域中检测描述人脸特征。4.根据权利要求2所述的一种基于人脸多参量检测的驾驶危险行为监控方法，其特征在于，步骤3中，如果累计时间t
count
＝2s，则计算perclos；同时，实时判断眼睛是否闭合，统计眼睛闭合的时间t
ec
，综合perclos和t
ec
确定疲劳等级kss，根据kss等级进行不同强度的报警。5.一种基于人脸多参量检测的驾驶危险行为监控系统，其特征在于，包括接受输入图像模块、视线偏移报警模块、眼睛闭合判断模块和疲劳程度报警模块；所述接受输入图像模块用于接受驾驶人的监控图像；所述视线偏移报警模块用于进行人脸检测和人脸对齐，依据人脸特征坐标判断是否检测到眼睛，进行视线偏移判断；所述眼睛闭合判断模块用于判断眼睛是否闭合；所述疲劳程度报警模块用于依据疲劳程度进行报警。6.根据权利要求1所述的一种基于人脸多参量检测的驾驶危险行为监控系统，其特征在于，还包括状态清零模块，所述状态清零模块用于在报警结束或者触发条件不成立时，清空数据，继续监控驾驶危险行为。7.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-4任意一项所述的一种基于人脸多参量检测的驾驶危险行为监控方法的步骤。8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-4任意一项所述的一种基于人脸多参量检测的驾驶危险行为监控方法的步骤。

技术总结
本发明公开了一种基于人脸多参量检测的驾驶危险行为监控方法、系统、设备和可读存储介质，方法包括以下过程，识别监控图像中的人脸区域，进行人脸检测和人脸对齐，在人脸区域中检测描述人脸特征，根据是否可以检测到人脸特征坐标，判断是否检测到眼睛，如果在预设时间内没有测到检测到眼睛，则触发报警；如果检测到眼睛，通过描述眼睛特征的坐标，进行驾驶疲劳检测，如果是驾驶疲劳，则依据疲劳程度进行报警；如果不是驾驶疲劳，则继续监控驾驶危险行为。通过综合PERCLOS和眼睛闭合时间，并建立与KSS的转换关系评价驾驶员的疲劳程度。通过判断眼睛是否存在于采集到的图像中，识别视线离开行驶方向的驾驶危险行为。线离开行驶方向的驾驶危险行为。线离开行驶方向的驾驶危险行为。


技术研发人员：贠卫国 马祎欣
受保护的技术使用者：西安建筑科技大学
技术研发日：2021.12.07
技术公布日：2022/3/8