CN1132131C - 检测困倦及避免汽车司机入睡的方法与装置 - Google Patents

Abstract

本发明涉及按照1996年7月26日的法国专利申请96.09420和1997年7月22日的国际专利申请(P.C.T.)PCT/FR97/01354使用在汽车内安装的联有一个电子电路单元(19)的光电传感器(10)的一种方法和装置。该传感器被调节得对准同时坐在所述的汽车中的驾驶员的头坐为内部后视镜。该内部后视镜包含有一个单路镜面(9)，其后即是传感器(10)。在检测到汽车中有驾驶员在以后，它们首先用由电子电路单元(19)支持的传感器(10)发射的视频信号光栅对驾驶员的整个面部然后眼睛取帧，然后测定一次々眨眼的连续时间长度，并和处于一个清醒人的典型的时间长度和一个昏睡的人的另一个典型的时间长度之间的限定值相比较。当该眨眼时间长度超过该限定值时，一个(由一个报警装置22发射的)能够惊醒驾驶员的信号被触发。

Description

检测困倦及避免汽车司机入睡的方法与装置

本发明涉及用于在汽车中连续监视驾驶员的警觉性以检测和防止驾驶员入睡的方法和装置。

我们知道，道路交通事故中占显著比例(如果不是重大比例的话)的部分是由汽车(私人汽车、公用装置车、运货车、载重卡车)驾驶员的全部或部分的(头晕)困倦造成的，如此引起大量的伤亡事故。

当驾驶员将要睡着时触发一个报警器，特别是一个声音报警器以将他/她惊醒，这一问题从人道的以及经济的观点看来是具有头等意义的。

在一辆汽车中要检测驾驶员的困倦度，特提出如下建议

-一方面，当驾驶员犯困时检测他控制方向盘时的任何变化，以及

-另一方面，当驾驶员犯困时检测他的眼睑垂直运动时的任何变化。

本发明实现上述第二种类型(监视眼睑的运动)的检测，本发明基于一种生理学观察，即眨眼时间长度的变化以及两次连续眨眼之间的时间间隔的变化，当一个人从清醒状态到他/她犯困前转入头昏眼花时他/她的眨眼节律的情况是：当人清醒时其眨眼的时间长度约为100至200ms(毫秒)，当他/她感觉困倦时则约为500至800ms，而两次连续眨眼之间的时间间隔在清醒状态下是稳定的，在困倦状况下则在相当宽的范围内变化。在本发明的范围内主要实现的就是这种眨眼时间长度的变化。

按照本发明的方法和装置能检测驾驶员眨眼时间长度的增长，并在所述的时间长度超过一个设定的、特别处于200至500ms之间例如等于350ms的阈值时触发一个声音的或其它的报警器。这里该阈值可以根据驾驶员的生理状况进行改变。

在1996年7月26日的法国专利申请n°96.09420和1997年7月22日的国际专利申请(P.C.T.)PCT/FR97/01354中，此二申请的发明人也就是本发明的发明人，在强调所述的法国专利申请的优先权的同时我们描述了一种实时操作的、用于对在一个场景中作相对运动的区段进行定位和确定外界范围、以及用于确定速度和移动方向的方法和装置。

在为此方法和装置所设计的这些申请中，在所述的专利申请中描述了用于观察和监测一个汽车驾驶员的头所构成的区段以检测和防止该驾驶员犯困的方法和装置。

按照所述的这些专利申请的方法和装置的这种特定的应用：

-产生了一种实时表示该驾驶员的眼睛的连续图像的视频信号；

-对此视频信号进行了处理，以接连不断地

·在此驾驶员眼睛的图像中检测眼睑的反映眨眼的垂直运动；

·确定这些垂直运动的节律，并且

·对小于一个相应于驾驶员完全清醒时的眨眼节律的给定阈值的节律进行定位；并

-当此阈值被所述的节律向下超过时，即触发一个报警器以惊醒该驾驶员。

本发明的目的是对上述专利申请的方法和装置、就它们对汽车驾驶员进行监测以检测他/她可能发生的困倦情况的应用进行完善。

Hiroshi Ueno等1994年8月31日在“the Institute of electrical andelectronics Engineers”杂志(IEEE)15-20页上发表的题为《Development of drowsiness detection system》的文章中分析了几种汽车驾驶员检测技术。确切地说，提到使用一种带有视频图像处理计算器的视频摄像机，另带有软件，一方面可以检测驾驶员的面孔、特别是完成一个包含有一只眼睛的长方形，另一方面可以实现对开眼和闭眼时间长度的比率的检测以确定困倦的标准。

另外，公布的德国专利申请DE-19715519和相应的公布的法国专利申请n°2747346描述了估算一个在其脚旁带有一视频摄像机、另有一计算器用于处理该摄像机产生的图像以及一个软件用于通过确定眨眼开始和结束之间的时间延迟来检测眨眼的汽车驾驶员的困倦程度的装置和方法。特别是该计算器的一个部件10可以实现：

-视频图像的存储及其处理，以确定包含驾驶员眼睛的一个区域；

-检测驾驶员的眼睑闭合和完全打开之间的时间间隔；并且

-在存储器11和计算部件22中和部件10联合进行一次处理，以计算慢速眨眼出现的比例。

最后，公布的国际申请WO97/01246的要点是一个安全系统，它包含有一个安装在汽车内反射镜中的视频摄像机和一个在一定距离处用于分析车内外正在发生什么以及由于视频摄像机输出信号的记录而发生过什么的显示屏。事实上这是一个隐藏(在后视镜中)以避开闯入者的注意的摄像机，它能观察到很宽范围包括汽车的内部和其周围环境，而记录则允许以后知道在此范围内发生过什么(第6页13-19行)，并且这不是一个其视角明显限定在驾驶员的面孔以检测他可能有的困倦并将其惊醒的传感器。

可以看到，那些文件(上述各篇文章和申请)在使用一种真正的视频摄像机和一个外部计算器，在此文中和那些法国和德国专利申请中的眨眼检测要求一种复杂的处理部件，而所述的国际申请则不能解决困倦检测问题，驾驶员如果困倦的话是既不能看显示屏也不能看视频记录的。可以看到，不能把此文件和前面两个文件合并到一起，因为它们不属于同一技术范围。

和那些文件相比，本发明能更好地解决驾驶员眨眼时间长度测量的记录；因为

-它允许在汽车的后视镜中使用一个简单的传感器(可以是一个微型视频摄像机的传感器)，特别是MOS传感器，它不要求一定是标准视频格式；

-它可以由驾驶员实现和后视镜移动相联的变换器光轴的移动，以将所述的轴对向驾驶员的面孔；

-它许可得到一种综合视觉，一个集成电路可以立即检测到眼睑的运动；

-它使用一种很简单的处理器来对传感器的信息进行处理；

-它可以将该传感器、其有关的电子电路和计算器集成在一个电子芯片中，全部都安装在后视镜中；

-它使得有可能在后视镜中将这样一个芯片和一个仪表盘中的处理器联结在一起，该后视镜和一种标准内部后视镜相比只包含有一个芯片和一个用于此外加芯片的定向的机械装置，从而是一种价格适中的智能型困倦检测装置。

在这些情况下，本发明的目的首先是一种在汽车中用来连续不断地监测驾驶员的注意力以检测和防止所述的驾驶员的任何困倦的方法。

该方法在于，

-至少产生实时表示驾驶员面部的连续图像的视频信号；

-连续不断地处理此信号，从而

·检测此信号中和驾驶员头部图像有效对应的部分，

·确定和眼睑的眨眼动作有关的一个参数的值，当驾驶员从清醒状态转向困倦状态，在阈值的任意一侧作出明显的变化，并且

·实时地确定此参数值何时超过该驾驶员从清醒过渡到困倦的有效阈值；并且

-对于该阈值被超过作出反应，触发一个能够惊醒该驾驶员的警报器；

而且其特征在于，

-一方面，视频信号通过使用一个在该汽车上和一个后视镜相连的固态光电传感器产生；该传感器被确定尺寸并被安排好，能基本上接收驾驶员坐着时的面部图像，并且当后视镜指向正确时其接收光束的光轴指向驾驶员的头部；

而

-另一方面，在连续不断地检测到驾驶员在其座位上后，对该所述的视频信号的处理在于：

·根据对所述的视频信号的同一性质的连续两帧之间的移动像素的分析可以检测到该驾驶员水平方向的运动，以将该所述的驾驶员的脸在该视频信号的相应的各连续帧内处于中心处，

·根据对所述的视频信号的同一性质的连续两帧之间的移动像素的分析可以检测到该驾驶员对准在中部的脸部竖直方向的运动，以将他/她的眼睛对准在中部，

·根据以对所述的视频信号的同一性质的连续两帧之间的移动像素的分析为依据可以确定该驾驶员对准在中部的眼睛的连续眨眼时间长度，其中所述的时间长度构成所述的参数，

·将如此确定的连续眨眼时间长度和从清醒状态向困倦状态的转变的有效阈值进行比较，

·当眨眼时间长度向上超过所述的阈值，触发一个能够惊醒该驾驶员的报警器。

很方便的是，该所述的传感器被安装在后视镜盒中在传感器的镜片后面，该镜片由一个双路镜面构成，所述的传感器的接收光轴和在所述的汽车的垂直中央平面内取向的轴相对于所述的双路镜面的一个正交轴对称。

最好可以检测到驾驶员在他/她的座位上，这时可以确定被检测到有显著变动的视频信号中同样性质的连续各帧中相应的像素的数目，同时通过将此数目和该视频信号的单帧的像素总数目相比较，以确定代表一次移动的像素数目和单帧像素的总数目之间的比值是否超过从驾驶员不在其座位上到驾驶员在其座位上的转变时的有效阈值。

在较好的几个实施例中，该方法可以包含有如下的一个或几个特征：

-在使驾驶员的面部对准在中部的水平移动的检测阶段和对驾驶员的眼睛取帧的各种垂直移动的检测之间，提供一个很宽的眼睛对准在中部的阶段，但仅限于中央面部包括眼睛及其最接近的周围部分的一部分，这时要通过运用在人的所述的部分和整个面部之间的人体测量比例；

-在测定眨眼时间长度阶段的同时提供有一个连续两次眨眼之间的时间间隔的测定阶段，并在那些时间间隔呈现出不规则且超过一个设定的阈值时立即触发一次强化报警；

-连续修改至少和如下参数中的一种有关的数据，这些参数是水平移动、垂直移动、眨眼时间长度、连续眨眼间隔，以对当时在场并处于清醒状态的该驾驶员完成对这些参数的标准值的近似；

-该方法的各连续阶段是使用连续的计算机程序进行的。这些程序能处理从所述的传感器获得的视频信号中相同性质的各帧的相应像素的连续的值。

本说明的目的同样是一个用于在汽车中连续监测驾驶员的注意力、以检测和防止所述的驾驶员的任何困倦的装置。该装置使用上述方法且其特征在于作为组合体它包含有：

-a)一个光电传感器，它和附带的电子电路组合起来从而对应光束的接收产生带有相同性质的帧或相应的连续帧的视频信号，同时所述的传感器和汽车的后视镜相连接并被选定尺度和安排好从而能基本上接收驾驶员坐着时的面部图像，而当后视镜取向适当时其接收光线的光轴指向驾驶员的头部；

-b)至少一个集成电路，它包含有：

-检测驾驶员在汽车中其座位上，并产生一个在位信号的部件；

-由此在位信号触发的部件，根据对所述的视频信号的相同性质的连续两帧之间移动的像素的分析对所述的驾驶员的水平移动进行检测，使得在该视频信号的相同性质的相应的连续的各帧中将他/她的面部对准在中部，并在面部对准在中部结束时产生一个信号；

-由该所述的面部对准在中部的结束信号激活的装置，根据对所述的对应面部对准在中部的视频信号中相同性质的各连续帧部分的相同性质的连续两帧之间移动的像素的分析对该驾驶员的如此对准在中部的面部的垂直移动进行检测，使得在此信号的各个帧的所述的部分中将所述的驾驶员的眼睛对准在中部，并产生该驾驶员眼睛的面部对准在中部的结束信号；

-由该所述的眼睛对准在中部的结束信号触发的装置，根据在对应眼睛对准在中部的该视频信号中相同性质的各连续帧部分的相同性质的连续两帧之间移动的像素的分析对该驾驶员眨眼的连续时间长度进行确定；

-将如此确定的这些连续眨眼时间长度和该驾驶员从清醒状态转入困倦状态的有效阈值进行比较的装置；以及

-当该眨眼时间长度超过所述的阈值时触发一个能够惊醒该驾驶员的报警器的装置。

在所述的装置中，所述的传感器位于后视镜盒中并在后视镜盒的镜片后面，该镜片是一个双路镜面，所述的传感器由通过一个转动轴和后视镜盒在其内部所支承的一个夹具交叉的第一杆的第一端支持，此杆的第二端用一连接件被链接到通过一转动轴越过后视镜盒的第二杆的第一端，而所说的第二杆的第二端被固定在前挡风屏上方的车体上，以使所说的传感器的所说的接收光学轴关于一个和所说的双路镜面正交的轴和一个在所说的汽车的垂直中央平面内定向的轴相对称。

所说的检测驾驶员在他/她的座位上并产生一个存在信号的装置最好包括确定被检测到有显著移动的视频信号中同样性质的各连续帧中的像素数目的装置、将此同一数目和该视频信号的单帧像素的总数目相比较以确定对应移动的像素数目和单帧的像素总数目之间的比率值是否超过从驾驶员不在其座位状态转变到驾驶员在其座位上的有效阈值的装置。

在一些较好的实施例中，该装置可以再包含如下的一个或几个装置，即：

-由所说的面部对准在中部结束信号所激活、以在对应于面部对准在中部的所说的视频信号的各连续帧的所说的部分中选取一个对应于对包括眼睛及其最接近的周围的驾驶员眼睛在宽对准在中部和人的整个面部之间运用人体测量学比例进行所说的宽的或粗略的对准在中部的缩减部分的装置和产生眼睛的一个宽对准在中部结束信号的装置，同时此信号激活所说的装置以检测驾驶员面部的垂直移动；

-和所说的装置并联操作以确定连续眨眼时间长度、并且因而由所说的眼睛对准在中部结束信号所激活以确定连续两次眨眼之间的时间间隔以及当这些时间间隔显示出高于设定阈值的不规则性时立即触发一次强制报警的装置；

-用于对至少涉及：水平移动、垂直移动、眨眼时间长度、连续眨眼时间间隔这些参数中的一个的数据进行连续修正，以完成与当时在场并处于清醒状态的驾驶员有关的这些参数的标准值的近似的装置。

有利的是，该传感器/电子电路处理单元组件如在前面提到的和本发明为同一发明人的两个专利申请中图解说明的那样实现。

本发明的目的也是发明作为一个工业产品的汽车后视镜，其特征在于，其镜面由一个双路镜片组成，并且在于在此镜片下面包含有一个光电传感器用于和一个电路单元一起工作。该电路单元如1996年7月26日提出的法国专利申请n°96.09420和1997年7月22日提出的国际专利申请(P.C.T.)PCT/FR97/01354中所述，其中此单元也是被安装在后视镜内，当该所述的单元一旦确定看着该所述的镜片的前面的人的眼睑的垂直运动对应于超过预先设定的包括在清醒人的眨眼时间长度和困倦者的眨眼时间长度之间的时间间隔内的阈值时能够触发一个报警装置。

最好，该所述的后视镜至少带有一个在红外区的发光二极管，此二极管至少在周围环境的照度变得不足以照亮驾驶员的面部时可以被驱动，而该所述的光电传感器对该所述的二极管发射的红外辐射敏感。

最好是，在本发明的该装置和该后视镜中，传感器、所述的联带的电子电路和所述的集成电路均由安装在该后视镜盒内部的一个电子芯片构成。

现在我们将对按照本发明实施本发明的该种方法的一种装置以及其若干变型的一个较好的实施例参照各个附图进行说明，附图中：

图1和图2分别为简要图解说明一个汽车驾驶员的头和他/她的前、后视轴的一个侧视图和一个俯视图。

图3简要图解说明一辆汽车中的内部后视镜片以及该驾驶员的各个不同的视轴的常规安排，此图对应于现有技术。

图4和图5分别表示一个后视镜和光电传感器及其在本发明范围内的联带电子电路的安装和连接。

图6说明在图4和图5上在后视镜中提供的光电传感器的范围。

图7和图8表示当驾驶员坐着时对其面部进行对准在中部的方法。

图9和图10表示当驾驶员坐着时对其眼睛进行对准在中部的方法。

图11和图12涉及对驾驶员眨眼时间长度的测量并涉及连续两次眨眼之间的时间间隔。

图13表示各连续工作阶段的流程图。

图14表示作为传感器有一个MOS型传感器的一个实施例的各种优点。

最后图15是图9的一种变体，优先的观察区除眼睛外还包括鼻子。

首先参看图1至图6，我们将从带有光电传感器(微型视频摄像机或具有集成透镜的MOS传感器)及其联带的电子电路组件的光学机械装置的说明开始按照本发明详细说明该较好的实施例。该电子电路组件主要由一个或几个芯片组成的，将该传感器接收到的图像变换成为视频信号再进行处理以检测出该坐着的驾驶员发生如该所述的传感器所观察到的任何困倦。

确实，本发明主要利用人在由清醒状态过渡到晕眩或困倦状态时的眨眼的变化。一个清醒的人眨动他/她的眼睑，因此他/她的眼以比较规则的时间间隔眨动，约为每100至200ms，而这个人在困倦时的眨眼时间长度则加速到500至800ms，这时的眨眼时间间隔增长并发生变化。

在来自光电传感器的相一致(同样性质)的每秒50或60帧的视频信号中，分别在每20或16.66ms进行一次检测，这使得很容易区分100至200ms或500至800ms的时间长度(在每秒同样性质的50帧的情况下清醒状态为5至10帧或反之在困倦状态为25至40帧)，因而可以区分一个人的清醒状态和晕眩或困倦状态。

当在汽车驾驶员的情况下使用这样的区分时，建议将驾驶员的面部视频化，也就是说将该所述的传感器的入射或接收光轴指向驾驶员的面部。在本发明的该较好的实施例中提供的装置的实质在于利用以下的事实，即驾驶员把他/她的汽车的后视镜指向他/她的面部，以通过在后视镜镜片上的反射看到汽车的后方。

参照图1至图3，让我们回顾安装在汽车内的中央位置的常规后视镜的工作，由于它们是固定的，有可能在该汽车内车体的一部分上调节镜片的取向。

图1和图2分别从侧面和顶部表示能够观察他/她的汽车所处街道和道路的驾驶员的头T，一方面看他/她的前方(箭头1)，另一方面由于如此适当取向的该后视镜的镜面3而看他/她的后面(箭头2a和2b)。该所述的箭头1、2a、2b表示光线的轨迹，2b对应于反射到镜面3上的光线。

现在考虑简图3，它表示后视镜的镜面3，这是一个由臂杆4固定在汽车中车体的部分5上的一个有取向可能的镜面，图1和图2的取向轴或箭头1、2a、2b清析可见。可以注意到，轴或箭头1和2b平行并指向街道或道路的方向。

图3以虚线表示光轴6和轴7，光轴6垂直于一个将方向2a和2b的夹角按照反射定律平分成相等的两个角(角度a和b相等)的内部后视镜的镜3的镜面3a，而轴7垂直于轴2b，因而平行于支承部分5，而在方向7和3a之间的夹角c等于角度b和a。

提到内部后视镜的这些工作原理后，我们现在将参照图4和图5说明能将光学传感器的输入光轴有效地指向坐着的驾驶员的面部的机械组件，同时利用这一事实，即如果不已经是这种情况的话，后视镜的镜面3由坐着的驾驶员定向，这样该驾驶员的定向轴2a便指向该驾驶员的头T。事实上，如果该传感器的输入光轴确实指向该驾驶员的面部，所述的驾驶员产生的视频信号将包含有为确定所述的驾驶员的眨眼时间长度所必需的信息。

首先在本发明的较好的实施例的范围内，和常规的后视镜不同，后视镜8包含有一个双路镜9(图4)，其指向驾驶员的镜面9a和一个常规后视镜(图3)的镜3的镜面3a起同样的作用，但当双路镜9(随后视镜8一起)被驾驶员适当定向以看到他/她后面的街道或道路，或已经如此取向(如图3的常规镜3的情况)时，它使(随双路镜9一起旋转的)支架11所支承的(由一个微型电子摄像机或一个带有内置透镜的MOS传感器组成的)传感器10至少能够接收坐着的驾驶员面部的图像。

表示在图4和图5(图5为图4的一部分的较详细的视图)中的Cardan型机械连接使得能够在驾驶员调节他/她的后视镜或当该后视镜已经被调节好时由驾驶员自动调节支架11和传感器10以及该传感器10的接收面10a的定向，使其接收到坐着的驾驶员面部的图像，由于在镜面9和该传感器10的支架11之间的角度，他/她的输入光轴10b指向坐着的驾驶员的头部。

为此，支架11所用的连接件包含有两个杆12和13，它们经一个转动轴14a(图4)或一个套筒14b(图5)相互自由连接。杆12经其一端被固定到该车体的一个部分5上并借助于转动轴15(由一个球和两个基本上半球形的帽制成)穿过后视镜盒8，然后其另一端进入套筒14b或被固定到转动轴14a上，这时杆13的一端牢固地支承着传感器10的支架11，并借助于一个空心转动轴17(带有一个球，球中穿过一个通道，杆13穿入通道内并在两个基本上为半球形的由夹具16支承的帽内旋转)穿过后视镜8的夹具16，然后由其另一端连接到转动轴14a或套筒14b。

这样一个连接件总是在镜9和支架11之间保持一个适当的角度，使得能够同时对内部后视镜由驾驶员进行通常定向和传感器10的支架11的定向，使得在该后视镜被适当定向时此传感器的正面10a至少能接收到坐着的驾驶员的面部的图像。

光学传感器10通过电子分析单元19(可以由一个芯片盒或安放在后视镜8中的一些芯片很方便地组成)中的导体18送出根据在传感器10的正面10a上接收到的图像产生的视频信号。

可以提供光发射二极管20，以在周围环境的光(包括板的光)不足以使传感器10及其电子电路单元19正确工作而该后视镜适当取向时向坐着的驾驶员发送一个至少能照亮坐着的驾驶员面部的红外辐射。在这种情况下，传感器必须对红外辐射敏感；这些二极管可以可能是逐渐地被供给能量，并由例如电子电路单元19经一个光电池(未画)或对强度不足(如由驾驶员21简要表示)的视频信号中的像素信号作出响应而受到控制。

当该驾驶员要犯困时然后被电子电路单元19激活的报警器在图4上被简要表示为22。为了此图的简单，在图中没有表示出传感器10、电子电路19和各个二极管20的电源。

作为一种变动方案，单元19可以被安置在后视镜盒之外。

我们现在说明将来自光电传感器10的视频信号在电子分析单元19(带有一个微型电子摄像机或一个带有内装透镜后面跟有一个电子电路单元的MOS传感器)中进行处理的方法，其时此视频信号包含有连续一串的(同样性质的)对应于每秒50或60个这样的帧的节奏的帧在每幅画面有两个交错的帧的情况下是偶数帧或奇数帧，在每幅画面是单帧的情况下是单独的帧。这时这种处理的目标是连续监测坐着的驾驶员的注意力，同时实时并连续不断地测定他/她的眼睛眨眼的时间长度，并在该驾驶员明显犯困(由此时间长度的改变所表明)的情况下触发一次能够惊醒他/她的报警信号。

按照本发明用于对一个移动区域(即该驾驶员、他/她的面部以及他/她的眼睛，特别是他/她的眼睑)进行为定位和包围以及对此种运动的方向和可能的速度进行确定所实施的该方法以及该装置，按照上述各个专利申请的该方法以及该装置，各个专利申请的说明被作为参考综合成本说明，将这些专利申请中所述的方法进行总结是有用的。

在这些申请中，包含有一连串相同性质的帧(在每个图像有两帧交错的一种视频系统的情况下由偶数或奇数的相应的帧组成，或者在每个图像为单帧的一种视频系统的情况下由连续的帧组成)的(由一台视频摄像机或其他的传感器产生的)视频信号被进行处理以便连续地

-从一帧和对应的前一帧之间从每个像素的数值或强度上的变化推导出

·一方面一个标记为DP的二元信号，其两个可能的有效数值，一个属于像素值的变化，而另一个是无变化的，其数值可以分别标记为例如《1》和《0》，而

·另一方面一个标记为CO的数码信号，可能数值的数目减少，这里这一信号在该像素数值上的这一变化的量是有效的；

- 按滚动方式按矩阵分布卷过该矩阵的同一帧的这两个信号DP和CO的值；并

-从此矩阵分布推导出所要求的移动及其各个参数(位置、方向和速度)。

按照以上专利申请，这最后一种移动检测操作能较好地实现

-沿两个轴例如OX和OY至少形成在前面操作中呈矩阵分布的信号DP和CO的正交分布图，

以及

-在DP＝《1》的同时CO的大的变化范围在关于DP和CO的每个正交分布图中的位置。

通过实现按照上述各个专利申请的办法是以下所总结的方法和装置，本发明连续进行

-在一个预备阶段对一个坐着的驾驶员的在位的检测；

-在第一阶段，在该视频信号的同样性质的各帧或相应的连续的各帧中对驾驶员的面部进行对准在中部；

-在第二阶段，在面部对准在中部的中部对驾驶员的眼睛进行对准在中部；

-在第三阶段，确定驾驶员眨眼的时间长度并可以确定连续两次眨眼之间的时间间隔；

-在第四阶段，将各个眨眼的时间长度和某一阈值进行比较并且当这一比较表明该所述的阈值在上面被该所述的时间长度超过时立即产生一个能够惊醒该驾驶员的报警信号，同样也可将连续两次眨眼之间的时间间隔的变化和另一个阈值进行比较，同时当此次比较表明这后一阈值被从上面超过时立即产生一个加强的报警信号。

现在我们通过按照本发明的方法和装置较详细地说明这五个阶段中的每一个的实施例。

预备阶段，检测一个坐着的驾驶员在位并开始第一个面部对准在中部阶段，由一个手动的或其它的开关触发，很明显是通过实现上面提到的专利申请的方法和装置。当有必要时，它可以通过调节该后视镜以使前者(图4)的双路镜9的正面9a对向驾驶员，使他/她能在此镜中看见他/她后面的街道或道路。

图6表示在方向23a和23b之间传感器10的视场23，这时在调节内部后视镜8之后驾驶员的头T如参考图4和图5所述，应该位于此圆锥形场23的中央区域。该视场可以相当狭窄，因为在开车时驾驶员的头T的移动是有限的(除去在一些少有的情况)；对场的限制能改善该装置的灵敏度，因为适当定向的传感器的正面10a和镜面9同时接收到的驾驶员的面部图像在该视频信号的各帧中包含有非常大的部分；因此用一个像素数来表示，该像素数是每帧的总像素数的相当大的一部分。

图6表示图3的方向或光线1、2a和2b。

驾驶员采取一种开车姿势时的位置能经由实施按照上述两个专利申请的、能够检测上面总结的各个移动的该方法和装置由他/她的头、特别是他/她的面部的移动检测出来。

事实上，该驾驶员的坐下和他/她的头T的移动由该视频信号的大量像素表现出来。对于该视频信号二元信号DP的数值为《1》，这对应于在相应的连续两帧之间像素数值的大的变化，而数码信号CO取非常高的值。

当驾驶员坐下时，这种像素数目(以DP和CO表示上面定义的值)和一帧的总像素数的比值取决于在方向盘处的该驾驶员的头T的两侧传感器视场的大小。如果视场很窄(图6的23a和23b之间的减小的角度)，例如可以考虑，如果一个给定帧的‘移动’像素的一半以上表现出具有上面提到的值的DP和CO，则该驾驶员将坐下。那时在‘移动’像素数目和一帧的总像素数之间可以考虑一个50％的阈值，并且在这种情况下，当此阈值在上部被超过时，该预备阶段随着一个发出该驾驶员在位信号、启动该视频信号的下一个处理阶段、同时开始第一阶段的标志位《1》的产生而终止。很明显，在考虑到该传感器10的视场时，采用来触发标志位《1》的阈值可以不同于50％。

作为变化例，发出该驾驶员在位信号、启动第一阶段的标志位《1》可以由在该电子电路单元19的外部的一个命令产生，例如由点火键激发、扣上驾驶员的安全带或驾驶员座位在他/她的重量下可触发该命令。

当对驾驶员的在位发出信号且在位标志位《1》被产生时，该视频信号的第一处理阶段即可开始。如前面指出的，这一阶段在于将驾驶员的面部在视频信号中对准在中部，同时在检测器10接收到的图像中将头的上、下和两侧的任何多余部分去掉。

为此，通过实现按照本发明的该方法和该装置，这些是水平移动，也就是从右向左和从左向右的移动被检测到，因为驾驶员的头有水平移动的倾向而不是垂直移动即向上和向下看的趋势。

因此，使用DP和CO数值的动态的矩阵并通过沿两个的座标轴，例如通常的座标的Ox和Oy轴进行选择、通过按照上述的专利申请实施分布图形成方法，从该视频信号的相应的连续帧中所表示的数据流可以提取出一个水平移动信号。

在这些帧的末端对一次水平移动的有效像素进行计数可以检测亮度变化即像素值变化最大的沿边缘处的移动的峰值，以及例如沿Ox的水平投影和沿Oy的垂直投影。

这在图7上有说明，其上表示出了Ox和Oy轴以及沿Ox的分布图24x和沿Oy轴的分布图24y，即分别在水平和垂直投影方向。

分布图24x的峰25a和25b和分布图24y的峰25c和25d由它们各自的座标26a、26b、26c、26d描画出由包围着由各个波动线27a、27b、27c、27d围绕的驾驶员面部V的线段Ya、Yb、Xc、Xd所限定的一个框。波动线说明驾驶员在所述的运动期间在像素强度变化较大的区域内有轻微的运动。

因而将两个分布图24x和24y的四个峰25a、25b、25c和25d所对应的座标26a、26b、26c和26d定位使得能够较好地规定和作出该驾驶员面部V在Z区中的位置并为该视频信号下面的各处理阶段消除相对于帧Xc、Xd、Ya、Yb的上下左右部分，如图8上的围绕面部V的阴影线区域所表示的，这使得能提高精度，也可能提高在无阴影线的被线段Xc、Xd、Ya、Yb所围绕并包含有面部V的中心区Z上的分析的速度。

此操作的实质在于按一定的时间间隔例如每十帧视频信号更新对整个面部的成帧，以及在重新规定稍有变化但相当稳定的围绕面部的帧Xc、Xd、Ya、Yb时确定座标26a、26b、26c、26d(在时间过程中)的平均值。由此看来，该所述的帧(连同为以后的分析所描出的区域)的位置是相当稳固的，也就是说对时间过程很稳定。

在对驾驶员面部V完成成帧后产生一个新的成帧的面部的标志位《1》。

此标志位的产生触发第二个阶段，这是进一步缩减对帧也就是对驾驶员的眼睛的帧的处理。

此第二阶段最好包括一次预操作，这是在电子电路单元19中在人的眼睛区域和整个面部之间，显然在垂直方向，使用通常的人体测量学比例，尽管眼睛区域只占有整个面部的有限部分。

在此预操作中，该电子电路单元19然后按比例确定一个包含有驾驶员的眼睛U的限制更多的帧Z’。在该面部V的以前的帧Z中由Ya、Yb、Xc、Xd所限定，而这里的帧Z’如图9上所表示，由帧Ya、Yb、Xc、Xd(Z区域)内部的线段Y’a、Y’b、X’c和X’d所画出。

这样，图9上的外部阴影线(单阴影线)这时被消除而只留下帧Z’，这使得在第二阶段中对眼睛最后成帧很容易，并提高其精度和其确定速度。

如果有预操作的话，它会产生一个粗略的眼睛成帧标志位《1》，在完成此预操作后，或者直接在第一处理阶段之后，也就是分别针对该粗略眼睛成帧标志位《1》或该面部成帧标志位《1》的出现，电子电路单元19进行第二个有效成帧阶段，这时在驾驶员的眼睛上更加对准(zeroing in)并在DP和CO的矩阵中检测DP＝1和CO表现出高数值的像素位置。这很显然是对于垂直方向的移动，因为眼睑是上下眨动的。

当在帧Y’a、Y’b、X’c、X’d  (Z区)中在提供有预操作的情况下，或在没有这样一种预操作的帧Ya、Yb、Xc、Xd(Z区域)中，这样的像素位置数目达到某一阈值时，这时在前一情况下此阈值相应于例如在帧Y’a、Y’b、X’c、X’d中相对像素总数的20％，而在后一情况下在Ya、Yb、Xc、Xd中相对像素总数的10％，则产生一个精细眼睛成帧标志位《1》。事实上此标志位表明驾驶员眼睑是活动的，因为它是由驾驶员的眨眼引起。眨眼是驾驶员面部在第一阶段中和水平移动同样地检测到的垂直方向的运动。

图10表示描出该驾驶员眼睛的粗略成帧区域Z’的可能的帧Y’a、Y’b、X’c、X’d以及驾驶员眼睑的垂直移动沿轴Ox的分布图28x和沿轴Oy的分布图28y，也就是由它们的DP和CO表示出这种移动的矩阵的像素。这些分布图28x和28y，和图7上表示的该驾驶员面部的水平移动的24x和24y相对应，由它们的峰29a、29b、29c、29d决定水平线段X”c和X”d和垂直线段Y”a和Y”b，它们在区域Z’内描画出一个包围着驾驶员眼睛的Z”区，对于一个眼睛其边缘移动在30a和30b处指明，而另一个眼睛则在30c和30d处。

帧Y”a、Y”b、X”c、X”d的位置通过确定在时间过程例如每十帧中的平均值，峰值29a、29b、29c、29d的座标，并根据精密对眼睛成帧的标志位《1》的产生而得到修正。这些只是在由此标志位触发的第三阶段中被处理的Z”区(该Z”区被以白色表示在图9上)的被描出的帧中包含的像素。

在此第三阶段中，眨眼时间长度被确定，还可能确定连续两次眨眼之间的时间间隔，同时通过以电子电路单元19处理对应于此Z”区的视频信号的各连续帧的各个部分可以使该Z”区中对眼睑的垂直运动的分析更完善，这可以得到很高的精度。

图11表示在一个沿三个正交方向的座标系统中能够确定该驾驶员从清醒状态过渡到困倦状态的三个不同的参数。OQ方向记有CO因而为像素变化强度，对应于眼睑的垂直运动。方向Ot记载连续两次眨眼之间的时间间隔，而Oz记载眨眼时间长度。连续两次眨眼C1和C2被表示在图11上。

图12以部分(a)上的曲线C说明作大的垂直运动(其DP＝1而CO有很高的数值)的每帧的像素数目沿Ot的时间变化，对应于眨眼的移动像素数目的连续峰P1、P2、P3。

和曲线C有关的相应的各连续帧被用如31这样的垂直线简要并部分地表示在图12的(b)部分上，其峰值P1、P2、P3分别由矩形R1、R2、R3包围，而图12的(a)和(b)两部分同时重叠排列。最后，图12以其数值对应于该驾驶员的清醒状态的帧数表示出眨眼时间长度(5、6、5)和连续眨眼之间的时间间隔(14、17)。

在此第三阶段中，该电子电路单元19计算连续眨眼时间长度和连续两次眨眼之间的连续时间间隔，并在连续眨眼时间长度和眨眼时间间隔之间进行一次两维统计分析。它可以确定，该眨眼时间长度是否超过一个一定的阈值，例如350ms，并且在这种情况下，是否触发一个被超过的眨眼阈值标志位《1》，并且在连续两次眨眼之间的时间间隔可能是否相当稳定，或者反过来随时间而有很大变化，并且在第二种情况下触发一个标志位《1》，表示出可变化的眨眼之间的时间间隔。

该第一个标志位被用来触发一次报警，例如一次能够惊醒驾驶员的声音报警，而第二个标志位强化报警，例如增加声音强度。

作为一个示踪板6(图13)附上的流程图将各个连续阶段总括起来。

和外部的对话最好以串行方式(CAN-VAN)进行。

这整个变换器、联带的电子电路和处理器或计算器，可以很方便地集成为一个安装在汽车的内部后视镜中的电子芯片。

对于右手驾驶国家，图4和图5的后视镜适合坐在右边座位以及左边座位上的驾驶员，并且在驾驶员方面很显然也可能是一种外部后视镜。

使用一种MOS型传感器是特别有意义的，它可以一个一个像素位置地确定一个像素的值，不必像CCD传感器一样一行一行地再每行一个位置一个位置地取出像素值。

如图14所表示的，那时有可能实现对像素位置的一种可以变化的选择：取代(a)在整个图像上检查所有像素位置PP(大量的处理)，可以(b)只检查组成代表该驾驶员面部及其近邻环境(图像放大效应)的总体图像的一个规则网络的特定的网状像素PP；最后可以(c)选择一个特定区域ZP，通过仅处理该区的像素(处理功率恒定)。

在作为图9的变体的有同样参考座标的图15上，在驾驶员监视的最后阶段不仅可以看见眼睛区域，也可以看见鼻子N的n。的轮廓或暗斑的移动的观察使得可以改善包括眼睛的观察区的稳定性。

无庸置疑，本发明并不仅限于说明和描绘出的较好的实施例，也不限于上面提到的它的变化，相反，本发明包括归于在序言和附带的权利要求中给出的本发明的定义范围的各种修改、变化和改进。

Claims (15)

1.在汽车中连续不断监测驾驶员的注意力以检测和防止驾驶员任何可能的困倦的方法

在于

-产生至少驾驶员面部的连续图像的一个实时视频信号；

-连续不断地对此信号进行处理，以

·在此信号中检测有效对应于驾驶员头部图像的部分，

·确定和眼睑眨眼有关的一个参数的值，当驾驶员从清醒状态过渡到困倦状态时，在阈值的两边有显著变化，并且

·当此参数值超过该驾驶员从清醒状态转换到困倦状态的阈值时进行实时定位；并且

-针对该被超过的阈值，触发一个能够惊醒该驾驶员的报警器；

并且其特征在于

-一方面，通过在汽车上使用一个和后视镜相连的、确定尺寸并被安排得能基本上接收驾驶员坐着时的面部图像的，并且当后视镜定向正确时其接收光线的光轴指向驾驶员的头的光电传感器可以产生视频信号；以及

-另一方面，在连续不断地检测到该驾驶员在他/她的座位上之后，对所述的视频信号的处理在于：

·从对所述的视频信号的同样性质的连续两帧之间的移动像素的分析检测该驾驶员的水平运动，以在该视频信号的连续的各个对应帧中对该所述的驾驶员的面部进行对准在中部，

·从对所述的视频信号的同样性质的连续两帧之间的移动像素的分析检测该驾驶员的如此对准在中部的面部的垂直运动，以对他/她的眼睛进行对准在中部，

·从对所述的视频信号的同样性质的连续两帧之间的移动像素的分析确定该驾驶员的如此对准在中部的眼睛的连续眨眼时间长度，该所述的时间长度由此构成该所述的参数，

·将如此确定的这些连续眨眼时间长度和该驾驶员从清醒状态转换到困倦状态的一个重要阈值进行比较，并

·当该眨眼时间长度在上部超过该所述的阈值时，触发一个能够惊醒该驾驶员的警报器。

2.按照权利要求1的方法，其特征在于检测到驾驶员在他/她的座位上，这时确定检测到有大的运动的视频信号中同样性质的各个连续的帧中相应的像素的数目，并通过将此数目和该视频信号每帧的总像素数进行比较，以确定在代表移动的像素数目和每帧的总像素数目之间的比值是否超过从驾驶员不在他/她的座位转换到驾驶员在他/她的座位上的有效阈值。

3.按照权利要求1的方法，其特征在于，在为了对驾驶员的面部进行对准在中部的水平移动的各个检测阶段和为了对驾驶员的眼睛取帧的垂直移动的检测之间，提供有在该所述的部分和人的整个面部之间运用人体测量比例对眼睛进行对准在中部的很宽的阶段，但仅限于该被对准在中部的面部的包括眼睛及其周围邻近的一部分。

4.按照权利要求1的方法，其特征在于，和眨眼时间长度的测定阶段同时，提供有一个连续两次眨眼之间的时间间隔的测定阶段，而一当这些时间间隔呈现出不规则并超过一设定的阈值时，即触发一次强化报警。

5.按照权利要求1的方法，其特征在于，至少关于水平移动、垂直移动、眨眼时间长度、连续眨眼之间的时间间隔这些参数中的一种对数据进行不断的修正，以使当时在场并处于清醒状态的驾驶员能完成对这些参数的标准值的近似。

6.按照权利要求1的方法，其特征在于，该方法的不同的连续阶段是使用连续的计算机程序处理在从该所述的传感器得到的视频信号中相同性质的各帧的相应像素的连续值。

7.按照权利要求1-6中任一项的方法，其特征在于，该所述的传感器被安放在后视镜盒中在其镜面后面，该后视镜由一个双路镜面组成，所述的传感器的接收光轴(2a)和所述的汽车的垂直中央平面中定向的一个轴相对于和所述的双路镜面正交的轴(6)相对称。

8.在汽车中用于连续不断监测驾驶员的注意力，以检测和防止驾驶员任何可能的困倦的实施按照权利要求1至7中的任何一个的方法的装置，其特征在于它合并包含有：

a)一个光电传感器(10)，它和附带的电子电路(19)组合起来对应光束的接收产生一个带有相同性质的帧或相应的连续帧的视频信号，同时所述的传感器和汽车的后视镜(8)相连接并被选定尺寸和安排好能基本上接收驾驶员坐着时的面部图像，而当后视镜取向适当时传感器的接收光线的光轴(10b)指向驾驶员的头部(T)；

b)至少一个集成电路，它包含有：

-检测驾驶员在汽车中其座位上，并产生一个在位信号的装置；

-由此在位信号激活的装置，根据对所述的视频信号的相同性质的连续两帧之间移动的像素的分析对所述的驾驶员的水平移动进行检测，使得在该所述的视频信号的相同性质的连续的各帧中将他/她的面部(V)对准在中部，并在面部对准在中部结束时产生一个信号；

-由该面部对准在中部的所述的结束信号激活的装置，根据在和面部对准在中部对应的该所述的视频信号中相同性质的各连续帧部分的相同性质的连续两帧之间的移动像素的分析对该驾驶员的如此对准在中部的面部的垂直移动进行检测，使得在此信号的各帧的所述的部分中将所述的驾驶员的眼睛(U)对准在中部，并产生该驾驶员眼睛的面部对准在中部接尾信号；

-由该所述的眼睛对准在中部的结束信号激活的装置，根据在和眼睛对准在中部相对应的该所述的视频信号中相同性质的各连续帧部分的相同性质的连续两帧之间的持续时间；

-将如此确测定的这些连续眨眼时间长度和该驾驶员从清醒状态转入困倦状态的有效阈值进行比较的装置；以及

-当该眨眼时间长度超过该所述的阈值时，触发一个能够惊醒该驾驶员的报警器(22)的装置。

9.按照权利要求8的装置，其特征在于，该所述的检测该驾驶员在他/她的座位上并产生一个在位信号的该所述的装置由测定对其检测到有很大运动的该所述的视频信号中相同性质的各连续帧中的像素数目的装置、将此数目和在该视频信号中每帧的像素总数目进行比较以测定在表示一个移动的像素的数目和每帧的总像素数目之间的比值是否超过从该驾驶员不在他/她的座位转换成驾驶员在他/她的座位的有效阈值的装置。

10.按照权利要求8的装置，其特征在于，它还包含有由该所述的面部对准在中部结束信号激活、以在和该面部对准在中部对应的所述的视频信号的的各帧的该所述的部分中通过在所述的宽对准在中部和人的整个面部之间运用人体测量比值选择一个和包括眼睛及其周围近邻的驾驶员眼睛的宽的或粗的对准在中部相对应的缩减部分，以及产生一个眼睛的宽对准在中部结束信号，而此信号激活该所述的装置以检测该驾驶员面部的垂直移动。

11.按照权利要求8的装置，其特征在于，它包含有和该所述的测定连续眨眼时间长度以及因而被该所述的眼睛对准在中部结束信号，以测定连续两次眨眼之间的时间间隔，并在当这些时间间隔表现出超过一个设定阈值时触发一次强化报警。

12.按照权利要求8的装置，其特征在于，它包含有用于对关于水平移动、垂直移动、眨眼时间长度、连续眨眼之间的时间间隔这些参数中的至少一种的数据进行连续修正，以使当时在场并处于清醒状态的驾驶员能完成对这些参数的标准值的近似的装置。

13.按照权利要求8至12中的任何一个的装置，其特征在于，该光电传感器(10)-电子电路单元(19)组件产生一个包含有带有由一系列像素组成的一系列行的一系列相同性质的相应的帧的视频信号，并对该所述的视频信号进行处理以连续地

-在一帧和相应的前一帧之间从每个像素的数值或强度的变化减去

·一方面，一个标记为DP的二元信号，其两个可能的数值一个表示该像素数值的变化，而另一个表示该像素值不变，并且

·另一方面，一个标记为CO的数码信号，其可能数值的数目减少，此信号表示该像素值的这一变化的大小；

-以滚动方式将通过矩阵的同一帧的这两个信号DP和CO的数值按矩阵进行分布；以及

-从此矩阵分布得出要求的移动及其位置和方向参数。

14.按照权利要求13的装置，其特征在于，该所述的传感器(10)被安放在该后视镜(8)的盒中在该传感器的镜面之后，该镜面由一个双路镜面(9)组成，所述的传感器由经一个转动轴(17)和一个由该后视镜盒(8)在其内部支承的夹具相交的第一杆(13)的第一端支承。此杆(13)的第二端用一接口(14a、14b)被自由连接到经一个转动轴(15)和该后视镜盒(8)交叉的第二杆(12)的第一端。而所述的第二杆(12)的第二端被固定在前窗玻璃屏上方的车体上(5中)，使所述的传感器的接收光轴(2a)和在所述的汽车的垂直中央平面中定向的一个轴(2b)相对于和所述的双路镜面正交的轴(6)相对称。

15.按照权利要求14的装置，其特征在于，所述的传感器(10)、所述的联带的电子电路(19)和所述的集成电路由一个安装在后视镜盒(8)中的电子芯片构成。

Images