CN1460235A - 用于监控驾驶员驾驶注意力的系统 - Google Patents

Abstract

一种用于监控驾驶员驾驶车辆注意力的系统，该系统包括具有一定视野的照相机，其中驾驶员的脸部处于照相机的视野内。此系统还包括连接到照相机的眼神和面部姿势确定器，该确定器接收与驾驶员脸部图像相对应的信号进行分析。眼神和面部姿势确定器确定驾驶员的眼神和面部姿势是否朝向车辆行驶前方。此系统还包括对眼神和面部姿势确定器作出响应的报警器，以提醒驾驶员其眼神和面部姿势未朝向车辆的行驶前方。

Description

用于监控驾驶员驾驶注意力的系统

本发明涉及车辆的视觉系统，更具体地说，涉及一种监控驾驶员驾驶注意力的系统。

驾驶事故的一个主要原因是驾驶员的注意力未集中在驾驶任务上。这包括驾驶员未监视当前的路面状况(例如气候条件)以及未监视行车道上驾驶员车辆附近的其它车辆。驾驶员在驾驶时通常会遇到许多分心的事情。驾驶员遇到的干扰的示例包括看风景、行人、其它驾驶员和车辆，驾驶员疲劳和困倦，调节音响的控制，使用便携式电话，看镜子以及与乘客谈话。所有上述分心的事情会使驾驶员转移驾驶注意力，因此使得驾驶员丧失了对其车辆和路面上其它车辆之间的关系的察觉。

有利的是具有这样一种系统，该系统监控驾驶员的驾驶注意力并在驾驶员在一段时间内没有查看其车辆前方的行车状况时提醒驾驶员。

因此，本发明的一个目的是提供一种监控驾驶员的驾驶注意力的系统。

本发明的另一目的是提供一种监控驾驶员的驾驶注意力并提供听觉、视觉或触觉报警来提醒驾驶员将其注意力转向行驶前方的系统。

本发明的再一目的是提供一种用于监控驾驶员的驾驶注意力的系统，该系统克服了已知的驾驶员监控系统中的固有缺点。

根据本发明的一种形式，用于监控驾驶员驾驶车辆的注意力的系统包括具有一定视野的驾驶员监视照相机，其中驾驶员的脸部位于照相机的视野中，使得照相机可以捕获到驾驶员的目光和面部姿势的图像。该系统还包括连接到驾驶员监视照相机的目光和面部姿势确定器，该确定器从驾驶员监视照相机接收表示驾驶员脸部的图像信号以进行分析。

目光和面部姿势确定器提供了关于驾驶员的目光和面部姿势是否朝向车辆行驶的前方的指示。此系统还包括对目光和面部姿势确定器作出响应的报警器，用于提醒驾驶员其目光和面部姿势未朝向车辆行驶的前方。

根据本发明的另一种形式，用于监控驾驶员驾驶车辆的注意力的系统包括具有一定视野的驾驶员监视照相机，其中驾驶员的脸部位于驾驶员监视照相机的视野中，使得照相机可以捕获驾驶员的目光和面部姿势的图像。此系统还包括连接到驾驶员监视照相机的目光和面部姿势确定器，该确定器从照相机接收表示驾驶员脸部的图像信号以进行分析。目光和面部姿势确定器提供了关于驾驶员的目光和面部姿势是否朝向车辆行驶的前方的指示。此系统还包括对象监视照相机，该照相机具有一定视野并面向车辆以便监视车辆外面靠近车辆的区域；以及对象距离确定器，它在操作上连接到对象监视照相机。对象距离确定器识别处于对象监视照相机的视野内的物体，并确定所识别的物体到驾驶员车辆的距离。此系统还包括用于确定车辆速度的速度计和报警器。如果驾驶员的目光和面部姿势中的至少一项未朝向车辆行驶的前方，而且对象距离确定器识别到照相机视野内的某物体处于到车辆的预定距离内，那么报警器被启动，以警告驾驶员这一潜在危险，并且如果在一段预定时段内驾驶员的目光和面部姿势中的至少一项未朝向车辆行驶的前方，其中所述预定时段与车辆速度相关，则报警器被启动，以提醒驾驶员将其目光和面部姿势定向在行驶前方。

从以下对本发明说明性实施例的详细描述可以清楚用于在驾驶员驾驶其车辆时监控其注意力的系统的优选形式以及本发明的其它实施例、目的、特点及优点，该系统的最佳形式应与附图一起理解。

图1是根据本发明用于在驾驶员驾驶车辆时监控其注意力的系统的方框图；

图2是具有根据本发明的用于监控驾驶员驾驶注意力的系统的车辆的俯视图；以及

图3是车辆的部件被切掉并移去后的侧平面图，显示了处于包括了根据本发明的用于监控驾驶员注意力的系统的车厢内的驾驶员。

现在参考附图，图中显示了用于监控驾驶员驾驶车辆1的注意力的系统。此系统最好包括位于车辆内的驾驶员监视照相机12，使得该照相机的视野12’至少将驾驶员的头部14包括在内。驾驶员监视照相机12的输出端连接到图像处理器16，该处理器从驾驶员监视照相机12接收至少表示驾驶员的目光和面部姿势的图像信号。驾驶员的目光与驾驶员眼睛的方位有关，因此对应于驾驶员的视线方向。驾驶员的面部姿势对应于驾驶员头部的方位(即，头部是否偏离了或转向了车辆的行驶方向)。

系统还包括具有视野18’的对象监视照相机18，该照相机被设置成至少可监视车辆1的行驶前方。可以预见，对象监视照相机18可以监视车辆侧面和后面区域。还可以预见，可能需要多于一个对象监视照相机来监视车辆附近的区域。

对象监视照相机18监视车辆附近的区域，并响应于此监视而提供图像信号。对象监视照相机18的输出端连接到图像处理器16，该处理器从对象监视照相机18接收与处于视野18’内的车辆1附近的视界对应的图像信号。图像处理器处理图像信号，并将输出信号提供给显示器20，用于为驾驶员提供车辆1附近区域的视觉表示。在Kinoshita等人的专利USP 6114951中公开了一种适于用作驾驶员监视照相机12和对象监视照相机18的照相机，此专利的全部内容通过引用结合到本文中。

图像处理器16连接到对象距离确定器22，后者确定对象监视照相机18观察到的物体与车辆的相对距离。对象距离确定器22将输出信号提供给显示器20，显示器20为驾驶员提供位于对象监视照相机18的视野18’内的各物体离驾驶员车辆的距离的指示。

本领域的技术人员已知的许多系统可以提供物体离车辆的相对距离，例如雷达或声纳型系统，其中向物体发射信号然后信号返回到发射机，以便确定相对距离，以及立体照相机或单个照相机，其中对从照相机得到的图像进行分析以确定物体到车辆的距离，这些系统的例示有如授予Asayama的题为“汽车的障碍检测系统”的专利USP 5633705；以及授予Maekawa的题为“车辆的距离检测装置”的专利USP 5304980；以及授予Saneyoshi的题为“车辆的距离检测系统”的专利USP 5307136中所公开的，上述全部公开通过引用结合到本文中。

系统还包括连接到图像处理器16的目光和面部姿势确定器24。该目光和面部姿势确定器接收驾驶员监视照相机12产生的图像信号作为输入信号。目光和面部姿势确定器对由驾驶员监视照相机捕获的图像进行分析，并确定驾驶员的目光和面部姿势(即，驾驶员的目光和面部姿势是否朝向车辆行驶的前方)。最好根据下述文章的内容来确定驾驶员的目光和面部姿势：Thomas D.Rikert和Michael J.Jones的题为“利用可形态化模型的目光估计”(Proceedings of the ThirdInternational Conference on Automatic Face and Gesture Recognition，April 14-16，1998，pages 436-441)，和/或Srinivas Gutta，Jeffrey R.J.Huang，P.Jonathon Phillips和Harry Wechsler的“用于性别、种族本源和人类脸部姿势分类的专家混合”(in IEEE Transactions on NeuralNetworks，Vol.11，No.4(July 2000)，page 948-960)，上述全部公开通过引用结合到本文中。

系统还包括中央处理器(CPU)26，该处理器接收来自目光和面部姿势确定器24的输出信号和来自对象距离确定器22的输出信号作为输入信号。在CPU上还连接了定时器28和速度计30，其中定时器28被配置为提供驾驶员的目光和面部姿势未朝向车辆行驶的前方的时间指示(在下文中说明)；速度计30提供车辆行驶速度的指示。在CPU 26的输出端上连接了报警器32，后者提供报警信号以警告驾驶员其目光和面部姿势没有朝向行驶前方已超过预定时段(在下文中说明)。报警器可为驾驶员提供听觉、视觉或触觉信号，以提醒他将其目光和面部姿势转向车辆行驶的前方。在此优选实施例中，报警是既可听又可视的。

CPU 26最好监视由速度计30、目光和面部姿势确定器24和对象距离确定器22提供的输入信号，以通过报警器32提醒驾驶员危险行车条件是正在发展还是正在出现，从而提醒驾驶员重新将其注意力调整到车辆行驶的前方。在优选实施例中，如果CPU 26确定驾驶员的目光和面部姿势中的至少一项未朝向行驶前方，它就启动报警器32。CPU最好监视车辆的行驶速度，并允许驾驶员将其目光和面部姿势从行驶前方移开一段短暂的时间。此段短暂时间由行驶速度决定。例如，如果车辆以10mph(英里/小时)的速度行驶，则可允许驾驶员将其目光和面部姿势从行驶前方移开一段较长时间(例如2秒)，例如进行音响的调节或找到其便携式电话来打电话或接电话。在此段时间过去后，如果驾驶员仍未将其注意力转向行驶前方，那么将通过报警器提醒驾驶员应该这样做，随着行驶速度的提高，系统分配的允许驾驶员将其目光和面部姿势从行驶前方移开的时间将减少。这是因为随着车辆速度的增加，在紧急情况下需要更长的时间来停车或采取其它动作(驾车避开障碍)。

如上所述，CPU 26还从对象距离确定器22接收车辆附近的各物体的距离作为输入信号。当CPU确定驾驶员的目光和面部姿势中的至少一项未朝向行驶前方，以及对象和距离确定器识别到在照相机视野内存在至少一个物体且此至少一个物体到车辆的距离小于到车辆的预定距离，则启动报警器以警告驾驶员这一潜在危险。预定距离由车辆速度决定(例如，如果驾驶员的车辆以30mph的速度行驶，则安全的追随距离被设为100英尺)。

现在参考图2，图中显示了在诸如汽车、卡车、轻型卡车、运动用车、大篷车、公共汽车或摩托车的车辆上配置了用于监控驾驶员驾驶车辆的注意力的系统。显示器20最好如下所述地放置在驾驶员前方视野附近，从而为驾驶员提供物体与其车辆之间距离的指示。驾驶员监视照相机12可以安装/附着在仪表盘、仪表板、端板或挡风玻璃上常规由内部后视镜占据的位置处。照相机的大小和位置最好不会妨碍驾驶员的视野。

显示装置的尺寸最好使得它对驾驶员来说尽可能的自然。显示器的尺寸是显示图像的大小与驾驶员和显示器之间距离的函数。显示器最好位于驾驶员的生理视野内，不会明显妨碍驾驶员的前方视线。显示器可以是诸如背光或反射液晶显示器的直观平板显示器、等离子体显示器、场致发射显示器、阴极射线管电荧发光装置、发光二极管或可变形镜显示器。图像处理器产生的图像还可以采用其它显示技术来显示，以提供投影影像或虚像。或者，可以在视野前方附近不透明显示器上或者在透视平视显示器上显示虚像，其中图像重叠在驾驶员的前方视野上。

图3显示了车辆的内部车厢的侧视平面图，车厢内安装了根据本发明的驾驶员监视照相机12，以监控驾驶员的驾驶注意力。

尽管在上文中已经结合附图描述了本发明的说明性实施例，然而可以理解，本发明并不限于这些具体的实施例，在不背离本发明的范围和精神的情况下，本领域的技术人员可以对本发明进行各种修改。例如，可以预见，系统可以连接到加速器或车辆制动系统上，并且如果报警器被启动而且在另一段时间内驾驶员的目光和面部姿势没有回到行驶前方，则车辆的行驶速度就会逐渐降低，直到驾驶员将其目光和面部姿势转向行驶前方。还可以预见，如果确定驾驶员的目光没有朝向车辆行驶的前方但面部姿势朝向车辆行驶前方，那么系统可以推断驾驶员在打瞌睡，由此系统会通过打开车窗、提供可听/文字消息来提醒驾驶员停止驾驶休息一下、摆动方向盘或座位、和/或接通广播或在广播已接通时增大其音量，从而引起驾驶员的注意。

Claims (15)

1.一种用于在驾驶员驾驶车辆(1)时监控其注意力的系统(10)，所述系统包括：

-驾驶员监视照相机(12)，它包括一定的视野(12’)，所述驾驶员脸部位于所述视野内，以便观察所述驾驶员的眼神和面部姿势；

-眼神和面部姿势确定器(24)，它连接到所述驾驶员监视照相机并从所述照相机接收表示所述驾驶员脸部的图像信号，所述眼神和面部姿势确定器确定所述驾驶员的所述眼神和面部姿势是否朝向所述车辆的行驶前方；以及

-报警器(32)，响应于所述眼神和面部姿势确定器，用于提醒所述驾驶员其眼神和面部姿势中的至少一项未朝向所述车辆的所述行驶前方。

2.如权利要求1所述的系统，其特征在于，所述系统还包括：

-对象监视照相机(18)，具有一定的视野和定向，从而监视所述车辆外面靠近所述车辆的区域；以及

-对象和距离确定器(22)，在操作上连接到所述对象监视照相机，所述对象和距离确定器识别处于所述对象监视照相机的所述视野内的至少一个物体，并确定所述至少一个物体到所述车辆的距离。

3.如权利要求2所述的系统，其特征在于，所述眼神和面部姿势确定器(24)确定所述驾驶员的所述眼神和面部姿势中的至少一项未朝向所述车辆的所述行驶前方，并且所述对象距离确定器识别处于所述照相机的所述视野内的至少一个物体及其到所述车辆的距离，以及当确定所述至少一个物体到所述车辆的所述距离小于到所述车辆的预定距离时，所述报警器被启动，以警告所述驾驶员这一潜在危险并警告其将其眼神和面部姿势转向所述车辆的所述行驶前方。

4.如权利要求2所述的系统，其特征在于，所述对象和距离确定器识别处于所述照相机的所述视野内的至少一个物体及其到所述车辆的距离，并且当确定所述至少一个物体到所述车辆的距离小于到所述车辆的预定距离时，所述报警器被启动以警告所述驾驶员这一潜在危险。

5.如权利要求2所述的系统，其特征在于，所述系统还包括CPU(26)，该CPU在操作上连接到所述眼神和面部姿势确定器和所述报警器，所述CPU监视从所述眼神和面部姿势确定器接收的信号，并且如果所述驾驶员的眼神和面部姿势中的至少一项未朝向所述车辆的所述行驶前方，所述CPU就响应于所述信号而启动所述报警器。

6.如权利要求5所述的系统，其特征在于，所述系统还包括定时器(28)，所述定时器在操作上连接到所述CPU，用于计算所述驾驶员的眼神和面部姿势未朝向所述车辆的所述行驶前方的时间。

7.如权利要求2所述的系统，其特征在于，所述系统还包括：

-速度计(30)，用于测量所述车辆的速度；以及

-CPU(26)，在操作上连接到所述眼神和面部姿势确定器、所述速度计和所述报警器，所述CPU从所述速度计接收表示所述车辆的所述速度的输入信号，所述CPU根据所述车辆的所述速度监视从所述眼神和面部姿势确定器接收的所述信号，

-其中，如果所述CPU确定所述驾驶员的所述眼神和面部姿势中的至少一项未朝向所述车辆的所述行驶前方一段预定时间，所述预定时间对应于所述车辆的所述速度，则所述CPU启动所述报警器，以提醒所述驾驶员将其眼神和面部姿势转向所述车辆的所述行驶前方。

8.如权利要求7所述的系统，其特征在于，所述系统还包括定时器(28)，所述定时器在操作上连接到所述CPU，用于计算所述驾驶员的眼神和面部姿势未朝向所述车辆的所述行驶前方的时间。

9.如权利要求1所述的系统，其特征在于，所述系统还包括速度计(30)，用于测量所述车辆的速度，其中如果所述眼神和面部姿势确定器确定所述驾驶员的所述眼神和面部姿势中的至少一项未朝向所述车辆的所述行驶前方一段预定时间，则启动所述报警器，以提醒所述驾驶员将其眼神和面部姿势定向到所述行驶前方。

10.如权利要求9所述的系统，其特征在于，所述预定时段由所述车辆的所述速度确定。

11.如权利要求1所述的系统，其特征在于，所述报警器是听觉报警器、视觉报警器或触觉报警器之一。

12.一种用于在驾驶员驾驶车辆(1)时监控其注意力的系统(10)，所述系统包括：

-驾驶员监视照相机(12)，它包括一定的视野(12’)，所述驾驶员脸部位于所述视野内，以便观察所述驾驶员的眼神和面部姿势；

-眼神和面部姿势确定器(24)，它连接到所述驾驶员监视照相机并接收来自所述驾驶员监视照相机表示所述驾驶员脸部的图像信号，所述眼神和面部姿势确定器确定所述驾驶员的所述眼神和面部姿势是否朝向所述车辆的行驶前方；

-对象监视照相机(18)，具有一定的视野和定向，从而监视所述车辆外面靠近所述车辆的区域；

-对象和距离确定器(22)，在操作上连接到所述对象监视照相机，所述对象和距离确定器识别处于所述对象监视照相机的所述视野内的物体及其到所述车辆的距离；以及

-速度计(30)，用于确定所述车辆的速度；

-其中，如果确定所述驾驶员的所述眼神和面部姿势中的至少一项未朝向所述车辆的所述行驶前方，并且所述对象和距离识别器识别到所述照相机的所述视野内的物体在到所述车辆的预定距离内，则启动所述报警器，以提醒驾驶员将其眼神和面部姿势转向所述车辆的所述行驶前方；以及

-其中，如果确定所述驾驶员的所述眼神和面部姿势中的至少一项未朝向所述车辆的所述行驶前方一段预定时间，则启动所述报警器，以提醒所述驾驶员将其眼神和面部姿势转向所述车辆的所述行驶前方。

13.如权利要求12所述的系统，其特征在于，所述预定时段由所述车辆的所述速度确定。

14.如权利要求12所述的系统，其特征在于，所述系统还包括CPU(26)，它在操作上连接到所述眼神和面部姿势确定器和所述报警器，所述CPU监视从所述眼神和面部姿势确定器接收的所述信号，并且如果所述驾驶员的所述眼神和面部姿势中的至少一项未朝向所述车辆的所述行驶前方，则所述CPU就响应于所述信号而启动所述报警器。

15.如权利要求12所述的系统，其特征在于，所述系统还包括定时器(28)，用于计算所述驾驶员的眼神和面部姿势未朝向所述车辆的所述行驶前方的时间。

Images