CN1802273B - 根据被解释的驾驶员活动控制车辆子系统的方法和装置 - Google Patents

Abstract

本发明涉及根据被检测的驾驶员对车辆驾驶任务疏忽的水平来控制车辆子系统的方法和装置。在基本实时基础上测量可变特征，该可变特征与驾驶员的疏忽相关。至少部分地根据所述测量评估疏忽水平。因此根据这些，使车辆子系统的性能，例如巡行车速控制或车道保持支持，适合来确保车辆行为与驾驶员的当前疏忽水平适当地相符合。控制子系统的操作，试图当驾驶员的疏忽水平增加时避免或防止变为固有更危险的驾驶员状态的建立。

Description

根据被解释的驾驶员活动控制车辆子系统的方法和装置

相关申请的对照

本专利申请要求2003年6月6日提交的美国临时申请No.60/320,253的权益；所述申请作为参考其全部内容清楚地被包含在本文中。

技术领域

本发明涉及有利于驾驶员安全的系统和方法；具体涉及根据所测量的当前存在的驾驶员对驾驶任务的疏忽水平来控制车辆子系统的策略的适应。

背景技术

所有类型车辆的驾驶员经常没有意识到困倦和注意力分散对他们自己的车辆控制能力的影响。一般来说，人，尤其是驾驶员对他们自己执行能力的判断力是很差的。通常，驾驶员对于他或她的能力的自我印象总是比实际的要好。即使是具有基本良好驾驶技术的人，在车辆方向盘后面时也不会一直没有变化地表现。而且，在驾驶途中，很多时候关于驾驶任务的执行几乎没有要求摆在驾驶员面前。所以驾驶员昏昏欲睡，进入几乎没有注意力在驾驶任务上的精神状态。一点也不奇怪，驾驶员疏忽是撞车特别是汽车碰撞的导致因素。根据国家公路和交通安全管理局(NHTSA)对一年中超过三百五十万拖走的事故的研究，驾驶员的疏忽是撞车的主要原因，估计占事故的百分之二十五到五十六。在该项研究中，疏忽被定义为包括三个成分：视觉分散，精神分散(望着却没有看见)和困倦。由疏忽而导致的普遍的撞车类型是：后端碰撞、交叉处碰撞、车道改变或车道合并时的碰撞、道路偏离、单个车辆的碰撞以及发生在低速限制道路上的碰撞。

驾驶员困倦是很常见的。至少一个调查表明，被调查的驾驶员中有百分之五十七的人在以前年度中曾在驾驶时倦睡，百分之二十三的人竟然在方向盘上睡着了。众所周知，疲劳损害驾驶员的行为能力、警觉性和判断力。由于困倦导致的碰撞是严重的道路安全问题，估计疲劳涉及到所有碰撞事故中多达百分之二十三。

从技术角度看，可被用在车辆内的、正在进行的和迅速增长的新的信息系统和功能性，包括移动电话、导航系统、互联网以及其他类型的电子设备。由于移动电话的广泛使用，它们对驾驶员的影响在公众眼里是首要的，但导航系统和IT设备的销售也在快速增长。估计在美国仅仅移动电话就在一年中导致了300-1000件死亡事故，预计在2004将达每年4000件死亡事故。注意力分散，例如使用手持电话、读标志信号、吃东西、与其他乘客相互影响、观察事物和操作车内的设备，都有可能过度地引起驾驶员的注意力，因此危及安全。尤其重要的是，当这些新类型的运行和活动在驾驶环境中变得越来越普遍时，应该不损害驾驶安全。

由于使用这些新的功能性和技术，驾驶员工作负荷增加.在上下文中，“工作负荷”应被理解为指的是人有多忙和进行所需任务需要的劳动强度.当驾驶员有许多事情要做并正经历高工作负荷时，对驾驶员有高度注意的要求，因为同时有很多事要做.驾驶员经常注意与车辆的驾驶员控制不相关并因此与驾驶状态技术上不相关的事情.这些事情经常被称为次要任务，并且是使驾驶员对首要驾驶任务的注意力分散的可能分心事物.当驾驶员的注意力被吸引以致剩下的对驾驶的首要控制任务的注意力不足时，次要任务就变成了“分散(distraction)”(包括视觉、听觉、认知和生物力学的分散).结果，损害驾驶行为能力，例如车道保持和速度控制，最终危及安全.

驾驶任务和次要任务在某种意义上相互重叠，一些次要任务是与驾驶相关的，如图1中所图示的。从驾驶任务和次要任务之间的这种关系产生了两个难题。第一，很难描绘次要任务信息是“与驾驶状态不相关的”和它不是“与驾驶状态不相关的”；第二，某些与驾驶相关的次要任务，例如寻找道路标志或计划驾驶路线，也可能危及安全，如图1所示。

也应该理解，驾驶员经常忽视对驾驶任务注意分散的影响。同样，驾驶员不能可靠地确定何时他们受到疲劳的损害，以致到警觉性严重下降或不可控制的睡意袭来的程度。本文中概述的注意管理系统旨在通过帮助在困倦、注意力分散和/或高工作负荷状态的驾驶员而提高安全性。

发明内容

如图15具体示出的，本发明的至少一个实施例采用了一种控制车辆子系统的方法，该方法根据所检测的驾驶员对车辆驾驶任务的疏忽水平。与驾驶员对车辆驾驶任务的疏忽相关的可变特征是基于基本上实时基础测量的。然后，至少部分地根据所测量的可变特征，估计驾驶员对车辆驾驶任务的当前疏忽水平。这前两个步骤如图14的上两个方块所示。在评估了驾驶员的疏忽水平之后，在此基础上使车辆子系统的性能相适应，以这样方式，确保由所关心的子系统所控制的车辆行为适当地与驾驶员当前的疏忽水平相配。最后一步通过将它插入到图14的下方块而示出，取代了提供驾驶员估计反馈(Provide DriverFeedback of Assessment)。

附图说明

图1为驾驶员任务和驾驶员次要任务的相互关系的图解表示；

图2为代表注意管理系统的一个实施例的框图，该注意管理系统包括用于感测、计算、HMI和供电的硬件和功能模块；

图3是一个平台的图解表示，在该平台上几个困倦管理对策可被示例性地执行；

图4描述了对驾驶员的可能显示警告的典型表示；

图5描述了一个典型的交互式驾驶员响应面板；

图6描述了驾驶员凝视重定向的一个典型实施例；

图7图解地描述了驾驶员疏忽地构成成分的相互影响；

图8(a)-(c)表示用于显示实时驾驶员信息的各种“活动的”图形显示；

图9提供了与注意力的最佳水平的指示比较的实时驾驶员反馈；

图10提供了用于被检测的增加的工作负荷/疏忽水平的基础的典型格式化的说明的图示；

图11提供了屏幕上的行程后(post-trip)反馈的示例图示；

图12提供了用于前方碰撞情况的平视(heads-up)或屏幕显示器的警告的示例图示；

图13提供了关于车道改变碰撞情况的平视或屏幕显示器的警告的示例图示；

图14是用于系统和方法的示例流程图，其中量度是由驾驶员生理特征构成，例如头和/或眼睛运动。在另一步中，行为参数被估计，例如驾驶员疏忽或注意负荷的程度。再在另一步中，把关于该估计的反馈给驾驶员；

图15是说明本发明主要特点的图解表，本发明的主要特点包括测量和估计驾驶员疏忽，然后基于此控制车辆子系统。

具体实施方式

对驾驶任务的疏忽是车辆事故的主要原因。疏忽(inattention)(也被称为不注意(inattentiveness))是一种源于驾驶员内的并具有多种原因的精神状态。本文中概述了困倦、分散和高工作负荷的概念，并将它们作为疏忽的原因在图7中图示出。而且，疏忽也可由其他因素导致。人们都知道，驾驶员对驾驶任务的不注意也可源于酒精、非法毒品、处方药物、医疗条件、衰老和驾驶员的经验不足的影响，或者至少由于这些影响使之症状性加强。

这些疏忽的原因具有不同的症状或者行为“特征”，同样地，有时最好使用特制的传感器和/或检测算法被识别。例如，困倦检测可以利用测量眼睑打开的传感器，高工作负荷的检测可以利用横摆角速度传感器，而注意力分散的检测可以利用跟踪驾驶员的头部或眼睛位置/运动的凝视传感器。根据可应用的车辆子系统或功能改编许多特定数据处理计算。

巡行车速控制是常见的现代车辆的车辆子系统或功能，它作为驾驶员任务由车辆自动执行的例子。其目的是使车辆保持以驾驶员设定的恒定速度行驶。尽管有例如斜坡或风的干扰，控制机构保持该速度。通常，要求驾驶员开启该系统并指出想要的速度。如果由于某种原因，当接近转弯时驾驶员希望减慢车速，停止，或者如果以较慢速度在同一车道行驶的车辆相遇，那么驾驶员可以脚踩刹车或离合器，按下按钮或者指示巡行车速控制应该解除其要达到所述想要的速度的目的，并且该系统置于备用状态(stand-by mode)。通过按下恢复按钮(或其他指示)，巡行车速控制将试图调节车速、加速或减速以便实现以前的设定速度。允许该设定速度由驾驶员调整到一个新的想要的速度，也很常见。任何时候，该系统可以被关掉并且让驾驶员用他自己的动作保持速度，通常通过脚踏板控制来保持速度。

巡行车速控制减少了为了保持一定速度、驾驶员必须作出的监视量和动作量。然而，目前可用的巡行车速控制要求当它应该被解除时要检测驾驶员的注意力。如果驾驶员没有检测到即将来临的危险，例如停止的车辆，则该系统将不会自动停止。

由于对驾驶任务的注意减少，困倦的驾驶员有睡着并对潜在碰撞未察觉或是反应迟的趋向。使用巡行车速控制在设定速度下工作时在驾驶中睡着的驾驶员将不能够反应和察觉何时合适将巡行车速控制切断并作用制动器。类似地，注意力从驾驶任务转移的驾驶员，例如由于读地图或书，也不能够适当地察觉到潜在碰撞并降低速度。存在巡行车速控制接通并且驾驶员疏忽的车辆本来就是危险的，或者至少可能是危险的。由于存在这样的可能性，也就是，使用车辆的困倦的驾驶员可能在巡行车速控制启用时入睡，并且与其他情况相比，事故更可能发生在较高速度下，所以消费者可能决定不购买巡行车速控制的功能。因此，本发明认识到，希望相对驾驶员的疏忽状态使如巡行车速控制的系统的性能相适应。

自适应巡行车速控制是最新引进的自动车辆功能，它可执行与常规巡行车速控制同样的基本任务，但有一点例外。当前方没有物体或在比设定速度更慢的速度下行驶的车辆时，自适应巡行车速控制功能将维持车速在想要的水平。当遇到较慢的前方车辆时，带有自适应巡行车速控制的接近车辆将减速以保持与前方车辆的预定间距或时间间隔。自适应巡行车速控制功能类似的是可能危险或本质危险的，在于它将维持设定速度，即使驾驶员疏忽时也如此。

根据本发明的教导希望可控制的车辆的另一个子系统是车道保持支持。在这个子系统中，使用传感器来检测车辆行驶的车道的轨迹。如果车辆路线偏离中心轨迹(或者车道的其他规定定向)，车道保持支持子系统与车辆的转向相互作用，而将车辆引导到相对车道的规定位置。通常，这个功能部件用可控制的伺服马达来实现，伺服马达与车辆转向系统相互连接。像巡行车速控制一样，这个本来有利于驾驶员的功能部件实际上在一定条件下也表现出危险，尤其在高度疏忽的时候。例如，疏忽的驾驶员可能使车辆驶入行驶车道中的障碍物，而如果驾驶员注意力集中的话，他或她将绕开障碍物。至于巡行车速控制，同样的疏忽驾驶员也会让巡行车速控制的车辆驶入障碍物。

在本发明的一个方面，使用关于驾驶员分散或困倦程度的信息来控制车辆的某些方面，包括正在操作的或可操作的子系统。仅作为一个例子，驾驶员困倦和/或分散的阈值度被应用到如车辆巡行车速控制和/或车道保持支持这样的系统上。为了使至少增加的事故最小化，当超过了预定的驾驶员困倦和/或分散水平，车辆的巡行车速控制可被控制以断开，或减慢车速。也可关于驾驶员启动车辆巡行车速控制实施相似的阈值。如果驾驶员没有充分地注意，则可以防止例如巡行车速控制和车道保持支持这样的系统启动，直到驾驶员的注意水平达到可接受的范围。也应该认识到，当接近切断阈值时，在切断巡行车速控制之前，可以有利地执行驾驶员警告。这方面尤其可以应用到车道保持支持的失效，因为很重要的是，驾驶员应能够在子系统切断时控制车辆。

从巡行车速控制和车道保持支持的两个例子中，可以清楚的看到，在车辆上有益于驾驶员的某些子系统有很多，但在驾驶员疏忽度升高的某些条件下，这些子系统实际上增加了驾驶危险。因此，可选择的子系统-(1)巡行车速控制和(2)车道保持支持-为实施本发明的控制车辆子系统的方法提供了两个说明性的实施例，该方法是根据检测到的驾驶员对车辆驾驶任务的疏忽水平。最初，基于基本上实时基础测量与驾驶员对车辆驾驶任务的疏忽相关的可变特征。在紧接着的描述中，实际上使用限定器来指示从绝对实时的微小偏差是可接收的，但是应该足够快速的测量以便表示在所关心的时间驾驶员的状态。被测量和估计的可变特征可以是驾驶员的直接生理特征，例如如上所述的眼睛闭合或头部位置，或者，例如，可以是车辆特征，例如横摆角速度，它是驾驶员手的运动的间接测量。无论如何，被测量的特征与驾驶员的一个方面直接相关，被解释为驾驶员疏忽水平的预测物、预兆或者指示物。

在估计驾驶员的疏忽水平后，根据此使车辆子系统的性能相适应，以这种方法，保证由所关心的子系统控制的车辆行为与驾驶员的当前疏忽水平适当地相配.在巡行车速控制和车道保持支持的两个例子中，可选择各自的疏忽预定水平(可以一样，也可以不同).当所测量的疏忽水平超过了各自的极限时，防止子系统-巡行车速控制和车道保持支持功能部件-被驾驶员启用.这种对子系统启动的限制的目的容易理解；如果驾驶员非常疏忽，不管原因如何，都不希望车辆自驱动(巡行车速控制)或自转向(车道保持支持)而碰撞.

因此，本发明的进一步发展是控制子系统的操作以当驾驶员疏忽水平增加时避免(降低可能性)或防止本质更危险的驾驶情况的建立。在来看巡行车速控制和车道保持支持的例子，当子系统控制车辆时，驾驶员变得对驾驶任务越不注意，驾驶情况将越危险。驾驶员越疏忽，他或她的感知、信息处理和动作/反应时间就越慢。

如上述的其他方面，被估计的现有对车辆驾驶任务的疏忽水平可以是根据下列特征的一个或多个：工作负荷；分散；困倦；和损伤，例如酒精和药品作用。

防止子系统实行上述的危险驾驶情况的一个方法是，当确定(估计)驾驶员疏忽超过预定的阈值水平时，防止子系统的接通。这样的阈值的例子可以是用于估计扫视行为的安全的EU推荐的四个扫视、US的2秒单个扫视持续期或者美国汽车协会(American AutomobileAssociation)推荐的十秒总扫视持续期。

或者，作为防止上述子系统接通的加强形式，在驾驶员的当前疏忽水平的估计已经超过了预定阈值水平后，基于自动，本发明也可以通过切断车辆子系统的性能来起作用。至于巡行车速控制的例子，安全的切断更好是直线向前；到驱动轮的动力被切断并且使车辆开始滑行。如上所说明的，在车道保持支持的例子，在切断前，必须作出保证，驾驶员易于对车辆转向采取立即控制。通过例子，驾驶员对方向盘的脉冲挤压可被要求作为车道保持支持切断的先决条件。

为了防止驾驶员对子系统的切断感到吃惊，有利地，可提供预警告。

此外，本发明还打算允许驾驶员中止车辆子系统的自动切断。例如，有可能疏忽估计是错误的，因此操作员优先将是有利的。

在巡行车速控制是所考虑的子系统的例子中，也可认为，本发明可以当检测到过分疏忽时实行巡行车速控制的设定速度的降低，因此控制所建立的驾驶情况的子系统设立的危险。

本文揭示的注意力管理系统和方法的一个目的是通过在困倦、分心、和/或高工作负荷状态下辅助驾驶员来增加安全性。对于多个注意力管理系统，提供了功能描述，它的特征是包括困倦管理器、分散管理器、用于前方碰撞和车道改变警告系统的分散自适应的管理器，和工作负荷管理器，根据所观察的或者由驾驶员视觉行为推导出的驾驶要求估计来至少部分工作负荷管理器。也描述了硬件系统，它可以适当的被用于执行这些驾驶员注意力管理任务。也描述了基于人机交互作用(HMI)的、用于即时困倦和分散管理器发展的“平台”，如描述了连续和行程后的注意力反馈系统。HMI方法的一个目的是通过提供迫近碰撞警告和注意力反馈来消除驾驶员的不专心，以便产生积极的行为改变。

也可描述一种系统和方法，它们能够在车辆中实施注意力管理概念，包括在其上实现功能的示例的硬件。在这儿提出几个基本的问题和目标，包括：驾驶员需要什么样的视觉导出的支持，并且应该怎样概念化以获得认可；可怎么应用驾驶员视觉行为的实时识别来降低驾驶错误和防止事故；商业的实现可行性是什么。对于示例性的困倦管理器；分散管理器，向前碰撞和车道改变警告系统的分散自适应；和工作负荷管理器，给出了功能描述。也包括用于从视觉行为实现驾驶要求估计的系统和方法。

这些系统和方法的一个或多个被独立地，也被集合地，描述为补充所谓注意力管理系统.这些系统的一个可能元件是注意力支持试验检测器，它可以用来执行这些系统和方法用于证明和试验.这里也描述了由视觉行为估计驾驶要求的例子.

在一个实施例中，注意管理系统包括用于(1)感测、(2)计算(3)、HMI和(4)供电的硬件。装置或功能模块可如图2所示示例性的配置(相互关联)，并适合于在如汽车和卡车这样的车辆中实施。

使用视觉行为传感器，例如可从SeeingMachines公司获得的传感器，并且它适应于被安装在车辆上。这种类型的系统可以包括(1)立体摄像头，(2)个人计算机(PC)和(3)合适的驱动软件。也可以选择使用以商品名SMARTEYE的制造和销售的视觉行为传感器。

车辆性能信号可以从CAN总线中获得。也可以使用方向盘角传感器，和车道跟踪硬件和软件。使用注解盒和视频记录硬件。使用车载个人计算机或类似的能够计算的设备。或者，尤其为了有助于测试和实施，可以使用膝上型计算机，它典型的运行如“Director”和“Simulink”这样的软件。也可安装并使用xPC。从硬件的角度看，可以使用LED控制器硬件。经由计算设备提供音频HMI(警报声，记录的信息)。也可使用触摸式屏幕用于用户输入。应该理解，这些实施例中的一些适合于产品研制并有助于系统测试，但是被商业化时，少数元件可以被直接合并到车辆中。

可包括座椅振动装置或类似的驾驶员告警器。在优选的实施例中，利用了LED HUD(警告显示)。也可使用由LED控制器控制的LED列阵(显示)。用于整个系统的供电可以从运载车辆上分接。

困倦管理器可在两个构造中实现。在第一个例子中，这是完全基于PC的；也就是说，不要求外部硬件或外部通信性能。这个实施例是基于情境(scenario)的；也就是说，基于real PERCLOS(该分析考虑扫描模式、注视的数量和长度、迅速扫视反应时间等)而不是基于实时跟踪困倦事件(情节)。硬件功能通过如视觉显示(例如基于LED或HUD)的刺激或者例如座椅振动的物理刺激激励驾驶员。在另一个实施例中，执行HMI硬件和Simulink通信。

这样的“平台”是所希望的，在这个平台上可以执行几个困倦管理器对策，并且在其上可以进行试验。图3示意性地表示了这种实施的一个示例性平台。

图3的说明可以被看作描绘了director程序。这样一种配置易于关于不同HMI元件改变；例如，以便提供(1)向驾驶员的连续信息流，提供(2)提醒警告，(3)引入注意的危险报警，(4)驾驶员响应测试，(5)行程后(post trip)简略情报，和(6)操作员输入建立菜单。

提供向驾驶员的提醒警告是有帮助的。驾驶员能够在不同警报模式间选择，但是不能够完全使警报无效。举例来说，可以向驾驶员播放嘟嘟声，例如“<困倦原因的自动插入>，’休息一会儿’”，嘟嘟声之后跟随着可选择的声音信息警告。图标可选择地显示给驾驶员，图标可以单独显示，或结合音频警告，或者与警告的打印型式一起显示。

示例性的图标如图4(a)-(d)所示，用于(a)大程度的眼睛闭合的检测，(b)不一致转向的检测，(c)不一致的车道保持的检测，和(d)驾驶员困倦检测。可根据检测到的驾驶员情况同时显示这些图标中的一个或多个。

在另一个实施例中，包括话筒，从而驾驶员可以记录或提供他或她自己的报警，非常像在电话答录机和其他可用户化的音频回放设备中。

在又一个实施例中，应用驾驶员物理激励警告.优选地，驾驶员可以在建立菜单中的警告类型之间选择，但在至少一个实施例中，防止操作员使物理警告完全无效.这种物理激励的一个例子是座椅振动.

在另一型式中，可以使用闪烁的“HUD”LED来强烈地激励驾驶员；重复，单独或与本文描述的其他类型的警告相结合。在一个优选的实施例中，向驾驶员提供多达三种所述警告类型的能力，有效时能够同时显示这些警告。

还提供驾驶员响应功能；即，对信号的反应时间。关于这种功能，驾驶员既能够使之有效又能够使之无效，也可在建立菜单中的警告型式之间选择。

在预定的时间内，例如5到8秒后警告，驾驶员响应功能工作。例如，可以是嘟嘟声，同时在触摸屏幕上显示在按钮下面的文字“Press”，如图5所示。如果驾驶员没有在预定时间内作出反应，或者根据某些其他的基于反应时间的逻辑，那么将会发出警报。这将持续直到驾驶员停止车辆、变得思维敏捷和这一事实是系统检测到的，或者驾驶员关闭该功能。

分散管理器可被示例性地在两个实施例中实施。在第一个实施例中，分散管理器是完全基于PC的，不带有外部硬件或通信性能。它是基于情景的：也就是说，给出分散事件的时间线而不是实时的。模拟硬件功能。第二实施例是基于包含实时通信功能的硬件工具的。

本公开的另一方面是基于安全阈值的注意力分散警告。提供警告来告知驾驶员危及安全的注意力分散行为。如上文所知，驾驶员经常意识不到他们分心对驾驶能力的影响。因此，基于安全的注意力分散警告的目的是给驾驶员提供关于驾驶控制任务执行下降的反馈。也就是，如果检测到注意力分散(即，扫视行为超出适当的安全阈值和/或车辆性能在扫视行为的过程中变差)，那么系统提供一个或多个下列警告。可以提供如简单的嘟嘟声的声音，或特定性能的声音信息，参考该信息已经检测到执行下降。例如，如果扫视行为高于扫视安全阈值标准(例如，EU推荐的4个扫视或2秒单个扫视持续期，美国汽车协会推荐的10秒总扫视持续期)那么可发出“检测到视觉分散”或“眼睛过度离开道路”的信息。如果在次要任务扫视行为期间转向偏离，那么可发出“在视觉分散过程不一致转向”的信息。如果在次要任务扫视行为期间车道保持偏离了，那么可提供如“在视觉分散过程不一致的车道保持”的信息。如果在次要任务扫视行为期间检测到大的减速，那么可以发出如“在视觉分散过程大的减速”的信息。如果检测到多种原因，那么可发出如“检测到视觉分散”的总的信息。如果在次要任务扫视行为期间检测到控制任务干扰，则在道路类型的不同要求水平，发出相应的警告。警告的形式可以包括驾驶员记录的或提供的信息，座椅前部中的座椅振动或者如下所述的凝视重定向。

在另一个实施例中，可使用关于驾驶员注意力分散或困倦的程度的信息，来控制车辆的某些方面，包括正在操作的或可操作的子系统。仅作为一个例子，驾驶员困倦和/或注意力分散的阈值度被应用到如巡行车速控制的系统上。为了使至少上升的事故最小化，当超过预定的驾驶员困倦和/或注意力分散水平时，可以控制车辆的巡行车速控制切断，或者减慢车速。也可以执行相似的阈值，用于使巡行车速控制启动。如果驾驶员没有充分注意，则可防止如巡行车速控制这样的系统起动，直到驾驶员注意水平达到可接受的范围。也应该认识到，当接近切断阈值时，在切断巡行车速控制之前，可以有利地执行驾驶员警告。

当考虑这样的车辆系统倾向于使驾驶员从驾驶任务中解脱出来从而有助于放松，而放松促进了过度的困倦，如困倦检测的这些特征尤其重要.

这里揭露了一个新的概念-“凝视重定向”，如图6所示。在那里，如果检测到驾驶员分散时，界面将驾驶员的眼睛定向到前方驾驶景象(即，通过前方挡风玻璃)。例如，根据检测到的驾驶员凝视的地方，发出沿着三个LED“线”(左、中或右)中的一个或多个的一道光波。在一道光波之后，一个大圆圈可以照亮，然后LED的中心线将照亮；它们的目的都是为了在需要处更清楚地集中驾驶员的注意力。几个LED光的精确位置和定时不是关键，颜色也无所谓。事实上，定时可以是下意识的；也就是说，只要它们不被有意识地察觉出。或者，适当的光首先慢慢的闪并且驾驶员由系统估计以确定是否发生了校正的行为。如果没有，可以增加闪烁定时以及光的强度。

在另一方面，工作负荷管理的概念与从驾驶员的视觉行为导出的驾驶要求评估结合。一般来说，“工作负荷管理器”的概念是一个按优先顺序排列的系统，该系统将信息分类并可能地延迟将信息展示给驾驶员，直到他或她地工作负荷足够低以便可以避免与信息接收相关的危险。可是使集成的车内信息系统的界面适应于保证将正确的注意给予驾驶任务。这里提到的注意力分散管理算法的输出可以用作工作负荷管理器的输入。

本文揭示的该类型的工作负荷管理器使用驾驶要求视觉活动量度，精确地测量驾驶员工作负荷。这是驾驶员是如何“视觉活动”的量度；也就是，头部和眼睛运动(转动)变率。在2002年10月15日提交的美国临时专利申请60/418,171号中详细描述了头部和眼睛运动的量度。这篇专利申请的公开作为参考明确地包含在本文中，包括那里描述的“视觉活动”算法。而且，驾驶要求视觉活动量度也使这里所述的工组负荷管理器HMI中的新功能运行。

工组负荷管理器的一个方面是暂停可听的交谈或信息的对话。作为例子，这包括系统启动或自动启动信息(例如文本到语言的电子邮件和非重要的导航系统信息)，随机启动的口头对话(例如打进和打出的电话交谈)在高度视觉活动期间可以被暂停。

作为一个例子，一系列电子邮件可被传送到驾驶员，例如，来自存储器中的十封新的电子邮件由本文到语言系统大声“读”出。在这种音频传送过程中，由管理系统检测高驾驶员视觉活动的时期。在响应时，系统暂停音频传送来避免增加驾驶员的注意力负荷超过预选水平；这种水平与注意力负荷相应，超过该水平将损害驾驶能力。随意的，管理系统可以包括通过音调或类似物向驾驶员指示这样打断的音响指示，这也可以作为对驾驶员高注意力负荷情况的通知。根据驾驶员启动或系统启动可恢复音频传送，驾驶员启动或系统启动取决于系统检测到注意力负荷大大减小以达到预选水平，该水平相应于对于驾驶员接收这样的音频信息的安全情况。

在另一方面，通过被揭示的管理系统能够进行连续和/或行程后的注意力负荷反馈.按照基本的人类行为特征能够进行这个方面，该特征通常被称为反馈原理，这种原理一般认为：反馈提高了性能.这对于任务/技巧学习(如学习安全驾驶)和工作动机都是正确的.如上所知，驾驶员通常对自己表现的判断力很差.对任务/技巧表现的直接、准确、及时和连续信息的可获取程度是提高的驾驶员表现和动机的关键因素.注意力反馈构成了固有的驾驶反馈的形式，该反馈至今还没有被驾驶员利用.该途径是积极的行为适应和生活方式改变之一，而不是急迫碰撞警告.例如，一些研究者相信，用于提高的警觉的主要机制是“决断影响”.决断影响的概念规定，这种本性的信息(驾驶员注意力负荷和警觉状态)将影响驾驶员关于是否要停下来休息、喝咖啡、减少酒精消耗或改变其他这类行为的决断.

注意力反馈的目的在于鼓励在多个时间范围中的一个或更多上积极的行为改变，例如：(1)立即(例如，像改变姿势或中止复杂任务的短期补偿行为)；(2)行程(例如，为了小睡的停止，关掉移动电话)；(3)日常(在低注意力的一天后更多地睡觉，从前座椅去除视频屏)；(4)和长期(采取不同睡眠生活方式或注意力分散的态度)。这种反馈增加了驾驶员疏忽行为的自我意识并使他能够更好地自我管理。

考虑两个主要的反馈类型。第一是连续的车内反馈，它向驾驶员提供实时的注意行为信息，例如驾驶中表现的信息。这个信息是以下述方式通信的，它本身不危害安全。该概念要提供一类注意力测量计、警觉测量计(警觉-o-测量计)，或安全/不安全的驾驶行为测量计。第二种反馈类型是行程后的反馈，一旦停止驾驶，它就向驾驶员提供更具体的注意行为信息。

保存行程后反馈“以便归档”进一步允许基于车队的安全反馈集中在源行为，该源行为与例如事故的结果量度相反。可能有助于驾驶员接收的一个选择是提供定向天线系统(tiered system)。在这种定向天线系统中，驾驶员连续获得数据，车队管理器获取概要数据，管理机构可被授权获得总计数据。因此，车队驾驶员的情况中，可更好地享有作为有用工具的所述优点，而不需要必须诱导驾驶员关于雇主报告特征的理解。

为了能够给出注意力反馈，必须使管理系统运转。疏忽可以被视为由困倦/减损、注意力分散和高工作负荷因素组成。因此，如图7所示，优选为考虑各种类型的疏忽的综合模型。其中，表明系统模型能够选择性地考虑驾驶员疏忽、工作负荷和个人特征，例如困倦和分心。

提供独特的途径用于显示对驾驶员的各种信息或反馈。在连续注意力反馈的情况中，图8(a)-(c)表明了用于显示实时驾驶员信息的各种“活动的”图形显示，实时驾驶员信息由管理系统感测或产生。作为例子，显示可以是“总称的”或综合的注意力反馈量，例如作为困倦、分散和工作负荷的组合量度的注意/疏忽水平。在图8(a)的情况中，例举了不带趋向信息的一组简单光束。在图8(b)的情况中，使用“飞机雷达型”，其中一个盒子位于当前水平附近，趋向信息以渐弱的形式工作。图8(c)表明了柱状图，其中瞬时“实时”信息被表示为在右侧的伸长/缩短的柱(相对较宽)，用于预选的时间周期的合计的统计值(平均值、中值等)在左侧以更多的窄条表示。以这种方式，表明了趋向信息。在图8(c)的说明例中，表示了五个在前的周期。应该了解，可以根据用于显示和存储功能的控制逻辑显示任何在前周期。

在另一方面，还与最佳的注意水平的指示相对比，提供实时驾驶员反馈。这样的一个示例的实施例如图9所示，其中驾驶员可以相对最佳注意来观察他或她的分散或过负荷程度。还在另一方面，揭示了测量驾驶员疏忽的被检测周期，并提供了状态告知。然后驾驶员可“问”问题是什么并接收被检测的增加的工作负荷/疏忽水平的基础的解释。这样的反馈可以示例性地以口头信息被提供，并且/或者如图10所示。在这儿，困倦、分散和工作负荷的三个图标表示在右侧，这些效果的结合被显示在左侧，这里指示了相对的驾驶员注意。

如上所述，行程报告方面可以是对驾驶员学习和行为修正很有利的.因此，揭示并在图11中示例性地说明了提供屏幕上行程后反馈的创造性方法.在这个说明性的例子中，选择了显示屏幕的菜单选项用于行程后反馈，这样测量特征例如眼睛闭合百分比、转向一致性等的相关显示以时间历史的形式被显示.当然，有利地记录这种相同信息用于以后的分析和使用.

以上讨论的驾驶员能力也被用于其他车辆系统的分散适应，如向前碰撞、后部碰撞和车道改变碰撞警告(FCW、RCW和LCW)系统。后端碰撞近似占汽车碰撞事故的百分之二十八。由于驾驶员疏忽在这些碰撞的大于百分之六十中是主要因素，所以碰撞警告和回避系统是减少撞车事故和保护生命的重要工具。本发明注意力管理系统的一个目的是在交通环境中检测疏忽和安全危急事件的同现；例如，前方车辆的突然制动和驾驶员眼睛离开道路的情况。使用两个例子作为视觉行为信息以便适应于向前碰撞警告和车道改变警告。

通过根据驾驶员是否忙于潜在分散注意力的设备或其他类型的任务来动态地调整碰撞警告阈值，综合量化的次要任务的检测(例如通过检测按钮下压或眼睛运动)很大程度提高了碰撞警告系统。例如，如果检测到驾驶员陷入移动电话交谈中，碰撞警告系统可以提前产生一个警告。与迟来的警告或根本没有警告相比，早期的碰撞警告帮助驾驶员更快速地反应和避免更多的碰撞。如果驾驶员疏忽驾驶任务的某一方面，例如当检测到可能有向前碰撞时却视线离开了前方，或者当检测到可能的车道改变碰撞时却没有向侧向看，那么就及早地启动这类情况的警告。研究表明，当驾驶员眼睛离开时，甚至是提早一秒钟的警告对避免碰撞也是非常有影响的。

如果检测到驾驶员是专心的，那么可以延迟警告，甚至取消警告。警告显示的延迟使向前碰撞和车道改变警告算法有更多的时间用于更确定的需要警告的情况，因此减少了错误报警。进一步，驾驶员选择不让碰撞警告有效的驾驶员取消也将消除了为错误报警而烦扰。

作为实施策略，在第一阶段，这种警告可以“温和”的，但是随着情况恶化和事故变得越来越紧迫，警告的强度也随之增加。在向前碰撞警告的情况下，平视或屏幕显示器警告首先响起，但之后随着碰撞事故情形增强，加入可听见的警告。这种警告的一个例子和它的控制参数(可以显示给驾驶员或不显示给驾驶员)关于向前碰撞状况在图12中被描绘并关于车道改变碰撞状态在图13中被描绘。

以上所描述的关于驾驶员特征的检测功能部件可被用于清楚的描述以外的其他环境中和其他目的。检测功能部件也可以被综合用在其他车载系统。例如，作为被动安全功能部件，“smart”气囊可以工作来检测何时驾驶员/乘客的头部不在用来接收展开的气囊的正确位置。作为响应，可以修改气囊的展开来适应于感测到的头部位置。

在其他能力方面，感测行为可用于识别驾驶员，或者至少排除授权驾驶员在方向盘后面从而有利于防盗。头部和眼睛传感器也可用来自动获得镜子、座椅位置等。嘴跟踪被用来提高语言识别附件。可以改装用于迎面而来的滤光器，对于驾驶员可以根据眼睛位置和运动显示。

Claims (80)

1.一种用于估计由于驾驶员的与车辆驾驶员控制(首要任务)不相关的次要任务的执行而引起的车辆驾驶员过度工作负荷、并基于此响应地使车辆子系统的操作相适应的方法，所述方法包括：

进行驾驶员头部或眼睛运动变化的一系列测量，并且将这些测量输入到用于分析的计算机处理器；

使用计算机处理器分析输入测量，并且根据驾驶员工作负荷的估计、从对输入测量的分析中确定驾驶员注意力是否过度的在次要任务上；

检测和所述过度的驾驶员工作负荷同时出现的驾驶控制任务执行下降；和

根据驾驶员过度工作负荷水平的所述估计和所检测到的驾驶控制任务执行下降，使车辆子系统的性能适应于驾驶员的工作负荷水平和所检测到的驾驶控制任务执行下降，因此，确保车辆行为与驾驶员对驾驶控制任务的当前注意力水平适当地相配。

2.如权利要求1所述的方法，还包括：

控制子系统的操作以当驾驶员工作负荷水平增加时避免所述子系统的本质更危险的驾驶情况的建立。

3.如前述权利要求中任一项所述的方法，还包括：

控制子系统的操作，以便当驾驶员工作负荷的所述估计超过预定的阈值水平时，防止所述子系统的本质更危险的驾驶情况的建立。

4.如权利要求1所述的方法，还包括：

当驾驶员工作负荷的所述估计超过预定的阈值水平时，阻止所述车辆子系统运行。

5.如权利要求1所述的方法，还包括：

当驾驶员工作负荷的所述估计超过预定的阈值水平时，在自动基础上，停止所述车辆子系统的运行。

6.如权利要求5所述的方法，还包括：

在所述自动切断所述车辆子系统之前，提供驾驶员警告。

7.如权利要求5所述的方法，还包括：

允许驾驶员中断所述车辆子系统的自动切断。

8.如权利要求1所述的方法，其中所述车辆子系统是巡行车速控制功能部件。

9.如权利要求8所述的方法，其中所述巡行车速控制功能部件是基于前方车辆距离的自适应类型。

10.如权利要求8或9所述的方法，还包括：

当驾驶员工作负荷的所述估计超过预定的阈值水平时，当巡行车速控制接通时，控制所述巡行车速控制功能部件以降低设定速度。

11.如权利要求1所述的方法，其中所述车辆子系统是车道保持支持功能部件。

12.如权利要求11所述的方法，其中所述车道保持支持功能部件通过车辆转向系统在行驶车道内朝着预定相对横向的位置自动推动车辆。

13.如权利要求1所述的方法，还包括：

估计由放置在车辆上的车辆情况检测装置提供的车辆情况数据，估计由放置在车辆上的环境检测装置提供的环境数据，和确定安全范围，所述安全范围为车辆情况数据和环境数据中的至少一个的函数。

14.如权利要求13所述的方法，其中所述车辆情况检测装置包括从下列组中选出的检测装置：转向柱检测装置；车速检测装置；换档检测装置；制动器检测装置；节气门踏板检测装置；离合器检测装置；和轮速检测装置。

15.如权利要求13所述的方法，其中所述环境检测装置包括从下列组中选出的检测装置：亮度检测装置；道路情况检测装置；车辆定位检测装置；接近检测装置；和车道位置检测装置。

16.如权利要求1所述的方法，还包括：

当估计出可归因于驾驶员对次要任务注意的过度驾驶员工作负荷并检测到驾驶控制任务执行下降时，激励驾驶员对驾驶控制任务的注意。

17.如权利要求1所述的方法，其中根据不一致的转向估计所述驾驶控制任务执行下降。

18.如权利要求1所述的方法，其中根据不一致的车道保持估计所述驾驶控制任务执行下降。

19.如权利要求1所述的方法，其中根据不一致的车速估计所述驾驶控制任务执行下降。

20.如权利要求16所述的方法，其中所述驾驶员视觉活动的测量从驾驶员头部运动的观察中获得。

21.如权利要求16所述的方法，其中所述驾驶员视觉活动的测量从驾驶员眼睛运动的观察中获得。

22.如权利要求16所述的方法，其中所述驾驶员视觉活动的测量从驾驶员扫视行为的观察中获得。

23.如权利要求16所述的方法，还包括：

将估计的过度驾驶员工作负荷与预定的可接受水平相比较，并且将比较结果可视地显示给驾驶员。

24.如权利要求16所述的方法，还包括：

利用可听的驾驶员警觉激励方式来激励驾驶员对驾驶控制任务的注意。

25.如权利要求24所述的方法，其中所述可听的驾驶员警觉激励方式是用户记录信息。

26.如权利要求16所述的方法，还包括：

利用触觉的驾驶员警觉激励方式来激励驾驶员对驾驶控制任务的注意。

27.如权利要求26所述的方法，其中所述触觉的驾驶员警觉激励方式是座椅振动。

28.如权利要求16所述的方法，还包括：

利用多个可选择的驾驶员警觉激励方式中的一个来激励驾驶员对驾驶控制任务的注意。

29.如权利要求28所述的方法，还包括根据现有的驾驶员视觉活动从多个可选择的驾驶员警觉激励方式中选择一个特定的驾驶员警觉激励方式。

30.如权利要求28所述的方法，还包括使驾驶员能从多个可选择的驾驶员警觉激励方式中选择要使用的特定的驾驶员警觉激励方式。

31.如权利要求30所述的方法，还包括使驾驶员能从多个可选择的驾驶员警觉激励方式中选择多达三个驾驶员警觉激励方式.

32.如权利要求31所述的方法，还包括：

当估计出过度的驾驶员工作负荷时，同时启动多达三个由驾驶员选择的驾驶员警觉激励方式。

33.如权利要求28所述的方法，还包括根据现有的驾驶员视觉活动使警觉激励方式相适应。

34.如权利要求16所述的方法，还包括当估计出过度的驾驶员工作负荷时在不同的方向上重新定向驾驶员的视觉注意。

35.如权利要求34所述的方法，其中驾驶员视觉注意被重新定向的不同方向指向前方驾驶景象。

36.如权利要求34所述的方法，其中驾驶员视觉注意的重新定向受光波影响。

37.如权利要求36所述的方法，其中所述光波对驾驶员是下意识的。

38.如权利要求36所述的方法，其中所述光波由一系列LED灯的循序照明组成。

39.如权利要求36所述的方法，其中所述光波从与检测到的驾驶员凝视的位置相应的位置开始。

40.如权利要求36所述的方法，其中所述光波在比光的光路宽度更大的被照亮的区域内终止。

41.如权利要求36所述的方法，其中所述光波首先闪烁从而允许评价驾驶员的反应。

42.如权利要求41所述的方法，还包括当检测到驾驶员反应不充分时增加光波的闪光时间。

43.如权利要求41所述的方法，还包括当检测到驾驶员反应不充分时增加光波的强度。

44.如权利要求16所述的方法，还包括警告驾驶员被估计为正经历过度的驾驶员工作负荷并通知驾驶员估计的警告原因。

45.如权利要求44所述的方法，其中估计的警告原因是不一致的转向。

46.如权利要求45所述的方法，其中向驾驶员显示不一致转向的视觉描述。

47.如权利要求45所述的方法，其中向驾驶员播放通知驾驶员发生不一致转向的可听信息。

48.如权利要求44所述的方法，其中估计的警告原因是不一致的车道保持。

49.如权利要求48所述的方法，其中向驾驶员显示不一致车道保持的视觉描述。

50.如权利要求48所述的方法，其中向驾驶员播放通知驾驶员发生不一致车道保持的可听信息。

51.如权利要求16所述的方法，还包括：

当这样估计时，根据现有的视觉活动确定驾驶员过度驾驶员工作负荷的可能来源，并基于此，从多个可能的激励方式中选择特定的驾驶员警觉激励方式。

52.如权利要求51所述的方法，其中表示过度驾驶员工作负荷的所述现有视觉活动的特征是朝着基本上同一位置过多的频繁扫视。

53.如权利要求16所述的方法，还包括：

根据可归因于驾驶员对次要任务注意的过度驾驶员工作负荷的估计，执行工作负荷管理协议.

54.如权利要求53所述的方法，其中所述工作负荷管理协议包括按优先顺序排列的系统，该系统将信息分类，并当估计出驾驶员工作负荷为不可接收的水平时延迟将信息展示给驾驶员。

55.如权利要求54所述的方法，其中延迟给驾驶员的信息是来自电子设备的可听言语。

56.如权利要求55所述的方法，其中可听言语是从车载电话发射的谈话。

57.如权利要求55所述的方法，其中可听言语是从车载导航系统发射的位置信息。

58.如权利要求55所述的方法，其中可听言语是从车载导航系统发射的导航指令。

59.如权利要求55所述的方法，其中可听言语是文本到言语的电子翻译。

60.如权利要求55所述的方法，其中可听言语是电子邮件信息的文本到言语的电子翻译。

61.如权利要求54所述的方法，还包括：当驾驶员注意的可接受水平恢复时，恢复信息传递。

62.如权利要求16所述的方法，还包括：

估计驾驶员对驾驶控制任务的注意的可接受水平，并基于此，即使已经估计到可归因于驾驶员对次要任务的注意的过度驾驶员工作负荷，也延迟激励驾驶员对驾驶控制任务的注意。

63.如权利要求16所述的方法，还包括：

估计驾驶员对驾驶控制任务的注意的可接受水平，并基于此，即使已经估计到可归因于驾驶员对次要任务的注意的过度驾驶员工作负荷，也取消激励驾驶员对驾驶控制任务的注意。

64.如权利要求16所述的方法，还包括：

把与某些驾驶控制任务的执行相关的特殊特征的驾驶员视觉活动分类，所述某些驾驶控制任务的执行在其他方面会被估计为表示对次要任务的过度驾驶员注意的不可接收的驾驶员视觉活动；和

防止激励驾驶员。

65.如权利要求64所述的方法，其中所述驾驶员视觉活动是朝着后视镜扫视。

66.如权利要求16所述的方法，还包括：

根据所述过度的驾驶员工作负荷的估计，使向前碰撞警告系统的性能相适应。

67.如权利要求16所述的方法，还包括：根据所述过度的驾驶员工作负荷的估计，使后部碰撞警告系统的性能相适应。

68.如权利要求16所述的方法，还包括：根据所述过度的驾驶员工作负荷的估计，使车道改变碰撞警告系统的性能相适应。

69.如权利要求16所述的方法，还包括：

以实时表示估计的过度驾驶员工作负荷的形式提供驾驶员反馈。

70.如权利要求69所述的方法，其中以灯组的形式提供所述驾驶员反馈，其中成排照明灯的数目与估计的过度驾驶员工作负荷水平相关。

71.如权利要求70所述的方法，其中以灯组的形式提供所述驾驶员反馈，依据灯组，估计的过度驾驶员工作负荷水平沿其长度被显示.

72.如权利要求71所述的方法，其中关于最近估计的过度驾驶员工作负荷水平的趋向信息被渐弱地显示。

73.如权利要求69所述的方法，其中以伸长和缩短的光柱的形式提供所述驾驶员反馈，该光柱的照明长度与实时估计的过度驾驶员工作负荷水平相关。

74.如权利要求73所述的方法，还包括相邻布置的、固定长度的光柱，每个光柱表明估计的过度驾驶员工作负荷的历史统计值。

75.如权利要求74所述的方法，其中所述相邻布置的、固定长度的光柱具有比所述伸长和缩短的光柱窄的宽度。

76.如权利要求69所述的方法，其中以比较的形式提供所述驾驶员反馈，该比较形式表示相对最佳注意的实时估计的过度驾驶员工作负荷。

77.如权利要求69所述的方法，其中以估计的过度驾驶员工作负荷的柱状图的形式提供所述驾驶员反馈。

78.如权利要求16所述的方法，还包括：

记录所述估计的过度驾驶员工作负荷和以行程后报告的形式提供驾驶员反馈。

79.如权利要求16所述的方法，还包括：

确定驾驶员的估计的过度驾驶员工作负荷的可能来源，和当要求时识别对于所述驾驶员的所述可能来源。

80.一种用于实施根据前述权利要求中任一项的方法的系统。

Images