CN1174623C - 多功能车载摄像机系统及其图像显示方法 - Google Patents

Abstract

一种多功能车载摄像机系统包括多个安装于车辆上的摄像机(11～18)和显示摄像机图像的监视器(19～21)。设置图像处理部分(47)，用于处理由多个摄像机获得的图像。设置系统控制装置(42)，用于根据表示车辆状况的信号(37～41)从多台摄像机获得的多幅图像中选出要处理的摄像机图像，以及用于指明在图像处理部分中执行图像处理的类型。根据驾驶状况在合适的时间以驾驶员容易根据显示的图像掌握四周状况的方式显示有助于安全驾驶的图像。

Description

多功能车载摄像机系统及其图像显示方法

技术领域

本发明涉及到一种由多个安装于机动车辆上的监视摄像机和用于显示监视图像的显示单元组成的多功能车载摄像机系统。此外，本发明涉及到用于这种多功能车载摄像机系统的图像显示方法。更准确地说，本发明提供一种便于驾驶员了解车辆周围环境状况的监视图像的显示。而且，本发明可根据驾驶状况在合适的时间显示这些图像。

背景技术

为了机动车辆的安全驾驶，一个小的摄像机安装于车辆上，并对准一个特定的方向以获取驾驶员的眼睛不能直接观察到的图像。获得的图像显示在车辆客厢里的监视器上。此外，还有可能获得道路上白线的图像并根据车辆和探测到的白线相互之间的位置来指引或控制车辆。

而且，公开的未审查的日本专利申请No.7215130，如图16所示，披露了一种车辆监视系统，该系统包括：多个安装于车辆上的摄像机1、2、3和4；根据方向指示灯(winker)的信号检测车辆转向的转向检测部分5；检测转向盘转向方向的转向方向检测部分6；允许驾驶员输入驾驶员指令的指令输入部分7；根据相关联部分5、6和7获得的信息从摄像机1、2、3和4得到的图像中选择一幅合适图像的切换控制部分8；以及显示由切换控制部分8所选择的图像的图像显示部分(即，监视器)9。

然而，在通常的机动车辆驾驶状况下，驾驶员经常根据对监视器显示的图像作出的快速判断使用刹车或操纵转向盘来避免可能的事故。因而，有必要提供易掌握的监视器显示以使驾驶员避免困惑或判断错误。在这方面，上述的常规系统必须再作改进。

例如，由安装于车辆前侧的摄像机得到的图像可以根据车辆右转向或左转向而有选择地显示。在这种情形下，对于驾驶员而言重要的是能及时理解所显示的图像，而不要花费时间去判断这图像是从车辆看到的右侧图还是从车辆看到的左侧图。对一个熟练的驾驶操作而言，这种及时的判断是相当重要的。

例如，希望能与显示的图像一起显示指示方向的文字(如，“右”或“左”)。然而，这就迫使驾驶员实行两个思考步骤；即，一步是识别字符和另一步是明白显示图像的方向。这些步骤需要相对较长的思考时间。由于在从显示的图像获取所需信息上的延迟，就难以避免事故。此外，驾驶员也难以迅速地区分出“右”与“左”，反之亦然。

此外，在停车场，当车辆向空位置倒车时，驾驶员可以依赖于安装在车辆后侧的摄像机所获得的图像。然而，由于在这停车场已经停放着其它车辆，因此，在监视器上不能清楚地显示出想要的空位置。在这种情形下，驾驶员就不能依赖于显示的图像，因而在避让障碍物的同时驾驶车辆到物体位置时将产生犹豫。

发明内容

为了解决上述常见的问题，本发明的一个目的是提供一种多功能车载摄像机系统，它能根据驾驶状况在合适的时间以驾驶员容易掌握的显示图像的方式显示图像，以有助于驾驶员安全驾驶。

此外，本发明的一个目的是为该多功能车载式摄像机系统提供图像显示的方法。

为了完成上述的和其他有关的目的，本发明提供了多功能车载式摄像机系统，它包括：多个安装于车辆上的摄像机和一个至少能显示一幅摄像机图像的显示单元，其中，提供的图像处理装置对由多个摄像机获得的图像进行处理，而提供的系统控制部分根据车辆状况从多个摄像机获得的图像中选择至少一幅图像送去处理并控制在图像处理装置中所执行的图像处理的类型。

根据本发明的较佳实施例，多功能车载摄像机系统还包含图形叠加装置，它用于在图像处理装置处理过的图像上叠加图形图案(graphic pattern)。系统控制装置控制着由叠加装置叠加的图形图案的类型和位置。

根据本发明的较佳实施例，值得推荐的是：多个摄像机包括至少从下列摄像机构成的组中选出的两台摄像机，这些摄像机为：取得从车辆看得的后视图的后摄像机；取得从车辆看得的右后侧视图和左后侧视图的右门柱摄像机和左门柱摄像机；取得藉助于右车门镜和左车门镜从车辆看得的右车门镜视图和左车门镜视图的右车门镜摄像机和左车门镜摄像机；取得从车辆看得的前侧视图的右侧摄像机和左側摄像机；以及取得从车辆看得的前视图的前摄像机。

根据本发明的较佳实施例，值得推荐的是：显示单元包括显示由右车门镜摄像机获得的图像的右视图监视器，和显示由左车门镜摄像机获得的图像的左视图监视器。

根据本发明的较佳实施例，值得推荐的是：图像处理装置根据多个摄像机的图像产生平面图图像，平面图图像包括从上方看到的车辆的图像。

根据本发明的较佳实施例，值得推荐的是：图像处理装置根据多个摄像机的图像产生全景图像。

根据本发明的较佳实施例，值得推荐的是：图像处理装置通过组合多个摄像机的图像产生连接(joint)图像。

根据本发明的较佳实施例，值得推荐的是：图像处理装置通过相继邻接安装于车辆上的多个摄像机的所有图像产生表示从车辆看得的环境图的环境图像。

根据本发明的较佳实施例，值得推荐的是：图像处理装置产生使用从多个摄像机获得的部分图像数据形成的图像。

根据本发明的较佳实施例，值得推荐的是：图像处理装置产生包括相对于车辆接近的运动物体或离开的运动物体的图像，并采用不同的颜色来突出运动物体。

根据本发明的较佳实施例，值得推荐的是：系统控制装置根据从转向角度信号、车辆速度信号、排档位置信息和方向指示灯信息构成的组中的信号中选出的至少一个表示车辆状况的信号来指明要在图像处理中使用的摄像机图像，并且指明图像处理装置执行图像处理的类型。

根据本发明的较佳实施例，值得推荐的是：图形叠加装置叠加相对于车辆接近的运动物体或离开的运动物体的图形图案。

此外，本发明提供用于多功能车载摄像机系统的图像显示方法，该系统包括多个安装于车辆上的摄像机和显示至少一幅摄像图像的显示单元；图像显示方法包括下述步骤：根据车辆状况从多个摄像机获得的多幅图像中选出至少一幅摄像图像；在显示单元上显示经处理的摄像机图像。

根据本发明的较佳实施例，值得推荐的是：多个摄像机包括从下列一组摄像机中选出的至少两台摄像机，这一组摄像机有：后摄像机；右门柱摄像机和左门柱摄像机；右车门镜摄像机和左车门镜摄像机；右侧摄像机和左側摄像机；以及前摄像机，并且，至少有两台摄像机的图像经过图像处理装置处理并在显示单元上显示。

根据本发明的较佳实施例，值得推荐的是：当车辆为停车而倒车时，至少根据后摄像机、右门柱摄像机和左门柱摄像机的三幅图像来产生及显示平面图图像。

根据本发明的较佳实施例，值得推荐的是：当车辆为停车而沿着路的左边倒车时，至少根据后摄像机、左门柱摄像机和左车门镜摄像机的三幅图像来产生及显示平面图图像。

根据本发明的较佳实施例，值得推荐的是：当车辆为停车而沿着路的右边倒车时，至少根据后摄像机、右门柱摄像机和右车门镜摄像机的三幅图像来产生及显示平面图图像。

根据本发明的较佳实施例，值得推荐的是：当车辆左转弯时，至少通过组合左车门摄像机和左门柱摄像机的两幅图像来产生及显示全景图图像，从而消除了在左转弯和转向操作时在车辆内部发生意外事故。

根据本发明的较佳实施例，值得推荐的是：当车辆右转弯时，至少通过组合右车门摄像机和右门柱摄像机的两幅图像来产生及显示全景图图像，从而消除了在右转弯和转向操作时在车辆内部发生意外事故。

根据本发明的较佳实施例，值得推荐的是：当车辆执行车道变更至左车道时，至少通过组合左门柱摄像机和后摄像机的两幅图像来产生及显示全景图图像。

根据本发明的较佳实施例，值得推荐的是：当车辆执行车道变更至右车道时，至少通过组合右门柱摄像机和后摄像机的两幅图像来产生及显示全景图图像。

根据本发明的较佳实施例，值得推荐的是：显示单元包括显示由右车门镜摄像机获得的图像的右视图监视器和显示由左车门镜摄像机获得的图像的左视图监视器。

根据本发明的较佳实施例，值得推荐的是：当车辆行驶时，右视图监视器和左视图监视器中的每台监视器显示在对应车门镜视角内可看到的有限的图像。

根据本发明的较佳实施例，值得推荐的是：当车辆正常行驶时，至少通过组合右门柱摄像机、左门柱摄像机和后摄像机的三幅图像来产生及显示全景图图像。

根据本发明的较佳实施例，值得推荐的是：当车辆为确认前方或旁边的障碍物而缓慢行驶或停下来时，通过组合右侧摄像机和左側摄像机的两幅图像来产生及显示连接图像。

根据本发明的较佳实施例，值得推荐的是：当车辆向右转时，放大右側摄像机的图像；而当车辆向左转时，放大左側摄像机的图像。

根据本发明的较佳实施例，值得推荐的是：在显示单元上显示的图像包括相对于车辆接近的运动物体或离开的运动物体，并且用不同的颜色来突出运动物体。

根据本发明的较佳实施例，值得推荐的是：在显示的图像上叠加图形图案，以便于用图形图案来表示相对于车辆接近的运动物体或离开的运动物体。

根据本发明的较佳实施例，值得推荐的是：当在车辆内有任何乘客时，就连续显示由车门镜摄像机获得的图像。

由于本发明的特征，使得有可能根据驾驶状况选择合适的时间以驾驶员易于掌握的显示图像的方式来显示图像，以有助于驾驶员安全驾驶。

附图说明

以下结合附图的详细讨论将使本发明上述的和其它的目的、特点和优点变得更加清晰。在这些附图中：

图1是显示根据本发明较佳实施例的多功能车载摄像机系统的方框图；

图2是显示根据本发明较佳实施例的多功能车载摄像机系统的操作流程图；

图3是显示根据本发明较佳实施例的安装于系统车辆上的多台摄像机的平面图；

图4是显示根据本发明较佳实施例的安装于系统车辆中的多个监视器的主视图；

图5是显示根据本发明较佳实施例的用于形成平面图图像的多台摄像机配置的平面图；

图6是显示根据本发明较佳实施例形成平面图图像的过程的图；

图7是显示根据本发明较佳实施例的每台车门镜摄像机视角限制的平面图；

图8是显示根据本发明较佳实施例形成全景图像的图；

图9是显示根据本发明较佳实施例形成连接图像的图；

图10是显示根据本发明较佳实施例的图像处理部分的配置方框图，该部分执行基于摄像机输出R、G和B信号的图像来有区别地显示接近的物体或离开的物体的图像处理；

图11是显示根据本发明较佳实施例的图像处理部分的配置方框图；该部分执行基于摄像机输出NTSC信号的图像来有区别地显示接近的物体或离开的物体的图像处理；

图12是显示根据本发明较佳实施例用于显示平面图图像的系统配置的方框图；

图13是显示根据本发明较佳实施例用于显示连接图像的系统配置的方框图；

图14是显示根据本发明较佳实施例用于显示全景图像的系统配置的方框图；

图15是显示根据本发明较佳实施例用于显示环境图像的系统配置的方框图；以及

图16是显示一个常规车载摄像机系统配置的方框图。

具体实施方式

以下将参照附图解释本发明的较佳实施例。在全部视图中，参考同样的阿拉伯数字来表示相同部分。

如图3所示，根据本发明较佳实施例的多功能车载摄像机系统包括总数为八台的安装于车辆四周的摄像机。安装于车辆的前部中央的前摄像机11获取从车辆看得的前视图。安装于车辆的左前角处的左侧摄像机12获取从车辆看得的左前侧视图。安装于车辆的右前角处的右侧摄像机13获取从车辆看得的右前侧视图。安装于车辆的左车门镜上或附近的左车门镜摄像机14获取藉助于左车门镜从车辆看得的左车门镜视图。安装于车辆的右车门镜上或附近右车门镜摄像机15获取藉助于右车门镜从车辆看得的右车门镜视图。安装于车辆的左门柱上或附近的左门柱摄像机16获取从车辆看得的左后视图。安装于车辆的右门柱上或附近的右门柱摄像机17获取从车辆看得的右后视图。安装于车辆的后部中央的后摄像机18获取从车辆看得的后视图。

图4示出了安装于车辆的客厢中的总数为三台的监视器。主监视器19嵌在仪表板中。左视图监视器20和右视图监视器21分别安装于前挡风玻璃顶端附近。主监视器19的屏幕大于左视图监视器20和右视图监视器21的屏幕。

图1是显示结合本发明的多功能车载摄像机系统的车辆系统的示意布置的方框图。安装于车辆上的上述各个摄像机11～18是由固体图像摄取元件(诸如CCD或CMOS图像摄取元件)构成的。与对应的摄像机相关联的图像数据传送部分31把摄像机的视频信号转换为图像数据并通过视频总线35传送经转换的图像数据。图像处理部分47接收通过视频总线传送的图像数据，分析图像数据和执行编辑和合成处理。存储器48用作图像处理的工作区域。多个数-模(D/A)转换部分50～52把经处理的图像数据转换为模拟信号。字符发生器46产生按照代码显示的图形图案。字符发生器控制部分45控制从字符发生器46产生的图形图案。混合器49将从字符发生器46产生的图形图案与从D/A转换器50产生的图像相混合。主监视器19、左视图监视器20和右视图监视器21显示图像。摄像机控制部分43控制每台摄像机11～18的方向/角度以及图像摄取状况。警示部分44发出警示。系统控制部分42根据从操作部分36输入的驾驶员指令、转向角度信号37、车辆速度信号38、排档位置信息39、方向指示灯信号40和超声距离传感器41来控制各个部分。

此外，每个图像数据传送部分31包括将每个摄像机的视频信号转换为数字信号的模-数(A/D)转换部分32、存储图像数据的帧存储器34和控制和传送图像数据的帧存储器控制部分33。

摄像机11～18产生符合NTSC标准、PAL标准等各种视频信号。或者，摄像机输出信号可以满足VGA标准。对于每种标准的视频信号包含R、G和B输出；Y、U和V输出；合成输出以及数字输出。数字输出不需要A/D和D/A转换器。

系统控制部分42输入各种探测信号，例如，表示转向盘角度的转向角信号37、表示车轮旋转速度的车辆速度信号38、表示动力传动机械中排档位置的排档位置信号39、相应于右转弯杆或左转弯杆的方向指示灯信号40、以及安装于车辆前部或后部用来探测车辆与邻近车辆或障碍物距离的超声距离传感器信号41。

系统控制部分42根据获得的信息以及从操作部分36输入的驾驶员指令控制每个图像数据传送部分。系统控制部分42把选出的从摄像机11～18获得的图像送入图像处理部分47。此外，系统控制部分42控制图像处理部分47中的处理图像方法。为了这一目的，系统控制部分42控制摄像机控制部分43以调整每个摄像机的方向/角度，从而获得所需的图像数据。

图像处理部分47根据从系统控制部分42送来的指令分析接收到的图像数据，编辑图像数据并且合成图像。另外，图像处理部分47向系统控制部分42发送所需的分析结果。如有必要，系统控制部分42根据获得的分析结果启动警示发生部分44并控制字符发生器的控制部分45。

当字符发生器控制部分45接收到来自系统控制部分42的指令时，它便使得字符发生器46输出要叠加在经图像处理部分47处理的图像上的图形图案。

为了有助于安全驾驶，监视器19～21根据驾驶状况在合适的时间以驾驶员易于掌握的显示图像方式来显示图像。

以下，将更详细地解释在图像处理部分47中主要执行的图像处理。

平面图图像

平面图图像(即，从上方看得的车辆和环境的图像)是通过分析和合成由安装于车辆上的摄像机得到的多个图像而获得的。例如，当车辆为了停车而向后倒车时，主监视器19显示从上方看得的停车场的平面图图像。于是，驾驶员可根据显示在主监视器19上的图像清楚地判断出停车场的空闲空间。未公开的日本专利申请No.11-109946详细披露了产生平面图图像的方法。

图6示出了采用从车门镜摄像机14和15、门柱摄像机16和17以及后摄像机18(如图5所示)获得的图像来形成平面图图像的过程。根据图6，合成图像的左边和中间部分是根据从左车门镜摄像机14、左门柱摄像机16和后摄像机18获得的图像形成的。

首先，将从左车门镜摄像机14、左门柱摄像机16和后摄像机18获得的图像转换为投影在道路上的投影图像。要达到这一目的，确定道路区域从而与如图5所示的每个摄像机的视场相对应。通过坐标转换，把由每台摄像机得到的图像转换为投影于道路上的图像。把每幅如此产生的投影于道路上的图像根据指出形成平面图图像所需区域的α变换(αmap)加权。随后，组合经加权的图像以形成合成图像。

以同样的方式来处理右车门镜摄像机15和右门柱摄像机17的图像。于是，组合所有用α变换加权的经加权的图像来形成合成图像。表示机动车辆的图形图像设置在得到的合成图像的车辆位置上。存储器48存储表示机动车辆的图形图像。

以这种方式产生平面图图像。得到的平面图图像包含了系统车辆和四周环境。

根据车门镜摄像机14和15、门柱摄像机16和17以及后摄像机18的图像，上面描述的平面图图像强调了系统车辆的后侧。然而，可以根据左側摄像机12、左车门镜摄像机14、左门柱摄像机16以及后摄像机18的图像，获得强调系统车辆左侧和左后侧的平面图图像。类似地，可以根据右側摄像机13、右车门镜摄像机15、右门柱摄像机17以及后摄像机18的图像，获得强调系统车辆左侧和左后侧的平面图图像。这样两幅平面图图像可用作帮助驾驶员沿着道路的左边或右边停车的有效图像信息。

用于形成平面图图像的摄像机数目可以是两台或一台。

全景图像

全景图像是通过组合由安装于车辆上的摄像机得到的多幅图像而获得的超宽幅图像。更确切地说，全景图像可具有约160～170度的视角，而一般宽幅图像只具有约120度的视角。

图8示出了形成全景图像的方法。例如，分析右车门镜摄像机15的图像91和右车门柱摄像机17的图像92以检查出在经分析的图像91和图像92中共同包含的图像元素。然后，通过重叠在图像91和图像92中共同包含的图像元素而合成为全景图像。当最终的全景图像在主监视器19上显示时，驾驶员一看就能掌握在车辆四周较宽范围内的环境状况。与具有较狭窄视角的一般图像相比，全景图像的优点是驾驶员能立刻明白实际位置和显示图像之间的关系。因此，在要求驾驶员根据显示的图像而立即操作的紧急情形中，全景图像有可能使得驾驶员毫不迟疑地执行合适的车辆驾驶操作。

在全景图像形成中，当合并两台摄像机的视场时，有必要调整每台摄像机的方向/角度，从而两台摄像机的视场处于部分重叠状态，同时提供足够宽的视角。相应地，当显示全景图像时，系统控制部分42指令摄像机控制部分43对有关的摄像机11～18作方向/角度的调整。

此外，可以组合三幅或更多幅图像来产生全景图像。

环境图像

环境图像是根据操作部分36的驾驶员指令通过依次连接由摄像机11～18得到的所有图像而形成的。于是，环境图像是连续显示车辆四周环境或情况的图像。操作部分是操纵杆(joystick)类型的，它允许驾驶员指令更可取的方向。当驾驶员指令更可取的方向时，系统控制部分42便会使位于沿驾驶员指令方向的适合的邻近摄像机(如摄像机11和摄像机12)的图像数据传输部分31输出图像。图像处理部分47通过类似于在形成全景图像中执行的重叠相同图像元素的方法连接输出的图像。当驾驶员的指令方向沿顺时针方向连续变化时，连接摄像机12和14的图像，随后连接摄像机14和16的图像。以这样的方式，依次逐个连接相邻的图像。以这种方式执行图像处理从而在监视器屏幕上显示的图像是沿一个方向连续滚动的。相应地，当从操作部分36输入驾驶员的环境显示指令时，主监视器19就依次沿着车辆的整个四周环境显示环境图像。

与上面描述的全景图像的形成一样，为了优化最终得到的环境图像，摄像机控制部分43可根据从系统控制部分42发出的指令来调节有关摄像机的方向/角度。

连接图像

连接图像是两幅具有清晰边界但不连续的图像的组合。例如，驾驶员在慢速的状况下打算使车辆右转。在这情况中，主监视器19显示由左侧摄像机12得到的图像和右側摄像机得到的图像组成的连接图像，如图9A所示。

以这种方式，通过显示作为连接图像的两幅图像，就能凭感觉把握每幅显示图像的摄像机方向。此外，从车辆沿不同方向看到的状况可以一看就能明白。这就能快速地获得道路右边和左边的环境信息。这些信息通常是难以获得的，除非驾驶员沿左右两个方向转动他/她的头。

如图9B所示，当车辆向左转时，与右侧摄像机13得到的图像相比，主监视器19放大由左侧摄像机12得到的图像。反之，如图9C所示，当车辆向右转时，与左侧摄像机12得到的图像相比，主监视器19放大由右侧摄像机13得到的图像。于是，驾驶员能够直觉地感觉每幅显示图像的摄像机方向连同车辆的前进方向。在这种情况下，因为驾驶员应该对车辆的转向方向更加注意，所以对应于车辆转向方向的图像被放大。于是，驾驶员能够不知不觉地找到要注意的图像。

视场有限图像

视场有限图像是由每台车门镜摄像机14和15得到的一个有限的图像，相应于当车辆行进时在车门镜的视角内看到的图像，如图7所示。要达到这一目的，图像处理部分47从每台车门镜摄像机14和15得到的图像数据中舍弃车门镜有效区域外的图像数据。此外，图像处理部分47将车门镜有效区域内的图像数据放大到全屏幕。在以这种方式处理后，由左车门镜摄像机14得到的图像显示于左视图监视器20。同样，由右车门镜摄像机15得到的图像显示于右视图监视器21。

将车门镜摄像机14和15的图像转换成视场有限图像的原因是有效地利用通过驾驶员的经历而获得的驾驶感觉。驾驶员能够没有任何异样感觉地观看左视图监视器20和右视图监视器21显示的图像。换句话说，从车门镜摄像机14和15得到的信息基本上与车门镜获得的信息相同。在实际的驾驶操作中，车门镜有效区域外的图像信息在车辆的行驶状况中并不那样有用。因此，可以认为清晰地显示车门镜有效区域内的图像能够提供有意义的显示。

图像信息的增添

为了引起驾驶员的注意，或帮助驾驶员理解显示的图像，增添辅助图形图案或改变一部分显示的图像。以下是增添的图像信息的实际例子。

(a)区分接近的物体和离开的物体

例如，希望将红色框置于接近系统车辆的机动车辆上，而把绿色框置于离开系统车辆的机动车辆或其他物体上。

为了达到这一目的，图像处理部分47根据对由前摄像机11得到图像逐幀进行比较而检测运动矢量。图像处理部分47获得接近或离开系统车辆的物体的坐标值。图像处理部分47把得到的接近或离开系统车辆的物体的坐标值传送给系统控制部分42。系统控制部分42指令字符发生器控制部分45输出红色框或绿色框并指明它的位置。字符发生器控制部分45控制字符发生器46，以输出指定的图形图案到指定的位置。由字符发生器46产生的图形图案送到混合器49。混合器49将接收到的图形图案与图像处理部分47处理的图像加以混合。主监视器19显示最终的图像，它包含围绕红色框的接近的物体和围绕绿色框的离开的物体。

然而，可能要突出的是接近的物体本身而不是设置的图形图案(如，红色框)。例如，可以用红色来突出接近的物体和用绿色来突出离开的物体。

图10是示出实现这种显示的图像处理部分47配置的功能方框图。图像处理部分47包括用于将输入图像转换为二进制编码图像的二进制编码部分61。比较部分62将从二进制编码部分输入的二进制编码图像与存储于存储器48中的参考值比较。参考值是前一场输入的二进制编码图像。平均值计算部分63根据比较部分62的比较结果计算出图像部分的平均移动量。减法部分64计算出每个图像部分的移动量和平均移动量之间的差值。运动物体区分部分65区分出每个运动的物体。图像提取部分66提取出检测到的运动物体的图像。

下面，根据前摄像机11的RGB视频信号完成图像处理。在从前摄像机11输出的RGB视频信号中，G通道的视频信号输入二进制编码部分61。把二进制编码部分61将每个像素的信号电平与预定的阈值电平相比较，以产生二进制编码的图像。二进制编码的图像送至存储器48和送至比较部分62。比较部分62从存储器48读取紧邻的上一场的二进制编码的图像。比较部分62将读取的图像与从二进制编码部分61接收到的二进制编码图像相比较，从而检测出每个像素的移动量。平均值计算部分63获得由比较部分62检测得的每个像素移动量的平均值。如此获得的平均值等价于相对于系统车辆固定的物体的相对移动量。

减法部分64从由比较部分62检测出的每个像素的移动量中减去由平均值计算部分63计算出的平均值，于是获得了相对于平均移动量的每个像素的差值。

运动物体区分部分65输入两个阈值，即，“判断接近的物体的阈值电平”和“判断离开的物体的阈值电平”，这些是预先确定的。运动物体区分部分65将每个像素的平均量与这些阈值电平相比较，由此区分出显示任何接近的物体的像素和显示任何离开的物体的像素。区分信息被送至图像提取部分66。

图像提取部分66从二进制编码的图像中提取出检测到的运动物体(即，接近的物体和离开的物体)的图像。提取的“接近的物体”的图像输出到R通道，而提取的“离开的物体”的图像输出到G通道。

把图像提取部分66的输出图像叠加在由前摄像机11获得的图像上。合成的图像在监视器上显示。结果，用红色来突出接近的物体的显示图像，而用绿色来突出离开的物体的显示图像。

图11是示出另一个用于处理前摄像机11的NTSC复合视频信号的图像处理部分47配置的方框图。图像处理部分47包括了一个带除滤波器(band eliminationfilter)67(诸如色度信号删除滤波器(chroma cut filter))，它可从NTSC的信号中删除色度信号的成分而只提取亮度信号成分。二进制编码部分61根据从带除滤波器67接收到的亮度信号产生二进制编码的图像。比较部分62、平均计算部分63、减法部分64和运动物体区分部分65都以与图10披露的相同方式工作。

图像提取部分66接收来自于运动物体区分部分65的区分信息，并根据从二进制编码部分61送来的二进制编码图像提取接近的物体和离开的物体的图像。接近的物体的提取图像变为红色，而离开的物体的提取图像变为绿色。

图像提取部分66的输出信号叠加在摄像机11产生的图像信号上。合成的图像显示于监视器上。结果，用红色来突出接近的物体的显示图像，而用绿色来突出离开的物体的显示图像。

由安装于车辆后部的后摄像机18得到的图像也能采用与前摄像机11相同的图像处理方式来处理。这就能新式从后面接近系统车辆的车辆以及从后面远离系统车辆的车辆。

(b)在平面图图像上显示行进轨迹

当系统车辆倒车时，把系统车辆的行进轨迹叠加在平面图图像上。在这种情形中，图像处理部分47分析用来形成平面图图像的图像，并且获得系统车辆行进轨迹的图形图案数据作为在平面图图像上显示的道路上的投影。图像处理部分47把得到的行进轨迹的图形图案数据传送给系统控制部分42。系统控制部分42指令字符发生器控制部分45显示表示系统车辆行进轨迹的点并指明它们的位置。于是，表示系统车辆行进轨迹的点的图像就叠加在平面图图像上。

此外，系统控制部分42能够根据从图像处理部分47得到的行进轨迹数据和转向角信号37计算出系统车辆的预计的行进轨迹。因此，有可能通过字符发生器控制部分45将预计的进轨迹的图像叠加在平面图图像上。根据在监视器上显示的预计的行进轨迹，驾驶员能够容易地对系统车辆能否平稳和安全地进入停车场的目标空位作出判断。

此外，通过比较根据转向角信号37得到的预计的轨迹和平面图图像上的目标空位之间的位置关系，可以计算出系统车辆在进入目标空位入口处的估计的位置和估计的角度。于是，就有可能通过监视器的显示，或通过警示发生部分的语音导引来告诉驾驶员如何操作转向盘。在这种情形中，更可取的是引导系统车辆以正确的角度到达目标空位的入口的中心。

系统控制部分42以下列方式显示这些合成图像。

图2显示了系统控制部分42操作的流程图。

在步骤1中，检查排档位置信息39是否指出当前排档位置是“倒车”位置。

在当前排档位置是“倒车”位置(即，第一步为“是”)时，控制流程进至步骤2。

在步骤2中，检查驾驶员是否通过操作部分36选择停车辅助模式。

当驾驶员选择停车辅助模式(即，在步骤2中为“是”)时，控制流程进至步骤3。

在步骤3中，主监视器19根据由左门柱摄像机16、右门柱摄像机17和后摄像机18得到的图像显示平面图图像。

当驾驶员没有选择停车辅助模式(即，在步骤2中为“否”)时，控制流程进至步骤4。

在步骤4中，检查驾驶员是否通过操作部分36选择列停车辅助模式。在这种情况下，列停车是沿着道路的左边或右边(或沿着建筑物，等等)，停车的停车模式，在那里，沿着纵向排成一列停车。

当驾驶员选择左列停车辅助模式时，控制流程进至步骤5。

在步骤5中，主监视器19根据左车门镜摄像机14、左门柱摄像机16和后摄像机18得到的图像显示平面图图像。

当驾驶员选择右列停车辅助模式时，控制流程进至步骤6。

在步骤6中，主监视器19根据右车门镜摄像机15、右门柱摄像机17和后摄像机18得到的图像显示平面图图像。

图12是示出显示平面图图像的系统配置的方框图。图像处理部分47包括：用于选择指定摄像机的图像的图像选择部分72；用于根据所选出的图像产生平面图图像的平面图图像形成部分78；和用于变换车门镜摄像机15和16的视角的视角变换部分75。系统控制部分42包括：根据排档位置信息、方向指示灯的信息和转向角信息检测车辆状况的位置信息检测部分71。当排档移到“倒车”位置时，系统控制部分42的位置信息检测部分71就指令图像处理部分47的平面图图像形成部分78产生平面图图像。此外，位置信息检测部分71指令图像选择部分72响应于驾驶员的停车辅助模式选择，选择由摄像机16、17和18得到的图像。此外，当选择列停车辅助模式时，参考方向指示灯信息和转向角信息，对于左列停车选择摄像机14、16和18得到的图像或者对右列停车选择摄像机15、17和18得到的图像。此外，位置信息检测部分71指令视角变换部分75放大在车门镜摄像机14和15得到的图像中的相应于车门镜有效区域内的部分。

把在视角变换部分75中处理的左车门镜摄像机14的放大图像通过切换部分76显示在左视图监视器20上。把在视角变换部分75中处理的右车门镜摄像机15的放大图像通过切换部分77显示在右视图监视器21上。由平面图图像形成部分78产生的平面图图像显示在主监视器19上。

再回到图2的流程图，在当前的排档位置不是“倒车”位置(即，在步骤1中为“否”)时，控制流程进至步骤7。

在步骤7中，根据车辆速度信号38的信息，检查车辆速度是否等于或小于8km/h。

当车辆的速度是等于或小于8km/h(即，在步骤7中为“是”)时，假设系统车辆的驾驶员打算仔细地观察前方或两边。于是，控制流程进至步骤15。

在步骤15中，主监视器19根据左侧摄像机12和右側摄像机13得到的图像显示连接图像。

图13是示出显示连接图像的系统配置的方框图。除了图像选择部分72和视角转换部分75以外，图像处理部分47还包括用于产生连接图像的连接图像形成部分73。当车辆的速度等于或小于8km/h时，系统控制部分42的位置信息检测部分71就指令图像处理部分47的图像选择部分72选择摄像机12和13得到的图像。此外，位置信息检测部分71指令连接图像形成部分73产生包含由摄像机12和13得到的图像的连接图像。当操作部分输入显示由不同显示尺寸的图像组成的连接图像的指令时，位置信息检测部分71根据排档位置的信息，把要放大显示图像通知连接图像形成部分73。连接图像形成部分73根据这个指令改变连接显示图像的显示倍率，并且产生经改变的连接图像。

此外，系统控制部分42的位置信息检测部分71指令视角转换部分75直接显示由车门镜摄像机14和15得到的图像而不改变它们的显示尺寸。

由左车门镜摄像机14获得的广角图像通过切换部分76显示于左视图监视器20上。由右车门镜摄像机15获得的广角图像通过切换部分77显示于右视图监视器21上。由连接图像形成部分产生的连接图像显示于主监视器19上。

再回到图2的流程图，当车辆的速度大于8km/h(即，在步骤7中为“否”)时，控制流程进至步骤8。

在步骤8中，使车门镜摄像机14和15的视角变窄，从而与车门镜的有效区域相等。

然后，控制流程进至步骤9。

在步骤9中，检查车辆的速度是否等于或大于50km/h。

当车辆速度信息表明速度等于或大于50km/h(即，在步骤9中为“是”)时，控制流程进至步骤10。

在步骤10中，根据方向指示灯信号40，检查方向指示灯是否接通。

当方向指示灯接通(即，在步骤10中为“是”)时，假设驾驶员打算执行车道变更。控制流程进至步骤11。

在步骤11中，检查方向指示灯信号40指左还是指右。当方向指示灯信号40指左时，就进至步骤12。

在步骤12中，主监视器19根据左门柱摄像机16和后摄像机18得到的图像显示全景图像。当方向指示灯40指右时，控制流程进至步骤13。

在步骤13中，主监视器19根据右门柱摄像机17和后摄像机18得到的图像显示全景图像。

当方向指示灯断开(即，在步骤10中为“否”)时，控制流程进至步骤14。

在步骤14中，假设系统车辆处于正常的行使状况，这时系统车辆基本上以大于50km/h的速度直行。主监视器19根据左门柱摄像机16、后部摄像机18和右门柱摄像机17得到的图像显示全景图像。

当车辆的速度小于50km/h(即，在步骤9中为“否”)时，控制流程进至步骤16。

在步骤16中，根据方向指示灯信号40，检查方向指示灯是否接通。

当方向指示灯接通(即，在步骤16中为“是”)时，假设驾驶员打算执行系统车辆的转弯和转向的操作。在这种情况下，为了避免在转弯或转向车辆的内部发生任何事故，控制流程进至步骤17。

在步骤17中，检查方向指示灯信号40指左还是指右。当方向指示灯信号40指左时，就进至步骤18。

在步骤18中，主监视器19根据左车门镜摄像机14和左门柱摄像机16得到的图像显示全景图像。当方向指示灯40指右时，控制流程进至步骤19。

在步骤19中，主监视器19根据右车门镜摄像机15和右门柱摄像机17得到的图像显示全景图像。

当方向指示灯断开(即，在步骤16中为“否”)时，控制流程进至步骤14。在步骤14中，主监视器19根据左门柱摄像机16、后摄像机18和右门柱摄像机17得到的图像显示全景图像。

图14是示出用于显示全景图像的系统配置的方框图。除了图像选择部分72和视角转换部分75以外，图像处理部分47还包括产生全景图像的全景图像形成部分74。当车辆速度信息指出其速度等于或大于50km/h而方向指示灯信息或转向角信息指出左车道变更时，系统控制部分42的位置信息检测部分71就指令图像处理部分47的图像选择部分72选择由摄像机16和18得到的图像。类似地，当方向指示灯信息或转向角信息指出右车道变更时，位置信息检测部分71就指令图像选择部分72选择由摄像机17和18得到的图像。

此外，当车辆速度信息表明其速度在8km/h到50km/h之间而方向指示灯信息或转向角信息指出左车道变更或转向操作时，位置信息检测部分71就指令图像选择部分72选择由摄像机14和16得到的图像。类似地，当方向指示灯信息或转向角信息指出右车道变更或转向操作时，位置信息检测部分71就指令图像选择部分72选择由摄像机15和17得到的图像。

另外，当车辆速度信息指出其速度等于或大于8km/h而方向指示灯信息或转向角信息指出系统车辆正在直行时，位置信息检测部分71就指令图像选择部分72选择由摄像机16、17和18得到的图像。

此外，根据由图像选择部分72选择的图像，位置信息检测部分71指令全景图像形成部分74显示全景图像。

此外，位置信息检测部分71指令图像处理部分47的视角变换部分75在由车门镜摄像机14和15得到的图像中放大相应于车门镜有效区域内的部分。

把正在视角变换部分75中处理的左车门镜摄像机14的放大图像通过切换部分76显示在左视图监视器20上。把正在视角变换部分75中处理的右车门镜摄像机15的放大图像通过切换部分77显示在右视图监视器21上。把由全景图像形成部分74产生的平面图图像显示在主监视器19上。

以这样的方式，该系统可以按照转向角信号37、车辆速度信号38、排档位置信息39、方向指示灯信号40、等等适当地切换图像的显示模式，由此实现有效的图像显示以有助于安全驾驶。

图15是示出用于根据驾驶员指令显示环境图像的系统配置方框图。系统控制部分42的位置信息检测部分71指令图像处理部分47的图像选择部分72选择由驾驶员通过操纵杆控制器36指定的每台摄像机的图像。此外，位置信息检测部分71指令连接图像形成部分73组合由图像选择部分72选择的图像。当驾驶员改变操纵杆控制器36的方向时，图像选择部分72响应于操纵杆控制器36的方向改变而改变显示的图像。连接图像形成部分73产生合成图像。最终的合成图像显示于左视图监视器20、右视图监视器21和主监视器19上。

当系统车辆停下来而乘客贸然下车时，若有另一辆车从后面驶近便会出事故。为了防止这类事故，通过安装于客厢的传感器或微型摄像机来检查在系统车辆中有无乘客。当有任何乘客留在系统车辆中时，即使此车的电门已经断开，但左视图监视器20和右视图监视器21仍分别连续地显示由车门镜摄像机得到的图像

上述实施例基于在车辆上安装八个摄像机。然而，可以增加或减少摄像机的总数。

在本发明的系统中，车辆状况和要显示图像之间的关系并不局限于在图2中揭示的那种。因此，车辆状况和显示图像之间的关系可以有多种变化。

从上述解释可以明白，根据多功能车载摄像机系统和相有的图像显示方法，可以根据驾驶状况在合适的时间显示有助于驾驶员安全驾驶的图像。此外，本发明可以采用驾驶员从显示的图像中容易掌握四周状况的方式来显示图像。

依据本发明的显示图像可以使驾驶员在没有任何负担的情况下注意四周的状况。这有助于驾驶员避免各种事故和麻烦。

本发明可用数种形式来实施而不偏离其基本特征的精神。因而所述的本实施例仅仅是解释性的而不是限制性的，因为本发明的范围是由所附的权利要求规定的而不是由上述说明书规定。因此，所有落在权利要求书的界限或其等价物中的任何变化都包含于权利要求书中。

Claims (31)

1.一种多功能车载摄像机系统，该系统包括：

多台安装于车辆上的摄像机(11～18)以及显示至少一幅摄像机图像的显示单元(19～21)；

图像处理装置(47)，用于处理由所述多台摄像机获得的图像；

图形叠加装置(45，46)，用于在所述图像处理装置(47)处理的所述图像上叠加一个图形图案；

系统控制装置(42)，用于根据车辆的状况(36～41)从所述多台摄像机(11～18)获得的图像中选出至少一幅要在所述图像处理装置(47)中处理的摄像机图像，以及用于控制在所述图像处理装置(47)中执行的图像处理；

其特征在于，所述系统控制装置(42)控制由所述图形叠加装置(45，46)叠加的图形图案的类型和位置，从而，根据车辆的状况，在显示单元显示车辆和目标的相对关系。

2.如权利要求1所述的多功能车载摄像机系统，其特征在于，所述多台摄像机包括从下列一组摄像机中选出的至少两台摄像机，这一组摄像机有：获取从车辆看到的后视图的后摄像机(18)；获取从车辆看到的右后侧视图和左后侧视图的右门柱摄像机和左门柱摄像机(17，16)；获取通过右车门镜和左车门镜从车辆看到的右车门镜视图和左车门镜视图的右车门镜摄像机和左车门镜摄像机(15，14)；获取从车辆看到的前侧视图的右侧摄像机和左侧摄像机(13，12)；以及获取从车辆看到的前视图的前摄像机(11)。

3.如权利要求1所述的多功能车载摄像机系统，其特征在于，所述显示单元包括显示由右车门镜摄像机(15)得到的图像的右监视器(21)，和显示由左车门镜摄像机(14)得到的图像的左监视器(20)。

4.如权利要求1所述的多功能车载摄像机系统，其特征在于，所述图像处理装置(47)根据多台摄像机(11～18)的图像产生车辆平面图图像。

5.如权利要求1所述的多功能车载摄像机系统，其特征在于，所述图像处理装置(47)根据多台摄像机(11～18)的图像产生全景图像。

6.如权利要求1所述的多功能车载摄像机系统，其特征在于，所述图像处理装置(47)通过组合多台摄像机(11～18)的图像产生连接图像。

7.如权利要求1所述的多功能车载摄像机系统，其特征在于，所述图像处理装置(47)通过依次连接所有所述的安装于车辆上的摄像机的图像产生表示从车辆看到的环境视图的环境图像。

8.如权利要求1所述的多功能车载摄像机系统，其特征在于，所述图像处理装置(47)产生通过使用从所述多台摄像机获得的图像数据的一部分形成的图像。

9.如权利要求1所述的多功能车载摄像机系统，其特征在于，所述图像处理装置(47)产生含有接近或离开车辆的运动物体的图像，采用不同颜色来突出所述运动物体。

10.如权利要求1所述的多功能车载摄像机系统，其特征在于，所述系统控制装置(42)根据从由转向角信号(37)、车辆速度信号(38)、排档位置信号(39)和方向指示灯信号(40)构成的组中选出的至少一个表示车辆状况的信号来指出要在图像处理装置(47)中使用的所述摄像机图像以及指出执行图像处理的类型。

11.如权利要求1所述的多功能车载摄像机系统，其特征在于，所述图形叠加装置(45，46)叠加了表示接近或离开车辆的运动物体位置的图形框。

12.如权利要求1所述的多功能车载摄像机系统，其特征在于，所述目标是接近或离开车辆的运动物体；所述图形图案表示该运动物体相对于所述车辆的位置。

13.如权利要求1所述的多功能车载摄像机系统，其特征在于，所述目标是道路或停车场；所述图形图案表示车辆相对于该道路或停车场的行驶轨迹。

14.一种用于多功能车载摄像机系统的图像显示方法，所述多功能车载摄像机系统包括多台安装于车辆上的摄像机(11～18)、图像处理装置(47)、图形叠加装置(45，46)和显示至少一幅摄像机图像的显示单元(19-21)，其特征在于，所述图像显示方法包括下述步骤：

根据车辆状况由所述图像处理装置从所述多台摄像机获得的图像中选出至少一幅摄像机图像作处理，

在所述图像处理装置处理的所述摄像机图像上叠加一个图形图案；以及

在所述显示单元上显示经处理的、具有叠加图形图案的摄像机图像，从而，根据车辆的状况，显示车辆和目标的相对关系。

15.如权利要求14所述的用于多功能车载摄像机系统的图像显示方法，其特征在于，

所述多台摄像机包括从下列一组摄像机中选出的至少两台摄像机，这一组摄像机有：获取从车辆看到的后视图的后摄像机(18)；获取从车辆看到的右后侧视图和左后侧视图的右门柱摄像机和左门柱摄像机(17，16)；获取通过右车门镜和左车门镜从车辆看到的右车门镜视图和左车门镜视图的右车门镜摄像机和左车门镜摄像机(15，14)；获取从车辆看到的前侧视图的右侧摄像机和左侧摄像机(13，12)；以及获取从车辆看到的前视图的前摄像机(11)，以及

所述至少两台摄像机的图像在所述图像处理装置(47)中处理并在所述显示单元(19～21)上显示。

16.如权利要求15所述的用于多功能车载摄像机系统的图像显示方法，其特征在于，

当所述车辆为了停车而倒车时，根据所述后摄像机(18)以及所述右门柱摄像机和左门柱摄像机(17，16)的三幅图像产生和显示车辆的平面图图像。

17.如权利要求15所述的用于多功能车载摄像机系统的图像显示方法，其基本特征在于，

当所述车辆为了停车而沿着道路的左边倒车时，根据所述后摄像机(18)以及所述左门柱摄像机(16)和左车门镜摄像机(14)的三幅图像产生和显示车辆的平面图图像。

18.如权利要求15所述的用于多功能车载摄像机系统的图像显示方法，其特征在于，

当所述车辆为了停车而沿着道路的右边倒车时，根据所述后摄像机(18)以及所述右门柱摄像机(17)和右车门镜摄像机(15)的三幅图像产生和显示车辆的平面图图像。

19.如权利要求15所述的用于多功能车载摄像机系统的图像显示方法，其特征在于，

当所述车辆左转弯时，通过组合所述左车门镜摄像机(14)及左门柱摄像机(16)的两幅图像产生和显示全景图像。

20.如权利要求15所述的用于多功能车载摄像机系统的图像显示方法，其特征在于，

当所述车辆右转弯时，通过组合所述右车门镜摄像机(15)及右门柱摄像机(17)的两幅图像产生和显示全景图像。

21.如权利要求15所述的用于多功能车载摄像机系统的图像显示方法，其特征在于，

当所述车辆执行左车道变更时，通过组合所述左门柱摄像机(16)和所述后摄像机(18)的两幅图像产生和显示全景图像。

22.如权利要求15所述的用于多功能车载摄像机系统的图像显示方法，其特征在于，

当所述车辆执行右车道变更时，通过组合所述右门柱摄像机(17)和所述后摄像机(18)的两幅图像产生和显示全景图像。

23.如权利要求15所述的用于多功能车载摄像机系统的图像显示方法，其特征在于，所述显示单元包括显示由所述右车门镜摄像机(15)得到的图像的右监视器(21)，和显示由所述左车门镜摄像机(14)得到的图像的左监视器(20)。

24.如权利要求23所述的用于多功能车载摄像机系统的图像显示方法，其特征在于，当所述车辆行驶时，所述右监视器和左监视器(21，20)显示在相应于车门镜视角内看到的有限的图像。

25.如权利要求15所述的用于多功能车载摄像机系统的图像显示方法，其特征在于，

当所述车辆正常行驶时，通过组合所述右门柱摄像机和左门柱摄像机(17，16)和所述后摄像机(18)的三幅图像产生和显示全景图像。

26.如权利要求15所述的用于多功能车载摄像机系统的图像显示方法，其特征在于，

当所述车辆为确认前方或旁边的障碍物缓慢行驶或停下来时，通过组合所述右侧摄像机和左侧摄像机(13，12)的两幅图像产生和显示全景图像。

27.如权利要求26所述的用于多功能车载摄像机系统的图像显示方法，其特征在于，

当所述车辆右转弯时，放大所述右侧摄像机(13)的图像，而当所述车辆左转弯时，放大所述左侧摄像机(12)的图像。

28.如权利要求14至27中任一项所述的用于多功能车载摄像机系统的图像显示方法，其特征在于，

在所述显示单元上显示的图像包括接近或离开车辆物体的图像，用不同颜色来突出所述物体。

29.如权利要求23所述的用于多功能车载摄像机系统的图像显示方法，其特征在于，

当在车辆内时有任何乘客时，连续显示由所述车门镜摄像机(14，15)得到的图像。

30.如权利要求14所述的用于多功能车载摄像机系统的图像显示方法，其特征在于，所述目标是接近或离开车辆的运动物体；所述图形图案表示该运动物体相对于所述车辆的位置。

31.如权利要求14所述的用于多功能车载摄像机系统的图像显示方法，其特征在于，所述目标是道路或停车场；所述图形图案表示车辆相对于该道路或停车场的行驶轨迹。

Images