DE19629775B4

DE19629775B4 - Verfahren und Vorrichtung zur Überwachung der Umgebung eines Fahrzeugs und zur Erfassung eines Ausfalls der Überwachungsvorrichtung

Info

Publication number: DE19629775B4
Application number: DE19629775A
Authority: DE
Inventors: Kazumichi Tsutsumi; Shigekazu Okamura; Tatsuji Irie
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1995-11-17
Filing date: 1996-07-23
Publication date: 2008-04-10
Anticipated expiration: 2016-07-24
Also published as: DE19629775A1; US5617085A; JPH09142236A

Abstract

Umgebungsüberwachungsvorrichtung zur Überwachung der Umgebung eines Fahrzeugs (1), mit:
einer Kamera (3), die eine optische Achse aufweist, und auf dem Fahrzeug (1) angebracht ist, um das Bild einer Straße zu erfassen;
einer Fahrspurerfassungsvorrichtung (51) zur Erfassung von Koordinaten einer Fahrspur (7), in welcher sich das Fahrzeug (1) befindet, durch Verarbeitung von Bildsignalen, die von der Kamera (3) auf ein Anzeigebild ausgegeben werden, welches Koordinatenachsen (H, V) aufweist;
einem Strahlabtast-Laserradar (4), welches an dem Fahrzeug (1) angebracht ist; und
einer Vorwärtsfahrzeugerfassungsvorrichtung (53) zum Trennen von Objekten (21), die innerhalb der Fahrspur (7) erfasst werden, von Objekten (22), die außerhalb der Fahrspur (7) erfasst werden;
dadurch gekennzeichnet, dass
das Strahlabtast-Laserradar (4) so angebracht ist, dass seine optische Achse zu der optischen Achse der Kamera (3) ausgerichtet ist;
die Umgebungsüberwachungsvorrichtung ferner eine Koordinatentransformationsvorrichtung (52) umfasst zum Transformieren der Koordinaten (R, θ) eines von dem Laserradar...

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Überwachung der Umgebung eines fahrenden Fahrzeugs sowie eine auf dem Fahrzeug angebrachte Vorrichtung zur Ausführung des Verfahrens, mit einer Kamera und einem Laserradar zur Erfassung von Fahrzeugen auf der Straße und in der Fahrspur des Fahrzeugs. Weiterhin betrifft die vorliegende Erfindung ein Verfahren und eine Vorrichtung zur Beurteilung eines Ausfalls der Überwachungsvorrichtung, durch Erfassung einer Übereinstimmung zwischen den optischen Achsen der Kamera und des Laserradars.
Eine derartige konventionelle Vorrichtung ist in der japanischen Veröffentlichung Nr. 113482/1993 eines ungeprüften, offengelegten Patents beschrieben und betrifft eine auf einem Fahrzeug angebrachte Auffahrunfallverhinderungsvorrichtung. Bei dieser konventionellen Vorrichtung ist ein Einstrahl-Laserradar, von welchem ein Laserstrahl in einer Richtung in einem festgelegten engen Bereich vor einem Fahrzeug ausgesandt wird, einer Bildbearbeitungsvorrichtung zugeordnet, wodurch ein Hindernis vor dem Fahrzeug in dessen Fahrspur festgestellt werden kann.
Bei dieser konventionellen Vorrichtung soll erreicht werden, ein Hindernis in der eigenen Fahrspur des Fahrzeugs zu erfassen. Wenn jedoch die Straße vor dem Fahrzeug eine Kurve aufweist, so beleuchtet der von dem Laserradar des Fahrzeugs ausgestrahlte Laserstrahl nicht die eigene Fahrspur des Fahrzeugs, sondern eine benachbarte Fahrspur entweder auf der linken oder rechten Seite des Fahrzeugs.
Im Falle einer Kurven aufweisenden Straße befindet sich daher nicht jedes Hindernis, das vor dem Fahrzeug durch das Laserradar festgestellt wird, unbedingt in der eigenen Fahrspur des Fahrzeugs.
Angesichts der vorstehend geschilderten Situation wird bei der konventionellen Vorrichtung zuerst ein Bild vor dem Fahrzeug, das von einer Kamera aufgenommen wird, so bearbeitet, dass die eigene Fahrspur des Fahrzeugs festgestellt wird, und dann wird die Krümmung vor der eigenen Fahrspur des Fahrzeugs ermittelt. Dann wird die Richtung der Strahlaussendung des Laserradars entsprechend der Krümmung (also der Kurve) eingestellt, wodurch der Laserstrahl korrekt die eigene Fahrspur des Fahrzeugs jeder Zeit ausleuchtet, obwohl die Straße vor dem Fahrzeug eine Kurve aufweist.
Bei der vorstehend geschilderten Technik wird nur ein Laserradar des Einstrahltyps zur Aussendung eines Laserstrahls in einer Richtung in einen festgelegten, engen Bereich beschrieben.
Um die Umgebung eines fahrenden Fahrzeugs in einem größeren Bereich zu überwachen, wurden bislang verschiedene Systeme zu dem Zweck vorgeschlagen, einen Laserstrahl dazu zu veranlassen, einen größeren Bereich in Horizontalrichtung abzutasten.
US 5 461 357 A1 bezieht sich auf eine Vorrichtung zum Erfassen eines Hindernisses auf einem Weg vor einem fahrenden Fahrzeug, wobei ein Ziel ist, eine Hinderniserfassungsvorrichtung bereitzustellen, die in geeigneter Weise einen Gefahrenrang einer Vielzahl von in einem spezifischen sich vor einem fahrenden Fahrzeug erstreckenden Bereich erscheinenden Hindernissen zuordnen kann, um in geeigneter Weise ein bewegtes Hindernis in einem spezifischen Bereich zu beurteilen und eine optische Erfassungsvorrichtung bereitzustellen, die geeignet und präzise das Hindernis erfassen kann. Hierzu wird eine Hinderniserfassungsvorrichtung für ein Fahrzeug vorgeschlagen, die eine Bereichsbestimmungsvorrichtung hat zum Bestimmen eines Hinderniserfassungsbereichs, der sich vor einem fahrenden Fahrzeug erstreckt, um ein Hindernis zu erfassen, welches das Fahrzeug stören könnte, eine Aufspaltvorrichtung hat zum Aufspalten des Bereichs in eine Vielzahl kleiner Teilbereiche, und die außerdem eine Erfassungsvorrichtung zum Erfassen eines Hindernisses in jedem der kleinen Teilbereiche hat, eine Herleitungsvorrichtung zum Herleiten eines Weges des Fahrzeugs in dem Hinderniserfassungsbereich und eine Beurteilungsvorrichtung zum Beurteilen eines Gefahrenrangs eines Hindernisses in dem Hinderniserfassungsbereich. Üblicherweise besteht die Erfassungsvorrichtung aus einem einzelnen Strahlabtast-Lasersensor. Die Bereichsbestimmungsvorrichtung bestimmt den Hinderniserfassungsbereich innerhalb eines Abtastbereichs eines Lasersensors durch Verarbeiten eines Signals von dem Lasersensor. Die Aufspaltvorrichtung spaltet den Erfassungsbereich in kleine Teilbereiche auf, das heißt, Bereiche mit unterschiedlichen Ausdehnungswinkeln eines Erfassungsbereichs, bestimmt durch einen Versatzwinkel eines Strahls des Sensors aus der Bewegungsrichtung des Fahrzeugs. Das Fahrzeug ist mit einer auf seiner Mittellinie angeordneten Kamera versehen. Die Kamera zeigt einen Bereich einer gewissen Breite in einer gewissen Distanz vor dem Fahrzeug auf einem Schirm an. Ein Unterscheider findet den Ort der Leitplanke und der Mittellinie basierend auf Farbe, Konfiguration und ähnlichem. Der Unterscheider berechnet Abstände von einer Mittellinie der Kamera zu der Leitplanke und der Mittellinie der Strasse zum Berechnen der Breite der Fahrzeugfahrspur. Zusätzlich kann ein Abstand zwischen dem Fahrzeug und der Leitplanke basierend auf dem von der Kamera angezeigten Bild erfasst werden. Die Rechenergebnisse, d.h. der Abstand von dem Fahrzeug von der Leitplanke und/oder die Fahrspurbreite können dann in eine Formel zum Berechnen eines Winkels des Strahlversatzes von der Bewegungsrichtung des Fahrzeugs im Koordinatenraum des Strahlabtast-Laserradars eingegeben werden, das heißt, mit einem Winkel als einer Koordinate.
Bei einem bekannten Erfassungssystem verbleibt jedoch folgendes Problem. Bei einem Laserradar des Strahlabtasttyps ist es unbedingt erforderlich, da nicht nur andere Fahrzeuge erfasst werden können, die vor dem Fahrzeug in dessen eigener Fahrspur fahren, sondern auch andere Fahrzeuge, die in anderen Spuren, einschließlich benachbarten Spuren fahren, festzustellen, welches dieser Fahrzeuge tatsächlich ein Hindernis bildet.
Bei gerader Straße fährt jederzeit jedes andere Fahrzeug in der eigenen Fahrspur des Fahrzeugs vor dem Fahrzeug. In diesem Fall ist die Identifizierung eines anderen Fahrzeugs sehr einfach, das in der eigenen Fahrspur des Fahrzeugs vorfährt.
In der Realität ist allerdings keine Straße immer gerade. Auf einer üblichen Straße ist ein anderes Fahrzeug, das vor einem Fahrzeug in dessen eigener Fahrspur fährt, nicht immer vor dem Fahrzeug befindlich. Wenn beispielsweise vor dem Fahrzeug die Straße eine Rechtskurve aufweist, so befindet sich das andere Fahrzeug, das vor dem Fahrzeug in dessen eigener Fahrspur fährt, auf der rechten Seite des Fahrzeugs.
Weist jedoch die Straße vor dem Fahrzeug eine Linkskurve auf, so befindet sich das andere Fahrzeug, das in der eigenen Fahrspur des Fahrzeugs vorfährt, auf der linken Seite des Fahrzeugs.
Darüber hinaus kann abhängig von der Art der Kurve der Fall auftreten, dass ein anderes Fahrzeug, welches in einer benachbarten Fahrspur fährt, sich tatsächlich vor dem betreffenden Fahrzeug befindet.
Bei Strahlabtast-Laserradarvorrichtungen ist es zwar sicher, dass Hindernisse über einen größeren Bereich erfasst werden können, jedoch ist es schwierig zu beurteilen, was ein echtes Hindernis in der eigenen Fahrspur des Fahrzeugs darstellt.
Die japanische Veröffentlichung eines ungeprüften, offengelegten Patents Nr. 113482/1993 beschreibt eine auf einem Fahrzeug angebrachte Auffahrunfallverhinderungsvorrichtung, bei welcher der Ausstrahlungsbereich des Laserstrahls fest ist. Dadurch kann jedes Hindernis vor dem Fahrzeug in dessen eigener Fahrspur innerhalb eines festen Bereiches identifiziert werden. Bei dieser Vorrichtung kann jedoch nur ein Hindernis in der eigenen Fahrspur des Fahrzeugs festgestellt werden. Daher wird die Fähigkeit des Strahlabtast-Laserstrahls zur Überwachung eines größeren Bereichs nicht ausreichend genutzt.
Eine Aufgabe der vorliegenden Erfindung besteht daher in der Bereitstellung eines Umgebungsüberwachungsverfahrens zur Überwachung der Umgebung eines Fahrzeugs, welches ein erfasstes Objekt identifizieren kann, das sich in der eigenen Fahrspur des Fahrzeugs befindet oder dort fährt, selbst wenn ein Laserradar des Strahlabtasttyps verwendet wird, sowie in der Bereitstellung einer Umgebungsüberwachungsvorrichtung zur Ausführung dieses Verfahrens.
Eine weitere Aufgabe der vorliegenden Erfindung besteht in der Bereitstellung eines Fehlerbeurteilungsverfahrens zur Feststellung eines Fehlers der vorstehend geschilderten Umgebungsüberwachungsvorrichtung. Dieses Fehlerbeurteilungsverfahren verwendet den Mangel an Übereinstimmung der optischen Achsen eines Laserradarstrahls, der zur Erfassung eines anderen Fahrzeugs verwendet wird, und einer Kamera, die zur Erfassung der Fahrspur verwendet wird, um zu bestimmen, wenn ein Ausfall aufgetreten ist.
Das Umgebungsüberwachungsverfahren zur Überwachung der Umgebung eines Fahrzeugs gemäß der vorliegenden Erfindung weist folgende Schritte auf: (1) Erfassung von Bildsignalen einer Fahrspur, in welcher sich das Fahrzeug befindet, durch eine auf dem Fahrzeug angebrachte Kamera; (2) Bestimmung der Koordinaten der Fahrspur auf einem Anzeigebild durch Bearbeitung der Bildsignale; (3) Erfassung eines Objekts vor dem Fahrzeug mit einem Strahlabtast-Laserradar, dessen optische Achse zu der optischen Achse der Kamera ausgerichtet ist; (4) Transformieren der Koordinaten eines von dem Laserradar erfassten Objekts entsprechend den Koordinatenachsen des Anzeigebildes, um transformierte Koordinaten zur Verfügung zu stellen; und (5) Trennen von L innerhalb der Fahrspur erfassten Objekten von außerhalb der Fahrspur erfassten Objekten durch Vergleichen der transformierten Koordinaten mit den Koordinaten der Fahrspur.
Bei dem vorstehend geschilderten Verfahren werden zuerst die Achse des Strahlabtast-Laserradars und die Achse der Kamera vorläufig aufeinander ausgerichtet. Die Kamera nimmt ein Bild der Straße vor dem Fahrzeug auf, und bearbeitet die Bildsignale zur Erfassung der eigenen Fahrspur des Fahrzeugs. Das Laserradar erfasst die Entfernung und die Richtung von dem Fahrzeug zu dem erfassten Objekt oder Gegenstand.
Die Entfernung und die Richtung stellen Positionsdaten des erfassten Objekts dar, mit welchen dann eine Koordinatentransformation durchgeführt wird, um die Position auf dem Bild zu bestätigen, welches von der Kamera aufgenommen wird. Die Koordinaten des erfassten Objekts nach der Koordinatentransformation werden dann mit den Koordinaten der eigenen Fahrspur des Fahrzeugs auf dem Anzeigebild verglichen, welches von der Kamera aufgenommen wird.
Befindet sich das erfasste Objekt innerhalb des Umfangs der Koordinaten, welche die eigene Fahrspur des Fahrzeugs angeben, so wird beurteilt, dass sich das erfasste Objekt innerhalb der eigenen Fahrspur des Fahrzeugs befindet. Liegt andererseits das erfasste Objekt außerhalb des Umfangs der Koordinaten, welche die eigene Fahrspur des Fahrzeugs angeben, so wird beurteilt, dass es sich bei dem erfassten Objekt nicht um ein Objekt innerhalb der eigenen Fahrspur des Fahrzeugs handelt.
Die Umgebungsüberwachungsvorrichtung zur Ausführung des Umgebungsüberwachungsverfahrens gemäß der vorliegenden Erfindung weist auf: (1) eine Kamera, die eine optische Achse aufweist, und auf dem Fahrzeug angebracht ist, um das Bild einer Straße zu erfassen; (2) eine Fahrspurerfassungsvorrichtung zur Erfassung von Koordinaten einer Fahrspur, in welcher sich das Fahrzeug befindet, durch Verarbeitung von Bildsignalen, die von der Kamera auf ein Anzeigebild ausgegeben werden, welches Koordinatenachsen aufweist; (3) ein Strahlabtast-Laserradar, welches an dem Fahrzeug angebracht ist; und (4) eine Vorwärtsfahrzeugerfassungsvorrichtung zum Trennen von Objekten, die innerhalb der Fahrspur erfasst werden, von Objekten, die außerhalb der Fahrspur erfasst werden; wobei (5) das Strahlabtast-Laserradar so angebracht ist, dass seine optische Achse zu der optischen Achse der Kamera ausgerichtet ist; (6) die Umgebungsüberwachungsvorrichtung ferner eine Koordinatentransformationsvorrichtung umfasst zum Transformieren der Koordinaten eines von dem Laserradar erfassten Objekts entsprechend den Koordinatenachsen des Anzeigebildes, um transformierte Koordinaten zur Verfügung zu stellen; und (7) die Vorwärtsfahrzeugerfassungsvorrichtung ausgestaltet ist zum Trennen von innerhalb der Fahrspur erfassten Objekten von außerhalb der Fahrspur erfassten Objekten durch Vergleichen der transformierten Koordinaten mit den Koordinaten der Fahrspur.
Bei der Vorrichtung mit dem vorstehend geschilderten Aufbau wird das von der Kamera aufgenommene Bild der Straße durch die Fahrspurerfassungsvorrichtung bearbeitet, wodurch die eigene Fahrspur des Fahrzeugs festgestellt wird. Das Laserradar des Strahlabtasttyps, dessen optische Achsen mit denen der Kamera übereinstimmen, führt eine Abtastung mit einem Laserstrahl durch, und bestimmt eine Entfernung und eine Richtung von dem Fahrzeug des Fahrers bis zum erfassten Objekt. Derartige Positionsinformation wie Entfernung und Richtung zum erfassten Objekt wird der Koordinatentransformationsvorrichtung zugeführt, und in Positionsinformation der Koordinaten auf dem Anzeigebild der Kamera umgewandelt.
Bei der Vorwärtsfahrzeugerfassungsvorrichtung (oder -trennvorrichtung) wird die Positionsinformation der eigenen Fahrspur des Fahrzeugs, die durch die Koordinaten des Anzeigebildes der Kamera gegeben ist, mit der Positionsinformation des erfassten Objekts verglichen. Als Ergebnis des Vergleichs wird ein erfasstes Objekt, das sich in der eigenen Fahrspur des Fahrzeugs befindet, getrennt oder unterschieden von einem anderen erfassten Objekt, das sich nicht innerhalb der eigenen Fahrspur des Fahrzeugs befindet.
Bei einer bevorzugten Ausführungsform weist die Umgebungsüberwachungsvorrichtung weiterhin eine Berechnungsvorrichtung für repräsentative Koordinaten zur Berechnung repräsentativer Koordinaten der Objekte auf, die von dem Laserradar erfasst werden, so dass die repräsentativen Koordinaten, die von der Berechnungsvorrichtung für repräsentative Koordinaten berechnet werden, entsprechend Koordinatenachsen auf dem Anzeigebild transformiert werden.
Wenn ein anderes Fahrzeug als erfasstes Objekt erfasst wird, findet normalerweise die Erfassung an mehreren Punkten und nicht an einem einzigen Punkt statt. Daher ist es relativ kompliziert und mühsam, sämtliche mehreren erfassten Punkte mit der eigenen Fahrspur des Fahrzeugs auf dem Anzeigebild zu vergleichen, und darüber hinaus wird die Berechnungsgeschwindigkeit herabgesetzt. Bei der hier vorgeschlagenen, bevorzugten Ausführungsform werden jedoch alle mehreren erfassten Punkte zusammen durch einen repräsentativen Punkt behandelt, was zu einfacheren Berechnungen führt.
Die Fehlerbeurteilungsvorrichtung zur Beurteilung eines Ausfalls einer Umgebungsüberwachungsvorrichtung weist auf: (1) eine Kamera, die eine optische Achse aufweist, und auf einem Fahrzeug angebracht ist, um ein Bild einer Straße aufzunehmen; (2) ein Strahlabtast-Laserradar, welches eine optische Achse aufweist, und so auf dem Fahrzeug angebracht ist, dass seine optische Achse in Mittelstellung zu der optischen Achse der Kamera ausgerichtet ist, (3) eine Repräsentativkoordinaten-Berechnungsvorrichtung zur Berechnung repräsentativer Koordinaten eines anderen von dem Laserradar erfassten Fahrzeugs; (4) eine Koordinatentransformationsvorrichtung zum Transformieren der repräsentativen Koordinaten entsprechend Koordinatenachsen auf einem Anzeigebild der Kamera; (5) eine Fenstereinstellvorrichtung zur Einstellung eines Fensters zur Festlegung eines vorbestimmten Bereichs auf der Grundlage der repräsentativen Koordinaten, die von der Koordinatentransformationsvorrichtung transformiert wurden; und (6) eine Beurteilungsvorrichtung für die optische Achse zur Beurteilung, ob die optische Achse der Kamera zu der optischen Achse des Laserradars ausgerichtet ist oder nicht, abhängig davon, ob sich das andere Fahrzeug innerhalb des Fensters befindet oder nicht, durch Bearbeitung von Bildsignalen in dem Fenster.
Das Fehlerbeurteilungsverfahren dient zur Durchführung einer Beurteilung eines Fehlers der Umgebungsüberwachungsvorrichtung, die mit einem Laserradar und einer Kamera versehen ist, deren optische Achsen zueinander ausgerichtet sind. Zuerst wird durch das Laserradar das andere Fahrzeug erfasst, das sich in der Nähe befindet. Dann wird der Ort, an welchem das andere Fahrzeug auf dem Bild der Kamera aufgenommen wird, berechnet, und ein vorbestimmter Bereich des Bildes festgelegt, welcher das andere Fahrzeug umfasst.
Dann wird das Bild der Kamera bearbeitet, und es wird beurteilt, ob die optische Achse der Kamera zu der optischen Achse des Laserradars ausgerichtet ist oder nicht, abhängig davon, ob sich das Fahrzeug innerhalb des eingerichteten, vorbestimmten Bereiches befindet oder nicht. Anders ausgedrückt muss, wenn die optische Achse der Kamera und die optische Achse des Laserradars zueinander ausgerichtet sind, das erfasste Objekt, das von dem Laserradar aufgenommen wird, auch von der Kamera aufgenommen werden. Wenn andererseits das von dem Laserradar aufgenommene, erfasste Objekt nicht von der Kamera aufgenommen wird, so kann festgestellt werden, dass die optischen Achsen nicht zueinander ausgerichtet sind.
Die Beurteilungsvorrichtung für die optische Achse bestimmt, ob das zu erfassende Objekt innerhalb des Fensters liegt, durch Vergleichen der transformierten repräsentativen Koordinaten mit Histogrammen der erfassten Außenkontur. Diese Funktion stellt fest, ob die optischen Achsen der Kamera und des Laserstrahls zueinander ausgerichtet sind.
Die Beurteilungsvorrichtung für die optischen Achsen weist eine Histogrammberechnungsvorrichtung auf, eine Vergleichsbezugswerteinstellvorrichtung, und eine Vergleichsvorrichtung. Die Histogrammberechnungsvorrichtung berechnet Histogramme, welche die horizontalen und vertikalen Linien repräsentieren, die sich innerhalb der Außenkontur herausgestellt haben. Die Vergleichsbezugswerteinstellvorrichtung stellt Vergleichsbezugswerte auf der Grundlage der transformierten Koeffizienten ein. Die Vergleichsvorrichtung vergleicht die Histogramme mit den Vergleichsbezugswerten auf der Grundlage der transformierten Koeffizienten, und beurteilt, dass sich das andere Fahrzeug innerhalb des korrigierten Fensters befindet, wenn der Maximalwert des Histogramms größer als der Vergleichsbezugswert über einen vorbestimmten Zeitraum ist.
Es wird darauf hingewiesen, dass bei der hier vorgeschlagenen, bevorzugten Ausführungsform der Vergleichsbezugswert, der als Bezugsgröße zur Beurteilung der Abmessungen des Fensters dient, das auf dem Anzeigebild eingestellt ist, und zur Beurteilung, ob das Fahrzeug vorhanden ist oder nicht, entsprechend der Entfernung zu dem anderen Fahrzeug korrigiert wird, welches von dem Laserradar erfasst wird. Selbst wenn sich die Entfernung zu dem von dem Laserradar erfassten Fahrzeug ändert, kann das zueinander ausgerichtet sein oder nicht zueinander ausgerichtet sein zwischen den optischen Achsen der Kamera und des Laserradars exakt beurteilt werden.
Bei einer weiteren bevorzugten Ausführungsform weist die Fehlerbeurteilungsvorrichtung weiterhin eine Sperreinrichtung für die Beurteilung der optischen Achse auf. Dieses Gerät sperrt die Beurteilung des zueinander ausgerichtet seins oder nicht zueinander ausgerichtet seins der optischen Achsen der Kamera und des Laserradars, wenn die Entfernung, die durch die repräsentativen Koordinaten angegeben wird, die von dem Laserradar festgestellt werden, größer als eine vorbestimmte Entfernung ist. Genauer gesagt werden die Abmessungen des Fensters und der Vergleichsbezugswert entsprechend der Entfernung zum anderen Fahrzeug korrigiert, welche von dem Laserradar festgestellt wird. Wenn die Entfernung zu dem anderen Fahrzeug allzu groß ist, ist das Bild des anderen Fahrzeugs auf der Anzeige der Kamera äußerst klein, was es schwierig macht zu beurteilen, ob es sich um ein Bild eines anderen Fahrzeugs handelt oder nicht. Daher ist das Ergebnis der Übereinstimmungsbeurteilung nicht immer verlässlich.
Bei der hier vorgeschlagenen, bevorzugten Ausführungsform wird daher die Beurteilung der relativen Ausrichtung der optischen Achsen gesperrt, wenn die von dem Laserradar ermittelte Entfernung zu dem anderen Fahrzeug größer als eine vorbestimmte Entfernung ist.
Die Erfindung wird nachstehend anhand zeichnerisch dargestellter Ausführungsbeispiele näher erläutert, aus welchen weitere Vorteile und Merkmale hervorgehen. Es zeigt:
1 eine Darstellung eines Fahrzeugs, bei welchem eine Vorrichtung gemäß mehrerer Ausführungsformen der vorliegenden Erfindung angebracht ist;
2 ein Blockschaltbild einer ersten bevorzugten Ausführungsform der Erfindung;
3 ein Bild einer vor einem Fahrzeug befindlichen Straße, welches von einer auf dem Fahrzeug angebrachten CCD-Kamera aufgenommen wird;
4(a), 4(b) und 4(c) erläuternde Darstellungen von Positionsinformation in Bezug auf ein Fahrzeug, das vorausfährt, in verschiedenen Koordinatensystemen;
5 eine erläuternde Darstellung der Art und Weise der Erfassung eines vorausfahrenden Fahrzeugs durch ein auf einem nachfahrenden Fahrzeug angebrachtes Laserradar;
6 eine erläuternde Darstellung der Art und Weise der Erfassung eines vorausfahrenden Fahrzeugs durch die auf dem nachfahrenden Fahrzeug angeordnete CCD-Kamera;
7 eine erläuternde Darstellung der Art und Weise der Transformation von Positionsinformation eines Objekts, welches von dem Laserradar erfasst wird, entsprechend den Koordinaten auf dem Anzeigebild;
8 ein Blockschaltbild einer zweiten bevorzugten Ausführungsform;
9(a) und 9(b) erläuternde Darstellungen zur Verdeutlichung des Betriebsablaufs der Berechnungsvorrichtung für repräsentative Koordinaten, wobei 9(a) die Art und Weise zeigt, auf welche mehrere Positionsinformationen unter Verwendung eines Laserradars von einem vorausfahrenden Fahrzeug erhalten werden, und 9(b) erläutert, wie die mehreren Positionsinformationen zu einem repräsentativen Punkt vereinigt werden;
10 ein Blockschaltbild einer dritten bevorzugten Ausführungsform;
11 ein Blockschaltbild einer bevorzugten Ausführungsform einer Erfassungsvorrichtung für ein nicht zueinander ausgerichtet sein optischer Achsen, die bei der dritten bevorzugten Ausführungsform verwendet wird; und
12(a) und 12(b) erläuternde Darstellungen zur Verdeutlichung des Betriebsablaufs bei der dritten bevorzugten Ausführungsform.
Die erste bevorzugte Ausführungsform schlägt ein Umgebungsüberwachungsverfahren zur Überwachung der Umgebung eines Fahrzeugs vor, um zu beurteilen, ob ein von einem Strahlabtastungs-Laserradar erfasstes Objekt sich in der eigenen Fahrspur des Fahrzeugs befindet oder nicht, und schlägt weiterhin eine Umgebungsüberwachungsvorrichtung zur Durchführung dieses Verfahrens vor.
Das Umgebungsüberwachungsverfahren wird mit folgenden Schritten durchgeführt.
Zuerst werden von einer auf einem Fahrzeug angebrachten Kamera, die in Bewegungsrichtung des Fahrzeugs gerichtet ist, Bildsignale erfasst. Die Kamera nimmt weiße Linien auf der Straßenoberfläche vor dem Fahrzeug auf und bearbeitet diese. Da die Kamera auf dem Fahrzeug angebracht ist, befindet sich die Kamera innerhalb der eigenen Fahrspur des Fahrzeugs, von welchem die Situation vor dem Fahrzeug aufgenommen wird.
Eine weiße Linie auf der linken Seite der eigenen Fahrspur des Fahrzeugs taucht daher auf der linken Seite des von der Kamera aufgenommenen Bildes auf, wogegen eine weiße Linie auf der rechten Seite der eigenen Fahrspur des Fahrzeugs auf der rechten Seite des Bildes auftaucht. Die weißen Linien sind normalerweise so auf die Straße gemalt, dass sie im Vergleich zur Straßenoberfläche sehr hell sind.
Bei der nachfolgenden Bildbearbeitung werden Punkte großer Helligkeit auf der Straße erfasst, und diese Punkte werden als weiße Linie erkannt. Die Position einer derartigen weißen Linie wird auf H-V-Koordinatenachsen angegeben, wobei die V-Achse die Vertikalrichtung des Bildes angibt, dagegen die H-Achse die Horizontalrichtung des Bildes.
In der H-V-Koordinatenebene wird daher die eigene Fahrspur eines Fahrzeugs in einem Bereich von einer Koordinatenposition der linken weißen Linie zu einer Koordinatenposition der rechten weißen Linie angegeben.
Ein auf dem Fahrzeug angebrachtes Laserradar, dessen optische Achse in Mittelstellung zu der optischen Achse der Kamera ausgerichtet ist, überwacht die Umgebung des Fahrzeugs durch Horizontalabtastung mit einem Laserstrahl. Die Positionsinformation in Bezug auf ein erfasstes Objekt wird in einem R-θ-Koordinatensystem erhalten, also durch eine Entfernung R zu dem erfassten Objekt und einen Winkel θ, welcher den Winkel zwischen der Richtung der Vorwärtsbewegung des Fahrzeugs und der durch die Entfernung angegebenen Richtung bezeichnet.
Die Positionsinformation in Bezug auf das erfasste Objekt, angegeben in dem R-θ-Koordinatensystem, wird dann in das H-V-Koordinatensystem transformiert, so dass sie mit den weißen Linien auf dem Anzeigebild verglichen werden kann. Die Positionsinformation in Bezug auf das erfasste Objekt, transformiert in das H-V-Koordinatensystem, wird dann mit den Positionen der weißen Linie verglichen, die von der Kamera festgestellt wurden, und in dem H-V-Koordinatensystem angezeigt sind.
Wenn dann ein Vergleich der Positionsinformation des von dem Laserradar erfassten Objekts und der Kamera anzeigt, dass sich das Objekt innerhalb des Bereiches der Koordinaten befindet, welche die eigene Fahrspur des Fahrzeugs festlegen, dann wird das erfasste Objekt so beurteilt, dass es sich in der eigenen Fahrspur des Fahrzeugs befindet. Wenn andererseits der Vergleich der Positionsinformation des von dem Laserradar erfassten Objekts und der Kamera anzeigt, dass das Objekt außerhalb des Umfangs der Koordinaten liegt, welche die eigene Fahrspur des Fahrzeugs angeben, dann wird das erfasste Objekt so beurteilt, dass es sich außerhalb der eigenen Fahrspur des Fahrzeugs befindet.
Nachstehend wird nunmehr die Umgebungsüberwachungsvorrichtung zur Ausführung des vorstehend geschilderten Umgebungsüberwachungsverfahrens beschrieben.
1 zeigt ein Fahrzeug, das mit einer Vorrichtung gemäß einer ersten bevorzugten Ausführungsform der Erfindung versehen ist. In 1 ist mit dem Bezugszeichen 1 das Fahrzeug bezeichnet, 2 bezeichnet ein anderes Fahrzeug, 3 bezeichnet eine CCD-Kamera, die auf einem oberen Abschnitt des Fahrzeugs 1 angebracht ist, und in Vorwärtsrichtung gerichtet ist, 4 bezeichnet ein Strahlabtastungs-Laserradar, das auf dem Fahrzeug 1 angebracht ist, und dessen optische Achse zu der optischen Achse der CCD-Kamera 3 ausgerichtet ist, und 5 bezeichnet einen Prozessor zum Empfangen von Ausgangssignalen von der CCD-Kamera 3 und dem Laserradar 4.
2 ist ein Blockschaltbild, welches die Anordnung der Umgebungsüberwachungsvorrichtung zeigt. In 2 ist mit dem Bezugszeichen 51 die Fahrspurerfassungsvorrichtung bezeichnet, die an die CCD-Kamera 3 angeschlossen ist und ein von der CCD-Kamera 3 aufgenommenes Bild bearbeitet, um einen Bereich der eigenen Fahrspur des Fahrzeugs zu erfassen.
Das Bezugszeichen 52 bezeichnet eine an das Laserradar 4 angeschlossene Koordinatentransformationsvorrichtung. Die Koordinatentransformationsvorrichtung 52 empfängt Positionsinformation in Bezug auf das andere Fahrzeug 2, welches vorausfährt, und wandelt die von dem Laserradar 4 erfasste Information, dargestellt in dem R-θ-Koordinatensystem, in Positionsinformation in dem H-V-Koordinatensystem um. Im einzelnen wird die in dem R-θ-Koordinatensystem angegebene Information, also dargestellt durch eine Entfernung von dem Fahrzeug 1 und einen Winkel θ (zwischen einer Bezugsposition und der Position des erfassten Fahrzeugs) in Positionsinformation transformiert, die in dem H-V-Koordinatensystem dargestellt ist, entsprechend dem von der CCD-Kamera 3 aufgenommenen Bild. In dieser Hinsicht liegt die Bezugsposition in einer Richtung, welche zu der optischen Achse der CCD-Kamera ausgerichtet ist, also in Vorwärtsrichtung des Fahrzeugs 1.
Das Bezugszeichen 53 bezeichnet die Vorwärtsfahrzeugerfassungsvorrichtung zur Erfassung des vorausfahrenden Fahrzeugs. Die Vorwärtsfahrzeugerfassungsvorrichtung ist an die Fahrspurerfassungsvorrichtung 51 und an die Koordinatentransformationsvorrichtung 52 angeschlossen. Die Vorwärtsfahrzeugerfassungsvorrichtung 53 vergleicht die Positionsinformation bezüglich der eigenen Fahrspur des Fahrzeugs, angegeben in dem H-V-Koordinatensystem, wie sie von der Fahrspurerfassungsvorrichtung 51 empfangen werden, mit der Information, die von der Koordinatentransformationsvorrichtung 52 zur Verfügung gestellt wird, welche die Positionsinformation in Bezug auf das vorausfahrende, andere Fahrzeug 2 darstellt und in H-V-Koordinaten angegeben ist. Die Vorwärtsfahrzeugerfassungsvorrichtung beurteilt, ob das vorausfahrende Fahrzeug sich in derselben Fahrspur befindet wie das Fahrzeug 1, und gibt ein entsprechendes Ergebnis aus.
Die Vorwärtsfahrzeugerfassungsvorrichtung 53 weist eine Trennvorrichtung zum Trennen oder Unterscheiden zwischen einem Objekt, das innerhalb der eigenen Fahrspur des Fahrzeugs festgestellt wird, und einem Objekt auf, das sich als außerhalb der eigenen Fahrspur des Fahrzeugs befindlich herausstellt.
Nunmehr wird der Betriebsablauf bei der ersten bevorzugten Ausführungsform der Erfindung beschrieben.
Wie in 3 gezeigt, wird von der CCD-Kamera 3 ein Bild erhalten, welches eine Straßenoberfläche vor dem Fahrzeug 1 zeigt. In 3 bezeichnet das Bezugszeichen 6 ein Bild der Straße vor dem Fahrzeug, das von der CCD-Kamera 3 aufgenommen wird, mit 61 ist eine weiße Linie auf der linken Seite in dem Bild bezeichnet, mit 62 eine weiße Linie auf der rechten Seite in dem Bild, mit 63 eine vorbestimmte Abtastlinie oder Abtastzeile in dem Bild, und mit 64 ein Videosignal der Abtastzeile 63.
Normalerweise sind weiße Linien auf die Straße aufgemalt, um die Grenzen zwischen den Fahrspuren des laufenden Verkehrs anzuzeigen. Die Videosignaldarstellung einer weißen Linie weist die Eigenschaften eines hohen Helligkeitspegels im Vergleich mit dem Pegel der Umgebung auf, wie durch das Videosignal 64 in 3 angedeutet ist.
Daher kann jede weiße Linie dadurch festgestellt werden, dass ein Bereich mit hohem Helligkeitspegel im Vergleich zur Umgebung erfasst wird. Auf diese Weise werden sowohl die Koordinaten der weißen Linie 61 auf der linken Seite in dem H-V-Koordinatensystem als auch jene der weißen Linie 62 auf der rechten Seit ein dem H-V-Koordinatensystem erhalten.
Weiterhin wird ein Bereich von der weißen Linie 61 auf der linken Seite bis zur weißen Linie 62 auf der rechten Seite als die eigene Fahrspur des Fahrzeugs erfasst. Eine derartige Erfassung der eigenen Fahrspur des Fahrzeugs wird in Bezug auf das gesamte Bild dadurch durchgeführt, dass immer wieder die Abtastzeile 63 von der unteren Seite des Bildes schrittweise bis zur oberen Seite des Bildes erneut wird.
In Bezug auf eine weiße Linie, die Teilstücke aufweist, wie die weiße Linie 62 auf der rechten Seite in der Figur, werden die Positionen der fehlenden Abschnitte durch eine Interpolationsberechnung unter Bezugnahme auf die benachbarten Abschnitte bestimmt, in welchen weiße Linien vorhanden sind.
Die Positionsinformation in Bezug auf das vorausfahrende, andere Fahrzeug 2 wird von dem Laserradar 4 erhalten. Dies führt dazu, dass es möglich ist, die Positionsinformation der eigenen Fahrspur des Fahrzeugs, die wie vorstehend geschildert erhalten wurde, mit der Positionsinformation des anderen, vorausfahrenden Fahrzeugs 2 zu vergleichen, welche von dem Laserradar 4 erhalten wird.
Daher ist es möglich, eine Trennung oder Unterscheidung zwischen irgendeinem anderen Fahrzeug, welches in derselben Fahrspur wie das erfassende Fahrzeug vorausfährt, und irgendeinem anderen Fahrzeug zu treffen, das in einer unterschiedlichen Fahrspur vorausfährt.
Da jedoch die Positionsinformation in Bezug auf das andere Fahrzeug 2, die von dem Laserradar 4 erhalten wird, in Form von R-θ-Koordinaten vorliegt, die sich von dem H-V-Koordinatensystem des Bildes 6 unterscheiden ist es unmöglich, diese verschiedenen Positionsinformationen miteinander zu vergleichen.
Diese Schwierigkeit wird nachstehend unter Bezugnahme auf 4 eingehender erläutert.
Die 4(a), 4(b) und 4(c) zeigen zur Verdeutlichung die Positionsinformation in Bezug auf das vorausfahrende Fahrzeug 2 in den jeweiligen Koordinatensystemen. 4(a) zeigt Positionsinformation bezüglich des Fahrzeugs 2 in den R-θ-Koordinaten, die von dem Laserradar 4 erhalten werden. 4(b) zeigt Positionsinformation bezüglich des Fahrzeugs 2 und der weißen Linien in H-V-Koordinaten. 4(c) zeigt X-Y-Koordinaten, bei denen das Fahrzeug 1 im Ursprung liegt, wobei die Längsrichtung des Fahrzeugs 1 die Y-Achse bildet, und die Horizontalrichtung die X-Achse.
Die X-Y-Koordinaten werden als Koordinaten für die Fahrzeugsteuerung verwendet. Positionsinformation anhand von R-θ-Koordinaten oder H-V-Koordinaten, die von dem Laserradar 4 und der CCD-Kamera 3 erhalten werden, werden nach Transformation in Positionsinformation in X-Y-Koordinaten verwendet.
Beispielsweise wird in X-Y-Koordinaten die Fahrzeugsteuerung berechnet, etwa die Steuerung oder Kontrolle der Entfernung zwischen Fahrzeugen zur Aufrechterhaltung eines ordnungsgemäßen Abstands, beispielsweise zwischen den Fahrzeugen 1 und 2.
Wie aus den 4(a), 4(b) und 4(c) hervorgeht, wird die Positionsinformation bezüglich des Fahrzeugs 2 durch das Laserradar 4 zur Verfügung gestellt, und liegt in Form von R-θ-Koordinaten vor, also auf der Grundlage der Entfernung zwischen den Fahrzeugen 1 und 2 und des Winkels θ, welcher den Winkel zwischen einem Weg von Fahrzeug 1 zum Fahrzeug 2 und einer Bezugsrichtung angibt.
Andererseits liegt die Positionsinformation bezüglich der weißen Linie 61 auf der linken Seite und der weißen Linie 62 auf der rechten Seite, die von dem Bild 6 erhalten wird, in Form von H-V-Koordinaten vor, bei welchen der Ursprung oben links im Bild liegt, die H-Achse horizontal durch den Ursprung geht, und die V-Achse vertikal durch den Ursprung geht.
Daher ist es unmöglich, die Positionsinformation des Laserradars 4 in Form des R-θ-Koordinatensystems auf das Bild 6 ohne Transformation zu projizieren.
Angesichts der vorstehenden Überlegungen wird bei der ersten bevorzugten Ausführungsform die Positionsinformation bezüglich des Fahrzeugs 2, das dem erfassenden Fahrzeug vorausfährt, und die von dem Laserradar 4 erhalten wird und in Form von R-θ-Koordinaten vorliegt, zuerst in X-Y-Koordinaten transformiert, und gespeichert.
Die Positionsinformation in X-Y-Koordinaten wird weiterhin in Positionsinformation in Form der H-V-Koordinaten transformiert, wodurch die transformierte Positionsinformation mit der Positionsinformation bezüglich der weißen Linien verglichen werden kann, welche aus dem Bild 6 in Form von H-V-Koordinaten erhalten wird.
In der Vorwärtsfahrzeugerfassungsvorrichtung 53 wird daher die Positionsinformation bezüglich der weißen Linien, die von der Fahrspurerfassungsvorrichtung 51 in Form von H-V-Koordinaten erhalten wird, mit der Positionsinformation bezüglich des Fahrzeugs 2 verglichen, die von der Koordinatentransformationsvorrichtung 52 in Form von H-V-Koordinaten erhalten wird. Die Vorwärtsfahrzeugerfassungsvorrichtung 52 beurteilt, ob die Positionsinformation bezüglich des Fahrzeugs 2 innerhalb der Abmessungen der Fahrspur des Fahrzeugs 1 liegt oder nicht, welche von der Erfassungsvorrichtung 51 für die eigene Fahrspur festgestellt werden. Liegt das vorausfahrende Fahrzeug 2 innerhalb des Umfangs der eigenen Fahrspur des Fahrzeugs, so wird das Fahrzeug 2 so beurteilt, dass es sich in der eigenen Fahrspur des Fahrzeugs befindet. Wenn andererseits das Fahrzeug 2 außerhalb des Umfangs der eigenen Fahrspur des Fahrzeugs liegt, so wird das Fahrzeug 2 so beurteilt, dass es außerhalb der eigenen Fahrspur des Fahrzeugs liegt. Das Ergebnis der Beurteilung wird dann ausgegeben.
Zusätzlich wird die Positionsinformation bezüglich des Fahrzeugs 2 in Form von X-Y-Koordinaten, die in der Koordinatentransformationsvorrichtung 52 gespeichert sind, und das Ergebnis der Beurteilung der Vorwärtsfahrzeugerfassungsvorrichtung 53 einer Fahrzeugsteuerung (in den Figuren nicht dargestellt) zugeführt, um für die Fahrzeugsteuerung verwendet zu werden.
Die Positionsinformation bezüglich weißer Linien in den H-V-Koordinaten, die von dem Bild 6 erhalten wird, wird in Positionsinformation in X-Y-Koordinaten durch die Koordinatentransformationsvorrichtung (nicht dargestellt) transformiert, und der (nicht gezeigten) Fahrzeugsteuerung zur Verwendung bei der Steuerung des Fahrzeugs zugeführt.
Hierbei wird die Positionsinformation in Form von R-θ-Koordinaten, die von dem Laserradar 4 erhalten wird, in Positionsinformation in Form von X-Y-Koordinaten transformiert, und die transformierte Information wird gespeichert. Dies liegt daran, dass die Genauigkeit der Positionsinformation beeinträchtigt wird, wenn die Positionsinformation in Form von X-Y-Koordinaten in Positionsinformation in Form von H-V-Koordinaten transformiert wird, welche mit der Positionsinformation bezüglich der weißen Linien verglichen werden soll, und dann wieder in Positionsinformation in Form von H-V-Koordinaten rücktransformiert wird, die für die Fahrzeugsteuerung eingesetzt werden sollen. Insbesondere können große Fehler bei der Transformation von H-V-Koordinaten in X-Y-Koordinaten auftreten.
Die Schritte der Erfassung des vorfahrenden Fahrzeugs durch das Laserradar 4 und die CCD-Kamera 3 sowie die Art und Weise der Koordinatentransformation der erfassten Positionsinformation werden nachstehend genauer erläutert.
5 zeigt schematisch die Art und Weise der Erfassung des vorfahrenden Fahrzeugs unter Verwendung des auf dem Fahrzeug 1 angebrachten Laserradars 4. Hierbei bezeichnet das Bezugszeichen 7 die eigene Fahrspur des Fahrzeugs, 8 bezeichnet eine neben der Fahrspur 7 angeordnete Fahrspur, 21 bezeichnet ein vorausfahrendes Fahrzeug in der eigenen Fahrspur 7 des Fahrzeugs, 22 bezeichnet ein vorausfahrendes Fahrzeug in der benachbarten Fahrspur 8, und mit 9, 10 sind Fahrspuren für andere Fahrzeuge bezeichnet, die in entgegengesetzte Richtung fahren.
Das auf dem Fahrzeug 1 angebrachte Laserradar 4 des Strahlabtasttyps strahlt nach vorn aus, und veranlasst einen engen Laserstrahl zu einer Abtastung von einem vorbestimmten Startpunkt in Horizontalrichtung, aufeinander folgend von links nach rechts mit einer vorbestimmten Zeitdauer und einer vorbestimmten Winkelerhöhung. Wenn irgendetwas reflektiert (beispielsweise ein hinterer Reflektor auf einem vorfahrenden Fahrzeug) in Ausstrahlungsrichtung, so wird der Laserstrahl hierdurch reflektiert und kehrt zurück.
Das Laserradar 4 empfängt dieses reflektierte Licht, und die Entfernung zum Objekt in Vorwärtsrichtung wird durch Messung der Ausbreitungsverzögerungszeit von der Ausstrahlung bis zum Empfang des reflektierten Lichts erfasst. Eine Richtung θA von dem Fahrzeug 1 wird auf der Grundlage der Ordnungszahl des spezifischen Laserstrahls bestimmt, der reflektiert wird, unter den bei dem aufeinander folgenden Abtastvorgang vom bekannten Startpunkt ausgesandten Laserstrahl.
Es wird darauf hingewiesen, dass es ortsfeste Objekte wie beispielsweise Unterteilungen (reflektierende Spiegel), Anzeigetafeln und dergleichen gibt, welche zusätzlich zu anderen, vorausfahrenden Fahrzeugen den Laserstrahl reflektieren, und dass es erforderlich ist, diese ortsfesten Objekte auszuschalten, um eine fehlerhafte Erfassung zu vermeiden.
Zu diesem Zweck nutzt die erste Ausführungsform die Tatsache, dass jedes ortsfeste Objekt nach hinten "wegbefördert" wird, mit derselben Geschwindigkeit wie der Geschwindigkeit des Fahrzeugs 1. Anders ausgedrückt haben ortsfeste Objekte eine scheinbar konstante Geschwindigkeit in der Richtung entgegengesetzt zum erfassenden Fahrzeug. Daher wird nur die Positionsinformation a1, a2, b1 und b2 herausgezogen.
Die Positionsinformation (R, θA) in R-θ-Koordinaten, die auf die vorstehend geschilderte Weise erhalten wird, wird der Koordinatentransformationsvorrichtung 52 zugeführt. In der Koordinatentransformationsvorrichtung 52 wird die Position (R, θA) in die Position (x, y) in X-Y-Koordinaten auf der Grundlage der folgenden Transformationsgleichungen umgewandelt.
Genauer gesagt umfassen die Transformationsgleichungen von dem R-θ-Koordinatensystem in das X-Y-Koordinatensystem die folgenden Gleichungen (1) und (2), wie aus 4 deutlich wird: x = Rcosθ (1) y = Rsindθ (2)
Da die Winkelinformation θ, die von dem Laserradar 4 erhalten wird, einen Winkel gegenüber der Bezugsposition darstellt, wird θA in einen Winkel θ gemäß 4(a) umgewandelt, und dann in die vorstehenden Gleichungen (1) und (2) eingesetzt.
Die Koordinatentransformationsvorrichtung 52 führt eine weitere Transformation der transformierten Position (x, y) in eine Position (h, v) in H-V-Koordinaten durch. Transformationsgleichungen für diesen Zweck werden nachstehend angegeben.
6 zeigt schematisch die Beziehung zwischen der CCD-Kamera 3 und dem vorfahrenden Fahrzeug 2, wobei das Bezugszeichen 31 eine Linse oder ein Objektiv mit der Brennweite "f" bezeichnet, und das Bezugszeichen 32 ein CCD-Bildaufnahmeelement 32.
Wenn eine horizontale Bilderzeugungsposition des Fahrzeugs 2 auf dem CCD-Bildaufnahmeelement 32 als Entfernung "h" gegenüber dem Zentrum der optischen Achse der CCD angegeben wird, erhält man die Horizontalposition "x" des Fahrzeugs 2 aus der Gleichung (3) nach dem Triangulationsprinzip. h = xf/y (3) v = fL/y (4)
Wenn die Positionsinformation (x, y) eingeführt wird, die durch Transformation der Positionsinformation (R, θ) in R-θ-Koordinaten in den vorstehenden Gleichungen (3) und (4) erhalten wird, so erhält man die Positionsinformation (h, v) bezüglich des Fahrzeugs 2 in H-V-Koordinaten. Die Positionsinformation bezüglich des Fahrzeugs 2 wird dann von der Koordinatentransformationsvorrichtung 52 an die Vorwärtsfahrzeugerfassungsvorrichtung 53 geliefert.
7 zeigt schematisch den Betriebsablauf der Vorwärtsfahrzeugerfassungsvorrichtung 53. Hierbei ist die Art und Weise dargestellt, wie ein Erfassungsergebnis der Reflektoren vorfahrender Fahrzeuge 21 und 22 (die vor dem erfassenden Fahrzeug fahren), erfasst von dem Laserradar 4, dem Bild 6 in Vorwärtsrichtung überlagert wird, welches von der CCD-Kamera 3 aufgenommen wurde, nach Transformation des Ergebnisses in H-V-Koordinaten entsprechend der vorstehend geschilderten Koordinatentransformation.
In 7 bezeichnen die Bezugszeichen a1 und a2 jeweils ein Erfassungsergebnis für das Fahrzeug 21, welches in der eigenen Fahrspur des Fahrzeugs vorausfährt, welche von dem Laserradar 4 erfasst und in H-V-Koordinaten umgewandelt wurden, wogegen die Bezugszeichen b1 und b2 jeweils Erfassungsergebnisse bezüglich des anderen Fahrzeugs 22 bezeichnen, welches in der benachbarten Fahrspur vorfährt, welche von dem Laserradar 4 erfasst wurden, und in H-V-Koordinaten umgewandelt wurden.
Die Einzelschritte zur Erfassung des Fahrzeugs 21, welches in der eigenen Fahrspur des Fahrzeugs vorfährt, werden nachstehend geschildert.
Wenn die V-Koordinatenposition des Erfassungsergebnisses a1 gleich "v" ist, werden Erfassungsergebnisse a1 und h4 für eine weiße Linie auf der Linie "v" mit einer H-Koordinatenposition h2 des erwähnten Erfassungsergebnisses a1 verglichen, und wenn dann die Ungleichung h1 < h2 < h4 erfüllt ist, so wird beurteilt, dass sich das Erfassungsergebnis a1 innerhalb der eigenen Fahrspur 7 des Fahrzeugs befindet.
Entsprechend wird mit den übrigen Erfassungsergebnissen für Punkte a2, b1 und b2 eine ähnliche Verarbeitung durchgeführt, um zu beurteilen, ob diese Punkte innerhalb der Fahrspur 7 liegen.
Wenn a1 und a2 innerhalb der Fahrspur 7 liegen, dann wird das dem erfassenden Fahrzeug vorausfahrende Fahrzeug 21 so beurteilt, dass es in der eigenen Fahrspur 7 des Fahrzeugs vorausfährt. Wenn andererseits das Erfassungsergebnis außerhalb der Fahrspur 7 liegt, wie bei den Punkten b1 und b2, so wird das Fahrzeug 22 so beurteilt, dass es nicht in der Fahrspur 7 vorfährt.
Auf diese Weise wird es möglich, dass innerhalb der eigenen Fahrspur 7 des Fahrzeugs vorausfahrende Fahrzeug 21 von anderen Fahrzeugen 22 zu unterscheiden, die in benachbarten Fahrspuren vorausfahren.
Es ist ebenfalls möglich, die Positionen des Fahrzeugs 21 und des Fahrzeugs 22 aus der Positionsinformation des Laserradars 4 zu ermitteln.
Darüber hinaus ist es möglich, eine exaktere Fahrzeugsteuerung unter Verwendung der vorstehend erwähnten Information für die Steuerung des Fahrzeugs durchzuführen.
In Bezug auf die Art und Weise der Umwandlung der Koordinatensysteme kann wie vorstehend ein Verfahren zum Transformieren von R-θ-Koordinaten in H-V-Koordinaten wie vorstehend geschildert verwendet werden, sowie ein weiteres Verfahren zur Transformation von H-V-Koordinaten in R-θ-Koordinaten. Allerdings ist die Auflösung der Messergebnisse der CCD-Kamera 3 weniger gut, wenn das erfasste Objekt weiter entfernt ist, verglichen mit den Messergebnissen, die von dem Laserradar 4 erhalten werden, und daher führt die Transformation von H-V-Koordinaten in R-θ-Koordinaten insbesondere für entfernte Bereiche zu einem sehr ungenauen und instabilen Ergebnis.
Daher ist es eher vorzuziehen, das Verfahren der Transformation von R-θ-Koordinaten zu verwenden, welche ein von dem Laserradar 4 erhaltenes Messergebnis betreffen, da das Laserradar ein relativ exaktes Messergebnis erzielen kann, selbst wenn ein erfasstes Objekt sich in der Entfernung befindet, wobei die Transformation in H-V-Koordinaten erfolgt, welche von der CCD-Kamera 3 erhalten werden.
Nachstehend wird die zweite bevorzugte Ausführungsform der vorliegenden Erfindung geschildert.
Obwohl bei den einzelnen Erfassungs- oder Messpunkten a1, a2, b1 und b2, die von dem Laserradar 4 erfasst werden, eine aufeinanderfolgende Transformation von R-θ-Koordinaten in X-Y-Koordinaten sowie von X-Y-Koordinaten in H-V-Koordinaten bei der vorstehend geschilderten, ersten bevorzugten Ausführungsform durchgeführt wird, ist es vorzuziehen, einzelne Messpunkte zu einem repräsentativen Punkt für jedes Fahrzeug in einer Stufe zu vereinigen, bevor die Koordinatentransformation durchgeführt wird, soweit es sich bei dem zu erfassenden Objekt um ein einzelnes Fahrzeug handelt. Als Ergebnis des Einsatzes eines derartigen Schrittes wird die Anzahl später zu verarbeitender Objekte verringert, was zu einer quantitativen Verringerung der Bearbeitung führt.
8 zeigt als Blockschaltbild eine Anordnung der Vorrichtung gemäß der zweiten bevorzugten Ausführungsform der Erfindung, wobei das Bezugszeichen 54 eine Berechnungsvorrichtung für repräsentative Punkte zur zusammenfassenden Einrichtung eines repräsentativen Punkts bezeichnet, der mehrere Messpunkte eines Objekts repräsentiert, die von dem Laserradar 4 erfasst werden.
Die 9(a) und 9(b) erläutern den Betriebsablauf der Berechnungsvorrichtung 54 für repräsentative Punkte, wobei 9(a) die Art und Weise zeigt, auf welche mehrere Positionsinformationspunkte des Fahrzeugs 21, das in der Fahrspur des erfassenden Fahrzeugs vorausfährt, durch das Laserradar 4 erhalten werden, wogegen 9(b) die Art und Weise der Erzeugung eines repräsentativen Punkts P zeigt, welcher die erwähnten, mehreren Positionsinformationspunkte repräsentiert.
Der von dem Laserradar 4 ausgesandte Laserstrahl wird von einem Reflektor, der Karosserie und dergleichen des in der Fahrspur des Fahrzeugs vorausfahrenden Fahrzeugs 21 reflektiert, wodurch mehrere Positionsinformationen bezüglich des Fahrzeugs 21 erhalten werden. Die Berechnungsvorrichtung 54 für den repräsentativen Punkt empfängt derartige, mehrere Positionsinformationen, und transformiert zuerst die mehreren Messpunkte, die in R-θ-Koordinaten erfasst werden, in entsprechende X-Y-Koordinaten.
Dann werden Messpunkte, die nahe beieinanderliegen, deren Positionen bezüglich der Y-Koordinate gleich sind, zu einer Gruppe ausgebildet, und es wird die Position des Schwerpunkts ermittelt. Die erhaltene Position des Schwerpunkts wird als repräsentativer Punkt P ausgegeben, der das erfasste Fahrzeug repräsentiert, wie in 9(b) gezeigt ist.
Die nachfolgende Verarbeitung ist ebenso wie bei der bereits geschilderten, ersten bevorzugten Ausführungsform, wobei die Verarbeitung hintereinander durch die Koordinatentransformationsvorrichtung 52 und die Vorwärtsfahrzeugerfassungsvorrichtung 53 durchgeführt wird.
Dies führt dazu, dass es bei der zweiten bevorzugten Ausführungsform der Erfindung möglich ist, die Anzahl an Berechnungen zu verringern, oder die Berechnungsgeschwindigkeit zu verbessern, wobei zusätzlich selbstverständlich die Vorteile der ersten bevorzugten Ausführungsform erzielt werden.
Obwohl der Ort des Schwerpunkts der mehreren Messpunkte als repräsentativer Punkt bei der zweiten bevorzugten Ausführungsform verwendet wird, kann jeder andere repräsentative Punkt verwendet werden, soweit es sich um Positionsinformation handelt, welche mehrere Positionsdaten repräsentiert, die von einem erfassten Objekt erhalten werden.
Die folgende Beschreibung betrifft die dritte Ausführungsform der vorliegenden Erfindung, welche auf ein Fehlerbeurteilungsverfahren und eine entsprechende Vorrichtung gerichtet ist.
Das Fehlerbeurteilungsverfahren und die Fehlerbeurteilungsvorrichtung gestatten eine Feststellung, ob die optischen Achsen der Kamera und des Laserradars zueinander ausgerichtet sind. Falls die Achsen nicht zueinander ausgerichtet sind, kann das vor dem erfassenden Fahrzeug vorausfahrende Fahrzeug nicht richtig erfasst werden.
Beispielsweise sind bei der vorstehend geschilderten, bevorzugten Ausführungsform die CCD-Kamera 3 und das Laserradar 4 so auf dem Fahrzeug angebracht, dass ihre optischen Achsen zueinander ausgerichtet sind. Allerdings besteht in der Hinsicht eine Schwierigkeit, dass dann, wenn die optische Achse des Laserradars 4 verschoben wird, keine exakte Beurteilung durchgeführt werden kann, ob sich das vorausfahrende Fahrzeug in der eigenen Fahrspur des erfassenden Fahrzeugs befindet oder nicht.
Die dritte bevorzugte Ausführungsform betrifft ein Erfassungsverfahren für eine derartige Verschiebung optischer Achsen, sowie eine Vorrichtung zur Ausführung des Verfahrens.
Zuerst werden die Schritte zur Beurteilung eines Ausfalls der Umgebungsüberwachungsvorrichtung beschrieben.
Das vorausfahrende Fahrzeug wird von dem Laserradar erfasst. Da mehrere Messpunkte von dem Fahrzeug durch das Laserradar erhalten werden, werden repräsentative Koordinaten, welche diese mehreren Messpunkte repräsentieren, zum Zwecke der Vereinfachung der Berechnung berechnet. Um die Position festzustellen, an welcher die repräsentativen Koordinaten auf dem Bild der Kamera liegen, werden dann die repräsentativen Koordinaten in H-V-Koordinaten umgewandelt, welche die Koordinatenachsen des Bildes der Kamera haben.
Ein Fenster, welches einen vorbestimmten Bereich festlegt, wird auf dem Bild auf der Grundlage der transformierten repräsentativen Koordinaten des vorausfahrenden Fahrzeugs eingestellt. Wenn die optische Achse des Laserradars und die optische Achse der Kamera zueinander ausgerichtet sind, sollte sich das Fahrzeug innerhalb des erwähnten Fensters befinden.
Daher werden Bildsignale in dem Fenster bearbeitet, um zu beurteilen, ob sich ein Fahrzeug innerhalb des Fensters befindet oder nicht, um hierdurch zu beurteilen, ob die optische Achse der Kamera und die optische Achse des Laserradars zueinander ausgerichtet sind.
Die Vorrichtung zur Ausführung des Fehlererfassungsverfahrens ist nachstehend geschildert.
10 zeigt als Blockschaltbild die Anordnung gemäß der dritten bevorzugten Ausführungsform der Erfindung. Hierbei bezeichnet das Bezugszeichen 55 eine Außenkonturerfassungsvorrichtung, die an den Ausgang der CCD-Kamera 3 angeschlossen ist. Die Außenkonturerfassungsvorrichtung 55 bearbeitet das Bild 6 der Straße in Vorwärtsrichtung, welches von der CCD-Kamera 3 aufgenommen wird, um ein Außenkonturbild zu erzeugen.
Der Ausgang des Laserradars 4 ist an die Berechnungsvorrichtung 54 für repräsentative Punkte angeschlossen, ähnlich wie bei der vorstehend geschilderten bevorzugten Ausführungsform.
Der Ausgang der Berechnungsvorrichtung 54 für den repräsentativen Punkt ist ähnlich wie bei der vorstehend geschilderten, bevorzugten Ausführungsform an die Koordinatentransformationsvorrichtung 52 angeschlossen.
Das Bezugszeichen 56 bezeichnet eine Erfassungsvorrichtung für ein nicht ausgerichtet sein der optischen Achse, welche an den Ausgang der Außenkonturerfassungsvorrichtung 55 und an den Ausgang der Koordinatentransformationsvorrichtung 52 angeschlossen ist.
Die Erfassungsvorrichtung 56 für das nicht ausgerichtet sein der optischen Achsen stellt ein Fenster auf dem Außenkonturbild ein, welches von der Außenkonturerfassungsvorrichtung 55 erhalten wird, auf der Grundlage einer repräsentativen Position des Fahrzeugs, die in H-V-Koordinaten durch die Koordinatentransformationsvorrichtung 52 angegeben wird, und beurteilt, ob die optischen Achse der CCD-Kamera 3 und des Laserradars 4 zueinander ausgerichtet sind oder nicht, abhängig davon, ob sich das vorausfahrende Fahrzeug innerhalb des Fensters befindet oder nicht.
11 zeigt als Blockschaltbild Einzelheiten, ob sich das vorausfahrende Fahrzeug innerhalb des Fensters befindet oder nicht.
11 zeigt als Blockschaltbild Einzelheiten der Erfassungsvorrichtung 56 für das nicht ausgerichtet sein der optischen Achse. Hierbei ist mit dem Bezugszeichen 561 eine Fenstereinstellvorrichtung bezeichnet, in welche ein Ausgangssignal der Koordinatestransformationsvorrichtung 52 und ein Ausgangssignal der Außenkonturerfassungsvorrichtung 55 eingegeben werden.
Die Fenstereinstellvorrichtung 561 stellt ein Fenster zur Festlegung eines bestimmten Bereichs auf dem Außenkonturbild ein, auf der Grundlage der H-V-Koordinaten des repräsentativen Punktes P, welche das vorausfahrende Fahrzeug 21 angeben und von der Koordinatentransformationsvorrichtung 52 ausgegeben werden.
Das Bezugszeichen 562 bezeichnet eine Fensterkorrekturvorrichtung, in welche ein Ausgangssignal der Koordinatentransformationsvorrichtung 52 eingegeben wird. Das Ausgangssignal der Fensterkorrekturvorrichtung 562 wird der Fenstereinstellvorrichtung 561 zugeführt, um den von der Fenstereinstellvorrichtung 561 eingestellten Fensterbereich zu korrigieren.
Das Bezugszeichen 563 bezeichnet eine Histogrammberechnungsvorrichtung, in welcher ein Ausgangssignal der Fenstereinstellvorrichtung eingegeben wird. Die Histogrammberechnunsvorrichtung 563 berechnet ein Histogramm der Außenkontur, die in dem Fenster enthalten ist, welches von der Fensterkorrekturvorrichtung 562 korrigiert wurde.
Das Bezugszeichen 564 bezeichnet eine Vergleichsbezugswerteinstellvorrichtung, in welcher ein Ausgangssignal der Koordinatenstranformationsvorrichtung 52 eingegeben wird. Die Vergleichsbezugswerteinstellvorrichtung 564 stellt einen Vergleichsbezugswert entsprechend der Entfernung zum repräsentativen Punkt P ein, die von der Koordinatentransformationsvorrichtung 52 erhalten wird.
Das Bezugszeichen 565 bezeichnet eine Vergleichsvorrichtung, in welche das Ausgangssignal der Histogrammberechnungsvorrichtung 563 und das Ausgangssignal der Vergleichsbezugswerteinstellvorrichtung eingegeben werden. Die Vergleichsvorrichtung 565 empfängt und vergleicht die beiden Ausgangssignale. Wenn über einen vorbestimmten Zeitraum der Maximalwert des Histogramms größer ist als der Vergleichsbezugswert, dann wird beurteilt, dass das vorausfahrende Fahrzeug innerhalb des Fensters liegt. Auf diese Art und Weise wird beurteilt, dass die optische Achse der CCD-Kamera 1 zu der optischen Achse des Laserradars 4 ausgerichtet ist. Das Ergebnis der Beurteilung wird an eine weitere Bearbeitungsschaltung ausgegeben, die nicht gezeigt ist.
Die Histogrammsberechnungsvorrichtung 563, die Vergleichsbezugswertberechnungsvorrichtung 564 und die Vergleichsvorrichtung 565 bilden eine Beurteilungsvorrichtung 100 für die optische Achse.
Das Bezugszeichen 566 bezeichnet eine Sperrvorrichtung für die Beurteilung der optischen Achse, in welcher ein Ausgangssignal der Koordinatentransformationsvorrichtung 52 eingegeben wird. Die Sperrvorrichtung 566 für die Beurteilung der optischen Achse sperrt die Vergleichsvorrichtung 565 dagegen, zu beurteilen, ob die optischen Achsen übereinstimmen oder nicht, wenn die Entfernung zum repräsentativen Punkt P, die von der Koordinatentransformationsvorrichtung 52 erhalten wird, größer als eine vorbestimmte Entfernung ist.
Der Betriebsablauf bei der dritten bevorzugten Ausführungsform der Erfindung wird nachstehend im Einzelnen unter Bezugnahme auf die 10 bis 12(b) beschrieben. Die 12(a) und (12b) erläutern den Betriebsablauf bei der dritten bevorzugten Ausführungsform.
12(a) zeigt die Beziehung zwischen dem Außenkonturbild und der Position des vorausfahrenden Fahrzeugs, erfasst von dem Laserradar, wenn die optischen Achsen zueinander ausgerichtet sind. Hierbei ist mit dem Bezugszeichen 201 ein Fenster bezeichnet, das auf der Grundlage des repräsentativen Punktes P eingestellt wurde, 202 bezeichnet ein Histogramm, welches durch Integration der Horizontalkomponente der Außenkontur in dem Fenster 201 erhalten wird, 203 bezeichnet ein Histogramm, welches durch Integration von Vertikalkomponenten der im Fenster 201 vorhandenen Außenkontur erhalten wird, und die Bezugszeichen 204 und 205 bezeichnen Vergleichsbezugswerte, welche mit den Histogrammen 202 und 203 verglichen werden sollen.
Zuerst wird das vorausfahrende Fahrzeug von dem Laserradar 4 erfasst. Dann wird die Positionsinformation von mehreren Messpunkten in die Berechnungsvorrichtung 54 für den repräsentativen Punkt eingegeben, und wird der repräsentative Punkt P, der die mehreren Messpunkte repräsentiert, von der Berechnungsvorrichtung 54 für den repräsentativen Punkt auf dieselbe Weise berechnet wie bei den vorstehend geschilderten bevorzugten Ausführungsformen.
Die Koordinaten des repräsentativen Punktes P werden in die Koordinatentransformationsvorrichtung 52 eingegeben, und in der Koordinatentransformationsvorrichtung 52 in H-V-Koordinaten umgewandelt.
Die transformierten Koordinaten des repräsentativen Punktes P werden der Fenstereinstellvorrichtung 561 zugeführt. Information in Bezug auf die Entfernung zwischen dem repräsentativen Punkt P und dem Fahrzeug 1 wird von der Koordinatentransformationsvorrichtung 52 jeweils der Fensterkorrekturvorrichtung 562, der Vergleichsbezugswerteinstellvorrichtung 564 und der Sperrvorrichtung 566 für die Beurteilung der optische Achse zugeführt.
Diese Entfernungsinformation kann entweder eine Entfernung betreffen, die vorhanden war, bevor die Koordinatentransformation durchgeführt wurde, oder eine Entfernung "y" auf der Y-Achse nach Durchführung der Koordinatentransformation.
Die Außenkonturerfassungsvorrichtung 55 verarbeitet das von der CCD-Kamera 3 aufgenommene Bild zur Erzeugung eines Außenkonturbildes auf solche Weise, dass nur die Außenkontur des Bildes herausgezogen wird, und diese Außenkontur der Fenstereinstellvorrichtung 561 zugeführt wird.
Die Fenstereinstellvorrichtung 561 empfängt Ausgangssignale von der Koordinatentransformationsvorrichtung 52 und der Außenkonturerfassungsvorrichtung 55, und stellt das Fenster 201 provisorisch oberhalb des repräsentativen Punktes P auf der Grundlage des repräsentativen Punktes P ein, wie in den 12(a) und 12(b) gezeigt.
Das Ausgangssignal der Koordinatentransformationsvorrichtung 52 wird der Fensterkorrekturvorrichtung 562 zugeführt, und die Fensterkorrekturvorrichtung 562 korrigiert die Abmessungen des Bereichs, der durch das Fenster 201 festgelegt wird, welches provisorisch eingestellt wurde. Hierbei wird, wenn die Entfernung kürzer ist, der Bereich größer eingestellt, und wird bei größerer Entfernung der Bereich kleiner eingestellt.
Hierbei wird das Fenster 201 oberhalb des repräsentativen Punktes P eingestellt, da der repräsentative Punkt P die Position des vorausfahrenden Fahrzeugs auf der Straße angibt, entsprechend den Grundlagen der Koordinatentransformation.
In der Histogrammberechnungsvorrichtung 563 werden die Histogramme 202 und 203 in Bezug auf das Fenster 201 auf der Grundlage des Ausgangssignals der Fenstereinstellvorrichtung 561 erhalten.
Das Histogramm 202 wird in Bezug auf das Fenster 201 durch Integration der Anzahl an Bildelementen der Außenkontur für jede Zeile in Horizontalrichtung erhalten. Entsprechend erhält man das Histogramm 203 durch Integration der Anzahl an Bildelementen für jede Zeile in Vertikalrichtung.
Weiterhin ist bei diesem Schritt vorzuziehen, nur die Anzahl an Bildelementen zu integrieren, die einander in derselben Linie benachbart sind, um die Ebenheit oder die senkrechte Anordnung hervorzuheben. Diese Hervorhebung ist dazu wirksam, Liniensegmente auszuschalten, die nicht das vorausfahrende Fahrzeug betreffen.
Das Ausgangssignal der Koordinatentransformationsvorrichtung 52 wird an die Vergleichsbezugswerteinstellvorrichtung 564 geliefert, und die Vergleichsbezugswerteinstellvorrichtung 564 stellt die Vergleichsbezugswerte 204 und 205 ein.
Die Vergleichsbezugswerte 204 und 205 werden auf einen größeren Wert eingestellt, wenn die Entfernung zum repräsentativen Punkt P kleiner ist, und werden auf einen kleineren Wert eingestellt, wenn die Entfernung größer ist. Dies liegt daran, dass dann, wenn die Entfernung zu dem repräsentativen Punkt P größer ist, das Bild des vorausfahrenden Fahrzeugs, welches von der CCD-Kamera 3 aufgenommen wird, kleiner ist, was zu einer Verringerung der Außenkontur auf dem Außenkonturbild führt. Hierbei ist es nicht immer erforderlich, dass die Vergleichsbezugswerte 204 und 205 gleich sind, und vorzugsweise wird der Vergleichsbezugswert 204 so eingestellt, dass er an die Eigenschaften des Histogramms 202 angepasst ist, wogegen der Vergleichsbezugswert 205 so eingestellt wird, dass er an die Eigenschaften des Histogramms 203 angepasst ist.
Die Vergleichsvorrichtung 565 empfängt die Ausgangssignale von der Histogrammberechnungsvorrichtung 563 und der Vergleichsbezugswerteinstellvorrichtung 564, und beurteilt, ob sich das vorausfahrende Fahrzeug innerhalb des Fensters 201 befindet, wenn der Maximalwert des erhaltenen Histogramms 202 größer als der Vergleichsbezugswert 204 ist, und der Maximalwert des Histogramms 203 größer als der Vergleichsbezugswert 205 ist, jeweils über einen vorbestimmten Zeitraum.
Im Einzelnen liegt, wie aus 12(a) hervorgeht, der Maximalwert 206 des Histogramms 202 über dem Vergleichsbezugswert 204, und liegt der Maximalwert 207 des Histogramms 203 über dem Vergleichsbezugswert 205.
Wenn ein derartiger Zustand andauert, so stellt die Vergleichsvorrichtung 565 fest, dass sich ein Fahrzeug innerhalb des Fensters 201 befindet. Wenn das Außenkonturbild eines Fahrzeugs angezeigt wird, weist dieses gewöhnlich zahlreiche Horizontal- und Vertikalkomponenten auf. Dies liegt daran, dass die äußere Erscheinung eines Fahrzeugs, dargestellt durch ein Außenkonturbild, zahlreiche Horizontal- und Vertikalkomponenten aufweist. Andererseits tauchen diese Komponenten nicht in dem Bild der Straße auf.
Selbst wenn einige stationäre Komponenten aufgenommen werden, scheinen diese Komponenten nach hinten mit derselben Geschwindigkeit zu fließen, welche die Fahrgeschwindigkeit des Fahrzeugs 1 ist, und können daher unberücksichtigt bleiben, da sie im Verlauf der Zeit nicht konsistent auftreten.
Wenn es zahlreiche Horizontal- und Vertikalkomponenten in dem Außenkonturbild in dem Fenster gibt, welches in H-V-Koordinaten angezeigt wird, kann daher beurteilt werden, dass ein vorausfahrendes Fahrzeug innerhalb des Fensters liegt. Wenn wenige derartige Komponenten vorhanden sind, kann im Gegensatz hierzu festgestellt werden, dass ein vorausfahrendes Fahrzeug sich nicht innerhalb des Fensters befindet.
Die genannte vorbestimmte Zeit ist dazu nützlich, exakt zu beurteilen, ob sich ein Fahrzeug innerhalb des Fensters 201 befindet oder nicht, und wird daher so eingestellt, dass der Einfluss von Rauschen und dergleichen so klein wie möglich gemacht wird.
Wenn die Vergleichsvorrichtung feststellt, dass sich das vorausfahrende Fahrzeug innerhalb des Fensters 201 befindet, so kann man hieraus schließen, dass die optische Achse der CCD-Kamera 3 zu der optischen Achse des Laserradars 4 ausgerichtet ist. Das Ergebnis der Beurteilung bezüglich der Übereinstimmung oder Nichtübereinstimmung wird bei der Verarbeitung eingesetzt, die später zur Fahrzeugsteuerung durchgeführt wird, beispielsweise der Steuerung oder Regelung der Entfernung zwischen Fahrzeugen, die in dieselbe Richtung fahren.
12(b) zeigt einen Zustand, in welcher entweder die optische Achse der CCD-Kamera 3 oder jene des Laserradars 4 verschoben ist oder sich nicht in der richtigen Position befindet. In dieser Figur ist die optische Achse des Laserradars 4 ordnungsgemäß eingestellt, jedoch ist die optische Achse der CCD-Kamera 3 nach rechts verschoben, was zu einer Verschiebung des erfassten, vorausfahrenden Fahrzeugs in Richtung nach links führt.
Wenn die Achsen der CCD-Kamera 3 und des Laserradars 4 nicht zueinander ausgerichtet sind, wird auf diese Weise das vorausfahrende Fahrzeug außerhalb des Fensters 201 aufgenommen.
Wenn festgestellt wird, dass das vorausfahrende Fahrzeug sich nicht in der richtigen Position befindet, so gibt es keine Horizontal- oder Vertikalkomponenten der Außenkontur des vorausfahrenden Fahrzeugs in dem Fenster 201, und daher werden die Werte der Histogramme 202 und 203 klein.
Wie in der Figur gezeigt ist der Maximalwert 206 des Histogramms 202 kleiner als der Vergleichsbezugswert 204, und ist der Maximalwert des Histogramms 203 kleiner als der Vergleichsbezugswert 205.
Dies führt dazu, dass die Vergleichsvorrichtung 565 feststellt, dass kein Fahrzeug innerhalb des Fensters 201 vorhanden ist, und in einem derartigen Fall überlegt man sich, dass die Achsen der Kamera 3 und des Laserradars 4 nicht zueinander ausgerichtet sind.
Die Sperrung der Ausrichtungsbeurteilung zwischen den optischen Achsen der Kamera und des Laserradars wird nachstehend genauer erläutert.
Wie vorstehend geschildert ist dann, wenn die Entfernung zu dem repräsentativen Punkt P größer ist, das von der CCD-Kamera 3 aufgenommene Bild des vorausfahrenden Fahrzeugs auf der Anzeige kleiner, und ist die Anzahl an Außenkonturen in dem Fenster 201 verringert.
Es ist möglich, eine derartige Verringerung in gewissem Ausmaß dadurch zu kompensieren, dass die Vergleichsbezugswerte 204 und 205 kleiner eingestellt werden. Wenn die Entfernung zu dem repräsentativen Punkt P extrem groß ist, so dass das Bild des anderen Fahrzeugs extrem klein wird, so gibt es allerdings praktisch keine Differenz bei der Anzahl von Außenkonturen in dem Fenster 201, unabhängig davon, ob ein Fahrzeug vorhanden ist oder nicht.
Wenn die Vergleichsbezugswerte 204 und 205 auf einen kleinen Wert entsprechend der Entfernung zum repräsentativen Punkt P eingestellt werden, besteht darüber hinaus eine größere Wahrscheinlichkeit für eine fehlerhafte Erfassung von Rauschen.
Aus diesen Gründen ist der Bereich der Beurteilung der optischen Achsen bei der dritten bevorzugten Ausführungsform so definiert, dass der von der Vergleichsvorrichtung durchgeführte Vergleich gesperrt wird, wenn die Entfernung zu dem repräsentativen Punkt P größer als eine vorbestimmte Entfernung ist.
Im einzelnen wird das Ausgangssignal der Koordinatentransformationsvorrichtung 52 der Sperrvorrichtung 566 für die Beurteilung der optische Achse zugeführt, und wenn die Entfernung zum repräsentativen Punkt P größer als eine vorbestimmte Entfernung ist, wird ein Vergleichssperrsignal an die Vergleichsvorrichtung 565 geliefert, um die Beurteilung des ausgerichtet seins oder nicht ausgerichtet seins der Achsen der CCD-Kamera 3 und des Laserradars 4 zu sperren.
Die vorstehend erwähnte, vorbestimmte Entfernung ist so gewählt, dass bei dieser Entfernung die Abmessungen des von der CCD-Kamera 3 aufgenommenen Bildes eines vorausfahrenden Fahrzeugs noch ausreichend groß sind, und dass bei dieser Entfernung die Anzahl an Außenkonturen in dem Fenster 201 ausreichend unterschiedlich ist, wenn ein vorausfahrendes Fahrzeug vorhanden bzw. nicht vorhanden ist.
Die erwähnten Vergleichsbezugswerte 204 und 205 werden jeweils auf einen ausreichend hohen Wert eingestellt, so dass nicht fehlerhaft das. Vorhandensein oder Nichtvorhandensein des vorausfahrenden Fahrzeugs bei Vorhandensein von Rauschen festgestellt wird.
Die erwähnte vorbestimmte Entfernung beträgt im Allgemeinen etwas weniger als 100 Meter.
Wie vorstehend erläutert ist es bei der dritten bevorzugten Ausführungsform der Erfindung möglich zu beurteilen, ob die optische Achse der CCD-Kamera 3 zu der optischen Achse des Laserradars 4 ausgerichtet ist.
Da das Fenster 201 in dem Außenkonturbild erzeugt wird, werden darüber hinaus die Histogramme 202 und 203 einfach in kürzerer Zeit bearbeitet.
Da die Abmessungen des Fensters 201 entsprechend der Entfernung zu dem repräsentativen Punkt P korrigiert werden, gibt es praktisch keine Außenkontur, bei welcher das Vorhandensein oder Nichtvorhandensein eines vorausfahrenden Fahrzeugs in dem Fenster 201 fehlerhaft festgestellt werde kann.
Da die Vergleichsbezugswerte 204 und 205 entsprechend der Entfernung zu dem repräsentativen Punkt P korrigiert werden, kann das Vorhandensein oder Nichtvorhandensein eines vorausfahrenden Fahrzeugs in dem Fenster exakt beurteilt werden.
Da die Beurteilung, ob die optischen Achsen der CCD-Kamera 3 und des Laserradars 4 zueinander ausgerichtet sind oder nicht, wenn die Entfernung zu dem repräsentativen Punkt P größer als eine vorbestimmte Entfernung ist, gesperrt wird, gibt es keine fehlerhafte Beurteilung in der Hinsicht; ob die optischen Achsen zueinander ausgerichtet sind oder nicht.

Claims

Umgebungsüberwachungsvorrichtung zur Überwachung der Umgebung eines Fahrzeugs (1), mit: einer Kamera (3), die eine optische Achse aufweist, und auf dem Fahrzeug (1) angebracht ist, um das Bild einer Straße zu erfassen; einer Fahrspurerfassungsvorrichtung (51) zur Erfassung von Koordinaten einer Fahrspur (7), in welcher sich das Fahrzeug (1) befindet, durch Verarbeitung von Bildsignalen, die von der Kamera (3) auf ein Anzeigebild ausgegeben werden, welches Koordinatenachsen (H, V) aufweist; einem Strahlabtast-Laserradar (4), welches an dem Fahrzeug (1) angebracht ist; und einer Vorwärtsfahrzeugerfassungsvorrichtung (53) zum Trennen von Objekten (21), die innerhalb der Fahrspur (7) erfasst werden, von Objekten (22), die außerhalb der Fahrspur (7) erfasst werden; dadurch gekennzeichnet, dass das Strahlabtast-Laserradar (4) so angebracht ist, dass seine optische Achse zu der optischen Achse der Kamera (3) ausgerichtet ist; die Umgebungsüberwachungsvorrichtung ferner eine Koordinatentransformationsvorrichtung (52) umfasst zum Transformieren der Koordinaten (R, θ) eines von dem Laserradar (4) erfassten Objekts (2) entsprechend den Koordinatenachsen (H, V) des Anzeigebildes, um transformierte Koordinaten zur Verfügung zu stellen; und die Vorwärtsfahrzeugerfassungsvorrichtung (53) ausgestaltet ist zum Trennen von innerhalb der Fahrspur (7) erfassten Objekten (21) von außerhalb der Fahrspur (7) erfassten Objekten (22) durch Vergleichen der transformierten Koordinaten mit den Koordinaten der Fahrspur (7).
Umgebungsüberwachungsvorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Fahrspurerfassungsvorrichtung (51) Grenzen der Fahrspur (7) dadurch bestimmt, dass die weißen Linien (61, 62) der Fahrspur (7) von der Umgebung unterschieden werden, und darüber hinaus Interpolationsberechnungen zur, Bestimmung der Grenzen verwendet, wenn die weißen Linien (62) nicht durchgehend vorhanden sind.
Umgebungsüberwachungsvorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Vorwärtsfahrzeugerfassungsvorrichtung (53) zwischen Fahrzeugen (21), die sich innerhalb der Fahrspur (7) befinden, und Fahrzeugen (22) außerhalb der Fahrspur (7) unterscheidet.
Umgebungsüberwachungsvorrichtung nach Anspruch 3, dadurch gekennzeichnet, dass die Vorwärtsfahrzeugerfassungsvorrichtung (53) zwischen Fahrzeugen (21), die innerhalb der Fahrspur (7) vorhanden sind, und Fahrzeugen (22) außerhalb der Fahrspur (7) dadurch unterscheidet, dass die Horizontalorte der Reflektionen von den Fahrzeugen mit den Horizontalorten jeweiliger Punkte der Fahrspuren (7, 8, 9, 10) entlang einer Linie gleicher V-Koordinatenkomponenten verglichen werden.
Umgebungsüberwachungsvorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass eine Repräsentativkoordinaten-Berechnungsvorrichtung (54) vorgesehen ist zum Berechnen repräsentativer Koordinaten (R, θ) eines von dem Laserradar (4) erfassten Objekts (2, 21, 22), wobei die repräsentativen Koordinaten entsprechend den Koordinatenachsen (H, V) auf dem Anzeigebild transformiert werden.
Umgebungsüberwachungsvorrichtung nach Anspruch 5, dadurch gekennzeichnet, dass die repräsentativen Koordinaten den Schwerpunkt des Objekts (2, 21, 22) angeben.
Fehlerbeurteilungsvorrichtung zur Beurteilung eines Ausfalls einer Umgebungsüberwachungsvorrichtung, mit: einer Kamera (3), die eine optische Achse aufweist, und auf einem Fahrzeug (1) angebracht ist, um ein Bild einer Straße aufzunehmen; einem Strahlabtast-Laserradar (4), welches eine optische Achse aufweist, und so auf dem Fahrzeug (1) angebracht ist, dass seine optische Achse in Mittelstellung zu der optischen Achse der Kamera (3) ausgerichtet ist, einer Repräsentativkoordinaten-Berechnungsvorrichtung (54) zur Berechnung repräsentativer Koordinaten (R, θ) eines anderen von dem Laserradar (4) erfassten Fahrzeugs (2, 21, 22); einer Koordinatentransformationsvorrichtung (52) zum Transformieren der repräsentativen Koordinaten (R, θ) entsprechend Koordinatenachsen (H, V) auf einem Anzeigebild der Kamera (3); einer Fenstereinstellvorrichtung (561) zur Einstellung eines Fensters (201) zur Festlegung eines vorbestimmten Bereichs auf der Grundlage der repräsentativen Koordinaten, die von der Koordinatentransformationsvorrichtung (52) transformiert wurden; und einer Beurteilungsvorrichtung (100) für die optische Achse zur Beurteilung, ob die optische Achse der Kamera (3) zu der optischen Achse des Laserradars (4) ausgerichtet ist oder nicht, abhängig davon, ob sich das andere Fahrzeug (1) innerhalb des Fensters (201) befindet oder nicht, durch Bearbeitung von Bildsignalen in dem Fenster (201).
Fehlerbeurteilungsvorrichtung nach Anspruch 7, gekennzeichnet durch: eine Sperrvorrichtung (566) zum Sperren des Beurteilens des Ausgerichtetseins oder Nicht-Ausgerichtetseins der optischer. Achse der Kamera (3) und der optischen Achse des Laserradars (4) in Mittelstellung, wenn die durch die von dem Laserradar (4) erfassten repräsentativen Koordinaten angegebene Entfernung größer als eine vorbestimmte Entfernung ist.
Umgebungsüberwachungsverfahren zur Überwachung der Umgebung eines Fahrzeugs (1), mit folgenden Schritten: Erfassung von Bildsignalen einer Fahrspur (7), in welcher sich das Fahrzeug (1) befindet, durch eine auf dem Fahrzeug (1) angebrachte Kamera (3); Bestimmung der Koordinaten der Fahrspur (7) auf einem Anzeigebild durch Bearbeitung der Bildsignale; Erfassung eines Objekts (2, 21, 22) vor dem Fahrzeug (1) mit einem Strahlabtast-Laserradar (4), dessen optische Achse zu der optischen Achse der Kamera (3) ausgerichtet ist; Transformieren der Koordinaten (R, θ) eines von dem Laserradar (4) erfassten Objekts (2) entsprechend den Koordinatenachsen (H, V) des Anzeigebildes, um transformierte Koordinaten zur Verfügung zu stellen; und Trennen von innerhalb der Fahrspur (7) erfassten Objekten (21) von außerhalb der Fahrspur (7) erfassten Objekten (22) durch Vergleichen der transformierten Koordinaten mit den Koordinaten der Fahrspur (7).
Fehlerbeurteilungsverfahren zur Beurteilung eines Ausfalls einer Umgebungsüberwachungsvorrichtung, welche mit einer auf einem Fahrzeug (1) angebrachten Kamera (3) zur Aufnahme eines Bildes einer Straße und einem Strahlabtast-Laserradar (4) versehen ist, das so auf dem Fahrzeug (1) angebracht ist, dass seine optische Achse zu der optischen Achse der Kamera (3) ausgerichtet ist, mit folgenden Schritten: Berechnung repräsentativer Koordinaten (R, θ) eines anderen Fahrzeugs (2, 21, 22), welches von dem Laserradar (4) erfasst wird; Transformieren der repräsentativen Koordinaten (R, θ) entsprechend Koordinatenachsen (H, V) eines Anzeigebildes, welches von der Kamera (3) erfasst wird; Einstellung eines Fensters (201) zur Festlegung eines vorbestimmten Bereichs auf der Grundlage der transformierten, repräsentativen Koordinaten des anderen Fahrzeugs (2, 21, 22); und Bearbeitung von Bildsignalen in dem Fenster (201), und Beurteilung, ob die optische Achse der Kamera (3) zu der optischen Achse des Laserradars (4) ausgerichtet ist oder nicht, abhängig davon, ob sich das andere Fahrzeug (1) innerhalb des Fensters (201) befindet oder nicht.