DE19629775A1 - Verfahren und Vorrichtung zur Überwachung der Umgebung eines Fahrzeugs und zur Erfassung eines Ausfalls der Überwachungsvorrichtung - Google Patents

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Überwachung der Umgebung eines fahrenden Fahrzeugs sowie eine auf dem Fahrzeug angebrachte Vorrichtung zur Ausführung des Verfahrens, mit einer Kamera und einem Laserradar zur Erfassung von Fahrzeugen auf der Straße und in der Fahrspur des Fahrzeugs. Weiterhin betrifft die vorliegende Erfindung ein Verfahren zur Beurteilung eines Ausfalls der Überwachungsvorrichtung, durch Erfassung einer Übereinstimmung zwischen den optischen Achsen der Kamera und des Laserradars.

Die vorliegende Anmeldung beruht auf der japanischen Patentanmeldung Nr. HEI 7-300214, eingereicht am 17. November 1995, die für sämtliche denkbaren Zwecke in die vorliegende Anmeldung durch Bezugnahme eingeschlossen wird.

Eine derartige konventionelle Vorrichtung ist in der japanischen Veröffentlichung Nr. 113482/1993 eines ungeprüften, offengelegten Patents beschrieben und betrifft eine auf einem Fahrzeug angebrachte Auffahrunfallverhinderungsvorrichtung. Bei dieser konventionellen Vorrichtung ist ein Einstrahl-Laserradar, von welchem ein Laserstrahl in einer Richtung in einem festgelegten engen Bereich vor einem Fahrzeug ausgesandt wird, einer Bildbearbeitungsvorrichtung zugeordnet, wodurch ein Hindernis vor dem Fahrzeug in des sen Fahrspur festgestellt werden kann.

Bei dieser konventionellen Vorrichtung soll erreicht werden, ein Hindernis in der eigenen Fahrspur des Fahrzeugs zu erfassen. Wenn jedoch die Straße vor dem Fahrzeug eine Kurve aufweist, so beleuchtet der von dem Laserradar des Fahrzeugs ausgestrahlte Laserstrahl nicht die eigene Fahrspur des Fahrzeugs, sondern eine benachbarte Fahrspur entweder auf der linken oder rechten Seite des Fahrzeugs.

Im Falle einer Kurven aufweisenden Straße befindet sich daher nicht jedes Hindernis, das vor dem Fahrzeug durch das Laserradar festgestellt wird, unbedingt in der eigenen Fahrspur des Fahrzeugs.

Angesichts der voranstehend geschilderten Situation wird bei der konventionellen Vorrichtung zuerst ein Bild vor dem Fahrzeug, das von einer Kamera aufgenommen wird, so bearbeitet, daß die eigene Fahrspur des Fahrzeugs festgestellt wird, und dann wird die Krümmung vor der eigenen Fahrspur des Fahrzeugs ermittelt. Dann wird die Richtung der Strahlaussendung des Laserradars entsprechend der Krümmung (also der Kurve) eingestellt, wodurch der Laserstrahl korrekt die eigene Fahrspur des Fahrzeugs jeder Zeit ausleuchtet, obwohl die Straße vor dem Fahrzeug eine Kurve aufweist.

Bei der voranstehend geschilderten Technik wird nur ein Laserradar des Einstrahltyps zur Aussendung eines Laserstrahls in einer Richtung in einen festgelegten, engen Bereich beschrieben.

Um die Umgebung eines fahrenden Fahrzeugs in einem größeren Bereich zu überwachen, wurden bislang verschiedene Systeme zu dem Zweck vorgeschlagen, einen Laserstrahl dazu zu veranlassen, einen größeren Bereich in Horizontalrichtung abzutasten.

Beispielsweise beschreibt die Veröffentlichung Nr. 6349/1986 eines geprüften japanischen Patents eine auf einem Fahrzeug angebrachte Hinderniserfassungsvorrichtung. Bei dieser Vorrichtung führt ein Laserstrahl, der in Fahrrichtung eines Fahrzeugs ausgesandt wird, eine zweidimensionale Abtastung durch, und wird von einem Hindernis reflektiertes Licht gemessen, wodurch die Entfernung zum Hindernis und dessen Position in Richtung nach links oder rechts festgestellt werden.

Bei der in dieser japanischen Patentveröffentlichung beschriebenen Vorrichtung ist es möglich, da nicht nur die eigene Fahrspur des Fahrzeugs überwacht werden soll, sondern auch benachbarte Fahrspuren über einen größeren Bereich, nicht nur jedes Hindernis in den benachbarten Fahrspuren des Fahrzeugs zu erfassen, sondern auch jedes Hindernis in anderen Fahrspuren weiter vom Fahrzeug entfernt.

Bei einem derartigen Erfassungssystem verbleibt jedoch folgendes Problem. Bei einem Laserradar des Strahlabtasttyps ist es unbedingt erforderlich, da nicht nur andere Fahrzeuge erfaßt werden können, die vor dem Fahrzeug in dessen eigener Fahrspur fahren, sondern auch andere Fahrzeuge, die in anderen Spuren, einschließlich benachbarten Spuren fahren, festzustellen, welches dieser Fahrzeuge tatsächlich ein Hindernis bildet.

Bei gerader Straße fährt jeder Zeit jedes andere Fahrzeug in der eigenen Fahrspur des Fahrzeugs vor dem Fahrzeug. In diesem Fall ist die Identifizierung eines anderen Fahrzeugs sehr einfach, das in der eigenen Fahrspur des Fahrzeugs vor fährt.

In der Realität ist allerdings keine Straße immer gerade. Auf einer üblichen Straße ist ein anderes Fahrzeug, das vor einem Fahrzeug in dessen eigener Fahrspur fährt, nicht immer vor dem Fahrzeug befindlich. Wenn beispielsweise vor dem Fahrzeug die Straße eine Rechtskurve aufweist, so befindet sich das andere Fahrzeug, das vor dem Fahrzeug in dessen eigener Fahrspur fährt, auf der rechten Seite des Fahrzeugs.

Weist jedoch die Straße vor dem Fahrzeug eine Linkskurve auf, so befindet sich das andere Fahrzeug, das in der eigenen Fahrspur des Fahrzeugs vorfährt, auf der linken Seite des Fahrzeugs.

Darüber hinaus kann abhängig von der Art der Kurve der Fall auftreten, daß ein anderes Fahrzeug, welches in einer benachbarten Fahrspur fährt, sich tatsächlich vor dem betreffenden Fahrzeug befindet.

Bei Strahlabtast-Laserradarvorrichtungen ist es zwar sicher, daß Hindernisse über einen größeren Bereich erfaßt werden können, jedoch ist es schwierig zu beurteilen, was ein echtes Hindernis in der eigenen Fahrspur des Fahrzeugs darstellt.

Die japanische Veröffentlichung eines- ungeprüften, offengelegten Patents Nr. 113482/1993 beschreibt eine auf einem Fahrzeug angebrachte Auffahrunfallverhinderungsvorrichtung, bei welcher der Ausstrahlungsbereich des Laserstrahls fest ist. Dadurch kann jedes Hindernis vor dem Fahrzeug in dessen eigener Fahrspur innerhalb eines festen Bereiches identifiziert werden. Bei dieser Vorrichtung kann jedoch nur ein Hindernis in der eigenen Fahrspur des Fahrzeugs festgestellt werden. Daher wird die Fähigkeit des Strahlabtast-Laserstrahls zur Überwachung eines größeren Bereichs nicht ausreichend genutzt.

Ein Ziel der vorliegenden Erfindung besteht daher in der Bereitstellung eines Umgebungsüberwachungsverfahrens zur Überwachung der Umgebung eines Fahrzeugs, welches ein erfaßtes Objekt identifizieren kann, das sich in der eigenen Fahrspur des Fahrzeugs befindet oder dort fährt, selbst wenn ein Laserradar des Strahlabtasttyps verwendet wird, sowie in der Bereitstellung einer Umgebungsüberwachungsvorrichtung zur Ausführung dieses Verfahrens.

Ein weiteres Ziel der vorliegenden Erfindung besteht in der Bereitstellung eines Fehlerbeurteilungsverfahrens zur Feststellung eines Fehlers der voranstehend geschilderten Umgebungsüberwachungsvorrichtung. Dieses Fehlerbeurteilungsverfahren verwendet den Mangel an Übereinstimmung der optischen Achsen eines Laserradarstrahls, der zur Erfassung eines anderen Fahrzeugs verwendet wird, und einer Kamera, die zur Erfassung der Fahrspur verwendet wird, um zu bestimmen, wenn ein Ausfall aufgetreten ist.

Das Umgebungsüberwachungsverfahren zur Überwachung der Umgebung eines Fahrzeugs gemäß der vorliegenden Erfindung weist folgende Schritte auf: (1) Erfassung von Bildsignalen einer Fahrspur, in welcher sich das Fahrzeug befindet, durch eine auf dem Fahrzeug angebrachte Kamera; (2) Bestimmung von Koordinaten der Fahrspur auf einem Anzeigebild durch Bearbeitung der Bildsignale; (3) Erfassung eines Gegenstands vor dem Fahrzeug durch ein Strahlabtast-Laserradar, dessen Zentrum der optischen Achse mit der optischen Achse der Kamera zusammenfällt; (4) Transformieren der Koordinaten des erfaßten Objekts entsprechend Koordinatenachsen auf dem Anzeigebild; und (5) Beurteilung, ob sich das erfaßte Objekt innerhalb der Fahrspur des Fahrzeugs befindet, durch Vergleich der transformierten Koordinaten mit den Koordinaten der Fahrspur.

Bei dem voranstehend geschilderten Verfahren werden zuerst die Achse des Strahlabtast-Laserradars und die Achse der Kamera vorläufig aufeinander ausgerichtet. Die Kamera nimmt ein Bild der Straße vor dem Fahrzeug auf, und bearbeitet die Bildsignale zur Erfassung der eigenen Fahrspur des Fahrzeugs. Das Laserradar erfaßt die Entfernung und die Richtung von dem Fahrzeug zu dem erfaßten Objekt oder Gegenstand.

Die Entfernung und die Richtung stellen Positionsdaten des erfaßten Objekts dar, mit welchen dann eine Koordinatentransformation durchgeführt wird, um die Position auf dem Bild zu bestätigen, welches von der Kamera aufgenommen wird. Die Koordinaten des erfaßten Objekts nach der Koordinatentransformation werden dann mit den Koordinaten der eigenen Fahrspur des Fahrzeugs auf dem Anzeigebild verglichen, welches von der Kamera aufgenommen wird.

Befindet sich das erfaßte Objekt innerhalb des Umfangs der Koordinaten, welche die eigene Fahrspur des Fahrzeugs angeben, so wird beurteilt, daß sich das erfaßte Objekt innerhalb der eigenen Fahrspur des Fahrzeugs befindet. Liegt andererseits das erfaßte Objekt außerhalb des Umfangs der Koordinaten, welche die eigene Fahrspur des Fahrzeugs angeben, so wird beurteilt, daß es sich bei dem erfaßten Objekt nicht um ein Objekt innerhalb der eigenen Fahrspur des Fahrzeugs handelt.

Die Umgebungsüberwachungsvorrichtung zur Ausführung des Umgebungsüberwachungsverfahrens gemäß der vorliegenden Erfindung weist auf: (1) eine Kamera, die einen optische Achse aufweist, und auf dem Fahrzeug zur Erfassung eines Bildes einer Straße angebracht ist; (2) eine Fahrspurerfassungsvorrichtung zur Erfassung von Koordinaten einer Fahrspur, in welcher sich das Fahrzeug befindet, durch Bearbeitung von Bildsignalen, die von der Kamera auf eine Bildanzeige ausgegeben werden, welche Koordinatenachsen aufweist; (3) ein Strahlabtast-Laserradar, welches auf dem Fahrzeug angebracht und so angeordnet ist, daß das Zentrum seiner optischen Achse mit der optischen Achse der Kamera übereinstimmt; (4) eine Koordinatentransformationsvorrichtung zum Transformieren der Koordinaten eines Objekts, das von dem Laserradar erfaßt wird, entsprechend den Koordinatenachsen des Anzeigebildes, um transformierte Koordinaten zur Verfügung zu stellen; und (5) eine Vorwärtsfahrzeugerfassungsvorrichtung zum Trennen von Objekten, die innerhalb der Fahrspur erfaßt werden, von Objekten, die außerhalb der Fahrspur erfaßt werden, durch Vergleichen der transformierten Koordinaten mit den Koordinaten der Fahrspur.

Bei der Vorrichtung mit dem voranstehend geschilderten Aufbau wird das von der Kamera aufgenommene Bild der Straße durch die Fahrspurerfassungsvorrichtung bearbeitet, wodurch die eigene Fahrspur des Fahrzeugs festgestellt wird. Das Laserradar des Strahlabtasttyps, dessen optische Achsen mit denen der Kamera übereinstimmen, führt eine Abtastung mit einem Laserstrahl durch, und bestimmt eine Entfernung und eine Richtung von dem Fahrzeug des Fahrers bis zum erfaßten Objekt. Derartige Positionsinformation wie Entfernung und Richtung zum erfaßten Objekt wird der Koordinatentransformationsvorrichtung zugeführt, und in Positionsinformation der Koordinaten auf dem Anzeigebild der Kamera umgewandelt.

Bei der Vorwärtsfahrzeugerfassungsvorrichtung (oder -trennvorrichtung) wird die Positionsinformation der eigenen Fahrspur des Fahrzeugs, die durch die Koordinaten des Anzeigebildes der Kamera gegeben ist, mit der Positionsinformation des erfaßten Objekts verglichen. Als Ergebnis des Vergleichs wird ein erfaßtes Objekt, das sich in der eigenen Fahrspur des Fahrzeugs befindet, getrennt oder unterschieden von einem anderen erfaßten Objekt, das sich nicht innerhalb der eigenen Fahrspur des Fahrzeugs befindet.

Bei einer bevorzugten Ausführungsform weist die Umgebungsüberwachungsvorrichtung weiterhin eine Berechnungsvorrichtung für repräsentative Koordinaten zur Berechnung repräsentativer Koordinaten der Objekte auf, die von dem Laserradar erfaßt werden, so daß die repräsentativen Koordinaten, die von der Berechnungsvorrichtung für repräsentative Koordinaten berechnet werden, entsprechend Koordinatenachsen auf dem Anzeigebild transformiert werden.

Wenn ein anderes Fahrzeug als erfaßtes Objekt erfaßt wird, findet normalerweise die Erfassung an mehreren Punkten und nicht an einem einzigen Punkt statt. Daher ist es relativ kompliziert und mühsam, sämtliche mehreren erfaßten Punkte mit der eigenen Fahrspur des Fahrzeugs auf dem Anzeigebild zu vergleichen, und darüber hinaus wird die Berechnungsgeschwindigkeit herabgesetzt. Bei der hier vorgeschlagenen, bevorzugten Ausführungsform werden jedoch alle mehreren erfaßten Punkte zusammen durch einen repräsentativen Punkt behandelt, was zu einfacheren Berechnungen führt.

Das Fehlerbeurteilungsverfahren zur Beurteilung eines Fehlers der Umgebungsüberwachungsvorrichtung, hervorgerufen durch Fehlausrichtung zwischen dem Laserradar und der Kamera, weist folgende Schritte auf: (1) Berechnung repräsentativer Koordinaten eines anderen Fahrzeugs, welches von dem Laserradar erfaßt wird; (2) Transformieren der repräsentativen Koordinaten entsprechend Koordinatenachsen eines Anzeigebildes, welches von der Kamera erfaßt wird; (3) Einstellung eines Fensters zur Festlegung eines vorbestimmten Bereichs auf der Grundlage der transformierten repräsentativen Koordinaten des anderen Fahrzeugs; (4) Bearbeitung von Bildsignalen in dem Fenster und Beurteilung, ob die optischen Achsen der Kamera mit den optischen Achsen des Laserradars übereinstimmen oder nicht, abhängig davon, ob sich das andere Fahrzeug in dem Fenster befindet.

Das Fehlerbeurteilungsverfahren dient zur Durchführung einer Beurteilung eines Fehlers der Umgebungsüberwachungsvorrichtung, die mit einem Laserradar und einer Kamera versehen ist, deren optische Achsen miteinander übereinstimmen. Zuerst wird durch das Laserradar das andere Fahrzeug erfaßt, das sich in der Nähe befindet.

Dann wird der Ort, an welchem das andere Fahrzeug auf dem Bild der Kamera aufgenommen wird, berechnet, und ein vorbestimmter Bereich des Bildes festgelegt, welcher das andere Fahrzeug umfaßt.

Dann wird das Bild der Kamera bearbeitet, und es wird beurteilt, ob die optische Achse der Kamera mit der optischen Achse des Laserradars übereinstimmt oder nicht, abhängig davon, ob sich das Fahrzeug innerhalb des eingerichteten, vorbestimmten Bereiches befindet oder nicht. Anders ausgedrückt muß, wenn die optische Achse der Kamera und die optische Achse des Laserradars übereinstimmen, das erfaßte Objekt, das von dem Laserradar aufgenommen wird, auch von der Kamera aufgenommen werden. Wenn andererseits das von dem Laserradar aufgenommene, erfaßte Objekt nicht von der Kamera aufgenommen wird, so kann festgestellt werden, daß die optischen Achsen nicht übereinstimmen.

Die Fehlerbeurteilungsvorrichtung zur Beurteilung eines Fehlers oder Ausfalls der voranstehend geschilderten Umgebungsüberwachungsvorrichtung zur Ausführung des voranstehend geschilderten Fehlerbeurteilungsverfahrens weist auf: (1) eine mit einer optischen Achse versehene Kamera, die auf dem Fahrzeug angebracht ist, um ein Bild einer Straße aufzunehmen; (2) ein Strahlabtast-Laserradar, welches eine optische Achse aufweist und auf dem Fahrzeug angebracht ist, und zwar auf solche Weise, daß das Zentrum seiner optischen Achse mit der optischen Achse der Kamera übereinstimmt; (3) eine Berechnungsvorrichtung für repräsentative Koordinaten zur Berechnung repräsentativer Koordinaten eines anderen Fahrzeugs, welches von dem Laserradar erfaßt wird; (4) eine Koordinatentransformationsvorrichtung zum Transformieren der repräsentativen Koordinaten entsprechend Koordinatenachsen auf einem Anzeigebild der Kamera; (5) eine Fenstereinstellvorrichtung zur Einstellung eines Fensters zur Festlegung eines vorbestimmten Bereichs auf der Grundlage der repräsentativen Koordinaten, die von der Koordinatentransformationsvorrichtung transformiert wurden; (6) eine Beurteilungsvorrichtung für die optische Achse zur Beurteilung, ob die optische Achse der Kamera mit der optischen Achse des Laserradars übereinstimmt oder nicht, abhängig davon, ob sich das andere Fahrzeug innerhalb des Fensters befindet oder nicht, durch Bearbeitung von Bildsignalen in dem Fenster.

Die Beurteilungsvorrichtung für die optische Achse bestimmt, ob das zu erfassende Objekt innerhalb des Fensters liegt, durch Vergleichen der transformierten repräsentativen Koordinaten mit Histogrammen der erfaßten Außenkontur. Diese Funktion stellt fest, ob die optischen Achsen der Kamera und des Laserstrahls übereinstimmen.

Die Beurteilungsvorrichtung für die optischen Achsen weist eine Histogrammberechnungsvorrichtung auf, eine Vergleichsbezugswerteinstellvorrichtung, und eine Vergleichsvorrichtung. Die Histogrammberechnungsvorrichtung berechnet Histogramme, welche die horizontalen und vertikalen Linien repräsentieren, die sich innerhalb der Außenkontur herausgestellt haben. Die Vergleichsbezugswerteinstellvorrichtung stellt Vergleichsbezugswerte auf der Grundlage der transformierten Koeffizienten ein. Die Vergleichsvorrichtung vergleicht die Histogramme mit den Vergleichsbezugswerten auf der Grundlage der transformierten Koeffizienten, und beurteilt, daß sich das andere Fahrzeug innerhalb des korrigierten Fensters befindet, wenn der Maximalwert des Histogramms größer als der Vergleichsbezugswert über einen vorbestimmten Zeitraum ist.

Es wird darauf hingewiesen, daß bei der hier vorgeschlagenen, bevorzugten Ausführungsform der Vergleichsbezugswert, der als Bezugsgröße zur Beurteilung der Abmessungen des Fensters dient, das auf dem Anzeigebild eingestellt ist, und zur Beurteilung, ob das Fahrzeug vorhanden ist oder nicht, entsprechend der Entfernung zu dem anderen Fahrzeug korrigiert wird, welches von dem Laserradar erfaßt wird. Selbst wenn sich die Entfernung zu dem von dem Laserradar erfaßten Fahrzeug ändert, kann die Übereinstimmung oder Nichtübereinstimmung zwischen den optischen Achsen der Kamera und des Laserradars exakt beurteilt werden.

Bei einer weiteren bevorzugten Ausführungsform weist die Fehlerbeurteilungsvorrichtung weiterhin eine Sperreinrichtung für die Beurteilung der optischen Achse auf. Dieses Gerät sperrt die Beurteilung der Übereinstimmung oder Nichtübereinstimmung der optischen Achsen der Kamera und des Laserradars, wenn die Entfernung, die durch die repräsentativen Koordinaten angegeben wird, die von dem Laserradar festgestellt werden, größer als eine vorbestimmte Entfernung ist. Genauer gesagt werden die Abmessungen des Fensters und der Vergleichsbezugswert entsprechend der Entfernung zum anderen Fahrzeug korrigiert, welche von dem Laserradar festgestellt wird. Wenn die Entfernung zu dem anderen Fahrzeug allzu groß ist, ist das Bild des anderen Fahrzeugs auf der Anzeige der Kamera äußerst klein, was es schwierig macht zu beurteilen, ob es sich um ein Bild eines anderen Fahrzeugs handelt oder nicht. Daher ist das Ergebnis der Übereinstimmungsbeurteilung nicht immer verläßlich.

Bei der hier vorgeschlagenen, bevorzugten Ausführungsform wird daher die Beurteilung der Übereinstimmung der optischen Achsen gesperrt, wenn die von dem Laserradar ermittelte Entfernung zu dem andern Fahrzeug größer als eine vorbestimmte Entfernung ist.

Die Erfindung wird nachstehend anhand zeichnerisch dargestellter Ausführungsbeispiele näher erläutert, aus welchen weitere Vorteile und Merkmale hervorgehen. Es zeigt:

Fig. 1 eine Darstellung eines Fahrzeugs, bei welchem eine Vorrichtung gemäß mehrerer Ausführungsformen der vorliegenden Erfindung angebracht ist;

Fig. 2 ein Blockschaltbild einer ersten bevorzugten Ausführungsform der Erfindung;

Fig. 3 ein Bild einer vor einem Fahrzeug befindlichen Straße, welches von einer auf dem Fahrzeug angebrachten CCD-Kamera aufgenommen wird;

Fig. 4(a), 4(b) und 4(c) erläuternde Darstellungen von Positionsinformation in Bezug auf ein Fahrzeug, das vorausfährt, in verschiedenen Koordinatensystemen;

Fig. 5 eine erläuternde Darstellung der Art und Weise der Erfassung eines vorausfahrenden Fahrzeugs durch ein auf einem nach fahrenden Fahrzeug angebrachtes Laserradar;

Fig. 6 eine erläuternde Darstellung der Art und Weise der Erfassung eines vorausfahrenden Fahrzeugs durch die auf dem nachfahrenden Fahrzeug angeordnete CCD-Kamera;

Fig. 7 eine erläuternde Darstellung der Art und Weise der Transformation von Positionsinformation eines Objekts, welches von dem Laserradar erfaßt wird, entsprechend den Koordinaten auf dem Anzeigebild;

Fig. 8 ein Blockschaltbild einer zweiten bevorzugten Ausführungsform;

Fig. 9(a) und 9(b) erläuternde Darstellungen zur Verdeutlichung des Betriebsablaufs der Berechnungsvorrichtung für repräsentative Koordinaten, wobei Fig. 9(a) die Art und Weise zeigt, auf welche mehrere Positionsinformationen unter Verwendung eines Laserradars von einem vorausfahrenden Fahrzeug erhalten werden, und Fig. 9(b) erläutert, wie die mehreren Positionsinformationen zu einem repräsentativen Punkt vereinigt werden;

Fig. 10 ein Blockschaltbild einer dritten bevorzugten Ausführungsform;

Fig. 11 ein Blockschaltbild einer bevorzugten Ausführungsform einer Erfassungsvorrichtung für eine Nichtübereinstimmung optischer Achsen, die bei der dritten bevorzugten Ausführungsform verwendet wird; und

Fig. 12(a) und 12(b) erläuternde Darstellungen zur Verdeutlichung des Betriebsablaufs bei der dritten bevorzugten Ausführungsform.

Die erste bevorzugte Ausführungsform schlägt ein Umgebungsüberwachungsverfahren zur Überwachung der Umgebung eines Fahrzeugs vor, um zu beurteilen, ob ein von einem Strahlabtastungs-Laserradar erfaßtes Objekt sich in der eigenen Fahrspur des Fahrzeugs befindet oder nicht, und schlägt weiterhin eine Umgebungsüberwachungsvorrichtung zur Durchführung dieses Verfahrens vor.

Das Umgebungsüberwachungsverfahren wird mit folgenden Schritten durchgeführt.

Zuerst werden von einer auf einem Fahrzeug angebrachten Kamera, die in Bewegungsrichtung des Fahrzeugs gerichtet ist, Bildsignale erfaßt. Die Kamera nimmt weiße Linien auf der Straßenoberfläche vor dem Fahrzeug auf und bearbeitet diese. Da die Kamera auf dem Fahrzeug angebracht ist, befindet sich die Kamera innerhalb der eigenen Fahrspur des Fahrzeugs, von welchem die Situation vor dem Fahrzeug aufgenommen wird.

Eine weiße Linie auf der linken Seite der eigenen Fahrspur des Fahrzeugs taucht daher auf der linken Seite des von der Kamera aufgenommenen Bildes auf, wogegen eine weiße Linie auf der rechten Seite der eigenen Fahrspur des Fahrzeugs auf der rechten Seite des Bildes auftaucht. Die weißen Linien sind normalerweise so auf die Straße gemalt, daß sie im Vergleich zur Straßenoberfläche sehr hell sind.

Bei der nachfolgenden Bildbearbeitung werden Punkte großer Helligkeit auf der Straße erfaßt, und diese Punkte werden als weiße Linie erkannt. Die Position einer derartigen weißen Linie wird auf H-V-Koordinatenachsen angegeben, wobei die V- Achse die Vertikalrichtung des Bildes angibt, dagegen die H- Achse die Horizontalrichtung des Bildes.

In der H-V-Koordinatenebene wird daher die eigene Fahrspur eines Fahrzeugs in einem Bereich von einer Koordinatenposition der linken weißen Linie zu einer Koordinatenposition der rechten weißen Linie angegeben.

Ein auf dem Fahrzeug angebrachtes Laserradar, dessen Zentrum der optischen Achse mit der optischen Achse der Kamera übereinstimmt, überwacht die Umgebung des Fahrzeugs durch Horizontalabtastung mit einem Laserstrahl. Die Positionsinformation in Bezug auf ein erfaßtes Objekt wird in einem R-Θ-Koordinatensystem erhalten, also durch eine Entfernung R zu dem erfaßten Objekt und einen Winkel Θ, welcher den Winkel zwischen der Richtung der Vorwärtsbewegung des Fahrzeugs und der durch die Entfernung angegebenen Richtung bezeichnet.

Die Positionsinformation in Bezug auf das erfaßte Objekt, angegeben in dem R-Θ-Koordinatensystem, wird dann in das H-V- Koordinatensystem transformiert, so daß sie mit den weißen Linien auf dem Anzeigebild verglichen werden kann. Die Positionsinformation in Bezug auf das erfaßte Objekt, transformiert in das H-V-Koordinatensystem, wird dann mit den Positionen der weißen Linie verglichen, die von der Kamera festgestellt wurden, und in dem H-V-Koordinatensystem angezeigt sind.

Wenn dann ein Vergleich der Positionsinformation des von dem Laserradar erfaßten Objekts und der Kamera anzeigt, daß sich das Objekt innerhalb des Bereiches der Koordinaten befindet, welche die eigene Fahrspur des Fahrzeugs festlegen, dann wird das erfaßte Objekt so beurteilt, daß es sich in der eigenen Fahrspur des Fahrzeugs befindet. Wenn andererseits der Vergleich der Positionsinformation des von dem Laserradar erfaßten Objekts und der Kamera anzeigt, daß das Objekt außerhalb des Umfangs der Koordinaten liegt, welche die eigene Fahrspur des Fahrzeugs angeben, dann wird das erfaßte Objekt so beurteilt, daß es sich außerhalb der eigenen Fahrspur des Fahrzeugs befindet.

Nachstehend wird nunmehr die Umgebungsüberwachungsvorrichtung zur Ausführung des voranstehend geschilderten Umgebungsüberwachungsverfahrens beschrieben.

Fig. 1 zeigt ein Fahrzeug, das mit einer Vorrichtung gemäß einer ersten bevorzugten Ausführungsform der Erfindung versehen ist. In Fig. 1 ist mit dem Bezugszeichen 1 das Fahrzeug bezeichnet, 2 bezeichnet ein anderes Fahrzeug, 3 bezeichnet eine CCD-Kamera, die auf einem oberen Abschnitt des Fahrzeugs 1 angebracht ist, und in Vorwärtsrichtung gerichtet ist, 4 bezeichnet ein Strahlabtastungs-Laserradar, das auf dem Fahrzeug 1 angebracht ist, und dessen optische Achse mit der optischen Achse der CCD-Kamera 3 übereinstimmt, und 5 bezeichnet einen Prozessor zum Empfangen von Ausgangssignalen von der CCD-Kamera 3 und dem Laserradar 4.

Fig. 2 ist ein Blockschaltbild, welches die Anordnung der Umgebungsüberwachungsvorrichtung zeigt. In Fig. 2 ist mit dem Bezugszeichen 51 die Fahrspurerfassungsvorrichtung bezeichnet, die an die CCD-Kamera 3 angeschlossen ist und ein von der CCD-Kamera 3 aufgenommenes Bild bearbeitet, um einen Bereich der eigenen Fahrspur des Fahrzeugs zu erfassen.

Das Bezugszeichen 52 bezeichnet eine an das Laserradar 4 angeschlossene Koordinatentransformationsvorrichtung. Die Koordinatentransformationsvorrichtung 52 empfängt Positionsinformation in Bezug auf das andere Fahrzeug 2, welches voraus fährt, und wandelt die von dem Laserradar 4 erfaßte Information, dargestellt in dem R-Θ-Koordinatensystem, in Positionsinformation in dem H-V-Koordinatensystem um. Im einzelnen wird die in dem R-Θ-Koordinatensystem angegebene Information, also dargestellt durch eine Entfernung von dem Fahrzeug 1 und einen Winkel Θ (zwischen einer Bezugsposition und der Position des erfaßten Fahrzeugs) in Positionsinformation transformiert, die in dem H-V-Koordinatensystem dargestellt ist, entsprechend dem von der CCD-Kamera 3 aufgenommenen Bild. In dieser Hinsicht liegt die Bezugsposition in einer Richtung, welche mit der optischen Achse der CCD-Kamera übereinstimmt, also in Vorwärtsrichtung des Fahrzeugs 1.

Das Bezugszeichen 53 bezeichnet die Vorwärtsfahrzeugerfassungsvorrichtung zur Erfassung des vorausfahrenden Fahrzeugs. Die Vorwärtsfahrzeugerfassungsvorrichtung ist an die Fahrspurerfassungsvorrichtung 51 und an die Koordinatentransformationsvorrichtung 52 angeschlossen. Die Vorwärtsfahrzeugerfassungsvorrichtung 53 vergleicht die Positionsinformation bezüglich der eigenen Fahrspur des Fahrzeugs, angegeben in dem H-V-Koordinatensystem, wie sie von der Fahrspurerfassungsvorrichtung 51 empfangen werden, mit der Information, die von der Koordinatentransformationsvorrichtung 52 zur Verfügung gestellt wird, welche die Positionsinformation in Bezug auf das vorausfahrende, andere Fahrzeug 2 darstellt und in H-V-Koordinaten angegeben ist. Die Vorwärtsfahrzeugerfassungsvorrichtung beurteilt, ob das vorausfahrende Fahrzeug sich in derselben Fahrspur befindet wie das Fahrzeug 1, und gibt ein entsprechendes Ergebnis aus.

Die Vorwärtsfahrzeugerfassungsvorrichtung 53 weist eine Trennvorrichtung zum Trennen oder Unterscheiden zwischen einem Objekt, das innerhalb der eigenen Fahrspur des Fahrzeugs festgestellt wird, und einem Objekt auf, das sich als außerhalb der eigenen Fahrspur des Fahrzeugs befindlich herausstellt.

Nunmehr wird der Betriebsablauf bei der ersten bevorzugten Ausführungsform der Erfindung beschrieben.

Wie in Fig. 3 gezeigt, wird von der CCD-Kamera 3 ein Bild erhalten, welches eine Straßenoberfläche vor dem Fahrzeug 1 zeigt. In Fig. 3 bezeichnet das Bezugszeichen 6 ein Bild der Straße vor dem Fahrzeug, das von der CCD-Kamera 3 aufgenommen wird, mit 61 ist eine weiße Linie auf der linken Seite in dem Bild bezeichnet, mit 62 eine weiße Linie auf der rechten Seite in dem Bild, mit 63 eine vorbestimmte Abtastlinie oder Abtastzeile in dem Bild, und mit 64 ein Videosignal der Abtastzeile 63.

Normalerweise sind weiße Linien auf die Straße aufgemalt, um die Grenzen zwischen den Fahrspuren des laufenden Verkehrs anzuzeigen. Die Videosignaldarstellung einer weißen Linie weist die Eigenschaften eines hohen Helligkeitspegels im Vergleich mit dem Pegel der Umgebung auf, wie durch das Videosignal 64 in Fig. 3 angedeutet ist.

Daher kann jede weiße Linie dadurch festgestellt werden, daß ein Bereich mit hohem Helligkeitspegel im Vergleich zur Umgebung erfaßt wird. Auf diese Weise werden sowohl die Koordinaten der weißen Linie 61 auf der linken Seite in dem H-V-Koordinatensystem als auch jene der weißen Linie 62 auf der rechten Seite ein dem H-V-Koordinatensystem erhalten.

Weiterhin wird ein Bereich von der weißen Linie 61 auf der linken Seite bis zur weißen Linie 62 auf der rechten Seite als die eigene Fahrspur des Fahrzeugs erfaßt. Eine derartige Erfassung der eigenen Fahrspur des Fahrzeugs wird in Bezug auf das gesamte Bild dadurch durchgeführt, daß immer wieder die Abtastzeile 63 von der unteren Seite des Bildes schrittweise bis zur oberen Seite des Bildes erneut wird.

In bezug auf eine weiße Linie, die Teilstücke aufweist, wie die weiße Linie 62 auf der rechten Seite in der Figur, werden die Positionen der fehlenden Abschnitte durch eine Interpolationsberechnung unter Bezugnahme auf die benachbarten Abschnitte bestimmt, in welchen weiße Linien vorhanden sind.

Die Positionsinformation in bezug auf das vorausfahrende, andere Fahrzeug 2 wird von dem Laserradar 4 erhalten. Dies führt dazu, daß es möglich ist, die Positionsinformation der eigenen Fahrspur des Fahrzeugs, die wie voranstehend geschildert erhalten wurde, mit der Positionsinformation des anderen, vorausfahrenden Fahrzeugs 2 zu vergleichen, welche von dem Laserradar 4 erhalten wird.

Daher ist es möglich, eine Trennung oder Unterscheidung zwischen irgendeinem anderen Fahrzeug, welches in derselben Fahrspur wie das erfassende Fahrzeug vorausfährt, und irgendeinem anderen Fahrzeug zu treffen, das in einer unterschiedlichen Fahrspur vorausfährt.

Da jedoch die Positionsinformation in bezug auf das andere Fahrzeug 2, die von dem Laserradar 4 erhalten wird, in Form von R-Θ-Koordinaten vorliegt, die sich von dem H-V-Koordinatensystem des Bildes 6 unterscheiden ist es unmöglich, diese verschiedenen Positionsinformationen miteinander zu vergleichen.

Diese Schwierigkeit wird nachstehend unter Bezugnahme auf Fig. 4 eingehender erläutert.

Die Fig. 4(a), 4(b) und 4(c) zeigen zur Verdeutlichung die Positionsinformation in Bezug auf das vorausfahrende Fahrzeug 2 in den jeweiligen Koordinatensystemen. Fig. 4(a) zeigt Positionsinformation bezüglich des Fahrzeugs 2 in den R-Θ-Koordinaten, die von dem Laserradar 4 erhalten werden. Fig. 4(b) zeigt Positionsinformation bezüglich des Fahrzeugs 2 und der weißen Linien in H-V-Koordinaten. Fig. 4(c) zeigt X-Y-Koordinaten, bei denen das Fahrzeug 1 im Ursprung liegt, wobei die Längsrichtung des Fahrzeugs 1 die Y-Achse bildet, und die Horizontalrichtung die X-Achse.

Die X-Y-Koordinaten werden als Koordinaten für die Fahrzeugsteuerung verwendet. Positionsinformation anhand von R-Θ-Koordinaten oder H-V-Koordinaten, die von dem Laserradar 4 und der CCD-Kamera 3 erhalten werden, werden nach Transformation in Positionsinformation in X-Y-Koordinaten verwendet.

Beispielsweise wird in X-Y-Koordinaten die Fahrzeugsteuerung berechnet, etwa die Steuerung oder Kontrolle der Entfernung zwischen Fahrzeugen zur Aufrechterhaltung eines ordnungsgemäßen Abstands, beispielsweise zwischen den Fahrzeugen 1 und 2.

Wie aus den Fig. 4(a), 4(b) und 4(c) hervorgeht, wird die Positionsinformation bezüglich des Fahrzeugs 2 durch das Laserradar 4 zur Verfügung gestellt, und liegt in Form von R-Θ-Koordinaten vor, also auf der Grundlage der Entfernung zwischen den Fahrzeugen 1 und 2 und des Winkels Θ, welcher den Winkel zwischen einem Weg von Fahrzeug 1 zum Fahrzeug 2 und einer Bezugsrichtung angibt.

Andererseits liegt die Positionsinformation bezüglich der weißen Linie 61 auf der linken Seite und der weißen Linie 62 auf der rechten Seite, die von dem Bild 6 erhalten wird, in Form von H-V-Koordinaten vor, bei welchen der Ursprung oben links im Bild liegt, die H-Achse horizontal durch den Ursprung geht, und die V-Achse vertikal durch den Ursprung geht.

Daher ist es unmöglich, die Positionsinformation des Laserradars 4 in Form des R-Θ-Koordinatensystems auf das Bild 6 ohne Transformation zu projizieren.

Angesichts der voranstehenden Überlegungen wird bei der ersten bevorzugten Ausführungsform die Positionsinformation bezüglich des Fahrzeugs 2, das dem erfassenden Fahrzeug vorausfährt, und die von dem Laserradar 4 erhalten wird und in Form von R-Θ-Koordinaten vorliegt, zuerst in X-Y- Koordinaten transformiert, und gespeichert.

Die Positionsinformation in X-Y-Koordinaten wird weiterhin in Positionsinformation in Form der H-V-Koordinaten transformiert, wodurch die transformierte Positionsinformation mit der Positionsinformation bezüglich der weißen Linien verglichen werden kann, welche aus dem Bild 6 in Form von H-V-Koordinaten erhalten wird.

In der Vorwärtsfahrzeugerfassungsvorrichtung 53 wird daher die Positionsinformation bezüglich der weißen Linien, die von der Fahrspurerfassungsvorrichtung 51 in Form von H-V- Koordinaten erhalten wird, mit der Positionsinformation bezüglich des Fahrzeugs 2 verglichen, die von der Koordinatentransformationsvorrichtung 52 in Form von H-V- Koordinaten erhalten wird. Die Vorwärtsfahrzeugerfassungsvorrichtung 52 beurteilt, ob die Positionsinformation bezüglich des Fahrzeugs 2 innerhalb der Abmessungen der Fahrspur des Fahrzeugs 1 liegt oder nicht, welche von der Erfassungsvorrichtung 51 für die eigene Fahrspur festgestellt werden. Liegt das vorausfahrende Fahrzeug 2 innerhalb des Umfangs der eigenen Fahrspur des Fahrzeugs, so wird das Fahrzeug 2 so beurteilt, daß es sich in der eigenen Fahrspur des Fahrzeugs befindet. Wenn andererseits das Fahrzeug 2 außerhalb des Umfangs der eigenen Fahrspur des Fahrzeugs liegt, so wird das Fahrzeug 2 so beurteilt, daß es außerhalb der eigenen Fahrspur des Fahrzeugs liegt. Das Ergebnis der Beurteilung wird dann ausgegeben.

Zusätzlich wird die Positionsinformation bezüglich des Fahrzeugs 2 in Form von X-Y-Koordinaten, die in der Koordinatentransformationsvorrichtung 52 gespeichert sind, und das Ergebnis der Beurteilung der Vorwärtsfahrzeugerfassungsvorrichtung 53 einer Fahrzeugsteuerung (in den Figuren nicht dargestellt) zugeführt, um für die Fahrzeugsteuerung verwendet zu werden.

Die Positionsinformation bezüglich weißer Linien in den H-V- Koordinaten, die von dem Bild 6 erhalten wird, wird in Positionsinformation in X-Y-Koordinaten durch die Koordinatentransformationsvorrichtung (nicht dargestellt) transformiert, und der (nicht gezeigten) Fahrzeugsteuerung zur Verwendung bei der Steuerung des Fahrzeugs zugeführt.

Hierbei wird die Positionsinformation in Form von R-Θ-Koordinaten, die von dem Laserradar 4 erhalten wird, in Positionsinformation in Form von X-Y-Koordinaten transformiert, und die transformierte Information wird gespeichert. Dies liegt daran, daß die Genauigkeit der Positionsinformation beeinträchtigt wird, wenn die Positionsinformation in Form von X-Y-Koordinaten in Positionsinformation in Form von H-V-Koordinaten transformiert wird, welche mit der Positionsinformation bezüglich der weißen Linien verglichen werden soll, und dann wieder in Positionsinformation in Form von H-V-Koordinaten rücktransformiert wird, die für die Fahrzeugsteuerung eingesetzt werden sollen. Insbesondere können große Fehler bei der Transformation von H-V-Koordinaten in X-Y-Koordinaten auftreten.

Die Schritte der Erfassung des vor fahrenden Fahrzeugs durch das Laserradar 4 und die CCD-Kamera 3 sowie die Art und Weise der Koordinatentransformation der erfaßten Positionsinformation werden nachstehend genauer erläutert.

Fig. 5 zeigt schematisch die Art und Weise der Erfassung des vor fahrenden Fahrzeugs unter Verwendung des auf dem Fahrzeug 1 angebrachten Laserradars 4. Hierbei bezeichnet das Bezugszeichen 7 die eigene Fahrspur des Fahrzeugs, 8 bezeichnet eine neben der Fahrspur 7 angeordnete Fahrspur, 21 bezeichnet ein vorausfahrendes Fahrzeug in der eigenen Fahrspur 7 des Fahrzeugs, 22 bezeichnet ein vorausfahrendes Fahrzeug in der benachbarten Fahrspur 8, und mit 9, 10 sind Fahrspuren für andere Fahrzeuge bezeichnet, die in entgegengesetzte Richtung fahren.

Das auf dem Fahrzeug 1 angebrachte Laserradar 4 des Strahlabtasttyps strahlt nach vorn aus, und veranlaßt einen engen Laserstrahl zu einer Abtastung von einem vorbestimmten Startpunkt in Horizontalrichtung, aufeinanderfolgend von links nach rechts mit einer vorbestimmten Zeitdauer und einer vorbestimmten Winkelerhöhung. Wenn irgendetwas reflektiert (beispielsweise ein hinterer Reflektor auf einem vorfahrenden Fahrzeug) in Ausstrahlungsrichtung, so wird der Laserstrahl hierdurch reflektiert und kehrt zurück.

Das Laserradar 4 empfängt dieses reflektierte Licht, und die Entfernung zum Objekt in Vorwärtsrichtung wird durch Messung der Ausbreitungsverzögerungszeit von der Ausstrahlung bis zum Empfang des reflektierten Lichts erfaßt. Eine Richtung ΘA von dem Fahrzeug 1 wird auf der Grundlage der Ordnungszahl des spezifischen Laserstrahls bestimmt, der reflektiert wird, unter den bei dem aufeinanderfolgenden Abtastvorgang vom bekannten Startpunkt ausgesandten Laserstrahl.

Es wird darauf hingewiesen, daß es ortsfeste Objekte wie beispielsweise Unterteilungen (reflektierende Spiegel), Anzeigetafeln und dergleichen gibt, welche zusätzlich zu anderen, vorausfahrenden Fahrzeugen den Laserstrahl reflektieren, und daß es erforderlich ist, diese ortsfesten Objekte auszuschalten, um eine fehlerhafte Erfassung zu vermeiden.

Zu diesem Zweck nutzt die erste Ausführungsform die Tatsache, daß jedes ortsfeste Objekt nach hinten "wegbefördert" wird, mit derselben Geschwindigkeit wie der Geschwindigkeit des Fahrzeugs 1. Anders ausgedrückt haben ortsfeste Objekte eine scheinbar konstante Geschwindigkeit in der Richtung entgegengesetzt zum erfassenden Fahrzeug. Daher wird nur die Positionsinformation a1, a2, b1 und b2 herausgezogen.

Die Positionsinformation (R, ΘA) in R-Θ-Koordinaten, die auf die voranstehend geschilderte Weise erhalten wird, wird der Koordinatentransformationsvorrichtung 52 zugeführt. In der Koordinatentransformationsvorrichtung 52 wird die Position (R, ΘA) in die Position (x, y) in X-Y-Koordinaten auf der Grundlage der folgenden Transformationsgleichungen umgewandelt.

Genauer gesagt umfassen die Transformationsgleichungen von dem R-Θ-Koordinatensystem in das X-Y-Koordinatensystem die folgenden Gleichungen (1) und (2), wie aus Fig. 4 deutlich wird:

x = R cos Θ (1)
y = R sind Θ (2)

Da die Winkelinformation Θ, die von dem Laserradar 4 erhalten wird, einen Winkel gegenüber der Bezugsposition darstellt, wird ΘA in einen Winkel Θ gemäß Fig. 4(a) umgewandelt, und dann in die voranstehenden Gleichungen (1) und (2) eingesetzt.

Die Koordinatentransformationsvorrichtung 52 führt eine weitere Transformation der transformierten Position (x, y) in eine Position (h, v) in H-V-Koordinaten durch. Transformationsgleichungen für diesen Zweck werden nachstehend angegeben.

Fig. 6 zeigt schematisch die Beziehung zwischen der CCD-Kamera 3 und dem vorfahrenden Fahrzeug 2, wobei das Bezugszeichen 31 eine Linse oder ein Objektiv mit der Brennweite "f" bezeichnet, und das Bezugszeichen 32 ein CCD-Bildaufnahmeelement 32.

Wenn eine horizontale Bilderzeugungsposition des Fahrzeugs 2 auf dem CCD-Bildaufnahmeelement 32 als Entfernung "h" gegenüber dem Zentrum der optischen Achse der CCD angegeben wird, erhält man die Horizontalposition "x" des Fahrzeugs 2 aus der Gleichung (3) nach dem Triangulationsprinzip.

h = xf/y (3)
v = fL/y (4)

Wenn die Positionsinformation (x, y) eingeführt wird, die durch Transformation der Positionsinformation (R, Θ) in R-Θ-Koordinaten in den voranstehenden Gleichungen (3) und (4) erhalten wird, so erhält man die Positionsinformation (h, v) bezüglich des Fahrzeugs 2 in H-V-Koordinaten. Die Positionsinformation bezüglich des Fahrzeugs 2 wird dann von der Koordinatentransformationsvorrichtung 52 an die Vorwärtsfahrzeugerfassungsvorrichtung 53 geliefert.

Fig. 7 zeigt schematisch den Betriebsablauf der Vorwärtsfahrzeugerfassungsvorrichtung 53. Hierbei ist die Art und Weise dargestellt, wie ein Erfassungsergebnis der Reflektoren vorfahrender Fahrzeuge 21 und 22 (die vor dem erfassenden Fahrzeug fahren), erfaßt von dem Laserradar 4, dem Bild 6 in Vorwärtsrichtung überlagert wird, welches von der CCD-Kamera 3 aufgenommen wurde, nach Transformation des Ergebnisses in H-V-Koordinaten entsprechend der voranstehend geschilderten Koordinatentransformation.

In Fig. 7 bezeichnen die Bezugszeichen a1 und a2 jeweils ein Erfassungsergebnis für das Fahrzeug 21, welches in der eigenen Fahrspur des Fahrzeugs voraus fährt, welche von dem Laserradar 4 erfaßt und in H-V-Koordinaten umgewandelt wurden, wogegen die Bezugszeichen b1 und b2 jeweils Erfassungsergebnisse bezüglich des anderen Fahrzeugs 22 bezeichnen, welches in der benachbarten Fahrspur vorfährt, welche von dem Laserradar 4 erfaßt wurden, und in H-V- Koordinaten umgewandelt wurden.

Die Einzelschritte zur Erfassung des Fahrzeugs 21, welches in der eigenen Fahrspur des Fahrzeugs vorfährt, werden nachstehend geschildert.

Wenn die V-Koordinatenposition des Erfassungsergebnisses a1 gleich "v" ist, werden Erfassungsergebnisse a1 und h4 für eine weiße Linie auf der Linie "v" mit einer H-Koordinatenposition h2 des erwähnten Erfassungsergebnisses a1 verglichen, und wenn dann die Ungleichung h1 < h2 < h4 erfüllt ist, so wird beurteilt, daß sich das Erfassungsergebnis a1 innerhalb der eigenen Fahrspur 7 des Fahrzeugs befindet.

Entsprechend wird mit den übrigen Erfassungsergebnissen für Punkte a2, b1 und b2 eine ähnliche Verarbeitung durchgeführt, um zu beurteilen, ob diese Punkte innerhalb der Fahrspur 7 liegen.

Wenn a1 und a2 innerhalb der Fahrspur 7 liegen, dann wird das dem erfassenden Fahrzeug vorausfahrende Fahrzeug 21 so beurteilt, daß es in der eigenen Fahrspur 7 des Fahrzeugs vorausfährt. Wenn andererseits das Erfassungsergebnis außerhalb der Fahrspur 7 liegt, wie bei den Punkten b1 und b2, so wird das Fahrzeug 22 so beurteilt, daß es nicht in der Fahrspur 7 vorfährt.

Auf diese Weise wird es möglich, daß innerhalb der eigenen Fahrspur 7 des Fahrzeugs vorausfahrende Fahrzeug 21 von anderen Fahrzeugen 22 zu unterscheiden, die in benachbarten Fahrspuren vorausfahren.

Es ist ebenfalls möglich, die Positionen des Fahrzeugs 21 und des Fahrzeugs 22 aus der Positionsinformation des Laserradars 4 zu ermitteln.

Darüber hinaus ist es möglich, eine exaktere Fahrzeugsteuerung unter Verwendung der voranstehend erwähnten Information für die Steuerung des Fahrzeugs durchzuführen.

In Bezug auf die Art und Weise der Umwandlung der Koordinatensysteme kann wie voranstehend ein Verfahren zum Transformieren von R-Θ-Koordinaten in H-V-Koordinaten wie voranstehend geschildert verwendet werden, sowie ein weiteres Verfahren zur Transformation von H-V-Koordinaten in R-Θ-Koordinaten. Allerdings ist die Auflösung der Meßergebnisse der CCD-Kamera 3 weniger gut, wenn das erfaßte Objekt weiter entfernt ist, verglichen mit den Meßergebnissen, die von dem Laserradar 4 erhalten werden, und daher führt die Transformation von H-V-Koordinaten in R-Θ-Koordinaten insbesondere für entfernte Bereiche zu einem sehr ungenauen und instabilen Ergebnis.

Daher ist es eher vorzuziehen, das Verfahren der Transformation von R-Θ-Koordinaten zu verwenden, welche ein von dem Laserradar 4 erhaltenes Meßergebnis betreffen, da das Laserradar ein relativ exaktes Meßergebnis erzielen kann, selbst wenn ein erfaßtes Objekt sich in der Entfernung befindet, wobei die Transformation in H-V-Koordinaten erfolgt, welche von der CCD-Kamera 3 erhalten werden.

Nachstehend wird die zweite bevorzuge Ausführungsform der vorliegenden Erfindung geschildert.

Obwohl bei den einzelnen Erfassungs- oder Meßpunkten a1, a2, b1 und b2, die von dem Laserradar 4 erfaßt werden, eine aufeinanderfolgende Transformation von R-Θ-Koordinaten in X-Y-Koordinaten sowie von X-Y-Koordinaten in H-V-Koordinaten bei der voranstehend geschilderten, ersten bevorzugten Ausführungsform durchgeführt wird, ist es vorzuziehen, einzelne Meßpunkte zu einem repräsentativen Punkt für jedes Fahrzeug in einer Stufe zu vereinigen, bevor die Koordinatentransformation durchgeführt wird, soweit es sich bei dem zu erfassenden Objekt um ein einzelnes Fahrzeug handelt. Als Ergebnis des Einsatzes eines derartigen Schrittes wird die Anzahl später zu verarbeitender Objekte verringert, was zu einer quantitativen Verringerung der Bearbeitung führt.

Fig. 8 zeigt als Blockschaltbild eine Anordnung der Vorrichtung gemäß der zweiten bevorzugten Ausführungsform der Erfindung, wobei das Bezugszeichen 54 eine Berechnungsvorrichtung für repräsentative Punkte zur zusammenfassenden Einrichtung eines repräsentativen Punkts bezeichnet, der mehrere Meßpunkte eines Objekts repräsentiert, die von dem Laserradar 4 erfaßt werden.

Die Fig. 9(a) und 9(b) erläutern den Betriebsablauf der Berechnungsvorrichtung 54 für repräsentative Punkte, wobei Fig. 9(a) die Art und Weise zeigt, auf welche mehrere Positionsinformationspunkte des Fahrzeugs 21, das in der Fahrspur des erfassenden Fahrzeugs voraus fährt, durch das Laserradar 4 erhalten werden, wogegen Fig. 9(b) die Art und Weise der Erzeugung eines repräsentativen Punkts P zeigt, welcher die erwähnten, mehreren Positionsinformationspunkte repräsentiert.

Der von dem Laserradar 4 ausgesandte Laserstrahl wird von einem Reflektor, der Karosserie und dergleichen des in der Fahrspur des Fahrzeugs vorausfahrenden Fahrzeugs 21 reflektiert, wodurch mehrere Positionsinformationen bezüglich des Fahrzeugs 21 erhalten werden. Die Berechnungsvorrichtung 54 für den repräsentativen Punkt empfängt derartige, mehrere Positionsinformationen, und transformiert zuerst die mehreren Meßpunkte, die in R-Θ-Koordinaten erfaßt werden, in entsprechende X-Y-Koordinaten.

Dann werden Meßpunkte, die nahe beieinanderliegen, deren Positionen bezüglich der Y-Koordinate gleich sind, zu einer Gruppe ausgebildet, und es wird die Position des Schwerpunkts ermittelt. Die erhaltene Position des Schwerpunkts wird als repräsentativer Punkt P ausgegeben, der das erfaßte Fahrzeug repräsentiert, wie in Fig. 9(b) gezeigt ist.

Die nachfolgende Verarbeitung ist ebenso wie bei der bereits geschilderten, ersten bevorzugten Ausführungsform, wobei die Verarbeitung hintereinander durch die Koordinatentransformationsvorrichtung 52 und die Vorwärtsfahrzeugerfassungsvorrichtung 53 durchgeführt wird.

Dies führt dazu, daß es bei der zweiten bevorzugten Ausführungsform der Erfindung möglich ist, die Anzahl an Berechnungen zu verringern, oder die Berechnungsgeschwindigkeit zu verbessern, wobei zusätzlich selbstverständlich die Vorteile der ersten bevorzugten Ausführungsform erzielt werden.

Obwohl der Ort des Schwerpunkts der mehreren Meßpunkte als repräsentativer Punkt bei der zweiten bevorzugten Ausführungsform verwendet wird, kann jeder andere repräsentative Punkt verwendet werden-, soweit es sich um Positionsinformation handelt, welche mehrere Positionsdaten repräsentiert, die von einem erfaßten Objekt erhalten werden.

Die folgende Beschreibung betrifft die dritte Ausführungsform der vorliegenden Erfindung, welche auf ein Fehlerbeurteilungsverfahren und eine entsprechende Vorrichtung gerichtet ist.

Das Fehlerbeurteilungsverfahren und die Fehlerbeurteilungsvorrichtung gestatten eine Feststellung, ob die optischen Achsen der Kamera und des Laserradars übereinstimmen. Falls die Achsen nicht zusammenfallen, dann kann das vor dem erfassenden Fahrzeug vorausfahrende Fahrzeug nicht richtig erfaßt werden.

Beispielsweise sind bei der voranstehend geschilderten, bevorzugten Ausführungsform die CCD-Kamera 3 und das Laserradar 4 so auf dem Fahrzeug angebracht, daß ihre optischen Achsen zusammenfallen. Allerdings besteht in der Hinsicht eine Schwierigkeit, daß dann, wenn die optische Achse des Laserradars 4 verschoben wird, keine exakte Beurteilung durchgeführt werden kann, ob sich das vorausfahrende Fahrzeug in der eigenen Fahrspur des erfassenden Fahrzeugs befindet oder nicht.

Die dritte bevorzugte Ausführungsform betrifft ein Erfassungsverfahren für eine derartige Verschiebung optischer Achsen, sowie eine Vorrichtung zur Ausführung des Verfahrens.

Zuerst werden die Schritte zur Beurteilung eines Ausfalls der Umgebungsüberwachungsvorrichtung beschrieben.

Das vorausfahrende Fahrzeug wird von dem Laserradar erfaßt. Da mehrere Meßpunkte von dem Fahrzeug durch das Laserradar erhalten werden, werden repräsentative Koordinaten, welche diese mehreren Meßpunkte repräsentieren, zum Zwecke der Vereinfachung der Berechnung berechnet. Um die Position festzustellen, an welcher die repräsentativen Koordinaten auf dem Bild der Kamera liegen, werden dann die repräsentativen Koordinaten in H-V-Koordinaten umgewandelt, welche die Koordinatenachsen des Bildes der Kamera haben.

Ein Fenster, welches einen vorbestimmten Bereich festlegt, wird auf dem Bild auf der Grundlage der transformierten repräsentativen Koordinaten des vorausfahrenden Fahrzeugs eingestellt. Wenn die optische Achse des Laserradars und die optische Achse der Kamera miteinander übereinstimmen, dann sollte sich das Fahrzeug innerhalb des erwähnten Fensters befinden.

Daher werden Bildsignale in dem Fenster bearbeitet, um zu beurteilen, ob sich ein Fahrzeug innerhalb des Fensters befindet oder nicht, um hierdurch zu beurteilen, ob die optische Achse der Kamera und die optische Achse des Laserradars miteinander übereinstimmen.

Die Vorrichtung zur Ausführung des Fehlererfassungsverfahrens ist nachstehend geschildert.

Fig. 10 zeigt als Blockschaltbild die Anordnung gemäß der dritten bevorzugten Ausführungsform der Erfindung. Hierbei bezeichnet das Bezugszeichen 55 eine Außenkonturerfassungsvorrichtung, die an den Ausgang der CCD-Kamera 3 angeschlossen ist. Die Außenkonturerfassungsvorrichtung 55 bearbeitet das Bild 6 der Straße in Vorwärtsrichtung, welches von der CCD-Kamera 3 aufgenommen wird, um ein Außenkonturbild zu erzeugen.

Der Ausgang des Laserradars 4 ist an die Berechnungsvorrichtung 54 für repräsentative Punkte angeschlossen, ähnlich wie bei der voranstehend geschilderten bevorzugten Ausführungsform.

Der Ausgang der Berechnungsvorrichtung 54 für den repräsentativen Punkt ist ähnlich wie bei der voranstehend geschilderten, bevorzugten Ausführungsform an die Koordinatentransformationsvorrichtung 52 angeschlossen.

Das Bezugszeichen 56 bezeichnet eine Erfassungsvorrichtung für eine Nichtübereinstimmung der optischen Achse, welche an den Ausgang der Außenkonturerfassungsvorrichtung 55 und an den Ausgang der Koordinatentransformationsvorrichtung 52 angeschlossen ist.

Die Erfassungsvorrichtung 56 für die Nichtübereinstimmung der optischen Achsen stellt ein Fenster auf dem Außenkonturbild ein, welches von der Außenkonturerfassungsvorrichtung 55 erhalten wird, auf der Grundlage einer repräsentativen Position des Fahrzeugs, die in H-V-Koordinaten durch die Koordinatentransformationsvorrichtung 52 angegeben wird, und beurteilt, ob die optischen Achse der CCD-Kamera 3 und des Laserradars 4 übereinstimmen oder nicht, abhängig davon, ob sich das vorausfahrende Fahrzeug innerhalb des Fensters befindet oder nicht.

Fig. 11 zeigt als Blockschaltbild Einzelheiten, ob sich das vorausfahrende Fahrzeug innerhalb des Fensters befindet oder nicht.

Fig. 11 zeigt als Blockschaltbild Einzelheiten der Erfassungsvorrichtung 56 für die Nichtübereinstimmung der optischen Achse. Hierbei ist mit dem Bezugszeichen 561 eine Fenstereinstellvorrichtung bezeichnet, in welche ein Ausgangssignal der Koordinatestransformationsvorrichtung 52 und ein Ausgangssignal der Außenkonturerfassungsvorrichtung 55 eingegeben werden.

Die Fenstereinstellvorrichtung 561 stellt ein Fenster zur Festlegung eines bestimmten Bereichs auf dem Außenkonturbild ein, auf der Grundlage der H-V-Koordinaten des repräsentativen Punktes P, welche das vorausfahrende Fahrzeug 21 angeben und von der Koordinatentransformationsvorrichtung 52 ausgegeben werden.

Das Bezugszeichen 562 bezeichnet eine Fensterkorrekturvorrichtung, in welcher ein Ausgangssignal der Koordinatentransformationsvorrichtung 52 eingegeben wird. Das Ausgangssignal der Fensterkorrekturvorrichtung 562 wird der Fenstereinstellvorrichtung 561 zugeführt, um den von der Fenstereinstellvorrichtung 561 eingestellten Fensterbereich zu korrigieren.

Das Bezugszeichen 563 bezeichnet eine Histogrammberechnungsvorrichtung, in welcher ein Ausgangssignal der Fenstereinstellvorrichtung eingegeben wird. Die Histogrammberechnungsvorrichtung 563 berechnet ein Histogramm der Außenkontur, die in dem Fenster enthalten ist, welches von der Fensterkorrekturvorrichtung 562 korrigiert wurde.

Das Bezugszeichen 564 bezeichnet eine Vergleichsbezugswerteinstellvorrichtung, in welcher ein Ausgangssignal der Koordinatenstransformationsvorrichtung 52 eingegeben wird. Die Vergleichsbezugswerteinstellvorrichtung 564 stellt einen Vergleichsbezugswert entsprechend der Entfernung zum repräsentativen Punkt P ein, die von der Koordinatentransformationsvorrichtung 52 erhalten wird.

Das Bezugszeichen 565 bezeichnet eine Vergleichsvorrichtung, in welche das Ausgangssignal der Histogrammberechnungsvorrichtung 563 und das Ausgangssignal der Vergleichsbezugswerteinstellvorrichtung eingegeben werden. Die Vergleichsvorrichtung 565 empfängt und vergleicht die beiden Ausgangssignale. Wenn über einen vorbestimmten Zeitraum der Maximalwert des Histogramms größer ist als der Vergleichsbezugswert, dann wird beurteilt, daß das vorausfahrende Fahrzeug innerhalb des Fensters liegt. Auf diese Art und Weise wird beurteilt, daß die optische Achse der CCD-Kamera 1 mit der optischen Achse des Laserradars 4 übereinstimmt. Das Ergebnis der Beurteilung wird an eine weitere Bearbeitungsschaltung ausgegeben, die nicht gezeigt ist.

Die Histogrammsberechnungsvorrichtung 563, die Vergleichsbezugswertberechnungsvorrichtung 564 und die Vergleichsvorrichtung 565 bilden eine Beurteilungsvorrichtung 100 für die optische Achse.

Das Bezugszeichen 566 bezeichnet eine Sperrvorrichtung für die Beurteilung der optischen Achse, in welcher ein Ausgangssignal der Koordinatentransformationsvorrichtung 52 eingegeben wird. Die Sperrvorrichtung 566 für die Beurteilung der optischen Achse sperrt die Vergleichsvorrichtung 565 dagegen, zu beurteilen, ob die optischen Achsen übereinstimmen oder nicht, wenn die Entfernung zum repräsentativen Punkt P, die von der Koordinatentransformationsvorrichtung 52 erhalten wird, größer als eine vorbestimmte Entfernung ist.

Der Betriebsablauf bei der dritten bevorzugten Ausführungsform der Erfindung wird nachstehend im einzelnen unter Bezugnahme auf die Fig. 10 bis 12(b) beschrieben. Die Fig. 12(a) und (12b) erläutern den Betriebsablauf bei der dritten bevorzugten Ausführungsform.

Fig. 12(a) zeigt die Beziehung zwischen dem Außenkonturbild und der Position des vorausfahrenden Fahrzeugs, erfaßt von dem Laserradar, wenn die optischen Achsen übereinstimmen. Hierbei ist mit dem Bezugszeichen 201 ein Fenster bezeichnet, das auf der Grundlage des repräsentativen Punktes P eingestellt wurde, 202 bezeichnet ein Histogramm, welches durch Integration der Horizontalkomponente der Außenkontur in dem Fenster 201 erhalten wird, 203 bezeichnet ein Histogramm, welches durch Integration von Vertikalkomponenten der im Fenster 201 vorhandenen Außenkontur erhalten wird, und die Bezugszeichen 204 und 205 bezeichnen Vergleichsbezugswerte, welche mit den Histogrammen 202 und 203 verglichen werden sollen.

Zuerst wird das vorausfahrenden Fahrzeug von dem Laserradar 4 erfaßt. Dann wird die Positionsinformation von mehreren Meßpunkten in die Berechnungsvorrichtung 54 für den repräsentativen Punkt eingegeben, und wird der repräsentative Punkt P, der die mehreren Meßpunkte repräsentiert, von der Berechnungsvorrichtung 54 für den repräsentativen Punkt auf dieselbe Weise berechnet wie bei den voranstehend geschilderten bevorzugten Ausführungsformen.

Die Koordinaten des repräsentativen Punktes P werden in die Koordinatentransformationsvorrichtung 52 eingegeben, und in der Koordinatentransformationsvorrichtung 52 in H-V- Koordinaten umgewandelt.

Die transformierten Koordinaten des repräsentativen Punktes P werden der Fenstereinstellvorrichtung 561 zugeführt. Information in Bezug auf die Entfernung zwischen dem repräsentativen Punkt P und dem Fahrzeug 1 wird von der Koordinatentransformationsvorrichtung 52 jeweils der Fensterkorrekturvorrichtung 562, der Vergleichsbezugswerteinstellvorrichtung 564 und der Sperrvorrichtung 566 für die Beurteilung der optische Achse zugeführt.

Diese Entfernungsinformation kann entweder eine Entfernung betreffen, die vorhanden war, bevor die Koordinatentransformation durchgeführt wurde, oder eine Entfernung "y" auf der Y-Achse nach Durchführung der Koordinatentransformation.

Die Außenkonturerfassungsvorrichtung 55 verarbeitet das von der CCD-Kamera 3 aufgenommene Bild zur Erzeugung eines Außenkonturbildes auf solche Weise, daß nur die Außenkontur des Bildes herausgezogen wird, und diese Außenkontur der Fenstereinstellvorrichtung 561 zugeführt wird.

Die Fenstereinstellvorrichtung 561 empfängt Ausgangssignale von der Koordinatentransformationsvorrichtung 52 und der Außenkonturerfassungsvorrichtung 55, und stellt das Fenster 201 provisorisch oberhalb des repräsentativen Punktes P auf der Grundlage des repräsentativen Punktes P ein, wie in den Fig. 12(a) und 12(b) gezeigt.

Das Ausgangssignal der Koordinatentransformationsvorrichtung 52 wird der Fensterkorrekturvorrichtung 562 zugeführt, und die Fensterkorrekturvorrichtung 562 korrigiert die Abmessungen des Bereichs, der durch das Fenster 201 festgelegt wird, welches provisorisch eingestellt wurde. Hierbei wird, wenn die Entfernung kürzer ist, der Bereich größer eingestellt, und wird bei größerer Entfernung der Bereich kleiner eingestellt.

Hierbei wird das Fenster 201 oberhalb des repräsentativen Punktes P eingestellt, da der repräsentative Punkt P die Position des vorausfahrenden Fahrzeugs auf der Straße angibt, entsprechend den Grundlagen der Koordinatentransformation.

In der Histogrammberechnungsvorrichtung 563 werden die Histogramme 202 und 203 in Bezug auf das Fenster 201 auf der Grundlage des Ausgangssignals der Fenstereinstellvorrichtung 561 erhalten.

Das Histogramm 202 wird in Bezug auf das Fenster 201 durch Integration der Anzahl an Bildelementen der Außenkontur für jede Zeile in Horizontalrichtung erhalten. Entsprechend erhält man das Histogramm 203 durch Integration der Anzahl an Bildelementen für jede Zeile in Vertikalrichtung.

Weiterhin ist bei diesem Schritt vorzuziehen, nur die Anzahl an Bildelementen zu integrieren, die einander in derselben Linie benachbart sind, um die Ebenheit oder die senkrechte Anordnung hervorzuheben. Diese Hervorhebung ist dazu wirksam, Liniensegmente auszuschalten, die nicht das vorausfahrende Fahrzeug betreffen.

Das Ausgangssignal der Koordinatentransformationsvorrichtung 52 wird an die Vergleichsbezugswerteinstellvorrichtung 564 geliefert, und die Vergleichsbezugswerteinstellvorrichtung 564 stellt die Vergleichsbezugswerte 204 und 205 ein.

Die Vergleichsbezugswerte 204 und 205 werden auf einen größeren Wert eingestellt, wenn die Entfernung zum repräsentativen Punkt P kleiner ist, und werden auf einen kleineren Wert eingestellt, wenn die Entfernung größer ist. Dies liegt daran, daß dann, wenn die Entfernung zu dem repräsentativen Punkt P größer ist, das Bild des vorausfahrenden Fahrzeugs, welches von der CCD-Kamera 3 aufgenommen wird, kleiner ist, was zu einer Verringerung der Außenkontur auf dem Außenkonturbild führt. Hierbei ist es nicht immer erforderlich, daß die Vergleichsbezugswerte 204 und 205 gleich sind, und vorzugsweise wird der Vergleichsbezugswert 204 so eingestellt, daß er an die Eigenschaften des Histogramms 202 angepaßt ist, wogegen der Vergleichsbezugswert 205 so eingestellt wird, daß er an die Eigenschaften des Histogramms 203 angepaßt ist.

Die Vergleichsvorrichtung 565 empfängt die Ausgangssignale von der Histogrammberechnungsvorrichtung 563 und der Vergleichsbezugswerteinstellvorrichtung 564, und beurteilt, ob sich das vorausfahrende Fahrzeug innerhalb des Fensters 201 befindet, wenn der Maximalwert des erhaltenen Histogramms 202 größer als der Vergleichsbezugswert 204 ist, und der Maximalwert des Histogramms 203 größer als der Vergleichsbezugswert 205 ist, jeweils über einen vorbestimmten Zeitraum.

Im einzelnen liegt, wie aus Fig. 12(a) hervorgeht, der Maximalwert 206 des Histogramms 202 über dem Vergleichsbezugswert 204, und liegt der Maximalwert 207 des Histogramms 203 über dem Vergleichsbezugswert 205.

Wenn ein derartiger Zustand andauert, so stellt die Vergleichsvorrichtung 565 fest, daß sich ein Fahrzeug innerhalb des Fensters 201 befindet. Wenn das Außenkonturbild eines Fahrzeugs angezeigt wird, weist dieses gewöhnlich zahlreiche Horizontal- und Vertikalkomponenten auf. Dies liegt daran, daß die äußere Erscheinung eines Fahrzeugs, dargestellt durch ein Außenkonturbild, zahlreiche Horizontal- und Vertikalkomponenten aufweist. Andererseits tauchen diese Komponenten nicht in dem Bild der Straße auf.

Selbst wenn einige stationäre Komponenten aufgenommen werden, scheinen diese Komponenten nach hinten mit derselben Geschwindigkeit zu fließen, welche die Fahrgeschwindigkeit des Fahrzeugs 1 ist, und können daher unberücksichtigt bleiben, da sie im Verlauf der Zeit nicht konsistent auftreten.

Wenn es zahlreiche Horizontal- und Vertikalkomponenten in dem Außenkonturbild in dem Fenster gibt, welches in H-V- Koordinaten angezeigt wird, kann daher beurteilt werden, daß ein vorausfahrendes Fahrzeug innerhalb des Fensters liegt. Wenn wenige derartige Komponenten vorhanden sind, kann im Gegensatz hierzu festgestellt werden, daß ein vorausfahrendes Fahrzeug sich nicht innerhalb des Fensters befindet.

Die genannte vorbestimmte Zeit ist dazu nützlich, exakt zu beurteilen, ob sich ein Fahrzeug innerhalb des Fensters 201 befindet oder nicht, und wird daher so eingestellt, daß der Einfluß von Rauschen und dergleichen so klein wie möglich gemacht wird.

Wenn die Vergleichsvorrichtung feststellt, daß sich das vorausfahrende Fahrzeug innerhalb des Fensters 201 befindet, so kann man hieraus schließen, daß die optische Achse der CCD-Kamera 3 und die optische Achse des Laserradars 4 übereinstimmen. Das Ergebnis der Beurteilung bezüglich der Übereinstimmung oder Nichtübereinstimmung wird bei der Verarbeitung eingesetzt, die später zur Fahrzeugsteuerung durchgeführt wird, beispielsweise der Steuerung oder Regelung der Entfernung zwischen Fahrzeugen, die in dieselbe Richtung fahren.

Fig. 12(b) zeigt einen Zustand, in welcher entweder die optische Achse der CCD-Kamera 3 oder jene des Laserradars 4 verschoben ist oder sich nicht in der richtigen Position befindet. In dieser Figur ist die optische Achse des Laserradars 4 ordnungsgemäß eingestellt, jedoch ist die optische Achse der CCD-Kamera 3 nach rechts verschoben, was zu einer Verschiebung des erfaßten, vorausfahrenden Fahrzeugs in Richtung nach links führt.

Wenn die Achsen der CCD-Kamera 3 und des Laserradars 4 nicht übereinstimmen, wird auf diese Weise das vorausfahrende Fahrzeug außerhalb des Fensters 201 aufgenommen.

Wenn festgestellt wird, daß das vorausfahrende Fahrzeug sich nicht in der richtigen Position befindet, so gibt es keine Horizontal- oder Vertikalkomponenten der Außenkontur des vorausfahrenden Fahrzeugs in dem Fenster 201, und daher werden die Werte der Histogramme 202 und 203 klein.

Wie in der Figur gezeigt ist der Maximalwert 206 des Histogramms 202 kleiner als der Vergleichsbezugswert 204, und ist der Maximalwert des Histogramms 203 kleiner als der Vergleichsbezugswert 205.

Dies führt dazu, daß die Vergleichsvorrichtung 565 feststellt, daß kein Fahrzeug innerhalb des Fensters 201 vorhanden ist, und in einem derartigen Fall überlegt man sich, daß die Achsen der Kamera 3 und des Laserradars 4 nicht übereinstimmen.

Die Sperrung der Koinzidenzbeurteilung (Übereinstimmungsbeurteilung) zwischen den optischen Achsen der Kamera und des Laserradars wird nachstehend genauer erläutert.

Wie voranstehend geschildert ist dann, wenn die Entfernung zu dem repräsentativen Punkt P größer ist, das von der CCD-Kamera 3 aufgenommene Bild des vorausfahrenden Fahrzeugs auf der Anzeige kleiner, und ist die Anzahl an Außenkonturen in dem Fenster 201 verringert.

Es ist möglich, eine derartige Verringerung in gewissem Ausmaß dadurch zu kompensieren, daß die Vergleichsbezugswerte 204 und 205 kleiner eingestellt werden. Wenn die Entfernung zu dem repräsentativen Punkt P extrem groß ist, so daß das Bild des anderen Fahrzeugs extrem klein wird, so gibt es allerdings praktisch keine Differenz bei der Anzahl von Außenkonturen in dem Fenster 201, unabhängig davon, ob ein Fahrzeug vorhanden ist oder nicht.

Wenn die Vergleichsbezugswerte 204 und 205 auf einen kleinen Wert entsprechend der Entfernung zum repräsentativen Punkt P eingestellt werden, besteht darüber hinaus eine größere Wahrscheinlichkeit für eine fehlerhafte Erfassung von Rauschen.

Aus diesen Gründen ist der Bereich der Beurteilung der optischen Achsen bei der dritten bevorzugten Ausführungsform so definiert, daß der von der Vergleichsvorrichtung durchgeführte Vergleich gesperrt wird, wenn die Entfernung zu dem repräsentativen Punkt P größer als eine vorbestimmte Entfernung ist.

Im einzelnen wird das Ausgangssignal der Koordinatentransformationsvorrichtung 52 der Sperrvorrichtung 566 für die Beurteilung der optische Achse zugeführt, und wenn die Entfernung zum repräsentativen Punkt P größer als eine vorbestimmte Entfernung ist, wird ein Vergleichssperrsignal an die Vergleichsvorrichtung 565 geliefert, um die Beurteilung der Übereinstimmung oder Nichtübereinstimmung der Achsen der CCD-Kamera 3 und des Laserradars 4 zu sperren.

Die voranstehend erwähnte, vorbestimmte Entfernung ist so gewählt, daß bei dieser Entfernung die Abmessungen des von der CCD-Kamera 3 aufgenommenen Bildes eines vorausfahrenden Fahrzeugs noch ausreichend groß sind, und daß bei dieser Entfernung die Anzahl an Außenkonturen in dem Fenster 201 ausreichend unterschiedlich ist, wenn ein vorausfahrendes Fahrzeug vorhanden bzw. nicht vorhanden ist.

Die erwähnten Vergleichsbezugswerte 204 und 205 werden jeweils auf einen ausreichend hohen Wert eingestellt, so daß nicht fehlerhaft das Vorhandensein oder Nichtvorhandensein des vorausfahrenden Fahrzeugs bei Vorhandensein von Rauschen festgestellt wird.

Die erwähnte vorbestimmte Entfernung beträgt im allgemeinen etwas weniger als 100 Meter.

Wie voranstehend erläutert ist es bei der dritten bevorzugten Ausführungsform der Erfindung möglich zu beurteilen, ob die optische Achse der CCD-Kamera 3 mit der optischen Achse des Laserradars 4 übereinstimmt.

Da das Fenster 201 in dem Außenkonturbild erzeugt wird, werden darüber hinaus die Histogramme 202 und 203 einfach in kürzerer Zeit bearbeitet.

Da die Abmessungen des Fensters 201 entsprechend der Entfernung zu dem repräsentativen Punkt P korrigiert werden, gibt es praktisch keine Außenkontur, bei welcher das Vorhandensein oder Nichtvorhandensein eines vorausfahrenden Fahrzeugs in dem Fenster 201 fehlerhaft festgestellt werde kann.

Da die Vergleichsbezugswerte 204 und 205 entsprechend der Entfernung zu dem repräsentativen Punkt P korrigiert werden, kann das Vorhandensein oder Nichtvorhandensein eines vorausfahrenden Fahrzeugs in dem Fenster exakt beurteilt werden.

Da die Beurteilung, ob die optischen Achsen der CCD-Kamera 3 und des Laserradars 4 übereinstimmen oder nicht, wenn die Entfernung zu dem repräsentativen Punkt P größer als eine vorbestimmte Entfernung ist, gesperrt wird, gibt es keine fehlerhafte Beurteilung in der Hinsicht, ob die optischen Achsen übereinstimmen oder nicht.

Darüber hinaus wird darauf hingewiesen, daß der Umfang der dritten bevorzugten Ausführungsform nicht auf die voranstehend geschilderte, spezifische Ausführungsform beschränkt ist, da sich die genannten Maßnahmen auch bei jeder anderen Umgebungsüberwachungsvorrichtung einsetzen lassen, welche die Verschiebung einer optischen Achse beurteilen kann.

Es lassen sich zahlreiche Abänderungen und Variationen der vorliegenden Erfindung vornehmen, ohne vom Wesen und Umfang der Erfindung abzuweichen, die sich aus der Gesamtheit der vorliegenden Anmeldeunterlagen ergeben, und von den beigefügten Patentansprüchen umfaßt sein sollen.

Claims (11)

1. Umgebungsüberwachungsvorrichtung zur Überwachung der Umgebung eines Fahrzeugs, mit:
einer Kamera, die eine optische Achse aufweist, und auf dem Fahrzeug angebracht ist, um das Bild einer Straße zu erfassen;
einer Fahrspurerfassungsvorrichtung zur Erfassung von Koordinaten einer Fahrspur, in welcher sich das Fahrzeug befindet, durch Bearbeitung von Bildsignalen, die von der Kamera auf ein Anzeigebild ausgegeben werden, welches Koordinatenachsen aufweist;
einem Strahlabtast-Laserradar, welches so auf dem Fahrzeug angebracht ist, daß das Zentrum seiner optischen Achse mit der optischen Achse der Kamera übereinstimmt;
einer Koordinatentransformationsvorrichtung zum Transformieren der Koordinaten eines Objekts, welches von dem Laserradar erfaßt wird, entsprechend den Koordinatenachsen des Anzeigebildes, um transformierte Koordinaten zur Verfügung zu stellen; und
einer Vorwärtsfahrzeugerfassungsvorrichtung zum Trennen von Objekten, die innerhalb der Fahrspur erfaßt werden, von Objekten, die außerhalb der Fahrspur erfaßt werden, durch Vergleichen der transformierten Koordinaten mit den Koordinaten der Fahrspur.

2. Umgebungsüberwachungsvorrichtung nach Anspruch 1, dadurch gekennzeichnet, daß die Fahrspurerfassungsvorrichtung Grenzen der Fahrspur dadurch bestimmt, daß die weißen Linien der Fahrspur von der Umgebung unterschieden werden, und darüber hinaus Interpolationsberechnungen zur Bestimmung der Grenzen verwendet, wenn die weißen Linien nicht durchgehend vorhanden sind.

3. Umgebungsüberwachungsvorrichtung nach Anspruch 1, dadurch gekennzeichnet, daß die Vorwärtsfahrzeugerfassungsvorrichtung zwischen Fahrzeugen, die sich innerhalb der Fahrspur befinden, und Fahrzeugen außerhalb der Fahrspur unterscheidet.

4. Umgebungsüberwachungsvorrichtung nach Anspruch 3, dadurch gekennzeichnet, daß die Vorwärtsfahrzeugerfassungsvorrichtung zwischen Fahrzeugen, die innerhalb der Fahrspur vorhanden sind, und Fahrzeugen außerhalb der Fahrspur dadurch unterscheidet, daß die Horizontalorte der Reflexionen von den Fahrzeugen mit den Horizontalorten jeweiliger Punkte der Fahrspuren entlang einer Vertikallinie verglichen werden.

5. Umgebungsüberwachungsvorrichtung nach Anspruch 1, dadurch gekennzeichnet, daß eine Berechnungsvorrichtung für eine repräsentative Koordinate vorgesehen ist, um repräsentative Koordinaten eines von dem Laserradar erfaßten Objekts zu berechnen, wobei die repräsentativen Koordinaten entsprechend den Koordinatenachsen auf dem Anzeigebild transformiert werden.

6. Umgebungsüberwachungsvorrichtung nach Anspruch 5, dadurch gekennzeichnet, daß die repräsentativen Koordinaten den Schwerpunkt des Objekts angeben.

7. Fehlerbeurteilungsvorrichtung zur Beurteilung eines Ausfalls einer Umgebungsüberwachungsvorrichtung, mit:
einer Kamera, die eine optische Achse aufweist, und auf einem Fahrzeug angebracht ist, um ein Bild einer Straße aufzunehmen;
einem Strahlabtast-Laserradar, welches eine optische Achse aufweist, und so auf dem Fahrzeug angebracht ist, daß das Zentrum seiner optischen Achse mit der optischen Achse der Kamera übereinstimmt,
einer Berechnungsvorrichtung für eine repräsentative Koordinate zur Berechnung repräsentativer Koordinaten anderer von dem Laserradar erfaßter Fahrzeuge;
einer Koordinatentransformationsvorrichtung zum Transformieren der repräsentativen Koordinaten entsprechend Koordinatenachsen auf einem Anzeigebild der Kamera;
einer Fenstereinstellvorrichtung zur Einstellung eines Fensters zur Festlegung eines vorbestimmten Bereichs auf der Grundlage der repräsentativen Koordinaten, die von der Koordinatentransformationsvorrichtung transformiert wurden; und
einer Beurteilungsvorrichtung für die optische Achse zur Beurteilung, ob die optische Achse der Kamera mit der optischen Achse des Laserradars übereinstimmt oder nicht, abhängig davon, ob sich das andere Fahrzeug innerhalb des Fensters befindet oder nicht, durch Bearbeitung von Bildsignalen in dem Fenster.

8. Fehlerbeurteilungsvorrichtung nach Anspruch 7, gekennzeichnet durch:
eine Fensterkorrekturvorrichtung zum Korrigieren von Abmessungen des vorbestimmten Bereichs, der durch das Fenster festgelegt wird, entsprechend einer Entfernung, die durch die repräsentativen Koordinaten des anderen Fahrzeugs festgelegt wird, welches von dem Laserradar erfaßt wird,
wobei die Beurteilungsvorrichtung für die optische Achse aufweist:
eine Histogrammberechnungsvorrichtung zur Berechnung eines Histogramms einer Außenkontur, die in dem korrigierten Fenster enthalten ist;
eine Vergleichsbezugswerteinstellvorrichtung zur Einstellung eines Vergleichsbezugswertes, der mit dem Histogramm verglichen werden soll, entsprechend der Entfernung; und
eine Vergleichsvorrichtung zum Vergleichen des Histogramms mit dem Vergleichsbezugswert, und zur Beurteilung, daß das andere Fahrzeug innerhalb des korrigierten Fensters liegt, wenn ein Maximalwert des Histogramms größer als der Vergleichsbezugswert über einen vorbestimmten Zeitraum ist.

9. Fehlerbeurteilungsvorrichtung nach Anspruch 4, gekennzeichnet durch:
eine Sperrvorrichtung für die Beurteilung der optischen Achse, um die Beurteilung der Übereinstimmung oder Nichtübereinstimmung der optischen Achse der Kamera und der optischen Achse des Laserradars zu sperren, wenn die Entfernung, welche durch die repräsentativen Koordinaten angegeben wird, die von dem Laserradar erfaßt werden, größer als eine vorbestimmte Entfernung ist.

10. Umgebungsüberwachungsverfahren zur Überwachung der Umgebung eines Fahrzeugs, mit folgenden Schritten:
Erfassung von Bildsignalen einer Fahrspur, in welcher sich das Fahrzeug befindet, durch eine auf dem Fahrzeug angebrachte Kamera;
Bestimmung der Koordinaten der Fahrspur auf einem Anzeigebild durch Bearbeitung der Bildsignale;
Erfassung eines Objekts vor dem Fahrzeug mit einem Strahlabtast-Laserradar, dessen Zentrum der optischen Achse mit der optischen Achse der Kamera übereinstimmt;
Transformieren von Koordinaten des erfaßten Objekts entsprechend Koordinatenachsen auf dem Anzeigebild; und
Beurteilen, ob sich das erfaßte Objekt innerhalb der Fahrspur des Fahrzeugs befindet, durch Vergleichen der transformierten Koordinaten mit den Koordinaten der Fahrspur.

11. Fehlerbeurteilungsverfahren zur Beurteilung eines Ausfalls einer Umgebungsüberwachungsvorrichtung, welche mit einer auf einem Fahrzeug angebrachten Kamera zur Aufnahme eines Bildes einer Straße und einem Strahlabtast-Laserradar versehen ist, das so auf dem Fahrzeug angebracht ist, daß das Zentrum seiner optischen Achse mit der optischen Achse der Kamera übereinstimmt, mit folgenden Schritten:
Berechnung repräsentativer Koordinaten eines anderen Fahrzeugs, welches von dem Laserradar erfaßt wird;
Transformieren der repräsentativen Koordinaten entsprechend Koordinatenachsen eines Anzeigebildes, welches von der Kamera erfaßt wird;
Einstellung eines Fensters zur Festlegung eines vorbestimmten Bereichs auf der Grundlage der transformierten, repräsentativen Koordinaten des anderen Fahrzeugs; und
Bearbeitung von Bildsignalen in dem Fenster, und Beurteilung, ob die optische Achse der Kamera mit der optischen Achse des Laserradars übereinstimmt oder nicht, abhängig davon, ob sich das andere Fahrzeug innerhalb des Fensters befindet oder nicht.