DE102008003791B4 - Method for processing and evaluating a color image and associated driver assistance system - Google Patents

Method for processing and evaluating a color image and associated driver assistance system Download PDF

Info

Publication number
DE102008003791B4
DE102008003791B4 DE102008003791.5A DE102008003791A DE102008003791B4 DE 102008003791 B4 DE102008003791 B4 DE 102008003791B4 DE 102008003791 A DE102008003791 A DE 102008003791A DE 102008003791 B4 DE102008003791 B4 DE 102008003791B4
Authority
DE
Germany
Prior art keywords
signal
light
comparison
output signal
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE102008003791.5A
Other languages
German (de)
Other versions
DE102008003791A1 (en
Inventor
Steffen Fritz
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102008003791.5A priority Critical patent/DE102008003791B4/en
Priority to PCT/EP2008/065261 priority patent/WO2009086969A1/en
Priority to EP08869739A priority patent/EP2229783A1/en
Publication of DE102008003791A1 publication Critical patent/DE102008003791A1/en
Application granted granted Critical
Publication of DE102008003791B4 publication Critical patent/DE102008003791B4/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths

Abstract

Fahrerassistenzsystem mit einer Bilderfassungsvorrichtung (10), die einen Bildaufnahmesensor (16) zur Aufnahme eines die Fahrzeugumgebung repräsentierenden Farbbildes und einen Blau-Cut-Filter (14) umfasst, und einer Signalverarbeitungseinheit (20), die eine Auswerte- und Steuereinheit (22) umfasst, wobei die Bilderfassungsvorrichtung (10) empfangene Lichtsignale, die das Farbbild repräsentieren, über den Blau-Cut-Filter (14) führt und mehrere Ausgabesignale (B, G, R) für verschiedene Farbkanäle erzeugt, wobei ein erstes Ausgabesignal (B) ein Lichtsignal im nahen Infrarotbereich repräsentiert, wobei ein zweites Ausgabesignal (G) ein Lichtsignal im Grünbereich mit einem Infrarotanteil repräsentiert, und wobei ein drittes Ausgabesignal (R) ein Lichtsignal im Rotbereich mit einem Infrarotanteil repräsentiert, wobei die Signalverarbeitungseinheit (20) über die Auswerte- und Steuereinheit (22) ein Verfahren zur Verarbeitung und Auswertung eines Farbbildes durchführt, wobei durch eine erste Subtraktion des ersten Ausgabesignals (B) vom zweiten Ausgabesignal (G) ein erstes Vergleichssignal (S1) erzeugt wird, das ein Lichtsignal im Grünbereich ohne Infrarotanteil repräsentiert, wobei durch eine zweite Subtraktion des ersten Ausgabesignals (B) vom dritten Ausgabesignal (R) ein zweites Vergleichssignal (S2) erzeugt wird, das ein Lichtsignal im Rotbereich ohne Infrarotanteil repräsentiert, wobei die beiden erzeugten Vergleichssignale (S1, S2) zur Unterscheidung von Weißlicht und Rotlicht miteinander verglichen werden, wobei Rotlicht erkannt wird, wenn die Signalintensität des zweiten Vergleichssignals (S2) wesentlich höher als die Signalintensität des ersten Vergleichssignals (S1) ist.A driver assistance system comprising an image capture device (10) comprising an imaging sensor (16) for capturing a color image representative of the vehicle environment and a blue cut filter (14), and a signal processing unit (20) comprising an evaluation and control unit (22) wherein the image capture device (10) carries received light signals representing the color image via the blue cut filter (14) and generates a plurality of output signals (B, G, R) for different color channels, wherein a first output signal (B) is a light signal in the near infrared region, wherein a second output signal (G) represents a light signal in the green region with an infrared component, and wherein a third output signal (R) represents a light signal in the red region with an infrared component, wherein the signal processing unit (20) via the evaluation and control unit (22) performs a process for processing and evaluating a color image, wherein a first subtraction of the first output signal (B) from the second output signal (G) a first comparison signal (S1) is generated which represents a light signal in the green area without infrared component, wherein by a second subtraction of the first output signal (B) from the third output signal (R) a second comparison signal (S2) is generated, which represents a light signal in the red region without infrared component, wherein the two generated comparison signals (S1, S2) for discrimination of white light and red light are compared with each other, red light is detected when the signal intensity of the second comparison signal ( S2) is substantially higher than the signal intensity of the first comparison signal (S1).

Description

Stand der TechnikState of the art

Die Erfindung betrifft ein Verfahren zur Verarbeitung und Auswertung eines Farbbildes nach dem Oberbegriff des Patentanspruchs 1 und ein zugehöriges Fahrerassistenzsystem.The invention relates to a method for processing and evaluation of a color image according to the preamble of patent claim 1 and an associated driver assistance system.

Die WO 2005/115 820 A1 zeigt eine Überwachungseinheit nebst Assistenzsystem für ein Kraftfahrzeug. Hierbei umfasst die Überwachungseinheit ein Kamerasystem mit einem Bildaufnehmer, welcher in Teilbereichen Farbkodierungen besitzt und ansonsten monochrome Kodierungen aufweist.The WO 2005/115 820 A1 shows a monitoring unit together with assistance system for a motor vehicle. In this case, the monitoring unit comprises a camera system with an image recorder which has color codings in partial areas and otherwise has monochrome codings.

Die DE 42 35 406 C1 offenbart einen Bildsensor für eine Fernsehkamera mit einem Festkörperbildsensor und einem Farbrastfilter.The DE 42 35 406 C1 discloses an image sensor for a television camera having a solid state image sensor and a color burst filter.

Aus dem Stand der Technik sind verschiedene Fahrerassistenzsysteme bzw. Fahrzeugsysteme, wie beispielsweise Nachtsichtassistenzsysteme, Fernlichtassistenzsysteme, Fahrspurerkennungssysteme, Verkehrszeichenerkennungssysteme, Rückfahrunterstutzungssysteme, Fahrzeugerkennungssysteme usw. bekannt, welche elektronische Kameras bzw. Bilderfassungsvorrichtungen mit einem Bildaufnahmesensor verwenden. Der Bildaufnahmesensor ist vorzugsweise als CCD- oder CMOS-Sensorchip ausgeführt, der beispielsweise eine in 2 dargestellte spektrale Empfindlichkeit 16.1 aufweist. Zur Bildverarbeitung werden die Signale des Bildaufnahmesensors von einer leistungsfähigen Signalverarbeitungseinheit ausgewertet.Various driver assistance systems, such as night vision assistance systems, high beam assistance systems, lane detection systems, traffic sign recognition systems, reversing assistance systems, vehicle recognition systems, etc., which use electronic cameras or image capture devices with an image sensor, are known from the prior art. The image sensor is preferably designed as a CCD or CMOS sensor chip, for example, a in 2 represented spectral sensitivity 16.1 having. For image processing, the signals of the image sensor are evaluated by a powerful signal processing unit.

Eine Bilderfassungsvorrichtung für eine Nachtsichtassistenzfunktion basiert beispielsweise auf der Aufnahme von Licht im nahen Infrarotbereich von ca. 750–1000 nm, wobei in der Regel auch gleichzeitig das für den Menschen sichtbare Spektrum im Bereich von 400–750 nm mit aufgezeichnet werden kann. Fahrzeuge mit einer solchen Nachtsichtassistenzfunktion sind mit speziellen Scheinwerfern ausgestattet, um die Szene vor dem Fahrzeug im spektralen Bereich von 750–1000 nm zu beleuchten. In 2 entspricht ein Spektrum 16.2 einem Wellenlängenbereich, der für die Nachtsichtassistenzfunktion aus- gewertet wird.An image capture device for a night vision assist function is based, for example, on the acquisition of light in the near infrared range of about 750-1000 nm, which usually also at the same time the human visible spectrum in the range of 400-750 nm can be recorded with. Vehicles with such a night vision assistance function are equipped with special headlamps to illuminate the scene in front of the vehicle in the spectral range of 750-1000 nm. In 2 corresponds to a spectrum 16.2 a wavelength range that is evaluated for the night view assist function.

Eine typische Bilderfassungsvorrichtung für eine Fernlichtassistenzfunktion nimmt beispielsweise nur den spektralen Bereich zwischen 400–750 nm auf. Dies geschieht mittels einer Bilderfassungsvorrichtung, die Farbbilder aufnehmen kann bzw. mindestens eine Unterscheidung zwischen weißem und rotem Licht durchführen kann. Jegliches Licht aus dem nahen Infrarotbereich (750–1000 nm) stört diese Funktion, da das Infrarotlicht die Lichtfarbe verfälscht. Daher verwendet eine herkömmliche Fernlichtassistenzfunktion einen Infrarot-Cut-Filter, um die Infrarotanteile aus den Lichtsignalen zu entfernen und aufgrund der verschiedenen erfassten Lichtfarben zwischen Rücklichtern und Frontscheinwerfern unterscheiden zu können, da Rücklichter in der Regel rotes Licht emittieren und Frontscheinwerfer in der Regel weißes Licht emittieren. 3 zeigt Kennlinien von verschiedenen Farbkanälen Blau, Grün und Rot und ein Spektrum 16.3, dessen Wellenlängenbereich für die Fernlichtassistenzfunktion ausgewertet wird. Zur gleichzeitigen Umsetzung der Fernlichtassistenzfunktion und der Nachtsichtassistenzfunktion werden zwei Bilderfassungsvorrichtungen im Fahrzeug verwendet, da zur Ausführung der Assistenzfunktionen verschiedene Wellenlängenbereiche ausgewertet werden müssen.For example, a typical image capture device for a high-beam assist function only captures the spectral range between 400-750 nm. This is done by means of an image capture device that can capture color images or at least make a distinction between white and red light. Any light from the near infrared range (750-1000 nm) interferes with this function because the infrared light falsifies the light color. Therefore, a conventional high-beam assist function uses an infrared cut filter to remove the infrared components from the light signals and distinguish between taillights and headlights due to the different detected light colors, since taillights typically emit red light and headlights usually emit white light , 3 shows characteristics of different color channels blue, green and red and a spectrum 16.3 whose wavelength range is evaluated for the high-beam assistance function. For the simultaneous implementation of the high-beam assistance function and the night-vision assistance function, two image capture devices are used in the vehicle, since different wavelength ranges have to be evaluated in order to execute the assistance functions.

In der Patentschrift DE 42 35 406 C1 wird beispielsweise eine Falschfarbenkamera mit einem Festkörperbildsensor und einem Farbrastfilter beschrieben, der im Lichtgang vor dem Festkörperbildsensor angebracht ist und das einfallende Licht in verschiedene Spektralbereiche aufteilt, wobei mindestens ein Spektralbereich im unsichtbaren Bereich liegt. Die beschriebene für Farb-Infrarotaufnahmen geeignete Falschfarbenkamera kann einfach aus einer Farbkamera aufgebaut werden, wobei ein im Lichtstrahlengang vor dem Bildsensor der Farbkamera angeordneter Infrarot-Cut-Filter durch einen Blau-Cut-Filter ersetzt wird, der den Blaubereich ausgrenzt und die übrigen Spektralbereiche mit den größeren Wellenlängen bis hin zum Infrarotbereich durchlässt. Ein ursprünglicher Blaukanal wird somit zum Infrarotkanal umfunktioniert, wobei ein Rotkanal bzw. ein Grünkanal jeweils zusätzliche Infrarotanteile aufweisen, die durch eine Subtraktion des Infrarotanteils, der aus dem Blaukanal bestimmt wird, entfernt werden können.In the patent DE 42 35 406 C1 For example, a false color camera with a solid state image sensor and a color load filter is described, which is mounted in the light passage in front of the solid state image sensor and divides the incident light into different spectral regions, wherein at least one spectral range is in the invisible range. The described false-color camera suitable for color infrared photography can be easily constructed from a color camera, wherein a arranged in the light path in front of the image sensor of the color camera infrared cut filter is replaced by a blue-cut filter, which excludes the blue area and the other spectral regions the larger wavelengths through to the infrared range. An original blue channel is thus converted to the infrared channel, with a red channel or a green channel each having additional infrared components, which can be removed by a subtraction of the infrared component, which is determined from the blue channel.

Das erfindungsgemäße Verfahren zur Verarbeitung und Auswertung eines Farbbildes mit den Merkmalen des unabhängigen Patentanspruchs 1 hat demgegenüber den Vorteil, dass zwei durch Subtraktionen erzeugte Vergleichssignale zur Unterscheidung von Weißlicht und Rotlicht miteinander verglichen werden, wobei Rotlicht erkannt wird, wenn die Signalintensität des zweiten Vergleichssignals wesentlich höher als die Signalintensität des ersten Vergleichssignals ist. Zur Verarbeitung und Auswertung des Farbbildes werden empfangene Lichtsignale, die das Farbbild repräsentieren, über einen Blau-Cut-Filter geführt und es werden mehrere Ausgabesignale für verschiedene Farbkanäle erzeugt. Ein erstes Ausgabesignal repräsentiert beispielsweise ein Lichtsignal im nahen Infrarotbereich, ein zweites Ausgabesignal repräsentiert beispielsweise ein Lichtsignal im Grünbereich mit einem Infrarotanteil und ein drittes Ausgabesignal repräsentiert beispielsweise ein Lichtsignal im Rotbereich mit einem Infrarotanteil. Das erste Vergleichssignal wird beispielsweise durch eine Subtraktion des ersten Ausgabesignals vom zweiten Ausgabesignal erzeugt und repräsentiert ein Lichtsignal im Grünbereich ohne Infrarotanteil. Das zweite Vergleichssignal wird beispielsweise durch eine Subtraktion des ersten Ausgabesignals vom dritten Ausgabesignal erzeugt und repräsentiert ein Lichtsignal im Rotbereich ohne Infrarotanteil. Das erfindungsgemäße Verfahren ermöglicht in vorteilhafter Weise eine Unterscheidung zwischen rotem und weißem Licht bei einer gleichzeitigen Erfassung von Licht im nahen Infrarotbereich. Daher ermöglicht das erfindungsgemäße Verfahren die Durchführung einer Fernlichtassistenzfunktion und einer Nachtsichtassistenzfunktion unter Verwendung von nur einer Bilderfassungsvorrichtung zur Aufnahme des Farbbildes.The inventive method for processing and evaluation of a color image with the features of independent claim 1 has the advantage that two comparison signals generated by subtraction to distinguish between white light and red light are compared with red light is detected when the signal intensity of the second comparison signal significantly higher as the signal intensity of the first comparison signal. For processing and evaluation of the color image, received light signals representing the color image are passed through a blue-cut filter and a plurality of output signals are generated for different color channels. For example, a first output signal represents a light signal in the near infrared region, a second output signal represents a light signal in the green region with an infrared component and a third output signal represents a light signal in the red region with an infrared component, for example. The first comparison signal is For example, generated by a subtraction of the first output signal from the second output signal and represents a light signal in the green area without infrared component. The second comparison signal is generated, for example, by a subtraction of the first output signal from the third output signal and represents a light signal in the red region without infrared component. The method according to the invention advantageously makes it possible to distinguish between red and white light with a simultaneous detection of light in the near infrared range. Therefore, the method of the present invention enables a high-beam assist function and a night-view assist function to be performed using only one image capturing device for capturing the color image.

Zur Durchführung des erfindungsgemäßen Verfahrens zur Verarbeitung und Auswertung eines Farbbildes umfasst ein Fahrerassistenzsystem eine Bilderfassungsvorrichtung, die einen Bildaufnahmesensor zur Aufnahme eines die Fahrzeugumgebung repräsentierenden Farbbildes und einen Blau-Cut-Filter aufweist, und eine Signalverarbeitungseinheit, die eine Auswerte- und Steuereinheit aufweist. Die Bilderfassungsvorrichtung führt empfangene Lichtsignale, die das Farbbild repräsentieren, über den Blau-Cut-Filter und erzeugt mehrere Ausgabesignale für verschiedene Farbkanäle, wobei em erstes Ausgabesignal ein Lichtsignal im nahen Infrarotbereich repräsentiert, wobei ein zweites Ausgabesignal ein Lichtsignal im Grünbereich mit einem Infrarotanteil repräsentiert, und wobei ein drittes Ausgabesignal ein Lichtsignal im Rotbereich mit einem Infrarotanteil repräsentiert.For carrying out the method according to the invention for processing and evaluating a color image, a driver assistance system comprises an image acquisition device which has an image acquisition sensor for receiving a color image representing the vehicle surroundings and a blue-cut filter, and a signal processing unit which has an evaluation and control unit. The image capture device conveys received light signals representing the color image via the blue-cut filter and produces a plurality of output signals for different color channels, where the first output signal represents a near infrared light signal, and a second output signal represents a green light signal with an infrared component. and wherein a third output signal represents a light signal in the red region with an infrared component.

Durch die in den abhängigen Patentansprüchen aufgeführten Maßnahmen und Weiterbildungen sind vorteilhafte Verbesserungen des im unabhängigen Patentanspruch 1 angegebenen Verfahrens zur Verarbeitung und Auswertung eines Farbbildes und des im unabhängigen Patentanspruch 5 angegebenen Fahrerassistenzsystems möglich.The measures and refinements recited in the dependent claims advantageous improvements of the independent claim 1 method for processing and evaluation of a color image and specified in the independent claim 5 driver assistance system are possible.

Besonders vorteilhaft ist, dass auf ein Vorhandensein von Weißlicht geschlossen wird, wenn eine Signalintensität des ersten Vergleichssignals im Wesentlichen einer Signalintensität des zweiten Vergleichssignals entspricht. Zudem können die erzeugten Ausgabesignale in vorteilhafter Weise zu einem Infrarotbildsignal zusammengefasst und auf einer optischen Anzeigeeinheit ausgegeben werden.It is particularly advantageous that it is concluded that white light is present when a signal intensity of the first comparison signal essentially corresponds to a signal intensity of the second comparison signal. In addition, the generated output signals can advantageously be combined to form an infrared image signal and output on an optical display unit.

In Ausgestaltung des erfindungsgemäßen Verfahrens werden die beiden erzeugten Vergleichssignale zur Unterscheidung von Frontscheinwerfern und Rücklichtern für eine Fernlichtassistenzfunktion miteinander verglichen, wobei das Rotlicht mindestens ein Rücklicht repräsentiert, und wobei das Weißlicht mindestens einen Frontscheinwerfer repräsentiert. Außerdem wird das Infrarotbildsignal für eine Nachtsichtassistenzfunktion erzeugt.In an embodiment of the method according to the invention, the two comparison signals generated to distinguish headlights and taillights for a high-beam assistance function are compared with each other, wherein the red light represents at least one tail light, and wherein the white light represents at least one headlight. In addition, the infrared image signal is generated for a night vision assist function.

In weiterer Ausgestaltung des erfindungsgemäßen Fahrerassistenzsystems umfasst die Signalverarbeitungseinheit eine erste Signalaufbereitungseinheit, welche die erzeugten Ausgabesignale zu einem Infrarotbildsignal zusammenfasst und über eine optische Anzeigeeinheit ausgibt. Des Weiteren ist eine Strahlungsquelle vorhanden, welche Licht im nahen Infrarotbereich emittiert. Zudem umfasst die Signalverarbeitungseinheit eine zweite Signalaufbereitungseinheit, welche durch eine erste Subtraktion des ersten Ausgabesignals vom zweiten Ausgabesignal ein erstes Vergleichssignal erzeugt, das ein Lichtsignal im Grünbereich ohne Infrarotanteil repräsentiert, und durch eine zweite Subtraktion des ersten Ausgabesignals vom dritten Ausgabesignal ein zweites Vergleichssignal erzeugt, das ein Lichtsignal im Rotbereich ohne Infrarotanteil repräsentiert. Die Signalverarbeitungseinheit umfasst beispielsweise einen Komparator, welcher die beiden erzeugten Vergleichssignale zur Unterscheidung von Weißlicht und Rotlicht miteinander vergleicht und das Vergleichsergebnis an die Auswerte- und Steuereinheit ausgibt. Die Auswerte- und Steuereinheit erkennt beispielsweise Rotlicht, wenn die Signalintensität des zweiten Vergleichssignals wesentlich höher als die Signalintensität des ersten Vergleichssignals ist. Zusätzlich schließt die Auswerte- und Steuereinheit auf das Vorhandensein von Weißlicht, wenn eine Signalintensität des ersten Vergleichssignals im Wesentlichen einer Signalintensität des zweiten Vergleichssignals entspricht.In a further refinement of the driver assistance system according to the invention, the signal processing unit comprises a first signal conditioning unit which combines the generated output signals into an infrared image signal and outputs them via an optical display unit. Furthermore, there is a radiation source which emits light in the near infrared range. In addition, the signal processing unit comprises a second signal conditioning unit, which generates a first comparison signal by a first subtraction of the first output signal from the second output signal, which represents a light signal in the green area without infrared component, and generates a second comparison signal by a second subtraction of the first output signal from the third output signal represents a light signal in the red area without infrared component. The signal processing unit comprises, for example, a comparator, which compares the two generated comparison signals for distinguishing between white light and red light and outputs the comparison result to the evaluation and control unit. The evaluation and control unit detects, for example, red light when the signal intensity of the second comparison signal is substantially higher than the signal intensity of the first comparison signal. In addition, the evaluation and control unit concludes the presence of white light when a signal intensity of the first comparison signal substantially corresponds to a signal intensity of the second comparison signal.

In weiterer Ausgestaltung des erfindungsgemäßen Fahrerassistenzsystems koordiniert die Auswerte- und Steuereinheit zur Durchführung einer Nachtsichtassistenzfunktion den Betrieb der ersten Signalaufbereitungseinheit, der optischen Anzeigeeinheit und der Strahlungsquelle. Für eine Fernlichtassistenzfunktion interpretiert die Auswerte- und Steuereinheit Weißlicht als mindestens ein Frontscheinwerfer und Rotlicht als mindestens ein Rücklicht.In a further refinement of the driver assistance system according to the invention, the evaluation and control unit for carrying out a night vision assistance function coordinates the operation of the first signal conditioning unit, the optical display unit and the radiation source. For a high-beam assistance function, the evaluation and control unit interprets white light as at least one headlight and red light as at least one tail light.

Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und werden in der nachfolgenden Beschreibung näher erläutert.Embodiments of the invention are illustrated in the drawings and are explained in more detail in the following description.

Kurze Beschreibung der ZeichnungenBrief description of the drawings

1 zeigt ein schematisches Blockdiagramm eines erfindungsgemäßen Fahrerassistenzsystems. 1 shows a schematic block diagram of a driver assistance system according to the invention.

2 zeigt ein Kennliniendiagramm einer spektralen Empfindlichkeit eines Bildaufnahmesensors. 2 shows a characteristic diagram of a spectral sensitivity of an image sensor.

3 und 4 zeigen jeweils ein Kennliniendiagramm spektraler Empfindlichkeiten von Farbkanälen einer Bildaufnahmevorrichtung. 3 and 4 each show a characteristic diagram of spectral sensitivities of color channels of an image acquisition device.

Ausführungsformen der ErfindungEmbodiments of the invention

In den Zeichnungen bezeichnen gleiche Bezugszeichen Elemente bzw. Komponenten, welche gleiche bzw. analoge Funktionen ausführen.In the drawings, like reference numerals designate elements and components that perform the same or analog functions.

Wie aus 1 ersichtlich ist, umfasst ein Fahrerassistenzsystem 1 eine Strahlungsquelle 5, welche Licht im nahen Infrarotbereich emittiert, eine Bilderfassungsvorrichtung 10, die eine Optik 12 einen Blau-Cut-Filter 14 und einen Bildaufnahmesensor 16 zur Aufnahme eines die Fahrzeugumgebung repräsentierenden Farbbildes aufweist, und eine Signalverarbeitungseinheit 20. Der Bildaufnahmesensor 16 ist vorzugsweise als CCD- oder CMOS-Sensorchip ausgeführt, der beispielsweise eine in 2 dargestellte spektrale Empfindlichkeit 16.1 aufweist. Die empfangenen Lichtsignale, die das Farbbild repräsentieren, werden über die Optik 12 und den Blau-Cut-Filter 14 auf eine Sensorfläche 18 des Bildaufnahmesensors 16 geführt. Der Blau-Cut-Filter 14 entfernt Lichtstrahlung, die eine kleinere Wellenlänge als ca. 550 nm aufweist, aus den empfangenen Lichtsignalen. Dadurch ergeben sich für die Bildaufnahmevorrichtung 10 die in 4 dargestellten spektralen Empfindlichkeiten für die Farbkanäle, wobei ein Spektrum 16.4 einem Wellenlängenbereich entspricht, der von der Signalverarbeitungseinheit 20 für eine Nachtsichtassistenzfunktion und eine Fernlichtassistenzfunktion ausgewertet wird. Durch den Blau-Cut-Filter 14 ist es möglich, mit Hilfe von Blaupixeln der Sensorfläche 18 für einen blauen Farbkanal den Infrarotanteil in den empfangenen Lichtsignalen zu messen. Der Bildaufnahmesensor 16 erzeugt über die Farbpixel der Sensorfläche 18 mehrere Ausgabesignale B, G, R für die verschiedenen Farbkanäle, wobei die Sensorfläche 18 des Bildaufnahmesensors 16 zusätzlich zu den Blaupixeln für den blauen Farbkanal, Grünpixel für einen grünen Farbkanal und Rotpixel für einen roten Farbkanal umfasst. Ein erstes Ausgabesignal B repräsentiert ein Lichtsignal im nahen Infrarotbereich, welches über die Blaupixel der Sensorfläche 18 empfangen wird, ein zweites Ausgabesignal G repräsentiert ein Lichtsignal im Grünbereich mit einem Infrarotanteil, das über die Grünpixel der Sensorfläche 18 empfangen wird, und ein drittes Ausgabesignal R repräsentiert ein Lichtsignal im Rotbereich mit einem Infrarotanteil, das über die Rotpixel der Sensorfläche 18 empfangen wird.How out 1 can be seen includes a driver assistance system 1 a radiation source 5 , which emits light in the near infrared region, an image capture device 10 that have an appearance 12 a blue-cut filter 14 and an image pickup sensor 16 for receiving a color image representing the vehicle environment, and a signal processing unit 20 , The image pickup sensor 16 is preferably designed as a CCD or CMOS sensor chip, for example, a in 2 represented spectral sensitivity 16.1 having. The received light signals representing the color image are transmitted through the optics 12 and the blue-cut filter 14 on a sensor surface 18 of the image sensor 16 guided. The blue-cut filter 14 removes light radiation having a wavelength smaller than about 550 nm from the received light signals. This results in the image pickup device 10 in the 4 represented spectral sensitivities for the color channels, wherein a spectrum 16.4 a wavelength range corresponding to the signal processing unit 20 is evaluated for a night view assist function and a high beam assist function. Through the blue-cut filter 14 It is possible with the help of blue pixels of the sensor surface 18 for a blue color channel, measure the infrared component in the received light signals. The image pickup sensor 16 generated via the color pixels of the sensor surface 18 a plurality of output signals B, G, R for the different color channels, wherein the sensor surface 18 of the image sensor 16 in addition to the blue pixels for the blue color channel, green pixels for a green color channel, and red pixels for a red color channel. A first output signal B represents a light signal in the near infrared range, which is transmitted via the blue pixels of the sensor surface 18 A second output signal G represents a light signal in the green area with an infrared component that is transmitted via the green pixels of the sensor area 18 is received, and a third output signal R represents a light signal in the red region with an infrared component, which is beyond the red pixels of the sensor surface 18 Will be received.

Wie aus 1 weiter ersichtlich ist, umfasst die Signalverarbeitungseinheit 20 eine erste Signalaufbereitungseinheit 40, welche die erzeugten Ausgabesignale B, G, R zu einem Infrarotbildsignal S3 zusammenfasst und über eine optische Anzeigeeinheit 42 ausgibt. Die Auswerte- und Steuereinheit 22 koordiniert zur Durchführung der Nachtsichtassistenzfunktion den Betrieb der ersten Signalaufbereitungseinheit 40, der optischen Anzeigeeinheit 42 und der Strahlungsquelle 5.How out 1 can be further seen, comprises the signal processing unit 20 a first signal conditioning unit 40 which combines the generated output signals B, G, R into an infrared image signal S3 and an optical display unit 42 outputs. The evaluation and control unit 22 coordinates the operation of the first signal conditioning unit to perform the night view assist function 40 , the optical display unit 42 and the radiation source 5 ,

Durch das reine Infrarotsignal aus den Blaupixeln der Sensorfläche 18 des Bildaufnahmesensors 16 wird es möglich, das Infrarotsignal vom Rotsignal und vom Grünsignal zu subtrahieren, wodurch eine Trennung zwischen Weißlicht und Rotlicht möglich wird. Daher umfasst die Signalverarbeitungseinheit 20 eine zweite Signalaufbereitungseinheit 30, welche durch eine erste Subtraktion des ersten Ausgabesignals B vom zweiten Ausgabesignal G ein erstes Vergleichssignal S1 erzeugt, das ein Lichtsignal im Grünbereich ohne Infrarotanteil repräsentiert, und durch eine zweite Subtraktion des ersten Ausgabesignals B vom dritten Ausgabesignal R ein zweites Vergleichssignal S2 erzeugt, das ein Lichtsignal im Rotbereich ohne Infrarotanteil repräsentiert. Zudem umfasst die Signalverarbeitungseinheit 20 einen Komparator 32, welcher die beiden erzeugten Vergleichssignale S1, S2 zur Unterscheidung von Weißlicht und Rotlicht miteinander vergleicht und das Vergleichsergebnis an die Auswerte- und Steuereinheit 22 ausgibt. Die Auswerte- und Steuereinheit 22 erkennt Rotlicht, wenn die Signalintensität des zweiten Vergleichssignals S2 wesentlich höher als die Signalintensität des ersten Vergleichssignals S1 ist. Zusätzlich schließt die Auswerte- und Steuereinheit 22 auf das Vorhandensein von Weißlicht, wenn eine Signalintensität des ersten Vergleichssignals S1 im Wesentlichen einer Signalintensität des zweiten Vergleichssignals S2 entspricht. Für die Fernlichtassistenzfunktion interpretiert die Auswerte- und Steuereinheit 22 Weißlicht als mindestens einen Frontscheinwerfer und Rotlicht als mindestens ein Rücklicht.Through the pure infrared signal from the blue pixels of the sensor surface 18 of the image sensor 16 makes it possible to subtract the infrared signal from the red signal and the green signal, whereby a separation between white light and red light is possible. Therefore, the signal processing unit includes 20 a second signal conditioning unit 30 which generates by a first subtraction of the first output signal B from the second output signal G a first comparison signal S1, which represents a light signal in the green area without infrared component, and by a second subtraction of the first output signal B from the third output signal R generates a second comparison signal S2, the Light signal in the red area without infrared component represented. In addition, the signal processing unit includes 20 a comparator 32 which compares the two generated comparison signals S1, S2 for distinguishing between white light and red light and the comparison result to the evaluation and control unit 22 outputs. The evaluation and control unit 22 detects red light when the signal intensity of the second comparison signal S2 is much higher than the signal intensity of the first comparison signal S1. In addition, the evaluation and control unit closes 22 to the presence of white light when a signal intensity of the first comparison signal S1 substantially corresponds to a signal intensity of the second comparison signal S2. The evaluation and control unit interprets the high-beam assistance function 22 White light as at least one headlight and red light as at least one tail light.

Durch das erfindungsgemäße Verfahren zur Verarbeitung und Auswertung eines Farbbildes und das erfindungsgemäße Fahrerassistenzsystem kann in vorteilhafter Weise eine Unterscheidung zwischen rotem und weißem Licht bei einer gleichzeitigen Erfassung von Licht im nahen Infrarotbereich realisiert werden. Dadurch wird in vorteilhafter Weise die Durchführung einer Fernlichtassistenzfunktion und einer Nachtsichtassistenzfunktion unter Verwendung von nur einer Bilderfassungsvorrichtung zur Aufnahme des Farbbildes ermöglicht.By means of the method according to the invention for processing and evaluating a color image and the driver assistance system according to the invention, it is advantageously possible to realize a distinction between red and white light with a simultaneous detection of light in the near infrared range. This advantageously makes it possible to carry out a high-beam assistance function and a night-vision assistance function using only one image acquisition device for capturing the color image.

Claims (7)

Fahrerassistenzsystem mit einer Bilderfassungsvorrichtung (10), die einen Bildaufnahmesensor (16) zur Aufnahme eines die Fahrzeugumgebung repräsentierenden Farbbildes und einen Blau-Cut-Filter (14) umfasst, und einer Signalverarbeitungseinheit (20), die eine Auswerte- und Steuereinheit (22) umfasst, wobei die Bilderfassungsvorrichtung (10) empfangene Lichtsignale, die das Farbbild repräsentieren, über den Blau-Cut-Filter (14) führt und mehrere Ausgabesignale (B, G, R) für verschiedene Farbkanäle erzeugt, wobei ein erstes Ausgabesignal (B) ein Lichtsignal im nahen Infrarotbereich repräsentiert, wobei ein zweites Ausgabesignal (G) ein Lichtsignal im Grünbereich mit einem Infrarotanteil repräsentiert, und wobei ein drittes Ausgabesignal (R) ein Lichtsignal im Rotbereich mit einem Infrarotanteil repräsentiert, wobei die Signalverarbeitungseinheit (20) über die Auswerte- und Steuereinheit (22) ein Verfahren zur Verarbeitung und Auswertung eines Farbbildes durchführt, wobei durch eine erste Subtraktion des ersten Ausgabesignals (B) vom zweiten Ausgabesignal (G) ein erstes Vergleichssignal (S1) erzeugt wird, das ein Lichtsignal im Grünbereich ohne Infrarotanteil repräsentiert, wobei durch eine zweite Subtraktion des ersten Ausgabesignals (B) vom dritten Ausgabesignal (R) ein zweites Vergleichssignal (S2) erzeugt wird, das ein Lichtsignal im Rotbereich ohne Infrarotanteil repräsentiert, wobei die beiden erzeugten Vergleichssignale (S1, S2) zur Unterscheidung von Weißlicht und Rotlicht miteinander verglichen werden, wobei Rotlicht erkannt wird, wenn die Signalintensität des zweiten Vergleichssignals (S2) wesentlich höher als die Signalintensität des ersten Vergleichssignals (S1) ist.Driver assistance system with an image capture device ( 10 ) comprising an image sensor ( 16 ) for receiving a color image representative of the vehicle environment and a blue-cut filter ( 14 ), and a signal processing unit ( 20 ), which is an evaluation and control unit ( 22 ), wherein the image capture device ( 10 ) received light signals representing the color image, via the blue-cut filter ( 14 ) and produces a plurality of output signals (B, G, R) for different color channels, wherein a first output signal (B) represents a light signal in the near infrared region, wherein a second output signal (G) represents a light signal in the green region with an infrared component, and wherein a third output signal (R) represents a light signal in the red region with an infrared component, wherein the signal processing unit ( 20 ) via the evaluation and control unit ( 22 ) performs a method for processing and evaluating a color image, wherein a first subtraction of the first output signal (B) from the second output signal (G) generates a first comparison signal (S1) representing a light signal in the green region without infrared component, wherein a second Subtraction of the first output signal (B) from the third output signal (R) a second comparison signal (S2) is generated, which represents a light signal in the red region without infrared component, wherein the two generated comparison signals (S1, S2) to distinguish between white light and red light are compared wherein red light is detected when the signal intensity of the second comparison signal (S2) is substantially higher than the signal intensity of the first comparison signal (S1). Fahrerassistenzsystem nach Anspruch 1, dadurch gekennzeichnet, dass auf ein Vorhandensein von Weißlicht geschlossen wird, wenn eine Signalintensität des ersten Vergleichssignals (S1) im Wesentlichen einer Signalintensität des zweiten Vergleichssignals (S2) entspricht.Driver assistance system according to claim 1, characterized in that it is concluded that a presence of white light, when a signal intensity of the first comparison signal (S1) substantially corresponds to a signal intensity of the second comparison signal (S2). Fahrerassistenzsystem nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die erzeugten Ausgabesignale (B, G, R) zu einem Infrarotbildsignal (S3) zusammengefasst und auf einer optischen Anzeigeeinheit (42) ausgegeben werden.Driver assistance system according to claim 1 or 2, characterized in that the generated output signals (B, G, R) combined to form an infrared image signal (S3) and on an optical display unit ( 42 ). Fahrerassistenzsystem nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die beiden erzeugten Vergleichssignale (S1, S2) zur Unterscheidung von Frontscheinwerfern und Rücklichtern für eine Fernlichtassistenzfunktion miteinander verglichen werden, wobei das Rotlicht mindestens ein Rücklicht repräsentiert, wobei das Weißlicht mindestens einen Frontscheinwerfer repräsentiert, und wobei das Infrarotbildsignal (S3) für eine Nachtsichtassistenzfunktion erzeugt wird.Driver assistance system according to one of claims 1 to 3, characterized in that the two generated comparison signals (S1, S2) for distinguishing headlights and taillights for a high-beam assistance function are compared with each other, wherein the red light represents at least one tail light, wherein the white light represents at least one headlight , and wherein the infrared image signal (S3) is generated for a night vision assist function. Fahrerassistenzsystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Signalverarbeitungseinheit (20) eine erste Signalaufbereitungseinheit (40) umfasst, welche die erzeugten Ausgabesignale (B, G, R) zu einem Infrarotbildsignal (S3) zusammenfasst und über eine optische Anzeigeeinheit (42) ausgibt.Driver assistance system according to one of the preceding claims, characterized in that the signal processing unit ( 20 ) a first signal conditioning unit ( 40 ), which combines the generated output signals (B, G, R) into an infrared image signal (S3) and via an optical display unit ( 42 ). Fahrerassistenzsystem nach einem der vorhergehenden Ansprüche, gekennzeichnet durch eine Strahlungsquelle (5), welche Licht im nahen Infrarotbereich emittiert.Driver assistance system according to one of the preceding claims, characterized by a radiation source ( 5 ) which emits light in the near infrared region. Fahrerassistenzsystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Auswerte- und Steuereinheit (22) zur Durchführung einer Nachtsichtassistenzfunktion den Betrieb der ersten Signalaufbereitungseinheit (40), der optischen Anzeigeeinheit und der Strahlungsquelle (5) koordiniert, wobei die Auswerte- und Steuereinheit (22) für eine Fernlichtassistenzfunktion Weißlicht als mindestens einen Frontscheinwerfer interpretiert und Rotlicht als mindestens ein Rücklicht interpretiert.Driver assistance system according to one of the preceding claims, characterized in that the evaluation and control unit ( 22 ) for carrying out a night vision assistance function, the operation of the first signal processing unit ( 40 ), the optical display unit and the radiation source ( 5 ), whereby the evaluation and control unit ( 22 ) for a high-beam assistance function, white light is interpreted as at least one headlight and red light is interpreted as at least one rear-light.
DE102008003791.5A 2008-01-10 2008-01-10 Method for processing and evaluating a color image and associated driver assistance system Expired - Fee Related DE102008003791B4 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102008003791.5A DE102008003791B4 (en) 2008-01-10 2008-01-10 Method for processing and evaluating a color image and associated driver assistance system
PCT/EP2008/065261 WO2009086969A1 (en) 2008-01-10 2008-11-11 Method for processing and analyzing a color image, and associated driver assistance system
EP08869739A EP2229783A1 (en) 2008-01-10 2008-11-11 Method for processing and analyzing a color image, and associated driver assistance system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102008003791.5A DE102008003791B4 (en) 2008-01-10 2008-01-10 Method for processing and evaluating a color image and associated driver assistance system

Publications (2)

Publication Number Publication Date
DE102008003791A1 DE102008003791A1 (en) 2009-07-16
DE102008003791B4 true DE102008003791B4 (en) 2017-03-16

Family

ID=40433635

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102008003791.5A Expired - Fee Related DE102008003791B4 (en) 2008-01-10 2008-01-10 Method for processing and evaluating a color image and associated driver assistance system

Country Status (3)

Country Link
EP (1) EP2229783A1 (en)
DE (1) DE102008003791B4 (en)
WO (1) WO2009086969A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014220322B4 (en) * 2014-10-07 2020-02-13 Conti Temic Microelectronic Gmbh Image capture device and method for capturing an optical image

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1989012941A1 (en) * 1988-06-16 1989-12-28 Valtion Teknillinen Tutkimuskeskus Procedure and means for producing a false colour picture
DE4235406C1 (en) * 1992-10-21 1993-12-09 Grundig Emv Modified colour TV camera providing IR images - uses blue-cut filter limiting blue light range inserted in front of solid-state image sensor
US5555464A (en) * 1995-07-28 1996-09-10 Lockheed Martin Corporation Red/near-infrared filtering for CCD cameras
WO2000007365A1 (en) * 1998-07-30 2000-02-10 Intel Corporation Color imaging system with infrared correction
DE102004059129A1 (en) * 2003-12-17 2005-07-21 Denso Corp., Kariya Vehicle display system
WO2005115820A1 (en) * 2004-05-25 2005-12-08 Siemens Aktiengesellschaft Monitoring unit in addition to an assist system for motor vehicles

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5661817A (en) * 1995-07-21 1997-08-26 Lockheed Martin Corporation Single charge-coupled-device camera for detection and differentiation of desired objects from undesired objects
US6529615B2 (en) * 1997-10-10 2003-03-04 Case Corporation Method of determining and treating the health of a crop

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1989012941A1 (en) * 1988-06-16 1989-12-28 Valtion Teknillinen Tutkimuskeskus Procedure and means for producing a false colour picture
DE4235406C1 (en) * 1992-10-21 1993-12-09 Grundig Emv Modified colour TV camera providing IR images - uses blue-cut filter limiting blue light range inserted in front of solid-state image sensor
US5555464A (en) * 1995-07-28 1996-09-10 Lockheed Martin Corporation Red/near-infrared filtering for CCD cameras
WO2000007365A1 (en) * 1998-07-30 2000-02-10 Intel Corporation Color imaging system with infrared correction
DE102004059129A1 (en) * 2003-12-17 2005-07-21 Denso Corp., Kariya Vehicle display system
WO2005115820A1 (en) * 2004-05-25 2005-12-08 Siemens Aktiengesellschaft Monitoring unit in addition to an assist system for motor vehicles

Also Published As

Publication number Publication date
DE102008003791A1 (en) 2009-07-16
EP2229783A1 (en) 2010-09-22
WO2009086969A1 (en) 2009-07-16

Similar Documents

Publication Publication Date Title
DE102014110131B4 (en) Image capture device
DE60204567T2 (en) OVERLAPPING MOSAIC IMAGINATING RAIN SENSOR
DE112014005160T5 (en) A method for detecting a hidden state of a camera, camera system and motor vehicle
EP2879919B1 (en) Detection of rain drops on a plate by means of a camera and illumination
EP2565860A1 (en) Device and method for detecting vehicle identification panels
EP2916142A1 (en) Digital camera
DE102009001122B4 (en) 1 - 15Camera arrangement and method for determining image signals with color values
DE102006010295A1 (en) Camera system for e.g. motor vehicle, has two different image sensors, whose data are read and merged based on image characteristics to form three-dimensional image, where sensors are sensitive in different spectral regions
DE102012216065A1 (en) Method and device for detecting at least one pulsed light source for a vehicle
DE112014002331T5 (en) Image processing apparatus and image processing method
DE112020002567T5 (en) IMAGE RECOGNITION DEVICE AND IMAGE RECOGNITION METHOD
DE102015107406A1 (en) Camera for a motor vehicle with at least two light guides and an optical filter element, driver assistance system and motor vehicle
DE102017222614A1 (en) Device for environmental detection and method for its operation
DE102014213456A1 (en) Monitoring a signal transmission from a recording device to an output device
DE102009014437A1 (en) Object e.g. pedestrian, recognition system i.e. stereoscopic system, for motor vehicle, has validation device checking whether object and/or preset character e.g. contour, of object is detected in image region in image
DE10207039A1 (en) Method and device for visualizing a section of the surroundings of a vehicle and a calibration device for calibrating the device
DE102017122432A1 (en) Method for detecting a road condition of a roadway for a motor vehicle, driver assistance system and motor vehicle
DE102008003791B4 (en) Method for processing and evaluating a color image and associated driver assistance system
DE102012111199A1 (en) Optical device for camera of vehicle for detecting images of two different distance ranges, has two image acquisition elements that are arranged in different image planes of imaging system
DE102011083232A1 (en) Image capture device for a vehicle
DE112021004167T5 (en) image pickup device
DE10300612A1 (en) Night vision system for motor vehicles
DE102013102207A1 (en) Camera system for a vehicle
EP1262369A2 (en) Night vision device for vehicles
DE102004039334B4 (en) Device for improving the visibility in vehicles and vehicles

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R012 Request for examination validly filed

Effective date: 20140923

R016 Response to examination communication
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee