DE102012008780A1 - Method for detecting lane edge i.e. unlabelled lane edge, for creating track model for motor car, involves determining vanishing point in actual image utilizing dominant orientations, where point is utilized for creation of track model - Google Patents
Method for detecting lane edge i.e. unlabelled lane edge, for creating track model for motor car, involves determining vanishing point in actual image utilizing dominant orientations, where point is utilized for creation of track model Download PDFInfo
- Publication number
- DE102012008780A1 DE102012008780A1 DE201210008780 DE102012008780A DE102012008780A1 DE 102012008780 A1 DE102012008780 A1 DE 102012008780A1 DE 201210008780 DE201210008780 DE 201210008780 DE 102012008780 A DE102012008780 A DE 102012008780A DE 102012008780 A1 DE102012008780 A1 DE 102012008780A1
- Authority
- DE
- Germany
- Prior art keywords
- lane
- motor vehicle
- lane edge
- detecting
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000003287 optical effect Effects 0.000 claims description 18
- 238000001514 detection method Methods 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 3
- 238000001454 recorded image Methods 0.000 claims description 3
- 230000003466 anti-cipated effect Effects 0.000 abstract 1
- 238000013459 approach Methods 0.000 description 5
- 239000003550 marker Substances 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 2
- BUHVIAUBTBOHAG-FOYDDCNASA-N (2r,3r,4s,5r)-2-[6-[[2-(3,5-dimethoxyphenyl)-2-(2-methylphenyl)ethyl]amino]purin-9-yl]-5-(hydroxymethyl)oxolane-3,4-diol Chemical compound COC1=CC(OC)=CC(C(CNC=2C=3N=CN(C=3N=CN=2)[C@H]2[C@@H]([C@H](O)[C@@H](CO)O2)O)C=2C(=CC=CC=2)C)=C1 BUHVIAUBTBOHAG-FOYDDCNASA-N 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
Abstract
Description
Die Erfindung betrifft ein Verfahren sowie eine Einrichtung zur Erfassung wenigstens eines Fahrbahnrandes, insbesondere eines unmarkierten Fahrbahnrandes, zwecks Erstellung eines Spurmodells für ein Kraftfahrzeug. Weiterhin betrifft die vorliegende Erfindung das Kraftfahrzeug selbst, welches eine Einrichtung zur Erfassung wenigstens eines Fahrbahnrandes aufweist.The invention relates to a method and a device for detecting at least one lane edge, in particular an unmarked lane edge, for the purpose of creating a track model for a motor vehicle. Furthermore, the present invention relates to the motor vehicle itself, which has a device for detecting at least one lane edge.
Es sind bereits Kraftfahrzeuge bekannt, welche einen aktiven Spurhalteassistenten haben, um den Fahrer in kritischen Situationen zu unterstützen. Dabei greift das Assistenzsystem zum Beispiel dann ein, wenn das Fahrzeug droht, von der Fahrbahn abzukommen, was insbesondere bei Unachtsamkeit beziehungsweise Ermüdung des Fahrers auftreten kann.Motor vehicles are already known which have an active lane departure warning system to assist the driver in critical situations. In this case, the assistance system intervenes, for example, when the vehicle threatens to come off the road, which can occur especially in carelessness or fatigue of the driver.
Spurhalteassistenten müssen dazu mithilfe von Sensoren ihre Umgebung auswerten. Derartige Sensoren können zum Beispiel Kameras sein, wobei jedoch auch Ansätze auf Radar-Basis existieren, wie zum Beispiel in der
Kamerabasierte Spurhalteassistenten werten die Bilder einer oder mehrerer Kameras aus, die in der Regel eine dem Blickwinkel des Fahrers ähnliche Perspektive auf die Straße besitzen. Zu diesem Zweck sind sie oftmals mittig hinter dem Innenspiegel des Kraftfahrzeuges integriert.Camera-based lane departure warning systems evaluate the images of one or more cameras, which usually have a perspective on the road similar to the driver's perspective. For this purpose, they are often integrated centrally behind the interior mirror of the motor vehicle.
Die Auswertung der mittels Kamera erfassten Bilder erfolgt dabei herkömmlicherweise durch die Suche nach künstlichen Fahrbahnmarkierungen im Kamerabild, wie es zum Beispiel die
Zur Lösung des Problems der mangelnden Orientierung für den Spurhalteassistenten bei fehlenden Fahrbahnmarkierungen existieren unterschiedliche Ansätze. Die
Die
Die
Bei diesen genannten Ansätzen erfolgt somit keine explizite Detektion des Straßenrandes und somit auch keine genaue Lageschätzung, wie sie zum Betrieb eines Spurhalteassistenten unerlässlich ist. Zudem sind die genannten Lösungen zum Teil relativ kostenaufwendig.In these approaches, therefore, no explicit detection of the roadside and thus no accurate estimation of the position, as is essential for the operation of a lane departure warning. In addition, the solutions mentioned are sometimes relatively expensive.
Die
Die
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein Verfahren und eine Einrichtung zur Erfassung wenigstens eines Fahrbahnrandes zur Verfügung zu stellen, mit denen in einfacher, zuverlässiger sowie kostengünstiger Weise wenigstens ein vor einem Kraftfahrzeug befindlicher Fahrbahnrandabschnitt mit ausreichender Genauigkeit erfasst werden kann, um daraus ein Spurmodell für das Kraftfahrzeug zu generieren.The present invention has for its object to provide a method and a device for detecting at least one lane edge available with which in a simple, reliable and cost-effective manner at least one located in front of a motor vehicle roadway section can be detected with sufficient accuracy to make it a track model to generate for the motor vehicle.
Diese Aufgabe wird erfindungsgemäß durch das Verfahren zur Erfassung wenigstens eines Fahrbahnrandes nach Anspruch 1 sowie durch die Einrichtung zur Erfassung wenigstens eines Fahrbahnrandes nach Anspruch 10 gelöst. Vorteilhafte Ausgestaltungen des erfindungsgemäßen Verfahrens sind in den Unteransprüchen 2 bis 9 angegeben. Vorteilhafte Ausgestaltungen der erfindungsgemäßen Einrichtung sind in den Unteransprüchen 11 bis 13 angegeben. Ein weiterer Aspekt der vorliegenden Erfindung ist ein Kraftfahrzeug, welches eine erfindungsgemäße Einrichtung zur Erfassung wenigstens eines Fahrbahnrandes aufweist. This object is achieved by the method for detecting at least one lane edge according to
Es wird erfindungsgemäß ein Verfahren zur Erfassung wenigstens eines Fahrbahnrandes, insbesondere eines unmarkierten Fahrbahnrandes, zur Verfügung gestellt, zwecks Erstellung eines Spurmodells für ein Kraftfahrzeug. Das erfindungsgemäße Verfahren umfasst die folgenden Schritte:
- a) optische Aufnahme eines aktuellen ersten Bildes vor einem Kraftfahrzeug,
- b) Auswahl eines als befahrbar anzunehmenden Bereiches vor dem Kraftfahrzeug auf dem aktuellen ersten Bild,
- c) Auffinden von korrespondierenden Bereichen zu diesem als befahrbar anzunehmenden Bereich in einer bestimmten Anzahl von zuvor aufgenommenen Bildern eines umgekehrten optischen Flusses,
- d) Auffinden von Entsprechungen zu diesen korrespondierenden Bereichen im aktuellen ersten Bild,
- e) Definition wenigstens eines Suchbereiches anhand der Entsprechungen im aktuellen ersten Bild,
- f) Ermittlung von dominanten Orientierungen innerhalb des Suchbereiches im aktuellen ersten Bild,
- g) Ermittlung wenigstens eines Fluchtpunktes im aktuellen ersten Bild unter Verwendung der dominanten Orientierungen, und
- h) Nutzung des Fluchtpunktes zur Erstellung eines Spurmodells.
- a) optical recording of a current first image in front of a motor vehicle,
- b) selecting an area to be assumed to be passable in front of the motor vehicle on the current first image,
- c) finding corresponding areas to this area to be assumed to be passable in a certain number of previously recorded images of a reverse optical flow,
- d) finding correspondences to these corresponding areas in the current first image,
- e) definition of at least one search area based on the correspondences in the current first image,
- f) determination of dominant orientations within the search area in the current first image,
- g) determining at least one vanishing point in the current first image using the dominant orientations, and
- h) Use of the vanishing point to create a track model.
Bei der Auswahl des als befahrbar anzunehmenden Bereiches vor dem Kraftfahrzeug sollte bevorzugt der nah vor dem Kraftfahrzeug, im Sichtbereich einer Kamera und einige Pixel hohe und die Breite des Kraftfahrzeuges aufweisende Bereich genutzt werden. Die Bereiche, die mit dem ausgewählten, als befahrbar anzunehmenden Bereich korrespondieren sollen, sind demzufolge proportional zur Bildanzahl im umgekehrten optischen Fluss vom Kraftfahrzeug entfernt ersichtlich. Das Auffinden dieser korrespondierenden Bereiche erfolgt zum Beispiel anhand charakteristischer Grauwert- oder Graustufenverteilung. Bei Definition des Suchbereiches kann neben den gefundenen Entsprechungen auch der ausgewählte, als befahrbar anzunehmende Bereich verwendet werden.When selecting the area to be assumed to be passable in front of the motor vehicle, the area in front of the motor vehicle, in the field of vision of a camera and a few pixels high and having the width of the motor vehicle, should preferably be used. The areas which are to correspond to the selected area to be assumed to be passable are therefore visible in a proportional manner to the number of images in the inverse optical flow away from the motor vehicle. The finding of these corresponding areas takes place, for example, on the basis of the characteristic gray value or grayscale distribution. In the definition of the search area, in addition to the found correspondences, the selected area which is to be assumed to be passable can also be used.
Die Ermittlung wenigstens eines Fluchtpunktes im aktuellen ersten Bild unter Verwendung der dominanten Orientierungen erfolgt bevorzugt unter der Annahme, dass die dominanten Orientierungen zu Längsstrukturen ausgebildet sind, die durch Fahrbahnränder ausgebildet werden. Aus den Schnittpunkten dieser Längsstrukturen beziehungsweise dominanten Orientierungen lässt sich der Fluchtpunkt ermitteln. Die genaue Ermittlung des Fluchtpunktes im aktuellen ersten Bild lässt sich bevorzugt mit dem Fachmann bekannten Verfahren durchführen, wie eines beispielhaft von Rasmussen im
In vorteilhafter Ausgestaltung des erfindungsgemäßen Verfahrens ist vorgesehen, dass bei der Nutzung des Fluchtpunktes zur Erstellung eines Spurmodells eine Mehrzahl von durch den Fluchtpunkt verlaufenden Fahrbahnrand-Kandidaten definiert werden und wenigstens ein Fahrbahnrand-Kandidat zur Begrenzung des Spurmodells ausgewählt wird. Vorzugsweise ist ein Fahrbahnrand-Kandidat dort zu definieren, wo eine signifikante Häufung bestimmter dominanter Orientierungen auftritt. Bei mehreren Fluchtpunkten wird entsprechend verfahren.In an advantageous embodiment of the method according to the invention, it is provided that when using the vanishing point to create a track model, a plurality of roadway candidates passing through the vanishing point are defined and at least one lane edge candidate is selected for delimiting the track model. Preferably, a lane edge candidate is to be defined where a significant accumulation of certain dominant orientations occurs. At several vanishing points proceed accordingly.
In günstiger Ausgestaltung des Verfahrens ist vorgesehen, dass der wenigstens eine Fahrbahnrand-Kandidat dadurch ausgewählt wird, dass den ermittelten Fahrbahnrand-Kandidaten jeweils eine Klassifikationswahrscheinlichkeit der örtlichen Übereinstimmung mit dem tatsächlichen Fahrbahnrand zugeordnet wird, und diese Klassifikationswahrscheinlichkeit zur Erstellung des Spurmodells genutzt wird.In a favorable embodiment of the method, it is provided that the at least one lane edge candidate is selected by assigning the determined lane candidate each a classification probability of the local match with the actual lane edge, and this classification probability is used to create the lane model.
Vorteilhafterweise ist vorgesehen, dass die Zuordnung der Klassifikationswahrscheinlichkeit mittels eines Texturfilters und eines Klassifikators erfolgt, wobei der Texturfilter in der Umgebung des jeweiligen Kandidaten Merkmale extrahiert und an den Klassifikator weiterleitet, und der Klassifikator anhand der Merkmale dem jeweiligen Kandidaten eine Klassifikationswahrscheinlichkeit zuordnet. Zu diesem Zweck können im Klassifikator Informationen hinsichtlich typischer Merkmale von Straßenrändern abgespeichert sein, verbunden mit der Zuordnung einer Wahrscheinlichkeit des Vorhandenseins eines tatsächlichen Straßenrandes bei Vorliegen bestimmter Merkmale. Der Klassifikator vergleicht die vom Texturfilter ermittelten Merkmale mit abgespeicherten Merkmalen und ordnet dem jeweiligen Kandidaten eine bestimmte Klassifikationswahrscheinlichkeit zu.Advantageously, it is provided that the assignment of the classification probability by means of a texture filter and a classifier takes place, wherein the texture filter in the environment of each candidate extracts features and forwards to the classifier, and the classifier based on the characteristics of the respective candidate assigns a classification probability. For this purpose, information may be stored in the classifier with regard to typical features of road edges, associated with the assignment of a probability of the presence of an actual roadside when present certain characteristics. The classifier compares the features determined by the texture filter with stored features and assigns a particular classification probability to the respective candidate.
Es ist weiterhin vorteilhafterweise vorgesehen, dass in verschiedenen Abständen vor dem Kraftfahrzeug und im Wesentlichen senkrecht zur Kraftfahrzeug-Längsachse verlaufende Belegungsstrahlen definiert werden, die in diskrete Gitterzellen unterteilt sind, und jeder Gitterzelle eine Belegungswahrscheinlichkeit zugeordnet wird, die eine Aussage darüber gibt, inwieweit die Koordinate der jeweiligen Gitterzelle einem tatsächlichen Fahrbahnrand entspricht.It is further advantageously provided that occupancy beams extending at different distances in front of the motor vehicle and substantially perpendicular to the motor vehicle longitudinal axis are defined, which are subdivided into discrete grid cells, and each grid cell is assigned an occupancy probability which indicates the extent to which the coordinate the respective grid cell corresponds to an actual roadway edge.
Derartige Belegungsstrahlen verhalten sich wie eindimensionale Belegungskarten, so genannte Evidence Grids. Die definierten Gitterzellen entsprechen den diskreten Werten einer Skala. Die diskreten Gitterzellen sollten bevorzugt eine Länge von weniger als 20 cm aufweisen. Jede Gitterzelle entspricht somit einer Strecke auf der Fahrbahnebene senkrecht zur Kraftfahrzeuglängsachse.Such occupancy beams behave like one-dimensional occupancy maps, so-called evidence grids. The defined grid cells correspond to the discrete values of a scale. The discrete grid cells should preferably have a length of less than 20 cm. Each grid cell thus corresponds to a distance on the road plane perpendicular to the motor vehicle longitudinal axis.
Das erfindungsgemäße Verfahren ist weiterhin dadurch vorteilhaft ausgebildet, dass wenigstens ein nächstes, sich vom ersten Bild unterscheidendes Bild aufgenommen wird und wenigstens die Schritte b) bis h) sowie der Schritt der Generierung der Belegungsstrahlen senkrecht zur Kraftfahrzeug-Längsachse wiederholt werden, wobei die einer jeden auf dem aktuellen ersten Bild basierenden Gitterzelle zugeordnete Wahrscheinlichkeit mit der Wahrscheinlichkeit verrechnet wird, die basierend auf einem nächsten Bild ermittelt wird. Dadurch akkumulieren sich die Wahrscheinlichkeiten, die den einzelnen Gitterzellen zugeordnet sind.The inventive method is further advantageous in that at least one next, different from the first image image is taken and at least the steps b) to h) and the step of generating the occupation beams are repeated perpendicular to the motor vehicle longitudinal axis, one of each on the current first image based grid cell associated probability is calculated with the probability, which is determined based on a next image. As a result, the probabilities associated with the individual grid cells accumulate.
Die für ein Bild zu ermittelnden Gesamt-Wahrscheinlichkeiten der Gitterzellen werden derart gewonnen, dass für jeden definierten Belegungsstrahl und jeden als Rand klassifizierten Kandidaten die folgenden Schritte durchgeführt werden:
- a) die der longitudinalen Entfernung des Belegungsstrahls vom Fahrzeug zugehörige Lateralentfernung von der Kraftfahrzeug-Längsachse wird ermittelt;
- b) die der ermittelten Lateralentfernung entsprechende Gitterzelle wird auf dem Belegungsstrahl identifiziert; und
- c) die Belegungswahrscheinlichkeit dieser Gitterzelle wird um einen Wert erhöht, der sich proportional zur Anzahl des Auftretens dieser Gitterzellenkoordinate verhält, und der entsprechend der Klassifikationswahrscheinlichkeit gewichtet wird.
- a) the lateral distance of the vehicle longitudinal axis associated with the longitudinal distance of the occupancy beam from the vehicle is determined;
- b) the grid cell corresponding to the determined lateral distance is identified on the occupancy beam; and
- c) the occupancy probability of this grid cell is increased by a value which is proportional to the number of occurrences of this grid cell coordinate, and which is weighted according to the classification probability.
Es kann weiterhin vorgesehen sein, dass ein Unsicherheitsmodell verwendet wird, so dass nicht nur die bisher erfasste Gitterzelle aktualisiert wird, sondern auch auf dem jeweiligen Belegungsstrahl zu dieser Gitterzelle benachbarte Gitterzellen aktualisiert werden. Die Anzahl, Verteilung und Gewichtung der zu aktualisierenden Nachbar-Gitterzellen hängen dabei vom konkreten ausgewählten Unsicherheitsmodell ab.It can further be provided that an uncertainty model is used, so that not only the previously detected grid cell is updated, but also grid cells that are adjacent to this grid cell are updated on the respective occupancy beam. The number, distribution and weighting of the neighbor grid cells to be updated depend on the concrete selected uncertainty model.
Bei Erkennung einer Fahrbahnmarkierung an lediglich einer Seite des Kraftfahrzeuges ist vorteilhafterweise deren Distanz in lateraler Richtung zu bestimmen und diese Distanz mit der Distanz der Gitterzelle, die die höchste Wahrscheinlichkeit aufweist, zu einem Spurmodell zu verrechnen. Die verrechneten Distanzen werden dabei im selben Abstand vor dem Kraftfahrzeug bestimmt. Zum Beispiel kann der Abstand der Fahrbahnmarkierung sowie der Abstand der Gitterzelle, die die höchste Wahrscheinlichkeit aufweist, zur Kraftfahrzeuglängsachse bestimmt werden und daraus der Durchschnittswert gebildet werden, um diesen als Breite des Spurmodells anzunehmen.When a lane marking is recognized on only one side of the motor vehicle, its distance in the lateral direction is advantageously to be determined and this distance must be calculated as the distance from the lattice cell having the highest probability to a lane model. The calculated distances are determined at the same distance in front of the motor vehicle. For example, the distance of the lane mark as well as the distance of the lattice cell having the highest probability can be determined to the motor vehicle longitudinal axis and the average value can be formed therefrom in order to adopt this as the width of the lane model.
In der Situation, in der keine Fahrbahnmarkierung an einer Seite des Kraftfahrzeuges erkannt werden kann, ist vorgesehen, dass basierend auf den Gitterzellen mit der höchsten Wahrscheinlichkeit Polynome generiert werden, die ein Spurmodell ergeben.In the situation in which no lane marking can be detected on one side of the motor vehicle, it is provided that based on the lattice cells with the highest probability polynomials are generated, which give a track model.
Diese Polynome sind vorzugsweise derart zu generieren, dass der mittlere Fehler zu den maximalen Wahrscheinlichkeiten der einzelnen, verwerteten Gitterzellen minimal ist. Die Polynome werden bevorzugt für den linken und den rechten Fahrbahnrand erstellt, um ein vollständiges Spurmodell zu erhalten.These polynomials are preferably to be generated in such a way that the average error to the maximum probabilities of the individual, utilized grid cells is minimal. The polynomials are preferably created for the left and right lane edges to obtain a complete lane model.
Es wird weiterhin erfindungsgemäß eine Einrichtung zur Erfassung wenigstens eines Fahrbahnrandes, insbesondere eines unmarkierten Fahrbahnrandes, zur Verfügung gestellt, zwecks Erstellung eines Spurmodells für ein Kraftfahrzeug. Die erfindungsgemäße Einrichtung weist wenigstens eine Kamera zur Aufnahme eines aktuellen ersten Bildes vor dem Kraftfahrzeug, eine Auswahleinrichtung zur Auswahl eines als befahrbar anzunehmenden Bereiches vor dem Kraftfahrzeug, eine Einrichtung zur Erzeugung eines umgekehrten optischen Flusses von zuvor aufgenommenen Bildern, eine erste Sucheinrichtung zum Auffinden von korrespondierenden Bereichen zu dem als befahrbar anzunehmenden Bereich in Bildern des umgekehrten optischen Flusses, eine zweite Sucheinrichtung zum Auffinden von Entsprechungen zu diesen korrespondierenden Bereichen im aktuellen ersten Bild, eine Definitionseinrichtung zur Definition eines Suchbereiches anhand der Entsprechungen, eine erste Ermittlungseinrichtung zur Ermittlung von dominanten Orientierungen innerhalb des Suchbereiches, eine zweite Ermittlungseinrichtung zur Ermittlung wenigstens eines Fluchtpunktes im aktuellen ersten Bild unter Verwendung der dominanten Orientierungen, und eine Recheneinheit zur Erstellung eines Spurmodells unter Nutzung des Fluchtpunktes auf.It is further provided according to the invention a device for detecting at least one lane edge, in particular an unmarked lane edge, provided for the purpose of creating a track model for a motor vehicle. The device according to the invention has at least one camera for recording a current first image in front of the motor vehicle, a selection device for selecting an area to be assumed to be passable in front of the motor vehicle, a device for generating a reverse optical flow of previously recorded images, a first search device for finding corresponding ones Areas to the assumed to be passable area in images of the inverted optical Flow, a second search means for finding correspondences to these corresponding areas in the current first image, a definition means for defining a search range based on the correspondences, a first detection means for determining dominant orientations within the search range, a second detection means for determining at least one vanishing point in the current first image using the dominant orientations, and a computing unit for creating a track model using the vanishing point on.
Die Auswahleinrichtung, die Einrichtung zur Erzeugung eines umgekehrten optischen Flusses, die erste und/oder zweite Sucheinrichtung, die Definitionseinrichtung, die erste und/oder zweite Ermittlungseinrichtung und/oder die Recheneinheit können dabei Bestandteile einer rechnergestützten Steuerungseinheit sein. Gegebenenfalls kann auch eine der genannten Einrichtungen derart ausgestaltet sein, dass sie die Funktion einer oder mehrerer der weiteren genannten Einrichtungen mit übernimmt.The selection device, the device for generating a reverse optical flow, the first and / or second search device, the definition device, the first and / or second detection device and / or the arithmetic unit can be components of a computer-aided control unit. Optionally, one of said devices may be configured such that it takes over the function of one or more of the other named devices.
Die erfindungsgemäße Einrichtung ist somit zur Durchführung des erfindungsgemäßen Verfahrens ausgebildet.The device according to the invention is thus designed to carry out the method according to the invention.
In kostengünstiger Ausgestaltung der erfindungsgemäßen Einrichtung ist vorgesehen, dass die Kamera eine monokulare Kamera ist.In a cost-effective embodiment of the device according to the invention it is provided that the camera is a monocular camera.
Die erfindungsgemäße Einrichtung kann weiterhin zur Durchführung des erfindungsgemäßen Verfahrens einen Klassifikator sowie einen Texturfilter aufweisen, wobei der Texturfilter dafür eingerichtet ist, in der Umgebung des jeweiligen Kandidaten Merkmale zu extrahieren und an den Klassifikator weiterzuleiten, und der Klassifikator dafür eingerichtet ist, anhand der Merkmale dem jeweiligen Kandidaten eine Klassifikationswahrscheinlichkeit zuzuordnen.The inventive device may further comprise a classifier and a texture filter for carrying out the method according to the invention, wherein the texture filter is adapted to extract features in the environment of the respective candidate and forward them to the classifier, and the classifier is set up on the basis of the features attributable to each candidate a classification probability.
Vorzugsweise kann die erfindungsgemäße Einrichtung einen steuerbaren Filter aufweisen. Mit einem solchen, so genannten Steerable Filter ist ein erhaltenes Graustufenbild auf dominante Orientierungen untersuchbar. Die dominanten Orientierungen sind dabei die Richtungen des steuerbaren Filters, in denen sich die Filterantworten signifikant häufen, so wie es auch von Rasmussen im
Die Erfindung ergänzend wird außerdem ein Kraftfahrzeug zur Verfügung gestellt, welches eine erfindungsgemäße Einrichtung zur Erfassung wenigstens eines Fahrbahnrandes zwecks Erstellung eines Spurmodells aufweist.The invention additionally provides a motor vehicle which has a device according to the invention for detecting at least one lane edge for the purpose of creating a lane model.
Vorzugsweise sollte dieses Kraftfahrzeug außerdem ein Spurhalteassistenz-System aufweisen, welches signaltechnisch mit der erfindungsgemäßen Einrichtung zur Erfassung wenigstens eines Fahrbahnrandes verbunden ist.Preferably, this motor vehicle should also have a lane departure warning system, which is connected by signal technology with the device according to the invention for detecting at least one lane edge.
Basierend auf den detektierten unmarkierten Fahrbahnrändern lassen sich Spurmodelle schätzen, die ausreichend genau sind, um dem Spurhalteassistenz-System zur Verfügung zu stehen.Based on the detected unmarked lane edges, lane models that are sufficiently accurate to be available to the Lane Keeping Assistance system can be estimated.
Durch die Eingabe des erfindungsgemäß ermittelten Spurmodells in das Spurhalteassistenz-System kann dieses bei unzulässiger Abweichung des tatsächlichen Fahrweges vom ermittelten Spurmodell ein Warnsignal generieren und/oder in die Fahrzeugsteuerung eingreifen.By inputting the track model according to the invention into the lane keeping assistance system, this system can generate a warning signal in the event of impermissible deviation of the actual route from the determined track model and / or intervene in the vehicle control.
Mit der vorliegenden Erfindung kann somit eine bildbasierte Detektion von Fahrbahngrenzen erfolgen, selbst wenn keine künstlich aufgebrachte Fahrbahnmarkierung vorhanden sind. Ein Spurhalteassistenz-System kann die ermittelten Fahrbahngrenzen nutzen. Demzufolge bietet die vorliegende Erfindung die Nutzung des Spurhalteassistenz-Systems und eine Unterstützung des Fahrers auch dann, wenn keine Fahrbahnmarkierungen vorhanden sind. Die Kosten für die Hardware sind dabei überschaubar, da lediglich nur eine monokulare Kamera benötigt wird. Das heißt, dass die vorliegende Erfindung ermöglicht, den Fahrer in Situationen zu unterstützen, die bisher nicht abgedeckt wurden. Insbesondere auf unzureichend oder nicht markierten Straßen erhöht dies wesentlich die Fahrsicherheit. Die Erfindung ist kostengünstig realisierbar, da keine zusätzlichen Sensoren benötigt werden.Thus, with the present invention, image-based detection of lane boundaries can be made even if there is no artificially applied lane marking. A lane departure warning system can use the determined lane boundaries. Accordingly, the present invention offers the use of the lane keeping assistance system and driver assistance even when there are no lane markings. The costs for the hardware are manageable, since only a monocular camera is needed. That is, the present invention allows to assist the driver in situations that have not previously been covered. In particular, on insufficient or unmarked roads, this significantly increases driving safety. The invention is inexpensive to implement, since no additional sensors are needed.
Die vorliegende Erfindung wird nachfolgend in Ausführungsbeispielen anhand der zugehörigen Zeichnungen erläutert. Es zeigen:The present invention will be explained below in embodiments with reference to the accompanying drawings. Show it:
Zunächst wird Bezug genommen auf das in
Die einzelnen, genannten Schritte werden im Folgenden unter Bezugnahme auf die weiteren
Schritt
Als Eingabegrößen für das erfindungsgemäße Verfahren werden die Ausgaben einer Spurerkennung für Farbmarkierungen herangezogen.As input variables for the method according to the invention, the outputs of a track recognition are used for color markings.
Schritt
Eine Suche nach einem oder mehreren Fahrbahnrändern muss nur durchgeführt werden, wenn weniger als zwei spurbegrenzende Markierungen für die eigene Fahrspur existieren.A search for one or more lane edges only has to be carried out if there are fewer than two lane-limiting markings for one's own lane.
Schritt
Als weitere Eingabegrößen werden das Kamerabild, die Kamerakalibrierung und CAN-Daten verwendet.Further input variables used are the camera image, camera calibration and CAN data.
Es wird angenommen, dass der erste im Bild als befahrbar anzunehmende Bereich
Schritt
Für diesen als befahrbar anzunehmenden Bereich
Schritt
Ausgehend von diesem ermittelten Fahrschlauch
Schritt
Nachdem der Suchbereich
Schritt
Es wird nun angenommen, dass die dominanten Orientierungen
Schritt
Wie in
Schritt
In verschiedenen Entfernungen vor dem Kraftfahrzeug werden Belegungsstrahlen
Schritt
Wenn die Abfrage der Spurerkennung ergibt, dass nicht weniger als eine spurbegrenzende Markierung vorhanden ist, wird gemäß Schritt
Schritt
Aus den Belegungsstrahlen
Schritt
Unter Verwendung der ermittelten Spurbreite
Schritt
In einem Plausibilisierungsschritt wird mithilfe von Kontextwissen ermittelt, ob die festgestellte Spurmodellkonfiguration bestimmten Erwartungen entspricht. Das heißt, es können Testabfragen gestartet werden, ob bestimmte für die jeweilige Region zutreffende Kriterien erfüllt sind.In a plausibility step, contextual knowledge is used to determine whether the detected track model configuration meets certain expectations. That is, test queries can be started as to whether certain criteria applicable to the particular region are met.
Wenn die im Schritt
Schritt
Es werden auf Basis der Belegungsstrahlen
Schritt
In einem Plausibilisierungsschritt wird mithilfe von Kontextwissen ermittelt, ob die festgestellte Spurmodellkonfiguration bestimmten Erwartungen entspricht.In a plausibility step, contextual knowledge is used to determine whether the detected track model configuration meets certain expectations.
Im Ergebnis ist ein Spurmodell
BezugszeichenlisteLIST OF REFERENCE NUMBERS
Schritte 01 bis 015
- 01
- Spurerkennung für Farbmarkierungen
- 02
- Abfrage: weniger als zwei spurbegrenzende Markierungen? Wenn Ja:
- 03
- Kamerabild, Kalibrierung, CAN-Daten werden zur Verfügung gestellt
- 04
- umgekehrter optischer Fluss
- 05
- Suchbereiche anpassen
- 06
- dominante Orientierungen erfassen
- 07
- Fluchtpunktschätzung
- 08
- Kandidaten-Auswahl
- 09
- Erstellung Belegungsstrahl
- 010
- Abfrage: weniger als eine spurbegrenzende Markierung? Wenn Nein:
- 011
- Erfassung Spurbreite in Fahrzeughöhe
- 012
- Spiegelung
- 013
- Plausibilisierung
- 014
- Modell Fit
- 015
- Plausibilisierung
- 01
- Track recognition for color markings
- 02
- Query: less than two track-limiting markers? If so:
- 03
- Camera image, calibration, CAN data are provided
- 04
- reverse optical flow
- 05
- Customize search areas
- 06
- capture dominant orientations
- 07
- Vanishing Point Estimate
- 08
- Candidate selection
- 09
- Creation of occupancy beam
- 010
- Query: less than one track-limiting marker? If not:
- 011
- Detecting track width at vehicle height
- 012
- reflection
- 013
- reasonability
- 014
- Fit model
- 015
- reasonability
ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturCited patent literature
- US 2010/0161204 A1 [0003] US 2010/0161204 A1 [0003]
- US 2009/0296987 A1 [0005] US 2009/0296987 A1 [0005]
- WO 2005/039957 A1 [0006] WO 2005/039957 A1 [0006]
- WO 2010/023266 A1 [0007] WO 2010/023266 A1 [0007]
- WO 2005/040950 A1 [0008] WO 2005/040950 A1 [0008]
- US 2010/0054538 A1 [0010] US 2010/0054538 A1 [0010]
- DE 102009044284 [0011] DE 102009044284 [0011]
Zitierte Nicht-PatentliteraturCited non-patent literature
- Artikel ”Texture-Based Vanishing Point Voting for Road Shape Estimation”, publiziert auf der ”British Machine Vision Conference”, 2004 [0016] Article "Texture-Based Vanishing Point Voting for Road Shape Estimation" published at the "British Machine Vision Conference", 2004 [0016]
- Artikel ”Texture-Based Vanishing Point Voting for Road Shape Estimation”, publiziert auf der ”British Machine Vision Conference”, 2004 [0033] Article "Texture-Based Vanishing Point Voting for Road Shape Estimation" published at the "British Machine Vision Conference", 2004 [0033]
- Lookingbill, A.; Rogers, J.; Lieb, D.; Curry, J. and Thrun, S. „Reverse Optical Flow for Self-Supervised Adaptive Autonomous Robot Navigation” im International Journal of Computer Vision, Volume 74 Issue 3, September 2007 [0059] Lookingbill, A .; Rogers, J .; Lieb, D .; Curry, J. and Thrun, S. "Reverse Optical Flow for Self-Supervised Adaptive Autonomous Robot Navigation" in the International Journal of Computer Vision, Volume 74 Issue 3, September 2007 [0059]
- Rasmussen im Artikel ”Texture-Based Vanishing Point Voting for Road Shape Estimation”, publiziert auf der ”British Machine Vision Conference”, 2004 [0062] Rasmussen in the article "Texture-Based Vanishing Point Voting for Road Shape Estimation", published at the "British Machine Vision Conference", 2004 [0062]
Claims (15)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE201210008780 DE102012008780A1 (en) | 2012-04-28 | 2012-04-28 | Method for detecting lane edge i.e. unlabelled lane edge, for creating track model for motor car, involves determining vanishing point in actual image utilizing dominant orientations, where point is utilized for creation of track model |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE201210008780 DE102012008780A1 (en) | 2012-04-28 | 2012-04-28 | Method for detecting lane edge i.e. unlabelled lane edge, for creating track model for motor car, involves determining vanishing point in actual image utilizing dominant orientations, where point is utilized for creation of track model |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| DE102012008780A1 true DE102012008780A1 (en) | 2013-10-31 |
Family
ID=49323070
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| DE201210008780 Granted DE102012008780A1 (en) | 2012-04-28 | 2012-04-28 | Method for detecting lane edge i.e. unlabelled lane edge, for creating track model for motor car, involves determining vanishing point in actual image utilizing dominant orientations, where point is utilized for creation of track model |
Country Status (1)
| Country | Link |
|---|---|
| DE (1) | DE102012008780A1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102014223259A1 (en) | 2014-11-14 | 2016-05-19 | Conti Temic Microelectronic Gmbh | Method for estimating the lane course of a roadway |
| DE102021132924A1 (en) | 2021-12-14 | 2023-06-15 | Valeo Schalter Und Sensoren Gmbh | METHOD OF OPERATING A VEHICLE, COMPUTER PROGRAM, CONTROL SYSTEM AND VEHICLE |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE4124654A1 (en) * | 1991-07-25 | 1993-01-28 | Bundesrep Deutschland | Continuous automatic vehicle orientation on road - using monocular image and modelling to estimate road curvature and width from geometry and dynamic aspects of scene |
| EP0361914B1 (en) * | 1988-09-28 | 1995-12-13 | Honda Giken Kogyo Kabushiki Kaisha | A driving way judging device and method |
| US5555312A (en) * | 1993-06-25 | 1996-09-10 | Fujitsu Limited | Automobile apparatus for road lane and vehicle ahead detection and ranging |
| EP1089231A2 (en) * | 1999-09-22 | 2001-04-04 | Fuji Jukogyo Kabushiki Kaisha | Lane marker recognizing apparatus |
| WO2005040950A1 (en) | 2003-09-30 | 2005-05-06 | Robert Bosch Gmbh | Method and device for lane recognition for a vehicle |
| WO2005039957A1 (en) | 2003-10-24 | 2005-05-06 | Robert Bosch Gmbh | Driver assist method and device based on lane information |
| EP1057141B1 (en) * | 1998-02-27 | 2005-08-24 | Lucas Industries Limited | Road profile detection |
| US20090296987A1 (en) | 2008-05-27 | 2009-12-03 | Toyota Jidosha Kabushiki Kaisha | Road lane boundary detection system and road lane boundary detecting method |
| US20100054538A1 (en) | 2007-01-23 | 2010-03-04 | Valeo Schalter Und Sensoren Gmbh | Method and system for universal lane boundary detection |
| WO2010023266A1 (en) | 2008-09-01 | 2010-03-04 | Robert Bosch Gmbh | Device and method for stabilizing a lane keeping support system |
| DE102009044284A1 (en) | 2008-10-22 | 2010-04-29 | Continental Teves Ag & Co. Ohg | Lane detection method for driver assistance system in vehicle, involves determining multiple image characteristics, detecting lanes based on determined image characteristics, and determining contrast leaps in images |
| US20100161204A1 (en) | 2008-12-23 | 2010-06-24 | National Chiao Tung University | Method for identification of traffic lane boundary |
-
2012
- 2012-04-28 DE DE201210008780 patent/DE102012008780A1/en active Granted
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0361914B1 (en) * | 1988-09-28 | 1995-12-13 | Honda Giken Kogyo Kabushiki Kaisha | A driving way judging device and method |
| DE4124654A1 (en) * | 1991-07-25 | 1993-01-28 | Bundesrep Deutschland | Continuous automatic vehicle orientation on road - using monocular image and modelling to estimate road curvature and width from geometry and dynamic aspects of scene |
| US5555312A (en) * | 1993-06-25 | 1996-09-10 | Fujitsu Limited | Automobile apparatus for road lane and vehicle ahead detection and ranging |
| EP1057141B1 (en) * | 1998-02-27 | 2005-08-24 | Lucas Industries Limited | Road profile detection |
| EP1089231A2 (en) * | 1999-09-22 | 2001-04-04 | Fuji Jukogyo Kabushiki Kaisha | Lane marker recognizing apparatus |
| WO2005040950A1 (en) | 2003-09-30 | 2005-05-06 | Robert Bosch Gmbh | Method and device for lane recognition for a vehicle |
| WO2005039957A1 (en) | 2003-10-24 | 2005-05-06 | Robert Bosch Gmbh | Driver assist method and device based on lane information |
| US20100054538A1 (en) | 2007-01-23 | 2010-03-04 | Valeo Schalter Und Sensoren Gmbh | Method and system for universal lane boundary detection |
| US20090296987A1 (en) | 2008-05-27 | 2009-12-03 | Toyota Jidosha Kabushiki Kaisha | Road lane boundary detection system and road lane boundary detecting method |
| WO2010023266A1 (en) | 2008-09-01 | 2010-03-04 | Robert Bosch Gmbh | Device and method for stabilizing a lane keeping support system |
| DE102009044284A1 (en) | 2008-10-22 | 2010-04-29 | Continental Teves Ag & Co. Ohg | Lane detection method for driver assistance system in vehicle, involves determining multiple image characteristics, detecting lanes based on determined image characteristics, and determining contrast leaps in images |
| US20100161204A1 (en) | 2008-12-23 | 2010-06-24 | National Chiao Tung University | Method for identification of traffic lane boundary |
Non-Patent Citations (3)
| Title |
|---|
| Artikel "Texture-Based Vanishing Point Voting for Road Shape Estimation", publiziert auf der "British Machine Vision Conference", 2004 |
| Lookingbill, A.; Rogers, J.; Lieb, D.; Curry, J. and Thrun, S. "Reverse Optical Flow for Self-Supervised Adaptive Autonomous Robot Navigation" im International Journal of Computer Vision, Volume 74 Issue 3, September 2007 |
| Rasmussen im Artikel "Texture-Based Vanishing Point Voting for Road Shape Estimation", publiziert auf der "British Machine Vision Conference", 2004 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102014223259A1 (en) | 2014-11-14 | 2016-05-19 | Conti Temic Microelectronic Gmbh | Method for estimating the lane course of a roadway |
| DE102014223259B4 (en) | 2014-11-14 | 2021-10-14 | Conti Temic Microelectronic Gmbh | Method for estimating the course of a lane in a lane |
| DE102021132924A1 (en) | 2021-12-14 | 2023-06-15 | Valeo Schalter Und Sensoren Gmbh | METHOD OF OPERATING A VEHICLE, COMPUTER PROGRAM, CONTROL SYSTEM AND VEHICLE |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| DE102013205952B4 (en) | Reconfigurable system and method for the detection of a free path | |
| EP2888604B1 (en) | Method for determining the course of a lane for a vehicle | |
| DE112014002019B4 (en) | Waveform modeling device, vehicle information processing system, waveform modeling method and waveform modeling program | |
| DE102013208521A1 (en) | Collective learning of a highly accurate road model | |
| EP2116958B1 (en) | Method and device for calculating the drive path in the area in front of a vehicle | |
| DE102018111935A1 (en) | Image processing system, image processing method, information processing apparatus and recording medium | |
| DE102007013664A1 (en) | Tool e.g. blade, measuring and/or adjusting device, has rolling nut designed as roller ring transmission comprising set of roller-supported roller rings with variable upward gradient | |
| DE102014212866A1 (en) | Method for determining a parking space from a number of measuring points | |
| DE102018133441A1 (en) | Method and system for determining landmarks in the surroundings of a vehicle | |
| DE102019008093A1 (en) | Method for merging sensor data from a large number of detection devices using a sparse occupancy grid, as well as a driver assistance system | |
| WO2020048669A1 (en) | Method for determining a lane change indication of a vehicle, computer-readable storage medium, and vehicle | |
| DE102018124979A1 (en) | Driver assistance system for determining a distance between two vehicles with a camera | |
| DE102018123393A1 (en) | Detection of parking areas | |
| DE102018211368A1 (en) | A method of describing an environment of a vehicle through the topology of the busy road | |
| DE102018220114A1 (en) | Device and method for detecting a sensor blockage of an environmental sensor | |
| DE102017221839A1 (en) | Method for determining the position of a vehicle, control unit and vehicle | |
| DE102014223259B4 (en) | Method for estimating the course of a lane in a lane | |
| EP3809316A1 (en) | Prediction of a road route based on radar data | |
| DE102012008780A1 (en) | Method for detecting lane edge i.e. unlabelled lane edge, for creating track model for motor car, involves determining vanishing point in actual image utilizing dominant orientations, where point is utilized for creation of track model | |
| DE102015204529A1 (en) | Method and device for object recognition in a means of transportation | |
| DE102018202753A1 (en) | Method for determining a distance between a motor vehicle and an object | |
| DE102022000849A1 (en) | Method for generating an environment representation for a vehicle | |
| DE102021005933A1 (en) | Method for detecting a lane course using a LIDAR and vehicle | |
| DE112021001817T5 (en) | MAP UPDATE DEVICE AND MAP UPDATE PROGRAM | |
| DE112021000482T5 (en) | DETECTION OF FOREIGN OBJECTS IN A VEHICLE PATHWAY |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R163 | Identified publications notified | ||
| R012 | Request for examination validly filed | ||
| R079 | Amendment of ipc main class |
Free format text: PREVIOUS MAIN CLASS: G06K0009620000 Ipc: G06V0030190000 |
|
| R079 | Amendment of ipc main class |
Free format text: PREVIOUS MAIN CLASS: G06V0030190000 Ipc: G06V0020560000 |
|
| R016 | Response to examination communication | ||
| R018 | Grant decision by examination section/examining division |