DE102013022050A1 - Method for tracking a target vehicle, in particular a motorcycle, by means of a motor vehicle, camera system and motor vehicle - Google Patents

Method for tracking a target vehicle, in particular a motorcycle, by means of a motor vehicle, camera system and motor vehicle Download PDF

Info

Publication number
DE102013022050A1
DE102013022050A1 DE102013022050.5A DE102013022050A DE102013022050A1 DE 102013022050 A1 DE102013022050 A1 DE 102013022050A1 DE 102013022050 A DE102013022050 A DE 102013022050A DE 102013022050 A1 DE102013022050 A1 DE 102013022050A1
Authority
DE
Germany
Prior art keywords
target vehicle
detection
motor vehicle
detection algorithm
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102013022050.5A
Other languages
German (de)
Inventor
Julien Rebut
Lowik Chanussot
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Schalter und Sensoren GmbH
Original Assignee
Valeo Schalter und Sensoren GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter und Sensoren GmbH filed Critical Valeo Schalter und Sensoren GmbH
Priority to DE102013022050.5A priority Critical patent/DE102013022050A1/en
Publication of DE102013022050A1 publication Critical patent/DE102013022050A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Abstract

Die Erfindung betrifft ein Verfahren zum Verfolgen eines Zielfahrzeugs (6), insbesondere eines Motorrads (7), mittels eines Kamerasystems (2) eines Kraftfahrzeugs (1), wobei durch eine Kamera (3) des Kamerasystems (2) eine Sequenz von Bildern eines Umgebungsbereichs (4) des Kraftfahrzeugs (1) bereitgestellt wird und das Verfolgen des Zielfahrzeugs (6) durch eine Bildverarbeitungseinrichtung des Kamerasystems (2) anhand der Sequenz der Bilder erfolgt. Das Zielfahrzeug (6) wird durch die Bildverarbeitungseinrichtung in einem Bild (10) der Sequenz unter Verwendung eines Detektionsalgorithmus nach Eintritt des Zielfahrzeugs (6) in einen Detektionsbereich (8) des Detektionsalgorithmus detektiert, in welchem das Zielfahrzeug (6) durch Scheinwerfer (9) des Kraftfahrzeugs (1) beleuchtet wird. Es wird ein vorbestimmter Referenzpunkt (13) an dem Zielfahrzeug (6) in dem Bild (10) identifiziert, und das Verfolgen des Referenzpunkts (13) erfolgt in nachfolgenden Bildern (15) der Sequenz über den Detektionsbereich (8) des Detektionsalgorithmus hinaus.The invention relates to a method for tracking a target vehicle (6), in particular a motorcycle (7), by means of a camera system (2) of a motor vehicle (1), wherein a camera (3) of the camera system (2) displays a sequence of images of a surrounding area (4) of the motor vehicle (1) is provided and the tracking of the target vehicle (6) by an image processing device of the camera system (2) based on the sequence of images. The target vehicle (6) is detected by the image processing device in an image (10) of the sequence using a detection algorithm after the target vehicle (6) has entered a detection area (8) of the detection algorithm in which the target vehicle (6) is illuminated by headlights (9). of the motor vehicle (1) is illuminated. A predetermined reference point (13) is identified on the target vehicle (6) in the image (10), and tracking of the reference point (13) occurs in subsequent images (15) of the sequence beyond the detection range (8) of the detection algorithm.

Figure DE102013022050A1_0001
Figure DE102013022050A1_0001

Description

Die Erfindung betrifft ein Verfahren zum Verfolgen eines Zielfahrzeugs, insbesondere eines Motorrads, mittels eines Kamerasystems eines Kraftfahrzeugs, wobei durch eine Kamera des Kamerasystems eine Sequenz von Bildern eines Umgebungsbereiches des Kraftfahrzeugs bereitgestellt wird und das Verfolgen des Zielfahrzeugs durch eine Bildverarbeitungseinrichtung des Kamerasystems anhand der Sequenz der Bilder erfolgt. Die Erfindung betrifft außerdem ein Kamerasystem zum Durchführen eines solchen Verfahrens sowie ein Kraftfahrzeug mit einem derartigen Kamerasystem.The invention relates to a method for tracking a target vehicle, in particular a motorcycle, by means of a camera system of a motor vehicle, wherein a camera of the camera system, a sequence of images of a surrounding area of the motor vehicle is provided and tracking the target vehicle by an image processing device of the camera system based on the sequence of Pictures done. The invention also relates to a camera system for carrying out such a method and to a motor vehicle having such a camera system.

Das Interesse richtet sich vorliegend insbesondere auf die Verfolgung eines Motorrads mit Hilfe einer Frontkamera eines Kraftfahrzeugs. Frontkameras für Kraftfahrzeuge sind dabei bereits aus dem Stand der Technik bekannt und erfassen üblicherweise Bilder eines Umgebungsbereichs vor dem Kraftfahrzeug. Diese Sequenz von Bildern wird mittels einer elektronischen Bildverarbeitungseinrichtung verarbeitet, welche in den Bildern beispielsweise Zielobjekte detektieren kann. Um die Zielobjekte, insbesondere ein Motorrad, zu detektieren, werden die Bilder einem Objektdetektionsalgorithmus unterzogen. Solche Detektionsalgorithmen sind bereits Stand der Technik und basieren beispielsweise auf einer Mustererkennung. Bei einem solchen Detektionsalgorithmus können zunächst charakteristische Punkte in den Bildern detektiert und anhand dieser charakteristischen Punkte dann die Zielobjekte identifiziert werden. Als Beispiel können dabei folgende Algorithmen genannt werden: Ada-Boost und HOG-SVM.In the present case, the interest is directed in particular to the pursuit of a motorcycle with the aid of a front camera of a motor vehicle. Front cameras for motor vehicles are already known from the prior art and usually capture images of a surrounding area in front of the motor vehicle. This sequence of images is processed by means of an electronic image processing device, which can detect target objects in the images, for example. In order to detect the target objects, in particular a motorcycle, the images are subjected to an object detection algorithm. Such detection algorithms are already state of the art and are based, for example, on pattern recognition. In such a detection algorithm, characteristic points in the images can first be detected and then the target objects can be identified on the basis of these characteristic points. As an example, the following algorithms can be mentioned: Ada-Boost and HOG-SVM.

Die Detektionsalgorithmen haben jedoch den Nachteil, dass sie grundsätzlich lediglich bei einer hellen Umgebung zuverlässig funktionieren. Bei Dunkelheit – beispielsweise nachts oder in einem Tunnel – ist die Reichweite beziehungsweise der Detektionsbereich eines Detektionsalgorithmus beschränkt, und es können lediglich diejenigen Zielobjekte detektiert werden, die sich sehr nah an dem Kraftfahrzeug befinden und somit unmittelbar durch die Scheinwerfer des Kraftfahrzeugs beleuchtet werden. Tritt ein detektiertes Zielobjekt aus diesem Detektionsbereich heraus, ist eine weitere Verfolgung nicht mehr möglich.However, the detection algorithms have the disadvantage that they basically only work reliably in a bright environment. In the dark - for example, at night or in a tunnel - the range or the detection range of a detection algorithm is limited, and only those target objects can be detected that are very close to the motor vehicle and are thus illuminated directly by the headlights of the motor vehicle. If a detected target object emerges from this detection area, further tracking is no longer possible.

Ein kamerabasiertes Fahrerassistenzsystem zur Detektion von Fußgängern ist beispielsweise aus dem Dokument US 8 378 851 B2 bekannt.A camera-based driver assistance system for detecting pedestrians is for example from the document US 8,378,851 B2 known.

Es ist Aufgabe der Erfindung, eine Lösung aufzuzeigen, wie bei einem Verfahren der eingangs genannten Gattung das Zielfahrzeug durch das Kamerasystem besonders zuverlässig auch bei Dunkelheit – beispielsweise nachts oder in einem Tunnel – über eine längere Zeitdauer hinweg verfolgt werden kann.It is an object of the invention to provide a solution, as in a method of the type mentioned the target vehicle by the camera system particularly reliable even in the dark - for example, at night or in a tunnel - over a longer period of time can be tracked.

Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch ein Kamerasystem sowie durch ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausführungen der Erfindung sind Gegenstand der abhängigen Patentansprüche, der Beschreibung und der Figuren.This object is achieved by a method by a camera system and by a motor vehicle with the features according to the respective independent claims. Advantageous embodiments of the invention are the subject of the dependent claims, the description and the figures.

Ein erfindungsgemäßes Verfahren dient zum Verfolgen eines Zielfahrzeugs, insbesondere eines Motorrads, mittels eines Kamerasystems eines Kraftfahrzeugs, wobei durch eine Kamera des Kamerasystems eine Sequenz von Bildern eines Umgebungsbereichs des Kraftfahrzeugs bereitgestellt wird. Die Kamera kann insbesondere eine Frontkamera sein, welche eine Sequenz von Bildern eines Umgebungsbereiches in Fahrzeuglängsrichtung bzw. in Fahrtrichtung vor dem Kraftfahrzeug bereitstellt. Das Verfolgen des Zielfahrzeugs erfolgt durch eine Bildverarbeitungseinrichtung des Kamerasystems anhand der Sequenz der Bilder. Das Zielfahrzeug wird zunächst durch die Bildverarbeitungseinrichtung in einem Bild (nachfolgend auch als Detektionsbild genannt) der Sequenz unter Verwendung eines Detektionsalgorithmus detektiert, sobald dieses Zielfahrzeug in einem Detektionsbereich des Detektionsalgorithmus eintritt, in welchem das Zielfahrzeug durch Scheinwerfer des Kraftfahrzeugs beleuchtet wird. Wird das Zielfahrzeug mittels des Detektionsalgorithmus detektiert, so wird ein vorbestimmter Referenzpunkt an dem Zielfahrzeug in dem Detektionsbild identifiziert. Das Verfolgen des Zielfahrzeugs umfasst dann, dass der Referenzpunkt in nachfolgenden Bildern der Sequenz auch über den Detektionsbereich des Detektionsalgorithmus hinaus verfolgt wird, also auch dann, wenn sich das Zielfahrzeug außerhalb des Detektionsbereichs befindet und somit nicht mehr durch die Scheinwerfer des Kraftfahrzeugs beleuchtet wird.A method according to the invention serves to track a target vehicle, in particular a motorcycle, by means of a camera system of a motor vehicle, wherein a sequence of images of a surrounding area of the motor vehicle is provided by a camera of the camera system. In particular, the camera can be a front camera which provides a sequence of images of a surrounding area in the vehicle longitudinal direction or in the direction of travel in front of the motor vehicle. The tracking of the target vehicle is carried out by an image processing device of the camera system based on the sequence of images. The target vehicle is first detected by the image processing device in an image (hereinafter also referred to as detection image) of the sequence using a detection algorithm as soon as this target vehicle enters a detection range of the detection algorithm in which the target vehicle is illuminated by headlights of the motor vehicle. When the target vehicle is detected by the detection algorithm, a predetermined reference point on the target vehicle is identified in the detection image. The tracking of the target vehicle then includes that the reference point in subsequent images of the sequence is also tracked beyond the detection range of the detection algorithm, ie even if the target vehicle is outside the detection range and thus is no longer illuminated by the headlights of the motor vehicle.

Bei dem erfindungsgemäßen Verfahren wird das Zielfahrzeug also mit Hilfe eines geeigneten Detektionsalgorithmus (beispielsweise Ada-Boost und/oder HOG-SVM) identifiziert, sobald das Zielfahrzeug durch die Scheinwerfer des Kraftfahrzeugs beleuchtet wird und sich somit in einem Detektionsbereich des Detektionsalgorithmus befindet. Nach dieser genauen Detektion des Zielfahrzeugs wird dann ein vorbestimmter Referenzpunkt an dem Zielfahrzeug gesucht und über die nachfolgenden Bilder hinweg sowie über die Grenze des Detektionsbereichs des Detektionsalgorithmus hinaus verfolgt, also auch dann, wenn sich das Zielfahrzeug bereits außerhalb des Detektionsbereichs befindet und somit nicht mehr durch die Scheinwerfer beleuchtet wird. Auf diese Art und Weise kann das Zielfahrzeug auch bei Dunkelheit besonders zuverlässig verfolgt werden, so dass stets die genaue Position des Zielfahrzeugs in den Bildern und somit die genaue Position relativ zum Kraftfahrzeug bekannt ist. Somit kann der Fahrer des Kraftfahrzeugs bereits frühzeitig durch das Kamerasystem vor einer möglichen Kollisionsgefahr mit dem Zielfahrzeug gewarnt werden.In the method according to the invention, the target vehicle is therefore identified with the aid of a suitable detection algorithm (for example Ada-Boost and / or HOG-SVM) as soon as the target vehicle is illuminated by the headlights of the motor vehicle and is thus located in a detection range of the detection algorithm. After this precise detection of the target vehicle, a predetermined reference point is then searched for on the target vehicle and tracked beyond the subsequent images as well as beyond the boundary of the detection range of the detection algorithm, ie even when the target vehicle is already outside the detection range and thus no longer through the headlights are illuminated. In this way, the target vehicle can be tracked particularly reliable even in the dark, so that always the exact position of the target vehicle in the pictures and thus the exact position relative to the motor vehicle is known. Thus, the driver of the motor vehicle can be warned early by the camera system against a possible risk of collision with the target vehicle.

Die Frontkamera kann beispielsweise hinter einer Windschutzscheibe des Kraftfahrzeugs angeordnet sein, beispielsweise direkt an der Windschutzscheibe im Innenraum des Kraftfahrzeugs. Die Frontkamera erfasst dann die Umgebung in Fahrtrichtung beziehungsweise in Fahrzeuglängsrichtung vor dem Kraftfahrzeug. Dies kann insbesondere bedeuten, dass eine senkrecht zur Ebene des Bildsensors verlaufende Kameraachse parallel beziehungsweise entlang der Fahrzeuglängsachse orientiert ist.The front camera can be arranged, for example, behind a windshield of the motor vehicle, for example, directly on the windshield in the interior of the motor vehicle. The front camera then detects the environment in the direction of travel or in the vehicle longitudinal direction in front of the motor vehicle. This may in particular mean that a camera axis running perpendicular to the plane of the image sensor is oriented parallel or along the vehicle longitudinal axis.

Die Kamera ist vorzugsweise eine Videokamera, welche eine Vielzahl von Bildern (Frames) pro Sekunde bereitstellen kann. Die Kamera kann dabei eine CCD-Kamera oder eine CMOS-Kamera sein.The camera is preferably a video camera which can provide a plurality of frames per second. The camera can be a CCD camera or a CMOS camera.

Es erweist sich als besonders vorteilhaft, wenn als Referenzpunkt eine Leuchte, insbesondere eine Heckleuchte, des Zielfahrzeugs identifiziert wird. Dies hat den Vorteil, dass diese Leuchte auch dann zuverlässig verfolgt werden kann, wenn das Zielfahrzeug nicht mehr durch den Scheinwerfer des Kraftfahrzeugs beleuchtet wird. Die Leuchte kann also auch dann detektiert werden, wenn sich das Zielfahrzeug relativ weit von dem Kraftfahrzeug befindet. Bei Dunkelheit kann das Zielfahrzeug somit über eine lange Zeitdauer hinweg verfolgt werden.It proves to be particularly advantageous if a light, in particular a tail light, of the target vehicle is identified as the reference point. This has the advantage that this lamp can be tracked reliably even if the target vehicle is no longer illuminated by the headlight of the motor vehicle. The lamp can therefore also be detected when the target vehicle is relatively far from the motor vehicle. In darkness, the target vehicle can thus be tracked over a long period of time.

Um festzustellen, ob sich das Zielfahrzeug innerhalb oder außerhalb des Detektionsbereichs des Detektionsalgorithmus befindet, können verschiedene Ausführungsformen vorgesehen sein:
Es ist zum einen möglich, mittels eines von der Kamera separaten Abstandssensors – zum Beispiels eines Ultraschallsensors und/oder eines Radarsensors und/oder eines Lidar-Sensors – eine Entfernung des Zielfahrzeugs von dem Kraftfahrzeug zu erfassen. Anhand der aktuellen Entfernung kann die Bildverarbeitungseinrichtung dann bestimmen, ob sich das Zielfahrzeug aktuell in dem Detektionsbereich des Detektionsalgorithmus befindet oder nicht. Für die gemessene Entfernung kann beispielsweise ein Grenzwert abgelegt sein, mit welchem die gemessene Entfernung verglichen wird. Ist die Entfernung kleiner als der Grenzwert, kann angenommen werden, dass sich das Zielfahrzeug in dem Detektionsbereich befindet.In order to determine whether the target vehicle is located inside or outside the detection range of the detection algorithm, various embodiments may be provided:
On the one hand, it is possible to detect a distance of the target vehicle from the motor vehicle by means of a distance sensor separate from the camera, for example an ultrasonic sensor and / or a radar sensor and / or a lidar sensor. Based on the current distance, the image processing device can then determine whether the target vehicle is currently in the detection range of the detection algorithm or not. For example, a limit value can be stored for the measured distance, with which the measured distance is compared. If the distance is less than the threshold, it can be assumed that the target vehicle is in the detection area.

In einer alternativen Ausführungsform ist vorgesehen, dass der Detektionsalgorithmus fortlaufend auf die Bilder der Sequenz angewendet wird und das Eintreten des Zielfahrzeugs in den Detektionsbereich als detektiert gilt, wenn durch den Detektionsalgorithmus eine Position des Zielfahrzeugs in einem Bild der Sequenz als Ergebnis des Detektionsalgorithmus ausgegeben wird. Wird also die Detektionsschwelle des Detektionsalgorithmus unterschritten, so wird das Zielfahrzeug automatisch durch den Detektionsalgorithmus identifiziert, und als Ergebnis des Detektionsalgorithmus wird die aktuelle Position des Zielfahrzeugs in dem Detektionsbild ausgegeben. Nach dieser Detektion kann dann der Referenzpunkt an dem Zielfahrzeug identifiziert und über die nachfolgenden Bilder hinweg verfolgt werden.In an alternative embodiment, it is provided that the detection algorithm is applied continuously to the images of the sequence and the entry of the target vehicle into the detection area is detected when the detection algorithm outputs a position of the target vehicle in an image of the sequence as a result of the detection algorithm. If, therefore, the detection threshold of the detection algorithm is undershot, the target vehicle is automatically identified by the detection algorithm, and as a result of the detection algorithm, the current position of the target vehicle is output in the detection image. After this detection, the reference point on the target vehicle can then be identified and tracked over the subsequent images.

Also kann das Detektieren des Zielfahrzeugs umfassen, dass mittels des Detektionsalgorithmus eine Position des Zielfahrzeugs in dem Bild bestimmt wird. Als Ergebnis des Detektionsalgorithmus kann beispielsweise ein sogenannter Begrenzungskasten (Bounding Box) bereitgestellt werden, welcher die Position des Zielfahrzeugs in dem Bild charakterisiert. Somit ist auch die Position des Zielfahrzeugs relativ zum Kraftfahrzeug bekannt.Thus, detecting the target vehicle may include determining a position of the target vehicle in the image by means of the detection algorithm. As a result of the detection algorithm, for example, a so-called bounding box may be provided which characterizes the position of the target vehicle in the image. Thus, the position of the target vehicle relative to the motor vehicle is also known.

In einer Ausführungsform ist vorgesehen, dass der vorbestimmte Referenzpunkt ausschließlich innerhalb einer Teilregion des Bilds durch die Bildverarbeitungseinrichtung gesucht wird, insbesondere ausschließlich innerhalb des oben genannten Begrenzungskastens. Somit kann die für die Detektion des Referenzpunkts benötigte Zeit deutlich reduziert werden, wodurch das Verfolgen des Zielobjekts auch bei Kamerasystemen mit einer eingeschränkten Rechenleistung ermöglicht wird.In an embodiment, it is provided that the predetermined reference point is searched exclusively within a partial region of the image by the image processing device, in particular exclusively within the above-mentioned bounding box. Thus, the time required for the detection of the reference point can be significantly reduced, whereby the tracking of the target object is also made possible in camera systems with a limited computing power.

Wird das Zielfahrzeug mittels des Detektionsalgorithmus in dem Detektionsbild detektiert, so kann anhand dieses Detektionsbilds zumindest eine der folgenden Referenzparameter bestimmt und bei der späteren Verfolgung des Zielfahrzeugs außerhalb des Detektionsbereichs berücksichtigt werden:

  • – eine aktuelle Entfernung des Zielfahrzeugs von dem Kraftfahrzeug und/oder
  • – eine Höhe des Zielfahrzeugs in dem Detektionsbild und/oder eine reale Höhe des Zielfahrzeugs und/oder
  • – eine Breite des Zielfahrzeugs in dem Bild und/oder eine reale Breite des Zielfahrzeugs und/oder
  • – eine Höhe des Referenzpunktes über einem Boden in dem Detektionsbild.
If the target vehicle is detected in the detection image by means of the detection algorithm, at least one of the following reference parameters can be determined on the basis of this detection image and taken into account in the later tracking of the target vehicle outside the detection area:
  • A current distance of the target vehicle from the motor vehicle and / or
  • A height of the target vehicle in the detection image and / or a real height of the target vehicle and / or
  • A width of the target vehicle in the image and / or a real width of the target vehicle and / or
  • A height of the reference point above a ground in the detection image.

Sind diese Referenzparameter bekannt, können diese Parameter dann später als Referenz für die Verfolgung des Zielfahrzeugs und die Bestimmung der aktuellen Position des Zielfahrzeugs genutzt werden, wenn sich das Zielfahrzeug außerhalb des Detektionsbereichs befindet. Befindet sich das Zielfahrzeug außerhalb des Detektionsbereichs, so kann anhand des verfolgten Referenzpunkts und insbesondere auch anhand des zumindest einen Referenzparameters zumindest einer der folgenden Parameter bestimmt werden:

  • – die aktuelle Entfernung des Zielfahrzeugs von dem Kraftfahrzeug und/oder
  • – die Position des Zielfahrzeugs in dem aktuellen Bild, insbesondere ein Begrenzungskasten, welcher die Position des Zielfahrzeugs in dem aktuellen Bild charakterisiert.
If these reference parameters are known, these parameters can then be used later as a reference for the tracking of the target vehicle and the determination of the current position of the target vehicle when the target vehicle is outside the detection range. If the target vehicle is outside the detection range, at least one of the following parameters can be determined on the basis of the tracked reference point and in particular also on the basis of the at least one reference parameter:
  • The current distance of the target vehicle from the motor vehicle and / or
  • The position of the target vehicle in the current image, in particular a bounding box which characterizes the position of the target vehicle in the current image.

Während sich das Zielfahrzeug in dem Detektionsbereich befindet, kann der Detektionsalgorithmus fortlaufend auf die Bilder der Sequenz angewendet werden. Zu jeder Detektion des Zielfahrzeugs durch das Detektionsalgorithmus kann dann jeweils der oben genannte, zumindest eine Referenzparameter bestimmt werden. Somit kann die Genauigkeit der späteren Verfolgung des Zielfahrzeugs außerhalb des Detektionsbereichs erhöht werden, da insgesamt mehr Referenzinformationen zur Verfügung stehen.While the target vehicle is in the detection area, the detection algorithm can be continuously applied to the images of the sequence. For each detection of the target vehicle by the detection algorithm, the abovementioned, at least one reference parameter can then be determined in each case. Thus, the accuracy of the later tracking of the target vehicle outside the detection range can be increased because more reference information is available overall.

Die Erfindung betrifft auch ein Kamerasystem für ein Kraftfahrzeug, wobei das Kamerasystem zum Verfolgen eines Zielfahrzeugs ausgebildet ist, insbesondere eines Motorrads. Das Kamerasystem umfasst eine Kamera zum Bereitstellen einer Sequenz von Bildern eines Umgebungsbereichs des Kraftfahrzeugs sowie eine Bildverarbeitungseinrichtung zum Verfolgend des Zielfahrzeugs anhand der Sequenz der Bilder, wobei die Bildverarbeitungseinrichtung dazu ausgelegt ist, ein erfindungsgemäßes Verfahren durchzuführen.The invention also relates to a camera system for a motor vehicle, wherein the camera system is designed to track a target vehicle, in particular a motorcycle. The camera system comprises a camera for providing a sequence of images of a surrounding area of the motor vehicle and an image processing device for tracking the target vehicle on the basis of the sequence of images, wherein the image processing device is adapted to perform a method according to the invention.

Ein erfindungsgemäßes Kraftfahrzeug, insbesondere ein Personenkraftwagen, umfasst ein erfindungsgemäßes Kamerasystem.A motor vehicle according to the invention, in particular a passenger car, comprises a camera system according to the invention.

Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße Kamerasystem sowie für das erfindungsgemäße Kraftfahrzeug.The preferred embodiments presented with reference to the method according to the invention and their advantages apply correspondingly to the camera system according to the invention and to the motor vehicle according to the invention.

Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Alle vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder aber in Alleinstellung verwendbar.Further features of the invention will become apparent from the claims, the figures and the description of the figures. All the features and feature combinations mentioned above in the description as well as the features and feature combinations mentioned below in the description of the figures and / or shown alone in the figures can be used not only in the respectively indicated combination but also in other combinations or alone.

Die Erfindung wird nachfolgend anhand eines bevorzugten Ausführungsbeispiels sowie unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert.The invention will be explained in more detail below with reference to a preferred embodiment and with reference to the accompanying drawings.

Es zeigen:Show it:

1 in schematischer Darstellung ein Kraftfahrzeug mit einem Kamerasystem gemäß einer Ausführungsform der Erfindung, wobei sich vor dem Kraftfahrzeug ein Zielfahrzeug befindet; 1 a schematic representation of a motor vehicle with a camera system according to an embodiment of the invention, wherein in front of the motor vehicle, a target vehicle is located;

2 in schematischer Darstellung ein beispielhaftes Bild, in welchem das Zielfahrzeug abgebildet ist, wobei sich das Zielfahrzeug in einem Detektionsbereich eines Detektionsalgorithmus befindet; 2 a schematic representation of an exemplary image in which the target vehicle is shown, wherein the target vehicle is located in a detection range of a detection algorithm;

3 in schematischer Darstellung. ein beispielhaftes Bild, wobei sich das Zielfahrzeug außerhalb des Detektionsbereichs befindet; und 3 in a schematic representation. an exemplary image, wherein the target vehicle is outside the detection area; and

4 eine schematische Darstellung zur Erläuterung eines Verfahrens gemäß einer Ausführungsform der Erfindung. 4 a schematic representation for explaining a method according to an embodiment of the invention.

Ein in 1 gezeigtes Kraftfahrzeug 1 ist im Ausführungsbeispiel ein Personenkraftwagen. Das Kraftfahrzeug 1 umfasst ein Kamerasystem 2, welches beispielsweise als Kollisionswarnungssystem dient, mittels welchem der Fahrer des Kraftfahrzeugs 1 vor einer Kollisionsgefahr gewarnt werden kann. Ergänzend oder alternativ kann das Kamerasystem 2 auch als automatisches Bremsassistenzsystem ausgebildet sein, mittels welchem das Kraftfahrzeug 1 aufgrund einer detektierten Gefahr automatisch abgebremst werden kann.An in 1 shown motor vehicle 1 is a passenger car in the embodiment. The car 1 includes a camera system 2 which serves, for example, as a collision warning system, by means of which the driver of the motor vehicle 1 can be warned against a collision hazard. Additionally or alternatively, the camera system 2 also be designed as an automatic brake assist system, by means of which the motor vehicle 1 can be braked automatically due to a detected hazard.

Das Kamerasystem 2 umfasst eine Kamera 3, welche als Frontkamera ausgebildet ist. Die Kamera 3 ist im Innenraum des Kraftfahrzeugs 1 an einer Windschutzscheibe des Kraftfahrzeugs 1 angeordnet und erfasst einen Umgebungsbereich 4 in Fahrzeuglängsrichtung x beziehungsweise in Längsrichtung einer Fahrbahn 5 vor dem Kraftfahrzeug 1. Die Kamera 3 ist beispielsweise eine CCD-Kamera oder aber eine CMOS-Kamera. Die Kamera 3 ist außerdem eine Video-Kamera, welche eine Sequenz von Bildern des Umgebungsbereiches 4 bereitstellt und an eine in den Fig. nicht dargestellte Bildverarbeitungseinrichtung übermittelt. Diese Bildverarbeitungseinrichtung und die Kamera 3 können auch in ein gemeinsames Gehäuse integriert sein.The camera system 2 includes a camera 3 , which is designed as a front camera. The camera 3 is in the interior of the motor vehicle 1 on a windshield of the motor vehicle 1 arranges and detects a surrounding area 4 in the vehicle longitudinal direction x or in the longitudinal direction of a roadway 5 in front of the motor vehicle 1 , The camera 3 is for example a CCD camera or a CMOS camera. The camera 3 is also a video camera, which is a sequence of images of the surrounding area 4 provides and transmitted to an image processing device not shown in the figures. This image processing device and the camera 3 can also be integrated into a common housing.

Wie aus 1 hervorgeht, befindet sich auf der Fahrbahn 5 vor dem Kraftfahrzeug 1 ein Zielfahrzeug 6, im Ausführungsbeispiel ein Motorrad 7. Die Bildverarbeitungseinrichtung ist so eingerichtet, dass sie auf die Bilder des Umgebungsbereichs 4 einen Detektionsalgorithmus anwenden kann, welcher zur Detektion von Objekten ausgelegt ist. Dieser Detektionsalgorithmus kann beispielsweise in einem Speicher der Bildverarbeitungseinrichtung abgelegt sein und beispielsweise auf dem Algorithmus Ada-Boost basieren. Beispielsweise kann das Detektionsalgorithmus eine Mustererkennung beinhalten. Solche Detektionsalgorithmen sind bereits Stand der Technik und werden daher hier nicht näher beschrieben.How out 1 shows, is on the road 5 in front of the motor vehicle 1 a target vehicle 6 , in the embodiment, a motorcycle 7 , The image processing device is set up to look at the images of the surrounding area 4 can apply a detection algorithm designed to detect objects. This detection algorithm can be stored, for example, in a memory of the image processing device and based for example on the Ada-Boost algorithm. For example, the detection algorithm may include a pattern recognition. Such detection algorithms are already state of the art Technology and are therefore not described here.

Die Objektdetektion mittels des Detektionsalgorithmus kann zuverlässig nur dann erfolgen, wenn die abgebildete Szene ausreichend ausgeleuchtet ist, also insbesondere bei Tageslicht. Die Reichweite des Detektionsalgorithmus hängt dann im Wesentlichen ausschließlich von der Auflösung der Bilder ab. Bei Dunkelheit hingegen ist ein Detektionsbereich 8 des Algorithmus – das heißt die Reichweite des Detektionsalgorithmus – aufgrund der dunklen Szene begrenzt und hängt grundsätzlich von der Ausleuchtung des Umgebungsbereichs 4 durch Scheinwerfer 9 des Kraftfahrzeugs 1 ab. Der Detektionsbereich 8 des Detektionsalgorithmus ist bei dunkler Umgebung also so definiert, dass der Detektionsalgorithmus das Motorrad 7 ausschließlich dann detektieren kann, wenn sich das Motorrad 7 innerhalb des Detektionsbereichs 8 befindet, in welchem das Motorrad 7 durch die Scheinwerfer 9 beleuchtet wird. Befindet sich das Motorrad 7 außerhalb des Detektionsbereichs 8, ist eine Detektion mittels des Detektionsalgorithmus nicht oder nur begrenzt möglich. Um das Motorrad 7 jedoch auch über eine längere Zeitdauer hinweg verfolgen zu können, wird ein Verfahren vorgeschlagen, welches. nachfolgend näher beschrieben wird.The object detection by means of the detection algorithm can reliably only take place if the imaged scene is sufficiently illuminated, ie in particular in daylight. The range of the detection algorithm then depends essentially exclusively on the resolution of the images. In darkness, however, is a detection area 8th The algorithm - that is, the range of the detection algorithm - is limited due to the dark scene and basically depends on the illumination of the surrounding area 4 through headlights 9 of the motor vehicle 1 from. The detection area 8th the detection algorithm is defined in a dark environment so that the detection algorithm the motorcycle 7 can only detect when the motorcycle is 7 within the detection area 8th located in which the motorcycle 7 through the headlights 9 is illuminated. Is the motorcycle 7 outside the detection area 8th , Detection by means of the detection algorithm is not possible or only to a limited extent. To the motorcycle 7 However, to be able to follow over a longer period of time, a method is proposed which. will be described in more detail below.

2 zeigt ein beispielhaftes Bild 10 des Umgebungsbereiches 4', welches durch die Kamera 3 bereitgestellt wird. Abgebildet ist eine Rückseite des Motorrads 7'. In diesem Bild 10 befindet sich das Motorrad 7 innerhalb des Detektionsbereichs 8, so dass der Detektionsalgorithmus das Motorrad 7' identifizieren kann. Als Ergebnis des Detektionsalgorithmus wird ein Begrenzungskasten 11 ausgegeben, welcher die genaue Position und die Abmessungen des Motorrads 7' im Bild 10 angibt. Der Begrenzungskasten 11 kann beispielsweise durch die Bildkoordinaten einer unteren linken Ecke 12 im Bild 10 sowie durch eine Breite w und eine Höhe h definiert werden. 2 shows an exemplary picture 10 of the surrounding area 4 ' which by the camera 3 provided. Pictured is a back of the motorcycle 7 ' , In this picture 10 is the motorcycle 7 within the detection area 8th so the detection algorithm is the motorcycle 7 ' can identify. As a result of the detection algorithm becomes a bounding box 11 issued, showing the exact position and dimensions of the motorcycle 7 ' in the picture 10 indicates. The bounding box 11 can, for example, by the image coordinates of a lower left corner 12 in the picture 10 and be defined by a width w and a height h.

Das Ergebnis des Detektionsalgorithmus ist also die genaue Position des Motorrads 7' sowie seine Abmessungen im Bild 10. Da die Kameraparameter – insbesondere die Position der Kamera 3 am Kraftfahrzeug 1 – bekannt sind, ist somit auch die genaue relative Position des Motorrads 7 bezüglich des Kraftfahrzeugs 1 bekannt.The result of the detection algorithm is therefore the exact position of the motorcycle 7 ' as well as its dimensions in the picture 10 , As the camera parameters - especially the position of the camera 3 on the motor vehicle 1 - are known, so is the exact relative position of the motorcycle 7 with respect to the motor vehicle 1 known.

Sobald das Motorrad 7 also in den Detektionsbereich 8 des Detektionsalgorithmus eintritt, wird das Motorrad 7 durch den Detektionsalgorithmus identifiziert. Ob sich das Motorrad 7 aktuell innerhalb des Detektionsbereichs 8 befindet, kann auf zwei verschiedene Arten festgestellt werden: Zum einen kann der Detektionsalgorithmus auf die Bilder der Sequenz fortlaufend angewendet werden, so dass fortlaufend überprüft wird, ob das Motorrad 7 vor dem Kraftfahrzeug 1 detektiert werden kann. Detektiert der Algorithmus das Motorrad 7, so bedeutet dies, dass sich das Motorrad 7 in dem Detektionsbereich 8 befindet. Hier ist also keine scharfe Grenze für den Detektionsbereich 8 definiert. Zum anderen kann jedoch auch ein zusätzlicher Abstandssensor eingesetzt werden, mittels welchem eine Entfernung des Motorrads 7 von dem Kraftfahrzeug 1 gemessen wird. Diese Entfernung kann mit einem abgelegten Grenzwert verglichen werden. Wird dieser Grenzwert unterschritten, kann mit Sicherheit angenommen werden, dass sich das Motorrad 7 im Detektionsbereich 8 befindet.Once the motorcycle 7 So in the detection area 8th of the detection algorithm, the motorcycle becomes 7 identified by the detection algorithm. Whether the bike 7 currently within the detection area 8th On the one hand, the detection algorithm can be continuously applied to the images of the sequence, so that it is checked continuously whether the motorcycle 7 in front of the motor vehicle 1 can be detected. The algorithm detects the motorcycle 7 So it means that the bike is 7 in the detection area 8th located. So here is no sharp limit for the detection area 8th Are defined. On the other hand, however, an additional distance sensor can be used, by means of which a removal of the motorcycle 7 from the motor vehicle 1 is measured. This distance can be compared to a stored limit. If this limit is exceeded, it can be safely assumed that the motorcycle 7 in the detection area 8th located.

Sobald das Motorrad 7 mittels des Detektionsalgorithmus detektiert wird, wird durch die Bildverarbeitungseinrichtung in dem Bild 10 nach einem vorbestimmten Referenzpunkt 13 an dem Motorrad 7' gesucht. Im Ausführungsbeispiel wird als Referenzpunkt 13 eine Heckleuchte 14 des Motorrads 7 verwendet. Da diese Leuchte 14 auch selbst Licht erzeugt, ist somit gewährleistet, dass diese Leuchte 14 auch über den Detektionsbereich 8 hinaus verfolgt werden kann. Nach dem Referenzpunkt 13 wird dabei ausschließlich innerhalb des Begrenzungskastens 11 gesucht, um die Rechenzeit zu reduzieren.Once the motorcycle 7 is detected by the detection algorithm is detected by the image processing device in the image 10 after a predetermined reference point 13 on the motorcycle 7 ' searched. In the embodiment is used as a reference point 13 a tail light 14 of the motorcycle 7 used. Because this light 14 Even if it generates light itself, it is guaranteed that this luminaire 14 also over the detection area 8th can be traced out. After the reference point 13 is only within the bounding box 11 searched to reduce the computation time.

Nach Detektion des Referenzpunkts 13 wird dieser Referenzpunkt 13 durch die Bildverarbeitungseinrichtung über die Sequenz von nachfolgenden Bildern verfolgt, und zwar auch dann, wenn sich das Motorrad 7 nicht mehr im Detektionsbereich 8 befindet. 3 zeigt ein beispielhaftes Bild 15 des Umgebungsbereiches 4', wobei sich das Motorrad 7 bereits außerhalb des Detektionsbereichs 8 befindet. Obwohl der Detektionsalgorithmus das Motorrad 7' nicht mehr detektieren kann, weil das Motorrad 7 nicht mehr durch die Scheinwerfer 9 ausgeleuchtet wird, kann die Bildverarbeitungseinrichtung das Motorrad 7 weiterhin verfolgen und hierbei auch einen Begrenzungskasten 11a bestimmen, welcher die aktuelle Position des Motorrads 7 in dem Bild 15 beschreibt. Dies ist deshalb möglich, da die Bildverarbeitungseinrichtung den Referenzpunkt 13 verfolgt und außerdem auch Referenzparameter bekannt sind, welche anhand des Bilds 10 erfasst wurden.After detection of the reference point 13 becomes this reference point 13 tracked by the image processing device on the sequence of subsequent images, even if the motorcycle 7 no longer in the detection area 8th located. 3 shows an exemplary picture 15 of the surrounding area 4 ' , where the bike is 7 already outside the detection area 8th located. Although the detection algorithm is the motorcycle 7 ' can no longer detect, because the motorcycle 7 no longer through the headlights 9 is illuminated, the image processing device, the motorcycle 7 continue to track and this also a bounding box 11a determine which the current position of the motorcycle 7 in the picture 15 describes. This is possible because the image processing device is the reference point 13 and also reference parameters are known, which are based on the image 10 were recorded.

Das Verfolgen des Motorrads 7 über den Detektionsbereich 8 hinaus und über die Bilder hinweg beinhaltet also, dass zu jedem Bild oder zu jedem n-ten Bild der Referenzpunkt 13 detektiert und der Begrenzungskasten 11a bestimmt wird, so dass die jeweils aktuelle Position des Motorrads 7' im Bild 15 und somit relativ zum Kraftfahrzeug 1 bekannt ist. Diese aktuelle Position wird durch den Begrenzungskasten 11a definiert, welcher zusätzlich auch die Abmessungen des Motorrads 7' im Bild 15 angibt.Tracking the motorcycle 7 over the detection area 8th In addition to and beyond the images, this includes the reference point for every image or every nth image 13 detected and the bounding box 11a is determined, so that the current position of the motorcycle 7 ' in the picture 15 and thus relative to the motor vehicle 1 is known. This current position is determined by the bounding box 11a which also defines the dimensions of the motorcycle 7 ' in the picture 15 indicates.

Anhand von 4 wird nachfolgend beschrieben, wie die Bestimmung des Begrenzungskastens 11a erfolgt, wenn sich das Motorrad 7 außerhalb des Detektionsbereichs 8 befindet. 4 zeigt neben dem Begrenzungskasten 11 aus dem Detektionsbild 10 (2) zusätzlich auch den Begrenzungskasten 11a aus dem aktuellen Bild 15 (3). Der Begrenzungskasten 11 wird durch den Detektionsalgorithmus ausgegeben, wenn sich das Motorrad 7 innerhalb des Detektionsbereichs 8 befindet. Der Begrenzungskasten 11a wird hingegen anhand des verfolgten Referenzpunkts 13 bestimmt, das heißt unabhängig von dem Detektionsalgorithmus, wenn sich das Motorrad 7 außerhalb des Detektionsbereichs 8 befindet.Based on 4 is described below as the determination of the bounding box 11a takes place when the motorcycle 7 outside the detection area 8th located. 4 shows next to the bounding box 11 from the detection image 10 ( 2 ) also the bounding box 11a from the current picture 15 ( 3 ). The bounding box 11 is issued by the detection algorithm when the motorcycle 7 within the detection area 8th located. The bounding box 11a is, on the other hand, based on the tracked reference point 13 determined, that is independent of the detection algorithm when the motorcycle 7 outside the detection area 8th located.

Anhand des Begrenzungskastens 11 und des detektierten Referenzpunkts 13 im Bild 10 werden folgende Referenzparameter bestimmt und für spätere Verfolgung abgelegt:

  • – eine Höhe h0 des Motorrads 7' (d. h. des Begrenzungskastens 11) in dem Bild 10,
  • – aus dieser Höhe h0 kann auch die tatsächliche Höhe des Motorrads 7 berechnet werden;
  • – optional eine Breite wo des Motorrads 7' (d. h. des Begrenzungskastens 11) im Bild 10 – daraus ist auch eine reale Breite des Motorrads 7 bekannt;
  • – eine Höhe z0 des Referenzpunkts 13 über dem Boden im bild 10 – das heißt ein Abstand zwischen dem Referenzpunkt 13 und dem Boden des Begrenzungskastens 11 –; daraus ist auch die reale Höhe des Referenzpunkts 13 über der Fahrbahn bekannt;
  • – eine aktuelle Entfernung D0 des Motorrads 7 von dem Kraftfahrzeug 1 – diese Entfernung ist durch einen Abstand des Bodens des Begrenzungskastens 11 von dem unteren Bildrand bekannt.
Based on the bounding box 11 and the detected reference point 13 in the picture 10 The following reference parameters are determined and stored for later tracking:
  • A height h 0 of the motorcycle 7 ' (ie the bounding box 11 ) in the picture 10 .
  • - From this height h 0 can also be the actual height of the motorcycle 7 be calculated;
  • - optionally a width where the motorcycle 7 ' (ie the bounding box 11 ) in the picture 10 - this is also a real width of the motorcycle 7 known;
  • A height z 0 of the reference point 13 above the ground in the picture 10 That is a distance between the reference point 13 and the bottom of the bounding box 11 -; from this is also the real height of the reference point 13 known above the carriageway;
  • - a current distance D 0 of the motorcycle 7 from the motor vehicle 1 - This distance is by a distance of the bottom of the bounding box 11 known from the bottom of the picture.

Diese Referenzparameter werden anhand des Begrenzungskastens 11 bestimmt und in einem Speicher abgelegt, während sich das Motorrad 7 innerhalb des Detektionsbereichs 8 befindet. Die Referenzparameter werden dann bei der späteren Verfolgung des Motorrads 7 außerhalb des Detektionsbereichs 8 und somit bei der Bestimmung des Begrenzungskastens 11 im Bild 15 berücksichtigt.These reference parameters are determined by the bounding box 11 determined and stored in a memory while the motorcycle 7 within the detection area 8th located. The reference parameters will then be used in the later tracking of the motorcycle 7 outside the detection area 8th and thus in the determination of the bounding box 11 in the picture 15 considered.

Die Bestimmung des Begrenzungskastens 11a im Bild 15 und somit die Verfolgung des Motorrads 7 außerhalb des Detektionsbereichs 8 sieht folgendermaßen aus:
Da die (reale) Höhe des Referenzpunkts 13 über dem Boden bekannt ist, kann anhand des Referenzpunkts 13 im Bild 15 (3) zunächst der Boden des Begrenzugskastens 11a und somit eine Entfernung Dt des Motorrads 7 bestimmt werden. Die Entfernung Dt ist somit bekannt.The determination of the bounding box 11a in the picture 15 and thus the pursuit of the motorcycle 7 outside the detection area 8th looks like this:
Because the (real) height of the reference point 13 above the ground can be determined by the reference point 13 in the picture 15 ( 3 ) first the bottom of the Begrenzugbox 11a and thus a distance D t of the motorcycle 7 be determined. The distance D t is thus known.

Außerdem ist die relative Höhe z0/h0 des Referenzpunkts 13 innerhalb des Begrenzungskastens 11 bekannt. Diese relative Höhe z0/h0 ist konstant über die Zeit. Weil die reale Höhe des Motorrads 7 sowie die Entfernung Dt bekannt sind, kann daraus auch die Höhe ht des Begrenzungskastens 11a im Bild 15 bestimmt werden. Die Höhe ht ist nämlich direkt abhängig von der Entfernung Dt und von der realen Höhe des Motorrads 7. Nun kann auch die Höhe zt des Referenzpunkts 13 über dem Boden im Bild 15 berechnet werden: zt = (z0/h0)ht.In addition, the relative height z 0 / h 0 of the reference point 13 within the bounding box 11 known. This relative height z 0 / h 0 is constant over time. Because the real height of the motorcycle 7 and the distance D t are known, it can also be the height h t of the bounding box 11a in the picture 15 be determined. The height h t is directly dependent on the distance D t and on the real height of the motorcycle 7 , Now also the height z t of the reference point can 13 over the ground in the picture 15 be calculated: z t = (z 0 / h 0 ) h t .

Aus dem Verhältnis z0/h0 kann auch die Breite w, des Begrenzungskastens 11a im Bild 15 berechnet werden.From the ratio z 0 / h 0 and the width w, the bounding box 11a in the picture 15 be calculated.

Insgesamt ist somit die Position des Motorrads 7 in dem Bild 15 bekannt und durch den Begrenzungskasten 11a definiert. Das Motorrad 7 kann also auch dann verfolgt werden, wenn es sich außerhalb des Detektionsbereichs 8 befindet.Overall, therefore, the position of the motorcycle 7 in the picture 15 known and through the bounding box 11a Are defined. The motorcycle 7 So it can be tracked even if it is outside the detection area 8th located.

Die Genauigkeit der Verfolgung kann auch dadurch erhöht werden, dass die oben genannten Referenzparameter h0, z0, w0, D0 für mehrere Bilder 10 bestimmt werden, während sich das Motorrad 7 noch innerhalb des Detektionsbereichs befindet. Die Referenzparameter – beispielsweise das Verhältnis z0/h0 – können dann beispielsweise gemittelt werden.The accuracy of the tracking can also be increased by using the abovementioned reference parameters h 0 , z 0 , w 0 , D 0 for a plurality of images 10 be determined while the motorcycle 7 still within the detection range. The reference parameters - for example, the ratio z 0 / h 0 - can then be averaged, for example.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • US 8378851 B2 [0004] US 8378851 B2 [0004]

Claims (12)

Verfahren zum Verfolgen eines Zielfahrzeugs (6), insbesondere eines Motorrads (7), mittels eines Kamerasystems (2) eines Kraftfahrzeugs (1), wobei durch eine Kamera (3) des Kamerasystems (2) eine Sequenz von Bildern (10, 15) eines Umgebungsbereichs (4) des Kraftfahrzeugs (1) bereitgestellt wird und das Verfolgen des Zielfahrzeugs (6) durch eine Bildverarbeitungseinrichtung des Kamerasystems (2) anhand der Sequenz der Bilder (10, 15) erfolgt, mit den Schritten: – Detektieren des Zielfahrzeugs (6) durch die Bildverarbeitungseinrichtung in einem Bild (10) der Sequenz unter Verwendung eines Detektionsalgorithmus nach Eintritt des Zielfahrzeugs (6) in einen Detektionsbereich (8) des Detektionsalgorithmus, in welchem das Zielfahrzeug (6) durch Scheinwerfer (9) des Kraftfahrzeugs (1) beleuchtet wird, – Identifizieren eines vorbestimmten Referenzpunkts (13) an dem Zielfahrzeug (6) in dem Bild (10) und – Verfolgen des Referenzpunkts (13) in nachfolgenden Bildern (15) der Sequenz über den Detektionsbereich (8) des Detektionsalgorithmus hinaus.Method for tracking a target vehicle ( 6 ), in particular a motorcycle ( 7 ), by means of a camera system ( 2 ) of a motor vehicle ( 1 ), whereby by a camera ( 3 ) of the camera system ( 2 ) a sequence of images ( 10 . 15 ) of a surrounding area ( 4 ) of the motor vehicle ( 1 ) and tracking the target vehicle ( 6 ) by an image processing device of the camera system ( 2 ) based on the sequence of images ( 10 . 15 ), comprising the steps of: - detecting the target vehicle ( 6 ) by the image processing device in an image ( 10 ) of the sequence using a detection algorithm after entry of the target vehicle ( 6 ) into a detection area ( 8th ) of the detection algorithm in which the target vehicle ( 6 ) by headlamps ( 9 ) of the motor vehicle ( 1 ), - identifying a predetermined reference point ( 13 ) on the target vehicle ( 6 ) in the picture ( 10 ) and - tracking the reference point ( 13 ) in subsequent pictures ( 15 ) of the sequence over the detection area ( 8th ) of the detection algorithm. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als der Referenzpunkt (13) eine Leuchte (14), insbesondere eine Heckleuchte, des Zielfahrzeugs (6) identifiziert wird.Method according to claim 1, characterized in that as the reference point ( 13 ) a lamp ( 14 ), in particular a tail lamp, of the target vehicle ( 6 ) is identified. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass mittels eines von der Kamera (3) separaten Abstandssensors eine Entfernung des Zielfahrzeugs (6) von dem Kraftfahrzeug (1) erfasst wird und anhand der erfassten Entfernung durch die Bildverarbeitungseinrichtung bestimmt wird, ob sich das Zielfahrzeug (6) aktuell in dem Detektionsbereich (8) des Detektionsalgorithmus befindet.Method according to claim 1 or 2, characterized in that by means of one of the camera ( 3 ) separate distance sensor a distance of the target vehicle ( 6 ) of the motor vehicle ( 1 ) is determined and is determined on the basis of the detected distance by the image processing device, whether the target vehicle ( 6 ) currently in the detection area ( 8th ) of the detection algorithm. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der Detektionsalgorithmus fortlaufend auf die Bilder (10, 15) der Sequenz angewendet wird und das Eintreten des Zielfahrzeugs (6) in den Detektionsbereich (8) als detektiert gilt, wenn durch den Detektionsalgorithmus eine Position des Zielfahrzeugs (6) in einem Bild (10, 15) der Sequenz als Ergebnis des Detektionsalgorithmus ausgegeben wird.Method according to claim 1 or 2, characterized in that the detection algorithm continuously accesses the images ( 10 . 15 ) of the sequence is applied and the entry of the target vehicle ( 6 ) in the detection area ( 8th ) is detected as detected if, by the detection algorithm, a position of the target vehicle ( 6 ) in a picture ( 10 . 15 ) of the sequence is output as a result of the detection algorithm. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Detektieren des Zielfahrzeugs (6) umfasst, dass mittels des Detektionsalgorithmus eine Position des Zielfahrzeugs (6) in dem Bild (10) bestimmt wird.Method according to one of the preceding claims, characterized in that the detection of the target vehicle ( 6 ) comprises that by means of the detection algorithm a position of the target vehicle ( 6 ) in the picture ( 10 ) is determined. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass das Detektieren des Zielfahrzeugs (6) umfasst, dass als Ergebnis des Detektionsalgorithmus ein Begrenungskasten (11) bereitgestellt wird, welcher die Position des Zielfahrzeugs (6) in dem Bild (10) charakterisiert.Method according to claim 5, characterized in that the detection of the target vehicle ( 6 ) that as a result of the detection algorithm a bounding box ( 11 ) providing the position of the target vehicle ( 6 ) in the picture ( 10 Characterized. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der vorbestimmte Referenzpunkt (13) ausschließlich innerhalb einer Teilregion des Bilds (10) durch die Bildverarbeitungseinrichtung gesucht wird, insbesondere ausschließlich innerhalb des Begrenzungskastens (11).Method according to one of the preceding claims, characterized in that the predetermined reference point ( 13 ) exclusively within a subregion of the image ( 10 ) is searched by the image processing device, in particular exclusively within the bounding box ( 11 ). Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass nach Detektion des Zielfahrzeugs (6) in dem Bild (10) zumindest einer der folgenden Referenzparameter anhand dieses Bilds (10) bestimmt und bei der späteren Verfolgung berücksichtigt wird: – eine aktuelle Entfernung (D0) des Zielfahrzeugs (6) von dem Kraftfahrzeug (1) und/oder – eine Höhe (h0) des Zielfahrzeugs (6) in dem Bild (10) und/oder eine reale Höhe des Zielfahrzeugs (6) und/oder – eine Breite (w0) des Zielfahrzeugs (6) in dem Bild (10) und/oder eine reale Breite des Zielfahrzeugs (6) und/oder – eine Höhe (z0) des Referenzpunkts (13) über einem Boden in dem Bild (10).Method according to one of the preceding claims, characterized in that after detection of the target vehicle ( 6 ) in the picture ( 10 ) of at least one of the following reference parameters on the basis of this image ( 10 ) and taken into account in the later tracking: a current distance (D 0 ) of the target vehicle ( 6 ) of the motor vehicle ( 1 ) and / or - a height (h 0 ) of the target vehicle ( 6 ) in the picture ( 10 ) and / or a real height of the target vehicle ( 6 ) and / or - a width (w 0 ) of the target vehicle ( 6 ) in the picture ( 10 ) and / or a real width of the target vehicle ( 6 ) and / or - a height (z 0 ) of the reference point ( 13 ) above a ground in the image ( 10 ). Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass während sich das Zielfahrzeug (6) in dem Detektionsbereich (8) befindet, der Detektionsalgorithmus fortlaufend auf die Bilder (10, 15) der Sequenz angewendet wird, wobei zu jeder Detektion des Zielfahrzeugs (6) durch das Detektionsalgorithmus jeweils der zumindest eine Referenzparameter bestimmt wird.A method according to claim 8, characterized in that while the target vehicle ( 6 ) in the detection area ( 8th ), the detection algorithm is continuously applied to the images ( 10 . 15 ) of the sequence is applied, with each detection of the target vehicle ( 6 ) the at least one reference parameter is determined by the detection algorithm. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verfolgen des Zielfahrzeugs (6) umfasst, dass anhand des verfolgten Referenzpunkts (13), und insbesondere auch anhand des zumindest einen Referenzparameters: – die aktuelle Entfernung (Dt) des Zielfahrzeugs (6) von dem Kraftfahrzeug (1) bestimmt wird und/oder – die Position des Zielfahrzeugs (6) in dem aktuellen Bild (15) bestimmt wird, insbesondere ein Begrenzungskasten (11a) bereitgestellt wird, welcher die Position des Zielfahrzeugs (6) in dem aktuellen Bild (15) charakterisiert.Method according to one of the preceding claims, characterized in that the tracking of the target vehicle ( 6 ) that, on the basis of the tracked reference point ( 13 ), and in particular also on the basis of the at least one reference parameter: the current distance (D t ) of the target vehicle ( 6 ) of the motor vehicle ( 1 ) and / or - the position of the target vehicle ( 6 ) in the current picture ( 15 ), in particular a bounding box ( 11a ) providing the position of the target vehicle ( 6 ) in the current picture ( 15 Characterized. Kamerasystem (2) für ein Kraftfahrzeug (1), zum Verfolgen eines Zielfahrzeugs (6), insbesondere eines Motorrads (7), mit einer Kamera (3) zum Bereitstellen einer Sequenz von Bildern (10, 15) eines Umgebungsbereichs (4) des Kraftfahrzeugs (1), und mit einer Bildverarbeitungseinrichtung zum Verfolgen des Zielfahrzeugs (6) anhand der Sequenz der Bilder (10, 15), wobei die Bildverarbeitungseinrichtung dazu ausgelegt ist, ein Verfahren nach einem der vorhergehenden Ansprüche durchzuführen.Camera system ( 2 ) for a motor vehicle ( 1 ), for tracking a target vehicle ( 6 ), in particular a motorcycle ( 7 ), with a camera ( 3 ) for providing a sequence of images ( 10 . 15 ) of a surrounding area ( 4 ) of the motor vehicle ( 1 ), and with an image processing device for tracking the target vehicle ( 6 ) based on the sequence of images ( 10 . 15 ), wherein the image processing device thereto is designed to perform a method according to any one of the preceding claims. Kraftfahrzeug (1) mit einem Kamerasystem (2) nach Anspruch 11.Motor vehicle ( 1 ) with a camera system ( 2 ) according to claim 11.
DE102013022050.5A 2013-12-23 2013-12-23 Method for tracking a target vehicle, in particular a motorcycle, by means of a motor vehicle, camera system and motor vehicle Pending DE102013022050A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102013022050.5A DE102013022050A1 (en) 2013-12-23 2013-12-23 Method for tracking a target vehicle, in particular a motorcycle, by means of a motor vehicle, camera system and motor vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102013022050.5A DE102013022050A1 (en) 2013-12-23 2013-12-23 Method for tracking a target vehicle, in particular a motorcycle, by means of a motor vehicle, camera system and motor vehicle

Publications (1)

Publication Number Publication Date
DE102013022050A1 true DE102013022050A1 (en) 2015-06-25

Family

ID=53274981

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102013022050.5A Pending DE102013022050A1 (en) 2013-12-23 2013-12-23 Method for tracking a target vehicle, in particular a motorcycle, by means of a motor vehicle, camera system and motor vehicle

Country Status (1)

Country Link
DE (1) DE102013022050A1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111179602A (en) * 2020-02-25 2020-05-19 浙江广厦建设职业技术学院 Computer monitoring system for tunnel road section traffic management
EP3663978A1 (en) * 2018-12-07 2020-06-10 Thinkware Corporation Method for detecting vehicle and device for executing the same
CN111289958A (en) * 2018-12-06 2020-06-16 星克跃尔株式会社 Inter-vehicle distance measuring method, inter-vehicle distance measuring device, electronic apparatus, computer program, and computer-readable recording medium
EP3855409A1 (en) * 2020-01-21 2021-07-28 Thinkware Corporation Method, apparatus, electronic device, computer program, and computer readable recording medium for measuring inter-vehicle distance based on vehicle image

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6317691B1 (en) * 2000-02-16 2001-11-13 Hrl Laboratories, Llc Collision avoidance system utilizing machine vision taillight tracking
US20020154820A1 (en) * 2001-03-06 2002-10-24 Toshimitsu Kaneko Template matching method and image processing device
US8378851B2 (en) 2006-05-31 2013-02-19 Mobileye Technologies Limited Fusion of images in enhanced obstacle detection

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6317691B1 (en) * 2000-02-16 2001-11-13 Hrl Laboratories, Llc Collision avoidance system utilizing machine vision taillight tracking
US20020154820A1 (en) * 2001-03-06 2002-10-24 Toshimitsu Kaneko Template matching method and image processing device
US8378851B2 (en) 2006-05-31 2013-02-19 Mobileye Technologies Limited Fusion of images in enhanced obstacle detection

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Almagambetov, A., Casares, M. ; Velipasalar, S.: Autonomous tracking of vehicle taillights from a mobile platform using an embedded smart camera. In: Distributed Smart Cameras (ICDSC), 2012 Sixth International Conference on, Oct. 30 2012-Nov. 2, 2012, 1-6. *
Mukhtar, A. ; Likun Xia ; Tang Tong Boon ; Abu Kassim, K.A.: On-road approaching motorcycle detection and tracking techniques: A survey. In: IEEE International Conference on Control System, Computing and Engineering, 29 Nov. - 1 Dec. 2013, 63-68. *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11814064B2 (en) 2018-12-06 2023-11-14 Thinkware Corporation Method, apparatus, electronic device, computer program and computer readable recording medium for measuring inter-vehicle distance using driving image
CN111289958A (en) * 2018-12-06 2020-06-16 星克跃尔株式会社 Inter-vehicle distance measuring method, inter-vehicle distance measuring device, electronic apparatus, computer program, and computer-readable recording medium
US11814063B2 (en) 2018-12-06 2023-11-14 Thinkware Corporation Method, apparatus, electronic device, computer program and computer readable recording medium for measuring inter-vehicle distance using driving image
US11318957B2 (en) 2018-12-06 2022-05-03 Thinkware Corporation Method, apparatus, electronic device, computer program and computer readable recording medium for measuring inter-vehicle distance using driving image
CN111289958B (en) * 2018-12-06 2023-06-20 星克跃尔株式会社 Inter-vehicle distance measuring method, inter-vehicle distance measuring device, electronic apparatus, computer program, and computer-readable recording medium
EP3663978A1 (en) * 2018-12-07 2020-06-10 Thinkware Corporation Method for detecting vehicle and device for executing the same
US11881030B2 (en) 2018-12-07 2024-01-23 Thinkware Corporation Method for detecting vehicle and device for executing the same
US11475576B2 (en) 2018-12-07 2022-10-18 Thinkware Corporation Method for detecting vehicle and device for executing the same
EP3855409A1 (en) * 2020-01-21 2021-07-28 Thinkware Corporation Method, apparatus, electronic device, computer program, and computer readable recording medium for measuring inter-vehicle distance based on vehicle image
CN113212498B (en) * 2020-01-21 2023-08-04 星克跃尔株式会社 Inter-vehicle distance measuring method, inter-vehicle distance measuring device, electronic apparatus, computer program, and computer-readable recording medium
US11680813B2 (en) 2020-01-21 2023-06-20 Thinkware Corporation Method, apparatus, electronic device, computer program, and computer readable recording medium for measuring inter-vehicle distance based on vehicle image
CN113212498A (en) * 2020-01-21 2021-08-06 星克跃尔株式会社 Inter-vehicle distance measuring method, inter-vehicle distance measuring device, electronic apparatus, computer program, and computer-readable recording medium
CN111179602A (en) * 2020-02-25 2020-05-19 浙江广厦建设职业技术学院 Computer monitoring system for tunnel road section traffic management

Similar Documents

Publication Publication Date Title
DE102011088130B4 (en) Method and device for detecting a braking situation
DE102007043164B4 (en) Nebula detection device for motor vehicles
DE102018203807A1 (en) Method and device for detecting and evaluating road conditions and weather-related environmental influences
DE102015121952A1 (en) Method for identifying an object in a surrounding area of a motor vehicle, driver assistance system and motor vehicle
EP2748032B1 (en) Method and device for controlling a headlamp of a vehicle
DE102015111907B4 (en) Algorithm to extend the detection range for an AVM stop line detection
DE112019000339T5 (en) AUTOMATIC LIGHTING SYSTEM
DE112017005447T5 (en) Object detecting device
DE102014208271A1 (en) Method and apparatus for image based vision estimation
DE102013012930A1 (en) Method for determining a current distance and / or a current speed of a target object from a reference point in a camera image, camera system and motor vehicle
DE102017117518A1 (en) Image conversion device
DE102013103952B4 (en) Lane detection at full speed with an all-round vision system
DE112009005352T5 (en) Distance measuring device and distance measuring method
DE102013022050A1 (en) Method for tracking a target vehicle, in particular a motorcycle, by means of a motor vehicle, camera system and motor vehicle
DE102013020947A1 (en) Method for tracking a target object with brightness change, camera system and motor vehicle
DE102013103953B4 (en) Lane detection at full speed using multiple cameras
EP3655299B1 (en) Method and device for determining an optical flow on the basis of an image sequence captured by a camera of a vehicle
DE102013021840A1 (en) Method for generating an environment model of a motor vehicle, driver assistance system and motor vehicle
EP2166489A1 (en) Method and device for detecting vehicles in the dark
DE102006004770B4 (en) Method for image-based recognition of vehicles in the vicinity of a road vehicle
EP2562685B1 (en) Method and device for classifying a light object located in front of a vehicle
DE102013012778A1 (en) Method for detecting a moving pedestrian on the basis of characteristic features and optical flow vectors of an image, camera system and motor vehicle
DE102012018117A1 (en) A method of operating a frontal headlamp device of a vehicle, driver assistance device and vehicle
DE102008025749A1 (en) Method and device for classifying an object detected in at least one image of an image of an area in front of a vehicle
DE102011081391A1 (en) Method and device for detecting disturbing objects in the ambient air of a vehicle

Legal Events

Date Code Title Description
R083 Amendment of/additions to inventor(s)
R163 Identified publications notified
R012 Request for examination validly filed
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009620000

Ipc: G06V0030190000