WO1999034235A1 - Verfahren und vorrichtung zur aufnahme eines dreidimensionalen abstandsbildes - Google Patents

Verfahren und vorrichtung zur aufnahme eines dreidimensionalen abstandsbildes Download PDF

Info

Publication number
WO1999034235A1
WO1999034235A1 PCT/DE1998/003344 DE9803344W WO9934235A1 WO 1999034235 A1 WO1999034235 A1 WO 1999034235A1 DE 9803344 W DE9803344 W DE 9803344W WO 9934235 A1 WO9934235 A1 WO 9934235A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensor
light
integration
pixel
image
Prior art date
Application number
PCT/DE1998/003344
Other languages
English (en)
French (fr)
Inventor
Peter Mengel
Günter DOEMENS
Original Assignee
Siemens Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from DE19757595A external-priority patent/DE19757595C2/de
Priority claimed from DE19833207A external-priority patent/DE19833207A1/de
Application filed by Siemens Aktiengesellschaft filed Critical Siemens Aktiengesellschaft
Priority to US09/581,091 priority Critical patent/US6373557B1/en
Priority to DE59809883T priority patent/DE59809883D1/de
Priority to JP2000526831A priority patent/JP3860412B2/ja
Priority to EP98962257A priority patent/EP1040366B1/de
Priority to KR10-2000-7007058A priority patent/KR100508277B1/ko
Publication of WO1999034235A1 publication Critical patent/WO1999034235A1/de

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60NSEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/002Seats provided with an occupancy detection means mounted therein or thereon
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512Passenger detection systems
    • B60R21/0153Passenger detection systems using field detection presence sensors
    • B60R21/01538Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/04Systems determining the presence of a target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/487Extracting wanted echo signals, e.g. pulse detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Definitions

  • the invention relates to a method and a device for recording a three-dimensional distance image of spatial objects.
  • Three-dimensional recording and processing sensor systems are becoming increasingly important for various tasks in industrial technology.
  • Known optical radar systems such as laser radar, are based either on the principle of laser pulse transit time measurement or on the determination of the phase difference of modulated laser light to derive the object distance. Additional mechanical scanning devices are required to set up a three-dimensional imaging system. This leads to a relatively expensive electronic and mechanical effort, which limits the use of such three-dimensional systems to a few special applications.
  • the invention has for its object to provide a method for recording a three-dimensional distance image, as well as a device for doing so, which provides a fast and inexpensive method for obtaining a three-dimensional distance image for spatial objects without complex mechanical devices.
  • the invention is based on the finding that an extremely fast image recording of a three-dimensional distance image is possible using an image-resolving (pixel-resolving) and optionally readable optoelectronic sensor, the integration time of which can be set point by point.
  • the object is illuminated with one or more very short light pulses, whereupon light pulses of the same length are scattered back from the object.
  • These backscattered light pulses are directed to the optoelectronic chip via appropriate optics. Due to the different distances of different object points from the sensor, backscattered light pulses corresponding to the respective locations will arrive at the sensor at different times.
  • a time measurement window is opened for a distance measurement, the duration of which corresponds to a predeterminable integration time.
  • the integration time is less than or equal to the length of the emitted and thus also the length of the reflected light pulses. This ensures that the backscattered light pulses are cut off uniformly at the sensor at the end of the integration time.
  • the light pulses per pixel element arriving with a time delay are cut off at the rear, so that, due to the different charges in the grid of the optoelectronic sensor, the different transit times can be converted into charge differences.
  • a three-dimensional distance image can be calculated from this.
  • the invention can also be designed in such a way that instead of a light pulse with a defined length, only an increase in light intensity with a steep flank is used, which is recorded and evaluated accordingly on the sensor. This makes the measurement result independent of the course of the falling edge of the light pulse.
  • a dark current which is generated, for example, by the operating heat of a sensor element, and the proportion of ambient light (stray light) can be exactly compensated for each pixel.
  • the following measurements are first of all the dark current and the ambient light, then the quantities of light reflected from the object and received at the sensor are integrated in the form of the sensor signal in connection with an exposure, which is then repeated with a higher integration time.
  • the transit time of the light for each object point can be determined from this by appropriate interpolation. This opens up the use of lower light outputs while at the same time accurately measuring the transit time and thus the distance to the object.
  • all light pulses are recorded simultaneously with the measurement described first or with their complete length after a time afterwards.
  • the main advantages of the invention are that mechanical shutters, for example, are eliminated. Extremely short image acquisition times can be achieved.
  • the optoelectronic sensor used is generally referred to as a CMOS sensor, although this is only the technological name of the semiconductor component. With such a sensor, minimal integration times of 50 to 30 nsec can be achieved (jitter at less than 0.1%). The technical development is still progressing with the integration times.
  • FIG. 1 shows the functional principle for acquiring a three-dimensional distance image with a CMOS sensor
  • FIG. 2 shows the schematic representation of a time shift of two light pulses whose associated object points are at a different distance from the CMOS sensor, relative to integration windows,
  • FIG. 3 shows two variants of the sensor for the simultaneous acquisition of three-dimensional distance images and intensity or gray value images with a CMOS sensor
  • Figure 4 shows the schematic representation of the vehicle interior monitoring with a three-dimensional CMOS sensor.
  • FIG. 5 shows the distance measurement with an integrating CMOS image sensor, the signal of the transmitter-side laser diode and the receiver-side sensor signals being shown.
  • FIG. 6 shows the distance measurement with an integrating CMOS image sensor, the operation of a laser diode on the transmission side being shown in FIG. 6a and the sensor signals achieved by continuous integration on the sensor being shown in FIG. 6b,
  • FIG. 7 shows in a time correlation the relationships between the transmission-side illumination and the reception-side detection of a laser pulse, the measurement signals shown in FIG. 7 below being shown in conjunction with a short integration time and a very long integration time.
  • FIG. 8 shows the transmission and reception representation of a laser pulse in a time correlation, two different short integration times being provided in relation to the lighting control of the sensor.
  • a method for the serial or simultaneous acquisition or generation of an intensity and a three-dimensional distance image of a spatial object with an optoelectronic sensor under short exposure is described. The method uses the runtime differences of the light impulses scattered back from the three-dimensional objects in the case of pixel-synchronous (pixel-synchronous) detection at the sensor within short integration times.
  • a CMOS sensor is used for this.
  • This sensor has a light sensitivity of 1 mLux, for example. Furthermore, it has a high intensity dynamic of up to 10 7 , optional access to the individual pixels (pixels) and an adjustable integration time (sample & hold). For measuring the amount of charge Q (t) when exposed to a single pixel.
  • CMOS does not require any complex mechanical shutters and it is not necessary to use high-performance laser light sources for short-time exposure.
  • the method is particularly suitable for the detection of people and movement sequences in room monitoring, for example vehicle interior and exterior monitoring, automation of crane systems and navigation.
  • the spatial objects to be detected are illuminated with short light pulses, for example ⁇ 100 ns. Illumination can take place with laser light, for example with a pulsed laser diode, or with light sources, for example with a pulsed LED diode.
  • the process is independent of the angle of the lighting, which is not necessarily central to the general detection direction must take place.
  • the use of a ring light is also conceivable for coaxial lighting and detection.
  • the arrangement shown in Figure 1 is only used to illustrate the functional principle schematically.
  • a first image acquisition A is connected to the CMOS sensor with a short integration time ⁇ A.
  • the light pulses 3 of length ⁇ L ( ⁇ 100 nsec) scattered back from the object points G of the three-dimensional scene are detected at the associated pixels 9 of the CMOS sensor within a set short integration time ⁇ A ⁇ L.
  • An electronic trigger pulse establishes a fixed temporal relationship between the emitted light pulse 2 and the opening of the integration time window on the CMOS sensor. Due to the running time of the light, there is a different time shift depending on the object distance R.
  • CMOS sensor For object points G with the same surface reflection coefficient 0 R , depending on their distance R, a different charge Q A is measured at the associated pixel of the CMOS sensor. This makes small runtime differences the light pulses are transformed into changes in charge Q A , so that an integrated charge is representative for each object point G with its respective distance R (1) . With a CMOS sensor, these can be detected very sensitively and with high dynamics. The objects of a three-dimensional scene usually have a different surface reflection.
  • a second image recording Q B is therefore carried out, which is only dependent on the surface reflection of the objects of the three-dimensional scene.
  • Carrying out a second image recording B with a long integration time ⁇ B serves to standardize the surface reflection of the three-dimensional scene, in principle the conventional intensity or gray value image being used.
  • an integration time ⁇ B is set on the CMOS sensor during a second image recording, which is very long compared to the length of an illuminating light pulse; ⁇ B » ⁇ L z. B. 1 microsecond. Now all backscattered light pulses 3 are fully detected on the CMOS sensor, regardless of their duration.
  • the charge Q B measured at a pixel is admitted
  • the image obtained is only dependent on the illumination intensity I 0 , the surface reflection coefficient 0 R of the associated object point, and the light pulse length ⁇ L.
  • the two-dimensional distance image Q R is generated by the calculation from the difference and normalization of image recordings A and B or Q A and Q B
  • this value can be output directly as a distance image Q R for all pixels. If the trigger delay time t d is not equal to 0, then a constant offset is added to all points of the distance image Q R
  • R D distance value at t D (charge offset)
  • the simultaneous recording of the intensity and three-dimensional image relates to the execution of a spatially and temporally parallel acquisition of intensity and distance values.
  • a chip architecture and pixel-related integration time are selected such that directly adjacent pixels A and pixel B, as shown in FIG. 3 on the CMOS sensor, simultaneously receive the backscattered light pulses 3 of the three-dimensional scene with a short integration time ⁇ A ⁇ L (for pixel A) with a long integration time ⁇ B » ⁇ L (for pixel B).
  • the two-dimensional distance image can then be directly generated by an electronic circuit integrated on the chip
  • FIG. 3 shows schematically two possible arrangements on the CMOS sensor for the parallel detection of intensity and three-dimensional distance image. Other variants are possible.
  • the simultaneous acquisition of intensity and three-dimensional distance images is particularly important for the analysis of moving three-dimensional scenes, with for example the recording of gestures or the tracking of objects. Further special characteristics of the invention are:
  • an additional standardization of the three-dimensional distance image with respect to ambient light can be carried out.
  • the charge of a pixel with a short and long integration time is first detected without illuminating the three-dimensional scene or the object and subtracted from the charges Q A and Q B measured with illumination.
  • the distance image QR is then calculated.
  • the sensitivity of the method to the noise can be increased with low backscattered light intensities.
  • the measurement uncertainty for the distance determination depends on the signal / noise behavior of the CMOS sensor. It is expected that time differences between 0.1 ns can still be detected. This results in a measurement uncertainty of less than 3 cm for the distance determination.
  • the essential uses of the described method and the described device relate to the monitoring of interior spaces, in particular in vehicles in connection with volumetric evaluation methods.
  • the task of the optical interior surveillance in vehicles is the detection of the seat occupancy, such as people, child seats, other objects, the detection of the seating position of people as well as theft protection, ie the impermissible intrusion into the vehicle interior from the outside.
  • the detection of people and their seating position is of great importance for safety in the gradual deployment of an Airbaig (smart Airbaig) and must be carried out very reliably and in short measuring times in the event of a collision.
  • the invention fulfills these requirements by quickly and reliably generating a three-dimensional distance image Q R in the vehicle interior. whereby volumetric evaluation methods are used.
  • the net volume portions occupied by objects 1 in the vehicle interior are determined as the difference to the distance values when the vehicle interior is not occupied (see FIG. 4).
  • the method and the device provide further significant advantages, such as:
  • R 0 is the distance values without a person or other object and R P is the distance values with a person or other object on the seat and dF denotes a differential area.
  • the adaptive determination of the seat occupancy from the calculation of the relative changes in distance before and after a person gets into the vehicle can be carried out.
  • the reliability of the difference determination can be further increased by using regressive and stochiastic evaluation methods.
  • This integral volume view enables global detection of objects and positions in space and is not dependent on the determination of features such as contours, corners, edges in the image for object detection.
  • the evaluation times for the three-dimensional image acquisition and volumetric evaluation can be less than 10 ms.
  • a vehicle interior is particularly suitable as an area of application for the method and device described.
  • An object is exposed for the three-dimensional image acquisition with LED light pulses of, for example, 50 ns (nanoseconds).
  • the integration times on the CMOS sensor are chosen for the image acquisition Q A to 50 ns and for the image acquisition Q B to 0.5 ⁇ s.
  • the scene dynamics to be recorded inside the vehicle should be 200: 1.
  • the digital acquisition of the three-dimensional distance image Q R is thus ensured by a 12 bit A / D converter.
  • Image recordings A with a short integration time and B with a long integration time require a maximum of 10 4 readout operations which, at readout frequencies of, for example, 2 MHz, lead to a total image acquisition time for the three-dimensional distance image of a maximum of 5 ms.
  • the calculation of the difference volumes from the 2500 distance values is quick Processor, such as a Pentium with 200 Mhz in another 5 ms executable without difficulty.
  • FIG. 4 shows a diagram for an application of the invention in vehicle interiors.
  • the arrows with dotted lines are representative of an unoccupied seat and those with solid lines are for a seat occupied by a person.
  • the enveloping net volume fraction is determined from the three-dimensional distance data for occupied and unoccupied vehicles.
  • the net volume V P of a person or other object on a car seat is calculated according to equation (7).
  • T 0 light transit time
  • ⁇ A integration time
  • Uges measurement signal at ⁇ B minus the dark current component at ⁇ B
  • U P Uges minus (Meßsignalanteil at ⁇ A minus the dark current component in ⁇ A).
  • the other main solution of the invention evaluates the recorded measurement signals at the sensor by means of an interpolation method.
  • the runtime of the light from the light source via the object to the sensor is obtained through the intersection of the curve of the measurement signal in FIG. 8, intersected with the curve of the dark current component. The following applies to the light transit time
  • T 0 2R / V c , from which the distance value R results.
  • the three-dimensional image data acquisition required in numerous industrial applications of image processing is particularly necessary for the automatic monitoring of rooms, for example car interiors.
  • the accuracy of the distance image / distance image is not too high.
  • T is, for example, 30 ns and T 2 is, for example, 60 ns.
  • T is, for example, 30 ns and T 2 is, for example, 60 ns.
  • T is, for example, 30 ns and T 2 is, for example, 60 ns.
  • T is, for example, 30 ns and T 2 is, for example, 60 ns.
  • AU U 2 - U ] applies.
  • the light propagation time T 0 is calculated using the formula shown in FIG. 5.
  • T 0 Ui • ⁇ T - ⁇ U • Ti / (U D • ⁇ T / T 2 - ⁇ U).
  • An advantageous embodiment provides that in order to reduce the laser power, which is usually critical for reasons of cost, the process described above is repeated several times in succession, the resulting values for U ⁇ , U D , and AU only appearing at the end of the multiple exposure of
  • CMOS sensors read out and digitized. See Figures 6a and 6b.
  • An analog averaging for multiple exposure on the CMOS sensor also avoids the relatively long readout times in a later digital averaging.
  • the sensor principle used in the image sensor is an integrating method, for example based on an n + - p photodiode.
  • This photodiode is part of an electronic short-term integrator, which also has a capacitor and several transistors.
  • the circuitry is such that, for example, the capacitance of the capacitor discharges depending on the light falling on the photodiode. This is controlled by a so-called shutter transistor.
  • the potential remaining in the capacitor is then read out, for example.
  • the time control of the electronic short-term integrator will generate a so-called strobe signal for controlling a light source.
  • Such an electronic short-time integrator (electronic shutter) is used for each pixel element of the sensor 4. Instead of at the end of a measurement in the capacitor remaining potential, the potential that has already been removed can also be used as a measured value.
  • FIG. 6a shows a plurality of transmission-side laser pulses connected in series.
  • 6b shows the integration time T x in connection with the respective voltage U and the dark current component U D. The same can be applied for T 2 , U 2 and U D.
  • a value for the light propagation time T 0 results for each exposure or multiple exposure.
  • FIG. 7 shows the interpolation method according to FIG. 8 having shorter illumination times.
  • the shutter times shown in the middle of, for example, 30ns and 60 ns in FIG. 8 and 60 ns in connection with a very long laser pulse time in FIG. 7 are intended to determine the integration times on the sensor.
  • the upper part of FIG. 7 shows the temporal relationship between the transmission-side illumination and the reception-side arrival of the laser pulse.
  • the exemplary embodiments shown in FIGS. 5 to 8 each have no trigger delay time. This means that the measurement window is opened on the receiving side at the beginning of the sensor pulse.
  • the short-term shutter 60 ns
  • the short-term shutter cuts off the received laser pulse, in each case based on an object or picture element point, at the time ⁇ ⁇ .
  • the duration of the light pulse is A L on the transmitting and receiving side.
  • the electronic short-time integrator on the sensor will each deliver a potential as a measured value, which is integrated depending on the transit time from the time T 0 to the end of and ⁇ ⁇ .
  • the integration time A B is used to compensate for differences in reflectivity on object 1.
  • a dark current and extraneous light component is determined, which can be deducted from the measurement signal.
  • FIG. 8 shows a representation corresponding to FIG. 7, the upper part being identical to that of FIG. 7.
  • the measurement signal has a dark current and extraneous light component in FIGS. 7 and 8.
  • the measurement signal thus results from the addition of the photocurrent component to the dark current and extraneous light component.
  • the photocurrent component can be determined by attracting the dark current and extraneous light component from the measurement signal.
  • the light propagation time 7 ⁇ arises at the point on the time axis at which the measurement signal rejects the normal course of the dark current and extraneous light component when an incoming reflected light pulse occurs, because the photocurrent component is no longer zero.
  • the evaluation which results in the light propagation time T 0 has been described in connection with FIG. 5.
  • a measurement object is partially partially illuminated. Illumination and evaluation take place simultaneously. An object 1 is thus partially illuminated in series and evaluated in each case, with one of a plurality of light sources 10 being assigned a specific part of the object 1.
  • the rise time of the intensity of a light source 10, for example a laser can be significantly reduced, such as to 0.1 ns.
  • FIG. 9 schematically shows an arrangement of three light sources 10, each of which illuminates an object 1 in a predetermined area 11.
  • the sensor 4 receives the reflected light components " corresponding to the partial areas 11 on the object 1 and processes them further.
  • This configuration enables the limitation of the laser power, for example a lighting unit with a laser.
  • the serial lighting and detection can be implemented cost-effectively and the maximum laser powers specified by certain standards are easily undershot.
  • the rise time of the laser intensity can be shortened significantly, for example to 0.1 nsec.

Abstract

Verfahren und Vorrichtung zur Erzeugung dreidimensionaler Abstandsbilder von räumlichen Objekten, wobei eine Kurzzeitbelichtung, beispielsweise durch Laserdioden des Objektes, durchgeführt wird. Als Bildsensor wird ein Sensor mit hoher Lichtempfindlichkeit eingesetzt, der pixelauflösend und wahlfrei auslesbar ist, sowie eine für jedes Pixel einstellbare Integrationszeit aufweist. Durch Auswertung der zurückgestreuten Laserimpulse in zwei Integrationsfenstern mit unterschiedlichen Integrationszeiten und durch Mittelung über mehrere Laserpulse lassen sich dreidimensionale Abstandsbilder mit hoher Zuverlässigkeit in beispielsweise maximal 5 ms aufnehmen.

Description

Beschreibung
Verfahren und Vorrichtung zur Aufnahme eines dreidimensionalen Abstandsbildes
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Aufnahme eines dreidimensionalen Abstandsbildes von räumlichen Objekten.
Dreidimensional aufnehmende und verarbeitende Sensorsysteme gewinnen für verschiedenste Aufgabenstellungen in der industriellen Technik zunehmend an Bedeutung. Bekannte optische Radarsysteme, wie beispielsweise Laserradar basieren entweder auf dem Prinzip der Laserimpuls-LaufZeitmessung oder auf der Bestimmung der Phasendifferenz von moduliertem Laserlicht zur Ableitung der Objektdistanz. Zum Aufbau eines dreidimensionalen bildgebenden Systemes sind zusätzliche mechanische Scaneinrichtungen erforderlich. Dies führt zu einem relativ teuren elektronischen und mechanischen Aufwand, der den Ein- satz solcher dreidimensionalen Systeme auf wenige Spezialan- wendungen beschränkt.
Es sind Verfahren bekannt, die eine CCD-Kamera (Charged Cou- pled Device) einsetzen, wobei für diese Halbeleiterkameras die Fernseh (TV)- Norm herangezogen wird. Somit lassen sich lediglich relativ lange Auslesezeiten erzielen.
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur Aufnahme eines dreidimensionalen Abstandsbildes, sowie eine Vorrichtung dazu zur Verfügung zu stellen, womit ein schnelles und kostengünstiges Verfahren zur Gewinnung eines dreidimensionalen Abstandsbildes für räumliche Objekte ohne aufwendige mechanische Einrichtungen bereitgestellt wird.
Die Lösung dieser Aufgabe geschieht durch die Merkmale des Anspruchs 1, 2 bzw. des Anspruches 23. Der Erfindung liegt die Erkenntnis zugrunde, daß unter Einsatz eines bildpunktauflösenden (pixelauflösenden) und wahlfrei auslesbaren optoelektronischen Sensors, dessen Integrationszeit punktweise einstellbar ist, eine extrem schnelle Bildaufnahme eines dreidimensionalen Abstandsbildes möglich ist. Dazu wird das Objekt mit einem oder mehreren sehr kurzen Lichtimpulsen beleuchtet, woraufhin Lichtimpulse der gleichen Länge vom Objekt zurückgestreut werden. Diese zurückgestreuten Lichtimpulse werden über eine entsprechende Optik auf den optoelektronischen Chip geleitet. Aufgrund der unterschiedlichen Abstände unterschiedlicher Objektpunkte vom Sensor werden mit jeweiligen Orten korrespondierende zurückgestreute Lichtimpulse zu jeweils unterschiedlichen Zeiten am Sensor ankommen. Für eine Abstandsmessung wird ein Zeitmeßfenster geöffnet, dessen Zeitdauer einer vorbestimmbaren Integrationszeit entspricht. Die Integrationszeit ist kleiner oder gleich der Länge der ausgesandten und damit auch der Länge der reflektierten Lichtimpulse. Somit ist sichergestellt, daß am Ende der Integrationszeit ein einheitliches Abschneiden der zurückgestreuten Lichtimpulse am Sensor erfolgt. Die zeitverzögert eintreffenden Lichtimpulse je Bildpunktelement werden hinten abgeschnitten, so daß aufgrund der unterschiedlichen Ladungen im Raster des optoelektronischen Sensors die unterschiedlichen Laufzeiten in Ladungsunterschiede umgesetzt werden können. Daraus läßt sich ein dreidimensionales Abstandsbild errechnen.
Die Erfindung kann auch derart gestaltet sein, daß anstelle eines Lichtimpulses mit definierter Länge lediglich ein Lichtintensitätsanstieg mit steiler Flanke Verwendung findet, der entsprechend am Sensor aufgenommen und ausgewertet wird. Dadurch wird das Meßergebnis unabhängig vom Verlauf der abfallenden Flanke des Lichtimpulses. Zum anderen kann der Einfluß eines Dunkelstromes, der beispielsweise durch die Be- triebswärme eines Sensorelementes erzeugt wird, sowie der Anteil des Umgebungslichtes (Störlicht) exakt für jeden Bildpunkt kompensiert werden. Durch insgesamt drei aufeinander- folgende Messungen werden zunächst der Dunkelstrom und das Umgebungslicht erfaßt, danach werden in Zusammenhang mit einer Belichtung die vom Objekt reflektierten und am Sensor empfangenen Lichtmengen in Form des Sensorsignalses inte- griert, was anschließend mit einer höheren Integrationszeit wiederholt wird. Daraus läßt sich durch entsprechende Interpolation die Laufzeit des Lichtes für jeden Objektpunkt ermitteln. Dies eröffnet die Verwendung von geringeren Lichtleistungen bei gleichzeitig genauer Messung der Laufzeit und damit der Entfernung zum Objekt.
In einer vorteilhaften Ausgestaltung der Erfindung werden mit einer sehr langen Integrationszeit sämtliche Lichtimpulse gleichzeitig mit der zuerst beschriebenen Messung oder zeit- versetzt danach mit ihrer vollständigen Länge aufgenommen.
Dies wird zur Normierung benutzt, so daß Unterschiede im Reflexionsverhalten des Objektes erkannt und ausgeglichen werden können.
Weitere vorteilhafte Ausgestaltungen können den Unteransprüchen entnommen werden.
Die wesentlichen Vorteile der Erfindung liegen darin, daß beispielsweise mechanische Shutter entfallen. Es können ex- trem kurze Bildaufnahmezeiten realisiert werden. Der verwendete optoelektronische Sensor wird allgemein als CMOS-Sensor bezeichnet, wobei dies lediglich die technologische Bezeichnung des Halbleiterbauelementes ist. Mit einem derartigen Sensor lassen sich minimale Integrationszeiten von 50 bis 30 nsec realisieren (Jitter bei weniger als 0,1 %) . Die technische Entwicklung schreitet bei den Integrationszeiten noch voran.
Im folgenden werden anhand von schematischen Figuren Ausfüh- rungsbeispiele beschrieben. Figur 1 zeigt das Funktionsprinzip zur Erfassung eines dreidimensionalen Abstandsbildes mit einem CMOS-Sensor,
Figur 2 zeigt die schematische Darstellung einer zeitlichen Verschiebung zweier Lichtimpulse deren zugehörige Objektpunkte einen unterschlichen Abstand zum CMOS-Sensor besitzen, relativ zu Integrationsfenstern,
Figur 3 zeigt zwei Varianten des Sensors zur gleichzeitigen Erfassung von dreidimensionalen Abstandsbildern und Intensi- täts- bzw. Grauwertbildern mit einem CMOS-Sensor,
Figur 4 zeigt die schematische Darstellung der Fahrzeuginnenraumüberwachung mit einem dreidimensionalen CMOS-Sensor.
Figur 5 zeigt die Entfernungsmessung mit integrierendem CMOS- Bildsensor, wobei das Signal der sendeseitigen Laserdiode und die empfangsseitigen Sensorsignale dargestellt sind,
Figur 6 zeigt die Entfernungsmessung mit integrierendem CMOS- Bildsensor, wobei in Figur 6a der sendeseitige Betrieb einer Laserdiode und in Figur 6b die durch fortlaufende Integration am Sensor erzielten Sensorsignale dargestellt sind,
Figur 7 zeigt in zeitlicher Korrelation die Zusammenhänge zwischen sendeseitiger Beleuchtung und empfangsseitiger De- tektion eines Laserimpulses, wobei die in der Figur 7 unten dargestellten Meßsignale in Verbindung mit einer kurzen Integrationszeit und einer sehr langen Integrationszeit darge- stellt werden,
Figur 8 zeigt in zeitlicher Korrelation die sende- und emp- fangsseitige Darstellung eines Laserimpulses, wobei auf die Beleuchtungssteuerung des Sensors bezogen zwei unterschiedli- ehe kurze Integrationszeiten vorgesehen sind. Es wird ein Verfahren zur seriellen oder gleichzeitigen Erfassung bzw. Erzeugung eines Intensitäts- und eines dreidimensionalen Abstandsbildes räumlicher Objekt mit einem optoelektronischen Sensor unter Kurzzeitbelichtung beschrieben. Das Verfahren nutzt die Laufzeitunterschiede der von den dreidimensionalen Objekten zurückgestreuten Lichtimpulse bei der bildpunktsynchronen (pixelsynchronen) Detektion am Sensor innerhalb kurzer Integrationszeiten. Dabei wird ein CMOS- Sensor eingesetzt. Dieser Sensor besitzt eine Lichtempfind- lichkeit von beispielsweise 1 mLux. Weiterhin weist er eine hohe Intensitätsdynamik von bis zu 107 auf, einen wahlfreien Zugriff auf die einzelnen Bildpunkte (Pixel) , sowie eine einstellbare Integrationszeit (Sample & Hold) . Für die Messung der Ladungsmenge Q(t) bei Belichtung am einzelnen Bildpunkt.
Gegenüber Verfahren die eine CCD-Kamera einsetzen, lassen sich besondere Vorteile erzielen, wie beispielsweise die parallele Erfassung von Intensitäts- und dreidimensionalen Bildern, sowie die Realisierung kurzer Bildaufnahmezeiten, die deutlich unter den Auslesezeiten von CCD-Kameras liegen. Weiterhin benötigt der CMOS keine aufwendigen mechanischen Shut- ter und es müssen auch keine leistungsstarken Laserlichtquellen für die Kurzzeitbelichtung eingesetzt werden.
Das Verfahren ist insbesondere für die Erkennung von Personen und Bewegungsabläufen in der Raumüberwachung, beispielsweise Fahrzeuginnen/-außenüberwachung der Automatisierung von Krananlagen sowie der Navigation geeignet.
Die wesentlichen Funktionsmerkmale werden anhand von Figur 1 erläutert. Zunächst wird für die Beleuchtung der zu erfassenden räumlichen Objekte mit kurzen Lichtimpulsen beispielsweise <100 ns gesorgt. Die Beleuchtung kann mit Laserlicht, wie beispielsweise mit einer gepulsten Laserdiode oder mit Lichtquellen, wie beispielsweise einer gepulsten LED-Diode erfolgen. Das Verfahren ist unabhängig vom Winkel der Beleuchtung, die nicht unbedingt zentral zur allgemeinen Detek- tionsrichtung erfolgen muß. So ist beispielsweise auch bei koaxialer Beleuchtung und Detektion der Einsatz eines Ringlichtes denkbar. Die in Figur 1 dargestellte Anordnung dient nur zur schematischen Verdeutlichung des Funktionsprinzips.
Eine erste Bildaufnahme A wird mit einer kurzen Integrationszeit ΔA am CMOS-Sensor verbunden. Die von den Objektpunkten G der dreidimensionalen Szene zurückgestreuten Lichtimpulse 3 der Länge ΔL (< 100 nsec) werden an den zugehörigen Bildpunk- ten 9 des CMOS-Sensors innerhalb einer eingestellten kurzen Integrationszeit ΔA < ΔL erfaßt. Durch einen elektronischen Triggerimpuls wird dabei ein fester zeitlicher Bezug zwischen ausgesandtem Lichtimpuls 2 und dem Öffnen des Integrationszeitfensters am CMOS-Sensor hergestellt. Aufgrund der Lauf- zeit des Lichtes ergibt sich je nach Objektabstand R eine unterschiedliche zeitliche Verschiebung
τ = 2R / Vc (Vc = Lichtgeschwindigkeit)
zwischen ausgesandtem und am CMOS-Sensor detektierten Lichtimpuls. Die am Bildpunkt innerhalb der Integrationszeit ΔA gemessene Ladung QA wird dadurch vom Abstand R zwischen Sensor und Objektpunkt G abhängig. Siehe hierzu Figur 2.
Figure imgf000008_0001
Io Intensität des ausgesandten Lichtimpulses 0R Oberflächenreflexionskoeffizient am Objektpunkt G tD Triggerpunktzeitverzögerung zwischen ausgesandtem Lichtim- puls und Start des Integrationsfensters am CMOS-Sensor
Für Objektpunkte G mit gleichem Oberflächenreflektionskoeffi- zienten 0R wird abhängig von ihrem Abstand R eine unter- schiedliche Ladung QA am zugehörigen Bildpunkt des CMOS- Sensors gemessen. Damit werden kleine Laufzeitunterschiede der Lichtimpulse in Ladungsänderungen QA transformiert, so daß eine integrierte Ladung für jeweils einen Objektpunkt G mit seinem jeweiligen Abstand R(1 ) stellvertretend ist. Diese können bei einem CMOS-Sensor sehr empfindlich und mit hoher Dynamik detektiert werden. Üblicherweise besitzen die Objekte einer dreidimensionalen Szene eine unterschiedliche Oberflächenreflexion .
Es wird daher zur Normierung des Abstandsbildes noch eine zweite Bildaufnahme QB durchgeführt, die nur von der Oberflächereflexion der Objekte der dreidimensionalen Szene abhängig ist.
Die Durchführung einer zweiten Bildaufnahme B mit langer In- tegrationszeit ΔB dient zur Normierung der Oberflächenreflexion der dreidimensionalen Szene, wobei im Prinzip das herkömmliche Intensitäts- oder Grauwertbild verwendet wird. Hierzu wird am CMOS-Sensor bei einer zweiten Bildaufnahme eine Integrationszeit ΔB eingestellt, die sehr groß gegenüber der Länge eines Beleuchtungslichtimpulses ist; ΔB » ΔL z. B. 1 Mikrosekunde. Jetzt werden alle zurückgestreuten Lichtimpulse 3 unabhängig von ihrer Laufzeit in vollem Umfang am CMOS-Sensor detektiert. Die an einem Bildpunkt gemessene Ladung QB gibt sich zu
„∞ 0R * Δ, .2)
Das erhaltene Bild ist nur von der Beleuchtungsintensität I0, dem Oberflächenreflektions-Koeffizienten 0R des zugehörigen Objektpunktes, sowie der Lichtimpulslänge ΔL abhängig.
Die Erzeugung des zweidimensionalen Abstandsbildes QR geschieht durch die Berechnung aus der Differenz und Normierung von Bildaufnahme A und B bzw. QA und QB
Figure imgf000009_0001
Aus Gleichung (1) und (2) folgt mit td = 0 die Gleichung
QR ∞ - 2R / (VC * AL) (4)
Dieser Wert kann nach Auslesen und Digitalisieren sowie zusätzlicher Skalierung für alle Bildpunkte direkt als Abstandsbild QR ausgegeben werden. Ist die Triggerverzögerungszeit td ungleich 0, so addiert sich zu allen Punkten des Abstandsbildes QR ein konstanter Offset
RD = tD / (Vc * AL ) (5)
RD = Abstandswert bei tD (Ladungsoffset)
Die gleichzeitige Aufnahme von Intensitäts- und dreidimen- sinalem Bild bezieht sich auf eine Ausführung einer örtlich und zeitlich parallelen Erfassung von Intensitäts-und Abstandswerten. Hierzu wird eine Chiparchitektur und pixelbezogene Integrationszeit derart gewählt, daß direkt benachbarte Pixel A und Pixel B entsprechend der Figur 3 auf dem CMOS- Sensor die zurückgestreuten Lichtimpulse 3 der dreidimensionalen Szene gleichzeitig mit kurzer Integrationszeit ΔA < ΔL (für Pixel A) aufnehmen und mit langer Integrationszeit ΔB » ΔL (für Pixel B) erfassen. Durch eine auf dem Chip integrierte elektronische Schaltung kann dann direkt das zweidi- ensionale Abstandsbild
Figure imgf000010_0001
der zugeordneten Pixel A und B berechnet und ausgegeben wer- den.
Figur 3 zeigt dazu schematisch zwei mögliche Anordnungen auf dem CMOS-Sensor für die parallele Erfassung von Intensitäts und dreidimensionalem Abstandsbild. Weitere Varianten hierzu sind möglich. Die gleichzeitige Erfassung von Intensitätsund dreidimensionalem Abstandsbild ist besonders für die Analyse bewegter dreidimensionaler Szenen von Bedeutung, bei- spielsweise die Erfassung von Personengestik oder die Objektverfolgung. Weitere besondere Kennzeichen der Erfindung sind:
Falls erforderlich kann eine zusätzliche Normierung des dreidimensionalen Abstandsbildes bezüglich Umgebungslicht durchgeführt werden. Hierzu wird zunächst ohne Beleuchtung der dreidimensionalen Szene bzw. des Objekts die Ladung eines Bildpunktes mit kurzer und langer Integrationszeit erfaßt und von den mit Beleuchtung gemessenen Ladungen QA und QB abgezo- gen. Anschließend erfolgt die Berechnung des Abstandsbildes QR .
Durch zeitliche Mittelung der Signale mehrerer Lichtimpulse kann eine Erhöhung der Empfindlichkeit des Verfahrens gegenüber dem Rauschen bei geringen zurückgestreuten Lichtintensitäten erreicht werden.
Die Meßunsicherheit für die Abstandsbestimmung hängt vom Signal/Rauschverhalten des CMOS-Sensors ab. Erwartet wird das Laufzeitunterschiede zwischen 0,1 ns noch detektiert werden können. Daraus folgt eine Meßunsicherheit von weniger als 3 cm für die Abstandsbestimmung.
Die wesentlichen Verwendungen des beschriebenen Verfahrens und der beschriebenen Vorrichtung betreffen die Überwachung von Innenräumen, insbesondere in Fahrzeugen in Verbindung mit volumetrischen Auswerteverfahren. Die Aufgabe der optischen Innenraummüberwachung bei Fahrzeugen ist die Erkennung der Sitzbelegung, wie beispielsweise Personen, Kindersitz, sonstige Objekte, die Erfassung der Sitzposition von Personen sowie der Diebstahlschutz, d.h. das unzulässige Eindringen in das Fahrzeuginnere von außen. Die Erkennung von Personen und ihrer Sitzposition ist für die stufenweise Auslösung eines Airbaigs (smart Airbaig) von hoher sicherheitsrelevanter Bedeutung und muß im Kollisionsfall sehr zuverlässig und in kurzen Meßzeiten erfolgen. Die Erfindung erfüllt diese Anfor- derungen durch eine schnelle und zuverlässige Erzeugung eines dreidimensionalen Abstandsbildes QR im Fahrzeuginneren, . wobei volumentrische Auswerteverfahren eingesetzt werden. Dabei werden aus den Abstandswerten R in einem Raumwinkelelement Ω die von Objekten 1 besetzten Nettovolumenanteile im Fahrzeuginnenraum als Differenz zu den Abstandswerten bei unbesetztem Fahrzeuginneren bestimmmt (siehe hierzu Fig. 4).
Das Verfahren und die Vorrichtung liefern weitere wesentliche Vorteile, wie:
Schnelle, globale Erfassung der aktuellen Sitzbelegung durch Differenzbildung eines dreidimensionalen Abstandsbildes vom Fahrzeuginneren ohne Objekte (dreidimensionales Referenzbild QR0) und dem aktuell auszuwertenden dreidimensionalen Abstandsbild mit einer Person oder einem sonstigen Objekt QRP auf einem Sitz. Dabei gilt für das Nettovolumen VP der Sitzbelegung:
F, = JJR0(Ω) *</E-- {2R/,(Ω) *ύ?E (7)
wobei R0 die Abstandswerte ohne Person bzw. sonstigem Objekt und RP die Abstandswerte mit Person bzw. sonstigem Objekt auf dem Sitz sind und dF eine differenzielle Fläche bezeichnet.
Die adaptive Ermittlung der Sitzbelegung aus der Berechnung der relativen Abstandsänderungen vor und nach dem Einsteigen einer Person ins Fahrzeug kann durchgeführt werden. Durch Anwendung regressiver und stochiastischer Auswerteverfahren kann die Zuverlässigkeit der Differenzbestimmung noch weitergesteigert werden.
- Die Größenbestimmung der erfaßten Objekte und globale Un- terscheidung von Objekten über Volumen- Vergleichsklassen ist möglich.
- Räumliche Zuordnung von besetzten Volumenanteilen ist möglich . - Bestimmung der räumlichen Extrempositionen (x,y,z) des besetzten Volumens im Innenraum für die Steuerung der Airbaig Auslösung kann bestimmt werden. -Volumetrische Verfolgung von Bewegungsabläufen im Raum bei zeitlich aufeinanderfolgenden Bildaufnahmen und Differenzbildung. Erkennuung von Personen und Gestik aus der Bewegungsa- nalyse.
Diese integrale Volumenbetrachtung ermöglicht eine globale Erfassung von Objekten und Positionen im Raum und ist nicht auf die Bestimmung von Merkmalen, wie beispielsweise Kontu- ren, Ecken, Kanten im Bild zur Objekterkennung angewiesen. Die Auswertezeiten können für die dreidimensionale Bildaufnahme und volumetrische Auswertung unter 10 ms liegen.
Als Anwendungsgebiet des beschriebenen Verfahrens und der Vorrichtung kommt insbesondere ein Fahrzeuginnenraum infrage. Dabei wird für die dreidimensionale Bildaufnahme mit LED- Lichtimpulsen von beispielsweise 50 ns (Nanosekunden) ein Objekt belichtet. Die Integrationszeiten am CMOS-Sensor werden für die Bildaufnahme QA zu 50 ns und für die Bildaufnahme QB zu 0,5 μs, gewählt. Die zu erfassende Szenendynamik im Fahrzeuginneren soll 200 : 1 betragen. Die Abstandswerte R sollen mit einer Meßunsicherheit <15cm (entsprechender Laufzeitunterschied eines Lichtimpulses = 1 ns) in einem Meßbereich bis 1,5 m (Laufzeit 10 ns) erfaßt werden.
Mit diesen Anforderungen wird am CMOS Sensor eine Intensitätsdynamik von (10 x 200 =) 2000 : 1 erforderlich. Die digitale Erfassung des dreidimensionalen Abstandsbildes QR wird damit durch einen 12 Bit A/D Wandler gewährleistet. Für eine Sensorortsauflösung von 50 x 50 Bildpunkten werden für die
Bildaufnahmen A mit kurzer Integrationszeit und B mit langer Integrationszeit maximal 104 Ausleseoperationen notwendig, die bei Auslesefrequenzen, von beispielsweise 2 MHz zu einer gesamten Bildaufnahmezeit für das dreidimensionale Abstands- bild von maximal 5 ms führen. Die Berechnung der Differenzvolumina aus den 2500 Abstandswerten ist mit einem schnellen Prozessor, wie beispielsweise einem Pentium mit 200 Mhz in weiteren 5 ms ohne Schwierigkeit ausführbar.
In Figur 4 wird ein Schema für eine Anwendung der Erfindung in Fahrzeuginnenräumen dargestellt. Die Pfeile mit gepunkteten Linien sind stellvertretend für einen nichtbelegten Sitz und die mit durchgezogenen Linien für einen mit einer Person belegten Sitz. Für die globale Objekterkennung und Positionsbestimmung wird der umhüllende Nettovolumenanteil aus den dreidimensionalen Abstandsdaten bei besetztem und bei unbesetztem Fahrzeug bestimmt. Das Nettovolumen VP einer Person oder eines sonstigen Objektes auf einem Autositz berechnet sich nach Gleichung (7) .
Das bisher beschriebene Verfahren zur Aufnahme eines Abstandsbildes beruht auf einem Differenzverfahren, wobei die Laufzeit T0 = UP / Uges*AA beträgt, wobei:
T0 = Lichtlaufzeit, ΔA = Integrationszeit,
Uges = Meßsignal bei ΔB minus Dunkelstromanteil bei ΔB, UP = Uges minus (Meßsignalanteil bei ΔA minus Dunkelstromanteil bei ΔA) .
Die weitere hauptsächliche Lösung der Erfindung, die in Figur 8 dargestellt wird, wertet die aufgenommenen Meßsignale am Sensor mittels eines Interpolationsverfahrens aus. Dabei ergibt sich die Laufzeit des Lichtes von der Lichtquelle über das Objekt bis zum Sensor durch den Schnittpunkt der Kurve des Meßsignales in Figur 8, geschnitten mit der Kurve des Dunkelstromanteiles. Für die Lichtlaufzeit gilt
T0 = 2R / Vc , woraus sich der Abstandswert R ergibt.
Die bei zahlreichen industriellen Anwendungen der Bildverarbeitung notwendige dreidimensionale Bilddatenerfassung ist insbesondere für die automatische Überwachung von Räumen, beispielsweise Autoinnenraum, notwendig. An die Genauigkeit des Entfernungsbildes/Abstandsbildes werden nicht allzu, hohe Anforderungen gestellt. Entfernungsbilder mit etwa 1000 J CO IV) IV) P1 P1 cn σ cn 0 cn 0 cn
Ω ιΩ CL y— Pl ιΩ Φ ιΩ 3 cn rt H Φ α> ^ Φ rt W Hi £ d Φ co Φ P- P- rt α. ? DO CΛ £ co •*. DO
3" H P- φ 3 ι-( P- Φ DJ rt Φ Φ P- P- P- X H P- DJ P- 3 3 P- P- cn cn P- Φ 0 Φ O Φ Ω DJ: P-
Φ P- Φ d O: 3 Hi rt Φ ι-i Ω 3 ιΩ DJ P- 3 H rt O rt 3 rt rt O co cn y-> £ 3 - 1— ' y- cn Φ Ω > P Φ d= Φ y- tr Φ CL d ΪV Φ Hi CL Φ HI DJ: Φ •»» 3 rt φ O Φ P1
H D 3' 3 φ 3 3" 3 P' cn rt 3 cn H rt er P- Φ H DJ rt Co er Φ d 3* P- P- Φ y-> tr* rt d rt ω H H cn rt P- Φ Φ cn d 3 N co 3 cn Φ Hi α Φ 3 Ω ι α 3 XJ
P- 3 Φ Ω ^ rt ^ . 3 Ω CL 3 cn Hi £ tP CL d Ω ιΩ D) rr* P- P- l-i ιΩ 3" Φ Φ d
Ω £ I rt tr DJ l-i Φ cn α - P- cn d: DJ: Φ 3 " Φ 3 P- co l-i Φ £ d: rt α 3 3 cn 3 tr Φ Φ •» y- Φ rt σ Hi Φ O N H H CL 3 P- 3 cn Ω XI P- 3 d P- Ω *- rt H - d ω 3 3 Φ P- α O: H Φ 3 φ φ φ Φ rt tr P- Ir* H co 3 φ 3 α tr rt
CL ω £ εα CL Φ 3 φ P- H O > P- Φ co Tl P- CL P- rt φ Φ DJ ^ rt >Ω Φ DJ 0 Φ
< Φ rt O Φ cn co φ 3 Φ >Ω Φ PJ 3 < Φ p- CL d P" P- CO DO Σ > tr 3 3
O 3 l-i H α P- P- cn P- 3 rt Φ D DJ Φ P- O a 3 tr Φ Hl P- t DJ Φ σ Φ
3 • O: DJ DJ 3 Ω d N d φ ιΩ CL 3 Φ P- d 3 3 Ω 3 t> DJ 3 N Ω Φ l-i P* DJ P- DJ £
3 d H Φ 3" 3 d H 3 φ 3 3 3 ?r 3* 3 d Hi Φ 3' rt φ o d DJ:
O S φ Hi DJ rt ιΩ Ω Ό DJ ω CL P- Φ - Φ CL Φ O P- P1 rt DO P- Φ d P- D cn H σ Φ 3" 3 DJ DJ CL 3" Hl d φ Φ φ DO cn φ DJ er rt co P- rt 3 d Φ Ω co d H Φ
3 < P- 3 3 d φ ιΩ DJ ω P- 3 P- 1-^ CL O φ P- . Hi 3 3* ω Φ 3 φ 3 φ 3 £ rt 3 H Φ 3 ιΩ rt π P1 CΛ cn φ 3 φ cn co 3 CL CL 3 rt rt P-
? l-i p- Φ Φ CL N ιΩ Φ P- csi 3 Φ rt cn 3 rt Λ" rt Φ φ D DJ co d DJ P"s, Ω Hi rt DJ σ N H P, P- CΛ O ω σ ιΩ φ rt Ό 3 ι-i Φ Φ rt Φ 3 *n y— co DJ 3* TJ 3 d 0 3* d=
T d d d α Φ er XJ ι ω P- P- Hi d cn O Ir* tP ιΩ P- P- P- φ cn 3 H ιΩ co cn Φ H d H, 3 3 • Φ DJ Φ φ y— er rt φ 3 O 3 P- cn l-i ι-i y- rt ^Ω 3 tr* Φ Φ CO • rt 3
3 ι α DJ: CL M P- 3 3 P- CL φ l-i ^ ι-i Φ Ω p- DJ Φ Φ d φ P- < Ω DJ Φ Φ
?r H φ Ω DJ 3 3 3 Φ rt Φ -1 rt 3 rt CO co tr ιΩ rt Hi ι-i α ι-< 3 Ω Φ Φ 3" H 3 P- rt d 3 3- co rt 3 d P- rt φ d ^ rt 3 P- P1 Φ rt tr H P- Φ rt ι 3
3 O Φ DJ 3 Ir* ιΩ Φ d CΛ 3 ;v Φ p- DJ O Φ •n Hi co T rt Hi 3 3 ι-i G Φ
CD CL 3 rt 0 ιΩ £ PJ ιΩ P- H Ω Φ ιΩ 0 3 α 3 3 r y-> P- d Φ DJ Φ CL Φ d: tr p- er l-i rt 3 DJ 3" 3 cn 3 rt Φ Ό ω rt DJ 3 α 3 co - co 3 3 rt ^
N CL P- DJ H Φ c; P- d ir* rt CO 3 TJ CO H d d N P- 3 P- DJ ?V ">« H Tl rt CL P- d Φ 3 φ rt rt Φ Hl P- Φ 0 φ Φ rt P1 3 φ Φ Λ* φ H rt Φ CL P- CO Φ Ω d
H P. ; r P- ^ ιΩ Ω 3 l-i co 3 Φ tr cn DJ P- H Φ l-i ιΩ CL 3 l-i ιΩ J 3 - 3 d φ CL rt O N Φ Hi Φ " α cn co ω tr Φ Φ tr rt rt rt φ CL P- ^ φ d H -> Φ d:
Ω tr* 3 Φ 3 d P-
P- cn d: α 3 rt φ TJ d P- rt
H 3 - P- O P- D) 3 φ » P- co tr Φ Φ DJ Φ co Φ Φ P- ι-( Φ σ
?r 3 co D : 3 d f-i rt O er α Ω cn ι-3 φ vΩ Ω «1 N Φ l-i Φ 3 3 tr* 3 ιΩ H T3 d 3 tr* cn Φ N Φ P- ∞ 3" O H H φ 3" t-i Φ 3 Φ n 3 rt § TJ DJ 3 rt d P- 3 ιΩ DJ DJ ιΩ tr* y-> CΛ d P- 3 Φ £ P- £ co rt φ P- P- P- 3 < Φ d Cn d 3 3 φ CL P- tr cn Φ DJ: y— Φ l-i φ 3 P- DJ DJ rt y- 3 3 rt rt σ 0 3 Φ 3 P- £ CL y- ι ιΩ Φ £ 3 rt 3 CL 3 DJ α φ 3 Ω
P> DJ α- N Φ d 3 Φ ω H ιΩ rt Φ ω N φ ι-i Φ sΩ • CO > Φ co CO ιΩ tr
Φ d Φ α _H ι 3 CO 3 α H CL £ d cn TJ H Φ O d 3 P- CO ^ £ d d d Hi P- y- Φ l-i ;*r rt σ CL P- α P- α φ Φ 3 O Ω d rt tc l-i O 0 Φ P- Φ l-1 3 rt N Ω 3 l-i DJ Φ l-i 3 DJ 0 1 3 Φ cn P- 3 - y- < Φ 3 P- n £ d: 3 3 ιΩ ιΩ DJ ιΩ
Φ tr φ P- ct 1— cn Φ l-i α D rt 3 cn DJ 3 co rt d φ Φ er DJ d Φ rt
£ P- rt 3 tr* cn rt l-J. co TJ tP ιΩ Φ P- Φ • a Φ 3 < P- • H H H Φ y- Φ H 3 P- P-
P- rt DJ D) O rt φ H cn φ DJ ιΩ 3 CL φ rt £ P- rt H φ P- O 3
H 3 DO ω ^ 3 ι-i d P- o er ιΩ H ιΩ CL Φ H rt P- D Φ 3 Φ d 3 3 CL 3
CL rt P- Φ cn O φ 3 ιΩ rt N H P- φ d H Φ H Φ P- H 3 CL Φ ^ Φ co
^ α
Φ PJ H DJ 3 H ιΩ 3 Φ £ DJ Φ d N σ H φ DJ 3 α l-i 3 £ N ιΩ P- > P. <! Φ
P- α α Φ DJ co DJ PJ • 3 l-i d Ω 3 d • P- P- Φ tr CO DJ Φ 3 cn N O P- Hi
P- 3 ( y- y-> § Φ 3 3" Hl α DJ ir* i-l φ 3 co Ω ιΩ ι-(
O d d 0 ιΩ ("t- rt Φ Φ φ rt- CL 3 ιΩ ^ D d 3 P- CL P- O rt tr CO H Hi co • 3 p- 3 α Φ Φ cn Φ P- CL co CL DJ CL DJ H Ω rt rt 3 DJ 3 O DJ Φ cn OJ: 3 ;*r Φ 3 P- tr DJ £ rt 3 Φ DJ EP * P- rt rt rt rt O ^ CL α H co Φ P- 3 Φ CL Ω CΛ y- d « DJ D Φ rt 3 P- Φ 3 H d " Φ rt 3 £ Φ Φ P1 d Φ H cn
Φ • N Φ Φ σ 3 ^ H 0 ι-i DJ 3 Ω H 3 P- Co p- 3 l-i cn y- Ω 3 Φ rt
P- P" 1 3 Φ 3 XJ 0 0 ιΩ l-i N n 3- DO α DJ Ω N O 3 rt H - α ) er φ 3* 3 Φ ιΩ P 1 Φ CL PJ 3' H Φ d d 3 rt Φ φ O rt DJ CL P- O P-
3 σ 3 £ 3 3 rt 1 3 P- d 1 CL 1 3 3 0 Φ 1 l-i 1 Φ H Φ rt ^ ιΩ h-1 y— d CL O d • Φ ω P- 1 CΛ CO P- 3 rt DJ 1 3 P- rt
H 1 1 1 1 α Φ 1
das Meßsignal vom Zeitpunkt T0 entsprechend der Helligkeit des jeweiligen Bildpunktes stärker an. Nach einer bestimmten Integrationszeit , wird dann die Spannung Ul für alle Bildpunkte ausgelesen und abgespeichert. Der gleiche Vorgang wie- derholt sich nun mit der bereits aus der ersten Dunkelstrommessung bekannten Integrationszeit T2. T beträgt beispielsweise 30 ns und T2 beträgt beispielsweise 60 ns. An den Stellen, an denen das Meßsignal die Zeiten T bzw. T2 schneidet, was gleichbedeutend ist mit einem Abschneiden des empfangenen Lichtimpulses, ergibt sich der Punkt Ul bzw. der Punkt U2 . Es gilt die Beziehung AU = U2 - U] . Die Lichtlaufzeit T0 errechnet sich nach der Formel die in Figur 5 dargestellt ist. Verlängert man eine Gerade durch die Punkte U2 und U] f so schneidet diese Gerade nach unten hin die Dunkelstrom dar- stellende Gerade zwischen dem Ursprung des Koordinatensystems und der Spannung UD . Am Schnittpunkt kann die Lichtlaufzeit T0 abgelesen werden. Sämtliche Werte für U und U2 bzw. AU werden ebenfalls für alle Bildpunkte ausgelesen und gespeichert. Aus den für jeden Bildpunkt abgespeicherten Spannungen UD, Ui, U2 und AU in Verbindung mit den vorgegebenen Integrationszeiten 7j und T2 läßt sich eindeutig und exakt für jeden Bildpunkt die Laufzeit TQ berechnen, auch wenn relativ hohe Dunkelstromanteile UD vorliegen. Dabei gilt:
T0 = Ui • ΔT - ΔU • Ti / (UD • ΔT/T2 - ΔU) .
Dies eröffnet die Verwendung von geringeren Lichtleistungen bei gleichzeitig genauer Messung der Laufzeit und damit der Entfernung zum Objekt.
Eine vorteilhafte Ausgestaltung sieht vor, daß zur Verringerung der aus Kostengründen meist kritischen Laserleistung eine mehrfache Wiederholung des oben beschriebenen Vorgangs in hintereinander geschieht, wobei sich die ergebenden Werte für Uλ , UD , und AU erst am Ende der Mehrfachbelichtung von
CMOS-Sensoren auslesen lassen und digitalisiert werden. Siehe hierzu die Figuren 6a und 6b. Eine analoge Mittelwertbildung für die Mehrfachbelichtung auf dem CMOS-Sensor vermeidet auch die relativ langen Auslesezeiten bei einer späteren digitalen Mittelung. Eine adaptive Einstellung auf diejeweilige Reflek- tivität des Objektes im Hinblick auf die Optimierung des Si- gnal-/Rauschverhältnisses der Meßwerte wird, dadurch erzielt, daß in wenigen Testbildern die Zahl der Belichtungen solange gesteigert wird, bis sich in einer gewissen Menge von Bildpunkten des Gesamtbildes eine Sättigung der Werte n(Uι+ΔU) einstellt; mit n = Anzahl der Mehrfachbelichtungen.
Durch die beschriebenen Schritte wird ermöglicht, daß eine exakte Berechnung von der Lichtlaufzeit T0 bei vorliegendem
Dunkelstrom und Umgebungslicht möglich ist, daß das Auslesen des Signales vom CMOS-Sensor erst nach der Mehrfachbelichtung geschieht, woraufhin sich die Digitalisierung anschließt und daß eine adaptive Einstellung der Mehrfachbelichtung entspre chend der Objektreflektivität vorgenommen werden kann. Durch diese Maßnahmen kann eine bisher notwendige Laserleistung um den Faktor 10 bis 20 gesenkt werden bzw. die Genauigkeit er höht werden.
Das in dem Bildsensor verwendete Sensorprinzip ist ein inte grierendes Verfahren, beispielsweise auf der Basis einer n+ - p -Photodiode. Diese Photodiode ist Bestandteil eines elektronischen Kurzzeitintegrators, der weiterhin einen Kon densator und mehrere Transistoren aufweist. Die Verschaltung geschieht derart, daß sich beispielsweise die Kapazität des Kondensators in Abhängigkeit von dem auf die Photodiode ein fallenden Licht entlädt. Dies wird über einen sog. Shutter- Transistor gesteuert. Im Anschluß daran wird beispielsweise das in dem Kondensator verbleibende Potential ausgelesen. Um eine synchronisierte Beleuchtung zu gewährleisten wird die Zeitsteuerung des elektronischen Kurzzeitintegrators ein sog. Strobe-Signal zur Ansteuerung einer Lichtquelle erzeugen. Für jedes Bildpunktelement des Sensors 4 wird ein derartiger elektronischer Kurzzeitintegrator (elektronischer Shutter) verwendet. Anstelle der am Ende einer Messung im Kondensator verbleibenden Potential kann auch das bereits abgeführte Potential als Meßwert herangezogen werden.
In Figur 6a sind mehrere hintereinander geschaltete sendesei- tige Laserimpulse dargestellt. In Figur 6b wird beispielhaft die Integrationszeit Tx in Verbindung mit der jeweiligen Spannung U und dem Dunkelstromanteil UD dargestellt. Gleiches kann für T2 , U2 und UD aufgetragen werden. Es ergibt sich für jede Belichtung bzw. Mehrfachbelichtung ein Wert für die Lichtlaufzeit T0 .
In der Gegenüberstellung der Figuren 7 und 8 ist zu erkennen, daß das Interpolationsverfahren entsprechend Figur 8 kürzere Beleuchtungszeiten aufweist. Die jeweils in der Mitte darge- stellten Shutter-Zeiten von beispielsweise 30ns und 60 ns in Figur 8 und 60 ns in Verbindung mit einer sehr langen Laserimpulszeit in Figur 7 sollen die Integrationszeiten am Sensor festlegen. In der Figur 7 ist im oberen Teil das zeitliche Verhältnis zwischen der sendeseitigen Beleuchtung und dem empfangsseitigen Eintreffen des Laserimpulses dargestellt. Die in den Figuren 5 bis 8 jeweils dargestellten Ausführungsbeispiele weisen keine Triggerverzögerungszeit auf. Dies bedeutet, daß empfangsseitig mit dem Beginn des Sensorimpulses das Meßfenster geöffnet wird. Dies bedeutet für die Darstellung in Figur 7, daß der Kurzzeit-Shutter (60ns) den empfangenen Laserpuls, jeweils bezogen auf einen Objekt- bzw. Bildelementpunkt, bei der Zeit Δ^ abschneidet. Die Zeitdauer des Lichtimpulses ist sende- wie empfangsseitig AL . Es wird deutlich, das auf Grund von verschiedenen Lichtlaufzeiten der elektronische Kurzzeitintegrator am Sensor jeweils ein Potential als Meßwert liefern wird, daß in Abhängigkeit von der Laufzeit ab dem Zeitpunkt T0 bis zum Ende von und Δ^ aufintegriert wird. Die Integrationszeit AB wird im Falle der Figur 7 zum Ausgleich von Reflektivitätsunterschieden am Objekt 1 verwendet. Dabei wird ein Dunkelstrom und Fremdlichtanteil ermittelt, der entsprechend vom Meßsignal abgezogen werden kann. Die Figur 8 zeigt eine der Figur 7 entsprechende Darstellung, wobei der obere Teil identisch dem der Figur 7 ist. In der Mitte der Figur 8 werden zwei Kurzzeit-Shutterzeiten darge- stellt. Diese werden in ähnlicher Weise wie in Figur 7 zum Abschneiden der am Sensor 4 eintreffenden Laserimpulse verwendet. Somit ergeben sich eine kürzere Integrationszeit Tx und eine längere Integrationszeit T2 . Das Meßsignal weist in den Figuren 7 und 8 einen Dunkelstrom und Fremdlichtanteil auf. Das Meßsignal ergibt sich somit aus der Addition des Photostromanteils zu dem Dunkelstrom und Fremdlichtanteil. Anders ausgedrückt kann der Photostromanteil ermittelt werden, indem vom Meßsignal der Dunkelstrom und Fremdlichtanteil angezogen wird. Die Lichtlaufzeit 7^ ergibt sich an der Stel- le auf der Zeitachse an der das Meßsignal bei einem eingehenden reflektierten Lichtimpuls von dem normalen Verlauf des Dunkelstrom- und Fremdlichtanteils abweist, weil der Photostromanteil nicht mehr Null ist. Die Auswertung, die die Lichtlaufzeit T0 ergibt, ist in Zusammenhang mit Figur 5 be- schrieben worden.
Zur deutlichen Reduzierung der Laserleistung ist vorgesehen, daß ein Meßobjekt seriell partiell beleuchtet wird. Beleuchtung und Auswertung geschehen gleichzeitig. Somit wird ein Objekt 1 partiell seriell beleuchtet und jeweils ausgewertet, wobei jeweils einer von mehreren Lichtquellen 10 ein bestimmter Teil des Objektes 1 zugeordnet ist. Darüberhinaus kann die Anstiegszeit der Intensität einer Lichtquelle 10, beispielsweise eines Lasers, deutlich verkürzt werden, wie etwa auf 0,1 ns.
Figur 9 zeigt schematisch eine Anordnung von drei Lichtquellen 10, die ein Objekt 1 jeweils in einem vorbestimmten Bereich 11 beleuchten. Der Sensor 4 empfängt die den partiellen Bereichen 11 auf dem Objekt 1 entsprechenden reflektierten Lichtanteile" und verarbeitet sie weiter. Diese Ausgestaltung ermöglicht die Begrenzung beispielsweise der Laserleistung einer Beleuchtungseinheit mit einem Laser. Die serielle Beleuchtung und Detektion ist kostengünstig realisierbar und durch bestimmte Normen vorgegebene maximale Laserleistungen werden problemlos unterschritten. Außerdem läßt sich begleitend dazu die Anstiegszeit der Laserintensität deutlich, beispielsweise auf 0,1 nsec, verkürzen.

Claims

Patentansprüche
1. Verfahren zur Aufnahme eines dreidimensionalen Abstandsbildes von räumlichen Objekten unter Einsatz eines bild- punktauflösenden optoelektronischen Sensors (4) mit an jedem Bildpunktelement (9) vorhandenen elektronischen Kurzzeitintegrator, wobei eine Integrationszeit einstellbar ist, bestehend aus folgenden Schritten:
das Objekt (1) wird mit mindestens einem Lichtimpuls (2) vorgegebener Zeitdauer ΔL beleuchtet, von Objektpunkten (G) zurückgestreute Lichtimpulse (3) werden an zugehörigen Bildpunkten des Sensors (4) innerhalb einer vorgegebenen kurzen Integrationszeit ΔA, mit ΔA < Δ, erfaßt, wobei der Zeitpunkt für den Beginn der Integrationszeit ΔA vor dem Eintreffen des ersten zurückgestreuten Lichtimpulses (3) liegt, der dem nächstliegenden Objektpunkt (G) entspricht, aus den entsprechend ihrer unterschiedlichen Laufzeiten resultierenden unterschiedlichen aufgenommenen Intensitäten der zurückgestreuten Lichtimpulse (3) werden Abstandswerte ermittelt.
2. Verfahren zur Aufnahme eines dreidimensionalen Abstands- bildes von räumlichen Objekten unter Einsatz eines bild- punktauflösenden optoelektronischen Sensors (4) mit an jedem Bildpunktelement (9) vorhandenem elektronischen Kurzzeitintegrator, wobei eine Integrationszeit einstellbar ist, bestehend aus folgenden Schritten:
Aufnahme und Integration des einen Dunkelstrom und Umgebungslicht darstellenden Sensorsignales von dem Beginn der Aufnahme und Integration bis zu einer vorgegebenen Integrationszeit T2, - Beginn der Belichtung eines Objektes (1) durch eine Beleuchtungseinrichtung (5) zeitgleich mit dem Beginn der Aufnahme und der Integration des Sensorsignales am Sensor (4), wobei innerhalb eines Lichtintensitätsanstieges des am Sensor (4) empfangenen Lichtes bis zu einer Integrationszeit Tx integriert wird und Ti kleiner ist als T2,
- wiederholte Belichtung des Objektes (1) durch die Beleuch- tungseinrichtung (5) mit zeitgleichem Beginn der Aufnahme und der Integration des Sensorsignales am Sensor (4), wobei innerhalb des Lichtintensitätsanstieges des am Sensor (4) empfangenen Lichtes bis zu der Integrationszeit T2 integriert wird, - zu den Zeitpunkten Ti und T2 wird für alle Bildpunkte der jeweils integrierte Wert des Sensorsignales ausgelesen und gespeichert und aus den gespeicherten Werten werden für jeden Bildpunkt die Laufzeit T0 des Lichtes von der Beleuchtungseinrichtung (5) über das Objekt (1) bis zum Sensor (4), sowie ein entsprechender Abstandswert, berechnet.
3. Verfahren nach Anspruch 1 oder 2, worin die einzelnen Verfahrensschritte zur Gewinnung eines Sensorsignales jeweils mehrfach wiederholt werden, und die daraus resultierenden Signale für jeden einzelnen Bildpunkt integriert werden und sich erst in Anschluß an die Mehrfachbelichtung das Auslesen, Abspeichern und Auswerten der Sensorsignale anschließt.
4. Verfahren nach einem der vorhergehenden Ansprüche, worin abgespeicherte Werte digitalisiert werden.
5. Verfahren nach einem der Ansprüche 3 oder 4, worin eine adaptive Einstellung auf die jeweilige Reflektivität eines Objektes (1) dadurch geschieht, daß die Zahl der Mehrfachbelichtungen solange gesteigert wird, bis in einer vorgegebenen Menge von Bildpunkten des Gesamtbildes die integrierten Intensitätswerte bei Ti und bei T2 in die Nähe einer Sättigung kommen.
6. Verfahren nach Anspruch 5, worin die Zahl der Mehrfachbelichtungen oder die Intensität der Laserstrahlung solange ge- steigert wird, bis für jeden einzelnen Bildpunkt des Gesamtbildes bei Ti und bei T2 die einzelnen integrierten Intensitätswerte in die Nähe einer Sättigung kommen.
7. Verfahren nach Anspruch 5 oder 6, worin das integrierte Sensorsignal im wahlfreien Bildpunktzugriff für jeden einzelnen Bildpunkt oder für ein Segment von Bildpunkten ausgelesen wird, wobei ein Segment eine Zeile des optoelektronischen Bildsensors sein kann.
8. Verfahren nach einem der vorhergehenden Ansprüche, wobei ein räumliches Objekt (1) mittels mehrerer partiell das Objekt beleuchtender Lichtquellen (10) beleuchtet wird, diese Lichtquellen (10) seriell aktiviert werden und die Auswertung entsprechend bei der jeweiligen Beleuchtung geschieht.
9. Verfahren nach einem der vorhergehenden Ansprüche, worin die Integrationszeit bildpunktweise einstellbar ist.
10. Verfahren nach einem der Ansprüche 1 oder 3 bis 9, worin zur gleichzeitigen oder nachfolgenden Normierung der Oberflächenreflexion des Objektes (1) zusätzlich sämtliche zurückgestreuten Lichtimpulse (3) mit einer langen Integrationszeit ΔB » ΔL vollständig erfaßt werden.
11. Verfahren nach einem der Ansprüche 1 oder 3 bis 10, worin der Beginn einer Integrationszeit ΔAB mit einer Triggerimpulsverzögerung gegenüber dem Sendeimpuls verbunden ist.
12. Verfahren nach einem der Ansprüche 1 oder 3 bis 11, worin eine Integrationszeit ΔA weniger als 100 ns beträgt.
13. Verfahren nach einem der Ansprüche 1 oder 3 bis 12, worin eine Integrationszeit ΔB ca. Iμs beträgt.
14. Verfahren nach einem der vorhergehenden Ansprüche, worin eine Lichtimpulslänge weniger, als 100 ns beträgt.
15. Verfahren nach einem der vorhergehenden Ansprüche, worin zur gleichzeitigen Aufnahme eines dreidimensionalen Bildes und eines Grauwertbildes auf dem Sensor (4) zeilenweise un- terschiedliche Integrationszeiten ΔA bzw. ΔB oder Ti bzw.T2 eingestellt werden.
16. Verfahren nach einem der vorhergehenden Ansprüche, worin zur gleichzeitigen Aufnahme eines dreidimensionalen und eines Grauwertbildes auf dem Sensor (4) bildpunktweise unterschiedliche Integrationszeiten ΔA bzw. ΔB oder Ti bzw.T2 abwechselnd eingestellt werden.
17. Verfahren nach einem der vorhergehenden Ansprüche, worin das Objekt (1) mit Lichtimpulsen eines Lasers oder einer gepulsten Leuchtdiode beleuchtet wird.
18. Verfahren nach einem der vorhergehenden Ansprüche, worin der Sensor (4) wahlfrei auslesbar ist.
19. Verfahren nach einem der vorhergehenden Ansprüche, worin der Sensor (4) ein CMOS Sensor ist.
20. Verfahren nach einem der vorhergehenden Ansprüche, worin die Entfernung vom Sensor (4) zu mindestens einem Punkt als
Referenzabstand bekannt ist.
21. Verfahren nach Anspruch 20, worin beim Einsatz in einem Fahrzeug ein Referenzpunkt am Türrahmen positioniert ist.
22. Verfahren nach einem der vorhergehenden Ansprüche, worin eine Erkennung von statischen Objekten und/oder von Bewegungsabläufen vorgenommen wird.
23. Verfahren nach Anspruch 22, worin Objekte überwacht werden, wie Gegenstände oder Personen in Räumen oder in Fahrzeuge.
24. Verfahren nach Anspruch 22, worin Fahrzeuge oder Krananlagen überwacht werden und/oder worin eine allgemeine Positionsbestimmung in einem Navigationssystem vorgenommen wird.
25. Verfahren nach Anspruch 22 oder 23, worin eine Sitzbelegung und/oder eine Sitzposition beispielsweise einer Person in einem Fahrzeug erkannt wird.
26. Vorrichtung zur Aufnahme eines dreidimensionalen Abstand- bildes, bestehend aus:
- einer Beleuchtungseinrichtung (5), die Lichtimpulse (2) über eine Optik (6) auf ein Objekt (1) sendet, einem optoelektronischen Sensor (4) mit einer vorgeschal- teten Optik (7), der die vom Objekt (1) zurückgestreuten
Lichtimpulse (3) detektiert, wobei der Sensor (4) durch eine Vielzahl von Bilpunktelementen (9) bildpunktauflösend aufgebaut und wahlfrei auslesbar ist und eine Integrationszeit bildpunktweise einstellbar ist, - einer Triggereinrichtung (8) zur zeitlichen Abstimmung zwischen Beleuchtungseinrichtung (5) und Sensor (4), einer Recheneinheit zur Berechnung eines dreidimensionalen Bildes aus entsprechenden Ladungen der Bildpunktelemente (9) des Sensors (4 ) .
27. Vorrichtung nach Anspruch 26, worin an den Bildpunktelementen (9) des Sensors (4) Zeilen- oder spaltenweise abwechselnd eine kurze Integrationszeit ΔA bzw. Ti und eine lange Integrationszeit ΔB bzw. T2 eingestellt ist.
28. Vorrichtung nach Anspruch 26, worin an den Bildpunktelementen (9) des Sensors (4) abwechselnd kurze und lange Integrationszeiten ΔA bzw. ΔB oder Ti bzw. T2 eingestellt sind.
29. Vorrichtung nach einem der Ansprüche 26 bis 28, worin die Recheneinheit auf dem Sensor (4) angeordnet ist.
PCT/DE1998/003344 1997-12-23 1998-11-14 Verfahren und vorrichtung zur aufnahme eines dreidimensionalen abstandsbildes WO1999034235A1 (de)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US09/581,091 US6373557B1 (en) 1997-12-23 1998-11-14 Method and apparatus for picking up a three-dimensional range image
DE59809883T DE59809883D1 (de) 1997-12-23 1998-11-14 Verfahren und vorrichtung zur aufnahme eines dreidimensionalen abstandsbildes
JP2000526831A JP3860412B2 (ja) 1997-12-23 1998-11-14 3次元距離画像を撮影するための方法及び装置
EP98962257A EP1040366B1 (de) 1997-12-23 1998-11-14 Verfahren und vorrichtung zur aufnahme eines dreidimensionalen abstandsbildes
KR10-2000-7007058A KR100508277B1 (ko) 1997-12-23 1998-11-14 3차원 거리 측정 이미지를 기록하기 위한 방법 및 장치

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
DE19757595.1 1997-12-23
DE19757595A DE19757595C2 (de) 1997-12-23 1997-12-23 Verfahren und Vorrichtung zur Aufnahme eines dreidimensionalen Abstandsbildes
DE19833207.6 1998-07-23
DE19833207A DE19833207A1 (de) 1998-07-23 1998-07-23 Verfahren und Vorrichtung zur Aufnahme eines dreidimensionalen Abstandsbildes

Publications (1)

Publication Number Publication Date
WO1999034235A1 true WO1999034235A1 (de) 1999-07-08

Family

ID=26042787

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE1998/003344 WO1999034235A1 (de) 1997-12-23 1998-11-14 Verfahren und vorrichtung zur aufnahme eines dreidimensionalen abstandsbildes

Country Status (6)

Country Link
US (1) US6373557B1 (de)
EP (1) EP1040366B1 (de)
JP (1) JP3860412B2 (de)
KR (1) KR100508277B1 (de)
DE (1) DE59809883D1 (de)
WO (1) WO1999034235A1 (de)

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10051505A1 (de) * 2000-10-17 2002-05-08 Astrium Gmbh Verfahren und Vorrichtung zum Erzeugen von 3D-Entfernungsbildern
WO2002041031A1 (de) * 2000-11-14 2002-05-23 Siemens Aktiengesellschaft Vorrichtung zur bilddatenverarbeitung und verfahren zur bilddatenverarbeitung
EP1154916B1 (de) * 1999-02-25 2002-08-21 Siemens Aktiengesellschaft Vorrichtung und verfahren zum optischen erfassen eines objektes oder einer person im innenraum eines fahrzeugs
JP2003510561A (ja) * 1999-09-22 2003-03-18 カネスタ インコーポレイテッド Cmos互換3次元画像センサic
EP1297486A2 (de) * 2000-06-15 2003-04-02 Automotive Systems Laboratory Inc. Besetzungssensor
JP2003149717A (ja) * 2001-11-19 2003-05-21 Mitsubishi Heavy Ind Ltd 撮像方法及び撮像装置
US6581961B1 (en) 1999-12-17 2003-06-24 Trw Vehicle Safety Systems Inc. Deactivation of second stage of air bag inflator
DE10253437A1 (de) * 2002-11-12 2004-05-27 Iris-Gmbh Infrared & Intelligent Sensors Vorrichtung und Verfahren zum Erfassen einer Topografie in drei Dimensionen
DE102004038302A1 (de) * 2004-08-04 2006-03-16 Iris-Gmbh Infrared & Intelligent Sensors Expertensystem und mobiles Assistenzgerät
US7212278B2 (en) * 2001-08-06 2007-05-01 Siemens Aktiengesellschaft Method and device for recording a three-dimensional distance-measuring image
DE102005056265A1 (de) * 2005-11-14 2007-05-16 Pilz Gmbh & Co Kg Vorrichtung und Verfahren zum Überwachen eines Raumbereichs, insbesondere zum Absichern eines Gefahrenbereichs einer automatisiert arbeitenden Anlage
EP1843171A1 (de) 2006-04-05 2007-10-10 Sick Ag Distanzmessvorrichtung
DE102006029025A1 (de) * 2006-06-14 2007-12-27 Iris-Gmbh Infrared & Intelligent Sensors Vorrichtung und Verfahren zur Abstandsbestimmung
DE102008006449A1 (de) * 2008-01-29 2009-07-30 Kaba Gallenschütz GmbH Verfahren und Vorrichtung zur Überwachung eines Raumvolumens
WO2009127347A1 (de) * 2008-04-14 2009-10-22 Fraunhofer-Gesellschaft zur Föderung der angewandten Forschung e.V. Optischer abstandsmesser und verfahren zur optischen abstandsmessung
FR2940463A1 (fr) * 2008-12-23 2010-06-25 Thales Sa Systeme d'imagerie passive equipe d'un telemetre
DE102005004113B4 (de) * 2004-01-28 2014-07-17 Denso Corporation Vorrichtung und Verfahren zum Erzeugen von Bereichsabbildungsdaten
DE102013003515A1 (de) * 2013-03-04 2014-09-04 Jenoptik Robot Gmbh Verfahren und Vorrichtung zur Geschwindigkeitsmessung von Fahrzeugen mittels einer Lasereinrichtung
DE102013007961A1 (de) * 2013-05-10 2014-11-13 Audi Ag Optisches Messsystem für ein Fahrzeug
DE102013112553A1 (de) * 2013-11-14 2015-06-03 Odos Imaging Ltd. Beleuchtungsvorrichtung und Verfahren zum Beleuchten eines Objekts
DE102014220322A1 (de) * 2014-10-07 2016-04-07 Conti Temic Microelectronic Gmbh Bilderfassungsvorrichtung und Verfahren zum Erfassen eines optischen Bildes
EP3015882A4 (de) * 2013-06-27 2016-06-29 Panasonic Ip Man Co Ltd Entfernungsmessvorrichtung
WO2016124278A1 (de) * 2015-02-04 2016-08-11 Volkswagen Aktiengesellschaft Bestimmung einer position eines fahrzeugfremden objekts in einem fahrzeug
DE112005003698B4 (de) * 2005-09-15 2016-10-13 Volkswagen Aktiengesellschaft Erfassung optischer Strahlung
DE102017008666A1 (de) 2017-09-14 2018-03-01 Daimler Ag Verfahren zur Erfassung der Umgebungshelligkeit
DE102016014851A1 (de) * 2016-12-14 2018-06-14 Alexander Zielbach Umrisspulsmodulationsmessung
US10397552B2 (en) 2013-12-24 2019-08-27 Sony Depthsensing Solutions Sa/Nv Time-of-flight camera system
US11493340B2 (en) 2019-02-15 2022-11-08 Trimble Jena Gmbh Surveying instrument and method of calibrating a survey instrument
US11493632B2 (en) 2018-10-17 2022-11-08 Trimble Jena Gmbh Tracker of a surveying apparatus for tracking a target
US11525677B2 (en) 2018-10-17 2022-12-13 Trimble Jena Gmbh Surveying apparatus for surveying an object

Families Citing this family (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8152198B2 (en) * 1992-05-05 2012-04-10 Automotive Technologies International, Inc. Vehicular occupant sensing techniques
JP4105801B2 (ja) * 1998-07-02 2008-06-25 ペンタックス株式会社 3次元画像入力装置
US6822687B1 (en) * 1999-07-08 2004-11-23 Pentax Corporation Three-dimensional image capturing device and its laser emitting device
US6671771B2 (en) * 1999-12-21 2003-12-30 Intel Corporation Hash CAM having a reduced width comparison circuitry and its application
US6810135B1 (en) 2000-06-29 2004-10-26 Trw Inc. Optimized human presence detection through elimination of background interference
US6950135B2 (en) * 2001-01-24 2005-09-27 Hewlett-Packard Development Company, L.P. Method and apparatus for gathering three dimensional data with a digital imaging system
ATE336717T1 (de) * 2001-05-17 2006-09-15 Xenogen Corp Verfahren und vorrichtung zur feststellung von zieltiefe, helligkeit und grösse in einer körperregion
US7298415B2 (en) 2001-07-13 2007-11-20 Xenogen Corporation Structured light imaging apparatus
DE10163534A1 (de) * 2001-12-21 2003-07-10 Siemens Ag Vorrichtung zur Überwachung von Raumbereichen
DE10213754A1 (de) * 2002-03-18 2003-12-04 Sick Ag Sensor-Maschinen-Interface und Verfahren zu dessen Betrieb
US7616985B2 (en) * 2002-07-16 2009-11-10 Xenogen Corporation Method and apparatus for 3-D imaging of internal light sources
US7599731B2 (en) * 2002-07-16 2009-10-06 Xenogen Corporation Fluorescent light tomography
US7495202B2 (en) * 2003-03-25 2009-02-24 Thomson Licensing Device for detecting electromagnetic radiation
US7242460B2 (en) * 2003-04-18 2007-07-10 Sarnoff Corporation Method and apparatus for automatic registration and visualization of occluded targets using ladar data
JP2005067281A (ja) * 2003-08-20 2005-03-17 Toshiba Corp 距離検出装置、エアバッグ制御装置および距離検出方法
US7274815B1 (en) 2003-10-09 2007-09-25 Sandia Corporation Parallel phase-sensitive three-dimensional imaging camera
GB0324179D0 (en) * 2003-10-15 2003-11-19 Isis Innovation Device for scanning three-dimensional objects
DE10360174B4 (de) * 2003-12-20 2007-03-08 Leuze Lumiflex Gmbh + Co. Kg Vorrichtung zur Überwachung eines Erfassungsbereichs an einem Arbeitsmittel
US7652241B2 (en) * 2004-01-09 2010-01-26 Aptina Imaging Corporation Image acquisition timing system and method
US7236235B2 (en) * 2004-07-06 2007-06-26 Dimsdale Engineering, Llc System and method for determining range in 3D imaging systems
US7697748B2 (en) * 2004-07-06 2010-04-13 Dimsdale Engineering, Llc Method and apparatus for high resolution 3D imaging as a function of camera position, camera trajectory and range
JP4466260B2 (ja) * 2004-07-30 2010-05-26 パナソニック電工株式会社 画像処理装置
JP4645177B2 (ja) * 2004-11-30 2011-03-09 パナソニック電工株式会社 計測装置
WO2006011674A1 (en) * 2004-07-30 2006-02-02 Matsushita Electric Works, Ltd. Image processing device
DE602005006080T2 (de) * 2004-09-17 2009-05-07 Matsushita Electric Works, Ltd., Kadoma Reichweitenbildsensor
FR2877279B1 (fr) * 2004-11-03 2008-06-27 Faurecia Sieges Automobile Systeme de detection de presence d'un occupant sur un siege de vehicule automobile, siege adapte a ce systeme et vehicule comportant un tel systeme
DE102005016556A1 (de) 2005-04-11 2006-10-12 Sick Ag Verfahren zum Betrieb eines optoelektronischen Sensors
US8044996B2 (en) * 2005-05-11 2011-10-25 Xenogen Corporation Surface construction using combined photographic and structured light information
US7591583B2 (en) * 2005-05-18 2009-09-22 Federal-Mogul World Wide, Inc. Transient defect detection algorithm
KR100665321B1 (ko) * 2005-06-03 2007-01-09 주식회사 삼성산업 Spc가 피복된 강관의 구조
EP1748304A1 (de) * 2005-07-27 2007-01-31 IEE International Electronics &amp; Engineering S.A.R.L. Verfahren für den Betrieb eines Flugzeitbildgerätpixels
DE102005046950B3 (de) * 2005-09-30 2006-12-21 Siemens Ag Vorrichtung und Verfahren zur Aufnahme von Abstandsbildern
US10335038B2 (en) 2006-08-24 2019-07-02 Xenogen Corporation Spectral unmixing for in-vivo imaging
US10775308B2 (en) * 2006-08-24 2020-09-15 Xenogen Corporation Apparatus and methods for determining optical tissue properties
JP5073273B2 (ja) * 2006-11-21 2012-11-14 スタンレー電気株式会社 遠近判定方法およびその装置
JP5266636B2 (ja) * 2006-12-12 2013-08-21 株式会社デンソー 光センサ、および距離検出装置
DE102007006566A1 (de) * 2007-02-09 2008-08-14 Siemens Ag Verfahren zur zentralen Überwachung sowie Anordnung zur Aufnahme, Auswertung und selektiven Anzeige von Bildern ruhender Personen
DE102007009244A1 (de) 2007-02-22 2008-08-28 Sick Ag Verfahren zur Überprüfung der Funktionsweise und/oder Justierung einer optoelektronischen Sensoranordnung und optoelektronische Sensoranordnung
JP4831760B2 (ja) * 2007-03-29 2011-12-07 日本放送協会 3次元情報検出方法及びその装置
US7745771B2 (en) * 2007-04-03 2010-06-29 Delphi Technologies, Inc. Synchronous imaging using segmented illumination
JP2009047475A (ja) * 2007-08-15 2009-03-05 Hamamatsu Photonics Kk 固体撮像素子
JP5171158B2 (ja) 2007-08-22 2013-03-27 浜松ホトニクス株式会社 固体撮像装置及び距離画像測定装置
DE102007046562A1 (de) 2007-09-28 2009-04-02 Siemens Ag Verfahren und Vorrichtung zum Bestimmen eines Abstands mittels eines optoelektronischen Bildsensors
KR101367281B1 (ko) 2007-11-13 2014-02-25 삼성전자주식회사 깊이 영상 생성 방법 및 장치
GB0724064D0 (en) * 2007-12-10 2008-01-16 Selex Sensors & Airborne Sys Imaging system
US7554652B1 (en) 2008-02-29 2009-06-30 Institut National D'optique Light-integrating rangefinding device and method
EP2260325B1 (de) 2008-02-29 2015-08-05 Leddartech Inc. Lichtintegrierende entfernungsbestimmungseinrichtung und verfahren
WO2010016047A1 (en) * 2008-08-03 2010-02-11 Microsoft International Holdings B.V. Rolling camera system
DE102008045387B4 (de) * 2008-09-02 2017-02-09 Carl Zeiss Ag Vorrichtung und Verfahren zum Vermessen einer Oberfläche
JP5476190B2 (ja) 2010-03-31 2014-04-23 本田技研工業株式会社 固体撮像装置
US20120154535A1 (en) * 2010-12-15 2012-06-21 Microsoft Corporation Capturing gated and ungated light in the same frame on the same photosurface
JP5453230B2 (ja) * 2010-12-15 2014-03-26 本田技研工業株式会社 乗員検知装置
DE102011010102B4 (de) * 2011-02-01 2012-09-13 Diehl Bgt Defence Gmbh & Co. Kg Verfahren zum Messen einer Entfernung und Vorrichtung zur Durchführung des Verfahrens
US8620113B2 (en) * 2011-04-25 2013-12-31 Microsoft Corporation Laser diode modes
TWI575494B (zh) * 2011-08-19 2017-03-21 半導體能源研究所股份有限公司 半導體裝置的驅動方法
JP5781918B2 (ja) * 2011-12-28 2015-09-24 浜松ホトニクス株式会社 距離測定装置
US9723233B2 (en) 2012-04-18 2017-08-01 Brightway Vision Ltd. Controllable gated sensor
US10324033B2 (en) * 2012-07-20 2019-06-18 Samsung Electronics Co., Ltd. Image processing apparatus and method for correcting an error in depth
US9000350B1 (en) * 2012-09-11 2015-04-07 Rockwell Collins, Inc. Time-domain overlap imagery detecting system and method of using same
JP6435513B2 (ja) * 2013-06-26 2018-12-12 パナソニックIpマネジメント株式会社 測距撮像装置及びその測距方法、固体撮像素子
DE102013108824A1 (de) * 2013-08-14 2015-02-19 Huf Hülsbeck & Fürst Gmbh & Co. Kg Sensoranordnung zur Erfassung von Bediengesten an Fahrzeugen
US9507015B2 (en) * 2013-10-07 2016-11-29 Avaya Inc. Device proximity detection
US10203399B2 (en) 2013-11-12 2019-02-12 Big Sky Financial Corporation Methods and apparatus for array based LiDAR systems with reduced interference
US9360554B2 (en) 2014-04-11 2016-06-07 Facet Technology Corp. Methods and apparatus for object detection and identification in a multiple detector lidar array
DE102014013099B4 (de) 2014-09-03 2019-11-14 Basler Aktiengesellschaft Verfahren und Vorrichtung zur vereinfachten Erfassung eines Tiefenbildes
AT516044B1 (de) * 2014-10-09 2016-02-15 Trumpf Maschinen Austria Gmbh Biegewinkel-Messvorrichtung
DE102014117097B3 (de) 2014-11-21 2016-01-21 Odos Imaging Ltd. Abstandsmessvorrichtung und Verfahren zum Bestimmen eines Abstands
DE102014117705B3 (de) 2014-12-02 2016-02-18 Odos Imaging Ltd. Abstandsmessvorrichtung und Verfahren zum Bestimmen eines Abstands
US10036801B2 (en) 2015-03-05 2018-07-31 Big Sky Financial Corporation Methods and apparatus for increased precision and improved range in a multiple detector LiDAR array
JP6340477B2 (ja) * 2015-03-26 2018-06-06 富士フイルム株式会社 距離画像取得装置及び距離画像取得方法
US9866816B2 (en) 2016-03-03 2018-01-09 4D Intellectual Properties, Llc Methods and apparatus for an active pulsed 4D camera for image acquisition and analysis
DE102017106076B3 (de) 2017-03-21 2018-07-26 Elmos Semiconductor Aktiengesellschaft Vorrichtung zur Signalverzögerung unter Benutzung eines Referenzoszillators und deren Anwendung in einer TOF-Kamera
DE102017106077B3 (de) 2017-03-21 2018-07-26 Elmos Semiconductor Aktiengesellschaft Vorrichtung zur Signalverzögerung unter Benutzung eines Quarz-Oszillators und deren Anwendung in einer TOF-Kamera
DE102017106072B3 (de) 2017-03-21 2018-03-29 Elmos Semiconductor Aktiengesellschaft Verfahren zur Erfassung der Verzögerung zwischen einem Strompuls an einem Leuchtmittel und einem Shutter-an-Signal zur Verbesserung von Verfahren und Vorrichtungen zur Messung der Lichtlaufzeit
DE102017106073B3 (de) 2017-03-21 2018-03-29 Elmos Semiconductor Aktiengesellschaft Verfahren zur Erfassung der Verzögerung zwischen einem Spannungspuls an einem Leuchtmittel und einem Shutter-an-Signal zur Verbesserung von Verfahren und Vorrichtungen zur Messung der Lichtlaufzeit
DE102017106071B3 (de) 2017-03-21 2018-03-29 Elmos Semiconductor Aktiengesellschaft Verfahren zur Erfassung der Verzögerung zwischen einem Lichtpuls und einem Shutter-an-Signal zur Verbesserung von Verfahren und Vorrichtungen zur Messung der Lichtlaufzeit
DE102017106078B3 (de) 2017-03-21 2018-07-26 Elmos Semiconductor Aktiengesellschaft Vorrichtung zur Signalverzögerung unter Benutzung eines MEMS Oszillators und deren Anwendung in einer TOF-Kamera
DE102017207317B4 (de) * 2017-05-02 2022-03-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung zur Ermittlung eines Abstands zu einem Objekt sowie entsprechendes Verfahren
US11092678B2 (en) * 2018-06-21 2021-08-17 Analog Devices, Inc. Measuring and removing the corruption of time-of-flight depth images due to internal scattering
CN110509055B (zh) * 2019-09-04 2021-04-06 恩坦华汽车零部件(镇江)有限公司 一种汽车玻璃升降器微型直流电机齿轮壳装配方法
DE102020103597A1 (de) 2020-02-12 2021-08-12 Saf-Holland Gmbh Verfahren und System zum Ermitteln einer Ausrichtung eines Anhängers gegenüber einem Zugfahrzeug
DE102021100931A1 (de) 2020-03-10 2021-09-16 Elmos Semiconductor Se Verfahren zur Herstellung eines Pixels für ein bildgebendes Lichtlaufzeitmesssystem mit einer verbesserten Fertigungsausbeute
WO2021253308A1 (zh) * 2020-06-18 2021-12-23 深圳市汇顶科技股份有限公司 图像采集装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0363735A2 (de) * 1988-10-12 1990-04-18 Kaman Aerospace Corporation Bilderzeugungs-Lidarsystem, das unsichtbares Licht verwendet
EP0465806A2 (de) * 1990-07-12 1992-01-15 Ball Corporation Entfernungsmesser mit Ladungsintegration
WO1997011353A1 (en) * 1995-09-18 1997-03-27 Daedalus Enterprises, Inc. Target detection system utilizing multiple optical criteria

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3608547A (en) * 1967-07-29 1971-09-28 Olympus Optical Co Method for determining the distance of an object from an edoscope
DE3404396A1 (de) 1984-02-08 1985-08-14 Dornier Gmbh, 7990 Friedrichshafen Vorrichtung und verfahren zur aufnahme von entfernungsbildern
DE3839513A1 (de) 1988-11-23 1990-05-31 Messerschmitt Boelkow Blohm Bildsensor
US5446529A (en) * 1992-03-23 1995-08-29 Advanced Scientific Concepts, Inc. 3D imaging underwater laser radar

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0363735A2 (de) * 1988-10-12 1990-04-18 Kaman Aerospace Corporation Bilderzeugungs-Lidarsystem, das unsichtbares Licht verwendet
EP0465806A2 (de) * 1990-07-12 1992-01-15 Ball Corporation Entfernungsmesser mit Ladungsintegration
WO1997011353A1 (en) * 1995-09-18 1997-03-27 Daedalus Enterprises, Inc. Target detection system utilizing multiple optical criteria

Cited By (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1154916B1 (de) * 1999-02-25 2002-08-21 Siemens Aktiengesellschaft Vorrichtung und verfahren zum optischen erfassen eines objektes oder einer person im innenraum eines fahrzeugs
JP2003510561A (ja) * 1999-09-22 2003-03-18 カネスタ インコーポレイテッド Cmos互換3次元画像センサic
US6581961B1 (en) 1999-12-17 2003-06-24 Trw Vehicle Safety Systems Inc. Deactivation of second stage of air bag inflator
EP1297486A4 (de) * 2000-06-15 2006-09-27 Automotive Systems Lab Besetzungssensor
EP1297486A2 (de) * 2000-06-15 2003-04-02 Automotive Systems Laboratory Inc. Besetzungssensor
DE10051505C2 (de) * 2000-10-17 2002-09-12 Astrium Gmbh Verfahren und Vorrichtung zum Erzeugen von 3D-Entfernungsbildern
DE10051505A1 (de) * 2000-10-17 2002-05-08 Astrium Gmbh Verfahren und Vorrichtung zum Erzeugen von 3D-Entfernungsbildern
WO2002041031A1 (de) * 2000-11-14 2002-05-23 Siemens Aktiengesellschaft Vorrichtung zur bilddatenverarbeitung und verfahren zur bilddatenverarbeitung
US7212278B2 (en) * 2001-08-06 2007-05-01 Siemens Aktiengesellschaft Method and device for recording a three-dimensional distance-measuring image
JP2003149717A (ja) * 2001-11-19 2003-05-21 Mitsubishi Heavy Ind Ltd 撮像方法及び撮像装置
DE10253437B4 (de) * 2002-11-12 2007-02-15 Iris-Gmbh Infrared & Intelligent Sensors Vorrichtung und Verfahren zum Erfassen einer Topografie in drei Dimensionen
DE10253437A1 (de) * 2002-11-12 2004-05-27 Iris-Gmbh Infrared & Intelligent Sensors Vorrichtung und Verfahren zum Erfassen einer Topografie in drei Dimensionen
DE102005004113B4 (de) * 2004-01-28 2014-07-17 Denso Corporation Vorrichtung und Verfahren zum Erzeugen von Bereichsabbildungsdaten
DE102004038302A1 (de) * 2004-08-04 2006-03-16 Iris-Gmbh Infrared & Intelligent Sensors Expertensystem und mobiles Assistenzgerät
DE112005003698B4 (de) * 2005-09-15 2016-10-13 Volkswagen Aktiengesellschaft Erfassung optischer Strahlung
DE102005056265A1 (de) * 2005-11-14 2007-05-16 Pilz Gmbh & Co Kg Vorrichtung und Verfahren zum Überwachen eines Raumbereichs, insbesondere zum Absichern eines Gefahrenbereichs einer automatisiert arbeitenden Anlage
US8224032B2 (en) 2005-11-14 2012-07-17 Pilz Gmbh & Co. Kg Apparatus and method for monitoring a spatial area, in particular for safeguarding a hazardous area of an automatically operated installation
EP1843171A1 (de) 2006-04-05 2007-10-10 Sick Ag Distanzmessvorrichtung
EP1884797A1 (de) 2006-06-14 2008-02-06 Iris-Gmbh Infrared &amp; Intelligent Sensors Vorrichtung und Verfahren zur Abstandsbestimmung
US7623221B2 (en) 2006-06-14 2009-11-24 Iris Gmbh Apparatus for and method of determining distance
DE102006029025A1 (de) * 2006-06-14 2007-12-27 Iris-Gmbh Infrared & Intelligent Sensors Vorrichtung und Verfahren zur Abstandsbestimmung
DE102008006449A1 (de) * 2008-01-29 2009-07-30 Kaba Gallenschütz GmbH Verfahren und Vorrichtung zur Überwachung eines Raumvolumens
WO2009127347A1 (de) * 2008-04-14 2009-10-22 Fraunhofer-Gesellschaft zur Föderung der angewandten Forschung e.V. Optischer abstandsmesser und verfahren zur optischen abstandsmessung
US9395440B2 (en) 2008-04-14 2016-07-19 Volkswagen Aktiengesellschaft Optical distance measuring device and method for optical distance measurement
US8107057B2 (en) 2008-12-23 2012-01-31 Thales Passive imaging system equipped with a range finder
EP2202538A1 (de) * 2008-12-23 2010-06-30 Thales Passives Bildanzeigesystem, das mit einem Entfernungsmesser ausgestattet ist
FR2940463A1 (fr) * 2008-12-23 2010-06-25 Thales Sa Systeme d'imagerie passive equipe d'un telemetre
DE102013003515A1 (de) * 2013-03-04 2014-09-04 Jenoptik Robot Gmbh Verfahren und Vorrichtung zur Geschwindigkeitsmessung von Fahrzeugen mittels einer Lasereinrichtung
DE102013007961A1 (de) * 2013-05-10 2014-11-13 Audi Ag Optisches Messsystem für ein Fahrzeug
DE102013007961B4 (de) 2013-05-10 2023-06-22 Audi Ag Optisches Messsystem für ein Fahrzeug
EP3015882A4 (de) * 2013-06-27 2016-06-29 Panasonic Ip Man Co Ltd Entfernungsmessvorrichtung
US10422859B2 (en) 2013-06-27 2019-09-24 Panasonic Intellectual Property Management Co, Ltd. Distance measuring device and solid-state image sensor
DE102013112553A1 (de) * 2013-11-14 2015-06-03 Odos Imaging Ltd. Beleuchtungsvorrichtung und Verfahren zum Beleuchten eines Objekts
US10397552B2 (en) 2013-12-24 2019-08-27 Sony Depthsensing Solutions Sa/Nv Time-of-flight camera system
US10638118B2 (en) 2013-12-24 2020-04-28 Sony Depthsensing Solutions Sa/Nv Time-of-flight camera system
US11172186B2 (en) 2013-12-24 2021-11-09 Sony Depthsensing Solutions Sa/Nv Time-Of-Flight camera system
US11863734B2 (en) 2013-12-24 2024-01-02 Sony Depthsensing Solutions Sa/Nv Time-of-flight camera system
DE102014220322B4 (de) * 2014-10-07 2020-02-13 Conti Temic Microelectronic Gmbh Bilderfassungsvorrichtung und Verfahren zum Erfassen eines optischen Bildes
DE102014220322A1 (de) * 2014-10-07 2016-04-07 Conti Temic Microelectronic Gmbh Bilderfassungsvorrichtung und Verfahren zum Erfassen eines optischen Bildes
WO2016124278A1 (de) * 2015-02-04 2016-08-11 Volkswagen Aktiengesellschaft Bestimmung einer position eines fahrzeugfremden objekts in einem fahrzeug
DE102016014851A1 (de) * 2016-12-14 2018-06-14 Alexander Zielbach Umrisspulsmodulationsmessung
DE102017008666A1 (de) 2017-09-14 2018-03-01 Daimler Ag Verfahren zur Erfassung der Umgebungshelligkeit
US11802966B2 (en) 2018-10-17 2023-10-31 Trimble Jena Gmbh Tracker of a surveying apparatus for tracking a target
US11493632B2 (en) 2018-10-17 2022-11-08 Trimble Jena Gmbh Tracker of a surveying apparatus for tracking a target
US11525677B2 (en) 2018-10-17 2022-12-13 Trimble Jena Gmbh Surveying apparatus for surveying an object
US11493340B2 (en) 2019-02-15 2022-11-08 Trimble Jena Gmbh Surveying instrument and method of calibrating a survey instrument
US11566897B2 (en) 2019-02-15 2023-01-31 Trimble Jena Gmbh Surveying instrument and method of calibrating a survey instrument

Also Published As

Publication number Publication date
JP2002500367A (ja) 2002-01-08
KR100508277B1 (ko) 2005-08-17
EP1040366A1 (de) 2000-10-04
KR20010033549A (ko) 2001-04-25
EP1040366B1 (de) 2003-10-08
US6373557B1 (en) 2002-04-16
JP3860412B2 (ja) 2006-12-20
DE59809883D1 (de) 2003-11-13

Similar Documents

Publication Publication Date Title
EP1040366B1 (de) Verfahren und vorrichtung zur aufnahme eines dreidimensionalen abstandsbildes
DE19757595C2 (de) Verfahren und Vorrichtung zur Aufnahme eines dreidimensionalen Abstandsbildes
DE19833207A1 (de) Verfahren und Vorrichtung zur Aufnahme eines dreidimensionalen Abstandsbildes
DE102005004113B4 (de) Vorrichtung und Verfahren zum Erzeugen von Bereichsabbildungsdaten
EP2263103B1 (de) Optischer abstandsmesser und verfahren zur optischen abstandsmessung
DE102005046990B4 (de) Fahrzeugradarsystem
DE60106134T2 (de) Gesichtsaufnahmesensor zur Personenerkennung, -identifizierung und -beobachtung für Airbagsteuerung
EP1423731A2 (de) Verfahren und vorrichtung zur aufnahme eines dreidimensionalen abstandsbildes
EP1185442B1 (de) Vorrichtung und verfahren zur sitzüberwachung mittels einer optoelektronischen triangulationstechnik
DE102006029025A1 (de) Vorrichtung und Verfahren zur Abstandsbestimmung
DE102005013555A1 (de) Radarvorrichtung
EP2126607A1 (de) Umfeldsensor zur detektion von objekten und betriebsverfahren hierfür
DE102007028062B4 (de) Radarvorrichtung
DE112020002106T5 (de) Ereignisdetektionsvorrichtung, ereignisdetektionsvorrichtung enthaltendes system und ereignisdetektionsverfahren
DE102018126522A1 (de) Laufzeitbasierte Entfernungsmessung unter Verwendung von modulierten Pulsfolgen von Laserpulsen
EP1636610B1 (de) Erfassung elektromagnetischer strahlung
DE10253437B4 (de) Vorrichtung und Verfahren zum Erfassen einer Topografie in drei Dimensionen
EP2978216B1 (de) Verfahren zur Erkennung von Bewegungsunschärfe
DE10138531A1 (de) Verfahren und Vorrichtung zur Aufnahme eines dreidimensionalen Abstandsbildes
EP3314297B1 (de) Sensoreinrichtung zur optischen erfassung von betätigungsgesten
EP1065522B1 (de) Optoelektronisches Überwachungssystem
WO2022106115A1 (de) Verfahren zum betreiben einer ersten beleuchtungseinrichtung, einer zweiten beleuchtungseinrichtung und eines optischen sensors, steuereinrichtung zur durchführung eines solchen verfahrens, gated-kamera-vorrichtung mit einer solchen steuereinrichtung und kraftfahrzeug mit einer solchen gated-kamera-vorrichtung
EP3671276A1 (de) Optoelektronischer sensor und verfahren zur erfassung eines objekts
DE10051505C2 (de) Verfahren und Vorrichtung zum Erzeugen von 3D-Entfernungsbildern
EP4047389B1 (de) Erfassung dreidimensionaler bilddaten

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): JP KR US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE

DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 1998962257

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 09581091

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 1020007007058

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 1998962257

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 1020007007058

Country of ref document: KR

WWG Wipo information: grant in national office

Ref document number: 1998962257

Country of ref document: EP

WWG Wipo information: grant in national office

Ref document number: 1020007007058

Country of ref document: KR