DE3412533A1 - Imaging sensor for three-dimensional scene detection - Google Patents

Imaging sensor for three-dimensional scene detection

Info

Publication number
DE3412533A1
DE3412533A1 DE19843412533 DE3412533A DE3412533A1 DE 3412533 A1 DE3412533 A1 DE 3412533A1 DE 19843412533 DE19843412533 DE 19843412533 DE 3412533 A DE3412533 A DE 3412533A DE 3412533 A1 DE3412533 A1 DE 3412533A1
Authority
DE
Germany
Prior art keywords
image
sequence
stereo
scene
pair
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE19843412533
Other languages
German (de)
Other versions
DE3412533C2 (en
Inventor
Klaus Dr. 2081 Holm Hesse
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hesse Klaus Dr 7770 Rberlingen De
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to DE19843412533 priority Critical patent/DE3412533A1/en
Publication of DE3412533A1 publication Critical patent/DE3412533A1/en
Application granted granted Critical
Publication of DE3412533C2 publication Critical patent/DE3412533C2/de
Granted legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Abstract

The invention relates to a method for obtaining the information on the three-dimensional geometric configuration of a scene with the aid of a moving opto-electronic image sensor, and a device for the actual evaluation of the images obtained by means of the image sensor. The method reorders an image sequence of the scenery of interest, recorded by means of the moving image sensor, into a sequence of stereo image pairs with a continuously increasing stereo base line, which, due to the quasi-continuously increasing changes in the differences within each stereo image pair can be evaluated with respect to the three-dimensional arrangement sought with the aid of a direct image comparison method. The essential component of the device for carrying out the image comparison method is a parallel-processing digital network for carrying out fast correlation comparisons of image sections.

Description

Abbi 1 dender Sensor für dreidimensionale SzenenerfassungFig. 1 the sensor for three-dimensional scene detection

Die Erfindung betrifft einen abbildenden opto-elektronischen Sensor für die berührungslose dreidimensionale Erfassung von Szenen mittels der Aufnahme und Auswertung des Bildes aer von der Szene ausgesandten, vorzugsweise reflektierten Strahlung, insbesondere für Anwendungen in der lndustri eautomation Der Sensor soll dreidimensionale Erkennungsvorgänge, ähnlich wie sie vom menschlichen Augenpaar durchgeführt werden, mit Mitteln der Technik, z. B. Fernsehkameras und speziellen elektronischen Bi 1 dauswertel ogi ken, nachzuahmen gestatten. Durch den Sensor soll ermöglicht werden, daß beispielsweise bei industrieilen Überwachungsvorgängen auf den Menschen als Beobachter oder Kontrolleur verzichtet werden kann oder die Einsatzmöglichkeiten der derzeit überwiegend ohne visuelle Sensoren arbeitenden Industrieroboter für anspruchsvoliere Aufgaben, z. B. im Handhabungs-oder Montage-Bereich erweitert werden können.The invention relates to an imaging opto-electronic sensor for the contactless three-dimensional capture of scenes by means of the recording and evaluation of the image transmitted by the scene, preferably reflected Radiation, especially for applications in industrial automation. The sensor should three-dimensional recognition processes, similar to those of the human pair of eyes be carried out by means of technology, e.g. B. television cameras and special electronic Bi 1 dauswertel ogi ken, imitate allow. Through the sensor should be made possible, for example, in industrial monitoring processes can be dispensed with as an observer or controller or who Possible uses of the currently working predominantly without visual sensors Industrial robots for demanding tasks, e.g. B. in the handling or assembly area can be expanded.

Seit Jahren ist man bemüht, maschinell-visuelle Sensoren zu entwickeln, welche in begrenztem und auf die jeweilige Aufgabe zugeschnittenem Rahmen die Fähigkeiten des visuellen Wahrnehmungsapparates des Menschen nachzuahmen gestatten um sie bei der Fertigungsautomation einsetzen zu können, z.B. Produktinformationen der Firmen BBC (OMS) Bosch (SAM), AEG (IBS), PCS (INCOS). Man kann die bisher eingeführten Sensoren gemäß der Art ihrer Bildauswertung in zwei Klassen einteilen: Binärbild-verarbeitende und Grauwertbild-verarbeitende Sensoren.Bei ersteren (OMS, SAM) wird das empfangene Bild durch geeignete Wahl einer Schwelle im Lichtpegel auf ein schattenrißartiges Schwarz-Weiß-Bild reduziert, also von vornherein eine drastische Informations- reduktion vorgenommen. Dies hat zur Folge, daß diese Geräte nur bei Situationen, die eine derartige Vereinfachung des Bildes auch zulassen, z.B. bei der Erkennung von Umrissen, Löchern oder Schriftzeichen, einsetzbar sind. Mit den zunehmenden Möglichkeiten der eiektronischen Informationsverarbeitung ist inzwischen auch die hinreichend schnelle und preiswerte Auswertung feinerer Schattierungen der Bildinformation, sogenannte Grauwertverarbeitung, möglich (iNCOS, lBS). Dadurch werden die Einsatzmöglichkeiten für visuelle Sensoren erheblich erweitert, da jetzt auch kontrastärmere oder komplexere Szenen verarbeitet werden können.For years, efforts have been made to develop machine-visual sensors, which, to a limited extent and tailored to the respective task, the skills of the human visual perception apparatus to imitate them to be able to use production automation, e.g. product information from companies BBC (OMS) Bosch (SAM), AEG (IBS), PCS (INCOS). You can use the previously introduced Divide sensors into two classes according to the type of their image evaluation: Binary image processing and gray value image processing sensors. With the former (OMS, SAM) the received Image by suitable choice of a threshold in the light level to a silhouette-like Black and white image reduced, so from the start a drastic informational reduction performed. As a result, these devices are only used in situations that require a allow such simplification of the image, e.g. when recognizing outlines, Holes or characters, can be used. With the increasing possibilities electronic information processing is now also sufficient fast and inexpensive evaluation of finer shades of the image information, so-called gray value processing, possible (iNCOS, IBS). This will increase the possible uses for visual sensors significantly expanded, since now also lower contrast or more complex Scenes can be processed.

Eine prinzipielle Grenze der Einsatzfähigkeit ist bisher jedoch, daß jeder Bildsensor nur eine zweidimensionale Abbildung bzw. Beschreibung einer an sich meistens dreidimensionalen Szenerie liefert. In vielen Fällen ist erstere ausreichend. Wird z.B. eine Fernsehkamera zur Beobachtung und/oder Verfolgung der Werkstücke auf einem Förderband senkrecht von oben auf das Förderband blickend montiert, so kann der Abstand vom Förderband als bekannt vorausgesetzt werden und das Fernsehbild ist oft ausreichend um eine komplette Lagebestimmung der auf dem Förderband liegenden Teile vornehmen zu können.So far, however, a fundamental limit to the operational capability has been that each image sensor only has a two-dimensional image or description of one mostly three-dimensional scenery. In many cases, the former is sufficient. For example, a television camera is used to observe and / or track the workpieces Mounted on a conveyor belt, looking vertically from above onto the conveyor belt, like this the distance from the conveyor belt and the television picture can be assumed to be known is often sufficient for a complete determination of the position of those lying on the conveyor belt To be able to make parts.

Braucht man aber zusätzlich die Abstandsinformation, bedarf es bisher bei einäugigen Sensoren weiterer Hilfsmittel, z.B. die Szene überstreichende Laserstrahlen oder gegliederte Lichtvorhänge (siehe Robotics World, März 1984, S. 28) , um mittels Triangulationsverfahren Rückschlüsse auf den Abstand ziehen zu können. Auch die Methode, aus der im Bild erscheinenden Größe eines größenmäßig bekannten Teiles auf seinen Abstand zu schließen, läßt sich manchmal ausnutzen, ist meistens jedoch zu ungenau. Stereobetrachtung mit zwei Kameras und Auswertung des Stereo-Bildpaares ist in einfacheren Einzelfällen schon demonstriert worden. Die Verfahren beruhen, soweit bekannt, auf einer Bildanalyse jedes der beiden Bilder des Stereo-Paares und nachträglicher, meist schwieriger Zuordnung der analysierten Bilddetails zur Gewinnung der Stereo-lnformation. Sie sind bisher in keinem bekannt gewordenen kommerziellen System eingeführt.However, if you also need the distance information, it has so far been necessary In the case of single-eye sensors, additional aids, e.g. laser beams sweeping over the scene or articulated light curtains (see Robotics World, March 1984, p. 28) to use Triangulation method to be able to draw conclusions about the distance. Also the Method, from the size of a known size part that appears in the picture Inferring its distance can sometimes be exploited, but most of the time it is too imprecise. Stereo viewing with two cameras and evaluation of the stereo image pair has already been demonstrated in simple individual cases been. The proceedings are based, as far as is known, on an image analysis of each of the two images of the stereo pair and subsequent, usually more difficult assignment of the analyzed image details to the Obtaining the stereo information. They are not yet in any known commercial System introduced.

Der Erfindung liegt die Aufgabe zugrunde, die dreidimensionale Konfiguration einer Szene mit nur einem bildaufnehmendem Gerät (Kamera) zu erfassen und unter Vereinfachung der bisherigen Auswerteverfahren die dreidimensionale Information zu gewinnen. Die Lösung der Aufgabe macht sich die Tatsache zunutze, daß im allgemeinen die Unterschiede innerhalb eines Stereo-Bildpaares umso geringer sind, je enger benachbart die beiden Stereokameras angeordnet sind - genauer : je kleiner das Verhältnis "Stereobasis b zu Abstand A(der Kameras von der Szene)" ist.The invention is based on the object of the three-dimensional configuration to capture a scene with only one image recording device (camera) and under Simplification of the previous evaluation method the three-dimensional information to win. The solution to the problem makes use of the fact that in general the closer, the smaller the differences within a stereo image pair the two stereo cameras are arranged adjacent - more precisely: the smaller the ratio "Stereo base b to distance A (the cameras from the scene)" is.

Dies liegt sowohl an den Verschiebungen und wechselnden Verdeckungen innerhalb einer gegliederten Szene bei wechselndem Standort des Beobachters als auch an der Tatsache, daß kein Körper ein idealer Lambert-Strahler ist, d.h. von einem Punkt seiner Oberfläche in verschiedene Richtungen die genau gleiche Lichtintensität aussendet. Diese bei abnehmender Stereobasis b zunehmende Ähnlichkeit eines Stereo-Bildpaares die in einer großen Vereinfachung der Auswertung desselben resultieren kann, geht andererseits mit einem Verlust an Auswerte-Genauigkeit in der dritten Dimension, kurz Stereoinformation genannt, einher, kann also nicht beliebig gesteigert werden, auch schon aus praktischen Gründen der räumlichen Kollision der beiden Stereo-Kameras nicht.This is due to both the shifts and changing occultations within a structured scene with a changing location of the observer as also from the fact that no body is an ideal Lambert radiator, i.e. from at a point on its surface the exact same light intensity in different directions sends out. This similarity of a stereo image pair increases with decreasing stereo basis b which can result in a great simplification of the evaluation of the same goes on the other hand with a loss of evaluation accuracy in the third dimension, briefly called stereo information, along with it, cannot be increased at will, also for practical reasons of the spatial collision of the two stereo cameras not.

Die erfindungsgemäße Lösung der Aufgabe unter Umgehung der genannten Schwierigkeiten bei Aufnahme und Auswertung besteht in einer mit einer einzigen bewegten Kamera aufgenommenen Bildsequenz und deren Auswertung nach einem im folgenden näher beschriebenen Verfahren. Die einzelnen Bilder der Sequenz müssen einerseits von genügend eng benachbarten, aufeinanderfolgenden Standorten der bewegten Kamera aufgenommen werden, um aufgrund einer genügend hohen Ähnlichkeit mit einem einfach zu realisierenden Algorithmus ausgewertet werden zu können, die virtuelle Gesamtbasis b zwischen erstem und frei wählbarem letztem Bild der Sequenz kann groß genug gewählt werden, um genügend genaue Stereo-lnformation ableiten zu können.The inventive solution to the problem by circumventing the aforementioned Difficulties in recording and evaluating consists in one with a single Moving camera recorded image sequence and their evaluation according to a below procedures described in more detail. The individual images of the sequence must be on the one hand of enough tight neighboring successive locations of the moving camera to be recorded due to a sufficiently high similarity to be able to evaluate the virtual overall basis b between the first and freely selectable last image of the sequence can be chosen large enough to derive sufficiently accurate stereo information can.

Die hohe Ähnlichkeit der benachbarten Bilder der Sequenz macht einen quasi punktweisen Vergleich möglich: Durch eine Bildkorrelation kann jeder Bildpunkt des einen Bildes (einschließlich seiner Mikro-Umgebung, z.B. eines Bereiches von 3 x 3 Bildpunkten bei einem gerasterten Bild) mit dem koordinatenmäßig zuzuordnenden Bildbereich des anderen Bildes des virtuellen Paares verglichen werden. Der zu untersuchende Bildpunkt des einen Bildes wird samt seiner Mikro-Umgebung rechnerisch solange über dem zuzuordnenden Bildbereich des anderen Bildes verschoben, bis die beste Übereinstimmung gefunden, d.h. dasselbe Detail in beiden Bildern identifiziert ist. Ihre relative Verschiebung gegeneinander läßt eine Berechnung der Entfernung zu.The high similarity of the neighboring images in the sequence makes one Quasi-point-by-point comparison possible: every pixel can use an image correlation of one image (including its micro-environment, e.g. an area of 3 x 3 pixels in a rasterized image) with the coordinate to be assigned Image area of the other image of the virtual pair are compared. The one to be examined The image point of one image, including its micro-environment, is computationally over for as long shifted to the image area of the other image to be assigned until the best match found, i.e. the same detail is identified in both images. Your relative Displacement relative to one another allows the distance to be calculated.

Eine mögliche mathematische Realisierung des Vergleiches für ein Bildpunktpaar wird durch die Formel beschrieben. Die Summation läuft für jede Verschiebung t über alle Bildpunkte der erwähnten Mikroumgebung der beiden zu vergleichenden Bilder B. und B.. Die Funktion K( t) erreicht in Abhängigkeit von der Koordinate der gegenseitigen Verschiebung der beiden Bilder gegeneinanders bei optimaler Übereinstimmung der beiden Mikro-Umgebungen ein Minimum. Gesucht ist die zum Minimum gehörige Verschiebungskoordinate e , welche die Stereoinformation zu berechnen gestattet. Die Bestimmung von g min muß für alle Bildpunkte durchgeführt werden.A possible mathematical implementation of the comparison for a pair of pixels is given by the formula described. The summation runs for each shift t over all image points of the mentioned micro-environment of the two images to be compared B. and B .. The function K (t) achieves, depending on the coordinate of the mutual shift of the two images with respect to one another with optimal correspondence of the two micro- Environments a minimum. We are looking for the shift coordinate e belonging to the minimum, which allows the stereo information to be calculated. The determination of g min must be carried out for all image points.

Es sind auch andere, aufwendigere, z.B. multiplikative und entsprechend normierte Verknüpfungen der Bildpunkte eines Paares möglich, z.B.There are also other, more complex, e.g. multiplicative and corresponding standardized links of the image points of a pair possible, e.g.

der Kreuzkorrel at i onskoeff i zi ent. Gegenüber der angegebenen Formel schöpfen diese aber meistens nicht den für die schnelle Berechnung entscheidenden Vorteil der hochgradigen Ähnlichkeit der Bilder bei eng benachbarten Bi 1 daufnahmestandorten aus.the cross-correlation coefficient. Compared to the specified However, these formulas usually do not create the one that is decisive for quick calculation Advantage of the high degree of similarity of the images in closely adjacent image recording locations the end.

Aus der erwähnten Lage E des Minimums der Funktion K(F) der min angeführten Formel ergibt sich die relative Verschiebung eines Bilddetails und hieraus läßt sich der vertikale Abstand von der Verbindungslinie der Kamerastandorte zu berechnen, vgl. Abb. 3 ( f bezeichne die Brennweite des Kameraobjektivs). Für jede quantitative Bestimmung ist die Ungenauigkeit dA dieses Abstandes wichtig. Sie ergibt sich in Abhängigkeit von der Ungenauigkeit bei der Bestimmung von 5 also da zu Hieraus ist ersichtlich, daß bei fester Ungenauigkeit d die Ungenauigkeit dA umgekehrt proportional zur Größe der Stereobasis b ist, daß also die schrittweise Auswertung der Bildsequenz bei wachsender Stereo-Basis einer schrittweisen Annäherung an die gewünschte Genauigkeit der Abst andsinformation entspricht.From the mentioned position E of the minimum of the function K (F) of the formula given, the relative displacement of an image detail results and from this the vertical distance from the connecting line of the camera locations can be obtained calculate, see Fig. 3 (f denotes the focal length of the camera lens). The inaccuracy dA of this distance is important for any quantitative determination. It arises as a function of the inaccuracy in the determination of 5 so there to From this it can be seen that with a fixed inaccuracy d, the inaccuracy dA is inversely proportional to the size of the stereo base b, so that the step-by-step evaluation of the image sequence as the stereo base increases corresponds to a step-by-step approach to the desired accuracy of the distance information.

Das angegebene Verfahren mit bewegter Kamera erfordert eine (zumindest zeitweilig) stationäre Szene, eine Bedingung, die eine Einschränkung der Anwendbarkeit bedeuten kann. Da aber alle Bewegungen zwischen Szene und Kamera Relativbewegungen sind, gilt diese Einschränkung nur bei unbekannten Bewegungen in der Szene. So ist das Verfahren bei der weiter oben erwähnten Förderbandkonf i gurat ion (ruhende Kamera) bei bekannter Förderbandgeschwindigkeit ebenso einsetzbar wie bei dem häufig zitierten Griff in die Kiste, wenn sich ein Roboterarm mit angeflanschter Kamera auf einer für die Aufnahme der Bildsequenz geeignet ausgewählten Bahn auf die Kiste zu oder über ihr bewegt.The specified procedure with a moving camera requires a (at least temporarily) stationary scene, a condition that restricts applicability can mean. But since all movements between the scene and the camera are relative movements are, this restriction only applies to unknown movements in the scene. So is the procedure at the next conveyor belt configuration mentioned above ion (stationary camera) can be used with a known conveyor belt speed as well as with the often-cited picking in the box when a robotic arm is flanged on Camera on a suitably selected path for recording the image sequence moves the box towards or over her.

Das die Stereo-Bildpaare auswertende schnelle elektronische Netzwerk enthält prinzipiell folgende, später näher ausgeführte Baugruppen (vgl.The fast electronic network evaluating the stereo image pairs Basically contains the following assemblies, which will be explained in more detail later (cf.

Abb. 1 ): Zwei nach Art eines zweidimensionalen Schieberegisters betreibbare Bildspeicher mit partiell parallelem Zugriff (7 ) , eine Verknüpfungslogik aus mehreren parallel arbeitenden identischen Bausteinen ( 8 ) , deren Eingänge aus (7a) und (7b) gespeist werden, und deren Ergebnisse an ein Maskenregister (9), welches einer variablen Mikro-Umgebungs-Begrenzung, d.h. einer Einschränkung der aus (8) bereitgestellten Summanden dient, weitergegeben werden, eine Summierkaskade (10) und eine geeignete schnelle Ablaufsteuerung (12) mittels derer für alle Bildpunkte P(x,y) des Ausgangsbildes die erforderlichen relativen Verschiebungen > eines Bildpaares gegeneinander realisiert werden. Die Die von der Summierkaskade (10) ausgegebenen Ergebnisse müssen nach nach dem Extremwert für jede -Verschiebungsreihe abgefragt werden.Fig. 1): Two that can be operated in the manner of a two-dimensional shift register Image memory with partially parallel access (7), a logic combination of several identical blocks (8) working in parallel, the inputs of which are from (7a) and (7b) are fed, and their results to a mask register (9), which one variable micro-environment-limitation, i.e. a limitation of the one provided by (8) Summands are used to be passed on, a summing cascade (10) and a suitable one rapid sequence control (12) by means of which for all image points P (x, y) of the output image the necessary relative shifts> of an image pair with respect to one another will be realized. The results output by the summing cascade (10) must after being queried for the extreme value for each shift series.

Dies kann in einer geeignet aus Komparatoren aufgebauten Hardware (11) erfolgen oder per Software im Wirtsrechner (6). Die sich - bei Anwendung der Formel (1) ergebenden Minima der Funktion K( ) bilden im allgemeinen eine Fläche 7 (x,y) über dem Bild mit den Koordinaten x und y. Letztere wähit man zweckmäßigerweise auch als Adressen des Ergebnisspeichers (5). Diese Ergebnisfläche läßt sich nach einer der Formel (2) entsprechenden Umrechnungsformel in die zu bestimmende dreidimensionale Oberfläche der Szenerie umsetzen.This can be done in a hardware suitably constructed from comparators (11) or by software in the host computer (6). Which - when applying the Formula (1) resulting minima of the function K () generally form a surface 7 (x, y) above the image with the coordinates x and y. The latter is expediently chosen also as addresses of the results memory (5). This result area can be reduced a conversion formula corresponding to formula (2) into the three-dimensional one to be determined Implement the surface of the scenery.

Dieses spezielle Netzwerk zur Durchführung des eigentlichen Algorithmus wird eingebettet in ein Wirtsrechnersystem (vgl. Abb. 1), welches einerseits eine Digital isierungsei nrichtung (2) und mehrere Pufferspeicher (3) zur Vorbereitung des Bilddatenstromes der Kamera (1) für die eigentliche Rechnung besitzt und andererseits die Weiterverarbeitung und Auswertung der Rohergebnisse t . (x,y) übernehmen muß.This special network to carry out the actual algorithm is embedded in a host computer system (see Fig. 1), which on the one hand a digitizing device (2) and several buffers (3) for preparation of the image data stream of the camera (1) for the actual invoice and on the other hand the further processing and evaluation of the raw results t. (x, y) must take over.

Bei einer tatsächlichen Realisierung nutzt man zweckmäßigerweise folgende Vereinfachungsmögl ichkeit für die Berechnung aus. Die eine Bildkoordinatenachse lege man in Richtung der Verbindungslinie der Stereobasis, also parallel zum Bewegungsvektor der Relativbewegung bei der Aufnahme der Bildsequenz. Dadurch kann man den Stereo-Vergleich zeilenweise, quasi eindimensionai, durchführn und die einander zugeordneten Zeilenpaare je nach Geschwindigkeitsanforderung sequentiell oder zeitlich parallel in mehreren Bildvergleichsrechenwerken (4) abarbeiten. Für die entsprechende Realisierung eines für die Auswertung von Stereo-Zeilenpaaren ausgelegten Netzwerkes des Bildvergleichsrechenwerks (4) gibt Abb. 2 ein Beispiel. Hierbei wurde Formel (1) zugrunde gelegt.In an actual implementation, the following are expediently used Simplification option for the calculation. The one image coordinate axis place in the direction of the connecting line of the stereo base, i.e. parallel to the motion vector the relative movement when recording the image sequence. This allows the stereo comparison line by line, quasi one-dimensional, and carry out the pairs of lines assigned to one another Depending on the speed requirement, sequentially or in parallel in several times Process image comparison arithmetic units (4). For the corresponding implementation of a Network of the image comparison arithmetic unit designed for the evaluation of stereo line pairs (4) Fig. 2 gives an example. Formula (1) was used as the basis for this.

Die beiden zu vergleichenden Bildzeilenpaäre werden in schnelle , eindimensional organisierte Speicher (13) und die Schieberegister (14) mit paralleler Zugriffsmöglichkeit geladen. Eine geeignete Ablaufsteuerung (12) besorgt alle erforderlichen Verschiebungen x und 31 sodaß in den Bausteinen (15) (Addierer) und (16) (Vorzeichen-gesteuerte Inverter) Bildpunktverknüpfungen der Bildpunktpaare aus den beiden Zeilen vorgenommen werden können. Das Maskenregister (9) enthält ein parallel oder sequentiell ladbares Register (17) für die Maske und begrenzt die Größe der Mikroumgebung durch eine Reihe von Gattern, wählt also eine Untermenge aus den parallel von den Arithmetikbausteinen (15,16) angebotenen Summanden der Formel (1) aus. Die Größe der Mikroumgebung ist im allgemeinen ein szenenabhängig zu optimierender Parameter. Die Summierkaskade (10) liefert das Ergebnis der Formel (1). Die Ablaufsteuerung (12) kann fest programmiert (verdrahtet) oder flexibel sein.The two pairs of image lines to be compared are one-dimensionally organized memory (13) and the shift register (14) with parallel Access option loaded. A suitable sequence control (12) takes care of all the necessary Shifts x and 31 so that in blocks (15) (adder) and (16) (sign-controlled Inverter) pixel links of the pairs of pixels from the two lines can be. The mask register (9) contains a parallel or sequential loadable Register (17) for the mask and limits the size of the microenvironment by a Row of gates, so selects a subset from the parallel of the arithmetic modules (15,16) offered summands of the formula (1). The size of the microenvironment is generally a parameter to be optimized depending on the scene. The summing cascade (10) gives the result of formula (1). The sequence control (12) can be permanently programmed (wired) or flexible.

In letzterem Fall kann man zwecks Zeitgeinn die erforderlichen Verschiebungen ein Abhängigkeit von den bereits vorhandenen Ergebnissen, die im Ergebnisspeicher (5) gesammelt werden, vornehmen. Auch die Beantwortung der Frage, ob die Extremwertbestimmung in einer speziellen Hardwarebaugruppe (11) oder im Wirtsrechner (6) vorgenommen werden kann, richtet sich nach der zur Verfügung stehenden Zeit.In the latter case, the necessary shifts can be made in order to keep the timing a dependency on the already existing results that are in the results memory (5) collected. Also answering the question of whether the extreme value determination made in a special hardware assembly (11) or in the host computer (6) depends on the time available.

Da die Beleuchtung der Szene entscheidenden Einfluß auf die Bildqualität und damit auf die Güte der Ergebnisse hat, und da das Verfahren Probleme mit total unstrukturierten oder spiegelnden Oberflächen hat, kann man es auf verschiedene Weise ausgestalten. Um störende, u.U. auch zeitlich wechselnde Einflüsse unkontrollierbarer Lichtquellen weitgehend zu unterdrücken, kann man vor das Bildaufnahmegerät ein sehr schmalbandiges optisches Filter setzen und eine darauf abgestimmte schmalbandige Beleuchtungsquelle heranziehen. Bei sehr homogenen Oberflächen, wie sie beispielsweise ein mattes, unbeschriebenen Stück weisses Papier bietet, kann man eine künstliche, für einen eindeutigen Vergleich wichtige Strukturierung der Oberfläche erzeugen indem irgendein stärker gegliedertes Muster auf die Szene projiziert das von dieser reflektiert wird. Zur Vermeidung von Bildunschärfen bei schnelleren Bewegungsabläufen empfiehlt es sich, eine stroboskopische Beleuchtung oder eine Kurzzeitbelichtung der Kamera, vorzugsweise durch Ausnutzung der Lichtreserve einer Restlichtfernsehkamera, indem diese elektronisch kurzzeitgetatstet wird, heranzuziehen.Because the lighting of the scene has a decisive influence on the image quality and thus has on the goodness of the results, and since the process has problems with total If it has unstructured or reflective surfaces, it can be used in different ways Design wisely. To make disturbing, possibly also temporally changing influences uncontrollable To suppress light sources to a large extent, one can turn in front of the image recording device Set a very narrow-band optical filter and a narrow-band one that is matched to it Use the source of illumination. In the case of very homogeneous surfaces, such as those for example offers a matt, blank piece of white paper, you can use an artificial, create important surface structuring for a clear comparison by projecting some more articulated pattern onto the scene that of this one is reflected. To avoid image blurring when moving faster it is recommended to use stroboscopic lighting or a short-term exposure the camera, preferably by using the light reserve of a residual light television camera, by electronically activating it for a short time.

Da die Verschiebungen $,- nicht kontinuierlich sondern in Rastersprüngen erfolgen kann in einer Ausgestaltung des Verfahrens und/oder des Extremwertbest i mmers (11) eine parabolische Interpolation unter Einbeziehung der Werte von K( > > der beiden Nachbarpunkte des Rasterpunktes s eine Verbesserung des wirklichen Wertes von 5 min erbringen.Since the shifts $, - are not continuous but in increments can take place in one embodiment of the method and / or the extreme value determination i mmers (11) a parabolic interpolation including the values of K ( >> of the two neighboring points of the grid point s an improvement on the real one Bring a value of 5 min.

Alle Abweichungen der Szenenoberfläche vom idealen Lambert-Strahler (z.B.) durch matt spiegelnde Oberflächen) können eine scheinbare Veränderung der Strahlungs- (Grau-)Werte eines Szenendetails infolge der Kamera-Bewegung ergeben. Diese werden im allgemeinen desto größer, je größer die virtuelle Stereobasis wird und können schließlich einen Vergleich unmöglich machen. Zur Abhilfe kann hier eine Korrektur der Grauwerte des ersten Referenzbildes (des ersten Bildes der Sequenz) herangezogen werden. Als Signal für diese Maßnahme dient ein sich-verschlechterned Minimum K( e .All deviations of the scene surface from the ideal Lambert radiator (e.g.) due to matt reflective surfaces) can result in an apparent change in the Radiation (gray) values of a scene detail as a result of the camera movement. In general, these become larger the larger the virtual stereo base becomes and can ultimately make a comparison impossible. To remedy this, a Correction of the gray values of the first reference image (the first image of the sequence) can be used. A deteriorating signal serves as a signal for this measure Minimum K (e.

min Erweist sich dieser Schritt als nicht geeignet, muß man statt dessen ein späteres Bild der Sequenz als neues Referenzbild heranziehen und hierauf eine neue Stereobiidpaar-Folge aufbauen. min If this step proves to be unsuitable, you have to take it use a later image of the sequence as a new reference image and then click build a new stereo pair sequence.

- Leerseite -- blank page -

Claims (10)

Patent - Ansprüche Verfahren zur dreidimensionalen Erfassung einer räumlichen Szene mit Hilfe eines optoelektronischen Bildaufnahmegeräts und einer nachgeschalteten elektronischen Auswertungseinri chtung, dadurch gekennzeichnet - daß das Bildaufnahmegerät gleichförmig auf einer vorzugsweise linearen Bahn relativ zu der zu erfassenden Szene bewegt wird, - daß während dieser Relativbewegung eine Sequenz von Bildern der Szene aufgenommen wird, - daß daraus eine Folge von Stereobildpaaren zunehmender Stereo-Basis, und zwar aus dem ersten und jeweils einem der folgenden Bilder der Sequenz gebildet wird, - daß diese Folge von Bildpaaren nach ihrer Digitalisierung in der Reihenfolge zunehmender Stereo-Basis durch direkten Bild-zu-Bild Vergleich rechnerisch bezüglich der Stereo-Verschi ebungen ausgewertet wird, - daß die gewonnenen Resultate aus den Berechnungen für jedes Paar als Ausgangspunkt für die Berechnungen bei dem jeweils folgenden Paar größerer Stereobasis dienen und - daß die Aufnahme der Bildsequenz und damit die weitere Rechnung abgebrochen wird, wenn eine vorgegebene Genauigkeit erreicht ist. Patent - claims method for three-dimensional detection of a spatial scene with the help of an optoelectronic image recording device and a downstream electronic evaluation device, characterized - That the image pickup device is uniformly relatively uniform on a preferably linear path is moved to the scene to be captured, - that during this relative movement a Sequence of images of the scene is recorded, - that therefrom a sequence of stereo image pairs increasing stereo base, from the first and one of the following Images of the sequence is formed - that this sequence of image pairs after their digitization in the order of increasing stereo base by direct picture-to-picture comparison is evaluated arithmetically with respect to the stereo shifts, - that the won Results from the calculations for each pair as a starting point for the calculations serve with the following pair of larger stereo base and - that the recording the image sequence and thus the further calculation is canceled if a predetermined one Accuracy is achieved. 2. Einrichtung zur Durchführung der rechnerischen Auswertung des Verfahrens, bestehend aus einer für die mit dem Bildaufnahmegerät (1) erhaltene Bildsequenz ausgelegten Digital i sierungsei nrichtung (2), digi -talen Speichern (3) zur temporären Zwischenspeicherung der Bilder der Sequenz, einem Bildvergl eichsrechenwerk (4), einem E rgebni sspeicher (5) und einer programmierbaren Recheneinheit (6) zur Überwachung des Bilddatenstromes, zur Koordination der Arbeitsweise der genannten Komponenten und zum Informationsaustausch mit der Bewegungssteuerung für das Bildaufnahmegerät sowie mit Einrichtungen zur Darstellung und Verwertung des Ergebnisses, dadurch gekennzeichnet, - daß das Bildvergleichsrechenwerk (4) besteht aus - zwei nach Art von Schieberegistern aufgebauten Speichern (7) mit teilweise parallelen Zugriffsmögl ichkeiten zur Durchführung der Verschiebungszyklen bei paralleier Abgabe der einander zuzuordnenden Bilddaten eines Stereo-Bildpaares, - einer Anzahl identischer arithmetischer Baugruppen (8) zur parallelen Durchführung der gewählten Vergleichsverknüpfung der in (7) bereitgestellten Bilddaten, - einem programmierbaren Maskenregister (9) zur Selektion der Zahl der zu summierenden Ergebnisse der arithmetischen Baugruppen (8), - einem Netzwerk (10) zur simultanen Summation aller der durch das Maskenregister ausgewählten Ergebnisse, - einer Schaltung (11) zur Bestimmung des Extremums der Summe in Abhängigkeit von der relativen Verschiebung der Bildausschnitte eines Paares gegeneinander, - einem schnellen, von (6) überwachten Steuerwerk (12), welches die Bilddaten derart in den Speichern (7) verschieben kann, daß für jeden Bildpunkt einschließlich dessen Mikro-Umgebung des einen Bildes die erforderlichen Vergleiche mit einer Anzahl von Nachbarbildpunkten des korrespondierenden Punktes des anderen Bildes des Paares durchgeführt werden können, - daß das Maskenregister (9) die Größe der Mikroumgebungen der zu vergleichenden Bildpunkte zu variieren gestattet, und - daß der Extremwertbestimmer (11) für jeden Verschiebungszyklus außer dem erhaltenen Extremum auch die zugehörige Verschiebungskoordinate selektiert und zur weiteren Auswertung im Ergebnisspeicher (5) ablegt.2. Facility for carrying out the computational evaluation of the procedure, consisting of an image sequence obtained with the image recording device (1) designed digitizing device (2), digital storage (3) for temporary Intermediate storage of the images of the sequence, an image comparison calculator (4), a result memory (5) and a programmable computing unit (6) for monitoring of the image data stream, to coordinate the operation of the components mentioned and to exchange information with the motion controller for the Image recording device as well as equipment for displaying and utilizing the results, characterized in that - that the image comparison arithmetic unit (4) consists of - two memories (7) constructed in the manner of shift registers, some with parallel ones Access options for carrying out the shift cycles with parallel delivery the image data of a stereo image pair to be assigned to one another, - a number of identical ones arithmetic assemblies (8) for the parallel execution of the selected comparison link the image data provided in (7) - a programmable mask register (9) to select the number of results of the arithmetic assemblies to be summed up (8), - a network (10) for the simultaneous summation of all of the through the mask register selected results, - a circuit (11) for determining the extremum of the Sum as a function of the relative displacement of the image sections of a pair against each other, - a fast control unit (12) monitored by (6), which the Can move image data in the memory (7) so that for each pixel including its micro-environment of one image, make the necessary comparisons with a number of neighboring pixels of the corresponding point of the other Image of the pair can be carried out, - that the mask register (9) the size the microenvironments of the pixels to be compared are allowed to vary, and - that the extremum determiner (11) for each cycle of displacement other than the one obtained Extremum, the associated shift coordinate is also selected and further Stores the evaluation in the results memory (5). 3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß zur kontrollierten Auslegung der Szene zusätzlich eine spektral selekt i ve, vorzugsweise monochromatische Beleuchtungsquelle sowie ein auf letztere abgestimmtes, spektral selektives Filter vor der Optik des Bildaufnahmegeräts verwendet wird.3. The method according to claim 1, characterized in that the controlled Interpretation of the scene is also spectrally selective, preferably monochromatic Illumination source as well as a spectrally selective filter matched to the latter is used in front of the optics of the image capture device. 4. Verfahren nach Anspruch 1, dadurch gekennzei chnet , daß mit einem Spezialbeleuchtungsapparat eine strukturierte Lichtvertei lung auf die Szene projiziert wird.4. The method according to claim 1, characterized in that with a chnet Special lighting apparatus projects a structured light distribution onto the scene will. 5. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß zur Vermeidung von Bildunschärfen bei schnellerer Bewegung Mittel zur Kurzzeitbelichtung der einzelnen Bilder der Sequenz herangezogen werden, vorzugsweise eine stroboskopische Beleuchtung oder eine Restlicht-Fernsehkamera mit elektronischer Kurzzeittastung.5. The method according to claim 1, characterized in that to avoid of image blurring with faster movement means for short-term exposure of the individual Images of the sequence are used, preferably stroboscopic lighting or a low-light television camera with electronic short-term sensing. 6. Verfahren nach Anspruch 1, dadurch gekennzei chnet , daß das Bildaufnahmegerät so ausgerichtet und bewegt wird, daß eine der internen B 1 dabtast richtungen (Zeilen) des B 1 daufnahmegeräts parallel zur Richtung der Relativbewegung zwischen Szene und Kamera verläuft, und daß die Bildkorreiationen zeilenweise, parallel oder zeitlich sequentiell oder in einer gemischten Form, ausgeführt werden 6. The method according to claim 1, characterized in that the image recording device is aligned and moved in such a way that one of the internal B 1 scanning directions (lines) of the B 1 d recording device parallel to the direction of the relative movement between scenes and camera runs, and that the image correlations line by line, parallel or temporally sequentially or in a mixed form 7. Einrichtung nach Anspruch 2, dadurch gekennzeichnet, daß zur Durchführung des Verfahrens nach Anspruch 6 mehrere Bildvergleichsrechenwerke (4) parallel eingesetzt werden und daß Organisation und Aufbau der Speicher (7), Maskenregister (9) etc. der linearen Anordnung der zu bearbeitenden Bildzeilen angepaßt, d.h. vereinfacht werden.7. Set up after Claim 2, characterized in that for performing the method according to claim 6 several image comparison arithmetic units (4) are used in parallel and that organization and construction of the memories (7), mask registers (9) etc. of the linear arrangement of the to be processed image lines adapted, i.e. simplified. 8. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß der Extremwertbestimmer (11) außer den Extremwerten auch die verschiebungsmäßig benachbarten Werte speichert, und daß vermittels Interpolation zwischen diesen Nachbarwerten innerhalb des Rasters der Verschiebungskoordinaten eine Erhöhung der Genauigkeit des Verschiebungswertes erreicht wird.8. The method according to claim 1, characterized in that the extreme value determiner (11) except for the extreme values also the neighboring ones in terms of displacement Stores values, and that by means of interpolation between these neighboring values an increase in accuracy within the grid of the shift coordinates of the shift value is reached. 9. Verfahren nach Anspruch 1, dadurch gekennzei chnet, daß die durch die Standortänderung der Kamera während der Aufnahme der Bildsequenz hervorgerufene scheinbare Änderung der Abstrahlung (Grauwertverteilung) von Szenendetails bei späteren Bildern der Sequenz zur Korrektur der Grauwertverteilung der früheren Bilder der Sequenz herangezogen werden.9. The method according to claim 1, characterized in that the chnet by the change in location of the camera during the recording of the image sequence apparent change in the radiation (gray value distribution) of scene details later Images of the sequence for correcting the gray value distribution of the earlier images of the Sequence can be used. 10. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß ersatzweise oder zusätzlich andere Bildpaarkombinationen als die unter Anspruch 1 angeführten zur Stereoauswertung herangezogen werden.10. The method according to claim 1, characterized in that alternatively or in addition other image pair combinations than those listed under claim 1 can be used for stereo evaluation.
DE19843412533 1984-04-04 1984-04-04 Imaging sensor for three-dimensional scene detection Granted DE3412533A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE19843412533 DE3412533A1 (en) 1984-04-04 1984-04-04 Imaging sensor for three-dimensional scene detection

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE19843412533 DE3412533A1 (en) 1984-04-04 1984-04-04 Imaging sensor for three-dimensional scene detection

Publications (2)

Publication Number Publication Date
DE3412533A1 true DE3412533A1 (en) 1985-10-31
DE3412533C2 DE3412533C2 (en) 1987-08-20

Family

ID=6232572

Family Applications (1)

Application Number Title Priority Date Filing Date
DE19843412533 Granted DE3412533A1 (en) 1984-04-04 1984-04-04 Imaging sensor for three-dimensional scene detection

Country Status (1)

Country Link
DE (1) DE3412533A1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3545960C1 (en) * 1985-12-23 1987-07-09 Messerschmitt Boelkow Blohm Method and arrangement for recognizing parts
DE3738667A1 (en) * 1986-11-13 1988-05-26 Olympus Optical Co METHOD FOR PROCESSING ENDOSCOPIC IMAGES
FR2611053A1 (en) * 1987-02-13 1988-08-19 Tecnomare Spa DEVICE FOR CONTINUOUSLY DETECTING THE DISTANCE BETWEEN THIS DEVICE AND A PREDETERMINED POINT
DE4217430A1 (en) * 1992-05-27 1993-12-02 Autronic Bildverarbeitung Pick=up arrangement for detecting and representing objects for comparison - has electronic camera and prismatic deflection devices forming partial images of simultaneously detected object regions

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB907540A (en) * 1957-05-07 1962-10-03 Emi Ltd Improvements relating to television
US3651416A (en) * 1969-05-23 1972-03-21 Hobrough Ltd Digital parallax discriminator system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB907540A (en) * 1957-05-07 1962-10-03 Emi Ltd Improvements relating to television
US3651416A (en) * 1969-05-23 1972-03-21 Hobrough Ltd Digital parallax discriminator system

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3545960C1 (en) * 1985-12-23 1987-07-09 Messerschmitt Boelkow Blohm Method and arrangement for recognizing parts
DE3738667A1 (en) * 1986-11-13 1988-05-26 Olympus Optical Co METHOD FOR PROCESSING ENDOSCOPIC IMAGES
US4895431A (en) * 1986-11-13 1990-01-23 Olympus Optical Co., Ltd. Method of processing endoscopic images
FR2611053A1 (en) * 1987-02-13 1988-08-19 Tecnomare Spa DEVICE FOR CONTINUOUSLY DETECTING THE DISTANCE BETWEEN THIS DEVICE AND A PREDETERMINED POINT
DE4217430A1 (en) * 1992-05-27 1993-12-02 Autronic Bildverarbeitung Pick=up arrangement for detecting and representing objects for comparison - has electronic camera and prismatic deflection devices forming partial images of simultaneously detected object regions

Also Published As

Publication number Publication date
DE3412533C2 (en) 1987-08-20

Similar Documents

Publication Publication Date Title
DE102015002760B4 (en) Robot simulation system that simulates the process of removing workpieces
EP1065628B1 (en) Optical 3-D measurement with several approximation points
DE102015005267B4 (en) Information processing apparatus, method therefor and measuring apparatus
DE69629930T2 (en) Method for setting an optical code attached to an object
DE10020893A1 (en) Optical determination of the shape of an object by determination of the normal to the surface of the object at a large number of points and relating the normals to image points so that an entire surface image is built-up
DE2518077B2 (en) System for determining the angular orientation of a continuous part relative to a sample part
DE3505331C2 (en) Method and device for measuring the impression left in a sample during penetration hardness testing
WO2009063088A2 (en) Method for optical measurement of objects using a triangulation method
DE112011100652T5 (en) THREE-DIMENSIONAL MEASURING DEVICE, PROCESSING METHOD AND NON-VOLATILE COMPUTER-READABLE STORAGE MEDIUM
EP3195256B1 (en) Method and apparatus for identifying structural elements of a projected structural pattern in camera images
DE3738667A1 (en) METHOD FOR PROCESSING ENDOSCOPIC IMAGES
WO2000063681A2 (en) Image editing for preparing a texture analysis
DE19525561C2 (en) 3D measuring device
DE102019109624A1 (en) Robot motion learning device, robot system and robot controller
DE2649608A1 (en) PROCEDURE FOR TRANSFERRING COORDINATE POSITIONS
DE112014006911T5 (en) Method and system for scanning an object using an RGB-D sensor
EP2791896B1 (en) Method for generating super-resolution images having improved image resolution and measuring device
DE102018121481A1 (en) Distance measuring system and distance measuring method
EP0918302B1 (en) Coherence detector
EP1143221B1 (en) Method for determining the position of a coordinate system of an object in a 3D space
EP1098268A2 (en) Method for the threedimensional optical measurement of object surfaces
DE3412533C2 (en)
WO2005073911A1 (en) Image processing system
DE4143193A1 (en) SYSTEM FOR MATHEMATICALLY DETECTING THREE-DIMENSIONAL SURFACES
DE3446009C2 (en)

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
8127 New person/name/address of the applicant

Owner name: HESSE, KLAUS, DR., 7770 RBERLINGEN, DE

D2 Grant after examination
8364 No opposition during term of opposition
8320 Willingness to grant licences declared (paragraph 23)
8339 Ceased/non-payment of the annual fee