DE102009001894A1 - Robot system for sorting objects in e.g. wooden box, has three-dimensional-camera movably or stationary arranged at last articulated arm, and determining operating range based on travel-time of light - Google Patents

Robot system for sorting objects in e.g. wooden box, has three-dimensional-camera movably or stationary arranged at last articulated arm, and determining operating range based on travel-time of light Download PDF

Info

Publication number
DE102009001894A1
DE102009001894A1 DE102009001894A DE102009001894A DE102009001894A1 DE 102009001894 A1 DE102009001894 A1 DE 102009001894A1 DE 102009001894 A DE102009001894 A DE 102009001894A DE 102009001894 A DE102009001894 A DE 102009001894A DE 102009001894 A1 DE102009001894 A1 DE 102009001894A1
Authority
DE
Germany
Prior art keywords
camera
robot system
articulated arm
manipulator
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102009001894A
Other languages
German (de)
Other versions
DE102009001894B4 (en
Inventor
Björn Biehler
Florian Forster
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PMDtechnologies AG
Original Assignee
IFM Electronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IFM Electronic GmbH filed Critical IFM Electronic GmbH
Priority to DE102009001894.8A priority Critical patent/DE102009001894B4/en
Publication of DE102009001894A1 publication Critical patent/DE102009001894A1/en
Application granted granted Critical
Publication of DE102009001894B4 publication Critical patent/DE102009001894B4/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Abstract

The system has articulated arms (32), and a manipulator (34) i.e. gripper, arranged at the last articulated arm for manipulation of objects (21-23). A three-dimensional (3D)-camera (40) i.e. time-of-flight camera, determines an operating range based on a travel-time of a light, where light travel-time information is obtained from phase shift of emitted and received radiation. The 3D-camera is movably or stationary arranged at the last articulated arm, and the manipulator rests in a visual range of the 3D-camera, which determines gripping position (20) of one of objects. An independent claim is also included for a method for operating a robot system.

Description

Die Erfindung betrifft ein Robotersystem bzw. ein Verfahren zum Betreiben eines Robotersystems, bei dem ein Arbeitsbereich des Robotersystems mit Hilfe einer beweglich angeordneten 3D-Kamera überwacht wird.The The invention relates to a robot system or a method for operating a robot system in which a working area of the robot system monitored by means of a movably arranged 3D camera becomes.

Aus der EP 0 263 952 B1 ist bereits eine Roboteranlage mit beweglichen Manipulatorarmen bekannt, der eine Bildaufnahme- und -verarbeitungsanlage aus 2D- und 3D-Sensoriken zugeordnet ist. Die 2D-Sensorik ist als CCD-Kamera ausgestaltet und die 3D-Sensorik als Laserentfernungsmesser mit einer Ablenkeinheit als Laserradar ausgebildet. Die beiden Sensoriken sind auf einer zentralen Plattform angeordnet und überwachen den Arbeitsraum des Roboters. Die zu manipulierenden Objekte werden zunächst mit Hilfe des Laserradars in ihrer Größe vermessen. Mit diesen Informationen wird die Entfernungseinheit und Brennweite der CCD-Kamera zur Gewinnung eines aussagekräftigen 2D-Bilds eingestellt. Eine Objekterkennung und Steuerung des Roboters erfolgt anhand einer gemeinsamen Auswertung der 2D- und 3D-Informationen.From the EP 0 263 952 B1 already a robot system with movable manipulator arms is known, which is associated with an image recording and processing system of 2D and 3D sensor systems. The 2D sensor is designed as a CCD camera and the 3D sensor as a laser rangefinder with a deflection unit designed as a laser radar. The two sensors are arranged on a central platform and monitor the workspace of the robot. The objects to be manipulated are first measured in size using the laser radar. This information sets the distance unit and focal length of the CCD camera to obtain a meaningful 2D image. Object recognition and robot control are based on a common evaluation of the 2D and 3D information.

Nachteilig einer zentralen Beobachtung des Arbeitsraumes ist, dass zur Verbesserung der Auflösung die CCD-Kamera beispielsweise mit einem Zoomobjektiv auszustatten ist. Die Auflösung des Laserradars ist hier in der Wesentlichen durch die mechanische Präzision der Ablenkeinheit begrenzt und kann nur mit erheblichem Aufwand verbessert werden. Darüber hinaus hat eine zentrale Beobachtungsposition den Nachteil, dass Strukturen hinter verdeckten Bereichen nicht erkannt werden können.adversely A central observation of the workspace is that for improvement the resolution of the CCD camera, for example, with a zoom lens be equipped. The resolution of the laser radar is here in essence by the mechanical precision of the Deflector limited and can only be improved with considerable effort become. In addition, has a central observation position the disadvantage that structures behind hidden areas are not can be recognized.

Aufgabe der Erfindung ist es, eine Bilderfassung im Hinblick auf eine zuverlässigere Objekterfassung und präzisere Robotersteuerung weiter zu entwickeln.task The invention is to provide an image capture with a view to a more reliable Object acquisition and more precise robot control continue develop.

Die Aufgabe wird in vorteilhafter Weise durch die erfindungsgemäße Vorrichtung und des erfindungsgemäßen Verfahrens der unabhängigen Ansprüche gelöst.The The object is achieved in an advantageous manner by the invention Device and the method according to the invention of the independent claims.

Vorteilhaft ist ein Robotersystem mit mindestens einem Gelenkarm, einem Manipulator und einer 3D-Kamera vorgesehen, bei dem die 3D-Kamera Entfernungen anhand einer Lichtlaufzeit ermittelt und die Lichtlaufzeitinformationen aus der Phasenverschiebung einer emittierten und empfangenen Strahlung gewonnen wird. Die 3D-Kamera ist an einem Gelenkarm des Robotersystems angeordnet. Dieses Vorgehen hat den Vorteil, dass die am Gelenkarm angeordnete 3D-Kamera verschiedene Beobachtungspositionen im Raum einnehmen kann und so die Möglichkeit besteht, das räumliche Umfeld bzw. den Arbeitsbereich des Robotersystems auch in Details vollständig zu erfassen.Advantageous is a robotic system with at least one articulated arm, a manipulator and a 3D camera provided, where the 3D camera distances determined based on a light transit time and the light transit time information from the phase shift of an emitted and received radiation is won. The 3D camera is attached to an articulated arm of the robot system arranged. This approach has the advantage that the articulated arm arranged 3D camera occupy different observation positions in space and so the possibility exists, the spatial Environment or the working area of the robot system also in details completely capture.

Die Aufgabe wird ferner durch das erfindungsgemäße Verfahren für das genannte Robotersystem gelöst, bei dem in einem ersten Schritt eine globale Beobachtungsposition angefahren wird. Die Gelenkarme werden so angesteuert, dass die 3D-Kamera aus der globalen Beobachtungsposition einen Arbeitsbereich des Robotersystems im Wesentlichen vollständig erfassen kann. Die in dieser Position erfassten Daten werden ausgewertet und ein erstes 3D-Modell des Arbeitsbereichs erstellt. Ausgehend von den erfassten und ausgewerteten 3D-Daten wird überprüft, ob der Arbeitsbereich verdeckte Bereiche – also Bereiche, die von der globalen Beobachtungsposition nicht eingesehen werden können – aufweist. Insbesondere können die 3D-Daten im Hinblick auf unklare Bereiche untersucht werden. Unter unklare Bereiche sind hier vorzugsweise Bereiche zu verstehen, in denen eine Struktur und/oder ein Objekt nicht eindeutig oder nur mit geringer Wahrscheinlichkeit erkannt wird. Bei Vorliegen verdeckter und/oder unklarer Bereiche, werden lokale Beobachtungspositionen ermittelt und angefahren, aus denen ein Einblick in die verdeckten Bereiche möglich erscheint und/oder eine bessere Auflösung der unklaren Bereiche zu erwarten ist. Das aus der globalen Beobachtungssituation erstellte erste 3D-Modell wird dann um die 3D-Daten der lokalen Beobachtungspositionen ergänzt. Dieses Vorgehen hat den Vorteil, dass verdeckte oder unklar erfasste Bereiche durch Anfahren lokaler Beobachtungspositionen detailliert analysiert werden können, und anhand der lokalen Beobachtungsdaten im Gegensatz zu einer festen Überblicksposition präzisere Bahn- und Steuerungsstrategien für das Robotersystem ermittelt werden können.The Task is further by the invention Method for said robot system solved, in a first step, a global observation position is approached. The articulated arms are controlled so that the 3D camera from the global observation position a workspace essentially completely grasp the robot system can. The data recorded in this position are evaluated and create a first 3D model of the workspace. Starting from the captured and evaluated 3D data is checked whether the workspace covers hidden areas - ie areas, which are not seen by the global observation position can - has. In particular, you can the 3D data are examined with regard to unclear areas. Unclear areas are preferably areas to be understood here where a structure and / or an object is not unique or is recognized only with low probability. In presence Hidden and / or unclear areas become local observation positions determined and approached, from which an insight into the hidden Areas appear possible and / or a better resolution the unclear areas is to be expected. That from the global observation situation Created first 3D model is then added to the 3D data of the local Observation positions supplemented. This procedure has the Advantage that covered or unclear areas detected by starting local Observation positions can be analyzed in detail, and on the basis of local observation data as opposed to a fixed overview more precise path and steering strategies for the Robot system can be determined.

Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der in den unabhängigen Ansprüchen angegeben Verfahren und Vorrichtung möglich.By those listed in the dependent claims Measures are advantageous developments and improvements the method specified in the independent claims and device possible.

Ferner ist es von Vorteil, die 3D-Kamera derart anzuordnen, dass der Manipulator des Robotersystems im Sichtbereich der 3D-Kamera liegt. Eine solche Anordnung ermöglicht nicht nur eine Erfassung des umliegenden Raumbereichs, sondern ermöglicht ferner die Arbeitsweise des Manipulators zu überwachen. Insbesondere ist es möglich – beispielsweise bei einem Greifer – den Zugriff auf ein Objekt zu überwachen und ggf. auch zu steuern, indem die Bewegung des Greifers im Raum quasi kontinuierlich erfasst und bei Abweichung der Ist-Position auf eine Soll-Position zurückgeführt werden kann.Further it is advantageous to arrange the 3D camera such that the manipulator of the robot system is within the field of view of the 3D camera. Such Arrangement not only allows detection of the surrounding Space range, but also allows the operation to monitor the manipulator. In particular, it is possible - for example with a gripper - to monitor access to an object and possibly also to control by the movement of the gripper in space recorded almost continuously and in case of deviation of the actual position can be returned to a desired position.

Zusätzlich kann die 3D-Kamera auf dem Gelenkarm beweglich angeordnet sein, so dass ohne Positionsänderung des Gelenkarms weitere Beobachtungsrichtungen der 3D-Kamera eingestellt werden können. Dies ist insbesondere dann von Vorteil, wenn der Gelenkarm sich in einem Bereich mit geringeren Bewegungsmöglichkeiten befindet. Die bewegliche Anordnung der 3D-Kamera erlaubt somit insbesondere in engen und ggf. schwierig einsehbaren Bereichen eine Erfassung der dreidimensionalen Raumsituation.In addition, the 3D camera can be arranged to be movable on the articulated arm, so that without changing the position of the articulated arm further observation directions of the 3D camera who set you can. This is particularly advantageous when the articulated arm is in an area with less movement possibilities. The movable arrangement of the 3D camera thus allows detection of the three-dimensional space situation, particularly in narrow and possibly difficult-to-see areas.

In einer weiteren Ausgestaltung ist es vorgesehen, die 3D-Kamera innerhalb des Gelenkarms bzw. des Manipulators anzuordnen. Typischerweise ist ein Gelenkarm nicht massiv, sondern beispielsweise als Hohlrohr oder als Rohrkonstruktion aufgebaut. Die 3D-Kamera kann nun innerhalb einer solchen Konstruktion angeordnet werden. Eine solche Anordnung hat den Vorteil, dass die 3D-Kamera vor äußerlichen Einflüssen durch die Konstruktion des Gelenkarms geschützt ist. Da der Manipulator üblicherweise am Ende des letzten Gelenkarms angeordnet ist, kann bei einem Einbau der 3D-Kamera innerhalb des Gelenkarms neben dem Arbeitsbereich auch der Manipulator erfasst werden. Je nach Ausgestaltung des Manipulators kann die 3D-Kamera auch Teil des Manipulators sein.In In another embodiment, it is provided that the 3D camera within to arrange the articulated arm or the manipulator. Typically is an articulated arm not massive, but for example as a hollow tube or constructed as a pipe construction. The 3D camera can now within be arranged such a construction. Such an arrangement has the advantage that the 3D camera in front of external Influences protected by the construction of the articulated arm is. Because the manipulator is usually at the end of the last Articulated arm can be located when installing the 3D camera within the articulated arm next to the work area and the manipulator detected become. Depending on the configuration of the manipulator, the 3D camera also be part of the manipulator.

Ferner ist es von Vorteil, zusätzlich zu der auf dem Gelenkarm angeordneten 3D-Kamera eine zweite 3D-Kamera vorzusehen. Diese zweite 3D-Kamera ist derart angeordnet, dass sie zumindest einen Teil des Arbeitsbereiches des Robotersystems erfasst. Die zweite 3D-Kamera ist vorzugsweise stationär angeordnet, beispielsweise an einem Stativ, das entweder mit dem Robotersystem verbunden ist oder auch separat aufgestellt werden kann.Further It is beneficial, in addition to that on the articulated arm arranged 3D camera to provide a second 3D camera. This second 3D camera is arranged such that it covers at least part of the Work area of the robot system detected. The second 3D camera is preferably arranged stationary, for example on a tripod, which is either connected to the robot system or else can be placed separately.

Des Weiteren ist es auch möglich, die 3D-Kamera beweglich anzuordnen, um auch vom stationären Standort aus weitere Raumwinkelbereiche erfassen zu können. Die über die zweite 3D-Kamera teilweise redundant erfassten Daten, erlauben in vorteilhafter Art und Weise auch eine Überprüfung beider Systeme auf Datenkonsistenz, wobei bei zu großen Abweichungen geeignete Fehlerreaktionen eingeleitet werden können.Of Furthermore, it is also possible to arrange the 3D camera movable, also around the stationary location of more solid angle ranges to be able to capture. The over the second 3D camera partially redundantly recorded data allow in an advantageous manner and also a review of both systems on data consistency, with suitable for large deviations Error reactions can be initiated.

Weiterhin ist es von Vorteil, in kooperierenden Robotersystemen auch den kooperierenden Roboter mit einer 3D-Kamera zu versehen. So können sich die kooperierenden Roboter beispielsweise gegenseitig in ihren Bewegungen überwachen und ggf. auch Steuern oder Regeln.Farther It is also advantageous to cooperate in cooperating robot systems To provide robots with a 3D camera. That's how it can be For example, the cooperating robots monitor each other's movements and possibly also taxes or rules.

Auch das Verfahren kann vorteilhaft weiter ausgestaltet werden, indem anhand des ersten in der globalen Beobachtungsposition gewonnenen 3D-Models eine erste Bahn- insbesondere erste Entladestrategie ermittelt wird. Im Weiteren wird das erste 3D-Modell anhand der lokalen 3D-Daten ergänzt oder neu ermittelt.Also the method can be advantageously further developed by based on the first 3D model obtained in the global observation position a first path, in particular first unloading strategy is determined. Furthermore, the first 3D model will be based on the local 3D data added or redetermined.

Es zeigen:It demonstrate:

1 schematisch ein erfindungsgemäßes Robotersystem in globaler Beobachtungsposition, 1 schematically a robot system according to the invention in global observation position,

2 ein Robotersystem in lokaler Beobachtungsposition, 2 a robotic system in local observation position,

3 ein Robotersystem mit separaten Greif- und Kameraarm, 3 a robot system with separate gripping and camera arm,

4 ein Robotersystem mit einer innerhalb des Gelenkarms angeordneten 3D-Kamera, 4 a robot system with a 3D camera disposed within the articulated arm,

5 eine auf einem Gelenkarm beweglich angeordnete 3D-Kamera. 5 a movably arranged on a hinged 3D-camera.

1 zeigt ein mögliches Ausführungsbeispiel eines erfindungsgemäßen Robotersystems. Der Roboter weist mehrere Gelenkarme 32 und am. letzten Gelenkarm 32 einen Manipulator 34 insbesondere einen Greifer 34 zur Manipulation von Objekten 21, 22, 23 auf. Die Gelenkarme 32 und der Greifer 34 sind typischerweise frei in den möglichen Raumachsen beweglich. Die Objekte 21, 22, 23 befinden sich im vorliegenden Beispiel in einem Transportbehälter 10, beispielsweise einer Holzkiste oder einem Karton, der auf einer Frontseite teilweise geöffnet ist. Die direkte Sicht auf die Objekte 21, 22, 23 wird durch die nicht geöffneten Bereiche 15 verstellt bzw. abgedeckt. 1 shows a possible embodiment of a robot system according to the invention. The robot has several articulated arms 32 and on the last articulated arm 32 a manipulator 34 in particular a gripper 34 for the manipulation of objects 21 . 22 . 23 on. The articulated arms 32 and the gripper 34 are typically freely movable in the possible spatial axes. The objects 21 . 22 . 23 are in the present example in a transport container 10 For example, a wooden box or a box that is partially open on a front. The direct view of the objects 21 . 22 . 23 is through the unopened areas 15 adjusted or covered.

Auf dem letzten Gelenkarm 32 ist ferner eine 3D-Kamera 40 angeordnet. Der letzte Gelenkarm 32 übernimmt somit im dargestellten Beispiel sowohl die Funktion eines Manipulator- bzw. Greifarms 33 als auch die Funktion eines Kameraarms 35. Die 3D-Kamera ist vorzugsweise als Time-of-flight (TOF) Kamera ausgeführt. Mit TOF-Kamera sollen insbesondere auch alle 3D-Kameras mit umfasst sein, die eine Laufzeitinformation aus der Phasenverschiebung einer emittierten und empfangenen Strahlung gewinnen. Erfindungsgemäß ist als Kamera insbesondere ein so genannter Photomischdetektor (PMD) vorgesehen, wie u. a. in den Anmeldungen DE 196 35 932 , EP 1 777 747 , US 6 587 186 und auch DE 197 04 496 beschrieben und beispielsweise von der Firma ,ifm electronic gmbh' als Frame-Grabber O3D101/M01594 zu beziehen ist. Die PMD-Kamera hat den Vorteil, dass Lichtquelle und Detektor in einem Gehäuse angeordnet sind und aufgrund dieser Kompaktheit unproblematisch an einem Gelenkarm angebracht werden kann.On the last articulated arm 32 is also a 3D camera 40 arranged. The last articulated arm 32 thus assumes in the example shown both the function of a manipulator or gripper arm 33 as well as the function of a camera arm 35 , The 3D camera is preferably designed as a time-of-flight (TOF) camera. With TOF camera in particular, all 3D cameras should be included, which gain a runtime information from the phase shift of an emitted and received radiation. According to the invention, a so-called photonic mixer device (PMD) is provided in particular as a camera, as, inter alia, in the applications DE 196 35 932 . EP 1 777 747 , US 6,587,186 and also DE 197 04 496 described and for example by the company, ifm electronic gmbh 'as a frame grabber O3D101 / M01594 is available. The PMD camera has the advantage that light source and detector are arranged in a housing and due to this compactness can be easily attached to an articulated arm.

In der in 1 dargestellten Situation befindet sich das Robotersystem 30 in einer globalen Beobachtungsposition. Die auf dem Greifarm 33 angeordnete 3D-Kamera 40 ist in dieser Situation vorzugsweise so positioniert und ausgerichtet, dass der Arbeitsbereich des Robotersystems vollständig erfasst werden kann. Anhand der erfassten 3D-Daten kann beispielsweise mit Hilfe einer Bildverarbeitung und/oder Auswerteeinheit ein 3D-Modell des Arbeitsbereichs ermittelt und/oder die im Arbeitsbereich angeordneten Objekte 21, 22, 23 erkannt werden. Ausgehend von diesen Daten können dann weitere Aktionen des Robotersystems eingeleitet werden.In the in 1 the situation shown is the robot system 30 in a global observation position. The on the gripper arm 33 arranged 3D camera 40 is in this situation preferably positioned and aligned so that the working area of the robot system completely he can be summarized. On the basis of the acquired 3D data, for example with the aid of an image processing and / or evaluation unit, a 3D model of the work area can be determined and / or the objects arranged in the work area 21 . 22 . 23 be recognized. Based on these data, further actions of the robot system can then be initiated.

Im dargestellten Beispiel könnte das Robotersystem beispielsweise für die Sortierung von Gepäckstücken eingesetzt werden. In der globalen Beobachtungsposition wird vom System zum einen die Szene dreidimensional erfasst und über eine Objekterkennung die einzelnen Gepäckstücke klassifiziert. Anhand der erfassten Daten wird beispielsweise eine Entladestrategie und eine entsprechende Bahnplanung des Greifers festgelegt. Der Greifer wird hiernach an geeignete Greifstellen der Objekte 21, 22, 23 bzw. Gepäckstücke geführt und die Gepäckstücke in vorgegebener Weise sortiert.In the example shown, the robot system could be used, for example, for the sorting of luggage. In the global observation position, the system captures the scene three-dimensionally and classifies the individual pieces of luggage via object recognition. On the basis of the acquired data, for example, an unloading strategy and a corresponding path planning of the gripper are determined. The gripper is hereafter to suitable gripping points of the objects 21 . 22 . 23 or pieces of luggage out and sorted the luggage in a predetermined manner.

Im gezeigten Fall kann aus der globalen Beobachtungsposition nur eine Greifstelle 20 des Objektes 22 erfasst werden. Die möglichen Greifstellen 20 der übrigen Objekte 21, 23 sind aus der globalen Beobachtungsposition nicht zu erkennen, eine entsprechende Bahnplanung kann insofern nicht getroffen werden.In the case shown, from the global observation position only one gripping point 20 of the object 22 be recorded. The possible gripping points 20 the remaining objects 21 . 23 can not be recognized from the global observation position, a corresponding path planning can not be made in this respect.

Für eine effiziente Entladestrategie und Bahnplanung wäre es hilfreich, auch die verdeckten Objekte mit in die Planung einzubeziehen. Erfindungsgemäß ist es daher vorgesehen, nachdem aus der globalen Beobachtungsposition der für die 3D-Kamerasichtbare Arbeitsbereich erfasst wurde, lokale Beobachtungen durchzuführen. Erfindungsgemäß ist es vorgesehen, aus den Daten der globalen Beobachtungsposition geeignete lokale Beobachtungsposition zu bestimmen, an denen mit hoher Wahrscheinlichkeit Informationen in den zunächst verdeckten Bereichen gewonnen werden können und die kollisionsfrei zu erreichen sind.For an efficient unloading strategy and path planning would be It is also helpful to include the hidden objects in the planning. According to the invention it is therefore intended, after from the global observation position of the 3D camera visible Work area was recorded to perform local observations. According to the invention, it is provided from the data the global observation position suitable local observation position to determine with which with high probability information in the initially hidden areas can be won and which can be reached without collision.

In 2 ist beispielhaft eine solche mögliche lokale Beobachtungsposition dargestellt. Diese Position erlaubt eine dreidimensionale Erfassung des ursprünglich verdeckten Raumbereichs 15 und der darin befindlichen Objekte 23. Da typischerweise das Robotersystem mit Sensoren zur Erfassung der Raumposition seines Manipulators insbesondere Greifers oder Werkzeugs ausgestattet ist, ist dem Robotersystem auch die tatsächliche Lage der 3D-Kamera in der lokalen Beobachtungsposition bekannt, so dass ohne weiteres die lokal beobachteten 3D-Daten in das bereits bekannte 3D-Modell ergänzend übernommen werden können. Durch Anfahren weiterer lokaler Beobachtungspositionen kann das ursprüngliche 3D-Modell sukzessive ergänzt und vervollständigt werden.In 2 is exemplified such a possible local observation position. This position allows a three-dimensional capture of the originally hidden space area 15 and the objects in it 23 , Since the robot system is typically equipped with sensors for detecting the spatial position of its manipulator, in particular gripper or tool, the robotic system is also aware of the actual position of the 3D camera in the local observation position, so that the locally observed 3D data can easily be converted into the already known 3D model can be taken over in addition. By approaching further local observation positions, the original 3D model can be successively supplemented and completed.

Insbesondere kann es in einem weiteren Schritt auch vorgesehen sein, weitere sublokale Beobachtungspositionen anzufahren, beispielsweise um Griffpositionen genauer zu untersuchen und/oder geeignete Greifpunkte zu ermitteln. Beispielsweise kann es auch vorgesehen sein, dass anhand der globalen und lokalen 3D-Daten eine erste Entladestrategie und vorläufige Greifpunkte festgelegt werden. Anstatt jedoch den vorläufigen Greifpunkt direkt anzufahren, wird zunächst eine sublokale Beobachtungsposition kurz vor dem vorläufigen Greifpunkt angefahren. An dieser Position wird der Greifpunkt noch einmal im Detail erfasst, die Greifstrategie bzw. -steuerung festgelegt und der Greifvorgang abschließend eingeleitet.Especially it may also be provided in a further step, more To approach sub-local observation positions, for example to handle positions to investigate more closely and / or to determine suitable gripping points. For example, it can also be provided that based on the global and local 3D data a first unloading strategy and preliminary Gripping points are set. Instead of the provisional Directly approaching the gripping point first becomes a sublocal one Observation position shortly before the provisional grip point approached. At this position, the gripping point is again in the Detected detail, set the gripping strategy or control and the gripping process finally concluded.

Des Weiteren können durch Anfahren lokaler bzw. sublokaler Beobachtungspositionen insbesondere unklare Bereiche näher untersucht werden. Anhand der globalen Beobachtungsdaten werden auch hier entsprechende lokale bzw. sublokale Beobachtungspositionen ermittelt, die einer verbesserte Sicht bzw. Information auf bzw. über den unklaren Bereich versprechen.Of Further, by starting local or sublocal Observation positions in particular unclear areas closer to be examined. Based on the global observation data Here too, corresponding local or sublocal observation positions determines that an improved view or information on or about to promise the unclear area.

3 zeigt eine weitere Ausgestaltung, bei der die 3D-Kamera 40 nicht auf dem Manipulatorarm 33, sondern auf einen vorhergehenden Gelenkarm 32 angeordnet ist. Kamera- und Manipulatorarm 35, 33 sind so zwar in Grenzen aber im Wesentlichen unabhängig von einander bewegbar. Eine derartige Anordnung hat den Vorteil, dass die 3D-Kamera 40 beispielsweise nicht nur das zu greifende Objekt 21, 22, 23, sondern auch den Manipulator bzw. Greifer 34 erfasst und so der Anfahrweg des Greifers 34 bis zum Greifpunkt 20 vollständig überwacht und gesteuert werden kann. 3 shows a further embodiment in which the 3D camera 40 not on the manipulator arm 33 but on a previous articulated arm 32 is arranged. Camera and manipulator arm 35 . 33 Although they are within limits but essentially independent of each other movable. Such an arrangement has the advantage that the 3D camera 40 for example, not just the object to be gripped 21 . 22 . 23 , but also the manipulator or gripper 34 recorded and so the approach path of the gripper 34 to the gripping point 20 can be completely monitored and controlled.

Über die 3D-Kamera kann zum einen das zu greifende Objekt 22 und ein geeigneter Greifpunkt 20 vollständig in das bereits vorhandene 3D-Modell aufgenommen werden zum anderen besteht jedoch auch die Möglichkeit den Greifer 34 relativ zum Greifpunkt zu steuern. Die Relativmessung hat den Vorteil, dass Absolutfehler ausgemittelt und somit der Greifer präziser gesteuert werden kann. Für eine Bahnplanung bzw. Entladestrategie können selbstverständlich zunächst die Koordinaten der Objekte im 3D-Modell verwendet werden.On the one hand, the object to be gripped can be reached via the 3D camera 22 and a suitable grip point 20 However, there is also the possibility of the gripper 34 to control relative to the gripping point. The relative measurement has the advantage that absolute errors can be averaged out and thus the gripper can be controlled more precisely. Of course, the coordinates of the objects in the 3D model can first be used for a path planning or unloading strategy.

Auch in der in 3 dargestellten Ausführung ist es vorteilhaft, die 3D-Kamera 40 zunächst in eine globale Beobachtungsposition zu bringen, um den gesamten Arbeitsbereich zu erfassen. Hiernach können, wie bereits beschrieben, verschiedene lokale bzw. sublokale Positionen angefahren werden, um das 3D-Modell zu vervollständigen.Also in the in 3 illustrated embodiment, it is advantageous to the 3D camera 40 first in a global observation position to capture the entire work area. After that, as already described, various local or sublocal positions can be approached in order to complete the 3D model.

Die 4 entspricht im Wesentlichen der Anordnung gemäß 2. In der in 4 gezeigten Anordnung ist es jedoch vorgesehen, die 3D-Kamera nicht auf einem Kamera- oder Greifarm zu positionieren, sondern die 3D-Kamera im Manipulatorarm 34 selbst anzuordnen. Diese Anordnung hat den Vorteil, dass die Position der 3D-Kamera im Wesentlichen mit der Position des Manipulators übereinstimmt und die Bahn des Manipulators bzw. Greifes 34 und der Greifvorgang selbstunmittelbar beobachtet werden kann.The 4 corresponds essentially to the arrangement according to 2 , In the in 4 shown Arrangement, it is provided, however, not to position the 3D camera on a camera or gripping arm, but the 3D camera in the manipulator arm 34 to arrange yourself. This arrangement has the advantage that the position of the 3D camera substantially coincides with the position of the manipulator and the path of the manipulator or gripper 34 and the gripping process itself can be observed directly.

Selbstverständlich kann in allen Ausführungsbeispielen der Manipulator als Greifer oder auch als ein anderes Werkzeug ausgestaltet sein. Beispielsweise könnte der Roboter nicht abschließender Aufzählung mit einer Bohr-Schweiß-Fräs-, Absaug- oder Befüllvorrichtung ausgestattet sein. Auch hier kann der Arbeitsbereich durch globale und lokale Beobachtungspositionen der 3D-Kamera vollständig erfasst werden. In der globalen Beobachtungsposition können beispielsweise die zu bearbeitenden Objekte und in den lokalen Beobachtungspositionen die Bearbeitungs- oder Angriffspunkte der jeweiligen Objekte erkannt und bestimmt werden.Of course can be used in all embodiments of the manipulator as Gripper or designed as another tool. For example The robot might not be exhaustive enumeration with a drilling-welding-milling, suction or filling device be equipped. Again, the workspace can be global and local observation positions of the 3D camera completely be recorded. In the global observation position can for example, the objects to be processed and in the local observation positions the processing or attack points of the respective objects detected and be determined.

Ferner kann die 3D-Kamera auf dem Gelenkarm bzw. Manipulator- oder Kameraarm beweglich angeordnet sein, sodass ohne Positionsänderung des Gelenkarms weitere Beobachtungsrichtungen der 3D-Kamera eingestellt werden können. Dies ermöglicht eine Erfassung der dreidimensionalen Raumsituation insbesondere in engen und ggf. schwierig einsehbaren Bereichen, in denen der Gelenk- bzw. Kameraarm nicht in allen Raumachsen frei bewegt werden kann. Vorzugsweise sind für die Schwenkbewegungen der Kamera eine oder mehrere Achsen vorgesehen, um eine Orientierung der Kamera in verschiedene Raumbereiche zu ermöglichen. Insbesondere kann es auch vorgesehen sein, die Kamera auf einem Rotationselement anzuordnen. Das Rotationselement ist so ausgestaltet, dass die 3D-Kamera um die Längsachse des Gelenkarms bewegt werden kann.Further Can the 3D camera on the articulated arm or manipulator or camera arm be arranged so that without changing the position of the Gelenkarms further observation directions of the 3D camera set can be. This allows detection the three-dimensional space situation especially in narrow and possibly difficult accessible areas where the joint or camera arm is not can be moved freely in all spatial axes. Preferably are for the pivoting movements of the camera one or more axes provided to orient the camera in different areas of the room enable. In particular, it can also be provided that Camera to arrange on a rotary element. The rotation element is designed so that the 3D camera around the longitudinal axis the articulated arm can be moved.

Eine derartige Anordnung ist schematisch in 5 gezeigt. Das Robotersystem entspricht im Wesentlichen dem in 2 gezeigten System, wobei die 3D-Kamera über das am letzten Gelenkarm 32 angeordnete Rotationselement 46 in weitere Kamerapositionen 40', 40'', 40''' – jeweils gestrichelt dargestellt – gebracht werden kann. Das Rotationselement 46 ermöglicht eine Drehbewegung der 3D-Kamera um die Längsachse des Gelenkarms, so dass die 3D-Kamera beispielsweise auch eine Position 40' unterhalb des Gelenkarms einnehmen kann. Ferner ist es vorgesehen die 3D-Kamera über eine Dreh- und über eine Schwenkachse 44, 42 mit dem Rotationselement zu verbinden. Über die Drehachse 44 und die Schwenkachse 42 kann die 3D-Kamera in weitere Raumrichtungen 40'', 40''' bewegt werden.Such an arrangement is schematically shown in FIG 5 shown. The robot system essentially corresponds to the one in 2 shown system, with the 3D camera on the last articulated arm 32 arranged rotation element 46 in other camera positions 40 ' . 40 '' . 40 ''' - shown in dashed lines - can be brought. The rotation element 46 allows a rotational movement of the 3D camera about the longitudinal axis of the articulated arm, so that the 3D camera, for example, a position 40 ' can take below the articulated arm. Furthermore, it is provided the 3D camera via a rotary and a pivot axis 44 . 42 to connect with the rotation element. About the rotation axis 44 and the pivot axis 42 Can the 3D camera in more spatial directions 40 '' . 40 ''' to be moved.

In einer weiteren Ausgestaltung ist es vorgesehen, zwei kooperierende Roboter jeweils mit einer 3D-Kamera auszustatten. Das 3D-Modell des Arbeitsbereiches kann so vorteilhaft, teilweise redundant, aus den Informationen beider 3D-Kameras gewonnen werden. Darüber hinaus kann auch das Anfahren der lokalen Beobachtungspositionen vorteilhaft auf beide Roboter verteilt werden. Da die 3D-Daten teilweise redundant vorliegen, können aus den Abweichungen ggf. Rückschlüsse auf die Genauigkeit und Zuverlässigkeit des Gesamtsystems gezogen werden. Überschreiten die Abweichungen einen vorgegebenen Grenzwert können geeignete Fehlerreaktionen eingeleitet werden. Beispielsweise kann es vorgesehen sein, dass die Robotersysteme zunächst eine Selbstkalibrierung anhand geeigneter Kalibrierungsmarken und/oder -objekte durchführen. Bleibt eine solche Kalibrierung ohne Erfolg, werden weitere Fehlerreaktionen, beispielsweise eine Signalisierung, eingeleitet.In In a further embodiment, it is provided, two cooperating Equip each robot with a 3D camera. The 3D model The workspace can be so beneficial, partially redundant, off obtained from the information of both 3D cameras. About that In addition, it is also possible to approach the local observation positions advantageously distributed to both robots. Because the 3D data partially redundant, conclusions may be drawn from the deviations on the accuracy and reliability of the overall system to be pulled. If the deviations exceed a given value Limit can initiate appropriate error responses become. For example, it may be provided that the robot systems first a self-calibration using appropriate calibration marks and / or objects. If such a calibration remains without success, more error responses, such as a Signaling, initiated.

Weiterhin kann es vorgesehen sein, die beschriebene Roboterarm-3D-Kamera um eine stationäre 3D-Kamera, zu ergänzen. Während die stationäre 3D-Kamera den Arbeitsbereich global erfasst, sondiert die Roboterarm-3D-Kamera den Arbeitsbereich lokal. Insbesondere kann es vorgesehen sein, den Arbeitsbereich auch von der Roboterarm-3D-Kamera zunächst in einer globalen Beobachtungsposition zu erfassen, und mit den redundanten Daten beider Kamerasysteme deren fehlerfreie Funktion zu überprüfen oder die Taktzeit zu verkürzen indem das Anfahren der globalen Beobachtungsposition unterlassen wird. In letzterem Fall werden die Daten der Stationären 3D-Kamera um die lokalen Daten der Roboterarmkamera ergänzt.Farther it can be provided, the described robot arm 3D camera to a stationary 3D camera, to complete. While the stationary 3D camera captures the work area globally the robotic arm 3D camera the working area locally. Especially it may be provided, the work area also from the robot arm 3D camera initially in a global observation position, and with the redundant data of both camera systems whose error-free Function to check or shorten the tact time by refraining from approaching the global observation position becomes. In the latter case, the data of the stationary 3D camera supplemented with the local data of the robotic arm camera.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list The documents listed by the applicant have been automated generated and is solely for better information recorded by the reader. The list is not part of the German Patent or utility model application. The DPMA takes over no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • - EP 0263952 B1 [0002] EP 0263952 B1 [0002]
  • - DE 19635932 [0023] - DE 19635932 [0023]
  • - EP 1777747 [0023] EP 1777747 [0023]
  • - DE 19704496 [0023] - DE 19704496 [0023]

Claims (11)

Robotersystem mit mindestens einem Gelenkarm (32), einem Manipulator (34), und einer 3D-Kamera (40), dadurch gekennzeichnet, dass die 3D-Kamera Entfernungen anhand einer Lichtlaufzeit ermittelt, dass die Lichtlaufzeitinformationen aus der Phasenverschiebung einer emittierten und empfangenen Strahlung gewonnen wird, und dass die 3D-Kamera an einem Gelenkarm (32) des Robotersystems angeordnet ist.Robot system with at least one articulated arm ( 32 ), a manipulator ( 34 ), and a 3D camera ( 40 ), characterized in that the 3D camera determines distances based on a light transit time, that the light transit time information is obtained from the phase shift of an emitted and received radiation, and that the 3D camera is mounted on an articulated arm ( 32 ) of the robot system is arranged. Robotersystem nach Anspruch 1, bei dem die 3D-Kamera (40) derart angeordnet ist, dass der Manipulator (34) im Sichtbereich der 3D-Kamera (40) liegt.Robot system according to claim 1, wherein the 3D camera ( 40 ) is arranged such that the manipulator ( 34 ) in the field of view of the 3D camera ( 40 ) lies. Robotersystem nach einem der vorhergehenden Ansprüchen, bei dem die 3D-Kamera (40) am Gelenkarm (32) beweglich angeordnet ist.Robot system according to one of the preceding claims, in which the 3D camera ( 40 ) on the articulated arm ( 32 ) is movably arranged. Robotersystem nach einem der vorhergehenden Ansprüche, bei dem die 3D-Kamera (40) innerhalb des Gelenkarms (32) bzw. Manipulators (34) angeordnet ist.Robot system according to one of the preceding claims, in which the 3D camera ( 40 ) within the articulated arm ( 32 ) or manipulator ( 34 ) is arranged. Robotersystem nach einem der vorhergehenden Ansprüche, bei dem zusätzlich zu der auf einem Gelenkarm (32) angeordneten 3D-Kamera (40) eine zweite 3D-Kamera vorgesehen ist, wobei die zweite 3D-Kamera zumindest einen Teil des Arbeitsbereichs erfasst.Robot system according to one of the preceding claims, in which, in addition to that on an articulated arm ( 32 ) arranged 3D camera ( 40 ), a second 3D camera is provided, wherein the second 3D camera detects at least a part of the work area. Robotersystem nach einem der vorhergehenden Ansprüche, bei dem die zweite 3D-Kamera einem kooperierenden Roboter zugeordnet ist.Robot system according to one of the preceding claims, in which the second 3D camera is assigned to a cooperating robot is. Robotersystem nach einem der Ansprüche 1 bis 6, bei dem die zweite 3D-Kamera stationär angeordnet ist.Robot system according to one of claims 1 to 6, in which the second 3D camera is stationary. Robotersystem nach einem der vorhergehenden Ansprüche, bei dem die zweite 3D-Kamera (40) beweglich angeordnet ist.Robot system according to one of the preceding claims, in which the second 3D camera ( 40 ) is movably arranged. Verfahren für ein Robotersystem nach einem der vorhergehenden Ansprüche, mit den Schritten: – Anfahren einer globalen Beobachtungsposition, wobei die Gelenkarme 32 derart angesteuert werden, dass die 3D-Kamera eine globale Beobachtungsposition einnimmt, die eine dreidimensionale Erfassung eines Arbeitsbereichs erlaubt, – Erfassung globaler 3D-Daten aus der globalen Beobachtungsposition, – Erstellung eines ersten 3D-Modells anhand der globalen 3D-Daten, – Ermittlung und Anfahren mindestens einer lokalen Beobachtungsposition, wenn die Auswertung der 3D-Daten verdeckte oder unklare Bereiche 15 aufzeigt, – Ergänzung des ersten 3D-Modells anhand lokaler 3D-Daten aus der lokalen BeobachtungspositionMethod for a robot system according to one of the preceding claims, comprising the steps of: - approaching a global observation position, wherein the articulated arms 32 be controlled so that the 3D camera occupies a global observation position, which allows a three-dimensional detection of a workspace, - capture global 3D data from the global observation position, - creating a first 3D model based on the global 3D data, - determination and Approaching at least one local observation position if the analysis of the 3D data obscured or unclear areas 15 - Supplementing the first 3D model using local 3D data from the local observation position Verfahren nach Anspruch 9, bei dem anhand des ersten 3D-Modells eine erste Bahnstrategie und vorzugsweise eine erste Entladestrategie ermittelt wird.Method according to Claim 9, in which reference is made to the first 3D model a first path strategy and preferably a first Unloading strategy is determined. Verfahren nach einem der Ansprüche 9 oder 10, bei dem nach Ergänzung des ersten 3D-Modells anhand der lokalen 3D-Daten die erste Bahnstrategie ergänzt oder neu ermittelt wird.Method according to one of claims 9 or 10, in addition to the first 3D model based on the local 3D data complements or redesigns the first railway strategy is determined.
DE102009001894.8A 2009-03-26 2009-03-26 Robot system with 3D camera Active DE102009001894B4 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102009001894.8A DE102009001894B4 (en) 2009-03-26 2009-03-26 Robot system with 3D camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102009001894.8A DE102009001894B4 (en) 2009-03-26 2009-03-26 Robot system with 3D camera

Publications (2)

Publication Number Publication Date
DE102009001894A1 true DE102009001894A1 (en) 2010-09-30
DE102009001894B4 DE102009001894B4 (en) 2018-06-28

Family

ID=42663844

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102009001894.8A Active DE102009001894B4 (en) 2009-03-26 2009-03-26 Robot system with 3D camera

Country Status (1)

Country Link
DE (1) DE102009001894B4 (en)

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2983761A1 (en) * 2011-12-07 2013-06-14 Centre Nat Recherche Microtechnic device for e.g. handling objects, has mobile assembly comprising base with head that is moved in rotation with respect to base, where image sensor is arranged on head of mobile assembly facing actuator
US8533967B2 (en) 2010-01-20 2013-09-17 Faro Technologies, Inc. Coordinate measurement machines with removable accessories
US8537374B2 (en) 2010-01-20 2013-09-17 Faro Technologies, Inc. Coordinate measuring machine having an illuminated probe end and method of operation
US8601702B2 (en) 2010-01-20 2013-12-10 Faro Technologies, Inc. Display for coordinate measuring machine
US8607536B2 (en) 2011-01-14 2013-12-17 Faro Technologies, Inc. Case for a device
WO2013188025A1 (en) * 2012-06-15 2013-12-19 Faro Technologies, Inc. Coordinate measurement machines with removable accessories
US8615893B2 (en) 2010-01-20 2013-12-31 Faro Technologies, Inc. Portable articulated arm coordinate measuring machine having integrated software controls
US8630314B2 (en) 2010-01-11 2014-01-14 Faro Technologies, Inc. Method and apparatus for synchronizing measurements taken by multiple metrology devices
US8638446B2 (en) 2010-01-20 2014-01-28 Faro Technologies, Inc. Laser scanner or laser tracker having a projector
US8677643B2 (en) 2010-01-20 2014-03-25 Faro Technologies, Inc. Coordinate measurement machines with removable accessories
US8832954B2 (en) 2010-01-20 2014-09-16 Faro Technologies, Inc. Coordinate measurement machines with removable accessories
US8875409B2 (en) 2010-01-20 2014-11-04 Faro Technologies, Inc. Coordinate measurement machines with removable accessories
US8898919B2 (en) 2010-01-20 2014-12-02 Faro Technologies, Inc. Coordinate measurement machine with distance meter used to establish frame of reference
US8997362B2 (en) 2012-07-17 2015-04-07 Faro Technologies, Inc. Portable articulated arm coordinate measuring machine with optical communications bus
CN104669243A (en) * 2014-08-29 2015-06-03 北京精密机电控制设备研究所 Spatial capture mechanical arm of six-degree-of-freedom structure
US9074883B2 (en) 2009-03-25 2015-07-07 Faro Technologies, Inc. Device for optically scanning and measuring an environment
US9113023B2 (en) 2009-11-20 2015-08-18 Faro Technologies, Inc. Three-dimensional scanner with spectroscopic energy detector
DE102014005351A1 (en) * 2014-04-11 2015-10-15 Thyssenkrupp Ag Getriebeprüfvorrichtung
US9163922B2 (en) 2010-01-20 2015-10-20 Faro Technologies, Inc. Coordinate measurement machine with distance meter and camera to determine dimensions within camera images
US9168654B2 (en) 2010-11-16 2015-10-27 Faro Technologies, Inc. Coordinate measuring machines with dual layer arm
US9210288B2 (en) 2009-11-20 2015-12-08 Faro Technologies, Inc. Three-dimensional scanner with dichroic beam splitters to capture a variety of signals
USRE45854E1 (en) 2006-07-03 2016-01-19 Faro Technologies, Inc. Method and an apparatus for capturing three-dimensional data of an area of space
CN105478363A (en) * 2015-11-20 2016-04-13 苏州易瑞得电子科技有限公司 Defective product detection and classification method and system based on three-dimensional figures
US9329271B2 (en) 2010-05-10 2016-05-03 Faro Technologies, Inc. Method for optically scanning and measuring an environment
US9372265B2 (en) 2012-10-05 2016-06-21 Faro Technologies, Inc. Intermediate two-dimensional scanning with a three-dimensional scanner to speed registration
US9417316B2 (en) 2009-11-20 2016-08-16 Faro Technologies, Inc. Device for optically scanning and measuring an environment
US9417056B2 (en) 2012-01-25 2016-08-16 Faro Technologies, Inc. Device for optically scanning and measuring an environment
US9513107B2 (en) 2012-10-05 2016-12-06 Faro Technologies, Inc. Registration calculation between three-dimensional (3D) scans based on two-dimensional (2D) scan data from a 3D scanner
US9529083B2 (en) 2009-11-20 2016-12-27 Faro Technologies, Inc. Three-dimensional scanner with enhanced spectroscopic energy detector
US9551575B2 (en) 2009-03-25 2017-01-24 Faro Technologies, Inc. Laser scanner having a multi-color light source and real-time color receiver
US9607239B2 (en) 2010-01-20 2017-03-28 Faro Technologies, Inc. Articulated arm coordinate measurement machine having a 2D camera and method of obtaining 3D representations
US9628775B2 (en) 2010-01-20 2017-04-18 Faro Technologies, Inc. Articulated arm coordinate measurement machine having a 2D camera and method of obtaining 3D representations
US9879976B2 (en) 2010-01-20 2018-01-30 Faro Technologies, Inc. Articulated arm coordinate measurement machine that uses a 2D camera to determine 3D coordinates of smoothly continuous edge features
US10067231B2 (en) 2012-10-05 2018-09-04 Faro Technologies, Inc. Registration calculation of three-dimensional scanner data performed between scans based on measurements by two-dimensional scanner
US10175037B2 (en) 2015-12-27 2019-01-08 Faro Technologies, Inc. 3-D measuring device with battery pack
CN109927058A (en) * 2017-12-05 2019-06-25 丰田自动车株式会社 Grip device grasps determination method and grasps decision procedure

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021130322A1 (en) 2021-11-19 2023-05-25 Bayerische Motoren Werke Aktiengesellschaft Detection device for a robot arm of a robot, robot arm and method for picking up an object using a robot

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0263952B1 (en) 1986-10-15 1992-12-23 Mercedes-Benz Ag Robot unit with moving manipulators
US5608847A (en) * 1981-05-11 1997-03-04 Sensor Adaptive Machines, Inc. Vision target based assembly
DE19704496A1 (en) 1996-09-05 1998-03-12 Rudolf Prof Dr Ing Schwarte Method and device for determining the phase and / or amplitude information of an electromagnetic wave
US6587186B2 (en) * 2000-06-06 2003-07-01 Canesta, Inc. CMOS-compatible three-dimensional image sensing using reduced peak energy
EP1442848A2 (en) * 2003-01-30 2004-08-04 Fanuc Ltd Robot hand for taking out objects with means for changing the orientation of the hand
EP1777747A1 (en) 2005-10-19 2007-04-25 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for the demodulation of modulated electromagnetic wave fields
EP1905548A2 (en) * 2006-09-29 2008-04-02 Fanuc Ltd Workpiece picking apparatus
DE102007026956A1 (en) * 2007-06-12 2008-12-18 Kuka Innotec Gmbh Method and system for robot-guided depalletizing of tires

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US777747A (en) * 1904-07-23 1904-12-20 Heyl & Patterson Car-haul.
DE19637822C1 (en) * 1996-09-17 1998-03-26 Deutsch Zentr Luft & Raumfahrt Micromechanical tool

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5608847A (en) * 1981-05-11 1997-03-04 Sensor Adaptive Machines, Inc. Vision target based assembly
EP0263952B1 (en) 1986-10-15 1992-12-23 Mercedes-Benz Ag Robot unit with moving manipulators
DE19704496A1 (en) 1996-09-05 1998-03-12 Rudolf Prof Dr Ing Schwarte Method and device for determining the phase and / or amplitude information of an electromagnetic wave
US6587186B2 (en) * 2000-06-06 2003-07-01 Canesta, Inc. CMOS-compatible three-dimensional image sensing using reduced peak energy
EP1442848A2 (en) * 2003-01-30 2004-08-04 Fanuc Ltd Robot hand for taking out objects with means for changing the orientation of the hand
EP1777747A1 (en) 2005-10-19 2007-04-25 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for the demodulation of modulated electromagnetic wave fields
EP1905548A2 (en) * 2006-09-29 2008-04-02 Fanuc Ltd Workpiece picking apparatus
DE102007026956A1 (en) * 2007-06-12 2008-12-18 Kuka Innotec Gmbh Method and system for robot-guided depalletizing of tires

Cited By (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE45854E1 (en) 2006-07-03 2016-01-19 Faro Technologies, Inc. Method and an apparatus for capturing three-dimensional data of an area of space
US9074883B2 (en) 2009-03-25 2015-07-07 Faro Technologies, Inc. Device for optically scanning and measuring an environment
US9551575B2 (en) 2009-03-25 2017-01-24 Faro Technologies, Inc. Laser scanner having a multi-color light source and real-time color receiver
US9529083B2 (en) 2009-11-20 2016-12-27 Faro Technologies, Inc. Three-dimensional scanner with enhanced spectroscopic energy detector
US9417316B2 (en) 2009-11-20 2016-08-16 Faro Technologies, Inc. Device for optically scanning and measuring an environment
US9210288B2 (en) 2009-11-20 2015-12-08 Faro Technologies, Inc. Three-dimensional scanner with dichroic beam splitters to capture a variety of signals
US9113023B2 (en) 2009-11-20 2015-08-18 Faro Technologies, Inc. Three-dimensional scanner with spectroscopic energy detector
US8630314B2 (en) 2010-01-11 2014-01-14 Faro Technologies, Inc. Method and apparatus for synchronizing measurements taken by multiple metrology devices
US9628775B2 (en) 2010-01-20 2017-04-18 Faro Technologies, Inc. Articulated arm coordinate measurement machine having a 2D camera and method of obtaining 3D representations
US8677643B2 (en) 2010-01-20 2014-03-25 Faro Technologies, Inc. Coordinate measurement machines with removable accessories
US8683709B2 (en) 2010-01-20 2014-04-01 Faro Technologies, Inc. Portable articulated arm coordinate measuring machine with multi-bus arm technology
US8763266B2 (en) 2010-01-20 2014-07-01 Faro Technologies, Inc. Coordinate measurement device
US10281259B2 (en) 2010-01-20 2019-05-07 Faro Technologies, Inc. Articulated arm coordinate measurement machine that uses a 2D camera to determine 3D coordinates of smoothly continuous edge features
US8832954B2 (en) 2010-01-20 2014-09-16 Faro Technologies, Inc. Coordinate measurement machines with removable accessories
US10060722B2 (en) 2010-01-20 2018-08-28 Faro Technologies, Inc. Articulated arm coordinate measurement machine having a 2D camera and method of obtaining 3D representations
US8875409B2 (en) 2010-01-20 2014-11-04 Faro Technologies, Inc. Coordinate measurement machines with removable accessories
US8898919B2 (en) 2010-01-20 2014-12-02 Faro Technologies, Inc. Coordinate measurement machine with distance meter used to establish frame of reference
US8942940B2 (en) 2010-01-20 2015-01-27 Faro Technologies, Inc. Portable articulated arm coordinate measuring machine and integrated electronic data processing system
US9879976B2 (en) 2010-01-20 2018-01-30 Faro Technologies, Inc. Articulated arm coordinate measurement machine that uses a 2D camera to determine 3D coordinates of smoothly continuous edge features
US9607239B2 (en) 2010-01-20 2017-03-28 Faro Technologies, Inc. Articulated arm coordinate measurement machine having a 2D camera and method of obtaining 3D representations
US9009000B2 (en) 2010-01-20 2015-04-14 Faro Technologies, Inc. Method for evaluating mounting stability of articulated arm coordinate measurement machine using inclinometers
US8533967B2 (en) 2010-01-20 2013-09-17 Faro Technologies, Inc. Coordinate measurement machines with removable accessories
US8638446B2 (en) 2010-01-20 2014-01-28 Faro Technologies, Inc. Laser scanner or laser tracker having a projector
US8615893B2 (en) 2010-01-20 2013-12-31 Faro Technologies, Inc. Portable articulated arm coordinate measuring machine having integrated software controls
US8537374B2 (en) 2010-01-20 2013-09-17 Faro Technologies, Inc. Coordinate measuring machine having an illuminated probe end and method of operation
US9163922B2 (en) 2010-01-20 2015-10-20 Faro Technologies, Inc. Coordinate measurement machine with distance meter and camera to determine dimensions within camera images
US8601702B2 (en) 2010-01-20 2013-12-10 Faro Technologies, Inc. Display for coordinate measuring machine
US9329271B2 (en) 2010-05-10 2016-05-03 Faro Technologies, Inc. Method for optically scanning and measuring an environment
US9684078B2 (en) 2010-05-10 2017-06-20 Faro Technologies, Inc. Method for optically scanning and measuring an environment
US9168654B2 (en) 2010-11-16 2015-10-27 Faro Technologies, Inc. Coordinate measuring machines with dual layer arm
US8607536B2 (en) 2011-01-14 2013-12-17 Faro Technologies, Inc. Case for a device
FR2983761A1 (en) * 2011-12-07 2013-06-14 Centre Nat Recherche Microtechnic device for e.g. handling objects, has mobile assembly comprising base with head that is moved in rotation with respect to base, where image sensor is arranged on head of mobile assembly facing actuator
US9417056B2 (en) 2012-01-25 2016-08-16 Faro Technologies, Inc. Device for optically scanning and measuring an environment
WO2013188025A1 (en) * 2012-06-15 2013-12-19 Faro Technologies, Inc. Coordinate measurement machines with removable accessories
CN104040285B (en) * 2012-06-15 2015-12-30 法罗技术股份有限公司 There is the coordinate measuring machine of detachable accessory
CN104040285A (en) * 2012-06-15 2014-09-10 法罗技术股份有限公司 Coordinate measurement machines with removable accessories
GB2512005A (en) * 2012-06-15 2014-09-17 Faro Tech Inc Coordinate measurement machines with removable accessories
GB2512005B (en) * 2012-06-15 2015-01-28 Faro Tech Inc Coordinate measurement machines with removable accessories
US8997362B2 (en) 2012-07-17 2015-04-07 Faro Technologies, Inc. Portable articulated arm coordinate measuring machine with optical communications bus
US9746559B2 (en) 2012-10-05 2017-08-29 Faro Technologies, Inc. Using two-dimensional camera images to speed registration of three-dimensional scans
US10067231B2 (en) 2012-10-05 2018-09-04 Faro Technologies, Inc. Registration calculation of three-dimensional scanner data performed between scans based on measurements by two-dimensional scanner
US11815600B2 (en) 2012-10-05 2023-11-14 Faro Technologies, Inc. Using a two-dimensional scanner to speed registration of three-dimensional scan data
US9739886B2 (en) 2012-10-05 2017-08-22 Faro Technologies, Inc. Using a two-dimensional scanner to speed registration of three-dimensional scan data
US9372265B2 (en) 2012-10-05 2016-06-21 Faro Technologies, Inc. Intermediate two-dimensional scanning with a three-dimensional scanner to speed registration
US11112501B2 (en) 2012-10-05 2021-09-07 Faro Technologies, Inc. Using a two-dimensional scanner to speed registration of three-dimensional scan data
US10739458B2 (en) 2012-10-05 2020-08-11 Faro Technologies, Inc. Using two-dimensional camera images to speed registration of three-dimensional scans
US9618620B2 (en) 2012-10-05 2017-04-11 Faro Technologies, Inc. Using depth-camera images to speed registration of three-dimensional scans
US9513107B2 (en) 2012-10-05 2016-12-06 Faro Technologies, Inc. Registration calculation between three-dimensional (3D) scans based on two-dimensional (2D) scan data from a 3D scanner
US10203413B2 (en) 2012-10-05 2019-02-12 Faro Technologies, Inc. Using a two-dimensional scanner to speed registration of three-dimensional scan data
DE102014005351A1 (en) * 2014-04-11 2015-10-15 Thyssenkrupp Ag Getriebeprüfvorrichtung
CN104669243A (en) * 2014-08-29 2015-06-03 北京精密机电控制设备研究所 Spatial capture mechanical arm of six-degree-of-freedom structure
CN105478363A (en) * 2015-11-20 2016-04-13 苏州易瑞得电子科技有限公司 Defective product detection and classification method and system based on three-dimensional figures
US10175037B2 (en) 2015-12-27 2019-01-08 Faro Technologies, Inc. 3-D measuring device with battery pack
CN109927058A (en) * 2017-12-05 2019-06-25 丰田自动车株式会社 Grip device grasps determination method and grasps decision procedure

Also Published As

Publication number Publication date
DE102009001894B4 (en) 2018-06-28

Similar Documents

Publication Publication Date Title
DE102009001894B4 (en) Robot system with 3D camera
DE112010005008B4 (en) System and method for determining camera calibration in runtime
EP2023077B1 (en) Method and measuring system for contactless coordinate measurement of the surface of an object
DE102016118617B4 (en) measuring system
DE102017128543B4 (en) NOISE ZONE ADJUSTMENT DEVICE FOR A MOBILE ROBOT
EP2247919B1 (en) Method and device for checking the referencing of measuring heads in a chassis measuring system
EP1521211A2 (en) Method and apparatus for determining the position and orientation of an image receiving device
DE112012001254T5 (en) Automatic measurement of dimension data with a laser tracker
WO2000029175A1 (en) Method and device for improving the position exactness of effectors in mechanisms and for measuring objects in a work space
DE102008039838A1 (en) Measuring object's three dimensional surface scanning method, involves executing scanning movement of laser light beam by beam deflecting unit, and utilizing laser light beam for measuring and displaying data of scanning points
DE102009046107A1 (en) System and method for interaction between a person and a machine
EP3650740B1 (en) Safety system and method for monitoring a machine
WO2017153180A1 (en) Industrial robot having at least two image acquisition devices
DE102019212452A1 (en) Interference avoidance device and robot system
EP3872521A1 (en) Method for calibrating a sensor unit of an industrial truck
DE102018121481A1 (en) Distance measuring system and distance measuring method
EP3414597B1 (en) Method and arrangement for the highly accurate positioning of a robot-guided interaction apparatus by means of radar
WO2011060769A1 (en) Robot for automatic 3-d measurement and method
WO2020074722A1 (en) Method and robot system for inputting a work area
DE102018124595A1 (en) Device for detecting a position and location of a robot end effector
DE102006005990B4 (en) Workpiece measurement for 3-D position detection in several multi-robot stations
EP4124789B1 (en) Securing of a movable part of a machine
EP1471401B1 (en) Method for measurement of the coordinate system of a robot camera relative to the coordinate system of the robot or vice versa
EP1915239B1 (en) Method for generating an environmental image
EP1813911A1 (en) Position determination system

Legal Events

Date Code Title Description
OM8 Search report available as to paragraph 43 lit. 1 sentence 1 patent law
R012 Request for examination validly filed
R081 Change of applicant/patentee

Owner name: PMDTECHNOLOGIES AG, DE

Free format text: FORMER OWNER: IFM ELECTRONIC GMBH, 45128 ESSEN, DE

R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final
R081 Change of applicant/patentee

Owner name: PMDTECHNOLOGIES AG, DE

Free format text: FORMER OWNER: PMDTECHNOLOGIES AG, 57076 SIEGEN, DE

R082 Change of representative

Representative=s name: SCHUHMANN, JOERG, DIPL.-PHYS. DR. RER. NAT., DE