WO2005116785A1 - Mobile tracking unit - Google Patents

Mobile tracking unit Download PDF

Info

Publication number
WO2005116785A1
WO2005116785A1 PCT/EP2005/005781 EP2005005781W WO2005116785A1 WO 2005116785 A1 WO2005116785 A1 WO 2005116785A1 EP 2005005781 W EP2005005781 W EP 2005005781W WO 2005116785 A1 WO2005116785 A1 WO 2005116785A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
tracking unit
augmented reality
reality device
articulated arm
Prior art date
Application number
PCT/EP2005/005781
Other languages
German (de)
French (fr)
Inventor
André TEGTMEIER
Klaus-Christoph Ritter
Carsten PÖGE
Werner Scheffler
Original Assignee
Volkswagen Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen Aktiengesellschaft filed Critical Volkswagen Aktiengesellschaft
Priority to EP05750870A priority Critical patent/EP1749248A1/en
Publication of WO2005116785A1 publication Critical patent/WO2005116785A1/en

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/409—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by using manual input [MDI] or by using control panel, e.g. controlling functions with the panel; characterised by control panel details, by setting parameters
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32014—Augmented reality assists operator in maintenance, repair, programming, assembly, use of head mounted display with 2-D 3-D display and voice feedback, voice and gesture command

Abstract

The invention relates to a mobile tracking unit (10, 110) provided with: a camera (40, 140, 144, 312) comprising a receiver for electromagnetic radiation, said camera being embodied in such a way as to record, in a camera angle, electromagnetic radiation emitted or reflected by an object (102), and to produce a camera image signal representing an image of the object (102); a camera position sensor (328) which is embodied in such a way as to produce a camera position signal corresponding to the recording direction of the camera (40, 140, 144, 312), and to output said signal on the output side; at least one image reproduction unit (52, 152, 314) comprising an input for an image signal; and an augmented reality device (301) which is connected to the camera position sensor (328) on the input side and to the image reproduction unit (52, 152, 314) on the output side, said augmented reality device (301) being embodied in such a way as to produce an auxiliary information image signal representing auxiliary information, according to the camera position signal and the camera image signal, and to send said auxiliary information image signal to the image reproduction unit (52, 152, 160, 162, 314).

Description

Mobile Trackingeinheit Mobile tracking unit
Die Erfindung betrifft eine mobile Trackingeinheit, welche eine Kamera mit einem Empfänger für elektromagnetische Strahlung aufweist. Die Kamera ist ausgebildet, in einem Erfassungswinkel von einem Objekt ausgesendete oder reflektierte elektromagnetische Strahlung zu erfassen. Die Kamera kann ein eine Abbildung des Objekts repräsentierendes Kamera-Bildsignal erzeugen.The invention relates to a mobile tracking unit, which has a camera with a receiver for electromagnetic radiation. The camera is designed to detect electromagnetic radiation emitted or reflected by an object at a detection angle. The camera can generate a camera image signal representing an image of the object.
Die Trackingeinheit'weist auch einen Kamera-Positionssensor auf, welcher ausgebildet ist, ein einer Erfassungsrichtung der Kamera entsprechendes Kamera-Positionssignal zu erzeugen und dieses ausgangsseitig auszugeben.The tracking unit ' also has a camera position sensor which is designed to generate a camera position signal corresponding to a detection direction of the camera and to output it on the output side.
Die Trackingeinheit weist auch wenigstens eine Bildwiedergabeeinheit mit einem Eingang für ein Bildsignal auf.The tracking unit also has at least one image reproduction unit with an input for an image signal.
Die Trackingeinheit weist auch eine Augmented-Reality-Vorrichtung auf, welche eingangsseitig mit dem Kamera-Positionssensor und ausgangsseitig mit der Bildwiedergabeeinheit verbunden ist. Die Augmented-Reality-Vorrichtung ist ausgebildet, in Abhängigkeit von dem Kamera-Positionssignal aus dem Kamera-Bildsignal ein eine Hilfsinformation repräsentierendes Hilfsinformations-Bildsignal zu erzeugen und dieses an die Bildwiedergabeeinheit zu senden.The tracking unit also has an augmented reality device which is connected on the input side to the camera position sensor and on the output side to the image display unit. The augmented reality device is designed to generate an auxiliary information image signal representing auxiliary information as a function of the camera position signal from the camera image signal and to send this to the image display unit.
Aus der WO 00/52539 ist ein Augmented-Reality-System zur situationsgerechten Unterstützung der Interaktion zwischen einem Anwender und einer technischen Vorrichtung bekannt. Das Augmented-Reality-System umfasst eine mobile Vorrichtung zum kontextabhängigen Einblenden von Montagehinweisen. Durch das kontextabhängige Einblenden von Montagehinweisen mit prozessoptimierter Vorgabe notwendiger Arbeitsschritte ergibt sich eine situationsgerechte Unterstützung von Arbeitsfolgen. Das Augmented-Reality-System der WO 00/52539 schlägt zur Visualisierung der Augmented- Reality-Information eine Datenbrille vor, welche neben einer im Bereich der Brillengläser angeordneten Anzeigevorrichtung eine Bilderfassungsvorrichtung in Form einer Kamera aufweist.From WO 00/52539 an augmented reality system for supporting the interaction between a user and a technical device according to the situation is known. The augmented reality system comprises a mobile device for the context-dependent insertion of assembly instructions. The context-dependent display of assembly instructions with process-optimized specification of necessary work steps results in support for work sequences that is appropriate to the situation. For the visualization of the augmented reality information, the augmented reality system of WO 00/52539 proposes data glasses which, in addition to one in the area of the spectacle lenses arranged display device has an image capture device in the form of a camera.
Head-Mounted-Displays haben den Nachteil, dass sie den Anwender bei einer durchzuführenden Reparatur einer Vorrichtung, insbesondere eines Kraftfahrzeugs, den Benutzer hinsichtlich Bewegungsfreiheit und Blickwinkel einschränken.Head-mounted displays have the disadvantage that they restrict the user with regard to freedom of movement and viewing angle when a device, in particular a motor vehicle, is to be repaired.
Ein weiteres Problem ist die Kalibrierung eines Augmented-Reality-Systems mit einem Head-Mounted-Display.Another problem is the calibration of an augmented reality system with a head-mounted display.
Der Erfindung liegt somit die Aufgabe zugrunde, ein Augmented-Reality-System mit einer einfachen Bedienbarkeit anzugeben, welches sich auch einfach kalibrieren lässt. Diese Aufgabe wird durch die erfindungsgemäße Trackingeinheit mit einem Augmented-Reality- System der eingangs genannten Art gelöst.The invention is therefore based on the object of specifying an augmented reality system which is simple to operate and which can also be easily calibrated. This object is achieved by the tracking unit according to the invention with an augmented reality system of the type mentioned at the beginning.
In einer bevorzugten Ausführungsform weist die mobile Trackingeinheit einen Gelenkarm auf. Der Gelenkarm setzt an einer Gelenkarmbasis mit einem Basisgelenk an. Die Gelenkarmbasis ist mit der Trackingeinheit verbunden und der Gelenkarm weist ein freies Gelenkarmende auf, wobei die Kamera im Bereich des freien Endes angeordnet ist. Der Gelenkarm weist zwischen der Gelenkarmbasis und dem freien Ende wenigstens ein Mittelgelenk auf. Der Positionssensor ist mit dem Basisgelenk der Gelenkarmbasis und mit dem Mittelgelenk wirkverbunden und ausgebildet, eine Basisgelenkstellung und eine Mittelgelenkstellung zu erfassen und das Kamera-Positionssignal in Abhängigkeit von der Basisgelenkstellung und der Mittelgelenkstellung zu erzeugen. Dadurch ist die Kameraposition exakt erfassbar, so dass die Augmented-Reality-Vorrichtung ein der Erfassungsrichtung entsprechendes Hilfsinformations-Bildsignal erzeugen kann.In a preferred embodiment, the mobile tracking unit has an articulated arm. The articulated arm attaches to an articulated arm base with a base joint. The articulated arm base is connected to the tracking unit and the articulated arm has a free articulated arm end, the camera being arranged in the region of the free end. The articulated arm has at least one central joint between the articulated arm base and the free end. The position sensor is operatively connected to the base joint of the articulated arm base and to the center joint and is designed to detect a base joint position and a center joint position and to generate the camera position signal as a function of the base joint position and the center joint position. As a result, the camera position can be detected precisely, so that the augmented reality device can generate an auxiliary information image signal corresponding to the detection direction.
Alternativ zu dem Gelenkarm kann eine Augmented-Reality-Vorrichtung auch einen Kamera- Positionssensor mit einem Laser-Interferometer aufweisen. Der Kamera-Positionssensor mit einem Laser-Interferometer ist ausgebildet, aus der Interferenz eines gesendeten und zurückreflektierten Laserstrahls eine Entfernung zu einem Objekt zu bestimmen. Bevorzugt weist ein Kamera-Positionssensor mit einem Laser-Interferometer eine Kalibriervorrichtung auf, welche ausgebildet ist, vorbestimmte Kalibrierorte anzumessen und nach Anmessen der Kalibrierorte eine Kameraposition in einem Koordinatensystem festzulegen. Alternativ zu dem Laser-Interferometer kann ein Kamera-Positionssensor ein Ultraschall- Interferometer zur Positionsbestimmung aufweisen.As an alternative to the articulated arm, an augmented reality device can also have a camera position sensor with a laser interferometer. The camera position sensor with a laser interferometer is designed to determine a distance to an object from the interference of a transmitted and back-reflected laser beam. A camera position sensor with a laser interferometer preferably has a calibration device which is designed to measure predetermined calibration locations and, after measuring the calibration locations, to determine a camera position in a coordinate system. As an alternative to the laser interferometer, a camera position sensor can have an ultrasound interferometer for determining the position.
In einer bevorzugten Ausführungsform der Trackingeinheit weist der Gelenkarm ein erstes Mittelgelenk und ein zweites Mittelgelenk auf, welche jeweils als Schwenkgelenk ausgebildet sind. Ein Gelenkarm mit zwei Mittelgelenken ist vorteilhaft flexibel verstellbar. Weiter kann der Gelenkarm im Bereich des freien Endes ein Kameragelenk aufweisen, über welches die Kamera mit dem Gelenkarm verbunden ist. Dadurch kann die Kamera bei einer vorbestimmten Gelenkarmposition in verschiedene Erfassungsrichtungen bewegt werden.In a preferred embodiment of the tracking unit, the articulated arm has a first central joint and a second central joint, which are each designed as a swivel joint. An articulated arm with two central joints is advantageously flexibly adjustable. Furthermore, the articulated arm can have a camera joint in the region of the free end, via which the camera is connected to the articulated arm. As a result, the camera can be moved in different detection directions at a predetermined articulated arm position.
Die Augmented-Reality-Vorrichtung ist bevorzugt zum Kalibrieren einer Gelenkarmposition ausgebildet.The augmented reality device is preferably designed for calibrating an articulated arm position.
In einer bevorzugten Ausführungsform weist der Gelenkarm eine Tastspitze auf, welche das freie Ende bildet. Die Tastspitze erleichtert vorteilhaft das Kalibrieren der Augmented- Reality-Vorrichtung. Beispielsweise kann an einem Fahrzeug im Bereich des Motorraums die Tastspitze an vorbestimmte Orte der Fahrzeugkarosserie zum Kalibrieren der Augmented- Reality-Vorrichtung gebracht werden. Solche Kalibrierorte können beispielsweise die Dom- Lager oder das Haubenschloss sein.In a preferred embodiment, the articulated arm has a probe tip which forms the free end. The probe tip advantageously facilitates the calibration of the augmented reality device. For example, on a vehicle in the area of the engine compartment, the probe tip can be brought to predetermined locations on the vehicle body for calibrating the augmented reality device. Such calibration locations can be, for example, the dome bearings or the hood lock.
In einer alternativen Ausführungsform zu einer Kalibrierung mit Hilfe einer Tastspitze kann die Augmented-Reality-Vorrichtung zum berührungslosen Kalibrieren der Gelenkarmposition ausgebildet sein. Eine solche berührungslose Kalibrierung kann beispielsweise mit einem Laser-Interferometer oder einem Ultraschall-Interferometer erfolgen, welche Bestandteil der Augmented-Reality-Vorrichtung und somit der Trackingeinheit sein können.In an alternative embodiment to a calibration using a probe tip, the augmented reality device can be designed for contactless calibration of the articulated arm position. Such a contactless calibration can be carried out, for example, with a laser interferometer or an ultrasound interferometer, which can be part of the augmented reality device and thus of the tracking unit.
In einer bevorzugten Ausführungsform weist die Augmented-Reality-Vorrichtung der mobilen Trackingeinheit eine 3-D-Datenbank mit einer Vielzahl von 3-D-Datensätzen auf, welche in ihrer Gesamtheit ein graphisches Modell in drei Dimensionen wenigstens von Teilen eines Fahrzeugs mit seinen Einzelkomponenten repräsentieren.In a preferred embodiment, the augmented reality device of the mobile tracking unit has a 3-D database with a large number of 3-D data records, which in their entirety represent a graphic model in three dimensions of at least parts of a vehicle with its individual components ,
In einer bevorzugten Ausführungsvariante weist die Augmented-Reality-Vorrichtung ein mit der 3-D-Datenbank verbundenes VRML(Virtual Reality Modelling Language)-Modul auf. Das VRML-Modul ist ausgebildet, das Hilfsinformations-Bildsignal wenigstens teilweise aus mindestens einem 3-D-Datensatz in Abhängigkeit von dem Kamera-Positionssignal zu erzeugen. Durch die Anbindung der 3-D-Datenbank kann vorteilhaft die Ansicht eines jeden Bauteils oder einer Gruppe von Bauteilen aus einer vorbestimmten Blickrichtung heraus errechnet werden.In a preferred embodiment variant, the augmented reality device has a VRML (Virtual Reality Modeling Language) module connected to the 3-D database. The VRML module is designed to generate the auxiliary information image signal at least partially from at least one 3-D data record as a function of the camera position signal. By connecting the 3-D database, the view of each component or a group of components can advantageously be calculated from a predetermined viewing direction.
Das VRML-Modul kann somit eine dreidimensionale Ansicht zur Darstellung in einer zweidimensionalen Ebene, insbesondere einer Bildwiedergabeeinheit, von wenigstens einem oder von mehreren Fahrzeugkomponenten für eine Kameraposition erzeugen.The VRML module can thus generate a three-dimensional view for displaying in a two-dimensional plane, in particular an image display unit, of at least one or more vehicle components for a camera position.
Beispielsweise kann für eine Reparatur von vorbestimmten Motorteilen eine Auswahl der zu lösenden oder auszutauschenden Teile in einer entsprechenden Reihenfolge von dem VRML-Modul aus der 3-D-Datenbank ausgelesen werden und eine Ansicht dieser Teile für eine vorbestimmte Kameraposition errechnet werden.For example, for a repair of predetermined motor parts, the VRML module can read out a selection of the parts to be loosened or replaced in a corresponding sequence from the 3D database and a view of these parts can be calculated for a predetermined camera position.
Die Augmented-Reality-Vorrichtung kann dann das Hilfsinformations-Bildsignal aus dem Kamera-Bildsignal und aus einem Ausgangssignal des VRML-Moduls erzeugen. Das Hilfsinformations-Bildsignal kann beispielsweise Informationen über ein Drehmoment einer festzuziehenden Schraubverbindung enthalten.The augmented reality device can then generate the auxiliary information image signal from the camera image signal and from an output signal of the VRML module. The auxiliary information image signal can contain, for example, information about a torque of a screw connection to be tightened.
In einer bevorzugten Ausführungsform weist die Augmented-Reality-Vorrichtung eine Spracheingabeeinheit auf und ist durch die Spracheingabeeinheit steuerbar ausgebildet. Durch eine Spracheingabeeinheit hat ein Benutzer beim Arbeiten mit der mobilen Trackingeinheit beide Hände frei für zu verrichtende Tätigkeiten.In a preferred embodiment, the augmented reality device has a voice input unit and is designed to be controllable by the voice input unit. A voice input unit gives a user both hands free for work to be performed when working with the mobile tracking unit.
In einer vorteilhaften Ausführungsform weist die Augmented-Reality-Vorrichtung eine Sprachausgabeeinheit auf, welche ausgebildet ist, ein eine gesprochene Sprache repräsentierendes Sprach-Hilfsanweisungssignal hörbar auszugeben. Durch ein Sprach- Hilfsanweisungssignal kann vorteilhaft eine interaktive Benutzung der mobilen Trackingeinheit ermöglicht werden.In an advantageous embodiment, the augmented reality device has a voice output unit which is designed to audibly output a voice auxiliary instruction signal representing a spoken language. An interactive use of the mobile tracking unit can advantageously be made possible by a voice auxiliary instruction signal.
Bevorzugt ist die Augmented-Reality-Vorrichtung ausgebildet, ein eine graphische Information oder Textinformation repräsentierendes Video-Hilfsanweisungssignal zu erzeugen und aus dem Kamera-Bildsignal und dem Hilfsanweisungssignal das Hilfsinformations-Bildsignal derart zu erzeugen, dass das Hilfsinformations-Bildsignal eine Abbildung repräsentiert, bei welcher die graphische Information oder Textinformation der Abbildung des Objekts überlagert ist. Das Video-Hilfsanweisungssignal kann beispielsweise Hilfsanweisungen für vorbestimmte Reparaturschritte repräsentieren. Das Video-Hilfsanweisungssignal kann beispielsweise eine errechnete Ansicht von Fahrzeugkomponenten aus einer vorbestimmten Erfassungsrichtung der Kamera enthalten. Dazu kann das Video-Hilfsanweisungssignal Teile des Ausgangssignals des VRML-Moduls enthalten oder ein Ausgangssignal des VRML-Moduls selbst repräsentieren.The augmented reality device is preferably designed to generate a video auxiliary instruction signal representing graphic information or text information and to generate the auxiliary information image signal from the camera image signal and the auxiliary instruction signal such that the auxiliary information image signal represents an image in which the graphic information or text information is superimposed on the image of the object. The video auxiliary instruction signal can represent, for example, auxiliary instructions for predetermined repair steps. The video auxiliary instruction signal can contain, for example, a calculated view of vehicle components from a predetermined detection direction of the camera. For this purpose, the auxiliary video instruction signal can contain parts of the output signal of the VRML module or represent an output signal of the VRML module itself.
In einer anderen Ausführungsform weist die Augmented-Reality-Vorrichtung einen mobilen Kameraträger zum Anbringen an einem Objekt auf, wobei der mobile Kameraträger wenigstens eine Mobilkamera mit einem Empfänger für elektromagnetische Strahlung aufweist. Die Mobilkamera ist ausgebildet, in einer Erfassungsrichtung von dem Objekt ausgesendete oder reflektierte elektromagnetische Strahlung zu erfassen und ein Mobilkamera-Bildsignal zu erzeugen. Das Mobilkamera-Bildsignal repräsentiert eine Abbildung wenigstens eines Teils des Objekts. Die Augmented-Reality-Vorrichtung weist einen Eingang für das Mobilkamera-Bildsignal auf, welcher mit der Mobilkamera -wirkverbunden sein kann.In another embodiment, the augmented reality device has a mobile camera carrier for attachment to an object, the mobile camera carrier having at least one mobile camera with a receiver for electromagnetic radiation. The mobile camera is designed to detect electromagnetic radiation emitted or reflected by the object in a detection direction and to generate a mobile camera image signal. The mobile camera image signal represents an image of at least a part of the object. The augmented reality device has an input for the mobile camera image signal, which can be operatively connected to the mobile camera.
Eine Mobilkamera kann auch als Endoskop-Mobilkamera ausgebildet sein, welche einen langgestreckten Schaft mit einem auslenkbar beweglichen Ende umfasst. Die Endoskop- Mobilkamera ist ausgebildet, im Bereich des auslenkbar beweglichen Endes in einer Erfassungsrichtung von dem Objekt ausgesendete oder reflektierte elektromagnetische Strahlung zu erfassen und ein Mobilkamera-Bildsignal zu erzeugen.A mobile camera can also be designed as an endoscope mobile camera, which comprises an elongated shaft with a deflectable movable end. The endoscope mobile camera is designed to detect electromagnetic radiation emitted or reflected by the object in a detection direction in the region of the deflectable movable end and to generate a mobile camera image signal.
Beispielsweise kann die Augmented-Reality-Vorrichtung eine Bluetooth-Schnittstelle aufweisen, welche ausgangsseitig mit dem Eingang für das Mobilkamera-Bildsignal verbunden ist. Die Mobilkamera kann ausgangsseitig mit einer Bluetooth-Sendeeinheit verbunden sein.For example, the augmented reality device can have a Bluetooth interface, which is connected on the output side to the input for the mobile camera image signal. The mobile camera can be connected on the output side to a Bluetooth transmission unit.
Eine Bildwiedergabeeinheit einer mobilen Trackingeinheit kann schnurlos mit der Augmented-Reality-Vorrichtung verbunden sein. Beispielsweise kann die Bildwiedergabeeinheit über eine Infrarot-Schnittstelle oder über eine Bluetooth-Schnittstelle mit der Augmented-Reality-Vorrichtung schnurlos verbunden sein.An image reproduction unit of a mobile tracking unit can be connected wirelessly to the augmented reality device. For example, the image display unit can be connected wirelessly to the augmented reality device via an infrared interface or via a Bluetooth interface.
In einer bevorzugten Ausführungsform weist die mobile Trackingeinheit Räder auf, welche im Bereich eines Bodens einer mobilen Trackingeinheit derart angeordnet sind, dass die mobile Trackingeinheit auf einem Boden rollbar ist. Beispielsweise können die Räder der mobilen Trackingeinheit arretierbar sein.In a preferred embodiment, the mobile tracking unit has wheels which are arranged in the region of a floor of a mobile tracking unit such that the mobile tracking unit is rollable on a floor. For example, the wheels of the mobile tracking unit can be locked.
Bevorzugt ist die mobile Trackingeinheit im Bereich des Bodens derart ausgebildet, dass die Räder in dem Boden versenkt werden können. Dazu kann die mobile Trackingeinheit eine Versenkvorrichtung aufweisen.The mobile tracking unit is preferably designed in the area of the floor in such a way that the wheels can be sunk in the floor. For this purpose, the mobile tracking unit can have a lowering device.
Beispielsweise kann die Trackingeinheit einen mit der Versenkvorrichtung wirkverbundenen Versenkhebel aufweisen, welcher derart schwenkbar angeordnet und mit den Rädern wirkverbunden ist, dass die Räder durch eine Betätigung des Versenkhebels von Hand in dem Boden der mobilen Trackingeinheit nach innen versenkt werden können.For example, the tracking unit can have a lowering lever that is operatively connected to the lowering device, which is pivotably arranged and is operatively connected to the wheels in such a way that the wheels can be lowered inwards in the floor of the mobile tracking unit by actuating the lowering lever by hand.
Bevorzugt ist die mobile Trackingeinheit ausgebildet, die Räder derart versenken zu können, dass die Räder in einer durch den Trackingeinheitboden gebildeten Ebene vollständig ins Innere der Trackingeinheit versenkbar sind.The mobile tracking unit is preferably designed to be able to countersink the wheels in such a way that the wheels can be completely countersunk into the interior of the tracking unit in a plane formed by the tracking unit floor.
In einer dazu alternativen Ausführungsform weist die Trackingeinheit Standfüße auf und die Trackingeinheit ist ausgebildet, die Räder derart ins Innere der Trackingeinheit zu versenken, dass die Standfüße mit einem Fußboden in Wirkkontakt geraten können.In an alternative embodiment to this, the tracking unit has feet and the tracking unit is designed to sink the wheels into the interior of the tracking unit such that the feet can come into active contact with a floor.
Eine Bildwiedergabeeinheit der mobilen Trackingeinheit kann auch als See-Through-Head- Mounted-Display (STHMD) ausgebildet sein. Das Augmented-Reality-System kann eine Kalibriermarke in das See-Through-Head-Mounted-Display einblenden, was es einem Benutzer erleichtert, eine Hilfsanweisung mit einem gesehenen Objekt in Deckung zu bringen.An image reproduction unit of the mobile tracking unit can also be designed as a see-through head-mounted display (STHMD). The augmented reality system can display a calibration mark in the see-through head-mounted display, which makes it easier for a user to align an auxiliary instruction with a viewed object.
Weitere bevorzugte Ausgestaltungen der Erfindung ergeben sich aus den übrigen, in den Unteransprüchen genannten Merkmalen.Further preferred embodiments of the invention result from the other features mentioned in the subclaims.
Die Erfindung wird nachfolgend in Ausführungsbeispielen anhand der zugehörigen Zeichnungen erläutert. Es zeigen:The invention is explained below in exemplary embodiments with reference to the accompanying drawings. Show it:
Figur 1 ein schematisches Ausführungsbeispiel einer mobilen Trackingeinheit mit einer Augmented-Reality-Vorrichtung und einem Gelenkarm, welcher im Bereich des Endes eine Kamera aufweist; Figur 2 eine schematische Darstellung einer mobilen Trackingeinheit mit einem Gelenkarm und einem mobilen Kameraträger zum Anbringen an einem Objekt undFIG. 1 shows a schematic exemplary embodiment of a mobile tracking unit with an augmented reality device and an articulated arm which has a camera in the region of the end; Figure 2 is a schematic representation of a mobile tracking unit with an articulated arm and a mobile camera carrier for attachment to an object and
Figur 3 eine schematische Darstellung einer Augmented-Reality-Vorrichtung für eine mobile Trackingeinheit.Figure 3 is a schematic representation of an augmented reality device for a mobile tracking unit.
Figur 1 zeigt eine schematische Darstellung einer mobilen Trackingeinheit 10. Die Trackingeinheit 10 weist einen Gelenkarm 20 auf, welcher an einer Oberseite der Trackingeinheit 10 angeordnet ist. Der Gelenkarm 20 weist eine Gelenkarmbasis 28 auf, an welcher der Gelenkarm 20 angesetzt ist. Die Gelenkarmbasis 28 weist ein Basisdrehgelenk 32 auf, über welches die Gelenkarmbasis 28 um eine Basisdrehachse 68 drehbar ausgebildet ist und weist dazu ein Basisdrehgelenk 32 auf. Die Gelenkarmbasis 28 ist über das Basisdrehgelenk 32 mit der Trackingeinheit 10 verbunden. Das Basisdrehgelenk 32 ist derart ausgebildet, dass die Gelenkarmbasis 28 um die Basisdrehachse 68 umlaufend drehbar ist. Dies ist durch die Drehrichtungen 53 und 54 angedeutet. Die Basisdrehachse 68 ist senkrecht zu einer Oberfläche der Trackingeinheit 10 angeordnet. Der Gelenkarm 20 weist ein sich längs erstreckendes starres Basisglied 22 auf. Das starre Basisglied 22 weist zwei Enden auf, wobei ein Ende über ein Basisschwenkgelenk 30 mit der Gelenkarmbasis 28 derart verbunden ist, dass das starre Basisglied 22 um eine senkrecht zur Basisdrehachse 68 verlaufende Schwenkachse schwenkbar mit der Gelenkarmbasis 28 verbunden ist. Das starre Basisglied 22 ist im Bereich des von der Gelenkarmbasis 28 abgewandeten Endes mit einem starren Mittelglied 24 über ein Mittelschwenkgelenk 34 verbunden. Das Mittelschwenkgelenk 34 ist derart ausgebildet und angeordnet, dass das starre Mittelglied 24 um eine Schwenkachse relativ zu dem starren Basisglied 22 schwenkbar ist, welche parallel zur Schwenkachse des Basisschwenkgelenks 30 verläuft. Das starre Mittelglied 24 ist ebenso wie das starre Basisglied 22 längs erstreckt ausgebildet und weist zwei Enden auf. Das starre Mittelglied 24 ist im Bereich des von dem Mittelgelenk 34 abgewandten Endes über ein Mittelschwenkgelenk 36 mit einem starren Endglied 26 verbunden. Das starre Endglied 26 ist längs gestreckt ausgebildet und weist zwei Enden auf. Das starre Endglied 26 weist im Bereich des von dem Mittelschwenkgelenk 36 abgewandten Endes ein Kameragelenk 39 auf.FIG. 1 shows a schematic illustration of a mobile tracking unit 10. The tracking unit 10 has an articulated arm 20 which is arranged on an upper side of the tracking unit 10. The articulated arm 20 has an articulated arm base 28 on which the articulated arm 20 is attached. The articulated arm base 28 has a base swivel 32, by means of which the articulated arm base 28 is designed to be rotatable about a base rotational axis 68 and for this purpose has a base swivel 32. The articulated arm base 28 is connected to the tracking unit 10 via the base swivel joint 32. The base swivel joint 32 is designed in such a way that the articulated arm base 28 can rotate around the base rotation axis 68. This is indicated by the directions of rotation 53 and 54. The base axis of rotation 68 is arranged perpendicular to a surface of the tracking unit 10. The articulated arm 20 has a longitudinally extending rigid base member 22. The rigid base member 22 has two ends, one end being connected to the articulated arm base 28 via a base pivot joint 30 such that the rigid base member 22 is pivotally connected to the articulated arm base 28 about a pivot axis running perpendicular to the base axis of rotation 68. The rigid base member 22 is connected in the region of the end facing away from the articulated arm base 28 to a rigid central member 24 via a central swivel joint 34. The central swivel joint 34 is designed and arranged such that the rigid central member 24 can be swiveled about a swivel axis relative to the rigid base member 22, which runs parallel to the swivel axis of the basic swivel joint 30. The rigid central link 24, like the rigid base link 22, is designed to extend longitudinally and has two ends. The rigid middle link 24 is connected to a rigid end link 26 in the region of the end facing away from the central joint 34 via a central swivel joint 36. The rigid end member 26 is elongated and has two ends. The rigid end member 26 has a camera joint 39 in the region of the end facing away from the central swivel joint 36.
Die mobile Trackingeinheit 10 weist eine Kamera 40 auf, welche über das Kameragelenk 39 mit dem starren Endglied 26 verbunden ist. Das Kameragelenk 39 ist derart mit dem starren Endglied 26 verbunden und ausgebildet, dass die Kamera 40 um eine Drehachse 46 umlaufend drehbar ist. Die Drehachse 46 verläuft koaxial zu einer Längsachse des starren Endglieds 26.The mobile tracking unit 10 has a camera 40 which is connected to the rigid end member 26 via the camera joint 39. The camera joint 39 is connected to the rigid end member 26 in such a way that the camera 40 about an axis of rotation 46 is rotatable all around. The axis of rotation 46 extends coaxially with a longitudinal axis of the rigid end member 26.
Das Kameragelenk 39 ist auch derart ausgebildet, dass die Kamera 40 um eine Schwenkachse 44 schwenkbar mit dem starren Endglied 26 verbunden ist, wobei die Schwenkachse 44 senkrecht zur Drehachse 46 verläuft. Dazu weist das Kameragelenk 39 ein Schwenkgelenk 38 auf, welches angeordnet ist, die Kamera 40 mit dem Kameragelenk 39 zu verbinden. In diesem Ausführungsbeispiel ist das Kameragelenk 39 als U-Profil mit einem U-Profilboden und zwei U-Profilseitenwänden ausgebildet. In diesem Ausführungsbeispiel verläuft die Drehachse 46 durch den U-Profilboden und die Schwenkachse 44 verläuft durch die U-Profilseitenwände.The camera joint 39 is also designed such that the camera 40 is connected to the rigid end member 26 so as to be pivotable about a pivot axis 44, the pivot axis 44 running perpendicular to the axis of rotation 46. For this purpose, the camera joint 39 has a swivel joint 38, which is arranged to connect the camera 40 to the camera joint 39. In this exemplary embodiment, the camera joint 39 is designed as a U-profile with a U-profile base and two U-profile side walls. In this exemplary embodiment, the axis of rotation 46 runs through the U-profile base and the pivot axis 44 runs through the U-profile side walls.
Dargestellt sind auch Schwenkrichtungen 46 und 66 des starren Endglieds 26, Schwenkrichtungen 60 und 62 des starren Mittelglieds 24 und Schwenkrichtungen 58 und 56 des starren Basisglieds 22.Swivel directions 46 and 66 of the rigid end member 26, swivel directions 60 and 62 of the rigid central member 24 and swivel directions 58 and 56 of the rigid base member 22 are also shown.
Das Kameragelenk 39, das Mittelschwenkgelenk 36, das Mittelschwenkgelenk 34 und das Basisschwenkgelenk 30 weisen jeweils einen Gelenksensor auf. Der Gelenksensor ist ausgebildet, die Winkelstellung eines Gelenks zu erfassen.The camera joint 39, the central pivot joint 36, the central pivot joint 34 and the base pivot joint 30 each have a joint sensor. The joint sensor is designed to detect the angular position of a joint.
Der Schwenkwinkelbereich des Mittelschwenkgelenks 34 und des Basisschwenkgelenks 30 kann hierbei begrenzt sein, so dass der Gelenkarm 20 nicht durchsacken kann.The swivel angle range of the central swivel joint 34 and of the base swivel joint 30 can be limited here, so that the articulated arm 20 cannot sag.
Der Schwenkwinkelbereich des Schwenkgelenks 38 um die Schwenkachse 44 kann begrenzt sein.The swivel angle range of the swivel joint 38 about the swivel axis 44 can be limited.
Die mobile Trackingeinheit 10 weist vier Räder 14 auf, welche im Bereich eines Bodens der mobilen Trackingeinheit 10 angeordnet sind. Die mobile Trackingeinheit 10 ist so ausgebildet, dass die Räder 14 ins Innere der mobilen Trackingeinheit 10 versenkbar sind. Dazu weist die mobile Trackingeinheit 10 einen Versenkhebel 16 auf, welcher um eine Schwenkachse 18 geschwenkt werden kann. Die Schwenkachse 18 verläuft parallel zu dem Boden der mobilen Trackingeinheit 10. Die Räder 14 sind mit dem Versenkhebel 16 derart wirkverbunden, dass die Räder 14 durch eine Schwenkbewegung 17 des Versenkhebels 16 in eine Versenkrichtung 68 nach oben bewegt werden können. Durch eine zur Schwenkrichtung 17 entgegengesetzte Schwenkbewegung des Versenkhebels 16 können die Räder 14 in eine Ausfahrrichtung 70 bewegt werden. Beispielsweise kann die mobile Trackingeinheit 10 zum Versenken der Räder 14 im Boden der Trackingeinheit entsprechende Ausnehmungen zur Aufnahme der Räder 14 aufweisen.The mobile tracking unit 10 has four wheels 14 which are arranged in the region of a floor of the mobile tracking unit 10. The mobile tracking unit 10 is designed such that the wheels 14 can be lowered into the interior of the mobile tracking unit 10. For this purpose, the mobile tracking unit 10 has a lowering lever 16 which can be pivoted about a pivot axis 18. The pivot axis 18 runs parallel to the bottom of the mobile tracking unit 10. The wheels 14 are operatively connected to the lowering lever 16 such that the wheels 14 can be moved upwards in a lowering direction 68 by a pivoting movement 17 of the lowering lever 16. The wheels 14 can be moved in an extension direction 70 by a pivoting movement of the lowering lever 16 opposite to the pivoting direction 17. For example, the mobile tracking unit 10 can have corresponding recesses for receiving the wheels 14 in order to lower the wheels 14 in the bottom of the tracking unit.
Die mobile Trackingeinheit 10 ist ausgebildet, dass die Räder 14 derart versenkbar sind, dass der Boden der mobilen Trackingeinheit 10 in einer Versenkstellung der Räder 14 mit einem - nicht dargestellten - Fußboden in Wirkkontakt geraten. Dadurch sind die Räder 14 entlastet und die mobile Trackingeinheit 10 ist nicht mehr verrollbar fixiert.The mobile tracking unit 10 is designed such that the wheels 14 can be lowered in such a way that the bottom of the mobile tracking unit 10 comes into operative contact with a floor (not shown) with the floor 14 in a lowered position. As a result, the wheels 14 are relieved and the mobile tracking unit 10 is no longer fixed in a rollable manner.
Die mobile Trackingeinheit 10 weist, eine Bildwiedergabeeinheit 52 auf. Die Bildwiedergabeeinheit 52 kann als TFT-Display ausgebildet sein. Die mobile Trackingeinheit 10 weist eine Rechnereinheit 48 mit einer Augmented-Reality-Vorrichtung auf.The mobile tracking unit 10 has an image display unit 52. The image display unit 52 can be designed as a TFT display. The mobile tracking unit 10 has a computer unit 48 with an augmented reality device.
Die mobile Trackingeinheit 10 weist auch eine Eingabeeinheit 50 auf. Die Eingabeeinheit 50 kann als Tastatur ausgebildet sein.The mobile tracking unit 10 also has an input unit 50. The input unit 50 can be designed as a keyboard.
Die Bildwiedergabeeinheit 52 und die Eingabeeinheit 50 sind mit der Rechnereinheit 48 verbunden.The image display unit 52 and the input unit 50 are connected to the computer unit 48.
Der Gelenkarm 20 der mobilen Trackingeinheit 10 weist auch eine Leuchte 42 auf. Die Leuchte 42 ist an dem starren Endglied 26, beispielsweise im Bereich des freien Endes angeordnet. Die Leuchte 42 kann mit dem starren Endglied 26 schwenkbar verbunden sein. Die Leuchte 42 kann eine Halogenlampe oder wenigstens eine Lumineszenzdiode aufweisen.The articulated arm 20 of the mobile tracking unit 10 also has a lamp 42. The lamp 42 is arranged on the rigid end member 26, for example in the region of the free end. The lamp 42 can be pivotally connected to the rigid end member 26. The lamp 42 can have a halogen lamp or at least one luminescent diode.
Der Gelenkarm 20 der mobilen Trackingeinheit 10 weist im Bereich des freien Endes eine Tastspitze 41 auf, deren Ende das freie Ende des Gelenkarms 20 bildet. Die Tastspitze 41 ist zum Kalibrieren der Augmented-Reality-Vorrichtung vorgesehen.The articulated arm 20 of the mobile tracking unit 10 has a probe tip 41 in the area of the free end, the end of which forms the free end of the articulated arm 20. The probe tip 41 is provided for calibrating the augmented reality device.
Figur 2 zeigt eine Ausführungsform einer mobilen Trackingeinheit 110. Die mobile Trackingeinheit 110 weist einen Gelenkarm 120 auf, welcher an einer Gelenkarmbasis 128 angesetzt ist. Die Gelenkarmbasis 128 ist mit der mobilen Trackingeinheit 110 verbunden und ist an einer Oberseite der mobilen Trackingeinheit 110 angeordnet und mit dieser über ein Basisdrehgelenk 132 verbunden. Die Gelenkarmbasis 128 weist ein Schwenkgelenk 130 auf, über welches ein starres Basisglied 122 mit der Gelenkarmbasis 128 verbunden ist.FIG. 2 shows an embodiment of a mobile tracking unit 110. The mobile tracking unit 110 has an articulated arm 120 which is attached to an articulated arm base 128. The articulated arm base 128 is connected to the mobile tracking unit 110 and is arranged on an upper side of the mobile tracking unit 110 and connected to the latter via a base swivel 132. The articulated arm base 128 has a swivel joint 130, via which a rigid base member 122 is connected to the articulated arm base 128.
Das starre Basisglied 122 weist im Bereich des von dem Basisschwenkgelenk 130 abgewandten Endes ein Mittelschwenkgelenk 134 auf. Das starre Basisglied 122 ist über das Mittelschwenkgelenk 134 mit einem starren Mittelglied 124 verbunden. Das starre Mittelglied 124 ist über ein Mittelschwenkgelenk 136 im Bereich des von dem Mittelschwenkgelenk 134 abgewandten Endes mit einem starren Endglied 126 verbunden.The rigid base member 122 has a central pivot joint 134 in the region of the end facing away from the base pivot joint 130. The rigid base member 122 is connected to a rigid central member 124 via the central pivot joint 134. The rigid central link 124 is connected to a rigid end link 126 via a central swivel joint 136 in the region of the end facing away from the central swivel joint 134.
Das starre Endglied 126 weist im Bereich eines freien Endes eine Bildwiedergabeeinheit 160 auf. Das starre Endglied 126 weist auch im Bereich des freien Endes eine Leuchte 142 auf, welche beispielsweise schwenkbar mit dem starren Endglied 126 verbunden sein kann. Im Bereich des freien Endes des starren Endglieds 126 ist eine Tastspitze 141 angeordnet, deren Ende das freie Ende des Gelenkarms 120 bildet.The rigid end member 126 has an image display unit 160 in the region of a free end. The rigid end member 126 also has a lamp 142 in the region of the free end, which can be pivotally connected to the rigid end member 126, for example. In the area of the free end of the rigid end member 126, a probe tip 141 is arranged, the end of which forms the free end of the articulated arm 120.
Die mobile Trackingeinheit 110 weist auch vier Räder 114 auf, welche mit einem Versenkhebel 116 derart wirkverbunden sind, dass die Räder 114 durch eine Schwenkbewegung des Versenkhebels 116 jeweils in einem zum Versenken des jeweiligen Rades vorgesehenen Hohlraum der Trackingeinheit 110 versenkt werden können.The mobile tracking unit 110 also has four wheels 114, which are operatively connected to a lowering lever 116 in such a way that the wheels 114 can each be lowered into a cavity of the tracking unit 110 provided for lowering the respective wheel by pivoting the lowering lever 116.
Die mobile Trackingeinheit 110 weist auch eine Rechnereinheit 148 mit einer Augmented- Reality-Vorrichtung, einer Eingabeeinheit 150 und einer Bildwiedergabeeinheit 152 auf.The mobile tracking unit 110 also has a computer unit 148 with an augmented reality device, an input unit 150 and an image display unit 152.
Die Bildwiedergabeeinheit 152 und die Eingabeeinheit 150 sind mit der Rechnereinheit 148 verbunden. Die Bildwiedergabeeinheit 152 kann beispielsweise ein TFT-Bildschirm sein. Die Eingabeeinheit 150 kann beispielsweise eine Tastatur sein.The image display unit 152 and the input unit 150 are connected to the computer unit 148. The image display unit 152 can be a TFT screen, for example. The input unit 150 can be a keyboard, for example.
Dargestellt ist auch ein zu reparierendes Fahrzeug 102. Das zu reparierende Fahrzeug 102 weist eine Motorhaube 104 auf. Die Motorhaube 104 ist in geöffnetem Zustand dargestellt.A vehicle 102 to be repaired is also shown. The vehicle 102 to be repaired has a bonnet 104. The bonnet 104 is shown in the open state.
Die mobile Trackingeinheit 110 umfasst in dieser Ausführungsform einen mobilen Kameraträger 146. Der mobile Kameraträger 146 ist stabförmig ausgebildet und weist entlang einer Stablängsachse im Bereich eines ersten äußeren Drittelabschnitts eine erste Mobilkamera 140 und im Bereich eines zweiten äußeren Drittelabschnitts, welcher den ersten äußeren Drittelabschnitt gegenüberliegt, eine zweite Mobilkamera 144 auf. Die erste Mobilkamera 140 und die zweite Mobilkamera 144 sind mit der Rechnereinheit 148 und somit mit der Augmented-Reality-Vorrichtung wirkverbunden.In this embodiment, the mobile tracking unit 110 comprises a mobile camera carrier 146. The mobile camera carrier 146 is rod-shaped and has a first mobile camera 140 along a longitudinal axis in the area of a first outer third section and in the area of a second outer third section, which is opposite the first outer third section, a second mobile camera 144. The first Mobile camera 140 and the second mobile camera 144 are operatively connected to the computer unit 148 and thus to the augmented reality device.
Beispielsweise weist die Rechnereinheit 148 dazu eine Bluetooth-Schnittstelle auf. Alternativ zu der Bluetooth-Schnittstelle kann die Rechnereinheit 148 eine LAN-Schnittstelleneinheit (LAN = Local Area Network) aufweisen.For example, the computer unit 148 has a Bluetooth interface for this purpose. As an alternative to the Bluetooth interface, the computing unit 148 can have a LAN interface unit (LAN = Local Area Network).
Die erste Mobilkamera 140 und die zweite Mobilkamera 144 können in diesem Ausführungsbeispiel mit der LAN-Schnittstelleneinheit wenigstens zeitweise verbunden sein. Die erste Mobilkamera 140 und die zweite Mobilkamera 144 können jeweils CCD-Kamera ausgebildet sein.In this exemplary embodiment, the first mobile camera 140 and the second mobile camera 144 can be connected to the LAN interface unit at least temporarily. The first mobile camera 140 and the second mobile camera 144 can each be configured as a CCD camera.
Die mobile Trackingeinheit 110 umfasst auch eine mobile Bildwiedergabeeinheit 162, welche mit dem mobilen Kameraträger 146 verbunden ist.The mobile tracking unit 110 also comprises a mobile image display unit 162 which is connected to the mobile camera carrier 146.
Die mobile Bildwiedergabeeinheit 162 kann mit der Rechnereinheit 148 verbunden sein. Beispielsweise umfasst die Rechnereinheit 148 dazu eine Bluetooth-Schnittstelle oder eine Infrarot-Schnittstelle, welche ausgebildet sind, die Rechnereinheit 148 mit der mobilen Bildwiedergabeeinheit 162 zu verbinden.The mobile image display unit 162 can be connected to the computer unit 148. For example, the computer unit 148 includes a Bluetooth interface or an infrared interface, which are designed to connect the computer unit 148 to the mobile image display unit 162.
Die Infrarot-Schnittstelleineinheit kann beispielsweise gemäß der IRDA-Norm (IRDA = infrared Data Association) ausgebildet sein.The infrared interface unit can, for example, be designed in accordance with the IRDA standard (IRDA = infrared Data Association).
Im Anwendungsfall können beispielsweise die erste Mobilkamera 140 und die zweite Mobilkamera 144 jeweils ein Kamera-Bildsignal erzeugen, welches jeweils eine Abbildung eines Objekts, beispielsweise eines zu reparierenden Motors, entspricht.In the application case, for example, the first mobile camera 140 and the second mobile camera 144 can each generate a camera image signal, which corresponds in each case to an image of an object, for example an engine to be repaired.
Zum Anwenden einer Augmented-Reality-Vorrichtung mit einem mobilen Kameraträger 146 muss zunächst der Erfassungsbereich, das heißt der Erfassungswinkel und die Erfassungsrichtung, der ersten Kamera 140 und der zweiten Kamera 144 kalibriert werden. Dazu kann beispielsweise an einem vorbestimmten Ort im Motorraum des Fahrzeugs 102 wenigstens ein Marker angebracht werden. Ein solcher Marker kann beispielsweise ein Infrarot-Marker sein oder ein Papiermarker, welcher mit einem spezifischen Muster bedruckt ist. Das Infrarot-Signal oder das spezifische Muster des Papiermarkers können in einer von der Kamera erfassten Abbildung in dem Kamera-Bildsignal wiedererkannt werden. Dazu kann die Augmented-Reality-Vorrichtung eine Marker-Erkennungseinheit aufweisen. Die Marker-Erkennungseinheit ist ausgebildet, in Abhängigkeit von einer Markerposition in einer Abbildung eines Objekts ein Kamera-Positionssignal zu erzeugen und dieses ausgangsseitig auszugeben.To use an augmented reality device with a mobile camera carrier 146, the detection area, that is to say the detection angle and the detection direction, of the first camera 140 and the second camera 144 must first be calibrated. For this purpose, for example, at least one marker can be attached at a predetermined location in the engine compartment of the vehicle 102. Such a marker can be, for example, an infrared marker or a paper marker that is printed with a specific pattern. The infrared signal or the specific pattern of the paper marker can be recognized in an image captured by the camera in the camera image signal. For this purpose, the augmented reality device can have a marker recognition unit. The Marker detection unit is designed to generate a camera position signal as a function of a marker position in an image of an object and to output it on the output side.
Figur 3 zeigt eine schematische Darstellung einer Ausführungsform einer Augmented- Reality-Vorrichtung 301 für eine mobile Trackingeinheit. Die Augmented-Reality-Vorrichtung 301 weist eine zentrale Verarbeitungseinheit 310 auf. Die zentrale Verarbeitungseinheit 310 kann beispielsweise ein Mikroprozessor sein. Die Augmented-Reality-Vorrichtung 301 weist eine Kamera 312 auf. Die Kamera 312 weist einen Empfänger für elektromagnetische Strahlung auf und ist ausgebildet, in einem Erfassungswinkel von einem Objekt ausgesendete oder reflektierte elektromagnetische Strahlung zu erfassen und ein eine Abbildung des Objekts repräsentierendes Kamera-Bildsignal zu erzeugen.FIG. 3 shows a schematic illustration of an embodiment of an augmented reality device 301 for a mobile tracking unit. The augmented reality device 301 has a central processing unit 310. The central processing unit 310 can be a microprocessor, for example. The augmented reality device 301 has a camera 312. The camera 312 has a receiver for electromagnetic radiation and is designed to detect electromagnetic radiation emitted or reflected by an object at a detection angle and to generate a camera image signal representing an image of the object.
Die Augmented-Reality-Vorrichtung 301 für eine Trackingeinheit weist auch einen Kamera- Positionssensor 328 auf. Der Kamera-Positionssensor 328 ist ausgebildet ein einer Erfassungsrichtung der Kamera entsprechendes Kamera-Positionssignal zu erzeugen und dieses ausgangsseitig auszugeben.The augmented reality device 301 for a tracking unit also has a camera position sensor 328. The camera position sensor 328 is designed to generate a camera position signal corresponding to a detection direction of the camera and to output it on the output side.
Die Augmented-Reality-Vorrichtung 301 weist auch Gelenksensoren 334, 332, 330 und 336 auf. Die Gelenksensoren 334, 332, 330, 336 sind jeweils mit einem Schwenk- oder Drehgelenk eines Gelenkarms wirkverbunden und ausgebildet sind, eine Winkelstellung des entsprechenden Gelenkes zu erfassen und ein der Winkelstellung des Gelenkes entsprechendes Gelenkwinkelsignal zu erzeugen und dieses ausgangsseitig auszugeben.The augmented reality device 301 also has joint sensors 334, 332, 330 and 336. The joint sensors 334, 332, 330, 336 are each operatively connected to a swivel or swivel joint of an articulated arm and are designed to detect an angular position of the corresponding joint and to generate a joint angle signal corresponding to the angular position of the joint and to output it on the output side.
Beispielsweise kann ein Gelenksensor ein Drehpotentiometer aufweisen, welches einen Ohm'schen Widerstand aufweist. Der Ohm'sche Widerstand des Drehpotentiometers ist abhängig von einer Winkelstellung eines wenigstens teilweise umlaufenden Schleifkontakts. Der Schleifkontakt ist mit dem Dreh- oder Schwenkgelenk derart wirkverbunden, dass eine Drehwinkelstellung eines Dreh- oder Schwenkgelenks einer Drehwinkelstellung des Schleifkontakts des Drehpotentiometers entspricht.For example, a joint sensor can have a rotary potentiometer which has an ohmic resistance. The ohmic resistance of the rotary potentiometer is dependent on the angular position of an at least partially revolving sliding contact. The sliding contact is operatively connected to the swivel or swivel joint in such a way that an angle of rotation position of a swivel or swivel joint corresponds to an angle of rotation position of the sliding contact of the rotary potentiometer.
Das Drehpotentiometer kann mit dem Dreh- oder Schwenkgelenk auf einer gemeinsamen Welle angeordnet sein oder beispielsweise über einen Zahnriemen mit dem Dreh- oder Schwenkgelenk wirkverbunden sein. Denkbar ist auch ein optischer Winkelsensor, bei welchem eine Anzahl von Fotodioden und eine der Anzahl der Fotodioden entsprechende Anzahl von Lumineszenzdioden aufweist. Die Fotodioden und die Lumineszenzdioden sind jeweils derart angeordnet, dass genau eine Fotodioden im Strahlengang genau einer entsprechenden Lumineszenzdiode angeordnet ist.The rotary potentiometer can be arranged with the rotary or swivel joint on a common shaft or, for example, be operatively connected to the rotary or swivel joint via a toothed belt. An optical angle sensor is also conceivable, in which a number of photodiodes and a number of luminescent diodes corresponding to the number of photodiodes are present. The photodiodes and the luminescence diodes are each arranged in such a way that exactly one photodiode is arranged in the beam path of exactly one corresponding luminescence diode.
Der optische Winkelsensor weist eine bewegliche Trennscheibe auf, welche angeordnet und ausgebildet ist, den Strahlengang zwischen wenigstens einer Lumineszenzdiode und der entsprechenden Fotodiode in Abhängigkeit von einer Winkelstellung des Dreh- oder Schwenkgelenks zu unterbrechen.The optical angle sensor has a movable cutting disc, which is arranged and designed to interrupt the beam path between at least one luminescence diode and the corresponding photodiode as a function of an angular position of the swivel or swivel joint.
Die Augmented-Reality-Vorrichtung 301 weist auch eine Bildwiedergabeeinheit 314 mit einer berührungsempfindlichen Oberfläche 316 auf. Die berührungsempfindliche Oberfläche 316 ist ausgebildet, in Abhängigkeit von einer Berührung an einem Berührungsort der berührungsempfindlichen Oberfläche 316 ein den Berührungsort repräsentierendes Berührungssignal zu erzeugen und dieses ausgangsseitig auszugeben.The augmented reality device 301 also has an image display unit 314 with a touch-sensitive surface 316. The touch-sensitive surface 316 is designed to generate a touch signal representing the touch location as a function of a touch at a touch location of the touch-sensitive surface 316 and to output it on the output side.
Die Bildwiedergabeeinheit 314 kann als TFT-Display ausgebildet sein (TFT-Display = Thin- Film-Transistor-Display).The image display unit 314 can be designed as a TFT display (TFT display = thin-film transistor display).
Die Augmented-Reality-Vorrichtung 301 weist auch eine 3-D-Datenbank mit einer Vielzahl von 3-D-Datensätzen auf. Die 3-D-Datensätze repräsentieren in ihrer Gesamtheit ein graphisches Modell in drei Dimensionen wenigstens von Teilen eines Objekts, insbesondere eines Fahrzeugs, mit seinen Einzelkomponenten. Die Augmented-Reality-Vorrichtung 301 weist auch eine 3-D-Berechnungseinheit 318 auf, welche mit der 3-D-Datenbank 320 über eine Verbindungsleitung 364 verbunden ist. Die 3-D-Berechnungseinheit 318 ist über eine Verbindungsleitung 362 mit der zentralen Verarbeitungseinheit 310 verbunden und ausgebildet, in Abhängigkeit von einem Kamera-Positionssignal aus wenigstens einem einen 3-D-Datensatz repräsentierenden 3-D-Datensatzsignal ein 3-D-Hilfsanweisungssignal zu erzeugen. Das 3-D-Hilfsanweisungssignal repräsentiert eine Abbildung in zwei Dimensionen wenigstens eines dreidimensionalen Objekts in einer dem Kamera-Positionssignal entsprechenden Erfassungsrichtung.The augmented reality device 301 also has a 3-D database with a large number of 3-D data records. The 3-D data sets as a whole represent a graphic model in three dimensions of at least parts of an object, in particular a vehicle, with its individual components. The augmented reality device 301 also has a 3-D calculation unit 318, which is connected to the 3-D database 320 via a connecting line 364. The 3-D calculation unit 318 is connected to the central processing unit 310 via a connecting line 362 and is designed, depending on a camera position signal, to form a 3-D auxiliary instruction signal from at least one 3-D data set signal representing a 3-D data set produce. The 3-D auxiliary instruction signal represents an image in two dimensions of at least one three-dimensional object in a detection direction corresponding to the camera position signal.
Die Augmented-Reality-Vorrichtung 301 weist auch einen Hilfsanweisungsspeicher 322 auf, welcher über eine bidirektionalen Datenbus 366 mit der zentralen Verarbeitungseinheit 310 verbunden ist. Der Hilfsanweisungsspeicher 322 weist eine Anzahl von Datensätzen auf. Ein Datensatz kann ein Video-Datensatz sein, welcher eine graphische Information oder eine Textinformation repräsentiert. Ein Datensatz kann alternativ dazu ein Audio-Datensatz sein, welcher gesprochene Sprache repräsentiert. Die zentrale Verarbeitungseinheit 310 ist ausgebildet, über den bidirektionalen Datenbus 366 einen Audio-Datensatz oder einen Video-Datensatz aus dem Hilfsanweisungsspeicher 322 auszulesen und ein dem Audio- Datensatz entsprechendes Audio-Hilfsanweisungssignal oder ein dem Video-Datensatz entsprechendes Video-Hilfsanweisungssignal zu erzeugen.The augmented reality device 301 also has an auxiliary instruction memory 322, which is connected to the central processing unit 310 via a bidirectional data bus 366. The auxiliary instruction store 322 has a number of records. A data record can be a video data record, which is a graphic information or a Represents text information. Alternatively, a data record can be an audio data record that represents spoken language. The central processing unit 310 is designed to read out an audio data record or a video data record from the auxiliary instruction memory 322 via the bidirectional data bus 366 and to generate an audio auxiliary instruction signal corresponding to the audio data record or a video auxiliary instruction signal corresponding to the video data record.
Die Augmented-Reality-Vorrichtung 301 weist auch eine Spracheingabeeinheit 323 auf. Die Spracheingabeeinheit 323 ist eingangsseitig über eine Verbindungsleitung 376 mit einem Mikrophon 324 und ausgangsseitig über eine Verbindungsleitung 374 mit der zentralen Verarbeitungseinheit 310 verbunden. Das Mikrophon 324 ist ausgebildet, Luftschall zu empfangen und ein dem Luftschall entsprechendes Mikrophon-Signal zu erzeugen und dieses ausgangsseitig auszugeben.The augmented reality device 301 also has a voice input unit 323. The voice input unit 323 is connected on the input side via a connecting line 376 to a microphone 324 and on the output side via a connecting line 374 to the central processing unit 310. The microphone 324 is designed to receive airborne sound and to generate a microphone signal corresponding to the airborne sound and to output it on the output side.
Die Spracheingabeeinheit 323 ist ausgebildet, das Mikrophon-Signal zu digitalisieren und gemäß einer vorbestimmten Zuordnungsvorschrift aus dem digitalisierten Mikrophon-Signal ein ASCII-Signal zu erzeugen und ausgangsseitig auszugeben. Das ASCII-Signal repräsentiert eine Textinformation (ASCII = American Standard Code for Information Interchange).The voice input unit 323 is designed to digitize the microphone signal and to generate an ASCII signal from the digitized microphone signal in accordance with a predetermined assignment rule and to output it on the output side. The ASCII signal represents text information (ASCII = American Standard Code for Information Interchange).
Die Augmented-Reality-Vorrichtung 301 weist auch eine Audio-Ausgabeeinheit 326 auf. Die Audio-Ausgabeeinheit 326 weist einen Lautsprecher zur Wandlung eines elektrischen Signals in Luftschall auf und ist eingangsseitig über eine Verbindungsleitung 372 mit der zentralen Verarbeitungseinheit 310 verbunden.The augmented reality device 301 also has an audio output unit 326. The audio output unit 326 has a loudspeaker for converting an electrical signal into airborne sound and is connected on the input side to the central processing unit 310 via a connecting line 372.
Die Bildwiedergabeeinheit 314 ist über eine Verbindungsleitung 368 eingangsseitig mit der zentralen Verarbeitungseinheit 310 verbunden.The image display unit 314 is connected on the input side to the central processing unit 310 via a connecting line 368.
Die berührungsempfindliche Oberfläche 316 ist ausgangsseitig über eine Verbindungsleitung 370 mit der zentralen Verarbeitungseinheit 310 verbunden.On the output side, the touch-sensitive surface 316 is connected to the central processing unit 310 via a connecting line 370.
Der Kamera-Positionssensor 328 ist ausgangsseitig über eine Verbindungsleitung 352 mit der zentralen Verarbeitungseinheit verbunden.On the output side, the camera position sensor 328 is connected to the central processing unit via a connecting line 352.
Die Kamera 312 ist ausgangsseitig über eine Verbindungsleitung 350 mit der zentralen Verarbeitungseinheit 310 verbunden. Der Kamera-Positionssensor 328 ist eingangsseitig über eine Verbindungsleitung 360 mit dem Gelenksensor 334, eingangsseitig über eine Verbindungsleitung 358 mit dem Gelenksensor 332, eingangsseitig über eine Verbindungsleitung 356 mit dem Gelenksensor 330 und eingangsseitig über eine Verbindungsleitung 354 mit dem Gelenksensor 336 verbunden.On the output side, the camera 312 is connected to the central processing unit 310 via a connecting line 350. The camera position sensor 328 is connected on the input side via a connecting line 360 to the joint sensor 334, on the input side via a connecting line 358 to the joint sensor 332, on the input side via a connecting line 356 to the joint sensor 330 and on the input side via a connecting line 354 to the joint sensor 336.
Die Funktionsweise der Augmented-Reality-Vorrichtung 301 soll nun im Folgenden erläutert werden:The mode of operation of the augmented reality device 301 will now be explained in the following:
Die Kamera 312 kann ein einem zu erfassenden Objekt entsprechendes Kamera-Signal erzeugen und dieses ausgangsseitig über die Verbindungsleitung 350 an die zentrale Verarbeitungseinheit 310 senden.The camera 312 can generate a camera signal corresponding to an object to be detected and send it on the output side to the central processing unit 310 via the connecting line 350.
Der Kamera-Positionssensor 328 kann über die Verbindungsleitungen 360, 358, 356 und 354 jeweils ein Winkelsignal empfangen, welches einer Gelenkstellung eines entsprechenden Dreh- oder Schwenkgelenks eines Gelenkarmes entspricht.The camera position sensor 328 can receive an angle signal via the connecting lines 360, 358, 356 and 354, which corresponds to an articulated position of a corresponding swivel or swivel joint of an articulated arm.
Der Kamera-Positionssensor 328 kann in Abhängigkeit von den Winkelsignalen ein Kamera- Positionssignal erzeugen, welches eine Kameraposition in einem vorbestimmten Koordinatensystem und eine Erfassungsrichtung repräsentiert und dieses ausgangsseitig über die Verbindungsleitung 352 an die zentrale Verarbeitungseinheit 310 senden.Depending on the angle signals, the camera position sensor 328 can generate a camera position signal which represents a camera position in a predetermined coordinate system and a detection direction and send this to the central processing unit 310 on the output side via the connecting line 352.
Die zentrale Verarbeitungseinheit 310 kann das Kamera-Positionssignal über die bidirektionale Verbindungsleitung 362 an die 3-D-Berechnungseinheit 318 senden. Die 3-D- Berechnungseinheit 318 kann in Abhängigkeit von einem über die Verbindungsleitung 362 empfangenen Benutzer-Interaktionssignal wenigstens einen 3-D-Datensatz aus der 3-D- Datenbank 320 auslesen und ein dem 3-D-Datensatz entsprechendes 3-D-Datensatzsignal erzeugen.The central processing unit 310 can send the camera position signal to the 3-D calculation unit 318 via the bidirectional connecting line 362. The 3-D calculation unit 318 can read out at least one 3-D data record from the 3-D database 320 and a 3-D data record signal corresponding to the 3-D data record, depending on a user interaction signal received via the connecting line 362 produce.
Die 3-D-Berechnungseinheit ist weiter ausgebildet, in Abhängigkeit von dem Kamera- Positionssignal ein 3-D-Hilfsanweisungssignal zu erzeugen und dieses ausgangsseitig über die bidirektionale Verbindungsleitung 362 an die zentrale Verarbeitungseinheit 310 zu senden. Die zentrale Verarbeitungseinheit 310 kann das Benutzer-Interaktionssignal in Abhängigkeit von einem über die Verbindungsleitung 370 empfangenen Berührungssignal erzeugen und das Benutzer-Interaktionssignal über die Verbindungsleitung 362 an die 3-D-Berechnungseinheit senden.The 3-D calculation unit is further developed to generate a 3-D auxiliary instruction signal as a function of the camera position signal and to send this to the central processing unit 310 on the output side via the bidirectional connecting line 362. The central processing unit 310 can generate the user interaction signal depending on a touch signal received via the connection line 370 and send the user interaction signal via the connection line 362 to the 3-D calculation unit.
Die 3-D-Datensätze können beispielsweise einzelne Objekte eines Fahrzeugmodells repräsentieren. Beispielsweise kann die Hand eines Benutzers 305 einen Ort der Berührungsempfindlichen Oberfläche 316 berühren, welcher einem vorbestimmten Reparaturprogramm entspricht. Die zentrale Verarbeitungseinheit 310 kann daraufhin ein Benutzer-Interaktionssignal erzeugen, welches aus der 3-D-Datenbank 320 auszulesenden 3-D-Datensätzen entspricht.The 3-D data records can, for example, represent individual objects of a vehicle model. For example, a user's hand 305 may touch a location of touch-sensitive surface 316 that corresponds to a predetermined repair program. The central processing unit 310 can then generate a user interaction signal which corresponds to the 3-D data records to be read out from the 3-D database 320.
Alternativ zu dem Berührungssignal kann die zentrale Verarbeitungseinheit 310 das Benutzer-Interaktionssignal in Abhängigkeit von dem über die Verbindungsleitung 374 empfangenen ASCII-Signal der Spracheingabeeinheit 323 erzeugen.As an alternative to the touch signal, the central processing unit 310 can generate the user interaction signal depending on the ASCII signal of the voice input unit 323 received via the connecting line 374.
Die zentrale Verarbeitungseinheit 310 kann über den bidirektionalen Datenbus 366 wenigstens einen Audiodatensatz auslesen und ein dem Audiodatensatz entsprechendes Audio-Hilfsanweisungssignal erzeugen und dieses über die Verbindungsleitung 372 an die Audioausgabeeinheit 326 senden.The central processing unit 310 can read out at least one audio data record via the bidirectional data bus 366 and generate an audio auxiliary instruction signal corresponding to the audio data record and send this to the audio output unit 326 via the connecting line 372.
Die zentrale Verarbeitungseinheit 310 kann auch einen Video-Datensatz aus dem Hilfsanweisungsspeicher 322 über den bidirektionalen Datenbus 366 auslesen und ein dem Video-Datensatz entsprechendes Video-Hilfsanweisungssignal erzeugen.The central processing unit 310 can also read out a video data record from the auxiliary instruction memory 322 via the bidirectional data bus 366 and generate a video auxiliary instruction signal corresponding to the video data record.
Die zentrale Verarbeitungseinheit 310 ist ausgebildet, aus dem eingangsseitig über die Verbindungsleitung 350 empfangenen Kamera-Bildsignal, dem über die bidirektionale Verbindungsleitung 362 empfangenen 3-D-Hilfsanweisungssignal und aus dem Video- Hilfsanweisungssignal ein Hilfsinformations-Bildsignal derart zu erzeugen, dass das Hilfsinformations-Bildsignal eine Abbildung repräsentiert, bei welcher eine graphische Information oder eine Textinformation der Abbildung eines Objekts überlagert sind.The central processing unit 310 is designed to generate an auxiliary information image signal from the camera image signal received on the input side via the connecting line 350, the 3-D auxiliary instruction signal received via the bidirectional connecting line 362 and from the video auxiliary instruction signal such that the auxiliary information image signal represents an image in which graphic information or text information is superimposed on the image of an object.
Die zentrale Verarbeitungseinheit 310 kann das Hilfsinformations-Bildsignal über die Verbindungsleitung 368 ausgangsseitig an die Bildwiedergabeeinheit 314 senden. Alternativ zur Verbindungsleitung 350 kann in einer anderen Ausführungsform der Augmented-Reality-Vorrichtung 301 die Kamera 312 über eine Funkdatenschnittstelle mit der zentralen Verarbeitungseinheit 310 verbunden sein.The central processing unit 310 can send the auxiliary information image signal via the connecting line 368 to the image display unit 314 on the output side. As an alternative to the connecting line 350, in another embodiment of the augmented reality device 301 the camera 312 can be connected to the central processing unit 310 via a radio data interface.
Die Funkdaten-Schnittstelle ist ausgebildet, ein Kamera-Bildsignal schnurlos zu übertragen. Die Funkdaten-Schnittstelle kann beispielsweise eine Bluetooth-Schnittstelle oder eine Infrarot-Schnittstelle, insbesondere eine IRDA-Schnittstelle, sein (IRDA = Infrared Data Association).The radio data interface is designed to transmit a camera image signal wirelessly. The radio data interface can be, for example, a Bluetooth interface or an infrared interface, in particular an IRDA interface (IRDA = Infrared Data Association).
Die Bildwiedergabeeinheit 314 kann dementsprechend über eine Funkdaten-Schnittstelle mit der zentralen Verarbeitungseinheit 310 verbunden sein. The image display unit 314 can accordingly be connected to the central processing unit 310 via a radio data interface.
BEZUGSZEICHENLISTELIST OF REFERENCE NUMBERS
10, 110 mobile Trackingeinheit10, 110 mobile tracking unit
14, 114 - Räder14, 114 - wheels
16, 116 Versenkhebel16, 116 lowering lever
18 Schwenkachse18 swivel axis
20, 120 Gelenkarm20, 120 articulated arm
22, 122 starres Basisglied22, 122 rigid base member
24, 124 starres Mittelglied24, 124 rigid middle link
26, 126 starres Endglied26, 126 rigid end link
28, 128 Gelenkarm basis28, 128 articulated arm base
30, 130 Basisschwenkgelenk30, 130 basic swivel joint
32, 132 Basisdrehgelenk32, 132 base swivel
34, 134 Mittelschwenkgelenk34, 134 central swivel joint
36, 136 . Mittelschwenkgelenk36, 136. Central pivot
38 Schwenkgelenk38 swivel joint
39 Kameragelenk39 camera joint
40 Kamera40 camera
41 , 141 Tastspitze41, 141 probe tip
42, 140, 142 Leuchte 4 Schwenkachse 6 Drehachse 8, 148 Rechnereinheit42, 140, 142 light 4 swivel axis 6 rotation axis 8, 148 computer unit
50, 150 Eingabeeinheit50, 150 input unit
52, 152 Bildwiedergabeeinheit52, 152 image display unit
53, 54 Drehrichtung53, 54 direction of rotation
56, 58, 60, 62, 64, 66 Schwenkrichtung 8 Basisdrehachse56, 58, 60, 62, 64, 66 Swivel direction 8 basic rotation axis
102 Fahrzeug102 vehicle
104 Motorhaube104 bonnet
140 erste Mobilkamera140 first mobile camera
144 zweite Mobilkamera144 second mobile camera
146 mobiler Kameraträger146 mobile camera carriers
160, 162 Bildwiedergabeeinheit 01 Augmented-Reality-Vorrichtung für eine Trackingeinheit 305 Benutzer160, 162 image display unit 01 augmented reality device for a tracking unit 305 users
310 zentrale Verarbeitungseinheit310 central processing unit
312 Kamera312 camera
314 Bildwiedergabeeinheit314 image display unit
316 berührungsempfindliche Oberfläche316 touch-sensitive surface
318 3-D-Berechnungseinheit318 3-D calculation unit
320 3-D-Datenbank320 3D database
322 Hilfsanweisungsspeicher322 auxiliary instruction memory
323 Spracheingabeeinheit323 voice input unit
324 Mikrophon324 microphone
326 Kamera-Positionssensor326 camera position sensor
328 Kamera-Positionssensor328 camera position sensor
330, 332, 334, 336 Gelenksensor330, 332, 334, 336 joint sensor
350 Verbindungsleitung350 connecting line
352 Verbindungsleitung352 connecting line
354 Verbindungsleitung354 connecting line
356 Verbindungsleitung356 connecting line
358 Verbindungsleitung358 connecting line
360 Verbindungsleitung360 connecting line
362 1 bidirektionale Verbindungsleitung362 1 bidirectional connecting line
364 bidirektionaler Datenbus364 bidirectional data bus
366 Verbindungsleitung366 connecting line
368 Verbindungsleitung368 connecting line
370 Verbindungsleitung370 connecting line
372 Verbindungsleitung372 connecting line
374 Verbindungsleitung374 connecting line
376 Verbindungsleitung 376 connecting line

Claims

PATENTANSPRÜCHE
1. Mobile Trackingeinheit (10, 110), gekennzeichnet durch - eine Kamera (40, 140, 144, 312) mit einem Empfänger für elektromagnetische Strahlung, welche ausgebildet ist, in einem Erfassungswinkel von einem Objekt (102) ausgesendete oder reflektierte elektromagnetische Strahlung zu erfassen und ein eine Abbildung des Objekts (102) repräsentierendes Kamera-Bildsignal zu erzeugen, und - einen Kamera-Positionssensor (328), welcher ausgebildet ist, ein einer Erfassungsrichtung der Kamera (40, 140, 144, 312) entsprechendes Kamera- Positionssignal zu erzeugen und dieses ausgangsseitig auszugeben, und - wenigstens eine Bildwiedergabeeinheit (52, 152, 314) mit einem Eingang für ein Bildsignal und - eine Augmented-Reality-Vorrichtung (301 ), welche eingangsseitig mit dem Kamera- Positionssensor (328) und ausgangsseitig mit der Bildwiedergabeeinheit (52, 152, 314) verbunden ist, und dass die Augmented-Reality-Vorrichtung (301 ) ausgebildet ist, in Abhängigkeit von dem Kamera-Positionssignal aus dem Kamera-Bildsignal ein eine Hilfsinformation repräsentierendes Hilfsinformations-Bildsignal zu erzeugen und dieses an die Bildwiedergabeeinheit (52, 152, 160, 162, 314) zu senden.1. Mobile tracking unit (10, 110), characterized by - a camera (40, 140, 144, 312) with a receiver for electromagnetic radiation, which is designed to emit or reflect electromagnetic radiation from an object (102) at a detection angle detect and generate a camera image signal representing an image of the object (102), and - a camera position sensor (328), which is designed to transmit a camera position signal corresponding to a detection direction of the camera (40, 140, 144, 312) generate and output this on the output side, and - at least one image display unit (52, 152, 314) with an input for an image signal and - an augmented reality device (301) which on the input side with the camera position sensor (328) and on the output side with the Image display unit (52, 152, 314) is connected, and that the augmented reality device (301) is designed as a function of the camera position signal generate an auxiliary information image signal representing auxiliary information from the camera image signal and send it to the image display unit (52, 152, 160, 162, 314).
2. Mobile Trackingeinheit nach Anspruch 1 , dadurch gekennzeichnet, dass die mobile Trackingeinheit (10, 110) einen Gelenkarm (20, 120) aufweist, wobei der Gelenkarm (20, 120) an einer Gelenkarmbasis (28, 128) mit einem Basisgelenk (130, 132) ansetzt, welche mit der Trackingeinheit (10, 110) verbunden ist und der Gelenkarm (20, 120) ein freies Gelenkarmende aufweist, wobei die Kamera (40) im Bereich des freien Endes angeordnet ist, und der Gelenkarm (20, 120) zwischen der Gelenkarmbasis (28, 128) und dem freien Ende wenigstens ein Mittelgelenk (34, 36, 134, 136) aufweist, und der Positionssensor (328) mit dem Basisgelenk (130, 132) und dem Mittelgelenk (34, 36, 134, 136) wirkverbunden und ausgebildet ist, eine Basisgelenkstellung und eine Mittelgelenkstellung zu erfassen und das Kamera- Positionssignal in Abhängigkeit von der Basisgelenkstellung und der Mittelgelenkstellung zu erzeugen. 2. Mobile tracking unit according to claim 1, characterized in that the mobile tracking unit (10, 110) has an articulated arm (20, 120), the articulated arm (20, 120) on an articulated arm base (28, 128) with a base joint (130 , 132) which is connected to the tracking unit (10, 110) and the articulated arm (20, 120) has a free articulated arm end, the camera (40) being arranged in the region of the free end, and the articulated arm (20, 120 ) has at least one central joint (34, 36, 134, 136) between the articulated arm base (28, 128) and the free end, and the position sensor (328) with the basic joint (130, 132) and the central joint (34, 36, 134 , 136) is operatively connected and designed to detect a base joint position and a center joint position and to generate the camera position signal as a function of the base joint position and the center joint position.
3. Mobile Trackingeinheit nach Anspruch 2, dadurch gekennzeichnet, dass der Gelenkarm (20, 120) ein erstes Mittelgelenk (34, 134) und ein zweites Mittelgelenk (36b, 136) aufweist, welche jeweils als Schwenkgelenk ausgebildet sind.3. Mobile tracking unit according to claim 2, characterized in that the articulated arm (20, 120) has a first central joint (34, 134) and a second central joint (36b, 136), which are each designed as a swivel joint.
4. Mobile Trackingeinheit nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass der Gelenkarm (20) im Bereich des freien Endes ein Kameragelenk (39) aufweist, über welches die Kamera (40) mit dem Gelenkarm (20) verbunden ist.4. Mobile tracking unit according to claim 2 or 3, characterized in that the articulated arm (20) in the region of the free end has a camera joint (39) via which the camera (40) is connected to the articulated arm (20).
5. Mobile Trackingeinheit nach einem der Ansprüche 2 bis 4, dadurch gekennzeichnet, dass der Gelenkarm (20, 120) eine Tastspitze (41 , 141 ) aufweist, welche das freie Ende des Gelenkarmes (20) bildet.5. Mobile tracking unit according to one of claims 2 to 4, characterized in that the articulated arm (20, 120) has a probe tip (41, 141) which forms the free end of the articulated arm (20).
6. Mobile Trackingeinheit nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Augmented-Reality-Vorrichtung (301 ) zum Kalibrieren einer Gelenkarmposition ausgebildet ist.6. Mobile tracking unit according to one of the preceding claims, characterized in that the augmented reality device (301) is designed for calibrating an articulated arm position.
7. Mobile Trackingeinheit nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Augmented-Reality-Vorrichtung (301 ) zum berührungslosen Kalibrieren einer Gelenkarmposition ausgebildet ist.7. Mobile tracking unit according to one of the preceding claims, characterized in that the augmented reality device (301) is designed for contactless calibration of an articulated arm position.
8. Mobile Trackingeinheit nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Augmented-Reality-Vorrichtung (301 ) eine 3-D-Datenbank (320) mit einer Vielzahl von 3-D-Datensätzen aufweist, welche in ihrer Gesamtheit ein grafisches Modell in drei Dimensionen wenigstens von Teilen eines Objekts (102), insbesondere eines Fahrzeugs, mit seinen Einzelkomponenten repräsentieren.8. Mobile tracking unit according to one of the preceding claims, characterized in that the augmented reality device (301) has a 3-D database (320) with a plurality of 3-D data records, which in their entirety is a graphic model in three dimensions represent at least parts of an object (102), in particular a vehicle, with its individual components.
9. Mobile Trackingeinheit nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Augmented-Reality-Vorrichtung (301 ) ausgebildet ist, das Hilfsinformations- Bildsignal wenigstens teilweise aus mindestens einem 3-D-Datensatz entsprechenden 3-D-Datensatzsignal in Abhängigkeit von dem Kamera-Positionssignal zu erzeugen.9. Mobile tracking unit according to one of the preceding claims, characterized in that the augmented reality device (301) is designed to generate the auxiliary information image signal at least partially from at least one 3-D data record signal corresponding to the 3-D data record signal as a function of the camera position signal.
10. Mobile Trackingeinheit nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Augmented-Reality-Vorrichtung (301 ) eine Spracheingabeeinheit (323) aufweist und durch die Spracheingabeeinheit (323) steuerbar ausgebildet ist.10. Mobile tracking unit according to one of the preceding claims, characterized in that the augmented reality device (301) has a voice input unit (323) and is designed to be controllable by the voice input unit (323).
11. Mobile Trackingeinheit nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Augmented-Reality-Vorrichtung (328) eine Sprach-Ausgabeeinheit aufweist, welche ausgebildet ist, ein gesprochene Sprache repräsentierendes Sprach- Hilfsanweisungssignal hörbar auszugeben.11. Mobile tracking unit according to one of the preceding claims, characterized in that the augmented reality device (328) has a voice output unit which is designed to audibly output a voice auxiliary instruction signal representing a spoken language.
12. Mobile Trackingeinheit nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Augmented-Reality-Vorrichtung (301 ) ausgebildet ist, ein eine grafische Information oder Textinformation repräsentierendes Video-Hilfsanweisungssignal zu erzeugen und aus dem Kamera-Bildsignal und dem Video-Hilfsanweisungssignal das Hilfsinformations-Bildsignal derart zu erzeugen, dass das Hilfsinformations-Bildsignal eine Abbildung repräsentiert, bei welcher die grafische Information oder Textinformation der Abbildung des Objekts (102) überlagert ist.12. Mobile tracking unit according to one of the preceding claims, characterized in that the augmented reality device (301) is designed to generate a video auxiliary instruction signal representing graphic information or text information, and from the camera image signal and the video auxiliary instruction signal Generate auxiliary information image signal such that the auxiliary information image signal represents an image in which the graphic information or text information is superimposed on the image of the object (102).
13. Mobile Trackingeinheit nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Augmented-Reality-Vorrichtung (301 ) einen mobilen Kameraträger (146) zum Anbringen an einem Objekt (104) aufweist, wobei der mobile Kameraträger (146) wenigstens eine Mobilkamera (140, 144) mit einem Empfänger für elektromagnetische Strahlung aufweist, welche ausgebildet ist, in einer Erfassungsrichtung von dem Objekt ausgesendete oder reflektierte elektromagnetische Strahlung zu erfassen und ein Mobilkamera-Bildsignal zu erzeugen, welches eine Abbildung wenigstens eines Teils des Objekts repräsentiert und die Augmented-Reality-Vorrichtung einen Eingang für das Mobilkamera-Bildsignal aufweist, welcher mit der Mobilkamera (140, 144) wirkverbunden sein kann. 13. Mobile tracking unit according to one of the preceding claims, characterized in that the augmented reality device (301) has a mobile camera carrier (146) for attachment to an object (104), the mobile camera carrier (146) having at least one mobile camera ( 140, 144) with a receiver for electromagnetic radiation, which is designed to detect electromagnetic radiation emitted or reflected by the object in a detection direction and to generate a mobile camera image signal which represents an image of at least a part of the object and which augmented Reality device has an input for the mobile camera image signal, which can be operatively connected to the mobile camera (140, 144).
14. Mobile Trackingeinheit nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bildwiedergabeeinheit (160, 162) schnurlos mit der Augmented-Reality-Vorrichtung verbunden sein kann.14. Mobile tracking unit according to one of the preceding claims, characterized in that the image display unit (160, 162) can be connected wirelessly to the augmented reality device.
15. Mobile Trackingeinheit nach Anspruch 14, dadurch gekennzeichnet, dass die Augmented-Reality-Vorrichtung eine Funk-Schnittstelle oder eine Infrarot- Schnittstelle aufweist, welche ausgebildet ist, die Bildwiedergabeeinheit (160, 162) mit der Augmented-Reality-Vorrichtung schnurlos zu verbinden. 15. Mobile tracking unit according to claim 14, characterized in that the augmented reality device has a radio interface or an infrared interface which is designed to connect the image display unit (160, 162) to the augmented reality device wirelessly ,
PCT/EP2005/005781 2004-05-28 2005-05-25 Mobile tracking unit WO2005116785A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP05750870A EP1749248A1 (en) 2004-05-28 2005-05-25 Mobile tracking unit

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
DE102004027010.4 2004-05-28
DE102004027010 2004-05-28
DE102005011616.7 2005-03-07
DE102005011616.7A DE102005011616B4 (en) 2004-05-28 2005-03-07 Mobile tracking unit

Publications (1)

Publication Number Publication Date
WO2005116785A1 true WO2005116785A1 (en) 2005-12-08

Family

ID=34970199

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2005/005781 WO2005116785A1 (en) 2004-05-28 2005-05-25 Mobile tracking unit

Country Status (3)

Country Link
EP (1) EP1749248A1 (en)
DE (1) DE102005011616B4 (en)
WO (1) WO2005116785A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010016113A1 (en) 2010-03-24 2011-09-29 Krauss-Maffei Wegmann Gmbh & Co. Kg Method for training a crew member of a particular military vehicle

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5745387A (en) * 1995-09-28 1998-04-28 General Electric Company Augmented reality maintenance system employing manipulator arm with archive and comparison device
WO2000052539A1 (en) 1999-03-02 2000-09-08 Siemens Aktiengesellschaft Augmented reality system for situation-related support for interaction between a user and a technical device
WO2003050626A1 (en) 2001-12-05 2003-06-19 Siemens Aktiengesellschaft System and method for establishing a documentation of working processes for display in an augmented reality system
US20030179308A1 (en) 2002-03-19 2003-09-25 Lucia Zamorano Augmented tracking using video, computed data and/or sensing technologies

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2642833B1 (en) * 1989-02-06 1991-05-17 Vision 3D CALIBRATION METHOD OF A THREE-DIMENSIONAL SHAPE ACQUISITION SYSTEM AND ACQUISITION SYSTEM FOR IMPLEMENTING SAID METHOD
US6330356B1 (en) * 1999-09-29 2001-12-11 Rockwell Science Center Llc Dynamic visual registration of a 3-D object with a graphical model
CA2473713A1 (en) * 2002-01-15 2003-07-24 Information Decision Technologies Llc Method and system to display both visible and invisible hazards and hazard information
DE10345743A1 (en) * 2003-10-01 2005-05-04 Kuka Roboter Gmbh Method and device for determining the position and orientation of an image receiving device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5745387A (en) * 1995-09-28 1998-04-28 General Electric Company Augmented reality maintenance system employing manipulator arm with archive and comparison device
WO2000052539A1 (en) 1999-03-02 2000-09-08 Siemens Aktiengesellschaft Augmented reality system for situation-related support for interaction between a user and a technical device
WO2003050626A1 (en) 2001-12-05 2003-06-19 Siemens Aktiengesellschaft System and method for establishing a documentation of working processes for display in an augmented reality system
US20030179308A1 (en) 2002-03-19 2003-09-25 Lucia Zamorano Augmented tracking using video, computed data and/or sensing technologies

Also Published As

Publication number Publication date
DE102005011616B4 (en) 2014-12-04
EP1749248A1 (en) 2007-02-07
DE102005011616A1 (en) 2005-12-29

Similar Documents

Publication Publication Date Title
DE102015015503B4 (en) Robotic system having an augmented reality compatible display
EP2176833B1 (en) Method and system for determining the position and orientation of a camera relative to a real object
DE19513930B4 (en) endoscopy device
DE3211029C2 (en) Probe holder for an ultrasonic diagnostic probe
DE112013003584T5 (en) Portable articulated arm coordinate measuring machine with optical communication bus
DE102013110580A1 (en) Method for optically scanning and measuring a scene
EP1761759A1 (en) Method for controlling a pipe inspection system and for evaluating the inspection data
DE112016002057T5 (en) THREE-DIMENSIONAL MEASURING DEVICE SOLVIBLY COUPLED WITH A ROBOT ARM ON A MOTORIZED MOBILE PLATFORM
DE102007039788A1 (en) detector
DE2948573A1 (en) Contactless measurement of vehicle wheel and steering geometry - uses electronic evaluation of elliptical video images of wheels
EP1047014A2 (en) Method and input device for controlling the position of a graphically displayed object in a virtual reality space
WO2015082683A2 (en) Device and method for measuring workpieces
DE112012005524T5 (en) Method and apparatus for using gestures to control a laser tracker
DE112011100309T5 (en) Portable articulated arm coordinate measuring machine with removable accessories
DE102006046689A1 (en) Medical technical treatment system
DE112013002892T5 (en) Coordinate measuring machines with removable accessories
WO2010012441A1 (en) X-ray image recording system and x-ray image recording method for recording image data using x-ray devices for volume reconstruction
EP0481278A1 (en) Method and measuring device for locating points in space
DE102011119012A1 (en) Coordinate measuring system for e.g. desk for determining coordinates of surface points of workpiece, has data processing device determining coordinates of position change data, and transmitter for transmitting data to processing device
EP2551698B1 (en) Endoscopic instrument
EP0884574B1 (en) Device and procedure for testing tyres
EP1639337B1 (en) Dolly
DE102005011616B4 (en) Mobile tracking unit
DE102022202563B3 (en) Planning a trajectory of a robot
EP3716211A1 (en) Method, device, server and system for calibrating at least one camera of a driver assistance system

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KM KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2005750870

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2005750870

Country of ref document: EP