DE102011078405B4 - Method for endoscopy with magnetically guided endoscope capsule and device therefor - Google Patents

Method for endoscopy with magnetically guided endoscope capsule and device therefor Download PDF

Info

Publication number
DE102011078405B4
DE102011078405B4 DE102011078405A DE102011078405A DE102011078405B4 DE 102011078405 B4 DE102011078405 B4 DE 102011078405B4 DE 102011078405 A DE102011078405 A DE 102011078405A DE 102011078405 A DE102011078405 A DE 102011078405A DE 102011078405 B4 DE102011078405 B4 DE 102011078405B4
Authority
DE
Germany
Prior art keywords
stomach
endoscope capsule
image
model
capsule
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE102011078405A
Other languages
German (de)
Other versions
DE102011078405A1 (en
Inventor
Karl Barth
Rainer Kuth
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Priority to DE102011078405A priority Critical patent/DE102011078405B4/en
Priority to PCT/EP2012/062182 priority patent/WO2013000845A1/en
Publication of DE102011078405A1 publication Critical patent/DE102011078405A1/en
Application granted granted Critical
Publication of DE102011078405B4 publication Critical patent/DE102011078405B4/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041Capsule endoscopes for imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147Holding or positioning arrangements
    • A61B1/00158Holding or positioning arrangements using magnetic field
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70Manipulators specially adapted for use in surgery
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70Manipulators specially adapted for use in surgery
    • A61B34/73Manipulators for magnetic surgery
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/105Modelling of the patient, e.g. for ligaments or bones
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis

Abstract

Bei einem Verfahren und einer Einrichtung zur endoskopischen Untersuchung des Magens (62) eines Patienten (P) mit einer mit einem externen Magnetsystem (4) geführten, in den Magen (62) eingebrachten Endoskopkapsel (2), die mit Positionsmarken (60) versehen ist, mit denen die Position und Orientierung der Endoskopkapsel (20) im Magen (62) mit einer außerhalb des Patienten (P) angeordneten Positionserfassungseinrichtung (36) erfasst werden, werden eine Vielzahl von Einzelbildern aus dem Inneren des Magens (62) aufgenommen. Hierzu werden in einem ersten Zeitabschnitt nach Erreichen des Magens nacheinander eine Mehrzahl voneinander verschiedener anatomisch signifikanter Positionen (A–G) an der Innenwand des Magens (62) automatisch oder mit einem von einem Bediener geführten Eingabegerät (34) angefahren. Die zu diesen Positionen an der Innenwand jeweils gehörenden Positionsdaten werden mit der Positionserfassungseinrichtung (36) erfasst und gespeichert, und mit den Positionsdaten wird ein anatomisches Ausgangsmodell (64) eines Magens skaliert und ein an die tatsächliche Form des Magens (62) angepasstes Magenmodell erzeugt, wobei das auf diese Weise erzeugte Magenmodell zur Steuerung der Endoskopkapsel (20) herangezogen wird.In a method and a device for endoscopic examination of the stomach (62) of a patient (P) with an external magnetic system (4) guided, in the stomach (62) introduced endoscope capsule (2), which is provided with position marks (60) with which the position and orientation of the endoscope capsule (20) in the stomach (62) are detected with a position detection device (36) arranged outside the patient (P), a plurality of individual images are taken from the interior of the stomach (62). For this purpose, a plurality of mutually different anatomically significant positions (A-G) on the inner wall of the stomach (62) are approached automatically or with an input device (34) guided by an operator in a first time interval after reaching the stomach. The position data corresponding to these positions on the inner wall are detected and stored with the position detection device (36), and the position data are used to scale an anatomical initial model (64) of a stomach and to produce a stomach model adapted to the actual shape of the stomach (62). wherein the stomach model generated in this way is used to control the endoscope capsule (20).

Description

Die Erfindung bezieht sich auf ein Verfahren und eine Einrichtung zur endoskopischen Untersuchung des Magens eines Patienten mit einer mit einem externen Magnetsystem geführten, in den Magen eingebrachten Endoskopkapsel.The invention relates to a method and a device for endoscopic examination of the stomach of a patient with a guided with an external magnet system, introduced into the stomach endoscope capsule.

Zur endoskopischen Untersuchung der Innenoberfläche des Magens eines Patienten ist es beispielsweise aus der DE 101 42 253 C1 bekannt, in den mit einer Flüssigkeit gefüllten Magen eine Endoskopkapsel einzubringen, die ohne feste Verbindung nach außen im Magen durch externe, von einem den Patienten umgebenden Magnetsystem erzeugte Magnetfelder frei auf und innerhalb der Flüssigkeit manövrierbar ist und mit einer in ihr angeordneten Videokamera Bilder aus dem Inneren des Magens aufnimmt.For endoscopic examination of the inner surface of the stomach of a patient, it is for example from the DE 101 42 253 C1 it is known to introduce into the filled with a stomach stomach an endoscope capsule, which can be maneuvered freely on and within the liquid without fixed connection to the outside in the stomach by external, generated by a magnetic system surrounding the patient magnetic fields and with a video camera arranged in her pictures from the Inside of the stomach.

Bei einer solchen magnetgeführten Kapselendoskopie erfolgt die Steuerung der Endoskopkapsel mit Hilfe von manuell betätigten Eingabegeräten, beispielsweise einem Joystick oder einer Rollkugel, ausschließlich auf der Grundlage der von der Endoskopkapsel übermittelten, in kurzen Zeitabständen aufeinanderfolgenden Videobilder, die der die Diagnose durchführende Arzt. außerdem hinsichtlich gegebenenfalls vorhandener diagnostisch relevanter Bildinhalte verarbeiten muss. Aufgrund der freien Beweglichkeit der Endoskopkapsel ist es jedoch für den untersuchenden Arzt schwierig, lückenlos die gesamte Innenwand des Magens zu erfassen, sodass das Risiko besteht, dass diagnostisch relevante Bereiche und Details übersehen werden können.In such a magnet-guided capsule endoscopy, the control of the endoscope capsule by means of manually operated input devices, such as a joystick or a trackball, based solely on the transmitted from the endoscope capsule, in short time intervals consecutive video images, the doctor performing the diagnosis. must also process with regard to possibly existing diagnostically relevant image content. However, due to the free mobility of the endoscope capsule, it is difficult for the examining physician to fully capture the entire inner wall of the stomach, so there is a risk that diagnostically relevant areas and details may be overlooked.

Aus der DE 10 2005 032 579 A1 ist ein Verfahren zur 3D-Rekonstruktion von Bildern bekannt, die von einem miniaturisierten medizinischen Gerät aufgenommen werden, bei dem es sich insbesondere um eine Endoskopkapsel handelt, bei dem durch Segmentierung einer anatomischen Landmarke und durch Aufnahme von Bildern aus unterschiedlichen Positionen, die diese Landmarke enthalten, durch Ermittlung der bei der Aufnahme der Bilder jeweils eingenommenen Position der Endoskopkapsel mit Hilfe eines Positionserfassungssystems ein 3D-Modell der inneren Organwand erstellt wird.From the DE 10 2005 032 579 A1 For example, there is known a method of 3D reconstruction of images taken by a miniaturized medical device, in particular an endoscope capsule, by segmentation of an anatomical landmark and by acquisition of images from different positions containing that landmark in that a 3D model of the inner organ wall is created by ascertaining the position of the endoscope capsule respectively taken when taking the images with the aid of a position detection system.

Aus der DE 10 2009 011 831 ist ein Verfahren und eine Vorrichtung zur Navigation einer Endoskopkapsel bekannt, bei dem die Endoskopkapsel automatisch derart gesteuert wird, dass die Position eines im Bild identifizierten Strukturmerkmals unverändert bleibt, während der Abbildungsmaßstab gezielt vergrößert oder verkleinert wird.From the DE 10 2009 011 831 For example, a method and a device for navigating an endoscope capsule is known, in which the endoscope capsule is automatically controlled in such a way that the position of a structure feature identified in the image remains unchanged, while the magnification is purposefully increased or decreased.

Ein Verfahren zum Segmentieren einer anatomischen Struktur in einem digitalen Bild ist auch in der US 2011/0026785 A1 beschrieben.A method for segmenting an anatomical structure in a digital image is also in US 2011/0026785 A1 described.

Aus der US 2010/0249507 A1 ist ein Verfahren zum Führen eines Endoskops bekannt, bei dem die Spitze des Endoskops auf ein oder mehrere Strukturmerkmale (landmarks) gesteuert werden kann.From the US 2010/0249507 A1 For example, a method for guiding an endoscope is known in which the tip of the endoscope can be controlled to one or more landmarks.

In der US 2010/0307517 A1 ist ein Steuersystem für eine magnetgeführte Endoskopkapsel offenbart, bei dem mit Hilfe eines Detektors die Richtung der Endoskopkapsel erfasst wird, auf deren Grundlage eine Steuerung des Magnetfeldes erfolgt, um die Endoskopkapsel in eine vorgegebene Richtung zu steuern.In the US 2010/0307517 A1 discloses a control system for a magnetic-guided endoscope capsule, in which the direction of the endoscope capsule is detected by means of a detector, based on which a control of the magnetic field takes place in order to control the endoscope capsule in a predetermined direction.

Der Erfindung liegt deshalb die Aufgabe zugrunde, ein Verfahren zur endoskopischen Untersuchung des Magens eines Patienten mit einer von einem externen Magnetsystem geführten, in den Magen eingebrachten Endoskopkapsel anzugeben, bei dem die Steuerung der Endoskopkapsel für den Bediener erleichtert ist. Außerdem liegt der Erfindung die Aufgabe zugrunde, eine nach diesem Verfahren arbeitende Einrichtung anzugeben.The invention is therefore an object of the invention to provide a method for endoscopic examination of the stomach of a patient with a guided by an external magnet system, introduced into the stomach endoscope capsule, in which the control of the endoscope capsule for the operator is facilitated. In addition, the invention has for its object to provide a working device according to this method.

Hinsichtlich des Verfahrens wird die genannte Aufgabe gemäß der Erfindung mit den Merkmalen des Patentanspruches 1 gelöst. Gemäß diesen Merkmalen wird das Verfahren mit einer Endoskopkapsel durchgeführt, die mit Positionsmarken versehen ist, mit denen die Position und Orientierung der Endoskopkapsel im Magen mit einer außerhalb des Patienten angeordneten Positionserfassungseinrichtung erfasst werden, und mit der eine Vielzahl von Einzelbildern aus dem Inneren des Magens aufgenommen werden, und umfasst die folgenden Schritte:

  • a) In einem ersten Zeitabschnitt nach Erreichen des Magens werden nacheinander eine Mehrzahl voneinander verschiedener anatomisch signifikanter Positionen an der Innenwand des Magens automatisch oder mit einem von einem Bediener geführten Eingabegerät angefahren,
  • b) die zu diesen Positionen an der Innenwand jeweils gehörenden Positionsdaten werden mit der Positionserfassungseinrichtung erfasst und gespeichert,
  • c) mit den Positionsdaten wird ein anatomisches Ausgangsmodell eines Magens skaliert und ein an die tatsächliche Form des Magens angepasstes Magenmodell erzeugt,
  • d) das auf diese Weise erzeugte Magenmodell wird zur Steuerung der Endoskopkapsel herangezogen.
With regard to the method, the object is achieved according to the invention with the features of claim 1. According to these features, the method is carried out with an endoscope capsule provided with position marks, with which the position and orientation of the endoscope capsule in the stomach are detected with a position detection device arranged outside the patient, and with which a plurality of individual images are taken from the inside of the stomach and includes the following steps:
  • a) In a first time interval after reaching the stomach, a plurality of mutually different anatomically significant positions on the inner wall of the stomach are approached one after the other automatically or with an input device guided by an operator,
  • b) the position data belonging to these positions on the inner wall are detected and stored by the position detection device,
  • c) the position data is used to scale an initial anatomical model of a stomach and to produce a stomach model adapted to the actual shape of the stomach,
  • d) the stomach model generated in this way is used to control the endoscope capsule.

Durch diese Vorgehensweise sind die Abmessungen des Magens und seine Lage im Bezugssystem der Positionserfassungseinrichtung und damit auch des Magnetsystems zumindest annähernd bekannt, so dass der Bediener auf der Grundlage der von der Positionserfassungseinrichtung übermittelten Positionsinformation stets die aktuelle Orientierung und Position der Endoskopkapsel innerhalb des Magens kennt. Auf diese Weise ist ihm die gezielte Steuerung der Endoskopkapsel zur lückenlosen Abbildung der gesamten Innenwand des Magens erleichtert.As a result of this procedure, the dimensions of the stomach and its position in the reference system of the position detection device and thus also of the magnet system are at least approximately known, so that the operator always uses the current position information on the basis of the position information transmitted by the position detection device Orientation and position of the endoscope capsule within the stomach knows. In this way, he is the targeted control of the endoscope capsule for gapless imaging of the entire inner wall of the stomach easier.

Das Erreichen einer Position an der Innenwand wird vorzugsweise automatisch dadurch erkannt, dass bei Ausüben einer vom Magnetsystem auf die Endoskopkapsel wirkenden Kraft eine Bewegung der Endoskopkapsel entweder unterbleibt oder eine erfolgende Bewegung eine von der Richtung des Kraftvektors abweichende Richtung aufweist. Dabei ist die Richtung des Kraftvektors durch die an das Magnetsystem übermittelten, vom Bediener über ein Eingabegerät eingegebenen Steuerbefehle bekannt und ein Erreichen der Wandfläche, d. h. ein Stillstand oder eine vom Kraftvektor abweichende Richtung einer Bewegung der Endoskopkapsel, wird über die Positionserfassungseinrichtung festgestellt. Grundsätzlich können zusätzlich auch Bildinformationen aufeinanderfolgender Einzelbilder herangezogen werden. So kann ein Ruhen der Endoskopkapsel festgestellt werden, wenn sich der Bildinhalt aufeinanderfolgender Einzelbilder nicht oder nur unwesentlich ändert.Achieving a position on the inner wall is preferably automatically recognized by the fact that when exerting a force acting on the endoscope capsule by the magnet system, a movement of the endoscope capsule is either omitted or a successful movement has a deviating from the direction of the force vector direction. In this case, the direction of the force vector is known by the control commands transmitted to the magnet system and input by the operator via an input device, and reaching the wall surface, ie. H. a stoppage or deviating from the force vector direction of movement of the endoscope capsule is detected by the position detection device. In principle, image information of successive individual images can additionally be used. Thus, a resting of the endoscope capsule can be determined if the image content of successive individual images does not change or only insignificantly.

Um möglichst schnell ein realistisches Magenmodell erstellen zu können, ist es von Vorteil, wenn das vorzugsweise als Gittermodell vorliegende Ausgangsmodell unter Berücksichtigung der anatomischen Gegebenheiten des Patienten, beispielsweise Geschlecht, Größe und Gewicht, aus einer Modellbibliothek ausgewählt oder rechnerisch erzeugt wird.In order to be able to produce a realistic stomach model as quickly as possible, it is advantageous if the initial model, which is present as a grid model, is selected from a model library or computationally generated, taking into account the anatomical conditions of the patient, for example gender, height and weight.

Ein solches Ausgangsmodell kann grundsätzlich aus einer dreidimensionalen Wiedergabe der Form des Magens bestehen, dessen Wandfläche keine Oberflächenstrukturen aufweist. Wenn außerdem jedem Ausgangsmodell ein Bildatlas zugeordnet ist, der beispielsweise aus standardisierten endoskopischen Einzelbildern aufgebaut ist, die typische Strukturen wiedergeben kann zu jeder Position und Orientierung, d. h. Ausrichtung der Systemachse der Endoskopkapsel im Magen ein dem von der Endoskopkapsel aufgenommenen „realen” Einzelbild entsprechender, aus standardisierten Einzelbildern zusammengesetzter Bildausschnitt aus dem Bildatlas zugeordnet werden, so dass das gezielte Anfahren bestimmter anatomischer Positionen an der Magenwand erleichtert ist. Hierzu kann es insbesondere für Endoskopkapseln, bei denen systembedingt eine Rollbewegung um die optische Achse der Videokamera nicht möglich ist, erforderlich sein, das aufgenommene Einzelbild oder den Bildausschnitt aus dem Bildatlas relativ zueinander in der Bildebene zu drehen, bis Einzelbild und Bildausschnitt maximal übereinstimmen.Such an initial model can in principle consist of a three-dimensional representation of the shape of the stomach whose wall surface has no surface structures. In addition, if each output model is associated with a picture atlas constructed, for example, from standardized endoscopic frames that can reproduce typical structures at any position and orientation, i. H. Orientation of the system axis of the endoscope capsule in the stomach to a "real" single image taken by the endoscope capsule corresponding, composed of standardized frames image detail from the Bildatlas be assigned, so that the targeted approach certain anatomical positions on the stomach wall is facilitated. For this purpose, it may be necessary, in particular for endoscope capsules in which a rolling motion about the optical axis of the video camera is not possible due to the system, to rotate the recorded individual image or the image detail from the image atlas relative to one another in the image plane until the maximum match of the individual image and image detail.

Außerdem können die aufgenommenen Einzelbilder auf einfache Weise ortsrichtig der jeweiligen Wandfläche des Magens zugeordnet werden, so dass ein in der Regel zumindest in einer ersten Phase seines Aufbaus lückenbehafteter Bildteppich entsteht und der Bediener dementsprechend vorhandene Lücken gezielt anfahren und erfassen kann, um auf diese Weise ein geschlossenes, d. h. vollständiges Gesamtbild der Innenwand des Magens zu erhalten.In addition, the recorded individual images can be assigned to the respective wall surface of the stomach in a straightforward manner so that a tapestry, which is usually filled at least in a first phase of its construction, is created and the operator can accordingly approach and detect existing gaps in order to enter in this way closed, d. H. To get a complete picture of the inner wall of the stomach.

Auf diese Weise können in einer besonders bevorzugten Ausgestaltung des Verfahrens die von der Endoskopkapsel aufgenommenen Einzelbilder unter Zuhilfenahme der bei der Aufnahme jeweils vorliegenden Positionsinformationen auf das angepasste Magenmodell abgebildet werden und zu einem dreidimensionalen Bild zusammengefügt werden.In this way, in a particularly preferred embodiment of the method, the individual images taken by the endoscope capsule can be imaged onto the adapted stomach model with the aid of the position information which is present during the recording and combined to form a three-dimensional image.

Insbesondere werden ein aus dem Bildatlas aufgebautes dreidimensionales Modellbild und das dreidimensionale Bild überlagert und optisch voneinander unterscheidbar angezeigt.In particular, a three-dimensional model image constructed from the image atlas and the three-dimensional image are superimposed and optically distinguishable from one another.

In einer weiteren vorteilhaften Fortbildung des Verfahrens wird im dreidimensionalen Bild ein zentraler Grundpfad definiert, entlang dem die Endoskopkapsel mit senkrecht zur Organwand orientierter optischer Achse unter gleichzeitiger Drehbewegung der optischen Achse um den Grundpfad verfahren wird, wobei während der Fahrt Einzelbilder aufgenommen werden.In a further advantageous embodiment of the method, a central basic path is defined in the three-dimensional image, along which the endoscope capsule is moved with the optical axis oriented perpendicular to the organ wall with simultaneous rotational movement of the optical axis around the basic path, individual images being taken during the drive.

Alternativ hierzu können auch Punkte entlang eines zentralen Grundpfads festgelegt werden, die mit der Endoskopkapsel angefahren werden und an denen die Endoskopkapsel angehalten und mit ihrer optischen Achse senkrecht zur Organwand ausgerichtet um den Grundpfad gedreht wird, wobei während der Drehbewegung Einzelbilder aufgenommen werden und der gegenseitige Abstand der Punkte derart gewählt ist, dass die an benachbarten Punkten von der Organwand erzeugt erzeugten Einzelbilder zumindest aneinander grenzen.Alternatively, points along a central ground path can be set, which are approached with the endoscope capsule and where the endoscope capsule is stopped and rotated with its optical axis perpendicular to the organ wall aligned around the base path, wherein during the rotation of individual images are taken and the mutual distance the points are selected such that the individual images generated at adjacent points generated by the organ wall at least adjoin one another.

Wenn die Steuerung der Endoskopkapsel mit einem haptisch rückgekoppelten Eingabegerät erfolgt, bei dem einem Bediener durch unmittelbar vom Betätigungselement während des Betätigens auf das Betätigungsorgan des Bedieners ausgeübte Reize eine Annäherung oder zumindest ein Anstoßen an die Organwand signalisiert wird, ist die Bedienung erleichtert, da der Bediener zusätzlich zur Bildinformation eine intuitive mechanische Information darüber enthält, ob und in welchem Ausmaß die beabsichtige Bewegung möglich ist.If the control of the endoscope capsule with a haptic feedback input device in which an operator is signaled by directly applied by the actuator during actuation on the actuator of the operator an approach or at least a bumping to the organ wall, the operation is facilitated as the operator In addition to image information, it contains intuitive mechanical information as to whether and to what extent the intended movement is possible.

Hinsichtlich der Einrichtung wird die Aufgabe gemäß der Erfindung mit den Merkmalen des Patentanspruches 12 gelöst, die sinngemäß den in Patentanspruch 1 genannten Merkmalen entsprechen. Vorteilhafte Ausgestaltungen der Einrichtung sind in den auf Patentanspruch 12 zurückbezogenen Unteransprüchen angegeben. Die Vorteile dieser Ausgestaltungen entsprechen dabei den zu den entsprechenden Verfahrensansprüchen angegebenen Vorteilen.With regard to the device, the object is achieved according to the invention with the features of claim 12, corresponding mutatis mutandis to the features mentioned in claim 1. Advantageous embodiments of the device are specified in the dependent on claim 12 dependent claims. The advantages of these embodiments correspond to the advantages given for the corresponding method claims.

Zur näheren Erläuterung der Erfindung wird auf die in den Figuren dargestellten Ausführungsbeispiele verwiesen. Es zeigen:For a more detailed explanation of the invention, reference is made to the exemplary embodiments illustrated in the figures. Show it:

1 eine Einrichtung gemäß der Erfindung in einem schematischen Prinzipbild, 1 a device according to the invention in a schematic schematic diagram,

2 eine schematische Darstellung eines zur Steuerung der Endoskopkapsel bevorzugt verwendeten Eingabegerätes, 2 a schematic representation of an input device preferably used for controlling the endoscope capsule,

3 und 4 unterschiedliche Ausführungsformen einer bei der Durchführung des erfindungsgemäßen Verfahrens verwendeten Endoskopkapsel, 3 and 4 different embodiments of an endoscope capsule used in carrying out the method according to the invention,

5 einen dreidimensional veranschaulichten Magen, in dem sich eine Endoskopkapsel in unterschiedlichen Positionen bei der Kalibrierung befindet, 5 a three-dimensionally illustrated stomach in which an endoscope capsule is in different positions during calibration,

6 ein aus einem polygonisierten geschlossenen Netz gebildetes Ausgangsmodell eines Magens ebenfalls in einer dreidimensionalen Darstellung, 6 a basic model of a stomach formed from a polygonal closed net also in a three-dimensional representation,

7 das auf eine Ebene projizierte Netz des Magens mit diesem bei der Kalibrierung in unterschiedlichen Positionen überlagerten realen Einzelbildern, 7 the net of the stomach projected on a plane with this real individual images superimposed on the calibration in different positions,

8 einen in den Magen gelegten Grundpfad, entlang dem sich die Endoskopkapseln zum Erzeugen eines vollständigen Abbildes der Innenwand des Magens bewegt. 8th a basal path placed in the stomach along which the endoscope capsules move to produce a complete image of the interior wall of the stomach.

1 zeigt eine Einrichtung zum Durchführen der erfindungsgemäßen kapselendoskopischen Untersuchung der Speiseröhre. Ein auf einer Patientenliege 2 positionierter, schematisch angedeuteter Patient P befindet sich mit seinem zu untersuchenden Körperbereich, im Beispiel der den Magen enthaltende Körperbereich, innerhalb eines Magnetsystems 4, wie es beispielsweise aus der DE 10 2008 004 871 A1 bekannt ist. Der Patient P ist dabei von vier sogenannten Sattelspulen 6a–d umgeben, die auf einem Zylindermantel angeordnet sind und jeweils paarweise einander gegenüber liegen, so dass sie wie Helmholtz-Spulenpaare wirken und am Ort des Patienten P annähernd homogene Magnetfelder erzeugen können, die senkrecht zueinander und senkrecht zur Längsachse des Patienten P bzw. parallel zu dessen Transversal- und Medianebene verlaufen. An den Stirnseiten des vom Zylindermantel gebildeten Zylinders ist jeweils eine Ringspule 8a bzw. b angeordnet, mit denen ein homogenes Magnetfeld parallel zur Mittellängsachse des Zylinders erzeugt werden kann, das unabhängig davon, ob sich der Patient P in Rücken-, Seiten- oder Bauchlage befindet, etwa parallel zur Längsrichtung der Speiseröhre orientiert ist. Sattelspulen 6a–d und Ringspulen 8a, b legen einen Arbeitsraum 10 fest, der den zu untersuchenden Körperbereich, im Anwendungsfall den Magen des Patienten P aufnimmt. 1 shows a device for performing the inventive capsule endoscopic examination of the esophagus. One on a patient bed 2 positioned, schematically indicated patient P is located with his body to be examined, in the example of the stomach-containing body area, within a magnet system 4 as it for example from the DE 10 2008 004 871 A1 is known. The patient P is of four so-called saddle coils 6a -D, which are arranged on a cylinder jacket and each lie in pairs opposite each other, so that they act as Helmholtz coil pairs and can generate approximately homogeneous magnetic fields at the patient P position perpendicular to each other and perpendicular to the longitudinal axis of the patient P or parallel extend to the transverse and median plane. At the end faces of the cylinder formed by the cylinder jacket is in each case a toroidal coil 8a or b arranged, with which a homogeneous magnetic field can be generated parallel to the central longitudinal axis of the cylinder, which is independent of whether the patient P is in back, side or prone position, approximately parallel to the longitudinal direction of the esophagus. saddle coils 6a -D and ring coils 8a , b lay a workroom 10 solid, which receives the area of the body to be examined, in the case of use the stomach of the patient P.

Die aus den Spulen 6a–d und 8a, b gebildete innere Spulenanordnung ist außerdem noch von Flächenspulen 12a–d umgeben, mit denen gemeinsam mit den innenliegenden Spulen 6a–d und 8a, b die zur Navigation einer im Magen des Patienten P befindlichen Endoskopkapsel 20 erforderlichen magnetischen Gradientenfelder erzeugt werden können.The from the coils 6a -D and 8a b formed inner coil assembly is also still of surface coils 12a -D surrounded with those together with the internal coils 6a -D and 8a , b for the navigation of an endoscope capsule located in the stomach of the patient P. 20 required magnetic gradient fields can be generated.

Die Spulen 6a–d, 8a, b und 12a–d werden über Steuersignale S von einer Steuer- und Auswerteeinheit 30 angesteuert, die durch Befehle generiert werden, die von einer Bedienperson im dargestellten Ausführungsbeispiel durch eine Tastatur 32 bzw. ein schematisch in Form eines Joysticks veranschaulichtes Eingabegerät 34 eingegeben werden können. Bei dem Eingabegerät 34 handelt es sich vorzugsweise um ein 3D-Eingabegerät mit einer haptischen Rückkopplung, bei dem auf das Betätigungsorgan des Bedieners – Finger oder Hand – ausgeübte Reize eine Annäherung oder zumindest ein Anstoßen der Endoskopkapsel 20 an die Organwand signalisiert. Diese haptischen Signale bestehen beispielsweise in einem die Bedienung eines Betätigungselementes des Eingabegerätes 34 – im dargestellten Beispiel der „eigentliche” Bedienhebel des Joysticks – erschwerenden mechanischen Widerstand, wenn sich die Endoskopkapsel 20 innerhalb eines vorgegebenen Abstandes von der Innenwand des Magens befindet oder bereits an diese anstößt und der Bediener beim Betätigen des Eingabegerätes 34 eine zur Innenwand gerichtete Bewegung herbeiführen will.The spools 6a -d, 8a , Federation 12a -D be via control signals S from a control and evaluation 30 controlled by commands generated by an operator in the illustrated embodiment by a keyboard 32 or an input device schematically illustrated in the form of a joystick 34 can be entered. At the input device 34 it is preferably a 3D input device with a haptic feedback, in which on the actuator of the operator - finger or hand - exerted stimuli approach or at least a bumping the endoscope capsule 20 signaled to the organ wall. These haptic signals consist, for example, in the operation of an actuating element of the input device 34 - In the example shown, the "actual" control lever of the joystick - aggravating mechanical resistance when the endoscope capsule 20 is within a predetermined distance from the inner wall of the stomach or already abuts on this and the operator when operating the input device 34 wants to bring about a directed to the inner wall movement.

Die Position und Orientierung der Endoskopkapsel 20 im Raum wird mit einem beispielsweise elektromagnetischen Positionserfassungseinrichtung 36 erfasst, das die ermittelten Positionsdaten X, bei denen es sich entsprechend der 6 Freiheitsgrade um Ortskoordinaten in einem beispielsweise durch das Magnetsystem 4 definierten ortsfesten Bezugssystem ergänzt um drei Winkel handelt, mit denen die Ausrichtung einer Systemachse der Endoskopkapsel 20 bzw. der optischen Achse einer in der Endoskopkapsel 20 befindlichen Videokamera angegeben wird, an die Steuer- und Auswerteeinrichtung 30 weiterleitet.The position and orientation of the endoscope capsule 20 in the room is with an example electromagnetic position detection device 36 detects that the determined position data X, in which it corresponds to the 6 Degrees of freedom around spatial coordinates in, for example, the magnet system 4 defined stationary reference system supplemented by three angles, with which the alignment of a system axis of the endoscope capsule 20 or the optical axis of a in the endoscope capsule 20 video camera is specified, to the control and evaluation 30 forwards.

Die von der Endoskopkapsel 20 aufgenommenen Einzelbilder werden vorzugsweise per Funk an die Steuer- und Auswerteeinrichtung 30 übertragen und auf einem Monitor 36 wiedergegeben. In der Steuer- und Auswerteeinrichtung 30 ist außerdem eine Software implementiert, mit deren Hilfe die nachfolgend erläuterten Verfahren durchgeführt werden.The of the endoscope capsule 20 recorded individual images are preferably by radio to the control and evaluation 30 transferred and on a monitor 36 played. In the control and evaluation device 30 In addition, a software is implemented, with the help of which the following explained procedures are carried out.

2 zeigt ein Ausführungsbeispiel eines 3D-Eingabegerätes 34 in Form eines mehrgelenkigen Bedienhebels 40. Der Bedienhebel 40 ist drehbar um mindestens eine Vertikalachse 41 und schwenkbar um eine Horizontalachse 42 auf einem Sockel 43 gelagert. In den Kardangelenken 44 befinden sich Sensoren, mit denen die relative Lage der Gelenkarme 45 des Bedienhebels 40 bezogen auf den Sockel 43 an die Steuer- und Auswerteeinrichtung 30 übermittelt wird. Zusätzlich enthalten die Gelenke 44 Bremseinrichtungen für die haptische Rückkopplung. Ein zum Greifen des Bedieners vorgesehener Knauf 46 kann die Form der Endoskopkapsel aufweisen, so dass der Bediener die Endoskopkapsel so steuern kann, als wenn er sie unmittelbar in der Hand hätte. 2 shows an embodiment of a 3D input device 34 in the form of a multi-joint control lever 40 , The operating lever 40 is rotatable about at least one vertical axis 41 and pivotable about a horizontal axis 42 on a pedestal 43 stored. In the universal joints 44 There are sensors with which the relative position of the articulated arms 45 of the operating lever 40 based on the pedestal 43 to the control and evaluation device 30 is transmitted. In addition, the joints contain 44 Braking devices for haptic feedback. An intended for gripping the operator knob 46 may have the shape of the endoscope capsule, so that the operator can control the endoscope capsule as if he had them directly in the hand.

3 und 4 zeigen schematisch gebräuchliche Ausführungsformen von Endoskopkapseln. In 3 ist eine Endoskopkapsel 20 vorgesehen, die annähernd die Gestalt eines Ellipsoids hat und in der ein Permanentmagnet 50 mit seiner magnetischen Achse auf der Systemachse 52 (die lange Achse des Ellipsoids) angeordnet ist. Auf diese Systemachse 52 sind an gegenüberliegenden Stirnseiten der Endoskopkapsel 20 Videokameras 54 angeordnet, deren optische Achsen 55 mit der Systemachse 52 zusammenfallen. In der Figur ist außerdem gestrichelt das jeweilige Bildfeld 56 der Videokameras 54 eingezeichnet. Systembedingt kann mit der in 3 dargestellten Endoskopkapsel 20 keine Rollbewegung 56 um die Systemachse 52 durchgeführt werden. Daher ergibt sich bei Verwendung einer solchen Endoskopkapsel 20 die Notwendigkeit, die jeweils aufgenommenen Einzelbilder gegebenenfalls in der Bildebene zu drehen, um diese korrekt zu einem Gesamtbild zusammensetzen zu können. An bzw. in der Endoskopkapsel 20 sind außerdem schematisch angedeutete Positionsmarken 60 angeordnet, mit denen die Lage und räumliche Orientierung der Endoskopkapsel 20 durch die externe Positionserfassungseinrichtung registriert werden können. Alternativ hierzu können die Positionsmarken 60 auch als Sensoren mit aktiver Elektronik ausgestaltet sein, die beispielsweise die Position in einem beispielsweise zusätzlich von außen angelegten, gepulsten Magnetfeld elektromagnetisch erfassen. Als Positionsmarken 60 können auch aktive beispielsweise elektromagnetische Sender verwendet werden, deren Signale von einer externen Empfangseinheit erfasst und zur Positionsbestimmung verwendet werden. 3 and 4 show schematically conventional embodiments of endoscope capsules. In 3 is an endoscope capsule 20 provided, which has approximately the shape of an ellipsoid and in which a permanent magnet 50 with its magnetic axis on the system axis 52 (the long axis of the ellipsoid) is arranged. On this system axis 52 are on opposite ends of the endoscope capsule 20 video cameras 54 arranged, their optical axes 55 with the system axis 52 coincide. In the figure is also dashed the respective image field 56 the video cameras 54 located. Due to the system, the in 3 illustrated endoscope capsule 20 no rolling motion 56 around the system axis 52 be performed. Therefore, results when using such Endoskopkapsel 20 the need to rotate the captured individual images, if necessary, in the image plane in order to be able to correctly assemble them into a complete picture. At or in the endoscope capsule 20 are also schematically indicated position marks 60 arranged with which the location and spatial orientation of the endoscope capsule 20 can be registered by the external position detection device. Alternatively, the position marks 60 can also be configured as sensors with active electronics that detect, for example, the position in an electromagnetic, for example, additionally applied from outside, pulsed magnetic field. As position marks 60 It is also possible to use active transmitters, for example electromagnetic transmitters, whose signals are detected by an external receiving unit and used for position determination.

Eine alternative Ausführungsform einer Endoskopkapsel 20 zeigt 4. In diesem Ausführungsbeispiel hat die Endoskopkapsel 20 die Gestalt einer Kugel, wobei die Videokameras 54 in diesem Ausführungsbeispiel nicht auf der magnetischen Achse des Stabmagneten 50 angeordnet sind. Im dargestellten Ausführungsbeispiel sind die optischen Achsen 55 der Videokameras 54 senkrecht zur durch die magnetische Achse definierten Systemachse 52 orientiert. In diesem Ausführungsbeispiel kann in jeder Lage der Systemachse 52 eine Rollbewegung der Endoskopkapsel 20 um die optische Achse 55 durchgeführt werden, so dass eine korrekte Drehorientierung der Einzelbilder durch Drehung der Endoskopkapsel 20 herbeigeführt werden kann.An alternative embodiment of an endoscope capsule 20 shows 4 , In this embodiment, the endoscope capsule 20 the shape of a sphere, with the video cameras 54 not on the magnetic axis of the bar magnet in this embodiment 50 are arranged. In the illustrated embodiment, the optical axes 55 the video cameras 54 perpendicular to the system axis defined by the magnetic axis 52 oriented. In this embodiment, in any position of the system axis 52 a rolling movement of the endoscope capsule 20 around the optical axis 55 be performed so that a correct rotational orientation of the individual images by rotation of the endoscope capsule 20 can be brought about.

5 veranschaulicht die Endoskopkapsel 20 in unterschiedlichen Positionen A–G innerhalb eines Magens 62, die während einer Kalibrierung angefahren werden. Die Kalibrierung dient dazu, Größe, Form und Lage des Magens 62 zu vermessen. Die während der Kalibrierung entweder manuell vom Bediener oder automatisch angefahrenen Positionen A–G werden benutzt, um ein in 6 dargestelltes Ausgangsmodell 64 eines Magens in der Weise zu skalieren, dass es den realen Magen 62 zumindest annähernd korrekt wiedergibt. 5 illustrates the endoscope capsule 20 in different positions A-G within a stomach 62 which are approached during a calibration. The calibration serves to size, shape and location of the stomach 62 to measure. The positions A-G used during calibration either manually by the operator or automatically approached are used to set an in 6 illustrated initial model 64 of a stomach scale in the way that it's the real stomach 62 at least approximately correct.

In Position A befindet sich die Endoskopkapsel 20 unmittelbar nach Verlassen der Speiseröhre 66 am Mageneingang 68. Auf der Grundlage von Vorabinformationen – Lage des Patienten und Auswahl eines geeigneten Ausgangsmodells – wird die nächste Position B angefahren, bis die Endoskopkapsel 20 die Innenwand des Magens 62 erreicht hat. Die Position B befindet sich an der dem Mageneingang 68 gegenüberliegenden Innenwand des Magens 62, und wird vom Bediener entweder manuell anhand der während der Fahrbewegung erzeugten Einzelbilder oder automatisch auf der Grundlage von Vorabwissen angefahren. Anschließend werden nacheinander die Positionen C–G angefahren. Die jeweils zu den Positionen A–G gehörenden Positionsdaten werden vom Positionserfassungseinrichtung registriert und dazu benutzt, das in 6 dargestellte Ausgangsmodell 64 zu skalieren, um ein an die tatsächliche Form und Größe des Magens 62 angepasstes Magenmodell zu erzeugen.In position A is the endoscope capsule 20 immediately after leaving the esophagus 66 at the stomach entrance 68 , Based on preliminary information - position of the patient and selection of a suitable starting model - the next position B is approached until the endoscope capsule 20 the inner wall of the stomach 62 has reached. Position B is at the stomach entrance 68 opposite inner wall of the stomach 62 , and is approached by the operator either manually based on the generated during the driving motion frames or automatically based on prior knowledge. Subsequently, the positions C-G are approached one after the other. The respective position data belonging to the positions A-G are registered by the position detection means and used to execute the in 6 illustrated initial model 64 to scale to match the actual shape and size of the stomach 62 to create an adapted stomach model.

Das in 6 dargestellte Ausgangsmodell 64 besteht aus einem aus Polygonen 70, beispielsweise Dreiecke oder Vierecke aufgebauten geschlossenen Netz von dreidimensionalen Wandkoordinaten. Diesem Ausgangsmodell 64 können außerdem echte endoskopische Bilder zugeordnet sein, die aus Voraufnahmen von einem „Standardpatienten” gewonnen worden sind.This in 6 illustrated initial model 64 consists of one of polygons 70 , For example, triangles or squares constructed closed network of three-dimensional wall coordinates. This initial model 64 In addition, real endoscopic images obtained from previous images of a "standard patient" may be assigned.

Auf der Grundlage der in den Positionen A–G gewonnenen Positionsdaten werden die 3D-Koordinaten der Eckpunkte der Polygone 70 des Ausgangsmodells 64 variiert, bis sich eine maximale Übereinstimmung zwischen diesen Positionsdaten und dem auf diese Weise aus dem Ausgangsmodell 64 hergeleiteten Magenmodell ergibt.Based on the positional data obtained in positions A-G, the 3D coordinates of the vertices of the polygons become 70 of the initial model 64 varies until a maximum match between these position data and the in this way from the initial model 64 derived gastric model results.

Nach der Anpassung des Ausgangsmodells 64 an den individuellen Patienten, d. h. Kalibrierung des aus den Polygonen 70 aufgebauten Netzes und Fertigstellung des Magenmodells wird die Haptik aktiviert, d. h. der Benutzer spürt z. B. immer dann einen mechanischen Widerstand, wenn die Endoskopkapsel an die Magenwand stößt. In einer Variante des Verfahrens wird zusätzlich ein Vorhalt berücksichtigt, d. h. der Widerstand wirkt bereits in einer einstellbaren Wandentfernung (z. B. minimale oder optimale Wandentfernung zur Bildaufnahme).After the adaptation of the initial model 64 at the individual patient, ie calibration of the out of the polygons 70 established network and completion of the stomach model, the haptic is activated, ie the user feels z. B. always a mechanical resistance when the endoscope capsule abuts the stomach wall. In one variant of the method, a provision is additionally taken into account, ie the resistance already acts in an adjustable wall distance (eg minimum or optimum wall distance for image acquisition).

Während der Bewegung der Endoskopkapsel zu den Positionen A–G, d. h. während der zur Skalierung bzw. Kalibrierung durchgeführten Kalibrierfahrt werden bereits Einzelbilder aufgenommen, die dann mit Hilfe der ihnen zugehörigen Positionsinformationen in das Magenmodell eingepasst werden. Zwischen den bereits aufgenommenen Bereichen der Innenwand gegebenenfalls bestehende Lücken werden visuell beispielsweise als ”White Spaces” angezeigt. Dies ist in 7 veranschaulicht, die einen Ausschnitt des mit Polygonen 70 dargestellten Magenmodells zeigt, in das Einzelbilder 72, die während der Kalibrierfahrt in den Aufnahmepositionen A, B gewonnen wurden, eingefügt sind. Die nicht von den durch Schraffur in der Fig. dargestellten Einzelbildern 72 vollständig abgebildeten, entsprechend kenntlich gemachten Lücken (Teile eines Polygons oder vollständiges Polygon 72) können durch Aufnahmen in entsprechend gewählten und dementsprechend von der Endoskopkapsel angefahrenen Aufnahmepositionen A1, A2, A3 – die zugehörigen Einzelbilder 72 sind gestrichelt eingezeichnet – geschlossen werden, so dass die Innenwand des Magens sukzessive komplett abgedeckt wird.During the movement of the endoscope capsule to the positions A-G, that is, during the calibration carried out for scaling or calibration single images are already taken, which are then fitted with the help of their associated position information in the stomach model. Any gaps between existing areas of the inner wall are visually displayed as "white spaces", for example. This is in 7 illustrating a section of the polygon 70 illustrated gastric model shows in the frames 72 , which were obtained during the calibration in the recording positions A, B, are inserted. The frames not represented by the hatching in the figure 72 fully mapped, correspondingly identified gaps (parts of a polygon or complete polygon 72 ) can by shooting in accordance with selected and accordingly approached by the endoscope capsule recording positions A1, A2, A3 - the associated frames 72 are dashed lines - closed, so that the inner wall of the stomach is successively completely covered.

Zum Magenmodell gehört auch optional eine Art Bildatlas, so dass für jede Position und Orientierung der Endoskopkapsel ein Modellbild zur Verfügung steht, dem jeweils ein aktuell von der Endoskopkapsel aufgenommenes aktuelles Einzelbild zugeordnet werden kann. Da bei der Verwendung einer ellipsoidförmigen Endoskopkapsel eine Rollbewegung um die optische Achse nicht möglich ist und in eine Information über die Drehposition der Endoskopkapsel um diese Achse nicht vorliegt, erfolgt eine Rotation des Einzelbildes in der Bildebene bis die Übereinstimmung zwischen Modellbild und aktuellem Einzelbild im gegenseitigen Überlappungsbereich optimal ist. Für direkt nacheinander aufgenommene Bilder stellen der direkt zuvor ermittelte Winkel und die lageverändernden Steuerungseinflüsse seit dem letzten Bild Vorabwissen dar, mit dem z. B. eine Verschiebung, Rotation und Perspektivenveränderung vorgenommen werden können, auf deren Basis dann mittels Bildverarbeitung eine Feineinstellung zum pflasterähnlichen Zusammenfügen der Einzelbilder zu einem Bildteppich durchgeführt wird.The gastric model also optionally includes a type of image atlas, so that a model image is available for each position and orientation of the endoscope capsule, to each of which a current individual image currently recorded by the endoscope capsule can be assigned. Since when using an ellipsoidal endoscope capsule a rolling motion about the optical axis is not possible and is not present in an information about the rotational position of the endoscope capsule about this axis, there is a rotation of the frame in the image plane until the match between the model image and the current frame in the mutual overlap region optimal. For directly consecutively recorded images, the angle determined in advance and the position-changing control influences since the last image represent preliminary knowledge with which z. B. a shift, rotation and perspective change can be made on the basis of a fine adjustment for patch-like assembly of the individual images is then performed by image processing to a tapestry.

In einer vorteilhaften Weiterbildung werden die aktuell aufgenommenen Einzelbilder mit dem angepassten Magenmodell überlagert, beispielsweise werden zumindest die zuvorderst liegenden Ansichten des Magenmodells teilweise transparent und zur besseren Differenzierung in unterschiedlichem farblichen Grundton. Aktuell bereits aufgenommene und erfolgreich zugeordnete Bereiche und/oder nicht erfasste Bereiche, die sogenannten ”White Spaces”, werden ebenfalls speziell markiert (koloriert) um sie besser voneinander unterscheiden zu können. Alternativ können auch die noch nicht erfassten Bereiche mit Modellbildern in anderer Kolorierung als die aktuellen Einzelbilder dargestellt werden.In an advantageous development, the currently recorded individual images are superimposed with the adapted stomach model, for example at least the first-lying views of the stomach model become partially transparent and for better differentiation in different basic color tones. Currently recorded and successfully assigned areas and / or unrecognized areas, the so-called "White Spaces", are also specially marked (colored) in order to be able to better distinguish them from each other. Alternatively, the areas not yet covered with model images can also be displayed in a different coloration than the current individual images.

Als Variante der Darstellung sowohl des Magenmodells als auch des aktuell aufgenommenen Bildteppichs dient die Betrachtung von außen als überwiegend konvexes Objekt, das zur Befundung als 3D-Objekt durch Rotationen, Panning, Zooming wesentlich einfacher zu handhaben ist als eine virtuelle Fahrt im Objekt.As a variant of the representation of both the stomach model and the currently recorded tapestry, the viewing from the outside serves as a predominantly convex object, which is much easier to handle as a 3D object through rotations, panning, zooming than a virtual ride in the object.

Auf der Basis des Magenmodells kann auch automatisch eine Bildsequenz gewonnen werden, welche die gesamte Innenwand abbildet, indem gemäß 8 entlang der größten Ausdehnung des Magens ein zentraler Grundpfad 74 in Form eines Polygonzuges definiert wird, der sich aus mehreren geradlinigen Strecken zusammensetzt. Vom Beginn des Grundpfades 74 bis zum Ende werden Aufnahmepositionen F1 bis F9 im Abstand von etwa einer Bildbreite definiert, wobei die erste und die letzte Aufnahmeposition F1 bzw. F9 eine halbe Bildbreite von den Enden des Grundpfades 74 entfernt sind.On the basis of the stomach model, an image sequence can also be obtained automatically, which images the entire inner wall, according to 8th along the largest extent of the stomach a central base path 74 is defined in the form of a polygon, which consists of several straight lines. From the beginning of the basic path 74 to the end, shot positions F1 to F9 are defined at intervals of about one frame width, with the first and last shot positions F1 and F9 being half an image width from the ends of the basic path 74 are removed.

In jeder Aufnahmeposition F1-9 werden nun durch Rotation der Endoskopkapsel 20 um die aktuelle Richtung des Grundpfades 74 – dargestellt durch den Pfeil 76 – die noch nicht vorhandenen Aufnahmen erstellt. In einer Variante des Verfahrens kann es sich auch um eine von Anfang bis Ende systematisch fortschreitende Aufnahmesequenz handeln, bei der die Endoskopkapsel 20 entlang einer schraubenförmigen Bahnkurve 78 in Richtung des Pfeils 80 vorwärtsbewegt wird. Während der Vorwärtsbewegung, besonders aber auch zu Beginn und am Ende der automatischen Aufnahmesequenz ist zu beachten, dass die optische Achse der Videokamera möglichst senkrecht auf die abzubildende Innenwand des Magens ausgerichtet ist. Hierzu ist es erforderlich, dass der schraubenförmigen Vorwärtsbewegung um den Grundpfad 74 eine weitere Rotation der Endoskopkapsel 20 überlagert wird.In each recording position F1-9 are now by rotation of the endoscope capsule 20 around the current direction of the basic path 74 - represented by the arrow 76 - created the not yet existing recordings. In a variant of the method, it may also be a systematic from beginning to end recording sequence, in which the endoscope capsule 20 along a helical trajectory 78 in the direction of the arrow 80 is moved forward. During the forward movement, but especially at the beginning and at the end of the automatic recording sequence, it should be noted that the optical axis of the video camera is aligned as perpendicularly as possible to the inner wall of the stomach to be imaged. For this purpose, it is necessary that the helical forward movement around the ground path 74 another rotation of the endoscope capsule 20 is superimposed.

Die jeweils neu aufgenommenen Einzelbilder können außerdem dazu dienen, die Ablaufsteuerung zuverlässiger und genauer zu machen, indem sich überlappende Einzelbilder durch Methoden der Bildverarbeitung im Überlappungsbereich in Übereinstimmung gebracht werden und die hierzu erforderlichen mathematischen Transformationen, beispielsweise Drehungen in der Bildebene, zum Modifizieren der Steuersignale zum Steuern der Bewegung der Endoskopkapsel 20 herangezogen werden.The newly recorded individual images can also serve to make the sequence control more reliable and accurate by matching overlapping individual images with methods of image processing in the overlapping area and the mathematical transformations required for this, for example rotations in the image plane, for modifying the control signals for Controlling the movement of the endoscope capsule 20 be used.

Claims (13)

Verfahren zur endoskopischen Untersuchung des Magens (62) eines Patienten (P) mit einer mit einem externen Magnetsystem (4) geführten, in den Magen (62) eingebrachten Endoskopkapsel (20), die mit Positionsmarken (60) versehen ist, mit denen die Position und Orientierung der Endoskopkapsel (20) im Magen (62) mit einer außerhalb des Patienten (P) angeordneten Positionserfassungseinrichtung (36) erfasst werden, und mit er eine Vielzahl von Einzelbildern (72) aus dem Inneren des Magens (62) aufgenommen werden, mit folgenden Schritten: a) In einem ersten Zeitabschnitt nach Erreichen des Magens werden nacheinander eine Mehrzahl voneinander verschiedener anatomisch signifikanter Positionen (A–G) an der Innenwand des Magens (62) automatisch oder mit einem von einem Bediener geführten Eingabegerät (34) angefahren, b) die zu diesen Positionen an der Innenwand jeweils gehörenden Positionsdaten werden mit der Positionserfassungseinrichtung (36) erfasst und gespeichert, c) mit den Positionsdaten wird ein anatomisches Ausgangsmodell (64) eines Magens skaliert und ein an die tatsächliche Form des Magens (62) angepasstes Magenmodell erzeugt, d) das auf diese Weise erzeugte Magenmodell wird zur Steuerung der Endoskopkapsel (20) herangezogen.Method for endoscopic examination of the stomach ( 62 ) of a patient (P) with one with an external magnet system ( 4 ), into the stomach ( 62 ) endoscope capsule ( 20 ) with position markers ( 60 ), with which the position and orientation of the endoscope capsule ( 20 ) in the stomach ( 62 ) with a position detection device arranged outside the patient (P) ( 36 ), and with it a plurality of individual images ( 72 ) from the inside of the stomach ( 62 a) in a first period of time after reaching the stomach, a plurality of mutually different anatomically significant positions (A-G) on the inner wall of the stomach are successively ( 62 ) automatically or with an operator-led input device ( 34 ), b) the position data belonging to these positions on the inner wall are detected by the position detection device ( 36 ) and stored, c) with the position data is an anatomical initial model ( 64 ) of a stomach and one to the actual shape of the stomach ( 62 ) produced gastric model, d) the gastric model generated in this way is used to control the endoscope capsule ( 20 ). Verfahren nach Anspruch 1, bei dem das Erreichen einer Position an der Innenwand automatisch dadurch erkannt wird, dass bei Ausüben einer vom Magnetsystem (4) auf die Endoskopkapsel (20) wirkenden Kraft eine Bewegung der Endoskopkapsel (20) entweder unterbleibt oder eine erfolgende Bewegung eine von der Richtung des Kraftvektors abweichende Richtung aufweist.Method according to Claim 1, in which the attainment of a position on the inner wall is automatically recognized by the fact that, when one of the magnet system ( 4 ) on the endoscope capsule ( 20 ) force a movement of the endoscope capsule ( 20 ) either fails or has a successful movement deviating from the direction of the force vector direction. Verfahren nach Anspruch 1 oder 2, bei dem das Ausgangsmodell (64) aus einer Modellbibliothek ausgewählt oder rechnerisch erzeugt wird.Method according to Claim 1 or 2, in which the initial model ( 64 ) is selected from a model library or computationally generated. Verfahren nach Anspruch 1, 2 oder 3, bei dem das Ausgangsmodell (64) als Gittermodell vorliegt.Method according to Claim 1, 2 or 3, in which the initial model ( 64 ) is present as a lattice model. Verfahren nach einem der vorhergehenden Ansprüche, bei dem jedem Ausgangsmodell (64) ein Bildatlas zugeordnet ist, und zu jeder Position und Orientierung der Endoskopkapsel (20) im Magen (62) ein dem von der Endoskopkapsel (20) aufgenommenen Einzelbild (72) entsprechender Bildausschnitt aus dem Bildatlas zugeordnet wird.Method according to one of the preceding claims, in which each output model ( 64 ) is associated with a picture atlas, and to each position and orientation of the endoscope capsule ( 20 ) in the stomach ( 62 ) from the endoscope capsule ( 20 ) recorded image ( 72 ) corresponding image detail is assigned from the image atlas. Verfahren nach Anspruch 5, bei dem Einzelbild (72) oder Bildausschnitt relativ zueinander in der Bildebene gedreht werden, bis Einzelbild (72) und Bildausschnitt maximal übereinstimmen.Method according to claim 5, wherein the single image ( 72 ) or image detail relative to each other in the image plane are rotated until frame ( 72 ) and the image section are the same maximum. Verfahren nach einem der vorhergehenden Ansprüche, bei dem die von der Endoskopkapsel (20) aufgenommenen Einzelbilder (72) unter Zuhilfenahme der bei der Aufnahme jeweils vorliegenden Positions- und Lageinformationen auf das angepasste Magenmodell abgebildet werden und zu einem dreidimensionalen Bild zusammengefügt werden.Method according to one of the preceding claims, in which the endoscope capsule ( 20 ) ( 72 ) are mapped to the adapted stomach model with the aid of the position and position information which is present during the recording and are combined to form a three-dimensional image. Verfahren nach Anspruch 7 bei direktem Rückbezug oder, über den Anspruch 6, indirekten Rückbezug des Anspruchs 7 auf den Anspruch 5, bei dem ein aus dem Bildatlas aufgebautes dreidimensionales Modellbild und das dreidimensionale Bild überlagert und optisch voneinander unterscheidbar angezeigt werden.A method as claimed in claim 7 when directly referenced or, as claimed in claim 6, indirectly referencing claim 7 to claim 5, wherein a three-dimensional model image constructed from the image atlas and the three-dimensional image are superimposed and optically distinguishable from each other. Verfahren nach Anspruch 7 oder 8, bei dem im dreidimensionalen Bild ein zentraler Grundpfad (74) definiert wird, entlang dem die Endoskopkapsel (20) mit senkrecht zur Organwand orientierter optischer Achse (55) unter gleichzeitiger Drehbewegung der optischen Achse (55) um den Grundpfad (74) verfahrenwird, wobei während der Fahrt Einzelbilder (72) aufgenommen werden.Method according to claim 7 or 8, wherein in the three-dimensional image a central basic path ( 74 ), along which the endoscope capsule ( 20 ) with optical axis oriented perpendicular to the organ wall ( 55 ) with simultaneous rotation of the optical axis ( 55 ) around the ground path ( 74 ), whereby individual images ( 72 ). Verfahren nach Anspruch 7 oder 8, bei dem im dreidimensionalen Bild Punkte entlang des zentralen Grundpfades (74) festgelegt werden, die mit der Endoskopkapsel (20) angefahren werden und an denen die Endoskopkapsel (20) angehalten und mit ihrer optischen Achse (55) senkrecht zur Organwand ausgerichtet um den Grundpfad (74) gedreht wird, wobei während der Drehbewegung Einzelbilder (72) aufgenommen werden und der gegenseitige Abstand der Punkte derart gewählt ist, dass die an benachbarten Punkten von der Organwand erzeugten Einzelbilder (72) zumindest aneinander grenzen.Method according to Claim 7 or 8, in which points in the three-dimensional image along the central basic path ( 74 ) with the endoscope capsule ( 20 ) and at which the endoscope capsule ( 20 ) and with its optical axis ( 55 ) perpendicular to the organ wall aligned around the ground path ( 74 ) is rotated, during the rotary motion frames ( 72 ) and the mutual distance of the points is selected in such a way that the individual images generated at adjacent points by the organ wall ( 72 ) border on each other at least. Verfahren nach einem der vorhergehenden Ansprüche, bei dem die Steuerung der Endoskopkapsel (20) mit einem haptisch rückgekoppelten Eingabegerät (34) erfolgt, bei dem einem Bediener durch unmittelbar von einem Betätigungselement während des Betätigens auf das Betätigungsorgan des Bedieners ausgeübte Reize eine Annäherung oder zumindest ein Anstoßen der Endoskopkapsel (20) an die Organwand signalisiert wird.Method according to one of the preceding claims, in which the control of the endoscope capsule ( 20 ) with a haptic feedback input device ( 34 ), in which an operator approaches or at least abuts the endoscope capsule by means of stimuli exerted directly by an actuating element on the actuating member of the operator during actuation. 20 ) is signaled to the organ wall. Einrichtung zum Durchführen einer endoskopischen Untersuchung des Magens (62) eines Patienten (P), mit einer mit Positionsmarken (60) versehenen Endoskopkapsel (20) zum Aufnehmen einer Vielzahl von Einzelbildern (72) aus dem Inneren des Magens (62), einem externen Magnetsystem (4) zum Führen der Endoskopkapsel (20) und einer außerhalb des Patienten (P) angeordneten Positionserfassungseinrichtung (36) zum Erfassen der Position und Orientierung der Endoskopkapsel (20) im Magen (62), sowie mit einer Steuer- und Auswerteeinrichtung (30) zum Steuern der Endoskopkapsel (20) sowie zum Empfangen und Auswerten der von dieser aufgenommenen Einzelbilder (72), in der eine Software zum Durchführen der Verfahrensschritte nach einem der Ansprüche 1 bis 10 implementiert ist.Device for carrying out an endoscopic examination of the stomach ( 62 ) of a patient (P), with one with position marks ( 60 ) provided endoscope capsule ( 20 ) for taking a plurality of individual images ( 72 ) from the inside of the stomach ( 62 ), an external magnet system ( 4 ) for guiding the endoscope capsule ( 20 ) and an outside of the patient (P) arranged position detection device ( 36 ) for detecting the position and orientation of the endoscope capsule ( 20 ) in the stomach ( 62 ), as well as with a control and evaluation device ( 30 ) for controlling the endoscope capsule ( 20 ) as well as for receiving and evaluating the individual images taken by it ( 72 ) in which a software for performing the method steps according to one of claims 1 to 10 is implemented. Einrichtung nach Anspruch 12 mit einem haptisch rückgekoppelten Eingabegerät (34) zum Steuern der Endoskopkapsel (20) und zum Signalisieren einer Annäherung oder zumindest eines Anstoßen der Endoskopkapsel (20) an die Organwand, durch unmittelbar von einem Betätigungselement während des Betätigens auf das Betätigungsorgan des Bedieners ausgeübte Reize.Device according to claim 12 with a haptic feedback input device ( 34 ) for controlling the endoscope capsule ( 20 ) and for signaling an approach or at least a bumping of the endoscope capsule ( 20 ) to the organ wall, by stimuli exerted directly by an actuator during actuation on the actuator of the operator.
DE102011078405A 2011-06-30 2011-06-30 Method for endoscopy with magnetically guided endoscope capsule and device therefor Expired - Fee Related DE102011078405B4 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102011078405A DE102011078405B4 (en) 2011-06-30 2011-06-30 Method for endoscopy with magnetically guided endoscope capsule and device therefor
PCT/EP2012/062182 WO2013000845A1 (en) 2011-06-30 2012-06-25 Endoscopy using a magnet-guided endoscope capsule

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102011078405A DE102011078405B4 (en) 2011-06-30 2011-06-30 Method for endoscopy with magnetically guided endoscope capsule and device therefor

Publications (2)

Publication Number Publication Date
DE102011078405A1 DE102011078405A1 (en) 2013-01-03
DE102011078405B4 true DE102011078405B4 (en) 2013-03-21

Family

ID=46614432

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102011078405A Expired - Fee Related DE102011078405B4 (en) 2011-06-30 2011-06-30 Method for endoscopy with magnetically guided endoscope capsule and device therefor

Country Status (2)

Country Link
DE (1) DE102011078405B4 (en)
WO (1) WO2013000845A1 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107307838B (en) * 2017-07-05 2023-06-27 楠青医疗技术(上海)有限公司 External navigation device of capsule type endoscope
EP3942992A4 (en) * 2019-06-17 2022-12-21 Shenzhen Sibernetics Co., Ltd. Magnetic control device of capsule endoscope and method for controlling movement of capsule endoscope in tissue cavity
CN110974122A (en) * 2019-12-23 2020-04-10 山东大学齐鲁医院 Monitoring method and system for judging endoscope entering human digestive tract
CN111671381A (en) * 2020-06-04 2020-09-18 中国医学科学院生物医学工程研究所 Double-magnetic-force control system of capsule endoscope products
CN116456922A (en) * 2020-11-04 2023-07-18 南洋理工大学 Tracking method and system based on magnetic field
CN114637871A (en) * 2022-03-23 2022-06-17 安翰科技(武汉)股份有限公司 Method and device for establishing digestive tract database and storage medium
CN115624308B (en) * 2022-12-21 2023-07-07 深圳市资福医疗技术有限公司 Capsule endoscope cruise control method, device and storage medium

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005032579A1 (en) * 2005-07-11 2006-07-13 Siemens Ag Process for the reconstruction of medical examination images obtained by a camera in an endoscope
DE102009011831A1 (en) * 2009-03-05 2010-09-16 Siemens Aktiengesellschaft Method and device for navigating an endoscopy capsule
US20100249507A1 (en) * 2009-03-26 2010-09-30 Intuitive Surgical, Inc. Method and system for providing visual guidance to an operator for steering a tip of an endoscopic device toward one or more landmarks in a patient
US20100307517A1 (en) * 2005-03-24 2010-12-09 Olympus Corporation Medical device control system
US20110026785A1 (en) * 2005-08-30 2011-02-03 Agfa Healthcare N.V. Method of Segmenting Anatomic Entities in Digital Medical Images

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10142253C1 (en) 2001-08-29 2003-04-24 Siemens Ag endorobot
DE102006014626A1 (en) * 2006-03-29 2007-10-11 Siemens Ag Method for positioning an endoscopy capsule which can be navigated magnetically by means of a magnetic coil system
DE102007013773A1 (en) * 2007-03-22 2008-09-25 Siemens Ag Magnetically leading system, in particular medical system, in particular capsule endoscope system with prediction
DE102008004871B4 (en) 2008-01-17 2013-05-16 Siemens Aktiengesellschaft Coil arrangement for guiding a magnetic element in a working space
DE102008035092B4 (en) * 2008-07-28 2015-08-27 Siemens Aktiengesellschaft Apparatus for performing a minimally invasive diagnosis or intervention in the interior of a patient with a capsule endoscope and method for determining the actual position of a capsule endoscope in the interior of a patient

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100307517A1 (en) * 2005-03-24 2010-12-09 Olympus Corporation Medical device control system
DE102005032579A1 (en) * 2005-07-11 2006-07-13 Siemens Ag Process for the reconstruction of medical examination images obtained by a camera in an endoscope
US20110026785A1 (en) * 2005-08-30 2011-02-03 Agfa Healthcare N.V. Method of Segmenting Anatomic Entities in Digital Medical Images
DE102009011831A1 (en) * 2009-03-05 2010-09-16 Siemens Aktiengesellschaft Method and device for navigating an endoscopy capsule
US20100249507A1 (en) * 2009-03-26 2010-09-30 Intuitive Surgical, Inc. Method and system for providing visual guidance to an operator for steering a tip of an endoscopic device toward one or more landmarks in a patient

Also Published As

Publication number Publication date
WO2013000845A1 (en) 2013-01-03
DE102011078405A1 (en) 2013-01-03

Similar Documents

Publication Publication Date Title
DE102011078405B4 (en) Method for endoscopy with magnetically guided endoscope capsule and device therefor
EP3076369B1 (en) Method and device for representing an object
EP2165215B1 (en) Image formation apparatus and method for nuclear imaging
DE102014218558B4 (en) User interface and method for automated positioning of an examination table relative to a medical imaging system
EP1946702B1 (en) Illustration of anatomic structure
DE102004008164B3 (en) Method and device for creating at least a section of a virtual 3D model of a body interior
EP3363358B1 (en) Device for determining and retrieving a reference point during a surgical operation
EP3412242A1 (en) Dispensing of position information relating to a medical instrument
WO2012107041A1 (en) Endoscopic image processing system having means which generate geometric measurement information in the detection range of an optical digital camera
EP2632382B1 (en) Navigating attachment for optical devices in medicine, and method
DE102014226756A1 (en) An imaging assembly and method for positioning a patient in an imaging modality
EP2606825A1 (en) Image producing apparatus and method for nuclear imaging
DE10232681A1 (en) Method and device for positioning a patient in a medical diagnostic or therapeutic device
DE102009011831A1 (en) Method and device for navigating an endoscopy capsule
WO2019149400A1 (en) Method for the position planning of a capturing system of a medical imaging device, and medical imaging device
DE102008013611A1 (en) Device for medical intervention in region of e.g. liver of animal for e.g. interventional radiology, has arithmetic unit generating control signal for releasing acoustic signals at determined periodically changing point of movement curve
EP4213755A1 (en) Surgical assistance system and display method
EP3598948B1 (en) Imaging system and method for generating a stereoscopic representation, computer program and data memory
DE102010015060A1 (en) Apparatus for storing, scanning, tomographic imaging of a patient and performing an intervention and method for determining the spatial relationship between optical images and tomographic images
DE102012200686A1 (en) Method for positioning X-ray device, involves acquiring image data set by imaging device, where image data set has examination area of examination object, and coordinates are obtained inside image data set for determining positioning data
DE102007029888A1 (en) Medical diagnostic imaging and apparatus operating according to this method
EP2441410A1 (en) Method for producing a medical image and medical workplace
DE102005012295B4 (en) Method for endoscopic navigation and calibration of endoscope systems and system
DE102020215559A1 (en) Method for operating a visualization system in a surgical application and visualization system for a surgical application
WO2012163779A1 (en) Method and device for carrying out an examination of a body cavity of a patient

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final

Effective date: 20130622

R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee

Effective date: 20140101