DE19800765A1 - Method of generating image representations of surface of inner wall of hollow bodies - Google Patents
Method of generating image representations of surface of inner wall of hollow bodiesInfo
- Publication number
- DE19800765A1 DE19800765A1 DE19800765A DE19800765A DE19800765A1 DE 19800765 A1 DE19800765 A1 DE 19800765A1 DE 19800765 A DE19800765 A DE 19800765A DE 19800765 A DE19800765 A DE 19800765A DE 19800765 A1 DE19800765 A1 DE 19800765A1
- Authority
- DE
- Germany
- Prior art keywords
- image
- processing device
- hollow body
- image processing
- individual images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
Abstract
Description
Die Erfindung betrifft ein Verfahren zur Erzeugung von Bild darstellungen der Oberfläche der Innenwand von Hohlkörpern im Rahmen einer endoskopischen Untersuchung, insbesondere von Hohlraumorganen und Gefäßen, wobei die mittels des Endoskops gelieferten Bilddaten in Form von Videobildsignalen ausge geben werden.The invention relates to a method for generating images representations of the surface of the inner wall of hollow bodies in the As part of an endoscopic examination, especially of Cavity organs and vessels, using the endoscope delivered image data in the form of video image signals will give.
Die Endoskopie mit Fiber-Endoskopen ist heutzutage eine medi zinische Standardanwendung und ermöglicht das Betrachten der Innenwände von Hohlraumorganen wie beispielsweise dem Magen, Darm, der Blase oder dergleichen, wie auch von Gefäßen. Das Endoskopobjektiv wird während der Untersuchung des Organs/Gefäßes in dieses eingeschoben, dort verschoben, ge dreht und/oder abgewinkelt, um die Innenwand aus unterschied lichen Richtungen und Positionen betrachten zu können. Das Auge des Arztes kann während der Untersuchung jeweils nur eingeschränkt Teilbereiche der Innenwand des untersuchten Hohlkörpers betrachten. Diese Einschränkung ist durch die Grenzen des Endoskop-Objektivs gegeben. Denn das Objektiv läßt nur einen sehr begrenzten Blickwinkel zu. Um auch nach der Untersuchung die Möglichkeit zu geben, die untersuchten Bereiche nochmals betrachten und beurteilen zu können, ist es häufig üblich, eine Videoaufzeichnung der während der Endo skopieprozedur aufgenommenen Bilder vorzunehmen. Zu diesem Zweck werden die vom Endoskop "gelieferten Bilddaten" ent sprechend in Form von Videobildsignalen, beispielsweise mit tels von einer nachgeschalteten Kamera, erzeugt und in dieser Form als analoge Signale dem Videorecorder zugeführt.Endoscopy with fiber endoscopes is a medi these days standard application and allows viewing of Inner walls of cavity organs such as the stomach, Intestine, bladder or the like, as well as vessels. The Endoscope lens is used during the examination of the Organ / vessel inserted into this, shifted there, ge rotates and / or angled to differentiate the inner wall directions and positions. The The doctor's eye can only be used during the examination restricted areas of the inner wall of the examined Consider the hollow body. This limitation is due to the Given the limits of the endoscope lens. Because the lens allows only a very limited perspective. To also after to give the investigation the opportunity to investigate It is to be able to look at and assess areas again commonly used to record a video during the endo copy procedure to take recorded images. To this Purpose is the "image data" supplied by the endoscope speaking in the form of video image signals, for example with tels from a downstream camera, generated and in this Form supplied as analog signals to the video recorder.
Der Erfindung liegt damit das Problem zugrunde, ein Verfahren zur Erzeugung von Bilddarstellungen anzugeben, welches es dem Arzt ermöglicht, nicht nur die von den optischen Eigenschaf ten des Endoskops vorgegebenen kleinen Teilbereiche betrach ten zu können, sondern einen entsprechenden größeren Bereich, um auf diese Weise auf einen Blick mehr Informationen zu er halten und eine bessere Diagnose stellen zu können.The invention is therefore based on the problem of a method to indicate the generation of image representations, which it Doctor allows, not only that of the optical properties the small sub-areas specified in the endoscope but a correspondingly larger area, to get more information at a glance hold and make a better diagnosis.
Zur Lösung dieses Problems ist bei einem Verfahren der ein gangs genannten Art erfindungsgemäß vorgesehen, daß mehrere Einzelbilder unterschiedlicher Bereiche der Innenwand des zu untersuchenden Hohlkörpers aufgenommen werden, deren Video bildsignale digitalisiert werden, und daß basierend auf den digitalisierten Videobildsignal in einer Bildverarbeitungs einrichtung durch Überlagerung und/oder Zusammensetzen ein zelner Einzelbilder ein Gesamtbild erzeugt wird.To solve this problem, one method is the one gangs mentioned type provided according to the invention that several Single images of different areas of the inner wall of the investigating hollow body are recorded, their video Image signals are digitized, and that based on the digitized video image signal in an image processing system establishment by overlaying and / or assembling individual frames an overall picture is generated.
Das erfindungsgemäße Verfahren schafft mit besonderem Vorteil ein Gesamtbild durch Überlagern/Zusammensetzen mehrerer Ein zelbilder, welche vorher digitalisiert wurden. Zu diesen Zweck kommt mit besonderem Vorteil eine Bildverarbeitungsein richtung zum Einsatz, welche zu einer entsprechenden Über lagerung und/oder Zusammensetzung ausgebildet ist. Dieses Ge samtbild, welches an einer entsprechenden Anzeigeeinrichtung beispielsweise in Form eines Monitors oder eines Fernsehers wiedergegeben werden kann, zeigt vorteilhaft den gesamten, sich aus den Einzelbildern ergebenden Innenwandbereich, so daß dem Arzt nicht nur die jeweils lokale Information zur Verfügung gestellt wird, sondern die Gesamtinformation, die er durch das Betrachten verschiedener einzelner Teilbereiche erhalten hat.The method according to the invention creates with particular advantage an overall picture by superimposing / assembling several units individual images that were previously digitized. To this Image processing comes with a particular advantage direction to use, which leads to a corresponding over Storage and / or composition is formed. This Ge velvet image, which on a corresponding display device for example in the form of a monitor or a television can be reproduced, advantageously shows the entire, resulting from the individual images inner wall area, so that the doctor not only receives local information about the Is provided, but the overall information that he by looking at different individual sub-areas had received.
Das Überlagern und/oder Zusammensetzen der Einzelbilder bzw. deren Videobildsignale erfolgt erfindungsgemäß durch Korrela tion mittels Korrelationsalgorithmen und/oder aufgrund wäh rend der Einzelbildaufnahme erfaßter räumlicher Positions- und/oder Orientierungsdaten. Im Falle der Korrelation arbei tet die Bildverarbeitungseinrichtung vorteilhaft derart, daß nach übereinstimmenden oder ähnlichen Bildbereichen (bzw. Signalbereichen) gesucht wird, wobei der Korrelationsalgo rithmus entsprechend den im Rahmen der Endoskopie mensch licher Organe gegebenen Erfordernissen und Bedingungen ausge staltet ist. Wird aufgrund des Korrelieren ein ähnlicher oder nahezu identischer, überlappende Bildbereich festgestellt, so können die beide verglichenen Bilder/Signale überlagert bzw. zusammengesetzt werden. Auf diese Weise erfolgt ein stetiger Aufbau des Gesamtbildes, welches durch jedes hinzukommende Einzelbild vergrößert bzw. ausgebaut wird. Alternativ oder zusätzlich können erfindungsgemäß auch räumliche Posi tions- und/oder Orientierungsdaten zu den Einzelbildern, zweckmäßigerweise zu jedem Einzelbild aufgenommen werden, wobei diese Daten den jeweiligen Bildern zugeordnet und im Rahmen der Bildverknüpfung berücksichtigt werden. Anhand die ser Daten ist die lokale Position des Innenwandbereichs, wel cher in einem Einzelbild dargestellt ist, bestimmbar, so daß mit einer entsprechend ausgebildeten Bildverarbeitungsein richtung allein anhand dieser Daten die Bildverknüpfung er folgen kann. Zweckmäßigerweise sollten aber beide Verknüp fungsmechanismen in Verbindung miteinander zum Einsatz kom men.Overlaying and / or assembling the individual images or according to the invention, their video image signals are carried out by Korrela tion using correlation algorithms and / or due to spatial position and / or captured during the single image recording Orientation data. Work in the case of correlation tet the image processing device advantageously such that for matching or similar image areas (or Signal ranges) is searched, the correlation algo rhythm corresponding to that used in endoscopy organs given requirements and conditions is designed. Becomes a similar or due to the correlation almost identical, overlapping image area determined, so the two compared images / signals can be superimposed or be put together. In this way there is a steady Structure of the overall picture, which is added by each Single picture is enlarged or expanded. Alternatively or In addition, spatial positions according to the invention tion and / or orientation data for the individual images, expediently be recorded for each individual image, these data assigned to the respective images and in Frame of the image link are taken into account. Based on that This data is the local position of the inner wall area, which cher is shown in a single image, determinable so that with an appropriately trained image processing direction based on this data only can follow. Expediently, however, both should be linked mechanisms in conjunction with each other men.
Ein weiteres Problem im Stand der Technik bei Verwendung nor maler zweidimensionaler Endoskope liegt ferner darin, daß der Arzt die Oberfläche der Innenwand des Hohlkörpers nicht drei dimensional betrachten kann, er also auch nicht etwaige Wand strukturen oder dgl., die sich bevorzugt in einer dreidimen sionalen Darstellung ergeben, betrachten und in seiner Diagnose berücksichtigen kann. Um hier Abhilfe zu schaffen kann erfindungsgemäß ferner vorgesehen sein, daß basierend auf den erfaßten Positions- und/oder Orientierungsdaten durch Überlagern und/oder Zusammensetzen ein dreidimensionales Bild erzeugt wird, welches dann an der entsprechenden Anzeigeein richtung ausgegeben wird. Aufgrund dieser erfindungsgemäßen Verfahrensausgestaltung erhält der Arzt also ein basierend auf den aufgenommenen Einzelbildern erzeugtes dreidimensiona les Bild des gesamten, von ihm mit dem Endoskop betrachteten Hohlkörperbereich. Dem Arzt sind so sämtliche sich aus dieser speziellen dreidimensionalen Darstellung ergebende Informa tionen erkennbar, die er in seine Diagnose einfließen lassen kann. Ein weiterer Vorteil insbesondere dieser dreidimen sionalen Darstellung ist die Möglichkeit, Strukturen wie z. B. Geschwüre oder Tumore, die im Gesamtbild erkennbar sind, ver messen zu können. Auch eine gezielte Führung des Endoskops zur Betrachtung bestimmter, sich im Rahmen der Endoskopie als relevant darstellender Innenwandbereiche kann auf diese Weise unterstützt werden. Another problem in the prior art when using nor Painterly two-dimensional endoscopes also lies in the fact that the Doctor do not three the surface of the inner wall of the hollow body dimensionally, so he can’t look at any wall structures or the like, which are preferably in three dimensions sional presentation result, consider and in its Diagnosis can take into account. To remedy this can also be provided according to the invention that based based on the recorded position and / or orientation data Overlay and / or assemble a three-dimensional image is generated, which is then on the corresponding display direction is output. Because of this invention The doctor receives a procedure design based on three-dimensional generated on the captured individual images les picture of the whole, viewed by him with the endoscope Hollow area. The doctor is all out of this special three-dimensional representation resulting informa identifiable that he incorporated into his diagnosis can. Another advantage in particular of these three dimensions sional representation is the possibility of structures such. B. Ulcers or tumors that can be seen in the overall picture, ver to be able to measure. Also targeted guidance of the endoscope for viewing certain ones as part of endoscopy relevant interior wall areas can in this way get supported.
Bei der Untersuchung von Organen oder Gefäßen kann mithin das Problem auftauchen, daß das Organ/Gefäß sich selbst bewegt oder aufgrund äußerer Einflüsse, beispielsweise durch eine Bewegung eines anderen Organs, bewegt wird. Dies führt zu Artefakten innerhalb der Einzelbilder während dieser Be wegung. Um im Rahmen der Bilderzeugung insbesondere zur Schaffung eines dreidimensionalen Bildes etwaige hieraus resultierende Schwierigkeiten zu vermeiden kann erfindungsge mäß ferner vorgesehen sein, daß zu jedem Einzelbild spezifi sche Positions- und/oder Orientierungsdaten aufgenommen und diesem zugeordnet werden. Mit Hilfe dieser Daten kann dann quasi eine Normierung der Einzelbilder erfolgen und ein kor rektes Überlagern/Zusammensetzen und damit eine Rekonstruk tion des Hohlkörpers zu der tatsächlichen Form erfolgen. Er folgt die Überlagerung/Zusammensetzung der Einzelbilder (auch) unter Verwendung des Korrelationsverfahrens, so hat es sich als vorteilhaft erwiesen, wenn im Rahmen der Korrelation optische und/oder durch eine Bewegung des Hohlkörpers hervor gerufene Bildartefakte wie Verzerrungen oder dgl. berücksich tigt werden, d. h., die Korrelationsalgorithmen sind derart ausgestaltet, daß etwaige Bildartefakte, wie sie zwischen zwei Einzelbildern auftreten können, im Rahmen der Korrela tion berücksichtigt werden. Dies ist vor allem dann möglich, wenn die Bildaufnahmerate im Bereich mehrerer Einzelbilder pro Sekunde liegt, da dann die insbesondere bewegungsbeding ten Bildartefakte von Einzelbild zu Einzelbild nicht über mäßig sind. Therefore, when examining organs or vessels, this can There is a problem that the organ / vessel moves itself or due to external influences, for example due to a Movement of another organ, is moved. this leads to Artifacts within the frames during this loading movement. In order in particular in the context of image generation Creation of a three-dimensional image, if any avoiding resulting difficulties can fiction according to be further provided that specific to each frame cal position and / or orientation data recorded and be assigned to this. With the help of this data can then quasi a normalization of the individual images and a kor right overlay / assembly and thus a reconstruction tion of the hollow body to the actual shape. He follows the superimposition / composition of the individual images (also) using the correlation method, so it has proved to be advantageous if within the framework of the correlation optical and / or by a movement of the hollow body called image artifacts such as distortion or the like be done, d. that is, the correlation algorithms are such designed that any image artifacts as between two single images can occur as part of the correla tion are taken into account. This is possible above all if the image capture rate is in the range of multiple frames per second, because then the particular movement-related image artifacts from frame to frame do not have are moderate.
Wie bereits beschrieben können optische oder bewegungsbe dingte Bildfehler auftreten. Um diese zu eliminieren und eine Gesamtbilddarstellung zu erzeugen, die den tatsächlichen Zu stand/Verlauf der Innenwand wiedergibt, kann erfindungsgemäß vor dem Überlagern und/oder Zusammensetzen der Einzelbilder bzw. der Bildsignale eine Bilddatenkorrektur vorgenommen wer den, welche beispielsweise die aufgrund in der Endoskopoptik hervorgerufenen Bildfehler eliminiert. Dabei können die be wegungsbedingten Bildartefakte bevorzugt anhand der Posi tions- und/oder Orientierungsarten korrigiert werden, da an hand dieser eine konkrete Lagebeziehung des jeweiligen Ein zelbildes bezüglich eines festen Koordinatensystems gegeben ist und auf diese Weise die "Position" des jeweiligen Einzel bildes im Gesamtbild bekannt ist, so daß entsprechend korri giert werden kann.As already described, optical or movement contingent image errors occur. To eliminate this and one Generate overall image representation that corresponds to the actual To represents / course of the inner wall, can according to the invention before overlaying and / or assembling the individual images or the image signals, who performed image data correction the one that, for example, is the result of endoscope optics caused image errors eliminated. The be motion-related image artifacts preferably based on the posi tion and / or orientation types are corrected, because on hand this a concrete positional relationship of the respective one given image with respect to a fixed coordinate system is and in this way the "position" of each individual picture is known in the overall picture, so that corri can be greeded.
Für den Arzt ist es insbesondere zweckmäßig, wenn erfindungs gemäß die Bilderzeugung online während der Einzelbildaufnahme möglich ist, da er dann sofort einen Überblick über den ge samten bereits untersuchten Innenwandbereich erhält. Dabei kann die Online-Bilderzeugung sowohl betreffend das zwei dimensionale Gesamtbild als auch das dreidimensionale Gesamt bild möglich sein. Auch eine Offline-Bilderzeugung nach Auf nahme der Einzelbilder ist erfindungsgemäß möglich. Insbeson dere zur diagnostischen Auswertung des Bildes hat es sich als vorteilhaft erwiesen, wenn nach Erzeugung des Gesamtbildes, gegebenenfalls des dreidimensionalen Bildes eine Bildnachver arbeitung erfolgt, im Rahmen welcher beispielsweise eine be sondere Farbgebung einzelner relevanter Bildbereiche möglich ist, eine Mustererkennung, eine Segmentierung, eine Filterung oder dergleichen. Der Bildnachverarbeitung sind insoweit keine Grenzen gesetzt. Vielmehr können alle im Rahmen der digitalen Bildverarbeitung bekannten Bildverarbeitungsproze duren zum Einsatz kommen. Als besonders vorteilhaft ist es hierbei, wenn die Bildnachverarbeitung erfindungsgemäß online erfolgt, so daß das erzeugte Gesamtbild, gegebenenfalls das dreidimensionale Bild bereits als nachverarbeitetes Bild ausgegeben wird.For the doctor, it is particularly useful if fiction according to the image generation online during the single image acquisition is possible because he then immediately has an overview of the ge entire inner wall area already examined. Here can online imaging both regarding the two dimensional overall picture as well as the three-dimensional overall picture may be possible. Also an offline image generation after Auf Taking the individual images is possible according to the invention. In particular for the diagnostic evaluation of the image it has turned out to be proven to be advantageous if, after generating the overall picture, if necessary, an image review of the three-dimensional image work takes place within the framework of which, for example, a be special coloring of individual relevant image areas possible is, pattern recognition, segmentation, filtering or similar. The image postprocessing are so far no limits. Rather, everyone can digital image processing known image processing duren are used. It is particularly advantageous here if the image postprocessing according to the invention is online takes place so that the generated overall picture, possibly the three-dimensional image already as a post-processed image is issued.
Als besonders zweckmäßig hat es sich erwiesen, wenn im Rahmen der Bildnachverarbeitung und/oder der Bilddarstellung eine Darstellung als Virtual-Reality-Bild erfolgt. Die erfindungs gemäße Innenwand-Rekonstruktion in Form eines dreidimensiona len Bildes ermöglicht mit besonderem Vorteil diese Virtual- Reality-Darstellung, im Rahmen welcher der Hohlkörper an dem Anzeigemittel wie beispielsweise dem Monitor so dargestellt werden kann, als befände sich der Betrachter im Inneren des Hohlkörpers. Ausgehend von seiner Position kann er sich dann, wie bei Virtual-Reality-Darstellungen üblich, im Hohlkörper, als beispielsweise dem Organ oder dem Gefäß mit Hilfe eines entsprechenden Steuerungs- oder Bewegungsmittels (beispielsweise Helm, Handschuh oder dgl.) in alle Raumrich tungen bewegen und seine Blickrichtung verändern. Die Dar stellungsbereiche und Größe der Innenwand des endoskopisch untersuchten Hohlkörpers ändern sich dann mit Änderung der Position und/oder Blickrichtung des Betrachters, so daß eine Beurteilung sämtlicher Innenwandbereiche möglich ist.It has proven particularly useful if in the frame post-processing and / or image display Displayed as a virtual reality image. The fiction appropriate interior wall reconstruction in the form of a three-dimensional len picture enables with particular advantage this virtual Reality representation in which the hollow body on the Display means such as the monitor shown in this way can be as if the viewer were inside the Hollow body. Based on his position, he can then as usual with virtual reality images, in the hollow body, than, for example, the organ or the vessel with the help of a appropriate control or movement means (e.g. helmet, glove or the like) in all room directions moves and change his direction of vision. The dar Positions and size of the inner wall of the endoscopic examined hollow body then change with the change of Position and / or viewing direction of the viewer, so that a Assessment of all interior wall areas is possible.
Schließlich kann gemäß einer zweckmäßigen Weiterbildung des Erfindungsgedankens vorgesehen sein, daß zu jedem Einzelbild eine Information bezüglich des Aufnahmezeitpunktes ermittelt wird, so daß im Rahmen einer Offline-Bilderzeugung oder einer späteren Ausgabe, beispielsweise nachdem die Bilddaten in der Bildverarbeitungseinrichtung abgespeichert wurden, welche vorher online verarbeitet und ausgegeben wurden, eine Dar stellung der zeitlichen Bewegung des Hohlkörpers möglich ist. Dies ermöglicht beispielsweise die nachträgliche Betrachtung der Magen- oder Darmtätigkeit über den Zeitraum der Endo skopuntersuchung.Finally, according to an expedient development of the Invention concept should be provided that for each frame information regarding the time of admission is determined is, so that in the context of an offline image generation or later output, for example after the image data in the Image processing device were saved, which previously processed and issued online, a dar position of the temporal movement of the hollow body is possible. This enables, for example, retrospective consideration gastric or intestinal activity over the period of endo scope examination.
Neben dem erfindungsgemäßen Verfahren betrifft die Erfindung ferner ein System zur Durchführung des Verfahrens, umfassend ein Endoskop und eine Einrichtung zur Ausgabe der mit dem Endoskop aufgenommenen Bilder bzw. Bilddaten in Form von Videosignalen. Das System zeichnet sich erfindungsgemäß da durch aus, daß Mittel zum Digitalisieren der Videobildsignale vorgesehen sind, und daß eine Bildverarbeitungseinrichtung vorgesehen ist, mittels welcher durch Überlagerung und/oder Zusammensetzen der digitalisierten Videobildsignale mehrerer Einzelbilder unterschiedliche Bereiche der Innenwand des zu untersuchenden Hohlkörpers ein Gesamtbild erzeugbar ist, wel ches naturgemäß an einer entsprechenden Anzeigeeinrichtung ausgebbar ist.In addition to the method according to the invention, the invention relates further comprising a system for performing the method an endoscope and a device for outputting the with the Endoscope recorded images or image data in the form of Video signals. The system is characterized according to the invention from that means for digitizing the video image signals are provided, and that an image processing device is provided, by means of which by superimposition and / or Composing the digitized video image signals of several Single images different areas of the inner wall of the examining hollow body an overall picture can be generated, wel ches naturally on a corresponding display device can be spent.
Neben weiterer erfindungsgemäßer Merkmale, wie sie in den Unteransprüchen angegeben sind, umfaßt das System ferner ein Positions- und/oder Orientierungserfassungssystem zur Ermitt lung der Positions- und/oder Orientierungsdaten, umfassend ein oder mehrere am, im oder im Bereich des Hohlkörpers an bringbare Sensorelemente, das oder die mit einem oder mehre ren externen Sensorelementen zusammenwirken. Bei diesen Sen sorelementen kann es sich vorteilhaft um entsprechende Spulen handeln, die Magnetfelder erzeugen, welche mittels des oder der anderen Sensorelemente gemessen werden können. Die am, im oder im Bereich des Hohlkörpers anbringbaren Sensorelemente können erfindungsgemäß am Endoskop fest angeordnet sein, oder separat von diesem plazierbar, beispielsweise im Magen selbst ablegbar sein. Jedwede Anwendung ist hier denkbar, solange sie zu einer korrekten, koordinatengebundenen Ermittlung der relevanten Daten führt. So hat es sich als besonders zweck mäßig erwiesen, wenn das Positions- und/oder Orientierungser fassungssystem zu Erzeugung digitalisierter Posi tions- und/oder Orientierungsdaten ausgebildet ist, wobei zweckmäßi gerweise zu jedem Einzelbild entsprechende Daten erfaßt wer den. Die Erzeugung in digitaler Form ist insbesondere im Hin blick auf die Zuordnung der ohnehin in digitalisierter Form gelieferten Videobildsignale von Vorteil.In addition to other features of the invention, as shown in the The system further comprises a subclaims Position and / or orientation detection system for the determination position and / or orientation data, comprehensive one or more on, in or in the area of the hollow body bringable sensor elements, the one or more external sensor elements interact. With these sen sensor elements, it can advantageously be appropriate coils act that generate magnetic fields, which by means of or of the other sensor elements can be measured. The on, in or sensor elements that can be attached in the region of the hollow body can be arranged according to the invention on the endoscope, or can be placed separately from this, for example in the stomach itself be discardable. Any application is conceivable here, as long as for a correct, coordinate-related determination of the relevant data leads. So it turned out to be particularly useful moderately proven if the position and / or orientation frame system for generating digitized posi tion and / or orientation data is formed, where appropriate corresponding data for each individual frame is recorded the. The generation in digital form is particularly in the way look at the assignment of the digitized anyway supplied video image signals advantageous.
Weitere Vorteile, Merkmale und Einzelheiten der Erfindung er geben sich aus den im folgenden beschriebenen Ausführungs beispielen sowie anhand der Zeichnungen. Dabei zeigen:Further advantages, features and details of the invention he result from the execution described below examples and based on the drawings. Show:
Fig. 1 eine Prinzipskizze zur Darstellung des erfindungsge mäßen Systems einer ersten Ausführungsform, Fig. 1 is a schematic diagram showing the erfindungsge MAESSEN system of a first embodiment,
Fig. 2 eine Prinzipskizze zur Darstellung der Gesamtbilder zeugung durch korrelationsbedingte Überlagerung, und Fig. 2 is a schematic diagram showing the overall images generation by correlation-related overlay, and
Fig. 3 eine Prinzipskizze zur Darstellung des erfindungsge mäßen Systems gemäß einer zweiten Ausführungsform. Fig. 3 is a schematic diagram showing the system according to the invention, according to a second embodiment.
Fig. 1 zeigt eine Prinzipskizze des erfindungsgemäßen Sy stems, wobei hier als Hohlkörper 1 der Magen untersucht wird. Über die Speiseröhre 2 ist der Glasfiberschlauch des Endo skops 3 in den Magen eingeführt. Das Endoskop ist nur prinzi piell dargestellt, sein Aufbau ist bekannt. Dem Endoskop 3 ist eine Kamera 4 zugeordnet, welche die Bilder, die mittels des Endoskops betrachtbar sind, in Form von Videobildsignalen in digitalisierter Form aufbereitet und an eine Bildverarbei tungseinrichtung 5 liefert. Das System umfaßt ferner ein Positions- und/oder Orientierungssystem 6. Dieses weist ein Sensorelement 7 auf, welches an der Spitze des Endoskops an geordnet ist und über eine Leitung 8 mit dem System 6 kommu niziert. Das Sensorelement 7, welches auch als kombiniertes, mehrere Elemente umfassendes Sensorelement ausgebildet sein kann, ist mitsamt dem Endoskop 3 beweglich. Das System 6 um faßt ferner ein oder mehrere externe, freistehende Sensorele mente 9, welche als Bezugsbasis für die Positionsdatenermitt lung und mit dem System 6 über eine Leitung 10 in Verbindung stehen. Bei den Sensorelementen 7, 9 kann es sich um Sende- und Empfangsspulen handeln, d. h., es erfolgt eine Datenerfas sung basierend auf den jeweils erzeugten Magnetfeldern. Die Positions- und/oder Orientierungsdaten werden zu jedem Ein zelbild, welches mittels der Kamera 4 aufnehmbar ist, erfaßt und an die Bildverarbeitungseinrichtung 5 gegeben, wobei diese Daten bevorzugt bereits in digitalisierter Form erzeugt und weitergegeben werden. In der Bildverarbeitungseinrichtung 5 werden die erfaßten Positions- und/oder Orientierungsdaten den einzelnen Bildern zugeordnet. An der Kamera 4 ist, ge strichelt dargestellt, ein Ausgang 13 an einen Videorecorder vorgesehen. Fig. 1 shows a schematic diagram of the system according to the invention, the stomach being examined here as the hollow body 1 . The glass fiber tube of the endoscope 3 is inserted into the stomach via the esophagus 2 . The endoscope is only shown in principle, its structure is known. The endoscope 3 is assigned a camera 4 , which processes the images, which can be viewed by means of the endoscope, in the form of video image signals in digitized form and delivers them to an image processing device 5 . The system also includes a position and / or orientation system 6 . This has a sensor element 7 , which is arranged at the tip of the endoscope and communicates with the system 6 via a line 8 . The sensor element 7 , which can also be designed as a combined sensor element comprising several elements, is movable together with the endoscope 3 . The system 6 also includes one or more external, free-standing sensor elements 9 , which are used as a reference for the position data determination and with the system 6 via a line 10 . The sensor elements 7 , 9 can be transmitting and receiving coils, ie data is recorded based on the magnetic fields generated in each case. The position and / or orientation data are acquired for each individual image which can be recorded by the camera 4 and are passed to the image processing device 5 , these data preferably already being generated and passed on in digitized form. The acquired position and / or orientation data are assigned to the individual images in the image processing device 5 . On the camera 4 , ge is shown in dashed lines, an output 13 is provided to a video recorder.
Die eigentliche Gesamtbilderzeugung erfolgt mittels der Bild verarbeitungseinrichtung 5. Durch Bewegen des Endoskops 3 werden eine Vielzahl von Einzelbildern von unterschiedlichen Bereichen des Hohlkörpers 1 aufgenommen und in digitalisier ter Form der Bildverarbeitungseinrichtung 5 zugeführt. In der Bildverarbeitungseinrichtung 5, die eine entsprechende Rech nereinrichtung aufweist, sind zum einen Korrelationsalgorith men niedergelegt, mittels welcher die gelieferten Einzelbil der miteinander korreliert werden, um sehr ähnliche oder an nähernd identische Bereiche zwischen den Einzelbildern zu er mitteln, so daß diese entsprechend überlagert oder zusammen gesetzt werden können. Den grob schematischen Ablauf zeigt Fig. 2. Links sind zwei Einzelbilder B1 und B2 gezeigt, wobei das Bild B1 ein zeitlich früher aufgenommenes Bild ist, das einen lokal etwas anders gelegenen Bereich der Hohlkörper innenwand zeigt als das Bild B2. Gezeigt sind ferner zwei schematisierte Korrelationsbereiche K1 und K2 innerhalb der jeweiligen Bilder. Die Bilder B1 und B2 sind bedingt durch den kreisförmigen Querschnitt des Endoskops kreisrund. In der Bildverarbeitungseinrichtung 5 können nun diese beiden Korre lationsbereiche K1 und K2 durch Korrelation ihrer Informa tionsinhalte, also der Signalinformation als einander sehr ähnlich beurteilt werden. Dieses Korrelationsergebnis ermög licht es, die beiden Bilder B1 und B2 zum in Fig. 2 rechts gezeigten Gesamtbild Bges zusammenzusetzen, wobei der in Fig. 2 gezeigte Korrelationsbereich Kges den beiden überlagerten Korrelationsbereichen K1 und K2 entspricht. Je mehr solcher Bilder miteinander korreliert und aneinander gehängt werden, desto weitläufiger kann das untersuchte Organ oder Gefäß dar gestellt werden. Sämtliche Korrelations-, Überlagerungs- und Zusammensetzungsschritte werden von der Bildverarbeitungsein richtung durchgeführt.The actual overall image generation takes place by means of the image processing device 5. By moving the endoscope 3 , a large number of individual images of different areas of the hollow body 1 are recorded and supplied to the image processing device 5 in digitized form. In the image processing device 5 , which has a corresponding computing device, on the one hand, correlation algorithms are laid down by means of which the individual images supplied are correlated with one another in order to determine very similar or approximately identical areas between the individual images, so that these are correspondingly superimposed or can be put together. The roughly schematic sequence is shown in FIG. 2. Two individual images B 1 and B 2 are shown on the left, image B 1 being an image taken earlier in time and showing a region of the inner wall of the hollow body that is locally somewhat different than image B 2 . Also shown are two schematic correlation areas K 1 and K 2 within the respective images. The images B 1 and B 2 are circular due to the circular cross section of the endoscope. In the image processing device 5 these two correlation areas K 1 and K 2 can now be assessed as very similar to one another by correlating their information contents, that is to say the signal information. This correlation result enables it, the two pictures B 1 and B picture shown on in FIG. 2, right 2 B ges assemble, the ges in Fig. 2 shown correlation zone K the two superimposed correlation areas K 1 and K 2 corresponds. The more such images are correlated and attached to one another, the more extensive the organ or vessel examined can be displayed. All correlation, overlay and composition steps are carried out by the image processing device.
Die Überlagerung/Zusammensetzung wird im Verhältnis zur aus schließlichen Korrelation einfacher, wenn die Posi tions- und/oder Orientierungsdaten des jeweiligen Einzelbildes be kannt sind. In Fig. 2 sind diese lokalen Daten mit P1 und P2 gekennzeichnet. Diese Daten können mittels des Systems 6 er mittelt werden. Hierauf basierend kann eine Normierung der Einzelbilder vorgenommen werden, d. h. ihre absolute Lage be züglich einander kann bestimmt werden, so daß im Rahmen der Rekonstruktion jedes Bild an den richtigen Ort eingesetzt werden kann.The overlay / composition becomes easier in relation to the exclusive correlation if the position and / or orientation data of the respective individual image are known. In FIG. 2, this local data with P 1 and P 2 are marked. This data can be determined by means of the system 6 . Based on this, the individual images can be normalized, ie their absolute position with respect to one another can be determined, so that each image can be used in the correct place as part of the reconstruction.
Neben der reinen Bilderzeugung ist die Bildverarbeitungsein richtung 5 auch zur Korrektur etwaiger Bildartefakte ausge bildet. Diese können optischer Natur sein, bedingt durch die konkrete Ausbildung der Endoskopoptik. Diese optischen Arte fakte können in dem sogenannten "Froschaugen-Effekt", et waigen Verzerrungen, Vergrößerungen oder Verkleinerungen oder dgl. liegen und können vor dem Überlagern/Zusammensetzen der Einzelbilder für jedes Einzelbild korrigiert werden. Daneben ist die Bildverarbeitungseinrichtung 5 auch zur Korrektur et waiger aus einer Bewegung des Hohlkörpers, beispielsweise des Magens, resultierender Bildartefakte basierend auf den erfaß ten Positions- und/oder Orientierungsdaten ausgebildet. Diese Positions- und/oder Orientierungsdaten ermöglichen wie be schrieben die Ermittlung der konkreten Lagebeziehung des auf genommenen Bildes in einem Koordinatensystem, welches von den Sensorelementen aufgespannt wird.In addition to the pure image generation, the image processing device 5 is also formed to correct any image artifacts. These can be of an optical nature, due to the specific design of the endoscope optics. These optical artefacts can lie in the so-called "frog eye effect", et waigen distortions, enlargements or reductions or the like. And can be corrected for each individual image before overlaying / composing the individual images. In addition, the image processing device 5 is also designed to correct et artifacts resulting from movement of the hollow body, for example the stomach, based on the detected position and / or orientation data. As described, these position and / or orientation data enable the specific positional relationship of the recorded image to be determined in a coordinate system which is spanned by the sensor elements.
Die Bildverarbeitungseinrichtung 5 kann im einfachsten Fall zur Erzeugung eines Gesamtbildes ausgebildet sein, welche in soweit zweidimensional ist, jedoch den gesamten, mittels des Endoskops beobachteten Bereich darstellt. Die Bilderzeugung kann online oder offline erfolgen. Alternativ hierzu kann die Bildverarbeitungseinrichtung 5 auch zur Erzeugung eines drei dimensionalen Bildes ausgebildet sein, welches ebenfalls auf der Anzeigeeinrichtung 11 wie beispielsweise einem Fernseher oder einem Monitor angezeigt werden kann. Daneben kann die Bildverarbeitungseinrichtung 5 auch zur Ausgabe des drei dimensionalen Bildes als Virtual-Reality-Bild ausgebildet sein, welches mittels einer nichtgezeigten Steue rungs- und/oder Bewegungseinrichtung entsprechend bewegbar ist. Schließlich ist sie für eine etwaige Bildnachverarbeitungs prozedur ausgebildet. Zur Darstellung etwaiger Bewegungen des Hohlkörpers kann die Bildverarbeitungseinrichtung zur Zu ordnung des Aufnahmezeitpunktes zu jedem Einzelbild und einer entsprechenden zeitbezogenen Darstellung ausgebildet sein.In the simplest case, the image processing device 5 can be designed to generate an overall image which is two-dimensional to the extent that it represents the entire area observed by means of the endoscope. Images can be generated online or offline. As an alternative to this, the image processing device 5 can also be designed to generate a three-dimensional image, which can also be displayed on the display device 11, such as, for example, a television or a monitor. In addition, the image processing device 5 can also be designed to output the three-dimensional image as a virtual reality image, which can be moved accordingly by means of a control and / or movement device (not shown). Finally, it is designed for any image post-processing procedure. To display any movements of the hollow body, the image processing device can be designed to assign the time of recording to each individual image and a corresponding time-related representation.
Fig. 3 zeigt ein weiteres erfindungsgemäßes System, welches insoweit dem in Fig. 1 gezeigten System entspricht. Jedoch sind hier Sensorelemente 12 verwendet, die im Inneren des Hohlkörpers, hier im Magen, ablegbar sind und mit dem in Fig. 1 bekannten Sensorelement 9 zusammenwirken. Auch mit diesem System ist eine hinreichende Positionserfassung möglich, da zwar die Sensorelemente 12 bei einer Bewegung des Magens ebenfalls bewegt werden, jedoch im Zusammenwirken mit dem Sensorelement 9 die Magenbewegung selbst ermittelbar ist und bezogen auf die feststehende Spitze des Endoskops, die bei einer Bewegung des Magens nicht bewegt wird, eine Ermittlung der entsprechenden Positions- und/oder Orientierungsdaten möglich ist. FIG. 3 shows a further system according to the invention, which in this respect corresponds to the system shown in FIG. 1. However, here sensor elements 12 are used, which can be deposited inside the hollow body, here in the stomach, and which interact with the sensor element 9 known in FIG. 1. Adequate position detection is also possible with this system, since the sensor elements 12 are also moved when the stomach is moved, but the stomach movement itself can be determined in cooperation with the sensor element 9 and with reference to the fixed tip of the endoscope, which occurs when the stomach moves Stomach is not moved, a determination of the corresponding position and / or orientation data is possible.
Claims (26)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE19800765A DE19800765A1 (en) | 1998-01-12 | 1998-01-12 | Method of generating image representations of surface of inner wall of hollow bodies |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE19800765A DE19800765A1 (en) | 1998-01-12 | 1998-01-12 | Method of generating image representations of surface of inner wall of hollow bodies |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| DE19800765A1 true DE19800765A1 (en) | 1999-04-08 |
Family
ID=7854349
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| DE19800765A Ceased DE19800765A1 (en) | 1998-01-12 | 1998-01-12 | Method of generating image representations of surface of inner wall of hollow bodies |
Country Status (1)
| Country | Link |
|---|---|
| DE (1) | DE19800765A1 (en) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10015826A1 (en) * | 2000-03-30 | 2001-10-11 | Siemens Ag | Image generating system for medical surgery |
| WO2002021894A2 (en) * | 2002-01-21 | 2002-03-21 | Phonak Ag | Method for the reconstruction of the geometry of the inner surface of a cavity |
| WO2004030528A1 (en) * | 2002-10-01 | 2004-04-15 | Spinemed Australia Pty Limited | Mapping and viewing device for an intervertebral disc |
| WO2004089195A1 (en) * | 2003-04-01 | 2004-10-21 | Boston Scientific Limited | Autosteering vision endoscope |
| DE10318205A1 (en) * | 2003-04-22 | 2004-11-25 | Siemens Ag | Computer supported 3-D imaging for capsule endoscope takes sequence of single images and processes them using overlapping pattern recognition algorithm to display surroundings |
| WO2005077272A1 (en) * | 2004-02-11 | 2005-08-25 | Karl Storz Gmbh & Co. Kg | Method and device for creating at least one section of a virtual 3d model of a body cavity |
| DE102011005256A1 (en) * | 2011-03-08 | 2012-09-13 | Olympus Winter & Ibe Gmbh | Method and system for displaying video endoscopic image data of a video endoscope with discrete viewing directions |
| US8435172B2 (en) | 2004-09-30 | 2013-05-07 | Boston Scientific Scimed, Inc. | Automated control of irrigation and aspiration in a single-use endoscope |
| EP2599433B1 (en) * | 2011-11-29 | 2020-03-11 | Karl Storz SE & Co. KG | Device for endoscopic 3d data acquisition |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE3738667A1 (en) * | 1986-11-13 | 1988-05-26 | Olympus Optical Co | METHOD FOR PROCESSING ENDOSCOPIC IMAGES |
-
1998
- 1998-01-12 DE DE19800765A patent/DE19800765A1/en not_active Ceased
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE3738667A1 (en) * | 1986-11-13 | 1988-05-26 | Olympus Optical Co | METHOD FOR PROCESSING ENDOSCOPIC IMAGES |
Non-Patent Citations (3)
| Title |
|---|
| DEGUCHI, K., u.a.: 3-D Shape Reconstruction from Endoscope Image Sequence by the FactorizationMethod, IEICE Trans. Inf. & Syst., Vol. E79-D, No. 9, September 1996, S. 1329-1336 * |
| GREEN, W.B.: Digital Image Processing, Van Nostand Reinhold, 1989, S. 107-111 * |
| SMITH, W.E., u.a.: Correction of Distortion in Endoscope Images, IEEE Trans. on Medical Imaging, Vol. 11, No. 1, March 1992, S. 117-122 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10015826A1 (en) * | 2000-03-30 | 2001-10-11 | Siemens Ag | Image generating system for medical surgery |
| US6768496B2 (en) | 2000-03-30 | 2004-07-27 | Siemens Aktiengesellschaft | System and method for generating an image from an image dataset and a video image |
| WO2002021894A2 (en) * | 2002-01-21 | 2002-03-21 | Phonak Ag | Method for the reconstruction of the geometry of the inner surface of a cavity |
| WO2002021894A3 (en) * | 2002-01-21 | 2002-10-10 | Phonak Ag | Method for the reconstruction of the geometry of the inner surface of a cavity |
| WO2004030528A1 (en) * | 2002-10-01 | 2004-04-15 | Spinemed Australia Pty Limited | Mapping and viewing device for an intervertebral disc |
| WO2004089195A1 (en) * | 2003-04-01 | 2004-10-21 | Boston Scientific Limited | Autosteering vision endoscope |
| DE10318205A1 (en) * | 2003-04-22 | 2004-11-25 | Siemens Ag | Computer supported 3-D imaging for capsule endoscope takes sequence of single images and processes them using overlapping pattern recognition algorithm to display surroundings |
| US7343036B2 (en) | 2003-04-22 | 2008-03-11 | Siemens Aktiengesellschaft | Imaging method for a capsule-type endoscope unit |
| WO2005077272A1 (en) * | 2004-02-11 | 2005-08-25 | Karl Storz Gmbh & Co. Kg | Method and device for creating at least one section of a virtual 3d model of a body cavity |
| US7794388B2 (en) | 2004-02-11 | 2010-09-14 | Karl Storz Gmbh & Co. Kg | Method and apparatus for generating at least one section of a virtual 3D model of a body interior |
| US8435172B2 (en) | 2004-09-30 | 2013-05-07 | Boston Scientific Scimed, Inc. | Automated control of irrigation and aspiration in a single-use endoscope |
| USRE46007E1 (en) | 2004-09-30 | 2016-05-24 | Boston Scientific Scimed, Inc. | Automated control of irrigation and aspiration in a single-use endoscope |
| DE102011005256A1 (en) * | 2011-03-08 | 2012-09-13 | Olympus Winter & Ibe Gmbh | Method and system for displaying video endoscopic image data of a video endoscope with discrete viewing directions |
| EP2599433B1 (en) * | 2011-11-29 | 2020-03-11 | Karl Storz SE & Co. KG | Device for endoscopic 3d data acquisition |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0652726B1 (en) | Process for imaging the interior of bodies | |
| DE60212313T2 (en) | Apparatus for ultrasound imaging of a biopsy cannula | |
| DE102007029884A1 (en) | A method and apparatus for generating an overall image composed of a plurality of endoscopic frames from an interior surface of a body cavity | |
| DE10315242B4 (en) | Method and device for realistic three-dimensional imaging | |
| WO1998046120A2 (en) | Endoscopic system | |
| DE10358735A1 (en) | Catheter apparatus has controller to reconstruct two dimensional image to three dimensional image based on position/azimuth data of catheter and controls image photography operation with respect to detected position of catheter | |
| DE10015826A1 (en) | Image generating system for medical surgery | |
| DE102005023907A1 (en) | Method for determining positron emission measurement information in the context of positron emission tomography | |
| DE10247299A1 (en) | Image processing unit for medical X-ray apparatus comparing actual image of body volume with preceding image for adjacent movement phase of imaged body volume | |
| DE19843408A1 (en) | Catheter positioning method | |
| WO2009149961A1 (en) | Optical observation apparatus with multi-channel data insertion | |
| DE102004022902B4 (en) | Medical imaging and processing method, computed tomography device, workstation and computer program product | |
| EP1713387A1 (en) | Method and device for creating at least one section of a virtual 3d model of a body cavity | |
| DE102004016586A1 (en) | Image reconstruction device for an X-ray device and method for local 3D reconstruction of an object region | |
| DE10323217A1 (en) | Optical coherent tomography system of examination of tissues or organs, has position sensor at tip of catheter and reconstructs volume image based on sectional images and associated position data | |
| DE102004036726A1 (en) | Method and device for visualizing deposits in blood vessels, in particular in coronary vessels | |
| DE19800765A1 (en) | Method of generating image representations of surface of inner wall of hollow bodies | |
| EP1920422B1 (en) | Method and device for navigating and measuring in a multidimensional image data set | |
| WO2004107740A2 (en) | Method and device for displaying medical patient data on a medical display unit | |
| DE102007029888B4 (en) | Medical diagnostic imaging and apparatus operating according to this method | |
| DE102006004006B3 (en) | High resolution image generation method for use in fiber optical system, involves generating superposition image by superposition of several movement-compensated low resolution images | |
| DE19731928C1 (en) | Diagnostic apparatus | |
| DE102008040802B4 (en) | Method for the quantitative representation of blood flow as well as surgical microscope and analysis system | |
| DE102010013413A1 (en) | Endoscope for imaging abdomen of patient during laparoscopy, has working head with camera for providing image of interior of patient, and lens arranged upstream to camera, where lens is formed as fish eye lens with preset viewing angle | |
| EP3499461A1 (en) | Representation of markers in medical imaging |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| OAV | Applicant agreed to the publication of the unexamined application as to paragraph 31 lit. 2 z1 | ||
| OP8 | Request for examination as to paragraph 44 patent law | ||
| 8131 | Rejection |