DE102006011707B4

DE102006011707B4 - Verfahren und Vorrichtung zum Erzeugen einer strukturfreien fiberskopischen Aufnahme

Info

Publication number: DE102006011707B4
Application number: DE102006011707A
Authority: DE
Inventors: Volker Daum; Klaus Spinnler; Robert COURONNÉ; Matthias Elter; Stephan Rupp; Christian Winter
Original assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV; Friedrich Alexander Univeritaet Erlangen Nuernberg FAU
Current assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV; Friedrich Alexander Univeritaet Erlangen Nuernberg FAU
Priority date: 2006-03-14
Filing date: 2006-03-14
Publication date: 2010-11-18
Anticipated expiration: 2026-03-15
Also published as: DE102006011707A1; US7801405B2; US20090092363A1; WO2007104542A1; EP1994501A1

Abstract

Verfahren zum Erzeugen eines Bildes mittels eines Faserbündels (102) aus einer Mehrzahl von Lichtleitern (106) und eines Sensors (104), der an einer Sensorseite des Faserbündels (102) angeordnet ist, um durch die Lichtleiter (106) geleitetes Licht aufzunehmen, mit folgenden Schritten:
Bereitstellen von Abbildungsparametern eines Lichtleiters (106), welche geometrische Eigenschaften eines von dem Lichtleiter (106) auf dem Sensor erzeugten Intensitätsverlaufs beschreiben;
Aufnehmen einer Intensitätsaufnahme (302) mittels des Sensors;
Bestimmen eines Amplitudenwerts für den Lichtleiter durch Anpassen einer 2-dimensionalen unsymmetrischen Gaußfunktion des Amplitudenwertes und der Abbildungsparameter an die Intensitätsaufnahme (302); und
Verwenden des Amplitudenwertes als Bildinformation des Lichtleiters, um das Bild zu erzeugen, und Interpolieren mehrerer Amplitudenwerte, um aus räumlich unregelmäßig angeordneten Amplitudenwerten der Lichtleiter des Faserbündels das Bild durch Interpolation der Amplitudenwerte in einem geordneten rechtwinkligen Pixelgitter zu erzeugen, wobei zur Interpolation für jedes Pixel des Pixelgitters gewichtete Amplitudenwerte der natürlichen Nachbarn (q₁...q₅) gebildet werden, wobei die Gewichtsfaktoren...

Description

Die vorliegende Erfindung befasst sich mit einer Vorrichtung und einem Verfahren, welche die Möglichkeit schaffen, mittels faseroptischer Systeme störungsfreie Bilder zu erzeugen und insbesondere damit, wie die Aufnahme eines bildgebenden Systems, bei dem ein Bild mittels eines Bündels von mehreren geordneten Lichtleitern auf einen Sensor abgebildet wird, geeignet bearbeitet werden kann, um ein Bild ohne störende Strukturen zu erhalten.
Optische Systeme, bei denen ein Bild über eine Optik auf einen bildgebenden Sensor transferiert Wird, sind vielfach im Einsatz. Ohne den bildgebenden Einsatz von Endoskopen wären heute viele Anwendungen unter anderem im Bereich der Diagnostik, Inspektion, Qualitätssicherung und Forschung undenkbar. Dabei werden zum einem linsenoptische Systeme verwendet, also Systeme mit einem starren Aufbau innerhalb dessen das Bild durch eine Linsenanordnung ähnlich einem Objektiv einer Kamera auf den Sensor übertragen wird. Zum anderen kommen faseroptische Systeme zum Einsatz, die aus einer großen Anzahl geordneter lichtleitender in einem Bündel zusammengefasster Fasern bestehen, wobei das Licht durch die Vielzahl von Fasern auf einen Sensor geleitet wird.
Die derzeitige Präferenz für linsenoptische Systeme liegt unter anderem in deren Bildqualität begründet. Wo ein im wortwörtlichen Sinne weitaus „flexiblerer” Einsatz gefordert ist (kleiner, schwieriger Zugang), muss auf hochwertige halbstarre oder biegsame Endoskope (Fiberskope) mit geringen Arbeitsdurchmessern und Glasfaser-Bildleitern zurückgegriffen werden. Beim Einsatz eines solchen faseroptischen Systems aus mehreren Bildleitern wird typischerweise je einzelnem verwendeten Bildleiter ein endlicher Bereich des zu beobachtenden Objekts übertragen. Da bei vertretbaren Durchmessern des gesamten Faserbündels keine beliebig große Anzahl von einzelnen Fasern möglich ist und einzelne Fasern nicht mit beliebig kleinen Durchmessern hergestellt werden können, behindert bislang vor allem die schlechte Auflösung der übertragenen Bilddaten und die architekturbedingte Wabenstruktur eines solchen Systems einen adäquaten Einsatz dieser Geräte.
Der Bildleiter hochwertiger Fiberskope besteht aus einem regelmäßig geordneten Bündel von etwa 5000 bis 8000 Einzelfasern. Verglichen mit der Auflösung einer herkömmlichen Bewegtbildkamera (z. B. VGA: 640 × 480 > 300000 Bildpunkte bzw. Pixel) liegt dieser Wert damit weit unterhalb des Grenzwertes für sinnvolle Anwendungen. Typischerweise wird das mittels der Einzelfasern transportierte Bildsignal mit einer solchen herkömmlichen Bewegtbildkamera beobachtet. Die einzelnen Lichtleiter weisen meist eine Ummantelung auf, so dass sich aus der Ummantelung störende Strukturen in dem beobachteten Bild ergeben, die beispielsweise durch Tiefpassfilter geglättet oder adaptiv durch spektrale Maskierung reduziert werden können. Um die durch die wabenförmige Struktur eingeführten und zur Beurteilung eines Bildes höchst störenden Strukturen zu entfernen, existieren bereits Lösungen, die ein wabenfreies Bild auf der Grundlage der Helligkeitsinformation der Fasern interpolieren. Ebenso wird die Glättung der wabenförmigen Ummantelungsstrukturen beispielsweise durch deren Maskierung im Fourierraum erreicht. Maskierungen haben dabei den Nachteil, dass sie zwar den optischen Eindruck des aufgenommenen Bildes verbessern, nicht jedoch die Genauigkeit, mit der der Abbildungsort bestimmt werden kann, erhöhen.
Ein Problem, das es generell zu lösen gilt, wird in der deutschen Offenlegungsschrift DE 4318140 A1 behandelt. Dort wird beschrieben, wie die Positionen der Lichtpunkte, die durch die einzelnen Glasfasern auf einen höher auflösenden Sensor abgebildet werden, bestimmt werden können. Die Offenlegungsschrift zeigt, wie auf der Basis der bestimmten Faserkoordinaten eine Zuordnung der Lage der Fasern auf der Eingangsseite des Lichtfaserbündels zu der Position der von den Fasern auf dem Sensor hervorgerufenen Lichtpunkte möglich ist. Durch dieses Verfahren wird zwar eine Fehlabbildung, wie sie durch nicht parallele Fasern im Faserbündel hervorgerufen wird, verhindert, jedoch kann so keine Auflösungssteigerung erzielt werden.
Dem Stand der Technik entsprechenden Verfahren zur Bildbearbeitung eines mittels eines faseroptischen Systems aufgenommenen Bildes haben dabei den Nachteil, dass zwar die Darstellungsqualität bzw. die subjektive Wahrnehmungsqualität der Aufnahmen verbessert wird, diese jedoch zunächst keine tatsächliche Auflösungssteigerung bewirken, da zur Verbesserung der Auflösung das Einbringen zusätzlicher (Bild-)Information notwendig ist.
Ist die Geometrie der beobachteten Szene bzw. das Auftreten bestimmter geometrischer Formen innerhalb der Szene bereits im Vorhinein bekannt, kann dieses Vorwissen je Einzelaufnahme eingebracht werden, um die Auflösung tatsächlich zu erhöhen (z. B. durch Anwendung von kantenerhaltender Filter). Ist beispielsweise bekannt, dass innerhalb der Aufnahme ein gerade verlaufender Intensitätssprung verläuft, kann durch geeignetes Anwenden eines Filters der Verlauf der Kante in der Aufnahme mit höherer Präzision als der Auflösung eines einzelnen Bildpunktes bestimmt werden. Bei fiberoptischen Systemen, die zur Diagnose eingesetzt wer den, ist jedoch das Objekt bzw. die Form des zu beobachtenden Objektes a priori meist nicht bekannt, so dass derartige Verfahren nicht generell möglich sind.
Prinzipiell kann die Informationsdifferenz bzw. die Informationsredundanz mehrerer aufeinanderfolgender Aufnahmen aus variierenden Betrachtungspositionen oder -richtungen kombiniert werden, um ein Bild zu rekonstruieren, das eine höhere Auflösung besitzt als eine Einzelaufnahme. Für herkömmliche Videosequenzen, also aufeinanderfolgende Einzelbilder, die aus einem rechtwinkligen Gitter aus Bildpunkten bestehen, werden solche Verfahren unter dem Sammelbegriff „Superresolution” angewendet. Darüber hinaus gibt es erste Ansätze zur Erweiterung des Verfahrens zur Auflösungssteigerung für Bildpunkte, die in beliebigen Gitterstrukturen, also in nicht-rechwinkligen Koordinaten, vorliegen.
Mittels Bewegungserkennung ist somit prinzipiell auf für Fiberskope eine effektive Steigerung der Bildauflösung möglich. Für effektive Implementierung von Bewegungserkennungsalgorithmen (Motion Compensation) ist es jedoch erforderlich, als Grundlage für die Bewegungserkennung Bilder bereitzustellen, die frei von Artefakten, also von zusätzlichen den interessierenden Bildinhalt überdeckenden Strukturen sind.
Wie bereits oben erwähnt, existieren einige Ansätze, um ein mittels eines fiberskopischen Systems aufgenommenes Bild artefaktfrei zu machen, bzw. die in Systemen immer vorhandenen wabenförmigen Strukturen zu glätten bzw. zu interpolieren. Dabei wird unter anderem in der DE 10 2006 004 006 A1 gezeigt, wie für eine Mehrzahl von mittels einer einzigen optischen Faser belichteten Pixel eines Pixelarrays je ein einziger Intensitätswert bestimmt werden kann, der als die durch den Bildleiter übermittelte Bildinformation herangezogen wird. Darauf aufbauende Bildanalyse und Verarbeitungsalgorithmen basieren darauf, dass je einzelnem Lichtleiter lediglich ein einziger Bildpunkt verwendet wird, so dass in zusätzlichen Schritten ein wabenfreies Bild durch Interpolation zwischen den einzelnen Bildpunkten der Lichtleiter erzeugt werden kann. Dieses interpolierte Bild dient als Grundlage für eine darauf folgende Bewegungskompensation.
Als Bildinformation wird dabei diejenige Intensität verwendet, die sich durch Summation der Pixel, die sich in einem festgelegten Radius um ein zentrales Pixel befinden, ergibt. Das dort beschriebene Verfahren und andere dem Stand der Technik entsprechende Verfahren haben dabei den großen Nachteil, dass die Lokalisation der Faserzentren auf dem Sensor nur mit Pixelgenauigkeit, also mit der Genauigkeit, die durch die Größe eines einzelnen lichtempfindlichen Pixels vorgegeben ist, erfolgen kann. Dies verschlechtert die Anwendbarkeit solchermaßen erzeugter Bilder für eine darauf folgende Bewegungskompensation, die gerade darauf basiert, zusätzliche Bildinformation durch Bewegungserkennung zu erzeugen, wobei die Bewegungserkennung mit einer Genauigkeit vorgenommen werden kann, die unterhalb der Pixelgröße liegt. Eine Lokalisation der der Bewegungskompensation zugrunde liegenden Faserzentren mit Pixelgenauigkeit führt daher unweigerlich zu einer Auflösung, die weit unterhalb des möglichen theoretischen Wertes bleibt.
Darüber hinaus ist die Summation der Lichtintensitäten in einem kreisförmigen Gebiet um ein zentrales Pixel nur bedingt geeignet, die gesamte von einer Lichtleitfaser übertragene Intensität zu beschreiben. Beispielsweise führt eine Abweichung von einer kreisförmigen Geometrie des Lichtpunktes, wie sie auftreten kann, wenn eine einzelne Faser bzw. das Faserbündel einen Winkel relativ zum Sensor aufweist, dazu, dass die Gesamtintensität nicht korrekt ermittelt wird.
Die US 6885801 B1 befasst sich beispielsweise ebenfalls mit der Verbesserung von fiberskopischen Aufnahmen. Dabei werden die Charakteristiken eines Fiberskops benutzt, um ein Bild nachzuarbeiten, welches mittels des betreffenden Fiberskops aufgenommen wurde. Diese Charakteristiken können zum einen durch Kalibration gewonnen werden oder auch aus einer Datenbank, die die wahrscheinlichsten Charakteristiken des betreffenden Fiberskops enthält, entnommen werden. Dabei werden unter anderem In tensitätswerte für einzelne Lichtleiter mittels symmetrischer Maskierung und Mittelwertbildung der maskierten Pixel bestimmt.
Die Veröffentlichung von Dickens, Molly M. u. a.: „Method for depixelating micro-endoscopic images”, Opt. Eng. ISSN 0091-3286. 1999, Vol. 38, No. 11, S. 1836–1842 befasst sich mit Verfahren, mittels derer Mikro-Endoskopische Bilder korrigiert werden können. Dabei werden verschiedene Möglichkeiten und Filter vorgeschlagen, die dazu benutzt werden, eine spektrale Filterung des aufgenommenen Bildes durchzuführen, um die durch die fiberoskope verursachte Gitter-Struktur zu filtern. Die Aufnahmen werden also zunächst einer Spektraltransformation unterzogen, woraufhin hohe Frequenzkomponenten eliminiert werden, so dass im rücktransformierten Bild die Gitterstruktur unterdrückt ist.
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, eine Vorrichtung und ein Verfahren zu schaffen, mittels dessen die Erzeugung von störungsfreien Bildern für fiberskopische Systeme mit höherer Ortsauflösung und präziser ermittelten Intensitätswerten möglich ist.
Diese Aufgabe wird durch ein Verfahren gemäß Patentanspruch 1 und durch eine Vorrichtung gemäß Patentanspruch 6 gelöst.
Der vorliegenden Erfindung liegt dabei die Erkenntnis zugrunde, dass ein von störenden Strukturen befreites Bild mittels eines Faserbündels aus einer Mehrzahl von Lichtleitern und eines Sensors erzeugt werden kann, wenn für das System aus Faserbündel und Sensor Abbildungsparameter zur Verfügung gestellt werden, die die geometrischen Eigenschaften des von jedem einzelnen Lichtleiter auf dem Sensor erzeugten Intensitätsverlaufs beschreiben. Bei der Bildrekonstruktion wird für jeden einzelnen Lichtleiter ein Amplitudenwert bzw. eine Helligkeitsinformation dadurch erzeugt, dass eine Funktion des Amplitudenwerts und der Abbildungsparameter des betreffenden Lichtleiters an eine Intensitätsaufnahme des Sensors angepasst wird, so dass ein optimaler Amplituden- bzw. Helligkeitswert unter Berücksichtigung der geometrischen Abbildungseigenschaften für jede einzelne Faser erzeugt werden kann. Die Abbildungsparameter beschreiben dabei die geometrische Gestalt der Intensitätsverteilung, wie sie von jedem einzelnen Lichtleiter auf dem Sensor hervorgerufen wird. Die Abbildungsparameter können dabei beispielsweise durch eine einmalig durchzuführende Eichung bestimmt werden, bei der das Faserbündel bevorzugt homogen beleuchtet wird und bei der eine Parametrisierung an die individuellen Intensitätsverläufe der einzelnen Lichtleiter angepasst wird. Dies hat den großen Vorteil, dass durch Anpassen einer Parametrisierung die Koordinaten des Faserzentrums bzw. des Zentrums der Abbildung einer Faser auf dem Sensor mit einer Genauigkeit bestimmt werden kann, die im Wesentlichen von der Statistik (also von der Beleuchtungsintensität und der Belichtungszeit) abhängt und die die Genauigkeit bzw. die Ortsauflösung der einzelnen Pixel eines Sensors bei weitem übersteigen kann.
Darüber hinaus kann beim Eichen weitere Information über die Gestalt der Intensitätsverteilung gewonnen werden. Beispielsweise kann die räumliche Ausdehnung der Intensitätsverteilung in Abhängigkeit vom Abstand zum Zentrum dersel ben durch geeignete Parameter beschrieben werden. Dies kann beispielsweise durch Standardabweichungen einer an die Intensitätsverteilungen angepassten Gaußfunktion, die symmetrisch, bevorzugt jedoch unsymmetrisch sein kann, d. h. unterschiedliche Ausdehnung in X- und in Y-Richtung auf dem Sensor hat. Durch die zusätzliche Bestimmung von Parametern, die die Ausdehnung der Intensitätsverteilung auf dem Sensor beschreiben, kann weiteren physikalischen Effekten Rechnung getragen werden, wie beispielsweise einer Verkippung des Lichtleiters bzw. der Lichtfaser relativ zum Sensor, was eine elliptische Form der Lichtintensität auf dem Sensor zur Folge hat. Erfindungsgemäß kann somit auch in einem solchen Fall die Intensität der mittels eines einzigen Lichtleiters übertragenden Strahlung genau erfasst werden, was mit dem Stand der Technik entsprechenden Verfahren, die lediglich die Intensität einer Anzahl von Pixeln in festem Radius um ein zentrales Pixel aufsummieren, nicht möglich ist. Bei einem Ausführungsbeispiel der vorliegenden Erfindung wird daher zunächst eine Eichung durchgeführt, bei der als Abbildungsparameter die charakteristischen Parameter einer zwei-dimensionalen Gaußverteilung, also das Zentrum (X- und Y-Koordinate) und die Breite der Verteilung in zwei Dimensionen (σ_x und σ_y) bestimmt werden.
Diese Informationen werden bei der Verarbeitung von mittels des fiberskopischen Systems aufgenommenen Bildern dazu verwendet, um für jeden einzelnen Sensor einen optimierten Amplitudenwert zu erzeugen. Dabei wird Lichtleiter- individuell für die Intensitätsverteilungen, deren Zentrum und Position durch die Eichung bereits bekannt ist, die zur Eichung verwendete Parametrisierung bzw. Abbildungsfunktion verwendet, um diese in optimaler Art und Weise an die tatsächlich gemessenen anzupassen. Der bei der Anpassung frei zu bestimmende Amplitudenparameter ist somit ein Maß für die gesamte von der Faser übertragenen Lichtintensität und wird im weiteren Verlauf der Bildbearbeitung als Helligkeitsinformation der betroffenen Faser verwendet.
Durch das Anpassen bzw. Fitten einer vorher bestimmten Eichfunktion für jede einzelne Faser während der Bildrekonstruktion ist es also gewährleistet, dass die tatsächlichen Abbildungseigenschaften einer jeden Faser dazu verwendet werden, einen Helligkeitswert je Faser zu bestimmen. Somit können keine Helligkeitsverfälschungen durch Aufsummieren falscher, in Wahrheit nicht zur Abbildung der Faser gehörender Pixel, auftreten. Darüber hinaus ist durch die Eichung sichergestellt, dass die Position der Faserzentren mit einer Genauigkeit, die die Größe der einzelnen Pixel bei weitem übersteigt, bekannt ist. Die einzelnen Aufnahmen bieten somit eine hervorragende Ortsauflösung sowie Amplituden- bzw. Helligkeitswerte, die mit größtmöglicher Präzision bestimmt sind.
So erzeugte Bilder eignen sich daher ideal für eine nachfolgende Bewegungskompensation.
Bei einem Ausführungsbeispiel der vorliegenden Erfindung wird das Bild mittels eines faseroptischen Systems bestehend aus vielen einzelnen Lichtleiterfasern auf einen bildgebenden Sensor derart abgebildet, dass der von einer einzelnen Faser auf der Oberfläche des Sensors verursachte Intensitätsverlauf eine räumliche Ausdehnung hat, die größer ist als ein einzelnes lichtempfindliches Element bzw. Pixel des Sensors. Dies hat den Vorteil, dass die Abbildungsparameter, die den Abbildungsort des Lichtleiters auf dem Sensor angeben, deutlich genauer als die geometrische Ausdehnung eines Pixels bestimmt werden kann, da diese durch Schwerpunktbildung bzw. Anpassen einer geeigneten Funktion an den Intensitätsverlauf, der mittels mehrerer Pixel gemessen wird, bestimmt wird.
Denselben statistischen Effekt macht man sich bei der Bewegungskompensation zu Nutze, da bei der Detektion der Bewegung jeweils mehrere zusammengehörige Bildpunkte verwendet werden, so dass eine Abschätzung eines Bewegungsvektors von Bild zu Bild mit einer Genauigkeit erfolgen kann, die die intrinsische Auflösung, d. h. die Abstände benachbarter Bildpunkte, übersteigt.
Wird nun eine Aufnahme mittels des Sensors durchgeführt, kann aus einem Intensitätsbild des Sensors ein Niedrigauflösungsbild errechnet werden, welches die von jedem einzelnen Lichtleiter übermittelte Bildinformation in Form eines Intensitätswertes speichert. Bei Farbaufnahmen sind selbstverständlich auch die Speicherung von drei oder mehr Intensitätswerten je Lichtleiter möglich, um die Farbinformation zu erhalten. Ein einzelnes Niedrigauflösungsbild enthält somit eine Anzahl von Bildpunkten, die einzelnen Lichtleitern zugeordnet sind und die nicht in einem rechtwinkligen Gitter angeordnet sein müssen. Aufgrund der Erzeugung nur eines einzelnen Bildpunktes je Lichtleiter wird die wabenförmige Struktur der Lichtleiteranordnung, wie sie auf den einzelnen Sensoraufnahmen mit höherer Auflösung sichtbar ist, erfolgreich unterdrückt.
Dadurch wird insbesondere die Bewegungserkennung in aufeinanderfolgenden Aufnahmen ermöglicht, so dass erfindungsgemäß eine freibestimmbare Anzahl von aufeinanderfolgenden Aufnahmen dazu verwendet werden kann, eine Bewegung an Stellen des Bildes bzw. eine Translationsbewegung des gesamten Bildes zu detektieren und dazugehörige Bewegungsvektoren abzuleiten. Wie bereits oben gesagt, kann dabei die Bewegungsschätzung mit einer Genauigkeit durchgeführt werden, welche die ursprüngliche Bildauflösung übersteigt.
Dabei kann die Bewegungsschätzung zum einen entweder auf Basis des unregelmäßigen Gitters der einzelnen Lichtpunkte je Bildleiter durchgeführt werden. Alternativ dazu kann, da die Wabenstruktur aus dem Bild bereits eliminiert wurde, auf Basis des unregelmäßigen Gitters durch Interpolation ein regelmäßiges, rechteckiges Gitter von Bildpunkten, beispielsweise aber nicht notwendigerweise in der Auflösung des verwendeten Sensors, erzeugt werden. Eine Möglichkeit der Interpolation ist dabei beispielsweise, die Intensi tätswerte für jedes Pixel des regelmäßigen Gitters durch barizentrische Gewichtung der drei dem abgetasteten Pixel nächstliegenden Intensitätswerte zu gewinnen. Die Barizentrische Gewichtung basiert darauf, dass die Intensitätswerte der drei nächstliegenden Punkte, also derjenigen Punkte die ein Dreieck bilden, innerhalb dessen sich das abgetastete Pixel befindet, mit der Entfernung zum betreffenden Punkt gewichtet und überlagert werden, um den Intensitätswert für das abgetastete Pixel zu bestimmen.
Ein weiteres Beispiel, wie auf Basis der punktförmigen Helligkeit- bzw. Amplitudenwerte ein kontinuierliches Bild interpoliert werden kann, ist unter Verwendung der Delaunay-Triangulation bzw. unter Verwendung der dazu dualen Voronoi-Zellen, wie es weiter unten noch näher erläutert werden wird.
Um einen tatsächlichen Auflösungsgewinn zu erzielen, werden die detektierten Bewegungen der Einzelbilder bezüglich eines frei wählbaren Referenzbildes oder Referenzzeitpunktes rücktransformiert und überlagert. Dadurch ergibt sich eine Abbildung, die mehr Bildpunkte beinhaltet, als ein Einzelbild. Eine Auflösungssteigerung ergibt sich nunmehr dadurch, dass die Bewegungsvektoren mit einer Genauigkeit bestimmt werden können, die höher als die intrinsische Auflösung bzw. der Abstand zweier benachbarter Bildpunkte ist. In dem überlagerten Bild existieren also für bewegte Objekte mehrere Bildpunkte aus unterschiedlichen aufeinander folgenden Aufnahmen, die um weniger als die intrinsische Auflösung einer einzelnen Aufnahme verschoben sein können, so dass sich bei einer Kombination der Aufnahmen eine erhöhte Auflösung des rekonstruierten Bildes ergibt. Somit kann entweder ein Standbild erzeugt werden oder aber auch eine Bildsequenz bzw. ein Film, in dem jeweils einige aufeinanderfolgende Einzelbilder dazu verwendet werden, ein Bild des Films oder der Bildsequenz zu erzeugen.
Es wird somit eine Möglichkeit geschaffen, mittels eines flexiblen faseroptischen Systems sowohl Untersuchungen durchzuführen, bei denen die Verwendung von hoch aufgelösten Einzelbildern erforderlich ist, als auch Untersuchungen, die das Beobachten eines Vorgangs in Echtzeit erfordern. Insbesondere bei endoskopischen medizinischen Untersuchungen werden somit neue Diagnosemöglichkeiten erschlossen, die das Verwenden eines möglichst dünnen und flexiblen Bildleiters bei gleichzeitiger hoher Auflösung der Bilder erfordern.
Mit Verfahren der „Auflösungssteigerung” für bewegte Bildsequenzen (Superresolution) überwindet man also die Informationsgrenze, deren Kalkulation sich bislang auf Betrachtung von Einzelbildern bezog. Dies ähnelt dem Verhalten des menschlichen Auges beim Arbeiten mit Fiberskopen. Eine derartige Auflösungssteigerung eröffnet sowohl für die personelle Anwendung von Endoskopen, z. B. im Bereich der Sichtprüfung als auch für die rechnergestützte Weiterverarbeitung der Daten neue interessante Anwendungsgebiete für die flexible Endoskopie. Insbesondere in solchen Bereichen, die bislang wegen ihrer hohen Anforderung an die Auflösung den starren linsenoptischen Endoskopen vorbehalten war.
Die vorgestellte Anwendung der Auflösungssteigerung die auf hochqualitativen, störungsfreien Einzelaufnahmen basiert, lässt sich im Rahmen der Produktionsmöglichkeiten mit nahezu jeglicher Bauform (Auflösung, Sensorik zur Digitalisierung und ähnliches) von faseroptischen Übertragungssystemen realisieren und findet ihren Anwendungsbereich von der hochqualitativen Nachbearbeitung von Aufnahmen bis hin zur schnellen Echtzeitaufbereitung von Sequenzen.
Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend, bezugnehmend auf die beiliegenden Figuren, erläutert. Es zeigen:
1 eine fiberskopische Vorrichtung zum Erzeugen eines Hochauflösungsbildes;
2 die Abbildung von Lichtfasern auf quadratische lichtempfindliche Pixel;
3 ein Flussdiagramm für ein Verfahren zum Erzeugen von Hochauflösungsbildern;
4 ein Beispiel für eine experimentell bestimmte Auflösungssteigerung;
5 ein weiteres Beispiel für die erzielbare Auflösungssteigerung;
6 ein Beispiel für erfindungsgemäßes Bestimmen von Abbildungsparametern;
7 ein Beispiel eines erfindungsgemäßen Interpolationsverfahrens zum Erzeugen von strukturfreien Bildern;
8 ein Beispiel für ein erfindungsgemäß erzeugtes, strukturfreies Bild;
9 ein Flussdiagramm für ein erfindungsgemäßes Erzeugen eines Bildes mittels eines Faserbündels; und
10 ein Flussdiagramm für ein erfindungsgemäßes Verfahren zum Erzeugen von Abbildungsparametern eines Lichtleiters.
1 zeigt ein Beispiel für ein System mit einer Vorrichtung zum Erzeugen eines Hochauflösungsbilds bzw. eine Auswerteeinrichtung 100. Gezeigt ist darüber hinaus ein Faserbündel 102 und ein Sensor 104, der mit der erfindungsgemäßen Auswerteeinrichtung verbunden ist, so dass diese zum einen die Belichtungszeitpunkte des Sensors 104 steuern kann, sowie zum anderen die Bilddaten des Sensors 104 auslesen kann.
Ein Bild oder Objekt wird von dem Faserbündel 102, das aus einer Mehrzahl einzelner Lichtleiter 106 besteht, auf dem Sensor 104 abgebildet.
Die Abbildungssituation der einzelnen Lichtleiter auf dem Sensor ist anhand von 2 detailliert dargestellt, bei der vereinfachend annähernd kreisförmige Intensitätsverteilungen (beispielsweise Intensitätsverteilung 110) gezeigt sind, wie sie sich der quadratischen Pixelmatrix 112 beispielsweise eines CCD-Sensors überlagern.
Die Funktionsweise eines Verfahrens zum Erzeugen eines Hochauflösungsbildes soll nun im Folgenden anhand der 1 und 2 erläutert werden.
Wie es in 2 am Beispiel der kreisförmigen Intensitätsverteilung 110 beispielhaft gezeigt ist, belichtet eine einzelne Lichtfaser eine Mehrzahl von Pixeln der Pixelmatrix 112, wobei einzelne Pixel vollständig von der Faser beleuchtet werden und die Pixel am Rand der kreisförmigen Intensitätsverteilung 110 nur teilweise beleuchtet werden, so dass sich selbst bei vollständig homogener Beleuchtung der Faser und bei idealisiertem Lichttransport durch die Faser an den Rändern des Faserbildes Pixel befinden, die nur teilweise beleuchtet werden, also eine Intensität detektieren, die geringer ist als diejenige des Pixels im Zentrum. Darüber hinaus kann am Rand des kreisförmigen Querschnitts einer Lichtleitungsfaser aufgrund der optischen Eigenschaften der Faser die Intensität zusätzlich abnehmen.
Gemäß des erfindungsgemäßen Verfahrens existiert zu der Anordnung aus dem Faserbündel 102 und dem Sensor 104 ein Satz von Abbildungsparametern, welche unter anderem den Abbildungsort der Lichtleiter auf dem Sensor angeben. Der Abbildungsort ist dabei so zu verstehen, dass dieser das Zentrum des von einem einzelnen Lichtleiter bestrahlten Bereichs auf dem Sensor angibt. Als Beispiele für die Zentren, die in den Lageinformationen angegeben sind, sind in 2 die Punkte 114a, 114b und 114c gezeigt.
Die Punkte 114a bis 114c, die das Zentrum der Lichtverteilungen einzelner Lichtleiter bzw. Fasern auf dem Sensor 104 angeben, werden dabei bei einer Eichung bestimmt, wie es im Folgenden noch näher erläutert wird.
Zur eigentlichen Erzeugung des Hochauflösungsbildes mittels des Faserbündels 102 und des Sensors 104 wird zunächst von der Vorrichtung zum Erzeugen eines Hochauflösungsbildes 100 der Sensor 104 derart angesteuert, dass dieser eine Folge von aufeinanderfolgenden Intensitätsbildern aufnimmt.
Basierend auf den einzelnen Intensitätsbildern und den Abbildungsparametern wird von der Vorrichtung zum Erzeugen eines Hochauflösungsbildes 100 zunächst von jedem Intensitätsbild ein Niedrigauflösungsbild abgeleitet. Dabei wird zunächst für jede einzelne Faser ein Bildpunkt mit dazugehörigen Intensitätswerten bestimmt, so dass das resultierende Niedrigauflösungsbild zunächst eine Anzahl von Bildpunkten aufweist, die der Anzahl der Lichtleiter 106 des Faserbündels 102 entspricht. Alternativ kann natürlich auch eine geringere Anzahl von Bildpunkten erzeugt werden. Zur Bestimmung der den Abbildungsorten 114a bis 114c entsprechenden Intensitätswerten ist es erfindungsgemäß bevorzugt möglich, geeignete Parametrisierungen unter Berücksichtigung der Abbildungsparameter an die Intensitätsverteilung anzupassen (zu fitten), um einen Helligkeits- bzw. Amplitudenwert zu erhalten.
Das so erzeugte Bild weist keine wabenförmige Struktur mehr auf, wie in 2 zu erkennen ist, da die Ummantelungen der einzelnen Lichtfasern bzw. der zwischen den einzelnen Lichtleitern verbleibende Platz nicht beleuchtet wird. Ein erfindungsgemäß erzeugtes Bild besteht also aus zu den Fa serzentren korrespondierenden einzelnen Bildpunkten, die keinerlei derartige Wabenstruktur aufweisen und die nicht notwendiger Weise in einem gleichmäßigen rechtwinkligen Gitter angeordnet sind. Darüber hinaus ist der Abstand benachbarter Bildpunkte größer als der Abstand benachbarter lichtempfindlicher Pixel des Sensors 104.
Das Bild, welches zu einzelnen Faserzentren korrespondierende Bildpunkte aufweist, kann nun entweder als Niedrigauflösungsbild direkt weiterverwendet werden oder es kann, da die Wabenstruktur innerhalb des Bildes bereits entfernt ist, auf der Basis dieses Bildes ein Niedrigauflösungsbild durch Interpolation gewonnen werden, welches den Vorteil einer gleichmäßigen Anordnung von Bildpunkten besitzt. Dazu können die Bildpunkte 114a bis 114c beispielsweise mit einem Gitter 112, wie es in 2 zu sehen ist, abgetastet werden, wobei für jedes Pixel des Gitters 112 die Intensitätswerte beispielsweise durch Interpolation der drei nächst benachbarten Abbildungsorte bzw. deren zugeordneter Intensitätswerte gewonnen werden. Im Beispiel von 2 bilden die drei Abbildungsorte 114a bis 114c ein Dreieck, so dass für die quadratischen Pixel innerhalb dieses Dreiecks die Intensitätswerte aus einer gewichteten Superposition der drei Intensitätswerte der Abbildungsorte 114a bis 114c gewonnen werden können. Beispielsweise kann diese Gewichtung barizentrisch erfolgen, d. h. die Intensitätswerte an den Abbildungsorten werden mit dem Abstand der jeweiligen Abbildungsorte zum zu interpolierenden Pixel gewichtet und superponiert. Erfindungsgemäß kann beispielsweise eine geeignete Parametrisierung an die Intensitätsverteilung angefittet werden, um einen Helligkeit- bzw. Amplitudenwert zu erhalten.
Alternativ kann ein Niedrigauflösungsbild erzeugt werden, welches den Vorteil der regelmäßig angeordneten Pixel aufweist, und das somit eine mathematisch einfachere Nachbearbeitung des Bildes ermöglicht. Dabei ist die Pixelgröße, mit der das Bild der Abbildungsorte abgetastet wird, nicht vorgegeben sondern frei wählbar und an die jeweiligen Bedürfnisse bzw. Rahmenbedingungen anpassbar.
Um nun zu einer tatsächlichen Auflösungssteigerung zu gelangen, wird von der Vorrichtung zum Erzeugen eines Hochauflösungsbilds 100 eine Bewegungsschätzung zwischen den einzelnen Aufnahmen der Folge von Niedrigauflösungsbildern durchgeführt, wobei unerheblich ist, ob die Niedrigauflösungsbilder rechtwinklig abgetastete Pixeldarstellungen besitzen oder im Gitter der Abbildungsorte vorliegen. Bei der von der Vorrichtung zum Erzeugen eines Hochauflösungsbildes 100 durchgeführten Bewegungsverfolgung werden die einzelnen aufeinander folgenden Niedrigauflösungsbilder dahingehend verglichen, ob entweder das gesamte Bild bzw. Teilbereiche des Bildes an anderen geometrischen Orten aufeinanderfolgender Bilder nachgewiesen werden können, ob sich also Teile des Bildes bzw. das ganze Bild relativ zur vorhergehenden Aufnahme auf dem Sensor 104 bewegt haben. Dabei ist zu beachten, dass die Abbildungsorte 114a bis 114c sich selbstverständlich nicht auf dem Sensor 104 bewegen, da das Faserbündel 102 bezüglich des Sensors 104 starr angeordnet ist. Eine Bewegung wird somit also aufgrund von sich an den Abbildungsorten 114a bis 114c ändernden Lichtintensitäten detektiert. Sind beispielsweise in zwei aufeinanderfolgenden Aufnahmen einander korrespondierende Bildbereiche identifiziert, die sich gegeneinander verschoben haben, kann ein Bewegungsvektor definiert werden, der die Bewegung des Bildbereiches von einem Bild zu dem darauf folgenden Bild angibt. Die Relativbewegung einander korrespondierender Bildbereiche kann dabei mit einer Genauigkeit bestimmt werden, die diejenige der ursprünglichen Bildauflösung, also des Abstands benachbarter Abbildungsorte, übersteigt.
Um nun die Auflösung tatsächlich zu steigern, wird von der Vorrichtung zum Erzeugen eines Hochauflösungsbildes 100 eine Rücktransformation der bewegten Objekte zu einem Referenzzeitpunkt beispielsweise auf ein vorhergehendes Bild durchgeführt und die Intensitäts- bzw. Amplitudenwerte der einzelnen, rücktransformierten Niedrigauflösungsaufnahmen werden überlagert. Dadurch werden Bildbereiche, die sich im Laufe der Folge von Niedrigauflösungsbildern verändert bzw. bewegt haben, neue Bildpunkte hinzugefügt, die aufgrund der höheren Genauigkeit der Bewegungsvektoren nicht im ursprünglichen Bildraster liegen müssen. Diese Situation ist anhand der gestrichelt dargestellten Bildpunkte 116a bis 116c in 2 verdeutlicht. Die durch Rücktransformation und anschließende Superposition neu hinzugefügten Bildpunkte 116a bis 116c haben den Effekt, als würde im ursprünglichen Bild das zu beobachtende Objekt mit einer höheren Auflösung beobachtet, als sie der Sensor bzw. die Anordnung aus Sensor und Lichtleitern intrinsisch ermöglicht.
Durch die Vorrichtung zum Erzeugen eines Hochauflösungsbildes 100 wird es also ermöglicht, mittels der Verarbeitung einer Folge von aufgenommenen Intensitätsbildern unter Berücksichtigung von Abbildungsparametern ein Hochauflösungsbild zu erzeugen, welches eine höhere Auflösung hat als ein einzelnes Intensitätsbild.
Die Vorrichtung kann dabei so angewendet werden, dass entweder ein einzelnes stehendes Bild erzeugt wird, oder dass eine fortlaufende Folge von Bildern, also eine Bildsequenz oder ein Film mit gesteigerter Auflösung erzeugt wird. Dabei kann die Anzahl der einzelnen Intensitätsaufnahmen, die zur Erzeugung eines Hochauflösungsbildes herangezogen werden, frei an die jeweiligen Gegebenheiten angepasst werden. Ein Kriterium kann dabei beispielsweise die gewünschte Auflösungssteigerung sein, bzw. die Verzögerung, die sich aufgrund der Aufnahme mehrerer Bilder zwangsläufig einstellt, bis ein Hochauflösungsbild erzeugt ist. Die Verzögerung kann beispielsweise dann relevant sein, wenn eine Echtzeitbeobachtung mittels des erfindungsgemäßen Verfahrens ermöglicht werden soll, wobei naturgemäß eine Reihe von Intensitätsaufnahmen durchgeführt und bearbeitet werden müssen, bis das erste Hochauflösungsbild der Bildsequenz auf einem Bildschirm sichtbar gemacht werden kann.
In einer Erweiterung der oben beschriebenen Ausführungsform kann das Hochauflösungsbild in einer beliebig wählbaren Auflösung abgetastet bzw. erzeugt werden, wobei das Abtastgitter beispielsweise der physikalischen Auflösung eines Bildschirms zur Darstellung des Ergebnisses entsprechen kann.
Anhand von 3 sind im Folgenden noch einmal die aufeinanderfolgenden Schritte zur Durchführung des Verfahrens zur Auflösungssteigerung dargestellt. Um ein Hochauflösungsbild zu erzeugen, ist zunächst in einem Bildaufnahmeschritt 150 eine Folge von Intensitätsbildern aufzunehmen. Wie es oben beschrieben ist, werden in dem Erzeugungsschritt 152 Niedrigauflösungsbilder aus den Intensitätsbildern unter Zuhilfenahme von Abbildungsparametern, die beispielsweise einen Abbildungsort der Lichtleiter 106 auf dem Sensor 104 angeben, erzeugt. Im darauf folgenden Bewegungserkennungsschritt 154 werden die aufeinanderfolgenden Niedrigauflösungsbilder analysiert und es werden für bewegte Teile des Bildes bzw. für den Fall, dass sich das gesamte Bild bewegt hat, relative Bewegungsvektoren bestimmt. Im Syntheseschritt 156 wird das Hochauflösungsbild aus den Niedrigauflösungsbildern dadurch kombiniert, dass die detektierten Bewegungen zurücktransformiert werden und die rücktransformierten Bilder einander überlagert werden.
In einem zusätzlich, optionalen Abtastschritt 158 kann das erzeugte Hochauflösungsbild in einem beispielsweise rechtwinkligen Koordinatengitter abgetastet werden, um es auf einem externen Anzeigegerät auszugeben.
4 zeigt experimentelle Ergebnisse, wie sie durch das Anwenden eines Verfahrens zur Auflösungssteigerung erzielt werden können. Dargestellt ist das Resultat einer Bearbeitung von Aufnahmen aus einem flexiblen Endoskop mit Glasfaser-Bildleiter. Dabei zeigt Fig. a das Originalbild, das vom Sensor am proximalen Ende des Endoskops aufgezeichnet wurde. Fig. b zeigt, wie durch barizentrische Interpolation ein Bild erzeugt werden kann, dessen Wabenmuster reduziert, bzw. unterdrückt ist. Die Fig. c bis e zeigen von links nach rechts die Anwendung des Verfahrens mit zunehmender Komplexität. In Fig. c ist das Ergebnis bei Nutzung von fünf Einzelbildern, in Fig. d das Ergebnis bei Nutzung von zehn Einzelbildern und in Fig. e das Ergebnis bei Nutzung von fünfzehn Einzelbildern zur Auflösungssteigerung dargestellt. Wie es anhand der Figuren zu sehen ist, wird die Auflösung bei Erhöhung der Anzahl der zur Bestimmung des Hochauflösungsbildes verwendeten Niedrigauflösungsbilder kontinuierlich besser.
5 zeigt ein Beispiel, wie durch die Anwendung des Verfahrens die Lesbarkeit einer Schrift, die mittels eines faseroptischen Endoskops aufgezeichnet wurde, verbessert werden kann. In Fig. a ist dabei ein vergrößerter Ausschnitt einer Aufnahme nach der Reduktion der Wabenstruktur dargestellt, wobei die Fig. b denselben Ausschnitt nach Anwendung des Verfahrens zur Bewegungskompensation zeigt. Wie es anhand der beiden Figuren eindeutig zu erkennen ist, kann durch das Bewegungserkennungs-Verfahren die Auflösung real gesteigert werden, da Teile der Schriften erst in Fig. b lesbar werden. Dabei hat das Verfahren den großen Vorteil, dass Informationen über die Struktur des beobachteten Gegenstandes nicht bekannt sein müssen, um die Auflösungssteigerung zu erzielen. Im Falle einer Geraden 200, wie sie beispielsweise in Fig. a zu sehen ist, wäre eine Auflösungssteigerung auch durch einen auf die Erkennung von Geraden abgestimmten Filter möglich, der durch Anpassung (Fit) einer geeigneten Funktion die Gerade 200 innerhalb des Bildausschnittes mit hoher Genauigkeit finden könnte. Solche Verfahren würden jedoch nicht die runden Formen und komplizierten Muster der Schriftzeichen erkennen können, wie es hier der Fall ist.
Wie es anhand der 4 und 5 zu sehen ist, wurde die Bewegungskompensation mit unterschiedlichem Bildmateri al mit lesbarem und unlesbarem, strukturiertem und unstrukturiertem sowie transversal bzw. longitudinal verschobenem Inhalt untersucht und verglichen. Abgesehen wird von extrem strukturschwachen Szenen, die keinen Beitrag zur Bewegungsdetektion liefern und damit für die Erhöhung der räumlichen Auflösung keinen Ansatz bieten. Als Einflussgrößen wurden insbesondere die Anzahl der verwendeten Bilder um ein Basisbild herum und die unterschiedliche Struktur im Bild auf das subjektive Empfinden hin untersucht. Implementierung des Verfahrens für die Nachbearbeitung von fiberskopischen Bildmaterial bestätigen die deutliche Zunahme von Details (lesbare Schrift, Kanten, Strukturen) bei Kombination von mehreren Einzelaufnahmen.
Das Verfahren eignet sich sowohl für transversale als auch für longitudinale Bewegung der Endoskopspitze und ist robust gegenüber nicht homogener Bewegung innerhalb der Aufnahmen.
Oben beschriebenes Verfahren lässt sich als Auflösungssteigerung im Ortsbereich mit Interpolation aus ungleich verteilten Rastern klassifizieren bzw. bezeichnen. Eine modulare Trennung zwischen der Lokalisation von Bildinformation, der interpolierten Bewegungsschätzung, der Generierung eines hoch auflösenden Gitters und dessen kartesische Abtastung mit barizentrischer Erweiterung von Stützstellen ermöglicht die separate Nutzung und Umsetzung der jeweils eingesetzten Verfahren in Soft- und Hardware. Die Anpassung und Optimierung des Verfahrens auf beliebige Gitterstrukturen zur Gewinnung höher aufgelöster Bildinformation bietet drei wesentliche Vorteile:

1. Zur Generierung des höher aufgelösten Bildes werden statt kartesisch interpolierten Aufnahmen, wie sie herkömmlich durch den Auflösungsunterschied Videokamera-Glasfaserbündel vorliegen, direkt die Helligkeit der Faserzentren verwendet.
2. Konstruktiv bedingte Abweichungen der hexagonalen Struktur eines Faserbündels haben keinen negativen Einfluss auf das Ergebnis.
3. Das Verfahren ist robust gegenüber nicht-globalen Bewegungen, wie sie insbesondere bei weitwinkligen Objektiven in der Endoskopie beobachtet werden.

Das Verfahren kann durch Parallelisierung von Prozessschritten in Signalprozessortechnik realisiert werden und damit als Modul zur Auflösungssteigerung direkt zwischen der digitalisierenden Sensorik nach der Faseroptik und einer Anzeige/Wiedergabe oder Weiterverarbeitung eingesetzt werden.
Bewegungskompensationsverfahren zur Auflösungssteigerung lassen sich durch die Kombination der nachfolgend beschriebenen fünf Schritte charakterisieren:

1. Lokalisierung der Faserzentren des Bildleiters.
2. Erzeugung von Nachbarschaftsbeziehungen, beispielsweise durch Triangulierung und Bereitstellung als geordnetes Dreiecksgitter.
3. Berechnung der globalen bzw. lokalen Bewegungsfelder zwischen den Aufnahmen eines Abschnitts der fiberskopischen Bildsequenz. Dieser Schritt kann durch einen Vorverarbeitungsschritt, z. B. Interpolation des Bildmaterials, unterstützt werden.
4. Kombination eines Basisbilds mit den Intensitäten der Faserzentren weiterer Bilder des Abschnitts der Bildsequenz, beispielsweise durch Einbringen der bewegungsinvertierten Intensitäten von Faserzentren als Stützstellen in ein vorbereitetes HR-Gitter (High-Resolution-Gitter).
5. Konvertierung des kombinierten hoch aufgelösten Bildes in die erforderliche Darstellung, z. B. durch kartesische Abtastung in ein Abbild mit rechteckig verteilten/angeordneten Bildpunkten. Die Intrapolation kann durch barizentrische Gewichtung der Grauwertverteilung zwischen den enthaltenen Stützstellen aufbereitet werden.

Im Folgenden soll anhand der 6 bis 8 beispielhaft detailliert beschrieben werden, wie erfindungsgemäß niedrig aufgelöste Bilder, die von Artefakten bzw. störenden Strukturen befreit sind, erzeugt werden können, wie es beispielsweise im Schritt 152 des Verfahrens zur Bewegungskompensation erforderlich ist.
Dabei werden erfindungsgemäß, im Gegensatz zu dem Stand der Technik entsprechenden Verfahren, die tatsächlichen physikalischen Eigenschaften eines fiberskopischen Bildaufnahmesystems ausgenutzt, um auf effiziente Art und Weise die Bildartefakte bzw. die störenden Strukturen zu entfernen, wobei gleichzeitig die gesamte Bildinformation erhalten bleibt.
Dabei basiert das erfindungsgemäße Verfahren zum Erzeugen einer strukturfreien fiberskopischen Aufnahme darauf, dass zunächst eine Kalibration des fiberskopischen Systems durchgeführt wird und dass auf der Basis der während der Kalibration gewonnenen Erkenntnisse Bildrekonstruktionsschritte in Echtzeit durchgeführt werden. Die Kalibration muss lediglich einmal durchgeführt werden, die Rekonstruktion ist hingegen für jedes einzelne Bild (Frame) eines Bilderstroms erforderlich. Dabei ist es unter anderem das Ziel der Kalibration, die Zentren aller Lichtleitfasern mit einer Genauigkeit zu ermitteln, die größer ist als die Größe der Pixel eines Sensors (also mit Subpixel-Genauigkeit). Ein für die Kalibration verwendetes Bild kann dabei beispielsweise dadurch gewonnen werden, dass eine homogene weiße Fläche (beispielsweise ein Blatt Papier) abge bildet wird. Während der Bildrekonstruktion wird ein arte faktfreies Ausgangsbild rekonstruiert, das auf Basis der Intensitätswerte konstruiert wird, die an den mit Subpixelgenauigkeit genannten Orten der Zentren der Lichtleiter gewonnen werden. Dabei wird gemäß einem Ausführungsbeispiel der vorliegenden Erfindung die Position der Zentren der Lichtleiter mittels eines Kalibrationsbildes in drei Stufen bestimmt. Zunächst werden mit Pixelgenauigkeit (also mit einer Ortauflösung, die der physikalischen Größe der Pixel des Sensors entspricht) potenzielle Kandidatenpunkte für die Position des Zentrums des Lichtleiters bestimmt. Ein Signifikanzwert, der angibt, wie gut eine zweidimensionale gaußförmige Parametrisierung mit festgelegten Parametern die Intensitätsverteilung um den Kandidatenpunkt beschreibt, wird jedem Kandidatenpunkt zugeordnet.
Danach wird, in der Reihenfolge absteigender Signifikanz, an jedem Kandidatenpunkt eine unsymmetrische zweidimensionale Gaußparametrisierung an die mittels des Sensors aufgenommene Intensitätsaufnahme angepasst (beispielsweise unter Benutzung von nichtlinearer Optimierung). Die Anpassung ergibt eine Position des Lichtleiterzentrums mit einer Subpixel-Genauigkeit, wobei darüber hinaus für jede erfolgte Anpassung ein weiterer Signifikanzwert erhalten wird. Die tatsächlichen Zentren der Lichtleiter werden dann aus der Gruppe der Kandidatenpunkte basierend auf den Signifikanzwerten bestimmt, wobei darüber hinaus ein Abstandskriterium verwendet wird, das die minimale sinnvolle Distanz zweier benachbarter Zentren von Lichtleitern beschreibt. Dabei kann die Gruppe von benachbarten Lichtleitern, die für die Anwendung des Distanzkriteriums in Frage kommt, beispielsweise durch eine Delaunay-Triangulation der Zentren der Lichtleiter bestimmt werden, welche darüber hinaus auch als Grundlage für eine darauf folgende Bildrekonstruktion dienen kann.
Im Folgenden wird detaillierter auf den Schritt der Kalibration und den mehrstufigen Prozess zum Bestimmen eines Lichtleiterzentrums eingegangen. Dabei wird die Argumentation im Folgenden Bezug nehmen auf 6, die drei Aufnahmen zeigt, wobei die linke Aufnahme 6a ein zweidimensionales Intensitätsbild darstellt, wie es während der Kalibration mittels eines Pixelsensors durch ein Faserbündel aufgenommen wird. Wie es in 6a zu sehen ist, sind die den einzelnen Lichtleitern zugeordneten Strukturen klar erkennbar, jedoch ist die genaue Position des Zentrums der Intensitätsverteilung nicht festzustellen, da mittels jeder Faser mehrere Pixel mit hoher Intensität belichtet werden.
Die hellen Punkte in dem Kalibrationsbild (weiße belichtete Fläche) sind dabei offensichtliche Kandidatenpunkte für Zentren von Lichtleitern. Der einfachst denkbare Ansatz zur Identifikation von Kandidatenpunkten auf Basis ihrer Helligkeit (durchführen eines Schwellwertvergleichs) geht jedoch fehl, wenn ein Kalibrationsbild eine nicht gleichmäßige Helligkeitsverteilung aufweist. Daher werden zunächst die Kandidatenpunkte basierend auf Ihrer Helligkeit, die in Relation zur Helligkeit der lokalen Nachbarschaft des Kandidatenpunkts gesetzt wird, ausgewählt. Dafür wird beispielsweise eine symmetrische rechteckige Nachbarschaft N benutzt. Dabei ist die Größe der Nachbarschaft beispielsweise bevorzugt vom Durchmesser eines einzelnen Lichtleiters abhängig, welcher für alle Lichtleiter eines Faserbündels annähernd konstant ist. Für die in der folgenden Betrachtung herangezogenen Koordinaten ist in 6a das Koordinatensystem 300 definiert, so dass einzelnen Pixeln eine Koordinate in dem Koordinatensystem 300 zugewiesen werden können. Für die vorläufige Bestimmung von Kandidatenpunkten wird zunächst für jede Position (X, Y) im Kalibrationsbild die Minimal- und Maximalintensität I_min und I_max innerhalb der Nachbarschaft N(X, Y) bestimmt und deren Koordinaten (X_min, Y_min) und (X_max, Y_max) lokalisiert. Unter Ausnutzung eines lokalen Intensitätskriteriums (einer minimalen Intensitätsdifferenz) D_min wird der Punkt (X_max, Y_max) genau dann als Kandidatenpunkt für ein Zentrum eines Lichtleiters identifiziert, wenn I_max – I_min > D_min ist.
Sind gemäß den obigen Ausführungen alle Kandidatenpunkte für die Kalibrationsaufnahme bestimmt, wird für jeden einzelnen der Kandidatenpunkte ein Signifikanzwert, welcher angibt, wie gut eine zweidimensionale symmetrische Gaußverteilung die Daten in der Umgebung der Kandidatenpunkte beschreibt, durch Vergleich der Umgebung des Kandidatenpunkts mit der Gaußverteilung bestimmt (Template Matching). Eine Beispielumgebung (Template Window), die zu einer Nachbarschaft N korrespondiert, wird dazu mit den diskreten Werten einer symmetrischen zweidimensionalen Gaußverteilung, die um den Mittelpunkt der Beispielumgebung zentriert ist, gefüllt. Für jedes Beispielfenster, von denen ein jedes zu einem Kandidatenpunkt P_i korrespondiert, wird ein Signifikanzwert s(p_i) berechnet, der der gängigen RMS-Metrik entspricht:
Dabei entsprechen T(x, y) und I(x, y) den Intensitäten der einzelnen Pixeln an den Positionen (x, y) des Beispielfensters und der Nachbarschaft N(p_i) des Kandidatenpunktes p_i. Dabei stimmen Punkte mit einem geringeren korrespondierenden Signifikanzwert bzw. deren Umgebungen besser mit der Beispielumgebung überein. Das heißt, die Wahrscheinlichkeit, dass der betreffende Kandidatenpunkt p_i in der Nähe des tatsächlichen Zentrums des Lichtleiters liegt, ist für Punkte mit geringem Signifikanzwert höher als für Punkte mit hohem Signifikanzwert. 1b zeigt das Ergebnis obiger Operation und somit die Kandidatenpunkte und die dazugehörigen Signifikanzwerte in Graustufendarstellung.
In einem Schritt der Anpassung bzw. der Bestimmung der Zentren der Lichtleiter werden nun die Kandidatenpunkte erneut bewertet, indem zweidimensionale, unsymmetrische gaußförmige Verteilungen an die Umgebungen der Kandidatenpunkte angepasst (gefittet) werden. Eine zweidimensionale, nicht symmetrische Gaußverteilung f(x, y; v) wird von einem Parametervektor v(μ_x, μ_y, σ_x, σ_y, a) definiert, der das Zentrum (μ_x, μ_y) der Gaußverteilung, die Standardabweichungen in x- und y-Richtung σ_x, σ_y sowie eine Amplitude bzw. einen Amplitudenwert a beinhaltet. Die vollständige Gaußfunktion schreibt sich somit als:
Bestimmt man zunächst die Parameter μ_x, μ_y so, dass f(x, y; v) um den Kandidatenpunkt p_i zentriert ist, kann die obige Funktion an die Nachbarschaft N(p_i) durch nichtlineare Optimierung des folgenden quadratischen Abstandsproblems durch Variation des Vektors v angepasst werden:
Zur Minimierung des auch Residuum genannten Wertes r(p_i) können verschiedene Minimierungsalgorithmen verwendet werden, wie beispielsweise die Levenberg-Marquardt-Methode. Bei konvergierender Optimierung für einen Kandidatenpunkt p_i, erhält man eine verbesserte subpixelgenaue Position (μ_x, μ_y) des Zentrums des Lichtleiters als Zentrum der Gaußverteilung, wobei r(p_i) als erneuter verfeinerter Signifikanzwert für den Kandidatenpunkt (p_i) interpretiert werden kann.
Die endgültige Auswahl des Zentrums eines jeden Lichtleiters erfolgt, wie bereits oben erwähnt, unter zusätzlicher Ausnutzung eines Abstandskriteriums, zu dessen Anwendung zunächst die Bestimmung derjenigen anderen Zentren von Lichtleitern notwendig ist, die die nächsten Nachbarn des betrachteten Kandidatenpunkts (p_i) sind. Dabei wird beispielsweise bevorzugt die Delaunay-Triangulation verwendet, die unmittelbar die dem Kandidatenpunkt benachbarten natürlichen Nachbarn liefert.
Bei der Delaunay-Triangulation wird für eine Menge P von Punkten in einer Ebene eine Triangulation D(P) von P derart durchgeführt, dass es keinen einzigen Punkt in P gibt, der innerhalb des Umfangs eines einzelnen Dreiecks der Triangulation liegt. Eine Delaunay-Triangulation maximiert dabei den minimalen innerhalb eines jeden Dreiecks auftretenden Winkel aller Dreiecke der Triangulation. Eng mit dem Konzept der Delaunay-Triangulation verknüpft ist das Voronoi-Diagramm V(P) das den zur Triangulation dualen Graph beschreibt.
Das Konzept der Delaunay-Triangulation bzw. des Voronoi-Graphen ist im Folgenden anhand von 7 beschrieben. Wobei im weiteren Verlauf insbesondere darauf eingegangen werden wird, wie die anhand der Voronoi-Darstellung definierten natürlichen Koordinaten dazu verwendet werden können, aus einzelnen Punkten mit bestimmter Helligkeit bzw. Intensität ein kontinuierliches Intensitätsbild mit einer höheren Anzahl von Bildpunkten zu erzeugen.
7a zeigt eine Anzahl von Punkten als Beispiel, sowie die an die Punkteverteilung angepasste Delaunay-Triangulation, die durch fett gezeichnete Linien, welche die Dreiecke der Triangulation begrenzen, dargestellt ist. Darüber hinaus sind alle Punkte in 7a innerhalb von Flächen angeordnet, wobei die die einzelnen Punkte umgebenden sogenannten Voronoi-Zellen auf Grundlage der Triangulation dadurch erstellt werden, dass Begrenzungslinien, die die Voronoi-Zellen begrenzen, dadurch gebildet werden, dass für jede einzelne Verbindungslinie zwischen zwei Punkten, die durch die Triangulation entstanden ist, eine Mittelsenkerechte konstruiert wird, wie es in 7a zu sehen ist.
Für die Kalibration, d. h. die endgültige Auswahl der Koordinatenpaare (μ_x, μ_y) die die endgültige Position der Zent ren der Lichtleiter angeben, ist die Delaunay-Triangulation insofern relevant, als diese unmittelbar die natürlichen Nachbarn eines jeden Punktes liefert. Die natürlichen Nachbarn eines Punktes sind dabei dadurch definiert, das jeder natürliche Nachbar q_i eines Punktes p_i mit dem Punkt p_i durch eine Verbindungs- bzw. Begrenzungslinie eines Dreiecks der Triangulation verbunden ist.
In 7b ist die Voronoi Struktur der Situation von 7a dargestellt, wobei ein zusätzlich eingefügter Punkt p im Zentrum der Punkteverteilung dargestellt ist, dessen natürliche Nachbarn die Punkte q₁–q₅ sind. Ein Kandidatenpunkt bzw. ein Koordinatenpaar (μ_x, μ_y) wird beim vorliegenden Ausführungsbeispiel der vorliegenden Erfindung genau dann als Zentrum eines Lichtleiters akzeptiert, wenn dieses unter den zur Verfügung stehenden Kandidaten für den betreffenden Lichtleiter den höchsten Signifikanzwert r(p_i) aufweist und zusätzlich eine Abstandsbedingung erfüllt.
Die Abstandsbedingung basiert im Wesentlichen darauf, dass der Durchmesser der einzelnen Lichtleiter d_fiber im Wesentlichen für alle Lichtleiter eines Endoskops bzw. eines Faserbündels konstant ist. Da die Lichtleiter aus physikalischen Gründen räumlich nicht überlappen können, kann ein minimaler Abstand d_min zwischen zwei gefundenen Zentren von Lichtleitern definiert werden, der noch plausibel erscheint (beispielsweise d_min = 0.9 × d_fiber). Während der Kalibration wird kontinuierlich eine Delaunay-Triangulation D(P) auf Grundlage der Datenpunkte aufgebaut. Dabei wird die Reihenfolge, mit der die einzelnen Punkte in die Triangulation eingefügt werden, durch den Signifikanzwert bestimmt, wobei Kandidaten mit hoher Signifikanz (niedrigem berechneten Abstandsquadrat), also hoher Wahrscheinlichkeit, das tatsächliche Zentrum des Lichtleiters zu sein, zuerst eingefügt werden. Ist ein solcher Punkt hoher Signifikanz eingefügt und besteht dieser das Distanzkriterium, so wird dieser Punkt als Zentrum des betreffenden Lichtleiters angesehen. Dabei wird durch das Distanzkriterium sichergestellt, dass lediglich ein einzelner Punkt pro Lichtleiter (also ein einzelnes Zentrum) in die Delaunay-Triangulation eingefügt wird. Mathematisch lässt sich das Distanzkriterium wie folgt beschreiben:
sei d_qi die Distanz des Kandidatenpunkts, der in die Triangulation eingefügt werden soll zu seinem natürlichen Nachbarn q_i. Der Kandidatenpunkt wird dann und nur dann in die Triangulation eingefügt, wenn für alle i gilt: ∀i:: dqi ≤ dmin.
Nach der Kalibration des fiberskopischen Systems steht also für jede einzelne Faser ein Tupel aus vier Werten als Abbildungsparameter zur Verfügung. Es sind dies die Koordinaten des Zentrums des Lichtleiters μ_x und μ_y sowie die Breiten der zweidimensionalen asymmetrischen gaußförmigen Verteilung σ_x und σ_y.
6c zeigt als ein Ergebnis der Kalibration die gefundenen Faserzentren für die Aufnahme von 6a.
Da diese beiden Parameter geometrische Eigenschaften des Systems aus Sensor und Lichtleiter beschreiben, nämlich den exakten Abbildungsort sowie die geometrische Ausdehnung der durch eine einzelne Faser hervorgerufenen Intensitätsverteilung, ändern sich diese Parameter im Laufe der Zeit nicht. Auf Grundlage der einmal bestimmten Parameter kann so die übermittelte Intensität bzw. der übermittelte Amplitudenwert eines jeden einzelnen Lichtleiters während der Bildaufnahme und Analyse exakt bestimmt werden.
Für die Bildrekonstruktion muss die Intensitätsinformation, die von einem einzelnen Lichtleiter übertragen wird, und die der Amplitude a der zweidimensionalen gaußförmigen Verteilung entspricht, welche die Intensitätsverteilung eines einzelnen Lichtleiters auf dem Sensor beschreibt, bestimmt werden. Hat man einzelne, präzise bestimmte Intensitäts- bzw. Amplitudenwerte für jeden einzelnen Lichtleiter bestimmt, können artefaktfreie Bilder erzeugt werden, indem die Intensitätsinformationen an den Zentren der Lichtleiter in ein höher aufgelöstes Gitter durch Interpolation übertragen werden, so dass eine kontinuierliche Bilddarstellung im höher aufgelösten Gitter erreicht werden kann, wie weiter unten noch näher erläutert werden wird. Dazu ist zunächst das exakte Bestimmen des Amplitudenwertes a aus Gleichung 1 erforderlich.
Während der Kalibration wurden die charakteristischen Eigenschaften jedes Lichtleiters, der Parametervektor v gewonnen. Sowohl das Zentrum des Lichtleiters (μ_x, μ_y) und die Standardabweichungen σ_x und σ_y sind zeitlich konstant, unabhängig davon, welcher Bildinhalt mit dem Fiberskop aufgenommen wird. Der Amplitudenwert a jedoch verändert sich mit sich veränderndem Bildinhalt und muss für jede Aufnahme neu bestimmt werden. Dies kann beispielsweise bevorzugt dadurch geschehen, dass ein einfaches minimales Abstandsquadratsproblem (siehe Gleichung 3) gelöst werden muss: Ein guter Anfangswert für den zu bestimmenden bzw. frei zu fittenden Parameter a ist beispielsweise die Intensität I(μ_x, μ_y) die durch bilineare Interpolation am subpixelgenauem Ort des Zentrums des Lichtleiters (μ_x, μ_y) gewonnen werden kann. Die Minimierung von Gleichung 3 kann dabei auf jedwede geeignete Art und Weise, beispielsweise durch Anwendung der Newton-Rhapson-Methode erfolgen.
Erfindungsgemäß ist somit nur ein einzelner freier Parameter zur Bestimmung des Amplitudenwertes zu optimieren, was mit geringem Zeitaufwand möglich ist, so dass das erfindungsgemäße Verfahren in Echtzeit ablaufen kann. Dabei hat das erfindungsgemäße Verfahren zur Bestimmung des Amplitudenwertes den großen Vorteil, dass die reale Abbildungsinformation, die in Form der Abbildungsparameter vorliegt, zur Bestimmung des Amplitudenwertes herangezogen wird. Ellipsoide Intensitätsverteilungen auf der Oberfläche des Sensors können somit hinreichend berücksichtigt werden, wie sie beispielsweise auftreten, wenn der Lichtleiter relativ zur Oberfläche des Sensors einen Winkel aufweist, der ungleich 90° ist.
Basierend auf dem erfindungsgemäß gewonnenen Intensitätsdaten bzw. den Zentren der Intensitätsverteilung, die zu einzelnen Lichtleitern korrespondieren, und die mit hoher Präzision und wesentlich höherer Genauigkeit als der Größe des einzelnen Pixels bestimmt werden, kann nun beispielsweise eine Bewegungskompensation mit Aussicht auf hohen Erfolg durchgeführt werden.
Dazu kann bei einem weiteren Ausführungsbeispiel der vorliegenden Erfindung aus den diskreten Bildpunkten und den dazu assoziierten Amplitudenwerten der Lichtleiter ein kontinuierliches, zweidimensionales Bild interpoliert werden, wobei bei einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung zur Bestimmung der interpolierten Intensitäten Voronoi-Zellen verwendet werden, wie es im Folgenden beschrieben wird.
Zur Bildung eines artefaktfreien Bildes, also zur geeigneten Interpolation kann man sich charakteristische Eigenschaften der Voronoi-Zellen zu Nutze machen. Wie bereits erwähnt, wird das Konzept der natürlichen Nachbarn dazu benutzt, benachbarte Punkte von Punkten einer nicht gleichmäßig verteilten Punktmenge zu bestimmen. Die natürlichen Nachbarn eines Punkts P sind dabei als die Nachbarn des Punktes P der Delaunay-Triangulation der Punktemenge P ∪ {x} definiert. Dies ist äquivalent dazu, dass die natürlichen Nachbarn diejenigen Punkte von P sind, deren Voronoi-Zellen beschnitten werden, wenn ein zusätzlicher Punkt P in das Voronoi-Diagramm eingefügt wird, wie es beispielsweise anhand von 7c dargestellt ist. Wenn die ursprünglichen Punkte q_i die Zentren von Lichtleitern bezeichnen, die jeweils eine bestimmte Lichtintensität transportieren, so kann man anschaulich eine Voronoi-Zelle so verstehen, dass dies die Fläche bzw. das Gebiet ist, in die die Intensität des Lichtleiters strahlt bzw. diejenige Fläche des Objekts, deren Lichtintensität mittels des betreffenden Lichtleiters übertragen wird.
Wenn V(q_i) die Voronoi-Zelle des natürlichen Nachbarn q_i von p ist und wenn p darüber hinaus ein zusätzlich in die Triangulation eingefügter Punkt ist, der die Voronoi-Zelle V(p) besitzt, wie es in 7C gezeigt ist, so kann man folgende Betrachtungen anstellen. Die natürliche Region N(p, q_i) ist definiert als derjenige Teil von V(q_i) der von der Voronoi-Zelle V(q_i) von q_i bei Einfügen des Punktes P durch die Voronoi-Zelle V(p) entfernt wird.
N(p, q_i) ist also V(p) ∩ H(q_i). Im Folgenden bezeichnet A(q_i) die Fläche von N(p, q_i). Die natürliche Koordinate λ_qi(p) von q_i ist dann definiert als das Flächenverhältnis:
Der in 7C schraffiert gezeichnete Bereich um den Punkt P ist beispielsweise die natürliche Fläche N(p, q₃).
Die natürlichen Koordinaten haben dabei folgende wichtige Eigenschaften.

1. λ_qi(p) ist eine kontinuierliche Funktion von p und ist mit Ausnahme der ursprünglichen Datenpunkte kontinuierlich differenzierbar.
2. λ_qi(p) verschwindet außerhalb der Menge von Punkten, die den Delaunay-Simplex, der zu q_i führt, umschließen.
3. Die λ_qi(p) erfüllen das Kriterium für lokale Koordinaten, das beschreibt, dass p eine konvexe Kombination seiner Nachbarn q_i ist:

Das dritte eben beschriebene Kriterium, dass die Eigenschaft der lokalen Koordinaten betrifft, kann nun dazu genutzt werden, die Intensität eines zusätzlich eingefügten Bildpunktes (Pixel) p aus den Intensitäten, die an den Zentren der Lichtleiter q_i bestimmt wurden, zu interpolieren. Dabei ist zu beachten, dass bei dem Hinzufügen eines Punktes p in der Triangulation die natürlichen Nachbarn q_i der Triangulation, deren Positionen während der Triangulation bestimmt wurden, zur Bestimmung des Intensitäts- bzw. Amplitudenwertes I(p) herangezogen werden. Die Intensität I(p) ist die konvexe Summe der Intensitäten I(q_i):
Das resultierende Bild ist eine einfach differenzierbare kontinuierliche Funktion der Intensitäten I(q), die auf den Stützstellen der Zentren der Lichtleiter q basiert.
Es gilt zu bemerken, dass das Finden der natürlichen Nachbarn eines jeden Pixels p und die Berechnung der natürlichen Koordinaten des Pixels eine zeitaufwendige Operation ist. Da jedoch sowohl die natürlichen Nachbarn als auch die natürlichen Koordinaten eines Pixels p zeitlich konstant bleiben, solange die Größe, d. h. die Auflösung, eines rekonstruierten interpolierten Bildes nicht verändert wird, können sowohl die natürlichen Nachbarn als auch die natürlichen Koordinaten je Konfiguration lediglich einmal berechnet und in Form einer Lookup-Tabelle gespeichert werden. Ist diese aufwendige Berechnung einmal erfolgt, können einzelne Bilder ohne Probleme in Echtzeit rekonstruiert werden.
Die 8 zeigt ein Beispiel, wie unter Anwendung dieses erfindungsgemäßen Konzepts erfolgreich aus einem artefaktbe hafteten Bild, das klar die wabenförmige Struktur einer fiberskopischen unbehandelten Aufnahme zeigt, (8a) ein artefaktfreies, kontinuierliches zweidimensionales Bild (8b) erzeugt werden kann, das sich hervorragend eignet, um beispielsweise eine darauffolgende Bewegungskompensation auf Grundlage des rekonstruierten artefaktfreien Bildes durchzuführen.
9 zeigt ein Flussdiagramm, in dem die wesentlichen Schritte für ein erfindungsgemäßes Erzeugen eines Bildes dargestellt sind.
Dabei werden in einem Vorbereitungsschritt 500 zunächst Abbildungsparameter eines Lichtleiters bereitgestellt, die geometrische Eigenschaften eines von dem Lichtleiter auf dem Sensor erzeugten Intensitätsverlaufs beschreiben.
Im Aufnahmeschritt 502 wird eine Intensitätsaufnahme dem Sensors aufgenommen.
Im Bildverarbeitungsschritt 504 wird ein Amplitudenwert für alle Lichtleiter a_i durch Anpassen einer Funktion des Amplitudenwertes und der Abbildungsparameter an die Intensitätsaufnahme bestimmt.
In einem Rekonstruktionsschritt 506 werden die Amplitudenwerte als Bildinformation der einzelnen Lichtleiter verwendet, um das Bild zu erzeugen.
10 zeigt ein Flussdiagramm für ein erfindungsgemäßes Verfahren zum Erzeugen von Abbildungsparametern eines Lichtleiters.
Im Bildaufnahmeschritt 510 wird eine von dem Lichtleiter auf dem Sensor erzeugte Intensitätsverteilung aufgenommen.
Im Anpassschritt 512 werden für einen Kandidatenpunkt p_i die Abbildungsparameter durch Anpassen einer Funktion der Abbildungsparameter und eines Amplitudenwertes an die Intensitätsverteilung in einer vorläufigen Abbildungsumgebung, deren Ausdehnung von der Beschaffenheit des Lichtleiters abhängt, bestimmt.
Im Vergleichsschritt 514 wird überprüft, ob Ortsinformationen in den Abbildungsparametern auf eine Lichtleiterposition schließen lassen, die einen vorbestimmten Mindestabstand zu einer Lichtleiterposition der übrigen Lichtleiter aufweist.
Wird festgestellt, dass der Mindestabstand unterschritten ist, wird anhand eines Iterationspfades verfahren und Abbildungsparameter für einen nächsten Kandidatenpunkt des zu findenden Lichtleiters bestimmt.
Ist der Mindestabstand nicht unterschritten, wird anhand eines Speicherpfades 518 verfahren und die Abbildungsparameter für den Kandidatenpunkt werden in einem Speicherschritt 520 gespeichert.
Zusammenfassend beschreibt die vorliegende Erfindung ein Konzept, wie mittels eines Bearbeitungsalgorithmus für fiberskopische Aufnahmen, welche die tatsächlichen physikalischen Eigenschaften der fiberskopischen Abbildung benutzt, Artefakte, bzw. ungewollte Strukturen innerhalb der fiberskopischen Aufnahmen entfernt werden können, ohne dabei die tatsächliche Bildinformation zu verändern. Dabei wird insbesondere durch das erfindungsgemäße Verfahren die Entfernung der fiberskopischen Wabenstruktur in Echtzeit ermöglicht.
Darüber hinaus ist es bei Anwendung des erfindungsgemäßen Verfahrens ohne Weiteres möglich, verschiedene Kombinationen von Fiberskopen und Sensoren dazu zu benutzen, um artefaktfrei kontinuierliche Aufnahmen zu erhalten.
Obwohl in den beschriebenen Ausführungsbeispielen der vorliegenden Erfindung eine Abtastung von Bildern, um aus ungeordneten Aufnahmen Aufnahmen mit geordneter gitterförmiger Pixelstruktur zu erhalten mittels barizentrischer Gewichtung oder Delaunay-Triangulation durchgeführt wurde, ist auch jedwede andere Art der Abtastung geeignet, um das erfindungsgemäße Verfahren zu implementieren.
Darüber hinaus sind in den Ausführungsbeispielen der vorliegenden Erfindung überwiegend Sensoren und rechtwinklig angeordnete, rechteckige lichtsensitive Flächen dargestellt, wie dies beispielsweise bei CCDs der Fall ist. Eine solche Anforderung ist in keiner Weise Voraussetzung für die Implementierung des erfindungsgemäßen Verfahrens. Wenngleich zur Bewegtbildaufnahme überwiegend CCDs und CMOS-Sensoren verwendet werden, sind jedwede anderen lichtempfindlichen Sensorarrays ebenso geeignet, das erfindungsgemäße Verfahren zu implementieren, wie beispielsweise Arrays aus Fotodioden und anderen fotosensitiven Elementen wie Fotokathoden und Fotoelektronenvervielfacher.
Wenngleich zur Bestimmung der Faserzentrenpositionen, also der Abbildungsorte der Lichtleiter auf dem Sensor eine möglichst homogene Beleuchtung des Faserbündels vorteilhaft ist, ist eine Bestimmung der Faserzentren auch mittels einer inhomogenen Beleuchtung durchführbar.
Alternativ kann zur Genauigkeitssteigerung auch eine abweichende Lichtsensitivität einzelner Pixel des Sensors berücksichtigt werden, die beispielweise zusätzlich in den Abbildungsparametern gespeichert werden kann, wenn diese bei homogener Beleuchtung des Faserbündels gewonnen wurden.
Obwohl das erfindungsgemäße Konzept in den vorhergehenden Abschnitten überwiegend in Anwendung auf faseroptische endoskopische Systeme diskutiert wurde, versteht es sich von selbst, dass dieses darüber hinaus überall dort anwendbar ist, wo eine Auflösungssteigerung eines vignettierten Bildes erzielt werden soll.
Abhängig von den Gegebenheiten kann das erfindungsgemäße Verfahren Erzeugen eines Hochauflösungsbildes in Hardware oder in Software implementiert werden. Die Implementierung kann auf einem digitalen Speichermedium, insbesondere einer Diskette oder CD mit elektronisch auslesbaren Steuersignalen erfolgen, die so mit einem programmierbaren Computersystem zusammenwirken können, dass das erfindungsgemäße Verfahren Erzeugen eines Hochauflösungsbildes ausgeführt wird. Allgemein besteht die Erfindung somit auch in einem Computer-Programm-Produkt mit einem auf einem maschinenlesbaren Träger gespeicherten Programmcode zur Durchführung des erfindungsgemäßen Verfahrens, wenn das Computer-Programm-Produkt auf einem Rechner abläuft. In anderen Worten ausgedrückt kann die Erfindung somit als ein Computer-Programm mit einem Programmcode zur Durchführung des Verfahrens realisiert werden, wenn das Computer-Programm auf einem Computer abläuft.

Claims

Verfahren zum Erzeugen eines Bildes mittels eines Faserbündels (102) aus einer Mehrzahl von Lichtleitern (106) und eines Sensors (104), der an einer Sensorseite des Faserbündels (102) angeordnet ist, um durch die Lichtleiter (106) geleitetes Licht aufzunehmen, mit folgenden Schritten: Bereitstellen von Abbildungsparametern eines Lichtleiters (106), welche geometrische Eigenschaften eines von dem Lichtleiter (106) auf dem Sensor erzeugten Intensitätsverlaufs beschreiben; Aufnehmen einer Intensitätsaufnahme (302) mittels des Sensors; Bestimmen eines Amplitudenwerts für den Lichtleiter durch Anpassen einer 2-dimensionalen unsymmetrischen Gaußfunktion des Amplitudenwertes und der Abbildungsparameter an die Intensitätsaufnahme (302); und Verwenden des Amplitudenwertes als Bildinformation des Lichtleiters, um das Bild zu erzeugen, und Interpolieren mehrerer Amplitudenwerte, um aus räumlich unregelmäßig angeordneten Amplitudenwerten der Lichtleiter des Faserbündels das Bild durch Interpolation der Amplitudenwerte in einem geordneten rechtwinkligen Pixelgitter zu erzeugen, wobei zur Interpolation für jedes Pixel des Pixelgitters gewichtete Amplitudenwerte der natürlichen Nachbarn (q₁...q₅) gebildet werden, wobei die Gewichtsfaktoren auf Verhältnissen der Voronoi-Zellen der natürlichen Nachbarn und des Pixels beruhen.
Verfahren gemäß Anspruch 1, bei dem die Gaußfunktion durch Minimieren eines Unterschieds zwischen der von der Funktion beschriebenen Intensitätsverteilung und der Intensitätsaufnahme (302) angepasst wird.
Verfahren gemäß Patentanspruch 2, bei dem der quadratische Unterschied der von der Gaußverteilung beschriebenen Intensitätsverteilung und der Intensitätsaufnahme (302) minimiert wird.
Verfahren gemäß einem der vorhergehenden Ansprüche, bei der als Abbildungsparameter die Koordinaten μ_x und μ_y sowie die Breiten σ_x und σ_y einer 2-dimensionalen Gauß-Verteilung der Form
bereitgestellt werden; und bei dem beim Anpassen der Funktion des Amplitudenwertes und der Abbildungsparameter der Amplitudenwert a variiert wird.
Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass das Verfahren mit einem Computerprogramm mit einem Programmcode auf einem Computer abläuft.
Vorrichtung zum Erzeugen eines Bildes mittels eines Faserbündels (102) aus einer Mehrzahl von Lichtleitern (106) und eines Sensors (104), der an einer Sensorseite des Faserbündels (102) angeordnet ist, um durch die Lichtleiter (106) geleitetes Licht aufzunehmen, mit folgenden Merkmalen: einer Einrichtung, die ausgebildet ist, um Abbildungsparameter eines Lichtleiters (106), welche geometrische Eigenschaften eines von dem Lichtleiter auf dem Sensor erzeugten Intensitätsverlaufs beschreiben, bereitzustellen; eine Datenaufnahmeeinrichtung, die ausgebildet ist, um eine Intensitätsaufnahme (300) mittels des Sensors (104); zu erzeugen; einer Optimiereinrichtung, die ausgebildet ist, um einen Amplitudenwert für den Lichtleiter durch Anpassen einer 2-dimensionalen unsymmetrischen Gaußverteilung des Amplitudenwertes und der Abbildungsparameter an die Intensitätsaufnahme zu bestimmen; und einer Verarbeitungseinrichtung zum Verwenden des Amplitudenwertes als Bildinformation des Lichtleiters (106), die ausgebildet ist, aus räumlich unregelmäßig angeordneten Amplitudenwerten der Lichtleiter des Faserbündels das Bild durch Interpolation der Amplitudenwerte in einem geordneten rechtwinkligen Pixelgitter zu erzeugen, wobei die Verarbeitungseinrichtung bei der Interpolation für jedes Pixel des Pixelgitters die gewichteten Amplitudenwerte der natürlichen Nachbarn (q₁...q₅) bildet, wobei die Gewichtsfaktoren auf Verhältnissen der Voronoi-Zellen der natürlichen Nachbarn und des Pixels beruhen.