-
GEBIET DER ERFINDUNG
-
Die
Erfindung betrifft allgemein das Gebiet der digitalen Bildverarbeitung
und insbesondere die Bildregistrierung.
-
HINTERGRUND ZU DER ERFINDUNG
-
Bildregistrierung
ist der Vorgang der auch als räumliches
Mapping bezeichneten räumlichen
Abbildung des Koordinatensystems eines Bildes auf das Koordinatensystem
eines anderen Bildes. Registrierungstechniken können beispielsweise in medizinischen
Verfahren nützlich
sein, in denen ein präoperativer
Bildraum mit einem physikalischen Echtzeitraum richtig korreliert
werden muss.
-
Automatische
Registrierungsalgorithmen bestehen im Allgemeinen aus drei Komponenten:
einer Ähnlichkeitsmetrik
zur Messung der Übereinstimmung
zwischen den Bildern (z.B. Kreuzkorrelation, Mutual Information
(gegenseitige Information)), einem Satz zulässiger Transformationen, die
auf ein Bild angewandt werden können,
um dieses mit dem anderen abzugleichen (z.B. starre, affine, Freiform-Transformation),
und ein Verfahren zur Durchsuchung des Raums zulässiger Transformationen, um
als die Lösung
die optimale Transformation aufzufinden (z.B. Gradient-Descent-Algorithmus
(Gradientenabstiegs-Algorithmus), stochastischer Gradient- Descent-Algorithmus,
Powell-Verfahren, Least-Squares-Methode
(Methode des kleinsten quadratischen Fehlers)).
-
Automatische
Registrierungsverfahren funktionieren in günstig gelagerten Fällen angemessen, wobei
jedoch diese Verfahren im routinemäßigen klinischen Gebrauch Schwierigkeiten
erfahren. Die Pathologie, Bildartefakte und Unterschiede bei der Bildakquisition
stellen sie vor Herausforderungen.
-
Starre
Registrierungsverfahren finden eine Korrespondenz zwischen zwei
Bildern, indem sie versuchen, eine global (über eine große Spanne
des Bildes, wenn nicht über
dessen Gesamtheit) berechnete Ähnlichkeitsmetrik
zu maximieren. Diese globalen Messungen erfahren in klinischen Einstellungen, wenn
das Sichtfeld (Field-of-View) eines Bildes nicht das gesamte Sichtfeld
des anderen umfasst, Schwierigkeiten. Dieses Problem tritt deutlicher
hervor, wenn die Ähnlichkeitsmetrik
die (zur Registrierung T1-gewichteter
MR-Bildgebung mit T2-gewichteter MR-Bildgebung oder MR-Bildgebung
mit CT nützliche)
Mutual Information (gegenseitige Information) im Gegensatz zu der
Korrelation ist. In diesen Fällen kann
eine Korrespondenz lokal passend berechnet werden, wobei jedoch
globale Abweichungen dazu führen,
dass Greedy-Search(gierige Suche)-Algorithmen zu lokalen Minima
konvergieren. Die Suchalgorithmen in medizinischen Anwendungen sind
gewöhnlich „gierig" (greedy) bzgl. des
Verfahrens zur Durchsuchung eines Lösungsraums durch Beobachtung
der Gradientenabnahme (Gradient Descent) oder einer ähnlichen
Abweichung, wie beispielsweise des stochastischen Gradient Descent.
Der Grund dafür
liegt darin, dass die Bilder sehr groß sind und die Anwendungen
strenge klinische Anforderungen hinsichtlich der Geschwindigkeit
erfüllen
müssen.
-
Unstarre
Registrierungsverfahren beginnen gewöhnlich mit einem starren oder
affinen Registrierungsschritt, dem eine verfeinerte Registrierung
folgt, die lokale Fehlausrichtungen korrigiert. Das örtlich begrenzte
Warping (Verformung, Verzerrung) versucht, die anatomischen Strukturen
anzugleichen, wobei jedoch eine Ungewissheit dahingehend vorliegt,
ob ein beobachteter Intensitätsunterschied
zwischen Bildern durch einen Unterschied bei der Positionierung
der Anatomie oder durch andere Faktoren hervorgerufen ist. Zu diesen
weiteren Faktoren gehören
Bildartefakte, Kontrastaufnahme und Pathologie.
-
Aus
den vorstehend angegebenen Gründen und
aus anderen Gründen,
die nachstehend angegeben sind, erschließt sich für einen Fachmann auf dem Fachgebiet
beim Lesen und Verstehen der vorliegenden Beschreibung, dass in
der Technik ein Bedarf nach einem automatischen Registrierungsverfahren existiert,
das die Unzulänglichkeiten
des Standes der Technik überwindet.
Es besteht ferner ein Bedarf nach einer verbesserten Registrierung,
die dem Benutzer eines automatischen Registrierungssystems ermöglicht,
während
des Registrierungsprozesses Informationen einzugeben.
-
KURZBESCHREIBUNG DER ERFINDUNG
-
Die
vorliegende Erfindung widmet sich den vorstehend erwähnten Unzulänglichkeiten,
Nachteilen und Problemen, wie dies beim Lesen und Studium der folgenden
Beschreibung verständlich
wird.
-
Gemäß einem
ersten Aspekt der vorliegenden Erfindung ist ein rechnergestütztes Verfahren
zur Bildregistrierung geschaffen, indem auf einen Satz von Bildern,
die durch einen automatischen Registrierungsprozess registriert
werden sollen, zugegriffen wird, ein automatischer Registrierungsprozess
ausgewählt
wird, der ausgewählte
automatische Registrierungsprozess an dem erworbenen Satz von Bildern
angewandt wird, eine Benutzereingabe entgegengenommen wird, die
empfangene Benutzereingabe in das aktuelle Stadium der Anwendung
des ausgewählten
Registrierungsprozesses an dem erworbenen Bildersatz mit einbezogen
wird und der Vorgang der Entgegennahme und der mit Einbeziehung
wiederholt wird, bis die Registrierung des erworbenen Bildersatzes
in einem vorbestimmten Zustand ist bzw. eine vorbestimmte Bedingung
erfüllt.
-
Der
Bildersatz kann ein MR-Bild, CT-Bild, Pathologiebild, Bild mit Artefakten,
Röntgenbild,
Ultraschallbild, Bild eines interessierenden Bereiches sein oder
mehrere derartige Bilder enthalten.
-
Der
automatische Registrierungsprozess ist entweder eine starre Registrierung,
eine Warping-Registrierung, eine Kombination aus einer starren und
einer unstarren Registrierung, eine Multiskalenregistrierung, eine Ähnlichkeitsregistrierung,
eine örtlich
begrenzte Korrelation oder eine örtlich
begrenzte Mutual-Information-Registrierung.
-
Die
Benutzereingabe ist eine globale Steuerung, eine örtlich begrenzte
Steuerung und/oder ein Pasting (Ankleben, Anpassen) oder mehrere
von diesen.
-
Die
globale Steuerung wird auf ein ausgewähltes Bild angewandt, während die örtlich begrenzte
Steuerung auf einen Bereich eines ausgewählten Bildes angewandt wird
und das Pasting vorliegt, wenn der Benutzer Bilder abgleicht, die
eine sehr geringe Überlappung
aufweisen.
-
Die
Benutzereingabe ist durch entweder einen Verschiebungsfaktor, einen
Rotationsfaktor, einen Skalierfaktor, einen „interessierender Bereich"-Faktor und/oder
durch Flussvektoren gebildet.
-
Das
Anzeigen des Fortschritts der Bildregistrierung erfolgt durch entweder
einen Seite-zu-Seite-Vergleich, eine überlagerte Einblendung, einen Seite-zu-Seite-Vergleich
und eine überlagerte
Einblendung und/oder vom Benutzer definierte Informationen.
-
Das
Anzeigen von graphischen Hinweisen von empfangenen Benutzereingaben
erfolgt durch entweder Einzeichnen von Linien, Pfeilen und/oder Schattierung
auf den Bildern.
-
Es
sind hier Systeme, Clients, Server, Verfahren und Computer lesbare
Medien mit unterschiedlichem Geltungsbereich beschrieben. Zusätzlich zu
den Aspekten und Vorteilen, die in dieser Kurzbeschreibung beschrieben
sind, erschließen sich
weitere Aspekte und Vorteile unter Bezug auf die Zeichnungen und
durch Lesen der folgenden detaillierten Beschreibung.
-
KURZE BESCHREIBUNG DER ZEICHNUNGEN
-
1 zeigt
ein Blockschaltbild, das eine Übersichtsdarstellung
einer Ausführungsform
auf der Systemebene veranschaulicht.
-
2 zeigt
ein Blockschaltbild der Hardware und Betriebsumgebung, in der unterschiedliche
Ausführungsformen
ausgeführt
werden können;
-
3 zeigt
ein Flussdiagramm eines Verfahrens, das gemäß einer Ausführungsform
durch einen Client durchgeführt
wird;
-
4 zeigt
orthogonale Bildschichten, die als ein 3D-Rendering mit graphischen
Hinweisen angezeigt werden, die gemäß einer Ausführungsform beim
Ziehen der Maus auf dem Bild eingezeichnet werden;
-
5 zeigt
eine Ansicht einer graphischen Benutzeroberfläche (GUI, Graphical User Interface) gemäß einer
Ausführungsform;
-
6 zeigt
ein interaktives Flussdiagramm, das die Interaktion zwischen einem
Benutzer, einem System und einem Registrierungsprozess während einer
automatischen Registrierung veranschaulicht;
-
7 zeigt
ein Flussdiagramm eines Verfahrens, das durch einen Client gemäß einer
Ausführungsform
durchgeführt
wird;
-
8 zeigt
eine Bildschirmansicht der physikalischen Segmentierung gemäß einer
Ausführungsform;
-
9 zeigt
eine Bildschirmansicht einer geebneten bzw. angeflachten Oberfläche mit
Erweiterung und Benutzerinteraktion gemäß einer Ausführungsform;
-
10 veranschaulicht
eine Ebnung bzw. Anflachung (Flattening) durch Projektion gemäß einer
Ausführungsform;
-
11 veranschaulicht
ein Isomap-Flattening gemäß einer
Ausführungsform;
und
-
12 veranschaulicht
ein LLE-Flattening (Localy Linear Embedding Flattening) gemäß einer Ausführungsform.
-
DETAILLIERTE BESCHREIBUNG
DER ERFINDUNG
-
In
der folgenden detaillierten Beschreibung wird auf die beigefügten Zeichnungen
Bezug genommen, die Teil der Beschreibung bilden und in denen zu
Veranschaulichungszwe cken spezielle Ausführungsformen dargestellt sind,
die ausgeführt
werden können.
Diese Ausführungsformen
sind hinreichend detailliert beschrieben, um einen Fachmann auf
dem Fachgebiet in die Lage zu versetzen, die Ausführungsformen
auszuführen,
wobei es verständlich
ist, dass andere Ausführungsformen
verwendet werden können
und dass logische, mechanische, elektrische und sonstige Änderungen
vorgenommen werden können,
ohne von dem Rahmen der Ausführungsformen
abzuweichen. Die folgende detaillierte Beschreibung soll folglich
nicht in einem beschränkenden
Sinne aufgefasst werden.
-
Die
detaillierte Beschreibung ist in Abschnitte unterteilt. Es ist eine
Systemebenenübersicht
beschrieben, es sind Verfahren oder spezielle Implementierungen
von Ausführungsformen
beschrieben, und es sind die Hardware und die Betriebsumgebung,
in Verbindung mit denen die Ausführungsformen
ausgeführt
werden können,
beschrieben. Schließlich
ist ein Ergebnis der detaillierten Beschreibung angegeben.
-
Systemübersicht
-
1 zeigt
ein Blockschaltbild, das einen Überblick über ein
Bildgebungssystem 100 auf der Systemebene gibt. Die Ausführungsformen
sind hier beschrieben, wie sie in einer Multiprocessing-, Multithreaded-Betriebsumgebung
auf einem Computer, beispielsweise einen Computer 202 in 2,
funktionieren.
-
In 1 enthält ein Röntgensystem 100 eine Röntgenröhre 15 oder
eine Röntgenquelle 15,
die, wenn sie durch eine Spannungsversorgung 16 angeregt
ist, einen Röntgenstrahl 17 aussendet.
Wie veranschaulicht, ist der Röntgenstrahl
zu einem Patienten 18 hin gerichtet, der auf einem Röntgenstrahlen durchlässigen Tisch 20 liegt.
Der Teil des Strahls, der durch den Tisch und den Patienten hindurch übertragen
wird, trifft auf eine Röntgendetektoranordnung 22 auf.
Die Röntgendetektoranordnung 22 weist
einen Szintillator 24 auf, der die Röntgenphotonen in Photonen niedrigerer
Energie in dem sichtbaren Spektrum umwandelt. Benachbart zu dem
Szintillator 24 ist ein Bildfotodetektorarray 26,
das die Lichtphotonen in ein elektrisches Signal wandelt, angeordnet. Eine
Detektorsteuerungseinrichtung 27 enthält eine Elektronik zum Betreiben
des Detektorarrays 26, um ein Bild zu akquirieren und um
das Signal aus jedem Fotodetektorelement auszulesen.
-
Das
Ausgangssignal von dem Bildfotodetektorarray 26 wird an
einen Bildprozessor 28 angekoppelt, der eine Schaltung
zur Erfassung, Verarbeitung und Verbesserung des Röntgenbildsignals
enthält. Das
verarbeitete Bild wird auf einem Videomonitor 32 angezeigt
und kann in einer Bildspeichervorrichtung 30 abgespeichert
werden. Eine System- und Bilddetektorsteuerung 36, die
Befehle von dem Benutzer über
ein Bedienerschnittstellenpanel 38 empfängt, zu dem ein Vorbereitungsschalter 39 und
ein Bestrahlungsschalter 41 gehören, steuert den gesamten Betrieb
der Röntgenvorrichtung 14.
Während
verschiedener Betriebsmodi, wie sie nachstehend beschrieben sind,
wird eine Leuchte 43 zum Leuchten gebracht.
-
Das
Bildfotodetektorarray 26 umfasst eine Vorrichtung aus amorphem
Silizium auf einem Glassubstrat. Ein Teil des Lichts von dem Szintillator 24 wird
durch diese Siliziumvorrichtungen und durch die Zwischenräume zwischen
diesen durchgelassen. Außerdem
wird ein Teil der Röntgenstrahlen
sowohl durch den Szintillator 24 als auch durch das Bildfotodetektorarray 26 hindurch übertragen.
Das Ausgangssignal von dem Array 26 wird ferner an eine (nicht
veranschaulichte) Bestrahlungssteuerungsschaltung angekoppelt, die
in Zusammenhang mit 2–4 beschrieben
ist.
-
Im
Allgemeinen verwendet das Bildgebungssystem eine als Preshot-Bild
bezeichnete Voraufnahme von dem digitalen Detektor 26.
Das Preshot-Bild wird ausgehend von einer kleinen Dosis Röntgenstrahlen
erhalten, was vor der Röntgenbestrahlung erfolgt,
die zu einem Bild eines Patienten führt. Die Anzahl, Lage und Größe der interessierenden
Bereiche (ROIs, Regions of Interest) auf dem Preshot-Bild wird zur
Steuerung der Bestrahlung verwendet und auf der Grundlage einer
vorgeschriebenen Anatomie/Ansicht definiert oder automatisch aus
den Bilddaten berechnet, die in dem Detektor 26 erzeugt
werden. Eine typische Anatomieansicht ist eine Brustansicht. Somit
kann das AEC-Sichtfeld für
unterschiedliche Bildgebungsprozeduren eingestellt werden, indem
das Signal von einem oder mehreren ROIs der gewünschten Gestalt und Größe wahlweise
miteinander kombiniert wird bzw. werden.
-
Nachdem
der Vorbereitungsschalter 39 niedergedrückt wird, definiert das System
die Preshot-Parameter auf der Grundlage der folgenden Parameter,
die durch einen Benutzer des Systems vorgeschrieben werden: Anatomie/Ansicht,
Kundendosisauswahl und Patientengröße. Die Patientengröße ist im
Allgemeinen auf klein, mittel oder groß beschränkt. Der Benutzer gibt die
Parameter über
die Bedienerschnittstelle 38 ein. Die Preshot-Parameter umfassen
die Röntgenbestrahlungstechnik,
die Detektorzeitsteuerung und die Synchronisation zwischen diesen
beiden. Die Röntgenbestrahlungstechnik
umfasst KV, ma, Mas und viele weitere Parameter, wie sie für einen
Röntgentechniker
bekannt sind. Die Zeitsteuerung für den Detektor umfasst eine
Zeitversatzsteuerung und eine Auslesezeit. Über die Schnittstelle 38 gibt
ein Benutzer sämtliche
Preshot-Parameter ein.
-
Nachdem
der Bestrahlungsschalter 41 niedergedrückt wird, führt das System die folgenden
Aktionen aus: Erzeugung eines Versatz- bzw. Offset-Bildes; Akquisition
eines Preshot-Bildes; Berechnung einer optimalen Röntgenbestrahlungsdosis,
z.B. durch Anpassung der Bestrahlungszeit, und Herbeiführung einer
Bestrahlung oder Erzeugung eines endgültigen Bildes auf der Grundlage
der berechneten optimalen Röntgendosis.
-
Obwohl
die Erfindung hier im Zusammenhang mit Röntgenbildern beschrieben ist,
können
andere Erzeugungssysteme, wie beispielsweise Magnetresonanzbildgebungs-,
Computertomographiebildgebungs-, Ultraschallbildgebungs- oder andere bekannte
Bildgebungssysteme verwendet werden, ohne von dem Rahmen der Erfindung
abzuweichen. Obwohl das System 100 nicht auf irgendeine
spezielle Modalität
beschränkt
ist, ist der Klarheit willen ein vereinfachtes Röntgensystem beschrieben.
-
Verfahren gemäß einer
Ausführungsform
-
In
dem vorhergehenden Abschnitt ist eine Systemübersicht über die Betriebsweise einer
Ausführungsform
beschrieben worden. In diesem Abschnitt sind die speziellen Verfahren,
die durch die Clients einer derartigen Ausführungsform ausgeführt werden,
unter Bezugnahme auf eine Folge von Flussdiagrammen beschrieben.
Eine Beschreibung der Verfahren unter Bezugnahme auf ein Flussdiagramm
ermöglicht
einem Fachmann, derartige Programme, eine derartige Firmware oder
Hardware, einschließlich
derartiger Anweisungen bzw. Befehle zur Ausführung der Verfahren auf geeigneten
computergestützten
Clients oder dem Prozessor der Clients, der die Anweisungen von
Computer lesbaren Medien ausführt,
zu entwickeln. In ähnlicher
Weise bestehen die Verfahren, die durch die Servercomputerprogramme,
-firmware oder -hardware ausgeführt werden,
ebenfalls aus Computer ausführbaren
Anweisungen. Die Verfahren 300 und 700 werden
durch ein Clientprogramm durchgeführt, das auf einer Firmware
oder Hardware abläuft
oder durch eine Firmware oder Hardware ausgeführt wird, die Teil eines Computers,
beispielsweise des Computers 202 in 2, bildet,
und die die Handlungen bzw. Maßnahmen
beinhaltet, die durch den Prozessor 204 vorgenommen werden
müssen.
-
3 zeigt
ein Flussdiagramm eines Verfahrens 300, das durch einen
Client gemäß einer
Ausführungsform
ausgeführt
wird. Das Verfahren 300 deckt den in der Technik bestehenden
Bedarf nach einem automatischen Registrierungsverfahren, das die
Unzulänglichkeiten
des Standes der Technik überwindet.
-
Das
Verfahren 300 beginnt mit einer Aktion 302, die
den Registrierungsprozess startet. In der Maßnahme 302 werden
alle notwendigen Module, Komponenten oder Subroutinen mit allen
erforderlichen Bildern in den Arbeitsspeicher (RAM) geladen, um
durch den automatischen Registrierungsprozess verarbeitet oder gehandhabt
zu werden. Alle von mehreren Scanns eines Patienten erfassten Daten werden
als ein Datensatz betrachtet. Jeder Datensatz kann in kleinere Einheiten,
entweder Pixel oder Voxel, zergliedert werden. Wenn der Datensatz
zweidimensional ist, ist das Bild aus Einheiten aufgebaut, die als
Pixel bezeichnet werden. Ein Pixel ist ein Punkt in einem zweidimensionalen
Raum, auf den unter Verwendung zweidimensionaler Koordinaten, gewöhnlich x
und y, Bezug genommen werden kann. Jedes Pixel in einem Bild ist
von acht weiteren Pixeln umgeben, wobei die neun Pixel ein Quadrat
mit drei mal drei Pixeln bilden. Diese acht weiteren Pixel, die das
zentrale Pixel umgeben, werden als die acht Anschlussnachbarn des
zentralen Pixels betrachtet. Wenn der Datensatz dreidimensional
ist, wird das Bild in Einheiten angezeigt, die als Voxel bezeichnet werden.
Ein Voxel ist ein Punkt in einem dreidimensionalen Raum, auf den
unter Verwendung dreidimensionaler Koordinaten, gewöhnlich x,
y und z, Bezug genommen werden kann. Jedes Voxel ist von sechsundzwanzig
weiteren Voxeln umgeben. Die sechsundzwanzig Voxel können als
die sechsundzwanzig Anschlussnachbarn des Ausgangsvoxels betrachtet werden.
Im Allgemeinen sind dreidimensionale magnetische Gehirnbilder mittels
Konnektivität
segmentiert worden; jedoch bestehen gewöhnlich Verbindungen zwischen
dem intrakranialen Volumen und der Kopfhaut. Ein Pfad, der das Gehirn
mit der Kopfhaut verbindet, verläuft
entlang des Sehnervs zu den mit Fluid gefüllten Augenkugeln und anschließend zu dem
Gesichtsgewebe. Eine oder mehrere Keime werden in dem Objekt und
der Wavelets-Datenstruktur platziert, die die Voxel repräsentiert,
die in einem Kugelbereich mit einem festen Kugelradius enthalten sind.
Nach der Aktion 302 geht die Steuerung zu der Aktion 304 zur
weiteren Verarbeitung über.
-
Die
Aktion 304 führt
eine Registrierungsiteration aus. In der Registrierungsiteration 304 werden die
Bilder mit einer gaussförmigen
Kernelfunktion geglättet
und anschließend
unterabgetastet. Die Prozedur zur iterativen Registrierung eines
dreidimensionalen medizinischen Bildes, das ein interessierendes Objekt
enthält,
weist eine Erzeugung mehrerer aufeinander folgender Schichten von
Kreisen mit festem Radius rund um einen Umfang eines Kreises auf,
der wenigstens einen Keimpunkt enthält, der in dem interessierenden
Objekt angeordnet ist, wenn mehrere jeweilige Voxel, die in den
Kreisen enthalten sind, eine ausgewählte Schwelle überschreiten.
Die Prozedur wiederholt die Erzeugung der Schichten, bis keine weiteren
Voxel, die in einer äußeren Fläche jeder
jeweiligen Schicht enthalten sind, eine ausgewählte Schwelle überschreiten,
wobei die Schichten eine segmentierte Darstellung des interessierenden Objektes
bilden. Der Radius wird entsprechend einem gewünschten Krümmungsradius der segmentierten
Darstellung ausgewählt.
Es sind weitere Schichten von Kreisen in einer segmentierten Darstellung
des Objektes vollständig
in dem interessierenden Objekt enthalten. Der berechnete Satz von Stufen
bzw. Ebenen kann anschließend
durch den Prozessor verwendet werden, um die Verarbeitung zu beschleunigen.
Wenn die Bilder verarbeitet worden sind, geht die Steuerung zur
weiteren Verarbeitung zu der Aktion 306 über.
-
In
der Aktion 306 wird eine Benutzereingabe entgegengenommen.
In der Aktion 306 kann der Benutzer Hilfe über eine
graphische Benutzerschnittstelle bzw. -oberfläche (GUI) leisten. Die Benutzerhilfe
kann Algorithmenparameter in Bezug auf beispielsweise eine Verschiebung,
eine Drehung und eine Skalierung darstellen. Es sollte beachtet
werden, dass die berechneten Stufen (Aktion 304) verwendet
werden können,
um zu beschränken,
wann und wie viele Benutzereingaben durch den Prozessor verarbeitet
werden. Beispielsweise können
Benutzereingaben in einem temporären
Speicher gehalten werden, bis eine gegebene Stufe erreicht oder eine
bestimmte Anzahl von Iterationen verarbeitet worden ist. Die Benutzereingabe
kann die Form des Anklickens und Ziehens einer Zeigervorrichtung (Maus
oder Steuerstift) auf orthogonalen Bildschichten einnehmen, die
in Form eines 3D-Renderingbildes
angezeigt werden. Beispielsweise kann das Ziehen des linken Mausknopfs
das Bild in der Bewegungsrichtung verschieben, während das Ziehen des rechten
Mausknopfs das Bild rund um die Achse drehen kann, die senkrecht
zu der bestimmten Bildschicht verläuft. Wenn die Benutzereingaben
entgegengenommen worden sind, geht die Steuerung zur weiteren Verarbeitung
zu der Aktion 308 über.
-
In
der Aktion 308 wird eine Bestimmung der Beendigung vorgenommen.
Die berechneten Stufen bzw. Ebenen in der Aktion 304 können dazu
verwendet werden, den Beendigungspunkt für den Registrierungsprozess
zu bestimmen. Diese Beendigung kann auf der Anzahl von Iterationsschritten
und der Anzahl von Ebenen bzw. Stufen, die registriert worden sind,
basieren. Diese Beendigung kann ferner auf der Erfassung einer Algorithmuskonvergenz
basieren. Eine mehrmalige Wiederholung dieser Schritte ergibt einen
Skalenraum von verschiedenen Ebenen bzw. Stufen. Anschließend beginnt
die Registrierung bei der gröbsten
Stufe des Skalenraums, führt eine
Iteration bis zu einer Konvergenz auf dieser Stufe aus und geht
danach zu der nächsten
Stufe mit höherer
Auflösung über. Als
Effekt wird der zweifache Nutzen einer schnelleren Lösung sowie
einer Lösung erhalten,
die mit geringerer Wahrscheinlichkeit in einem lokalen Minimum festgesetzt
wird. Der vorgeschlagene Algorithmus ist für derartige Multiskalentechniken
gut geeignet, weil die Benutzereingabe in der momentanen Stufe mit
einbezogen werden kann und diese die Konvergenz auf dieser Stufe
beschleunigen kann. Eine Benutzereingabe ist auf der gröbsten Stufe
am nützlichsten,
wenn die Erkennungsfähigkeiten
eines Klinikers ausgenutzt werden können, um ein Festsitzen in
lokalen Minima zu vermeiden. Eine Registrierung auf der feinsten
Stufe ist für
eine Durchführung
durch den Computer am besten geeignet, wenn eine Feinabstimmung
von Subvoxeln für Menschen
zu mühsam
ist. Wenn die Registrierung nicht vollständig erledigt ist, wird die
Steuerung zu der Aktion 304 zur weiteren Verarbeitung zurückgeführt. Wenn
die Registrierung beendet ist, geht die Steuerung zu der Aktion 310 über.
-
In
der Aktion 310 wird die Registrierung beendet. Die beendete
Registrierung wird zu einer Anzeigevorrichtung 222, 32 zur
Darstellung für
den Benutzer oder zu Fernnutzern, die über ein geeignetes Netzwerk
angeschlossen sind, gesandt.
-
In
einigen Ausführungsformen
ist das Verfahren 300 in Form eines Computerdatensignals
implementiert, das in einer Trägerwelle
enthalten ist, die eine Folge von Instruktionen darstellt, die bei
einer Ausführung
durch einen Prozessor, beispielsweise den Prozessor 204 nach 2,
den Prozessor veranlassen, das jeweilige Verfahren auszuführen. In anderen
Ausführungsformen
ist das Verfahren 300 in Form eines Computer zugreifbaren
Mediums realisiert, das ausführbare Instruktionen
aufweist, die in der Lage sind, einen Prozessor, beispielsweise
den Prozessor 204 in 2, zu leiten,
damit dieser das jeweilige Verfahren ausführt. In unterschiedlichen Ausführungsformen
ist das Medium ein magnetisches Medium, ein elektronisches Medium
oder ein optisches Medium.
-
Bezugnehmend
auf 4–6 ist
eine bestimmte Realisierungsform in Verbindung mit der Systemübersicht
nach 1 und den in Verbindung mit 3 beschriebenen
Verfahren beschrieben. Die Figuren verwenden die Datenmodelierungssprache Unified
Modeling Language (UML), die die industriestandardmäßige Sprache
ist, um die objektorientierten Gegenstände von Softwaresystemen zu
spezifizieren, zu visualisieren, einzurichten und zu dokumentieren.
In den Figuren wird ein Pfeil zwischen Klassen dazu verwendet anzuzeigen,
dass eine Kindsklasse unter einer Elterntasse Attribute und Verfahren
von der Elternklasse erbt bzw. übernimmt. Eine
Komposition definiert die Attribute einer Instanz einer Klasse in
einer derartigen Weise, dass sie eine Instanz einer oder mehrerer
existierender Instanzen von anderen Klassen enthält, in denen das zusammensetzende
Objekt nicht von dem Objekt bzw. den Objekten erbt, aus dem bzw.
denen er sich zusammensetzt.
-
Die
Systemkomponenten können
in Form einer Computerhardwareschaltung oder als ein Computer lesbares
Programm oder eine Kombination von beiden realisiert sein. In einer
anderen Ausführungsform
ist das System in Form eines ASP-Systems
(Application Service Provider System, Dienstleistersystem, das die
Nutzung von Applikationen über
das Internet anbietet) implementiert.
-
Insbesondere
können
die Programme in der Computer lesbaren Programmausführung objektorientiert
unter Verwendung einer objektorientierten Sprache, wie beispielsweise
Java, Smalltalk oder C++, strukturiert sein, wobei die Programme
auch prozedurorientiert unter Verwendung einer Prozedursprache,
wie beispielsweise COBOL oder C, strukturiert sein können. Die
Softwarekomponenten kommunizieren über eine beliebige von vielen
Einrichtungen, die für
einen Fachmann auf dem Fachgebiet allgemein bekannt sind, wie beispielsweise über Anwendungsprogrammschnittstellen
(API, Application Programm Interfaces) oder Interprozess-Kommunikationstechniken,
wie beispielsweise Remote Procedure Call (RPC), Common Object Request
Broker Architecture (CORBA), Component Object Model (COM), Distributed
Component Object Model (DCOM), Distributed System Object Model (DSOM) und
Remote Method Invocation (RMI). Die Komponenten werden auf einem
einzelnen Computer, wie beispielsweise dem Computer 202 nach 2,
oder auf wenigstens so vielen Computern, wie viele Komponenten es
gibt, ausgeführt.
-
4 zeigt
eine Anzeige 400 einer Bedienerschnittstelle mit Schichten
eines Patientenkörpers oder
eines ausgewählten
Abschnitts eines Patientenkörpers
sowie eine Bildmontage dieser Schichten zu einer dreidimensionalen
Darstellung. Ferner sind bei 402 graphische Hinweise zu
beachten, die auf dem Bild eingezeichnet werden, während die
Maus gezogen wird. Die Scanndaten umfassen gewöhnlich eine Folge von zweidimensionalen
Bildern, die Schichten repräsentieren,
die durch die Struktur, die das Objekt des Scannvorgangs war, hindurch
aufgenommen worden sind. Die zweidimensionalen Bilder werden in ein
dreidimensionales Bild umgewandelt oder transformiert, wie dies
veranschaulicht ist. Die zweidimensionalen Bilder können gewöhnlich von
einer Spiral-CT-Scanneinrichung gewonnen werden, die durch eine
Computerkonsole betätigt
wird. Beispielsweise kann die Scanneinrichtung ein Spiral-CT-Scanner
von General Electric sein, der mit einer optionalen unabhängigen Computerkonsole
oder einer Arztkonsole von General Electric verbunden ist. Die Computerkonsole
kann jedoch, anstatt eine gesonderte unabhängige Konsole zu sein, einen
integralen Teil der Spiral-CT-Scanneinrichtung bilden. Die zweidimensionalen
Bilder können
auch durch Ultraschall-, Positronen-Emissionstomographie-, Emissions-Computertomographie-
und Magnetresonanzbildgebung gewonnen werden. Die gemessene physikalische
Eigenschaft steht in direktem Zusammenhang mit der Scanntechnik,
die verwendet wird, um die zweidimensionalen Bilder zu erzeugen.
Für CT-Bilder
ist die physikalische Eigenschaft, die gemessen wird, gewöhnlich die
Röntgenabschwächung, während für Magnetresonanzbilder
(MR-Bildgebung) die gemessene physikalische Eigenschaft im Allgemeinen
mit unterschiedlichen Eigenschaften, wie beispielsweise der Protonendichte,
in Beziehung steht.
-
5 veranschaulicht
eine graphische Bedieneroberfläche
bzw. -schnittstelle (GUI, Graphical User Interface) 500 gemäß einem
Aspekt der Erfindung. Die GUI, wie sie veranschaulicht ist, umfasst ein
Schichtfeld 502, ein Bildinformationsfeld 504 und ein
Feld für
eine dreidimensionale Darstellung. Die Ausgabe der Segmentierung
wird über
den ursprünglichen
Grauwertskalabildern mit unterschiedlicher Durchsichtigkeit angezeigt.
Die drei Schichten in dem unteren Teil der Bildschirmansicht entsprechen
denjenigen, die oben in der dreidimensionalen Ansicht veranschaulicht
sind.
-
6 veranschaulicht
die Interaktion zwischen dem System, dem Registrierungsprozess und dem
Benutzer. Eine Aktion 602 beginnt den Prozess mit dem Senden
von Bildgebungsdaten oder eines Datensatzes, der modifizierte Bildgebungsdaten
aufweist, von dem System zu dem Registrierungsprozess. Während der
Registrierungsprozess an den empfangenen Daten arbeitet, kann der
Benutzer in einer Aktion 604 Änderungen vorschlagen. Die Änderungen
können
entweder durch Polling (Abfragen) oder durch geeignet platzierte
Interrupts erfasst werden. Während
einer starren (rigiden) oder affinen Registrierung kann eine Unterstützung durch
den Benutzer über
Steuerungsmittel, beispielsweise Schieber, der GUI (Graphical User
Interface) 500 angeboten werden. Die Steuerungen repräsentieren
die Algorithmusparameter beispielsweise in Bezug auf eine Verschiebung,
Drehung und Skalierung. In geeigneter Weise kann die Benutzereingabe
die Form von Anklicken und Ziehen einer Zeigervorrichtung (z.B.
Maus oder Steuerstift) auf orthogonalen Bildschichten, die als eine
Bildmontage angezeigt werden, oder einem 3D-Renderingbild oder beidem
einnehmen, wie dies in der Figur unten veranschaulicht ist. Beispielsweise
kann ein Ziehen des linken Hausdruckknopfs das Bild in der Bewegungsrichtung
verschieben und ein Ziehen des Hausdruckknopfs das Bild rund um
die zu der speziellen Bildschicht senkrechte Achse drehen.
-
Bei
einer unstarren (nicht rigiden) Registrierung oder beim Warping
(Verzerrung, Verspannung) kann eine Benutzereingabe in der gleichen
Weise eingegeben werden, wobei jedoch der Einfluss eher lokal als
global empfunden wird. Beispielsweise ist ein Warping gewöhnlich durch
ein Strömungsfeld
gekennzeichnet, das durch einen Satz von Vektoren, und zwar jeweils
einen pro Bildvoxel, gebildet ist. Ein Ziehen der Zeigervorrichtung
auf einer Bildschicht könnte
einen großen
Beitrag zu den Strömungsvektoren
in der unmittelbaren Umgebung des Klicks leisten, wobei mit zunehmendem
Abstand die Beitragsgröße verringert
wird. Dies bedeutet, dass der Effekt lokal und in dem umgebenden
Strömungsfeld
geglättet
erzielt wird. Das Ausmaß dieser
Glättung
könnte durch
den Benutzer angezeigt werden. Beispielsweise könnte ein interessierender Bereich
(ROI, Region of Interest) in dem der Effekt am stärksten empfunden
werden soll, durch Einzeichnen eines Polygons mit dem rechten Hausdruckknopf
angezeigt werden, während
anschließend
die eingegebene Vektorrichtung und -stärke durch ein dieser Bewegung
nachfolgendes Ziehen des linken Hausdruckknopfs angezeigt werden
könnte.
-
Die
vom Benutzer vorgegebenen Änderungen 604 können durch
das System mit einbezogen werden, um dem Algorithmus zu helfen,
zu einer schnelleren und verlässlicheren
Lösung
zu gelangen. Die Einrichtung zur Einbeziehung der Benutzereingabe
in den Registrierungsalgorithmus ist insbesondere für iterative
Verfahren, beispielsweise wenn das Verfahren zur Durchsuchung des
Raums zulässiger Transformationen
das stochastische Gradient-Descent-Verfahren ist, besonders einfach.
Bei diesem Verfahren führt
der Algorithmus mehrere tausend Iterationsschritte zur Berechnung
des Bildgradienten und zur Verfeinerung des Satzes von Verschiebungen
und Rotationen (Modellen) aus. Der Gradient wird stochastisch berechnet,
weil er lediglich ausgehend von einer kleinen Stichprobe von Bildvoxeln, beispielsweise
fünfzig
Proben von einem 3D-Bild mit 8 Mio. Pixeln, berechnet wird. Auf
diese Weise registriert der Prototyp das T1-gewichtete und das T2-gewichtete
Bild miteinander, wie dies in 4 veranschaulicht
ist. Unter Verwendung einer Ähnlichkeitsmetrik
der Korrelation anstelle der Mutual Information, wie dies zur Registrierung
von T1-gewichteten mit T2-gewichteten Bildern nützlich ist, beträgt die Verarbeitungszeitdauer
zwischen 1/4 und 1/3. In diesem Rahmen, in dem viele stochastische
Iterationen zur Aktualisierung eines Modells enthalten sind, kann die
Benutzereingabe durch Anpassung des Modells zwischen Iterationen
mit einbezogen werden, um auf diese Weise einen Sprung näher zu der
gewünschten Lösung hin
zu erzielen.
-
Um
die Verarbeitung zu beschleunigen, wird eine Registrierung häufig bei
unterschiedlichen Auflösungsstufen
bzw. -ebenen durchgeführt.
Der Satz von Stufen kann durch Glättung des ursprünglichen Bildes
mit einer gaussförmigen
Kernelfunktion und einer anschließenden Unterabtastung berechnet werden.
Eine mehrmalige Wiederholung dieser Schritte ergibt einen Skalenraum
von verschiedenen Stufen. Anschließend beginnt die Registrierung
bei der gröbsten
Stufe des Skalenraums 602, führt eine Iteration durch, um
eine Konvergenz bei dieser Stufe zu erzielen, und geht danach zu
der nächsten
Stufe mit einer höheren
Auflösung 606 über. Als
Effekt wird der zweifache Vorteil einer schnelleren Lösung sowie einer
Lösung
erhalten, bei der eine geringere Wahrscheinlichkeit besteht, dass
sie in einem lokalen Minimum stecken bleibt. Bei den vorgeschlagenen
Multiskalentechniken kann die Benutzereingabe (604, 608, 614)
bei der momentanen Stufe mit einbezogen werden, und diese kann die
Konvergenz auf dieser Stufe (602, 606, 610)
beschleunigen. Eine Benutzereingabe ist auf der gröbsten Stufe
am nützlichsten,
in der die Erkennungsfähigkeiten
eines Klinikers genutzt werden können,
um ein Steckenbleiben in lokalen Minima zu vermeiden. Eine Registrierung
auf der feinsten Stufe ist für
eine Durchführung
durch den Computer am besten geeignet, wenn eine Feinabstimmung
von Subvoxeln für
Menschen zu mühsam ist.
Wie in der Zeitsequenz 600 veranschau licht, werden Instanzen,
bei denen die Benutzereingabe 614 von geringem Wert ist,
nicht an den Registrierungsprozess übermittelt.
-
7 zeigt
ein Flussdiagramm eines durch einen Client durchgeführten Verfahrens 700 gemäß einer
Ausführungsform
der vorliegenden Erfindung. Das Verfahren 700 deckt einen
in der Technik bestehenden Bedarf nach einem System und Verfahren zur
Interaktion mit einer anatomischen Fläche.
-
Das
Verfahren 700 beginnt mit einer Aktion 702. Die
Aktion 702 startet den Prozess in dem Moment, der entweder
durch das System, einen Benutzer oder einen Prozess instantiiert
wird. Die Aktion 702 kann den Zugriff auf die dreidimensionale
anatomische Fläche,
den Zugriff auf Bilder, die zusammengefügt werden können, um eine dreidimensionale anatomische
Fläche
zu bilden, und den Zugriff auf alle Daten enthalten, die von dem
Verfahren 700 benötigt
werden, um eine Interaktion mit Bildern durch einen Benutzer oder
ein System zu ermöglichen.
Der Zugriff auf Daten kann aus einem temporären Speicher, einem dauerhaften
Speicher oder einer Information erfolgen, die über ein Netzwerk, beispielsweise
das Internet, empfangen wird. Nachdem der Prozess gestartet und
die Information erhalten worden ist, geht die Steuerung zur weiteren
Verarbeitung zu der Aktion 704 über.
-
In
der Aktion 704 wird die erhaltene Information flachgemacht
bzw. geebnet (Flattening), um sie einfacher zur Interaktion zu gestalten.
Der Flattening-Prozess kann auf eine von zwei Weisen bewerkstelligt
werden. Das erste Verfahren umfasst eine Projektion der anatomischen
Oberflä che
in Richtung auf eine einfachere geometrische Gestalt. Die Wahl der
einfachen geometrischen Gestalt hängt von der allgemeinen Gestalt
der Anatomie ab. Beispielsweise könnte die Gestalt eine Ebene,
ein Zylinder oder eine Kugel sein. Ein Verfahren zum Mapping der
Oberfläche
auf einer Ebene ist für
das klinische Beispiel einer Physis (Wachstumsplatte) nachstehend
beschrieben. In einem anderen Beispiel kann das Mapping der Oberfläche des
Kolons auf einen Zylinder zur Unterstützung einer virtuellen Kolonoskopie
in A.V. Bartroli, R. Wegenkittl, A. Konig, E. Groller, E. Sorantin,
Virtual Colon Flattening, VisSym (2001), Seiten 127–136, gefunden
werden, während
das Mapping der Oberfläche
des Kortex auf eine Kugel in S. Haker, S. Angenent, A. Tannenbaum,
R. Kikinis, G. Sapiro, M. Halle, Conformal Surface Parameterization
for Texture Mapping, IEEE Transactions an Visualization and Computer
Graphics, April-Juni 2000, gefunden werden kann. Das zweite Verfahren
behandelt das Problem der Reduktion dreidimensionaler Daten (3D-Daten)
auf zweidimensionale Daten (2D-Daten) als einen Fall des allgemeineren
Problems der Datendimensionalitätsreduktion.
Zwei Beispiele für
mathematische Verfahren zur Reduktion der Dimensionalität eines
beliebigen willkürlichen Datensatzes
sind Isomap und Locally Linear Embedding (LLE).
-
Außer des
Flattenings zur Herleitung eines 2D-Bildes, auf das man sich stützen bzw.
auf dem gezeichnet werden soll, kann das angeflachte bzw. geebnete
Bild (Flattened Image) zusätzlich
auch erweitert werden, um den Benutzer in Bezug darauf, wo er etwas
einzeichnen soll, besser zu informieren. Aus der 3D-Oberfläche berechnete
Eigenschaften, wie beispielsweise Dicke und Krümmung, können auf dem flachen Bild gerendert
werden. Als ein Beispiel zur Erweiterung des Bildes mit der Dicke
wird der klinische Fall der Segmentierung des wachsenden Teils eines
Knochens (der Physis) betrachtet, wie in 8 veranschaulicht.
In 9 zeigt der vertikale Ausschnitt 902 eine
angeflachte Oberfläche,
der Dickenmesswerte hinzugefügt
sind. Der untere Teil des Ausschnitts 902 zeigt ein zweidimensionales
Bild einer angeflachten Physis, wobei die Intensität der Grauwertskalavoxel
durch die Dicke durch jeden Punkt der Ebene bestimmt ist. Der obere
Teil des Ausschnitts 902 zeigt ein dreidimensionales (3D)-Renderingbild
der Oberfläche,
das entsprechend der Dicke farbkodiert ist.
-
Der
Prozess des Mappings der Physis auf einer Ebene. umfasst eine Berechnung
einer Hauptkomponentenanalyse (Principle Component Analysis, PCA)
all der durch die Segmentierung identifizierten 3D-Punkte. Siehe R.O.
Duda, P.E. Hart, D.G. Stork, Pattern Classification, John Wiley & Sons, 2001.
Der PCA-Prozess dreht den Koordinatenrahmen, so dass die Achsen
anhand ihrer Nützlichkeit zur
Beschreibung der Daten angeordnet werden. PCA approximiert die erfassten
Punkte durch ein Ellipsoid und betrachtet die Achsen des Ellipsoids
als die Achsen eines neuen, transformierten Raums. Das approximierende
Ellipsoid weist eine Längsachse
auf, die sich von einem Cluster zu dem anderen erstreckt: Gerade
diese Linie definiert den neuen Raum. Beispielsweise veranschaulicht 8 Bildschirmaufnahmen
der Physissegmentierung 800. Die orthogonalen Schichtebenen 802 zeigen
die Segmentierung, die den wachsenden Teil eines Knochens (die Physis)
repräsentiert.
Die dreidimensionale Fläche
(3D-Fläche)
der Physis ist bei 804 veranschaulicht, wie sie aus der
Ebene nach außen
vorragt. Die Oberfläche
kann, obwohl sie nicht linear ist, auf eine Ebene gemappt werden.
In diesem Beispiel der Physis ist die dritte und letzte Achse senkrecht
zu der Ebene ausgerichtet, die am besten zu der Segmentierung passt,
während
die ersten beiden Achsen innerhalb dieser Ebene liegen. Das 3D-Bild 804 kann anschließend unter
Verwendung des neuen Koordinatenrahmens neu formatiert werden. Die
ungefähre Dicke
der Physis kann anschließend
berechnet werden, indem einfach die Anzahl von Voxeln entlang der
Achse, die der Dicke entspricht, gezählt wird. Ebenso wie die Physis
eine anatomische Struktur ist, die sich zum Mapping auf eine Ebene
gut eignet, ist der Gelenkknorpel zum Mapping auf einen Zylinder gut
geeignet. Die Oberfläche
des Gelenkknorpels könnte
der Oberfläche
eines virtuellen Zylinders entsprechen, die anschließend einfach
durch Entrollen der Zylinderseite flachgemacht werden könnte. 10 veranschaulicht
diesen Prozess, bei dem ein Bereich der Oberfläche 1002 auf den Zylinder 1004 mit
durch die Höhe
und den Winkel bezeichneten Achsen projiziert wird. Die Projektion
kann durch Umformen von Strahlen von der zentralen Achse des Zylinders
nach außen
durch die Zylinderoberfläche,
bis ein Kontakt mit der segmentierten Fläche hergestellt ist, berechnet
werden. Die Strahlen können
entweder unter gleichen Winkeln oder in gleichen Abständen entlang
des Flächenumfangs
zueinander beabstandet sein. Der Zylinder wird auf eine zweidimensionale Fläche 1006 gemappt.
Der untere Ausschnitt 1000 zeigt eine angeflachte bzw.
geebnete Kolonoberfläche.
Siehe A.V. Bartroli, R. Wegenkittl, A. Konig, E. Groller,
E. Sorantin, Virtual Colon Flattening, VisSym, 2001, Seiten 127–136.
-
Als
eine Alternative zum Mapping einer anatomischen Oberfläche auf
eine geometrisch einfachere Oberfläche können allgemeine Algorithmen zur
Datendimensionalitätsreduktion
angewandt werden. Eine Datendimensionalitätsreduktion bezieht sich auf
den Prozess der Ableitung eines Satzes von Freiheitsgraden, die
angepasst werden können,
um einen Großteil
der in einem Trainingssatz beobachteten Variabilität zu reproduzieren.
Es wird ein Satz von eingegebenen Datenpunkten der Dimensionalität D betrachtet,
die auf oder in der Nähe
einer glatten unterliegenden nicht linearen Manigfaltigkeit der
niedrigeren Dimensionalität
d liegen. Diese Verfahren versuchen, die unterliegende Struktur
der nicht linearen Manigfaltigkeiten zu entdecken, um einen gegebenen
Satz von Punkten hoher Dimension in einen Ersatzraum niedriger Dimension
zu mappen, wie dies symbolisch durch die folgende Gleichung veranschaulicht
ist:
-
Das
Locally-Linear-Embedding-Verfahren (LLE-Verfahren) und das Isomap-Verfahren
sind Algorithmen zum unbeaufsichtigten Erlernen von Manigfaltigkeiten,
während
das PCA auf das Erlernen lediglich linearer Manigfaltigkeiten beschränkt ist.
Das Isomap- und das LLE-Verfahren können auf das Problem des Anatomie-Flattenings
angewandt werden, indem dieses als ein Fall der Reduktion dreier
Dimensionen auf zwei Dimensionen behandelt wird.
-
12 veranschaulicht,
wie ein LLE-Verfahren auf eine Schweizer Rolle angewandt werden kann.
Das Bild auf der linken Seite veranschaulicht eine derartige Situation,
in der die 3D-Punkte die Topologie einer rechteckigen 2D-Manigfaltigkeit
bilden, die in die Form einer dreidimensionalen S-Kurve gebogen
bzw. gekrümmt
ist. Man stelle sich vor, dass eine Schere verwendet wird, um die
Manigfaltigkeit in kleine (weiß eingezeichnete)
Quadrate aufzuschneiden, die lokal lineare Flecken der nicht linearen
Oberfläche
der S-Kurve repräsentieren.
Anschließend werden
diese Quadrate auf einer flachen Tischplatte positioniert, während die
Winkelbeziehungen zwischen benachbarten Quadraten aufrecht erhalten werden.
Es ist zu beachten, dass die Transplantation ein lineares Mapping
darstellt, weil sie lediglich die Operationen der Verschiebung,
Drehung und Skalierung jedes Fleckens umfasst. Somit identifiziert
der Algorithmus die nichtlineare Datenstruktur anhand von zwei linearen
Berechnungsschritten: erstens einer Berechnung der lokal linearen
Flecken und zweitens einer Berechnung des linearen Mappings auf eine
Einbettung niedrigerer Dimension, die das Koordinatensystem auf
der Manigfaltigkeit bildet.
-
Die
Hauptidee hinter dem Locally Linear Embedding (LLE) liegt darin,
die eingegebenen Datenpunkte auf ein einzelnes globales Koordinatensystem
niedrigerer Dimension in einer derartigen Weise zu mappen, dass
die Beziehungen zwischen benachbarten Punkten aufrechterhalten werden.
Siehe S.T. Roweis, L.K. Saul, Nonlinear Dimensionality Reduction
by Locally Linear Embedding, Science Dezember 2000; Seiten 2323-2326,
sowie Einführung
zum Locally Linear Embedding unter http://www.cs.toronto.edu/-roweis/lle/publications.html.
Es wird erwartet, dass jeder Datenpunkt und seine Nachbarn auf oder in
der Nähe
eines lokal linearen Fleckens einer Manigfaltigkeit liegen. Die
intrinsische Geometrie eines Fleckens kann durch Annäherung jedes
Punktes durch eine Linearkombination seiner Nachbarn erfasst werden.
Die Koeffizienten für
diese Kombination werden derart gewählt, dass sie in Bezug auf
die Transplantationsoperationen, wie beispielsweise Verschiebung,
Drehung und Skalierung, invariant sind. Deshalb wird die Charakterisierung
der lokalen Geometrie in dem ursprünglichen Datenraum hoher Dimension
auch in dem niederdimensionalen Raum in gleicher Weise gültig sein.
Der Algorithmus findet anschließend
einen Satz von niederdimensionalen Punkten auf, die mit den gleichen
Koeffizienten, die aus den höher
dimensionalen Da tenpunkten ermittelt worden sind, durch ihre Nachbarn
linear approximiert werden können.
-
11 zeigt,
wie Isomap auf eine Schweizer Rolle angewandt werden kann. Die Hauptidee
hinter dem Isomap-Algorithmus (Isometric-Feature-Mapping-Algorithmus)
besteht darin, eine klassische MDS (multidimensionale Skalierung)
durchzuführen, um
Datenpunkte von ihrem hochdimensionalen Eingangsraum in niederdimensionale
Koordinaten einer nichtlinearen Manigfaltigkeit zu mappen. Die paarweisen
MDS-Abstände werden
nicht in dem eingegebenen euklidischen Raum, sondern in dem geodätischen
Raum der Manigfaltigkeit berechnet. Die geodätischen Abstände repräsentieren
den kürzesten Weg
entlang der gekrümmten
Oberfläche
der Manigfaltigkeit (gemessen, als ob die Oberfläche flach wäre). Hinweise in Bezug auf
die Form der Manigfaltigkeit werden nur durch die eingegebenen Daten
als Flächenstichproben
gegeben. Die tatsächlichen
geodätischen
Abstände
werden folglich durch eine Folge von kurzen Sprüngen zwischen benachbarten
Probenpunkten approximiert. Schließlich wird auf die geodätischen
Abstände
die MDS angewandt, um einen Satz von niederdimensionalen Punkten
mit ähnlichen paarweisen
Abständen
aufzufinden. Da nur die geodätischen
Abstände
die wahre niederdimensionale Geometrie der Manigfaltigkeit repräsentieren,
ist der Algorithmus in der Lage, nichtlineare Freiheitsgrade zu
finden, die den komplexen natürlichen
Observationen unterliegen. Das Bild auf der linken Seite zeigt die
Ungenauigkeit des euklidischen Abstandes (gestrichelte Linie) im
Vergleich zu dem geodätischen Abstand
(durchgezogene Linie). Die Bilder in der Mitte und auf der rechten
Seite zeigen, wie die Approximation des geodätischen Abstandes (rote Linie)
den tatsächlichen
Abstand überschätzt.
-
12 zeigt,
wie Isomap auf einer Schweizer Rolle wirksam ist. Es ist die Ungenauigkeit
des euklidischen Abstandes, wie in 1102 durch eine gestrichelte
Linie veranschaulicht, im Vergleich zu dem geodätischen Abstand sichtbar, wie
in 1104 durch eine durchgezogene Linie veranschaulicht.
Wie in 1106 veranschaulicht, führt eine Approximierung des geodätischen
Abstandes (gekrümmte
Linie) zu einer Überschätzung bzw. Überbewertung
des tatsächlichen
Abstandes (gerade Linie). Die Hauptidee hinter dem Isomap- oder
Isometrik-Feature-Mapping-Algorithmus liegt darin, eine klassische
multidimensionale Skalierung (MDS) durchzuführen, um Datenpunkte von ihrem
hochdimensionalen Eingangsraum in niederdimensionale Koordinaten
einer nicht linearen Manigfaltigkeit zu mappen. Siehe C.
Chatfield, A.J. Collins, Introduction to Multivariate Analysis,
Chapman & Hall,
1980, sowie J.B. Tenenbaum, V.d. Silva, J.C. Langford, A Global
Geometric Framework for Nonlinear Dimensionality Reduction, Science,
Dezember 2000, Seiten 2319–2323
sowie Introduction to Locally Linear Embedding, http://isomap.stanford.edu/.
Eine wichtige Erkenntnis besteht darin, die paarweisen MDS-Abstände nicht
in dem euklidischen Eingangsraum sondern in dem geodätischen Raum
der Manigfaltigkeit zu berechnen. Die geodätischen Abstände, die
gemessen werden, als ob die Oberfläche flach wäre, kennzeichnen die kürzesten Wege
entlang der gekrümmten
Oberfläche
einer Manigfaltigkeit. Hinweise in Bezug auf die Gestalt der Manigfaltigkeit
werden nur durch die eingegebenen Daten in Form von Oberflächenstichproben
bereitgestellt. Die tatsächlichen
geodätischen
Abstände
werden folglich durch eine Folge von kurzen Sprüngen zwischen benachbarten
Stichprobenpunkten approximiert. Schließlich wird auf die geodätischen
Abstände
MDS angewandt, um einen Satz von niederdimensionalen Punkten mit ähnlichen
paarweisen Abständen
aufzufinden. Da nur die geodätischen
Abstände
die wahre niederdimensionale Geometrie der Manigfaltigkeit repräsentieren,
ist der Algorithmus in der Lage, nichtlineare Freiheitsgrade, die
komplexen natürlichen
Observationen unterliegen, aufzufinden.
-
Wenn
die dreidimensionale Darstellung einer anatomischen Oberfläche durch
Flattening flachgemacht oder transformiert worden ist, um eine zweidimensionale
Darstellung eines anatomischen Prozesses zu erzeugen, geht die Steuerung
zu den Aktionen 706 und 708 über, um Merkmale und Eigenschaften zu
bestimmen. Diese Aktionen sind entscheidend für ein besseres Verständnis und
eine bessere Interaktion zwischen einer anatomischen Oberfläche und
einem Benutzer. Im Ergebnis wird Benutzern ermöglicht, mit einer erweiterten
Anzeige zu interagieren, die die Reichhaltigkeit der dreidimensionalen
Daten mit der Einfachheit der zweidimensionalen Daten kombiniert.
Auf die geebnete bzw. angeflachte zweidimensionale Oberfläche (2D-Oberfläche) kann
man sich für
die Zwecke der Durchführung
einer Segmentierung, qualitativer Messung oder einer chirurgischen
Planung stützen.
Die angeflachte zweidimensionale Oberfläche ist viel zweckdienlicher,
um sich darauf zu stützen
bzw. darauf zu zeichnen, als eine 3D-Oberfläche. Das angeflachte zweidimensionale Bild,
auf dem gezeichnet wird, kann durch diesem hinzugefügte Eigenschaften
erweitert werden, die aus einer 3D-Fläche berechnet werden. Eine
derartige Anordnung löst
den in der Technik bestehenden Bedarf danach, ein Flattening zu
dem Zweck durchzuführen,
den Benutzer mit einer Fläche
zu versehen, auf der er in einfacher Weise und genau interaktiv
zeichnen kann.
-
Der
Flattening-Prozess ruft eine Oberflächendeformation hervor. Es
ist mathematisch schwierig, ein Mapping zwischen zwei Oberflächen, das
sowohl die Winkel als auch den Flächeninhalt aufrechterhält bzw.
bewahrt, durchzuführen,
wenn die beiden Flächen
nicht die gleiche Gauss'sche Krümmung aufweisen.
Jedoch erleichtert ein Flattening der Oberfläche die Berechnung einiger
Oberflächeneigenschaften.
Wenn beispielsweise das Mapping die Dicke bewahrt oder wenigstens
einigermaßen
innerhalb eines akzeptablen Rahmens bewahrt, kann das Dickenmapping
in dem angeflachten Raum durchgeführt werden. Selbst wenn die
Dicke nicht bewahrt wird, können
Eigenschaften, die in dem angeflachten Raum einfach zu berechnen
sind, in dem ursprünglichen
Raum angewandt werden. Beispielsweise sind Locally Linear Embedding
(LLE) und Isomap keine Mappings, die die Dicke bewahren. Jedoch
könnte
der angeflachte Raum verwendet werden, um die Oberfläche zu definieren,
die in jedem Punkt senkrecht zu der flachen Ebene verläuft, weil dies
von geringer Bedeutung ist. Anschließend könnten die Normalenvektoren
zurück
in den 3D-Raum gemappt werden, woraufhin die Dicke in dem 3D-Raum
gemessen werden könnte,
der entlang der transformierten Normalenvektoren orientiert ist.
Der angeflachte Raum könnte
verwendet werden, um auf einfache Weise die beiden gegenüberliegenden
Flächen
zu definieren, zwischen denen die Dicke gemessen werden soll. Dann
könnte
die Dickenmessung unter Verwendung bestehender Verfahren, wie beispielsweise
Iterated Closest Point (ICP) oder Partial Differential Equations
(PDE), durchgeführt
werden. Siehe A.J. Yezzi, J.L. Prince, A PDE Approach for
Measuring Tissue Thickness, computer Vision and Pattern Recognition
(CVPR), Kauai (Hawaii), 1998, Seiten 87–92.
-
Wenn
das Merkmal und die Eigenschaften in den Aktionen 706 und 708 berechnet
worden sind, geht die Steuerung zur weiteren Verarbeitung zu der Aktion 710 über.
-
In
der Aktion 708 wird durch das System 100 oder
das System 200 ein Rendering durchgeführt. Der Renderirigvorgang
schließt
Renderingmaschinen, Renderingvorrichtungen oder Anzeigevorrichtungen,
die eine Renderingmaschine zur Darbietung von Daten für einen
Benutzer beinhalten oder mit einer derartigen gekoppelt werden können, mit
ein. Eine Renderingmaschine ist eine Vorrichtung, die einen Datenstrom
erzeugt, der aus entweder einem oder mehreren Videos, einer oder
mehreren Graphiken und/oder anderen Medien zur Reproduktion an dem
Computer 202 besteht. Der Datenstrom kann als Eingangsdaten,
als Eingangsdatenstrom, als gemischte Mediendaten und als gemischter
Mediendatenstrom bezeichnet werden, ohne von dem ursprünglichen
Konzept abzuweichen, Daten zu erlangen, die ein Video, eine Graphik,
einen Text, eine Animation und/oder beliebige sonstige Daten oder
Informationen, die durch einen Computer erzeugt werden, oder mehrere
von diesen darstellen. Der Datenstrom kann an dem Computer 202 unterteilt
werden, um abschnittsweise auf der Anzeige oder durch sonstige Vorrichtungen,
die die Daten reproduzieren, wie beispielsweise Audio-, Video- oder
textreproduzierende Vorrichtungen, angezeigt zu werden. Die Renderingmaschine
kann bei der medizinischen Bildgebung mit höherer Auflösung, beim Volumenrendering
der Computertomographie (CT) und bei der Magnetresonanzbildgebung
(MR-Bildgebung), in einer 3D-Visualisierung, die eine Drehung und
Skalierung ermöglicht,
oder für
jeden beliebigen Zweck verwendet werden, der das Verständnis der
physikalischen Welt fördert.
-
Wie
in Bezug auf 2 erwähnt, enthält die Benutzerstation oder
der Computer 200 irgendein geeignetes Bildrenderinigsystem
oder eine geeignete Bildrenderinganwendung, das bzw. die digitale Bilddaten
des akquirierten Bilddatensatzes 228 oder eine Untermenge
des Datensatzes verarbeiten kann, um 2D- und 3D-Bilder zu erzeugen
und auf der Anzeige 222 anzuzeigen. Insbesondere kann das
Bildrenderingsystem eine Applikation sein, die ein 2D- und 3D-Rendering
und eine Visualisierung von medizinischen Bilddaten erzielt und
die auf einer Universal- oder Spezialcomputerworkstation abläuft. Außerdem ermöglicht das
Bildrenderingsystem einem Benutzer, durch ein 3D-Bild oder durch
mehrere 2D-Bildschichten zu navigieren. Die Workstation 200 kann
ferner ein Bildrenderingsystem oder eine Bildrenderinganwendung
zur Verarbeitung digitaler Bilddaten eines akquirierten Bilddatensatzes
enthalten, um 2D- und 3D-Bilder zu erzeugen und anzuzeigen. Wie
in 2 veranschaulicht, kann das Visualisierungsmodul 222 auch
durch den Computer 222 verwendet werden, um digitale medizinische
Bilddaten entgegenzunehmen und zu verarbeiten, die, wie oben erwähnt, in
Form von Rohbilddaten, durch Flattening geebneten Daten oder rekonstruierten
3D-Daten, wie beispielsweise volumetrischen Bilddaten oder multiplanaren
Formatierungen, oder durch eine beliebige Kombination derartiger
Formate gebildet sein können.
Die Ergebnisse der Datenverarbeitung können von der Workstation 200 über das
Netzwerk 224 zu einem Bildrenderingsystem an einer entfernten
Stelle ausgegeben werden, um 2D- und 3D-Renderingbilder der Bilddaten
entsprechend den Datenverarbeitungsergebnissen, wie beispielsweise
eine Segmentierung von Organen oder anatomischen Strukturen, Farb- oder Intensitätsvariationen,
Hinzufügungen
und dergleichen, zu erzeugen.
-
Die
Anzeige 222, die auf der Anwendung beruht, kann Framepufferungs-
und Kompressionstechniken aufweisen, um das Anzeigen und Empfangen von
Bilddaten zu steigern. Der Framepuffer behält den Datenstrom, bis dieser
angezeigt werden kann. Jede Adresse des Framepuffers entspricht
einem Pixel auf dem Anzeigeterminal 222. Auf diese Weise bildet
der Framepuffer eine Darstellung der Oberfläche der Anzeige, wobei ein
Cluster von Pixeln, das ein Bild oder einen Abschnitt auf der Anzeige
bildet, in Form einer Sammlung von Adressen in dem Framepuffer dargestellt
werden kann. Der Framepuffer, der durch einen beschreibbaren Halbleiterspeicher, beispielsweise
SDRAM (Synchronous Dynamic Random Access Memory), DRAN (Dynamic
Random Access Memory), Rambus-DRAN oder dergleichen, gebildet ist,
schreibt pro Bildschirmaufnahme (Frame), die über einen Datenbus von einer
Dekompressionsmaschine übertragen
wird, gemischte Mediendaten ein und speichert diese. 8, 9 und 10 zeigen
ein Rendering von anatomischen Oberflächen. 9, insbesondere
der Ausschnitt 902, zeigt ein Rendering einer angeflachten
Oberfläche,
dem Dickenmessungen hinzugefügt
worden sind. Nachdem die angeflachte Oberfläche gerendert worden ist, geht
die Steuerung zur weiteren Verarbeitung zu der Aktion 712 über.
-
In
der Aktion 712 wird eine Interaktion durchgeführt. Auf
die angeflachte Oberfläche
kann der Benutzer viel einfacher und genauer Einzeichnungen vornehmen
bzw. sich stützen.
Ferner kann der Benutzer mit einer virtuellen Oberfläche oder
einer erweiterten Oberfläche
interagieren. Dies bedeutet, dass anstelle des Renderings gerade
der angeflachten Oberfläche
als das 2D-Bild, auf dem gezeichnet wird, das Rendering durch ein
Mapping der Oberflächeneigenschaften,
wie beispielsweise der Dicke oder der Krümmung, gebildet sein könnte. Der
Benutzer kann durch Einzeichnen eines Musters mit der geebneten Oberfläche interagieren.
Das Muster kann eine Gestalt mit einer regelmäßigen oder einer unregelmäßigen Form
sein. Ferner kann die Einzeichnung durch eine Benennung, eine Sammlung
von Indizes und durch Darstellungen für einen definierten Weg, der zur
Navigation geeignet ist, gebildet sein. Nachdem der Benutzer mit
dem geebneten Bild interagiert hat, geht die Steuerung zur weiteren
Verarbeitung zu der Aktion 714 über.
-
In
der Aktion 714 wird das einer Interaktion ausgesetzte Bild
angezeigt. 9 veranschaulicht ein angeflachtes
Bild 904, nachdem es eine Interaktion 906 mit
einem Benutzer durchlaufen hat. Das Einzeichnen durch den Benutzer
ist bei 906 mit dem eingezeichneten Bereich zur Segmentierung
des stegartigen Bereiches in der Epiphysenfuge zur chirurgischen
Planung veranschaulicht. Der eingezeichnete Bereich (oberer Teil
des Ausschnitts 904) ist in drei Dimensionen mit Messungen,
die den Durchmesser, den Flächeninhalt,
das Volumen und den prozentuellen Abdeckungsanteil betreffen, gerendert.
-
Hardware und Betriebsumgebung
-
2 zeigt
ein Blockschaltbild der Hardware- und Betriebsumgebung 200,
in der unterschiedliche Ausführungsformen
ausgeführt
werden können.
Die Beschreibung der 2 gibt einen Überblick über die
Computerhardware und eine geeignete Rechenumgebung, in Verbindung
mit der einige Ausführungsformen
realisiert werden können.
Die Ausführungsformen
sind anhand eines Computers beschrieben, der Computer ausführbare Anweisungen ausführt. Jedoch
können
einige Ausführungsformen vollständig in
Form von Computerhardware implementiert sein, in der die Computer
ausführbaren
Instruktionen in einem Festwertspeicherimplementiert sind. Einige
Ausführungsformen
können
auch in Client/Server-Rechenumgebungen
implementiert sein, in denen entfernte Vorrichtungen, die Tasks
bzw. Aufgaben durchführen,
durch ein Kommunikationsnetzwerk miteinander verbunden sind. Die
Programmmodule können
in einer verteilten Rechenumgebung sowohl in lokalen als auch in
entfernt befindlichen Speichervorrichtungen angeordnet sein.
-
Der
Computer 202 enthält
einen Prozessor 204, wie er von Intel, Motorola, Cyrix
oder anderen kommerziell erhältlich
ist. Der Computer 202 enthält ferner einen Direktzugriffsspeicher
(RAM) 206, einen Festwertspeicher (ROM) 208 und
eine oder mehrere Massenspeichervorrichtungen 210 sowie
einen Systembus 212, der unterschiedliche Systemkomponenten
mit der Verarbeitungseinheit 204 betriebsmäßig koppelt.
Die Speicher 206, 208 und die Massenspeichervorrichtungen 210 sind
Arten von Computer zugreifbaren Medien 240. Die Massenspeichervorrichtungen 210 sind
insbesondere Arten von nicht flüchtigen
Computer zugreifbaren Medien und können ein Festplattenlaufwerk,
Diskettenlaufwerk, optisches Plattenlaufwerk und/oder Bandlaufwerk
oder mehrere von diesen enthalten. Das Computer lesbare Medium kann
ein elektronisches, magnetisches, optisches, elektromagnetisches
oder Infrarotsystem bzw. ein derartiges Gerät oder eine derartige Vorrichtung sein.
Eine der Veranschaulichung dienende, jedoch nicht ausschließliche Liste
von Computer lesbaren Medien kann eine elektrische (elektronische)
Verbindung mit einem oder mehreren Leitungen, eine tragbare (magnetische)
Computerdiskette, einen (magnetischen) Direktzugriffsspeicher (RAM),
einen (magnetischen) Nur-Lese-Speicher
(ROM), einen (magnetischen) löschbaren
und pro grammmierbaren Festwertspeicher (EPROM oder Flash-Speicher), eine
optische Faser (optisch) und einen tragbaren Kompaktdisk-Festwertspeicher
(CD-Rom)(optisch) enthalten. Es ist zu beachten, dass das Computer lesbare
Medium Papier oder ein anderes geeignetes Medium aufweisen kann,
auf dem die Instruktionen aufgedruckt sind. Beispielsweise können die
Instruktionen durch optisches Scannen des Papiers oder sonstigen
Mediums elektronisch erfasst, anschließend kompiliert, interpretiert
oder in sonstiger Weise geeignet verarbeitet werden, falls dies
erforderlich ist, und anschließend
in einem Computerspeicher abgespeichert werden. Der Prozessor 204 führt auf den
für einen
Computer zugänglichen
Medien abgespeicherte Computerprogramme aus.
-
Der
Computer 202 kann über
eine Kommunikationsvorrichtung 216 mit dem Internet 214 kommunikationsmäßig verbunden
sein. Die Verbindungsfähigkeit
mit dem Internet 214 ist in der Technik allgemein bekannt.
In einer Ausführungsform
ist die Kommunikationsvorrichtung 216 durch ein Modem gebildet,
das auf Kommunikationstreiber anspricht, um eine Verbindung zu dem
Internet über
einen in der Technik als „Einwahlverbindung" bezeichneten Verbindungsaufbau
zu schaffen. In einer anderen Ausführungsform ist die Kommunikationsvorrichtung 216 durch
eine Ethernet®-
oder ähnliche
Hardware-Netzwerkkarte gebildet, die mit einem lokalen Netzwerk (LAN,
Local-Area-Network) verbunden ist, das selbst mit dem Internet über eine
in der Technik als „Direktverbindung" (z.B. T1-Leitung,
etc.) bezeichnete Anschlussart verbunden ist.
-
Ein
Benutzer gibt Befehle und Informationen in den Computer 202 über Eingabevorrichtungen, beispielsweise
eine Tastatur 218 oder eine Zeigervorrichtung 220,
ein. Die Tas tatur 218 ermöglicht die Eingabe einer Textinformation
in den Computer 202, wie dies in der Technik allgemein
bekannt ist, wobei die Ausführungsformen
nicht auf eine bestimmte Art einer Tastatur beschränkt sind.
Die Zeigervorrichtung 220 ermöglicht die Steuerung des Bildschirmzeigers, der
durch eine graphische Benutzerschnittstelle (GUI, Graphical User
Interface) von Betriebssystemen, beispielsweise Versionen von Microsoft
Windows®,
bereitgestellt wird. Die Ausführungsformen sind
nicht auf eine bestimmte Zeigervorrichtung 220 beschränkt. Derartige
Zeigervorrichtungen umfassen eine Maus, Berührungsfelder, Trackballs oder
Rollkugeln, Fernbedienungen bzw. -steuerungen und Pointsticks oder
Steuerhebel. Zu weiteren (nicht veranschaulichten) Eingabevorrichtungen
können
ein Mikrofon, ein Joystick, ein Gamepad, eine Satellitenanlage,
ein Scanner oder dergleichen gehören.
-
In
einigen Ausführungsformen
ist der Computer 202 mit einer Anzeigevorrichtung 222 betriebsmäßig verbunden.
Die Anzeigevorrichtung 222 ist mit dem Systembus 212 verbunden.
Die Anzeigevorrichtung 222 ermöglicht die Anzeige von Informationen, einschließlich Computer-,
Video- und sonstigen Informationen, zur Durchsicht durch einen Benutzer
des Computers. Die Ausführungsformen
sind auf keine spezielle Anzeigevorrichtung 222 beschränkt. Derartige
Anzeigevorrichtungen umfassen Kathodenstrahlröhren-(CRT)-Anzeigen (Monitore)
sowie Flachbildschirmanzeigen, wie z.B. Flüssigkristallanzeigen (LCDs).
Zusätzlich
zu einem Monitor enthalten Computer gewöhnlich weitere periphere Eingabe/Ausgabe-Vorrichtungen, wie
z.B. (nicht veranschaulichte) Drucker. Lautsprecher 224 und 226 sorgen
für eine
Ausgabe von Audiosignalen. Die Lautsprecher 224 und 226 sind
ebenfalls mit dem Systembus 512 verbunden.
-
Der
Computer 202 enthält
ferner ein (nicht veranschaulichtes) Betriebssystem, das auf den
für den
Computer zugänglichen
Medien RAM 206, ROM 208 und der Massenspeichervorrichtung 210 gespeichert
ist und von dem Prozessor 204 ausgeführt wird. Beispiele von Betriebssystemen
umfassen Microsoft Windows®, Apple MacOS®, Linux®,
UNIX®.
Die Beispiele sind jedoch auf kein spezielles Betriebssystem beschränkt, und
der Aufbau und die Verwendung derartiger Betriebssysteme sind auf
dem Fachgebiet allgemein bekannt.
-
Ausführungsformen
des Computers 202 sind auf keinen speziellen Typ eines
Computers 202 beschränkt.
In verschiedenen Ausführungsformen
umfasst der Computer 202 einen PC-kompatiblen Computer, einen MacOS®-kompatiblen
Computer, einen Linux®-kompatiblen Computer
oder einen UNIX®-kompatiblen
Computer. Der Aufbau und die Funktionsweise derartiger Computer
sind auf dem Fachgebiet allgemein bekannt.
-
Der
Computer 202 kann unter Verwendung wenigstens eines Betriebssystems
betrieben werden, um eine graphische Benutzeroberfläche (GUI), einschließlich eines
vom Benutzer steuerbaren Zeigers, bereitzustellen. Der Computer 202 kann
wenigstens ein Web-Browser-Anwendungsprogramm enthalten, das unter
wenigstens einem Betriebssystem abläuft, um Benutzern des Computers 202 zu
ermöglichen,
auf Internet- oder Internet-World-Wide-Web-Seiten unter Adressierung
durch Adressen des Universal Resource Locator (URL-Adressen) zuzugreifen.
Beispiele für
Browser-Anwendungsprogramme umfassen den Netscape Navigator® und
den Microsoft Internet Explorer®.
-
Der
Computer 202 kann in einer vernetzten Umgebung unter Verwendung
logischer Verbindungen zu einem oder mehreren entfernt aufgestellten Computern,
wie z.B. einem Remote-Computer 228, arbeiten. Diese logischen
Verbindungen werden durch eine Kommunikationsvorrichtung geschaffen, die
mit dem Computer 202 oder einem Teil desselben verbunden
ist. Die Ausführungsformen
sind auf keine Kommunikationsvorrichtung einer speziellen Bauart beschränkt. Die
Bildquelle 228 oder der Remote-Computer kann ein anderer
Computer, ein Server, ein Router, ein Netzwerk-PC, ein Bildrepositorium, eine
Bildgebungsvorrichtung, ein Client, eine Peer-Einrichtung oder ein
anderer allgemeiner Netzwerkknoten sein. Die in 2 veranschaulichten
logischen Verbindungen umfassen ein lokales Netzwerk (LAN, Local-Area-Network) 230 und
ein Weitbereichsnetzwerk (WAN, Wide-Area-Network) 232.
Solche Netzwerkumgebungen sind in Büros, unternehmensweiten Computernetzwerken,
Intranets und dem Internet üblicherweise
vorhanden.
-
Bei
der Verwendung in einer LAN-Netzwerkumgebung sind der Computer 202 und
der Remote-Computer 228 mit dem lokalen Netzwerk 230 über Netzwerkschnittstellen
oder -adapter 234 verbunden, die eine Art einer Kommunikationseinrichtung 216 bilden.
Der Remote-Computer 228 enthält ebenfalls eine Netzwerkeinrichtung 236.
Wenn sie in einer konventionellen WAN-Netzwerkumgebung betrieben werden,
kommunizieren der Computer 202 und der Remote-Computer 228 mit
einem WAN 232 über (nicht
veranschaulichte) Modems. Das Modem, das ein internes oder ein externes
Modem sein kann, ist an dem Systembus 212 angeschlossen.
In einer Netzwerkumgebung können
Programmmodule, die in Bezug auf den Computer 202 oder
Teile desselben veranschaulicht sind, in dem Remote-Computer 228 gespeichert
sein.
-
Der
Computer 202 enthält
außerdem
eine Stromversorgung 238. Jede Stromversorgung kann durch
eine Batterie gebildet sein.
-
Ergebnis
-
Es
sind eine automatische Bildregistrierungsmethodik und eine Bildinteraktionsmethodik
in Bezug auf Systeme und Verfahren beschrieben. Obwohl hier spezielle
Ausführungsformen
veranschaulicht und beschrieben sind, versteht es sich für einen Fachmann
auf dem Fachgebiet, dass eine beliebige Anordnung, von der man annehmen
kann, dass sie die gleichen Zwecke erfüllt, die hier veranschaulichten
speziellen Ausführungsformen
ersetzen kann. Diese Anmeldung soll beliebige Anpassungen oder Veränderungen
mit umfassen. Obwohl beispielsweise die Beschreibung im Zusammenhang
mit objektorientierten Implementierungen angegeben ist, versteht
ein Fachmann auf dem Fachgebiet, dass die Implementierungen in einer
prozeduralen Entwurfsumgebung oder einer beliebigen sonstigen Entwurfsumgebung
geschaffen sein können,
die die erforderlichen Beziehungen herstellt.
-
Insbesondere
wird ein Fachmann auf dem Fachgebiet verstehen, dass die Bezeichnungen
der Verfahren und Vorrichtungen nicht dazu vorgesehen sind, die
Ausführungsformen
zu beschränken.
Außerdem
können
zusätzliche
Verfahren und Vorrichtungen zu den Komponenten hinzugefügt, Funktionen
unter den Komponenten neu arrangiert und neue Komponenten, die zukünftigen
Verbesserungen und in den Ausführungsformen
verwendeten physikalischen Vorrichtungen entsprechen, eingeführt werden,
ohne von dem Rahmen der Ausführungsformen abzuweichen.
Ein Fachmann wird ohne weiteres erkennen, dass die Ausführungsformen
auf künftige Kommunikationsvorrichtungen,
unterschiedliche Dateisysteme und neue Datentypen anwendbar sind.
-
Es
sind ein System und ein Verfahren zur fliegenden Berücksichtigung
einer Benutzereingabe während
eines ansonsten automatischen Registrierungsprozesses 300 beschrieben.
Während
einer starren Registrierung 304 passt eine Benutzereingabe 306 das
momentan berechnete Modell oder die momentan berechnete Transformation
an, das bzw. die die beiden gerade aneinander ausgerichteten Bilder
betrifft. Beim Warping 304 passt eine Benutzereingabe 306 das
Strömungsfeld
lokal an, das zunehmend in das umgebende Strömungsfeld geglättet wird.
Während
einer Multiskalenregistrierung 304, bei der Bilder zuerst
bei einer groben Auflösung
und anschließend
bei zunehmend feineren Auflösungen aneinander
ausgerichtet werden, wird eine Benutzereingabe 306 bei
der momentanen Skala angewandt. Die Benutzereingabe 306 wird
während
des automatischen Prozesses entweder durch Interrupts oder durch
Polling erfasst. Zwischen den Benutzereingaben werden die Registrierungsergebnisse
erneut gerendert 710, 712 und 714.
