DE69834564T2

DE69834564T2 - Verfahren und gerät zur erzeugung eines virtuellen mikroskopischen objektträgers

Info

Publication number: DE69834564T2
Application number: DE69834564T
Authority: DE
Inventors: V. James Downers Grove BACUS; W. James Oakbrook BACUS
Original assignee: Bacus Laboratories Inc
Current assignee: Olympus America Inc
Priority date: 1997-03-03
Filing date: 1998-03-02
Publication date: 2007-04-26
Anticipated expiration: 2018-03-03
Also published as: US7146372B2; EP1016031B1; EP1021786B1; US20030123717A1; US6775402B2; US6272235B1; US6522774B1; US8625920B2; EP2124188A1; EP1021786A1; WO1998039728A1; JP4789989B2; WO1998044446A1; AU6541298A; EP1021786A4; EP1016031A1; EP1686533A3; DE69838297D1; EP2124188B1; US20050254696A1

Description

Gebiet der Erfindung
Diese Erfindung bezieht sich auf ein Verfahren für, und eine Vorrichtung zum Aufnehmen und Konstruieren von nebeneinander angeordneten digitalen Bildern einer Probe auf einem Halter, der einen Objektträger repräsentiert, und zum Speichern und Übertragen des Bildes zum Betrachten durch jemand anderen an einem lokalen oder einem entfernten Ort. Priorität wird aus der US Patentanmeldung 08/805,856 beansprucht, die hier als die "Voranmeldung" identifiziert ist.
Hintergrund der Erfindung
Die Erfindung, die in der Voranmeldung beschrieben ist, stellt eine Antwort auf einen Bedarf dar, eine Notwendigkeit, ein Objekt in einer relativ flachen Ebene bei einer hohen Auflösung/Vergrößerung abzubilden und digital aufzunehmen. Heutzutage ist es unpraktisch, einen optischen Bildsensor zu konstruieren, der groß genug dazu ist, die gesamte Bildfläche beispielsweise einer Probe auf einem Objektträger bei der erforderlichen Auflösung abzudecken. Dies ist der Fall, da die Linsengröße und Auflösungs-/Vergrößerungsfragen die Größe des Gesichtsfeldes der vergrößerten Objekte und deren resultierende Bilder begrenzen. Durch ein Mikroskop zu schauen ist dem Schauen durch ein Periskop darin ähnlich, dass man ein sehr kleines Gesichtsfeld sieht, selbst bei niedrigen Vergrößerungen, wie beispielsweise 1,25-fach. Ein Pathologe, der ein Mikroskop verwendet, scannt häufig einen Objektträger, um in seinem Kopf eine Gesamtansicht oder einen Sinn dafür zu erhalten, woraus die Probe zusammengesetzt ist, und er erinnert sich an die generellen Orte der diagnostisch wichtigen kleinen Teile des Objekts. Üblicherweise sind dies die kranken Gebiete, wie beispielsweise maligne oder potentiell maligne Abschnitte der Proben. Um eine höhere Auflösung und Vergrößerung dieser verdächtigen Bereiche zu erhalten, schaltet der Pathologe zu einer Objektivlinse einer höheren Vergrößerung um, aber dann wird das Gesichtsfeld wiederum wesentliche kleiner. Häufig schaltet der Pathologe hin und her zwischen der Objektivlinse der geringeren Vergrößerung und des größeren Gesichtsfelds, um sich relativ zu der Probe zu orientieren, und der der großen Vergrößerung mit dem kleineren Gesichtsfeld, um die detaillierte, hoch aufgelöste Ansicht der verdächtigen Bereiche der Probe zu erhalten. Daher erhält der Benutzer niemals eine vergrößerte, kondensierte Gesamtübersicht der Probe oder eines Bereiches der Probe, sondern muss sich an die Abfolge der Ansichten, die bei einer niedrigen Vergrößerung aufgenommen sind, erinnern. Ähnlicherweise erhält der Benutzer bei einer hohen Auflösung und einer großen Vergrößerung niemals oder sieht niemals eine Ansammlung nebeneinander liegender Bilder, sondern muss diese aufeinander folgenden Bilder in dem Kopf des Benutzers zueinander in Verbindung setzen.
Ein ähnliches Problem existiert im Internet oder dem Intranet, in dem ein Pathologe ein einziges vergrößertes Bild eines Gesichtsfeldes über das Internet oder das Intranet auf seinen Browser erhalten kann, das von einer Probe aufgenommen ist. Der Pathologe muss dann mit Erklärungen versorgt werden, um die hoch aufgelöste Ansicht mit der niedriger aufgelösten Ansicht zu koordinieren. Die Anzahl der Ansichten, die dem Pathologen verfügbar sind, ist sehr beschränkt und der Pathologe ist nicht dazu in der Lage, andere Ansichten auszuwählen oder zu benachbarten Ansichten der Gebiete herunterzublättern, die den Pathologen am meisten interessieren.
In der vorgenannten Voranmeldung ist ein Verfahren und eine Vorrichtung offenbart, durch die eine Person eine niedrig vergrößerte, digitalisierte Gesamtbildansicht der gesamten Probe auf einem Objektträger oder einen ausgewählten Abschnitt der Probe auf einem Objektträger konstruieren kann, beispielsweise der Basallage (engl. basal layer) eines Gewebeschnitts. Das wenig vergrößerte digitalisierte Gesamtbild ermöglicht es dem Benutzer zu verstehen, wo der Benutzer gerade in seiner Ansicht lokalisiert ist und wo es sein könnte, dass der Benutzer die nächsten Beobachtungen machen möchte. Das heißt, die wenig vergrößerte Gesamtansicht ist im Allgemeinen in Farbe und stellt dem erfahrenen Benutzer eine visuelle Gesamt- oder Thumbnail-Ansicht des Objektträgers bereit und zeigt die möglichen interessierenden Flächen für Malignität oder andere Krankheiten, die sich selbst an bestimmten Orten auf dem Probenbild manifestieren, das betrachtet wird. Diese wenig vergrößerte Gesamtansicht ermöglicht es dem Benutzer, darauf die interessierenden Punkte auszuwählen, die der Benutzer bei einer höheren Vergrößerung betrachten möchte.
Die Gesamtansicht wurde durch das Aufnehmen einer großen Anzahl von niedrig vergrößerten Bildern der Probe durch ein Mikroskopscanningsystem und dann ein kohärentes Zusammensetzen und Koordinieren dieser jeweiligen kleineren Ansichten oder Bilder (nachfolgend "Bildkacheln") (engl. „image tiles") in ein kohärentes, niedrig vergrößertes Makrobild der Probe konstruiert. Häufig ist das digitalisierte Makrobild durch ein Softwaresystem in seiner Größe auf eine noch kleinere Größe reduziert, um auf einem lokalen Bildschirm angezeigt zu werden oder um über einen Niedrigbandbreiten- oder Hochbandbreitenkanal auf einen entfernten Betrachtungsschirm übertragen zu werden.
Die Voranmeldung lehrt, wie eine große Anzahl von Bildkacheln, z.B. 35 Bildkacheln des Makrobildes, zusammengesetzt werden und dann eine Serie anderer Bildkacheln einer höheren Vergrößerung oder Vergrößerungen aufgenommen werden, die dann ebenso durch den Benutzer betrachtet werden. Hierzu wird der Benutzer mit einem Marker versorgt, wie zum Beispiel einem Cursor oder Ähnlichem, um die definierten interessierenden Gebiete auszuwählen und durch ein einfaches Kommando die ausgewählten, höher vergrößerten digitalisierten Bilder dazu zu bringen, auf dem Betrachtungsschirm zu erscheinen, damit sie durch den Benutzer betrachtet werden können. Die Bilder der höheren Vergrößerung können solche mehrfacher Vergrößerungen oder Auflösungen, wie zum Beispiel 10-fach, 20-fach und 40-fach, sein.
Wie in der Voranmeldung offenbart, ist es bevorzugt dem Benutzer, beispielsweise einem Pathologen, zu erlauben, schnell zwischen den hoch aufgelösten Mikrobildern und den niedrig aufgelösten Makrobildern hin und her zu blättern, oder separate Teilungsbildschirme bereitzustellen, durch die dem Pathologen eine Gesamtmakroansicht gezeigt wird und ein Marker, der anzeigt, wo die gegenwärtige Ansicht hoher Vergrößerung angeordnet ist. Aufgrund der mehrfachen Vergrößerung könnte der Benutzer auf eine mittlere Vergrößerung umschalten, so wie es durch das Umschalten zwischen mittleren Objektivlinsen erreicht werden würde. Dies stellt dem Pathologen Ansichten bereit, die zum Vor- und Zurückschalten von Objektivlinsen in einem Mikroskop korrespondieren und einer Prozedur, in der die meisten Pathologen bewandert sind und darin ausgebildet wurden.
Zusätzlich stellt die Voranmeldung dem Benutzer ein Umblättermerkmal bereit, welches es dem Benutzer ermöglicht in den Ansichtsschirm nebeneinander liegende, vergrößerte Bilder auf dem Schirm zu verschieben, so dass der Pathologe nicht nur darauf beschränkt ist, eine volle Kachelansicht zu sehen, sondern nebeneinander liegendes Bildmaterial von nebeneinander liegenden, benachbarten Bildkacheln sehen kann.
In der Vorpatentanmeldung gibt es eine Offenbarung bezüglich des Übertragens der niedrig vergrößerten Bilder über ein Local Area Network oder über das Internet durch unterschiedliche Server und Computer. Die nebeneinander liegenden Bilder, die übertragen wurden, wurden durch die Verwendung eines vollständig computergesteuerten Mikroskops erhalten, das es dem Benutzer erlaubt, entlang eines interessierenden Probenbereichs zu navigieren, wie beispielsweise entlang eines Basalbereichs oder entlang anderer verdächtiger Punkte, die über die Probe hinweg verteilt sind, um nebeneinander liegende Bilder (eng. tiled images) der ausgewählten Bereiche zu erhalten, so dass nicht die gesamte Probe digitalisiert und gespeichert werden muss. Wie in dem bevorzugten Ausführungsbeispiel in der Voranmeldung offenbart, könnte ein über einen Internetbrowser remote-gesteuertes, automatisiertes Mikroskop von einem Pathologen von einem entfernten Ort aus verwendet werden um die rekonstruierten Makrobildkacheln zu betrachten, und durch seine Manipulation des Mikroskops, unter Verwendung des Intranets oder eines Internetbrowsers, einzelne Bilder bei höheren Vergrößerungen aufnehmen könnte, wenn dies gewünscht ist. Während einige Menschen die speziellen digitalisierten Bilder sehen könnten, die über das Internet übertragen werden, wenn sie von einem bestimmten Pathologen aufgenommen werden und einige Menschen die gespeicherten Bilder betrachten könnten, gab es immer noch ein Problem des Steuerns des Betriebes des Mikroskops durch jede Person, die die digitalisierten Bilder betrachtet, und ein Problem mit dem Aufnehmen und Übertragen größerer Flächen von Bildern höherer Vergrößerung unter Verwendung der Bildkachelmethode.
Wie oben detaillierter beschrieben, ist der derzeitige Zustand des Archivierens der digitalen Bilder, die durch ein Mikroskop erhalten wurden, häufig der, bei dem Fotografien oder Videobänder vorgesehen sind. Die Fotografien sind schwierig zu verwenden, genauso wie es dies ein Videoband ist, insbesondere dann, wenn sich der Benutzer schnell zwischen unterschiedlichen Bildern zurück und vorwärts bewegen will und durch unterschiedliche nebeneinander liegende Teile des Probenbildes hindurchblättern möchte. Weiterhin fehlt es den derzeitigen Archivierungsverfahren an einem Gesamtmakrobild der Probe, die es dem Benutzer erlaubt, genau zu wissen, wo die jeweilige hoch aufgelöste Ansicht aufgenommen ist, wenn er eine Analyse des hoch aufgelösten Bildes durchführt.
Während digitalisierte Bilder magnetisch oder anders digitalisiert und aufgenommen auf unterschiedlichen Aufnahmemedien gespeichert werden können, erlaubt es kein derzeitiges Archivierungssystem dem Benutzer, zwischen Hochauflösungsbildern und Niedrigauflösungsbildern hin und her zu schalten oder zwischen unterschiedlichen Bildern bei unterschiedlichen Vergrößerungen, so wie es durch einen Pathologen erreicht wird, der Mikroskop und Objektivlinsen in Echtzeit hin und her schaltet, um die Makro- und Mikrobilder des gleichen Ortes der Probe zu erhalten. Bis jetzt war die Praxis in der Pathologie relativ auf die Verwendung des Mikroskops beschränkt und auf den Pathologen, der das Mikroskop verwenden muss, um die jeweilige Probe zu untersuchen.
Es gibt eine Notwendigkeit für ein dynamisches System, wobei einer oder mehrere oder bestimmte Pathologen, umfassend einen beratenden Pathologen, den gleichen Bereich gleichzeitig betrachten und miteinander entweder bei der Diagnose oder bei der Analyse interagieren. Es wäre ebenso das Beste, wenn die Bilder von den Proben so gespeichert werden könnten, dass ein Pathologe die Bilder einfach nach seiner freien Verfügung zu einem späteren Zeitpunkt unter Verwendung eines Intranets oder Internetbrowsers untersuchen kann, einfach durch Zugreifen auf die jeweilige Website, auf der die Bilder angeordnet sind.
Es wird verstand werden, dass eine Menge von Problemen gelöst werden müssen, um es Internet- oder Intranetbenutzern zu ermöglichen, auf ihren jeweiligen Monitoren nützliche niedrig aufgelöste Makrobilder und hoch aufgelöste Mikrobilder unterschiedlicher nebeneinander liegender, originaler Mikroskopbilder zu betrachten. Eines der ersten Probleme ist, wie die nebeneinander liegenden Kachelbilder zusammengefügt werden können, um eine nahtlose Gesamtansicht dieser Kacheln auszuformen. Bis jetzt haben Ansätze, die Kacheln zusammenfügen, Software verwendet, um die Pixel an den Kachelgrenzen miteinander zu kombinieren und waren im Allgemeinen nicht erfolgreich. Ein weiteres Problem ist das Mapping der Koordinaten beginnend mit den Koordinaten, üblicherweise X- und Y-Koordinaten, von und an dem Mikroskopgestell, welches den Objektträger trägt, und dann das Mappen der Koordinaten auf den Scanbildschirm, nicht nur für eine einzige Vergrößerung sondern auch das Mapping für die jeweiligen mehrfachen Vergrößerungsbilder zu koordinieren, die typischerweise bei 1,25-fach, 10-fach und 40-fach oder mehr aufgenommen sind. Diese Koordinaten müssen für eine große Anzahl von nebeneinander liegenden Bildern aufrechterhalten werden, zum Beispiel 40 nebeneinander liegende Bilder für ein Makrobild. Damit der sich an einem anderen Ort befindende Benutzer diese nebeneinander liegenden Bilder betrachten kann und zwischen den unterschiedlichen Auflösungen hin und her schalten kann, müssen nebeneinander liegende Bilder, die Computer und der Monitor des Benutzers nicht nur die Adressen und gespeicherten Parameter für jedes Pixel erhalten, sondern müssen sie auch auf einem generischen Betrachtungsprogramm ausführen.
Ein weiteres Problem mit dem Aufnehmen von Bildkacheln und ihrem Senden über einen Internetkanal mit einer niedrigen Bandbreite ist, dass sowohl die Speicheranforderungen an den Server als auch der Betrag von Daten, die pro Objektträger aufgenommen werden, hoch werden können, wie zum Beispiel 120 Megabyte bis zu einem Gigabyte. 120 Megabyte werden nur erreicht, wenn nicht Bildkacheln der gesamten Probe aufgenommen werden, sondern nur Bildkacheln der Bereiche, die durch den Pathologen ausgewählt sind, wenn er sie bei einer hohen Auflösung entlang der Basallagen verfolgt, oder nur an der verstreuten, verdächtigen, als Krebs erscheinenden Fläche bei einem Brustkrebs. Selbst mit dieser selektiven Interaktion durch einen Pathologen beim Konstruieren der digitalisierten Makro- und Mikrobilder mit einem stark reduzierten Betrag der Bildkacheln relativ zu dem, der aufgenommen werden würde, wenn die gesamte Probe bei jeder der mehreren Vergrößerungen abgebildet werden würde, ist der aufgenommene Betrag von Daten ein riesiges Problem, wenn er in einer vernünftigen Zeitdauer über einen Kanal niedriger Bandbreite auf einen üblichen Webbrowser, der eine begrenzte Speicherkapazität aufweist, übertragen werden soll. Während starke Kompressionstechniken verwendet werden können, können sie jedoch nicht auf Kosten des Bereitstellens der hoch aufgelösten Bilder verwendet werden, die der Pathologe für die Diagnose der Probe haben muss.
In dem Artikel "Image acquisition of microscopic slides" von Earl Henderson und James R. Seamans, der in "Proceedings of the SPIE" Volume 2173, Seiten 21-27, die von der International Society for Optical Engineering veröffentlicht werden, ist ein System beschrieben, in dem eine Probe auf einem Mikroskopobjektträger bei einigen unterschiedlichen Vergrößerungen abgebildet ist, umfassend ein niedrig vergrößertes "Baseimage" und stärkere Vergrößerungen. Bei den höheren Vergrößerungen sind die Bilder jeweils nur ein kleines Segment der Probe. Diese Bildsegmente, die sich um 50% überlappen, werden durch einen Autokorrelationsalgorithmus zusammengefügt (engl. knitted together), um eine hochscharfe (engl. high definition) Bilddatei der Probe bei jeder der höheren Vergrößerungen auszuformen.
Zusammenfassung der Erfindung
Die Erfindung wird nachfolgend durch die unabhängigen Ansprüche 1, 15 und 18 definiert. Abhängige Ansprüche sind auf optionale oder bevorzugte Merkmale gerichtet. Die vorliegende Erfindung ermöglicht ein neues und verbessertes Verfahren und eine Vorrichtung zum Konstruieren digital gescannter Bilder von einer Mikroskopprobe, zum Speichern der digital gescannten Bilder in einem nebeneinander liegenden Format, das zum Betrachten ohne ein Mikroskop bequem ist, und zum Übertragen der nebeneinander liegenden Bilder mehrerer Vergrößerungen zum Betrachten durch andere an einem entfernten Ort. Dies wird erreicht durch das Zusammensetzen mehrerer nebeneinander liegender, originaler Mikroskopansichten bei einer ersten Vergrößerung, um eine Gesamtmakroansicht der Probe zu erhalten und das Zusammensetzen mehrerer nebeneinander liegender originaler Mikroskopansichten bei einer höheren Vergrößerung, um eine kombinierte Datenstruktur zu erzeugen. Die Datenstruktur kann dann zu dem entfernten Betrachter übertragen werden, um diesem Betrachter mehrere Auflösungsmakro- und Mikrobilder der Bereiche der Objektträgerprobe bereitzustellen. Die Datenstruktur wird durch digitales Scannen und Speichern der niedrig vergrößerten Bilder mit deren Mappingkoordinaten und gleicherweise digitalen Scannens und Speicherns von Bildern höherer Vergrößerung mit deren Mappingkoordinaten konstruiert. Weiterhin kann ein Pathologe interaktiv nur die diagnostisch signifikanten Bereiche der Probe für das digitale Scannen und Speichern auswählen, um die Anzahl der Bildpixel, die bei einer hohen Auflösung gespeichert sind, signifikant zu reduzieren.
Die Datenstruktur kann über das Internet oder Intranet übertragen werden, um es vielen Benutzern zu ermöglichen, ein bestimmtes Mikroskop zur Hilfe zu nehmen, wobei sie jeweils eigene virtuelle Bilder der Probe verwenden. Diese Benutzer können zwischen unterschiedlichen Auflösungsbildern auf eine Weise vorwärts und rückwärts schalten, die zu der ähnlich ist, die erreicht wird, wenn zwischen Objektivlinsen für unterschiedliche Auflösungsansichten hin und her geschaltet wird. Das bevorzugte Ausführungsbeispiel dieser Erfindung stellt jedoch einen Marker an der Gesamtmakroansicht bereit, die es dem entfernten Benutzer zeigt, wo das Bild hoher Auflösung an der Probe angeordnet ist, so dass der Benutzer sich nicht den Ort der hoch aufgelösten Bilder merken muss. Anders als das einfache, kleine optische Gesichtsfeld, das derzeit erhältlich ist, wird der entfernte Benutzer mit einer Serie aneinander anstoßender, nebeneinander liegender Bilder versorgt, die jeweils im Wesentlichen gleich zu einem kleinen optischen Gesichtsfeld sind. Daher wird der entfernte Benutzer mit besseren und größeren Makro- und Mikrobildkacheln versehen, als in den einfachen, kleinen optischen Gesichtsfeldern, die bei den gleichen Vergrößerungen einer einzigen Bildkachel aufgenommen ist.
Die bevorzugte Datenstruktur ist auch mit einem generischen Betrachtungsprogramm versehen, das es dem entfernten Benutzer erlaubt, die nebeneinander liegenden Bilder auf dem Browser des Benutzers zu manipulieren und zu interpretieren. Dieses generische Betrachtungsprogramm ist mit seiner eigenen Anzeige in sich selbst abgeschlossen und das Interpretationsprogramm ist verwendbar mit unterschiedlichen Computern, Browsern und Monitoren. Die Datenstruktur verwendet selektiv komprimierte Daten, um die große Menge aufgenommener Daten, zum Beispiel 120 Megabyte, auf eine kleinere Datenmenge zu reduzieren, zum Beispiel 1,4 Megabyte. Solche kleineren, besser handhabbaren Datenmengen können über einen Niedrigbandbreitenkanal, wie beispielsweise dem Internet, ohne einen Verlust in der Auflösung, der mit der Analyse des entfernten Pathologen interferieren würde, übertragen werden. Weiterhin erlaubt es das interaktive Programm dem Pathologen, durch benachbarte Bildbereiche hindurchzublättern und benachbarte Bildkacheln zu betrachten, die dem Pathologen gegenwärtig nicht verfügbar waren bis zu der Erfindung, die in. der Voranmeldung ausgeführt ist und in dieser Anmeldung.
Nun in größerem Detail Bezug nehmend auf die Aspekte dieser Erfindung können Probleme mit dem Erreichen von mehreren aufteilbaren (also in unmittelbarer Nachbarschaft liegende Bilder, die nahtlos nebeneinander angelegt werden können, um das Originalbild wiederherzustellen, aber bei einer anderen Vergrößerung) Bildern einer Probe auf einem Mikroskopobjektträger durch das System der Erfindung überwunden. Das System umfasst ein Mikroskop und ein Mikroskopgestell, bei dem digitale Orte des Gestells in Übereinstimmung mit einem elektromechanisch adressierbaren Koordinatensystem (X-Y aus Gründen der Bequemlichkeit) vorbestimmt wurden. Jedem Punkt des Gestells wird eine "X"- und eine "Y"-Koordinate zugeordnet, die eineindeutig seinen Ort definiert. Die Inkremente in jeder der X- und Y-Richtungen werden durch einen vorbestimmten Betrag, zum Beispiel in 0,1 μm Inkrementen, aufgebaut. Ein Schlüsselfaktor zum Erreichen einer überragenden Auflösung der Probenbilder bei höheren Vergrößerungen ist es, wesentlich mehr physikalische Inkremente auf dem Gestell für jedes Pixel des Bildsensors und der intendierten Anzeige anzulegen. Zum Beispiel korrespondieren bei einer 1,25-fachen Vergrößerung 64 Punkte des Gestells mit einem Pixel auf einem CCD-optischen Sensor, was zu einem Pixel auf einem 640 × 480 Monitor (für ein VGA-Display) korrespondiert, unter Verwendung der bitmap-Adressierung und der durchblätterbaren Bildmethode, die hierin beschrieben ist.
Sobald das Koordinatensystem für das Mikroskopgestell definiert ist, kann, wenn eine Probe auf einem Mikroskopobjektträger auf ihm abgelegt ist, jedes interessierende Merkmal auf dem Objektträger eineindeutig unter Bezugnahme auf das Gestell lokalisiert werden. Dann wird das Mikroskopsystem dazu verwendet, um das Bild digital zu scannen. Der erste Scan wird bei einer relativ kleinen Vergrößerung durchgeführt, da dieses Bild dazu verwendet werden wird, ein "Makro" Bild der gesamten Probe bereitzustellen. In dem bevorzugten Ausführungsbeispiel wird eine 1,25-fache Vergrößerung verwendet. Das Mikroskopsystem scannt dann den Objektträger unter Verwendung des 1,25-fachen Objektivs. Da das Bild durch rechteckige optische Sensoren detektiert wird, wie zum Beispiel die optischen Sensoren in einem CCD-Gitter, muss das Gestell in relativ größeren Inkrementen bewegt werden, um den nächsten danebenliegenden physikalischen Teil des Objektträgers exakt in dem Bereich anzuordnen, in dem diese rechteckige Fläche präzise auf dem CCD-Sensor abgebildet wird.
Obwohl die zu bewegende Fläche relativ groß ist, muss die Präzision hoch sein, um eine Ausrichtung der Bildteile innerhalb der Pixelauflösung des CCD-Sensors zu ermöglichen. Zum Beispiel sind bei der 1,25-fachen Vergrößerung 48.143 X-Schritte und 35.800 Y-Schritte notwendig, um das Probenobjekt auf dem Gestell in eine neue danebenliegende Region zum optischen Abbilden auf dem CCD-Sensor zu bewegen. Das Signal, das durch die optischen Sensoren in dem CCD-Gitter produziert wird, wird dann zu einem Computer übertragen, der die Bildsignale in einer Serie nebeneinander liegender Bilder speichert. Da jeder Bildrahmen durch vordefinierte X-Y Koordinaten definiert ist, können diese einfach in eine Serie von kontinuierlichen Bildkacheln umgewandelt werden.
Um das gescannte Digitalbild auf einem Monitor zu betrachten, verwendet der Computer ein Verfahren des Reservierens eines Bild-bitmaps korrespondierend zu der Gesamtgröße der Bildkacheln, zum Beispiel werden in diesem Beispiel 10 × 8 1,25- fach vergrößerte Bildkacheln aufgenommen. Dies erfordert eine Bild-bitmap der Größe 7.520 × 3.840 bei der Verwendung eines 752 × 480-Pixel CCD-Sensors. Da die X-Y Koordinaten für jede Bildkachel bekannt sind und daher für jedes Pixel in jeder Kachel, kann die Bitmap dazu verwendet werden, die gespeicherten Bildkacheln zu koordinieren und anzuzeigen um eine fusionierte Makroansicht des Bildes mit einer 1:1 Pixelübereinstimmung der Bildschirmpixel mit den Bildpixeln zu präsentieren. Typischerweise gibt es weniger Bildschirmpixel in der X-Y Größe als die des Makrokachelbildes (also kann das gesamte Bild nicht auf dem Monitor betrachtet werden, ohne eine bestimmte Art von Bildkompression), und in diesem Fall wird das Makrokachelbild auf dem betrachtbaren Fenstersegment der Scheibe hin und her geblättert, um die 1:1 Übereinstimmung aufrecht zu erhalten. Ein Vorteil der 1:1 Übereinstimmung ist, dass signifikante Bilddetails dem Benutzer verfügbar sind. Weiterhin, da die physikalische X,Y-Position der Probe durch die Gestellkoordinatenbeziehung mit den Bildpixeln bekannt ist, können die nebeneinander liegenden Makrobilder verwendet werden um Regionen ausfindig zu machen und das Gestell zu der Region vom Sammeln von Bildkacheln höherer Vergrößerung zu bewegen.
Da es die Natur der Optik ist, also der Linsen, dass sie ein im Wesentlichen kreisförmiges Bild mit einem scharfen zentralen Bereich und um den Umfang des Bildes herum verschwommen bereitstellen, ist das Mikroskopsystem so gestaltet, dass es durch die unterschiedlichen Orte auf dem Objektträger auf eine solche Weise hindurch geht, dass es nur den hoch aufgelösten Bildbereich im Zentrum des optischen Bildes scannt. Die verschwommenen äußeren Regionen werden fortgelassen. Dies hat auch den Vorteil des Sicherstellens eines hoch aufgelösten Bildes, sobald die nebeneinander liegenden Bilder zum Betrachten durch einen Benutzer auf einem Monitor rekonstruiert werden.
Nachdem das Makrobild fertig gestellt ist, betrachtet ein trainierter Profi, so wie beispielsweise ein untersuchender Pathologe, Ansichten des Bildes der Probe durch Betrachten des Makrobildes und Suchens nach interessierenden Gebieten. Im Allgemeinen beinhalten die meisten Probenobjektträger nur einige kleine Bereiche von diagnostischer Signifikanz. Der Rest des Objektträgers ist im Allgemeinen leer oder nicht signifikant. Wenn der untersuchende Pathologe den Objektträger betrachtet, können einige Bereiche in den interessierenden Regionen zum Betrachten und für eine Analyse bei höheren Vergrößerungen vorhergehend markiert worden sein. Sobald diese Regionen markiert sind, wird das Mikroskop auf die gewünschte höhere Vergrößerung gesetzt und dann werden nur die markierten Regionen gescannt und gespeichert. Alternativ kann er neue Bereiche direkt auf dem Makrobild definieren. In jedem Fall werden die Regionen unter Verwendung einer Anzeigevorrichtung, wie zum Beispiel einer Maus, direkt in dem Betrachtungsfenster, das das Makrobild anzeigt, umrissen. Wie oben unter Bezug auf die 1,25-fachen Bilder beschrieben wurde, da das Gestell ein vordefiniertes Koordinatensystem aufweist, können die gescannten Bildabschnitte mit höherer Vergrößerung einfach bezüglich des Makrobildes lokalisiert werden, wodurch eine Serie von Mikrobildern erzeugt wird.
Die Tatsache, dass ein typischer Mikroskopprobenobjektträger nur beschränkte interessierende Informationen umfasst und die Möglichkeit des Systems, das die Erfindung umfasst, genau solche Regionen ausfindig zu machen, es dem System ermöglicht, einen virtuellen Mikroskopobjektträger zu erzeugen, also eine Datenstruktur, die anstelle der tatsächlichen Probenobjektträger verwendet werden kann. Dies ermöglicht es vorteilhaft mehreren Benutzern auf eine bestimmte Probe zurückzugreifen. Zusätzlich, aufgrund der reduzierten Größe der Datenstrukturen können sie lokal auf einem Personalcomputer betrachtet werden, wobei sie über ein Intranet oder über das Internet global übertragen werden können. Die erzeugten Datenstrukturen können auf einer Vielzahl von Speicherungs- oder Aufnahmemedien gespeichert werden: zum Beispiel auf einer Festplatte eines Servers, einem Jazz drive, einer CD-Rom oder Ähnlichem. Die Speicherung der Datenstrukturen auf tragbaren Speichermedien ermöglicht weiterhin das Transferieren und Archivieren der Mikroskopobjektträgerdatenstrukturen durch mehrere Benutzer.
Ein weiteres Merkmal der Erfindung ist eine selbst ausführende Datenstruktur. Diese wird erreicht durch ein Zusammenpacken der nebeneinander liegenden Bilder mit einem aktiven, dynamischen Steuerprogramm. Wenn ein aktives, dynamisches Steuerprogramm durch von einem Betrachtungsprogramm, wie zum Beispiel ein üblicher Webbrowser, verwendet wird, kann der Browser das dynamische Steuerprogramm interpretieren. Dies ermöglicht es dem Benutzer, mit den betrachteten Bildern zu interagieren und diese zu steuern, die von dem Aufnahmemedium aus auf dem Bildschirm des Betrachters zu sehen sind. Genauer werden in dem bevorzugten Ausführungsbeispiel der Erfindung eine große Anzahl von digitalisierten, niedrig vergrößerten Bildkacheln geformt und in eine Datenstruktur eingebettet mit verbindender Information, die es ihnen erlaubt, während des Anzeigens kohärent nebeneinander gelegt zu werden um ein Makrobild auszuformen, und auch eine Serie von höher vergrößerten Bildkacheln sind ähnlich in ein Mikrobild konstruiert und ein Steuerprogramm, wie beispielsweise ein JAVA Applet, ist vorgesehen und wird zusammen mit dem Makro- und Mikro-Bildkacheln zur Verwendung durch einen entfernten Benutzer vorgesehen und übertragen. Daher können, zum Beispiel, die Makro- und Mikro-Bildkacheln mit ihrem aktiven Steuerprogramm über ein Internet oder ein Intranet zu einem Browser oder an ein anderes Anwendungsprogramm zum Betrachten der Bilder übertragen werden, bei dem der Benutzer dann auf den Browser zugreifen kann, um die Bilder dann bei mehreren Auflösungen zu analysieren und mit einem Makrogesichtsfeld vor dem Benutzer. Dies ermöglicht das Betrachten der Bilder in einer Weise, die ähnlich zu der Verwendung eines optischen Mikroskops ist, aber in diesem Fall ist die Ansicht visuell die eines virtuellen Mikroskopobjektträgers bei mehreren Auflösungen.
Ebenso können in Übereinstimmung mit der Erfindung die konstruierten, nebeneinander liegenden Makro- und nebeneinander liegenden Mikrobilder zusammen mit dem Steuerprogramm auf einen Webserver gelegt werden und können darauf lokal über ein großes Gebiet verteilt, selbst global, durch mehrere Benutzer zu unterschiedlichen Zeiten zugegriffen werden. Zum Beispiel können von einer großen Anzahl von vorhergehend gescannten und aufgezeichneten Probenobjektträgern, wie beispielsweise 300 Probenobjektträger, deren jeweilige Mikro- und Makro-Bildkacheln auf einen Server gelegt werden. Medizinstudenten oder Pathologiestudenten können dann auf den Objektträger oder alle 300 Objektträger zugreifen und sie auf ihren jeweiligen Webbrowsern zu beliebigen Zeiten betrachten. Gleicherweise kann sich ein Pathologe einwählen oder auf eine andere Weise durch einen Internetserviceprovider mit dem Internet verbinden oder auf ein anderes Fernnetzwerk und auf einen Webserver zugreifen und die Probenresultate eines bestimmten Patienten erhalten. Diese Resultate werden als eine Datenstruktur gespeichert sein (umfassend Makro- und Mikro-Bildkacheln zusammen mit dem Steuer- und Interpretationsprogramm). Der Pathologe kann dann eine Analyse von zuhause aus oder in seinem Büro durchführen, ohne die Notwendigkeit ein Mikroskop zu haben oder dieses zu steuern oder den bestimmten Objektträger. Der Pathologe kann zwischen den Mikro- und Makro-Bildern vorwärts und rückwärts schalten und dann seine Analyse, seine Erkenntnisse oder Diagnose dieser gespeicherten Bilder diktieren oder auf eine andere Weise fertig stellen. Dies ermöglicht es dem Pathologen vorteilhaft einen Teil seines Berufs in den Annehmlichkeiten seines Hauses oder seines Büros durchzuführen und ermöglicht es ebenso einem Labor, tatsächliche Probenobjektträger an einem sicheren und abgeschlossenen Ort aufzubewahren, entfernt von der Möglichkeit der Beschädigung und ohne der Notwendigkeit des Verschickens der Objektträger zur mikroskopischen Untersuchung an einen entfernten Ort.
Das Steuerprogramm, das in dem bevorzugten Ausführungsbeispiel der Erfindung ein dynamisches, selbst ausführendes Programm wie beispielsweise eine JAVA-applet ist, ermöglicht es dem Benutzer, die Bilder zu manipulieren und zu interpretieren, während sie auf einem Browser liegen. Das dynamische, selbst ausführende Programm ist vollständig selbst umfasst (engl. self-contained) mit seinem eigenen Display- und Interpretationsprogramm zur Bedienung durch den Benutzer des Browsers.
Die vorliegende Erfindung ist nicht beschränkt auf die Verwendung mit einem Browser, da die digitalisierten Bildkacheln und das aktive Steuerprogramm auf einer CD-Rom oder einem anderen tragbaren Speichermedium gespeichert werden können und mit der Post versendet werden können oder auf eine andere Weise zu dem Benutzer übertragen werden können zur Betrachtung mit einem dedizierten Betrachter nach Belieben des Benutzers.
Daher kann aus dem Vorhergehenden erkannt werden, dass hier ein neues und verbessertes Verfahren des, und eine Vorrichtung zum Archivieren von Mikroskopobjektträgerinformationen auf einem Speichermedium mit einem aktiven Steuerprogramm vorgesehen ist, das die Anzeige und Interpretationen von unterschiedlichen Mikro- und Makrobildern ermöglicht.
In Übereinstimmung mit einem weiteren wichtigen Aspekt der Erfindung ist dort mit der selbst ausführenden Datenstruktur (den gespeicherten Makro-Bildern, Mikro-Bildern und dem dynamischen, selbst ausführenden Programm zum Betrachten, Rekonstruieren, und Manipulieren der gespeicherten Bilder) die Möglichkeit gegeben, durch die angezeigten Bilder hindurch zu blättern. Dies ermöglicht es dem Benutzer nicht nur eine Bildkachel in einer bestimmten Vergrößerung zu sehen, sondern ebenso einen Pointer zu verwenden oder auf eine andere Weise einen Punkt zu bewegen, um Bilder von nebeneinander liegenden benachbarten Bildkacheln anzuzeigen, die vormals nicht betrachtbar waren, in dem von dem Bediener betrachteten Feld zu umfassen. Also kann der Bediener den Betrachtungsort entlang der Kachelgrenzen von einer Kachel zu einer anderen verändern und aufwärts oder abwärts, oder rechts oder links oder zu anderen interessierenden Punkten in einer normalen zweidimensionalen Blätterweise verschieben. Daher wird der Benutzer mit einem archivierten, gespeicherten Objektträger bei mehreren Vergrößerungen versehen, durch die in jeglicher beliebig gewählter Richtung oder Richtungen einfach hindurchgeblättert werden kann. Wie in der Voranmeldung wird der Bediener interaktiv zu unterschiedlichen Bereichen ausgewählten Interesses gehen und einen Pointer oder einen Marker bedienen um ein bestimmtes interessierendes Gebiet für eine Betrachtung bei einer hohen Vergrößerung auszuwählen, und ebenso ein Durchblättern der benachbarten interessierenden Gebiete durchführen.
Zusätzlich zu dem Internetbrowser können die Datenbilder betrachtet, rekonstruiert und manipuliert werden unter Verwendung eines dynamischen, selbst ausführenden Programms wie zum Beispiel einem JAVA-applet oder einem AKTIVE-X-applet. Ein Vorteil der Verwendung eines dynamischen, selbst ausführenden Programms, das mit den Datenbildern auf einer Datenstruktur verbunden ist, ist dass die Datenbilder unabhängig von dem Betriebssystem auf dem Computer des Benutzers betrachtet und rekonstruiert und manipuliert werden können. Zusätzlich muss der Benutzer nicht die neueste Version des dynamischen, selbst ausführenden Programms erwerben, da es bereits verbunden ist mit und bereitgestellt wird mit den Datenbildern auf der Datenstruktur oder dem Speichermedium. Daher kann der Benutzer die Datenbilder stets betrachten, unabhängig von unterschiedlichen Programmversionen.
Das dynamische, selbst ausführende Programm erlaubt ein Verändern des Bildes in seiner Gesamtheit, was die visuellen Effekte des Veränderns der Objektive in einer regulären, mechanischen optischen Mikroskopansicht simuliert. Daher kann der Benutzer einfach von einer Vergrößerung zu einer anderen schalten und durch Bereiche des Bildes hindurchblättern, was das Verfolgen des Bildes durch Bewegen des Objektträgers unter der Mikroskoplinse simuliert.
Das dynamische, selbst ausführende Programm erlaubt das Blättern des Bildes in einem Fenster, um ein Betrachten des rekonstruierten großen Gesichtsfeldes der Bilder zu ermöglichen. Der Benutzer kann eine Mouse oder ein anderes Zeigegerät verwenden, um einen Abschnitt des Bildes auf dem großen Gesichtsfeldbild auszuwählen und das Programm wird diesen ausgewählten Bereich in einem anderen Fenster bei der gewünschten Vergrößerung anzeigen.
Ein Verfahren des Konstruierens einer Aufzeichnung des Digitalbilds einer Probe auf einem Mikroskopobjektträger unter Verwendung von Bildkacheln umfasst das Scannen des Bildes bei einer ersten niedrigen Vergrößerung, so dass im Wesentlichen die gesamte Probe erhalten wird. Dann wird die Probe bei einer zweiten, höheren Vergrößerung gescannt, so dass Bilder von ausgewählten (oder allen) Unterbereichen der Probe erhalten werden. Die Ortsbeziehungen des ersten niedrig vergrößerten Bildes zu dem zweiten höher vergrößerten Bild werden verwendet, um das Bild während des Betrachtens zu rekonstruieren. Die individuellen Unterbereiche oder Kacheln des gescannten Bildes werden gemeinsam durch das dynamische, selbst ausführende Programm zusammengefügt, um ein digitales Bild substantiell größerer Flächen zu erzeugen, als die individuell aufgenommenen Bildgesichtsfelder ohne ein Nebeneinanderlegen.
Eine Datenstruktur gemäß der Erfindung wird als erstes durch digitales Scannen der gewünschten Proben bei einer Mehrzahl von Bildvergrößerungen erzeugt. Die gescannten Bilder werden dann in einer Serie von nebeneinander liegenden Bildkacheln gespeichert. Dann werden die gespeicherten Bilder mit einem dynamischen, selbst ausführenden Programm verbunden. Die Datenstruktur kann unter Verwendung eines Softwareprogramms verwendet werden. Bilder werden bevorzugt zuerst als bitmap-Files gespeichert (.bmp). (Es ist zu beachten, dass das Speichern der resultierenden Bildfiles in dem bitmap-Format unterschiedlich ist von dem Bitmappingverfahren des Erzeugens der Bildfiles, die hierin beschrieben sind.) Ein Bildkompressionsprogramm wird verwendet, um die bitmap-files in ein JPEG (.jpg) Format umzuwandeln, das weniger Speicherplatz benötigt und konsequenterweise weniger Zeit braucht, um auf einem Computer angezeigt zu werden. Die Person, die die Datenstruktur erzeugt, kann auswählen, wie viel Detail in der Umwandlung umfasst sein soll. JPEG-Bilder können zum Beispiel unter Verwendung von Kompressionsverhältnissen von 20-80% des originalen Bildes erzeugt werden. Ein Vorteil des JPEG-Formates ist, dass im Wesentlichen leere Kacheln (Kacheln, mit hauptsächlich weißen oder schwarzen Räumen) zu sehr kleinen Files herunterkomprimiert werden. Detaillierte Files jedoch werden nicht so stark komprimiert. Zusätzlich kann das dynamische, selbst ausführende Programm Kompressionsalgorithmen zum Anzeigen des gesamten Bildes oder von Teilen dessen in dem Anzeigenfenster umfassen.
Nach dem Herunterladen oder Installieren einer Datenstruktur auf einem Speichermedium, verwendet er, wenn der Benutzer die Datenbilder anzusehen wünscht, eine Maus und "klickt" auf das Icon für die selbst ausführende Datenstruktur. Das dynamische, selbst ausführende Programm zeigt das Bild in einem Fenster an. Typischerweise wird das Programm eine Makro- oder thumbnail-Ansicht des gesamten Probenbildes bei einer niedrigeren Vergrößerung anzeigen, und ein kleineres Fenster, umfassend eine bestimmte Bildkachel oder Gruppen von Kacheln bei einer höheren Vergrößerung. Das Programm ermöglicht es dem Benutzer, die Maus oder eine andere Anzeigevorrichtung zu verwenden, um einen Punkt auszuwählen oder eine Region in der thumbnail-Ansicht zu umfahren. Die ausgewählte Ansicht wird dann in dem kleineren Fenster bei einer zweiten Vergrößerung angezeigt. Der Benutzer kann die Maus oder die Anzeigevorrichtung bewegen und das Bild in dem kleinen Fenster wird mit der Auswahl auf der thumbnail-Ansicht herunterblättern. Auf diese Weise simuliert das Programm die Bewegung eines Mikroskopobjektträgers unter dem Gesichtsfeld des mechanischen Mikroskops. Es sollte jedoch beachtet werden, dass es aufgrund der 1:1 Korrespondenz zwischen den CCD-Pixeln und den gesehenen Pixeln möglich sein kann, dass nicht alle Makro-Bilder auf dem Monitor angezeigt werden können. Der Benutzer kann durch das Makro-Bild hindurchblättern oder ein Kompressionsmerkmal auswählen, um das gesamte Makrobild in dem Fenster anzuzeigen.
Ein weiteres Merkmal der selbst ausführenden Datenstruktur ist, dass wenn das Bild auf dem Anzeigebildschirm angezeigt wird, der Benutzer eine Bildkachel auswählen kann oder einen Unterbereich des Bildes und alternativ diesen Bereich des Bildes bei jeder der gescannten Vergrößerungen betrachten kann. Zum Beispiel kann, wenn die Daten bei einer Vergrößerung von 1,25-fach, 20-fach und 40-fach gescannt wurden, der Benutzer "klicken" und die gleiche Bildkachel bei jeder dieser Vergrößerungen abwechselnd sehen.
Kurze Beschreibung der Zeichnungen
1 ist ein Blockdiagramm eines Systems gemäß der Erfindung zum Erzeugen und lokalen Übertragen von Datenstrukturen eines Bildes von Proben auf einem Mikroskopobjektträger über ein Intranet oder über das Internet;
1A ist eine Darstellung eines Mikroskopobjektträgers, der beliebig zugeordnet ist, so dass er in 80 nebeneinander liegende Bilder gescannt wird;
1B ist eine Darstellung der detektierten Signale der individuellen Pixelsensoren in einem optischen CCD Array nach dem Detektieren einer ausgewählten Bildfläche um sie nebeneinander anzuordnen, und die referenzierten Datenfiles, die die Informationen umfassen, die die detektierten Signale beschreiben;
2 ist eine Bildschirmansicht eines Systems, das die vorliegende Erfindung umfasst, die ein niedrig vergrößertes Bild einer Probe auf einem Mikroskopobjektträger in einem Fenster anzeigt, ein hoch vergrößertes Bild eines Abschnitts des niedrig vergrößerten Bildes, das durch einen Abschnittsmarker ausgewählt ist, und ein Steuerfenster;
3 ist eine Ansicht eines Anzeigebildschirms der Vorrichtung, die die vorliegende Erfindung umfasst, die das Steuerfenster zeigt, ein Niedrigvergrößerungsfenster, das eine Mehrzahl von Hochvergrößerungsmikobildbereichen aufweist, die darin mit Begrenzungen angezeigt sind, und ein Hochvergrößerungsfenster umfassend einen oder mehrere der Mikrobildbereiche;
4 ist eine Ansicht eines Makro-Bildes einer tatsächlichen Brustkrebsprobe, die bei 1,25-fach angezeigt ist, so wie sie auf einem Computermonitor gesehen wird;
5 ist eine Ansicht des Gitterbereichs der 4, der eine von einem Pathologen ausgewählte, interessierende Region umgibt, die bei einer 40-fachen Vergrößerung angezeigt ist;
6 ist ein Blockdiagramm der Schritte beim Mapping des gescannten Bildes des optischen Sensorarrays zunächst in eine Computerbitmap im Speicher und dann auf die Anzeige des Monitors eines Benutzers;
7A ist ein Filelisting, so wie es in einem Windows 95 Dateimanager gesehen werden würde, das die Datenfiles zeigt, die in einer Datenstruktur für eine Brustkrebsprobe umfasst sind;
7B ist ein Filelisting eines JAVA-applets zum Steuern einer Datenstruktur;
8 ist ein Filelisting, so wie es im Windows 95 Dateimanager gesehen werden würde, das die Datenfiles zeigt, die eine alternative Datenstruktur für eine Brustkrebsprobe umfassen;
9A und 9B sind Blockdiagramme der Vorrichtung, die die vorliegende Erfindung umfasst;
10 ist ein Blockdiagramm eines Abschnitts der Vorrichtung, die in 9 gezeigt ist, die Details einer mechanischen Anordnung eines Mikroskops zeigt;
11 ist ein Flussdiagramm, das sich auf den Betrieb der Vorrichtung bezieht;
12 ist ein Flussdiagramm von Details eines der Schritte in 11;
13 ist ein Anzeigebildschirm, der Steuerparameter zeigt, die darauf manipuliert werden können;
14 ist ein Flussdiagramm, das eine Regionsumfahrungsroutine zeigt;
15 ist ein Flussdiagramm für eine Scan- und Analyseroutine;
16 ist ein Schema, das die Begrenzungen der Bewegung des Mikroskopgestells bezüglich der Bildkacheln zeigt;
16A ist eine perspektivische Ansicht des Mikroskopgestells und des Schrittmotors und eines Encoders, der einen closed loop drive für die Motoren bereitstellt;
17 ist ein Blockdiagramm eines Netzwerksystems, dass es mehreren Workstations erlaubt, Zugriff auf das Mikroskop zu erhalten und die Mikroskope lokal bei jeder Workstation zu manipulieren;
17A ist eine Ansicht des Systems, das in Verbindung mit 10 beschrieben ist; und
18 ist ein Blockdiagramm eines entfernten Netzwerksystems zum Verteilen und Zugreifen auf diagnostische Bilder und Daten, beispielsweise virtuelle Mikroskopobjektträger, durch ein Hypertexttransportprotokoll basierend auf einem Server, entweder direkt oder über ein Paketnetzwerk.
Detaillierte Beschreibung des bevorzugten Ausführungsbeispiels
1 ist ein Blockdiagramm des Systems gemäß der Erfindung zum Erzeugen und Übertragen über ein Intranet oder über das Internet eines virtuellen Mikroskopobjektträgers, also miteinander verbundener Datenstrukturen und Anzeigeprozeduren, die bei mehreren Auflösungen Bilder einer Probe auf einem Mikroskopobjektträger darstellen. Das System umfasst ein Mikroskop mit einer digitalen Plattform zum Halten des Mikroskopobjektträgers. Die digitale Plattform oder das Gestell 11 wurde speziell kalibriert, um eine große Anzahl von Inkrementen zum Lokalisieren von Abschnitten der Probenbilder mit einer hohen Präzision zu umfassen. Nach der Kalibrierung und einer anfänglichen Registrierung des Gestelles 11 in dem Mikroskopaufbau wird ein Mikroskopobjektträger oder ein anderes Substrat mit einer Probe, die gescannt werden soll, auf dem Gestell 11 angeordnet.
Aus exemplarischen Gründen wird die Erzeugung von virtuellen Mikroskopobjektträgerproben gemäß der Erfindung bezüglich einer Brustkrebsprobe beschrieben werden. Der erste Schritt beim Erzeugen einer Datenstruktur gemäß der Erfindung ist es, ein Makro-Bild der gesamten Probe herzustellen (oder des Abschnitts der Probe, von dem es gewünscht ist, dass er als das Makrobild gespeichert wird). Der Grund zum Erzeugen des Makro- oder Großflächen-thumbnail-Bildes ist, den Betrachter dazu in die Lage zu versetzen, die gesamte Probe auf einmal zu sehen und das gesamte Bild zu verwenden um die signifikanten Bereiche darauf auszuwählen um sie bei einer größeren Vergrößerung zu betrachten. In diesem Beispiel hat der Benutzer 1,25-fach als die Vergrößerung ausgewählt, um den gesamten Brustkrebsobjektträger anzuzeigen. Sobald die Probe 13a auf das Gestell 11 aufgebracht wird, wird die sich drehende optische Anordnung 15 gedreht, um die Linse 17 auszuwählen, die zu der 1,25-fachen Vergrößerung korrespondiert.
In Übereinstimmung mit den Lehren der Voranmeldung wird das computergesteuerte Mikroskop bewegt, um das gesamt Bild einer Probe 13a zu scannen. Das Fokussiersystem ist so programmiert, dass es durch die Inkremente hindurchgeht, die nur die hoch aufgelöste Zentralfläche des Gesichtsfeldes detektieren/selektieren, um zu verhindern, dass die unscharfen Flächen am Umfang des Gesichtsfeldes gespeichert werden. In diesem Beispiel wird das Makrobild in einem 10 mal 8 Array gespeichert, mit insgesamt 80 benachbarten Bildkacheln, wie in 1A gezeigt.
Ein typischer Mikroskopobjektträger ist ungefähr 77mm mal 25mm groß, wobei die verwendbare Fläche, ohne die Beschriftung zu umfassen, ungefähr 57mm mal 27mm beträgt. Jedes der 80 Bildsegmente ist ungefähr 4,8mm mal 3,5mm in seiner Abmessung. Dies bedeutet, dass jedes der 80 Bildsegmente separat gescannt wird und als eine separate Bildkachel gespeichert wird.
Die Präzision des Mikroskopsystems ist heraufgesetzt, so dass jeder Schritt des Motors eine Präzision von 0,1 Micron (Mikrometer) aufweist. In diesem Beispiel ist das Mikroskop so ausgerichtet, dass es sich bei einer 1,25-fachen Vergrößerung für jede der 80 Bildflächen um 48.143 Schritte in die X-Richtung bewegt und sich um 35.800 Schritte in die Y-Richtung bewegt. Bei höheren Vergrößerungen sind die zu scannenden Bildflächen wesentlich kleiner, so dass die Anzahl der Schritte entsprechend kleiner ist. Für jede der 80 Bildflächen wird die Mikroskoplinse nur die hoch aufgelöste Zentralfläche des Gesichtsfeldes detektieren.
Das optische Bild der gewünschten Bildfläche wird dann durch einen optischen Arraysensor 19 (bevorzugt ein CCD-Sensorarray) detektiert. In diesem Beispiel wird jede der 80 gescannten Flächen durch das gesamte Array detektiert, das 752 Pixel mal 480 Pixel umfasst. Der optische Arraysensor sendet elektrische Signale, die Indikativ für das detektierte Bild sind, an den Mikroskop-steuernden Computer 32. Der Computer 32 speichert die gescannten Bilder, umfassend die X-Y-Gestellkoordinaten oben links für jede der 80 individuellen Flächen des Mikroskopobjektträgers. Jeder der Pixelorte der 80 gescannten Bildflächen ist in einem bitmap-file gespeichert (also einem File, das eine Map der Orte eines jeden Bits in der Fläche umfasst), die mit dem Layout der jeweiligen Bilder darauf korrespondiert. Daher sind alle Pixel der Bildkachel, die von der Region A in 1A abgeleitet ist, welche die siebte von links und in der oberen Reihe ist, individuell zu eineindeutigen Orten in dem bitmap-file des Computerspeichers (6) individuell zugeordnet und sind ebenso in dem Datenstrukturbildkachelfile gespeichert, wie es in 1B gezeigt ist.
Jede der gespeicherten Datenbildkacheln ist ein Standardbildfile mit der Erweiterung .bmp und liegt in der Größenordnung eines Megabytes, also jeder der 752 × 480 Pixel wird als 3 Byte rot, grün und blau Bilddaten (752 × 480 × 32 = 1,082,880 Byte) gespeichert. Da der Ort jeder Bildkachel gemäß der Bitmap bekannt ist, kann das gesamte Mikroskopbild durch Anstreichen (Anzeigen) jeder Bildkachel in Übereinstimmung mit seinem Ort in dem Netz wieder erzeugt werden. Es sollte beachtet werden Um das resultierende Bild anzuzeigen, berechnet der Computer 32 den passenden Ort, der von jeder Bildkachel angezeigt werden soll, abhängig von der relativen Größe des Anzeigebildschirms. Da die gespeicherten Bilddaten üblicherweise größer als die Größe eines typischen Monitors sind, muss der Betrachter durch das Bild in dem Fenster hindurchblättern, um es in seiner Gesamtheit zu betrachten. Es kann jedoch ein optionaler Kompressionsalgorithmus verwendet werden, um das gesamte Bild in das Betrachtungsfenster herein zu komprimieren. Die X-Y Koordinateninformation wird durch das Betrachtungs- und Manipulationsprogramm verwendet, um die Bildkacheln in ein komplettes Bild der Probe zu rekonstruieren. Das resultierende Bild ist größer und hat eine bessere Auflösung als es erreicht werden würde, wenn die optische Technologie dazu in der Lage wäre, eine einzelne Linse zu konstruieren, die dazu in der Lage ist, die gesamte Probe in einem Gesichtsfeld zu sehen. In diesem Beispiel hat jede der 80 Bildkacheln eine digitale Auflösung von 752 × 480 Pixeln, was zu einer optischen Auflösung von ungefähr 0,2 Mikron bei 40-fach, bis zu ungefähr 4,6 Mikron bei 1,25-fach korrespondiert.
Nachdem die Makro- oder Thumbnailbilder digital gescannt und zusammen mit ihrer X-Y Koordinateninformation gespeichert sind, untersucht der Benutzer dann das Makrobild oder die originale Probe nach signifikanten Details. Typischerweise wird der Benutzer mit einem Markierungsstift die Flächen markieren, die bei einer höheren Vergrößerung betrachtet werden sollen. Der Benutzer verändert dann die Vergrößerung des optischen Systems 15 auf die gewünschte höhere Vergrößerung, bewegt das Scanningsystem, um die ausgewählte Region in den Blick zu bringen. Der Computer 32 wiederholt dann das Scannen und den Bildkachelerzeugungsprozess für den ausgewählten Bereich, aber bei einer höheren Vergrößerung und mit einem neuen Gittersystem, um die gescannten ausgewählten Regionen zu lokalisieren.
In dem Beispiel hat der Benutzer die Region B ausgewählt, die auf 1A gezeigt ist, um eine zweite Ansicht bei einer höheren Vergrößerung durchzuführen. Der Benutzer wählt zum Beispiel eine 40-fache Vergrößerung aus. Der Computer berechnet die Anzahl der Bildkacheln, um die ausgewählte Fläche bei einer 40-fachen Vergrößerung zu bedecken und erzeugt ein zweites Gitter.
Es sollte beachtet werden, dass sich die Region B über einige der größeren Kacheln in 1A herübererstreckt. Da die extreme Präzision des Instruments 0,1 Mikron Auflösung ist, ist die Lokalisierung solcher ausgewählten Regionen mit einer hohen Auflösung einfach durchführbar. Wie oben genannt, berechnet der Computer die Größe des Bildabschnitts, in diesem Fall beispielsweise X=1500 und Y=1200 Schrittinkremente. Jeder Bildabschnitt bei der 40-fachen Vergrößerung wird durch das optische Sensorarray detektiert, 752 × 480 Pixel. Jedes resultierende Datenfile wird in einem separaten hochauflösungsgemappten Bereich des Speichers gespeichert, so dass der Computer einfach den Ort der Region B wieder aufrufen kann oder jede seiner 200 individuellen Bildkacheln, wenn dies durch einen Benutzer angefordert wird.
Sobald der Benutzer das Auswählen abgeschlossen hat und das computergesteuerte Mikroskopsystem dazu gebracht hat, die digitalen Bilder in den Bildkacheln zu scannen und zu speichern, speichert der Computer 32 die gemappten .bmp Files zusammen mit ihrer Koordinateninformation und erzeugt die Objektträgerbilddatenstruktur 31 in 1. Die Objektträgerbilddatenstruktur umfasst alle Bitmapbildkachelfiles bei beiden Vergrößerungen (es ist zu beachten, dass gleichfalls zusätzliche Bilder bei weiteren Vergrößerungen gespeichert werden könnten, wenn dies gewünscht ist) wie zum Beispiel als X-Y Koordinateninformation für die Orte der unterschiedlichen Bildkacheln.
7A ist ein Filelisting, so wie es unter dem Windows 95 Dateimanager gesehen werden würde, das die Datenfiles zeigt, die in einer Datenstruktur für eine Brustkrebsprobe umfasst sind. Umfasst in dem Filelisting sind FinalScan.ini und SlideScan.ini sowie zum Beispiel 60 Bitmapdatenfiles. SlideScan.ini ist ein Listing all der originalen Bitmap (.bmp) Files. Die Bitmapfiles repräsentieren die individuellen Bildkacheln in dem Scan bei, zum Beispiel, 1,25-facher Vergrößerung. SlideScan.ini wird nachfolgend in Tabelle 1 weitergeführt und beschreibt die X-Y Koordinaten für jedes Bildkachelfile. Wenn die Datenstruktur durch ein Steuerprogramm betrachtet wird, verwendet das Programm die X-Y Koordinaten, um alle die Bildkacheln nebeneinander anzuzeigen.
Tabelle 1 – Slidescan.ini
Tabelle 2 ist ein Listing des Files FinalScan.ini., das ein Listing der X-Y Koordinaten der hoch vergrößerten Bildkacheln ist, die gescannt und gespeichert sind.
Tabelle 2 – FinalScan.ini
Der Computer 32 kann die gescannten Imagefiles ebenso verwenden, um eine selbst ausführende Datenstruktur zu erzeugen. Durch das Komprimieren der .bmp Bilder nach .jpg und dem Hinzufügen eines dynamischen, selbst ausführenden Programms, das es dem Benutzer ermöglicht, die Bildkacheln zu betrachten, zu rekonstruieren und zu manipulieren, kann der Benutzer die Datenstruktur als einen virtuellen Mikroskopobjektträger der Originalprobe verwenden. Bevorzugt ist das dynamische, selbst ausführende Programm ein Java-Applet, so wie es in 7B gezeigt ist.
Der Computer 32 kann die Objektträgerbilddatenstruktur 31 direkt oder über einen Intranetbrowser 33 auf einem lokalen Betrachter 34 bereitstellen, oder über einen Internetserver 38. Die Objektträgerbilddatenstruktur 37 ist so gezeigt, dass auf sie von einem Internetserver 38 aus direkt zugegriffen werden kann. Alternativ kann ein Benutzer die Objektträgerbilddatenstruktur auf seinen eigenen Computer 39 herunterladen, einen Internetbrowser 43 verwenden und die rekonstruierten Bilder betrachten. Eine weitere Alternative für den Computer 32 ist es, die Objektträgerbilddatenstruktur auf einer CD-ROM, einem Jazz-Drive oder einem anderen Speichermedium zu speichern.
Um die Objektträgerbilddatenstruktur 31 oder 37 zu betrachten, installiert der Benutzer, der zum Beispiel die Datenstruktur über eine CD-ROM erworben hat, zuerst die CD-ROM in dem CD-ROM Laufwerk seines Computers. Dann öffnet der Benutzer einen Browser oder ein anderes Anwendungsprogramm, das das Java-Applet lesen kann, das auf der CD-ROM mit den Bildkacheln installiert ist. Es ist zu beachten, dass in einigen Fällen kein separates Browserprogramm benötigt werden kann. In einigen Fällen kann die CD-Rom das vollständige Anwendungsprogramm zum Betrachten, Rekonstruieren und Manipulieren der Bildkacheln umfassen. In dem vorliegenden Beispiel wird der Benutzer dann das Icon oder das Filelisting für die Objektträgerbilddatenstruktur auswählen und das Steuerprogramm wird die Datenfiles anzeigen.
2 ist eine Bildschirmansicht eines Systems, das die vorliegende Erfindung umfasst, die ein niedrig vergrößertes Bild 24 einer Probe auf einem Mikroskopobjektträger in einem Fenster zeigt, ein hoch vergrößertes Bild 26 eines Bereichs des niedrig vergrößertes Bildes, das durch einen Bereichsmarker 30 ausgewählt ist, und ein Steuerfenster 28. 3 ist eine Ansicht eines Anzeigebildschirms der Vorrichtung, die die vorliegende Erfindung umfasst, die das Steuerfenster 28, ein Niedrigvergrößerungsfenster 24, das eine Mehrzahl von Hochvergößerungsmikrobildregionen 310 aufweist, die darin umrandet sind, und ein Hochvergrößerungsfenster 26 umfassend eines oder mehrere der Mikrobildbereiche 310, 314, 316 aufweist. 4 ist eine Ansicht eines Makrobildes einer tatsächlichen Brustkrebsprobe, die bei 1,25-fach angezeigt wird, so wie sie auf einem Computermonitor zu sehen ist. 5 ist eine Ansicht des Gitterbereichs der 4, die einen interessierenden Bereich andeutet, der von einem Pathologen ausgewählt ist, angezeigt bei 40-facher Vergrößerung.
Es ist daran zu erinnern, dass der Bereich A in 1A ungefähr 4,8mm × 3,5mm war. Dieser Bereich erzeugt 752 × 480 Pixel ermittelter Daten oder 360,930 Bildinformationspixel. Jeder Pixel sendet Informationen bezüglich seines Ortes und des Bildes, das er detektiert hat, zum Computer. Der Computer speichert diese Information in einer Serie von Datenfiles (typischerweise .bmp Format, aber .tif oder .gif könnten ebenso verwendet werden). Daher kann gesehen werden, dass einige Pixel mehr an detektierten Daten verfügbar sind, als sie zum Betrachten auf einem Computermonitor, der bei 640 × 480 betrieben wird, geeignet sind. Um das gesamte Bild zu sehen, muss der Benutzer durch die Bildkacheln hindurchblättern. Ein Blättern muss jedoch nicht auf einer Kachel nach Kachelbasis durchgeführt werden. Der Benutzer blättert vielmehr durch ein Zeigen auf ein Pixel auf dem Monitor.
6 ist ein Blockdiagramm, das anzeigt, wie das Steuerprogramm die gespeicherten Bildkacheln anordnet und durch sie hindurch blättert. Unter Verwendung des Beispiels aus der 1A, wurde eine komplette Datenstruktur erzeugt. Wenn der Benutzer die Datenstruktur (des Mikroskopobjektträgers) in seinen Personalcomputer hereinlädt oder sie auf einem Internetbrowser betrachtet, erzeugt das Steuerprogramm eine Bitmap der gespeicherten Daten. Die Bitmap des gesamten Objektträgers ist in 6 gezeigt. Die Bildkachel A ist ebenso markiert. Diese Bitmap ermöglicht es einem Benutzer auf einen Ort auf dem Objektträger zu zeigen oder ihn anderweitig zu referenzieren. Die X-Y Koordinateninformation, die in der Datenstruktur spezifiziert ist, ermöglicht eine X-Y Übersetzung der spezifischen Bildkacheln und spezifischer Pixel innerhalb der Bildkachel. Wenn das Steuerprogramm als erstes das Bild lädt, da dieses Bildfile so groß ist, wird nur eine kleine Anzahl der verfügbaren Kacheln in dem aktiven Fenster auf dem Monitor des Benutzers angezeigt. Der Benutzer verwendet seine Maus oder sein Zeigegerät, um durch das aktive Fenster hindurchzublättern, um das gesamte Makrobild zu betrachten. Die X-Y Koordinateninformation, die durch die Maus ausgewählt ist wird in spezifische Bildkacheln oder deren Abschnitte übersetzt. Der Computer nimmt die Mauszeigerinformation und entnimmt die Bilddaten aus der Serie der gespeicherten Bildkacheln und zeigt sie auf dem Monitor an, zur Betrachtung durch einen Benutzer.
Aufgrund des großen Betrags von CCD Pixelinformationen, die gespeichert sind, können die tatsächlichen CCD Pixelinformationen wiederum in dem Betrachtungsfenster erzeugt werden. Das gesamte System arbeitet in einer Schleife, in die der Benutzer einen Mausort eingibt, der Computer den Mausort von den Bildschirmkoordinaten (Bildschirmpixeln) in die X-Y Koordinaten der Bitmap übersetzt.
Ähnlich kann der Benutzer die hoch vergrößerten Datenbilder auswählen. Diese werden durch ein dunkles Gitter umgeben, wodurch die gespeicherten Bereiche angezeigt werden. Der Benutzer bedient die Maus auf die gleiche Weise wie oben beschrieben. Das Steuerprogramm ordnet die gespeicherten X-Y Koordinaten an und entnimmt die ausgewählten Teile des Bildes, CCD gespeicherten Pixel für CCD gespeicherten Pixel.
Wie oben erwähnt kann, um Speicherraum zu sparen, der Computer 32 eine Datenkompression jeder der Bildkachelfiles durchführen. Eine bevorzugte Datenkompression ist JPEG, die bereits übertragen ist und von den meisten Internetbrowserprogrammen erkannt wird. JPEG erlaubt ebenso eine Flexibilität des Betrags der zu komprimierenden Daten von 20 bis 80 Prozent. 8 ist ein Filelisting, so wie es unter Windows 95 Dateimanager gesehen werden würde, das die Datenfiles anzeigt, die in einer alternativen Datenstruktur einer Brustkrebsprobe umfasst sind, die eine ist, in der die Datenfiles komprimiert oder in das JPEG (.jpg) Format konvertiert wurden. Der File index.html (gezeigt in Tabelle 3) ist das Listing, das die X-Y Koordinateninformation für diese Datenfiles beinhaltet. Dies ist die Information, die durch das dynamische, selbst ausführende Programm zum Betrachten gelesen wird, welches die Bildkacheln in den Makro- und Mikroansichten rekonstruiert und manipuliert.
Tabelle 3 – index.html
Nun Bezug nehmend auf die Zeichnungen und insbesondere auf die 9A, 9B und 10, ist darin eine Vorrichtung zum Synthetisieren von niedrig vergrößerten und hoch vergrößerten Mikroskopbildern gezeigt und im Allgemeinen durch das Referenzzeichen 10 identifiziert. Das System umfasst einen Computer 12, der ein dual Pentium Pro Personalcomputer ist, in Kombinationen mit einer Hitachi HV-C20 Videokamera 14, die mit einem Zeiss Axioplan 2 Mikroskop 16 verbunden ist. Das Computersystem 12 ist dazu in der Lage, Signale von der Kamera 14 zu erhalten, die Licht von dem Mikroskop 16 einfängt, auf dem ein Mikroskopobjektträger 18 auf einem codierten motorisierten LUDL Gestell 20 positioniert ist. Das codierte motorisierte Gestell 20 umfasst eine MAC 2000 Gestellsteuerung zum Steuern des Gestells in Antwort auf den Computer 12. Ein Mikroskopobjektträger 18 umfasst eine biologische Probe 21, die durch das Mikroskop betrachtet werden soll und deren Bild sowohl bei einer niedrigen Vergrößerung als auch einer hohen Vergrößerung digitalisiert werden soll, wie sie beispielsweise durch einen Benutzer ausgewählt wird. Das niedrig vergrößerte digitalisierte Bild wird dann auf einem 21 inch Iiyama Videodisplay Monitor 22 angezeigt, der eine Auflösung von 1600 × 1200 aufweist, um Bildschirme des Typs, die in den 1 bis 3 gezeigt sind, bereitzustellen, umfassend ein niedrig vergrößertes Bild 24, beispielsweise beim 1,25-fachen, ein hoch vergrößertes Bild 26, zum Beispiel beim 40-fachen, und ein Steuerfenster oder -bild 28. Das niedrig vergrößerte Bild kann darin einen Bereich 30 identifiziert aufweisen, der bei einer hohen Vergrößerung auf einem Hochvergrößerungsschirm oder einem Fenster 26 so reproduziert wird, dass ein Pathologe oder ein anderer Operator des Systems architektonisch interessierende Bereiche in einem niedrig vergrößerten Bild 24 betrachten kann und sie gleichzeitig in hoher Auflösung in dem Hochauflösungsschirm in dem Fenster 26 betrachten kann, um festzustellen, ob die Zellen, die einen Bereich des architektonischen Merkmals ausformen, weiter nach Krebs oder Ähnlichem untersucht werden müssen, oder nicht.
Der Computer 10 ist um einen PCI Systembus 40 herum konstruiert und weist einen ersten Pentium Pro Mikroprozessor 42 und einen zweiten Pentium Pro Mikroprozessor 44 auf, die damit verbunden sind. Mit dem Systembus 40 ist ein PCI Bus 50 und ein ISA Bus 52 verbunden. Der PCI Bus 50 hat eine damit verbundene SCSI-Steuerung 60, um Informationen an eine Festplatte 62 zu senden und von dieser zu empfangen. Die Festplatte 62 ist ebenso in einer Daisychain SCSI Weise mit einer entnehmbaren, hochkapazitiven Scheibe und mit einem CD-ROM Laufwerk 66 verbunden. Die Festplatten 62 umfassen sowohl die Programme zum Betreiben des Systems zum Steuern des Mikroskops 16 und zum Bearbeiten der Bilder, als auch zum Durchführen einer quantitativen Analyse der ausgewählten Bereiche der histologischen Proben, die auf dem Objektträger 18 betrachtet werden. Mit dem Systembus 40 ist ebenso ein Random-Access Speicher 70 verbunden, innerhalb dessen Bereiche des Programms, die ausgeführt werden, gespeichert werden, sowie auch ein Read-only Speicher 72, zum Speichern eines Bootstrap Loaders als auch Teilen des grundlegenden input/output Betriebssystems. Eine Diskettenlaufwerkssteuerung 74 ist mit dem Systembus 40 verbunden und mit ihr ist ein Diskettenlaufwerk 76 zum Lesen und Schreiben von Information auf einer Diskette verbunden, so wie es angemessen ist. Eine Maussteuerung 80 ist mit dem Systembus verbunden und weist eine Maus 82 auf, die als eine Zeigevorrichtung zum Steuern der Manipulation auf dem Bildschirm 22 und innerhalb der Fenster 24, 26 und 28 betrieben wird. Eine Tastatursteuerung 90 ist mit dem Systembus verbunden und weist eine damit verbundene Tastatur 92 auf. Die Tastatur 92 kann verwendet werden, um alphanumerische Signale an andere Bereiche des Computers zu senden und zu empfangen. Eine Audiosteuerung 100 weist eine Mehrzahl von damit verbundenen Lautsprechern 102 und ein Mikrofon 104 auf zum Eingang und Ausgang von Audio und ist mit dem Systembus 40 gekoppelt. Ein Netzwerkinterface, wie zum Beispiel eine Netzwerkinterfacekarte 104, ist mit dem Systembus verbunden und kann Signale über einen Kanal 106 anderen Bereichen eines Netzwerkes oder Internets bereitstellen, mit dem das System verbunden sein kann. Auf gleiche Weise können Signale aus dem System über ein Modem 110 heraus gesendet werden, das mit dem ISA Bus 52 verbunden ist, und kann über einen Kanal 112 versendet werden, zum Beispiel an das Internet. Ein Drucker 116 ist über eine parallele I/O Steuerung 118 mit dem Systembus verbunden, um Bildschirme und andere Informationen angemessen ausdrucken zu können, wenn diese erzeugt werden. Eine serielle I/O Steuerung 122 ist mit dem Systembus verbunden und weist mit diesem verbunden eine Kamerasteuerung 124 auf, die mit CCD-Sensoren 126 in den Kameras gekoppelt ist. Die CCD-Sensoren 126 stellen Pixel oder Bildsignale, die repräsentativ dafür sind, was auf dem Objektträger 18 gefunden ist, einer Epix pixci Bildaufnahmesteuerung 130 bereit, die mit dem PCI-Bus 50 gekoppelt ist.
Das Mikroskop 16 umfasst eine Basis 140, die ein darauf positioniertes Gestell 20 aufweist, sowie einen Objektivrevolver 142, an dem eine Mehrzahl von Objektiven 144, 146 und 148 vorgesehen sind. Das Objektiv 144 kann zum Beispiel ein 1,25-faches Objektiv sein. Das Objektiv 146 kann ein 20-faches Objektiv sein. Das Objektiv 148 kann ein 40-faches Objektiv sein. Signale von den Kamerasensoren und der Steuerung werden über einen Bus 128 dem Bildaufnahmesystem zugeführt, wo sie zum Speichern im RAM digitalisiert und dem PCI-Bus zugeführt werden oder zur Sicherheitsspeicherung auf der Festplatte 62.
Wenn eine Probe auf dem Objektträger 18 ist, kann das Gestell 20 unter der Steuerung des Computers durch eine Gestellsteuerung 160 manipuliert werden, die mit der seriellen I/O Steuerung 122 gekoppelt ist. Auf die gleiche Weise steuert eine Mikroskopsteuerung 162 Aspekte des Mikroskops, wie beispielsweise die Beleuchtung, die Farbtemperatur oder den spektralen Ausgang einer Lampe 168 und Ähnlichem. Zum Beispiel wird beim Normalbetrieb, wenn eine Probe auf dem Objektträger angeordnet ist, der Probenobjektträger 18 in einem Schritt 200 auf dem Gestell 20 angeordnet, wie er in 14 gezeigt ist, die Prozessoren 42 und 44 senden ein Kommando durch den Systembus, um die serielle I/O-Steuerung 122 dazu zu bringen, die Mikroskopsteuerung dazu zu bringen, die Vergrößerung in einem Schritt 202 auf 1,25-fach zu verändern. Dies wird durch Drehen des Objektivrevolvers des Axioplan 2 Mikroskops getan, um das Objektiv 144 auszuwählen. Gleicherweise legt die Steuerung die Farbtemperatur der Lampe 168 fest, legt ein Paar neutraler Dichtefilterräder 170 und 172 fest und legt ein Felddiaphragma 174 für die korrekte Beleuchtung fest. Eine Kondensorblende 146 wird ebenso gesteuert und ein Farbfilterrad 180 kann ebenso gesteuert werden, um die angemessene Filterfarbe den CCD-Sensoren 126 in der Kamera anzuwenden. Der gesamte Objektträger wird dann in einem Schritt 204 gescannt. Die Bilder werden nebeneinander gelegt und in das Gesamtbild 124 zusammengesetzt, das dem Bildschirm 22 zugeführt wird, um den Bediener im Schritt 206 mit einem visuell untersuchbaren Makrobild der relevanten Bereiche des interessierenden Objektträgers zu versorgen.
Um das vergrößerte Bild bereitzustellen, kann die Maus bewegt werden, um ein Markierungssegment oder eine Region zu identifizieren, die zum Beispiel eine rechteckige Region sein kann, die das Mikroskop dazu bringt, durch ein Rotieren des Revolvers die Vergrößerung so wie im Schritt 208 auf das 4-fache, 20-fache, 40-fache etc. zu verändern, um das angemessene Objektivlinsensystem in die Betrachtungsposition zu bringen.
Als nächstes verwendet der Benutzer in einem Schritt 209a die Maus, um die Region auf dem Makrobild auszuwählen, um das Mikrobild, das auf dem Bildschirm 22 betrachtet werden soll, auszuwählen. In einem Schritt 209b wird ein Test durchgeführt um zu bestimmen, ob der Benutzer eine kontinuierliche Inspektion befohlen hat. Wenn der Benutzer dies hat, wird ein Test in einem Schritt 209c durchgeführt, um zu bestimmen, ob die Vergrößerung durch einen Verändern des ausgewählten Objektivs verändert werden soll. In diesem Fall, in dem die Vergrößerung verändert werden soll, wird die Steuerung zum Schritt 208 übertragen. Wenn die Vergrößerung unverändert gelassen werden soll, wird die Steuerung im Schritt 209a übertragen. In dem Fall, in dem die Inspektion nicht weitergeführt werden soll, wird die ausgewählte Region für einen Scan mit einer höheren Vergrößerung in einem Schritt 206d umrahmt. In einem Schritt 209e kann ein Befehl zum Scannen oder zum Aufzunehmen des Bildes bei einer höheren Vergrößerung zur Anzeige auf einem Schirm 26 erhalten werden. Das Bild kann dann für eine spätere Analyse archiviert werden, angezeigt werden oder sofort analysiert werden.
Um die Vergrößerung durchzuführen, die im Schritt 208 erforderlich wurde, wird die Gesamtbeleuchtung und Steuerung des Mikroskops so gesteuert werden, dass in einem Schritt 210 der Objektivrevolver 142 gedreht werden wird, um das höherfache Objektiv über den Objektträger 18 zu platzieren. In einem Schritt 212 wird die Spannung der Lampe verändert, um die Lampe 168 einzustellen, um die richtige Beleuchtung und die Farbtemperatur, die für das ausgewählte Objektiv vorbestimmt ist, bereitzustellen. In einem Schritt 214 wird die Kondensatorblende 176 eine Öffnung aufweisen, die als angemessen ausgewählt ist, um die richtige Beleuchtung für dieses Objektiv bereitzustellen. In einem Schritt 216 wird der Filterrevolver 180 den richtigen Lichtwellenlängenfilter auswählen, der den Kamerasensoren zugeführt wird. Zum Beispiel ein roter, blauer oder grüner Filter, wie es beispielsweise angemessen ist, insbesondere wenn die Probe verschmutzt wurde. In einem Schritt 218 wird die Öffnung der Feldblende 174 verändert. In einem Schritt 220 wird das neutrale Dichtefilterrad 170 einen neutralen Dichtefilter auswählen und in einem Schritt 222 wird das neutrale Dichtefilterrad 172 ebenso einen neutralen Dichtefilter auswählen. In einem Schritt 224 werden die X, Y und Z Offsets zur Rekonstruktion des aufgenommenen Bildes bei der Vergrößerung verwendet werden und in einem Schritt 226 wird die gegenwärtige Position der Encoder in dem Gestell ausgelesen werden, die bis auf 0,10 Mikron genau ist.
Um die ausgewählte Region zu identifizieren, wird die Maus in einem Schritt 240 in einem Zeigevorgang auf diese Fläche der Region bewegt, wie in 14 gezeigt. Die Maus kann bewegt werden, um eine Box um die ausgewählte Region herum zu zeichnen. In einem Schritt 242 werden die X und Y Bildschirmpunkte für die Ecken der ausgewählten Region ausgerechnet und das berechnete Bild für die Pixelpunkte wird in Gestellkoordinatenpunkte übersetzt, um das Gestell des Mikroskops zu steuern. In einem Schritt 244 wird eine Liste aller der X-Felder zum Positionieren des Gestells für das Objektiv gespeichert in dem Random Acess Speicher und kann auf der Festplatte gesichert werden. Die Informationen von den X-Offsets für das Objektiv und die Gestelloffsets werden ebenso wie die Größe des Feldes verwendet, um den Objektträger richtig unter dem Objektiv zu positionieren, um das Mikrobild aufzunehmen.
Wenn der Objektträger richtig positioniert wurde, wie in 15 gezeigt, wird das Gestell in einem Schritt 250 für jeden der X und Y Koordinatenwerte in den Gestellkoordinatenwerten positioniert und das digitalisierte Bild wird durch die Kameras aufgenommen und im RAM gespeichert und auf der Festplatte gesichert. Das Bild kann dann quantitativ in unterschiedlichen Weisen analysiert werden, so wie die, die in der vormals identifizierten US Anmeldung ausgeführt sind. Optional können die Bilder für Archivierungszwecke in einem Schritt 254 gespeichert werden.
Um die spezifischen Steuerfunktionen, die wie in 12 gezeigt stattfinden, zu überbrücken, wird ein Bildschirm bereitgestellt, wie er in 13 gezeigt ist, wobei die X-Y-Schrittgröße editiert werden kann, die X, Y und Z Offsets editiert werden können, die Lampenspannung ausgewählt werden kann, die Neutraldichtefilter ausgewählt werden können wie zum Beispiel die Öffnung der Feldblende und viele andere Mikroskopcharakteristika. 13 ist eine Ansicht der Einstellungen der Mikroskopobjektiveigenschaften des Axioplan 2 computergesteuerten Mikroskops.
Die X- und Y-Positionierung wird spezifisch wie in 16 gezeigt ausgeführt, wobei der Objektträger 18 mit einer Objektträgergrenze 270, 272, 274 und 276 gezeigt ist. Die Gestellgrenze zur Beschränkung der Gestellbewegung für Zwecke des Gestells kann das Gestell den gesamten Weg von einer Ecke in der oberen linke Seite der Bewegung 276 zu einem unteren rechtsseitigen Ecke der Bewegung 280 bewegt werden. An der oberen linken Grenzecke der Bewegung 278 ist eine Begrenzung, die ein Signal dafür ist, dass das Ende der Bewegung erreicht ist, und das Gestell wird dann einen kleinen Abstand 282 in dem Extraaufwand und eine kurze Distanz 184 in der Y-Richtung verschoben, um die erste Kachel 288 bezüglich eines Referenzpunkts 290 an deren oberer linker Ecke zu definieren. Da die Größe der Makrobildkachel 288 bekannt ist, kann die nächste Makrobildkachel 292 benachbart zu dieser durch eine entsprechende Bewegung des Gestells angeordnet werden und durch Messen des Ortes des Gestells von dem Gestell in Zählern ohne der Notwendigkeit des Durchführens jeglicher Bildmanipulation. Die Bildkacheln 288 und 292 können aneinander anliegen ohne irgendeinen substanziellen Überlapp oder sie können leicht überlappen, so wie ein Pixel mit Überlapp, was vernachlässigbar ist, wie ein Verschwimmen jeglicher nebeneinander liegenden Kanten von nebeneinander liegenden Bildkacheln. Die obere linke Kantenecke der Kachel 292 definiert den Rest der 292 und andere Kacheln können so definiert werden. Mikrobildkacheln können ebenso so definiert werden, dass sie aneinander anliegen aber im Wesentlichen nicht überlappen, so wie sie mit den zusammengesetzten Bildern interferieren würden. Dies verhindert die Probleme, die erfahren werden, wenn ausgedehnte Berechnungen von Digitalbilder in einem Rahmenspeicher oder mehreren Rahmenspeichern durchgeführt werden müssen, um die Bilder miteinander abzugleichen oder sie in Anlage zueinander zu bringen, ohne ein Verschmieren an den Kanten der nebeneinander liegenden Bildkacheln. Es wird erkannt werden, dass das niedrigfache Bild 24 eine Mehrzahl von Mikrobildern aufweist, die darin definiert sind, die nebeneinander gelegt sind und die in einer höheren Vergrößerung als individuelle Kacheln 312, 314, 316 und Ähnliches gezeigt sind. Zusätzlich kann die Region 310, wenn sie vergrößert ist, wie in dem Fenster 26 gezeigt, die Grenzen des Fensters überschreiten und daher kann das Fenster Blätterbalken umfassen oder andere Mittel, um es zu ermöglichen, dass das Bild 310, das größer ist als das Fenster 26, von der Innenseite des Fensters 26 aus untersucht werden kann.
Das Gestell 200 kann am besten in 16A gesehen werden und umfasst die X- und Y-Steppermotoren 279 und 281 mit der jeweiligen Encodern, die ein geschlossenes Schleifensystem bereitstellen, um die 0,1 Mikron Genauigkeit gegenüber den üblichen 5 der 6 Mikron Genauigkeit der meisten Mikroskopgestelle bereitzustellen, ohne ein geschlossenes Schleifensystem. Dieses geschlossene Schleifensystem und diese hohe Genauigkeit ermöglichen das Anlegen der Kachelbilder sowohl für die hoch vergrößerten als auch für die niedrig vergrößerten Bilder ohne einen wesentlichen Überlapp und die zeitaufwändige und teure Software, die gegenwärtig dazu verwendet wird, das Überlappen und das Verschwimmen an den überlappenden Kanten nebeneinander liegender Bildkacheln zu eliminieren. Mit dem präzise positionierten Gestell und durch die Verwendung des nebeneinander liegenden Systems, das in Verbindung mit 16 beschrieben ist, bei dem der Objektträger präzise relativ zu einem Zentrumspunkt CP für den Objektträger positioniert ist und die bekannte Position des Punktes 278 stets vom selben Punkt aus ermittelt wird, können die Bildkacheln präzise in einer horizontalen Linie und präzise in vertikalen Reihen positioniert werden, um das Makrobild und das Mikrobild zu rekonstruieren. Diese Rekonstruktion wird ohne die Verwendung, wie beispielsweise im Stand der Technik, extensiver Softwaremanipulation, um ein horizontales oder vertikales Überlappen der Bildkacheln zu eliminieren, oder der willkürlichen Orientierung der Bildkacheln, durchgeführt.
Die vorliegende Erfindung umfasst auch die Möglichkeit, eine entfernte Beobachtung durchzuführen, dadurch dass es möglich ist, das System entweder über eine Netzwerkkommunikationsvorrichtung mit einem Intranet zu koppeln, zum Beispiel über ein Netzwerkinterface, oder über ein Modem oder eine andere geeignete Verbindung mit einem Internet, so dass sobald das Bild gescannt und im Speicher auf den Festplatten oder anderen Speichern gespeichert ist, entfernte Benutzer dazu in der Lage sind, auf das niedrig vergrößerte Bild sowie auf das hoch vergrößerte Bild zuzugreifen und sich zwischen beiden Bildern herumzubewegen und Bestimmungen bezüglich der histologischen Charakteristika der Proben zu machen.
Ein zusätzliches Merkmal des Systems umfasst eine Mehrzahl von miteinander vernetzten Workstations, die mit einer ersten Computerkonsole 12 gekoppelt sind, die einen Anzeigeschirm 22 aufweist, der mit dem Mikroskop 14 verbunden ist. Satellitenarbeitsstationen 350 und 352 sind im Wesentlichen identisch zu der Workstation 12, umfassend jeweilige Computer 354 und 356, die mit Anzeigen 358 und 360 gekoppelt sind. Die Vorrichtungen können durch Eingangsvorrichtungen 360 und 362 manipuliert werden, die eine Tastatur, eine Maus und Ähnliches umfassen können. Ebenso kann eine dritte Vorrichtung umfassend eine Workstation 370 verbunden sein, die eine Anzeige 372, einen Computer 374 und eine Eingangsvorrichtung 376 aufweist. Jede der Vorrichtungen ist über jeweilige Netzwerkleitungen 380, 382, 384 mit dem Computer 12 verbunden, wobei die Übertragung entweder durch das Netz oder Ähnliches vorgenommen sein kann. Jede der unterschiedlichen Bediener an den physikalisch unterschiedlichen Betrachtungsstationen kann Gebiete der gesamten Gewebequerschnitte über eine Makroansicht hinweg lokalisieren und die Regionen zum nachfolgenden Scannen und/oder eine quantitative Analyse beschriften. Ein einzelner Bediener an der Instrumentenstation 12 kann Regionen lokalisieren, und die gesamten Gewebequerschnitte betrachten. Diese Gebiete können beschriftet werden zum nachfolgenden Scannen und/oder für eine quantitative Analyse mit einem nachfolgenden Review, und physikalisch entfernte Betrachtungsstationen, zum Beispiel in einem Betriebsraum oder in individuellen ausgezeichneten Bereichen der Pathologen um die Analyseresultate zu betrachten, während sie noch die gesamte Makroansicht des Gewebes und/oder die individuellen gespeicherten Bilder aufrechterhalten und betrachten, von denen die quantitativen Resultate erhalten wurden. Die Betrachtungsstationen 350, 352 und 370 können Desktopcomputer, Laptops etc. umfassen. Es gibt keine Notwendigkeit für ein Mikroskop an den Netzwerkstationen 350, 352 und 370.
In einem weiteren alternativen Ausführungsbeispiel können entfernte Workstations 400, 402, 404, 406 und 408 durch einen Server 410 verbunden sein, der über ein paketvermitteltes Netzwerk versorgt werden. Der Server 410 kann ein Hypertexttransportprotokoll-basierter Server des Typs sein, der für das World Wide Web verwendet wird, oder kann ein Telnet-Typ Server sein, so wie er früher in Internet-Remotebetriebsanwendungen verwendet wurde. Der Server 410 kommuniziert über einen Kommunikationskanal 414 mit einem lokalen Computer 416, der eine Anzeige 418 aufweist die damit verbunden ist, wobei der lokale Computer 416 mit dem Mikroskop 420 verbunden ist. Jede der entfernten Workstations 400, 402, 404, 406 und 408 kann die gleichen Operationen wie die Stationen 350, 352 und 370 durchführen, obwohl sie dies von nahe gelegenen Gebäuden aus oder selbst von um die Welt herum tun, wobei sie zusätzliche Flexibilität für andere bereitstellen, um Verwendung für die Proben, die ermittelt wurden und unter dem Mikroskop 420 betrachtet wurden, zu machen. Zusätzlich können gespeicherte Bilder durch den Server 410 zu entfernten Servern 400 durch 408 für eine weitere Analyse und Überprüfung verschickt werden.

Claims

Verfahren zur Herstellung einer Datenstruktur, die einen virtuellen Objektträger repräsentiert, unter der Verwendung von Daten, die von einer Probe auf einem Objektträger (18) genommen wurden, umfassend die Schritte: Anordnen des Objektträgers (18) auf einem Mikroskopgestell (20), das in Übereinstimmung mit einem adressierbaren Koordinatensystem bezüglich der Mikroskopobjektivlinse (144, 146, 148) verschiebbar ist, digitales Scannen und Speichern einer ersten Serie von digitalisierten Bildern, die von einem Teil einer Probe auf dem Objektträger (18) gemacht sind, durch inkrementelles Verschieben des Mikroskopgestells (20) in dem Koordinatensystem und Speichern eines digitalen Bildes bei jedem Schritt des Inkrements zusammen mit den Koordinaten des adressierbaren Koordinatensystems des jeweiligen Schritts, wobei die Inkrementgröße so ausgewählt ist, dass sie eine erste Serie von aneinander angrenzenden Bildkacheln (288, 292) produziert und wobei das Mikroskop (16) eine erste optische Vergrößerung aufweist, um die Ausbildung einer Gesamtübersicht zu erlauben, digitales Scannen und Speichern einer zweiten Serie von digitalisierten Bildern, die von einem Teil der Probe auf dem Objektivträger (18) gemacht sind, durch inkrementelle Verschiebung des Mikroskopgestells (20) in dem gleichen Koordinatensystem und Speichern eines digitalen Bildes bei jedem Schritt des Inkrements zusammen mit den adressierbaren Koordinaten des Systems des jeweiligen Schritts, wobei die Inkrementgröße so ausgewählt ist, dass sie eine zweite Serie von nebeneinander liegenden Bildkacheln ausbildet, und wobei das Mikroskop (16) eine zweite, höhere optischen Vergrößerung aufweist, und Bereitstellen der Datenstruktur mit den ersten und zweiten Serien digitalisierter, gespeicherter Bilder und dem adressierbaren Koordinatensystem, um einen Benutzer mit Bildern mehrfacher Auflösung der Probe zu versorgen, die so adressiert sind, dass ein Punkt der Bilder höherer Vergrößerung einfach bezüglich des gleichen Punktes auf den niedriger vergrößerten Bildern lokalisierbar ist.
Verfahren gemäß Anspruch 1, wobei das adressierbare Koordinatensystem ein X-Y System ist.
Verfahren gemäß Anspruch 1, wobei es im Wesentlichen keinen Überlapp zwischen den nebeneinander liegenden Bildkacheln gibt (288, 292).
Verfahren gemäß Anspruch 1, weiterhin umfassend den Schritt des Aufnehmens der Koordinaten eines Markers in die Datenstruktur.
Verfahren gemäß Anspruch 1, weiterhin umfassend das Einbeziehen eines aktiven Steuerprogramms in die Datenstruktur, um es dem Bediener zu ermöglichen, die Bildkacheln zu manipulieren und zu interpretieren.
Verfahren gemäß Anspruch 5, wobei das aktive Steuerprogramm ein dynamisches, selbst ausführendes Programm zum Betrachten, Manipulieren und Rekonstruieren der Bildkacheln ist.
Verfahren gemäß Anspruch 6, wobei das dynamische, selbst ausführende Programm in der Form eines Java Applets ist.
Verfahren gemäß Anspruch 6 oder 7, wobei das dynamische, selbst ausführende Programm, wenn es auf einem Remote-Benutzer-Computer ausgeführt wird, dazu in der Lage ist, die Bildkacheln anzuzeigen und den Benutzer dazu in die Lage zu versetzen, zwischen unterschiedlichen Bildvergrößerungen des gleichen Bereiches der Probe hin und her zu schalten.
Verfahren gemäß Anspruch 6 oder 7, wobei das dynamische, selbst ausführende Programm, wenn es auf einem Remote-Benutzer-Computer ausgeführt wird, dazu in der Lage ist, die Bildkacheln selektiv anzuzeigen und den Benutzer dazu in die Lage versetzen, benachbarte Bildkacheln zu durchblättern.
Verfahren gemäß Anspruch 6 oder 7, wobei das dynamische, selbst ausführende Programm, wenn es auf einem Remote-Benutzer-Computer ausgeführt wird, dazu in der Lage ist, die Bildkacheln der Gesamtübersicht, einen Marker auf der Gesamtansicht und ein Bild in der höheren Vergrößerung im Bereich, der durch den Marker angezeigt wird, anzuzeigen.
Verfahren gemäß einem der vorstehenden Ansprüche, weiterhin umfassend den Schritt des Komprimierens der digitalisierten Bilder.
Verfahren gemäß einem der vorstehenden Ansprüche, wobei der Schritt des digitalen Scannens und Speicherns der Bilder umfasst: Speichern eines Zentralbereichs einer höheren Auflösung eines optischen Bildes, das durch ein Mikroskop aufgenommen wird, und Verwerfen von unscharfen äußeren Bereichen des optischen Bildes.
Verfahren gemäß Anspruch 1, wobei der Schritt des digitalen Scannens und Speicherns der ersten Serie der digitalisierten Bilder das digitale Scannen im Wesentlichen aller Proben umfasst, um eine Ausbildung der Gesamtansicht im Wesentlichen aller Proben zu erlauben.
Verfahren gemäß Anspruch 1, weiterhin umfassend das Auswählen von Unterbereichen der Probe nach der Ausbildung der Gesamtansicht und der Schritt des digitalen Scannens und Speicherns der zweiten Serie der digitalisierten Bilder umfasst das digitale Scannen und Speichern von Bildern der ausgewählten Unterbereiche in der zweiten, höheren optischen Vergrößerung.
Speichermedium umfassend eine Datenstruktur, die einen virtuellen Objektträger repräsentiert und in Übereinstimmung mit dem Verfahren, das in einem der vorstehenden Ansprüche genannt wurde, hergestellt ist.
Speichermedium gemäß Anspruch 15, umfassend eine CD ROM.
Speichermedium gemäß Anspruch 15, umfassend einen Internet- oder einen Intranet-Server.
Vorrichtung zum Herstellen einer Datenstruktur, die einen virtuellen Objektträger repräsentiert, umfassend: ein Computer gesteuertes Mikroskopabbildungssystem zum digitalen Scannen von Bildern einer Probe auf einem Objektträger (18), ein Mikroskopgestell (20), um den Objektträger (18) zu unterstützen, der in Übereinstimmung mit einem adressierbaren Koordinatensystem bezüglich der Mikroskopobjektivlinse (144, 146, 148) verschiebbar ist, ein Programm zum digitalen Scannen und Speichern einer ersten Serie von digitalisierten Bildern, die von einem Teil einer Probe auf dem Objektträger (18) gemacht sind, durch inkrementelles Verschieben des Mikroskopgestells (20) in dem Koordinatensystem und Speichern eines digitalen Bildes bei jedem Schritt des Inkrementierens zusammen mit den adressierbaren Koordinaten des Systems des jeweiligen Schritts, wobei die Inkrementgröße so ausgewählt ist, dass sie eine erste Serie von zusammenhängenden Bildkacheln (288, 292) ausbildet und wobei das Mikroskop (16) in einer ersten optischen Vergrößerung vorgesehen ist, um die Ausbildung einer Gesamtansicht zu erlauben; wobei das Programm auch für das digitale Scannen und Speichern einer zweiten Serie digitalisierter Bilder, die von dem Teil der Probe auf dem Objektträger (18) gemacht sind, vorgesehen ist, durch inkrementelles Verschieben des Mikroskopgestells (20) in dem gleichen Koordinatensystem und Speichern eines digitalen Bildes bei jedem Schritt der Inkrementierung zusammen mit den adressierbaren Koordinaten des Systems des jeweiligen Schritts, wobei die Inkrementgröße so ausgewählt ist, dass sie eine zweite Serie von zusammenhängenden Bildkacheln ausbildet, und wobei sich das Mikroskop (16) in einer zweiten, höheren optischen Vergrößerung befindet, und wobei das Programm weiterhin so konfiguriert ist, dass es die Datenstruktur mit der ersten und zweiten Serie der digitalisierten, gespeicherten Bilder und dem gespeicherten adressierbaren Koordinatensystem bereitstellt, um einen Benutzer mit der Datenstruktur mit Mehrfachauflösungsbildern der Probe zu versehen, so dass Bilder zusammengenäht werden können und ein Punkt der Bilder höherer Vergrößerung einfach bezüglich des gleichen Punktes der Bilder niedrigerer Vergrößerung lokalisiert werden kann.
Vorrichtung gemäß Anspruch 18, weiterhin umfassend einen Datenkompressor, um die digital gescannten Bilder signifikant zu komprimieren, um sie über das Internet senden zu können.
Vorrichtung gemäß Anspruch 18, wobei die Datenstruktur weiterhin ein aktives Steuerprogramm umfasst, das auf einem dedizierten Betrachter verwendbar ist, um die gespeicherten Bilder zu manipulieren und zu interpretieren.