DE2823490C2

DE2823490C2 -

Info

Publication number: DE2823490C2
Application number: DE2823490A
Authority: DE
Inventors: James William Hinsdale Ill. Us Bacus
Original assignee: Rush-Presbyterian-Stluke's Medical Center Chicago Ill Us
Current assignee: Rush-Presbyterian-Stluke's Medical Center Chicago Ill Us
Priority date: 1977-05-31
Filing date: 1978-05-30
Publication date: 1989-03-02
Also published as: CA1109153A; US4175860A; DE2823490A1; JPS53149391A

Description

Die Erfindung betrifft ein Verfahren zur Erfassung und Auswertung der Eigenschaften von in großer Anzahl auf einem Mikroskop-Objektträger vorliegenden Organismus-Zellen, die aus einem Zellkern und weiterem Zellmaterial bestehen, mit Hilfe einer opto-elektronischen Anordnung, zu der wenigstens zwei, ein Mikroskopbild über getrennte optische Wege aufnehmende Videokameras und eine Anordnung gehören, mit der die Einstellung des Objektträgers steuerbar ist, wobei zunächst einzelne, nach festgelegten Kriterien ausgesuchte Objektzellen in den Sichtbereich des Mikroskops eingerückt werden und wenigstens eine der Video-Kameras das Bild einer Zelle aufnimmt, welches anschließend digitalisiert und ausgewertet wird.

Ein Verfahren der genannten Art ist aus der DE-OS 25 52 903 bekannt. Dieses bekannte Verfahren sieht vor, daß das Bild bei niedriger Auflösung abgesucht wird, um darin ein Objekt zu erfassen, daß das erfaßte Objekt analysiert wird, um zu bestimmen, ob es ein interessierendes Objekt ist und daß das interessierende Objekt bei höherer Auflösung analysiert wird, während das Absuchen des Bildes bei niedriger Auflösung fortgesetzt wird, um darin andere Objekte zu erfassen. Hierbei wird in dem Verfahren eine steuerbare Einstellvorrichtung des Objektträgers verwendet, mit der eine einzelne, nach festgelegten Kriterien aussuchbare Objektzellen in den Sichtbereich des Mikroskops einrückbar ist. Im Ablauf dieses Verfahrens wird ein Mikroskop-Träger gesteuert verschoben, bis eine bestimmte Organismuszelle als Ganzes vom Mikroskopbild erfaßt wird. Hierzu wird vorzugsweise ein Probenträger in zwei Richtungen (x- und y-Richtung) bewegt. Bei den Organismuszellen handelt es sich beispielsweise um eine Anzahl einzelner weißer Blutkörperchen, die in einer großen Menge roter Blutkörperchen verteilt sind. Ein interessierendes Objekt, wie z. B. ein weißes Blutkörperchen, wird mit diesem Verfahren also zunächst nur in das Feld niedriger Auflösung bewegt. Die weitere Analyse, d. h. die eigentliche Analyse der Organismuszelle, erfolgt dann bei dieser festgelegten hohen Auflösung. Nachteilig ist bei diesem bekannten Verfahren, daß entweder ein langsamer Analysenablauf infolge extrem hoher zu verarbeitender Datenmengen oder eine verminderte Analyse- Genauigkeit infolge geringer Informationsdichte bei einem Verzicht auf einen Teil der Daten in Kauf genommen werden muß.

Es stellt sich daher die Aufgabe, ein Verfahren der eingangs genannten Art zu schaffen, das eine Ermittlung der Eigenschaften von großen Zahlen von Organismuszellen in kurzer Zeit erlaubt und trotzdem eine große Genauigkeit bei der Klassifizierung der Zellen gewährleistet.

Die Lösung dieser Aufgabe gelingt erfindungsgemäß durch ein Verfahren der eingangs genannten Art, welches dadurch gekennzeichnet ist, daß zur Ermittlung von Eigenschaften F _i und f _i, die teilweise von Meßwerten abgeleitet werden, die anhand des Gesamtzellbildes gewonnen werden, und teilweise von Meßwerten abgeleitet werden, die nur anhand des Zellkerns gewonnen werden, simultan ein Gesamtbild der Zelle mit niedriger Auflösung mit Hilfe der ersten Video-Kamera und ein Detailbild des Kerns der Zelle mit Hilfe der zweiten Video-Kamera erzeugt werden, die zu erfassenden Meßwerte jeder der beiden Video- Kameras getrennt, aber simultan, zur Ermittlung der Eigenschaften F _i bzw. f _i ausgewertet werden und die Eigenschaften F _i und f _i einem einzigen Schaltkreis zugeführt werden, der die Zelle entsprechend der höchsten Zuordnungswahrscheinlichkeit einem definierten Zelltyp zuordnet.

Unter den Eigenschaften F _i und f _i werden insbesondere folgende verstanden und definiert:
F 1 Kerngröße,
F 2 Größe des Cytoplasmas,
F 3 Kerndichte,
F 4 Farbe des Cytoplasmas,
f₁ Summe der Wahrscheinlichkeit für Zentralbedingung,
f₂ Summe der Wahrscheinlichkeit für Nicht- Zentralbedingung.

Vorteilhaft wird mit dem neuen Verfahren eine wesentlich höhere Arbeitsgeschwindigkeit erreicht, was insbesondere auf der simultanen Arbeitsweise und auf der Begrenzung der Menge der zu verarbeitenden Daten beruht. Dabei wird zugliech eine zuverlässige Erfassung der Eigenschaften der Organismuszellen aus den parallel erzeugten Bildern mit zwei unterschiedlichen Auflösungen und damit eine genaue Klassifizierung der Zellen sichergestellt.

Ein Ablaufbeispiel des Verfahrens gemäß der vorliegenden Erfindung wird im folgenden anhand einer Zeichnung näher erläutert. Die Figuren der Zeichnung zeigt

Fig. 1 in schematischer Darstellung eine Einrichtung zur Durchführung des Verfahrens gemäß Erfindung,

Fig. 2 ein Blockdiagramm zur Darstellung der Schritte der Zellen-Klassifikation,

Fig. 3a und 3b Darstellungen des Zellkerns von repräsentativen normalen und abnormalen Zellen, einschließlich der sich ergebenden elektrischen Signale, die Struktur-Variationen entsprechen, die entlang der Linien a-a und b-b der jeweiligen Zellen gewonnen wurden,

Fig. 4 ein Flußdiagramm mit den Schritten, die zur Messung und Analyse des Bildbereiches niedriger Auflösung durchgeführt werden, wobei vier Merkmale der Zelle abgeleitet werden,

Fig. 5a ein Flußdiagramm der Schritte, die zur Messung und Analyse des Bildbereiches hoher Auflösung durchgeführt werden; es ergeben sich zwei Merkmale der Struktur des Zellkerns,

Fig. 5b die Wahrscheinlichkeitsmatrix, die verwendet wird, um die beiden Merkmale zu bestimmen, die sich aus dem Ablauf nach Fig. 5a ergeben, und

Fig. 6 das mathematische Modell der multivarianten Gaußschen Verteilungstechnik, die durch den Klassifikationsschaltkreis durchgeführt werden kann.

In Fig. 1 ist eine Einrichtung zur Durchführung des Verfahrens gemäß Erfindung schematisch dargestellt. Mit 10 ist eine Bühne bezeichnet, welche z. B. zu untersuchende cervikale Zell-Abstruck-Glasplättchen trägt. Die Bühne 10 ist beweglich angebracht, so daß alle Bereiche des Plättchens zur Beobachtung unter das Mikroskop-Objektiv 12 gebracht werden können. Die Bühne 10 wird durch die X-Y-Positionssteuerung 14 bzw. 16 gesteuert, die vorzugsweise übliche Schrittschaltungen enthält, um die X- und Y-Koordinaten der Bühne 10 zu ändern, so daß das gesamte Plättchen systematisch unter dem Mikroskop-Objektiv vorbeibewegt werden kann. Während des Arbeitsvorganges wird die Lage der Bühne 10 vorzugsweise passend indiziert, so daß alle Bereiche, die verdächtige Zellen tragen, nochmals analysiert werden können. Dies geschieht nach einem Voruntersuchungsschritt, der es ermöglicht, dunkle Objekte im Bereich einer bestimmten Wellenlänge, die einen Schwellenwert überschreitet, zu finden. Dieser Schritt eliminiert die zweifelsfrei normalen Zellen und die roten Blutkörperchen. Die Anzahl der Zellen, die genauer gemessen und analysiert werden müssen, wird hierdurch reduziert. Diese sogenannten Problemzellen sind grundsätzlich dunkler. Der Schwellenwert wird deshalb so eingestellt, daß die Zellen roter Blutkörperchen ausgeschlossen werden können, da diese heller sind als die dunklen Objekte, die in diesem Falle von Interesse sind. Wenn während des Voruntersuchungsschrittes ein dunkles Objekt lokalisiert wird - möglicherweise der Zellkern einer bösartigen Zelle - so wird seine Lage in X- und Y-Koordinaten in einem elektronischen Speicher gespeichert. Diese Information wird dazu benutzt, die X-, Y- Positionssteuerung 14, 16 zu steuern, um das Objekt in optische Nähe zum Mikroskop-Objektiv 12 zu bringen. Anschließend kann eine weitere Analyse durch die Vorrichtung gemäß Fig. 1 durchgeführt werden.

Bei dem Mikroskop-Objektiv 12 handelt es sich vorzugsweise um eine Linse mit starker Vergrößerung und großer Auflösung, beispielsweise um eine 100×Ölimmersion-Objektivlinse. Das Bild wandert vom Mikroskop-Objektiv 12 über den Lichtweg 18, auf dem es durch einen sogenannten Strahlteiler 20 aufgeteilt wird. Anschließend gelangt es über den Lichtweg 22 zu einer Bild-Abtast-Einrichtung, z. B. eine Vidikon-Kamera 24. Dieses Gerät empfängt das Bild und erzeugt elektrische Signale, die den empfangenen Bildbereich widerspiegeln. Das andere Bild auf dem Lichtweg 18 wandert vom Strahlteiler 20 durch einen optischen Verkleinerer 26, der das Bild verkleinert und demnach einen Bildbereich geringer Auflösung mit entsprechend größerem Blickfeld erzeugt. Das Bild wird durch einen Spiegel 28 reflektiert, läuft durch eine drehbare Farbilteranordnung 30 und wird auf eine andere Bild-Abtast-Vorrichtung projiziert, vorzugsweise auf eine Vidikon-Kamera 32, die ebenfalls ein elektronisches Ausgangssignal erzeugt, das den empfangenen Bildbereich widerspiegelt, in diesem Falle den mit dem größeren Blickfeld. Es ist anzumerken, daß die schematische Darstellung der Fig. 1 geometrisch nicht genau ist und daß die Lichtwege, die von dem Objektiv 12 zu jeder der beiden Kameras 24 und 32 führen, gleich lang sind, so daß beide Kameras 24 und 32 das Bild gleichzeitig empfangen. Das Ausgangssignal der Vidikon-Kamera 32 läuft über eine Verbindungsleitung 34 zu einem Analog-Digital-Konverter 36 und einen Video-Monitor 38. Das Ausgangssignal des Analog-Digital- Konverters 36 erreicht über eine Leitung 40 den Analysenschaltkreis 42. Ein Schaltkreis 44, der dazu dient, die dunklen Zellen zu lokalisieren und deren Koordinaten zu bestimmen und zu speichern, ist mit der Voruntersuchungsvorrichtung verbunden. Er steuert weiterhin über Leitungen 46 und 48 die X-, Y-Positionssteuerung 16 bzw. 18. Das Ausgangssignal der Vidikon-Kamera 24 läuft über eine Leitung 50 bis zu einem anderen Analog-Digital-Konverter 52, der das Signal digitalisiert und über eine Leitung 54 einem zweiten Analysenschaltkreis 56 für die Klassifikationsanalyse zuführt. Das Ausgangssignal der Vidikon-Kamera 24 erreicht über die Leitung 50 außerdem einen anderen Video-Monitor 58. Der Schaltkreis 44 ist über eine Leitung 57 auch mit den Analysenschaltkreisen 42 und 56 verbunden. Dies ermöglicht die Synchronisation des gesamten Arbeitsvorganges und stellt weiterhin die Koordinaten von interessierenden Zellen diesen Schaltkreisen 42 und 56 zur Verfügung. Wie genauer beschrieben werden wird, werden Messung und Analyse, die an jedem der Bildbereiche durch die Analysenschaltkreise 42 und 56 durchgeführt werden, anschließend über Leitungen 62 bzw. 64 dem Klassifikationsschaltkreis 60 zugeführt. Der Klassifikationsschaltkreis 60 führt Klassifikationsentscheidungen in bezug auf eine interessierende Zelle durch. Dabei werden sowohl alle Eigenschaften verwendet, die aus den hoch- und niedrigaufgelösten Bildbereichen der Zelle gewonnen wurden, als auch die Analysen- und Meßwerte, die sich aus diesen Bildbereichen ergeben.

Die Analogsignale der Vidikon-Kameras 24 und 32 werden von den Analog-Digital-Konvertern 36 und 52 weiterverarbeitet. Der sich ergebende digitalisierte Bildbereich ist vorzugsweise wenigstens eine 100×100-Digital-Matrix, die in einem Speicher, der mit den Analysenschaltkreisen 42 und 56 verbunden ist, gespeichert wird. Die Digital-Matrix enthält demnach 10 000 Bildelemente oder sogenannte Pixel.

Ein wichtiger Aspekt der vorliegenden Erfindung betrifft die Geschwindigkeit, mit der Messung und Analyse durch die Analysenschaltkreise 42 und 56 durchgeführt werden. Wenn auch die Digital-Matrix größer sein kann als 100×100, so ist doch die vergrößerte Anzahl von Pixel nicht von beträchtlich größerem Wert wegen der Zeit, die der Schaltkreis benötigt, um jedes Pixel zu verarbeiten. Eine größere Anzahl von Pixel erfordert daher auch eine größere Verarbeitungszeit, und die Geschwindigkeit wird in Wirklichkeit herabgesetzt. Ein Vorteil der vorliegenden Erfindung ist, daß der Bildbereich geringer Auflösung eine 100×100-Digital-Matrix der gesamten Zelle ergibt und damit genügend Details zur Verfügung stellt, um Merkmale abzuleiten, die sich auf Farbe, Dichte und Größe des Cytoplasmas sowie auf Dichte und Größe des Kerns beziehen. Eine detailliertere Darstellung würde nur eine redundante Information ergeben, die insgesamt die Analyse der Merkmale verlangsamen würde. Auf der anderen Seite ermöglicht der Detailreichtum, der sich aus dem Bildbereich hoher Auflösung ergibt, eine Analyse der Zellkernstruktur. Mit anderen Worten, die gleichzeitige Messung und Analyse des Zellkerns unter Verwendung eines hochaufgelösten digitalen Bildbereiches und der gesamten Zelle unter Verwendung eines niedrig aufgelösten digitalen Bildbereiches ermöglicht insgesamt eine schnelle Arbeitsweise, da nur die Menge von Bildelementen verwendet wird, die notwendig ist, um die interessierenden Merkmale abzuleiten. Diese Arbeitsweise minimalisiert daher die verschwendete Zeit, die zur Analyse redundanter Informationen erforderlich ist.

Die Vidikon-Kamera 24 wird dazu verwendet, elektrische Signale zu erzeugen, die repräsentativ für das empfangene Bild sind, das anschließend vom Analog-Digital-Konverter 52 digitalisiert und durch den Analysenschaltkreis 56 analysiert wird. Es sei jedoch darauf hingewiesen, daß das Bild hoher Auflösung auch auf eine Fourier-Linse projiziert und daß mit Hilfe einer Fourier-Transformation die Struktur des Zellkerns analysiert werden kann.

Änderungen in der Sturktur wären dann in der Hochfrequenz- Komponente der Transformation enthalten. Diese Analysentechnik wird in zwei Artikeln beschrieben:

1. "The Use of Coherent Optical Processing Techniques für the Automatic Screening of Cervical Cytologic Samples", R. E. Kopp, J. Lisa, J. Mendelsohn, B. Pernick, H. Stone and R. Wohlers, Journal of Histochemistry and Cytochemistry, Vol. 22, No. 7, pp. 598-604, 1974;
2. "Coherent Optical Processing of Cervical Cytologic Samples", Journal of Histochemistry and Cytochemistry, Vol. 24, No. 1, pp. 122-137, 1976.

Wird angenommen, daß die Voruntersuchung durchgeführt ist und daß die Bühne 10 grundsätzlich so eingestellt ist, daß ein verdächtiges dunkles Objekt sich unterhalb des Mikroskop- Objektivs 12 befindet, so wird im Rahmen des Arbeitsverfahrens das Bild hoher Auflösung auf die Vidikon-Kamera 24 projiziert. Hierdurch wird ein Bild des Zellkerns mit hoher Auflösung erzeugt. Der Zellkern befindet sich demnach unter dem Objektiv 12; der Video-Monitor 58 zeigte einen Bildbereich hoher Auflösung, und der Analog-Digital-Konverter 52 erzeugt einen 100×100-Pixel-Bildbereich in digitalisierter Form, der in den Speicher des Schaltkreises 56 gespeichert wird. Der Bildbereich, der auf dem Monitor 58 gemäß Zeichnung abgebildet wird, soll einen repräsentativen Zellkern 66 zusammen mit einer gewissen Menge des umgebenden Cytoplasmas 68 der Zelle darstellen. Allerdings überdeckt der Bildbereich nicht genügend Fläche, um auch die äußeren Grenzen der Zelle zu umfassen. Die Information, die demnach aus dem Bild des Kerns 66 bei hoher Auflösung abgeleitet werden kann, umfaßt die Struktur des Kerns 66, die durch verschiedene Techniken gemessen werden kann, welche im folgenden beschrieben sind. Neben der Messung und der Analyse der Kernstruktur können auch eingeschlossene Körper entdeckt werden, die vorhanden sein können.

Die Digital-Matrix mit 100×100 Pixel, die vom Mikroskop- Objektiv 12 mit 100facher Vergrößerung erzeugt wird, erlaubt eine ausreichende Auflösung, so daß sichergestellt ist, daß die Struktur des Kerns 66 in einer Weise untersucht werden kann, die vergleichbar ist mit der Untersuchungsmethode, die von Klinik-Fachpersonal durchgeführt wird. Das Bild vom Lichtweg 18, das über den Strahlteiler 20 und den optischen Verkleinerer 26 läuft, ist notwendigerweise von geringerer Auflösung. Gleichzeitig vergrößert sich das Beobachtungsfeld. Wenn es also mit Hilfe des Spiegels 28 durch die Farbfilteranordnung 30 auf die Vidikon-Kamera 32 projiziert wird, so wird ein analoges Ausgangssignal erzeugt, das diesen Bildbereich repräsentiert. Dieses Signal wird dem zugehörigen Monitor 38 und dem Analog-Digital-Konverter 36 zugeführt. Damit ist die gesamte Zelle, einschließlich des Cytoplasmas beobachtbar und für verschiedene Messungen und Analysen zugänglich.

Die Farbfilteranordnung 30 ist vorzugsweise von dem Typ, der in Abschnitte mit verschiedenen Farbfiltern aufgeteilt ist. Es dient dazu, Licht mit verschiedenen Farben oder Wellenlängenbereichen durchzulassen, das von verschiedenen Abschnitten auf die Vidikon-Kamera 32 projiziert wird. Verschiedene Farb- Darstellungen des gleichen Bildes ermöglichen es, Grenzschichten- Kontraste, Maskierungen und genauere Abgrenzungen von Fremdkörpern und anderen Objekten durchzuführen. Insbesondere können folgende Effekte durch die verschiedene Farbfilterung durchgeführt werden:

a) Maskieren von roten Blutkörperchen, die nicht interessieren;
b) Maskieren von Lymphozyten-Ansammlungen, die nicht interessieren;
c) genauere Abgrenzung der Grenzschicht des Cytoplasmas durch Verwendung verschieden gefärbter Bildbereiche, die größere Kontraste haben können;
d) Identifizieren von Fremdkörpern und anderen Verunreinigungen, die nicht von Interesse sind;
e) Zellen, die sehr nahe beieinanderliegen, können voneinander unterschieden werden. Hierdurch wird die genaue Festlegung der Grenzschicht des Cytoplasmas einer bestimmten Zelle ermöglicht.

Die Kamera 32 erzeugt ein Analog-Ausgangssignal, das repräsentativ für jeden Bildbereich ist, welcher durch die Farbfilteranordnung 30 empfangen wird. Das resultierende Signal wird auf den Analog-Digital-Konverter 36 und anschließend auf den Analysenschaltkreis 42 gegeben, der, wie in Fig. 4 dargestellt ist, drei hauptsächliche Schritte vollzieht:

1. Berechnung des bivarianten Farbdichte-Histogramms;
2. Gruppieren der Daten im Farbdichteraum, um die Bildelemente im Bildraum aufzuteilen. Auf diese Weise werden die Positionen des Zellkerns, des Cytoplasmas und des Hintergrundes im Digital-Bild lokalisiert;
3. Berechnung der Merkmale.

Diese Techniken sind dem Fachmann bekannt. Sie sind in folgenden drei Publikationen ausführlich beschrieben:

J. W. Bacus: "A Whitening Transformation for Two-Color Blood Cell Images", Journal of Pattern Recognition, 8: 53-60, 1976;
2. J. K. Mui, Bacus, J. W. and K. S. Fu: "A Scene Segmentation Technique for Microcopie Cell Images", in proceedings of symposium on Computer-Aided Diagnosis of Medical Images, IEEE catalogue 76 CH 1170-OC, page 99-106, 1976;
3. R. K. Aggarwal and J. W. Bacus, "A Multi-Spectral Approach for Scene Analysis for Cervical Cytology Smears", Journal of Histochemistry and Cytochemistry, Vol. 25, 7, 1977.

Nachdem das Bild in Kern, Cytoplasma und Hintergrund aufgeteilt ist, beginnt der Analysenschaltkreis 42 vier Merkmale zu berechnen (F 1-F 4). Merkmal F 1 ist die Kerngröße. Sie wird ermittelt durch Summation der dem Kern zugeordneten Pixel. Merkmal F 2 ist die Größe des Cytoplasmas. Sie wird ermittelt durch Summation der dem Cytoplasma zugeordneten Pixel. Merkmal F 3 ist die Kerndichte. Sie wird ermittelt durch Summation der dem Kern zugeordneten sogenannten Grau- Level und Division dieser Summe durch die Kerngröße. Merkmal F 4 ist die Farbe des Cytoplasmas. Sie wird berechnet durch Summation der Differenz zwischen sich entsprechenden Cytoplasma- Pixel in dem Bild einer Spektralfarbe von dem in einer anderen Spektralfarbe und Dividieren der summierten Differenzen durch die Größe des Cytoplasmas. Diese Berechnung der Merkmale ist in allen Einzelheiten beschrieben in der Veröffentlichung:
J. W. Bacus and E. E.Goss: "Leukocyte Pattern Recognition", IEEE Transactions on Systems, Man and Cybernetics, SMC-2: Vol. 4, 513-526, 1972.

Das Hochauflösungsbild wird auf die Vidikon-Kamera 24 projiziert, die elektrische Signale erzeugt, die vom Analog-Digital- Konverter 52 digitalisiert werden, so daß sie durch den Analysenschaltkreis 56 analysiert werden können. Dieser Bildbereich hoher Auflösung wird meßtechnisch sowohl dazu genutzt, die Grenze des Zellkerns zu finden als auch das Bild des Zellkerns selbst zu untersuchen. Diese Untersuchung dient dazu, Änderungen in der Struktur mit einer oder mehreren Techniken zu bestimmen, beispielsweise durch die sogenannte Pattern- Identifikation. Diese Methode kann darin bestehen, Grate oder dergleichen im Kern zu identifizieren. Auch durch statistische Analysen mit Hilfe der Untersuchung der Umrißänderung des Histogramms des Zellkernes oder durch Analyse der Übergangswahrscheinlichkeiten des Grau-Levels, oder durch andere Techniken lassen sich Variationen in der Struktur des Zellkernes feststellen. Der Hochauflösungsbildbereich läßt sich auch auf Einschlüsse analysieren, beispielsweise auf einen Nucleus innerhalb des Zellkernes. Der Bildbereich hoher Auflösung ist viel einfacher aufgebaut als der der geringen Auflösung, da er nur als Pixeln des Zellkerns besteht, die oberhalb eines Schwellenwertes liegen, und aus allen übrigen Pixeln, die unterhalb des Schwellenwertes liegen. Drei Schritte werden insbesondere durch den Analysenschaltkreis 56, wie in der Fig. 5a dargestellt, durchgeführt:

1. Isolation und Normierung des Zellkernes;
2. Berechnung der Abtastlinien-Übergangswahrscheinlichkeitsmatrix für die Kern-Pixel;
3. Berechnung der Eigenschaften f₁ und f₂.

Der erste Schritt umfaßt die Berechnung des Grau-Level-Histogramms der Kern-Pixel sowie die Normierung des ursprünglichen Bildes durch eine nicht-lineare Transformation, die als Grau- Level-Histogramm in acht Grau-Level-Bereiche unterteilt, die jeweils die gleiche Anzahl von Bildelementen enthalten. Der zweite Berechnungsschritt umfaßt die Berechnung der Übergangswahrscheinlichkeitsmatrix für den Kern-Pixel. Im vorliegenden Fall wird eine 8×8-Matrix berechnet, indem das Bild sequentiell entlang jeder Abtastlinie verarbeitet wird, beispielsweise wie bei der Abtastlinie a-a der Fig. 3a für eine normale Zelle und Abtastlinie b-b für eine abnormale Zelle (vergleiche Fig. 3b). Für jedes Bildelement eines bestimmten Grau-Levels i mit einem vorhergehenden Nachbarn des Grau- Levels j wird die Matrix in der Position (i, j) inkrementiert. Die Kurven unterhalb jedes Zellkernes, wie sie in Fig. 3a und 3b dargestellt sind, stellen die Variationen der Grau-Level dar, die auf den Abtastlinien a-a und b-b für die jeweiligen normalen und abnormalen Zellen gemessen worden sind. Nach dem Abtasten des gesamten Zellkernes wird die Matrix normiert, indem jedes Element durch die Gesamtzahl an Bildelementen im Zellkern geteilt wird. Diese Rechnung erzeugt die Abtastlinien-Übergangswahrscheinlichkeitsmatrix P (i/j). Diese beiden ersten Analysen- und Meßschritte sind dem Fachmann vertraut; sie sind beschrieben in folgender Publikation:
N. J. Pressman, "Makrovian Analysis of Cervical Cell Images", Journal of Histochemistry and Cytochemistry, Vol. 24, No. 1, pp. 138-144, 1976.

Der nächste Schritt, der durch den Analysenschaltkreis 56 durchgeführt wird, umfaßt die Berechnung der Merkmale f₁ und f₂. Diese werden aus der Abtastlinien-Übergangswahrscheinlichkeitsmatrix berechnet; ein typisches Beispiel ist in Fig. 5b dargetellt. Diese Merkmale werden einfach durch Summation der bezeichneten Elemente in dieser Matrix berechnet. Die Eigenschaft f₁ ist dabei die Summe der Wahrscheinlichkeiten für die Zentralbedingung, f₂ die Summe der Wahrscheinlichkeiten für die Nicht-Zentralbedingung.

Wie bereits angedeutet, werden die Messungen gleichzeitig mit der Analyse durch den Analysenschaltkreis 42 durchgeführt.

Nachdem beide Analysenschaltkreise 42 und 56 ihre Analysen beendet haben, werden die sich ergebenden Daten über die Leitungen 62 und 64 dem Klassifikationsschaltkreis 60 zugeführt. Dieser Schaltkreis 60 arbeitet entsprechend dem mathematischen Modell, das in Fig. 6 dargestellt ist. Dieses ist dem Fachmann vertraut als die Technik der multivarianten Gauß-Verteilung. Nach dieser Methode werden die sechs gemessenen Eigenschaften F 1 bis F 4 und f₁ bis f₂, die die untersuchten Zellen beschreiben, analysiert. Diese Analyse ist eine mathematische Beschreibung der untersuchten Zelle in einem sechsdimensionalen Vektorraum X. Jede Zellklasse hat einen Cluster in diesem Vektorraum, der durch einen mittleren Vektor und eine Kovarianz-Matrix beschrieben ist. Kenntnis des unbekannten Vektors vorausgesetzt, ist die bedingte Wahrscheinlichkeit jeder Klasse, P (j/X), entsprechend folgender Gleichung zu berechnen:

mit:
P (j/X) Wahrscheinlichkeit der Klasse j bei vorgegebenem Vektor X;
X = {F 1, F 2, F 3, F 4, f₁, f₂};
M _j = mittlerer Vektor der Klasse j;
Q _j = Kovarianzmatrix der Klasse j;
p(j) = a-priori-Wahrscheinlichkeit der Klasse j.

Die Zelle ist klassifiziert entsprechend der höchsten Wahrscheinlichkeit, wie in Tabelle 1 dargestellt, wo acht spezifische Typen von Zellen als "normal" oder "abnormal" klassifiziert sind. Diese Klassifikationstechnik wird genauer beschrieben in folgender Publikation:
J. W. Bacus and E. Goss: "Leukocyte Pattern Recognition", a. a. O.

Tabelle 1

Aus dem Vorhergehenden ist ersichtlich, daß das beschriebene Verfahren viele Vorteile gegenüber dem Stand der Technik hat. Diese Vorteile bestehen insbesondere darin, daß in dualer Arbeitsweise Bildbereiche verschiedener Auflösung simultan analysiert und gemessen werden können, um wichtige Merkmale abzuleiten, die sich auf das Cytoplasma und den Zellkern einer bestimmten Zelle beziehen. Dabei kann die Struktur des Kerns zusammen mit einem vergrößerten Bildbereich mit geringerer Auflösung analysiert werden. Dies erlaubt die Bestimmung von Größe, Dichte und Farbe des Cytoplasmas. Zusätzlich können die Größenverhältnisse von Zellkern und Cytoplasma bestimmt werden.

Durch die duale Arbeitsweise, d. h. durch die gleichzeitige Aufnahme von Bildbereichen verschiedener Auflösungen für eine einzelne Zelle, kann eine wesentlich größere Anzahl von Eigenschaften bestimmt werden, einschließlich der wichtigen Strukturanalse des Zellkerns. Mit der Bestimmung dieser Eigenschaften können bösartige Zellen genauer klassifiziert werden, als es bisher möglich war. Darüber hinaus wird die Arbeitsgeschwindigkeit des Verfahrens durch die simultane, duale Analyse beträchtlich vergrößert.

Die vorgehende Beschreibung bezog sich auf die Analyse des sogenannten Zellbrei-Ausstrich-Testes als bevorzugte Anwendung des Verfahrens. Es sei jedoch ausdrücklich darauf hingewiesen, daß das Verfahren auch zur Analyse anderer Zellen verwendet werden kann.

Beispielsweise können rote Blutkörperchen ebenfalls vorteilhaft automatisch, d. h. simultan mit hoher und geringer Auflösung analysiert werden. Die geringe Auflösung wird dazu benutzt, Zelleigenschaften wie Zellgröße und Gesamt-Hämoglobingehalt der Zelle zu ermitteln. Bei geringer Auflösung nimmt das Zellbild eine wesentlich kleinere Anzahl von Pixeln ein, als es bei dem Bild hoher Auflösung der gleichen Zelle der Fall wäre. Es ist daher möglich, die Zellgröße mit ausreichender Genauigkeit zu bestimmen, indem die Pixel, die durch die Zelle eingenommen werden, bei dem Bild geringer Auflösung summiert werden. In ähnlicher Weise kann der Gesamt- Hämoglobin-Gehalt eines roten Blutkörperchens erhalten werden, indem die Grau-Level bei niedriger Auflösung summiert werden. Das gleiche Verfahren bei hoher Auflösung erfordert notwendigerweise eine größere Anzahl von Pixeln und demnach eine größere Speicherkapazität. Das letztere Verfahren ergibt jedoch keine aussagefähige Vergrößerung der Genauigkeit bei der Bestimmung des Hämoglobin-Gehaltes der Zelle. Andererseits würde jedoch das Bild hoher Auflösung roter Blutkörperchen bei der Unterscheidung solcher Zellen von besonderem Wert sein, die bei niedriger Auflösung den gleichen Umriß und die gleiche Größe haben, die jedoch bei höherer Auflösung unterscheidbar sind. Beispielsweise können die sogenannten kleinen Punkte oder "Spiculae" auf sogenannten Nadelzellen leicht beobachtet und identifiziert werden, um diese so von den runden Normalzellen generell gleicher Größe zu unterscheiden. Auch kann es in ähnlicher Weise bei geringer Auflösung schwierig sein, das spitze Ende der Sichelzellen von stiftförmigen oder länglichen Zellen, die runde oder abgerundete Enden besitzen, zu unterscheiden. Mit der Hochauflösungstechnik für die Analyse der Zellgrenzregion ist es jedoch möglich, die spitzen Enden der Sichelzellen zu identifizieren und damit die Sichelzellen von anderen länglichen Zellen zu unterscheiden.

Die vorliegende Erfindung kann auch dazu dienen, sogenannte Neutrophile zu identifizieren und zu klassifizieren, und zwar in zwei Subklassen:

1. Band-Neutrophile,
2. segmentierte Neutrophile.

Das Bild mit hoher Auflösung kann dazu benutzt werden, das Merkmal der Band- oder fingerförmigen Kernverbindungen zwischen benachbarten Kernmassen in diesen Neutrophilen darzustellen. Dieses Merkmal der Finger- oder Band-Verbindung ist nur bei hoher Auflösung erkennbar. Es erlaubt damit die Trennung der beiden Subklassen von Neutrophilen voneinander.

Selbst bei Verwendung der optimalen Auflösung durch die Auswahl der zu beobachtenden Eigenschaften kann in vorteilhafter Weise die Effizienz in bezug auf Geschwindigkeit und Speicherwirtschaftlichkeit erhöht werden. Als Beispiele waren genannt die Summierung der Pixel für die Zellgrößenbestimmung und für eine Grau-Level-Analyse, wobei das Bild geringer Auflösung gewählt wird. Um Detail-Eigenschaften darzustellen, beispielsweise die sogenannten Spiculae oder bandartigen Verbindungen oder dergleichen, ist die Hochauflösungstechnik erforderlich, da diese Merkmale oder Eigenschaften nicht meßbar sind, wenn die niedrigere Auflösung gewählt wird. Es wurde erläutert, daß die Technik der hier beschriebenen Erfindung (duale Arbeitsweise mit zwei verschiedenen Auflösungen) sowie die simulane Analyse beider Bildbereiche eine verläßlichere und schnellere Zellanalyse und Klassifikation erlaubt.

Claims

Verfahren zur Erfassung und Auswertung der Eigenschaften von in großer Anzahl auf einem Mikroskop-Objektträger vorliegenden Organismus- Zellen, die aus einem Zellkern und weiterem Zellmaterial bestehen, mit Hilfe einer opto-elektronischen Anordnung, zu der wenigstens zwei, ein Mikroskopbild über getrennte optische Wege aufnehmende Videokameras und eine Anordnung gehören, mit der die Einstellung des Objektträgers steuerbar ist, wobei zunächst einzelne, nach festgelegten Kriterien ausgesuchte Objektzellen in den Sichtbereich des Mikroskops eingerückt werden und wenigstens eine der Video-Kameras das Bild einer Zelle aufnimmt, welches anschließend digitalisiert und ausgewertet wird, dadurch gekennzeichnet, daß zur Ermittlung von Eigenschaften F _i und f _i, die teilweise von Meßwerten abgeleitet werden, die anhand des Gesamtzellbildes gewonnen werden (F _i), und teilweise von Meßwerten abgeleitet werden, die nur anhand des Zellkerns gewonnen werden (f _i), simultan ein Gesamtbild der Zelle mit niedriger Auflösung mit Hilfe der ersten Video-Kamera und ein Detailbild des Kerns der Zelle mit Hilfe der zweiten Video-Kamera erzeugt werden, die zu erfassenden Meßwerte jeder der beiden Video-Kameras getrennt, aber simultan, zur Ermittlung der Eigenschaften F _i bzw. f _i ausgewertet werden und die Eigenschaften F _i und f _i einem einzigen Schaltkreis (60) zugeführt werden, der die Zelle entsprechend der höchsten Zuordnungswahrscheinlichkeit einem definierten Zelltyp zuordnet.