DE69333664T2

DE69333664T2 - Verfahren und Gerät zur Einstellung eines Neurons

Info

Publication number: DE69333664T2
Application number: DE69333664T
Authority: DE
Inventors: Michael C. Norwalk Moed; Chih-Ping Lee
Original assignee: United Parcel Service of America Inc; United Parcel Service Inc
Current assignee: United Parcel Service of America Inc; United Parcel Service Inc
Priority date: 1992-06-19
Filing date: 1993-06-18
Publication date: 2005-11-17
Anticipated expiration: 2013-06-19
Also published as: DE69333811T2; EP1199675A1; EP0944021A2; DE69333811D1; EP0944021B1; EP0574937A2; EP1199675B1; JP2925435B2; EP0574937A3; EP0944021A3; ES2150431T3; EP0574937B1; ATE279758T1; DE69329218T2; US5452399A; US5974404A; US5638491A; DE69333664D1; JPH06176161A; DE69329218D1

Description

HINTERGRUND DER ERFINDUNG
1. Technischer Bereich der Erfindung
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Einstellen eines Neurons.
2. Nennung verwandter Techniken
Auf dem Gebiet des Paketversandes werden Pakete von ihren Ausgangspunkten entsprechend den auf Versandetiketten, die an den Paketen angebracht sind, gedruckten Zieladressen zu den in der ganzen Welt befördert. Zur Beförderung der Pakete ist es wünschenswert, automatisierte optische Zeichen-Klassifizierungssysteme zu verwenden, die die Adressen lesen können. Ein derartiges Klassifizierungssystem muß die Zeichen so rasch wie möglich klassifizieren können. Herkömmliche optische Zeichen-Klassifizierungssysteme, für die kugelförmige Neuronen verwendet werden, wie z. B. die im US-Patent Nr. 4,326,259 (Cooper u. a.) offenbarten, können nicht in der Lage sein, ohne eine bedeutende Investition in die Hardware die Verarbeitungsanforderungen auszuführen, die von bestimmten Anwendungen gestellt werden.
Die Druckschrift "An Adaptive Algorithm for Modifying Hyper-Ellipsoidal Decision Surfaces" von Kelly u. a. in "Proceedings of the International Joint Conference an Neural Networks", Baltimore, 7. bis 11. Juni 1992, New York, IEEE, USA, Bd. 3, 7. Juni 1992, Seiten 196 bis 201 beschreibt die Initialisierung und Einstellung einer hyperelliptischen Klassifiziervorrichtung. Die Einstellung nach der Initialisierung erfolgt mit dem Ziel, Klassifizierungsfehler in Bereichen bekannter Überlappungen zwischen unterschiedlichen Klassen zu verringern. Bei der Einstellung behält das Hyper-Ellipsoid seine ursprüngliche Ausrichtung, obwohl seine Position und Form verändert werden.
ZUSAMMENFASSUNG DER ERFINDUNG
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Einstellen eines Neurons mit mehreren Merkmalsvektoren. Die Erfindung charakterisiert die räumliche Verteilung von Merkmalsvektoren und stellt dann das Neuron entsprechend dieser Charakterisierung räumlich ein.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Die 1(a), 1(b), 1(c) und 1(d) sind Bitmap-Darstellungen des Buchstaben "O" in Nennqualität, des Buchstaben "O" in verschlechterter Qualität, der Ziffer "7" in Nennqualität und des Buchstaben "7" in verschlechterter Qualität;
2 ist eine graphische Darstellung eines zweidimensionalen Merkmalsraums, der mit 8 elliptischen Neuronen bevölkert ist, die durch das beschriebene Klassifizierungssystem verwendet werden können, um Abbildungen der Buchstaben A, B und C zu klassifizieren;
3 ist ein Prozeßablaufplan zum Klassifizieren von Eingängen;
4 ist ein schematisches Diagramm eines Teils des Klassifizierungssystems nach 3;
5 ist ein Prozeßablaufplan zum Erzeugen von durch das Klassifizierungssystem nach 3 verwendeten Neuronen; und
6 ist ein schematisches Diagramm eines Klassifizierungssystems, bei dem zum Klassifizieren von Eingängen Cluster-Klassifizierungseinrichtungen verwendet werden.
GENAUE BESCHREIBUNG DER ZEICHNUNGEN
Durch die vorliegende Erfindung wird ein System zur optischen Zeichenerkennung vorgeschlagen, das jedoch allgemeiner ein Klassifizierungssystem zum Klassifizieren eines Eingangs als einen Ausgang aus einer definierten Menge möglicher Ausgänge ist. Wenn der Eingang z. B. eine optisch erfaßte Abbildung ist, die einen der 26 Großbuchstaben des englischen Alphabets darstellt, kann das Klassifizierungssystem verwendet werden, um den Großbuchstaben als Ausgang zu wählen, der der Eingangsabbildung zugeordnet ist. Das erfindungsgemäße Klassifizierungssystem wird im folgenden im Zusammenhang mit den 1(a), 2, 3 und 4 erörtert.
Durch die vorliegende Erfindung wird auch ein System zum "Trainieren" des Klassifizierungssystems vorgeschlagen. Dieses Trainingssystem wird vorzugsweise vor dem Einsatz des Klassifizierungssystems offline betrieben. Bei dem Beispiel der Zeichenerkennung nimmt das Trainingssystem Eingangsabbildungen an, die bekannte Zeichen repräsentieren, um die Menge der möglichen Ausgänge zu "erlernen", in die die unbekannten Abbildungen schließlich klassifiziert werden. Das Trainingssystem wird im folgenden im Zusammenhang mit 5 erörtert.
Durch die vorliegende Erfindung wird auch ein System zum Trainieren des Klassifizierungssystems vorgeschlagen, das auf dem Ordnen der Trainingseingänge entsprechend der relativen Qualität der Trainingseingänge basiert. Dieses System zum Trainieren ist im folgenden im Zusammenhang mit den 1(a), 1(b), 1(c) und 1(d) erörtert.
Die vorliegende Erfindung umfaßt ein System zum Einstellen der Positionen und der Formen der während des erfindungsgemäßen Trainingssystems erzeugten Neuronen.
Das Klassifizierungssystem verwendet ein hierarchisches Netz aus Cluster-Klassifizierungseinrichtungen höchster Ebene und nied rigerer Ebene. Die Klassifizierungseinrichtung höchster Ebene klassifiziert die Eingänge in einen von mehreren Ausgangs-Clustern, wobei jeder Ausgangs-Cluster einer Teilmenge der Menge der möglichen Ausgänge zugeordnet ist. Eine Cluster-Klassifizierungseinrichtung, die dem durch die Klassifizierungseinrichtung höchster Ebene identifizierten Ausgangs-Cluster zugeordnet ist, klassifiziert dann den Eingang als den einem der möglichen Ausgänge entsprechenden Eingang. Dieses Klassifizierungssystem ist im folgenden im Zusammenhang mit den 1(a), 1(b), 1(c) und 1(d) erörtert.
Das neuronale System zum Klassifizieren von Eingängen kombiniert zwei Teilsysteme. Ein Teilsystem zählt die Anzahl der Neuronen, die einen Merkmalsvektor enthalten, der einen speziellen Eingang für jeden der möglichen Ausgänge repräsentiert. Wenn einer der möglichen Ausgänge mehr den Merkmalsvektor enthaltende Neuronen besitzt als irgendein anderer möglicher Ausgang, dann wählt das System diesen möglichen Ausgang als den diesem Eingang entsprechenden Ausgang. Ansonsten stellt das zweite Teilsystem das Neuron fest, das den kleinsten Wert für ein spezielles Abstandsmaß für diesen Merkmalsvektor besitzt. Wenn dieser Wert kleiner als ein spezifizierter Schwellenwert ist, dann wählt das System den diesen Neuron zugeordneten Ausgang als den dem Eingang entsprechen den Ausgang. Dieses neuronale System ist im folgenden im Zusammenhang mit den 1(a), 2, 3 und 4 erörtert.
DAS KLASSIFIZIERUNGSSYSTEM
In 1(a) ist eine Bitmap-Darstellung des Buchstabens "0" in Nennqualität gezeigt. Wenn das Klassifizierungssystem die optisch erfaßten Zeichenbilder klassifiziert, kann jedes zu klassifizierende Zeichenbild durch eine Eingangs-Bitmap repräsentiert werden, eine (m · n)-Bildmatrix aus Binärwerten, wie in 1(a) gezeigt. Bei einer bevorzugten Ausführungsform erzeugt das Klassifizierungssystem aus den in jeder Eingangs-Bitmap enthaltenen Informationen einen Vektor in einem k-dimensionalen Merkmalsraum. Jeder Merkmalsvektor F besitzt Merkmalselemente f_j, wobei 0 ≤j ≤ k – 1 gilt. Die Dimension k des Merkmalsraums kann jede ganze Zahl sein, die größer als eins ist. Jedes Merkmalselement f_j ist ein reeller Wert, der einem der k aus der Eingangs-Bitmap abgeleiteten Merkmale entspricht.
Die k Merkmale können unter Verwendung herkömmlicher Merkmalsextraktionsfunktionen abgeleitet werden, wie z. B. der Raster-Merkmalsextraktionsfunktion oder der Hadamardschen Merkmalsextraktionsfunktion. Der Merkmalsvektor F repräsentiert einen Punkt in dem k-dimensionalen Merkmalsraum. Die Merkmalselemente f_j sind die Komponenten des Merkmalsvektors F entlang der Merkmalsraum-Achsen des k-dimensionalen Merkmalsraums. Für die Zwecke dieser Beschreibung bezieht sich der Begriff "Merkmalsvektor" auf einen Punkt in dem Merkmalsraum.
Bei einer bevorzugten Ausführungsform kann eine Transformation mit Diskriminantenanalyse auf die rastergestützten oder die hadamardgestützten Merkmalsvektoren angewendet werden, um den Merkmalsraum zu definieren. Bei dieser Ausführungsform kann die Trennung zwischen den möglichen Ausgängen vergrößert werden, wobei die Dimensionalität des Merkmalsvektors durch das Ausführen der Diskriminantenanalyse vermindert werden kann, bei der nur die signifikantesten Eigenvektoren von der Transformation der Diskriminante beibehalten werden.
Das Klassifizierungssystem vergleicht einen Merkmalsvektor F, der eine spezielle Eingangsabbildung repräsentiert, mit einer Menge von Neuronen in dem Merkmalsraum, wobei jedes Neuron eine geschlossene k-dimensionale Zone oder ein geschlossenes k-dimensionales "Hypervolumen" in dem k-dimensionalen Merkmalsraum ist. Falls z.B. (k = 2) gilt, ist jedes Neuron eine Fläche in einem zweidimensionalen Merkmalsraum, während jedes Neuron ein Volu men in einem dreidimensionalen Merkmalsraum ist, wenn (k = 3) gilt. 2 zeigt eine graphische Darstellung eines beispielhaften zweidimensionalen Merkmalsraums, der mit acht zweidimensionalen Neuronen bevölkert ist.
Bei einem bevorzugten Klassifizierungssystem ist die Grenze wenigstens eines der Neuronen, die einen k-dimensionalen Merkmalsraum bevölkern, durch wenigstens zwei Achsen definiert, die unterschiedliche Langen aufweisen. Einige dieser Neuronen können mathematisch allgemein durch
repräsentiert werden, wobei die c_j den Mittelpunkt des Neurons definiert, die b_j sind die Längen der Neuronenachsen repräsentiert, während m und A positive reelle Konstanten sind. Bei einer bevorzugten Ausrührungsform besitzen wenigstens zwei der Neuronenachsen eine unterschiedliche Lange. Die Werte g_j, die die Gleichung (1) erfüllen, definieren die Punkte in dem Merkmalsraum, die innerhalb oder auf der Grenze des Neurons liegen. Es wird für die Fachleute selbstverständlich sein, daß die anderen Neuronen durch andere mathematische Ausdrücke dargestellt werden können. Ein Neuron kann z. B. durch den Ausdruck
definiert sein, wobei die Funktion "MAX" den Maximalwert des Verhältnisses berechnet, wenn j von 0 bis k – 1 läuft. Die durch die Gleichung (2) definierten Neuronen sind Hyperrechtecke.
Bei einer bevorzugten Ausführungsform sind die Neuronen Hyperellipsen in einem k-dimensionalen Merkmalsraum. Eine Hyperellipse ist jedes Hypervolumen, das durch die Gleichung (1) definiert ist, wobei (m = 2) und (A = 1) gelten. Insbesondere ist eine Hyperellipse durch die Funktion
definiert, wobei c_j den Mittelpunkt der Hyperellipse definiert, b_j Längen der Achsen der Hyperellipse sind, während die Werte g_j, die die Gleichung (3) erfüllen, die Punkte definieren, die innerhalb oder auf der Grenze der Hyperellipse liegen. Wenn alle Achsen die gleiche Länge besitzen, ist die Hyperellipse eine Hyperkugel. Bei einer bevorzugten Ausführungsform besitzen bei wenigstens einem der Neuronen wenigstens zwei der Achsen eine unterschiedliche Lange. In 2 ist beispielhaft ein elliptisches Neuron 1 gezeigt, das den Mittelpunkt (c₀ ¹, c₁ ¹) und die Achsen (b₀ ¹, b₁ ¹) mit unterschiedlicher Lange besitzt. Bei einer bevorzugten Ausführungsform sind die Achsen der Neuronen auf die Koordinatenachsen des Merkmalsraumes 9 ausgerichtet. Es wird für die Fachleute selbstverständlich sein, daß vorteilhaft andere Neuronen verwendet werden können, die Achsen besitzen, die nicht alle auf die Achsen des Merkmalsvektors ausgerichtet sind.
Jedes Neuron ist einem speziellen möglichen Ausgang zugeordnet. Jedes Neuron kann z. B. einem der 26 Großbuchstaben entsprechen. Jedes Neuron ist lediglich einem der möglichen Ausgänge (z. B. einem Buchstaben) zugeordnet, aber jeder mögliche Ausgang kann ein oder mehrere zugeordnete Neuronen besitzen. Darüber hinaus können die Neuronen einander in dem Merkmalsraum überlappen. Wie z. B. in 2 gezeigt, entsprechen die Neuronen 0, 1 und 7 dem Zeichen "A", die Neuronen 2, 3, 5 und 6 entsprechen dem Zeichen "B", während das Neuron 4 dem Zeichen "C" entspricht. Die Neuronen 1 und 7 überlappen einander, wie auch die Neuronen 2, 3 und 6 sowie die Neuronen 3, 5 und 6 einander überlappen. Gemäß einer (nicht gezeigten) alternativen Ausführungsform können Neuronen, die unterschiedlichen möglichen Ausgängen entsprechen, einander über lappen. Das Klassifizierungssystem kann die Neuronen nach 2 verwenden, um die Eingangsabbildungen, die die Buchstaben A, B und C repräsentieren, zu klassifizieren.
In 3 ist ein Prozeßablaufplan des Klassifizierungssystems 300 zum Klassifizieren eines Eingangs (z.B. einer Bitmap eines optisch erfaßten Zeichenbildes) als einen von einer Menge möglicher Ausgänge (z. B. Zeichen) gezeigt. Gemäß 3 werden die Neuronen von dem Klassifizierungs-System 300 parallel verarbeitet. Gemäß einer (nicht gezeigten) alternativen Ausführungsform können die Neuronen des Klassifizierungssystems 300 der Reihe nach verarbeitet werden. Die Einrichtung 302 ist für das Empfangen einer Bitmap einer Eingangsabbildung und das Erzeugen eines Merkmalsvektors vorgesehen, der die Informationen repräsentiert, die in dieser Bitmap enthalten sind. Die Einrichtungen 304 und 306 sind zum Vergleichen des durch die Einrichtung 302 erzeugten Merkmalsvektors mit einer Menge von Neuronen bereitgestellt, von denen wenigstens eines zwei oder mehr Achsen mit unterschiedlicher Länge besitzt. Das Klassifizierungssystem 300 wählt basierend auf diesem Vergleich einen der möglichen Ausgänge aus.
Das Klassifizierungssystem 300 klassifiziert optisch erfaßte Zeichen-Bitmaps unter Verwendung eines Netzes aus hyperelliptischen Neuronen. Die Einrichtung 302 des Klassifizierungssystems 300 empfängt als einen Eingang die Bitmap eines optisch erfaßten Zeichenbildes, das zu klassifizieren ist, wobei sie einen entsprechenden Merkmalsvektor F erzeugt. Die Einrichtung 304 bestimmt dann einen "elliptischen Abstand" r_x als eine Funktion des Zentrums und der Achsen jeder der E_num hyperelliptischen Neuronen x in dem Netz und des Merkmalsvektors F, wobei gilt:
In der Gleichung (4) definieren c_j ^x und b_j ^x jeweils den Mittelpunkt und die Achsenlängen des Neurons x, wobei x von 0 bis E_num ^-1 läuft, während f_j die Elemente des Merkmalsvektors F bezeichnet. Fachleute werden erkennen, daß außerdem Abstandsmaße verwendet werden können, die sich dem nach Gleichung (4) unterscheiden.
Die Einrichtung 306 bestimmt, falls es eines gibt, welches der E_num Neuronen den Merkmalsvektor F enthält. Ein Neuron enthält einen Merkmalsvektor - wobei es als ein "enthaltendes Neuron" bezeichnet werden kann - wenn der Merkmalsvektor innerhalb der Grenze liegt, die das Neuron in dem Merkmalsraum definiert. Bei Hyperellipsen enthält das Neuron x den Merkmalsvektor F, falls (r_x < 1) gilt. Falls (r_x = 1) gilt, liegt der Merkmalsvektor F auf der Grenze des Neurons x, während, falls (r_x > 1) gilt, der Merkmalsvektor F außerhalb des Neurons x liegt. Da sich die Neuronen in dem Merkmalsraum überlappen können, kann ein spezieller Merkmalsvektor in mehr als einem Neuron enthalten sein. Gemäß 2 ist der Merkmalsvektor F_g, der einer speziellen Eingangsabbildung entspricht, in den Neuronen 2 und 6 enthalten. Alternativ kann ein Merkmalsvektor innerhalb keines Neurons liegen, wie in dem Fall des Merkmalsvektors F_h gemäß 2, der einer anderen Eingangsabbildung entspricht.
Die Einrichtung 308 stellt das "nächste" Neuron für jeden möglichen Ausgang fest. Wie vorausgehend beschrieben, ist jedes Neuron einem und nur einem möglichen Ausgang zugeordnet, jedem möglichen Ausgang können jedoch ein oder mehrere Neuronen zugeordnet sein. Die Einrichtung 308 analysiert alle Neuronen, die jedem möglichen Ausgang zugeordnet sind, und bestimmt für diesen Ausgang das Neuron, das sich "am nächsten" bei dem Merkmalsvektor F befindet. Das "nächste" Neuron wird dasjenige sein, das den kleinsten Wert des "Abstands"-Maßes r_x besitzt. Bei dem Beispiel des Merkmalsvektors F_g gemäß 2 wird die Einrichtung 308 das Neuron 1 auswählen, da es das "nächste" Neuron bei dem Merkmalsvektor F_g für den Buchstaben "A" ist. Sie wird außerdem das Neuron 2 als das "nächste" Neuron für den Buchstaben "B" und das Neuron 4 für den Buchstaben "C" auswählen.
Die Einrichtung 310 gemäß 3 zählt die Voten für jeden möglichen Ausgang. Bei einer ersten bevorzugten Ausführungsform wird jedes Neuron, das den Merkmalsvektor F enthält, durch die Einrichtung 310 als ein einzelnes "Votum" für den Ausgang behandelt, der diesem Neuron zugeordnet ist. Bei einer alternativen bevorzugten Ausführungsform, die nachstehend unter Bezugnahme auf Gleichung (7) ausführlicher erörtert ist, wird jedes Neuron, das den Merkmalsvektor F enthält, durch die Einrichtung 310 als ein Neuron behandelt, das ein "gewichtetes Votum" für den Ausgang repräsentiert, der diesem Neuron zugeordnet ist, wobei das irgendeinem speziellen Neuron zugeordnete Gewicht eine Funktion der Anzahl der Merkmalsvektoren eines Trainingseingangs ist, die in diesem Neuron enthalten sind. Bei einer bevorzugten Ausführungsform implementiert die Einrichtung 310 eine proportionale Erteilung eines Votums, wobei das gewichtete Votum für ein spezielles Neuron gleich der Anzahl der Merkmalsvektoren ist, die in diesem Neuron enthalten sind. Für jeden möglichen Ausgang zählt die Einrichtung 310 alle Voten für alle Neuronen, die den Merkmalsvektor F enthalten. Es gibt drei potentielle Typen von Ergebnissen für die Erteilung von Voten: entweder (1) ein Ausgangszeichen erhält mehr Voten als irgendein anderes Ausgangszeichen, (2) zwei oder mehr Ausgangszeichen stehen mit den meisten Voten gleich oder (3) alle Ausgangszeichen erhalten keine Voten, wodurch die Situation angezeigt wird, in der keine Neuronen den Merkmalsvektor F enthalten. Gemäß 2 kann der Merkmalsvektor F_g zu dem ersten Typ des Ergebnisses der Erteilung der Voten führen: Das Zeichen "B" kann 2 Voten erhalten, die den enthaltenden Neuronen 2 und 6 entsprechen, während die Zeichen "A" und "C" keine Voten erhalten. Der Merkmalsvektor F_h gemäß 2 führt zu dem dritten Typ von Ergebnis für die Erteilung der Voten, bei dem kein Zeichen Voten erhält.
Die Einrichtung 312 bestimmt, ob der erste Typ von Ergebnis für die Erteilung von Voten aus der Anwendung der Einrichtung 310 auf den Merkmalsvektor F resultierte. Wenn nur eines der möglichen Ausgangszeichen die meisten Voten erhalten hat, gibt die Einrichtung 312 die Verarbeitung des Klassifizierungssystems 300 an die Einrichtung 314 weiter, die dieses Ausgangszeichen als der Bitmap des Eingangszeichens entsprechendes Ausgangszeichen auswählt. Ansonsten geht die Verarbeitung an Einrichtung 316 über. Für den Merkmalsvektor F_g gemäß 2 bestimmt die Einrichtung 312, daß das Zeichen "B" mehr Voten aufweist als irgendein anderes Zeichen, worauf sie die Einrichtung 314 anweist, "B" als das Zeichen auszuwählen, das dem Merkmalsvektor F_g entspricht. Für den Merkmalsvektor F_h gemäß 2 bestimmt die Einrichtung 312, daß kein einziges Zeichen die meisten Voten erhalten hat, worauf sie die Verarbeitung an die Einrichtung 316 übergibt.
Die Einrichtung 316 wirkt als eine Einrichtung zum Durchbrechen der Gleichheit der Voten für das zweite und dritte potentielle Ergebnis der Erteilung der Voten, bei denen es keinen ausgemachten Führenden bei der Erteilung der Voten gibt, entweder infolge einer Gleichheit der Voten oder weil der Merkmalsvektor nicht innerhalb von Neuronen liegt. Um die Gleichheit der Voten zu durchbrechen, wählt die Einrichtung 316 das Neuron x aus, das sich hinsichtlich des elliptischen Abstandes "am nächsten" bei dem Merkmalsvektor F befindet, wobei sie r_x mit einem spezifizierten Schwellenwert θ^m vergleicht. Wenn (r_x < θ^m) gilt, wählt die Einrichtung 318 das Ausgangszeichen, das dem Neuron x zugeordnet ist, als das der Bitmap des Eingangszeichens entsprechende Ausgangszeichen aus. Ansonsten wird die Gleichheit der Voten nicht durchbrochen, wodurch das Klassifizierungssystem 300 kein Zeichen für die Eingangsabbildung auswählt. Ein Ergebnis "es wurde kein Zeichen ausgewählt" ist einer der möglichen Ausgänge des Klassifizierungssystems 300. Falls das Klassifizierungssystem 300 z. B. so konstruiert ist, daß es die Großbuchstaben erkennt, und die Eingangsabbildung der Ziffer "7" entspricht, ist das Ergebnis, daß kein Zeichen ausgewählt wurde, ein geeigneter Ausgang.
Der Schwellenwert θ^m kann jede Zahl sein, die größer als 1 ist, wobei sie vorzugsweise ungefähr 1,25 beträgt. Wie vorstehend beschrieben, gilt (r_x < 1), wenn sich der Merkmalsvektor F innerhalb des Neurons x befindet, während(r_x > 1) gilt, wenn sich der Merkmalsvektor F außerhalb des Neurons x befindet. Wenn das Typ von Ergebnis für die Erteilung von Voten von der Einrichtung 310 für die meisten von null verschiedenen Voten eine Gleichheit der Voten ist, dann wählt die Einrichtung 316 das Ausgangszeichen aus, das dem enthaltenden Neuron zugeordnet ist, dessen Zentrum sich hinsichtlich des elliptischen "Abstandes" "am nächsten" bei dem Merkmalsvektor F befindet. Falls es alternativ keine enthaltenden Neuronen gibt, klassifiziert die Einrichtung 316 trotzdem die Eingangs-Bitmap als dem Ausgangszeichen, das dem "nächsten" Neuron X zugeordnet ist, entsprechende Eingangs-Bitmap, wenn (r_x < θ^m) gilt. Die Verwendung eines Schwellenwertes θ^m von ungefähr 1,25 stellt eine Zone her, die jedes Neuron umgibt, die durch die Einrichtung 316 zum Durchbrechen der Gleichheit der Voten verwendet wird. Gemäß 2 wird der Merkmalsvektor F_h als das Zeichen "C" klassifiziert werden, wenn das "Abstandsmaß" r₄ kleiner als der Schwellenwert θ^m ist; ansonsten wird kein Zeichen ausgewählt.
In 4 ist ein schematisches Diagramm des Klassifizierungssystems 400 zum Klassifizieren von Eingängen als einer Menge aus s möglichen Ausgängen entsprechenden Eingängen. Das Klassifizierungssystem 400 kann einen Teil der Verarbeitung ausführen, die durch das Klassifizierungssystem 300 gemäß 3 ausgeführt wird. Das Klassifizierungssystem 400 nimmt den Merkmalsvektor F an, der durch die Merkmalselemente (f₀,f₁,...,f_k-1) repräsentiert wird, wobei es die Werte q^t und q^m erzeugt, die als Zeiger und/oder Merker wirken, um den möglicherweise auszuwählenden Ausgang anzuzeigen. Das Klassifizierungssystem 400 enthält vier Ebenen von Teilsystemen: die Eingangsebene 402, die Verarbeitungsebene 404, die Ausgangsebene 406 und die Nachverarbeitungsebene 408.
Die Eingangsebene 402 enthält die Menge I aus k Eingangsverarbeitungseinheiten i_j, wobei j von 0 bis k-1 läuft. Jede Eingangsverarbeitungseinheit i_j empfängt als Eingang ein und nur ein Element des Merkmalsvektors f_j, wobei sie diesen Wert zu der Verarbeitungsebene 404 sendet. Die Eingangsebene 402 arbeitet als eine Menge aus Durchführungs-Sende-Elementen.
Die Verarbeitungsebene 404 enthält die Menge E aus E_num elliptischen Verarbeitungseinheiten e_x wobei x von 0 bis E_num ^-1 läuft. Jede elliptische Verarbeitungseinheit e_x ist mit dem Ausgang jeder Eingangsverarbeitungseinheit i_j der Eingangsebene 402 verbunden und empfangt von dieser den Eingang. Die elliptische Verarbeitungseinheit ex implementiert die Gleichung (4) für das Neuron x des Klassifizierungssystems 300 gemäß 3. Ähnlich dem Neuron x des Klassifizierungssystems 300 ist jede elliptische Verarbeitungseinheit e_x durch zwei Vektoren aus internen Parametern definiert: B^x und C^x. Die Elemente des Vektors B^x sind die Längen der Achsen des Neurons x, wobei Bx=(bx0 ,bx1 ,...,bxk-1 )T ...(5) gilt, wobei die Elemente des Vektors C^x die Koordinaten des Mittelpunktes des Neurons x sind und Cx=(cx0 ,cx1 ,...,cxk-1 ) ...(6) gilt.
Jede elliptische Verarbeitungseinheit e_x der Verarbeitungsebene 404 berechnet das Abstandsmaß r_x von dem Merkmalsvektor F zu dem Zentrum des Neurons x. Die Verarbeitungsebene 404 ist der Einrichtung 304 des Klassifizierungssystems 300 zugeordnet. Wenn (r_x < 1) gilt, wird die elliptische Verarbeitungseinheit e_x als aktiviert bezeichnet; ansonsten ist die elliptische Verarbeitungseinheit e_x nicht aktiviert. In anderen Worten wird die elliptische Verarbeitungseinheit e_x aktiviert, wenn das Neuron x den Merkmalsvektor F enthält. Jede elliptische Verarbeitungseinheit e_x sendet das berechnete Abstandsmaß r_x an lediglich zwei Ausgangsverarbeitungseinheiten der Ausgangsebene 406.
Die Ausgangsebene 406 umaßt zwei Teile: den Summationsteil 410 für den Ausgang und den Minimierungsteil 412 für den Ausgang. Der Summationsteil 410 für den Ausgang enthält eine Menge O^t aus s Ausgangsverarbeitungseinheiten o_n ^t, während der Minimierungsteil 412 für den Ausgang eine Menge O^m aus s Ausgangsverarbeitungseinheiten o_n ^m enthält, wobei n von 0 bis s-1 läuft, wobei s außerdem die Anzahl der möglichen Ausgänge ist, für die das Klassifizierungssystem 400 trainiert wurde. Wenn z. B. die Großbuchstaben klassifiziert werden, gilt s = 26. Jedes Paar von Verarbeitungseinheiten (o_n ^t, o_n ^m) ist nur einem möglichen Ausgang zugeordnet und umgekehrt.
Jede elliptische Verarbeitungseinheit e_x der Verarbeitungsebene 404 ist mit nur einer Ausgangsverarbeitungseinheit o_n ^t des Summationsteils 410 für den Ausgang verbunden und mit nur einer Ausgangsverarbeitungseinheit o_n ^m des Minimierungsteils 412 für den Ausgang verbunden, wobei sie diesen den Ausgang liefert. Allerdings kann jede Ausgangsverarbeitungseinheit o_n ^t und jede Ausgangsverarbeitungseinheit o_n ^m mit einer oder mehreren elliptischen Verarbeitungseinheiten e_x der Verarbeitungsebene 404 verbunden sein und von diesen den Eingang empfangen. Diese Beziehungen sind durch die Verbindungsmatrizen W^t und W^m dargestellt, die beide die Dimension (s · E_num) besitzen. Falls es eine Verbindung zwischen der elliptischen Verarbeitungseinheit e_x der Verarbeitungsebene 400 und der Ausgangsverarbeitungseinheit o_n ^t des Summationsteils 410 für den Ausgang der Ausgangsebene 406 gibt, wird bei einer bevorzugten Ausführungsform ein Eintrag w_nx ^t in der Verbindungsmatrix W^t einen Wert besitzen, der gleich der Anzahl der Merkmalsvektoren eines Trainingseingangs ist, die in diesem Neuron x enthalten sind; ansonsten wird er den Wert 0 besitzen. Bei einer weiteren bevorzugten Ausführungsform besitzt der Eintrag w_nx ^t einen Wert 1, wenn es eine Verbindung zwischen der elliptischen Verarbeitungseinheit e_x und der Ausgangsverarbeitungseinheit o_n ^t gibt.
Die Verbindungsmatrix W^m stellt die Verbindungen zwischen der Verarbeitungsebene 404 und dem Minimierungsteil 412 für den Ausgang der Ausgangsebene 406 dar, wobei sie mit der Verbindungsmatrix W^t in Beziehung steht. Ein Eintrag w_nxm in der Verbindungsmatrix W^m wird für jeden Eintrag w_nx ^t in der Verbindungsmatrix W^t, der nicht null ist, den Wert 1 aufweisen. Ansonsten wird der Eintrag w_nx ^m den Wert 0 aufweisen.
Jede Ausgangsverarbeitungseinheit o_n ^t in dem Summationsteil 410 für den Ausgang berechnet einen Ausgangswert o_n ^t, wobei
gilt und die Funktion T(r_x) den Wert 0 zurücksendet, wenn (r_x > 1) gilt, und ansonsten sie den Wert 1 zurücksendet. Anders ausgedrückt sendet die Funktion T(r_x) den Wert 1 zurück, wenn die elliptische Verarbeitungseinheit e_x der Verarbeitungsebene 404 aktiviert ist. Die Ausgangsverarbeitungseinheit o_n ^t zählt die Voten für den möglichen Ausgang, dem sie zugeordnet ist, und gibt die Gesamtsumme aus. Der Summationsteil 410 für den Ausgang der Ausgangsebene 406 ist der Einrichtung 306 und der Einrichtung 310 des Klassifizierungssystems 300 zugeordnet.
Ähnlich berechnet jede Ausgangsverarbeitungseinheit o_n ^m des Minimierungsteils 412 für den Ausgang einen Ausgangswert o_n ^m, wobei
gilt und die Funktion "MIN" den minimalen Wert von (w_nxm r_x) über alle elliptischen Verarbeitungseinheiten e_x zurücksendet. Daher prüft jede Ausgangsverarbeitungseinheit o_n ^m jede der elliptischen Verarbeitungseinheiten e_x, mit denen sie verbunden ist, und gibt einen reellen Wert aus, der gleich dem minimalen Ausgangswert von diesen elliptischen Verarbeitungseinheiten ist. Der Minimierungsteil 412 für den Ausgang der Ausgangsebene 406 ist der Einrichtung 308 des Klassifizierungssystems 300 zugeordnet.
Die Nachverarbeitungsebene 408 enthält zwei Nachverarbeitungseinheiten p^t und p^m. Die Nachverarbeitungseinheit p^t ist mit jeder Ausgangsverarbeitungseinheiten o_n ^t des Summationsteils 410 für den Ausgang der Ausgangsebene 406 verbunden und empfangt von diesen den Eingang. Die Nachverarbeitungseinheit p^t stellt die Ausgangsverarbeitungseinheit o_n ^t fest, die den maximalen Ausgangswert aufweist, und erzeugt den Wert q^t. Wenn die Ausgangsverarbeitungseinheit o_n ^t des Summationsteils 410 für den Ausgang einen Ausgangswert aufweist, der größer als die von aller anderen Ausgangsverarbeitungseinheiten des Summationsteils 410 für den Ausgang ist, wird der Wert c^t auf n gesetzt - den Index für diese Ausgangsverarbeitungseinheit. Werden z. B. die Großbuchstaben klassifiziert, kann n für "A" 0 sein und für "B" 1 etc. Anderenfalls wird der Wert q^t auf –1 gesetzt, um anzuzeigen, daß der Summationsteil 410 für den Ausgang der Ausgangsebene 406 den Eingang nicht klassifiziert hat. Die Nachverarbeitungseinheit p^t der Nachverarbeitungsebene 408 ist der Einrichtung 312 des Klassifizierungssystems 300 zugeordnet.
Ähnlich ist die Nachverarbeitungseinheit p^m - die andere Nachverarbeitungseinheit der Nachverarbeitungsebene 408 - mit jeder Ausgangsverarbeitungseinheit o_n ^m des Minimierungsteils 412 für den Ausgang der Ausgangsebene 406 verbunden und empfängt den Ein gang von diesen. Die Nachverarbeitungseinheit p^m stellt die Ausgangsverarbeitungseinheit o_n ^m fest, die den minimalen Ausgangswert aufweist, und erzeugt den Wert q^m. Wenn die Ausgangsverarbeitungseinheit o_n ^m des Minimierungsteils 412 für den Ausgang einen Ausgangswert aufweist, der kleiner als ein spezifizierter Schwellenwert θ^m ist, wird der Wert q^m auf den entsprechenden Index n gesetzt. Anderenfalls wird der Wert q^m auf –1 gesetzt, um anzuzeigen, daß der Minimierungsteil 412 für den Ausgang der Ausgangsebene 406 den Eingang nicht klassifiziert hat, weil sich der Merkmalsvektor F für alle Neuronen x außerhalb der Schwellenzone befindet, die das Neuron x umgibt. Die Schwelle θ^m kann mit dem Schwellenwert θ^m übereinstimmen, der von dem Klassifizierungssystem 300 gemäß 3 verwendet wird. Die Nachverarbeitungseinheit p^m der Nachverarbeitungsebene 408 ist der Einrichtung 316 des Klassifizierungssystems 300 zugeordnet.
Die Klassifizierung des Eingangs wird durch das Analysieren der Werte q^t und q^m abgeschlossen. Wenn (q^t ≠ –1) gilt, wird der Eingang als möglicher Ausgang q^t der Menge aus s möglichen Ausgängen klassifiziert. Wenn (q^t = –1) und (q^m ≠ –1) gilt, wird der Eingang als möglicher Ausgang q^m der Menge aus s möglichen Ausgängen klassifiziert. Ansonsten wird, wenn beide Werte gleich –1 sind, der Eingang nicht als einer der s möglichen Ausgänge klassifiziert.
TRAININGSSYSTEM
Ein neuronales Netz muß trainiert werden, bevor es zur Klassifizierung von Eingängen verwendet werden kann. Das Trainingssystem führt dieses erforderliche Training durch Erzeugen von wenigstens einem nicht kugelförmigen Neuron in dem k-dimensionalen Merkmalsraum aus. Das Trainingssystem wird vorzugsweise vor dem Einsatz eines Klassifizierungssystems offline implementiert.
Das Trainingssystem erzeugt basierend auf einer Menge von Trainingseingängen Neuronen, wobei von jedem Trainingseingang bekannt ist, daß er einem der möglichen Ausgänge in der Klassifizierungsmenge entspricht. Das Beispiel der Großbuchstaben, das verwendet wurde, um das Klassifizierungssystem 300 zu beschreiben, wird erneut herangezogen, wobei jeder Trainingseingang eine Bitmap sein kann, die einem der Zeichen von "A" bis "Z" entspricht. Jedes Zeichen muß durch wenigstens einen Trainingseingang repräsentiert werden, obwohl typischerweise 250 bis 750 Trainingseingänge für jedes Zeichen verwendet werden.
In 5 ist ein Prozeßablaufplan des Trainingssystems 500 zum Erzeugen eines Neurons in dem k-dimensionalen Merkmalsraum gezeigt, das bei dem Klassifizierungssystem 300 gemäß 3 oder bei dem Klassifizierungssystem 400 gemäß 4 verwendet werden kann. Wenn z. B. die Ausgangsklassifizierung trainiert wird, verarbeitet das Trainingssystem 500 der Reihe nach eine Menge von Eingängen von Trainings-Bitmaps, die bekannten Ausgängen entsprechen. An einem speziellen Punkt des Trainings existieren eine Menge bestehender Merkmalsvektoren, die den vorher verarbeiteten Trainingseingängen entsprechen, und eine Menge bestehender Neuronen, die aus diesen bestehenden Merkmalsvektoren erzeugt wurden. Für jeden Trainingseingang erzeugt das Trainingssystem 500 einen Merkmalsvektor in einem Merkmalsraum, der die Informationen repräsentiert, die in diesem Trainingseingang enthalten sind.
Das Trainingssystem 500 wendet bei der Verarbeitung jedes Trainingseingangs zwei Regeln an. Die erste Trainingsregel lautet, daß, wenn der Merkmalsvektor, der dem aktuell verarbeiteten Trainingseingang entspricht, in irgendwelchen bestehenden Neuronen enthalten ist, die einem anderen bekannten Ausgang zugeordnet sind, die Grenzen der bestehenden Neuronen räumlich eingestellt werden, um diesen Merkmalsvektor auszuschließen – d. h., sicherzustellen, daß sich dieser Merkmalsvektor nicht innerhalb der Grenze dieser bestehenden Neuronen befindet. Ansonsten werden die Neuronen nicht räumlich eingestellt. Wenn der aktuelle Trainingseingang z. B. dem Zeichen "R" entspricht, wobei der Merkmalsvektor, der diesem Trainingseingang entspricht, in den zwei bestehenden "P"-Neuronen und in dem einen bestehenden "B"-Neuron enthalten ist, werden die Grenzen dieser drei bestehenden Neuronen räumlich eingestellt, um sicherzustellen, daß sie den aktuellen Merkmalsvektor nicht enthalten.
Die zweite Trainingsregel lautet, daß ein neues Neuron erzeugt wird, wenn der aktuelle Merkmalsvektor nicht in wenigstens einem bestehenden Neuron enthalten ist, das dem gleichen bekannten Ausgang zugeordnet ist. Anderenfalls wird für den aktuellen Merkmalsvektor kein neues Neuron erzeugt. Wenn der aktuelle Trainingseingang z. B. dem Zeichen "W" entspricht, wobei der Merkmalsvektor, der diesem Trainingseingang entspricht, in keinem bestehenden Neuron, das dem Zeichen "W" zugeordnet ist, enthalten ist, wird ein neues "W"-Neuron erzeugt, das diesen aktuellen Merkmalsvektor enthält. Bei einer bevorzugten Ausführungsform wird ein neues Neuron erzeugt, indem ein temporäres Neuron in der Form einer Hyperkugel erzeugt wird, wobei dann dieses temporäre Neuron räumlich eingestellt wird, um das neue Neuron zu erzeugen. Bei einer alternativen bevorzugten Ausführungsform kann das temporäre Neuron eine nicht kugelförmige Hyperellipse sein.
Das Trainingssystem 500 erzeugt hyperelliptische Neuronen aus einer Menge von Eingängen von Trainings Bitmaps, die bekannten Zeichen entsprechen. Das Trainingssystem 500 beginnt mit nicht bestehenden Merkmalsvektoren und nicht bestehenden Neuronen. Die Verarbeitung des Trainingssystems 500 beginnt mit der Einrichtung 502, die einen ersten Trainingseingang aus einer Menge aus Trainingseingängen als aktuellen Trainingseingang auswählt. Die Einrichtung 504 erzeugt den Merkmalsvektor F, der dem aktuellen Trainingseingang entspricht.
Wenn der erste Trainingseingang der aktuelle Trainingseingang ist, existieren keine bestehenden Neuronen und damit keine bestehenden Neuronen, die den Merkmalsvektor F enthalten. In diesem Fall wird die Verarbeitung des Trainingssystems 500 von der Einrichtung 514 fortgesetzt, die ein neues Neuron erzeugt, das um den Merkmalsvektor F zentriert ist. Das neue Neuron ist vorzugsweise durch die Gleichung (3) definiert, wobei alle neuen Neuronenachsen auf die gleiche Länge gesetzt sind, d. h. (b_j = λ) gilt für alle j. Da die neuen Neuronenachsen alle die gleiche Lange besitzen, ist das neue Neuron eine Hyperkugel mit dem Radius λ in dem Merkmalsraum. Bei einer bevorzugten Ausführungsform kann der Wert der Konstanten λ zweimal so groß wie das größte Merkmalselement f_j von allen Merkmalsvektoren F für die ganze Menge der Trainingseingänge sein. Da es keine bestehenden Merkmalsvektoren gibt, wenn der erste Trainingseingang verarbeitet wird, wird das Trainingssystem 500 als nächstes von der Einrichtung 528 fortgesetzt, wobei von diesem Punkt an die Verarbeitung des Trainingssystems 500 allgemeiner beschrieben werden kann.
Die Einrichtung 528 bestimmt, ob der aktuelle Trainingseingang der letzte Trainingseingang in der Menge der Trainingseingänge ist. Falls er es nicht ist, gibt die Einrichtung 528 die Verarbeitung des Trainingssystems 500 an die Einrichtung 530 weiter, die den nächsten Trainingseingang als den aktuellen Trainingseingang auswählt. Dann erzeugt die Einrichtung 504 den Merkmalsvektor F, der dem aktuellen Trainingseingang entspricht.
Die Einrichtungen 506 und 508 bestimmen, welche bestehenden Neuronen, sofern vorhanden, räumlich einzustellen sind, um zu vermeiden, daß sie den Merkmalsvektor F enthalten. Bei einer bevorzugten Ausführungsform stellt die Einrichtung 510 ein bestehendes Neuron ein, wenn dieses Neuron nicht dem gleichen bekannten Zeichen zugeordnet ist, wie der aktuelle Trainingseingang (was durch die Einrichtung 506 bestimmt wird) und wenn es den Merkmalsvektor F enthält (was durch die Einrichtung 508 bestimmt wird). Die Einrichtung 508 bestimmt, ob ein bestehendes Neuron den Merkmalsvektor F enthält, indem sie das "Abstandsmaß" r_x nach Gleichung (4) berechnet und prüft, wobei sie prüft, ob (r_x < 1) gilt, wie vorstehend beschrieben.
Bei einer bevorzugten Ausführungsform stellt die Einrichtung 510 ein bestehendes Neuron räumlich ein, indem sie es entlang nur einer Achse optimal schrumpft. Bei einer weiteren bevorzugten Ausführungsform schrumpft die Einrichtung- 510 ein bestehendes Neuron proportional entlang einer oder mehrerer Achsen. Diese Schrumpfverfahren sind später in dieser Beschreibung ausführlicher erklärt. Nach der Verarbeitung durch die Einrichtung 510 ist der aktuelle Merkmalsvektor in keinen bestehenden Neuronen enthalten, die einem Zeichen zugeordnet sind, das sich von dem Zeichen unterscheidet, das dem Trainingseingang zugeordnet ist. Folglich liegt der aktuelle Merkmalsvektor entweder außerhalb oder auf den Grenzen derartiger bestehender Neuronen.
Das Trainingssystem 500 bestimmt außerdem, ob ein neues Neuron zu erzeugen ist, wobei es, falls dem so ist, dieses neue Neuron erzeugt. Ein neues Neuron wird (durch die Einrichtung 514) erzeugt, wenn der Merkmalsvektor F in keinem bestehenden Neuron enthalten ist, das dem gleichen Zeichen zugeordnet ist, wie der Trainingseingang (was durch die Einrichtung 512 bestimmt wird). Wie vorstehend beschrieben, erzeugt die Einrichtung 514 ein neues Neuron, das vorzugsweise eine Hyperkugel mit dem Radius λ ist.
Das Trainingssystem 500 prüft dann jedes neue, durch die Einrichtung 514 erzeugte Neuron, wobei sie es nötigenfalls räumlich einstellt, um sicherzustellen, daß es keine bestehenden Merkmalsvektoren enthält, die einem Zeichen zugeordnet sind, das nicht das Zeichen ist, das dem Trainingseingang zugeordnet ist. Die Einrichtungen 516, 524 und 526 steuern den Ablauf des Prüfens eines neuen Neurons gegen jeden der bestehenden Merkmalsvektoren durch das Auswählen eines der bestehenden Merkmalsvektoren zu einem Zeitpunkt. Wenn ein neues Neuron einem Zeichen zugeordnet ist, das sich von dem aktuell ausgewählten bestehenden Merkmalsvektor unterscheidet (was durch die Einrichtung 518 bestimmt wird), und wenn des neue Neuron diesen ausgewählten bestehenden Merkmalsvektor enthält (was unter Verwendung der Gleichung (4) durch die Einrichtung 520 bestimmt wird), stellt die Einrichtung 524 das neue Neuron durch einen der gleichen Schrumpfalgorithmen räumlich ein, die von der Einrichtung 510 verwendet werden. Das Trainingssystem 500 fährt damit fort, ein neues Neuron zu prüfen und einzustellen, bis alle bestehenden Merkmalsvektoren verarbeitet worden sind. Da das von der Einrichtung 514 erzeugte Neuron in Form einer Hyperkugel durch die Einrichtung 522 eingestellt wird, ist dieses Neuron in Form einer Hyperkugel ein temporäres Neuron mit temporären Neuronenachsen mit der gleichen Lange. Die Verarbeitung des Trainingssystems 500 geht dann auf die Einrichtung 528 über, die die Auswahl des nächsten Trainingseingangs steuert.
Bei einer bevorzugten Ausführungsform können die Schritte (1) des Schrumpfens bestehender Neuronen für einen gegebenen Eingang und (2) des Erzeugens und Schrumpfens eines neuen, für den gleichen Eingang erzeugten Neurons parallel ausgeführt werden. Für Fachleute ist es offensichtlich, daß diese beiden Schritte auch in beliebiger Reihenfolge nacheinander ausgeführt werden können.
Nachdem alle Trainingseingänge der Menge der Trainingseingänge der Reihe nach verarbeitet wurden, übergibt bei einer bevorzugten Ausführungsform die Einrichtung 528 die Verarbeitung des Trainingssystems 500 an die Einrichtung 532. Nach der Verarbeitung einer Menge aus Trainingseingängen mit ihren entsprechenden Merkmalsvektoren ist der Merkmalsraum sowohl mit Merkmalsvektoren als auch mit Neuronen bevölkert. Nach der einmaligen Verarbeitung der Menge aus Trainingseingängen können einige Merkmalsvek toren keinem Neuron enthalten sein. Dieses tritt ein, wenn die Merkmalsvektoren, die an einem beliebigen Punkt in dem Trainingsprozeß in einem Neuron (in Neuronen) für das gleiche Zeichen enthalten waren, aus diesen Neuronen ausgeschlossen wurden, als diese Neuronen geschrumpft wurden, um nachfolgende Merkmalsvektoren, die einem anderen Zeichen zugeordnet sind, zu umgehen. In einer derartigen Situation überträgt die Einrichtung 532 die Verarbeitung zurück an die Einrichtung 502, um die Verarbeitung der ganzen Menge der Trainingseingänge zu wiederholen. Wenn die Verarbeitung wiederholt wird, werden die vorher erzeugten Neuronen erhalten. Durch das iterative Wiederholen des Trainingsprozesses werden bei jeder Iteration neue Neuronen erzeugt, bis schließlich jeder einzelne Merkmalsvektor in einem oder mehreren Neuronen enthalten ist, die dem richtigen Ausgang zugeordnet sind, wobei keine Merkmalsvektoren in Neuronen enthalten sind, die anderen möglichen Ausgängen zugeordnet sind. Darüber hinaus ist garantiert, daß dieses iterative Training in einer endlichen Zeitspanne konvergiert, wobei die maximale Anzahl der Iterationen gleich der Gesamtzahl der Trainingseingänge ist.
Nachdem das Trainingssystem 500 seine Verarbeitung abgeschlossen hat, ist der Merkmalsraum mit Neuronen bevölkert, die dann durch das Charakterisierungssystem 300 oder das Charakterisierungssystem 400 verwendet werden können, um einen unbekannten Eingang in einen von mehreren möglichen Ausgängen zu klassifizieren.
OPTIMALES SCHRUMPFEN EINER ACHSE
Wie vorausgehend erwähnt, stellt bei einer bevorzugten Ausführungsform das Trainingssystem 500 die Grenze eines hyperelliptischen Neurons durch optimales Schrumpfen entlang einer Achse räumlich ein, um einen speziellen Merkmalsvektor auszuschließen.
Die Einrichtungen 510 und 522 des Trainingssystems 500 können dieses Schrumpfen einer Achse ausführen, indem sie (1) die zu schrumpfende Achse identifizieren und (2) die neue Lange dieser Achse berechnen.
Das Trainingssystem 500 identifiziert die zu schrumpfende Achse n durch die Formel
wobei die Funktion "argmax" den Wert i zurücksetzt, der den Ausdruck in den eckigen Klammern für die Werte von i von 0 bis k-1 maximiert; c_j und b_j definieren jeweils den Mittelpunkt und die Achsenlängen des einzustellenden Neurons, während f_j den Merkmalsvektor definiert, der aus diesem Neuron auszuschließen ist.
Das Trainingssystem 500 berechnet dann die neue Länge b_n' für die Achse n durch die Gleichung:
Bei der Schrumpfung einer Achse behalten alle anderen Achsen ihre ursprünglichen Längen b_j.
Die Schrumpfung einer Achse eines ursprünglich hyperelliptischen Neurons gemäß den Gleichungen (9) und (10) resultiert in einem eingestellten Neuron mit dem größten Hypervolumen V, das die folgenden vier Kriterien erfüllt:

(1) das eingestellte Neuron ist eine Hyperellipse;
(2) der Mittelpunkt des ursprünglichen Neurons ist der gleiche wie der Mittelpunkt des eingestellten Neurons;
(3) der auszuschließende Merkmalsvektor liegt auf der Grenze des eingestellten Neurons; und
(4) alle Punkte innerhalb oder auf der Grenze des eingestellten Neurons liegen innerhalb oder auf der Grenze des ursprünglichen Neurons.

Das Hypervolumen V ist durch
definiert, wobei C_k eine Konstante ist, die von dem Wert von k abhängt, wobei k die Dimension des Merkmalsraums ist, während die b_j die Langen der Achsen bezeichnet, die das eingestellte Neuron definieren. Das Schrumpfen einer Achse bildet deshalb ein erstes Verfahren zum optimalen Einstellen von Neuronen.
PROPORTIONALER SCHRUMPFALGORITHMUS
Bei einer alternativen bevorzugten Ausführungsform stellt das Trainingssystem 500 die Grenze eines hyperelliptischen Neurons durch proportionales Schrumpfen entlang einer oder mehrerer Achsen räumlich ein, um einen speziellen Merkmalsvektor auszuschließen. Die Einrichtungen 510 und 522 des Trainingssystems 500 können das proportionale Schrumpfen durch das Berechnen des Vektors A5 der Änderungen A&, der Achsenlängen ausführen, wobei

gelten und |f₀ – c₀| der Absolutwert von (f₀ – c₀) ist, ||F – C|| die Größe der Vektordifferenz zwischen F und C repräsentiert, c_j und b_j jeweils den Mittelpunkt und die Achsenlängen des einzustellenden Neurons definieren, f_j die Elemente des aus diesem Neuron auszuschließenden Merkmalsvektors repräsentiert und α und γ_j Konstanten sein können. Die neuen Achsenlängen b_j' für das eingestellte Neuron können durch bj' = bj – Δbj für die Werte von j von 0 bis k-1 berechnet werden.
Beim proportionalen Schrumpfen bestimmt das Trainingssystem 500 die Projektionen eines Vektors auf die Achsen des einzustellenden Neurons, wobei der Vektor von dem Zentrum dieses Neurons zu dem auszuschließenden Merkmalsvektor zeigt. Diese Projektionen werden durch den Kosinusvektor gemäß Gleichung (14) dargestellt. Das Trainingssystem 500 bestimmt dann auf der Grundlage der Beziehung zwischen der Länge der Achse und der Länge der Projektion auf diese Achse, um welchen Wert jede Neuronenachse zu schrumpfen ist.
Bei einer bevorzugten Ausführungsform wird die Konstante α gemäß der Gleichung (12) so gewählt, daß sie kleiner als 1 ist. In diesem Fall kann das Trainingssystem 500 das iterative Schrumpfen ausführen, bei dem das Neuron über mehrere Schritte des Schrumpfens der Achse langsam eingestellt wird, bis festgestellt wird, daß sich der auszuschließende Merkmalsvektor außerhalb des eingestellten Neurons befindet. Bei einer bevorzugten Ausführungsform kann der Parameter γ_j auf einen positiven Wert gesetzt werden, der ungefähr das 0,001-fache der Größe der Achse j beträgt, um sicherzustellen, daß das proportionale Schrumpfen den Merkmalsvektor schließlich außerhalb des Neurons anordnet. Bei einer alternativen bevorzugten Ausführungsform können die Parameter γ_j Fehlerfunktionen sein, die auf dem Abstand zwischen dem Merkmalsvektor und der Grenze des langsam eingestellten Neurons basieren. In einem derartigen Fall kann das Trainingssystem 500 als eine proportionale integrierte Steuereinheit zum Einstellen der Neuronen arbeiten.
ORDNEN DER TRAININGSEINGÄNGE
Bei einer bevorzugten Ausführungsform kann die Menge der Trainingseingänge, die durch das Trainingssystem der Reihe nach verwendet werden, um Neuronen zu erzeugen, entsprechend der Eingangsqualität geordnet sein. Die Trainingseingänge können so geordnet sein, daß mit den Eingängen mit höherer Qualität trainiert wird, bevor zu denen mit niedriger Qualität übergegangen wird. Diese Qualitätsordnung der Trainingseingänge stellt sicher, daß die Neuronen um die Merkmalsvektoren zentriert werden, die den Eingängen mit höherer Qualität entsprechen. Ein derartiges geordnetes Training kann den Wirkungsgrad der Leistung eines Klassifizierungssystems verbessern, indem die Anzahl der Neuronen vermindert wird, die notwendig sind, um das Klassifizierungssystem zu definieren. Eine derartige Ordnung kann außerdem die Anzahl der Fehlklassifizierungen und der Nichtklassifizierungen vermindern, die durch das Klassifizierungssystem ausgeführt werden. Es ist eine Fehlklassifizierung, wenn ein Klassifizierungssystem einen möglichen Ausgang auswählt, wenn der Eingang tatsächlich einem anderen möglichen Ausgang entspricht. Es handelt sich um eine Nichtklassifizierung, wenn ein Klassifizierungssystem beim Auswählen eines der bekannten Ausgänge scheitert und statt dessen das Ergebnis ausgibt, daß kein Ausgang ausgewählt wurde.
In den 1(a), 1(b), 1(c) und 1(d) sind Bitmap-Darstellungen des Buchstaben "O" in Nominalqualität, des Buchstaben "O" in minderer Qualität, der Ziffer "7" in Nominalqualität und der Ziffer "7" in minderer Qualität gezeigt. Ein Eingang in Nominalqualität ist ein idealer Eingang, dem kein Rauschen zugeordnet ist. Ein Eingang in minderer Qualität ist ein Eingang, bei dem das Rauschen Abweichungen von dem Eingang in Nominalqualität erzeugt. Eingänge in minderer Qualität können sich entweder aus gesteuertem Rauschen oder wirklichem unvorhersagbaren Rauschen ergeben.
In einer bevorzugten Ausführungsform kann das Trainingssystem mit Trainingseingängen mit drei verschiedenen Qualitätsniveaus trainieren. Das erste Niveau der Trainingseingänge sind Eingänge in Nominalqualität, wie die in 1(a) und 1(c) dargestellten. Das zweite Niveau der Trainingseingänge sind die Eingänge mit gesteuertem Rauschen, ein Typ von Eingang in verminderter Qualität, der durch Anwenden definierter Rauschfunktionen oder -signale mit unterschiedlichen Merkmalen entweder unabhängig oder in Kombination auf Eingänge in Nominalqualität erzeugt wird. Das dritte Niveau der Trainingseingänge sind Eingänge mit wirklichem Rauschen, ein zweiter Typ von herabgesetzten Eingängen, die im Falle der Zeichen optisch erfaßte Abbildungen von bekannten Zeichen sein können. Derartige Eingänge in minderer Qualität besitzen ein wirkliches, unvorhersagbares Rauschen. Die 1(b) und 1(d) sind Darstellungen von möglichen Eingängen mit gesteuertem Rauschen und wirklichem Rauschen. Bei einer bevorzugten Ausführungsform besitzen die Eingänge in Nominalqualität die höchste Qualität, und die Eingänge mit gesteuertem Rauschen und die Eingänge mit wirklichem Rauschen weisen eine zunehmend geringere Qualität auf. Abhängig von den angewendeten Funktionen und Signalen des gesteuerten Rauschens kann ein spezieller Eingang mit gesteuertem Rauschen eine größere oder eine kleinere Qualität aufweisen, als ein spezieller Eingang mit wirklichem Rauschen.
Die Qualität eines speziellen Eingangs von minderer Qualität - entweder mit einer Art gesteuertem Rauschen oder einer Art wirklichem Rauschen - kann durch das Vergleichen des Eingangs in minderer Qualität mit einem Eingang in Nominalqualität bestimmt werden, der dem gleichen bekannten Zeichen entspricht. Bei einer bevorzugten Ausführungsform kann ein Qualitätsmaß auf der Anzahl der Bildpunkte basieren, die die beiden Eingänge unterscheiden. Bei einer weiteren bevorzugten Ausführungsform kann das Qualitätsmaß auf den Meßwerten der herkömmlichen Merkmale, wie den Rastermerkmalen oder den Hadamardschen Merkmalen, basieren.
Bei einer bevorzugten Ausführungsform trainieren die Trainingssysteme zuerst mit den Eingängen in Nominalqualität und dann später mit den Eingängen von minderer Qualität mit gesteuertem Rauschen bzw. mit wirklichem Rauschen. Bei dieser bevorzugten Ausführungsform würde das Training mit Eingängen, die den 1(a) und 1(c) entsprechen, dem Training mit denen gemäß den 1(b) und 1(d) vorausgehen. Bei einer weiteren bevorzugten Ausführungsform trainiert das Trainingssystem mit allen Eingängen des gleichen bekannten Zeichens, bevor es zu dem nächsten bekannten Zeichen übergeht, wobei die Trainingseingänge von jedem bekannten Zeichen intern nach der Qualität geordnet sind. Bei dieser bevorzugten Ausführungsform geht das Training mit 1(a) dem mit 1(b) voraus, und das Training mit 1(c) geht dem mit 1(d) voraus. Für Fachleute ist ersichtlich, daß der genaue Gesamtablauf des Trainings mit allen Eingängen von geringerer Bedeutung als das Ordnen der Eingänge nach der Qualität für jedes unterschiedliche bekannte Zeichen ist.
VERFEINERUNG DER NEURONEN
Nachdem das Trainingssystem das Training abgeschlossen hat, ist der Merkmalsraum mit Neuronen bevölkert, die Merkmalsvektoren enthalten, wobei jedem unterschiedlichen Trainingseingang ein Merkmalsvektor entspricht. Jedes Neuron kann einen oder mehr Merkmalsvektoren enthalten - der eine in dem Zentrum des Neurons, der verwendet wurde, um das Neuron zu erzeugen, und möglicherweise andere Merkmalsvektoren, die Eingängen entsprechen, die dem gleichen bekannten Zeichen zugeordnet sind.
Abhängig von der Qualitätsordnung der beim sequentiellen Training verwendeten Trainingseingänge kann ein spezielles Neuron die Merkmalsvektoren in einer mehr oder weniger effizienten Weise enthalten. Wenn z. B. der Merkmalsvektor, der verwendet wurde, um ein spezielles Neuron zu erzeugen, einem im hohen Grade minderwertigen Eingang entspricht, dann wird dieser Merkmalsvektor im Zentrum des Neurons liegen. Das gleiche Neuron kann außerdem andere Merkmalsvektoren enthalten, die Eingängen in Nominalqualität und Eingängen mit geringerer Verschlechterung entsprechen. Ein derartiges Neuron muß nicht das effizienteste Neuron sein, das diese Menge von Merkmalsvektoren enthält. Ein Klassifizierungssystem, das ein derartiges Neuron verwendet, kann mehr Fehlklassifizierungen und Nichtklassifizierungen ausführen als eines, das ein effizienteres Neuron verwendet.
Ein erfindungsgemäßes Verfeinerungssystem stellt die während des Trainings erzeugten Neuronen räumlich ein, um effizientere Neuronen zu erzeugen. Dieses Verfeinerungssystem kann die räumliche Verteilung der in einem speziellen Neuron enthaltenen Merkmalsvektoren charakterisieren und das Neuron dann räumlich einstellen. Eine derartige räumliche Einstellung kann das Übertragen des Neurons von seinem aktuellen Mittelpunkt zu dem Mittelwert der räumlichen Verteilung von diesen Merkmalsvektoren mit sich bringen. Nach dem Übertragen des Neurons können die Achsenlängen eingestellt werden, um sicherzustellen, daß die Merkmalsvektoren des gleichen Ausgangszeichens in dem Neuron enthalten sind und daß die Merkmalsvektoren von anderen Ausgangszeichen ausgeschlossen sind.
Bei einer alternativen Ausführungsform kann das Verfeinerungssystem zwei oder mehr Neuronen für das gleiche Zeichen räumlich einstellen, um ein oder mehrere Neuronen zu erzeugen, die die gleichen Merkmalsvektoren effizienter enthalten, wobei ein Merkmalsvektor von einem ursprünglichen Neuron in einem anderen, effizienteren Neuron enthalten sein kann. Vor der Verfeinerung kann z. B. ein erstes Neuron die Merkmalsvektoren F₁, F₂ und F₃ enthalten, während ein zweites Neuron die Merkmalsvektoren F₄, F₅, F₆ und F₇ enthalten kann. Nach der Verfeinerung können die Merkmalsvektoren F1, F2, F3 und F4 in einem dritten Neuron enthalten sein, während die Merkmalsvektoren F5, F6 und F7 in einem vierten Neuron enthalten sein können, wobei sich sämtliche Zentren und Achsenlängen des dritten und des vierten Neuron von denjenigen des ersten und des zweiten Neurons unterscheiden.
KLASSIFIZIERUNGSSYSTEME MIT CLUSTER-KLASSIFIZIERUNGSEINRICHTUNGEN
Bei einer ersten Ausführungsform klassifiziert ein Klassifizierungssystem die Eingänge in einen aus einer Menge von möglichen Ausgängen, indem es den Merkmalsvektor für jeden zu klassifizierenden Eingang mit jedem Neuron in dem Merkmalsraum vergleicht. Derartige Klassifizierungssysteme sind in den 3 und 4 dargestellt.
In 6 ist ein Klassifizierungssystem 600 gezeigt – eine zweite bevorzugte Ausführungsform – bei dem die Eingänge unter Verwendung von Neuronen und Cluster-Klassifizierungseinrichtungen in einen aus einer Menge von möglichen Ausgängen klassifiziert werden. Das Klassifizierungssystem 600 enthält eine Klassifizierungseinrichtung 602 höchster Ebene und zwei oder mehr Cluster-Klassifizierungseinrichtungen 604, 606,..., 608. Die Klassifizierungseinrichtung 602 höchster Ebene klassifiziert die Eingänge in geeignete Cluster aus Eingängen. Wenn z. B. das Klassifizierungssystem 600 Zeichen klassifiziert, kann die Klassifizierungseinrichtung 602 höchster Ebene die Eingangs-Bitmaps, die optisch erfaßten Zeichen entsprechen, in Cluster aus Zeichen klassifizieren.
Die zu Clustern gruppierten Zeichen können diejenigen sein, die durch ähnliche Bitmaps repräsentiert werden, oder, in anderen Worten, diejenigen, deren Zeichen den Merkmalsvektoren zugeordnet sind, die sich in dem Merkmalsraum nahe beieinander befinden. Der erste Zeichen-Cluster kann z. B. den Zeichen "D", "P", "R" und "B" entsprechen. Ein zweiter Zeichen-Cluster kann den Zeichen "O", "C", "D", "U" und "Q" entsprechen. Ein dritter Cluster kann nur einem Zeichen entsprechen, wie z. B. dem Zeichen "Z". Ein spezielles Zeichen kann sich in mehr als einem Zeichen-Cluster befinden. Bei diesem Beispiel befindet sich das Zeichen "D" sowohl in dem ersten als auch in dem zweiten Zeichen-Cluster, weil seine Bitmaps denjenigen von beiden Clustern ähnlich sind.
Bei einer bevorzugten Ausführungsform werden die Zeichen vor dem Training auf der Grundlage einer Verwechslungsmatrix zu Clustern gruppiert. Die Verwechslungsmatrix stellt für jedes mögliche Zeichenpaar die Wahrscheinlichkeit dar, daß ein Zeichen mit einem anderen Zeichen verwechselt wird. Im allgemeinen wird die Wahrscheinlichkeit, daß die beiden Zeichen verwechselt werden, um so höher sein, je näher sich die Merkmalsvektoren eines Zeichens bei denjenigen eines anderen Zeichens befinden. Bei dem Zeichen "D" besteht z. B. eine höhere Verwechslungswahrscheinlichkeit mit "0" als mit "M", da sich die Merkmalsvektoren für das "D" näher bei den Merkmalsvektoren für das "0" als bei denen für das "M" befinden.
Das Gruppieren der Zeichen zu Clustern basiert auf einem herkömmlichen Algorithmus zum Gruppieren zu Clustern mit K Mittelwerten, bei dem eine Menge von Schablonen für jedes Zeichen spezifiziert ist, wobei jede Schablone ein Punkt im Merkmalsraum ist. Der Algorithmus zum Gruppieren zu Clustern mit K Mittelwerten bestimmt, wo die Schablonen für ein spezielles Zeichen in dem Merkmalsraum anzuordnen sind, indem er die Positionen der Merkmalsvektoren für alle Trainingseingänge analysiert, die diesem Zeichen entsprechen. Die Schablonen werden vorzugsweise nahe der arithmetischen Mittel der Cluster der zugeordneten Merkmalsvektoren angeordnet.
Für jedes Zeichen können vier Schablonen verwendet werden, wobei die Anzahl der Zeichen pro Cluster ungefähr gleich sein kann. Wenn z. B. die 64 Zeichen klassifiziert werden, die den 26 Großbuchstaben und den 26 Kleinbuchstaben, den 10 Ziffern und den Symbolen "&" und "#" entsprechen, können 4 x 64 oder 256 Schablonen verwendet werden, um 7 verschiedene Cluster aus ungefähr äquivalenten Anzahlen an Zeichen zu definieren.
Durch das Gruppieren der Zeichen zu Clustern kann die Klassifizierungseinrichtung 602 höchster Ebene einen Klassifizierungsalgorithmus implementieren, der für jeden Eingang rasch und genau den geeigneten Cluster bestimmt. Bei einer bevorzugten Ausführungsform implementiert die Klassifizierungseinrichtung 602 höchster Ebene einen neuronengestützten Klassifizierungsalgorithmus. Bei einer weiteren bevorzugten Ausführungsform können durch die Klassifizierungseinrichtung 602 höchster Ebene andere herkömmliche nicht neuronale Klassifizierungsalgorithmen ausgeführt werden. Die Klassifizierungseinrichtung 602 höchster Ebene wählt für einen speziellen Eingang einen geeigneten Cluster aus und überträgt die Verarbeitung zur Fortsetzung an die geeignete Cluster-Klassifizierungseinrichtung 604, 606,..., 608. Jede Cluster-Klassifizierungseinrichtung ist einem und nur einem Zeichen-Cluster zugeordnet und umgekehrt.
Bei einer bevorzugten Ausführungsform kann jede Cluster-Klassifizierungseinrichtung einen Klassifizierungsalgorithmus implementieren, der für diesen Zeichen-Cluster eindeutig ist oder der durch lediglich eine Teilmenge der Gesamtzahl der Zeichen-Cluster gemeinsam genutzt wird. Jede Cluster-Klassifizierungseinrichtung kann deshalb Neuronen verwenden, die in einem Merkmalsraum existieren, der für diesen Zeichencluster eindeutig ist. Das Training für den Cluster für "P", "R", "B" kann z. B. eine spezielle Menge von Rastermerkmalen verwenden, während das Training für den Cluster für "O", "C", "D", "U", "Q" eine andere Menge von Hadamardschen Merkmalen verwenden kann. In diesem Fall werden für jede einzelne Clu ster-Klassifizierungseinrichtung unterschiedliche Trainingsprozeduren ausgeführt, wobei für jede einzelne Trainingsprozedur nur die Eingänge verwendet werden, die den Zeichen in dem zugeordneten Cluster entsprechen.
Bei einer dritten bevorzugten Ausführungsform kann ein Klassifizierungssystem gemäß 6 die Eingänge unter Verwendung von Neuronen und Cluster-Klassifizierungseinrichtungen in eine Menge möglicher Ausgänge klassifizieren. Bei dieser dritten Ausführungsform identifiziert die Klassifizierungseinrichtung 602 höchster Ebene die Schablone in dem Merkmalsraum, die sich am nächsten bei dem Merkmalsvektor für den aktuellen zu klassifizierenden Eingang befindet. Die identifizierte Schablone ist einem speziellen Zeichen zugeordnet, das zu einem oder mehreren Zeichen-Clustern gehört. Die Klassifizierungseinrichtung 602 höchster Ebene überträgt die Verarbeitung nur an die Cluster-Klassifizierungseinrichtungen 604, 606, .... 608, die den Zeichen-Clustern der nächsten Schablone zugeordnet sind. Da sich ein spezielles Zeichen in mehr als einem Zeichencluster befinden kann, kann von der Klassifizierungseinrichtung 602 höchster Ebene mehr als eine Cluster-Klassifizierungseinrichtung für die Verarbeitung ausgewählt werden.
Bei einer vierten bevorzugten Ausführungsform kann jede Cluster-Klassifizierungseinrichtung einen Entscheidungsbaum besitzen, der diejenigen Neuronen identifiziert, die für einen gegebenen Eingang zu verarbeiten sind. Vor der Klassifizierung kann der Merkmalsvektorenraum für eine spezielle Cluster-Klassifizierungseinrichtung entsprechend der Verteilung der Merkmalsvektoren und/oder der Neuronen in dem Merkmalsraum in Zonen aufgeteilt werden. Jede Zone enthält ein oder mehrere Neuronen, jedes Neuron kann zu mehr als einer Zone gehören, und zwei oder mehr Zonen können einander überlappen. Die Klassifizierungseinrichtung 602 höchster Ebene kann bestimmen, in welcher Zone (oder in welchen Zonen) des Merkmalsraums der Merkmalsvektor für den aktuellen Eingang liegt, und die ausgewählten Cluster-Klassifizierungseinrichtungen anweisen, nur die Neuronen zu. verarbeiten, die dieser Zone (oder diesen Zonen) zugeordnet sind.
Für Fachleute ist ersichtlich, daß einige erfindungsgemäße Klassifizierungssysteme die Entscheidungsbäume ohne die Cluster-Klassifizierungseinrichtungen, einige die Cluster-Klassifizierungseinrichtungen ohne die Entscheidungsbäume, einige beides und andere keines von beiden verwenden können. Für Fachleute ist ferner ersichtlich, daß die Entscheidungsbäume und die Cluster-Klassifizierungseinrichtungen den Wirkungsgrad der erfindungsgemäßen Klassifizierungssysteme durch die Verringerung der Verarbeitungszeit vergrößern können.
BEVORZUGTE UND ALTERNATIVE BEVORZUGTE AUSFÜHRUNGSFORMEN
Für Fachleute ist ferner ersichtlich, daß die Klassifizierungssysteme in Reihe oder parallel angeordnet werden können. Bei einer bevorzugten Ausführungsform kann z. B. eine erste Zeichen-Klassifizierungseinrichtung, die auf den Rastermerkmalen basiert, in Reihe mit einer zweiten Zeichen-Klassifizierungseinrichtung angeordnet sein, die auf den Hadamardschen Merkmalen basiert. In einem derartigen Fall klassifiziert die erste Zeichen-Klassifizierungseinrichtung einen speziellen Bitmap-Eingang als eines der bekannten Zeichen, oder sie scheitert an der Klassifizierung dieses Eingangs. Wenn sie an der Klassifizierung scheitert, versucht die zweite Klassifizierungseinrichtung, den Eingang zu klassifizieren.
Bei einer alternativen Ausführungsform können zwei oder mehr verschiedene Klassifizierungseinrichtungen parallel vorgesehen sein. In diesem Fall kann ein Schema zur Erteilung von Voten verwendet werden, um durch das Vergleichen der Ausgänge jeder der verschie denen Klassifizierungseinrichtungen den geeigneten Ausgang auszuwählen.
Bei einer bevorzugten Ausführungsform können die Klassifizierungssysteme und die Trainingssysteme eine Parallelverarbeitung ausführen, wobei jede elliptische Verarbeitungseinheit während der Klassifizierung auf einem separaten Prozessor des Computers laufen kann, obwohl für Fachleute ersichtlich ist, daß diese Systeme außerdem eine serielle Verarbeitung ausführen können. Bei einer bevorzugten Ausführungsform können die Klassifizierungssysteme und die Trainingssysteme in einem Prozessor eines Computers mit verringertem Befehlsvorrat (einem RISC-Prozessor) gespeichert sein, beispielsweise einem SPARC 2 Prozessor, der auf einer von Sun Microsystems vermarkteten SPARCstation 2 läuft.
Für Fachleute ist ersichtlich, daß mit einem der vorstehend beschriebenen Klassifizierungssysteme auch andere Eingänge als Abbildungen von Zeichen klassifiziert werden können. Im allgemeinen kann jeder Eingang als einer aus einer Menge von zwei oder mehr möglichen Ausgängen klassifiziert werden, wobei das Ergebnis, daß keine Auswahl getroffen wurde, einer der möglichen Ausgänge ist. Die Klassifizierungssysteme können z. B. verwendet werden, um Personen anhand von Abbildungen ihrer Gesichter, ihrer Fingerabdrücke oder sogar ihrer Ohrläppchen zu identifizieren. Andere Klassifizierungssysteme können verwendet werden, um Menschen anhand von Aufzeichnungen ihrer Stimmen zu identifizieren.
Selbstverständlich können Fachleute verschiedene Änderungen an den beschriebenen und dargestellten Einzelheiten und Materialien sowie an der Anordnungen der Teile vornehmen, ohne vom Geltungsbereich der Erfindung abzuweichen, der in den folgenden Ansprüchen definiert ist.

Claims

Verfahren zum Einstellen eines Neurons, das mehrere Merkmalsvektoren einschließt, mit den Schritten: (a) Kennzeichnen der räumlichen Verteilung der vom Neuron eingeschlossenen Merkmalsvektoren; und (b) räumliches Einstellen des Neurons nach Maßgabe der Kennzeichnung in Schritt (a).
Verfahren nach Anspruch 1, bei dem das Neuron eine Grenze aufweist, die durch zwei oder mehrere Neuronenachsen unterschiedlicher Lange definiert ist.
Verfahren nach Anspruch 1, bei dem das Neuron einen Mittelpunkt aufweist, wobei der Schritt (b) den Schritt des Umsetzens des Mittelpunkts des Neurons auf die Mitte der räumlichen Verteilung zu umfasst.
Verfahren nach Anspruch 3, bei dem das umgesetzte Neuron eine Grenze aufweist, die durch zwei oder mehrere Neuronenachsen definiert ist, wobei das umgesetzte Neuron nicht alle Merkmalsvektoren einschließt und wobei Schritt (b) den Schritt des Änderns der Länge zumindest einer der Neuronenachsen aufweist, um alle Merkmalsvektoren zu umschließen.
Vorrichtung zur Einstellung eines Neurons, das mehrere Merkmalsvektoren einschließt, mit: einer Kennzeichnungseinrichtung zum Kennzeichnen der räumlichen Verteilung der Merkmalsvektoren, die vom Neuron eingeschlossen sind; und einer Einstelleinrichtung zum räumlichen Einstellen des Neurons nach Maßgabe der Kennzeichnung durch die Kennzeichnungseinrichtung.
Vorrichtung nach Anspruch 5, bei der das Neuron eine Grenze aufweist, die durch zwei oder mehrere Neuronenachsen unterschiedlicher Länge definiert ist.
Vorrichtung nach Anspruch 5, bei der das Neuron einen Mittelpunkt aufweist, wobei die Einstelleinrichtung den Mittelpunkt des Neurons auf die Mitte der räumlichen Verteilung zu umsetzt.
Vorrichtung nach Anspruch 7, bei der das umgesetzte Neuron eine Grenze aufweist, die durch zwei oder mehrere Neuronenachsen definiert ist, wobei das umgesetzte Neuron nicht alle Merkmalsvektoren einschließt, und wobei die Einstelleinrichtung die Lange zumindest einer der Neuronenachsen so ändert, dass alle Merkmalsvektoren eingeschlossen werden.