-
Die
Erfindung betrifft Mittel zum Eingeben von Zeichen oder Befehlen
in einen Computer oder ein anderes Informationsempfangsgerät ohne eine Tastatur
oder Ähnliches
mit Hilfe der automatischen Handschrift-Fähigkeiten.
-
WO
90/15399 zeigt Mittel für
das Eingeben eines handgeschriebenen Zeichens in einen Computer,
die das Zeichnen eines Zeichens, Mittel zum Abstrahieren einer Abfolge
von Signalen beim Zeichnen des Zeichens entsprechend den Komponenten
des Zeichens für
die Erzeugung eines Codes für
dieses Zeichen und Mittel für
die Erkennung dieses Codes umfassen.
-
EP
0509224A zeigt eine Methode für
die Eingabe und Erkennung von Merkmalen aus einer Reihe von Symbolen,
zu der eine Vorlage aus Liniensegmenten gehört, die auf einer elektronischen
Schreibfläche
angezeigt werden. Eine Schreibspitze wird zum Verfolgen eines gewünschten
Symbols auf der elektronischen Schreibfläche verwendet. Rechenmittel
werden eingesetzt, um die von der Schreibspitze auf den entsprechenden
Vorlagenliniensegmenten durchgeführten
Striche zu erfassen. Nach Vollendung eines Symbols wird ein Code
erstellt, der die Liniensegmente repräsentiert; dieser Code wird
als Verweis auf Einträge
in einer Datenstruktur verwendet, um den entsprechenden passenden
Computercode zu finden.
-
EP 0254561 A zeigt
ein tastaturloses Computersystem mit transparentem Eingabebildschirm, das
Positionsinformationen erzeugt, wenn es von einer Schreibspitze
berührt
wird, und einen Anzeigebildschirm, der sich physikalisch unter dem
Eingabebildschirm befindet, so dass ein Zeichen, das angezeigt wird,
unter dem Eingabebildschirm zu sehen ist. Zum System gehört ein Computer,
der so programmiert ist, dass er die Positionsinformationen in Striche
umwandelt, um Strichcharakteristiken zu berechnen und dann die Strichcharakteristiken
mit den in einer Datenbank gespeicherten zu vergleichen, um das
von der Schreibspitze gezeichnete Symbol zu erkennen.
-
US 4751741 zeigt einen stiftartigen
Zeichenerkennungsapparat.
-
Die
heute verwendeten Computertastaturen wurden ursprünglich für den Einsatz
als Schreibmaschine entwickelt. Die Tasten dienten als Hebel, um eine
Druckplatte auf Papier zu pressen und so jeweils ein Zeichen zu
drucken. Jede Taste hatte zwei Zeichen, eines über dem anderen, wobei der
Kleinbuchstabe durch den normalen Tastendruck, mit einem Farbband
dazwischen, auf das Papier reproduziert wurde, und der Großbuchstabe
durch das Verstellen des gesamten Papierwagens oder des Druckplattensatzes
erhalten wurde, so dass der Druck durch das obere Druckplattenzeichen
und nicht das untere erfolgte. Zeichensetzung und Sonderzeichen
erhielt man durch Verstellen der Zahlen oder durch Extratasten.
-
Die
Druckmethode ist im Grunde die gleiche wie bei einer Druckpresse,
aber der Zweck einer Schreibmaschine unterscheidet sich sehr vom
Zweck einer Presse. Drucken ermöglicht
selbstverständlich die
Veröffentlichung
eines Manuskripts oder die Reproduktion vieler identischer Kopien
des Originalmanuskripts, ohne dass jedes Exemplar von Hand geschrieben
werden muss.
-
Die
Schreibmaschine kam mit der Entwicklung des modernen Handels und
der Notwendigkeit leserlicher Geschäftsschreiben auf. Zu jener
Zeit (und auch heute noch) war die Handschrift sehr persönlich und
zeigte große
Variationen von einer Person zur anderen. Dies machte handgeschriebenen Briefe,
Vereinbarungen, Verträge
und andere rechtliche Dokumente potenziell zweideutig oder unklar
in Bezug auf die Bedeutung. Es ist diese Komplexität der Handschrift,
die den aktuellen Ansätzen
zur Computeranalyse von Handschrift entgegenwirkt.
-
Variationen
bei der Handschrift stellen einfache Informationen dar, die in einer
Unmenge redundanter Details eingebettet sind. In der modernen Information
und Kommunikation ist die Herangehensweise bei Redundanz in einem
Muster der Einsatz großer
Rechnerleistung für
Analyse und Erkennung. Computergeräte für die Analyse von Handschrift
sind verfügbar,
erfordern jedoch beträchtliche
Rechnerleistung und sind daher relativ teuer und können die Handschrift
oft nicht schnell genug in Echtzeit erkennen, was zu Verzögerungen
beim Eingabevorgang führt.
-
Die
bei solchen Methoden verwendete Analyse hängt von der Extrahierung hervorstechender Merkmale
aus dem Muster der Handschrift ab, die dem Gerät und seiner Software vorliegen.
Besonders zu beachten ist, dass die gewählten hervorstechenden Merkmale
oft komplex sind und dass jedes davon für ein Zeichen oder einen Buchstaben
spezifisch sein kann. Dies impliziert, dass der Satz solcher Merkmale
groß und
komplex ist. Außerdem
gibt es eine Reihe unterschiedlicher Möglichkeiten, wie ein bestimmtes
Zeichen gezeichnet werden kann, die jeweils unterschiedliche hervorstechende
Merkmal haben können.
Daneben besteht die Schwierigkeit, dass auch bei einer einzigen
Art und Weise des Zeichnens eines bestimmten Buchstabens, das gezeichnete
Muster sich zwischen den Personen erheblich unterscheidet. Daher war
eine solche Herangehensweise an die Computererkennung von Handschrift
bisher nur eingeschränkt
erfolgreich und erforderte oft einen Lernprozess, bei dem die Software sich
auf die Handschrift des Benutzers einstellt oder der Benutzer lernt,
so zu schreiben, dass das System funktioniert. Der Einsatz in Bezug
auf Programmgröße und benötigte Rechnerleistung
ist oft teuer und unpraktisch in der Anwendung für Handheld-Computer oder PDAs,
insbesondere am unteren Ende der Skala von Größe, Leistung und Kosten (dem
Markt für
Pocket-Datenbanken, Notizbüchern,
Organiser und Ähnlichem
mit hohem Volumen).
-
Eine
andere Methode der Dateneingabe in einen Computer durch Fingerbewegung
ist in Systemen integriert, bei denen der Benutzer jedes Zeichen in
einer bestimmten Art und Weise zeichnen muss, die unzweideutig ist.
Dies führt
zu einer Art Kurzschriftcode, der vom Benutzer gelernt werden muss. Die
Kurzschriftformen sind oft den Zeichen, die sie darstellen, nicht ähnlich oder
nicht einfach als solche zu erkennen. Das Ergebnis ist ein kommerziell
erfolgreiches System, das sich aber in gewisser Weise von der natürlichen
Schrift entfernt und gelernt und geübt werden muss.
-
Eine
weitere, mit der aktuellen Herangehensweise an die handschriftliche
Eingabe in einen Computer verbundene Schwierigkeit ist die Komplexität und die
Kosten der für
die Abtastung der Fingerbewegung erforderlichen Hardware. Bei beiden
oben beschriebenen Herangehensweisen muss die Bewegung der Finger
von Augenblick zu Augenblick und von Punkt zu Punkt abgetastet,
digitalisiert und zum Prozessor übertragen
werden, der die Analyse und Erkennung durchführt. Bei vielen heute verfügbaren Geräten wird
diese Funktion durch einen Stift oder eine Schreibspitze durchgeführt, der/die
von den Fingern über
einen berührungsempfindlichen
Bildschirm bewegt wird. Die Fingerbewegungen werden von diesem Gerät erfasst
und an den Prozessor übertragen, was
zu einem Bild der Bewegung führt,
das auf genau diesem Bildschirm angezeigt wird. Ein solch komplexes
Eingabegerät
ist teuer und kann einen erheblichen Teil der Kosten beispielsweise
für einen Handheld-Computer
ausmachen.
-
Es
ist also nicht einfach, handgeschriebene Informationen direkt in
einen Computer einzugeben.
-
Das
gedruckte Wort ist andererseits klar und eindeutig. Jedes Zeichen
ist Standard in Form und Maßstab
und einfach zu lesen. Die Druckpresse richtet den Text als Block
von Bleisätzen
ein, der auf eine oder mehrere Papierseiten gleichzeitig gedruckt
wird. Dies ermöglicht
die schnelle Herstellung vieler Kopien einer Seite. Die Schreibmaschine
musste jedoch auf der Ebene des einzelnen Zeichens flexibel sein, nicht
auf der Ebene der einzelnen Seite. Daher eine Taste (ein Druckvorgang)
pro Zeichen. Deshalb hat die heutige Tastatur 60 bis 70 Tasten.
-
Es
wurden Tastaturen, die die Komponententeile des einzelnen Zeichens
(als Teil einer Taste) liefern, vorgeschlagen. Da die Form der gedruckten Zahlen
und Buchstaben vereinfacht werden kann (sie können durch die Anzeige von
7 und 14 Segmenten dargestellt werden), hätte eine solche Tastatur nur eine
relativ geringe Zahl an Tasten im Vergleich zur Standardtastatur.
Jedoch sind solche Tastaturen nicht erfolgreich möglich, weil
eine neue Art und Weise des Tippens erlernt werden muss, was die
Vorteile einer solch einfachen Tastatur aufhebt. Besonders zu beachten
ist, dass obwohl während
dem konventionellen Tippen die Finger beider Hände die Tasten bedecken, nur
jeweils ein Finger arbeitet. Bei den oben erwähnten Tastaturen, die die Zeichen
zusammensetzen, muss eine Reihe von Fingern gleichzeitig zum Drucken
eines Zeichens eingesetzt werden; deshalb muss die Koordination
vom Benutzer gelernt werden. Dies bedeutet, dass die dafür erforderliche Tipptechnik
weniger natürlich
ist, als das Ein-Tasten/Ein-Ziffern-Schema,
das bei konventionellen Tastaturen verwendet wird.
-
Eine
Aufgabe der Erfindung ist die Lieferung von Mitteln für das Eingeben
handgeschriebener Informationen in einen Computer.
-
Gemäß einem
Aspekt der Erfindung werden Mittel zum Eingehen eines handgeschriebenen
Zeichens in eine digitale Vorrichtung, die Mittel zum Zeichnen eines
Zeichens, Mittel zum Erfassen von Charakteristiken von Bewegungen
beim Zeichnen eines Zeichens, um eine zeitabhängige Abfolge von Signalen
als einen Code für
das Zeichen zu erzeugen, durch Vergleichen der oder jeder Charakteristik
mit einem vorbestimmten Satz von Charakteristiken während des
Zeichnens des Zeichens, wobei jedes Signal der vorbestimmten Charakteristik
entspricht, die der derzeitigen Charakteristik am nächsten ist, die
in jedem aufeinander folgenden Schritt der Bewegung erfasst wird,
und visuelle Rückmeldemittel
bereit gestellt, dadurch gekennzeichnet, dass mit jedem aufeinander
folgenden Signal in der Abfolge für das Zeichen eine Komponente
eines handgeschriebenen Zeichens positionsunabhängig von den Zeichenmitteln
angezeigt wird.
-
Das
abstrahierte Signal entspricht vorzugsweise eine Quantisierung der
Bewegung, während das
Zeichen gezeichnet wird. Das abstrahierte Signal kann einer Änderung
der Richtung beim Zeichnen des Zeichens und/oder der Bewegung beim
Zeichnen des Zeichens über
einen oder mehrere festgelegte Schwellenwerte in eine bestimmte
Richtung hinaus entsprechen. Außerdem
kann das abstrahierte Zeichen auch einer Änderung der Position der Zeichenmittel von
einem festgelegten Bereich zu einem anderen festgelegten Bereich
auf der Zeichenoberfläche
entsprechen.
-
Gemäß diesem
Aspekt der Erfindung können
diese Mittel bei jedem System für
die Handschrifterkennung/-eingabe verwendet werden, ganz gleich ob
es Quantisierungserkennung oder andere Systeme der Handschriftanalyse
verwendet.
-
Visuelle
Rückmeldung
geschieht in Form eines sequentiellen Aufbaus oder einer Animation
einer Zeichenform, die selbst aus dem oben erwähnten codierten Signal erzeugt
wird. Rückmeldung
kann vom Prozessor erzeugt werden, der an das oben erwähnte Eingabemittel
oder Eingabegerät
oder an andere geeignete Eingabemittel angeschlossen ist.
-
So
kann der Anzeigebildschirm die Ergebnisse des Handschrifterkennungsprozesses
als Rückmeldung
der Informationen zeigen, um den Schreiber zu führen. Er geht vorzugsweise
Schritt für
Schritt vor, wenn die Merkmale der Bewegung vom Eingabegerät codiert
werden, und umfasst im Gegensatz zu früherer Technik den Aspekt der
Computererkennung beim visuellen Rückmeldungsvorgang. Er zeigt
nicht die Bewegung der Finger Moment für Moment oder die Form der
Zeichen Punkt für
Punkt während
des Zeichnens, wie es bei aktuellen Ansätzen der handschriftlichen
Eingabe in einen Computer der Fall ist. Der Benutzer wird durch
die Interpretation der Fingerbewegungen vom System geführt, damit
er mühelos und
natürlich
die richtigen Fingerbewegungen erzeugen kann, die als richtige Abfolge
der Merkmale zur eindeutigen Erkennung der Schrift codiert werden.
-
Vorzugsweise
umfasst das visuelle Rückmeldungsmittel
Mittel für
die Erzeugung einer grafischen Simulation einer Zeichenkomponente
auf einem Monitor als Reaktion auf ein abstrahiertes Signal. Die
grafische Simulation ist vorzugsweise als Reaktion auf ein nachfolgendes
Signal einer Abfolge für ein
Zeichen modifizierbar.
-
Die
grafische Simulation beinhaltet weiterhin vorzugsweise einen Anzeiger
zur Position des Zeichenmittels auf einer Zeichenoberfläche. Der
Anzeiger kann ein Symbol umfassen, das bei oder nahe dem Ende der
letzten grafischen Simulationskomponente angezeigt wird. Alternativ
kann der Anzeiger ein Symbol umfassen, das sich als Reaktion auf
die Bewegung der Zeichenmittel um die grafische Simulation des Zeichens
bewegt.
-
Die
Rückmeldung
kann eine zügig
erzeugte Animation einer Schreibschrift sein, die bei ihrer Entstehung
auf den ankommenden Fluss der erkannten Merkmale oder Signalcodes
reagiert.
-
Der
Computer oder das Eingabegerät
unterstützt
den Benutzer beim Schreiben und erzeugt die Zeichen auf dem Bildschirm
entsprechend den Fingerbewegungen.
-
Selbstverständlich sind
die auf dem Bildschirm dargestellten Zeichen nicht repräsentativ
für den
tatsächlichen
Ort oder die tatsächliche
Form der Bewegung der Finger, sondern synthetische Darstellungen
der Absicht des Benutzer und führen
den Benutzer lediglich beim Eingabeprozess. Aus Sicht des Benutzers
erscheinen die Zeichen wie vom Benutzer mit Unterstützung des
Computers geschrieben.
-
Solche
Zeichen können
sich ansammeln und ein komplettes Wort anzeigen, beispielsweise
in der üblichen,
klaren, verbundenen Schreibschrift, wobei jedes Zeichen aus der
Abfolge einfacher Merkmale erzeugt wird, die aus der Operation des
Eingabegeräts
erzeugt oder daraus abstrahiert wurden.
-
Wenn
der Benutzer den Stift abhebt oder das Ende eines Worts in geeigneter
Weise anzeigt, kann der Prozessor die Schreibschrift umgehend durch das
entsprechende Wort ersetzen, das in der ausgewählten Schriftart entsprechend
der Anwendung oder des Anwendungsprogramms angezeigt wird.
-
Im
Gegensatz zu früheren
Techniken der Handschriftanalysesysteme, bei denen Informationen
durch Beschreibung des Zeichens, wie es gezeichnet wird, eingegeben
werden und eine Extrahierung der hervorstechenden Merkmale ausgeführt wird
(notwendigerweise skalierungs- und geschwindigkeitsunabhängig), gefolgt
vom Vergleich mit einer gespeicherten Bibliothek möglicher
Formen, Striche und ihrer Beziehung untereinander, sowohl in Bezug auf
Raum als auch auf Zeit, um die beste Übereinstimmung des Zeichens
mit einem kompletten Zeichensatz und damit für den erkannten Code für das Zeichen
zu erreichen, ist das System der vorliegenden Erfindung ein direktes
Codiersystem, bei dem die Bewegungen, die das Zeichen beim Zeichnen
erzeugt, mit einer einzigen Vorlage so verglichen werden, dass die
unreflektierten Bewegungen direkt die Merkmale eines Codes erzeugen,
die das Zeichen nach Vollendung des Zeichens vollständig identifizieren.
In dem Augenblick, wo das Zeichen vollendet ist, ist der erkennbare
Code vollständig
erstellt und keine weitere Analyse oder Verarbeitung für die Erkennung nötig.
-
Vorzugsweise
erfolgt die Erkennung Zeichen für
Zeichen in Echtzeit. Ein oder mehrere Merkmale der Bewegung oder
Kraft sind vorzugsweise Einheitsvektoren.
-
Vorzugsweise
erfolgt die Analyse der Bewegungen oder Kräfte in Merkmalen mittels Quantisierung
besagter Bewegungen oder Kräfte
in einem oder einer Abfolge von Einheitsvektoren. Diese Merkmale
sind vorzugsweise geschwindigkeitsunabhängig, vorzugsweise skalierungsunabhängig und vorzugsweise
im Wesentlichen unabhängig
von Störungen
oder Variationen beim reproduzierten Zeichen.
-
Vorzugsweise
bilden die Merkmale einen Satz, der allen zu reproduzierenden Zeichen
gemeinsam ist; dieser Satz enthält
keine Merkmale, die nur für
eines oder wenige Zeichen spezifisch sind.
-
Das
Signal ist vorzugsweise von einem Computer oder einem anderen Informationsverarbeitungsgerät erkennbar,
an das das Gerät
angeschlossen ist, wobei das Zeichen auf einem visuellen Anzeigegerät dargestellt
werden kann, das vom Computer betrieben wird, oder genauso verarbeitet
werden kann, wie die Zeicheneingabe durch eine Tastatur.
-
Wenn
ein Eingabegerät
durch Bewegungen aktiviert wurde, die den beim Schreiben genutzten ähnlich sind,
könnte
dies eine Methode der Eingabe von Zeichen und Text in einen Computer
liefern, ohne dass eine komplett neue Fähigkeit gelernt werden muss.
-
Was
hier beschrieben wird, ist ein Gerät, das eine Analysemethode
liefert, die mechanisch oder automatisch erfolgt und im Gegensatz
zu früherer Technik
keinen indirekten Analyse- oder Vergleichsprozess erfordert, um
einen eindeutigen Code aus einem Zeichen zu erzeugen.
-
Diese
automatische Erzeugung eines eindeutigen Zeichencodes kann mittels
einer visuellen Rückmeldung
von einer Anzeige der erkannten Merkmale des Zeichens, wie aus dem
Signal vom Eingabegerät
synthetisiert, erleichtert werden.
-
Die
automatische schalterähnliche
Methode der Extrahierung des codierten Signals aus den Fingerbewegungen
führt zu
relativ einfachen und billigen Eingabegeräten, Erkennung gleichzeitig
mit Vollendung eines handgeschriebenen Zeichens, niedrigen Anforderungen
an die Computerleistung, natürlichen
Zeichenformen und problemlosem Lernen und Verwendung im Gegensatz
zu früherer
Technik.
-
Dadurch
ermöglicht
die hierin beschriebene Erfindung die Dateneingabe in einen Computer
oder ein anderes System mittels der natürlichen Fingerbewegungen beim
Schreiben, unter Nutzung einfacher und billiger Eingabegeräte mit Hochgeschwindigkeitserkennung
und visuelle Rückmeldung.
-
Die
Erfassung der Bewegung hat Vorteile, da dies anders als die Analyse
des Raummusters der vollendeten Handschrift geschieht. Die Bewegung
eines Stifts beim Schreiben des Kreises des Buchstabens „a" unterscheidet sich
von der Bewegung beim Schreiben des Kreises des Buchstabens „p", obwohl die sich
daraus ergebenden Formen sehr ähnlich sind.
Der „a"-Kreis wird normalerweise
von einer Bewegung entgegen dem Uhrzeigersinn erzeugt, während der „p"-Kreis normalerweise
durch eine Bewegung im Uhrzeigersinn erfolgt. Die Unterscheidung geht
verloren, wenn das daraus entstehende handgeschriebene Zeichen nach
dem Schreiben betrachtet wird. Wenn jedoch die Handschrift während des Schreibens
dynamisch analysiert wird, sind die daraus gewonnenen Informationen
nützlicher.
Es wird anerkannt, dass Bezüge
auf die Erfassung der Bewegung die Erfassung der angewandten Kräfte bei
der Erzeugung dieser Bewegungen umfassen.
-
In
einer bevorzugten Ausführung
ist das Zeichenmittel ein in der Hand gehaltener Stift oder Ähnliches,
wobei der Stift oder ein Teil davon bewegt werden kann, um Zeichen
zu reproduzieren.
-
Es
ist geplant, dass das Zeichenmittel der Erfindung einen Teil hat,
der beim Erzeugen eines Zeichens relativ zu einer realen oder Notationsvorlage bewegt
wird, und dass das Zeichenmittel Mittel für die Erfassung besagter Bewegung
in Bezug auf die Vorlage enthält.
Die Vorlage kann im Zeichenmittel selbst enthalten oder getrennt
davon sein. Es gibt verschiedene Möglichkeiten, wie die Bewegung
des besagten Teils des Zeichenmittels erfasst werden kann.
-
Es
kann beispielsweise eine Vorlage möglich sein, um die besagter
Teil des Zeichenmittels bewegt wird, wodurch der Kontakt dieses
Teils des Zeichenmittels mit einem Sensor in einem bestimmten Teil der
Vorlage eine Richtung der Bewegung anzeigt, und wiederum eine Bewegung
oder eine Abfolge von Bewegungen ein Signal entsprechend dem durch solche
Bewegungen reproduzierten Zeichen generiert.
-
Anders
gesagt, angenommen der Stift hat einen Körper, eine Schreibspitze und
eine echte Vorlage, dann kann die Vorlage vom Stift getrennt sein, beispielsweise
auf einer Fläche,
kann am Stiftkörper oder
an der Spitze befestigt sein. Wenn andererseits ein Stift einen
Körper
und eine Schreibspitze hat, kann die Bewegung eines oder beider
Teile in Bezug auf eine angenommene Vorlage erfolgen, die mit dem
Körper,
der Spitze oder der einer getrennten Fläche verbunden ist.
-
Die
Mittel für
die Erfassung einer Bewegung des Zeichenmittels oder der Teil davon
kann Kontaktschalter, magnetische oder kapazitive Sensoren, optische
Codierer, Lichtdetektoren, Spannungsänderungen, piezo-elektrische
Kristallaktivierung oder andere geeignete Mittel umfassen.
-
Das
System der Erfindung beinhaltet vorzugsweise Mittel für die Signalisierung
der Vollendung eines gezeichneten Zeichens. Die Vollendung kann
durch Abheben des Zeichenmittels von einer Zeichenoberfläche signalisiert
werden. Alternativ kann die Vollendung eines Zeichens durch eine
eindeutige Bewegung des Zeichenmittels in Bezug auf dieses Zeichen
angezeigt werden. Eine weitere Alternative kann die Anzeige der
Vollendung eines Zeichens durch Bewegung eines der Zeichenmittel
und eines Symbols, das die Zeichenmittel anzeigt, zu einer definierten
Position sein, möglicherweise
auf der Zeichenoberfläche
oder einem festgelegten Bereich auf einem Monitor.
-
Der
von der Erfindung geplante Analysemodus befasst sich mit den Zeitmustern
der Muskeltätigkeit
im Gegensatz zum Raummuster der abgeschlossenen Handschrift. Es
ist wichtig anzumerken, dass die gesamte Kommunikation über das
Medium der Muskeltätigkeit
erfolgt, ob Sprache, Körpersprache, Berührung, Tätigkeit,
Handschrift oder Tippen. Der erste sichtbare Ausdruck des Gedankens
ist immer eine Muskeltätigkeit.
-
Diese
Erfindung zielt darauf, die Kommunikation mit einem Computer auf
Ebene der neuromuskulären
Fertigkeit des Schreibens zu ermöglichen.
-
Es
wird jedoch anerkannt, dass in der Handschrift erhebliche Redundanz
vorhanden ist. Obwohl Schreiben mit der Hand in einheitlicher Weise
gelehrt wird, werden Variationen und Verzierungen hinzugefügt, wenn
eine Person ihre Handschrifttechnik entwickelt. Während also
Buchstaben und Wörter
erkannt werden können,
ist es beispielsweise für
eine Computerscanvorrichtung aufgrund der persönlichen Variationen und Verzierungen
extrem schwierig, die wesentlichen Zeichen zu extrahieren.
-
Dementsprechend
ist die Ermöglichung
der Reproduktion von Zeichen als Einheitsvektoren ein bevorzugtes
Ziel des Geräts
der Erfindung. In anderen Worten, jedes Zeichen erzeugt, während es
mit Hilfe des Geräts
der Erfindung gezeichnet wird, vorzugsweise ein Signal für dieses
Zeichen aus einem oder einer Abfolge von Schritten. Dies kann durch
die Begrenzung oder Einschränkung
der Registrierung der Bewegung auf einen oder eine Reihe quantisierter
Schritte oder Einheitsvektoren erreicht werden.
-
Man
muss sich vergegenwärtigen,
dass Signale, die lediglich die Position, Bewegung oder den Ort
eines Stifts oder sich bewegenden Teils des Geräts beschreiben, einfach eine
Kopie dieser Bewegung usw. in elektronischer, elektrischer usw.
Form liefern. Sie erleichtern nicht selbst die logische Erkennung
der eingegebenen Buchstabenform oder Zeichenform.
-
Was
diese Erfindung ermöglicht,
ist eine automatische Reduzierung der Bewegung usw. in eine quantisierte
Form. Dies bedeutet, dass die Bewegung in Schritte eingeteilt wird,
die die zeitliche Abfolge der Einheitsvektoren anzeigen, die die
Bewegung charakterisieren usw. Die Schritte selbst beschreiben nicht
die Bewegung, die aus dem Zeichnen der Zeichenform entsteht Punkt
für Punkt
und Moment für Moment.
Sie sind eher das Ergebnis einer Analyse der Bewegung usw., die
eine Reihe von Einheitsvektoren angibt. Diese Reihe von Einheitsvektoren
kann nicht verwendet werden, um die ursprünglichen Fingerbewegungen zu
rekonstruieren, da alle redundanten Raum- und Zeitinformationen
bei der Erfassung der Einheitsvektorenabfolge entfernt werden. Es bleibt
nur die Abfolge der Einheitsvektoren und das Zeichen der Einheitsvektoren.
-
Das
Zeichen der Einheitsvektoren hängt
von der Gestaltung des Geräts
ab. Bei einer physikalischen, rechteckigen Vorlage könnten die
Einheitsvektoren beispielsweise als oben, unten, links oder rechts
charakterisiert werden.
-
Die
Zeitverzögerung
zwischen einem Einheitsvektor und dem nächsten ist nicht von Bedeutung
und diese Informationen werden entfernt. Alles, was für die Erkennung
wichtig ist, ist die Abfolge, z. B. links dann nach unten dann nach
rechts dann nach unten für
die Form des handgeschriebenen Buchstabens „a".
-
Außerdem berücksichtigt
der Prozess der Ableitung der Einheitsvektoren nicht den Maßstab oder
die Größe der Bewegung
oder Buchstabenform. Aus einem großen „a" entsteht dieselbe Abfolge desselben
Einheitsvektors wie aus einem kleinen „a". Vorausgesetzt, die physikalischen
Bewegungen, die die Bewegungs- oder Positionsdetektoren aktivieren, sind
kleiner als das kleinste zu zeichnende Zeichen, ist außerdem die
Abfolge der Einheitsvektoren die gleiche für große Variationen oder Störungen bei
der Form des ursprünglichen
Zeichens, Buchstabens oder der resultierenden Bewegung.
-
Besonders
zu beachten ist, dass eine solche Familie der Einheitsvektoren (ein
einfacher Fall ist: NACH OBEN, NACH UNTEN, NACH LINKS, NACH RECHTS)
alle in einen Computer durch Fingerbewegungen einzugebenden Zeichen
usw. darstellen kann.
-
Mit
anderen Worten, jede Zahl, jeder Buchstabe usw. kann in einer Abfolge
desselben Satzes oder derselben Familie von Einheitsvektoren analysiert
werden. Die Eindeutigkeit des Zeichens liegt in der Abfolge der
Einheitsvektoren, die einen eindeutigen Code für das Zeichen darstellt. Die
unterschiedlichen Zeichen benötigen
keine Analyse in eindeutige individuelle Merkmale wie bei der früheren Technik.
-
Die
Analyse der ursprünglichen
Bewegung in Einheitsvektoren erfolgt entsprechend einem Schema,
das die Bewegung mit einer Anordnung von Detektoren vergleicht,
die in fester Relation zu einer realen oder Notationsvorlage platziert
sind. Dies ermöglicht
den Vergleich der Bewegung mit der Geometrie einer Vorlage in der
Art und Weise, dass eine unreflektierte Bewegung zu einem einzigen
Signal oder Teil eines Signals führt,
das die charakteristische Richtung oder Bewegung in diesem Stadium des
Zeichnens des Buchstabens oder Zeichens usw. anzeigt.
-
Sobald
sich beispielsweise der sich bewegende Teil über die obere Grenze der Erfassung
bewegt, zeigt der Einheitsvektor einfach „nach oben" an, bis der sich bewegende Teil wieder
in den Bereich der Erfassung in eine Richtung zurückgekehrt
ist, in der er „nach
unten" verfolgt
werden kann. Ähnliches gilt
für die
horizontale Bewegung. Diese Herangehensweise führt natürlicherweise zu einer Beschreibung
der Operation des Geräts
hinsichtlich Vorlage.
-
Die
Vorlage ist einfach die Geometrie, die die Signalisierung der Einheitsvektoren
bestimmt. Sie kann in physikalischer Form, z. B. eine rechteckige Öffnung,
innerhalb der sich die Stiftspitze usw. bewegt, vorliegen oder sie
kann eine Notationsvorlage und somit einfach das Raummuster der
Detektorwechselgrenzen in zwei Dimensionen sein oder sie kann in
den die Bewegung analysierenden Prozessor integriert sein, der an
das von den Fingern bewegte Eingabegerät angeschlossen ist.
-
Jedes
System führt
zu praktischen Geräten, die
die Finger- und Handbewegung, die uns als Handschrift bekannt ist,
in Codesignale umwandeln, die als Entsprechung des gezeichneten
Zeichens logisch erkennbar sind.
-
Für die Genauigkeit
der Codierung und um die durch persönliche Verzierung eingeführten Ungenauigkeiten
zu beseitigen, kann der Schreiber durch visuelle Rückmeldung
von einem Bild auf einem Anzeigebildschirm angeleitet werden; er
kann natürliche Zeichenformen
wählen,
die schnell und einfach gelernt werden können.
-
So
ermöglicht
das Gerät
das „Tippen" oder Eingeben von
Textinformationen in einen Computer oder ein anderes automatisches
Textbearbeitungsgerät
(z. B. Schreibmaschine, tragbare Datenbank oder Notizbuch usw.)
bei Handschreibegeschwindigkeit oder schneller, ohne die Notwendigkeit,
die komplizierteren Fähigkeiten
des Blindschreibens mit Hilfe einer konventionellen Tastatur lernen
zu müssen.
-
Das
Prinzip der Operation basiert auf der Quantisierung der Bewegung
und darf nicht mit Handschriftanalyse verwechselt werden, die zur
automatischen Erkennung der Form der Handschrift einer normalen
Person (oder sogar der Erkennung eines begrenzten oder definierten
oder stilisierten Satzes an Zeichenformen) durch eine Analyse der
komplexen tatsächlichen
Form führt.
-
Das
Ziel der Vorlage, ob real oder Notationsvorlage, ist die Registrierung
der Bewegung des Geräts
als Einheitsvektoren, aber nicht notwendigerweise die Einschränkung der
Bewegung des Geräts
auf Einheitsvektorform, wodurch ein erkennbares Signal entsprechend
diesem Zeichen erzeugt werden kann.
-
In
bevorzugten Formen der Erfindung ist das Verhältnis zwischen der Vorlage
und dem Teil oder den Teilen des Geräts flexibel, wodurch das Gerät nicht
gezwungen ist eckige, rechteckige oder lineare Bewegungen durchzuführen. In
anderen Worten, durch die Einführung
einer flexiblen Verbindung zwischen relativ beweglichen Teilen des
Geräts
oder zwischen einem beweglichen Teil des Geräts und der Vorlage, kann das
Gerät sowohl
geraden als auch gekrümmten
Linien folgen, während
diese Bewegungen als gerade Linienbewegungen oder Kräfte, die Einheitsvektoren
erzeugen, erfasst werden.
-
So
hat das bevorzugte Gerät
der Erfindung die Fähigkeit,
Bewegungen von zumindest einem Teil davon bei der Erzeugung eines
Zeichens als einem oder einer Abfolge von Einheitsvektoren zu erfassen, um
ein Signal entsprechend dem Zeichen zu erzeugen, auch wenn das Zeichen
nicht in einem Format reproduziert wird, das von der Geometrie der
Vorlage geführt
wird.
-
Die
flexible Verbindung kann jede geeignet Form annehmen. Wenn beispielsweise
die Spitze eines Stiftgeräts
in Bezug auf den Körper
des Geräts beweglich
ist, kann die flexible Verbindung aus einem oder mehreren elastischen
Gliedern bestehen, die den Stift mit dem Körper verbinden.
-
Bei
der Entscheidung über
die Art der realen oder Notationsvorlage können verschiedene Überlegungen
berücksichtigt
werden.
-
In
einer Ausführung
kann die Vorlage die Form einer Begrenzung annehmen, die an beabstandeten
Positionen um die Peripherie Mittel für die Erfassung der Bewegung
des besagten Geräteteils
von einem Punkt zum anderen um die Peripherie der Begrenzung hat.
Die Begrenzung kann jede geeigneten Form annehmen, ist jedoch vorzugsweise
quadratisch oder kreisförmig.
Vorzugsweise gibt es vier Erfassungspositionen an gleichentfernten
Abständen.
-
Der
bewegliche Teil des Geräts
kann ein Stab oder Ähnliches
sein und seine Bewegung von einem Erfassungspunkt zum anderen kann
durch alle geeigneten Sensormittel erfolgen, wie bereits weiter oben
vorgeschlagen.
-
In
einer anderen bevorzugten Ausführung kann
die Vorlage in Form einer begrenzten Spur vorliegen, um die sich
der bewegliche Teil des Geräts bewegen
kann, wiederum mit beabstandeten Erfassungspunkten wie in der ersten
bevorzugten Ausführung.
-
In
noch einer weiteren bevorzugten Ausführung ist die Vorlage eine
Notationsvorlage und keine reale Vorlage und kann im Prozessor enthalten
sein, auf dem die erforderliche Software läuft, und der bewegliche Teil
des Geräts
kann als Übereinstimmung mit
einer Vorlage erfassbar sein. Somit beinhaltet das Gerät dieser
bevorzugten Ausführung
der Erfindung Mittel für
die Registrierung der Bewegung des besagten beweglichen Teils, als
ob er einer Vorlage folgen würde.
Folglich kann das Gerät
so angeordnet werden, dass es Ausgangssignale erzeugt, wenn die
Bewegung zumindest eines Teils davon eine Notationsgrenze der Notationsvorlage überschreitet.
-
Es
wird anerkannt, dass diese Signale größere Richtungsänderungen
gegenüber
einer Vorlage oder einem Satz an Richtungen oder Achsen angeben.
Es ist möglich,
die Signale, die Einheitsvektoren als Änderungen der Geschwindigkeit
oder anderer Zeitableitungen sowie Richtung oder Position angeben,
abzuleiten. Eine solche Ableitung ist für die Anwendung dieser Erfindung
auf konventionelle Computerzeigegeräte geeignet.
-
Beispielsweise
gibt der Datenstrom vom Zeigegerät
eines Computer wie Maus, Trackball, Stift und Tablett usw. die relative
Position der Finger Moment für
Moment an. Wenn dieser Datenstrom von einem Computer oder einem
dedizierten Prozessor so analysiert wird, dass Abweichungen der
Fingerposition mit einer Notationsvorlage verglichen werden, die
in einem Algorithmus verschlüsselt
ist, der im Computer oder Prozessor oder dem damit verbunden Speicher
als Muster der Abweichungsgrenzen in zwei Dimensionen gespeichert
ist, können
Bewegungen über
diese Grenzen hinaus oder den Vorlagengrenzen entsprechende Bewegungen
die Erzeugung einer Abfolge von Signalen auslösen, die Einheitsvektoren angeben,
die eindeutig für
das von den Fingern gezeichnete Zeichen, die die Maus, den Trackball,
den Stift, das Tablett oder ein anderes Zeigegerät bewegen, codiert werden.
-
Die
Erfindung wird jetzt anhand von Beispielen weiter erklärt. Dabei
wird auf folgende begleitende Zeichnungen Bezug genommen:
-
1 zeigt
schematisch ein System für
das Schreiben in einen Computer.
-
2A und 2B zeigen
eine mögliche Anordnung
für ein
Stiftgerät
der Erfindung.
-
3A und 3B zeigen
die mögliche Bewegung
des Stiftkörpers
von 2 und die resultierende Abfolge
der Einheitsvektoren um die Vorlage.
-
4 zeigt
alternative Formen des Schreibens, die von derselben Abfolge beschränkter Bewegungen
repräsentiert
werden.
-
5 zeigt
eine weitere mögliche
Anordnung für
ein Stiftgerät
der Erfindung.
-
6 zeigt
eine Einheitsvektorabfolge, die aus der Gestaltung eines Briefs
resultiert.
-
7 zeigt
eine Vielzahl von Formen desselben Briefs, die die in 6 dargestellte
Einheitsvektorabfolge erzeugen können.
-
8A bis D zeigen die schematische Operation eines
Stiftgeräts,
das Reibungskräfte
zwischen der Spitze und einer Fläche
nutzt.
-
9A und 9B zeigen
die Entsprechung des beabsichtigten Zeichens, die Einheitsvektorabfolge
und die animierte Schreibschriftzeichenform, die bei der visuellen
Rückmeldung
verwendet wird.
-
10, 11 und 12 zeigen
eine weitere Form des Stiftgeräts
gemäß der Erfindung.
-
13A und 14A sind
Schnittansichten durch eine weitere Form des Stiftgeräts gemäß der Erfindung.
-
13B und 14B sind
Schnitte entlang der Linien AA bzw. BB der 13A und 14A.
-
15 zeigt
das Prinzip der Verwendung einer virtuellen Vorlage in Beziehung
zu einem Stiftgerät
gemäß der Erfindung.
-
16 zeigt
eine Pocket-Databank mit konventioneller Tastatur.
-
17 zeigt
eine Pocket-Databank mit einem Stiftgerät der Erfindung.
-
18 zeigt
ein Flussdiagramm mit dem Ablauf der Synthese eines animierten Bildes
zur Anzeige auf einem Bildschirm, das dem Schreibenden als visuelle
Rückmeldung
dient; und
-
19 zeigt
den Informationsfluss in einem solchen System unter Verwendung des
Eingabegeräts
der Erfindung sowie der hier beschriebenen Methode der visuellen
Rückmeldung;
-
20 zeigt
einen Buchstaben „a", bei dem eine zusätzliche
Bewegung die Vollendung des Buchstabens und den Beginn eines neuen
Buchstabens ankündigt;
-
21 zeigt
die Erkennung von doppelten Einheitsvektoren;
-
22 zeigt
die Erkennung von doppelten Einheitsvektoren beim Zeichnen des Buchstaben „g";
-
23 zeigt
das Symbol für
die tatsächliche
Stiftposition beim Zeichnen eines Buchstabens;
-
24 zeigt
das Symbol für
die synthetisierte Stiftposition beim Zeichnen eines Buchstabens;
-
25 zeigt,
wie Buchstaben ausgehend von demselben Anfangspunkt gezeichnet werden können;
-
26 zeigt
die Verwendung von Hilfslinien für
eine einfachere Zeicheneingabe;
-
27 zeigt
eine Gegenüberstellung
von visueller Rückmeldung
und tatsächlicher
Bewegung des Zeichengeräts;
-
28 zeigt
einen Bildschirm mit speziellen Bereichen zur Signalisierung der
Vollendung eines Zeichens; und
-
29 zeigt
die Änderung
in der visuellen Rückmeldung,
wenn neue Einheitsvektoren erkannt werden;
-
1 der
beigefügten
Zeichnungen zeigt das Schema einer Ausführung dieser Erfindung.
-
Ein
Stiftgerät 10 enthält eine
Vorlage, welche die von den Fingern während des Schreibens ausgeführten Bewegungen
erfasst und aus diesen Bewegungen Informationsmerkmale abstrahiert,
die eine Erkennung durch einen Computer ermöglichen. Zusammen mit dieser
Vorlage bildet es einen „Stift", der die Abfolge
von Bewegungsmerkmalen eines jeden Zeichens erfasst und dem Benutzer
das Gefühl
vermittelt, er schreibe auf beinahe normale Weise. Die Bewegungsabfolgen
werden über
mechanische Schalter oder optische, elektrische oder magnetische Sensoren
oder andere Mittel auf elektronischem Wege aufgezeichnet, die Abfolgen
anschließend
von einem Mikroprozessor 12 entschlüsselt, die Zeichen an einen
Computer wie bei der Eingabe über
eine Tastatur übermittelt
und auf einer Anzeigeeinrichtung 14 des Computers nach
deren Erkennung angezeigt. Alternativ dazu kann die Abfolge auch
direkt zur einfachen logischen Erkennung im Computer übertragen
werden.
-
Betrachtet
man die praktische Ausführung diese
Konzepts etwas näher,
besteht die einfachste Form einer Vorlage in einem Quadrat und die
Vorlage sollte um die Spitze des Stifts beweglich sein, während die
Spitze selbst nicht bewegt wird. Mit einem solchen Stift ist man
gezwungen, in einer „quadratischen" Handschrift zu schreiben.
Zusätzlich
werden Stift und Vorlage über
eine „bewegliche" oder flexible Verwindung
miteinander verbunden, um das Schreiben kreisrunder Zeichen, wie
zum Beispiel ein „a" oder „p", zu ermöglichen.
-
Mit
einem solchen Aufbau, wie ihn die 2A und 2B der
beigefügten
Zeichnungen zeigen, kann der Stift einen Kreis beschreiben, während sich
die Vorlage um die Stiftspitze in vier segmentierten Bewegungen
bewegt. Wird der Stiftkörper 18 von
den Fingern in einem Kreis geführt,
wird die flexible Verbindung 20 gedehnt und die Vorlage 24 um
die Stiftspitze 22 gezogen. Der Kraftaufwand dafür ist relativ
gering und vermittelt eine leichte taktile Rückmeldung, die den Benutzer
beim Schreiben unterstützt.
Da sich die Vorlage im Innern des Stiftkörpers befindet und kleiner
als der kleinste vom Benutzer gezeichnete Kreis ist, wird die Vorlage
durch die leichte Zugkraft der gedehnten flexiblen Verbindung gegen
die Seiten der Stiftspitze gezogen. Die relationale Bewegung von
Stiftspitze und Vorlage muss daher innerhalb der vier möglichen
Segmente der quadratischen Vorlage erfolgen.
-
2B zeigt
den Stift in Ruhestellung und 2A zeigt
den Stift, wie er in Richtung des Pfeils F bewegt wird.
-
Diese
Segmente können
als „Einheitsvektoren" der folgenden Vektoren
angesehen werden: auf ab links rechts bzw. u d l r Für den Kreis
eines „a" würde demnach
diese Bewegungsabfolge erkannt:
l, d, r, u
die Abfolge
für den
Kreis eines „p" wäre demnach:
r,
d, l, u
-
3A und 3B zeigen,
wie ein Buchstabe mit einem Stift gemäß 2 gezeichnet
werden kann bzw. die aus der Bewegung resultierende Abfolge der
Einheitsvektoren. Die gleiche Abfolge der Einheitsvektoren ergibt
sich auch für
eine Vielzahl anderer Kreisformen, wie in 4 der beigefügten Zeichnungen
gezeigt.
-
Würden alle
in 4 gezeigten Kreise im Uhrzeigersinn gezeichnet,
wobei der Anfangspunkt der Stiftspitze in der oberen rechten Ecke
der Vorlage liegt, ergeben diese die gleiche Abfolge von Einheitsvektoren:
d,
l, u, r
-
Dennoch
bliebe es dem Benutzer freigestellt, wie er die Kreisform ausführt.
-
In
der praktischen Ausführung
dieses Stifts würde
der Stiftkörper
von den Fingern geführt,
während
die Spitze auf eine Oberfläche
aufgesetzt und nicht bewegt würde.
Die Vorlage befände
sich dann im Innern des Stiftkörpers
(eine typische Vorlage hätte
eine Seitenlänge
von 0,5 mm), die Spitze entspräche
dem Ende eines Stabs, der aus dem hohlen Innern des Stifts herausragt,
mit dem Stiftkörper über die
flexible Verbindung verbunden ist und dessen Bewegung daher den
Seiten der quadratischen Vorlage folgen muss. Der Benutzer hätte den
Eindruck, dass er auf beinahe normale Weise schriebe, während die Fingerbewegungen
in eine Abfolge von Einheitsvektoren umgewandelt würden.
-
Eine
quadratische Vorlage könnte
z. B. zur Kodierung aller Kleinbuchstaben des englischen Alphabets
und der Ziffern 0–9
verwendet werden.
-
Damit
eine solche Vorrichtung Bewegungsabfolgen ermöglicht, die von einem Computer
als Zeichen erkannt werden, muss die Konvertierung der Einheitsvektoren
aller Zeichen innerhalb des Zeichensatzes a–Z und 0–9 durchgeführt werden. Die Formen der
Zeichen sind dabei vorzugsweise intuitiv und einfach gehalten. Zuerst
sollten die Kleinbuchstaben und dann die Großbuchstaben geschrieben werden
(z. B. mit einer gleichzeitig am Stiftkörper angebrachten Änderungstaste).
-
Über eine
Umschalttaste ist die Eingabe von Großbuchstaben und der Sonderzeichen
! @ ú $
~ & etc. wie
bei einer herkömmlichen
Tastatur möglich. Bei
gedrückter
Umschalttaste ergäbe
das Schreiben des Zeichens „a" dann ein „A".
-
Über weitere Änderungstasten,
wie z. B. „Option", könnten Befehle
an den Computer gegeben werden.
-
Es
wird darauf hingewiesen, dass für
Sonderzeichen, Interpunktion und Befehle viele redundante Codes
von Einheitsvektoren zur Verfügung stehen.
-
Zum
Beispiel könnte
eine einzelne Bewegung „nach
links" für den Einheitsvektor
L das zuletzt eingegebene Zeichen löschen, ebenso wie eine Löschtaste
auf einer Computertastatur.
-
Anfang
und Vollendung eines Zeichens könnten über einen
Schalter im Innern des Stiftkörpers
signalisiert werden, der durch den Druck der Stiftspitze auf die
Oberfläche
oder durch eine dritte Taste betätigt
wird. Diese Taste würde
dann beim Schreiben eines Zeichens gedrückt und am Ende der Abfolge
des Zeichens wieder losgelassen werden. Mit ein wenig Übung hat
sich der Benutzer schnell an diese Vorgehensweise gewöhnt. Mit
dem Ende-Signal würde
die Analyse der Abfolge von Einheitsvektoren ausgelöst – ein Lookup-Algorithmus
von nur wenigen Mikrosekunden – und
das Zeichen erschiene auf dem Computerbildschirm.
-
In
einer anderen Ausführung
dieser Erfindung könnten
die Vollendung eines Zeichens durch eine kurze Pause (z. B. während das
Gerät zur
visuellen Rückmeldung
die Animation der beabsichtigte Form des geschriebenen Zeichens
auf dem Bildschirm anzeigt) und das Ende eines Wortes dadurch signalisiert
werden, dass der Schreibende den Stift von der Schreiboberfläche abhebt.
-
Eine
Anordnung für
eine Vorlage ist in 5 der beigefügten Zeichnungen gezeigt. Eine
quadratische Vorlage 50 verfügt über die Sensorschalter 52(1, 2, 3 und 4)
zur Erkennung der Position der Stiftspitze 54 (genauer
gesagt, des Stabs) innerhalb des Quadrats. Diese Sensorschalter 52 sind
in der Mitte einer jeden Vorlagenseite angeordnet und werden ausgelöst, sobald
der Stab gegen die entsprechende Seite gedrückt wird. Die Bewegung des
Stifts im Verhältnis
zu Stab und Stiftspitze wird durch die Zeitsequenz dieser Schaltzustände signalisiert.
-
Auf
diese Weise werden zudem Redundanzen der Bewegungsinformationen
reduziert. So wie hinsichtlich des Raumes die Variation der Form
durch eine Einschränkung
der Bewegung auf bekannte Einheitsvektoren reduziert wird („Einheit" ist hier als bekannte
absolute Vektorenlänge
zu verstehen – aufgrund
des Designs der Schaltungen ist lediglich die Richtungskomponente
abstrahiert), wird hinsichtlich der Zeit die Variation des Timings
allein durch die Abstrahierung des Befehls für den Schaltzustand reduziert,
die absoluten Zeitintervalle werden nicht berücksichtigt; das liegt in dem
Design des Software-Sequencing begründet.
-
(Es
wird darauf hingewiesen, dass der Stab und die Abmessungen der Vorlage
um ein Vielfaches größer sein
können
als die tatsächliche
Vorlagengröße. Die
tatsächliche
Größe entspricht
dem möglichen Bewegungsspielraum
des Stabs oder der Stiftspitze innerhalb der Vorlage. Typischerweise
liegt diese bei 0,5 mm × 0,5
mm. Das lässt
sich in etwa mit der Bewegung vergleichen, die für das Schreiben eines Buchstabens „a" mit einem Durchmesser
von ca. 3 mm ausgeführt
wird.
-
Die
Abfolge der Schaltzustände
beim Zeichnen eines „a" bei Verwendung des
Aufbaus in 5 wäre dann:
2– 4+ 1– 3+ 4– 2+ 3– 1+ 1– 3+
(wobei
+ das Einschalten und – das
Ausschalten eines Schalters und die Nummer vor diesen Zeichen die
jeweilige Schalternummer bezeichnet). Diese resultiert widerum aus
der Abfolge der Einheitsvektoren für „a", nämlich:
l, d, r, u, d beginnend oben rechts in der Vorlage (vgl. 6).
-
Die
gleiche Abfolge von Schaltzuständen
ergibt sich, wenn der Benutzer die erste Kurve des „a" langsam zeichnet
und dann seine Bewegung beschleunigt oder wenn er schnell beginnt
und dann langsamer wird. Das einzige was zählt, ist die relative Reihenfolge
der Einheitsvektoren.
-
Nimmt
man an, dass die quadratische Miniaturschablone im Innern des Stifts
kleiner als das kleinste gezeichnete „a" ist, werden alle Buchstaben „a" in 7 wie
folgt kodiert:
2– 4+
1– 3+
4– 2+
3– 1+
1– 3+
unabhängig von
den Variationen in Form oder Größe.
-
Es
wird daran erinnert, dass die Finger den Stiftkörper frei bewegen können und
dass die Bewegungsübertragung
zwischen Stiftspitze und Vorlage durch eine flexible Verbindung
erfolgt. Das bedeutet, dass das ausgeführte Zeichen Kurven enthalten kann,
die Vorlage sich aber um die Stiftspitze in einer Reihe von linearen
Schritten bewegt.
-
Hinsichtlich
der Stilisierung von Zeichenformen für eine einfachere Erkennung
der Bewegungsabfolgen wird daran erinnert, dass Großbuchstaben automatisch
durch den Lookup-Algorithmus
erzeugt werden können,
wenn der Einheitsvektor eines Kleinbuchstabens bei gedrückter Umschalttaste
oder ähnlicher
Taste gezeichnet wird. Wichtig für
das Verständnis
ist, dass die Position des Stiftkörpers unsichtbar bleibt. Die
Stiftbewegungen werden gefühlt und
nicht gesehen. Der Stift „schreibt" also nicht, er signalisiert
lediglich Codes an den Computer. Bei den verwendeten stilisierten
Zeichen handelt es sich demnach um virtuelle Zeichen. Das geistige
Auge konstruiert ein eigenes, geeignetes Bild des Zeichens, das
es zu zeichnen glaubt.
-
Im
Gegensatz zu der unveränderlichen
Fingerposition beim Schreiben mit einer herkömmlichen Tastatur erlaubt der
Stift eine einfachere Nutzung. Da der Stift nicht über die „Seite" geführt werden
muss und da die Bewegungen automatisch von der taktilen und/oder
visuellen Rückmeldung
geleitet werden, muss man nicht einmal auf den Stift hinabblicken.
-
Eine
weitere Ausführung
dieser Erfindung betrifft ein Stiftgerät, das in den 8A bis 8D schematisch
dargestellt ist und bei dem die Spitze 200 im Kontakt mit
der „Schreiboberfläche" gehalten und relational
zu der physikalischen oder virtuellen Vorlage 202 mittels
Reibungskraft zwischen Spitze und Oberfläche bewegt wird. Auf diese
Weise wird die Richtung signalisiert, in die der Stiftkörper auf
dieser Oberfläche
durch Finger und Hand bewegt wird. Die 8A bis 8D zeigen
die Bewegungsrichtungen abwärts,
aufwärts,
nach links und nach rechts des Stifts. Wird der Stift mittels Reibungskraft über die
Oberfläche
bewegt, berührt
er die Kontakte 211, 212, 213 und 214 und
signalisiert so eine Abfolge von Einheitsvektoren. Ein solcher Stift
kann ebenso frei über
eine Oberfläche
bewegt werden wie ein herkömmlicher
Stift.
-
A und 9B zeigen
Tabellen mit stilisierten Zeichen, die zusammen einen Zeichensatz bilden.
Es handelt sich dabei aber lediglich um ein Beispiel unter vielen
möglichen
Zeichensätzen.
Der optimale Zeichensatz einer bestimmten Ausführung der Erfindung hängt von
dem Design der Vorlage sowie der Anordnung und der Logik der Schaltungen
im Verhältnis
zu den Animationsabfolgen ab, die zur Optimierung der visuellen
Rückmeldung
und für
persönliche
Einstellungen ausgewählt
werden.
-
Dieser
Zeichensatz bedarf einer flexiblen Verbindung, damit ein realistisches
Schreibgefühl beim
Zeichnen der Buchstaben entsteht. Die einfache quadratische Vorlage
ermöglicht
aber keine Abweichungen (Haken) nach unten oder oben. Die Finger
führen
diese Bewegungen zwar automatisch aus und der Stiftkörper folgt
den Fingern, der Stab bleibt aber immer innerhalb der quadratischen
Vorlage. Glücklicherweise
ergibt jedes Zeichen eine singuläre Abfolge
von Einheitsvektoren und lässt
sich so eindeutig für
die weitere Verarbeitung im Computer kodieren.
-
Zwar
muss der Schreibende seine Schreibweise anpassen, damit jedes Zeichen
die für
eine fehlerfreie Erkennung erforderliche Abfolge erzeugt, die Vielzahl
der aus der Abfolge der Einheitsvektoren ableitbaren Codes lässt jedoch
unterschiedliche Schreibweisen für
ein und denselben Buchstaben zu. (Erkennbar am Beispiel für die Buchstaben „b" und „q" in dem Zeichensatz
der A und 9B).
-
Vor
allem wird die visuelle Rückmeldung
den Schreibenden während
des Zeichnens mühelos
unterstützen,
wenn die Animationsmerkmale zum Aufbau handschriftlicher Zeichenformen
so gestaltet sind, dass sie die Vollendung der Bewegungen jederzeit
und unmittelbar für
die erforderlichen nachfolgenden Bewegungen bestätigen.
-
Aufgrund
der flexiblen Verbindung und der mentalen Vorstellung der Befehle,
die das Gehirn an die Finger erteilt, erscheinen diese Buchstabenformen
sehr natürlich.
-
Mit
etwas Übung – weitaus
weniger als bei der Verwendung einer herkömmlichen Tastatur mit allen
diesen Zeichen erforderlich ist – werden die zusammengesetzten
Bewegungen nicht mehr einzeln und hintereinander ausgeführt, sondern
in einem schnellen Fluss, noch während
des mentalen Schreibvorgangs eines jeden Buchstabens. Die Geschwindigkeit
kann typischerweise bei 20 Einheitsvektoren pro Sekunde liegen.
-
10, 11 und 12 zeigen
die Form eines Stifts gemäß dieser
Erfindung mit einem Stifkörper 60,
der sich gegenüber
einer Vorlage 62 in der Stiftspitze 64 bewegen
lässt,
die wiederum auf eine Oberfläche
aufgesetzt und selbst nicht bewegt wird. Die Stiftspitze 64 kann
aus Gummi von geeigneter Form oder einem ähnlichen Material gestaltet sein,
das, z. B. auf einer Tischplatte, relativ rutschfest ist.
-
Der
Vorteil dieser Ausführung
liegt darin, dass die tatsächliche
Bewegung des Stifts um die Vorlage mit der gedachten Bewegung des
Stifts übereinstimmt.
Mit dem zuvor beschriebenen Stift müssen die Bewegungen in entgegengesetzter
Richtung erfolgen und diese neuen mentalen Verknüpfungen erlernt werden. Die
Vorlage kann ein beliebiges Aussehen besitzen und die Bewegungssensoren
können ebenfalls
irgendeinem der zuvor oder im Folgenden beschriebenen Typen entsprechen.
-
Eine
andere Weiterentwicklung, die sowohl bei Vorlagen mit vier Schaltern
als auch für
komplexere Vorlagen Anwendung finden kann, besteht darin, dass die
Signale für
Anfang und Vollendung eines Zeichens von den Vorlageschaltern erzeugt
werden. Das Anfangssignal kann immer dann erfolgen, wenn mindestens
einer der Vorlageschalter eingeschaltet wird, das Vollendungssignal,
sobald alle vier Schalter ausgeschaltet sind. Auf diese Weise wird
ein Anfangspunkt für
die Stiftspitze in der Mitte der Vorlage definiert. Wird darüber hinaus
die Stiftspitze immer wieder in die Mitte zurückgeführt, d. h. automatisch nach
jeder Strichführung,
entweder durch ein leichtes Anheben des Stifts oder einfach durch
geringeren Druck auf die Oberfläche,
wird der Prozess der Zeichenübertragung
weiter vereinfacht und automatisiert. Die Logik des Anfangssignals
kann elektronisch verarbeitet werden.
-
Bei
Ausführungen
mit größerer Bewegungsfreiheit
der Stiftspitze können
komplexere Vorlagen vorgesehen werden. Vergleichbar wäre dies
mit der zunehmenden Komplexität
von Schaltkulissen in Kfz bei einer steigenden Anzahl an Gängen.
-
Wird
eine physikalische oder echte Vorlage verwendet, kann die tatsächliche
Größe des Quadrats
soweit reduziert werden, bis die erforderliche Bewegung des Stiftköpers und
des Stabs oder der Stiftspitze beliebig klein ist. Die Einheitsvektoren
können
dann über
Druckmesswandler oder Dehnmessstreifen an jeder der vier Vorlageseiten
erfasst werden.
-
Die
Signale für
Anfang und Vollendung eines Zeichens können aus diesen Vorlagesignalen
logisch abgeleitet werden.
-
Damit
der Stift unter dem Druck der schreibenden Finger leicht bewegt
werden kann, sollte die Verbindung zu einem gewissen Grad flexibel
sein. Dies kann dadurch erreicht werden, dass die Stiftspitze z.
B. aus Gummi oder einem Material ähnlichen gefertigt wird und/oder
durch Integration einer leichten Kompressionsbewegung in den Druckmesswandlern
oder an anderer geeigneter Stelle.
-
Die
Bewegung des Stifts bei dieser Ausführung ist dabei nicht unbedingt
auf eine quadratische Vorlage beschränkt, die Signale von dem Druckmesswandlern
ergeben aber für
die gleichen Zeichen die gleichen Kodierungsabfolgen.
-
Die
Kontrolle des Schreibvorgangs kann durch eine akustische Rückmeldung
erfolgen, die von den Prozessoren zur Erkennung der Vektoren ausgeht.
Führen
beispielsweise die Finger die Bewegungen einer bestimmten Stilisierung
aus, wird am Ende eines jeden Vektors ein akustisches Signal erzeugt,
wobei für
das Akustiksignal eines jeden Vektors eine eigene Frequenz vorgesehen
ist. Nach einiger Übung
kann dieses Signal stumm geschaltet oder deaktiviert werden. Tritt
bei der Ausführung
eines bestimmten Zeichens ein Fehler auf (nicht erkannte Sequenz),
kann diese Funktion für
eine voreingestellte Anzahl von Zeichen wieder aktiviert werden.
Auf diese Weise wird der Lernprozess unterstützt. Vergleichbar ist dies
mit einem Tastentelefon, bei dem die fehlerhafte Eingabe einer oft
gewählten
Nummer sofort eine „falsche" Tonfolge erzeugt,
während
bei Eingabe der richtigen Nummer die Tonfolge „richtig" klingt.
-
Eine
weitere Rückmeldung,
die sowohl das Erlernen der Bedienung und die normale Benutzung des
Geräts
vereinfachen soll, kann in der visuellen Anzeige der Vektoren selbst
während
des Zeichenaufbaus bestehen. Viele Computerbildschirme nutzen bei
der Textverarbeitung einen Cursor, um auf dem Bildschirm die Einfügemarke
anzuzeigen. Diese könnte
z. B. durch eine quadratische Abb. einer virtuellen Vorlage ersetzt
werden, auf der die Vektoren als fett dargestellte Seitenlinien
des Quadrats erscheinen (oder der entsprechend verwendeten Form
der Vorlage). Bei Übermittlung
des Signals für
die Vollendung eines Zeichens würde
diese Grafik durch das kodierte Zeichen ersetzt und automatisch
zur nächsten
Position im Text wechseln, um die nächste Vektorenabfolge anzuzeigen.
-
Weiter
entwickelte Techniken der visuellen Rückmeldung und Bestätigung sind
möglich,
bei denen die Information der Vektorenabfolge dazu benutzt wird,
auf dem Bildschirm eine Grafik zu erzeugen, welche das Fortschrittsstadium
des von dem Benutzer beabsichtigten Zeichens anzeigt, indem es auf
ein Programm zurückgreift,
dass die verfügbaren Möglichkeiten
jeder Phase erkennt, um den Aufbau des eingegebenen Zeichens zu
unterstützen.
-
Ein
solches System der visuellen Rückmeldung
ist in 18 dargestellt, die wie ein
Flussdiagramm gelesen werden muss. Sie zeigt die Art und Weise,
mit der Zeichen, die mit einem Einheitsvektor „AUFWÄRTS" beginnen (beispielhaft), auf einem Bildschirm
als progressiv entstehendes Abbild des beabsichtigten Zeichens in
synthetisierter, klarer, standardisierter handschriftlicher Form
(dargestellt in den quadratischen Kästchen) angezeigt werden können.
-
In
dem Flussdiagramm von 18 wird die Abfolge der Einheitsvektoren
durch die Bezeichnungen in den Kreisen angegeben. 1U bedeutet, dass
es sich bei dem ersten Einheitsvektor um einen Vektor „AUFWÄRTS" handelt. Auf die
gleiche Weise bezeichnet 6L, dass es sich bei dem sechsten Einheitsvektor
um einen Vektor „NACH
LINKS" handelt.
-
Dekodiert
das System bei der Erkennung die Fingerbewegung in eine singuläre Abfolge
von Einheitsvektoren für
ein bestimmtes Zeichen, wird an der entsprechenden.
-
Stelle
des Flussdiagramms in 18 das erkannte Zeichen durch
ein quadratisches Kästchen mit
dem entsprechenden Zeichen des Zeichensatzes angezeigt.
-
Der
Aufbau eines jedes Zeichens erfolgt progressiv und gleichzeitig
mit der Bewegung der Finger, die das Eingabegerät führen, über das die Bewegungen in eine
Abfolge von Einheitsvektoren umgewandelt werden. Dieser Animationsprozess
wird durch die fortlaufende Übertragung
der Einheitsvektoren gesteuert. Auf diese Weise wird der Regelkreis
geschlossen und eine völlig
neue Möglichkeit
zur Eingabe handschriftlicher Informationen in einen Computer oder
ein ähnliches
Gerät eröffnet.
-
Mit
anderen Worten, die Augen können
die Entstehung des Zeichens auf dem Bildschirm mitverfolgen, während die
Finger die erforderliche Bewegung zum Entstehen der entsprechenden
Abfolge aus Einheitsvektoren ausführen. Der Computer bzw. ein
anderes Gerät
scheinen den Prozess des Schreibens gemeinsam mit dem Benutzer auszuführen.
-
In
dem Beispiel in 18 werden die Buchstaben „l" „h" „b" und „t" erzeugt und erkannt.
Aus diesem Beispiel wird auch ersichtlich, dass alle Basisformen
der Zeichen „a" bis „z" und „0" bis „9" auf ähnliche
Weise in Einheitsvektoren umgewandelt und auf einem Bildschirm angezeigt
werden können.
-
Als
wichtiger Hinweis sei an dieser Stelle angemerkt, dass die Definitionen
des Zeichens in Form von Einheitsvektoren mit der Konvertierungsabfolge zur
Animation der synthetisierten handschriftlichen Zeichenformen auf
dem Bildschirm eine funktionale Beziehung aufweisen. Da die Einheitsvektoren
automatisch erzeugt werden, folgt die Animation den in jeder Phase
möglichen
Formen und dem durch diese vorgegebenen Aufbau des Buchstabens.
Betrachtet man wieder 18, wird die Buchstabenform
für ein handgeschriebenes
1 durch die weitere Eingabe der Einheitsvektoren U R D in eine handgeschriebene Form
des Buchstabens h umgewandelt. Auf ähnliche Weise wird das h nach
Eingabe eines Einheitsvektors L in die Form eines b umgewandelt.
Das für
die visuelle Rückmeldung
verwendete Design des handschriftlichen Zeichensatzes enthält demnach
die Struktur der grundlegenden Handschriftbewegungen, die wiederum
durch die Abfolgen der Einheitsvektoren (d. h. die Richtungsänderungen
der Bewegungen) definiert ist und auf einfache Weise automatisch
erkannt werden kann.
-
Aus
diesem Grund sind das Design des Zeichensatzes zur visuellen Rückmeldung
und der Animationsprozess von großer Bedeutung. Es ist geplant,
dass für
verschiedene Applikationen, Sprachen, Länder, Handschriften und Benutzer
jeweils verschiedene Zeichensätze
entwickelt werden können.
-
Auf
diese Weise kann ein Gerät
produziert werden, mit dem das Schreiben mit natürlichen Zeichenformen durch
eine visuelle Rückmeldung
unterstützt
werden kann, da Gehirn, Finger, Eingabestift oder Eingabegerät, Prozessor,
Bildschirm und Auge gemeinsam einen Regelkreis bilden.
-
Dieser
Regelkreis ist in 19 dargestellt. Der Informationsfluss
ist durch die Pfeile 406(1 bis 5) angezeigt.
Die Finger 400 des Schreibenden führen die Bewegungen zum Schreiben
eines Zeichens aus und diese Bewegungen werden von dem Eingabegerät 401 erkannt,
das daraufhin automatisch die entsprechenden Signale der Einheitsvektoren
zur Darstellung des Zeichens erzeugt. Diese Signale werden an einen
Prozessor 402 weitergeleitet, der ausgehend von der Abfolge
dieser Einheitsvektoren ein animiertes Abbild synthetisiert. Das
animierte Zeichen wird auf einem Bildschirm 403 angezeigt
und von dem Auge 404 des Schreibenden erfasst. Das Gehirn 405 des
Schreibenden erhält
auf diese Weise mit fortlaufender Abfolge der Einheitsvektoren eine Rückmeldung
in Form des synthetisierten Bildes der Intention des Schreibenden
und kann instinktiv die Bewegung der Finger korrigieren, um so wiederum die
Erkennung des ausgeführten
Zeichens durch den Computer zu korrigieren.
-
Der
Erkennungsprozess des Computers erfolgt so in einem Regelkreis,
der auch den Benutzer selbst mit einbezieht und unterscheidet sich
daher völlig
von bisherigen Techniken, bei denen die Rückmeldung lediglich durch das
Reproduzieren der tatsächlichen
Fingerbewegungen auf dem Bildschirm erfolgt und der Erkennungsprozess
selbst nicht beteiligt ist.
-
Die
Vollendung eines Zeichens wird in diesem Beispiel durch eine kurze
Pause in der Stiftbewegung signalisiert. In 18 ist
sie durch den Buchstabens P in einem Kreis angezeigt. Die Animation
am Bildschirm kann durch einen einfachen Prozess auch verbundene
handschriftliche Zeichen produzieren. Dies erfolgt mit Hilfe gespeicherter
Anweisungen für
entsprechende Abfolgen von Einheitsvektoren welche die Verbindungen
zwischen den Buchstaben anzeigen.
-
Es
wird darauf hingewiesen, dass der Animationsprozess für den Benutzer
als eine sich fortlaufend bewegende handschriftliche Linie auf dem
Bildschirm dargestellt werden kann, die den Signalen des Eingabegeräts folgt.
Die Signale selbst können
dabei aber durchaus mit Unterbrechungen übertragen werden. Die Augen
sehen eher die Intention des Gehirns als das, was die Finger tatsächlich ausführen. Schon nach
kurzer Eingewöhnungszeit
wird der Prozess beinahe automatisch und natürlich erscheinen.
-
Am
Ende eines Wortes wird der Stift oder das Eingabegerät angehoben
(wie es auch beim normalen Schreiben auf Papier der Fall ist), um
dem Prozessor das Signal (das automatisch von einem Schalter oder
einem anderen Erfassungsmedium erzeugt wird) für den Konvertierungsstart des
vollständigen
geschriebenen Wortes in entsprechende Zeichen des Zeichensatzes
der Applikation usw., für
das die Eingabe durchgeführt
wird, zur Anzeige am Bildschirm zu geben.
-
Die
Erkennung eines jeden Zeichens erfolgt in der Pause nach Eingabe
des letzten Einheitsvektors. Mit anderen Worten, legt der Benutzer
nach Vollendung eines jeden Zeichens eine kurze Pause ein, in der
dann der Prozessor die Animation der handschriftlichen Zeichenform
zur Anzeige auf dem Bildschirm vollendet. Das Abbild einer handschriftlichen
Zeichenform ist bereits das Ergebnis des Erkennungsprozesses und
erfolgt auf der Basis eines singulären Codes aus Einheitsvektoren,
die bereits in das System eingegeben wurden. Es unterscheidet sich
daher von den handschriftlichen Formen, die in bereits existierenden
Erfindungen die aktuellen, noch nicht erkannten Fingerbewegungen
anzeigen.
-
In
diesem Beispiel wird die handschriftlichen Form solange auf dem
Bildschirm angezeigt, bis das ganze Wort vollendet ist, um die Rückmeldung
zur Unterstützung
des Schreibenden zu verbessern.
-
Wichtig
dabei ist, dass die auf diese Weise synthetisierte und angezeigte
handschriftliche Buchstabenform zu den für das Schreiben des Zeichens ausgeführten Fingerbewegungen
eine funktionale Beziehung aufweist. Es wäre wenig hilfreich, wenn zu diesem
Zeitpunkt die „gedruckten" Formen eines Zeichensatzes
angezeigt würden.
-
Die
Struktur der synthetisierten Zeichenformen basiert auf den Einheitsvektoren
zur Charakterisierung des jeweiligen geschriebenen Zeichens. Diese
Beziehung wird aus dem Beispiel des Flussdiagramms in 18 ersichtlich.
-
Die
Rückmeldung
unterstützt
den Schreibenden in beinahe natürlicher
Weise bei der Eingabe der korrekten Abfolge von Einheitsvektoren,
ohne dass dieser dabei auf diese Analyse achten muss.
-
Nach
Eingabe des Wortes verfügt
das System über
alle notwendigen Informationen zur Anzeige des erkannten Zeichens
in der endgültigen
Form als „gedrucktes" Zeichen eines Zeichensatzes,
um daraus ein vollständiges
Wort in Druckform zu generieren.
-
Die
Entwicklung von Computerlernprogrammen, die dem Benutzer die Struktur
und die Stilisierung des Zeichensatzes sowie die Interpretation
der oben beschriebenen Anzeigen und Rückmeldungen nahe bringen, bedarf
keines großen
Aufwands.
-
Neben
einer virtuellen Vorlage kann auch eine physikalische Vorlage verwendet
werden. Die Zeichenerkennung bei dem System mit der physikalischen
Vorlage wird durch die Vereinfachung der Bewegung mittels physikalischer
Begrenzung der Vorlage und die daraus resultierende Reduzierung
dieser Bewegung auf maßstabs-
und geschwindigkeitsunkabhängige
Abfolgen von Einheitsvektoren erleichtert.
-
Allerdings
ist noch eine andere Weiterentwicklung möglich, indem man die physikalische
Begrenzung zur Beschränkung
der Bewegung durch einen virtuellen Grenzwert für die Speicherung dieser Bewegung
ersetzt. Werden die Bewegungen von den Sensoren nur für parallel
zu den Seiten einer virtuellen, nicht-physikalischen Vorlage verlaufende
Richtungen erkannt und werden diese Bewegungen von den Sensoren
und/oder den damit verbundenen elektronischen Schaltungen und Algorithmen
nur bis zu einem bestimmten Grenzwert für eine Bewegung quantisiert,
und ist dieser Grenzwert kleiner als das kleinste ausgeführte Zeichen,
dann wird für
die gleiche Zeichenstilisierung das Endresultat bei virtueller und
physikalischer Vorlage identisch sein.
-
Auf
diese Weise wären
einfachere und schnellere praktische Ausführungen von Stiften oder Touchscreens
zum Erfassen der Stift- oder Fingerbewegungen möglich und die Erfindung zusammen
mit den bislang erhältlichen
Eingabegeräten
für Computer,
wie Maus, Trackball, Fingerpad, Touchscreen, druckempfindlicher
Bildschirm, Grafiktablett und Grafikstift usw. einsetzbar.
-
Andere
Weiterentwicklungen der Erfindung sind weiter unten mit Verweis
auf die 20 bis 29 der
beigefügten
Zeichnungen beschrieben.
-
Die
einzugebenden Zeichen werden durch die zur Erstellung einer geeigneten
Abfolge von Einheitsvektoren erforderlichen Bewegungen definiert. Dazu
bedarf es zuvor bereits festgelegter Formen von Zeichen, die den
natürlichen
Zeichenformen sehr ähnlich
und in den meisten Fällen
mit diesen identisch sein können.
Die Zeichen werden durch Einheitsvektoren so definiert, dass jedes
Zeichen durch eine Abfolge von Einheitsvektoren gebildet wird, die keine
verkürzte
Form einer längeren
Abfolge von Einheitsvektoren eines anderen Zeichens darstellt. Auf diese
Weise ist eine kontinuierliche Eingabe (z. B. eines Wortes) ohne
die Signalisierung der Vollendung der einzelnen Zeichen möglich. Die
Vollendung eines Zeichens muss jedoch durch den letzten Einheitsvektor
der für
dieses Zeichen definierten Abfolge signalisiert werden.
-
Ein
Beispiel für
einen derartigen Satz von Einheitsvektoren folgt:
a = rldrud
und dann r für
den Anfang
b = uddurdl und dann r für den Anfang
c = rldr
und dann r für
den Anfang
d = rldruudd und dann r für den Anfang
e = ruldr
und dann r für
den Anfang oder ruld und dann r für den Anfang
f = uddu
und dann rr für
den Anfang
g = rldruddl und dann r für den Anfang
h = uddurd
und dann r für
den Anfang
i = d und dann r für den Anfang
j = dl und
dann r für
den Anfang
k = uddrl und dann r für den Anfang
l = udd und
dann r für
den Anfang
m = dudud und dann r für den Anfang
n = dud und
dann r für
den Anfang
o = rldru und dann r für den Anfang
p = dduurdl
und dann r für
den Anfang
q = rldudd und dann r für den Anfang
r = duudr
und dann r für
den Anfang
s = rudl und dann r für den Anfang
t = udrld
und dann r für
den Anfang
u = drud und dann r für den Anfang oder dru und dann r
v
= du und dann r für
den Anfang
w = dudu und dann r für den Anfang
x = rl und
dann r für
den Anfang
y = druddl und dann r für den Anfang
z = rlrdl
und dann r für
den Anfang
-
20 zeigt
ein animiertes Abbild auf einem Bildschirm, das der Bewegung eines
Zeichengeräts
beim Zeichnen eines Buchstabens „a" gemäß dem oben
aufgeführten
Vektorensatz entspricht. Das letzte Bewegungssignal NACH RECHTS
signalisiert die Vollendung eines singulären nicht integrierten Codes
für ein „a" und daher das Ende
des Zeichens. Dies kann zur visuellen Anzeige einer Linie auf dem Bildschirm
genutzt werden, die bis zur Anfangsposition des nächsten Zeichens
weitergeführt
wird.
-
Das
Ende eines Wortes wird durch das Anheben des Stifts zur Aktivierung
eines Schalters oder Sensors oder z. B. durch das Drücken einer
Taste, durch eine besondere Abfolge von Einheitsvektoren oder eine
besondere Bewegungsabfolge signalisiert.
-
Die
Einheitsvektoren können
auf eine der folgenden Weisen abgeleitet werden:
mit Hilfe
von Schaltern, welche die Bewegungen in einem Stiftgerät wie oben
beschrieben erfassen,
durch das Überschreiten eines Bewegungsschwellenwerts
in eine Richtung,
durch das Überschreiten eines Schwellenwerts
aus einer beliebigen Kombination von Zeitwerten als Ableitung einer
Bewegung in eine Richtung,
durch die Bewegung von einer definierten
Fläche
in eine andere definierte Fläche
der Schreiboberfläche,
durch
eine weitgehende Übereinstimmung
mit einer Richtung oder Achse oder Vorlagenseite, durch Kombinationen
der zuvor genannten Möglichkeiten.
-
Weitgehende Übereinstimmung
bedeutet hier, dass die Vektorenkomponenten der parallel zur Richtung,
Achse oder Vorlagenseite ausgeführten Bewegung
größer sind
als solche, die parallel zu allen anderen definierten Richtungen,
Achsen oder Vorlagenseiten des Systems ausgeführt werden.
-
Um
das Zeichnen und die Erkennung einiger Zeichen zu vereinfachen,
kann die Erfassung doppelter Einheitsvektoren sinnvoll sein. Mit
anderen Worten, bei einigen Zeichen können zwei gleiche Einheitsvektoren
hintereinander erzeugt werden. Die Erfassung zweier Vektoren gleicher
Richtung kann durch den Einsatz zweier Detektoren mit unterschiedlichen
Schwellenwerten zur Erfassung oder durch zwei hintereinander angeordnete
(physikalische oder virtuelle) Vorlagen erfolgen, so dass die Bewegung
die Erfassung des ersten und dann des zweiten Einheitsvektors gleicher
Richtung auslöst. Dies
wird in den 21 und 22 der
beigefügten
Zeichnungen dargestellt. In 21 zeigt
der Pfeil die Bewegungsrichtung des Zeichengeräts oder Zeigers an. 22 zeigt,
wie diese Vorgehensweise z. B. für
den Buchstaben „g" genutzt werden kann.
-
Stifte
und Zeigergeräte,
die zusammen mit Computern und dazugehörigen Displays oder Bildschirmen
eingesetzt werden, nutzen zur Darstellung auf dem Schirm eine Linie
aus Pixel, welche die Spur oder die Position des Zeichengeräts darstellt.
Manchmal wird dies als „Bildschirmtinte" bezeichnet. Eine solche
Anzeige kann in Verbindung mit der Erfassung der Einheitsvektoren
dazu genutzt werden, den Benutzer bei der Eingabe der korrekten
Buchstabenformen zu unterstützen.
-
Wie
in 23 der beigefügten
Zeichnungen ersichtlich, ist es möglich, auf einem Bildschirm
ein Symbol zu erzeugen, das der tatsächlichen Bewegung des Zeichengeräts folgt.
Das Symbol 500 kann neben dem animierten Zeichen erscheinen
und der oben beschriebenen visuellen Rückmeldung dienen. Auf diese
Weise kann der Benutzer die erforderlichen Bewegungen für eine korrekte
Erkennung der Einheitsvektoren besser beurteilen, die durch die
Anzeige der entsprechenden animierten Zeichensatzelemente 501, 502, 503, 504 – in diesem
Falle für
die Eingabe eines gezeichneten Buchstabens "o" – bestätigt wird.
-
Da
die Bewegung des Zeigergeräts
der Anzeige des animierten Zeichensatzelements auf dem Bildschirm
dient, ist es vorteilhaft, die Richtung der Stiftbewegung und die
korrespondierende Position des Stifts anzugeben. Dies erfolgt, indem
der den Bildschirm ansteuernde Prozessor ein Symbol an das Ende
aller nacheinander animierten Zeichensatzelemente setzt. Dieses
Symbol darf nicht mit dem Symbol zur Anzeige der tatsächlichen
Bewegung des Zeichengeräts
verwechselt werden. 24 der beigefügten Zeichnungen
zeigt die Bildabfolge, die aus der Eingabe des Buchstabens „o" resultiert. Das Symbol 520 erscheint
bei der Eingabe des Buchstabens „o" am Ende jedes der animierten Zeichensatzelemente 521, 522, 523 und 524.
-
Dabei
ist es vorteilhaft die Zeichen so auszuführen, dass alle am selben Anfangspunkt
beginnen. Auf diese Weise kann der Schreibende einen Satz von Zeichenformen
speichern, die vor der Eingabe des nächsten Zeichens keine mentale
Neuanpassung der Stiftposition erfordern und dadurch die spätere Schreibgeschwindigkeit
erhöhen. 25 der beigefügten Zeichnungen
zeigt Beispiele von Buchstaben, die ausgehend von einem gleichen
Anfangspunkt gezeichnet werden können.
-
Bei
Vollendung eines jeden Zeichens ist es vorteilhaft, die visuelle
Rückmeldung
so zu gestalten, dass das Symbol zur Anzeige der Stiftposition (tatsächlich oder
synthetisiert) von der Vollendungsposition des Zeichens zur Standard-Anfangsposition
geführt
wird. Dadurch wird sofort die vom Schreibenden angenommene Stiftposition
eingenommen und die Eingabegeschwindigkeit für die nachfolgenden Zeichen
erhöht.
-
Das
gleiche Ergebnis kann erzielt werden, indem man die Bildschirmtinte
zur Standard-Anfangsposition
laufen lässt
oder auf dem Bildschirm ein Zeichensatzelement animiert, um die
Lücke zwischen Vollendungposition
und nachfolgender Standard-Anfangsposition zu überbrücken. Dies wird beispielhaft in 20 der
beigefügten
Zeichnungen gezeigt. Hier signalisiert der letzte Einheitsvektor
nach rechts die Vollendung des Zeichens „a" und die visuelle Rückmeldung erzeugt automatisch
eine Linie, die bis zur Standard-Anfangsposition weitergeführt wird.
-
26 zeigt
die Verwendung von Hilfslinien zusammen mit einer Bildschirmanzeige.
Zusammen mit der Bildschirmtinte oder dem Symbol für die tatsächliche
Stiftposition geben sie einen Hinweis auf geeignete Größe und erforderliche
Bewegung und unterstützen
so die korrekte Eingabe. Dies ermöglicht eine gleichmäßigere Ausführung von
Zeichenform und Zeichengröße, die
mit der Schwellenwertreihe zur Erkennung der Einheitsvektoren übereinstimmen.
-
Der
Einsatz weitergeführter
Vektorenabbilder zur visuellen Rückmeldung
bildet eine zusätzliche
Variante, dem Benutzer bei der Zeicheneingabe die Erzeugung korrekter
Abfolgen von Einheitsvektoren zu ermöglichen. Der erkannte Einheitsvektor
bewirkt, dass das Abbild der von dem Zeigergerät ausgeführten Bewegung mit der entsprechenden
Richtung verknüpft
wird und erlaubt so die Erzeugung einer Linie, die auf dem Bildschirm
als Fortführung
dieser Bewegung erscheint. Wird die Bewegungsrichtung soweit geändert, dass
die Erkennung eines neuen Einheitsvektors erfolgt, wird die angezeigt
Linie in der neuen Richtung weitergeführt. Die visuelle Rückmeldung
erlaubt die gleichzeitige Anzeige von Abbildern der beabsichtigten
Zeichenform als gerade Liniensegmente in Abhängigkeit von dem Bewegungsgrad
in die jeweilige Richtung. Diese Methode ist in 27 dargestellt.
-
Eine
Verwendung besonderer Bereiche oder Hilfslinien auf dem Bildschirm
in Verbindung mit Bildschirmtinte und/oder Zeigersymbol ist vorteilhaft,
um die Vollendung eines Zeichens zu signalisieren und eine kontinuierliche
Eingabe (z. B. eines Wortes) ohne Anheben des Stiftgeräts oder
ohne sonstige Vorgehensweise zur Signalisierung der Zeichenvollendung
und/oder um die Übermittlung
von Befehls- oder Änderungszeichen
oder Signalen zu ermöglichen.
Wird bei dieser Methode das Symbol für die Stiftposition und/oder
die Bildschirmtinte in einen Bereich der Bildschirmanzeige geführt, der
einem definierten Bereich der Schreiboberfläche entspricht oder wird der
Stift in einen definierten Bereich der Schreiboberfläche geführt oder
kreuzt die Bewegung des Stifts eine definierte Linie auf einer der
Flächen, erzeugt
der Prozessor ein Signal, welches die Vollendung eines Zeichens
oder anderen Kontrollereignisses oder Befehls anzeigt.
-
Dies
ermöglicht
die schnelle Eingabe von miteinander verbundenen handschriftlichen
Zeichen ohne dass ein Anheben des Stifts oder ein anderes Signal
für die
Vollendung eines Zeichens erforderlich ist. Diese Methode wird in 28 der
beigefügten Zeichnungen
dargestellt. Hier signalisiert die Bewegung der Bildschirmtinte
oder des Stiftsymbols in den schattierten Bereich 550 die
Vollendung eines Zeichens.
-
Die
visuelle Rückmeldung
kann eine Änderung
der angezeigten Zeichenelemente beim Erkennen neuer Einheitsvektoren
beinhalten. Diese Methode wird in 29 der
beigefügten
Zeichnungen dargestellt. Der untere Teil des „h" wird bei Erkennen des Einheitsvektors
L (nach links) in den Kreis für
ein „b" geändert. Das „b" wird schließlich bei
Erkennen des letzten Einheitsvektors R (nach rechts) in ein „k" umgewandelt.
-
Im
Folgenden wird mit Verweis auf die 13A und 13B sowie 14A und 14B der beigefügten
Zeichnungen ein Zeichengerät
zur Verwendung mit dieser Erfindung beschrieben, dessen praktische
Ausführung
erforderlich ist, um eine effiziente Quantisierung von Fingerbewegungen
während
des handschriftlichen Schreibens zur Erzeugung von Einheitsvektoren
nachzuweisen. Es wird davon ausgegangen, dass für die Verwendung mit dieser
Erfindung eine Vielzahl möglicher Stiftformen
produziert und dass darüber
hinaus existierende Eingabegeräte
für Computer
zur Integrierung der hier beschriebenen Erfindung angepasst werden
können.
-
Die
Zeichnungen zeigen einen Stift 100 mit einem röhrenförmigen,
hohlen Körper 102.
Aus dem unteren Ende des Körpers
ragt ein Stab 104 hervor, der in dem Körper unter 106 zentral
angebracht ist, so dass, wird die Spitze des Stabs auf einer Oberfläche aufgesetzt
und nicht bewegt, der Stiftkörper
sich gegenüber
der Spitze in verschiedene Richtungen bewegt werden kann. Im Innern
des Stiftkörpers
befinden sich vier Lichtquellen 108, die jeweils am Mittelpunkt
der Seiten einer virtuellen quadratischen Vorlage angeordnet sind. Über jeder
dieser Lichtquellen befindet sich ein Glasfaserkabel 110 zur
Erfassung des Zustands Ein bzw. Aus der jeweiligen Lichtquelle,
wobei die Signale zur Erkennung durch einen Mikroprozessor erzeugt
werden können.
Der Stab 104 wird am oberen Ende durch eine quadratische
Platte 112 abgeschlossen, die in einer Ruhestellung, d.
h. wenn der Stab in der zentralen Achse des Stifts ausgerichtet
ist, die Erkennung aller Lichtquellen durch die zugeordneten Glasfaserkabel 110 ermöglicht.
Wird der Stiftkörper
gegenüber
dem Stab bewegt, verdeckt diese Platte abhängig von der Bewegungsrichtung
des Stifts zwei dieser Lichtquellen. Die 13B bzw. 14B zeigen diese Platte in ihrer neutralen Position
bzw. in der entsprechenden Position bei Bewegung des Stifts nach
oben rechts. Die Bewegung der Stiftspitze wird durch eine quadratische
Vorlage 114 in Form einer Öffnung am unteren Ende des
Stifts eingeschränkt,
durch welche die Stiftspitze weitergeführt ist. Der Stift umfasst
daher die notwendigen Mittel zur Erkennung der Richtung, in die
der Stift beim Formen der Zeichen geführt wird, und erzeugt auf diese
Weise ein Signal, das von einem Mikroprozessor oder Computer zur
Anzeige der Zeichen auf einem Bildschirm erkannt werden kann.
-
Ist
die Stiftspitze darüber
hinaus flexibel gestaltet, können
die Finger auch kreisrunde und Bogenbewegungen ausführen, während die
Signale weiterhin auf der Basis der quadratischen Vorlage erzeugt
werden.
-
15 der
beigefügten
Zeichnungen zeigt schematisch die Verwendung eines Stiftgerät mit einer
virtuellen Vorlage. Die Position der Stiftspitze 150 im
Verhältnis
zum Zentrum der virtuellen Vorlage 152 wird als Wert der
Koordinaten x und y erfasst. Bewegt man den Stiftkörper mit
den Fingern um die Stiftspitze, folgt die virtuelle Vorlage dieser
Bewegung und bewirkt eine relationale Bewegung zwischen Stiftspitze
und Vorlage. Die zur virtuellen Vorlage relationale Spur oder Position
der Stiftspitze ist durch die Linie 154 dargestellt.
-
Die
Bewegung wird mit den Vorlageseiten verglichen, d. h. sie wird als
Abbild der Position der Stiftspitze auf der Vorlage gespeichert.
Daraus ergibt sich z. B. eine Abfolge der Einheitsvektoren L D R, die
als Zeichen „c" dekodiert werden
könnten.
-
Vorausgesetzt,
dass die Stiftspitze wandert um die Außenseiten der Vorlage und die
Vorlage ist immer kleiner als das kleinste ausgeführte Zeichen, wird
die Abfolge der Einheitsvektoren immer für die Form der stilisierten
Zeichen dekodiert, unabhängig von
Maßstab
oder Geschwindigkeit in denen diese ausgeführt werden.
-
Eine
weitere Ausführung
der Erfindung (vgl. 17) besteht aus einer Vorlage,
die in eine tragbare Datenbank 300 oder einen tragbaren
Computer oder ein anderes Produkt eingebaut ist, das die Eingabe
von Informationen erfordert, wie z. B. Videorekorder, Taschenrechner,
Telefon, Zentralheizungssteuerung, Waschmaschinen usw. Die Vorlagensensoren
werden durch die Bewegung einer kleinen Schreibspitze 302 aktiviert,
die man zwischen den Fingern hält.
-
Die
Schreibspitze kann fest oder gelenkig mit dem Produkt verbunden,
abnehmbar oder getrennt von diesem sein. Mit dieser Anwendung kann
der für die
Dateneingabe erforderliche Platz erheblich reduziert werden, da
die Vorlage 304 die viel größeren Tastaturen oder Tastenfelder 310 einer
herkömmlichen
tragbaren Datenbank 312 (vgl. 16) mit
einem Display 314 ersetzt. Nach der Eingabe kann zudem
die Schreibspitze, wie dargestellt, Platz sparend eingeklappt werden.
Der Vorteil dieser Ausführung der
Erfindung liegt darin, dass das Produkt eine deutlich geringere
Größe aufweisen
kann, dass bei Benutzung der Schreibspitze die Augen nicht zwischen Display 314 und
Spitze wechseln müssen,
dass die Benutzung einfacher ist als mit den üblicherweise sehr engen Eingabetasten
und dass die Daten schneller eingegeben werden können.
-
Die
Produktion des Eingabegeräts
kann weitaus billiger erfolgen als bei Verwendung einer Tastatur
oder eines Touchscreens. Darüber
hinaus kann eine Datenkabel zwischen der tragbaren Datenbank usw.
und einem Computer die Texteingabe mittels eingebautem Stiftgerät direkt
in den Computer ermöglichen.