WO2006120119A1 - Method and device for inputting characters in a data processing system - Google Patents

Method and device for inputting characters in a data processing system Download PDF

Info

Publication number
WO2006120119A1
WO2006120119A1 PCT/EP2006/061821 EP2006061821W WO2006120119A1 WO 2006120119 A1 WO2006120119 A1 WO 2006120119A1 EP 2006061821 W EP2006061821 W EP 2006061821W WO 2006120119 A1 WO2006120119 A1 WO 2006120119A1
Authority
WO
WIPO (PCT)
Prior art keywords
characters
output
handwriting
character
user
Prior art date
Application number
PCT/EP2006/061821
Other languages
German (de)
French (fr)
Inventor
Henry Feil
Ewald Frensch
Original Assignee
Siemens Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Aktiengesellschaft filed Critical Siemens Aktiengesellschaft
Publication of WO2006120119A1 publication Critical patent/WO2006120119A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675

Definitions

  • the present invention relates to a method and an apparatus for inputting characters in a data processing system, as well as a data processing system, in particular in the execution of a portable electronic device having a device for inputting characters.
  • a movement of a user by the portable electronic device is used to enter characters or control instructions detected.
  • the detection of the movement can take place, for example, by means of optical sensors, as in a computer mouse or by means of acceleration sensors.
  • it is also necessary here that the appropriate movements are recognized as characters using a special font recognition software.
  • the input of writing methods has the problem that erroneous entries or misrecognitions of the characters may occur.
  • text-to-speech text-to-speech
  • the portable electronic device or cellphone has recognized the character
  • the recognized character is read in the form of a word over an audio channel (conventionally the speaker of a mobile phone).
  • the writing speed from one user to the next user is very different, and the output of the recognized characters usually always occurs at the same speed.
  • a method for entering characters or characters into a data processing system comprises the following steps. First, a plurality of first handwriting elements are sequentially detected, each of which represents a character.
  • a handwriting element can be understood as a movement performed by a user to describe a character. On the one hand, the movement currently being performed by the user to describe one or more characters can be detected. However, it is also conceivable to record already recorded movements for the description of one or more characters.
  • a user may write one or more characters on a paper by means of the color of a conventional pen, the paper then serving as a recording medium for the movement to describe characters, and by means of an optical scanner the user's recorded motion, as the character (s) are captured.
  • the acquisition time required to acquire the plurality of handwriting elements is determined.
  • an input speed is calculated from the number of detected first handwriting elements per acquisition time. For example, a certain number of handwriting elements that have just been recorded are taken for this purpose and the required acquisition time determined for this particular number. The input speed can then be calculated as a quotient of the number of recorded first handwriting elements and the acquisition time required for this.
  • the process steps carried out so far serve more or less to determine the individual writing speed of a current user.
  • one or more other handwriting elements are detected, each of which represents a character.
  • the respective characters are then determined, wherein the determination of the respective characters takes place by means of special character recognition methods, which are usually realized by means of special software.
  • recognition methods a recorded font is chen compared with a predefined character, in which case the most similar to the detected character predefined character is output as the recognized character. If the characters have been determined, they are output in a next step in succession at an output speed which depends on the input speed which has been previously calculated.
  • the adaptation of the speech output speed to the input speed of a user's characters has the advantage that it is just a user who performs a high-speed font input not to have to wait long until the acoustic speech output of the recognized characters is finished, but almost immediately after the input may use an input sequence of characters, for example, for use in a particular application or for transmission to the data processing system.
  • the determined characters are emitted acoustically in succession as acoustic feedback.
  • the determined characters can be output one after the other, which is advantageous for a sequence of digits.
  • the ascertained characters can be assembled into a sequence of characters, which is determined according to the order in which the handwriting elements are detected. Subsequently, within the sequence of characters, words can be recognized, and then the recognized words are output acoustically.
  • the capture of handwriting elements can be accomplished by detecting a movement of a user with which the user describes a character. The detection of a movement of a user can be done for example by means of an acceleration sensor, an optical sensor and / or a touch sensor.
  • an acceleration sensor is used to detect the movement of a user, the acceleration sensor measures the accelerations occurring during the character description movement, which can finally be converted by means of temporal integration into a locus or movement curve of the user when describing characters. This movement curve can then be handed over to a text recognition method in order to recognize a character from it.
  • An optical sensor for detecting a movement of a user may, for example, comprise a camera, with which images of a background (a plane over which the movement for describing handwriting elements takes place) are taken in the equidistant time steps and compared with respectively preceding images (prominent image elements which represent the same background objects are compared between a current and a previous image), which is referred to as a so-called "pixel matching". From the difference images then motion vectors can be calculated, which can be finally integrated into the new position, so as to obtain a locus or movement curve of the movement of a user in the description of characters. The motion curve is then again fed to a text recognition process.
  • a touch sensor may be provided, for example, on a tip of a portable electronic device designed as a pen-shaped mobile phone, the sensor comprising, for example, a rotatable ball at the tip, which during movement rotates over a contacting surface and, by virtue of the rotation, can be closed to the movement of the device being guided by a user.
  • an apparatus for inputting characters into a data processing system comprises a sensor device for detecting handwriting elements in succession, each of which represents a character. Furthermore, the device comprises a time measuring device for measuring the time taken or required to acquire a plurality of first manual elements. In addition, calculating means for calculating an input speed from the number of detected first handwriting elements per detection time is provided. While the sensor device on the one hand serves to detect first handwriting elements in order to derive the input speed based on the duration of their detection, the sensor device also serves to detect further handwriting elements. Finally, a recognition device for determining the respective characters from the further recorded handwriting elements is provided. An acoustic output device then serves for the acoustic output of the respective The resulting characters are determined sequentially at an output speed that depends on the input speed.
  • the sensor device may comprise an acceleration sensor, an optical sensor or touch sensor. Furthermore, the acoustic output device may comprise a loudspeaker. It is conceivable that the time measuring device, the calculation device and / or the recognition device have a microprocessor, or that the mentioned devices are designed as software applications which are executed by a microprocessor.
  • a data processing system comprising a character writing device just described.
  • the data processing system can be designed as a portable electronic device.
  • it may be designed as a mobile or mobile telephone, but also as a small portable computer, for example in the execution of an organizer or PDA (PDA: Personal Digital Assistant).
  • PDA Personal Digital Assistant
  • Figure 2 is a schematic representation of the method for
  • FIG. 3 shows a time structure with event lines for explaining the input of characters and the output the recognized characters at an output speed adapted to the input speed of a first user
  • FIG. 4 shows a time structure with event lines for explaining the input of characters and the output of recognized characters at a speed which is adapted to the input speed of a second user;
  • FIG. 5 shows a data processing system in the form of a mobile telephone according to a first embodiment for inputting characters
  • FIG. 6 shows a data processing system in the form of a mobile telephone according to a second embodiment for inputting characters
  • FIG. 7 shows a data processing system in the form of a mobile telephone according to a third embodiment of the invention
  • FIG. 8 shows a data processing system in the form of a mobile telephone according to a fourth embodiment for inputting characters
  • FIG. 9 shows a data processing system in the form of a mobile telephone according to a fifth embodiment for inputting characters.
  • FIGS. 5 to 9 Before a method for inputting characters and for adjusting the output speed of the acoustic feedback of the input characters will be explained with reference to FIGS. 1 to 4, a possible device for inputting characters will first be explained with reference to FIGS. 5 to 9.
  • a mobile phone MFGl has a conventional shape in the shape of a cuboid. It has an acoustic output device with a loudspeaker LS.
  • the acoustic output device serves as a so-called "text-to-speech" system (“Text-to-Speach" system).
  • the mobile phone has an acoustic input device with a microphone MIK.
  • a keyboard TAS with multiple keys for entering control statements.
  • a display device DSP which has a touch-sensitive screen. This touch-sensitive screen thereby represents a touch sensor BS.
  • a stylus STI With a stylus STI, it is then possible to input handwriting elements which represent one or more characters by descending characters while the tip of the stylus STI is in contact with the display device DSP.
  • a user may place the tip of the stylus STI on the display DSP and perform a movement corresponding to the numeral "0" or "1", whereby the movement curve of the pen tip detected by the touch sensor BS is forwarded to a recognition device EKE, which is adapted to determine from the detected movements of the pen tip, ie the handwriting elements, the respective characters.
  • the recognition device EKE also serves to classify recognized characters or sets of characters into a sequence of characters, namely in the order of detection of the handwriting elements assigned to the characters.
  • a time measuring means ZME is for measuring the detection time past to detect a plurality of first handwriting elements, and a calculating means BRE for calculating an input speed from the number of detected first handwriting elements per collection time. Based on the calculated
  • the acoustic output device is capable of reproducing the respectively determined characters. output each other at an output speed that depends on the input speed.
  • the mobile telephone MFG2 essentially comprises the same components with the same function as the mobile telephone MFG1, for which reason reference is made to the explanation relating to the mobile telephone MFG1 for a detailed explanation of the same components.
  • the mobile telephone MFG2 comprises an optical sensor OS, which is provided in the tip section of the mobile telephone.
  • the optical sensor OS which comprises an optical camera, serves to record images of a surface OF in equidistant time steps and to record them with respective preceding ones
  • the time measuring means ZME can then determine the detection time for a character.
  • the time measuring means ZME can measure the time interval between the first press and the further depression of one of the keys of the keyboard TAS1 as a detection time for one or more characters.
  • a corresponding function of one of the keys of the keyboard TAS1 in conjunction with the time measuring device ZME is also applicable to the mobile phones MFG3 and MFG4 of Figures 7 and 8.
  • the function of the calculation device BRE will be explained in more detail later with reference to FIGS. 1 to 4.
  • FIG. 7 a further device for inputting characters in the form of a mobile phone MFG3 designed as a pen is shown.
  • the mobile phone MFG3 corresponds in structure essentially to the mobile phone MFG2, for which reason reference is made to the explanation of the same components on the explanation of the mobile phone MFG2.
  • the main difference of the mobile phone MFG3 is now that it has a touch sensor BS1 instead of the optical sensor OS in the mobile phone MFG2.
  • This can for example have a rotatably mounted ball at the top of the mobile phone MFG3, the rotation of which is then measurable when the ball or the touch sensor BSl is moved in contact with the surface OF over this time.
  • the movement of the tip of the mobile telephone MFG3 can then be detected over the surface OF. If a letter is described with the tip, then this can be detected by the touch sensor BS1, converted into a movement curve or locus curve and fed to the detection device EKE by this movement curve. As already explained with reference to the other embodiments, is the recognition device EKE then able to recognize the respective character on the basis of the movement curve.
  • FIG. 8 a further device for inputting characters in the form of a mobile phone MFG4 designed as a pen is shown.
  • the mobile telephone MFG4 again essentially matches the mobile telephones MFG2 and MFG3, for which reason reference is made to the above-described mobile telephones in order to explain the same components.
  • Characteristic of the mobile phone MFG4 is that it now has a gyro sensor or acceleration sensor GS in the tip section of the phone for detecting movements.
  • This gyro sensor has at least two sensor sections, but advantageously three sensor sections for detecting accelerations in two, advantageously in three dimensions.
  • the acceleration sensor GS detects the accelerations occurring at the tip of the mobile phone MFG4.
  • a movement curve or locus of movement of the tip of the mobile telephone MFG4 can be calculated. This locus is then in turn fed to the detection device EKE, which determines a character or several characters from the movement curve.
  • FIG. 9 a further device for inputting characters according to a further aspect of the invention is shown.
  • the mobile phones MFG1 to MFG4 were based on inputting characters in such a way as to detect a movement of a user with which a character is described
  • the mobile phone MFG5 is designed to detect language elements of a user, each of which is a character or a sentence consisting of at least one character represented.
  • Similar to the mobile phone MFGl includes the mobile phone MFG5 a display device DSP for displaying graphical symbols or characters, and a keyboard TAS for operating the mobile phone.
  • the mobile phone MFG5 has no sensor or sensor device for detecting handwriting elements.
  • the mobile telephone MFG5 has an acoustic input device with a microphone MIK for detecting speech elements one after the other, each of which represents a character or a sentence consisting of at least one character. Accordingly serves now the
  • Time measuring means ZME to the knife of the past detection time for detecting a plurality of first language elements, and is a calculation means BRE for calculating an input speed from the number of detected first speech elements per detection time.
  • a recognition device EKE is used to determine the respective characters or sets of characters of further acquired speech elements, wherein an acoustic output device with loudspeakers LS is adapted to output the respective determined characters or sets of characters successively at an output speed which depends on the input speed.
  • the loudspeakers LS are designed as earphones, and serve together with the microphone MIK as a kind of hands-free device.
  • the training of the loudspeaker LS as
  • Earphone is advantageous because thus a sound transmission of the speaker LS to the microphone is greatly reduced or prevented.
  • FIG. 1 shows in schematic form the problem of an adequate response when inputting characters from different users with different input speeds. opportunities.
  • a first "font input” time line or "font input” event line it should be illustrated that a first user inputs the digits SZ, namely “0”, “1”, “2”, and “3” in respective first time intervals TlE. gives. It should be noted that time progresses from left to right. Accordingly, a second user inputs the four digits SZ, namely, “0", “1", “2”, and “3” successively at respective time intervals T2E according to the second "font input” time line, with a respective time interval T2E larger as a time interval TlE.
  • the entry of a character can be done by one of the sensors for detecting a movement of a user according to the mobile phones MFGl to MFG4, or can be done by entering speech elements that represent one or more characters according to the mobile phone MFG5. It is important to note, however, that the input of characters by the different users is at a different speed, whereas a speech output of words ESZ representing recognized characters or numerals in a third "speech output" event line always occurs at the same speed ie, for each voice element output, the acoustic voice output device of a mobile phone requires a time interval TOA.
  • a respective detected or entered character SZ of a user must first be supplied to a recognition device (corresponding to a recognition device EKE of one of the mobile phones MFG1 to MFG5), the recognition device determining the character behind a handwriting element or speech element must and then the acoustic voice output device must transmit to the acoustic output.
  • a recognition device corresponding to a recognition device EKE of one of the mobile phones MFG1 to MFG5
  • the recognition device determining the character behind a handwriting element or speech element must and then the acoustic voice output device must transmit to the acoustic output.
  • step S1 an adaptation of the output speed of the acoustic feedback to the input speed during the detection of characters is proposed.
  • step S1 a number N of characters are first detected (either in the form of handwriting elements or of language elements). Such detection is shown, for example, in FIGS. 3 and 4 with respect to the respective first "font input" event line.
  • a step S2 the respective time or acquisition time is determined, which was required for the input of the currently entered characters.
  • the user 1 has required the acquisition time TlR to enter his four digits
  • the user 2 has required the acquisition time T2R to enter his four digits.
  • step S3 in FIG. 5 the number N of the characters detected during the respective acquisition time is determined. As already mentioned, four characters each were recorded during the respective acquisition times TlR and T2R.
  • a step S4 the input speed of the respective users 1 and 2 is now determined.
  • the input speed VIR of the user 1 is calculated from the quotient of the number of characters N divided by the acquisition time TlR.
  • the input speed V2R of the user 2 is calculated from the quotient of the number of characters N divided by the detection time T2R. That is, from a plurality of characters just entered (here, N), the input speed individual for each user is calculated to take into account for the output of the following characters.
  • a device according to a preferred embodiment trained by a certain number of characters of the invention, it can adjust its output speed in the acoustic feedback to a respective user. While in the example a training based on the last four recorded characters has been done, a training based on the last ten or twenty or any first number of characters is possible.
  • the acoustic voice output or feedback according to the respective second event lines in FIGS. 3 and 4 takes place at output speeds VlA and V2A, respectively, which depend on the respective input velocities VIR and V2R.
  • the output speed VlA corresponds to the input speed VIR and corresponds to the output speed V2A of the input speed V2R.
  • the respective time intervals TIA and T2A correspond to the respective input time intervals TlE and T2E.
  • the acoustic speech output or feedback shifts or lags behind by a small amount of time. Due to the fact that now the input and output of

Abstract

The invention relates to a method and a device for inputting characters in a data processing system (MFG4). A sensor device (GS) acquires a plurality of first handwritten elements one after the other, each of which represents a character. A time measuring device (ZME) measures the time required for the acquisition of the plurality of first handwritten elements. A calculation device (BRE) calculates an input speed based on the number of acquired first handwritten elements per acquisition time. A recognition device (EKE) determines the characters of additional handwritten elements. The determined characters are acoustically output by an acoustic output device (LS) one by one in a output speed which depends on the input speed, thereby allowing to individually adapt the output speed to a user.

Description

Beschreibungdescription
Verfahren und Vorrichtung zum Eingeben von Schriftzeichen in eine DatenverarbeitungsanlageMethod and device for entering characters in a data processing system
Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zum Eingeben von Schriftzeichen in eine Datenverarbeitungsanlage, sowie eine Datenverarbeitungsanlage, insbesondere in der Ausführung eines tragbaren elektronischen Ge- räts, welche eine Vorrichtung zum Eingeben von Schriftzeichen aufweist .The present invention relates to a method and an apparatus for inputting characters in a data processing system, as well as a data processing system, in particular in the execution of a portable electronic device having a device for inputting characters.
Die Miniaturisierung von tragbaren elektronischen Geräten, wie Mobiltelefonen oder Organizern, bringt eine Verringerung der Bedienungselemente mit sich, und führt teilweise bis zu einem vollkommenen Verzicht auf mechanische Tasten bzw. Tastaturen. Jedoch stellt sich dabei dann immer mehr das Problem der Eingabe von differenzierten Steueranweisungen, wie beispielsweise von Schriftzeichen bei einer Schrifteingabe. Bei größeren tragbaren Geräten ist hierzu herkömmlicher Weise ein berührungssensitives Display, ein so genannter "Touch Screen" vorgesehen, auf dem mittels eines speziellen Stifts Zeichen bzw. Schriftzeichen geschrieben werden können, welche dann mittels einer speziellen Schrifterkennungssoftware als Schriftzeichen oder Steueranweisungen erkannt werden. Bei kleineren tragbaren elektronischen Geräten, wie beispielsweise bei als Stift ausgebildeten Mobiltelefonen (sog. "Pen Pho- nes"), welche zumeist ein kleines Display aufweisen, wird hingegen zum Eingeben von Schriftzeichen oder Steueranweisun- gen eine Bewegung eines Benutzers durch das tragbare elektronische Gerät erfasst. Die Erfassung der Bewegung kann dabei beispielsweise mittels optischer Sensoren, wie bei einer Computermaus oder mittels Beschleunigungssensoren erfolgen. In jedem Fall ist es auch hier notwendig, dass mit einer spe- ziellen Schrifterkennungssoftware die entsprechenden Bewegungen als Schriftzeichen erkannt werden. In jedem der gerade geschilderten Fälle kommt es jedoch vor, dass Schrifteingabeverfahren grundsätzlich das Problem haben, dass es zu Fehleingaben oder Falscherkennungen der Schriftzeichen kommen kann. Damit ein Benutzer eine Falscherkennung oder Fehleingabe erkennt, verfügen beispielsweise Mobiltelefone in der Ausführung eines Stifts über sog. "Text-zu- Sprache"-Systeme ("Text-to-Speech"-Systeme) , bei denen der Benutzer die erkannten Schriftzeichen akustisch ausgegeben bekommt und somit ein Feedback bezüglich seiner Eingabe er- hält. Genauer gesagt, wenn ein Benutzer ein Schriftzeichen eingegeben und das tragbare elektronische Gerät bzw. das Mobiltelefon das Zeichen erkannt hat, wird das erkannte Zeichen in Form eines Wortes über einen Audio-Kanal, (herkömmlicherweise dem Lautsprecher eines Mobiltelefons) vorgelesen. In der Regel ist jedoch die Schreibgeschwindigkeit von einem Benutzer zu dem nächsten Benutzer sehr unterschiedlich, wobei die Ausgabe der erkannten Schriftzeichen gewöhnlicher Weise immer mit der gleichen Geschwindigkeit erfolgt.The miniaturization of portable electronic devices, such as cell phones or organizers, involves a reduction in controls, and sometimes results in a total relinquishment of mechanical keys or keyboards. However, there is then more and more the problem of entering differentiated control statements, such as characters in a font input. In the case of larger portable devices, conventionally a touch-sensitive display, a so-called "touch screen" is provided on which characters or characters can be written by means of a special pen, which are then recognized by means of a special character recognition software as characters or control instructions. In the case of smaller portable electronic devices, such as, for example, pen telephones (so-called "pen phones"), which for the most part have a small display, a movement of a user by the portable electronic device is used to enter characters or control instructions detected. The detection of the movement can take place, for example, by means of optical sensors, as in a computer mouse or by means of acceleration sensors. In any case, it is also necessary here that the appropriate movements are recognized as characters using a special font recognition software. In each of the cases just described, however, it happens that in principle, the input of writing methods has the problem that erroneous entries or misrecognitions of the characters may occur. For example, to allow a user to recognize misrecognition or misentry, mobile phones in the design of a pen have text-to-speech ("text-to-speech") systems in which the user outputs the recognized characters acoustically receives feedback on his input. More specifically, when a user has entered a character and the portable electronic device or cellphone has recognized the character, the recognized character is read in the form of a word over an audio channel (conventionally the speaker of a mobile phone). In general, however, the writing speed from one user to the next user is very different, and the output of the recognized characters usually always occurs at the same speed.
Diese Ausgabe mit gleicher Geschwindigkeit hat jedoch denHowever, this issue with the same speed has the
Nachteil, dass insbesondere bei Benutzern, die Schriftzeichen mit hoher Eingabegeschwindigkeit eingeben, der Zeitpunkt der Eingabe des Schriftzeichens und der Zeitpunkt der Ausgabe des akustischen Feedbacks zeitlich weit auseinander liegen und somit von dem Benutzer eine große Erinnerungsleistung abverlangt wird, wenn er die eingegebenen Schriftzeichen auf deren Richtigkeit überprüfen muss.Disadvantage that, in particular for users who enter characters with high input speed, the time of input of the character and the time of the output of the acoustic feedback are far apart in time and thus the user is required a great memory performance when he typed the characters on their Check correctness.
Somit ist es die Aufgabe der vorliegenden Erfindung, eine Möglichkeit zur Eingabe von Schriftzeichen zu schaffen, bei der eine einfache Überprüfung der eingegebenen Schriftzeichen möglich ist.Thus, it is the object of the present invention to provide a way to input characters in which a simple check of the input characters is possible.
Diese Aufgabe wird durch die unabhängigen Ansprüche gelöst. Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche. Dabei umfasst ein Verfahren zum Eingeben von Zeichen bzw. Schriftzeichen in eine Datenverarbeitungsanlage folgende Schritte. Es wird zunächst eine Mehrzahl von ersten Hand- schriftelementen nacheinander erfasst, von denen jedes ein Schriftzeichen repräsentiert. Ein Handschriftelement kann dabei als eine von einem Benutzer durchgeführte Bewegung zur Beschreibung eines Schriftzeichen verstanden werden. Zum einen kann dabei die aktuell vom Benutzer gerade durchgeführte Bewegung zur Beschreibung eines oder mehrerer Schriftzeichen erfasst werden. Es ist jedoch auch denkbar, schon aufgezeichnete Bewegungen zur Beschreibung eines oder mehrerer Schriftzeichen zu erfassen. Im letzteren Fall kann dabei ein Benutzer mittels Farbe eines herkömmlichen Stifts auf einem Papier ein oder mehrere Schriftzeichen schreiben, wobei das Papier dann als Aufzeichnungsmedium für die Bewegung zur Beschreibung von Schriftzeichen dient, und mittels eines optischen Scanners kann dann die aufgezeichnete Bewegung des Benutzers, als das oder die Schriftzeichen erfasst werden. Nun wird die zur Erfassung der Mehrzahl von Handschriftelementen benötigte bzw. vergangene Erfassungszeit bestimmt. Anschließend wird eine Eingabegeschwindigkeit aus der Anzahl der erfassten ersten Handschriftelemente pro Erfassungszeit berechnet. Beispielsweise wird hierzu eine bestimmte Anzahl gerade erfass- ter Handschriftelemente genommen, und für diese bestimmte An- zahl die benötigte Erfassungszeit bestimmt. Die Eingabegeschwindigkeit kann dann als ein Quotient aus der Anzahl der erfassten ersten Handschriftelemente und der dafür benötigten Erfassungszeit berechnet werden. Die bis hierher durchgeführten Verfahrensschritte dienen mehr oder weniger zur Bestim- mung der individuellen Schreibgeschwindigkeit eines gerade aktuellen Benutzers . Nun werden ein oder mehrere weitere Handschriftelemente erfasst, von denen jedes ein Schriftzeichen repräsentiert. Aus den erfassten Handschriftelementen werden dann die jeweiligen Schriftzeichen ermittelt, wobei die Ermittlung der jeweiligen Schriftzeichen dabei mittels speziellen Schrifterkennungs-Verfahren erfolgt, welche üblicherweise mittels spezieller Software realisiert sind. Bei derartigen Erkennungsverfahren wird ein erfasstes Schriftzei- chen mit einem vordefinierten Schriftzeichen verglichen, wobei dann das dem erfassten Schriftzeichen am ähnlichsten vordefinierte Zeichen als das erkannte Zeichen ausgegeben wird. Sind die Schriftzeichen ermittelt, so werden diese in einem nächsten Schritt nacheinander in einer Ausgabegeschwindigkeit ausgegeben, die von der Eingabegeschwindigkeit, welche zuvor berechnet worden ist, abhängt. Das bedeutet, durch das Lernen der individuellen Eingabegeschwindigkeit eines aktuellen Benutzers im ersten Teil des Verfahrens ist es möglich, die Sprachausgabe zur Überprüfung der Eingabe an die individuelle Eingabegeschwindigkeit des Benutzers anzupassen. Folglich laufen der Zeitpunkt der Eingabe und der Zeitpunkt der akustischen Ausgabe zeitlich nicht oder nicht stark auseinander. Die somit als Eingabe-Feedback gedachte akustische Sprachaus- gäbe der erkannten Schriftzeichen korreliert nun unmittelbar mit der Eingabe und der Benutzer hat somit eine unmittelbare Kontrolle (er benötigt keine große Erinnerungsleistung, um die zuvor getätigte Eingabe überprüfen zu können) . Des Weiteren hat die Anpassung der Sprachausgabegeschwindigkeit an die Eingabegeschwindigkeit von Schriftzeichen eines Benutzers den Vorteil, dass gerade ein Benutzer, der eine Schrifteingabe mit hoher Geschwindigkeit durchführt, nicht erst lange warten muss, bis die akustische Sprachausgabe der erkannten Schriftzeichen beendet ist, sondern quasi unmittelbar nach der Ein- gäbe eine eingegebenen Folge von Schriftzeichen beispielsweise zur Verwendung in einer bestimmten Applikationen oder zur Übertragung an die Datenverarbeitungsanlage verwenden kann.This object is solved by the independent claims. Advantageous embodiments of the invention are the subject of the dependent claims. In this case, a method for entering characters or characters into a data processing system comprises the following steps. First, a plurality of first handwriting elements are sequentially detected, each of which represents a character. A handwriting element can be understood as a movement performed by a user to describe a character. On the one hand, the movement currently being performed by the user to describe one or more characters can be detected. However, it is also conceivable to record already recorded movements for the description of one or more characters. In the latter case, a user may write one or more characters on a paper by means of the color of a conventional pen, the paper then serving as a recording medium for the movement to describe characters, and by means of an optical scanner the user's recorded motion, as the character (s) are captured. Now, the acquisition time required to acquire the plurality of handwriting elements is determined. Subsequently, an input speed is calculated from the number of detected first handwriting elements per acquisition time. For example, a certain number of handwriting elements that have just been recorded are taken for this purpose and the required acquisition time determined for this particular number. The input speed can then be calculated as a quotient of the number of recorded first handwriting elements and the acquisition time required for this. The process steps carried out so far serve more or less to determine the individual writing speed of a current user. Now one or more other handwriting elements are detected, each of which represents a character. From the recorded handwriting elements, the respective characters are then determined, wherein the determination of the respective characters takes place by means of special character recognition methods, which are usually realized by means of special software. In such recognition methods, a recorded font is chen compared with a predefined character, in which case the most similar to the detected character predefined character is output as the recognized character. If the characters have been determined, they are output in a next step in succession at an output speed which depends on the input speed which has been previously calculated. That is, by learning the individual input speed of a current user in the first part of the method, it is possible to match the voice output to the user's individual input speed to check the input. As a result, the timing of the input and the timing of the acoustic output do not vary widely or not at all. The acoustic speech output of the recognized characters, which is thus intended as input feedback, now correlates directly with the input and the user thus has immediate control (he does not need much memory in order to be able to check the input previously made). Furthermore, the adaptation of the speech output speed to the input speed of a user's characters has the advantage that it is just a user who performs a high-speed font input not to have to wait long until the acoustic speech output of the recognized characters is finished, but almost immediately after the input may use an input sequence of characters, for example, for use in a particular application or for transmission to the data processing system.
Wie gerade erwähnt, werden als akustisches Feedback die er- mittelten Schriftzeichen nacheinander akustisch ausgegeben. Dabei können die ermittelten Schriftzeichen einzeln nacheinander ausgegeben werden, was vorteilhaft bei einer Folge von Ziffern ist. Es ist jedoch auch möglich, dass die ermittelten Schriftzeichen zu einer Folge von Zeichen zusammengesetzt werden, die sich nach der Reihenfolge des Erfassens der Hand- schriftelemente bestimmt. Anschließend können innerhalb der Folge von Zeichen Wörter erkannt werden, wobei dann die erkannten Wörtern akustisch ausgegeben werden. Wie bereits erwähnt, kann das Erfassen von Handschriftelementen durch ein Erfassen einer Bewegung eines Benutzers vonstatten gehen, mit der der Benutzer ein Schriftzeichen be- schreibt. Die Erfassung einer Bewegung eines Benutzers kann dabei beispielsweise mittels eines Beschleunigungssensors, eines optischen Sensors und/oder eines Berührungssensor erfolgen.As just mentioned, the determined characters are emitted acoustically in succession as acoustic feedback. In this case, the determined characters can be output one after the other, which is advantageous for a sequence of digits. However, it is also possible for the ascertained characters to be assembled into a sequence of characters, which is determined according to the order in which the handwriting elements are detected. Subsequently, within the sequence of characters, words can be recognized, and then the recognized words are output acoustically. As already mentioned, the capture of handwriting elements can be accomplished by detecting a movement of a user with which the user describes a character. The detection of a movement of a user can be done for example by means of an acceleration sensor, an optical sensor and / or a touch sensor.
Wird ein Beschleunigungssensor zur Erfassung der Bewegung eines Benutzers verwendet, so misst der Beschleunigungssensor die bei der Bewegung zur Beschreibung von Schriftzeichen auftretenden Beschleunigungen, welche mittels zeitlicher Integration schließlich in eine Ortskurve oder Bewegungskurve des Benutzers bei der Beschreibung von Zeichen umgewandelt werden kann. Diese Bewegungskurve kann dann einem Schrifterkennungsverfahren übergeben werden, um daraus ein Schriftzeichen zu erkennen.If an acceleration sensor is used to detect the movement of a user, the acceleration sensor measures the accelerations occurring during the character description movement, which can finally be converted by means of temporal integration into a locus or movement curve of the user when describing characters. This movement curve can then be handed over to a text recognition method in order to recognize a character from it.
Ein optischer Sensor zur Erfassung einer Bewegung eines Benutzers kann beispielsweise eine Kamera aufweisen, mit welcher in der äquidistanten Zeitschritten Bilder eines Untergrunds (einer Ebene, über der die Bewegung zur Beschreibung von Handschriftelementen stattfindet) aufgenommen werden und mit jeweils vorhergehenden Bildern verglichen werden (markante Bildelemente, welche gleiche Untergrundobjekte darstellen, werden zwischen einem aktuellen und einem vorhergehenden Bild verglichen) , was als so genanntes "pixel matching" bezeichnet wird. Aus den Differenzbildern können dann Bewegungsvektoren errechnet werden, die schließlich zur neuen Position integriert werden können, um somit eine Ortskurve oder Bewegungskurve der Bewegung eines Benutzers bei der Beschreibung von Schriftzeichen zu erhalten. Die Bewegungskurve wird dann wiederum einem Schrifterkennungs-Verfahren zugeführt. Des Weite- ren ist es möglich, bereits auf ein Aufzeichnungsmedium, wie ein Blatt Papier, geschriebene Handschriftelemente mittels eines optischen Scanners zu erfassen und daraus die Schriftzeichen zu erkennen. Bei der Verwendung von Berührungssensoren gibt es dabei im Wesentlichen zwei verschiedene Möglichkeiten. Zum einen ist es möglich, dass insbesondere bei der Verwendung des Verfah- rens in elektronischen Geräten mit einem größeren Display, das Display als ein berührungssensitives Display ausgebildet sein kann, wobei mittels eines Stifts ein Benutzer Schriftzeichen auf den berührungssensitiven Display beschreiben kann. Des Weiteren ist es möglich, dass bei Verwendung des Verfahrens in kleineren tragbaren elektronischen Geräten ein Berührungssensor beispielsweise an einer Spitze eines als stiftförmiges Mobiltelefon ausgebildeten tragbaren elektronischen Geräts vorgesehen sein kann, wobei der Sensor beispielsweise eine drehbare Kugel an der Spitze umfasst, welche bei der Bewegung über eine in Kontakt stehende Oberfläche sich dreht, und anhand der Drehung auf die Bewegung des Geräts, welches von einem Benutzer geführt wird, geschlossen werden kann.An optical sensor for detecting a movement of a user may, for example, comprise a camera, with which images of a background (a plane over which the movement for describing handwriting elements takes place) are taken in the equidistant time steps and compared with respectively preceding images (prominent image elements which represent the same background objects are compared between a current and a previous image), which is referred to as a so-called "pixel matching". From the difference images then motion vectors can be calculated, which can be finally integrated into the new position, so as to obtain a locus or movement curve of the movement of a user in the description of characters. The motion curve is then again fed to a text recognition process. Furthermore, it is possible to capture handwriting elements already written on a recording medium, such as a sheet of paper, by means of an optical scanner and to recognize the characters therefrom. There are essentially two different possibilities when using touch sensors. On the one hand, it is possible, in particular when using the method in electronic devices with a larger display, to design the display as a touch-sensitive display, wherein by means of a stylus a user can describe characters on the touch-sensitive display. Furthermore, it is possible that when using the method in smaller portable electronic devices, a touch sensor may be provided, for example, on a tip of a portable electronic device designed as a pen-shaped mobile phone, the sensor comprising, for example, a rotatable ball at the tip, which during movement rotates over a contacting surface and, by virtue of the rotation, can be closed to the movement of the device being guided by a user.
Gemäß einem weiteren Aspekt der Erfindung wird eine Vorrichtung zum Eingeben von Schriftzeichen in eine Datenverarbeitungsanlage geschaffen. Die Vorrichtung umfasst dabei eine Sensoreinrichtung zum Erfassen von Handschriftelementen nacheinander, von denen jedes ein Schriftzeichen repräsentiert. Des Weiteren umfasst die Vorrichtung eine Zeitmesseinrichtung zum Messen der zur Erfassung einer Mehrzahl von ersten Hand- schriftelementen vergangenen bzw. benötigten Erfassungszeit. Außerdem ist eine Berechnungseinrichtung zum Berechnen einer Eingabegeschwindigkeit aus der Anzahl der erfassten ersten Handschriftelemente pro Erfassungszeit vorgesehen. Während die Sensoreinrichtung zum einen dafür dient, erste Handschriftelemente zu erfassen, um anhand der Dauer zu deren Erfassung die Eingabegeschwindigkeit abzuleiten, dient die Sensoreinrichtung ferner dafür, weitere Handschriftelemente zu erfassen. Schließlich ist eine Erkennungseinrichtung zum Ermitteln der jeweiligen Schriftzeichen aus den weiteren erfassten Handschriftelementen vorgesehen. Eine akustische Ausgabeneinrichtung dient dann zum akustischen Ausgeben der je- weiligen ermittelten Schriftzeichen nacheinander in einer Ausgabegeschwindigkeit, die von der Eingabegeschwindigkeit abhängt .In accordance with another aspect of the invention, an apparatus for inputting characters into a data processing system is provided. The device comprises a sensor device for detecting handwriting elements in succession, each of which represents a character. Furthermore, the device comprises a time measuring device for measuring the time taken or required to acquire a plurality of first manual elements. In addition, calculating means for calculating an input speed from the number of detected first handwriting elements per detection time is provided. While the sensor device on the one hand serves to detect first handwriting elements in order to derive the input speed based on the duration of their detection, the sensor device also serves to detect further handwriting elements. Finally, a recognition device for determining the respective characters from the further recorded handwriting elements is provided. An acoustic output device then serves for the acoustic output of the respective The resulting characters are determined sequentially at an output speed that depends on the input speed.
Die Sensoreinrichtung kann dabei einen Beschleunigungssensor, einen optischen Sensor oder Berührungssensor umfassen. Ferner kann die akustische Ausgabeeinrichtung einen Lautsprecher umfassen. Es ist denkbar, dass die Zeitmesseinrichtung, die Berechnungseinrichtung und/oder die Erkennungseinrichtung einen Mikroprozessor aufweisen, oder dass die erwähnten Einrichtungen als Software-Anwendungen ausgebildet sind, welche durch einen Mikroprozessor ausgeführt werden.The sensor device may comprise an acceleration sensor, an optical sensor or touch sensor. Furthermore, the acoustic output device may comprise a loudspeaker. It is conceivable that the time measuring device, the calculation device and / or the recognition device have a microprocessor, or that the mentioned devices are designed as software applications which are executed by a microprocessor.
Gemäß einem weiteren Aspekt der Erfindung wird eine Datenver- arbeitungsanlage geschaffen, welche eine gerade beschriebene Vorrichtung zum Eingeben von Schriftzeichen umfasst. Die Datenverarbeitungsanlage kann dabei als ein tragbares elektronisches Gerät ausgebildet sein. Insbesondere kann sie als ein Mobilfunkgerät oder Mobiltelefon, aber auch als ein kleiner tragbarer Computer beispielsweise in der Ausführung eines Organizers oder PDA (PDA: Personal Digital Assistant) ausgebildet sein.According to another aspect of the invention, there is provided a data processing system comprising a character writing device just described. The data processing system can be designed as a portable electronic device. In particular, it may be designed as a mobile or mobile telephone, but also as a small portable computer, for example in the execution of an organizer or PDA (PDA: Personal Digital Assistant).
Bevorzugte Ausführungsformen der vorliegenden Erfindung wer- den nachfolgend Bezug nehmend auf die beiliegenden Zeichnungen näher erläutert. Es zeigen:Preferred embodiments of the present invention will be explained in more detail below with reference to the accompanying drawings. Show it:
Figur 1 eine Zeitstruktur, in der die einzelnen Ereignislinien zum Eingeben von Schriftzeichen verschiedener Benutzer und zum akustischen Ausgeben der erkannten1 shows a time structure in which the individual event lines for inputting characters of different users and for the acoustic output of the recognized
Schriftzeichen dargestellt sind;Characters are shown;
Figur 2 eine schematische Darstellung des Verfahrens zumFigure 2 is a schematic representation of the method for
Anpassen der Ausgabegeschwindigkeit des akustischen Feedbacks an einen bestimmten Benutzer;Adjusting the output speed of the acoustic feedback to a particular user;
Figur 3 eine Zeitstruktur mit Ereignislinien zur Erläuterung der Eingabe von Schriftzeichen und der Ausgabe der erkannten Schriftzeichen in einer Ausgabegeschwindigkeit, welche an die Eingabegeschwindigkeit eines ersten Benutzers angepasst ist;FIG. 3 shows a time structure with event lines for explaining the input of characters and the output the recognized characters at an output speed adapted to the input speed of a first user;
Figur 4 eine Zeitstruktur mit Ereignislinien zur Erläuterung der Eingabe von Schriftzeichen und der Ausgabe von erkannten Schriftzeichen mit einer Geschwindigkeit, die an die Eingabegeschwindigkeit eines zweiten Benutzers angepasst ist;FIG. 4 shows a time structure with event lines for explaining the input of characters and the output of recognized characters at a speed which is adapted to the input speed of a second user;
Figur 5 eine Datenverarbeitungsanlage in der Form eines Mobiltelefons gemäß einer ersten Ausführungsform zur Eingabe von Schriftzeichen;FIG. 5 shows a data processing system in the form of a mobile telephone according to a first embodiment for inputting characters;
Figur 6 eine Datenverarbeitungsanlage in der Form eines Mobiltelefon gemäß einer zweiten Ausführungsform zur Eingabe von Schriftzeichen;FIG. 6 shows a data processing system in the form of a mobile telephone according to a second embodiment for inputting characters;
Figur 7 eine Datenverarbeitungsanlage in der Form eines Mo- biltelefons gemäß einer dritten Ausführungsform zurFIG. 7 shows a data processing system in the form of a mobile telephone according to a third embodiment of the invention
Eingabe von Schriftzeichen;Input of characters;
Figur 8 eine Datenverarbeitungsanlage in der Form eines Mobiltelefon gemäß einer vierten Ausführungsform zur Eingabe von Schriftzeichen;FIG. 8 shows a data processing system in the form of a mobile telephone according to a fourth embodiment for inputting characters;
Figur 9 eine Datenverarbeitungsanlage in der Form eines Mobiltelefons gemäß einer fünften Ausführungsform zur Eingabe von Schriftzeichen.9 shows a data processing system in the form of a mobile telephone according to a fifth embodiment for inputting characters.
Bevor nun ein Verfahren zum Eingeben von Schriftzeichen und zur Anpassung der Ausgabegeschwindigkeit des akustischen Feedbacks der eingegebenen Schriftzeichen anhand der Figuren 1 bis 4 erläutert werden wird, soll zunächst eine mögliche Vorrichtung zum Eingeben von Schriftzeichen anhand der Figuren 5 bis 9 erläutert werden. Dabei sei zunächst auf Figur 5 verwiesen, in der ein Mobiltelefon MFGl gezeigt ist. Das Mobiltelefon MFGl weist eine herkömmliche Form in der Gestalt eines Quaders auf. Es hat eine akustische Ausgabeeinrichtung mit einem Lautsprecher LS. Die akustische Ausgabeeinrichtung dient hier als sog. "Text-zu- Sprache"-System ("Text-zu-Speach"-System) . Ferner hat das Mobiltelefon eine akustische Eingabeeinrichtung mit einem Mikrofon MIK. Des Weiteren hat es eine Tastatur TAS mit mehreren Tasten zum Eingeben von Steueranweisungen. Unterhalb des Lautsprechers LS ist eine Anzeigeeinrichtung DSP angeordnet, die einen berührungssensitiven Bildschirm aufweist. Dieser berührungssensitive Bildschirm stellt dabei einen Berührungssensor BS dar. Mit einem Stift STI ist es dann möglich, durch Nachfahren von Schriftzeichen, während die Spitze des Stifts STI mit der Anzeigeeinrichtung DSP in Berührung steht, Handschriftelemente, welche ein oder mehrere Schriftzeichen repräsentieren, einzugeben. Dabei kann ein Benutzer beispielsweise die Spitze des Stifts STI auf die Anzeigeeinrichtung DSP aufsetzen, und eine Bewegung durchführen, die der Ziffer "0" oder "1" entspricht, wobei die von dem Berührungssensor BS erfasste Bewegungskurve der Stiftspitze an eine Erkennungseinrichtung EKE weitergeleitet wird, die dafür eingerichtet ist, aus den erfassten Bewegungen der Stiftspitze, d.h. den Handschriftelementen, die jeweiligen Schriftzeichen zu ermitteln. Die Erkennungseinrichtung EKE dient ferner dazu, erkannte Schriftzeichen oder Sätze von Schriftzeichen in eine Folge von Schriftzeichen einzureihen, nämlich in der Reihenfolge des Erfassens der den Schriftzeichen zugeordneten Handschriftelementen. Wie es noch später bzgl. den Figuren 1 bis 4 erläutert werden wird, dient eine Zeitmesseinrichtung ZME zum Messen der zur Erfassung einer Mehrzahl von ersten Handschriftelementen vergangenen Erfassungszeit, und dient eine Berechnungseinrichtung BRE zum Berechnen einer Eingabegeschwindigkeit aus der Anzahl der erfassten ersten Hand- schriftelemente pro Erfassungszeit. Anhand der berechnetenBefore a method for inputting characters and for adjusting the output speed of the acoustic feedback of the input characters will be explained with reference to FIGS. 1 to 4, a possible device for inputting characters will first be explained with reference to FIGS. 5 to 9. Reference is first made to Figure 5, in which a mobile phone MFGl is shown. The mobile phone MFGl has a conventional shape in the shape of a cuboid. It has an acoustic output device with a loudspeaker LS. The acoustic output device serves as a so-called "text-to-speech" system ("Text-to-Speach" system). Furthermore, the mobile phone has an acoustic input device with a microphone MIK. Furthermore, it has a keyboard TAS with multiple keys for entering control statements. Below the loudspeaker LS, a display device DSP is arranged, which has a touch-sensitive screen. This touch-sensitive screen thereby represents a touch sensor BS. With a stylus STI, it is then possible to input handwriting elements which represent one or more characters by descending characters while the tip of the stylus STI is in contact with the display device DSP. In this case, for example, a user may place the tip of the stylus STI on the display DSP and perform a movement corresponding to the numeral "0" or "1", whereby the movement curve of the pen tip detected by the touch sensor BS is forwarded to a recognition device EKE, which is adapted to determine from the detected movements of the pen tip, ie the handwriting elements, the respective characters. The recognition device EKE also serves to classify recognized characters or sets of characters into a sequence of characters, namely in the order of detection of the handwriting elements assigned to the characters. As will be explained later with reference to FIGS. 1 to 4, a time measuring means ZME is for measuring the detection time past to detect a plurality of first handwriting elements, and a calculating means BRE for calculating an input speed from the number of detected first handwriting elements per collection time. Based on the calculated
Eingabegeschwindigkeit ist die akustische Ausgabeeinrichtung in der Lage, die jeweiligen ermittelten Schriftzeichen nach- einander in einer Ausgabegeschwindigkeit auszugeben, die von der Eingabegeschwindigkeit abhängt.Input speed, the acoustic output device is capable of reproducing the respectively determined characters. output each other at an output speed that depends on the input speed.
Es sei nun auf Figur 6 verwiesen, in der eine Vorrichtung zum Eingeben von Schriftzeichen in der Form eines als Stift ausgebildeten Mobiltelefons MFG2 gezeigt ist. Das Mobiltelefon MFG2 umfasst im Wesentlichen die gleichen Komponenten mit gleicher Funktion wie das Mobiltelefon MFGl, weshalb für eine ausführliche Erläuterung gleicher Komponenten auf die Erläu- terung bezüglich des Mobiltelefons MFGl verwiesen wird. AufReferring now to Figure 6, there is shown an apparatus for entering characters in the form of a pen MFG2. The mobile telephone MFG2 essentially comprises the same components with the same function as the mobile telephone MFG1, for which reason reference is made to the explanation relating to the mobile telephone MFG1 for a detailed explanation of the same components. On
Grund der Ausbildung des Mobiltelefons MFG2 als ein Stift ist die Anzahl der Tasten zur Bedienung des Mobiltelefons sehr reduziert. So ist beispielsweise in Figur 6 lediglich eine Tastatur TASl mit zwei Tasten gezeigt. Als weiterer Unter- schied zum Mobiltelefon MFGl umfasst das Mobiltelefon MFG2 anstatt des Berührungssensor BS einen optischen Sensor OS, der im Spitzenabschnitt des Mobiltelefons vorgesehen ist. Der optische Sensor OS, der eine optische Kamera umfasst, dient dazu, in äquidistanten Zeitschritten Bilder einer Oberfläche OF aufzunehmen und mit jeweils vorhergehenden aufgenommenenDue to the design of the mobile phone MFG2 as a pen, the number of keys for operating the cellular phone is much reduced. For example, only one keyboard TAS1 with two buttons is shown in FIG. As a further difference from the mobile telephone MFG1, instead of the touch sensor BS, the mobile telephone MFG2 comprises an optical sensor OS, which is provided in the tip section of the mobile telephone. The optical sensor OS, which comprises an optical camera, serves to record images of a surface OF in equidistant time steps and to record them with respective preceding ones
Bildern zu vergleichen, um daraus Bewegungsvektoren der Spitze des Mobiltelefons MFG2, welches sich über die Oberfläche OF bewegt, zu berechnen. Anhand der Bewegungsvektoren lassen sich schließlich Positionspunkte berechnen, die dann zu einer Bewegungskurve oder Ortskurve zusammengefasst werden können. Die von dem optischen Sensor OS ermittelte Bewegungskurve der Spitze des Mobiltelefon MFG2 wird dann wiederum der Erkennungseinrichtung EKE zugeführt, die anhand der Bewegungskurve die den Bewegungskurven zugeordneten Schriftzeichen ermit- telt. Entsprechend wird die Zeitmesseinrichtung ZME eine Erfassungszeit ermitteln, die zum Erfassen einer Mehrzahl von ersten Handschriftelementen benötigt worden ist. Gemäß einer vorteilhaften Ausgestaltung ist es dabei möglich, dass eine der Tasten der Tastatur TASl dazu verwendet wird, um den Be- ginn bzw. das Ende der Erfassung eines Schriftzeichens anzuzeigen. So ist es beispielsweise möglich, dass zu Beginn der Erfassung eines Schriftzeichens eine der Tasten der Tastatur TASl gedrückt wird, und solange gedrückt gehalten wird, bis die Erfassung des Schriftzeichens beendet wird. Aus dem Zeitintervall, in dem eine der Tasten der Tastatur TASl gedrückt gehalten wird, kann die Zeitmesseinrichtung ZME dann die Erfassungszeit für ein Schriftzeichen ermitteln. Es ist jedoch auch möglich, eine der Tasten der Tastatur TASl zu Beginn der Erfassung von Schriftzeichen zu drücken, und dann nach Beendigung der Erfassung von Schriftzeichen ein weiteres Mal zu drücken. Somit kann gemäß dieser Ausgestaltung die Zeitmesseinrichtung ZME das Zeitintervall zwischen dem ersten Drücken und dem weiteren Drücken einer der Tasten der Tastatur TASl als Erfassungszeit für ein oder mehrere Schriftzeichen messen. Eine entsprechende Funktion einer der Tasten der Tastatur TASl in Verbindung mit der Zeitmesseinrichtung ZME ist auch auf die Mobiltelefone MFG3 und MFG4 der Figuren 7 und 8 anwendbar. Wie schon bereits bzgl. Figur 5 erwähnt, wird die Funktion der Berechnungseinrichtung BRE später bzgl. den Figuren 1 bis 4 näher erläutert werden.Compare images to calculate motion vectors of the top of the mobile phone MFG2, which moves across the surface of OF. Position vectors can then be calculated using the motion vectors, which can then be combined into a motion curve or a locus. The movement curve of the tip of the mobile telephone MFG2 ascertained by the optical sensor OS is then in turn fed to the recognition device EKE, which uses the movement curve to determine the characters assigned to the movement curves. Accordingly, the time measuring means ZME will detect a detection time which has been required for detecting a plurality of first handwriting elements. According to an advantageous embodiment, it is possible that one of the keys of the keyboard TAS1 is used to indicate the beginning or the end of the detection of a character. Thus, for example, it is possible that at the beginning of the detection of a character one of the keys of the keyboard TASl is pressed, and is kept pressed until the capture of the character is terminated. From the time interval in which one of the keys of the keyboard TASl is kept depressed, the time measuring means ZME can then determine the detection time for a character. However, it is also possible to press one of the keys of the keyboard TAS1 at the beginning of the detection of characters, and then to press again after the completion of the detection of characters. Thus, according to this embodiment, the time measuring means ZME can measure the time interval between the first press and the further depression of one of the keys of the keyboard TAS1 as a detection time for one or more characters. A corresponding function of one of the keys of the keyboard TAS1 in conjunction with the time measuring device ZME is also applicable to the mobile phones MFG3 and MFG4 of Figures 7 and 8. As already mentioned with regard to FIG. 5, the function of the calculation device BRE will be explained in more detail later with reference to FIGS. 1 to 4.
Es sei nun auf Figur 7 verwiesen, in der eine weitere Vor- richtung zum Eingeben von Schriftzeichen in der Form eines als Stift ausgebildeten Mobiltelefons MFG3 gezeigt ist. Das Mobiltelefon MFG3 entspricht im Aufbau im wesentlichen dem Mobiltelefon MFG2, weshalb zur Erläuterung gleicher Komponenten auf die Erläuterung des Mobiltelefons MFG2 verwiesen wird. Der wesentliche Unterschied des Mobiltelefons MFG3 liegt nun darin, dass dieses an Stelle des optischen Sensors OS bei dem Mobiltelefon MFG2 einen Berührungssensor BSl aufweist. Dieser kann beispielsweise eine drehbar gelagerte Kugel an der Spitze des Mobiltelefons MFG3 aufweisen, deren Drehung dann messbar ist, wenn die Kugel bzw. der Berührungssensor BSl bei Kontakt mit der Oberfläche OF über diese hinweg bewegt wird. Anhand der erfassten Drehung ist dann die Bewegung der Spitze des Mobiltelefons MFG3 über die Oberfläche OF hinweg erfassbar. Wird mit der Spitze ein Schriftzei- chen beschrieben, so kann dies der Berührungssensor BSl erfassen, in eine Bewegungskurve oder Ortskurve umwandeln und diese Bewegungskurve der Erkennungseinrichtung EKE zuführen. Wie schon anhand der anderen Ausführungsformen erläutert, ist die Erkennungseinrichtung EKE dann in der Lage, anhand der Bewegungskurve das jeweilige Schriftzeichen zu erkennen.Reference is now made to FIG. 7, in which a further device for inputting characters in the form of a mobile phone MFG3 designed as a pen is shown. The mobile phone MFG3 corresponds in structure essentially to the mobile phone MFG2, for which reason reference is made to the explanation of the same components on the explanation of the mobile phone MFG2. The main difference of the mobile phone MFG3 is now that it has a touch sensor BS1 instead of the optical sensor OS in the mobile phone MFG2. This can for example have a rotatably mounted ball at the top of the mobile phone MFG3, the rotation of which is then measurable when the ball or the touch sensor BSl is moved in contact with the surface OF over this time. On the basis of the detected rotation, the movement of the tip of the mobile telephone MFG3 can then be detected over the surface OF. If a letter is described with the tip, then this can be detected by the touch sensor BS1, converted into a movement curve or locus curve and fed to the detection device EKE by this movement curve. As already explained with reference to the other embodiments, is the recognition device EKE then able to recognize the respective character on the basis of the movement curve.
Schließlich sei noch auf Figur 8 verwiesen, in der eine wei- tere Vorrichtung zum Eingeben von Schriftzeichen in der Form eines als Stift ausgebildeten Mobiltelefons MFG4 gezeigt ist. Dabei stimmt das Mobiltelefon MFG4 wieder im Wesentlichen mit den Mobiltelefonen MFG2 und MFG3 überein, weshalb zur Erläuterung gleicher Komponenten auf die oben erläuterten Mobilte- lefone verwiesen wird. Kennzeichen des Mobiltelefons MFG4 ist, dass dieses zur Erfassung von Bewegungen nun einen Gyro- sensor oder Beschleunigungssensor GS im Spitzenabschnitt des Telefons aufweist. Dieser Gyrosensor hat mindestens zwei Sensorabschnitte, vorteilhafter Weise jedoch drei Sensorab- schnitte zum Erfassen von Beschleunigungen in zwei, vorteilhafter Weise in drei Dimensionen. Das bedeutet, wird das Mobiltelefon MFG4 bzw. dessen Spitzenabschnitt, in dem sich der Beschleunigungssensor GS befindet, über die Oberfläche OF hinweg bewegt, um beispielsweise Schriftzeichen zu beschrei- ben, so erfasst der Beschleunigungssensor GS die an der Spitze des Mobiltelefons MFG4 auftretenden Beschleunigungen. Durch zweifache Integration der Beschleunigungsdaten über die Zeit lässt sich eine Bewegungskurve bzw. Ortskurve der Bewegung der Spitze des Mobiltelefons MFG4 berechnen. Diese Ortskurve wird dann wiederum der Erkennungseinrichtung EKE zugeführt, die aus der Bewegungskurve ein Schriftzeichen oder mehrere Schriftzeichen ermittelt.Finally, reference is made to FIG. 8, in which a further device for inputting characters in the form of a mobile phone MFG4 designed as a pen is shown. In this case, the mobile telephone MFG4 again essentially matches the mobile telephones MFG2 and MFG3, for which reason reference is made to the above-described mobile telephones in order to explain the same components. Characteristic of the mobile phone MFG4 is that it now has a gyro sensor or acceleration sensor GS in the tip section of the phone for detecting movements. This gyro sensor has at least two sensor sections, but advantageously three sensor sections for detecting accelerations in two, advantageously in three dimensions. That is, when the mobile phone MFG4 or its tip portion where the acceleration sensor GS is located is moved over the surface OF, for example, to describe characters, the acceleration sensor GS detects the accelerations occurring at the tip of the mobile phone MFG4. By integrating the acceleration data twice over time, a movement curve or locus of movement of the tip of the mobile telephone MFG4 can be calculated. This locus is then in turn fed to the detection device EKE, which determines a character or several characters from the movement curve.
Es sei nun auf Figur 9 verwiesen, in der eine weitere Vor- richtung zum Eingeben von Schriftzeichen gemäß einem weiteren Aspekt der Erfindung gezeigt ist. Während die Mobiltelefone MFGl bis MFG4 darauf basierten, Schriftzeichen derart einzugeben, dass eine Bewegung eines Benutzers, mit welcher ein Schriftzeichen beschrieben wird, erfasst wird, ist das Mobil- telefon MFG5 dafür ausgelegt, Sprachelemente eines Benutzers zu erfassen, von denen jedes ein Schriftzeichen oder einen Satz bestehend aus zumindest einem Schriftzeichen repräsentiert. Ähnlich dem Mobiltelefon MFGl umfasst das Mobiltelefon MFG5 eine Anzeigeeinrichtung DSP zum Anzeigen von grafischen Symbolen bzw. Schriftzeichen, sowie eine Tastatur TAS zum Bedienen des Mobiltelefons . Im Gegensatz zu den Mobiltelefonen MFGl bis MFG4 besitzt das Mobiltelefon MFG5 jedoch keinen Sensor bzw. keine Sensoreinrichtung zum Erfassen von Hand- schriftelementen. Dafür hat das Mobiltelefon MFG5 eine akustische Eingabeeinrichtung mit einem Mikrofon MIK zum Erfassen von Sprachelementen nacheinander, von denen jedes ein Schriftzeichen bzw. einen Satz bestehend aus zumindest einem Schriftzeichen repräsentiert. Entsprechend dient nun dieReference is now made to FIG. 9, in which a further device for inputting characters according to a further aspect of the invention is shown. While the mobile phones MFG1 to MFG4 were based on inputting characters in such a way as to detect a movement of a user with which a character is described, the mobile phone MFG5 is designed to detect language elements of a user, each of which is a character or a sentence consisting of at least one character represented. Similar to the mobile phone MFGl includes the mobile phone MFG5 a display device DSP for displaying graphical symbols or characters, and a keyboard TAS for operating the mobile phone. In contrast to the mobile phones MFGl to MFG4, however, the mobile phone MFG5 has no sensor or sensor device for detecting handwriting elements. For this purpose, the mobile telephone MFG5 has an acoustic input device with a microphone MIK for detecting speech elements one after the other, each of which represents a character or a sentence consisting of at least one character. Accordingly serves now the
Zeitmesseinrichtung ZME zum Messer der zur Erfassung einer Mehrzahl von ersten Sprachelementen vergangenen Erfassungszeit, und dient eine Berechnungseinrichtung BRE zum Berechnen eine Eingabegeschwindigkeit aus der Anzahl der erfassten ers- ten Sprachelemente pro Erfassungszeit. Eine Erkennungseinrichtung EKE dient zum Ermitteln der jeweiligen Schriftzeichen oder Sätze von Schriftzeichen weiterer erfasster Sprachelemente, wobei eine akustische Ausgabeeinrichtung mit Lautsprechern LS dafür eingerichtet ist, die jeweiligen ermittel- ten Schriftzeichen oder Sätze von Schriftzeichen nacheinander in einer Ausgabegeschwindigkeit auszugeben, die von der Eingabegeschwindigkeit abhängt. Wie es in Figur 9 zu sehen ist, sind die Lautsprecher LS als Ohrhörer ausgebildet, und dienen zusammen mit dem Mikrofon MIK als eine Art Freisprecheinrich- tung. Insbesondere die Ausbildung der Lautsprecher LS alsTime measuring means ZME to the knife of the past detection time for detecting a plurality of first language elements, and is a calculation means BRE for calculating an input speed from the number of detected first speech elements per detection time. A recognition device EKE is used to determine the respective characters or sets of characters of further acquired speech elements, wherein an acoustic output device with loudspeakers LS is adapted to output the respective determined characters or sets of characters successively at an output speed which depends on the input speed. As can be seen in FIG. 9, the loudspeakers LS are designed as earphones, and serve together with the microphone MIK as a kind of hands-free device. In particular, the training of the loudspeaker LS as
Ohrhörer ist dabei vorteilhaft, da somit eine Schallübertragung der Lautsprecher LS zum Mikrofon stark reduziert bzw. verhindert wird.Earphone is advantageous because thus a sound transmission of the speaker LS to the microphone is greatly reduced or prevented.
Nach der grundsätzlichen Erläuterung des Aufbaus einer möglichen Vorrichtung zum Erfassen von Schriftzeichen soll nun anhand der Figuren 1 bis 4 ein Verfahren zum Erfassen von Schriftzeichen bzw. zur Anpassung der Ausgabegeschwindigkeit der akustischen Rückmeldung erläutert werden.After the basic explanation of the construction of a possible device for capturing characters, a method for capturing characters or for adapting the output speed of the acoustic feedback will now be explained with reference to FIGS. 1 to 4.
Figur 1 zeigt dabei in schematischer Form das Problem einer adäquaten Rückmeldung bei der Eingabe von Schriftzeichen von verschiedenen Benutzern mit verschiedenen Eingabegeschwindig- keiten. In einer ersten "Schrifteingabe"-Zeitlinie oder "Schrifteingabe"-Ereignislinie soll veranschaulicht werden, dass ein erster Benutzer die Ziffern SZ, nämlich "0", "1", "2", und "3" in jeweiligen ersten Zeitintervallen TlE ein- gibt. Es sei dabei erwähnt, dass die Zeit von links nach rechts voranschreitet. Entsprechend gibt ein zweiter Benutzer gemäß der zweiten "Schrifteingabe"-Zeitlinie die vier Ziffern SZ, nämlich "0", "1", "2", und "3" in jeweiligen Zeitintervallen T2E nacheinander ein, wobei ein jeweiliges Zeitinter- vall T2E größer als ein Zeitintervall TlE ist. Die Eingabe eines Schriftzeichens kann durch einen der Sensoren zur Erfassung einer Bewegung eines Benutzers gemäß den Mobiltelefonen MFGl bis MFG4 erfolgen, oder kann durch Eingabe von Sprachelementen, welche ein oder mehrere Schriftzeichen rep- räsentieren, gemäß dem Mobiltelefon MFG5 erfolgen. Wichtig zu erkennen ist jedoch, dass die Eingabe von Schriftzeichen durch die verschiedenen Benutzer mit einer unterschiedlichen Geschwindigkeit erfolgt, wo hingegen eine in einer dritten "Sprachausgabe"-Ereignislinie dargestellte Sprachausgabe von Wörtern ESZ, die erkannte Zeichen oder Ziffern repräsentieren, immer mit gleicher Geschwindigkeit erfolgt, d.h. für jedes ausgegebene Sprachelement benötigt die akustische Sprachausgabeeinrichtung eines Mobiltelefons ein Zeitintervall TOA. Es ist dabei zu berücksichtigen, dass ein jeweiliges erfass- tes bzw. eingegebenes Schriftzeichen SZ eines Benutzers zunächst einer Erkennungseinrichtung (entsprechend einer Erkennungseinrichtung EKE eines der Mobiltelefone MFGl bis MFG5) zugeführt werden muss, wobei die Erkennungseinrichtung das hinter einem Handschriftelement oder Sprachelement stehende Schriftzeichen ermitteln muss und anschließend der akustischen Sprachausgabeeinrichtung zur akustischen Ausgabe übermitteln muss. Jedoch ist zu erkennen, dass insbesondere im Falle des ersten Benutzers, der seine Zeichen mit vergleichsweise hoher Geschwindigkeit eingibt, die akustische Rückmel- düng in Form der Sprachausgabe hinterherhinkt, so dass beimFIG. 1 shows in schematic form the problem of an adequate response when inputting characters from different users with different input speeds. opportunities. In a first "font input" time line or "font input" event line, it should be illustrated that a first user inputs the digits SZ, namely "0", "1", "2", and "3" in respective first time intervals TlE. gives. It should be noted that time progresses from left to right. Accordingly, a second user inputs the four digits SZ, namely, "0", "1", "2", and "3" successively at respective time intervals T2E according to the second "font input" time line, with a respective time interval T2E larger as a time interval TlE. The entry of a character can be done by one of the sensors for detecting a movement of a user according to the mobile phones MFGl to MFG4, or can be done by entering speech elements that represent one or more characters according to the mobile phone MFG5. It is important to note, however, that the input of characters by the different users is at a different speed, whereas a speech output of words ESZ representing recognized characters or numerals in a third "speech output" event line always occurs at the same speed ie, for each voice element output, the acoustic voice output device of a mobile phone requires a time interval TOA. It has to be considered that a respective detected or entered character SZ of a user must first be supplied to a recognition device (corresponding to a recognition device EKE of one of the mobile phones MFG1 to MFG5), the recognition device determining the character behind a handwriting element or speech element must and then the acoustic voice output device must transmit to the acoustic output. However, it can be seen that especially in the case of the first user who enters his characters at a comparatively high speed, the acoustic feedback in the form of the speech output lags behind, so that in the case of the
Benutzer 1 eine immer größere gedankliche Erinnerungsleistung erforderlich ist, um gleichzeitig Zeichen einzugeben und die akustische Rückmeldung der eingegebenen Schriftzeichen zu verfolgen.User 1 an ever greater mental memory performance is required to simultaneously enter characters and the audible feedback of the input characters.
Somit wird gemäß Figur 2 eine Anpassung der Ausgabegeschwin- digkeit der akustischen Rückmeldung an die Eingabegeschwindigkeit bei der Erfassung von Schriftzeichen vorgeschlagenen. In Schritt Sl werden dabei zunächst eine Anzahl N von Schriftzeichen erfasst (entweder in der Form von Handschriftelementen oder von Sprachelementen) . Eine derartige Erfassung ist beispielsweise in den Figuren 3 und 4 bezüglich der jeweiligen ersten "Schrifteingabe"-Ereignislinie gezeigt.Thus, according to FIG. 2, an adaptation of the output speed of the acoustic feedback to the input speed during the detection of characters is proposed. In step S1, a number N of characters are first detected (either in the form of handwriting elements or of language elements). Such detection is shown, for example, in FIGS. 3 and 4 with respect to the respective first "font input" event line.
Anschließend wird in einem Schritt S2 die jeweilige Zeit oder Erfassungszeit bestimmt, die für die Eingabe der gerade ein- gegebenen Schriftzeichen benötigt worden ist. Bei Betrachtung von Figur 3 erkennt man, dass der Benutzer 1 zur Eingabe seiner vier Ziffern bzw. Zeichen die Erfassungszeit TlR benötigt hat, während der Benutzer 2 zur Eingabe seiner vier Ziffern die Erfassungszeit T2R benötigt hat.Subsequently, in a step S2, the respective time or acquisition time is determined, which was required for the input of the currently entered characters. Looking at Figure 3, it can be seen that the user 1 has required the acquisition time TlR to enter his four digits, while the user 2 has required the acquisition time T2R to enter his four digits.
In einem Schritt S3 in wird nun die Anzahl N der Zeichen ermittelt, die während der jeweiligen Erfassungszeit erfasst worden sind. Wie bereits erwähnt, wurden während der jeweiligen Erfassungszeiten TlR und T2R jeweils vier Zeichen er- fasst.In a step S3 in FIG. 5, the number N of the characters detected during the respective acquisition time is determined. As already mentioned, four characters each were recorded during the respective acquisition times TlR and T2R.
In einem Schritt S4 wird nun die Eingabegeschwindigkeit der jeweiligen Benutzer 1 und 2 bestimmt. Dabei berechnet sich die Eingabegeschwindigkeit VIR des Benutzers 1 aus dem Quo- tienten von der Anzahl der Zeichen N geteilt durch die Erfassungszeit TlR. Entsprechend berechnet sich die Eingabegeschwindigkeit V2R des Benutzers 2 ist aus dem Quotienten von der Anzahl der Zeichen N geteilt durch die Erfassungszeit T2R. Das bedeutet, aus einer Mehrzahl von gerade eingegebenen Zeichen (hier N) wird die für einen jeweiligen Benutzer individuelle Eingabegeschwindigkeit berechnet, um diese für die Ausgabe der folgenden Zeichen zu berücksichtigen. Anders ausgedrückt, wird eine Vorrichtung gemäß einer bevorzugten Aus- führungsform der Erfindung durch eine bestimmte Anzahl von Schriftzeichen trainiert, so kann sie ihre Ausgabegeschwindigkeit bei der akustischen Rückmeldung an einen jeweiligen Benutzer anpassen. Während im Beispiel ein Training anhand der letzten vier erfassten Schriftzeichen erfolgt ist, ist auch ein Training anhand der letzten zehn oder zwanzig oder einer beliebigen ersten Anzahl von Schriftzeichen möglich.In a step S4, the input speed of the respective users 1 and 2 is now determined. In this case, the input speed VIR of the user 1 is calculated from the quotient of the number of characters N divided by the acquisition time TlR. Accordingly, the input speed V2R of the user 2 is calculated from the quotient of the number of characters N divided by the detection time T2R. That is, from a plurality of characters just entered (here, N), the input speed individual for each user is calculated to take into account for the output of the following characters. In other words, a device according to a preferred embodiment trained by a certain number of characters of the invention, it can adjust its output speed in the acoustic feedback to a respective user. While in the example a training based on the last four recorded characters has been done, a training based on the last ten or twenty or any first number of characters is possible.
Nach erfolgtem Training zur Anpassung an die individuelle Eingabegeschwindigkeit eines Benutzers werden nun weitere M Schriftzeichen eines Benutzers erfasst. Geht man zur Vereinfachung der Darstellung davon aus, dass wieder entsprechend den jeweiligen ersten Ereignislinien der Figuren 3 und 4 die Ziffern "0", "1", "2" und "3" mit jeweiligen benutzerspezifi- sehen Eingabegeschwindigkeiten VIR und V2R erfasst worden sind, so erfolgt die akustische Sprachausgabe bzw. Rückmeldung gemäß den jeweiligen zweiten Ereignislinien in den Figuren 3 und 4 mit Ausgabegeschwindigkeiten VlA bzw. V2A, die von den jeweiligen Eingabegeschwindigkeiten VIR und V2R ab- hängen. Im vorliegenden Beispiel entspricht die Ausgabegeschwindigkeit VlA der Eingabegeschwindigkeit VIR und entspricht die Ausgabegeschwindigkeit V2A der Eingabegeschwindigkeit V2R. Anderes ausgedrückt, die jeweiligen Zeitintervalle TIA und T2A entsprechen den jeweiligen Eingabezeitin- tervallen TlE und T2E. Es ist jedoch möglich, dass auf Grund der Tatsache, dass eingegebene Schriftzeichens zunächst mittels der Erkennungseinrichtung ermittelt werden müssen, sich die akustische Sprachausgabe bzw. Rückmeldung um einen kleinen zeitlichen Betrag verschiebt oder hinterherhinkt. Auf Grund der Tatsache, dass nun die Eingabe und Ausgabe vonAfter completion of the training to adapt to the individual input speed of a user now more M characters of a user are detected. To simplify the illustration, assume that the digits "0", "1", "2" and "3" have again been detected with respective user-specific input speeds VIR and V2R according to the respective first event lines of FIGS , the acoustic voice output or feedback according to the respective second event lines in FIGS. 3 and 4 takes place at output speeds VlA and V2A, respectively, which depend on the respective input velocities VIR and V2R. In the present example, the output speed VlA corresponds to the input speed VIR and corresponds to the output speed V2A of the input speed V2R. In other words, the respective time intervals TIA and T2A correspond to the respective input time intervals TlE and T2E. However, it is possible that due to the fact that input characters must first be determined by means of the recognition device, the acoustic speech output or feedback shifts or lags behind by a small amount of time. Due to the fact that now the input and output of
Schriftzeichen kaum mehr auseinander fallen, muss der Benutzer keine große gedankliche Erinnerungsleistung mehr vollbringen, um die akustische Rückmeldung von erfassten Zeichen zu überprüfen. Er verliert somit seltener den Überblick bei der Eingabe von Schriftzeichen, was die Zuverlässigkeit der Überprüfung von Schriftzeichen durch die akustische Rückmeldung erhöht . Characters barely fall apart, the user no longer has to perform much mental memory performance to check the acoustic feedback of detected characters. He thus loses less the overview when entering characters, which increases the reliability of the verification of characters by the acoustic feedback.

Claims

Patentansprüche claims
1. Verfahren zum Eingeben von Schriftzeichen (SZ) in eine Datenverarbeitungsanlage (MFGl, MFG2, MFG3, MFG4), mit fol- genden Schritten:1. Method for inputting characters (SZ) into a data processing system (MFG1, MFG2, MFG3, MFG4), with the following steps:
Erfassen einer Mehrzahl von ersten Handschriftelementen (HSE; N) nacheinander, von denen jedes ein Schriftzeichen (SZ) repräsentiert;Detecting a plurality of first handwriting elements (HSE; N) in sequence, each of which represents a character (SZ);
Bestimmen der zur Erfassung der Mehrzahl von Handschriftelementen vergangenen Erfassungszeit (TlR, T2R) ;Determining the acquisition time (TlR, T2R) past the detection of the plurality of handwriting elements;
Berechnen einer Eingabegeschwindigkeit (VIR, V2R) aus der Anzahl (N) der erfassten ersten Handschriftelemente pro Erfassungszeit (TlR, T2R) ;Calculating an input velocity (VIR, V2R) from the number (N) of detected first handwriting elements per detection time (TlR, T2R);
Erfassen weiterer Handschriftelemente (HSE, M) , von denen jedes ein Schriftzeichen (SZ) repräsentiert;Capture further handwriting elements (HSE, M), each of which represents a character (SZ);
Ermitteln der jeweiligen Schriftzeichen der weiteren Hand- schriftelemente;Determining the respective characters of the further handwriting elements;
Akustisches Ausgeben der jeweiligen ermittelten Schrift- zeichen (ESZ) nacheinander in einer Ausgabegeschwindigkeit (VlA, V2A) , die von der Eingabegeschwindigkeit (VIR, V2R) abhängt .Acoustic output of the respectively determined characters (ESZ) in succession at an output speed (VIA, V2A) which depends on the input speed (VIR, V2R).
2. Verfahren nach Anspruch 1, bei dem die aus den weiteren Handschriftelementen ermittelten Schriftzeichen zu einer Folge von Zeichen zusammengesetzt werden, die sich nach der Reihenfolge des Erfassen der Hand- schriftelemente bestimmt.2. The method of claim 1, wherein the determined from the other handwriting characters are assembled into a sequence of characters, which is determined by the order of detection of the handwriting elements.
3. Verfahren nach Anspruch 2, bei dem innerhalb der Folge von Zeichen Wörter erkannt werden. A method according to claim 2, wherein words are recognized within the sequence of characters.
4. Verfahren nach Anspruch 3, bei dem bei der akustischen Ausgabe die erkannten Wörter als4. The method of claim 3, wherein in the acoustic output the recognized words as
Wörter ausgegeben werden.Words are output.
5. Verfahren nach einem der Ansprüche 1 bis 4, bei dem das Erfassen von Handschriftelementen ein Erfassen einer Bewegung eines Benutzers umfasst, mit der der Benutzer ein Schriftzeichen beschreibt.5. The method of claim 1, wherein capturing handwriting elements comprises detecting a movement of a user with which the user describes a character.
6. Verfahren nach Anspruch 5, bei dem das Erfassen einer Bewegung eines Benutzers mittels eines Beschleunigungssensors (GS) , eines optischen Sensors (OS) oder eines Berührungssensors (BS, BSl) erfolgt.6. The method of claim 5, wherein detecting a movement of a user by means of an acceleration sensor (GS), an optical sensor (OS) or a touch sensor (BS, BSl) takes place.
7. Verfahren nach einem der Ansprüche 1 bis 4, bei dem das Erfassen von Handschriftelementen ein Scannen von geschriebenen Schriftzeichen umfasst.The method of any one of claims 1 to 4, wherein capturing handwriting elements comprises scanning written characters.
8. Vorrichtung zum Eingeben von Schriftzeichen in eine Da- tenverarbeitungsanlage (MFGl, MFG2, MFG3, MFG4), mit folgenden Merkmalen:8. Device for inputting characters into a data processing system (MFG1, MFG2, MFG3, MFG4), having the following features:
eine Sensoreinrichtung (OS, GS, BS, BSl) zum Erfassen von Handschriftelementen (HSE) nacheinander, von denen jedes ein Schriftzeichen (SZ) repräsentiert;a sensor device (OS, GS, BS, BSI) for detecting handwriting elements (HSE) in succession, each of which represents a character (SZ);
eine Zeitmesseinrichtung (ZME) zum Messen der zur Erfassung einer Mehrzahl von ersten Handschriftelementen (HSE; N) vergangenen Erfassungszeit (TlR, T2R) ;a time measuring means (ZME) for measuring the past detection time (TlR, T2R) for detecting a plurality of first handwriting elements (HSE; N);
einer Berechnungseinrichtung (BRE) zum Berechnen einer Eingabegeschwindigkeit (VIR, V2R) aus der Anzahl der er- fassten ersten Handschriftelemente (HSE; N) pro Erfassungszeit (TlR, T2R) ;calculation means (BRE) for calculating an input velocity (VIR, V2R) from the number of detected first handwriting elements (HSE; N) per detection time (TlR, T2R);
einer Erkennungseinrichtung (EKE) zum Ermitteln der jeweiligen Schriftzeichen weiterer erfasster Handschriftelemente (HSE, M) ; einer akustischen Ausgabeeinrichtung (LS) zum akustischen Ausgeben der jeweiligen ermittelten Schriftzeichen nacheinander in einer Ausgabegeschwindigkeit, die von der Ein- gabegeschwindigkeit abhängt.a recognition device (EKE) for determining the respective characters of further acquired handwriting elements (HSE, M); an acoustic output device (LS) for acoustically outputting the respective determined characters in succession at an output speed that depends on the input speed.
9. Vorrichtung nach Anspruch 8, bei der die Sensoreinrichtung einen Beschleunigungssensor (GS) , einen optischen Sensor (OS) oder einen Berührungssensor (BS, BSl) umfasst.9. Device according to claim 8, wherein the sensor device comprises an acceleration sensor (GS), an optical sensor (OS) or a touch sensor (BS, BSl).
10. Datenverarbeitungsanlage mit einer Vorrichtung zum Eingeben von Schriftzeichen nach einem der Ansprüche 8 oder 9.10. Data processing system with a device for inputting characters according to one of claims 8 or 9.
11. Datenverarbeitungsanlage nach Anspruch 10, die als ein tragbares elektronisches Gerät ausgebildet ist.11. Data processing system according to claim 10, which is designed as a portable electronic device.
12. Datenverarbeitungsanlage nach Anspruch 11, die als ein Mobilfunkgerät oder ein tragbarer Computer ausge- bildet ist. 12. Data processing system according to claim 11, which is embodied as a mobile radio device or a portable computer.
PCT/EP2006/061821 2005-05-10 2006-04-25 Method and device for inputting characters in a data processing system WO2006120119A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102005021525.4 2005-05-10
DE200510021525 DE102005021525A1 (en) 2005-05-10 2005-05-10 Method and device for entering characters in a data processing system

Publications (1)

Publication Number Publication Date
WO2006120119A1 true WO2006120119A1 (en) 2006-11-16

Family

ID=36645817

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2006/061821 WO2006120119A1 (en) 2005-05-10 2006-04-25 Method and device for inputting characters in a data processing system

Country Status (2)

Country Link
DE (1) DE102005021525A1 (en)
WO (1) WO2006120119A1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4337375A (en) * 1980-06-12 1982-06-29 Texas Instruments Incorporated Manually controllable data reading apparatus for speech synthesizers
US20020116188A1 (en) * 2001-02-20 2002-08-22 International Business Machines System and method for adapting speech playback speed to typing speed
US6785649B1 (en) * 1999-12-29 2004-08-31 International Business Machines Corporation Text formatting from speech
DE10312812A1 (en) * 2003-03-21 2004-10-07 Siemens Ag Combined touchscreen display and input device for motor vehicle with separate areas for handwriting input and for selection of function graphics

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3228968C2 (en) * 1982-08-03 1984-10-11 Friedrich Dr. phil. 8000 München Hagemeyer Process for the continuous recognition of handwritten characters and a device for carrying out the process
JPH08328590A (en) * 1995-05-29 1996-12-13 Sanyo Electric Co Ltd Voice synthesizer
JP2001255894A (en) * 2000-03-13 2001-09-21 Sony Corp Device and method for converting reproducing speed
US6990293B2 (en) * 2001-03-15 2006-01-24 Ron Hu Picture changer with recording and playback capability

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4337375A (en) * 1980-06-12 1982-06-29 Texas Instruments Incorporated Manually controllable data reading apparatus for speech synthesizers
US6785649B1 (en) * 1999-12-29 2004-08-31 International Business Machines Corporation Text formatting from speech
US20020116188A1 (en) * 2001-02-20 2002-08-22 International Business Machines System and method for adapting speech playback speed to typing speed
DE10312812A1 (en) * 2003-03-21 2004-10-07 Siemens Ag Combined touchscreen display and input device for motor vehicle with separate areas for handwriting input and for selection of function graphics

Also Published As

Publication number Publication date
DE102005021525A1 (en) 2006-11-23

Similar Documents

Publication Publication Date Title
DE112014007015B4 (en) Speech recognition system
EP2130109B1 (en) Mobile communication device and input device for the same
DE60122352T2 (en) EYE TRACKING FOR CONTEXT DEPENDENT LANGUAGE RECOGNITION
AT390685B (en) TEXT PROCESSING SYSTEM
EP1282112B1 (en) Method of supporting proofreading of a recognized text in a speech to text system with playback speed adapted to confidence of recognition
DE60207742T2 (en) CORRECTION OF A TEXT RECOGNIZED BY A LANGUAGE RECOGNITION BY COMPARING THE PHONES OF THE RECOGNIZED TEXT WITH A PHONETIC TRANSCRIPTION OF A MANUALLY ENTERED CORRECTION WRITING
DE202017000991U1 (en) Identification of voice inputs to provide credentials
DE60215272T2 (en) Method and apparatus for inputting linguistic data under unfavorable conditions
DE202012005717U1 (en) Character recognition for overlapping user text input
CN111918122A (en) Video processing method and device, electronic equipment and readable storage medium
DE102012025564A1 (en) Device for recognizing three-dimensional gestures to control e.g. smart phone, has Hidden Markov model (HMM) which executes elementary object positions or movements to identify positioning motion sequences
EP3040817A1 (en) Device and method for inputting a text using virtual control elements with haptic feedback for simulating key haptics, especially in a motor vehicle
DE10028138A1 (en) Mobile communications device acts as pen with incorporated image sensor unit for detection and storage of writing movements
DE112008001763T5 (en) Speech recognition device and navigation system
CN113823323B (en) Audio processing method and device based on convolutional neural network and related equipment
DE102012219129B4 (en) Method for operating a device having a user interface with a touch sensor, and corresponding device
DE102013007914A1 (en) Hand held device and unlocking method of this
WO2006120119A1 (en) Method and device for inputting characters in a data processing system
DE102015221304A1 (en) Method and device for improving the recognition accuracy in the handwritten input of alphanumeric characters and gestures
DE102005021526A1 (en) Method and device for entering characters in a data processing system
DE102005021524A1 (en) Character inputting method for e.g. portable computer, involves detecting set of speech units, determining sentences from characters of units, and acoustically outputting sentences in output rate, where output rate depends on input rate
DE60315907T2 (en) A learning method and apparatus, mobile communication terminal and information recognition system based on the analysis of movements of the speech organs of a speaking user
DE102018101567A1 (en) Vehicle information terminal and computer-readable storage medium storing an information search program
DE102004008254A1 (en) Portable electronic device e.g. mobile telephone, has acceleration sensor realizing movement of device to output acceleration data, and evaluation unit analyzing movement curve to identify characters or symbols as control instructions
DE102018107409A1 (en) Method for recognizing handwritten characters, preferably during writing, and writing instrument for detecting handwritten characters

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Country of ref document: DE

NENP Non-entry into the national phase

Ref country code: RU

WWW Wipo information: withdrawn in national office

Country of ref document: RU

122 Ep: pct application non-entry in european phase

Ref document number: 06754845

Country of ref document: EP

Kind code of ref document: A1