CN1161707C - 向数字设备输入字符或命令的装置 - Google Patents

向数字设备输入字符或命令的装置 Download PDF

Info

Publication number
CN1161707C
CN1161707C CNB988029685A CN98802968A CN1161707C CN 1161707 C CN1161707 C CN 1161707C CN B988029685 A CNB988029685 A CN B988029685A CN 98802968 A CN98802968 A CN 98802968A CN 1161707 C CN1161707 C CN 1161707C
Authority
CN
China
Prior art keywords
character
motion
template
handwriting
describing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB988029685A
Other languages
English (en)
Other versions
CN1249831A (zh
Inventor
��·��ס�ŵ�������ֶ��ء�����
格奥夫雷·诺尔曼·沃尔特·盖伊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aupu Reiter Co Ltd
Original Assignee
Aupu Reiter Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aupu Reiter Co Ltd filed Critical Aupu Reiter Co Ltd
Publication of CN1249831A publication Critical patent/CN1249831A/zh
Application granted granted Critical
Publication of CN1161707C publication Critical patent/CN1161707C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/17Image acquisition using hand-held instruments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/32Digital ink
    • G06V30/36Matching; Classification
    • G06V30/373Matching; Classification using a special pattern or subpattern alphabet

Abstract

用于向一部计算机输入手写字符的装置包括用于描画一个字符的装置(10),随着该字符被描画、抽取对应于该字符的诸部件的诸信号的一个序列、以产生代表该字符的一个代码的装置以及用于识别该代码的装置(12),由此该字符被输入到该计算机(14)。

Description

向数字设备输入字符或命令的装置
技术领域
本发明涉及向一部计算机或其他信息接收设备输入诸字符或诸命令的装置,该装置不使用键盘之类,而是使用自动的手写技巧。
背景技术
今天的计算机键盘最初是为操作一部打字机而设计的。为了打印每一个字符,诸键被当作杠杆来操作,以便将一种染料压在纸上。每一个键上载有两个字符,其中一个在另一个的上面,通过正常地将一个键隔着色带压在纸上,就能再现下档字符,通过移动整个纸辊滑架或者色带支架,使得当上档字符而不是下档字符压在纸上时发生撞击从而得到上档字符。通过移动诸数字键或使用诸附加键就能得到标点符号以及诸特殊字符。
打印方法基本上跟在印刷厂中使用的方法相同,但一部打字机的用途完全不同于一家印刷厂的用途。当然,印刷允许出版一份稿子以及复制原稿的许多份相同的拷贝,用不着去手抄每一份拷贝。
随着现代商业以及对字迹清楚的业务信函的需求的增长,打字机便应运而生。那时(确实,现在也这样),手写是高度个人化的作业,并且在这个人跟那个人之间表现出巨大的差异。这就使得手写的各种信函、协议、合同以及其他法律文书在意义上潜在着含糊不清或不明白之处。正是这种手写体的复杂性延缓了手写体的计算机分析的当前进展。
手写体中的变化代表了被嵌入到大量冗余细节之中的简单信息。在现代信息和通信中,在一份图形中对冗余信息的处理就是将大量的计算能力投入到分析和识别之中。用于分析手写体的计算机设备是现成的,但需要可观的计算能力,因此是相当昂贵的并且通常不能足够快地以实时方式识别手写体,这就对输入过程产生延时。
在这些方法中所使用的分析依赖于从提供给该装置及其软件的手写图形的显著特征的抽取。应当指出,所选择的显著特征通常是复杂的,并且任何一种特征可能是一个字符或字母所特有的。这意味着这些特征的集合是庞大的和复杂的。此外,用以描画一个特定字符的不同方法会有许多种,其中的每一种又可能含有不同的显著特征。把这些因素加在一起就产生了困难,即使用一种单独的方法去描画一个特定的字符,所描画的实际图形将大大地因人而异。其结果是,这样一种计算机手写体识别方案到现在为止,在取得成功方面已经受到限制,并且通常需要一个学习过程,在这个过程中,该软件针对使用者的手写体进行调整,或者使用者学习一种能让该系统进行工作的书写方法。在程序大小和所需的计算能力方面的开销通常是昂贵的,并且不适用于各种手持计算机或个人数字助理,特别是不适用于在尺寸、计算能力和价格等方面的低端产品(各种袖珍数据库、日记本、日程编制者之类的大路货)。
通过手指的各种运动将数据输入到一部计算机的另一种方案被实施于要求使用者以一种不含糊的特定方式去描画每一个字符的诸系统中。这就导致一种需要使用者学会使用的速记代码。这些速记形式通常是不熟悉的,或者不能立即被识别为它们所代表的诸字符。其结果是得到一种在商业上成功的系统,但某些方法离开了自然的书写(习惯),并且需要学习和练习。
伴随着将手写体输入到一部计算机去的当前方案的另一个困难就是为感知手指的各种运动所需的硬件的复杂性和价格昂贵。在上述两种方案中,各手指的每时每刻的和每一点的运动形式必须被感知、数字化并且被送往进行分析与识别的处理器那里。在当前可用的许多设备中,通过用手指将一支笔或钢针在触敏屏上移动来实现这个功能。手指的各种运动被这个设备检出并送往处理器,后者令该运动的一帧图像在同一个屏幕上被显示。这样一种复杂的输入设备是昂贵的,并且在例如一部手持计算机的价格中占有一个重要的比例。
因此,以直接的方式向一部计算机输入手写信息并不容易。
另一方面,印刷体文字是清晰的和无歧义的。每一个字符在形式上和比例尺上都是标准的并且容易阅读。印刷厂将它的文本制成铅字块,它在同一时间被压到一张或多张纸页上。这样就允许一页的许多拷贝的快速复制。然而,打字机需要的是在每一个字符的层次上的灵活性,而不是在每一页的层次上的灵活性。这样一来,它是一键(一次打印操作)一字的。因此,今天的键盘具有60到70个键。
已经提出了提供每一个字符的诸零部件(一键一个零件)的各种键盘。由于印刷体诸数字和诸字母的形式可以被简化(它们可以用7和14段的显示器来显示),与标准键盘相比,这样一种键盘只需要相当小量的键。然而,可能由于必须学习一种新的打字方法(这就压倒了这样一种简单键盘的优点)的障碍,这样的键盘尚未取得成功。要指出的是,在常规的击键打字中虽然两只手的所有手指都覆盖着各个键,但在同一时间只有一个手指在工作。而采用上述的构成字符的键盘,必须同时使用多个手指去打印一个字符,并且使用者必须学习如此协调的各种技巧。这就意味着所要求的打字技巧与在常规键盘中所使用的一键一字符的方案相比,显得不够自然。
发明内容
本发明的一个目标就是提供用于向数字设备输入手写体信息的装置。
根据本发明的一个方面,提供了用于向一个数字设备输入手写字符的装置,包括用于描画一个字符的装置,在描画一个字符时,用于检测运动特征,随着字符被描画,通过将各特征与一个预定的特征集合进行比较,以产生该字符的一个代码的装置,所述代码由一个时间相关的信号序列表示,每个信号对应于与在每个连续的运动步骤所检测到的实际特征最接近的预定特征,以及视觉反馈装置,其中,对于正在手写输入的字符,该字符的一个部件用信号序列中的每个连续信号进行显示,且显示时与描画装置的位置不相关。由此,该字符被输入到该计算机。
被抽取的信号最好是对应于该字符被描画时的运动的一种量化过程。被抽取的信号可以对应于该字符被描画时在方向上的改变和/或可以对应于该字符被描画时在一个特定方向上超出一个或多个已定义的阈值的运动和/或一个被抽取的信号可以对应于该描画装置在一个描画表面上从一个已定义区域到另一个已定义区域的位置变化。
根据本发明的一个第二方面,提供了用于将在再现一个字符时产生的运动或力转换为对应于表示该字符的所述运动或力的一个或多个元素的编码信号的装置,由此可以从所述编码信号中识别该字符。
根据本发明的一个第三方面,提供了用于将施加在所述装置的至少一个部分上的运动或力(所述运动或力在再现一个字符的过程中被施加)转换为对应于表示该字符的所述运动或力的一个或多介元素的编码信号的装置,由此可以从所述编码信号中识别该字符。
根据本发明的一个第四方面,提供了用于向一部具有一个监视器的计算机输入一个手写体字符的装置,包括用于描画一个字符以产生对应于该字符的诸信号的一个序列的装置,用于将针对一个字符而产生的诸信号转换为代表该字符的一个代码的装置,用于识别该代码的装置,以及随着该字符被描画,用于提供对应于正在被输入的该字符的视觉反馈的装置。
根据本发明的这个方面的装置可以跟任何手写体识别/输入系统配合使用,上述系统可以涉及量化识别,也可以涉及任何其他手写体分析系统。
根据本发明的一个第五方面,在一个显示屏幕上向书写者提供了一种视觉反馈。反馈可以采取一个字符形式的顺序建立或动画的形式,这些形式本身是从上述编码信号中产生的。可以由被连接到上述输入装置或输入设备或任何其他合适的输入装置的处理器来产生反馈。
这样一来,该显示屏可以将手写体识别处理的结果作为一种信息反馈来显示,以引导书写者。跟所有的现有技术不同,由于输入设备对运动的诸元素进行编码,并且在视觉反馈过程中,它还包括计算机识别的方面,所以最好是一步一步地进行操作。它并不显示该字符被描画时诸手指的每时每刻的运动或者一点一点的运动形式,如同向一部计算机进行手写输入的当前方案那样。该系统通过对手指的各种运动的解释来引导使用者,以便能够容易地和自然地产生正确的手指运动,后者将编码为用于手写体的无歧义的识别的诸元素的正确序列。
视觉反馈装置最好包括响应于已抽取的信号,在一个监视器上产生一个字符部件的图形仿真的装置。响应于针对一个字符的一个序列的一个后继信号,该图形仿真最好是可修改的。
该图形仿真最好进一步地包括一个指示器,用以指示该描画装置在一个描画表面上的位置。该指示器可以包括一个图标,它被显示于最后一个图形仿真部件的一端,或与之靠近。另一方面,该指示器可以包括一个图标,它响应于该描画装置的运动,围绕着一个字符的图形仿真而移动。
反馈可以是在其形成过程中,响应于已识别的诸元素或信号代码的输入流而平滑地产生的一个手写字符形式的动画。
在书写过程中,出现在使用者面前的计算机或输入设备协同工作,并且根据手指的各种运动所给出的提示在屏幕上产生诸字符。
当然,在屏幕上显示的诸字符不是诸手指的实际轨迹或运动形式的代表,而是使用者的意图的综合表示,并且仅仅在输入过程中引导该使用者。从使用者的观点来看,诸字符好像是由使用者在计算机的合作下书写的,
这样的诸字符可以建立起来以显示一个完整的字,例如,在一种标准的、清晰的、连笔的手写体书写过程中,从输入设备的操作中产生或抽取的诸简单元素的序列中,就已经产生出每一个字符。
当使用者以一种适当的方式将笔抬起或提示一个字的结束时,该处理器可以立即用一种以选定的适于该应用或应用程序的字型来显示的相同的字来取代手写的诸字符,
在一种与现有技术截然不同的手写体分析系统中,它输入描述被描画的该字符的信息并实行诸显著特征的抽取(必须是与比例尺和速度无关),随后是从空间和时间上跟各种可能的字型、笔划及各种内在关系的一个存储的数据库进行比较,以给出对一个完整的字符集中的一个字符、从而是对该字符的已识别代码的最佳拟合,本发明的系统是一个直接编码系统,在其中,产生被描画的字符的运动以这样一种方式跟一个简单模板进行比较,使得在该字符(的描画)被完成时,满意的各种运动直接地产生能完整地标识该字符的一组代码的诸元素。在该字符(的描画)被完成的瞬间,可识别的代码已经完整地被建立,并且不需要为了识别而进行进一步的分析或处理。
最好是以实时方式一个字符一个字符地进行识别。运动或力的一个或多个元素最好是单位矢量。
最好是借助于将所述诸运动或诸力量化为一个或一个序列的单位矢量的方法,将诸运动或诸力分析为诸元素。这些元素最好是与速度无关,最好是与比例尺无关并且最好是基本上与畸变或者字符在再现时的变化无关。
最好是诸元素形成一个对所有待再现的诸字符为共同的一个集合,该集合不包含仅专用于一个或几个字符的诸元素。
该信号最好是可以被与该(输入)设备相连接的一部计算机或任何其他信息处理设备识别的,由此该字符可以在由该计算机操作的一个视频显示单元上被显示,或者如同一个从键盘输入的字符那样,以相同的方式被处理。
若一个输入设备可以被类似于书写的运动所激活,则这就提供了一种向一部计算机输入诸字符和文本的方法,并且不需要学习一种完全新的技巧。
这里所描述的是,与现有技术相对照的一种设备,它提供了一种机械的或自动的分析方法,并且不需要一种间接的分析与比较过程来产生针对一个字符的一组唯一的代码。
随着来自输入设备的信号的合成,借助于显示来自一个字符的已识别的诸元素的视觉反馈,可以为一组唯一的字符代码的自动生成提供方便。
与现有技术相对照,自动的类似于开关的从手指的各种运动中抽取编码信号的方法导致相对地简单和廉价的各种输入设备,识别与一个手写字符的完成同时发生,低的计算能力需求,自然的字符形式以及易于学习和使用。
在本文中描述的本发明允许利用简单和廉价的输入设备,通过高速识别和视觉反馈,借助于在书写过程中使用的各种自然的手指运动,向一部计算机或其他系统输入数据。
与分析完整的手写体的空间图形相反,当运动正在发生时进行检出有一个好处。虽然所得到的字型很相似,一支笔在书写字母“a”的圆圈时的运动不同于在书写字母“p”的圆圈时的运动。通常通过一个反时钟方向的运动来产生“a”的圆圈,而通过一个时钟方向的运动来产生“p”的圆圈。若在该字符已经被书写以后才考虑作为结果的手写字符,则这种区别将会失去。然而,若随着书写过程动态地对手写体进行分析,则所得到的信息是更加有用的。人们将理解到,对运动的检测包括对在产生所述运动时所施加的各种力的检测。
在一个优选实施例中,描画装置将是一支手持的笔之类,由此该笔或其中的一个部件可以被移动以再现字符。
可以设想,本发明的描画装置将具有一个部件,当再现一个字符时,该部件可以相对于一个真实的或虚拟的模板发生移动,还可以设想,描画装置将包括检测相对于模板的运动的装置。模板可以被纳入到描画装置里面,也可以独立于其外。可以有多种用以检测描画装置的所述部件的运动的方法。
例如,有可能去建立一个模板,使得描画装置的所述零件可以围绕着它而移动,由此,描画装置的该零件跟在该模板的一个特定零件中的一个传感器的接触将指示运动的一个方向,并且一次运动或一系列的运动将产生对应于由这些运动来再现的该字符的一个信号。
假设一支笔有一个笔主体、书写笔尖以及一个真实的模板,该模板可以独立于该笔之外,例如在一个表面上,可以固定到笔主体之上,或者可以固定到笔尖之上。另一方面,对于一支具有一个笔主体和一个书写笔尖的笔来说,其中之一或两者的运动可以相对于与笔主体连接的一个抽象的模板、该笔尖或者一个单独的表面而发生。
用于检测描画装置或者其中一个部件的运动的装置可以包括触点开关、磁性或电容传感器、光学编码器、光检测器、电压变化传感器、压电晶体激活的传感器或任何其他适当的装置。
本发明的系统最好包括用于提示一个被描画的字符的完成的装置。可以通过将描画装置从一个描画表面上抬起来提示描画的完成。另一方面,也可以通过该描画装置相对于该字符的一种独特的运动来表示一个字符的描画的完成。另一种可供选择的方法可以是,通过描画装置以及将该描画装置指向一个可能在描画表面上或者在一部监视器的一个规定区域上的规定位置的一个图标二者之一的运动,来表示一个字符的描画的完成。
本发明所设想的分析方式实际上跟肌肉动作的时间图形有关,这跟已完成的手写体的空间图形大不相同。与此有关的是要指出,所有通信都是通过肌肉动作的媒介作用而发生的,不管是说话、身体语言、触摸、动作、手写或打字。思想的最初的向外表达通常是通过肌肉动作而实现的。本发明的目标是在书写的神经肌肉技巧的层次上允许跟一部计算机进行通信。
但是,应当理解,在手写体中存在着相当可观的冗余信息。虽然可以通过一种同一的方式去教人们怎样写字,但是当一个人发展他的书写技巧时,不免会加入了各种变体和修饰,当各种字母和文字在被识别时,由于个人的变体和修饰,使得,例如让一台计算机扫描设备去抽取各种重要特征时,成为一件极端困难的事情。
相应地,本发明的设备的一个优选的目标就是让诸字符被再现为诸单位矢量。换句话说,随着每一个字符被描画,使用本发明的设备,最好针对该字符能产生作为一个或一系列步骤的一个信号。通过将运动的记录限制或约束为一个或一系列的量化步骤或单位矢量,就能实现这一步。
重要的是让单独地描述一支笔或该设备的可动部件的位置、运动或轨迹的诸信号简单地以电子、电气等形式提供该运动等的一个拷贝。但它们不会有助于对已输入的字母形式或字符形式的逻辑识别。
本发明所允许的是将运动自动地缩减为一种量化形式。这就意味着运动被划分为对表征该运动等的诸单位矢量的时间序列进行指示的诸步骤。诸步骤本身并不描述从描画该字符形式中得到的一点一点的和每时每刻的运动。它们而是表示为一系列单位矢量的对运动等进行分析的结果。由于在检测单位矢量序列的过程中,所有冗余的空间和时间信息都被抛弃,所以诸单位矢量的序列不能被用来重构原来的各种手指运动。所有剩下的就是诸单位矢量的序列以及诸单位矢量的字符。
诸单位矢量的字符将取决于该设备的设计。在一个物理的方形模板的情况下,诸单位矢量可以被表征为,例如向上、向下、向左或向右。
介于一个单位矢量和下一个之间的时延并不重要,并且是被抛弃的信息。与识别有关的全部事情就是该序列,例如,对手写字母形式“a”来说,依次为:向左然后向下然后向右然后向上然后向下。
同样,导出诸单位矢量的过程抛弃了该运动或字母形式的比例尺或大小。从一个大的“a”跟从一个小的”a”一样,都能得出相同的诸单位矢量的相同序列。此外,假设激活该运动或位置检测器的各种物理运动都小于待描画的最小字符,对于原来的字符、字母或所得到的运动在形式上的大幅度的变体或畸变来说,其单位矢量序列将是相同的。
应当指出,这样一族单位矢量(一种简单的情形就是:向上、向下、向左、向右)能够代表通过手指的各种运动被输入到一部计算机等的所有字符。
换句话说,每一个数字、字母等都可以被分析为诸单位矢量的相同的集合或族的一个序列。在诸单位矢量序列中保留的字符的唯一性相当于针对该字符的一组唯一的代码。不同的诸字符并不需要像在现有技术中那样,被分析为唯一的诸具体特征。
将原始的运动分析为诸单位矢量是根据这样一种方案,它将该运动跟相对于一个真实的或虚拟的模板为固定配置的检测器的一种安排进行比较。这就允许以这样一种方式将运动跟一个模板的几何尺寸进行比较,使得一次满意的运动将导致一个单独的信号或者一个信号的一部分,它指示在描画该字母或字符等的那个阶段上的特征方向或运动。
例如,一旦该可动部件越过检测的上限,单位矢量将简单地指示“向上”,直到该可动部件已经再次返回到在该方向上的检出范围以内,这时,跟随其后的可能是“向下”。水平方向的运动也与此类似。这个方案自然地导致依照一个模板对该设备的操作进行描述。
该模板简单地是依照几何尺寸,它决定着诸单位矢量的产生,并且它可以是依照物理形式,例如一个让笔尖等在其中移动的方形孔,或者它可以是抽象的,并且它简单地是限制在二维平面上的检测器开关切换的空间图形,或者它可以在运动分析处理器中被实现,该处理器被连接到用诸手指移动的输入设备上。
无论那一种方案都导致实际的各种设备,它将我们所熟悉的手指和手的运动作为手写体转换为一组编码信号,由于对应于所描画的字符,所以后者在逻辑上是可以识别的。
为了编码的精度,并且为了去除由于个人修饰而引入的不精确性,可以通过来自显示屏幕上的一帧图像的视觉反馈,对书写者进行引导,并且可以选择自然的字符形状,以便迅速地和容易地进行学习。
因此,该设备允许“打字”或将文本信息输入到一部计算机或其他自动文本处理器(例如,打字机、便携式数据库或日记本等),其速度相当于手写速度或者更快些,并且不需要像在使用一个常规键盘时那样,要学习更复杂的击键技巧。
工作原理是基于运动的量化,并且不会跟手写体分析发生混淆,手写体分析通过分析其复杂的实际字型导致正常的个人手写体的自动识别(或者甚至是对受限制的或已定义的或风格化的字符形式的集合进行识别)。
无论是真实的或抽象的模板的目标都是将该设备的运动记录为诸单位矢量,但不需要将该设备的运动限制为单位矢量形式,由此就能产生对应于该字符的一组可识别的信号。
在本发明的优选形式中,介于模板以及部件或诸部件之间的关系将是灵活的,由此使该设备不局限于进行被强制的角、矩形或线性运动。换句话说,通过在该设备的相对地可动的诸部件之间,或者在该设备的一个可动部件以及该模板之间引入一个柔性连接,该设备可以跟踪各种直线和曲线,同时这些运动将被检测作为产生诸单位矢量的诸直线运动或诸力。
因此,本发明的优选设备在产生一个字符的过程中,即使该字符没有被再现为受该模板的几何尺寸所约束的一种格式,也有能力至少检测一部分运动作为一个或一系列单位矢量,以便产生对应于该字符的一组信号,
柔性连接可以采取任何适当的形式。例如,当一支笔的笔尖相对于该设备的本体为可动时,可以用将笔尖连接到笔体的一个或多个弹性元件来提供柔性连接。
在决定真实的或抽象的模板的性质时可以有各种考虑。
在一个优选实施例中,该模板可以采取一个围栏的形式,在围绕其周边的等间隔的位置上,安装有围绕该围栏的周边逐点地检测所述设备部件的运动的装置。该围栏可以是任何适当的形状,但最好是一个方形或一个圆形。最好是在等距离的间隔上提供4个检测部位。
该设备的可动部件可以是一根杆之类,并且可以用任何适当的传感器装置,例如前面已经提议过的那些,从一个检测点到另一个检测点检测其运动。
在另一个优选实施例中,模板可以采取一种受约束的踪迹的形式,该设备的可动部件可以围绕着它而移动,再有,如同在第一优选实施例中那样,它具有等间隔的诸检测点。
在又一个优选实施例中,模板是抽象的而不是真实的,并且可以在运行必要的软件的处理器中被实现,并且,根据一个模板,该设备的可动部件是可检测的。因此,本发明的这个优选实施例的设备将包括用于记录所述可动部件在跟踪一个模板时的运动的装置,这样一来,本设备可以被这样安排。使得当其中至少一个部件的运动超出抽象模板的一段抽象的边界时,就产生诸输出信号。
人们应当理解,这些信号表示相对于一个模板或者诸方向或诸轴的集合的在方向上的主要变化。有可能导出将诸单位矢量表示为速度以及其他时间导数还有方向或位置的变化的诸信号。这样一种导数适于将本发明应用于普通的计算机指向设备。
例如,来自一个计算机指向设备,例如一个鼠标、跟踪球、笔和书写板等的数据流表示诸手指每时每刻的相对位置。若用一部计算机或专用处理器以这样一种方式去分析这个数据流,使得手指位置的行程跟一个抽象的模板进行比较,用存储在计算机或处理器或它的相关存储器中的算法将其编码为局限在二维平面上的行程图形,则越过这些限制或满足于诸模板边界的各种运动都可能触发诸信号的一个序列的产生,上述信号表示诸单位矢量,后者针对用诸手指移动鼠标、跟踪球、笔和书写板或其他指向设备而描画的该字符而唯一地进行编码。
现在,仅借助于实例,并参考诸附图,对本发明作进一步的描述,在附图中:
附图说明
图1以图解方式表示一个用于向一部计算机进行书写输入的系统;
图2A和2B表示针对本发明的一个笔装置的一种可能的设计安排;
图3A和3B表示图2的笔主体的可能的运动以及所得到的围绕该模板的诸单位矢量的序列;
图4表示一个字母的各种可供选择的形式,其中的每一种都可以用受约束的诸运动的相同序列来表示;
图5表示针对本发明的一个笔装置的另一种可能的设计安排;
图6表示从形成a字母的过程中所得到的一个单位矢量序列;
图7表示同一字母的多种形式,它们都能产生图6所示的单位矢量序列;
图8A到D以图解方式表示利用介于其笔尖和一个表面之间的摩擦力的一个笔装置的工作情况;
图9A和9B表示要写的字符、单位矢量序列以及在视觉反馈中使用的动画手写字符形式的对应关系;
图10,11和12表示根据本发明的笔装置的另一种形式;
图13A和14A是根据本发明的笔装置的又一种形式的诸剖面图;以及
图13B和14B是在图13A和14A中,分别通过诸直线AA和BB的诸剖面图;
图15表示与根据本发明的笔装置有关的使用一个虚拟模板的原理;
图16表示一个具有普通键盘的便携式数据库;
图17表示具有本发明的一个笔装置的便携式数据库;
图18表示一份流程图,它说明在一个屏幕上合成一帧待显示的动画图像以便向写入者提供视觉反馈的步骤;
图19表示在一个使用本发明的一个输入装置的系统中的信息流以及一种在本文中描述的视觉反馈的方法;
图20表示用一种附加的运动来再现的一个字母”a”,用以指示(该字母的)完成和下一个字母的开始;
图21说明双单位矢量的检测;
图22表示在描画一个字母“g”的过程中双单位矢量的检测;
图23说明随着一个字母被描画,一个实际的笔位置图标的准备过程;
图24说明随着一个字母被描画,一个合成的笔位置图标的准备过程;
图25说明诸字母是如何从同一点开始被描画的;
图26表示使用诸引导线来辅助字符输入;
图27说明与一个描画装置的实际运动相对比的视觉反馈;
图28说明一个显示荧光屏,它具有一个特定区域,用以提示一个字符的完成;以及
图29说明随着新的单位矢量被检出而进行修改的视觉反馈。
具体实施方式
参看附图中的图1,在这里以图解方式示出了本发明的一个实施例。
一个笔装置10包括一个模板,它对在手写过程中由诸手指自动地进行的运动施加约束,并且从这些运动中抽取诸元素以便让计算机进行识别。其结果将是一支能感知在每一个字符中的诸运动元素的序列的“笔”,同时让使用者感觉到他仿佛正在以一种接近于正常的方式进行书写。诸运动序列可以经由各种机械开关或者各种光学、电气或磁性传感器或其他装置,以电子方式被寄存,并且诸序列被一个微处理器12进行解码,诸字符仿佛来自一个键盘那样,被送往一部计算机,随着它们被识别,被显示在计算机的一个视频显示单元14之上。另一方面,该序列也可以直接地被发送,以便在其中进行简单的逻辑识别。
将这种概念向实际形式靠近一步,模板中的一种最简单的形式就是一个正方形,并且在笔尖保持静止的条件下,该模板可以被约束,使之围绕笔尖而运动。人们会感觉到这样一支笔好像被迫只能在一个正方形的手写范围内进行书写。在此基础上还加上一种“软的”或灵活的连接,并与笔组合在一起,以便允许写入圆形,例如一个”a”或一个”p”。
如附图中的图2A和B的剖面图所示的这样一种安排,允许该笔去描画一个圆,同时该模板围绕着笔尖以分成4个区的运动形式进行移动。随着由诸手指让笔主体18在一个圆圈内移动,柔性连接20将延伸以便拖曳模板24,使之围绕笔尖22。所涉及的力量可以是很小的-它给出一种轻微的触觉反馈以引导使用者。由于模板处于笔主体以内,并且小于使用者所描画的最小圆圈,借助于延伸了的柔性连接的轻微力量,使得该模板将被拉到靠近笔尖旁边。因此,笔尖与模板直接的相对运动被限制在正方形模板的4个可能的区段以内。
图2B表示笔处于静止状态,而图2A则表示笔沿着箭头F的方向移动。
这些区段可以被认为是“诸单位矢量”,它可以是下列几种情形之一:向上向下向左向右或udl或r。因此,针对圆“a”的运动序列可能被检出为:
l,d,r,u
而针对圆“p”的序列将为:
r,d,l,u
图3A和B分别表示如何用图2的笔描画出一个字母以及诸单位矢量的结果序列。诸单位矢量的序列将是相同的,但在圆的形状上会有很大的变化,如诸附图中的图4所示。
在图4中,若所有的圆都从模板的右上角开始,用笔尖按时钟方向来描画,则它们全都产生相同的诸单位矢量的序列:
d,l,u,r
并且使用者还会感觉到它画的是一个自由形式的圆。
在这支笔的一种实际形式中,将由诸手指移动笔体,而笔尖将压在一个表面上并保持静止。模板可能跟笔体组合在一起,并且处于笔体之内(典型的模板等效尺寸为每边0.5mm),并且该笔尖简单地位于一根延伸于笔的中心孔里面的柱状杆的下端,并且通过柔性连接被连接到笔体上,由此,它受到约束,只能在正方形模板的4边以内移动。使用者将感觉到他正在以一种接近于正常的方式进行书写,而其手指的各种运动将被转换为一系列的单位矢量。
它导致这样的结果,例如,一个正方形模板能够对所有的小写英文字母以及对诸数字0-9唯一地进行编码。
为了使该装置能用于产生可以被一部计算机识另为诸字符的运动序列,有必要去探索在字符集a-Z和0-9中每一个字符的单位矢量转换过程。字符的各种形式最好是用于教学的和简单的。建议以下档方式写入并转换为上档方式(例如采用一个安装在笔体上的同时修改键)。一个换档键允许输入诸大写字母以及诸特殊字符!@ú$~&等,如同使用标准键盘那样。因此,在按下换档键时写入字符“a”将给出“A”。
其他修改键,例如“选项键”,可能被用于产生送往计算机的各种命令。
要指出的是,诸单位矢量还有许多冗余代码,可用于各种特殊字符、全部标点符号和各种命令。
例如,一个给出单位矢量L的单独的“向左”运动可能删除上一个字符输入,这跟在一个计算机键盘上按下“删除”键具有相同的结果。
为了确定每一个字符的开始和结束,在笔体内部设置一个开关,通过将笔尖按压在表面上或通过一个第三键的激活而产生一个信号。当“书写”一个字符时将按压这个键,并在该字符序列结束时释放这个键。这个动作变得迅速和自动,用不着进行练习。结束信号将启动单位矢量序列分析过程,一个查找算法持续几个微秒,然后该字符将出现在计算机屏幕上。
在本发明的另一个实施例中,可以用一个短暂的停止(例如当视觉反馈装置在显示屏幕上完成所指望的手写字符形式的动画时)来提示该字符的结束,并且一个字的结束由书写者将笔从“书写”表面上抬起来提示。
在附图中的图5示出了一个模板的设计安排。一个正方形模板50具有诸传感器开关52(1,2,3和4),用以检出笔尖54(更精确地说,是柱状杆)在方形区域内的位置。这些开关52位于每一个模板边的中央,并且当柱状杆压在一个特定边上面时,相应的开关产生动作。正是这些开关切换的时间序列提示该笔相对于柱状杆和笔尖的运动。
这就导致在该运动中所包含的信息的冗余度的降低。正如在空间域中,通过将运动缩减为抽象的单位矢量(“单位”隐含着绝对矢量长度的透明性-仅抽取方向成分;这由硬件开关的设计来实施),使形式的变化被排除,这样,在时域中,通过仅抽取诸开关切换的顺序并且忽略所涉及的绝对时间间隔,使得在定时方面的变化被排除;这由软件程序的设计来实施。
(注意:柱状杆和模板的诸尺寸可以比有效的模板尺寸大好几倍。其有效尺寸等于柱状杆或笔尖在模板内可能的运动范围。典型地这可能是0.5mm×0.5mm。将这个跟产生一个具有大约3mm直径的书写的字母”a”的运动进行比较)。
按照图5的安排,通过描画一个字母“a”而产生的变换序列将为:
2-4+1-3+4-2+3-1+1-3+
(式中+表示一个开关接通,-表示它关断,符号前面的数字表示开关的号码)。这是由于针对“a”的单位矢量序列为开始于模板右上方的l,d,r,u,d(见图6)。
这样一来,若使用者先缓慢地描画“a”的曲线,然后加速,或者他开始时描画得快然后慢下来,则都将产生相同的切换序列。所有这些事情都是诸单位矢量的相对次序。
还有,假设在笔里面的小方形模板小于已描画的最小的字母“a”,则所有示于图7的字母“a”都将编码为:
2-4+1-3+4-2+3-1+1-3+
并与形式或比例尺的变化无关。
要记住让诸手指自由地移动笔主体,并且笔尖和模板的相对运动通过一个柔性连接来实现。这意味着已描画的字符可以包含诸曲线,并且模板围绕笔尖在一系列线性步骤中进行运动。
现在转到使字符形式风格化以便于运动序列的识别,要记住的是,响应于下档单位矢量序列加上一个换档键之类,借助于查找算法,可以自动地产生各种上档形式。重要的是去实现让笔主体的轨迹变为不可见。笔的各种运动被感觉为看不见。这笔并不进行“书写”,它简单地向计算机发送代码。可能被使用的诸风格化字符都是虚拟的诸字符。心目中的眼睛将它想着正在描画的字符构建为它本身的字型图像。
代替在击键打字时,在普通键盘上严格的手指定位,该笔允许一种宽松的操作。由于该笔不需要跨“页”移动,并且由于各种运动可以通过触觉和/或视觉反馈自动地被引导,所以绝对地不需要注视着笔。
本发明的再一个实施例就是以图解方式示于图8A到D的一个笔装置,其中它的笔尖200跟一个“书写”平面保持接触,并且借助于介于笔尖与该表面之间的摩擦力,相对于一个真实的或虚拟的模板202进行运动。这将提示笔体在被诸手指和笔移动时的运动方向。图8A到D分别表示该笔向下、向上、向左和向右移动。由于笔在摩擦力的作用下移动,它分别地接触诸触点211、212、213和214并因此发出一个单位矢量序列。这样一支笔可以在一个表面上自由地移动,就跟一支普通笔一样。
参看图9A和9B,这些表表示字符风格化,它形成一个字符集,这仅仅是许多可能的集合中的一个实例。在本发明的任何特定的实施例中,最佳的集合将依赖于模板设计与安排、开关逻辑及其与被选择用以优化符合个人爱好的视觉反馈的动画序列的关系。
这个集合依赖于一种柔性连接,以便对诸字母的描画给出一种真实感。很明显,简单的方形模板将不允许向上或向下越界(在书写时拉长尾巴)。然而诸手指自动地进行这些动作,笔体跟着诸手指走,但是柱状杆停留在模板方块里面。幸而每一个字符仍然产生一个唯一的单位矢量序列,并且经过编码无歧义地进入目标计算机。
很明显,书写者必须适应每一个字符的写法,以便刚好产生为无差错识别所需的诸单位矢量。然而,从诸单位矢量的诸序列可导出的代码的多样性允许用多种方法去描画各特定字母(见图9A和9B的集合中的字母“b”和“q”的实例)。
最重要的是,若建立手写字符形式的动画的诸元素被设计为去证实在任何时间点上已完成的诸运动并且提示所需的后继的诸运动,则视觉反馈将毫不费力地引导书写者。
由于柔性连接以及关于它正在告诉诸手指去做什么这件事情在心目中的形象,使得这些字母的形式显得十分自然。
经过短期实习后,远远不需要在普通键盘上为熟练掌握所有这些字符的输入方法所需的那么长的时间,就能做到:各种笔划的运动不是个别地产生,而是以快速的自动流的方式产生,就像书写者想着书写每一个字符的动作那样。其速度典型地为每秒20个单位矢量。
在图10,11和12中,示出了根据本发明的笔的一种形式,在图中,该笔具有一个笔主体60,在静止于一个表面之上的笔尖64处,笔主体60相对于一个模板62是可动的。笔尖64可以包括一块形状合适的橡皮之类的垫板,后者相对于比方说一张桌子是无滑动的。
这个实施例的优点在于,笔围绕模板的运动跟想象中笔尖的运动是等效的。使用前面所描述的笔,这些运动在感觉上是相反的,并且介于两者之间的心理联系必须是不学就会的。正如在上文和下文中所描述的那样,模板可以是任何所希望的形状,其上的运动传感器也可以是任何所希望的类型。
另一种可用于四开关的各种模板以及更复杂的各种模板的改进方案是,从诸模板开关产生字符起始和结束信号。当至少有一个模板开关接通时,该起始信号就被接通,当所有四个模板开关都关断时,该起始信号也就被关断。这就在模板的中心处为该笔尖规定了一个起点。此外,若笔尖是以中心为起点的,即,在每一个笔划之后,通过轻轻地抬起笔或者简单地放松压力,就能自动地回到中心部位,随后发送一个字符的过程将变为容易的和自动的。起始信号的逻辑可以用电子方法来处理。
还可以构建各种更复杂的模板,使得笔尖具有更大的自由度。这好比是,随着齿轮数目的增加,汽车的变速装置的复杂性也跟着增加。
当使用一个物理的或真实的模板时,该方形模板的有效尺寸可以缩减,直到笔体以及柱状杆或笔尖的相对运动为任意小。这样就可以在四个模板边中的每一个上,使用压力传感器或应变片来感知诸单位矢量。
可以从诸模板信号中导出字符起始/停止诸信号。
希望有一定程度的柔性连接,以便允许笔在进行书写的诸手指的压力下产生很轻微的运动。通过将笔尖压入所述橡皮之类的材料之中和/或通过轻压运动将笔尖压入诸压力传感器或某些其他常规位置之中,就能实现这一点。
在这样的设计安排中,笔的运动并不明显地被限制在一个正方形的模板之内,但是来自诸传感器的诸信号将符合于针对诸相同字符的诸相同的代码序列。
借助于一种由诸矢量识别电路产生的声音反馈就能实现书写控制。例如,随着诸手指经历一种特定书写风格的运动,随着每一个矢量被完成,就产生一个声音信号,声音的频率被安排为每一种矢量都对应于一个独特的频率。经过短暂的实习之后,这种反馈可以变为无声或失去作用。若出现针对一个特定字符的差错(无法识别的序列),则针对一个预定数目的后继字符将恢复这个特征,由此强化学习过程。就像在一部按键时发出声调的电话机上进行拨号时,若拨错了号码就立刻“用声音提示”出错,而拨打熟悉的号码组时则用声音提示其为正确。
随着诸矢量建立起来并用以描述一个字符,一种旨在为学习和该设备的正常运作提供方便的进一步的反馈就是诸矢量的视觉显示。运行于文字处理方式的大多数计算机在屏幕上使用一个光标,用以指示该插入点。可以用比方说一个虚拟模板的方形表示来代替上述光标,该虚拟模板将诸矢量显示为该正方形的受到激励的诸边(或者被使用的那一种可供选择的模板形状)。在字符结束信号出现时,就用已编码的字符来代替这个图形,并且它自己将移动到下一个文本的位置,准备去显示诸矢量的下一个图形。
可以使用更复杂的视觉反馈技术以及确认方法,其中矢量序列信息被用来在屏幕上合成一个图形图像,它反映如该操作者所指望的那个正在生成的字符,使用一段存储的程序去确定在每一个阶段上的可用的可能性,以便去引导已输入的字符的形成。
图18以流程图的形式说明这样一个视觉反馈系统。在这里,所有字符全都从一个“向上”单位矢量(被选择作为一个实例)开始描画,这样的书写方法可以在屏幕上再现所想写的字符的一帧逐渐显现的图像,图中所示的是一种合成的、清晰的、标准的手写体形式(在诸方框中表示)。
在图18的流程图中,用位于诸圆圈中的诸符号来表示单位矢量序列。因此,1U表示第一个单位矢量是“向上”。类似地,例如,6L表示第6个单位矢量是“向左”。
在识别方框,若该系统针对一个特定字符将手指运动解码为一个独特的单位矢量序列,则在图18的流程图的对应的方框中,用一个含有相应字型的字符的方框来显示已识别的字符。
随着在描画字符过程中诸手指的移动,用手握持的输入设备将这些运动转换为诸单位矢量的一个序列,与此同时,逐渐生成的动画显现每一个字符。正是这个单位矢量流决定着动画显示过程。这样,一种采用向一部计算机之类的设备输入手写信息的全新方法的反馈环路得以闭合。
换句话说,随着诸手指以产生单位矢量序列的方式移动着,眼睛注视着屏幕上的字符形式。在书写诸字符的过程中,计算机等看起来好像是跟使用者进行合作。
在图18所说明的实例中,诸字母“l”“h”“b”和“t”被再现和识别。从这个实例可以看出,诸字符“a”到“z”和“0”到“9”的所有基本形式都可以类似地被分析为诸单位矢量并且以动画形式在一个显示屏幕上显示出来。
重要的是要指出,依据诸单位矢量对各种字母形式进行定义,这跟在屏幕上合成的各种手写字符形式的动画的变形序列之间存在一种函数关系。由于单位矢量序列被自动地生成,所以,在每一个阶段,动画通过各种可能的形式显现字符来作出响应。因此,参照图18,在一个手写体l的字母形式的基础上,若进一步地输入诸单位矢量URD,则转变为字母h的手写体形式。类似地,在增加一个L单位矢量之后,h就转变为b的字母形式。因此,在视觉反馈动画中所使用的手写字体的设计包括由单位矢量序列(即,一般方向的各种简单变化)所定义的各种基本手写运动的结构,它们可以容易地和自动地被检出。
这样一来,视觉反馈字体以及动画显示过程的设计就显得十分重要。可以想象,可以为各种不同的应用、语言、国家、手迹和使用者设计不同的字形。
这就导致一个设备,它通过视觉反馈优美地引导各种自然字符形式的书写,这样就将大脑、各手指、输入笔或输入设备、计算机处理器、显示荧光屏和眼睛全都置入同一个反馈环路之中。
图19显示这个反馈环路。用诸箭头406(1到5)来表示信息流。书写者的诸手指400进行书写一个字符的运动,并且这些运动被输入设备401检出,它自动地产生表示诸单位矢量的诸信号,而诸单位矢量则表征已描画的字符。这些信号被馈送到一个处理器402,它响应于这些单位矢量序列,合成一帧动画图像。动画字符在一个显示屏幕403上被显示,并且被书写者的眼睛404加以观察。这样一来,依据表示书写者意图的合成图像的显现,根据基于上述的单位矢量序列的显现而形成的反馈被书写者的大脑405所接收,并且能够直觉地纠正诸手指的运动,以便让计算机正确地识别已描画的字符。
这样一来,计算机识别过程就被包括在涉及使用者的整个反馈环路之中。这跟现有技术是截然不同的,在现有技术中,反馈仅仅来自实际的手指的各种运动在荧光屏上的再现,并且不包括识别过程本身。
在这个实例中,通过笔运动的一次短暂的停止来提示每一个字符的结束,在图18中被表示为在一个圆圈里面的字母P。然而,响应于单位矢量序列,通过被存储的各种指令的一个简单的处理,屏幕上的动画能产生连笔的手写体,并且以动画方式显示介于诸字母之间的连笔线。
应当指出,响应于来自输入设备的诸信号(它们本身在时间上可以是不连续的),动画显示过程可以在显示屏幕上向使用者呈现一条连续地移动的手写线条。眼睛注视着心中所想的是什么,而不是诸手指在做什么。经过一段很短的使用时间之后,这个过程实质上将变为自动的和自然的。
在每一个字结束时,可以将笔或输入设备抬起(就像平常在纸上书写那样),以激活一个送往系统处理器的信号(从一个开关或其他传感装置中自动地产生),从而开始在屏幕上将已书写的字的完整的手写图像转换为应用程序等的字形字符,后者是数据输入的目标。
应当指出,在最后一个单位矢量已经被输入之后,在暂停的时间内对每一个字符进行识别。换句话说,使用者在写完每一个字符之后将暂时地停下来,与此同时该处理器在显示屏幕上完成手写字符形式的动画显示。一帧手写字符形式的图像已经是识别过程的一个产物,同时也是已经输入到该系统的诸单位矢量的一个唯一的代码所导出的一个产物,并且不应当跟在现有技术的诸发明中所显示的实际的无法识别的手指运动的手写形式相混淆。
在这个实例中,手写形式被显示在屏幕上,直到整个字被写完,以便于向使用者提供有用的反馈。
应当理解,如此合成和显示的手写字母形式跟在书写该字符过程中所进行的手指的各种运动之间存在一种函数关系。在这时,显示“印刷体”的诸字符不见得有用。
合成的字符的各种形式的结构基于诸单位矢量,后者用以表征对应的已书写的诸字符。从图18的流程图所示的实例中可以看出这种关系。
由此该反馈以一种最自然的方式引导书写者去输入诸单位矢量的正确序列,用不着有意识地去注意分析的层次。
一旦整个字被写完,该系统让为显示已识别的诸字符所需的全部信息以“印刷体”字符的最终形式去产生完整的印刷体文字。
不难理解,可以让计算机学习程序通过该字符集的风格化的结构,使用类似于上述的诸图形和诸反馈,去接受一个新的使用者。
有可能使用与一个物理模板相对立的虚拟模板。在物理模板系统中,借助于该模板的物理边界,通过运动的简化为字符识别提供方便,并且通过所得到的运动的精简使得单位矢量诸序列变为与比例尺无关以及与速度无关。
然而,进一步的改进仍然是可能的,在其中,通过一个物理边界来限制运动被通过对运动的记录进行一种抽象的限制所取代。若仅通过在方向上平行于一个抽象的、非物理的模板的各边的诸传感器来识别运动,并且若通过诸传感器和/或与它们相关的电子电路和算法,将这些运动量化为对行程的一种特殊限制,并且若这种限制小于已描画的最小字符,则对相同的风格化字符来说,其最终结果将与使用一个物理模板时相同。
这将导致设计一种能感知铁笔或手指的运动的、物理上更简单、更快的笔或者触摸屏,并允许本发明利用现在可用于计算机的各种输入设备进行工作,后者例如鼠标、跟踪球、手指垫板、触敏屏、压敏屏、笔和数字化板之类。
下面参照诸附图中的图20到29,对本发明的进一步改进加以说明。
待输入的字符依据为产生适当的单位矢量序列所需的各种运动而被定义。因此,字符的预定风格是事先设定的。这些字符可以非常接近,并且在多数情况下符合于自然字符形式。可以按照这样一种方式,依据单位矢量来定义诸字符,使得可以用一个单位矢量序列来代表每一个字符,上述单位矢量序列并不是针对另一个字符的较长的任何单位矢量序列的剪裁产物。它能允许连续输入(例如,在一个字的范围内),而不用以某种方式提示一个字符的完成。因此,可以用针对该字符所定义的序列的最后一个单位矢量来提示一个字符的完成。
这样的一个单位矢量集合的一个实例如下:
a=rldrud然后r用于开始
b=uddurdl然后r用于开始
c=rldr然后r用于开始
d=rldruudd然后r用于开始
e=ruldr然后r用于开始,
或ruld然后r用于开始
f=uddu然后rr用于开始
g=rldruddl然后r用于开始
h=uddurd然后r用于开始
i=d然后r用于开始
j=dl然后r用于开始
k=uddrl然后r用于开始
l=udd然后r用于开始
m=dudud然后r用于开始
n=dud然后r用于开始
o=rldru然后r用于开始
p=dduurdl然后r用于开始
q=rldudd然后r用于开始
r=duudr然后r用于开始
s=rudl然后r用于开始
t=udrld然后r用于开始
u=drud然后r用于开始
v=du然后r用于开始
w=dudu然后r用于开始
x=rl然后r用于开始
y=druddl然后r用于开始
z=rlrdl然后r用于开始
图20表示在描画一个字母“a”时,根据上面的单位矢量集合,对应于一个描画装置的运动的一帧动画屏幕图像。最后一个向右运动提示一个针对“a”的唯一的非嵌入的代码的完成,并因而是该字符的结束。这可以被用来在显示屏幕上的视觉动画上产生一条延伸到下一个字符的起始位置的线段。
可以用抬笔来实现对一个字的结束的提示,抬笔时激活一个开关或传感器或其他装置,例如按钮开关,或者一个特定的单位矢量序列或者特定的运动序列。
可以通过下列方式导出诸单位矢量:
从如上所述的在一个笔装置中检出运动的诸开关;
从超过一个阈值的在一个方向上的运动;
从超过一个阈值的在一个方向上的运动对时间的导数的任何组合;
从书写表面的一个已定义的区域到另一个区域的运动;
从基本上满足的一个方向或轴或模板边缘;
从以上的各种组合。
在这里,基本上满足指的是,该运动经过分解后与该方向、轴或模板边缘平行的诸矢量分量均大于在系统中平行于其他已定义的诸方向、诸轴或诸模板边缘的那些矢量分量。
为了便于描画和识别某些字符,若能检出成双的诸单位矢量将是有用的。换句话说,在描画某些字符时,诸单位矢量可以互相重复。可以通过安排两个具有不同检出阈值的检测器或者一前一后的两个模板(真实的或虚拟的),以便检出在相同方向上的两个矢量,使得该运动首先产生第一个,随后在相同方向上产生第二个单位矢量。在附图的图21和22中说明了这一点。在图21中,箭头指示描画装置或指向装置的运动方向。图22表示这如何被用于,例如,字母“g”。
与计算机和相关的显示屏幕或监视器配合使用的笔和指向装置依据指向装置通常使用在屏幕上再现的由诸像素连成的一根线,它表示描画装置的踪迹或轨迹。有时这被称为“屏幕上的墨水”。这样一种显示方式可以跟单位矢量检出配合使用,以便引导使用者形成正确的字母形状。
参看附图中的图23,有可能在监视器的屏幕上让一个图标响应于描画装置的实际运动而移动。可以用图标500出现在提供上述视觉反馈的动画字体附近。这就让使用者更精确地判断为得到正确的单位矢量识别所需的运动,如同通过对应于动画字体部件501、502、503、504(例如,对应于一个被描画的字母“o”的输入)的显示所证实的那样。
由于指向装置被移动时在监视器屏幕上将产生动画字形部件的显示,所以,通过驱使该处理器控制该监视器在每一个相继的动画字形部件的结束处显示一个图标,来指示笔的运动方向并给出笔位置的一个幻影将是有利的。这个图标不会跟响应于并表示描画装置实际运动的那个图标发生混淆。附图中的图24表示通过输入字母“o”所得到的图像序列。随着字母“o”被输入,图标520出现在每一个动画字形部件521、522、523和524的结束处。
这样来安排诸字符的描画,使得它们全都从同一点开始将是有利的。这就使书写者记住诸字符形式的一个集合,在输入下一个字符之前用不着心中想着要重新调整笔的位置。这就导致书写速度的提高。附图中的图25表示可以从一个共同起点开始描画的诸字母的诸实例。
在每一个字符的结束处,通过安排视觉反馈,使得笔位置图标(不管是实际的还是合成的)的位置从该字符的终点位置移动到标准的起点位置将是有利的。这立即重新调整书写者对笔位置的假设,以便于后继的字符的快速输入。
通过将屏幕墨水推进到标准起点位置,或者通过在监视器上驱使一个字形部件的动画去弥合介于终点位置以及下一个标准起点位置之间的间隙,也能获得相同的结果。例如,在附图中的图20示出了,最后的向右单位矢量提示字符“a”的完成,并且通过视觉反馈自动地产生一条延伸到共同的起点位置的线段。
图26表示结合屏幕墨水或实际的笔位置图标,通过适当的相对比例尺以及必要的运动的显示,在监视器上提供引导线以帮助正确的输入。这就保证了更正规的字符描画,并且所用的比例尺跟单位矢量诸检出阈值所用的比例尺是一致的。
引导使用者在诸字符的输入中产生正确的单位矢量序列的一种可供选择的方法就是使用延伸的矢量图像来提供视觉反馈。已检出的单位矢量使得显示指向装置运动的图像被锁定于相应的方向上,并且允许表示运动的延伸的一根线再现在荧光屏上。若运动方向改变得足以触发一个新的单位矢量的识别,则所显示的线段被锁定在新的方向上。这种视觉反馈允许所想的字符形状的幻影图像被显示为直线线段,后者对应于在每一个方向上的运动的程度。图27说明了这种方法。
为了在不提升笔装置的前提下提示字符结束并因此允许连续输入(例如,在一个字的范围内)或者不这样的话就需要提示字符的结束和/或为了提示对诸字符或诸信号的控制或修改,结合屏幕墨水和/或指向装置图标,在显示屏幕上使用特定的诸区域或者特定的引导线是有利的。在这个方法中,当笔位置图标和/或屏幕墨水移动到监视器显示表面上对应于书写表面的一个已定义的区域时,或者当笔进入书写表面的已定义的区域时,或者当笔跨越在某一表面上的一条已定义的线段时,处理器就产生一个信号,它指示一个字符的结束或者其他控制事件或命令。
这就允许在不需要抬笔的前提下快速输入连笔的诸手写字符,或者不这样的话就要提示每一个字符的结束。这被示于附图中的图28,在图中,每当荧光屏墨水或笔图标运动到阴影区域550时,就提示一个字符的结束。
视觉反馈还包括随着新的单位矢量被检出,对所显示的字符诸部件进行修改。附图中的图29说明了这个方法。在检出向左的单位矢量之后,”h”的座部被修改为“b”的圆圈。随之而来的是,在检出最后的向右的单位矢量之后,”b”的圆圈被修改为“k”的卷曲。
现在参照诸附图中的图13A和B以及图14A和B,来说明一种用于本发明的实用的描画装置,它已经被建立以保证运动的量化的功效,以便从手写的各种手指运动中产生诸单位矢量。人们将理解到,为了用于本发明,可以产生笔的多种形式,人们还将理解到,现有计算机的各种输入设备都可以被调试,以便实施在这里描述的本发明。
诸附图示出了一支笔100,它具有一个管状体102。杆104通过笔体的低端向外延伸,杆104以枢轴方式被安装到笔体上的106处,因此,当杆的尖端在一个表面上被保持静止时,笔体可以相对于笔尖沿着互相垂直的方向发生移动。在笔体里面,有4个光源108,其中的每一个都位于一个抽象的正方形模板的一个边的中点上。光纤110面对着每一个光源,用以检出其本身光源的亮或暗状态,由此可以产生诸信号以供微处理器进行识别。杆104在其上端有一块方形的挡板112,在一个静止位置,即,当该杆以其中心线对准于笔的轴线时,所有各光源都可以被它们的对应的诸光纤110检出,但当笔体相对于杆发生移动时,该挡板被移动去阻挡对应于笔的移动方向的两个光源。图13B和14B分别地表示在中性位置上的挡板以及当笔已经被推到右上方时的挡板。笔尖的各种运动受到一个方形模板114的约束,模板位于笔尖从其中穿出的笔体的端部,采取一个小孔的形式。因此,笔包括在形成诸字符的过程中用以检出笔的运动方向的装置,以产生一组能够被微处理器或计算机识别的信号,以便在一部计算机的屏幕上产生该字符。
若该笔尖具有一种内在的灵活性,则诸手指可以进行圆周的和曲线的运动,与此同时,诸信号参照于诸方形模板而被产生。
诸附图中的图15以图解方式示出了跟一个虚拟模板配合工作的一个笔装置。如图所示,笔尖150相对于虚拟模板152的中心的位置按照其x,y坐标被感知。由于通过诸手指让笔体围绕笔尖发生移动,所以该抽象的模板随着笔体发生移动,并导致介于笔尖以及模板之间的一种相对运动。笔尖相对于虚拟模板的运动踪迹或轨迹用线段154来表示。
该运动是参照于模板的诸边而进行的,即,它被记录为笔尖位置在模板上的一种映射,从中得到,例如,单位矢量LDR,它们将被解码为字符“c”。
假设笔尖围绕模板的外周而运动,并且该模板通常小于最小的被描画的字符,则不管描画时的比例尺或速度如何,诸单位矢量的序列将经常地解码为风格化的各种字符形状。
本发明的另一个实施例(见图17)包括一个建立在一个便携式数据库300、或便携式计算机或其他需要信息输入的产品里面的一个模板,需要信息输入的产品例如一部录像机,袖珍计算器,电话,中央加热控制器,洗衣机等等。被诸手指握持的一根小铁笔302的运动激活诸模板传感器。
该铁笔可以被附着或者用铰链连接到产品上,也可以是可拆卸的或单独的。由于铁笔模板304将取代具有屏幕314的普通袖珍数据库312(见图16)的较大的键盘或键板310,所以本专利申请将使得数据输入所占用的空间大为缩小。铁笔在不使用时可以折叠下来以节省空间。本发明的这个实施例的优点在于,产品可以制作得很小,可以一边用眼睛注视荧光屏314,一边使用铁笔,并且使用起来比通常的难懂的键盘的键更简便,并且可以更快地输入数据。该输入装置可以用比一个键盘或触敏屏更低廉的造价制造出来。介于便携式数据库等之间的一根数据连接电缆能连接到一部计算机,以便允许来自内置式笔装置的文本被输入到该计算机中去。

Claims (41)

1.用于向一个数字设备输入手写字符的装置,包括用于描画一个字符的装置,在描画一个字符时,用于检测运动特征,随着字符被描画,通过将各特征与一个预定的特征集合进行比较,以产生该字符的一个代码的装置,所述代码由一个时间相关的信号序列表示,每个信号对应于与在每个连续的运动步骤所检测到的实际特征最接近的预定特征,以及视觉反馈装置,其中,对于正在手写输入的字符,该字符的一个部件用信号序列中的每个连续信号进行显示,且显示时与描画装置的位置不相关。
2.如权利要求1所述的用于向一个数字设备输入手写字符的装置,其中,描画一个字符时的运动特征是运动方向。
3.如权利要求1所述的用于向一个数字设备输入手写字符的装置,其中,描画一个字符时的运动特征是连续位置。
4.如权利要求1所述的用于向一个数字设备输入手写字符的装置,其中,描画一个字符时的运动特征在速度或运动的高阶时间导数上是连续变化的。
5.如权利要求1所述的用于向一个数字设备输入手写字符的装置,其中,描画一个字符时的运动特征是连续的形状分量。
6.如权利要求1所述的用于向一个数字设备输入手写字符的装置,其中,视觉反馈包括,与随着手写字符被描画而产生的时间相关的信号序列相关,显示一步一步建立的、以及可选择地,被修改的字符。
7.如权利要求1所述的用于向一个数字设备输入手写字符的装置,其中,视觉反馈包括,以一种所选择的字体自动显示一步一步建立的、以及可选择地,被修改的字符,每个步骤对应于正在被描画的代码序列的信号之一,并与该代码序列处于相同顺序。
8.如权利要求1所述的用于向一个数字设备输入手写字符的装置,其中,视觉反馈包括,与随着手写字符被描画而产生的时间相关的信号序列相关,显示一步一步建立的、以及可选择地,被修改的字符,并且每个显示步骤与正在描画的字符的前置信号或信号序列相关。
9.如权利要求1所述的装置,其中,描画装置的运动被抽取为各个单位矢量。
10.如权利要求2所述的装置,其中,一个方向变化的抽取跟速度无关。
11.如权利要求2所述的装置,其中,一个方向变化的抽取跟比例尺无关。
12.如权利要求2所述的装置,其中,一个方向变化的抽取基本上与该字符在被描画时的畸变或变体无关。
13.如权利要求1所述的装置,其中,以实时方式一个字符一个字符地进行识别。
14.如权利要求1所述的装置,还包括用于显示所识别的字符的装置。
15.如权利要求1所述的装置,还包括一个装置,用于随着每一个信号被抽取,提供对应于正在被输入的该字符的视觉反馈。
16.如权利要求15所述的装置,其中,视觉反馈装置包括响应于一个已抽取的信号,在一个监视器上用于产生一个字符部件的一种图形仿真的装置。
17.如权利要求16所述的装置,其中,响应于针对一个字符的一个序列的一个后继信号,所述图形仿真是可以修改的。
18.如权利要求16所述的装置,其中,所述图形仿真还包括一个指示器,用以指示该描画装置在一个描画表面上的位置。
19.如权利要求18所述的装置,其中,所述指示器包括一个图标,它被显示在最后的图形仿真部件的一端,或与之靠近。
20.如权利要求18所述的装置,其中,所述指示器包括一个图标,它响应于该描画装置的运动,围绕一个字符的仿真图形而移动。
21.如权利要求16所述的装置,还包括在监视器上,将该字符作为它的一个复制品加以显示的装置。
22.如权利要求1所述的装置,包括用于提示一个字符的完成的装置。
23.如权利要求22所述的装置,其中该描绘装置被这样安排,通过从一个描画表面上抬起该描画装置去提示一个字符的完成。
24.如权利要求23所述的装置,其中,通过该描画装置相对于该字符的一种唯一的运动来指示一个字符的完成。
25.如权利要求23所述的装置,其中,通过描画装置以及一个表明描画装置在一个已定义的位置上的图标二者之一的运动,来指示一个字符的完成。
26.如权利要求25所述的装置,其中,所述已定义的位置是一个描画表面上的一个区域。
27.如权利要求25所述的装置,其中,所述已定义的位置是一个监视器上被定义的一个区域。
28.如权利要求1所述的装置,其中,该描画装置包括一个手持的、类似于笔的设备。
29.如权利要求28所述的装置,其中该设备具有一个部件,在再现一个字符的过程中,它相对于一个模板是可动的。
30.如权利要求29所述的装置,其中该部件相对一个抽象的模板是可动的。
31.如权利要求29所述的装置,其中该描画装置包括一个有洞的主体部分,它相对于在该有洞主体的部件内的一个真实的或抽象的模板来说,是可动的。
32.如权利要求29所述的装置,其中该设备的至少一个可动部件以及该设备和/或模板的其余部分被柔性地连接。
33.如权利要求32所述的装置,其中该设备的至少一个可动部件是一个笔尖,它相对于该设备的一个主体是可动的,并且一个或多个柔性连接影响着该笔尖相对于该主体的运动。
34.如权利要求29所述的装置,包括在再现一个字符的过程中,用于对所述设备或部件相对于一个真实的或抽象的模板的运动方向进行感知的传感装置。
35.如权利要求34所述的装置,其中传感装置被配置在真实的或抽象的模板周围。
36。如权利要求33所述的装置,其中从电气的、光电的以及磁性的传感装置中选择该传感装置。
37.如权利要求29所述的装置,其中该模板通常是一个方形的围栏。
38.如权利要求29所述的装置,其中该模板通常是一个圆形的围栏。
39.如权利要求29所述的装置,其中该模板定义一条轨迹。
40.如权利要求29所述的装置,其中该模板具有多个区域,并且在再现一个字符的过程中,所述部件从一个区域移动到另一个区域。
41.如权利要求1所述的装置,包括用于将一个针对小写字母的信号转换为一个针对大写字母的信号的装置。
CNB988029685A 1997-01-29 1998-01-27 向数字设备输入字符或命令的装置 Expired - Fee Related CN1161707C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB9701793.3 1997-01-29
GBGB9701793.3A GB9701793D0 (en) 1997-01-29 1997-01-29 Means for inputting characters or commands into a computer

Publications (2)

Publication Number Publication Date
CN1249831A CN1249831A (zh) 2000-04-05
CN1161707C true CN1161707C (zh) 2004-08-11

Family

ID=10806747

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB988029685A Expired - Fee Related CN1161707C (zh) 1997-01-29 1998-01-27 向数字设备输入字符或命令的装置

Country Status (14)

Country Link
US (1) US6647145B1 (zh)
EP (1) EP1012780B1 (zh)
JP (1) JP2001509288A (zh)
KR (1) KR100438653B1 (zh)
CN (1) CN1161707C (zh)
AT (1) ATE284559T1 (zh)
AU (1) AU748968B2 (zh)
CA (1) CA2277963A1 (zh)
DE (1) DE69828065T2 (zh)
GB (1) GB9701793D0 (zh)
ID (1) ID22678A (zh)
RU (1) RU2236036C2 (zh)
TW (1) TW469400B (zh)
WO (1) WO1998033141A1 (zh)

Families Citing this family (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6088019A (en) * 1998-06-23 2000-07-11 Immersion Corporation Low cost force feedback device with actuator for non-primary axis
US6429846B2 (en) 1998-06-23 2002-08-06 Immersion Corporation Haptic feedback for touchpads and other touch controls
US7268774B2 (en) * 1998-08-18 2007-09-11 Candledragon, Inc. Tracking motion of a writing instrument
US20100008551A9 (en) * 1998-08-18 2010-01-14 Ilya Schiller Using handwritten information
US7106888B1 (en) * 1999-05-25 2006-09-12 Silverbrook Research Pty Ltd Signature capture via interface surface
AUPQ363299A0 (en) * 1999-10-25 1999-11-18 Silverbrook Research Pty Ltd Paper based information inter face
AUPQ056099A0 (en) * 1999-05-25 1999-06-17 Silverbrook Research Pty Ltd A method and apparatus (pprint01)
US6816274B1 (en) * 1999-05-25 2004-11-09 Silverbrook Research Pty Ltd Method and system for composition and delivery of electronic mail
WO2001048685A1 (en) * 1999-12-23 2001-07-05 Anoto Ab General information management system
US6822635B2 (en) 2000-01-19 2004-11-23 Immersion Corporation Haptic interface for laptop computers and other portable devices
KR100934780B1 (ko) * 2001-06-20 2009-12-31 지 데쿠마 아베 인식된 육필 패턴의 제공 방법 및 장치
JP4261145B2 (ja) * 2001-09-19 2009-04-30 株式会社リコー 情報処理装置、情報処理装置の制御方法、その方法をコンピュータに実行させるためのプログラム
UA46628A (uk) * 2001-10-12 2002-05-15 Віталій Іванович Гнатенко Спосіб введення символів і пристрій для його реалізації
US7257255B2 (en) * 2001-11-21 2007-08-14 Candledragon, Inc. Capturing hand motion
EP1456808B1 (de) * 2001-12-21 2005-06-22 Siemens Aktiengesellschaft Vorrichtung zum erfassen und darstellen von bewegungen
US7096432B2 (en) * 2002-05-14 2006-08-22 Microsoft Corporation Write anywhere tool
SE0202446D0 (sv) 2002-08-16 2002-08-16 Decuma Ab Ideon Res Park Presenting recognised handwritten symbols
US20040036711A1 (en) * 2002-08-23 2004-02-26 Anderson Thomas G. Force frames in animation
WO2004036405A2 (en) 2002-10-15 2004-04-29 Immersion Corporation Products and processes for providing force sensations in a user interface
WO2004038573A2 (en) 2002-10-20 2004-05-06 Immersion Corporation System and method for providing rotational haptic feedback
US7262764B2 (en) * 2002-10-31 2007-08-28 Microsoft Corporation Universal computing device for surface applications
US8830161B2 (en) 2002-12-08 2014-09-09 Immersion Corporation Methods and systems for providing a virtual touch haptic effect to handheld communication devices
GB2413416B8 (en) 2002-12-08 2006-09-07 Immersion Corp Haptic massaging in handheld communication devices
US8059088B2 (en) 2002-12-08 2011-11-15 Immersion Corporation Methods and systems for providing haptic messaging to handheld communication devices
US7729542B2 (en) * 2003-04-04 2010-06-01 Carnegie Mellon University Using edges and corners for character input
US8164573B2 (en) 2003-11-26 2012-04-24 Immersion Corporation Systems and methods for adaptive interpretation of input from a touch-sensitive input device
CN100421058C (zh) * 2003-12-23 2008-09-24 奥森泰克公司 具有用于字符输入的手指传感器的电子设备和相关方法
CA2567751C (en) * 2004-06-01 2013-08-27 Mattel, Inc. An electronic learning device with a graphic user interface for interactive writing
US20060017702A1 (en) * 2004-07-23 2006-01-26 Chung-Yi Shen Touch control type character input method and control module thereof
US8232969B2 (en) 2004-10-08 2012-07-31 Immersion Corporation Haptic feedback for button and scrolling action simulation in touch input devices
US7443386B2 (en) * 2004-11-01 2008-10-28 Nokia Corporation Mobile phone and method
US8849034B2 (en) * 2004-12-09 2014-09-30 Hewlett-Packard Development Company, L.P. System, method, and apparatus for triggering recognition of a handwritten shape
US7587087B2 (en) * 2004-12-10 2009-09-08 Nokia Corporation On-line handwriting recognition
US8250493B2 (en) 2005-02-05 2012-08-21 Samsung Electronics Co., Ltd. User interface method, medium, and apparatus with gesture-recognition
KR100718126B1 (ko) * 2005-02-05 2007-05-15 삼성전자주식회사 동작 인식 기반 입력 장치의 사용자 인터페이스 방법 및 그장치
US7561145B2 (en) 2005-03-18 2009-07-14 Microsoft Corporation Systems, methods, and computer-readable media for invoking an electronic ink or handwriting interface
US7825903B2 (en) 2005-05-12 2010-11-02 Immersion Corporation Method and apparatus for providing haptic effects to a touch panel
US20070008301A1 (en) * 2005-06-21 2007-01-11 Stewart Duncan H Training system and method
US7755026B2 (en) * 2006-05-04 2010-07-13 CandleDragon Inc. Generating signals representative of sensed light that is associated with writing being done by a user
KR100765264B1 (ko) * 2006-08-04 2007-10-09 삼성전자주식회사 디스플레이장치 및 그 제어방법
KR100720335B1 (ko) * 2006-12-20 2007-05-23 최경순 접촉 위치 이동에 따라 생성되는 상대좌표값에 대응하는텍스트를 입력하는 텍스트 입력 장치 및 그 방법
US20080297491A1 (en) * 2007-05-29 2008-12-04 Adkins Gordon K Stylus for a touch-screen device
EP2202683A4 (en) 2007-10-15 2015-08-05 Nippon Telegraph & Telephone PICTURE PRODUCTION METHOD, DEVICE, PROGRAM THEREFOR AND RECORDING MEDIUM WITH A PROGRAM RECORDED THEREFOR
LV13941B (lv) 2007-11-01 2012-09-20 Klaviatåŗra 21, Sia Informācijas ievades paņēmiens un ierīce ar pieļaujamo trajektoriju aprakstu
US20090138800A1 (en) * 2007-11-23 2009-05-28 Mckesson Financial Holdings Limited Apparatus, method and computer-readable storage medium for directing operation of a software application via a touch-sensitive surface
US8707215B2 (en) * 2007-12-31 2014-04-22 Motorola Mobility Llc Hand-held device and method for operating a single pointer touch sensitive user interface
US8237665B2 (en) * 2008-03-11 2012-08-07 Microsoft Corporation Interpreting ambiguous inputs on a touch-screen
RU2468417C2 (ru) * 2008-05-28 2012-11-27 Шарп Кабусики Кайся Устройство обнаружения ввода, способ обнаружения ввода, программа и носитель данных
JP2010015238A (ja) * 2008-07-01 2010-01-21 Sony Corp 情報処理装置、及び補助情報の表示方法
CN101650520A (zh) * 2008-08-15 2010-02-17 索尼爱立信移动通讯有限公司 移动电话的可视激光触摸板和方法
KR101019335B1 (ko) * 2008-11-11 2011-03-07 주식회사 팬택 제스처를 이용한 이동단말의 어플리케이션 제어 방법 및 시스템
JP5326802B2 (ja) * 2009-05-19 2013-10-30 ソニー株式会社 情報処理装置、画像拡大縮小方法及びそのプログラム
EP2477096A1 (en) * 2009-09-09 2012-07-18 Sharp Kabushiki Kaisha Gesture determination device and method of same
WO2011047618A1 (zh) * 2009-10-20 2011-04-28 Tuan Hsi-Ching 鼠标笔及其光电控制开关
TWI402722B (zh) * 2009-12-24 2013-07-21 Benq Corp 光學筆及其操作方法
US20110254765A1 (en) * 2010-04-18 2011-10-20 Primesense Ltd. Remote text input using handwriting
US20110291964A1 (en) * 2010-06-01 2011-12-01 Kno, Inc. Apparatus and Method for Gesture Control of a Dual Panel Electronic Device
US9043732B2 (en) * 2010-10-21 2015-05-26 Nokia Corporation Apparatus and method for user input for controlling displayed information
CN102088486A (zh) * 2010-12-31 2011-06-08 汉王科技股份有限公司 手写识别服务器及其处理方法和手写识别服务器集群系统
US9582178B2 (en) 2011-11-07 2017-02-28 Immersion Corporation Systems and methods for multi-pressure interaction on touch-sensitive surfaces
GB2497572A (en) * 2011-12-15 2013-06-19 St Microelectronics Ltd Function performance in response to pattern recognition on an optical navigation device such as a finger mouse
US9403399B2 (en) 2012-06-06 2016-08-02 Milwaukee Electric Tool Corporation Marking pen
US9886088B2 (en) * 2012-08-08 2018-02-06 Microsoft Technology Licensing, Llc Physically modulating friction in a stylus
JP5284523B1 (ja) * 2012-09-05 2013-09-11 株式会社東芝 情報処理システム、プログラムおよび情報処理システムの処理方法
US20140089865A1 (en) * 2012-09-24 2014-03-27 Co-Operwrite Limited Handwriting recognition server
US8743072B2 (en) * 2012-09-28 2014-06-03 Lg Electronics Inc. Display device and control method thereof
KR20150104808A (ko) * 2014-03-06 2015-09-16 삼성전자주식회사 피드백을 출력하는 전자 장치 및 방법
US10643067B2 (en) * 2015-10-19 2020-05-05 Myscript System and method of handwriting recognition in diagrams
KR20200078932A (ko) * 2018-12-24 2020-07-02 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
EP3736677A1 (en) 2019-05-10 2020-11-11 MyScript A method and corresponding device for selecting and editing handwriting input elements
EP3754537A1 (en) 2019-06-20 2020-12-23 MyScript Processing text handwriting input in a free handwriting mode
EP3772015B1 (en) 2019-07-31 2023-11-08 MyScript Text line extraction
EP3796145A1 (en) 2019-09-19 2021-03-24 MyScript A method and correspond device for selecting graphical objects
US20220122477A1 (en) * 2020-10-20 2022-04-21 Holistic Language Solutions LLC Computerized method and apparatus for determining accuracy of written characters and stroke order and compliance with rules and providing visual and audio feedback

Family Cites Families (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3930229A (en) 1974-01-31 1975-12-30 Stanford Research Inst Handwriting system
GB1494901A (en) * 1974-04-30 1977-12-14 Suisse Horlogerie Data entry and decoding system
US4477797A (en) 1980-12-12 1984-10-16 Citizen Watch Company Limited Data input device for electronic device
US4423286A (en) 1982-07-21 1983-12-27 Talos Systems, Inc. Apparatus and method for determining the position of a driven coil within a grid of spaced conductors
US4532376A (en) 1983-05-26 1985-07-30 Sanders Associates, Inc. Electronic pen with switching mechanism for selectively providing tactile or non-tactile feel
JPS60205686A (ja) 1984-03-30 1985-10-17 Hitachi Ltd 手書き文字・図形認識システム
US4751741A (en) 1984-07-19 1988-06-14 Casio Computer Co., Ltd. Pen-type character recognition apparatus
EP0210237A1 (en) 1985-01-31 1987-02-04 Tybar Engineering Pty. Ltd. Input device for handwritten characters
JPS61275990A (ja) * 1985-05-31 1986-12-06 Canon Inc 手書パタ−ン認識機能付電子機器
US4972496A (en) 1986-07-25 1990-11-20 Grid Systems Corporation Handwritten keyboardless entry computer system
US4820886A (en) 1987-03-16 1989-04-11 Sanders Associates, Inc. Low-cost, high-accuracy digitizer signal acquisition apparatus and method
US4905007A (en) * 1987-05-29 1990-02-27 Samson Rohm Character input/output device
US4794208A (en) 1988-02-08 1988-12-27 Calcomp Inc. Frequency shifting digitizer for reducing AC fields interference
US4835347A (en) 1988-02-12 1989-05-30 Calcomp, Inc. Shifting wire sequence digitizer system
US4806707A (en) * 1988-02-12 1989-02-21 Calcomp Inc. 3-Dimensional digitizer pen
US4831216A (en) 1988-02-12 1989-05-16 Calcomp, Inc. Digitizer system with intertwined loopback conductor grid
US4853499A (en) 1988-12-12 1989-08-01 Calcomp Inc. Ground switching technique for silkscreened digitizer grids
FR2648255B1 (fr) * 1989-06-08 1992-11-27 Gazale Midhat Dispositif electromecanique de reconnaissance de caracteres executes manuellement
US5155813A (en) 1990-01-08 1992-10-13 Wang Laboratories, Inc. Computer apparatus for brush styled writing
US5029223A (en) 1990-02-02 1991-07-02 International Business Machines Corporation Constraint driven-on line recognition of handwritten characters and symbols
DK0522035T3 (da) * 1990-03-30 1994-11-07 Ferdinand Lutz Propel med vridbare blade
JP2669575B2 (ja) * 1991-04-19 1997-10-29 インターナショナル・ビジネス・マシーンズ・コーポレイション データ入力方法及び装置
US5544262A (en) 1992-04-07 1996-08-06 Apple Computer, Inc. Method and apparatus for processing graphically input equations
US5544265A (en) 1992-05-27 1996-08-06 Apple Computer, Inc. Shape recognizer for graphical computer systems
US5434777A (en) 1992-05-27 1995-07-18 Apple Computer, Inc. Method and apparatus for processing natural language
US5903668A (en) 1992-05-27 1999-05-11 Apple Computer, Inc. Method and apparatus for recognizing handwritten words
US5452371A (en) 1992-05-27 1995-09-19 Apple Computer, Inc. Method of aligning shapes on a display of a computer system
US5536930A (en) * 1992-06-03 1996-07-16 Symbol Technologies, Inc. Apparatus and method for sensing positional orientations of a portable terminal
US5465325A (en) 1992-11-16 1995-11-07 Apple Computer, Inc. Method and apparatus for manipulating inked objects
US5559942A (en) 1993-05-10 1996-09-24 Apple Computer, Inc. Method and apparatus for providing a note for an application program
US5566248A (en) 1993-05-10 1996-10-15 Apple Computer, Inc. Method and apparatus for a recognition editor and routine interface for a computer system
US5677710A (en) 1993-05-10 1997-10-14 Apple Computer, Inc. Recognition keypad
US6011865A (en) 1993-05-12 2000-01-04 International Business Machines Corporation Hybrid on-line handwriting recognition and optical character recognition system
US5596350A (en) 1993-08-02 1997-01-21 Apple Computer, Inc. System and method of reflowing ink objects
US5555363A (en) * 1993-09-30 1996-09-10 Apple Computer, Inc. Resetting the case of text on a computer display
US5583946A (en) 1993-09-30 1996-12-10 Apple Computer, Inc. Method and apparatus for recognizing gestures on a computer system
IL108319A0 (en) 1994-01-12 1994-04-12 Art Advanced Recognition Tech Method and system for visual and sound pattern recognition
CA2162489A1 (en) 1994-05-10 1998-06-01 Chris A. Kortge Method of stroke segmentation for handwritten input
IT1272259B (it) * 1994-05-30 1997-06-16 Texas Instruments Italia Spa Procedimento ed apparecchio per il riconoscimento dei caratteri
IL110137A (en) 1994-06-27 2000-06-29 Advanced Recognition Tech Handwriting recognition system
JPH10510639A (ja) 1994-07-01 1998-10-13 パーム コンピューティング,インコーポレーテッド マルチペンストローク文字セット及び手書文書認識システム
US5666438A (en) 1994-07-29 1997-09-09 Apple Computer, Inc. Method and apparatus for recognizing handwriting of different users of a pen-based computer system
US5854855A (en) 1994-09-09 1998-12-29 Motorola, Inc. Method and system using meta-classes and polynomial discriminant functions for handwriting recognition
US5768417A (en) 1994-09-09 1998-06-16 Motorola, Inc. Method and system for velocity-based handwriting recognition
WO1996008787A1 (en) 1994-09-14 1996-03-21 Apple Computer, Inc. System and method for automatic subcharacter unit and lexicon generation for handwriting recognition
IL111039A (en) 1994-09-22 1998-08-16 Advanced Recognition Tech Handwriting recognition system
US5675665A (en) 1994-09-30 1997-10-07 Apple Computer, Inc. System and method for word recognition using size and placement models
US5737443A (en) 1994-11-14 1998-04-07 Motorola, Inc. Method of joining handwritten input
AU690781B2 (en) 1994-11-14 1998-04-30 Motorola, Inc. Method of splitting handwritten input
US5521986A (en) * 1994-11-30 1996-05-28 American Tel-A-Systems, Inc. Compact data input device
WO1996023275A1 (en) 1995-01-23 1996-08-01 Advanced Recognition Technologies Inc. Handwriting recognizer with estimation of reference lines
US5623345A (en) 1995-03-06 1997-04-22 Motorola, Inc. Facsimile communication with a selective call system and method thereof
TW397951B (en) 1995-06-05 2000-07-11 Motorola Inc Method and microprocessor for preprocessing handwriting having characters composed of a preponderance of straight line segments
TW338815B (en) 1995-06-05 1998-08-21 Motorola Inc Method and apparatus for character recognition of handwritten input
WO1997003411A1 (en) 1995-07-07 1997-01-30 Motorola Inc. Method for entering handwritten messages in selective call receivers
AU5951696A (en) 1995-07-20 1997-02-18 Motorola, Inc. Method for entering handwritten information in cellular telephones
US5959260A (en) 1995-07-20 1999-09-28 Motorola, Inc. Method for entering handwritten information in cellular telephones
US5682439A (en) 1995-08-07 1997-10-28 Apple Computer, Inc. Boxed input correction system and method for pen based computer systems
TW388016B (en) 1995-11-13 2000-04-21 Motorola Inc Method and apparatus for character recognition interface
US6556712B1 (en) 1996-05-23 2003-04-29 Apple Computer, Inc. Methods and apparatus for handwriting recognition

Also Published As

Publication number Publication date
EP1012780A1 (en) 2000-06-28
CN1249831A (zh) 2000-04-05
AU5773398A (en) 1998-08-18
ID22678A (id) 1999-12-09
AU748968B2 (en) 2002-06-13
KR20000070619A (ko) 2000-11-25
RU2236036C2 (ru) 2004-09-10
DE69828065D1 (de) 2005-01-13
CA2277963A1 (en) 1998-07-30
JP2001509288A (ja) 2001-07-10
ATE284559T1 (de) 2004-12-15
EP1012780B1 (en) 2004-12-08
GB9701793D0 (en) 1997-03-19
US6647145B1 (en) 2003-11-11
TW469400B (en) 2001-12-21
KR100438653B1 (ko) 2004-07-12
DE69828065T2 (de) 2005-12-08
WO1998033141A1 (en) 1998-07-30

Similar Documents

Publication Publication Date Title
CN1161707C (zh) 向数字设备输入字符或命令的装置
CN1218233C (zh) 依据歧异编码及方法而设计的可键入装置
CN1024050C (zh) 对汉字进行编码和译码的方法和装置
CN1304988C (zh) 字符输入装置
CN1209725C (zh) 文件编辑处理方法和文件编辑处理设备
CN1190205A (zh) 表意字符的递增输入方法
JP6991486B2 (ja) 文字列に文字を挿入するための方法およびシステム
CN100342317C (zh) 字符的输入装置和方法
CN1387639A (zh) 语言输入用户界面
CN1864204A (zh) 用来完成语音识别的方法、系统和程序
KR20180100207A (ko) 디지털 잉크 상호작용을 위한 시스템 및 방법
CN104598148B (zh) 一种电脑触摸屏手写汉字方法
JP2005508031A (ja) 部首に基づいた、適合化可能な画の書き順システム
CN1280748C (zh) 使用计算机键入字母表中字母的方法
US20070216653A1 (en) Pointing method and system for quickly moving an object to a designated area
CN1400550A (zh) 用于字符输入检索和索引的方法和装置
US8711100B2 (en) Sign language keyboard and sign language searching apparatus using the same
JP6890163B2 (ja) タッチスクリーンキーボードを具備した入力装置での簡便な日本語拗音の入力方法と上記方法が実現されるようにする入力装置
JP2011522492A (ja) 中国語教育に適した漢字の入力方法
CN1469294A (zh) 印刷用户介面系统及其应用
CN1845053A (zh) 手写拼式移动虚拟键盘认别拼音汉字英文输入技术
CN1255685A (zh) 一种无笔画顺序的手写字符辨识系统
CN1275732A (zh) 汉语键盘输入系统及其应用技术
CN1258037A (zh) 中文键盘及汉字语音码输入方法
CN1050913C (zh) 中文部首代码编码输入的文书处理装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C19 Lapse of patent right due to non-payment of the annual fee
CF01 Termination of patent right due to non-payment of annual fee