CN100465866C - 通用计算设备的光学系统设计 - Google Patents

通用计算设备的光学系统设计 Download PDF

Info

Publication number
CN100465866C
CN100465866C CNB2005100040654A CN200510004065A CN100465866C CN 100465866 C CN100465866 C CN 100465866C CN B2005100040654 A CNB2005100040654 A CN B2005100040654A CN 200510004065 A CN200510004065 A CN 200510004065A CN 100465866 C CN100465866 C CN 100465866C
Authority
CN
China
Prior art keywords
input equipment
equipment
image
data
optical system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2005100040654A
Other languages
English (en)
Other versions
CN1637698A (zh
Inventor
张春晖
王建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN1637698A publication Critical patent/CN1637698A/zh
Application granted granted Critical
Publication of CN100465866C publication Critical patent/CN100465866C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G06F3/0321—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface by optically sensing the absolute position with respect to a regularly patterned surface forming a passive digitiser, e.g. pen optically detecting position indicative tags printed on a paper sheet

Abstract

本通用输入设备提供了用于包括印刷文档的各种不同计算平台的公用用户接口。使用本发明的系统，可使用该通用输入设备来控制各种计算设备，以及捕捉手写电子墨水，并令电子墨水与新的或储存的文档相关联。该通用输入设备可由一特定的标识来识别，以允许多个用户同时或不同时在文档上和/或应用程序内操作。具有红外光照明的偏移光学系统处理投影，并帮助检测在通常的可见光照明下会被已有墨水覆盖的位置编码。

Description

通用计算设备的光学系统设计
本申请是2002年10月31日提交的名为“通用计算设备”的美国专利申请序列号10/284,417的部分继续申请，其内容通过引用结合于此。
技术领域
本发明的各方面一般针对用于生成平滑电子墨水的计算机输入设备，尤其针对可用于发散(divergent)平台，同时提供公用用户接口的输入设备。
背景技术
计算系统已经引人注目地改变了我们生活的方式。第一波计算机的价格高得惊人，并且仅对商业设置中的使用有成本效益。当计算机变得越来越花费得起时，个人计算机在工作场所和家庭中的使用变得如此广泛，使得计算机变得与办公室中的书桌和家庭中的餐桌一样常见。微处理器已被结合到日常生活的所有方面，从电视机的使用和其它娱乐系统，到用于控制汽车的操作的设备。
计算设备的进展，从占据大办公室设施的整个地板的数据处理装置，到膝上计算机或其它便携式计算设备，已经以生成文档和排序信息地方式产生了引人注目的影响。便携式计算能力令个人能够打字、起草便笺、记笔记、创建图像、并在除使用这些计算设备的办公室之外的其它地方执行大量的任务。专业人员和非专业人员都有能力使用满足其在任何位置的计算需求的设备在活动中执行任务。
典型的计算机系统，尤其是使用图形用户界面(GUI)系统的计算机系统，如
Figure C200510004065D00041
 Windows，已被优化，用于接受来自诸如键盘(用于输入文本)以及具有一个和多个用于激活用户选择的定位设备(如鼠标)等一个或多个离散输入设备的用户输入。
计算世界的原始目标之一是在每一书桌上都有一台计算机。在很大程度上，这一目标通过令个人计算机在办公室工作空间中变得到处存在来实现。随着膝上计算机和高容量个人数据助理的出现，办公室工作空间被扩展，以包括可在其中完成工作的各种各样的非传统地点。在日益增加的程度上，计算机用户对其计算设备的每一个必须成为发散(divergent)用户接口的主人。从用于标准个人计算机的鼠标和键盘接口，到个人数据助理的简化的电阻触针(resistive stylus)接口，甚至到蜂窝电话的最小键盘，用户都面对在他能够使用底层技术之前需要掌握的各种不同的用户接口。
尽管技术中有进步，然而大多数用户往往使用印刷在纸张上的文档作为其主要的编辑工具。印刷纸张的某些优点包括其可靠性和便携性。其它优点包括共享经注释的纸件文档的能力以及可获得印刷纸张的简易性。在高级计算系统和印刷纸张的功能的间隙之间架起桥梁的一种用户接口是基于触针的用户接口。基于触针的用户接口的一种方法是使用电阻技术(在当今的PDA中常见)。另一种方法是使用膝上计算机中的有源传感器。
与触针的使用相关联的一个缺点是这类设备依赖于包含传感板的计算设备。换言之，触针仅能够在结合需要的传感板使用时才可用于生成输入。此外，触针的检测受触针到传感板的邻近性的影响。
现有的便携式计算设备缺乏一种多用户配置的识别的专用形式。由此，如果两个这样的计算设备同时操作，则主计算机将被迷惑，并感知到注释是来自同一计算设备的。如果一个用户用该计算设备注释了一个文档，然后第二个用户用第二个计算设备注释了同一文档，则从计算设备接收数据的主PC将数据解释为源自同一计算设备。由于没有识别从其发生注释的计算设备的能力，主PC无法特别地跟踪对特定计算设备的改变。
现有便携式计算设备缺乏跟踪用户在已有墨水上执行的书写能力。现有的计算设备可跟踪用户在干净的、无墨水的表面上的书写；然而，这些设备的图像捕捉能力无法跟踪出现在已有墨水上的书写。此外，现有的便携式计算设备缺乏处理通常当诸如笔等书写工具被按下时所存在的投影的能力。相关联的计算设备的图像传感器在用户以垂直于书写表面的角度按住计算设备时能够有效地操作。然而，大多数个人不以对表面的90度角度按住笔。由此，投影成为传感器足够补偿计算设备的角度时的一个问题。
本领域中需要一种可担当用于各种计算设备的任何一个的输入设备，并可在各种情况下操作的便携式计算设备。本领域中还需要一种可由专用标识来识别已允许多个用户在一个文档和/或在应用程序中同时操作的便携式计算设备。本领域中同样还需要一种可降低在捕捉表面上的图像时的投影效果，并可被配置成跟踪用户在已有墨水上的书写的便携式计算设备。
发明内容
本发明的各方面解决了上述的一个和多个问题，由此向跨发散计算平台的用户提供了一种公用用户接口。本发明的各方面涉及一种输入设备，它用于生成电子墨水，和/或生成其它输入，而无论需要数据的设备如何。该输入设备可以笔的形状形成，并且可以包括或不包括墨水盒，以方便笔以熟悉的方式移动。本发明的一个方面是一种便携式计算设备，它可由专用标识来识别，以允许多个用户在一个文档上和/或应用程序中同时操作。
本发明的一个方面使用了红外线，以及表面上印刷、嵌入或刻印上的迷阵图案(maze pattern)。该表面可以是用碳墨印刷迷阵图案的纸张。本发明的照相机可捕捉位于任何非碳内容之下的迷阵图案。与m阵列解码和文档图像分析相关联的算法对同时包含文档内容和迷阵图案的已捕捉图像的位置进行解码。
本发明的另一方面提供了一种具有红外光(IR)照明的偏移(off-set)光学系统，它具有一组透镜和担当相对较低分辨率照相机的光学传感器。该照相机在一不同的平面上，并在与用于注释的输入设备偏移的角度上。该偏移改进了性能和投影处理，使得输入设备可在正常的书写角度更自然地使用。IR照明帮助检测通常被已有文档内容覆盖的位置编码，或可见光照明之下的墨水。
当结合附图阅读时，可以更好地理解本发明的上述概述以及以下各种实施例的详细描述，附图作为对本发明的示例而非局限包含于此。
附图说明
图1示出了可在其中实现本发明的某些方面的通用数字计算环境的示意图；
图2示出了依照本发明的至少一个方面的输入设备；
图3示出了依照本发明的各方面使用的照相机系统的三个说明性实施例；
图4示出了依照本发明的至少一个方面的输入设备的光学设计的一个实施例；
图5示出了依照本发明的至少一个方面的输入设备的光学设计的一个实施例；
图6示出了依照本发明的至少一个方面的输入设备的照明设计的一个实施例；
图7A和7B示出了依照本发明的至少一个方面的输入设备的力传感组件；
图8示出了依照一个方面的输入设备的透镜设计；
图9示出了用于编码文档位置的一个说明性技术(迷阵图案)。
图10提供了可生成电子墨水的轨迹图案的说明；
图11A和11B示出了依照本发明的至少一个方面的系统的说明性硬件体系结构；
图12示出了依照另一说明性实施例用于生成电子墨水的输入设备中结合的组件的其它组合；
图13示出了依照本发明的至少一个方面数据通过输入设备的双核心体系结构的流程图；
图14示出了依照本发明的至少一个方面从输入设备发送的说明性数据帧结构；
图15示出了依照本发明的至少一个方面从多个输入设备的数据发送的处理的说明；以及
图16示出了依照本发明的若干说明性实施例的输入设备的使用。
具体实施方式
本发明的各方面涉及可在各种不同的平台中使用的输入设备，以控制台式或膝上计算机、在白板上书写、在诸如纸张等表面上书写、控制PDA或蜂窝电话、或创建可在各种平台之间移植的墨水。
术语
笔—可包括或不包括储存墨水的能力的任何书写工具。在某些示例中，没有墨水能力的触针可用作依照本发明实施例的笔。
照相机—图像捕捉系统。
有源编码—代码在对象或表面中的结合，在对象或表面上，为使用适当的处理算法确定输入设备的位置和/或移动的目的而定位输入设备。
无源编码—使用图像数据来检测输入设备的移动/定位，该图像数据不包括为该目的而结合的代码，这些代码是使用适当的处理算法从在其上移动输入设备的对象或表面上获取的。
输入设备—用于输入可被配置成用于生成并处理信息的信息的设备。
有源输入设备—使用结合在输入设备中的传感器有源地测量信号并生成指示输入设备的定位和/或移动的输入设备。
无源输入设备—使用所结合而非输入设备中的传感器来检测移动的输入设备；
计算设备—台式计算机、膝上计算机、Tablet PCTM、个人数据助理、电话、或包括输入设备的被配置成处理信息的任何设备。
图1示出了可在其中实现本发明的一个合适的计算系统环境100的示例。计算系统环境100仅为合适的计算环境的一个示例，并非暗示对本发明的使用范围或功能的局限。也不应将计算环境100解释为对示例性操作环境100中示出的任一组件或其组合具有依赖或需求。
本发明可以使用众多其它通用或专用计算系统环境或配置来操作。适合使用本发明的众所周知的计算系统、环境和/或配置包括但不限于：个人计算机、服务器计算机、手持式或膝上设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费者电子设备、网络PC、小型机、大型机、包括任一上述系统或设备的分布式计算环境等等。
本发明可在诸如由计算机执行的程序模块等计算机可执行指令的一般上下文环境中描述。一般而言，程序模块包括例程、程序、对象、组件、数据结构等等，执行特定的任务或实现特定的抽象数据类型。本发明也可以在分布式计算环境中实践，其中，任务由通过通信网络连接的远程处理设备来执行。在分布式计算环境中，程序模块可以位于本地和远程计算机存储媒质中，包括存储器存储设备。
参考图1，用于实现本发明的示例系统包括以计算机110形式的通用计算设备。计算机110的组件包括但不限于，处理单元120、系统存储器130以及将包括系统存储器的各类系统组件耦合至处理单元120的系统总线121。系统总线121可以是若干种总线结构类型的任一种，包括存储器总线或存储器控制器、外围总线以及使用各类总线体系结构的局部总线。作为示例而非局限，这类体系结构包括工业标准体系结构(ISA)总线、微通道体系结构(MCA)总线、增强ISA(EISA)总线、视频电子技术标准协会(VESA)局部总线以及外围部件互连(PCI)总线，也称为Mezzanine总线。
计算机110通常包括各种计算机可读媒质。计算机可读媒质可以是可由计算机110访问的任一可用媒质，包括易失和非易失媒质、可移动和不可移动媒质。作为示例而非局限，计算机可读媒质包括计算机存储媒质和通信媒质。计算机存储媒质包括以用于储存诸如计算机可读指令、数据结构、程序模块或其它数据等信息的任一方法或技术实现的易失和非易失，可移动和不可移动媒质。计算机存储媒质包括但不限于，随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光盘存储、磁盒、磁带、磁盘存储或其它磁存储设备、或可以用来储存所期望的信息并可由计算机110访问的任一其它媒质。通信媒质通常在诸如载波或其它传输机制的已调制数据信号中包含计算机可读指令、数据结构、程序模块或其它数据，并包括任一信息传送媒质。术语“已调制数据信号”指以对信号中的信息进行编码的方式设置或改变其一个或多个特征的信号。作为示例而非局限，通信媒质包括有线媒质，如有线网络或直接连线连接，以及无线媒质，如声学、RF、红外和其它无线媒质。上述任一的组合也应当包括在计算机可读媒质的范围之内。
系统存储器130包括以易失和/或非易失存储器形式的计算机存储媒质，如ROM 131和RAM 132。基本输入/输出系统133(BIOS)包括如在启动时帮助在计算机110内的元件之间传输信息的基本例程，通常储存在ROM 131中。RAM 132通常包含处理单元120立即可访问或者当前正在操作的数据和/或程序模块。作为示例而非局限，图1示出了操作系统134、应用程序135、其它程序模块136和程序数据137。
计算机110也可包括其它可移动/不可移动、易失/非易失计算机存储媒质。仅作示例，图1示出了对不可移动、非易失磁媒质进行读写的硬盘驱动器141、对可移动、非易失磁盘152进行读写的磁盘驱动器151以及对可移动、非易失光盘156，如CD ROM或其它光媒质进行读写的光盘驱动器155。可以在示例性操作环境中使用的其它可移动/不可移动、易失/非易失计算机存储媒质包括但不限于，磁带盒、闪存卡、数字多功能盘、数字视频带、固态RAM、固态ROM等等。硬盘驱动器141通常通过不可移动存储器接口，如接口140连接到系统总线121，磁盘驱动器151和光盘驱动器155通常通过可移动存储器接口，如接口150连接到系统总线121。
图1讨论并示出的驱动器及其关联的计算机存储媒质为计算机110提供了计算机可读指令、数据结构、程序模块和其它数据的存储。例如，在图1中，示出硬盘驱动器141储存操作系统144、应用程序145、其它程序模块146和程序数据147。注意，这些组件可以与操作系统134、应用程序135、其它程序模块136和程序数据137相同，也可以与它们不同。这里对操作系统144、应用程序145、其它程序模块146和程序数据147给予不同的标号来说明至少它们是不同的副本。用户可以通过输入设备，如数码相机(未示出)、键盘162和定位设备161(通常指鼠标、跟踪球或触摸板)向计算机110输入命令和信息。其它输入设备(未示出)可包括操纵杆、游戏垫、圆盘式卫星天线、扫描仪等等。这些和其它输入设备通常通过耦合至系统总线的用户输入接口160连接至处理单元120，但是也可以通过其它接口和总线结构连接，如并行端口、游戏端口或通用串行总线(USB)。监视器191或其它类型的显示设备也通过接口，如视频接口190连接至系统总线121。除监视器之外，计算机也包括其它外围输出设备，如扬声器197和打印机196，通过输出外围接口195连接。
在一个实施例中，提供了笔数字化仪163和所附的笔或触针164，以数字地捕捉手画线输入。尽管示出了笔数字化仪163和用户输入接口160之间的直接连接，然而实际上，笔数字化仪163可如本领域中已知的通过并行端口和其它接口以及系统总线121直接耦合至处理单元120。此外，尽管示出了数字化仪163与监视器191分离，然而数字化仪163的可用输入区域可与监视器191的显示区域有相同的范围。此外，数字化仪163可以被集成到监视器191中，和可作为叠加和附加到监视器191上的单独的设备存在。
计算机110可以在使用到一个或多个远程计算机，如远程计算机180的逻辑连接的网络化环境中操作。远程计算机180可以是个人计算机、服务器、路由器、网络PC、对等设备或其它公用网络节点，并通常包括许多或所有上述与计算机110相关的元件，尽管在图1中仅示出了存储器存储设备181。图1描述的逻辑连接包括局域网(LAN)171和广域网(WAN)173，但也可包括其它网络。这类网络环境常见于办公室、企业范围计算机网络、内联网以及因特网。
当在LAN网络环境中使用时，计算机110通过网络接口或适配器170连接至LAN 171。当在WAN网络环境中使用时，计算机110通常包括调制解调器172或其它装置，用于通过WAN 173，如因特网建立通信。调制解调器172可以是内置或外置的，通过用户输入接口160和其它合适的机制连接至系统总线121。在网络化环境中，描述的与计算机110相关的程序模块或其部分可储存在远程存储器存储设备中。作为示例而非局限，图1示出了远程应用程序驻留在存储器设备181上。可以理解，示出的网络连接是示例性的，也可以使用在计算机之间建立通信的其它装置。
可以理解，示出的网络连接是示例性的，可使用在计算机之间建立通信链路的其它装置。假定存在各种公知技术的任一种，如TCP/IP、以太网、FTP、HTTP等，该系统可在客户机—服务器配置中操作，以准许用户从基于web的服务器检索网页。可使用各种常规web浏览器的任一种来显示并操纵网页上的数据。
图2提供了依照本发明的各方面使用的输入设备的一个说明性实施例。下文描述了若干不同的元件和/传感器。各种传感器组合可用于实践本发明的各方面。此外，也可包括另外的传感器，包括磁传感器、加速计、回转仪、麦克风或可对其检测输入设备相对于表面和对象的位置的任何传感器。在图2中，笔201包括墨水盒202、压力传感器203、照相机204、指示元件205、处理器206、存储器207、收发器208、电源209、对接部位(docking station)210、笔帽211和显示屏212。各种组件可在需要时使用例如总线(未示出)电子地耦合。笔201可担当用于各种范围的设备的输入设备，包括台式机、膝上计算机、Tablet PCTM、个人数据助理、电话、或可处理和/或显示信息的任何设备。
输入设备201可包括用于执行标准笔和纸张书写或绘画的墨水盒202。此外，用户可在以笔的典型方式操作设备时用输入设备生成电子墨水。由此，墨水盒202可提供一种用于在纸张上生成手写笔画，同时笔的移动被记录并用于生成电子墨水的舒适、熟悉的媒质。墨水盒202可使用众多已知技术的任一种从孤立的位置移动到书写位置。可选地，墨水盒202可用不包含墨水的盒来替换，如具有圆形帽的塑料盒，但是这将允许用户在不破坏笔和表面的情况下在表面上移动笔。另外，可包括一个和多个指示元件，以通过例如提供以类似于由触针生成方式提供指示输入设备的信号，来帮助检测输入设备的相对移动。可包括压力传感器203，用于指示输入，如当笔被压下并位于一个对象之上时可被指示的输入，由此便于对象的选择或如可通过选择鼠标按钮的输入来获得的指示。可选地，压力传感器203可检测用户用笔画出笔画时的压力，用于改变所生成的电子墨水的宽度。此外，传感器203可触发照相机的操作。在一个替换模式中，照相机204可独立于压力传感器203的设置来操作。
此外，除可担当开关的压力传感器之外，也可包括另外的开关来影响用于控制输入设备的操作的各种设置。例如，可在输入设备的外部提供一个或多个开关，并用于对输入设备通电，以激活照相机或光源，来控制传感器的敏感度或光源的亮度、以不执行到文本的变换的草图模式设置输入设备，以设置该设备内部地储存输入数据、处理并储存输入数据、将输入数据发送到诸如计算设备等处理单元，采用处理单元，输入设备能够传送或控制任何期望的设置。
可包括照相机204，以捕捉笔在其上移动的表面的图像。也可包括指示元件205，以在用作感应系统中的触针时增强笔的性能。处理器206可包括用于执行与本发明的各种方面相关联的功能的任何已知的处理器，如下文更详细描述的。类似地，存储器207可包括RAM、ROM或用于储存数据的任何存储设备和/或用于控制设备或处理数据的的软件。输入设备还可包括收发器208。收发器准许与其它设备的信息交换。例如，
Figure C200510004065D00121
(蓝牙)或其它无线技术可用于方便通信。其它设备可包括计算设备，该计算设备可进一步包括输入设备。
可包括电源209，电源可在笔独立于并远离主设备—在其中处理、储存和/或显示数据的设备—来使用时提供电源。电源209可在任意数量的位置上结合进输入设备201中，并在电源可替换时被定位，用于直接替换，或在电源可充电时用于方便其充电。可选地，笔可被耦合到备选电源，如用于电子地将笔201耦合到汽车电池的适配器、连接到壁装电源插座、计算机电源或任一其它电源的充电器。
对接部位链接210可用于在输入设备和诸如外部主计算机等第二设备之间传输信息。对接部位链接210也可包括用于当被附加到对接部位(未示出)或连接到电源时对电源209进行充电的结构。USB或其它连接可以通过对接部位链接或通过一替换端口可移动地将输入设备连接到主计算机。可选地，也可使用硬件连接将笔连接到设备，用于传输和接收数据。在硬布线配置中，对接部位链接可被省略，以有利于将输入设备有线地直接连接到主机。对接部位链接可被省略或用另一系统替换，以与另一设备(例如
Figure C200510004065D00122
802.11b)通信。
输入设备201还可包括可移动笔帽211，它可配备用于方便电阻传感的金属笔帽，使得输入设备201可用于例如包括传感板的设备。输入设备201的外壳可由塑料、金属、树脂、其组合、或可向输入设备的组件或整个结构提供保护的任何材料构成。底盘可包括用于电子地屏蔽设备的部分或全部敏感电子组件的金属隔板。输入设备可以是拉长的形状，它可对应于笔的形状。然而，设备可以与其作为输入设备和/或墨水生成设备一致的任何数量的形状来形成。
图3A-3C示出了依照本发明的各方面使用的照相机的三个说明性实施例。如图所示，输入设备201可用于通过使用例如照相机来检测笔的移动以生成电子墨水。可包括照相机304，以捕捉笔在其上移动的表面的图像，并可通过图像分析来检测笔在被扫描的表面上的移动量。移动可与文档相关，并可电子地将电子墨水转换、添加或关联(例如，将输入注释与原始文档分离地储存)到文档。
如图3A所示，在一个实施例中，照相机304包括图像传感器320，它包括，例如，图像传感器元件阵列。例如，照相机可包括具有以32像素×32像素的分辨率扫描1.79mm×1.79mm的正方形区域的能力的CMOS图像传感器。一个这样的图像传感器的最小曝光帧速率可以近似为330Hz，尽管说明性图像传感器可以110Hz的处理速率来操作。所选择的图像传感器可包括说色彩图像传感器、灰度级图像传感器，或可操作来检测超出单个阈值的亮度。然而，照相机及其组件的选择可根据与照相机相关联的期望操作参数、根据诸如性能、成本或其它考虑等考虑来变化，这些考虑由如准确地计算输入设备的位置所需的分辨率等因素所指示的。
光源321可照亮输入设备在其上移动的表面。光源可以例如，包括单个发光二极管(LED)、LED阵列或其它发光设备。光源可产生单色光，包括白光，或可产生多种颜色。单向透视玻璃322可被包括在照相机内，以在需要时引导光。照相机304还可包括一个或多个光学设备323，用于将来自光源321的光聚焦到所扫描的表面324，和/或将从该表面反射的光聚焦到图像传感器320。
如图3A所示，从光源321发射出的光被单向透视玻璃322反射，它是根据入射光(impinging light)的方向反射或发射光的玻璃。然后反射光被引导通过透镜系统323，并被发射到下面的反射表面。然后，光从该表面上反射出，通过透镜系统323，以穿过玻璃的发射角透过单向透视玻璃322，并入射到传感阵列320上。当然，包括各种各样的组件的照相机可用于捕捉图像数据，包括结合了更少或更多数量组件的照相机。组件排列的变化也可以是无数的。为仅以简化的排列提供一个示例，光源和传感阵列可定位在一起，使得它们都面向从其捕捉图像的表面。在这一情况下，由于不需要照相机内的反射，可从系统中移除单向透视玻璃。如图3B所示的，在一个简化的配置中，光源321位于离透镜323和传感器320有一段距离的地方。在另一简化的排列中，如图3C所示，可移除光源，并可由透镜323将从对象表面反射出的环境光聚焦到传感器320上。
由此，结合进照相机的组件或其位置的变化可以与本发明的各方面相一致的方式来采用。例如，照相机和/或墨水盒的放置和/或方向可与图2所示的不同，以允许使用各种各样的照相机和/或墨水配置和方向。例如，照相机304或其组件部分的任一个可位于与为墨水盒所提供的相邻的开口中，而非在如图所示的同一开口中。作为另外的示例，照相机304可位于输入设备的中心，而墨水盒位于照相机的侧面。类似地，光源321可被结合进容纳照相机的剩余部分的结构内，或者一个或多个组件可彼此分离地定位。此外，也可使用光源和/或光学系统启用光投影特征，在必要时采用另外的结构和/或软件，或对所示的组件的修改。
在标准的光学设计中，光轴穿过成像传感器中心和透镜FOV(视野)的中央，光轴几乎与输入设备外壳平行。当输入设备与纸张平面垂直时，光学性能最佳，这是由于成像传感器与表面平面平行。然而，用户通常以倾角或仰角来使用笔，并非在90°。因此，投影效果将限制输入设备的使用，输入设备仅在近似90度角度被按住时才能操作。当用户想要在已书写了墨水的区域上书写一些内容时，会产生在已有墨水上书写的问题。需要特殊的处理来解决这些问题，因为迷阵图案会被用户最初所书写的内容所覆盖。一种用于输入设备的视野偏移光学系统解决了投影效果，并且IR(红外光)照明解决了在已有墨水上书写的问题。IR照明可用于捕捉被任何非碳内容所覆盖的迷阵图案。
图4示出了输入设备400的成像系统的一个实施例。输入设备400可包括一32×32像素的COMS成像传感器410。该系统目标可以是迷阵图案平面的5mm×5mm范围。当用户书写或潦草书写时，在输入设备和将笔尖作为支持点的表面之间会存在倾角或仰角。许多用户一般不以90度的角度按住笔。因此，本发明的成像系统被设计成满足某一倾角/仰角范围内的足够的成像质量，如50°到90°。表1示出了本发明的一个实施例的透镜要求。
 
由照相机(32像素×32像素)捕捉的图像的大小                         由照相机捕捉的表面平面上的区域大小，本申请中称为视野            
共轭距离 小于30mm
成像平面的失真 小于3.5％
分辨率 大于12lp/mm(每毫米的线耦)
放大率 0.385(检测器尺寸/FOV尺寸)
聚焦深度(DOF) 65°±15°(以笔尖作为支持点的倾角)
照明 在成像平面内近似均匀
表1—成像系统的透镜要求
如图4所示，输入设备400可用于与表面平面的可变倾角，因此，在系统设计中，示出65°的倾角作为设计角度。以输入设备400的这一姿势，光学系统能够更有效地执行。如图4所示，图像传感器410的实际视野440是透镜配置420的整个视野450的一部分，并且在成像系统的实际轴和透镜430的主光轴之间有一角度。成像系统的轴近似平行于笔的轴，即，成像系统的轴应当与表面平面成约65°～70°的角度。
以设计角度，透镜配置420的光轴430垂直于成像平面，而图像传感器410的视野偏离光轴430，如图5所示的。视野中心到光轴的距离约为7.44mm，产生对成像平面约69.5°的倾角。视野偏移设计可降低投影效果，这是由于在标准设计角度条件下，成像平面近似平行于纸张平面，即，当输入设备400以约65°的角度被按住时，投影很小(小于3.5％)。本领域的技术人员应当理解，上文描述的近似65°的示例设计角度仅是一个示例，依照本发明也可使用其它角度。
透镜配置420可以是三元件系统，包括二重透镜和单透镜。选择合适的孔隙数，以考虑聚焦深度和图像亮度。整个光学系统可使用加利福尼亚州圣地亚哥的ZEMAX设计软件来优化，产生较佳的分辨率以及可接受的失真。
图像质量上的照明效果通常在光学系统设计中估计不足。适当的光照情形可提高图像对比度和分辨率，从而改进了系统的总体性能。光源可包括单个发光二极管(LED)、LED阵列或其它发光装置。光源可产生白光、单色光或多色光。照明组件还可包括一个或两个光学装置，用于将来自光源的光聚焦到所扫描的表面，并令亮度尽可能地均匀。
图6示出了依照本发明的至少一个实施例的IR LED照明光学系统。通过膜层，由两个LED 610发射的光直接被投射到平面表面620。两个LED的照明区域被重叠630，它大于照相机的FOV 640。在一个实施例中，可选择850nm的IR LED 610作为光源。表面620上的照明特征是图案可被非碳墨水覆盖，即，IR LED 610的IR光可穿过墨水层，因此在表面620上书写的墨水不影响由CMOS传感器捕捉的图像。此外，单个光谱可提高图像质量。可在IR LED 610前放置一漫反射膜层，已提高光照的均匀性。FOV由来自两个方向的两个LED 610照明，以获取足够的亮度，并在表面620上尽可能地均匀。
包括透镜、成像传感器和光源的成像系统可位于与墨水盒相邻，如图4所示的。具有力敏感(force sensitive)组件和成像系统组件的墨水盒可被集成到一机械组件中。来自接触到平面上的笔尖的压力可被用于打开/关闭图像采样，并为数字墨水的恢复提供厚度参考。因此，对于压力敏感组件，一个问题是设计一种有效且健壮的力传递系统，它可敏感地检测笔尖压力，并在笔尖移上或移下时自动恢复原状。如图7A所示，力传感系统710提供了精度可靠的力传感性能。系统710通过不锈钢球720将力直接集中到硅传感元件730。如图7B所示，示出了一种基于具有弹簧的滑块的有效压力传递系统。弹簧740用于缓冲压力，并将墨水盒760的位置恢复原状。缓动调制螺钉750用于设置力阈值。螺钉750在滑块770之外的长度可用于确定弹簧740的压缩范围。设计的力范围是0kg到4.5kg。线性操作放大器和12位串行A/D转换器可用于对力进行采样。敏感压力检测和12位精度使输入设备能够记录具有墨水厚度的笔画。表2-8提供了关于本发明的透镜的一个实施例的另外的信息。图8提供了下文表6和7所附的附加信息。
 
表面光圈 105 
系统孔隙玻璃种类射线瞄准 图像空间F/#＝6.5Schott newchi～1近轴参考，高速缓存
X光瞳偏移Y光瞳偏移Z光瞳偏移 000
变迹有效焦距有效焦距后焦距总径迹   统一，因子＝0.00000E+005.317697(在系统温度和压力的空气中)5.317697(在图像空间中)5.18726227.07951                          
图像空间F/#近轴工作F/#工作F/#图像空间NA对象空间NA光圈半径           6.520.1999819.550020.024744920.068920860.3888333 
近轴图像高度近轴放大率   10.5-2.791037
入口光瞳直径入口光瞳位置 0.81810725.000273 
出口光瞳直径出口光瞳位置 1.083351-21.74014
场类型最大场纵波角度放大率场         以毫米计算的近轴图像高度10.50.5450.75516355                       
 
透镜单位 毫米
表2—通用透镜数据
 
# X值 Y值 权值
1 0.000000 0.000000 0.020000
2 0.000000 5.000000 1.500000
3 0.000000 7.500000 1.000000
4 0.000000 10.000000 1.000000
5 0.000000 10.500000 1.000000
表3—场类型：近轴图像高度(单位：毫米)
 
# VDX VDY VCX VCY VAN
1 0.000000 0.000000 0.000000 0.000000 0.000000
2 0.000000 0.000000 0.000000 0.000000 0.000000
3 0.000000 0.000000 0.000000 0.000000 0.000000
4 0.000000 0.000000 0.000000 0.000000 0.000000
5 0.000000 0.000000 0.000000 0.000000 0.000000
表4—遮光系数
 
# 值 权值
1 0.450000 1.000000
2 0.545000 1.000000
3 0.618000 1.000000
表5—波长：3单位：微米
 
表面 类型 评注 半径 厚度 玻璃 直径 锥线
OBJ 标准 无穷大 0.920734 7.524086 0
1 标准 无穷大 0.53 CBAK6 6.477137 0
2 标准 无穷大 4.23389 6.125204 0
3 标准 5.931 0.7 CLAF2 2.4 0
 
4 标准 -4.36 0 2.4 0
STO 标准 无穷大 0.32 0.7776666 0
6 标准 -1.7 0.55 CZF2 1.049225 0
7 标准 11.56 0.08 2.4 0
8 标准 -9.45 0.78 CLAK3 1.69666 0
9 标准 -1.95 19.88562 2.4 0
IMA 标准 无穷大 21.06387 0
表6—表面数据概要
 
表面 边
OBJ 0.920734
1 0.530000
2 4.356554
3 0.408946
4 0.168389
STO 0.237029
6 0.695424
7 -0.020607
8 0.405197
9 20.298575
IMA 0.000000
表7—边厚度数据
 
焦距f 5.52mm
共轭长度 28mm
F# 19.5
光波长 456,546,640nm
表8—透镜的技术规范
为帮助输入设备的检测和/或定位，在其上定位输入设备的对象表面可包括指示该表面的区域的相对位置的图像数据。在一个示例性实施例中，被扫描的表面可包括主计算机或其它外部计算设备的显示屏，它可对应于台式机、膝上计算机、Tablet PCTM、个人数据助理、电话、数码相机或可显示信息的任何设备的监视器。因此，在Tablet PCTM的屏幕上生成的空白文档或其它图像可包括对应于表示该文档的该部分在整个文档内的相对位置或涉及该文档的其它部分的代码的数据。信息可包括图像，它可包括字母数字字符、编码图案、或可用于指示相对位置的图像数据的任何可辨别的图案。所选择用于指定对象表面内的区域位置的一个或多个图像可取决于结合进照相机中的扫描装置的敏感度，如传感器的像素分辨率，和/或包含在被扫描的表面内的图像数据的像素分辨率。从对象中提取的位置信息然后可被用于跟踪输入设备在对象上的移动。使用该信息，可准确地生成对应于输入设备的移动的电子墨水或其它信息。可使用位置信息来检测图像内影响输入的位置，以及提供输入设备在对象表面上的移动的指示。所得的信息可与文字处理软件交互使用，例如，以生成文档中的变化。
在一个替换实施例中，结合输入设备使用的对象可包括例如在背景中包括位置信息的纸张。位置信息可结合进任何形式的代码、光学表示或可由与输入设备相关联的传感器传感并可用于表示纸张上特定地点的相对位置的其它形式中。
图9示出了一种用于文档位置编码的说明性技术。在该示例中，图像的背景可包括细线，当以大组观看时，可形成类似迷阵的模式。迷阵设计中线的每一分组包括例如具有唯一方向和相对位置的一些细线，该设计可指示迷阵图案的该部分相对于文档的其它部分的位置。已捕捉图像中找到的迷阵图案的解码可依照各种解码模式来执行。在一个实施例中，可解码特定的排列和线的分组，以生成位置信息。在另一实施例中，可通过从对应于采样图案的图像中提取代码，并使用该代码在包含标识该区域的位置的数据的查找表中寻址，来导出已捕捉数据的位置的指示。为说明性目的提供了对采用迷阵图案的编码技术的参考，并且替换的有源编码技术包括但不限于，2002年10月31日提交的名为“有源嵌入式交互代码(Active EmbeddedInteraction Code)”的美国专利申请序列号10/284,412中的视觉编码技术，其内容通过引用结合于此，它也可依照本发明的各方面来使用。
即使缺乏位置代码，可分析由图像传感器捕捉的图像，以确定输入设备在图像捕捉时的位置。可使用连续的图像来计算输入设备在不同时刻的位置。这些信息的相关可产生输入设备在基底上的准确轨迹。使用这一轨迹信息，例如，可生成准确地标识手写笔画的电子墨水。
图10提供了可从其生成电子墨水的轨迹图案的一个说明。在本示例中，首先捕捉的图像可包含指示输入设备在第一时刻t1的第一位置p1的迷阵图案的一部分。下一捕捉的图像可包含已编码图像数据的一部分，在本示例中它是迷阵图案的不同的部分，提供了第二时刻t2的第二位置p2的位置信息。第三捕捉的图像可包含迷阵图案的第三部分，由此指示输入设备在时刻t3的第三位置p3上的定位。使用该数据，三个点可指示从时刻t1到时刻t3的输入设备的轨迹。应用估算由输入设备跟踪的墨水图案的算法，可生成电子墨水。所应用的算法的复杂度可描绘所生成的墨水的准确度。例如，基本的墨水算法可简单地将点与厚度不变的直线相连接。可处理分解先前采样的点的算法、采样之间的时间或指示输入被移动的速度或加速度的其它数据、指示使用的压力的数据、或任何其它相关数据，以提供更准确地表示输入设备的(例如，从其它传感器)实际移动的墨水。
由照相机304执行的光学扫描可生成在不同的时刻确定输入设备的位置所需的数据，并且该信息可用于生成电子墨水。在一个说明性实施例中，在时刻t1捕捉的图像与在时刻t2捕捉的图像的比较可提供指示笔在t1到t2的时间段内从一个点到另一个点的移动的距离的数据。这两个数据点，和/或所移动的相对距离，随后可用于生成输入设备的移动的轨迹，用于生成表示手写笔画的电子墨水。两个或多个图像，或捕捉的图像的部分之间的比较用于计算相对移动，它可用不同的分析来实现。在该情况下，例如，可比较出现在一个以上图像中的特征，并且一个或多个特征在那些图像内从一个位置到另一位置的相对的移动可提供笔移动的准确指示。如果使用了不规则的采样周期，则可修改处理算法来补偿采样周期中的变化，以更准确地指示输入设备的移动与每一移动所需要的实际时间之间的相关性。指示运动速度的信息可帮助生成厚度适当的墨水。
依照这一实施例，输入设备在其上移动的表面可包括计算设备的显示屏、鼠标垫、桌面或可从其提取指示输入设备在该表面上的移动的对象或图像数据的任何非均匀反射表面。可用于处理图像数据的跟踪算法可被修正，或可根据所捕捉的图像的特征而变化。使用简单的跟踪算法，处理器可检测例如桌面的木材中的粒度，并且基于由照相机捕捉的图像序列之间的比较，可使用连续图像内的特定粒度模式的相对位置来确定输入在不同的时刻的位置和/或输入设备在该表面上的相对移动。当图像内的特征较不容易辨别并且图像更均匀时，需要更复杂的跟踪算法。可选的无源编码技术包括但不限于，2002年10月31日提交的名为“无源嵌入式交互代码(Passive Embedded Interaction Code)”的美国专利申请序列号10/284,451中的编码技术，其内容通过引用结合于此，它也可依照本发明的各方面来采用。
图11A示出了依照本发明的一个实施例的系统的硬件体系结构。各种实施例中所示的许多相同或相关组件可使用相同的标号来表示。处理器1106可包括用于执行与本发明的各方面相关联的功能的任何已知的处理器。例如，处理器可包括FPSLIC AT94S40，并可由具有AVR核心的FPGA(现场可编程门阵列)构成。该特定设备可包括一20MHz的时钟，并可以20MIPS的速度操作。当然，用于输入设备1101的处理器的选择可用系统的成本和/或处理速度要求来描述。如果图像分析可在输入设备中实现，则处理器1106可执行图像分析。可选地，处理可由第二处理器来执行，如结合进设备1101中的数字信号处理器(DSP)。处理器1106还可操作以执行对降低功率消耗关键的步骤，以保存储存在电源1109中的功率，如当输入设备不活动时关闭各种组件，这些步骤可基于指示设备的移动和/或定位的数据。处理器1106还可操作以校准并调节各种组件的性能，例如，包括对光源的亮度或对照相机的传感阵列的敏感度的调节。同样，处理器，或耦合的数字信号处理器，可从多个储存的图像处理算法中选择，并可被控制，以例如依照与设备在其上移动的表面相关联的特征来选择最适合检测移动的图像分析算法。由此，图像处理算法可自动地基于被编程到输入设备中的性能考虑来选择。可选地，可基于由用户例如通过输入设备的力传感器或输入的动作所选择的输入，或基于对应于命令的手写笔画，来控制输入设备，并建立设置。
在一个实施例中，存储器1107可包括一个或多个RAM、ROM、闪存或任何存储器设备，或用于储存数据、储存用于控制设备的软件、或储存用于处理数据的软件。如上所述，表示位置信息的数据可在输入设备1101内处理，并可储存在存储器1107中，用于传输到主计算机1120。可选地，捕捉的图像数据可被缓存在输入设备1101内的存储器1107中，用于传输到主计算设备1120来处理或其它。
收发器，或通信单元，可包括一发送单元和一接收单元。如上所述，被处理成适合生成和/或显示电子墨水或其它的形式的表示输入设备的移动的信息，可被发送到主计算机1120，如先前描述的台式机、膝上计算机、Tablet PCTM、个人数字助理、电话或用户输入和电子墨水对其有用的其它这类设备。收发器可使用包括
Figure C200510004065D0021113437QIETU
技术的任一无线通信技术与外部设备通信，用于执行短航程的无线通信、红外通信、或者甚至是蜂窝或其它长航程无线技术。可选地，收发器可控制数据在直接链路上到主计算机的传输，如通过USB连接，或间接地通过与对接托架1130的连接。输入设备也可使用专用连接被硬连线到特定的主计算机。收发器也可用于接收信息和/或软件，在一个实施例中，信息和软件可用于提高输入设备的性能。例如，用于更新处理器的控制功能的程序信息可通过先前描述的技术中的任一种来上传。此外，软件也可被发送到输入设备，包括用于分析图像数据和/或用于校准输入设备的软件，可从外部设备下载。
处理器1106可依照一种交互模型来操作。交互模型可以实现为维护一致体验的软件的形式实现，其中，生成电子墨水，而无论该单元执行输入设备功能所对于的外部设备如何。交互模型可处理捕捉的数据，以转换成普遍地适用于任意数量的主机设备的形式，主机设备包括台式机、膝上计算机、Tablet PCTM、个人数字助理、电话机、白板或可通过输入设备储存、显示或记录数据输入的任何设备。处理器1106可识别连接到其上的设备，或表示手写输入的数据所预期的设备，并基于这一识别，选择将输入数据转换成适合所识别的特定设备的形式的处理。在该情况下，到对每一潜在接收设备有用的形式的转换可包含在输入设备内，并可在必要时令其可用。如果设备是无线或直接连接的，则预期接收设备的识别可作为设备之间的通信的结果来实现。可选地，用户可将数据所预期的一个或多个设备的身份直接输入到输入设备中。当然，如果输入设备包括显示器，则可使用适合用于显示器和/或众多其它设备的默认处理算法来处理数据。
图11B示出了依照本发明的至少一个方面的系统的另一硬件体系结构。该硬件体系结构可以是一套印刷电路板(PCB)和运行在PCB上的固件。该套PCB的组件可包括双核心体系结构组件1150、另一输入传感器单元1160、图像捕捉单元1170、通信组件1180、音频单元1155、用户接口1190、存储器1186、逻辑控制1187、硬件加速组件1188。本领域的技术人员应当理解，以下板及其描述对本发明并不都是必需的，并且可包括一个或多个组件用于本发明的操作。
双核心体系结构组件1150包括RISC(精简指令集计算机)或GPP(通用处理器)1151，用于运行嵌入式OS(操作系统)，如Windows 
Figure C200510004065D0022113511QIETU
。DSP(数字信号处理器)1152负责运行算法，如图像处理、迷阵图案分析和m阵列解码。两个核心可以是两个不同的芯片，或构建到一个芯片上。MCU/RISC/GPP组件1151可具有同时操作的若干传感器和A/D(模—数转换)芯片。传感器和A/D芯片需要同时被配置并被控制。MCU/RISC/GPP组件1151可处理系统控制、计算和通信，因为MCU/RISC/GPP组件1151适用于实时并行计算。MCU/RISC/GPP组件1151的一个示例可包括三个芯片：XCV50CS144—来自加利福尼亚州圣何塞市的Xilinx的FPGA芯片，它具有5万个逻辑门和96个用户IO；XC18V01—来自加利福尼亚州圣何塞市的Xilinx的结构PROM；以及CY62256V—来自加利福尼亚州圣何塞市的CYPRESS的32KX8 SRAM(静态RAM)，作为用于计算的缓冲。
DSP(数字信号处理器)组件1152可由两个芯片构成。TMS320VC5510是来自德克萨斯州达拉斯市的德州仪器(TI)的高性能、低功耗的定点DSP芯片。这样的芯片非常适用于移动计算设备。该芯片用于计算，以恢复由用户书写的笔画。DSP组件1152的第二个芯片可以是SST39LF160，它是来自加利福尼亚州桑尼维尔市的SST的16M比特多用途闪存。这一非易失、可靠、压缩的存储芯片可用于储存DSP固件和计算结果。
两个输入单元包括其它用户传感器单元1160和图像捕捉单元1170。这些单元分别生成被输出到双体系结构组件1150的力和图像信号。其它输入传感器单元1160可包括FSL05N2C—来自新泽西州莫里森镇的Honeywell的力传感器芯片1161、MAX4194—来自加利福尼亚州桑尼维尔的MAXIM的检测放大器1163、以及MAX1240—来自加利福尼亚州桑尼维尔的MAXIM的12位串行A/D转换器1162。其它输入传感器单元1160被配置成以12位的精度，达约每秒100K样值的速率传感细微的力变化。需要精确的力数据来指示该输入设备是否被用于书写，或者用户在书写时按压输入设备的用力程度。图像捕捉单元1170可包括MF64285FP—来自日本东京三菱公司的32×32像素图像传感器芯片1171、TLV571—来自德克萨斯州达拉斯的TI的8位A/D转换器1172、以及逻辑控制组件1173。图像捕捉单元1170可以达336fps(帧每秒)的速度来捕捉图像。选择最小的32×32像素分辨率传感器，因为更低的分辨率无法捕捉足够的特征用于处理。图像传感器1171是高速、小尺寸、低功耗的图像传感器。图像捕捉单元1170可包括用于捕捉来自多个区域的图像数据的附加传感器。例如，采用两个图像传感器1171的输入设备可用于白板的操作。一个图像传感器1171可被配置成捕捉表示用户的书写的数据。第二个图像传感器1171可被配置成扫描白板笔的指示符，如条形码。在这一示例中，白板笔的条形码可包括涉及白板笔的色彩和/或厚度的信息。第二个图像传感器1171可捕捉该数据，以识别用户正在使用蓝色的白板笔，以及其厚度为1.5cm。
通信组件1180可包括WML-C09芯片1181和天线。WML-C09芯片1181是来自日本东京MITSUMI的2类
Figure C200510004065D00231
模块。
Figure C200510004065D00232
芯片令输入设备能够以720K bps(比特每秒)或100帧每秒的速度在10米的范围内与主机PC进行通信。
Figure C200510004065D00233
是一种低成本、低功率的电缆替换解决方案，它具有工业范围的支持，适用于本发明。每一
Figure C200510004065D00234
模块被分配一专用和/或唯一的
Figure C200510004065D00235
地址，它可用于识别输入设备本身。通信组件1180可包括USB端口1182和UART组件1183。
电池功率管理组件1185被设计成从供应的锂离子电池生成所有必需的电压，例如，5V、3.3V、2.5V、1.6V。5V供应可由图像传感器1171和力传感器1161使用。2.5V供应可由MCU/RISC/GPP组件1151用于内部电源。1.6V供应可由DSP组件1152用于内部电源。3.3V供应可由其它组件使用，例如用于通信组件1180。功率保存组件1186保存电池功率的可操作使用寿命，充电组件1187对输入设备的电池功率进行充电。也设计了过放电(over-discharge)保护，以防止电池被破坏。电池功率管理组件可包括以下芯片：来自德克萨斯州达拉斯的TI的UCC3952PW-1，以及来自加利福尼亚州桑尼维尔的MAXIM的MAX9402SO8，它们共同实现了过放电保护；来自德克萨斯州达拉斯的TI的TPS60130PWP，用以生成5V的供应输出；来自德克萨斯州达拉斯的TI的TPS62006DGSR，用以生成2.5V的供应输出；来自德克萨斯州达拉斯的TI的TPS62000DGSR，用以生成1.6V的供应输出；以及来自德克萨斯州达拉斯的TI的TP62007DGSR和/或来自德克萨斯州达拉斯的TI的TPS79333，用以生成3.3V的供应输出。
音频单元1155为输入设备提供了音频接口组件。音频单元1155可包括一内建的音频播放器系统，如MP3播放器。麦克风1156准许在使用输入设备的同时的语音记录能力。扬声器1157可从各种源输出音频，包括内建和/或外部的MP3播放器、多媒体文件、音频文件、和/或某些其它音频源。蜂鸣器1158可以是对用户的听觉指示器，如非法操作指示器和/或低电池电源指示器。
用户接口单元1190提供了各种用户接口单元，用于与用户之间的通信。电源按钮1191允许用户开启或关闭输入设备，并也可被配置成进入睡眠、等待或低功率模式，以节省电池功率。功能按钮/开关1192可用作到输入设备的命令输入。功能按钮/开关可以是可激励按钮，用于选择应用程序中输入设备用以操作的单元。指示器1193可以是LED(发光二极管)和/或其它用于与用户的可视通信的光学输出。指示器1193可改变颜色、亮度和/或脉冲速率。例如，指示器1193可在输入设备改变到低功率模式时改变颜色。LCD(液晶显示屏)1194可以是向用户输出可视信息的小型显示屏。例如，LCD 1194可在用户界面上通过在显示屏上显示“LOBAT”来指示电源低。笔投影1195准许图像到表面的投影。笔投影1195向输入设备的用户提供了额外的视觉信息。
存储器1186允许任何类型信息的储存，包括力传感器1161和图像传感器1171数据，以及用于用户接口可用以操作的特定应用程序的可操作指令。逻辑控制1187可用于控制外围设备。逻辑控制1187可以是FPGA或CPLD(复杂可编程逻辑器件)。硬件加速单元1188可被配置成加速算法，以提高输入设备的计算效率。
如图12所示，除用相同的标号表示的先前描述的组件之外，输入设备1201也可包括一个或多个惯性传感器1215，用于传感笔移动、位置或方向。例如，输入设备1201可包括一回转仪，用于提供表示笔在多个方向上的角速度的数据。输入设备1201可包括一个或多个加速度计，或加速度计组，它们测量笔上的加速度或重力。表示笔移动的数据也可使用一磁传感器来获取，它通过检测地球磁场的度量中的变化来测量笔的移动，本发明中被描述为惯性传感器，因为它基于除图像数据以外的数据来检测输入设备的移动。来自与输入设备结合或结合到输入设备中的惯性传感器(包括回转仪、加速度计、磁传感器、指示元件或用于测量输入设备的移动的任何一个或多个装置)的每一个或任一个的数据可结合来自照相机的数据，用于获取表示输入设备的移动或定位的数据，并由此产生用于生成电子墨水的数据。
如上所述，输入设备在其上定位和/或移动的对象的表面可包括指示该表面中每一区域的位置或相对位置的已编码图像数据。对象可包括诸如膝上计算机等计算设备的显示屏。在一个实施例中，可从存储器中回收文档，并在屏幕上显示。文档中的嵌入，如在背景中，可放置指示该文档的每一区域的位置的已编码信息。例如，文档的背景可包括迷阵图案，该图案的足够大的部分唯一地标识整个文档内的每一区域。输入设备可结合已编码的位置信息一起使用，以在指定的位置向文档添加注释或编辑文档，即使膝上计算机的显示屏不包括用于检测输入设备在屏幕上的移动的传感器。由此，输入设备可担当“有源输入设备”，使得与输入设备相关联的传感器可生成指示该设备的定位或位置的数据。
在一个示例中，结合在输入设备中的图像传感器捕捉表示输入设备在其上定位和/或移动的显示屏的表面的图像数据。传感器捕捉的图像包括指示该输入设备的相对位置的位置代码。当用户在显示的图像上移动时，向所显示的电子文档输入注释和/或对其进行编辑，输入设备生成表示这些输入的信号以及表示文档中结合这些输入的位置的数据。膝上计算机的控制也可使用输入设备来影响，以替换鼠标，或执行其它标准输入功能，包括光标的移动和选择的激活。
输入设备可结合文字处理软件一起使用，以通过例如删除文本并插入新文本来编辑文档。为编辑计算设备的屏幕上显示的文档，用户将输入设备定位在屏幕上的期望位置上。为删除文本，用户可将输入设备定位在靠近屏幕之处，并在运动中移动设备，以划掉所显示的文本的图像。通过传感位置代码，可处理图像以确定笔以划动运动的移动，以及表示对应于用户移动输入设备的位置的文本。因此，该输入可用于删除该数据。
接下来，用户可能希望插入新文本。以类似的方式，用户可在要插入文本的位置上画出用于插入文本的一个符号，如“carrot”或颠倒的“V”。用于将输入转换成图像数据和/或命令的处理软件储存在输入设备或主计算机中，它识别该符号为用于输入文本的控制信号。在输入设备的帮助下，用户然后可手写要插入的文本。
在一个替换实施例中，用户可添加指示注释所涉及的原始文本的具有高亮的注解。例如，用户可使用显示在屏幕上的下拉菜单或高亮按钮来选择要加亮的文本。下一步，在要选择用于加亮的文本上拖动输入设备。然后，可在显示屏上邻近加亮文本的位置上书写与加亮/选择的文本相关联的评论。当操作完成时，用户可选择完成注释输入所必须的提示。对文档的所有这些修改可使用输入设备来创建，无论显示屏是否包括用于检测输入设备的移动的传感器。
对文档的修改可以图像数据、电子墨水或转换成文本的数据的形式被显示和/或结合进文档中。输入到文本的转换可以对用户不可见的形式发生，使得文本如同它被输入一样出现在屏幕上的文档的显示中。可选地，用户的手写可出现在文档的正文内。为实现编辑的瞬时显示，表示笔的移动和这类编辑的位置的信息可在正在进行的基础上被发送到膝上设备。
在操作中，输入设备捕捉输入设备在其上移动的表面的32×32像素分辨率的图像，以及指示输入设备是否用于书写或用户在书写时按压输入设备的力度的12位精度的力数据。图像和力数据被封装在一起成帧。然后，使用以达100帧每秒的速度无线地发送连续的帧流。输入设备在被加电时启动一自动初始化过程，然后转向工作模式或等待模式。输入设备在运行时依照压力值的放大率来切换模式，即，如果压力值大于给定阈值，则切换到工作模式，否则切换到等待模式。
当在工作模式中操作时，输入设备消耗大约120mA的电流。帧数据在诸如1160等另一输入传感器单元和诸如1170等图像捕捉单元中生成，并被输出到诸如1150等双核心体系结构。双核心体系结构接收图像和力数据，将它们组成帧(图像压缩、CRC编码、加时间戳、帧构造)，并将数据发送到诸如1180等通信单元，以与主机PC进行通信。通信单元也提供诸如1183等高速UART，它直接连接到主机PC上的RS-232，用于调试目的。双核心体系结构1150中的操作包括数据帧构造、图像压缩、加时间戳、CRC编码和发送链路控制(通过UART或蓝牙)。
图13是依照本发明的至少一个方面数据通过输入设备的双核心体系结构的说明性流程图。当采集数据时，图像的帧构造和力传感数据在步骤1301发生。数据帧构造可被配置成通过将来自连续数据流的帧仅除以两个“FF”来充分利用有限的
Figure C200510004065D00271
带宽。捕捉的图像和力数据在双核心体系结构中被封装在一起形成数据帧。数据帧1400包括图像数据(原始数据或压缩的数据)、力数据、时间戳、压缩标记1410、CRC编码和帧标记，如图14所示的。
在步骤1302，一种恒定压缩比算法将图像数据从每像素8比特压缩到5或6比特。这一压缩维持了稳定的传输速率。该算法的原理是预测加上非均匀量化。预测公式为：d＝a+b-c，其中，d是预测的像素值，a、b和c分别是左、上、左上像素。预测值和真实值之间的余量依照一预定模式来量化，并在双核心体系结构中被储存为一查找表。在步骤1302，可完成图像压缩来充分利用有限的带宽。在步骤1303，对自从开始以来的每一帧递增28位的时间戳，直到特别和/或统一地标识了每一数据帧。在步骤1304，数据帧中的所有数据，除帧标记之外，被传递到一28位CRC编码器。主机PC中的接收器可检查CRC代码，并丢弃错误的帧。CRC代码确保了所有接收的帧数据都是正确的。
在数据流控制期间，在步骤1305，FIFO(先入/先出)提供了2048字节的缓冲器，以平衡数据生成速率和传输速率。该FIFO缓冲器可同时操作。帧数据被放入FIFO中，然后同时被取出。当
Figure C200510004065D00273
链路质量较低时，
Figure C200510004065D00274
组件无法以与数据生成速率一样快的速率来传输帧数据。由此，某些数据必须被丢弃，以保持帧完整性。在步骤1306，流控制器实现自适应传输帧速率控制，以丢弃额外的帧数据。在数据传输过程中，通信单元将帧数据发送到主机PC。如果在步骤1307，
Figure C200510004065D00275
控制器用于无线数据传输，则发生从输入设备到主机PC的蓝牙收发器模块的无线数据传输。可选地，在步骤1308，UART控制器可用于到主机PC的RS-232的接口。在双核心体系结构中实现高速UART核心，以将数据从双核心体系结构传输到主机PC上的RS-232。这一接口可以是用于调试的测试端口。
当在等待模式操作时，输入设备消耗约40mA的电流。电池功率管理组件、其它输入传感器单元和图像捕捉单元可以仍在操作中。双核心体系结构关闭大多数操作，并且仅监控压力值。通信组件在等候模式操作。
如上所述，也可记录键入输入的个人的身份。例如，输入设备可生成标识用户和/或特定输入设备的信息。身份信息可被附加到生成的输入数据。可选地，这一标识信息可作为发送到主机设备的单独的信号来提供。
图14示出了依照本发明的至少一个方面从输入设备发送的说明性数据帧结构。每一输入设备由笔ID(PEN ID)以及
Figure C200510004065D00281
组件的
Figure C200510004065D00282
地址来标识。压缩标记1410保留标识数据帧中的图像数据所起源的输入设备的数据(笔ID)。笔ID对输入设备是专用的。如果缺少用户登录进入系统和用户指定的登录名，则先前的输入设备技术就没有对该输入设备专用的标识系统。一个输入设备被标识为与相似类型的其它输入设备相同。依照本发明的至少一个方面，压缩标记1410数据的笔ID字段允许多个输入设备同时操作。这一应用在多作者协作时是有用的。本领域的技术人员应当理解，图像数据字段的字节数1024、768和640分别表示没有压缩、压缩到每像素6比特和压缩到每像素5比特时的字节数。
在多用户应用中，若干用户可同时或不同时注释同一文档。主机PC将接收帧数据的序列，而每一输入设备将输出帧数据。通过使用笔ID和/或
Figure C200510004065D00283
地址提取每一输入设备的帧数据，若干输入设备可同时或不同时共同工作，如图15所示的。
Figure C200510004065D00284
技术允许多达七(7)个不同的输入设备由无线数据传输同时标识。如图15所示，输入设备1510、1520和1530的每一个通过
Figure C200510004065D00285
通信组件向主机PC无线地发送捕捉的图像数据。主机PC接收数据帧的帧序列1540-1到1540-n。主机PC可通过使用笔ID字段和/或对应的输入设备1510、1520和1530的蓝牙地址将每一输入设备1510、1520和1530的个别数据帧与数据帧序列相分离。由此，在多用户应用中，不同的注释可在同一文档上出现，并且主机PC可跟踪哪一输入设备1510、1520和1530创建了哪一注释。
尽管上述说明性实施例将输入设备在其上移动的表面标识为膝上设备的显示屏，然而输入设备也可运作以使用结合在设备在其上移动的任何对象的表面中的代码来检测定位。由此，可使用输入设备结合台式机、Tablet PCTM、个人数据助理、电话机或可显示信息的任一设备的监视器来创建结合了位置代码的图像。已编码信息也可被结合到覆盖以上设备显示屏的透明薄片内，或结合到可结合显示屏一起使用的包括保护膜的表面中。
已编码信息也可被结合到诸如纸张等书写表面或书写材料中，以唯一地标识该表面上的位置。例如，位置信息可被结合到纸张的背景中。如上所述，位置信息可包括表示该纸张上的特定地点的相对位置的任何形式的标记或代码。因此，输入设备可结合已编码的纸张一起使用，以记录对应于用户在适当位置的手写的信息。例如，仅配备了输入设备和结合了已编码位置信息的书写表面，当乘坐出租车时，输入设备可用于起草给客户的信件。用输入设备在纸张上书写，通过检测某些时刻输入设备的位置中的变化来识别对应于文本或其它输入信息的姿势。然后输入可被转换程电子墨水或其它电子数据，用于生成对应于那些姿势的信息。输入的转换可如那些输入被生成一样执行，无论是在输入设备中还是由耦合至输入设备的主机计算设备接收。可选地，这一转换可在稍后的时刻执行。例如，使用输入设备生成的信息可储存在存储器中，并被发送到接收方和/或主机计算机，用于稍后时刻的合适的处理。
无论输入是手写字母、符号、单词或其它书写图像，使用输入设备生成的数据可在由位置代码标识的位置上被结合进文档中。由此，即使没有格式化的模板，文档的布局，如先前描述的字母，可使用标识输入信息的文档中位置的位置信息来实现。例如，起草者的地址、接收方的地址、字母的正文体和闭合、以及剩余的成分可输入到纸张上适当的位置。使用由照相机捕捉的已编码位置信息，形成对应于电子文档的内容的单词或其它图形在适当的位置结合。
使用检测的位置信息，输入设备也可与主机计算设备通信，用于输入命令并作出选择等等。当计算设备是便携式照相机或具有web浏览属性的电话时，输入设备可以触针或鼠标的方式来使用，以从显示的按钮或菜单中选择。因此，输入设备可用于激活主机计算机的浏览器，并选择用于检索诸如先前描述文档，甚至是一个远程储存的文档等文件的选项。使用输入设备，用户可选择下载包含用户需要的信息的文件。下一步，用户可输入对通过输入设备下载的文件的注释。这些编辑可被发送到从其下载文件的远程位置，其中，配备了输入设备以执行与远程计算设备的通信。可选地，这些编辑可用于编辑储存在输入设备和/或主机计算设备中的文件，假定输入设备正在与主机计算设备通信。
在另一实施例中，主机计算设备的监视器上显示的文件可以是电子表格，它使用诸如来自华盛顿州雷蒙德市的
Figure C200510004065D00291
公司的EXCELTM等电子表格软件来生成。位置代码可用于将位置与电子表格内给定的单元相关联。用户可在屏幕上显示的单元中输入数字条目。在那时，输入设备捕捉与输入设备的位置相关联的图像，并将该信息发送到主机计算设备。例如，位于主机计算设备上，并结合电子表格软件一起工作的处理软件根据所检测的位置代码确定对条目所选择的单元的身份，并相应地修改电子表格文档的内容。
输入设备也可用于回收与特定姿势或姿势组合相关联的图像或其它预储存的信息。例如，输入设备可用于画出处理算法的设备被编程来识别的符号。迷阵图案可用于准确地检测输入设备在图案上的移动，使得与这类移动相关联的特定符号可被检测到。例如，用户可控制输入设备在先前由用户标识的纸张上画出与公司标志相关联的符号。迷阵图案可将对应于字母“M”后紧跟字母“S”的移动的组合标识为指定
Figure C200510004065D00301
公司的标志的条目的指令。结果，这一预储存的信息可通过特定输入序列的输入被输入到文档内。
输入设备也可被用作无源输入设备。在该模式中，输入设备可结合例如使用电阻传感来传感输入设备的移动的计算设备一起使用。当结合诸如Tablet PCTM或个人数据助理等包括用于检测输入设备的移动的传感板的设备一起使用时，输入设备可以触针的方式起作用。使用输入设备，当输入设备在十分接近屏幕的地方定位时，可生成电子墨水或其它图像数据。可以类似的方式输入控制功能。另外，在特定计算设备的监视器上显示的图像也可包括对应于表示文档的该部分的相对位置的代码的数据。使用照相机从对象中提取的位置信息然后可用于跟踪输入设备的移动，作为对使用计算设备的传感器所检测的移动的替代，或被结合到这一移动中。
例如，用户可能希望在诸如Tablet PCTM或个人数据助理等已包括了检测输入设备的定位的能力的便携式计算设备上创建或修改图像。输入设备可仅担当无源输入设备，使得表示输入设备的移动的信息由计算设备来生成。然而，计算设备的传感器可能没有在给定的情况下在用户期望的范围内检测笔的移动的能力。例如，当用户在不稳定的汽车中旅行时，用户输入的准确检测可能被阻碍。当用户通过在计算设备的显示屏表面上移动输入设备来编辑文件时，输入设备可能被推撞，并从传感板移动一显著的距离。由输入设备捕捉的图像数据可用于检测与计算设备的表面保持水平的平面内输入设备的移动，即使由计算设备的传感器生成的信号变得较不准确。即使计算设备的传感器不再能够检测输入设备的移动，图像传感器可产生足够的信息来维持输入设备的移动的准确表示，来反应用户的预期输入。由此，即使当结合包括传感输入设备的移动的能力的计算设备一起使用时，输入设备也可担当无源输入设备或有源输入设备。
输入设备也可与任何纸张、书写表面或其它基底关联使用，以记录对应于用户的手写的信息。再一次，仅配备了输入设备和书写表面，输入设备也可用于起草给客户的信件。在这一情况下，在无源编码的基础上检测姿势，其中，使用除嵌入在基底表面的图像中和/或印刷在该图像上的代码之外来检测输入设备的移动。例如，用户可在平坦的纸张上起草信件。当用户用输入设备书写时，图像传感器捕捉纸张的图像。图像内的对象可被标识，并且其在一系列被捕捉的图像中的移动可指示移动。所传感的对象可包括纸张表面上的人为因素或其它对象，它们可对应于纸张的水印或其它缺陷。可选地，纸张可包括规则的线，它们也可用于计算笔在表面上的移动。即使没有纸张，也可确定输入设备的相对移动。输入设备可在书桌的表面上移动，木材的粒度提供了检测输入设备的相对移动所需的对象。以类似于先前描述的方式，用户可在纸张上，或可在其上光学地检测移动的任何表面上起草信件。输入设备的移动可储存在存储器中和/或转换成表示那些姿势的信息。
在又一实施例中，便携式设备可用作对便携式计算设备的替代。例如，如果一个工程师在去往会见设计团队的其他成员的火车上刚作出了对于公司的起博器相关联的电路故障的解决方案，但是没有膝上计算机或其它计算设备可用，则她可打开其输入设备作为一种合适的替代，以记录其想法。在大多数时间可用时(并且墨水盒被移除或者笔帽在原处)，在其面前的椅子的背后，用户写出表示对所讨论的可疑电路问题的修改的草稿。她激活输入设备，将其设置在可用于生成草稿的模式(例如，可包括转换的去激活)，并开始起草表示对问题的解决方案的简化设计。输入设备然后可储存表示手写笔画的文件。切换出草稿模式，可在草稿的相关部分的旁边草草地记下注解和引用，并且那些条目被结合到图像文件中。例如，用户可切换到注解模式，其中，可识别对应于字母的姿势。由此，她可连同草稿一起结合她所提议的解决方案的描述。与等待直到到达医学研究中心相反，操作者可选择将示意图发送到设计团队的其他成员，以在安排的会议之前加以完整的考虑。这一传输可以任何数量的方式来实现，包括将修订的文档从输入设备上传到诸如蜂窝电话等便携式无线设备。该信息然后可用于生成诸如VISIOTM文档等图像文件。
一旦被发送到团队的其他成员，对应于示意图草稿的先前描述的文件可在团队成员的主机计算设备的监视器上显示。例如，图像和所附的文本可被呈现在台式机的显示器上。通过将输入设备放置在监视器上显示的文件图像邻近的地方，可向所显示的添加额外的注释。在该情况下，可通过测量对象在由输入设备的光学传感器捕捉的图像内的相对移动来检测输入设备的移动。由输入设备生成的信号可由储存在输入设备中的软件来处理，或可被发送到主机计算设备进行处理。检测的移动的处理可生成电子墨水、文本或表示通过输入设备输入的注解的其它数据。
输入设备可结合具有用于检测输入设备的移动的传感器的计算设备一起使用，即使在缺少位置代码的情况下。例如，输入设备可用作用于在个人数据助理或被设计成与触针一起使用的其它计算设备上生成手写注解的源。因此，尽管正在运行任务，仍可向用户通知，并且用户可希望向已有的“将要完成的列表(to do list)”添加项目。用户检索储存在诸如个人数据助理等主机计算设备上的列表。将输入设备的笔尖定位在个人数据助理的显示屏上，用户能够遍历菜单，并作出选择以检索期望的列表。当呈现了这一列表，用户可在主机设备的屏幕上在已完成的任务描述旁边的空白框中输入复选。输入设备捕捉屏幕的图像，包括对应于该框的数据，并将该数据发送到主机输入设备。使用用于分析图像数据的处理算法，主机计算设备然后检测框的形状，作为可形成条目的对象。为成功地输入复选标记，可处理图像数据以检测笔在框上和框内的移动，其姿势形成了“勾”的已识别形状。主机设备然后修改与该列表相关联的文件，以包括框内复选的表示。将输入设备定位在列表中最后一个项目之后，用户输入描述额外项目的文本。主机设备的传感器检测输入设备的移动，并生成表示那些输入的数据。输入被转换成文本，并连同空框一起向用户显示。
类似地，例如，
Figure C200510004065D00321
 Reader的用户，诸如正在阅读所布置小说的学生，可能希望在相关文本的旁边草草地记下注解。显示在便携式主机设备的监视器上的图像可使用输入设备来注释。例如，用户将输入设备定位在诸如Tablet PCTM等主计算机的监视器上，并在相关文本的旁边输入手写注解。其姿势由主机设备的传感器检测，并作为可被转换成图像数据并在屏幕上显示的电子数据储存。注解可保持手写形式，或可被转换程字母数字字符。如果没有额外功能的激励，如激活所附评论的视图或将输入设备定位在高亮或存在注解的某些其它指示上，则无法看见注解。注解然后可被储存在一个单独的文件中，或连同储存在主计算机中的小说的电子版本的副本一起储存。
在再一实施例中，来自形成输入设备的一部分的附加传感器的信息可用于补充或完全替代其它形式的移动检测。这类附加传感器可检测输入设备的线加速度、角加速度、速度、旋转、压力、倾角、电磁场变化或输入设备的移动或定位的任何传感的指示。这类信息可帮助产生更准确的移动检测。可选地，附加传感器可提供在给定时间的唯一可用的信息。例如，输入设备可用于总体均匀的表面，如空白纸张。在这一情况下，由光学传感器捕捉的图像可能无法提供足够的信息来一致并准确地检测输入设备的移动。如果光学运动检测变得更加困难，比如，如果用于跟踪输入设备的移动的对象变得更难检测，则依照一个用于光学地检测移动的实施例，可使用来自附加传感器的附加信息来提供更细化的运动检测。具体地，用于确定位置和/或移动的一个或多个算法可结合计算，以分解附加信息，并由此在光学运动检测的情况下补充移动和/或位置检测。
如果光学检测无法提供有用的结果，则附加传感器可提供可用于检测移动的唯一信息。例如，如果用户试图在层压的工作台面的均匀白台面上草拟出绘图，则光学传感系统可提供表示移动的足够数据。在该情况下，附加传感器可提供足够的信息来生成输入信息的可接受的准确表示。
例如，如果输入设备从被扫描的表面移动一段足够的距离，则光学传感器单元可能无法捕捉所提供的图像的准确表示。在该情况下，来自附加传感器的附加信息可用于补充通过输入设备在其上移动的对象的图像获取的数据。由此，即使输入设备从它在其上移动的显示屏上(z轴)移动了一英寸或更长的距离，则输入设备内的传感器也可提供笔在显示屏平面内的移动的指示，即，水平和垂直方向。
例如，结合膝上计算机一起使用的输入设备位于用户面前的托盘桌上。其背景结合的迷阵图案的文档图像显示在膝上计算机的屏幕上。由用户输入的注释以实心的蓝色墨水显示。当飞机经历颠簸时，“系好安全带”的符号被打开。当用户碰到膝上计算机的键盘并向注解添加了另一单词，他的手快速地从屏幕的表面移开。尽管图像传感器可能尚未准确地检测到形成所显示的迷阵图案的线条，然而x和y轴上的移动已由结合在输入设备中的附加传感器检测到。
图16示出了依照本发明的若干说明性实施例，当在各种环境中使用输入设备创建、发送和编辑文档时，输入设备的使用。以下描述仅为输入设备的使用的一个说明，并非局限本发明的结构或功能。
输入设备1601可用于通过允许在各种各样的环境中创建和/或编辑文档来延长文档的使用寿命，并可与众多设备相关联地使用。使用输入设备1601，可在诸如所示的图形输入板PC(Tablet PC)1603等计算设备的屏幕上电子地创建文档1602。例如，输入设备1601可用于生成文档的手写草稿。当输入设备1601担当用于图形输入板PC 1603的触针时，生成对应于在图形输入板PC 1603的屏幕上输入的信息的电子墨水。电子墨水可被转换程文本形式，并储存在图形输入板PC 1603中。
表示文档的电子墨水可被发送到第二计算设备，如台式PC 1604。在该环境中，可在台式设备的屏幕上使用作为独立输入单元操作的输入设备1601来编辑文档。由于输入设备1601传感所显示的文档图像内的其自己的相对位置，台式设备的屏幕上所输入的编辑可在电子文档1602中反映，即使显示器不包括用于传感输入设备的位置的元件。使用输入设备1601生成的编辑可在生成时被发送到台式PC1604，或可储存在输入设备1601中用于稍后发送到任何PC。编辑可被输入到储存在台式PC 1604中的文档1602的版本中。
创建的文档也可以由诸如连接到台式PC 1604的打印机1605等打印机由硬拷贝的形式输出。文档的硬拷贝1606版本可包括使用例如迷阵图案指定输入设备在文档中的任何位置上的相对位置的信息或代码。硬拷贝可由一个或多个用户标出，这些用户的每一个都具有一输入设备，并且每一用户的编辑由单独的输入设备生成。连同表示编辑的信息一起，也可提供标识用于生成那些编辑的笔的信息。例如，输入可使用诸如应用程序中已知的用于跟踪对文档所作出的变化的有下划线的彩色文本来反映。编辑/输入可从台式PC 1604转发到图形输入板PC 1603，用于结合到该文档中。可选地，编辑可被储存在输入设备1691中，并可在稍后的时刻上传。
文档也可被输出到纸张平面上，或者不包括输入设备的相对位置的指示的任何基底上。再一次，硬拷贝1606可由具有输入设备的一个或多个用户标出，并且每一用户的编辑由输入设备1601生成。在本示例中，笔1601的位置或移动可使用用于光学地传感输入设备1601在纸张上移动的编码技术来确定。如上所述，位置/移动可使用一种比较算法来确定，其中，图像数据的每一帧内的对象的相对位置被检测，并用于确定输入设备1601的移动。所得的编辑可被发送到文档所起源的计算设备，例如，用于原始数据文件的更新。编辑可通过诸如袖珍PC(Pocket PC)1607等计算设备来发送，用于通过无线或有线通信或当将包含编辑的设备对接到计算设备上时发送到目标设备。
电子文档也可被发送到第二计算设备，如所示的图形输入板PC 1603。在该环境中，文档可在图形输入设备1603的屏幕上使用输入设备1601作为简单的触针来编辑。这些输入可从图形输入板PC 1603转发到储存文档的原始副本的计算设备，例如，作为对文档的注释，或作为用于结合到该文档中的编辑。
采用嵌入式交互编码技术，液晶显示器可被转换成数字化仪。每一液晶显示单元的点阵区域可用于嵌入的图案。在一个实施例中，迷阵图案可被嵌入到液晶显示平面的黑色矩阵区域中。在另一实施例中，迷阵图案可被嵌入到光引导平面(lightguide plane)中。迷阵图案的垂直和水平条发射出可由输入设备中的照相机传感器捕捉的光线。采用m阵列解码，提供了唯一且绝对的坐标。由此，输入设备可用作图形输入板PC、袖珍PC、智能电话和/或具有启用了嵌入式交互编码的液晶显示器的任何其它设备的图形输入笔(Tablet Pen)。用户可在众多不同的设备上使用同一输入设备。例如，当被对接到图形输入板PC时，可对输入设备进行充电。这一配置向用户提供了多个选项，而同时仅维持一个必要的输入设备。
本发明的输入设备也可用于稍后的数据的远程存储和传输。本发明的输入设备可在附近没有主机PC的情况下使用。输入设备的处理能力和存储能力可处理由图像传感器捕捉的图像，并储存它们用于稍后的传输。例如，当用户使用输入设备来作笔记和/或注释文档时，笔记和注释可被处理并被无限时间地储存在输入设备中。可选地，数据可立即和/或在稍后的时刻被发送到个人数字助理(PDA)，并在PDA上处理和储存。如果PDA具有无线通信能力，则数据可被传输到远程位置的主机PC或服务器。例如，当用户正在旅行时，他们连同输入设备一起带走的笔记和注释可通过其智能电话被发送回他们的主机PC。用户可在飞机上对文档作出注释，并可保存注释，用于稍后，如当飞机着陆时发送到主机PC和/或服务器。
采用投影显示器和嵌入式和/或印刷的元数据，输入设备，如通用计算设备，可令阅读体验变得更交互。例如，华盛顿州雷蒙德市
Figure C200510004065D00351
公司的Office 2000中的智能标签可连同绝对位置一起被嵌入和/或打印到文档上。当用户使用输入设备阅读并注释时，输入设备可检测并解码智能标签，并用投影显示器显示相关的信息。如果在文档上嵌入和/或打印了字典条目，则输入设备也可显示字典查找。类似地，各种信息可被嵌入和/或打印到文档上，如命令和控制信息以及音频信息。输入设备可相应地检测并解码嵌入和/或打印的信息和动作。
智能个人对象技术(SPOT)可被包括在本发明的输入设备内。采用SPOT、嵌入和/或打印的命令和控制信息、以及投影显示器，输入设备可在笔尖上向用户提供最新的信息。例如，对天气预报的请求可被嵌入或打印到打印输出的纸张上。输入设备可解码该请求，并且SPOT可根据用户的当前位置获取天气预报。输入设备可用投影显示器显示纸张上的信息。类似地，也可在笔尖上向用户提供其它种类的信息，如股票报价、体育、新闻和诸如电影时刻表、电视节目表等娱乐信息。
尽管上文的描述和附图使用具体的组件来描述实施例，然而所描述的组件的添加和/或任一组件的移除也落入本发明的范围之内。类似地，可实现输入设备结构内的各个组件的重新布局，而不会对照相机或惯性传感器检测笔的移动并产生电子墨水的准确性产生很大的影响。例如，图像传感器可用用于检测输入设备在其上移动的表面或对象的属性的传感设备来替换或补充。由此，如果在对象的表面上形成了迷阵图案，使得该图案可根据可见光谱之外的能量辐射、发送到对象的这类能量的反射、或其它这类传感技术来检测。表面的任何属性的传感可被检测，并可用于确定输入设备在对象表面上的位置和/或移动。作为另一示例，可采用一种麦克风传感系统，使得麦克风检测来自输入设备所定位的对象的声学反射或发射。
上文描述并示出的说明性实施例描述了以笔的形状实现的输入设备。然而，本发明的各方面可适用于任意数量形状和大小的输入设备。
这一输入设备的使用应当启用任何位置上的个人计算。由此，配备了所描述的输入设备的用户可生成或编辑数据文件，而无论他们在何处。可在办公室设置、教室、酒店、搬运过程中、甚至在沙滩上生成、编辑或记录文档和其它信息。
如上所述，该输入设备可包括一合适的显示屏。可选地，可使用主机计算设备的显示屏来审阅所创建的文档和图像。用户可选择在输入诸如文本等信息之前或之后格式化文档，或审阅该文档并对文档的格式作出改变。在上述示例的上下文中，在这一显示屏上察看所创建的文档，用户可在适当的位置上插入包括他或她的地址的标题。
尽管使用所附权利要求书定义了本发明，然而这些权利要求是说明性的，因为本发明旨在包括组合或子组合形式的此处所描述的元件和步骤。因此，可以有任意数量的替换组合来定义本发明，它们以各种组合或子组合的形式结合了本说明书的一个或多个单元，包括描述、权利要求书和附图。鉴于本发明的说明书，相关技术领域的技术人员可以清楚，本发明的各方面的替换组合，无论是单独的还是与此处所定义的一个或多个元件或步骤相组合，都可用作本发明的修改或替换，或作为本发明的一部分。本发明的书面描述旨在覆盖所有这样的修改和替换。例如，在各种实施例中，示出了数据的某一顺序。然而，数据的任何重排序也由本发明包括在内。同样，在使用了诸如尺寸(如，以字节或比特)等某些属性单位，也可考虑任何其它单位。

Claims (21)

1.一种用于输入设备的光学系统，其特征在于，所述光学系统包括：
一图像传感器，用于捕捉所述输入设备定位在其上的对象的一区域的图像；
一透镜组件；以及
一光源，
其中，所述图像传感器的视野中心和所述透镜组件中心之间的连线具有相对于在所述输入设备在其上定位的对象上的一书写表面的角度，所述角度与所述输入设备和所述书写表面之间的角度相似。
2.如权利要求1所述的光学系统，其特征在于，所述图像传感器是32像素×32像素的CMOS成像传感器。
3.如权利要求1所述的光学系统，其特征在于，所述透镜组件包括一二重透镜和一单透镜。
4.如权利要求1所述的光学系统，其特征在于，所述透镜组件可由软件来调节。
5.如权利要求1所述的光学系统，其特征在于，所述光源包括一发光设备。
6.如权利要求5所述的光学系统，其特征在于，所述发光设备是发光二极管。
7.如权利要求5所述的光学系统，其特征在于，所述发光设备是发光二极管阵列。
8.如权利要求1所述的光学系统，其特征在于，所述光源被配置成发射白光。
9.如权利要求1所述的光学系统，其特征在于，所述光源被配置成发射第一颜色的光。
10.如权利要求9所述的光学系统，其特征在于，所述光源被配置程发射第二颜色的光。
11.如权利要求1所述的光学系统，其特征在于，所述光源是红外光源。
12.如权利要求1所述的光学系统，其特征在于，投影效应少于3.5％。
13.一种用于捕捉图像数据的输入设备，其特征在于，它包括：
一图像捕捉单元，用于捕捉所述输入设备在其上定位的对象的一区域的图像，并生成已捕捉的图像数据；
一处理器，用于处理所捕捉的图像数据；
一存储器，用于储存数据；
一光源，用于发光；
一透镜组件，
其中，所述图像捕捉单元的视野中心和所述透镜组件中心之间的连线具有相对于在所述输入设备在其上定位的对象上的一书写表面的角度，所述角度与所述输入设备和所述书写表面之间的角度相似。
14.如权利要求13所述的输入设备，其特征在于，所述光源是红外光源。
15.如权利要求14所述的输入设备，其特征在于，所述红外光源发出可穿透墨水以照亮所述墨水之下内容的光。
16.如权利要求15所述的输入设备，其特征在于，所述内容是一底层迷阵图案的一部分。
17.一种用于由输入设备捕捉图像数据的方法，所述输入设备包括图像传感器和透镜组件，其特征在于，所述方法包括以下步骤：
在所述输入设备在其上定位的对象的一区域上发射红外光；
由所述图像传感器捕捉所述区域的图像；以及
根据所捕捉的图像生成表示所述输入设备的位置的数据；
其中，所述图像传感器的视野中心和所述透镜组件中心之间的连线具有相对于在所述输入设备在其上定位的对象上的一书写表面的角度，所述角度与所述输入设备和所述书写表面之间的角度相似。
18.如权利要求17所述的方法，其特征在于，所捕捉的图像包括一类迷阵图案的部分。
19.如权利要求17所述的方法，其特征在于，它还包括照亮所述区域的步骤。
20.如权利要求19所述的方法，其特征在于，所述区域至少部分地被墨水覆盖。
21.如权利要求20所述的方法，其特征在于，所捕捉的图像包括表示所述输入设备在至少部分地被墨水覆盖的所述区域上移动的数据。
CNB2005100040654A 2004-01-07 2005-01-07 通用计算设备的光学系统设计 Expired - Fee Related CN100465866C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/751,884 US7133031B2 (en) 2002-10-31 2004-01-07 Optical system design for a universal computing device
US10/751,884 2004-01-07

Publications (2)

Publication Number Publication Date
CN1637698A CN1637698A (zh) 2005-07-13
CN100465866C true CN100465866C (zh) 2009-03-04

Family

ID=34739116

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2005100040654A Expired - Fee Related CN100465866C (zh) 2004-01-07 2005-01-07 通用计算设备的光学系统设计

Country Status (10)

Country Link
US (1) US7133031B2 (zh)
EP (1) EP1621977B1 (zh)
JP (1) JP4188920B2 (zh)
KR (1) KR101109235B1 (zh)
CN (1) CN100465866C (zh)
AU (1) AU2005200011B2 (zh)
BR (1) BRPI0500017A (zh)
CA (1) CA2491393A1 (zh)
MX (1) MXPA05000421A (zh)
RU (1) RU2386161C2 (zh)

Families Citing this family (92)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6439706B1 (en) * 1999-05-25 2002-08-27 Silverbrook Research Pty Ltd. Printer cartridge with binder
US7262764B2 (en) * 2002-10-31 2007-08-28 Microsoft Corporation Universal computing device for surface applications
US7009594B2 (en) * 2002-10-31 2006-03-07 Microsoft Corporation Universal computing device
US7133563B2 (en) 2002-10-31 2006-11-07 Microsoft Corporation Passive embedded interaction code
US7142197B2 (en) * 2002-10-31 2006-11-28 Microsoft Corporation Universal computing device
US8018607B2 (en) * 2002-12-05 2011-09-13 Hewlett-Packard Development Company, L.P. Scanner power management system and method
KR100465969B1 (ko) * 2003-04-11 2005-01-13 (주)모비솔 손가락 표면을 이용한 소형 포인팅 장치
JP3927921B2 (ja) * 2003-05-19 2007-06-13 株式会社バンダイナムコゲームス プログラム、情報記憶媒体及びゲーム装置
JP4795343B2 (ja) * 2004-07-15 2011-10-19 エヌ−トリグ リミテッド 二重モードデジタイザの自動切り替え
US7649524B2 (en) * 2004-07-15 2010-01-19 N-Trig Ltd. Tracking window for a digitizer system
US20060064185A1 (en) * 2004-09-22 2006-03-23 Ming-Hsiang Yeh Structure of removable storage media player
JP4773448B2 (ja) * 2004-09-24 2011-09-14 ノキア コーポレイション 電子装置のユーザーからの入力を受信する方法
US7719522B2 (en) * 2004-09-24 2010-05-18 Apple Inc. Raw data track pad device and system
US7728823B2 (en) * 2004-09-24 2010-06-01 Apple Inc. System and method for processing raw data of track pad device
KR100628463B1 (ko) * 2004-12-13 2006-09-26 핑거시스템 주식회사 절대좌표 인식 시스템 및 그 방법
US7864159B2 (en) 2005-01-12 2011-01-04 Thinkoptics, Inc. Handheld vision based absolute pointing system
US7826074B1 (en) 2005-02-25 2010-11-02 Microsoft Corporation Fast embedded interaction code printing with custom postscript commands
US7421439B2 (en) 2005-04-22 2008-09-02 Microsoft Corporation Global metadata embedding and decoding
US7400777B2 (en) 2005-05-25 2008-07-15 Microsoft Corporation Preprocessing for information pattern analysis
US7729539B2 (en) 2005-05-31 2010-06-01 Microsoft Corporation Fast error-correcting of embedded interaction codes
WO2007003196A2 (en) * 2005-07-05 2007-01-11 O-Pen Aps A touch pad system
US7622182B2 (en) 2005-08-17 2009-11-24 Microsoft Corporation Embedded interaction code enabled display
US7817816B2 (en) * 2005-08-17 2010-10-19 Microsoft Corporation Embedded interaction code enabled surface type identification
US7697827B2 (en) 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
US7532979B2 (en) * 2005-11-10 2009-05-12 Tele Atlas North America, Inc. Method and system for creating universal location referencing objects
US8013845B2 (en) * 2005-12-30 2011-09-06 Flatfrog Laboratories Ab Optical touch pad with multilayer waveguide
US7852315B2 (en) * 2006-04-07 2010-12-14 Microsoft Corporation Camera and acceleration based interface for presentations
US8031186B2 (en) * 2006-07-06 2011-10-04 Flatfrog Laboratories Ab Optical touchpad system and waveguide for use therein
US8094136B2 (en) * 2006-07-06 2012-01-10 Flatfrog Laboratories Ab Optical touchpad with three-dimensional position determination
US8913003B2 (en) 2006-07-17 2014-12-16 Thinkoptics, Inc. Free-space multi-dimensional absolute pointer using a projection marker system
US10168801B2 (en) * 2006-08-31 2019-01-01 Semiconductor Energy Laboratory Co., Ltd. Electronic pen and electronic pen system
US9063617B2 (en) * 2006-10-16 2015-06-23 Flatfrog Laboratories Ab Interactive display system, tool for use with the system, and tool management apparatus
US20080189046A1 (en) * 2007-02-02 2008-08-07 O-Pen A/S Optical tool with dynamic electromagnetic radiation and a system and method for determining the position and/or motion of an optical tool
FR2913749B1 (fr) * 2007-03-13 2009-04-24 Commissariat Energie Atomique Systeme d'eclairage matriciel, notamment de type scialytique procede de controle d'un tel eclairage et procede d'etalonnage d'une camera equipant un tel systeme
US9176598B2 (en) 2007-05-08 2015-11-03 Thinkoptics, Inc. Free-space multi-dimensional absolute pointer with improved performance
US8719718B2 (en) * 2007-05-09 2014-05-06 Erik M. Erikson Digital paper-enabled products and methods relating to same
EP2171611A4 (en) * 2007-06-01 2014-11-26 Adapx Inc DIGITAL PAPER-DEFINED TABLE CALCULATION SYSTEMS
US20080301542A1 (en) * 2007-06-01 2008-12-04 Mcgee David Digital paper-enabled spreadsheet systems
KR101348346B1 (ko) * 2007-09-06 2014-01-08 삼성전자주식회사 포인팅 장치, 포인터 제어 장치, 포인팅 방법 및 포인터제어 방법
US8564574B2 (en) * 2007-09-18 2013-10-22 Acer Incorporated Input apparatus with multi-mode switching function
US8077401B2 (en) * 2007-10-03 2011-12-13 Ricoh Co., Ltd. Catadioptric imaging system
US20090160773A1 (en) * 2007-12-20 2009-06-25 Microsoft Corporation Optical mouse
US20090309854A1 (en) * 2008-06-13 2009-12-17 Polyvision Corporation Input devices with multiple operating modes
TW201009671A (en) 2008-08-21 2010-03-01 Tpk Touch Solutions Inc Optical semiconductor laser touch-control device
US8502787B2 (en) 2008-11-26 2013-08-06 Panasonic Corporation System and method for differentiating between intended and unintended user input on a touchpad
SE533704C2 (sv) 2008-12-05 2010-12-07 Flatfrog Lab Ab Pekkänslig apparat och förfarande för drivning av densamma
JP5300534B2 (ja) * 2009-03-10 2013-09-25 キヤノン株式会社 画像処理装置および画像処理方法及びプログラム
US9498718B2 (en) * 2009-05-01 2016-11-22 Microsoft Technology Licensing, Llc Altering a view perspective within a display environment
US9218523B2 (en) * 2009-09-04 2015-12-22 Siemens Industry, Inc. System and method for determining authorship of a document
JP5489118B2 (ja) * 2010-01-28 2014-05-14 健治 吉田 入出力装置、情報入出力システム
US20110298708A1 (en) * 2010-06-07 2011-12-08 Microsoft Corporation Virtual Touch Interface
RU2454166C2 (ru) * 2010-06-30 2012-06-27 Общество с ограниченной ответственностью "АКСИОМА-10" (ООО" АКСИОМА-10") Устройство интерактивной оценки зрительных, перцептивных и когнитивных способностей человека
UA100890C2 (ru) * 2010-12-02 2013-02-11 Владимир Иванович Голуб Способ распознавания объектов геометрической формы
US20120280948A1 (en) * 2011-05-06 2012-11-08 Ricoh Company, Ltd. Interactive whiteboard using disappearing writing medium
RU2469376C1 (ru) * 2011-07-06 2012-12-10 Федеральное государственное унитарное предприятие "Научно-производственное объединение автоматики имени академика Н.А. Семихатова" Вычислительное устройство бинс
EP2756370A1 (en) * 2011-08-29 2014-07-23 Stefan Valícek Multifunctional pencil input peripheral computer controller
CN102521824A (zh) * 2011-11-10 2012-06-27 中国科学院上海技术物理研究所 一种低功耗红外实时信号处理系统
US9524050B2 (en) 2011-11-29 2016-12-20 Google Inc. Disambiguating touch-input based on variation in pressure along a touch-trail
US8436827B1 (en) * 2011-11-29 2013-05-07 Google Inc. Disambiguating touch-input based on variation in characteristic such as speed or pressure along a touch-trail
WO2013103410A1 (en) * 2012-01-05 2013-07-11 California Institute Of Technology Imaging surround systems for touch-free display control
US10168835B2 (en) 2012-05-23 2019-01-01 Flatfrog Laboratories Ab Spatial resolution in touch displays
TWI558195B (zh) * 2012-07-02 2016-11-11 鴻海精密工業股份有限公司 顯示裝置的背景圖像設置系統及方法
US9530213B2 (en) 2013-01-02 2016-12-27 California Institute Of Technology Single-sensor system for extracting depth information from image blur
WO2014168567A1 (en) 2013-04-11 2014-10-16 Flatfrog Laboratories Ab Tomographic processing for touch detection
WO2015005847A1 (en) 2013-07-12 2015-01-15 Flatfrog Laboratories Ab Partial detect mode
RU2534967C1 (ru) * 2013-09-10 2014-12-10 Борис Иванович Волков Устройство оцифровывания изображения кадра
RU2534968C1 (ru) * 2013-10-01 2014-12-10 Борис Иванович Волков Устройство оцифровывания изображения кадра
WO2015108480A1 (en) 2014-01-16 2015-07-23 Flatfrog Laboratories Ab Improvements in tir-based optical touch systems of projection-type
US10146376B2 (en) 2014-01-16 2018-12-04 Flatfrog Laboratories Ab Light coupling in TIR-based optical touch systems
WO2015199602A1 (en) 2014-06-27 2015-12-30 Flatfrog Laboratories Ab Detection of surface contamination
WO2016122385A1 (en) 2015-01-28 2016-08-04 Flatfrog Laboratories Ab Dynamic touch quarantine frames
US10318074B2 (en) 2015-01-30 2019-06-11 Flatfrog Laboratories Ab Touch-sensing OLED display with tilted emitters
EP3256936A4 (en) 2015-02-09 2018-10-17 FlatFrog Laboratories AB Optical touch system comprising means for projecting and detecting light beams above and inside a transmissive panel
US10401546B2 (en) 2015-03-02 2019-09-03 Flatfrog Laboratories Ab Optical component for light coupling
WO2017099657A1 (en) 2015-12-09 2017-06-15 Flatfrog Laboratories Ab Improved stylus identification
TWI655560B (zh) * 2016-03-28 2019-04-01 原相科技股份有限公司 筆型導航裝置及其導航模組
CN107291269B (zh) * 2016-04-01 2020-03-06 原相科技股份有限公司 笔型导航装置及其导航模块
JP6805552B2 (ja) * 2016-05-26 2020-12-23 コニカミノルタ株式会社 情報処理装置及びプログラム
WO2018046375A1 (en) * 2016-09-06 2018-03-15 Philips Lighting Holding B.V. A method of locating a mobile device in a group of mobile devices
EP3545392A4 (en) 2016-11-24 2020-07-29 FlatFrog Laboratories AB AUTOMATIC TACTILE SIGNAL OPTIMIZATION
KR102344055B1 (ko) 2016-12-07 2021-12-28 플라트프로그 라보라토리즈 에이비 개선된 터치 장치
US10963104B2 (en) 2017-02-06 2021-03-30 Flatfrog Laboratories Ab Optical coupling in touch-sensing systems
WO2018174786A1 (en) 2017-03-22 2018-09-27 Flatfrog Laboratories Pen differentiation for touch displays
EP3602259A4 (en) 2017-03-28 2021-01-20 FlatFrog Laboratories AB TOUCH DETECTION DEVICE AND ITS ASSEMBLY PROCESS
RU2644526C1 (ru) * 2017-05-19 2018-02-12 Общество с ограниченной ответственностью "ОТ-КОНТАКТ" Способ и система измерения межкадровых временных интервалов видеозаписи
CN111052058B (zh) 2017-09-01 2023-10-20 平蛙实验室股份公司 改进的光学部件
US11567610B2 (en) 2018-03-05 2023-01-31 Flatfrog Laboratories Ab Detection line broadening
KR102527080B1 (ko) * 2018-08-01 2023-05-02 삼성전자주식회사 입력 이벤트를 처리하기 위한 전자 장치 및 그의 동작 방법
WO2020153890A1 (en) 2019-01-25 2020-07-30 Flatfrog Laboratories Ab A videoconferencing terminal and method of operating the same
US11157099B2 (en) * 2019-08-05 2021-10-26 Adx Research, Inc. Electronic writing device and a method for operating the same
JP2023512682A (ja) 2020-02-10 2023-03-28 フラットフロッグ ラボラトリーズ アーベー 改良型タッチ検知装置
TWM607724U (zh) * 2020-11-03 2021-02-11 吳榮 具多用途之輔助器

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010024193A1 (en) * 1999-12-23 2001-09-27 Christer Fahraeus Written command
US20020148655A1 (en) * 2001-04-12 2002-10-17 Samsung Electronics Co., Ltd. Electronic pen input device and coordinate detecting method therefor
CN1385775A (zh) * 2001-05-10 2002-12-18 宋柏君 无板光学手写笔

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5051736A (en) * 1989-06-28 1991-09-24 International Business Machines Corporation Optical stylus and passive digitizing tablet data input system
US5852434A (en) * 1992-04-03 1998-12-22 Sekendur; Oral F. Absolute optical position determination
JPH06230886A (ja) 1993-01-28 1994-08-19 Photo Device Kk ペンシル型入力装置
JP3526067B2 (ja) 1993-03-15 2004-05-10 株式会社東芝 再生装置及び再生方法
JPH08313215A (ja) * 1995-05-23 1996-11-29 Olympus Optical Co Ltd ２次元距離センサ
US5661291A (en) 1995-06-07 1997-08-26 Hand Held Products, Inc. Audio proof of delivery system and method
US7770013B2 (en) 1995-07-27 2010-08-03 Digimarc Corporation Digital authentication with digital and analog documents
US6118474A (en) * 1996-05-10 2000-09-12 The Trustees Of Columbia University In The City Of New York Omnidirectional imaging apparatus
US6054990A (en) 1996-07-05 2000-04-25 Tran; Bao Q. Computer system with handwriting annotation
IL118914A0 (en) 1996-07-22 1996-10-31 Zohar Argamanit Ltd Hand-holdable optical scanner particularly useful as electronic translator
US6111506A (en) 1996-10-15 2000-08-29 Iris Corporation Berhad Method of making an improved security identification document including contactless communication insert unit
AU738003B2 (en) 1997-02-12 2001-09-06 Kanitech A/S An input device for a computer
US5960085A (en) 1997-04-14 1999-09-28 De La Huerga; Carlos Security badge for automated access control and secure data gathering
JP3876942B2 (ja) * 1997-06-13 2007-02-07 株式会社ワコム 光デジタイザ
JP3746378B2 (ja) 1997-08-26 2006-02-15 シャープ株式会社 電子メモ処理装置、電子メモ処理方法、および電子メモ処理プログラムを記録したコンピュータ読取り可能な記録媒体
US20030146883A1 (en) * 1997-08-28 2003-08-07 Visualabs Inc. 3-D imaging system
US6330976B1 (en) * 1998-04-01 2001-12-18 Xerox Corporation Marking medium area with encoded identifier for producing action through network
JP4033582B2 (ja) 1998-06-09 2008-01-16 株式会社リコー 座標入力／検出装置および電子黒板システム
US6326956B1 (en) * 1998-08-24 2001-12-04 Intertactile Technologies Corporation Circuit control devices utilizing electronic display screen light
US6532152B1 (en) 1998-11-16 2003-03-11 Intermec Ip Corp. Ruggedized hand held computer
US6801659B1 (en) 1999-01-04 2004-10-05 Zi Technology Corporation Ltd. Text input system for ideographic and nonideographic languages
JP3513420B2 (ja) * 1999-03-19 2004-03-31 キヤノン株式会社 座標入力装置及びその制御方法、コンピュータ可読メモリ
US6614422B1 (en) * 1999-11-04 2003-09-02 Canesta, Inc. Method and apparatus for entering data using a virtual input device
US6822639B1 (en) 1999-05-25 2004-11-23 Silverbrook Research Pty Ltd System for data transfer
US7707082B1 (en) 1999-05-25 2010-04-27 Silverbrook Research Pty Ltd Method and system for bill management
AUPQ363299A0 (en) * 1999-10-25 1999-11-18 Silverbrook Research Pty Ltd Paper based information inter face
JP4200588B2 (ja) * 1999-05-28 2008-12-24 株式会社デンソー ２次元情報読取装置
JP2001051797A (ja) * 1999-08-13 2001-02-23 Canon Inc 座標入力装置及びその制御方法、コンピュータ可読メモリ
US6847356B1 (en) * 1999-08-13 2005-01-25 Canon Kabushiki Kaisha Coordinate input device and its control method, and computer readable memory
US6300645B1 (en) 1999-08-25 2001-10-09 Hewlett-Packard Company Position sensing device having a single photosensing element
US6539098B1 (en) 1999-09-24 2003-03-25 Mailcode Inc. Mail processing systems and methods
US6710770B2 (en) * 2000-02-11 2004-03-23 Canesta, Inc. Quasi-three-dimensional method and apparatus to detect and localize interaction of user-object and virtual transfer device
US6603464B1 (en) 2000-03-03 2003-08-05 Michael Irl Rabin Apparatus and method for record keeping and information distribution
US6999622B2 (en) 2000-03-31 2006-02-14 Brother Kogyo Kabushiki Kaisha Stroke data editing device
WO2001076120A2 (en) * 2000-04-04 2001-10-11 Stick Networks, Inc. Personal communication device for scheduling presentation of digital content
US6585154B1 (en) 2000-08-03 2003-07-01 Yaakov Ostrover System, method and devices for documents with electronic copies attached thereto
US6968453B2 (en) 2001-01-17 2005-11-22 International Business Machines Corporation Secure integrated device with secure, dynamically-selectable capabilities
US20040032393A1 (en) * 2001-04-04 2004-02-19 Brandenberg Carl Brock Method and apparatus for scheduling presentation of digital content on a personal communication device
US6865325B2 (en) 2001-04-19 2005-03-08 International Business Machines Corporation Discrete pattern, apparatus, method, and program storage device for generating and implementing the discrete pattern
US7176906B2 (en) 2001-05-04 2007-02-13 Microsoft Corporation Method of generating digital ink thickness information
WO2002093109A1 (en) * 2001-05-16 2002-11-21 X-Rite, Incorporated Glare-directed imaging
US20030088781A1 (en) 2001-11-06 2003-05-08 Shamrao Andrew Divaker Systems and methods for ensuring security and convenience
US6744967B2 (en) * 2001-12-20 2004-06-01 Scientific-Atlanta, Inc. Program position user interface for personal video recording time shift buffer
TWI235926B (en) 2002-01-11 2005-07-11 Sonix Technology Co Ltd A method for producing indicators and processing system, coordinate positioning system and electronic book system utilizing the indicators
US6938222B2 (en) 2002-02-08 2005-08-30 Microsoft Corporation Ink gestures
US20030214553A1 (en) 2002-05-14 2003-11-20 Microsoft Corporation Ink regions in an overlay control
US7429996B2 (en) * 2002-07-16 2008-09-30 Intel Corporation Apparatus and method for sensing depth in every direction
JP4443181B2 (ja) 2003-10-15 2010-03-31 株式会社日立製作所 コミュニケーションシステム及び方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010024193A1 (en) * 1999-12-23 2001-09-27 Christer Fahraeus Written command
US20020148655A1 (en) * 2001-04-12 2002-10-17 Samsung Electronics Co., Ltd. Electronic pen input device and coordinate detecting method therefor
CN1385775A (zh) * 2001-05-10 2002-12-18 宋柏君 无板光学手写笔

Also Published As

Publication number Publication date
CA2491393A1 (en) 2005-07-07
CN1637698A (zh) 2005-07-13
KR101109235B1 (ko) 2012-01-30
RU2004139200A (ru) 2006-06-10
JP4188920B2 (ja) 2008-12-03
AU2005200011B2 (en) 2010-03-11
US7133031B2 (en) 2006-11-07
JP2005198320A (ja) 2005-07-21
US20040136083A1 (en) 2004-07-15
EP1621977B1 (en) 2015-03-18
MXPA05000421A (es) 2005-09-22
EP1621977A2 (en) 2006-02-01
AU2005200011A1 (en) 2005-07-21
KR20050072710A (ko) 2005-07-12
RU2386161C2 (ru) 2010-04-10
BRPI0500017A (pt) 2005-08-09
EP1621977A3 (en) 2012-03-28

Similar Documents

Publication Publication Date Title
CN100465866C (zh) 通用计算设备的光学系统设计
CN100422915C (zh) 通用计算设备
US7262764B2 (en) Universal computing device for surface applications
CN1320506C (zh) 通用计算装置
US7627703B2 (en) Input device with audio capabilities
CN1722071B (zh) 用于复合跟踪系统的方法和装置
US20070003168A1 (en) Computer input device
CN104919396B (zh) 在头戴式显示器中利用身体握手
US20100045785A1 (en) Note Capture Device
CN115357739A (zh) 图像的检索方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150507

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150507

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090304

Termination date: 20190107