CN101101512A - 基于指示设备的用户接口系统 - Google Patents

基于指示设备的用户接口系统 Download PDF

Info

Publication number
CN101101512A
CN101101512A CNA2007101278512A CN200710127851A CN101101512A CN 101101512 A CN101101512 A CN 101101512A CN A2007101278512 A CNA2007101278512 A CN A2007101278512A CN 200710127851 A CN200710127851 A CN 200710127851A CN 101101512 A CN101101512 A CN 101101512A
Authority
CN
China
Prior art keywords
indicating equipment
equipment
user
interactive system
indicating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2007101278512A
Other languages
English (en)
Inventor
G·E·梅肯坎
T·德克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=32319629&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN101101512(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN101101512A publication Critical patent/CN101101512A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K11/00—Methods or arrangements for graph-reading or for converting the pattern of mechanical parameters, e.g. force or presence, into electrical signal
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/32—Remote control based on movements, attitude of remote control device
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/60—Security, fault tolerance
    • G08C2201/61—Password, biometric
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/70—Device selection
    • G08C2201/71—Directional beams
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/90—Additional features
    • G08C2201/92—Universal remote control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/90—Additional features
    • G08C2201/94—Smart cards

Abstract

一种基于指示设备的用户接口系统，其中用户交互系统包括其与照相机(102)相连的且可将图像发送到数字信号处理器(120)的便携式指示设备(101)，该便携式指示设备可识别对象(130)以及通过使指示设备(101)按照特定方式移动而由用户给出的命令，并且可根据该识别来控制电子设备(110)。

Description

基于指示设备的用户接口系统
技术领域
本发明涉及一种用户交互系统，该系统包括：
一电子设备；
一便携式指示设备，该便携式指示设备是用户可操作的以指向空间中的区域；
一照相机，该照相机用于拍照；以及
一数字信号处理器，该数字信号处理器可接收图像并对其进行处理并且可将来源于该图像的用户接口信息传送到电子设备。
本发明还涉及一种供用户交互系统之用的指示设备。
本发明还涉及一种供上述用户交互系统之用的电子设备。
背景技术
从US-A-2001/0030668中可以得知这种系统。该文献描述了这样一种通用远程控制系统，在该系统中用户利用其可显示可识别特征的指示设备来标记显示器上的一位置，所述指示设备例如是其可发射出红斑的激光指示器，并且照相机拍摄该显示器且计算用户所指向的位置。此后诸如计算机或者电视这样的电子设备执行其与用户进行标记相对应的动作。例如如果通过使激光指示器闪光两次来标记显示器上一图标，那么开始相应计算机程序。
已知系统的缺点在于该系统是为特定显示所定制的。例如该显示可以是其基于前部投影仪的LCD在屏幕上的投影，其中该投影仪与膝上型电脑相连。已知系统中照相机具有其可使屏幕成像的位置及视角。接下来，对DSP进行训练以对照相机图像中的一区域进行辩别，所述区域与屏幕的位置相对应。在现有技术中这是按照一简单方式来进行的。首先在具有和没有照明的情况下利用投影仪的图像来捕获屏幕的图像。通过对这两个图像的不同之处进行比较，可获得通过照相机所观看到的该显示在空间中的区域。其次获得膝上型电脑帧缓冲器中的透视转换，该透视转换可确定在显示上所指向的位置与投影图像中的位置之间的关系。巳知文献还描述了通过首先手动选择虚拟显示的转角而指向诸如墙这样的虚拟显示。然而总是为了一个显示要对该系统进行校准并且在用户想要与另一显示进行交互的情况下，他必须再次建立该系统或者使用第二系统。
发明内容
本发明的第一个目的就是提供一种在开始段落中所描述的这类用户交互系统，该系统可相对容易的与多个可用电子设备进行交互，尤其是可与显示器进行交互。
本发明的第二个目的就是提供一种在开始段落中所描述的这类指示设备，该指示设备相对容易的与多个可用电子设备进行交互。
本发明的第三个目的就是提供一种供上述用户交互系统之用的电子设备。
第一个目的是可以实现的，因为照相机与指示设备相连以便在操作过程中其可使所指向的区域成像。固定照相机仅使空间的某个区域成像。在已知的用户交互系统中用户的指示设备或者所指向的对象甚至不在固定照相机的视野之内。其具有附装照相机的指示设备的主要优点在于照相机基本上总是使所指向的区域最佳的成像，所述照相机例如可以位于其最靠近所指向区域的指示设备的前端。所指向的对象一般是要将诸如设备控制数据这样的用户接口信息发送到其上的电子设备，但是可以是用户所驻房间中的任何对象，只要它可以被DSP识别。此后例如通过预先指向所要控制的设备来对其进行标识。
在根据权利要求2的实施例中，用户接口信息包括用于对电子设备的操作进行控制的设备控制数据。起居室中可存在其可产生声音的多个设备。这些设备的每一个均具有用于增加或者降低音量的控制。通过指示指示设备的照相机朝着特定设备的方向并且例如通过按下指示设备上的按钮或者使指示设备进行特定移动来执行“音量增加”命令，所指向设备的音量将增加。使用巳知通用远程控制具有这样的缺点，例如设备应答是用户所不想要的，因为它使用相同远程控制代码。
有利的是如权利要求3的数字信号处理器包括一对象表征装置，该对象表征装置通过将第一对象表征特性提供给所包含的用于对该对象进行标识的对象标识装置来对存在于照相机所成像区域的图像之中的对象或者对象的一部分进行表征，所述对象标识装置可输出根据其可构造出用户接口信息的对象标识数据。
在对不同电子设备进行控制的情况下，它们全部都被自动识别。DSP例如可以是用于表征设备的一般处理器运行算法，或者它可以是专用集成电路。典型的对象表征装置对设备的图像执行成像处理算法。例如可计算设备的相对尺寸并且可对该设备上的按钮数目及位置进行分析。对象标识装置与特定设备的这些最终第一对象表征特性有关联，例如与设备表格中的信息有关联。与设备所知晓的设备控制数据一样，可存在与该设备有关的诸如“公司X所生产的其序列号为Y的第一电视”这样的信息。
此外有利的是如权利要求4所述的数字信号处理器包括：
运动轨道估计装置，用于估计指示设备的运动轨道并且输出第一运动表征标记，该标记是运动轨道的数学抽象；以及
标记标识装置，用于对第一运动表征标记进行标识并且输出与第一运动表征标记相对应的其表示用户交互命令的命令标识数据，用户接口信息是根据所述命令标识数据构造而成的。
为了避免对于发送到所有不同设备的所有不同命令而言需要指示设备上的大量按钮，并且为了使用户交互系统更对用户友好，因此有利是至少一些设备控制数据是根据典型的指示设备在其手中的用户使指示设备移动而产生的。向上移动的标记是指“音量增加”，但是与标准远程控制完全不同，根据本发明的音量变化取决于运动的粗率性。如果用户使他的手臂慢慢向上移动，那么音量例如仅略微改变，并且相反如果他使他的手臂快速向上移动，那么音量将增长很多。根据诸如海量变形检测器、回转器、差转GPS定位系统等等这样的运动检测装置来确定指示设备的运动。然而因为已存在照相机，因此还可通过使连续的图像成像并且应用运动估计算法来确定该运动。因为除了多对象的精确运动估计之外全程运动估计是很简单的，因此照相机可以是其基于简单CMOS的照相机或者甚至可以是少量光敏元件的二维阵列。
此外有利的是如权利要求5所述的数字信号处理器包括标识改进装置，该装置可进一步提高根据预定规则来对其被表示为对象标识数据的对象以及其被表示为命令标识数据的用户交互命令进行更可靠标识的概率，这可产生更可靠的用户接口信息。因为对象标识以及运动标记不总是很理想的，因此给定房间中的状态可变性，采用这样的标识改进装置，该装置例如对所标识对象的标识数据以及命令标识数据运用人工智能规则组，还尽可能的考虑到表征特性第一对象表征特性以及第一运动表征标记。例如，用于确定所指向设备的规则可考虑到指示设备所在的房间或者日时。例如如果他回家了并且捡起指示设备，那么用户典型的会做的第一件事情是打开灯。通过DSP根据这些灯的图像来验证他的意图。
进一步有利的是如权利要求6所述的预定规则包括考虑到下述先验巳知信息单元{指示设备所驻房间，用户所发布的先前命令，用户发布特定命令的统计频率以及日时}的至少一个的成对{对象标识数据，命令标识数据}的似然性的概率计算。例如根据用户通常所使用命令的统计曲线并且根据预先所发布的命令来计算命令的似然性。此外，根据其内存在有指示设备的房间来更新该设备的似然性。用户在星期五8点钟也许想要观看他喜爱的电视节目。
此外有利的是如要求7所述的数字信号处理器包括对象关联装置，该装置为对象标识装置提供了其包括有至少一个数据实体的对象关联数据，所述数据实体是：关联对象表征特性以及对象相关数据，
对象关联数据是从对象存储器中的其得自于至少一个方法的对象模板数据得来的；
对象模板数据是从下述对象训练装置中获得的，所述对象训练装置对对象表征装置所输出的第二对象表征特性执行预定计算；并且
对象模板数据是从所输入的对象数据得来的。
如果反而其是厂家所预先构造的用于对固定数目的设备进行控制，那么该用户交互系统更加通用，用户可使它适用于他的变化环境。例如他购买了的新设备，那么他想借助于相同系统来控制该设备。此外如果他购买了挂在墙上的日程表，并且利用他的指示设备而指向它，那么他想动作，例如在他的PC上起动日程表工具。为此需要对象关联装置。用户例如在很少的不同角度之下使新设备成像。尽可能的在首先计算恒定设备特定特性之后，在对象表征装置上所运行的许多图像处理算法提取该对象的其被存储为对象模板的特性。此后他利用选择用户接口来选择与该对象模板相对应的设备。这就是所谓的系统的训练阶段。当后来系统用于所谓的命令阶段以将设备控制数据发送到标识设备时，借助于存储在对象关联装置中的数据来帮助对象识别装置的对象识别。例如根据对象模板数据，可将下述多个关联对象表征特性发送到对象标识装置，所述多个对象表征特性与其作为第一对象表征特性的对象表征装置的输出相对应，此后对象标识装置执行比较以选择正确的标识设备。还可以将这些特性预加载在对象标识装置中。对象关联装置还可以将下述对象相关数据发送到对象标识装置，所述对象相关数据至少包括设备的标识符并且可能进一步的包括诸如支持命令这样的数据。在可替换实现中，对象关联装置还可以执行本身的对象标识，在这种情况下只是将对象相关数据发送给对象标识装置。为了避免用户必须通过选择用户接口来输入大量信息，还可通过对象数据输入而输入对象相关数据。例如直接从所标识的且受控的设备输入。通过该输入，还可以输入特征对象模板数据，例如设备的厂家可以提供在很好受控成像条件下所拍摄的图像。
此外有利的是如权利要求8所述的数字信号处理器包括用于将其包括有至少一个数据实体的标记关联数据提供给标记标识装置的标记关联装置，所述数据实体是：关联标记特性以及命令相关数据，
标记关联数据是从标记存储器中的其得自于至少一个方法的标记模板数据而得来的；
标记模板数据是从下述标记训练装置中获得的，所述标记训练装置对运动轨道估计装置所输出的第二运动表征标记执行预定计算；并且
命令模板数据是从所输入的命令数据而得来的。
根据类似基本原理，可以包括标记关联装置以可对用户施加到指示设备上的其被表征为标记的新运动轨道进行训练。在这些实现中，例如通过下述设备来输入命令数据，所述设备可提供其支持命令的一菜单。
此外有利的是如权利要求9所述的第一运动表征标记是根据照相机在各个时间情况所成像的连续图像而得到的。因为照相机附连在指示设备上以使其每个移动成像，并且通过简单运动估计算法来估计全程运动，因此使用连续成像的图像以得到想要的用户接口命令。
第二个目的是可以实现的，因为根据权利要求10的指示设备包括一照相机并且可将一图像发送到DSP。如上所述，由于这种指示设备而使用户交互系统变得更通用。
权利要求11中的指示设备的实施例的特征在于其可将一图像发送到数字信号处理器，该数字信号处理器可根据该图像而将用户接口信息发送到电子设备。
在根据权利要求12的实施例中，DSP包含在指示设备之内。此后指示设备还与用户交互系统相分离的操作。例如使指示设备使用于超级市场、对所成像的图像进行处理、并且存储相应第一对象表征特性。此后最后执行家用设备的控制动作。
有利的是权利要求13所述的指示设备包括用于对指示设备的运动轨道进行检测的运动检测装置。不管该设备是否用于识别对象，它也可用于对其与通过用户的特定移动相对应的设备控制数据进行发送。指示设备这种应用中的期望设备例如可以是固定的或者由按钮来表示。
有利的是如权利要求14所述的指示设备包括一特征投影仪，该投影仪用于朝所指向区域的方向来对特征模式进行光学投影。有利的是用户可得到他所指向的设备或者设备一部分的反馈。否则，如果他未正确的对准，那么他例如实际上按下该设备的错误按钮。反馈的一个形式就是指示设备显示上的很小图像，该图像示出了照相机所成像区域的中心。所希望的位于显示中间的一个是设备或者设备上的按钮。反馈的另一形式包括诸如白十字或者激光点这样的其使所想要的设备部分发亮的特征模式的投影。诸如行的二维网格这样的更复杂的模式有助于DSP对所成像设备的几何图形进行标识。
有利的是如权利要求15所述指示设备包括一可编程用户接口代码发生器以及用于将该代码传送到电子设备的无线电发射机。代替用于将设备控制数据发送到该设备的DSP，例如借助于其基于蓝牙的无线本地网络，指示设备本身例如借助于红外线辐射可直接发送适当远程控制命令。与典型的通用远程控制相比的优点在于DSP可自动的根据照相机图像来对该设备进行标识并且产生正确的代码。
有利的是具有如权利要求16所述的反馈装置以用于对用户接口信息的反馈。例如显示是很有用的。另一反馈例如借助于移动的物质可提供某类力反馈。这例如可以模拟相对于TV屏幕的倾翻。
第三目的是可实现的，因为包括这样的接口装置，该接口装置根据送至该设备的指示设备的“标识支持命令”请求而可使设备将与支持命令有关的信息发送到如权利要求1所述的指示设备上。DSP或者部分DSP功能也可包含在该设备之内。该设备还传送对象表征特性等等。
附图说明
参考下面的描述以及附图而显而易见的得知并阐明了本发明，所述附图示意性的给出了根据发明的用户交互系统以及指示设备的部件示例。在这些附图中：
图1示意性的给出了根据本发明的用户交互系统所在的房间；
图2示意性的给出了根据本发明的数字信号处理器；
图3示意性的给出了根据本发明的指示设备；以及
图4给出了运动轨道以及相应标记的两个示例。
具体实施方式
在图1中示出了房间不但包括有诸如其即就是等离子显示器的电子设备110这样的其可接收用户接口信息I的各种电子设备，并且还具有用户100可与其相交互的个人录像机、或者电话、或者洗衣机。该房间还包括有借助于指示设备101可指向的其即就是电子设备的各种对象或者类似于例如窗户、音频设备这样的对象130、花瓶170、以及电子设备110这样的仅是任何物理对象。
根据本发明，该指示设备101包括照相机102，并且可将房间区域的图像或者那些区域中的对象发送到数字信号处理器(DSP)120，该数字信号处理器120可根据照相机102所成像的一个或多个图像来标识该区域或者对象。照相机按照下述方式而与指示设备101相连，该方式即就是照相机可很好使所指向的区域成像。例如它典型的位于指示设备101的远端，但是也可以一角度而装配在外侧上。用户100具有可指向他所希望的任何对象这样的自由度，并且按照这种方式可实现非常友好且强大的用户交互系统。
DSP 120例如可以是本地网络中的家用计算机控制设备，或者可以是并入在指示设备101之中。照相机102可以是CCD照相机或者CMOS照相机。如果照相机102与DSP 120是独立的，那么其之间的连接可以是无线的。指示设备101已经可执行DSP 120所执行的用于对对象进行标识的部分算法，以便例如仅需将一小组特性发送给外部DSP 120以用于进一步处理。事实上可以将就其功能所示的DSP 200分配在指示设备101的多个部件、房间、不同设备等等中。
将DSP 120设计成将诸如设备控制数据ac这样的用户接口信息I发送到所标识的设备。例如用户100可以使指示设备101指向灯160并且按下指示设备101上的接通按钮，这可使DSP 120将一接通命令发送到所标识的灯160。所标识的对象不必是其本身受控的设备。例如指向花瓶170可启动下述p.c.上的特定程序，显示设备100示出了所述p.c.的输出。根据诸如按下按钮或者使指示设备101移动这样的附加动作，可指向对象的一部分，例如指向对象130的音量按钮134可使该音频设备的音量增加或者减小。指向通道选择显示132并且使其横向移动这可改变通道。DSP 120还可对对象一部分的状态进行识别，例如使盒式磁带装入器136脱离打开状态，并且发布“闭合”命令。还可以对其他特定情况进行检测或者监控。用户100还可指向一件家具140或者其一部分142。如果这个家具140是一厨柜。那么指向不同厨柜可产生不同动作。如果这个家具140是智能电冰箱，那么指向它可导致用户通过互联网来订购啤酒这样的已定义动作。除了设备控制数据ac之外，可以发送诸如图像数据pd这样的其他用户接口信息I。例如第一电子着色150以及第二电子着色152可显示一可变图像。它们是利用电泳电子墨汁显示来实现的。用户100可捕获在第一电子着色上所显示的图像，或者甚至可捕获其挂在墙上的日程表上的图像，并且尽可能的在诸如透视校正这样的某些图像处理之后，将其作为图像数据pd而传送到第二电子着色152。
图2示意性的给出了数字信号处理器200-即图1中的具体设备120中的功能部件。并不是这里所描述的所有部件必须存在于用户交互系统的特定实施例中。DSP 200可以是以一般处理器、专用集成电路、或者电路板上的独立部件实现的。DSP 200例如可从运动检测装置304接收照相机输入c以及传感器输入s。DSP 200包括一对象表征单元202，该对象表征单元202用于对照相机102所成像的对象130或者对象130的一部分的图像进行表征。对象表征单元202可将第一对象表征特性f1提供给对象标识单元204。根据对象标识单元204中所包含的图像处理算法，第一对象表征特性f1可以是不同类型。典型的首先使对象与所成像图像的剩余部分相分离。这例如是根据对该图像进行边缘及曲线检测来进行的。另一可选方案是例如利用所投射的格网或者第二照相机来对所成像的区域进行3D分析。根据相关技术来对对象的一部分进行检测，并且此后对对象的剩余部分进行检验。
-其次计算第一对象表征特性f1。例如借助于曲率与角度的特性比来表征对象的外形以及其组成部分。或者可以计算宽度/高度比值。此外，典型的在首先执行透视校正之后，可以使用所分离的对象区域本身或者其转换。
此后对象标识单元204根据从对象表征单元202所接收到的第一对象表征特性f1来对该对象进行标识。例如可使用多维特性空间中的任何已知分类技术。对象标识单元204的输出是对象标识数据oi，该数据可以是单值或者其包括有与所标识对象有关的附加信息的数据结构。例如通过其包括有DSP200的指示设备的厂家可以将多个设备的表征特性以及进一步数据先验的存储在对象特征存储器230中，或者如果DSP200是计算机，那么从互联网对其进行预加载。代替对对象进行标识，DSP还可对房间的一区域进行标识。例如使指示设备101指向天花板可发布命令“开灯”，然而指向地板这可关灯。或者指向一个转角这可调用相关命令。根据所存在的对象，例如根据左侧是一植物并且右边是一橱柜来对该转角进行标识。
然而如果用户自己可对诸如花瓶170这样的新对象进行训练，那么该用户交互系统更加有用。因此可以包括一对象相关单元212，该对象相关单元可向对象标识单元204提供对象相关数据oad。与第一对象表征特性f1相类似，根据对象模板，对象相关数据oad可包括对象的表征特性fa。通过应用训练阶段可获得对象模板。照相机102可在诸如不同角度、灯光等等这样的多个条件下使新对象成像。对象表征单元202产生了所有图像的第二对象表征特性f2。对象关联单元212中的对象训练单元221产生了其与存储在对象存储器220中的对象相对应的一对象模板。该模板例如可以是所有图像的第二对象表征特性f2的群集，或者平均特性、或者根据可变第二对象表征特性f2所计算的某些恒定特性。此外对象训练单元221根据从外部所进入的其作为对象数据od的表征特性可获得对象模板。该对象数据可来自于下述设备，该设备可输入例如厂商从不同角度所拍摄的其图像。对象数据od以及对象关联数据oad还可包括对象相关数据id，也就是说包括与例如支持命令相类似的与一设备有关的各类信息。
为了便于对象识别，与例如设备110相类似的某些对象可显示特征模式116，例如它们利用不同开/关间隔来使红十字闪动预定时间以响应指示设备的“对象标识”请求。设备110还可包括一接口单元190，该接口单元190可使其在根据本发明的用户交互系统中更有用。例如与互联网收音机相类似的设备具有“服务发现”功能，该功能可将其所支持的命令发送到指示设备101。其甚至可以传送与这些命令相对应的红外远程控制序列等等。这便于用户100对DSP 120，200进行训练。例如为响应该传送，该命令表现为指示设备101显示316上的预定图标的一菜单。还可以单独的实现接口单元190。例如洗衣机不具有复杂的远程控制功能。可提供插头盒，该插头盒可按照例如启动它这样的简单方式而利用该设备接收来自DSP 200以及接口的标准命令。
DSP 200同时可包括用于对用户100利用指示设备101所做出的姿势进行分析。为此，使用指示设备101的图4中的运动轨道400，该运动轨道400是根据来自照相机102的图像所计算的。图4a给出了三维坐标系统404中的向上运动轨道400。通过向上运动轨道的数学表达式这样的标记402来对其进行总结。例如在用户100可保留“容量增加”命令的情况下，例如借助于其具有命令标识数据ci的命令表格来链接该标记402。圆形运动轨道410以及圆形标记412是指一个用户“倒带(rewind)”，反之另一用户对DSP 200进行训练以使该圆形标记412与“接通设备”命令相关。用户例如可使他的指示设备101大致的面向灯160并且进行“接通设备”运动，DSP 200根据该运动可接通灯160。或者用户100还可以在空中某处进行“接通设备”运动并且此后指向灯160、或者电视、或者他想要接通的任何对象。可按照任何方式来使该标记402，412参数化并通过任何巳知曲线拟合技术而使其相匹配。例如将标记402编码成具有指定长度及节间角度的多个连接线段。
运动轨道估计单元206根据运动检测装置304或者来自照相机102的连续图像来计算运动轨道400。例如可将其基于运动估算技术的光流或者光块应用到两个连续的图像上以获得运动轨道400的一部份401。运动矢量场的扩散用于对朝向接通物体的运动进行估计，即对典型的沿着指示设备101轴的运动进行估计。根据运动轨道400，标记产生单元209输出第一运动表征标记s1。标记标识单元208对第一运动表征标记s1进行标识并且将其与下述命令标识数据ci相链接，所述命令标识数据即就是用户100所企图的用户交互命令的数值表示。将第一运动表征标记与标记特征存储器232中所存储的不同标记的标记特征进行比较。例如如果仅大致圆形或者甚至任何返回运动，那么与线性标记模板相比，所存储的圆形标记模板产生了更好的匹配。在相似性计算中可应用几何及结构曲线对比技术。
正如具有其可学习以对新对象进行标识的DSP 200这样的优点一样，有利的是DSP 200可对用户100所优选的新移动进行标识。因此可以包括用于将标记关联数据SAD提供给标记标识单元208的标记关联单元214。标记关联数据SAD可以包括诸如圆形标记412和/或命令相关数据cid的数学表达式这样的关联标记特性sa，所述圆形标记412和/或命令相关数据cid例如是从用于将其支持命令作为命令数据cd而发送到DSP 200的设备所接收到的。根据来自于运动轨道估计单元206或者命令数据cd的第一运动表征标记s2可从标记训练单元223中获得标记存储器222中的标记模板。
因为用户的环境是非常易变的，例如灯光在白天变化，因此对对象130或者命令的标识，即标记402有时是错误的。因此DSP 200可包括标识改进单元210。所想要的命令例如取决于所指向的对象130，或者可以取决于预先所发出的命令等等。如果对象不存在于指示设备所在的房间中，那么将会不正确的标识对象。因此存在诸如闪烁LEDs这样的房间识别装置185。当用户进入房间时，他可利用指示设备101来扫视房间识别装置185。除了照相机102之外，指示设备101中还包含有光电二极管以对房间识别装置185进行检测。还存在房间定位信标180，181，182，以便DSP 200可识别出指示设备指向了房间的哪一部分。在照相机102对信标进行识别的情况下，该信标是其可光发射，但是它们例如还可以发射出电磁辐射。存在于房间之中的对象还可有助于对一对象的识别。例如如果花瓶170紧接于对象130，那么其识别有助于对对象130的识别。甚至使用对指示设备的过去轨道的分析。如果指示设备预先指向对象130并且其已移动到右边，那么应该指向设备110。考虑到所有信息，标识改进单元210例如可计算贝叶斯概率或者使用模糊逻辑以取得对象130进一步的某些标识以及所想要命令。
DSP 200所输出的用户交互信息I典型的包括控制设备数据ac，该控制设备数据例如是其包括有对象表示数据oi以及命令标识数据ci或者基于其的新标识符的一结构以对特定设备110的想要命令进行标识。用户交互信息I还可包括图像数据pd。
图3示意性的给出了根据本发明的指示设备300-图1中的实施例。并不是需要呈现出这里所示出的所有特性：简单指示设备可仅包括照相机302以及例如用于反馈的显示316。可以呈现出例如按钮308这样的多个按钮。这可仅发出用于按下按钮的某些命令。此外指示设备300的类似移动可用于两个不同命令，一次是要同时按下按钮308并且另一次无需同时按下按钮308。可存在例如用于将激光光点投向所指向位置的特征投影器320。指示设备的照相机可将图像发送到外部DSP 120，但是其本身也可包括DSP 200。按照这种方法，还可在户外使用该指示设备。用户100所未携带的指示设备103还可用于对设备110或者房间进行监控。除了借助于照相机来检测运动之外，还可包括诸如回旋器或者差转GPS定位系统这样的其他运动检测装置304。还存在可编程代码发生器309以及用于将一命令直接发送到设备110的无线发送器310。存在用于向用户提供附加信息的反馈装置。可包括例如灯312、发声设备314、力反馈装置306、以及尤其是显示器316。力反馈装置可包括很小的可移动物质，该物质可模拟设备的振动或者触摸。该显示器可显示例如所指向区域的中心，以尽可能将所产生的图解十字叠加在所成像图像的中心。还可将其显示在电视上。类似的灯160用于提供反馈以代替灯312。显示器316上的反馈示出了例如运动轨道400以及其与运动轨道训练阶段过程中的先前运动轨道的类似程度，这有助于用户100学习DSP 200以识别稳定的姿势。显示器316还可通过在对例如其包括有所检测边缘的图像进行多个图像处理步骤之后显示一图像并且包括其对所标识设备进行命名的文本来表示DSP 200所了解的。
还可存在诸如指纹传感器或者用于口令或个人智能卡的输入这样的用户标识装置330。按照这种方法，DSP 200可将其本身设置为用户100所特有的操作模式。用户甚至可以根据他所处的房间而给出不同命令。还可存在语音识别装置340以添加通过指示设备300的移动所给出的命令。通过使指示设备101作为某种到现实世界的接口设备而用于来玩游戏。
以下实施例给出了本发明所包含的技术的举例性的组合：
1.用户交互系统，包括：
一电子设备；
一便携式指示设备，该便携式指示设备是用户可操作的以指向空间中的一区域；
一照相机，该照相机用于拍照；以及
一数字信号处理器，该数字信号处理器可接收图像并对其进行处理，并且可将来源于该图像的用户接口信息传送到电子设备，
其特征在于，
照相机与指示设备相连以便在操作过程中它使所指向的区域成像。
2.如上述第1项中所述的用户交互系统，其中用户接口信息包括用于对电子设备的操作进行控制的设备控制数据。
3.如上述第1项中所述的用户交互系统，其中数字信号处理器包括一对象表征装置，该对象表征装置通过将第一对象表征特性提供给所包含的用于对该对象进行标识的对象标识装置来对存在于照相机所成像区域的图像之中的对象或者对象的一部分进行表征，所述对象标识装置可输出根据其可构造出用户接口信息的对象标识数据。
4.如上述第1项中所述的用户交互系统，其中数字信号处理器包括：
运动轨道估计装置，用于估计指示设备的运动轨道并且输出第一运动表征标记，该标记是运动轨道的数学抽象；以及
标记标识装置，用于对第一运动表征标记进行标识并且输出与第一运动表征标记相对应的其表示用户交互命令的命令标识数据，用户接口信息是根据所述命令标识数据构造而成的。
5.如上述第3和4项中所述的用户交互系统，其中数字信号处理器包括标识改进装置，该装置可进一步提高根据预定规则来对其被表示为对象标识数据的对象以及其被表示为命令标识数据的用户交互命令进行更可靠标识的概率，这可产生更可靠的用户接口信息。
6.如上述第5项中所述的用户交互系统，其中预定规则包括考虑到下述先验巳知信息单元{指示设备所驻房间，用户所发布的先前命令，用户发布特定命令的统计频率以及日时}的至少一个的成对{对象标识数据，命令标识数据}的似然性的概率计算。
7.如上述第3项中所述的用户交互系统，其中数字信号处理器包括对象关联装置，该装置为对象标识装置提供了其包括有至少一个数据实体的相关数据，所述数据实体是：关联对象表征特性以及对象相关数据，
对象关联数据是从对象存储器中的其得自于至少一个方法的对象模板数据而得来的；
对象模板数据是从下述对象训练装置中获得的，所述对象训练装置对对象表征装置所输出的第二对象表征特性执行预定计算；并且
对象模板数据是从所输入的对象数据而来的。
8.如上述第4项中所述的用户交互系统，其中数字信号处理器包括用于将其包括有至少一个数据实体的标记关联数据提供给标记标识装置的标记关联装置，所述数据实体是：关联标记特性以及命令相关数据，
标记关联数据是从标记存储器中的其得自于至少一个方法的标记模板数据而得来的；
标记模板数据是从下述标记训练装置中获得的，所述标记训练装置对运动轨道估计装置所输出的第二运动表征标记执行预定计算；并且
命令模板数据是从所输入的命令数据而来的。
9.如上述第4项中所述的用户交互系统，其中第一运动表征标记是根据照相机在各个时间情况所成像的连续图像而得到的。
10.供上述第1项中所述的用户交互系统之用的指示设备，其特征在于该指示设备包括一照相机并且可将一图像发送到数字信号处理器。
11.如上述第10项中所述的指示设备，其中该指示设备可将一图像发送到数字信号处理器，该数字信号处理器可根据该图像而将用户接口信息发送到电子设备。
12.如上述第10项中所述的指示设备，其中数字信号处理器包含在指示设备之中。
13.如上述第10项中所述的指示设备，包括用于对指示设备的运动轨道进行检测的运动检测装置。
14.如上述第10项中所述的指示设备，包括一特征投影仪，该投影仪用于朝着所指向区域的方向光学投影特征模式。
15.如上述第10项中所述的指示设备，其中包括一可编程用户接口代码发生器以及用于将该代码传送到电子设备的无线电发射器。
16.如上述第10项中所述的指示设备，其中包括反馈装置以用于对用户接口信息的反馈。
17.供上述第1项中所述的用户交互系统之用的电子设备，其特征在于包括这样的接口装置，该接口装置根据送至该电子设备的指示设备的“标识支持命令”请求而可使设备将与支持命令有关的信息发送到如权利要求1所述的指示设备上。

Claims (17)

1.一种用户交互系统，包括：
一个电子设备(110)；
一个便携式指示设备(101)，该指示设备是用户可操作的以指向空间中的一个区域；
一个照相机(102)，与所述指示设备(101)相连，以在操作时使所指向的区域成像而进行拍照；
一个运动检测装置，用于对所述指示设备的运动进行估计；以及
一个数字信号处理器(120)，该处理器可接收和处理图像数据，并且可将根据该图像数据获得的用户接口信息(I)传送到所述电子设备(110)。
2.如权利要求1所述的用户交互系统，还包括用于根据所述运动检测装置的输出来估计运动轨道(400)的装置。
3.如权利要求1所述的用户交互系统，其中指示设备的运动是根据在各个瞬时由照相机(102)成像的连续图像来估计的。
4.如权利要求1所述的用户交互系统，其中运动检测装置是从海量变形检测器、回转器和差转GPS构成的组中选择的。
5.如权利要求1所述的用户交互系统，其中传送的用户接口信息(I)包括选自由指示设备(101)的运动速度、运动方向和加速度构成的组中的至少一个特性。
6.如权利要求2所述的用户交互系统，其中传送的用户接口信息(I)包括选自由指示设备(101)的运动轨道(400)和从该指示设备(101)的运动轨道(400)获得的表征标记构成的组中的至少一个。
7.如权利要求1所述的用户交互系统，还包括房间定位信标(180，181，182)，用于发射电磁辐射，其中数字信号处理器(120)设置成识别指示设备(101)正在指示房间的哪一部分。
8.如权利要求1所述的用户交互系统，其中指示设备(101)还包括反馈装置，用于向用户提供附加信息。
9.如权利要求8所述的用户交互系统，其中所述反馈装置是从灯(312)、发声设备(314)、显示器(316)和力反馈装置(306)构成的组中选择的。
10.供权利要求1所述用户交互系统用的指示设备(300)，其特征在于，该设备包括一个照相机(102)并且可发送一个图像给数字信号处理器(120)。
11.如权利要求10所述的指示设备(300)，其中该指示设备(300)可发送一个图像给数字信号处理器(200)，该处理器可根据该图像发送用户接口信息(I)给一个电子设备(110)。
12.如权利要求10所述的指示设备(300)，其中数字信号处理器(120)包含在该指示设备(300)中。
13.如权利要求10所述的指示设备(300)，该指示设备包括运动检测装置(304)，用于检测指示设备(300)的运动轨道(400)。
14。如权利要求10所述的指示设备(300)，该指示设备包括一个特征投影器(320)，用于向所指向的区域光学投射一个特征图案。
15.如权利要求10所述的指示设备(300)，该指示设备包括一个可编程用户接口代码发生器(309)，以及一个无线发送器(310)，用于将所述代码传送给电子设备(110)。
16.如权利要求10所述的指示设备(300)，该指示设备包括反馈装置(306，312，314，316)，用于反馈用户接口信息。
17.供权利要求1所述用户交互系统用的电子设备(110)，其特征在于，其中包括接口装置(190)，该接口装置允许电子设备(110)根据指示设备(101)给电子设备(110)的一个“标识支持命令”的呼叫，发送关于支持命令的信息给如权利要求1所述的指示设备(101)。
CNA2007101278512A 2002-11-20 2003-10-28 基于指示设备的用户接口系统 Pending CN101101512A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP02079816.1 2002-11-20
EP02079816 2002-11-20

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CNB2003801036299A Division CN100334531C (zh) 2002-11-20 2003-10-28 基于指示设备的用户接口系统

Publications (1)

Publication Number Publication Date
CN101101512A true CN101101512A (zh) 2008-01-09

Family

ID=32319629

Family Applications (4)

Application Number Title Priority Date Filing Date
CN200710137941XA Expired - Lifetime CN101158886B (zh) 2002-11-20 2003-10-28 基于指示设备的用户接口系统
CNB2003801036299A Expired - Fee Related CN100334531C (zh) 2002-11-20 2003-10-28 基于指示设备的用户接口系统
CN2007101278527A Expired - Lifetime CN101101520B (zh) 2002-11-20 2003-10-28 基于指示设备的用户接口系统
CNA2007101278512A Pending CN101101512A (zh) 2002-11-20 2003-10-28 基于指示设备的用户接口系统

Family Applications Before (3)

Application Number Title Priority Date Filing Date
CN200710137941XA Expired - Lifetime CN101158886B (zh) 2002-11-20 2003-10-28 基于指示设备的用户接口系统
CNB2003801036299A Expired - Fee Related CN100334531C (zh) 2002-11-20 2003-10-28 基于指示设备的用户接口系统
CN2007101278527A Expired - Lifetime CN101101520B (zh) 2002-11-20 2003-10-28 基于指示设备的用户接口系统

Country Status (11)

Country Link
US (4) US7940986B2 (zh)
EP (3) EP2093650B1 (zh)
JP (4) JP4243248B2 (zh)
KR (1) KR20050075031A (zh)
CN (4) CN101158886B (zh)
AT (1) ATE537528T1 (zh)
AU (1) AU2003274496A1 (zh)
DK (1) DK1573498T3 (zh)
ES (2) ES2378665T3 (zh)
PT (2) PT2093650E (zh)
WO (1) WO2004047011A2 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101901496A (zh) * 2010-07-09 2010-12-01 北京水晶石数字科技有限公司 一种大型活动演练方法和系统
CN101908220A (zh) * 2010-07-09 2010-12-08 北京水晶石数字科技有限公司 一种大型活动演练方法和系统
CN102171628A (zh) * 2008-06-27 2011-08-31 莫韦公司 通过数据融合解决的运动检测的指示器
CN103135791A (zh) * 2011-12-02 2013-06-05 捷达世软件（深圳）有限公司 电子装置控制系统及方法
CN103853364A (zh) * 2012-11-29 2014-06-11 联想(北京)有限公司 一种触觉反馈方法、电子设备及触觉反馈系统
CN103999020A (zh) * 2011-12-05 2014-08-20 阿尔卡特朗讯 用于姿势控制的方法，姿势服务器设备与传感器输入设备
CN107077206A (zh) * 2014-09-30 2017-08-18 皇家飞利浦有限公司 基于指向设备的用户接口系统

Families Citing this family (113)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE400394T1 (de) * 2003-08-29 2008-07-15 Trumpf Laser & Systemtechnik Vorrichtung zum remote-bearbeiten von werkstücken mittels eines laserbearbeitungsstrahls
MXPA06006736A (es) * 2003-12-18 2006-08-31 Koninkl Philips Electronics Nv Metodo y sistema para el control de un dispositivo.
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
WO2005119356A2 (en) 2004-05-28 2005-12-15 Erik Jan Banning Interactive direct-pointing system and calibration method
WO2006013479A2 (en) * 2004-07-28 2006-02-09 Philips Intellectual Property & Standards Gmbh Method for control of a device
JP5214968B2 (ja) * 2004-08-24 2013-06-19 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オブジェクト発見方法及びシステム、装置制御方法及びシステム及びインターフェース、ポインティング装置
US20060072009A1 (en) * 2004-10-01 2006-04-06 International Business Machines Corporation Flexible interaction-based computer interfacing using visible artifacts
US8456534B2 (en) 2004-10-25 2013-06-04 I-Interactive Llc Multi-directional remote control system and method
US8842186B2 (en) 2004-10-25 2014-09-23 I-Interactive Llc Control system and method employing identification of a displayed image
US8760522B2 (en) 2005-10-21 2014-06-24 I-Interactive Llc Multi-directional remote control system and method
US7864159B2 (en) 2005-01-12 2011-01-04 Thinkoptics, Inc. Handheld vision based absolute pointing system
CN101111874A (zh) * 2005-01-28 2008-01-23 皇家飞利浦电子股份有限公司 用于控制设备的方法
EP1891501B1 (en) * 2005-05-31 2018-08-29 Koninklijke Philips N.V. Method for control of a device
CN101213550B (zh) 2005-06-30 2011-09-28 诺基亚公司 允许对呈现和信息系统的信息表面的目标位置进行操作的照相机控制装置
JP5091857B2 (ja) * 2005-06-30 2012-12-05 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ システム制御方法
EP1742144B1 (en) * 2005-07-04 2018-10-24 Electrolux Home Products Corporation N.V. Household appliance with virtual data interface
JP2007011963A (ja) * 2005-07-04 2007-01-18 Fuji Xerox Co Ltd 端末装置による情報処理方法およびシステム
WO2007007227A2 (en) 2005-07-11 2007-01-18 Philips Intellectual Property & Standards Gmbh Method of controlling a control point position on a command area and method for control of a device
US9285897B2 (en) 2005-07-13 2016-03-15 Ultimate Pointer, L.L.C. Easily deployable interactive direct-pointing system and calibration method therefor
EP1744290B1 (en) * 2005-07-15 2018-05-30 Samsung Electronics Co., Ltd. Integrated remote controller and method of selecting device controlled thereby
WO2007017782A2 (en) * 2005-08-11 2007-02-15 Koninklijke Philips Electronics N.V. Method of determining the motion of a pointing device
WO2007020549A2 (en) * 2005-08-12 2007-02-22 Koninklijke Philips Electronics N.V. Method of calibrating a control system for controlling a device
US7809214B2 (en) * 2005-08-22 2010-10-05 Samsung Electronics Co., Ltd. Device and a method for identifying movement patterns
US7942745B2 (en) † 2005-08-22 2011-05-17 Nintendo Co., Ltd. Game operating device
US7697827B2 (en) 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
US7513700B2 (en) 2005-12-13 2009-04-07 Sony Ericsson Mobile Communications Ab Image element identifier
KR100800998B1 (ko) * 2005-12-24 2008-02-11 삼성전자주식회사 홈 네트워크 기기 제어 장치 및 방법
DE102006015045A1 (de) * 2006-03-31 2007-10-04 Siemens Ag Fernbedienung, Gebäudesteuerungssystem und Verfahren zur Gebäudesteuerung
US8013838B2 (en) * 2006-06-30 2011-09-06 Microsoft Corporation Generating position information using a video camera
US8913003B2 (en) 2006-07-17 2014-12-16 Thinkoptics, Inc. Free-space multi-dimensional absolute pointer using a projection marker system
US7835544B2 (en) * 2006-08-31 2010-11-16 Avago Technologies General Ip (Singapore) Pte. Ltd. Method and system for far field image absolute navigation sensing
US20080156989A1 (en) * 2006-12-28 2008-07-03 O2Micro Inc. Motion sensing/recognition by camera applications
AU2012216491B2 (en) * 2007-02-27 2014-01-09 Accenture Global Services Limited Video call device control
EP1968320B1 (en) 2007-02-27 2018-07-18 Accenture Global Services Limited Video call device control
JP4767200B2 (ja) * 2007-03-08 2011-09-07 任天堂株式会社 情報選択装置および情報選択プログラム
US9176598B2 (en) 2007-05-08 2015-11-03 Thinkoptics, Inc. Free-space multi-dimensional absolute pointer with improved performance
DE112007003594A5 (de) * 2007-05-10 2010-04-22 Siemens Aktiengesellschaft Bedienung von Automatisierungsgeräten durch ein mobiles Endgerät
US8237656B2 (en) * 2007-07-06 2012-08-07 Microsoft Corporation Multi-axis motion-based remote control
JP5008484B2 (ja) * 2007-07-11 2012-08-22 株式会社日立国際電気 映像処理方法
US7529542B1 (en) 2008-04-21 2009-05-05 International Business Machines Corporation Method of establishing communication between two or more real world entities and apparatuses performing the same
US7991896B2 (en) 2008-04-21 2011-08-02 Microsoft Corporation Gesturing to select and configure device communication
KR100908099B1 (ko) * 2008-06-03 2009-07-16 엘지전자 주식회사 Ｄｔｖ, 3ｄ포인팅 디바이스 및 ｄｔｖ의 기능 실행 방법
KR100931403B1 (ko) * 2008-06-25 2009-12-11 한국과학기술연구원 손 동작에 의한 네트워크 상의 기기 및 정보 제어 시스템
US8223121B2 (en) 2008-10-20 2012-07-17 Sensor Platforms, Inc. Host system and method for determining an attitude of a device undergoing dynamic acceleration
KR101499133B1 (ko) * 2008-10-28 2015-03-11 삼성전자주식회사 휴대 단말기의 메뉴수행 장치 및 방법
US8587519B2 (en) 2009-01-07 2013-11-19 Sensor Platforms, Inc. Rolling gesture detection using a multi-dimensional pointing device
US8515707B2 (en) 2009-01-07 2013-08-20 Sensor Platforms, Inc. System and method for determining an attitude of a device undergoing dynamic acceleration using a Kalman filter
FR2942060B1 (fr) * 2009-02-11 2016-02-12 Oberthur Technologies Entite electronique apte a communiquer avec un lecteur et procede mis en oeuvre au sein d'une telle entite electronique
US9014685B2 (en) * 2009-06-12 2015-04-21 Microsoft Technology Licensing, Llc Mobile device which automatically determines operating mode
CN101937289B (zh) * 2009-06-30 2013-06-05 鸿富锦精密工业（深圳）有限公司 光学触控装置
WO2011019154A2 (en) * 2009-08-14 2011-02-17 Lg Electronics Inc. Remote control device and remote control method using the same
US8312392B2 (en) * 2009-10-02 2012-11-13 Qualcomm Incorporated User interface gestures and methods for providing file sharing functionality
CN102741779B (zh) * 2009-10-08 2016-08-03 萨姆万斯集团知识产权控股私人有限公司Acn131335325 共享数据的方法、系统和控制器
US9174123B2 (en) * 2009-11-09 2015-11-03 Invensense, Inc. Handheld computer systems and techniques for character and command recognition related to human movements
US8432264B1 (en) * 2010-07-23 2013-04-30 Tivo Inc. Motion-activated remote control backlight
US8613666B2 (en) * 2010-08-31 2013-12-24 Microsoft Corporation User selection and navigation based on looped motions
WO2012030153A2 (ko) * 2010-09-02 2012-03-08 주식회사 엘앤와이비젼 비접촉식 입력장치
US8760432B2 (en) 2010-09-21 2014-06-24 Visteon Global Technologies, Inc. Finger pointing, gesture based human-machine interface for vehicles
US20150153715A1 (en) * 2010-09-29 2015-06-04 Google Inc. Rapidly programmable locations in space
US9477302B2 (en) 2012-08-10 2016-10-25 Google Inc. System and method for programing devices within world space volumes
US8957909B2 (en) 2010-10-07 2015-02-17 Sensor Platforms, Inc. System and method for compensating for drift in a display of a user interface state
US9952671B2 (en) * 2010-10-12 2018-04-24 Nokia Technologies Oy Method and apparatus for determining motion
US8861797B2 (en) 2010-11-12 2014-10-14 At&T Intellectual Property I, L.P. Calibrating vision systems
JP5692904B2 (ja) * 2010-11-17 2015-04-01 任天堂株式会社 入力システム、情報処理装置、情報処理プログラム、および指示位置算出方法
US20120169482A1 (en) * 2011-01-05 2012-07-05 Ian Chen System and Method for Selecting a Device for Remote Control Based on Determined Navigational State of a Remote Control Device
WO2012114240A1 (en) * 2011-02-21 2012-08-30 Koninklijke Philips Electronics N.V. Estimating control feature from remote control with camera
US9179182B2 (en) 2011-04-12 2015-11-03 Kenneth J. Huebner Interactive multi-display control systems
DE102011101387A1 (de) * 2011-05-12 2012-11-15 Abb Ag Tragbares Anzeige- und Bediengerät
WO2013017991A1 (en) 2011-08-02 2013-02-07 Koninklijke Philips Electronics N.V. Remote control with first and second sensors
KR101733115B1 (ko) * 2011-11-08 2017-05-10 한국전자통신연구원 원격 스크린내 콘텐츠 원격 제어 방법 및 장치
CN103135447A (zh) * 2011-11-24 2013-06-05 亚旭电子科技(江苏)有限公司 遥控器转接装置
KR101874853B1 (ko) * 2011-12-29 2018-07-05 주식회사 알티캐스트 모바일 장치와 디스플레이 장치 간의 동기화 방법 및 장치, 모바일 장치, 디스플레이 장치
US9459276B2 (en) 2012-01-06 2016-10-04 Sensor Platforms, Inc. System and method for device self-calibration
WO2013104006A2 (en) 2012-01-08 2013-07-11 Sensor Platforms, Inc. System and method for calibrating sensors for different operating environments
DE102012203458A1 (de) * 2012-03-05 2013-09-05 E.G.O. Elektro-Gerätebau GmbH Abgesetzte Bedieneinheit für ein Haushaltsgerät
US9228842B2 (en) 2012-03-25 2016-01-05 Sensor Platforms, Inc. System and method for determining a uniform external magnetic field
JP5858850B2 (ja) * 2012-04-02 2016-02-10 三菱電機株式会社 空気調和機の室内機
US9619036B2 (en) * 2012-05-11 2017-04-11 Comcast Cable Communications, Llc System and methods for controlling a user experience
CN103513753B (zh) * 2012-06-18 2017-06-27 联想(北京)有限公司 信息处理方法和电子设备
DE102012210784B4 (de) * 2012-06-25 2015-11-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Transponder für Hausautomatisierungssysteme
TWI526041B (zh) * 2012-07-17 2016-03-11 廣達電腦股份有限公司 互動系統及互動方法
FR3000241A1 (fr) * 2012-12-21 2014-06-27 France Telecom Procede de gestion d’un systeme d’information geographique adapte pour etre utilise avec au moins un dispositif de pointage, avec creation d’objets numeriques purement virtuels.
FR3000242A1 (fr) 2012-12-21 2014-06-27 France Telecom Procede de gestion d’un systeme d’information geographique adapte pour etre utilise avec au moins un dispositif de pointage, avec creation d’associations entre objets numeriques.
SG11201504814VA (en) 2013-01-03 2015-07-30 Saurav Suman A method and system enabling control of different digital devices using gesture or motion control
KR20140099111A (ko) * 2013-02-01 2014-08-11 삼성전자주식회사 카메라 장치의 동작을 제어하는 방법 및 상기 카메라 장치
US9393695B2 (en) * 2013-02-27 2016-07-19 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with person and object discrimination
US9804576B2 (en) 2013-02-27 2017-10-31 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with position and derivative decision reference
US9498885B2 (en) 2013-02-27 2016-11-22 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with confidence-based decision support
US9798302B2 (en) 2013-02-27 2017-10-24 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with redundant system input support
US10198080B1 (en) * 2013-03-11 2019-02-05 Amazon Technologies, Inc. Virtual user interface
TWI505175B (zh) * 2013-04-29 2015-10-21 Hon Hai Prec Ind Co Ltd 具有三維用戶介面的遠端控制裝置及其介面生成方法
CN103605701A (zh) 2013-11-07 2014-02-26 北京智谷睿拓技术服务有限公司 通信对象的确定方法及确定装置
CN103607538A (zh) 2013-11-07 2014-02-26 北京智谷睿拓技术服务有限公司 拍摄方法及拍摄装置
US20150139483A1 (en) * 2013-11-15 2015-05-21 David Shen Interactive Controls For Operating Devices and Systems
ES2542089B1 (es) * 2014-01-30 2016-05-04 Universidad De Extremadura Sistema de control remoto de dispositivos con láser
DE102014002431A1 (de) * 2014-02-19 2015-08-20 Franzkann* Herbold Und Herrmann Gbr (Vertrber. Ges.: Herbold, Christian, 76131 Karlsruhe) Verfahren und Vorrichtung zur Bedienung mehrerer elektronischer Geräte
US9807725B1 (en) 2014-04-10 2017-10-31 Knowles Electronics, Llc Determining a spatial relationship between different user contexts
CN106716511B (zh) * 2014-09-29 2020-04-14 皇家飞利浦有限公司 遥控设备、用户设备及其系统，以及方法和识别信号
WO2016123560A1 (en) 2015-01-30 2016-08-04 Knowles Electronics, Llc Contextual switching of microphones
US9983693B2 (en) 2015-03-13 2018-05-29 Adtile Technologies Inc. Spatial motion-based user interactivity
CN105141913A (zh) * 2015-08-18 2015-12-09 华为技术有限公司 可视化远程控制可触控设备的方法、系统和相关设备
US10427038B2 (en) 2016-01-21 2019-10-01 Toccata Gaming International, Llc Game console incorporating beam-splitter display and real world objects
US11577159B2 (en) 2016-05-26 2023-02-14 Electronic Scripting Products Inc. Realistic virtual/augmented/mixed reality viewing and interactions
DE102017100017A1 (de) * 2016-09-09 2018-03-15 Huf Secure Mobile GmbH Verfahren zum Auslösen einer Funktion und Handgerät
WO2018091681A1 (en) 2016-11-21 2018-05-24 Koninklijke Philips N.V. Remote-control device and user device using an identification signal
KR20180098079A (ko) * 2017-02-24 2018-09-03 삼성전자주식회사 비전 기반의 사물 인식 장치 및 그 제어 방법
US11163434B2 (en) * 2019-01-24 2021-11-02 Ademco Inc. Systems and methods for using augmenting reality to control a connected home system
US11709099B2 (en) 2019-07-01 2023-07-25 Snap-On Incorporated Method and system for calibrating imaging system
US11555743B2 (en) * 2019-07-01 2023-01-17 Snap-On Incorporated Method and system for calibrating imaging system
US10965914B2 (en) 2019-07-08 2021-03-30 Andrae T. D'Acquisto Trail camera
US11445107B2 (en) * 2019-08-08 2022-09-13 Qorvo Us, Inc. Supervised setup for control device with imager
KR20220140221A (ko) * 2021-04-09 2022-10-18 삼성전자주식회사 복수의 카메라를 포함하는 웨어러블 전자 장치
US20220405317A1 (en) * 2021-06-18 2022-12-22 Google Llc Remote Control Device with Environment Mapping

Family Cites Families (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4576481A (en) 1982-12-13 1986-03-18 Position Orientation Systems, Ltd. Passive optical position measurement system
US5045843B1 (en) 1988-12-06 1996-07-16 Selectech Ltd Optical pointing device
US4963017A (en) 1989-05-01 1990-10-16 General Electric Company Variable depth range camera
US5016107A (en) 1989-05-09 1991-05-14 Eastman Kodak Company Electronic still camera utilizing image compression and digital storage
DE4005081A1 (de) * 1990-02-17 1991-08-22 Torres Peraza Mario Waage, insbesondere selbstbedienungswaage
JP3218716B2 (ja) 1992-07-31 2001-10-15 ソニー株式会社 入力装置、及び入力システム
JP2790965B2 (ja) * 1992-08-19 1998-08-27 富士通株式会社 光学式ポインティングシステム
US5454043A (en) * 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
JPH0759170A (ja) 1993-08-19 1995-03-03 Toshiba Corp リモートコントロール装置
JP3186390B2 (ja) * 1993-12-27 2001-07-11 ソニー株式会社 電子機器制御システム、および電子機器制御装置
JP3262677B2 (ja) 1994-05-02 2002-03-04 株式会社ワコム 情報入力装置
JPH0814911A (ja) * 1994-07-04 1996-01-19 Sharp Corp 動作認識装置
JP3422383B2 (ja) 1994-09-05 2003-06-30 株式会社タイトー 射撃ゲーム装置におけるビデオ画面とガンの相対位置を検出する方法及び装置
US5926168A (en) 1994-09-30 1999-07-20 Fan; Nong-Qiang Remote pointers for interactive televisions
JPH08331667A (ja) * 1995-05-30 1996-12-13 Oki Electric Ind Co Ltd ポインティングシステム
US5682196A (en) * 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
JP3475419B2 (ja) * 1995-10-11 2003-12-08 ソニー株式会社 テレビジョン受像機
KR0164089B1 (ko) * 1995-12-20 1998-12-01 양승택 무선원격제어 장치 및 방법
DE19548776A1 (de) * 1995-12-23 1997-06-26 Thomson Brandt Gmbh Verfahren zur Fernbedienung von elektronischen Geräten und Vorrichtung zur Fernbedienung von elektronischen Geräten sowie elektronisches Gerät
US5719622A (en) 1996-02-23 1998-02-17 The Regents Of The University Of Michigan Visual control selection of remote mechanisms
JPH09230991A (ja) 1996-02-23 1997-09-05 Fuji Xerox Co Ltd 情報処理装置
JPH10198506A (ja) * 1997-01-13 1998-07-31 Osaka Gas Co Ltd 座標検出システム
JPH1186038A (ja) 1997-03-03 1999-03-30 Sega Enterp Ltd 画像処理装置、画像処理方法及び媒体並びにゲーム機
AU2211799A (en) 1998-01-06 1999-07-26 Video Mouse Group, The Human motion following computer mouse and game controller
CN1303494A (zh) 1998-04-30 2001-07-11 C技术公司 控制一个对象的控制设备和方法
JPH11338633A (ja) 1998-05-21 1999-12-10 Toshiba Fa Syst Eng Corp ポインティングデバイス、コンピュータ装置及びコンピュータシステム
US7218243B2 (en) * 1998-07-23 2007-05-15 Universal Electronics Inc. System and method for automatically setting up a universal remote control
JP4176230B2 (ja) * 1999-03-19 2008-11-05 株式会社ルネサステクノロジ 座標位置制御システム、座標位置制御方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
CN1175345C (zh) * 1999-03-31 2004-11-10 皇家菲利浦电子有限公司 用于显示装置的遥控器
JP2000300843A (ja) 1999-04-19 2000-10-31 Taito Corp ゲーム機の入力装置
JP2001008279A (ja) * 1999-06-18 2001-01-12 Sony Corp リモートコントローラおよびリモートコントロール方法、並びに媒体、機器および表示方法、並びに媒体
US6275214B1 (en) 1999-07-06 2001-08-14 Karl C. Hansen Computer presentation system and method with optical tracking of wireless pointer
EP1071285A1 (en) * 1999-07-19 2001-01-24 Texas Instruments Inc. Vertical compensation in a moving camera
US20010010514A1 (en) * 1999-09-07 2001-08-02 Yukinobu Ishino Position detector and attitude detector
US6346933B1 (en) * 1999-09-21 2002-02-12 Seiko Epson Corporation Interactive display presentation system
AU2001227797A1 (en) 2000-01-10 2001-07-24 Ic Tech, Inc. Method and system for interacting with a display
US7187412B1 (en) * 2000-01-18 2007-03-06 Hewlett-Packard Development Company, L.P. Pointing device for digital camera display
US7028269B1 (en) * 2000-01-20 2006-04-11 Koninklijke Philips Electronics N.V. Multi-modal video target acquisition and re-direction system and method
JP2001236174A (ja) * 2000-02-25 2001-08-31 Fujitsu Ltd 手書き文字入力装置及び手書き文字認識方法
EP1184982B1 (en) * 2000-08-24 2009-05-06 Sony Deutschland GmbH Remote control device
US6489986B1 (en) 2000-09-29 2002-12-03 Digeo, Inc. Remote control device for video and audio capture and communication
US7016532B2 (en) * 2000-11-06 2006-03-21 Evryx Technologies Image capture and identification system and process
US20020085097A1 (en) 2000-12-22 2002-07-04 Colmenarez Antonio J. Computer vision-based wireless pointing system
JP2002196877A (ja) 2000-12-25 2002-07-12 Hitachi Ltd イメージセンサを用いた電子機器
US7031875B2 (en) 2001-01-24 2006-04-18 Geo Vector Corporation Pointing systems for addressing objects
DE10110979A1 (de) * 2001-03-07 2002-09-26 Siemens Ag Anordnung zur Verknüpfung von optisch erkannten Mustern mit Informationen
JP2002290853A (ja) * 2001-03-22 2002-10-04 Canon Inc テレビジョン放送受信装置およびテレビジョン放送受信方法およびテレビジョン放送受信プログラム
WO2002080081A1 (en) * 2001-03-29 2002-10-10 Lasx Industries, Inc. Controller for a laser using predictive models of materials processing
US20020149617A1 (en) * 2001-03-30 2002-10-17 Becker David F. Remote collaboration technology design and methodology
JP3811025B2 (ja) 2001-07-03 2006-08-16 株式会社日立製作所 ネットワーク・システム
GB0117418D0 (en) * 2001-07-17 2001-09-12 Storm Mason R Litecam
WO2003025859A1 (fr) 2001-09-17 2003-03-27 National Institute Of Advanced Industrial Science And Technology Dispositif d'interface
GB2381686A (en) * 2001-10-31 2003-05-07 Hewlett Packard Co Apparatus for recording and reproducing pointer positions on a document.
JP3706071B2 (ja) * 2002-01-15 2005-10-12 株式会社エルモ社 撮像装置
US6982697B2 (en) * 2002-02-07 2006-01-03 Microsoft Corporation System and process for selecting objects in a ubiquitous computing environment
US6990639B2 (en) * 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
US20030156073A1 (en) * 2002-02-20 2003-08-21 Koninlijke Philips Electronics N.V. Apparatus for adjusting proximate video monitors to output substantially identical video images and corresponding methods therefor
US20040048663A1 (en) * 2002-09-10 2004-03-11 Zeroplus Technology Co., Ltd. Photographic pointer positioning device
US8068154B2 (en) * 2004-05-01 2011-11-29 Eliezer Jacob Digital camera with non-uniform image resolution

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102171628A (zh) * 2008-06-27 2011-08-31 莫韦公司 通过数据融合解决的运动检测的指示器
CN102171628B (zh) * 2008-06-27 2014-08-13 莫韦公司 通过数据融合解决的运动检测的指示器
CN101901496A (zh) * 2010-07-09 2010-12-01 北京水晶石数字科技有限公司 一种大型活动演练方法和系统
CN101908220A (zh) * 2010-07-09 2010-12-08 北京水晶石数字科技有限公司 一种大型活动演练方法和系统
CN103135791A (zh) * 2011-12-02 2013-06-05 捷达世软件（深圳）有限公司 电子装置控制系统及方法
CN103999020A (zh) * 2011-12-05 2014-08-20 阿尔卡特朗讯 用于姿势控制的方法，姿势服务器设备与传感器输入设备
CN103853364A (zh) * 2012-11-29 2014-06-11 联想(北京)有限公司 一种触觉反馈方法、电子设备及触觉反馈系统
CN107077206A (zh) * 2014-09-30 2017-08-18 皇家飞利浦有限公司 基于指向设备的用户接口系统

Also Published As

Publication number Publication date
JP5122517B2 (ja) 2013-01-16
EP1573498B1 (en) 2011-12-14
CN1714335A (zh) 2005-12-28
ES2425076T3 (es) 2013-10-11
AU2003274496A8 (en) 2004-06-15
CN101158886B (zh) 2012-05-16
US7940986B2 (en) 2011-05-10
EP2012221A2 (en) 2009-01-07
US20060050052A1 (en) 2006-03-09
US8537231B2 (en) 2013-09-17
US20090251559A1 (en) 2009-10-08
CN100334531C (zh) 2007-08-29
CN101101520A (zh) 2008-01-09
EP1573498A2 (en) 2005-09-14
JP2009245444A (ja) 2009-10-22
JP2006506728A (ja) 2006-02-23
US20110187643A1 (en) 2011-08-04
EP2012221A3 (en) 2009-05-13
US20140062879A1 (en) 2014-03-06
WO2004047011A2 (en) 2004-06-03
AU2003274496A1 (en) 2004-06-15
US8971629B2 (en) 2015-03-03
DK1573498T3 (da) 2012-03-19
US8970725B2 (en) 2015-03-03
ES2378665T3 (es) 2012-04-16
EP2093650A1 (en) 2009-08-26
EP2093650B1 (en) 2013-05-15
PT1573498E (pt) 2012-03-22
WO2004047011A3 (en) 2005-07-07
JP4243248B2 (ja) 2009-03-25
PT2093650E (pt) 2013-07-25
JP4491495B2 (ja) 2010-06-30
JP2009217829A (ja) 2009-09-24
CN101158886A (zh) 2008-04-09
CN101101520B (zh) 2012-11-14
JP2009134718A (ja) 2009-06-18
ATE537528T1 (de) 2011-12-15
KR20050075031A (ko) 2005-07-19

Similar Documents

Publication Publication Date Title
CN100334531C (zh) 基于指示设备的用户接口系统
CN110199321B (zh) 用于混合现实系统的定位确定
JP2009134718A5 (zh)
CN111417028B (zh) 信息处理方法、装置、存储介质及电子设备
EP2827605B1 (en) Remote control system, remote control method, communication device and program
US20090273560A1 (en) Sensor-based distributed tangible user interface
EP3304515A1 (en) Intuitive way to point, access and control appliances&other objects in building interiors
US20200351113A1 (en) Method and system of controlling device using real-time indoor image
US11445107B2 (en) Supervised setup for control device with imager
Hua et al. Arciot: Enabling intuitive device control in the Internet of things through Augmented Reality
EP3730899A1 (en) Method and system for the optical-inertial tracking of a mobile object
CN112051919B (zh) 一种基于位置的交互方法和交互系统
CN108353206A (zh) 遥控设备、用于驱动遥控设备的方法、图像显示设备、用于驱动图像显示设备的方法以及计算机可读记录介质
KR20230031562A (ko) 가전 장치를 어플리케이션에 등록하는 휴대 단말 및 방법과, 이를 위한 시스템 및 프로그램
TW202201269A (zh) 基於位置的交互方法、交互系統以及電腦可讀取記錄媒體
KR101471304B1 (ko) 가상 리모트 컨트롤 장치 및 그 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20080109