CN102449576A - 姿势快捷方式 - Google Patents

姿势快捷方式 Download PDF

Info

Publication number
CN102449576A
CN102449576A CN2010800246872A CN201080024687A CN102449576A CN 102449576 A CN102449576 A CN 102449576A CN 2010800246872 A CN2010800246872 A CN 2010800246872A CN 201080024687 A CN201080024687 A CN 201080024687A CN 102449576 A CN102449576 A CN 102449576A
Authority
CN
China
Prior art keywords
posture
user
shortcut
output
complete version
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800246872A
Other languages
English (en)
Other versions
CN102449576B (zh
Inventor
S·拉塔
K·盖斯那
J·克拉维
K·兹努达
K·S·佩雷
R·马尔科维奇
G·N·斯努克
A·基普曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102449576A publication Critical patent/CN102449576A/zh
Application granted granted Critical
Publication of CN102449576B publication Critical patent/CN102449576B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs

Abstract

公开了用于姿势快捷方式的系统、方法和计算机可读介质。用户的移动或身体位置被系统的捕捉设备捕捉，并用作控制系统的输入。对于系统识别的姿势，可能有姿势的完全版本和姿势的快捷方式。在系统识别出姿势的完全版本或者姿势的快捷方式已被执行时，系统向相应的应用发送该系统识别的姿势被观察到的指示。在快捷方式包括姿势的完全版本的子集、并且当用户执行姿势的完全版本时姿势的快捷方式和完全版本都被识别的情况下，系统识别出仅已发生姿势的单个执行，并向应用如此指示。

Description

姿势快捷方式
背景技术
诸如计算机游戏、多媒体应用、办公应用等许多计算应用使用控制来允许用户操纵游戏角色或应用的其他方面。通常使用例如控制器、遥控器、键盘、鼠标等等来输入这样的控制。不幸的是，这些控制可能是难以学习的，由此造成了用户和这些游戏及应用之间的障碍。此外，这些控制可能与这些控制所用于的实际游戏动作或其他应用动作不同。例如，使得游戏角色挥动棒球球棒的游戏控制可能不与挥动棒球球棒的实际运动相对应。
发明概述
本文公开了用于姿势快捷方式的系统和方法。
在一实施例中，计算设备从相机接收一系列图像数据。该相机可包括彩色相机(如红-绿-蓝，即RGB)、深度相机、以及三维(3D)相机。该数据可包括分开的深度图像和彩色图像、结合了深度和色彩信息的组合的图像、或其中标识了诸如被骨架映射的人等对象的经解析的图像。该数据捕捉由至少一个用户作出的运动或姿态。这些运动或姿态可由计算设备识别为一种类型的输入—姿势输入。对于给定姿势(如向上导航)，可能有用户可作出的姿势的完全版本以及用户可作出的姿势的快捷方式，该姿势的快捷方式一般要求用户更少的时间、移动或移动困难性。
在计算设备识别出姿势的快捷方式或姿势的完全版本被用户执行之后，计算设备向使用姿势作为输入的应用发出关于此的指示。
在快捷方式包括姿势的完全版本的子集的实施例中，当用户执行姿势的完全版本时，姿势的快捷方式和完全版本都被识别，计算设备识别出仅已发生姿势的单个执行，并向应用如此指示。
以上是概述，并且因此必然包含细节的简化、一般化及省略。可以理解本概述只是说明性的且不旨在以任何方式进行限制。
附图简述
参考附图来进一步描述根据本说明书的用于姿势快捷方式的系统、方法和计算机可读介质，附图中：
图1A和1B示出了伴随用户玩游戏的目标识别、分析和跟踪系统的示例实施例。
图2示出了可在目标识别、分析和跟踪系统中使用的捕捉设备的示例实施例。
图3A示出了可用于在目标识别、分析和跟踪系统中解释一个或多个姿势的计算环境的示例实施例。
图3B示出了可用于在目标识别、分析和跟踪系统中解释一个或多个姿势的计算环境的另一示例实施例。
图4A示出了从图2的目标识别、分析和跟踪系统生成的用户的骨架映射。
图4B示出了图2所示的姿势识别器架构的进一步细节。
图5A和5B示出了可如何堆叠姿势过滤器来创建更复杂的姿势过滤器。
图6A、6B、6C、6D和6E示出了用户在美式足球视频游戏中可以作出的用以发出“安全接球”(fair catch)的信号的示例姿势。
图7A、7B、7C、7D和7E示出了在解析了图像数据的每一帧来产生用户的骨架映射时图6A-E的示例“安全接球”姿势。
图8A示出用户作出完全跑步姿势。
图8B示出用户作出快捷跑步姿势，该快捷姿势包括图8A的完全跑步姿势的移动的子集。
图8C示出用户作出第二类型的快捷跑步姿势，该第二类型的快捷跑步姿势包括与图8A的完全跑步姿势分开的移动。
图9描绘了用于姿势快捷方式的示例性操作过程。
说明性实施例的详细描述
如本文中将描述的，用户可通过执行一个或多个姿势来控制在诸如游戏控制台、计算机等计算环境上执行的应用。根据一个实施例，姿势可由例如捕捉设备来接收。例如，捕捉设备可捕捉场景的深度图像。在一个实施例中，捕捉设备可以确定场景中的一个或多个目标或对象是否对应于诸如用户等人类目标。为了确定场景中的目标或对象是否对应于人类目标，可对每个目标进行泛色填充并将其与人体模型的图案作比较。然后可扫描匹配人体模型的每一目标或对象来生成与其相关联的骨架模型。该骨架模型然后可被提供给计算环境，使得计算环境可跟踪该骨架模型，呈现与该骨架模型相关联的化身，以及可基于例如用户的已经从该骨架模型中识别出的姿势来确定要在计算环境上执行的应用中执行哪些控制。姿势识别器引擎(其架构在下文中更完整地描述)被用于确定用户何时做出了某一姿势。
图1A和1B示出伴随用户18玩拳击游戏的目标识别、分析和跟踪系统10的配置的示例实施例。在一示例实施例中，目标识别、分析和跟踪系统10可用于识别、分析和/或跟踪诸如用户18等的人类目标。
如图1A所示，目标识别、分析及跟踪系统10可包括计算环境12。计算环境12可以是计算机、游戏系统或控制台等等。根据一示例实施例，计算环境12可包括硬件组件和/或软件组件，使得计算环境12可用于执行诸如游戏应用、非游戏应用等应用。
如图1A所示，目标识别、分析及跟踪系统10还可包括捕捉设备20。捕捉设备20可以是例如相机，该相机可用于在视觉上监视诸如用户18等一个或多个用户，以使得可以捕捉、分析并跟踪一个或多个用户所执行的姿势以执行应用中的一个或多个控制或动作，如将在下面更详细地描述的。
根据一个实施例，目标识别、分析及跟踪系统10可连接到可向诸如用户18等用户提供游戏或应用视觉和/或音频的视听设备16，如电视机、监视器、高清电视机(HDTV)等。例如，计算环境12可包括诸如图形卡等视频适配器和/或诸如声卡等音频适配器，这些适配器可提供与游戏应用、非游戏应用等相关联的视听信号。视听设备16可从计算环境12接收视听信号，然后可向用户18输出与该视听信号相关联的游戏或应用视觉和/或音频。根据一个实施例，视听设备16可经由例如，S-视频电缆、同轴电缆、HDMI电缆、DVI电缆、VGA电缆等连接到计算环境12。
如图1A和1B所示，目标识别、分析和跟踪系统10可用于识别、分析和/或跟踪诸如用户18等的人类目标。例如，可使用捕捉设备20来跟踪用户18，以使得可将用户18的移动解释为可用于影响由计算机环境12执行的应用的控制。因而，根据一个实施例，用户18可移动他或她的身体来控制应用。
如图1A和1B所示，在一示例实施例中，在计算环境12上执行的应用可以是用户18可能正在玩的拳击游戏。例如，计算环境12可使用视听设备16来向用户18提供拳击对手22的视觉表示。计算环境12还可使用视听设备16来提供用户18可通过他的或她的移动来控制的玩家化身24的视觉表示。例如，如图1B所示，用户18可在物理空间中挥拳来使得玩家化身24在游戏空间中挥拳。因此，根据一示例实施例，目标识别、分析和跟踪系统10的计算环境12和捕捉设备20可用于识别和分析用户18在物理空间中的重拳，从而使得该重拳可被解释为对游戏空间中的玩家化身24的游戏控制。
用户18的其他移动也可被解释为其他控制或动作，诸如上下快速摆动、闪避、滑步、格挡、直拳或挥动各种不同力度的拳等控制。此外，某些移动可被解释为可对应于除控制玩家化身24之外的动作的控制。例如，玩家可以使用移动来结束、暂停或保存游戏、选择级别、查看高分、与朋友交流等。
在各示例实施例中，诸如用户18等人类目标可持有一物体。在这些实施例中，电子游戏的用户可手持物体从而可以使用玩家和物体的运动来调整和/或控制游戏的参数。例如，可以跟踪并利用玩家手持球拍的运动来控制电子运动游戏中的屏幕上球拍。在另一示例实施例中，可以跟踪并利用玩家手持物体的运动来控制电子格斗游戏中的屏幕上武器。
根据其他示例实施例，目标识别、分析及跟踪系统10还可用于将目标移动解释为游戏领域之外的操作系统和/或应用控制。例如，事实上操作系统和/或应用的任何可控方面可由诸如用户18等目标的移动来控制。
图2示出可在目标识别、分析及跟踪系统10中使用的捕捉设备20的示例实施例。根据一示例实施例，捕捉设备20可被配置成经由任何合适的技术，包括例如飞行时间、结构化光、立体图像等来捕捉包括深度图像的带有深度信息的视频，该深度信息可包括深度值。根据一个实施例，捕捉设备20可将所计算的深度信息组织为“Z层”，或与从深度相机沿其视线延伸的Z轴垂直的层。
如图2所示，捕捉设备20可包括图像相机组件22。根据一个示例实施例，图像相机组件22可以是可捕捉场景的深度图像的深度相机。深度图像可包括被捕捉的场景的二维(2-D)像素区域，其中2-D像素区域中的每一个像素都可以(例如以厘米、毫米等等为单位)表示来自相机的被捕捉的场景中的物体的长度。
如图2所示，根据一示例实施例，图像相机组件22可包括可用于捕捉场景的深度图像的IR光组件24、三维(3-D)相机26、和RGB相机28。例如，在飞行时间分析中，捕捉设备20的IR光组件24可以将红外光发射到场景上，然后，可以使用传感器(未示出)，用例如3-D相机26和/或RGB相机28，来检测从场景中的一个或多个目标和物体的表面反向散射的光。在某些实施例中，可以使用脉冲红外光，使得可以测量出射光脉冲和相应的入射光脉冲之间的时间差并将其用于确定从捕捉设备20到场景中的目标或物体上的特定位置的物理距离。附加地，在其他示例实施例中，可将出射光波的相位与入射光波的相位进行比较来确定相移。然后可以使用该相移来确定从捕捉设备到目标或物体上的特定位置的物理距离。
根据另一示例实施例，可使用飞行时间分析，通过经由包括例如快门式光脉冲成像在内的各种技术来分析反射光束随时间的强度变化以间接地确定从捕捉设备20到目标或物体上的特定位置的物理距离。
在另一示例实施例中，捕捉设备20可使用结构化光来捕捉深度信息。在这一分析中，图案化光(即，被显示为诸如网格图案或条纹图案等已知图案的光)可经由例如IR光组件24被投影到场景上。在落到场景中的一个或多个目标或物体的表面上时，作为响应，图案可变形。图案的这种变形可由例如3-D相机26和/或RGB相机28来捕捉，然后可被分析来确定从捕捉设备到目标或物体上的特定位置的物理距离。
根据另一实施例，捕捉设备20可包括两个或更多个物理上分开的相机，这些相机可从不同角度查看场景来获得可被解析以生成深度信息的视觉立体数据。
捕捉设备20还可包括话筒30。话筒30可包括可接收声音并将其转换成电信号的换能器或传感器。根据一个实施例，话筒30可以被用来减少目标识别、分析及跟踪系统10中的捕捉设备20和计算环境12之间的反馈。另外，话筒30可用于接收也可由用户提供的音频信号，以控制可由计算环境12执行的诸如游戏应用、非游戏应用等应用。
在示例实施例中，捕捉设备20还可以包括可与图像相机组件22进行可操作的通信的处理器32。处理器32可包括可执行指令的标准处理器、专用处理器、微处理器等，这些指令可包括用于接收深度图像的指令、用于确定合适的目标是否可被包括在深度图像中的指令、用于将合适的目标转换成该目标的骨架表示或模型的指令、或任何其他合适的指令。
捕捉设备20还可以包括存储器组件34，该存储器组件34可以存储可以由处理器32执行的指令、由3-D相机或RGB相机捕捉到的图像或图像的帧、或任何其他合适的信息、图像等等。根据一个示例实施例，存储器组件34可包括随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、闪存、硬盘或任何其他合适的存储组件。如图2所示，在一个实施例中，存储器组件34可以是与图像捕捉组件22和处理器32进行通信的单独的组件。根据另一实施例，存储器组件34可被集成到处理器32和/或图像捕捉组件22中。
如图2所示，捕捉设备20可经由通信链路36与计算环境12进行通信。通信链路36可以是包括例如USB连接、火线连接、以太网电缆连接等的有线连接和/或诸如无线802.11b、802.11g、802.11a或802.11n连接等的无线连接。根据一个实施例，计算环境12可以经由通信链路36向捕捉设备20提供时钟，可以使用该时钟来确定何时捕捉例如场景。
另外，捕捉设备20可以通过通信链路36向计算环境12提供深度信息和由例如3-D相机26和/或RGB相机28捕捉到的图像，以及可以由捕捉设备20生成的骨架模型。计算环境12然后可使用该骨架模型、深度信息和捕捉的图像来例如识别用户姿势以及作为响应来控制诸如游戏或文字处理程序等应用。例如，如图2所示，计算环境12可包括姿势识别器引擎190。姿势识别器引擎190可包括姿势过滤器集合，每一姿势过滤器包括关于骨架模型(在用户移动时)可执行的姿势的信息。可将由相机26、28和设备20捕捉的骨架模型形式的数据以及与其相关联的移动同姿势识别器引擎190中的姿势过滤器进行比较来标识(如骨架模型所表示的)用户何时执行了一个或多个姿势。那些姿势可与应用的各种控制相关联。因此，计算环境12可使用姿势识别器引擎190来解释骨架模型的移动并基于该移动来控制应用。
图3A示出了可用于实现图1A-2的计算环境12的计算环境的示例实施例。该计算环境可以是诸如游戏控制台之类的多媒体控制台100。如图3A所示，多媒体控制台100具有含有一级高速缓存102、二级高速缓存104和闪存ROM(只读存储器)106的中央处理单元(CPU)101。一级高速缓存102和二级高速缓存104临时存储数据并因此减少存储器访问周期数，由此改进处理速度和吞吐量。CPU 101可以设置成具有一个以上的内核，以及由此的附加的一级和二级高速缓存102和104。闪存ROM 106可存储在多媒体控制台100通电时引导过程的初始阶段期间加载的可执行代码。
图形处理单元(GPU)108和视频编码器/视频编解码器(编码器/解码器)114形成用于高速和高分辨率图形处理的视频处理流水线。数据经由总线从图形处理单元108输送到视频编码器/视频编解码器114。视频处理流水线向A/V(音频/视频)端口140输出数据，以便传输到电视机或其他显示器。存储器控制器110连接到GPU 108以方便处理器访问各种类型的存储器112，诸如但不局限于RAM(随机存取存储器)。
多媒体控制台100包括较佳地在模块118上实现的I/O控制器120、系统管理控制器122、音频处理单元123、网络接口控制器124、第一USB主控制器126、第二USB控制器128和前面板I/O子部件130。USB控制器126和128用作外围控制器142(1)-142(2)、无线适配器148、和外置存储器设备146(例如闪存、外置CD/DVD ROM驱动器、可移动介质等)的主机。网络接口124和/或无线适配器148提供对网络(例如，因特网、家庭网络等)的访问，并且可以是包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等的各种不同的有线或无线适配器组件中任何一种。
提供系统存储器143来存储在引导过程期间加载的应用数据。提供介质驱动器144，该介质驱动器可以包括DVD/CD驱动器、硬盘驱动器，或其他可移动介质驱动器等。介质驱动器144可以内置或外置于多媒体控制台100。应用数据可经由介质驱动器144访问，以由多媒体控制台100执行、回放等。介质驱动器144经由诸如串行ATA总线或其他高速连接(例如IEEE 1394)等总线连接到I/O控制器120。
系统管理控制器122提供涉及确保多媒体控制台100的可用性的各种服务功能。音频处理单元123和音频编解码器132形成具有高保真度和立体声处理的对应的音频处理流水线。音频数据经由通信链路在音频处理单元123与音频编解码器132之间传输。音频处理流水线将数据输出到A/V端口140以供外置音频播放器或具有音频能力的设备再现。
前面板I/O子部件130支持暴露在多媒体控制台100的外表面上的电源按钮150和弹出按钮152以及任何LED(发光二极管)或其他指示器的功能。系统供电模块136向多媒体控制台100的组件供电。风扇138冷却多媒体控制台100内的电路。
CPU 101、GPU 108、存储器控制器110、和多媒体控制台100内的各种其他组件经由一条或多条总线互连，总线包括串行和并行总线、存储器总线、外围总线、和使用各种总线架构中任一种的处理器或局部总线。作为示例，这些架构可以包括外围部件互连(PCI)总线、PCI-Express总线等。
当多媒体控制台100通电时，应用数据可从系统存储器143加载到存储器112和/或高速缓存102、104中并在CPU 101上执行。应用可呈现在导航到多媒体控制台100上可用的不同媒体类型时提供一致的用户体验的图形用户界面。在操作中，介质驱动器144中包含的应用和/或其他媒体可从介质驱动器144启动或播放，以向多媒体控制台100提供附加功能。
多媒体控制台100可通过将该系统简单地连接到电视机或其他显示器而作为独立系统来操作。在该独立模式中，多媒体控制台100允许一个或多个用户与该系统交互、看电影、或听音乐。然而，随着通过网络接口124或无线适配器148可用的宽带连接的集成，多媒体控制台100还可作为更大网络社区中的参与者来操作。
当多媒体控制台100通电时，可以保留设定量的硬件资源以供多媒体控制台操作系统作系统使用。这些资源可以包括存储器保留量(例如，16MB)、CPU和GPU周期保留量(例如，5％)、网络带宽保留量(例如，8kbs)等。因为这些资源是在系统引导时保留的，所以所保留的资源从应用的角度而言是不存在的。
具体而言，存储器保留优选地足够大，以包含启动内核、并发系统应用和驱动程序。CPU保留优选地为恒定，使得若所保留的CPU用量不被系统应用使用，则空闲线程将消耗任何未使用的周期。
对于GPU保留，通过使用GPU中断来调度代码来将弹出窗口呈现为覆盖图以显示由系统应用程序生成的轻量消息(例如，弹出窗口)。覆盖图所需的存储器量取决于覆盖区域大小，并且覆盖图优选地与屏幕分辨率成比例缩放。在并发系统应用使用完整用户界面的情况下，优选使用独立于应用分辨率的分辨率。定标器可用于设置该分辨率，从而无需改变频率并引起TV重新同步。
在多媒体控制台100引导且系统资源被保留之后，就执行并发系统应用来提供系统功能。系统功能被封装在上述所保留的系统资源中执行的一组系统应用中。操作系统内核标识是系统应用线程而非游戏应用线程的线程。系统应用优选地被调度为在预定时间并以预定时间间隔在CPU 101上运行，以便为应用提供一致的系统资源视图。进行调度是为了把由在控制台上运行的游戏应用所引起的高速缓存分裂最小化。
当并发系统应用需要音频时，则由于时间敏感性而将音频处理异步地调度给游戏应用。多媒体控制台应用管理器(如下所述)在系统应用活动时控制游戏应用的音频水平(例如，静音、衰减)。
输入设备(例如，控制器142(1)和142(2))由游戏应用和系统应用共享。输入设备不是保留资源，而是在系统应用和游戏应用之间切换以使其各自具有设备的焦点。应用管理器较佳地控制输入流的切换，而无需知晓游戏应用的知识，并且驱动程序维护有关焦点切换的状态信息。相机26、28和捕捉设备20可为控制台100定义额外的输入设备。
图3B示出了可用于在目标识别、分析和跟踪系统中解释一个或多个姿势计算环境220的另一示例实施例，该计算环境可以是图1A-2所示的计算环境12。计算系统环境220只是合适的计算环境的一个示例，并且不旨在对所公开的主题的使用范围或功能提出任何限制。也不应该将计算环境220解释为对示例性操作环境220中示出的任一组件或其组合有任何依赖性或要求。在某些实施例中，所描绘的各种计算元素可包括被配置成实例化本发明的各具体方面的电路。例如，本公开中使用的术语电路可包括被配置成通过固件或开关来执行功能的专用硬件组件。其他示例中，术语电路可包括由实施可用于执行功能的逻辑的软件指令配置的通用处理单元、存储器等。在其中电路包括硬件和软件的组合的示例实施例中，实施者可以编写体现逻辑的源代码，且源代码可以被编译为可以由通用处理单元处理的机器可读代码。因为可以明白现有技术已经进化到硬件、软件或硬件/软件组合之间几乎没有差别的地步，因而选择硬件或是软件来实现具体功能是留给实现者的设计选择。更具体地，本领域技术人员可以明白软件进程可被变换成等价的硬件结构，而硬件结构本身可被变换成等价的软件进程。因此，对于硬件实现还是软件实现的选择是设计选择并留给实现者。
在图3B中，计算环境220包括计算机241，计算机通常包括各种计算机可读介质。计算机可读介质可以是能由计算机241访问的任何可用介质，而且包含易失性和非易失性介质、可移动和不可移动介质。系统存储器222包括易失性和/或非易失性存储器形式的计算机存储介质，如只读存储器(ROM)223和随机存取存储器(RAM)260。基本输入/输出系统224(BIOS)包含诸如在启动期间帮助在计算机241内的元件之间传输信息的基本例程，基本输入/输出系统224(BIOS)通常储存储在ROM 223中。RAM 260通常包含处理单元259可立即访问和/或目前正在操作的数据和/或程序模块。作为示例而非局限，图3B示出了操作系统225、应用程序226、其它程序模块227和程序数据228。
计算机241也可以包括其他可移动/不可移动、易失性/非易失性计算机存储介质。仅作为示例，图3B示出了对不可移动、非易失性磁介质进行读写的硬盘驱动器238，对可移动、非易失性磁盘254进行读写的磁盘驱动器239，以及对诸如CD ROM或其它光学介质等可移动、非易失性光盘253进行读写的光盘驱动器240。可在示例性操作环境中使用的其他可移动/不可移动、易失性/非易失性计算机存储介质包括但不限于，磁带盒、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等。硬盘驱动器238通常由例如接口234等不可移动存储器接口连接至系统总线221，而磁盘驱动器239和光盘驱动器240通常由例如接口235等可移动存储器接口连接至系统总线221。
以上讨论并在图3B中示出的驱动器及其相关联的计算机存储介质为计算机241提供了对计算机可读指令、数据结构、程序模块和其他数据的存储。在图3B中，例如，硬盘驱动器238被示为存储操作系统258、应用程序257、其他程序模块256和程序数据255。注意，这些组件可以与操作系统225、应用程序226、其他程序模块227和程序数据228相同，也可以与它们不同。在此操作系统258、应用程序257、其他程序模块256以及程序数据255被给予了不同的编号，以说明至少它们是不同的副本。用户可以通过输入设备，例如键盘251和定点设备252——通常是指鼠标、跟踪球或触摸垫——向计算机241输入命令和信息。其他输入设备(未示出)可包括话筒、操纵杆、游戏手柄、圆盘式卫星天线、扫描仪等。这些和其他输入设备通常通过耦合至系统总线的用户输入接口236连接至处理单元259，但也可以由其他接口和总线结构，例如并行端口、游戏端口或通用串行总线(USB)来连接。相机26、28和捕捉设备20可为控制台100定义额外的输入设备。监视器242或其他类型的显示设备也通过诸如视频接口232之类的接口连接至系统总线221。除监视器之外，计算机还可以包括可以通过输出外围接口233连接的诸如扬声器244和打印机243之类的其他外围输出设备。
计算机241可以使用到一个或多个远程计算机(如远程计算机246)的逻辑连接，以在联网环境中操作。远程计算机246可以是个人计算机、服务器、路由器、网络PC、对等设备或其他常见的网络节点，且通常包括许多或所有以上相对于计算机241描述的元件，尽管在图3B中仅示出了存储器存储设备247。图3B中所示的逻辑连接包括局域网(LAN)245和广域网(WAN)249，但也可以包括其他网络。这些联网环境在办公室、企业范围计算机网络、内联网和因特网中是常见的。
当用于LAN网络环境中时，计算机241通过网络接口或适配器237连接到LAN 245。当在WAN联网环境中使用时，计算机241通常包括调制解调器250或用于通过诸如因特网等WAN 249建立通信的其他手段。调制解调器250，可以是内置的或外置的，可以经由用户输入接口236或其他适当的机制，连接到系统总线221。在联网环境中，相对于计算机241所描述的程序模块或其部分可被存储在远程存储器存储设备中。作为示例而非限制，图3B示出了远程应用程序248驻留在存储器设备247上。应当理解，所示的网络连接是示例性的，并且可使用在计算机之间建立通信链路的其他手段。
图4A描绘了可从捕捉设备20生成的用户的示例骨架映射。在该实施例中，标识出各个关节和骨骼：每一手302、每一前臂304、每一肘306、每一二头肌308、每一肩310、每一髋312、每一大腿314、每一膝316、每一小腿318、每一足320、头322、躯干324、脊椎的顶部326和底部328，以及腰330。在跟踪更多点的情况下，可标识出附加的特征，比如手指或脚趾的骨骼和关节，或脸部的各个特征，如鼻和眼。
用户可通过移动他的身体创建姿势。姿势包括用户的运动或姿态，其可被捕捉为图像数据并解析其意义。姿势可以是动态的，包括运动，如模仿投球。姿势可以是静态姿态，如在一个人的躯干324前面交叉握住他的前臂304。姿势也可结合道具，如通过挥动仿制的剑。姿势可包括多于一个身体部位，如拍双手302，或是较微小的运动，如撅起一个人的嘴唇。
姿势可用于一般计算上下文中的输入。例如，手302或其他身体部位的各种运动可对应于常见的系统级任务，如在分层列表中向上或向下导航、打开文件、关闭文件和保存文件。姿势也可在视频游戏专用上下文中取决于游戏来使用。例如，对于驾驶游戏，手302和脚320的各种运动可对应于在一方向上操控车辆、换挡、加速和刹车。
用户可通过自己在原地行走或奔跑来生成对应于行走或奔跑的姿势。用户可另选地提起并放下每一腿312-320来在不移动的情况下模拟行走。系统可通过分析每一髋312和每一大腿314来解析该姿势。当一个髋部-大腿角(如相对于垂直线测量的，其中站立的腿具有0°的髋部-大腿角，而向前水平伸展的腿具有90°的髋部-大腿角)超过相对于另一大腿的特定阈值时，可识别一步。行走或奔跑可在交替腿的某一数量的连续步之后被识别。两个最近的步之间的时间可被认为是一周期。在不满足阈值角度达某一数量的周期之后，系统可确定行走或奔跑姿势已停止。
给定“行走或奔跑”姿势，应用可为与该姿势相关联的参数设定值。这些参数可包括上述阈值角度、发起行走或奔跑姿势所需的步数、结束姿势的没有发生步的周期数、以及确定姿势是行走还是奔跑的阈值周期。快周期可对应于奔跑，因为用户将快速地移动他的腿，而较慢的周期可对应于行走。
姿势最初可以与一组默认参数相关联，应用可用其自己的参数来覆盖该组默认参数。在这一场景中，不迫使应用提供参数，而是应用可改为使用一组允许在没有应用定义的参数的情况下识别姿势的默认参数。
有各种可以与姿势相关联的输出。可以有关于姿势是否正在发生的基线“是或否”。还可以有置信度水平，其对应于用户跟踪的移动对应于姿势的可能性。这可以是范围为0和1之间(包括端点)的浮点数的线性标度。在接收该姿势信息的应用不能接受假肯定作为输入的应用中，它可仅使用具有高置信度水平，如至少0.95的已识别的姿势。在应用必须识别姿势的每一实例的情况下，即使以假肯定为代价，它可使用至少具有低得多的置信度水平的姿势，如仅仅大于0.2的那些姿势。姿势可具有在两个最近步之间的时间的输出，并且在仅注册了第一步的情况下，这可被设为保留值，如-1(因为任何两步之间的时间必须为正)。姿势也可具有关于在最近一步期间达到的最高大腿角的输出。
另一示例性姿势是“脚跟提起跳”。在该姿势中，用户可通过将他的脚跟提离地面，但保持他的脚趾着地来创建该姿势。另选地，用户可跳向空中，其中他的脚320完全离开地面。该系统可通过分析肩310、髋312和膝316的角度关系来解析该姿势的骨架，以查看它们是否是等于直立的对齐位置。然后，可监视这些点和较高326和较低328脊椎点来发现任何向上加速。足够的加速组合可触发跳跃姿势。
给定该“脚跟提起跳”姿势，应用可为与该姿势相关联的参数设定值。参数可包括上述加速阈值，其确定用户的肩310、髋312和膝316的某种组合必须向上移动多快来触发该姿势；以及肩310、髋312和膝316之间仍可触发跳跃的最大对齐角。
输出可包括置信度水平，以及用户在跳跃时的身体角度。
基于将接收姿势的应用的细节来为姿势设定参数对于准确地标识姿势而言是重要的。正确地标识姿势以及用户的意图极大地有助于创建积极的用户体验。在姿势识别器系统太敏感、甚至手302的微小向前运动也被解释为投掷的情况下，用户可能变得沮丧，因为在他没有作出姿势的意图的情况下却识别出姿势，因此他缺乏对系统的控制。在姿势识别器系统不够敏感的情况下，系统可能未识别出用户作出投掷姿势的刻意尝试，从而类似地使用户感到沮丧。在敏感度范围的任一端，用户都会变得沮丧，因为他不能正确地向系统提供输入。
对于姿势的另一参数可以是移动的距离。在用户的姿势控制虚拟环境中的化身的动作的情况下，该化身可以是手臂离球的长度。如果用户希望与该球交互并抓住它，则这可要求用户伸展他的手臂302-310到全长同时作出抓握姿势。在这一情形中，用户仅部分地伸展他的手臂302-310的类似的抓握姿势可能无法达到与球交互的结果。
姿势或其一部分可将它必须在其中发生的空间体作为参数。在姿势包括身体移动的情况下，该空间体通常可相对于身体来表达。例如，对于惯用右手的用户的美式足球投掷姿势可仅在不低于右肩310a、且与投掷手臂302a-310a在头322的相同侧的空间体中识别。可能不必要定义空间体的所有边界，如对于该投掷姿势，其中从身体向外的边界留着不被定义，并且该空间体无限地向外延伸，或者延伸到正被监视的场景的边缘。
图4B提供了图2的姿势识别器引擎190的一个示例性实施例的进一步细节。如图所示，姿势识别器引擎190可包括用于确定一个或多个姿势的至少一个过滤器418。过滤器418包括定义姿势426(以下称为“姿势”)以及该姿势的参数428或元数据的信息。例如，包括一只手从身体背后越过身体前方的运动的投掷可被实现为包括表示用户的一只手从身体背后越过身体前方的移动的信息的姿势426，该移动将由深度相机来捕捉。然后可为该姿势426设定参数428。在姿势426是投掷的情况下，参数428可以是该手必须达到的阈值速度、该手必须行进的距离(绝对的，或相对于用户的整体大小)、以及识别器引擎对发生姿势的置信度评级。姿势426的这些参数428可以在各应用之间、在单个应用的各上下文之间、或在一个应用的一个上下文内随着时间而变化。
过滤器可以是模块化的或是可互换的。在一个实施例中，过滤器具有多个输入和多个输出，这些输入中的每一个具有一类型，这些输出中的每一个具有一类型。在这一情形中，第一过滤器可用具有与第一过滤器相同数量和类型的输入和输出的第二过滤器来替换而不更改识别器引擎体系结构的其他方面。例如，可能具有用于驱动的第一过滤器，该第一过滤器将骨架数据作为输入并输出与该过滤器相关联的姿势正在发生的置信度和转向角。在希望用第二驱动过滤器来替换该第一驱动过滤器的情况下(这可能是因为第二驱动过滤器更高效且需要更少的处理资源)，可以通过简单地用第二过滤器替换第一过滤器来这样做，只要第二过滤器具有同样的输入和输出——骨架数据类型的一个输入、以及置信度类型和角度类型的两个输出。
过滤器不需要具有参数。例如，返回用户的高度的“用户高度”过滤器可能不允许可被调节的任何参数。备选的“用户高度”过滤器可具有可调节参数，比如在确定用户的高度时是否考虑用户的鞋、发型、头饰以及体态。
对过滤器的输入可包括诸如关于用户的关节位置的关节数据，像在关节处相交的骨所形成的角度、来自场景的RGB色彩数据、以及用户的某一方面的变化速率等内容。来自过滤器的输出可包括诸如正作出给定姿势的置信度、作出姿势运动的速度、以及作出姿势运动的时间等内容。
上下文可以是文化上下文，并且可以是环境上下文。文化上下文指的是使用系统的用户的文化。不同的文化可使用相似的姿势来赋予显著不同的含义。例如，希望叫另一个用户“看”或“使用他的眼睛”的美国用户可将他的食指放在他头上靠近他的眼睛的远端处。然而，对意大利用户而言，该姿势可被解释为对黑手党的引用。
类似地，在单个应用的不同环境之中可能有不同的上下文。以涉及操作摩托车的第一人称射击游戏为例。当用户在走路时，将手指朝向地面握拳并向前且从身体向外伸出拳头可表示出拳姿势。当用户在驾驶上下文中时，相同的运动可表示“换挡”姿势。可能还有一个或多个菜单环境，其中用户可保存他的游戏、在他的人物装备之间选择或执行类似的不包括直接玩游戏的动作。在该环境中，该游戏姿势可具有第三个含义，如选择某样东西或前进到另一屏幕。
姿势识别器引擎190可具有向姿势过滤器418提供功能的基础识别器引擎416。在一实施例中，识别器引擎416实现的功能包括跟踪已识别的姿势和其他输入的随时间输入(input-over-time)存档、隐马尔可夫模型实现(其中模型化系统被假定为具有未知参数的马尔可夫过程—其中当前状态封装了确定将来状态所需的任何过去状态信息，因此不必为此目的而维护任何其它过去状态信息的过程，并且隐藏参数从可观察数据来确定)、以及求解姿势识别的特定实例所需的其他功能。
过滤器418在基础识别器引擎416之上加载并实现，并且可利用引擎416提供给所有过滤器418的服务。在一实施例中，基础识别器引擎416处理所接收到的数据来确定它是否满足任何过滤器418的要求。由于这些诸如解析输入等所提供的服务是由基础识别器引擎416一次性提供而非由每一过滤器418提供的，因此这一服务在一段时间内只需被处理一次而不是对该时间段对每一过滤器418处理一次，由此减少了确定姿势所需的处理。
应用程序可使用姿势识别器引擎190所提供的过滤器418，或者它可提供其自己的过滤器418，该过滤器被插入到基础识别器引擎416中。在一实施例中，所有过滤器418具有启用该插入特性的通用接口。此外，所有过滤器418可利用参数428，因此可使用如下所述的单个姿势工具来诊断并调节整个过滤器系统418。
这些参数428可由姿势工具420为应用程序或应用程序的上下文来调节。在一实施例中，姿势工具420包括多个滑块422以及身体424的图表示，每一滑块422对应于一参数428。当用相应的滑块422来调整参数428时，身体424可展示将用这些参数428被识别为姿势的动作以及使用这些参数428将不被识别为姿势的动作，如所标识的。姿势的参数428的这一可视化提供了调试并细化调节姿势的有效手段。
图5描绘了从堆叠的姿势或过滤器418创建的更复杂的姿势或过滤器418。姿势可堆叠在彼此之上。即，用户一次可表达多于一个的姿势。例如，并非在作出投掷姿势时不允许除了投掷之外的任何输入，也不要求用户除了该姿势的分量之外保持不动(例如，在作出仅涉及一条手臂的投掷姿势时站着不动)。在姿势堆叠时，用户可同时作出跳跃姿势和投掷姿势，并且这两个姿势都将被姿势引擎识别出。
图5A描绘了根据堆叠范例的简单姿势过滤器418。I过滤器(IFilter)502是可在每一姿势过滤器中使用的基本过滤器418。IFilter 502取用户位置数据504，并输出姿势已发生的置信度水平506。它还将该位置数据504馈入方向盘(SteeringWheel)过滤器508，该过滤器508取该位置数据作为输入，并输出用户正在转向的角度(例如，向用户当前方向右侧40度)510。
图5B描绘了将过滤器418堆叠到图5A的姿势过滤器上的更复杂的姿势。除了I过滤器502和方向盘508之外，还存在I跟踪(ITracking)过滤器512，该过滤器从I过滤器502接收位置数据504，并输出用户通过姿势514所作出的进展量。I跟踪512还将位置数据504馈送到润滑油减轻(GreaseLightning)516和E刹车(Ebrake)518，这些是关于可在操作车辆时如使用紧急刹车作出的其他姿势的过滤器418。
图6描绘了用户602在美式足球视频游戏中可以作出的用以发出“安全接球”(fair catch)信号的示例姿势。这些图描绘了各个时间点的用户，其中图6A是第一时间点，而图6E是最后一个时间点。这些图中的每一个可对应于深度相机402捕捉的图像数据的一个快照或帧，但不必是连续的图像数据帧，因为深度相机402能够比用户可覆盖该距离更快地捕捉帧。例如，该姿势可在3秒的时间段内发生，并且在深度相机以每秒40帧来捕捉数据的情况下，在用户602作出该安全接球姿势时它将捕捉60个图像数据帧。
在图6A中，用户602以他的手臂604向下放于两侧开始。他然后将手臂举起超过肩膀，如图6B所描绘的，然后进一步向上到大约他的头部的水平，如图6C所描绘的。从那里，他将他的手臂604降下到肩膀水平，如图6D所描绘的，然后再一次将手臂举起到大约他的头部的水平，如图6E所描绘的。在系统捕捉用户602的这些位置而没有可发出该姿势被取消或正在作出另一姿势的信号的任何居间位置的情况下，可能会使得安全接球姿势过滤器输出用户602作出了安全接球姿势的高置信度水平。
图7描绘了在解析每一图像数据帧来产生用户的骨架映射时图5的示例“安全接球”姿势。该系统在从用户的深度图像产生了骨架映射之后，现在可确定用户的身体如何随时间而移动，并且可从中解析姿势。
在图7A中，用户的肩膀310在他的肘306上方，而肘306又在他的手302上方。肩310、肘306和手302然后在图7B中处于一致水平。系统然后在图7C中检测到手302在肘上方，而肘在肩310上方。在图7D中，用户返回到图7B的位置，其中肩310、肘306和手302处于一致水平。在该姿势的最终位置，图7E中示出，用户返回到图7C的位置，其中手302在肘上方，而肘在肩310上方。
尽管捕捉设备20捕捉了一系列静止图像，使得在任何一个图像中用户看似为静止的，但用户在执行该姿势的过程中在移动(而非如上所述的静止姿势)。该系统能够取每一静止图像中的该一系列姿态，并从中确定用户正在作出的移动姿势的置信度水平。
在执行姿势时，用户可能无法创建如他的右肩310a、右肘306a和右手302a所形成的角度，例如在140°和145°之间。因此，使用用于安全接球姿势426的过滤器418的应用可调谐相关联的参数428来最佳地服务于应用的细节。例如，图7C和7E中的位置可在用户将其手302放在其肩310上方的任何时刻被识别出，而不关注肘306的位置。更严格的一组参数可能要求手302在头310上方，并且肘306既在肩310上方又在头322和手302之间。另外，用于安全接球姿势426的参数428可能要求用户在诸如1.5秒这样的一段指定时间内从图7A的位置移动到图7E的位置，并且如果用户花费了多于1.5秒来移动通过这些位置，则它将不被识别为安全接球418，并且可输出非常低的置信度水平。
图8A-8C示出通过不同的捕捉的移动和姿态，用户作出相同的被系统识别的跑步姿势。
图8A示出用户作出完全跑步姿势。用户18由捕捉设备20捕捉。用户18通过原地跑步来创建完全跑步姿势—交替地将他的每个膝提起到大约腰的高度，然后把腿放下到地面。该版本的完全跑步姿势是周期性姿势，因为用户18以他想要该姿势持续的持续时间来重复包括该姿势的运动。
图8B示出用户作出快捷跑步姿势，该快捷姿势包括图8A的完全跑步姿势的移动的子集。为了作出该版本的快捷跑步姿势，用户18将他的一条腿提起，使得他的膝大约在髋的水平，并保持该姿态。该姿势快捷方式包括图8A的完全姿势的移动的子集—其中图8A中的用户重复地提起和放下他的膝，而在此用户提起他的膝一次并保持该姿态。尽管图8A的完全姿势涉及周期性移动，但是在本实施例中，快捷姿势涉及一系列不重复的移动，或者该系列整体不必重复的一系列移动。在一实施例中，用户18在希望结束该姿势时将他的膝放下到站立姿态。在一实施例中，放下膝的该动作也可包括完全姿势的子集。在一实施例中，当用户18将他的膝保持在大约髋水平达大于指定时间量的时间时，计算环境12确定该移动是要结束该姿势快捷方式，而不是产生完全姿势。
图8C示出用户作出第二类型的快捷跑步姿势，该第二类型的快捷姿势包括与图8A的完全跑步姿势分开的移动。在此，用户18向前一步，并在一个脚在另一个脚之前、两个角都在地面上的状态下以他希望产生跑步姿势的持续时间来保持该姿态。该位置在图8A的完全跑步姿势中找不到。用户18可通过踏回站立姿态来结束该姿势。该姿势类似于图8B的姿势，因为两者都涉及移动来启动该姿势，然后保持姿态以维持该姿势，以及移动来结束该姿势。
图9示出了用于姿势快捷方式的示例性操作过程。如上所讨论的，对计算设备的一个姿势输入可被计算设备识别为用户执行的多种方式的结果。在一实施例中，用户可执行姿势的该多种方式包括姿势的完全版本和姿势的快捷方式。
可在各种应用上下文中使用姿势快捷方式。例如，可在涉及跑步的应用(像田径游戏)中可使用跑步姿势快捷方式。可在应用的文本输入上下文中使用文本输入快捷方式。例如，用户可使用手语姿势来输入文本。单词姿势的完全版本可包括用手语表示单词的每个字母，如H-E-A-R-T。“heart”(心)单词姿势的快捷方式可包括用于heart的单个姿势，如来自用户将双手形成为心的表示。这一手语可包括美国手语(ASL)。
姿势快捷方式可涉及与姿势的相应完全版本不同的身体部位。例如，在用户不使用他的腿且跑步姿势的完全版本涉及原地跑步的情况下，该姿势的快捷方式可涉及用用户的手来模仿跑步运动。
可选操作902描绘了接收和定义姿势的快捷方式相对应的用户输入。例如，用户或者通过被计算设备提示或者通过向计算机设备指示他希望如此做，来作出运动或姿态，该运动或姿态由捕捉设备捕捉并按照执行该姿势的方式被存储。
在一实施例中，在用户通过他的移动或姿态定义了姿势快捷方式之后，他随后可在系统上精炼该姿势快捷方式。例如，在使用过滤器和对应的参数识别姿势的情况下，他可按照如上所讨论的方式来调谐他的姿势快捷方式的参数。
在一实施例中，姿势的快捷方式对应于第二姿势的完全版本。姿势快捷方式可对应于多个完全姿势，且在用户定义一快捷方式的情况下，他可指示出该快捷方式是要对应于多个完全姿势。例如，在打印文本文件的上下文中，用户可定义与将纸方向选择为纵向的完全姿势、选择打印四个副本的完全姿势、以及选择特定的打印机来进行打印的完全姿势对应的一个姿势快捷方式。
在通过姿势过滤器和参数来识别姿势的实施例中，姿势的快捷方式和姿势的完全版本可使用相同的姿势过滤器，但对于一个或多个参数使用不同的值。例如，“扔球”姿势可要求用户将他的手从他躯干后移动到他的躯干前大约手臂长度的位置。快捷方式可减少手必须行进的要求距离，使得手既不必向后也不必向前伸展很远。这可用改变某一参数值或多个值来实现，例如用于“最小手距离”的一个。
操作904描绘了接收由捕捉设备捕捉的数据，该数据对应于用户执行的姿势。捕捉设备可以捕捉包含用户全部的场景，诸如从地面到天花板以及到房间中与用户所处位置相距一定距离的每侧的墙壁。捕捉设备也可以捕捉仅包含用户的部分的场景，诸如他或她坐在桌边时腹部以上的用户。捕捉设备还可以捕捉由用户控制的对象，诸如用户握在他或她手中的道具相机。
操作906描绘了从应用确定用姿势的快捷方式来处理数据。应用可用某种方式来限制被用作输入的快捷方式。例如，在田径游戏中，跑步可被认为对于该过程是整体的，应用可不允许或禁用跑步姿势的快捷方式，要求用户在他希望跑步时作出完整跑步姿势。相反，在第一人称射击游戏中，跑步可被认为对于游戏的使用来说是辅助性的，因此可允许对跑步姿势使用快捷方式。在该第一人称射击游戏中，用于开枪的力学可被认为对于该过程是整体的，且应用可不允许或禁用用于瞄准或射击姿势的快捷方式。
在一实施例中，如前所讨论的，用户可用用户可同时执行多个姿势的相同方式来执行都被识别的姿势的快捷方式和姿势的完全版本两者。使用第一人称射击示例，用户可同时作出奔跑姿势的快捷方式以及瞄准姿势的完全版本。
在一实施例中，对用姿势的快捷方式处理数据的这种确定源自用户。例如，用哪些快捷方式来处理可对应于用户选择的应用的难度等级。在用户选择最低难度等级的情况下，所有的快捷方式可被处理。随着用户增加难度等级，允许处理的快捷方式的数量可减少，直到最高难度等级的情况下无快捷方式被处理。
该确定可随时间改变来适应于用户能力。例如，允许的快捷方式的默认设置可在应用会话的开始时被实现，而在会话过程中随着用户表现出他的良好执行姿势的能力或缺乏这种能力，允许的快捷方式可被增加或减少。此外，当在会话的过程期间用户疲劳了，或能力增加，则可增加或减少允许的快捷方式来对应于他的当前能力状态。
操作908描绘了处理数据来确定和用户是否执行了姿势的快捷方式相对应的输出，姿势的快捷方式对应于姿势的完全版本。在一实施例中，该输出可包括姿势发生的置信度水平。在一实施例中，这可包括关于姿势的完全版本或姿势快捷方式是否被观察到的指示。
操作910描绘了将对应于姿势的快捷方式的输出发送到应用。在当前操作由应用执行的情况下，输出可被发送到应用的某一组件，该组件获得经处理的用户输入并将其映射到应用中的动作。
操作912描绘了处理数据以确定和用户是否执行了姿势的完全版本相对应的输出，以及将对应于姿势的完全版本的输出发送到应用。
在一实施例中，姿势的快捷方式包括用户移动，该用户移动包括构成姿势的完全版本的用户移动的子集。
在一实施例中，对应于姿势的快捷方式的输出对应于用户触发了该姿势的高似然性，对应于姿势的完全版本的输出对应于用户触发了该姿势的高似然性，应用仅识别一个用户姿势。在姿势的快捷方式包括姿势的完全版本的子集时，当用户执行姿势的完全版本时，他将也执行该姿势的快捷方式。于是，对于一个预期的姿势输入，两个姿势可被识别。在一实施例中，在指定的时间段(可以是姿势特定的和/或用户特定的)内姿势的快捷方式和姿势的完全版本都被识别的情况下，仅一个被用作输入，而另一个被忽视。
在一实施例中，对应于姿势的快捷方式的输出对应于用户触发了该姿势的高似然性，对应于姿势的完全版本的输出对应于用户触发了该姿势的高似然性，应用使用对应于姿势的完全版本的输出来向该姿势添加细节。在姿势的快捷方式被应用识别并作为输入被处理(如对应于的动画或结果被显示在显示设备上)，且然后在姿势的快捷方式被处理的同时姿势的完全版本被识别，则可在处理中使用来自姿势的完全版本的输出。
例如，“跳跃”姿势的完全版本可包括用户跳跃。“跳跃”姿势的快捷方式可包括该姿势的完全版本的初始运动—蹲下和起身，并输出该姿势被执行的置信度水平。作为观察到跳跃姿势的快捷方式的结果，该应用可通过将用户的化身显示为正在跳跃来处理。在此发生时，如果用户通过继续起身并双脚离开地面来完成该跳跃的完全版本时，该应用可使用用户实际跳到的高度来将化身显示为跳到对应的高度，以向当前被处理的跳跃快捷方式添加细节。如果用户仅执行了跳跃姿势的快捷方式，则应用可使得化身跳到默认高度。
在一实施例中，在用户执行了某一姿势的快捷方式之后，它可对应于比用户执行了姿势的完全版本要少的应用中成就。例如，在用得分来评级用户的表现的轮滑板游戏中，在用户使用轮滑板技巧姿势的快捷方式执行给定的技巧时，该用户可收到比使用该轮滑板姿势的完全版本执行该给定技巧要少的得分。
结论
尽管已经结合各附图所示的较佳方面描述了本发明，但要理解，可使用其它相似方面或者可对所述方面进行修改或添加来执行本发明的相同功能而不脱离本发明。因此，本发明不应该仅限于任何单个方面，而是应该在根据所附权利要求书的广度和范围内解释。例如，本文描述的各种过程可用硬件或软件、或两者的组合来实现。因此，所公开的各实施例的方法和装置或其某些方面或部分可采用包含在诸如软盘、CD-ROM、硬盘驱动器或任何其他机器可读存储介质等有形介质中的程序代码(即，指令)的形式。当程序代码被加载到诸如计算机等机器并由其执行时，该机器变为被配置成实施所公开的各实施例的装置。除了本文明确阐述的具体实现之外，考虑本文所公开的说明书，其它方面和实现将显而易见的。说明书和所示实现旨在仅被认为是示例。

Claims (15)

1.一种在采用用户(18)姿势作为对应用的输入的系统中使用姿势快捷方式的方法，包括：
接收由捕捉设备(20)捕捉的数据，所述数据对应于用户执行的姿势(902)；
处理所述数据来确定和用户是否执行了姿势的快捷方式相对应的输出，姿势的快捷方式对应于姿势的完全版本(908)；
将对应于姿势的快捷方式的所述输出发送到所述应用(910)。
2.如权利要求1所述的方法，其特征在于，还包括：
处理所述数据以确定和用户是否执行了姿势的完全版本相对应的输出；以及
将对应于姿势的完全版本的所述输出发送到所述应用。
3.如权利要求2所述的方法，其特征在于，姿势的快捷方式包括用户移动，该用户移动包括构成姿势的完全版本的用户移动的子集。
4.如权利要求3所述的方法，其特征在于，对应于姿势的快捷方式的输出对应于用户触发了该姿势的高似然性，对应于姿势的完全版本的输出对应于用户触发了该姿势的高似然性，所述应用识别出所述用户仅已执行了一个用户姿势。
5.如权利要求3所述的方法，其特征在于，对应于姿势的快捷方式的输出对应于用户触发了该姿势的高似然性，对应于姿势的完全版本的输出对应于用户触发了该姿势的高似然性，所述应用使用对应于姿势的完全版本的输出来向该姿势添加细节。
6.如权利要求1所述的方法，其特征在于，还包括：
接收和定义姿势的快捷方式相对应的用户输入。
7.如权利要求1所述的方法，其特征在于，姿势的快捷方式还对应于第二姿势的完全版本。
8.如权利要求1所述的方法，其特征在于，姿势的快捷方式对应于一姿势过滤器和至少一个参数，姿势的完全版本对应于所述姿势过滤器和所述至少一个参数，对应于姿势的快捷方式的所述至少一个参数的值不同于对应于姿势的完全版本的所述至少一个参数的值。
9.如权利要求1所述的方法，其特征在于，还包括：
在处理所述数据以确定和用户是否执行了姿势的快捷方式相对应的输出之前，从应用确定要用姿势的快捷方式处理所述数据。
10.如权利要求9所述的方法，其特征在于，处理所述数据以确定和用户是否执行了姿势的快捷方式相对应的输出的操作仅在接收到来自用户的关于该处理是所希望的指示之后被执行。
11.如权利要求1所述的方法，其特征在于，用户执行姿势的快捷方式对应于比用户执行姿势的完全版本的更小的成就。
12.一种在采用用户(18)姿势作为对应用的输入的系统中使用姿势快捷方式的系统，包括：
用于生成和用户执行的姿势相对应的数据的捕捉设备(20)；
处理器(101)，所述处理器接收由所述捕捉设备捕捉的数据，处理所述数据来确定和所述用户是否执行了姿势的快捷方式相对应的输出，所述姿势的快捷方式对应于姿势的完全版本，以及
将对应于姿势的快捷方式的所述输出发送到所述应用。
13.如权利要求12所述的系统，其特征在于，所述处理器还处理所述数据以确定和所述用户是否执行了姿势的完全版本相对应的输出，以及
将对应于姿势的完全版本的所述输出发送到所述应用。
14.如权利要求13所述的系统，其特征在于，姿势的快捷方式包括用户移动，该用户移动包括构成姿势的完全版本的用户移动的子集。
15.如权利要求13所述的系统，其特征在于，对应于姿势的快捷方式的输出对应于用户触发了该姿势的高似然性，对应于姿势的完全版本的输出对应于用户触发了该姿势的高似然性，所述应用仅识别一个用户姿势。
CN201080024687.2A 2009-05-29 2010-05-29 姿势快捷方式 Active CN102449576B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/474,781 US9400559B2 (en) 2009-05-29 2009-05-29 Gesture shortcuts
US12/474,781 2009-05-29
PCT/US2010/036774 WO2010138952A2 (en) 2009-05-29 2010-05-29 Gesture shortcuts

Publications (2)

Publication Number Publication Date
CN102449576A true CN102449576A (zh) 2012-05-09
CN102449576B CN102449576B (zh) 2017-02-22

Family

ID=43221718

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080024687.2A Active CN102449576B (zh) 2009-05-29 2010-05-29 姿势快捷方式

Country Status (7)

Country Link
US (1) US9400559B2 (zh)
EP (1) EP2435892B1 (zh)
JP (1) JP5775514B2 (zh)
KR (1) KR101658937B1 (zh)
CN (1) CN102449576B (zh)
BR (1) BRPI1011212B1 (zh)
WO (1) WO2010138952A2 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106255943A (zh) * 2014-05-01 2016-12-21 微软技术许可有限责任公司 身体锁定增强现实与世界锁定增强现实之间的转换
CN106255939A (zh) * 2014-05-01 2016-12-21 微软技术许可有限责任公司 世界锁定显示质量反馈
CN108970112A (zh) * 2018-07-05 2018-12-11 腾讯科技（深圳）有限公司 姿势的调整方法和装置、存储介质、电子装置

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101633332B1 (ko) * 2009-09-30 2016-06-24 엘지전자 주식회사 단말기 및 그 제어 방법
KR101676881B1 (ko) * 2010-08-17 2016-11-16 엘지전자 주식회사 디스플레이 장치 및 그의 제어 방법
EP2474950B1 (en) 2011-01-05 2013-08-21 Softkinetic Software Natural gesture based user interface methods and systems
KR101858531B1 (ko) 2011-01-06 2018-05-17 삼성전자주식회사 모션에 의해 제어되는 디스플레이 장치 및 그 모션 제어 방법
KR101795574B1 (ko) * 2011-01-06 2017-11-13 삼성전자주식회사 모션에 의해 제어되는 전자기기 및 그 제어 방법
CN107050852A (zh) * 2011-02-11 2017-08-18 漳州市爵晟电子科技有限公司 一种游戏系统及其穿套式定点控制设备
US10146329B2 (en) * 2011-02-25 2018-12-04 Nokia Technologies Oy Method and apparatus for providing different user interface effects for different motion gestures and motion properties
US9857868B2 (en) 2011-03-19 2018-01-02 The Board Of Trustees Of The Leland Stanford Junior University Method and system for ergonomic touch-free interface
US8840466B2 (en) 2011-04-25 2014-09-23 Aquifi, Inc. Method and system to create three-dimensional mapping in a two-dimensional game
US8740702B2 (en) 2011-05-31 2014-06-03 Microsoft Corporation Action trigger gesturing
US8845431B2 (en) 2011-05-31 2014-09-30 Microsoft Corporation Shape trace gesturing
US8657683B2 (en) 2011-05-31 2014-02-25 Microsoft Corporation Action selection gesturing
US11048333B2 (en) 2011-06-23 2021-06-29 Intel Corporation System and method for close-range movement tracking
JP6074170B2 (ja) * 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
US8751972B2 (en) 2011-09-20 2014-06-10 Google Inc. Collaborative gesture-based input language
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
US8854433B1 (en) 2012-02-03 2014-10-07 Aquifi, Inc. Method and system enabling natural user interface gestures with an electronic system
EP2650754A3 (en) * 2012-03-15 2014-09-24 Omron Corporation Gesture recognition apparatus, electronic device, gesture recognition method, control program, and recording medium
US9111135B2 (en) 2012-06-25 2015-08-18 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera
US8934675B2 (en) 2012-06-25 2015-01-13 Aquifi, Inc. Systems and methods for tracking human hands by performing parts based template matching using images from multiple viewpoints
US8836768B1 (en) 2012-09-04 2014-09-16 Aquifi, Inc. Method and system enabling natural user interface gestures with user wearable glasses
US9092665B2 (en) 2013-01-30 2015-07-28 Aquifi, Inc Systems and methods for initializing motion tracking of human hands
US9129155B2 (en) 2013-01-30 2015-09-08 Aquifi, Inc. Systems and methods for initializing motion tracking of human hands using template matching within bounded regions determined using a depth map
RU2013105987A (ru) * 2013-02-12 2014-08-20 Александр Михайлович Пермяков Способ имитации игры в футбол для игровой тренировки футболистов, для игры в футбольное караоке и непосредственного проведения виртуальных футбольных матчей и устройство для его реализации
US10134267B2 (en) 2013-02-22 2018-11-20 Universal City Studios Llc System and method for tracking a passive wand and actuating an effect based on a detected wand path
US9298266B2 (en) 2013-04-02 2016-03-29 Aquifi, Inc. Systems and methods for implementing three-dimensional (3D) gesture based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
KR102163996B1 (ko) * 2013-04-03 2020-10-13 삼성전자 주식회사 사용자 기기의 비접촉식 인식 기능 성능 향상 방법 및 장치
KR102148809B1 (ko) 2013-04-22 2020-08-27 삼성전자주식회사 단축 아이콘 윈도우 표시 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
RU2015148842A (ru) 2013-06-14 2017-07-19 Интерконтинентал Грейт Брендс Ллк Интерактивные видеоигры
US9798388B1 (en) 2013-07-31 2017-10-24 Aquifi, Inc. Vibrotactile system to augment 3D input systems
US9423946B2 (en) 2013-08-12 2016-08-23 Apple Inc. Context sensitive actions in response to touch input
TWI537767B (zh) * 2013-10-04 2016-06-11 財團法人工業技術研究院 可調體感範圍之多人指引系統與其方法
US20160262685A1 (en) 2013-11-12 2016-09-15 Highland Instruments, Inc. Motion analysis systemsand methods of use thereof
US9507417B2 (en) 2014-01-07 2016-11-29 Aquifi, Inc. Systems and methods for implementing head tracking based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
US9619105B1 (en) 2014-01-30 2017-04-11 Aquifi, Inc. Systems and methods for gesture based interaction with viewpoint dependent user interfaces
US9433870B2 (en) 2014-05-21 2016-09-06 Universal City Studios Llc Ride vehicle tracking and control system using passive tracking elements
US9600999B2 (en) 2014-05-21 2017-03-21 Universal City Studios Llc Amusement park element tracking system
US10207193B2 (en) 2014-05-21 2019-02-19 Universal City Studios Llc Optical tracking system for automation of amusement park elements
US9616350B2 (en) 2014-05-21 2017-04-11 Universal City Studios Llc Enhanced interactivity in an amusement park environment using passive tracking elements
US10025990B2 (en) 2014-05-21 2018-07-17 Universal City Studios Llc System and method for tracking vehicles in parking structures and intersections
US9429398B2 (en) 2014-05-21 2016-08-30 Universal City Studios Llc Optical tracking for controlling pyrotechnic show elements
US10061058B2 (en) 2014-05-21 2018-08-28 Universal City Studios Llc Tracking system and method for use in surveying amusement park equipment
US10238979B2 (en) 2014-09-26 2019-03-26 Universal City Sudios LLC Video game ride
JP6597198B2 (ja) * 2015-11-05 2019-10-30 アイシン精機株式会社 操作入力検知装置及び車両用開閉体制御装置
EP4281843A1 (en) * 2021-01-20 2023-11-29 Apple Inc. Methods for interacting with objects in an environment
US20230038709A1 (en) * 2021-07-28 2023-02-09 Purdue Research Foundation System and Method for Authoring Freehand Interactive Augmented Reality Applications

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5982389A (en) * 1996-06-17 1999-11-09 Microsoft Corporation Generating optimized motion transitions for computer animated objects
US20030076293A1 (en) * 2000-03-13 2003-04-24 Hans Mattsson Gesture recognition system
US20030156756A1 (en) * 2002-02-15 2003-08-21 Gokturk Salih Burak Gesture recognition system using depth perceptive sensors
US20040068409A1 (en) * 2002-10-07 2004-04-08 Atau Tanaka Method and apparatus for analysing gestures produced in free space, e.g. for commanding apparatus by gesture recognition
US20040193413A1 (en) * 2003-03-25 2004-09-30 Wilson Andrew D. Architecture for controlling a computer using hand gestures
CN1534441A (zh) * 2003-03-28 2004-10-06 用于手势的动态反馈
CN1632723A (zh) * 2005-02-06 2005-06-29 赖银樑 多功能人机交互式运动器材
US20050210419A1 (en) * 2004-02-06 2005-09-22 Nokia Corporation Gesture control system
US20060061468A1 (en) * 2004-09-17 2006-03-23 Antti Ruha Sensor data sharing
US20070130547A1 (en) * 2005-12-01 2007-06-07 Navisense, Llc Method and system for touchless user interface control
US20070176898A1 (en) * 2006-02-01 2007-08-02 Memsic, Inc. Air-writing and motion sensing input for portable devices
US20070291009A1 (en) * 2006-06-19 2007-12-20 Cypress Semiconductor Corporation Apparatus and method for detecting a touch-sensor pad gesture
US20080270896A1 (en) * 2007-04-27 2008-10-30 Per Ola Kristensson System and method for preview and selection of words

Family Cites Families (221)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4288078A (en) * 1979-11-20 1981-09-08 Lugo Julio I Game apparatus
US4695953A (en) * 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) * 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) * 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) * 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) * 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) * 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) * 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) * 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) * 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) * 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) * 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) * 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239463A (en) * 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US5239464A (en) * 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US4901362A (en) * 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) * 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) * 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) * 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) * 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) * 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (zh) * 1990-02-13 1991-10-29
US5101444A (en) * 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) * 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) * 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) * 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) * 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) * 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
DE69229474T2 (de) 1991-12-03 2000-03-02 French Sportech Corp Interaktives videosystem zur beobachtung und zum training der leistungsfähigkeit einer person
US5875108A (en) * 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) * 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) * 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) * 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) * 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) * 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) * 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) * 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) * 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) * 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) * 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) * 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) * 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) * 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) * 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) * 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) * 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) * 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
JPH0844490A (ja) 1994-07-28 1996-02-16 Matsushita Electric Ind Co Ltd インターフェイス装置
US5563988A (en) * 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) * 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) * 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) * 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) * 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5913727A (en) * 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
JP3481631B2 (ja) 1995-06-07 2003-12-22 ザ トラスティース オブ コロンビア ユニヴァーシティー イン ザ シティー オブ ニューヨーク 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを用いる物体の３次元形状を決定する装置及び方法
WO1997001112A2 (en) 1995-06-22 1997-01-09 3Dv Systems Ltd. Telecentric 3d camera and method of rangefinding
IL114278A (en) 1995-06-22 2010-06-16 Microsoft Internat Holdings B Camera and method
US5682196A (en) * 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) * 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6098458A (en) * 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6073489A (en) * 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) * 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) * 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
US6152856A (en) 1996-05-08 2000-11-28 Real Vision Corporation Real time simulation using position sensing
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) * 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
CN1168057C (zh) * 1996-08-14 2004-09-22 挪拉赫梅特·挪利斯拉莫维奇·拉都包夫 追踪并显示使用者在空间的位置与取向的方法,向使用者展示虚拟环境的方法以及实现这些方法的系统
JP3064928B2 (ja) * 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
DE69626208T2 (de) 1996-12-20 2003-11-13 Hitachi Europ Ltd Verfahren und System zur Erkennung von Handgesten
US6009210A (en) * 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
JP3862348B2 (ja) 1997-03-19 2006-12-27 東京電力株式会社 モーションキャプチャシステム
US6100896A (en) * 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) * 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP1017973A1 (en) 1997-09-24 2000-07-12 3DV Systems Ltd. Acoustical imaging system
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
US6072494A (en) * 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
WO1999019840A1 (en) 1997-10-15 1999-04-22 Electric Planet, Inc. A system and method for generating an animatable character
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US6411744B1 (en) 1997-10-15 2002-06-25 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
EP1059970A2 (en) 1998-03-03 2000-12-20 Arena, Inc, System and method for tracking and assessing movement skills in multidimensional space
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) * 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
EP0991011B1 (en) 1998-09-28 2007-07-25 Matsushita Electric Industrial Co., Ltd. Method and device for segmenting hand gestures
US6501515B1 (en) 1998-10-13 2002-12-31 Sony Corporation Remote control system
AU1930700A (en) 1998-12-04 2000-06-26 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
WO2000036372A1 (en) 1998-12-16 2000-06-22 3Dv Systems, Ltd. Self gating photosurface
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6614422B1 (en) 1999-11-04 2003-09-02 Canesta, Inc. Method and apparatus for entering data using a virtual input device
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
EP1214609B1 (en) 1999-09-08 2004-12-15 3DV Systems Ltd. 3d imaging system
US6512838B1 (en) * 1999-09-22 2003-01-28 Canesta, Inc. Methods for enhancing performance and data acquired from three-dimensional image systems
US20030132950A1 (en) 2001-11-27 2003-07-17 Fahri Surucu Detecting, classifying, and interpreting input events based on stimuli in multiple sensory domains
US7006236B2 (en) 2002-05-22 2006-02-28 Canesta, Inc. Method and apparatus for approximating depth of an object's placement onto a monitored region with applications to virtual interface devices
US6690618B2 (en) 2001-04-03 2004-02-10 Canesta, Inc. Method and apparatus for approximating a source position of a sound-causing event for determining an input used in operating an electronic device
US7050177B2 (en) 2002-05-22 2006-05-23 Canesta, Inc. Method and apparatus for approximating depth of an object's placement onto a monitored region with applications to virtual interface devices
DE19960180B4 (de) 1999-12-14 2006-03-09 Rheinmetall W & M Gmbh Verfahren zur Herstellung eines Sprenggeschosses
US6674877B1 (en) * 2000-02-03 2004-01-06 Microsoft Corporation System and method for visually tracking occluded objects in real time
US6663491B2 (en) * 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
JP3725460B2 (ja) 2000-10-06 2005-12-14 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
RU2201618C2 (ru) 2001-03-23 2003-03-27 Супрун Антон Евгеньевич Способ ввода информации в малогабаритный терминал, размещающийся в руке пользователя, в частности радиотелефонную трубку, пейджер, органайзер
US6539931B2 (en) * 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
WO2003001722A2 (en) 2001-06-22 2003-01-03 Canesta, Inc. Method and system to display a virtual input device
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
AU2002362085A1 (en) 2001-12-07 2003-07-09 Canesta Inc. User interface for electronic devices
WO2003073359A2 (en) 2002-02-26 2003-09-04 Canesta, Inc. Method and apparatus for recognizing objects
JP3932942B2 (ja) 2002-03-25 2007-06-20 ソニー株式会社 文章入力方法及び装置並びに文章入力プログラム
US7310431B2 (en) 2002-04-10 2007-12-18 Canesta, Inc. Optical methods for remotely measuring objects
ATE321689T1 (de) 2002-04-19 2006-04-15 Iee Sarl Sicherheitsvorrichtung für ein fahrzeug
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US7623115B2 (en) 2002-07-27 2009-11-24 Sony Computer Entertainment Inc. Method and apparatus for light input device
US7646372B2 (en) 2003-09-15 2010-01-12 Sony Computer Entertainment Inc. Methods and systems for enabling direction detection when interfacing with a computer program
US7883415B2 (en) 2003-09-15 2011-02-08 Sony Computer Entertainment Inc. Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion
US7151530B2 (en) 2002-08-20 2006-12-19 Canesta, Inc. System and method for determining an input selected by a user through a virtual interface
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
EP1477924B1 (en) 2003-03-31 2007-05-02 HONDA MOTOR CO., Ltd. Gesture recognition apparatus, method and program
GB0311177D0 (en) 2003-05-15 2003-06-18 Qinetiq Ltd Non contact human-computer interface
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
US7372977B2 (en) * 2003-05-29 2008-05-13 Honda Motor Co., Ltd. Visual tracking using depth data
EP3190546A3 (en) 2003-06-12 2017-10-04 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
US7874917B2 (en) 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
KR20050065198A (ko) 2003-12-24 2005-06-29 한국전자통신연구원 사용자의 움직임을 이용한 3차원 동작명령 인식기
JP3847753B2 (ja) 2004-01-30 2006-11-22 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
CN100573548C (zh) 2004-04-15 2009-12-23 格斯图尔泰克股份有限公司 跟踪双手运动的方法和设备
US7308112B2 (en) * 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7519223B2 (en) 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
US7991220B2 (en) 2004-09-01 2011-08-02 Sony Computer Entertainment Inc. Augmented reality game system using identification information to display a virtual object in association with a position of a real object
EP1645944B1 (en) 2004-10-05 2012-08-15 Sony France S.A. A content-management interface
JP4449723B2 (ja) 2004-12-08 2010-04-14 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
JP5160235B2 (ja) 2005-01-07 2013-03-13 クアルコム，インコーポレイテッド 画像中の物体の検出及び追跡
CN101198964A (zh) 2005-01-07 2008-06-11 格斯图尔泰克股份有限公司 使用红外图案照射创建对象的三维图像
WO2006074290A2 (en) 2005-01-07 2006-07-13 Gesturetek, Inc. Optical flow based tilt sensor
US8009871B2 (en) 2005-02-08 2011-08-30 Microsoft Corporation Method and system to segment depth images and to detect shapes in three-dimensionally acquired data
US7598942B2 (en) 2005-02-08 2009-10-06 Oblong Industries, Inc. System and method for gesture based control system
KR100688743B1 (ko) 2005-03-11 2007-03-02 삼성전기주식회사 멀티 레이어 커패시터 내장형의 인쇄회로기판의 제조방법
JP4686595B2 (ja) * 2005-03-17 2011-05-25 本田技研工業株式会社 クリティカルポイント解析に基づくポーズ推定
CN103257684B (zh) 2005-05-17 2017-06-09 高通股份有限公司 方向敏感的信号输出方法及装置
EP1752748B1 (en) 2005-08-12 2008-10-29 MESA Imaging AG Highly sensitive, fast pixel for use in an image sensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
GB2431717A (en) 2005-10-31 2007-05-02 Sony Uk Ltd Scene analysis
US8094928B2 (en) * 2005-11-14 2012-01-10 Microsoft Corporation Stereo video for gaming
US20070117628A1 (en) * 2005-11-19 2007-05-24 Stanley Mark J Method and apparatus for providing realistic gun motion input to a video game
US20070159468A1 (en) * 2006-01-10 2007-07-12 Saxby Don T Touchpad control of character actions in a virtual environment using gestures
CN101589425A (zh) 2006-02-16 2009-11-25 Ftk技术有限公司 将数据输入计算系统的系统和方法
CN101496032B (zh) 2006-02-27 2011-08-17 普莱姆传感有限公司 使用斑纹解相关的距离映射的方法及设备
US8146018B2 (en) * 2006-04-28 2012-03-27 Nintendo Co., Ltd. Gesture-based control of multiple game characters and other animated objects
US8766983B2 (en) 2006-05-07 2014-07-01 Sony Computer Entertainment Inc. Methods and systems for processing an interchange of real time effects during video communication
US7721207B2 (en) 2006-05-31 2010-05-18 Sony Ericsson Mobile Communications Ab Camera based control
JP4848515B2 (ja) 2006-06-12 2011-12-28 国立大学法人九州工業大学 アバター動作制御システム、そのプログラム及び方法
US20080040692A1 (en) * 2006-06-29 2008-02-14 Microsoft Corporation Gesture input
US9696808B2 (en) * 2006-07-13 2017-07-04 Northrop Grumman Systems Corporation Hand-gesture recognition method
US7701439B2 (en) * 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
US8395658B2 (en) 2006-09-07 2013-03-12 Sony Computer Entertainment Inc. Touch screen-like user interface that does not require actual touching
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
EP2082314A2 (en) 2006-10-18 2009-07-29 Koninklijke Philips Electronics N.V. Electronic system control using surface interaction
US20080134102A1 (en) 2006-12-05 2008-06-05 Sony Ericsson Mobile Communications Ab Method and system for detecting movement of an object
US8351646B2 (en) * 2006-12-21 2013-01-08 Honda Motor Co., Ltd. Human pose estimation and tracking using label assignment
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US20090262074A1 (en) * 2007-01-05 2009-10-22 Invensense Inc. Controlling and accessing content using motion processing on mobile devices
GB0703974D0 (en) 2007-03-01 2007-04-11 Sony Comp Entertainment Europe Entertainment device
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
CN101842810B (zh) 2007-10-30 2012-09-26 惠普开发有限公司 具有协作姿态检测的交互式显示系统
US20090221368A1 (en) * 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
GB2455316B (en) * 2007-12-04 2012-08-15 Sony Corp Image processing apparatus and method
US8149210B2 (en) 2007-12-31 2012-04-03 Microsoft International Holdings B.V. Pointing device and method
TW200937254A (en) * 2008-02-29 2009-09-01 Inventec Appliances Corp A method for inputting control commands and a handheld device thereof
US9772689B2 (en) * 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
CN201254344Y (zh) 2008-08-20 2009-06-10 中国农业科学院草原研究所 植物标本及种子存贮器
US8499251B2 (en) 2009-01-07 2013-07-30 Microsoft Corporation Virtual page turn
JP2014021864A (ja) 2012-07-20 2014-02-03 Mizuho Information & Research Institute Inc 入力支援プログラム及び入力支援装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5982389A (en) * 1996-06-17 1999-11-09 Microsoft Corporation Generating optimized motion transitions for computer animated objects
US20030076293A1 (en) * 2000-03-13 2003-04-24 Hans Mattsson Gesture recognition system
US20030156756A1 (en) * 2002-02-15 2003-08-21 Gokturk Salih Burak Gesture recognition system using depth perceptive sensors
US20040068409A1 (en) * 2002-10-07 2004-04-08 Atau Tanaka Method and apparatus for analysing gestures produced in free space, e.g. for commanding apparatus by gesture recognition
US20040193413A1 (en) * 2003-03-25 2004-09-30 Wilson Andrew D. Architecture for controlling a computer using hand gestures
CN1534441A (zh) * 2003-03-28 2004-10-06 用于手势的动态反馈
US20050210419A1 (en) * 2004-02-06 2005-09-22 Nokia Corporation Gesture control system
US20060061468A1 (en) * 2004-09-17 2006-03-23 Antti Ruha Sensor data sharing
CN1632723A (zh) * 2005-02-06 2005-06-29 赖银樑 多功能人机交互式运动器材
US20070130547A1 (en) * 2005-12-01 2007-06-07 Navisense, Llc Method and system for touchless user interface control
US20070176898A1 (en) * 2006-02-01 2007-08-02 Memsic, Inc. Air-writing and motion sensing input for portable devices
US20070291009A1 (en) * 2006-06-19 2007-12-20 Cypress Semiconductor Corporation Apparatus and method for detecting a touch-sensor pad gesture
US20080270896A1 (en) * 2007-04-27 2008-10-30 Per Ola Kristensson System and method for preview and selection of words

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106255943A (zh) * 2014-05-01 2016-12-21 微软技术许可有限责任公司 身体锁定增强现实与世界锁定增强现实之间的转换
CN106255939A (zh) * 2014-05-01 2016-12-21 微软技术许可有限责任公司 世界锁定显示质量反馈
CN106255943B (zh) * 2014-05-01 2019-06-18 微软技术许可有限责任公司 身体锁定增强现实与世界锁定增强现实之间的转换
CN106255939B (zh) * 2014-05-01 2019-08-27 微软技术许可有限责任公司 世界锁定显示质量反馈
CN108970112A (zh) * 2018-07-05 2018-12-11 腾讯科技（深圳）有限公司 姿势的调整方法和装置、存储介质、电子装置

Also Published As

Publication number Publication date
US20100306714A1 (en) 2010-12-02
JP5775514B2 (ja) 2015-09-09
WO2010138952A2 (en) 2010-12-02
RU2011148344A (ru) 2013-06-10
JP2012529088A (ja) 2012-11-15
US9400559B2 (en) 2016-07-26
EP2435892B1 (en) 2019-06-26
EP2435892A2 (en) 2012-04-04
WO2010138952A3 (en) 2011-03-31
CN102449576B (zh) 2017-02-22
KR101658937B1 (ko) 2016-09-22
BRPI1011212A2 (pt) 2016-03-15
BRPI1011212B1 (pt) 2020-05-05
EP2435892A4 (en) 2016-06-08
KR20120026072A (ko) 2012-03-16

Similar Documents

Publication Publication Date Title
CN102449576A (zh) 姿势快捷方式
CN102301311B (zh) 标准姿势
CN102301315B (zh) 姿势识别器系统架构
CN102448561B (zh) 姿势教练
CN102448566B (zh) 骨架以外的姿势
CN102413886B (zh) 示出身体位置
US9245177B2 (en) Limiting avatar gesture display
US8542252B2 (en) Target digitization, extraction, and tracking
KR101643020B1 (ko) 애니메이션을 체이닝하는 방법 및 애니메이션 블렌딩 장치
US9159151B2 (en) Bringing a visual representation to life via learned input from the user
CN102356373A (zh) 虚拟对象操纵
CN102470273B (zh) 基于玩家表情的视觉表示表情
US9069381B2 (en) Interacting with a computer based application
CN102103408A (zh) 姿势风格识别和奖励
CN102207771A (zh) 推断参与运动捕捉系统的用户意图
CN102947777A (zh) 用户跟踪反馈
CN102262438A (zh) 用于操纵用户界面的姿势和姿势识别
CN102129293A (zh) 在运动捕捉系统中跟踪用户组
CN102947774A (zh) 用于驱动交互式故事的自然用户输入
CN102184020A (zh) 用于操纵用户界面的姿势和姿势修改
CN102222431A (zh) 基于机器的手语翻译器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150717

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150717

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

C14 Grant of patent or utility model
GR01 Patent grant