CN102707876B - 界面控件的按压个性化 - Google Patents

界面控件的按压个性化 Download PDF

Info

Publication number
CN102707876B
CN102707876B CN201210062494.7A CN201210062494A CN102707876B CN 102707876 B CN102707876 B CN 102707876B CN 201210062494 A CN201210062494 A CN 201210062494A CN 102707876 B CN102707876 B CN 102707876B
Authority
CN
China
Prior art keywords
virtual
space
button press
human object
pressing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210062494.7A
Other languages
English (en)
Other versions
CN102707876A (zh
Inventor
A·J·兰格里奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN102707876A publication Critical patent/CN102707876A/zh
Application granted granted Critical
Publication of CN102707876B publication Critical patent/CN102707876B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/22—Setup operations, e.g. calibration, key configuration or button assignment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6607—Methods for processing data by generating or executing the game program for rendering three dimensional images for animating game characters, e.g. skeleton kinematics

Abstract

本申请涉及界面控件的按压个性化。计算系统(12，160)被配置成从深度相机(22，168)接收包括人类目标的世界空间场景(24)的一个或多个深度图像。该计算系统(12，160)使用虚拟桌面变换将人类目标(18)的手(42)的世界空间位置(46)转换成用户界面(60)的屏幕空间光标位置(56)。该计算系统(12，160)还基于该人类目标(18)所执行的按钮(62)按压动作的历史来动态调整该虚拟桌面变换。

Description

界面控件的按压个性化
技术领域
本申请涉及界面控件的按压个性化。
背景技术
计算机技术已进展到使人类能够以各种方式与计算机交互。一种这样的交互可发生在人类与游戏系统之间。例如，某些游戏系统可对玩家的物理移动作出响应。然而，由于每个人的自然移动方式(例如，按压按钮的方式)的大不相同，游戏系统对玩家的物理移动的解释可易于出错，从而使游戏体验不令人满意。
发明内容
公开了界面控件的按压个性化。一个示例实施例包括：接收包括人类目标的世界空间场景的一个或多个深度图像，并且使用虚拟桌面变换将人类目标的手的世界空间位置转换成用户界面的屏幕空间光标位置。该虚拟桌面变换可通过该人类目标所执行的按钮按压动作的历史动态地调节。
提供本发明内容以便以简化形式介绍将在以下具体实施方式中进一步描述的一些概念。本发明内容并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，所请求保护的主题不限于解决在本公开的任一部分中提及的任何或所有缺点的实现。
附图说明
图1根据本发明的一实施例示出查看所观察的场景的深度图像分析系统。
图2示意性地示出在所观察的场景中的用示例骨架数据来建模的人类目标。
图3示出与世界空间中的手的移动相关的按压向量的示例，其中所述世界空间中的手的移动导致屏幕空间中的光标的按压移动。
图4示出与人类目标所执行的多个按钮按压动作相对应的多个按压向量的示例。
图5示出根据本发明的一实施例的计算系统。
具体实施方式
图1示出了深度图像分析系统10的非限制性示例。具体而言，图1示出了游戏系统12，该游戏系统12可以用于玩各种不同的游戏、播放一个或多个不同的媒体类型、和/或控制或操纵非游戏应用和/或操作系统。图1还示出了可用于向游戏玩家呈现游戏视觉的显示设备14(诸如电视机或计算机监视器)。作为一个示例，显示设备14可用于在视觉上呈现人类目标18用其移动来控制的虚拟化身16。深度图像分析系统10可包括捕捉设备，诸如在视觉上监视或跟踪所观察的场景24内的人类目标18的深度相机22。参考图5更详细地讨论深度相机22。深度相机22可经由外围输入(诸如通用串行总线)连接到游戏系统12。
人类目标18在此被示为所观察的场景24内的游戏玩家。人类目标18由深度相机22来跟踪，使得人类目标18在世界空间40中的移动可被游戏系统12解释成控制，该控制可用于影响游戏系统12正在执行的游戏。换言之，人类目标18可使用他或她的移动来控制游戏。人类目标18的移动可以被解释成基本上任何类型的游戏控制。人类目标18的某些移动可被解释成用于除控制虚拟化身16以外目的的控制。作为非限制性示例，人类目标18的移动可被解释成用户界面控制，诸如用于按压显示设备14所显示的虚拟用户界面的虚拟按钮的控制。显示设备14可经由显示输出(诸如高清晰度多媒体接口)连接到游戏系统12。
可随着时间跟踪人类目标18在虚拟界面空间26中的移动，其随着该人类目标在世界空间40中的到处移动而移动。虚拟界面空间26的位置和定向可基于人类目标的位置和定向。作为非限制性示例，虚拟界面空间26的位置和定向可以基于人类目标的头部的相对位置，以使虚拟界面空间26的位置和定向随着人类目标的头部的位置的改变而被调整。然而，在替代实施例中，虚拟界面空间26的位置和定向可随着人类目标的一个或多个替代身体部位(诸如，胸部或肩部)的相对位置而改变。因此，当人类目标在世界空间内到处移动(例如，向前迈步、向后迈步、左转、右转)时，虚拟界面空间26被相应地相对于人类目标而重新对齐。
虚拟界面空间26可具有虚拟形状28(在此处由虚线示出)。如此，虚拟界面空间26可以被配置为基本上任何形状。作为非限制性示例，虚拟界面空间26在图1中被示出为弯曲的虚拟界面空间。在一替代示例中，虚拟界面空间26可被配置为相对于人类目标在固定位置的两个弯曲表面(例如，中心在人类目标的一部分(诸如头部或肩部)附近)。如下面详述的，虚拟界面空间26的形状可以基于人类目标18所执行的按钮按压动作的历史而被调整。例如，弯曲的虚拟界面空间的曲率可以基于按钮按压动作的历史而被动态调整。虚拟界面空间26的位置和定向也可以基于按钮按压动作的历史被进一步调整。通过基于人类目标的自然移动方式而为用户校准虚拟界面空间26，游戏系统12可以能够更好地解释人类目标在虚拟界面空间26中的移动。
深度相机22还可用于将目标移动解释成游戏领域之外的操作系统和/或应用控制。操作系统和/或应用的基本上任何可控方面都可以由人类目标18的移动来控制。图1中所示出的场景是作为示例来提供的，但并不意味着以任何方式进行限制。相反，所示出的场景旨在展示可以在不背离本公开的范围的情况下应用于各种各样不同的应用的一般概念。
此处描述的方法和过程可以结合到各种不同类型的计算系统。图1示出了游戏系统12、显示设备14和深度相机22形式的非限制性示例。一般而言，深度图像分析系统可包括图5中以简化形式示出的计算系统160，该计算系统160将在下文更详细地讨论。
图2示出了简化的处理流水线，其中所观察的场景24中的人类目标18被建模成虚拟骨架38，该虚拟骨架38可被用于在显示设备14上绘制虚拟化身16和/或用作控制游戏、应用、和/或操作系统的其他方面的控制输入。可以理解，与图2中所描绘的那些步骤相比，处理流水线可包括附加的步骤和/或替代的步骤，而不背离本发明的范围。
如图2所示，人类目标18和所观察的场景24中的其余部分可通过诸如深度相机22之类的捕捉设备来成像。深度相机可为每一像素确定在所观察的场景中的表面相对于深度相机的深度。在不背离本公开的范围的情况下，可以使用基本上任何深度寻找(depth finding)技术。参考图5更详细地讨论了示例深度寻找技术。
为每个像素确定的深度信息可用于生成深度图36。这样的深度图可采用基本上任何合适的数据结构的形式，包括但不限于包括所观察场景的每个像素的深度值的矩阵。在图2中，深度图36被示意性地示为人类目标18的轮廓的像素化网格。为便于理解，此图示是简化的。可以理解，深度图一般包括所有像素(不仅是对人类目标18进行成像的像素)的深度信息，并且深度相机22的视角不会得到图2中所描绘的轮廓。
虚拟骨架38可从深度图36导出，以提供人类目标18的机器可读表示。换言之，从深度图36导出虚拟骨架38以对人类目标18建模。虚拟骨架38可以按任何合适的方式从深度图中导出。在某些实施例中，可将一个或多个骨架拟合算法应用于深度图。本发明与基本上任何骨架建模技术兼容。
虚拟骨架38可包括多个关节，每一关节对应于人类目标的一部分。在图2中，虚拟骨架38被示为十五个关节的线条画。为便于理解，此图示是简化的。根据本发明的虚拟骨架可包括基本上任何数量的关节，每个关节都可与基本上任何数量的参数(例如三维关节位置、关节旋转、对应身体部位的身体姿势(例如手张开、手合上等)等)相关联。应当理解，虚拟骨架可采取如下数据结构的形式：该数据结构包括多个骨架关节中的每个关节的一个或多个参数(例如包含每个关节的x位置、y位置、z位置和旋转的关节矩阵)。在一些实施例中，可使用其他类型的虚拟骨架(例如线框、一组形状图元等等)。
如图2所示，可将虚拟化身16作为虚拟骨架38的视觉表示呈现在显示设备14上。由于虚拟骨架38对人类目标18进行建模，并且对虚拟化身16的渲染是基于虚拟骨架38的，因此虚拟化身16用作人类目标18的可查看的数字表示。如此，虚拟化身16在显示设备14上的移动反映人类目标18的移动。
在一些实施例中，虚拟化身中仅有部分将被呈现在显示设备14上。作为一个非限制性示例，显示设备14可呈现人类目标18的第一人称视角，并因此可呈现能通过虚拟化身的虚拟眼睛来查看的虚拟化身的各部分(例如握有方向盘的伸出的手、握有步枪的伸出的手臂、抓住三维虚拟世界中的虚拟物体的伸出的手等)。
尽管将虚拟化身16用作可经由深度图的骨架建模由人类目标的移动来控制的游戏的一示例方面，但这并不旨在为限制性的。人类目标可以用虚拟骨架来建模，而虚拟骨架可用于控制除虚拟化身以外的游戏或其他应用的各方面。例如，即使虚拟化身没有被呈递到显示设备，人类目标的移动也可控制游戏或其他应用。
可显示光标，而不是显示人类目标的化身。图3示出其中人类目标的手42在世界空间40中的位置被用于控制光标52在屏幕空间50中的位置的示例。基于从深度相机接收的一个或多个深度图像，可以跟踪人类目标的手42在虚拟界面空间26内的移动。
然后所跟踪的手42的移动被转换成光标52在屏幕空间50中的相应移动。即，可将手42的世界空间位置46转换成由计算系统所显示的用户界面60的屏幕空间光标位置56。在所描绘的示例中，手42从初始手位置(以虚线描绘的手)到最终手位置(以实线描绘的手)的移动导致光标52从初始光标位置(以虚线描绘的光标)到最终光标位置(以实线描绘的光标)的相应移动。
计算系统可以使用虚拟桌面变换将手42在虚拟界面空间26中的世界空间位置46转换成光标52在用户界面60上的屏幕空间光标位置56。虚拟桌面变换可包括例如用于将手的位置和移动变换成光标的相应位置和移动的各种变换矩阵和算法。在其中虚拟界面空间26具有弯曲的虚拟形状28的所示示例中，计算系统使用虚拟桌面变换将手在该弯曲的虚拟界面空间中的世界空间位置转换成非弯曲的屏幕空间的用户界面中的屏幕空间光标位置。
用户界面60可包括一个或多个控件特征，该控件特征可以通过预先定义的手移动来致动或选择。这些特征可包括：例如，旋钮、刻度盘、按钮、菜单等。在所示示例中，用户界面60包括可由按钮按压动作致动的按钮62。按钮按压动作可与光标52与屏幕空间50中的按钮62重叠时发生的指定的手的移动相对应。在本示例中，手42从初始位置到最终位置的所示移动可以被定义为按钮按压动作，其中按钮62由于光标52在与按钮62重叠时从初始位置到最终位置的相应移动而被致动。
在任何给定时间，手在虚拟界面空间26中的位置可通过x-y-z坐标来限定，其中x坐标指示手的水平位置，y坐标指示手的竖直位置，而z坐标指示手在虚拟界面空间26中的深度。同样，在任何给定时间，光标的位置也可通过x-y-z坐标来限定，其中x坐标指示光标的水平位置，y坐标指示光标的竖直位置，而z坐标指示光标在用户界面60中的深度。
如果满足了预先定义的按钮按压准则，则与按钮按压动作相对应的手的移动被断定。按钮按压准则的一个示例包括手在世界空间中的、将光标位置沿着z轴改变至少一深度阈值的移动，而不管光标52的初始z轴位置。换言之，手在世界空间中的、将光标“按压”了至少该深度阈值的移动被认为是致动按钮62的按钮按压动作。按钮按压准则的另一示例包括手在世界空间中的、将光标速度沿z轴改变一阈值量的移动。在又一实施例中，可将光标速度的归一化后的z轴分量与归一化后的x轴和y轴分量进行比较以确定按钮按压动作是否已发生。换言之，手在世界空间中的、按压入虚拟界面空间中的速度大于跨越虚拟界面空间的移动速度的移动被认为是致动按钮62的按钮按压动作。其他按钮按压准则也是可能的。在每种情况下，基于按压的开始、继续的按压动作(在时间段上或距离上)、以及按压的结束来定义按钮按压动作。
人类目标所执行的一个或多个按钮按压动作可被存储在按钮按压动作历史中，其中每个按钮按压动作是基于响应于手在世界空间中的移动的屏幕空间光标位置的指定变化来标识的。每个按钮按压动作可以进一步由按压向量表示。在所示示例中，与按钮按压动作相对应的手42的移动由按压向量46表示。因此，多个按压向量可被汇编到按钮按压动作历史中，其中每个按压向量对应于按钮按压动作。
如此，不同人类目标具有与按钮按压动作相对应的执行手移动的不同样式。例如，不同的手的移动可以在其速度和/或接近角上有不同。作为一示例，某些用户可能趋向于使用长的、慢的按压来致动用户界面上的按钮，而其他用户可能使用短的、急促的“轻击”来致动按钮。因此，如果不为每个用户校准按压动作，则可能存在明显的“打滑(slippage)”，其中光标远离用户本想选择的屏幕区域。
为了减少这样的“打滑”，计算系统可基于人类目标所执行的按钮按压动作历史来动态调整虚拟桌面变换。这可包括基于按钮按压动作历史来动态调整虚拟界面空间26的虚拟形状28。在其中虚拟界面空间是弯曲的的本示例中，弯曲的虚拟界面空间可具有从人类目标所执行的按钮按压动作的历史导出的虚拟聚焦点。
该按钮按压动作历史中的一个或多个按钮按压动作可包括隐式的按钮按压动作和/或显式的按钮按压动作。显式的按钮按压动作可包括在校准会话期间该人类目标(即，用户)所执行的多个按钮按压动作。在一个示例中，校准会话可在用户启动计算系统的操作(例如，通过打开游戏系统)时执行。在校准会话期间，可以请求用户按压-激活(press-active)屏幕空间的不同区域。例如，可以请求用户致动位于用户界面的不同区域处的各个按钮。人类目标的与每个按钮按压动作相对应的手的移动可以被存储为显式按钮按压动作并被用于调整虚拟界面空间的虚拟形状。在一个示例中，校准会话可在游戏会话之前，以便针对该游戏会话将虚拟界面动态调整和微调到该用户的按压样式。
隐式按钮按压动作可包括用户在预定义时间段上(例如，在给定游戏会话期间)执行的多个按钮按压动作。此处，可以基于人类目标与计算系统的不断交互来自适应地学习按钮按压动作，并且可相应地动态调整虚拟界面空间。
图4示出了多个按压向量80-84的示例。每个按压向量80-84与按钮按压动作历史中的按钮按压动作相对应。如此，可基于人类目标的手在虚拟界面空间26中的(相对于人类目标的头部的世界位置的)移动来绘制每个按压向量。
计算系统可以从多个按压向量80-84导出按钮按压原点90。为此，可将按压向量分组为一个或多个群集。每个群集可包括基于每个按压向量在虚拟界面空间26中的位置而选择的一个或多个按压向量。例如，虚拟界面空间26可包括网格片段的矩阵，而可基于每个按压向量在该网格片段的矩阵中的位置来为每个群集选择按压向量。
接下来，针对该一个或多个群集中的每一个，可以计算平均按压向量。在计算平均按压向量时，可以不考虑明显不同的任何按压向量(例如，不同超过阈值幅度、方向和/或原点位置间的距离的离群的按压向量)。然后基于该一个或多个群集的每一个的平均按压向量来确定按钮按压原点90。在一个示例中，按钮按压原点90是所有平均按压向量之间的最短距离的连线的中心点的平均值。
作为非限制性示例，虚拟界面空间可包括跨3x3网格布局的9网格片段矩阵。基于它们在3x3网格中的位置，按钮按压动作历史中的一个或多个按压向量可被包括在与这9个网格片段相对应的9个群集之一中。然后针对这9个群集计算出9个平均按压向量。然后这9个平均按压向量向后朝用户延伸(即，远离深度相机)，并将所有向量之间的最可能相交的点确定为按钮按压原点。
然后基于按钮按压原点90来调整虚拟界面空间26的虚拟形状28。在一个示例中，弯曲的虚拟界面的曲率可具有从按钮按压原点导出的虚拟聚焦点。在一些实施例中，虚拟聚焦点和按钮按压原点可以重叠。替代地，弯曲的虚拟界面空间的曲率可以是基于虚拟聚焦点相关于人类目标的位置的位置的。例如，虚拟聚焦点可以从按钮按压原点相关于人类目标的头部的位置的位置导出。
虚拟界面空间的虚拟位置和定向也可以基于按钮按压原点的位置被进一步调整。例如，该虚拟位置和定向可以基于按钮按压原点相关于人类目标的头部的位置的位置被调整。
按钮按压动作，以及虚拟界面空间调整可以受人类目标使用哪只手(或其他身体部位)来执行按钮按压动作、以及用户的用手习惯(handedness)(例如，该用户是左撇子还是右撇子)的影响。用户的用手习惯可以影响例如人类目标的手接近或按压用户界面上的按钮的倾斜(tilt)和定向(orientation)。
为了减少右撇子和左撇子的差异所导致的“打滑”，计算系统可以基于为该人类目标所执行的按钮按压动作的历史中的每个左手按钮按压动作生成的按压向量来导出该虚拟界面空间的左手虚拟聚焦点。同样，可以基于为该人类目标所执行的按钮按压动作的历史中的每个右手按钮按压动作生成的按压向量来导出该虚拟界面空间的右手虚拟聚焦点。弯曲的虚拟界面空间可基于响应于该人类目标的左手在世界空间中的移动的左手虚拟聚焦点而被动态调整。类似地，虚拟界面空间可基于响应于该人类目标的右手在世界空间中的移动的右手虚拟聚焦点而被动态调整。
以此方式，通过基于由人类目标所执行的按钮按压动作的历史来调整虚拟桌面变换，可以改变虚拟界面空间的形状以更好地反映用户的按压样式。通过细化虚拟界面空间以更好地匹配用户的按压样式，减少了不想要的打滑和意外的按压选择，从而提升了用户的体验。
在一些实施例中，可将以上所描述的方法和过程捆绑到包括一个或多个计算机的计算系统。具体而言，此处所述的方法和过程可被实现为计算机应用、计算机服务、计算机API、计算机库、和/或其他计算机程序产品。
图5示意性示出了可以执行上述方法和过程之中的一个或多个的非限制性计算系统160。以简化形式示出了计算系统160。应当理解，可使用基本上任何计算机架构而不背离本公开的范围。在不同的实施例中，计算系统160可以采取大型计算机、服务器计算机、台式计算机、膝上型计算机、平板计算机、家庭娱乐计算机、网络计算设备、移动计算设备、移动通信设备、游戏设备等等的形式。
计算系统160可包括逻辑子系统162、数据保持子系统164、显示子系统166和/或捕捉设备168。计算系统可任选地包括未示出在图5中的组件，并且/或者示出在图5中的某些组件可以是未被整合到计算系统中的外围组件。
逻辑子系统162可包括被配置为执行一个或多个指令的一个或多个物理设备。例如，逻辑子系统可被配置为执行一个或多个指令，该一个或多个指令是一个或多个应用、服务、程序、例程、库、对象、组件、数据结构、或其它逻辑构造的部分。可实现此类指令以执行任务、实现数据类型、变换一个或多个设备的状态、或以其他方式得到所需结果。
逻辑子系统可包括被配置成执行软件指令的一个或多个处理器。附加地或替代地，逻辑子系统可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机器。逻辑子系统的处理器可以是单核或多核，且在其上执行的程序可被配置为并行或分布式处理。逻辑子系统可以任选地包括遍布两个或更多设备的独立组件，所述设备可远程放置和/或被配置为进行协同处理。该逻辑子系统的一个或多个方面可被虚拟化并由以云计算配置进行配置的可远程访问的联网计算设备执行。
数据保持子系统164可包括一个或多个物理的、非瞬时的设备，这些设备被配置成保持数据和/或可由该逻辑子系统执行的指令，以实现此处描述的方法和过程。在实现这样的方法和过程时，可以变换数据保持子系统164的状态(例如，以保持不同的数据)。
数据保持子系统164可包括可移动介质和/或内置设备。数据保持子系统164尤其可以包括光学存储器设备(例如，CD、DVD、HD-DVD、蓝光盘等)、半导体存储器设备(例如，RAM、EPROM、EEPROM等)和/或磁存储器设备(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)。数据保持子系统164可包括具有以下特性中的一个或多个特性的设备：易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址、以及内容可寻址。在某些实施例中，可以将逻辑子系统162和数据保持子系统164集成到一个或更多个常见设备中，如专用集成电路或片上系统。
图5还示出以可移动计算机可读存储介质170形式的数据保持子系统的一方面，可移动计算机可读存储介质可用于存储和/或传输可执行以实现本文描述的方法和过程的数据和/或指令。可移动计算机可读存储介质170尤其是可以采取CD、DVD、HD-DVD、蓝光盘、EEPROM和/或软盘形式。
可以明白，数据保持子系统164包括一个或多个物理的、非瞬时的设备。相反，在一些实施例中，本文描述的指令的各方面可以按暂态方式通过不由物理设备在至少有限持续时间期间保持的纯信号(例如电磁信号、光信号等)传播。此外，与本发明有关的数据和/或其他形式的信息可以通过纯信号传播。
术语“模块”可用于描述被实现来执行一个或多个特定功能的计算系统160的一个方面。在某些情况下，可通过逻辑子系统162执行由数据保持子系统164所保持的指令来实例化这一模块。应该理解，可从相同的应用、代码块、对象、例程、和/或功能实例化不同模块和/或引擎。同样，在某些情况下，可通过不同的应用、代码块、对象、例程、和/或功能来实例化相同的模块和/或引擎。
如此处所述，计算系统160包括深度图像分析模块172，该深度图像分析模块912被配置成跟踪人类在固定的、世界空间坐标系中的世界空间姿态。术语“姿态”指人类的位置、定向、身体安排等。如此处所述，计算系统160包括交互模块174，该交互模块174被配置成用可移动的、界面空间坐标系来建立虚拟交互区，该可移动的、界面空间坐标系跟踪人类并相对于固定的、世界空间坐标系移动。如此处所述，计算系统160包括变换模块176，该变换模块被配置成将在固定的、世界空间坐标系中定义的位置变换成在可移动的、界面空间坐标系中定义的位置。计算系统160还包括显示模块178，该显示模块被配置成输出显示信号，该显示信号用于在与可移动的、界面空间坐标系中定义的位置相对应的桌面空间坐标处显示界面元素。
计算系统160包括用户界面模块177，该模块被配置成将光标在用户界面中的移动转换成涉及界面元素的动作。作为非限制性示例，用户界面模块177可分析光标相对于用户界面的按钮的移动，以确定何时要致动这些按钮。
显示子系统166可用于呈现由数据保持子系统164所保持的数据的可视表示。由于此处所描述的方法和过程改变由数据保持子系统保持的数据，并由此变换数据保持子系统的状态，因此同样可以变换显示子系统166的状态以在视觉上表示底层数据的改变。作为一个非限制性示例，可通过显示子系统166以响应于用户在物理空间中的移动而在虚拟桌面中改变位置的界面元素(例如，光标)的形式来反映这里所述的目标识别、跟踪和分析。显示子系统166可以包括使用实际上任何类型的技术的一个或多个显示设备。可将这些显示设备与逻辑子系统162和/或数据保持子系统164一起组合在共享封装中，或这些显示设备可以是外围显示设备，如图1所示。
计算系统160还包括被配置成获得一个或多个目标的深度图像的捕捉设备168。捕捉设备168可被配置成通过任何合适的技术(例如飞行时间、结构化光、立体图像等)捕捉具有深度信息的视频。这样，捕捉设备168可包括深度相机(诸如图1的深度相机22)、摄像机、立体摄像机、和/或其他合适的捕捉设备。
例如，在飞行时间分析中，捕捉设备168可以向目标发射红外光，然后使用传感器来检测从目标的表面反向散射的光。在一些情况下，可以使用脉冲式红外光，其中可以测量出射光脉冲和相应的入射光脉冲之间的时间并将该时间用于确定从该捕捉设备到目标上的特定位置的物理距离。在一些情况下，出射光波的相位可以与入射光波的相位相比较以确定相移，并且该相移可以用于确定从该捕捉设备到目标上的特定位置的物理距离。
在另一示例中，飞行时间分析可用于通过经由诸如快门式光脉冲成像之类的技术分析反射光束随时间的强度，来间接地确定从该捕捉设备到目标上的特定位置的物理距离。
在另一示例中，捕捉设备168可利用结构化光分析来捕捉深度信息。在这样的分析中，图案化光(即被显示为诸如网格图案或条纹图案之类的已知图案的光)可以被投影到目标上。在目标的表面上，该图案可能变成变形的，并且可以研究该图案的这种变形以确定从该捕捉设备到目标上的特定位置的物理距离。
在另一示例中，捕捉设备可以包括从不同的角度查看目标的两个或更多个物理上分开的相机，以获得视觉立体数据。在这些情形中，可分解可视立体数据以生成深度图像。
在其他实施例中，捕捉设备168可利用其他技术来测量和/或计算深度值。此外，捕捉设备168可以将计算出的深度信息组织为“Z层”，即与从深度相机沿其视线延伸到观察者的Z轴垂直的层。
在某些实施例中，可将两个或更多个相机整合到一个集成捕捉设备中。例如，可将深度相机和摄像机(例如RGB摄像机)整合到共同的捕捉设备中。在某些实施例中，可协同使用两个或更多个分开的捕捉设备。例如，可使用深度相机和分开的摄像机。当使用摄像机时，该摄像机可用于提供：目标跟踪数据、对目标跟踪进行纠错的确认数据、图像捕捉、面部识别、对手指(或其他小特征)的高精度跟踪、光感测和/或其他功能。
要理解，至少一些目标分析和跟踪操作可以由一个或多个捕捉设备的逻辑机来执行。捕捉设备可以包括被配置成执行一个或多个目标分析和/或跟踪功能的一个或多个板载处理单元。捕捉设备可包括固件以帮助更新这样的板上处理逻辑。
计算系统160可任选地包括诸如控制器180和控制器182之类的一个或多个输入设备。输入设备可被用于控制计算系统的操作。在游戏的上下文中，诸如控制器180和/或控制器182之类的输入设备可被用于控制游戏的那些不是通过这里所述的目标识别、跟踪和分析方法和过程来控制的方面。在某些实施例中，诸如控制器180和/或控制器182之类的输入设备可包括可用于测量控制器在物理空间中的移动的加速计、陀螺仪、红外目标/传感器系统等中的一个或多个。在某些实施例中，计算系统可任选地包括和/或利用输入手套、键盘、鼠标、跟踪垫、轨迹球、触摸屏、按钮、开关、拨盘、和/或其他输入设备。如将理解的，目标识别、跟踪和分析可被用于控制或扩充游戏或其他应用的常规上由诸如游戏控制器之类的输入设备所控制的方面。在某些实施例中，这里所述的目标跟踪可被用作对其他形式的用户输入的完全替代，而在其他实施例中，这种目标跟踪可被用于补充一个或多个其他形式的用户输入。

Claims (7)

1.一种计算系统(12，160)，包括：
外围输入，所述外围输入被配置成从深度相机(22，168)接收深度图像；
显示输出，所述显示输出被配置成向显示设备(14，166)输出用户界面(60)；
逻辑子系统(162)，所述逻辑子系统能够经由所述外围输入可操作地连接到所述深度相机(22，168)，并能够经由所述显示输出可操作地连接到所述显示设备(14，166)；
数据保持子系统(164)，所述数据保持子系统保持指令，所述指令能被所述逻辑子系统(162)执行以便：
从所述深度相机(22，168)接收包括人类目标(18)的世界空间场景(24)的一个或多个深度图像；
使用虚拟桌面变换将所述人类目标(18)的手(42)在具有弯曲的虚拟形状的弯曲的虚拟界面空间中的世界空间位置(46)转换成所述用户界面(60)的非弯曲的屏幕空间光标位置(56)，所述虚拟桌面变换和所述弯曲的虚拟界面空间的所述弯曲的虚拟形状基于所述人类目标(18)所执行的按钮(62)按压动作的历史被动态调整。
2.如权利要求1所述的计算系统，其特征在于，基于响应于所述手在世界空间中的移动的所述屏幕空间光标位置的变化，所述按钮按压动作的历史中的每个按钮按压动作被标识。
3.如权利要求2所述的计算系统，其特征在于，所述按钮按压动作的历史包括多个按压向量，每个按压向量与所述按钮按压动作的历史中的按钮按压动作相对应。
4.如权利要求3所述的计算系统，其特征在于，所述数据保持子系统保持能由所述逻辑子系统执行以从所述多个按压向量导出按钮按压原点的指令。
5.如权利要求1所述的计算系统，其特征在于，基于所述按钮按压原点，所述虚拟界面空间的虚拟形状被动态调整。
6.如权利要求5所述的计算系统，其特征在于，所述虚拟界面空间具有基于所述人类目标的位置的虚拟位置和定向。
7.如权利要求6所述的计算系统，其特征在于，基于所述按钮按压原点的相关于所述人类目标的头部的位置的位置，所述虚拟界面空间的虚拟位置和定向被动态调整。
CN201210062494.7A 2011-03-10 2012-03-09 界面控件的按压个性化 Active CN102707876B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/045,323 2011-03-10
US13/045,323 US9067136B2 (en) 2011-03-10 2011-03-10 Push personalization of interface controls

Publications (2)

Publication Number Publication Date
CN102707876A CN102707876A (zh) 2012-10-03
CN102707876B true CN102707876B (zh) 2016-10-05

Family

ID=46795068

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210062494.7A Active CN102707876B (zh) 2011-03-10 2012-03-09 界面控件的按压个性化

Country Status (3)

Country Link
US (1) US9067136B2 (zh)
CN (1) CN102707876B (zh)
HK (1) HK1175267A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
US9310895B2 (en) * 2012-10-12 2016-04-12 Microsoft Technology Licensing, Llc Touchless input
US10241638B2 (en) * 2012-11-02 2019-03-26 Atheer, Inc. Method and apparatus for a three dimensional interface
TW201510939A (zh) * 2013-09-05 2015-03-16 Utechzone Co Ltd 動態影像分析系統
CN105765490B (zh) * 2014-01-03 2020-03-10 英特尔公司 用于用户界面控制的系统和技术
US20150199017A1 (en) * 2014-01-10 2015-07-16 Microsoft Corporation Coordinated speech and gesture input
WO2017169158A1 (ja) * 2016-03-29 2017-10-05 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
EP3451135A4 (en) * 2016-04-26 2019-04-24 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM
CN106095092A (zh) * 2016-06-08 2016-11-09 北京行云时空科技有限公司 基于三维空间的头戴设备的光标控制方法和装置
US10037626B2 (en) 2016-06-30 2018-07-31 Microsoft Technology Licensing, Llc Interaction with virtual objects based on determined restrictions
US20180024623A1 (en) * 2016-07-22 2018-01-25 Google Inc. Detecting user range of motion for virtual reality user interfaces
US10650621B1 (en) 2016-09-13 2020-05-12 Iocurrents, Inc. Interfacing with a vehicular controller area network
CN110866940B (zh) * 2019-11-05 2023-03-10 广东虚拟现实科技有限公司 虚拟画面的控制方法、装置、终端设备及存储介质
US11567563B2 (en) 2020-07-30 2023-01-31 International Business Machines Corporation Adapting extended reality applications to user capability and preference
US20220355198A1 (en) * 2021-05-04 2022-11-10 Ztag, Inc. System and Method of Using a Virtual Focal Point in Real Physical Game

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101254344A (zh) * 2008-04-18 2008-09-03 李刚 场地方位与显示屏点阵按比例相对应的游戏装置和方法
US7576727B2 (en) * 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
US7898522B2 (en) * 2000-07-24 2011-03-01 Gesturetek, Inc. Video-based image control system

Family Cites Families (163)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (zh) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
DE69229474T2 (de) 1991-12-03 2000-03-02 French Sportech Corp Interaktives videosystem zur beobachtung und zum training der leistungsfähigkeit einer person
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
JPH0844490A (ja) 1994-07-28 1996-02-16 Matsushita Electric Ind Co Ltd インターフェイス装置
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
WO1996034332A1 (fr) * 1995-04-28 1996-10-31 Matsushita Electric Industrial Co., Ltd. Dispositif d'interface
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
JP3481631B2 (ja) 1995-06-07 2003-12-22 ザ トラスティース オブ コロンビア ユニヴァーシティー イン ザ シティー オブ ニューヨーク 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを用いる物体の３次元形状を決定する装置及び方法
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
JP2000510013A (ja) 1996-05-08 2000-08-08 リアル ヴィジョン コーポレイション 位置検出を用いたリアルタイムシミュレーション
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
JP2001504605A (ja) 1996-08-14 2001-04-03 ラティポフ，ヌラフメド，ヌリスラモビチ 空間内のユーザの位置及び方向性を追跡及び表示するための方法、ユーザに対し仮想環境を提示するための方法及びこれらの方法を実現するためのシステム
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
DE69626208T2 (de) 1996-12-20 2003-11-13 Hitachi Europ Ltd Verfahren und System zur Erkennung von Handgesten
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
AU9808298A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. A system and method for generating an animatable character
AU1099899A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
JP2002516121A (ja) 1998-03-03 2002-06-04 アリーナ， インコーポレイテッド 多次元空間における運動技術を追跡し、そして評価するためのシステムおよび方法
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
EP0991011B1 (en) 1998-09-28 2007-07-25 Matsushita Electric Industrial Co., Ltd. Method and device for segmenting hand gestures
WO2000034919A1 (en) 1998-12-04 2000-06-15 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
WO2000036372A1 (en) 1998-12-16 2000-06-22 3Dv Systems, Ltd. Self gating photosurface
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
US6778171B1 (en) 2000-04-05 2004-08-17 Eagle New Media Investments, Llc Real world/virtual world correlation system using 3D graphics pipeline
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US20020075334A1 (en) 2000-10-06 2002-06-20 Yfantis Evangelos A. Hand gestures and hand motion for replacing computer mouse events
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
US7607509B2 (en) 2002-04-19 2009-10-27 Iee International Electronics & Engineering S.A. Safety device for a vehicle
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
DE602004006190T8 (de) 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
JP4355341B2 (ja) 2003-05-29 2009-10-28 本田技研工業株式会社 深度データを用いたビジュアルトラッキング
EP3190546A3 (en) 2003-06-12 2017-10-04 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
WO2005104010A2 (en) 2004-04-15 2005-11-03 Gesture Tek, Inc. Tracking bimanual movements
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7692627B2 (en) 2004-08-10 2010-04-06 Microsoft Corporation Systems and methods using computer vision and capacitive sensing for cursor control
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
EP1849123A2 (en) 2005-01-07 2007-10-31 GestureTek, Inc. Optical flow based tilt sensor
EP2487624B1 (en) 2005-01-07 2020-02-19 Qualcomm Incorporated(1/3) Detecting and tracking objects in images
CN101198964A (zh) 2005-01-07 2008-06-11 格斯图尔泰克股份有限公司 使用红外图案照射创建对象的三维图像
US7598942B2 (en) 2005-02-08 2009-10-06 Oblong Industries, Inc. System and method for gesture based control system
JP4686595B2 (ja) 2005-03-17 2011-05-25 本田技研工業株式会社 クリティカルポイント解析に基づくポーズ推定
BRPI0613165A2 (pt) 2005-05-17 2010-12-21 Gesturetek Inc saìda de sinal sensìvel à orientação
EP1752748B1 (en) 2005-08-12 2008-10-29 MESA Imaging AG Highly sensitive, fast pixel for use in an image sensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
JP4318056B1 (ja) * 2008-06-03 2009-08-19 島根県 画像認識装置および操作判定方法
CN201254344Y (zh) 2008-08-20 2009-06-10 中国农业科学院草原研究所 植物标本及种子存贮器
US8487871B2 (en) * 2009-06-01 2013-07-16 Microsoft Corporation Virtual desktop coordinate transformation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7898522B2 (en) * 2000-07-24 2011-03-01 Gesturetek, Inc. Video-based image control system
US7576727B2 (en) * 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
CN101254344A (zh) * 2008-04-18 2008-09-03 李刚 场地方位与显示屏点阵按比例相对应的游戏装置和方法

Also Published As

Publication number Publication date
HK1175267A1 (zh) 2013-06-28
US20120229381A1 (en) 2012-09-13
CN102707876A (zh) 2012-10-03
US9067136B2 (en) 2015-06-30

Similar Documents

Publication Publication Date Title
CN102707876B (zh) 界面控件的按压个性化
CN102693004B (zh) 界面控件的按压启动
CN102542160B (zh) 三维虚拟世界的骨架控制
US9821224B2 (en) Driving simulator control with virtual skeleton
CN102591648B (zh) 用于界面引导的持久性把手
US9292083B2 (en) Interacting with user interface via avatar
CN105518575B (zh) 与自然用户界面的双手交互
US8659658B2 (en) Physical interaction zone for gesture-based user interfaces
US20120218395A1 (en) User interface presentation and interactions
CN102414641B (zh) 改变显示环境内的视图视角
CN102129293B (zh) 在运动捕捉系统中跟踪用户组
US9349040B2 (en) Bi-modal depth-image analysis
US8788973B2 (en) Three-dimensional gesture controlled avatar configuration interface
US20120320080A1 (en) Motion based virtual object navigation
CN103608844A (zh) 全自动动态关节连接的模型校准
US20120201424A1 (en) Environmental modifications to mitigate environmental factors
EP2435146A2 (en) Systems and methods for applying animations or motions to a character
CN103501869A (zh) 手动和基于相机的游戏控制
US20130102387A1 (en) Calculating metabolic equivalence with a computing device
CN103608073B (zh) 形状跟踪做手势
US20130080976A1 (en) Motion controlled list scrolling

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1175267

Country of ref document: HK

C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150729

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150729

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1175267

Country of ref document: HK