CN102541258A - 双模深度图像分析 - Google Patents

双模深度图像分析 Download PDF

Info

Publication number
CN102541258A
CN102541258A CN2011103861189A CN201110386118A CN102541258A CN 102541258 A CN102541258 A CN 102541258A CN 2011103861189 A CN2011103861189 A CN 2011103861189A CN 201110386118 A CN201110386118 A CN 201110386118A CN 102541258 A CN102541258 A CN 102541258A
Authority
CN
China
Prior art keywords
joint
pattern
hand
locking
skeleton
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011103861189A
Other languages
English (en)
Other versions
CN102541258B (zh
Inventor
D·布里克希尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102541258A publication Critical patent/CN102541258A/zh
Application granted granted Critical
Publication of CN102541258B publication Critical patent/CN102541258B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Abstract

本发明描述了双模深度图像分析。深度图像分析系统在观察到人类目标的一部分具有第一组关节位置的情况下计算在观察到的场景中表示该人类目标的第一模式骨架数据，并且在观察到人类目标的该部分具有不同于第一组关节位置的第二组关节位置的情况下计算在该观察到的场景中表示该人类目标的第二模式骨架数据。第一模式骨架数据和第二模式骨架数据具有不同的骨架关节约束。

Description

双模深度图像分析
技术领域
本发明涉及计算机应用，尤其涉及深度图像分析技术。
背景技术
计算机技术已进展到使人类能够以各种方式与计算机交互。一个这样的交互可发生在人类与游戏系统之间。某些游戏系统可对玩家的物理移动作出响应。然而，玩家的移动可被误解，从而造成不满意的游戏体验。
发明内容
提供本发明内容以便以简化的形式介绍将在以下具体实施方式中进一步描述的一些概念。本发明内容并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，所要求保护的主题不限于解决在本发明的任一部分中提及的任何或所有缺点的实现。
用通过从所观察的场景中捕捉包括深度信息的深度图像来分析所观察的场景内的人类目标的设备来执行深度图像分析。用包括多个关节的骨架来对人类目标建模。如果观察到人类目标的一部分具有第一组关节位置，则输出表示所观察的场景中的人类目标的第一模式骨架数据。如果观察到人类目标的该部分具有与第一组关节位置不同的第二组关节位置，则输出表示所观察的场景中的人类目标的第二模式骨架数据。第一模式骨架数据和第二模式骨架数据具有不同的骨架关节约束。
附图说明
图1是根据本发明的一实施例示出查看所观察的场景的深度图像分析系统。
图2在某种程度上示意性地示出在所观察的场景中用示例骨架数据来建模的人类目标。
图3示出以单手模式和双手模式对人类目标建模的骨架数据序列。
图4示意性地示出被遮挡的关节分析。
图5示出有虚拟道具的虚拟化身。
图6是示出根据本发明的一实施例用于跟踪人类目标的方法的流程图。
图7是示出根据本发明的一实施例用于定位并对准虚拟道具的方法的流程图。
图8示意性地示出可用作图1的深度图像分析系统的计算系统。
具体实施方式
诸如3D视觉游戏系统等深度图像分析系统可包括能够观察一个或多个玩家的深度相机。在深度相机捕捉所观察的场景内的玩家的图像时，那些图像可被解释并用一个或多个虚拟骨架来建模。有时玩家可位于难以解释且难以用虚拟骨架准确地建模的位置。例如，玩家可转向侧面，使得玩家的某些部分对深度相机隐藏，并且由此可能不出现在深度相机所捕捉的那些深度图像中。作为另一示例，玩家的双手可握在一起，使得系统难以区分左手与右手。作为这些和其他困难场景的结果，用于对玩家建模的虚拟骨架可在各帧之间抖动，或以其他方式不准确地对玩家建模。然而，以下公开通过实现双模骨架建模和遮挡的关节的寻找，至少部分地减轻了上述问题。
作为一个非限制性示例，双模骨架建模可用于识别玩家何时以左右手分开地摆姿势并独立地操作以及玩家何时使左右手一起摆姿势并一致地操作(例如，当拿着真实或虚构道具时)。可取决于模式(例如，单手模式或双手模式)来调节骨架建模，以便减轻骨架抖动和/或其他建模问题。此外，被遮挡的骨架位置可被估计，由此减轻骨架抖动和/或其他问题。尽管提供了单手模式和双手模式作为示例双模建模，但可以理解附加的和/或替换的模式可被实现(例如，坐/站、站/跪等)。此外，三个或更多模式可被实现(例如，坐/跪/站等)。
图1示出了深度图像分析系统10的非限制性示例。具体而言，图1示出了游戏系统12，该游戏系统12可以用于玩各种各样不同的游戏、播放一个或多个不同的媒体类型、和/或控制或操纵非游戏应用。图1还示出了诸如电视机或计算机监视器之类的可用于向游戏玩家呈现游戏画面的显示设备16。作为一个示例，显示设备16可用于在视觉上呈现人类目标32用其移动来控制的虚拟化身50。深度图像分析系统10可包括捕捉设备，诸如在视觉上监视或跟踪所观察的场景14内的人类目标32的深度相机22。参考图2和8更详细地讨论深度相机22。
人类目标32这里被示为所观察的场景14内的游戏玩家。人类目标32由深度相机22来跟踪，使得人类目标32的移动可由游戏系统12解释成可用于影响游戏系统12正在执行的游戏的控制。换言之，人类目标32可使用他或她的移动来控制游戏。人类目标32的移动基本上可以被解释成任何类型的游戏控制。人类目标32的某些移动可被解释成服务于除控制虚拟化身50以外的目的的控制。例如，人类目标32可以使用移动来结束、暂停、保存、选择级别、查看高分、与另一玩家交流等。
深度相机32还可以用于将人类目标移动解释成游戏领域之外的操作系统和/或应用控制。操作系统和/或应用的实际上任何可控方面可由诸如人类目标32之类的游戏玩家的移动来控制。图1中所示出的场景是作为示例来提供的，但并不意味着以任何方式进行限制。相反，所示出的场景旨在展示可以在不背离本公开的范围的情况下应用于各种各样不同的应用的一般概念。
在此所述的方法和过程可以绑定到各种不同类型的计算系统。图1示出了以游戏系统12、显示设备16和深度相机22为形式的非限制性示例。一般而言，深度图像分析系统可包括图8中以简化形式示出的计算系统60，计算系统60将在下文更详细地讨论。
图2示出了简化处理流水线，其中所观察的场景14中的人类目标32被建模成可用于在显示设备16上绘制虚拟化身50的虚拟骨架46。可以理解，处理流水线可包括比图2中所描述的更多的步骤和/或图2中所描述的替换步骤，而不背离本发明的范围。
如图2所示，人类目标32和所观察的场景14中的其余部分可由诸如深度相机22之类的捕捉设备来成像。深度相机可为每一像素确定在所观察的场景中一表面相对于深度相机的深度。在某些实施例中，深度相机22还进一步确定在该像素处从该表面反射的一个或多个光通道(例如，红、绿、蓝)的强度。在不偏离本公开的范围的情况下，可以使用实际上任何深度寻找技术。示例深度寻找技术参考图8的捕捉设备68更详细地讨论。
为每一像素所确定的深度信息可用于生成深度图42。这样的深度图可采用实际上任何合适的数据结构的形式，包括但不限于包括所观察的场景的每一像素的深度值的矩阵。在图2中，深度图42被示意性地示为人类目标32的轮廓的像素化网格。这一例示是出于理解简明的目的，而不是技术准确性。可以理解，深度图一般包括所有像素(不仅是对人类目标32进行成像的像素)的深度信息，并且深度相机22的角度不会得到图2中所描绘的轮廓。
虚拟骨架46可从深度图42导出，以提供对人类目标32的机器可读表示。换言之，从深度图42导出虚拟骨架46以便对人类目标32建模。虚拟骨架46可以按任何合适的方式从深度图中导出。在某些实施例中，可将一个或多个骨架适应算法应用于深度图。本发明与实际上任何骨架建模技术兼容。
虚拟骨架46可包括多个关节，每一关节对应于人类目标的一部分。在图2中，虚拟骨架46被示为十五个关节的线条画。具体而言，虚拟骨架46包括左肘关节88、右肘关节86、左手关节84和右手关节82等。这一例示是出于理解简明的目的，而不是技术准确性。根据本发明的虚拟骨架可包括实际上任何数量的关节，每一关节都可与实际上任何数量的参数(例如，三维关节位置、关节旋转等)相关联。可以理解，虚拟骨节可采用骨架数据结构的形式，该骨架数据结构包括多个骨架关节中的每一个的一个或多个参数(例如，包括每一关节的x位置、y位置、z位置和旋转的骨架矩阵)。在某些实施例中，可使用其他类型的虚拟骨架(例如，线框、一组形状图元等)。
如图2所示，可将虚拟化身50呈现在显示设备16上作为虚拟骨架46的视觉表示。由于虚拟骨架46对人类目标32进行建模，并且对虚拟化身50的呈现基于虚拟骨架46，因此虚拟化身50用作人类目标32的可查看的数字表示。由此，虚拟化身50在显示设备16上的移动反映人类目标32的移动。
在所示示例中，虚拟骨架46表示从深度图42中导出的原始骨架。在某些场景中，在呈现来自虚拟骨架的虚拟化身之前修改虚拟骨架可能是有益的。作为一个示例，可约束一个或多个关节位置——例如，如下文所述的双手模式关节约束。以下参考图3和4讨论与呈现虚拟化身之前对虚拟骨架的修改有关的细节。
此外，尽管将虚拟化身50用作可经由深度图的骨架建模由人类目标的移动来控制的游戏的一示例方面，但这并不旨在限制。人类目标可以用虚拟骨架来建模，而虚拟骨架可用于控制除虚拟化身以外的游戏或其他应用的各方面。例如，即使虚拟化身没有向显示设备呈现，人类目标的移动也可控制游戏或其他应用。
图3示出对人类目标随时间移动的序列310进行建模的初始虚拟骨架46A。如果初始虚拟骨架46A满足一个或多个准则，则受约束的虚拟骨架46B可从初始虚拟骨架46A中导出。在这一具体示例中，如果左手和右手被认为是在彼此的阈值距离内，则可根据自单手模式到双手模式来约束受约束的虚拟骨架46B。在其他实施例中，可应用不同的约束和/或准则。
在帧301，虚拟骨架46A包括左手关节84和右手关节82。每个手关节与空间锁定阈值(例如，右手空间锁定阈值96A和左手空间锁定阈值96B)相关联。在所示实施例中，每一空间锁定阈值随着手关节移动，并且是以手关节为中心的一般球形区域。
当每个手的空间锁定阈值是分开的时候，虚拟骨架46A被识别成要在第一模式中——即，单手模式。由此，在帧301，初始虚拟骨架46A不是根据双手模式约束来约束的，而初始虚拟骨架46A由显示/控制流水线312使用来呈现虚拟化身或以其他方式控制计算系统的各方面。
在帧302，左手和右手移动到一起，并且虚拟骨架46A具有相交的空间锁定阈值。当空间锁定阈值相交时，虚拟骨架46A被识别成要在第二模式中——即双手模式。由此，在帧302，初始虚拟骨架46A根据双手模式约束来约束的，而受约束的虚拟骨架46B由显示/控制流水线312使用来呈现虚拟化身或以其他方式控制计算系统的各方面。
上述示例空间锁定阈值实现是非限制性的。可应用其他空间锁定阈值实现而不背离本发明的范围。在某些实施例中，单手关节可具有空间锁定阈值，并且如果另一只手进入这一空间锁定阈值则可实现双手模式。在某些实施例中，可能不进入双手模式，除非空间锁定阈值准则维持了一时间阈值准则。换言之，仅在两只手足够接近持续一足够长的时间段的情况下双手模式才被实现。可使用实际上任何合适的准则来确定人类目标是否正意图使用真实或虚构的双手道具，而不背离本发明的范围。
如参考帧302中受约束的虚拟骨架46B所示出的，第二模式骨架数据(例如双手模式)可与第二骨架关节约束相关联，第二骨架关节约束不同于第一模式骨架数据的第一骨架关节约束。例如，双手模式可实现包括锁定的手单元83、左肘关节88和右肘关节86的稳定关节复合95。锁定的手单元83可包括被约束成锁定在一起的右手关节和左手关节，即使初始虚拟骨架46A示出两个手关节是分开的。可将锁定的手单元83约束为例如平均观察到的左手关节和右手关节的位置。作为另一示例，可将锁定的手单元83约束为观察到的左手关节的位置或观察到的右手关节的位置。在这样的情况下，观察到的具有最高位置置信的手关节位置可被选作锁定的手单元被约束到的位置。
包括在稳定关节复合95中的一个或多个关节可具有降低的自由度，而不包括在稳定关节复合95中的各关节可具有正常的自由度。可以理解，锁定的手单元83作为一单元可自由移动，并且术语锁定仅用于描述左手关节相对于右手关节的关联。
如在帧303处所示，一旦实现了双手模式，就可以实现左手空间解锁阈值98A和右手空间解锁阈值98B来确定何时从双手模式切换回单手模式。在这一实现中，单手模式在各解锁阈值变成分开的情况下实现。空间解锁阈值相比于空间锁定阈值的大小可基于可触发从单手模式到双手模式的切换(或反过来)的观察到的移动量来选择。在某些实施例中，包括图3中所示的实施例，空间锁定阈值可小于空间解锁阈值。在这样的情况下，触发从双手模式到单手模式的切换需要手分开得相对更大，由此潜在地避免假切换。
类似于以上讨论的空间锁定阈值，空间解锁阈值可以按任何所需方式来实现，并且可与诸如时间准则之类的其他准则合并。例如，可仅在观察到两个手关节被分开阈值距离持续一阈值持续时间的情况下实现从双手模式到单手模式的切换。
在帧303，示出了带有左手空间解锁阈值98A与右手空间解锁阈值98B相交的虚拟骨架46A。由此，在帧303，初始虚拟骨架46A根据双手模式约束来约束，而带有稳定关节复合95的受约束的虚拟骨架46B由显示/控制流水线312使用来呈现虚拟化身或以其他方式控制计算系统的各方面。对于帧304也是如此，尽管左手关节和右手关节移动得甚至更分开。
在帧305，示出了带有分开的左手空间解锁阈值98A和右手空间解锁阈值98B的虚拟骨架46A。由此，在帧305，初始虚拟骨架46A不是根据双手模式约束来约束的，而初始虚拟骨架46A由显示/控制流水线312使用来呈现虚拟化身或以其他方式控制计算系统的各方面。
提供图3作为骨架数据修改的一个示例，该示例可发生在初始虚拟骨架46A与受约束的虚拟骨架46B之间且不意味着以任何方式进行限制。在某些实施例中，可不同地约束两个手关节，和/或可另外地和/或另选地约束虚拟骨架的其他部分。在某些实施例中，可不止每帧一次地约束初始虚拟骨架46A。
图4示意性地示出被遮挡的关节寻找。当人类目标位于一个或多个身体部分在深度图中未被清楚地定义的这一位置时，被遮挡的关节可发生。换言之，深度相机可捕捉由于人类目标的一个或多个身体部分被遮挡而看不见因此缺失表示那些身体部分的深度数据的深度图。在这样的场景中，所获得的深度数据(对未被遮挡的/可见的身体部分的表示)可用于近似该缺失深度数据(被遮挡的身体部分)。可采用任何数量的方法来从所获得的(可见)深度数据中近似缺失深度数据，并且提供图4作为一个非限制性示例。
图4示出带有可见左肘关节88C和被遮挡的右肘关节86C的部分骨架46C。如果要仅从所获得的深度图中导出部分骨架46C，则表示右肘关节76C的深度数据会丢失。由此，部分骨架46C可用于近似右肘关节86C和完整的骨架关节46D。
如图所示，虚拟骨架46D包括锁定的手单元83D、可见肘88D、左肩89D和右肩87D以及其他关节。可见肘88D、锁定的手单元83D以及左肩89D和右肩87D之间的点(诸如胸骨90D)可形成用于导出近似肘86D的三角形。近似肘86D可被定位成可见轴88D跨锁定的手单元83D与胸骨90D之间的线的反射。一旦近似肘86D被获取，虚拟骨架46D就可用于呈现虚拟化身50和/或以其他方式控制计算系统。
可以理解，提供图4作为用于对被遮挡的关节(诸如被遮挡的肘86C)进行近似的一个示例，且其他被遮挡的关节可利用附加的和/或替换的可见关节来近似。提供了将被遮挡的关节近似成可见关节的反射来作为一个示例，且可使用用于将未被遮挡的/可见关节用作参考点来对被遮挡的关节进行近似的其他方法，而不背离本发明的范围。
在某些场景中，电子游戏玩家可手持或假装手持一物体，诸如剑或球拍。在这样的场景中，可在调整和/或控制电子游戏的参数时考虑玩家以及真实或虚拟物体的运动。例如，可以跟踪并利用手持(或假装手持)剑的玩家的运动来控制电子击剑游戏中屏幕上的剑。
图5示出带有虚拟道具99′(即虚拟光剑)的虚拟化身50以及用于呈现虚拟化身50的虚拟骨架46的一部分的示例。虚拟化身50包括与虚拟骨架46的各关节对应的多个关节——图5中描绘的那些包括锁定的手单元83′、左肘关节88′、右肘关节86′、左肩89′以及右肩87′。可以理解，虚拟化身50可包括附加的和/或替换的关节。虚拟骨架46可任选地与可用于相对于虚拟化身50来定向虚拟道具99′的双手道具向量99相关联。
双手道具向量99可具有相对于稳定关节复合95的固定方向。双手道具向量99可源自锁定的手单元83且可被定位以使得双手道具向量99与锁定的手单元83、左肘关节88和右肘关节86所定义的平面垂直。
可根据双手道具向量99的位置和方向来呈现虚拟道具99′。由于双手道具向量的位置和方向基于虚拟骨架46的稳定关节复合95，因此虚拟道具99′的对应位置和方向受益于稳定关节复合所提供的建模稳定性。由此，虚拟道具99′受到保护以免于抖动和其他建模/呈现问题。
在某些实施例中，一个或多个附加参数可用于修改双手道具向量的方向。例如，游戏人工智能和/或骨架的加速度可用于偏离与锁定的手单元83、左肘关节88和右肘关节86所定义的平面垂直的双手道具向量。在某些实施例中，手的方向和/或延伸可用于修改双手道具向量的方向。
提供图5作为用于在人类目标不手持物理道具的情况下定位虚拟道具(诸如武器)的非限制性示例。在这一示例中，在双手模式中观察人类目标，且可以理解在其他模式期间可包括虚拟道具。例如，虚拟化身50可包括在单手模式中观察人类目标时的虚拟道具。在另一示例中，人类目标可手持物理道具，该物理道具可由深度相机捕捉且被包括为骨架数据的一部分。换言之，目标可包括人类和物体。在这些实施例中，例如，电子游戏的玩家可手持物体，从而可以使用玩家和物体的运动来调整和/或控制电子游戏的参数。
图6是示出跟踪人类目标的方法600的流程图。在601，方法600包括用带有包括多个关节的虚拟骨架对从一个或多个深度相机获取的深度图内观察到的人类目标进行建模。多个关节可包括左手关节和右手关节等。在602，方法600包括在观察到左手关节和右手关节在彼此的空间锁定阈值内移动的情况下将虚拟骨架约束为双手模式。在双手模式中，左手关节和右手关节被锁定在一起作为锁定的手单元。在603，方法600包括在观察到左手关节和右手关节移动到彼此的空间解锁阈值以外的情况下将虚拟骨架从双手模式切换到单手模式。
图7是示出定位并对准虚拟道具的方法700的流程图。在701，方法700包括用带有包括多个关节的虚拟骨架对从一个或多个深度相机获取的深度图内观察到的人类目标进行建模。多个关节可包括左肘关节、右肘关节、左手关节和右手关节等。左手关节和右手关节可被锁定在一起作为锁定的手单元。在702，方法700包括将虚拟道具定位在锁定的手单元。在703，方法700包括用相对于左肘关节、右肘关节和锁定的手单元所定义的平面的固定方向来对准虚拟道具。
图6和7中所示的方法是跟踪观察到的场景中的人类目标并且定位和对准虚拟道具的非限制性示例。所示方法可包括附加的和/或替换的步骤。例如，方法可包括初始化步骤，其中可在游戏开始前分析人类目标。这样的初始化步骤可允许例如单手模式和双手模式之间更平滑的下游转换。具体而言，当虚拟道具被启用时，该方法可包括从初始化步骤保存的数据，从而允许例如虚拟化身的左手和右手抓住虚拟道具。保存的数据可包括手指的位置，且左手手指可用于解释并显示右手手指，反之亦然。可提供保存的手指数据作为一个非限制性示例，且初始化步骤可包括允许不同模式之间更平滑的下游修改和转换的其他保存的数据。
一般而言，深度图像分析系统可包括图8中以简化形式示出的计算系统60，该系统可执行本文描述的目标识别、跟踪以及分析方法和过程中的一个或多个。计算系统60可以采取各种不同的形式，尤其是包括但不限于：游戏控制台、个人计算系统、公共计算系统、人类交互式机器人、军用跟踪系统、以及提供绿屏或者运动捕获功能的特征采集系统。
计算系统60可包括逻辑子系统62、数据保持子系统64、显示子系统66和/或捕捉设备68。计算系统60可任选地包括图8中未示出的组件，和/或图8中所示的某些组件可以是不集成在计算系统中的外围组件。
逻辑子系统62可包括被配置为执行一个或多个指令的一个或更多个物理设备。例如，逻辑子系统可被配置为执行一个或多个指令，该一个或多个指令是一个或多个应用、服务、程序、例程、库、对象、组件、数据结构、或其它逻辑构造的部分。可实现此类指令以执行任务、实现数据类型、变换一个或多个设备的状态、或以其它方式得到所需结果。
逻辑子系统可包括被配置成执行软件指令的一个或多个处理器。另外或另选地，逻辑子系统可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机器。逻辑子系统的处理器可以是单核或多核，且在其上执行的程序可被配置为并行或分布式处理。逻辑子系统可以任选地包括遍布两个或更多个设备(例如，游戏控制台和深度相机)的独立组件，所述单独组件可远程放置和/或被配置为进行协同处理。该逻辑子系统的一个或多个方面可被虚拟化并由以云计算配置进行配置的可远程访问的联网计算设备执行。
数据保持子系统64可包括一个或更多个物理、非瞬时设备，这些设备被配置成保持数据和/或可由该逻辑子系统执行的指令，以实现此处描述的方法和过程。在实现这样的方法和过程时，可以变换数据保持子系统64的状态(例如，以保持不同数据)。
数据保持子系统64可以包括可移动介质和/或内置设备。数据保持子系统64尤其是可以包括光学存储器设备(例如，CD、DVD、HD-DVD、蓝光盘等)、半导体存储器设备(例如，RAM、EPROM、EEPROM等)和/或磁存储器设备(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)。数据保持子系统64可以包括具有以下特性中的一个或更多个特性的设备：易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址、以及内容可寻址。在某些实施例中，可以将逻辑子系统62和数据保持子系统64集成到一个或更多个常见设备中，如专用集成电路或片上系统。
图8还示出以可移动计算机可读存储介质70形式的数据保持子系统的一方面，该可移动计算机可读存储介质70可用于存储和/或传输可执行以实现此处所述的方法和过程的数据和/或指令。可移动计算机可读存储介质70尤其是可以采取CD、DVD、HD-DVD、蓝光盘、EEPROM和/或软盘形式。
可以明白，数据保持子系统64包括一个或多个方面物理非瞬态设备。相反，在一些实施例中，本文描述的指令的各方面可以按暂态方式通过不由物理设备在至少有限持续时间期间保持的纯信号(例如电磁信号、光信号等)传播。此外，与本发明有关的数据和/或其他形式的信息可以通过纯信号传播。
显示子系统66可用于呈现由数据保持子系统64保持的数据的可见表示。由于此处所描述的方法和过程改变由数据保持子系统保持的数据，并由此变换数据保持子系统的状态，因此同样可以变换显示子系统66的状态以在视觉上表示底层数据的改变。作为一个非限制性示例，可通过显示子系统66以响应于游戏玩家在物理空间中的移动来改变游戏空间中的姿态的游戏人物的形式来反映这里所述的目标识别、跟踪和分析。显示子系统66可以包括使用实际上任何类型的技术的一个或多个显示设备。可将这些显示设备与逻辑子系统62和/或数据保持子系统44一起组合在共享封装中，或这些显示设备可以是外围显示设备，如图1所示。
当被包括在内时，通信子系统可以被配置成将计算系统60与一个或多个其他计算设备可通信地耦合。这样的通信子系统可包括与一个或多个不同的通信协议相兼容的有线和/或无线通信设备。作为非限制性示例，该通信子系统可以被配置成经由无线电话网、无线局域网、有线局域网、无线广域网、有线广域网等进行通信。在一些实施例中，该通信子系统可允许计算系统60经由网络(比如因特网)向其他设备发送消息和/或从其他设备接收消息。
计算系统60还包括被配置成获得一个或多个目标的深度图像的捕捉设备68。捕捉设备68可以被配置成通过任何合适的技术(例如，飞行时间、结构化光、立体图像等等)捕捉具有深度信息的视频。如此，捕捉设备68可包括深度相机、摄像机、立体相机、和/或其他合适的捕捉设备。
例如，在飞行时间分析中，捕捉设备68可以向目标发射红外光，然后可使用传感器来检测从目标的表面反向散射的光。在一些情况下，可以使用脉冲式红外光，其中可以测量出射光脉冲和相应的入射光脉冲之间的时间差并将其用于确定从该捕捉设备到目标上的特定位置的物理距离。在一些情况下，出射光波的相位可以与入射光波的相位相比较以确定相移，并且该相移可以用于确定从该捕捉设备到目标上的特定位置的物理距离。
在另一示例中，飞行时间分析可用于通过经由诸如快门式光脉冲成像之类的技术分析反射光束随时间的强度，来间接地确定从该捕捉设备到目标上的特定位置的物理距离。
在另一示例中，结构化光分析可以被捕捉设备68用于捕捉深度信息。在这样的分析中，图案化光(即被显示为诸如网格图案、条纹图案或星座点之类的已知图案的光)可以被投影到目标上。在落到目标的表面上以后，该图案可能变为变形的，并且可以研究该图案的这种变形以确定从该捕捉设备到目标上的某一位置的物理距离。
在另一示例中，捕捉设备可以包括两个或更多个物理上分开的相机，这些相机从不同角度查看目标以获得视觉立体数据。在这种情况下，该视觉立体数据可以被解析以生成深度图像。
在其他实施例中，捕捉设备68可以使用其他技术来测量和/或计算深度值。此外，捕捉设备68可以将所计算的深度信息组织为“Z层”，即与从深度相机沿其视线延伸到目标的Z轴垂直的层。
在一些实施例中，两个或更多个不同的相机可以被合并到一集成的捕捉设备中。例如，深度相机和摄像机(例如RGB摄像机)可以被合并到共同的捕捉设备中。在一些实施例中，可以协作式地使用两个或更多个分开的捕捉设备。例如，可以使用深度相机和分开的摄像机。当使用摄像机时，可以将其用于提供目标跟踪数据、对目标跟踪进行纠错的确认数据、图像捕捉、面部识别、高精度手指(或其他小特征)跟踪、光感测和/或其他功能。
要理解，至少一些目标分析和跟踪操作可以由一个或多个捕捉设备的逻辑机来执行。捕捉设备可以包括被配置成执行一个或多个目标分析和/或跟踪功能的一个或多个板载处理单元。捕捉设备可以包括便于更新这样的板载处理逻辑的固件。
计算系统60可任选地包括诸如控制器52和控制器54之类的一个或多个输入设备。输入设备可被用于控制计算系统的操作。在游戏的上下文中，诸如控制器52和/或控制器54之类的输入设备可被用于控制游戏的那些不是通过这里所述的目标识别、跟踪和分析方法和过程来控制的方面。在某些实施例中，诸如控制器52和/或控制器54之类的输入设备可包括可用于测量控制器在物理空间中的移动的加速计、陀螺仪、红外目标/传感器系统等中的一个或多个。在某些实施例中，计算系统可任选地包括和/或利用输入手套、键盘、鼠标、跟踪垫、轨迹球、触屏、按钮、开关、拨盘、和/或其他输入设备。如将理解的，目标识别、跟踪和分析可被用于控制或扩充游戏或其他应用的常规上由诸如游戏控制器之类的输入设备控制的方面。在某些实施例中，这里所述的目标跟踪可被用作对其他形式的用户输入的完全替代，而在其他实施例中，这种目标跟踪可被用于补充一个或多个其他形式的用户输入。
应该理解，此处所述的配置和/或方法在本质上是示例性的，且这些具体实施例或示例不是局限性的，因为多个变体是可能。此处所述的具体例程或方法可表示任何数量的处理策略中的一个或更多个。由此，所示出的各个动作可以按所示顺序执行、按其他顺序执行、并行地执行、或者在某些情况下省略。同样，可以改变上述过程的次序。
本发明的主题包括各种过程、系统和配置的所有新颖和非显而易见的组合和子组合、和此处所公开的其他特征、功能、动作、和/或特性、以及其任何和全部等效物。

Claims (10)

1.一种深度图像分析系统(10)，包括：
与一个或多个深度相机(22)进行有效通信的逻辑子系统(62)，所示逻辑子系统(62)被配置成生成观察到的场景(14)的深度图(42)；以及
数据保持子系统(64)，所示数据保持子系统(64)保持能由逻辑子系统执行以进行以下操作的指令：
在观察到的场景中的人类目标(32)的一部分被观察到具有第一组关节位置的情况下，输出表示所述人类目标的第一模式骨架数据；以及
在观察到的场景中的所述人类目标的该部分被观察到具有不同于所述第一组关节位置的第二组关节位置的情况下，输出表示所述人类目标的第二模式骨架数据，所述第一模式骨架数据和所述第二模式骨架数据具有不同的骨架关节约束。
2.如权利要求1所述的深度图像分析系统，其特征在于，所述第一模式骨架数据是单手模式骨架数据，且所述第一组关节位置包括被观察到处在分开的关节位置的左手关节和右手关节；以及所述第二模式骨架数据是双手模式骨架数据，且所述第二组关节位置包括被观察到处在不分开的关节位置的左手关节和右手关节。
3.如权利要求2所述的深度图像分析系统，其特征在于，所述数据保持子系统保持能由所述逻辑子系统执行的指令以便在观察到所述左手关节和右手关节在空间锁定阈值内的情况下从输出单手模式骨架数据切换到输出双手模式骨架数据，以及在观察到所述左手关节和右手关节在空间解锁阈值以外的情况下从输出双手模式骨架数据切换到输出单手模式骨架数据。
4.如权利要求3所述的深度图像分析系统，其特征在于，所述空间锁定阈值小于所述空间解锁阈值。
5.如权利要求2所述的深度图像分析系统，其特征在于，所述双手模式骨架数据包括稳定关节复合，所述稳定关节复合包括右肘关节、左肘关节和锁定的手单元，并且所述右肘关节和所述左肘关节中被遮挡的一个关节被定位成所述右肘关节和所述左肘关节中未被遮挡的一个关节跨所述锁定的手单元与胸骨点之间延伸的线的反射。
6.一种跟踪人类目标的方法，所述方法包括：
用具有包括多个关节的虚拟骨架对从一个或多个深度相机所获取的深度图内观察到的人类目标进行建模(601)，所述多个关节包括左手关节和右手关节；
在观察到所述左手关节和右手关节移动到彼此的空间锁定阈值内的情况下，将所述虚拟骨架约束(602)成双手模式，其中所述左手关节和右手关节被锁定在一起作为所述双手模式中锁定的手单元；以及
在观察到所述左手关节和右手关节移动到彼此的空间解锁阈值以外的情况下，将所述虚拟骨架从所述双手模式切换(603)到单手模式。
7.如权利要求6所述的方法，其特征在于，所述空间锁定阈值小于所述空间解锁阈值。
8.如权利要求6所述的方法，其特征在于，所述锁定的手单元被约束成所述右手关节和左手关节的平均观察到的位置，或者所述锁定的手单元被约束成具有最高置信的观察到的手关节的观察到的位置。
9.如权利要求6所述的方法，其特征在于，还包括将虚拟道具定位在所述锁定的手单元处，并且用相对于所述左肘关节、右肘关节和锁定的手单元所定义的平面的固定方向来对准所述虚拟道具。
10.如权利要求9所述的方法，其特征在于，所述固定方向垂直于所述平面。
CN201110386118.9A 2010-11-19 2011-11-18 双模深度图像分析 Active CN102541258B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/950,854 2010-11-19
US12/950,854 US9349040B2 (en) 2010-11-19 2010-11-19 Bi-modal depth-image analysis

Publications (2)

Publication Number Publication Date
CN102541258A true CN102541258A (zh) 2012-07-04
CN102541258B CN102541258B (zh) 2015-12-09

Family

ID=46064413

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110386118.9A Active CN102541258B (zh) 2010-11-19 2011-11-18 双模深度图像分析

Country Status (2)

Country Link
US (1) US9349040B2 (zh)
CN (1) CN102541258B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104756045A (zh) * 2012-10-04 2015-07-01 微软公司 用于跟踪由关节连接的身体部位的可佩戴传感器

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8942917B2 (en) 2011-02-14 2015-01-27 Microsoft Corporation Change invariant scene recognition by an agent
US8571263B2 (en) * 2011-03-17 2013-10-29 Microsoft Corporation Predicting joint positions
US8740702B2 (en) * 2011-05-31 2014-06-03 Microsoft Corporation Action trigger gesturing
RU2455676C2 (ru) 2011-07-04 2012-07-10 Общество с ограниченной ответственностью "ТРИДИВИ" Способ управления устройством с помощью жестов и 3d-сенсор для его осуществления
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
KR101909630B1 (ko) 2012-10-30 2018-10-18 삼성전자주식회사 동작 인식 방법 및 동작 인식 장치
US9019267B2 (en) 2012-10-30 2015-04-28 Apple Inc. Depth mapping with enhanced resolution
US9857470B2 (en) 2012-12-28 2018-01-02 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
TWI515605B (zh) * 2013-01-29 2016-01-01 緯創資通股份有限公司 手勢辨識與控制方法及其裝置
US9940553B2 (en) 2013-02-22 2018-04-10 Microsoft Technology Licensing, Llc Camera/object pose from predicted coordinates
US9144744B2 (en) * 2013-06-10 2015-09-29 Microsoft Corporation Locating and orienting device in space
US9971490B2 (en) * 2014-02-26 2018-05-15 Microsoft Technology Licensing, Llc Device control
US10481696B2 (en) * 2015-03-03 2019-11-19 Nvidia Corporation Radar based user interface
CN106599770A (zh) * 2016-10-20 2017-04-26 江苏清投视讯科技有限公司 一种基于体感动作识别及抠像的滑雪场景显示方法
US10269116B2 (en) * 2016-12-26 2019-04-23 Intel Corporation Proprioception training method and apparatus
US10685466B2 (en) * 2017-05-23 2020-06-16 Dell Products L.P. System and method of utilizing video systems with available bandwidth
US10542245B2 (en) * 2017-05-24 2020-01-21 Lg Electronics Inc. Mobile terminal and method for controlling the same
US20180359448A1 (en) * 2017-06-07 2018-12-13 Digital Myths Studio, Inc. Multiparty collaborative interaction in a virtual reality environment
US10249163B1 (en) * 2017-11-10 2019-04-02 Otis Elevator Company Model sensing and activity determination for safety and efficiency
CN107832736B (zh) * 2017-11-24 2020-10-27 南京华捷艾米软件科技有限公司 实时人体动作的识别方法和实时人体动作的识别装置
US11113887B2 (en) * 2018-01-08 2021-09-07 Verizon Patent And Licensing Inc Generating three-dimensional content from two-dimensional images
EP3953857A4 (en) * 2019-04-12 2022-11-16 INTEL Corporation TECHNOLOGY TO AUTOMATICALLY IDENTIFY THE FRONT BODY ORIENTATION OF INDIVIDUALS IN REAL-TIME MULTICAMERA VIDEO STREAMS

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0520099A1 (en) * 1990-12-25 1992-12-30 Shukyohojin, Kongo Zen Sohonzan Shorinji Applied motion analysis and design
US20040091153A1 (en) * 2002-11-08 2004-05-13 Minolta Co., Ltd. Method for detecting object formed of regions from image
US20060274947A1 (en) * 2005-03-17 2006-12-07 Kikuo Fujimura Pose estimation based on critical point analysis
CN101246602A (zh) * 2008-02-04 2008-08-20 东华大学 基于几何骨架的人体姿态重建方法
US20080212836A1 (en) * 2003-05-29 2008-09-04 Kikuo Fujimura Visual Tracking Using Depth Data
CN101657825A (zh) * 2006-05-11 2010-02-24 普莱姆传感有限公司 根据深度图对人形进行建模
JP4422695B2 (ja) * 2006-04-17 2010-02-24 株式会社ソニー・コンピュータエンタテインメント 画像表示システム、記録媒体及びプログラム

Family Cites Families (176)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (zh) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
WO1993010708A1 (en) 1991-12-03 1993-06-10 French Sportech Corporation Interactive video testing and training system
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
JPH0844490A (ja) 1994-07-28 1996-02-16 Matsushita Electric Ind Co Ltd インターフェイス装置
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
JP3481631B2 (ja) 1995-06-07 2003-12-22 ザ トラスティース オブ コロンビア ユニヴァーシティー イン ザ シティー オブ ニューヨーク 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを用いる物体の３次元形状を決定する装置及び方法
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
WO1999044698A2 (en) 1998-03-03 1999-09-10 Arena, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
JP2000508804A (ja) * 1996-04-04 2000-07-11 カトリックス，インク． 混合運動データを含む関節を持つキャラクターの会話型コンピュータ・アニメーションのための四肢調整システム
US5909218A (en) * 1996-04-25 1999-06-01 Matsushita Electric Industrial Co., Ltd. Transmitter-receiver of three-dimensional skeleton structure motions and method thereof
CA2253626A1 (en) 1996-05-08 1997-11-13 Real Vision Corporation Real time simulation using position sensing
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
EP0959444A4 (en) 1996-08-14 2005-12-07 Nurakhmed Nurislamovic Latypov METHOD FOR TRACKING AND REPRESENTING THE POSITION AND ORIENTATION OF A SUBJECT IN THE SPACE, METHOD FOR PRESENTING A VIRTUAL SPACE THEREON, AND SYSTEMS FOR CARRYING OUT SAID METHODS
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
DE69626208T2 (de) 1996-12-20 2003-11-13 Hitachi Europ Ltd Verfahren und System zur Erkennung von Handgesten
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US6384819B1 (en) 1997-10-15 2002-05-07 Electric Planet, Inc. System and method for generating an animatable character
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
AU1099899A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US20010008561A1 (en) * 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
DE69936620T2 (de) 1998-09-28 2008-05-21 Matsushita Electric Industrial Co., Ltd., Kadoma Verfahren und Vorrichtung zum Segmentieren von Handgebärden
US6661918B1 (en) 1998-12-04 2003-12-09 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
DE69840608D1 (de) 1998-12-16 2009-04-09 3Dv Systems Ltd Selbsttastende photoempfindliche oberfläche
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US6674877B1 (en) 2000-02-03 2004-01-06 Microsoft Corporation System and method for visually tracking occluded objects in real time
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
ATE321689T1 (de) 2002-04-19 2006-04-15 Iee Sarl Sicherheitsvorrichtung für ein fahrzeug
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
AU2003283887A1 (en) * 2002-11-20 2004-06-15 John Hansen Ryall Instruction method using virtual apparatus
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
EP1477924B1 (en) 2003-03-31 2007-05-02 HONDA MOTOR CO., Ltd. Gesture recognition apparatus, method and program
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
US7620202B2 (en) 2003-06-12 2009-11-17 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
CN100573548C (zh) 2004-04-15 2009-12-23 格斯图尔泰克股份有限公司 跟踪双手运动的方法和设备
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
US7386150B2 (en) 2004-11-12 2008-06-10 Safeview, Inc. Active subject imaging with body identification
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
CN102831387B (zh) 2005-01-07 2016-12-14 高通股份有限公司 检测和跟踪图像中的物体
CN101198964A (zh) 2005-01-07 2008-06-11 格斯图尔泰克股份有限公司 使用红外图案照射创建对象的三维图像
JP5080273B2 (ja) 2005-01-07 2012-11-21 クアルコム，インコーポレイテッド オプティカルフローに基づく傾きセンサー
JP5631535B2 (ja) 2005-02-08 2014-11-26 オブロング・インダストリーズ・インコーポレーテッド ジェスチャベースの制御システムのためのシステムおよび方法
WO2006124935A2 (en) 2005-05-17 2006-11-23 Gesturetek, Inc. Orientation-sensitive signal output
DE602005010696D1 (de) 2005-08-12 2008-12-11 Mesa Imaging Ag Hochempfindliches, schnelles Pixel für Anwendung in einem Bildsensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
US8351646B2 (en) * 2006-12-21 2013-01-08 Honda Motor Co., Ltd. Human pose estimation and tracking using label assignment
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
WO2009035705A1 (en) * 2007-09-14 2009-03-19 Reactrix Systems, Inc. Processing of gesture-based user interactions
US8005263B2 (en) * 2007-10-26 2011-08-23 Honda Motor Co., Ltd. Hand sign recognition using label assignment
CN201254344Y (zh) 2008-08-20 2009-06-10 中国农业科学院草原研究所 植物标本及种子存贮器
US20110077065A1 (en) * 2009-09-29 2011-03-31 Rudell Design, Llc Game set with wirelessly coupled game units
TWI411935B (zh) * 2009-12-25 2013-10-11 Primax Electronics Ltd 利用影像擷取裝置辨識使用者姿勢以產生控制訊號之系統以及方法
JP2011253292A (ja) * 2010-06-01 2011-12-15 Sony Corp 情報処理装置および方法、並びにプログラム
US9821224B2 (en) * 2010-12-21 2017-11-21 Microsoft Technology Licensing, Llc Driving simulator control with virtual skeleton
US8994718B2 (en) * 2010-12-21 2015-03-31 Microsoft Technology Licensing, Llc Skeletal control of three-dimensional virtual world
US8385596B2 (en) * 2010-12-21 2013-02-26 Microsoft Corporation First person shooter control with virtual skeleton
US8740702B2 (en) * 2011-05-31 2014-06-03 Microsoft Corporation Action trigger gesturing
US20130104089A1 (en) * 2011-10-20 2013-04-25 Fuji Xerox Co., Ltd. Gesture-based methods for interacting with instant messaging and event-based communication applications
JP2013205983A (ja) * 2012-03-27 2013-10-07 Sony Corp 情報入力装置及び情報入力方法、並びにコンピューター・プログラム
TWI497347B (zh) * 2012-05-09 2015-08-21 Hung Ta Liu 以手勢為輸入之控制系統
US9958946B2 (en) * 2014-06-06 2018-05-01 Microsoft Technology Licensing, Llc Switching input rails without a release command in a natural user interface

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0520099A1 (en) * 1990-12-25 1992-12-30 Shukyohojin, Kongo Zen Sohonzan Shorinji Applied motion analysis and design
US20040091153A1 (en) * 2002-11-08 2004-05-13 Minolta Co., Ltd. Method for detecting object formed of regions from image
US20080212836A1 (en) * 2003-05-29 2008-09-04 Kikuo Fujimura Visual Tracking Using Depth Data
US20060274947A1 (en) * 2005-03-17 2006-12-07 Kikuo Fujimura Pose estimation based on critical point analysis
JP4422695B2 (ja) * 2006-04-17 2010-02-24 株式会社ソニー・コンピュータエンタテインメント 画像表示システム、記録媒体及びプログラム
CN101657825A (zh) * 2006-05-11 2010-02-24 普莱姆传感有限公司 根据深度图对人形进行建模
CN101246602A (zh) * 2008-02-04 2008-08-20 东华大学 基于几何骨架的人体姿态重建方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104756045A (zh) * 2012-10-04 2015-07-01 微软公司 用于跟踪由关节连接的身体部位的可佩戴传感器
CN104756045B (zh) * 2012-10-04 2018-06-08 微软技术许可有限责任公司 用于跟踪由关节连接的身体部位的可佩戴传感器
US10234941B2 (en) 2012-10-04 2019-03-19 Microsoft Technology Licensing, Llc Wearable sensor for tracking articulated body-parts

Also Published As

Publication number Publication date
CN102541258B (zh) 2015-12-09
US9349040B2 (en) 2016-05-24
US20120128201A1 (en) 2012-05-24

Similar Documents

Publication Publication Date Title
CN102541258B (zh) 双模深度图像分析
CN102542160B (zh) 三维虚拟世界的骨架控制
CN103517742B (zh) 手动且基于相机的化身控制
EP2435146B1 (en) Systems and methods for applying animations or motions to a character
CN102542867B (zh) 用于操纵虚拟车辆的方法和系统
EP2701817B1 (en) Manual and camera-based game control
US8657683B2 (en) Action selection gesturing
CN103501868B (zh) 用于对分开的计算机游戏元素的控制的方法和系统
CN102707876B (zh) 界面控件的按压个性化
US20140235350A1 (en) Action trigger gesturing
CN102592045A (zh) 通过虚拟骨架的第一人称射击者控制
CN102449577A (zh) 虚拟桌面坐标变换
CN102645973A (zh) 用于减轻环境因素的环境修改
CN103608073B (zh) 形状跟踪做手势
KR101244646B1 (ko) 가상 공간과 현실 공간을 연계한 로봇 게임 시스템

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150728

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150728

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

C14 Grant of patent or utility model
GR01 Patent grant