CN102129293A - 在运动捕捉系统中跟踪用户组 - Google Patents

Abstract

本发明提供了在运动捕捉系统中跟踪用户组的系统和方法。在运动捕捉系统中，基于一组人的检测到的移动和/或位置来向应用提供单一输入。也可使用来自该组的音频信息来作为输入。应用可经由显示器和音频输出来向该人或组提供实时反馈。例如，组可以基于组中的每一个人的移动来控制化身在虚拟空间中的移动，如在操控或平衡游戏中。为避免应用的不连续或混乱输出，可为被遮挡或部分地在视野外的个人生成遗漏数据。可以设置用于激活新的个人以及停用当前活动的个人的等待时间。该等待时间可以基于个人的首次检出位置或最后检测位置而自适应。

Description

在运动捕捉系统中跟踪用户组

技术领域

本发明涉及运动捕捉系统，尤其涉及运动捕捉系统的用户跟踪。

背景技术

运动捕捉系统获得关于人或其他主体在物理空间中的位置和移动的数据，并可使用该数据作为计算系统中的某一应用的输入。可能有许多应用，如出于军事、娱乐、体育和医疗目的。例如，人的运动可被映射到三维人类骨架模型并用于创建动画人物或化身。包括使用可见和不可见(例如，红外)光的系统在内的光学系统使用相机来检测视野中的人的存在。可对人放置标记来帮助检测，但也已经开发了无标记系统。某些系统使用由人携带或附带的惯性传感器来检测移动。例如，在某些视频游戏应用中，用户握住可在玩游戏时检测移动的无线控制器。然而，需要允许个人和组与应用更自然地交互的进一步改进。

发明内容

提供了一种用于跟踪用户组来向应用提供单一输入的处理器实现的方法、运动捕捉系统和有形计算机可读存储。

在运动捕捉系统中，跟踪一个或多个人在视野中的移动，并将这些移动用作对应用的输入。在一种方法中，基于一组人的移动和/或位置来向应用提供单一输入。也可使用来自该组的音频信息来作为输入。应用可经由显示器和音频输出来向该人或组提供实时反馈。例如，组可以基于组中的每一个人的移动来控制化身在虚拟空间中的移动。在一示例实现中，使用组输入来操控或平衡游戏应用中的化身。在另一方面，为被遮挡或部分地在视野外的人生成遗漏数据。在又一方面，使用各种技术来最小化应用的不连续输出的风险。

在一个实施例中，一种用于在运动捕捉系统中跟踪多个人的处理器实现的方法包括跟踪运动捕捉系统的视野中的包括各个人的身体的组。该跟踪包括检测视野中的各个人的身体。人可被个别地检测。基于该跟踪，基于该组中的各人的移动按照单一实体来确定该组的移动。例如，可以随着标识组中的各个成员来标识围绕该组的团或块的移动。或者，可以个别地标识每一个人。可以为每一个人确定代表性点位置，并且可以基于每一个人的代表性点位置的集体移动来确定组的移动。该方法还包括向应用提供基于组作为单一实体的移动的输入。应用在显示器上显示虚拟空间，并基于各输入来实时更新显示器，使得组基于该组作为单一实体的移动来控制应用程序。

提供本发明内容以便用简化形式介绍在下面的说明书中进一步描述的一些概念。本发明内容并不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。

附图说明

图1a和1b描绘了其中用户与模拟拳击比赛的应用交互的运动捕捉系统的一个示例实施例。

图2描绘了图1a的运动捕捉系统10的示例框图。

图3描绘了可以在图1a的运动捕捉系统中使用的计算环境的示例框图。

图4描绘了可以在图1a的运动捕捉系统中使用的计算环境的另一示例框图。

图5描绘了用于使一个或多个人能够与运动捕捉系统交互的方法。

图6a描绘了用于如图5的步骤500所述地跟踪一个或多个人的移动的示例方法。

图6b描绘了用于如图5的步骤500所述地跟踪视野中的一个或多个人的示例方法，其中确定每一个人的代表性点位置。

图6c描绘了用于如图5的步骤500所述地跟踪视野中的一个或多个人的示例方法，其中确定单个形状的代表性点位置。

图6d描绘了用于如图5的步骤500所述地跟踪视野中的一个或多个人的示例方法，其中确定共同移动。

图6e描绘了如图6a的步骤608所述的个人的示例骨架模型。

图6f描绘了如图6a的步骤608所述的个人的另一示例骨架模型。

图6g描绘了如图6a的步骤608所述的一组人的示例模型。

图6h描绘了如图6b的步骤614所述地基于骨架模型来确定代表性点位置的示例。

图6i描绘了如图6b的步骤618所述地基于定界圆柱体或矩形来确定代表性点位置的示例。

图6j描绘了如图6b的步骤621和图6c的步骤625所述地基于多个单组代表性点位置来确定多组代表性点位置的示例。

图7a描绘了示例显示和物理空间，其中确定每一个人的大小和代表性点位置，并且确定组的代表性点位置且将其用于操控化身。

图7b描绘了在组的代表性点位置移动之后基于图7a的示例显示和物理空间。

图7c描绘了当为每一玩家提供单独的化身时基于图7b的示例显示和物理空间。

图7d描绘了在平衡游戏中组提供输入的示例显示。

图7e描绘了在组的代表性点位置移动之后基于图7d的示例显示。

图8a描绘了用于为被遮挡或部分地在视野外的人生成遗漏数据的方法。

图8b描绘了基于图8a的示例显示和物理空间，其中个人在视野中未被遮挡。

图8c描绘了基于图8b的示例显示和物理空间，其中个人在视野中被部分遮挡，且所得的化身是不完整的。

图8d描绘了基于图8b的示例显示和物理空间，其中尽管个人在视野中被部分遮挡，但所得的化身是完整的。

图9a描绘了如图5的步骤506所述地应用对输入做出响应的示例，其中当个人的移动不真实时对化身的移动施加限制。

图9b描绘了如图5的步骤506所述地应用对输入做出响应的示例，其中在得出新的人或组打算与应用交互的结论之前施加等待时间。

图9c描绘了如图5的步骤506所述地应用对输入做出响应的示例，其中 在得出新的人或组不再与应用交互的结论之前施加等待时间。

图9d描绘了基于图9b和9c的示例显示和物理空间，其中评估物理空间中的个人的移动和位置。

具体实施方式

提供了用于允许一个人或一组人在运动捕捉系统中与应用交互的各种技术。深度相机系统可以跟踪物理空间中的一个组的位置和移动，以向应用提供单一输入。也可使用来自该组的音频信息来作为输入。可以实现愉快的组体验，因为每一个人具有对应用的控制，而组作为一个团队来运作。在某些情况下，一个人基于其诸如物理大小等特性，可比其他人具有相对更多或更少的控制。

图1a和1b描绘了其中个人18与模拟拳击比赛的应用交互的运动捕捉系统10的一个示例实施例。运动捕捉系统10用于识别、分析和/或跟踪诸如个人18(也称为用户或玩家)等人类目标。

如图1a所示，运动捕捉系统10可包括诸如计算机、游戏系统或控制台等计算环境12。计算环境12可包括执行诸如教育和/或娱乐目的等应用的硬件组件和/或软件组件。

运动捕捉系统10还可以包括深度相机系统20。深度相机系统20可以是，例如可用于在视觉上监视诸如个人18等的一个或多个人，从而可以捕捉、分析并跟踪该人所执行的姿势和/或移动，来执行应用中的一个或多个控制命令或动作(如动画化化身或屏幕上人物)的相机，如将在下面更详细地描述的。

运动捕捉系统10可以连接到诸如电视机、监视器、高清电视机(HDTV)等可向用户提供视觉和音频输出的视听设备16。音频输出也可经由单独的设备来提供。为驱动视听设备16，计算环境12可包括提供与应用相关联的视听信号的诸如图形卡等视频适配器，和/或诸如声卡等音频适配器。视听设备16可经由例如，S-视频电缆、同轴电缆、HDMI电缆、DVI电缆、VGA电缆等连接到计算环境12。

个人18可使用深度相机系统20来跟踪，使得该个人的姿势和/或移动被捕捉并用于动画化化身或屏幕上人物，和/或被解释为对计算机环境12所执行的应用的输入控制命令。因此，根据一实施例，用户18可移动他的或她的身 体来控制应用和/或动画化化身或屏幕上人物。

作为一个示例，应用可以是其中个人18参与且其中视听设备16向个人18提供拳击对手38的视觉表示的拳击游戏。计算环境12还可使用视听设备16来提供玩家化身40的视觉表示，该视觉表示代表了该个人，并且该个人可用他的或她的身体移动来控制该视觉表示。

例如，如图1b所示，个人18可以在例如该个人站在其中的房间等物理空间中挥出重拳，以便使得玩家化身40在包括拳击台的虚拟空间中挥出重拳。由此，根据一示例实施例，运动捕捉系统10的计算机环境12和深度相机系统20可用于识别并分析物理空间中的个人18的重拳，使得该重拳可被解释为对模拟拳击比赛的应用的输入，以控制虚拟空间中的玩家化身40。

个人18的其他移动也可被解释为其他控制命令或动作，和/或用于动画化玩家化身，如上下快速摆动、闪避、滑步、封堵、用拳猛击或挥动各种不同的重拳的控制命令。此外，某些移动可被解释为可对应于除控制玩家化身40之外的动作的控制命令。例如，在一实施例中，玩家可使用移动来结束、暂停或保存游戏、选择级别、查看高分、与朋友交流等。玩家可使用移动来从主用户界面选择游戏或其他应用。由此，用户18的全范围运动可以用任何合适的方式来获得、使用并分析以与应用进行交互。

个人可在与应用交互时抓握诸如支柱等物体。在此类实施例中，个人和物体的移动可用于控制应用。例如，可以跟踪并利用玩家手持球拍的运动来控制模拟网球游戏的应用中的屏幕上球拍。在另一示例实施例中，可以跟踪并利用玩家手持诸如塑料剑等玩具武器的运动来控制提供海盗船的应用的虚拟空间中对应的武器。

运动捕捉系统10还可用于将目标移动解释为游戏和出于娱乐和休闲目的的其他应用范围之外的操作系统和/或应用控制命令。例如，事实上操作系统和/或应用的任何可控方面可由个人18的移动来控制。

图2描绘了图1a的运动捕捉系统10的示例框图。深度相机系统20可被配置成经由任何合适的技术，包括例如飞行时间、结构化光、立体图像等，捕捉带有包括深度图像的深度信息的视频，该深度图像可包括深度值。深度相机 系统20可将深度信息组织为“Z层”，即可与从深度相机沿其视线延伸的Z轴垂直的层。

深度相机系统20可包括图像相机组件22，如捕捉物理空间中的场景的深度图像的深度相机。深度图像可包括所捕捉的场景的二维(2-D)像素区域，其中该2-D像素区域中的每一像素具有代表距离图像相机组件22的线性距离的相关联的深度值。

图像相机组件22可包括可用于捕捉场景的深度图像的红外(IR)光组件24、三维(3-D)相机26、以及红-绿-蓝(RGB)相机28。例如，在飞行时间分析中，深度相机系统20的IR光组件24可将红外光发射到物理空间上，然后可使用传感器(未示出)，使用例如3-D相机26和/或RGB相机28，来检测来自该物理空间中的一个或多个目标和对象的表面的反向散射光。在某些实施例中，可以使用脉冲式红外光，从而可以测量出射光脉冲与相应的入射光脉冲之间的时间并将其用于确定从深度相机系统20到物理空间中的目标或对象上的特定位置的物理距离。可将传出光波的相位与传入光波的相位进行比较来确定相移。然后可以使用相移来确定从深度相机系统到对象或目标上的特定位置的物理距离。

飞行时间分析也可用于通过经由包括例如快门式光脉冲成像等各种技术来分析反射光束随时间的强度，来间接地确定从深度相机系统20到目标或对象上的特定位置的物理距离。

在另一示例实施例中，深度相机系统20可使用结构化光来捕捉深度信息。在该分析中，图案化光(即，被显示为诸如网格图案或条纹图案等已知图案的光)可经由例如IR光组件24被投影到场景上。在撞击到场景中的一个或多个目标或对象的表面时，作为响应，图案可变形。图案的这种变形可由例如3-D相机26和/或RGB相机28来捕捉，然后可被分析以确定从深度相机系统到目标或对象上的特定位置的物理距离。

根据另一实施例，深度相机系统20可包括两个或更多物理上分开的相机，这些相机可从不同角度查看场景以获得视觉立体数据，该视觉立体数据可被解析以生成深度信息。

深度相机系统20还可包括话筒30，话筒30包括例如接收声波并将其转换成电信号的换能器或传感器。另外，话筒30可用于接收由个人提供的诸如声音等音频信号，来控制由计算环境12运行的应用。音频信号可包括诸如说出的单词、口哨、叫声和其他话语等个人的口声，以及诸如拍手或跺脚等非口声。

深度相机系统20可包括与图像相机组件22进行通信的处理器32。处理器32可包括可执行指令的标准化处理器、专用处理器、微处理器等，这些指令包括例如用于接收深度图像的指令；用于基于深度图像来生成三维像素网格的指令；用于移除包括在三维像素网格中的背景以便隔离与人类目标相关联的一个或多个三维像素的指令；用于确定隔离的人类目标的一个或多个骨端的位置或定位的指令；用于基于一个或多个骨端的位置或定位来调整模型的指令；或任何其他合适的指令，这些将在下文中更详细描述。

深度相机系统20还可包括存储器组件34，存储器组件34可存储可由处理器32执行的指令、以及存储3-D相机或RGB相机所捕捉的图像或图像帧、或任何其他合适的信息、图像等等。根据一示例实施例，存储器组件34可包括随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、闪存、硬盘、或任何其他合适的有形计算机可读存储组件。存储器组件34可以是经由总线21与图像捕捉组件22和处理器32进行通信的单独组件。根据另一实施例，存储器组件34可被集成到处理器32和/或图像捕捉组件22中。

深度相机系统20可以经由通信链路36与计算环境12进行通信。通信链路36可以是有线和/或无线连接。根据一个实施例，计算环境12可经由通信链路36向深度相机系统20提供时钟信号，该信号指示何时从位于深度相机系统20的视野中的物理空间捕捉图像数据。

另外，深度相机系统20可经由通信链路36向计算环境12提供深度信息和由例如3-D相机26和/或RGB相机28捕捉的图像，和/或可由深度相机系统20生成的骨架模型。计算环境12然后可使用该模型、深度信息和捕捉的图像来控制应用。例如，如图2所示，计算环境12可包括诸如姿势过滤器集合等姿势库190，每一姿势过滤器具有关于可由骨架模型(在用户移动时)执行的姿势的信息。例如，可为以下的每一个提供一姿势过滤器：上举或侧举一条或 两条手臂，以圆圈旋转手臂，像鸟一样拍打手臂，向前、向后或向一侧倾斜，跳起来，脚跟抬起踮脚，原地走动，走到视野/物理空间中的不同位置，等等。通过将检测到的运动与每一过滤器进行比较，可标识个人执行的指定姿势或移动。也可确定执行移动的范围。

可将由深度相机系统20捕捉的骨架模型形式的数据以及与其相关联的移动与姿势库190中的姿势过滤器进行比较来标识用户(如骨架模型所表示的)何时执行了一个或多个特定移动。那些移动可与应用的各种控制命令相关联。

计算环境还可包括用于执行存储在存储器194中的指令以向显示设备196提供音频-视频输出信号并实现如此处所描述的其他功能的处理器192。

图3描绘了可以在图1a的运动捕捉系统中使用的计算环境的示例框图。计算环境可用于解释一个或多个姿势或其他移动并作为响应来更新显示器上的视觉空间。上面参考图1a、1b和2所描述的诸如计算环境12等的计算环境可以是诸如游戏控制台等的多媒体控制台100。多媒体控制台100包括具有1级高速缓存102、2级高速缓存104和闪存ROM(只读存储器)106的中央处理单元(CPU)101。1级高速缓存102和2级高速缓存104临时存储数据并因此减少存储器访问周期数，由此改进处理速度和吞吐量。CPU 101可以设置成具有一个以上的核，以及由此的附加的1级和2级高速缓存102和104。闪存ROM 106可存储在多媒体控制台100通电时在引导进程初始化阶段加载的可执行代码。

图形处理单元(GPU)108和视频编码器/视频编解码器(编码器/解码器)114形成用于高速、高分辨率图形处理的视频处理流水线。数据经由总线从图形处理单元108输送到视频编码器/视频编解码器114。视频处理流水线将数据输出到A/V(音频/视频)端口140以传输到电视机或其它显示器。存储器控制器110连接到GPU 108以方便处理器访问各种类型的存储器112，诸如RAM(随机存取存储器)。

多媒体控制台100包括较佳地在模块118上实现的I/O控制器120、系统管理控制器122、音频处理单元123、网络接口控制器124、第一USB主控制器126、第二USB控制器128和前面板I/O子部件130。USB控制器126和128用作外围控制器142(1)-142(2)、无线适配器148、和外置存储器设备146(例 如闪存、外置CD/DVD ROM驱动器、可移动介质等)的主机。网络接口124和/或无线适配器148提供对网络(例如，因特网、家庭网络等)的访问并且可以是包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等的各种不同的有线和无线适配器组件中任何一种。

提供系统存储器143来存储在引导进程期间加载的应用程序数据。提供媒体驱动器144且其可包括DVD/CD驱动器、硬盘驱动器、或其它可移动媒体驱动器。媒体驱动器144对于多媒体控制台100可以内置或外置。应用程序数据可经由媒体驱动器144访问，以由多媒体控制台100执行、回放等。媒体驱动器144经由诸如串行ATA总线或其它高速连接等总线连接到I/O控制器120。

系统管理控制器122提供涉及确保多媒体控制台100的可用性的各种服务功能。音频处理单元123和音频编解码器132形成具有高保真度和立体声处理的对应的音频处理流水线。音频数据经由通信链路在音频处理单元123与音频编解码器132之间传输。音频处理流水线将数据输出到A/V端口140以供外置音频播放器或具有音频能力的设备再现。

前面板I/O子部件130支持暴露在多媒体控制台100的外表面上的电源按钮150和弹出按钮152以及任何LED(发光二极管)或其它指示器的功能。系统供电模块136向多媒体控制台100的组件供电。风扇138冷却多媒体控制台100内的电路。

CPU 101、GPU 108、存储器控制器110、和多媒体控制台100内的各个其它组件经由一条或多条总线互连，包括串行和并行总线、存储器总线、外围总线、和使用各种总线架构中任一种的处理器或局部总线。

当多媒体控制台100通电时，应用程序数据可从系统存储器143加载到存储器112和/或高速缓存102、104中并在CPU 101上执行。应用可呈现在导航到多媒体控制台100上可用的不同媒体类型时提供一致的用户体验的图形用户界面。在操作中，媒体驱动器144中包含的应用和/或其它媒体可从媒体驱动器144启动或播放，以向多媒体控制台100提供附加功能。

多媒体控制台100可通过将该系统简单地连接到电视机或其它显示器而作为独立系统来操作。在该独立模式中，多媒体控制台100允许一个或多个用户与该系统交互、看电影、或听音乐。然而，随着通过网络接口124或无线适 配器148可用的宽带连接的集成，多媒体控制台100还可作为较大网络社区中的参与者来操作。

当多媒体控制台100通电时，保留指定量的硬件资源以供多媒体控制台操作系统作系统使用。这些资源可以包括存储器保留(例如，16MB)、CPU和GPU周期(例如，5％)、网络带宽(例如，8kbs)等。因为这些资源是在系统引导时保留的，所以所保留的资源对应用而言是不存在的。

具体地，存储器保留较佳地足够大，以包含启动内核、并发系统应用和驱动程序。CPU保留较佳地为恒定，使得若所保留的CPU用量不被系统应用使用，则空闲线程将消耗任何未使用的周期。

对于GPU保留，通过使用GPU中断来显示由系统应用生成的轻量消息(例如，弹出窗口)，以调度代码来将弹出窗口呈现为覆盖图。覆盖图所需的存储器量取决于覆盖区域大小，并且覆盖图较佳地与屏幕分辨率成比例缩放。在并发系统应用使用完整用户界面的情况下，优选使用独立于应用分辨率的分辨率。定标器可用于设置该分辨率，从而无需改变频率，也就不会引起TV重新同步。

在多媒体控制台100引导且系统资源被保留之后，就执行并发系统应用来提供系统功能。系统功能被封装在一组在上述所保留的系统资源中执行的系统应用中。操作系统内核标识是系统应用线程而非游戏应用线程的线程。系统应用优选地被调度为在预定时间并以预定时间间隔在CPU 101上运行，以便为应用提供一致的系统资源视图。进行调度是为了把由在控制台上运行的游戏应用所引起的高速缓存分裂最小化。

当并发系统应用需要音频时，则由于时间敏感性而异步调度音频处理给游戏应用。多媒体控制台应用管理器(如下所述)在系统应用活动时控制游戏应用的音频水平(例如，静音、衰减)。

输入设备(例如，控制器142(1)和142(2))由游戏应用和系统应用共享。输入设备不是所保留的资源，但却在系统应用和游戏应用之间切换以使其各自具有设备的焦点。应用管理器较佳地控制输入流的切换，而无需知晓游戏应用的知识，并且驱动程序维持有关焦点切换的状态信息。控制台100可从包括相机26和28的图2的深度相机系统20接收附加输入。

图4描绘了可以在图1a的运动捕捉系统中使用的计算环境的另一示例框图。计算环境可用于解释一个或多个姿势或其他移动并作为响应来更新显示器上的视觉空间。计算环境220包括计算机241，计算机241通常包括各种游戏计算机可读存储介质。这可以是能由计算机241访问的任何可用介质，而且包含易失性和非易失性介质、可移动和不可移动介质。系统存储器222包括易失性和/或非易失性存储器形式的计算机存储介质，如只读存储器(ROM)223和随机存取存储器(RAM)260。基本输入/输出系统224(BIOS)包括如在启动时帮助在计算机241内的元件之间传输信息的基本例程，它通常储存在ROM223中。RAM 260通常包含处理单元259可以立即访问和/或目前正在操作的数据和/或程序模块。作为示例而非局限，图4描绘了操作系统225、应用程序226、其它程序模块227和程序数据228。

计算机241还可包括其他可移动/不可移动、易失性/非易失性计算机存储介质，如从不可移动、非易失性磁介质读取或对其写入的硬盘驱动器238，从可移动、非易失性磁盘254读取或对其写入的磁盘驱动器239，以及从诸如CDROM或其他光介质等可移动、非易失性光盘253读取或对其写入的光盘驱动器240。可以在示例性操作环境中使用的其他可移动/不可移动、易失性/非易失性有形计算机可读存储介质包括但不限于，磁带盒、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等等。硬盘驱动器238通常由诸如接口234等不可移动存储器接口连接至系统总线221，磁盘驱动器239和光盘驱动器240通常由诸如接口235等可移动存储器接口连接至系统总线221。

以上讨论并在图4中描绘的驱动器及其相关联的计算机存储介质为计算机241提供了对计算机可读指令、数据结构、程序模块和其他数据的存储。例如，硬盘驱动器238被描绘为存储操作系统258、应用程序257、其它程序模块256和程序数据255。注意，这些组件可以与操作系统225、应用程序226、其他程序模块227和程序数据228相同，也可以与它们不同。操作系统258、应用程序257、其他程序模块256和程序数据255在这里被标注了不同的标号是为了说明至少它们是不同的副本。用户可以通过输入设备，诸如键盘251和 定点设备252——通常被称为鼠标、跟踪球或触摸垫——向计算机241输入命令和信息。其他输入设备(未示出)可以包括麦克风、游戏杆、游戏手柄、碟形卫星天线、扫描仪等等。这些和其他输入设备通常由耦合至系统总线的用户输入接口236连接至处理单元259，但也可以由其他接口和总线结构，诸如并行端口、游戏端口或通用串行总线(USB)连接。包括相机26和28的图2的深度相机系统20可为控制台100定义附加输入设备。监视器242或其他类型的显示器也经由接口，诸如视频接口232连接至系统总线221。除监视器以外，计算机也可以包括其它外围输出设备，诸如扬声器244和打印机243，它们可以通过输出外围接口233连接。

计算机241可使用至一个或多个远程计算机，如远程计算机246的逻辑连接在网络化环境中操作。远程计算机246可以是个人计算机、服务器、路由器、网络PC、对等设备或其他常见的网络节点，且通常包括许多或所有以上相对于计算机241描述的元件，但在图4中仅示出了存储器存储设备247。逻辑连接包括局域网(LAN)245和广域网(WAN)249，但也可以包括其它网络。这样的联网环境在办公室、企业范围计算机网络、内联网和因特网中是常见的。

当在LAN联网环境中使用时，计算机241通过网络接口或适配器237连接至LAN 245。当在WAN联网环境中使用时，计算机241通常包括调制解调器250或用于通过诸如因特网等WAN 249建立通信的其他装置。调制解调器250可以是内置或外置的，它可以经由用户输入接口236或其他适当的机制连接至系统总线221。在网络化环境中，关于计算机241所描述的程序模块或其部分可被储存在远程存储器存储设备中。作为示例而非限制，图4示出了远程应用程序248驻留在存储器设备247上。可以理解，所示的网络连接是示例性的，且可以使用在计算机之间建立通信链路的其他手段。

图5描绘了用于使一个或多个人能够与运动捕捉系统交互的方法。步骤500跟踪运动捕捉系统的视野中的一个或多个人。步骤500的进一步细节结合图6a-6j和7a-7e来提供。跟踪可分析来自头部跟踪的深度图像和位置数据，以标识深度图像中标识各个人的块。出于不完整数据的稳健性起见，跟踪可聚集可从诸如骨架跟踪和姿势识别等技术获得的所有信息来外插个体和四肢的块数据(mass data)。快可以使用包括分层聚类在内的各种算法来检测。跟踪可 以确定聚集和个体块的大小、位置、速度、加速度和加加速度，以驱动应用控制状态以及表示所跟踪的个体或组的化身上的动画。

步骤502跟踪一个或多个人的音频。如所提到的，音频信号可包括诸如说出的单词、口哨、叫声和其他话语等个人的口声，以及诸如拍手或跺脚等非口声。可检测音调和音量。步骤504基于步骤500和502的跟踪来向应用提供输入。例如，这可包括关于视野中的人的移动和位置的信息、关于物理空间和物理空间中的人的音频和视觉特性的信息(如人衣服的颜色、以及人的大小和形状)、以及物理空间中的无生命物体(如家具)的特性(例如大小、形状、位置和颜色)。在步骤506，应用对输入做出响应，如以下结合图7a-7e、8a-8d和9a-9d进一步讨论的。

图6a描绘了用于如图5的步骤500所述地跟踪一个或多个人的移动的示例方法。该示例方法可以使用例如结合图2-4讨论的深度相机系统20和/或计算环境12、100或220来实现。可以扫描一个或多个人来生成模型，如骨架模型、网格人类模型、或一个人或一组人的任何其他合适的表示。该模型然后可用于与由计算环境执行的应用交互。进行扫描来生成模型可以在启动或运行应用程序时发生，或如所扫描的个人的应用程序所控制的在其他时间发生。

可扫描个人或组来生成骨架模型，可跟踪该骨架模型使得用户58的物理移动或运动可用作调整和/或控制应用程序的参数的实时用户接口。例如，所跟踪的个人或组的移动可用于在电子角色扮演游戏中移动化身或其他屏幕上人物；在电子赛车游戏中控制屏幕上车辆；在虚拟环境中控制物体的建筑或组织；或执行应用程序的任何其他合适的控制。

根据一个实施例，在步骤600，例如从深度相机系统接收深度信息。深度相机系统可以捕捉或观察可包括一个或多个目标的视野。在一示例实施例中，如所讨论的，深度相机系统可使用诸如飞行时间分析、结构化光分析、立体视觉分析等任何合适的技术来获得与捕捉区域中的一个或多个目标相关联的深度信息。如所讨论的，深度信息可包括具有多个所观察的像素的深度图像，其中每一所观察的像素具有所观察的深度值。

深度图像可以被降采样到较低处理分辨率，以使其可被更容易地使用且以更少的计算开销来处理。另外，可从深度图像中移除和/或平滑掉一个或多个高变度和/或含噪声的深度值；可填入和/或重构缺少的和/或移除的深度信息的部分；和/或可对所接收的深度信息执行任何其他合适的处理，使得该深度信息可用于生成结合图6e和6f讨论的诸如骨架模型等模型。

在判定步骤604，判定深度图像是否包括一个或多个人类目标。这可包括对深度图像中的每一目标或对象进行泛色填充，将每一目标或对象与模式进行比较来确定该深度图像是否包括人类目标。例如，可以比较深度图像的所选区域或点中的像素的各种深度值来确定可定义如上所述的目标或对象的边。可基于所确定的边来对Z个层的可能的Z个值进行泛色填充。例如，与所确定的边相关联的像素以及边内的区域的像素可互相关联来定义可与图案进行比较的捕捉区域中的目标或对象，这将在下文中更详细描述。

如果判定步骤604为真，则执行步骤606。如果判定步骤604为假，则在步骤600接收附加深度信息。

对照其来比较每一目标或对象的模式可包括具有共同定义典型的人类身体的一组变量的一个或多个数据结构。与例如视野中的人类目标和非人类目标的像素相关联的信息可以与各变量进行比较来标识人类目标。在一个实施例中，该组中的每一变量可基于身体部位来加权。例如，模式中诸如头和/或肩等各个身体部位可具有与其相关联的、可大于诸如腿等其他身体部位的权重值。根据一个实施例，可在将目标与变量进行比较来确定目标是否以及哪一目标可以是人类时使用权重值。例如，变量与目标之间的具有较大权重值的匹配可产生比具有较小权重值的匹配更大的该目标是人类的可能性。

步骤606包括扫描一个或多个人类目标来寻找身体部位。可以扫描一个或多个人类目标来提供与个人的一个或多个身体部位相关联的诸如长度、宽度等度量，以提供该个人的准确模型。在一示例实施例中，可隔离该人类目标，并且可创建该人类目标的位掩模来扫描一个或多个身体部位。该位掩模可通过例如对人类目标进行泛色填充，使得该人类目标可以与捕捉区域元素中的其他目标或对象分离来创建。随后可分析该位掩模来寻找一个或多个身体部位，以生成人类目标的模型，如骨架模型、网格人类模型等。例如，根据一实施例，可 使用由所扫描的位掩码确定的度量值来定义结合图6e和6f讨论的骨架模型中的一个或多个关节。该一个或多个关节可用于定义可对应于人类的身体部位的一根或多根骨。

例如，人类目标的位掩模的顶部可以与头的顶部的位置相关联。在确定了头的顶部之后，可以向下扫描该位掩模来随后确定颈的位置、肩的位置等等。例如，在所扫描的位置处的位掩模的宽度可以与和例如颈、肩等相关联的典型宽度的阈值进行比较。在替换实施例中，可以使用离位掩模中先前扫描的并与身体部位相关联的位置的距离来确定颈、肩等的位置。诸如腿、脚等的某些身体部位可基于例如其他身体部位的位置来计算。在确定了身体部位的值之后，可创建包括身体部位的度量值的数据结构。该数据结构可包括从深度相机系统在不同时间点提供的多个深度图像中平均的扫描结果。

步骤608包括生成一个或多个人类目标的模型。在一实施例中，可使用由所扫描的位掩模确定的度量值来定义骨架模型中的一个或多个关节。该一个或多个关节用于定义可对应于人类的身体部位的一根或多根骨。例如，图6e描绘了如图6a的步骤608中所述的个人的示例骨架模型630，而图6f描绘了如图6a的步骤608中所述的个人的另一示例骨架模型640。

一般而言，每个身体部位可被表征为定义骨架模型的关节和骨骼的数学向量。身体部位可以在关节处相对于彼此移动。例如，前臂段638连接到关节636和639，而上臂段634连接到关节632和636。前臂段638可相对于上臂段634移动。

可调整一个或多个关节，直到这些关节在人类的关节和身体部位之间的典型距离范围之内，以生成更准确的骨架模型。该模型可基于例如与人类目标相关联的高度来进一步调节。

在步骤610，通过每秒若干次更新个人或组的位置来跟踪该模型。当用户或组在物理空间中移动时，使用来自深度相机系统的信息来调整骨架模型，使得该骨架模型表示一个人。具体地，可向该骨架模型的一个或多个受力方面施加一个或多个力，来将该骨架模型调整成更接近地对应于物理空间中的人类目标的姿态的姿态。

一般而言，可使用用于跟踪一个或多个人的移动的任何已知技术。

图6b描绘了用于如图5的步骤500所述地跟踪视野中的一个或多个人的示例方法，其中确定每一个人的代表性点位置。在一种方法中，在步骤612，对于一个或多个组中的每一组，在视野中个别地跟踪一组中的人。注意，组也可以只有一个人。步骤616为一个或多个组中的每一组确定每一个人的代表性点位置。该代表性点位置可以表示可用于表示个人的位置且可被跟踪来表示个人的移动的中心点，如质心或重心。对于具有均匀密度的物体，重心与质心相同，这对于人类是合理的假设。代表性点位置可以用不同方式来计算。在一种方法中，在步骤614，为从视野中的每一个人获得的骨架模型确定代表性点位置(见图6h)。在另一方法中，在步骤618，为围绕视野中的每一个人的定界圆柱体或矩形或其他定界形状确定代表性点位置(见图6i)。步骤620对于一个或多个组中的每一组，基于该组中的每一个人的代表性点位置来确定一组人的代表性点位置。对于多个组，步骤621基于单组代表性点位置来确定多组代表性点位置。例如，多组代表性点位置可以是不同的单组代表性点位置的质心(见图6j)。

关于图6b中的步骤618，在图6i中，对于同一组645，个人631(或骨架模型630)具有定界形状656，该形状是被缩放到正好围绕骨架模型的定义的体形状。类似地，个人643(或骨架模型642)具有定界形状658。对于定界形状656和658，代表性点位置和重心分别是点660和662。

作为一个更详细的示例，考虑定界圆柱体，其是围绕个人的例如在宽度和高度方面最小的圆柱体(见图7a)。

图6c描绘了用于如图5的步骤500所述地跟踪视野中的一个或多个人的示例方法，其中确定单个形状的代表性点位置。步骤622包括对一个或多个组中的每一组，在视野中跟踪作为单个形状，例如团(见图6g)的一组人，并且步骤624包括对一个或多个组中的每一组，确定该形状的代表性点位置。当检测到有多个组时，步骤625包括基于每一单组代表性点位置来确定多组代表性点位置。例如，假定检测到有两个不同的组(第一组和第二组，见图6j)。在每一时间点，确定两个单组代表性点位置，对每一组有一个，且基于这两个单组代表性点位置来确定一个多组代表性点位置。例如，该多组代表性点位置可以是两个单组代表性点位置的质心。

作为另一示例，考虑如图6h所描绘的具有骨架模型630和642的两个人的组645。点650是骨架模型630的代表性点位置，而点652是骨架模型642的代表性点位置。在这一情况下，代表性点位置是骨架模型的重心。这可通过注意到因为手臂向左侧举起，所以点650略微移向沿着骨架模型639的躯干的中间向下的中心线的左侧来理解。对于骨架模型642，重心652在沿着躯干的中间向下中心线上，因为包括手臂位置在内的身体关于该中心线是对称的。

图6d描绘了用于如图5的步骤500所述地跟踪视野中的一个或多个人的示例方法，其中确定共同移动。步骤626包括在视野中个别地跟踪各人的移动。例如，可为多个不同的移动中的每一个提供一姿势过滤器，这些移动诸如：上举或侧举一条或两条手臂，以圆圈旋转手臂，像鸟一样拍打手臂，向前、向后或向一侧倾斜，跳起来，坐下，脚跟抬起踮脚，原地走动，走到视野/物理空间中的不同位置，等等。通过将检测到的运动与每一过滤器进行比较，可标识一个或多个人执行的指定姿势或移动。

步骤627包括确定执行共同移动的多个人。

作为对步骤627的补充或替换，步骤628包括确定这些人执行共同移动的程度。例如，可将诸如向一个人的侧面倾斜等身体移动执行到不同的程度。例如偏离垂直10-20度的轻微倾斜可表示较小的程度，而例如20-30度的倾斜表示较大的程度。类似地，举起一个人的手臂的身体移动可以通过将手臂从低于水平20度举起到水平(0度)来完成，这表示较小的程度，而例如水平(0度)或水平上方的任何地方的手臂举起表示较大的程度。可类似地为跳跃、挥手和其他身体移动定义不同的程度。

执行共同移动的程度也可基于执行移动的次数。例如，举起一个人的手臂的身体移动可以通过重复地识别手臂举起来完成，其中在手臂的多次举起之间手臂返回到个人侧面的放松位置。可以对在指定量的时间内手臂举起的次数进行计数。也可确定手臂举起的频率。

应用可以基于执行共同移动的人的数量和/或人们执行共同移动的程度来不同地响应。例如，在其中一个组控制河上的船(见图7)的游戏中，该组可一起跳起来来使得船跳过障碍物。当更多人执行挑起来的移动的时候，和/或当人们跳得更高的时候，船可以跳得更高。为检测一个或多个人的垂直移动，可 跟踪一个或多个代表性点位置的垂直移动。

图6g描绘了作为团644或具有组定界形状646的组645。团644可被定义为用于组645的大致自由形式的定界形状，而定界形状646可以是例如圆柱体或矩形。用于定界形状646的代表性点位置是点641处的重心。团644的代表性点位置在本例中类似于点641。该方法不要求知道团中有多少人，也不要求知道有多个人。可以将整个块作为单个行动者来对待。此外，不必将图像数据映射到骨架模型。每一个人的身体的轮廓或周界631和643足以标识团的形状。

在图6h中，组的代表性点位置和重心是点654，其在点650和652之间。

在图6i中，组的代表性点位置和重心是点664，其在点660和662之间。

图6j描绘了如图6b的步骤621和图6c的步骤625所述地基于多个单组代表性点位置来确定多组代表性点位置的示例。此处，点647是第一组663的单组代表性点位置，点648是第二组661的单组代表性点位置，点649是基于每一单组代表性点位置647和648的多组代表性点位置。

图7a描绘了当从高处查看物理空间726时组中三个不同的人的定界圆柱体728、732和736。图7a还包括显示器700、包括代表性传感器718的深度相机系统720、以及深度相机系统的视野中的物理空间726，其中线722和724是视野的边界。定义包括深度相机的光轴或z轴的坐标系，该光轴例如是在深度相机查看物理空间的方向的中心延伸的线，其中视野通常围绕该光轴对称。如果深度相机与显示器面朝同一方向，则光轴一般垂直于显示器的平面。还定义与z轴垂直的横轴(y轴)。未示出的x轴可以在物理空间中垂直地延伸。

在图7a的示例中，例如，一组人的代表性点位置可以通过获得沿着笛卡尔坐标系中的两条或三条轴的代表性点位置的坐标来确定。例如，代表性点位置是分别由定界圆柱体728、732和736表示的人的中心点730、734和738。沿着y轴，中心点730、734和738分别在坐标y1、y2和y3处。假定每一个人相等地加权，则组的y轴代表性点位置是ycg＝(y1+y2+y3)/3。在另一方法中，每一个人根据诸如宽度等物理特性来单独加权。例如，w1、w2和w3分别是定界圆柱体728、732和736的宽度。在这一情况下，该组的y轴代表性点位置是ycg＝((w1 x y1)+(w2 x y2)+(w3 x y3))/(w1+w2+w3)。一般而言，组的y轴 代表性点位置是(w x y)的和/w的和。图7a也在以下结合组提供给应用的控制输入来进一步讨论。

类似地，沿着z轴，中心点730、734和738分别在坐标z1、z2和z3处。假定每一个人相等地加权，则组的z轴代表性点位置是zcg＝(z1+z2+z3)/3。如果每一个人是根据宽度来单独加权的，则该组的z轴代表性点位置是zcg＝((w1x z1)+(w2 x z2)+(w3 x z3))/(w1+w2+w3)。一般而言，组的z轴代表性点位置是(w x z)的和/w的和。组的代表性点位置因而由点740处的(ycg，zcg)来定义。也可使用该组的沿着垂直的x轴的代表性点位置的第三坐标。

关于大小，注意深度相机系统针对远离相机的人相比更靠近相机的人由更少的像素来表示的事实进行调节。

注意，如所述的，有可能检测视野中的多组人。例如，视野可被划分成沿着z轴和/或y轴的区域，并且在每一区域中进行单独的组检测。区域的大小和数量可以基于视野中的人的排列来自适应地决定。可以定义区域，使得人的聚类被保持在共同的区域中。就这一点而言可以使用直方图和其他聚类标识技术。此外，每一组可以向应用提供单独的输入。或者，可以基于单组输入的组合来提供单一的多组输入。此外，可以随时间跟踪所检测的位置来确定单组移动，以及基于单组移动的多组移动。注意，对应用的多组移动或位置输入基于每一构成组的移动或位置。

图7a描绘了示例显示器和物理空间，其中确定每一个人的大小和代表性点位置，并且确定组的代表性点位置且将其用于操控化身。如上所述，图7a描绘了当从高处查看物理空间726时组中三个不同的人的定界圆柱体728、732和736。图7a还包括显示器700、包括代表性传感器718的深度相机系统720、以及深度相机系统的视野中的物理空间726，其中线722和724是视野的边界。注意，包括代表性传感器718的深度相机系统720和显示器700是从站在视野中并观看显示器的人的视点来示出的。

一个示例应用提供了其中组根据视野中该组的代表性点位置来操控河中的船的游戏。河可以具有弯道和障碍物，组试图克服这些弯道和障碍物。描绘了船710和化身乘客712。在一种方法中，当组成员被定位成其代表性点位置740在z轴的左侧时，将船转向左。当组成员被定位成其代表性点位置740在 z轴的右侧时，将船转向右。或者，可以相对于组的初始位置来确定操控输入。也可提供其他控制动作，如通过使组向前移动或者可能将他们的手举过头来将船头翘起，以便例如克服水中的障碍物。或者，当组在视野726中向前移动时可控制船的速度更快，并且当该组移回时速度变慢。组的音频水平也可以提供输入，例如当音量更大时使得船开得更快。由此，提供了多对一输入机制，其中每一个人的移动、位置和/或音频被聚集成对应用的单一输入。因此可以提供增强的娱乐体验和团队工作感觉。

注意，船710可被认为是非人类化身，因为它表示组并且由来自该组的移动和其他输入来控制。

如所述的，有可能检测视野中的多组人，并且从每一组向应用提供单独的控制输入。例如，除了图7a所描绘的三个人的组之外，假定在他们后面还有第二组(未示出)作为旁观者。该第二组最初可以是相对不活动的。然而，当显示器中发生精彩瞬间时，第二组中的人可能站起来并欢呼，且开始大叫。来自第二组的移动和增加的音频水平可被检测到，并作为输入来提供，应用诸如通过将船710加速和/或通过提供欢乐的背景音乐来对该输入做出响应。在另一示例中，第二组中的人可能开始左右摇摆，来引起应用的某种其他响应。

任选地，在联网方法中，多个人从不同位置并发地与应用交互。例如，由定界圆柱体728和732表示的人可以在第一运动捕捉系统的第一视野中的一个物理位置，而由定界圆柱体736表示的个人可以在第二运动步骤系统的第二视野中的另一物理位置。各人可安排在同一时间开始在虚拟空间中交互。第一运动捕捉系统在两个人在第一视野中移动时跟踪他们，而第二运动捕捉系统在另一个人在第二视野中移动时跟踪他或她。

第一运动捕捉系统经由网络从第二运动捕捉系统接收关于第二视野中的相关联的个人的位置和移动的数据，并将该信息与来自第一视野的位置和移动信息相组合来向应用提供单一输入。应用然后用音频-视觉输出来对该单一输入做出响应。第二运动捕捉系统可以类似地经由网络从第一运动捕捉系统接收数据，使得相关联的个人可以接收来自应用的相同的音频-视觉输出。

图7b描绘了在组的代表性点位置740向右移动到靠近z轴中心之后基于图7a的示例显示和物理空间。响应于此，在显示器750中，船710变水平， 并且船和乘客712被操控笔直向前。

图7c描绘了当为每一玩家提供单独的化身时基于图7b的示例显示和物理空间。例如，乘客化身756、758和754表示分别由定界圆柱体728、732和736表示的人。此外，在显示器752中，化身在船710中与视野中的人的位置相对应地定位。例如，化身756和754大致彼此并肩，并且化身758略微在其他人的后面且在中心的左侧。同样，由定界圆柱体756和754表示的人大致彼此并肩，且由定界圆柱体758表示的个人略微在其他人后面且在中心的左侧。该示例示出一个人在物理空间中的位置如何控制虚拟空间中的位置。

图7d描绘了在平衡游戏中组提供输入的示例显示。类似于操控游戏，组的位置可用作输入来确定化身的平衡。具体地，在显示器760中，化身762在紧绳760上行走，并握住杆764来保持平衡。组基于其在视野中的位置来试图保持化身平衡。此处，化身略微向左倾斜。或者，组中的每一个人可以向一侧倾斜来控制化身。

图7e描绘了在组的代表性点位置移动之后基于图7d的示例显示。在显示器770中，化身762基于来自组的输入而变直。

图8a描绘了用于为被遮挡或部分地在视野外的人生成遗漏数据的方法。在某些情形中，例如由于个人部分地被视野中的物体或其他人遮挡，或当身体的一部分在视野外时，深度相机系统可能临时无法用于完全捕捉正被跟踪且正在积极地与应用交互的个人的身体。在这些情形中，可能存在基于该个人的骨架模型生成的化身不完整的风险，导致该个人的不连续且混乱的体验。为避免这一结果，可采取测量来生成表示未被深度相机系统捕捉到的身体的遗漏部分的数据。

步骤800包括从个人或组接收深度相机数据。该数据可表示对深度相机系统可见的人的一部分。该人的另一部分对深度相机不可见，且因此不由该数据来表示。步骤801包括将数据映射到每一个人的骨架模型。表示身体的仅一部分，例如表示头、躯干、手臂和一条腿的数据，被映射到骨架模型的对应部分。这一映射可涉及将像素数据与人类的骨架模型相关联来创建人类目标的模型， 如结合图6a所讨论的。

在判定步骤802，如果骨架模型的没有一个实质部分未被映射，则执行步骤804，其中基于本质上完全映射的骨架模型来生成化身。如果未映射的部分包含了骨架模型的指定部分，如该模型的10-20％的表面积，而该部分在个人完全被深度相机系统捕捉时将是被映射的，则该部分被认为是实质性的。这表示如果未被映射将导致向个人提供不连续或混乱的体验的不完整化身的部分。在步骤805处，显示所生成的所得化身。如果在判定步骤802处，骨架模型的一部分未被映射，则执行步骤803，其中生成数据以映射到骨架模型的未映射部分。所生成的表示个人的对深度相机系统不可见的部分的数据被映射到骨架模型的其余部分，以提供本质上完全映射的骨架模型。所生成的数据可提供个人的遗漏部分的动画。例如，如以下结合图8b-8d所讨论的，个人的诸如腿等四肢可能被遮挡，在这一情况下步骤803生成表示腿的数据。这可以基于用于在先前的帧中表示个人的骨架模型来完成。个人的诸如大小和形状等物理特性从骨架模型中获知。此外，基于骨架模型的对应于个人的可见部分的部分，可确定骨架模型的对应于个人的不可见部分的特性。例如，如果一条腿被遮挡但是身体的可见部分指示该人正站着，则可以生成与站立姿态相一致的被遮挡的腿。可以例如基于身体的可见部分的色彩和纹理信息和/或显示出现在遗漏的身体部分的先前的数据帧来确定所生成的数据的色彩和纹理信息。也可使用姿势识别来确定遗漏身体部分的特性，使得如果身体的可见部分与特定姿势相一致，则身体的该遗漏部分也应该与该姿势相一致。

在步骤804，基于以深度相机系统获得的图像数据和所生成的数据为基础来部分地映射的骨架模型来生成化身。该化身基于本质上完全映射的骨架模型来表示个人，使得该化身表示了个人可见和不可见部分两者。

注意，图8a的过程可在每秒重复多次，使得当个人的可见和不可见部分在深度相机系统提供的不同图像数据帧中变化时更新该化身。

图8b描绘了其中个人在视野中未被遮挡的基于图8a的示例显示和物理空间。显示器806描绘了其中化身812站在路807上的虚拟空间。深度相机系统820包括代表性传感器818，且在深度相机系统的视野中提供了物理空间826，其中线822和824是视野的边界。个人828和诸如一件家具等物体830在物理 空间中。在该示例中，传感器818具有个人828的清晰视图，并且可以捕捉提供完全映射的骨架模型832所必需的所有图像数据，其中化身812从该完全映射的骨架模型中生成。骨架模型是不能被实际看见的概念构造。

图8c描绘了基于图8b的示例显示和物理空间，其中个人828在视野中被物体830部分遮挡，且所得的化身813是不完整的。当与应用交互时，个人828可以在物理空间中移动，使得该个人的一部分变得对深度相机系统不可见。在这一情况下，映射到骨架模型834的图像数据不够。例如，个人882的左腿可能被物体830遮挡，在这一情况下将没有图像数据来映射到骨架模型834的左腿。当在显示器808上从骨架模型834创建化身813时，将会是遗漏了左腿。这可导致对于个人828的混乱，尤其是当与应用交互时化身的外观经常随着在不同时间个人被反复地遮挡然后不被遮挡而变化的时候，这导致化身中对应的变化。

图8d描绘了基于图8b的示例显示和物理空间，其中尽管个人828在视野中被部分遮挡，但所得的化身814是完整的。此处，来自个人828的可见部分的图像数据被映射到骨架模型834，如也在图8c中描绘的。然而，生成如由腿836所描绘的数据来表示遗漏的身体部分。该所生成的数据与由可见身体部分映射的骨架模型的部分834相组合来提供本质上完全表示个人828的总体骨架模型838。结果，从骨架模型838创建的化身814表示个人828的可见和不可见身体部分两者。例如，基于骨架模型838的左腿836，化身814的左腿817表示个人的左腿，且基于骨架模型838的其余身体部分834，化身814的其余身体部分815表示个人的其余身体部分。

图9a描绘了如图5的步骤506所述地应用对输入做出响应的示例，其中当个人的移动不真实时对化身的移动施加限制。提供了用于避免来自应用的不连续或混乱输出的其他技术。在一种方法中，可评估涉及例如物理空间中的位置变化的移动来确定它们是否是真实的。跟踪过程可以出于各种原因而不时地中止，如遮挡、人们临时离开并返回到视野、由于相似外观而无法在玩家之间区分、使用道具、玩家交换位置等等。这会导致应用造成错误的输出，如不连续的或混乱的输出，诸如化身在显示器上突然移动。

一般而言，基于深度相机系统的视野的图像数据帧，在视野中跟踪至少一 个个人的身体，且该跟踪提供了供应用用于在显示器上的虚拟空间中提供化身的结果，使得化身表示该至少一个个人的身体且通过该至少一个个人的身体的移动来控制。确定来自跟踪的结果是否与至少一个引起导致应用在显示器上提供错误输出的风险的预定情形相一致。例如，判定步骤900确定是否出现了至少一个个人的身体在特定时间间隔内在视野中移动了超过真实距离的预定情形。响应于此，基于来自跟踪的结果与至少一个预定情形相一致，采取步骤来降低导致应用在显示器上提供错误输出的风险。例如，步骤901包括对显示器上的化身的移动施加限制。

例如，化身可被限于在显示器中移动固定量或以固定速率移动。可选择该量或速率来避免显示器上的不连续外观。化身可另选地被限制为不准许任何移动。化身可另选地被限制为准许与至少一个个人的身体留在被认为表示了不真实移动的位置的持续时间成比例的增加的移动量，直到准许正常的移动量。可例如关于显示器上的化身的移动和/或虚拟空间中的化身的移动来定义移动量。

注意，图9a-9c的技术可以在深度相机系统和/或计算环境中实现。同样，对于个人，移动可基于该个人的代表性点位置的移动来确定，而对于组，移动可基于该组的代表性点位置的移动来确定，如先前所讨论的。此外，该判定可以特定于应用的上下文。例如，在涉及玩家在物理空间中的大量移动的应用中，与不涉及玩家的大量移动的应用相比，较大的移动可以是真实的。该判定可基于诸如年龄、性别、体能水平或伤残等因素来调整。例如，较快的人的移动可以是真实的，但对较慢的人而言可以是不真实的。一个具体示例结合图9d来提供。

图9b描绘了如图5的步骤506所述地应用对输入做出响应的示例，其中在得出新的人或组打算与应用交互的结论之前施加等待时间。在判定步骤902，例如当一个或多个其他人或组当前正与应用交互的时候，确定在视野中是否检测到新的人或组。在这些情况下，可能得出该新的人或组期望与应用交互的错误的结论。例如，该新的人或组可能只是走过视野，且没有与应用交互的期望。由此，如果应用要在显示器上显示一个或多个新的化身且开始基于该新的人或组的移动来移动该化身，则当前正在与应用交互的一个或多个其他人或组的体验将被打断。即使没有人当前正在与应用交互，且应用处于不活动模式，当新 的人或组走过视野并且不打算与应用交互时激活应用并提供音频和视频输出也是不合需要的。这是一类错误输出。另一情形涉及跟踪错误地检测到视野中的至少一个新个人的身体。

由此，引起导致应用在显示器上提供错误输出的风险的预定情形可涉及跟踪错误地在视野中标识了至少一个新个人的身体，和/或应用错误地得出视野中的至少一个新个人正在与应用交互的结论。

步骤903基于新个人或组的首次检出位置距离视野边缘的距离来自适应地确定等待时间。由此，基于来自跟踪与预定情形相一致的结果，通过在应用得出至少一个新个人打算与应用交互的结论之前施加最小等待时间，降低了应用提供错误输出的风险。此外，该最小等待时间可以是视野中的至少一个新个人的身体的首次检出位置距离视野边缘的距离的函数。当该距离较大时，该最小等待时间可以较长，而当该距离较小时，该最小等待时间较短。例如，新的个人或组不太可能首先在视野中位于相对远离视野边缘的中央区域的位置处被检测到，因为通常一个人会从边缘区域进入视野，如当从视野之外的另一房间或房间中的位置进入视野的时候。有可能，但不太可能，例如个人被物体遮挡然后突然首次出现在视野的中心。也可使用固定等待时间。

在判定步骤904，如果经过了等待时间，则步骤905得出新的个人或组打算与应用交互的结论。此时，允许交互，且在步骤906可以显示并激活新的化身，例如以便允许这种交互。由此，当最小等待时间完成后，应用在显示器上的虚拟空间中显示新化身来表示至少一个新的个人。

图9c描绘了如图5的步骤506所述地应用对输入做出响应的示例，其中在得出新的人或组不再与应用交互的结论之前施加等待时间。判定步骤907确定个人或组在视野中是否不再被检测到。在某些情况下，当前正在与应用交互的个人或组可能在视野中不再被检测到。例如，他们可能仍在视野中，但例如由于深度相机系统的故障或由于视野中的遮挡而不再被深度相机系统检测到。或者，他们可能暂时离开视野，打算返回并继续与应用交互。在这些情况下，应用可能错误地得出个人或组打算不再与应用交互的结论，且可能例如停用化身并转换到不提供任何音频或视觉输出的不活动模式，或转换到诸如提供屏幕保护程序的待机输出。

引起导致应用提供错误输出的风险的预定情形因此包括跟踪无法检测视野中的至少一个个人的身体，以及应用错误地得出至少一个个人不再与应用交互的结论。

如果判定步骤907为真，则执行步骤908来基于个人或组的最后检测位置距离视野边缘的距离自适应地确定等待时间。由此，基于来自跟踪与预定情形相一致的结果，通过在应用得出个人或组不再与应用交互的结论之前施加最小等待时间，降低了应用提供错误输出的风险。此外，该最小等待时间是个人或组在视野中的最后检测位置距离视野边缘的距离的函数，且当该距离较大时该最小等待时间较长，而该距离较小时该时间较短。例如，个人或组不太可能在视野中位于相对远离视野边缘的中央区域的位置处被最后检测到，因为通常一个人会从边缘区域离开视野，如当离开视野走到视野之外的另一房间或房间中的位置的时候。有可能，但不太可能，例如个人被物体遮挡然后突然消失在视野的中心。也可使用固定等待时间。

在判定步骤909，如果经过了等待时间，则步骤910得出个人或组打算停止与应用交互的结论。此时，例如，在步骤911，停止交互，且可停用化身。由此，当最小等待时间完成后，应用停用虚拟空间中的化身来表示至少一个个人不再与应用交互。

图9d描绘了基于图9b和9c的示例显示和物理空间，其中评估物理空间中的个人的移动和位置。显示器912描绘了其中化身914站在路913上的虚拟空间。深度相机系统920包括代表性传感器918，且在深度相机系统的视野中提供了物理空间926，其中线922和924是视野的边界。具有中心点930的定界圆柱体928表示个人(或组)。该中心点930离边界922的距离为d2，例如到边界922的最短距离。也可确定从定界圆柱体928到边界922的最短距离。具有中心点940的定界圆柱体938表示个人或组的错误检测。中心点940离中心点930的距离为d1。也可确定定界圆柱体928和938之间的最短距离。

在图9a中，如上所讨论的，确定个人或组是否在特定量的时间内移动真实的量。此处，距离dl可表示在较短的量的时间(如少于一秒)内要移动的非真实量，其中物理空间926通常是可能在个人家中的起居室或娱乐室的大小。在显示器912上，在显示器912的显著不同部分，基于中心点930的位置来定位化身914，且基于中心点940的位置来定位化身915。可以看到，如果个人的位置被错误地确定为从中心点930移至中心点940，则将显示化身915而不是化身914，导致不连续的体验。

在图9b中，如上所讨论的，确定对新的个人或组的检测是否是错误的。假定中心点930表示个人或组的首次检出位置。在这一情况下，在判定步骤904可以实现作为距离d2的函数的等待时间，该距离d2是该首次检出位置距离视野边缘922的距离。

在图9c中，如上所讨论的，确定对个人或组离开视野的检测是否是错误的。假定中心点930表示个人或组的最后检测位置。在这一情况下，在判定步骤909可以实现作为距离d2的函数的等待时间，该距离d2是该最后检测位置距离视野边缘922的距离。

在此所述技术的上述详细描述是为了说明和描述而提供的。并非旨在穷举本技术或将其限于所公开的精确形式。鉴于上述教导，许多修改和变型都是可能的。选择上述实施例来最好地解释本技术的原理及其实践应用，从而使本领域其他人能够在各种实施例中并用各种适于所构想的特定用途的修改一起最好地利用本技术。本技术的范围旨在由所附权利要求书来定义。

Claims (15)

1.一种用于在运动捕捉系统中跟踪多个人的处理器实现的方法，包括以下处理器实现的步骤：

跟踪包括第一组的至少一个组，所述第一组包括所述运动捕捉系统的视野中的各人的身体，所述跟踪包括检测所述视野中的所述各人的身体；

基于所述跟踪，基于所述第一组中的各人的移动来确定所述第一组作为第一单一实体的移动；以及

向应用提供基于所述第一组作为第一单一实体的移动的输入，其中所述应用在显示器上显示虚拟空间，并基于所述输入来更新所述显示器。

2.如权利要求1所述的处理器实现的方法，其特征在于：

所述确定所述第一组作为第一单一实体的移动包括确定所述第一组的代表性点位置的移动，所述第一组的代表性点位置基于所述视野中的各人的身体的位置。

3.如权利要求1或2所述的处理器实现的方法，其特征在于：

所述确定所述第一组作为第一单一实体的移动包括确定所述第一组的代表性点位置的移动，所述第一组的代表性点位置基于所述视野中的各人的身体的大小。

4.如权利要求1到3中任一项所述的处理器实现的方法，其特征在于：

所述应用在所述显示器上提供至少一个化身，且所述第一组通过使所述化身在所述虚拟空间中的方向上移动来基于所述第一组的移动控制所述至少一个化身，所述方向基于所述第一组在所述视野中的移动。

5.如权利要求4所述的处理器实现的方法，其特征在于：

所述应用包括以下的至少一个：(a)平衡游戏，且所述第一组基于所述第一组在所述视野中移动的方向来控制所述至少一个化身的平衡，以及(b)

操控游戏，其中所述化身包括交通工具，且所述第一组基于所述第一组在所述视野中移动的方向来控制所述交通工具的操控方向。

6.如权利要求1到5中任一项所述的处理器实现的方法，其特征在于：

基于所述跟踪，确定所述第一组中执行共同移动的人的数量，对所述应用的输入基于所述第一组中执行共同移动的人的数量，使得所述第一组基于所述第一组中执行共同移动的人的数量来控制所述应用。

7.如权利要求1到6中任一项所述的处理器实现的方法，其特征在于，还包括：

基于所述跟踪，对于所述第一组中执行共同移动的人，确定他们执行所述共同移动的程度，对所述应用的输入基于执行所述共同移动的程度，使得所述第一组基于执行所述共同移动的程度来控制所述应用。

8.如权利要求1到7中任一项所述的处理器实现的方法，其特征在于，还包括：

跟踪所述第一组的语音音量，其中对所述应用的输入基于所述语音音量，使得所述第一组基于所述语音音量来控制所述应用。

9.如权利要求1到8中任一项所述的处理器实现的方法，其特征在于，还包括：

经由网络从另一运动捕捉系统接收数据，所述另一运动捕捉系统跟踪所述另一运动捕捉系统的视野中的至少一个其他人的身体，所述数据指示所述另一运动捕捉系统的视野中的所述至少一个其他人的身体的移动，且所述第一组作为第一单一实体的移动基于所述第一组中的各人的移动，包括所述至少一个其他人的移动来确定。

10.如权利要求1至9中的任一项所述的处理器实现的方法，其特征在于，所述至少一个组包括第二组，所述方法还包括：

跟踪所述第二组，所述第二组包括所述运动捕捉系统的视野中的各人的身体；

基于对所述第二组的跟踪，基于所述第二组中的各人的移动来确定所述第二组作为第二单一实体的移动；以及

确定多组移动，所述多组移动基于所述第一组的移动和所述第二组的移动；

其中提供给所述应用的输入基于所述多组移动。

11.一种其上包含有用于对至少一个处理器编程来执行如权利要求1至10中的任一项所述的方法的计算机可读软件的有形计算机可读存储。

12.一种运动捕捉系统，包括：

具有视野的深度相机系统；

显示器；

与所述深度相机系统和所述显示器相关联的至少一个处理器，所述至少一个处理器执行指令以便：(a)跟踪包括第一组的至少一个组，所述第一组包括所述运动捕捉系统的视野中的各人的身体，所述跟踪包括检测所述视野中的各人的身体，(b)基于所述跟踪，基于所述第一组中的各人的移动来确定所述第一组作为第一单一实体的移动，以及(c)向应用提供基于所述第一组作为第一单一实体的移动的输入，其中所述应用在显示器上显示虚拟空间，并基于所述输入来更新所述显示器。

13.如权利要求12所述的运动捕捉系统，其特征在于：

为确定所述第一组作为第一单一实体的移动，所述至少一个处理器确定所述第一组的代表性点位置的移动，所述第一组的代表性点位置基于所述视野中的各人的身体的位置。

14.如权利要求12或13所述的运动捕捉系统，其特征在于：

为确定所述第一组作为第一单一实体的移动，所述至少一个处理器确定所述第一组的代表性点位置的移动，所述第一组的代表性点位置基于所述视野中的各人的身体的大小。

15.如权利要求12到14中的任一项所述的运动捕捉系统，其特征在于：

所述应用在所述显示器上提供至少一个化身，且所述第一组通过使所述化身在所述虚拟空间中的方向上移动来基于所述第一组的移动控制所述至少一个化身，所述方向基于所述第一组在所述视野中的移动。

Images