CN102184558A - 概率分布云的多质心压缩 - Google Patents

概率分布云的多质心压缩 Download PDF

Info

Publication number
CN102184558A
CN102184558A CN2011101182357A CN201110118235A CN102184558A CN 102184558 A CN102184558 A CN 102184558A CN 2011101182357 A CN2011101182357 A CN 2011101182357A CN 201110118235 A CN201110118235 A CN 201110118235A CN 102184558 A CN102184558 A CN 102184558A
Authority
CN
China
Prior art keywords
confidence
barycenter
degree
probability
candidate item
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011101182357A
Other languages
English (en)
Other versions
CN102184558B (zh
Inventor
M·布龙德尔
O·威廉姆斯
R·盖斯
A·费茨吉本
J·肖顿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102184558A publication Critical patent/CN102184558A/zh
Application granted granted Critical
Publication of CN102184558B publication Critical patent/CN102184558B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/231—Hierarchical techniques, i.e. dividing or merging pattern sets so as to obtain a dendrogram
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/7625—Hierarchical techniques, i.e. dividing or merging patterns to obtain a tree-like representation; Dendograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements

Abstract

描述了概率分布云的多质心压缩的机制。描述了用于通过将所分类的图像数据压缩为所捕捉的对象是正确标识的实体的概率的质心，来标识由深度照相机所捕捉的对象的系统和方法。处理输出样本以检测非零概率像素的空间局部簇。对于每个簇，生成一质心，这通常导致用于每个区别对象的多个质心。基于簇的大小和形状以及其所组成像素的概率，对每个质心分配一置信度值，指示其对应于真实对象的似然度。

Description

概率分布云的多质心压缩
技术领域
本发明涉及人机接口，尤其涉及识别身体部位。
背景技术
计算机游戏和多媒体应用已开始使用照相机和软件姿势识别引擎来提供人机接口(“HCI”)。使用HCI，检测、解释用户身体部位和移动并将其用于控制游戏人物或应用的其他方面。HCI系统的一个困难之处是标识身体部位。样本分类是一种方法，其中向每个像素分配身体部位上的一概率分布。一次取一个身体部位，导出一新的单色图像，其中向一像素分配一概率，如其属于一给定部位的似然度。然而，存在许多像素，并且如果分类结果被缩小到一组原型位置则可以有益于性能，这些原型位置在此被称为质心。
对于性能而言，对于每个身体部位产生单个质心将是理想的，但这不太可能。基于位置特征来对像素进行分类的样本可以产生多个不相交的高概率区域。最多，仅仅其中之一将对应于真实的身体部位。计算全局质心会把与正确身体部位有关的像素与来自错误分类区域的像素进行平均化。这对作为样本输出的概要而言是不可靠的，因为其将落在这些多个区域的中央，但不确保其本身是个有意义的点。
因此需要一种方法来为一身体部位计算零或更多个有意义的质心，其中每个质心与样本输出中的非零概率的区域相吻合。
发明内容
此处描述的是通过将所分类的图像数据压缩(condense)成所捕捉的对象是正确标识的身体部位的概率的质心，来标识由深度照相机捕捉的图像的系统和方法。由深度照相机捕捉的图像数据被处理以产生样本输出，其中向深度图像中的每个像素分配其所对应的身体部位的概率分布。本技术取得该输出，并对其进行处理以检测非零概率像素的空间局部簇。对于每个簇，生成一质心，这通常导致用于每个身体部位的多个质心。基于簇的大小和形状以及该簇构成像素的概率，对每个质心分配置信度值，指示其对应于真实身体部位的似然度。本技术具有多个不同实施例，例如通过高度并行执行(例如，在图形处理单元上)来实现的实施例，以及适用于具有有限存储器带宽的系统的实施例。
在多个实施例中，本技术涉及一种方法，通过以下步骤来标识由深度照相机捕捉的对象：a)确定由捕捉设备所捕捉的一组采样的深度信息；b)向由捕捉设备所捕捉这组采样分配概率，所分配的概率与这些采样属于真实世界对象的概率有关；以及c)将这些采样的一个或多个子分组群集在一起以形成所述真实世界对象的一个或多个候选质心，步骤c)中对一个或多个子分组的群集取决于采样之间的接近程度、由采样所表示的空间区域、以及采样表示真实世界对象的概率。
在另一实施例中，本技术涉及一种方法，通过以下步骤来标识由捕捉设备捕捉的身体部位：a)确定由捕捉设备所捕捉的一组像素的深度信息；b)接收样本分类结果，所述样本分类结果分配一组捕捉的像素属于一特定身体部位的概率；c)对候选项分配置信得分，所述候选项是所捕捉的该组像素中的像素，或是由所捕捉的该组像素中的像素所形成的置信，置信得分部分基于所述步骤b)中的样本分类；迭代地评估候选项阵列，以基于以下因素将候选项合并在一起以形成下一级的候选项：候选项彼此之间在空间中的接近程度、由候选项所表示的空间区域、以及在步骤c)中确定的候选项的置信得分。
在又一实施例中，本技术涉及一种方法，通过以下步骤来标识由捕捉设备捕捉的身体部位：通过将深度图像分段为多个近似恒定深度的区域，来确定深度小块(patch)；对每一小块分配与其邻接的小块列表，以定义邻域图；通过计算由样本处理对小块内的像素所分配的平均概率得分来处理样本；将具有比其所有邻居高的得分的一组小块标识为种子簇；并从种子小块向外增长簇。
提供本发明内容是为了以精简的形式介绍将在以下详细描述中进一步描述的一些概念。本发明内容并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。所要求保护的主题不限于解决在背景中提及的任何或所有缺点的实现。
附图说明
图1示出了当用户玩游戏时的目标识别、分析和跟踪系统的示例实施方式。
图2示出了可在目标识别、分析和跟踪系统中使用的捕捉设备的示例实施方式。
图3A示出了可用于在目标识别、分析和跟踪系统中解释一个或多个姿势的计算环境的示例实施方式。
图3B示出了可用于在目标识别、分析和跟踪系统中解释一个或多个姿势的计算环境的另一示例实施方式。
图4是根据本技术的多个实施例的对图像进行压缩的流程图。
图5是图4的步骤414的更详细的流程图。
图6是图5的步骤472的更详细的流程图。
图7是图5的步骤476的更详细的流程图。
图8是根据本技术的多个替换实施例的对图像进行压缩的流程图。
图9是图8的步骤520的更详细的流程图。
具体实施方式
以下将参考附图1-9描述本技术的多个实施例，其一般涉及一种通过将分类的图像数据压缩成捕捉对象被正确标识的概率的质心来对深度照相机所捕捉的对象进行标识的方法。这样的系统示例性地可被用于在游戏或其他应用中的人-机接口中标识所捕捉的图像对象。
参照图1-2，用于实现本发明的技术的硬件包括目标识别、分析和跟踪系统10，它可用于识别、分析、跟踪和标识诸如用户18的人类目标的各部分。系统10的各实施例包括用于执行游戏或其他应用的计算环境12，以及用于从游戏或其他应用提供音频和视觉表示的视听设备16。视听设备16在游戏应用程序中是有用的，但可以理解到，本技术不必要有视听设备来进行其操作。本系统10还包括用于捕捉用户18的位置和所执行的移动的捕捉设备20，计算环境接收、解释并使用这些位置和移动来控制游戏或其他应用。这些组件中的每一个都会在以下详细描述。
图1提供了一示例，其中计算环境12能标识捕捉设备20的视野中的一个或多个对象，诸如用户的手18a。在图1的示例中，执行在计算环境12上的应用程序可向用户18呈现用户界面(UI)19。UI可以是游戏或其他应用的一部分，并且在多个实施例中可以是用于访问游戏或其他应用的所选择区域的导航菜单。用户可以通过经由用户移动(例如，通过用户的手18a进行指点)所控制的光标与界面19进行交互。通过标识用户的手，本技术可以将其设置为光标控制器。此后，游戏可提供关于用户正在指点视听设备16上的具体位置的闭环反馈。如上所述，图1仅仅是一个示例。本技术可被用于为大量的其他应用程序标识由捕捉设备所捕捉的对象。
图2示出根据本技术可被用于捕捉对象以进行标识的捕捉设备20的示例性实施例。捕捉设备的类型对本技术而言不是关键的，只要该设备能够捕捉所捕捉的图像的深度信息即可。然而，涉及用于本技术的捕捉设备的一个示例的进一步细节在题为“Device For Identifying And Tracking Multiple Humans Over Time(用于随时间标识和跟踪多个人的设备)”的共同待批的美国专利申请号12/475,308中描述，该申请通过引用而整体结合于此。在一个示例性实施例中，捕捉设备20可被配置成经由任何合适的技术捕捉带有可包括深度值的深度图像的视频，这些技术包括例如飞行时间、结构化光、立体图像等。根据一实施例，捕捉设备20可将所计算的深度信息组织为“Z层”，或可与从深度照相机沿其视线延伸的Z轴垂直的层。
如图2所示，捕捉设备20可包括图像照相机组件22。根据一示例实施例，图像相机组件22可以是可捕捉场景的深度图像的深度照相机。深度图像可包括所捕捉的场景的二维(2-D)像素区域，其中2-D像素区域中的每一像素可表示来自照相机的所捕捉的场景中的对象的长度，该长度可采用例如厘米、毫米等为单位。虽然下述描述涉及像素，可以理解到本技术在其它实施例中可使用其他数据点来进行执行。
如图2所示，根据一示例实施方式，图像照相机组件22可包括可用于捕捉场景的深度图像的IR光组件24、三维(3-D)照相机26、和RGB照相机28。例如，在飞行时间分析中，捕捉设备20的IR光组件24可将红外光发射到场景上，然后可使用传感器(未示出)，使用例如3-D相机26和/或RGB相机28，来检测来自场景中的一个或多个目标和对象的表面的反向散射光。
根据另一实施例，捕捉设备20可包括两个或更多物理上分开的照相机，这些照相机可从不同角度查看场景以获得视觉立体数据，该视觉立体数据可被解析以生成深度信息。
捕捉设备20还可包括话筒30。话筒30可包括可接收声音并将其转换成电信号的变换器或换能器。根据一实施例，话筒30可用于减少目标识别、分析和跟踪系统10中的捕捉设备20与计算环境12之间的反馈。另外，话筒30可用于接收也可由用户提供的音频信号，以控制可由计算环境12执行的诸如游戏应用、非游戏应用等应用。
在一示例实施例中，捕捉设备20还可包括可与图像照相机组件22进行操作通信的处理器32。处理器32可包括可执行指令的标准处理器、专用处理器、微处理器等，这些指令可以用于接收深度图像、用于确定合适的目标是否可被包括在深度图像中、用于将合适的目标转换成该目标的骨骼表示或模型、或任何其他合适的指令。
捕捉设备20还可包括存储器组件34，存储器组件34可存储可由处理器32执行的指令、由3-D照相机或RGB照相机所捕捉的图像或图像的帧、或任何其他合适的信息、图像等等。根据一示例实施例，存储器组件34可包括随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、闪存、硬盘、或任何其他合适的存储组件。如图2所示，在一实施例中，存储器组件34可以是与图像相机组件22和处理器32进行通信的单独组件。根据另一实施例，存储器组件34可被集成到处理器32和/或图像相机组件22中。
如图2所示，捕捉设备20可经由通信链路36与计算环境12进行通信。通信链路36可以是包括例如USB连接、火线连接、以太网电缆连接等的有线连接和/或诸如无线802.11b、802.11g、802.11a或802.11n连接等无线连接。根据一实施例，计算环境12可经由通信链路36向捕捉设备20提供可用于确定何时捕捉诸如一场景的时钟。
此外，捕捉设备20可提供由诸如3D照相机26和/或RGB照相机28所捕捉的深度信息和图像。该信息可被用于使用骨骼映射技术来生成骨骼模型。这些技术允许对用户骨骼上的多个点(诸如例如手、腕、肘、膝盖、鼻子、脚踝、肩、以及骨盆与脊柱相交处的关节)进行标识。其他技术包括将图像变换成该人的身体模型表示以及将图像变换成该人的网格模型表示。由诸如3D照相机26和/或RGB照相机28所捕捉的深度信息和图像也可被图像压缩引擎190用于根据下述的本技术标识图像中的特定对象。
图3A示出了可用于在目标识别、分析和跟踪系统中解释一个或多个用户移动的计算环境的示例实施方式。以下参考附图1-2所描述的诸如计算环境12的计算环境可以是多媒体控制台100，诸如游戏控制台。如图3A所示，多媒体控制台100包括具有1级高速缓存102、2级高速缓存104和闪存ROM 106的中央处理单元(CPU)101。1级高速缓存102和2级高速缓存104临时性地存储数据并因此减少存储器访问周期数，由此改进处理速度和吞吐量。CPU 101可以设置成具有一个以上的核，以及由此的附加的1级和2级高速缓存102和104。闪存ROM 106可存储在当多媒体控制台100通电时的引导过程的初始阶段期间加载的可执行代码。
图形处理单元(GPU)108和视频编码器/视频编解码器(编码器/解码器)114形成用于高速、高分辨率图形处理的视频处理流水线。经由总线从GPU 108向视频编码器/视频编解码器114运送数据。视频处理流水线向A/V(音频/视频)端口140输出数据，用于传输至电视机或其他显示器。存储器控制器110连接到GPU 108以方便处理器访问各种类型的存储器112，诸如但不局限于RAM。
多媒体控制台100包括较佳地在模块118上实现的I/O控制器120、系统管理控制器122、音频处理单元123、网络接口控制器124、第一USB主控制器126、第二USB主控制器128和前面板I/O子部件130。USB控制器126和128用作外围控制器142(1)-142(2)、无线适配器148、和外置存储器设备146(例如闪存、外置CD/DVD ROM驱动器、可移动介质等)的主机。网络接口124和/或无线适配器148提供对网络(例如，因特网、家庭网络等)的访问并且可以是包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等的各种不同的有线和无线适配器组件中任何一种。
提供系统存储器143来存储在引导进程期间加载的应用数据。提供媒体驱动器144，且其可包括DVD/CD驱动器、硬盘驱动器、或其他可移动媒体驱动器等。媒体驱动器144可以是对多媒体控制器100内置的或外置的。应用数据可经由媒体驱动器144来访问，以由多媒体控制台100执行、回放等。媒体驱动器144经由诸如串行ATA总线或其他高速连接(例如IEEE 1394)等总线连接到I/O控制器120。
系统管理控制器122提供涉及确保多媒体控制台100的可用性的各种服务功能。音频处理单元123和音频编解码器132形成具有高保真度和立体声处理的对应的音频处理流水线。音频数据经由通信链路在音频处理单元123与音频编解码器132之间传输。音频处理流水线将数据输出到A/V端口140以供外置音频播放器或具有音频能力的设备再现。
前面板I/O子部件130支持暴露在多媒体控制台100的外表面上的电源按钮150和弹出按钮152以及任何LED(发光二极管)或其它指示器的功能。系统供电模块136向多媒体控制台100的组件供电。风扇138冷却多媒体控制台100内的电路。
CPU 101、GPU 108、存储器控制器110、和多媒体控制台100内的各个其它组件经由一条或多条总线互连，包括串行和并行总线、存储器总线、外围总线、和使用各种总线架构中任一种的处理器或局部总线。作为示例，这种架构可以包括外围部件互连(PCI)总线、PCI-Express总线等。
当多媒体控制台100通电时，应用程序数据可从系统存储器143加载到存储器112和/或高速缓存102、104中并在CPU 101上执行。应用程序可呈现图形用户界面，图形用户界面当导航到多媒体控制台100上可用的不同媒体类型时提供一致的用户体验。在操作中，媒体驱动器144中包含的应用和/或其它媒体可从媒体驱动器144启动或播放，以向多媒体控制台100提供附加功能。
多媒体控制台100可通过将该系统简单地连接到电视机或其它显示器而作为独立系统来操作。在该独立模式中，多媒体控制台100允许一个或多个用户与该系统交互、看电影、或听音乐。然而，随着通过网络接口124或无线适配器148可用的宽带连接的集成，多媒体控制台100还可作为较大网络社区中的参与者来操作。
当多媒体控制台100通电时，可以保留设定量的硬件资源以供多媒体控制台操作系统作系统使用。这些资源可包括存储器的保留量(诸如，16MB)、CPU和GPU周期的保留量(诸如，5％)、网络带宽的保留量(诸如，8kbs)，等等。因为这些资源是在系统引导时间保留的，所保留的资源对于应用程序视角而言是不存在的。
具体地，存储器保留量较佳地足够大，以包含启动内核、并发系统应用和驱动程序。CPU保留量较佳地为恒定，使得若所保留的CPU用量不被系统应用使用，则空闲线程将消耗任何未使用的周期。
对于GPU保留量，通过使用GPU中断来显示由系统应用生成的轻量消息(例如，弹出窗口)，以调度代码来将弹出窗口呈现为覆盖图。覆盖图所需的存储器量取决于覆盖区域大小，并且覆盖图较佳地与屏幕分辨率成比例缩放。在并发系统应用使用完整用户界面的情况下，优选使用独立于应用分辨率的分辨率。定标器可用于设置该分辨率，从而无需改变频率，也就不会引起TV重新同步。
在多媒体控制台100引导且系统资源被保留之后，就执行并发系统应用来提供系统功能。系统功能被封装在一组在上述所保留的系统资源中执行的系统应用中。操作系统内核标识是系统应用线程而非游戏应用线程的线程。系统应用优选地被调度为在预定时间并以预定时间间隔在CPU 101上运行，以便为应用提供一致的系统资源视图。进行调度是为了把由在控制台上运行的游戏应用所引起的高速缓存分裂最小化。
当并发系统应用需要音频时，则由于时间敏感性而异步调度音频处理给游戏应用。多媒体控制台应用管理器(如下所述)在系统应用活动时控制游戏应用的音频水平(例如，静音、衰减)。
输入设备(例如，控制器142(1)和142(2))由游戏应用和系统应用共享。输入设备不是所保留的资源，但却在系统应用和游戏应用之间切换以使其各自具有设备的焦点。应用管理器较佳地控制输入流的切换，而无需知晓游戏应用的知识，并且驱动程序维护有关焦点切换的状态信息。照相机26、28和捕捉设备20可定义控制台100的附加输入设备。
图3B示出了计算环境220的另一个示例性实施例，其可以是图12中所示的计算环境12，用于在目标识别、分析和跟踪系统中的解释一个或多个用户移动。计算系统环境220只是合适的计算环境的一个示例，并且不旨在对所公开的主题的使用范围或功能提出任何限制。也不应该将计算环境220解释为对示例性操作环境220中示出的任一组件或其组合有任何依赖性或要求。在某些实施方式中，所描绘的各种计算元件可包括被配置成实例化本发明的具体方面的电路。例如，本公开中使用的术语电路可包括被配置成通过固件或开关来执行功能的专用硬件组件。在其他示例实施方式中，术语电路可包括由具体化可操作来执行功能的逻辑的软件指令来配置的通用处理单元等。在电路包括硬件与软件组合的示例实施方式中，实现者可编写实施逻辑的源代码且该源代码可被编译成可由通用处理单元处理的机器可读代码。因为本领域技术人员可以明白现有技术已经进化到硬件、软件或硬件/软件组合之间几乎没有差别的地步，因而选择硬件或是软件来实现具体功能是留给实现者的设计选择。更具体地，本领域技术人员可以明白软件进程可被变换成等价的硬件结构，而硬件结构本身可被变换成等价的软件进程。因此，对于硬件实现还是软件实现的选择是设计选择并留给实现者。
在图3B中，计算环境220包括计算机241，其通常包括各种计算机可读介质。计算机可读介质可以是能由计算机241访问的任何可用介质，而且包含易失性和非易失性介质、可移动和不可移动介质。系统存储器222包括以诸如ROM 223和RAM 260之类的易失性和/或非易失性存储器的形式存在的计算机存储介质。基本输入/输出系统224(BIOS)包括如在启动时帮助在计算机241内的元件之间传输信息的基本例程，它通常储存在ROM 223中。RAM 260通常包含处理单元259可以立即访问和/或目前正在操作的数据和/或程序模块。作为示例而非限制，图3B示出了操作系统225、应用程序226、其它程序模块227和程序数据228。
计算机241还可以包括其他可移动/不可移动、易失性/非易失性计算机存储介质。仅作为示例，图3B示出了对不可移动、非易失性磁介质进行读写的硬盘驱动器238，对可移动、非易失性磁盘254进行读写的磁盘驱动器239，以及对诸如CD ROM或其它光学介质等可移动、非易失性光盘253进行读写的光盘驱动器240。可以在示例性操作环境中使用的其他可移动/不可移动、易失性/非易失性计算机存储介质包括但不限于，磁带盒、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等等。硬盘驱动器238通常由不可移动存储器接口，诸如接口234连接至系统总线221，磁盘驱动器239和光盘驱动器240通常由可移动存储器接口，诸如接口235连接至系统总线221。
以上讨论并在图3B中示出的驱动器及其相关联的计算机存储介质为计算机241提供了对计算机可读指令、数据结构、程序模块和其他数据的存储。在图3B中，例如，硬盘驱动器238被示为存储操作系统258、应用程序257、其他程序模块256和程序数据255。注意，这些组件可以与操作系统225、应用程序226、其他程序模块227和程序数据228相同，也可以与它们不同。在此给操作系统258、应用程序257、其他程序模块256、以及程序数据255提供了不同的编号，以说明至少它们是不同的副本。用户可以通过诸如键盘251和指示设备252(通常被称为鼠标、轨迹球或触摸板)之类的输入设备向计算机241中输入命令和信息。其他输入设备(未示出)可以包括话筒、操纵杆、游戏手柄、圆盘式卫星天线、扫描仪等等。这些和其他输入设备通常通过耦合至系统总线的用户输入接口236连接至处理单元259，但也可以由其他接口和总线结构，诸如并行端口、游戏端口或通用串行总线(USB)来连接。照相机26、28和捕捉设备20可定义控制台100的附加输入设备。监视器242或其他类型的显示设备也通过接口，诸如视频接口232，连接至系统总线221。除监视器以外，计算机还可以包括其他外围输出设备，诸如扬声器244和打印机243，它们可以通过输出外围接口233连接。
计算机241可以使用到诸如远程计算机246之类的一个或多个远程计算机的逻辑连接在联网环境中操作。远程计算机246可以是个人计算机、服务器、路由器、网络PC、对等设备或其他常见的网络节点，且通常包括许多或所有以上相对于计算机241描述的元件，尽管在图3B中仅示出了存储器存储设备247。图3B中所示的逻辑连接包括局域网(LAN)245和广域网(WAN)249，但也可以包括其他网络。这样的联网环境在办公室、企业范围计算机网络、内联网和因特网中是常见的。
当在LAN联网环境中使用时，计算机241通过网络接口或适配器237连接至LAN245。当在WAN联网环境中使用时，计算机241通常包括调制解调器250或用于通过诸如因特网等WAN 249建立通信的其他装置。调制解调器250可以是内置或外置的，它可以通过用户输入接口236或其他适当的机制连接至系统总线221。在联网环境中，相对于计算机241所描述的程序模块或其部分可被存储在远程存储器存储设备中。作为示例而非限制，图3B示出了远程应用程序248驻留在存储器设备247上。能够理解，所示的网络连接是示例性的，并且可以使用在计算机之间建立通信链路的其他手段。
现在将参考附图4到9来解释图像压缩引擎190的操作。通常，图像压缩引擎190将图像数据压缩成在此称为质心的多个组。本技术将各个分类分布归组在一起，并将它们合并为质心。质心可以被认为是3D空间中最佳捕捉所有有贡献的分类采样的位置。质心具有相关联的概率，该概率是所捕捉的对象被正确标识为给定对象(诸如，手、脸、手臂等等)的概率。
一旦从深度照相机接收到深度图像，已知执行在此称为样本处理的处理，其将身体的深度图像处理为身体姿势的估计。样本处理的任务是通过对每个像素分配其可对应的身体部位上的概率分布来对每个像素进行分类。因此，例如，实际上来自用户右手的给定像素可以被分配其属于右手的70％的可能性、其属于左手的20％的可能性、以及各个其他身体部位上的10％的可能性分布。
要求处理的后续阶段来将该概率图转换成骨骼估计。本技术涉及接收到样本输出之后的处理阶段。即，本技术将分类的像素阵列变换为身体部位的候选位置。后续的处理将使用这些候选项来辅助估计全局骨骼配置。如下所解释的，由图像压缩引擎190所执行的本技术包括计算多个质心的方法。图像压缩引擎190可由图像处理单元108/229所执行。然而，本领域技术人员可以理解，图像压缩引擎190的操作可由除图像处理单元108/229以外或替代图像处理单元108/229的计算环境12中的其他处理组件和/或捕捉设备20来完成。
如在此所使用的，质心是身体部位被正确标识的非零概率的局部簇。如下所解释的，对质心进行迭代处理以导出该簇的示例性“中心”。除了位置信息，簇具有形状、表面积大小以及质量(其组成像素的概率得分)。该簇可被分析以确定簇的形状、表面积大小和质量对应于给定身体部位的似然度。
图像压缩引擎190执行一方法，该方法通过分层合并和排序处理适于高度并行的执行(诸如，在图像处理单元108/229上)。然而，在其它实施例中处理可被串行化执行。本发明将来自局部区域的大小不断增加的身体部位分布结合成多个代表性质心。每个质心包括定义空间中所结合的身体部位分布的中心的三维位置，以及从簇中的聚集概率中所导出的置信度值。合并是基于重力模型的，其中使用标准化的置信度值作为质量的体现。
如前所述，在初始样本处理步骤之后，系统具有一分类图，其中使用像素属于特定身体部位的概率来对像素进行分类。系统也具有来自捕捉设备20的深度图。现在参考图4的流程图，在步骤400中，对于输入分类图和深度图中的每个像素，将二维像素位置和在该地点采样的深度转换成三维空间位置。
随后在步骤404中计算像素的密度，作为该像素在空间中在所标识的深度上的表面积。即，覆盖一远离捕捉设备的区域的像素与覆盖离捕捉设备较近的一区域的像素而言在密度上具有线性比例差。随后在步骤408中为样本处理中定义的每个身体部位计算绝对置信度值。每个像素的绝对置信度值由样本处理分配给该像素的身体部位概率所定标的密度。其身体部位概率为零的像素将具有零置信度值，并且将无法对任何后续的用于该部位的质心形成作贡献。
在步骤409中，每个像素的三维空间位置、密度、以及绝对身体部位置信度集合被联合以形成一组局部质心。在步骤410中，每个身体部位的局部质心被分组，并且在步骤414中，将一组中的每个质心相对于该组中的其他质心进行评估。在多个实施例中，可以从输入将质心形成为质心的2x2对准组，虽然在其它实施例中它们可以2x2大。从第一像素行中导出的两个质心相对于彼此进行评估，从第二像素行中导出的两个质心相对于彼此进行评估。在第一遍时，可替换地相对于彼此评估对应列中的质心。
关于评估步骤414的进一步细节将在以下参考附图5的流程图解释。在步骤470中，计算两个候选质心(在此也简称为“候选项”)的空间位置之间的平方距离。在步骤472中，计算候选质心的标准化置信度(步骤472将在以下结合附图6的流程图进行更详细的解释)。在步骤474中，如果所计算的平方距离小于第一候选项的标准化置信度乘以第二候选项的标准化置信度乘以一恒定“合并阈值”，则通过步骤476中的内插操作将两个候选项合并在一起。合并阈值可以类似于当质心合并时的重力恒定设置，以使得合并不会是太敏感或太抗拒的。可以认识到合并阈值可对每个身体部位被设置为不同的值或可以在替换实施例中被完全忽略。以下将结合附图7的流程图更详细地解释步骤476，但通常，如果两个质心对于它们被正确分类的概率在空间中足够靠近，那这两个质心会合并。如果不是，则由候选项的标准化置信度对候选项进行排序(具有更大置信度的候选项排列在先)。
图6提供了对如何标准化和计算每个候选项的置信度的进一步细节。通常，候选项首先被标准化，使得它们可以彼此进行比较。在步骤480，假设候选项是从出现在视野(FOV)中的候选深度处的单个像素中形成的，通过计算候选项的空间表面积来获得候选项的基准密度。在步骤482中，候选项的密度除以此基准密度，得到密度比率(近似对形成候选项作贡献的采样的数量)。替换实施例替代地维护作贡献的采样的实际数量，交换用于处理工作的额外存储和带宽。在步骤486中，一开始将标准化置信度计算为分配给该候选项(步骤408)的绝对置信度除以候选项密度。
随后骤490中，通过将标准化置信度乘以一加上密度比率与扩散比例常数的乘积，来调整标准化置信度以抵消样本概率扩散压力，
扩散标准化置信度＝
(候选项绝对置信度/候选项密度)x(1+(密度比率x扩散比例))
在步骤492中进一步将标准化置信度夹紧，使其不能超过其初始标准化置信度的某一倍数。
扩散标准化置信度＝
最小值(扩散标准化置信度，候选项绝对置信度x(候选项密度x扩散比例限值))
接下来在步骤496中，通过乘以衰减因数，以渐进方式对扩散标准化置信度进行衰减。步骤496的目的是当其他质心被迭代合并时衰减单个质心的概率。例如，如果从连续质心合并的多个源像素中形成一质心簇，并且存在从未经合并的单个像素中形成的另一质心，它们可能具有可比较的概率，并可能是在空间中彼此相对靠近的。如果两个质心(包括大簇和单个像素)简单地被合并，后一个单像素质心将会对所产生的质心的合成具有不恰当的影响。因此，本技术相对于从相对较大的像素采样所形成的质心，对从个别像素或小像素组所形成的质心的概率进行衰减。替换实施例可通过当质心置信度包括更大数量的分类采样时对质心置信度的渐进放大来达成类似的结果。
通过将密度比率除以二的幂来计算衰减因数，其中幂是评估候选项的分层级别。评估的级别和衰减因数均被进一步“夹紧”以分别不超过级别衰减限值以及1.0。因此，最终衰减置信度由如下给定：
最终衰减置信度＝
扩散标准化置信度x最小值(1.0，密度比率/(2^最小值(级别，级别衰减限值)))
如果候选项的密度等于零，则最终衰减置信度将同样被设置为零。
如上在图5的步骤474中所述，如果候选项之间所计算的平方距离小于第一候选项的标准化置信度乘以第二候选项的标准化置信度乘以一恒定合并阈值，则通过步骤476中的内插操作将两个候选项合并在一起。关于合并步骤476的进一步细节现在将参考附图7的流程图解释。在步骤500中确定两个合并候选项的绝对置信度是绝对置信度之和。
合并绝对置信度＝
候选项0绝对置信度+候选项1绝对置信度
通过绝对置信度的内插在步骤504中确定两个合并候选项的位置，使得合并位置由以下给定：
合并位置＝
(候选项0位置x候选项0绝对置信度+候选项1位置x候选项1绝对置信度)/合并绝对置信度
接着，在步骤508将两个合并候选项的密度确定为候选项密度之和：合并密度＝候选项0密度+候选项1密度
当单个组中的第一行和第二行质心被合并或排序之后，将会有两个、三个或四个得到的质心。具体地，如果来自两行的质心均按如上所述的被合并，则将会有两个质心。如果仅来自两行中的一行的质心被合并，那么会有三个质心。并且如果没有一个质心被合并，那么会有四个质心(在值上等于四个候选质心)。
再次参考图4的流程图，来自两行的得到的质心在步骤418中被类似地相对于彼此而评估，用于合并和排序。再次执行图5-7的步骤。带有最大置信度的质心将首先相对于彼此进行评估，用于合并/排序。如果它们成功合并，则具有最低置信度的质心将相对于彼此进行评估，用于合并。如果它们无法合并，那么具有第二大置信度的质心将相对于具有第三大置信度的质心(如果存在的话)进行评估。该处理继续，试图相对于彼此评估所有的候选质心，并将产生一到四个结果质心，根据它们的标准化置信度以降序排序。具有最大标准化置信度的质心将接着成为后续分层遍中来自局部区域的代表性质心，后续分层遍将该局部区域相对于邻近区域进行评估以用于进一步的质心合并。任何具有较小置信度的质心，如果它们无法与邻近区域的代表性质心进行组合(在如下所描述的步骤中)，将在身体部位建议的最终集合中被保留为独立局部簇。替代性实施例可在后续分层遍中支持来自局部区域的多个代表性质心，其中也可传播一个或多个具有较小置信度的质心。
作为一个示例，假设在存储首行中的两个质心被合并，但在末行中的质心不够强而无法与末行中的另一质心合并在一起。当随后这两行被相对彼此而评估时，首行质心将与末行的两个质心中的较强质心合并，并产生单个质心。胜出并作为该2x2组的代表性质心而被继续处理的那个质心将是从与末行采样组合的两个首行采样形成的质心或是来自末行的剩下的未被合并的质心候选项中最强的那个(最高置信度值)。或者如果首行质心不与来自末行的两个质心中的任意一个质心合并，那么结果是来自首行的一个质心以及来自末行的两个其他质心(因为它们没有合并)。在这种情况下，胜出的那个质心将是来自末行的两个候选项或从首行形成的新质心中具有最大置信度的那个。
给定基于像素的输入以及质心存储中的空间子划分固有的本质，将质心候选项的评估限制在仅仅2x2组的评估将是限制性的。仅仅因为质心候选项无法与对准子划分中的邻居合并不代表它无法与其他直接邻近项合并。例如，存储在2x2组中的右下的质心的位置将位于远离该组中其他三个质心，而与在右侧邻近的2x2组的左下存储的质心在空间上非常靠近。在该情况中，当一质心无法与其组内的任何其他质心合并并在合并结果中具有相对较低的置信度时，该质心将得益于相对于其邻近组的进一步评估。因此，来自步骤422的输出被在另一遍中处理，其中来自每个合并/排序的像素组得出的零到三个质心(排除具有最大置信度的质心)被评估以用于与来自邻近组的具有最大置信度的质心进行合并。邻近组包括上方、下方、左侧和/或右侧的组。在其它实施例中所检查的组可以是这些组的某一子集，或是某个扩展集以包括左上、右上、左下、右下的邻近对角组。其它实施例也将邻近组中的候选质心扩展为包括不仅仅具有最大置信度的质心，而是所有得到的质心(具有相应的规则以限制质心跨组合并的方向)。
如果，在步骤422的检查中，两个质心相对于它们的标准化置信度以及合并阈值的平方距离足够小，则来自该组的候选质心将被指示至与邻居进行合并(在后续的遍中执行以获得完全的并行化)。再次将组中具有最高置信度的质心排除在考虑之外，没有被指示与邻居进行合并的剩余质心将可选地在步骤424中被挑出，如果它们的(使用最终分层级别的值来计算的)标准化置信度没有超过一阈值。执行该步骤以通过移除具有低置信度的质心来减少后续提取期间的质心搜索时间。在其他实施例中可以省略步骤424。在步骤426中通过驻留信息(诸如，每个质心存储一比特，用于指示在该位置是否存在有效质心)来标识存活的质心。
在步骤430中，读取从每个组的上方、下方、左侧、右侧的像素组的合并指示。本系统随后从邻近组中选择合适的较低置信度质心。在步骤434中，将这些质心(通过内插处理)与给定组中具有最高置信度的质心进行合并。再次，该处理可以使用并行处理在所有组之上执行。
步骤410到434的上述步骤以分层方式重复，直到在步骤438中没有其它要合并或排序的质心。来自每个2x2组中的具有最高标准化置信度的质心在存储集合中被收集在一起，其在每个维度上为原始分辨率的一半。该集合本身被分成多个2x2组，并且处理重复步骤410到434，直到该集合无法再被水平或垂直细分，最终产生按照标准化置信度进行区域化排序的质心金字塔，并在结构上形成四叉树。因为正方形输入图像不是必须的，当集合降至Nx1或1xN维(或维度N本身不是二的倍数)时，该集合可用初始为具有零密度、置信度、位置和驻留的质心的添补的存储位置添补为Nx2或2xN。当四叉树金字塔被构建时，附加地准备驻留信息以包括用于每个节点组的一比特，该比特跟踪节点的任何后代中有效质心的存在。该比特提供了提取中的有用优化，如果该比特没有被设置，则不需要对源自给定节点的子树检查质心。如果在一节点处具有最高置信度的质心不大于在搜索期间已经标识的质心，则附加地跳过该子树。
在每个所标识的身体部位上迭代地执行上述步骤。因此，在步骤440中，处理检查是否存在其它身体部位需要分析。如果存在，流程回到步骤408并在下一个身体部位上执行步骤408到438。本处理在已经考虑了所有身体部位时结束。
给定上述描述，本领域技术人员可以认识到其他步骤可以被加入或替换一个或多个以上描述的步骤。在一个这样的示例中，可在本技术中使用平均偏移群集(mean shift clustering)，用于将像素群集为上述质心。平均偏移群集算法的其它细节在D.Comaniciu和P.Meer所著的题为“Mean Shift：A Robust Approach Toward Feature Space Analysis(平均偏移：对特征空间分析的强健方法)”，IEEE模式分析和机器智能学报，24：603-619，2002的出版物中描述，其公开整体结合在此作为参考。
图8示出本技术的另一实施例，用于通过将深度阵列预处理为低维度表示来生成质心，其可被具有低存储器带宽的系统所使用。然而，可以理解到图8的实施例可用于以上所描述的图4的实施例可使用的任何场合。
图8的实施例包括对于每个新的深度图进行一次的预处理步骤。对每个身体部位重复其余的阶段。预处理步骤包括计算深度小块的步骤510。具体地，将深度图像分段为多个大致恒定深度的区域。这些区域的每一个随后被正面平行平面小块(frontoparallel planar patch)所近似。大多数后续处理将按照这些小块来进行。当频繁地存在比像素少一个或两个数量级的小块时，该近似提供了本方法在存储器(带宽)要求中的极大减少。
在步骤512中通过对每个小块分配与其邻接的小块列表(即，与该小块共享边界的那些小块)来定义邻域图。在步骤516中处理样本。对于每个小块，计算该小块中由样本处理对像素分配的平均概率。将其称之为值小块得分。在步骤518中，本系统标识种子簇。在该步骤中，计算作为局部图形极大值的所有小块的集合，即，具有比其所有邻居高的得分的小块的集合。随后修剪该集合，以仅包括具有比给定阈值高的得分的种子小块。随后在步骤520中“增长”多个簇。通过从种子小块向外增长来使用邻域图来形成更大的簇。关于种子簇增长的进一步细节在下文参照图9的流程图来解释。
如图9所示，种子簇的增长从种子小块的初始化开始。在步骤526中向每个种子小块分配唯一的簇，在步骤528中将每个种子小块增加到一增长候选项集合中。在步骤532中，对每个簇分配等于其种子小块的得分的得分值。
在步骤536中，移除具有最低置信度的增长候选项集合的成员。在步骤538中，可向正在增长的小块的簇添加邻近簇。在确定是否添加邻近簇时，应用下面三条规则。规则1：如果邻居未被分配到任何簇，则将其分配给正在增长的小块的簇。规则2：如果邻居被分配给一不同的簇，则应用用“增长竞争规则”。增长竞争规则规定当两个簇竞争一小块时，根据哪个簇更适宜来分配小块。一种选择是将竞争小块分配给目前为止具有最大置信度的簇。规则3：除非达到“停止条件”，将所访问的邻居添加到增长候选项集合。当专用于小块所分配的簇的总区域超过某些预定最大值时，达到该停止条件。
在步骤540中，已经添加了新小块的簇得分可被更新。用于该更新的选项包括但不限于：将簇得分按照所添加的小块的得分递增、或按照对前述的图形处理单元实施方式所用的合并规则的某一变量递增。
在步骤544中，本系统检查增长候选项集合是否为空。如果不为空，则本系统重复步骤536到540。当增长候选项集合为空时，算法结束。对于被分配一个或多个小块的每个簇，使用由簇的组成小块的平均位置所给定的位置来计算质心，并且置信度等于簇的最终得分。
虽然以上在根据对深度图像的分类来压缩质心的上下文中描述了本技术，可以构建一种样本处理的变形以用于彩色或任何其他任意概率分布上。本技术包括根据二维或三维(用于2D的操作是类似的，但是使用二维位置和均一的初始密度)中的任何类型的概率分布云来压缩质心的可能性。
此外，样本分类和/或质心压缩是可替换地用于合成图像。例如，上述的压缩处理可被用于寻找计算机生成的“地面真值”上的质心，其中使用合成人类模型来呈现骨骼姿势，该合成人类模型包括用于不同的身体部位的纹理映射多种色彩。在此，计算而非捕捉深度信息，并且分类是事先已知的而非分析得出的。
本发明系统的前述详细描述是出于说明和描述的目的而提供的。这并不旨在穷举本发明系统或将本发明系统限于所公开的精确形式。鉴于上述教导，许多修改和变型都是可能的。选择所述实施方式以最好地解释本发明系统的原理及其实践应用，从而允许本领域技术人员能够在各种实施方式中并采用各种适于所构想的特定用途的修改来最好地利用本发明系统。本发明系统的范围旨在由所附权利要求书来定义。

Claims (15)

1.一种根据表示对象(18)的部位的概率分布云来压缩质心的方法，所述方法包括：
a)对数据采样集进行样本处理(步骤404、408)来向采样分配概率，所分配的概率与采样属于所述对象的相应部位的概率有关；
b)将采样位置与所分配的概率组合以生成概率分布云(步骤409、410)；
c)将采样的一个或多个子组群集在一起以形成用于所述对象的部位的一个或多个候选质心(步骤434)，所述步骤c)中对一个或多个子组的群集取决于采样之间的接近程度以及采样表示所述对象的部位的概率。
2.如权利要求1所述的方法，其特征在于，还包括如下步骤：将置信度值分配给所述一个或多个候选质心，质心的置信度值指示所述质心对应于所述对象的正确部位的似然度。
3.如权利要求2所述的方法，其特征在于，所述将置信度值分配给所述一个或多个候选质心的步骤包括如下步骤：基于子组的大小和形状以及其组成采样的概率来分配置信度值。
4.如权利要求1所述的方法，其特征在于，所述将采样的一个或多个子组群集在一起以形成一个或多个候选质心的步骤c)包括如下步骤：如果子组中的一对采样相对于它们被正确分类的概率在空间上足够接近，则将所述一对采样合并。
5.如权利要求1所述的方法，其特征在于，所述将采样的一个或多个子组群集在一起以形成一个或多个候选质心的步骤c)包括如下步骤：
d)将两个候选采样的空间位置之间的距离平方化；
e)确定两个候选采样的标准化置信度；以及
f)如果步骤d)中所计算的距离小于在步骤e)中确定的第一候选项的标准化置信度乘以在步骤e)中确定的第二候选项的标准化置信度乘以一恒定合并阈值，则将所述两个采样合并。
6.如权利要求5所述的方法，其特征在于，还包括：步骤g)如果两个候选采样在步骤f)中没有被合并，则根据所述两个候选采样各自的标准化置信度对所述两个候选采样进行排序。
7.如权利要求5所述的方法，其特征在于，还包括如下步骤：基于合并以形成采样的采样的数量以及采样所表示的空间区域与在步骤f)中已经合并的其他采样的大小，衰减或放大采样的置信度。
8.在一系统(10)中的标识真实世界对象的方法，所述系统(10)包括耦合到捕捉设备(20)的计算环境(12)，捕捉设备(20)用于捕捉身体(18)的深度图像，所述方法包括：
a)确定(步骤400)由所述捕捉设备所捕捉的像素组的深度信息；
b)接收(步骤404)样本分类结果，所述样本分类结果分配所捕捉的像素组属于真实世界对象的概率；
c)对候选项分配(步骤408)置信度得分，所述候选项是所捕捉的像素组中的像素或是从所捕捉的像素组中的像素形成的质心，所述置信度得分部分基于所述步骤b)中的样本分类；以及
d)迭代评估候选项阵列以便合并在一起(步骤410-438)以基于候选项在空间中彼此之间的接近程度以及在所述步骤c)中确定的它们的置信度得分来形成下一级的候选项。
9.如权利要求8所述的方法，其特征在于，所述对候选项分配置信度得分的步骤c)包括如下步骤：基于像素组的大小和形状以及在步骤b)所分配的其组成像素的概率来分配置信度值。
10.如权利要求8所述的方法，其特征在于，还包括步骤f)：对在所述步骤c)中所分配的置信度得分进行标准化。
11.如权利要求10所述的方法，其特征在于，所述迭代评估候选项阵列的步骤d)包括：
g)将两个候选项的空间位置之间的距离平方化；
h)确定两个候选项的标准化置信度；以及
j)如果步骤g)中所计算的距离小于在步骤h)中确定的第一候选项的标准化置信度乘以在步骤h)中确定的第二候选项的标准化置信度乘以一恒定合并阈值，则将所述两个候选项合并。
12.如权利要求11所述的方法，其特征在于，还包括：步骤k)如果两个候选项点在步骤f)中没有被合并，则根据所述两个候选项各自的标准化置信度对所述两个候选项进行排序。
13.在一系统(10)中的标识真实世界对象的方法，所述系统(10)包括耦合到捕捉设备(20)的计算环境(12)，捕捉设备(20)用于捕捉身体(18)的深度图像，所述方法包括：
a)通过将所述深度图像分为大致恒定深度的多个区域，确定(步骤510)深度小块；
b)对每条小块分配(步骤512)与其邻接的小块列表，以定义邻域图；
c)通过计算由样本处理对小块内的像素所分配的平均概率得分来处理样本(步骤516)；
d)将种子簇标识(步骤518)为具有比所有其所有邻居高的得分的一组小块；以及
e)从所述种子小块向外增长(步骤520)簇。
14.如权利要求13所述的方法，其特征在于，所述步骤e)包括如下步骤：如果出现以下情况则将邻居簇添加到当前种子簇中：
i)邻居没有被分配给任何簇；
ii)邻居被分配给另一个簇，但当前种子簇具有更高的置信度值，其中所述置信度值是至少部分基于在所述步骤c)中所处理的样本的；以及
iii)专用于当前种子簇的总区域没有超过某个预定义最大值。
15.如权利要求14所述的方法，其特征在于，还包括如下步骤：在已经将邻居添加到当前种子簇之后，更新概率得分。
CN2011101182357A 2010-04-29 2011-04-28 概率分布云的多质心压缩 Active CN102184558B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/770,394 2010-04-29
US12/770,394 US8379919B2 (en) 2010-04-29 2010-04-29 Multiple centroid condensation of probability distribution clouds

Publications (2)

Publication Number Publication Date
CN102184558A true CN102184558A (zh) 2011-09-14
CN102184558B CN102184558B (zh) 2013-04-24

Family

ID=44570727

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011101182357A Active CN102184558B (zh) 2010-04-29 2011-04-28 概率分布云的多质心压缩

Country Status (2)

Country Link
US (2) US8379919B2 (zh)
CN (1) CN102184558B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020885A (zh) * 2011-11-01 2013-04-03 微软公司 深度图像压缩
CN103970262A (zh) * 2013-02-06 2014-08-06 原相科技股份有限公司 光学式指向系统
CN107784683A (zh) * 2016-08-24 2018-03-09 谷歌公司 四边形化的分层深度图像
US10210382B2 (en) 2009-05-01 2019-02-19 Microsoft Technology Licensing, Llc Human body pose estimation
CN109559128A (zh) * 2017-09-26 2019-04-02 天津铂创国茂电子科技发展有限公司 一种基于分布云的物品溯源跟踪识别验证系统
US11215711B2 (en) 2012-12-28 2022-01-04 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
US11710309B2 (en) 2013-02-22 2023-07-25 Microsoft Technology Licensing, Llc Camera/object pose from predicted coordinates

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011198268A (ja) * 2010-03-23 2011-10-06 Sony Corp 情報処理装置および方法、並びにプログラム
US9384329B2 (en) * 2010-06-11 2016-07-05 Microsoft Technology Licensing, Llc Caloric burn determination from body movement
US8655093B2 (en) * 2010-09-02 2014-02-18 Edge 3 Technologies, Inc. Method and apparatus for performing segmentation of an image
JP5150698B2 (ja) * 2010-09-30 2013-02-20 株式会社東芝 デプス補正装置及び方法
US20120121166A1 (en) * 2010-11-12 2012-05-17 Texas Instruments Incorporated Method and apparatus for three dimensional parallel object segmentation
US8942917B2 (en) 2011-02-14 2015-01-27 Microsoft Corporation Change invariant scene recognition by an agent
US8687848B2 (en) * 2012-01-04 2014-04-01 Cisco Technology, Inc. Techniques for context-enhanced confidence adjustment for gesture
US9256961B2 (en) 2012-06-28 2016-02-09 Here Global B.V. Alternate viewpoint image enhancement
US9256983B2 (en) 2012-06-28 2016-02-09 Here Global B.V. On demand image overlay
WO2014031870A2 (en) * 2012-08-22 2014-02-27 University Of Alaska Management of tax information based on topographical information
US10223765B2 (en) 2012-09-06 2019-03-05 Sony Corporation Information processing apparatus, information processing method, and program
US20150042243A1 (en) 2013-08-09 2015-02-12 Texas Instruments Incorporated POWER-OVER-ETHERNET (PoE) CONTROL SYSTEM
EP3053137B1 (en) 2013-10-02 2018-07-04 Thomson Licensing Method and apparatus for generating superpixel clusters
US9851299B2 (en) 2014-10-25 2017-12-26 Isle Management Co. Method of analyzing air quality
US10110881B2 (en) * 2014-10-30 2018-10-23 Microsoft Technology Licensing, Llc Model fitting from raw time-of-flight images
US20190213792A1 (en) 2018-01-11 2019-07-11 Microsoft Technology Licensing, Llc Providing Body-Anchored Mixed-Reality Experiences
US10607083B2 (en) 2018-07-19 2020-03-31 Microsoft Technology Licensing, Llc Selectively alerting users of real objects in a virtual environment
US10909762B2 (en) 2018-08-24 2021-02-02 Microsoft Technology Licensing, Llc Gestures for facilitating interaction with pages in a mixed reality environment
US11107491B2 (en) * 2018-09-06 2021-08-31 Current Lighting Solutions, Llc Sensor data array and method of counting occupants
CN110852991B (zh) * 2019-10-10 2022-08-09 浙江大学 一种基于3d结合2d的脊椎骨检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030161500A1 (en) * 2002-02-22 2003-08-28 Andrew Blake System and method for probabilistic exemplar-based pattern tracking
CN1734499A (zh) * 2004-08-09 2006-02-15 微软公司 通过动态规划进行修边
CN1820509A (zh) * 2003-09-16 2006-08-16 富士通株式会社 图像处理显示装置和图像处理显示方法

Family Cites Families (174)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (zh) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
WO1993010708A1 (en) 1991-12-03 1993-06-10 French Sportech Corporation Interactive video testing and training system
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
JP3481631B2 (ja) 1995-06-07 2003-12-22 ザ トラスティース オブ コロンビア ユニヴァーシティー イン ザ シティー オブ ニューヨーク 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを用いる物体の３次元形状を決定する装置及び方法
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
CA2253626A1 (en) 1996-05-08 1997-11-13 Real Vision Corporation Real time simulation using position sensing
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
EP0959444A4 (en) 1996-08-14 2005-12-07 Nurakhmed Nurislamovic Latypov METHOD FOR TRACKING AND REPRESENTING THE POSITION AND ORIENTATION OF A SUBJECT IN THE SPACE, METHOD FOR PRESENTING A VIRTUAL SPACE THEREON, AND SYSTEMS FOR CARRYING OUT SAID METHODS
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
DE69626208T2 (de) 1996-12-20 2003-11-13 Hitachi Europ Ltd Verfahren und System zur Erkennung von Handgesten
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
US6384819B1 (en) 1997-10-15 2002-05-07 Electric Planet, Inc. System and method for generating an animatable character
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
AU1099899A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
DE69936620T2 (de) 1998-09-28 2008-05-21 Matsushita Electric Industrial Co., Ltd., Kadoma Verfahren und Vorrichtung zum Segmentieren von Handgebärden
US6229918B1 (en) * 1998-10-20 2001-05-08 Microsoft Corporation System and method for automatically detecting clusters of data points within a data space
US6661918B1 (en) 1998-12-04 2003-12-09 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
DE69840608D1 (de) 1998-12-16 2009-04-09 3Dv Systems Ltd Selbsttastende photoempfindliche oberfläche
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US6941321B2 (en) 1999-01-26 2005-09-06 Xerox Corporation System and method for identifying similarities among objects in a collection
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US6674877B1 (en) 2000-02-03 2004-01-06 Microsoft Corporation System and method for visually tracking occluded objects in real time
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
US7050607B2 (en) 2001-12-08 2006-05-23 Microsoft Corp. System and method for multi-view face detection
US7039239B2 (en) * 2002-02-07 2006-05-02 Eastman Kodak Company Method for image region classification using unsupervised and supervised learning
ATE321689T1 (de) 2002-04-19 2006-04-15 Iee Sarl Sicherheitsvorrichtung für ein fahrzeug
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
EP1477924B1 (en) 2003-03-31 2007-05-02 HONDA MOTOR CO., Ltd. Gesture recognition apparatus, method and program
US7372977B2 (en) 2003-05-29 2008-05-13 Honda Motor Co., Ltd. Visual tracking using depth data
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
US7620202B2 (en) 2003-06-12 2009-11-17 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
CN100573548C (zh) 2004-04-15 2009-12-23 格斯图尔泰克股份有限公司 跟踪双手运动的方法和设备
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
CN101036150B (zh) * 2004-07-30 2010-06-09 欧几里得发现有限责任公司 用来处理视频数据的装置和方法
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
US7212665B2 (en) 2004-11-05 2007-05-01 Honda Motor Co. Human pose estimation with data driven belief propagation
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
JP5080273B2 (ja) 2005-01-07 2012-11-21 クアルコム，インコーポレイテッド オプティカルフローに基づく傾きセンサー
CN101198964A (zh) 2005-01-07 2008-06-11 格斯图尔泰克股份有限公司 使用红外图案照射创建对象的三维图像
CN102831387B (zh) 2005-01-07 2016-12-14 高通股份有限公司 检测和跟踪图像中的物体
JP5631535B2 (ja) 2005-02-08 2014-11-26 オブロング・インダストリーズ・インコーポレーテッド ジェスチャベースの制御システムのためのシステムおよび方法
US7317836B2 (en) 2005-03-17 2008-01-08 Honda Motor Co., Ltd. Pose estimation based on critical point analysis
WO2006124935A2 (en) 2005-05-17 2006-11-23 Gesturetek, Inc. Orientation-sensitive signal output
DE602005010696D1 (de) 2005-08-12 2008-12-11 Mesa Imaging Ag Hochempfindliches, schnelles Pixel für Anwendung in einem Bildsensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
US8351646B2 (en) 2006-12-21 2013-01-08 Honda Motor Co., Ltd. Human pose estimation and tracking using label assignment
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
EP2203893A4 (en) 2007-10-30 2014-05-07 Hewlett Packard Development Co INTERACTIVE DISPLAY SYSTEM WITH GROUP GESTURE DETECTION
US20090221368A1 (en) 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
GB2455316B (en) 2007-12-04 2012-08-15 Sony Corp Image processing apparatus and method
US9165199B2 (en) * 2007-12-21 2015-10-20 Honda Motor Co., Ltd. Controlled human pose estimation from depth image streams
CN101254344B (zh) 2008-04-18 2010-06-16 李刚 场地方位与显示屏点阵按比例相对应的游戏装置和方法
US8295546B2 (en) * 2009-01-30 2012-10-23 Microsoft Corporation Pose tracking pipeline
US8638985B2 (en) * 2009-05-01 2014-01-28 Microsoft Corporation Human body pose estimation
US8503720B2 (en) * 2009-05-01 2013-08-06 Microsoft Corporation Human body pose estimation
US8744121B2 (en) * 2009-05-29 2014-06-03 Microsoft Corporation Device for identifying and tracking multiple humans over time
US8270733B2 (en) * 2009-08-31 2012-09-18 Behavioral Recognition Systems, Inc. Identifying anomalous object types during classification

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030161500A1 (en) * 2002-02-22 2003-08-28 Andrew Blake System and method for probabilistic exemplar-based pattern tracking
CN1820509A (zh) * 2003-09-16 2006-08-16 富士通株式会社 图像处理显示装置和图像处理显示方法
CN1734499A (zh) * 2004-08-09 2006-02-15 微软公司 通过动态规划进行修边

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10210382B2 (en) 2009-05-01 2019-02-19 Microsoft Technology Licensing, Llc Human body pose estimation
CN103020885A (zh) * 2011-11-01 2013-04-03 微软公司 深度图像压缩
CN103020885B (zh) * 2011-11-01 2016-08-24 微软技术许可有限责任公司 深度图像压缩
US9557836B2 (en) 2011-11-01 2017-01-31 Microsoft Technology Licensing, Llc Depth image compression
US11215711B2 (en) 2012-12-28 2022-01-04 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
CN103970262A (zh) * 2013-02-06 2014-08-06 原相科技股份有限公司 光学式指向系统
CN103970262B (zh) * 2013-02-06 2018-01-16 原相科技股份有限公司 光学式指向系统
US11710309B2 (en) 2013-02-22 2023-07-25 Microsoft Technology Licensing, Llc Camera/object pose from predicted coordinates
CN107784683A (zh) * 2016-08-24 2018-03-09 谷歌公司 四边形化的分层深度图像
CN107784683B (zh) * 2016-08-24 2021-10-15 谷歌公司 四边形化的分层深度图像
CN109559128A (zh) * 2017-09-26 2019-04-02 天津铂创国茂电子科技发展有限公司 一种基于分布云的物品溯源跟踪识别验证系统

Also Published As

Publication number Publication date
US8379919B2 (en) 2013-02-19
CN102184558B (zh) 2013-04-24
US20110268316A1 (en) 2011-11-03
US8611607B2 (en) 2013-12-17
US20130163857A1 (en) 2013-06-27

Similar Documents

Publication Publication Date Title
CN102184558B (zh) 概率分布云的多质心压缩
US11703951B1 (en) Gesture recognition systems
US9972137B2 (en) Systems and methods for augmented reality preparation, processing, and application
CN102184531B (zh) 深度图置信过滤
US8929668B2 (en) Foreground subject detection
US8213680B2 (en) Proxy training data for human body tracking
EP3218076B1 (en) System and method for toy recognition
EP2095296B1 (en) A method and system for providing a three-dimensional model of an object of interest.
CN102129152B (zh) 具有集成vcsel阵列的深度投影仪系统
CN102693413B (zh) 运动识别
TWI497346B (zh) 人體追蹤系統
US9275277B2 (en) Using a combination of 2D and 3D image data to determine hand features information
CN102576463A (zh) 用于移除图像的背景的系统和方法
KR20130082425A (ko) 오브젝트 인식 장치, 분류 트리 학습 장치 및 그 동작 방법
CN102609954A (zh) 对人类目标跟踪的确认分析
CN102448562A (zh) 用于跟踪模型的系统和方法
CN102665838A (zh) 用于确定和跟踪目标的肢端的方法和系统
CN102129709A (zh) 可视化深度
CN102448564A (zh) 环境和/或目标分割
CN103608844A (zh) 全自动动态关节连接的模型校准
CN102156658A (zh) 对象的低等待时间呈现
CN116097316A (zh) 用于非模态中心预测的对象识别神经网络
CN102591456B (zh) 对身体和道具的检测
KR102535404B1 (ko) 혼합 현실에서의 물리 현상을 표현하기 위한 물리 현상 표현 방법 및 그 방법을 수행하는 혼합 현실 장치
KR101772890B1 (ko) 손의 홀딩 제스쳐에 대응하는 물체의 종류 및 조작 제스쳐에 대응하는 조작의 종류를 판단하기 위한 제스쳐 감지 장치 및 이에 의한 제스쳐 감지 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150518

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150518

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.