CN102262725B - 三维场景的分析 - Google Patents

三维场景的分析 Download PDF

Info

Publication number
CN102262725B
CN102262725B CN201110132428.8A CN201110132428A CN102262725B CN 102262725 B CN102262725 B CN 102262725B CN 201110132428 A CN201110132428 A CN 201110132428A CN 102262725 B CN102262725 B CN 102262725B
Authority
CN
China
Prior art keywords
depth map
background
sequence
pixel
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110132428.8A
Other languages
English (en)
Other versions
CN102262725A (zh
Inventor
A·格曼
T·亚尼尔
M·布兰德
E·顾恩德曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Computer Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Computer Inc filed Critical Apple Computer Inc
Priority to CN201610110102.8A priority Critical patent/CN105740839B/zh
Publication of CN102262725A publication Critical patent/CN102262725A/zh
Application granted granted Critical
Publication of CN102262725B publication Critical patent/CN102262725B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/507—Depth or shape recovery from shading
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/12—Shadow map, environment map

Abstract

一种用于处理数据的方法和装置，包括接收包含人形形状的场景的深度图。所述深度图被处理，以识别所述场景中的三维(3D)连接分量，每个连接分量都包括一组相互邻近并具有相互邻近深度值的像素。将分离的第一连接分量和第二连接分量都识别为属于所述人形形状，并且产生包括所述第一连接分量和所述第二连接分量的所述人形形状的表示。

Description

三维场景的分析
技术领域
本发明总体涉及用于三维(3D)绘图(mapping)的方法和系统，并特别涉及3D图(map)数据的处理。
背景技术
在本领域中已知许多用于产生深度图(depthmap)的不同方法和系统。在本专利申请和权利要求中，术语“深度图”是指场景的二维像素矩阵表示，其中每个像素分别对应于场景中的一个位置并分别具有指示从某一参考位置到各自的场景位置的距离的像素值。(换句话说，深度图是图像的形式，其中像素值指示场景中目标的形貌信息，而不是亮度和/或颜色)。通过例如向目标投射激光斑纹图案并检测和处理该目标的图像，可以生成深度图，如在PCT国际申请WO2007/043036A1中所述，该申请的公开内容以参引方式被纳入本文。
深度图可以被处理，以分割和识别场景中的目标。深度图中人形形状(指的是结构类似于人的3D形状)的识别以及从一个场景到另一个场景这些形状的改变可以被用作控制计算机应用(application)的手段。例如，PCT国际申请WO2007/132451描述了一种计算机实现方法，其中深度图被分割，以便发现人形身体的轮廓，该申请的公开内容以参引方式被纳入本文。轮廓被处理，以识别身体的躯干以及一个或多个肢体。通过分析深度图中的至少一个被识别出的肢体的布置，产生一个输入以控制运行在计算机上的应用程序。
发明内容
本发明的实施方案提供用于从深度图中提取信息的方法、装置和软件。
因此，根据本发明的一个实施方案提供一种用于处理数据的方法，该方法包括接收场景的按时间的深度图序列，所述场景包括静态背景和隐藏所述背景一部分的一个或多个移动的前景目标，所述深度图包括像素矩阵，所述像素的至少一些具有各自的像素深度值并对应于所述场景中的各自位置。数字处理器处理所述序列中的第一深度图，以识别没有被所述第一图中所述移动的前景目标所隐藏的所述静态背景的第一部分。所述序列中至少一个第二深度图被处理，以识别所述静态背景的至少一个第二部分，由于所述前景目标中的至少一个在所述序列上的运动，所述第二部分不同于所述第一部分。所述处理器通过组合所述静态背景中的至少所述第一部分和所述第二部分，构造所述场景的背景模型。
在一些实施方案中，所述方法包括基于所述背景模型，通过发现比所述背景模型更接近的像素来产生前景图。可以发现人形体形，其包括属于所述前景图的像素和被发现属于前一帧中人形体形的像素。
在一个公开的实施方案中，所述方法包括识别所述深度图中的平面地板(planarfloor)。所述目标中的一个的阴影可以在所述深度图中被识别，并且投射阴影的目标的深度可以被用于评估所述背景模型。
通常，构造所述背景模型包括：响应于在所述深度图序列上所述背景中出现的变化，来更新所述背景模型。在一个公开的实施方案中，所述深度图被成像组件所捕获，并且所述方法包括评估所述序列中深度图之间所述背景模型变化的程度，并且当所述变化的程度超过预定阈值时，检测所述成像组件已经移动。
根据本发明的一个实施方案，还提供一种用于处理数据的方法，包括接收场景的深度图，所述场景包含一个或多个关于表面定位的目标。数字处理器处理所述深度图，以识别并产生所述表面的参数模型；以及通过将由所述参数模型表示的所述表面从所述深度图中移除，分割所述场景中所述一个或多个目标。
在一个公开的实施方案中，所述表面是对应于地板的平面表面，在所述地板上定位有所述目标中的至少一个。处理所述深度图包括计算所述深度图中所述像素的局部法线(localnormal)，并且根据由所述局部法线所预测的平面来聚集所述像素，以识别所述平面表面。通常，所述深度图被成像组件所捕获，并且所述聚集操作包括处理所述像素的至少一些的各自深度值，以预测所述成像组件相对于每个像素的高度，以及聚集具有相同的所述成像组件预测高度的像素。
附加地，根据本发明的一个实施方案提供一种用于处理数据的方法，包括接收包含人形形状的场景的深度图。数字处理器处理所述深度图，以识别所述场景中的三维连接分量(3Dconnectedcomponent)。每个连接分量包括一组相互邻近并具有相互邻近深度值的像素。所述处理器将分离的连接分量识别为属于所述人形形状，并产生包括一些连接分量的所述人形形状的表示。
在一个公开实施方案中，处理所述深度图包括定位所述深度图的边缘和所述边缘之间的像素块，并且聚集相邻的三维像素块以识别所述3D集群(cluster)。
在一些实施方案中，接收所述深度图包括接收按时间的深度图序列，并且识别所述连接分量包括在所述序列中的多个连续深度图上跟踪所述连接分量。跟踪所述连接分量可以包括：为属于所述序列中第一深度图中的相同人形形状的连接分量分配公共标识符(commonidentifier)，并使用所述公共标识符来确定所述连接分量属于随后的第二深度图中的所述人形形状。通常，分配所述公共标识符包括用所述公共标识符标注所述深度图中所述连接分量的像素。当所述第二深度图中的所述人形形状与另一个目标接触时，由此导致所述第二连接分量包含其他目标，可以使用所述公共标识符将属于所述人形形状的所述第二连接分量的被标注像素从属于其他目标的像素中分离，以产生出现在所述第二深度图中的所述人形形状的表示。
额外地或可替代地，跟踪所述连接分量包括估计所述连接分量的运动速度，以及产生所述表示包括使用被估计的速度保持所述人形形状的被遮挡部分的识别。
在一个实施方案中，所述深度图中的所述人形形状被另一个目标部分地遮挡，并且所述连接分量对应于被该遮挡目标分离的所述人形形状的各部分，并且产生所述表示包括识别这种情况并将所述连接分量保留在所述人形形状的表示中。
再者，根据本发明的一个实施方案提供一种用于处理数据的装置，包括成像组件，该成像组件被配置为产生场景的深度图，所述场景包含一个或多个关于表面定位的目标。处理器被配置为处理所述深度图，以识别并产生所述表面的参数模型，并通过将由所述参数模型表示的所述表面从所述深度图中移除来分割所述场景中所述一个或多个目标。
根据本发明的一个实施方案，还提供一种用于处理数据的装置，包括成像组件，该成像组件被配置为产生包含人形形状的场景的深度图。处理器被配置为处理深度图，以识别所述场景中的三维(3D)连接分量，每个连接分量包括一组相互邻近并具有相互邻近深度值的像素，将分离的连接分量都识别为属于所述人形形状，并且产生包括一些连接分量的所述人形形状的表示。
根据本发明的一个实施方案，还提供一种计算机软件产品，包括有形的计算机可读介质，其中程序指令被储存在所述计算机可读介质中，当指令被计算机读取时，计算机接收场景的按时间的深度图序列，所述场景包含静态背景和隐藏所述背景一部分的一个或多个移动的前景目标，并且执行上述方法中的一个或多个。
参照附图，从下文实施方案的详细描述中能够更完整地理解本发明。
附图说明
图1是根据本发明的一个实施方案的用于3D绘图和场景分析的系统的示意性图示；
图2是示意性示出根据本发明的一个实施方案的3D成像组件和相关计算机的元件的框图；
图3是示意性示出根据本发明的一个实施方案的用于3D场景分析的方法的流程图；
图4是示意性示出根据本发明的一个实施方案的用于识别3D场景中地板的流程图；
图5是根据本发明的一个实施方案的深度图的示意性正面表示，所述深度图示出了对应于已经在深度图中被识别的目标的块；
图6是根据本发明的一个实施方案的深度图的示意性俯视图，所述深度图示出了已经在深度图中被识别的块的集群；以及
图7是根据本发明的一个实施方案的深度图的示意性正面表示，所述深度图示出了目标在深度图中的分割。
具体实施方案
概述
深度图提供有价值的信息，尤其是当深度图被连续呈现时。然而，基于深度图的游戏和其他应用仅因为从这些深度图中捕获、处理和提取高级信息的固有困难而发展缓慢。
下文中描述的本发明的实施方案通过提供用于处理深度图，尤其是用于定位和跟踪深度图序列中人形形状的强健、有效的方法来解决这些困难。这些深度图通常表示包含静止背景和一个或多个移动的前景目标(隐藏了背景的一部分)的场景。在公开的实施方案中，数字处理器识别和建模背景，该背景包括通常在室内场景的背景中出现的地板和墙壁。处理器使用模型，以便于检测遮挡了背景模型的前景中的人形形状的各部分(并因此会被认为从此属于前景)，并可以将它与不在前景中的形状的其他部分关联。为了识别和跟踪感兴趣的形状，尤其是人形形状，处理器分析移动的前景目标。
在一些公开的实施方案中，处理器通过识别每个深度图中不被前景目标隐藏的静态背景的各部分来构造背景模型。由于前景目标从一个图移动到另一个图，所以背景中的不同部分通常在不同图中显现。处理器通过组合序列中的不同图的静态背景的不同部分来创建背景模型。
附加地，处理器可以特别地识别具有可以被参数建模的特定几何形状的表面，尤其是平坦表面，例如地板和墙壁，这些表面构成背景的一部分。为此，在一个实施方案中，通过考虑相邻像素处的深度值，处理器计算深度图中像素的局部法线。为了识别地板和其他可能的平面表面，处理器使其局部法线大致指向相同方向的像素聚集。
通过识别深度图中3D连接分量，处理器从场景中提取人形形状(以及其他可能感兴趣的目标)。每个连接分量包括一组相互邻近并具有相互邻近深度值的像素，这意味着相邻像素的深度值不能偏离多于(小)预定的阈值量。为了计算人形形状的几何模型，处理器识别和跟踪这些连接分量，所述几何模型然后可以被进一步处理，以识别高级特征，例如身体姿势、移动和手势。
尽管理想地，每个人形形状应该作为单个连接分量出现，但由于场景本身的各方面原因，常常会发生的是给定的人形形状会作为一组两个或更多个分离的连接分量出现。这个分离使得完全识别人形形状变得困难，更不要说对高级特征建模。例如，在一些深度图中，人形形状可以被另一个目标部分地遮挡，从而该形状被分成两个或更多个分离的连接分量。在其他情况中，人形形状的一个部分可以部分地遮挡深度图中另一个部分。然而，在下文描述的实施方案中，处理器为构成给定人形形状的所有连接分量分配一个公共标识符，并且在跟踪这些连接分量时使用该标识符，即使当这些连接分量变得分离或者彼此遮挡时也是如此。这些实施方案的方法使得处理器能够解决异常情况并产生人形形状的连续表示(即使面对遮挡时)。
系统描述
图1是根据本发明的一个实施方案的3D用户界面系统20的示意性图示。用户界面基于3D成像组件22，该成像组件22捕获包括用户28和用户30的身体的至少一部分的3D场景信息。组件22也可以捕获场景的彩色视频图像。组件22输出包含3D图数据(以及可能的彩色图像数据)的帧序列到计算机24，计算机24从图数据中提取高级信息。该高级信息经由API被提供给在计算机24上运行的应用，计算机24相应地驱动显示器26。在画出的实施例中，例如，用户28和用户30通过移动他们的肢体和改变身体姿势与在计算机24上运行的游戏软件互动。
为了重新构造包含用户28和用户30的场景的深度图(也被称为“3D图”)，计算机24处理由组件22产生的数据。在一个实施方案中，组件22在场景上投射斑点图案并且捕获被投射图案的图像。接着，基于图案中斑点的横向位移，组件22或计算机24通过三角测量(triangulation)计算场景中各点(包括用户身体表面上的点)的3D坐标。该方法的优势是不需要用户持有或佩戴任何类型的信标、传感器或其他标记。该方法给出相对于离组件22特定距离处的预定参考平面的场景中各点的深度坐标。用于此类使用投射图案的、基于三角测量的3D绘图的方法和设备例如在PCT国际申请WO2007/043036、WO2007/105205和WO2008/120217中描述，这些申请的公开内容以参引方式被纳入本文。或者，基于单个或多个本领域公知的摄像机或其他类型的传感器，系统20可以使用其他3D绘图方法。
在本实施方案中，在用户移动他们身体的同时，系统20捕获和处理包含用户28和用户30的三维(3D)图序列。在组件22和/或计算机24上运行的软件处理3D图数据，以提取对应于场景中用户的人形形状。为此(如将在下文详细描述的)，软件识别和建模静态场景背景，包括平面表面——例如地板32和墙壁34，以及其他背景目标，例如在该实施例中的窗户36。为了检测和跟踪用户28和用户30的人形形状以及其他前景目标(例如椅子38)，该软件将图像中的前景部分与所检测的人形形状的部分结合。
为了提取每个身体的骨架，组件22或计算机24通常分析人形形状的几何特征，包括用户的手和关节的3D位置以及方向。为了识别手描绘的手势，也可以分析手在多个帧上的轨迹。然而，系统20的这些操作方面超出了本专利申请的范围。骨架和手势信息经API提供给运行在计算机24上的应用程序。作为对骨架和/或手势信息的响应，该程序例如可以移动和修改呈现在显示器26上的图像。
计算机24通常包括通用计算机处理器，该处理器被用软件编程以执行下文描述的功能。所述软件例如可以经网络以电子形式被下载到处理器，或者可以作为替代地在有形的、非短暂介质——例如光、磁或电子存储介质——上提供。替代地或额外的，所描述的计算机的部分或全部功能可以在专用硬件——例如定制集成电路或者半定制集成电路或者可编程数字信号处理器(DSP)——中实施。尽管在图1中以实施例方式将计算机24显示为成像组件22的分离单元，但是计算机的部分或全部处理功能可以由合适的微处理器和软件执行，或者由成像组件壳内或者与成像组件相关联的专用电路执行。
作为另一个替代，至少部分的处理功能可以由合适的处理器执行，所述处理器与显示屏26(例如在电视机中)或者任何其他合适类型的计算机化设备——例如游戏控制器或媒体播放器——集成。组件22的感应功能同样可以集成到计算机或其他被传感器输出控制的计算机化装置。
图2是示意性示出根据本发明的一个实施方案的系统20中成像组件22和计算机24的元件的框图。成像组件22包括照射子组件42，照射子组件42在感兴趣的场景上投射图案。深度成像子组件44——例如合适配置的摄像机，捕获场景上图案的图像。通常，照射子组件42和成像子组件44在红外范围内运行，尽管也可以使用其他频谱范围。可选地，彩色摄像机46捕获场景的2D彩色图像，并且麦克风48也可捕获声音。
处理器50从子组件44接收图像，并且将每个图像中的图案与存储器52中存储的参考图案对比。参考图案通常通过预先投射图案到距离组件22一已知距离的参考平面来捕获。一般来说，该平面垂直于子组件44的光轴。处理器50计算子组件44捕获的图像中图案的各部分相对于参考图案的局部位移，并将这些位移转化为深度坐标。该过程的细节例如在PCT国际申请WO2010/004542中描述，该申请的公开内容以参引方式被纳入本文。作为替代地，如前文注意到的，组件22可以被配置为通过本领域公知的其他手段——例如立体成像或飞行时间(time-of-flight)测量——产生深度图。
处理器50经由通信链路54——例如通用串行总线(USB)连接，将深度图输出到计算机24合适的接口56。计算机包括带有存储器60和用户接口62的中央处理单元(CPU)58，该计算机驱动显示器26并且也可以包括其他部件。如上文注意到的，成像组件22可以替代地仅输出来自子组件44的原始图像，并且上文描述的深度图计算可以由CPU58用软件执行，或者下文中提到的CPU58所具有的功能的至少一部分可以由处理器50执行。用于从深度图中提取高级信息的软件可以运行在处理器50、CPU58或者二者上；并且在本专利申请和权利要求中的所提到的CPU或处理器应该被理解为指的是这些元件中的一个或二者。如下文将详细描述的，CPU58通常运行一个或多个应用程序，所述应用程序基于经API由中间件提供的信息驱动用户接口62。
场景分析方法
图3是示意性示出根据本发明的一个实施方案的用于3D场景分析的方法的流程图。为了清楚，参考上文描述的系统20的部件以及图1和图2示出的元件来描述该方法。然而，该方法的原理基本可以在任何合适的用于深度绘图和分析的系统中实施。同样为了描述的方便和清楚，假设该方法的步骤由CPU58在软件中执行，但是替代地，这些步骤的一部分或全部可以由处理器50或另外的合适的数字处理器执行。
在深度图输入步骤70，计算机24从成像组件22接收按时间的深度图序列。深度图通常由成像组件在固定的帧速率下以视频图像的通用格式输出，带有光栅顺序的像素值。(因此在本文中的序列中的图也被称作图帧(mapframe)，或者简化为帧)。深度图中的像素值可以是实际的深度坐标值或图案视差(disparity)值(以像素为单位)，所述像素值与实际的深度值有已知的单调关系。该方法在序列中每个图帧上迭代执行。
在地板建模步骤72，CPU58分析每个深度图以定位和建模地板32。该步骤将在下文参考图4详细描述。地板位置(或者静态背景的其他部分)的明显变化可以给CPU提供摄像机已经移动的指示，例如由于被一个用户偶然或故意的接触。CPU将已经被识别属于地板平面的像素从深度图中除去，通常通过将这些像素的深度值赋值为零来实现。
在背景构造步骤74，遍经图帧序列，CPU58逐渐建立场景背景的模型。对于每一个像素，CPU存储整个序列上的最大深度值(或者等价地，与参考图像比较的最大视差)。背景中的像素的深度值是该像素随时间的最大视差值。如果对于多于特定数量的连续帧，像素都没有可提供的深度值(不是因为阴影)，则背景模型会在此像素处丢失其值。如果像素是由于阴影不具有深度值，并且投射该阴影的目标比当前背景深度值还要远，则像素会失去其当前背景值。如果背景模型中的像素不具有深度值且在当前帧中具有一个值，并且包含该像素的前景连接分量与背景相邻，则该像素的背景值会变成当前值。
对于属于给定图中移动目标的像素，CPU58可以在这些像素被前景目标阻挡之前或者在前景目标已经移走之后为这些像素存储背景值。例如，在图1示出的场景中，窗36的区域被用户30的头部遮掩，但是当用户在随后的图帧中改变其姿势时，同一区域可以显现给成像组件22。因此，遍经多个帧，作为在每个帧中显现的背景的不同部分的组合，CPU58累积地建立背景模型。
如上文示出的，前景目标——例如用户28和用户30的身体——可以在其后面的目标上投射阴影，结果是成像组件22将不能提取阴影中的深度值。为了避免由于阴影而造成的深度图中的假象，CPU58将邻近一个目标的没有深度值的区域识别为属于该目标。阴影被允许包括只到特定最大阴影宽度的像素，而特定最大阴影宽度是由深度图中前景部分和背景部分之间的图案位移差所决定。几何上示出最大阴影宽度(以像素为单位)是前景目标和背景目标之间图案位移差的最大值的1/8。CPU58可以计算阴影图像，指示图的阴影区，以在控制背景模型的更新时作为屏蔽(mask)使用。
为了消除随后处理中可能增加噪声的假象，CPU58可以“转储(dump)”背景模型。例如，如果CPU检测给定区域中的连接分量处于的深度接近在该区域中背景模型的深度，则它可以根据所述连接分量的值来修正背景模型的深度值。另一方面，如果CPU已经跟踪前面帧的连接分量，并且识别它为人形形状的一部分(或者至少是人形形状一部分的候选)，则保持分离，即使当连接分量接触背景时也是如此。遍经特定数量的帧，带有前景深度值的且没有被识别作为移动目标一部分的像素同样可以被附到背景中。
在分量检测步骤76，CPU58移走地板，并随后试图在前景像素和仍留在图中的之前被检测的像素之中发现可以对应于人形形状各部分的3D连接分量。CPU可以将之前没有被识别作为人形形状各部分并且不是前景的像素“移除”到前景深度值的范围外(通过分配所述像素人为深度值)，以使得这些像素不被认为是前景像素的分割，但是仍被认为是用于其它用途(将在下文描述)的场景分量。
CPU分配标识符来标注它已经发现的每个3D连接分量，并计算连接分量的属性，包括：
1.像素数量；
2.包含所述连接分量的边界框；
3.质量中心；
4.面积；
5.前景像素的数量(假设连接分量的一部分具有背景深度值)；
6.其他附近连接分量的标识符。
作为替代或额外的，可以计算和存储其他属性。CPU在跟踪人形形状从一帧到另一帧的移动中使用标识符和连接分量属性。因此，给定帧中的连接分量通常由前景像素和被发现属于前一帧中人形形状的像素组成。
在集群检测步骤78，CPU58处理深度图以识别新的3D集群。这些集群可以对应于没有在前面的帧中识别的人形身体，并且当系统开始运行时，其本身被用于在人形形状的初始识别中。步骤78在下文中会参考图5和图6做更详细地描述。
在步骤78，识别的集群由具有近似相同深度值的相邻的像素块构成，所述块被聚集成具有相互邻近深度值的3D集群。跟踪在连续帧中出现的且具有不大于预定阈值(例如，10cm)的相对移动的集群。CPU在每个候选集群周围建立边界框并跟踪它在多个连续图帧上的移动。CPU将累积移动大于一些最小阈值(例如，20cm)的候选识别为移动目标。为此，移动被定义为集群的两个边缘的移动，即左侧和右侧都应大体在相同方向上移动。
在分割步骤80，CPU58处理在步骤76和步骤78发现的连接分量和集群，为的是分割和识别可以对应于人形身体各部分的分量。在分量集合步骤82，它将相邻的分量集合在一起，以重构人形身体形状。该步骤可以包括若干子操作。在简单的情况中，人形形状会作为单个3D连接分量出现，并且以此被标注。这种形状可以很容易被识别，例如通过执行校准过程，其中用户以规定的姿势面对成像组件22站立。所述过程帮助CPU58在计算机24上运行游戏或其他应用的同时，随着用户随后的移动而跟踪用户身体各部分，
在其他情况中，在粘合(gluing)子步骤84，CPU58可能需要集合不同深度的两个或更多个连接分量，以构成单个人形身体形状。如上文注意到的，如果整个形状在前一个图帧中被识别，则公共标识符和元数据可以被用于保持各分量之间的联系。额外地或作为替代地，互相邻近的未标注的移动的连接分量可以被集合，并且被分配一个公共标识符(即使之前没有被标注)。
另一方面，当用户接触前景目标(包括另一个用户)时，所述用户和目标可以作为单个3D连接分量按时间出现在所述图帧的一个或多个中。在这种情况中，CPU58可以错误地分配给它们一个公共标识符。随后，当用户从目标处移开时，在深度图中可以有两个带有相同标识符的独立的连接分量。在这种情况中，CPU可以重设标识符并重建实际对应于用户身体的3D连接分量(或多个分量)。
作为替代地，在这类情况中，CPU58可以使用在前一个帧中分配的标识符，以将属于用户身体的合并连接分量的被标注像素从属于与所述身体接触的其他目标的像素中分离。因此，尽管有接触，但CPU能够正确地分割身体。特别是当所述其他目标是另一个用户时，CPU会为属于场景中两个(或更多个)不同人形形状中的每一个的像素分配不同的特定标识符。然后，已经被分配到一个帧的不同标识符可以被用在随后的帧中，以将合并连接分量的像素中的每一个分配到正确的身体。
当在一个或多个深度图中一部分人形形状被另一个目标遮挡时，会出现一些具体的困难。在遮挡检测步骤86，CPU58检测并解决这些异常。该步骤会在下文参考图7做更详细地描述。
在总结步骤82，在大部分情况中，所有的人形形状已经被识别。对于这些人形形状的每一个，CPU58分配一个公共标识符，以标注组成所述形状的所有3D连接分量。CPU用合适的标识符标注属于这些连接分量的所有像素。(不属于任何人形形状的像素接受空的标识符。)结果是得到了分割的深度图，该深度图随后可以被进一步处理，以提取人形形状的骨架。同时，在图3方法的下一次迭代中，在处理CPU在步骤70接收的下一个深度图时，被标注的像素的矩阵被用作偏差(departure)点。
地板检测
图4是示意性示出根据本发明的一个实施方案的在步骤72中使用的用于检测3D场景中地板的方法的详情的流程图。该地板在场景中被限定为平面表面，其被期望位于深度图的下部。场景中的任何平面都满足形式为AX+BY+CZ+D＝0的方程，其中(X，Y，Z)是空间中坐标，并且A，B，C和D是常量。对于基于投射图案的视差值s的深度图(在每个像素(x，y)处计算)，平面方程可以关于像素坐标和位移值(x，y，s)进行重铸，其中常量被适当调整。因此，图4的方法以及图2中示出的方法的其他方面可以在原始图数据上执行，甚至在计算实际深度值之前。在(x，y，s)域中的计算细节在上文提及的临时专利申请中描述。
在地板发现步骤90，对于每个连续的深度图，通过检查是否已经在之前的图帧中发现地板模型，CPU58开始发现地板的过程。如果是这样，在新模型计算步骤92，CPU为存在的地板计算新模型。为此，CPU创建包含深度图中所有像素的地板图像，所述像素在存在的地板的平面(在预定公差内)上，或低于所述平面。(在步骤74，地板图像随后可以从深度图中移除。)在模型标记步骤94，CPU计算新模型的置信度分数(confidencescore)，并且在模型评估步骤96使用所述分数，以决定接受或拒绝当前图帧的地板平面。所述置信度分数例如可以基于地板平面中像素的数量与低于该地板平面的像素数量的比较(并因此看得出是错误的)。在地板替换步骤98，如果存在的地板平面是可接受的，则CPU可以基于地板图像调整平面参数。例如，CPU可以对地板图像中的像素执行平面的最小二乘方拟合，以调整平面参数。
在步骤96，如果在地板图像中有太多的像素(例如，多于像素的1/6)低于存在的地板平面，则CPU拒绝新的地板模型。地板模型失效的原因可以是，例如由于用户28和用户30中一个有意或无意的接触，使得成像组件22已经移动。在摄像机运动检查步骤100，CPU估计被移动的可能性。CPU例如可以计算背景模型中深度值的变化速率。如果在变化速率中发现大的、突然的增加，则CPU得出摄像机已经被移动的结论。否则，地板模型被保留到下一帧。
如果在步骤100，CPU发现摄像机已经移动，并且新的地板模型是无效的，则在地板无效步骤102，CPU将当前地板模型设置为错误，并随后继续发现新的地板。CPU类似地在任何新图帧序列开始处开始新的地板搜索。
紧随步骤102，在穷尽搜索步骤104，CPU首先可以尝试穷尽性地板搜索。在该步骤，CPU识别深度图中(或者为了计算效率，可能在深度图的抽取版本(decimatedversion)中)所有水平像素，即，局部法线指向上的像素。局部法线是通过比较相邻像素的深度值来计算。基于透视规则，每个水平像素的空间坐标预测特定摄像机离地板的高度，假设该点在地板上。根据各自的摄像机高度预测值，CPU聚集水平像素。随后，CPU在那些包含多于一个预定最小区域的集群中选择位于空间中最低平面的集群作为地板基准。
在搜索检查步骤106，CPU检查是否发现合适的集群。如果发现，如下文描述的，通过遍经集群中像素的线性回归，CPU计算地板平面并且进入标记步骤112。如果没有发现合适的集群，则在模型猜测步骤108，CPU采用粗略估计的替代过程。在该步骤中，CPU随机地从深度图的下三分之一中选择三个像素，并计算空间中包含这三个对应点的平面。在模型检查步骤110，CPU检查该平面是否水平(法线指向上)。如果水平，则CPU接受该平面作为地板。否则，直到下一个帧才终止地板搜索。
在模型标记步骤112，CPU58评估在步骤104或步骤108发现的地板模型。该步骤以和上文描述的步骤94基本相同的方式进行。在新模型计算步骤114，为了比较，CPU计算新模型。该步骤以和上文描述的步骤92基本相同的方式执行。在新模型标记步骤116，CPU评估该新模型，在模型比较步骤118，CPU将评估结果与从步骤112得到的之前的模型分数比较，并且如果新模型分数更好则用新模型代替之前模型。CPU可以重复步骤114-118，直到其不能获得对模型的进一步改进，此时过程直到下一个帧才终止。
尽管上文描述的方法特别涉及识别深度图中的地板(并在后续的分析中将地板移走)，对该方法进行稍加改进，则可以使用它来发现(以及移除，如果期望)其他平面表面，例如墙壁、天花板、甚至桌面。再者，上文描述的方法可适合识别其他类型的能够参数表示的非平面表面，例如可以出现在深度图中的球面表面和抛物线表面。这些表面的参数可以从深度图中得出，例如，通过对深度图中点的合适的3D函数的线性最小二乘方拟合。可以用于此目的的拟合技术例如在Flannery等人的NumericalRecipesinC：TheArtofScientificComputing，第二版(CambridgeUniversityPress，1992)，671-681页中描述，该内容以参引方式被纳入本文。
提取人形形状
图5和图6分别示意性示出根据本发明的一个实施方案的深度图120的主视图和俯视图。图5示出深度图中对应于目标的块122、124和126。图6示出了基于所述块在XZ平面上的投影的块的集群。这些图示出了连接分量检测步骤74的实施方式(图3)。
为了发现图5中示出的块，CPU58沿着X(水平)方向区分深度图。为此，可被发现的没有深度值的像素被分配一个随机的、非常大的深度值。导数值大于特定阈值的像素被归类为边缘。为了避免边缘假象，在区分深度图之前，前景目标(如上所述)的阴影被分配与投射该阴影的目标相同的深度值。随后，CPU搜索被区分的深度图的行，以发现被之间没有边缘的左边正边缘和右边负边缘定界的像素行程(run)。
CPU创建包含这类行程的块122、124、126，所述行程在多个相邻行发生，并且符合下列标准：
·行程在至少最小数量(例如，五个)的连续行中发生。
·行之间的深度值差不大于预定阈值。
·行程在X方向至少重叠最小的重叠比例(例如，块中至少80％的最短行程)。
CPU计算每个块的几何特征，例如边界坐标、中间深度值、质量中心和面积。
如图6中示出的，CPU58随后将块集合成3D集群。该图示出了深度图在X-Z平面的视图，其中深度(Z)从图的顶部增加到底部。三角形区域128表示成像组件22的观察范围。这里块122、124和126可以被看作处于各自不同的深度范围的集群。块122对应于中间深度处的人形形状的各部分，如在图5右侧看到的。块124对应于前景中的椅子，而块126是背景的一部分。
如果块符合特定几何标准，则CPU将这些块集合在一个集群中。例如，CPU可以要求块的各自边界框在X-Z平面至少被一些最小量重叠，并且每个块的质量中心被包含在集群中其他块的边界框内。如果块的面积和至少是矮小的人的面积，则集群被标记为属于人形形状的候选。
如之前注意的，除了符合上述几何标准以外，如果经过多个图帧集群通常保持一些移动，则集群被认为是人形形状的候选。因此，如果给定的集群出现在和前一帧中被识别的人形形状相同的大体位置，则CPU保持该识别并且使用与前一帧相同的标识符标注该集群。
否则，为了确定集群是否是人形形状(已经持续若干连续帧)，计算机将集群中的块投射在地板平面上(在步骤72发现)，并且计算投影的几何属性，例如面积、质量中心和边界框。深度图中所有落入边界框的连接分量被假设为属于相同的候选形状。如果所有这些连接分量的累积面积大于给定阈值，则CPU集合集群和其相关的连接分量，并为它们分配公共的标识符作为人形形状。CPU计算和存储该形状的属性，并且在后续的图帧中跟踪该形状，如上文描述的。
因此，再次参考图5和图6，CPU将发现块122的集群符合几何标准，并且将识别该集群属于计算机用户的人形形状。块124的集群太小，将被丢弃。尽管块126的集群大小足够，但是由于其是静态的因此最终也会被丢弃。
图7是根据本发明的一个实施方案的深度图130的示意性正面表示，所述深度图130示出了深度图中目标的分割。该图基于一个人的实际深度图，例如可能在实际计算机游戏中发生的，该人迅速提起他的右腿，以进行空手道中的跳踢。人的身体作为3D连接分量132出现，3D连接分量132在之前的图帧中出现而因此具有标识符，并被用计算的几何特性标注。新的连接分量134——对应于腿——突然出现在该图中的大体比身体其他部位更短的距离处。连接分量134部分地遮挡身体分量132并且将该分量从另一个对应于人的手臂的连接分量136中切去。
为了处理这类情况，当连接分量——例如分量134——突然出现在图帧中(并因此没有预先分配的标识符)时，CPU58搜索附近其他的已经预先被识别并被标注为人形形状的连接分量。如果新的连接分量在X和Y(图7中的水平和竖直方向)中相邻，并且深度接近预先识别的连接分量(在该实施例中为分量132)，且在其之间没有深度不同的区域(除了无深度区域和遮挡目标)，则CPU将连接分量联系在一起并且为二者分配公共的标识符。因此，在图7示出的实施例中，CPU会将分量134和分量136附接到分量132。CPU会分配分量132的标识符给分量134和分量136，并且会因此辨认并跟踪属于单个人形形状的这些分量。
在这类情况中，可以使用在结合连接分量到单个身体单元的其他考虑，包括各自边界框的交叉和他们质量中心之间的距离。
在步骤86(图3)，系统20异常处理的另一类型是一个人形形状被另一人形形状或其他前景目标遮挡。这类情况在图1中示出，其中用户28的左腿遮住了用户30的身体。这类情况的结果是当CPU58分析画出的场景中的深度图中的3D连接分量时，用户30的右腿的下部分会与身体的其他部分分离。
CPU58使用上文描述的数据结构处理这类情况。假设在之前的图帧中用户30的身体被完全识别而没有遮挡，则CPU会将一个与用户30身体的其他部位相同的公共标识符与该用户30的右腿区域中的连接分量相关联。再者，CPU会认出：对应于用户30右腿的连接分量和对应于用户30身体的连接分量位于相同的深度范围，而对应于用户28身体的连接分量—一包括分离用户30身体各部分的左腿—一则处在较小的深度。在这些情况下，CPU会得出结论：对应于用户30的腿和身体的分离的连接分量实际上是同一人形形状的不同部分，并且会将各连接分量用一个公共标识符“粘合”在一起。
一旦已经检测并解决了这类遮挡，对于每个人形形状，CPU58存储遮挡所述人形形状的其他人形形状(以及其他前景目标)的记录和所述人形形状遮挡的其他人形形状的记录。这些记录对于解决发生在随后帧中的遮挡是有用的。类似的技术可以用在检测和解决一个人触碰另一个人的情况。
可选地，CPU58可以跟踪人形形状各部分从一帧到另一帧的运动，并由此估计这些身体部分运动的速度。CPU可以使用该速度推断用户身体各部分的位置(即使当他们被其他目标遮挡时)，并且因此可以保持对人形形状被遮挡的各部分在深度图中的恰当识别。
如之前注意到的，尽管为了解释的清楚和方便，上文的实施方案是参考特定类型的深度绘图系统和特定类型的计算机应用来描述，但是本发明的原理可以类似地被应用到基本任何合适系统的任何类型的深度图中，而不管其要求如何。具体地，上文描述的3D连接分量分析和分割的方法可以用于从深度图中提取其他类型目标，并且不只是人形形状。作为结果的被分割的深度图可以直接显示给用户以用于用户观察，并且可以被用作基本任何类型的应用程序的输入，所述应用程序接受分割的深度图或其他图像作为其输入。
因此，应理解，上述实施方案是通过实施例的方式来叙述，但本发明不限于上文所具体示出和描述的内容。相反，本发明的范围包括上述各种特征的组合和子组合及其变化和变型，这些对于阅读了前文描述的本领域技术人员是可以想到的，并且没有在现有技术中公开。

Claims (16)

1.一种用于处理数据的方法，包括：
接收场景的按时间的深度图序列，所述场景包括静态背景和隐藏所述背景一部分的一个或多个移动的前景目标，所述深度图包括像素的矩阵，所述像素的至少一些具有各自的像素深度值并对应于所述场景中的各自位置；
使用数字处理器，通过如下方式来构造表示所述场景的静态背景的背景模型：在每个像素处保存在所述深度图的所述序列上在所述像素处找到的最大深度值，使得在所述序列中的第一深度图中被所述移动的前景目标隐藏的所述静态背景的至少一部分通过在所述序列中的至少一个第二深度图中在对应像素处找到更大的深度值而被添加到所述背景模型，其中在所述至少一个第二深度图中，所述静态背景的所述部分由于所述前景目标中的至少一个前景目标在所述序列上的运动而不再被隐藏。
2.根据权利要求1所述的方法，还包括基于所述背景模型，通过将一个或多个背景目标从所述深度图中移除来产生一个或多个前景图。
3.根据权利要求2所述的方法，其中所述移动的前景目标中的至少一个是人形体形，并且其中所述方法包括从前景图中提取所述人形体形，所述前景图从所述第二深度图连同与所述第一深度图中所述人形体形相关的信息中得出。
4.根据权利要求3所述的方法，其中提取所述人形体形包括：检测属于正在触摸所述背景目标的其中之一的人形体形的区域，并将该区域识别为所述人形体形的一部分。
5.根据权利要求1所述的方法，还包括识别所述深度图中的平面表面。
6.根据权利要求1所述的方法，还包括识别所述深度图中的目标的阴影。
7.根据权利要求1所述的方法，其中构造所述背景模型包括：响应于在所述深度图序列上所述背景中出现的变化，来更新所述背景模型。
8.一种用于处理数据的方法，包括：
接收场景的按时间的深度图序列，所述场景包括静态背景和隐藏所述背景一部分的一个或多个移动的前景目标，所述深度图包括像素的矩阵，所述像素的至少一些具有各自的像素深度值并对应于所述场景中的各自位置；
使用数字处理器，处理所述序列中的第一深度图，以识别没有被所述第一深度图中所述移动的前景目标所隐藏的所述静态背景的第一部分；
处理所述序列中至少一个第二深度图，以识别所述静态背景的至少一个第二部分，由于所述前景目标中的至少一个在所述序列上的运动，所述第二部分不同于所述第一部分；以及
通过至少组合所述静态背景的所述第一部分和所述第二部分，构造所述场景的背景模型，
其中构造所述背景模型包括响应于所述背景中在所述深度图的所述序列上出现的变化而更新所述背景模型，以及
其中所述深度图被成像组件捕获，并且其中所述方法包括评估所述序列中深度图之间所述背景模型变化的程度，并且当所述变化的程度超过预定阈值时，检测所述成像组件已经移动。
9.一种用于处理数据的装置，包括：
成像组件，其被配置为产生场景的按时间的深度图序列，所述场景包括静态背景和隐藏所述背景一部分的一个或多个移动的前景目标，所述深度图包括像素的矩阵，所述像素的至少一些具有各自的像素深度值并对应于所述场景中的各自位置；以及
处理器，其被配置为通过如下方式处理所述序列中的深度图来构造表示所述场景的所述静态背景的背景模型：在每个像素处保存在所述深度图的所述序列上在所述像素处找到的最大深度值，使得在所述序列中的第一深度图中被所述移动的前景目标隐藏的所述静态背景的至少一部分通过在所述序列中的至少一个第二深度图中在对应像素处找到更大的深度值而被添加到所述背景模型，其中在所述至少一个第二深度图中，所述静态背景的所述部分由于所述前景目标中的至少一个前景目标在所述序列上的运动而不再被隐藏。
10.根据权利要求9所述的装置，其中所述处理器被配置为基于所述背景模型，通过将一个或多个背景目标从所述深度图中移除来产生一个或多个前景图。
11.根据权利要求10所述的装置，其中所述移动的前景目标中的至少一个是人形体形，并且其中所述处理器被配置为从前景图中提取所述人形体形，所述前景图从所述第二深度图连同与所述第一深度图中所述人形体形相关的信息中得出。
12.根据权利要求11所述的装置，其中所述处理器被配置为检测属于正在触摸所述背景目标的其中之一的人形体形的区域，并将该区域识别为所述人形体形的一部分。
13.根据权利要求9所述的装置，其中所述处理器被配置为识别所述深度图中的平面地板。
14.根据权利要求9所述的装置，其中所述处理器被配置为识别所述深度图中的目标的阴影。
15.根据权利要求9所述的装置，其中所述处理器被配置为响应于在所述深度图序列上所述背景中出现的变化，来更新所述背景模型。
16.一种用于处理数据的装置，包括：
成像组件，其被配置为产生场景的按时间的深度图序列，所述场景包括静态背景和隐藏所述背景一部分的一个或多个移动的前景目标，所述深度图包括像素的矩阵，所述像素的至少一些具有各自的像素深度值并对应于所述场景中的各自位置；以及
处理器，其被配置为处理所述序列中的第一深度图，以识别没有被所述第一深度图中所述移动的前景目标所隐藏的所述静态背景的第一部分，并且处理所述序列中至少一个第二深度图，以识别所述静态背景的至少一个第二部分，由于所述前景目标中的至少一个在所述序列上的运动，所述第二部分不同于所述第一部分，以及通过至少组合所述静态背景的所述第一部分和所述第二部分，构造所述场景的背景模型，
其中，所述处理器被配置为响应于所述背景中在所述深度图的所述序列上出现的变化而更新所述背景模型，
其中所述处理器被配置为评估所述序列中深度图之间所述背景模型变化的程度，并且当所述变化的程度超过预定阈值时，检测所述成像组件已经移动。
CN201110132428.8A 2010-05-31 2011-05-20 三维场景的分析 Active CN102262725B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610110102.8A CN105740839B (zh) 2010-05-31 2011-05-20 三维场景的分析

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US34990710P 2010-05-31 2010-05-31
US61/349,907 2010-05-31
US12/854,187 US8594425B2 (en) 2010-05-31 2010-08-11 Analysis of three-dimensional scenes
US12/854,187 2010-08-11

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201610110102.8A Division CN105740839B (zh) 2010-05-31 2011-05-20 三维场景的分析

Publications (2)

Publication Number Publication Date
CN102262725A CN102262725A (zh) 2011-11-30
CN102262725B true CN102262725B (zh) 2016-01-20

Family

ID=45022168

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201610110102.8A Active CN105740839B (zh) 2010-05-31 2011-05-20 三维场景的分析
CN201110132428.8A Active CN102262725B (zh) 2010-05-31 2011-05-20 三维场景的分析

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201610110102.8A Active CN105740839B (zh) 2010-05-31 2011-05-20 三维场景的分析

Country Status (3)

Country Link
US (4) US8594425B2 (zh)
JP (1) JP5832116B2 (zh)
CN (2) CN105740839B (zh)

Families Citing this family (269)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101657825B (zh) * 2006-05-11 2014-02-19 普莱姆传感有限公司 根据深度图对人形进行建模
US9035876B2 (en) 2008-01-14 2015-05-19 Apple Inc. Three-dimensional user interface session control
US8933876B2 (en) 2010-12-13 2015-01-13 Apple Inc. Three dimensional user interface session control
US9229233B2 (en) 2014-02-11 2016-01-05 Osterhout Group, Inc. Micro Doppler presentations in head worn computing
US9400390B2 (en) 2014-01-24 2016-07-26 Osterhout Group, Inc. Peripheral lighting for head worn computing
US20150277120A1 (en) 2014-01-21 2015-10-01 Osterhout Group, Inc. Optical configurations for head worn computing
US9715112B2 (en) 2014-01-21 2017-07-25 Osterhout Group, Inc. Suppression of stray light in head worn computing
US9366867B2 (en) 2014-07-08 2016-06-14 Osterhout Group, Inc. Optical systems for see-through displays
US9952664B2 (en) 2014-01-21 2018-04-24 Osterhout Group, Inc. Eye imaging in head worn computing
US20150205111A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. Optical configurations for head worn computing
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US8565479B2 (en) 2009-08-13 2013-10-22 Primesense Ltd. Extraction of skeletons from 3D maps
KR101619076B1 (ko) * 2009-08-25 2016-05-10 삼성전자 주식회사 모바일 플랫폼의 동적 물체 검출 및 추적 방법
US8787663B2 (en) 2010-03-01 2014-07-22 Primesense Ltd. Tracking body parts by combined color image and depth processing
US8594425B2 (en) 2010-05-31 2013-11-26 Primesense Ltd. Analysis of three-dimensional scenes
FR2962834A1 (fr) * 2010-07-13 2012-01-20 Commissariat Energie Atomique Procede de detection d'une cible dans les images stereoscopiques par apprentissage et classification statistique a partir d'une loi de probabilite.
WO2012011044A1 (en) * 2010-07-20 2012-01-26 Primesense Ltd. Interactive reality augmentation for natural interaction
US9201501B2 (en) 2010-07-20 2015-12-01 Apple Inc. Adaptive projector
EP2608536B1 (en) * 2010-08-17 2017-05-03 LG Electronics Inc. Method for counting objects and apparatus using a plurality of sensors
US8655093B2 (en) * 2010-09-02 2014-02-18 Edge 3 Technologies, Inc. Method and apparatus for performing segmentation of an image
US8582867B2 (en) 2010-09-16 2013-11-12 Primesense Ltd Learning-based pose estimation from depth maps
US8959013B2 (en) 2010-09-27 2015-02-17 Apple Inc. Virtual keyboard for a non-tactile three dimensional user interface
US8872762B2 (en) 2010-12-08 2014-10-28 Primesense Ltd. Three dimensional user interface cursor control
EP3527121B1 (en) 2011-02-09 2023-08-23 Apple Inc. Gesture detection in a 3d mapping environment
US9857868B2 (en) 2011-03-19 2018-01-02 The Board Of Trustees Of The Leland Stanford Junior University Method and system for ergonomic touch-free interface
US20120249468A1 (en) * 2011-04-04 2012-10-04 Microsoft Corporation Virtual Touchpad Using a Depth Camera
US8840466B2 (en) 2011-04-25 2014-09-23 Aquifi, Inc. Method and system to create three-dimensional mapping in a two-dimensional game
US9594430B2 (en) * 2011-06-01 2017-03-14 Microsoft Technology Licensing, Llc Three-dimensional foreground selection for vision system
US9459758B2 (en) 2011-07-05 2016-10-04 Apple Inc. Gesture-based interface with enhanced features
US8881051B2 (en) 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
US9377865B2 (en) 2011-07-05 2016-06-28 Apple Inc. Zoom-based gesture user interface
US8869073B2 (en) * 2011-07-28 2014-10-21 Hewlett-Packard Development Company, L.P. Hand pose interaction
US8971572B1 (en) 2011-08-12 2015-03-03 The Research Foundation For The State University Of New York Hand pointing estimation for human computer interaction
US9030498B2 (en) 2011-08-15 2015-05-12 Apple Inc. Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface
KR101907081B1 (ko) * 2011-08-22 2018-10-11 삼성전자주식회사 3차원 점군의 물체 분리 방법
US9122311B2 (en) 2011-08-24 2015-09-01 Apple Inc. Visual feedback for tactile and non-tactile user interfaces
US9218063B2 (en) 2011-08-24 2015-12-22 Apple Inc. Sessionless pointing user interface
US8711141B2 (en) * 2011-08-28 2014-04-29 Arcsoft Hangzhou Co., Ltd. 3D image generating method, 3D animation generating method, and both 3D image generating module and 3D animation generating module thereof
US20130063556A1 (en) * 2011-09-08 2013-03-14 Prism Skylabs, Inc. Extracting depth information from video from a single camera
US9002099B2 (en) 2011-09-11 2015-04-07 Apple Inc. Learning-based estimation of hand and finger pose
US8873852B2 (en) * 2011-09-29 2014-10-28 Mediatek Singapore Pte. Ltd Method and apparatus for foreground object detection
US10027982B2 (en) * 2011-10-19 2018-07-17 Microsoft Technology Licensing, Llc Segmented-block coding
US8805059B2 (en) * 2011-10-24 2014-08-12 Texas Instruments Incorporated Method, system and computer program product for segmenting an image
US9071740B1 (en) 2011-10-28 2015-06-30 Google Inc. Modular camera system
US9672609B1 (en) * 2011-11-11 2017-06-06 Edge 3 Technologies, Inc. Method and apparatus for improved depth-map estimation
US9072929B1 (en) * 2011-12-01 2015-07-07 Nebraska Global Investment Company, LLC Image capture system
EP2788839A4 (en) * 2011-12-06 2015-12-16 Thomson Licensing METHOD AND SYSTEM FOR RESPONDING TO USER GESTURES FOR SELECTION OF OBJECTS DISPLAYED IN THREE DIMENSIONS
US20130147793A1 (en) * 2011-12-09 2013-06-13 Seongyeom JEON Mobile terminal and controlling method thereof
CN102609934B (zh) * 2011-12-22 2014-04-23 中国科学院自动化研究所 一种基于深度图像的多目标分割和跟踪方法
US9537968B1 (en) 2012-01-06 2017-01-03 Google Inc. Communication of socket protocol based data over a storage protocol based interface
US9197686B1 (en) 2012-01-06 2015-11-24 Google Inc. Backfill of video stream
US8854433B1 (en) 2012-02-03 2014-10-07 Aquifi, Inc. Method and system enabling natural user interface gestures with an electronic system
CN104145479B (zh) * 2012-02-07 2017-10-27 诺基亚技术有限公司 从图像去除对象
US9229534B2 (en) 2012-02-28 2016-01-05 Apple Inc. Asymmetric mapping for tactile and non-tactile user interfaces
EP2823462B1 (en) * 2012-03-05 2019-10-16 Microsoft Technology Licensing, LLC Generation of depth images based upon light falloff
US9377863B2 (en) 2012-03-26 2016-06-28 Apple Inc. Gaze-enhanced virtual touchscreen
KR101697652B1 (ko) * 2012-04-25 2017-01-18 한국전자통신연구원 3차원 영상 시스템에서 영상 객체를 추출하기 위한 장치 및 그 방법
US9047507B2 (en) * 2012-05-02 2015-06-02 Apple Inc. Upper-body skeleton extraction from depth maps
US9779546B2 (en) 2012-05-04 2017-10-03 Intermec Ip Corp. Volume dimensioning systems and methods
US10007858B2 (en) 2012-05-15 2018-06-26 Honeywell International Inc. Terminals and methods for dimensioning objects
EP2853097B1 (en) * 2012-05-23 2018-07-11 Intel Corporation Depth gradient based tracking
US9747306B2 (en) * 2012-05-25 2017-08-29 Atheer, Inc. Method and apparatus for identifying input features for later recognition
US8788968B1 (en) 2012-06-04 2014-07-22 Google Inc. Transitioning an interface to a neighboring image
US9111135B2 (en) 2012-06-25 2015-08-18 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera
US9098739B2 (en) 2012-06-25 2015-08-04 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching
US10312715B2 (en) 2015-09-16 2019-06-04 Energous Corporation Systems and methods for wireless power charging
US10270261B2 (en) 2015-09-16 2019-04-23 Energous Corporation Systems and methods of object detection in wireless power charging systems
US10199835B2 (en) 2015-12-29 2019-02-05 Energous Corporation Radar motion detection using stepped frequency in wireless power transmission system
US9275302B1 (en) * 2012-08-24 2016-03-01 Amazon Technologies, Inc. Object detection and identification
US8836768B1 (en) 2012-09-04 2014-09-16 Aquifi, Inc. Method and system enabling natural user interface gestures with user wearable glasses
TWI496090B (zh) 2012-09-05 2015-08-11 Ind Tech Res Inst 使用深度影像的物件定位方法與裝置
TWI466062B (zh) * 2012-10-04 2014-12-21 Ind Tech Res Inst 重建三維模型的方法與三維模型重建裝置
US9939259B2 (en) 2012-10-04 2018-04-10 Hand Held Products, Inc. Measuring object dimensions using mobile computer
US20140104413A1 (en) 2012-10-16 2014-04-17 Hand Held Products, Inc. Integrated dimensioning and weighing system
US9019267B2 (en) 2012-10-30 2015-04-28 Apple Inc. Depth mapping with enhanced resolution
KR101909630B1 (ko) 2012-10-30 2018-10-18 삼성전자주식회사 동작 인식 방법 및 동작 인식 장치
DE102012110460A1 (de) * 2012-10-31 2014-04-30 Audi Ag Verfahren zum Eingeben eines Steuerbefehls für eine Komponente eines Kraftwagens
US10049281B2 (en) 2012-11-12 2018-08-14 Shopperception, Inc. Methods and systems for measuring human interaction
US9846845B2 (en) * 2012-11-21 2017-12-19 Disney Enterprises, Inc. Hierarchical model for human activity recognition
US9152234B2 (en) 2012-12-02 2015-10-06 Apple Inc. Detecting user intent to remove a pluggable peripheral device
US9020189B2 (en) * 2012-12-07 2015-04-28 The Nielsen Company (Us), Llc Methods and apparatus to monitor environments
US8983176B2 (en) 2013-01-02 2015-03-17 International Business Machines Corporation Image selection and masking using imported depth information
US9092665B2 (en) 2013-01-30 2015-07-28 Aquifi, Inc Systems and methods for initializing motion tracking of human hands
US9129155B2 (en) 2013-01-30 2015-09-08 Aquifi, Inc. Systems and methods for initializing motion tracking of human hands using template matching within bounded regions determined using a depth map
US9830736B2 (en) * 2013-02-18 2017-11-28 Tata Consultancy Services Limited Segmenting objects in multimedia data
US9798302B2 (en) 2013-02-27 2017-10-24 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with redundant system input support
US9804576B2 (en) 2013-02-27 2017-10-31 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with position and derivative decision reference
US9393695B2 (en) 2013-02-27 2016-07-19 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with person and object discrimination
US9498885B2 (en) 2013-02-27 2016-11-22 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with confidence-based decision support
KR20140109020A (ko) * 2013-03-05 2014-09-15 한국전자통신연구원 스마트 가전기기의 제어를 위한 디바이스 정보 구축 장치 및 그 방법
US9092657B2 (en) * 2013-03-13 2015-07-28 Microsoft Technology Licensing, Llc Depth image processing
US9298266B2 (en) 2013-04-02 2016-03-29 Aquifi, Inc. Systems and methods for implementing three-dimensional (3D) gesture based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
US9829984B2 (en) * 2013-05-23 2017-11-28 Fastvdo Llc Motion-assisted visual language for human computer interfaces
US10228452B2 (en) 2013-06-07 2019-03-12 Hand Held Products, Inc. Method of error correction for 3D imaging device
GB2515343B (en) * 2013-06-21 2018-02-07 Toshiba Res Europe Limited Methods and systems for generating a three dimensional representation of a subject
US9798388B1 (en) 2013-07-31 2017-10-24 Aquifi, Inc. Vibrotactile system to augment 3D input systems
US9355334B1 (en) * 2013-09-06 2016-05-31 Toyota Jidosha Kabushiki Kaisha Efficient layer-based object recognition
US9542626B2 (en) * 2013-09-06 2017-01-10 Toyota Jidosha Kabushiki Kaisha Augmenting layer-based object detection with deep convolutional neural networks
JP6429466B2 (ja) * 2013-11-19 2018-11-28 キヤノン株式会社 画像処理装置およびその制御方法、撮像装置、プログラム
US10311595B2 (en) 2013-11-19 2019-06-04 Canon Kabushiki Kaisha Image processing device and its control method, imaging apparatus, and storage medium
JP6344903B2 (ja) * 2013-11-19 2018-06-20 キヤノン株式会社 画像処理装置およびその制御方法、撮像装置、プログラム
US9183620B2 (en) 2013-11-21 2015-11-10 International Business Machines Corporation Automated tilt and shift optimization
US9489570B2 (en) * 2013-12-31 2016-11-08 Konica Minolta Laboratory U.S.A., Inc. Method and system for emotion and behavior recognition
TWI530909B (zh) * 2013-12-31 2016-04-21 財團法人工業技術研究院 影像合成系統及方法
US9507417B2 (en) 2014-01-07 2016-11-29 Aquifi, Inc. Systems and methods for implementing head tracking based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
US10649220B2 (en) 2014-06-09 2020-05-12 Mentor Acquisition One, Llc Content presentation in head worn computing
US10191279B2 (en) 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US9746686B2 (en) 2014-05-19 2017-08-29 Osterhout Group, Inc. Content position calibration in head worn computing
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
US20160019715A1 (en) 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US20150228119A1 (en) 2014-02-11 2015-08-13 Osterhout Group, Inc. Spatial location presentation in head worn computing
US9448409B2 (en) 2014-11-26 2016-09-20 Osterhout Group, Inc. See-through computer display systems
US9671613B2 (en) 2014-09-26 2017-06-06 Osterhout Group, Inc. See-through computer display systems
US20150277118A1 (en) 2014-03-28 2015-10-01 Osterhout Group, Inc. Sensor dependent content position in head worn computing
US9575321B2 (en) 2014-06-09 2017-02-21 Osterhout Group, Inc. Content presentation in head worn computing
US9366868B2 (en) 2014-09-26 2016-06-14 Osterhout Group, Inc. See-through computer display systems
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US9529195B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US11227294B2 (en) 2014-04-03 2022-01-18 Mentor Acquisition One, Llc Sight information collection in head worn computing
US9299194B2 (en) 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US9538915B2 (en) 2014-01-21 2017-01-10 Osterhout Group, Inc. Eye imaging in head worn computing
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9523856B2 (en) 2014-01-21 2016-12-20 Osterhout Group, Inc. See-through computer display systems
US11737666B2 (en) 2014-01-21 2023-08-29 Mentor Acquisition One, Llc Eye imaging in head worn computing
US20150205135A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. See-through computer display systems
US11892644B2 (en) 2014-01-21 2024-02-06 Mentor Acquisition One, Llc See-through computer display systems
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US9651784B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US9811159B2 (en) 2014-01-21 2017-11-07 Osterhout Group, Inc. Eye imaging in head worn computing
US9310610B2 (en) 2014-01-21 2016-04-12 Osterhout Group, Inc. See-through computer display systems
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US9846308B2 (en) 2014-01-24 2017-12-19 Osterhout Group, Inc. Haptic systems for head-worn computers
US9619105B1 (en) 2014-01-30 2017-04-11 Aquifi, Inc. Systems and methods for gesture based interaction with viewpoint dependent user interfaces
US9430701B2 (en) * 2014-02-07 2016-08-30 Tata Consultancy Services Limited Object detection system and method
US9852545B2 (en) 2014-02-11 2017-12-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US20150241963A1 (en) 2014-02-11 2015-08-27 Osterhout Group, Inc. Eye imaging in head worn computing
WO2015148824A1 (en) * 2014-03-27 2015-10-01 Hrl Laboratories, Llc System for filtering, segmenting and recognizing objects in unconstrained environments
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
US9449234B2 (en) 2014-03-31 2016-09-20 International Business Machines Corporation Displaying relative motion of objects in an image
US9196027B2 (en) 2014-03-31 2015-11-24 International Business Machines Corporation Automatic focus stacking of captured images
US9300857B2 (en) 2014-04-09 2016-03-29 International Business Machines Corporation Real-time sharpening of raw digital images
US10853589B2 (en) 2014-04-25 2020-12-01 Mentor Acquisition One, Llc Language translation with head-worn computing
US9423842B2 (en) 2014-09-18 2016-08-23 Osterhout Group, Inc. Thermal management for head-worn computer
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
US9672210B2 (en) 2014-04-25 2017-06-06 Osterhout Group, Inc. Language translation with head-worn computing
GB201407643D0 (en) * 2014-04-30 2014-06-11 Tomtom Global Content Bv Improved positioning relatie to a digital map for assisted and automated driving operations
KR102207856B1 (ko) * 2014-05-14 2021-01-26 한국전자통신연구원 사용자의 손 영역을 검출하기 위한 사용자 손 검출 장치 및 그 동작 방법
US10663740B2 (en) 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
CN105225217B (zh) * 2014-06-23 2018-04-10 株式会社理光 基于深度的背景模型更新方法和系统
DE102014212184A1 (de) 2014-06-25 2016-01-14 Volkswagen Aktiengesellschaft Heizeinrichtung
US9823059B2 (en) 2014-08-06 2017-11-21 Hand Held Products, Inc. Dimensioning system with guided alignment
US10810715B2 (en) 2014-10-10 2020-10-20 Hand Held Products, Inc System and method for picking validation
US10775165B2 (en) 2014-10-10 2020-09-15 Hand Held Products, Inc. Methods for improving the accuracy of dimensioning-system measurements
US9779276B2 (en) 2014-10-10 2017-10-03 Hand Held Products, Inc. Depth sensor based auto-focus system for an indicia scanner
US10921877B2 (en) * 2014-10-20 2021-02-16 Microsoft Technology Licensing, Llc Silhouette-based limb finder determination
US9897434B2 (en) 2014-10-21 2018-02-20 Hand Held Products, Inc. Handheld dimensioning system with measurement-conformance feedback
US9752864B2 (en) 2014-10-21 2017-09-05 Hand Held Products, Inc. Handheld dimensioning system with feedback
US9684172B2 (en) 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems
USD743963S1 (en) 2014-12-22 2015-11-24 Osterhout Group, Inc. Air mouse
USD751552S1 (en) 2014-12-31 2016-03-15 Osterhout Group, Inc. Computer glasses
USD753114S1 (en) 2015-01-05 2016-04-05 Osterhout Group, Inc. Air mouse
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
US10878775B2 (en) 2015-02-17 2020-12-29 Mentor Acquisition One, Llc See-through computer display systems
US9639166B2 (en) * 2015-03-11 2017-05-02 Microsoft Technology Licensing, Llc Background model for user recognition
US9858719B2 (en) 2015-03-30 2018-01-02 Amazon Technologies, Inc. Blended reality systems and methods
US9984519B2 (en) 2015-04-10 2018-05-29 Google Llc Method and system for optical user recognition
US10269136B2 (en) 2015-04-29 2019-04-23 Hewlett-Packard Development Company, L.P. System and method for processing depth images which capture an interaction of an object relative to an interaction plane
US9786101B2 (en) 2015-05-19 2017-10-10 Hand Held Products, Inc. Evaluating image values
US9544485B2 (en) 2015-05-27 2017-01-10 Google Inc. Multi-mode LED illumination system
US9626849B2 (en) 2015-06-12 2017-04-18 Google Inc. Using scene information from a security camera to reduce false security alerts
US9386230B1 (en) 2015-06-12 2016-07-05 Google Inc. Day and night detection based on one or more of illuminant detection, lux level detection, and tiling
US9454820B1 (en) 2015-06-12 2016-09-27 Google Inc. Using a scene illuminating infrared emitter array in a video monitoring camera for depth determination
US9489745B1 (en) 2015-06-12 2016-11-08 Google Inc. Using depth maps of a scene to identify movement of a video camera
US9613423B2 (en) * 2015-06-12 2017-04-04 Google Inc. Using a depth map of a monitored scene to identify floors, walls, and ceilings
US9235899B1 (en) 2015-06-12 2016-01-12 Google Inc. Simulating an infrared emitter array in a video monitoring camera to construct a lookup table for depth determination
US9554063B2 (en) 2015-06-12 2017-01-24 Google Inc. Using infrared images of a monitored scene to identify windows
US9886620B2 (en) 2015-06-12 2018-02-06 Google Llc Using a scene illuminating infrared emitter array in a video monitoring camera to estimate the position of the camera
US10066982B2 (en) 2015-06-16 2018-09-04 Hand Held Products, Inc. Calibrating a volume dimensioner
US20160377414A1 (en) 2015-06-23 2016-12-29 Hand Held Products, Inc. Optical pattern projector
US9835486B2 (en) 2015-07-07 2017-12-05 Hand Held Products, Inc. Mobile dimensioner apparatus for use in commerce
EP3396313B1 (en) 2015-07-15 2020-10-21 Hand Held Products, Inc. Mobile dimensioning method and device with dynamic accuracy compatible with nist standard
US10094650B2 (en) 2015-07-16 2018-10-09 Hand Held Products, Inc. Dimensioning and imaging items
US20170017301A1 (en) 2015-07-16 2017-01-19 Hand Held Products, Inc. Adjusting dimensioning results using augmented reality
US10948302B2 (en) 2015-08-03 2021-03-16 Tomtom Global Content B.V. Methods and systems for generating and using localization reference data
US9871387B1 (en) 2015-09-16 2018-01-16 Energous Corporation Systems and methods of object detection using one or more video cameras in wireless power charging systems
US9893538B1 (en) 2015-09-16 2018-02-13 Energous Corporation Systems and methods of object detection in wireless power charging systems
US9691153B1 (en) * 2015-10-21 2017-06-27 Google Inc. System and method for using image data to determine a direction of an actor
US10249030B2 (en) 2015-10-30 2019-04-02 Hand Held Products, Inc. Image transformation for indicia reading
US10610133B2 (en) 2015-11-05 2020-04-07 Google Llc Using active IR sensor to monitor sleep
US10225544B2 (en) 2015-11-19 2019-03-05 Hand Held Products, Inc. High resolution dot pattern
US10248839B2 (en) * 2015-11-30 2019-04-02 Intel Corporation Locating objects within depth images
US10043279B1 (en) 2015-12-07 2018-08-07 Apple Inc. Robust detection and classification of body parts in a depth map
US20170186223A1 (en) * 2015-12-23 2017-06-29 Intel Corporation Detection of shadow regions in image depth data caused by multiple image sensors
KR102535617B1 (ko) * 2016-01-04 2023-05-24 한국전자통신연구원 깊이 영상에서의 객체 검출 시스템 및 방법
US10025314B2 (en) 2016-01-27 2018-07-17 Hand Held Products, Inc. Vehicle positioning and object avoidance
US9904867B2 (en) 2016-01-29 2018-02-27 Pointivo, Inc. Systems and methods for extracting information about objects from scene information
US10591728B2 (en) 2016-03-02 2020-03-17 Mentor Acquisition One, Llc Optical systems for head-worn computers
US10025308B1 (en) 2016-02-19 2018-07-17 Google Llc System and method to obtain and use attribute data
US10667981B2 (en) 2016-02-29 2020-06-02 Mentor Acquisition One, Llc Reading assistance system for visually impaired
US9971956B2 (en) 2016-03-21 2018-05-15 International Business Machines Corporation Detection and presentation of differences between 3D models
US9930218B2 (en) * 2016-04-04 2018-03-27 Adobe Systems Incorporated Content aware improvement of captured document images
US9910284B1 (en) 2016-09-08 2018-03-06 Osterhout Group, Inc. Optical systems for head-worn computers
US10684478B2 (en) 2016-05-09 2020-06-16 Mentor Acquisition One, Llc User interface systems for head-worn computers
US10466491B2 (en) 2016-06-01 2019-11-05 Mentor Acquisition One, Llc Modular systems for head-worn computers
US10824253B2 (en) 2016-05-09 2020-11-03 Mentor Acquisition One, Llc User interface systems for head-worn computers
US20170302910A1 (en) * 2016-04-19 2017-10-19 Motorola Mobility Llc Method and apparatus for merging depth maps in a depth camera system
US10196104B1 (en) 2016-05-04 2019-02-05 Schaft Inc. Terrain Evaluation for robot locomotion
US10339352B2 (en) 2016-06-03 2019-07-02 Hand Held Products, Inc. Wearable metrological apparatus
US9940721B2 (en) 2016-06-10 2018-04-10 Hand Held Products, Inc. Scene change detection in a dimensioner
US10163216B2 (en) 2016-06-15 2018-12-25 Hand Held Products, Inc. Automatic mode switching in a volume dimensioner
US10594920B2 (en) * 2016-06-15 2020-03-17 Stmicroelectronics, Inc. Glass detection with time of flight sensor
EP3258211B1 (en) * 2016-06-17 2023-12-13 Hexagon Technology Center GmbH Determining object reflection properties with respect to particular optical measurement
US10769859B2 (en) * 2016-07-13 2020-09-08 Trivver, Inc. Methods and systems for displaying digital smart objects in a three dimensional environment
US10574947B2 (en) * 2016-07-15 2020-02-25 Qualcomm Incorporated Object reconstruction in disparity maps using displaced shadow outlines
US10558855B2 (en) * 2016-08-17 2020-02-11 Technologies Holdings Corp. Vision system with teat detection
CN106327572A (zh) * 2016-08-23 2017-01-11 网易（杭州）网络有限公司 一种三维场景中模型合并的方法及装置
US10690936B2 (en) 2016-08-29 2020-06-23 Mentor Acquisition One, Llc Adjustable nose bridge assembly for headworn computer
US10366278B2 (en) 2016-09-20 2019-07-30 Apple Inc. Curvature-based face detector
USD840395S1 (en) 2016-10-17 2019-02-12 Osterhout Group, Inc. Head-worn computer
US10180615B2 (en) 2016-10-31 2019-01-15 Google Llc Electrochromic filtering in a camera
JP6896401B2 (ja) * 2016-11-25 2021-06-30 東芝テック株式会社 物品認識装置
US10909708B2 (en) 2016-12-09 2021-02-02 Hand Held Products, Inc. Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements
CN106778614B (zh) * 2016-12-16 2019-06-07 中新智擎有限公司 一种人体识别方法和装置
USD864959S1 (en) 2017-01-04 2019-10-29 Mentor Acquisition One, Llc Computer glasses
US10679408B2 (en) 2017-02-02 2020-06-09 Adobe Inc. Generating a three-dimensional model from a scanned object
CN110475510B (zh) 2017-03-27 2022-08-02 韩国斯诺有限公司 获取对象的形状信息的方法及装置
US11047672B2 (en) 2017-03-28 2021-06-29 Hand Held Products, Inc. System for optically dimensioning
US10830879B2 (en) 2017-06-29 2020-11-10 Apple Inc. Time-of-flight depth mapping with parallax compensation
US11494897B2 (en) 2017-07-07 2022-11-08 William F. WILEY Application to determine reading/working distance
US10422995B2 (en) 2017-07-24 2019-09-24 Mentor Acquisition One, Llc See-through computer display systems with stray light management
US10578869B2 (en) 2017-07-24 2020-03-03 Mentor Acquisition One, Llc See-through computer display systems with adjustable zoom cameras
US11409105B2 (en) 2017-07-24 2022-08-09 Mentor Acquisition One, Llc See-through computer display systems
US10733748B2 (en) 2017-07-24 2020-08-04 Hand Held Products, Inc. Dual-pattern optical 3D dimensioning
US10192319B1 (en) * 2017-07-27 2019-01-29 Nanning Fugui Precision Industrial Co., Ltd. Surveillance method and computing device using the same
US10969584B2 (en) 2017-08-04 2021-04-06 Mentor Acquisition One, Llc Image expansion optic for head-worn computer
KR102423175B1 (ko) * 2017-08-18 2022-07-21 삼성전자주식회사 심도 맵을 이용하여 이미지를 편집하기 위한 장치 및 그에 관한 방법
EP3704510B1 (en) 2017-12-18 2022-10-05 Apple Inc. Time-of-flight sensing using an addressable array of emitters
US10584962B2 (en) 2018-05-01 2020-03-10 Hand Held Products, Inc System and method for validating physical-item security
CN108648224B (zh) * 2018-05-18 2021-07-13 杭州电子科技大学 一种基于人工神经网络的实时场景布局识别及重建的方法
EP3573021B1 (de) * 2018-05-22 2020-07-08 Sick Ag Visualisieren von 3d-bilddaten
CN110659547B (zh) * 2018-06-29 2023-07-14 比亚迪股份有限公司 物体识别方法、装置、车辆和计算机可读存储介质
CN109117158A (zh) * 2018-08-02 2019-01-01 郑州云海信息技术有限公司 固件更新方法和装置
US11373067B2 (en) * 2018-08-10 2022-06-28 Nec Corporation Parametric top-view representation of scenes
US10832045B2 (en) 2019-01-10 2020-11-10 Microsoft Technology Licensing, Llc Camera environment mapping
US11393113B2 (en) * 2019-02-28 2022-07-19 Dolby Laboratories Licensing Corporation Hole filling for depth image based rendering
US11587239B2 (en) * 2019-03-14 2023-02-21 Disney Enterprises, Inc. Techniques for inferring the configuration of a room from skeleton tracking
CN110298319B (zh) * 2019-07-01 2021-10-08 北京字节跳动网络技术有限公司 图像合成方法和装置
US11639846B2 (en) 2019-09-27 2023-05-02 Honeywell International Inc. Dual-pattern optical 3D dimensioning
CN110926334B (zh) * 2019-11-29 2022-02-22 深圳市商汤科技有限公司 测量方法、装置、电子设备及存储介质
US11733359B2 (en) 2019-12-03 2023-08-22 Apple Inc. Configurable array of single-photon detectors
CN111151006B (zh) * 2019-12-27 2023-06-30 北京像素软件科技股份有限公司 游戏中可倒塌的建筑系统生成方法、装置和电子设备
US20210312236A1 (en) * 2020-03-30 2021-10-07 Cherry Labs, Inc. System and method for efficient machine learning model training
CN111258410B (zh) * 2020-05-06 2020-08-04 北京深光科技有限公司 一种人机交互设备
US20220051372A1 (en) * 2020-08-12 2022-02-17 Niantic, Inc. Feature matching using features extracted from perspective corrected image
CN113110887B (zh) * 2021-03-31 2023-07-21 联想(北京)有限公司 一种信息处理方法、装置、电子设备和存储介质
US11681028B2 (en) 2021-07-18 2023-06-20 Apple Inc. Close-range measurement of time of flight using parallax shift
CN113963045B (zh) * 2021-10-19 2022-07-19 合肥的卢深视科技有限公司 深度图获取方法、结构光相机、电子设备及存储介质
CN116993798B (zh) * 2023-09-28 2024-03-19 荣耀终端有限公司 一种图像处理方法和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6658136B1 (en) * 1999-12-06 2003-12-02 Microsoft Corporation System and process for locating and tracking a person or object in a scene using a series of range images
CN101055645A (zh) * 2007-05-09 2007-10-17 北京金山软件有限公司 一种阴影实现的方法及装置
WO2009103996A1 (en) * 2008-02-19 2009-08-27 British Telecommunications Public Limited Company Crowd congestion analysis
CN101657825A (zh) * 2006-05-11 2010-02-24 普莱姆传感有限公司 根据深度图对人形进行建模

Family Cites Families (113)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2714152B2 (ja) 1989-06-28 1998-02-16 古野電気株式会社 物体形状測定方法
EP0633546B1 (en) * 1993-07-02 2003-08-27 Siemens Corporate Research, Inc. Background recovery in monocular vision
US5852672A (en) 1995-07-10 1998-12-22 The Regents Of The University Of California Image system for three dimensional, 360 DEGREE, time sequence surface mapping of moving objects
RU2109336C1 (ru) 1995-07-14 1998-04-20 Нурахмед Нурисламович Латыпов Способ погружения пользователя в виртуальную реальность и устройство для его реализации
EP0768511A1 (en) 1995-10-16 1997-04-16 European Community Optical three-dimensional profilometry method based on processing speckle images in partially coherent light, and interferometer implementing such a method
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5862256A (en) 1996-06-14 1999-01-19 International Business Machines Corporation Distinguishing gestures from handwriting in a pen based computer by size discrimination
US5864635A (en) 1996-06-14 1999-01-26 International Business Machines Corporation Distinguishing gestures from handwriting in a pen based computer by stroke analysis
US6002808A (en) 1996-07-26 1999-12-14 Mitsubishi Electric Information Technology Center America, Inc. Hand gesture control system
JPH10235584A (ja) 1997-02-26 1998-09-08 Kao Corp 物品認識方法及び装置
US6215898B1 (en) * 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
AU2211799A (en) 1998-01-06 1999-07-26 Video Mouse Group, The Human motion following computer mouse and game controller
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6661918B1 (en) * 1998-12-04 2003-12-09 Interval Research Corporation Background estimation and segmentation based on range and color
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6771818B1 (en) 2000-04-04 2004-08-03 Microsoft Corporation System and process for identifying and locating people or objects in a scene by selectively clustering three-dimensional regions
JP3974359B2 (ja) 2000-10-31 2007-09-12 株式会社東芝 オンライン文字認識装置及び方法並びにコンピュータ読み取り可能な記憶媒体及びオンライン文字認識プログラム
US6816615B2 (en) 2000-11-10 2004-11-09 Microsoft Corporation Implicit page breaks for digitally represented handwriting
US6831632B2 (en) 2001-04-09 2004-12-14 I. C. + Technologies Ltd. Apparatus and methods for hand motion tracking and handwriting recognition
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US7123761B2 (en) 2001-11-20 2006-10-17 Konica Corporation Feature extracting method, subject recognizing method and image processing apparatus
JP4050055B2 (ja) 2002-01-10 2008-02-20 株式会社リコー 手書き文字一括変換装置、手書き文字一括変換方法およびプログラム
US7340077B2 (en) 2002-02-15 2008-03-04 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US7203356B2 (en) 2002-04-11 2007-04-10 Canesta, Inc. Subject segmentation and tracking using 3D sensing technology for video compression in multimedia applications
US7003136B1 (en) * 2002-04-26 2006-02-21 Hewlett-Packard Development Company, L.P. Plan-view projections of depth image data for object tracking
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US6857746B2 (en) 2002-07-01 2005-02-22 Io2 Technology, Llc Method and system for free-space imaging display and interface
US7646372B2 (en) 2003-09-15 2010-01-12 Sony Computer Entertainment Inc. Methods and systems for enabling direction detection when interfacing with a computer program
JP4185052B2 (ja) * 2002-10-15 2008-11-19 ユニバーシティ オブ サザン カリフォルニア 拡張仮想環境
JP4318465B2 (ja) 2002-11-08 2009-08-26 コニカミノルタホールディングス株式会社 人物検出装置および人物検出方法
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
CN1512298A (zh) 2002-12-26 2004-07-14 �ʼҷ����ֵ��ӹɷ����޹�˾ 三维手写识别的方法及其系统
US7573480B2 (en) * 2003-05-01 2009-08-11 Sony Corporation System and method for capturing facial and body motion
KR100465241B1 (ko) 2003-03-17 2005-01-13 삼성전자주식회사 가상 필기 평면을 이용한 모션 인식 시스템 및 그 인식방법
KR100518824B1 (ko) 2003-03-17 2005-10-05 삼성전자주식회사 필기 모션 획 구분 인식 시스템 및 그 인식방법
US7372977B2 (en) 2003-05-29 2008-05-13 Honda Motor Co., Ltd. Visual tracking using depth data
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
US7068815B2 (en) 2003-06-13 2006-06-27 Sarnoff Corporation Method and apparatus for ground detection and removal in vision systems
US7565004B2 (en) 2003-06-23 2009-07-21 Shoestring Research, Llc Fiducial designs and pose estimation for augmented reality
JP4723799B2 (ja) 2003-07-08 2011-07-13 株式会社ソニー・コンピュータエンタテインメント 制御システムおよび制御方法
US7317450B2 (en) 2003-09-26 2008-01-08 Khomo Malome T Spatial chirographic sign reader
WO2005034035A1 (en) * 2003-10-07 2005-04-14 Koninklijke Philips Electronics N.V. Depth-map improvement
WO2005041578A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for managing an interactive video display system
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
US7302099B2 (en) 2003-11-10 2007-11-27 Microsoft Corporation Stroke segmentation for template-based cursive handwriting recognition
US20050215319A1 (en) 2004-03-23 2005-09-29 Harmonix Music Systems, Inc. Method and apparatus for controlling a three-dimensional character in a three-dimensional gaming environment
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7706571B2 (en) * 2004-10-13 2010-04-27 Sarnoff Corporation Flexible layer tracking with weak online appearance model
JP4591955B2 (ja) * 2004-10-20 2010-12-01 Ｋｄｄｉ株式会社 自由視点映像の隠蔽領域補完装置
US8487879B2 (en) 2004-10-29 2013-07-16 Microsoft Corporation Systems and methods for interacting with a computer through handwriting to a screen
US7555158B2 (en) * 2004-12-07 2009-06-30 Electronics And Telecommunications Research Institute Apparatus for recovering background in image sequence and method thereof
KR20070107722A (ko) * 2005-01-28 2007-11-07 유클리드 디스커버리스, 엘엘씨 비디오 데이터를 프로세싱하는 장치 및 방법
US7428542B1 (en) 2005-05-31 2008-09-23 Reactrix Systems, Inc. Method and system for combining nodes into a mega-node
US7596241B2 (en) 2005-06-30 2009-09-29 General Electric Company System and method for automatic person counting and detection of specific events
JP4600993B2 (ja) * 2005-08-18 2010-12-22 Ｋｄｄｉ株式会社 自由視点映像生成システム
CA2609155A1 (en) 2005-08-22 2007-03-01 Qinzhong Ye Free-space pointing and handwriting
US7499586B2 (en) * 2005-10-04 2009-03-03 Microsoft Corporation Photographing big things
WO2007105205A2 (en) 2006-03-14 2007-09-20 Prime Sense Ltd. Three-dimensional sensing using speckle patterns
JP5001286B2 (ja) 2005-10-11 2012-08-15 プライム センス リミティド 対象物再構成方法およびシステム
JP2007122508A (ja) * 2005-10-28 2007-05-17 Secom Co Ltd 侵入検知装置
US7821570B2 (en) 2005-11-30 2010-10-26 Eastman Kodak Company Adjusting digital image exposure and tone scale
TWI301590B (en) 2005-12-30 2008-10-01 Ibm Handwriting input method, apparatus, system and computer recording medium with a program recorded thereon of capturing video data of real-time handwriting strokes for recognition
US20070177800A1 (en) * 2006-02-02 2007-08-02 International Business Machines Corporation Method and apparatus for maintaining a background image model in a background subtraction system using accumulated motion
US20070230789A1 (en) 2006-04-03 2007-10-04 Inventec Appliances Corp. Method of controlling an electronic device by handwriting
GB2438449C (en) 2006-05-24 2018-05-30 Sony Computer Entertainment Europe Ltd Control of data processing
EP2050067A1 (en) * 2006-08-03 2009-04-22 Alterface S.A. Method and device for identifying and extracting images of multiple users, and for recognizing user gestures
JP5340952B2 (ja) 2006-11-29 2013-11-13 エフ・ポスザツト・ヒユー・エル・エル・シー 三次元投影ディスプレイ
US8005294B2 (en) 2006-11-29 2011-08-23 The Mitre Corporation Cursive character handwriting recognition system and method
US8144148B2 (en) 2007-02-08 2012-03-27 Edge 3 Technologies Llc Method and system for vision-based interaction in a virtual environment
JP4645601B2 (ja) * 2007-02-13 2011-03-09 トヨタ自動車株式会社 環境地図の生成方法及び移動ロボット
US8358342B2 (en) * 2007-02-23 2013-01-22 Johnson Controls Technology Company Video processing systems and methods
JP2008242929A (ja) 2007-03-28 2008-10-09 Oki Data Corp 手書き入力システム
JP4807583B2 (ja) * 2007-03-29 2011-11-02 本田技研工業株式会社 射影変換収束演算処理方法
WO2008120217A2 (en) 2007-04-02 2008-10-09 Prime Sense Ltd. Depth mapping using projected patterns
WO2008124820A1 (en) 2007-04-10 2008-10-16 Reactrix Systems, Inc. Display using a three dimensional vision system
CN101715581B (zh) 2007-04-20 2014-07-23 索夫特基奈蒂克软件公司 体积识别方法和系统
US8139817B2 (en) 2007-04-27 2012-03-20 Telewatch Inc. Face image log creation
TWI343544B (en) 2007-09-26 2011-06-11 Inventec Appliances Corp A handwriting record device
US20090078473A1 (en) 2007-09-26 2009-03-26 Digital Pen Systems Handwriting Capture For Determining Absolute Position Within A Form Layout Using Pen Position Triangulation
US8280106B2 (en) * 2007-09-29 2012-10-02 Samsung Electronics Co., Ltd. Shadow and highlight detection system and method of the same in surveillance camera and recording medium thereof
US7983487B2 (en) 2007-11-07 2011-07-19 Mitsubishi Electric Research Laboratories, Inc. Method and system for locating and picking objects using active illumination
US8195598B2 (en) 2007-11-16 2012-06-05 Agilence, Inc. Method of and system for hierarchical human/crowd behavior detection
WO2009076182A1 (en) * 2007-12-13 2009-06-18 Clemson University Vision based real time traffic monitoring
US8166421B2 (en) 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
CN101257641A (zh) * 2008-03-14 2008-09-03 清华大学 基于人机交互的平面视频转立体视频的方法
US8165398B2 (en) 2008-05-30 2012-04-24 Sony Ericsson Mobile Communications Ab Method and device for handwriting detection
FR2932911A1 (fr) * 2008-06-24 2009-12-25 France Telecom Procede et dispositif de remplissage des zones d'occultation d'une carte de profondeur ou de disparites estimee a partir d'au moins deux images.
US8456517B2 (en) 2008-07-09 2013-06-04 Primesense Ltd. Integrated processor for 3D mapping
TW201005673A (en) * 2008-07-18 2010-02-01 Ind Tech Res Inst Example-based two-dimensional to three-dimensional image conversion method, computer readable medium therefor, and system
US9189886B2 (en) * 2008-08-15 2015-11-17 Brown University Method and apparatus for estimating body shape
CN101686338B (zh) * 2008-09-26 2013-12-25 索尼株式会社 分割视频中的前景和背景的系统和方法
US20100195867A1 (en) 2009-01-30 2010-08-05 Microsoft Corporation Visual target tracking using model fitting and exemplar
WO2010103482A2 (en) 2009-03-13 2010-09-16 Primesense Ltd. Enhanced 3d interfacing for remote devices
US8503720B2 (en) 2009-05-01 2013-08-06 Microsoft Corporation Human body pose estimation
US8379101B2 (en) * 2009-05-29 2013-02-19 Microsoft Corporation Environment and/or target segmentation
US8744121B2 (en) * 2009-05-29 2014-06-03 Microsoft Corporation Device for identifying and tracking multiple humans over time
US20100302138A1 (en) 2009-05-29 2010-12-02 Microsoft Corporation Methods and systems for defining or modifying a visual representation
TWI390465B (zh) * 2009-06-19 2013-03-21 Primax Electronics Ltd 用於背景去除之影像處理方法
US20110025689A1 (en) * 2009-07-29 2011-02-03 Microsoft Corporation Auto-Generating A Visual Representation
US8565479B2 (en) 2009-08-13 2013-10-22 Primesense Ltd. Extraction of skeletons from 3D maps
US8988432B2 (en) * 2009-11-05 2015-03-24 Microsoft Technology Licensing, Llc Systems and methods for processing an image for target tracking
US8320621B2 (en) 2009-12-21 2012-11-27 Microsoft Corporation Depth projector system with integrated VCSEL array
US20110164032A1 (en) 2010-01-07 2011-07-07 Prime Sense Ltd. Three-Dimensional User Interface
RU2426172C1 (ru) * 2010-01-21 2011-08-10 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ и система выделения данных об изображении объекта переднего плана на основе данных о цвете и глубине
US8345930B2 (en) 2010-01-22 2013-01-01 Sri International Method for computing food volume in a method for analyzing food
US8787663B2 (en) 2010-03-01 2014-07-22 Primesense Ltd. Tracking body parts by combined color image and depth processing
US8523667B2 (en) 2010-03-29 2013-09-03 Microsoft Corporation Parental control settings based on body dimensions
US20110292036A1 (en) 2010-05-31 2011-12-01 Primesense Ltd. Depth sensor with application interface
US8594425B2 (en) 2010-05-31 2013-11-26 Primesense Ltd. Analysis of three-dimensional scenes
US8582867B2 (en) 2010-09-16 2013-11-12 Primesense Ltd Learning-based pose estimation from depth maps

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6658136B1 (en) * 1999-12-06 2003-12-02 Microsoft Corporation System and process for locating and tracking a person or object in a scene using a series of range images
CN101657825A (zh) * 2006-05-11 2010-02-24 普莱姆传感有限公司 根据深度图对人形进行建模
CN101055645A (zh) * 2007-05-09 2007-10-17 北京金山软件有限公司 一种阴影实现的方法及装置
WO2009103996A1 (en) * 2008-02-19 2009-08-27 British Telecommunications Public Limited Company Crowd congestion analysis

Also Published As

Publication number Publication date
US20140333626A1 (en) 2014-11-13
US20130230234A1 (en) 2013-09-05
CN102262725A (zh) 2011-11-30
US8594425B2 (en) 2013-11-26
CN105740839A (zh) 2016-07-06
US8781217B2 (en) 2014-07-15
CN105740839B (zh) 2020-01-14
JP2011253521A (ja) 2011-12-15
JP5832116B2 (ja) 2015-12-16
US20110293137A1 (en) 2011-12-01
US8824737B2 (en) 2014-09-02
US20130230215A1 (en) 2013-09-05
US9196045B2 (en) 2015-11-24

Similar Documents

Publication Publication Date Title
CN102262725B (zh) 三维场景的分析
Rematas et al. Soccer on your tabletop
US9594950B2 (en) Depth mapping with enhanced resolution
US9898651B2 (en) Upper-body skeleton extraction from depth maps
CN104380338B (zh) 信息处理器以及信息处理方法
CN101305401B (zh) 用于处理游戏的立体视频的方法
CN102938844B (zh) 利用立体成像生成自由视点视频
CN109934848B (zh) 一种基于深度学习的运动物体精准定位的方法
US8624962B2 (en) Systems and methods for simulating three-dimensional virtual interactions from two-dimensional camera images
CN109298629B (zh) 在未绘制地图区域中引导移动平台的系统及方法
US20110292036A1 (en) Depth sensor with application interface
CN105518584A (zh) 利用热区识别交互
KR20160147495A (ko) 인터랙티브 콘텐츠 제어 장치 및 방법
CN112237735A (zh) 记录介质、物体检测装置、物体检测方法及物体检测系统
Seer et al. Kinects and human kinetics: a new approach for studying crowd behavior
KR101320922B1 (ko) 가중 탐색 영역을 이용한 움직임 추적 및 아바타 제어 방법
Du et al. Relative epipolar motion of tracked features for correspondence in binocular stereo
Donate et al. 3d structure estimation from monocular video clips
Quelin Optical flow estimation using insect vision based parallel processing
Egnal A self-correcting stereo vision system for view synthesis
Seera et al. Kinects and Human Kinetics: A New Approach for Studying Crowd Behavior

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: APPLE COMPUTER, INC.

Free format text: FORMER OWNER: PRIME SENSE LTD.

Effective date: 20141023

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20141023

Address after: American California

Applicant after: Apple Computer, Inc.

Address before: Tel Aviv

Applicant before: Prime Sense Ltd.

C14 Grant of patent or utility model
GR01 Patent grant