CN102184531A - 深度图置信过滤 - Google Patents

深度图置信过滤 Download PDF

Info

Publication number
CN102184531A
CN102184531A CN2011101277041A CN201110127704A CN102184531A CN 102184531 A CN102184531 A CN 102184531A CN 2011101277041 A CN2011101277041 A CN 2011101277041A CN 201110127704 A CN201110127704 A CN 201110127704A CN 102184531 A CN102184531 A CN 102184531A
Authority
CN
China
Prior art keywords
pixel
matrix
value
confidence
kernel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011101277041A
Other languages
English (en)
Other versions
CN102184531B (zh
Inventor
J·塔迪夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102184531A publication Critical patent/CN102184531A/zh
Application granted granted Critical
Publication of CN102184531B publication Critical patent/CN102184531B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Abstract

本发明描述了深度图置信过滤。用于过滤从捕捉设备接收的深度信息的装置和方法。通过使用与深度信息一起提供的、基于每像素基础上的自适应创建的最优空间滤波器的置信信息来过滤深度信息。接收场景上包括深度信息的输入数据。深度信息包括多个像素，每一像素包括深度值和置信值。为深度信息中的每一像素生成置信权重归一化滤波器。将权重归一化滤波器与输入数据进行组合来向应用程序提供经过滤的数据。

Description

深度图置信过滤
技术领域
本发明涉及图像处理技术，尤其涉及深度图的处理技术。
背景技术
各种类型的基于图像的数据获取设备将深度信息用于不同的应用。带有无线电频率调制的信号的片上连续波相关性的飞行时间范围传感器正日益流行。它们同时传送深度图以及带有对于该特定种类的数据是唯一的噪声和系统差错的强度图像。捕捉设备提供场景的深度信息以及量化深度信息的准确性的可靠性的置信指示。
使用各种类型的图像处理技术来将噪声从二维图像中移除。噪声可以从获取时的任意数量的差错中生成并且可以影响置信信息。
发明内容
公开了用于过滤从捕捉设备接收的深度信息的技术。通过使用与深度信息一起提供的、基于每像素基础上的自适应创建的最优空间滤波器的置信信息来过滤深度信息。在一个实施例中，提供了用于过滤包括置信度量的深度信息的方法。接收场景上包括深度信息的输入数据。深度信息包括多个像素，每一像素包括深度值和置信值。为深度信息中的每一像素生成置信权重归一化滤波器。将权重归一化滤波器与输入数据进行组合来向应用程序提供经过滤的数据。
提供本发明内容以便以简化形式介绍将在以下的具体实施方式中进一步描述的一些概念。本发明内容并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
附图说明
图1描绘了适于实现本发明的技术的捕捉设备和处理设备。
图2描绘了示例性多媒体控制台处理设备。
图3描绘了处理设备的第二实施例。
图4是捕捉设备所捕捉的示例性深度图像。
图5示出正被采样的深度图像的一部分的示例实施例。
图6和7示出典型的场景的深度噪声对不确定性的散点图表。
图8示出根据本发明的技术的用于动态地过滤深度图像的方法。
图9示出用于为930处的图像中的每一像素计算置信权重归一化滤波器的方法。
图10示出用于配置滤波器的方法。
图11示出说明了离输入像素的距离值的数据存储。
图12A到12D示出使用输入像素置信值以及到内核像素的距离的空间加权矩阵的创建。
图13A示出根据上述步骤1040的用于基于各个内核置信来生成置信加权矩阵的方法。
图13B示出输入像素的给定集合的置信矩阵。
图14示出经组合的矩阵。
图15示出用于归一化经组合的加权矩阵的过程。
图16示出用于准备对象相关性矩阵的过程。
具体实施方式
公开了用于过滤从捕捉设备接收的深度信息的技术。通过使用与深度信息一起提供的、基于每像素基础上的自适应创建的最优空间滤波器的置信信息来过滤深度信息。将滤波器系数的较大加权用于与输出的空间位置较接近的输入样本。将较大加权应用于具有较高置信的输入深度样本，该输入深度样本的置信高于带有较低置信的输入深度样本。系数的缩放确保保留了总体增益和局部增益。
该技术在诸如美国专利申请中公开的目标识别、分析和跟踪系统中被有利地利用，这些美国专利申请例如2009年5月29日提交的题为“EnvironmentAnd/Or Target Segmentation(环境和/或目标分段)”的序列号为12/475094的美国专利申请，该申请通过引用完整地结合于此；在2009年10月21日提交的“Pose Tracking Pipeline(姿势跟踪流水线)”的第12/603,437号美国专利申请(在下文中也被称为‘437申请)，并且该申请通过引用完整地结合于此；在2009年5月29日提交的“Device for Identifying and Tracking Multiple HumansOver Time(用于标识和跟踪随时间的多个人的设备)”第12/475,308号美国专利申请，该申请通过引用完整地结合于此；在2009年12月18日提交的“Motion Detection Using Depth Images(使用深度图像的动作检测)”，该申请通过引用完整地结合于此；在2009年10月7日提交的“Human TrackingSystem(人类跟踪系统)”的第12/575,388号美国专利申请，并且该申请通过引用完整地结合于此。
捕捉设备可以耦合到诸如图1-4所示的计算环境。计算环境12可以是计算机、游戏系统或控制台等等。根据一示例实施例，计算环境12可包括硬件组件和/或软件组件，从而使得计算环境12可用于执行诸如游戏应用程序、非游戏应用程序等的应用程序。在一个实施例中，计算系统12可包括可执行包括例如用于接收深度图像的指令的处理器，如标准化处理器、专用处理器、微处理器等。
根据一实施例，目标识别、分析和跟踪系统10可连接到可向用户提供游戏或应用程序视觉形象和/或音频的视听设备(未示出)，如电视机、监视器、高清电视机(HDTV)等。例如，计算环境12可包括诸如图形卡等视频适配器和/或诸如声卡等音频适配器，这些适配器可提供与游戏应用程序、非游戏应用程序等相关联的视听信号。
在目标识别、分析和跟踪系统中存在和使用的即时技术的其他应用仅仅是一种示例性的使用。
图1示出可结合计算环境12来使用的捕捉设备20的示例实施例。根据一示例实施例，捕捉设备20可被配置成经由任何合适的技术，包括例如飞行时间、结构化光、立体图像等来捕捉包括深度图像的带有深度信息的视频，该深度图像可包括深度值。根据一实施例，捕捉设备20可将深度信息组织为“Z层”，即可与Z轴正交的从深度相机沿着其视线延伸的层。
如图1所示，捕捉设备20可包括图像照像机组件22。根据一个示例实施例，图像照像机组件22可以是可以捕捉一个场景的深度图像的深度照像机。深度图像可包括所捕捉的场景的二维(2-D)像素区域，其中2-D像素区域中的每一像素可表示诸如按照以厘米、毫米等为单位的所捕捉的场景中的物体离照相机的长度或距离等的深度值。
如图1所示，根据一示例实施例，图像相机组件22可包括可用于捕捉场景的深度图像的IR光组件24、三维(3-D)相机26、和RGB相机28。例如，在飞行时间分析中，捕捉设备20的IR光组件24可以将红外光发射到场景上，然后，可以使用传感器(未示出)，用例如3-D照像机26和/或RGB照像机28，来检测从场景中的一个或多个目标和对象的表面反向散射的光。在某些实施例中，可以使用脉冲式红外光从而可以测量出射光脉冲和相应的入射光脉冲之间的时间差并将其用于确定从捕捉设备20到场景中的目标或物体上的特定位置的物理距离。另外，在其他示例实施例中，可将入射光波的相位与出射光波的相位进行比较来确定相移。然后可以使用相移来确定从捕捉设备到目标或对象上的特定位置的距离。
根据另一示例实施例，可使用飞行时间分析，通过经由包括例如快门式光脉冲成像的各种技术来分析反射光束随时间的强度变化以间接地确定从捕捉设备20到目标或物体上的特定位置的物理距离。
在另一示例实施例中，捕捉设备20可使用结构化光来捕捉深度信息。在该分析中，图案化光(即，被显示为诸如网格图案或条纹图案等已知图案的光)可经由例如IR光组件24被投影到场景上。在撞击到场景中的一个或多个目标或物体的表面时，作为响应，图案可变形。图案的这种变形可由例如3-D相机26和/或RGB相机28来捕捉，然后可被分析来确定从捕捉设备到目标或对象上的特定位置的物理距离。
根据另一实施例，捕捉设备20可包括两个或更多物理上分开的相机，这些相机可从不同角度查看场景来获得可被解析以生成深度信息的视觉立体数据。
捕捉设备20还可包括话筒30。话筒30可包括可接收声音并将其转换成电信号的换能器或传感器。根据一个实施例，麦克风30可以被用来减少目标识别、分析，及跟踪系统10中的捕捉设备20和计算环境12之间的反馈。另外，话筒30可用于接收也可由用户提供的音频信号，以控制可由计算环境12执行的诸如游戏应用程序、非游戏应用程序等应用程序。
在一示例实施例中，捕捉设备20还可以包括可以与图像照像机组件22进行可操作的通信的处理器32。处理器32可包括可执行包括例如用于接收深度图像；基于深度图像来生成深度图；基于深度图像来提供置信信息的指令，或任何其他合适的指令的标准化处理器、专用处理器、微处理器等，这将在下文更详细地描述。
捕捉设备20还可以包括存储器组件34，该存储器组件34可以存储可以由处理器32执行的指令，由3-D照像机或RGB照像机捕捉到的图像或图像的帧，或任何其他合适的信息、图像等等。根据一个示例实施例，存储器组件34可包括随机存取存储器(RAM)、只读存储器(ROM)、缓存、闪存、硬盘或任何其他合适的存储组件。如图1所示，在一实施例中，存储器组件34可以是与图像捕捉组件22和处理器32进行通信的单独的组件。根据另一实施例，存储器组件34可被集成到处理器32和/或图像捕捉组件22中。
如图1所示，捕捉设备20可经由通信链路36与计算环境12进行通信。通信链路36可以是包括例如USB连接、火线连接、以太网电缆连接等的有线连接和/或诸如无线802.11b、802.11g、802.11a或802.11n连接等无线连接。根据一个实施例，计算环境12可以向捕捉设备20提供时钟，可以使用该时钟来通过通信链路36确定何时捕捉，例如，场景。
另外，捕捉设备20可将由例如3-D照相机26和/或RGB照相机28捕捉的深度信息和图像经由通信链路36提供给计算环境12。
如图1所示的过滤元件60包括行缓存74、76，置信加权矩阵生成器82，空间加权矩阵生成器80以及归一化引擎84。同样还示出了乘法器81和86。过滤元件60和其上包括的各组件可由专用硬件组件组成，可被集成到图2和3所示的一个或多个外围组件上，或者可由用于指令诸如图2和3中的CPU 101或处理单元259之类的处理器分别执行以下在图9-16中描述的任务的代码来实现。
启用行缓存74、76，置信加权矩阵生成器82，空间加权矩阵生成器80，归一化引擎84，对象相关性矩阵生成器85和相关矩阵乘法器85a以及乘法器81和86被实现为硬件组件生成器，因为硬件加法器、乘法器和存储器提高了生成器的速度并允许用最小增加的等待时间来进行过滤。
可以经由链路36将从捕捉设备20获得的深度信息提供给计算环境。对信息的场景的每一输入像素执行根据本发明的技术的过滤。图像可以被认为是示出场景的一个版本的像素集。可以用光栅扫描方式或使用全局快门曝光来提供来自捕捉设备的深度信息。光栅扫描一般从左到右地在图像上发生而在图像传感器中从上到下地进行。
缓存74和76允许捕捉足够数量的信息(取决于下文参考图10讨论的滤波器矩阵配置)来允许过滤技术对输入流执行动作。在将信息提供给过滤元件60时，缓存74、76获得足够的信息用于置信加权矩阵生成器82、空间加权矩阵生成器80、对象相关性矩阵生成器85、归一化引擎84和乘法器81、85a和86来提供过滤操作。
一般而言，对于每一输入像素，基于在与输入像素相邻的多个像素的基础上的滤波器分辨率矩阵来定义滤波器矩阵。对于每一输入像素，置信加权矩阵生成器82基于围绕输入像素的矩阵中的像素的置信值来生成置信滤波器矩阵。空间加权矩阵生成器80基于输入像素的置信值以及矩阵中的像素到周围像素的距离来生成空间加权矩阵。乘法器81将置信加权矩阵生成器82和空间加权矩阵生成器80的值进行组合来提供经组合的矩阵。对象相关性矩阵生成器85生成相关性加权矩阵来移除滤波器矩阵中内核像素在不同的深度平面上且由该技术找到的组分。对象相关性矩阵在过滤过程期间移除图像边界外部的未定义像素和来自不同对象的像素。使用乘法器85a来将乘法器81的输出与对象相关性矩阵进行组合。归一化引擎84创建归一化经组合的矩阵，然后通过乘法器86将该矩阵与输入值进行组合来向一个或多个应用程序226提供经过滤的深度输出。
图2示出可用于解释目标识别、分析和跟踪系统中的一个或多个姿势和/或动画化目标识别、分析和跟踪系统所显示的化身或屏幕上的人物的计算环境的示例实施例。以上参考附图1所描述的诸如计算环境12的计算环境可以是多媒体控制台100，诸如游戏控制台。如图2所示，多媒体控制台100具有含有1级高速缓存102、2级高速缓存104和闪存ROM(只读存储器)106的中央处理单元(CPU)101。一级高速缓存102和二级高速缓存104临时存储数据并因此减少存储器访问周期数，由此改进处理速度和吞吐量。CPU 101可以设置成具有一个以上的内核，以及由此的附加的一级和二级高速缓存102和104。闪存ROM 106可存储在当多媒体控制台100通电时的引导过程的初始阶段期间加载的可执行代码。
图形处理单元(GPU)108和视频编码器/视频编解码器(编码器/解码器)114形成用于高速、高分辨率图形处理的视频处理流水线。数据经由总线从图形处理单元108输送到视频编码器/视频编解码器114。视频处理流水线将数据输出到A/V(音频/视频)端口140以传输到电视机或其他显示器。存储器控制器110连接到GPU 108以方便处理器访问各种类型的存储器112，诸如但不局限于RAM(随机存取存储器)。
多媒体控制台100包括较佳地在模块118上实现的I/O控制器120、系统管理控制器122、音频处理单元123、网络接口控制器124、第一USB主控制器126、第二USB控制器128和前面板I/O子部件130。USB控制器126和128用作外围控制器142(1)-142(2)、无线适配器148、和外置存储器设备146(例如闪存、外置CD/DVD ROM驱动器、可移动介质等)的主机。网络接口124和/或无线适配器148提供对网络(例如，因特网、家庭网络等)的访问并且可以是包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等的各种不同的有线或无线适配器组件中任何一种。
提供系统存储器143来存储在引导进程期间加载的应用数据。提供了介质驱动器144，其可以包括DVD/CD驱动器、硬盘驱动器，或其他可移动介质驱动器等等。媒体驱动器144对于多媒体控制台100可以内置或外置的。应用数据可经由媒体驱动器144访问，以由多媒体控制台100执行、回放等。介质驱动器144经由诸如串行ATA总线或其他高速连接(例如IEEE 1394)等总线连接到I/O控制器120。
系统管理控制器122提供涉及确保多媒体控制台100的可用性的各种服务功能。音频处理单元123和音频编解码器132形成具有高保真度和立体声处理的对应的音频处理流水线。音频数据经由通信链路在音频处理单元123与音频编解码器132之间传输。音频处理流水线将数据输出到A/V端口140以供外置音频播放器或具有音频能力的设备再现。
前板I/O子部件130支持暴露在多媒体控制台100的外表面上的电源按钮150和弹出按钮152以及任何LED(发光二极管)或其他指示器的功能。系统供电模块136向多媒体控制台100的组件供电。风扇138冷却多媒体控制台100内的电路。
CPU 101、GPU 108、存储器控制器110、和多媒体控制台100内的各个其他组件经由一条或多条总线互连，包括串行和并行总线、存储器总线、外围总线、和使用各种总线架构中任一种的处理器或局部总线。作为示例，这些架构可以包括外围部件互连(PCI)总线、PCI-Express总线等。
当多媒体控制台100通电时，应用数据可从系统存储器143加载到存储器112和/或高速缓存102、104中并在CPU 101上执行。应用可呈现在导航到多媒体控制台100上可用的不同媒体类型时提供一致的用户体验的图形用户界面。在操作中，媒体驱动器144中包含的应用程序和/或其他媒体可从媒体驱动器144启动或播放，以向多媒体控制台100提供附加功能。
多媒体控制台100可通过将该系统简单地连接到电视机或其他显示器而作为独立系统来操作。在该独立模式中，多媒体控制台100允许一个或多个用户与该系统交互、看电影、或听音乐。然而，随着通过网络接口124或无线适配器148可用的宽带连接的集成，多媒体控制台100还可作为较大网络社区中的参与者来操作。
当多媒体控制台100通电时，可以保留设定量的硬件资源以供多媒体控制台操作系统作系统使用。这些资源可包括存储器的保留量(诸如，16MB)、CPU和GPU周期的保留量(诸如，5％)、网络带宽的保留量(诸如，8kbs)，等等。因为这些资源是在系统引导时间保留的，所保留的资源对于应用程序视角而言是不存在的。
具体地，存储器保留较佳地足够大，以包含启动内核、并发系统应用程序和驱动程序。CPU保留较佳地为恒定，使得若所保留的CPU用量不被系统应用程序使用，则空闲线程将消耗任何未使用的周期。
对于GPU保留，通过使用GPU中断来显示由系统应用程序生成的轻量消息(例如，弹出窗口)，以调度代码来将弹出窗口呈现为覆盖图。覆盖图所需的存储器量取决于覆盖区域大小，并且覆盖图较佳地与屏幕分辨率成比例缩放。在并发系统应用程序使用完整用户界面的情况下，优选使用独立于应用程序分辨率的分辨率。定标器可用于设置该分辨率，从而无需改变频率，也就不会引起TV重新同步。
在多媒体控制台100引导且系统资源被保留之后，就执行并发系统应用程序来提供系统功能。系统功能被封装在一组在上述所保留的系统资源中执行的系统应用程序中。操作系统内核标识是系统应用程序线程而非游戏应用程序线程的线程。系统应用程序优选地被调度为在预定时间并以预定时间间隔在CPU101上运行，以便为应用程序提供一致的系统资源视图。进行调度是为了把由在控制台上运行的游戏应用程序所引起的高速缓存分裂最小化。
当并发系统应用程序需要音频时，则由于时间敏感性而异步调度音频处理给游戏应用程序。多媒体控制台应用程序管理器(如下所述)在系统应用程序活动时控制游戏应用程序的音频水平(例如，静音、衰减)。
输入设备(例如，控制器142(1)和142(2))由游戏应用程序和系统应用程序共享。输入设备不是所保留的资源，但却在系统应用程序和游戏应用程序之间切换以使其各自具有设备的焦点。应用程序管理器较佳地控制输入流的切换，而无需知晓游戏应用程序的知识，并且驱动程序维持有关焦点切换的状态信息。照像机26、28和捕捉设备20可以为控制台100定义额外的输入设备。
图3示出了可以是图1所示的计算环境12的计算环境220的另一示例实施例。计算系统环境220只是合适的计算环境的一个示例，并且不旨在对所公开的主题的使用范围或功能提出任何限制。也不应该将计算环境220解释为对示例性操作环境220中示出的任一组件或其组合有任何依赖性或要求。在某些实施例中，所描绘的各种计算元素可包括被配置成实例化本公开的各具体方面的电路。例如，本公开中使用的术语电路可包括被配置成通过固件或开关来执行功能的专用硬件组件。在其他示例实施方式中，术语电路可包括由实施可用于执行功能的逻辑的软件指令配置的通用处理单元、存储器等。在其中电路包括硬件和软件的组合的示例实施例中，实施者可以编写体现逻辑的源代码，且源代码可以被编译为可以由通用处理单元处理的机器可读代码。因为本领域技术人员可以明白现有技术已经进化到硬件、软件或硬件/软件组合之间几乎没有差别的地步，因而选择硬件或是软件来实现具体功能是留给实现者的设计选择。更具体地，本领域技术人员可以明白软件进程可被变换成等价的硬件结构，而硬件结构本身可被变换成等价的软件进程。因此，对于硬件实现还是软件实现的选择是设计选择并留给实现者。
在图3中，计算环境220包括计算机241，计算机241通常包括各种计算机可读介质。计算机可读介质可以是能由计算机241访问的任何可用介质，而且包含易失性和非易失性介质、可移动和不可移动介质。系统存储器222包括易失性和/或非易失性存储器形式的计算机存储介质，如只读存储器(ROM)223和随机存取存储器(RAM)260。基本输入/输出系统224(BIOS)包括如在启动时帮助在计算机241内的元件之间传输信息的基本例程，它通常储存在ROM 223中。RAM 260通常包含处理单元259可以立即访问和/或目前正在操作的数据和/或程序模块。作为示例而非限制，图3示出操作系统225、应用程序226、其他程序模块227和程序数据228。
计算机241还可以包括其他可移动/不可移动、易失性/非易失性计算机存储介质。仅作为示例，图3示出了从不可移动、非易失性磁介质中读取或向其写入的硬盘驱动器238，从可移动、非易失性磁盘254中读取或向其写入的磁盘驱动器239，以及从诸如CD ROM或其他光学介质等可移动、非易失性光盘253中读取或向其写入的光盘驱动器240。可以在示例性操作环境中使用的其他可移动/不可移动、易失性/非易失性计算机存储介质包括但不限于，磁带盒、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等等。硬盘驱动器238通常由诸如接口234等不可移动存储器接口连接至系统总线221，磁盘驱动器239和光盘驱动器240通常由诸如接口235等可移动存储器接口连接至系统总线221。
以上讨论并在图3中示出的驱动器及其相关联的计算机存储介质为计算机241提供了对计算机可读指令、数据结构、程序模块和其他数据的存储。在图3中，例如，硬盘驱动器238被示为存储操作系统258、应用程序257、其他程序模块256和程序数据255。注意，这些组件可以与操作系统225、应用程序226、其他程序模块227和程序数据228相同，也可以与它们不同。在此给操作系统258、应用程序257、其他程序模块256、以及程序数据255提供了不同的编号，以说明至少它们是不同的副本。用户可以通过输入设备，诸如键盘251和定点设备252(通常被称为鼠标、跟踪球或触摸垫)，向计算机241输入命令和信息。其他输入设备(未示出)可以包括话筒、操纵杆、游戏手柄、圆盘式卫星天线、扫描仪等等。这些和其他输入设备通常由耦合至系统总线的用户输入接口236连接至处理单元259，但也可以由其他接口和总线结构，诸如并行端口、游戏端口或通用串行总线(USB)，来连接。照像机26、28和捕捉设备20可以为控制台100定义额外的输入设备。监视器242或其他类型的显示设备也通过接口，诸如视频接口232，连接至系统总线221。除监视器以外，计算机也可以包括其他外围输出设备，诸如扬声器244和打印机243，它们可以通过输出外围接口233连接。
计算机241可使用至一个或多个远程计算机，诸如远程计算机246的逻辑连接在网络化环境中操作。远程计算机246可以是个人计算机、服务器、路由器、网络PC、对等设备或其他常见网络节点，并且通常包括许多或所有以上关于计算机241所描述的元件，尽管在图3中仅示出了存储器存储设备247。图2中所示的逻辑连接包括局域网(LAN)245和广域网(WAN)249，但也可以包括其他网络。这样的联网环境在办公室、企业范围计算机网络、内联网和因特网中是常见的。
当在LAN联网环境中使用时，计算机241通过网络接口或适配器237连接至LAN 245。当在WAN联网环境中使用时，计算机241通常包括调制解调器250或用于通过诸如因特网等WAN 249建立通信的其他装置。调制解调器250可以是内置或外置的，它可以经由用户输入接口236或其他适当的机制连接至系统总线221。在网络化环境中，相对于计算机241所描述的程序模块或其部分可被存储在远程存储器存储设备中。作为示例而非限制，图3示出远程应用程序248驻留在存储器设备247上。可以理解，所示的网络连接是示例性的，且可以使用在计算机之间建立通信链路的其他手段。
图4示出了可由计算环境12接收的深度图像400的示例实施例。根据一示例实施例，深度图像400可以是由例如以上参考图1所描述的捕捉设备20的3-D照相机26和/或RGB照相机28所捕捉的场景的图像或帧。如图4所示，深度图像400可包括所捕捉的场景中例如与用户相对应的人类目标402a以及一个或多个非人类目标404，诸如墙壁、桌子、监视器等。深度图像400可包括多个观测到的像素，其中每一观测到的像素具有与其相关联的观测到的深度值。例如，深度图像400可包括所捕捉的场景的二维(2-D)像素区域，其中2-D像素区域中的特定X值和Y值处的每一像素可具有诸如以例如厘米、毫米等为单位的所捕捉的场景中的目标或对象离捕捉设备的长度或绝对距离之类的深度值。
在一实施例中，深度图像400可被着色从而使得深度图像的像素的不同颜色对应于和/或从视觉上描绘了人类目标402a和非人类目标404离捕捉设备的不同距离。例如，与深度图像中最接近捕捉设备的目标相关联的像素可用红色和/或橙色阴影来着色，而与深度图像中较远的目标相关联的像素可用绿色和/或蓝色阴影来着色。
例如，如上所述，深度图像可包括所捕捉的场景的2-D像素区域，其中每一像素具有与其相关联的X值、Y值和深度值(或Z值)。在一实施例中，深度图像可通过将2-D像素区域中的像素减少为一个或多个像素的网格来降采样。例如，深度图像可被分成各个像素部分或像素块，诸如4x4的像素块、5x5的像素块、8x8的像素块、10x10的像素块等等。
图5示出正被采样的深度图像的一部分的示例实施例。例如，如图5所示，以上参考图4所述的深度图像400的一部分430可包括多个像素450，其中每一像素可具有与其相关联的X值、Y值和深度值(或Z值)。根据一实施例，如上所述，诸如深度图像400之类的深度图像可被分成像素部分或像素块430，诸如5x5的像素块。诸如目标识别、分析和跟踪系统的应用程序可以使用图像中的像素来表示与真实世界空间中的像素相关联的位置从而来处理图像。
多个像素中的每一个可包括相对于图像和相对于5x5的块的位置。图像中像素的相对位置可被称为像素分割。在当前描述中，可以在表示空间内核的像素块的中心处提供输入像素475，并且内核中的像素在图5所示的内核内可具有在(-2，2)到(2，2)和(-2，-2)到(2，-2)处的相对的x和y坐标位置，各坐标是离输入像素的相对位置。
在将来自捕捉设备20的深度信息提供给应用程序之前，可以如下讨论地过滤深度信息z-值。
图6和7示出典型的场景的深度噪声对不确定性的散点图表。图7是图6的数据曲线中的弯折附近的部分700的放大区域。许多深度获取技术提供深度和置信数据。在使用飞行时间(TOF)技术的照相机中，光源投影到场景上，光反射离开场景中的对象，并且图像传感器收集所反射的光。尽管TOF原理可以变化，但在所收集的所反射的光的强度和所得所生成的深度样本的噪声之间存在一般的相关性。如图6和7所示，所收集的光越多等价于深度样本的噪声越少。应该注意，虽然置信与深度样本的噪声相关，但它通常不是线性关系。
图8示出根据本发明的技术的用于动态地过滤深度图像的方法。图8所示的方法可由计算环境12以及一实施例中的图1所示的各组件来执行。或者，计算环境中的单个处理器可以遵循提供来对处理器进行编程以执行该方法的指令来执行图8所示的方法。
在810中，计算环境12从诸如捕捉设备20等捕捉设备获得深度信息。在820处，置信信息与深度信息一起被包括。置信信息是深度信息的准确性的可靠性的度量。如上所述，捕捉设备可以经由链路36提供深度和置信信息并将其分别导向到缓存74和76。深度信息可包括所捕捉的场景中特定像素的z轴距离值，而置信信息可以是按已知比例提供的深度信息的可靠性的数值指示。例如在一实施例中，置信信息可包括8位数值(例如，0-255)。在830中，为在810和820处获得的图像中的每一像素计算置信权重归一化滤波器。下面参考图10-16来说明用于执行步骤830的方法。在840中，对置信加权归一化滤波器信息和在810处获得的输入数据进行卷积来提供图像中的每一像素的经过滤的值。随后在850处将经过滤的输入数据提供给应用程序。
图9示出用于为930处的图像中的每一像素计算置信权重归一化滤波器的方法。在一实施例中，图9的方法由图1中的组件80、82、84、85和86执行。最初在1010处，配置滤波器。为配置滤波器，选择内核的空间滤波器。例如，空间滤波器可以是3x3的像素矩阵或5x5的像素矩阵，其中输入像素是矩阵的中心像素，如图5在475处所示的。如上所述，在图5处，输入像素475将被24个内核像素围绕。可以采用任意大小的矩阵，但因为上文的描述，将描述5x5的空间滤波器。如下所讨论的，被约束为与5x5的空间滤波器内核一起运作的算法从围绕中心输入像素的24个像素中收集样本，总共提供25个深度值和25个置信值。
在1015处，获得样本图像。通常，图像用光栅扫描的方式被采样为信息的帧。进而，如下所述，在逐像素的基础上对移动窗口执行步骤1020到1055。在1020处，为样本图像中的每一输入像素执行步骤1025-1055。在1025处，获得输入像素的深度和置信值。在1030处，获得在空间内核中定义的那些像素的深度和置信值。在1035处，使用输入像素置信值以及到每一内核像素的距离来生成空间加权矩阵。下面将参考图12A和12B来说明用于执行空间加权矩阵的方法。一般而言，空间加权矩阵基于内核像素的贡献、将内核像素与输入像素的像素分割考虑在内来向输入滤波器分配加权。在接收到输入像素的较高置信(一般意味着像素的较低噪声值)的情况下，则生成较窄的空间滤波器，从而保留空间分辨率。另外，对象往往具有相关的深度并且直接相邻的像素往往比离得较远的像素在值上更接近。无论使用什么空间过滤方法，较高置信的输入像素被分配较高的权重。经过滤的权重的分配可以使用任意数量的过滤函数来发生。在一个示例中，利用高斯函数，其中归因于像素的权重为：
e(-(距离*σ)^2)
其中σ基于输入样本的置信来分配。σ的值可以通过引用基于输入像素置信值来提供较窄或较宽的滤波器的查找表来导出。空间加权矩阵的示例在图12C和12D中示出。
以此方式，滤波器可以是自适应的，即，为过滤函数作出的选择以及基于输入像素所分配的权重可以根据滤波器设计者作出的选择，或根据作为数据目的地的应用程序的特定需要而变化。
在1040处，基于各个内核置信来生成置信加权矩阵。在1040中，利用矩阵内核中的每一源样本的置信来生成置信加权矩阵。下面在图13A中示出了用于创建置信加权矩阵的方法。在1040处创建的置信加权矩阵将与输入像素相邻的像素具有良好的距离数据的置信考虑在内。置信矩阵的示例在图13B中示出。
在1043处，生成对象相关性矩阵。用于创建对象相关性矩阵的示例性方法在图16中示出。使用对象相关性矩阵来避免在过滤过程期间将图像边界外部的像素(因为它们可能是未定义的)以及来自不同对象的像素(因为距离可能彼此不相关)包括在内。在一替换实施例中，忽略对象相关性并且可以用每一内核抽头的值为1来填充对象相关性矩阵。例如，对于在(-1，1)、(-2，-2)、(-2，-1)等处的像素在源图像的边界外部(即，未定义)的对象相关性矩阵，对象相关性矩阵可以通过将落在图像边界外部的像素位置的条目置零来解决这一问题。在1045处，将置信加权矩阵、对象相关性矩阵和空间加权矩阵进行组合。在1045处，将置信加权矩阵和空间加权矩阵的相应系数中的每一个相乘来提供与滤波器内核大小同阶的经组合的加权矩阵。经组合的矩阵的示例在图14中示出。
在步骤1050处，为了保留增益，随后将矩阵的每一系数除以所有系数的总和来归一化样本。在1052处，将归一化的经组合的矩阵中的每一像素与内核中该位置处的像素的输入值相乘，并且在1054处，对所得乘积求和来提供给定输入像素(0，0)的经过滤的值。在1055处，将输入像素(0，0)的经过滤的像素值输出给应用程序，如步骤850(图8)处所述，并且在1060处，该方法对每一像素(转换到如图5的440处所指示的图像中的下一像素(例如，像素(0，1)))以及1065处的样本中的每一图像重复。
图10示出在步骤1010处执行的用于配置滤波器的方法。在1110处，选择滤波器的矩阵大小。如上所述，矩阵大小可以是3x3的滤波器、5x5的滤波器、7x7的滤波器等等。在1120处，计算输入或中心样本像素与相邻像素的距离。在1130处将这些距离存储在数据存储中。示出距离值的示例性数据存储在图11中示出。在图11中，表1150示出到中心像素0，0的示例性距离。使用勾股定理，每一中心像素到相邻像素的距离就是x距离的平方加上y距离的平方的平方根。使用表1150，像素离目标越近，则该像素对目标像素0，0所具有的贡献越多。基于内核像素离输入像素的距离，使用矩阵1150来对权重进行分配。如上所述，可以将表1150存储在输入表中，并且假定许多值是重复的(表1150中只存在五个唯一的值)，则表所需的存储空间最小。应该明白，存储在表1150中的距离是相对值，而不是实际值。
图12A到12D示出使用输入像素置信值以及上述到内核像素的距离的空间加权矩阵的创建(步骤1035处)。在一实施例中，空间滤波器的创建可以由空间加权矩阵生成器80来执行。在一实施例中，在1210处，获得输入像素(0，0)的置信值。在步骤1215处，可以对照已经用基于给定过滤函数对置信值范围的权重分配来预填充的数据存储来为给定范围的置信值执行置信值和预定义权重之间的查找。或者，基于距离和置信值，可以计算所选函数来创建系数以填充像素(0，0)的空间加权矩阵。在1220处，基于将相对距离考虑在内的表所分配的权重来生成滤波器。在一实施例中，可以通过将加权值除以表1150中给出的距离值来考虑相对距离。
在深度和置信获取步骤中，如上所述，可以获得低于特定深度或置信阈值的样本。对于索引在图像外部、在边缘处，或低于置信阈值处的样本，可以将深度和置信值分配为零。在该实施例中，零的深度是未定义的(无效的)。向这些值分配为零的值保留了用来忽略未对特定样本作出贡献的像素的值。或者，可以向这些像素分配置信值0来使它们对经过滤的像素输出的贡献无效。
在某些情况下，输入像素可以在特定图像的边缘处。在其他情况下，边缘像素可被定义为不同深度处的对象(可被认为是前景对象和背景对象)之间的边界。如下所讨论的，可以使用对象相关性矩阵来对待这些不相关的像素。
图12B示出用于使用输入像素置信值以及到内核像素的距离来创建空间加权矩阵的方法。最初在1240处，获得给定输入像素的置信值。在1245处，对于矩阵中的每一像素，执行一系列的步骤1247来创建到较远距离的像素的所分配的权重，该权重一般是输入置信的强度的逆。最初在1255处，作出关于置信值是否超过特定阈值的确定。如果否，则在1260处可分配为零的值。如果在1265处找到输入像素的强置信值，则在1270处为给定过滤技术分配强的加权。如果在1275处找到弱置信，则在1275处分配弱过滤权重。如果在780处找到平衡的置信，则分配平衡的权重。应该理解，可以分配任意数量的阈值和相应的权重，得到除了步骤1250、1260和1270之外的附加步骤和附加阈值。如上所述，生成空间加权矩阵的一种方法是在所使用的特定过滤函数内分配权重值。还应该明白，步骤1255到1280可以通过引用具有对应于滤波器加权分配的置信范围的查找表来执行。
一旦确定了值权重，则在1285处结合矩阵中特定像素的距离并且在1290处生成系数来填充空间矩阵。窄空间矩阵和宽空间矩阵的两个示例分别在图12C和12D中示出。如图12C中1296处所示，输入像素0，0具有0.7的加权因子而边缘像素-2，2具有0.05的权重。在较宽的空间矩阵中的1297处，这些值分别从0.5变化到0.15。对图12C和12D中各个值的检查示出矩阵1296中归因于除了输入样本0，0之外的像素的权重大于1275中的权重。在后续步骤中使用每一矩阵中的每一系数来生成最终经过滤的加权矩阵。
图13A示出根据上述步骤1040的用于基于各个内核置信来生成置信加权矩阵的方法。在一实施例中，通过置信加权矩阵生成器82来创建置信加权矩阵。在步骤1325处，对于内核矩阵中的每一像素，在1340处检索各个像素的置信值。如果在1345处值未超过基本阈值，则在1330处将置信值设为零。如果在1345处置信权重超过初始阈值，则执行一系列的步骤1347来定义矩阵中的置信权重，该权重一般与内核像素的置信值成正比。如果在1330处找到强置信，则在1335处分配高权重。如果在1340处找到弱置信，则在1345处分配低权重。否则，可以在1350处分配中等权重。应该注意，定义强、弱和中等置信的阈值任意地在图13A中示出，并且可以利用任意数量的不同阈值。边界框1347所定义的各步骤可以通过引用值的预定义集合以及查找表中由图1的硬件所执行的分配给置信值的特定权重来执行。
输入像素的给定集合的置信矩阵在图13B中示出。在一实施例中，置信值可以是范围从0到255变化的8位数，并且图13B所示的置信矩阵1390示出归因于阵列中不同像素的一系列值。
图14示出由步骤1045提供的、并通过将诸如置信矩阵1390之类的置信矩阵与空间加权矩阵(诸如矩阵1295或1297)相乘来检索的经组合的矩阵。如其中所示，得到内核中的每一像素的系数。乘法器85可创建经组合的矩阵。
图15示出用于归一化经组合的加权矩阵的过程。在一实施例中，权重矩阵归一化器84可以创建归一化的矩阵。在步骤1510处，通过将图14所示的所有系数加在一起来计算矩阵中所有系数的和。在1515处，对于经组合的矩阵中的每一系数，在1520处将矩阵值除以矩阵中所有系数的和。结果是以上参考步骤1050所讨论的归一化的样本。
如上在840处所述，比较器86将归一化的滤波器与输入数据进行组合。在86处，将归一化的矩阵中的每一内核与相对应的内核输入值相乘，并且对所得乘积求和来提供输入像素的经过滤的值，如上所述。
图16示出用于生成对象相关性矩阵的过程，其中源(内核)像素中的某些在图像边界的外部。对于内核中的每一像素(1605)，在步骤1610处，作出关于特定像素是否在图像边界外部的确定。如果在外部，则在1620处，将该像素的对象相关性矩阵值分配为零。
如果否，则在步骤1625处，作出关于特定像素是否处在与内核中的中心像素相同的深度平面中的确定。可以通过各种方式来确定已知的前景/背景像素，诸如通过寻找所指定的阈值以上的像素梯度(转换速率)。如果找到来自与中心像素不同的深度平面的像素，则在1660处，将该位置的对象相关性矩阵值分配为零，否则在1665处将其分配为1。该方法在1635处重复直到内核中的最后一个像素。在步骤1670处，该方法可返回至图9中的步骤1045来继续处理该像素。
尽管用专门描述结构特征和/或方法动作的语言描述了主题，但是应当理解，在所附权利要求书中限定的主题并不一定局限于上述特定的特征或动作。更确切而言，上述具体特征和动作是作为实现权利要求的示例形式公开的。

Claims (10)

1.一种用于过滤深度信息的方法，所述深度信息包括置信度量，所述方法包括：
接收(810)场景上包括深度信息的输入数据，所述深度信息包括多个像素，每一像素包括深度值和置信值；
为所述深度信息中的每一像素生成(830)置信权重归一化滤波器，所述置信权重归一化滤波器包括从相对于围绕每一所述像素的像素的距离的置信值中导出的过滤权重；
将所述归一化滤波器和所述输入数据进行组合(840)；以及
将经过滤的数据输出(850)给应用程序。
2.如权利要求1所述的方法，其特征在于，生成置信权重归一化滤波器包括：
在所述深度信息中选择输入像素；
生成空间加权矩阵，所述空间加权矩阵基于所述输入像素周围的像素的内核的贡献、将所述内核像素与所述输入像素的距离考虑在内来分配第一滤波器权重；
基于所述内核中的每一像素的置信值来生成置信加权矩阵；
将所述置信加权矩阵和所述空间加权矩阵相乘来提供经组合的矩阵；
归一化所述经组合的矩阵；以及
将所述加权的归一化矩阵与所述输入数据相乘；并且对所述乘积求和来导出最终经过滤的值。
3.如权利要求2所述的方法，其特征在于，所述生成空间加权矩阵的步骤包括基于所述输入像素的置信值来生成所述矩阵。
4.如权利要求3所述的方法，其特征在于，所述生成空间矩阵的步骤包括计算所述空间矩阵中所述输入像素到每一像素的距离并且将所述距离与所述输入像素的置信值进行组合。
5.如权利要求4所述的方法，其特征在于，所述生成空间矩阵的步骤包括当所述输入像素置信值高于所指定的阈值时，向所述输入像素深度值分配高于分配给内核像素深度值的权重的权重。
6.如权利要求4所述的方法，其特征在于，所述生成空间矩阵的步骤包括当所述输入像素置信值低于所指定的阈值时，向所述内核像素深度值分配高于分配给所述输入像素深度值的权重的权重。
7.如权利要求1所述的方法，其特征在于，还包括生成对象相关性矩阵并将所述经组合的矩阵与对象相关性矩阵相乘的步骤。
8.如权利要求1所述的方法，其特征在于，还包括以下步骤：
生成空间加权矩阵，所述空间加权矩阵基于来自围绕所述输入像素的像素内核的置信值贡献来分配第一滤波器权重，所述置信值贡献与每一内核像素和所述输入像素的距离有关；
基于每一像素内核的置信值来生成置信加权矩阵；
基于输入像素和所述内核中的像素之间的相对深度来生成对象相关性矩阵；
将所述置信加权矩阵、对象相关性矩阵和所述空间加权矩阵进行组合来提供经组合的矩阵；
归一化所述经组合的矩阵；以及
将所述加权的归一化矩阵与所述输入数据相乘，并且对所述乘积求和来导出最终经过滤的值。
9.如权利要求8所述的方法，其特征在于，所述生成置信加权矩阵的步骤包括基于所述内核中的每一像素的置信值来分配加权值。
10.如权利要求9所述的方法，其特征在于，所述生成对象相关性矩阵的步骤包括确定是否内核像素是未定义的或在与所述输入像素不同的深度平面上的，并且如果是这样，则向所述内核像素分配为零的值，否则向所述内核像素分配为1的值。
CN2011101277041A 2010-05-07 2011-05-06 深度图置信过滤 Expired - Fee Related CN102184531B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/776,066 2010-05-07
US12/776,066 US8885890B2 (en) 2010-05-07 2010-05-07 Depth map confidence filtering

Publications (2)

Publication Number Publication Date
CN102184531A true CN102184531A (zh) 2011-09-14
CN102184531B CN102184531B (zh) 2013-11-27

Family

ID=44570701

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011101277041A Expired - Fee Related CN102184531B (zh) 2010-05-07 2011-05-06 深度图置信过滤

Country Status (2)

Country Link
US (1) US8885890B2 (zh)
CN (1) CN102184531B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103503033A (zh) * 2012-05-01 2014-01-08 谷歌公司 基于置信分值来合并三维模型
CN104903677A (zh) * 2012-12-17 2015-09-09 Lsi公司 用于将使用不同深度成像技术生成的深度图像合并的方法和装置
CN108702143A (zh) * 2016-07-21 2018-10-23 微晶片科技德国公司 具有置信度输入的数字滤波器
WO2019011017A1 (zh) * 2017-07-11 2019-01-17 深圳市道通智能航空技术有限公司 噪点处理方法及装置
CN110400343A (zh) * 2019-07-11 2019-11-01 Oppo广东移动通信有限公司 深度图处理方法和装置
CN110400340A (zh) * 2019-07-11 2019-11-01 Oppo广东移动通信有限公司 深度图处理方法和装置
CN110400338A (zh) * 2019-07-11 2019-11-01 Oppo广东移动通信有限公司 深度图处理方法、装置和电子设备
WO2020063718A1 (zh) * 2018-09-26 2020-04-02 华为技术有限公司 点云编解码方法和编解码器
CN111443357A (zh) * 2020-05-19 2020-07-24 炬佑智能科技(苏州)有限公司 一种测距方法及测距系统
WO2021004262A1 (zh) * 2019-07-11 2021-01-14 Oppo广东移动通信有限公司 深度图处理方法及装置、电子设备和可读存储介质
WO2021004264A1 (zh) * 2019-07-11 2021-01-14 Oppo广东移动通信有限公司 深度图处理方法和装置、电子设备和可读存储介质
CN112714925A (zh) * 2018-11-19 2021-04-27 深圳市欢太科技有限公司 图像处理方法、电子设备和计算机可读存储介质
US11205278B2 (en) 2019-07-11 2021-12-21 Shenzhen Heytap Technology Corp., Ltd. Depth image processing method and apparatus, and electronic device

Families Citing this family (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
KR101588877B1 (ko) 2008-05-20 2016-01-26 펠리칸 이매징 코포레이션 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
KR101526866B1 (ko) * 2009-01-21 2015-06-10 삼성전자주식회사 깊이 정보를 이용한 깊이 노이즈 필터링 방법 및 장치
EP2502115A4 (en) 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
EP2569935B1 (en) 2010-05-12 2016-12-28 Pelican Imaging Corporation Architectures for imager arrays and array cameras
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
JP2014519741A (ja) 2011-05-11 2014-08-14 ペリカン イメージング コーポレイション アレイカメラ画像データを伝送および受信するためのシステムおよび方法
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
WO2013043761A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Determining depth from multiple views of a scene that include aliasing using hypothesized fusion
WO2013049699A1 (en) 2011-09-28 2013-04-04 Pelican Imaging Corporation Systems and methods for encoding and decoding light field image files
EP2817955B1 (en) 2012-02-21 2018-04-11 FotoNation Cayman Limited Systems and methods for the manipulation of captured light field image data
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
JP6140935B2 (ja) 2012-05-17 2017-06-07 キヤノン株式会社 画像処理装置、画像処理方法、画像処理プログラム、および撮像装置
US9100635B2 (en) 2012-06-28 2015-08-04 Pelican Imaging Corporation Systems and methods for detecting defective camera arrays and optic arrays
US8896594B2 (en) * 2012-06-30 2014-11-25 Microsoft Corporation Depth sensing with depth-adaptive illumination
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
SG11201500910RA (en) 2012-08-21 2015-03-30 Pelican Imaging Corp Systems and methods for parallax detection and correction in images captured using array cameras
US20140055632A1 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
WO2014043641A1 (en) 2012-09-14 2014-03-20 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images
WO2014052974A2 (en) 2012-09-28 2014-04-03 Pelican Imaging Corporation Generating images from light fields utilizing virtual viewpoints
US9811880B2 (en) * 2012-11-09 2017-11-07 The Boeing Company Backfilling points in a point cloud
US9143711B2 (en) 2012-11-13 2015-09-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
US9241142B2 (en) * 2013-01-24 2016-01-19 Analog Devices Global Descriptor-based stream processor for image processing and method associated therewith
CN103974055B (zh) * 2013-02-06 2016-06-08 城市图像科技有限公司 3d照片生成系统及方法
US9462164B2 (en) 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
WO2014133974A1 (en) 2013-02-24 2014-09-04 Pelican Imaging Corporation Thin form computational and modular array cameras
WO2014138697A1 (en) 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for high dynamic range imaging using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9521416B1 (en) 2013-03-11 2016-12-13 Kip Peli P1 Lp Systems and methods for image data compression
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
WO2014164550A2 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation System and methods for calibration of an array camera
WO2014165244A1 (en) * 2013-03-13 2014-10-09 Pelican Imaging Corporation Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9100586B2 (en) 2013-03-14 2015-08-04 Pelican Imaging Corporation Systems and methods for photometric normalization in array cameras
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US9633442B2 (en) 2013-03-15 2017-04-25 Fotonation Cayman Limited Array cameras including an array camera module augmented with a separate camera
US9497370B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Array camera architecture implementing quantum dot color filters
WO2014145856A1 (en) 2013-03-15 2014-09-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9786062B2 (en) * 2013-05-06 2017-10-10 Disney Enterprises, Inc. Scene reconstruction from high spatio-angular resolution light fields
US9729860B2 (en) 2013-05-24 2017-08-08 Microsoft Technology Licensing, Llc Indirect reflection suppression in depth imaging
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
US9426343B2 (en) 2013-11-07 2016-08-23 Pelican Imaging Corporation Array cameras incorporating independently aligned lens stacks
WO2015074078A1 (en) 2013-11-18 2015-05-21 Pelican Imaging Corporation Estimating depth from projected texture using camera arrays
US9426361B2 (en) 2013-11-26 2016-08-23 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
WO2015134996A1 (en) 2014-03-07 2015-09-11 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
US9247117B2 (en) 2014-04-07 2016-01-26 Pelican Imaging Corporation Systems and methods for correcting for warpage of a sensor array in an array camera module by introducing warpage into a focal plane of a lens stack array
US9521319B2 (en) 2014-06-18 2016-12-13 Pelican Imaging Corporation Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor
US11290704B2 (en) * 2014-07-31 2022-03-29 Hewlett-Packard Development Company, L.P. Three dimensional scanning system and framework
US20160085312A1 (en) * 2014-09-24 2016-03-24 Ncku Research And Development Foundation Gesture recognition system
WO2016054089A1 (en) 2014-09-29 2016-04-07 Pelican Imaging Corporation Systems and methods for dynamic calibration of array cameras
WO2016095081A1 (en) * 2014-12-15 2016-06-23 Qualcomm Incorporated Line-of-sight searching using raster scan information
US10277203B2 (en) 2015-02-27 2019-04-30 Microchip Technology Germany Gmbh Digital filter with confidence input
US10135424B2 (en) * 2015-02-27 2018-11-20 Microchip Technology Germany Gmbh Digital filter with confidence input
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
US10019657B2 (en) * 2015-05-28 2018-07-10 Adobe Systems Incorporated Joint depth estimation and semantic segmentation from a single image
US10346996B2 (en) 2015-08-21 2019-07-09 Adobe Inc. Image depth inference from semantic labels
US9792671B2 (en) 2015-12-22 2017-10-17 Intel Corporation Code filters for coded light depth acquisition in depth images
US9852495B2 (en) * 2015-12-22 2017-12-26 Intel Corporation Morphological and geometric edge filters for edge enhancement in depth images
TW201742001A (zh) * 2016-05-30 2017-12-01 聯詠科技股份有限公司 影像雜訊估測方法及裝置與影像擷取裝置
US10091435B2 (en) * 2016-06-07 2018-10-02 Disney Enterprises, Inc. Video segmentation from an uncalibrated camera array
EP3267224B1 (de) * 2016-07-06 2019-02-27 Riegl Laser Measurement Systems GmbH Verfahren zur entfernungsmessung
US10839535B2 (en) 2016-07-19 2020-11-17 Fotonation Limited Systems and methods for providing depth map information
US10462445B2 (en) 2016-07-19 2019-10-29 Fotonation Limited Systems and methods for estimating and refining depth maps
US10445861B2 (en) * 2017-02-14 2019-10-15 Qualcomm Incorporated Refinement of structured light depth maps using RGB color data
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
EP3496037A1 (en) 2017-12-06 2019-06-12 Koninklijke Philips N.V. Device, system and method for detecting body movement of a patient
US11119677B2 (en) * 2017-12-15 2021-09-14 Samsung Electronics Co., Ltd. HBM based memory lookup engine for deep learning accelerator
GB2570528B (en) * 2018-06-25 2020-06-10 Imagination Tech Ltd Bilateral filter with data model
CN110956657B (zh) * 2018-09-26 2023-06-30 Oppo广东移动通信有限公司 深度图像获取方法及装置、电子设备及可读存储介质
CN110400342B (zh) * 2019-07-11 2021-07-06 Oppo广东移动通信有限公司 深度传感器的参数调整方法、装置以及电子设备
US11301967B2 (en) 2019-08-27 2022-04-12 Samsung Electronics Company, Ltd. Intelligence-based editing and curating of images
US11818462B2 (en) 2019-08-30 2023-11-14 Qualcomm Incorporated Phase detection autofocus sensor apparatus and method for depth sensing
KR102646521B1 (ko) 2019-09-17 2024-03-21 인트린식 이노베이션 엘엘씨 편광 큐를 이용한 표면 모델링 시스템 및 방법
MX2022004163A (es) 2019-10-07 2022-07-19 Boston Polarimetrics Inc Sistemas y metodos para la deteccion de estandares de superficie con polarizacion.
KR20230116068A (ko) 2019-11-30 2023-08-03 보스턴 폴라리메트릭스, 인크. 편광 신호를 이용한 투명 물체 분할을 위한 시스템및 방법
JP7462769B2 (ja) 2020-01-29 2024-04-05 イントリンジック イノベーション エルエルシー 物体の姿勢の検出および測定システムを特徴付けるためのシステムおよび方法
KR20220133973A (ko) 2020-01-30 2022-10-05 인트린식 이노베이션 엘엘씨 편광된 이미지들을 포함하는 상이한 이미징 양식들에 대해 통계적 모델들을 훈련하기 위해 데이터를 합성하기 위한 시스템들 및 방법들
CN111696057B (zh) * 2020-05-25 2023-06-30 合肥的卢深视科技有限公司 一种深度图像去噪方法及装置
WO2021243088A1 (en) 2020-05-27 2021-12-02 Boston Polarimetrics, Inc. Multi-aperture polarization optical systems using beam splitters
US11445198B2 (en) * 2020-09-29 2022-09-13 Tencent America LLC Multi-quality video super resolution with micro-structured masks
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030020708A1 (en) * 2001-07-23 2003-01-30 Peter-Andre Redert Image processing unit for and method of generating a first output image and a second output image and image display apparatus provided with such an image processing unit
CN101512601A (zh) * 2006-09-04 2009-08-19 皇家飞利浦电子股份有限公司 从图像中确定深度图的方法以及确定深度图的设备
CN101605270A (zh) * 2009-07-16 2009-12-16 清华大学 生成深度图的方法和装置

Family Cites Families (172)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (zh) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
DE69229474T2 (de) 1991-12-03 2000-03-02 French Sportech Corp Interaktives videosystem zur beobachtung und zum training der leistungsfähigkeit einer person
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
JPH0844490A (ja) 1994-07-28 1996-02-16 Matsushita Electric Ind Co Ltd インターフェイス装置
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
WO1996041304A1 (en) 1995-06-07 1996-12-19 The Trustees Of Columbia University In The City Of New York Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two images due to defocus
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
EP0958002A4 (en) 1996-05-08 2001-03-28 Real Vision Corp REAL-TIME SIMULATION USING POSITION DETECTION
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
EP0959444A4 (en) 1996-08-14 2005-12-07 Nurakhmed Nurislamovic Latypov METHOD FOR TRACKING AND REPRESENTING THE POSITION AND ORIENTATION OF A SUBJECT IN THE SPACE, METHOD FOR PRESENTING A VIRTUAL SPACE THEREON, AND SYSTEMS FOR CARRYING OUT SAID METHODS
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
DE69626208T2 (de) 1996-12-20 2003-11-13 Hitachi Europ Ltd Verfahren und System zur Erkennung von Handgesten
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
AU1099899A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6384819B1 (en) 1997-10-15 2002-05-07 Electric Planet, Inc. System and method for generating an animatable character
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
EP1059970A2 (en) 1998-03-03 2000-12-20 Arena, Inc, System and method for tracking and assessing movement skills in multidimensional space
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
DE69936620T2 (de) 1998-09-28 2008-05-21 Matsushita Electric Industrial Co., Ltd., Kadoma Verfahren und Vorrichtung zum Segmentieren von Handgebärden
AU1930700A (en) 1998-12-04 2000-06-26 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
US7202898B1 (en) 1998-12-16 2007-04-10 3Dv Systems Ltd. Self gating photosurface
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
EP1497160B2 (de) 2002-04-19 2010-07-21 IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. Sicherheitsvorrichtung für ein fahrzeug
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
DE602004006190T8 (de) 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
WO2004107266A1 (en) 2003-05-29 2004-12-09 Honda Motor Co., Ltd. Visual tracking using depth data
EP1631937B1 (en) 2003-06-12 2018-03-28 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
KR100524072B1 (ko) * 2003-06-28 2005-10-26 삼성전자주식회사 화질 개선 방법
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
US8134637B2 (en) 2004-01-28 2012-03-13 Microsoft Corporation Method and system to increase X-Y resolution in a depth (Z) camera using red, blue, green (RGB) sensing
US7412110B1 (en) * 2004-01-28 2008-08-12 Adobe Systems Incorporated Using forward and backward kernels to filter images
WO2005104010A2 (en) 2004-04-15 2005-11-03 Gesture Tek, Inc. Tracking bimanual movements
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
CN101137996A (zh) 2005-01-07 2008-03-05 格斯图尔泰克股份有限公司 基于光流的倾斜传感器
JP2008537190A (ja) 2005-01-07 2008-09-11 ジェスチャー テック，インコーポレイテッド 赤外線パターンを照射することによる対象物の三次元像の生成
HUE049974T2 (hu) 2005-01-07 2020-11-30 Qualcomm Inc Képeken lévõ objektumok észlelése és követése
JP5631535B2 (ja) 2005-02-08 2014-11-26 オブロング・インダストリーズ・インコーポレーテッド ジェスチャベースの制御システムのためのシステムおよび方法
US7408627B2 (en) 2005-02-08 2008-08-05 Canesta, Inc. Methods and system to quantify depth data accuracy in three-dimensional sensors using single frame capture
WO2006099597A2 (en) 2005-03-17 2006-09-21 Honda Motor Co., Ltd. Pose estimation based on critical point analysis
KR101403172B1 (ko) 2005-05-17 2014-06-03 퀄컴 인코포레이티드 방위-감응 신호 출력
US7426312B2 (en) * 2005-07-05 2008-09-16 Xerox Corporation Contrast enhancement of images
DE102005034597A1 (de) 2005-07-25 2007-02-08 Robert Bosch Gmbh Verfahren und Anordnung zur Erzeugung einer Tiefenkarte
DE602005010696D1 (de) 2005-08-12 2008-12-11 Mesa Imaging Ag Hochempfindliches, schnelles Pixel für Anwendung in einem Bildsensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
US8577538B2 (en) 2006-07-14 2013-11-05 Irobot Corporation Method and system for controlling a remote vehicle
US8139142B2 (en) * 2006-06-01 2012-03-20 Microsoft Corporation Video manipulation of red, green, blue, distance (RGB-Z) data including segmentation, up-sampling, and background substitution techniques
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
US20080021912A1 (en) 2006-07-24 2008-01-24 The Mitre Corporation Tools and methods for semi-automatic schema matching
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US8180168B2 (en) * 2007-01-16 2012-05-15 Hewlett-Packard Development Company, L.P. One-pass filtering and infrared-visible light decorrelation to reduce noise and distortions
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
EP2128693A1 (en) 2008-05-28 2009-12-02 ETH Zurich Spatially Adaptive Photographic Flash Unit
CN101254344B (zh) 2008-04-18 2010-06-16 李刚 场地方位与显示屏点阵按比例相对应的游戏装置和方法
US8189943B2 (en) * 2009-03-17 2012-05-29 Mitsubishi Electric Research Laboratories, Inc. Method for up-sampling depth images
US8260076B1 (en) * 2009-03-31 2012-09-04 Hewlett-Packard Development Company, L.P. Constant time filtering

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030020708A1 (en) * 2001-07-23 2003-01-30 Peter-Andre Redert Image processing unit for and method of generating a first output image and a second output image and image display apparatus provided with such an image processing unit
CN101512601A (zh) * 2006-09-04 2009-08-19 皇家飞利浦电子股份有限公司 从图像中确定深度图的方法以及确定深度图的设备
CN101605270A (zh) * 2009-07-16 2009-12-16 清华大学 生成深度图的方法和装置

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103503033B (zh) * 2012-05-01 2015-07-08 谷歌公司 基于置信分值来合并三维模型
CN103503033A (zh) * 2012-05-01 2014-01-08 谷歌公司 基于置信分值来合并三维模型
CN104903677A (zh) * 2012-12-17 2015-09-09 Lsi公司 用于将使用不同深度成像技术生成的深度图像合并的方法和装置
CN108702143A (zh) * 2016-07-21 2018-10-23 微晶片科技德国公司 具有置信度输入的数字滤波器
CN108702143B (zh) * 2016-07-21 2023-08-01 微晶片科技德国公司 具有置信度输入的数字滤波器
WO2019011017A1 (zh) * 2017-07-11 2019-01-17 深圳市道通智能航空技术有限公司 噪点处理方法及装置
CN109242782A (zh) * 2017-07-11 2019-01-18 深圳市道通智能航空技术有限公司 噪点处理方法及装置
CN109242782B (zh) * 2017-07-11 2022-09-09 深圳市道通智能航空技术股份有限公司 噪点处理方法及装置
US11238563B2 (en) 2017-07-11 2022-02-01 Autel Robotics Co., Ltd. Noise processing method and apparatus
WO2020063718A1 (zh) * 2018-09-26 2020-04-02 华为技术有限公司 点云编解码方法和编解码器
CN112714925A (zh) * 2018-11-19 2021-04-27 深圳市欢太科技有限公司 图像处理方法、电子设备和计算机可读存储介质
CN110400343B (zh) * 2019-07-11 2021-06-18 Oppo广东移动通信有限公司 深度图处理方法和装置
WO2021004262A1 (zh) * 2019-07-11 2021-01-14 Oppo广东移动通信有限公司 深度图处理方法及装置、电子设备和可读存储介质
WO2021004264A1 (zh) * 2019-07-11 2021-01-14 Oppo广东移动通信有限公司 深度图处理方法和装置、电子设备和可读存储介质
WO2021004263A1 (zh) * 2019-07-11 2021-01-14 Oppo广东移动通信有限公司 深度图处理方法及装置、电子设备和可读存储介质
US11205278B2 (en) 2019-07-11 2021-12-21 Shenzhen Heytap Technology Corp., Ltd. Depth image processing method and apparatus, and electronic device
CN110400338A (zh) * 2019-07-11 2019-11-01 Oppo广东移动通信有限公司 深度图处理方法、装置和电子设备
CN110400338B (zh) * 2019-07-11 2022-02-18 Oppo广东移动通信有限公司 深度图处理方法、装置和电子设备
CN110400340B (zh) * 2019-07-11 2022-03-22 Oppo广东移动通信有限公司 深度图处理方法和装置
CN110400340A (zh) * 2019-07-11 2019-11-01 Oppo广东移动通信有限公司 深度图处理方法和装置
CN110400343A (zh) * 2019-07-11 2019-11-01 Oppo广东移动通信有限公司 深度图处理方法和装置
US11961246B2 (en) 2019-07-11 2024-04-16 Guangdong OPPO Mobile Telecommunications Corp. Ltd Depth image processing method and apparatus, electronic device, and readable storage medium
CN111443357A (zh) * 2020-05-19 2020-07-24 炬佑智能科技(苏州)有限公司 一种测距方法及测距系统

Also Published As

Publication number Publication date
US8885890B2 (en) 2014-11-11
US20110274366A1 (en) 2011-11-10
CN102184531B (zh) 2013-11-27

Similar Documents

Publication Publication Date Title
CN102184531B (zh) 深度图置信过滤
CN102576463B (zh) 用于移除图像的背景的系统和方法
CN102665838B (zh) 用于确定和跟踪目标的肢端的方法和系统
CN102087738B (zh) 用于为目标跟踪处理图像的系统和方法
CN102163324B (zh) 深度图像的去混叠
EP2422319B1 (en) Entertainment device, system, and method
CN102520574B (zh) 飞行时间深度成像
CN105518743B (zh) 深度图像的处理
CN102448562B (zh) 用于跟踪模型的系统和方法
US8929668B2 (en) Foreground subject detection
CN102448563B (zh) 用于处理场景的深度信息的方法和设备
US8611607B2 (en) Multiple centroid condensation of probability distribution clouds
CN102129709A (zh) 可视化深度
CN102448564A (zh) 环境和/或目标分割
CN102541438A (zh) 集成话音命令模态的用户界面
CN102135882A (zh) 语音-身体身份相关
CN102549619A (zh) 人类跟踪系统
CN102222329A (zh) 深度检测的光栅扫描
CN102253712A (zh) 用于共享信息的识别系统
CN107077730A (zh) 基于剪影的肢寻找器确定

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150512

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150512

Address after: Washington State

Patentee after: MICROSOFT TECHNOLOGY LICENSING, LLC

Address before: Washington State

Patentee before: Microsoft Corp.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20131127