CN102681293B

CN102681293B - 具有折射光学元件的照明器

Info

Publication number: CN102681293B
Application number: CN201210056397.7A
Authority: CN
Inventors: A·佩尔曼; D·科恩; G·叶海弗
Original assignee: Microsoft Technology Licensing LLC
Current assignee: Microsoft Technology Licensing LLC
Priority date: 2011-03-07
Filing date: 2012-03-06
Publication date: 2016-08-31
Anticipated expiration: 2032-03-06
Also published as: CN102681293A; US9551914B2; US20120229611A1; HK1173785A1

Abstract

本发明涉及具有折射光学元件的照明器。提供了一种照明系统，其具有补偿光电传感器所捕捉的物体的图像的辐照度的依赖性的折射光学元件。折射光学元件可以将光结构化，使得该相机的视野内的相同球面处的相似物体在相机光电传感器上具有相同的辐照度。该照明系统可以包括图像传感器、光源以及折射光学元件。该图像传感器具有捕捉视野中的物体的图像的光电传感器。由光电传感器所捕捉的具有给定出射度的物体的图像的辐照度可以依赖于同该图像传感器的光轴的角位移。折射光学元件接结构化来自光源的光以照明视野以补偿辐照度对同光轴的角位移的依赖性。

Description

具有折射光学元件的照明器

技术领域

本发明涉及具有折射光学元件的照明器。

背景技术

相机光电传感器所收集和成像的电磁辐射(例如光)的量可能依赖于物体在相机的视野(FOV)中的位置。简言之，处于相机的光轴上的物体可能在其他因素都相同的情况下在该相机的光电传感器看来比离轴的物体更明亮。术语“辐照度”统指入射到诸如光电传感器之类的表面上的电磁辐射。术语“辐射出射度(exitance)”或“辐射发射度(emittance)”统指从物体射出(例如，反射)的电磁辐射。辐照度以及出射度可以每秒针对每单位面积进行测量。对于相对于相机的光轴具有角位移“θ”的物体而言，辐照度一般而言可以按cos⁴θ减小。

对于各种应用而言可能有利的是，处于由相机成像的场景中的物体与角位移θ无关地在相机光电传感器上具有基本上相同的辐照度。例如，飞行时间(TOF)三维(3D)相机通过对该相机发射的光传播到该相机所成像的场景中的物体并回到该相机要花费多少时间进行计时来确定与该物体相距的距离。对于一些系统而言，照明系统以非常短的光脉冲将光发射到物体。相机对被物体反射并且被光电传感器收集的光进行成像以确定光的往返传播时间。精确的距离测量依赖于与光电传感器所捕捉的物体的图像相关联的辐照度。此外，精确度可以随着辐照度上升而改善。

发明内容

提供了一种照明系统，其具有补偿光电传感器所捕捉的物体的图像的辐照度的依赖性的折射光学元件。具有给定出射度的物体的图像的辐照度可以依赖于同光轴的角位移。折射光学元件可以用在诸如飞行时间(TOF)相机之类的成像设备中。折射光学元件可以将光结构化，使得该相机的视野内的相同球面中的相似物体在相机光电传感器上具有相同的辐照度。

一个实施例是一种包括图像传感器、光源以及折射光学元件的照明系统。该图像传感器具有捕捉视野中的物体的图像的光电传感器。由光电传感器所捕捉的具有给定出射度的物体的图像的辐照度依赖于同该图像传感器的光轴的角位移。折射光学元件接收来自光源的光，并且将该光结构化以照射视野以补偿辐照度对同光轴的角位移的依赖性。

一个实施例是一种包括图像传感器、光源、准直器以及折射漫射器的深度相机系统。光电传感器捕捉视野中的物体的图像。准直器将来自光源的光准直化。折射漫射器接收来自光源的光并且根据1/cos⁴θ将视野内的光结构化，其中θ是同该图像传感器的光轴的角位移。该深度相机系统还具有用于基于光电传感器所接收的光来生成深度图像的逻辑。

一个实施例是一种用于生成深度图像的方法，该方法包括以下步骤。使用折射漫射器将光折射到视野中的物体上。在具有光轴的光电传感器处捕捉从该视野中的物体反射的光。由该光电传感器所捕捉的具有给定出射度的物体的图像的辐照度依赖于同该光轴的角位移。折射该光包括：结构化该光以补偿辐照度对同该光轴的角位移的依赖性。基于所捕捉的光生成深度图像。

提供本发明内容以便以简化形式介绍将在以下的具体实施方式中进一步描述的一些概念。本发明内容并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于限定所要求保护的主题的范围。

附图说明

在附图中，相同编号的元件彼此对应。

图1示出了图像相机组件内的图像传感器的一个实施例。

图2A示出了图像相机组件内的照明器的一个实施例。

图2B示出了由照明器的一个实施例创建的照明强度。

图3A描绘了具有一对透镜阵列的折射漫射器的侧视图。

图3B描绘了图3A的透镜阵列之一的前视图。

图3C描绘了基于微透镜阵列的折射漫射器的侧视图。

图3D示出了透镜的位置与图3A相比具有不同取向的一个实施例。

图3E示出了两个透镜阵列处于单个透镜的相对侧的一个实施例。

图4A描绘了准直器的一个实施例。

图4B描绘了准直器的另一实施例。

图5描绘了运动捕捉系统的示例性实施例。

图6描绘了图5的运动捕捉系统的示例性框图。

图7是用于生成深度图像的过程的一个实施例的流程图。

图8描绘了可以在图5的运动捕捉系统中使用的计算环境的示例框图。

图9描绘了可以在图5的运动捕捉系统中使用的计算环境的另一个示例框图。

具体实施方式

公开了一种具有折射光学元件的照明器。该照明器可以用在相机或具有光电传感器的其他设备中，或者与其结合使用。该折射光学元件可以被配置为以补偿光电传感器所捕捉的图像的辐照度与角位移相关的依赖性方式来照射该相机的视野(FOV)。具体而言，具有相同出射度的物体的图像的辐照度可以依赖于该物体同光轴的角位移。在一些实施例中，折射光学元件是折射漫射器，其将光结构化为随着同相机的光轴的角位移增加而具有增加的强度。增加的强度可以补偿辐照度对角位移的依赖性。

图1示出了图像相机组件22内的图像传感器26的一个实施例。相机传感器26包括光电传感器5和聚焦透镜7。注意，图像相机组件22还可以包括可以照明FOV的照明器。图2A示出了图像相机组件22内的照明器24的一个实施例。注意，照明器24和图像传感器26二者都可以存在于同一图像相机组件22中。然而，不绝对要求照明器24和图像传感器26被容纳在同一设备内。出于讨论的目的，将首先讨论图1的图像传感器26。在一些实施例中，图像相机组件22是深度相机系统的一部分，该深度相机系统的示例将在下面予以描述。然而，图像相机组件22可以使用采用光电传感器5的其他设备。

相对于其他附图，图1不一定是以正确比例示出的。一般而言，从FOV中的物体15a、15b所反射的光由透镜7聚焦到光电传感器5上。为了便于演示，FOV中的与相机组件的光轴9垂直的平面表面3被称为“FOV成像平面”。类似地，相机组件22的FOV中的中心处于相机组件22的光学中心处的球面11被称为“FOV成像球面。”

如所述那样，物体的辐照度可以依赖于其在FOV中的位置。例如，物体15a被描绘为处于光轴9上，而物体15b被描绘为离开光轴大致角度θ。然而，二者都处于球面11上，并且因此与相机组件22相距相同的距离。如果为辩论起见，物体15a和15b的出射度是相同的，则由光电传感器5捕捉的物体15b的图像的辐照度可能显著低于物体15a的图像的辐照度。换言之，对于光电传感器5而言，物体15b的图像将比物体15a的图像的强度更低。辐照度可以随着同光轴9的角位移θ而下降。在一些情况下，该下降可以是大约cos⁴θ。

在FOV成像球面11的左边示出了表示R(θ)＝cos⁴θ的虚线曲线61。如所述那样，辐照度的下降可以是大约cos⁴θ，其中θ是相对于光轴9的角位移。标签“下降的辐照度”是为了表示在光电传感器5处捕捉的物体的图像在远离光轴9的情况下具有下降的辐照度。因此，下降的辐照度是参照光电传感器5所捕捉的图像而言的。因此注意，下降的辐照度不是参照FOV中的物体15的出射度而言的。

对于各个应用有利的可能是，实际上具有相同出射度的物体与同光轴9的角位移无关地在相机光电传感器上具有基本上相同的辐照度。例如，飞行时间(TOF)三维(3D)相机通过对该相机发射的光传播到该相机所成像的场景中的特征并回到该相机要花费多少时间进行计时来提供与该特征相距的距离。对于一些技术而言，飞行时间实际上基于光的强度，这将在下面的讨论中予以解释。

为了对光传播进行计时，该照明系统可以将多个非常短的光脉冲发射到FOV中。这些光脉冲从物体15反射离开并且回到图像传感器26，该图像传感器26在某个时间段内捕捉该光。光电传感器5可以包括像素阵列，每个像素都生成光强值。每个像素都表示FOV中的不同位置。然后，光脉冲的飞行时间可以基于每个像素处的光强来确定。由于飞行时间依赖于光强，能够精确地补偿辐照度对同光轴9的角位移的依赖性可以允许精确得多地确定与物体15相距的距离。

因此，精确确定到物体15的距离测量可能依赖于与光电传感器5所捕捉的物体的图像相关联的辐照度。

此外，距离测量的精确确定可能随着辐照度的增加而改善。

此外，能够用较高的光强来照明FOV可以改善距离确定。

如前面所暗示的那样，对于3D TOF相机的应用(比如涉及姿势识别、和/或将计算机与同时在运行在该计算机上的相同计算机游戏中交互的人对接的应用)而言，通常有利的可能是，处于相机的FOV中的相同平面3或球面11中的物体在相机光电传感器上具有相同的辐照度。

为了补偿辐照度与同光轴9的角位移的依赖性，照明系统可以被配置为随着同光轴9的角位移θ增加而增加照明。结果，同光轴9具有更大角位移的物体15可以被用更强的光照明，使得它们具有更大的出射度。作为一个示例，照明器可以用比物体15a更大的光强来照明物体15b以增加物体15a的出射度。在一个实施例中，照明系统用具有与1/cos⁴θ基本上成比例的强度的光来照明相机的FOV。因此，照明系统可以补偿可能与cos⁴θ成比例的辐照度的前述依赖性，其中θ是同光轴9的角位移。然而，注意，在FOV之外，光强可能是非常低的，使得能量未被浪费。

图2A示出了具有照明器24的图像相机组件22的一个实施例。在该实施例中，照明器24具有光源24、准直器25、以及折射光学元件40。在一些实施例中，折射光学元件40也可以被称为折射漫射器。折射光学元件40可以接收来自光源23的光，并且将该光结构化以照明FOV以补偿辐照度对同光轴的角位移的依赖性。也就是说，折射光学元件40可以随着对象同光轴(比如图1的光轴9)的角度增加而补偿光电传感器5所捕捉的物体图像的辐照度的依赖性。

在图2A的实施例中，准直器25处于折射光学元件40与光源24之间。然而，折射光学元件40可以位于光源24与准直器25之间。尽管准直器25和折射光学元件40在图2的实施例中被描绘成分开的物理元件，但是在其他实施例中，它们形成一个集成的组件。尽管未在图2A中明确示出，但是图像相机组件22可以具有光电传感器(比如图1的光电传感器5)。

曲线62表示照明器24所提供的光的强度。曲线62旨在示出：照明器24所提供的光的强度随着同照明轴109的角位移增加而增加。例如，FOV内的最低光强可以沿着照明轴109。光强可以在FOV内随着同照明轴109的角位移更大而增加。因此，物体15b可以被用比物体15a更大的强度照明。因此，物体15b可以在其他因素相等的情况下具有比物体15a更大的出射度。然而，注意，在FOV之外，光强可能是非常低的，使得能量未被浪费于照明不必要的地方。作为一个示例，折射光学元件40可以具有约为95％的光效率。

图2B示出了与同光轴的角位移有关的相对照明强度的图形化表示。该强度可以是针对与照明器24相距某个任意距离的球面11而言的。在该示例中，FOV的范围可以是从-30到+30度。在该范围内，光强可以为大致1/cos4θ。然而，在该范围之外，光强可以非常迅速地下降。注意，FOV之外的光下降仅仅是一个示例，并且相对照明强度可以在FOV之外具有显著不同的形状。

再次参考图2A，照明器24被配置为照明FOV以为在FOV中位于FOV成像球面11上的物体的图像补偿辐照度对角位移θ的依赖性。在FOV成像球面11的左边示出了表示R(θ)＝cos⁴θ的虚线曲线61。曲线61还参照图1予以示出和讨论。如所述那样，辐照度的下降可以是大约cos⁴θ，其中θ是相对于光轴9的角位移。

接着将讨论折射光学元件40的某个示例。在一个实施例中，折射漫射器40包括一对透镜阵列43。图3A描绘了具有一对透镜阵列43的折射漫射器40的侧视图。图3B描绘了图3A的透镜阵列43之一的前视图。每个透镜阵列43都具有透镜42。作为一个示例，透镜42可以直径为大约几百微米，然而，透镜42可以具有更大或更小的直径。透镜42还可以被称为小透镜(lenslet)。

现在参考图3A，折射光学元件40可以包括两个透镜43a、43b，每个透镜都容纳透镜42的一个阵列。经准直化的光束在透镜43a处被接收并且穿过透镜43a中的小透镜42。在该实施例中，小透镜42被描绘为具有凸面，但是诸如凹进之类的其他选项是可能的。在被透镜43a中的小透镜42折射以后，光线在进入透镜43b中的小透镜42以前穿过间隙。该间隙可以是气隙，但是该间隙可以由气体以外的物质形成。然后，光线传入透镜43b上的小透镜42的凸面中。因此，该光线可以再次被折射。然后，该光线从透镜43b中传出。两个示例性光线被示为从透镜43b发散。如上所述，折射光学元件40可以以补偿辐照度对角位移的依赖性的方式来将光结构化。在一些实施例中，折射光学元件40可以将光漫射得使得其强度随着同照明轴的角位移更大而更高。然而，在FOV之外，光强可以显著地降低，使得能量未被浪费。

现在参考图3B，一个透镜43的前视图示出了：在该实施例中，透镜42的阵列可以具有矩形形状。然而，其他形状是可能的。如上所述，透镜42的一个表面可以具有凸出形状。透镜42的相对的表面可以具有多种形状。在一个实施例中，该相对的表面是基本上平坦的。

注意，透镜42不需要全部都为相同的曲率、大小和/或形状。在一些实施例中，阵列中的透镜42具有多种不同的曲率。因此，不同的小透镜42可以以不同的角度折射光。在一些实施例中，阵列中的透镜42具有多种不同的形状。例如，一些小透镜42可能为矩形的，其他为三角形的，等等。在一些实施例中，阵列中的透镜42具有多种不同的大小。图3C描绘了其中透镜42具有不同曲率以及不同大小的折射光学元件40的一个实施例。图3C中的透镜42可以直径为几十微米，然而，透镜42可以具有更大或更小的直径。图3C中的透镜42可以被称为微透镜。在一个实施例中，照明强度是通过选择合适的多个透镜曲率、大小和/或形状来创建的。注意，可以使用这些或其他属性中的一个或多个来生成所期望的照明强度谱。

图3A示出了：一个阵列41的透镜42朝向另一阵列41的透镜42。然而，其他配置是可能的。例如，可能如图3C中那样仅仅存在透镜42的单个阵列。在这种情况下，折射光学元件40可以看上去更像透镜43a或43b任一。而且，可以存在小透镜的两个以上的阵列41。例如，可能存在三个阵列41、四个阵列41、等等。

另一可能的变型方案是颠倒透镜43a、43b的位置。图3D示出了其中透镜43a、43b的位置与图3A相比具有不同取向的一个实施例。图3E示出了其中透镜42的两个阵列41处于单个透镜43的相对侧的一个实施例。

图4A和4B描绘了照明器24的两个其他实施例。每个照明器24都具有光源23、折射光学元件40以及准直器25。在图4A中，在设备的输入处可以存在折射光学元件40，该折射光学元件40折射来自光源23的非准直化的光。准直器25通过内反射将光准直化。该净效应是产生经结构化的光输出，该光输出补偿在此所述的辐照度的依赖性。从准直器25内部的光束可以得知，一些光束被折射光学元件40向准直器25的内壁折射，并且可以从准直器25的内壁反射离开。这些经内反射的光束可以用于将光准直化。其他光束可以被折射光学元件40折射并穿过准直器25，而没有进一步的反射。如果期望对光束进行其它折射以合适地结构化光，则该设备可以在输出侧具有透镜42。

图4B的实施例具有在输出处具有微透镜阵列的准直器25。准直器25可以接收来自光源23的非准直化的光。因此，到光到达折射光学元件40的时间为止，该光可能已经被准直化。在该实施例中，折射元件40中的微透镜不是大小统一的。也就是说，一些微透镜比其他微透镜更大，而另一些更小。而且，这些微透镜具有彼此不同的曲率。因此，微透镜的折射率可以彼此不同。注意，大小和/或曲率的模式可以是规则模式或者可以以某种方式为随机或不规则的。从图4B中可以得知，该模式可以是不规则的。

图3-4的示例性折射光学元件是出于图解说明的目的而呈现的。可以使用大量其他配置。一般而言，折射光学元件40可以被配置为将来自将准直化的射束26的光进行分布，使得来自该射束的非常少的光传播到FOV之外，并且FOV中的光的强度反比于为FOV中的物体实现的辐照度对所述物体的角位移的依赖性。

如上所述，对于3D TOF相机的应用(比如涉及姿势识别、和/或将计算机与同时在运行在该计算机上的相同计算机游戏中交互的人对接的应用)而言，有利的可能是，处于相机的FOV中的相同平面或球面中的物体在相机光电传感器上具有相同的辐照度。

在一些实施例中，折射漫射器40用在运动捕捉系统10中。运动捕捉系统获取关于物理空间中的人体或其他物体的位置及运动的数据，并且可以使用该数据作为计算系统中的应用程序的输入。可以有许多应用，例如用于军事、娱乐、体育和医学目的。例如，可以将人的运动映射到三维(3-D)人骨架模型，并用于创建动画化的人物或化身。运动捕捉系统可包括包含使用可见和不可见(例如，红外)光的系统在内的光学系统，运动捕捉系统使用相机来检测视野中的人的存在。通常，运动捕捉系统包括照明视野的照明器、以及感测来自视野的光以形成图像的图像传感器。

图5描绘了运动捕捉系统10的示例实施例，其中，人8如在用户的家中与应用程序进行交互。运动捕捉系统10包括显示器196、深度相机系统20、以及计算环境或装置12。深度相机系统20可包括图像相机组件22，其具有诸如红外线(IR)发射器之类的照明器24、诸如红外相机之类的图像传感器26、以及红-绿-蓝(RGB)相机28。人8，也被称为用户或玩家，站在深度相机的视野6内。线2和4表示视野6的边界。

照明器24可以将该光结构化，使得光强随着同光轴9的角位移增加而增加。准直器24可以如已经讨论的那样将该光结构化为使得补偿辐照度对角位移的依赖性。注意，光强可以在FOV 30之外非常低。在该示例中，光轴9与图像传感器26对准。照明器24可以具有不一定精确地与光轴9对准的照明轴(图5中未示出)。

在此示例中，深度相机系统20以及计算环境12提供应用程序，其中，显示器196上的化身197追踪人8的移动。例如，当人抬起手臂时，化身可以抬起手臂。化身197站在3-D虚拟世界的公路198上。可以定义笛卡儿世界坐标系，其包括：沿着深度相机系统20的焦距例如水平地延伸的z轴；垂直地延伸的y轴；以及侧向地且水平地延伸的x轴。注意，因为显示器196在y轴方向垂直地延伸，且z轴从深度相机系统垂直于y轴和x轴并平行于用户8所站立的地面地伸出，附图的透视被修改为简化。

一般而言，运动捕捉系统10被用来识别、分析、和/或跟踪一个或多个人目标。计算环境12可包括计算机、游戏系统或控制台等等，以及执行应用的硬件组件和/或软件组件。

深度相机系统20可包括被用来在视觉上监视一个或多个诸如人8之类的人的相机，以便可以捕捉、分析、以及跟踪由人执行的姿势和/或移动，以在应用程序内执行一个或多个控制或动作，如动画化化身或屏幕上人物或选择用户界面(UI)中的一个菜单项。

运动捕捉系统10可以连接到诸如显示器196之类的视听设备，例如，电视机、监视器、高清晰度电视机(HDTV)等等，或者甚至向用户提供视觉和音频输出的墙或其他表面上的投影。还可以经由单独的设备来提供音频输出。为驱动显示器，计算环境12可包括提供与应用相关联的视听信号的诸如图形卡之类的视频适配器和/或诸如声卡之类的音频适配器。显示器196可以通过例如S-视频电缆、同轴电缆、HDMI电缆、DVI电缆、VGA电缆等等连接到计算环境12。

可以使用深度相机系统20来跟踪人8，以使得用户的姿势和/或移动被捕捉并用于动画化化身或屏幕上人物，和/或被解释为对正在由计算机环境12执行的应用程序的输入控制。

人8的一些移动可被解释为可对应于除了控制化身之外的动作的控制。例如，在一个实施方式中，玩家可以使用运动来结束、暂停或保存游戏，选择级别，查看高分，与朋友进行交流等等。玩家可以使用移动来从主用户界面中选择游戏或其他应用，或以别的方式导航选项菜单。如此，可以有人8的全套运动可用，可使用它们，并以任何合适的方式分析它们，以与应用程序进行交互。

运动捕捉系统10还可以用于将目标移动解释成处于游戏或旨在娱乐和休闲的其他应用的领域之外的操作系统和/或应用控制。例如，操作系统和/或应用程序的实质上任何可控方面都可以由人8的移动来控制。

图6描绘了图5的运动捕捉系统10的示例性框图。深度相机系统20可以被配置为通过任何合适的技术捕捉带有深度信息(包括可以包括深度值的深度图像)的视频，这些技术包括例如飞行时间、结构化光、立体图像等等。深度相机系统20可将深度信息组织为“Z层”，即可与从深度相机沿其视线延伸的Z轴垂直的层。

深度相机系统20可包括图像相机组件22，该图像相机组件22捕捉物理空间中的场景的深度图像。深度图像可包括所捕捉的场景的二维(2-D)像素区域，其中2-D像素区域中的每一像素都可具有表示与图像相机组件22的直线距离的相关联的深度值，从而提供3-D深度图像。

图像相机组件22可包括诸如红外线(IR)发射器24之类的照明器24、诸如红外相机之类的图像传感器26、以及红-绿-蓝(RGB)相机28，它们可以用于捕捉场景的深度图像或者为其他应用提供附加的相机。照明器24可以被配置为补偿图像传感器26所捕捉的物体的辐照度的依赖性。因此，照明器24可以具有诸如、但不限于此处任何示例的折射光学元件40。

通过红外发射器24和红外像机26的组合来形成3-D深度照像机。例如，在飞行时间分析中，照明器24可以将红外光发射到物理空间上，并且图像传感器26检测从物理空间中的一个或多个目标和物体的表面反向散射的光。在某些实施方式中，可以使用脉冲式红外光，从而可以测量出射光脉冲和相应的入射光脉冲之间的时间差并将其用于确定从深度相机系统20到物理空间中的目标或物体上的特定位置的物理距离。可将入射光波的相位与出射光波的相位进行比较来确定相移。然后可以使用该相移来确定从深度相机系统到目标或物体上的特定位置的物理距离。

也可使用飞行时间分析，通过经由包括例如快门式光脉冲成像的各种技术来分析反射光束随时间的强度变化以间接地确定从深度相机系统20到目标或物体上的特定位置的物理距离。

在另一示例实施方式中，深度相机系统20可使用结构化光来捕捉深度信息。在这样的分析中，图案化光(即，被显示成诸如网格图案或条纹图案等已知图案的光)可以通过例如照明器24被投影到场景上。在落到场景中的一个或多个目标或物体的表面上以后，作为响应，图案可以变为变形的。图案的这种变形可由例如图像传感器26和/或RGB相机28来捕捉，然后可被分析以确定从深度相机系统到目标或物体上的特定位置的物理距离。

深度相机系统20还可以包括话筒30，其包括例如接收声波并将其转换成电信号的换能器或传感器。另外，话筒30可用于接收也可由人提供的诸如声音之类的音频信号，以控制可由计算环境12运行的应用程序。音频信号可包括人的口声，如说的话、口哨声、喊声及其他发声，以及非口声，如掌声或跺脚。

深度相机系统20可包括与3-D深度相机22进行通信的处理器32。处理器32可包括可执行指令的标准化处理器、专用处理器、微处理器等，这些指令可包括例如用于接收深度图像的指令；用于基于深度图像来生成体元网格的指令；用于移除体元网格中所包括的背景以隔离与人类目标相关联的一个或多个体元的指令；用于确定被隔离的人类目标的一个或多个肢端的位置或定位的指令；用于基于一个或多个肢端的位置或定位来调整模型的指令；或任何其他合适的指令，下面将对它们进行更详细的描述。

深度相机系统20还可以包括存储器组件34，该存储器组件34可以存储可以由处理器32执行的指令，以及存储由3-D像机或RGB像机捕捉到的图像或图像的帧，或任何其他合适的信息、图像等等。根据一个示例实施方式，存储器组件34可包括随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、闪存、硬盘或任何其他合适的有形计算机可读存储组件。存储器组件34可以是经由总线21与图像捕捉组件22和处理器32通信的单独的组件。根据另一实施例，存储器组件34可被集成到处理器32和/或图像捕捉组件22中。

深度相机系统20可以通过通信链路36与计算环境12进行通信。通信链路36可以是有线和/或无线连接。根据一个实施方式，计算环境12可以经由通信链路36向深度相机系统20提供时钟信号，该时钟信号指出何时从位于深度相机系统20的视野中的物理空间捕捉图像数据。

另外，深度相机系统20可以通过通信链路36向计算环境12提供深度信息和由例如图像传感器26和/或RGB相机28捕捉到的图像，和/或可以由深度相机系统20所生成的骨架模型。然后，计算环境12可以使用模型、深度信息、以及捕捉到的图像来控制应用程序。例如，如图2所示，计算环境12可包括诸如姿势过滤器的集合之类的姿势库190，每一个过滤器都具有关于可以由骨架模型(随着用户移动)执行的姿势的信息。例如，可以为各种手势(如手的划动或投掷)提供姿势过滤器。通过将检测到的运动与每一个过滤器进行比较，可以标识由人执行的指定的姿势或运动。还可以确定执行动作的程度。

可以将由深度相机系统20以骨架模型的形式捕捉的数据以及与它相关联的移动与姿势库190中的姿势过滤器进行比较，以标识(如由骨架模型所表示的)用户何时执行了一个或多个特定移动。那些移动可以与应用程序的各种控制相关联。

计算环境也可以包括处理器192，其用于执行存储在存储器194中的指令，以向显示设备196提供音频-视频输出信号，并实现如此处所描述的其他功能。

图7是用于生成深度图像的过程700的一个实施例的流程图。该过程可以在诸如图5和6的示例之类的深度相机中执行。在过程700，可以使用具有折射光学元件40的照明器24。因此，可以补偿辐照度对角位移的依赖性。步骤702包括：使用折射漫射器40将光折射到视野中的物体上。步骤702可以包括：结构化该光以补偿辐照度对角位移的依赖性。在一个实施例中，步骤702包括：发射光(例如IR)脉冲序列。

步骤704包括：在光电传感器5处捕捉从该视野中的物体15反射的光。光电传感器5所捕捉的物体的图像的辐照度可以依赖于角位移。如在此所述的那样，如果两个物体具有相同的出射度，则与光轴相距更远的物体的图像的辐照度可能更低。如所述那样，步骤702可以结构化该光以补偿辐照度对角位移的该依赖性。在一些实施例中，步骤704包括：在某个预先确定的时间段内捕捉IR脉冲的反射。例如，光电传感器5可以被开闭快门(shuttered)，使得该光电传感器被允许在某个预先确定的时间段内收集光并且在某个预先确定的时间段内被遮挡而不能接收光。

步骤706包括：基于所捕捉的光来生成深度图像。深度图像可以包含深度值(例如与FOV中的物体相距的距离)。深度图像可包括所捕捉的场景的二维(2-D)像素区域，其中该2-D像素区域中的每个像素具有代表距离图像相机组件22的线性距离(径向距离)的或由像素观察的3D位置的Z分量(垂直距离)的相关联的深度值。在一些实施例中，步骤706包括：分析光电传感器5的每个像素的亮度值。由于折射光学元件40补偿辐照度与角位移相关的依赖性，因此深度图像的确定得到改善。

图8描绘了可以在图5的运动捕捉系统中使用的计算环境的示例框图。可以使用计算环境来解释一个或多个姿势或其他移动，并作为响应，更新显示器上的视觉空间。上文所描述的诸如计算环境12等的计算环境可包括诸如游戏控制台等的多媒体控制台100。多媒体控制台100包括具有1级高速缓存102、2级高速缓存104和闪存ROM(只读存储器)106的中央处理单元(CPU)101。一级高速缓存102和二级高速缓存104临时存储数据，并且因此减少存储器访问周期的数量，由此改进处理速度和吞吐量。CPU 101可被提供为具有一个以上的核，并且由此具有附加的一级高速缓存102和二级高速缓存104。诸如闪存ROM之类的存储器106可存储当多媒体控制台100通电时在引导过程的初始阶段期间加载的可执行代码。

图形处理单元(GPU)108和视频编码器/视频编解码器(编码器/解码器)114形成用于高速和高分辨率图形处理的视频处理流水线。经由总线从图形处理单元108向视频编码器/视频编解码器114运送数据。视频处理流水线向A/V(音频/视频)端口140输出数据，用于传输至电视或其他显示器。存储器控制器110连接到GPU 108，以便于处理器对各种类型的存储器112，比如RAM(随机存取存储器)的处理器访问。

多媒体控制台100包括优选地在模块118上实现的I/O控制器120、系统管理控制器122、音频处理单元123、网络接口124、第一USB主控制器126、第二USB控制器128以及前面板I/O子部件130。USB控制器126和128用作外围控制器142(1)-142(2)、无线适配器148、以及外置存储器设备146(例如，闪存、外置CD/DVD ROM驱动器、可移动介质等)的主机。网络接口(NW IF)124和/或无线适配器148提供对网络(例如，因特网、家庭网络等)的访问并且可以是包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等的各种不同的有线或无线适配器组件中任何一种。

提供系统存储器143来存储在引导过程期间加载的应用数据。提供了媒体驱动器144，其可以包括DVD/CD驱动器、硬盘驱动器、或其他可移动媒体驱动器。媒体驱动器144可内置或外置于多媒体控制台100。应用数据可经由媒体驱动器144访问，以供多媒体控制台100执行、回放等。媒体驱动器144经由诸如串行ATA总线或其他高速连接等总线连接到I/O控制器120。

系统管理控制器122提供与确保多媒体控制台100的可用性相关的各种服务功能。音频处理单元123和音频编解码器132形成具有高保真度和立体声处理的相应音频处理流水线。音频数据经由通信链路在音频处理单元123与音频编解码器132之间传输。音频处理流水线将数据输出到A/V端口140，以供外置音频播放器或具有音频能力的设备再现。

前面板I/O子部件130支持暴露在多媒体控制台100的外表面上的电源按钮150和弹出按钮152、以及任何LED(发光二极管)或其他指示器的功能。系统供电模块136向多媒体控制台100的组件供电。风扇138冷却多媒体控制台100内的电路。

CPU 101、GPU 108、存储器控制器110、以及多媒体控制台100内的各种其他组件经由一条或多条总线互连，该总线包括串行和并行总线、存储器总线、外围总线、以及使用各种总线体系结构中的任一种的处理器或局部总线。

当多媒体控制台100通电时，应用数据可从系统存储器143加载到存储器112和/或高速缓存102、104中并在CPU 101上执行。应用可在导航到多媒体控制台100上可用的不同媒体类型时呈现提供一致的用户体验的图形用户界面。在操作中，媒体驱动器144中所包含的应用和/或其他媒体可从媒体驱动器144启动或播放，以将附加功能提供给多媒体控制台100。

多媒体控制台100可通过简单地将该系统连接到电视机或其他显示器而作为独立系统来操作。在该独立模式中，多媒体控制台100允许一个或多个用户与该系统交互、看电影、或听音乐。然而，在通过网络接口124或无线适配器148可用的宽带连接集成的情况下，多媒体控制台100还可作为更大网络社区中的参与者来操作。

当多媒体控制台100通电时，可以保留指定量的硬件资源以供多媒体控制台操作系统作系统使用。这些资源可包括存储器的保留量(诸如，16MB)、CPU和GPU周期的保留量(诸如，5％)、网络带宽的保留量(诸如，8kbs)，等等。因为这些资源是在系统引导时间保留的，所保留的资源从应用的视角而言是不存在的。

具体而言，存储器保留量优选地足够大，以包含启动内核、并发系统应用程序和驱动程序。CPU保留量优选地为恒定，使得若所保留的CPU用量不被系统应用使用，则空闲线程将消耗任何未使用的周期。

对于GPU保留，通过使用GPU中断来调度代码以将弹出窗口呈现为覆盖图，从而显示由系统应用程序生成的轻量消息(例如，弹出窗口)。覆盖图所需的存储器量取决于覆盖区域大小，并且覆盖图优选地与屏幕分辨率成比例缩放。在并发系统应用使用完整用户界面的情况下，优选使用独立于应用分辨率的分辨率。定标器可用于设置该分辨率，从而无需改变频率和引起TV重新同步。

在多媒体控制台100引导且系统资源被保留之后，执行并发系统应用来提供系统功能。系统功能被封装在上述所保留的系统资源内执行的一组系统应用中。操作系统内核标识出作为系统应用线程或者游戏应用线程的线程。系统应用优选地被调度为在预定时间并以预定时间间隔在CPU 101上运行，以便提供对应用而言一致的系统资源视图。调度是为了使在控制台上运行的游戏应用的高速缓存分裂最小化。

当并发系统应用需要音频时，由于时间敏感性而将音频处理异步地调度给游戏应用。多媒体控制台应用管理器(如下所描述的)在系统应用活动时控制游戏应用的音频级别(例如，静音、衰减)。

输入设备(例如，控制器142(1)和142(2))由游戏应用和系统应用共享。输入设备不是保留资源，而是在系统应用和游戏应用之间切换以使其各自具有设备的焦点。应用管理器较佳地控制输入流的切换，而无需知晓游戏应用的知识，并且驱动程序维护有关焦点切换的状态信息。控制台100可以从图6的包括照像机26和28的深度相机系统20接收附加的输入。

图9描绘了可以在图5的运动捕捉系统中使用的计算环境的另一个示例框图。在运动捕捉系统中，可以使用计算环境来确定深度图像以及解释一个或多个姿势或其他移动，并作为响应，更新显示器上的视觉空间。计算环境220包括通常包括各种有形计算机可读存储介质的计算机241。这可以是能由计算机241访问的任何可用介质，而且包含易失性和非易失性介质、可移动和不可移动介质。系统存储器222包括易失性和/或非易失性存储器形式的计算机存储介质，如只读存储器(ROM)223和随机存取存储器(RAM)260。包含诸如在启动期间帮助在计算机241内的元件之间传输信息的基本例程的基本输入/输出系统224(BIOS)通常储存储在ROM 223中。RAM 260通常包含处理单元259可立即访问和/或当前正在操作的数据和/或程序模块。图形接口231与GPU229进行通信。作为示例而非限制，图4描绘了操作系统225、应用程序226、其他程序模块227，以及程序数据228。

计算机241也可以包括其他可移动/不可移动、易失性/非易失性计算机存储介质，例如，读写不可移动、非易失性磁性介质的硬盘驱动器238，读写可移动、非易失性磁盘254的磁盘驱动器239，以及读写诸如CD ROM或其他光学介质之类的可移动、非易失性光盘253的光盘驱动器240。可以在该示例性操作环境中使用的其他可移动/不可移动、易失性/非易失性有形计算机可读存储介质包括但不限于，磁带盒、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等等。硬盘驱动器238通常由例如接口234等不可移动存储器接口连接至系统总线221，而磁盘驱动器239和光盘驱动器240通常由例如接口235等可移动存储器接口连接至系统总线221。

上文所讨论的并且在图9中所描绘的驱动器以及其相关联的计算机存储介质为计算机241提供了计算机可读指令、数据结构、程序模块及其他数据的存储。例如，硬盘驱动器238被描绘为存储了操作系统258、应用程序257、其他程序模块256、以及程序数据255。注意，这些组件可与操作系统225、应用程序226、其他程序模块227和程序数据228相同，也可与它们不同。在此给操作系统258、应用程序257、其他程序模块256、以及程序数据255提供了不同的编号，以说明至少它们是不同的副本。用户可以通过输入设备，例如键盘251和定点设备252——通常是指鼠标、跟踪球或触摸垫——向计算机241输入命令和信息。其他输入设备(未示出)可包括话筒、操纵杆、游戏手柄、圆盘式卫星天线、扫描仪等。这些以及其他输入设备通常通过耦合到系统总线的用户输入接口236连接到处理单元259，但也可通过诸如并行端口、游戏端口或通用串行总线(USB)之类的其他接口和总线结构来连接。图6的深度相机系统20，包括像机26和28，可以为控制台100定义附加的输入设备。监视器242或其他类型的显示器也通过接口，诸如视频接口232，连接至系统总线221。除监视器之外，计算机还可以包括可以通过输出外围接口233连接的诸如扬声器244和打印机243之类的其他外围输出设备。

计算机241可使用到一个或多个远程计算机(诸如，远程计算机246)的逻辑连接而在联网环境中操作。远程计算机246可以是个人计算机、服务器、路由器、网络PC、对等设备或其他常见的网络节点，通常包括上文相对于计算机241所描述的许多或全部元件，但是图4中只描绘了存储器存储设备247。逻辑连接包括局域网(LAN)245和广域网(WAN)249，但也可以包括其他网络。此类联网环境在办公室、企业范围的计算机网络、内联网和因特网中是常见的。

当在LAN联网环境中使用时，计算机241通过网络接口或适配器245连接到LAN 237。当在WAN联网环境中使用时，计算机241通常包括调制解调器250或用于通过诸如因特网等WAN 249建立通信的其他手段。调制解调器250可以是内置的或外置的，可经由用户输入接口236或其他适当的机制连接到系统总线221。在联网环境中，相对于计算机241所示的程序模块或其部分可被存储在远程存储器存储设备中。作为示例而非限制，图9描绘了驻留在存储器设备247上的远程应用程序248。应当理解，所示的网络连接是示例性的，并且可使用在计算机之间建立通信链路的其他手段。

前面的对本技术的详细描述只是为了说明和描述。它不是为了详尽的解释或将本技术限制在所公开的准确的形式。鉴于上述教导，许多修改和变型都是可能的。所描述的实施例只是为了最好地说明本技术的原理以及其实际应用，从而使精通本技术的其他人在各种实施例中最佳地利用本技术，适合于特定用途的各种修改也是可以的。本技术的范围由所附的权利要求进行定义。

Claims

1.一种照明系统，包括：

图像传感器(26)，所述图像传感器(26)具有被配置为捕捉在所述照明系统外部的视野中的物体的图像的光电传感器(5)，所述图像传感器具有光轴，其中由所述光电传感器捕捉的具有给定出射度的所述视野中的物体的图像的辐照度依赖于同所述光轴的角位移；

光源(23)；以及

折射漫射器(40)，所述折射漫射器(40)被配置为接收来自所述光源的光，所述折射漫射器具有凸镜的第一阵列和凸镜的第二阵列，所述第一阵列的凸镜具有面向所述光源的突出面，而所述第二阵列的凸镜具有离开所述光源的突出面，其中所述折射漫射器(40)被配置为折射来自所述光源的光以将所述光结构化以照明所述照明系统外部的视野以补偿辐照度对同所述光轴的角位移的依赖性，其中在同一球形视野成像表面上并具有相同出射度的物体在所述光电传感器上具有独立于所述物体同所述光轴的角位移的基本上相同的辐照度；以及

逻辑，被配置为基于当来自所述光源的所述光正在折射入所述视野时由所述光电传感器接收到的光来生成具有到所述物体的深度值的深度图像。

2.如权利要求1所述的照明系统，其特征在于，还包括准直器，所述准直器接收来自所述光源的光，其中所述折射漫射器被配置为接收经准直化的光并且结构化所述经准直化的光以照明所述视野以补偿辐照度对所述光轴的角位移的依赖性。

3.如权利要求1所述的照明系统，其特征在于，所述折射漫射器被配置为根据1/cos⁴θ来漫射所述光以照明所述视野内的物体，其中θ是同所述光轴的角位移。

4.一种用于生成深度图像的方法，包括：

使用折射漫射器将来自光源的光折射到深度相机的视野中的物体上(702)，所述折射漫射器具有凸镜的第一阵列和凸镜的第二阵列，所述第一阵列的凸镜具有面向所述光源的突出面，而所述第二阵列的凸镜具有离开所述光源的突出面，包括将来自所述光源的光通过所述凸镜的第一阵列并通过所述凸镜的第二阵列进行投射；

在所述深度相机的具有光轴的光电传感器处捕捉从所述视野中的物体返回的折射光的部分，其中由所述光电传感器所捕捉的具有给定出射度的物体的图像的辐照度依赖于同所述光轴的角位移，其中折射所述光包括：通过透镜的所述第一和第二阵列折射所述光以结构化所述光以补偿辐照度对同所述光轴的角位移的依赖性(704)，其中在同一球形视野成像表面上并具有相同出射度的物体在所述光电传感器上具有独立于所述物体同所述光轴的角位移的基本上相同的辐照度；以及

基于所捕捉的光生成包括到所述物体的深度值的深度图像(706)。

5.如权利要求4所述的方法，其特征在于，折射所述光包括根据公式1/cos⁴θ来漫射所述光，其中θ是同所述光轴的角位移。

6.如权利要求4所述的方法，其特征在于，使用折射漫射器将光折射到视野中的物体上包括：结构化所述光以在所述视野之外降低强度。