CN102510461B - 集成低功率深度相机和投影设备 - Google Patents

集成低功率深度相机和投影设备 Download PDF

Info

Publication number
CN102510461B
CN102510461B CN201110306956.0A CN201110306956A CN102510461B CN 102510461 B CN102510461 B CN 102510461B CN 201110306956 A CN201110306956 A CN 201110306956A CN 102510461 B CN102510461 B CN 102510461B
Authority
CN
China
Prior art keywords
light source
sensor
frame
light
subframe
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110306956.0A
Other languages
English (en)
Other versions
CN102510461A (zh
Inventor
S·卡茨
S·费尔岑式特恩
A·阿德勒
G·叶海弗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102510461A publication Critical patent/CN102510461A/zh
Application granted granted Critical
Publication of CN102510461B publication Critical patent/CN102510461B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • H04N5/7408—Direct viewing projectors, e.g. an image displayed on a video CRT or LCD display being projected on a screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • H04N5/7475—Constructional details of television projection apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/18—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明涉及集成低功率深度相机和投影设备。一种视频投影仪设备包括：可见光投影仪，用于将图像投影到表面或物体上；以及可见光传感器，可被用于使用飞行时间原理获得关于该物体的深度数据。该传感器可以是获得彩色图像以及获得深度数据的电荷耦合器件。所投射的光可以在相继的帧中提供。帧可以包括：被连续光跟随的脉冲光的门控子帧，同时传感器被门控，以获得飞行时间数据；以及被连续光跟随的脉冲光的非门控子帧，同时传感器未门控，以获得反射率数据；以及被连续光跟随的无光的背景子帧，同时传感器被门控，以确定背景光的水平。颜色子帧投射连续光，同时传感器为活动的。

Description

集成低功率深度相机和投影设备
技术领域
本发明涉及相机和投影设备，尤其涉及集成低功率深度相机和投影设备。
背景技术
实时深度相机能够确定与该相机的视野内的人类或其他物体相距的距离，并且基于该相机的帧速率基本上实时地更新该距离。这样的深度相机可以在运动捕捉系统中，例如，用于获得关于物理空间中的人体或其他物体的位置和运动的数据，并且可以将该数据用作到计算系统中的应用的输入。可以有许多应用，例如用于军事、娱乐、体育和医学目的。深度相机一般包括照射视野的红外照明器、以及感测来自视野的光以形成图像的一个或多个红外图像传感器。此外，深度相机可以被配备成游戏控制台的部分，该部分与诸如用户家中的电视机之类的显示设备通信。然而，在使深度相机技术适应于诸如视频投影仪设备之类的便携式或其他小形状因子设备时存在各种挑战。这些挑战包括功率和空间限制。
发明内容
提供了一种视频投影仪设备，其实现了紧凑尺寸这一目标并且降低了功耗和成本。调制视频投影仪设备的背光以创建光脉冲，该光脉冲可以被可见光相机检测到并且被变换成关于视野的距离和/或深度数据。这种类型的调制不以可察觉的方式影响所投射光的图像质量，并且可以包含在用于各种应用的多种移动或非移动设备中，其中所述应用在该设备或连接到该设备的主机上运行。
在一个实施例中，视频投影仪设备包括诸如投影仪的背光之类的光源，该光源发射可见光。在视频投影仪的投影仪部分中配备有驱动器，该驱动器调制从该光源发射的可见光。而且，可以配备具有可单独可控的像素的一个或多个透光LCD面板以给出来自光源的可见光的彩色视频信息。配备有至少一个将经颜色编码的可见光投射在视野内的光学组件。例如，可以使用一个或多个透镜。在视频投影仪设备的传感器部分中配备有诸如电荷耦合器件(CCD)之类的一个或多个传感器，所述传感器感测可见光，包括从视野内的至少一个物体反射的可见光，其中该传感器包括像素阵列。有利地，该传感器可以是数码相机内所使用的类型的常规CCD。配备至少一个投射视频帧的控制电路。帧可以包括门控的子帧，其中在脉冲模式下驱动光源，同时传感器在门控模式下运行，随后在连续模式下驱动光源，同时读取传感器以获得光强值。所述至少一个控制电路基于所述光强值使用飞行时间原理来获得关于视野内的所述至少一个物体的深度数据。例如，深度数据可以以视野的深度图的形式来提供。
提供本发明内容以便以简化形式介绍将在以下的具体实施方式中进一步描述的一些概念。本发明内容并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于限定所要求保护的主题的范围。
附图说明
在附图中，相同编号的元件彼此对应。
图1描绘了涉及视频投影仪设备的示例性环境的侧视图。
图2描绘了图1的示例性环境的顶视图。
图3描绘了图1的视频投影仪设备的示例框图。
图4A描绘了使用视频投影仪设备的过程。
图4B示出了可在图4A的步骤400中使用的涉及子帧的过程的示例。
图4C示出了可在图4A的步骤400中使用的涉及子帧的过程的另一示例。
图5A描绘了用于如图4B的步骤410中所述那样提供门控的子帧的过程的示例。
图5B描绘了用于如图4B的步骤412中所述那样提供非门控的子帧的过程的示例。
图5C描绘了用于如图4B的步骤414中所述那样提供背景子帧的过程的示例。
图5D描绘了用于如图4B的步骤416中所述那样提供颜色子帧的过程的示例。
图6A描绘了用于如图4C的步骤420中所述那样提供门控的子帧的过程的示例。
图6B描绘了用于如图4C的步骤422中所述那样提供非门控的子帧的过程的示例。
图7A描绘了与图4B的过程相对应的投影仪的输出。
图7B描绘了到传感器的输入，该输入基于图7A的投影仪输出。
图7C描绘了发生连续投射的非深度感测帧。
图7D描绘了交替地提供具有较低和较高光强的帧的示例性帧序列。
图7E描绘了交替地提供具有较长和较短帧周期的示例性帧序列。
图8A描绘了与图4C的过程相对应的投影仪的输出。
图8B描绘了到传感器的输入，该输入基于图8A的投影仪输出。
图9A描绘了从投影仪输出的使用方形波形的脉冲光。
图9B描绘了输入到传感器的脉冲光，该脉冲光基于图9A的投影仪输出。
图10A描绘了从投影仪输出的使用三角波形的脉冲光。
图10B描绘了输入到传感器的脉冲光，该脉冲光基于图10A的投影仪输出。
具体实施方式
提供有可用于多种应用的视频投影仪设备。一个示例性应用将图像投射到表面上，其中该图像具有多个可选图像部分，比如用户界面中的菜单项。用户可以使用其手作出姿势，例如，以选择图像诸部分之一。可以向应用提供相应的控制输入，比如以选择新的视频或静止图像内容、修改当前投射的视频或静止图像内容、玩游戏、发起诸如电话呼叫之类的通信等等。在一个方案中，投射在表面上的图像变成触摸显示。在另一示例性应用中，视野内的物体的3D形状被感测和记录。视频投影仪设备有利地使用可见光投影仪来既以所期望的图案将连续的光投射在视野内、比如视野内的表面或物体上，同时还提供脉冲光以供用于使用飞行时间原理来获得深度数据。深度数据可以通过如下方式来获得：周期性地、在有限的时间段内、相对于提供连续光输出的时间段地驱动光源以提供可见光脉冲，使得图像质量不以可察觉的方式降低。在有限的时间段期间，视频投影仪设备的传感器被门控以检测来自视野的经反射的可见光脉冲。该传感器还具有从视野内获得颜色数据的能力，比如像典型数码相机那样获得例如照片之类的静止图像或者例如视频之类的视频图像。
视频投影仪设备中常用的元件可以以新的方式使用，以通过将该设备变换成3D数据检测设备来获得附加的功能。例如，可以为与其上投射了视频图像的表面接近的物体获得3D深度数据。
视频投影仪也可以以仅感测模式运行，在该模式下，提供可见光脉冲而不是提供连续光输出。在用于增加颜色对比度的另一选项中，当视频投影仪在投射和感测模式下运行时，可以相对于视频投影仪在仅投射模式下运行时延长帧时长和/或增加光强。
图1描绘了涉及视频投影仪设备的示例性环境的侧视图。如在开头提到的那样，深度相机已经变得越来越常用。深度感测技术可以用在诸如移动设备或其他小形状因子视频投影仪设备之类的其他产品中。视频投影仪设备包括小型手持设备，有时指微微投影仪、移动投影仪和袖珍投影仪。这样的设备可以包括小型化硬件和软件，所述硬件和软件可以将数字图像投射到诸如平坦的墙或桌之类的任何附近观看表面上、或者大体上任何形状的表面/物体上。视频投影仪设备可以包括不一定为手持式或便携式的其他设备，包括位于台面上的设备以及安装到墙或其他表面处的设备。
一种应用是显示静止或视频图像并且允许用户通过经由手势移动来修改该图像。例如，将手或者一只手的手指移动得分开的姿势可以导致所投射图像变为扩大/放大，并且相反的运动导致所投射图像变得更小/缩小。用户可以看上去为从所投射图像中提起或以其他方式选中物体，使得该物体的投影在该物体被选中时改变。侧向地挥动或轻拂手的姿势可以导致菜单滚动，或者停止或启动视频或静止图像显示。可以创建自然用户界面(NUI)体验，其中用户就好像被投射物体是真实的实物那样与被投射物体交互。还有其他应用也是可能的。关于跟踪人的一部分、整个人或其他物体的其他信息可以下列文献中找到：于2010年8月5日公开的名称为“Visual Target Tracking(视觉目标跟踪)”的US 2010/0197399；以及于2010年8月5日公开的名称为“Body Scan(身体扫描)”的US 2010/0194872，这些文献中的每个都通过引用并入本申请。
在图1中，视频投影仪设备100被描绘为位于台面102上。在该示例中，投影仪透镜100用于发射或投射以光线112和114为边界的视野内的可见光。投射光的一部分如所示那样被以光线122和124为边界的区域反射，并且通过相机透镜120被视频投影仪设备100中的传感器感测到。用户130将其手臂或手132放置到投射视野内，使得手的存在或手的任何运动都可以被传感器感测到。
图2描绘了图1的示例性环境的顶视图。图像区域150被视频投影仪投射到台面102上。图像区域150例如包括图像部分152、154、156和158。用户可以将手132放置到图像部分152之上来选中图像部分152。图像部分152的选中可以以不同的方式来触发。在一种方案中，手在图像部分152之上存在诸如1-2秒之类的最小的时间段可以触发图像部分152的选择。在另一方案中，要求用户执行诸如将手放置在图像部分152之上之类的姿势，然后将手向图像部分152放下或者将手提离图像部分152。存在许多其他的可能性。可以提供的类似示例是，图像被投射到不一定平坦的垂直表面或另一表面上。
图3描绘了图1的视频投影仪设备的示例框图。这些组件可以配备在单个壳体中。视频投影仪设备300包括诸如背光之类的光源318，该光源可以被启用(通电或开启)以发射连续或脉冲可见光。光源318也可以被停用(断电或关闭)，使得其不发射可见光以降低功耗。光源在深度感测期间被调制并且在视频投射期间保持为启用的。如果该光源被关闭，则这意味着系统仅能捕获彩色视频/图像。在一个可能的方案中，光源318可以包括一个或多个发光二极管(LED)。通常还可以采用未示出的各种其他的光学组件。在一个方案中，当使用诸如金属卤化物灯之类白光源时，该光源包括可以被棱镜分成三种颜色分量(例如红、绿和蓝)的白光，并且每种颜色分量都经过单独的调制器。随后，每种颜色的调制光使用合适的光学组件被组合和投射。在另一方案中，白光通过诸如色轮之类的组件被提供给单个调制器，使得例如红光、绿光和蓝光分量以时分复用的方式被提供给调制器。在另一方案中，比如当使用LED时，每组LED都发射诸如红色、绿色和蓝色之类的不同颜色，每个颜色分量都经过单独的调制器，并且每种颜色的已调制光随后使用合适的光学组件来组合和投射。
光源的另一选项是数字光处理芯片(德州仪器公司)，该芯片包含高达2百万个铰链安装的微镜的矩形阵列，这些微镜可以将数字图像反射到屏幕或其他表面上。DLP芯片的调制类似于LCD芯片的调制。在单个DLP芯片配置中，白光经过滤色器，致使红光、绿光、蓝光、以及甚至诸如黄色、青色、洋红色等之类的附加原色相继地照耀在DLP芯片的表面上。镜的切换以及这些镜“开启”和“关闭”的比例时间根据照耀在它们上的颜色来协调。然后，相继的颜色混合以创建所投射的全色图像。
LCD面板320用颜色视频信息对来自光源的所发射光进行编码以提供经颜色编码的可见光，该可见光通过诸如投射透镜322之类的至少一个光学组件被投射。例如，可以比如通过使用透光LCD芯片，来提供一个或多个透光LCD面板。LCD面板可以包括透光像素的一个或多个阵列，其中每个像素每个都可以响应于控制电路310被单独控制。LCD面板的像素可以被控制为给出图像数据，比如所期望的将被投射的彩色图像。
投影透镜322和/或传感器透镜360可以被投影仪控制电路310控制为，比如基于从传感器控制电路340提供给投影仪控制电路310的深度信息来提供自动聚焦特性。利用视野内的一个或多个物体的已知深度或深度范围，可以设置最优焦距。
投影仪控制电路310可以包括由处理器312表示的一个或多个处理器、由存储器组件314表示的一个或多个存储器组件、以及由驱动器316表示的一个或多个驱动器。该处理器例如可以是微处理器，该微处理器执行存储在存储器314上的指令以提供在此所述的功能。存储器314可以存储由处理器312执行的指令，以及存储用于控制LCD面板320以提供所期望的所投射图像的图像数据。例如，存储器314可以包括随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、闪存、硬盘、或任何其他合适的有形计算机可读存储介质。存储器组件314可以是例如通过总线与处理器312和/或投影仪控制电路310通信的单独组件。或者，存储器组件314可以被集成到处理器312和/或投影仪控制电路310中。存储器314是一种其上包含有计算机可读软件的有形计算机可读存储介质，该计算机可读软件用于将至少一个处理器312编程为执行用于处理在此所述的视频投影仪设备中的图像数据的方法。
驱动器316与光源通信以如在此所述的那样对其进行驱动或调制。例如，光源的电流和/或电压可以被驱动器调制，使得所发射的光被调制。该驱动器可以是支持快速脉冲光和连续照明模式二者的定制驱动器。投影仪控制电路可以控制LCD面板的像素行和列。
用户界面330可以包括诸如按钮或触摸屏之类的控件，所述控件允许用户输入命令以控制视频投影仪设备。示例性的命令包括：启动或停止视频投影仪帧序列；启动或停止例如单帧之类的静止图像的投射；以及启动或停止深度感测模式。在一个方案中，用户具有在仅感测模式下捕捉与快照类似的单帧深度数据的选项。用户例如可以设置投射和深度感测模式、投射和非深度感测模式、或者深度感测但非投射模式。用户还可以调节影响跟踪视野内的物体方面的响应或灵敏度的设定。不同的用户在不同情况下在他们与所投射图像交互时可能偏好不同水平的跟踪灵敏度。用户还可以调节诸如投影仪亮度之类的设定。
视频投影仪设备300的传感器部分包括传感器透镜360，其中来自视野的可见光透过该传感器透镜并且达到一个或多个由传感器350表示的传感器。可见光可以包括投射光的反射、以及环境光、背景光，所述环境光、背景光比如来自除视频投影仪设备以外的例如电灯之类的人工光源、或者来自例如房间中的阳光之类的自然光源等等。传感器例如可以包括一个或多个具有光敏像素的CCD。每个像素都生成电荷，并且所聚集或集成的电荷的量可以被读取作为对像素已经达到的光强的指示。传感器可以在传感器控制电路340的控制下以门控或非门控模式运行。
在门控运行的一个实施方式中，像素以受控的顺序被交替地启用和停用。像素被启用的时间被称为门控时间段。当像素被启用时，该像素可以感测光并且聚集电荷。当像素被停用时，该像素即使在光入射到该像素上的情况下仍然不能感测光和聚集电荷。在门控运行的另一实施方式中，可以配备单独的调制器(未示出)，该调制器处于传感器350与透镜360之间并且能够就像快门那样阻挡光或让光通过。调制器或传感器可以充当可根据需要打开和关闭的快门。
在非门控运行的一个实施方式中，传感器像素被启用，使得它们在不中断的时间段中聚集电荷，然后所聚集的电荷的量被传感器控制电路340读出。
传感器控制电路340可以包括由处理器342表示的一个或多个处理器、以及由存储器组件348表示的一个或多个存储器组件。该处理器例如可以是微处理器，该微处理器执行存储在存储器348上的指令以提供在此所述的功能。存储器348可以存储可由处理器312执行的指令，以及存储来自传感器的读数和图像数据。存储器348可以如上所述与存储器314类似地来配置。存储器348是一种其上包含有计算机可读软件的有形计算机可读存储介质，该计算机可读软件用于将至少一个处理器342编程为执行用于处理在此所述的视频投影仪设备中的图像数据的方法。
处理器342可以包括深度数据处理部分344，该部分344从传感器接收读数，并且将所述读数翻译成该传感器的每个像素的深度数据。例如，来自像素的读数可以指示所聚集的电荷的量，并且这可以基于传感器的特性与光强相关联。此外，当投影仪在脉冲模式下运行并且传感器在门控模式下运行时，像素的所感测的光的定时可以与来自该投影仪的光的脉冲相关。这允许基于飞行时间原理将深度值与像素相关联。为了获得深度值，需要两种测量：门控和非门控。来自传感器的一些或全部像素的一组深度值提供所感测图像数据的帧的深度图。该深度图例如可以存储在存储器348中。传感器控制电路340可以与投影仪控制电路通信以获得被深度数据处理部分344用于计算深度值的定时数据。任选地，中央控制电路管理投影仪控制电路310和传感器控制电路340，包括提供定时数据以用于设置投影仪控制电路310中的脉冲或连续模式，以及用于设置传感器控制电路340中的门控或非门控模式。
处理器342可以包括颜色数据处理部分346，该部分346与静止或视频相机传感器运行的方式类似地从传感器接收颜色像素数据。通过这种方式，例如，.可以获得传感器的视野的彩色图像并且将其存储在存储器348中。
处理器342也可以包括诸如姿势过滤器的集合之类的姿势库347，每个姿势过滤器都具有关于可由用户执行的姿势(包括手势)的信息。通过将检测到的运动与每一过滤器相比较，可以标识出所指定的由用户执行的姿势或运动。
图4A描绘了使用视频投影仪设备的过程。步骤400包括：通过将可见光投射到视野中来提供图像数据帧，同时读取传感器以获得深度数据。步骤402包括基于深度数据向应用提供控制输入。判决步骤404确定：下一帧是否将要投射下一帧。如果下一帧将投射，则过程从步骤400开始重复进行。如果没有下一帧将投射，则过程在步骤406结束。下面讨论步骤400的示例性实施方式。
图4B示出了可在图4A的步骤400中使用的涉及子帧的过程的示例。一般而言，由光源发射的光可以根据传感器的门控顺序来调制。例如，传感器的一个可能的实施方式是型号为ICX424AQ的CCD传感器。ICX424AL是对角线6mm(类型1/3)的隔行CCD固态图像传感器，其具有方形像素阵列。逐行扫描允许所有像素的信号都在大致1/60秒内被独立地输出。该芯片具有拥有可变电荷存储时间的电子快门，该电子快门使得可以在没有机械快门的情况下实现全帧静止图像。其支持若干像素分辨率/模式，包括视频图形阵列(VGA)(640x48060Hz)，四分之一VGA(QVGA)(320x240120Hz)以及四分之一QVGA(QQVGA)(160x120240Hz)。亦参考图7A和7B，假定：使用QQVGA模式，该模式包括33毫秒的投射时间段或者被划分成四个部分或者子帧的全帧周期。在每个子帧中，传感器被曝光，并且所选子帧内的光强值被读取。
全帧可以由将被投射的像素数据帧来定义。在像素数据被投射的不同子帧中，在脉冲或连续模式下，可以使用该帧的相同像素数据。但是，如果所投射图像里面具有黑色部分，则在脉冲光将显示相同图像的情况下，我们将不能测量深度。这可以以若干方式来解决，包括改变黑色等级(因此将投射一些东西)。子帧是在被组合时提供完全的帧输出的图像。例如，门控和非门控图像是子帧。在我们的标记法中，帧包含一个感测周期内的所有子帧。所投射的像素数据不依赖于光源调制(尽管与光源调制同步)。光源的驱动器一般不具有对所投射像素数据的访问。
步骤410使用被连续光跟随的脉冲光来提供门控的子帧。在该子帧中，脉冲被投影仪发送，并且门控图像被传感器检测，例如该传感器被允许仅在与每个所传输脉冲相对应的有限间隔期间感测光。投影仪在使用脉冲照明以后提供连续照明模式。门控的子帧可以获得与视野内的一个或多个物体的深度数据相关的光强值。
步骤412使用被连续光跟随的脉冲光来提供非门控的子帧。在该子帧中，脉冲再次被投影仪发送，但是非门控的图像被传感器感测到。在非门控模式下，传感器的表现常常类似于门控模式，主要区别是快门打开和关闭的时间。在任何情况下，为了增加对环境光的稳健性，传感器在与每个所传输脉冲相对应的时间间隔内打开。非门控的子帧可以获得视野内的一个或多个物体的反射率数据。
步骤414使用被连续光跟随的无光来提供背景子帧。在该子帧中，最初投影仪没有发送光，使得背景光被传感器感测到。随后，投影仪提供连续光。背景子帧可以获得关于视野内的背景光的数据。背景光不是源于视频投影仪，并且可以来自人造或自然源。
步骤416使用连续光提供任选的颜色子帧。在该子帧中，传感器通过感测和存储来自视野的颜色数据来充当相机。颜色数据例如可以是标准RGB图像。在颜色子帧中，光可以在传感器为活动的时以连续模式来驱动。
注意，子帧的次序可以改变。在一个方案中，提供门控的子帧，随后是非门控的子帧，之后是背景子帧，其后是颜色子帧。但是，该次序不是必需的。此外，可以给不同子帧提供不同的出现频率。例如，如果全部使用的话，则可以每n1≥1帧提供门控的子帧，可以每n2≥1帧提供非门控的子帧，可以每n3≥1帧提供背景子帧，并且可以每n4≥1帧提供颜色子帧。n1、n2、n3和n4都是正整数。例如，假定足以为每两个帧提供深度数据，则n1＝n2＝n3＝2并且n4＝1当一个或多个子帧未在帧内提供时，该帧的剩余部分可以被延长以填充帧周期。例如们对于仅仅包括颜色子帧的帧而言，该颜色子帧被延长到整个33毫秒。或者，帧时长可以被缩短。在一个方案中，帧的其余时间可以用于连续投射以便增加所投射视频的对比度。对于深度感测而言，不期望的是延长曝光时间。另一方面对于颜色而言，可能期望低光度场景。
在另一示例中，如果不需要颜色数据，则可以提供第二背景感测，其中帧依次包括背景子帧、门控的子帧、非门控的子帧以及背景子帧。
图4C示出了可在图4A的步骤400中使用的涉及子帧的过程的另一示例。在这种情况下，在视野中没有连续投射的情况下执行仅深度感测。步骤420包括：使用不被连续光跟随的脉冲光来提供门控的子帧。步骤422包括：使用再次不被连续光跟随的脉冲光来提供非门控的子帧。脉冲可见光一般不能被人眼察觉，因为照明时间段非常短。还可以拍摄背景图像(不具有脉冲的图像)(步骤424)。在这种情况下，背景图像和彩色图像可以是同一图像，因为光照条件没有区别。还可以提供与背景子帧相同的颜色子帧(步骤426)。在每个连续投射的情况下进行深度感测的优点是降低了功耗。另外的细节可参考图8A和8B。
图5A描绘了用于如图4B的步骤410中所述那样提供门控的子帧的过程的示例。步骤500开始门控的子帧，该门控的子帧使用被来自投影仪的连续光跟随的脉冲光。步骤502和503可以至少部分地并发进行。在一个方案中，光源连续地发射可见光。在步骤502，在脉冲模式下驱动投影仪的光源，使得在视野内发射脉冲可见光。图9A和10A提供了脉冲光的示例性波形。亦参见图7A中的时间0-2毫秒。在步骤503，传感器以门控模式运行，同时感测经反射的脉冲(以及背景光)。图9B和10B提供了所感测到的光的示例性波形。亦参见图7B中的时间0-2毫秒。
步骤504和505可以至少部分地并发进行。在步骤504，在连续模式下驱动光源，使得在视野内发射连续的可见光。参见图7A中的时间2-8毫秒。在步骤505，读取传感器以获得光强值。参见图7B中的时间2-8毫秒。在该读出时间段期间，没有附加的光被传感器感测到。可以存储光强值以供随后在确定深度值时使用。例如，光强值可以基于在非门控的子帧中所获得的光强值来归一化。该归一化在从门控和非门控的子帧二者中减去背景子帧以后进行。然后，归一化的光强值可以用于确定深度值。
图5B描绘了用于如图4B的步骤412中所述那样提供非门控的子帧的过程的示例。步骤510开始非门控的子帧，该非门控的子帧使用被来自投影仪的连续光跟随的脉冲光。步骤512和513可以至少部分地并发进行。在步骤512，在脉冲模式下驱动光源，使得在视野内发射脉冲可见光。图9A和10A提供了脉冲光的示例性波形。亦参见图7A中的时间8-10毫秒。在步骤513，传感器在选非通模式下运行，同时感测经反射的脉冲(以及背景光)。图9B和10B提供了所感测到的光的示例性波形。亦参见图7B中的时间8-10毫秒。
步骤514和515可以至少部分地并发进行。在步骤514，在连续模式下驱动光源，使得在视野内发射连续的可见光。参见图7A中的时间10-16毫秒。在步骤515，读取传感器以获得指示反射率的光强值。参见图7B中的时间10-16毫秒。在步骤516，基于步骤515的光强值来调节、例如归一化图5A的步骤505中所确定的光强值。一般而言，若干属性影响达到传感器的每个像素的光的量，包括光行进的距离、物体的反射率、以及光反射离开的物体的法向。该调节考虑到反射率和法向。在非门控的子帧期间，针对每个脉冲，在取回传播到视野内并且被反射回传感器的所有光以后，在特定时间关闭传感器的快门。与之相比，在门控图像的情况下，不等待所有光脉冲被反射回传感器。如果相对高的光量由于反射率和/或法向而反射回，则将具有相对高的非门控光强值。步骤505的光强值可以通过除以步骤515的相应光强值来归一化以创建深度值。
图5C描绘了用于如图4B的步骤414中所述那样提供背景子帧的过程的示例。步骤520开始背景子帧，该背景子帧使用被来自投影仪的连续光跟随的无光。步骤522和523可以至少部分地并发进行。在步骤522，不驱动光源，使得在视野内不发射脉冲可见光。参见图7A中的时间16-18毫秒。在步骤523，传感器在门控模式下运行，同时感测背景光。背景还可以在非门控模式下来感测。门控模式“模拟”背景光在活动照明阶段期间被接收的方式。参见图7B中的时间16-18毫秒。
步骤525和526可以至少部分地并发进行。在步骤525，在连续模式下驱动光源，使得在视野内发射连续的可见光。参见图7A中的时间18-24毫秒。在步骤526，读取传感器以获得指示背景光的量的光强值。参见图7B中的时间18-24毫秒。在步骤527，基于步骤526的光强值来调节在图5A的步骤505或图5B的步骤516中所确定的光强值。该调节可以包括减去背景光强值。注意，应当在针对背景光的调节以后进行针对反射率的调节。通过非门控图像对门控图像进行的归一化被用于提供深度数据。例如当在黑暗中运行投影仪时可以省略使用背景图像的归一化。在步骤528，基于经调节的光强值来确定深度值。
图5D描绘了用于如图4B的步骤416中所述那样提供颜色子帧的过程的示例。步骤530开始颜色子帧，该颜色子帧使用来自投影仪的连续光。步骤532和533可以至少部分地并发进行。在步骤532，在连续模式下驱动投影仪的光源，使得在视野内发射连续的可见光。参见图7A中的时间24-26毫秒。在步骤533，在为标准数码相机感测模式的颜色感测模式下运行传感器，同时感测经反射的光(以及背景光)。参见图7B中的时间24-26毫秒。在步骤534，读取传感器以获得指示颜色数据的光强值。
图6A描绘了用于如图4C的步骤420中所述那样提供门控的子帧的过程的示例。步骤600开始门控的子帧，该门控的子帧使用脉冲光。步骤602和603可以至少部分地并发进行。在步骤602，在脉冲模式下驱动投影仪的光源，使得在视野内发射脉冲可见光。图9A和10A提供了脉冲光的示例性波形。亦参见图8A中的时间0-2毫秒。在步骤603，传感器在门控模式下运行，同时感测经反射的脉冲(以及背景光)。图9B和10B提供了所感测到的光的示例性波形。亦参见图8B中的时间0-2毫秒。
步骤605和606可以至少部分地并发进行。在步骤605，不驱动光源，使得不发射可见光。亦参见图8A中的时间2-8毫秒。在步骤606，读取传感器以获得光强值。亦参见图8B中的时间2-8毫秒。可以存储光强值以供随后在确定深度值时使用。例如，光强值可以基于在非门控的子帧中以及任选地背景子帧中所获得的光强值来调节。然后，经调节的光强值可以用于确定深度值。
图6B描绘了用于如图4C的步骤422中所述那样提供非门控的子帧的过程的示例。步骤610开始非门控的子帧，该非门控的子帧使用脉冲光。步骤612和613可以至少部分地并发进行。在步骤612，在脉冲模式下驱动光源，使得在视野内发射脉冲可见光。图9A和10A提供了脉冲光的示例性波形。亦参见图8A中的时间8-10毫秒。在步骤613，传感器在选非通模式下运行，同时感测经反射的脉冲(以及背景光)。图9B和10B提供了所感测到的光的示例性波形。亦参见图8B中的时间8-10毫秒。
步骤615和616可以至少部分地并发进行。在步骤615，不驱动光源。结果，不发射可见光。亦参见图8A中的时间10-16毫秒。在步骤616，读取传感器以获得指示反射率的光强值。参见图8B中的时间10-16毫秒。在步骤617，基于步骤616的光强值来调节图6A的步骤606中所确定的光强值。在步骤618，基于经调节的光强值来确定深度值。
下面讨论的图7A和7B的示例性实施方式针对QQVGA模式，该模式包括33毫秒的帧周期，该帧时间段被划分成四个部分或者子帧。这是包括深度感测、颜色感测和投射的帧的示例。许多其他实施方式是可能的。此外，如所提到的那样，可以在不同的帧中使用不同的子帧。例如，一些子帧可以比每个帧频繁度更低地使用，而其他子帧可以每个帧都使用。
图7A描绘了与图4B的过程相对应的投影仪的输出。在33毫秒的示例性帧周期中，提供四个子帧。门控的子帧从0-8毫秒延伸。从0-2毫秒，投影仪输出脉冲可见光。从2-8毫秒，投影仪输出具有幅度I2的连续可见光。非门控的子帧从8-16毫秒延伸。从8-10毫秒，投影仪输出脉冲可见光。从10-16毫秒，投影仪输出连续可见光。背景子帧从16-24毫秒延伸。从16-18毫秒，投影仪不输出可见光。从18-24毫秒，投影仪输出连续可见光。颜色子帧从24-33毫秒延伸。从24-26毫秒，投影仪输出连续可见光。从26-33毫秒，投影仪继续输出连续可见光。
线700表示如下帧中的光强I1：在该帧中，投影仪在非深度感测帧中提供连续的输出并且不发生感测。在一个方案中，使用较低强度或功率输出，使得I1＜I2。与非深度感测帧相比在深度感测帧期间提供更高光输出，可以有益于通过补偿使用脉冲或不使用光输出的时间段来改善所投射图像的颜色对比度。可以附加地或可替代地使用的另一选项是，与深度感测帧相比提供非深度感测帧的更长帧周期(由图7C中的帧周期FP来描绘)。例如FP＞33毫秒，其中33毫秒是深度感测帧的帧周期。这两种方案任一都增加了投影仪每时间单位所输出的光的量。通过选择性地调节光强和/或帧周期，优化了功耗和所投射的图像质量。另外的细节可参见图7D和7E。
图7B描绘了到传感器的输入，该输入基于图7A的投影仪输出。每个子帧都包括集成或活动的感测时间段，其中电荷由传感器中的每个像素与所感测光的量成比例地来生成，然后是读出或开销时间段，其中所聚集的电荷的量被从所有像素中读取。在读出期间，可以读取像素的被称为聚集器的部分，并且可以将该聚集器清零以用于随后的感测。在门控的子帧中，从0-2毫秒，传感器在投影仪被脉冲驱动时对电荷进行集成或聚集，并且从2-8毫秒，所聚集的电荷被读出。在非门控的子帧中，从8-10毫秒，传感器在投影仪被脉冲驱动时对电荷进行集成，并且从10-16毫秒，所聚集的电荷被读出。在背景子帧中，从16-18毫秒，传感器在投影仪不输出光时对电荷进行集成，并且从18-24毫秒，所聚集的电荷被读出。在颜色子帧中，从24-26毫秒，传感器在投影仪的输出为连续时对电荷进行集成，并且从26-33毫秒，所聚集的电荷被读出。
图7D描绘了示例性的帧序列，该帧序列交替地提供比如在步骤720和724中使用较低光强I1的非深度感测帧、以及比如在步骤722和726中使用较高光强I2的深度感测帧。再次，至少一个控制电路在不同时间提供：(a)深度感测帧(步骤772和726)，其中所述至少一个控制电路基于从传感器读取的光强值使用飞行时间原理来获取关于视野内的至少一个物体的深度数据；以及(b)非深度感测帧(步骤720和724)，其中所述至少一个控制电路不获取关于视野内的所述至少一个物体的深度数据。此外，所述至少一个控制电路致使光源在深度感测帧期间以相比于在非深度感测帧期间更高的照明功率来发射可见光。
另一选项涉及不同的深度感测模式。一般而言，至少一个控制电路是可控制的，以选择性地在下列模式下运行：第一模式，其中所述至少一个控制电路使用有限数目的一个或多个帧来获得关于视野内的所述至少一个物体的深度数据；以及第二模式，其中所述至少一个控制电路连续地获得关于视野内的至少一个物体的深度数据。例如，在第一模式下用于获得深度数据的所述有限数目的一个或多个帧可以是高达例如1秒的时间段内的单个帧、或者小数目的帧。这可以用于提供快照深度感测模式，其中基于用户命令为视野内的诸如静止物体之类的物体获得深度数据。例如，可以为感兴趣的物体获得深度数据。在第二模式下，连续地为诸如移动物体之类的感兴趣物体获得深度数据。如所提到的那样，在获得深度数据时不需要使用投影仪模式。
图7D描绘了示例性的帧序列，该帧序列交替地提供比如在步骤730和734中使用较短帧周期/时长的非深度感测帧、以及比如在步骤732和736中使用较长帧周期的深度感测帧。
下面讨论的图8A和8B的示例性实施方式针对QQVGA模式，该模式包括33毫秒的帧周期，该帧周期段被划分成两个子帧，其中执行仅感测。这是深度感测帧和非投射帧的示例。
图8A描绘了与图4C的过程相对应的投影仪的输出。门控的子帧从0到8毫秒延伸。从0-2毫秒，投影仪输出脉冲可见光。从2-8毫秒，投影仪不输出可见光。非门控的子帧从8-16毫秒延伸。从8-10毫秒，投影仪输出脉冲可见光。从10-16毫秒，投影仪不输出可见光。类似地，在该帧的剩余部分中，从16-33毫秒，投影仪不输出可见光。在该模式下，从16-33毫秒，从彩色图像中获得背景帧，因为它们基本上相同。
图8B描绘了到传感器的输入，该输入基于图8A的投影仪输出。在门控的子帧中，从0-2毫秒，传感器在投影仪被脉冲驱动时对电荷进行集成，并且从2-8毫秒，所聚集的电荷被读出。在非门控的子帧中，从8-10毫秒，传感器在投影仪被脉冲驱动时对电荷进行集成，并且从10-16毫秒，所聚集的电荷被读出。在该帧的剩余部分，从16-33毫秒，可以感测基本上相同的背景子帧和颜色子帧。如所提到的那样，该模式允许视频投影仪设备在仅感测模式下运行，其中不发生投射，使得功耗降低。在除门控的子帧和非门控的子帧期间以外的时间不发射可见光。例如，可以关闭光源以降低功耗。
图9A描绘了从投影仪输出的使用方形波形的脉冲光。飞行时间原理允许深度基于光从投影仪行进到视野内的物体上的某点并且反射回传感器的流逝时间来确定该点的深度。此外，由传感器的光敏面上的像素在门控时间段期间记录的光的量被用于确定与场景在该像素上成像的表面元素相距的距离。示例性脉冲率是44Mhz。沿着表示时间的x轴，Δt1表示示例性脉冲900和920的脉冲时长，并且Δt2表示每个脉冲的起始之间的时间段。沿着表示投射光强的y轴，在该实施方式中，每个脉冲都升高并且具有基本上为方形的波形在一个方案中，每个脉冲都从基本上为0的强度水平上升到最大水平。在另一方案中，每个脉冲都从非0的强度水平上升到最大水平。在另一方案中，投射强度遵循诸如正弦波之类的连续波调制，而不是提供单独的光脉冲。在这种情况下，测量所发送信号和所接收信号之间的相位差，而不是直接测量特定光脉冲的总传播时间。由于调制频率是已知的，因此该测量的相位直接对应于飞行时间。可以通过相应地驱动光源来获得脉冲光源。
图9B描绘了输入到传感器的脉冲光，该脉冲光基于图9A的投影仪输出。图9B的x轴与图9A的x轴在时间上对齐。当传感器处于门控模式时，定义可以发生感测的门控时间段Δt3。所感测的光由脉冲910和930来表示。通常，Δt3＞Δt1，使得分别在每个门控时间段之前和之后提供时间余量Δt4f和Δt4b。描绘了由脉冲900和910表示的飞行时间(TOF)。所感测的脉冲910和930分别对应于所投射的脉冲900和920。环境光或者所感测光的或最低水平被示为存在于整个感测的范围内。
图10A描绘了从投影仪输出的使用三角波形的脉冲光。可以认为三角波形是具有下列项目至少之一的脉冲：(a)前沿，其以低于调制器的升高率的比率过渡，以及(b)尾沿，其以低于调制器的下降率的比率过渡。也就是说，前沿被控制为与作为瞬时升高的可能的最快比率相比以更慢的比率向上过渡；和/或尾沿被控制为与作为瞬时下降的可能的最快比率相比以更慢的比率向下过渡。这样的波形可以具有对称或非对称前沿和尾沿。在一个选项中，波形达到最大幅度并且保持在该水平一定时间，使得该波形具有比如拥有示例性波形1000和1010的梯形形状。波形1000包括前沿1002、最大幅度1004和尾沿1006。在另一选项中，波形是具有尖锐尖峰的三角形。
图10B描绘了输入到传感器的脉冲光，该脉冲光基于图10A的投影仪输出。所感测的脉冲1020和1030分别对应于所投射的波形脉冲1000和1010。
前面的对本技术的详细描述只是为了说明和描述。它不是为了详尽的解释或将本技术限制在所公开的准确的形式。鉴于上述教导，许多修改和变型都是可能的。所描述的实施例只是为了最好地说明本技术的原理以及其实际应用，从而使精通本技术的其他人在各种实施例中最佳地利用本技术，适合于特定用途的各种修改也是可以的。本技术的范围由所附的权利要求进行定义。

Claims (15)

1.一种视频投影仪设备，包括：
光源(318)；
驱动器(316)，所述驱动器驱动所述光源；
至少一个光学组件(322)，所述光学组件(322)将可见光投射在视野内；
传感器(350)，所述传感器(350)感测可见光所述传感器包括多个像素；以及
至少一个控制电路(310，340)：
在帧周期内将像素数据帧投射到物体上：将所述帧周期分成包括门控的子帧的多个子帧，并且致使门控的子帧期间所述视频投影仪设备在被不进行感测的仅投射模式跟随的投射和感测模式下运行；
提供所述投射和感测模式：致使所述驱动器在其中所述光源发射可见光脉冲的脉冲模式下驱动所述光源同时使所述传感器在门控模式下运行，从而所述多个像素集成来自所述物体的可见光脉冲反射的电荷；
提供不进行感测的所述仅投射模式：致使所述驱动器在其中所述光源发射连续可见光的连续模式下驱动所述光源同时从所述多个像素读取所集成的电荷以获得光强值，以及
基于所述光强值，使用飞行时间原理获取关于所述视野内的所述至少一个物体的深度数据。
2.如权利要求1所述的视频投影仪设备，其特征在于：
所述至少一个控制电路提供非门控的子帧，其中在脉冲模式下驱动所述光源，而所述传感器在非门控模式下运行，随后在连续模式下驱动所述光源，而所述传感器被读取以获得光强值，其中所述至少一个控制电路基于在非门控的子帧期间获得的光强值来调节在门控的子帧期间获得光强值，以补偿所述视野内的所述至少一个物体的反射率。
3.如权利要求1所述的视频投影仪设备，其特征在于：
所述至少一个控制电路提供至少一个背景子帧，其中不发射光，而所述传感器在门控模式下运行，随后在连续模式下驱动所述光源，而所述传感器被读取以获得光强值，其中所述至少一个控制电路基于在背景子帧期间获得的光强值来调节在门控的子帧期间获得光强值，以补偿所述视野内的背景光。
4.如权利要求3所述的视频投影仪设备，其特征在于：
所述至少一个控制电路在一帧中提供两个背景子帧。
5.如权利要求1所述的视频投影仪设备，其特征在于：
所述至少一个控制电路提供颜色子帧，其中在连续模式下驱动所述光源，而所述传感器在标准颜色感测模式下运行，随后在连续模式下驱动所述光源，而所述传感器被读取以获得包括来自所述视野的颜色数据的光强值。
6.如权利要求1所述的视频投影仪设备，其特征在于：
所述至少一个控制电路提供如下的子帧：在所述子帧中，在连续模式下驱动所述光源，而所述传感器为活动的。
7.如权利要求1所述的视频投影仪设备，其特征在于：
所述至少一个控制电路在门控的子帧期间使用三角形脉冲来驱动所述光源。
8.如权利要求1所述的视频投影仪设备，其特征在于：
所述至少一个控制电路使用每个都具有下列项目之一的脉冲来驱动所述光源：(a)前沿(1002)，所述前沿(1002)以低于所述光源的升高率的比率过渡；以及(b)尾沿(1006)，所述尾沿(1006)以低于所述光源的下降率的比率过渡。
9.如权利要求1所述的视频投影仪设备，其特征在于：
所述光源、所述光源、所述至少一个光学组件、所述至少一个控制电路和所述传感器配备在共同的壳体中。
10.如权利要求1所述的视频投影仪设备，其特征在于，进一步包括：
至少一个透光LCD面板(320)，所述透光LCD面板(320)将视频信息编码到可见光上，所述至少一个透光LCD面板包括多个像素。
11.如权利要求1所述的视频投影仪设备，其特征在于：
所述至少一个控制电路基于所述深度数据对所述至少一个光学组件进行聚焦。
12.如权利要求11所述的视频投影仪设备，其特征在于：
所述至少一个控制电路提供非门控的子帧，其中在脉冲模式下驱动所述光源，而所述传感器在非门控模式下运行，并且在帧中，在除了门控的子帧和非门控的子帧期间以外的时间不发出可见光。
13.一种视频投影仪设备，包括：
光源(318)；
驱动器(316)，所述驱动器驱动所述光源；
至少一个光学组件(322)，所述光学组件(322)将可见光投射在视野内；
传感器(350)，所述传感器(350)感测可见光，包括从所述视野内的至少一个物体反射的可见光，所述传感器包括多个像素；以及
至少一个控制电路(310，340)，所述控制电路(310，340)使深度感测帧和非深度感测帧被交替地投射到所述至少一个物体上，所述至少一个控制电路：
(a)提供深度感测帧：
致使所述驱动器在所述深度感测帧的一部分期间，在其中所述光源发射可见光脉冲的脉冲模式下驱动所述光源；
致使所述传感器在所述深度感测帧的所述一部分期间，在门控模式下运行以检测所述可见光的脉冲，
基于从所述传感器读取的光强值，使用飞行时间原理获取关于所述视野内的所述至少一个物体的深度数据，以及
致使所述驱动器在所述深度感测帧的另一部分期间，在其中所述光源发射连续可见光的连续模式下驱动所述光源；以及
(b)在不同于深度感测帧的时间提供非深度感测帧：
致使所述驱动器在其中所述光源发射连续可见光的连续模式下驱动所述光源，且不获取关于所述视野内的所述至少一个物体的深度数据。
14.如权利要求13所述的视频投影仪设备，其特征在于：
所述至少一个控制电路致使所述光源在深度感测帧期间以相比于在非深度感测帧期间更高的照明功率来发射可见光。
15.如权利要求13所述的视频投影仪设备，其特征在于：
所述至少一个控制电路将帧周期调节为使得深度感测帧长于非深度感测帧。
CN201110306956.0A 2010-09-28 2011-09-27 集成低功率深度相机和投影设备 Active CN102510461B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/892,589 2010-09-28
US12/892,589 US8681255B2 (en) 2010-09-28 2010-09-28 Integrated low power depth camera and projection device

Publications (2)

Publication Number Publication Date
CN102510461A CN102510461A (zh) 2012-06-20
CN102510461B true CN102510461B (zh) 2015-04-29

Family

ID=45870307

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110306956.0A Active CN102510461B (zh) 2010-09-28 2011-09-27 集成低功率深度相机和投影设备

Country Status (9)

Country Link
US (1) US8681255B2 (zh)
EP (1) EP2622847B1 (zh)
JP (1) JP5894600B2 (zh)
KR (1) KR101861393B1 (zh)
CN (1) CN102510461B (zh)
CA (1) CA2812433C (zh)
ES (1) ES2587436T3 (zh)
IL (1) IL225090A (zh)
WO (1) WO2012047410A1 (zh)

Families Citing this family (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8330822B2 (en) * 2010-06-09 2012-12-11 Microsoft Corporation Thermally-tuned depth camera light source
US9723293B1 (en) * 2011-06-21 2017-08-01 Amazon Technologies, Inc. Identifying projection surfaces in augmented reality environments
US9001190B2 (en) * 2011-07-05 2015-04-07 Microsoft Technology Licensing, Llc Computer vision system and method using a depth sensor
US20130021488A1 (en) * 2011-07-20 2013-01-24 Broadcom Corporation Adjusting Image Capture Device Settings
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
US8840250B1 (en) 2012-01-11 2014-09-23 Rawles Llc Projection screen qualification and selection
US9462255B1 (en) * 2012-04-18 2016-10-04 Amazon Technologies, Inc. Projection and camera system for augmented reality environment
US9810785B2 (en) 2012-05-29 2017-11-07 Brightway Vision Ltd. Gated imaging using an adaptive depth of field
US9438805B2 (en) * 2012-06-08 2016-09-06 Sony Corporation Terminal device and image capturing method
FR2999730B1 (fr) * 2012-12-18 2018-07-06 Valeo Comfort And Driving Assistance Afficheur pour afficher dans le champ de vision d'un conducteur une image virtuelle et dispositif de generation d'images pour ledit afficheur
US9602807B2 (en) 2012-12-19 2017-03-21 Microsoft Technology Licensing, Llc Single frequency time of flight de-aliasing
US9083960B2 (en) 2013-01-30 2015-07-14 Qualcomm Incorporated Real-time 3D reconstruction with power efficient depth sensor usage
US9134114B2 (en) * 2013-03-11 2015-09-15 Texas Instruments Incorporated Time of flight sensor binning
US10371943B2 (en) * 2013-03-14 2019-08-06 Valve Corporation Method and system to control the focus depth of projected images
US20140320605A1 (en) * 2013-04-25 2014-10-30 Philip Martin Johnson Compound structured light projection system for 3-D surface profiling
US9774833B2 (en) * 2013-07-16 2017-09-26 Texas Instruments Incorporated Projector auto-focus correction with the aid of a camera
US10203399B2 (en) 2013-11-12 2019-02-12 Big Sky Financial Corporation Methods and apparatus for array based LiDAR systems with reduced interference
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
JP5974189B2 (ja) * 2013-12-19 2016-08-23 日立マクセル株式会社 投写型映像表示装置及び投写型映像表示方法
EP2887029B1 (de) 2013-12-20 2016-03-09 Multipond Wägetechnik GmbH Befüllungsvorrichtung und Verfahren zum Erfassen einer Befüllung
CN103813115A (zh) * 2014-01-27 2014-05-21 吴砺 一种模拟窗户
CA3089749A1 (en) 2014-01-31 2015-08-06 Magic Leap, Inc. Multi-focal display system and method
US10317690B2 (en) 2014-01-31 2019-06-11 Magic Leap, Inc. Multi-focal display system and method
US9360554B2 (en) 2014-04-11 2016-06-07 Facet Technology Corp. Methods and apparatus for object detection and identification in a multiple detector lidar array
KR102225563B1 (ko) 2014-05-30 2021-03-08 매직 립, 인코포레이티드 가상 및 증강 현실의 초점 평면들을 생성하기 위한 방법들 및 시스템
JP6648041B2 (ja) 2014-05-30 2020-02-14 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 仮想および拡張現実のためのアドレス可能焦点を伴う自由形状光学システムを用いて立体視を表示する方法およびシステム
WO2016018372A1 (en) * 2014-07-31 2016-02-04 Hewlett-Packard Development Company, L.P. White flash generation from a light emitting diode (led) projector
WO2016018418A1 (en) * 2014-07-31 2016-02-04 Hewlett-Packard Development Company, L.P. Misalignment detection
CN107430324B (zh) * 2014-09-15 2020-11-20 惠普发展公司，有限责任合伙企业 具有不可见光通道的数字光投影仪
TWI552597B (zh) * 2014-11-12 2016-10-01 觸動創意股份有限公司 行動無線環物攝影之系統及其方法
CN107005639B (zh) * 2014-12-10 2020-04-14 索尼公司 图像拾取设备、图像拾取方法和图像处理设备
US10036801B2 (en) 2015-03-05 2018-07-31 Big Sky Financial Corporation Methods and apparatus for increased precision and improved range in a multiple detector LiDAR array
US10145942B2 (en) * 2015-03-27 2018-12-04 Intel Corporation Techniques for spatio-temporal compressed time of flight imaging
US20160309135A1 (en) 2015-04-20 2016-10-20 Ilia Ovsiannikov Concurrent rgbz sensor and system
US11736832B2 (en) 2015-04-20 2023-08-22 Samsung Electronics Co., Ltd. Timestamp calibration of the 3D camera with epipolar line laser point scanning
US11002531B2 (en) 2015-04-20 2021-05-11 Samsung Electronics Co., Ltd. CMOS image sensor for RGB imaging and depth measurement with laser sheet scan
US10132616B2 (en) 2015-04-20 2018-11-20 Samsung Electronics Co., Ltd. CMOS image sensor for 2D imaging and depth measurement with ambient light rejection
US10250833B2 (en) 2015-04-20 2019-04-02 Samsung Electronics Co., Ltd. Timestamp calibration of the 3D camera with epipolar line laser point scanning
JP6554310B2 (ja) * 2015-04-28 2019-07-31 浜松ホトニクス株式会社 距離測定装置
US10721420B2 (en) * 2015-06-02 2020-07-21 Intel Corporation Method and system of adaptable exposure control and light projection for cameras
US10512508B2 (en) 2015-06-15 2019-12-24 The University Of British Columbia Imagery system
AU2016296723B2 (en) 2015-07-20 2021-03-04 Magic Leap, Inc. Collimating fiber scanner design with inward pointing angles in virtual/augmented reality system
CN107925750B (zh) * 2015-08-28 2019-06-14 富士胶片株式会社 带距离图像获取装置的投影装置以及投影映射方法
US9648223B2 (en) * 2015-09-04 2017-05-09 Microvision, Inc. Laser beam scanning assisted autofocus
US9762873B2 (en) * 2015-09-04 2017-09-12 Microvision, Inc. Dynamic constancy of brightness or size of projected content in a scanning display system
JP6467516B2 (ja) * 2015-09-29 2019-02-13 富士フイルム株式会社 距離画像取得装置付きプロジェクタ装置及びプロジェクション方法
WO2017062483A1 (en) 2015-10-05 2017-04-13 Magic Leap, Inc. Microlens collimator for scanning optical fiber in virtual/augmented reality system
KR102579831B1 (ko) 2015-10-06 2023-09-15 매직 립, 인코포레이티드 역각 회절 격자를 가진 가상/증강 현실 시스템
WO2017061104A1 (ja) * 2015-10-09 2017-04-13 パナソニックＩｐマネジメント株式会社 撮像装置、およびそれに用いられる固体撮像素子
FR3043210A1 (fr) * 2015-10-28 2017-05-05 Valeo Comfort & Driving Assistance Dispositif et procede de detection d'objets
WO2017110418A1 (ja) 2015-12-21 2017-06-29 株式会社小糸製作所 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法
US11249172B2 (en) 2015-12-21 2022-02-15 Koito Manufacturing Co., Ltd. Image acquiring apparatus for vehicle, control device, vehicle having image acquiring apparatus for vehicle or control device, and image acquiring method for vehicle
WO2017110417A1 (ja) 2015-12-21 2017-06-29 株式会社小糸製作所 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法
US10953813B2 (en) 2015-12-21 2021-03-23 Koito Manufacturing Co., Ltd. Image acquisition device to be used by vehicle and vehicle provided with same
EP3396411A4 (en) 2015-12-21 2019-08-21 Koito Manufacturing Co., Ltd. IMAGING DEVICE FOR VEHICLES AND VEHICLE THEREWITH
EP3825743A1 (en) 2016-01-20 2021-05-26 Magic Leap, Inc. Polarizing maintaining optical fiber in virtual/augmented reality system
CN106997586B (zh) * 2016-01-25 2019-12-20 杭州海康威视数字技术股份有限公司 一种物体材料确定方法、装置及系统
US9866816B2 (en) 2016-03-03 2018-01-09 4D Intellectual Properties, Llc Methods and apparatus for an active pulsed 4D camera for image acquisition and analysis
KR20170105701A (ko) * 2016-03-09 2017-09-20 한국전자통신연구원 스캐닝 장치 및 이의 동작 방법
US10234561B2 (en) 2016-05-09 2019-03-19 Microsoft Technology Licensing, Llc Specular reflection removal in time-of-flight camera apparatus
US10386486B2 (en) 2016-06-21 2019-08-20 Microsoft Technology Licensing, Llc Systems and methods for time of flight laser pulse engineering
EP3550325A4 (en) * 2016-11-30 2019-11-27 Sony Semiconductor Solutions Corporation DISTANCE MEASURING APPARATUS AND DISTANCE MEASURING METHOD
TWI620420B (zh) * 2016-12-02 2018-04-01 財團法人資訊工業策進會 可見光通訊系統及方法
CN106534803A (zh) * 2016-12-13 2017-03-22 Tcl集团股份有限公司 一种仿真窗显示的方法及系统
US10425628B2 (en) 2017-02-01 2019-09-24 Microsoft Technology Licensing, Llc Alternating frequency captures for time of flight depth sensing
US11287292B2 (en) 2017-02-13 2022-03-29 Lockheed Martin Corporation Sensor system
US10554958B2 (en) * 2017-03-13 2020-02-04 Microsoft Technology Licensing, Llc Systems and methods for interleaving multiple active camera frames
AU2018237067B2 (en) * 2017-03-21 2022-11-10 Magic Leap, Inc. Depth sensing techniques for virtual, augmented, and mixed reality systems
JP2019083501A (ja) * 2017-10-27 2019-05-30 ソニーセミコンダクタソリューションズ株式会社 撮像装置
US10339718B1 (en) * 2017-12-29 2019-07-02 Verizon Patent And Licensing Inc. Methods and systems for projecting augmented reality content
CN109059795B (zh) * 2018-06-29 2020-11-03 歌尔光学科技有限公司 深度测量方法、深度测量装置及拍摄设备
JP6822445B2 (ja) 2018-07-02 2021-01-27 カシオ計算機株式会社 投影装置、投影方法及びプログラム
US11500103B2 (en) 2018-10-23 2022-11-15 Lg Electronics Inc. Mobile terminal
US11620044B2 (en) 2018-10-23 2023-04-04 Lg Electronics Inc. Mobile terminal
WO2020085525A1 (ko) * 2018-10-23 2020-04-30 엘지전자 주식회사 이동단말기 및 그 제어 방법
KR20200069096A (ko) * 2018-12-06 2020-06-16 삼성전자주식회사 전자 장치 및 이를 이용하여 오브젝트의 깊이 정보를 획득하는 방법
CN113491111A (zh) * 2019-03-19 2021-10-08 英特尔公司 用于沉浸式视频编码的高级别语法
US11443447B2 (en) 2020-04-17 2022-09-13 Samsung Electronics Co., Ltd. Three-dimensional camera system
US20210356597A1 (en) * 2020-05-15 2021-11-18 Analog Devices International Unlimited Company Continuous wave time of flight system
CN114125193A (zh) * 2020-08-31 2022-03-01 安霸国际有限合伙企业 使用具有结构光的rgb-ir传感器得到无污染视频流的计时机构

Family Cites Families (189)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4653104A (en) * 1984-09-24 1987-03-24 Westinghouse Electric Corp. Optical three-dimensional digital data acquisition system
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (zh) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
EP0590101B1 (en) 1991-12-03 1999-06-23 French Sportech Corporation Interactive video testing and training system
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
US6229913B1 (en) 1995-06-07 2001-05-08 The Trustees Of Columbia University In The City Of New York Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two-images due to defocus
IL114278A (en) 1995-06-22 2010-06-16 Microsoft Internat Holdings B Camera and method
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US6057909A (en) 1995-06-22 2000-05-02 3Dv Systems Ltd. Optical ranging camera
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
EP0958002A4 (en) 1996-05-08 2001-03-28 Real Vision Corp REAL-TIME SIMULATION USING POSITION DETECTION
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
CN1168057C (zh) 1996-08-14 2004-09-22 挪拉赫梅特·挪利斯拉莫维奇·拉都包夫 追踪并显示使用者在空间的位置与取向的方法,向使用者展示虚拟环境的方法以及实现这些方法的系统
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
EP0849697B1 (en) 1996-12-20 2003-02-12 Hitachi Europe Limited A hand gesture recognition system and method
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
AU1099899A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6384819B1 (en) 1997-10-15 2002-05-07 Electric Planet, Inc. System and method for generating an animatable character
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
EP0991011B1 (en) 1998-09-28 2007-07-25 Matsushita Electric Industrial Co., Ltd. Method and device for segmenting hand gestures
AU1930700A (en) 1998-12-04 2000-06-26 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
WO2000036372A1 (en) 1998-12-16 2000-06-22 3Dv Systems, Ltd. Self gating photosurface
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6810135B1 (en) 2000-06-29 2004-10-26 Trw Inc. Optimized human presence detection through elimination of background interference
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
JP2002031516A (ja) 2000-07-18 2002-01-31 Asahi Optical Co Ltd ３次元画像入力装置
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
KR100429799B1 (ko) * 2001-11-10 2004-05-03 삼성전자주식회사 디스플레이 장치에서의 투사 광의 세기 제어 장치 및 방법
JP2003279887A (ja) * 2002-03-22 2003-10-02 Nec Viewtechnology Ltd Ｄｍｄプロジェクターとその映像信号補正方法
EP1497160B2 (de) 2002-04-19 2010-07-21 IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. Sicherheitsvorrichtung für ein fahrzeug
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US20050122308A1 (en) * 2002-05-28 2005-06-09 Matthew Bell Self-contained interactive video display system
US7348963B2 (en) * 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US20040037450A1 (en) * 2002-08-22 2004-02-26 Bradski Gary R. Method, apparatus and system for using computer vision to identify facial characteristics
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
EP1477924B1 (en) 2003-03-31 2007-05-02 HONDA MOTOR CO., Ltd. Gesture recognition apparatus, method and program
US7151521B2 (en) 2003-03-31 2006-12-19 Intel Corporation Methods and apparatus for driving pixels in a microdisplay
US6919549B2 (en) * 2003-04-11 2005-07-19 Canesta, Inc. Method and system to differentially enhance sensor dynamic range
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
WO2004107266A1 (en) 2003-05-29 2004-12-09 Honda Motor Co., Ltd. Visual tracking using depth data
EP3196805A3 (en) 2003-06-12 2017-11-01 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
US7379563B2 (en) 2004-04-15 2008-05-27 Gesturetek, Inc. Tracking bimanual movements
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
KR100604323B1 (ko) 2004-08-28 2006-07-24 삼성테크윈 주식회사 내장형 카메라 장치 및 이를 구비한 휴대폰
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
EP1849123A2 (en) 2005-01-07 2007-10-31 GestureTek, Inc. Optical flow based tilt sensor
WO2006074310A2 (en) 2005-01-07 2006-07-13 Gesturetek, Inc. Creating 3d images of objects by illuminating with infrared patterns
EP2487624B1 (en) 2005-01-07 2020-02-19 Qualcomm Incorporated(1/3) Detecting and tracking objects in images
KR100960577B1 (ko) 2005-02-08 2010-06-03 오블롱 인더스트리즈, 인크 제스처 기반의 제어 시스템을 위한 시스템 및 방법
US7317836B2 (en) 2005-03-17 2008-01-08 Honda Motor Co., Ltd. Pose estimation based on critical point analysis
CN103257684B (zh) 2005-05-17 2017-06-09 高通股份有限公司 方向敏感的信号输出方法及装置
DE602005010696D1 (de) 2005-08-12 2008-12-11 Mesa Imaging Ag Hochempfindliches, schnelles Pixel für Anwendung in einem Bildsensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
US7911207B2 (en) 2005-11-16 2011-03-22 Board Of Regents, The University Of Texas System Method for determining location and movement of a moving object
JP4569506B2 (ja) 2006-03-31 2010-10-27 株式会社ニコン カメラシステム
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
US8970680B2 (en) 2006-08-01 2015-03-03 Qualcomm Incorporated Real-time capturing and generating stereo images and videos with a monoscopic low power mobile device
US7643745B2 (en) 2006-08-15 2010-01-05 Sony Ericsson Mobile Communications Ab Electronic device with auxiliary camera function
BRPI0621997A2 (pt) * 2006-09-21 2011-12-27 Thomson Licensing mÉtodo e sistema para aquisiÇço de modelo tridimensional
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
JP2008241695A (ja) * 2007-02-27 2008-10-09 Fujifilm Corp 測距装置及び測距方法
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
US8994757B2 (en) * 2007-03-15 2015-03-31 Scalable Display Technologies, Inc. System and method for providing improved display quality by display adjustment and image processing using optical feedback
TWI433052B (zh) 2007-04-02 2014-04-01 Primesense Ltd 使用投影圖案之深度製圖
JP5212365B2 (ja) 2007-05-07 2013-06-19 株式会社ニコン 投射機能付き携帯電子機器および投射機能付き携帯電話
JP5217268B2 (ja) 2007-06-22 2013-06-19 株式会社リコー 携帯型電子機器
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
US8166421B2 (en) 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
US8368753B2 (en) 2008-03-17 2013-02-05 Sony Computer Entertainment America Llc Controller with an integrated depth camera
EP2283383B1 (en) 2008-04-11 2013-07-17 École Polytechnique Fédérale de Lausanne (EPFL) Time-of-flight based imaging system using a display as illumination source
CN101254344B (zh) 2008-04-18 2010-06-16 李刚 场地方位与显示屏点阵按比例相对应的游戏装置和方法
WO2010006081A1 (en) * 2008-07-08 2010-01-14 Chiaro Technologies, Inc. Multiple channel locating
GB2461894B (en) 2008-07-16 2010-06-23 Light Blue Optics Ltd Holographic image display systems
JP5647118B2 (ja) 2008-07-29 2014-12-24 マイクロソフト インターナショナル ホールディングス ビイ．ヴイ． 撮像システム
CN101650520A (zh) 2008-08-15 2010-02-17 索尼爱立信移动通讯有限公司 移动电话的可视激光触摸板和方法
JP5448617B2 (ja) * 2008-08-19 2014-03-19 パナソニック株式会社 距離推定装置、距離推定方法、プログラム、集積回路およびカメラ
US8717416B2 (en) 2008-09-30 2014-05-06 Texas Instruments Incorporated 3D camera using flash with structured light
US8337020B2 (en) 2008-11-02 2012-12-25 Citizen Finetech Miyota Co., Ltd. Polarization conversion and color-combination techniques for pico projector illuminators

Also Published As

Publication number Publication date
US8681255B2 (en) 2014-03-25
ES2587436T3 (es) 2016-10-24
CA2812433A1 (en) 2012-04-12
CN102510461A (zh) 2012-06-20
CA2812433C (en) 2018-05-15
EP2622847A1 (en) 2013-08-07
KR101861393B1 (ko) 2018-05-28
JP5894600B2 (ja) 2016-03-30
EP2622847A4 (en) 2014-08-06
JP2013546222A (ja) 2013-12-26
WO2012047410A1 (en) 2012-04-12
EP2622847B1 (en) 2016-06-29
IL225090A (en) 2017-08-31
KR20130138225A (ko) 2013-12-18
US20120075534A1 (en) 2012-03-29

Similar Documents

Publication Publication Date Title
CN102510461B (zh) 集成低功率深度相机和投影设备
CN101800853B (zh) 能够判别与物体的邻近度的图像传感器
CN103688369B (zh) 双向显示器及其控制
TWI457688B (zh) 投影裝置、投影方法及記憶程式的記憶媒體
WO2019174435A1 (zh) 投射器及其检测方法和装置、图像获取装置、电子设备、可读存储介质
JP4623843B2 (ja) ３次元画像入力装置
CN104253947A (zh) 智能相机闪光灯
JP2007517473A (ja) パルスｒｇｂレーザーを交互に放射することによる、レーザープロジェクションディスプレイにおける電力の節約
US20220086268A1 (en) Controlling Method for Electronic Device and Electronic Device
US8882278B1 (en) Projected display
US10313586B2 (en) Electronic apparatus, method for controlling the same, and storage medium
CN107683403A (zh) 距离图像获取装置以及距离图像获取方法
US8531590B2 (en) Camera with precise visual indicator to subject when within camera view
US7167201B2 (en) Device incorporating eye-start capability
US20210160414A1 (en) Display having optical sensor and optical sensing module thereof
US11947045B2 (en) Controlling method for electronic device, and electronic device
CN103685974A (zh) 成像装置和控制方法
KR20110080290A (ko) 3ｄ 정보 획득장치 및 이의 광원 구동방법, 그리고, 3ｄ 정보 획득 시스템
CN201464785U (zh) 微型投影机
US11950339B2 (en) Lighting apparatus, and corresponding system, method and computer program product
US9736387B2 (en) Irradiation device, irradiation method, and program for switching irradiation regions
WO2022188789A1 (zh) 光线的处理系统、壳体、光线的处理方法以及相关设备
US20210067662A1 (en) 3d active depth sensing with laser pulse train bursts and a gated sensor

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150720

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150720

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.