CN104094594B - 3d缩放成像器 - Google Patents

3d缩放成像器 Download PDF

Info

Publication number
CN104094594B
CN104094594B CN201380006368.2A CN201380006368A CN104094594B CN 104094594 B CN104094594 B CN 104094594B CN 201380006368 A CN201380006368 A CN 201380006368A CN 104094594 B CN104094594 B CN 104094594B
Authority
CN
China
Prior art keywords
distance
camera
feature
pixel
tof
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380006368.2A
Other languages
English (en)
Other versions
CN104094594A (zh
Inventor
S·卡茨
A·阿德莱尔
G·叶海弗
D·科恩
E·拉里
S·费尔岑式特恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN104094594A publication Critical patent/CN104094594A/zh
Application granted granted Critical
Publication of CN104094594B publication Critical patent/CN104094594B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance

Abstract

一种3D成像器，包括：分别具有固定的广角FOV和窄角FOV的两个相机，广角FOV和窄角FOV重叠用以为成像器提供活动空间；以及控制器，其响应于相机提供的距离和把活动空间分成近区、中间区和远区来确定到该活动空间中诸特征的距离。

Description

3D缩放成像器
背景技术
当对象远离相机移动时，对象对着相机在其上对对象成像的光电传感器的角度减小，并且相机投射在该光电传感器上的对象的图像大小以及该光电传感器中被该图像所覆盖的像素数目减少。随着图像大小和图像投射到其上的像素数目的减少，对象的特征的分辨率降低并且对象的细节可能变得无法分辨。提供缩放功能性的相机的光学系统是可调整的，从而在对象从相机中后退时它可被“放大”以保存或增加对象对着相机光电传感器的角度。对对象进行放大扩大了相机在其光电传感器上聚焦的对象的图像并且改善了对象的成像特征的分辨率。
通常通过机械系统来提供相机的缩放调整，该机械系统移动相机光学系统中的一个或多个透镜以改变透镜的相对位置并由此改变光学系统的焦距。该系统移动各透镜以给相机提供相对长的焦距和以相对小的视角来放大对象为特征的视野(FOV)并且扩大相机获取的对象的图像。该系统移动各透镜以给相机提供相对短的焦距和相对广角的FOV来“缩小”对象及使相机获取的对象的图像变小。
相机的FOV是由从相机的光学中心延伸的固定角度定义的空间区域，并且由相机的光学系统在相机的光电传感器上对其中的点进行成像。对绝大多数成像目的而言，可通过水平视角和竖直视角方便地测量FOV的大小。水平视角和竖直视角是在FOV中夹在从相机的光学中心延伸出的两条线之间的最大角度，水平视角和竖直视角分别同与地面平行和与地面垂直的平面中的相机光轴共面。
尽管放大扩大了相机成像的场景中对象的图像，但是它也减小了相机的FOV视角并由此导致成像场景的大小以及相机能够成像的围绕相机的环境的一部分减小。尽管缩小使相机成像的场景中对象的图像变小，但是它也增大了相机的FOV视角并由此导致成像场景的大小以及相机能够成像的围绕相机的环境的一部分增大。
对于诸如跟踪人的姿势以使其与计算机进行对接的很多应用程序而言，对人成像的相机用在相对大的空间体(下文中称作“活动空间”)上有可接受的分辨率程度对人成像是有利的。例如，为了使人与对人的全身运动作出响应的计算机游戏(下文中还是全身的三维(3D)游戏，诸如拳击游戏或需要锻炼的游戏)对接，相机用可接受分辨率在活动空间内的基本上所有地方对人成像可以是有利的。该活动空间例如可具有从接近相机等于约1m(米)的距离延伸到距相机约3m(米)远距离的“长度”。为了在活动空间的长度上提供有利的图像分辨率，相机光学器件可被配置用于缩放调整。
使用3D相机(诸如，三角测量或飞行时间(TOF)3D相机)有利地执行对人进行成像以在玩3D游戏期间跟踪人的姿势或动作，该3D相机获取到人的诸特征的距离以及到可任选的人的环境的诸特征的距离。在基本相同的给定时间由3D相机获取的人的距离及可任选的人的环境的距离提供包括人的场景的“深度图像(range image)”。3D相机一般是使用其生成的光对场景进行成像的活动照明相机并且被配置确定到场景中诸特征的距离。
三角测量型3D相机从相机自两个一般稍有不同的视角对特征成像的角度获取到场景中这些特征的距离。三角测量相机可用被称作“结构化光”的在空间上被调制的光来照明场景。飞行时间(TOF)三维(3D)相机通过对该相机发射的在时间上被调制的光行进到特征并返回到该相机要花费多少时间进行计时，来获取距相机所成像的场景中特征的距离。相机一般以很短的光脉冲发射光并且对来自它收集的特征所反射的脉冲的光进行成像以确定往返时间(即光的“来回”行进时间)。
提供具有缩放光学器件的3D相机一般在技术上和成本上都是有挑战的。
发明内容
本发明的实施例涉及提供3D成像系统(在下文中也称作“3D成像器”)，其包括具有与第二3D相机的窄角FOV的至少一部分重叠的广角FOV的第一3D相机。第一和第二3D相机的FOV界定3D成像器的活动空间。3D成像器包括处理器，用可执行指令集对该处理器编程以供实现响应于第一和第二3D相机提供的距离信息来提供活动空间中诸特征的深度图像的算法。
根据本发明的实施例，该算法响应于第一3D相机(下文中也被称作“近相机”)所确定的距离，来确定到相对接近3D成像器的活动空间的第一“近区”内诸特征的距离。该算法响应于第二3D相机(下文中也被称作“远相机”)所确定的距离，来确定到相对远离3D成像器的活动空间的第二“远区”内诸特征的距离。使用两个3D相机提供的距离信息确定到近3D相机的FOV和远3D相机的FOV在此重叠的活动空间的第三、“重叠”区内诸特征的距离。
在本发明的实施例中，近3D相机和远3D相机分别包括在下文中也称作近TOF相机和远TOF相机的近TOF 3D相机和远TOF 3D相机。近TOF相机或远TOF相机中的像素获取图像(下文中也称作“距离图像(distance image)”)，该图像提供在该像素上成像的活动空间内的特征距TOF相机的距离的测量。根据本发明的实施例，该算法提供使TOF相机中诸像素相关以确定近或远TOF相机中哪些像素对活动空间中由远或近TOF相机中的像素分别成像的基本相同的特征进行成像的方法。响应于由像素获取的距离图像提供的距离信息执行该相关。可任选地，通过使不同TOF相机中像素对活动空间中相同特征成像的概率分布最大化来执行该相关。
在一实施例中，3D成像器包括控制器，其响应于由3D成像器成像的活动空间中诸特征的距离，控制由3D成像器提供用以照明活动空间的光的强度。
通过根据本发明的一实施例配置3D成像器，从而使其包括分别具有相对广角FOV和窄角FOV的近TOF相机和远TOF相机，3D成像器具有相对大的活动空间。该3D成像器以相同的相对高的空间分辨率而无需使用常规缩放光学仪器对空间中基本所有地方的特征成像。
在讨论中，除非另行说明，修改本发明的实施例的特征的条件或关系特性的诸如“基本上”和“大约”的形容词应被理解为该条件或特性被定义为针对该实施例所意图的应用在该实施例的操作可接受的容差范围以内。
提供本发明内容是为了以简化的形式介绍将在以下详细描述中进一步描述的一些概念。本发明内容并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。
附图说明
以下参考本文所附的在本段后列出的各个附图来描述本发明的各实施例的非限制性示例。在不止一个附图中出现的相同的结构、元素或部件通常在它们出现的所有图中用相同的数字来标记。附图中所示的组件的尺寸和特征是为了方便和清楚呈现而选择的，并且不一定按比例显示。
图1根据本发明的实施例示意性地示出了包括第一和第二TOF相机的3D成像器以及由TOF相机的FOV提供的成像器的活动空间的平面图；
图2根据本发明的实施例示意性地示出了在图1中所示的3D成像器的活动空间的相同区域中由TOF相机获取且被用来确定到活动空间中特征的距离的诸特征的距离图像之间的几何关系；以及
图3A和3B示出了根据本发明的实施例用于确定距活动空间中特征的距离的算法的流程图。
详细描述
在下文的详细描述中，参考示出TOF 3D成像器各部件及由TOF相机的FOV提供的活动空间的图1来讨论包括多个(可任选为两个)TOF相机的TOF 3D成像器的诸方面。图2示意性地示出了针对在图1所示的TOF 3D成像器的活动空间的相同区域中的特征由两个TOF相机中的像素获取的距离图像之间的几何关系。图示意性地示出由距离图像提供的距离测量中以及由TOF相机中的像素提供的距离测量的频率分布(为了方便被假设为高斯分布)中的不确定性。参考图2以及图3A和3B中所示的流程图讨论了用于使用由两个TOF相机提供的信息来确定距活动空间中各特征的距离以及用于使像素相关以确定两个相机中的哪些像素对应且对活动空间中基本相同的特征成像的方法。
图1示意性地示出了包括近TOF相机30、远TOF相机40和光源50的TOF 3D成像器20的平面图。在插图90中示出了TOF相机的细节。
近TOF相机30包括由透镜31表示的光学系统，其收集来自被近TOF相机成像的对象的光并且把所收集的光成像在光电传感器32上。光学系统31具有光学中心33以及焦距fN其连同光电传感器32一起界定了以由线44界定的相对大的(可任选固定的)水平视角θN为特征的近TOF相机的广角FOV。指示界定近TOF相机30的广角FOV的视角θN的线的数字44还用来指FOV，其可被称作近TOF相机30的“近FOV”。光学系统31还包括用于遮挡近TOF相机30使其挡板打开和关闭的快门35。
类似地，远TOF相机40包括由透镜41表示的光学系统，其收集来自相机的FOV中对象的光并且把所收集的光成像在光电传感器42上。光学系统具有光学中心43以及焦距fF其连同光电传感器42一起界定了以由线34界定的相对大的(可任选固定的)水平视角θF为特征的远TOF相机的窄角FOV。指示界定远TOF相机40的广角FOV的视角θF的线的数字34还用来指FOV，其可被称作远TOF相机的“远FOV”。光学系统41还包括用于遮挡远TOF相机使其挡板打开和关闭的快门45。
光源50可被控制器60控制以辐射一系列光脉冲来照明近FOV 44和远FOV 34中的对象。由光源55辐射的光脉冲示意性地由标有数字52的方形“脉冲”来表示。鉴于光脉冲52可包括由合适的发光二极管(LED)提供的光和/或来自频谱任意部分的激光，光脉冲52通常是近红外(NIR)光脉冲。
在自光源50辐射的一系列光脉冲中的每个光脉冲52来照明近FOV 44和远FOV34中的对象之时起的预定时延τND之后，控制器60控制近快门35在具有持续时间τN的短曝光时段内打开近TOF相机30的快门。在该曝光时段期间，抵达近TOF相机30的由近FOV44中诸特征从光脉冲反射的光由透镜31成像到光电传感器32上。所成像的光被近TOF相机记录并被用来确定光脉冲52中的光从光源50行进到特征并返回到TOF相机30的往返时间花费多少时间。往返时间和光速用于确定特征距近TOF相机的距离，并因此用于确定距TOF 3D成像器20的距离。
类似地，控制器60控制远TOF相机40中的快门45以在每一脉冲52被光源50辐射之后的延时τFD之后具有持续时间τF的短曝光时段内打开远TOF相机的快门。远TOF相机成像并记录在该曝光时段内从抵达远TOF相机的光脉冲反射的光并且使用所记录的光来确定从TOF 3D成像器20到远FOV 34中诸特征的距离。
远TOF相机40因其窄角FOV 34相比近TOF相机30能以更好的空间分辨率对距TOF3D成像器20更远的特征成像，但对TOF 3D成像器20附近相对小的空间体成像。另一方面，近TOF相机30因其相对广角的FOV 44能对TOF 3D成像器20附近相对大的空间体成像并且可被配置以可接受的空间分辨率对近处特征成像。
根据本发明的实施例，结合近FOV 44和远FOV 34为TOF 3D成像器20提供有利的活动空间并且确定如何使用近TOF相机30和远TOF相机40提供的距离信息，为TOF相机30和远TOF相机40建立成像范围的上下边界。分别用NRL和NRU来表示与近TOF相机30相关联的上下范围边界。在图1中用标记为NRL和NRU的虚线示意性地示出近TOF相机30的下边界和上边界。分别用FRL和FRU来表示与远TOF相机40相关联的上下范围边界。在图1中用标记为FRL和FRU的虚线示意性地示出远相机40的下边界和上边界。
视角θN和θF以及范围边界NRL、NRU、FRL及FRU可任选地为TOF 3D成像器20界定出由粗体虚线22示意性框出轮廓的活动空间。标记框出TOF 3D成像器20的轮廓的虚线的数字22还用来指活动空间。
在本发明的实施例中，确定近TOF相机30的广角FOV44的视角θN从而使活动空间22具有接近TOF 3D成像器20的有利宽度。确定近上边界NRU及远上边界FRU以及远TOF相机40的窄角FOV 34的视角θF，从而使近TOF相机30和远TOF相机40以基本相同的空间分辨率分别对距离NRU及FRU的对象成像。作为解说性示例，假设光电传感器32和42具有基本相同的像素大小，在tan[θF/2]＝(NRU/FRU)tan[θN/2]的情况下，近TOF相机30和远TOF相机40以基本相同的空间分辨率分别对距离NRU及FRU处的对象成像。
作为数字示例，假设近TOF相机30和远TOF相机40具有一包括640x 480个像素的阵列且诸像素具有5.6μm(微米)的对角线长度的光电传感器32和42。如果NRU＝200cm且FRU＝300cm，近TOF相机30和远TOF相机40在它们的FOV角度θN和θF分别等于约74o和约53o的情况下将分辨出分别在距离200cm和300cm处以约0.5cm分隔的特征。
为了提供平滑地连续活动空间22以及为了促成由近TOF相机30和远TOF相机40提供的图像的空间配准，确定远TOF相机40的下边界范围FRL和近TOF相机30的上边界范围NRU使得FRL<NRU。活动空间22因此包括三个区：近区23、中间区24和远区25。
作为数字示例，假设活动空间(例如为了玩全身3D计算机游戏的活动空间22)有利地从距TOF 3D成像器20等于约0.80m的NRL延伸到等于约3m的FRU。如果在距TOF 3D成像器2000.80m处的活动空间22约1m宽，则近TOF相机30有利地具有等于约62.5o的视角θN。如果在距TOF 3D成像器200距离NRU处的活动空间22有约2.5m的宽度，则NRU等于约2m且θF＝arctan[θF/2]＝arctan((NRU/FRU)tan[θN/2]θF)等于约42o。如果近TOF相机和远TOF相机具有一边15μm且能够有利地分辨距离NRU和FRU处以约1cm分隔的特征的正方形像素，则它们的焦距fN和fF有利地分别等于约30mm(毫米)和45毫米。
控制器60控制TOF 3D成像器20，并且响应于上、下边界NRL、NRU、FRL和FRU以及由它们界定的区23、24和25处理由近TOF相机30和远TOF相机40获取的距离图像所提供的距离信息。在本发明的实施例中，控制器60使用近TOF相机30的延时τND和曝光时段持续时间τN基本上分别等于远TOF相机40的延时τFD和曝光时段持续时间τF来控制TOF 3D成像器20。在这些基本相等的条件下，两个TOF相机在距TOF 3D成像器相同的距离范围上获取活动空间22中特征的图像。
在本发明的实施例中，控制器60用τFD和τF开关远TOF相机40的快门从而仅当特征距近TOF相机的距离在FRL和FRU之间时使远TOF相机40用来自光源50的光对存在于远FOV34中的特征成像。类似地，控制器60用τND和τF开关近TOF相机30的快门从而仅当特征距近TOF相机的距离在NRL和NRU之间时使近TOF相机30用来自光源50的光对存在于近FOV 44中的特征成像。
一般而言，控制器60可使用仅由近TOF相机30提供的距离图像为区23中的诸特征提供可接受的距离测量。一般而言，控制器60可使用仅由远TOF相机40提供的距离图像为区25中的诸特征提供可接受的距离测量。对于位于中间区24中的诸特征以及由TOF相机之一提供的明显无效或不确定的距离而言，控制器可任选地使用由近和远TOF相机两者提供的数据。实心圆73、74和75示意性地表示位处区23、24和25中的特征。
对于根据来自近TOF相机30和远TOF相机40两者的距离图像确定的距特征的距离，控制器指定TOF相机之一为“主”TOF相机。为了便于表示，在根据本发明的实施例如何使用来自TOF相机的信息的以下描述中，字母“C”表示主相机。字母C*表示可被称为"副"相机的另一相机。假设要为在主相机C的像素Pj上成像的特征确定距TOF 3D成像器20的距离。作为示例，在接下来的参考图2的讨论中，主相机被假设是近TOF相机30，而在像素Pj上成像的特征被假设是图1中所示的位于中间区24中的特征74。
图2示意性地示出了近TOF相机30和远TOF相机40、特征74位于其中的中间区24的区域100及特征74在其上被成像在主相机C(近TOF相机30)的光电传感器32上的像素Pj的经大幅放大的视图。
根据本发明的实施例，特征74被假设在空间中被限制沿一条线，该条线是从特征通过近TOF相机30的光学中心33传递并与像素Pj相交的成像线101(也称作主成像线101)。特征74的拖曳距离(trail distance)是根据由像素Pj获取的特征74的距离图像所确定的距离“dCPj”。沿主成像线101的距离“d”被假设是特征74在此沿成像线的实际距离的概率由概率分布函数P(d；dCPj,σj)给出，其中σj是与拖曳距离dCPj相关联的误差的度量。拍摄及读取噪声通常产生与拖曳距离相关联的误差。在参考线110和111之间的成像线101的线段示意性地表示与dCPj相关联的误差的幅度。在图2中，概率分布P(d；dCPj,σj)被假设是由被示出沿成像线101在距离dCPj处具有最大值和标准偏差σj的曲线120表示的正态分布。
根据本发明的实施例，对于沿成像线101、在参考线110和111之间、在距离djm处的多个区Rjm(1≤m≤M)中的每一个，根据哪个区Rjm将被成像来确定远TOF相机40的光电传感器42中的像素P*jm，如果它位于该区中。在图2中M被任意地示为等于5。通过由分别对应于Rj1,Rj2,…Rj5的对应距离dj1,dj2,…dj5标记的菱形图标沿主成像线101在参考线110和111之间的线段示意性地指示区Rjm。
像素P*jm位于从djm延伸通过副相机(远TOF相机40的)的光学中心43的成像线ILm(在下文中还称作副成像线ILm)的末尾处。假设由像素P*jm获取的距离图像沿其相关联的成像线ILm为在像素上成像的特征提供距离dC*P*jm并且距离dC*P*jm与误差σ*jm相关联。通过由距离dC*P*jm(1≤m≤5)标记的圆形图标沿副成像线ILm图形化表示距离dC*P*jm。
让在像素P*jm上成像的特征沿成像线ILm的距离d*m是该特征的实际距离的概率由概率分布函数P(d*m；dC*P*jm,σ*jm)给出。在图2中对于m＝5的示例性分布P(d*jm；dC*P*jm,σ*jm)被示出为正态分布130。如果主成像线101和副成像线ILm的交点位于沿成像线ILm距远TOF相机40的距离为d*jm处，d*jm是在像素P*jm上成像的特征距远TOF相机40的实际距离的概率是P(d*jm；dC*P*jm,σ*jm)。
根据本发明的实施例，控制器60确定特征(例如在主、近TOF相机30的像素Pj上成像的特征74)的距离DCPj是使P(dm；dCPj,σj)·P(d*jm；dC*P*jm,σ*jm)最大化的距离dm(1≤m≤M)。
要注意，尽管在上面的讨论中近TOF相机30被指定为主相机而远TOF相机40被指定为副相机，但是用于确定距离的过程一般在实质上与哪个相机是主相机是独立的。各相机的角色可以反转，其中远TOF相机40被指定为主相机而近TOF相机被指定为副相机，且主成像线101与远TOF相机相关联。
图3A和3B示出了算法的流程图200(也由数字200来指代)，TOF 3D成像器20通过该算法处理由近TOF相机30和远TOF相机40获取的来自活动空间22的图像的信息以确定距活动空间22中特征的距离并为活动空间中的诸特征提供深度图像。
在框202中，可任选地，控制器60确定是否调整TOF 3D成像器20以按缩小模式或按放大模式操作。调整TOF 3D成像器包括确定近TOF相机30(广角FOV、缩小相机)或远TOF相机40(窄角FOV、放大相机)中的哪个相机被指定是用于处理由相机提供的距离信息的主相机。关于图1的讨论提供了主相机在确定到活动空间22中特征的距离中的角色的示例(图1)。可任选地，为了确定哪个相机被有利地指定为主相机，控制器60根据由近TOF相机30和远TOF相机40提供的距离估计活动空间22中的近、重叠以及远区23、24和25中存在的感兴趣的特征数目。响应于所估计的特征数目，控制器确定是放大还是缩小。
例如，如果特征在近区23或远区25中存在优势，控制器60分别调整TOF 3D成像器20用近TOF相机30作主相机按放大模式操作，或者用远TOF相机40作主相机按缩小模式操作。可任选地，如果发现感兴趣的特征在中间区中存在优势，控制器60让TOF 3D成像器按它在估计感兴趣的特征数目之前进行操作的缩放模式进行操作，或根据预定默认过程确定缩放模式。
在框204中，控制器60设置由光源50辐射的光脉冲的强度以匹配缩放模式的选择。如果缩放模式是缩小，控制器可任选地设置该强度为适度水平，以减小接近TOF 3D成像器20的近区23中的特征把来自光脉冲的大量光反射回近TOF相机30和远TOF相机40(这使TOF相机中像素饱和)的概率。如果缩放模式是放大，控制器60可任选地设置所辐射的脉冲强度大于被选取用于缩小模式的适度强度，以减小距TOF 3D成像器20相对远的远区23中的特征不把足量的光反射回TOF相机用于进行可接受的成像的概率。可任选地，为在中间区24中发现相对大量的感兴趣的特征的情况确定中间强度。
在框206中，控制器把指定主相机C中诸像素的索引“j”初始化为0，该主相机可以是近TOF相机30或远TOF相机40。索引j具有表示近TOF相机30中像素总数的等于J的最大值。在框208中，控制器对索引加1。在框210中，控制器60为活动空间22中的特征确定距由主相机C中的像素Pj获取的距离图像的拖曳距离dCPj。在判定框212中，控制器60确定dCPj的值指示在像素Pj上成像的特征是否位于与主相机C相关联的活动空间22中的区内(下文中称作“C区”)。即，如果近TOF相机30是主相机C，C区是近区23(图1)，且如果远TOF相机40是主相机C，C区是远区25。如果成像的特征出现在C区，在框214中控制器可任选地确定距离DCPj＝dCPj是主相机C的像素Pj上成像的特征的距离。
控制器随后可任选地继续至框224并确定j是否等于主相机C中像素的总数J。如果j不等于J，控制器60返回框208对索引j加1并继续为在下一像素P(j+1)上成像的特征确定距离。如果j＝J，控制器60结束用于为主相机C中的像素Pj确定距离的过程，并且可任选地在框226中它使用距离DCPj j＝1→J为活动空间22提供深度图像。控制器随后可任选地继续至框228以结束过程。
在本发明的实施例中，如果特征不在C区中，控制器在判定框216中可任选地确定拖曳距离dCPj是否指示在像素Pj上成像的特征是否显现出位于中间区24内。如果是，在框218中可任选地，控制器60使用来自主相机C和副相机C*的距离信息为在Pj上成像的特征确定距离DCPj。可任选地，控制器根据近TOF相机30和远TOF相机40的几何结构以及它们在TOF3D成像器20中相对彼此的位置来确定哪个像素P*k:j→k对应Pj，并且对像素Pj成像的基本相同的特征成像。可任选地，控制器确定距离DCPj为拖曳距离dCPj和根据等式DCPj＝wCdCPj+wC*dC*P*k:j→k由像素P*k:j→k获取的距离图像所提供的拖曳距离dCP*k:j→k的加权平均，其中wC和wC*是加权因子。加权因子例如可以对来自主相机C的信息比来自副相机C*的信息更大程度地加权，或者通过它们各自误差的函数对拖曳距离加权。在确定DCPj之后，控制器60可任选地经由判定框224继续从框218到框208以增加索引j或到框226以为活动空间22提供深度图像并且继续至框228以结束过程。
如果在框216中控制器60发现拖曳距离dCPj不指示特征位于中间区24内，则或者拖曳距离指示特征位于C*区(该区在活动空间22内与副相机C*相关联)，或者拖曳距离无效且控制器可任选地继续至框220。可任选地，控制器执行与上面参考图2所述类似的过程并且根据表达式DCPj＝{dm|MAX[P(dm；dCPj,σj).·P(d*jm；dC*P*jm,σ*jm)]}确定DCPj。
控制器可任选地从框220继续至框224并且随后返回框208以为主相机C中的下一像素重复过程，或者至框226以提供深度图像并随后结束过程。
当然，如果TOF 3D成像器20处在连续操作中，例如为了支持全身3D计算机游戏对活动空间22中的特征重复地成像，控制器可继续为游戏期间为活动空间获取的每个图像集合重复执行算法200。
在本申请的说明书和权利要求书中，动词“包括”、“包含”和“具有”及其组合中的每一个是用来指示该动词的一个或多个宾语不一定是该动词的一个或多个主语的组件、元素、或部分的完整列表。
在本申请中作为示例提供了对本发明的各实施例的描述，而不旨在限制本发明的范围。所描述的各实施例包括不同特征，并非所有这些特征都是本发明的所有实施例所需的。某些实施例只利用了特征的某一些或特征的可能组合。本领域的技术人员会想到所描述的本发明的各实施例的变型以及本发明的各实施例包括在所描述的各实施例中注明的特征的不同组合。本发明的范围只由权利要求书来限定。

Claims (10)

1.一种三维成像系统，其对活动空间中的特征成像并确定到所述特征的距离，所述成像系统包括：
用至少一个光脉冲照明所述活动空间的光源；
分别包括第一光电传感器和第二光电传感器的第一和第二飞行时间三维相机，所述第一光电传感器和第二光电传感器具有光学中心和像素，所述相机在所述像素上对从至少一个光脉冲反射的光成像以获取所述特征的距离图像，其中第一飞行时间相机和第二飞行时间相机分别具有广角和窄角视野，所述广角视野和窄角视野重叠以提供活动空间；
把所述活动空间分成区的多个范围边界；以及
控制器，其响应于所述区来处理所述距离图像以确定到所述特征的距离。
2.根据权利要求1所述的系统，其特征在于，所述范围边界包括近范围下边界“NRL”、近范围上边界“NRU”、远范围下边界“FRL”和远范围上边界“FRU”。
3.根据权利要求2所述的系统，其特征在于，所述范围边界满足关系NRL<FRL<NRU<FRU并且把所述活动空间分成近区、中间区和远区，针对所述近区、中间区和远区，到所述活动空间中特征的距离分别位于NRL和FRL之间、FRL和NRU之间，以及NRU和FRU之间。
4.根据权利要求3所述的系统，其特征在于，为了提供包括到所述活动空间中特征的距离的深度图像，所述控制器：
指定所述飞行时间相机中的一个为主相机而另一个为副相机；
为所述主相机中多个像素中的每一个确定在所述像素上成像的活动空间中特征的拖曳距离；
如果所述主相机是第一相机且所述拖曳距离在所述近区内，或者所述主相机是第二相机且所述拖曳距离在所述远区内，确定到所述特征的距离是所述拖曳距离；
如果所述主相机是第一相机且所述拖曳距离不在所述近区内，或者所述主相机是第二相机且所述拖曳距离不在所述远区内，响应于所述拖曳距离和所述副相机中像素提供的距离来确定到所述特征的距离；以及
使用为所述主相机中像素确定的距离用于所述深度图像中的距离。
5.根据权利要求4所述的系统，其特征在于，所述拖曳距离位于所述中间区。
6.根据权利要求5所述的系统，其特征在于，所述控制器确定到所述特征的距离为所述拖曳距离和由所述副相机中像素提供的距离的平均。
7.根据权利要求4所述的系统，其特征在于，所述主相机是第一相机且所述拖曳距离位于所述远区，或者所述主相机是第二相机且所述拖曳距离位于所述近区。
8.根据权利要求7所述的系统，其特征在于，所述控制器确定所述副相机中的哪些像素对沿着穿过所述主相机中的像素及所述主相机的所述光学中心的线的点成像。
9.根据权利要求8所述的系统，其特征在于，所述控制器响应于由所述像素获取的距离图像，用来自至少一个光脉冲的光为所述副相机中的每个经确定的像素确定距离。
10.根据权利要求9所述的系统，其特征在于，所述控制器：
确定沿着穿过所述副相机的光学中心和所述经确定的像素的线的给定距离是在所述经确定的像素上成像的特征距所述副相机的实际距离的概率分布；
确定沿着所述主相机中的线的给定距离是在所述主相机像素上成像的特征距所述主相机的实际距离的概率分布；以及
使用所述概率分布确定在所述主相机像素上成像的特征距所述主相机的距离。
CN201380006368.2A 2012-01-23 2013-01-08 3d缩放成像器 Active CN104094594B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/356,618 2012-01-23
US13/356,618 US9720089B2 (en) 2012-01-23 2012-01-23 3D zoom imager
PCT/US2013/020693 WO2013112284A1 (en) 2012-01-23 2013-01-08 3d zoom imager

Publications (2)

Publication Number Publication Date
CN104094594A CN104094594A (zh) 2014-10-08
CN104094594B true CN104094594B (zh) 2017-06-20

Family

ID=48796901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380006368.2A Active CN104094594B (zh) 2012-01-23 2013-01-08 3d缩放成像器

Country Status (6)

Country Link
US (1) US9720089B2 (zh)
EP (1) EP2807826B1 (zh)
JP (1) JP2015510586A (zh)
KR (1) KR101992511B1 (zh)
CN (1) CN104094594B (zh)
WO (1) WO2013112284A1 (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8988508B2 (en) * 2010-09-24 2015-03-24 Microsoft Technology Licensing, Llc. Wide angle field of view active illumination imaging system
US10154177B2 (en) * 2012-10-04 2018-12-11 Cognex Corporation Symbology reader with multi-core processor
US9426451B2 (en) * 2013-03-15 2016-08-23 Digimarc Corporation Cooperative photography
US9898670B2 (en) 2013-12-13 2018-02-20 Fts Computertechnik Gmbh Method and device for observing the environment of a vehicle
EP2890125B1 (en) * 2013-12-24 2021-10-13 Sony Depthsensing Solutions A time-of-flight camera system
US10171792B2 (en) * 2014-08-15 2019-01-01 The University Of Akron Device and method for three-dimensional video communication
US9674415B2 (en) 2014-12-22 2017-06-06 Google Inc. Time-of-flight camera system with scanning illuminator
US9635231B2 (en) 2014-12-22 2017-04-25 Google Inc. Time-of-flight camera system and method to improve measurement quality of weak field-of-view signal regions
US9854226B2 (en) * 2014-12-22 2017-12-26 Google Inc. Illuminator for camera system having three dimensional time-of-flight capture with movable mirror element
US9918073B2 (en) 2014-12-22 2018-03-13 Google Llc Integrated camera system having two dimensional image capture and three dimensional time-of-flight capture with movable illuminated region of interest
US20160182891A1 (en) * 2014-12-22 2016-06-23 Google Inc. Integrated Camera System Having Two Dimensional Image Capture and Three Dimensional Time-of-Flight Capture With A Partitioned Field of View
GB2541101A (en) * 2015-06-23 2017-02-08 Bosch Gmbh Robert Method and camera system for determining the distance of objects in relation to a vehicle
EP3396413A4 (en) 2015-12-21 2019-08-21 Koito Manufacturing Co., Ltd. VEHICLE APPARATUS FOR VEHICLES, CONTROL APPARATUS, VEHICLE EQUIPPED WITH THE IMAGE RECORDING DEVICE FOR VEHICLES AND THE CONTROL DEVICE IMAGE FORMULATION OF VEHICLES
CN108431631A (zh) 2015-12-21 2018-08-21 株式会社小糸制作所 车辆用图像获取装置、控制装置、包括了车辆用图像获取装置或控制装置的车辆和车辆用图像获取方法
US11040649B2 (en) 2015-12-21 2021-06-22 Koito Manufacturing Co., Ltd. Vehicular sensor and vehicle provided with same
WO2017110414A1 (ja) * 2015-12-21 2017-06-29 株式会社小糸製作所 車両用画像取得装置およびそれを備えた車両
EP3396414A4 (en) 2015-12-21 2019-08-21 Koito Manufacturing Co., Ltd. IMAGING APPARATUS FOR USE BY A VEHICLE, CONTROL DEVICE, VEHICLE WITH THE CONTROL DEVICE OR IMAGING DEVICE FOR USE BY A VEHICLE AND IMAGE RECORDING FOR USE BY A VEHICLE
CN110998566B (zh) * 2017-06-30 2024-04-12 交互数字Vc控股公司 基于眼睛跟踪和生理测量而生成和显示360度视频的方法和装置
US10785400B2 (en) * 2017-10-09 2020-09-22 Stmicroelectronics (Research & Development) Limited Multiple fields of view time of flight sensor
JP7106855B2 (ja) 2017-11-10 2022-07-27 株式会社デンソー カメラモジュール
US10661725B2 (en) 2017-11-10 2020-05-26 Denso Corporation Camera module
US10406995B2 (en) * 2017-11-10 2019-09-10 Denso Corporation Camera module
US10627606B2 (en) 2017-11-10 2020-04-21 Denso Corporation Camera module
US10232800B1 (en) 2017-11-10 2019-03-19 Denson Corporation Camera module
US10534253B2 (en) 2017-11-10 2020-01-14 Denso Corporation Camera module which includes lens units and configured to be mounted on inside of windshiled of vehicle
WO2019099490A1 (en) * 2017-11-14 2019-05-23 Continental Automotive Systems, Inc. Flash lidar sensor assembly
CN107872665A (zh) * 2017-12-07 2018-04-03 深圳市趣创科技有限公司 手机3d摄像功能及系统
JP7150508B2 (ja) * 2018-07-24 2022-10-11 株式会社東芝 鉄道車両用撮像システム
KR102606824B1 (ko) 2018-12-14 2023-11-27 삼성전자주식회사 멀티 카메라를 포함하는 장치 및 이의 이미지 처리방법
CN113557172A (zh) * 2019-03-11 2021-10-26 株式会社小糸制作所 选通照相机、汽车、车辆用灯具、物体识别系统、运算处理装置、物体识别方法、图像显示系统、检查方法、摄像装置、图像处理装置
US11172112B2 (en) 2019-09-09 2021-11-09 Embedtek, LLC Imaging system including a non-linear reflector
WO2021066219A1 (ko) * 2019-10-01 2021-04-08 엘지전자 주식회사 이동단말기
CN113163112B (zh) * 2021-03-25 2022-12-13 中国电子科技集团公司第三研究所 一种聚变焦控制方法及系统
WO2023038264A1 (ko) * 2021-09-13 2023-03-16 삼성전자 주식회사 복수의 카메라들로부터 획득된 이미지들에 기반하는 입체 사진을 생성하는 전자 장치 및 그 방법
CN114112964B (zh) * 2021-11-10 2023-09-12 中国科学院上海技术物理研究所 一种傅里叶红外光谱仪多元视场自动测量系统及方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011104706A1 (en) * 2010-02-23 2011-09-01 Ben-Gurion University Of The Negev Research And Development Authority A system and method for providing 3d imaging

Family Cites Families (190)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4402608A (en) 1980-10-02 1983-09-06 Solid Photography Inc. Room scanning system using multiple camera and projector sensors
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
DE58902538D1 (de) 1988-05-19 1992-12-03 Siemens Ag Verfahren zur beobachtung einer szene und einrichtung zur durchfuehrung des verfahrens.
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (zh) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
JPH06508788A (ja) 1991-12-03 1994-10-06 フレンチ　スポーテク　コーポレイション 対話型ビデオ式検査および訓練システム
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
JPH0844490A (ja) 1994-07-28 1996-02-16 Matsushita Electric Ind Co Ltd インターフェイス装置
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
JP3481631B2 (ja) 1995-06-07 2003-12-22 ザ トラスティース オブ コロンビア ユニヴァーシティー イン ザ シティー オブ ニューヨーク 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを用いる物体の３次元形状を決定する装置及び方法
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
WO1999044698A2 (en) 1998-03-03 1999-09-10 Arena, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
WO1997041925A1 (en) 1996-05-08 1997-11-13 Real Vision Corporation Real time simulation using position sensing
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
EP0959444A4 (en) 1996-08-14 2005-12-07 Nurakhmed Nurislamovic Latypov METHOD FOR TRACKING AND REPRESENTING THE POSITION AND ORIENTATION OF A SUBJECT IN THE SPACE, METHOD FOR PRESENTING A VIRTUAL SPACE THEREON, AND SYSTEMS FOR CARRYING OUT SAID METHODS
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
EP0849697B1 (en) 1996-12-20 2003-02-12 Hitachi Europe Limited A hand gesture recognition system and method
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JPH1139596A (ja) 1997-07-17 1999-02-12 Fuji Heavy Ind Ltd 車外監視装置
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
AU9808298A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. A system and method for generating an animatable character
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
AU1099899A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
EP0991011B1 (en) 1998-09-28 2007-07-25 Matsushita Electric Industrial Co., Ltd. Method and device for segmenting hand gestures
US6661918B1 (en) 1998-12-04 2003-12-09 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
WO2000036372A1 (en) 1998-12-16 2000-06-22 3Dv Systems, Ltd. Self gating photosurface
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
JP2000292538A (ja) 1999-04-07 2000-10-20 Mitsubishi Electric Corp 車両用障害物検出装置
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
EP1103004A1 (de) 1999-05-26 2001-05-30 Robert Bosch Gmbh Objektdetektionssystem
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
JP4311861B2 (ja) 2000-05-18 2009-08-12 富士通テン株式会社 車両用物体検出装置
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
DE50302813D1 (de) 2002-04-19 2006-05-18 Iee Sarl Sicherheitsvorrichtung für ein fahrzeug
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
DE602004006190T8 (de) 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
US7372977B2 (en) 2003-05-29 2008-05-13 Honda Motor Co., Ltd. Visual tracking using depth data
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
EP1631937B1 (en) 2003-06-12 2018-03-28 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
US7079173B2 (en) 2004-02-04 2006-07-18 Hewlett-Packard Development Company, L.P. Displaying a wide field of view video image
US7379563B2 (en) 2004-04-15 2008-05-27 Gesturetek, Inc. Tracking bimanual movements
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
WO2006074310A2 (en) 2005-01-07 2006-07-13 Gesturetek, Inc. Creating 3d images of objects by illuminating with infrared patterns
WO2006074289A2 (en) 2005-01-07 2006-07-13 Gesturetek, Inc. Detecting and tracking objects in images
BRPI0606477A2 (pt) 2005-01-07 2009-06-30 Gesturetek Inc sensor de inclinação baseado em fluxo ótico
CN101536494B (zh) 2005-02-08 2017-04-26 奥布隆工业有限公司 用于基于姿势的控制系统的系统和方法
US7663662B2 (en) 2005-02-09 2010-02-16 Flir Systems, Inc. High and low resolution camera systems and methods
JP4686595B2 (ja) 2005-03-17 2011-05-25 本田技研工業株式会社 クリティカルポイント解析に基づくポーズ推定
US20070024701A1 (en) 2005-04-07 2007-02-01 Prechtl Eric F Stereoscopic wide field of view imaging system
WO2006124935A2 (en) 2005-05-17 2006-11-23 Gesturetek, Inc. Orientation-sensitive signal output
US7839429B2 (en) 2005-05-26 2010-11-23 Hewlett-Packard Development Company, L.P. In-camera panorama stitching method and apparatus
EP1752748B1 (en) 2005-08-12 2008-10-29 MESA Imaging AG Highly sensitive, fast pixel for use in an image sensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
DE102005056265A1 (de) 2005-11-14 2007-05-16 Pilz Gmbh & Co Kg Vorrichtung und Verfahren zum Überwachen eines Raumbereichs, insbesondere zum Absichern eines Gefahrenbereichs einer automatisiert arbeitenden Anlage
JP4276655B2 (ja) * 2005-12-01 2009-06-10 秀雄 錦織 野生生物検出センサ装置
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
JP2010500146A (ja) 2006-08-14 2010-01-07 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 放射線検出器の回転を伴う画像スティッチングのための画像収集
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
US8154578B2 (en) 2007-05-31 2012-04-10 Eastman Kodak Company Multi-camera residential communication system
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
US8643748B2 (en) 2007-11-20 2014-02-04 Motorola Mobility Llc Compact stationary lens optical zoom image capture system
CN101254344B (zh) 2008-04-18 2010-06-16 李刚 场地方位与显示屏点阵按比例相对应的游戏装置和方法
US7961301B2 (en) 2008-05-09 2011-06-14 Ball Aerospace & Technologies Corp. Flash LADAR system
ES2554549T3 (es) 2008-06-26 2015-12-21 Lynntech, Inc. Procedimiento de búsqueda de un objetivo térmico
KR101483462B1 (ko) * 2008-08-27 2015-01-16 삼성전자주식회사 깊이 영상 획득 장치 및 방법
US8570430B2 (en) 2008-09-07 2013-10-29 Rey. Focusing Systems Ltd. Dynamic camera focusing
JP2010190675A (ja) 2009-02-17 2010-09-02 Toyota Motor Corp 距離画像センサシステムおよび距離画像生成方法
JP2010206643A (ja) 2009-03-04 2010-09-16 Fujifilm Corp 撮像装置、方法およびプログラム
US8542287B2 (en) 2009-03-19 2013-09-24 Digitaloptics Corporation Dual sensor camera
US8872910B1 (en) * 2009-06-04 2014-10-28 Masoud Vaziri Method and apparatus for a compact and high resolution eye-view recorder
US8275205B2 (en) 2009-07-23 2012-09-25 Honeywell International Inc. Prioritizer system for target acquisition
DE102009045600B4 (de) 2009-10-12 2021-11-04 pmdtechnologies ag Kamerasystem
DE102009046108B4 (de) 2009-10-28 2022-06-09 pmdtechnologies ag Kamerasystem
CN102122393A (zh) * 2010-01-09 2011-07-13 鸿富锦精密工业（深圳）有限公司 三维模型建立系统、方法及具有该系统的建模装置
US9341715B2 (en) 2010-04-07 2016-05-17 Heptagon Micro Optics Pte. Ltd. Multi-level digital modulation for time of flight method and system
EP2389004B1 (en) 2010-05-20 2013-07-24 Sony Computer Entertainment Europe Ltd. 3D camera and imaging method
TW201323262A (zh) * 2011-12-02 2013-06-16 Hon Hai Prec Ind Co Ltd 車輛輔助系統及車輛輔助方法
DE102012207328A1 (de) 2012-05-03 2013-11-07 Audi Ag System und Verfahren zur Erfassung eines Fahrbahnprofils

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011104706A1 (en) * 2010-02-23 2011-09-01 Ben-Gurion University Of The Negev Research And Development Authority A system and method for providing 3d imaging

Also Published As

Publication number Publication date
JP2015510586A (ja) 2015-04-09
US20130188022A1 (en) 2013-07-25
KR101992511B1 (ko) 2019-06-24
WO2013112284A1 (en) 2013-08-01
EP2807826A1 (en) 2014-12-03
CN104094594A (zh) 2014-10-08
US9720089B2 (en) 2017-08-01
KR20140123079A (ko) 2014-10-21
EP2807826B1 (en) 2016-11-30
EP2807826A4 (en) 2015-06-03

Similar Documents

Publication Publication Date Title
CN104094594B (zh) 3d缩放成像器
US10327633B2 (en) Computational array camera with dynamic illumination for eye tracking
JP4926127B2 (ja) 移動体搭載用前方撮像制御装置
US10582188B2 (en) System and method for adjusting a baseline of an imaging system with microlens array
JP5587137B2 (ja) 測定装置及び測定方法
CN108603936B (zh) 激光扫描系统、激光扫描方法、非暂时性计算机可读存储介质
US10656275B1 (en) Remote sensing for detection and ranging of objects
JP5647118B2 (ja) 撮像システム
CN110178156A (zh) 包括可调节焦距成像传感器的距离传感器
US20140168424A1 (en) Imaging device for motion detection of objects in a scene, and method for motion detection of objects in a scene
US20170345180A1 (en) Information processing device and information processing method
KR20160129779A (ko) 비-라이트 필드 이미징 디바이스를 사용하여 라이트 필드 데이터를 획득하는 방법, 대응하는 디바이스, 컴퓨터 프로그램 제품 및 비일시적 컴퓨터 판독가능 캐리어 매체
JP2000270169A (ja) 運動識別方法
JP2019015706A (ja) 撮像装置及びモニタリング装置
JP2019101000A (ja) 測距点群データ測定システム、および制御プログラム
JP2012015642A (ja) 撮像装置
JP2015049200A (ja) 計測装置、方法及びプログラム
KR20190074835A (ko) 옵티컬 트래킹 시스템 및 옵티컬 트래킹 방법
WO2017038659A1 (ja) 運動検出装置及びそれを用いた三次元形状測定装置
CN104915948B (zh) 用于使用范围传感器选择二维兴趣区域的系统和方法
US11857153B2 (en) Systems and methods for multi-modal sensing of depth in vision systems for automated surgical robots
US11270668B1 (en) System and method for detecting screen orientation of a device
TW201804445A (zh) 移動物體檢測裝置
CN112911205A (zh) 监测系统和方法
JP6468755B2 (ja) 特徴点検出システム、特徴点検出方法、および特徴点検出プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150730

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150730

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

GR01 Patent grant
GR01 Patent grant