CN102393515B - 用于对飞行时间(tof)系统进行分层去混叠的方法和系统 - Google Patents

用于对飞行时间(tof)系统进行分层去混叠的方法和系统 Download PDF

Info

Publication number
CN102393515B
CN102393515B CN2011102170164A CN201110217016A CN102393515B CN 102393515 B CN102393515 B CN 102393515B CN 2011102170164 A CN2011102170164 A CN 2011102170164A CN 201110217016 A CN201110217016 A CN 201110217016A CN 102393515 B CN102393515 B CN 102393515B
Authority
CN
China
Prior art keywords
aliasing
phase place
phase
frequency
modulating frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2011102170164A
Other languages
English (en)
Other versions
CN102393515A (zh
Inventor
惠华
C·巴吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102393515A publication Critical patent/CN102393515A/zh
Application granted granted Critical
Publication of CN102393515B publication Critical patent/CN102393515B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/32Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • G01C3/08Use of electric radiation detectors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/04Systems determining the presence of a target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491Details of non-pulse systems
    • G01S7/4912Receivers
    • G01S7/4915Time delay measurement, e.g. operational details for pixel components; Phase measurement

Abstract

TOF系统分开地使用与分开的混叠间隔范围Z1,Z2,...,Zm相关联的n≥3个调制频率f1,f2,...,fm来获得深度数据。接着,生成按fDE1<fDE2<...<fDEn次序排序的n个中间频率fDE1,fDE2,...,fDEn,并且从分开地使用f1,f2,...,fm来获得的数据中计算对应的相位。对由此获得的数据的分层去混叠使用所生成的中间频率来实现。如果需要,分层去混叠可一次一步地实现。由此操作,该TOF系统提供有效混叠间隔范围ZD>Zk,其中k=1...n,如同该TOF系统以非常低的调制频率fD来操作,而同时提供深度分辨率确定性,如同该TOF系统以高调制频率fE来操作。优选地,高调制频率fE是所有调制频率f1,f2,...,fm的函数,该函数是f1,f2,...,fm的算术平均或加权平均。

Description

用于对飞行时间(TOF)系统进行分层去混叠的方法和系统
与共同待审申请的关系
要求来自2010年7月21日提交的共同待审美国临时发明申请系列号61/400,061、标题为“Methods and Systems for Hierarchical Dealiasing Time-of-Flight(TOF)Systems(用于对飞行时间(TOF)系统进行分层去混叠的方法和系统)”的优先权。还要求来自2009年6月26日提交的共同待审美国发明申请系列号12/459,033、标题为“Method and System for Lossless Dealiasing in Time-of-Flight(TOF)Systems(用于飞行时间(TOF)系统中无损去混叠的方法和系统)”的部分延续优先权。所述‘033申请是2007年10月2日提交的美国专利申请系列号11/906,609、标题为“Method and System for Lossless Dealiasing in Time-of-Flight(TOF)Systems(用于飞行时间(TOF)系统中无损去混叠的方法和系统)”的继续,现在的美国专利号为7,791,715。该新申请是所述共同待审申请系列号12/459,033的部分延续。 
技术领域
本发明一般地涉及深度成像系统,尤其涉及通过比较所发射的光能与所反射的检测出的光能之间的相移(θ)来获得距离(Z)处的深度图像的飞行时间(TOF)成像系统。Z中的改变产生相移θ中的改变,但最终相移开始重复,例如θ=θ+2·π,等。由此,距离Z为已知模2·π·C/2·ω=C/2·f,其中f为调制频率。本发明针对消除检测出的相移θ的值与距离Z之间的固有模糊性(或去混叠),尤其在存在噪声的情况下。 
背景技术
现代飞行时间(TOF)系统可通过发射已知相位 的经调制的光能来查明到目标对象的距离(Z),并且检查从该目标对象所反射回该TOF系统的光信号中的相移。这样的示例性相位型的TOF系统在由Canesta公司获得现在转让给微软公司的几个美国专利中描述。这些专利包括美国专利号6,515,740 “Methods for CMOS-Compatible Three-Dimensional Imaging Sensing Using Quantum Efficiency Modulation(使用量子效率调制的CMOS兼容的三维图像感测的方法)”、6,906,793标题为“Methods and Devices for Charge Management for Three Dimensional Sensing(用于三维感测的电荷管理的方法和设备)”、6,678,039“Method and System to Enhance Dynamic Range Conversion Useable With CMOS Three-Dimensional Imaging(用于CMOS三维成像可使用的增强动态范围转换的方法和系统)”、6,587,186“CMOS-Compatible Three-Dimensional Image Sensing Using Reduced Peak Energy(使用减小的峰值能量的CMOS兼容的三维图像感测)”、6,580,496“Systems for CMOS-Compatible Three-Dimensional Image Sensing Using Quantum Efficiency Modulaion(使用量子效率调制的CMOS兼容的三维图像感测的系统)”。 
由于本发明与这些现有技术的相位型TOF系统一起使用,此时回顾其操作是有用的。图1A是基于以上援引的专利(例如‘186专利),并描绘示例性相位型TOF系统。 
在图1A中,示例性相移TOF深度成像系统100可被制造在包括像素检测器140的二维阵列130的IC 110上,这些像素检测器在操作上可以是单端的或差分的。优选地,像素检测器140中的每一个具有用于处理由相关联的检测器输出的检测电荷的专用电路150。优选地,IC 110还包括微处理器或微控制器单元160、存储器170(优选地包括随机存取存储器或RAM以及只读存储器或ROM)、高速的可分发时钟180、以及各种计算和输入/输出(I/O)电路190。控制器单元160可执行对与对象的距离以及对象速度的计算,以及其他功能。 
在微处理器160的控制下,光能的源120通过激励器115来周期性地通电,并朝对象目标20发射经调制的光能。优选地,发射器120是至少一个LED或一个或多个激光二极管,发射低功率(例如可能1W)的周期性波形、产生被称为快门时间(可能10ms)的时间段的已知频率(可能几十个MHz)的光能发射。通常,发射器120以带有可能800nm波长的近红外(IR)操作。透镜125通常被用于聚焦所发射的光能。 
所发射的光能(被表示为S)的某一些将从目标对象20的表面上反射(被表示为S)。这一被反射的光能S将通过光圈视场光阑以及透镜(统称为 135),并将落在像素或光检测器140的二维阵列130上。当所反射的光能S撞击阵列130中的光检测器140时,光检测器内的光子将被释放,并被转换成微量的检测电流。为方便解释,传入光能可被模型化为S=A·cos(ω·t+θ),其中A为亮度或强度系数,ω·t表示周期性调制频率,以及θ表示相移。相移θ随着距离Z的改变而改变,并且图1B和1C描绘了所发射的信号与所检测的信号之间的相移θ。相移θ数据可被处理,以产生期望的Z深度信息。在阵列130内,像素检测器电流可被集成,以累积成用于形成深度图像的有意义的检测信号。以此方式,TOF系统100可在传感器阵列130中每一像素检测器140处为每一帧所获得的数据捕捉并提供Z深度信息。 
诸如系统100等相位型TOF系统内的信号检测在本文稍后参考图2B更完整地描述,但简言之,像素检测信息在至少两个离散相位(优选地0°和90°)处被捕捉并被处理以产生Z数据。 
系统100由于飞行时间而在距离Z处产生相移θ,由下式给出: 
θ=2·ω·Z/C=2·(2·π·f)·Z/C       (1) 
其中c是光在空气中的速度,300,000千米/秒。从以上等式(1),于是距离Z由下式给出: 
Z=θ·C/2·ω=θ·C/(2·2·f·π)     (2) 
并且,当θ=2·π时,与调制频率f相关联的混叠间隔范围由下式给出: 
ZAIR=C/(2·f)            (3) 
实际上,Z中的改变产生相移θ中的改变,但最终相移开始重复,例如θ=θ+2·π,等。由此,距离Z为已知模2·π·C/2·ω)=C/2·f,其中f为调制频率。由此,存在所检测的相移θ的值与距离Z之间的固有模糊性,并且采用多频方法来对相移数据进行消除模糊性或去混叠。由此,如果系统100报告距离Z1,现实中实际距离可以是ZN=Z1+N·C/2f中的任一个,其中N为整数。这一模糊性的本质可参考图1D和1E来更好的理解。 
图1D是针对系统100的所检测的相位θ对比距离Z的映射。假设系统100确定目标对象20的相位角θ’,其中这一相位信息使用比方说50MHz的调制频率f1来获得。如图1D所示,存在可由这一特定相位角表示的若干距离,例如z1、z2、z4、z5等,但哪一个是正确的距离?在图1D中,ZAIR1表示与以 频率f1所获得的z数据相关联的混叠间隔范围的Z距离,并且是从z1到z2、或z2到z4、或z4到z5等的距离。这些不同的z1、z2、z4、z5距离是模糊的且需要消除模糊性或去混叠,以标识正确的距离值。术语消除模糊性(disambiguate)和去混叠(dealias)、或名词消除模糊性和去混叠在本文中可被互换地使用。 
期望通过增加混叠间隔范围ZAIR1的量级来对z数据去混叠。一种现有技术的方法通过增加C/2f比率来进行,即通过减小调制频率f,见等式(3)。图1D还以加粗线示出为较低调制频率f2所获得的相位数据。在图1D中,f2可能是20MHz,因为f2波形的斜率dθ/dz小于f1波形的斜率大约一半,其中斜率dθ/dz与调制频率fm成比例。图1E是其中被描绘成逆时针旋转的线的向量以速度ω=dθ/dt=2πf旋转的极坐标表示。在现有技术的系统100中,数据从位于至少两个离散相位(例如0°和180°)处的像素检测器中被捕捉。 
由此,在图1D,当较低调制频率f2被采用时,由相位θ’所表示的候选距离值为z3、z6等。如在图1D中可见,混叠间隔范围ZAIR2已经被有利地从短范围ZAIR1(与较快的调制频率f1相关联)增加到较大范围ZAIR2。混叠间隔范围增加的比率将为比率f2/f1。但是,与以较高调正频率f1来获得相位数据相比,以较低调制频率f2来获得相位数据产生带有较小精确性或分辨率的Z值。这一不精确性由于频率的f2曲线斜率是调制频率f1的斜率的约一半而发生。由此,与以f1所获得的相位中的误差相比,在测量以f2所获得的相位中的误差被转换成Z中更大的误差。对于某一信噪比,以f1和以f2所获得的相位中的误差将是相同的,但Z中使用以较低的f2调制频率所获得的相位的对应不确定误差将是图1D的表示的两倍大。由此,在所有东西都相等的情况下,降低调制频率不期望地导致在准确地确定Z中的较低的分辨率(较大的不确定性)。 
由此,尽管增加混叠范围间隔是期望的,但通过减小调制频率来这样做是不期望的。这一用于去混叠的调制频率减小方法是浪费的,因为较低调制频率意味着来自发射器120(见图1A)的每瓦特照明功率的像素传感器140的准确性较低。例如,以因子2.5降低的调制频率,比如说从f=50MHz到f=20MHz,将有利地以相同因子来增加混叠间隔,比如说从3m到7.5m,但是惩罚是为了实现相似的不确定性性能,操作功率显著增加了(2.5)·(2.5)=6.25倍,假定环 境日光的影响可被忽视。作为进一步示例,如果使用调制频率50MHz和10MHz,则去混叠范围会从3m增加到30m,但对于相同等级的不确定性,操作功率的增加为25倍。由此,实际上,通过降低调制频率来对TOF系统去混叠伴随有非常显著的性能惩罚。 
理想上,对TOF系统去混叠会实现对低调制频率的明确范围,同时提供对高调制频率的距离分辨率。但是存在噪声的去混叠可能是有挑战的,尤其对于高调制频率、或对于大的明确范围。 
对于相位型TOF系统所需的是一种对Z数据结果去混叠或消除模糊性的方法,尤其在存在噪声的情况下。优选地,去混叠应在存在噪声的情况下工作良好,即使带有高调制频率或对于大的明确范围。 
本发明提供用于在相位型TOF系统中去混叠的方法和系统。 
发明内容
本发明的各实施例对相位型飞行时间(TOF)系统所获得的深度距离Z进行分层地去混叠。深度数据通过优选地分别使用至少三个调制频率f1,f2,....,fm的TOF系统来获得,其中,如果所述TOF系统仅仅以所述调制频率中的一个来操作,则混叠范围Z1,Z2,...,Zm将产生。接着,n个中间频率fDE1,fDE2,...,fDEn被生成且按fDE1<fDE2<...<fDEn的次序排序,并且其对应的相位从使用三个或更多调制频率f1,f2,...,fm分别获得的数据中计算。最后,发生了使用所生成的中间频率来对该三个或更多调制频率所获得的数据分别进行的分层去混叠。如果需要,分层去混叠可一次一步地实现。 
结果是TOF系统提供有效的去混叠间隔范围ZD>Zk(k=1...n),如同所述TOF系统以非常低的调制频率fD来操作一样,而同时提供深度分辨率确定性,如同所述TOF系统以高调制频率fE来操作一样。优选地,高调制频率fE是所有调制频率f1,f2,...,fm的函数,并且该函数可以是(并非作为限制)f1,f2,...,fm的算术平均、或f1,f2,...,fm的加权平均。 
在一个实施例中,对中间频率fDE1,fDE2,...,fDEn的选择可基于两个(不一定要连续频率,但这里出于简化目的而示出)频率的比率 
Figure BSA00000547860000051
该比率受不确定性要求所确定的比率的限制。 
在另一实施例中,分层去混叠可按步进式顺序来实现,该步进式顺序包括 使用fD的相位的fDE1的第一去混叠相位数据、以及随后使用fDE1的相位的fDE2的去混叠相位。如果需要,在每一步骤,fDE(k+1)的相位使用fDEk的相位来去混叠,直到最后一步,在那里fE的相位使用fDEn的相位来去混叠,以产生fE的解开的相位。在一个实施例中,fE的解开的相位通过以下方式来计算:在最后一步使用分层去混叠,使用fDEn来对每一调制频率f1,f2,...,fm的相位去混叠以得到每一调制频率的解开的相位,并随后使用fE与f1,f2,...,fm之间的函数来计算fE的解开的相位。 
在一个实施例中,在使用fDEk的相位来对fDE(k+1)的相位去混叠的每一步,来自先前去混叠步骤的fDE(k-1)的[0,2π]周期内的纠正的fDEk相位周期被用于在fDEk的周期内找出fDE(k+1)的正确相位周期。最后,这使得在总体明确的范围ZD内的fDE(k+1)的正确周期、或fD的周期被找出。 
本发明认识到,成功地对数据去混叠的难度随着fE/fD比率的增加而增加,因为当θE被用于计算θDS时,θE中的噪声被该比率放大。因此,对于与大有效频率fE对应的高调制频率,或对于与小差别频率fD对应的非常大的明确范围,这样经放大的噪声会在估计去混叠间隔K中产生误差结果。该结果将导致混叠了明确范围的中部。 
本发明的各实施例可在硬件和/或软件中实现,硬件和/或软件可以是用其实施本发明的TOF系统的一部分。根据本发明的各实施例的分层去混叠优选地是相对低损耗的。 
本发明的其他特征和优点将在以下描述中出现,其中已经结合其附图阐述了优选实施例。 
附图说明
图1A是描绘根据现有技术的相位型飞行时间三维成像系统的框图; 
图1B和2C描绘根据现有技术的与图1A的成像系统相关联的所发射和所反射的光能波形; 
图1D描绘根据现有技术的、针对两个调制频率所获得的相位对比距离Z并且展示混叠间隔和距离模糊性; 
图1E是根据现有技术的作为调制频率的函数的所获得的相位数据的极坐 标表示; 
图2A描绘根据12/459,033申请的各实施例的带有去混叠的相位型飞行时间三维成像系统; 
图2B描绘根据本发明的各实施例的在0°与180°、90°与270°处示例性相位捕捉的细节; 
图3根据12/459,033申请的各实施例获得了对于两个接近调制频率、以及对于虚拟频率fD、fE和fDS的相位对比距离Z,以及所得的大混叠间隔ZAIR; 
图4A描绘根据12/459,033申请的一个实施例的来自一个像素检测器的八个不同的捕捉的顺序、以及所得的相移和帧构造; 
图4B描绘根据12/459,033申请的一个实施例的、其中四个相邻像素检测器在单个捕捉中获得四个相位的顺序、以及所得的相移和帧构造; 
图4C描绘根据12/459,033申请的一个实施例的、其中每一相位的各捕捉使用来自相同像素检测器的数据来进行偏移量抵消的顺序、以及所得的相移和帧构造; 
图4D描绘根据12/459,033申请的一个实施例的、用于对θE进行直接计算的顺序,并且描绘所得的相移和帧构造; 
图5A和5B描绘根据12/459,033申请的最小公倍数去混叠实施例的、使用两个调制频率所确定的真实和幻影的目标对象位置; 
图6描绘根据本发明的各实施例的带有分层去混叠的相位型飞行时间三维成像系统;以及 
图7A-7D描绘根据本发明的各实施例的用于分层去混叠中各步骤的相位对比距离Z。 
具体实施方式
本发明的各实施例实现使用至少三个频率来对飞行时间(TOF)相位进行分层去混叠的各方法和系统,并将参考图6-7D来描述。传统去混叠依赖两个频率的使用。然而,使用三个或更多频率可有利地显著增加TOF系统的明确距离,而不较大地放大噪声。本发明的各方面可解决分层去混叠,包括相位概率分布以及椭圆形纠正的各方面。 
然而,通过首先回顾根据12/459,033申请的两个频率的去混叠来获得对三个频率的去混叠更好的理解。根据12/459,033申请的去混叠是无损的,并可有利地提供与低调制频率相称的相对大的混叠间隔范围。这被实现,并且同时提供对于给定Z值、与最高调制频率fm接近的调制频率相称的高精度的确定性。首先将参考图2A-5B进行对12/459,033申请的描述。 
图2A描绘与参考图1A-1C所描述的类似的相位型TOF系统200,不同之处在于包括附加组件210和软件220以实现12/459,033申请的各实施例。由此,软件220和210可被认为是TOF系统200的去混叠子系统。输出DATA’(数据’)可包括由图1A中的TOF系统100作为DATA(数据)来提供的信息。诸如系统100(图1A)或200(图2A)等TOF系统通常可在某一最大调制频率fm(可能100MHz)操作。这并不是说该系统不能以超过fm的调制频率来操作,但可以认识到以这样的较高调制频率,系统性能最终会降级。由此,可以理解,fm表示系统通常可操作的最高调制频率,而不是系统能够被操作的最高调制频率。 
在描述系统200的去混叠操作之前,参考图2B简要地描述多相位检测是有用的,图2B示出阵列130中的许多光检测器(PD)中的两个(即光检测器140-1和140-N)、及其相关联的电子元件中的某一些(即150-1、150-N)。这一具体实施例采用量子效率(QE)调制的差分光检测器或像素140,其像素检测信息以至少两个离散相位0°和90°来捕捉,更优选地是四个离散相位0°和180°以及90°和270°。这些像素检测器的离散相位操作不要与想要检测的相移数据θ混淆。这些离散相位表示调制器115与光能发射器120之间的移位,而想要检测的相移数据θ是从发射器120所发射的光能S与阵列130中的像素检测器140之间移位(见图2A)。 
在离散相位捕捉的检测相位数据此处被表示为捕捉C0和C180、C90和C270,并被处理以实现根据12/459,033申请的去混叠。为移除所谓的固定图案偏置,使用四相位的获取是优选的。C0获取产生数据,但可包括相对于零的误差偏置,例如,在不存在要检测的信号时,值C0可以不为零。以相同的权标,C180获取应具有相同但倒置的数据,并将具有相同的固定图案偏置。有利地,通过减去(C0-C180),并且优选地再减去(C90-C270),保留了相位和Z数据信息,而抵消了 固定的图案偏移量。然而,12/459,033申请的各实施例可被用于对从单端相位检测器所获得的、以及从不采用QE调制检测的检测系统所获得的多相位TOF数据进行去混叠。 
相位角θ可以从捕捉C0、C90、C180、C270中计算,如下式: 
θ=atan2(C90-C270,C0-C180)     (4) 
其中,atan2(X,Y)是对应于atan(Y/X)的三角函数。 
图2B中所述的配置和操作与参考先前援引的美国专利号6,580,496和7,906,793中的固定相位延迟的实施例(图10)所描述的相似。在图2B中,来自每一经QE调制的差分像素检测器(例如140-1)的检测所生成的光电流被差分地检测(DIF.DETECT)并且被差分地放大(AMP),以产生信号B·cos(θ),B·sin(θ),其中B是亮度系数。固定的离散0°或90°相移延迟(DELAY),更优选地是固定的0°或180或90°或270°相移是响应于可通过时钟单元180’来命令的相位选择控制信号(PHASE SELECT)而可切换地插入的。以这些离散相位从相位检测器获得或捕捉相位数据,例如C0和C180、C90和C270。这样的相位检测的更详细描述可在以上援引的专利中找到,但并未作为限制,固定的离散相移可通过时钟单元180’来插入,该时钟单元180’的信号被用于驱动检测器阵列130,或可通过调制器115来引入;见图2B。 
根据12/459,033申请,优选地接近在一起的调制频率f1和f2,被组合,其中f1和f2通常各自都小于系统最大调制频率(fm)。从各自获得的所得相位数据(被表示为θ1和θ2)被用于提供两个目标:(1)从系统200获取等效于产生低级别的Z分辨率不确定性的高调制频率测量的效果,以及(2)从系统200获取等效于提供长混叠间隔Z范围的低调制频率测量的效果。以此方式,近似Z范围从长混叠间隔中被确定,而对Z值更精确的确定从高调制频率测量中被确定。 
返回参考图2A,软件220当由处理器160执行时可通过组件210来更改时钟电路180’的正常操作。由此使得系统200使用至少第一和第二频率f1、f2来操作,其中,f1>f2,f1与fm相距优选地在fm的40%以内或更小,并且f2在f1的35%以内且优选地更接近。由此,比如说f1位于频率fm的60%至100%的范围内,使得如果比如说fm为100MHz,则f1会具有约60MHz至高达100 MHz的频率。类似地,f2的范围是该频率的约65%至约99%,使得如果比如说f1为90MHz,则f2会具有约58.5MHz至约89.1MHz的频率。 
根据12/459,033申请,使用调制频率f1和f2使得系统200对于去混叠间隔来运作,像是相位数据是在系统200以优选地与(f1-f2)成比例的非常低的调制频率fD来操作时收集的。例如,假定系统200以调制频率f1的操作提供了混叠间隔范围ZAIR1,并且系统200以调制频率f2的操作提供了混叠间隔范围ZAIR2。12/459,033申请的各实施例处理以调制频率f1和以调制频率f2所获得的数据,以提供有效的混叠间隔范围ZAIRD>ZAIR2 ZAIR1。 
此外,这样的使用优选地接近在一起的调制频率f1和f2有利地产生Z测量的良好分辨率精度,像是系统200曾以接近于fm(可能是(f1+f2)/2或f1和f2的其他组合)的高有效调制频率来收集相位数据。注意,频率(f1-f2),(f1+f2)/2以及这些调制频率的其他组合确实是数学构造或虚拟频率,并且系统200在物理上不以这些虚拟频率来操作。当然,可以理解,可使用超过两个调制频率f1、f2,不同的调制频率优选地在频率上彼此接近并且接近于fm。与如果TOF系统仅处理在以调制频率f1操作时获得的数据并不顾以调制频率f2所单独获得的数据、或以调制频率f2操作并不顾以调制频率f1获得的数据相比较,使用多个调制频率还产生更好的Z分辨率确定性或精确性。 
如将从图3所示的内容中可理解的,与其中fm被减小而有损系统效率的现有技术的去混叠相比,12/459,033申请的各实施例以高频率(优选地接近于fm)来操作系统200,这维护了高的操作系统效率。此外,由于调制频率f1和f2优选地彼此接近并且接近于fm,由像素检测器140以一个调制频率来捕捉的相位信息可与以另一个调制频率(或如果超过两个调制频率被采用则为多个调制频率)来捕捉的数据帧共享。 
图3是根据12/459,033申请的相位对比距离Z的极坐标图。示出了对于使用第一调制频率f1来获得的相位数据的波形,该数据被表示为θ1。出于解释目的,假设f1约为50MHz。图3还示出使用稍低的第二调制频率f2来获得的相位数据的极坐标图,该数据被表示为θ2。出于解释目的,假设f2约为31MHz,且相应地,其斜率为小于f1波形的斜率,并且其周期(混叠间隔范围)较长。对于f1和f2的这些示例性值,系统200的fm的典型值可能是70MHz。f2波形 用比f1波形更深色的线来绘制,以促进该图中的清楚性。如同图1D中所描述的极坐标图的情况一样,在2π倍数的相位处,数据将折叠或回绕(wrap-around)。该回绕某种程度上使对θE和θDS的计算复杂化,如本文稍后所述。 
如上所述,12/459,033申请的一方面或目标是通过看起来像是系统200使用相对低调制频率来获得定相的相位数据,来提供大的混叠间隔范围ZAIR。以下描述将证明定义优选地是f1和f2的函数的差频并且定义相位差θD=(θ12)将实现提供适合于大的混叠间隔范围的低调制频率的目的。并非限制,fD的示例性函数可以是差分函数(a·f1-b·f2),其中a和b可以是加权因子。 
算术上,相位延迟θ可按照绝对目标距离Z被表达成下式: 
θ = 2 π ( 2 fZ C + N ) - - - ( 5 )
对公式(5)求微分得到: 
δθ = 4 πZδf C - - - ( 6 )
因此,绝对(去混叠)距离ZABS由下式给出: 
Z ABS = Z = C 4 π δθ δf - - - ( 7 )
在该实例中,公式(7)中的微分可以用小的差分来代替而不损失精度,以便得到: 
Z = C 4 π Δθ Δf - - - ( 8 )
公式(8)示出Z可以从Δθ和Δf中确定,Δθ是θD或(或θ12)。注意,这是与可用于从调制频率Δf=fD=f1-f2以及相位Δθ=θD=θ12中确定Z相同的公式。由此,知道了f1、f2、θ1、θ2,可计算对距离Z的测量,这与其中实际调制频率为物理的(f1-f2)的对Z的计算类似。这表示调制频率f1和f2的组合将产生大的混叠间隔范围,像是系统200在以非常低的调制频率操作时获得相位数据。当然,f1和f2的许多其他组合可被用于实现这一目标,并且可以采用超过两个调制频率,例如f1、f2、f3...。优选地,这 些调制频率中的最高频率f1将接近于系统最高的最大调制频率fm并至少在fm的40%内。优选地,至少各调制频率的最接近在一起会是在彼此±35%之内,并优选地比±35%更接近地在一起。 
优选地,最大调制频率fm接近于TOF系统200的最优操作点。这意味着fm是接近最大操作效率,并且因此,系统操作效率的曲线在fm附近是相对平坦的。一般地,这一最大值是相当平坦的,并且因此操作频率f1和f2也将接近于系统200的最佳操作条件。 
现在将呈现根据12/459,033申请的、在实现与期望的低级别Z分辨率的不确定性相称的高的有效(例如虚拟)调制频率中的设计考虑。从以调制频率f1和f2操作的系统200(见图2A)获取的相位数据被组合,以便产生以频率fE的有效(虚拟)频率测量。12/459,033申请的各实施例有利地结合以两个调制频率所获得的数据以进一步降低Z数据中的不确定性,而不是使用从单独以调制频率f1操作的、或从单独以调制频率f2操作的系统200所获取的数据。(可以理解,如果附加的调制频率被使用,例如f3、f4,则在以这些调制频率来操作系统200时所获得的相位数据也将优选地被使用)。 
组合来自所使用的全部调制频率(例如,在手边的实施例中f1和f2)的相位数据对相位数据测量中的噪声进行均分,并且与使用仅仅从单独的f1或f2所获得的数据而获取的噪声相比,有利地导致比较低的噪声。此外,由于调制频率f1和f2优选地相对接近于最大调制频率fm,因此所获得的每一测量带有相对高的精度和降低的噪声。一般而言,对于接近在一起的频率f1和f2,系统200的性能将有些相似。有利地,在组合来自频率f1和f2的数据之后所获取的不确定性将是当单独地使用调制频率f1或调制频率f2来获得的相位数据时的不确定性的约0.7倍。 
由此,12/459,033申请的该第二方面涉及组合以不同(但优选地彼此接近)的调制频率操作的系统200所获得的相位数据,以便模拟以产生低的Z分辨率不确定性的高调制频率的系统操作。尽管现在将描述组合数据的某些具体方法,但可以理解,还可使用许多其他组合。 
针对该第二方面或目标,一种方法是组合来自阵列130中的像素检测器140(见图2A和2B)的来自以调制频率f1获取的捕捉(C1 0、C1 90、C1 180、C1 270) 的原始数据读数,并将该原始数据加到以频率f2所获取的数据读数(C2 0、C2 0、C2 180、C2 180)中以产生(C1 0+C2 0,C1 90+C2 0,C1 180+C2 180,C1 270+C2 180)。这一示例性组合等效于将以极坐标表示的相应的相位向量加在一起,并获得和向量的相位角。 
现在考虑以调制频率f1或以调制频率f2来操作的系统200所获得的、在给定距离Z的目标对象20的相位向量的极坐标表示。(图1E可被认为是单个向量的极坐标表示。)对于以调制频率f1、f2的捕捉,相位向量可分别以极坐标形式被表示为V1=(ρ,θ1)和V2=(ρ,θ2)。为了便于解释,将假设调制频率中的小变化不影响调制对比度,并且因此V1和V2具有相同量级ρ。(术语“调制对比度”表示对在像素检测器140中的收集效率的测量,例如,来自信号Sin的传入光子能量被捕捉且被转换成检测信号得有多好。高调制对比度是期望的。) 
将相位向量V1=(ρ,θ1)和V2=(ρ,θ2)相加得到: 
V1+V2=(2ρ.sin((θ12)/2),(θ12)/2)        (9) 
由此,如果(θ12))不是π的倍数,则会使得该向量为空的V1+V2的相位将是与以调制频率(f1+f2)/2所测量的目标对象20的相位向量相同的相位(θ12)/2。然而,实际上,调制对比度随频率而变化,使得这一附加方法的实现复杂化。进一步的复杂是调制对比度比率随温度的变化,这使得算术在某种程度上难以处理。在替换实施例中,来自以调制频率f1和f2的两个测量θ1和θ2的实际相位角自己相组合,以产生有效相位角θE。通常,使用相位角的平均(θ12)/2,尽管实际相位角的其他组合是可能的。 
如上所述,θE和θD的值可按各种方式来确定。不管被用于获取这些值的具体方法,优选地使用θE和θD两者来确定距离Z,如图3所示。图3描绘分别与频率f1、f2、fD=(f1-f2)和fE=(f1+f2)/2相关联的相位角θ1、θ2、θD=θ12和θE=(θ12)/2。注意,θ1和θ2被归一化使得对于Z=0,θ1和θ2为0。图3还描绘θDS,它可从θD中导出,如θDS=θD·fE/fD。角θDS对应于与θE相同的频率,并由此如图3中所示的,角θDS与θE具有相同斜率。然而,由于角θDS在算数上从θD导出,因此它有利地具有与θD相同的混叠间隔,被表示为ZAIR。 
注意,θD和θE两者都被调整,以考虑θ1和θ2的折叠或回绕重复。例如,在θE的第一混叠间隔结束之前,θ1回绕。仅仅计算θE=(θ12)/2会不够,因为当θ1回绕时θE会减小π。然而,当θ1<θ2时,已知θ1肯定已经回绕,因此π必须被加入θE。这样的三角纠正是本领域已知的,并被假定已经对该数据执行过。 
由此适当地经三角纠正的θE和θD之后,由于θE和θD具有相同斜率并且仅仅其混叠间隔有所不同,于是在不存在噪声的情况下,θDS=θE+K2π。K是表示θE的混叠间隔的索引的整数。在存在噪声的情况下, 
Figure BSA00000547860000141
找出正确的混叠间隔涉及选择K以便最小化(θDSE+K2π)的绝对值。θE+K2π则表示对Z的准确测量,但混叠间隔未知。表达式θE+K2π表示经去混叠的θE值。当然假定目标对象位于比fD的混叠间隔更近的距离。可以理解,还可采用用于为K确定合适的值的其他等效算术方法。 
选择适当的差频fD是重要的。如果fD太大,则fD的对应去混叠间隔可能太小。相反,如果fD太小,则以fD进行的Z测量中分辨率不确定性可变得太大。由此,受制于影响分辨率不确定性的噪声约束,差频fD应尽可能小。混叠间隔索引K应以高的确定性来确定,以确保适当的去混叠间隔被选择。 
如果假定fD<<fE,则误差(θDS)>>误差(θE),则通常可忽略来自θE的误差。令Ks=((θDSE)/2π。则K是最接近于Ks的整数。为找出正确的K,Ks上的误差必需<<0.5,这意味着θDS/2π=θD*fE/fD/2π上的误差还必需远小于0.5。 
下面部分现在将描述根据12/459,033申请、用于标识调制频率f1和f2的良好捕捉顺序的示例性方法。可使用许多不同的捕捉顺序来生成去混叠的帧。帧表示由传感器阵列130获得的完整的Z图像,即,该阵列中的每一像素检测器140与来自目标对象20的对应Z值相关联。首先假定系统200中的像素检测器140一次仅可取得一个捕捉。在该假定下,某些示例性顺序如下。 
第一种情况在图4A中描述,其中假定某一像素检测器通过八个不同的捕捉来定序,以获得期望的相移数据θ1、θ2。由此,如图4A所示,系统200以调制频率f1来操作,随时间获得了捕捉序列C1 0、C1 90、C1 180、C1 270。接着,系统200以调制频率f2来操作,捕捉序列C2 0、C2 90、C2 180、C2 270被获得,在此之后,系统被返回以便以调制频率f1来操作,并且捕捉序列C1 0、C1 90、C1 180、C1 270被产生,等等。由此,在图4A中(以及在图4B-4D中),显示在捕捉的 相关序列之下的相位信息是由以相关联的调制频率来操作的系统200所获得的相位数据。由此,可以理解,下标1表示与调制频率f1相关联的捕捉,而下标2表示与调制频率f2相关联的捕捉。显示在相位信息之下的帧信息示出如何优选地根据所示序列来构造各帧。一旦确定了θ1和θ2,则可从(θ12)/2计算θE。 
图4B描绘另一定序示例,其中,像素阵列中被示作为一个块的四个相邻像素检测器被用于在单个捕捉中获得所有的四个相位。鉴于图4A的八个捕捉序列易受由于获得全部八个捕捉的时间长度而引起的运动模糊的影响,图4B中所示的序列应固有地显示出较低的运动模糊。但在图4B中,C0-C180偏移量抵消是使用来自不同像素的数据来完成的,因而性能可能由于偏移量没有被完全抵消而受到损失。如上所述,θE从(θ12)/2中计算。 
图4C描绘又一定序示例,其中,对每一相位的各捕捉都采用被示作一个块的相同像素检测器对C0-C180偏移量进行了抵消。在该配置中,性能是相当好的,并且运动模糊是可接受的。如上所述,θE从(θ12)/2中计算。 
图4D描绘替换实施例,其中,相位θ1和相位θ2未经C0-C180偏移量纠正。结果,数据质量有些差,但θE有利地直接从捕捉C1 0-C2 180和C1 90-C2 270中计算。该方法如以上所描述的,其中C2 180代替C2 0,以及其中C2 270代替C2 90。有利地,θE的数据质量良好,但θD=θ12的质量较差,结果,去混叠间隔决策质量受到损失。 
未明确地描绘的替换实施例与图4D的类似,但其中θE是从(θ12)/2中计算的。如前所述,所获得的相位角优选地被归一化,以便对于Z=0从零开始。在手边的该替换实施例中,如果θ1与θ2之间的预先归一化差异是小的,则偏移量所引起的θ1和θ2中的误差将彼此相反,并且将有利地在θE=(θ12)/2中部分抵消。如果O为假定的小偏移量,则根据等式(4),θ1=atan2(C1 0+O,C1 90+O),以及θ2=atan2(-C2 180+O,-C2 270+O)。如果调制对比度对于调制频率f1和f2两者是相似的,并且θ1≈θ2,则C1 0≈C2 180,且C1 90≈-C2 270。由此,θ1≈atan2(C1 0+O,C1 90+O),并且θ2≈atan2(C1 0-O,C1 90-O)+π。如此,相位θ1和θ2相对于偏移量O以相反方向移动大致相等的量。由此,偏移量O的影响将有利地在总和θE=(θ12)/2中被部分抵消。在某些高级TOF系统中,飞行时间像素可在每一捕捉处获取超过一个相位或调制频率。例如,这样的多相位捕捉 像素有效地运作,像它们同时捕捉C1 0和C1 90。这样的有效功能可例如通过不同调制频率和/或相位之间进行快速时间片(time-slicing)或时间复用、或通过使用以不同调制频率和/或相位来操作的多个检测器,来移植。使用这些像素,组装去混叠的帧的序列的时间被显著地缩短了。本文先前描述的基本方法保持相同。 
至此,所描述各种去混叠实施例是无损的,例如,去混叠被实现,而带有非常小的TOF系统性能惩罚。现在将参考图5A和5B来描述有损的所谓最小公倍数(LCM)去混叠实施例。在图5A和5B中,使用两个调制频率f1和f2来作出两个距离测量,其中,频率ZAIR1和ZAIR2表示相关联的最大明确混叠间隔范围。在图5A中,f1为25MHz,并且ZAIR1为3M,而在图5B中,f2为较低的18.75MHz,并且ZAIR2为较长的4M。假定目标对象被呈现在距TOF传感器阵列7m。如果单个调制频率f1=25MHz被用于获得数据,则可推断目标的Z距离是1m、4m、7m或10m,如图5A中用阴影线的矩形区域所示。另一方面,如果单个调制频率f2=18.75MHz被使用,则可推断目标对象位于3m、7m或11m,如图5B中用阴影线的矩形区域所示。 
根据该LCM实施例,以上两个结果被组合,得出该目标对象必定位于7m距离处的结论。该目标对象在图5A和5B中用加粗线绘制,以便与用虚线绘制的幻影位置相区别。目标对象的真实位置可能仍然与位于19M处的另一位置混淆,但与一个调制频率的情况相比,使用两个调制频率显著地扩展了明确间隔范围。根据12/459,033申请,如果使用两个调制频率,则有效明确间隔范围根据ZAIR1和ZAIR2的LCM最小公倍数而增加。在选择调制频率中的一种策略是通过选择彼此接近的两个频率来最大化对应的明确间隔范围的LCM。 
12/459,033申请的另一实施例提供用于去混叠的有损的所谓分支界限分层方法。根据这一实施例,相对非常低的调制频率可被用于确定目标对象是否在第一或第二Z范围或柱中,例如,可能在0m至50m范围之间、或可能在50m至100m范围之间。如果TOF系统200确定该目标对象在比如说0m至50m内,则软件200可使得时钟180’对调制频率加倍,以确定目标对象是否位于0m至25m的子范围(或较窄的柱)内、或位于25m至50m的子范围(或窄的柱)内。如果该对象最初被发现位于50m至100m范围中,则执行 类似的分析和调制频率改变。估计目标对象的距离范围并且随后改变调制频率以便更好地查明该距离范围的这一方法可被重复,优选地直到该范围被确定带有期望的范围间隔尺寸。再次,该方法优选地在软件220的命令下被自动地实现。当然,尽管这一示例假定了各种替换范围或柱为相隔2倍,但可使用其他比率。 
在分支界限分层去混叠过程期间,不必以每一调制频率来获取完整确定性(例如,最佳间隔尺寸)。对于较低调制频率,它足以获取较低分辨率。例如,为在0m至50m、以及50m至100m范围或柱之间决定,相当粗的分辨率等级就足够了。例如,如果由系统200获得的最高质量的深度图像使用比如说十比特,则相当粗的分辨率等级可能仅需要三个至四个比特的分辨率。因此有利地,以低调制频率的捕捉可具有短的快门时间,以便反映这些放宽的要求。一般而言,对于调制频率的分层扫掠,例如1MHz、10MHz、100MHz,快门对于所有调制频率将是短的,但最高的扫掠频率,这里为100MHz。这样做有利地减小了传感器阵列以低调制频率来操作的集成时间(integration time)量,这进一步提升有效性能。 
可以理解,使用分支界限分层去混叠,可能期望最小化每一相对低的调制频率的柱的数量。进而,分层调制频率扫掠过程往往通过保持以尽可行地小的较低调制频率的分辨率要求,来最大化有效系统TOF调制频率。如果需要,则分支界限实施例可与无损去混叠实施例在分层过程中的一个或多个步骤处结合。 
以上描述针对有损分层类型的去混叠实施例。现在将描述12/459,033申请的无损分层去混叠实施例。本文先前示出了θD*fE/fD/2π应远小于0.5。在期望非常长的混叠间隔的实施例中,使用相对高的调制频率f1和f2产生变得非常大的fE/fD比率,从而使得难以保持θD*fE/fD/2π<<0.5。对于这些应用,无损去混叠方案法也可被分层地应用。以此方式,在分层过程中的每一步骤,由于受噪声考虑的影响且受软件220的控制,比率fE/fD被保持得相对小。 
考虑以下示例,其中调制频率fa=100MHz、fb=110MHz、fc=111MHz被使用,并且其中存在定义的差频D1=fb-fa=10MHz、D2=fc-fa=11MHz,并且分层地应用的差频E1=D2-D1=1MHz。 
在所谓上下扫掠中,最初频率E1被用于对所获得的D1和D2的相位数据进行去混叠。在这一最初步骤,f1=D1、f2=D2并且fD=E1。有利地,比率fE/fD不太大,这里大致为10。由此,在该示例中,可找出对于有效频率θE=(θ12)/2的去混叠的Z值。 
在分层过程中向下一步,以上找出的且去混叠的θE值现在将被用于当前步骤,作为有效频率0.33(fa+fb+fc)以及有效相位θE=0.33(θabc)的去混叠相位θD。有利地,注意到比率fE/fD保持相对小,这里大致为10。以此方式,作为分层的底部的θE为0.33(100MHz+110+111MHz),即接近于100MHz,它尚未被去混叠,好像其频率为E1=1MHz,ZAIR为约150M。 
另外,注意TOF系统200不必物理地以调制频率fc=111MHz来获得相位数据。频率fc可在算术上被计算,例如,如fc=(110MHz+100MHz/100),例如,fb+(fa)/100。由此,仅仅频率fa和fb需要由TOF系统来进行物理测量。 
总之,根据12/459,033申请的各实施例的去混叠是无损的,并提供与低调制频率相称的相对大的混叠间隔范围。这些实施例还提供对于给定Z值、与最高调制频率fm接近的调制频率相称的高精度的确定性。去混叠可相对无损地或有损地实现,取决于实施例。 
现在转向图6,基于相位的TOF系统300实现本发明。TOF系统300包括时钟单元180”,该时钟单元180”可在图1A的时钟单元180上修改,或另选地包括硬件310和/或软件320。软件320可以(但不必)由处理器160执行。这一硬件和/或软件实现本发明的各实施例,现在将描述。 
从本文先前呈现等式(2)和等式(8)回想示出确定范围Z与调制频率f成反比的以下关系: 
Z = c 2 f × θ 2 π = θC 4 πf 以及 Z = C 4 π Δθ Δf
其中,Δf=fD=f1-f2,相位Δθ=θD=θ12。在图3中看出对两个频率去混叠的噪声不期望的敏感性,其中,θDS与θD之间的关系由下式给出: 
θ DS = f E f D θ D .
其中, 
Figure BSA00000547860000191
θD=θ12为与fD相关联的相位, 
Figure BSA00000547860000192
为与fE相关联的相位。相位θD被缩放以产生θDS,θDS的频率斜率由以上等式给出。注意, θ DS ≅ θ E + 2 nπ .
不幸的是,在存在噪声的情况下,去混叠的难度随着比率 
Figure BSA00000547860000194
的增加而增加。这是因为θE中存在的噪声在θE被用于计算θDS时被这一比率放大。因此,对于高调制频率(对应于大的有效频率fE)或非常大的明确范围(对应于小的差频fD),这样经放大的噪声会在估计去混叠间隔K中产生误差结果,并会导致在的明确范围的中部进行混叠。这从图3来看是明显的,如果想象θDS的角(或斜率)随着比率 
Figure BSA00000547860000195
的增加或减小而增加或减小,如 
Figure BSA00000547860000196
由此,增加的比率 
Figure BSA00000547860000197
表示θD中放大的噪声,并且由于它对错误的去混叠决定作出贡献因而是不期望的。期望的是同时维持小比率 
Figure BSA00000547860000198
同时实现与小的fD相关联的去混叠范围以及与大的fE相关联的深度的精度。这可使用优选地至少三个调制频率来实现,如现在将示出的。本发明的各实施例优选地采用n步骤分层去混叠方法,来避免对θE中噪声的非常大的放大而造成的混叠问题。 
假定存在m个调制频率f1,f2,...,fm(f1>f2>...,>fm),则期望TOF系统300实现明确范围ZD,该ZD与频率fD对应,如 
Figure BSA00000547860000199
一个实施例使用fD来去混叠并实现有效频率fE的距离分辨率,其中fE=g0(f1,f2,...,fm)为调制频率f1,f2,...,fm的函数,优选地为算术平均或加权平均。 
本发明的实施例优选地生成一组N-1个中间频率fDE1,fDE2,...,fDE(N-1),其中fD<fDE1<fDE2<...<fDE(N-1)<fE,而不是在一步去混叠中使用fD来对有效频率fE的相位进行去混叠。 
中间频率中的每一个都是调制频率f1,f2,...,fm的函数,如fDEk=gk(f1,f2,...,fm),其中k=1,2,3...,N-1 
fDEk=gk(f1,f2,...,fm),并且令fDEO=fD以及fDEN=fE
在分层去混叠的每一步骤,优选方法通过找出正确的去混叠间隔mk来使用fDE(k+1)(k=0,1,..N-1)的相位θDE(k+1)对fDEk的相位θDEk进行去混叠,使得 
Figure BSA000005478600001910
其中 
Figure BSA000005478600001911
fE的最终解开的相位将由下式给出: 
θ E + m N - 1 2 π + m N - 2 f DE ( N - 1 ) f DE ( N - 2 ) 2 π + · · · + m k f DE ( k + 1 ) f DEk 2 π + · · · + m 1 f DE 1 f D 2 π
中间频率数量N-1以及每一连续对中的频率之间的比率 
Figure BSA00000547860000201
优选地通过深度的不确定性来确定。根据经验,优选地,在每一步骤放大因子的不确定性足够小,使得不正确地选择mk的概率是低的。 
现在将参考图6和图7A-7D来描述实现两步(三个频率)分层去混叠的各实施例。对于两步分层去混叠,需要至少N=3个调制频率。系统的总体明确范围通过fD来确定,fD为三个调制频率的函数。 
如图3中所示,对于fD的第一相位θD被用于对某一中间频率fDE的相位θDE进行去混叠,并且用于对于θDE的正确去混叠间隔m,使得 
Figure BSA00000547860000202
在分层去混叠的第二步,θDE的每一去混叠间隔被用于通过找出正确去混叠间隔n来对有效频率fE的有效相位θE进行去混叠,使得 
Figure BSA00000547860000203
现在考虑图7A-7D。组合两个去混叠步骤使得能够作出对于θE的最终去混叠值,如 θ E + n 2 π + m f DE f D 2 π .
注意,各去混叠步骤的放大比率分别为 
Figure BSA00000547860000205
和 
Figure BSA00000547860000206
有利地,这一方法实现期望的大比率 
Figure BSA00000547860000207
而没有将θE中的噪声放大这一大比率。由于去混叠间隔m和n被分开地确定,并且噪声在每一方法步骤以小得多的比率来放大,因此发生有利的结果。 
现在将参考图7A-7D来描述对于两步分层去混叠的示例性算法细节。可以理解,这些步骤优选地使用TOF系统300例如通过时钟单元180”和/或模块310、320来实现。本发明的各实施例优选地使用至少三个调制频率。给定三个调制频率f1、f2和f3,期望实现尽可能与TOF系统最大调制频率fm接近的有效频率fE。令fD=f1-f2被指定为与总体去混叠范围相关联的最慢频率,并且令fDE=f1-f3被指定为中间频率。最终有效频率可以是 
Figure BSA00000547860000208
或f1、f2和f3的其他加权线性组合。 
如图7A所示,可首先使用频率fD的相位θE以便对某一中间频率fDE的相位θDE进行去混叠,并且使用对于相位θDE的正确去混叠间隔m,使得 
Figure BSA00000547860000209
Figure BSA000005478600002010
如图7B所示,现在可使用θDE的每一去混叠间隔,以便通过找出正确的去混叠间隔n来对有效频率fE的有效相位θE进行去混叠,使得 
Figure BSA000005478600002011
Figure BSA000005478600002012
图7C和7D描绘如何使用相位θDES来对各个频率fi(对于三个频率,i=1、2或3)的相位θi进行去混叠。例如,图7C示出θDE和θi有可能在不同 的距离处回绕。由此,不能对超过第一周期的θDE的相位进行去混叠。(为图7A中所示的θDS进行去混叠,会需要对该图中所示的所有四个周期的θDE进行去混叠。)图7D示出可计算偏移量经纠正的相位θi 偏移量,在θDES每一周期开头总是以零相位开始。随后可使用这一偏移量经补偿的相位来对θDES的多个周期上的相位θi进行去混叠。 
由此,第一方法步骤是使用fD=f1-f2来对fDE=f1-f3进行去混叠。令θ1为f1的相位,令θ2为f2的相位,并且令θ3为f3的相位。首先必需使用θ2来解开θ1,以得到θI 解开-2,θI 解开-2=θ1+2π*(θI<θ1),并且使用使用θ3来解开θ1,以得到θI 解开-3。随后可获取fD=f1-f2的相位,如θD=θ1 解开-22,并且可获得的fDE=f1-f3的相位,如θDE=θ1 解开-33。 
现在可将θD重新缩放到与θDE相同的斜率,并且生成θDS,其中 
θ DS = f DE f E θ D = f 1 - f 2 f 1 - f 2 θ D .
完成该第一步骤,接着可通过最小化|θDS-(θDE+m2π)|来找出正确的去混叠间隔m,其中m=0,1,2,...。 
现在考虑该方法的第二步,该第二步涉及从fDE=f1-f3中对 进行去混叠。尽管期望对fE进行去混叠,但这不能直接完成,因为使用正确的回绕方法不能得到对应于 
Figure BSA00000547860000213
的相位。相反,本发明的各实施例分开地对f1、f2和f3进行去混叠,并且得到解开的相位φ1=θ1+n12π,φ2=θ2+n22π以及φ3=θ3+n32π。 
对于 f E = f 1 + f 2 + f 3 3 的解开的相位可被计算为 φ E = φ 1 + φ 2 + φ 3 3 .
现在将参考图7C和图7D来描述对fi(i=1,2,3)进行去混叠以得到解开的相位φi。如图7C所示,由于频差,θDE和θi有可能在不同的距离Z处回绕。这将在去混叠的第二步中导致问题,除非对频率施加附加约束,例如θi为θDE的倍数。否则,如果直接应用如使用θDE来对θi进行去混叠的第一步的去混叠方法,则可能仅仅对θDE的第一周期进行去混叠,因为在剩余各周期中,θi和θDE将不以相同位置开始,并且不能满足 
Figure BSA00000547860000216
的关系。 
现在参考图7D,优选地“偏移量补偿”方法被用于避免添加限制对频率的选择的附加约束。首先可移除由θDES和θDES的回绕导致的偏移量θi,并且计 算偏移量经纠正的相位θi 偏移量。偏移量经纠正的相位θi 偏移量将在θDES的每一周期开头总是以零相位开始。随后可通过最小化下式来找出正确的去混叠间隔: 
对于 
Figure BSA00000547860000221
其中i=1,2,3每一频率fi的解开的相位被计算,如下式: 
Figure BSA00000547860000222
对于 f E = f 1 + f 2 + f 3 3 的解开的相位则为 φ E = φ 1 + φ 2 + φ 3 3 .
从各优选实施例的描述中将理解,本发明提供了用于TOF系统的分层去混叠,其即使在存在噪声的情况下也有效。优选地,彼此接近的N个频率(N≥3)被用于创建慢的去混叠频率,并且至少一个中间频率可被用于对长距离进行分层去混叠。有利地,本发明的各实施例在每一去混叠步骤处仅仅以小比率来放大噪声,而不是通过如在两个频率的去混叠中以非常大的比率来放大噪声。 
可对所公开的各实施例作出修改和改变,而不背离所附权利要求书所定义的本发明的主题和精神。 

Claims (20)

1.一种用于对相位型飞行时间(TOF)系统的距离Z的范围进行分层去混叠的方法,所述方法包括以下步骤: 
(a)分开地使用调制频率f1,f2,...,fm从所述TOF系统获得数据,其中如果所述TOF系统仅以所述调制频率中的一个来操作,则会产生混叠间隔范围Z1,Z2,...,Zm; 
(b)生成按fDE1<fDE2<...<fDEn次序排序的n个中间频率fDE1,fDE2,...,fDEn,并且从在步骤(a)获得的数据中计算它们对应的相位,其中fD<fDE1<fDE2<…<fDEn<fE,fD是非常低的调制频率并且fE是高调制频率;以及 
(c)使用在步骤(b)生成的所述中间频率来对在步骤(a)获得的数据进行分层去混叠; 
其中,所述TOF系统提供有效混叠间隔范围ZD>Zk,其中k=1...n,如同所述TOF系统以所述非常低的调制频率fD来操作,而同时提供深度分辨率确定性,如同所述TOF系统以所述高调制频率fE来操作。 
2.如权利要求1所述的方法,其特征在于,在步骤(b),对所述中间频率fDE1,fDE2,...,fDEn的选择基于两个频率之间的比率
Figure FDA00003353875800011
该比率受到由不确定性要求所确定的比率的限制。 
3.如权利要求1所述的方法,其特征在于,在步骤(c),分层去混叠一次一步地完成。 
4.如权利要求3所述的方法,其特征在于,在步骤(c),包括首先使用fD的相位来对fDE1的相位数据进行去混叠,并且随后使用fDE1的相位来对fDE2的相位进行去混叠。 
5.如权利要求4所述的方法,其特征在于,在每一步,使用fDEk的相 位来对fDE(k+1)的相位进行去混叠直到最后一步,在最后一步,使用fDEn的相位来对相位fE进行去混叠,以便产生fE的解开的相位。 
6.如权利要求1所述的方法,其特征在于,fE为所有调制频率f1,f2,...,fm的函数,所述函数选自至少以下各项之一:(i)f1,f2,...,fm的算术平均;以及(ii)f1,f2,...,fm的加权平均。 
7.如权利要求1所述的方法,其特征在于,fE的解开的相位能如下地计算: 
(i)在分层去混叠的最后一步,使用fDEn来对每一所述调制频率f1,f2,...,fm的相位进行去混叠,以便得到每一调制频率的解开的相位;以及 
(ii)使用fE与f1,f2,...,fm之间的函数来计算fE的解开的相位。 
8.如权利要求1所述的方法,其特征在于,在使用fDEk的相位来对fDE(k+1)的相位进行去混叠的每一步,来自先前去混叠步骤的fDE(k-1)的[0,2π]周期内fDEk的纠正的相位周期被用于在fDEk的周期内找出fDE(k+1)的正确相位周期; 
其中,在总的明确范围ZD内或在fD的周期内能找出fDE(k+1)的正确周期。 
9.如权利要求1所述的方法,其特征在于,所述方法通过所述TOF系统来实现。 
10.一种能与基于相位的TOF系统一起使用的分层去混叠单元,所述分层去混叠单元包括: 
用于使得所述TOF系统分开地使用调制频率f1,f2,...,fm来获得数据的装置,其中如果所述TOF系统仅以所述调制频率中的一个来操作,则会产生混叠间隔范围Z1,Z2,...,Zm; 
用于生成按fDE1<fDE2<...<fDEn次序排序的n个中间频率fDE1,fDE2,...,fDEn、并且从步骤(a)所获得的数据中计算它们对应的相位的装置,其中fD<fDE1<fDE2<…<fDEn<fE,fD是非常低的调制频率并且fE是高调制频率;以及 
用于对使用所述调制频率f1,f2,...,fm来获得的数据分开地使用所述n个中间频率fDE1,fDE2,...,fDEn来分层去混叠的装置; 
其中,所述TOF系统提供有效混叠间隔范围ZD>Zk,其中k=1...n,如同所述TOF系统以所述非常低的调制频率fD来操作,而同时提供深度分辨率确定性,如同所述TOF系统以所述高调制频率fE来操作。 
11.如权利要求10所述的分层去混叠单元,其特征在于,所述用于生成的装置基于两个频率之间的比率
Figure FDA00003353875800031
来选择所述中间频率fDE1,fDE2,...,fDEn,该比率受到由不确定性要求所确定的比率的限制。 
12.如权利要求10所述的分层去混叠单元,其特征在于,分层去混叠一次一步地完成。 
13.如权利要求10所述的分层去混叠单元,其特征在于,首先发生使用fD的相位来对fDE1的相位数据进行去混叠,之后使用fDE1的相位来对fDE2的相位进行去混叠。 
14.如权利要求12所述的分层去混叠单元,其特征在于,在每一步,使用fDEk的相位来对fDE(k+1)的相位进行去混叠直到最后一步,在最后一步,使用fDEn的相位来对相位fE进行去混叠,以便产生fE的解开的相位。 
15.如权利要求10所述的分层去混叠单元,其特征在于,fE为所有调制频率f1,f2,...,fm的函数,所述函数选自至少以下各项之一:(i)f1,f2,...,fm的算术平均;以及(ii)f1,f2,...,fm的加权平均。 
16.如权利要求10所述的分层去混叠单元,其特征在于: 
fE的解开的相位能通过以下来计算:在分层去混叠的最后一步、使用fDEn来对每一所述调制频率f1,f2,...,fm的相位进行去混叠以便得到每一调制频率的解开的相位;以及使用fE与f1,f2,...,fm之间的函数来计算fE的解开的相位。 
17.如权利要求10所述的分层去混叠单元,其特征在于,在使用fDEk的相位来对fDE(k+1)的相位进行去混叠的每一步,来自先前去混叠步骤的fDE(k-1)的[0,2π]周期内fDEk的纠正的相位周期被用于在fDEk的周期内找出fDE(k+1)的正确相位周期; 
其中,在总的明确范围ZD内或在fD的周期内能找出fDE(k+1)的正确周期。 
18.一种包括分层去混叠单元的基于相位的飞行时间(TOF)系统,所述分层去混叠单元包括: 
用于使得所述TOF系统分开地使用调制频率f1,f2,...,fm来获得数据的装置,其中如果所述TOF系统仅以所述调制频率中的一个来操作,则会产生混叠间隔范围Z1,Z2,...,Zm; 
用于生成按fDE1<fDE2<...<fDEn次序排序的n个中间频率fDE1,fDE2,...,fDEn、并且从步骤(a)所获得的数据中计算它们对应的相位的装置,其中fD<fDE1<fDE2<…<fDEn<fE,fD是非常低的调制频率并且fE是高调制频率;以及 
用于对使用所述调制频率f1,f2,...,fm来获得的数据分开地使用所述n个中间频率fDE1,fDE2,...,fDEn来分层去混叠的装置; 
其中,所述TOF系统提供有效混叠间隔范围Zn>Zk,其中k=1...n,如同所述TOF系统以所述非常低的调制频率fD来操作,而同时提供深度分辨率确定性,如同所述TOF系统以所述高调制频率fE来操作。 
19.如权利要求18所述的TOF系统,其特征在于,所述用于生成的装置基于两个连续频率之间的比率
Figure FDA00003353875800051
来选择所述中间频率fDE1,fDE2,...,fDEn,该比率受到由不确定性要求所确定的比率的限制。 
20.如权利要求18所述的TOF系统,其特征在于,所述分层去混叠单元具有从包括以下各项的组中选出的至少一个特征:(i)分层去混叠一次一步地完成;(ii)首先发生使用fD的相位来对fDE1的相位数据进行去混叠,之后使用fDE1的相位来对fDE2的相位进行去混叠;(iii)在每一步,使用fDEk的相位来对fDE(k+1)的相位进行去混叠直到最后一步,在最后一步,使用fDEn的相位来对相位fE进行去混叠,以便产生fE的解开的相位;(iv)fE为所有调制频率f1,f2,...,fm的函数,所述函数选自至少以下各项之一:(i)f1,f2,...,fm的算术平均;以及(ii)f1,f2,...,fm的加权平均;(v)fE的解开的相位能通过以下来计算:在分层去混叠的最后一步、使用fDEn来对每一所述调制频率f1,f2,...,fm的相位进行去混叠以便得到每一调制频率的解开的相位;以及使用fE与f1,f2,...,fm之间的函数来计算fE的解开的相位;以及(vi)在使用fDEk的相位来对fDE(k+1)的相位进行去混叠的每一步,来自先前去混叠步骤的fDE(k-1)的[0,2π]周期内fDEk的纠正的相位周期被用于在fDEk的周期内找出fDE(k+1)的正确相位周期,使得在总的明确范围ZD内或在fD的周期内能找出fDE(k+1)的正确周期。 
CN2011102170164A 2010-07-21 2011-07-21 用于对飞行时间(tof)系统进行分层去混叠的方法和系统 Active CN102393515B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US40006110P 2010-07-21 2010-07-21
US61/400,061 2010-07-21
US13/021,484 2011-02-04
US13/021,484 US8629976B2 (en) 2007-10-02 2011-02-04 Methods and systems for hierarchical de-aliasing time-of-flight (TOF) systems

Publications (2)

Publication Number Publication Date
CN102393515A CN102393515A (zh) 2012-03-28
CN102393515B true CN102393515B (zh) 2013-11-06

Family

ID=44341396

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011102170164A Active CN102393515B (zh) 2010-07-21 2011-07-21 用于对飞行时间(tof)系统进行分层去混叠的方法和系统

Country Status (7)

Country Link
US (1) US8629976B2 (zh)
EP (1) EP2596321B1 (zh)
JP (1) JP5918763B2 (zh)
KR (1) KR101824753B1 (zh)
CN (1) CN102393515B (zh)
IL (1) IL224134A (zh)
WO (1) WO2012012607A2 (zh)

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8629976B2 (en) * 2007-10-02 2014-01-14 Microsoft Corporation Methods and systems for hierarchical de-aliasing time-of-flight (TOF) systems
KR101483462B1 (ko) * 2008-08-27 2015-01-16 삼성전자주식회사 깊이 영상 획득 장치 및 방법
US9753128B2 (en) * 2010-07-23 2017-09-05 Heptagon Micro Optics Pte. Ltd. Multi-path compensation using multiple modulation frequencies in time of flight sensor
US9857469B2 (en) * 2010-10-22 2018-01-02 Heptagon Micro Optics Pte. Ltd. System and method for multi TOF camera operation using phase hopping
US20120120285A1 (en) * 2010-11-16 2012-05-17 Texas Instruments Incorporated Method and apparatus for reconfiguring time of flight shot mode
CN103998949B (zh) * 2012-01-10 2016-08-24 索弗特凯耐提克传感器股份有限公司 对飞行时间信号处理的改进或与之相关的改进
US20140049767A1 (en) * 2012-08-15 2014-02-20 Microsoft Corporation Methods and systems for geometric phase unwrapping in time of flight systems
US8879050B2 (en) * 2012-12-04 2014-11-04 Texas Instruments Incorporated Method for dynamically adjusting the operating parameters of a TOF camera according to vehicle speed
WO2014109504A1 (ko) * 2013-01-09 2014-07-17 엘지전자 주식회사 거리 검출 장치, 및 이를 구비하는 영상처리장치
DE102013003186B3 (de) 2013-02-26 2014-05-08 Audi Ag Verfahren zur Ermittlung eines Abstands eines Objekts zu einem Kraftfahrzeug und PMD-Sensor
US9019480B2 (en) 2013-02-26 2015-04-28 Jds Uniphase Corporation Time-of-flight (TOF) system, sensor pixel, and method
LU92173B1 (en) * 2013-03-20 2014-09-22 Iee Sarl Distance determination method
KR102040152B1 (ko) * 2013-04-08 2019-12-05 삼성전자주식회사 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서의 깊이 영상 생성 방법
US9329272B2 (en) * 2013-05-02 2016-05-03 Infineon Technologies Ag 3D camera and method of image processing 3D images
US9584790B2 (en) 2013-06-03 2017-02-28 Microsoft Technology Licensing, Llc Edge preserving depth filtering
WO2015066461A1 (en) * 2013-11-01 2015-05-07 Irobot Corporation Scanning range finder
US10291329B2 (en) * 2013-12-20 2019-05-14 Infineon Technologies Ag Exchanging information between time-of-flight ranging devices
EP2890125B1 (en) 2013-12-24 2021-10-13 Sony Depthsensing Solutions A time-of-flight camera system
KR102159994B1 (ko) 2014-01-22 2020-09-25 삼성전자주식회사 티오에프 카메라 장치 및 이의 구동 방법
EP2966475B1 (en) * 2014-07-09 2016-05-25 Softkinetic Sensors N.V. A method for binning time-of-flight data
US9702976B2 (en) * 2014-10-27 2017-07-11 Microsoft Technology Licensing, Llc Time of flight camera
US9823352B2 (en) 2014-10-31 2017-11-21 Rockwell Automation Safety Ag Absolute distance measurement for time-of-flight sensors
CA2979836C (en) * 2015-03-17 2023-08-29 Cornell University Depth field imaging apparatus, methods, and applications
JP2017009339A (ja) 2015-06-18 2017-01-12 株式会社リコー センサ、センシング装置及び距離計測方法
US9921298B2 (en) * 2015-07-20 2018-03-20 Google Llc Method and apparatus for increasing the resolution of a time of flight pixel array
JP6558122B2 (ja) * 2015-07-30 2019-08-14 株式会社デンソー 光飛行型測距装置
WO2017022152A1 (ja) * 2015-07-31 2017-02-09 パナソニックIpマネジメント株式会社 測距撮像装置、及び、固体撮像装置
TWI625538B (zh) * 2015-09-10 2018-06-01 義明科技股份有限公司 非接觸式光學感測裝置及感測三維空間之物件深度位置的方法
CN106527761A (zh) 2015-09-10 2017-03-22 义明科技股份有限公司 非接触式光学感测装置及三维空间物件深度位置感测方法
EP3379291A4 (en) 2015-11-16 2018-12-05 Panasonic Intellectual Property Management Co., Ltd. Imaging device and solid-state imaging element used in same
EP3414599B1 (en) * 2016-02-08 2019-12-18 Denso Corporation Time-of-flight distance measuring device and method for detecting multipath error
US10481263B2 (en) 2016-03-10 2019-11-19 Ricoh Company, Ltd. Range finding apparatus, moveable apparatus, robot, three dimensional measurement apparatus, method of measuring three dimensional information, and storage medium
EP3223034B1 (en) 2016-03-16 2022-07-20 Ricoh Company, Ltd. Object detection apparatus and moveable apparatus
US10598783B2 (en) 2016-07-07 2020-03-24 Microsoft Technology Licensing, Llc Multi-frequency unwrapping
JP6261681B2 (ja) * 2016-08-05 2018-01-17 ソフトキネティック センサーズ エヌブイ タイムオブフライト信号の処理における又はこれに関する改良
KR20180021509A (ko) 2016-08-22 2018-03-05 삼성전자주식회사 거리 정보를 획득하는 방법 및 디바이스
CN106772414B (zh) * 2016-10-14 2019-08-16 北醒(北京)光子科技有限公司 一种提高tof相位法测距雷达测距精度的方法
JP6848364B2 (ja) 2016-11-10 2021-03-24 株式会社リコー 測距装置、移動体、ロボット、3次元計測装置、監視カメラ及び測距方法
US10425628B2 (en) 2017-02-01 2019-09-24 Microsoft Technology Licensing, Llc Alternating frequency captures for time of flight depth sensing
US10810753B2 (en) 2017-02-27 2020-10-20 Microsoft Technology Licensing, Llc Single-frequency time-of-flight depth computation using stereoscopic disambiguation
US10754033B2 (en) 2017-06-30 2020-08-25 Waymo Llc Light detection and ranging (LIDAR) device range aliasing resilience by multiple hypotheses
US10627492B2 (en) * 2017-08-01 2020-04-21 Waymo Llc Use of extended detection periods for range aliasing detection and mitigation in a light detection and ranging (LIDAR) system
US10382736B1 (en) * 2018-02-09 2019-08-13 Infineon Technologies Ag Two frequency time-of-flight three-dimensional image sensor and method of measuring object depth
KR102473650B1 (ko) 2018-04-13 2022-12-02 엘지이노텍 주식회사 카메라 모듈 및 그의 깊이 정보 추출 방법
US10607352B2 (en) * 2018-05-17 2020-03-31 Microsoft Technology Licensing, Llc Reduced power operation of time-of-flight camera
CN109031333B (zh) * 2018-08-22 2020-08-21 Oppo广东移动通信有限公司 距离测量方法和装置、存储介质、电子设备
US10916023B2 (en) 2018-09-14 2021-02-09 Facebook Technologies, Llc Depth measurement assembly with a structured light source and a time of flight camera
US10861165B2 (en) 2019-01-11 2020-12-08 Microsoft Technology Licensing, Llc Subject tracking with aliased time-of-flight data
US11500091B2 (en) * 2019-03-13 2022-11-15 Wisconsin Alumni Research Foundation Non-line-of-sight imaging system for distant measurement
US11287517B2 (en) * 2019-04-19 2022-03-29 Sense Photonics, Inc. Single frame distance disambiguation
US10878589B2 (en) * 2019-05-02 2020-12-29 Samsung Electronics Co., Ltd. Time-of-flight depth measurement using modulation frequency adjustment
US11619723B2 (en) * 2019-09-23 2023-04-04 Microsoft Technology Licensing, Llc Multiple-mode frequency sharing for time-of-flight camera
CN114556048B (zh) * 2019-10-24 2023-09-26 华为技术有限公司 测距方法、测距装置及计算机可读存储介质
US20220413144A1 (en) * 2019-12-18 2022-12-29 Sony Group Corporation Signal processing device, signal processing method, and distance measurement device
JP2021148608A (ja) * 2020-03-19 2021-09-27 株式会社リコー 撮像装置、測距装置及び撮像プログラム
US11675067B2 (en) 2020-05-15 2023-06-13 Microsoft Technology Licensing, Llc Phase unwrapping with multiple wavelengths on a flat torus
US11520052B2 (en) * 2020-06-26 2022-12-06 Microsoft Technology Licensing, Llc Adaptive processing in time of flight imaging
CN111798506A (zh) * 2020-06-30 2020-10-20 上海数迹智能科技有限公司 一种图像处理方法、控制方法、终端及计算机可读存储介质
JPWO2022113637A1 (zh) * 2020-11-26 2022-06-02
WO2022128985A1 (en) * 2020-12-15 2022-06-23 Sony Semiconductor Solutions Corporation Time-of-flight image sensor circuitry and time-of-flight image sensor circuitry control method
CN114095713A (zh) * 2021-11-23 2022-02-25 京东方科技集团股份有限公司 成像模组及其处理方法、系统、装置、介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101326448A (zh) * 2005-12-05 2008-12-17 莱卡地球系统公开股份有限公司 可实现多目标的相位模糊度解算方法

Family Cites Families (171)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4288078A (en) * 1979-11-20 1981-09-08 Lugo Julio I Game apparatus
JPS56132580A (en) * 1980-03-10 1981-10-16 Tokyo Optical Co Ltd Light wave rangemeter
US4695953A (en) * 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) * 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) * 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) * 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) * 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) * 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) * 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) * 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) * 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) * 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) * 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) * 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
JPH0224590A (ja) * 1988-07-13 1990-01-26 Fujitsu Ltd 振幅変調形測距装置
US5239463A (en) * 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US5239464A (en) * 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US4901362A (en) * 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) * 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) * 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) * 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) * 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) * 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (zh) * 1990-02-13 1991-10-29
US5101444A (en) * 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) * 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) * 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) * 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) * 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) * 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
DE69229474T2 (de) 1991-12-03 2000-03-02 French Sportech Corp Interaktives videosystem zur beobachtung und zum training der leistungsfähigkeit einer person
US5875108A (en) * 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) * 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) * 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) * 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) * 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) * 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) * 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) * 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) * 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) * 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) * 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) * 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) * 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) * 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) * 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) * 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) * 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) * 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
US5563988A (en) * 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US5589928A (en) * 1994-09-01 1996-12-31 The Boeing Company Method and apparatus for measuring distance to a target
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) * 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) * 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) * 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) * 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5913727A (en) * 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
WO1996041304A1 (en) * 1995-06-07 1996-12-19 The Trustees Of Columbia University In The City Of New York Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two images due to defocus
US5682196A (en) * 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) * 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US6308565B1 (en) * 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6430997B1 (en) * 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6073489A (en) * 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6176782B1 (en) * 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) * 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) * 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
EP0958002A4 (en) * 1996-05-08 2001-03-28 Real Vision Corp REAL-TIME SIMULATION USING POSITION DETECTION
US6173066B1 (en) * 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) * 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
EP0959444A4 (en) * 1996-08-14 2005-12-07 Nurakhmed Nurislamovic Latypov METHOD FOR TRACKING AND REPRESENTING THE POSITION AND ORIENTATION OF A SUBJECT IN THE SPACE, METHOD FOR PRESENTING A VIRTUAL SPACE THEREON, AND SYSTEMS FOR CARRYING OUT SAID METHODS
JP3064928B2 (ja) * 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
DE69626208T2 (de) * 1996-12-20 2003-11-13 Hitachi Europ Ltd Verfahren und System zur Erkennung von Handgesten
US6009210A (en) * 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) * 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) * 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) * 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JP3077745B2 (ja) * 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) * 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6289112B1 (en) * 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
AUPO894497A0 (en) * 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) * 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) * 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
US6072494A (en) * 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6384819B1 (en) * 1997-10-15 2002-05-07 Electric Planet, Inc. System and method for generating an animatable character
US6101289A (en) * 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
AU1099899A (en) * 1997-10-15 1999-05-03 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6130677A (en) * 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
US6181343B1 (en) * 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6159100A (en) * 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) * 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
IL126284A (en) * 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
DE69936620T2 (de) * 1998-09-28 2008-05-21 Matsushita Electric Industrial Co., Ltd., Kadoma Verfahren und Vorrichtung zum Segmentieren von Handgebärden
AU1930700A (en) 1998-12-04 2000-06-26 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) * 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
US7202898B1 (en) 1998-12-16 2007-04-10 3Dv Systems Ltd. Self gating photosurface
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) * 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) * 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6503195B1 (en) * 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) * 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
KR100320520B1 (ko) * 1999-12-28 2002-01-16 이계안 자동변속기 셀렉터 레버 쉬프트 록 장치
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6587186B2 (en) * 2000-06-06 2003-07-01 Canesta, Inc. CMOS-compatible three-dimensional image sensing using reduced peak energy
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US6906793B2 (en) * 2000-12-11 2005-06-14 Canesta, Inc. Methods and devices for charge management for three-dimensional sensing
JP4533582B2 (ja) * 2000-12-11 2010-09-01 カネスタ インコーポレイテッド 量子効率変調を用いたcmosコンパチブルの三次元イメージセンシングのためのシステム
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
EP1497160B2 (de) 2002-04-19 2010-07-21 IEE INTERNATIONAL ELECTRONICS &amp; ENGINEERING S.A. Sicherheitsvorrichtung für ein fahrzeug
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
AU2003295944A1 (en) * 2002-11-26 2005-02-04 James F. Munro An apparatus for high accuracy distance and velocity measurement and methods thereof
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
DE602004006190T8 (de) 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
WO2004107266A1 (en) 2003-05-29 2004-12-09 Honda Motor Co., Ltd. Visual tracking using depth data
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
EP1631937B1 (en) 2003-06-12 2018-03-28 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
WO2005104010A2 (en) 2004-04-15 2005-11-03 Gesture Tek, Inc. Tracking bimanual movements
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
HUE049974T2 (hu) 2005-01-07 2020-11-30 Qualcomm Inc Képeken lévõ objektumok észlelése és követése
JP2008537190A (ja) 2005-01-07 2008-09-11 ジェスチャー テック,インコーポレイテッド 赤外線パターンを照射することによる対象物の三次元像の生成
CN101137996A (zh) 2005-01-07 2008-03-05 格斯图尔泰克股份有限公司 基于光流的倾斜传感器
JP5631535B2 (ja) 2005-02-08 2014-11-26 オブロング・インダストリーズ・インコーポレーテッド ジェスチャベースの制御システムのためのシステムおよび方法
WO2006099597A2 (en) 2005-03-17 2006-09-21 Honda Motor Co., Ltd. Pose estimation based on critical point analysis
KR101403172B1 (ko) 2005-05-17 2014-06-03 퀄컴 인코포레이티드 방위-감응 신호 출력
DE602005010696D1 (de) 2005-08-12 2008-12-11 Mesa Imaging Ag Hochempfindliches, schnelles Pixel für Anwendung in einem Bildsensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
JP4828245B2 (ja) * 2006-02-02 2011-11-30 株式会社 ソキア・トプコン 光波距離計
WO2008005516A2 (en) * 2006-07-06 2008-01-10 Canesta, Inc. Method and system for fast calibration of three-dimensional (3d) sensors
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
EP1901093B1 (de) 2006-09-15 2018-11-14 Triple-IN Holding AG Aufnahme von Entfernungsbildern
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
US7791715B1 (en) * 2006-10-02 2010-09-07 Canesta, Inc. Method and system for lossless dealiasing in time-of-flight (TOF) systems
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
US8629976B2 (en) * 2007-10-02 2014-01-14 Microsoft Corporation Methods and systems for hierarchical de-aliasing time-of-flight (TOF) systems
CN101254344B (zh) 2008-04-18 2010-06-16 李刚 场地方位与显示屏点阵按比例相对应的游戏装置和方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101326448A (zh) * 2005-12-05 2008-12-17 莱卡地球系统公开股份有限公司 可实现多目标的相位模糊度解算方法

Also Published As

Publication number Publication date
IL224134A (en) 2016-09-29
US20110188028A1 (en) 2011-08-04
EP2596321B1 (en) 2017-10-11
WO2012012607A2 (en) 2012-01-26
EP2596321A2 (en) 2013-05-29
JP2013538342A (ja) 2013-10-10
WO2012012607A3 (en) 2012-05-10
US8629976B2 (en) 2014-01-14
CN102393515A (zh) 2012-03-28
JP5918763B2 (ja) 2016-05-18
KR20150007192A (ko) 2015-01-20
KR101824753B1 (ko) 2018-02-01
EP2596321A4 (en) 2015-11-25

Similar Documents

Publication Publication Date Title
CN102393515B (zh) 用于对飞行时间(tof)系统进行分层去混叠的方法和系统
US9602807B2 (en) Single frequency time of flight de-aliasing
US7791715B1 (en) Method and system for lossless dealiasing in time-of-flight (TOF) systems
US11694350B2 (en) Time-of-flight depth measurement using modulation frequency adjustment
CN102346248B (zh) 在飞行时间系统中用于三维(3d)传感器的多相位动态校准的系统和方法
CN206147097U (zh) 一种激光测距装置
EP2729826B1 (en) Improvements in or relating to the processing of time-of-flight signals
CN103748479B (zh) 用于提供距离信息的飞行时间摄像机及方法
EP2264481A1 (en) Method and device for acquiring a range image
CN105487067B (zh) 粗测和精测距离信号处理方法、处理模块及基于该模块的啁啾调制光子计数激光雷达系统
CN111123289B (zh) 一种深度测量装置及测量方法
EP3811108A1 (en) Methods and systems for increasing the range of time-of-flight systems by unambiguous range toggling
CN110320528A (zh) 时间深度相机及多频调制解调的降低噪声的距离测量方法
CN110221273A (zh) 时间飞行深度相机及单频调制解调的距离测量方法
CN110221274A (zh) 时间飞行深度相机及多频调制解调的距离测量方法
EP3712639A1 (en) Simultaneous data transmission and depth image recording with time-of-flight cameras
CN110062894B (zh) 设备与方法
CN111366943A (zh) 飞行时间测距系统及其测距方法
US11561291B2 (en) High pulse repetition frequency lidar
CN111200710A (zh) 用于单次读出深度测量的具有交织保持的图像传感器
CN108921888B (zh) 一种深度图像检测方法、系统及计算机可读存储介质
CN113009498A (zh) 一种距离测量方法、装置及系统
CN111766605B (zh) 一种固态面阵激光三维成像系统及方法
JPS6254191A (ja) 車両用ランダム変調レ−ダ装置
Nagiub et al. Near Field iToF LIDAR Depth Improvement from Limited Number of Shots

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150429

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150429

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.