CN1921565A - 用于确定成像设备运动的方法和系统 - Google Patents

Abstract

本发明公开了用于确定成像设备运动的方法和系统。成像设备中包括多个运动传感器件。一个或多个运动传感器件捕捉图像，然后对至少部分传感图像进行处理以确定所处理的传感图像的一个或多个运动矢量。当运动矢量的预定部分匹配时，产生表示成像器在图像捕捉期间运动量的至少一个运动矢量。

Description

用于确定成像设备运动的方法和系统

技术领域

本发明涉及用于确定成像设备运动的方法和系统。

背景技术

成像设备的使用者，例如静止图像照相机或视频摄像机的使用者，经常捕捉到模糊或抖动的图像。引起图像的模糊或抖动可能是由于在捕捉图像期间物体运动，也可能是由于成像设备自身在图像捕捉期间的运动产生的振动。例如，照相机颤动、快门速度较低、或者使用不带三角架的摄远镜头，都可能由于成像设备在图像捕捉期间发生运动而造成模糊或抖动的图像。

图像稳定技术用于对成像器在图像捕捉期间的运动进行补偿。图像稳定通过对成像设备或成像器的运动产生的振动提供阻尼或反作用而产生更加清晰的图像。一种图像稳定技术采用内建的陀螺传感器，在照相机发生抖动时对这种抖动进行测量和校正。另一种图像稳定技术采用成像传感器来捕捉用于对成像器的运动进行补偿的图像。

图1是根据现有技术的成像设备正视图的框图。成像设备100包括成像器102和运动传感器104。如图2所示，成像器102和运动传感器104都对景物106的图像进行捕捉。运动传感器104以高帧率捕捉图像，通过对传感器104的连续图像进行相关处理来对成像设备100的运动进行计算。运动传感器104与成像器102相比具有较少的象素，使得传感器104的视场110比成像器102要小。较小的视场可能使运动传感器104检测到图像106中产生的运动，并错误地对这种运动而不是对成像设备的任何运动进行补偿。例如，在成像器102对人的图像进行捕捉时，运动传感器104可能捕捉到人头部的图像。在图像捕捉期间，运动传感器104会检测到人晃动头部的运动。但是成像设备100可能并未运动，或者其运动比头部的运动要少。这样，图像稳定技术就可能错误地对未发生的运动进行补偿，或者对成像设备100的运动进行了过度补偿。

发明内容

根据本发明，提供了用于确定成像设备运动的方法和系统。成像设备中包括多个运动传感器件。一个或多个运动传感器件捕捉图像，然后至少部分传感图像得到处理以确定所处理的传感图像的一个或多个运动矢量。当运动矢量的预定部分匹配时，产生表示成像器在图像捕捉期间运动量的至少一个运动矢量。

附图说明

图1是根据现有技术的成像设备正视图的框图；

图2是图1所示成像设备左侧视图的框图；

图3是根据本发明一种实施例的成像设备正视图的框图；

图4是成像设备300的左侧视图的框图；

图5A-5B图示了根据本发明一种实施例对成像设备的运动进行确定的方法的流程图；

图6是根据本发明一种实施例中景物和传感图像的框图；

图7图示了根据本发明一种实施例中带有窗口的传感图像602；

图8图示了根据本发明一种实施例中带有子窗口的窗口700；

图9图示了根据图5A-5B所示方法处理的带有窗口的第一传感图像；

图10图示了根据图5A-5B所示方法处理的带有窗口的第二传感图像。

具体实施方式

进行下面的说明是为了使本领域技术人员能够制造和使用本发明的实施例，文中阐明了本发明申请及其要求。对于本领域技术人员而言，容易对所公开的实施例进行各种改变，本发明的一般原理可以应用到其他实施例中。因此，本发明不应限于所示出的实施例，而应当具有与权利要求及此处所述原理和特征一致的最宽范围。应当明白，本发明涉及的附图不是按比例绘制的。

在所有附图中，相同的标号表示相应的部件。图3是根据本发明一种实施例中成像设备正视图的框图。成像设备300包括成像器102和光学运动传感器302。运动传感器302包括传感器件304、306、308，在根据本发明的一种实施例中，它们可以以互补金属氧化物半导体(CMOS)器件的形式来实现。在根据本发明的其他实施例中，传感器件304、306、308可以采用其他成像器件来实现，例如电荷耦合器件(CCD)。

成像器102以任何可以捕捉静止图像或视频图像的已知成像设备的形式实现。成像器102捕捉位于其视场中的景物106的图像。在根据本发明的一种实施例中，传感器件304、306、308捕捉若干景物片段的一个或多个图像。在根据本发明的另一种实施例中，一些或全部传感器件304、306、308对位于成像器102视场外的图像的一个或多个图像进行捕捉。

传感器图像用于确定与成像设备300在图像捕捉期间的运动有关的一个或多个运动矢量(即方向和距离值)。在根据本发明的一种实施例中，图像稳定技术采用一个或多个运动矢量来对成像器102捕捉的图像进行稳定。尽管图3中只示出了三个传感器件，但是根据本发明的实施例可以包括任意数量的多个传感器。

图4是成像设备300的左侧视图的框图。为了清楚起见，并未示出成像器102。小透镜阵列400包括分别设置在传感器件304、306、308成像路径中的三个透镜402、404、406。可以对每个透镜进行倾斜和旋转以使其相应的传感器件能够捕捉景物106的不同片段。例如，在根据本发明的一种实施例中，透镜402设置为(例如倾斜)使传感器件304能够捕捉景物106的子区域408的图像，透镜404设置为使传感器件306能够捕捉子区域410的图像，而透镜406设置为使传感器件308能够捕捉子区域412的图像。在根据本发明的其他实施例中，小透镜阵列400中的透镜可以设置在任何给定方向上。

传感器304、306、308捕捉的传感图像由处理装置414进行处理，以确定每个传感图像的一个或多个运动矢量。在根据本发明的一种实施例中，传感图像在得到处理之前储存在存储器416中。可以用于确定运动矢量的一种技术是图像相关。对同一传感器捕捉到的两个图像进行相关处理以便确定捕捉两个图像的时间之间是否有运动发生。运动可以是来自成像设备的运动、景物中物体的运动，或者既有成像设备的运动又有景物中物体的运动。图5A-5B图示了根据本发明的一种实施例中对图像装置的运动进行确定的方法的流程图。

共同转让的美国专利申请11/014,482中公开了可以用于确定运动矢量的另一种技术，该申请通过引用而结合于此。对于成像设备300中的每个传感器件304、306、308，捕捉两个传感图像，并通过从一个传感图像I(t+Δ)中减去另一个传感图像I(t)而产生差别图像。例如，从图像I(t+Δ)的灰度值中减去来自图像I(t)的灰度值。这样，差别图像就代表了两个传感图像之间灰度值的差异。

然后将差别图像与用于产生差别图像的传感图像之一进行相关。例如，在根据本发明的一种实施例中，差别图像与图像I(t)进行相关。在根据本发明的另一种实施例中，差别图像与图像I(t+Δ)进行相关。然后用进行相关所得结果来确定捕捉到图像I(t)和I(t+Δ)的时间之间是否发生了运动。同样，运动可以是来自成像设备的运动、景物中物体的运动，或者既有成像设备的运动又有景物中物体的运动。

图5A-5B图示了根据本发明的一种实施例中对图像装置的运动进行确定的方法的流程图。一开始，如方框500所示，成像设备中的一些或全部传感器件捕捉到传感图像。可以同时捕捉传感图像，也可以连续捕捉。

如前所述，每个传感图像描述了景物的一个片段。图6是根据本发明的一种实施例中，景物和传感图像的框图。景物600包括传感图像602、604、606。在图6的实施例中，传感图像602、604、606的位置对应于图3中传感器件304、306、308。根据本发明的其他实施例可以包括任意给定数量的传感图像。此外，传感图像可以按照任何给定的方式布置。

再参考图5A，在方框502处判断是否对传感图像进行细分。在图5A-5B所示实施例中，所有的传感图像都进行了细分。在根据本发明的另一种实施例中，并非所有的传感图像都进行细分。在根据本发明的再一种实施例中，一些或全部传感图像只有一部分进行了细分。

如果要对传感图像进行细分，则流程进行到方框504，在该处判断是否对传感图像中的窗口进行细分。如果窗口不进行细分，则方框506处在传感图像中产生两个或多个窗口。图7图示了根据本发明的一种实施例中具有窗口的传感图像602。传感图像602包括九个窗口700，每个窗口700包括传感图像602中的部分图像。窗口700可以尺寸相同，也可以尺寸不同。此外，窗口700的形状不限于正方形或矩形。窗口700可以设置为任何给定的形状。

接下来，在方框508处，对传感图像中的多个窗口进行单独处理以确定每个窗口的运动矢量。在根据本发明的另一种实施例中，不是对所有窗口都进行处理，而是选择出要处理的窗口。在根据本发明的再一种实施例中，可以将窗口以各种布局分组到一起，并对所得的组进行处理。

然后在方框510处储存运动矢量，并对是否还有传感图像要处理进行判断(方框512)。如果还有传感图像要处理，则本方法返回方框506并重复进行，直到所有的传感图像都得到处理。

回到方框504，如果要对窗口进行细分，则流程进行到框514，该处在传感图像中产生两个或多个窗口。然后，在方框516处，在窗口中产生两个或多个子窗口。在图5A-5B所示的实施例中，所有的窗口都进行了细分。在根据本发明的另一种实施例中，并非所有窗口都进行细分。在根据本发明的再一种实施例中，一些或全部传感图像只有一部分进行了细分。

图8图示了根据本发明的一种实施例中带有子窗口的窗口700。窗口700包括四个子窗口800，每个子窗口包括窗口700中的部分图像。子窗口800可以尺寸相等，也可以尺寸不同。此外，子窗口800的形状不限于正方形或矩形。子窗口可以设置为任何给定的形状。

然后在方框518处对窗口中的每个子窗口进行单独处理，以确定每个子窗口的运动矢量。在根据本发明的另一种实施例中，不是对所有子窗口都进行处理，而是选择出要处理的子窗口。在根据本发明的再一种实施例中，可以将子窗口以各种布局分组到一起，并对所得的组进行处理。

接下来，在方框520和522处储存运动矢量，并对是否还有窗口要处理进行判断。如果还有窗口要处理，则本方法返回方框514并重复进行，直到所有的窗口都得到处理。当没有剩余窗口要处理时，流程在方框524处继续进行，在该处确定是否还有传感图像要处理。如果有，则本方法返回方框514并重复进行，直到所有的传感图像都得到处理。

当所有传感图像的运动矢量都确定时，在方框526处对运动矢量进行比较。然后在方框528处判断是否所有运动矢量都匹配。图9图示了根据图5A-5B方法处理的、带有窗口的第一传感图像。每个窗口的运动矢量由箭头900指示。如图9所示，所有窗口的运动矢量都匹配。因此，运动矢量900指示了根据本发明的一种实施例中在图像捕捉期间成像器的运动量。图像稳定技术中采用与运动矢量900相关的值来对成像设备中的成像器(例如图3中成像设备300的成像器102)捕捉到的图像进行稳定。

如果不是所有窗口或子窗口的运动矢量都匹配，则本方法进行到方框530，在该处判断是否窗口或子窗口中大部分运动矢量都匹配。图10图示了根据图5A-5B所示方法处理的、带有窗口的第二传感图像。四个窗口的运动矢量由箭头1000指示，而五个窗口的运动矢量由箭头1002指示。由于五个窗口在九个中是大部分，所以与运动矢量1002相关的值指示了成像器的运动量，并由图像稳定技术用于对根据本发明一种实施例中的成像器所捕捉的图像进行稳定。在根据本发明一种实施例中，运动矢量1000表示景物中发生的运动，不被图像稳定技术所采用。

如果大部分运动矢量不匹配，则运动矢量表示图像捕捉期间景物中发生的运动。所以，在方框532处输出等于零的运动矢量，因为运动不是由于成像设备的运动造成的。如果在方框528处所有的运动矢量都匹配，或者在方框530处大部分运动矢量都匹配，则在方框534处输出与所有运动矢量或者所述大部分运动矢量相等的运动矢量。然后在图像稳定技术中采用方框534处输出的运动矢量来对成像设备中成像器所捕捉的图像进行稳定。

再参考图5A中的方框502，如果不对传感图像进行细分，则本方法进行到方框536处，在根据本发明一种实施例中，在该处对传感图像进行单独处理以确定每个传感图像的运动矢量。然后在方框526处对运动矢量进行比较，并确定是否所有的运动矢量都匹配(方框528)。如果传感图像的运动矢量不匹配，则本方法在方框530处继续进行，在该处确定是否大部分传感图像的运动矢量都匹配。

如果大部分运动矢量都不匹配，则在方框532处输出等于零的运动矢量。如果所有或者大部分传感图像的运动矢量都匹配，则在方框534处输出与所有传感图像或者所述大部分传感图像中的运动矢量相等的运动矢量。然后在图像稳定技术中采用方框534处输出的运动矢量来对成像设备中成像器所捕捉的图像进行稳定。

尽管图5A-5B所示方法对与传感图像相关的运动矢量进行比较以确定是否所有或者大部分都匹配，但是根据本发明的其他实施例不限于这样的实施方式。在根据本发明的其他实施例中，对运动矢量进行比较以确定是否运动矢量的预定部分是匹配的。此外，所述比较不一定包括所有计算出的运动矢量。根据本发明的其他实施例可以仅仅对部分运动矢量进行比较，或者对比较哪些运动矢量进行选择。

图5A-5B图示了用于确定成像设备运动的一种方法。根据本发明的实施例不限于图5A-5B所示的方框或其顺序。根据本发明的其他实施例可以包括图5A-5B中未曾示出的其他方框。此外，还可以删去或者重新排列图5A-5B所示的一个或多个方框。例如，可以不对窗口进行细分，就可以不必在根据本发明的这种实施例中包括方框514-524。

Claims (20)

1.一种成像设备，包括：

多个传感器件，每个所述传感器件能够用来捕捉一个或多个传感图像；以及

包括多个透镜的透镜阵列，其中，每个透镜设置在相应传感器件的成像路径中，使得由所述多个传感器件中所述传感器件之一捕捉到的一个或多个传感图像与其他传感器件捕捉到的图像不同。

2.根据权利要求1所述的成像设备，还包括成像器，所述成像器能够用来捕捉一个或多个图像。

3.根据权利要求2所述的成像设备，还包括处理装置，所述处理装置能够用来从所述多个传感器件接收所述一个或多个传感图像，并确定至针对于少部分所述传感图像的一个或多个运动矢量。

4.根据权利要求3所述的成像设备，其中，所述处理装置能够用来在至少部分所述传感图像中产生多个窗口并确定针对于每个窗口的运动矢量。

5.根据权利要求4所述的成像设备，其中，所述处理装置能够用来在至少部分所述窗口中产生多个子窗口并确定针对于每个子窗口的运动矢量。

6.根据权利要求2所述的成像设备，其中，当与所述传感图像相关的所述运动矢量的预定部分匹配时，所述处理装置能够用来产生表示所述成像器运动量的一个或多个运动矢量。

7.一种用于确定成像设备中成像器的运动量的系统，所述系统包括：

多个运动传感器件，每个所述运动传感器件能够用来捕捉一个或多个传感图像；

包括多个透镜的透镜阵列，其中，每个透镜设置在相应运动传感器件的成像路径中，使得由所述多个运动传感器件中所述运动传感器件之一捕捉到的一个或多个传感图像与其他运动传感装置捕捉到的图像不同；和

处理装置，所述处理装置能够用来从所述多个运动传感器件接收所述一个或多个传感图像，并能够用来确定针对于至少部分所述传感图像的一个或多个运动矢量，其中，当与所述传感图像相关的所述运动矢量的至少预定部分匹配时，产生表示所述成像器运动量的一个或多个运动矢量。

8.根据权利要求7所述的系统，还包括存储器，所述存储器能够用来对与所述传感图像相关的所述一个或多个运动矢量进行储存。

9.根据权利要求7所述的系统，其中，所述处理装置能够用来在至少部分所述传感图像中产生多个窗口并确定针对于每个窗口的运动矢量。

10.根据权利要求7所述的系统，其中，所述处理装置能够用来在至少部分所述窗口中产生多个子窗口并对每个子窗口进行处理以确定针对于每个子窗口的运动矢量。

11.一种用于确定成像设备中成像器运动量的方法，包括：

接收包括景物第一片段的第一传感图像；

接收包括景物第二片段的第二传感图像，其中，所述景物第一片段与所述景物第二片段不同；以及

确定针对于所述第一传感图像和所述第二传感图像的一个或多个运动矢量。

12.根据权利要求11所述的方法，还包括：

对针对于所述第一传感图像和所述第二传感图像的所述运动矢量进行比较；

确定所述运动矢量的预定部分是否匹配；以及

当所述运动矢量的所述预定部分匹配时，产生表示所述成像器运动量的运动矢量。

13.根据权利要求11所述的方法，还包括在至少部分的所述第一传感图像和第二传感图像中产生多个窗口。

14.根据权利要求13所述的方法，其中，确定针对于所述第一传感图像和所述第二传感图像的一个或多个运动矢量的步骤包括确定针对于所述第一传感图像和所述第二传感图像中至少部分所述窗口的运动矢量。

15.根据权利要求14所述的方法，还包括：

比较针对于所述第一传感图像和所述第二传感图像中所述窗口确定的所述运动矢量；

判断所述运动矢量的预定部分是否匹配；以及

当所述运动矢量的所述预定部分匹配时，产生表示所述成像器运动量的一个或多个运动矢量。

16.根据权利要求15所述的方法，还包括对针对于所述第一传感图像和所述第二传感图像中所述窗口确定的运动矢量进行储存。

17.根据权利要求13所述的方法，还包括为所述第一传感图像和所述第二传感图像中至少部分所述窗口产生多个子窗口。

18.根据权利要求17所述的方法，其中，确定针对于所述第一传感图像和所述第二传感图像的一个或多个运动矢量的步骤包括确定针对于至少部分所述子窗口的运动矢量。

19.根据权利要求18所述的方法，还包括：

比较针对于所述子窗口确定的所述运动矢量；

确定所述运动矢量的预定部分是否匹配；以及

当所述运动矢量的所述预定部分匹配时，产生表示所述成像器运动量的一个或多个运动矢量。

20.根据权利要求19所述的方法，还包括存储针对于所述子窗口确定的所述运动矢量。

Images