CN1438611A - 信息处理方法、装置以及记录介质 - Google Patents

Abstract

本发明是设定照相机的内部参数或者外部参数的方法，通过用照相机摄取在平面上配置了黑色图案要素和黑白图案要素的校正用图案来取得所得到的摄影图像；通过量化上述摄影图像，求出黑的连续区域和白的连续区域；根据上述所求得的黑区域和白区域，判别上述摄影图像中的黑图案要素和黑白图案要素；根据所判别的上述黑图案要素和上述黑白图案要素的配置关系，进行在摄影图像上的图案要素与在空间中的图案要素的对应，设定上述内部参数或者上述外部参数。

Description

信息处理方法、装置以及记录介质

技术领域

本发明涉及设定照相机的内部参数或者外部参数的信息处理方法、装置以及记录介质。

背景技术

为了校正称之为照相机的焦距或主点的内部参数、或者作为照相机的位置姿势的外部参数，有用照相机摄取放置在3维空间坐标内的坐标值为已知的多个基准点(fiducial point)(标记)，使用各个标记点的空间坐标值和该标记点的图像坐标值，基于照相机校正算法进行估计的方法。

其中，需要进行各个标记点的空间坐标值和图像坐标值的对应，有从标记点图像进行判断手动进行对应、或者利用图像处理方法自动进行对应的方法。在该照相机校正算法中，有基于全部的标记点是没有分布在1个平面上(3维分布)的标记点的方法，和基于全部的标记点是2维(平面上)分布的标记点的方法，因为具有容易在空间配置标记点、或可以发展为还能进行作为非线性的内部参数的透镜畸变的校正的方法等优点，故正在广泛普遍地得以利用。

上述内容是过去由Roger Y、Tsai等人提出的(Roger Y.Tsai，“A Versatile Camera Calibration Technique for High-Accuracy 3DMachine Metrology Using Off-the Shelf TV Cameras and Lenses”，IIIEJ.Robotics and Automation，Vol.RA-3，No.4，pp.323-344，1987)，除此之外还提出有日本专利申请公开特开平06-137840或日本专利申请公开特开2001-325069等多个提案。

在此照相机校正方法中，进行各标记点的空间坐标值与图像坐标值的对应的方法中，有将标记点作为具有特定的规律性的图案来准备，并通过在图像上识别其图案来自动地进行对应的方法。作为所使用的图案，有人提出了在白色背景中将黑色的圆或者椭圆排列在网格点阵上的图案、或由2组以上的平行的直线构成的图案(例如，棋盘格形式的图案(日本专利申请公开特开平5-274436(USP5444799)、(日本专利申请公开特开平7-98214)))。

这些方法可利用于以摄取图案的整体为前提的情况、或者尽管只摄取图案的一部分，但不需要确定所拍摄的是图案整体中的哪一个区域的情况。

但是，在估计照相机的位置姿势的情形中，由于要求求出以空间中的图案的特定位置为基准的位置姿势，故以往就指出，在只摄取图案中的部分区域这样的情况、或对图案的照相机的视轴完全不清楚这样的情况下，不能确定在摄取的图像区域中所拍摄的图案的部分区域是对应于空间中的图案中的哪一个区域的问题。作为解决该问题的方法，日本专利申请公开特开平06-137840展示了通过将图案要素的一部分改变为具有方向性的要素来确定图案中的区域的方法(现有技术A)。此方法是通过将构成为圆形的图案的要素的一部分置换成具有方向性的要素(例如椭圆)，使用该形状的差异和方向性来区别图案要素，确定摄影区域的方法。

另外，在使用包含平行直线的组的图案的情况下，还有在由平行的直线围起来的区域，例如，在构成棋盘格形状的一个一个的长方形网格的内部，配置不同于棋盘格形状的形状，通过利用图案识别处理来识别该形状来确定部分区域的方法(现有技术B)。

此外，还有通过改变图案要素的颜色，组合颜色识别处理和图案的空间特征识别处理来确定图案的部分区域的方法(现有技术C)。

在现有技术A中，在区别判定具有方向性的图案要素和其他的图案要素时，必须进行利用图像上的形状的差异的判定。这样由于摄取图像中的图案的形状因照相机与图案的位置关系的变化而进行变化，故存在易于产生因形状的识别错误而引起的图案要素的判定错误的问题。特别是在如日本专利申请公开特开平06-137840那样，在使用圆和椭圆的情况下尤为显著。

在现有技术B中，由于需要在照相机中足够大地捕捉为了确定图案的部分区域而设置的新的其他的形状，故用于照相机校正所利用的平行直线群的密度将变小。由于为了进行照相机的校正，使用在图像中广泛地分布的尽可能多的标记点为好，故成为标记点的基础的平行直线群的密度下降就是问题。

在现有技术C中，虽然同时解决了上述2个问题，但颜色区域的抽取与利用亮度的2值化处理相比较，一般是不稳定的。为此，就存在产生图案要素的误检测的问题。

发明内容

本发明是鉴于以上各点而完成的，其目的是：在使用图案的照相机校正中，在只能摄取图案的部分区域的情况下，不使图案中的标记点减少地、稳定地确定图案的摄影区域。

为了达到上述目的，本发明的特征在于具有以下的构成。

为了达到上述目的，本发明的一个技术方案提供一种设定照相机的内部参数或者外部参数的信息处理方法，其特征在于：取得用照相机摄取在平面上配置的，在亮背景区域具有暗的闭区域的黑色图案要素，和在暗的闭区域与该暗的闭区域内部具有亮的闭区域的黑白图案要素的校正用图案所得到的摄影图像；通过量化上述摄影图像，求出黑的连续区域和白的连续区域；根据上述所求得的黑区域和白区域，判别上述摄影图像中的黑图案要素和黑白图案要素；根据所判别的上述黑图案要素和上述黑白图案要素的配置关系，进行摄影图像上的图案要素与空间中的图案要素的对应，设定上述内部参数或者上述外部参数。

另外，为了达到上述目的，本发明的另一技术方案提供一种设定照相机的内部参数或者外部参数的信息处理方法，其特征在于：取得用照相机摄取在平面上配置的，在暗背景区域具有亮的闭区域的白色图案要素，和在亮的闭区域与该亮的闭区域内部具有暗的闭区域的白黑图案要素的校正用图案所得到的摄影图像；通过2值化上述摄影图像，求出白的连续区域和黑的连续区域；根据上述所求得的白区域和黑区域，判别上述摄影图像中的白图案要素和白黑图案要素；根据判别的上述白图案要素和上述白黑图案要素的配置关系，进行摄影图像上的图案要素与空间中的图案要素的对应，设定照相机的内部参数或者外部参数。

另外，为了达到上述目的，本发明的又一技术方案提供一种设定照相机的内部参数或者外部参数的信息处理方法，其特征在于：取得用照相机摄取配置了由亮度不同的2个闭区域所表示的第一图案要素以及由1个闭区域所表示的第二图案要素的校正用图案所得到的摄影图像；量化表示上述摄影图像的亮度的信号，从该量化结果检测出上述第一以及上述第二图案要素；根据上述检测结果中的第一图案要素的排列，进行摄影图像上的图案要素与空间中的图案要素的对应；根据上述对应的结果，设定上述照相机的内部参数或者外部参数。

本发明的其他目的以及特征，通过以下后继的实施例以及附图，将会弄明白。

附图说明

图1是表示利用第一实施形式的照相机校正装置的结构的框图；

图2是说明照相机构成方法的大概处理步骤的流程图；

图3是表示在利用第一实施形式的照相机构成方法中，图案的部分区域的识别确定方法的流程图；

图4是以往所利用的图案例；

图5是在第一实施形式中使用的图案；

图6是在第二实施形式中使用的图案例；

图7是在第三实施形式中使用的图案例之一；

图8是在第三实施形式中使用的图案例之一；

图9是在第四实施形式中使用的图案例；

图10是在第五实施形式中使用的图案例。

具体实施方式

下面，参照附图，对校正照相机的焦距或主点等的内部参数、或者照相机的位置姿势等外部参数的本发明的优选实施形式进行说明。

(第一实施形式)

第一实施形式的概要如以下那样。图1是表示本发明的第一实施形式的框图。

101是照相机，摄取图5所示的平面上的图案。此摄取图像作为图像信号输出到102的图像取入器。102是图像取入器，输入来自101的图像信号，在104的总线控制器的调停下，在107的图像缓冲器中写入图像。103是按照保存在106中的处理步骤进行处理的CPU。104是在103的CPU、102的图像取入器、105的存储器之间进行数据的输入输出·调停的总线控制器。105是保存处理步骤或图像等数据的存储器。106是表示保存在存储器105内的处理步骤的程序，例如，用于实现图2或图3的处理步骤的程序。107是用于保存在105的存储器内准备的图像的图像缓冲器，保持由102的图像取入器所取得的图像，并保持利用103的CPU所进行的处理结果图像。

使用图2所示的流程图说明在图1所示的框图中所构成的照相机校正装置的大致处理步骤。

在步骤S201，用照相机101摄取图5所示的图案，利用102的图像取入器来取入摄取图像。

相对于以往所使用的图案是图4所示那样规则地排列了成为标记点的黑色的圆状的图案要素的图案，在图5所示的本实施形式中使用的图案，将黑色的圆形状的图案要素的一部分置换为在黑色的圆区域内部以同心圆方式、具有白色的圆区域那样的图案要素。

在步骤S201中所取入的图像，存储在107的图像缓冲器中。接着，在步骤S202中，由该图像进行图案的识别、图案的部位的确定。使用此结果在步骤S203中进行照相机参数的估计。照相机参数的估计包括由在图像上的图案要素的位置计算消失点，求出焦距等方法，可以适用在现有技术中所叙述那样的多种方法。例如，也可以使用进行在日本专利申请公开特开平06-137840或日本专利申请公开特开2001-325069中所叙述的照相机的位置姿势估计的步骤。

本实施形式的特征在于，作为在步骤S202进行的处理的、与包含于图案中的图案要素(标记点)的空间坐标值和记录在图像上的图案要素的图像坐标值的对应有关的处理。

下面，使用图3所示的流程图更为详细地说明此步骤S202的处理步骤。

在步骤S301中，利用预先设定的临界值，进行利用图像的各个像素的亮度的量化处理(2值化处理)。这里，如果能够稳定地进行量化，也可以是取得图像的直方图，动态地确定最佳临界值等其他的方法。

所得到的2值图像保存在107的图像缓冲器2中。接着，在步骤S302中，视白色为背景区域，视黑色为关注区域，进行所关注的像素的连续区域的检测，即黑色区域的检测。这是在图像处理中广泛普遍地进行的图像的标识处理。进而，同时计算重心位置。由于在检测连续区域的过程中将确定包含在各个区域中的像素，故可以容易地计算出该连续区域的重心位置。

关于标识处理的结果，所得到的连续区域的大小为小的区域，视为在图像取入时发生的噪声，在步骤S303中删除该区域。

通过上面的步骤S301、S302、S303的处理步骤，可以检测出起因于位于图案中的黑圆图案要素以及同心圆图案要素的黑色区域。

此外，在步骤S304中，视黑色为背景区域，视白色为关注区域，进行所关注的像素的连续区域的检测，即白色区域的检测。与步骤S302同样地，也进行白色区域的重心位置的计算。然后与步骤S303同样地，在步骤S305删除区域的大小为小的区域。进而，在步骤S306中，从检测出来的白色区域中判定最大的像素数的区域，并将该区域作为背景的白色区域删除。利用此方法，由于作为图案的背景的白色区域相对于其他的白色区域极端地大，故可以容易且稳固地判别删除背景的白色区域。

通过以上的步骤S301、S304、S304、S306的处理步骤，可以检测出起因于图案中的同心圆标记要素的中央部的白色圆的白色区域。

通过以上方法，从摄取了图案的图像，就可以进行起因于图案要素的黑色区域和白色区域以及它们的重心位置的检测。使用该结果，在步骤S307中进行同心圆图案要素和黑圆图案要素的判别。这里，在存在同心圆的黑色区域和白色区域时，理想的情况是该2个的重心点为同一点。因此，在此步骤S307中，通过在所有的白色区域搜索具有充分接近于该重心点的重心点的黑色区域，来判定是同心圆图案要素中的黑色区域还是黑圆图案要素的黑色区域。此判定方法与以往基于的黑色区域的形状的判定方法相比较，非常地健壮，另外，计算成本也非常低。

在步骤S307中，进而以该判定结果为依据，将在黑圆图案要素的图像上的位置作为起因于黑圆图案要素的黑色区域的重心位置，将在同心圆图案要素的图像上的位置作为同心圆图案要素的中央部的白色区域的重心位置。

此外，同心圆图案要素的图像上的位置，也可以重合起因于同心圆图案要素的白色区域和黑色区域并视为一个区域，并且设为该区域的重心位置。

通过直到步骤S307的处理，可以确定在同心圆图案要素的图像上的位置和在黑圆图案要素的图像上的位置。使用该结果利用以下的步骤，进行图案中的摄影区域的识别。

如图5所示这样，同心圆图案要素从中心点沿一个方向直线状地进行配置，进而也在该中心点与该直线正交相邻的网格点位置上进行配置。由此，检测出来的同心圆图案要素应该在图像中除去最后的一点直线状地排列。于是，在步骤S308中，从n个同心圆图案要素中选择n-1个的图案要素，并进行所选择的要素的位置的直线近似计算。然后，从全部的n-1个的图案要素的组合中，选择与直线的近似度高的组合。在此，没有被选择的同心圆图案要素的位置设为Q。

在步骤S309中，从接近于Q的一侧开始对所选择的要素进行排序以使沿着该近似直线顺序地排列，设该结果为P1、P2……、Pn-1。

利用步骤S308和S309的步骤，可以识别位于图5的图案中的同心圆图案相当于所摄取的图像中的哪一个。但是，在直线状地排列地同心圆图案中，需要在图像中捕捉3个以上中央附近的同心圆图案。

使用可以确定同心圆图案要素的结果，在步骤S310中相继进行黑圆图案要素的确定。此步骤S310的步骤是，以P1为图案的坐标系的原点，以P1→P2、P3、…、Pn-1的方向为X轴正方向，以P1→Q的方向为Y轴正方向，以在图像上的图案要素的邻接关系和距离为依据，进行黑圆图案要素的识别。

如上面那样，利用第一实施形式，在使用了图案的照相机校正中，即使在只能摄取图案的部分区域的情况，也可以做到不减少图案中的标记点地，稳定地确定图案的摄影区域。

(第二实施形式)

图案并不限于在白色背景中配置了黑圆图案要素和同心圆图案要素的形式，也可以使用如图6所示那样的在黑色背景中配置了白圆图案要素和在白圆内部同心圆地具有黑圆的同心圆图案要素的形式。在此情况下，只要沿用第一实施形式步骤S302～S307的将白读取替换成黑、将黑读取替换成白的处理步骤即可。

(第三实施形式)

黑圆图案要素和同心圆图案要素的配置也可以不是在第一实施形式中所示的图5那样的配置，只要同心圆图案相对于黑圆具有特定的规律性来配置，用其他任何规律进行排列都可以。

例如，也可以是图7所示那样的配置，也可以是图8所示那样的配置。在此情况下，只要在第一实施形式进行的步骤中变更步骤S308～S310的判定方法即可。

(第四实施形式)

利用的图案可以不是正方网格状地配置了图案要素的图案，也可以使用正三角形网格状地配置了图案要素的图案。另外，可以不是在较多地配置了黑圆图案要素的中间的一部分中较少地配置了同心圆图案要素那样的图案，也可以是在较多地配置了同心圆图案要素的中间的一部分中较少地配置了黑圆图案要素那样的图案。即，也可以使用图9所示那样的图案要素。

(第五实施形式)

作为所利用的图案，也可以不将图案要素的全部作为用于在照相机的校正计算中实际使用的标记点来利用。例如，也可以是正方网格状地配置黑圆图案要素，在黑圆图案要素的要素之间配置同心圆图案要素，同心圆图案要素仅为了确定图案的摄影区域而使用，而在照相机的校正计算中只使用黑圆图案的方法。即，例如，也可以使用图10所示那样的图案。

因此，上述的实施形式只是所有方面中的一些例子，本发明并不限于上述的实施形式。

本发明不限于特定的实施方式，本发明的范围由所附权利要求限定。进而，在本发明的范围内可以进行各种修正和变形。

Claims (8)

1.一种设定照相机的内部参数或者外部参数的信息处理方法，其特征在于：

取得用照相机摄取在平面上配置的，在亮背景区域具有暗的闭区域的黑色图案要素，和在暗的闭区域与该暗的闭区域内部具有亮的闭区域的黑白图案要素的校正用图案所得到的摄影图像；

通过量化上述摄影图像，求出黑的连续区域和白的连续区域；

根据上述所求得的黑区域和白区域，判别上述摄影图像中的黑图案要素和黑白图案要素；

根据所判别的上述黑图案要素和上述黑白图案要素的配置关系，进行摄影图像上的图案要素与空间中的图案要素的对应，设定上述内部参数或者上述外部参数。

2.根据权利要求1所记述的信息处理方法，其特征在于：

上述黑色图案要素是黑色的圆区域，上述黑白图案要素是在黑色的圆区域中在其内部具有同心圆的白色的圆区域的图案要素。

3.根据权利要求1所记述的信息处理方法，其特征在于：

在上述黑区域和上述白区域的重心位置大致相同时，判别为是黑白图案要素。

4.一种设定照相机的内部参数或者外部参数的信息处理方法，其特征在于：

取得用照相机摄取在平面上配置的，在暗背景区域具有亮的闭区域的白色图案要素，和在亮的闭区域与该亮的闭区域内部具有暗的闭区域的白黑图案要素的校正用图案所得到的摄影图像；

通过2值化上述摄影图像，求出白的连续区域和黑的连续区域；

根据上述所求得的白区域和黑区域，判别上述摄影图像中的白图案要素和白黑图案要素；

根据判别的上述白图案要素和上述白黑图案要素的配置关系，进行摄影图像上的图案要素与空间中的图案要素的对应，设定照相机的内部参数或者外部参数。

5.一种设定照相机的内部参数或者外部参数的信息处理方法，其特征在于：

取得用照相机摄取配置了由亮度不同的2个闭区域所表示的第一图案要素以及由1个闭区域所表示的第二图案要素的校正用图案所得到的摄影图像；

量化表示上述摄影图像的亮度的信号，从该量化结果检测出上述第一以及上述第二图案要素；

根据上述检测结果中的第一图案要素的排列，进行摄影图像上的图案要素与空间中的图案要素的对应；

根据上述对应的结果，设定上述照相机的内部参数或者外部参数。

6.一种程序，其特征在于：

用于实现权利要求1所记述的信息处理方法。

7.一种记录介质，其特征在于：

记录用于实现权利要求1所记述的信息处理方法的程序。

8.一种设定照相机的内部参数或者外部参数的信息处理装置，其特征在于，包括：

配置了由亮度不同的2个闭区域所表示的第一图案要素以及由1个闭区域所表示的第二图案要素的校正用图案；

取得通过使用上述照相机摄取上述校正用图案所得到的摄影图像的取得单元；

量化表示上述摄影图像的亮度的信号，从该量化结果中检测出上述第一以及上述第二图案要素的检测单元；

根据上述检测结果中的第一图案要素的排列，进行摄影图像上的图案要素与空间中的图案要素的对应，设定上述照相机的内部参数或者外部参数的设定单元。

Images