CN100530245C - 从二维图像产生三维图像的装置及其方法 - Google Patents

Abstract

根据输入图像的照明特征，从输入的二维图像产生三维图像，即，通过用不同取向的滤波器滤波二维输入图像；输出与滤波器相对应的各基本明暗处理图像；抽取每个基本明暗处理图像的正像素值；计算输入图像的像素值和抽取的正像素值之间的差值；计算计算的差值的中值；选择滤波器以输出最小中值的基本明暗处理图像；通过用选择的滤波器滤波输入图像，输出明暗处理图像；将输入的图像与所述明暗处理图像结合，和根据结合的图像输出三维图像。在选择当前图像的滤波器时能够考虑对在前图像的前面选择的滤波器，使得能够产生三维运动图像。

Description

从二维图像产生三维图像的装置及其方法

技术领域

本发明通常涉及一种从二维图像产生三维图像的装置及其方法，更具体地，本发明涉及通过在输入二维图像的轮廓区域中添加明暗处理(shade)产生三维图像的装置及其方法。

背景技术

Adobe Systems推销和在世界范围广泛使用的Photoshop，采用滤波RGB或CIE-Lab格式的图像的方法，以将二维图像转换成三维图像。根据这个方法，在向三维图像转换期间，使用者必须人工调节照明的方向和增益，结果，一直存在的问题是，在转换的三维图像中没有表现出真实的二维图像的特征。另外，虽然在滤波后在三维图像中能够表现出图像，但是仅能够是黑白图像。同时，GNU图像处理程序(Image Manipulation Program)，也使用与Photoshop相同的方法的LINUX图形工具(graphic tool)，仅能够将RGB格式的二维图像转换成三维图像。

上述的图形工具是，在使用者手动选择照明方向和增益时，从原始图像创造新图像，而不是基于原始图像的照明效果将原始二维图像转换成三维图像。因此，在运动图像(运动画面)时，必须对每个图像手动调节照明方向和增益，并且，上述图形工具也不具有诸如模糊和噪音防止的功能。因此，用这样的典型方法表现三维运动图像很困难并且不实用。

发明内容

本发明的开发是为了克服上述现有技术的问题。因此，本发明的目的是提供，根据原始图像的照明特征，从原始二维静止和运动的图像产生三维图像的装置及其方法。

在下面的说明和实施例中将明了本发明的其它目的和优点。

本发明是通过从二维图像产生三维图像的装置实现的，所述装置包括：产生器，利用至少两个具有方向的滤波系数关于输入图像产生每个滤波系数的明暗处理图像，并且从产生的明暗处理图像估计输入图像的照明方向；和结合器，将输入图像与明暗处理图像结合，并输出三维图像。

根据本发明的一个方面，产生单元包括：滤波单元，用不同取向的多个滤波器滤波输入图像，并输出分别与各滤波器相对应的各个结果的基本明暗处理图像；正值抽取单元，对每个基本的明暗处理图像抽取正像素值；减法单元，计算在输入图像的像素值和相对于每个基本明暗处理图像抽取的正像素值之间的差值；中值计算单元，计算对于每个基本明暗处理图像计算的差值的中值；和滤波器选择单元，选择输出最小中值的基本明暗处理图像的滤波器，通过用滤波器选择单元选择的滤波器滤波输入的图像，滤波单元输出/产生明暗处理图像。

根据本发明的一个方面，滤波单元包括滤波存储单元，存储不同取向的多个滤波系数；和滤波器单元，相对于多个滤波系数连续地滤波输入图像，分别输出与滤波系数相对应的基本明暗处理图像。

根据本发明一个方面，产生单元还包括：滤波器调节单元，如果相对于当前输入图像由滤波器选择单元选择的滤波器与以前选择的滤波器不同，并且当前输入图像的最小中值和一个或多个在前图像的最小中值之间的差值低于预定参考值，则它保持在前选择的滤波器，从而使得所述装置能够通过产生与输入的二维图像相对应的适当的明暗处理图像，将运动的二维图像转换成运动的三维图像。

根据本发明一个方面，滤波器调节单元包括：最小中值存储单元，它被输入当前图像和在前图像的最小中值，并存储输入的最小中值；和比较单元，如果相对于当前输入图像由滤波器选择单元选择的滤波器不同与在前选择的滤波器，并且在当前输入图像的最小中值和一个或多个在前图像最小中值之间的差值低于预定的参考值时，则它输出保持在前选择的滤波器的控制信号。

根据本发明一个方面，提供图像质量改进单元，改进明暗处理图像的图像质量。所述图像质量改进单元包括：噪音消除单元，从明暗处理图像消除噪音信号；模糊单元，扩散无噪音的明暗处理图像；和增益调节单元，调节明暗处理图像的明暗处理相关值。

根据本发明的一个方面，噪音消除单元是消除在明暗处理图像的高频范围中产生的噪音信号的滤波器。模糊单元是5抽头的低通滤波器，它在水平和/或竖直方向扩散明暗处理图像。

根据本发明的一个方面，提出变换单元转换不在能够显示的色域范围的三维图像，使得所述三维图像能够被置于在能够显示的色域范围内。变换单元将三维图像的光亮度和色度转换成与接近色域的极端(extreme)颜色的亮度和色度。

根据另一个实施例，本发明可以通过一种从二维图像产生三维图像的方法实现，所述方法是：利用至少两个具有方向的滤波系数关于输入图像产生每个滤波系数的明暗处理图像，并从产生的明暗处理图像估计输入图像的照明方向；以及将输入图像与明暗处理图像结合，并输出三维图像。

根据本发明的一个方面，明暗处理图像的产生包括：用不同取向的多个滤波器，滤波输入图像，并输出分别与各滤波器相对应的结果基本明暗处理图像；抽取每个基本明暗处理图像的正像素值；计算在输入图像的像素值和相对于各基本明暗处理图像抽取的正像素值之间的差值；计算相对于各基本明暗处理图像计算的所述差值的中值；选择输出各中值的最小一个的基本明暗处理图像的滤波器；和通过用选择的滤波器滤波输入图像，输出/产生明暗处理图像。

根据本发明的一个方面，通过依据多个滤波系数连续地滤波输入图像和分别输出与滤波系数相对应的基本明暗处理图像，输出明暗处理图像。

根据本发明一个方面，明暗处理图像的产生还包括：如果相对于当前输入图像的选择的滤波器与在前选择的滤波器不同，并且如果在当前输入图像的最小中值和一个或多个在前图像的最小中值的差值低于预定参考值，则保持前选择的滤波器，从而，通过产生与输入的二维图像相对应的适当的明暗处理图像，提供运动的二维图像向运动的三维图像的转换。

根据本发明一个方面，三维图像的产生还包括：通过消除明暗处理图像的噪音信号，在结合前，改进明暗处理图像的图像质量；扩散无噪音的明暗处理图像；和调节明暗处理图像的明暗处理相关值。所述噪音消除步骤消除在明暗处理图像的高频范围中产生的噪音信号。

根据本发明一个方面，三维图像的产生还包括：通过将三维图像的亮度和色度转换成最接近色域的极端颜色的亮度和色度，将在不在可显示色域范围中的三维图像转换成在可显示色域范围内的三维图像。

根据本发明从二维图像产生三维图像的装置和方法，基于输入二维图像的照明方向，用不同的滤波器而产生的明暗处理图像与输入图像相结合，结果，容易地产生三维图像。而且，在选择与输入图像的照明方向相对应的滤波器时，因为将在前选择的滤波器纳入考虑之中，所以，使得运动图像的三维转换成为可能。

本发明还提供一种将输入二维图像转换成三维图像的系统，包括：程序处理器，估计任何颜色格式的输入二维图像的照明方向，根据估计的输入图像的照明方向，自动地产生照明调节的和增益调节的有颜色的三维图像。

附图说明

通过参照附图，通过描述本发明的优选实施例，本发明的上述目的和其它优点将会更明了，其中：

图1是根据本发明实施例从二维图像产生三维图像的装置的方框图；

图2是根据本发明实施例，显示图1所示的装置中提供的产生单元以及从二维图像产生三维图像的详细结构的方框图；

图3是根据本发明另一实施例，显示图1所示的装置中提供产生单元，以及从二维图像产生三维图像的详细结构的方框图；

图4是与二维带通滤波器相对应的卷积(convolution)的滤波器系数和每个矩阵的照明方向的视图；

图5是在保持相同的色调时，将在YcbCr格式的输入图像转换为在显示装置的信号范围内的原理图；和

图6是根据本发明实施例从二维图像产生三维图像的方法流程图。

具体实施方式

现在详细说明附图中示出的本发明的优选实施例，其中各图中的相同符号表示相同的元件。为了参照附图解释本发明，下面说明各实施例。

图1是根据本发明实施例从二维图像产生三维图像的装置的结构方框图。图6是根据本发明的实施例从二维图像产生三维图像的方法流程图。

见图1、2和6，根据本发明的三维图像产生装置100包括：产生单元110；图像质量改进单元120；加法单元130和变换单元140。特别是，能够在软件和/或计算机硬件中实施/实现本发明的各种处理(程序)。例如，装置100及其描述的部件能够作为一个计算机系统实施，所述系统包括：能够存储本发明各种处理(程序)的存储器，诸如磁和光盘、RAM、ROM、ASIC等；根据本发明的控制系统和产生结果的处理程序。例如经由如因特网等网络上下载也能够分布本发明的处理程序。

产生单元110从输入二维图像I(x，y)估计照明方向，产生相对于输入图像I(x，y)的明暗处理图像Fsel(x，y)。

产生单元110的结构例子更详细地示于图2。见图2，产生单元110包括滤波器单元200；正值抽取单元210；减法单元220；中值计算单元230；滤波器选择单元240；和滤波器调节单元250。

滤波器单元200依据多个滤波系数滤波输入图像I(x，y)，并输出分别与滤波系数相对应的各基本明暗处理图像(图6的操作400)。滤波器单元200具有滤波器存储单元202，和滤波器单元204。滤波器存储单元202存储不同取向的多个滤波系数。滤波器单元204从滤波器存储单元202连续地选择滤波系数，滤波输入图像，并输出各基本明暗处理图像。

另外，如图3所示，滤波器单元200还能够由不同取向的滤波器200-1-200-n组成。此时，向各滤波器200-1-200-n输入二维图像。滤波器200-1-200-n根据在存储单元202(图3中未示出)中存储的滤波系数进行滤波。对于滤波器200-1-200-n，使用如带通滤波器或高通滤波器那样的滤波器。在滤波器存储单元202中存储的滤波系数是各滤波器200-1-200-n的特征值。图3所示的其他元件的工作与图2的相同元件基本是同一的。

图4示出与二维带通滤波器相对应的卷积滤波器的例子的滤波系数和相对于各矩阵的照明方向。根据滤波常数(-1，1)的对称位置，能够确定滤波的二维图像的照明方向。在滤波器是3×3维时，能够使用八取向的滤波器，在滤波器存储单元202中存储相对于八个滤波器的滤波系数。

为了最佳化从二维输入图像实现至三维图像的转换，必须选择与输入图像中含有的照明方向相同取向的滤波器。滤波器单元204连续地选择在滤波器存储单元202中存储的滤波系数，并将选择的滤波系数应用到输入图像，从而输出滤波的信号F_i(x，y)(即，各基本明暗处理图像)。在滤波器单元200是由多个滤波器200-1-200-n构成时，来到的图像能够连续地或同时地被输入到各滤波器200-1-200-n。

与被3×3卷积滤波器矩阵E_i滤波的输入的图像I(x，y)相对的基本明暗处理图像F_i(x，y)的关系满足以下方程式1：

方程式1

$F_i(x,y)=\underset{k=-1}{\overset{1}{\mathrm{\Σ}}}\underset{l=-1}{\overset{1}{\mathrm{\Σ}}}{E}_i(k+1,l+1)\·I(x+k,y+l)$

这里，(x，y)是在竖直和水平轴中的像素位置(坐标)。

正值抽取单元210输出各基本明暗处理图像的正像素值(图6的操作405)。根据滤波系数的特性或使用的滤波器200-1-200-n，基本明暗处理图像能够具有，在基本明暗处理图像的前/后或上/下轮廓上的最大正像素值(即，在从输入图像中减去基本明暗处理图像时产生最大负信号)。一般来说，在输入图像与各滤波系数或滤波器200-1-200-n产生的基本明暗处理图像的正像素值一致时，基本明暗处理图像紧密地匹配输入图像的照明方向，并且，在基本明暗处理图像具有比输入图像较高亮度信号时(即，较大的正像素值，从而在从输入图像中减去基本明暗处理图像时产生负信号值)，基本明暗处理图像不与输入图像的照明方向紧密匹配。也就是说，如果从输入图像的像素信号中减去相对应的基本明暗处理图像获得的信号的能量小时，则认为，滤波系数或滤波器与输入图像的照明方向较精确地/紧密地匹配。因此，使用输入图像的轮廓区域，能够确定基于输入图像的照明方向的明暗处理图像。

减法单元220计算在输入图像的像素值和相对于各基本明暗处理图像抽取的正像素值之间的差值(图6的操作410)。减法单元220的输出信号M_dif从下面的方程式2得到：

方程式2

$M_{\mathrm{dif}}=\underset{x=1}{\overset{P}{\mathrm{\Σ}}}\underset{y=1}{\overset{Q}{\mathrm{\Σ}}}(I(x,y)-F_{i,\mathrm{pos}}(x,y))$

中值计算单元230通过下面的方程式3计算，相对于各基本明暗处理图像计算的差值的中值M_i：

方程3

$M_i=\frac{M_{\mathrm{dif}}}{P\·Q}$

这里，P和Q分别是在水平和竖直方向中的像素数目，F_i，pos是从正值抽取单元210输出的信号。

滤波器选择单元240选择将输出带有最小中值M_i的基本明暗处理图像的滤波系数或滤波器(图6的操作420)。滤波器选择单元240选择的滤波系数或滤波器是能够与输入图像的照明方向紧密匹配的滤波系数或滤波器。如果使用图2所示的滤波器单元200，则滤波器选择单元240向滤波器单元200输出一个信号，以选择与输入图像的照明方向匹配的滤波系数的索引。如果使用如图3所示的滤波器单元200，则滤波器选择单元240也向滤波器单元200输出一个信号，以选择与输入图像照明方向紧密匹配的滤波器。在后者的情况，滤波器单元200设有多路转换器或开关，以根据滤波器选择单元240的控制信号，产生从各滤波器200-1-200-n输出的基本明暗处理图像之一。然后，通过用滤波器选择单元240选择的滤波器滤波输入图像，能够产生明暗处理图像F_sel(x，y)，该明暗处理图像是依据输入图像的照明方向。

在运动图像的情况，产生单元110还包括滤波器调节单元250。即使前帧和后帧彼此很相似，在估计输入图像的照明方向时，由于文本或噪音的插入，常常选择与前帧不同取向的滤波器，在运动图像中这能够引起较严重的问题。另外，与图像类型有关，一些观察者甚至感到在输出图像中的抖动。提供滤波器调节单元250，以自适应地解决这些问题。

因此，在相对于当前输入图像由滤波器选择单元240选择的滤波系数或滤波器与在前选择的滤波系数或滤波器不同时，滤波器调节单元250确定是否改变滤波系数或滤波器。滤波器调节单元250具有最小中值存储单元252和比较单元254。最小中值存储单元252存储相对于在前图像的最小中值M_i，所述在前图像是从滤波器选择单元240输入的当前图像前输入的图像。

比较单元254将对于在前图像前选择的滤波器的识别信息或滤波系数的索引，与对于当前输入的图像选择的滤波器的识别信息或滤波系数索引进行比较(图6的操作425)。如果比较结果指示出在比较的索引和/或识别信息之间的差值，则所述比较单元254确定在当前的和在前输入图像的最小中值M_i的差值是否超过参考值(图6的操作430)。如果在最小中值之间的差值超过参考值，所述参考值表示在输入图像的相当大的改变量，则滤波器选择单元240选择对于当前输入图像选择的滤波系数或滤波器(图6的操作440)。如果最小中值之间的差值低于所述参考值，则保持在前选择的滤波系数或滤波器(图6的操作435)。

在操作445，滤波器单元200通过用滤波器调节单元250确定的滤波器的滤波系数，滤波输入图像，产生明暗处理图像。

在图1中，质量改进单元120改进产生单元110输出的明暗处理图像F_sel(x，y)的图像质量(图6操作450)。质量改进单元120具有噪音消除单元122、模糊单元124和增益调节单元126。

在图1中，噪音消除单元122具有滤波器，用以消除明暗处理图像的高频范围产生的噪音信号。模糊单元124通过二维模糊，或通过在水平和设置方向的分开模糊扩散明暗处理信号。对于模糊单元124，能够使用五个抽头的低通滤波器1、2、3、2、1，或也能够使用其他类型的滤波器。

具有通过噪音消除单元122和模糊单元124改进图像质量的明暗处理图像F_P(x，y)满足下面的方程式4：

方程式4

F_P(x，y)＝Blurring[NPmap[F_sel(x，y)]]

在图1中，增益调节单元126调节改进图像质量的明暗处理图像F_p(x，y)的相关值。在操作455，结合单元130将输入图像与改进的明暗处理图像结合，并输出结果的3维图像O^*(x，y)。从结合单元130输出的三维结果图像满足下面的方程式5：

方程式5

$O^{*}(x,y)=\underset{x=1}{\overset{P}{\mathrm{\Σ}}}\underset{y=1}{\overset{Q}{\mathrm{\Σ}}}(I(x,y)+g\·F_{\mathrm{sel},\mathrm{lp},\mathrm{nri}}(x,y))$

这里，g是增益比。

在图1中，如果三维图像超过可显示的色域，则在操作460，变换单元140转换三维图像O^*(x，y)，使得图像落入可显示色域中。另外，从结合单元130输出的三维图像O^*(x，y)有时超过显示装置的信号范围。因此，如果在此状态三维图像O^*(x，y)被切去，则图像被变换成不希望的颜色，引起输入图像的颜色的不均衡。因此，如果显示装置的三维图像O^*(x，y)超过信号范围，则变换单元140在保持颜色色调，但是适当地加或减亮度Dy和颜色色度Dc的同时，在色域的极端颜色当中搜索对于输入图像的最相似的颜色。图5示出在保持相同色调的同时，将三维YcbCr型图像转换为在显示装置的信号范围内的原理。

根据本发明的从二维图像产生三维图像的装置和方法，除了RGB(红绿兰)与三个信道一起用外，能够用于如RGB(红绿兰)、YCbCr、YIQ、YUV、CIE-Lab、CIE-LUV图像的所有图像。但是，至于其他图像，像用亮度和两个颜色Cb和Cr表示的YCbCr图像，至变换单元140的引入图像能够简单地用Y分量或L分量的亮度信号产生，在变换时对于颜色分量的附加要求，例如对YCbCr图像要求颜色Cb和Cr。

根据基于输入图像的照明特征从二维图像产生三维图像的装置和方法，用不同的滤波器产生紧密匹配照明特征，例如，照明方向的输入图像的明暗处理图像，并且产生的明暗处理图像与输入图像结合，其结果，容易地自动产生带有适当照明方向的三维图像。另外，在选择与输入图像的照明方向相对应的滤波器的情况下，因为考虑了在前选择的滤波器，所以运动图像向三维图像的转换成为可能(即，本发明装置能够根据输入图像和在前输入图像的照明方向的差值自动地更新明暗处理图像)。

虽然说明了本发明的优选实施例，但是，本领域的技术人员应该理解，本发明不限于上述实施例，在所附权利要求所限定的本发明的精神和范围内能够做出各种改变和修改。

Claims (21)

1.一种从二维图像产生三维图像的装置，包括：

产生器，利用至少两个不同取向的滤波系数对二维图像产生对应于滤波系数的明暗处理图像，并且从产生的明暗处理图像估计输入图像的照明方向；和

结合器，将输入图像与明暗处理图像结合，并输出三维的结合的图像。

2.根据权利要求1所述的装置，其中所述产生器包括：

滤波器单元，用不同取向的各滤波器滤波输入的图像，和输出分别与各滤波器相对应的各基本明暗处理图像；

正值抽取器，抽取每个基本明暗处理图像的正像素值；

减法器，计算在输入图像的像素值和对于每个基本明暗处理图像抽取的正像素值之间的差值；

中值计算器，计算对于每个基本明暗处理图像计算的差值的中值；和

滤波器选择器，选择滤波器，以输出最小中值的基本明暗处理图像，其中

通过用滤波器选择单元选择的滤波器滤波输入图像，滤波器单元输出明暗处理图像。

3.根据权利要求2所述的装置，其中滤波器单元包括：

滤波器存储器，存储各不同取向的滤波系数；和

滤波器单元，依据各滤波系数连续地滤波输入图像，分别输出与滤波系数相对应的基本明暗处理图像。

4.根据权利要求2所述的装置，其中产生器还包括滤波器调节器，如果相对于当前输入图像由滤波器选择器选择的滤波器与以前选择的滤波器不同，并且在当前输入图像的最小中值和一个或多个在前图像的最小中值之间的差值低于预定参考值，则所述滤波器调节器保持以前选择的滤波器。

5.根据权利要求4所述的装置，其中所述滤波器调节器包括：

最小中值存储器，存储当前图像和前图像的最小中值；和

比较器，如果相对于当前输入图像由滤波器选择单元选择的滤波器与以前选择的滤波器不同，并且当前输入图像的最小中值和一个或多个以前图像最小中值之间的差值低于预定的参考值，则所述比较器输出保持以前选择的滤波器的控制信号。

6.根据权利要求1所述的装置，还包括图像质量改进器，改进明暗处理图像的图像质量。

7.根据权利要求6所述的装置，其中所述图像质量改进器包括：

噪音消除单元，消除明暗处理图像的噪音信号；

模糊单元，扩散无噪音的明暗处理图像；和

增益调节器，调节扩散的明暗处理图像的明暗处理相关值。

8.根据权利要求7所述的装置，其中所述噪音消除单元是滤波器，它消除在明暗处理图像的高频范围中产生的噪音信号。

9.根据权利要求7所述的装置，其中所述模糊单元是5抽头的低通滤波器，它在水平和/或竖直方向扩散明暗处理图像。

10.根据权利要求1所述的装置，还包括变换器，它将不在可显示的色域范围的三维图像转换到在可显示的色域范围内的三维图像。

11.根据权利要求10所述的装置，其中所述变换器将三维图像的亮度和色度转换成与最接近色域的极端颜色的亮度和色度。

12.一种从二维图像产生三维图像的方法，包括以下步骤：

通过利用不同取向的滤波器滤波输入图像来产生基本明暗处理图像，选择滤波器，以输出具有在输入图像的像素值和基本明暗处理图像的像素值之间的差值的最小中值的基本明暗处理图像，并通过所选择的滤波器估计输入图像的照明方向；以及

相对于该估计的照明方向将输入图像与明暗处理图像结合，并输出结合的三维图像。

13.根据权利要求12所述的方法，其中产生明暗处理图像的步骤还包括步骤：

用不同取向的各滤波器，滤波输入图像，并输出分别与各滤波器相对应的基本明暗处理图像；

抽取每个基本明暗处理图像的正像素值；

计算在输入图像的像素值和相对于各基本明暗处理图像抽取的正像素值之间的差值；

计算相对于各基本明暗处理图像计算的所述差值的中值；

选择滤波器，以输出各中值的最小一个的基本明暗处理图像；和

通过用选择的滤波器滤波输入图像，输出所述明暗处理图像。

14.根据权利要求13所述的方法，其中所述输出基本明暗处理图像的步骤包括：依据多个滤波系数连续滤波输入图像，分别输出与滤波系数相对应的基本明暗处理图像。

15.根据权利要求13所述的方法，其中所述产生步骤还包括：如果相对于当前输入图像选择的滤波器与在前选择的滤波器不同，并且如果在当前输入图像的最小中值和一个或多个在前图像的最小中值的差值低于预定参考值，则保持在前选择的滤波器。

16.根据权利要求12所述的方法，还包括步骤：在将输入图像与明暗处理图像结合前，改进明暗处理图像的质量。

17.根据权利要求16所述的方法，其中所述改进明暗处理图像质量包括：

消除明暗处理图像的噪音信号；

扩散无噪音的明暗处理图像；和

调节扩散的明暗处理图像的明暗处理相关值。

18.根据权利要求17所述的方法，其中所述噪音消除包括消除在明暗处理图像的高频范围中产生的噪音信号。

19.根据权利要求17所述的方法，其中所述明暗处理图像的扩散包括在水平和/或竖直方向扩散明暗处理图像。

20.根据权利要求12所述的方法，还包括将不在可显示色域范围的三维图像转换到在可显示色域范围内的三维图像。

21.根据权利要求20所述的方法，其中所述三维图像的转换包括将三维图像的亮度和色度转换成最接近色域的极端颜色的亮度和色度。

Images