CN1209248A - 图像转换和编码技术 - Google Patents

Abstract

一种产生用于立体显示的左眼和右眼图像的方法,其特征在于包括以下步骤:a)在所述原始图像内识别至少一个物体;b)勾画出所述或每个物体的轮廓;c)定义所述或每个物体的深度特性;d)沿横向分别将所述或每幅图像的选定区域位移一个确定的作为所述或每个物体深度特性函数的数量以构成供观众左右眼观看的两幅拉伸图像。

Description

图像转换和编码技术

本发明通常涉及立体图像合成并且特别涉及转换二维(2D)图像以进一步编码、传输和解码在二维(2D)或三维(3D)立体显示系统上显示的立体图像的方法。

高性能视频投影系统、图像处理、数字视频和液晶面板领域的最新进展使得许多利用有源和无源偏振片和单个或多个观众自动立体显示器的3D显示系统成为可能。

三维显示系统已经脱离技术上的好奇而成为娱乐、商用和科学应用中的显示系统。对于在这些装置上显示3D媒体现在已经出现了需求。传统上有两种方法产生这种3D媒体(即包含不同观察角度的对同一场景至少两种分离图像的图像信息的媒体)。它们是：

1)利用计算机产生两种分离的视图(通常是实时的)

2)利用两台横向放置的摄像机或摄影机拍摄

在利用计算机辅助设计(CAD)系统产生图像的情况下，产生不同视角的两幅分离图像并不复杂。

利用两台横向放置的摄像机拍摄电影产生3D已经用了多年。但是这种方法有许多问题。由于它对场景内(实际3D景深)最近和最远物体之间允许的距离有限制并且有成帧问题(例如较近的物体只有一台摄像机拍到因此回放时3D图像的生成精度较差)，所以3D比2D更加困难。另一个问题是由于两台摄像机图像之间的延迟所以难以保持平滑变焦而不会产生错误的3D图像。

由于复杂性、制造成本高和只有少量的3D显示系统投放家用和商业市场，所以电影或视频领域内的主要制造商对生产3D媒体的兴趣不大。但是如果发明一种技术能够将2D影片处理为3D形式，则不仅可以使转换为3D格式比直接拍摄3D影片更为省钱，而且可以重新发行电影或录像带市场上大量2D电影或视频材料的存量。

转换现有2D图像有利于观看3D图像。一样方法是利用“切割和粘贴”技术将一幅2D图像转换为两幅分立的左右图像。在这种技术中，一个物体被从图像中“切割”下来并横向左右位移，随后“粘贴”到原始图像上以产生所需的分立图像。但是这会在图像内物体占据的区域内形成空白区域。

发明内容

本发明的目标是克服或者最大限度地减少这些问题的影响。

为此，本发明提供了一种从原始2D图像制作用于立体显示的左右眼图像，其中所述原始图像的所选区域以确定数量和方向移置从而产生伸长的图像，所述伸长图像构成左右眼的图像。

从观察者左右眼观察的两幅转换图像可以提供3D图像而不会象在“切换和粘贴”技术制作的图像中那样有空白区域。

本文的内容包括一些涉及2D媒体转换为3D格式的主要算法过程，新的合成数据格式适于新3D媒体的通信和存储。本文也讨论了用于实时编码、传送和解码这种新3D格式的硬件实现方案。

这种技术的主要好处是明显节约了成本并且在媒体提供上也有优点。即，在拍摄电影时只用一台摄像机。由于2D-3D转换的性质，所以除了增加少量不妨碍最终2D显示处理的3D数据包以外，可以无变化地打包和运送图像媒体。实际上这使得既可以以2D或3D形式在2D电视机上使用光栅眼镜之类显示图像而不会使图像质量下降，又可以在3D电视机或以3D形式在其它显示器上显示图像。

2D-3D转换的最终步骤在接收机处实时完成，因此对于电视机解码器来说需要增加带宽来显示3D图像，而这并未不利于电视载波信道处理能力。

按照本发明另一方面，提供了一种为将所述2D图像转换为立体显示用的伸长图像而描述原始2D图像变化的方法。

按照本发明进一步方面，提供了一种编码2D图像视频信号以使所述视频2D图像转换为立体显示用的伸长图像的方法。

按照本发明另一方面，提供了一种接收2D图像视频信号方法，包括编码数据和从视频信号中提取编码数据以使2D图像转换为立体显示用的伸长图像。

按照本发明进一步方面，提供了一种用编码数据操作2D视频图像以提供立体显示用的伸长图像的方法。

按照本发明的另一方面，提供了一种从原始2D图像产生立体显示用左右眼图像的方法，包括以下步骤：

a)在所述原始图像中识别至少一个物体；

b)勾画出所述或每个物体的轮廓；

c)定义所述或每个物体的深度特性；

d)利用作为所述或每个物体深度特性函数的横向确定量分别位移所述或每幅图像的选定区域以形成供观察者左右眼观看的两幅伸长图像。

这些图像对互相可以是镜像的或者相似的从而优化立体3D效果。

图像包含多个物体，每个物体都具有所述的各自深度特性。图像可以逐个转换。也可以转换作为视频或电影的一系列相关图像。

通过在图像上设置网格可以使图像数字化并且以电学方式拉伸或转换，网格具有多条横向网格线和多条与横向网格线垂直的纵向网格线。网格上网格线的每个交点可以提供网格子点。图像可以随网格一起移动从而使图像在网格变形时拉伸。网格线可以仍然是连续的从而保持图像的平滑拉伸。每个网格子点相对其初始位置的位移量可以作为所述原始图像的转换数据。子点可以横向位移。

网格子点的位移可以用算法定义从而提供图像的自动转换。该方法的进一步改进是向转换数据提供阴影、模糊和运动内插数据，转换数据包括作用力视差信息和运动视差延迟的场延迟与方向。

这有利于利用现有的图像传输系统发送可以3D图像观看的图像。本发明可用于发送提供2D图像的视频信号的图像传输系统。

按照本发明进一步方面，提供了一种从转换/拉伸处理中产生一组“物体脚本”数据的方法，该数据描述了图像中被选定进行处理的是哪一个物体，如何处理，相对其它物体的优先权和深度特性。该脚本数据可以存储在计算机的存储器内供以后再处理原始2D图像之用或者向另一地点发送(假定其它地点具有同样的2D图像)以再现3D图像。

因此按照本发明进一步方面，提供了一种编码提供2D视频图像的视频信号的编码器，包括：

将转换数据加入视频信号以提供编码信号，数据定义了视频图像转换为立体显示用拉伸图像时视频图像各选定点的位移。

通过将转换数据加入视频信号，可以采用现有的传输系统发送编码信号。可以提供各种布局来将转换数据加入视频信号。例如，数据可以包含在图像顶部或底部的空白线内或者每条线的水平同步周期或水平扫描区域内。

本发明不局限于现有2D视频图像的转换。该处理可以容易地用来产生与2D视频图像同时生成的转换数据。

因此按照本发明进一步的方面，提供了一种产生用3D转换数据编码的2D视频图像的方法，包括：

从多个视频摄像机中捕获视频图像；

为了产生转换数据将来自各视频摄像机的视频图像作比较，转换数据定义了视频图像转换为立体显示用拉伸图像时视频图像各选定点的位移；以及

将来自其中一个所述视频摄像机的视频信号与转换数据组合以产生编码的视频信号。

在本发明进一步方面中，提供了一种产生用3D转换数据编码的2D视频图像的方法，包括：

从立体视频摄像机中捕获左眼和右眼视频图像；

为了产生转换数据将来自立体视频摄像机的左眼和右眼的视频图像作比较，转换数据定义了视频图像转换为立体显示用拉伸图像时视频图像各选定点的位移；以及

将来自所述视频摄像机的视频信号与转换数据组合以产生编码的视频信号。

在本发明进一步方面中，提供了一种产生用3D转换数据编码的2D视频图像的系统，包括：

至少一个横向相距一定距离的第一和第二视频摄像机；

用于产生转换数据的转换装置，所述转换装置从所述视频摄像机接收数据并比较数据以产生转换数据，所述转换数据定义了视频图像转换为立体显示用拉伸图像时来自视频摄像机的视频图像各点的位移；以及

编码器装置，用来将来自所述一个视频摄像机的视频信号与来自转换装置的转换数据组合以产生编码的视频信号。

对于一个观众的只需3D转换数据编码2D视频图像的情况，两台摄像机就可以了，每台摄像机代表左眼和右眼的场景。

在本发明另一方面，提供了一种产生用3D转换数据编码的2D视频信号的系统，包括：

立体视频摄像机；

产生转换数据的转换装置，所述转换装置从所述视频摄像机接收数据并比较数据以产生转换数据，所述转换数据定义了视频图像转换为立体显示用拉伸图像时视频图像各点的位移；以及

编码器装置，用来将视频信号与来自转换装置的转换数据组合以产生编码的视频信号。

按照本发明的另一方面，提供了一种解码用于立体显示的视频信号的解码器，信号提供了2D视频信号并且进一步包括转换视频图像的转换数据，转换数据定义了视频图像转换为立体显示用拉伸图像时视频图像各点的位移，解码器包括：

a)用于接收视频信号装置；以及

b)解码装置，用于读取转换数据并控制视频信号从而提供转换的视频信号。

解码器包括：

a)RGB或分量视频转换器，用于将视频信号转换为分立的视频分量；

b)模拟-数字转换装置，用于将每个视频分量转换为各自的数字信号；以及

c)数字存储装置，用于存储所述数字信号。

解码装置可以控制变频时钟装置(控制数字存储装置的读取速率)从而使存储装置以可变速率读取数据。这使得视频图像根据转换数据拉伸或压缩。

RGB或视频分量可以可变速率读入存储装置并以固定速度读出存储装置。

解码器可以处理单条视频线或者可以处理完整场或帧内的多条线。在这种情况下，来自转换数据的完整网格与在完整场或帧上计算的像素变形(横向位移)存储在一起。

存储装置可以是双端口线存储的形式。

可以提供数字-模拟转换装置将读取的数字信号转换为视频信号从而可以在观察装置上观看。观察装置可以包括电视机或其它观看转换的视频图像用的显示屏。观察装置可以进一步包括由解码器控制的光栅眼镜从而可以将转换的视频图像转换为立体图像。

解码器可以包括并行存储装置，用来分别存储转换后的左眼和右眼图像的数字信号。观察装置可以包括同时投射左眼和右眼视频信号的显示单元。

解码器装置可以包括从视频信号中分离转换数据的分离装置。

按照本发明的进一步方面，提供了立体图像显示系统，包括：

a)用转换数据编码提供视频图像的视频信号的编码器，转换数据定义了视频图像转换为立体显示用拉伸图像时视频图像各点的位移；以及

b)从视频信号中分离转换数据并将视频信号转换为转换数据函数的解码器。

按照本发明的另一方面，提供了一种多观众立体显示系统，包括：

a)解码提供立体显示的视频信号的解码器，信号提供了2D视频图像并且进一步包括转换视频图像的转换数据，转换数据定义了视频图像转换为立体显示用拉伸图像时视频图像各点的位移，解码器包括接收视频信号装置和读取转换数据并控制视频信号以提供转换的视频信号的解码装置。

附图的简要说明

通过以下结合附图对本发明的描述可以进一步理解本发明。

本发明可以有其它实现方案，因此附图不能理解为限定性的。

在附图中：

图1示出了原始图像和提供3D或立体图像的普通左右图像；

图2示出了原始图像和提供利用切割和粘贴技术产生的3D的左右图像；

图3示出了原始图像和利用按照本发明的动态深度线索(DDC)方法产生的图像；

图4示出了左右图像和按照本发明的最终的3D图像；

图5示出了变形网格不连续变形的图像；

图6示出了变形网格连续变形的图像；

图7示出了用于左右网格的网格空间位移(MSD)数据；

图8示出了如何按照本发明将MSD数据加入视频图像的流程图；

图9示出了DDC解码器如何按照本发明并入视频链的框图；

图10示出了按照本发明的提供场串行合成视频输出的DDC解码器单元的可能实现方案的框图；

图11示出了按照本发明的提供场并行合成视频输出的DDC解码器单元的可能实现方案的框图；

图12示出了按照本发明的一种MSD解码器的框图；

图13示出了MSD数据如何在合成视频信号中编码；

图14示出了提供实时生成的DDC编码视频信号布局的框图；

图15示出了提供实时生成DDC编码视频图像的另一种布局的框图；

图16示出了多观众3D系统的操作原理；

图17示出了基于3D系统的双凸透镜操作原理的框图；

图18和19分别示出了利用双凸透镜组件的多投影仪系统；以及

图20示出了包含按照本发明的DDC解码器的多投影仪系统。

实施发明的较佳实例

在下面的描述中按照本发明的用于将2D或“单平面”视频信号转换为3D或“立体”视频信号的方法称为动态深度线索(DDC)，但是本发明并不局限于这些技术。

a)3D生成：一种将2D图像转换为3D立体图像对并产生3D转换数据的技术和程序。

b)3D脚本：一种描述2D图像所需变化以将其转换为3D立体图像对的技术。它描述了选定了哪一个物体，如何处理这些物体以及如何提供3D存储装置。

c)3D数据编码：一种将信息加入确定格式的2D视频图像中的技术。最终变动的视频与现有的视频录制、编辑、传输和接收系统兼容。

d)3D标准协议：利用定义的数据格式或标准化协议将3D转换数据加入2D视频。该协议可以成为将3D转换数据加入2D传输的全球标准。

e)3D数据解码：一种接收2D视频图像和转换数据并提取加入2D视频图像的信息从而可以合成3D立体图像对的技术。

f)3D合成：一种利用转换数据操作2D视频图像以合成3D立体图像对的技术。

为了将2D图像转换为模拟的3D图像，必须修改原始图像以产生两幅略微不同的图像并且独立地向左眼和右眼提供分离的图像。对原始图像的修改包括在图像平面内(投影或观察屏)横向位移物体以给出深度印象。

为了使图像内的物体相对图像平面显得远离观众，需要向左眼提供略微向左横向偏移的图像内物体并向右眼提供略微向右偏移的图像内物体。如图1所示。为了使图像内的物体相对图像平面显得靠近观众，需要向左眼提供略微向右横向偏移的图像内物体并向右眼提供略微向左偏移的图像内物体。对于位于图像平面内的物体，物体被放在图像中对双眼上相同的位置。

当在真实世界观察物体时，观察者利用了聚焦信息。但是在模拟3D下，这种信息不再存在并且如果横向位移过大，则为了使物体靠近观察者，物体分裂为两幅分离的图像并且丢失了3D效果。

可以利用计算机产生左眼和右眼图像。图像首先利用视频数字化仪进行数字化并且最终的数据存储在存储器内。随后可以产生两幅新的图像。

产生需要横向偏移的新的左右图像的最简单方法是从图像上“切割”物体并以所需的横向位移“粘贴”回去，这被称为“切割和粘贴”技术。它的完成步骤是，首先确定被识别的“移动”物体位置，随后从图像上“切割”物体并横向移动。

这种简单技术的问题是一旦移动选定的物体，则背景也会移动并留出空白区域，参见图2。

按照本发明，“拉伸”图像内的物体以提供横向位移和保存原始的背景细节。图像最终的侧向变形在数学上加以平滑从而在视觉效果上是“真实的”3D而很少或没有人工痕迹。

为了更好地获得图像上拉伸的效果，想象被转换的图像已经印制在胶片上。可以提取靠近物体的图像表面一个点，并且拉伸到新的位置，例如原始位置的右边。物体右边的图像部分由此被压缩并且左边被拉伸，参见图3。对于观察者来说，如果用双眼观看则物体现在出现了变形。

但是如果向另一眼睛提供的是幅度相同但是方向相反的拉伸图像，则观察者不会看到扭曲的图像，而是具有3D特性的物体。如图4所示。

图像内物体的“拉伸”可以电子方式进行。首先通过勾画轮廓识别视频帧内感兴趣的物体。对于每个物体定义了深度或网格变形特性。通过使操作者能够拉伸图像并实时观察最终3D图像的效果可以完成拉伸。可以利用操作者的经验确定最终图像和后继视频序列的3D效果。虽然单个视频帧可以人工转换(即非实时)，但是比较好的是自动(即实时)转换构成视频“夹”的相关帧系列。操作者将定义被转换视频夹的起始和结束帧。他们将确定开始帧与结束帧中每个物体相对图像平面的相对深度。视频夹利用起始和结束位置和夹内每个物体的深度处理以内插过渡帧所需的拉伸或操作。

如果操作深度不同的多个交叠物体，则前面的物体具有优先权。由于原始2D图像由单个摄像机捕捉，所以这种情况是固有的，因此像素信息被自动根据先后位置赋予优先权。

这种图像的“拉伸”可以通过操作数字化图像以电子方式进行。网格暂时放置于待变形的图像上，从而在变形之前网格的每行和每列的坐标为0，0。改变网格的x坐标从而使得图像变形。与其说网格线下面的图像区域被移动(这导致不连续(图5))，不如说相邻的网格线也移动从而形成平滑的变形(图6)。

变形网格的稀疏确定了3D效果。网格越稀疏，物体的拉伸效果越差。这导致最终图像较差的3D效果。精细的网格使得物体边缘清晰、较高的3D效果，但是边缘不连续性增强。变形网格的数量级假定为16×16。网格上每个子点(即变形后的坐标位置)的信息经过编码从而产生背景和前景子点。例如可以用4比特来编码子点，这产生16种不同的级、4种背景和12种前景。子点编码的格式可以通过实验确定并且根据应用需要调整。

网格变形处理可以用算法定义，这使得可以自动处理图像。

一旦确定左眼的网格变形，则用-1作矩阵标量操作(即沿相反方向位移同样的量)简单获取右眼的变形坐标并且可以自动计算。参见图7。

从变形网格每个交点水平位移形成的矩阵定义了网格空间位移(MSD)数据。

为了完整定义和再现最终的3D图像，只需提供了原始的未变化的2D图像和MSD数据。通过考虑D图像和有关的MSD数据文件3D图像由此可以存储、发送、产生、编辑和操作。

因此通过在每个视频帧内编码MSD数据可以在2D视频系统内存储和发送3D图像。由于原始2D视频图像被存储并且可以不加改变地发送，所以最终的视频与现有视频和电视系统完全兼容。现有的2D TV接收机将显示正常的画面。

可以采用多种现有技术来将MSD数据加入2D图像从而不用观众检测并且兼容现有的视频标准。这些技术包括但不局限于：

a)将MSD信息插入画面顶部或底部多余的线内，即与加入“图文”数据类似；

b)在每幅图像左右的看不到的过扫描区域；

c)在水平同步周期内沿着British广播公司“sound in sync”系统内的扫描线。

将来随着数字HDTV的引入，可以将MSD数据插入空余的数字数据帧。

图8示出了将MSD数据加入2D视频图像以形成DDC编码视频帧的过程。

MSD数据的数量较少，估计每帧大约为100字节。如果需要可以利用标准的数据压缩技术如游程长度或差分编码作进一步压缩。

由于数据较少，所以所需的数据速率较低。由于MSD数据在一系列帧内不会变化很快，所以也可以利用空间和时间压缩进一步减少所需的数据量。MSD数据与相关帧之间的精确时序关系不是严格的，一帧的位移误差是允许的。

由于数据量较少，所以数据速率较低并且对齐的要求并不严格，MSD数据可以在一系列帧内发送，即四帧，每帧是四分之一的信息。

图9示出了DDC解码器如何并入视频链。经任何现有视频源(例如卫星等)获取的DDC编码视频输入到DDC解码器。解码器的一个输出是标准的视频波形(视频调制射频信号)，它驱动标准的TV显示器并且使戴上光栅眼镜的观众与DDC解码器同步观看3D图像。

另外，用来自DDC解码器的附加输出可以驱动其它3D显示装置，例如虚拟现实头盔或自动立体显示器，参见澳大利亚专利申请No.66718/94。

图10示出了DDC解码器的一种可能实现方案。在合成或S视频格式中的输入视频(可以是PAL或NTSC)施加在合成RGB或分量视频转换器。每个RGB或分量视频输出施加在模拟-数字转换器并且数字输出馈送到双端口RAM线存储的输入端口。数字视频数据的每条线以恒速输入RAM。数据按照由MSD解码器输出控制的变频时钟确定的速率从线存储器中读取。

从RAM以可变速率读取线数据的效果使得最终的视频可以根据MSD数据拉伸或压缩。

转换的数据随后被施加在数字-模拟转换器和PAL/NTSC编码器上。最终的3D场序列合成视频信号施加在显示器上。(注意：该过程可以在可变速率的视频信号读入和固定速率的信号读取下进行。由于从线存储器的输出以可变速率读取，单色频率将变化并且引起显示误差，所以需要将输入的合成视频信号转换为RGB或分量视频。)

DDC解码也可以利用场或帧存储实现。在这种情况下，借助在完整场或帧上计算的像素变形(横向位移)从MSD数据恢复完整的网格。

3D立体图像对随后从最终的RGB或分量视频输出中显示出来。

光栅镜片控制器提供了红外线源以对光栅镜片提供时序脉冲。控制器由PAL/NTSC编码器同步。此外，控制器命令光栅镜片在没有3D编码或者不适于3D编码时保持开启状态，从而在视频序列的这些部分改进图像质量。

图11示出了产生3D场平行合成视频输出的DDC解码器框图。MSD解码器产生两个变速时钟，一个用于左眼RAM线存储而另一用于右眼的。这种形式的解码器适于在现有自动立体3D显示器中代替场存储。这种技术提供了左右视频源，它们作为2D视频源具有相同的场速，即产生场序列视频输出。

可以在比2D图像分辨率更高的扫描下产生非场视频输出。

图12示出了MSD解码器的框图。在这种情况下，假定MSD数据在视频信号的前面16条线内的合成视频信号中编码。如图13。输入的合成视频馈送至提供用于微处理器的垂直和水平时序信号的同步分离器。视频被馈送至黑色电平箝位电路、比较器和电平移位器。电平移位器的输出为包含视频信号线1-16上串行编码MSD数据的TTL电平信号。微处理器环路等待水平同步脉冲，在确定线1的水平同步脉冲之后，微处理器读取下一16字节。对于下面的15条线重复同样的处理直到读取完MSD数据。根据接收的MSD数据，微处理器提供每条后继视频线的数字视频存储用的变速时钟。微处理器保持通过计数线同步脉冲处理的视频线的指数。

3D图像的深度感随观众的不同而不同。而且当用光栅镜片观看3D图像时，3D图像的“强度”需要随观看距离调整。3D图像的强度可以用遥控装置改变，通过微处理器所加的算法使得3D图像强度由观众改变。算法改变了MSD矩阵中每个元素的大小从而改变了3D效果的强度。一旦输入特定观众的偏好，则由解码器单元保存该设定。

有许多技术实时产生DDC编码视频图像。在其中一种技术中，摄像机透镜与其它范围寻找的电荷耦合器件(CCD)之间的距离是变化的，参见图14。这将产生一系列随焦距变化的图像内每个物体的帧。随后对一系列帧和确定图像内每个物体的清晰度指数进行进行清晰度检测算法处理。随后确定每个物体的哪一帧是最清晰的，这表明了物体所在的焦平面。该信息用来构成MSD数据。

图15示出了另一种技术，采用两台摄像机来产生分离的左眼和右眼图像。每台摄像机的亮度信息被数字化并输入线存储器。自相关器或类似的操作比较两个线存储(16个元素的左和右)内的位模式并寻找匹配。代表图像内物体的视频模式之间的差异(距离)被用来产生MSD数据。其中一个摄像机输出与MSD数据实时组合在一起产生DDC编码视频。

可以用一台立体视频摄像机代替两台视频摄像机。

DDC可以用来克服现有非肉眼跟踪的自动立体3D多观众系统的缺点。这些系统通过产生如图16所示的左右图像的重复序列提供了3D图像。连续图像之间的距离为65mm，它等于观众的瞳距。因此位置A处的观众将观看到正确的3D图像。

但是如果观众横向位移32mm，或者在位置B，则可以用右眼观看左边的图像而用左眼观看右边的图像，即观众观看的“逆向3D”图像。逆向3D图像看起来非常不舒服并且会引起观众头痛。

大多数多观众自动立体系统具有这种缺点。特别是在基于双凸透镜和网格的图像分离器中。图17示出了多观众双凸透镜自动立体系统。来自左边投影仪的图像通过第一透镜并聚焦在显示屏的表面。第二透镜在聚焦该图像以在观看距离上形成垂直的条状亮线。包含右边图像的第二投影仪照射第一透镜，但是由于两个投影仪之间的横向位移，导致观众平面的右眼图像偏离左眼图像65mm。相距65mm重复这种交变的左右图像。

位于正确位置的观众观看的是正确的3D图像，但是如果观众如上所述移动到不正确的位置将看到逆向3D图像。

特别是当观众第一次坐下观看基于双凸透镜3D系统时，他难以确定观看的是正确的还是逆向3D图像。直到他感到不舒服时才会意识到位置不对。

此外，观众难以在很长时间内保持正确的观看位置。还要求观从位于与第二透镜相距一定距离的正确的位置，因为如在不正确距离上观看，会产生莫尔条纹和串音效果。

透镜系统另外的问题是分辨率。分辨率受到整个透镜中每个小透镜间距的限制，它的数量级为横向1mm。

如图18所示，代之以仅仅投影左右图像，透镜系统利用多个投影仪(例如四个)来产生图像1、2、3、4系列，每幅图像相距65mm。利用四台间距相同的摄像机拍摄原始场景。位置A、B或D上的观众可以看到正确的3D图像而位置C上的观众看到的是逆向3D图像。

由于有3倍的横向距离上位置观看可接受的3D图像，所以它大大改进了前面左右系统。与前面的左右系统一样，位置C上的观众直到感到不舒服才会意识到位置不对。

如果图19中用投影仪4代之以“空白”图像(黑色)，则位置A和B的观众与前面一样，位置C上右眼为平面图像而左眼为黑色图像，这同样可以观看而不会引起不舒服。同样，位置D上产生的是平面图像但是不会引起逆向3D效应。在系统中50％的观众看到正确的3D图像而50％的图像质量略差，但消除了逆向3D效果。

通过增加投影仪的数量，并且包含空白图像，增加了正确观看3D图像的横向距离并且消除了逆向3D效应。

但是没有考虑多投影仪系统的实用，主要因为随着投影仪数量的增加需要对每个投影仪提供传输/记录带宽要求变得不实际。

这种方法的限制可以通过传输DDC编码2D图像并利用DDC合成所需的投影图像数来克服。虽然在DDC解码器内需要较宽的带宽，但是在发射机和/或记录装备处保持了原始2D带宽。

图20示出了利用DDC解码器的多观众3D透镜系统。

DDC编码/解码将能产生视频图像序列，它们代表来自原始图像最左到最右的可能图像范围：

{L，L1，L2，....R2，R1，R}

以下简述一些应用：

DDC或动态深度线索是一种从2D-3D数据转换过程(转换中间阶段)中的术语。在此阶段，数据由原始的视频信号和数据包组成(以数字或模拟形式编码)从而使得附加的数据都是需要指令规定电子学硬件和/或软件以完成转换任务的数据。最终的3D信息可以采用场串行(即左/右)型视频格式，两个分离的视频流、线线系统(一线来自左场，一线来自右场)或其它格式是有利的。

通过仔细设计转换数据包的格式，可以将附加数据包含其中从而在标准TV上显示时不会注意。因此可以引入3D电视传输而无需更新现有的电视机内部结构。解码器可以靠近观察装置(即TV)并且基本上是截取传输信号、对立解码、随后输出至TV供观看的“黑箱”。因此现有2D付费TV或电视网结构的更新将通过增加“黑箱”简化。

在提供的用于多图像型自动立体3D显示系统的媒体中。这些系统取决于提供的多幅视角略微不同的图像。由于有真实的多观众能力，所以即使不同的视角(例如8-16)较大它们也是有效的。它们的主要缺点是由于同一时刻需要许多不同的视角，所以即使采用最好的视频压缩技术，媒体提供也非常困难。但是如果利用DDC解码器产生3D媒体，则可以产生所需的视角数量，以及作为这种图像设备即TV和录像机如同通常的2D图像中那样。观众没有意识到发送信号任何变化。

用DDC编码的标准2D视频图像具有以下特性：

-DDC编码的2D图像可以在标准的视频设备(即TV和录像机)处作为普通的2D图像接收。观众没有意识到发送图像的变化。

-DDC编码的图像完全与现有视频、编辑、记录、接收和发送系统和技术兼容。因此DDC编码的2D图像对于所有的模拟视频和电视技术是透明的。

-DDC编码的2D视频可以引入彩色TV和立体声同样的方式引入市场。只有装备DDC解码器的TV(观众利用合适的观看镜片)或者3D TV才显示3D图像。

-DDC编码使得场景之间的过渡是无缝的，这有利于3D编码并且更加有利于在2D中显示。这种过渡不会为观众察觉。

-DDC编码的视频可以显示在所有现有的3D显示器上并且适于多观众系统。

-DDC编码保留了原始的视频源的线和场标准。

-与按照左/右场串行格式编码3D视频图像一样DDC编码不会降低图像更新频率。

Claims (43)

1.一种从原始2D图像产生用于立体显示的左眼和右眼图像的方法，其特征在于以确定数量和方向位移所述原始图像的选定区域从而产生拉伸图像，所述拉伸图像构成左眼和右眼图像。

2.一种产生用于立体显示的左眼和右眼图像的方法，其特征在于包括以下步骤：

a)在所述原始图像内识别至少一个物体；

b)勾画出所述或每个物体的轮廓；

c)定义所述或每个物体的深度特性；

d)沿横向分别将所述或每幅图像的选定区域位移一个确定的作为所述或每个物体深度特性函数的数量以构成供观众左右眼观看的两幅拉伸图像。

3.如权利要求1或2所述的方法，其特征在于包括一边位移原始2D图像一边避免图像产生空白区域。

4.如权利要求1-3中任意一项所述的方法，其特征在于其中一个所述拉伸图像是其它所述拉伸图像的镜像图像。

5.如权利要求2所述的方法，其特征在于向每个所述物体提供分立的深度特性。

6.如权利要求1-5中任意一项所述的方法，其特征在于转换多个2D图像。

7.一种用于从数字化2D图像中产生立体显示的左眼和右眼图像的方法，其特征在于包括以下步骤：

在所述数字化图像上形成网格，所述网格包括多条平行的横向网格线和多条平行的纵向网格线，其中所述横向线与纵向线垂直并相交形成多个子点；以及

通过移动所述子点使位于子点上的图像在网格变形时拉伸。

8.如权利要求7所述的方法，其特征在于相邻子点之间的所述网格线在任何变形下是连续的。

9.如权利要求7所述的方法，其特征在于子点沿横向位移以使网格变形。

10.如权利要求7-9中任意一项所述的方法，其特征在于每个子点变形量被用来产生数据从而将原始2D图像转换为用于立体显示的左眼和右眼图像；所述数据描述了图像中被选定进行处理的是哪一个物体，如何处理所述物体，相对其它物体的优先权和深度特性。

11.如权利要求10所述的方法，其特征在于生成算法来确定每个所述子点所需的变形。

12.如权利要求10或11所述的方法，其特征在于原始2D图像和转换数据可以沿用标准的2D技术传输。

13.一种用转换数据编码2D视频信号以将所述2D视频信号转换为用于立体显示的左眼和右眼图像的方法，其特征在于包括以下步骤：

将转换数据加入视频信号以提供编码信号，数据定义了视频图像转换为立体显示用拉伸图像时视频图像各选定点的位移。

14.如权利要求13所述的方法，其特征在于所述数据被发送的标准2D图像的顶部或底部的空白线内发送。

15.如权利要求13所述的方法，其特征在于所述转换数据在被发送的标准2D图像的水平同步周期内发送。

16.如权利要求13所述的方法，其特征在于所述转换数据在被发送的标准2D图像的水平过扫描区域内发送。

17.一种产生用3D转换数据编码的2D视频图像的方法，其特征在于包括：

从多个视频摄像机中捕获视频图像；

为了产生所述转换数据将来自各视频摄像机的视频图像作比较，转换数据定义了视频图像转换为立体显示用拉伸图像时视频图像各选定点的位移；以及

将来自其中一个所述视频摄像机的视频信号与转换数据组合以产生编码的视频信号。

18.一种解码提供立体显示的视频信号的方法，其特征在于包括：

接收所述视频信号，所述视频信号包括2D视频图像和转换视频信号用的转换数据，转换数据定义了视频图像转换为立体显示用拉伸图像时视频图像各点的位移；

从所述视频信号中读取转换数据；以及

通过根据所述转换数据在2D视频图像中放置物体从2D视频图像中产生显示用左眼和右眼图像。

19.如权利要求18所述的方法，其特征在于包括以下步骤：

将所述2D视频图像转换为RGB分量；

将每个分量转换为数字信号；以及

在产生左眼和右眼图像之前存储所述数字信号。

20.如权利要求18或19所述的方法，其特征在于所述数字信号以作为转换数据函数的可变速率从存储装置中读取。

21.如权利要求1 8或19所述的方法，其特征在于所述数字信号以作为转换数据函数的可变速率读入存储装置。

22.如权利要求1 8-21中任意一项所述的方法，其特征在于所述数字信号被转换为在模拟系统上观看的模拟信号。

23.如权利要求18-22中任意一项所述的方法，其特征在于所述转换数据从所述视频信号中分离出来。

24.一种从原始2D图像产生用于立体显示的左眼和右眼图像的系统，其特征在于包括选择所述原始图像中区域的装置和以确定数量和方向位移所述原始图像的选定区域从而产生拉伸图像的装置，所述拉伸图像构成左眼和右眼图像。

25.一种从原始2D图像中产生用于立体显示的左眼和右眼图像的方法，其特征在于包括以下步骤：

在所述原始图像内识别物体的装置；

定义每个物体的深度特性的装置；

沿横向将每个物体的选定区域位移一个确定的作为每个物体深度特性函数的数量的装置，用来构成供观众左右眼观看的两幅拉伸图像。

26.如权利要求24或25所述的系统，其特征在于包括产生一个拉伸图像的镜像的装置。

27.如权利要求24-26中任意一项所述的系统，其特征在于所述定义深度特性的装置能够对图像内每个物体定义分立的深度特性。

28.如权利要求24-27中任意一项所述的方法，其特征在于所述系统能够转换多个2D图像。

29.一种产生用3D转换数据编码的2D视频信号的系统，其特征在于包括：

至少横向相距一定距离的第一和第二视频摄像机；

用于产生转换数据的转换装置，所述转换装置从所述视频摄像机接收数据并比较数据以产生转换数据，所述转换数据定义了视频图像转换为立体显示用拉伸图像时来自一个视频摄像机的视频图像各点的位移；以及

编码器装置，用来将来自所述一个视频摄像机的视频信号与来自转换装置的转换数据组合以产生编码的视频信号。

30.一种解码用于立体显示的视频信号的解码器，其特征在于信号提供了2D视频信号并且进一步包括转换视频图像的转换数据，转换数据定义了视频图像转换为立体显示用拉伸图像时视频图像各点的位移，解码器包括：

a)用于接收视频信号装置；以及

b)解码装置，用于读取转换数据并控制视频信号从而提供转换的视频信号。

31.如权利要求30所述的解码器，其特征在于包括：

a)RGB或分量视频转换器，用于将视频信号转换为分立的视频分量；

b)模拟-数字转换装置，用于将每个视频分量转换为各自的数字信号；以及

c)数字存储装置，用于存储所述数字信号。

32.如权利要求30或31所述的解码器，其特征在于所述解码装置适于控制对数字存储装置的读取速率进行控制的变频时钟装置从而使存储装置以可变速率读取数据，由此使2D图像根据转换数据转换。

33.如权利要求30或31所述的解码器，其特征在于所述解码装置适于控制对数字存储装置的读入速率进行控制的变频时钟装置从而使RGB或视频分量可以可变速率将数据读入存储装置，由此使2D图像根据转换数据转换。

34.如权利要求30-33中任意一项所述的解码器，其特征在于存储装置是双端口线存储的形式。

35.如权利要求30-34中任意一项所述的解码器，其特征在于解码器处理单条视频线。

36.如权利要求30-34中任意一项所述的解码器，其特征在于解码器处理多条视频线。

37.如权利要求30-36中任意一项所述的解码器，其特征在于提供数字-模拟转换装置将读取的数字信号转换为视频信号从而可以在观察装置上观看。

38.如权利要求30-36中任意一项所述的解码器，其特征在于包括并行存储装置，用来存储转换后的左眼和右眼图像的数字信号。

39.如权利要求30-38中任意一项所述的解码器，其特征在于包括从视频信号中分离转换数据的分离装置。

40.一种立体图像显示系统，其特征在于包括：

a)用转换数据编码提供视频图像的视频信号的编码器，转换数据定义了视频图像转换为立体显示用拉伸图像时视频图像各点的位移；以及

b)从视频信号中分离转换数据并将视频信号转换为转换数据函数的解码器。

41.一种多观众立体显示系统，其特征在于包括：

解码提供立体显示的视频信号的解码器，信号提供了2D视频图像并且进一步包括转换视频图像的转换数据，转换数据定义了视频图像转换为立体显示用拉伸图像时视频图像各点的位移，解码器包括接收视频信号装置和读取转换数据并控制视频信号以提供转换的视频信号的解码装置。

42.一种产生用3D转换数据编码的2D视频图像的方法，其特征在于包括：

从立体视频摄像机中捕获左眼和右眼视频图像；

为了产生所述转换数据将来自立体视频摄像机的左眼和右眼视频图像作比较，转换数据定义了视频图像转换为立体显示用左眼和右眼图像时视频图像各点的位移；以及

将来自所述视频摄像机的视频信号与转换数据组合以产生编码的视频信号。

43.一种产生用3D转换数据编码的2D视频信号的系统，其特征在于包括：

立体视频摄像机；

用于产生转换数据的转换装置，所述转换装置从所述视频摄像机接收数据并比较数据以产生转换数据，所述转换数据定义了视频图像转换为立体显示用拉伸图像时视频图像各点的位移；以及

编码器装置，用来将来自所述一个视频摄像机的视频信号与来自转换装置的转换数据组合以产生编码的视频信号。

Images