CN102685533B

CN102685533B - 对2d电影进行转换用于立体3d显示的方法和系统

Info

Publication number: CN102685533B
Application number: CN201210032332.9A
Authority: CN
Inventors: 周子衡; 保罗·朱迪肯斯; 叶剑平
Original assignee: Imax Corp
Current assignee: Imax Corp
Priority date: 2006-06-23
Filing date: 2007-06-25
Publication date: 2015-03-18
Anticipated expiration: 2027-06-25
Also published as: CA2653815C; EP2160037A2; US9282313B2; CA2653815A1; EP2033164B1; US20130169749A1; US8411931B2; CN102685533A; CN101479765B; CA2884702A1; CA2884702C; WO2007148219A2; EP2033164A4; US20090116732A1; EP2033164A2; WO2007148219A3; CN101479765A; EP2160037A3

Abstract

本发明披露了一种将2D电影或者其他任意2D图像序列转换为用于3D显示的立体3D图像数据的方法。在一个实施例中，可以通过各种方法从2D源图像中采集各种类型的图像数据线索，并将该图像数据线索用于产生两个清晰的立体3D视图。所披露的方法的实施例可以在包括软件和计算硬件的高效系统中实施。系统的一些实施例的架构模型同样可以应用于电影和其他图像序列广泛范围内的转换、重制及视觉增强，其包括将2D电影或2D图像序列转换为3D，将电影或者视频序列重新灌录为不同的帧频，提高电影或其他图像序列的质量，或者在放映机中进一步促进视觉图像质量的提高来产生增强的图像的其他转换。

Description

对2D电影进行转换用于立体3D显示的方法和系统

相关申请

本申请是国际申请日为2007年6月25日、国际申请号为PCT/IB2007/001726、于2008年12月23日进入中国国家阶段、中国申请号为200780023673.7、发明名称为“对2D电影进行转换用于立体3D显示的方法和系统”的专利申请的分案申请。

本申请要求于2006年6月23日递交的名称为“用于转换2D电影为立体3D显示的方法和系统”的第60/816,272号U.S.临时申请的优先权，通过引证将其结合于此。

技术领域

本发明主要涉及图像处理，更具体地，涉及从原始图像序列产生转换的图像序列。

背景技术

因为人类具有双目视觉，所以能够感知三维世界中的深度和距离。人类双眼以大约2.5英寸水平分离，且每只眼睛从轻微不同的视角来感知世界。结果，在双眼的视网膜上投影的图像会有轻微差异，这种差异被称作双眼视差。作为人类视觉系统的一部分，大脑具有通过称为立体视的加工将双眼视差解释为深度的能力。人类视觉系统从双眼视差感知深度的能力被称为立体视觉。

立体视的原理早已用于通过产生与人类眼睛感知到的一样的两个立体3D图像来记录三维(3D)视觉信息。当适当显示立体3D图像对时，立体3D图像对会在观察者的眼睛中再现立体感效应。

立体3D图像不同于体积图像或者三维计算机图形图像，因为它们只通过立体视觉产生立体感效应，而后者包含真实的三维信息。一种记录立体3D图像的通用方法包括使用一种装备有一对水平分离的透镜的立体3D摄像机，这一对透镜具有和人类眼睛分离的间距相同或者相似的目间距。与人类眼睛一样，各摄像机镜头分别记录图像，传统上称为左眼图像和右眼图像，或者简单地称为左图像和右图像。可用通过其他类型的3D图像采集装置或者近来基于相同的立体视原则的计算机图形技术来产生立体3D图像。

向观察者显示一对立体3D图像，当只为观察者的左眼显示左图像、只为右眼显示右图像时，立体感效应在大脑中形成。用特殊的立体3D显示装置来保证每个眼睛只看到截然不同的图像。在那些装置中使用的技术包括偏振滤光器、时间顺序快门装置、波长陷波滤波器、立体影片滤波器以及透镜/视差屏障装置。尽管那些立体3D显示装置中的技术不同，但是观察者察觉的深度主要由双眼视差信息决定。此外，立体3D图像中物体的感知尺寸与物体的感知深度负相关，这意味着当物体向观察者移近时，物体看来好像变小。

最后，3D摄影机的目间距也改变了因此而生成的立体3D图像中的物体的感知尺寸。

立体3D电影由通过立体3D电影摄像机或者计算机渲染或者二者的结合产生的一对立体3D图像序列形成。在如下的讨论中，术语“3D”表示“立体3D”，不应该与描述包括真实深度信息的体积图像和计算机图形图像中的相同的术语相混淆。相似地，术语“视差”表示“双眼视差”。

与制作普通二维(2D)电影相比，制作3D电影通常花费更高，且工艺更加复杂。通常3D电影摄影机比普通的2D摄像机体积更大、更加笨重，并且通常更加难以操作。为了制作优质的3D真实性，包括采集、视频特效(VFX)、渲染和编辑的整个制作过程都需要3D电影术方面的专家。至今，与大规模的2D电影比起来，冠名3D电影的数量相对较少。

一种制作3D电影的可选方法是采集2D中的图像，并将因此而生成的电影胶片数字转换为3D图像。这种方法的基本概念是如果可以为2D图像的每个像素赋适当的视差值，则可以从原始的2D图像中产生左图像和右图像。可以从物体的深度值直接计算出物体的视差值。靠近观察者的物体比远离观察者的物体产生的视差值更大。当物体朝着无限远移动时，视差接近零。为了从2D图像产生可信的3D效应，整个图像需要正确的深度信息，该深度信息在一些情况下可以计算，或基于观察者对场景的主观解释来估计。所有赋以图像像素的深度值构成称为深度图(depth map)的图像，如果图像中所有像素都被赋以了深度值，则该深度图称为是密集的。为了将图像序列转换为3D，采集图像序列中的所有帧的密集深度图，因而产生的图像序列是深度图序列。

直接估计与2D图像序列中采集的现实世界场景紧密匹配的深度图序列将是一项艰巨的任务。相反，通用的做法是通过界定场景中的各个物体来间接估计深度图。通过物体表面在三维世界中占用的体积来界定物体，也通过其从一个帧到下一个帧的移动和变形来界定。可以使用软件工具通过固体建模、动画和其他技术来促进完成界定物体的任务。然而，由于场景中存在的动作，对2D场景中的所有物体的建模和制作动画是耗时且劳动强度大的过程。

对一个物体建模可能需要首先从各个帧上的图像的其余部分界定该物体。最通用的物体界定方法是转描和抠图。转描方法通过在每个帧中跟踪物体的轮廓来界定物体。抠图方法包括基于亮度、色彩和动作或甚至由透镜焦距产生的锐度来提取物体掩码。通过手工使用各种类型的交互式的软件工具来实施转描方法和抠图方法。

为了加速操作，尽管一些软件工具提供关键帧和动作跟踪能力来加速操作，但是界定物体依然劳动强度大且耗时。

在图像序列的各个帧的所有物体界定之后可以计算密集深度图序列。然后由深度值直接计算视差值，并利用视差值来产生3D图像。然而，密集深度图不保证“密集”结果。产生的3D图像不可避免地包括称为遮挡区域的“孔”。遮挡区域是被另外的前景物体遮挡的物体的一部分。遮挡区域内的像素没有视差值，因为它们在原始2D图像中没有相应物。通常，遮挡区域中常常伴随着深度不连续。在某些情况下，通过用其他图像帧中显示的背景物体的相应信息来填充遮挡区域。在另外的情况下，为了填充孔，需要“伪造”或者“克隆”丢失的信息。不适当的遮挡区域填充可能导致3D图像中的视觉假象。

对于一个已知的2D场景，通过用于从深度计算视差的摄像机参数的选择来决定转换的3D图像中的遮挡区域的尺寸及分布。关键的摄像机参数通常包括摄像机位置、目间距和透镜焦距。通常，基于期望的3D外表选择摄像机参数，但是使遮挡区域最小化也是一个考虑的因素。通过选择的摄像机参数组和适当填充的所有遮挡区域来计算最终的3D图像。全特征的电影可以包含多个称为场景的图像序列，其中各个场景可以含有多达数百个图像帧。

发明内容

根据本发明实施例的方法、处理和系统涉及对传统的2D电影进行转换用于3D电影显示，称之为2D到3D转换技术，或者称之为DMR 3D技术。某些实施例可以用来将2D电影转换为3D来满足同步影片放映时间表。一些实施例可以用来将任意2D图像序列转换为用于任意其他显示应用的3D。为了计算在可以以2D图像数据序列形式获得的2D图像序列的立体3D视觉，可以从2D图像数据序列中采集被称为图像数据线索(cue)的一组图像元素。

采集的图像数据线索和其他基本的计算信息一起被存储为处理信息。为了产生期望的3D视觉质量，处理架构模型提供了用于采集足够的处理信息组的系统的处理。所公开的方法、处理和系统对于计划改变具有可扩展性，且适应于2D图像数据序列的频繁的版本改变。公开的处理架构模型同样可以应用于包括将电影重新灌录为不同的帧频或者提高电影图像质量的其他电影数字重新灌录应用。

处理架构模型可以包括核心转换块步骤。在一些实施例中，核心转换块的第一步是采集一组用于预期的转换的处理信息。对于2D到3D转换，一组典型的处理信息可以包括图像数据线索、编辑信息、计算指令、渲染参数以及其他图像元素。某些类型的处理信息在场景层上采集，而其他类型的处理信息在物体层上采集。采集物体层上的各种类型的图像数据线索，并且可以使用分层结构以便于对具有截然不同的特征的物体进行处理。在各个层中，可以使用多模式计算结构来采集图像数据线索，在该多模式计算结构中，基于自动和多功能性，各种方法被分组为多种模式。例如，操作模式分析可以选择用于处理不同类型的物体的最适合的方法。在场景完成阶段也可以使用类似的多模式计算结构。场景完成阶段可以是核心转换块的最后处理阶段。对于其他类型的电影重新灌录应用来说，核心转换块的构造可以根据应用所需的处理信息的类型而改变。

可以对核心转换块所采集到的处理信息进行修改和更新，直到获得期望的3D视觉质量。可以在足够用于产生转换的3D图像数据序列的渲染数据记录中存储最终的处理信息组。可以随着2D图像数据序列的改变而更新渲染数据记录。在完成2D图像数据序列之后，可以取回最新版本的渲染数据记录，用于以自动模式或者其他模式基于最终版本的2D图像数据序列来计算最终的3D图像数据。可以在系统中实施架构模型(包括核心转换块)。根据本发明各种实施例的系统可以应用于诸如电影增强或者帧频转换等其他电影数字重新灌录应用。

提及这些实施例并不旨在限制或者定义本发明，而在于提供本发明的示例性实施例来帮助理解本发明。在具体实施方式中讨论了实施例和本发明的进一步描述。可以通过检查说明书而进一步理解本发明的各个实施例所提供的优势。

附图说明

参照附图阅读下文中的具体实施方式，将会更好地理解本发明的这些和其他特征、方面和优点。

图1示出了根据本发明一个实施例的用于电影重新灌录处理的处理架构模型的流程图。

图2示出了根据本发明一个实施例的变化检测和分析块的流程图。

图3示出了根据本发明一个实施例的电影的2D到3D的转换系统。

图4示出了根据本发明一个实施例的用于电影的2D到3D转换的核心转换块的流程图。

图5A示出了根据本发明一个实施例的包括源2D图像场景的示例性场景布局。

图5B是根据本发明一个实施例的包括物体布局的示例性场景布局。

图5C是根据本发明一个实施例的包括几何布局的示例性场景布局。

图6示出了根据本发明一个实施例的场景自动分析作出决定处理的流程图。

图7A示出了根据本发明一个实施例的第一透明物体。

图7B示出了根据本发明一个实施例的第二透明物体。

图8示出了根据本发明一个实施例的物体丢失部分的分层再现。

图9示出了根据本发明一个实施例的层转换阶段中的一个层中的图像数据线索采集处理的流程图。

图10示出了根据本发明一个实施例的物体掩码发生模块的流程图。

图11A示出了根据本发明一个实施例的在分配物体掩码之前的示例性的源2D图像序列。

图11B示出了带有分配和标签物体掩码的图11A的示例图像。

图12示出了根据本发明一个实施例的物体深度建模模块。

图13A示出了根据本发明一个实施例的再现的带有未填充的遮挡区域的右眼图像。

图13B示出了根据本发明一个实施例的完成的带有填充的遮挡区域的图13A的右眼图像。

图14示出了根据本发明一个实施例的场景完成模块的流程图。

图15示出了根据本发明一个实施例的定标方法的深度的流程图。

具体实施方式

本发明的实施例提供了用于对2D电影进行转换用于立体3D显示的方法和系统。一些实施例可以用于将2D电影转换为和原始的2D电影同一天放映的3D电影，这被称为同步放映。通常，电影的制作处理包括对电影内容的频繁改动，且内容直到非常接近放映日才能锁定。一旦电影内容被锁定，为了达到电影摄制者预期的最终效果，将颜色校正处理施加至图像。传统上，通过一种名为“颜色定时”的处理光化学地实现颜色校正，近来通过提供更精细的控制的数字手段来实施颜色校正。电影的最终数字版本被称为数字中间片(digitalintermediate，简称DI)。结果，在传送最终DI图像数据之后，电影放映日之前，只有很短的可用的时间窗口。对于同步放映来说，必须在这样的时间窗口内对DI执行所有的转换处理。因此，转换处理必须是可扩展的且适应于变化的生产时间表。

为了将2D电影或者2D图像序列转换为3D，采集足够的处理信息(PI)。典型的PI组包括图像数据线索、编辑信息、计算指令、计算参数和诸如VFX元素的其他图像元素。图像数据线索(image datacues，简称IDC)是为了计算3D图像而从2D图像序列提取的图像元素和其他数据。大多数类型的IDC是那些与丢失的深度尺度的计算直接相关的IDC，丢失的深度尺寸包括形状、颜色、几何、深度、遮挡和运动。总之，采集更加精确和更加完整的IDC将产生更好的3D图像质量，但是也消耗更多的时间和成本。IDC的精确度和完整度可以通过细节层次描述。3D图像的质量随着细节层次的增加而提高，直到细节层次再进一步增加只能产生边缘效应时为止。一种方法是只采集足够用于产生可以接受的3D图像质量的细节层次的IDC。IDC的细节层次对包括场景编辑信息和场景几何布局的其他类型的PI有影响。在下一部分中将确定足够细节的层次的方法的实施例描述为架构模型。

架构模型

在图1中描述了结构模型的一个实施例。架构模型由包括核心转换块118、检验块106、变化检测和分析块108、渲染数据记录块110和最终渲染块112的多个功能块组成。架构模型可以广范围地用于电影和图像序列转换处理，包括2D到3D的转换、帧频转换，或图像增强，或任意其他有助于图像转换的转换处理，促进放映机内进一步图像增强以产生增强图像。下文中讨论了2D到3D转换的实施例。

核心转换块118包括采集PI的PI采集块102，对初始转换结果进行渲染的预渲染块104。PI采集块102从称为源图像数据序列的2D输入图像数据序列100等采集初始IDC组。如下所讨论，可以使用各种方法从不同类型的图像内容中采集不同类型的IDC。如图1所示，检验初始IDC组以判定细节层次是否足够。检验处理包括预渲染块104和检验块106。预渲染块104基于初始IDC由源2D图像数据序列计算3D图像。培训人员使用模仿典型的3D电影院的立体3D显示系统在校验块106对渲染的3D图像进行视觉上地检查。如果3D图像的质量可以接受，则认为初始IDC足够，于是和采集的其他类型的PI一起保存在渲染数据记录块110中，采集的其他类型的PI包括预渲染块104使用的计算指令和参数。

如果认为3D图像不可接受，则认为初始IDC组不充足，需要更高的细节层次。为了获得更高的细节层次，PI采集块102再次从源图像数据提取更多的IDC。一旦采集了新的IDC组，则预渲染块104基于最新的IDC组计算新的3D图像。检验块106再次对产生的3D图像进行视觉上地检查。如果检查结果满意，则认为最新的IDC组充足，且将最新的IDC保存为最新版本的渲染数据记录(RDR)的子集。RDR包括IDC和其他类型的PI，尤其是足够用于产生最新的3D图像的计算指令和计算参数。最新版本的RDR替代渲染数据记录块110中存储的前一版本的RDR。如果认为3D图像仍然不可接受，则通过PI采集块102采集更多的IDC，并提升细节层次。重复上述处理直到检验人员认为产生的3D图像质量可以接受为止。一旦3D结果可以接受，则认为采集的最新的IDC组充足，且将最新的IDC组和包括最近计算指令和计算参数的其他类型的PI一起保存为当前版本的RDR。保存的RDR可以从渲染数据记录块110中取回，并且可以在任何必要的情况下被用来重复产生最新3D图像结果所需要的所有计算。当前版本的RDR还包含与最新版本的源图像数据序列相关的最新编辑判定表。当前版本的RDR也可以包含预渲染块104已经计算的一些中间结果。尽管可以从保存的RDR重复计算那些中间结果，由于重复计算要求时间且增加计算成本，所以中间结果可以作为当前版本的RDR的一部分而被包含在当前版本的RDR中以减少将来在最终渲染块112中的计算。

在将2D电影转换为3D的过程中，图1中的输入图像数据序列100包括原始2D图像序列或者2D电影DI，或者称之为源图像数据序列的其他序列。通过数据输入块块116可以将源图像数据序列转换为指定的文件格式或者不同的文件格式组。如果源图像数据序列没有改变，则由最终渲染块112计算出的转换后的图像数据序列120是转换后的最终3D图像数据。例如，在将2D电影转换为3D的过程中，所有源图像数据序列是最终图像数据。

对于将要转换为3D用于同步放映的新电影来说，可以在获得最终DI之前开始转换处理。源图像数据序列在最终被锁定之前可能经历频繁的版本改变。图1所示的架构模型包括变化检测和分析块108，该变化检测和分析块108通过与块108保存的源图像数据序列的前一版本进行比较，检测最新版本的源图像数据序列中的变化。如果检测出变化，则变化检测和分析块108确定如何更新当前版本的RDR。图2中示出了这种确定的一个实施例。在步骤204中对最新版本的源图像数据序列(版本x+1)200和前一版本的源图像数据序列(版本x)202进行比较。如果在步骤206中检测出变化，则在步骤208中分析检测出的变化所产生的影响，然后在步骤210中作出关于当前版本的RDR是否需要更新的判定。如果唯一的变化是由颜色定时产生的，则RDR可以不需要更新。例如，计算指令与渲染参数可以与颜色无关。这样的处理可以允许通过图1中的最终渲染块112使用渲染数据记录块110中保存的最新版本的RDR以完全自动模式将最终颜色定时源图像数据序列转换为3D。这样自动的渲染可以允许相对较快地执行转换的图像数据序列120的最终计算。

如果检测到的变化在步骤210中被判定为需要更新RDR，则变化检测和分析块108也可以在步骤212判定是否该变化需要从新的源图像数据序列采集新的PI。在一些实施例中，可以避免采集新的PI。例如，可以通过在步骤216中直接更新当前版本的RDR来处理一些编辑变化或者渲染参数变化。然而，如果图像内容改变，则需要在步骤214中采集新的PI。直到图像数据完成为止，架构模型的实施例可以允许转换处理适应于源图像数据序列中的版本变化。

系统实施

图3示出根据本发明的各种实施例的2D到3D转换处理的系统实现的一个实施例。图3中描述的系统实现也可以应用于任意其他电影和图像转换处理，诸如帧频转换、图像增强和其他图像增强转换以及其他在放映机中促进图像进一步增强来产生增强的图像的转换。

图1中架构模型的功能块可以实施为两个子系统：前端子系统302和后端子系统304。这两个子系统通过网络连接322连接。

可以将前端子系统302设计用于采集、检验和更新产生3D图像所需要的PI，前端子系统可以提供图1中所示的可能需要人交互的PI采集块102、检验块106、以及变化检测和分析块108的功能。例如当在远离后端子系统304的分离位置实施前端子系统302时，前端子系统302可以包括预渲染块104。在本发明的另一个实施例中，预渲染块104和最终渲染块112共享在后端子系统304中实施的同一硬件和软件。

可以将后端子系统304设计为对电影的最终转换的图像数据序列进行高效自动渲染。后端子系统可以实现最终渲染块112和渲染数据记录块110的全部功能。数据输入块116和数据输出块114的功能也可以在后端子系统304中实现。后端子系统304中的一个部件是智能控制器服务器312，智能控制器服务器管理包括前端子系统302电影转换处理在内的电影转换处理。如前面所讨论的，当后端子系统304和最终渲染块112共享同一硬件和软件时，后端子系统304可以提供预渲染块104的功能。

下面披露了两个子系统的详细实施方式。

前端子系统302

前端子系统302的一个功能是提供用户交互能力和自动渲染能力，以从源图像数据序列采集充足的PI组，特别是IDC。如前面所披露，通过IDC采集和检验的递归处理提供了这种功能。因为在该采集处理中需要人的交互和判定，所以采集转换所需要的各种类型的IDC是一种劳动强度大且耗时的过程。在一些实施例中，那些劳动强度大的计算的增加部分可以是自动或半自动的。在预渲染器324中可以实现这样的自动计算和半自动计算。

目前可以从在不同类型的商业软件产品中获得许多用于PI采集的用户交互式功能。前端子系统302提供了支持这些商业软件产品的开放式平台。支持的软件产品主要提供渲染脚本能力。渲染脚本能力保证可以将用户使用交互方式选择的所有处理步骤记录为渲染脚本，并且通过执行所记录的渲染脚本而在渲染器中自动重复该处理步骤。支持的软件产品的渲染脚本能力可以在预渲染器324和自动终端渲染器316的平行和分布计算平台上执行渲染脚本。

PI采集块102也可以采用自动和半自动的定制应用软件来提高处理效率。这些定制应用软件通常被设计为在特定情况下高效地采集某种类型的IDC。图3的系统中配置的定制应用软件可以支持与商业软件相似的渲染脚本能力。一些半自动定制应用软件提供它们自己的用户图形界面(GUI)，另一些定制应用软件作为商业软件产品的插入程序执行。预渲染器324实现定制应用软件的自动功能和半自动功能。

前端子系统302采用多个提供GUI能力以支持商业应用软件和定制应用软件的用户交互性的计算机工作站310(1)-(n)。工作站310(1)-(n)也可以提供补充预渲染器324的渲染能力。预渲染器324可以包括至少一个计算装置。如图3所示，预渲染器324的一种配置是装备有多个提供平行和分布计算能力的处理器的计算机组。采集各种类型的IDC的处理被保存为渲染脚本，可以将该渲染脚本分配至预渲染器的多个处理器用于快速计算。各个预渲染器处理器独立地计算任务的一部分并与其他处理器平行。计算机组以非独断的方式基于采集到的IDC和PI为IDC采集任务和3D图像的最终渲染提供所需要的计算能力。计算机组的计算能力可以扩展至满足计算能力的变化需要。后端子系统304的智能控制312控制和管理预渲染器324。预渲染器324执行的具体计算指令和参数作为RDR保存在渲染数据记录块110中，渲染数据记录块110的功能在中央数据存储器314中实施。保存的RDR的一些实施例是商业和定制应用软件都支持的基于文本形式的渲染脚本文件。在同一计算机组或者不同的计算机组中可以重复执行保存的RDR来产生同一结果。

前端子系统302支持至少一个用于对预渲染器324渲染的3D图像进行视觉检验的3D投影系统306。可以由检验服务器308将渲染出的左眼图像数据和右眼图像数据制成流以通过3D放映机按照合适的帧频在3D屏幕上播放。可能需要多个3D投影系统306，其中各个3D投影系统均具有一个单独的检验服务器308。对于电影应用来说，各个3D投影系统均可以提供一种视觉体验，该视觉体验和预定的3D电影院中的视觉体验相似或者至少可以升级至3D电影院中的视觉体验。3D投影系统的图像显示区可以足够大，以提供与3D电影院中提供的视野相似的视野。这样的视觉体验通常通过在屏幕上放映相对较大的图像的单个3D图像放映机来提供，也可以通过一对图像放映机来提供，其中一个放映机在屏幕上放映左眼图像，而另一个放映机在屏幕上放映右眼图像。如果偏振眼睛用于3D观看，屏幕保持偏振。只要保持相似的视野，即使在与预定3D电影院的屏幕比起来尺寸可能较小的屏幕上观看3D图像，有经验的检验人员也能够估计出3D质量并作出判定。

前端子系统302也可以提供用于检测两种不同版本的图像数据之间的变化所需要的计算硬件和软件。支持应用软件可以包括在工作站310(1)-(n)上执行视觉上地检查的GUI。支持应用软件为熟练的用户提供充足的信息以便遵循图2中描述的判定过程作出合适的判定。如果需要直接改变RDR，则应用软件可以提供允许对RDR进行编辑的GUI。

可以使用开放式平台在距后端子系统304远的位置上配置前端子系统302。也可以在远离后端子系统304的多个物理位置上配置前端子系统302。此外，至少前端子系统302的用户交互式功能的一部分可以外包给配备有合适类型的硬件、软件以及熟练员工的第三方商业服务提供商。可以将需要从图像采集的关于IDC和PI的类型的技术说明提供给用于评估外包工作的服务提供商。在远程位置和由服务提供商执行的处理任务可以被记录为渲染脚本且可以在自动终端渲染器316中重复。

后端子系统304

后端子系统304的一个功能是维护最新的RDR和以全自动方式将图像数据转换为3D。后端子系统304也可以执行预渲染器324的自动或者半自动的计算任务。后端子系统304包括智能控制器服务器312、中央数据存储器314和自动渲染器系统316(1)-(m)。后端子系统304也提供图像数据输入/输出功能，通常通过诸如数据磁带驱动器、移动硬盘或光盘驱动等数据输入/输出装置318来提供。中央数据存储器314提供足够的数据存储能力，用于保存不同版本的源图像数据信息、转换后的3D图像数据序列和用于快速访问的在线的所有必要中间结果。中央数据存储器314也提供渲染数据记录块110的功能以保存RDR的最新版本。自动渲染系统通常被实施为多处理器计算机组316(1)-(n)。

后端子系统304的一个部件是智能控制器312，该智能控制器对包括前端子系统302和后端子系统304的整个电影转换处理提供处理控制和处理跟踪的功能。智能控制器312维护中央数据库，该中央数据库保存和升级包括前端子系统302采集到的PI和IDC、不同版本的RDR和诸如处理中的处理变化请求、版本控制和当前状态的制作管理信息等关于电影源图像和整个转换处理的所有信息。基于这些信息，智能控制器312在转换过程中产生各种类型的实时报告。

在一个实施例中，智能控制器312负责制定自动渲染器316和预渲染器324的所有渲染工作。可以基于负载均衡和工作优先级将计算工作分配至多个处理器。对于分配至多个处理器的计算工作来说，智能控制器312可以将分割的结果集合为连续的画面(scene)。智能控制器312也可以提供用于偶尔丢失或者不完全的帧的集成核查，如果发现错误，则发送重新渲染请求。

智能控制器312可以时常监控自动渲染器316(1)-(n)的各个处理器的状态。如果处理器出现故障，在该处理器可以发出修复警报并将停止的工作分配至其他可用的处理器继续处理。诊断处理保证防止传输过程中的数据丢失。如果智能控制器312发生故障，在失灵前系统的状态被保存下来。智能控制器312轮询多个渲染器处理器的状态，查明它们的当前状态并恢复控制。在重启情况下可以不要求数据重新渲染。

智能控制器312也可以监控数据输入输出装置318的操作。可以对转换后的图像数据序列进行格式化，并输出至数据自动摄影测绘设备(ape)或者移动硬盘或者其他数据存储装置318上。智能控制器312调度数据输入和输出处理并将信息报告回中央数据库。

通过用户控制界面320允许其他自动控制处理的人为控制和中断。用户控制界面320允许熟练的用户，特别是负责3D图像的最终外表的制作人或者技术制作人，为提高转换图像的3D外表或者为了引进最新编辑决定而做一定的改变。这些改变通常通过直接修改中央数据存储器314中保存的RDR来获得，无需重新采集IDC。

可以对图3中示出的系统实施进行扩展以扩大处理能力或者易于与将来改进的软件和硬件集成。如果前端子系统302位于多个远点，则后端子系统304可以通过因特网连接或者指定的网络连接322向多个远点继续提供控制、跟踪和数据交换功能。利用网络连接322，智能控制器312能够控制和跟踪远点的所有处理，并从多个远点采集所有PI和RDR。当传送了最后的源图像数据序列时，后端子系统304能够在自动渲染器316处基于从多个点采集到的所有最新的PI和RDR将它们转换为3D图像。

核心转换块

图1中的核心转换块118可以采集2D到3D转换需要的PI组。核心转换块可以包括PI采集块102和预渲染块104。一些类型的PI是各种类型的IDC，这些各种类型的IDC是图像元素或者是为了计算3D图像而从2D图像序列中提取出的其他数据。图4中描述了用于电影2D到3D转换的PI采集块102的工作流程图的一个实施例。图4中的流程图假定2D输入图像数据序列400在数字数据格式中可用。如果电影图像在影片格式中可用，则影片上的图像必须通过影片扫描仪数字化为数字数据格式。如果输入图像在转换处理不支持的数字数据格式中可用，则图像必须转换为处理和系统支持的数据格式。

图4的处理流程中的各个块代表采集具体的IDC或PI组的处理阶段。图4所示的实施例中，前四个步骤，时间分析和增强402、场景分离404、场景布局设计406和场景自动分析408在场景层上工作，且在物体层上实施随后的层分析410、层转换412和场景合成414。将电影划分为多个场景，各个场景由一个或者多个物体构成。物体是主要通过深度不连续而相互分离的图像元素。在物体层上，分层结构用于采集描述各个物体的IDC。在最后场景完成阶段416，采集步骤返回到场景层上。

预渲染块104是核心转换块118的一部分，用于执行图4中所有阶段所需要的计算。预渲染块104的功能主要通过预渲染器324实现。工作站310(1)-(n)也可以提供部分预渲染功能。尽管在图4中没有描述说明预渲染器324的功能，但是其功能在IDC采集过程中的各个阶段中存在。从各个阶段采集的IDC和包括编辑信息、渲染脚本、计算参数和中间结果等的其他类型的PI信息418一起存储。以最新版本的RDR的形式保存采集到的充足的PI组，以用于产生预期的转换结果。本发明的一个重要特征是RDR应该保持与颜色无关，这意味着，如果源图像数据序列的颜色改变，则没有必要升级RDR的当前版本。

尽管图4的处理流程以2D到3D转换的形式描述，但是相同概念的处理流程可以应用至诸如帧频转换、图像增强、任何其他图像增强转换或者在放映机内促使进一步的图像增强来产生增强图像的转换的任何其他类型图形转换。对于那些其他转换来说，进程流块中的算法可以不同但是仍然可以利用图4的进程流程。

图4中的核心转换块中在场景层上配置了四个处理阶段，这四个阶段包括时间分析和增强402，场景分离404，场景布局设计406和场景自动分析408。下文中讨论了各个阶段。

时间分析和增强402

在该阶段中，通过时间处理方法来处理源图像数据序列以提高图像质量。时间处理方法的一种优选实施方式是通过美国专利申请序列号为10/474,780的专利申请中讨论的IMAX公司的DMR(数字再掩码，Digital Re-mastering)方法。时间处理还产生可以是描述各个像素从一个帧移动到邻近的多个帧的密集运动矢量的多个运动线索424。运动线索424在场景自动分析阶段408和层转换阶段412中用作初始运动矢量。

场景分离404

在场景分离阶段中，将源电影图像数据划分为场景或者镜头。在描述本发明的过程中，术语“场景”和“镜头”是可以相互交换的，二者都是描述图像序列(或者是多个帧或者是多个图像帧)或从一些实施例中由单纯操作摄像机而产生的连续的运动流图像元素。相似地，术语“图像”和“帧”以及“图像帧”是可以相互交换的。由于许多IDC采集方法不能掌控场景间或镜头间的突然的变化，所以场景分离是必要的。如果编辑判定表(edit decision list，EDL)可用，则EDL可以用于场景分离过程中。EDL是记录关于电影中的每个镜头的精确信息的顺序的镜头列表，其中每个镜头的精确信息包括镜头长度和标记各个镜头开始和结束的时间代码。如果EDL不可用，存在通常通过人为交互来确定镜头的方法。基于对图像数据流中突然变化的检测已经开发了自动场景检测方法。存在大量关于场景分离方法的公布文献，这并不是本发明的主题。

为了提高处理效率，代表相同场景的镜头可以分组到一起以便在转换过程中可以以相似的方法处理这些镜头。镜头分组是场景分离过程的一部分，可以通过人为检测方法或者通过搜索那些镜头所共享的共有特征的自动化方法来实现。一个示例是将在相似的背景中显示同一个人的“说话的头部(talking head)”的所有镜头分组。可以用相似的方法从组内所有的镜头中采集IDC。场景分离阶段404生成具有镜头组信息426的镜头列表。

场景布局设计406

在场景布局设计阶段中，为每个镜头生成场景布局428。场景布局428记录场景几何的IDC。在场景布局428中，确认各个物体，且定义物体的大约几何位置。在本发明的一些实施例中，基于来自周围环境的深度不连续性来确定物体。图5A-5C示出场景布局428的一个示例。图5A示出了棒球比赛的2D源图像镜头502，该镜头包括数个物体。图5B示出了物体布局504内的图5A中的场景的图形描述，其中在该物体布局中确认场景中的物体。图5C示出了几何布局506内的图5A中的场景的几何描述，其中在该几何布局中以三维空间来描述物体之间的几何关系。可以以多种格式(包括文本描述、图形描述或者二者混合的格式)制作物体布局504和几何布局506。

在源图像502中，物体包括左场地比赛者(物体#1)、中央场地的游击手和垒审(物体#2，被作为单个物体)、离摄像机距离较近的第二垒审(物体#3)、右边的比赛者(物体#4)、栅栏和观众座位席(物体#5)和棒球场地(物体#6)。物体布局504确定所有的6个物体，这6个物体没有精确的轮廓。一个物体可以包含多于一个的图像元素，例如物体#2包含两个距摄像机距离相似的人形。总之，一个物体可以包括多个共享相似特征的杂乱的元素，如一群飞鸟，风起的多片叶子或者多片雪花等。由于物体被前景中的另一个物体部分遮挡，所以该物体可能包含一些不确定部分，例如在所选的帧中，物体#2被物体#3部分遮挡。在一些帧中物体可能消失，例如当摄像机向右边平移时，物体#1在随后的帧中可能移出场景。图像场景的背景也被确认为被认为与其他物体没有区别的一个或者多个物体。场景背景可以被分割为两个物体：包括栅栏和观众座位席的物体#5以及包括棒球场地的物体#6。物体布局504为随后的层分析阶段提供必要信息以为每层产生层定义。在图5B中，为了给随后部分所描述物体掩码加上标签，为物体分配了截然不同的颜色，以散列标注。以指定的顺序从预定调色板中选择颜色。

几何布局506描述了场景几何，场景几何通常包括在三维空间中与摄像机的位置相关的模拟物体形状、尺寸和空间位置的简单几何模型。在本发明的一个实施例中，几何布局506是一种图形举例说明。物体布局504中确认的各个物体被建模为位于摄像机位置中间的三维空间中的近似形状和位置。

水平轴x沿着与摄像机图像平面水平轴平行的摄像机基线延伸。摄像机基线还确定了立体3D摄像机的位置，用于在随后分层的转换中绘制新3D图像。y轴通常是纵轴或者与摄像机图像平面的y轴平行(当摄像机倾斜时，图像平面的y轴可以不垂直)。几何布局506为随后分层分析阶段提供足够的必要信息来产生分层定义。

回到图4，场景布局428通常通过配有适当软件工具的人工操作员来设计。操作员可以不费力地通过观察2D图像解释场景的几何形状，并从背景物体中确认前景物体。操作员还可以使用通过定标法而得出的深度给出更加精确的场景几何的估计。通过比例法得出的深度也被称为固体深度建模。

场景自动分析408

场景自动分析408是确定适用于自动IDC采集方法的特定种类的镜头的处理阶段。在本发明的一些实施例中，借助从阶段402产生的运动线索424可以确认自动处理的下述场景种类430。

场景种类A：具有普通摄像机摇动和/或倾斜动作所产生的主要动作的镜头。

场景种类B：具有包括推轮、转向、变焦和/或基架动作的其他类型的摄像机移动所产生的主要动作的镜头。

场景种类C：导致前景物体高度清晰而背景物体模糊的浅景深的镜头。

将剩余场景分类为场景种类D，其包括用户交互式IDC采集方法。可以通过熟练的操作员或者自动化方法确认上述三类场景。下述的自动化方法可以用来确认上述三种场景种类。

自动化方法主要涉及检测主要动作。使用前面的时间分析和增强阶段402产生的密集运动矢量424，利用图6中的随机样本一致(Random Sample Consensus，简称RANSAC)算法604分析一对相邻帧之间的所有像素的运动矢量以检测主要动作单应性的存在。RANSAC 604首先基于整体单应性动作模型从每对图像帧采集整体动作统计数据，然后通过表决过程得到最大得票数，从所有图像帧对采集的整体动作统计数据中检测出主要动作。如果找到主要动作单应性，则该算法分析其是否包含大量的运动矢量。如果主要运动没有包含大量的运动矢量，则该算法假定可能存在第二主要动作单应性，然后搜索下一个主要动作。一直重复该搜索处理直到找到发现每个主要动作单应性为止。然后算法604计算属于各个主要动作单应性的运动矢量的方向和平均绝对幅值。

在图6中描述了场景自动分析阶段408中的场景分类处理的一个实施例。该处理从对RANSAC算法604所产生的分类动作单应性模型606进行分析开始。如果只发现单个主要动作单应性，且其包含主要的大部分的运动矢量，则图像镜头是种类A或者种类B的候选图像镜头。场景自动分析408进一步检查是否那些运动矢量中的大部分指向相同的水平方向或者垂直方向。如果情况是这样，则将图像镜头分类为场景种类A，上述判定过程是指分类器#1608。如果分类为场景种类B，则判定过程是指分类器#2610。

如果一个图像镜头显示一个或者至多两个主要动作单应性并且如果其不是种类A或种类B镜头，则该图像镜头为场景种类C的候选镜头。自动分析408执行进一步分析来判定是否属于一个主要动作的图像像素高度清晰而其他像素模糊。例如，实施检测来判定那两组像素之间的图像特征点的密度是否有本质的不同。通过计算小范围内的各个像素的高阶(4阶)中心矩统计数据来计算图像特征点。结果被定标为8位每色彩整数表示，阈值被用于产生各个帧的特征点的图。可以分析两组像素之间的特征点的密度。与模糊的背景相比，高度清晰的物体具有更高的特征密度。如果一组像素具有很高的特征密集度，而其他的像素密集度不是很高，则将该场景分类为场景种类C。上述方法在分类器#3612中执行。

可以通过操作员在视觉上检验自动场景分类以保证判定适当。如果认为对图像镜头的分类错误，则该图像镜头被缺省降级为场景种类D。如果发现用于自动处理的更多场景种类，则可以扩展图6所示的判定过程。在这种情况下，可以增加更多的分类器。

层分析410

回到图4，从诸如动作线索424、镜头列表426、场景布局428和场景分类430的上述四个处理阶段采集的场景层IDC，被用来便于在物体层上采集更详细和更精确的IDC。在本发明的实施例中，分层结构用来描述物体层上的场景的复杂性，允许以任意的细节和精确性的水平来采集IDC。在分层结构中，对分配至一个层中的物体与分配至其他层中的物体进行单独处理。因此，可以对具有不同特征的物体可以在不同层中使用不同的处理方法进行处理，对相同特性的物体在相同层中使用相同的处理方法进行处理。随后在场景合成阶段414中结合从不同层中采集的各种类型的IDC。分层结构允许在2D到3D转换处理结合各种方法以便处理复杂的物体。

在层分析阶段410，基于特性将物体分配至不同的层。多个标准被用来将图像物体和图像元素分组为层。这些标准之一是物体透明性描述。在本发明实施例中，通过多维像素描述透明物体，这样允许多个物体共享一个图像像素或一组像素。多维像素可以具有多个像素值和深度值，各个值描述图像中能在同一像素位置看见的截然不同的物体。图7A-B示出了透明物体的示例。在图7A中，描述挡风玻璃702物体的图像的特定部分(包括位置(x₁，y₁)的像素P710)，在同一位置被其他两个可视物体司机704和树的反射706所共享。结果，像素P(x₁，y₁)710是三个透明物体的结合属性的结果，在像素P(x₁，y₁)710处每个物体可以具有不同的像素值和不同的深度值。例如，如7B所示，树的反射物体706在像素P(x1，y1)710处具有一个相应于摄像机至挡风玻璃的距离712，而司机物体704在同一像素处具有不同的相应于摄像机至司机的距离714。在像素P(x₁，y₁)710处树的反射的颜色不同于司机面部的颜色。分层结构提供了一种描述透明物体的方法。例如，确定像素P(x₁，y₁)710为多维像素，该多维像素具有三组像素值和深度值：(1)一个代表挡风玻璃702的颜色和深度；(2)一个代表树的反射708的颜色和深度；以及(3)一个代表司机面部704的颜色和深度。在分层结构中以截然不同的层表示各个物体，多维像素P(x₁，y₁)710在这三层中分裂，该三层中各个层中具有与该层表示的物体相对应的一组像素和深度值。分层结构允许对各个透明物体独立于其他物体进行处理。通过下文将要描述的处理，将三个物体全部转换为3D之后，由于深度值的不同，不同层中的各个再现版本的多维像素可以映射到不同的位置。那三层和不同层的再现版本的结果随后结合形成3D图像。因为代表多个物体的像素被从不同的视角分离，这样的结果是真实世界外表的真实表示。在单个层中不容易描述图7A-B的示例。可以用相同的方法描述诸如迷雾、云彩、火焰或者反射等半透明和反射图像物体。

被遮挡物体的再现是层分离的另一个标准。分层结构提供了一种再现物体丢失部分的方法。物体可能部分被前景中的其他物体妨碍或者遮挡，当从不同视觉点再现图像时可以显示遮挡区域。原始图像的遮挡区域没有直接信息但是可以从图像序列的其他帧重新获得丢失信息。分层结构允许在指定的层中存储被遮挡物体的所有帧以便独立于其他层在该层中实施再现。分层结构也允许以与多维像素相似的方法用多个层表示再现物体，以便当从不同的层的结果结合时可以填充遮挡区域。

图8中描述了该过程的一个实施例。2D图像序列中的帧802包括被前景物体树804遮挡的背景物体房子806。为了再现房子806，从图像帧802以及图像序列的其他帧分离物体树804。包括房子806的图像帧作为剩余背景物体保存在一个层中，与在另一层中表示的物体树804分离。如背景物体的丢失部分由于摄像机移动在其他图像帧中显示，可以跟踪、转换以及再现该丢失部分，以便在层内能再现房子806。从一个新摄像机的视角来计算物体804和806，结合计算结果以形成新图像808，在该新图像中以再现的信息填充房子806的遮挡部分。下文中将详细描述遮挡物体的再现方法的一些实施例。自动物体分离是用于本发明实施例的另一种方法。分层结构提供了一种以浅深景(DOF)在图像镜头中分离物体的方法。在这样的镜头中，主要的物体高度清晰，而其他物体由于在DOF外部而模糊。可以将高度清晰的物体分配至从模糊图像分离的层以便它们能自动分离，例如，分类为场景种类C的镜头。

在本发明的一些实施例中使用了粒子物体。粒子物体可以包括很多不规则的元素，如雪花、雨滴、风起的叶子、海洋中的浮游生物或者水泡。在分层结构中，大量的相似不规则元素全部被确定为单个物体且在单个层中表示。结果，在分配的层中可以通过单个深度模块来确定这些元素的几何，且在一个层内能同时处理属于一个物体的所有元素。

本发明一些实施例中使用了物体尺寸补偿。可以由尺寸-距离规则产生小型化立体视觉，在尺寸-距离规则中当物体靠近观察者，物体的感知尺寸减小。在立体视觉中，物体的感知距离是由左图像和右图像中的图像水平视差来测定的，被称着视差。当视差增加，物体被感知为靠近观察者，但是物体的明显尺寸被感知为减少。当视差减少且物体看似远离观察者但依然较大时也可以发生逆小型化。小型化或者逆小型化效应和现实生活中的体验相矛盾，观众可能不会接收这样的效果。为了补偿小型化或者逆小型化，一种解决方法是可以在计算3D图像之前数字定标图像中的物体尺寸。如果一个物体被感知为小型化，则可以使用提高采样方法按比例增加该物体尺寸以达到补偿的目的。基于可以通过应用尺寸-距离规则来估计的小型化来计算定标因数。如果在图像镜头过程中物体改变其距离，各个帧的定标因数可以不同。在分层结构中，将需要尺寸补偿的物体分配至分离层以便能以相似的方法对其进行定标。

本发明的一些实施例中也使用了运动分类的方法。分层结构提供了一种以不同的运动特征处理物体的方法。可以基于场景中的物体的运动特征将它们分为许多种类。一个示例是将物体分为下文所述的五类：

物体种类0：静止或带有很小动作；

物体种类1：带有主要摄像机运动；

物体种类2：朝向摄像机或远离摄像机移动；

物体种类3：没有明显运动模糊的适度运动；以及

物体种类4：所有其他特征。

可以将分为同一类别的物体分配在同一层上，以便在该层上应用特定处理方法。在有些情况下，诸如场景种类A镜头和场景种类B镜头，整个镜头被视为种类1的单个物体，以便可以用完全自动方式处理该单个物体。

层分析阶段410对物体层分配和物体分类的判定通过称为层定义的数据记录存储。通常，每个层具有一个层定义。比如，在第K层，层定义以与场景物体布局504相似的形式记录了分配至第K层的物体。层定义也以与场景几何布局506相似的形式确定第K层中物体之间的几何关系。为了避免和其他层的潜在冲突，层定义也确定层中的每个物体的估计尺寸及其深度范围。在层定义中也记录场景种类和物体种类。

分层转换412

分层转换阶段412的功能之一是在物体层上采集详细且准确的IDC，且基于采集到的IDC产生所有物体的左图像和右图像。通过多个处理模块从配置至一层的物体中采集各种类型的IDC。图9示出了包括多个处理模块的单个层的处理流程图的一个实施例。多个处理模块可以包括物体掩码生成模块902、物体深度建模模块904、物体再现模块906、物体深度图生成模块908、物体定标模块910和3D视图计算模块912。

物体掩码生成模块902的功能之一是产生物体掩码920，该物体掩码描述每帧中在层定义信息924中定义的每个物体。物体掩码确定形状，并且物体掩码中包含的所有像素都具有颜色信息。物体掩码可以包括没有适当颜色信息的空白区域。例如，被另一个前景物体部分遮挡的物体，该物体的被遮挡部分没有颜色信息。当将物体转换为左图像或右图像时，将残留在新图像中的空白区域称为遮挡区域。尽管在场景完成阶段416可以以适当的信息填充空白区域，但是该过程通常单调乏味且耗费成本。在许多情况下，由于物体或摄像机的运动而产生的图像镜头的其他帧会显示丢失的信息。在那些情况下，可以通过运动跟踪和图像配准来再现空白区域。物体再现模块906在所有可能的情况下执行跟踪任务和丢失信息恢复。物体掩码和再现的物体都是IDC的类型。

其他类型的IDC包括物体的深度线索。该深度线索不能从2D图像中直接获得，但在一些情况下可以通过估计获得或者在其他一些情况下近似建模来获得。物体深度建模模块904产生物体深度模型，该物体深度模型模拟物体的几何形状。深度模型需要与整个图像镜头过程中的物体的移动和变形相匹配。深度模型的产生不需要精确的物体轮廓信息，所以可以同时执行物体深度建模模块904和物体掩码902。然后将每个产生的深度模型与物体掩码902产生的同一物体的精确物体掩码相匹配。用与深度模型相互配对的物体掩码来生成精确的物体深度图916。可以通过执行物体深度图生成模块908产生物体深度图916。

利用再现的物体914和它们相应的物体深度图916可以计算物体的左图像和右图像。然而，如果需要物体定标，则该物体及与其相应的物体深度图916必须以相同的因数定标。物体定标由物体定标模块910实现。通过3D图像计算模块912，由定标后的物体及其定标后的深度图计算物体的左图像和右图像918。可以检验计算的3D图像，如果可以接收该3D图像，则包括详细的物体掩码、详细的物体深度图、再现物体和来自所有处理模块的渲染脚本、渲染参数和其他必要数据一起被保存为指定层的RDR。下文披露了根据本发明的一些实施例的处理模块的细节。

物体掩码生成模块902

物体掩码生成模块902的功能之一是为在层定义信息924中定义的每个物体产生确定每个物体轮廓的物体掩码。由于物体是针对整个图像镜头而定义的，所以无论物体出现在什么地方，都为镜头的每个图像帧产生精确的物体掩码。如果物体由多个脱节元素组成，则所有可应用的帧的物体掩码将会包括多个不连续的片段。通常以与原始图像相同的图像分辨率来生成物体掩码。

图10是物体掩码生成模块902的一个实施例的处理流程图。可以使用多种掩码生成方法，其中每一种都属于以下三种操作模式中的一种：自动模式1008、半自动模式1006和手动模式1004。通过分析每个物体的运动种类以及其背景物体和其他图像特性，操作模式分析1002决定用于每个物体的适当方法。在本发明的一个实施例中采用了五种方法。这些方法包括基于多边形的分离1010，基于颜色的分离1012、基于图形剪切的分离1014、形状恢复1016和自动深度恢复1018。操作模式分析1002可以决定使用不止一种方法并通过掩码合成1020结合其结果。操作模式分析1002还用于判定是否只为关键帧产生了精确物体掩码以及是否需要掩码跟踪1022来为关键帧之间的帧产生掩码。

随着科技的进步，物体掩码生成模块902的多模式结构保证更多自动化方法以及半自动化方法可以更易于集成到本发明中，以提高处理效率。物体深度建模模块和场景完成阶段共享同一计算结构。

操作模式分析1002

操作模式分析1002为每个物体选择合适的操作模式。首先，它检查物体的运动类别，对种类1物体，可以直接用自动深度恢复方法1018在图9所示的物体深度建模模块908中实现深度图计算。种类1物体可以完全地绕过物体掩码生成模块而不生成物体掩码。比如旁路路径926。

如果将物体分为种类0，则操作模式分析1002执行随后分析以判定该物体是否高度清晰而其背景模糊。这个过程通过判定物体及其背景的特征密度之间是否存在实质差异来完成。高度清晰的物体与模糊的物体相比，前者具有更高的特征密度。如果一个物体高度清晰而它的背景模糊，那么该物体的物体掩码可以通过自动形状恢复方法1016来生成。

对于剩余类型的物体，需要用户交互的一些形式来产生精确的物体掩码。半自动模式1006包括一些方法，运用这些方法产生物体掩码无需直接详述边界上的点。可以运用多种半自动分离方法。在本发明的一个实施例中，实施了包括基于颜色的分离方法1012和基于图形剪切的分离方法1014的两种半自动化分离方法。操作模式分析1002首先计算物体的颜色统计数据。如果物体具有相对均匀的颜色域，该颜色域内颜色之间只有较小的差别，而且物体的颜色和它的背景颜色具有较大的差别，则可以使用基于颜色的分离方法1012分离该物体。如果物体具有很大颜色差异但其颜色依然和背景颜色具有较大的差别，可以利用基于图形剪切的分离方法1014分离该物体。其他情况下可以使用基于多边形的分离方法1010。尽管基于多边形的分离方法很灵活，但是通常情况下它是一个手动操作。操作模式分析1002也可以选择使用多种分离方法并在掩码合成1020模块中结合不同分离方法的结果。

操作模式分析1002的另一个功能是分析物体的运动场所以判定是否需要的关键帧以及每个物体的镜头中精确的关键帧的位置。选择关键帧来标志物体运动的突然变化并且关键帧之间的运动假设是流畅的。拥有确定的关键帧，通过一个或多个掩码分离方法只在关键帧处产生精确的物体掩码，并且通过掩码跟踪1022产生关键帧之间的其他帧的物体掩码。

形状恢复1016

在本发明的一些实施例中，形状恢复1016是采用的唯一的自动分离方法。在形状恢复1016中，基于焦距的差异来计算物体的形状。这种方法应用于本身高度清新而其背景物体模糊的种类0物体。形状恢复1016的第一步是以周围背景物体来为各个帧的物体计算特征掩码图。计算特征掩码的方法已在前面的场景自动分析阶段408中的确认场景种类C中描述过了。由于种类1物体具有很高的特征密度，所以通过对特征掩码图重复应用形态再现封闭过滤器和形态再现开口过滤器来形成物体掩码。如果生成的物体掩码不够精确，则应该把物体重新分配至半自动模式中。

基于颜色的分离1012

在该半自动方法中，基于颜色差异来确定物体掩码。用户选择某个颜色值作为从背景中区分物体像素的阈值。这种方法通常被称为“颜色键控”或“色度键控”，该方法得到很多图形应用软件的广泛支持。在基于颜色的分离1012中，选定的颜色值与源图像数据相关，以便选定的结果是不依赖于颜色的，且当源图像数据发生颜色变化时可重复该结果。基于颜色的分离方法1012是一个逐渐改进的过程，在此过程中，用户需要改进选定的颜色值直到生成精确的物体掩码为止。基于颜色的分离方法1012的一些实施例更适用于具有与背景颜色区别很大的相对均匀的颜色域的物体。

基于图形剪切的分离1014

基于图形剪切的分离方法1014是一种半自动方法，其中用户为要分离物体的内部和外部指定“籽晶”(seed)。与基于颜色的分离方法相似，基于图形剪切的分离方法1014更适合那些本身颜色与背景颜色有区别的物体。典型的用户输入是通过GUI环境输入。在一个实施例中，用户绘出一组徒手画线、笔划或者多边形来标记将要被分离的物体的内部，绘出另一组徒手画线、笔划或者多边形来标记背景物体。上述两组线、笔划或者多边形形成“籽晶”，并且通常用不同的颜色进行标记。可能只在关键帧上需要“籽晶”，关键帧之间的帧需要的“籽晶”从关键帧“籽晶”插入。

一旦画出需要的两组“籽晶”，则图形剪切算法就会自动分离物体。如果产生的物体掩码不够精确，则用户可以在出现问题的部分附近添加更多“籽晶”，并重复算法直到达到需要的精确度为止。本发明的一些实施例使用了一种改进的基于图形剪切的分离方法。改进的基于图形剪切的分离方法可以通过原(未改进的)图形剪切算法来理解。

原图形剪切算法被设计用于使所有可能的标签中的能量函数E最小化。这种方法定义了两个特殊终端节点，一个是源，一个是收信方。图形剪切结果是对一部分连接到源另一部分连接到收信方的所有非终端节点的一个划分。当能量函数E值最小时，可以获得最好的图形剪切。应用原图形剪切算法从背景中分离物体，将图像中的所有像素定义为集合V，每个像素被看作集合V中的一个节点。在4相邻的像素中，其中各个像素和相邻的像素形成一对，所有的像素对形成另一个集合E，其中每一个像素对作为集合E的一个节点。像素i的颜色定义为节点i的数值C(i)，并且每个i还具有一个参数x(i)，用x(i)＝0代表背景和/或x(i)＝1代表物体。首先，用户确定两组“籽晶”：一组籽晶表示物体，另一组表示背景。“籽晶”不需要置于物体轮廓上，但它们必须包含物体的代表性颜色范围或者其背景的代表性颜色范围。用户定义的“籽晶”，图像像素被划分为三个集合：一些属于物体F，一些属于物体B，还有未确定的U。这一步已为本领域人员所知。

下一步是采集集合F中的所有像素，对集合F进行聚合分析并把集合分成多个子集。计算所有子集的平均颜色并将其作为集合F的代表色，即物体的代表色。重复同样的过程来计算B的代表色。然后对未确定集合U中的每个节点I，计算与F之间的最小色差记作d(I，f)以及与B之间的最小色差记作d(i，b)。将第一个能量术语E1定义为：

E_{1} (x (i) = 0) = \{\begin{matrix} \inf & i &Element; F \\ 0 & i &Element; B \\ \frac{d (i, B)}{d (i, B) + d (i, F)} & i &Element; U \end{matrix}

E_{1} (x (i) = 1) = \{\begin{matrix} 0 & i &Element; F \\ \inf & i &Element; B \\ \frac{d (i, F)}{d (i, F) + d (i, B)} & i &Element; U \end{matrix}

对于由所有像素对组成的集合，每一节点是一对像素(i，j)，集合U中第二能量术语E₂定义为：

E_{2} (x (i), x (j)) = | x (i) - x (j) | \frac{1}{1 + | | C (i) - C (j) | |},

其中||C(i)-C(j)||是像素i和j的绝对颜色差分。由E₁和E₂得到能量函数E(x)：

E (X) = \underset{i &Element; V}{Σ} E_{1} (x (i)) + λ \underset{(i, j) &Element; E}{Σ} E_{2} (x (i), x (j)) .

原图形剪切算法找出能使能量函数E(x)最小的像素(节点)的最佳划分，结果，将物体从其背景中分离出来。如果产生的物体掩码不够精确，则可以在问题区域周围增加更多的籽晶以更新集合F和集合B。重复上述过程直到结果令人满意为止。

根据一些实施例，改进的基于图形剪切的分离方法包括一个基于图像剪切算法的双道次物体掩码生成方法。双道次物体掩码生成方法减少了需要的计算时间同时维持了其足够的准确性。在第一道次中，使用颜色基分割算法，比如“流域”算法或“均值偏移”算法将图像分割为区。分割的区域代替像素作为节点，组成集合V。每个相邻区域对代替像素对作为节点，组成集合E。每个分割的区域的平均颜色定义为节点颜色C(i)。利用上述变化，可以用同样的方式定义能量函数E₁、E₂和E(x)，以便可以利用图像剪切算法将分割的区域分离为物体或者背景。第一道次的结果是需要在第二道次中进一步精确的粗略的物体掩码。

第二道次通过应用图像剪切算法对分离前景和背景的边缘像素在像素层次上改进粗略物体掩码。边缘像素是那些置于粗略物体掩码边缘上的或靠近其边缘的像素，它们被再定义为集合U中的节点。剩余的像素将从第一道次中保存的它们的标签作为集合F中或集合B中的节点。以与前文所述的同样的方式基于集合F、集合B和集合U定义能量函数E(x)。应用基于图形剪切的分离方法1014进一步将未定义的边缘像素划分为物体或背景。

基于多边形的分离1010

使用支持GUI环境的计算机软件，用户可以通过手动定义一个封闭的多边形来生成物体掩码，其中多边形的顶点精确的分布在感知的物体轮廓上。这个过程也叫做转描。包含基于多边形的分离方法1010的物体掩码生成模块是用户辅助方式之一。

掩码合成1020

在一些情况下，可能需要多种分离方法来生成物体掩码，因为一种方法可能只在掩码的一个特定部分产生精确的结果，而另一种方法则在掩码的另一部分更有效。掩码合成1020是一个结合多种方法的结果形成精确物体掩码的过程，此过程可以通过支持GUI环境的软件实现，使得用户可以利用如AND和OR的集合逻辑运算来从一组掩码中选择其最好的掩码部分并把它们合成为一个精确的最终结果。

掩码跟踪1022

如果在关键帧处产生结合的物体掩码，则可以利用掩码跟踪1022。掩码跟踪1022预测在两个关键帧之间的帧的物体掩码。因为已知了物体从一个关键帧到另一个关键帧的精确运动，运动跟踪可以集中在掩码边缘附近的像素上。与需要两个关键帧之间相应的掩码边界控制点的大多数关键帧插入方式不同，一些方式并不需要上述的这样的对应。

对于在其边缘具有大量纹理的物体，使用具有以下五种运动模型的方法：平移、仿射运动、投影运动、二次方程运动和分段样条运动。从关键帧上的精确物体掩码开始，通过在掩码上实施形态腐蚀从掩码上移走一小块，在掩码边界内部形成一条窄带。提取窄带内的特征以备跟踪之用。带内的特征点被跟踪到下一个第二帧。基于两个帧之间对应的特征点，选择五种运动模型中的最接近的一种作为运动转换模型。通过把选择的运动模型应用于关键帧上的掩码上的所有边界点上来产生第二帧的掩码。产生的掩码通过局部变形进行改进，在局部变形中掩码的边界被分成多个等弧长的片段。每个片段内跟踪的特征用来再计算局部运动转换模型，该产生的模型随后用来改进片段的边界。对所有片段重复上述过程直到第二帧的掩码的整个边界都被改进为止。片段之间的任何不连续都需要变得流畅。一旦完成第二帧掩码，它就被用来为接下来的第三帧产生掩码并根据需要重复上述过程。

对于在其边界没有足够纹理的物体，使用另一种基于整体运动的跟踪方法。这种方法是计算关键帧中的物体掩码内的特征点的整体运动并跟踪他们朝下一个关键帧的后续帧的移动。任何一个在此过程中消失的特征点都作为一个坏特征，任何一个运动到掩码之外的特征也作为一个坏特征。在所有坏特征点都移除之后，获得一组好特征点，将这些好特征点称为为前向特征点。从第二关键帧向后到第一关键帧中重复此过程，得到另一组好特征点，被称作后向特征点。通过计算帧内的好特征点(包括前向和后向特征点)的中心来估计每个帧的整体运动。

下一步是计算物体掩码的每个节点的局部运动。物体掩码的节点可以是在基于多边形的分离模块1010中产生的控制点，或者可以使用诸如道格拉斯算法的其他方法从掩码边界计算获得。分析落入相邻节点的特征并从这些特征中获得局部的整体运动。如果某局部区域没有特征，那么将整体运动应用于该节点。对于在关键帧之间的帧，基于局部整体运动计算相应的内插系数。基于上述内插系数，在每个关键帧之间的每个帧上产生新的物体掩码。上述方法产生的结果比基于现今大多商业软件工具中实施的节点的典型线性内插产生的结果更精确。

掩码标签1024

在掩码标签1024中，用相同的颜色标签标记物体掩码，用斜条纹表示，如图5B中在场景布局示例中所定义的以散列方式示出。结果，一个图像镜头中的所有物体掩码都可以结合在一个图像序列中，该物体掩码图像序列中的相同物体的掩码以唯一的一种颜色标记。其结果在图11A-11B中示出，其中，2D源图像示例1102和图5A中使用的相同。图11A中以颜色标记的物体掩码图像序列1104，与图5B中的物体布局504的定义一样，每个物体被分配相同的颜色标签。以颜色标记的物体掩码图像序列应用于后续的物体深度图生成模块908中，用于改进物体深度图。

物体深度建模模块904

再次返回图9，物体深度建模模块904的功能之一是给物体的每个像素一个深度值。主要概念是利用真实世界尺度中的图形模型来近似物体的三维形状。可以从深度模型表面上的像素的位置到摄像机的位置计算深度值。但是，在一些特殊情况下，可以在自动模式中由场景运动线索直接计算深度值。

本发明的一些实施例的深度模型方法与其他已知的分配深度值方法的一个明显区别是，根据本发明的一些实施例的深度模型不定义物体的轮廓。例如，物体的深度模型不需要与物体的轮廓精确匹配。然而，深度模型围绕物体的轮廓是理想的情况。该区别允许只基于层定义中定义的近似物体描述实施深度建模。因此，可以独立于物体掩码生成模块902的功能实施物体深度建模模块904的功能，除了一些特殊情况，两者可以同时实施。

图12示出物体深度建模模块904的一个实施例的过程流程图，其具有与物体掩码生成模块902相似的多模式结构。如图12所示，可以采用一个自动模式1208、四个半自动模式1206、和一个手动模式1204。自动模式1208可以包括自动深度恢复1220。半自动模式1206可以包括一般深度建模1212、凹凸图深度建模1214、特征向导深度恢复1216和掩码引导深度恢复1218。手动模式1204可以包括一个固体的深度建模方法。

操作模式分析1202

操作模式分析1202可以基于物体的运动类型为其选择一个操作模式。另外，操作分析1202也判定一个物体是否为一个普通物体。可以用更常用的普通深度模型来表示普通物体。一个普通物体的例子是一个人在说话时的特写镜头，或者叫做“说话人的头部运动”，这在电影中是非常普通的。因为人类面部形状相似。可以用一个可以用于其他人面部的普通头部运动近似“说话人的头部运动”。另一个普通物体的例子是可以用来近似其他类型的汽车的汽车模型。对于普通模型的一个要求是它可以定标并可以用于动画编辑以实现其可能描述的多种物体的运动。

如果一个物体被认定为普通物体，则操作模式分析1202将该物体分配至普通深度建模1212方法。否则，操作模式分析对物体的运动类型进行分析以决定要应用的方法。如果物体属于种类1物体，则将该物体分配至自动深度恢复方法1220。如果自动深度恢复1220产生的结果不令人满意，则物体会被分配至多种半自动深度恢复方法1206之中的一种方法。

固体深度建模1210

固体深度建模1210是为那些既不能利用自动模式也不能利用半自动模式的物体选定的。基于层定义中定义的实际物体的尺度，利用建模软件工具，例如Alisa生产的Maya，为每一个物体生成深度模型。在本发明的特定实施例中，上述过程与传统过程有多处区别。比如，深度模型围绕物体，但是并不需要与物体的精确边界匹配。另外，深度模型不要求产生完整的几何细节。此外，深度模型要与场景中的物体的运动相匹配，这可以通过移动摄像机或者移动物体或者移动二者来实现。移动的质量并不重要。结果，深度的模型处理比传统的固体模型处理更简单。

在本发明的特定实施例中，使用定标方法的深度估计实际尺度和物体深度。在本发明的一些实施例中，在能够建立虚拟三维环境的软件工具中实施深度定标，其中，在虚拟三维环境中，可以安置一个虚拟摄像机从摄像机的角度在2D图像平面上捕捉环境中的图像。软件提供一个位于三维环境中，并处于摄像机视图范围内的平面，而且转换为3D图像的2D图像序列可以像虚拟布告板一样粘贴到图像平面。软件也能创建三维模型并能把它们放入到三维环境中。用户可以把模型和虚拟摄像机的运动制作成动画。

虚拟摄像机是真实摄像机成像功能的数学模型。虚拟摄像机通过一系列参数描述，这些参数包括透镜焦距、视野和附加透镜特征。可以利用软件在校准的三维虚拟环境中实现虚拟摄像机。

图15中的流程图描述了深度定标方法的一个实施例。摄像机参数1522被接受用来校准虚拟摄像机1502。为了判定物体在2D图像序列中的深度，以及物体的真实尺度，接收层定义924。比如，层定义924可能包括一个身高5英尺10英寸的人和一个长5米或者宽2米的手机。为了估测该物体的深度，在步骤1504中，在虚拟环境中建立一个至少和该物体的一个真实尺度相匹配的几何模型。操作者在步骤1506中选择一个包括该物体的2D图像序列的帧，并在步骤1508中把具有物体尺度的几何模型放置在虚拟环境中的帧中该物体所在位置。在步骤1510中，通过校准的虚拟摄像机计算出模型的一个图像。操作者可以在步骤1512中通过比较模型的尺寸与帧中物体的尺寸，检查计算出的模型图像的尺寸与物体的尺度是否匹配。如果它们的尺寸不匹配，操作者可以在步骤1516中使模型向靠近或远离虚拟摄像机的方向移动，并在步骤1510中重新计算模型的图像直到模型图像的尺寸与2D图像帧中物体的尺寸相匹配为止。模型的最终位置使操作者能够很好地估测出物体的真实位置。然后在步骤1514中用户为选定的帧计算出物体的深度。通过在步骤1517中选择下一个帧，为了在图像序列中得到足够数量的关键帧，可以重复进行上述过程，直到建立整个序列的物体深度，并在步骤1518中采集物体深度。然后整个序列的物体的深度路径在步骤1520中输出，其可用作深度建模和动画制作。如果一个分层包括多个物体，可以为每个配置到该层的物体重复在图15中所描述的过程，直到所有物体的深度路径都被估测出。

固体深度建模的最后一个步骤是为每一个帧由深度模型计算深度图。由于深度模型与精确的物体边界并不匹配，因此产生的深度图序列被称为草拟物体深度图序列或者是草拟物体深度图。草拟物体深度图可以用来作为下一个方法的普通模型，即普通深度建模1212。

普通深度建模1212

对于一个普通物体，从预订的普通模型库中为其选择出合适的普通模型，或者利用立体深度建模1210处理来创建一个合适的普通模型。普通模型经过定标并制作成动画来与物体的运动相匹配。这个过程被称作匹配运动，它可以通过自动、半自动和手动的方法来执行。在本发明的一些实施例中，通过特征匹配实现匹配运动。为库中每个普通模型预先确定一系列的特征，选择上述特征是因为这些特征容易从图像中识别和跟踪。在“说话的头”这个例子中，使用的典型特征是面部特征，例如眼睛、嘴唇、鼻子、眉毛和耳朵这些部位的角点。用户从一些关键帧中的物体图像中识别出上述特点，并在软件的协助下跟踪每个帧中的这些特征点的精确位置。位于每个帧中的精确特征点被制成普通模型的特征图，一个相应的三维转换被计算出来。利用三维转换作为一个动画制作的途径，被制作成动画的普通模型成为了普通物体的深度模型。

通过计算前面所描述的每个帧的深度模型的每个像素的深度信息，可以从深度模型中提取物体深度图。所产生的草拟物体深度图可以通过物体深度图生成模块908进行改进。

自动深度恢复1220

对于其运动是摄像机运动的结果的种类1物体，直接从像素的运动恢复深度值是可能的。由于深度中断可以通过运动的差别计算出，物体掩码可以是不需要的。典型的种类1物体通常包括用于深度恢复的前景和背景图像元素。

最简单的摄像机运动是摇动和倾斜，它们导致深度和运动之间的直接对应。对于比较复杂的摄像机运动，为了建立深度——运动对应，摄像机的运动从像素的运动推测出来的。检测摄像机的运动是从特征检测和跟踪开始的。物体特征被自动的从每个帧中筛选出并被跟踪到其相邻的帧中。上述特征基于其运动分类，其分类方法类似于在前部分所述的场景自动分析408。它们之间的一个区别可能是，场景自动分析408利用了全部运动矢量，但是深度恢复1220只利用了特征运动矢量。称作单应性的基于平面的运动模型被用于每个运动种类。分入相同运动种类中的特征具有相同的运动单应性模型。摄像机的运动从主要的单应性模型中检测出来。然后摄像机的运动由像素运动获得，并且产生的“纯”像素运动与物体深度对应。物体的每个像素深度值可以直接从这样的“纯”像素运动线索中计算出来。计算出来的深度值利用低通过滤器进行过滤以消除空间错误。可以通过时间过滤器降低计算出来的深度值的时间错误，该方法与时间分析和增强402阶段中所用的方法相似。经过空间过滤和时间过滤的深度值形成草拟深度图。

特征引导深度恢复1216

特征引导深度恢复方法1216是一种适用于种类1物体的半自动模式。通常在自动深度恢复方法1220不能产生令人满意的结果时选用该方法。但是，该方法也可以被操作模式分析1202直接选用。本方法与自动深度恢复1220方法的不同之处在于，本方法以用户的引导代替自动操作来选择和跟踪物体特征。用户的输入提高了特征运动跟踪的准确性。用户选用的典型特征可以是角点、边界线和线，但不仅限于此，用户可以容易地识别出这些特征，软件也可以可靠地跟踪这些特征。更多的精确的特征点越多，产生的运动模型越精确并且运动估测错误越少。接下来的摄像机运动估测和深度值计算与前部分所描述的方法相同。

掩码引导深度恢复1218

掩码引导深度恢复方法1218是另一种半自动模模式，它适用于种类2物体的一个子集，该子集中的物体包括很多相对较小的元素，这些元素向靠近或远离摄像机的方向运动。一群游鱼、一簇漂浮的浮游生物、一堆气泡和一群飞舞的碎片都是其典型的例子，这些都很难被建模，对其进行建模也是一项很繁重的工作。这种方法与自动深度恢复方法1220的区别在于，物体掩码被提供(步骤926的一部分)并被用作运动跟踪的引导。物体掩码可以由物体掩码生成模块902生成。利用每个帧中的物体掩码，可以对每个小元素进行可靠跟踪并测量出其尺寸。在每个帧中，每个元素都被配置一个单独的深度值，该深度值是基于对在帧间隔中物体的运动和尺寸的计算得到的。认为尺寸大的物体比尺寸小的物体更靠近摄像机，运动速度快的物体也比运动慢的物体更靠近计算机。利用低通过滤器使配置的深度值流畅以达到时间的连贯性。

凹凸图深度建模1214

凹凸图深度建模1214是另一种半自动模式，它可以为特定类型的种类1物体制造具有复杂几何细节的深度图，上述物体的例子有树木、工厂、珊瑚礁和带有气孔的岩石，这些都具有复杂的表面细节，这些细节很难被建模，且对其进行建模也是很繁重的任务。在此模式中，用户利用简单可靠的固体建模方法建立此类物体的近似几何模型，并由该模型生成初步的深度图。可以通过基于颜色和底纹计算差别深度图把几何细节添加到初步深度图中。凹凸图掩码是由物体颜色和底纹计算出来的，物体的颜色和底纹界定了物体上需要更多深度细节的区域。在本发明的一个实施例中，差别深度图是根据底纹计算出来的，因此，暗像素代表较深的凹陷，而高光区代表突起。在本发明的另一个实施例中，差别深度图是根据颜色差别计算出来的。所产生的差别深度图用来改进初步深度图以生成更详细的物体深度图。

深度图合成1222

如果一个物体由多种方法处理，就会产生多个深度图。例如，种类1物体可能包括一个其运动独立于摄像机运动的小区域。该区域的深度值不能用自动深度恢复1208或半自动深度恢复1206的方法精确的计算出来。在这种情况下，该小区域可以使用一个差别深度建模模式，比如固体深度建模1210。需要将所产生的两个深度图合成在一起，因为每幅图都只对物体的一部分是精确的。

通常，利用自动和半自动方法恢复的深度值与由操作员手动建立的深度值无法匹配。深度图合成1222的步骤之一是定标深度图以确保深度值的连续性。在定标前，通过把网格放到深度图上并识别代表深度值的突然变化的点阵上的关键点，把自动或半自动方法生成的深度图转换为一个平面。产生的网格平面可以被定标以与另一个深度模型的几何图形相匹配。所有的深度模型匹配以后，可以基于最小深度值把不同的深度图合成一个深度图。该生成的深度图被称作物体草拟深度图1226。

物体草拟掩码生成1224

物体草拟深度图1226是由固体深度建模1210生成的，通常普通深度建模1212和凹凸图深度建模1214与物体的边界是不精确匹配。计算出的物体草拟深度图的范围作为物体草拟掩码1228。标记该草拟掩码以与同一物体的精确物体掩码匹配。在本发明的一个实施例中，草拟掩码应用了与图11中描述的相同的颜色标记法。如果深度模型围绕该物体，产生的物体草拟掩码1228应该围绕同一物体的精确物体掩码。

物体深度图生成908

再次参照图9，物体深度图生成模块908的作用之一是产生精确的物体掩码深度图916。物体深度图916通过利用精确深度掩码920定义物体边界改进物体草拟深度图924计算生成。这个过程可以通过利用同一物体的精确物体掩码920“掩蔽”物体草拟深度图924生成。因为草拟和精确物体掩码使用相同的调色板，所以上述过程变成了简单的颜色匹配过程，其中一个物体草拟深度图的每个像素与相应的物体掩码都匹配。如果一个物体草拟掩码像素的颜色与一个物体精确掩码像素的颜色相匹配，则该像素的深度值就被保存下来。如果它们的颜色不匹配，则该像素从物体草拟掩码中被移走。如果精确物体掩码上的任意像素不能从物体草拟掩码上找到对应的像素，则从深度图中与其最邻近的具有有效深度值的像素复制或插入该像素的深度值。

如果只在关键帧处存在物体草拟深度图，可以通过插入的方法为所有的帧生成详细的物体深度图。所有帧都具有精确物体掩码时可以使用上述处理方法。在关键帧中，利用“掩蔽”方法直接由物体草拟深度图生成精确物体深度图。对于在关键帧之间的帧，从相邻的关键帧的草拟深度图插入一个新的草拟深度图，然后使用相同帧的精确物体掩码将其“掩蔽”，以形成新的详细的物体深度图。

包括渐隐的场景需要特殊的处理。渐隐场景是两个不同镜头之间的过渡，在此场景中第一个镜头逐渐淡出而第二个镜头逐渐淡入。在物体深度建模模块904中，分开处理上述两个场景，产生两个物体深度图序列：其中一个定义第一个场景的深度，另一个定义第二个场景的深度。对于渐隐部分，对每一帧把上述两个物体深度图渐隐为单个深度图，这样，生成的深度图就会在时间上与其之前和之后的深度图保持一致。在本法明的特定实施例中应用了两套不同的深度渐隐方案。第一组方案是逐渐增加两个深度序列的深度值，这样，在渐隐的前半部分两个深度图序列看上去都正在远离观众直到消失在远处，在渐隐序列的后半部分，深度值逐渐降低，这样，场景一直向前运动直到和第二场景的深度相匹配。第二个方案是在时间范围内线性的逐渐合并深度图。

物体再现906

回到图9，如果一个前景物体遮挡了一个背景物体，它们的物体掩码互相重叠。前景物体通常决定重叠区域的颜色信息，除非前景物体是一个透明物体或者反光物体。因此，部分背景物可能不具有直接颜色信息。背景物体的丢失部分可能在移走前景物体时在该序列的其他帧中显示出来。可以通过跟踪那个物体的精确运动、在当前图像帧和其他帧之间记录相应的特征，以及从其他帧中复制相应的像素来再现物体在图像帧中的丢失部分。利用有效的精确物体掩码，物体运动的跟踪变得更容易也更可靠。物体再现模块906用尽可能多的可恢复信息填补被遮挡物体的丢失部分。当计算物体使之用于新的立体3D图像时，上述过程减少了或完全填充了遮挡区域。对于代表图像背景的物体，如果足够数量的丢失像素能够从帧中恢复的话，上述过程将重建一个“空白板”或“部分空白板”。

物体定标910

如前面所讨论的，可能需要对物体进行定标以补偿“小型化”或与其相反的现象。物体的定标因数是根据在剧院中观众所感知到的物体大小计算的，上述观众所感知到的物体大小是利用物体深度图中的深度线索估计的。如果物体在镜头中向靠近或远离摄像机的方向运动，那么它的每个帧的定标参数是各不相同的。相同物体的精确物体掩码和物体深度图可以以相同的定标系数进行放缩。

3D图像计算912

一个物体的3D图像包括这个物体的左眼图像序列和右眼图像序列。左眼图像序列从左摄像机的视角计算，右眼图像序列从右摄像机的视角进行计算。左右摄像机是模拟真实3D摄像机功能的虚拟摄像机模型。从最简单的针孔摄像机模型到具有多焦距节点和不同的透镜特征的较复杂的模型，多种虚拟摄像机模型可供选择，3D虚拟摄像机模型包括具有特定聚焦设置的左、右摄像机，左、右摄像机之间以目间距间隔。本发明的特定实施例提供了用于在如IMAX 3D剧院等大放映地点放映的3D电影的默认3D摄像机模型，该摄像机模拟了典型的IMAX15/703D摄像机，比如IMAX 3D摄像机，它们有平行光轴和在真实坐标中2.5″的目间距。

本发明的特定实施例没有限制计算3D图像的摄像机取景位置。如果原摄像机位置作为3D图像之一，原物体图像就变成3D视角之一。从任何一个新取景位置计算的图像不可避免的包括未定义区域或者叫做遮挡区域。如果左眼图像和右眼图像都和原摄像机位置不同，那么它们都包含需要填充的遮挡区域。上述默认背景可以支持所有分层利用相同的摄像机视角来计算所有物体的3D图像，尽管不同的分层甚至不同的物体可以用不同的摄像机视角。

场景合成414

在场景合成414阶段，在图4中，基于物体深度值，合成由所有层计算得到的所有物体的左、右图像形成全帧3D图像。由于存在需要填充的遮挡区域，产生的3D图像通常是未完成的。所有层的物体深度图也被合成为在场景层描述精确深度图的全帧深度图。产生的全帧深度图是IDC类型中的一种，可以被保存为RDR。如果源图像发生颜色变化，全深度图依旧是有效的。

场景完成416

场景完成416是本发明的一些实施例的最后阶段，也可以是一个模块，比如单独处理模块。场景完成模块416的目标之一是利用合适的遮挡线索填充新产生的3D图像中仍然存在的遮挡区域。按照惯例，3D图像中的遮挡区域用一种易于辨别和跟踪的与其他颜色易于区别的颜色标记作为分离遮挡掩码。图13A示出了具有用阴影标记的遮挡区域的右眼图像1302。图14示出了场景完成模块416的流程图的一个实施例。与物体掩码生成模块或者物体深度建模模块类似，它具有多模式结构。至少接收输入图像数据序列400，具有遮挡区域的3D图像1424和运动线索424中的一个。与其他两个模块相似，操作模式分析1402为每个单独的遮挡区域选择合适的操作方法。在图14中使用了五种可操作方法，包括一个手动模式1404，三个半自动模式1406和一个自动模式1408。上述手动模式1404可以包括克隆1410。上述半自动模式1406可以包括底纹合成1412，内部绘制1414和特征引导像素恢复1416。自动模式1408可以包括像素恢复模式1418。

操作模式分析1402

通过分析其周围区域的运动和局部特征，操作模式分析1402为每个遮挡区域选择一组合适的方法。它可以通过用户引导交互操作实现。操作模式分析1402根据以下内容选择一组方法。

自动像素恢复1418方法依赖于相对于前景物体和背景物体之间的运动平稳的存在，这样，可以对在其他帧中的可视像素进行可靠的跟踪。特征引导像素恢复1416依赖于用户引导特征跟踪，因此它不如自动模式严格并可以应用于更广阔的场景范围。这两种方法都需要运动线索424。

通过合成相邻像素的特性，纹理合成1412方法和内部绘制1414方法都可以生成“伪造”像素。它们最适合那些明显没有信息的遮挡区域。每种方法都更实用于特定类型的遮挡区域。比如，底纹合成1412可能更适合被简单底纹包围的遮挡区域，而内部绘制1414方法可能更适合被更多结构纹理包围的遮挡区域。

克隆1410是一种在其他方法都不能产生满意的结果的情况下填充遮挡区域的手动方法，这种方法通常用于小面积遮挡区域。

操作模式分析1402可以为一个遮挡区域选择多种方法。在这种情况下，通过块1420中的一个表决过程评估这些结果，在块1422中对最佳结果进行时间过滤，输出是转换的3D图像序列1426。

像素恢复1418

除了在场景层的对完全帧3D图像进行处理以外，像素恢复方法1418可以使用与物体再现906相似的方法。当遮挡区域可以用其他帧显示的信息填充时使用该方法。从帧中寻找丢失的像素并把丢失帧复制到目标帧中以填充遮挡区域。搜寻的帧的数目作为时间期限，物体运动越慢，时间期限越长。分析、定标甚至扭曲匹配像素使之与运动引起的定标变化相匹配。定标因数和/或扭曲变形由一种特征跟踪方法所决定，该方法已在自动深度恢复中进行了披露。然后该定标的和/或扭曲的像素被复制到目标帧。这个过程可以为每个帧中的遮挡区域内的所有像素所重复使用。

特征引导像素恢复1416

该方法与特征引导深度恢复方法相似，除了特征跟踪可以由受过培训的用户指导外，该方法与自动像素恢复1418相似。上述特征有两种用途：(1)引导搜索匹配像素，和(2)决定定标和扭曲变形。本法发中的其他步骤可以与自动像素恢复1418方法中相同。

纹理合成1412

如果一个遮挡区域不能从其他帧中找到与之匹配的像素，则只能基于局部临近像素的特性合成丢失的像素。如复制或反映(mirroring)邻近像素这样的简单方法通常会产生不合理结果。纹理合成1412试图合成一个与给定纹理没有区别的一个新图像。纹理合成1412的详细方法为本领域技术人员所熟知。本发明所公开的是，纹理合成1412方法被用于合成遮挡区域周围的区域的纹理，合成的纹理用于填充该遮挡区域，而不会产生可视的人为现象。用户可以在遮挡区域附近选择一组纹理样品，也叫补缀。为了达到预定目的用户可以调整纹理合成算法的参数。这种方法适用于那些具有自然纹理的区域，如树木和叶子，和重复纹理。

本发明的特定实施例也包括保持合成的底纹结果在空间和时间上的连续性的方法。为了实现上述目标，定义了一个能量函数，该函数包括测量每个补缀与相邻区域之间的局部空间流畅度的项，其中与其相邻的区域包括遮挡边界周围的边缘像素。该能量函数也包括测量每个纹理补缀的当前帧与其相邻帧之间的时间流畅度的项。然后能量函数被最小化以从合成的纹理补缀中产生一个最理想的合成纹理。基于纹理合成方法的能量函数提高了合成像素在空间上和时间上的流畅度。

内部绘制1414

内部绘制是为丢失的图像区域生成合成像素的另一种可选方法。它特别适用于具有明确结构的局部区域。该方法基于来自遮挡区域的外部区域中的扩展像素信息。内部绘制1414基于对局部边缘和结构的偏微分方程分析，把外部区域的结构扩展到遮挡区域的内部。内部绘制1414中的方法可以用来填充特定图像的遮挡区域。可以用半自动的方法实现内部绘制1414以保持时间上的连续性。在该方法中，从多个帧中采集的遮挡区域被作为体积数据处理，这些遮挡区域周围的区域也如此。在GUI环境中，用户通过为每个帧绘制一些连接直线和曲线，把外部区域结构的扩展界定到遮挡区域内。重复上述过程直到该区域的所有像素都被填充完。通过把图像作为体积数据处理，保持了时间连续性。

克隆1410

大多数图形处理软件工具都支持克隆1410和刷涂的功能。使用克隆1410代替刷涂，因为刷涂与颜色相关。在克隆1410中，从图像的其他部分选择像素复制到遮挡区域。因为在渲染脚本中克隆以矢量形式保存，可以不考虑源图像数据的颜色变化重复使用此过程。

表决1420

用来填充遮挡区域的颜色信息被称作遮挡线索，可以作为RDR保存。当使用多种方法生成遮挡线索时，基于一定的标准选择出最结果。这个过程可以由操作员通过视觉上地观察完成。图13B示出了一个用填充有合适信息的遮挡区域完成右眼图像1304的一个实例。

时间过滤1422

时间过滤1422是进一步降低被填充的遮挡区域的时间不连续性的最后一步。时间过滤可以与时间分析和增强402阶段相似。应用时间过滤可以提高产生的转换的3D图像序列1426的质量。

概要

本发明的上述实施例的以上描述仅出于说明和阐述的目的，并不用于详尽描述或将本发明定义为所公开的确切形式。根据上述指导可以对上述方法进行改进和变更。选择并描述实体例是为了解释本发明的原理及其实际应用，以使本领域的其他技术人员能够使用本发明。可以对本发明进行各种改进以适应预期的特殊用途。例如，本发明的原理可以应用到任何图像转换过程，不管是从2D到3D的转换、帧频转换、图像扭曲转换，还是任何有助于图像增强的转换或者促进放映机中进一步图像增强以产生增强图像的转换。

Claims

1.一种处理至少一种原始图像数据序列的方法，所述方法包括：

接收包括图像数据序列的第一版本的源图像数据序列；

从所述图像数据序列的所述第一版本采集颜色无关的处理信息；

在第一渲染数据记录中储存第一组所述颜色无关的处理信息；

基于所述图像数据序列的所述第一版本和所述第一渲染数据记录来生成转换后的图像数据序列，包括以下至少一个：

从第一2D图像数据序列生成转换后的3D图像数据序列；

生成包括增强分辨率和图像质量的所述转换后的图像数据序列；以及

生成包括不同于所述图像数据序列的所述第一版本的帧频的所述转换后的图像数据序列；

通过检测所述源图像数据序列中的改变来更新所述第一渲染数据记录，其中更新所述第一渲染数据记录包括：

接收所述图像数据序列的最新版本；

通过比较所述图像数据序列的所述最新版本与所述图像数据序列的所述第一版本来检测所述源图像数据序列中的改变；

通过分析检测到的所述改变来确定需要更新所述渲染数据记录；以及

从所述图像数据序列的所述最新版本采集新处理信息。

2.根据权利要求1所述的方法，其中更新所述渲染数据记录进一步包括：

收集第二组颜色无关的处理信息；

通过在所述渲染数据记录中储存所述第二组颜色无关的处理信息来更新所述渲染数据记录；以及

基于所述图像数据序列的所述第一版本和更新后的所述渲染数据记录来重新生成所述转换后的图像数据序列。

3.根据权利要求1所述的方法，进一步包括：

比较所述转换后的图像数据序列与所述图像数据序列的所述第一版本，以识别所述转换后的图像数据序列与所述图像数据序列的所述第一版本之间的差异；

分析识别到的所述差异以确定不需要更新所述渲染数据记录和重新生成所述转换后的图像数据序列；以及

响应于确定不需要更新所述渲染数据记录和重新生成所述转换后的图像数据序列，储存并输出所述第一渲染数据记录。

4.根据权利要求1所述的方法，进一步包括：

渲染所述转换后的图像数据序列以用于观察和检验。

5.一种实施根据权利要求1所述的方法的系统，所述系统包括：

包括开放式平台的前端系统，适于：

容纳提供演染脚本能力的商用软件；以及

提供平行计算和分布计算中的至少一个；以及

允许人交互；以及

后端系统，适于：

管理图像序列转换处理；

执行自动功能；以及

执行中央数据库功能。

6.根据权利要求5所述的系统，其中，所述前端系统进一步包括：

工作站终端，具有图形用户界面，其中，所述工作站终端的数量是可扩展的；

前端系统网络交换机，适于与后端系统网络交换机交互；

预渲染器，适于提供所述平行计算和分布计算；以及

检验服务器，适于输出检验过的转换后的所述图像数据序列。

7.根据权利要求5所述的系统，其中，所述后端系统进一步包括：

智能拉制器服务器，适于管理图像序列转换处理；

中央数据储存器；

数据输入/输出装置，适于接收所述原始图像数据序列；

后端系统网络交换机，适于与前端系统网络交换机交互；

一个或多个渲染器组处理器，适于执行自动处理，其中，所述渲染器组处理器的数量是可扩展的；以及

用户控制界面，适于允许用户监控所述图像序列转换处理。

8.根据权利要求6所述的系统，其中，所述前端系统进一步包括用于允许检查转换后的图像序列的显示区域。