CN1422074A - 用于运动补偿内插的像素数据选择设备及其方法 - Google Patents

Abstract

用于运动补偿内插的像素数据选择设备及其方法在相邻帧/场选择像素数据。第一和第二存储部分分别存储与通过第一延迟输入帧/场而获得的第一帧/场的运动矢量相对应的第一像素数据和与通过延迟第一帧/场一次或多次而获得的第二帧/场的运动矢量相对应的第二像素数据。第一和第二像素数据提取部分从对应于候选运动矢量的第一和第二像素数据提取单像素数据。第一和第二最优像素输出部分从提取的单像素数据输出用于运动补偿的最优像素数据。通过从具有与多个运动轨迹相对应的当前块和候选块的内插帧/场的相邻帧/场选择最优像素数据，由于运动矢量的不准确估算导致的块图像假像的发生可以被减少。

Description

用于运动补偿内插的像素数据选择设备及其方法

相关申请的交叉引用

本申请要求2001年11月30日在韩国工业产权局申请号为2001-75535申请的优先权，本申请结合在上述申请中公开的内容。

技术领域

本发明涉及用于运动补偿内插的像素数据选择设备及其方法，更具体地说，涉及视频信号变换中的像素数据选择设备和方法。

背景技术

帧速率变换(FRC)涉及每秒变换帧输出的数目。帧速率通常由单位‘Hz’表示。在不同的视频信号帧速率中，要求帧速率变换。例如，当一个人想用具有30Hz帧速率的TV屏幕观看具有24Hz帧速率的电影时，电影的24Hz帧速率必须通过帧重复和3-2下拉(pull-down)方法被变换成TV屏幕的30Hz帧速率。

帧速率变换包括上变换(up-conversion)和下变换(down-conversion)，以分别增加和减少帧速率。在下变换中，通过使用低频滤波和取样，可以很容易地防止在视频信号的向下抽样期间产生的混叠(aliasing)。然而，在上变换中，一非存在的帧必须在时间轴建立，并且由于在确定输入视频信号的带宽时没有界限，所以在非存在帧的补偿期间产生的混叠是几乎不可控的。此外，空间轴上的过多的高频分量，或时间轴上的过度的移动进一步恶化了不存在帧的内插效率。

根据在内插期间算法是否使用帧中的运动信息，传统的FRC算法被分成运动补偿类型和非运动补偿类型。FRC算法的非运动补偿类型包括：帧重复方法、线性或非线性时间/空间滤波器方法、以及在局部运动区使用运动检测方法的简单运动内插方法。

帧重复方法简单重复在前的帧。换言之，帧重复方法不使用运动信息。帧重复方法是以硬件级实施的传统方法之一。然而，当一个帧变换成具有不同帧速率的其它帧时，例如运动抖动或模糊的令人讨厌的现象将发生。

为了克服上述问题，推荐使用时间/空间滤波器内插方法。在时间/空间滤波器内插方法中，时间/空间滤波器被用来滤波内插帧的相邻帧。然而，这种方法不能阻止内插期间的混叠。如果在空间轴输入图像包含过多的高频分量，在内插帧中将发生模糊。

运动内插方法是基于运动补偿内插(MCI)和线性内插的。该方法检测局部区域的运动，并通过将检测的运动应用于相邻帧的线性内插来简化运动补偿的计算的复杂性。更明确地，通过使用中值滤波器，消除从运动检测过程检测的不规则运动矢量并沿着运动轨迹平均运动矢量，运动内插方法执行内插。

图1是显示传统的帧速率变换装置一般结构的方框图，以及图2是显示在图1的传统帧速率变换装置中使用的图像分割的视图。

参考图1，传统的帧速率变换装置100包括：图像分割部分110、运动估算部分120、运动矢量改进部分130以及运动补偿内插(MCI)部分140。如图2所示，图像分割部分100将图像分成变化区和不变区。变化区又被分为覆盖区和未覆盖区，静止背景区和运动对象区，用于更有效的运动估算。

运动估算部分120以像素或块为单位估算运动。块的运动矢量由通常用于视频编码的块匹配算法产生。基于假设：在一确定大小的块内的像素以恒定速率被移动，即像素没有增大或减小的被移动，块匹配算法获得每一块的运动矢量。为了获得更接近于真实图像的运动矢量，执行以像素为单位的运动估算。对于以像素为单位的运动估算，首先，基于块内的像素具有一致的运动这一假设，获得块单元的运动矢量。然后，根据块单元的运动矢量，获得块的每个像素的运动矢量。

然而，当没有获得合适的运动矢量时，视觉效应将比完全不使用运动信息时要差。因此，运动矢量改进部分130改进从运动估算部分120获得的不合适的运动矢量。MCI部分140获得用于内插图像的在前和随后帧的前向的运动矢量。然后，通过使用估算的运动矢量，根据图像分割部分110划分的区，识别用于内插的图像。换言之，通过使用相邻帧(例如要被内插的当前帧的确定图像的在前和随后帧)之间的运动信息，MCI部分140补偿运动。

有时，由于估算的运动矢量不同于真实的运动矢量，从运动估算获得了不准确的结果。当存在通过MCI部分140的不准确运动估算时，块图像假像(blocking artifacts)发生在内插图像中。因此，例如重叠块运动补偿(OBMC)方法的后处理方法被用于去除块图像假像。然而OBMC方法仅当像素数据的图像噪声不规则地改变块的边缘时有效。在例如去交织和帧/场(field)速率变换(FRC)的格式变换中，在内插块中的像素数据与相邻块的像素数据完全不同的块图像假像中，例如OBMC方法的后处理方法是没有效果的。

发明内容

本发明是用于克服相关技术的上述和其它问题，因此，本发明的目的是提供一种用于运动补偿内插的装置和方法，用于根据多个运动轨迹选择用于内插的块的像素数据。

本发明附加目的和优点将部分地在随后的说明中阐明，并且从说明书中可以很明显地看出，或者可以从本发明的实施中得到。

根据本发明的实施例，上述和其它目的可以通过提供用于运动补偿内插的像素数据选择装置来实现。所述装置包括：第一存储部分和第二存储部分，分别存储第一像素数据和第二像素数据，第一像素数据对应于通过延迟输入帧/场获得的第一帧/场的运动矢量，第二像素数据对应于通过延迟第一帧/场一次或多次而获得的第二帧/场的运动矢量；第一像素数据提取部分和第二像素数据提取部分，分别从对应于每个候选运动矢量的第一和第二像素数据提取单像素数据；以及第一最优像素数据输出部分和第二最优像素输出部分，从提取的单像素数据输出用于运动补偿内插的最优像素数据。

候选运动矢量是当前块和相邻块的运动矢量或运动估算期间提取的运动矢量。候选运动矢量重新使用运动分析期间检测的全局运动矢量和从在与随后帧/场的块相同位置的在前帧/场的块中检测的运动矢量。

在通过候选运动矢量的中值滤波和/或平均值滤波而获得的第二候选运动矢量的基础上，第一和第二像素数据提取部分提取单像素数据。该装置包括输出第一帧/场的第一延迟部分以及输出通过第一延迟第一帧/场获得的第二帧/场的第二延迟部分。

第一和第二像素数据提取部分选择性地输出与零(0)候选运动矢量的块相关的单像素数据。通过用候选运动矢量估算运动轨迹，第一和第二像素数据提取部分提取单像素数据。

第一和第二最优像素输出部分是将单像素数据的中值输出作为最优像素数据的中值滤波器。第一和第二最优像素数据输出部分将最接近于单像素数据平均值的单像素数据确定为用于运动补偿内插的最优像素数据，并输出该确定的用于运动补偿内插的像素数据。

第二存储部分存储对应于第二场的运动矢量的第二像素数据，第二场通过第二延迟第一场获得并具有与对应于存储在第一存储部分的第一像素数据的第一场相同的特性。该装置包括输出第一场的第一延迟部分，该第一场通过第一延迟输入场获得，以及输出第二场的第二延迟部分，该第二场通过第二延迟第一场获得。

根据本发明的另一个实施例，通过提供一种选择用于运动补偿内插的像素数据的方法，可以获得上述和其它目的。所述方法包括提取与来自输入第一帧/场的第一像素数据和输入第二帧/场的第二像素数据的一个或多个候选运动矢量相对应的单像素数据，以及从提取的单像素数据输出用于运动补偿内插的最优像素数据。

每个候选运动矢量是当前块和相邻于内插帧/场的当前块的相邻块的运动矢量，或是运动估算期间提取的运动矢量。候选运动矢量是在运动分析期间检测的全局运动矢量和从位于与随后帧/场的块相同位置的在前帧/场的块检测的运动矢量。

像素数据的提取包括：以通过中值滤波和/或平均值滤波候选运动矢量而获得的第二候选运动矢量为基础提取单像素数据。单像素数据的提取包括输出通过延迟输入的帧一次获得的第一帧/场，以及输出通过延迟第一帧/场一次而获得的第二帧/场。

像素数据的提取包括选择性地输出用于运动补偿内插的、与零(0)候选运动的块相关的像素数据，以及通过估算对应于候选运动矢量的运动轨迹提取单像素数据。

最优像素数据的输出包括提取单像素数据的中值，以及将最接近于单像素数据平均值的单像素数据确定为用于运动补偿内插的最优像素数据，并输出该确定的用于运动补偿内插的像素数据。

像素数据的提取包括从第一像素数据和第二像素数据提取候选运动矢量的像素数据，第一像素数据是第一场的，第二像素数据是相邻于第一场并且具有与第一场相同特性的第二场的。

根据对应于当前块和候选块的多个运动轨迹，通过从相邻帧/场选择像素数据以内插内插帧/场的当前块，由于运动矢量的不准确估算而引起的块图像假像的发生可以被避免。同样，由于在候选运动矢量，所有可用的运动轨迹都被获得而无需额外处理，所以用于运动补偿内插的硬件得到简化。

附图说明

通过结合附图，从对本发明的优选实施例的如下描述中，本发明的这些和其他目的和优点将会变得更明显和更容易理解：

图1是传统的帧速率变换装置的方框图；

图2是显示在图1的传统的帧速率变换装置中使用的图像分割的视图；

图3是显示根据本发明的实施例用于运动补偿内插的像素数据选择设备的方框图；

图4是显示在图3的运动补偿内插中当前块和内插帧/场的候选块的运动矢量的视图；

图5是显示在图3的运动补偿内插中当前块和要被内插的候选块的每个运动轨迹的视图；

图6是显示图3的像素数据选择设备的运动补偿内插部分的方框图；

图7是显示根据本发明的另一个实施例的用于运动补偿内插以获得具有与当前场相同特性的相邻场的像素数据选择设备的方框图；

图8是解释图3至7的运动补偿内插的选择像素数据的方法的流程图。

具体实施方式

现在将详细描述本发明的当前优选实施例，其实例在附图中说明，贯穿实施例使用相同的参考数字表示类似的单元。通过参考附图，为了解释本发明，在下面将描述实施例。

现在将参考附图说明本发明的实施例。图3是根据本发明的实施例的用于运动补偿内插的像素数据选择设备的方框图。

参考图3，像素数据选择设备包括：第一延迟器300、第二延迟器310、第一存储部分320、第一像素数据提取部分330、第一最优像素数据输出部分340、第二存储部分350、第二像素数据提取部分360、第二最优像素数据输出部分370以及运动补偿内插(MCI)部分380。

第一延迟器300首先延迟输入帧/场一次，并输出所得的第一帧/场。第二延迟器310延迟从第一延迟器300输出的第一帧/场并输出所得的第二帧/场。在隔行扫描方法中，如果第一场代表奇数场，则第二场代表偶数场，反之亦然。

根据隔行扫描方法，由于奇数和偶数场被交替地输入，第一延迟器300输出从输入场被延迟的第一场。例如，如果输入场是奇数场，第一延迟器300输出偶数第一场。同样地，如果输入场是偶数场，第一延迟器300输出奇数第一场。第二延迟器310输出从第一场进一步被延迟的第二场。结果，第二场成为与从第一场输出的偶数第一场或奇数第一场相对应的奇数第二场或偶数第二场。

第一存储部分320存储与从输入帧/场被延迟的第一帧/场的运动矢量相对应的第一像素数据。第一像素数据提取部分330提取与存储的来自第一帧/场的第一像素数据的候选运动矢量相对应的单像素数据。第一像素数据提取部分330还可以提取与通过中值滤波或平均值滤波确定的候选运动矢量而获得的第二候选运动矢量相对应的单像素数据。

此处，确定的候选运动矢量可以是与当前块和相邻于要被内插的当前帧/场的当前块的相邻块相对应的运动矢量，或多个在运动估算期间提取的运动矢量。可替换地，在运动分析估算期间检测的全局运动矢量和从在与随后帧/场的块相同位置的在前帧/场的块中检测到的局部运动矢量也可以被再次用作候选运动矢量。

图4是显示当前块和候选块的运动矢量的视图。运动矢量在运动补偿内插中被用于构建要被内插的当前块。

当运动估算不准确时，在内插的图像中发生块图像假像。为了消除块图像假像，在运动补偿内插中必须考虑当前块和候选块的运动轨迹。

参考图4，要被内插的内插帧/场的当前块由V₀表示，以及候选块由V_i(i＝1，2，3，4，5，6，7，8)表示。倘若块内的运动是平滑的，如果当前块的运动矢量的估算是不准确的，则不准确的运动矢量被候选块准确的估算运动矢量所代替。即，当前块的不准确的运动矢量由具有从候选块获得的运动矢量中的绝对差值(SAD)的最小和的候选块的运动矢量代替。

在该实施例中，通过使用当前块和候选块的运动矢量，对应于运动矢量的像素数据被提取(图4)。然而，对应于运动矢量的像素数据也可以通过使用第二候选运动矢量提取。

图5是显示与当前块和要通过使用当前块和候选块的估算运动矢量被内插的内插帧/场的候选块相对应的运动轨迹的视图。

如图5所示，在相邻帧中，F_n-1是第(n-1)个帧，F_n是第(n)个帧，F_n+1是第(n+1)个帧，F_n-1和F_n+1分别是在先帧和随后帧，而F_n对应于要被内插的内插帧。

通常，对于每个块，进行运动补偿使用一个运动轨迹。如果估算的运动矢量之一是不准确的，要内插的块产生块图像假像。因此，为了减少估算误差，运动矢量必须基于以更密的模式分布的运动矢量场通过运动轨迹的估算被获得。

然而，为了获得密集分布的运动矢量场，它要求复杂的计算条件和硬件装置。因此，代替使用附加过程以增加施加到要被内插的当前块的多个运动轨迹，已经建立并在输入帧/场被使用、已经使用运动矢量的简单结构将在本

实施例中使用。

如图3所示，第一最优像素数据输出部分340从第一像素数据提取部分330提取的单像素数据输出最优像素数据。第一最优像素数据输出部分340可以使用在多个单像素数据中选择中值的中值滤波器。因此，第一最优像素数据输出部分340使用中值滤波器选择中值，由此考虑到多个块中平滑运动轨迹，输出用于运动补偿内插的最优像素数据。

第一最优像素数据输出部分340将最接近于多个单像素数据的平均值的单像素数据确定为最优像素数据，并输出该确定的像素数据。如果在运动补偿过程中存在复杂的运动而非平移(线性)运动，代替使用由块匹配算法检测的复杂的运动矢量，第一最优像素数据输出部分340将不使用运动信息的像素数据确定为最优像素数据，并输出该确定的像素数据。因此，具有‘零(0)’运动矢量的像素数据可以被选择作为最优像素数据。

如上所述相同的方法，第二帧/场的最优像素数据也被选择。第二延迟器310延迟从第一延迟器300输出的第一帧/场，并输出所得的第二帧/场。

第二存储部分350存储与从第一帧/场延迟的第二帧/场的运动矢量相对应的第二像素数据。第二像素数据提取部分360提取与存储的来自第二帧/场的第二像素数据的各个候选运动矢量相对应的单像素数据。第二像素数据提取部分360输出具有零(0)候选运动矢量的块的提取像素数据。第二像素数据提取部分360还可以通过用候选运动矢量估算运动轨迹来提取单像素数据。

第二最优像素数据输出部分370从由第二像素数据提取部分360提取的单像素数据输出最优像素数据。第二最优像素数据输出部分370可以使用输出多个单像素数据的中值的中值滤波器。通过使用中值滤波器选择平均值，考虑块中的平滑运动轨迹，第二最优像素数据输出部分370输出补偿像素数据。此外，第二最优像素数据输出部分370可以将最接近于多个单像素数据平均值的单像素数据确定为补偿像素数据，并输出该确定的补偿像素数据。

图6是具体显示根据本发明的另一实施例的运动补偿内插部分的方框图。参考图6，MCI部分380包括：运动补偿像素数据生成部分381、时间平均值像素数据生成部分382、全局运动补偿部分383、零运动补偿部分385、局部运动补偿部分384，以及运动矢量类型选择器386。

MCI部分380接收来自第一存储部分320、以及对应于第一帧/场的第一最优像素数据输出部分340、第二存储部分350、和对应于第二帧/场的第二最优像素数据输出部分370的输出，然后根据运动块的类型通过不同的补偿过程获得内插场或帧。

MCI部分380根据关于从像素选择设备输出的运动矢量的信息，通过自适应地应用运动补偿方法，执行运动补偿。运动补偿像素数据产生部分381通过使用中值滤波在先和随后帧的像素数据获得的中值以及平均值产生运动补偿像素数据。运动补偿像素数据产生部分381接收来自第一和第二存储部分320、350以及第一和第二最优像素数据输出部分340、370的输出，并产生运动补偿像素数据。运动补偿像素数据产生部分381通过公式1产生运动补偿像素数据：

公式1

P_mc(x)＝MEDIAN{l_med(x)，r_med(x)，(f_n-1(x)+f_n(x))/2}，其中P_mc(x)是运动补偿像素数据，l_med(x)是在前帧/场的候选块的像素数据的中值，r_med(x)是随后帧/场的候选块的像素数据的中值，x和n分别是空间场和时间场指数。

当不存在运动时，时间平均像素数据产生部分382基于时间平均而非运动矢量产生时间平均像素数据。时间平均像素数据产生部分382接收来自第一和第二存储部分320、350以及第一和第二最优像素数据输出部分340、370的输出，并通过下式确定时间平均像素数据：

公式2

P_avg(x)＝MEDIAN{f_n-1(x)+f_n(x)，(l_med+(x)，l_med)/2}，其中P_avg(x)是时间平均像素数据。

例如，当运动矢量是准确的，MCI部分380使用运动矢量执行运动补偿。在这种情况下，运动补偿像素数据是必需的。当不存在运动时，代替使用运动矢量，MCI部分380仅使用沿着时间轴的平均值执行运动补偿，而非使用运动矢量。在这种情况下，时间平均像素数据是必需的。

同样，尽管存在运动，估算的运动矢量不准确的情况是存在的。在这种情况下，MCI部分380根据估算的运动矢量的准确度软转换到运动补偿像素数据和时间平均像素数据之间的中值。

全局运动补偿部分383通过使用运动矢量执行运动补偿。全局运动补偿部分383使用由像素数据选择设备选择的、用于运动补偿的最优像素数据。‘全局运动’意味着整个场景(图像)以恒定速度在一个方向移动。在全局运动的情况下，通过应用普通MCI方法，可以获得实质上相同的补偿效果。

如果当前块是全局运动类型，两个相邻帧之间的内插帧f_i(x)由下式确定：

公式3 $f_i\left(x\right)=\frac{1}{2}[f_{n-1}(x+\stackrel{\→}{V})+f_n(x-\stackrel{\→}{V})],$ 其中V是当前块的运动矢量，以及f_i、f_n-1和f_n分别是内插帧、连续输入的在前和随后帧。

其间，上式(公式3)的右边可以由运动补偿像素数据产生部分381的输出(P_mc(x))替换。在这种情况下，全局运动补偿部分383的输出是上式(公式3)的左边(f_i(x))。

对于没有运动的块，零运动补偿部分385不是通过使用运动矢量而是通过仅获得时间轴上的平均值而执行补偿。零运动补偿部分385接收由像素数据选择设备选择的像素数据，并通过使用像素数据的时间平均值来执行补偿。

如果当前块是零运动类型块，两个相邻帧之间的内插帧(f_i(x))的当前块由下式确定：

公式4 $f_i\left(x\right)=\frac{1}{2}[f_{n-1}\left(x\right)+f_n\left(x\right)].$

上式(公式4)的右边可以由时间平均像素数据产生部分382的输出(P_avg(x))替换，并且在这种情况下，零运动补偿部分385的输出是f_i(x)。

局部运动补偿部分384执行关于局部运动的补偿。局部运动不是通过运动物体或块匹配的运动被估算的。在这种情况下，根据估算的运动矢量的准确度，局部运动补偿部分384软转换到运动补偿像素数据和时间平均像素数据之间的中值。由于从局部运动检测的运动矢量有时不准确，因此当使用普通MCI方法时，块图像假像可能发生。自适应的MCI方法被使用以减少块图像假像。

如果当前块是局部运动类型块，用于内插的像素数据由下式确定：

公式5

f_i(x)＝M·P_avg+(1-M)·P_mc，0≤M≤1

然后，通过使用相邻块的运动矢量，运动补偿像素数据从在前帧和当前帧被确定，并且各个像素数据的中值被获得。中值l_med、r_med由下式获得：

公式6

l_med(x)＝MEDIAN{l_i}，

r_med(x)＝MEDIAN{r_i}，i＝0，1，…，N.

通过上述方程式(公式6)，在当前块的运动矢量不准确的情况下，获得运动矢量的平滑效应。

此外，对于l_med和r_med的l_i和r_i由下式获得：

公式7 $l_i\left(x\right)=f_{n-1}(x+{\stackrel{\→}{V}}_i),$

$r_i\left(x\right)=f_n(x-{\stackrel{\→}{V}}_i),i=\mathrm{0,1},...,N,$ 其中 是当前块和候选块的运动矢量。

同样，运动分析部分(未示出)计算候选块的运动矢量的相关性，由此确定软转换值M。确定的软转换值M在运动补偿像素数据和非运动补偿像素数据之间使用。软转换值M由下式确定：

公式8 $M=\underset{i=0}{\overset{8}{\mathrm{\Σ}}}|{\stackrel{\→}{V}}_i-{\stackrel{\→}{V}}_0|.$

如果当前块是局部运动类型块，局部运动补偿部分384根据软转换值(M)确定要被内插的P_mc和P_avg之间的像素数据。

当运动矢量类型由运动分析部分(未示出)确定时，运动矢量类型选择器386选择全局运动补偿部分383的像素数据之一，局部运动补偿部分384和零运动补偿部分385每个对应于输入的运动矢量类型。因此，MCI部分385根据选择的运动矢量类型，通过选择性地应用补偿方法，自适应地执行补偿。

图7是用于在具有相同的同一特性的相邻场运动补偿的像素数据选择设备的方框图。

参考图7，像素数据选择设备包括：第一延迟器300、第二延迟器310、第一存储部分320、第一像素数据提取部分330、第一最优像素数据输出部分340、第二存储部分350、第二像素数据提取部分360、第二最优像素数据输出部分370以及运动补偿内插部分380。

图7是用于在具有相同的同一特性的相邻场运动补偿内插的像素数据选择设备的方框图。此处，关于与图3中的同样的单元的描述被省略。图3和图7之间的不同在于：图3显示了像素选择设备，选择用于任意两个相邻帧/场之间的运动补偿的像素数据；图7显示了像素数据选择设备，选择用于在两个具有相同的同一特性的相邻场之间的运动补偿的像素数据。

此处，‘两个具有相同的同一特性的相邻场’是指如果从输入场被延迟一次的第一场是奇数场，则从第一场第二次被延迟的第二场是奇数场。同样，如果第一场是偶数场，第二场变成偶数场。

第一延迟器300第一延迟该输入场，并输出第一场作为奇数第一场。然后，第二延迟器310第二次延迟奇数第一场，并输出第二场作为奇数第二场。

第二延迟器310具有延迟器-a 312和延迟器-b 314。延迟器-a 312延迟奇数第一场，并输出偶数第二场，而延迟器-b 314再次延迟来自延迟器-a 312的偶数场，并输出奇数第二场。这样，第一和第二像素数据提取部分330、360从具有相同的同一特性的相邻场，即，从奇数第一场和奇数第二场，或从偶数第一场和偶数第二场，提取用于运动补偿的像素数据。

图8是显示根据本发明的另一实施例选择用于运动补偿内插的像素数据的方法的流程图。

参考图8，在操作S800，输入帧/场被第一和第二次延迟，分别作为第一和第二帧/场被输出。第一延迟器300延迟输入帧/场，并输出所得的场，即第一帧/场。第二延迟器310第二延迟从第一延迟器300输出的第一帧/场，并输出第二帧/场。在隔行扫描方法中，如果第一场是奇数场，第二场将是对应于奇数第一场的偶数场，并且如果第一场是偶数场，第二场将是对应于偶数第一场的奇数场。

在操作S810，第一和第二存储部分320、350存储第一像素数据和第二像素数据。第一像素数据对应于由第一延迟器300从输入帧/场第一延迟的第一帧/场的运动矢量，而第二像素数据对应于由第二延迟器310从第一帧/场第二延迟的第二帧/场的运动矢量。当运动估算不准确时，在内插的图像中发生块图像假像。为了减少块图像假像的的发生，在运动补偿中通过考虑当前块和候选块的运动轨迹，确定像素数据。

在操作S820，对应于候选运动矢量的单像素数据从第一和第二像素数据中提取。此处，候选运动矢量可以是当前块和候选块的运动矢量，或可以是在运动估算期间提取的多个候选运动矢量。从运动分析检测的全局运动矢量和从与随后(当前)帧/场的块在相同位置的在前帧/场检测到的局部运动矢量也可以再次使用作为候选运动矢量。

当单像素数据在操作S820被提取时，在操作S830，用于运动补偿的最优像素数据从提取的单像素数据被输出。此处，用于运动补偿的最优像素数据可以通过使用输出多个单像素数据的中值像素数据的中值滤波器被输出。通过选择经由中值滤波器的中值像素数据，考虑平滑运动轨迹，用于运动补偿的最优像素数据可以被输出。同样，最接近多个单像素数据的平均值的单像素数据可以被确定和输出作为用于运动补偿的最优像素数据。

尽管一个方法从具有同一特性的相邻场选择用于运动补偿的像素数据，另一方法从两个相邻帧/场选择用于运动补偿的像素数据，这两个方法是基于相同的原理。因此，通过操作S810至S830，用于运动补偿的像素数据可以从同一特性的场被选择。

根据用于运动补偿内插的像素数据选择设备及其方法，考虑到多个运动轨迹，通过从相邻帧/场选择像素数据以内插当前块，可以减少由于运动矢量的估算不准确而产生的块图像假像。同样，由于考虑所有关于当前块和候选块的运动轨迹，而不需要额外处理，用于运动补偿内插的硬件被简化。同样，通过分析运动矢量场和将各个块的运动分类成‘全局’、‘局部’和‘零’块，根据分类的块，可以自适应地执行处理，因此，由于运动估算的不准确而导致的块图像假像的发生可以减少。

尽管本发明的几个优选实施例已经给出并描述，但本领场的技术人员应该理解，在不脱离本发明的原理和实质以及由所附权利要求限定的范围的情况下，可以对其进行各种修改。

Claims (45)

1.一种用于运动补偿内插的像素数据选择设备，包括：

第一存储部分和第二存储部分，分别用于存储第一像素数据和第二像素数据，第一像素数据对应于通过延迟输入帧/场而获得的第一帧/场的第一运动矢量，第二像素数据对应于通过延迟第一帧/场一次或多次而获得的第二帧/场的第二运动矢量；

第一像素数据提取部分和第二像素数据提取部分，分别从对应于多个候选运动矢量的第一和第二像素数据提取单像素数据；以及

第一最优像素数据输出部分和第二最优像素输出部分，从提取的单像素数据输出用于运动补偿内插的最优像素数据。

2.如权利要求1所述的像素数据选择设备，还包括运动补偿内插部分，从输出像素数据形成内插像素数据，其中候选运动矢量是与由内插的像素数据形成的当前块和相邻于当前块的相邻块相对应的运动矢量。

3.如权利要求1所述的像素数据选择设备，其中候选运动矢量是在输入帧/场的运动估算期间提取的和用于形成输入帧/场的运动矢量。

4.如权利要求1所述的像素数据选择设备，其中候选运动矢量是在输入帧/场的运动估算期间检测的全局运动矢量和从在与第二帧/场的对应块相同位置的第一帧/场的块检测到的局部运动矢量。

5.如权利要求1所述的像素数据选择设备，其中第一和第二像素数据提取部分以通过中值滤波和/或平均值滤波候选运动矢量而获得的第二候选运动矢量为基础，提取单像素数据。

6.如权利要求1所述的像素数据选择设备，还包括：

第一延迟部分，输出通过延迟输入帧/场的第一帧/场；以及

第二延迟部分，输出通过延迟第一帧/场的第二帧/场。

7.如权利要求1所述的像素数据选择设备，其中第一和第二像素数据提取部分选择性地输出具有零候选运动矢量的块的像素数据作为单像素数据。

8.如权利要求1所述的像素数据选择设备，其中第一和第二像素数据提取部分通过估算对应于各个候选运动矢量的运动轨迹，提取单像素数据。

9.如权利要求1所述的像素数据选择设备，其中第一和第二最优像素输出部分每个包括输出单像素数据的中值的中值滤波器。

10.如权利要求1所述的像素数据选择设备，其中第一和第二最优像素输出部分将最接近于单像素数据的平均值的单像素数据确定为最优像素数据，并输出确定的用于运动补偿的像素数据。

11.如权利要求1所述的像素数据选择设备，还包括一延迟器，延迟第一场以产生具有与第一场相同特性的第二场。

12.如权利要求11所述的像素数据选择设备，其中延迟器包括：

第一延迟部分，输出通过第一延迟输入场获得的第一场；以及

第二延迟部分，输出通过第二延迟第一场获得的第二场。

13.一种选择用于运动补偿内插的像素数据的方法，包括：

从输入第一帧/场的第一像素数据和输入第二帧/场的第二像素数据提取对应于一个或多个候选运动矢量的单像素数据；以及

从提取的单像素数据输出用于运动补偿内插的最优像素数据，以形成内插当前块的内插像素数据。

14.如权利要求13所述的像素数据选择方法，还包括：

从对应于当前块和相邻于当前块的相邻块的运动矢量选择候选运动矢量。

15.如权利要求13所述的像素数据选择方法，还包括：

从在输入第一帧/场和输入第二帧/场的运动估算期间提取的运动矢量中选择候选运动矢量。

16.如权利要求13所述的像素数据选择方法，还包括：

从在输入第一帧/场和输入第二帧/场的运动分析期间检测的全局运动矢量以及从位于与输入第二帧/场的块相同位置的输入第一帧/场的块中检测到的运动矢量中选择候选运动矢量。

17.如权利要求13所述的像素数据选择方法，其中像素数据的提取包括：

以通过中值滤波和/或平均值滤波候选运动矢量获得的第二候选运动矢量为基础，提取单像素数据。

18.如权利要求13所述的像素数据选择方法，还包括：

输出通过延迟输入帧一次获得的第一帧/场；以及

输出通过延迟第一帧/场至少一次获得的第二帧/场。

19.如权利要求13所述的像素数据选择方法，其中像素数据提取包括：

选择性地输出具有零候选运动矢量的块的像素数据作为最优像素数据。

20.如权利要求13所述的像素数据选择方法，其中像素数据提取包括：

通过估算对应于候选运动矢量的运动轨迹，产生单像素数据。

21.如权利要求13所述的像素数据选择方法，其中最优像素数据的输出包括：

产生单像素数据的中值。

22.如权利要求13所述的像素数据选择方法，其中最优像素数据的输出包括：

将最接近于单像素数据的平均值的单像素数据确定为用于运动补偿的最优像素数据；以及

输出确定的像素数据，以形成当前块。

23.如权利要求13所述的像素数据选择方法，其中单像素数据的提取包括：

从第一像素数据和第二像素数据提取对应于各个候选运动矢量的单像素数据，输入第二场具有与输入第一场的相同的特性。

24.如权利要求23所述的像素数据选择方法，其中单像素数据的提取包括：

输出从输入场被延迟一次的输入第一场；以及

输出从输入第一场被延迟至少一次的输入第二场。

25.如权利要求13所述的像素数据选择方法，其中单像素数据的提取包括：

产生从对应于各个候选运动矢量的第一像素数据提取的第一单像素数据，以及产生从对应于各个候选运动矢量的第二像素数据提取的第二单像素数据。

26.如权利要求25所述的像素数据选择方法，其中最优像素数据的输出包括：

产生第一单像素数据的第一中值以及第二单像素数据的第二中值；以及

产生具有第一中值、第二中值、以及第一和第二像素数据的平均值的组合的第三中值的运动补偿像素数据，以形成内插像素数据。

27.如权利要求26所述的像素数据选择方法，其中运动补偿像素数据的输出包括：

产生具有第一单像素数据和第二单像素数据的平均值的时间平均像素数据，以形成内插像素数据。

28.如权利要求27所述的像素数据选择方法，其中运动补偿像素数据的输出包括：

通过以预定的比例组合运动补偿像素数据和时间平均像素数据，形成内插像素数据。

29.如权利要求25所述的像素数据选择方法，其中最优像素数据的输出包括：

当候选运动矢量代表在对应于当前块的输入第一和第二帧/场没有运动时，产生第一像素数据和第二像素数据的平均值，以形成内插块。

30.一种像素数据选择设备，用于运动补偿内插，以形成内插块，包括：

像素数据选择器，接收具有对应于内插块的多个候选运动矢量的候选块的第一帧/场和第二帧/场，并选择对应于第一帧/场和第二帧/场的候选块的像素数据；以及

运动补偿内插部分，形成响应于选择的像素数据的内插块。

31.如权利要求30所述的设备，其中像素数据选择器产生与内插块和相邻于内插块的相邻块相对应的候选运动矢量。

32.如权利要求31所述的设备，其中相邻块的数目至少为4。

33.如权利要求30所述的设备，其中像素数据选择器产生与具有候选运动矢量中绝对差值(SAD)的最小和的预定块相对应的像素数据作为选择的像素数据。

34.如权利要求30所述的设备，其中像素数据选择器确定位于对应于候选运动矢量的第一帧/场和第二帧/场中的候选块。

35.如权利要求30所述的设备，其中候选运动矢量之一经过内插块。

36.如权利要求30所述的设备，其中像素数据选择器确定与第一帧/场和第二帧/场相应块相关的多个运动轨迹，以选择像素数据。

37.如权利要求30所述的设备，其中第一帧/场和第二帧/场分别是偶数帧/场和奇数帧/场。

38.如权利要求30所述的设备，其中候选运动矢量是用于构造第一帧/场和第二帧/场的运动矢量。

39.如权利要求30所述的设备，其中内插块是在时间轴上安排于第一场和第二场之间。

40.如权利要求30所述的设备，其中像素数据选择器包括产生候选块的中值作为选择的像素数据的中值滤波器。

41.如权利要求30所述的设备，其中像素数据包括从第一帧/场的第一块选择的第一像素数据和从第二帧/场的第二块选择的第二像素数据，并且运动补偿内插部分产生像素数据以形成响应于第一像素数据和第二像素数据的内插块。

42.如权利要求41所述的设备，其中像素数据选择器产生第一像素数据的第一中值和第二像素数据的第二中值，并且运动补偿内插部分产生具有第一中值、第二中值和第一和第二像素数据的平均值的组合的中值的运动补偿像素数据，以形成内插块。

43.如权利要求42所述的设备，其中运动补偿内插部分产生具有第一像素数据和第二像素数据的平均值的时间平均像素数据，以形成内插块。

44.如权利要求43所述的设备，其中运动补偿内插部分产生运动补偿像素数据和时间平均像素数据，并形成具有运动补偿像素数据的第一部分和时间平均像素数据的第二部分的内插块。

45.如权利要求44所述的设备，其中候选运动矢量包括全局运动部分、局部运动部分以及零运动部分之一，并且运动补偿内插部分响应于候选运动矢量的全局运动部分、局部运动部分和零运动部分，形成具有以预定比例的运动补偿像素数据和时间平均像素数据的组合的内插块。

Images