CN1306649A - 把具有第一分辨率的编码图像直接解码为具有第二分辨率的解码图像 - Google Patents

Abstract

图像处理电路(110)包括一个存储器,用于接收第一形式的图像的编码部分。处理器把这种解码部分直接解码(114)为第二形式的图像解码部分,第二形式(138)具有不同于第一形式的分辨率。因此,这种图像处理电路可以直接把编码的高分辨率形式图像解码为解码的低分辨率形式的图像。或者,图像处理电路包括一个处理器,它可以修改与第一形式的图像部分相关的运动向量(134)。然后处理器识别被修改的运动向量指向的第二图像的部分,第二图像具有不同于第一图像的第一形式的图像的分辨率。下一步,处理器从第二图像的被识别的部分产生第一图像的第二形式部分,第一图像的第二形式具有与第二图像相同的分辨率。

Description

把具有第一分辨率的编码图像直接解码 为具有第二分辨率的解码图像

发明领域

本发明通常涉及图像处理电路和技术，具体涉及把具有某种分辨率的图像的编码形式直接解码为具有另一种分辨率的解码形式的电路和方法。例如，这种电路可以直接把编码的具有高分辨率(下文中为“hi-res”)形式的图像下变换为解码的具有低分辨率(下文中为“lo-res”)形式的图像而不需要把图像解码为具有高分辨率形式这一中间步骤。

发明背景

有时需要改变电子图像的分辨率，例如象电视机和计算机显示器这样的电子显示设备都有一个最大显示分辨率，因此，如果图像的分辨率比设备的最大显示分辨率高，那么我们就希望把该图像下变换使其分辨率小于或等于设备的最大显示分辨率。为清楚起见，在下文中把这种情况描述为把图像的高分辨率形式下变换为该图像的低分辨率形式。

图1为某个图像的高分辨率形式10的像素图和低分辨率形式12的像素图。高分辨率形式10为n个像素宽t个像素高，因此它具有n×t个像素P_0,0-P_t,n，但是如果显示设备(未显示)的最大显示分辨率为[n×g]个像素宽[t×h]个像素高，其中g和t比1小，那么为了进行显示，人们通常要把高分辨率形式10转换为低分辨率形式12，这种低分辨率形式的分辨率要小于或等于显示设备的最大显示分辨率。因此，为了把图像以最高可能的分辨率在显示设备上进行显示，低分辨率形式12具有(n×g)×(t×h)个像素P_0,0-P_{(t×h)×(n×g)}。例如，假定高分辨率形式10为n=1920个像素宽t=1088个像素高。再进一步假定显示设备的最大分辨率为n×g=720个像素宽t×h=544个像素高，那么低分辨率形式12的最大水平分辨率为高分辨率形式10的水平分辨率的g=3/8，而低分辨率形式12的最大垂直分辨率为高分辨率形式10的垂直分辨率的h=1/2。

参照图2，如图1的形式10此类的许多形式的图像在被传送或存储前都是使用传统的基于块的压缩方案进行编码的，因此对这些图像形式而言，上面结合图1所讨论的分辨率的降低通常是逐块实现的。特别地，图2描述了上面结合图1所讨论的块的级别为g=3/8和h=1/2的下变换的一个例子。高分辨率形式10(图1)的图像块14为8个像素宽8个像素高，低分辨率形式12(图1)的图像块16为8×3/8=3个像素宽8×1/2=4个像素高。块16中的像素通常称之为二次取样像素，它们均匀分布在块16内并且跨越相邻的低分辨率形式12的块(未显示)的边界。例如参照块16，二次取样像素P_0.2到P_0.1的距离与它到紧挨在块16右边的块(未显示)中的P_0.0的距离相同，同样二次取样像素P_3.0到P_2.0的距离与它到紧挨在块16底部的块(未显示)中的P_0.0的距离相同。

不幸的是，由于把图像的编码高分辨率形式解码为该图像的解码低分辨率形式的算法效率低，因此执行这些算法的图像处理电路通常需要比较高性能的处理器和大容量的存储器，从而也比较昂贵。

例如，美国专利No.5,262,845描述了一种算法，这种算法可以在全分辨率的规模上对图像的编码高分辨率形式进行解码，然后再把这种解码高分辨率形式下变换为解码低分辨率形式。由于只显示解码低分辨率形式，因此产生图像的解码高分辨率形式是不必要和不经济的一步。

而且，如上所述对编码视频图像进行解码和下变换时，运动补偿算法效率通常也不高，这种低效率会进一步增加对处理能力和存储器的要求，从而也会进一步增加图像处理电路的成本。例如，美国专利No.5,262,845描述了如下的一种技术。首先，从一参考帧的高分辨率形式以传统方式生成该参考帧的低分辨率形式，并把它存储在参考帧缓冲器中。下一步，把带有指向参考帧宏块的运动向量的被运动补偿的帧的编码高分辨率形式在其全分辨率规模上进行解码。但是所产生的与参考帧的高分辨率形式相关的运动向量却与该参考帧的低分辨率形式不相兼容。因此处理电路需要把参考帧低分辨率形式的被指向的宏块上变换为与运动向量相兼容的高分辨率的宏块。处理电路使用插值法执行这种上变换。下一步，处理电路把余项与高分辨率参考宏块合并产生运动补偿帧的解码宏块。然后在把整个运动补偿帧解码为该运动补偿帧的解码高分辨率形式后，处理电路再把解码高分辨率形式下变换为解码低分辨率形式。因此，由于参考宏块被下变换以进行存储和显示，然后上变换以进行运动补偿，因此这项技术效率很低。

不幸的是，执行上述下变换和运动补偿技术的图像处理电路对于很多用户来说太昂贵。例如，随着高清晰度电视(HDTV)的到来，估计很多用户负担不起用HDTV接收器/显示器来代替其普通电视机。因此，把HDTV视频帧下变换为可以在普通电视机上显示的标准分辨率的视频帧的HDTV解码器预计有巨大的用户市场。但是，如果这些解码器包括了上述比较昂贵的图像处理电路的话，那么很多买不起HDTV接收器的用户也买不起HDTV解码器。

常规图像压缩技术的概述

为了帮助读者更容易地理解上面讨论的以及下面将要在发明说明书中讨论的概念，下面首先回顾一下基本的传统图像压缩技术。

把较高分辨率的图像在较低带宽的频道上进行电子传输，或把这样的图像电存储在较小的存储空间内，通常都需要把代表图像的数字数据压缩。这种图像压缩一般都涉及到减少代表图像所必须的数据位的数目。例如，要压缩高清晰度电视(HDTV)的视频图像使其可以在现有的电视频道上传输。如果不压缩，HDTV视频图像所需要的传输频道的带宽要比现有的电视频道的带宽宽得多。而且，要把数据通信和传输的时间减少到可以接受的水平，在图像通过因特网发送之前也需要对其进行压缩。还有，为了增加CD-ROM或服务器的图像存储容量，在把图像存储在它们上面之前也可以对图像进行压缩。

参照图3A至图9，图中讨论了流行的基于块的运动图像专家组(MPEG)压缩标准的要素，它包括MPEG-1和MPEG-2。为了描述的目的，此处基于使用MPEG 4∶2∶0格式压缩以Y,C_B,C_R颜色空间代表的视频图像而进行讨论。但是，所讨论的概念也可以应用于其它的MPEG格式，还可以应用于其它颜色空间所代表的图像，另外还可以应用于其它的基于块的压缩标准，例如联合图像专家组(JPEG)标准，它通常用于压缩静止的图像。另外，尽管为了简洁而省略了MPEG标准的很多细节和Y,C_B,C_R颜色空间，但是这些细节众所周知并且大量手边的参考材料都有所披露。

仍然参照图3A至图9,MPEG标准通常用于压缩临时的图像序列，为了此处描述的目的为视频帧，例如电视广播中所发现的。每个视频帧被分为称之为宏块的分区，每个分区包括一个或多个像素。图3A为一16×16像素的宏块30，它具有256个像素32(未按比例画)。在MPEG标准中，宏块全是16×16像素，尽管其它压缩标准可能使用具有其它维数的宏块。在原始的视频帧也就是压缩前的帧中，每个像素32都有各自的亮度值Y和各自的一对色差值，也就是色度差值，C_B和C_R。

参照图3A-3D，在对帧进行压缩前，从原始帧的原始值Y,C_B和C_R中生成将要用于压缩的数字亮度(Y)和色度差(C_B和C_R)也就是压缩前的值。在MPEG4∶2∶0格式中，压缩前的值Y与原始的Y值相同。因此，每个像素32只能保持其原始亮度值Y。但是，为了减少要压缩的数据的数量，MPEG4∶2∶0格式对于每个包括4个像素32的组34只允许一个压缩前的C_B值和C_R值。每一个压缩前的C_B和C_R值分别从各个组34中的四个像素32的原始C_B和C_R值中推导出。例如压缩前的C_B值可能等于各个组34中四个像素32的原始C_B值的平均数。因此，参照图3B至3D，产生的用于宏块30的压缩前的Y,C_B和C_R值按如下方式排列：一个压缩前的Y值的16×16矩阵36(对于每个像素32，压缩前的Y值等于其原始Y值)，一个压缩前的C_B值的8×8矩阵38(对于每个包括四个像素32的组34而言，压缩前的C_B值等于推导出的C_B值)，一个压缩前的C_R值的8×8矩阵40(对于每个包括四个像素32的组34而言，压缩前的C_R值等于推导出的C_R值)。矩阵36,38和40通常称之为数值“块”。另外，由于很方便执行像素值8×8的块的压缩转换而不是16×16的块的压缩转换，压缩前的Y值的块36被细分为四个8×8的块42a至42d，它们分别对应宏块30中的8×8的像素块A至D。因此，参照图3A至3D，对于每个宏块30产生六个8×8的压缩前像素数据块：四个压缩前的Y值的8×8的块42a至42d，一个压缩前的C_B值的8×8的块38，一个压缩前的C_R值的8×8的块40。

图4是一个MPEG压缩器50的方块图，压缩器50更普遍地是称之为编码器。通常，编码器50把一个帧或一个帧序列的压缩前数据转换为代表相同帧或帧序列的编码数据，该编码数据比压缩前的数据具有少得多的数据位。为了执行这种转换，编码器50减少或删除压缩前数据中的冗余并使用有效的转换和编码技术对余下的数据进行重新格式化。

更清楚一些来讲，编码器50包括一个帧重新排序缓冲器52，它接收一个序列的一个或多个帧的压缩前数据并以一种适于编码的序列对这些帧重新排序。因此，被重新排序的序列通常与产生并将进行显示帧的序列不同。编码器50把每个存储的帧分配给各个称之为图片组(GOP)的组，并把每个帧标记为内部帧(Ⅰ)或非内部帧(non-Ⅰ)。例如，对于总共15个帧而言，每个GOP可能包括三个Ⅰ帧和12个non-Ⅰ帧。编码器50总是不参考另一个帧就对一个Ⅰ帧进行编码，但是能够并且通常确实是参考一个或多个GOP中的帧对一个non-Ⅰ帧进行编码。但是，编码器50不参考不同GOP中的帧对non-Ⅰ帧进行编码。

参照图4和图5，在对一个Ⅰ帧进行编码的过程中，代表Ⅰ帧的压缩前的Y,C_B和C_R值的8×8的块(图3B至3D)通过加法器54到达离散余弦变换器(DCT)56，它负责把这些数值块变换为各个包括1个DC(零频率)变换值和63个AC(非零频率)变换值的8×8的块。图5为一个亮度变换值Y-DCT_(0,0)a-Y-DCT_(7,7)a的块57，它对应于图3B的块36中的压缩前的亮度像素值Y_(0,0)a-Y_(7,7)a。因此，块57的亮度变换值Y-DCT的数目与块36的亮度像素值Y的数目相同。同样地，色度变换值C_B-DCT和C_R-DCT的块(未显示)对应于块38和40中的色度像素值。另外，压缩前的Y,C_B和C_R值在通过加法器54时不需要与任何其它值相加，因为当编码器50对Ⅰ帧进行编码时不需要加法器54。但是，如下面将要讨论的，当编码器50对non-Ⅰ帧进行编码时，通常需要加法器54。

参照图4和图6，量化器和Z字形扫描器58限制每个从DCT56来的变换值到其最大值，并提供各个路径60和62之上的被量化的AC和DC变换值。图6为Z字形扫描模式63的例子，这种模式量化器和Z字形扫描器58可以实现。更明确一些，量化器和扫描器58按指示的顺序读取变换块(例如图5中的变换块57)变换值。这样量化器和扫描器58首先读取“0”位置的变换值，然后读取“1”位置的变换值，第三读取“2”位置的变换值，这样一直到最后它读取“63”位置的变换值。量化器和Z字形扫描器58以这种Z字形方式读取变换值以提高众所周知的编码效率。当然，依赖于编码技术和所编码的图像类型，量化器和Z字形扫描器58也可以执行其它扫描模式。

再参照图4，预测编码器64预测性地对DC变换值进行编码，变长编码器66把量化的AC变换值和量化并被预测性地编码的DC变换值转换为变长码，如霍夫曼码。这些码形成了代表被编码的Ⅰ帧的像素值的编码数据。然后，发送缓冲器68临时存储这些码以把编码数据同步发送到解码器(下面将结合图8进行讨论)。或者，如果要存储而不是发送编码数据，编码器66可以把变长码直接提供给如CD-ROM一类的存储介质。

如果Ⅰ帧将被用作GOP中一个或更多个non-Ⅰ帧的参考(它经常被用作)，那么由于下面的原因，编码器50利用与解码器使用的解码技术相类似或相同的解码技术对编码的Ⅰ帧进行解码而产生一个相对应的参考帧(图8)。当参照Ⅰ帧对non-Ⅰ帧进行解码时解码器没有其它选择，只能使用被解码的Ⅰ帧作为参考帧。因为MPEG编码和解码是有损耗的，由于AC和DC变换值的量化而丢失一些信息，因此被解码的Ⅰ帧的像素值与原始的Ⅰ帧的压缩前像素值相比通常会有所不同。因此，在编码过程中使用压缩前的Ⅰ帧作为参考帧可能会导致被解码的non-Ⅰ帧中额外的非自然信号，因为用于解码的参考帧(被解码的Ⅰ帧)不同于用于编码的参考帧(压缩前的Ⅰ帧)。

因此，为了产生与用于解码器的参考帧相类似或相同的用于编码器的参考帧，编码器50包括一个解量化器和反Z字形扫描器70和一个反DCT72，它们被设计用于模仿解码器的解量化器和扫描器与反DCT72(图8)。解量化器和反向扫描器70首先执行量化器58所执行的Z字形扫描路径的反过程，以使得DCT值被正确定位于各个被解码的变换块中。下一步，解量化器和反向扫描器70对量化的DCT值进行解量化，反向DCT72把这些解量化的DCT值变换为相对应的被解码的Y,C_B和C_R像素值的8×8的块，它们一起组成参考帧。但是由于量化过程中会发生损耗，所以这些被解码的像素值中的一些或全部可能都会与其相应的压缩前的像素值不同，因此参考帧也会如上面所描述的那样与其对应的压缩前的帧不同。然后，被解码的像素值通过加法器74(如下所述当从non-Ⅰ帧产生参考帧时使用)到达参考帧缓冲器76，它用于存储参考帧。

在对non-Ⅰ帧进行编码的过程中，编码器50以至少两种方式对每个non-Ⅰ帧的宏块进行最初编码：以上面所讨论的用于Ⅰ帧的方式，和利用下面进行讨论的运动预测。然后，编码器50保存并发送具有最少位的所得到的编码。这种技术确保了使用最少位对non-Ⅰ帧的宏块进行编码。

至于运动预测，如果前面的帧或后续的帧中的物体的相对位置发生了改变，就会表现出运动。例如，一匹马如果它飞驰过屏幕就表现出相对运动。或者如果照相机跟随着马，那么背景就会表现出关于马的相对运动。通常物体在其中出现的每个后续帧都至少包含一些与前面帧相同像素的宏块。但是后续帧中这种相匹配的宏块通常占据分别与前面的帧中它们所占据的位置不同的位置。或者，包括静止物体(如树)或背景帧(如天空)一部分的宏块在每个后续帧中可能占据相同的帧位置，因此表现出“零运动”。在任一种情况下，不是对每个帧进行独立编码，通常是使用更少的数据位告诉解码器“帧1(non-Ⅰ帧)的宏块R和Z与分别位于帧0(参考帧)的S和T位置的宏块相同”。这种“陈述”被作为运动向量进行编码。对于比较快的运动物体，运动向量的位置值比较大。相反，对于静止或比较慢速运动的物体或背景帧，运动向量的位置值就比较小或等于零。

图7描述了上面讨论的与non-Ⅰ帧1和参考帧0相关的运动向量的概念。运动向量MV_R表示帧1位置R处的宏块可以在参考帧0的位置S处找到。MV_R包括三部分：第一个部分，此处为0，表明在该帧(此处为帧0)中可以找到相匹配的宏块。另两个部分X_R和Y_R一起组成一个二维的位置值，以此表明相匹配的宏块位于位于帧0的哪个位置。因此，在该例子中，因为帧0的位置S具有与帧1的位置R相同的X-Y坐标，X_R=Y_R=0。相反，位置T处的宏块与位置Z处的宏块相匹配，位置Z处的宏块的X-Y坐标与位置T处X-Y坐标不同。因此，X_Z和Y_Z代表了与位置Z相关的位置T。例如，假定位置T相对于位置Z为向左10个像素(负X方向)向下7个像素(负Y方向)，因此MV_Z=(0,-10,-7)。尽管还可以使用很多其它的运动向量方案，但它们都是基于相同的总体概念。例如，位置R可以进行双向编码。也就是说，位置R可以有两个运动向量指向不同帧中各个相匹配的位置，这些不同帧一个在帧1之前，一个在帧1之后。在解码过程中，这些相匹配位置的像素值被平均或合并以计算该位置处的像素值。

再参照图4，现在详细讨论运动预测。在对non-Ⅰ帧进行编码的过程中，运动预测器78把non-Ⅰ帧中宏块的压缩前的Y值与参考Ⅰ帧中各个宏块的解码的Y值相比较(在运动预测中不使用C_B和C_R值)并识别相匹配的宏块。对于non-Ⅰ帧中每个可以在Ⅰ参考帧中找到其匹配值的宏块来说，运动预测器78产生一个可以识别参考帧以及参考帧中相匹配的宏块的位置的运动向量。因此，如下面结合图8所讨论的那样，在对这些non-Ⅰ帧的被运动编码的宏块进行解码的过程中，解码器使用运动向量从参考帧中相匹配的宏块获取被运动编码的宏块的像素值。预测编码器64对运动向量进行预测性编码，编码器66产生被编码的运动向量的各个编码并把它们提供给发送缓冲器68。

另外，由于non-Ⅰ帧中的宏块和参考Ⅰ帧中相匹配的宏块通常类似但并不相同，编码器50把这些差异和运动向量一起进行编码以使得解码器能够对其进行说明。更明确地讲，运动预测器78把参考帧中相匹配的宏块的被解码的Y值提供给加法器54，加法器54逐像素有效地从non-Ⅰ帧中相匹配宏块的压缩前的Y值中减去这些Y值。除了余项块的被量化的DC变换值通过线60直接连接在编码器66上并因此而不能由预测性编码器64进行预测性编码外，这些被称之为余项的差异以8×8的块的方式排列并且由DCT56，量化器和扫描器58，编码器56以及缓冲器68以与上面讨论相类似的方式进行处理。

另外，有可能使用non-Ⅰ帧作为参考帧。当使用non-Ⅰ帧作为参考帧时，量化器和Z字形扫描器58产生的被量化的余项分别由解量化器和反向扫描器70和反向DCT进行解量化，重新排序和反向变换，这样根据上面讨论的同样的原因这种non-Ⅰ参考帧将与解码器所使用的参考帧完全相同。运动预测器78为加法器74提供用于产生余项的参考帧的被解码的Y值。加法器74把从反向DCT72来的各个余项加到参考帧的这些被解码的Y值上生成non-Ⅰ参考帧的各个Y值。然后参考帧缓冲器76把参考non-Ⅰ帧与参考Ⅰ帧一起存储以在对后续non-Ⅰ帧进行运动编码时使用。

尽管电路58和70被描述为分别执行Z字形和反Z字形扫描，但是在其它实施例中，另一种电路可以执行Z字形扫描而反Z字形扫描就可以省略。例如，编码器66可以执行Z字形扫描，电路58只能执行量化。因为Z字形扫描处于参考帧循环之外，因此解量化器70就可以省略反Z字形扫描。这就节省了处理能力和处理时间。

仍然参照图4，编码器50还包括一个速率控制器80以确保发送缓冲器68以固定的速率发送被编码的帧数据而不发生溢出或空闲也就是下溢。如果这两种情况中任一个发生，就会把错误引入被编码的数据流中。例如，如果缓冲器68溢出，就会丢失从编码器66来的数据。因此，速率控制器80使用反馈，根据发送缓冲器68的饱和程度来调整量化器/扫描器58所使用的量化比例因数。更明确地讲，缓冲器68越满，控制器80使比例因数越大，编码器66产生越少的数据位。反之，缓冲器68越空，控制器80使比例因数越小，编码器66产生越多的数据位。这种连续性的调整确保了缓冲器68既不溢出也不下溢。

图8为传统的MPEG解压缩器82的框图，解压缩器82通常称之为解码器，它能够对由图4的编码器60编码的帧进行解码。

参照图8和图9，对于Ⅰ帧和未进行运动预测的non-Ⅰ帧，变长解码器84对从编码器50接收到的变长码进行解码。预测解码器86对被预测性解码的DC变换值进行解码，解量化器和反向Z字形扫描器87，它们类似或等同于图4中解量化器和反向Z字形扫描器70，用于对被解码的AC和DC变换值进行解量化和重新排序。或者，另一种诸如解码器84之类的电路可以执行反向Z字形扫描。反向DCT88，它类似或等同于图4中的反向DCT72，用于把被量化的变换值变换为像素值。例如，图9为亮度反向变换值Y-IDCT，也就是被解码的亮度像素值的块89，它们分别对应于图5的块57中亮度变换值Y-DCT和图3B的块42a中的压缩前的亮度像素值Y_B。但是因为由编码器50(图4)和解码器82分别执行的量化和解量化所造成的损耗，块89中被解码的像素值与块42a中的各个像素值通常有所不同。

仍然参照图8，从反向DCT88来的被解码的像素值通过加法器90(它在如下所述对non-Ⅰ帧被运动预测的宏块进行解码的过程中使用)进入帧重新排序缓冲器92，重新排序缓冲器92用于存储被解码的帧并把它们以正确的顺序排列以在视频显示设备94上进行显示。如果一个被解码的帧被用作参考帧，它也被存储在参考帧缓冲器96中。

对于被运动预测的non-Ⅰ帧的宏块，解码器84，解量化器和反向扫描器87，反向DCT88如上面讨论的那样为Ⅰ帧变换值处理余项变换值。预测解码器86对运动向量进行解码，运动内插器98把从运动向量指向的参考帧宏块来的像素值提供给加法器90。加法器90把这些参考像素值加到余项的像素值上以产生被解码的宏块的像素值，并把这些被解码的像素值提供给帧重新排序缓冲器92。如果解码器50(图4)使用被解码的non-Ⅰ帧作为参考帧，那么这种被解码的non-Ⅰ帧就被存储在参考帧缓冲器96中。

参照图4和图8，尽管编码器50和解码器82被描述为包括多功能电路块，但是它们也可以在硬件，软件或两者的结合体中实现。例如，编码器50和解码器82通常由执行电路块的各个功能的各自的一个或多个处理器来实现。

关于图4和图8的MPEG编码器50和MPEG解码器82以及通用的MPEG标准的更详细的讨论在很多出版物，如通过引用结合在本发明中的Peter D.Symes，McGraw-Hill,1998的“视频压缩”中都可以找到。另外，还有其它一些人们所熟知的基于块的压缩技术，用于对视频和静止图像进行编码和解码。

发明综述

在本发明的一个方面中，图像处理电路包括一个处理器，它可以接收图像的第一形式的编码部分。处理器把编码部分直接解码为图像的第二形式的解码部分，第二形式所具有的分辨率不同于第一形式的分辨率。

因此，这种图像处理电路可以把图像的编码的高分辨率形式直接解码为该图像的解码的低分辨率形式。也就是，这种电路除去了在下变换为低分辨率形式之前把编码的高分辨率形式在其全分辨率水平上进行解码这一低效率的步骤。因此，这样的图像处理电路通常比以前的技术中对图像进行解码和下变换的电路更快，更简单，更便宜。

在本发明的另一方面，图像处理电路包括一个处理器，它可以修改与第一图像的第一形式的一部分相关的运动向量。然后，处理器识别所修改的运动向量指向的第二图像的一部分，第二图像具有与第一图像的第一形式不同的分辨率。下一步，处理器从所识别的第二图像部分中产生第一图像的第二形式的一部分，第一图像的第二形式具有与第二图像相同的分辨率。

因此，这种图像处理电路可以利用参考帧的一种形式对被运动预测的宏块进行解码，其中参考帧具有与用来对宏块进行编码的参考帧的形式不同的分辨率。因此，这种图像处理电路通常比以前技术的对被运动预测的图像进行转换的电路更快，更简单，更便宜。

附图的简要说明

图1为图像的高分辨率形式和低分辨率形式的像素图。

图2分别为图1的高分辨率形式和低分辨率形式宏块的像素图。

图3A为图像中传统的像素宏块图。

图3B为传统的压缩前亮度值的块图，其中压缩前的亮度值分别对应于图3A宏块中的像素。

图3C和图3D为传统的压缩前色度值的块图，其中压缩前的色度值分别对应于图3A宏块中的像素组。

图4为传统的MPEG编码器的方块图。

图5为图4的编码器产生的亮度变换值的块，这些亮度变换值分别对应于图3B的压缩前的亮度像素值。

图6为传统的Z字形采样模式，它可以由图4中的量化器和Z字形扫描器来执行。

图7描述了传统的运动向量的概念。

图8为传统的MPEG解码器的框图。

图9为图8的解码器产生的反向变换值的块，这些反向变换值分别对应于图5亮度变换值和图3B的压缩前的亮度像素值。

图10为根据本发明的一个实施例的MPEG解码器的方块图。

图11显示了根据本发明的一个实施例用于把像素值的高分辨率非交错块转换为像素值的低分辨率非交错块的技术。

图12显示了根据本发明的一个实施例用于把像素值的高分辨率交错块转换为像素值的低分辨率交错块的技术。

图13A显示了根据本发明的一个实施例覆盖图11的高分辨率块的图11的低分辨率块。

图13B显示了根据本发明的另一个实施例覆盖图11的高分辨率块的图11的低分辨率块。

图14显示了根据本发明的一个实施例覆盖图12的高分辨率块的图12的低分辨率块。

图15A显示了根据本发明的一个实施例用于把图11的高分辨率块直接下变换为图11的低分辨率块的一个变换值的子组。

图15B显示了根据本发明的一个实施例用于把图12的高分辨率块直接下变换为图12的低分辨率块的一个变换值的子组。

图16显示了用一系列一维IDCT计算结果来代替与图15A中变换值的子组相关的一个二维IDCT计算结果。

图17显示了根据本发明的一个实施例的运动解码技术。

图10是根据本发明的一个实施例的图像解码器和处理电路110的框图。电路110包括：连接缓冲器112，它负责接收和存储被编码的图像的各个高分辨率形式；变长解码器114，它用于从连接缓冲器112接收被编码的图像数据并把代表图像的数据块从伴随图像数据的控制数据中分离出来；状态控制器116，用于接收控制数据并在线118，120和122上分别提供以下信号：表明被编码的图像是交错还是非交错的信号，表明当前被解码的块是否被运动预测的信号，以及被解码的运动向量；变换值选择和反向Z字形电路124从每个图像块中选择所需要的变换值并根据所希望的反向Z字形模式对其进行扫描，或者另一种如解码器114的电路可以执行反向Z字形扫描；反向量化器126用于对所选择的变换值进行解量化；反向DCT和二次取样器电路128直接把被解量化的图像的高分辨率形式的变换值转换为相同图像的低分辨率形式的像素值。

对于被编码的Ⅰ块，从电路128二次取样获得的像素值通过加法器130到达图像缓冲器132，图像缓冲器132用于存储被解码的图像的低分辨率形式。

对于被运动预测的块，运动向量比例电路134把从状态控制器116来的运动向量按比例定为与存储在缓冲器132中图像的低分辨率形式相同的分辨率。运动补偿电路136确定存储在缓冲器132中并且被定了比例的运动向量所指向的相匹配的宏块中像素的值。响应线120上的信号，开关137把从电路136来的这些像素值连接到加法器130，加法器130负责把它们分别加到从电路128来的进行了解码和二次取样的余项上。这样得到的和就是被解码的宏块的像素值，它们存储在帧缓冲器132中。帧缓冲器132以显示顺序存储被解码的图像的低分辨率形式并把这种低分辨率形式提供给HDTV接收器/显示器138。

图11描述了根据本发明的一个实施例，由图10的IDCT和二次取样器电路128对非交错图像执行的分辨率降低。尽管电路128直接把非交错图像被编码的高分辨率形式转换为该图像被解码的低分辨率形式，但是为清楚起见，图11描述了在像素范围内这种分辨率的降低。更明确一步来讲，由图像的高分辨率形式来的像素P的一个8×8的块140被下变换为被二次取样的像素S的4×3的块142。因此，在该例中，块142的水平分辨率为块140水平分辨率的3/8，而块142的垂直分辨率为块140的垂直分辨率的1/2。块142中被二次取样的像素S₀₀的值由块140的子块144中像素P的值的加权组合来确定。也就是，S₀₀为w₀₀P₀₀,w₀₁P₀₁,w₀₂P₀₃,w₀₃P₀₃,w₁₀P₁₀,w₁₁P₁₁,w₁₂P₁₂和w₁₃P₁₃的组合，其中w₀₀-w₁₃分别是P₀₀-P₁₃各自的权重值。权重w的计算将在下面结合图13a和图13b进行讨论。同样地，被二次取样的像素S₀₁的值由子块146中像素P的值的加权组合来确定，被二次取样的像素S₀₂的值由子块148中像素P的值的加权组合来确定，依此类推。另外，尽管块140，142和子块144，146和148显示具有特定的维数，但是它们在本发明的其它实施例中也可以有其它维数。

图12描述了根据本发明的一个实施例，由图10的IDCT和二次取样器电路128对交错图像执行的分辨率降低。尽管电路128直接把交错图像编码的高分辨率形式转换为该图像解码的低分辨率形式，但是为清楚起见图12描述了在像素范围内这种分辨率的降低。更明确一步来讲，由图像的高分辨率形式来的像素P的一个8×8的块150被下变换为被二次取样的像素S的4×3的块152。因此，在该例中，块152的水平分辨率为块150水平分辨率的3/8，而块152的垂直分辨率为块150的垂直分辨率的1/2。块152中被二次取样的像素S₀₀的值由块150的子块154中像素P的值的加权组合来确定。也就是，S₀₀为w₀₀P₀₀,w₀₁P₀₁,w₀₂P₀₂,w₀₃P₀₃,w₂₀P₂₀,w₂₁P₂₁,w₂₂P₂₂和w₂₃P₂₃的组合，其中w₀₀-w₂₃分别是P₀₀-P₂₃各自的权重值。同样地，被二次取样的像素S₀₁的值由子块156中像素P的值的加权组合来确定，被二次取样的像素S₀₂的值由子块158中像素P的值的加权组合来确定，依此类推。另外，尽管块150,152和子块154,156和158显示具有特定的维数，但是它们在本发明的其它实施例中也可以有其它维数。

图13A显示了根据本发明一个实施例，与图11的高分辨率块140相重叠的图11的低分辨率块142。块边界160是相互重叠的块140和142共同的边界，被二次取样的像素S被标记为Xs，像素P被标记为圆点。被二次取样的像素S相互间以水平距离Dsh和垂直距离Dsv间隔开，这些像素既在块边界160内也穿越块边界160。类似地，像素P相互间以水平距离Dph和垂直距离Dpv间隔开。在所描述的例子中，Dsh=8/3(Dph),Dsv=2(Dpv)。因为S₀₀与像素P₀₁和P₁₁水平对齐，因此在水平方向离像素P₀₁和P₁₁最近，因此这些像素的值在确定S₀₀的值方面比水平距离更远的像素P₀₀，P₁₀,P₀₂,P₁₂,P₀₃和P₁₃的权重要更重。另外，因为S₀₀在像素P的0行(也就是P₀₀,P₀₁,P₀₂和P₀₃)和1行(也就是P₁₀,P₁₁,P₁₂和P₁₃)的正中间,因此所有0行和1行的像素P在垂直方向的权重都相等。例如，在一个实施例中，像素P₀₀,P₀₂,P₀₃,P₁₀,P₁₂和P₁₃的权重为w=0，这样它们对S₀₀的值就没有贡献，把P₀₁和P₁₁的值取平均就得到S₀₀的值。用类似的方式利用子块146和148(图11)中像素P的权重值也可以分别计算出S₀₁和S₀₂的值。但是因为被二次取样的像素S₀₀,S₀₁和S₀₂分别位于它们各自的子块144,146和148不同的水平位置，因此用于计算S₀₀,S₀₁和S₀₂的值的各组权重w也各不相同。剩下的被二次取样的像素S的值以类似的方式计算。

图13B显示了根据本发明另一个实施例，与图11的高分辨率块140相重叠的图11的低分辨率块142。图13A的重叠与图13B的重叠的主要区别在于：在图13B的重叠中，被二次取样的像素S与其图13A中的位置相比在水平方向发生了向左的偏移。由于这种偏移，像素权重w不同于图13A中所使用的权重。但是除了权重的区别以外，被二次取样的像素S的值是与上面描述的结合图13A相类似的方式计算出来的。

图14显示了根据本发明一个实施例，与图12的高分辨率块150相重叠的图12的低分辨率块152。被二次取样的像素S与图13a中的像素位置相同，因此它的水平权重与图13a中像素的水平权重也完全相同。但是因为像素P与被二次取样的像素S交错，像素S并不在子块154的0行(也就是P₀₀,P₀₁,P₀₂和P₀₃)和1行(也就是P₂₀,P₂₁,P₂₂和P₂₃)的正中间。因此0行的像素P比1行的各个像素P的权重要重。例如，在一个实施例中，像素P₀₀,P₀₂,P₀₃,P₂₀,P₂₂和P₂₃的权重为w=0，这样它们对S₀₀的值就没有贡献，而P₀₁的值的权重比P₂₁的值的权重要更重。例如，S₀₀的值可以在P₀₁和P₀₂的值之间通过直线插值法也就是双线性过滤计算出来。

上面结合图13A,13B和14所描述的技术可以用于计算被二次取样的像素S的亮度和色度值。

参照图10和图15A，变长解码器114把代表被编码的非交错图像的变换值(显示为圆点)的块160提供给选择和反向Z字形电路124。电路124只选择和使用变换值的子块162以生成图11,13A和13B的非交错的二次取样的像素S的值。因为电路110把接收到的图像解码并下变换为较低分辨率形式，因此发明人发现在反向DCT和二次取样电路128对被编码的宏块进行解码和下变换之前，很多编码信息，也就是很多变换值都可以删除。删除这种信息可以极大地降低解码器110对编码图像进行解码和信息转换所需要的处理能力和处理时间。更明确一些讲，图像的低分辨率形式缺少高分辨率形式所具有的细节，而图像块的细节由相应的变换块中更高频率的变换值所代表。这些更高频率的变换值位于变换块的右下象限中。相反，更低频率的变换值位于左上象限，此象限相当于子块162。因此，利用子块162中的16个更低频率的变换值，抛弃块160中余下的48个更高频率的变换值，电路128并没有在把更高频率的变换值并入解码和下变换算法中浪费处理能力和处理时间。因为这些被抛弃的更高频率的变换值对被解码的图像的低分辨率形式没有太大或根本就没有贡献，另外抛弃这些变换值对低分辨率形式的质量没太大或根本没有影响。

图15B为代表被编码的交错图像的变换值的块164和变换值的子块166，电路124使用该子块166产生图12和14的交错的被二次取样的像素S的值。发明人发现子块166中的变换值可以给出很好的解码和下变换结果。因为子块166不在矩阵式中，因此可以修改电路124的反向Z字形扫描模式使电路124可以把子块166的变换值扫描为如4×4的矩阵式。

参照图10-15B，下面讨论解码器110所执行的解码和二次取样算法的数学细节。为举例的目的，这些算法在亮度值Y(图5)的非交错块57的子块上运算的情况下进行讨论，其中子块与图15B的子块162完全相同。

对于一个变换值f(u,v)的8×8的块来说，反向DCT(IDCT)变换为： $F(x,y)=1/4\underset{u=0}{\overset{7}{\mathrm{\Σ}}}\underset{v=0}{\overset{7}{\mathrm{\Σ}}}{C}_u{C}_{v}f(u,v)\cos \[\frac{2(x+1)\mathrm{u\π}}{16}\]\cos \[\frac{(2y+1)\mathrm{v\π}}{16}\]---1)$ 其中F(x,y)为IDCT值，也就是8×8的IDCT矩阵x,y位置的像素值。常数C_u和C_v已知，它们的特定值对于此处的讨论并不重要。等式1可以以矩阵形式写作：其中P(x,y)是被计算的像素值，矩阵Y_DCT是变换值Y_DCT(u,v)的矩阵，这些变换值用于对应的P(x,y)所属的解码的像素值的块，矩阵D(x,y)是常系数矩阵，这些常系数代表着等式(1)左边的值，而不是变换值f(u,v)。因此，每个像素值P(x,y)可以由公式(2)解出。Y_DCT保持不变，而D(x,y)为x和y的函数，对于每个被计算的像素值P是不同的。

一维IDCT算法由下式表示： $F\left(x\right)=1/2\underset{u=0}{\overset{7}{\mathrm{\Σ}}}{C}_{u}f\left(u\right)\cos \left(\frac{(2x+1)\mathrm{u\π}}{16}\right)----3)$ 其中F(x)是单行反向变换值，f(u)是单行变换值。以矩阵形式，公式(3可以写为：

其中每个解码的像素值P等于变换值Y_DCT0-Y_DCT7这一行与矩阵D的每个行的内积。也就是例如P₀=[Y_DCT0,…,Y_DCT7]·[D₀₀,…,D₀₇]，依此类推。因此，通常在一维情况下，像素值Px可以根据下面的公式推导出来：

Pi=Y_DCT·D_i                       5)其中，D_i是公式(4)的矩阵D的第i行。现在结合图11如上所述，合并子块144第一行和第二行中大量像素的值以产生被二次取样的像素S₀₀。但是，目前让我们假定只有0行像素P存在，并且只有一行被二次取样的像素S₀,S₁和S₂将被计算。把公式(4)和(5)的一维IDCT应用到单行，如0行，我们可以得到下面的公式： $S_z=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{W}_i\•P_i---6)$ 其中，S_Z是被二次取样的像素值，W_i是像素P_i值的权重因数，i=0-n代表对S_Z的值有贡献的行内特定像素P的位置。例如，仍然假定子块144中只存在0行像素P，那么对于S₀我们可以得到下面的公式： $S_0=\underset{i=0}{\overset{3}{\mathrm{\Σ}}}{W}_i\•P_i-----7)$ 其中对于i=0-3 P_I的值分别等于P₀,P₁,P₂和P₃。现在用公式(5)代替P，我们可以得到下式： $S_z=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{W}_i\•P_i\•Y_{\mathrm{DCT}}=(\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i\•D_i)\•Y_{\mathrm{DCT}}=R_Z\•Y_{\mathrm{DCT}}----8)$ 其中，对于i=0-n,R_Z等于w_i·D_i。因此，我们就推导出一个一维公式，它可以把被二次取样的像素值S_Z与相应的一维变换值的矩阵Y_DCT和各行系数D_i直接联系起来。也就是，该公式使我们不需要首先计算出P_i值就可以计算出S_Z的值。

现在，参照二维公式(1)和(2)，可以把公式(5)如下所述推广到二维：

P_x,y=D_x,y*Y_DCT=D_x,y(0,0)·Y_DCT(0,0)…+D_x,y(7,7)·Y_DCT(7,7)    9)其中星号表示矩阵之间的内积。该内积意味着矩阵D_X,Y的每个元素与矩阵Y_DCT的各个元素相乘，这些乘积的和等于P_X,Y的值。公式(8)也可以如下转换为二维： $S_{\mathrm{yz}}=(\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i\•D_i)*Y_{\mathrm{DCT}}=R_{\mathrm{YZ}}*Y_{\mathrm{DCT}}----10)$

因此，矩阵R_YZ是从i=0-n权重因数的矩阵D_i的和。例如，再次参照图11，被二次取样的像素S₀₀的值可以由下式给出： $S_{00}=(\underset{i=0}{\overset{7}{\mathrm{\Σ}}}{w}_i\•D_i)*Y_{\mathrm{DCT}}=R_{00}*Y_{\mathrm{DCT}}----1)$ 其中i=0-7分别对应于值P₀₀,P₀₁,P₀₂,P₀₃,P₁₀,P₁₁,P₁₂和P₁₃。这样，图10的电路124可以直接从变换值和相关的变换系数矩阵计算出被二次取样的像素S₀₀的值。因此，电路124不需要执行转换为像素值P的这一中间步骤。

公式(11)可以进一步简化，因为如上所述结合图15A，公式(11)中只使用子块162中的16个变换值。由于我们作内积，因此矩阵R_YZ只需要有16个与子块162中的16个变换值相对应的元素。这可以减少大约1/4的计算量和处理时间。

因为在上述的例子中，矩阵R_YZ和Y_DCT中都有16个元素，因此处理器可以把每个矩阵作为具有16个元素的单维矩阵进行内积计算。或者，如果处理电路处理每个具有四个元素的一维向量效率更高的话，那么矩阵R_YZ和Y_DCT都可以变形为四个一维四元素向量，这样被二次取样的像素S_YZ的值可以利用四个内积计算出来。如上参照图15B所述，对于交错图像或任一最初没有产生有效矩阵的变换值子块，可以改变图10中的块124的反向Z字形扫描算法，以把所选择的变换值放入有效的矩阵公式中。

参照图16，在本发明的另一个实施例中，利用一系列一维IDCT计算结果而不是单独的一个二维计算结果计算被二次取样的像素S_YZ的值。更明确一些，图16描述了对变换值的子块162执行这一系列一维IDCT计算的情况。但是这项技术对其它的变换值子块，例如图15B的子块166，也可以使用。因为这种一维技术的一般原理已为大家所熟知，因此就不进行深入讨论了。

下面，根据本发明的一个实施例，对上面结合图11和13A所讨论的二次取样样品的权重值W_i的计算进行讨论。如上面结合图13A所述，因为被二次取样的像素S₀₀-S₀₂在第一行和第二行像素P的正中间，所以第一行中像素值的权重值W与第二行中各个像素值的权重值W相同。因此，对于子块144中的8个像素值，我们只需计算出4个权重值W即可。为了计算这种权重，在一个实施例中介绍了一种4接头(每四个像素值一个接头)拉格朗日内插器，该内插器的分数延迟为1,1-2/3和1-1/2，它们分别对应被二次取样的像素值S₀₀-S₀₂。在一个实施例中，权重值w根据下面的公式进行分配：W₀=-1/6(d-1)(d-2)(d-3)    12)W₁=1/2(d)(d-2)(d-3)       13)W₂=-1/2(d)(d-1)(d-3)      14)W₃=1/6(d)(d-1)(d-2)       15)

参照图13A，第一组的两个延迟1和1-2/3对应于被二次取样的像素值S₀₀和S₀₁。更明确一些来讲，这些延迟表明了被二次取样的像素S₀₀和S₀₁与第一组也就是像素P的各个子块144和146(图11)中最左边的像素P相关的位置。例如，由于S₀₀与P₀₁和P₀₂对齐，因此它与第一组像素P₀₁和P₀₂在水平方向为1个像素的间隔D_ph。因此，当延迟值1被代入公式12-15时，唯一不为零的权重w为w₁，它对应于像素值P₀₁和P₁₁。这有意义是因为像素S₀₀直接与像素值P₀₁和P₁₁对齐，因此其它像素P的权重值都可以设为零。同样，参照图11和13A，被二次取样的像素S₀₁与子块146中的第一组像素P₀₂和P₁₂在水平方向为1-2/3个像素的间隔D_ph。因为像素S₀₁与任一像素P都不在一行，因此权重值w都不等于0。这样，对被二次取样的像素S₀₁来讲，W₀是像素P₀₂和P₁₂值的权重值，W₁是像素P₀₃和P₁₃值的权重值，W₂是像素P₀₄和P₁₄值的权重值，W₃是像素P₀₅和P₁₅值的权重值。

在一个实施例中，被二次取样的像素S₀₂的延迟的计算不同于被二次取样的像素S₀₀和S₀₁的延迟的计算。为了使拉格朗日过滤器的设计更理想，S₀₂的延迟最好使用1-1/3。相反，如果这种延迟以与S₀₀和S₀₁的延迟同样的方式进行计算，那么由于S₀₂与子块148中的第一组像素P₀₄为2-1/3个像素的间隔D_ph，因此延迟也应为2-1/3。但是为了能够使用最理想的延迟1-1/3，我们计算这种延迟时就好象像素P₀₅和P₁₅为子块148中的第一组像素，然后加入两个虚拟像素P₀₈和P₁₈，它们分别被给与与P₀₇和P₁₇相同的值。因此，权重函数w₀-w₃分别对应于像素P₀₅,P₁₅,P₀₆；P₁₆,P₀₇；P₁₇；和虚拟像素P₀₈与P₁₈。尽管用于计算S₀₂延迟的技术可能不如我们使用延迟2-1/3那么精确，但是使用延迟1-1/3所造成的拉格朗日过滤器效率的增加却弥补了这种潜在的不精确性。

另外，如上所述，因为所有被二次取样的像素S₀₀-S₀₂都位于0行和1行像素P的正中间，因此每个权重值中可以包括一个1/2因数以有效地平均0行和1行中像素P的权重值。当然，如果被二次取样的像素S₀₀-S₀₂不位于0行和1行像素P的正中间，那么可以在垂直方向与上述在水平方向相类似的方式补充第二个拉格朗日过滤器。或者，水平与垂直拉格朗日过滤器可以合并成一个二维拉格朗日过滤器。

参照图12和14，对于交错块150，被二次取样的像素S₀₀-S₀₂在垂直方向位于0行和2行像素之间1/4向下的位置。因此，除了乘以各个权重函数以外，各个子块中像素P的值可以进行双线性加权，也就是，0行中的像素值在垂直方向被3/4进行权重化，2行中的像素值在垂直方向被1/4进行加权，以此来解决不平均的垂直对齐。或者，如果块与块之间被二次取样的像素S与像素P没有固定的垂直对齐，那么就要在垂直方向使用拉格朗日过滤器。

上面所描述的用于计算被二次取样的像素S值的技术可以用于计算像素S的亮度值和色度值。

参照图17，将根据本发明的一个实施例讨论图10的解码器110所执行的运动补偿。为了举例的目的，假定图像的编码形式为非交错并且包括一个8×8的变换值块，并且还假定图10的电路124把这些编码的块解码并且下变换为被二次取样的像素S的4×3的块，例如图11的块142那样。另外，假定编码的运动向量具有在水平方向1/2像素和垂直方向1/2像素的分辨率。因为图像的低分辨率形式具有该图像高分辨率形式水平分辨率的3/8，垂直分辨率的1/2，因此从电路134(图10)来的作了比例调整的运动向量具有的水平分辨率为3/8×1/2=(3/16)D_sh，垂直分辨率为1/2×1/2=(1/4)D_sv。因此，水平分量的延迟是1/16的倍数，垂直分量的延迟是1/4的倍数。还假定被编码的运动向量在水平方向具有值2.5，在垂直方向具有值1.5。因此，例中作了比例调整的运动向量在水平方向等于2-1/2×3/8=15/16，在垂直方向等于1-1/2×1/2=3/4。因此，这种作了比例调整的运动向量指向相匹配的宏块170，它的像素S由“×”代表。

但是块170的像素与参考宏块172的像素S(由圆点代表)却没有对齐。参考块172比相匹配的块170大，这样它就包括了块170能够落在的区域。例如，像素S₀₀可以落在参考像素S_I,S_J,S_M和S_N上或其间的任意位置。因此，与处理上述块142(图11)的像素S相类似的方式，相匹配的块170的每个像素S根据过滤块174中各个像素S的权重值计算出来，块174包括块170和172。在所述的实施例中，块170的每个像素S根据过滤块174中4×4=16个像素的子块计算。例如，S₀₀的值是根据过滤块174的子块176中的16个像素的权重值计算出来的。

在一个实施例中，水平方向使用一个每(1/16)D_sh具有一个延迟的四接头多相有限脉冲响应FIR过滤器(例如，一个拉格朗日过滤器)，垂直方向使用一个每(1/16)D_sv具有一个延迟的四接头FIR过滤器。因此，有人会想到在水平和垂直方向对每个单独的相可以把这两个过滤器合并成一组16×4=64的二维过滤器。在该例中，像素S₀₀在水平方向位于距离子块176中第一列像素(也就是S_a,S_h,S_l和S_q)(1-15/16)D_sh处，对于各个权重值w的水平贡献可以结合图13A以上述相类似的方式计算出来。同样，像素S₀₀在垂直方向位于距离子块176中第一行像素(也就是S_a-S_d)(1-3/4)D_sv处，对于各个权重值w的垂直贡献以计算水平贡献使用的方式相类似的方式计算。然后合并水平和垂直贡献以获得与S00相关的子块176中每个像素的权重函数，利用这些权重函数就可以计算出S₀₀的值。相匹配的块170中其它的像素S的值也以类似方式进行计算。例如，像素S₀₁的值利用子块178中像素的权重值进行计算，像素S₁₀的值利用子块180中像素的权重值进行计算。

因此，所有的运动补偿像素S₀₀-S₇₅都可以利用对于水平过滤为4个乘积(MACS)×每行6个像素×11行(过滤块174中)=264个MACS，对于垂直过滤为4个乘积(MACS)×每列8个像素×11列=288个MACS，总共为552个MACS来计算相匹配的块170的像素值。利用运算在1×4个向量元素上的向量图像处理电路，我们可以把水平过滤分解成264/4=66个1×4的内积，还可以把垂直过滤分解成288/4=72个1×4的内积。

参照图10和图15，一旦运动补偿电路136计算出相匹配的块170中像素的值，加法器130就把这些像素值加到从反向DCT和二次取样电路128来的各个余项上以生成该图像解码低分辨率形式。然后，把解码的宏块提供给帧缓冲器132以在HDTV接收器/显示器138上进行显示。如果被解码的宏块为参考帧的一部分，可以把它提供给运动补偿器136以在对另一个被运动预测的宏块进行解码时使用。

对像素的色度值进行的运动解码可以如上所述以相同的方式执行。或者，因为人眼对颜色的变化不如对亮度的变化敏感，人们就可以利用双线性过滤而不是上述更复杂的拉格朗日技术就仍然可以得到好的结果。

另外，结合图7如上所述，一些被运动预测的宏块具有分别指向不同帧中相匹配的块的运动向量。在这种情况下，每个相匹配的块中像素的值结合图16如上所述进行计算，然后在加上余项以生成解码的宏块之前把它们进行平均。或者，人们可以通过只使用一个相匹配的块来对宏块进行解码来降低处理时间和带宽。人们发现这种方式可以产生质量可以接受的帧并且还大大降低了解码时间。

从上面谈到的情况中我们应当理解到，尽管为了说明的目的此处描述了本发明的一个特定的实施例，但是只要不偏离本发明的精神和范围，可以进行各种修改。例如，尽管讨论了图像的下变换以在更低分辨率的显示器屏幕上显示，但是上述技术还有其它方面的应用，例如，这些技术可以用于下变换一幅图像以在另一幅图像内进行显示，这通常称之为画中画(PIP)显示。另外，尽管图10的解码器110被描述为包括大量的电路，但是这些电路的功能也可以由一个或多个传统的或专门用途的处理器来执行，或者也可以由硬件来完成。

Claims (49)

1．一种图像处理电路，包括：

处理器，用于接收图像的第一形式的编码部分，第一形式具有一种分辨率；

把编码部分直接转换为该图像的第二形式的解码部分，第二形式具有不同于第一形式的分辨率。

2．根据权利要求1所述的图像处理电路，其中图像的第二形式的分辨率比该图像的第一形式的分辨率要低。

3．根据权利要求1所述的图像处理电路，其中：

图像第一形式的编码部分由变换值来表示；

图像第二形式的解码部分由像素值来表示。

4．一种图像处理电路，包括：

处理器，用于接收表示图像第一形式的一部分的第一组变换值；

从第一组变换值中选择第二组像素值，第二组像素值的数目比第一组要少；

把第二组变换值直接转换为第一组像素值，第一组像素值代表该图像第二形式的一部分，该图像的第二形式所具有的像素比该图像第一形式所具有的像素要少。

5．根据权利要求4所述的图像处理电路，其中第一组中每个变换值包括各自的离散余弦变换值。

6．根据权利要求4所述的图像处理电路，其中：

第一组变换值包括一个8×8的变换值块，该块具有4个象限；以及

第二组变换值由来自该块一个象限的变换值组成。

7．根据权利要求4所述的图像处理电路，其中：

第一组变换值包含一个8×8的变换值块，该块具有一个左上方的象限；以及

第二组变换值由来自该块左上方象限的变换值组成。

8．根据权利要求4所述的图像处理电路，其中：

第一组变换值包含一个8行×8列的变换值块；以及

第二组变换值由来自该块的头四行中每行的头三个变换值和来自该块的末四行中每行的第一个变换值组成。

9．根据权利要求4所述的图像处理电路，其中：

图像包含一个视频帧：

视频帧第一形式的部分为非交错的；以及

视频帧第二形式的部分为非交错的。

10．根据权利要求4所述的图像处理电路，其中：

图像包含一个视频帧：

视频帧第一形式的部分为交错的；以及

视频帧第二形式的部分为交错的。

11．根据权利要求4所述的图像处理电路，其中：

图像的第一形式为1920像素宽×1088像素高；以及

图像的第二形式为720像素宽×544像素高。

12．根据权利要求4所述的图像处理电路，其中：

第一组变换值代表了第二组像素值，而第二组像素值代表了图像的第一形式部分；以及

处理器可用于通过数学方法合并与第二组像素值相关的变换系数把第二组变换值直接转换为第一组像素值。

13．根据权利要求4所述的图像处理电路，其中：

第一组变换值代表了第二组像素值，而第二组像素值代表了图像的第一形式部分；以及

处理器可用于把第二组变换值直接转换为第一组像素值，这种转换通过下述步骤进行：

加权与第二组像素值相关的变换系数；以及

通过数学方法合并被加权的变换系数。

14．根据权利要求4所述的图像处理电路，其中：

第一组变换值代表了第二组像素值，而第二组像素值代表了图像的第一形式部分；以及

处理器可用于把第二组变换值直接转换为第一组像素值，这种转换通过下述步骤进行：

加权与第二组像素值相关的变换系数；以及

累加对应的被加权的变换系数。

15．根据权利要求4所述的图像处理电路，其中：

第一组变换值中的每个变换值分别包含一个离散余弦变换值；

第一组变换值代表了第二组像素值，而第二组像素值代表了图像的第一形式部分；以及

处理器可用于把第二组变换值直接转换为第一组像素值，这种转换通过以下步骤进行：

加权与第二组像素值相关的反向离散余弦变换系数；

累加对应的被加权的系数；

根据反向离散余弦变换算法用数学方法合并第二组变换值和被加权的系数。

16．一种图像处理电路，包括：

处理器，可用于修改与第一图像的第一形式部分相关的运动向量；

识别被修改的运动向量指向的第二图像部分，第二图像具有与第一图像的第一形式不同的分辨率；

由所识别的第二图像部分生成第一图像的第二形式部分，第一图像的第二形式部分具有与第二图像相同的分辨率。

17．根据权利要求16所述的图像处理电路，其中第二图像的分辨率比第一图像第一形式的分辨率要低。

18．根据权利要求16所述的图像处理电路，其中：

运动向量与第一图像的第一形式相兼容；以及

处理器可用于修改运动向量使其与第二图像相兼容。

19．一种图像处理电路，包括：

处理器，可用于修改与第一图像的第一形式部分相关的运动向量使其与第二图像相兼容，第二图像具有与第一图像的第一形式不同的分辨率；

识别被修改的运动向量指向的第二图像部分；

把代表第一图像的第一形式部分的第一组余项转换为代表第一图像的第二形式部分的第二组余项，第二形式具有与第二图像相同的分辨率；

用数学方法合并第二组余项和代表第二图像被识别部分的像素值以生成代表第一图像的第二形式部分的像素值。

20．根据权利要求19所述的图像处理电路，其中第二图像和第一图像的第二形式具有比第一图像的第一形式更低的分辨率。

21．根据权利要求19所述的图像处理电路，其中：

第二图像和第一图像的第二形式具有比第一图像的第一形式更低的分辨率；

第二组余项数比第一组余项数要少。

22．根据权利要求19所述的图像处理电路，其中处理器可用于通过把第一图像的第一形式与第二图像之间的一个比例因数与运动向量相乘来修改运动向量。

23．根据权利要求19所述的图像处理电路，其中被修改的运动向量在至少一维方向上具有的分辨率小于1/2像素。

24．根据权利要求19所述的图像处理电路，其中处理器可用于计算代表第二图像的被识别的部分的像素值。

25．根据权利要求19所述的图像处理电路，其中处理器可用于通过把第二组中的每个余项与代表第二图像的被识别部分的各个像素值相加来进行数学合并。

26．根据权利要求19所述的图像处理电路，其中代表第二图像的被识别的部分的像素值对应于偏离了第二图像的实际像素的被内插的像素。

27．根据权利要求19所述的图像处理电路，其中处理器可被操作用于转换第一组余项，这种转换通过以下步骤进行：

从代表第一组余项的第二组变换值中选择第一组变换值，第一组变换值比第二组变换值要小：

把第一组变换值直接转换为第二组余项。

28．一种方法，包括：

接收图像的第一形式的编码部分，第一形式具有一种分辨率；

把编码部分直接转换为第二形式的图像的解码部分，第二形式的分辨率不同于第一形式的分辨率。

29．根据权利要求28所述的方法，其中，第一形式图像的分辨率比第二形式图像的分辨率要高。

30．根据权利要求28所述的方法，其中：

接收包括接收代表图像的第一形式编码部分的变换值；以及

转换包括把变换值转换为代表第二形式图像的解码部分的像素值。

31．一种方法，包括：

接收代表第一形式图像部分的第一组变换值；

从第一组中选择第二组变换值，第一组比第二组要小；

把第二组变换值直接转换为代表第二形式图像部分的第一组像素值，第二形式比第一形式的像素要少。

32．根据权利要求31所述的方法，其中：

图像由视频帧组成；

第一形式的视频帧部分为非交错的；

第二形式的视频帧部分为非交错的；

第一组变换值包含一个8×8的变换值块，该块具有一个左上象限；以及

第二组变换值由该块的左上象限中的变换值组成。

33．根据权利要求31的方法，其中：

图像由视频帧组成；

第一形式的视频帧部分为交错的；

第二形式的视频帧部分为交错的；

第一组变换值包含一个8行×8列的变换值块；

第二组变换值由来自该块头四行中每行的头三个变换值和来自该块的后四行中每行的第一个变换值组成。

34．根据权利要求31所述的方法，其中：

第一组变换值代表第二组像素值，第二组像素值代表第一形式的图像部分；

转换包括：用数学方法合并与第二组像素值的各个子组像素值相关的变换系数以产生第一组中的每个像素值。

35．根据权利要求31所述的方法，其中：

第一组变换值代表第二组像素值，第二组像素值代表第一形式的图像部分；

转换包括：

加权与第二组像素值的各个子组像素值相关的各组变换系数；

用数学方法合并每组变换系数中被加权的变换系数。

36．根据权利要求31所述的方法，其中：

第一组变换值代表第二组像素值，第二组像素值代表第一形式的图像部分；

转换包括：

加权与第二组像素值的各个子组像素值相关的各组变换系数；

计算每组变换系数中对应的被加权的变换系数的和。

37．根据权利要求31所述的方法，其中：

第一组变换值中的每个变换值分别包括一个离散余弦变换值；

第一组变换值代表第二组像素值，第二组像素值代表第一形式的图像部分；

转换包括：

加权与第二组像素值的各个子组像素值相关的各组反向离散余弦变换系数；

计算每组系数中对应的被加权的系数的和以产生各组被加和的系数；以及

根据反向离散余弦变换算法，用数学方法合并第二组变换值和各组被加和的系数。

38．一种方法，包括：

修改与第一图像的第一形式部分相关的运动向量；

识别被修改的运动向量指向的第二图像部分，第二图像具有不同于第一图像的第一形式的分辨率；

由所识别的第二图像部分产生第一图像的第二形式部分，第一图像的第二形式与第二图像具有相同的分辨率。

39．根据权利要求38所述的方法，其中第二图像的分辨率比第一图像的第一形式的分辨率低。

40．根据权利要求38所述的方法，其中修改包括修改运动向量使其从与第一图像的第一形式兼容变成与第二图像兼容。

41．一种方法，包括：

修改与第一图像的第一形式部分相关的运动向量使其与第二图像相兼容，第二图像具有不同于第一图像的第一形式的分辨率；

识别被修改的运动向量指向的第二图像部分；

把代表第一图像的第一形式部分的第一组余项转换为代表第一图像的第二形式部分的第二组余项，第二形式具有与第二图像相同的分辨率；

用数学方法合并第二组余项和代表第二图像的被识别部分的像素值以生成代表第一图像的第二形式部分像素值。

42．根据权利要求41所述的方法，其中第二图像和第一图像的第二形式具有比第一图像的第一形式更低的分辨率。

43．根据权利要求41所述的方法，其中：

第二图像和第一图像的第二形式具有比第一图像的第一形式更低的分辨率。

第二组余项比第一组余项要少。

44．根据权利要求41所述的方法，其中修改包括：用第一图像的第一形式和第二图像之间的比例因数与运动向量相乘。

45．根据权利要求41所述的方法，其中，修改包括修改运动向量使其至少在一维方向上的分辨率小于1/2像素。

46．根据权利要求41所述的方法，另外还包括计算代表第二图像的被识别的部分的像素值。

47．根据权利要求41所述的方法，其中用数学方法合并包括把第二组中的每个余项与代表第二图像的被识别部分的各个像素值进行加和。

48．根据权利要求41所述的方法，另外还包括通过在第二图像的实际像素之间进行插值计算代表第二图像的被识别的部分的像素值。

49．根据权利要求41所述的方法，其中，转换包括：

从代表第一组余项的第二组变换值中选择第一组变换值，第一组变换值比第二组变换值要小；

把第一组变换值直接转换为第二组余项。

Images