CN100394447C - 用于数据压缩的改进优化技术 - Google Patents

Abstract

提供了与对诸如图像、视频等数据进行编码有关的方法和装置。例如，某些方法包括：用多个不同的量化功能来处理至少一部分数据以产生多个相应的经量化的数据部分，并且根据至少一个阈值选择性地输出一个经量化的数据部分。该方法还包括：将初始数据分成多个部分，并且根据至少一个分类特性对数据的部分分类。这里，例如，可能有与分类特性相关的阈值。通过允许若干替代的运动预测情况，可以采用附加的语法来允许相当高的压缩效率。也提供了一种高效率时间标记独立的直接模式，它考虑到空间运动矢量预测以及静态时间预测器。

Description

用于数据压缩的改进优化技术

相关的专利申请

该美国专利要求美国临时专利申请序列号为60/393,894的申请的优先权，该申请通过引用被完全结合于此，于2002年7月5日公开、题为“Rate/DistortionOptimization Techniques for Image and Video Compression”。

(1)技术领域

本发明通常涉及到的计算机和类似的设备，特别是涉及用于压缩/编码数据和解压缩/解码数据的方法、装置和系统。

(2)背景技术

对于数据压缩/编码和对于数据解压缩/解码需要有继续改进的方法和装置，并且，特别是对图象和视频数据。编码效率方面得的改进允许更多的信息更容易被计算机和其它的相似设备处理传送和/或存贮。随着国际互联网和其它相似的计算机网络以及有线通讯系统的进一步普及，期望提供高效率的编码技术来做到充分利用可供利用的资源。

码率失真优化技术(RDO)在视频和图象编码/解码系统中是十分流行的，因为比之于比较常规的编码方法它们能非常好地改善编码效率。

举例来说，附加的信息，可能在计算机科学和工程的一篇科学硕士论文中可以找到，题目为“用于图象编码的一个局部自适应掩模的限模式”，作者Trac DuyTran，MIT麻省理工学院，May 1994.

就像存在继续希望来提供甚至更高的编码效率那样，也有一个对改善方法和设备的需要，它进一步的增加RDO或者其它类似技术的性能，相对于已存在的系统来改善编码效率。

(3)发明内容

当前的发明提供改善的方法和设备，它能用于压缩/编码和解压缩/解码的数据中，和/或以其它方式处理各种所包括，但不限于，图象、视频和/或声频数据的数据的格式。

举例来说，上述需要和其方面可通过下述方法满足，这个方法它包括处理至少一部分的数据，它用多个不同的量化的函数来产生多个相应的量化部分的数据，以及基于至少在一个门限值选择输出一个量化部分的数据。此方法也可能包括把初始化数据分成多个部分，以及基于至少一个分类特性对这一部分数据分类。举例来说，这里可能有一个门槛值分类特性相关联。

作为例子，初始化数据可能包括图像数据、视频数据、声频数据、语音数据，以及此类似的数据。被选择的部分可能采取一块、一个宏块、一条、一片、一段，或者类似的格式。分类特性可能包括边缘特性、纹理特性、平滑特性亮度特性、色彩特性、颜色特性、噪声特性，对象特性、动作特性、用户喜好特性、用户界面聚焦特性、分层特性、定时特性、音量特性、频率特性、音调特性、音色特性、质量特性、比特率特性、数据类型特性、分辨率特性、加密特性，等等的特性。

在某些示例性的实施中，大多数不同的量化特性至少包括二个不同的可操作的恒域量化器。举例来说，这里，恒域量化器可能是自适应收敛恒域量化器、可变收敛大小的恒域量化器或者其它类似的恒域量化器。此方法也可能包括编码此量化的部份。此方法可能进一步包括实施码率失真优化(RDO)去选择数据的量化部分。

根据还有的其它示例实施，另一种方法包括在至少图象数据的一部分中至少执行一个特性分析，基于该特性分析在编码器由选择性设置至少一个自适应量化参数，以及用该编码器对一部分图象数据编码。

在还有另一个示例性的实施中，被提供了一种方法，它包括至少用二个不同的恒域量化器引起图象数据的至少一部分被编码，以及基于与至少一种判决因素相关连的码率失真优化(RDO)判决识别在至少二个不同恒域量化器其中的一个输出中的较佳编码数据。

上述需要和其它也被一种方法所满足，此方法包括至少引起一部分图象数据被用第一只恒域量化器所编码，确定是否第一只恒域量化器的输出满足至少一种判决因素，同时假如是这样输出第一恒域量化器的输出。如果不是这样，那么引起一部分图象数据被用至少与第一恒域量化器不同的第二恒域量化器所编码。举例来说，该方法也可能包括基于RDO判决或者其它相似的判决识别一部分图象数据的可接受的编码方式。

在仍旧是另一种示例性的实施中，一种方法包括在至少一部分图象数据中执行图象分析，在被分析的这一部分图象数据上执行块分类，执行块分类部分图象数据的恒域量化，以及执行图象数据恒域量化部分的编码。举例来说，这里，此图象分析可能包括边缘检测分析、纹理分析等等。

根据进一步示例性实施，提供了一种方法，它包括至少引起一部分视频图象数据被采用至少二个不同的编码器所编码，其特征在于，所述的至少二个不同的编码器其中的一个包括恒域量化器，可操作地配置为去支持无残留模式的视频图象数据以及基于与至少一个判决的因素相关的码率失真在二个不同的编码器其中一个的输出中识别较佳的编码帧数据。优化(RDO)判决。

另一种示例性方法包括选择性地改变至少一个Lagrangian乘数，这是可操作配置的编码逻辑，它具有基于至少一部分图象数据的至少一个特性的量化函数，以及用编码逻辑来编码这一部分的图象数据。

仍旧在另一种执行中，示例方法包括采用编码逻辑编码至少一部分视频图象数据，以及使用编码器逻辑使编码逻辑输出标识运动矢量预测类型的语法信息。

用在表达视频编码关系信息的一种方法包括编码视频数据，以及在编码视频数据的语法部分的选择性地设置至少一种描述符，此描述符标识与用视频数据编码的至少一个B帧有关的一种匹配的空间/空间一时间编码。用在表达视频编码相关信息的一种方法，包括编码视频数据，以及在编码的视频数据的语法部分选择性地设置至少有一种描述符，此描述符至少一个用视频数据编码的中间帧中标识一种匹配拷贝/运动拷贝跳跃模式。

提供了考虑视频帧的时间/空间部分的视频编码用于时间标记独立模式中的示例性方法。举例来说，这里，此方法包括选择性地应用与视频序列的至少一部分视频帧相关的运动的空间预测。并且如果对于另一视频帧的参照部分的时间运动预测信息为另，则，设置运动的空间预测为另。

(4)附图说明

对本发明的各种方法设备和系统更完整的了解，可参照下述详细的描述并结合附图而给出：

图1是一张框图，它以计算机形式描述了一个实例的设备，它适用于本发明的某些实现中。

图2(a-d)是按照本发明的某些实现的一组描述示例性可选择恒域量化器的图表。

图3是一张流程图，它描述了按照本发明的某些实现选择性地对数据应用不同量化处理的示例方法。

图4是一张框图，描述了按照本发明的某些实现选择性地对数据应用不同量处理的示例逻辑。

图5是一张框图，描述了选择性地对数据的应用不同量处理的示例逻辑，它是与本发明的某些进一步的实施相符合的示例性逻辑。

图6(a-b)是逻辑框图，描述了选择性地对数据的应用不同量处理的示例逻辑，它与本发明的仍旧与其它的实施相符合的示例性逻辑。

图7是一张逻辑框图，描述了选择性地对数据的应用不同量处理的示例逻辑，它与本发明的某些进一步的实现相符合。

图8是一张示例性语法信息的表格，按照本发明的某些实现用于对选择性地对运动矢量应用不同的预测方法的逻辑。

图9是一张框图，它描述了按照本发明的某些实现的示例性逻辑，用于选择性地对视频数据应用不同编码的图表。

图10是一张框图，它描述了按照本发明的某些步骤的实现的示例性逻辑，用于选择性对视频数据应用不同编码的图表。

图11是一张图解图，它描述了按照本发明的某些实施的某些视频序列的特性，它使用选定的应用编码方案。

图12是一张流程图，它描述了按照本发明的某些实现的一种示例性的方法，用于对直接模式视频序列的空间-时间预测。

(5)具体实施方式

转到附图，其特征在于，所述的相同的参照数字被指示相同的元件，本发明解释为，在合适的计算环境下被实施。虽然不是必须的，本发明将以通常的计算机可执行指令的环境下来描述，比如由计算机服务器来执行的程序模块，它可以采取个人计算机，工作站、专门的服务器、多处理器、大型计算机等等的形式。通常，程序模块包括子程序、程序、对象、组成、数据结构等等，它执行专门的任务或者执行特殊的抽象的数据类型。本发明也可能在分布的计算环境下被使用。这里任务被远程处理设备来执行，它经过通讯网络来联接。在分布计算的环境下，程序模块可能被定位在本地和远程存贮设备二者之中。

示例性计算环境

图1描述了一个合适的计算环境120的实例，在这时，以后描述的方法和安排可在此环境中被实施。

示例性计算环境120只是一个合适计算环境的例子，以及不打算建议作任何的限制，比如对使用的范围，或者可改进方法的功能，以及在这里所安排的描述的限制。计算环境120不应被解释为与计算环境120中描述的任一组件或组件的组合有相关的依赖性或要求。

改进的方法和这里的安排是可与很多其它通用或者专用的计算系统环境或者结构一同操作。

如图1所示，计算环境120包括以计算机130形式的通用计算设备。计算机130组件可包括一只或者几只处理器或者处理单元132、系统存贮器134、以及把各种系统部件，包括系统存贮器134耦合至处理器132的总线136。

总线136表示一个或者多个若干总线结构类型的任何一种，它包括存贮器总线或者存贮器控制器、外部设备总线、加速图形端口，以及处理器和使用各种总线结构任何一种的本地总线。举例来说，(但不是以此为限)，这些结构包括工业标准(ISA)总线、微通道结构(MCA)总线、增强型(EISA)总线、视频电子标准协会(VESA)局部总线，以及外部设备互连(PCI)总线(也称为Mezzanine总线)。

计算机130典型地包括各种计算机可读媒体，这些媒体可能是任何可利用的媒体，它可由计算机130访问，并且包括易失性媒体和非易失性媒体、可移动式和不可移动式二者。

图1中，系统存贮134包括计算机可读媒体，以易失性存贮器的形式，比如，随机存取存贮器(RAM)140，和/或非易失性存贮器形式，比如，只读存贮器(ROM)138。基本输入/输出系统(BIOS)142，包括基本的子程序，它帮助在计算机130内的部件之间传送信息，比如，当启动的时候，被存贮在ROM138中的信息。RAM140典型地包括数据和/或程序模块，它可立刻被处理器132访问和/或当前正被处理器132的操作。

计算机130可能进一步包括其他可移动式/不可移动式的、易失性/非易失性的计算机存贮媒体。举例来说，图1给示了一个硬盘驱动器144，它用来读来自或者写到非移动式、非易失性的磁性媒体中(没有表示在图中同时，典型的称为“硬设备”)，磁盘驱动器146用于读来自或者写到可移动式、非易失性的磁盘148上(比如，“软磁盘”)，以及光盘驱动器150用来读来自或者写到可移动式、非易失性光盘152，比如，CD-ROM、CD-R、CR-RW、DVD-ROM、DVD-RAM或者其它的光媒体。硬盘驱动器144、磁盘驱动器146以及光盘驱动150它们每个设备由一个或者多个接口154连接到总线136上。

驱动器和相关的计算机可读媒体提供了计算机可读指令、数据结构、程序模块、以及其它从计算机130来的数据的非易失性贮存。虽然此处示例性环境描述采用硬盘、可移动式磁盘148以及可移动式光盘152，本领域中的技术人员应当理解其它类型的可由计算机来存取所存贮的数据的计算机可读媒体，比如，盒式磁带、闪存卡、数字视频盘、随机存取存贮器(RAMs)、只读存贮器(ROM)、以及其它类似的设备，也可以用在示例性的操作环境中。

一些程序模块可能被存贮在硬盘、磁盘148、光盘152、ROM138、或者RAM140中，包括比如操作系统158，一只或者多只应用程序160、其它的程序模块162和程序数据164。

在这里描述的改进方法和安排其特征在于，可用所述的操作系统158、一只或多只应用程序160、其它的程序模块162、和/或程序数据164来实现。

用户可以经过输入设备，比如键盘166的触点设备168(比如“鼠标)提供命令和信息进入计算机130。其它的输入设备(图中没有表示出来)可能包括话简、控制杆、游戏板、卫星式转盘、串行端口、扫描仪、照相机等等。这些和其它的输入设备通常经过用户输入接口170连接到处理单元132，它连接到总线136上，但是也可采用其它的接口和总线结构来连接，比如像平行端口、游戏端口或者适用的串行总线(USB)。

监示器172或者其它类型的显示设备也可以经过一个接口，比如视频匹配器174，连接到总线136上。另外，监示器172、个人计算机典型地包括其它外部输出设备(图中没有表示出来)，比如扬声器和打印机，它们可以经过输出外部设备接口175来进行连接。

计算机130可以在用逻辑连接到一台或多台远程计算机的网络环境下进行操作，比如用远程计算机182。远程计算机182可能包括在这里和计算机130相关连的很多或者所有的部件的特性的描述。

图1中所给示的逻辑连结是局域网(LAN)177以及广域网179。这样的网络环境是在办公室、企业级计算机网络、企业内部互联网(intranets)以及国际互联网是常见的。

当用在LAN局域网环境下时，计算机130经过网络接口或者适配器186连接到局域网LAN177上去。当用在广域网环境下时，计算机典型地包括有调制器178或者其它用于在WAN179广域网上建立通讯的装置。调制器178它可以是内置的或外置的，经过用户输入接口170或者其它合适的机制可以被连结到系统总线136上。

图1所描述的，是一个经过国际互联网的专门的WAN广域网的实施环境，这里，计算机130使用调制器178经过国际互联网180与至少一台远程计算机182建立的通讯。

在一个网络的环境下，所描述的相关于计算机130的程序模块或者其中的部分，可能贮存在远程存贮器贮存设备上。这样，像图1所描述的那样，远程应用程序189可能驻留在远程计算机182的存贮设备上。将会理解到，所给示的和所描述的网络连结是示例性的，也可以使用可以计算机之间建立通讯链路的其它装置。

改进的码率/失真优化技术

虽然下列部分描述了某些示例性方法和装置，它们初始被构成压缩/编码和解压/解码图象数据和/或视频数据，在数据压缩领域中的技术人员将认识到此技术目前能被适应和使用在其它类型的数据压缩/编码以及解压/解码方面。举例来说，某些方法和设备可能被适应在用于视频数据、语音数据以及其它类的数据的压缩/编码方面。

此外，虽然此示例性方法和设备能在有计算机内用逻辑来构成，本领域的技术人员将认识到这些方法和设备可能被用其它类型的设备、电器用具等来实施。用在此处的术语“逻辑”的含意是包括硬件、固件、软件或者任何它们的组合，以及任何其它的支持硬件或其它的机制，可能被要求用来实现所描述的整个的或者部分的功能。

记住了这些，一些示例性方案被呈现在这里，它能以某种逻辑形式实施去支持处理数据。根据本发明的某些方面，一些新颖的技术被介绍用于改进对视频/图象和编码/解码系统的性能。在一些示例性实施中，这些技术被与图象/视频码的标准，比如JPEG和JVT(连接视频组)标准(比如，H.264/AVC)一起使用。举例来说，对JVT的情况下，语法变化被介绍，它能操作上启用不同预测类型的自适应选择，这些不用预测类型可以被用于预测视频的某些参量，比如，运动信息。

码率失真优化(RDO)技术在视频和图象编码/解码系统中是十分流行的，因为比之于比较传统的编码方法它们能非常好地改进编码效率。存在一个不断的希望来提供甚至更高的编码效率。这里描写描述方法和设备能显著地改善RDO或者其它类似的技术的性以达到相对地于现有系统改善编码效率。

按照本发明的某些进一步的方面，它也可以用图象预分析概念，比如，举例来说，边缘和/或纹理检测，根据图象或宏块的特性通过使用自适应和/或可变大小的恒域量化，进一步的组合和改进RDO或者其它类似的技术。

这一描述也介绍/定义了一些附加的示例性语法变化，它能被执行去启动在一个帧层次上的不同预测方案的组合体，举例来说，这进一步的改善视频编码方案的执行。举例来说，一个技术提升来自这样的事实，它对序列的一些帧或者一部分、运动在时间域可能比在空间域更相，或者反过来也是这样。这可能通过执行帧的予分析而加以利用，但是也可通过使用二个或者可能更多不同的方法对相同帧编码并在RDO和/或类似于RDO的选择一个更合适的方法而被利用。此较佳的方法然后可在结果数据中用信号表示，举例来说，在帧头中以允许编码器适当的编码此帧。这里，举例来说，一个这样的示例性方法在B帧中可能包括直接模式可能的变化，通过或者采用空间预测或者时序预测达到，或者在P帧中包括跳跃模式的运动矢量选择，预测运动矢量参数或者时间预测动作矢量参数，或者甚至为另而达到。

根据一个或者多个特性(参数)对数据应用匹配和/或不定的恒域量化到：

在图象数据压缩系统中，一部分数据被压缩，比如，举例来说，块或者宏块，可能确实包括更多的重要的信息，当与其它的信息(数据)相比时应该被不同地编码(例如，以较高的优先级，以较高的质量，等等)。达到的一个办法是使用不同的量化器值。举例来说，在某些实施中，一个较小的量化器值可能被用于对“更加重要的信息”，以及一个较大的量化器值可能被用于对“较小重要的信息”。然而，这样做后一般还将要求此信息的传送标示出用于对每个块、宏块、宏块的组，等等的每个量化值，使得其后的解压/解码是成功的。不幸的是，这些附加的信息趋向于增加压缩的总开销，以及编码器的复杂性。因而，不是增加了效率，反而实际可能会降低了效率。

注意到图2(a-d)，每张图表描述了某些示例性恒域量化可使用在某些示例性图象/视频编码的方案中。在图2(a-d)的每一幅图表中，垂直轴(Y轴)呈表示量化值以及水平轴(X轴)表示原始值。图2(a)中给示了示例性恒域量化202，举例来说，有关于恒域量化A，它相对于均匀量化能相当大地改进编码效率。常规的恒域量化器在整个量化过程中经常是保持为常数或者均匀量化，如此，可能的话，不完全利用数据中全部存在的冗余。

考虑到或者另外方式计及数据中信息的重要性，以及在块/宏块的基础上，通过自适应/修改恒域量化量可以达到编码效率的改进。举例来说，例如，通过自适应收敛(例如，沿的X轴)，但不改变重建值就能做到。举例来说，分别地将恒域量化器202和恒域量化器204，206，和208比较，(它们表示在图2b，c，d中)。这里，重建值可能对全部的编码数据保持为常数，当然除非发出量化参量有变化的信号。举例来说，由增加此另电平箱位(图2(c)中)，使更多的数据将被分配到这里，这样，依赖于压缩的方案，达到较高的压缩。显而易见地是，不需要在解码器上述信号表示量化器中的改变，因为重建造值仍旧保持相同值。虽然有人可能会争辩说，这样将损害量化的性能，通常这不必定是正确的，如果这种处理是选择性地完成，例如当某些条件被满足时，若用新的量化器达到的压缩大大地高于遭受的失真。

举例来说，(图2(b)，恒域量化仅仅影响另电平箱位，相对于第一个+/-箱位，然而所有其它的箱位仍旧保持相同，以及所用的重建值没有变化。一个带有自适应估计恒域的自适应方案也是可能的(例如，使用码率失真优化和自适应估计)。

根据本发明的某些示例性的实施，量化选择逻辑，因此，被提供在压缩/编码系统中，以基于至少一个特性或者参数在不同的恒域量化器(或者量化值)之间选择。举例来说，此逻辑可能按照某些图象特性在不同的恒域量化器202、204、206和208之间进行选择。

更加特别的是，此逻辑可能被配置成在图象数据中表征纹理结构和/或边缘作为代表“较重要信息”，并因而用一种式样对数据编码来提供一种较高水平的质量。此逻辑能用常规的纹理分析/检测及边缘检测定算法来支持这种判决过程。

有了这个概念之后，现在参见图3，这是一张流程图，它说明了按照本发明的某些实现将不同的量化过程选择性地应用至数据的方法300。在动作302中，初始数据组被分成数据的多个部分。例如，图象或者视频数据可能被分成多个块、宏块、条、片、区段等等。在动作304中，来自动作302的多个数据部分的的至少一个以某些方式被分类，例如，基于至少一种特性或参数。例如，分类可以基于边缘特性、纹理特性、平滑特性、亮度特性、色度特性、色彩特性、噪声特性、对象特性、动作特性、用户喜好特性、用户界面聚焦特性、分层特性、定时特性、音量特性、频率特性、音调特性、音色特性、质量特性、比特率特性、数据类型特性、分辨率特性、加密特性。

在动作306中，用多个量化过程的至少两个来处理来自动作304的已分类部分，以产生相应经量化的数据。在动作308中，作出决定选择来自动作306的一个经量化的数据，例如，基于与动作304中使用的分类参数相关的至少一个阈值或测量。在动作310中，来自动作308的经量化的数据以某些允许其随后被解码的方式而被编码。

使用了方法300之后，可以提供一种逻辑，实质上分析了图像或视频数据的部分并将某些部分视为比其它部分重要。不同的恒域量化器被用于较重要的数据部分，并且分析所产生的经量化的数据来确定哪一种恒域量化器满足该较重要的数据的期望阈值要求。例如，可以强制执行一种质量或噪声阈值要求。

通过进一步的示例，在视频中，序列边缘通常在运动补偿技术中起到重要的作用。例如，这通过下面详述的图7中的框图得到说明。基本上，可以对图像(帧)或其部分进行图像分析，并且根据分析来决定多个恒域量化器中哪一个最适用，例如，按照码率失真优化(RDO)准则。

参考图4，逻辑400说明了按照本发明某示例性实现的快速判决过程。这里，输入帧/图像(或其中的部分)在块402中受到分析。在该例中，图像分析包括边缘检测和/或纹理分析能力，且输出被提供给恒域判决块404。恒域判决块404然后使编码器406在对输入帧/图像(或其中的部分)编码时使用指定的或另外选择的恒域量化器或量化值。

图5中的逻辑500可配置为用于支持方法300，而不是作出关于恒域量化的快速判决，其中使用了多个恒域量化器并且根据某阈值标准来作出RDO判决。这里，输入宏块(MB)/图像502(或其它类似部分)被(选择性地)提供给不同的恒域编码块504、506、508和/或510，来自这些不同恒域编码块的输出在RDO判决块512中被分析，选定的已编码数据被输出。如该例中所述，某些或全部恒域编码块/过程可能并行发生。在其它实现中，这种过程可以被安排成串行发生。

图6(a)和图6(b)说明其中使用了选择性重编码判决过程的逻辑。例如在图6(a)中，输入MB/图像502被提供给恒域编码块602和604。重编码判决块606考虑来自恒域编码块602的输出并且影响在恒域编码块602和604的输出间的选择608。重编码判决块606也可以选择性地启动恒域编码块604。在图6(b)中，逻辑610类似于600，除了与重编码判决块606相关的选择608包括RDO判决块612，用于分析来自恒域编码块602和604的输出并选择输出哪一个。

图6(a，b)中的重编码判决块可以用于根据各种标准作出判决。例如，在某些实现中，可以考虑质量限制、速率限制和/或其它RDO概念/阈值。

只有当满足了某些前面定义的条件，譬如速率/质量超出特定阈值，才可能使用附加的恒域量化器。在某些示例性实验中，成功地选择了恒域量化器，它比原来具有30％的较大恒域。另外，可能按照诸如AC频率或边缘类型这样的图像特性，也可以使用自适应恒域量化器。

在图7中，示例性编码逻辑700说明性地阐述了怎样按照图像分析过程704来处理初始图像702(或其一部分)以产生该例中的边缘检测数据706。然后，边缘检测数据706被提供给块分类过程708以产生块分类的数据710。然后，块分类的数据710与初始图像702一起被提供给图像编码过程712，该过程接着产生编码图像714。这是图像的简单编码过程的一个示例。这里，图像被分析(如，用边缘检测算法)，然后，块按照这种信息而被分类。基本上定义了N维矩阵(DZ_p)(N取决于所定义恒域的数量)，该矩阵后来为在宏块的位置(i，j)处分配的量化器(QP)分配适当的恒域(DZ)。

无残留模式的考虑(如，对于B帧直接模式)：

即使上述说明可能主要针对平稳图像，然而也可以将同一概念应用在视频上。例如，也可以在视频压缩中以相当直接的方式使用图像预分析和恒域量化器。

一种相当有趣且可以大大受益于上述概念的情况是B帧内直接模式的使用。直接模式基本上是不需要传输运动参数的特殊方式，这是因为这可以直接或通过空间或通过时间上的预测而被直接预测到。关于直接模式的其它信息可以在美国未决临时专利申请序列号为60/385,965的申请中找到。

如果没有要被发送的剩余物，则可以按照本发明的某些进一步方面，通过使用被称为无残留直接模式的特殊方式进一步改进效率。如下所述，无残留直接模式可以利用游程长度编码(RLC)策略。这里，例如，如果产生的失真足够小且由于RLC的较高效率引起的比特率的减少足够大，则恒域量化器可以提供期望的解决方式。基本想法是在某些条件下选择性地引起或强制使直接模式无残留地被编码，尽管残留存在。例如，如图9所示，可以实现基于与图5相同的概念的方案，其中无残留直接模式与所有其它有效模式相比，也在RDO过程中被检查。在某些情况下，由于所使用的RDO对于这些情况并不适当，因此这种方案的性能可能不如期望中那么好。其它依赖于量化值的过程也被影响，譬如在用于消除分块人造假像的内环滤波器(未示出)。更明确地说，即使性能在较低的比特率显示良好，然而性能在较大比特率处可能大大受损；通过使用较大的量化器并且不考虑无残留直接模式，性能可能变得更好。

与图像实例中所作的相类似，按照本发明的某些方面，该逻辑可被配置成仅在满足某些前面定义的条件时、特别在与直接模式相关的残留不重要时，才考虑这些方式。该逻辑可以，例如，被配置成通过检查直接模式的已编码块模式(CBP)而将对该残留重要性的估计用作一个条件。如果不考虑色度信息时CBP低于特定阈值，则可以考虑这个，意味着该残留并不重要，并且如果跳过它不会造成太大的失真。而且，诸如边缘和纹理的不存在这样的其它图像特性也可以用于这种视频编码过程/逻辑中。

在某些实现中，通过检查是否仅消除色度残留而保持所有的亮度残留完整无缺，该逻辑甚至能将此进一步扩展。也可以将这种概念扩展到宏块的所有可能方式，即检查是否完全不发出残留，或者该方式的色度不会给出较好的性能。然而，这显然会使编码复杂度进一步增加。

参考图9，逻辑900说明输入MB/图像902如何将编码过程块902、904、906和908提供给不同的直接模式(B帧)或拷贝模式(中间帧)，来自那些过程块的输出被提供给选择适当输出的基于帧的RDO判决块910。

参考图10，逻辑1000还说明怎样可以还包括方案判决块1002和选择1004，从而根据用户输入、应用程序、系统要求等来提供附加选择性。这里，方案判决块1002选择性地将输入MB/图像提供给一个或多个直接模式(B帧)或拷贝模式(中间帧)编码过程块902、904、906和908。选择1004可以通过方案判决块1002或其它过程/逻辑/输入来控制。

B帧的拉格朗日(Lagrangian)乘数的示例性使用

RDO技术通常基于拉格朗日乘数的概念。例如，可以选择共同最小化失真和比特率的特殊方式。

这种函数可以表示为下式的最小化：

J(Mode|QP，λ)＝SSD(Mode|QP)+λ·R(Mode|QP)

其中QP是宏块量化器，λ是用于模式判决的拉格朗日乘数，Mode标识要被检查并且可能在RDO过程中被选择的宏块模式。

通过示例，在某些实现中，拉格朗日乘数λ可以为中间或内部帧而被选择：

${\mathrm{\λ}}_{I.P}=0.85\×2^{\frac{\mathrm{QP}}{3}}$

或

${\mathrm{\λ}}_{I,P}=5\×\frac{\mathrm{QP}+5}{34-\mathrm{QP}}{\×\exp }^{\frac{\mathrm{QP}}{10}}$

然而在B帧中，在诸如JVT这样的大多数编解码器中，这被选择为λ_B＝4×λ_I，P。

为了给较低开销模式以优先权而作出λ的附加加权，这是因为模式特别对于B帧可能具有由已发送的多个运动信息引起的大开销，而诸如直接模式这样的较低开销模式仍能提供就RDO而言的很好性能。

然而，根据按照本发明的某些实验，已经发现加权不应如上述那样不变，相反，它同样应该取决于量化器QP值。

特别是，如果定义了λ_B＝f(QP)×λ_I，P，从这些实验中可以发现，可以使用比使用固定的f(QP)＝4的情况具有好得多的压缩效率的两个f(QP)函数：

$f\left(\mathrm{QP}\right)=\max (2,\min (4,\frac{\mathrm{QP}}{6}))$

以及

$f\left(\mathrm{QP}\right)=\max (2,\min (4,\frac{\mathrm{QP}+2}{8}))$

这种观察也可以通过具有很高的λ的事实而得到，这一事实也可能影响其它重要信息的精确性，譬如，运动预测的精确度，由此会对周围宏块的编码产生负面影响。

使用预测从属的MB模式的自适应类型选择：

序列和帧可能具有不同类型的主导运动相关，这也在未决美国临时专利申请序列号为60/385,965、未决美国临时专利申请序列号为60/376,005、以及未决美国临时专利申请序列号为10/186,284的申请中得以说明。

特别是，对于具有静止背景下的恒定速度的小物体而言，使用来自暂时相邻帧(时域)的运动矢量(MV)使人们能进行较好的预测，并且得到较高的性能。相反，具有平滑运动的较大物体可能在空间域上(相邻宏块)具有较大的相关，而在其它情况下，来自空间域和时域两者的信息可能对预测是重要的。这些类型的相关被部分利用，譬如，在B和P帧内的直接模式内以及P帧内关于运动矢量预测器的跳越。为了得到更多关于P帧内的运动矢量预测器的跳越信息，可以参见JaniLainema和Marta Karczewicz撰写的“Skip mode motion compensation”，文档JVT-C027，JVT会议，Fairfax，2002年5月。这与，如果逻辑在某种程度上用信号指示哪种类型的预测器在不同帧起支配作用，则可以实现相当高的性能。

因此，按照本发明的某些方面，编码逻辑被配置成用信号指示或者在帧、片、或其它类似层次上以某些方式标识出要为从属于预测的模式使用哪一种预测方案。图8的图表中示出实现这个的一个示例性语法，它作为JVT中的一个示例。这种语法当然能够被修改并且在其它编码设计中不同。

对于图800中的示例性体系，P帧跳跃模式允许三种(3)可能的预测情况。在该例中，存在运动-拷贝预测模式、时间预测跳跃模式、以及零跳跃模式。三种情况的每一个都被分配到{0，1，2}中的一个值，它或者可用固定大小的码字来编码，在该例中u(2)＝2比特，或者甚至被熵编码(如，用UVLC或CABAC的e(v))。本领域的技术人员可以理解，也可以使用其它方式来传送这种信息。在图表800中，它说明了JVT内的图像层RBSP语法，外加B帧的自适应空间/空间-时间考虑(direct_mv_spatial)以及中间帧的自适应拷贝/运动-拷贝跳跃模式(copy_mv_spatial)。如果仅使用了这两种模式，则所定义的描述符可能仅占据1比特，因此u(n＝1)，但如果要使用更多情况(带有零偏的空间预测或平稳时间预测的考虑)，则可以分配更多比特(n＞1)或者甚至使用由e(v)为该参数定义的熵编码。

对于B帧而言，在该例中，可以为所有的直接模式运动参数将空间运动矢量预测用作一个模式，而将时间预测的参数用作第二模式。也可以考虑/包括未决美国临时专利申请序列号为60/385,965的申请中所描述的其它直接模式。编码逻辑用信号通知在帧或片层次上要使用哪种预测模式。例如，选择可以用基于RDO的方案(如，图9)来执行。在某些实现中，编码逻辑也可以使用明显地由放置在编码器和/或解码器上的特定要求引起的特定模式。在一个特定实例中，考虑到空间预测通常在计算上较简单(如，不需要分区、不需要存储运动矢量，并且独立于定时信息)，因此它是某些应用的较佳选择(如，图10)。

在其它实现中，其中这些问题不是问题，该组合可能导致进一步改进的编码性能。图11的示意图中示出已编码序列的一个实例。这里，P和B帧与场景变化一起示出。为相应的跳跃(Skip)或直接(Direct)模式宏块示出不同信号表示的P和B帧的箭头。还注意到，信号表示可以指示编码逻辑应怎样执行用于运动矢量编码的运动矢量预测，或者其它模式的预测(例如，未决美国临时专利申请序列号为60/376005和未决美国专利申请序列号为10/186284的申请中描述的直接(Direct)P)。

如图11所示，不同的帧为其相应的直接(B)和跳跃(P)模式用信号表示不同类型的预测。P_Z、P_T、和P_M为实例零定义了时间和空间的(运动-拷贝)预测，B_T和B_SP为直接模式定义了时间和空间的预测。

时间标记独立的直接模式，考虑到静态时间/空间块：

不同类型的预测，尤其对应B帧内的直接模式而言，可能更适用于不同类型的运动和序列。仅使用时间或空间预测在某些情况下可能提供可接受的性能，但在其它情况下，性能可能非常差。上述段落中描述的解决方式，或者未决美国临时专利申请序列号为60/385965中给出的解决方式可能提供更好的性能。

通过示例，给出了一种额外的情况，它看上去很有效并且组合了时间和空间预测符两者的性能，而简单地通过不要求分割而简单地保持空间预测符，并且/或者是时间独立的。

在特定实现中，空间预测可能比时间预测更有用(如，由于其属性)。因此，例如，空间预测被用作直接模式的主要预测。当来自时间预测符的运动信息和参考帧为零时，产生一种可能的例外。在这种情况下，相应直接模式块的运动信息和参考帧也被视作为零。而且，空间预测通过也考虑到空间零的偏置性和/或平稳子分区的空间零而被改进。由此，如果当前预测块的任何或某些相邻宏块或块具有零运动(或非常接近(例如，整数运动矢量为零))和参考帧，那么整个宏块，或其一部分也被视作具有零运动。这两个概念都有助于保护平稳背景，如果不引入这种条件，它尤其在运动对象的边缘引起相当的失真。

图12中示出流程图1200，它被简化为16×16宏块的情况。注意到这种为直接模式使用空间预测的概念也可被扩展到更小的块(例如，8×8或4×4)(或较大的块或其它形状的部分)。在动作1202中，空间预测符MV_a、MV_b和MV_c以及时间预测符MV_t被提供给动作1204，其中MV_Direct被设为Median(MV_a，MV_b，MV)(取中值)。在动作1206中，基于MV_t作出判决，或导致动作1208，其中MV_Direct被设为零，或导致附加判决的动作1210。作为动作1210的结果，MV_Direct或在动作1208中被设为零或保持不变，MV_Direct被输出。

在该说明中，已经给出了与用于编码图像、视频序列或其它类型的数据的码率失真优化(Rate Distortion Optimization)有关的若干概念。已说明了附加语法，它可在视频序列内被采用，通过允许若干可选预测情况而允许相当高的压缩效率，尤其对于如分别在P和B帧内的跳跃或直接模式而言，它们可在图像开始时被信号通知到。已经给出了B帧的高效时间标记独立的直接模式，它考虑到空间运动矢量预测以及平衡时间预测符。为了大大改进各种图像/视频/数据编码系统的性能，可以实现上述方法和装置的全部或一部分。

尽管本发明各种方法和装置的某些优选实现已经在附图中被说明并且在上述详细说明中被描述，然而可以理解，本发明并不限于这里所揭示的示例性实施例，而能作出许多重排、修改和替代，并且不背离本发明的精神。

Claims (16)

1.一种用于编码视频的方法，该方法包括：

对视频序列中的一片B图像，在时间运动矢量预测和空间运动矢量预测之间进行判决；以及

用信号指示表示该片的判决的片层次上的语法信息，所述用信号指示促进了在所述视频序列中选择性地应用与所述一片B图像相关的运动的空间预测，所述选择性地应用空间预测包括：

在解码器处，如果所述片层次上的语法信息指示出该片的时间运动矢量预测，则使用与该片相关的运动的时间预测；以及

在所述解码器处，如果所述片层次上的语法信息指示出该片的空间运动矢量预测，则使用与该片相关的运动的空间预测，其中，该片的当前部分的空间预测的运动基于多个相邻部分的运动矢量信息，所述空间预测包括在所述多个相邻部分中的每一个相邻部分的运动矢量信息包含设为零的多个运动矢量分量时，将所述当前部分的空间预测的运动设为零。

2.如权利要求1所述的方法，其特征在于，所述一片B图像包括多个宏块。

3.如权利要求2所述的方法，其特征在于，所述多个宏块是直接模式宏块。

4.如权利要求1所述的方法，其特征在于，所述一片B图像包括多个16×16的宏块。

5.如权利要求4所述的方法，其特征在于，所述多个16×16的宏块是直接模式宏块。

6.如权利要求5所述的方法，其特征在于，所述多个16×16的直接模式宏块包括4个8×8的子块。

7.如权利要求1所述的方法，其特征在于，多个相邻部分的运动矢量信息包括亮度运动矢量信息。

8.如权利要求1所述的方法，其特征在于，所述片的第二部分的空间预测的运动基于多个相邻部分的运动矢量信息，所述第二部分的空间预测包括基于所述多个相邻部分的运动矢量信息的中值预测。

9.一种用于解码视频的方法，该方法包括：

接收表示视频序列中一片B图像的时间运动矢量预测和空间运动矢量预测之间的判决的片层次上的语法信息，所述片层次上的语法信息促进了在所述视频序列中选择性地应用与所述一片B图像相关的运动的空间预测；

如果所述片层次上的语法信息指示出该片的时间运动矢量预测，则使用与该片相关的运动的时间预测；以及

如果所述片层次上的语法信息指示出该片的空间运动矢量预测，则使用与该片相关的运动的空间预测，其中，该片的当前部分的空间预测的运动基于多个相邻部分的运动矢量信息，所述空间预测包括在所述多个相邻部分中的每一个相邻部分的运动矢量信息包含设为零的多个运动矢量分量时，将所述当前部分的空间预测的运动设为零。

10.如权利要求9所述的方法，其特征在于，所述一片B图像包括多个宏块。

11.如权利要求10所述的方法，其特征在于，所述多个宏块是直接模式宏块。

12.如权利要求9所述的方法，其特征在于，所述一片B图像包括多个16×16的宏块。

13.如权利要求12所述的方法，其特征在于，所述多个16×16的宏块是直接模式宏块。

14.如权利要求13所述的方法，其特征在于，所述多个16×16的直接模式宏块包括4个8×8的子块。

15.如权利要求9所述的方法，其特征在于，多个相邻部分的运动矢量信息包括亮度运动矢量信息。

16.如权利要求9所述的方法，其特征在于，所述片的第二部分的空间预测的运动基于多个相邻部分的运动矢量信息，所述第二部分的空间预测包括基于所述多个相邻部分的运动矢量信息的中值预测。

Images