CN101175209B - 活动图像专家组视讯译码器可适性去区块滤波方法 - Google Patents

活动图像专家组视讯译码器可适性去区块滤波方法 Download PDF

Info

Publication number
CN101175209B
CN101175209B CN200710199635.9A CN200710199635A CN101175209B CN 101175209 B CN101175209 B CN 101175209B CN 200710199635 A CN200710199635 A CN 200710199635A CN 101175209 B CN101175209 B CN 101175209B
Authority
CN
China
Prior art keywords
block
value
filter
border
filtering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200710199635.9A
Other languages
English (en)
Other versions
CN101175209A (zh
Inventor
权度暻
沈美吟
郭宗杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN101175209A publication Critical patent/CN101175209A/zh
Application granted granted Critical
Publication of CN101175209B publication Critical patent/CN101175209B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162User input
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

一种用来降低一视讯流中的区块效应的方法,其包含有:依据该视讯流中多个邻近区块的区块编码类型,来决定出一滤波范围,其中该滤波范围用来指出在所述邻近区块之间一区块边界周围要进行滤波的像素的数目;以及依据该滤波范围,对该区块边界周围的多个像素进行滤波,以降低该视讯流中的区块效应。

Description

活动图像专家组视讯译码器可适性去区块滤波方法
本申请是申请日为2005年4月27日、申请号为200510068921.2、发明名称为“活动图像专家组视讯译码器可适性去区块滤波装置及方法”的发明专利申请的分案申请。 
技术领域
本发明涉及对以区块演算为基础的编码视讯(block-based codedvideo)进行后处理(post processing)的方法,特别是涉及一种用来移除MPEG编码视讯中的区块效应的滤波方法与相关装置。 
背景技术
随着通讯以及计算机技术的快速演进,很多种影像传送的应用都变的较为可行了。几乎所有相关的应用(包括视讯会议、手机或公众交换电话网络(PSTN)的视讯电话,网络视讯、以及数字电视广播等等……)都需要使用有效率的数据压缩方法,来将大量的影像信息转变成适合于较窄频宽的通讯信道,并同时使得再生(reconstructed)的数据中具有可以接受的影像品质。 
为了要对会随时间变化的视讯序列进行压缩,在时域(temporal domain)上以及在二维空间域(two dimensional spatial domain)上的冗余性(redundancy)都必须尽量减低。在MPEG(Moving Picture Experts Group)标准中,是使用离散余弦转换(discrete cosine transform,DCT)来降低在二维空间领域上的冗余性,并使用移动补偿(motion compensation)的方式来降低在时域上的冗余性。 
DCT是一种可以通过二维空间转换(two dimensional spatialtransformation)来降低数据间的相关性(correlativity)的方法。在一张影像被分割成多个区块(block)之后,每一个区块皆通过DCT被空间性地转换(spatially transformed)。经过空间性地转换的数据较容易会趋向 于一特定的方向,而只有趋向于该特定方向的数据群组,才会受到量化以及传送。 
在时域上连续的影像(picture)可以形成人类或是物体的移动状况。此一特性可应用于移动补偿方法之中,用以降低时域上的冗余性。在目前的影像中,相同于(或很类似于)之前的影像中对应区域的影像区域皆可以不必传送,故可以降低所需传送的数据量。而在不同张影像之间找寻最相似的区块的动作称为「移动估测」(motion estimation)。至于表现出移动的程度的位移量(displacement)则称为移动向量(motion vector,MV)。MPEG的标准则是使用合并了移动补偿以及离散余弦转换的方式来进行影像的压缩。 
当压缩的技术配合了DCT算法一同使用时,通常会在输入数据被取样成大小为8×8个像素的单位(可称为区块,block)之后再执行DCT转换,至于转换参数(transform coefficients)则会通过使用一量化表(quantization table)中的量化值(quantization values)的方式,对应于视觉特性(visual property)而量化得出。接下来,数据会通过运行长度编码(run length coding,RLC)的方式被压缩。而通过DCT处理的数据会从空间域(spatial domain)被转换至频域(frequency domain),并针对人眼所无法察觉的视觉特性进行量化压缩。举例来说,因为人眼对于高频的变化较不敏锐,因此高频系数会通过较大的步阶大小(step size)进行量化。如此一来,量化表可依据外部参数(external parameters)来决定出,例如显示特性(display characteristic)、观影距离(watchingdistance),和噪声的状况,以执行适当的量化工作。 
至于量化后的数据,具有相对较高频率的数据会以较短的码字(codeword)进行编码,具有相对较低频率的数据则会以较长的码字进行编码,至此数据即压缩完毕。 
图1显示了上述的MPEG压缩中,多个相邻的8×8像素区块100、102、104的示意图。在处理一移动影像时,这些区块100、102、104会被个别处理,以增大压缩率(compression ratio)以及编码效率(coding efficiency)。然而,这种「个别的」处理方式,会导致区块间的区块边界(block boundary)变的较为明显,而出现可察觉的「区块效应」(blocking artifacts)。在水平区块边界106以及垂直区块边界108皆会产生出方块式型样(square patterns,亦即区块效应),而容易被人眼所察觉出来。 
在低的编码位率(coding bit rates)时,对于移动影像的压缩而言,区块效应是个严重的问题。对于移动影像的编译码而言,实时性的运算是很重要的,很难在有限的运算能力之下有效地降低区块效应。因此,以现有的视讯压缩算法以及标准而言,在原始信息有漏失(loss)的情况下进行压缩,皆会出现可见的人为影像缺陷(visual artifacts),而在编码位率越低的情形下,这些不理想的人为影像缺陷就会变得更加地明显。 
在传统以区块演算为基础的(block-based)视讯压缩标准之中(例如MPEG-1与MPEG-2),区块效应是一种最容易被察觉出来的人为影像缺陷(artifact)。实际上区块效应有两种主要的成因,如前所述,一个主要的成因是,每个8×8的DCT区块皆是个别地被编码,而没有考虑到邻近区块间的相似性。在此一情形下,对于转换系数粗糙的量化将会导致区块边界上的不连续性(discontiunity)。而区块效应的第二个成因则是来自于「移动补偿式预测」(motion compensated prediction)。依据一参考帧(referenceframe)的编码像素数据所进行的移动补偿,会在所复制的区块的边界上造成不连续性。此外,存在于参考帧中的任何区块效应亦会通过复制的程序而遗留在当下所处理的帧之中。如此一来,由于移动补偿式预测的区块效应就有可能会发生在一8×8预测区块(predictive block)中的任何位置。 
因此,科技界陆续发展出几种可以在编码系统(对个别区块分别进行处理)中降低区块效应的方法。举例来说,可以将去区块化滤波器(de-blockingfilter)加在视讯编译码器(codec)中,以作为回路滤波器(loop filter)或是后制滤波器(post filter)。回路滤波器是在移动补偿回路中进行操作,因此滤波得出的帧会被用来作为后续编码帧的参考帧。然而,此种改变编码、译码的处理的方法却会增加所需传送的位的数量。此外,此种方法在很多情形下并不是可行的,因为所得出的数据流可能不再会兼容于所使用的标准。不同于回路滤波器,后制滤波器会在编码回路之外,对比特流进行处理。如此一来,后制滤波器即可与原本的视讯压缩标准一并使用。换句话说,后制滤波器可以通过多种可行的实施方式,很容易地整合于任何标准的译码器之中,无论所使用的标准为何。而去区块化滤波器的相关领域也经历了大幅的发展,以下所列出的则是相关的参考文献: 
[1]R.Rosenholtz and A.Zakhor,“Iterative procedures for reduction of blocking effects in transform image coding,”IEEE Trans.Circuits Syst.Video Technol.,vol.2,pp.91-95,Mar.1992. 
[2]Y.Yang,N.P.Galatsanos,and A.K.Katsaggelos,“Regularizedreconstruction to reduce blocking artifacts of block discrete cosinetransform compressed image,”IEEE Trans.Circuits Syst.VideoTechnol.,vol.3,pp.421-432,Dec.1993. 
[3]Y.Yang,N.P.Galatsanos,and A.K.Katasaggelos,“Projection-based spatially adaptive reconstruction ofblock-transform compressed images,”IEEE Trans.Image Processing,vol.4,pp.896-908,July 1995. 
[4]T.Meier,K.N.Ngan,and G.Grebbin,“Reduction of blockingartifacts in image and video coding,”IEEE Trans.Circuits Syst.VideoTechnol.,vol.9,pp.490-500,April 1999. 
[5]T.P.O’Rourke and R.L.Stevenson,“Improved imagedecompression for reduced transform coding artifacts,”IEEE Trans.Circuits Syst.Video Technol.,vol.5,pp.490-499,Dec.1995. 
[6]H.W.Park and Y.L.Lee,“A postprocessing method for reducingquantization effect in low bit-rate moving picture coding,”IEEETrans.Circuits Syst.Video Technol.,vol.9,pp.161-171,Feb.1999. 
[7]S.D.Kim,J.Yi,H.M.Kim,and J.B.Ra,“A deblocking filterwith two separate modes in block-based video coding”,IEEE Trans.Circuits Syst.Video Technol.,vol.9,pp.156-160,Feb.1999. 
[8]P.List,A.Joch,J.Lainema,G.Bjontegaard,and M.Karczewicz,“Adaptive deblocking filter,”IEEE Trans.Circuits Syst.VideoTechnol.,vol.13,pp.614-619,July 2003. 
有两种作法常被采用来降低区块效应:一种是反复式的作法(iterativeapproach,如参考文献[1]-[5]),另一种则是非反复式的作法(non-iterative approach,如参考文献[6]-[8])。有数种反复式的去区块化方法已应用于减轻区块效应,例如「凸集合投影法」(projection ontoconvex sets,POCS,如参考文献[1]-[3])、「马可夫随机场」(Markovrandom field,MRF,如参考文献[4])、以及「最大事后机率回复」(maximum a posteriori restoration,MAP restoration,如参考文献[5])。这些反复式的去区块化方法的主要缺点在于:其具有较高的运算复杂度,而很难使用于实时的视讯译码器之中。 
相反地(尤其在实时的应用之中),非反复式的去区块化方法大多都会使用可适性滤波器(adaptive filters)来降低区块效应。Park等人(如参考文献[6])即定义了一种「区块信号」(blocking semaphore),用来表现出MPEG-4译码器中区块效应的强度。此种区块信号是自「内视讯对象平面」(intra video object plane,intra-VOP)中的每个8×8区块的DCT领域所提取出。而「间视讯对象平面」(inter video object plane,inter-VOP)的信号则是自残余讯号(residual signal)以及参考视讯对象平面的信号所计算得出。接下来,一维的高倍低通滤波器(strong low pass filter)以及特殊的低倍滤波器(weak filter)则可以在水平与垂直区块边界上,可适性地应用于区块信号上。 
图2所示为Kim等人(如参考文献[7])所提出的去区块化滤波器(具有两种滤波模式)的模式决定程序(mode decision procedure)的示意图。该去区块化滤波器亦曾包含于MPEG-4视讯标准中的一信息区段(information section)之中。而其所提出的滤波器会沿着8×8像素区块之间的水平(以及垂直)区块边界上执行一维滤波(one dimentionalfiltering)。在步骤202中,通过检视区块边界200周边的区域影像特性(local image characteristics)来决定区块边界202是不是一个平滑区域(smooth region)。在步骤204与206中,则执行了一种评估(assessment)程序,以判断区块边界200是不是一个应该表现于影像之中的真实边缘(realedge)。若于平滑区域模式(smooth region mode,其属于平坦区(flat region)的一种)212之下,区块边界220不是一个真实边缘,则会有一个高倍的九个系数的平滑滤波器(strong nine-tap smoothing filter)会被应用于区块的内的像素之上,以及在区块边界上的像素之上。更明确地说,此一高倍的九个系数的滤波器会被应用于像素v1至v8之上。在复杂区域(complexregion)所属的预设区域模式(default region mode)208之下,则会有使用4点式(4-pt)DCT作为核心的频率分析技术,用来仅对在区块边界上的像素v4与v5进行滤波。至于若区块边界200代表的是一真实边缘(步骤210与214),则不会进行滤波的动作。前述由Kim等人所提出的去区块化方法可 以在低位率之下让译码影像具有高的主观品质(high subjective quality);然而,在较高的位率之下,其却会让真实边缘平滑化,并严重地降低客观品质(objective quality)(由于在平滑区域模式下所使用的高倍低通滤波器)。此外,此种作法方法并没有考虑到在间编码宏区块(inter-coded MB)中,由于移动补偿预测所产生的区块效应。 
List等人(如参考文献[8])则提出了一种复杂的回路内(in-loop)去区块化滤波器,可应用于H.264/MPEG-4AVC视讯编码标准之中。此一回路内去区块化滤波器会沿着4×4区块(这是H.264视讯编译码器的基本编码单位)的区块边界执行一维滤波。而这些4×4区块边界会被指定介于0与4之间的边界强度(Bs)参数。Bs值等于0的区块边界不会被滤波,Bs值介于1与3之间的区块边界则会被一特殊形式的低倍滤波器所滤波,至于Bs值等于4的区块边界则会被一高倍低通滤波器所滤波。List等人所提出的回路内去区块化方法可以增进主观与客观品质(特别是在低位率的情形下)。然而,由于其具有较高的可适性本质,此方法亦会提高所需的运算复杂度。即使在对滤波算法的速度最佳化这点花费了很多的努力,滤波器依旧会占用H.264/MPEG-4AVC译码器中大约三分之一的运算复杂度。 
因此,由于上述的各点限制,大多的现有技术仅会适用于在低位率之下的去区块化滤波工作,并没有办法在较高的位率之下提供可接受的结果。然而,由于MPEG的应用越来越广泛(例如DVD与数字电视),对于高位率的MPEG编码视讯媒体所能使用的去区块化滤波技术的需求也变得格外地重要。 
发明内容
因此本发明的目的之一,在于提供一种可使用于一MPEG视讯译码器中,具有低运算复杂度、可在较广的位率范围内处理帧与场编码影像的可适性去区块化滤波器以及相关方法,以解决现有技术所面临的问题。 
本发明的一个方面披露了一种用来降低一视讯流中的区块效应的方法,其包含有:依据该视讯流中多个邻近区块的区块编码类型,来决定出一滤波范围,其中该滤波范围用来指出在所述邻近区块之间一区块边界周围要进行滤波的像素的数目;以及依据该滤波范围,对该区块边界周围的多个像素进行滤波,以降低该视讯流中的区块效应。 
本发明的另一个方面还披露了一种用来降低一视讯流中的区块效应的 方法,其包含有:计算用以指出该视讯流中多个邻近区块之间一区块边界的区域动态的一动态值;依据该动态值决定出该区块边界的一区域模式;以及依据该区域模式,自多个(至少三个)滤波器中选择出其中一滤波器来对该区块边界周围的多个像素进行滤波,以降低区块效应。 
本发明的另一个方面还披露了一种用来降低一视讯流中的区块效应的方法,其包含有:计算一动态值,其中该动态值代表该视讯流中多个邻近区块间一区块边界周围的区域动态;依据该动态值来决定该区块边界的一区域模式;以及依据该区域模式以及所述邻近区块的量化参数QP,来对该区块边界周围的多个像素进行滤波。其中,滤波得出的像素值还进一步依据所述邻近区块的量化参数来修正,或依据所述邻近区块的量化参数来决定使用对称滤波器或非对称滤波器对所述像素进行滤波。 
本发明的另一个方面还披露了一种用来降低一视讯流中的区块效应的方法,其包含有:计算一动态值,其中该动态值代表该视讯流中多个邻近区块间一区块边界周围的区域动态;依据该动态值来决定该区块边界的一区域模式;至少依据所述邻近区块的量化参数QP间的差异,可适性地决定出多个阈值;以及依据该区域模式以及该多个阈值,对该区块边界周围的多个像素进行滤波以降低区块效应。 
本发明的另一个方面还披露了一种用来降低一视讯流中的区块效应的方法,其包含有:对该视讯流中多个邻近区块之间的一区块边界决定出一区域模式;以及依据该区域模式,对该区块边界周围的多个像素进行滤波以降低区块效应。其中,对该区块边界周围的所述像素进行滤波的步骤包含有:先对位于该区块边界上的像素进行滤波,再对并未紧邻于该区块边界的像素进行滤波。 
本发明的另一个方面还披露了一种用来降低一视讯流中的区块效应的方法,其包含有:计算一动态值,其中该动态值代表该视讯流中多个邻近区块之间一区块边界周围的区域动态;依据该动态值来决定该区块边界的一区域模式;以及依据该区域模式,自多个滤波器中选择出其中一滤波器来对该区块边界周围的多个像素进行滤波,以降低区块效应。其中,所述滤波器中至少有一滤波器为由一四点式阿达码转换所构成的一维滤波器。 
本发明的另一个方面还披露了一种用来降低一视讯流中的区块效应的方法,其包含有:计算一动态值,其中该动态值代表该视讯流中多个邻近区 块之间一区块边界周围的区域动态;依据该动态值来决定一区域模式;决定出多个阈值,其中该方法将一使用者定义偏移UDO列入考虑,以依据该UDO值来调整所述阈值的大小;以及依据该区域模式以及所述阈值来对该区块边界周围的多个像素进行滤波。 
本发明的另一个方面还披露了一种后处理去区块化滤波器,其包含有:一阈值决定单元,用来至少依据所接收的一视讯流中多个邻近区块间量化参数QP的差异,来可适性地决定多个阈值,并依据一使用者定义偏差(UDO)来调整所述阈值的大小;一内插单元,用来于该视讯流包含有交错式视讯时,执行一内插运算以估计出一交错式场中的像素值;以及一去区块化滤波单元,用来决定出一滤波范围,其中该滤波范围用来指出在所述邻近区块之间一区块边界周围要进行滤波的像素的一最大数目,并依据该区块边界周围的区域动态来决定出一区域模式,并自多个(至少三个)滤波器中选择出其中一滤波器来对该区块边界周围的多个像素进行滤波以降低区块效应,以及依据该滤波范围、该区域模式、以及所选择出的该滤波器,来对该区块边界周围的多个像素进行滤波。其中:该去区块化滤波单元还依据所述邻近区块的量化参数QP来更加精确地修正滤波得出的像素值,或是依据所述邻近区块的量化参数QP,使用对称或非对称滤波器来对所述像素进行滤波;该去区块化滤波单元先对位于该区块边界上的像素进行滤波,再对并未紧邻于该区块边界的像素进行滤波;以及所述滤波器中至少有一个是由一四点式阿达码转换所构成的一维滤波器。 
附图说明
图1为现有技术中多个邻近8×8像素区块的示意图。 
图2为现有技术中具有两种滤波模式的去区块化滤波器所使用的模式决定程序的流程图。 
图3为本发明包含有一后处理去区块化装置的一视讯译码器的示意图。 
图4为本发明中一水平8×8区块边界以及像素索引的示意图。 
图5为本发明中一垂直8×8区块边界以及像素索引的示意图。 
图6为图3之后处理装置所使用的模式决定程序的流程图。 
图7为一区块边界在被F-1滤波器滤波之前的一维示意图。 
图8为图7的区块边界在被F-1滤波器滤波之后的一维示意图。 
图9为用来表示使用非对称滤波器来对v7与v8滤波可以达到近似于当两个邻近区块皆通过相同的QP值所编码得出的情形。 
图10为使用对称F-2滤波器来对属于具有相同QP值的第一与第二8×8区块的像素v7与v8滤波的示意图。 
图11为使用非对称F-2滤波器来对属于具有不同QP值的第一与第二8×8区块的像素v7与v8滤波的示意图。 
图12为使用对称F-3滤波器来对属于具有相同QP值的第一与第二8×8区块的像素v7与v8滤波的示意图。 
图13为使用非对称F-3滤波器来对属于具有不同QP值的第一与第二8×8区块的像素v7与v8滤波的示意图。 
图14为用来对第一类边界进一步执行模式决定程序的流程图。 
图15为在区域模式被决定为M1-INTRA时去区块化滤波单元针对第一类区块边界所执行的流程图。 
图16为依据图15所示的流程图进行滤波前后区块边界周围像素的变化状况。 
图17为在区域模式被决定为M2-INTRA时去区块化滤波单元针对第一类区块边界所执行的流程图。 
图18为依据图17所示的流程图进行滤波前后区块边界周围像素的变化状况。 
图19为在区域模式被决定为M3-INTRA时去区块化滤波单元针对第一类区块边界所执行的流程图。 
图20为依据图19所示的流程图进行滤波前后区块边界周围像素的变化状况。 
图21为用来对第二类边界进一步执行模式决定程序的流程图。 
图22为在区域模式被决定为M1-INTER时去区块化滤波单元针对第二类区块边界所执行的流程图。 
图23为依据图22所示的流程图进行滤波前后区块边界周围像素的变化状况。 
图24为在区域模式被决定为M2-INTER时去区块化滤波单元针对第二类区块边界所执行的流程图。 
图25为依据图24所示的流程图进行滤波前后区块边界周围像素的变化状况。
图26为在区域模式被决定为M3-INTER时去区块化滤波单元针对第二类区块边界所执行的流程图。 
图27为依据图26所示的流程图进行滤波前后区块边界周围像素的变化状况。 
图28为在交错式视讯中对应于一单一帧的二场影像中一水平边界的示意图。 
图29为本发明用来作为对场编码影像中的水平边界滤波的平均运算的示意图。 
附图符号说明 
100、102、104、602、604    区块 
106、400                   水平区块边界 
108、500                   垂直区块边界 
200、600                   区块边界 
300                        视讯译码器 
302                        后处理去区块化装置 
304                        影像信息取出和缓冲单元 
306                        影像信息重新排序单元 
308                        后处理单元 
310                        标准MPEG译码器 
312                        QP值取出单元 
314                        移动向量取出单元 
316                        区块类别取出单元 
318                        未来影像信息储存单元 
320                        之前影像信息储存单元 
326                        阈值决定单元 
328                        去区块化滤波单元 
330                        内插单元 
322                        之前影像储存单元 
324                        未来影像储存单元 
340                缓冲器 
342                可变长度码译码器 
344                反量化器 
346                加法单元 
348                移动补偿单元 
具体实施方式
图3所示为本发明的视讯译码器的一实施例示意图。本实施例的视讯译码器300包含有一后处理去区块化装置(post-processing de-blockingdevice)302。如前文所述,当去区块化滤波器被通过后处理去区块化装置302的形式整合在视讯译码器300之中时,后处理去区块化装置302会在译码回路(decoding loop)之后对已译码帧(decoded frame)进行处理。在图1中,后处理去区块化装置302包含有三个单元,分别是一影像信息取出和缓冲单元(picture-information extraction and buffering unit)304、一影像信息重新排序单元(picture-information reordering unit 306)306、以及一后处理单元(post-processing unit)308。后处理单元308是通过不改变一输入比特流I的比特流的语法(bit stream syntax)的方式,与一标准MPEG译码器310进行阶式连接(cascade)。标准MPEG译码器310用来接收输入比特流I,其包含有一缓冲器340、一可变长度码(variablelength code,VLC)译码器342、一反量化器(inverse quantizer)344、一加法单元346、一移动补偿单元348、一之前影像储存单元(previouspicture storage unit)322、以及一未来影像储存单元(future picturestorage unit)324。由于标准MPEG译码器310的运作原理为熟悉MPEG解码的技术人员所熟知,故在此不多作赘述。 
 影像信息取出和缓冲单元304还包含有三个子单元,分别是一QP值取出单元312、一移动向量取出单元314、以及一区块类别取出单元316。QP值取出单元312用来取出各个宏区块(macroblock,MB)的QP值,并将其储存于一第一影像信息缓冲器之中。对于一内编码(intra-coded)或间编码(inter-coded)的MB而言,QP值可以直接自比特流之中得出。然而,被略过的MB(skipped MB)的QP值则无法自比特流之中取得。因此,对于被略过的MB而言,其QP值是通过参考帧中的MB的QP值所估计得出。当被略过的MB为一P画面时,其QP值通过前方(forward)参考帧中的MB的QP值所估计得出;当被略过的MB为一B画面时,其QP值通过对前方参考帧以及后方(backward)参考帧中的MB的QP值取平均值的方式,所估计得出。移动向量取出单元314取出各MB的移动向量指标(MVI)(而非取出各MB的移动向量),并将其储存于一第二影像信息缓冲器之中。MVI的计算方式则遵循以下准则:若水平或垂直移动的其中之一大于2×mv个像素,则MVI的值设定为2。当移动大于mv,则MVI的值设定为1。其中,mv的值为影像大小的函数,定义如下:若影像大小小于CIF格式,则mv的值设定为1,否则,mv的值则设定为2。受缓冲的MVI则可用来决定出后处理去区块化装置302所使用的阈值。区块类别取出单元316取出8x8区块编码类型,并将其储存于一第三影像信息缓冲器。而区块编码类型可以是内编码的、间编码的、或被略过的,且区块编码类型可以直接自比特流中得出。
影像信息重新排序单元306包含有一未来影像信息储存单元318以及一之前影像信息储存单元320。影像信息重新排序单元306用来对储存于影像信息取出和缓冲单元304中三个影像信息缓冲器之内的数据进行重新排序(reorder)。至于进行重新排序的方式则相同于标准MPEG译码器310中的影像重新排序单元(之前影像储存单元322以及未来影像储存单元324)所使用的方式。而需要对影像信息进行缓冲与重新排序的原因则在于:去区块化装置302是操作于译码回路之外。因此,所需的信息(例如储存于前述三个影像信息缓冲器中的数据),就必须被保留且传送至后处理单元308。 
后处理单元308包含有三个子单元,分别是一阈值决定单元326、一内插单元330、以及一去区块化滤波单元328。阈值决定单元326使用接收自影像信息取出和缓冲单元304的信息,来决定出用于一模式判断(modedecision)与一滤波判断(filtering decision)中适当的阈值。至于其所决定出的阈值则可以修改成适用于基于各种不同的编码信息(包括QP值、QP值的绝对值、影像编码种类、以及区块编码类型)的滤波操作。请注意,其它未提到的类型的编码信息亦可以用来决定出前述的阈值。内插单元330仅用来处理场编码影像(field-coded picture),以及使用简单的内插技术来估计出对向场(opposite field)的像素值,以使得去区块化滤波器328可以在不经过太多修改的情形下,同时应用于帧编码影像(frame-codedpicture)以及场编码影像上。去区块化滤波单元328执行可适性滤波,以移除每个8x8区块边界周围的区块效应。在去区块化滤波单元328中,区块边界首先会依据区块编码类型被区分为两个类别,然后再于各个类别之中,分类成三种区域模式的其中之一。因此,总共会有六种模式可以选择用来进行去区块化的工作。不同的一维滤波器则会依据不同的模式应用于区块边界上。而后处理单元302的实施在后文中会有更详尽的说明。
请参阅图4与图5。图4为本发明的一水平8x8区块边界400以及像素索引(pixel index)(v0至v15)的示意图。图5则为本发明的一垂直8x8区块边界500以及像素索引(v0至v15)的示意图,其中v1-v15是垂直或水平依次相邻的像素,且v7、v8之间是水平或垂直区块边界。若两个水平或垂直紧邻的区块分属于不同的MB,则此二区块可以通过不同的QP值(QP1与QP2)进行编码。于本发明中,每当已译码帧受滤波时,首先会先执行一维的水平滤波,接下来再执行一维的垂直滤波。亦即,一组一维的去区块化滤波器首先会应用在垂直边界,接下来再被应用于水平边界。此外,每个受滤波的像素值则会再被用于后续的滤波运算之中。 
图6所示为图3之后处理单元308所使用的模式决定程序(modedecision procedure)的流程图的一例。如图6所示,一区块边界600在受滤波前会先被分类为六种模式的其中之一。区块边界600可以是如图5所示的垂直区块边界500或是图4所示的水平区块边界400。在步骤610中,先检视区块边界600(由一第一8x8区块602以及一邻近8x8区块604所形成),以判断第一区块602与第二区块604中是否有至少一区块是内编码区块。若此二区块中有至少一区块是内编码区块,则区块边界600将被分类为第一类边界,否则,区块边界600将被分类为第二类边界。这些类别将会决定去区块化滤波单元328的一滤波范围。对第一类边界而言,区块边界600周围将会有至多四个像素会受到检视以及滤波;对第二类边界而言,区块边界600周围则将会有至多八个像素会受到检视以及滤波。若区块602、604中有一个是内编码区块,则在步骤612与614中,对应于区块边界600周围的像素值的一动态值(activity value)将会被用来决定出一区域模式。相似地,若区块602、604都不是内编码区块,则在步骤616与618中,前述的动态值亦会被用来决定出区域模式。依据本发明,对于每一种边界类别,都会有三个不同种类的区域模式,分别是:动态区域(active region,M1-INTRA与M1-INTER),平滑区域(smooth region,M2-INTRA与M2-INTER),以及静止区域(dormant region,M3-INTRA与M3-INTER)。动态区域对应于区块边 
界600周围变化剧烈的像素值;平滑区域对应于区块边界600周围变化不大的像素值;静止区域则对应于区块边界600周围完全不变的像素值。 
为了要决定出区域模式,以下的方程式将可用来计算区块边界600周围的像素值的绝对差异值总合(sum of absolute difference),以作为前述的动态值ACTIVITY: 
ACTIVITY = Σ l = 4 6 | v l - v l + 1 | + Σ l = 8 10 | v l - v l + 1 | - - - ( 1 )
此时不同的阈值,用来区别不同的边界类别。若动态值ACTIVITY大于一第一阈值TH0_INTRA,区块边界600将会被认定为在动态区域之中;若动态值ACTIVITY大于一第二阈值(该第二阈值可为一固定的默认值,举例来说,该第二阈值可以等于6)且小于等于第一阈值TH0_INTRA,区块边界600将会被认定为在平滑区域之中;若动态值ACTIVITY小于等于第二阈值,区块边界600将会被认定为在静止区域之中。在像素值大致维持固定值的「平坦区」(flat region)中,即使只是很小的像素值变化,都会造成人眼可见的恼人的区块效应。为了这个问题,现有技术是对平坦区采用一高倍的(strong)低通滤波器。然而,在高倍的低通滤波器在低位率的条件下提升主观品质的同时,它亦会在高位率的条件下降低影像的锐利度(sharpness)并使其客观品质退化。然而,若只对平坦区采用低倍的(weak)低通滤波器,即使能在高位率的条件下提升影像的客观品质,在低位率的条件下的主观品质却没有办法满足需求。因此,本发明是将平坦区更进一步区分为两个类别(平滑区与静止区)并对于不同类别的区域采用不同的滤波方式。藉由控制低通滤波的高、低倍程度,本发明可以很容易地在主观品质与客观品质之间取得适当的平衡点。 
对于动态区域(M1-INTRA与M1-INTER),一特殊的滤波器F-1将可用来对区块边界600周围的像素进行滤波。对于平滑区域(M2-INTRA与M2-INTER),一组低倍的低通滤波器F-2将可应用于区块边界600。对于静止区域(M3-INTRA与M3-INTER),一组高倍的低通滤波器F-3则会被应用于区块边界600。对于这三种滤波器F-1、F-2、与F-3,在后文则会有更详尽的说明。 
特殊的滤波器F-1是由一四点式正交阿达码转换核心(4-pt orthogonalHadamrd Transform(HT)kernel)所构成。此时频率分析的技术将可用来取代低通滤波的程序,因为低通滤波程序会平滑化(smooth out)动态区域 中的真实边缘。假设F-1被用来对两个像素v7与v8进行滤波,则为了要对这两个像素进行滤波,正交HT核心将可用来对四个像素v6、v7、v8、v9进行分析。假设c0、c1、c2、c3为HT的系数。则HT与反HT将会如以下所示: 
c 0 c 1 c 2 c 3 = 1 2 1 1 1 1 1 1 - 1 - 1 1 - 1 - 1 1 1 - 1 1 - 1 v 6 v 7 v 8 v 9 , v 6 v 7 v 8 v 9 = 1 2 1 1 1 1 1 1 - 1 - 1 1 - 1 - 1 1 1 - 1 1 - 1 c 0 c 1 c 2 c 3
于本发明中,高频成分c3是在反HT执行之前先被减低成0,以移除区块效应,而只有像素值v7与v8会产生改变(因为受到滤波),改变后的v7’与v8’将如以下所示: 
v 7 ′ = 1 2 1 1 - 1 - 1 c 0 c 1 c 2 c 3 ′ , v 8 ′ = 1 2 1 - 1 - 1 1 c 0 c 1 c 2 c 3 ′ 这里c3′=c3-Δ=0_Δ=c3
如此一来,即可通过以下的方程式,在没有真正执行反HT程序的情形下,得出滤波后的结果,亦即v7’与v8’: 
v7′=v7+Δ1,v8′=v8-Δ2这里 Δ 1 = Δ 2 = Δ 2 - - - ( 2 )
除此之外,本发明还使用了一加权修剪技术(weighted clippingtechnique)来更加精确地修正(refine)这些滤波后所得出的值。假设两个加权因子(weighting factor)为QP值的函数并以WT1与WT2来代表,其值可通过以下的方程式,依据两个邻近区块的QP值计算得出: 
WT1=QP1/QP1+QP2,WT2=QP2/QP1+QP2                     (3) 
在上述方程式中,QP1与QP2为包含有边界像素v7与v8的MB的量化参数。通过此一修剪技术以及两个加权因子,Δ1与Δ2可藉由以下的方程式更加精确地修正: 
v7′=v7+Δ1,v8′=v8-Δ2这里 
Δ1=clip(Δ·WT1,0,(v8-v7)·WT1),Δ2=clip(Δ·WT2,0,(v8-v7)·WT2)  (4) 
and clip(x,l,u)clips x to a value between l and u 
请参阅图7与图8。图7为一区块边界在经由F-1滤波器滤波之前的一维示意图。图8为该区块边界在经由F-1滤波器滤波之后的一维示意图。在图7与图8之中所示的区块边界是由二邻近区块所构成(此二邻近区块的QP值分别为QP1与QP2)。在此一例子中,QP1大于QP2。较大的QP值代表用使用了较大的步阶大小(step size)来对像素值进行量化,因此对应于较大 QP值的像素值的误差值,一般而言也会较大。如此一来,对应于较小QP值的像素值通常可视为是较精准的像素值。通过上述的加权修剪技术,以较大QP值所量化得出的像素相较于以较小QP值所量化得出的像素而言,在经过滤波之后,值的改变量就会比较大。此种情形可从图8看出,像素v7的改变量Δ1大于像素v8的改变量Δ2。这是一个不错的现象,因为较精准的像素值(通过较低的QP值所取样得出)经由F-1滤波器滤波后的改变量会比较小,因此所得出的结果就会较为准确。 
对于应用于平滑区域(M2-INTRA与M2-INTRER)的一组低倍的低通滤波器F-2而言。若QP1等于QP2,则像素v7与v8像素将可通过如以下方程序所定义的5个系数的对称低通滤波器[1 3 8 3 1]/16所滤波: 
v7′=(v5+3·v6+8·v7+3·v8+v9)/16,v8′=(v6+3·v7+8·v8+3·v9+v10)/16   (5) 
然而,若QP1不等于等于QP2,则像素v7与v8像素将分别通过如以下方程序所定义的5个系数的非对称低通滤波器[1 2 8 3 2]/16与[2 3 8 2 1]/16所滤波: 
v7′=(v5+2·v6+8·v7+3·v8+2·v9)/16,v8′=(2·v6+3·v7+8·v8+2·v9+v10)/16  (6) 
图9所示为对当两个邻近区块是使用不同的QP值所编码得出时,使用非对称滤波器对v7及v8滤波的示意图。使用对称与非对称式的F-2滤波器的主要原因,在于当形成区块边界600的两个邻近区块经由不同的QP值所编码得出时,区块效应一般而言会变的更为明显。而藉由在滤波程序中使用不同的加权因子,即可中和掉(neutralize)不同的QP值所造成的效应。举例来说,如图9所示,假设两个邻近区块分别是通过等于15的QP值(QP1)以及等于17的QP值(QP2)所编码得出,则使用非对称滤波器来对v7与v8 进行滤波,可以达到相似于两个邻近区块都是通过等于16的QP值所编码得出的情形。 
请参阅图10与图11。图10所示为在像素v7与v8所处的8×8区块具有相等的QP值时,以5个系数的低通滤波器[1 3 8 3 1]/16来作为对称F-2滤波器,以对像素v7与v8进行滤波的示意图。如图10所示,对称F-2滤波器会藉由上述的方程式(5),先对像素v7滤波,再对像素v8滤波。图11所示为在像素v7与v8所处的8×8区块具有不同的QP值时,以5个系数的低通滤波器[1 2 8 3 2]/16以及[2 3 8 2 1]/16作为非对称F-2滤波器,来对像素v7与v8进行滤波的示意图。相似于图10,在图11中,非对称F-2滤波 器会藉由上述的方程式(6),先对像素v7滤波,再对像素v8滤波。请注意,在使用非对称滤波器时,会比使用对称滤波器时,对两个邻近的8×8区块设定稍大一点的权重(weighting)。直觉上看来,此举可以得到近似于两个邻近的8×8区块具有相同的QP值时(如图9所示)的效果。 
至于一组高倍的低通滤波器F-3则可应用于静止区域上(M3-INTRA与M3-INTER)。若QP1相等于QP2,则一5个系数的对称低通滤波器[1 2 2 2 1]/8(如以下的方程式所示)将可用来作为F-3滤波器,以对像素v7与v8进行滤波: 
v′7=(v5+2·v6+2·v7+2·v8+v9)/8,v′8=(v6+2·v7+2·v8+2·v9+v10)/8  (7) 
然而,若QP1不等于QP2,则5个系数的低通滤波器[1 1 2 2 2]/8与[2 2 2 1 1]/8(如以下的方程式所示)将可用来作为非对称F-3滤波器,以对像素v7与v8进行滤波: 
v′7=(v5+v6+2·v7+2·v8+2·v9)/8,v′8=(2·v6+2·v7+2·v8+v9+v10)/8  (8) 
请参阅图12与图13。图12所示为在像素v7与v8所处的8×8区块具有相等的QP值时,以5个系数的低通滤波器[1 2 2 2 1]/8来作为对称F-3滤波器,以对像素v7与v8进行滤波的示意图。如图12所示,对称F-3滤波器会藉由上述的方程式(7),先对像素v7滤波,再对像素v8滤波。图13所示为在像素v7与v8所处的8×8区块具有不同的QP值时,以5个系数的低通滤波器[1 1 2 2 2]/8以及[2 2 2 1 1]/8作为非对称F-3滤波器,来对像素v7与v8进行滤波的示意图。相似于图12,在图13中,非对称F-3滤波器会藉由上述的方程式(8),先对像素v7滤波,再对像素v8滤波。如前所述,在使用非对称滤波器时,会比使用对称滤波器时,对两个邻近的8×8区块设定稍大一点的权重(weighting)。直觉上看来,此举可以得到近似于两个邻近的8×8区块具有相同的QP值时(如图12所示)的效果。 
图14所示为对第一类区块边界进行模式决定程序的流程图的一例。对于第一类区块边界而言,区块边界600周围会有至多四个像素(v6至v9)受到滤波。如先前在图6所示,在步骤610中,若第一区块602与第二区块604中有至少一个是内编码区块,则区块边界600将被判断为第一类区块边界。图14更详细地指明了用来决定出区域模式所需要的各个阈值。在步骤612中,若依据上述的方程式(1)所计算出的动态值ACTIVITY大于第一阈值TH0_INTRA,则区域模式将被决定为动态区域模式。对于第一类区块边界而 言,第一阈值TH0_INTRA可用来区别动态区域与平坦区域,其为可以依据本发明可适性改变的变量值(至于决定此一阈值的方式在后文会有详述)。若动态值ACTIVITY小于或等于第一阈值TH0_INTRA,则动态值ACTIVITY将会再与一固定的阈值(亦即前文所述的第二阈值,在本实施例中其值固定为6)进行比较。此一固定的阈值6可用来将平坦区域更进一步区分为平滑区域与静止区域,以控制低通滤波工作时所使用的强度(亦及滤波倍率)。若ACTIVITY大于固定的阈值6,则区域模式将会被决定为平滑区域模式;另一方面,若ACTIVITY小于等于固定的阈值6,则区域模式将会被决定为静止区域模式。此处以6作为此一固定阈值主要是依据多次实验所得出的结果,然而,本发明并不以此为限,在实施上,亦可以使用其它大小的数值来作为此一固定的阈值。 
请参阅图15与图16。图15所示为当区域模式为M1-INTRA时,去区块化滤波单元328对第一类区块边界600所执行的运算的流程图。图16所示则为区块边界600周围的像素在经由图15所示的流程图进行滤波时的变化状态。图15所示的流程图包含有以下步骤: 
步骤1500:计算HT中的高频成分c3:c3=(v6-v7+v8-v9)/2。定义一第四阈值TH1_INTRA,并比较第四阈值TH1_INTRA与c3以检测区块边缘是否真的是一个必须表现在影像之中的真实边缘,其中,第四阈值TH1_INTRA为一变数阈值。若高频成分c3大于等于TH1_INTRA,则区块边缘将被假设是一个真实边缘,因此不会受到滤波。否则,即使用前述的F-1滤波器来对v7 与v8进行滤波。若在本步骤中有进行滤波,则进入步骤1502。 
步骤1502:重新计算高频成分c3:c3=(v5-v6+v7’-v8)/2,其中v7’为步骤1500的滤波结果。若c3小于QP1,则使用F-1滤波器来对v6与v7’滤波。在本步骤中,由于v6与v7’通过相同的量化参数QP1所编码得出,因此方程式(3)中所使用的两个加权因数都设定为1/2。接下来,进入步骤1504。 
步骤1504:重新计算高频成分c3:c3=(v7”-v8’+v9-v10)/2,其中v7”为步骤1502的滤波结果,v8’则为步骤1500的滤波结果。若c3小于QP2,则使用F-1滤波器来对v8’与v9滤波。在本步骤中,由于v8’与v9是通过相同的量化参数QP2所编码得出,因此方程式(3)中所使用的两个加权因数都设定为1/2。 
请参阅图17与图18。图17所示为当区域模式为M2-INTRA时,去区块化滤波单元328对第一类区块边界600所执行的运算的流程图。图18所示则为区块边界600周围的像素在经由图17所示的流程图进行滤波时的变化状态。图17所示的流程图包含有以下步骤: 
步骤1700:计算一差异值diff:diff=|v7-v8|。定义一第五阈值TH2_INTRA,并比较第五阈值TH2_INTRA与差异值diff,以检测区块边缘是不是一个真实边缘。第五阈值TH2_INTRA为一变数阈值,其值可依据本发明可适性地决定出来。使用第五阈值TH2_INTRA的目的类似于使用第四阈值TH1_INTRA的目的。若diff小于第五阈值TH2_INTRA,且ACTIVITY大于固定的阈值(6),则使用前述的F-2滤波器来对v7与v8滤波。若QP1等于QP2,则使用对称F-2滤波器;否则,若QP1不等于QP2,则使用非对称F-2滤波器。若在本步骤中有执行滤波程序,则进入步骤1702。 
步骤1702:重新计算差异值:diff=|v5-v7’|,其中v7’为步骤1700的滤波结果。若diff小于QP1,且ACTIVITY大于固定的阈值(6),则使用低倍的对称F-2滤波器来对v6滤波,亦即: 
v′6=(v4+3·v5+8·v6+3·v7′+v8′)/16 
步骤1704:重新计算差异值:diff=|v8’-v10|,其中v8’为步骤1702的滤波结果。若diff小于QP2,且ACTIVITY大于固定的阈值(6),则使用低倍的对称F-2滤波器来对v9滤波,亦即: 
v′9=(v7′+3·v8′+8·v9+3·v10+v11)/16 
请参阅图19与图20。图19所示为当区域模式为M3-INTRA时,去区块化滤波单元328对第一类区块边界600所执行的运算的流程图。图20所示则为区块边界600周围的像素在经由图19所示的流程图进行滤波时的变化状态。图19所示的流程图包含有以下步骤: 
步骤1900:计算一差异值diff:diff=|v7-v8|。比较第五阈值TH2_INTRA与差异值diff,以检测区块边缘是不是一个真实边缘。若diff小于第五阈值TH2_INTRA,且ACTIVITY小于或等于固定的阈值(6),则使用F-3滤波器来对v7与v8滤波。若QP1等于QP2,则使用对称F-3滤波器;若QP1不等于QP2,则使用非对称F-3滤波器。若在本步骤中有执行滤波程序,则进入步骤1902。 
步骤1902:重新计算差异值:diff=|v5-v7’|,其中v7’为步骤1900的滤波结果。若diff小于QP1,且ACTIVITY小于或等于固定的阈值(6),则使用高倍的对称F-3滤波器来对v6滤波,亦即: 
v′6=(v4+2·v5+2·v6+2·v7′+v8′)/8 
步骤1904:重新计算差异值:diff=|v8’-v10|,其中v8’为步骤1902的滤波结果。若diff小于QP2,且ACTIVITY小于或等于固定的阈值(6),则使用高倍的对称F-3滤波器来对v9滤波,亦即: 
v′9=(v7′+2·v8′+2·v9+2·v10+v11)/8 
图21所示为对第二类区块边界进行模式决定程序的流程图的一例。如前所述,由于移动补偿预测的关系,区块效应可能会存在于间编码区块中的任何位置,因此,对于第二类区块边界而言,区块边界600周围会有至多八个像素(v4至v11)受到滤波。如先前在图6所示,在步骤610中,若第一区块602与第二区块604皆不是内编码区块,则区块边界600将被判断为第二类区块边界。图21更详细地指明了用来决定出区域模式所需要的各个阈值。在步骤616中,若依据上述的方程式(1)所计算出的动态值ACTIVITY大于一第三阈值TH0_INTER,则区域模式将被决定为动态区域模式。对于第二类区块边界而言,第三阈值TH0_INTER可用来区别动态区域与平坦区域,其为可以依据本发明可适性改变的变量值,决定此一阈值的方式在后文会有详述。若动态值ACTIVITY小于或等于第三阈值TH0_INTER,则动态值ACTIVITY将会再与一固定的阈值(亦即前文所述的第二阈值,在本实施例中其值固定为6)进行比较。此一固定的阈值6可用来将平坦区域更进一步区分为平滑区域与静止区域,以控制低通滤波工作时所使用的强度(亦即滤波倍率)。若ACTIVITY大于固定的阈值6,则区域模式将会被决定为平滑区域模式;另一方面,若ACTIVITY小于等于固定的阈值6,则区域模式将会被决定为静止区域模式。此处以6作为此一固定阈值主要是依据多次实验所得出的结果,然而,本发明并不以此为限,在实施上,亦可以使用其它大小的数值来作为此一固定的阈值。 
请参阅图22与图23。图22所示为当区域模式为M1-INTER时,去区块化滤波单元328对第二类区块边界600所执行的运算的流程图。图23所示则为区块边界600周围的像素在经由图22所示的流程图进行滤波时的变化状态。图22所示的流程图包含有以下步骤: 
步骤2200:计算HT中的高频成分c3:c3=(v6-v7+v8-v9)/2。定义一第六阈值TH1_INTER,并比较第六阈值TH1_INTER与c3以检测区块边缘是否是一个真实边缘,其中,第六阈值TH1_INTER为一变数阈值。若高频成分c3 大于等于第六阈值TH1_INTER,则区块边缘将被假设是一个真实边缘,因此不会受到滤波。否则,即使用F-1滤波器来对v7与v8进行滤波。若在本步骤中有进行滤波,则进入步骤2202。 
步骤2202:重新计算高频成分c3:c3=(v3-v4+v5-v6)/2。若c3小于QP1/2,则使用F-1阈滤波器来对v4与v5滤波。在本步骤中,由于v4与v5 是通过相同的量化参数QP1所编码得出,因此方程式(3)中所使用的两个加权因数都设定为1/2。 
步骤2204:重新计算高频成分c3:c3=(v5’-v6+v7’-v8’)/2,其中v7’与v8’为步骤2202的滤波结果。若c3小于QP1,则使用F-1滤波器来对v6与v7’滤波。在本步骤中,由于v6与v7’是通过相同的量化参数QP1所编码得出,因此方程式(3)中所使用的两个加权因数都设定为1/2。 
步骤2206:重新计算高频成分c3:c3=(v9-v10+v11-v12)/2。若c3小于QP2/2,则使用F-1滤波器来对v10与v11滤波。在本步骤中,由于v10与v11 是通过相同的量化参数QP2所编码得出,因此方程式(3)中所使用的两个加阈权因数都设定为1/2。 
步骤2208:重新计算高频成分c3:c3=(v7”-v8’+v9-v10’)/2,其中v7”为步骤2204的滤波结果,v8’与v10’则分别为步骤2200与2206的滤波结果。若c3小于QP2,则使用F-1滤波器来对v8’与v9滤波。在本步骤中,由于v8’与v9是通过相同的量化参数QP2所编码得出,因此方程式(3)中所使用的两个加权因数都设定为1/2。 
请参阅图24与图25。图24所示为当区域模式为M2-INTER时,去区块化滤波单元328对第二类区块边界600所执行的运算的流程图。图25所示则为区块边界600周围的像素在经由图24所示的流程图进行滤波时的变化状态。图24所示的流程图包含有以下步骤: 
步骤2400:计算一差异值diff:diff=|v7-v8|。定义一第七阈值TH2_INTER,并比较第七阈值TH2_INTER与差异值diff,以检测区块边缘是不是一个真实边缘。第七阈值TH2_INTER为一变数阈值,其值可依据本发明可适性地决定出来。使用第七阈值TH2_INTER的目的类似于使用第六阈值 TH1_INTER的目的。若diff小于第七阈值TH2_INTER,且ACTIVITY大于固定的阈值(6),则使用F-2滤波器来对v7与v8滤波。若QP1等于QP2,则使用对称F-2滤波器;否则,若QP1不等于QP2,则使用非对称F-2滤波器。若在本步骤中有执行滤波程序,则进入步骤2402。 
步骤2402:重新计算差异值:diff=|v3-v5|。若diff小于QP1/2,且ACTIVITY大于固定的阈值(6),则使用3个系数的低通滤波器[1 6 1]/8来对v4与v5滤波,亦即: 
v4′=(v3+6·v4+v5)/8,v5′=(v4+6·v5+v6)/8 
步骤2404:重新计算差异值:diff=|v7’-v5’|,其中v7’为步骤2400的滤波结果,v5’则为步骤2402的滤波结果。若diff小于QP1,且ACTIVITY大于固定的阈值(6),则使用低倍的对称低通滤波器F-2来对v6 滤波,亦即: 
v6′=(v4′+3·v5′+8·v6+3·v7′+v8′)/16 
步骤2406:重新计算差异值:diff=|v10-v12|。若diff小于QP2/2,且ACTIVITY大于固定的阈值(6),则使用3个系数的低通滤波器[1 6 1]/8来对v11与v10滤波,亦即: 
v11′=(v10+6·v11+v12)/8,v10′=(v9+6·v10+v11)/8 
步骤2408:重新计算差异值:diff=|v8’-v10’|,其中v8’为步骤2400的滤波结果,v10’则为步骤2406的滤波结果。若diff小于QP2,且ACTIVITY大于固定的阈值(6),则使用低倍的对称低通滤波器F-2来对v9 滤波,亦即: 
v′9=(v7′+3·v8′+8·v9+3·v10′+v11′)/16 
请参阅图26与图26。图26所示为当区域模式为M3-INTER时,去区块化滤波单元328对第二类区块边界600所执行的运算的流程图。图26所示则为区块边界600周围的像素在经由图26所示的流程图进行滤波时的变化状态。图26所示的流程图包含有以下步骤: 
步骤2600:计算一差异值diff:diff=|v7-v8|。比较第七阈值TH2_INTER与差异值diff,以检测区块边缘是不是一个真实边缘。若diff小于第七阈值TH2_INTER,且ACTIVITY小于或等于固定的阈值(6),则使用F-3滤波器来对v7与v8滤波。若QP1等于QP2,则使用对称F-3滤波器;若QP1不等于QP2,则使用非对称F-3滤波器。若在本步骤中有执行滤波程 序,则进入步骤2602。 
步骤2602:重新计算差异值:diff=|v3-v5|。若diff小于QP1/2,且ACTIVITY小于或等于固定的阈值(6),则使用3个系数的低通滤波器[1 61]/8来对v4与v5滤波,亦即: 
v4′=(v3+6·v4+v5)/8,v5′=(v4+6·v5+v6)/8 
步骤2604:重新计算差异值:diff=|v7’-v5’|,其中v7’为步骤2600的滤波结果,v5’为步骤2602的滤波结果。若diff小于QP1,且ACTIVITY小于或等于固定的阈值(6),则使用低倍的对称低通滤波器F-3来对v6滤波,亦即: 
v6′=(v4′+2·v5′+2·v6+2·v7′+v8′)/8 
步骤2606:重新计算差异值:diff=|v10-v12|。若diff小于QP2/2,且ACTIVITY小于或等于固定的阈值(6),则使用3个系数的低通滤波器[1 61]/8来对v11与v10滤波,亦即: 
v11′=(v10+6·v11+v12)/8,v10′=(v9+6·v10+v11)/8 
步骤2608:重新计算差异值:diff=|v8’-v10’|,其中v8’为步骤2600的滤波结果,v10’为步骤2606的滤波结果。若diff小于QP2,且ACTIVITY小于或等于固定的阈值(6),则使用低倍的对称低通滤波器F-3来对v9滤波,亦即: 
v9′=(v7′+2·v8′+2·v9+2·v10′+v11′)/8 
请注意,对于第二类区块边界600所进行的滤波,并不是依循「自区块边界600上的像素至离区块边界600最远的像素」的顺序,而是在对区块边界600上的像素进行完滤波之后,先对离区块边界600最远的像素进行滤波,再对这两者中间的像素进行滤波。藉由使用此种作法,在对区块边界600进行滤波时所产生的误差即不会被传送至离区块边界600较远的区块内像素(inner-block pixels)。 
图28所示为交错式视讯中单一帧内两个场影像中的一水平边界的示意图。藉由对场编码影像(用来组成交错式视讯)的滤波运算进行适度的修改,本发明可以提供去区块化滤波单元328对于场编码影像进行处理的方法。对于交错式视讯而言,一个帧皆包含有两个场编码影像,分别是一奇场影像以及一偶场影像。在此种情形下,执行垂直滤波(亦即对水平边界进行滤波) 时就需要进行一些额外的考量。在本发明中,仅需对相同的滤波器进行些微简单的修改,即可对场编码影像进行垂直滤波。对于动态区域模式而言,可使用相同的F-1滤波器,唯高频成分c3需降低为一半(而非是零),亦即,方程式(2)中的Δ应该要是c3/2。此外,滤波后的像素亦会被修减至一个较窄的范围内,如下所示: 
v′7=v7+Δ1,v′8=v8-Δ2这里 
Δ 1 = clip ( Δ · WT 1,0 , ( v 8 - v 7 ) 2 · WT 1 ) , Δ 2 = clip ( Δ · WT 2,0 , ( v 8 - v 7 ) 2 · WT 2 )
对于平滑与静止区域模式而言,是在滤波之前进行像素内插的工作。由于在场编码影像之中,两个垂直紧邻的像素之间的距离相等于帧编码影像中两个紧邻像素的距离的两倍,故介于两个垂直紧邻的像素中间的像素可以使用内插的方式估计得出。虽然使用较复杂的内插算法可以得出较好的影像品质,然而,在本发明的实施例中,还是使用简单的平均(averaging)内插法来进行内插,以减低内插单元330的运算复杂度。 
图29所示为本发明使用平均内插法来对一场编码影像进行水平边界滤波的示意图。在内插之后,可以再对所得出的场编码影像执行适用于帧编码影像的内插运算(如前文所述)。举例来说,假设此时欲使用对称低通滤波器F-2来对v7与v8滤波,则滤波后的v7’与v8’将如以下所示: 
v′7=(v6+3·a+8·v7+3·b+v8)/16,v′8=(v7+3·b+8·v8+3·c+v9)/16, 
其中a、b、c为图29所示内插得出的像素值。 
大多数的现有技术以及本发明皆会使用多个阈值来控制滤波的强度以及判断滤波的决定。因此,可适性去区块化滤波单元328所使用的各个阈值将对去区块化滤波器的效能产生重大的影响。亦即,较佳的阈值选择方法是影响可适性去区块化滤波器的效能的关键因素。然而,即使阈值非常地重要,在现有技术之中却无法较精确地决定出去区块化滤波器所需使用的阈值。而本发明则提供了一些准则,可以用来选择阈值,并使用由数个参数所构成的线性方程式来决定各个阈值的大小。 
至于「区块效应」的强度则主要由以下五个因素所决定: 
(1)形成区块边界的两个邻近的8×8区块的QP值。较差的量化步阶将会产生较明显的区块效应。 
(2)两个邻近8×8区块的QP值之间的差异。当两个邻近的区块使用了不同的量化参数来进行编码时,区块效应一般而言会变的较为明显。即使具 有不同QP值的两个8×8区块的QP值的合等于具有相同QP值的两个8×8区块的QP值的合,情况亦是如此,亦即,两个具有不同QP值的8×8区块之间的区块效应一般会较为明显。 
(3)区块及影像的编码类别。间编码区块一般而言会较内编码区块更为平滑,因为使用移动补偿以及剩余误差讯号(residual error signal)来加入预测讯号的效应会类似于平均所造成的效应。这通常可以降低噪声,因而也降低了区块效应。相同的原因,B影像(B-picture)会较P影像(P-picture)更为平滑,因此也可以更加减轻区块效应。 
(4)移动向量的大小。当影像之中存在有大的移动状况时,影像会变的较为平滑,因此也会降低区块效应。 
(5)在B影像与P影像中,若8×8区块边界同时也是MB边界,则区块效应通常会变的较为明显。 
至于各个阈值的大小则应该要基于区块效应的程度来决定。因此,本发明在决定所使用的阈值的大小时,会考虑上述的五个因素(这是现有技术所没有做到的)。此外,本发明还采用了一个称为「使用者定义偏移」(user-defined offset,UDO)的参数,藉由使用此一参数,可以依据使用者的偏好,在主观品质与客观量测品质之间达到较佳的平衡点。举例来说,使用一较大的UDO值可以增加滤波的强度,进而增加影像的平滑度;相反地,使用一较小的UDO值则可以减低滤波的强度,故影像中的更多信息将可以保留下来。至于阈值的决定方式,除了可以通过预先产生的表格来决定以外,亦可以使用数学方程式来决定。本发明除了提供简单的数学方程式之外,亦可以藉此产生用以决定阈值的查找表格(lookup table),至于这些用以产生阈值的表格则可以通过以下的数学方程式来决定。 
对于第一类区块边界,可使用以下的线性方程式来决定阈值: 
Threshold=a+b·(QP1+QP2)+c·|QP1-QP2|+d·UDO                  (9) 
更明确地说,用于第一类区块边界的阈值可通过以下的方程式决定出来: 
TH0_INTRA=-2+(QP1+QP2)+2·UDO 
TH 1 _ INTRA = - 1 + 1 2 · ( QP 1 + QP 2 ) + 1 2 · | QP 1 - QP 2 | + UDO - - - ( 10 )
TH2_INTRA=-2+(QP1+QP2)+|QP1-QP2|+2·UDO 
对于第二类区块边界,可使用以下的线性方程式来决定阈值: 
Threshold=a+b·(QP1+QP2)+c·|QP1-QP2|+d·MVI+e·BFlag+f·UDO  (11) 
在方程式(11)之中,参数MVI代表移动向量指标(motion vectorindicator),如前文所述,此一参数为影像大小的函数,至于参数BFlag则用来表示影像是不是B-影像。若影像是B-影像,则BFlag设定为1;否则,BFlag则设定为0。更明确地说,用于第二类区块边界的阈值可通过以下的方程式决定出来: 
TH0_INTER=-2+(QP1+QP2)-2·MVI-2·BFlag+2·UDO 
TH 1 _ INTER = a + 1 2 · ( QP 1 + QP 2 ) + 1 2 · | QP 1 - QP 2 | + 2 · MVI - 2 · BFlag + UDO - - - ( 12 )
TH 2 _ INTER = a + ( QP 1 + QP 2 ) + 1 2 · | QP 1 - QP 2 | - 2 · MVI - 2 · BFlag + 2 · UDO
在方程式(12)之中,当8×8区块边界同时也是MB边界时、参数a设定为1;否则,参数a则设定为3。 
如前文所述,在现有技术中的可适性去区块化方法具有一些常见的缺点存在。其中一个问题是,在现有技术的可适性去区块化方法中并不会考虑到邻近的宏区块(MB)中量化参数(QP)的变化。当使用一编码最佳化技术(encoder optimization technique)(例如MB为基的位率控制算法,亦即MB-based rate control algorithm)来对视讯进行编码时,一帧中的MB的QP值就可能会有变化。在此一情形下,当邻近的8×8区块分属不同的MB时,这些8×8区块就有可能是通过不同的QP值所得出的。由于当两个区块是通过不同的QP值所编码得出时,此二区块之间的区块效应一般会变得较为明显,因此,本发明会可适性地依据QP值的变化来改变去区块化滤波器的强度。至于用来进行滤波判断的阈值则亦可以动态地改变,以适应QP值的变化。 
现有技术的可适性去区块化方法还有另一个问题,就是其并不会将移动补偿所导致的区块效应给列入考虑。对于间编码帧而言,由于参考帧中的区块效应会传递至目前帧中,而产生区块内的区块效应,故本发明会对于两个间编码区块之间的区块边界上的像素进行更仔细的检测与滤波工作。此外,在大多数的现有技术中,并不会考虑各个编码参数来决定用于调整滤波强度的阈值的大小。举例来说,由于间编码帧中的区块效应会因为加入剩余误差讯号以及参考讯号所造成的平滑化效应而变得较不明显,故在本发明中会依据区块编码类型来决定所使用的阈值的大小。在现有技术中,只有List等人所提出的回路内去区块化方法(参考文献[9])会依据4×4区块的编码模 式来决定参数Bs,并依据参数Bs来使用不同的阈值。然而,相较于本发明,List等人所提出的方法对于区块编码信息的利用程度还是稍嫌不足。 
以上所述仅为本发明的较佳实施例。实际上,在保有本发明所提供的概念的情形下,亦可以使用具有与前述实施例所述的低通滤波器不同长度的低通滤波器,或是使用不同的滤波系数,这些皆不会脱离本发明的一个方面,因此,凡依本发明的权利要求所做的均等变化与修饰,皆应属本发明的涵盖范围。 

Claims (21)

1.一种用来降低一视讯流中的区块效应的方法,其包含有:
依据该视讯流中多个邻近区块的区块编码类型,来决定出一滤波范围,其中该滤波范围用来指出在所述邻近区块之间一区块边界周围要进行滤波的像素的数目;
依据该区块边界周围的区域动态来决定出一区域模式;以及
依据该滤波范围以及该区域模式,对该区块边界周围的多个像素进行滤波,以降低该视讯流中的区块效应,
其中依据该视讯流中所述邻近区块之间的该区块边界周围的区域动态来决定出该区域模式的步骤还包含有:
计算一动态值,其中该动态值代表该区块边界周围的区域动态;以及
依据该动态值来决定该区域模式。
2.如权利要求1所述的方法,其中,该方法依据该视讯流中所述邻近区块的区块编码类型,来将该滤波范围决定为该区块边界周围的至多八个像素。
3.如权利要求1所述的方法,其中依据该视讯流中所述邻近区块的区块编码类型,来决定出该滤波范围的步骤还包含有:
若所述邻近区块中包含有至少一内编码区块,则将该滤波范围决定为该区块边界周围的至多四个像素;以及
若所述邻近区块中并未包含有内编码区块,则将该滤波范围决定为该区块边界周围的至多八个像素。
4.如权利要求3所述的方法,其还包含有:使用以下的方程式来计算该区块边界周围的像素vl的一绝对差异总合,以作为该动态值:
ACTIVITY = Σ l = 4 6 | v l - v l + 1 | + Σ l = 8 10 | v l - v l + 1 | ,
其中,v4、v5、v6、v7、v8、v9、v10、v11是垂直或水平依次相邻的像素,且v7、v8之间是水平或垂直区块边界。
5.如权利要求1所述的方法,其中:
在所述邻近区块中包含有至少一内编码区块的情形下:
若该动态值大于一第一阈值TH0_INTRA,则将该区域模式决定为一动态区域;
若该动态值小于等于该第一阈值TH0_INTRA但大于一第二阈值,则将该区域模式决定为一平滑区域;以及
若该动态值小于等于该第二阈值,则将该区域模式决定为一静止区域;以及
在所述邻近区块中并未包含有内编码区块的情形下:
若该动态值大于一第三阈值TH0_INTER,则将该区域模式决定为一动态区域;
若该动态值小于等于该第三阈值TH0_INTER但大于该第二阈值,则将该区域模式决定为一平滑区域;以及
若该动态值小于等于该第二阈值,则将该区域模式决定为一静止区域。
6.如权利要求5所述的方法,其中该第二阈值为一固定的默认值。
7.如权利要求6所述的方法,其中该默认值等于6。
8.如权利要求5所述的方法,还包含有:
在所述邻近区块中包含有至少一内编码区块的情形下:
若该区域模式为动态区域,且一高频成分c3小于一第四阈值TH1_INTRA,则依据该滤波范围,使用一第一滤波器来对该区块边界周围的所述像素进行滤波;
若该区域模式为平滑区域,且位于该区块边界两侧的像素值的差异的绝对值小于一第五阈值TH2_INTRA,则依据该滤波范围,使用一第二滤波器来对该区块边界周围的所述像素进行滤波;以及
若该区域模式为静止区域,且位于该区块边界两侧的像素值的差异的绝对值小于该第五阈值TH2_INTRA,则依据该滤波范围,使用一第三滤波器来对该区块边界周围的所述像素进行滤波;以及
在所述邻近区块中并未包含有内编码区块的情形下:
若该区域模式为动态区域,且该高频成分c3小于一第六阈值TH1_INTER,则依据该滤波范围,使用该第一滤波器来对该区块边界周围的所述像素进行滤波;
若该区域模式为平滑区域,且位于该区块边界两侧的像素值的差异的绝对值小于一第七阈值TH2_INTER,则依据该滤波范围,使用该第二滤波器来对该区块边界周围的所述像素进行滤波;以及
若该区域模式为静止区域,且位于该区块边界两侧的像素值的差异的绝对值小于该第七阈值TH2_INTER,则依据该滤波范围,使用该第三滤波器来对该区块边界周围的所述像素进行滤波,
其中所述高频成分c3是指所述区块边界周围的像素进行频率分析后得到的一高频系数。
9.如权利要求8所述的方法,其还包含有:
至少考虑所述邻近区块的量化参数QP间的差异,决定该第一阈值TH0_INTRA、第三阈值TH0_INTER、第四阈值TH1_INTRA、第五阈值TH2_INTRA、第六阈值TH1_INTER、以及第七阈值TH2_INTER。
10.如权利要求9所述的方法,其还包含有:
将一使用者定义偏移UDO亦列入考虑,以依据该UDO值来调整该第一阈值TH0_INTRA、第三阈值TH0_INTER、第四阈值TH1_INTRA、以及第五阈值TH2_I NTRA的大小。
11.如权利要求8所述的方法,其中该方法通过以下的方程式,依据该区块边界周围的像素v6、v7、v8、v9来计算该高频成分c3
c3=(v6-v7+v8-v9)/2,
其中,v6、v7、v8、v9是垂直或水平依次相邻的像素,且v7、v8之间是水平或垂直区块边界。
12.如权利要求8所述的方法,其中该第一滤波器为由一四点式阿达码转换所构成的一维滤波器,且对于帧编码影像而言,该四点式阿达码转换的高频系数减低为0。
13.如权利要求8所述的方法,其中该第一滤波器为由一四点式阿达码转换所构成的一维滤波器,且对于场编码影像而言,该四点式阿达码转换的高频系数减低为一半。
14.如权利要求8所述的方法,其中,该方法对通过较大的QP值所量化得出的像素值进行多于对通过较小的QP值所量化得出的像素值的调整,以更加精确地修正滤波得出的像素值。
15.如权利要求14所述的方法,其中该方法使用以下的方程式,通过一第一邻近区块的一第一量化参数QP1以及一第二邻近区块的一第二量化参数QP2来得出一第一加权值WT1以及一第二加权值WT2,并使用该第一、第二加权值WT1、WT2来调整滤波得出的像素值:
WT1=QP1/QP1+QP2,WT2=QP2/QP1+QP2。
16.如权利要求8所述的方法,其中:
对于平滑区域模式和静止区域模式,若所述邻近区块的量化参数QP是相等的,则分别使用对称的第二与第三滤波器来对该区块边界周围的所述像素进行滤波;以及
对于平滑区域模式和静止区域模式,若所述邻近区块的量化参数QP是不同的,则分别使用非对称的第二与第三滤波器来对该区块边界周围的所述像素进行滤波。
17.如权利要求16所述的方法,其还包含有:
当该区域模式为平滑区域且所述邻近区块的量化参数QP是相等的,则使用一N个系数的对称第二滤波器来对该区块边界周围的所述像素进行滤波;
当该区域模式为平滑区域且所述邻近区块的量化参数QP是不同的,则使用一M个系数的非对称第二滤波器来对该区块边界周围的所述像素进行滤波;
当该区域模式为静止区域且所述邻近区块的量化参数QP是相等的,则使用一K个系数的对称第三滤波器来对该区块边界周围的所述像素进行滤波;以及
当该区域模式为静止区域且所述邻近区块的量化参数QP是不同的,则使用一L个系数的非对称第三滤波器来对该区块边界周围的所述像素进行滤波。
18.如权利要求17所述的方法,其中:
N=5,且该对称第二滤波器为[1 3 8 3 1]/16;
M=5,且该非对称第二滤波器为[1 2 8 3 2]/16以及[2 3 8 2 1]/16;
K=5,且该对称第三滤波器为[1 2 2 2 1]/8;以及
L=5,且该非对称第三滤波器为[1 1 2 2 2]/8以及[2 2 2 1 1]/8。
19.如权利要求1所述的方法,其中对该区块边界周围的所述像素进行滤波的步骤包含有:
先对位于该区块边界上的像素进行滤波,再对并未紧邻于该区块边界的像素进行滤波。
20.如权利要求1所述的方法,其还包含有:
若该视讯流包含有交错式视讯,则在对该区块边界周围的所述像素进行滤波之前,先执行一内插运算以估计出一交错式场中的像素值。
21.如权利要求1所述的方法,其中该视讯流为一MPEG视讯流。
CN200710199635.9A 2004-04-29 2005-04-27 活动图像专家组视讯译码器可适性去区块滤波方法 Active CN101175209B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/709,336 2004-04-29
US10/709,336 US7460596B2 (en) 2004-04-29 2004-04-29 Adaptive de-blocking filtering apparatus and method for MPEG video decoder

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CNB2005100689212A Division CN100373950C (zh) 2004-04-29 2005-04-27 活动图像专家组视讯译码器可适性去区块滤波装置及方法

Publications (2)

Publication Number Publication Date
CN101175209A CN101175209A (zh) 2008-05-07
CN101175209B true CN101175209B (zh) 2011-05-18

Family

ID=35187079

Family Applications (2)

Application Number Title Priority Date Filing Date
CN200710199635.9A Active CN101175209B (zh) 2004-04-29 2005-04-27 活动图像专家组视讯译码器可适性去区块滤波方法
CNB2005100689212A Active CN100373950C (zh) 2004-04-29 2005-04-27 活动图像专家组视讯译码器可适性去区块滤波装置及方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CNB2005100689212A Active CN100373950C (zh) 2004-04-29 2005-04-27 活动图像专家组视讯译码器可适性去区块滤波装置及方法

Country Status (3)

Country Link
US (1) US7460596B2 (zh)
CN (2) CN101175209B (zh)
TW (1) TWI284854B (zh)

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7239755B1 (en) 1997-07-30 2007-07-03 Lg Electronics Inc. Method of reducing a blocking artifact when coding moving picture
KR100281099B1 (ko) * 1997-07-30 2001-04-02 구자홍 동영상의부호화에따른블록화현상제거방법
KR100244290B1 (ko) 1997-09-09 2000-02-01 구자홍 저속 전송에서의 동영상을 위한 디블록킹 필터링 방법
AU2002323591A1 (en) * 2001-09-05 2003-03-18 Emblaze Systems Ltd. Method for reducing blocking artifacts
US20050013494A1 (en) * 2003-07-18 2005-01-20 Microsoft Corporation In-loop deblocking filter
US7724827B2 (en) 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
EP1972151B1 (en) * 2006-01-09 2017-03-29 Thomson Licensing Method and apparatus for providing adaptation of deblocking filtering for multiview video coding
US8213495B2 (en) * 2006-02-06 2012-07-03 Panasonic Corporation Picture decoding method and picture decoding apparatus
TWI314300B (en) * 2006-03-16 2009-09-01 Realtek Semiconductor Corp Method and related apparatus for scaling image
JP4973031B2 (ja) * 2006-07-03 2012-07-11 ソニー株式会社 ノイズ抑圧方法、ノイズ抑圧方法のプログラム、ノイズ抑圧方法のプログラムを記録した記録媒体及びノイズ抑圧装置
US20080084932A1 (en) * 2006-10-06 2008-04-10 Microsoft Corporation Controlling loop filtering for interlaced video frames
TWI330041B (en) * 2006-11-28 2010-09-01 Realtek Semiconductor Corp Image processing method and device for performing block effect reduction
KR101365443B1 (ko) 2007-01-11 2014-03-03 삼성전자주식회사 디블록킹 필터링 방법 및 장치
WO2008084996A1 (en) * 2007-01-11 2008-07-17 Samsung Electronics Co, . Ltd. Method and apparatus for deblocking-filtering video data
CN101277398B (zh) * 2007-03-26 2010-05-26 凌阳科技股份有限公司 具有适应性边缘门坎值的反交错系统及方法
KR101379255B1 (ko) * 2007-04-06 2014-03-28 삼성전자주식회사 미분 방정식을 이용한 인트라 예측 부호화, 복호화 방법 및장치
JP5357898B2 (ja) * 2008-01-14 2013-12-04 トムソン ライセンシング 多格子スパーシティベースフィルタリングを使用するアーチファクト除去フィルタリングのための方法および装置
CN101527842B (zh) * 2008-03-07 2012-12-12 瑞昱半导体股份有限公司 过滤区块效应的图像处理方法及装置
CN101389019B (zh) * 2008-04-16 2012-02-08 惠州华阳通用电子有限公司 一种视频处理方法
JP5050158B2 (ja) * 2008-06-02 2012-10-17 株式会社メガチップス トランスコーダ
US20090304086A1 (en) * 2008-06-06 2009-12-10 Apple Inc. Method and system for video coder and decoder joint optimization
US20090316793A1 (en) * 2008-06-20 2009-12-24 Yang Zhijie Michael Method and system for adaptive deblocking for avs1-p2
US10123050B2 (en) * 2008-07-11 2018-11-06 Qualcomm Incorporated Filtering video data using a plurality of filters
KR101552639B1 (ko) * 2008-07-11 2015-09-14 한국전자통신연구원 인트라 매크로 블록의 디블록킹 필터 및 필터링 방법
WO2010005269A1 (en) * 2008-07-11 2010-01-14 Electronics And Telecommunications Research Institute Filter and filtering method for deblocking of intra macroblock
US20100014596A1 (en) * 2008-07-19 2010-01-21 Headplay (Barbados) Inc. Systems and methods for improving the quality of compressed video signals by smoothing block artifacts
US8687702B2 (en) * 2008-10-27 2014-04-01 Advanced Micro Devices, Inc. Remote transmission and display of video data using standard H.264-based video codecs
WO2010065060A1 (en) * 2008-11-25 2010-06-10 Thomson Licensing Methods and apparatus for sparsity-based de-artifact filtering for video encoding and decoding
US9143803B2 (en) * 2009-01-15 2015-09-22 Qualcomm Incorporated Filter prediction based on activity metrics in video coding
US20100322526A1 (en) * 2009-06-18 2010-12-23 Electronics And Telecommunications Research Institute Method of filtering restored image using plurality of filters and encoding/decoding apparatus and method using filtering method
US20110123121A1 (en) * 2009-10-13 2011-05-26 Sony Corporation Method and system for reducing blocking artefacts in compressed images and video signals
US8712173B2 (en) * 2010-03-12 2014-04-29 Mediatek Singapore Pte. Ltd. Methods for processing 2Nx2N block with N being positive integer greater than four under intra-prediction mode and related processing circuits thereof
JP5871906B2 (ja) * 2010-04-26 2016-03-01 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 復号方法、プログラムおよび復号装置
WO2011136896A1 (en) * 2010-04-27 2011-11-03 Sony Corporation Boundary adaptive intra prediction for improving subjective video quality
KR101663764B1 (ko) * 2010-08-26 2016-10-07 에스케이 텔레콤주식회사 인트라 예측을 이용한 부호화 및 복호화 장치와 방법
US8976856B2 (en) * 2010-09-30 2015-03-10 Apple Inc. Optimized deblocking filters
US8787443B2 (en) 2010-10-05 2014-07-22 Microsoft Corporation Content adaptive deblocking during video encoding and decoding
US9414066B2 (en) 2011-01-14 2016-08-09 Telefonaktiebolaget Lm Ericsson (Publ) Deblocking filtering
US8989261B2 (en) 2011-02-23 2015-03-24 Qualcomm Incorporated Multi-metric filtering
JP5875236B2 (ja) 2011-03-09 2016-03-02 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
US9042458B2 (en) 2011-04-01 2015-05-26 Microsoft Technology Licensing, Llc Multi-threaded implementations of deblock filtering
US9602839B2 (en) 2011-06-15 2017-03-21 Futurewei Technologies, Inc. Mode dependent intra smoothing filter table mapping methods for non-square prediction units
US20130022288A1 (en) * 2011-07-20 2013-01-24 Sony Corporation Image processing apparatus and method for reducing edge-induced artefacts
US9510020B2 (en) 2011-10-20 2016-11-29 Qualcomm Incorporated Intra pulse code modulation (IPCM) and lossless coding mode deblocking for video coding
EP2785057B1 (en) * 2011-11-25 2020-10-21 Sun Patent Trust Image processing method and image processing device
EP2807627A4 (en) 2011-12-29 2015-12-09 Intel Corp SIMPLIFICATION OF LOCAL CONTRAST COMPENSATION USING A WEIGHTED CONVERSION TABLE
WO2013113274A1 (en) * 2012-02-03 2013-08-08 Mediatek Inc. Method and apparatus for loop filtering cross tile or slice boundaries
EP2822275B1 (en) * 2012-02-29 2018-09-12 Sony Corporation Image processing device and method
CN102647596B (zh) * 2012-04-25 2014-08-27 朱方 解块滤波方法及解块滤波器
US11240515B2 (en) 2012-09-10 2022-02-01 Apple Inc. Video display preference filtering
US9596465B2 (en) * 2013-01-04 2017-03-14 Intel Corporation Refining filter for inter layer prediction of scalable video coding
AU2014339384B2 (en) * 2013-10-25 2017-08-17 Mediatek Inc. Method and apparatus for processing picture having picture height not evenly divisible by slice height and/or slice width not evenly divisible by pixel group width
TWI549489B (zh) * 2014-04-16 2016-09-11 智原科技股份有限公司 移動偵測電路與方法
WO2019129509A1 (en) * 2017-12-29 2019-07-04 Telefonaktiebolaget Lm Ericsson (Publ) Methods providing encoding and/or decoding of video using reference values and related devices
DE102018110383A1 (de) * 2018-04-30 2019-10-31 Basler Ag Verfahren und Vorrichtung zum Kodieren von Bilddaten
WO2022116054A1 (zh) * 2020-12-02 2022-06-09 Oppo广东移动通信有限公司 图像处理方法、系统、视频编码器及视频解码器
US20220360770A1 (en) * 2021-04-30 2022-11-10 Tencent America LLC Block-wise content-adaptive online training in neural image compression with post filtering
US11750221B1 (en) * 2022-03-28 2023-09-05 Samsung Electronics Co., Ltd. Encoding and decoding of data using generalized LDPC codes

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0577350A2 (en) * 1992-07-02 1994-01-05 Matsushita Electric Industrial Co., Ltd. A video signal coding and decoding apparatus with an adaptive edge enhancement filter
EP0721286A3 (en) * 1995-01-09 2000-07-26 Matsushita Electric Industrial Co., Ltd. Video signal decoding apparatus with artifact reduction
US6704759B2 (en) * 2001-01-19 2004-03-09 Motorola, Inc. Method and apparatus for compression/decompression and filtering of a signal
US7027654B1 (en) * 2001-08-16 2006-04-11 On2 Technologies Video compression system
US7227901B2 (en) * 2002-11-21 2007-06-05 Ub Video Inc. Low-complexity deblocking filter

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5590064A (en) * 1994-10-26 1996-12-31 Intel Corporation Post-filtering for decoded video signals
KR0165497B1 (ko) * 1995-01-20 1999-03-20 김광호 블럭화현상 제거를 위한 후처리장치 및 그 방법
FR2737931B1 (fr) * 1995-08-17 1998-10-02 Siemens Ag Procede destine au traitement de blocs d'images decodes d'un procede de codage d'images a base de blocs
US6041145A (en) * 1995-11-02 2000-03-21 Matsushita Electric Industrial Co., Ltd. Device and method for smoothing picture signal, device and method for encoding picture and device and method for decoding picture
DE19626985C1 (de) * 1996-07-04 1998-01-02 Siemens Ag Verfahren und Anordnung zur Reduktion von Codierungsartefakten von blockbasierten Bildcodierungsverfahren und objektbasierten Bildcodierungsverfahren
JPH11187400A (ja) * 1997-12-22 1999-07-09 Matsushita Electric Ind Co Ltd 歪除去方法および歪除去フィルタ
US6188799B1 (en) * 1997-02-07 2001-02-13 Matsushita Electric Industrial Co., Ltd. Method and apparatus for removing noise in still and moving pictures
KR100251549B1 (ko) * 1997-02-28 2000-04-15 구자홍 블로킹 효과 제거 기능을 갖는 디지탈 영상 복호화 장치
KR100265722B1 (ko) * 1997-04-10 2000-09-15 백준기 블럭기반영상처리방법및장치
KR100281099B1 (ko) * 1997-07-30 2001-04-02 구자홍 동영상의부호화에따른블록화현상제거방법
KR100244290B1 (ko) * 1997-09-09 2000-02-01 구자홍 저속 전송에서의 동영상을 위한 디블록킹 필터링 방법
KR100269125B1 (ko) * 1997-10-25 2000-10-16 윤덕용 양자화효과감소를위한영상데이터후처리방법및장치
US6285801B1 (en) * 1998-05-29 2001-09-04 Stmicroelectronics, Inc. Non-linear adaptive image filter for filtering noise such as blocking artifacts
AUPP444898A0 (en) * 1998-07-02 1998-07-23 Canon Kabushiki Kaisha A method and apparatus for boundary filtering a digital image
US6320905B1 (en) * 1998-07-08 2001-11-20 Stream Machine Company Postprocessing system for removing blocking artifacts in block-based codecs
RU2154918C1 (ru) * 1998-08-01 2000-08-20 Самсунг Электроникс Ко., Лтд. Способ и устройство для цикл-фильтрации данных изображения
US6459731B1 (en) * 1998-08-28 2002-10-01 Lucent Technologies Inc. Technique for video communications using a coding-matched filter arrangement
US6317522B1 (en) * 1998-12-03 2001-11-13 Philips Electronics North America Corp. Systems and methods for post-processing decompressed images
JP3206584B2 (ja) * 1999-02-05 2001-09-10 日本電気株式会社 画像データ処理方法及び装置
JP3489735B2 (ja) * 2000-08-16 2004-01-26 松下電器産業株式会社 デブロッキングフィルタ演算装置
US7031393B2 (en) * 2000-10-20 2006-04-18 Matsushita Electric Industrial Co., Ltd. Block distortion detection method, block distortion detection apparatus, block distortion removal method, and block distortion removal apparatus
EP1209624A1 (en) * 2000-11-27 2002-05-29 Sony International (Europe) GmbH Method for compressed imaging artefact reduction
FR2823050A1 (fr) * 2001-03-27 2002-10-04 Koninkl Philips Electronics Nv Dispositif implementant conjointement un post-traitement et un decodage de donnees
US20030035586A1 (en) * 2001-05-18 2003-02-20 Jim Chou Decoding compressed image data
US7003174B2 (en) * 2001-07-02 2006-02-21 Corel Corporation Removal of block encoding artifacts
AU2002323591A1 (en) * 2001-09-05 2003-03-18 Emblaze Systems Ltd. Method for reducing blocking artifacts
US6983079B2 (en) * 2001-09-20 2006-01-03 Seiko Epson Corporation Reducing blocking and ringing artifacts in low-bit-rate coding
US9042445B2 (en) * 2001-09-24 2015-05-26 Broadcom Corporation Method for deblocking field-frame video
US7440504B2 (en) * 2001-09-24 2008-10-21 Broadcom Corporation Method and apparatus for performing deblocking filtering with interlace capability
CN101448162B (zh) * 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
EP2894856A1 (en) * 2002-01-31 2015-07-15 Samsung Electronics Co., Ltd Filtering method and apparatus for reducing block artifacts or ringing noise
KR100846774B1 (ko) 2002-05-03 2008-07-16 삼성전자주식회사 블록킹 효과를 제거하기 위한 필터링 방법 및 그 장치
US6950473B2 (en) * 2002-06-21 2005-09-27 Seiko Epson Corporation Hybrid technique for reducing blocking and ringing artifacts in low-bit-rate coding
US7031392B2 (en) * 2002-09-20 2006-04-18 Seiko Epson Corporation Method and apparatus for video deblocking
US8503542B2 (en) * 2004-03-18 2013-08-06 Sony Corporation Methods and apparatus to reduce blocking noise and contouring effect in motion compensated compressed video
US7397853B2 (en) * 2004-04-29 2008-07-08 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US7400679B2 (en) * 2004-04-29 2008-07-15 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US7397854B2 (en) * 2004-04-29 2008-07-08 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0577350A2 (en) * 1992-07-02 1994-01-05 Matsushita Electric Industrial Co., Ltd. A video signal coding and decoding apparatus with an adaptive edge enhancement filter
EP0721286A3 (en) * 1995-01-09 2000-07-26 Matsushita Electric Industrial Co., Ltd. Video signal decoding apparatus with artifact reduction
US6704759B2 (en) * 2001-01-19 2004-03-09 Motorola, Inc. Method and apparatus for compression/decompression and filtering of a signal
US7027654B1 (en) * 2001-08-16 2006-04-11 On2 Technologies Video compression system
US7227901B2 (en) * 2002-11-21 2007-06-05 Ub Video Inc. Low-complexity deblocking filter

Also Published As

Publication number Publication date
TW200535730A (en) 2005-11-01
CN1694537A (zh) 2005-11-09
US7460596B2 (en) 2008-12-02
US20050243911A1 (en) 2005-11-03
CN100373950C (zh) 2008-03-05
TWI284854B (en) 2007-08-01
CN101175209A (zh) 2008-05-07

Similar Documents

Publication Publication Date Title
CN101175209B (zh) 活动图像专家组视讯译码器可适性去区块滤波方法
JP5753933B2 (ja) 量子化効果減少のための映像データ後処理方法
KR101708265B1 (ko) 영상 부호화 및 복호화 장치 및 그 방법
RU2355126C2 (ru) Основывающиеся на множестве слоев способ кодирования/декодирования и видеокодер/декодер, в которых используется сглаживающее предсказание
KR101000926B1 (ko) 영상의 불연속성을 제거하기 위한 필터 및 필터링 방법
US6665346B1 (en) Loop-filtering method for image data and apparatus therefor
JP4455487B2 (ja) 復号化装置及び復号化方法及びプログラム
Lee et al. Loop filtering and post-filtering for low-bit-rates moving picture coding
CN107211150A (zh) 动态更新质量至较高的色度采样率
JP2012521734A (ja) フィルタを選択する方法及び装置
MX2013002070A (es) Metodo y aparato de filtrado de circuito adaptativo.
US20080101720A1 (en) Method and architecture for temporal-spatial deblocking and deflickering with expanded frequency filtering in compressed domain
US8594189B1 (en) Apparatus and method for coding video using consistent regions and resolution scaling
Singh et al. A signal adaptive filter for blocking effect reduction of JPEG compressed images
Chen et al. Design a deblocking filter with three separate modes in DCT-based coding
KR101223780B1 (ko) 압축 화상 노이즈 제거 장치와 재생 장치
KR20000012878A (ko) 영상데이터 루프필터링방법 및 장치
Sun et al. In-loop deblocking filter for block based video coding
KR101247024B1 (ko) 루프 내 전처리 필터링을 이용한 움직임 추정 및 보상 방법
KR100843100B1 (ko) 디지털 영상에서의 블록 노이즈 저감 방법 및 장치, 이를이용한 인코딩/디코딩 방법 및 인코더/디코더
Li et al. A novel deblocking filter algorithm in h. 264 for real time implementation
Hsieh et al. Block effect reduction by the 1-D gray polynomial interpolation
Chodisetti et al. H. 264 video coding artifacts: measurement and reduction of flickering
Virk et al. Reduced complexity MPEG2 video post-processing for HD display
Meng Research on Video Coding Technology Based on Neural Network

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant