CN101401435A - 运动图像编码/译码方法、装置以及程序 - Google Patents

运动图像编码/译码方法、装置以及程序 Download PDF

Info

Publication number
CN101401435A
CN101401435A CNA2006800538272A CN200680053827A CN101401435A CN 101401435 A CN101401435 A CN 101401435A CN A2006800538272 A CNA2006800538272 A CN A2006800538272A CN 200680053827 A CN200680053827 A CN 200680053827A CN 101401435 A CN101401435 A CN 101401435A
Authority
CN
China
Prior art keywords
quantization matrix
matrix
mentioned
quantization
generates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2006800538272A
Other languages
English (en)
Inventor
谷泽昭行
中条健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Publication of CN101401435A publication Critical patent/CN101401435A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

在使用与各频率位置对应的变换系数的量化矩阵进行变换系数的量化的运动图像编码方法中，包括：使用为了生成量化矩阵而使用的生成函数以及生成参数生成量化矩阵的量化矩阵生成步骤；使用所生成的上述量化矩阵，进行上述变换系数的量化的量化步骤；对量化变换系数进行编码，生成编码信号的编码步骤。

Description

运动图像编码/译码方法、装置以及程序
技术领域
本发明涉及使用量化矩阵的运动图像编码/译码方法、装置以及程序。
背景技术
提出了利用在对图像信号进行了正交变换(例如离散余弦变换(DCT))后得到的DCT系数的频率特性，通过对每一频率位置进行位分配进行量化的方式(非专利文献1)。在该以往方式中，在低频区域中给予许多位以保持系数信息，在高频区域中相反通过降低位精度对DCT系数进行高效率地量化。但是，该以往方式需要根据量化的粗细保持分配表，在鲁棒性量化这一意义上未必是有效的方式。
此外，在ITU-T以及ISO/IEC等中劝告的ITU-TT.81以及ISO/IEC10918-1(以下是JPEG：Joint Photographic Experts Group)中，当用相同的量化尺度(scale)对变换系数进行量化的情况下，对全频率区域均等地进行量化。但是，在人的视觉特性中，在高频区域部分上比较迟钝。因而，在JPEG中提出了这样的方案，在每个频率区域上进行加权，通过改变量化尺度，在视觉上敏感的低频区域上分配许多的比特(rate)，高频区域通过相反地消减比特率(rate)提高主观画质。该方式对每个变换量化块进行量化处理。把在该量化中使用的表称为量化矩阵。
进而近年，与以往相比大幅度提高了编码效率的运动图像编码方法与ITU-T和ISO/IEC共同地，作为ITU-T Rec.H.264以及ISO/IEC14496-10(以下，称为“H.264”)劝告。即使在ISO/IEC MPEG-1，2，4、ITU-T H.261、H.263这种以往的编码方式中，也对正交变换后的DCT系数进行量化，进行变换系数的代码量消减。在H.264主要类(mainprofile)中，量化参数和量化尺度的关系因为设计成在记录(log)尺度上变成等间隔，所以不导入量化矩阵。但是，为了进一步对高分辨率的图像提高主观画质，在H.264高端类(high profile)中，重新导入量化矩阵(非专利文献2：Jiuhuai Lu，“Proposal of quantizationweighting for H.264/MPEG-4 AVC Profeesional Profiles”，JVT ofISO/IEC MPEG&ITU-T VCEG，JVT-K029，March.2004)。
在H.264高端类中，与2个变换量化块尺寸(4×4像素块和8×8像素块)对应，可以对每个编码模式(帧内预测和帧间预测)以及每个信号(亮度信号，色差信号)设置合计8种不同的量化矩阵。
量化矩阵因为是为了在量化时与各频率成分位置相应地在像素上施加权重而使用，所以即使在反量化时也需要同样的量化矩阵。在H.264高端类的编码器中，在对所利用的量化矩阵进行编码、复用后发送到译码器。具体地说，从量化矩阵的DC成分中以交错扫描或者场扫描顺序计算差分值，对得到的差分数据进行可变长度编码，作为编码数据而复用。
另一方面，H.264高端类的译码器用和编码器一样的逻辑对发送来的编码数据进行译码，作为量化矩阵复原而在反量化时使用。量化矩阵的代码量最终是被可变长度编码，但在语法(syntax)上需要最小8位，最大1500位以上。
H.264高端类的量化矩阵发送方法特别在面向便携和移动设备的低比特率(low bit rate)中使用的应用程序中，用于对量化矩阵进行编码的开销(overhead)增加，有时使编码效率大幅度下降。
提出了这样的方法，为了以少的开销进行量化矩阵的更新，首先发送成为基础的量化矩阵，通过将表示来自该量化矩阵的变化的倾斜的系数k发送到译码器，调整量化矩阵的值(专利文献3：特开2003-189308)。
在特开2003-189308“运动图像编码装置、编码方法、译码装置、译码方法以及运动图像代码列传送方法”中，其目的是以少的代码量对每个图片(picture)类型更新量化矩阵，可以最多以8位左右进行成为基础的量化矩阵的更新。但是，因为是只发送来自基础的量化矩阵的变化的倾斜的方式，所以量化矩阵的振幅能够改变，但改变其特性是不可能的。此外，需要发送成为基础的量化矩阵，根据编码的状况有时可能变成代码量大量增加。
在被H.264高端类规定的方法中，当进行量化矩阵的编码发送到译码器的情况下，如果令用于对量化矩阵进行编码的代码量增大地、对每个图片再次发送量化矩阵，则用于对量化矩阵进行编码的代码量进一步增大。此外，当发送量化矩阵的变化的倾斜度的情况下，量化矩阵的变更的自由度大幅度受到限制。其结果，存在适应性地利用量化矩阵是困难的问题。
发明内容
本发明的一个方面是提供具有以下特征的运动图像编码方法，在使用与各频率位置对应的变换系数的量化矩阵进行变换系数的量化的运动图像编码方法中具有：使用为了生成量化矩阵而使用的生成函数以及生成参数来生成量化矩阵的量化矩阵生成步骤；使用所生成的上述量化矩阵，进行上述变换系数的量化的量化步骤；对量化变换系数进行编码，生成编码信号的编码步骤。
附图说明
图1是表示按照本发明的第1种实施方式的运动图像编码装置的构成的方框图。
图2是表示按照第1种实施方式的量化矩阵生成部的构成的方框图。
图3是按照第1种实施方式的图像编码装置的流程图。
图4A是表示第1种实施方式的预测顺序·块形状的概略的图。
图4B是表示16×16像素的块形状的图。
图4C是表示4×4像素的块形状的图。
图4D是表示8×8像素的块形状的图。
图5A是表示与涉及第1种实施方式的4×4像素块对应的量化矩阵的图。
图5B是表示与8×8像素块对应的量化矩阵的图。
图6A是表示第1种实施方式的量化矩阵生成方法的图。
图6B是表示其他的量化矩阵生成方法的图。
图6C是表示其他的量化矩阵生成方法的图。
图7是表示按照第1种实施方式的语法构造的概略图的图。
图8是表示按照第1种实施方式的序列参数设置语法的数据构造的图。
图9是表示按照第1种实施方式的图片参数设置语法的数据构造的图。
图10是表示按照第1种实施方式的图片参数设置语法的数据构造的图。
图11是表示按照第1种实施方式的补充语法的数据构造的图。
图12是按照本发明的第2种实施方式的多路编码的流程图。
图13是表示切片头语法内的语法构造的图。
图14是表示切片头语法的图。
图15是表示切片头语法的图。
图16是表示CurrSliceType一例的图。
图17是表示切片头语法的图。
图18是表示按照本发明的第3种实施方式的运动图像译码装置的构成的方框图。
图19是按照本发明的第3种实施方式的运动图像译码装置的流程图。
具体实施方式
以下参照附图详细说明本发明的实施方式。
(第1种实施方式：编码)
如果采用图1所示的第1种实施方式，则将运动图像信号分割为每个小像素块，作为输入图像信号116输入到运动图像编码装置100。在运动图像编码装置100中，作为预测部101进行的预测模式，准备块尺寸或预测信号的生成方法不同的多个预测模式。在本实施方式中，如图4A所示那样假设从左上向着右下进行编码处理。
输入到运动图像编码装置100中的输入图像信号116如图4B所示那样分割成每1块16×16像素的多个块。将输入图像信号116的一部分输入到预测部101，经由以后说明的模式判定部102、变换部103、量化部104最终用编码处理部111进行编码。该编码图像信号在蓄积到输出缓冲器120中后，在编码控制部110管理的输出定时作为编码数据115输出。
将图4B所示的16×16像素块称为宏块，成为以下的编码处理的基本的处理块尺寸。运动图像编码装置100以该宏块单位读入输入图像信号116进行编码处理。宏块可以是32×32像素块单位，也可以是8×8像素块单位。
预测部101使用暂时保存在参照图像存储器107中的，已编码的参照图像，用以该宏块可以选择的全部的模式生成预测图像信号118。预测部101生成能以对象像素块取得的编码模式的全部的预测图像信号。但是，如H.264的帧内预测(4×4像素预测(参照图4C)或者8×8像素预测(参照图4D))那样如果在宏块内不制作局部译码图像，则不能进行下一预测那样的情况下，预测部101也可以进行正交变换以及量化、反量化以及反变换。
在预测部101中生成的预测图像信号118和输入图像信号116一同向模式判定部102输入。模式判定部102将预测图像信号118向反变换部106输入，并且生成从输入图像信号116中减去预测图像信号118的预测误差信号119，向变换部103输入。同时，模式判定部102根据在预测部101中预测的模式信息和所生成的预测误差信号116进行模式判定。如果更具体地说明，则在本实施方式中使用下式(1)那样的成本(cost)K进行模式判定。
K＝SAD+λ×OH            (1)
其中，OH是模式信息，SAD是预测误差信号的绝对和，λ是常数。常数λ根据量化宽度或量化参数的值决定。这样，根据得到的成本K决定模式。将给予成本K最小的值的模式作为最佳模式选择。
在本实施方式中，虽然使用模式信息和预测误差信号的绝对和，但作为其它实施方式，可以只使用模式信息、只使用预测误差信号的绝对和来判定模式，对此也可以进行阿达玛变换(Hadamardtransformation)等，利用近似的值。此外，也可以使用输入图像信号的活动性(activity)来制成成本，也可以利用量化宽度、量化参数制成成本函数。
作为用于算出成本的另一实施方式，可以准备假编码部，使用在实际上对根据该假编码部的编码模式生成的预测误差信号进行了编码时得到的编码数据的代码量、对编码数据进行局部译码得到的局部译码图像信号113和输入图像信号116的平方误差来判定模式。此时的模式判定式由下式(2)表示。
J＝D+λ×R         (2)
其中，J表示成本，D代表表示输入图像信号116和局部译码图像信号113的平方误差的编码变形，R表示用假编码估计的代码量。当使用该成本J的情况下，因为对每个编码模式需要假编码和局部译码(反量化处理或反变换处理)，所以电路规模增大，但可以使用正确的代码量和编码变形，可以维持高的编码效率。也可以只使用代码量、只使用编码变形来计算成本，也可以使用近似它们的值制成成本函数。
模式判定部102与变换部103以及反变换部106连接，将用模式判定部102选择的模式信息和预测误差信号118向变换部103输入。变换部103变换所输入的预测误差信号118，生成变换系数数据。在此，预测误差信号118例如使用离散余弦变换等进行正交变换。作为变形例子，可以使用小波变换或独立成分解析等的方法制成变换系数。
将从变换部103得到的变换系数向量化部104送出。量化部104对变换系数进行量化。将在量化中需要的量化参数设定在编码控制部110中。量化部104使用从量化矩阵生成部109输入的量化矩阵114对变换系数进行量化，生成量化变换系数112。
量化变换系数112和模式信息、量化参数等的涉及预测方法的信息一同向编码处理部111输入。编码处理部111和所输入的模式信息等一同对量化变换系数112进行熵编码(例如霍夫曼(Huffman)编码或算术编码等)。根据由编码处理部111进行的熵编码得到的编码数据115从运动图像编码部100输出到输出缓冲器120并进行复用等。复用信息通过输出缓冲器120发送。
当生成在量化时使用的量化矩阵114的情况下，用编码控制部110将表示量化矩阵的使用的有无的指示信息给予生成参数设定部108。生成参数设定部108根据该指示信息设定量化矩阵生成参数117，输出到量化矩阵生成部109以及编码处理部111。
量化矩阵生成参数117能够用由编码控制部110控制的外部参数设定部(未图示)设定，而且能够以编码图像的块单位、切片单位、图片单位更新。生成参数设定部108还具有控制量化矩阵生成参数117的设定定时的功能。
量化矩阵生成部109用被量化矩阵生成参数117决定的方法生成量化矩阵114，输出到量化部104以及反量化部105。同时输入到编码处理部111中的量化矩阵生成参数117和从量化部104输入的模式信息或变换系数112一同，进行熵编码。
反量化部105根据用编码控制部110设定的量化参数，以及从量化矩阵生成部109输入的量化矩阵114对用量化部104进行量化的变换系数112进行反量化。将反量化后的变换系数送到反变换部106。反变换部106对反量化变换系数进行反变换(例如反离散余弦变换等)，复原预测误差信号。
用反变换部106复原的预测误差信号116和从模式判定部102提供的判定模式的预测图像信号118相加。加上了预测图像信号118的信号成为局部译码信号113，输入到参照图像存储器107。参照图像存储器107将局部译码信号113作为复原图像而蓄积。这样蓄积在参照图像存储器107中的图像成为在由预测部101进行的预测图像信号等的生成时参照的参照图像。
编码循环(按照图1中的预测部101→模式判定部102→变换部103→量化部104→反量化部105→反变换部106→参照图像存储器107这一顺序进行的处理)当对可以用该宏块选择的全部的模式进行处理的情况下变成1次循环。如果对对象宏块来说编码循环结束，则输入下一块的输入图像信号116并进行编码。量化矩阵生成部108不需要对每个宏块生成。只要用生成参数设定部108设定的量化矩阵生成参数117不更新，就保持已生成的量化矩阵。
编码控制部110进行发生代码量的反馈控制以及量化特性控制、模式判定控制等。此外，编码控制部110进行控制发生代码量的速率(rate)控制、预测部101的控制、外部输入参数的控制。同时具有进行输出缓冲器120的控制，在适宜的定时将编码数据输出到外部的功能。
图2所示的量化矩阵生成部109根据输入的量化矩阵生成参数117生成量化矩阵114。所谓量化矩阵是指图5所示那样的矩阵，在量化或反量化时对每个频率位置进行对应的加权并进行量化。图5A表示与4×4像素块对应的量化矩阵的1例，图5B表示与8×8像素块对应的量化矩阵的1例。量化矩阵生成部109具有生成参数解释部201和切换器202，至少1个以上的矩阵生成部203。生成参数解释部201解读输入的量化矩阵生成参数117，根据各个矩阵生成方法输出切换器202的切换信息。该切换信息用量化矩阵生成控制部210设定，进行切换器202的输出端的切换。
切换器202根据从生成参数解释部201给予的、用量化矩阵生成控制部210设定的切换信息进行切换。例如，当量化矩阵生成参数117的矩阵生成类型是第1类型的情况下，切换器202将生成参数解释部201的输出端向第1矩阵生成部203连接。另一方面，当量化矩阵生成参数117的矩阵生成类型是第N类型的情况下，切换器202将生成参数解释部201的输出端向第N矩阵生成部203连接。
当量化矩阵生成参数117的矩阵生成类型是第M类型(N<M)，在量化矩阵生成部109内不存在第M矩阵生成部203的情况下，切换器202用预先规定的方法将生成参数解释部201的输出端向对应的矩阵生成部连接。例如，当输入在量化矩阵生成部109中不存在的类型的量化矩阵生成参数的情况下，切换器202始终将输出端向第1矩阵生成部连接。当知道相似的矩阵生成类型的情况下，可以与输入的第M类型的矩阵生成类型最接近地与第L矩阵生成部连接。无论怎样，量化矩阵生成部109都用预先决定的连接方法与输入的量化矩阵生成参数117对应地将生成参数解释部201的输出端向第1至第N矩阵生成部203的1个连接。
在各矩阵生成部203中，按照对应的量化矩阵生成参数的信息生成量化矩阵114。具体地说，量化矩阵生成参数信息117用矩阵生成类型(T)、量化矩阵的变化度(A)、变形度(B)、补正项(C)的信息构成。这些参数给予了不同的名称，但实际上也可以采用任何使用方法。将它们定义为下式(3)那样的参数集(set)。
QMP＝(T，A，B，C)     (3)
QPM表示量化矩阵生成参数。矩阵生成类型(T)表示使用与哪种类型对应的矩阵生成部203。另一方面，变化度(A)、变形度(B)、补正项(C)的使用方法能够自由地对每个矩阵生成类型定义。参照图6A说明第1矩阵生成类型。
如下式(4)(5)(6)那样表示矩阵生成类型是1时的矩阵生成函数的例子。
[数1]
r＝|x+y|                   (4)
Q4x4(x，y)＝a*r+c      (5)
Q 8 x 8 ( x , y ) = a 2 * r + c - - - ( 6 )
进而，下式(7)(8)(9)表示在第1矩阵类型的情况中使用的变化度(A)、变形度(B)、补正项(C)的表变换例。
a＝0.1×A                 (7)
B＝0                      (8)
c＝16+C                   (9)
在此，变化度(A)表示将距离量化矩阵的频率位置上的DC成分的距离设置成r时的变化的斜率。例如，如果变化度(A)是正的值，则频率位置r越大，矩阵的值越大，能够在高频区域设定大的值。相反如果变化度(A)是负的值，则r越大矩阵的值越小，在低频区域中能够粗略地设定量化步骤。在第1矩阵生成类型中，不利用变形度(B)，始终设定0的值。另一方面，补正项(C)表示用变化的斜率(A)表示的直线的截距。第1矩阵生成函数因为可以只用乘法和加法、减法、移位(shift)运算进行处理，所以具有可使硬件成本减小的优点。
在下式(10)中表示使用式(7)(8)(9)在QMP＝(1，40，0，0)时生成的量化矩阵.
[数2]
Q 4 x 4 ( x , y ) = 16 20 24 28 20 24 28 32 24 28 32 36 28 32 36 40 - - - ( 10 )
因为变化度(A)、变形度(B)、补正项(C)的各自的变量的精度对硬件规模有影响，所以在确定的范围内持有效率好的表是重要的。在式(7)中，如果将变化度(A)设置成6位的非负整数，则可以取从0到6.4的斜率，但不能取负的值。因而，如下式(11)所示通过利用7位使用变换表，可以取从-6.3到6.4位的范围。
α＝0.1×(A-63)         (11)
设置与矩阵生成类型(T)对应的变化度(A)、变形度(B)、补正项(C)的变换表，通过对每个矩阵生成类型(T)具有变化度(A)、变形度(B)、补正项(C)的精度，可以根据编码状况以及利用的环境设定适宜的量化矩阵生成参数。用式(4)(5)(6)表示的第1矩阵生成类型因为变形度(B)始终为0，所以，不需要发送与之对应的参数，根据矩阵生成类型也可以减少利用的参数的数量。这种情况下，对不利用的参数不进行编码。
接着，表示作为第2矩阵生成类型使用了二次函数的量化矩阵生成函数。图6C表示该矩阵生成类型的概念图。
[数3]
Q 4 x 4 ( x , y ) = a 4 * r 2 + b 2 * r + c - - - ( 12 )
Q 8 x 8 ( x , y ) = a 16 * r 2 + b 8 * r + c - - - ( 13 )
分别与上述函数a、b、c关联的(A)(B)(C)分别表示二次函数的变化的程度、变形、补正值。在该函数中有特别是随着距离增大，值大幅度增大的趋势。例如，如果使用式(4)(8)(10)计算QMP＝(2，10，1，0)时的量化矩阵，则能够生成下式(14)的量化矩阵。
[数4]
Q 4 x 4 ( x , y ) = 16 17 18 20 17 18 20 22 18 20 22 25 20 22 25 28 - - - ( 14 )
进而用下式(15)(16)表示第3矩阵生成类型的矩阵生成函数的例子。
[数5]
Q 4 x 4 ( x , y ) = a * r + b ( sin ( &pi; 16 r ) ) + c - - - ( 15 )
Q 8 x 8 ( x , y ) = a 2 * r + b 2 ( sin ( &pi; 32 r ) ) + c - - - ( 16 )
在第1矩阵类型中加上在图6B中所示的变形项。变形度(B)表示正弦函数的振幅的大小，如果b取正的值则表现直线向下侧变形的效果。另一方面，在b是负值时，直线表现向上侧变形的效果。需要用4×4像素块或者8×8像素块改变对应的相位。通过改变相位能够生成各种变形。如果使用式(4)(15)计算QMP＝(3，32，7，-6)时的量化矩阵，则能够生成下式(17)的量化矩阵。
[数6]
Q 4 x 4 ( x , y ) = 10 14 19 23 14 19 23 27 19 23 27 31 23 27 31 35 - - - ( 17 )
在本实施方式中虽然使用正弦函数，但也可以使用余弦函数或其他的函数，也可以改变相位或周期等。变形度(B)例如可以利用S形函数(sigmoid function)或高斯函数、对数函数或N次函数等各种函数。此外，当以整数值给予包含用正弦函数表示的变形振幅(B)的变化度(A)、补正项(C)的变量的情况下，为了避免正弦函数等的处理负荷高的计算处理，可以预先持有变换表。
在矩阵生成类型中使用的函数变成实数运算，如果在每次编码时进行正弦函数计算则运算处理增加。此外，需要准备用于进行正弦函数运算的硬件。因而，也可以持有与所利用的参数的精度相应的变换表。
浮动小数运算与整数运算相比因为处理成本增加，所以量化矩阵生成参数分别用整数值定义，从与矩阵生成类型相应的各自的变换表中取出对应的值。
当可进行实数精度的运算的情况下，也可以使用下式(18)计算距离。
[数7]
r = x 2 + y 2 - - - ( 8 )
也可以通过与距离相应地进行加权而改变量化矩阵的纵向、横向的值。例如，当重视垂直方向的情况下，使用下式(19)那样的距离函数。
[数8]
r＝|2x+y|                   (19)
如果使用上式并使用QMP＝(2，1，2，8)生成量化矩阵，则得到用下式(20)表示的量化矩阵。
[数9]
Q 4 x 4 ( x , y ) = 8 10 14 20 9 12 17 24 10 14 20 28 12 17 24 33 - - - ( 20 )
用第1至第N矩阵生成部203生成的量化矩阵204有选择地从量化矩阵生成部109输出。量化矩阵生成控制部210控制切换器202，按照用生成参数解释部201所解释的矩阵生成类型分别对切换器202的输出端进行切换。此外，进行是否正确地生成与量化矩阵生成参数对应的量化矩阵的校验等。
以上说明了本实施方式的运动图像编码装置100以及量化矩阵生成部109的构成。以下，参照图3的流程图说明用运动图像编码装置100以及量化矩阵生成部109实施本发明的实施方式的运动图像编码方法的例子。
首先，从外部存储器(未图示)中读出1帧量的图像信号，作为输入图像信号116输入到运动图像编码装置100(步骤S001)。此时，将输入图像信号116分割成16×16像素的宏块单位而输入。此外，此时进行量化矩阵生成参数的设定(S002)。即，编码控制部110向生成参数设定部108发送是否在当前帧中利用量化矩阵的信息。接收该信息，生成参数设定部108将量化矩阵生成参数送到量化矩阵生成部109。量化矩阵生成部109按照输入的量化矩阵生成参数的方式，生成量化矩阵。
如果输入了输入图像信号116，则以块单位开始编码(步骤S003)。此时，如果将输入图像信号116的1个块输入到预测部101，则模式判定部102对表示编码模式的索引或成本进行初始化(步骤S004)。其后，使用输入图像信号116在预测部102中生成能以块选择的1个模式中的预测图像信号118(步骤S005)。计算该预测图像信号118和输入图像信号116的差分，其结果生成预测误差信号119。根据该预测误差信号119的绝对值和SAD与预测模式的代码量OH计算成本cost(步骤S006)。或者，进行局部译码而生成局部译码信号113，根据从局部译码信号113和输入图像信号116的差分值计算的代码量D、进行暂时的编码而计算的代码量R计算成本cost。
模式判定部102判别所计算的成本cost是否比最小成本min_cost小(步骤S007)，当小的情况下(“是”)用该成本更新最小成本，并且将此时的编码模式作为best_mode索引而保持(步骤S008)。同时进行预测图像的保存(步骤S009)。当所计算的成本cost比最小成本min_cost大的情况下(“否”)，使表示模式编号的index增值，判定增值后的index是否是模式的最后(步骤S010)。
当index比作为模式的最后的编号的MAX大的情况下(“是”)，将bset_mode的编码模式信息以及预测误差信号119送到变换部103以及量化部104，进行变换以及量化(步骤S011)。将进行了量化的变换系数112输入到编码处理部111，和预测信息一同用编码处理部111进行熵编码(步骤S012)。另一方面，当index是比作为模式的最后的编号的MAX小的情况下(“否”)，生成用下一index表示的编码模式的预测图像信号118(步骤S005)。
如果以best_mode进行编码，则将量化了的变换系数112输入到反量化部105以及反变换部106，进行反量化以及反变换(步骤S013)。由此，对预测误差信号进行译码。将该译码预测误差信号和从模式判定部102提供的best_mode的预测图像信号相加，生成局部译码信号113。该局部译码信号113作为参照图像保存到参照图像存储器107(步骤S104)。
进行1帧的编码是否结束的判定(步骤S015)。当处理结束的情况下(“是”)，读入下一帧的输入图像信号，返回步骤S002，进行编码处理。另一方面，当1帧的编码处理没有结束的情况下(“否”)，返回步骤003，输入下一像素块，继续编码处理。
以上是本发明的实施方式中的，运动图像编码装置100以及运动图像编码方法的概要。
在本发明的上述实施方式中，表示了量化矩阵生成部108为了编码1个帧，生成1个量化矩阵并利用的例子。但是，也可以在1个帧内，输入多个量化矩阵生成参数，生成多个量化矩阵。这种情况下，因为可以在1个帧内切换以根据第1至第N矩阵生成部203而不同的矩阵生成类型生成的量化矩阵，所以可以进行更灵活的量化。具体地说，在第1矩阵生成部中，生成具有一样的权重的量化矩阵，在第2矩阵生成部中，生成在高频区域上具有大的值的量化矩阵。通过在每个编码对象块上改变该2个矩阵，可以在更细致的范围中进行量化的控制。为了生成量化矩阵所发送的代码量最多是数位左右，所以可以维持高的编码效率。
在本发明的实施方式中，对于与亮度成分有关的量化矩阵的生成，说明了4×4像素块尺寸和8×8像素块尺寸的量化矩阵生成方法，但关于色差成分也可以用同样的构架生成量化矩阵。此时，为了避免增加用于将色差成分的量化矩阵生成参数复用到语法的开销，可以利用和亮度成分一样的量化矩阵，也可以制成带有与各频率位置对应的偏移的量化矩阵并利用。
在本发明的本实施方式中，说明了在第N矩阵生成部203中使用三角函数(正弦函数)的量化矩阵生成法，但所利用的函数可以是S形函数、高斯函数，可以根据函数类型制作更复杂的量化矩阵。进而，在从量化矩阵生成控制部210给予的量化矩阵生成参数QMP中，当在运动图像编码装置中不能利用对应的矩阵生成类型(T)时，也可以用与该矩阵生成类型(T)很相似的矩阵生成类型代用而生成量化矩阵。具体地说，第2矩阵生成类型是在第1矩阵生成类型中加上使用了正弦函数的变形度的函数，生成的量化矩阵的趋势也相似。因而，在输入T＝3时，当在编码装置内不能利用第3矩阵生成部的情况下，利用第1矩阵生成部。
在本发明的实施方式中，虽然使用了矩阵生成类型(T)、量化矩阵的变化度(A)、变形度(B)、补正项(C)这4个参数，但也可以利用此外的参数，能够利用由矩阵生成类型(T)决定的数量的参数。此外，同时可以具有用矩阵生成类型(T)预先决定的参数的变换表。发送的量化矩阵生成参数的数量少，精度越低，用于对该参数进行编码的代码量减少，但同时量化矩阵的自由度减少，所以考虑所适用的类(profile)或硬件规模等的平衡而选择量化矩阵生成参数的数量以及精度即可。
在本发明的实施方式中，虽然说明了将处理对象帧分割为16×16像素尺寸等的矩形块，当从画面左上的块向右下的块顺序编码的情况，但处理顺序也可以是其他的顺序。例如，也可以从右下向左上进行处理，也可以从画面中央以涡旋形进行处理。可以从右上向左下进行，也可以从画面的周边部向中心部进行处理。
在本发明的实施方式中，将变换量化块尺寸作为16×16像素单位的宏块进行分割，进而作为帧内预测的处理单位，说明了8×8像素块或4×4像素块的情况，但处理对象块不需要设置成均匀的块形状，16×8像素、8×16像素、8×4像素、4×8像素等的块尺寸也可以适用。例如，对于8×4像素块或2×2像素块也可以用同样的构架实现。进而，在1个宏块中，不需要取均匀的块尺寸，可以选择分别不同的块的大小。例如，可以在宏块内让8×8像素块和4×4像素块混合存在。这种情况下，如果分割块数增加，则用于对分割块进行编码的代码量增加，但可以进行更高精度的预测，可以消减预测误差。因而，考虑变换系数的代码量和局部译码图像的平衡而选择块尺寸即可。
在本发明的实施方式中，设置了变换部103以及量化部104、反量化部105以及反变换部106。但是，不是必须对全部的预测误差信号进行变换量化以及反量化反变换，可以由编码处理部109对预测误差信号直接进行编码，也可以省略量化以及反量化处理。同样，不进行变换处理和反变换处理也可以。
(第2种实施方式：编码)
参照图12的流程图说明本发明的第2种实施方式的多路编码。在本实施方式中，有关具有和图3的第1种实施方式相同功能的编码流程，即步骤S002至S015省略说明。当对每个图片设定最佳量化矩阵的情况下，需要量化矩阵的最佳化。因此多路编码有效。如果采用该多路编码，则可以进行量化矩阵生成参数的有效的选择。
在本实施方式中，为了进行多路编码，如图12所示在第1种实施方式的步骤S002之前追加步骤S101至S108。即，首先，在运动图像编码装置100中输入1帧量的输入图像信号116(步骤S101)，分割为16×16像素的宏块单位进行编码。此时，编码控制部110将在当前帧中利用的量化矩阵生成参数的索引初始化为0，对表示最小成本的min_costQ进行初始化(步骤S102)。此时，量化矩阵生成控制部210从量化矩阵生成参数集中选择用PQM_idx表示的量化矩阵生成参数的索引，向量化矩阵生成部109送出。量化矩阵生成部109按照所输入的量化矩阵生成参数的方式生成量化矩阵(步骤S103)。使用此时生成的量化矩阵进行1帧量的编码(步骤S104)。在此对每个宏块累加成本，算出1帧的编码成本(步骤S105)。
判别所计算的成本cost是否比最小成本min_costQ小(步骤S106)，当计算成本比最小成本小的情况下(“是”)，用该计算成本更新最小成本。将此时的量化矩阵生成参数的索引作为Best_PQM_idx索引而保持(步骤S107)，当所计算的成本cost比最小成本min_costQ大的情况下(“否”)，使PQM_index增值，判定增值后的PQM_idx是否是最后(步骤S108)。当该判定是“否”的情况下，更新量化矩阵生成参数的索引，继续进一步的编码。另一方面，当判定是“是”的情况下，将Best_PQM_idx再次向量化矩阵生成部109输入，执行本编码流程(步骤S002至S015)。当在多路处理时保持在Best_PQM_idx中编码时的编码数据的情况下，不需要进行本编码流程，可以根据编码数据的更新结束该帧的编码。
在第2种实施方式中，当用多路进行编码的情况下，不是必须进行1帧全体的编码，可以根据块单位的变换系数分布决定所利用的量化矩阵生成参数。例如，当在低速率(rate)时生成的变换系数几乎是0的情况下，因为不利用量化矩阵，也不改变输出的编码数据的性质，所以可以大幅度消减处理。
说明量化矩阵生成参数的编码方法。图7表示在上述实施方式中使用的语法的构造的概略。语法主要具有3个部分。高水平语法(401)装有切片以上的上位层的语法信息。在切片水平语法(402)中在每个切片中明确记录需要的信息，在宏块水平语法(403)中，明确记录在每个宏块中需要的量化参数的变更值或模式信息等。这些语法由进一步用详细的语法构成。即，高水平语法(401)含有序列参数集语法(404)和图片参数集语法(405)等的序列、图片水平的语法。切片水平语法(402)具有切片头语法(406)、切片数据语法(407)等。进而，宏块水平语法(403)含有宏块头语法(408)、宏块数据语法(409)等。
上述的语法是在译码时不可缺少的构成要素，如果缺少这些语法信息则不能在译码时正确地复原数据。另一方面，作为用于对在译码时不是必须的信息进行复用的辅助性的语法存在补充语法。在该语法中，记述有图像的统计数据或照相机参数等，作为在译码时施加滤波器，或者进行调整这样的作用而准备。
在本实施方式中，需要的语法信息是序列参数集语法(404)、图片参数集语法(405)，以下说明各个语法。
在图8的序列参数集语法内表示的ex_seq_scaling_matrix_flag是表示是否利用量化矩阵的标志，在该标志是真(TRUE)时，可以用序列单位切换量化矩阵。另一方面，在标志是假(FALSE)时，在序列内不能使用量化矩阵。在ex_seq_scaling_matrix_flag是真(TRUE)时，进一步送出ex_matrix_type、ex_matrix_A、ex_matrix_B、ex_matrix_C。它们分别对应于矩阵生成类型(T)、量化矩阵的变化度(A)、变形度(B)、补正项(C)。
在图9的图片参数集语法内所示的ex_pic_scaling_matrix_flag是表示对每个图片是否改变量化矩阵的标志，在该标志是真(TRUE)时，可以以图片单位切换量化矩阵。另一方面，在标志是假(FALSE)时，不能对每个图片改变量化矩阵。在ex_pic_scaling_matrix_flag是真(TRUE)时进一步发送ex_matrix_type、ex_matrix_A、ex_matrix_B、ex_matrix_C。这些分别对应于矩阵生成类型(T)、量化矩阵的变化度(A)、变形度(B)、补正项(C)。
作为图片参数集语法的另一例子，在图10中表示发送多个量化矩阵生成参数的情况的例子。在图片参数集语法内表示的ex_pic_scaling_matrix_flag是表示对每个图片是否改变量化矩阵的标志，在该标志是真(TRUE)时，可以以图片单位切换量化矩阵。另一方面，在标志是假(FALSE)时，不能对每个图片改变量化矩阵。在ex_pic_scaling_matrix_flag是真(TRUE)时，进一步送出ex_num_of_matrix_type。该值表示量化矩阵生成参数的集数，通过该组合可以送出多个量化矩阵。接着送出的ex_matrix_type、ex_matrix_A、ex_matrix_B、ex_matrix_C送出ex_num_of_matrix_type值的量，作为结果能够在图片内设定多个量化矩阵。进而当想以块单位改变量化矩阵的情况下，只要以对应的量化矩阵的数量大小对每个块发送位并切换即可。例如，当ex_num_of_matrix_type是2的情况下，在宏块头语法中附加1位的语法，根据该值是真(TRUE)还是假(FALSE)来切换量化矩阵。
在本实施方式中，如上所述当在1个帧内保持多个量化矩阵生成参数的情况下，它们能够复用到辅助性的语法中。图11表示使用补充语法发送多个量化矩阵生成参数的情况的例子。在补充语法内所示的ex_sei_scaling_matrix_flag是表示是否切换多个量化矩阵的标志，在该标志是真(TRUE)时，可以切换多个量化矩阵。另一方面，在标志是假(FALSE)时，不能切换量化矩阵。在ex_sei_scaling_matrix_flag是真(TRUE)时进一步发送ex_num_of_matrix_type。该值表示量化矩阵生成参数的集数，通过该组合可以送出多个量化矩阵。接着发送的ex_matrix_type、ex_matrix_A、ex_matrix_B、ex_matrix_C送出ex_num_of_matrix_type的值的量，作为结果能够在图片内设置多个量化矩阵。
在本发明的本实施方式中，用图7所示的切片水平语法中的切片头语法可以进行量化矩阵的再发送。用图13说明这种情况下的例子。图13表示切片头语法内的语法构造。图13的切片头语法内所示的slice_ex_scaling_matrix_flag是表示在该切片中是否利用量化矩阵的标志，在该标志是真(TRUE)时能够在该切片中改变量化矩阵。另一方面，在标志是假(FALSE)时，在该切片内不能改变量化矩阵。在slice_ex_scaling_matrix_flag是真(TRUE)时进一步发送slice_ex_matrix_type。该语法与矩阵生成类型(T)对应。接着发送slice_ex_matrix_A、slice_ex_matrix_B、slice_ex_matrix_C。这些分别对应于量化矩阵的变化度(A)、变形度(B)、补正项(C)。图13中的NumOfMatrix表示在该切片中可以利用的量化矩阵的数量。该值当在切片水平内更小的区域上改变量化矩阵的情况下，当用亮度成分和颜色成分改变量化矩阵的情况下，用量化块尺寸改变量化矩阵的情况下，对每个编码模式改变量化矩阵的情况等中可以发送分别对应的量化矩阵的模型化参数。作为例子当在该切片中存在4×4像素块尺寸和8×8像素块尺寸的2种量化块，对各自可利用不同的量化矩阵的情况下，将NumOfMatrix的值设置为2。
在本发明的本实施方式中，可以使用图14那样的切片头语法以切片水平改变量化矩阵。在图14中，与图13相比发送的模型化参数变成3。例如当进行使用了式(5)的量化矩阵的生成的情况下，因为变形度(B)始终设定在0，因此不需要发送。因此，通过作为内部参数将初始值保持为0，可以在编码器和译码器中生成完全相同的量化矩阵。
在本发明的本实施方式中，也可以使用在图15中表示的切片头语法发送参数。图15以图13为基础，追加PrevSliceExMatrixType、PrevSliceExMatrix_A、PrevSliceExMatrix_B(进而是PrevSliceExMatrix_C)。如果更具体说明，则slice_ex_scaling_matrix_flag是表示在该切片中是否利用量化矩阵的标志，在该标志是真(TRUE)时，如图13、图14所示那样向译码器发送模型化参数。另一方面，当该标志是假(FALSE)的情况下，设定PrevSliceExMatrixType、PrevSliceExMatrix_A、PrevSliceExMatrix_B(进而是PrevSliceExMatrix_C)。这些意义解释如下。
PrevSliceExMatrixType表示在编码顺序上是该切片的前1个的以相同的切片类型进行编码时使用的生成类型(T)。本变量在切片的编码结束的紧接之前更新。将初始值设定在0。
PrevSliceExMatrix_A表示在编码顺序上是该切片的前1个的以相同的切片类型进行编码时使用的变化度(A)。本变量在切片的编码结束的紧接之前更新。将初始值设定在0。
PrevSliceExMatrix_B表示在编码顺序上是该切片的前1个的以相同的切片类型进行编码时使用的变形度(B)。本变量在切片的编码结束的紧接之前更新。将初始值设定在0。
PrevSliceExMatrix_C表示在编码顺序上是该切片的前1个的以相同的切片类型进行编码时使用的补正项(C)。本变量在切片的编码结束的紧接之前更新。将初始值设定在16。
CurrSliceType表示该编码切片的切片类型，例如分配与I-Slice、P-Slice、B-Slice的每个对应的索引。图16表示CurrSliceType的一例。在各个切片类型的每个上分配有值。例如在只使用图面内预测的I-Slice中分配有0。此外，在能够使用从以时间顺序在前面编码的编码帧的单向预测和画面内预测的P-Slice中分配有1。另一方面，在能够使用双向预测、单向预测、画面内预测的B-Slice中分配有2。
这样通过调用紧接之前的以相同的切片类型进行编码的量化矩阵的模型化参数进行再设定，可以消减在模型化参数的发送中需要的代码量。
在本发明的本实施方式中，还可以使用图17。图17是消除了图15中的NumOfMatrix的构造。当在编码切片中可以使用的量化矩阵只有1个的情况下，使用比图15简单的本语法。本语法表示和在图15中NumOfMatrix是1的情况大致相同的动作。
当在译码器中在同一图片内能够保持多个量化矩阵的情况下，从补充语法中读出量化矩阵生成参数，生成对应的量化矩阵。另一方面，当在同一图片内不能保持多个量化矩阵的情况下，不进行补充语法的译码，使用用记述在图片参数集语法中的量化矩阵生成参数生成的量化矩阵。
如上所述在上述实施方式中，通过根据对应的矩阵生成类型生成量化矩阵，对该量化矩阵的生成参数进行编码，能够消减用于发送量化矩阵的代码量，并且，在图片内也可以进行适应性的量化矩阵选择，能够进行可应对考虑到主观画质的量化、考虑到编码效率的编码等的各种用途的编码。即，能够根据像素块的内容等进行适宜的编码。
在上述那样选择的模式中的编码时，译码图像信号的生成只要只对所选择的模式进行即可，在用于预测模式判定的循环内可以不是必须执行。
接着，说明与上述运动图像编码装置对应的运动图像译码装置。
(第3种实施方式：译码)
根据图18所示的本实施方式的运动图像译码装置300，输入缓冲器309暂时保存从图1的运动图像编码装置100中送出、经由传送系统或者蓄积系统传送来的编码数据。所保存的编码数据按每1帧根据语法被分离并输入到译码处理部301。译码处理部301按照图7所示的语法构造，对高水平语法、切片水平语法、宏块水平语法的各自，顺序进行编码数据的各语法的代码列的译码。通过该译码复原量化的变换系数、量化矩阵生成参数、量化参数、预测模式信息、预测切换信息等。
译码处理部301从译码后的语法中生成表示在对应的帧中是否利用量化矩阵的标志，将其输入到生成参数设定部306。在该标志是真(TRUE)时，进一步从译码处理部301向生成参数设定部306输入量化矩阵生成参数311。生成参数设定部306具有量化矩阵生成参数311的更新功能，根据在译码处理部301中译码的语法，将量化矩阵生成参数311的集向量化矩阵生成部307输入。量化矩阵生成部307生成与所输入的量化矩阵生成参数311对应的量化矩阵318，向反量化部302输出。
把从编码处理部301输出的量化后的变换系数输入到反量化部302，以复原的各信息为基础，使用量化矩阵318、量化参数等在反量化部302中进行反量化。将反量化的变换系数向反变换部303输入。反变换部303对反量化的变换系数进行反变换(例如反离散余弦变换等)，生成误差信号313。在此，虽然说明了反正交变换，但当在编码器中进行了小波变换或独立成分分析等的情况下，也可以在反变换部303中执行对应的反小波变换或反独立成分解析等。在反变换部303中被反变换的系数作为误差信号313向加法器308发送。加法器308将从预测部305输出的预测信号315和误差信号313相加，将加法信号作为译码信号314向参照存储器304输入。译码图像314进一步向运动图像译码部300外送出，向输出缓冲器(未图示)等蓄积。存储在输出缓冲器上的译码图像在译码控制部310管理的定时被读出。
另一方面，将在译码处理部301中译码的预测信息316、模式信息等向预测部305输入。此外，从参照存储器304向预测部305提供已编码的参照信号317。预测部305以输入的模式信息等为基础，生成预测信号315，向加法器308提供。
译码控制部310进行输入缓冲器307、输出定时的控制、译码定时的控制等。
第3个实施方式的运动图像译码装置300如上所述那样构成，以下，参照图19的流程图说明用运动图像译码装置300能够实施的运动图像译码方法。
从输入缓冲器309读入1帧的编码数据(步骤S201)，根据语法构造对编码数据进行译码(步骤S202)。根据译码的语法，用标志判定是否对读入帧利用量化矩阵(步骤S203)。如果该判定是“是”，则将量化矩阵生成参数设定在量化矩阵生成部307中(步骤204)。量化矩阵生成部307生成与生成参数对应的量化矩阵(步骤205)。在该量化矩阵生成中使用在上述的运动图像编码装置中使用的、和图2所示的量化矩阵生成部109同样结构的量化矩阵生成部307，经由同样的处理生成量化矩阵。在该量化矩阵生成部109中设定生成参数的生成参数生成部306也使用和编码装置的生成参数设定部108一样的结构。
即，在生成参数生成部306中也如图7所示，语法主要具有3个部分，即高水平语法(401)、切片水平语法(402)以及宏块水平语法(403)。此外，这些语法和编码装置一样用进一步详细的语法构成。
上述的语法是在译码时不可缺少的构成要素，如果缺少这些语法信息则在译码时不能正确地复原数据。另一方面，作为用于对在译码时不是必须的信息进行复用的辅助性的语法存在补充语法。
在本实施方式中，成需要的语法信息是序列参数集语法(404)、图片参数集语法(405)，各个语法和在运动图像编码装置中的说明一样分别如图8以及图9所示那样构成序列参数集语法以及图片参数集语法。
作为图片参数集语法的另一例子也如在运动图像编码装置中说明的那样能够使用如图10所示那样的发送多个量化矩阵生成参数时的图片参数集语法。但是，当想以块单位变更量化矩阵的情况下，只要以对应的量化矩阵的数量大小对每个块发送位并切换即可。例如，当ex_num_of_matrix_type是2的情况下，在宏块头语法中附加1位的语法，根据该值是真(TRUE)还是FALSE来切换量化矩阵。
在本实施方式中，如上所述当在1个帧内保持多个量化矩阵生成参数的情况下，可以利用复用到辅助性的语法上的数据。对此也如在运动图像编码装置中说明的那样能够用图11所示的补充语法，使用多个量化矩阵生成参数。
在本发明的本实施方式中，可以用图7所示的切片水平语法中的切片头语法进行量化矩阵的再接收。用图13说明这种情况的例子。图13表示切片头语法内的语法构造。图13的切片头语法内所示的slice_ex_scaling_matrix_flag是表示在该切片中是否利用量化矩阵的标志，在该标志是真(TRUE)时，能够在该切片中变更量化矩阵。另一方面，在标志是假(FALSE)时，在该切片中不能改变量化矩阵。在slice_ex_scaling_matrix_flag是真(TRUE)时进一步接收slice_ex_matrix_type。该语法与矩阵生成类型(T)对应。接着接收slice_ex_matrix_A、slice_ex_matrix_B、slice_ex_matrix_C。它们分别与量化矩阵的变化度(A)、变形度(B)、补正项(C)对应。图13中的NumOfMatrix表示在该切片中可以使用的量化矩阵的数量。该值当在切片水平内的更小的区域上改变量化矩阵的情况下，当用亮度成分和颜色成分改变量化矩阵的情况下，当用量化块尺寸改变量化矩阵的情况下，当对每个编码模式改变量化矩阵的情况等下，可以接收分别对应的量化矩阵的模型化参数。作为例子，在该切片中，存在4×4像素块尺寸和8×8像素块尺寸的2种量化块，当能够对它们分别利用不同的量化矩阵的情况下，NumOfMatrix的值设置为2。
在本发明的本实施方式中，还可以使用图14那样的切片头语法以切片水平改变量化矩阵。在图14中，与图13相比接收到的模型化参数变成3个。例如当使用了式5进行量化矩阵的生成的情况下，因为将变形度(B)始终设定为0，因此不需要接收。因此，通过作为内部参数将初始值保持为0，可以在编码器和译码器中生成完全相同的量化矩阵。
此外，在本发明的本实施方式中，还可以使用在图15中表示的切片头语法接收参数。图15以图13为基础，追加PrevSliceExMatrixType、PrevSliceExMatrix_A、PrevSliceExMatrix_B(进而是PrevSliceExMatrix_C)。如果更具体说明，则slice_ex_scaling_matrix_flag是表示在该切片中是否利用量化矩阵的标志，在该标志是真(TRUE)时，如图13、图14所示那样接收模型化参数。另一方面，当该标志是假(FALSE)的情况下，设定PrevSliceExMatrixType、PrevSliceExMatrix_A、PrevSliceExMatrix_B(进而是PrevSliceExMatrix_C)。这些意义解释如下。
PrevSliceExMatrixType表示在译码顺序上是该切片的前1个的以相同的切片类型进行译码时使用的生成类型(T)。本变量在切片的译码结束的紧接之前更新。将初始值设定在0。
PrevSliceExMatrix_A表示在译码顺序上是该切片的前1个的以相同的切片类型进行译码时使用的变化度(A)。本变量在切片的译码结束的紧接之前更新。将初始值设定在0。
PrevSliceExMatrix_B表示在译码顺序上是该切片的前1个的以相同的切片类型进行译码时使用的变形度(B)。本变量在切片的译码结束的紧接之前更新。将初始值设定在0。
PrevSliceExMatrix_C表示在译码顺序上是该切片的前1个的以相同的切片类型进行译码时使用的补正项(C)。本变量在切片的译码结束的紧接之前更新。将初始值设定在16。
在此，CurrSliceType表示该切片的切片类型，例如分配与I-Slice、P-Slice、B-Slice的每个对应的索引。图16表示CurrSliceType的一例。在各个切片类型的每个上分配有值。例如在只使用图面内预测的I-Slice中分配有0。此外，在能够使用从以时间顺序在前面编码的编码帧的单向预测和画面内预测的P-Slice中分配有1。另一方面，在能够使用双向预测、单向预测、画面内预测的B-Slice中分配有2。
这样，通过调用紧接之前的以相同的切片类型进行译码的量化矩阵的模型化参数进行再设定，可以消减在模型化参数的接收中需要的代码量。
在本发明的本实施方式中，还可以使用图17。图17是消除了图15中的NumOfMatrix的构造。当在切片中可以利用的量化矩阵只有1个的情况下，使用比图16简单的本语法。本语法表示和在图15中NumOfMatrix是1的情况大致相同的动作。
如果如上所述生成量化矩阵，则译码的变化系数312使用量化矩阵进行反量化(步骤S206)，进一步用反变换部303进行反变换(步骤S207)。由此，再生误差信号。此时，用预测部305根据预测信息316生成预测图像(S209)，将该预测图像和误差信号相加(步骤S209)。其结果，再生译码图像信号。把该译码图像信号存储在参照存储器304中，并且输出到外部装置。
如上所述，在本实施方式中，以输入进来的编码数据为基础根据对应的矩阵生成类型来生成量化矩阵，在反量化中利用，从而能够消减量化矩阵自身的代码量。
上述的各部的功能能够通过存储在计算机中的程序实现。
在本实施方式中以运动图像编码为例子进行了说明，但在静止图像编码中也能够适用本发明。此外，并不限于视频装置，也可以适用到音频装置。
如果采用本发明，则使用用于生成量化矩阵的生成函数的索引、表示量化矩阵的变化程度的变化度、变形度、补正项中的任何一个以上的参数生成多个量化矩阵，使用该量化矩阵进行量化以及反量化，通过对最佳量化矩阵生成参数集进行编码并发送，能够实现比以往的量化矩阵发送方法更高的编码效率。
如果采用本发明，则能够实现可以提高在低比特率中的编码效率的运动图像编码·译码方法以及装置。
产业上的可利用性
在视频、音频装置、移动设备、广播、信息终端、网络等的各领域中能够适用到运动图像、静止图像、声音等的编码以及译码。

Claims (35)

1.一种运动图像编码方法，使用量化矩阵对变换系数进行量化，该运动图像编码方法的特征在于具备：
使用涉及量化矩阵的生成的生成函数以及生成参数生成量化矩阵的量化矩阵生成步骤；
使用所生成的上述量化矩阵，对涉及输入图像信号的变换系数进行量化，生成量化变换系数的量化步骤；
对上述生成参数以及上述量化变换系数进行编码，生成编码信号的编码步骤。
2.根据权利要求1所述的运动图像编码方法，其特征在于，上述编码步骤对上述量化变换系数和上述生成参数进行复用而进行编码。
3.根据权利要求1所述的运动图像编码方法，其特征在于，具有：根据成为编码对象的上述输入图像信号的图像状况或者编码状况，设定上述生成参数的量化矩阵生成参数设定步骤。
4.根据权利要求1所述的运动图像编码方法，其特征在于，上述量化矩阵设定步骤包含根据图像状况或者编码状况，为了对1个编码图像生成多个量化矩阵而设定多个生成参数的步骤。
5.根据权利要求1或者权利要求2所述的运动图像编码方法，其特征在于，上述量化矩阵生成步骤包含制作用于生成量化矩阵的多个生成函数的步骤。
6.根据权利要求1或者权利要求2所述的运动图像编码方法，其特征在于，上述量化矩阵生成步骤从量化矩阵的生成函数的索引、表示量化矩阵的变化的程度的变化度、变形度、补正项中，使用至少包含1个以上的量化矩阵的生成参数来生成量化矩阵。
7.根据权利要求1或者权利要求2所述的运动图像编码方法，其特征在于，上述量化矩阵生成步骤使用与用正弦函数、余弦函数、N次函数、S形函数、高斯函数中的任一个定义的上述生成函数对应的量化矩阵生成参数生成量化矩阵。
8.根据权利要求1或者权利要求2所述的运动图像编码方法，其特征在于，上述量化矩阵生成步骤包含：与对应于所选择的生成参数的上述生成函数的索引相对应地，改变在生成量化矩阵时的生成函数计算精度的步骤。
9.根据权利要求1或者权利要求2所述的运动图像编码方法，其特征在于，上述量化矩阵生成步骤包含：将生成量化矩阵时进行的计算过程预先记录在对应的表上的步骤；与生成函数的索引对应地调用记录在上述表上的计算过程生成量化矩阵的步骤。
10.根据权利要求1或者权利要求2所述的运动图像编码方法，其特征在于，上述编码步骤包含：针对上述生成参数，从上述生成函数的索引、表示量化矩阵的变化的程度的变化度、变形度、补正项中将至少1个以上复用到语法上的步骤。
11.根据权利要求1或者权利要求2所述的运动图像编码方法，其特征在于，具有用于使用上述量化矩阵对上述量化变换系数进行反量化的反量化步骤。
12.根据权利要求1或者权利要求2所述的运动图像编码方法，其特征在于，上述量化矩阵生成步骤包含：可适应性地切换是否在量化时利用在上述量化矩阵生成步骤中生成的量化矩阵的步骤。
13.根据权利要求1或者权利要求2所述的运动图像编码方法，其特征在于，上述编码步骤包含：在设定用于多个量化矩阵的生成的多个生成参数的集的情况下，适应性地切换是否将在上述量化步骤中利用的上述量化矩阵的生成参数集复用到语法上的步骤。
14.根据权利要求1或者权利要求2所述的运动图像编码方法，其特征在于，上述编码步骤包含：在量化时利用上述量化矩阵时，对每个编码序列、每个图片，或者每个编码切片，切换使用上述量化矩阵的生成参数生成的量化矩阵的步骤。
15.根据权利要求1或者权利要求2所述的运动图像编码方法，其特征在于，上述量化步骤包含根据宏块的量化尺度的值大还是小来切换上述量化矩阵的步骤。
16.根据权利要求1或者权利要求2所述的运动图像编码方法，其特征在于，上述量化步骤包含根据上述输入图像信号的解析度比规定值高还是低来切换上述量化矩阵的步骤。
17.一种运动图像译码方法，使用与变换系数的各频率位置对应的量化矩阵进行变换系数的反量化，该运动图像译码方法的特征在于包含：
对包含用于生成量化矩阵的生成参数的输入编码信号进行译码的译码步骤；
以译码后的生成参数为基础生成量化矩阵的量化矩阵生成步骤；
使用在上述量化矩阵生成步骤中生成的量化矩阵，对译码后的变换系数进行反量化的反量化步骤；
以在上述反量化步骤中得到的变换系数为基础，生成译码图像的译码图像生成步骤。
18.一种运动图像译码方法，使用量化矩阵对变换系数进行反量化，该运动图像译码方法的特征在于具备：
对包括用于生成量化矩阵的生成参数的输入编码信号进行译码的译码步骤；
根据译码后的生成参数的状况生成用于不同的量化矩阵的生成参数，按照上述用于不同的量化矩阵的上述生成参数的生成方式生成量化矩阵，并在适宜的定时更新的量化矩阵生成步骤；
使用在上述量化矩阵生成步骤中生成的量化矩阵，对译码后的变换系数进行反量化的反量化步骤；
以在上述反量化步骤中得到的变换系数为基础生成译码图像的译码图像生成步骤。
19.根据权利要求17或者18所述的运动图像译码方法，其特征在于，上述量化矩阵生成步骤包含在对1个编码图像生成的多个量化矩阵中设定多个生成参数的集的步骤。
20.根据权利要求17或者18所述的运动图像译码方法，其特征在于，上述量化矩阵生成步骤包含制作用于生成量化矩阵的多个函数的步骤。
21.根据权利要求17或者18所述的运动图像译码方法，其特征在于，上述量化矩阵生成步骤包含：根据译码的量化矩阵生成参数，从量化矩阵的生成函数的索引、表示量化矩阵的变化的程度的变化度、变形度、补正项中，至少使用1个以上来生成量化矩阵的步骤。
22.根据权利要求17或者18所述的运动图像译码方法，其特征在于，上述量化矩阵生成步骤包含：使用正弦函数、余弦函数、N次函数、S形函数、高斯函数中的任一个定义用于生成量化矩阵的函数，使用该函数生成量化矩阵的步骤。
23.根据权利要求17或者18所述的运动图像译码方法，其特征在于，上述量化矩阵生成步骤包含：与对应于所选择的量化矩阵的生成参数的上述生成函数的索引相对应地改变在生成量化矩阵时的生成函数计算精度的步骤。
24.根据权利要求17或者18所述的运动图像译码方法，其特征在于，上述量化矩阵生成步骤包含：将在生成量化矩阵时需要的计算过程预先记录在对应的表上的步骤；与生成函数的索引对应地从表中调用所记录的计算过程，生成量化矩阵的步骤。
25.根据权利要求17或者18所述的运动图像译码方法，其特征在于，上述量化矩阵生成步骤包含：根据译码的量化矩阵的生成参数，使用至少1个以上的量化矩阵生成方法来生成量化矩阵的步骤。
26.根据权利要求17或者18所述的运动图像译码方法，其特征在于，上述量化矩阵生成步骤包含：与译码后的量化矩阵的生成参数内的生成函数索引对应的生成函数在译码时不能利用时，用可利用的生成函数代用而生成量化矩阵的步骤。
27.根据权利要求17或者18所述的运动图像译码方法，其特征在于，上述反量化步骤包含：在反量化时利用上述译码后的量化矩阵时，适应性地切换是否利用由量化矩阵的生成参数生成的量化矩阵的步骤。
28.根据权利要求17或者18所述的运动图像译码方法，其特征在于，上述译码步骤包含：在图像内在上述反量化步骤中利用上述多个量化矩阵时，当能够用于译码的情况下，作为辅助的语法对量化矩阵的生成参数进行译码而在反量化中利用，在不能利用辅助的语法时，利用预先规定的量化矩阵进行反量化的步骤。
29.根据权利要求17或者18所述的运动图像译码方法，其特征在于，上述反量化步骤包含：在上述反量化步骤中利用在上述量化矩阵生成步骤中生成的量化矩阵时，对每个编码序列、每个图片，或者每个编码切片切换使用上述量化矩阵的生成参数生成的量化矩阵的步骤。
30.根据权利要求17或者18所述的运动图像译码方法，其特征在于，上述反量化步骤包含：根据宏块的量化尺度的值比规定值大还是小来切换在上述量化矩阵生成步骤中生成的量化矩阵的步骤。
31.根据权利要求17或者18所述的运动图像译码方法，其特征在于包括：根据上述输入图像信号的解析度比规定值高还是低来切换在上述量化矩阵生成步骤中生成的量化矩阵的步骤。
32.一种运动图像编码装置，使用量化矩阵对变换系数进行量化，该运动图像编码装置的特征在于具备：
使用涉及量化矩阵的生成的生成函数以及生成参数来生成量化矩阵的量化矩阵生成部；
使用所生成的上述量化矩阵对涉及输入图像信号的变换系数进行量化，生成量化系数的量化部；
对上述生成参数以及上述量化变换系数进行编码，生成编码信号的编码部。
33.一种运动图像译码装置，使用量化矩阵对变换系数进行反量化，该运动图像译码装置的特征在于具备：
对包含用于生成量化矩阵的生成参数的输入编码信号进行译码的译码部；
以译码后的生成参数为基础生成量化矩阵的量化矩阵生成部；
使用在上述量化矩阵生成步骤中生成的量化矩阵，对译码后的变换系数进行反量化的反量化部；
以在上述反量化部中得到的变换系数为基础，生成译码图像的译码图像生成部。
34.一种运动图像编码程序，使计算机执行包括使用量化矩阵进行变换系数的量化的处理在内的进行运动图像编码的处理，该运动图像编码程序的特征在于具备：
使用涉及量化矩阵的生成的生成函数以及生成参数来生成量化矩阵的命令；
使用生成的上述量化矩阵，对涉及输入图像信号的变换系数进行量化，生成量化系数的命令；
对上述生成参数以及上述量化变换系数进行编码，生成编码信号的命令。
35.一种运动图像编码程序，使计算机执行包含使用量化矩阵进行变换系数的反量化的处理在内的进行运动图像译码的处理，该运动图像编码程序的特征在于具备：
对包含用于生成量化矩阵的生成参数的输入编码信号进行译码的命令；
以译码后的生成参数为基础生成量化矩阵的命令；
使用所生成的上述量化矩阵对译码后的变换系数进行反量化的命令；
以通过上述反量化得到的变换系数为基础，生成译码图像的命令。
CNA2006800538272A 2006-02-13 2006-10-19 运动图像编码/译码方法、装置以及程序 Pending CN101401435A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP035319/2006 2006-02-13
JP2006035319 2006-02-13

Publications (1)

Publication Number Publication Date
CN101401435A true CN101401435A (zh) 2009-04-01

Family

ID=38368548

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2006800538272A Pending CN101401435A (zh) 2006-02-13 2006-10-19 运动图像编码/译码方法、装置以及程序

Country Status (10)

Country Link
US (1) US20070189626A1 (zh)
EP (1) EP1986440A4 (zh)
JP (1) JPWO2007094100A1 (zh)
KR (1) KR101035754B1 (zh)
CN (1) CN101401435A (zh)
AU (1) AU2006338425B2 (zh)
BR (1) BRPI0621340A2 (zh)
CA (1) CA2642491A1 (zh)
RU (1) RU2414093C2 (zh)
WO (1) WO2007094100A1 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101969553A (zh) * 2009-07-27 2011-02-09 索尼公司 图像编码设备和图像编码方法
CN102577386A (zh) * 2009-10-30 2012-07-11 松下电器产业株式会社 图像解码方法、图像编码方法、图像解码装置、图像编码装置、程序以及集成电路
CN102598663A (zh) * 2009-10-28 2012-07-18 三星电子株式会社 通过使用旋转变换对图像编码和解码的方法和设备
CN104813670A (zh) * 2012-11-30 2015-07-29 索尼公司 图像处理装置和方法
CN105791842A (zh) * 2010-12-09 2016-07-20 索尼公司 图像处理装置和图像处理方法
TWI575947B (zh) * 2012-09-06 2017-03-21 太陽專利信託 圖像編碼方法、圖像解碼方法、圖像編碼裝置及圖像解碼裝置
CN107682706A (zh) * 2011-02-10 2018-02-09 威勒斯媒体国际有限公司 图像处理设备和图像处理方法
CN107770536A (zh) * 2011-06-28 2018-03-06 索尼公司 图像处理设备及方法
CN108366261A (zh) * 2011-11-07 2018-08-03 佳能株式会社 图像编码设备
US10881394B2 (en) 2012-02-23 2021-01-05 Northwestern University Mesh suture
WO2021004434A1 (en) * 2019-07-06 2021-01-14 Mediatek Inc. Signaling of quantization matrices
CN115134592A (zh) * 2018-09-02 2022-09-30 Lg电子株式会社 用于编码或解码图像信号的设备及计算机可读记录介质
CN115134592B (zh) * 2018-09-02 2024-04-26 Lg电子株式会社 用于编码或解码图像信号的设备及计算机可读记录介质

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8422546B2 (en) * 2005-05-25 2013-04-16 Microsoft Corporation Adaptive video encoding using a perceptual model
WO2007104265A1 (en) * 2006-03-16 2007-09-20 Huawei Technologies Co., Ltd. A method and device for realizing quantization in coding-decoding
US8059721B2 (en) * 2006-04-07 2011-11-15 Microsoft Corporation Estimating sample-domain distortion in the transform domain with rounding compensation
US8503536B2 (en) 2006-04-07 2013-08-06 Microsoft Corporation Quantization adjustments for DC shift artifacts
US8130828B2 (en) * 2006-04-07 2012-03-06 Microsoft Corporation Adjusting quantization to preserve non-zero AC coefficients
US7995649B2 (en) 2006-04-07 2011-08-09 Microsoft Corporation Quantization adjustment based on texture level
US8711925B2 (en) 2006-05-05 2014-04-29 Microsoft Corporation Flexible quantization
WO2008044511A1 (en) * 2006-10-12 2008-04-17 Kabushiki Kaisha Toshiba Method and apparatus for encoding image
US8238424B2 (en) 2007-02-09 2012-08-07 Microsoft Corporation Complexity-based adaptive preprocessing for multiple-pass video compression
US20080240257A1 (en) * 2007-03-26 2008-10-02 Microsoft Corporation Using quantization bias that accounts for relations between transform bins and quantization bins
US8498335B2 (en) 2007-03-26 2013-07-30 Microsoft Corporation Adaptive deadzone size adjustment in quantization
US8243797B2 (en) 2007-03-30 2012-08-14 Microsoft Corporation Regions of interest for quality adjustments
US20080253449A1 (en) * 2007-04-13 2008-10-16 Yoji Shimizu Information apparatus and method
JPWO2008132890A1 (ja) * 2007-04-16 2010-07-22 株式会社東芝 画像符号化と画像復号化の方法及び装置
US8442337B2 (en) 2007-04-18 2013-05-14 Microsoft Corporation Encoding adjustments for animation content
US8331438B2 (en) 2007-06-05 2012-12-11 Microsoft Corporation Adaptive selection of picture-level quantization parameters for predicted video pictures
US8213502B2 (en) * 2007-12-31 2012-07-03 Ceva D.S.P. Ltd. Method and system for real-time adaptive quantization control
US8189933B2 (en) 2008-03-31 2012-05-29 Microsoft Corporation Classifying and controlling encoding quality for textured, dark smooth and smooth video content
US8897359B2 (en) 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
JP5680283B2 (ja) * 2008-09-19 2015-03-04 株式会社Ｎｔｔドコモ 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、及び動画像復号プログラム
JP4697557B2 (ja) * 2009-01-07 2011-06-08 ソニー株式会社 符号化装置、符号化方法、記録媒体及び画像処理装置
TW201138477A (en) * 2009-10-30 2011-11-01 Panasonic Corp Image decoding method, image encoding method, and devices, programs, and integrated circuits therefor
CA2778280C (en) * 2009-10-30 2018-04-24 Panasonic Corporation Decoding method, decoding apparatus, coding method, and coding apparatus using a quantization matrix
US9313526B2 (en) * 2010-02-19 2016-04-12 Skype Data compression for video
JP2011259362A (ja) * 2010-06-11 2011-12-22 Sony Corp 画像処理装置および方法
AU2015202011B2 (en) * 2011-02-10 2016-10-20 Sony Group Corporation Image Processing Device and Image Processing Method
US9363509B2 (en) * 2011-03-03 2016-06-07 Electronics And Telecommunications Research Institute Method for determining color difference component quantization parameter and device using the method
WO2012118359A2 (ko) * 2011-03-03 2012-09-07 한국전자통신연구원 색차 성분 양자화 매개 변수 결정 방법 및 이러한 방법을 사용하는 장치
US20120230395A1 (en) * 2011-03-11 2012-09-13 Louis Joseph Kerofsky Video decoder with reduced dynamic range transform with quantization matricies
CA2770799A1 (en) * 2011-03-11 2012-09-11 Research In Motion Limited Method and system using prediction and error correction for the compact representation of quantization matrices in video compression
JP5874725B2 (ja) 2011-05-20 2016-03-02 ソニー株式会社 画像処理装置及び画像処理方法
JP2013038768A (ja) * 2011-07-13 2013-02-21 Canon Inc 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
US9131245B2 (en) 2011-09-23 2015-09-08 Qualcomm Incorporated Reference picture list construction for video coding
JP5698644B2 (ja) * 2011-10-18 2015-04-08 株式会社Ｎｔｔドコモ 動画像予測符号化方法、動画像予測符号化装置、動画像予測符号化プログラム、動画像予測復号方法、動画像予測復号装置及び動画像予測復号プログラム
KR20130050149A (ko) * 2011-11-07 2013-05-15 오수미 인터 모드에서의 예측 블록 생성 방법
CN102395031B (zh) * 2011-11-23 2013-08-07 清华大学 一种数据压缩方法
US9648321B2 (en) * 2011-12-02 2017-05-09 Qualcomm Incorporated Coding picture order count values identifying long-term reference frames
WO2013086724A1 (en) * 2011-12-15 2013-06-20 Mediatek Singapore Pte. Ltd. Method of clippling transformed coefficients before de-quantization
CA2856348C (en) * 2011-12-19 2021-06-08 Sony Corporation Image processing device and method
CN105519108B (zh) * 2012-01-09 2019-11-29 华为技术有限公司 量化矩阵编码的加权预测方法和装置
US20130188691A1 (en) * 2012-01-20 2013-07-25 Sony Corporation Quantization matrix design for hevc standard
US20160360237A1 (en) 2013-12-22 2016-12-08 Lg Electronics Inc. Method and apparatus for encoding, decoding a video signal using additional control of quantizaton error
US10142642B2 (en) * 2014-06-04 2018-11-27 Qualcomm Incorporated Block adaptive color-space conversion coding
TWI561060B (en) * 2015-01-15 2016-12-01 Mstar Semiconductor Inc Signal processing apparatus and signal processing method including quantization or inverse-quantization process
EP3510775A4 (en) * 2016-09-13 2020-03-04 MediaTek Inc. METHOD FOR SEVERAL QUANTIFICATION MATRIX SETS FOR VIDEO CODING
CN110166781B (zh) * 2018-06-22 2022-09-13 腾讯科技（深圳）有限公司 一种视频编码方法、装置、可读介质和电子设备
JP7090490B2 (ja) * 2018-06-28 2022-06-24 キヤノン株式会社 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法
US11457214B2 (en) * 2018-08-23 2022-09-27 Interdigital Vc Holdings France, Sas Coding of quantization matrices using parametric models
JP7402016B2 (ja) * 2019-11-06 2023-12-20 オッポ広東移動通信有限公司 画像復号装置及び画像符号化装置
CN114745107A (zh) * 2022-03-22 2022-07-12 西安电子科技大学 一种基于矩阵编码的编码层隐秘通信方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3012698B2 (ja) * 1991-01-29 2000-02-28 オリンパス光学工業株式会社 画像データの符号化装置および符号化方法
US5493513A (en) * 1993-11-24 1996-02-20 Intel Corporation Process, apparatus and system for encoding video signals using motion estimation
KR100355375B1 (ko) * 1995-11-01 2002-12-26 삼성전자 주식회사 영상부호화장치에있어서양자화간격결정방법및회로
US6031929A (en) * 1996-07-18 2000-02-29 University Of Pittsburgh Image facsimile with real time image segmentation
JPH10150659A (ja) * 1996-11-18 1998-06-02 Sony Corp 画像符号化装置
JP2955266B2 (ja) * 1998-03-05 1999-10-04 株式会社エイ・ティ・アール環境適応通信研究所 画像符号化のための量子化テーブルの最適化方法及び装置並びに記録媒体
ATE333758T1 (de) * 1998-05-04 2006-08-15 Gen Instrument Corp Verfahren und gerät fur die inverse quantisierung von mpeg-4 video
JP3395892B2 (ja) * 1999-05-06 2003-04-14 日本電気株式会社 動画像符号化装置
DE60039689D1 (de) * 2000-07-10 2008-09-11 St Microelectronics Srl Verfahren zur Kompression digitaler Bilder
US6944226B1 (en) * 2000-10-03 2005-09-13 Matsushita Electric Corporation Of America System and associated method for transcoding discrete cosine transform coded signals
US20030031371A1 (en) * 2001-08-02 2003-02-13 Shinichi Kato Image encoding apparatus and image decoding apparatus
JP2003046789A (ja) * 2001-08-02 2003-02-14 Canon Inc 画像符号化装置及び画像復号化装置
JP3948266B2 (ja) * 2001-12-14 2007-07-25 日本ビクター株式会社 動画像符号化装置、符号化方法、復号化装置、復号化方法及び動画像符号列伝送方法
KR101134220B1 (ko) * 2004-06-02 2012-04-09 파나소닉 주식회사 화상 부호화 장치 및 화상 복호화 장치
JP4146444B2 (ja) * 2005-03-16 2008-09-10 株式会社東芝 動画像符号化の方法及び装置

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101969553B (zh) * 2009-07-27 2014-12-03 索尼公司 图像编码设备和图像编码方法
CN101969553A (zh) * 2009-07-27 2011-02-09 索尼公司 图像编码设备和图像编码方法
CN102598663A (zh) * 2009-10-28 2012-07-18 三星电子株式会社 通过使用旋转变换对图像编码和解码的方法和设备
US8929673B2 (en) 2009-10-28 2015-01-06 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding image by using rotational transform
US10630997B2 (en) 2009-10-30 2020-04-21 Sun Patent Trust Image decoding method, image coding method, image decoding apparatus, image coding apparatus, program, and integrated circuit
CN102577386A (zh) * 2009-10-30 2012-07-11 松下电器产业株式会社 图像解码方法、图像编码方法、图像解码装置、图像编码装置、程序以及集成电路
CN102577386B (zh) * 2009-10-30 2015-03-11 松下电器（美国）知识产权公司 图像解码方法、图像编码方法、图像解码装置、图像编码装置、以及集成电路
US9467710B2 (en) 2009-10-30 2016-10-11 Sun Patent Trust Image decoding method, image coding method, image decoding apparatus, image coding apparatus, program, and integrated circuit
CN105791842A (zh) * 2010-12-09 2016-07-20 索尼公司 图像处理装置和图像处理方法
CN107682706A (zh) * 2011-02-10 2018-02-09 威勒斯媒体国际有限公司 图像处理设备和图像处理方法
CN107770536B (zh) * 2011-06-28 2020-04-21 索尼公司 图像处理设备及方法
CN107770536A (zh) * 2011-06-28 2018-03-06 索尼公司 图像处理设备及方法
CN108366261B (zh) * 2011-11-07 2020-12-25 佳能株式会社 图像编码设备
US10750192B2 (en) 2011-11-07 2020-08-18 Canon Kabushiki Kaisha Image coding apparatus, image coding method, image decoding apparatus, image decoding method, and storage medium
CN108366261A (zh) * 2011-11-07 2018-08-03 佳能株式会社 图像编码设备
US10645401B2 (en) 2011-11-07 2020-05-05 Canon Kabushiki Kaisha Image coding apparatus, image coding method, image decoding apparatus, image decoding method, and storage medium
US10652554B2 (en) 2011-11-07 2020-05-12 Canon Kabushiki Kaisha Image coding apparatus, image coding method, image decoding apparatus, image decoding method, and storage medium
US10881394B2 (en) 2012-02-23 2021-01-05 Northwestern University Mesh suture
TWI575947B (zh) * 2012-09-06 2017-03-21 太陽專利信託 圖像編碼方法、圖像解碼方法、圖像編碼裝置及圖像解碼裝置
CN104813670A (zh) * 2012-11-30 2015-07-29 索尼公司 图像处理装置和方法
CN115134592A (zh) * 2018-09-02 2022-09-30 Lg电子株式会社 用于编码或解码图像信号的设备及计算机可读记录介质
CN115134592B (zh) * 2018-09-02 2024-04-26 Lg电子株式会社 用于编码或解码图像信号的设备及计算机可读记录介质
WO2021004434A1 (en) * 2019-07-06 2021-01-14 Mediatek Inc. Signaling of quantization matrices
CN114073076A (zh) * 2019-07-06 2022-02-18 联发科技股份有限公司 量化矩阵的发信技术
US11394973B2 (en) 2019-07-06 2022-07-19 Hfi Innovation Inc. Signaling of quantization matrices
CN114073076B (zh) * 2019-07-06 2023-12-12 寰发股份有限公司 量化矩阵的发信技术

Also Published As

Publication number Publication date
WO2007094100A1 (ja) 2007-08-23
EP1986440A1 (en) 2008-10-29
EP1986440A4 (en) 2010-11-17
AU2006338425B2 (en) 2010-12-09
RU2008136882A (ru) 2010-03-20
JPWO2007094100A1 (ja) 2009-07-02
CA2642491A1 (en) 2007-08-23
AU2006338425A1 (en) 2007-08-23
KR101035754B1 (ko) 2011-05-20
BRPI0621340A2 (pt) 2011-12-06
RU2414093C2 (ru) 2011-03-10
KR20080085909A (ko) 2008-09-24
US20070189626A1 (en) 2007-08-16

Similar Documents

Publication Publication Date Title
CN101401435A (zh) 运动图像编码/译码方法、装置以及程序
CN101502124B (zh) 图像编码和解码的方法以及装置
CN101361370B (zh) 图像编码/图像解码方法以及图像编码/图像解码装置
CN101911702B (zh) 针对支持cabac的视频编码过程而量化视频块的系数的方法和装置
AU2011349244B2 (en) Enhanced intra-prediction coding using planar representations
CA2488266C (en) Spatial prediction based intra coding
CN102165773B (zh) 图像解码方法和图像编码方法
CN1949877B (zh) 自适应量化控制器及其方法
US20100086028A1 (en) Video encoding and decoding method and apparatus
CN103118254A (zh) 运动图像编码装置以及运动图像译码装置
JP2010135864A (ja) 画像符号化方法及び装置並びに画像復号化方法及び装置
CN101822061A (zh) 视频编码方法以及视频解码方法
CN103782599A (zh) 编码方法和解码方法
CN103227923A (zh) 图像解码方法以及图像解码装置
CN103718556A (zh) 利用灵活解块滤波的编码解码装置和方法
CN102282850A (zh) 运动图像编码方法以及运动图像解码方法
CN101360240B (zh) 编码方法、译码方法、编码装置、译码装置、图象处理系统
RU2427976C2 (ru) Способ и устройство для кодирования и декодирования изображения
CN103299638A (zh) 自适应扫描装置及其扫描方法
AU2019210549B2 (en) Enhanced intra-prediction coding using planar representations
MX2009000832A (es) Metodo y aparato de codificacion y decodificacion de imagenes.

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20090401