CN1324906C - 视频序列中模糊的测量 - Google Patents

Abstract

一种用于确定由于视频处理引起的测试视频序列中的模糊的方法，包括检测所述测试视频序列的每一帧中具有有效图像边缘的块。选择在每一个有效图像边缘块内的边缘点，并且从增强的边缘映射图中定义沿垂直于每一个边缘点上的有效图像边缘的直线的一系列点，这一系列点定义所述块中的边缘轮廓，所述增强的边缘映射图中已消除了视频处理块状结构非自然信号。从所述边缘轮廓中，估算所述测试视频序列内的每一个帧或每组帧的模糊值。另外，可以从基准视频序列中导出基准模糊值，所述基准视频序列对应于所述测试视频序列，所述基准模糊值可以在所述基准视频序列的源上产生，并且与所述测试视频序列一起传送至一个接收机，或者也可以在所述接收机上产生所述基准模糊值。然后，比较所述基准模糊值和所述测试视频序列的所述模糊值，从而产生所述测试视频序列的一个相对模糊值。

Description

视频序列中模糊的测量

技术领域

本发明涉及视频服务质量，并且更特别地涉及由于视频处理引起的视频序列中的模糊的测量。

背景技术

许多不同的因素都影响着数字视频序列的视频质量。众多主观研究表明，视频序列中的模糊量是对整体视频质量具有最强烈影响的因素之一。因此，客观地测量视频序列中模糊量的能力是视频质量度量的一个关键因素。编解码器开发者或压缩服务提供者可以使用此信息来修改压缩过程，并做出有关传送优质数字视频服务所需要的各种折衷方案的理性决断。

虽然在模糊识别方面已经进行过许多研究，但诸如光谱、双谱和基于最大似然方案的大部分模糊识别方案都是在假定均匀模糊的情况下或者是在仅容许存在白高斯噪声的限制下开发的。由于用于编码不同宏块的不同量化参数而使从基于块离散余弦变换(DCT)压缩中得到的模糊效应从一个块到另一个块可以不同。另外，源于DCT分量量化的噪声在空间域中并不是独立的，而是促成了阻塞错误和边缘四周的高频噪声。在MPEG和H.263视频序列中的模糊失真是由于DCT量化而引起的。当所述量化完全截断高频DCT系数时，在所述视频序列中会出现损耗作为模糊。由于量化电平在块边界上改变，所导致的模糊以及量化噪声相应地改变。

由Jiuhuai Lu于2001年1月在加利福尼亚州圣何塞市在Proceedings SPIE4301-Machine Vision Applications in Industrial Inspection-题为“Image Analysis forVideo Artifact Estimation and Measurement”的论文中提出了一种单端模糊估算方案。该方案具有若干步骤，包括预处理步骤以消除产生伪边缘(spurious edge)的非自然信号(artifact)、估算点选择步骤以选择用于模糊估算的适当位置、在每一个所选定的估算点上的模糊估算步骤以及求平均值步骤，以提供基于帧的模糊估算。对于模糊估算，阻塞界限的边缘可通过简单的低通滤波来进行削减。估算点选择步骤根据边缘强度和连通性来确定一组图像边缘点，以消除由于除了压缩中的量化之外的处理而引起的模糊。最后，使用统计方法，通过使用如下的边缘梯度标准提取所选择的边缘点上的边缘轮廓扩展(edge profilespread)，从而对图像模糊的程度进行估算：

1)计算当前估算点上的梯度向量，

2)沿着以估算点为中心的梯度向量的两边对边缘图像e(x，y)进行取样，

3)设置所取样的边缘值的数据系列，作为该估算点上的边缘轮廓，

4)计算边缘轮廓扩展。

边缘轮廓p以正在被估算的点(x，y)为中心并且等间隔隔开。所述边缘轮廓的自相关被获取并被用于获得边缘轮廓扩展。如果所述边缘轮廓在计算自相关函数之前具有一倾斜的基线，则校正所述边缘轮廓。视频图像或帧的模糊估算是所有选择的估算点处的边缘轮廓扩展的平均值。上述公开的技术是普遍的，并且未提供进行精确和坚固测量的具体细节，并且仅应用于单端应用，而不适用于双端的或简化基准的应用。

因而，需要提供一种用于在视频序列中测量模糊的精确、坚固、可重复并且在计算上可行的方法，以便在需要视频质量测量的任何应用中使用。

发明内容

因此，本发明用于通过利用边缘定义(edge definition)滤波器和边缘增强滤波器对测试视频序列进行滤波来测量视频序列中的模糊。所述边缘定义滤波器的输出与块大小信息一起被用于确定所述测试视频序列的每个帧内那些包含有效图像边缘的块。在合适的时候消除由于视频处理而引起的块边界边缘之后，所述边缘增强滤波器的输出与块大小信息一起、与有效的图像边缘块一起用于选择边缘点。作为所述边缘增强滤波器输出的函数的所述边缘点上的有效图像边缘的法线(normal)用于估算所述测试视频序列的每一帧的模糊值。

对于简化基准或完整基准应用，从对应于所述测试视频序列的基准视频序列中产生一基准模糊值，所述基准模糊值在一信号源上产生，并且与所述测试视频序列一起进行传送，或者在接收机上与所述测试视频序列一起产生。将所述基准模糊值与用于所述测试视频序列的模糊值进行比较，以确定一个相对模糊值。

从结合所附加的权利要求和附图阅读的以下的详细说明中，本发明的目的、优点以及其他新颖的特征将更加明显。

附图说明

附图1是依照本发明的单端模糊估算算法的方框图。

附图2是说明选择一个视频帧内的有效块以便应用依照本发明的模糊估算算法的图解图。

附图3是说明选择一个选定块内的有效边缘点以便应用依照本发明的模糊估算算法的图解图。

附图4是依照本发明的双端模糊估算算法的方框图。

附图5是一模糊映射输出的平面图，示出了根据本发明的模糊帧随时间/帧数目变化的模糊值。

附图6是一模糊映射输出的平面图，示出了根据本发明的压缩帧随时间/帧数目变化的模糊值。

附图7是依照本发明获得的具有引入的增加的模糊非自然信号的两个不同视频序列的单端模糊值的图解图。

具体实施方式

参照附图1，对于模糊的单端测量，将测试视频图像的亮度分量(Y)输入至诸如Canny滤波器12的边缘定义滤波器以及诸如Sobel滤波器14的边缘增强滤波器。所述Canny滤波器12产生一映射图，所述映射图除了边缘点为1之外，其余所有点均为0。所述Sobel滤波器14提供具有在0和1之间(归一化)变化的值的边缘增强。Canny滤波器12的输出被输入至检测器模块16，用于查找有效“边缘”块(即，量化块或具有真正图像边缘的预定块)。Sobel滤波器14的输出被输入至用于消除与压缩视频序列的量化块相关的边缘(即，不是真正图像边缘)的块状结构(blockiness)消除模块18。同时输入至检测器模块16和块状结构消除模块18的是有关块大小以及空间校准(如果需要的话)所要求的任何偏移的信息。检测器模块16和块状结构消除模块18的输出均被输入至选择器模块20，用于选择有效的图像边缘点。块状结构消除模块18的输出还被输入至映射生成器22。选择器模块20的输出被输入至一模糊计算模块24，所述模糊计算模块提供基于帧或视频序列或基于二者的模糊值。所述模糊值还被输入至所述映射生成器22，以产生用于显示的加权模糊映射。

基本思想是在一视频序列的图像或帧中查找最清晰的边缘和/或线，然后寻找这些点上的边缘轮廓，以察看边缘如何扩展，从而给出所述图像的模糊的指示。这些点上大的扩展表明所述帧是极其模糊的，而窄的扩展则建议所述图像是清晰的。亮度帧(Y)和块状结构大小以及任意偏移都作为输入。块状结构信息允许在适当的时候消除量化块边界，以便只使用真正的图像边缘，并提供图像缩放，其中可以找到包含有效图像边缘的块。所述块状结构大小以及偏移可以从解码器中的信息中直接获得，或通过运行如由Bozidar Janko等在1998年9月10日申请的题为“Picture Quality Analysis Using Blockiness”的美国专利申请系列号09/152495中所述的块状结构检测算法来获得。在视频序列不包含任何块状结构的情况下，即其不利用基于模块的编码器进行压缩，则当在选择器模块16中查找具有有效图像边缘的块时，跃过块状结构消除处理过程并使用默认的块大小。

通过利用从最近邻域插入的Sobel输出来替代在块边界上的Sobel滤波器14的输出，可以在块状结构消除模块18中实现边缘的消除。包括有效图像边缘的块的检测使用如附图2所示的Canny滤波器12的输出。使用默认的块大小或使用由块状结构大小和偏移输入确定的块大小，将所述图像分割为独立的块。如果所述块边界周围从0转换为1的数目等于2，如附图2的A所示，则将此块分类为包含图像边缘。含有多于2个转换的块例如C上所示有可能是纹理(texture)，并因此对于模糊估算不是十分有用的，而诸如B的含有少于2个转换的块有可能是平坦的，同样不适于模糊估算。

选择器模块16中的每一个有效块均被如附图3所示进行进一步测试，以检测有效边缘点，而所述有效边缘点可以被用于模糊估算。确定每一个有效块的“安全”即中心区域内消除块状结构的Sobel边缘映射图的峰值的位置(x，y)。所述Sobel峰值表示为S(0)。从该点上的Sobel边缘映射图的x和y输出中计算该点上的边缘的方向。然后使该边缘的轮廓垂直于边缘方向。沿垂直于所述边缘方向的一直线，利用加权的四点内插法内插从Sobel输出的许多点N(一般在有效点的任何一边上各有3-4个点)。由于梯度的法线一般并不精确地与整数像素坐标重合，所以该内插是必不可少的。值S(-N)……S(N)形成中心在点(0)的边缘的轮廓。所述边缘轮廓通过如下所述进行归一化以产生S_norm：

              S_flat(n)＝S(-N)+(n+N)*(S(N)-S(-N))/(2N)

              S_norm(n)＝max[0，S(n)-S_flat(n)-kS(0)]

其中，k为一常数，被设置以消除非常小的边缘，即，k＝0.2，并且n的范围为-N至N。

需要一种确定S_norm扩展的客观方法。对于给出R_norm的S_norm上的自相关成功操作。调节该自相关R_norm，以使其系数之和等于1。然后通过加权系数R_norm计算扩展S_p，所述系数R_norm与它们离开加权的中心位置P_prod的距离的平方成比例。

                      P_prod＝sum[nR_norm(n)]

                      S_p＝sum[(n-P_prod)²R_norm(n)]

其中，n的范围为-N到N。以这种方式为所述图像中的每一个有效点确定扩展的测量。S_p的高值指示高扩展的边缘，并因此具有较强的模糊，而扩展的低值指示非常清晰的边缘。对于给定的N值来说，可以计算理论上的扩展的最大级别。这允许以基于最大可能的模糊的单元来表示所述模糊，这由于其允许不同边缘和不同景象的有意义的比较而是非常有用的。

为了计算整个图像或帧的模糊值，采用S_p值的直方图，并且使用P^th最高百分比来表示所述图像或帧的模糊的平均数量。P＝40-50％的值会产生好的结果。

也可以计算整个视频序列或所述视频序列的一个特定区域的模糊值。帧模糊值的平均值提供序列模糊的较好的指示。也可以使用其他更复杂的方法，例如Minkowski求和或极小-极大计算方法。

像输出每一帧的模糊值一样，还提供一模糊映射图。所述模糊映射图指出在所述图像中所述模糊最可视的区域。所述模糊映射图也可通过如下方式得到，即利用帧模糊测量来加权消除块状结构的Sobel映射图。根据映射图被运用的应用，可以使用线性加权或非线性加权。如附图5所示，对于未压缩视频序列中的模糊，已成功测试线性加权。附图6是压缩视频图像中的模糊的相应视图。附图5和6在其上方示出了基准和测试视频图像，在左下方示出了随时间/帧数目变化的模糊值，并且在右下方示出了具有有效边缘点的模糊映射图。非线性加权可以以许多方式来实现，例如，通过利用非线性“S”曲线或通过基于每一个有效点上的边缘的估算强度在所述有效点附近执行局部加权来实现。

减少的基准模糊测量以与上述的单端模糊测量极为相似的方式工作。有可能使用不同的频道或视频头，利用测试帧传送得到的模糊值，计算基准帧的单端模糊。在接收机上，对测试帧执行单端测量，以产生测试模糊值。将所述测试模糊值与基准模糊值进行比较，以确定在所述测试帧中引入的模糊量。再一次，线性和非线性方法两者都可以用于执行这一比较。对于基准和测试模糊值的简单相减可以提供较好的结果。

在执行双端模糊测量时，可以进行一些细微的修改，如附图4所示。在其最简单的形式中，可以通过对基准视频和测试视频执行独立的单端测量，并且然后比较这些结果，可以进行双端测量。一种可供选择的方案是仅利用基准视频来执行Canny滤波和有效边缘模块选择。该方案提供了计算上以及可能的精确度方面的提高。还可以进行进一步的修改，诸如在模糊估算之前，对于基准和测试帧使用相同的有效边缘点。由于双端测量提供所述基准和测试视频之间的模糊的相对估算，所以该方案对于不同类型的视频一般更为一致，这是因为其并不和所述单端方法一样是源依赖的。

因此，如附图4所示，基准亮度帧(Y_ref)被输入至Canny滤波器12，同时测试或削弱的亮度帧(Y_imp)被输入至所述Sobel滤波器14。通过选择器模块16进行的有效图像边缘块的选择利用Y_ref和所述块状结构大小以及偏移信息来确定，同时利用Y_imp和块状结构大小以及偏移信息来确定块状结构消除模块18的削弱的Sobel边缘映射图。对于Y_ref和Y_imp，如同在单端方案中一样，计算有效边缘点的确定、帧模糊估算和加权的模糊映射图，而从Sobel滤波器14输出的Y_ref旁通块状结构消除模块18，如虚线所示。所增加的是一个比较模块26，所述比较模块26比较基准模糊值与削弱的模糊值，以确定一相对模糊估算。利用双端方案，计算艺术模糊(artistic blurring)，使得只对由于产生削减的视频的基准视频的视频处理而引起的不期望的模糊进行测量。

最后，附图7示出了当对于两个不同的视频序列随时间/帧周期逐渐引入模糊时利用本发明所产生的结果。

因而，本发明提供对于视频序列的模糊测量，通过在图象中选择具有基于所述视频序列的Canny滤波输出的有效边缘的块并使用Sobel滤波器从所述视频序列中消除块边界、通过选择中心位于所选择的有效边缘块内的有效边缘点、通过估算垂直于所述边缘的扩展、而且通过根据所估算扩展的直方图确定所述图像或序列或序列一部分的平均值来进行所述模糊测量。也从利用模糊估算加权的块边界校正的Sobel输出中生成模糊映射图。

Claims (6)

1、一种估算测试视频序列中由于视频处理引起的模糊的方法，该方法包括如下步骤：

通过以下方式来检测该测试视频序列的每一帧内具有有效图像边缘的块：

滤波该测试视频序列的每一帧，以产生滤波的输出，其中滤波的输出在每一帧内的每一个像素位置上具有0或1，其中1识别边缘；和

通过以下方式，根据滤波的输出和块大小值，识别每一帧内具有有效图像边缘的块：

计算在每一块的周边周围从0到1的转换的数量；和

根据每一块的数量，确定该块是否具有有效边缘；

根据边缘增强版本的测试视频序列，选择中心地位于每个检测块内的边缘点，其中所述边缘增强版本的测试视频序列没有视频处理引起的块边界边缘；以及

根据在边缘点上有效图像边缘的法线，估算该测试视频序列的模糊值。

2、如权利要求1所述的方法，进一步包括比较模糊值和基准视频序列的基准模糊值的步骤，以获得该测试视频序列的相对模糊值，其中基准模糊值是与该测试视频序列一起发送的。

3、如权利要求1所述的方法，进一步包括如下步骤：

对于对应于该测试视频序列的基准视频序列，重复检测步骤、选择步骤和估算步骤，以产生基准模糊值；以及

比较模糊值与基准模糊值，以获得该测试视频序列的相对模糊值。

4、一种估算测试视频序列中由于视频处理引起的模糊的方法，该方法包括如下步骤：

检测该测试视频序列的每一帧内具有有效图像边缘的块；

根据边缘增强版本的测试视频序列，选择中心地位于每个检测块内的边缘点，其中边缘增强版本的测试视频序列没有视频处理引起的块边界边缘；

根据边缘点上有效图像边缘的法线，估算该测试视频序列的模糊值；和

根据没有视频处理引起的块边界边缘的边缘增强版本的测试视频序列和模糊值，生成模糊映射图。

5、一种估算测试视频序列中由于视频处理引起的模糊的方法，该方法包括如下步骤：

通过以下方式来检测该测试视频序列的每一帧内具有有效图像边缘的块：

滤波对应于该测试视频序列的基准视频序列的每一帧，以产生滤波的输出，其中滤波的输出在每一帧内的每一个像素位置上具有0或1，其中1识别边缘；

根据滤波的输出和块大小，识别每一帧内具有有效图像边缘的块；和

应用基准视频序列的检测块，作为该测试视频序列的检测块；

根据边缘增强版本的测试视频序列，选择中心地位于每个检测块内的边缘点，其中边缘增强版本的测试视频序列没有视频处理引起的块边界边缘；以及

根据在边缘点上有效图像边缘的法线，估算该测试视频序列的模糊值。

6、如权利要求5所述的方法，进一步包括比较模糊值和基准视频序列的基准模糊值的步骤，以获得该测试视频序列的相对模糊值，其中基准模糊值是与该测试视频序列一起发送的。

Images