CN1551629A - 内插图像生成方法、装置和使用该方法、装置的图像显示系统 - Google Patents

内插图像生成方法、装置和使用该方法、装置的图像显示系统 Download PDF

Info

Publication number
CN1551629A
CN1551629A CNA2004100595051A CN200410059505A CN1551629A CN 1551629 A CN1551629 A CN 1551629A CN A2004100595051 A CNA2004100595051 A CN A2004100595051A CN 200410059505 A CN200410059505 A CN 200410059505A CN 1551629 A CN1551629 A CN 1551629A
Authority
CN
China
Prior art keywords
sub
piece
frame
pixel
absolute value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2004100595051A
Other languages
English (en)
Other versions
CN1323551C (zh
Inventor
���ٸ���
伊藤刚
三岛直
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Publication of CN1551629A publication Critical patent/CN1551629A/zh
Application granted granted Critical
Publication of CN1323551C publication Critical patent/CN1323551C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/0132—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供一种抑制了内插误差的帧内插用的内插图像生成方法、装置和使用该方法、装置的图像显示系统。将第一帧分割为多个第一块；从第二帧中搜索与所述各个第一块相关性高的第二块，并求出所述第一、第二块间的第一运动矢量；从所述第一块中抽取出第一子块和第二子块，其中所述第一于块包含所述第一块和所述第二块间相对应的每一象素的差分绝对值未达到阈值的象素，而所述第二子块包含所述差分绝对值大于等于所述阈值的象素；从所述第二帧上所述差分绝对值大于等于所述阈值的区域中搜索与所述第二子块的相关性高的第三子块，并求出所述第二、第三子块间的第二运动矢量；使用所述第一、第二运动矢量，将所述第一、第二子块复制到内插于所述第一帧和第二帧间的第三帧。

Description

内插图像生成方法、装置和使用 该方法、装置的图像显示系统
技术领域
本发明涉及改善例如因保持型显示装置引起的离焦成像(ボケ)或彗差(コマ)数小的运动图像中的不自然运动的帧内插用的内插图像生成方法、装置和使用该方法、装置的图像显示系统。
背景技术
通常，作为图像显示装置，包括写入图像后，仅持续发光荧光体的残留发光时间的脉冲型显示装置(例如CRT或场致发光型显示装置(FED))和在重新写入图像前，持续保持显示前一帧的保持型显示装置(例如液晶显示装置(LCD)、电致发光显示器(ELD)等)两种。
保持型显示装置的问题点之一是在运动图像显示中产生的离焦成像现象。离焦成像现象的产生起因于在涉及多帧的图像中存在运动物体，当观察者的眼睛追随该运动物体的运动时，多帧图像重合映射到视网膜上。在显示图像从前一帧切换到下一帧的期间，尽管继续显示同于前一帧的图像，但是眼睛预测下一帧的图像显示，边在前一帧图像上沿运动物体的移动方向移动边进行观察。
即，由于眼睛的追随运动具有连续性，并进行比帧间隔还密的取样，结果因目视为占满相邻两帧间的图像，而观察到了离焦成像。
为解决该问题，缩短显示帧的间隔即可。由此，还可以改善显示帧数少的运动图像中的不自然运动。作为其具体方法，考虑有利用MPEG2(运动图像专家组2)中所用的运动补偿来生成内插图像，并在相邻帧间进行补偿的方法。
在运动补偿中，使用了由块匹配所检测出的运动矢量。但是，由于MPEG2中以块为单位生成图像，所以在块内存在运动不同的多个对象的情况下，产生了有相关性的部分和没有相关性的部分，并因没有相关性的部分而产生了块失真。
在日本专利申请公开特开2000-224593(专利文献1)中公开了解决该问题的帧内插方法。在专利文献1中，在决定内插帧中内插对象块的象素值时，对每一个相对应的象素，将解码对象小块的两帧间的运动补偿帧间差分绝对值与阈值相比较，并分割为差分绝对值未达到阈值的第一象素区域和差分绝对值大于等于阈值的第二象素区域。
对于第一象素区域，求出该区域的象素值和由两帧间的运动矢量所指示的参照块内的对应象素值的平均值，并将该平均值复制到内插帧。另一方面，对于第二象素区域，判断解码对象帧的负面关系，并根据该判断结果重新设定两帧间的运动矢量搜索方向而检测出运动矢量，并将由比例变换后的运动矢量所指示的重新搜索参照帧上的象素值复制到内插帧上。这样，按照根据两帧间的运动补偿帧间差分绝对值的大小而二分割解码对象块后的象素区域单位来进行内插，由此减轻块失真，即在块内包含运动不同的多个对象的情况下所产生的内插误差。
【专利文献1】特开2000-224593号公报
发明内容
在专利文献1中，对于第二象素区域的搜索方法，虽然切换帧方向，但是没有对检测帧内的抽出方法加入附加信息。为了反映实际物体的运动，而将第一象素区域所使用的象素用作第二象素区域的象素是不合适的。这样，对区域分割后抽取出的第一象素区域的象素不进行何种制约地进行第二区域象素的搜索，就会发生因内插误差而引起的图像劣化(噪声上的劣化)。
因此，本发明的目的是提供一种不发生内插误差的、帧内内插用的内插图像生成方法和使用该方法的图像显示系统。
发明内容
为解决上述问题，本发明的一个技术方案的内插图像生成方法，将第一帧分割为多个第一块；从所述第二帧中搜索与所述各个第一块相关性高的第二块；从所述第一块中抽取出第一子块和第二子块，所述第一子块包含所述第一块和所述第二块间相对应的每一象素的差分绝对值未达到阈值的象素，而所述第二子块包含所述差分绝对值大于等于所述阈值的象素；从所述第二帧上所述差分绝对值大于等于所述阈值的区域中搜索与所述第二子块的相关性高的第三子块；将所述第一子块和所述第三子块复制到内插于所述第一帧和第二帧之间的第三帧。
本发明的另一技术方案的内插图像生成装置包括：输入部，输入第一帧和第二帧；分割部，将所述第一帧分割为多个第一块；第一搜索部，从所述第二帧中搜索与所述各个第一块相关性高的第二块；抽出部，从所述第一块中抽取出第一子块和第二子块，所述第一子块包含所述第一块和所述第二块间相对应的每一象素的差分绝对值未达到阈值的象素，而所述第二子块包含所述差分绝对值大于等于所述阈值的象素；第二搜索部，从所述第二帧上所述差分绝对值大于等于所述阈值的区域中搜索与所述第二子块相关性高的第三子块；内插图像生成部，将所述第一子块和所述第三子块复制到内插到所述第一帧和第二帧之间的第三帧中。
根据本发明，可以生成内插误差小的内插图像。
附图说明
图1是表示本发明的第一实施例中的内插帧分配的图；
图2是表示同一实施例的内插图像生成顺序的流程图；
图3是表示同一实施例的内插图像生成顺序的流程图；
图4是说明同一实施例的第一次块搜索的图；
图5是表示同一实施例的被抽出的第一、第二块和第一、第二区域的图；
图6是表示同一实施例的图像例和第一运动矢量的图；
图7是表示同一实施例的第二运动矢量的图；
图8是表示同一实施例的各块图像数据和成为第四子块候补的图像数据的图；
图9是表示对于不能抽取出图像数据的象素从相邻象素求出图像数据的方法的图；
图10是表示本发明的第二实施例的内插图像生成顺序的流程图；
图11是表示同一实施例的内插图像生成顺序的流程图；
图12是表示本发明的第三实施例的内插对象块搜索和所抽出的各个块的图；
图13是表示同一实施例的内插对象块的搜索和所抽出的各个块的图；
图14是表示同一实施例的内插图像生成顺序的流程图；
图15是表示同一实施例的内插图像生成顺序的流程图；
图16是表示同一实施例的内插图像生成顺序的流程图；
图17是表示本发明的第四实施例的图像显示系统的结构的框图；
图18是本发明的第五实施例的内插图像生成处理的流程图；
图19是本发明的第六实施例的内插图像生成处理的流程图；
图20是本发明的第五实施例的内插图像生成处理的概略图；
图21是本发明的第六实施例的内插图像生成处理的概略图。
具体实施例
下面，参照附图说明本发明的实施例。下面说明的各实施例由在计算机上动作的程序实现。另外，也可以由半导体集成电路实现。
(第一实施例)
如图1所示，为了在由多个象素构成的原始图像的第m帧1(m为整数)和第m+n帧2(n为除0之外的整数)间的第m+k帧3(k为从0到n之间的实数)的时间位置上生成内插图像，在本发明的第一实施例中使用如图2和图3的流程图所示的顺序。另外，这里，m＝1，n＝1，即，将第m帧和第m+n帧作为运动图像的在时间上连续的两个帧进行说明。另外，设k为例如0.5。
首先，如图4所示，将第m帧1的图像数据分割为多个第一块11，并依次抽取出第一块11(步骤S100)。接着，从第m+n帧2的图像数据中抽出与各个第一块11大小和形状都相同的第二块12(步骤S101)。图5(a)(b)表示所抽出的第一块11和第二块12的例子。
在本实施例中，使用下面的方法选择第一块11和第二块12的块对。首先，将第一块11和第二块12间相对应的每一象素的第一差分绝对值与预定的第一阈值相比较。接着，计数第一差分绝对值为第一阈值以下的象素数p(p为大于等于0的整数)。最后，选择象素数p最大的块对。另外，不限于上述方法，也可选择第一差分绝对值之和最小的块对。
接着，求出第一块11和第二块12间的相对应的每一象素的第一差分绝对值(步骤S102)。然后，将第一差分绝对值与预定的第一阈值相比较(步骤S103)。另外，在本实施例中，由于在抽取出第二块12时算出每一象素的第一差分绝对值，所以在步骤S102中沿用该结果。
接着，根据步骤S103的比较结果，从第二块12中抽出包含第一差分绝对值未达到第一阈值的象素的第二子块13和包含第一差分绝对值大于等于第一阈值的象素的第一子块14(步骤S104、S105)。即，第二块12中第二子块13是与第一块11相关性小的区域，第一子块14是与第一块11的相关性大的区域。将连结第一子块14和第一块11内的相对应象素块的矢量作为对应于第一子块14的第一运动矢量D。
若对于第一块11和第二块12的所有组合进行S102到S105的处理，则第m帧1和第m+n帧2的各象素可识别为第一差分绝对值大于等于第一阈值的象素和未达到第一阈值的象素。利用此处理，如图5(c)所示，将第m帧1和第m+n帧2分割为包含对应于第二子块13的象素(第一差分绝对值大于等于第一阈值的象素)的第一区域21和包含对应于第一子块14的象素(第一差分绝对值未达到第一阈值的象素)的第二区域22(步骤S106，S107)。
例如，如图6所示，在存在由斜线部所示的背景30上向横向方向运动、由空白所示的平行四边形的对象31和向右斜下方向运动、由横线所示的平行四边形的对象32的情况下，第一块11和第二块12的块对中相关度最高的部分在第一块11和第2块12同时存在于背景30上的情况下得到。这时，如图7所示，第一区域21为变化了的区域(图6的第m+n帧2中的空白部分)，除此之外的区域(图6的第m+n帧2中的涂黑部分)为第二区域22。
这里，如图8(a)所示，在步骤S104中从第二块12抽出的第二子块13为梯形。如前所述，由于包含在第二子块13中的象素的第一差分绝对值大于等于第一阈值，所以为与第一块11的相关性小的图像数据。因此，需要再次从第m+n帧中抽取出与第一块11的相关性高的图像数据。
因此，在步骤S107的处理后，如图8(b)所示，从第m帧1中抽取出大小和形状都与第二子块13相同的第三子块15(步骤S108)，从第m+n帧2中抽取出大小和形状都与第三子块15相同的第四子块16(步骤S109)。
接着，求出第三子块15和第四子块16间的相对应的每一象素的第二差分绝对值(步骤S110)。这里，作为第四子块16的候补，如图8(c)(d)所示，可从第m+n帧2抽取出大小和形状(由虚线所包围的区域)都与第三子块15相同的图像数据。图8(c)实际上是由横线所示的平行四边形对象32运动部分的图像数据。图8(d)是由斜线所示的背景30和由空白所示的对象31的边界部分的图像数据。由于图8(d)的空白所示的对象31的大小比由图8(c)的横线所示的平行四边形的对象32大，所示抽取出对象31的图像数据来作为第四子块16的候补。
接着，判断第四子块16的每个象素属于第一区域21还是属于第二区域22(步骤S111)。例如，如图8(e)(f)所示，检查包含同一形状的图像数据的部分(由虚线所包围的区域内)的区域分割状态。图8(f)表示已经抽出所有区域来作为第二子块13的象素。
接着，将属于第一区域21的象素的第二差分绝对值和预定的第二阈值相比较，从第四子块中抽出第二差分绝对值未达到第二阈值的第五子块(步骤S112，S114)。
接着，将属于第二区域22的象素的第二差分绝对值和预定的第三阈值相比较，从第四子块中抽出第二差分绝对值未达到第三阈值的第六子块(步骤S113，S115)。
在第四子块中有可能存在不属于第五子块和第六子块的任何一个的象素。这种象素成为在内插帧内产生没有图像数据的象素的主要原因。因此，进行后处理，并求出这些象素的图像数据(步骤S116)。在本实施例中，后处理对象象素的图像数据是相邻于后处理对象图像的多个像素的图像数据的加权平均值。
在求该加权平均值时所使用的加权系数，可以由后处理对象象素和相邻象素的距离的倒数来决定。例如，如图9所示，在求出斜线部的后处理对象象素的图像数据时，通过对上、下和左边的象素41、42、43的象素数据a，b，c乘上加权系数2来进行加权，对右边相邻的象素44(由于右边的象素也没有图像数据)的图像数据d乘上加权系数1来进行加权。通过将这四个进行了加权的图像数据之和2(a+b+c)+d除以7(＝2+2+2+1)来求出上述加权平均值为|2(a+b+c)+d|/7。
最后，根据各个时间位置将在步骤S105中抽出的第一子块、在步骤S114中抽出的第五子块和在步骤S115中抽出的第六子块内的每个象素的图像数据以及通过步骤S116的后处理所求得的每个象素的图像数据复制(粘贴)到第m+k帧3上，由此在第m+k帧3上生成内插图像(步骤S117)。
这里，如图1所示，根据该图像数据分别所属的块中的第m帧1和第m+n帧2间的运动矢量进行第一子块、第五子块以及第六子块的图像数据向第m+k帧3上的复制。
如下这样进行复制处理。首先，求出第一块11到第二块12的第一运动矢量MV1。该第一运动矢量MV1是对应于第一块11的第一子块14的子块到第一子块14的运动矢量。接着，将-(n-k)/k乘以第一运动矢量MV1而求出第二运动矢量MV2。即，通过将第一运动矢量MV1比例变换为从第m+n帧2到第m+k帧3的运动矢量，来求出第二运动矢量MV2。
同样，求出从第四子块到第五子块的第三运动矢量MV3，并对其进行比例变换后求出第四运动矢量MV4。
接着，使用第二运动矢量MV2将第一子块复制到第m+k帧3上。进一步，使用第四运动矢量MV4将第五子块和第六子块复制到第m+k帧3上。例如，在n＝1，k＝0.5的情况下，第m+k帧3是第1.5帧，通过将第一子块复制到由作为其上第一运动矢量MV1的1/2的第二运动矢量MV2指示的位置上，将第五子块和第六子块复制到由作为第三运动矢量MV3的1/2的第四运动矢量MV4所示的位置上，来生成内插图像。
当在第m+k帧3上的内插对象块上产生重复复制多个块的部分时，将重复部分的图像数据设为多个块的象素的图像数据平均值。另一方面，对于第m+k帧3上完全没有复制图像数据的部分，通过与上述相邻象素的加权平均值相同的方法算出图像数据。
通过对应于分割了第m帧1的所有第一块11进行从上述步骤S100到步骤S117的处理，来完成对于第m+k帧3的内插图像的生成。
如上述这样，在本实施例中，使用第一子块、第五子块和第六子块的象素来作为向第m+k帧3上的内插图像数据。这里，根据本实施例，通过将第三阈值设定为未达到第二阈值，就可减小在第m+n帧中作为第一子块所抽出的象素再次作为第六子块被抽出的可能性。即，可以减小作为第一子块所抽出的象素被重复使用为向第m+k帧3上的内插图像数据的情况，可降低内插误差。
这时，作为第一子块抽出的几个象素作为第六子块抽出。但是，若第三阈值比第一阈值小，则包含在第三子块和第四子块间的第二区域的每一个象素的差分绝对值比作为第一子块所抽出的象素更小，即，由于第三子块和第四子块间的相关性更大的象素被作为第六子块抽出，并被复制到第m+k帧3，所以可以生成精度更高的内插图像。
上面，根据本实施例，就可以生成内插误差小的内插图像。从而，可以显示没有块失真且没有噪声感的图像，尤其在运动图像中可以实现更真实的图像显示。例如，可以期待改善保持型显示装置中的图像的离焦成像现象。
(第二实施例)
下面，使用图10和图11说明根据本发明的第二实施例的内插图像生成顺序。本实施例相当于将第一实施例的第三阈值设为0的结构。
在图10和图11中，若对与图2和图3相同的部分赋予同一附图标记进行说明，则在本实施例中去除图2的步骤S107、图3的步骤S111、步骤S113和步骤S115，若图10的步骤S110结束，则跳到图11的步骤S112。从而，不抽出第一实施例中所说明的第六子块。
从而，在步骤S117中，使用第一子块和第五子块的图像数据生成对于第m+k帧3的内插图像。
根据本实施例，通过将第一实施例的第三阈值设为0的结构，使用第一子块和第五子块的象素作为向第m+k帧3上的内插图像数据。即，由于不会重复使用作为第一子块14而被抽出的象素，故可以可靠地避免由同一子块的重复使用而造成的内插误差。
(第三实施例)
下面，说明根据本发明的第三实施例的内插图像生成方法。在本实施例中，如图12和图13所示，假定内插帧的内插对象块，并以内插对象块为中心点对称地搜索第m帧1和第m+n帧2，由此在将图像数据复制到第m+k帧3上时，使得不产生重叠或间隙，在这一点上与第一实施例不同。对于除此之外的方面，使用与第一实施例相同的顺。
下面，使用图12及图13和图14到图16来说明本实施例的内插图像生成的处理顺序。
首先，将第m+k帧3、例如第1.5帧(m＝1，k＝0.5)分割为多个内插对象块51(步骤S200)，接着，从第m帧1、例如第1帧的图像数据中抽出大小和形状都与内插对象块51相同的第一块11(步骤S201)。
接着，如图12(a)所示，算出连结内插对象块51和第一块11的矢量作为第一运动矢量MV11(步骤S202)，并进一步将-(n-k)/k乘到第一运动矢量MV11中而算出第二运动矢量MV12(步骤S203)。这里，若n＝1，k＝0.5，则-(n-k)/k＝-1，第二运动矢量MV12是大小与第一运动矢量MV11相同但方向相反的运动矢量。
接着，根据第二运动矢量MV12从第m+n帧2、例如第二帧(m＝1，n＝1)中抽出成为内插对象块51的移动目标的第二块(步骤S204)。在步骤S201到步骤S204的处理中在第一块11和第二块11的块对上存在多个候补。使用与第一实施例中所说明的方法相同的方法，从多个候补中选择第一块11和第二块11的块对。另外，第一块11和第二块12的形状例如为图12(b)所示的矩形形状。
接着，求出第一块11和第二块12间的相对应的每一象素的第一差分绝对值(步骤S205)，并将第一差分绝对值与预定的第一阈值相比较(步骤S206)。
接着，根据步骤S206的比较结果，从第二块12中抽出第一差分绝对值大于等于第一阈值的第二子块(步骤S207)。进一步，至少从第二块12中抽出第一差分绝对值未达到第一阈值的第一子块(步骤S208)。图12(c)(d)中表示这样所抽出的第二子块13和第一子块14的例子。
在本实施例的步骤S208中，从第一块和第二块中分别抽取出第一差分绝对值未达到第一阈值的区域，并将其平均值设为第一子块。另外，也可以仅从第二块中抽取出第一差分绝对值未达到第一阈值的第一子块。
接着，如图13(a)所示，将第m帧1和第m+n帧2分割为包含对应于第二子块13的象素(第一差分绝对值大于等于第一阈值的象素)的第一区域21和包含对应于第一子块14的象素(第一差分绝对值未达到第一阈值的象素)的第二区域22(步骤S209，S210)。
接着，在内插对象块上，设定作为大小和形状都与第二子块13相同的子块的内插对象子块52(步骤S211)。
接着，从第m帧1中抽取出大小和形状都与内插对象块52相同的第三子块15(步骤S212)。
接着，算出内插对象子块52到第三子块15的第三运动矢量MV3(步骤S213)，进一步，将第三运动矢量MV13乘以-(n-k)/k而算出第四运动矢量MV14(步骤S214)。这里，若n＝1，k＝0.5，-(n-k)/k＝-1，则第四运动矢量MV14为大小与第三运动矢量MV13相同、方向相反的运动矢量。
接着，根据第二运动矢量MV14从第m+n帧2中抽出成为内插对象子块52的移动目标的如图13(b)所示的第四子块16(步骤S215)。在步骤S211到步骤S215的处理中与上述第一块11和第二块12的块对相同，在第三子块15和第四子块16的子块对上存在多个候补。由此，与上述块对的选择相同地进行子块对的选择。
接着，求出第三子块15和第四子块16间相对应的每一象素的第二差分绝对值(步骤S216)。
接着，判断在步骤S215中所抽出的第四子块16的每个象素是属于第一区域21还是属于第二区域22(步骤S217)。
接着，对属于第一区域21的象素，将在步骤S216中求出的第二差分绝对值和预定的第二阈值相比较，并至少从第四子块16中抽出未达到第二阈值的第五子块(步骤S218，S220)。在本实施例的步骤S220中，分别从第三子块15和第四子块16中抽出第二差分绝对值未达到第二阈值的区域，并将这些平均值设为第五子块。另外，也可以仅从第四子块16中抽取出第二差分绝对值未达到第二阈值的第五子块。
同样，对于属于第二区域的象素，将在步骤S216求出的第二差分绝对值与预定的第三阈值相比较，并至少从第四子块16中抽出未达到第三阈值的第六子块(步骤S219，S221)。在本实施例的步骤S221中，从第三子块15和第四子块16中分别抽取出第二差分绝对值未达到第三阈值的区域，并将该平均值设为第六子块。另外，也可以仅从第四子块16中抽取出第二差分绝对值未达到第三阈值的第六子块。
接着，将在第四子块16的象素之中不属于第五子块和第六子块的任何一个的象素(在内插对象块内没有图像数据的象素)作为后处理对象象素来进行后处理，求出后处理对象象素的图像数据(步骤S222)。对于该后处理，使用与第一实施例中所说明的方法相同的方法。
最后，对内插对象块51，将第一子块、第五子块和第六子块内的图像数据及由步骤S222的后处理所求出的每一象素的图像数据复制(粘贴)到各自对应位置上，由此在第m+k帧3上生成内插图像(步骤S223)。
通过对应分割了第m+k帧3的所有内插块51进行上述的从步骤S200到步骤S223的处理，对于第m+k帧3的内插图像的生成完成。
以上，根据本实施例，就可以生成内插误差小的内插图像。从而，可以显示没有块失真、且没有噪声感的图像，尤其在运动图像情况下，可以实现更真实的图像显示。例如，可以期待改善保持型显示装置中图像的离焦成像现象。
(第四实施例)
作为本发明的第四实施例，对使用了在此前各实施例所说明的内插图像生成方法的图像显示系统进行说明。
图17表示根据本实施例的图像显示系统的概略结构。输入图像信号101被输入到内插图像生成部102和图像切换部104。在内插图像生成部102中，通过第一实施例到第三实施例的其中之一所说明的顺序生成内插图像信号103，并将内插图像信号103输出到图像切换部104。在图像切换部104中进行是原样输出输入图像信号101亦或输出内插图像信号103的控制。
来自图像切换部104的输出图像信号105被输出到作为保持型显示装置的高速刷新显示装置106。在显示装置106中，对应包含在输出图像信号105中的同步信号，改变刷新速度来进行图像、例如运动图像的显示。
(第五实施例)
下面，说明本发明的第五实施例的内插图像生成方法。本实施例的内插图像生成方法是在第m帧2001和第m+n帧2002(m是整数，n是除0之外的整数)间生成内插帧2003的方法。图18是本实施例的内插图像生成处理的流程图。图20表示本实施例的内插图像生成处理的概要。
(步骤S1801)分割第m帧2001并抽出多个第一块2010。在本实施例中将第m帧2001分割为多个均等的矩形块。
(步骤S1802)从第m+n帧2002中抽出与第一块2010的相关性高的第二块2020。对于所有第一块2010，从第m+n帧2002中抽出相关性高的第二块2020。
在本实施例中如下这样抽出第二块2020。首先，求出第一块2010和第二块候补间相对应的每一象素的差分绝对值。接着，数出差分绝对值为预定阈值以下的象素数p(p为大于等于0的整数)。最后，抽出象素数p为最大的第二块候补来作为第二块2020。
另外，并不限于上述方法，也可选择例如差分绝对值的和为最小的第二块候补来作为第二块2020。
(步骤S1803)将第一块2010和第二块2020的每一象素的差分绝对值与阈值相比较。在本实施例中，由于在步骤S1802中将每一象素的差分绝对值与阈值相比较，所以也可利用该结果，而不重新计算。
(步骤S1804、S1805)从第一块2010中抽取出包含差分绝对值未达到阈值的象素的第一子块2011。另外，从第一块2010中抽出包含差分绝对值大于等于阈值的象素的第二子块2012。
(步骤S1806)将第m+n帧2002分割为包含差分绝对值大于等于阈值的象素的第一区域2031和包含未达到阈值的象素的第二区域2032。
(步骤S1807)从第m+n帧2002的第一区域2031中抽出与第二子块2012的相关度高的第三子块2032。抽出方法与步骤S1802相同。
(步骤S1808)根据第一块2010和第二块2020间的运动矢量2041将第一子块2011复制到内插帧2003。第一块2010和第二块2020的运动矢量也是第一子块2011的运动矢量。依照第m帧与第m+n帧的时间间隔和第m帧与内插帧的时间间隔来比例变换该运动矢量。然后，将第一子块2011复制到内插帧上比例变换了的运动矢量2043所指示的位置。
另外，也可以取代复制第一子块2011，而复制相当于第二块上的第一子块2011的子块2021。或者，也可以复制依照与内插帧2003间的时间间隔而对相当于第二块2020上第一子块的子块2021和第一子块2011进行了加权平均后的图像。
(步骤S1809)根据第二子块2012和第三子块2023间的运动矢量2042，将第二子块2012复制到内插帧2003上。与步骤S1808同样，比例变换运动矢量2042。然后，在内插帧2003上比例变换后的运动矢量2044所指示的位置上复制第二子块2012。
另外，也可以取代复制第二子块2012，而复制第三子块2023。或者，也可以复制依照与内插帧间的时间间隔而对第二子块2012和第三子块2013进行了加权平均后的图象。
(步骤S1810)在内插帧2003中，从周围象素中求出没有象素信息的象素的象素值。例如能够使用在第一实施例的步骤S116中所说明的方法。
(第六实施例)
说明本发明的第六实施例的内插图像生成方法。本实施例与第五实施例的不同点是块对和子块对的搜索方法。在本实施例中，如图12和图13所示，将内插帧分割为多个内插对象块。以该内插对象块为基准几何对称地搜索处于第m帧和第m+n帧上的块对和子块对。即，搜索与内插对象块处于一条直线上的块对和子块对。
若将内插帧表达为第m+k帧，则最单纯的例子是n＝1，k＝0.5的情况。这时，对将内插对象块作为基准处于点对称位置上的块对和子块对进行第m帧和第m+1帧中相关性高的块和子块的搜索。
这样，通过几何对称地进行搜索，就可以抑制在将图像信息复制到内插帧时所产生的重叠或间隙。
图19是本实施例的内插图像生成处理的流程图。图21表示本实施例的内插图像生成处理的概要。
(步骤S1901)将内插帧2103分割为多个内插对象块2130。
(步骤S1902)抽取出与内插对象块2130处于一条直线上，且相关性高的第m帧2101的第一块2110和第m+n帧2102的第二块2120。进行上述的块对的几何对称的搜索，从第m帧2101中抽出第一块2110，从第m+n帧2102中抽出第二块2120。第一块2110、第二块2120和内插对象块2130处于一条直线上。另外，第一块2110和第二块2120在搜索范围内相关性最高。
(步骤S1903)将第一块2110和第二块2120的每个象素的差分绝对值与阈值相比较。
(步骤S1904)从第一块2110中抽出包含差分绝对值未达到阈值的象素的第一子块2111。
(步骤S1905)从第一块2110中抽出包含差分绝值为阈值以上的象素的第二子块2112。第二子块2112是第一块2110内相关性低的区域。
(步骤S1906)将内插对象块2130内对应于第二子块2112的区域设定为内插对象子块2131。即，由此开始再次对相关性低的部分进行搜索。
(步骤S1907)将第m帧2101和第m+n帧2102分割为包含差分绝对值大于等于阈值的象素的第一区域2141和2151与包含未达到阈值的象素的第二区域2142和2152。使得第m帧2101和第m+n帧2102中作为相关度高的区域而被抽出的部分不用于搜索，而使内插精度提高。因此，在该步骤中，将第m帧2101和第m+n帧2102分为用于搜索的区域和不用于搜索的区域。
(步骤S1908)从第一区域2141，2151中抽取出与内插对象子块2131处于一条直线上，且相关性高的第m帧2101的第三子块2113和第m+n帧2102的第四子块2124。
与步骤S1902相同，对内插对象子块2131进行子块对的几何对称的搜索。然后，从第m帧2101的第一区域2141中抽出第三子块2113，从第m+n帧2102的第一区域2151中抽出第四子块2124。若在以第一块2110和第二块2120为中心的范围内执行该步骤中的搜索，则内插精度比无限制地进行搜索时要好。
(步骤S1909)根据第一块2110和第二块2120间的运动矢量2161，将第一子块2111复制到内插帧2103中。
(步骤S1910)根据第三子块2113和第四子块2124间的运动矢量2162，将第三子块2113复制到内插帧上。
另外，在步骤S1910中，也可以求出第三子块2113和第四子块2124的各个象素的差分绝对值，仅复制该差分绝对值为某一阈值以下的象素，除此以外的象素根据周围象素值来进行内插。
(变形例)在上述步骤1908中进行第三子块2113和第四子块2124的子块对的搜索。子块是比块还小的区域。在其上，附加从第一区域2141，2151中进行检测这样的条件。由此，搜索条件变严，计算量很容易增加。因此，能够以块为单位进行搜索，来抑制计算量的增加。
具体的，以包含内插对象子块2131的内插对象块2130为基准进行搜索。首先，进行与内插对象块2130处于一条直线上的、第一帧2101的第三块候补和第二帧2102的第四块候补的搜索。这时，在求出第三块候补和第四块候补的相似度时，使包含在第一区域2141、2151中的象素的影响比包含在第二区域2142、2152的象素的影响变大。例如，若为第五实施例的步骤S1802中所用的方法，则将包含在第一区域2141，2151的象素的差分绝对值与第一阈值相比较，并将包含在第二区域2142，2152中的象素的差分绝对值与比第一阈值小的第二阈值相比较。
然后，选择搜索范围内相关性最高的第三块候补和第四块候补来作为第三块和第四块。第三块内对应于内插对象子块2131的区域为第三子块2113，第四块内对应于内插对象子块2131的区域为第四子块2124。

Claims (19)

1.一种内插图像生成方法，其特征在于：
将第一帧分割为多个第一块；
从第二帧中搜索与所述各个第一块相关性高的第二块；
求出所述第一块和所述第二块间的第一运动矢量；
从所述第一块中抽取出第一子块和第二子块，其中所述第一子块包含所述第一块和所述第二块间相对应的每一象素的差分绝对值未达到阈值的象素，而所述第二子块包含所述差分绝对值大于等于所述阈值的象素；
从所述第二帧上所述差分绝对值大于等于所述阈值的区域中搜索与所述第二子块的相关性高的第三子块；
求出所述第二子块和所述第三子块间的第二运动矢量；
利用所述第一运动矢量和所述第二运动矢量，将所述第一子块和所述第二子块复制到内插于所述第一帧和第二帧之间的第三帧中。
2.根据权利要求1所述的内插图像生成方法，其特征在于，搜索所述第二块的步骤包括：
对所述第二帧的第二块候补和所述第一块之间相对应的每一象素求出所述差分绝对值；
求出所述差分绝对值未达到所述阈值的象素数；
选择在搜索范围内所述象素数为最大的所述第二块候补作为所述第二块。
3.根据权利要求2所述的内插图像生成方法，其特征在于，搜索所述第三子块的步骤包括：
对所述第二帧的第三子块候补和所述第二子块间相对应的每一象素计算第二差分绝对值；
求出存在于所述区域内且所述第二差分绝对值未达到第二阈值的象素数；
选择在搜索范围内所述象素数为最大的所述第三子块候补作为所述第三子块。
4.根据权利要求2所述的内插图像生成方法，其特征在于，搜索所述第三子块的步骤包括：
对所述第二帧的第三子块候补和所述第二子块间相对应的每一个象素计算第二差分绝对值；
求出存在于所述第一区域内且所述第二差分绝对值未达到第二阈值的第一象素数；
求出存在于所述第二帧上所述差分绝对值未达到所述第一阈值的第二区域内且所述第二差分绝对值未达到第三阈值的第二象素数；
选择在搜索范围内所述第一象素数和所述第二象素数之和最大的所述第三子块候补作为所述第三子块。
5.根据权利要求4所述的内插图像生成方法，其特征在于：所述第三阈值比所述第一阈值小。
6.根据权利要求5所述的内插图像生成方法，其特征在于：所述复制步骤是将所述第一子块的象素和在所述第三子块内、(A)存在于所述第一区域内且所述第二差分绝对值未达到所述第二阈值的第一象素组以及(B)存在于所述第二帧上所述差分绝对值未达到所述第一阈值的第二区域内且所述第二差分绝对值大于等于所述第三阈值的第二象素组复制到所述第三帧中。
7.根据权利要求6所述的内插图像生成方法，其特征在于，所述复制步骤包括：
求出将所述第三帧和所述第二帧的时间间隔除以所述第一帧和第二帧的时间间隔后得到的比例变换系数；
求出将所述第一运动矢量乘以所述比例变换系数后的第三运动矢量；
求出将所述第二运动矢量乘以所述比例变换系数后的第四运动矢量；
根据所述第三运动矢量，将所述第一子块的象素复制到所述第三帧中；
根据所述第四运动矢量，将属于所述第一象素组和所述第二象素组的象素复制到所述第三帧中。
8.根据权利要求1所述的内插图像生成方法，其特征在于，所述复制步骤包括：
求出加权平均了所述第二子块和所述第三子块后的第四子块；
利用所述第一运动矢量和所述第二运动矢量，将所述第一子块和所述第四子块复制到所述第三帧中。
9.根据权利要求1所述的内插图像生成方法，其特征在于，所述复制步骤包括：
复制所述第二块上对应于所述第二子块的第四子块和所述第三子块。
10.一种内插图像生成方法，其特征在于：
将内插于第一帧和第二帧间的内插帧分割为多个内插对象块；
搜索与所述内插对象块处于一条直线上且彼此相关性高的所述第一帧的第一块和所述第二帧的第二块；
求出所述第一块和所述第二块间的第一运动矢量；
从所述第一块中抽取出第一子块和第二子块，其中所述第一子块包含所述第一块和所述第二块间相对应的每一象素的差分绝对值未达到阈值的象素，而所述第二子块包含所述差分绝对值大于等于所述阈值的象素；
从所述第一帧和所述第二帧中抽出包含所述差分绝对值大于等于所述阈值的象素的区域；
搜索与所述内插对象块内对应于所述第二子块的内插对象子块处于一条直线上且彼此相关性高的所述第一帧区域的第三子块和所述第二帧区域的第四子块；
求出所述第三子块和所述第四子块间的第二运动矢量；
利用所述第一运动矢量和所述第二运动矢量，将所述第一子块和所述第三子块复制到所述内插帧中。
11.根据权利要求10所述的内插图像生成方法，其特征在于，搜索所述第一块和所述第二块的步骤包括：
对所述第一帧的第一块候补和所述第二帧的第二块候补间相对应的每一象素求出所述差分绝对值；
求出所述差分绝对值未达到所述阈值的象素数；
选择在搜索范围内所述象素数最大的所述第一块候补作为所述第一块；
选择在搜索范围内所述象素数最大的所述第二块候补作为所述第二块。
12.根据权利要求10所述的内插图像生成方法，其特征在于，搜索所述第三子块和所述第四子块的步骤包括：
对所述第一帧的第三子块候补和所述第二帧的第四子块候补间相对应的每一象素计算第二差分绝对值；
求出双方象素存在于所述区域内且所述第二差分绝对值未达到第二阈值的象素数；
选择在搜索范围内所述象素数最大的所述第三子块候补作为所述第三子块；
选择在搜索范围内所述象素数最大的所述第四子块候补作为所述第四子块。
13.根据权利要求10所述的内插图像生成方法，其特征在于，搜索所述第三子块和所述第四子块的步骤包括：
对所述第一帧的第三子块候补和所述第二帧的第四子块候补间相对应的每一象素计算第二差分绝对值；
求出双方象素存在于所述第一区域内且所述第二差分绝对值未达到第二阈值的象素对的第一象素数；
求出仅一方象素存在于所述第一区域内且所述第二差分绝对值未达到第三阈值的象素对的第二象素数；
求出所有象素都不存在于所述第一区域内且所述第二差分绝对值未达到第四阈值的象素对的第三象素数；
选择在搜索范围内所述第一象素数、所述第二象素数和所述第三象素数之和最大的所述第三子块候补和第四子块候补的子块对作为所述第三子块和所述第四子块。
14.根据权利要求10所述的内插图像生成方法，其特征在于，搜索所述第三子块和所述第四子块的步骤包括：
对所述第一帧的第三块候补和所述第二帧的第四块候补间相对应的每一象素计算第二差分绝对值；
求出双方象素存在于所述第一区域内且所述第二差分绝对值未达到第二阈值的象素对的第一象素数；
求出仅一方象素存在于所述第一区域内且所述第二差分绝对值未达到第三阈值的象素对的第二象素数；
求出所有象素都不存在于所述第一区域内且所述第二差分绝对值未达到第四阈值的象素对的第三象素数；
选择在搜索范围内所述第一象素数、所述第二象素数和所述第三象素数之和最大的所述第三块候补和第四块候补的块对作为所述第三块和所述第四块；
选择所述第三块内对应于所述内插子块的区域作为第三子块；
选择所述第四块内对应于所述内插子块的区域作为第四子块。
15.一种内插图像生成装置，其特征在于，包括：
输入部，输入第一帧和第二帧；
分割部，将所述第一帧分割为多个第一块；
第一运动矢量检测部，从所述第二帧中搜索出与所述各个第一块的相关性高的第二块后，求出第一运动矢量；
抽出部，从所述第一块中抽取出第一子块和第二子块，其中所述第一子块包含所述第一块和所述第二块间相对应的每一象素的差分绝对值未达到阈值的象素，而所述第二子块包含所述差分绝对值大于等于所述阈值的象素；
第二运动矢量检测部，从所述第二帧上所述差分绝对值大于等于所述阈值的区域中搜索与所述第二子块相关性高的第三子块，求出第二运动矢量；以及
内插图像生成部，将所述第一子块和所述第三子块复制到内插在所述第一帧和第二帧之间的第三帧中。
16.根据权利要求15所述的内插图像生成装置，其特征在于，所述第一运动矢量检测部包括：
差分绝对值计算部，对所述第二帧的第二块候补和所述第一块之间相对应的每一象素求出所述差分绝对值；
计数部，求出所述差分绝对值未达到所述阈值的象素数；以及
选择部，选择在搜索范围内所述象素数为最大的所述第二块候补作为所述第二块。
17.根据权利要求16所述的内插图像生成装置，其特征在于，所述第二运动矢量检测部包括：
第二差分绝对值计算部，对所述第二帧的第三子块候补和所述第二子块间相对应的每一象素计算第二差分绝对值；
第二计数部，求出存在于所述区域内且所述第二差分绝对值未达到所述第二阈值的象素数；
第二选择部，选择在搜索范围内所述象素数为最大的所述第三子块候补作为所述第三子块。
18.根据权利要求16所述的内插图像生成装置，其特征在于，所述第二运动矢量检测部包括：
第二差分绝对值运算部，对所述第二帧的第三子块候补和所述第二子块间相对应的每一个象素计算第二差分绝对值；
第二计数部，求出存在于所述第一区域内且所述第二差分绝对值未达到所述第二阈值的第一象素数；
第三计数部，求出存在于所述第二帧上所述差分绝对值未达到所述第一阈值的第二区域内且所述第二差分绝对值大于等于所述第三阈值的第二象素数；
第二选择部，选择在搜索范围内所述第一象素数和所述第二象素数之和最大的所述第三子块候补作为所述第三子块。
19.一种图像显示系统，其特征在于，包括：
输入部，输入运动图像；
内插图像生成部，使用权利要求1-14中任一所述的内插图像生成方法，根据所述运动图像的各个帧生成内插图像；以及
显示部，显示所生成的内插图像和所输入的运动图像。
CNB2004100595051A 2003-03-25 2004-03-04 内插图像生成方法、装置和使用该装置的图像显示系统 Expired - Fee Related CN1323551C (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2003083129 2003-03-25
JP083129/2003 2003-03-25
JP375831/2003 2003-11-05
JP2003375831A JP4053490B2 (ja) 2003-03-25 2003-11-05 フレーム補間のための補間画像作成方法及びこれを用いた画像表示システム、補間画像作成装置

Publications (2)

Publication Number Publication Date
CN1551629A true CN1551629A (zh) 2004-12-01
CN1323551C CN1323551C (zh) 2007-06-27

Family

ID=33455419

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2004100595051A Expired - Fee Related CN1323551C (zh) 2003-03-25 2004-03-04 内插图像生成方法、装置和使用该装置的图像显示系统

Country Status (4)

Country Link
US (1) US7412114B2 (zh)
JP (1) JP4053490B2 (zh)
KR (1) KR100628491B1 (zh)
CN (1) CN1323551C (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101567963B (zh) * 2008-04-22 2011-07-20 承景科技股份有限公司 内插画面的产生方法
CN103096009A (zh) * 2011-11-07 2013-05-08 三菱电机株式会社 图像处理装置和方法以及图像显示装置和方法
TWI402768B (zh) * 2010-08-13 2013-07-21 Primax Electronics Ltd 產生高解析度影像之方法
CN105721740A (zh) * 2016-01-25 2016-06-29 四川长虹电器股份有限公司 平板电视运动图像的补偿方法

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4053490B2 (ja) 2003-03-25 2008-02-27 株式会社東芝 フレーム補間のための補間画像作成方法及びこれを用いた画像表示システム、補間画像作成装置
JP4198608B2 (ja) * 2004-01-15 2008-12-17 株式会社東芝 補間画像生成方法および装置
JP4271115B2 (ja) * 2004-09-29 2009-06-03 株式会社東芝 画像マッチング装置、画像マッチング方法および画像マッチングプログラム
JP2006260527A (ja) * 2005-02-16 2006-09-28 Toshiba Corp 画像マッチング方法およびこれを用いた画像補間方法
JP4398925B2 (ja) * 2005-03-31 2010-01-13 株式会社東芝 補間フレーム生成方法、補間フレーム生成装置および補間フレーム生成プログラム
US7982757B2 (en) * 2005-04-01 2011-07-19 Digital Multitools Inc. Method for reducing noise and jitter effects in KVM systems
JP2006331136A (ja) * 2005-05-27 2006-12-07 Victor Co Of Japan Ltd 動きベクトル検出装置
JP4064413B2 (ja) * 2005-06-27 2008-03-19 株式会社東芝 コミュニケーション支援装置、コミュニケーション支援方法およびコミュニケーション支援プログラム
JP4398919B2 (ja) * 2005-08-22 2010-01-13 株式会社東芝 画像マッチング装置、画像マッチング方法および画像マッチングプログラム
EP1977395B1 (en) 2006-01-27 2018-10-24 Imax Corporation Methods and systems for digitally re-mastering of 2d and 3d motion pictures for exhibition with enhanced visual quality
TWI314300B (en) * 2006-03-16 2009-09-01 Realtek Semiconductor Corp Method and related apparatus for scaling image
JP4417918B2 (ja) * 2006-03-30 2010-02-17 株式会社東芝 補間フレーム作成装置、動きベクトル検出装置、補間フレーム作成方法、動きベクトル検出方法、補間フレーム作成プログラムおよび動きベクトル検出プログラム
KR100761846B1 (ko) * 2006-05-18 2007-09-28 삼성전자주식회사 연속되는 영상에 모션이 있는가를 검출하는 모션 검출 장치및 모션 검출 방법
CN102685533B (zh) 2006-06-23 2015-03-18 图象公司 对2d电影进行转换用于立体3d显示的方法和系统
JP2008067194A (ja) * 2006-09-08 2008-03-21 Toshiba Corp フレーム補間回路、フレーム補間方法、表示装置
GB0618323D0 (en) * 2006-09-18 2006-10-25 Snell & Wilcox Ltd Method and apparatus for interpolating an image
JP4322904B2 (ja) * 2006-09-19 2009-09-02 株式会社東芝 補間フレーム作成装置、動きベクトル検出装置、補間フレーム作成方法、動きベクトル検出方法、補間フレーム作成プログラムおよび動きベクトル検出プログラム
US8218632B2 (en) * 2006-09-20 2012-07-10 Mitsubishi Electric Corporation Frame interpolation apparatus and frame interpolation method
JP4309453B2 (ja) * 2007-12-26 2009-08-05 株式会社東芝 補間フレーム生成装置、補間フレーム生成方法及び放送受信装置
JP6222514B2 (ja) * 2012-01-11 2017-11-01 パナソニックＩｐマネジメント株式会社 画像処理装置、撮像装置、およびコンピュータブログラム
US9715903B2 (en) * 2014-06-16 2017-07-25 Qualcomm Incorporated Detection of action frames of a video stream
WO2016025485A2 (en) * 2014-08-14 2016-02-18 Qualcomm Incorporated Detection of action frames of a video stream

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4383272A (en) * 1981-04-13 1983-05-10 Bell Telephone Laboratories, Incorporated Video signal interpolation using motion estimation
DE3408061A1 (de) * 1984-03-05 1985-09-05 ANT Nachrichtentechnik GmbH, 7150 Backnang Verfahren zur bewegungsadaptiven interpolation von fernsehbildsequenzen und anwendungen dieses verfahrens
EP0236519B1 (en) * 1986-03-08 1989-06-07 ANT Nachrichtentechnik GmbH Motion compensating field interpolation method using a hierarchically structured displacement estimator
US5214751A (en) * 1987-06-04 1993-05-25 Thomson Grand Public Method for the temporal interpolation of images and device for implementing this method
FR2675002B1 (fr) * 1991-04-05 1993-06-18 Thomson Csf Procede de classification des pixels d'une image appartenant a une sequence d'images animees et procede d'interpolation temporelle d'images utilisant ladite classification.
US5200820A (en) * 1991-04-26 1993-04-06 Bell Communications Research, Inc. Block-matching motion estimator for video coder
US5198901A (en) * 1991-09-23 1993-03-30 Matsushita Electric Corporation Of America Derivation and use of motion vectors in a differential pulse code modulation system
CA2079434A1 (en) * 1991-09-30 1993-03-31 Derek Andrew Motion vector estimation, motion picture encoding and storage
FR2724033B1 (fr) * 1994-08-30 1997-01-03 Thomson Broadband Systems Procede de generation d'image de synthese
FR2729266A1 (fr) * 1995-01-10 1996-07-12 France Telecom Procede d'interpolation d'images
US5943096A (en) * 1995-03-24 1999-08-24 National Semiconductor Corporation Motion vector based frame insertion process for increasing the frame rate of moving images
US5973733A (en) * 1995-05-31 1999-10-26 Texas Instruments Incorporated Video stabilization system and method
KR19990005283A (ko) * 1997-06-30 1999-01-25 배순훈 웨이브렛 변환 영역에서의 계층적 움직임 추정 방법
EP0896300B1 (en) * 1997-08-07 2002-01-30 Matsushita Electric Industrial Co., Ltd. Device and method for motion vector detection
JP2000224593A (ja) 1999-01-28 2000-08-11 Nippon Telegr & Teleph Corp <Ntt> フレーム補間方法および装置およびこの方法を記録した記録媒体
US6625333B1 (en) * 1999-08-06 2003-09-23 Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Industry Through Communications Research Centre Method for temporal interpolation of an image sequence using object-based image analysis
KR100708091B1 (ko) 2000-06-13 2007-04-16 삼성전자주식회사 양방향 움직임 벡터를 이용한 프레임 레이트 변환 장치 및그 방법
JP2003069961A (ja) * 2001-08-27 2003-03-07 Seiko Epson Corp フレームレートの変換
JP4053490B2 (ja) 2003-03-25 2008-02-27 株式会社東芝 フレーム補間のための補間画像作成方法及びこれを用いた画像表示システム、補間画像作成装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101567963B (zh) * 2008-04-22 2011-07-20 承景科技股份有限公司 内插画面的产生方法
TWI402768B (zh) * 2010-08-13 2013-07-21 Primax Electronics Ltd 產生高解析度影像之方法
CN103096009A (zh) * 2011-11-07 2013-05-08 三菱电机株式会社 图像处理装置和方法以及图像显示装置和方法
CN103096009B (zh) * 2011-11-07 2015-09-30 三菱电机株式会社 图像处理装置和方法以及图像显示装置和方法
CN105721740A (zh) * 2016-01-25 2016-06-29 四川长虹电器股份有限公司 平板电视运动图像的补偿方法
CN105721740B (zh) * 2016-01-25 2018-12-07 四川长虹电器股份有限公司 平板电视运动图像的补偿方法

Also Published As

Publication number Publication date
JP2004312669A (ja) 2004-11-04
US7412114B2 (en) 2008-08-12
US20040240551A1 (en) 2004-12-02
KR100628491B1 (ko) 2006-09-26
CN1323551C (zh) 2007-06-27
JP4053490B2 (ja) 2008-02-27
KR20040086554A (ko) 2004-10-11

Similar Documents

Publication Publication Date Title
CN1551629A (zh) 内插图像生成方法、装置和使用该方法、装置的图像显示系统
CN101047779A (zh) 用于创建内插帧的设备
CN1157060C (zh) 图像内插系统和图像内插方法
CN1120575C (zh) 动作向量检测装置及动作向量检测方法
CN1750656A (zh) 编码和解码图像
CN1079949C (zh) 自动检验眼镜片的方法
CN1638447A (zh) 基于边缘的图像自适应去除隔行扫描的方法和设备
CN1922631A (zh) 创建深度图
CN1311409C (zh) 用于分割的系统和方法
CN1581982A (zh) 基于模式分析的运动矢量补偿装置和方法
CN1882085A (zh) 以提高的压缩效率将视频信号编码的方法和设备
CN1992789A (zh) 运动估计器和运动估计方法
US20070064796A1 (en) Natural shaped regions for motion compensation
CN1392985A (zh) 多处理器系统、数据处理系统、数据处理方法和计算机程序
CN1601914A (zh) 解交错装置及其方法
CN101061723A (zh) 涉及覆盖和无覆盖的运动向量域的投射
CN101063969A (zh) 构造布局平衡的带标记映像树的方法和系统
CN1285211C (zh) 用于加强重现图像质量的设备和方法
CN1653810A (zh) 图像角度检测装置及包含该装置的扫描线插补装置
CN1233372A (zh) 活动图像编码装置和活动图像解码装置
CN1577380A (zh) 用于检测彩色图像中的脸部的方法和设备
CN1169088C (zh) 数据处理方法和装置
CN1889673A (zh) 一种用于数字视频处理的运动检测和解交错方法及其装置
CN1918916A (zh) 用于视频帧的错误隐藏设备及其方法
CN101076090A (zh) 一种对运动检测结果进行优化的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20070627

Termination date: 20100304