CN101044509B - 为胶片颗粒模拟确定块平均值的方法 - Google Patents

为胶片颗粒模拟确定块平均值的方法 Download PDF

Info

Publication number
CN101044509B
CN101044509B CN200580035578.XA CN200580035578A CN101044509B CN 101044509 B CN101044509 B CN 101044509B CN 200580035578 A CN200580035578 A CN 200580035578A CN 101044509 B CN101044509 B CN 101044509B
Authority
CN
China
Prior art keywords
film grain
mean value
piece
picture
film
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200580035578.XA
Other languages
English (en)
Other versions
CN101044509A (zh
Inventor
杰弗里·A·库珀
琼·拉赫
克里斯蒂娜·戈米拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN101044509A publication Critical patent/CN101044509A/zh
Application granted granted Critical
Publication of CN101044509B publication Critical patent/CN101044509B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/24Systems for the transmission of television signals using pulse code modulation
    • G06T5/70
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration by the use of local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00Colour television systems
    • H04N11/04Colour television systems using pulse code modulation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/467Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/87Regeneration of colour television signals
    • H04N9/8715Regeneration of colour television signals involving the mixing of the reproduced video signal with a non-recorded signal, e.g. a text signal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20204Removing film grain; Adding simulated film grain

Abstract

本发明提供了在胶片颗粒模拟中确定块平均值的方法,其包括在显示处理期间确定块平均值和在解码过程期间确定块平均值。本发明的这些方法在存储器要求和计算成本方面展示出不同的特性。更具体地,第一种方法不使用外部存储器,但是需要块的额外读取或显示器流水线中的内部存储器,而第二种方法需要额外的存储器带宽和额外的外部存储器(例如,RAM)。

Description

为胶片颗粒模拟确定块平均值的方法
相关申请的交叉引用
本申请要求2004年10月18日提交的美国临时专利申请序列号60/619632的优先权,其通过引用而被整体合并于此。
技术领域
本发明一般地涉及胶片颗粒模拟,更具体地涉及用于在胶片颗粒模拟中确定块平均值(average)的方法。
背景技术
在显影过程期间在运动画面图像中形成胶片颗粒。胶片颗粒在HD图像中可被清楚地觉察到,并且成为正变得更希望在整个图像处理和传输链中保持的区别性的电影特征。然而,由于不能使用与时间预测相关的压缩增益(compression gain),胶片颗粒的保持对于现今的编码器是个挑战。由于颗粒的随机性,只在非常高的比特率下才实现可视无损编码。当对通常与噪声和精细纹理相关联的高频进行滤波时,有损编码器往往抑制胶片颗粒。
在近期建立的H.264|MPEG-4AVC视频压缩标准中,特别是在其保真度范围扩展(FRExt)修正1(JVT-K051,ITU-T Recommendation H.264|ISO/IEC14496-10 International Standard with Amendment 1(带有修正1的国际标准),Redmond,USA,2004年6月)中,定义了胶片颗粒补充增强信息(SEI)消息。这种消息描述关于属性(例如大小和强度(intensity))的胶片颗粒特性,并允许视频解码器将胶片颗粒外观模拟到解码画面上。H.264|MPEG-4AVC标准规定在胶片颗粒SEI消息中存在哪些参数,怎样解释它们以及要用来以二进制格式将SEI消息编码的语法。但是,所述标准没有规定在接收到胶片颗粒SEI消息时模拟胶片颗粒的确切程序。
胶片颗粒模拟是相对较新的技术,其在后期制作(post-production)中以及在修复旧的库存胶片期间用来在计算机生成的素材上模拟胶片颗粒。对于这种应用,在市场上存在商业软件,如纽约罗彻斯特的Eastman Kodak公司的
Figure S05835578X20070420D000021
以及Visual Infinity的Grain SurgeryTM。这些工具需要用户交互,并且实现起来较为复杂,这使得它们不适合实时视频编码应用。而且,这些工具中没有一个能够解释如H.264/AVC视频编码标准等中规定的胶片颗粒SEI消息。
发明内容
本发明有利地提供用于在胶片颗粒模拟中确定块平均值的方法。
在本发明的一个实施例中,一种用于在胶片颗粒模拟中确定块平均值的方法包括:在解码过程期间计算块平均值;提供高效计算和低存储器带宽要求。
在本发明的替换实施例中,一种用于在胶片颗粒模拟中确定块平均值的方法包括:在显示过程期间以光栅扫描顺序计算块平均值。该实施例允许使用典型的视频解码器并且同时提供存储器高效实现。
附图说明
通过结合附图考虑以下详细描述,可以容易地理解本发明的教导,在附图中:
图1示出根据本发明一个实施例的具有胶片颗粒模拟能力的视频解码器子系统的高层框图;
图2示出适合在图1的视频解码器子系统中使用的接口控制器的实施例的高层框图;
图3示出图1的胶片颗粒数据库的典型排列的高层框图;
图4示出根据本发明一个实施例的、在显示过程期间计算块平均值的方法的流程图;以及
图5示出根据本发明一个实施例的、在解码过程期间计算块平均值的方法的流程图。
应理解这些附图是出于说明本发明的思想的目的,并且不一定是说明本发明的唯一可能的配置。为了帮助理解,在可能的时候,使用相同的参考标号指代这些图共有的相同元件。
具体实施方式
本发明有利地提供了用于在胶片颗粒模拟中确定块平均值的方法。虽然将主要在用于在例如消费级HD DVD播放器的IC设计中应用的视频解码器子系统的环境中描述本发明,但是本发明的特定实施例不应被当作限制本发明的范围。本领域技术人员将认识到并且本发明的教导所告知的是:本发明的思想可被有利地应用于例如媒体播放器/接收器设备、解码器、机顶盒、电视机等中的任何胶片颗粒模拟过程。
图1示出了根据本发明一个实施例的具有胶片颗粒模拟能力的视频解码器子系统的高层框图。图1的视频解码器子系统100说明性地包括例如视频解码器(说明性地为H.264解码器)106、视频显示和图形引擎108、主机接口110、接口控制器(说明性地为RAM接口控制器)112、和本地存储器(说明性地为RAM存储器)114,所述本地存储器114被实现为用于存储远程胶片颗粒数据库104中的胶片颗粒图案的小子集的胶片颗粒高速缓冲存储器。图1还示出了主机CPU102和包括远程胶片颗粒数据库104的远程永久存储程序存储器。虽然在图1的视频解码器子系统100中,主机CPU102和远程胶片颗粒数据库104被示出为包括分离的组件,但是在本发明的替换实施例中,远程胶片颗粒数据库104可位于CPU102的永久存储器中。另外,虽然在图1的视频解码器子系统100中,视频解码器106、视频显示和图形引擎108、主机接口100和接口控制器112被示出为包括分离组件,但是在本发明的替换实施例中,视频解码器106、视频显示和图形引擎108、主机接口100和接口控制器112可包括单个组件,并且可以被集成在单个集成片上系统(SoC)设计中。
此外,虽然在图1的视频解码器子系统100中,用于存储胶片颗粒图案的部件被示出为本地存储器114(高速缓冲存储器)和远程胶片颗粒数据库104,但是在本发明的替换实施例中,可以实现基本上任何可访问的存储部件,以保存胶片颗粒图案的子集和胶片颗粒图案的全部数目。这样的部件可包括存储盘、磁存储介质、光存储介质或基本上任何存储部件。另外,可为每个存储设备实现一个或多个存储部件。另外,虽然图1的胶片颗粒数据库104被示出为位置远离存储器114,但是在本发明的替换实施例中,胶片颗粒图案存储部件位置可互相紧邻或以较大的距离互相远离。
图2示出了适合在图1的视频解码器子系统100中使用的接口控制器的实施例的高层框图。图2的接口控制器112包括处理器210和用于存储控制程序、算法等的存储器220。处理器210与诸如电源、时钟电路、高速缓冲存储器等的传统支持电路230以及帮助执行存储在存储器220中的软件例程的电路协作。因此,可以想到:可在硬件中,例如作为与处理器210协作以执行各种步骤的电路来实现在这里作为软件过程讨论的过程步骤中的一些。接口控制器112还包含输入输出电路240,其在与接口控制器112通信的各种相应功能元件之间形成接口。
虽然图2的接口控制器112被示出为被编程以执行根据本发明的各种控制功能的通用计算机,但是可以用硬件,例如作为专用集成电路(ASIC)来实现本发明。因此,在这里描述的过程步骤意图是被广泛地解释为由软件、硬件或它们的组合来等同地执行。
再次参考图1的子系统100,远程胶片颗粒数据库104通常比较大。在本发明的一个实施例中,H.264视频解码器106、视频显示和图形引擎108、主机接口110、接口控制器112和本地存储器114包括HD DVD播放器的组件。需要以例如HD DVD播放器的采样率来访问来自远程胶片颗粒数据库104的胶片颗粒图案。因此,快速访问大胶片颗粒数据库104是必要的。在根据本发明的图1的子系统100中,在被支持(leverage)以开发高速缓存技术来降低复杂度的补充增强信息(SEI)胶片颗粒周期(period)期间,仅使用远程胶片颗粒数据库104的一小部分。
更具体地说,图1的胶片颗粒模拟过程需要将胶片颗粒SEI消息解码,所述消息是在均通过引用而被全部包含于此的修正1(保真度范围扩展)所规定的国际标准ITU-T Rec.H.264|ISO/IEC14496-10比特流中传送的。在本发明的一个实施例中,胶片颗粒SEI消息被先于I(帧内编码的)画面而发送,而且只有一个胶片颗粒SEI消息在特定的I画面之前。
在本发明的一个实施例中,胶片颗粒图案的远程胶片颗粒数据库104由169个4096个胶片颗粒样本的图案构成,每个图案表示64×64胶片颗粒图像。例如,图3示出图1的胶片颗粒数据库的典型排列的高层框图。图3示出具有x轴中的i_offset和y轴中的j_offset的64×64样本胶片颗粒图案。图3还示出各种类型的169个胶片颗粒图案。
在胶片颗粒数据库104中,根据标准规范的频率滤波模型,使用不同的截止频率对来合成每个胶片颗粒图案。在胶片颗粒模拟过程期间,使用在SEI消息中传送的截止频率来访问胶片颗粒图案的远程胶片颗粒数据库104。胶片颗粒数据库104被存储在ROM、闪存或其他永久存储设备中,例如图1的视频解码器子系统100的胶片颗粒数据库104,并且通常不会改变。胶片颗粒数据库104包含具有非常多的胶片颗粒形状和大小的随机胶片颗粒图案。但是,对于特定的视频内容序列,实际上只需要此数据库的小子集来有效地模拟胶片颗粒。对于任何SEI消息周期,所述规范将胶片颗粒图案的数量限制为小子集。因此,本发明实现小胶片颗粒高速缓冲存储器,如本地存储器114,它在接收到SEI消息时被更新。
通常,远程胶片颗粒数据库104被存储在主机CPU102的永久存储器中或主机CPU102的地点处。但是,视频解码器106与视频显示和图形引擎108需要快速访问胶片颗粒数据库104。因此,并根据本发明,本地存储器114被提供用于快速访问至少胶片颗粒图案的子集。也就是说,将至少现有SEI消息周期所需要的或最多实现的胶片颗粒图案的小子集传送到和存储在本地存储器114中。
在本发明的一个实施例中,本地存储器114足够大以存储整个胶片颗粒数据库104。在这样的实施例中,视频解码器106与视频显示和图形引擎108通过控制器112而立即并快速地访问最初存储在远程胶片颗粒数据库104中的所有可用的胶片颗粒图案。另外,本发明的这种实施例有这样的优点:本地存储器114中的胶片颗粒高速缓冲存储器不必在接收到SEI消息时被更新。然而,这种实施例的缺点是需要更多的存储器(如RAM)。但是,在一些实现中,已经可以获得这种大存储空间。
在本发明的替换实施例中,本地存储器114只足够大以存储胶片颗粒数据库104的子集。在这种实施例中,每当接收到SEI消息时,控制器112都启动对本地存储器114的高速缓冲存储器的检查,以确定是否需要用在新SEI消息中选择的远程胶片颗粒数据库104中的不同胶片颗粒图案来代替已经在本地存储器114中的胶片颗粒图案子集中的任一个。此技术的优点是较小的本地存储器114的分配。缺点是本地存储器114的高速缓冲存储器必须由控制器112管理,而且在最坏的情况下,对于每个I帧,必须将全部高速缓冲存储器大小通过例如控制器112而从远程胶片颗粒数据库104传递至本地存储器114。另外,在本发明的这种实施例中,当设备启动(或重置)时,控制器112可利用存储在远程胶片颗粒数据库104中的最常用(common)的胶片颗粒图案来预初始化本地存储器114(即胶片颗粒高速缓冲存储器)。也就是说,对于哪些胶片颗粒图案要存储在本地存储器114中的选择取决于经验数据,所述经验数据基于在对胶片内容的广泛选择中,最经常使用胶片颗粒数据库104中的什么胶片颗粒图案。
在任何情况下,在本发明的上述实施例中,与控制器112相结合的根据本发明的本地存储器114使视频解码器106与视频显示和图形引擎108能够更快地访问先前只包含在远程胶片颗粒数据库104中的胶片颗粒图案。
再次参考图1,在诸如图1的视频解码器子系统100的胶片颗粒模拟系统中,需要解码后的画面的块平均值(例如,8×8块平均值)来限定胶片颗粒形状、大小和强度。因此,在图1的视频解码器子系统100中,在访问本地存储器114以搜索或选择胶片颗粒图案之前,需要计算块平均值。更具体地,解码后的画面的块平均值是一组值,每一个值表示形成该画面的块中的每一个块的样本的平均值。例如,如果我们的解码后的画面是32个样本宽和24个样本高,且所述块是8个样本宽和8个样本高,则解码后的画面的块平均值可以用如下矩阵形式表示:
Figure S05835578X20070420D000061
其中Avg1是块1中的样本的平均值,所述块1在坐标(0,0)处具有其左上样本且在坐标(7,7)处具有其右下样本;Avg2是块2中的样本的平均值,所述块2在坐标(8,0)处具有其左上样本且在坐标(15,7)处具有其右下样本,等等。
另外,可以为每个颜色成分分别计算块平均值。例如,如果解码后的画面是YUV彩色空间(带有亮度信息的Y,带有色度信息的U和V)中的彩色图像,则有可能为该画面计算三个块平均值,每个颜色成分一个。如果利用decoded_picture[c][x][y]来表示颜色成分c的坐标(x,y)处的样本,则可以如下计算其左上样本位于坐标(Ox,Oy)处的、N个样本宽和M个样本高的块N的块平均值:
average=0
for(i=Ox,i<Ox+N;i++)
     for(j=Oy,j<Oy+M,j++)
         average+=decoded_picture[c][i][j]
     endfor
endfor
average/=N*M。
先前的伪码实质上将块平均值初始化为0,然后将该块中的所有样本的值加到其上,并且最后将所得到的值除以样本的数目来得到平均值。应该对全部三个颜色成分重复这一过程。
在胶片颗粒模拟的情况下,当胶片颗粒参数在块的基础上改变时,每个块的块平均值(即,该块的样本的平均值)被用来选择用于该块的适当的胶片颗粒参数。根据本发明,本发明人在此提出用于确定解码后的画面的块平均值的两种选择。
在本发明的第一实施例中,在显示过程期间确定解码后的画面的块平均值。在一些实现中,在显示过程期间解码器可能已经从外部存储器(例如,RAM)读取了解码后的画面块(例如,8×8块)。在这种情况下并且根据本发明,在显示器流水线(display pipeline)中执行块平均(例如,8×8块平均)。根据本发明,即使以光栅扫描顺序(即,从左到右,从上到下)读取像素,也有可能在显示过程期间计算块平均值(例如,8×8块平均值)。例如,图4示出了根据本发明一个实施例的、当以光栅扫描顺序读取像素时在解码过程期间计算块平均值的方法的流程图。
在图4的方法400中,以8行为一组处理图像,并且并行地计算该8行的组中的所有8×8块的块平均值。方法400通过对于该组中的第一行将块平均值设置为0而开始。然后,以8个样本为一组处理该行。将前8个样本加到第一块平均值(其对应于该8行的组中的第一8×8块)上,将接下来的8个样本加到第二块平均值(其对应于第二8×8块)上,等等。通过重复使用(reuse)相同的块平均值而以相同的方式处理剩余的7行。即,第2至7行中的前8个样本被加到第一块平均值上,接下来的8个样本被加到第二块平均值上,等等。在第7行的末尾,每个块平均值包含该块的所有样本的总和。为了获得平均值,将该总和除以该块中样本的数目(在该情况下是64)。一旦知道该8行的组的所有8×8块的块平均值,就可以将胶片颗粒加到其上,并且准备将这些行发送到显示器。通过使块平均值的计算与解码过程相分离,该方法允许使用任何解码器(因为不需要对其进行改变)。同时,通过在显示过程期间以光栅扫描顺序读取像素,可以使用高效的存储器访问技术,从而导致开销降低。
在本发明的第二实施例中,在视频解码过程期间(即,在H.264解码过程期间)确定解码后的画面的块平均值。在视频压缩解码操作期间,可以使用8×8块样本。例如,图5示出了根据本发明一个实施例的、用于在解码过程期间计算块平均值的方法的流程图。图5的方法500图示了将视频帧的解码与每个块(例如,8×8块)的块平均值的计算相组合。图5的方法500通过将样本的宏块解码而开始(即,诸如MPEG-2和H.264|MPEG-4AVC的大多数视频编码标准使用16×16宏块)。接下来,计算每个子块(例如,8×8子块)的块平均值并将其存储到存储器中。由于在解码过程期间可以容易地获得计算块平均值所需的值,所以该方法使必须从存储器读取的数据量最小,从而降低对存储器带宽的要求。
然后,将这些块平均值存储在将在显示过程的胶片颗粒模拟期间访问的诸如图1的本地存储器114或单独提供的存储器(例如,RAM)的外部存储器(例如,RAM)中。本发明的这一方法在显示每个解码后的帧之前需要用于每个解码后的帧的一些外部存储器。在最坏的情况下,该实施例需要146K字节的外部存储器(例如,RAM)来存储三个解码后的帧的8×8块平均值。另外,需要一些最小的额外的存储器带宽来存储和取回块平均值(例如,8×8块平均值)。
上述根据本发明实施例的用于确定块平均值的两种方法对外部存储器(例如,RAM)存储与存储器带宽进行权衡。第一种方法不使用外部存储器,但是需要8×8块的额外读取或显示器流水线中的内部存储器。第二种方法需要很少的额外存储器带宽以及146K字节的外部存储器(例如,RAM)。
在描述了用于胶片颗粒模拟的方法、装置和系统的各种实施例(它们意图是说明性的而不是限制性的)之后,注意到:根据上述教导,本领域技术人员可以进行修改和变化。因此,应当理解:可在所公开的本发明的特定实施例中进行处于所附权利要求所概括的本发明的范围和精神内的改变。尽管前述内容针对本发明的各种实施例,但是可以想到本发明的其它和另外的实施例,而不背离其基本范围。因此,应当根据所附权利要求来确定本发明的适当范围。

Claims (7)

1.一种用于在胶片颗粒模拟过程中确定至少一部分解码的画面的块平均值的方法,包括:
在显示器流水线中计算所述至少一部分解码的画面的块平均值,避免使用外部存储器,所述确定的块平均值被用于限定所述至少一部分解码的画面的胶片颗粒形状、大小以及强度。
2.如权利要求1所述的方法,其中,一次为一个块计算块平均值。
3.如权利要求1所述的方法,其中,并行地为一行中的所有块计算块平均值。
4.如权利要求1所述的方法,还包括:
将用于计算块平均值的像素值重新用于胶片颗粒模拟过程;以及
将用于胶片颗粒模拟过程的像素值重新用于显示过程。
5.一种用于在胶片颗粒模拟过程中确定至少一部分解码的画面的块平均值的方法,包括:
在解码过程期间计算所述至少一部分解码的画面的块平均值,所述确定的块平均值被存储在外部存储器中并用于选择所述至少一部分解码的画面的至少一个胶片颗粒图案。
6.如权利要求5所述的方法,其中,所述至少一部分解码的画面的一组像素是宏块。
7.如权利要求6所述的方法,其中,所述宏块包含16×16个样本,并且计算4个块平均值,每个非重叠的8×8块一个。
CN200580035578.XA 2004-10-18 2005-10-17 为胶片颗粒模拟确定块平均值的方法 Expired - Fee Related CN101044509B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US61963204P 2004-10-18 2004-10-18
US60/619,632 2004-10-18
PCT/US2005/037405 WO2006044880A1 (en) 2004-10-18 2005-10-17 Methods for determining block averages for film grain simulation

Publications (2)

Publication Number Publication Date
CN101044509A CN101044509A (zh) 2007-09-26
CN101044509B true CN101044509B (zh) 2014-05-28

Family

ID=35520084

Family Applications (3)

Application Number Title Priority Date Filing Date
CNA2005800356087A Pending CN101044511A (zh) 2004-10-18 2005-10-07 胶片颗粒模拟的方法、装置及系统
CN2005800354274A Expired - Fee Related CN101040300B (zh) 2004-10-18 2005-10-17 在胶片颗粒模拟中以光栅顺序读取胶片颗粒图案的方法和装置
CN200580035578.XA Expired - Fee Related CN101044509B (zh) 2004-10-18 2005-10-17 为胶片颗粒模拟确定块平均值的方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CNA2005800356087A Pending CN101044511A (zh) 2004-10-18 2005-10-07 胶片颗粒模拟的方法、装置及系统
CN2005800354274A Expired - Fee Related CN101040300B (zh) 2004-10-18 2005-10-17 在胶片颗粒模拟中以光栅顺序读取胶片颗粒图案的方法和装置

Country Status (13)

Country Link
US (4) US8014558B2 (zh)
EP (3) EP1803093B1 (zh)
JP (3) JP4764883B2 (zh)
KR (3) KR101218242B1 (zh)
CN (3) CN101044511A (zh)
BR (1) BRPI0516471A (zh)
CA (1) CA2584029C (zh)
HK (2) HK1104364A1 (zh)
MX (1) MX2007004365A (zh)
MY (3) MY149828A (zh)
RU (1) RU2372658C2 (zh)
WO (3) WO2006044276A1 (zh)
ZA (1) ZA200703560B (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1857006B (zh) * 2003-09-23 2011-06-08 汤姆森特许公司 通过镶嵌预先计算的样本来模拟胶片颗粒的方法
JP2005100100A (ja) * 2003-09-25 2005-04-14 Toyota Motor Corp 車輪情報処理装置および車輪情報処理方法
PL1673944T3 (pl) * 2003-10-14 2020-03-31 Interdigital Vc Holdings, Inc. Technika do symulowania ziarna filmu o dokładności bitowej
US8150206B2 (en) * 2004-03-30 2012-04-03 Thomson Licensing Method and apparatus for representing image granularity by one or more parameters
WO2006044276A1 (en) * 2004-10-18 2006-04-27 Thomson Licensing Methods, apparatus and system for film grain simulation
CA2583156C (en) * 2004-10-18 2014-03-18 Thomson Licensing Film grain simulation method
GB0424339D0 (en) * 2004-11-03 2004-12-08 Astrazeneca Ab Combination therapy
CA2587095C (en) 2004-11-12 2015-01-20 Thomson Licensing Film grain simulation for normal play and trick mode play for video playback systems
KR101295221B1 (ko) * 2004-11-16 2013-08-12 톰슨 라이센싱 비디오 시스템에서 사용되는 의사-랜덤 숫자 생성기를 위한 비트-어큐레이트 시드 초기화
ATE553455T1 (de) 2004-11-16 2012-04-15 Thomson Licensing Verfahren zum simulieren von filmkörnigkeit auf der basis vorausberechneter transformationskoeffizienten
KR101229942B1 (ko) 2004-11-16 2013-02-06 톰슨 라이센싱 비디오 시스템에서 비트까지 정확한 시뮬레이션을 위한필름 그레인 sei 메시지 삽입
AU2005306936B2 (en) * 2004-11-17 2011-02-10 Interdigital Vc Holdings, Inc. Bit-accurate film grain simulation method based on pre-computed transformed coefficients
KR101208158B1 (ko) * 2004-11-22 2012-12-05 톰슨 라이센싱 필름 그레인 시뮬레이션을 위한 필름 그레인 캐시 분할방법, 장치 및 시스템
DE602005015249D1 (de) 2004-11-23 2009-08-13 Thomson Licensing Filmkörnigkeitssimulationstechnik mit geringer komplexität
CN101841721B (zh) * 2004-11-24 2011-11-30 汤姆森许可贸易公司 媒体重放设备中使用的胶片颗粒仿真技术
JP4943503B2 (ja) * 2006-05-18 2012-05-30 トムソン ライセンシング イメージコンテンツにデータを隠蔽する方法及び装置
US7742652B2 (en) * 2006-12-21 2010-06-22 Sharp Laboratories Of America, Inc. Methods and systems for image noise processing
US8213500B2 (en) * 2006-12-21 2012-07-03 Sharp Laboratories Of America, Inc. Methods and systems for processing film grain noise
US7873210B2 (en) * 2007-03-14 2011-01-18 Autodesk, Inc. Automatic film grain reproduction
US10715834B2 (en) 2007-05-10 2020-07-14 Interdigital Vc Holdings, Inc. Film grain simulation based on pre-computed transform coefficients
US8233061B1 (en) * 2007-06-01 2012-07-31 Nvidia Corporation System, method, and computer program product for reducing a number of requests required to retrieve portions of memory
US8432975B2 (en) * 2008-01-18 2013-04-30 Mediatek Inc. Apparatus and method for processing a picture frame
US8351736B2 (en) * 2009-06-02 2013-01-08 Microsoft Corporation Automatic dust removal in digital images
JP5533330B2 (ja) * 2010-06-23 2014-06-25 富士ゼロックス株式会社 データ処理装置
JP5693089B2 (ja) * 2010-08-20 2015-04-01 キヤノン株式会社 画像処理装置、及び画像処理装置の制御方法
KR101979634B1 (ko) 2012-12-13 2019-05-20 삼성전자주식회사 화질 개선을 위한 영상 처리 장치 및 그 방법
US9119606B2 (en) 2013-01-21 2015-09-01 Ethicon, Inc. Sealant delivery device for anastomotic stapler
CN110177279B (zh) * 2014-03-28 2021-10-08 联咏科技股份有限公司 视频处理装置与其视频处理电路
FR3073999B1 (fr) * 2017-11-23 2024-02-09 Ateme Compression intelligente de contenus video graines

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4636845A (en) * 1985-05-06 1987-01-13 Eastman Kodak Company Digital image processing method for over and under exposed photographic images
US5781664A (en) * 1995-09-11 1998-07-14 National Semiconductor Corporation Highly efficient method and structure for motion compensation in a video decompression system

Family Cites Families (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4191594A (en) 1976-07-09 1980-03-04 Virgil Stark Solar energy conversion
US4791594A (en) * 1986-03-28 1988-12-13 Technology Inc. 64 Random-access psuedo random number generator
US5028280A (en) 1988-12-15 1991-07-02 Matsushita Electric Industrial Co., Ltd. Soft magnetic alloy films having a modulated nitrogen content
US4935816A (en) * 1989-06-23 1990-06-19 Robert A. Faber Method and apparatus for video image film simulation
EP0430504A3 (en) 1989-11-17 1992-07-08 Matsushita Electric Industrial Co., Ltd. Soft magnetic alloy films
US5262248A (en) 1989-11-17 1993-11-16 Matsushita Electric Industrial Co., Ltd. Soft magnetic alloy films
US5140414A (en) * 1990-10-11 1992-08-18 Mowry Craig P Video system for producing video images simulating images derived from motion picture film
US5457491A (en) * 1990-10-11 1995-10-10 Mowry; Craig P. System for producing image on first medium, such as video, simulating the appearance of image on second medium, such as motion picture or other photographic film
US5374954A (en) * 1990-10-11 1994-12-20 Harry E. Mowry Video system for producing video image simulating the appearance of motion picture or other photographic film
US5687011A (en) * 1990-10-11 1997-11-11 Mowry; Craig P. System for originating film and video images simultaneously, for use in modification of video originated images toward simulating images originated on film
JP3062703B2 (ja) * 1991-05-27 2000-07-12 コニカ株式会社 画像ノイズシミュレーション方法
US5335013A (en) 1992-01-16 1994-08-02 Faber Robert A Method and apparatus for video camera image film simulation
WO1996018265A1 (de) 1994-12-06 1996-06-13 Cfb Centrum Für Neue Bildgestaltung Gmbh Bildtransferverfahren und -vorrichtung
JPH05328134A (ja) 1992-05-15 1993-12-10 Dainippon Screen Mfg Co Ltd 画像データ伝送方法
US5283164A (en) 1992-06-19 1994-02-01 Eastman Kodak Company Color film with closely matched acutance between different color records
JPH0757117A (ja) 1993-07-09 1995-03-03 Silicon Graphics Inc テクスチャマップへの索引を生成する方法及びコンピュータ制御表示システム
US5471572A (en) * 1993-07-09 1995-11-28 Silicon Graphics, Inc. System and method for adding detail to texture imagery in computer generated interactive graphics
US5475425B1 (en) 1994-01-25 2000-07-25 Przyborski Production Apparatus and method for creating video ouputs that emulate the look of motion picture film
US5831673A (en) * 1994-01-25 1998-11-03 Przyborski; Glenn B. Method and apparatus for storing and displaying images provided by a video signal that emulates the look of motion picture film
JPH07322245A (ja) * 1994-05-25 1995-12-08 Mitsubishi Electric Corp 映像信号符号化方式
JP3980659B2 (ja) * 1994-08-31 2007-09-26 ソニー株式会社 動画像符号化方法及び装置、動画像復号化方法及び装置。
WO1996013006A1 (en) * 1994-10-20 1996-05-02 Mark Alan Zimmer Digital mark-making method
US5706361A (en) 1995-01-26 1998-01-06 Autodesk, Inc. Video seed fill over time
US5629769A (en) * 1995-06-01 1997-05-13 Eastman Kodak Company Apparatus and method for the measurement of grain in images
FR2736441B1 (fr) 1995-07-04 1997-09-26 Noane Georges Le Dispositif et procede de reperage et de raccordement de fibres multicoeurs
US5817447A (en) 1995-11-08 1998-10-06 Eastman Kodak Company Laser film printer with reduced fringing
US5641596A (en) * 1995-12-05 1997-06-24 Eastman Kodak Company Adjusting film grain properties in digital images
US6957350B1 (en) * 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
JP3910267B2 (ja) * 1997-09-10 2007-04-25 富士フイルム株式会社 画像処理方法および装置
JP3367407B2 (ja) * 1997-12-25 2003-01-14 富士ゼロックス株式会社 画像出力装置、画像処理装置、画像出力方法、画像処理方法、および記録媒体
US6650327B1 (en) 1998-06-16 2003-11-18 Silicon Graphics, Inc. Display system having floating point rasterization and floating point framebuffering
US6233647B1 (en) 1998-07-07 2001-05-15 Silicon Graphics, Inc. Hashed direct-mapped texture cache
US6559849B1 (en) 1999-07-30 2003-05-06 Lucas Digital Ltd. Animation of linear items
US6683979B1 (en) 1999-12-10 2004-01-27 Silicon Graphics, Inc. Image data compression and decompression
US6317216B1 (en) 1999-12-13 2001-11-13 Brown University Research Foundation Optical method for the determination of grain orientation in films
EP1279111A4 (en) 2000-04-07 2005-03-23 Dolby Lab Licensing Corp IMPROVED TIME AND RESOLUTION STRUCTURE FOR ADVANCED TELEVISION
JP3932244B2 (ja) 2000-05-15 2007-06-20 株式会社ハドソン 画像符号/復号方法及びその装置並びにそのプログラムを記録した記録媒体
CA2309002A1 (en) * 2000-05-23 2001-11-23 Jonathan Martin Shekter Digital film grain reduction
US6868190B1 (en) 2000-10-19 2005-03-15 Eastman Kodak Company Methods for automatically and semi-automatically transforming digital image data to provide a desired image look
US6940993B2 (en) 2000-12-13 2005-09-06 Eastman Kodak Company System and method for embedding a watermark signal that contains message data in a digital image
US6909736B2 (en) 2000-12-14 2005-06-21 Nokia Corporation System for method for fine acquisition of a spread spectrum signal
US6987586B2 (en) 2001-03-02 2006-01-17 Eastman Kodak Company Method of digital processing for digital cinema projection of tone scale and color
GB2374748A (en) 2001-04-20 2002-10-23 Discreet Logic Inc Image data editing for transitions between sequences
KR20030029937A (ko) 2001-07-06 2003-04-16 코닌클리케 필립스 일렉트로닉스 엔.브이. 제어된 벡터 통계들을 이용한 모션 추정 및 보상
JP3963086B2 (ja) * 2001-07-13 2007-08-22 株式会社島津製作所 断層再構成ソフトウエアとその記録媒体と断層撮影装置
US6812928B2 (en) * 2002-01-30 2004-11-02 Sun Microsystems, Inc. Performance texture mapping by combining requests for image data
JP2003274413A (ja) * 2002-03-14 2003-09-26 Matsushita Electric Ind Co Ltd エラー処理装置及び方法
US7065255B2 (en) * 2002-05-06 2006-06-20 Eastman Kodak Company Method and apparatus for enhancing digital images utilizing non-image data
JP2003324326A (ja) 2002-05-08 2003-11-14 Matsushita Electric Ind Co Ltd 高周波増幅装置
US7064755B2 (en) 2002-05-24 2006-06-20 Silicon Graphics, Inc. System and method for implementing shadows using pre-computed textures
ITBS20020064A1 (it) 2002-07-16 2004-01-16 Genesis S R L Metodo e sistema per il controllo remoto di apparecchiature
KR20040051370A (ko) * 2002-12-12 2004-06-18 삼성전자주식회사 영상신호의 노이즈 측정장치 및 그 측정방법
AU2004241535B2 (en) 2003-05-15 2009-07-23 Dolby International Ab Method and apparatus for representing image granularity by one or more parameters
PL1661089T3 (pl) 2003-08-29 2008-05-30 Thomson Licensing Sposób i urządzenie do modelowania w dziedzinie częstotliwości wzorów ziarna błony filmowej
JP2005080301A (ja) * 2003-09-01 2005-03-24 Matsushita Electric Ind Co Ltd 動画像符号化方法および動画像復号化方法
EP1511319A1 (en) * 2003-09-01 2005-03-02 Matsushita Electric Industrial Co., Ltd. Film Grain Extraction Filter
EP1511320A1 (en) 2003-09-01 2005-03-02 Matsushita Electric Industrial Co., Ltd. Film grain encoding
BRPI0414397A (pt) * 2003-09-17 2006-11-21 Thomson Licensing geração de imagem de referência adaptativa
WO2006044276A1 (en) 2004-10-18 2006-04-27 Thomson Licensing Methods, apparatus and system for film grain simulation
JP2006279424A (ja) 2005-03-29 2006-10-12 Yamaha Corp 電気機器遠隔操作システム
JP2008177636A (ja) 2007-01-16 2008-07-31 Smk Corp Rf通信システム
JP4337886B2 (ja) 2007-02-20 2009-09-30 ソニー株式会社 遠隔制御装置および遠隔制御方法
US20080232811A1 (en) 2007-03-20 2008-09-25 Rokenbok Toy Company Infrared remote control system and method
KR101601109B1 (ko) 2008-07-16 2016-03-22 삼성전자주식회사 통합 원격제어기 및 그의 원격제어방법
KR20100025708A (ko) 2008-08-28 2010-03-10 삼성전자주식회사 리모트컨트롤러 및 이를 이용한 피제어기기의 제어방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4636845A (en) * 1985-05-06 1987-01-13 Eastman Kodak Company Digital image processing method for over and under exposed photographic images
US5781664A (en) * 1995-09-11 1998-07-14 National Semiconductor Corporation Highly efficient method and structure for motion compensation in a video decompression system

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Campisi等.Signal-dependent film grain noise generation using homomorphic adaptive filtering.《IEE Proceedings:Vision,Image and Signal Processing》.2000,第147卷(第3期),第283-287页.
JP特开2002-374541A 2002.12.26
JP特开2003-274413A 2003.09.26
JP特开平4-349458A 1992.12.03
JP特开平7-322245A 1995.12.08
Signal-dependent film grain noise generation using homomorphic adaptive filtering;Campisi等;《IEE Proceedings:Vision,Image and Signal Processing》;20000630;第147卷(第3期);第283-287页 *

Also Published As

Publication number Publication date
KR101240450B1 (ko) 2013-03-11
US20060083426A1 (en) 2006-04-20
JP2008518289A (ja) 2008-05-29
CN101040300A (zh) 2007-09-19
US8014558B2 (en) 2011-09-06
US9953401B2 (en) 2018-04-24
JP2008517538A (ja) 2008-05-22
HK1104366A1 (zh) 2008-01-11
MY151714A (en) 2014-06-30
EP1803095B1 (en) 2019-03-06
MY149828A (en) 2013-10-14
RU2007118495A (ru) 2008-11-27
EP1803091B1 (en) 2017-10-11
KR20070083644A (ko) 2007-08-24
BRPI0516471A (pt) 2008-09-09
CN101044511A (zh) 2007-09-26
EP1803093A1 (en) 2007-07-04
HK1104364A1 (en) 2008-01-11
KR101220412B1 (ko) 2013-01-14
KR101218242B1 (ko) 2013-01-04
RU2372658C2 (ru) 2009-11-10
JP4764883B2 (ja) 2011-09-07
US7982743B2 (en) 2011-07-19
US20150187387A1 (en) 2015-07-02
WO2006044276A1 (en) 2006-04-27
MY149701A (en) 2013-09-30
ZA200703560B (en) 2008-10-29
EP1803091A1 (en) 2007-07-04
US20060083316A1 (en) 2006-04-20
US9117260B2 (en) 2015-08-25
US20060083314A1 (en) 2006-04-20
MX2007004365A (es) 2007-05-08
WO2006044880A1 (en) 2006-04-27
WO2006044684A1 (en) 2006-04-27
CN101040300B (zh) 2012-07-18
CN101044509A (zh) 2007-09-26
EP1803095A1 (en) 2007-07-04
JP5214246B2 (ja) 2013-06-19
JP4823227B2 (ja) 2011-11-24
CA2584029A1 (en) 2006-04-27
JP2008517531A (ja) 2008-05-22
KR20070083688A (ko) 2007-08-24
KR20070083643A (ko) 2007-08-24
EP1803093B1 (en) 2019-08-28
CA2584029C (en) 2014-03-25

Similar Documents

Publication Publication Date Title
CN101044509B (zh) 为胶片颗粒模拟确定块平均值的方法
US11924468B2 (en) Implicit quadtree or binary-tree geometry partition for point cloud coding
US11683524B2 (en) Method and apparatus for point cloud compression
CN101044510A (zh) 胶片颗粒模拟方法
CN101057259B (zh) 基于预计算的变换系数的胶片颗粒仿真方法
JP2012500565A (ja) 圧縮ビデオにおける構文要素のcabac/avc準拠の透かし入れ
KR101254611B1 (ko) 비디오 재생 시스템에 대한 정상 플레이와 트릭 모드플레이에 대한 필름 그레인 시뮬레이션
RU2372659C2 (ru) Способ имитации зернистости пленки с точностью до бита на основе предварительно вычисленных преобразованных коэффициентов
CN101057215B (zh) 用于在视频系统中使用的伪随机数发生器的比特精确的种子初始化
JP2013017230A (ja) フィルムグレインシミュレーションのフィルムグレインキャッシュ分割のための方法、装置及びシステム
WO2022126333A1 (zh) 图像填充方法及装置、解码方法及装置、电子设备及介质
TW202126036A (zh) 具有輔助修補之容積視訊
WO2023091814A1 (en) Encoding of patch temporal alignment for mesh compression

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1104366

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1104366

Country of ref document: HK

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140528

Termination date: 20171017

CF01 Termination of patent right due to non-payment of annual fee