CN101375608A - 帧内模式关注区视频对象分割 - Google Patents

帧内模式关注区视频对象分割 Download PDF

Info

Publication number
CN101375608A
CN101375608A CNA200780003851XA CN200780003851A CN101375608A CN 101375608 A CN101375608 A CN 101375608A CN A200780003851X A CNA200780003851X A CN A200780003851XA CN 200780003851 A CN200780003851 A CN 200780003851A CN 101375608 A CN101375608 A CN 101375608A
Authority
CN
China
Prior art keywords
video
frame
roi
candidate
facial characteristics
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA200780003851XA
Other languages
English (en)
Inventor
王浩宏
哈立德·希勒米·厄勒-马列
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN101375608A publication Critical patent/CN101375608A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]

Abstract

本发明针对用于从视频序列自动分割关注区(ROI)视频对象的技术。ROI对象分割使得能够从视频序列的非ROI或“背景”区域中提取所述视频序列中观看者可能关注的选定ROI或“前景”对象。ROI对象的实例是人类面部或人体的头部及肩部区域。所揭示的技术包括组合ROI特征检测、区分割和背景减除的混合技术。以此方式，所述揭示的技术可生成准确的前景对象生成和从所述视频序列中对所述前景对象进行低复杂性提取。ROI对象分割系统可实施本文所描述的技术。另外，ROI对象分割可用于各种各样的利用视频序列的多媒体应用程序，例如视频电话应用程序和视频监视应用程序。

Description

帧内模式关注区视频对象分割
技术领域
本发明涉及视频对象分割，且更明确地说，涉及用于多媒体应用程序的从视频序列中自动分割关注区(ROI)视频对象的技术。
背景技术
自动关注区(ROI)视频对象分割可用于各种各样的利用视频序列的多媒体应用程序。ROI对象可称为视频帧内的“前景”对象，且非ROI区域可称为所述视频帧内的“背景”区域。ROI对象分割使得能够从视频序列的背景中提取所述视频序列中观看者可能关注的选定前景对象。多媒体应用程序可接着优先利用从视频序列分割的ROI对象。ROI对象的典型实例是人类面部或人体的头部及肩部区域。
举例来说，在视频监视应用程序中，可将从所俘获的视频序列分割的ROI对象输入到面部数据库系统中。所述面部数据库系统可使用所分割的ROI对象(例如，人类面部)以准确匹配存储于数据库内的目标面部对象。执法机构可利用此ROI对象分割应用程序来从监视视频序列中识别嫌疑犯。
作为另一实例，在视频电话(VT)应用程序中，可将从所俘获的视频序列分割的ROI对象输入到视频序列编码器。所述视频序列编码器可将更多资源分配给所分割的ROI对象以用更高质量编码所述ROI对象以供传输到接收方。VT应用程序准许用户共享视频和音频信息以支持例如视频会议等应用程序。在VT系统中，用户可发送和接收视频信息，仅接收视频信息，或仅发送视频信息。接收方通常以从发送方传输视频信息的形式观看所接收的视频信息。通过优先编码所分割的ROI对象，接收方能够比视频序列的非ROI区域更清楚地观看ROI对象。
其它实例包括其中人员播送信息视频的视频广播应用程序，例如现场或预录新闻或娱乐广播。在此类应用程序中，可能需要优先编码对应于演播员(例如新闻记者或访谈节目主持人)的面部的ROI对象。
常规上，自动ROI对象分割集中在运动分析、运动分割和区分割。在一种情况下，基于统计模型的对象分割算法将ROI对象概括为基于斑点(blob-based)的统计区模型和形状模型。因此，ROI对象分割问题可转换为模型检测和追踪问题。在另一情况下，可基于来自立体相机设置的两个视图之间的差别估计而从视频帧提取前景对象。又一情况提议一种ROI对象分割算法，其包括基于区的分割途径和基于特征的分割途径两者。所述算法使用区描述符来表示对象区，所述对象区相对于运动、颜色和纹理特征来说为同类的，且在整个视频序列上对所述对象区进行追踪。
发明内容
本发明针对于用于从视频序列自动分割关注区(ROI)视频对象的技术。ROI对象分割使得能够从视频序列的非ROI或“背景”区域中提取所述视频序列的选定ROI或“前景”对象。ROI对象的实例是人类面部或人体的头部及肩部区域。所揭示的技术包括组合ROI特征检测、区分割和背景减除的混合技术。以此方式，所揭示的技术可提供准确的前景对象生成和从视频序列提取前景对象的低复杂性提取。
所揭示的技术还包括用于基于面部特征的固有特性(例如对称位置和形状特点)而检验在视频序列的视频帧内所检测到的面部特征的技术。另外，所揭示的技术包括用于在视频序列的视频帧内分离多个个别面部的所检测到的面部特征的技术。如本文描述的，多面部分离技术可映射成最大匹配图形理论问题，其可将计算复杂性从指数降低到多项式。以此方式，所述技术提供对视频序列的帧内的每一面部的准确特征检测。
举例来说，ROI对象分割系统可实施本文所描述的技术。ROI对象分割系统支持帧内模式分割和帧间模式分割。帧内模式分割在不使用ROI对象运动信息的情况下独立于视频序列中的其它帧来处理视频序列的一个帧。帧间模式分割基于ROI对象的运动信息而处理视频序列的帧，所述运动信息指示当前帧与视频序列的先前帧或后续帧之间的运动。ROI对象分割系统可基于一个或一个分割模式决策因素而决定对所接收的帧执行帧内模式分割还是帧间模式分割。
所揭示的技术可进一步包括用于在帧内模式分割期间通过从整个帧内的一组候选区中自动选择视频帧的位于ROI对象形状内的界定区而生成前景对象的技术。所揭示的技术还包括用于在帧间模式分割期间基于背景建模和减除而检测前景对象内的移动区的技术。成功检测移动前景区可改进帧间模式分割期间的ROI特征检测的执行速度。
在一个实施例中，本发明提供一种方法，其包含：接收视频序列的视频帧；检测所述视频帧内的ROI特征；以及基于所检测到的ROI特征而近似推得所述视频帧内的ROI对象形状。所述方法还包含：基于所检测到的ROI特征而将视频帧分割为多个候选区；以及选择位于视频帧的ROI对象形状内的候选区中的一者或一者以上作为ROI对象。
在另一实施例中，本发明提供一种计算机可读媒体，其包含使可编程处理器执行以下操作的指令：接收视频序列的视频帧；检测所述视频帧内的ROI特征；以及基于所检测到的ROI特征而近似推得所述视频帧内的ROI对象形状。所述指令还使可编程处理器执行以下操作：基于所检测到的ROI特征而将视频帧分割为多个候选区；以及选择位于视频帧的ROI对象形状内的候选区中的一者或一者以上作为ROI对象。
在另一实施例中，本发明提供一种自动ROI对象分割系统，其包含：ROI特征检测器，其检测视频序列的所接收视频帧内的ROI特征；以及对象形状近似模块，其基于所检测到的ROI特征而近似推得所接收视频帧内的ROI对象形状。自动ROI对象分割系统还包含：区分割模块，其基于所检测到的ROI特征而将所接收的视频帧分割为多个候选区；以及对象生成模块，其选择位于所接收视频帧的ROI对象形状内的候选区中的一者或一者以上作为ROI对象。
在又一实施例中，本发明提供一种方法，其包含：接收视频序列的视频帧；检测所述视频帧内的ROI特征，其中所述ROI特征包括面罩(face mask)，其包括眼部特征和嘴部特征；以及基于所检测到的ROI特征而将视频帧分割为多个候选区。所述方法还包含：将候选眼部特征和候选嘴部特征组合成眼部-嘴部三角形；基于眼部-嘴部三角形在视频帧内的方位而检验所述眼部-嘴部三角形；以及基于所述检验而选择所述候选区中的一者或一者以上作为ROI对象。
在另一实施例中，本发明提供一种计算机可读媒体，其包含使可编程处理器执行以下操作的指令：接收视频序列的视频帧；检测所述视频帧内的ROI特征，其中所述ROI特征包括面罩，其包括眼部特征和嘴部特征；以及基于所检测到的ROI特征而将视频帧分割为多个候选区。所述指令还使可编程处理器执行以下操作：将候选眼部特征和候选嘴部特征组合成眼部-嘴部三角形；基于眼部-嘴部三角形在视频帧内的方位而检验所述眼部-嘴部三角形；以及基于所述检验而选择所述候选区中的一者或一者以上作为ROI对象。
在另一实施例中，本发明提供一种系统，其包含ROI特征检测器，其检测视频序列的视频帧内的ROI特征，其中所述ROI特征包括面罩，其包括眼部特征和嘴部特征。所述系统还包含：区分割模块，其基于所检测到的ROI特征而将视频帧分割为多个候选区；特征检验模块，其将候选眼部特征和候选嘴部特征组合成眼部-嘴部三角形并基于眼部-嘴部三角形在视频帧内的方位而检验所述眼部-嘴部三角形；以及对象生成模块，其基于所述检验而选择所述候选区中的一者或一者以上作为ROI对象。
本文所描述的技术可在硬件、软件、固件或其任何组合中实施。如果在软件中实施，那么所述技术可部分地通过包含程序代码的计算机可读媒体实现，所述程序代码含有在由可编程处理器执行时执行本文所描述的一种或一种以上方法的指令。
附图和以下描述中陈述一个或一个以上实施例的细节。将从描述和附图以及权利要求书中容易了解其它特征、目的和优点。
附图说明
图1是说明实施用于从视频序列自动分割ROI视频对象的技术的关注区(ROI)对象分割系统的方框图。
图2A和2B是说明视频序列的视频帧内的ROI对象和非ROI区域的界定的图。
图3说明视频序列的ROI对象内所呈现的对象移动/旋转变化和对象形状变形。
图4说明视频序列的ROI对象内的人员的面部表情变化。
图5A是说明来自图1的ROI对象分割系统的示范性操作的流程图。
图5B是更详细说明来自图5A的分割模式决策的流程图。
图6是说明在对从视频源所接收的视频序列的帧执行帧内模式分割时的ROI对象分割系统的方框图。
图7到13是说明在帧内模式分割期间由ROI对象分割系统实施的技术的示范性结果的屏幕截图。
图14是说明执行帧内模式分割的ROI对象分割系统的操作的流程图。
图15是说明在对从视频源所接收的视频序列的帧执行帧间模式分割时的ROI对象分割系统的方框图。
图16和17是说明在帧间模式分割期间由ROI对象分割系统实施的技术的示范性结果的屏幕截图。
图18是说明执行帧间模式分割的ROI对象分割系统的操作的流程图。
具体实施方式
图1是说明实施用于从视频序列自动分割ROI视频对象的技术的关注区(ROI)对象分割系统14的方框图。ROI对象分割可用于各种各样的利用视频序列的多媒体应用程序，例如视频电话(VT)应用程序和视频监视应用程序。
举例来说，在视频监视应用程序中，可将从所俘获的视频序列分割的ROI对象输入到面部数据库系统中。所述面部数据库系统可使用所分割的ROI对象(例如，人类面部)以准确匹配存储于数据库内的目标面部对象。
作为另一实例，在VT应用程序中，可将从所俘获的视频序列分割的ROI对象输入到视频序列编码器。所述视频序列编码器可将更多资源分配给所分割的ROI对象以用更高质量编码所述ROI对象以供传输到接收方。
其它实例包括其中人员播送信息视频的视频广播应用程序，例如现场或预录新闻或娱乐广播。在此类应用程序中，可能需要优先编码对应于演播员(例如新闻记者或访谈节目主持人)的面部的ROI对象。
如图1所示，系统14从视频源12接收视频序列。视频源12可以是获得视频序列的视频俘获装置(例如相机)或存储预录的视频序列的视频档案。系统14自动分割来自所接收的视频序列的ROI对象。ROI对象分割系统14在ROI对象分割过程期间将从视频源12获得的视频序列的视频帧存储到视频存储器16中。在处理视频序列的每一帧之后，系统14将所分割的视频帧的输出图像发送到多媒体应用程序18。
举例来说，ROI对象可包含人类面部或人体的头部及肩部区域。ROI对象可称为视频帧内的“前景”对象，且非ROI区域可称为所述视频帧内的“背景”区域。ROI对象分割系统14从视频序列的背景区域中提取所述视频序列的帧中多媒体应用程序18的用户可能关注的一个或一个以上选定前景对象。多媒体应用程序18可优先利用从视频序列分割的ROI对象。在一个实施例中，多媒体应用程序18可包含视频监视应用程序，其并入有面部数据库系统。在另一实施例中，多媒体应用程序18可包含视频电话(VT)应用程序，其并入有支持ROI的视频编码器-解码器(CODEC)。
在多媒体应用程序18包含视频监视应用程序的实施例中，可将从所俘获的视频序列分割的ROI对象输入到面部数据库系统中。在此情况下，视频源12可以是视频档案，其存储来自监视相机的预录视频序列。面部数据库系统可使用所分割的ROI对象(例如，人类面部)以准确匹配存储于数据库内的目标面部对象。执法机构可利用ROI对象分割系统14连同面部数据库系统以便从监视视频序列中识别嫌疑犯。
在多媒体应用程序18包含VT应用程序的实施例中，可将从所俘获的视频序列分割的ROI对象输入到支持ROI的视频编码器中。VT应用程序准许用户共享视频和音频信息以支持例如视频会议等应用程序。在VT系统中，用户可发送和接收视频信息，仅接收视频信息，或仅发送视频信息。在此情况下，视频源12可以是获得视频序列的视频俘获装置，例如相机。举例来说，视频源12可包含视频相机，视频相机包括在能够参加与另一通信装置的视频电话的通信装置内。
支持ROI的视频编码器可驻留在通信装置内，所述通信装置进一步包括恰当的传输、接收、调制解调器和处理电子元件以支持有线或无线通信。举例来说，支持ROI的视频编码器可驻留在经装备以与其它终端通信的无线移动终端或有线终端内。无线移动终端的实例包括移动无线电电话、移动个人数字助理(PDA)、移动计算机或装备有无线通信能力和视频编码和/或解码能力的其它移动装置。举例来说，支持ROI的视频编码器可驻留在VT应用程序中所使用的所谓的相机电话或视频电话内。有线终端的实例包括桌上型计算机、视频电话、网络器具、机顶盒、交互式电视等。
支持ROI的视频编码器可优先编码所分割的ROI对象，所述ROI对象包括在从ROI对象分割系统14接收的输出图像中。举例来说，支持ROI的视频编码器可向视频帧的ROI对象分配额外的编码位且向视频帧的非ROI区域分配降低数目的编码位。明确地说，在移动应用程序中，可用于编码视频帧的编码位的量可能较低且根据无线信道条件而改变。因此，向ROI对象优先分配编码位可有助于改进ROI对象的视觉质量，同时有效符合适用的位速率要求。因此，通过优先编码ROI对象，接收方能够比视频序列的非ROI区域更清楚地观看ROI对象。接着可经由有线或无线通信信道将所编码的视频帧传输到另一通信装置。
如上所述，ROI对象分割系统14可实施用于从视频序列自动分割ROI视频对象的技术。所揭示的技术包括组合检测视频序列的视频帧内的ROI特征(即，面罩和面部特征)、将视频帧分割成多个候选区和基于所述视频帧和所述视频序列的先前视频帧而执行背景(非ROI)减除的混合技术。以此方式，所揭示的技术可提供准确的前景(ROI)对象生成和从视频序列中的帧提取前景对象的低复杂性提取。
所揭示的技术还包括用于基于面部特征的固有特性(例如对称位置和形状特点)而检验在视频序列的视频帧内所检测到的面部特征的技术。另外，所揭示的技术包括用于在视频序列的视频帧内分离多个个别面部的所检测到的面部特征的技术。如本文描述的，多面部分离技术可映射成最大匹配方案问题，其可将计算复杂性从指数降低到多项式。以此方式，所述技术提供对视频序列的帧内的每一面部的准确特征检测并降低处理要求。
ROI对象分割系统14支持多个(例如，两个)分割模式：帧内模式和帧间模式。帧内模式分割独立于视频序列中的其它帧而处理所述视频序列的一个帧。在此情况下，不使用ROI对象运动信息。帧内模式分割是第一高复杂性分割模式。帧间模式分割是第二低复杂性分割模式，其基于先前或后续帧信息而处理视频序列的帧，且通常是较低复杂性分割模式。帧间模式分割利用当前帧与视频序列的一个或一个以上先前帧或后续帧之间的ROI对象的运动信息。因此，帧间模式分割是相对低复杂性分割模式。
ROI对象分割系统14可基于一个或一个以上分割模式决策因素而决定对所接收的帧执行帧内模式分割还是帧间模式分割。在选择高复杂性分割模式时，应用在不参考视频帧的运动信息的情况下分割从视频帧分割ROI对象(即，帧内模式分割)。在选择低复杂性分割模式时，应用基于视频帧和视频序列的不同视频帧的运动信息而从视频帧分割ROI对象。
所揭示的技术进一步包括用于在帧内模式分割期间通过从整个帧内的一组候选区中自动选择视频帧的位于ROI对象形状内的界定区而生成前景对象的技术。所揭示的技术还包括用于在帧间模式分割期间基于背景建模和减除而检测前景对象内的移动区的技术。成功检测移动前景区可改进帧间模式分割期间的ROI特征检测的执行速度。背景建模和减除技术对于噪声和移动背景区来说是稳固的。所述技术还大致上比采用计算密集型运动估计操作的移动对象分割途径更有效。
在帧内模式分割的情况下，ROI对象分割系统14首先检测视频帧内的面罩且接着检测所述面罩内的面部特征，例如人类眼部和嘴部。系统14接着基于人类面部特征的几何特性和形状特点而执行特征检验以移除错误的面部特征检测。此后，系统14确定所述帧是否包括一个以上人员面部并将所检测到的面部特征分成针对各个面部的群组。基于面部特征的几何位置和ROI几何模型，近似推得ROI对象形状。举例来说，ROI几何模型可包含人类头部及肩部几何模型。
系统14对视频帧执行区生长以生成一组候选区。系统14接着通过从整个帧的所述组候选区选择位于所得ROI对象形状内的区而生成前景对象。系统14接着确定是否存在一个以上前景对象并将多个前景对象合并在一起以形成输出图像的组合前景对象。在合并所述多个前景对象之后，如果适用的话，系统14将所述分割的帧的输出图像发送到多媒体应用程序18，例如用于在监视应用程序中进行个人身份检测或在VT应用程序中进行优先编码。
在帧间模式分割的情况下，ROI对象分割系统14使用背景建模和减除技术以利用视频序列的连续视频帧的时间相关。以此方式，本文所描述的技术提供增强的效率。系统14将ROI对象内的处于当前帧与先前帧之间的移动像素分类为前景像素。系统14接着基于所述前景像素而生成移动前景区。系统14可接着检测移动前景区内的ROI特征和先前帧内的面罩和面部特征位置。以此方式，系统14降低针对视频序列的每一帧执行区分割的计算复杂性。系统14接着将移动前景区与先前帧的前景对象合并以形成输出图像，且将所述分割的帧的输出图像发送到多媒体应用程序18。
ROI对象分割系统14可在硬件、软件、固件或其任何组合中实施。举例来说，ROI对象分割系统14的各个方面可在一个或一个以上数字信号处理器(DSP)、微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或任何其它等效集成或离散逻辑电路以及此类组件的任何组合内实施。术语“处理器”可大体上指代前述逻辑电路中的任一者(其为单独的或结合其它逻辑电路)，且可指代此类处理器中的一者或一者以上。当在软件中实施时，归因于ROI对象分割系统14的功能性可实施为计算机可读媒体上的指令，所述计算机可读媒体例如为随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器、磁性媒体、光学媒体等。执行所述指令以支持本发明中所描述的功能性的一个或一个以上方面。
图2A和2B是说明视频序列的视频帧22内的ROI对象24和非ROI区域25的界定的图。在图2B的实例中，将ROI对象描绘为头部及肩部ROI对象24。在其它实施例中，ROI对象可包含矩形ROI对象或可能具有圆形的或不规则形状的非矩形ROI对象。ROI对象24含有视频帧22中所呈现的人员的面部26。非ROI区域25(即，背景)在图2B通过阴影突出。
可通过来自图1的ROI对象分割系统14从视频序列自动分割ROI对象24。对于VT应用程序来说，通信装置可用支持ROI的编码器优先编码ROI对象24。在此情况下，ROI对象24可包含视频帧22的含有视频会议参与者的面部26的部分。其它实例包括优先编码串流视频(例如，信息视频或新闻或娱乐广播)中播送信息的人员的面部。ROI对象24的大小、形状和位置可以是固定的或可调整的，且可用多种方式界定、描述或调整。
ROI对象24准许视频发送方强调所传输的视频帧22内的个别对象，例如人员的面部26。相反，ROI对象24准许视频接收方更清楚地观看所接收的视频帧22内的所需对象。在任一情况下，用相对于非ROI区域25(例如视频帧22的背景区)的更高图像质量编码ROI对象24内的面部26。以此方式，用户能够更清楚地观看面部表情、嘴唇移动、眼部移动等。在一些实施例中，还可不仅用额外编码位而且用增强的错误检测和弹性来编码ROI对象。
图3说明视频序列的ROI对象内所呈现的对象移动/旋转和对象形状变形。明确地说，图3的帧0和1中所绘示的人员头部显著改变其位置。在图3的实例中，人员头部在帧1中相对于帧0倾斜。图4说明视频序列的ROI对象内的人员的面部表情变化。明确地说，帧0和1中所绘示的人员嘴部从大致闭合位置转变为张开位置。因此，图3和4表示视频序列的ROI对象中的大量移动的情况。
图5A是说明来自图1的ROI对象分割系统14的示范性操作的流程图。ROI对象分割系统14实施用于从视频序列自动分割ROI对象的技术。如上所述，ROI对象分割系统14支持帧内模式分割和帧间模式分割两者以处理视频序列。
ROI对象分割系统14从视频源12接收视频序列的第一帧(30)。ROI对象分割系统14对所接收的帧执行帧内模式分割(32)。帧内模式分割独立于所述视频序列中的其它帧而处理视频序列的当前帧。在帧内模式分割的情况下，ROI对象分割系统14不使用ROI对象运动信息。在执行帧内模式分割的同时，ROI对象分割系统14将视频序列的所接收帧存储在视频存储器16中。ROI对象分割系统14接着将所分割帧的输出图像发送到多媒体应用程序18(34)。
ROI对象分割系统14从视频源12接收视频序列的下一帧(36)。系统14接着作出模式决策以确定对所接收帧执行帧内模式分割还是帧间模式分割(37)。模式决策可基于一个或一个以上分割模式决策因素。举例来说，系统14可基于例如以下分割模式决策因素来决定待对所接收帧执行哪种分割模式：所接收帧的计算复杂性、所接收帧的所需分割质量、所接收帧与先前帧之间的相似量、所接收帧与先前帧之间的运动活动量、用于先前帧的分割模式和自从上一帧内模式过程以来所分割的帧数目。在其它实施例中，分割模式决策可基于额外的分割模式决策因素。
当系统14决定不执行帧内模式分割(37的否分支)时，ROI对象分割系统14基于先前帧而对所接收帧执行帧间模式分割(38)。在此情况下，ROI对象分割系统14从视频序列的先前帧(例如，从视频存储器16)检索运动信息，且使用当前帧与先前帧之间的ROI对象的运动信息。在执行帧间模式分割时，ROI对象分割系统14将视频序列的所接收帧存储在视频存储器16中。ROI对象分割系统14接着将所分割帧的输出图像发送到多媒体应用程序18(40)。
ROI对象分割系统14继续从视频源12接收视频序列的帧。当系统14决定执行帧间模式分割(例如37的“是”分支)时，ROI分割系统14再次对所接收帧执行帧内模式分割(32)。因此，ROI对象分割系统14对从视频源12接收的视频序列的一些帧执行帧内模式分割，且对视频序列的其它帧执行帧间模式分割。
图5B是更详细说明来自图5A的分割模式决策(步骤37)的流程图。ROI对象分割系统14可基于一个或一个以上分割模式决策因素而作出分割模式决策。系统14可执行图5中所说明的一个或一个以上步骤以确定待对所接收帧执行的分割模式。在一些实施例中，系统14可单个地执行所述步骤，或以任何次序组合一个或一个以上所述步骤。在其它实施例中，ROI对象分割系统14可在决定对所接收帧执行帧内模式分割还是帧间模式分割时考虑额外的分割模式决策因素。
系统14可确定所接收帧的计算复杂性(46)。举例来说，系统14可检查所接收的帧以确定所接收帧中所包括的候选ROI特征的数目。如果所述帧包括大量ROI特征，那么所接收帧可能对于帧间模式分割过程来说过于复杂而不能准确地从所述帧分割ROI对象。因此，系统14可在计算复杂性高于预定水平时决定执行帧内模式分割，以便处理高复杂性视频帧。系统14还可从最终用户确定所需分割质量(48)。举例来说，如果实施RO1分割系统14的视频通信装置的最终用户对于所接收的视频帧请求高于预定水平的分割质量，那么系统14可对所接收帧执行帧内模式分割。相反，如果最终用户对于所接收的视频帧请求低于预定水平的分割质量，那么系统14可对所接收帧执行帧间模式分割。
另外，系统14可确定所接收帧与先前帧之间的相似量(50)。举例来说，系统14可将所接收帧与先前帧进行比较，以确定所述两个帧的色彩直方图之间的相似量是否高于预定水平。所述两个帧之间的较大色彩变化可指示场景变化。在此情况下，系统14可执行帧内模式分割以便分割所接收帧内的潜在新ROI对象。如果色彩直方图在所述两个帧之间保持大致相似，那么系统14可执行帧间模式分割。
系统14可确定所接收帧与先前帧之间的运动活动量(52)。举例来说，系统14可将所接收帧与先前帧进行比较，以确定ROI对象在所述帧内的位置之间的移动量是否高于预定水平。如果ROI对象在所述两个帧内占据大致不同区域或位置，那么系统14可执行帧内模式分割。如果ROI对象在所述两个帧内占据大致相同区域或位置，那么系统14可执行帧间模式分割。
在以上步骤中，视频序列的ROI分割过程可包括以任何次序对视频序列的视频帧执行的任何数目的帧内模式分割和帧间模式分割。举例来说，可将帧内模式分割表示为0，且可将帧间模式分割表示为1。示范性视频序列分割中的一组帧的帧内模式(0)和帧间模式状态(1)可表示为：0011011110。在此情况下，分割模式决策完全基于所接收帧的或所接收帧与先前帧之间的属性。
系统14还可基于用于分割先前帧的分割模式而确定待对所接收帧执行哪种分割模式。系统14可确定先前帧是否由帧内模式过程分割(54)。如果先前帧由帧内模式过程分割，那么系统14可决定由帧间模式过程分割所接收帧。在此步骤中，视频序列的ROI分割过程可包括对视频序列的视频帧执行的任何数目的帧内模式分割和帧间模式分割，使得帧间模式分割总是跟随帧内模式分割。示范性视频序列分割中的一组帧的帧内模式(0)和帧间模式状态(1)可表示为：0110111101。在此情况下，分割模式决策完全基于先前帧的分割模式。
另外，系统14可确定自从上一帧内模式分割帧以来所分割的帧数目(56)。举例来说，系统14可在周期性基础上(例如每N个帧)决定执行帧内模式分割。在一些情况下，第N个帧可包含第10个帧。在其它实施例中，N可等于多于或少于10个帧。在此步骤中，视频序列的ROI分割过程可包括对视频序列的视频帧执行的任何数目的帧内模式分割和帧间模式分割，使得周期性执行帧内模式分割。示范性视频序列分割中的一组帧的帧内模式(0)和帧间模式状态(1)可表示为：0111011101。在此情况下，分割模式决策是基于每隔3个帧执行帧内模式分割。
图6是说明在对从视频源12接收的视频序列的帧执行帧内模式分割时的ROI对象分割系统14的方框图。在此情况下，ROI对象分割系统14独立于所述视频序列的其它帧且在没有运动信息的情况下处理视频序列的一个帧。图7到13是说明在帧内模式分割期间由ROI对象分割系统14实施的技术的示范性结果的屏幕截图。
在图6所说明的实施例中，视频源12包括色度蓝信道(Cb)60、色度红信道(Cr)61和亮度信道(Y)62。ROI对象分割系统14实施用以从自视频源12接收的视频序列的视频帧自动分割ROI对象(例如人类头部及肩部区域)的技术。所揭示的技术包括在帧内模式分割期间将基于特征和基于模型的检测与区分割组合的混合技术。
ROI对象分割系统14包括面罩检测器64，其基于从视频源12的色度蓝信道60和色度红信道61接收的蓝和红信道色度值而检测视频帧内的皮肤颜色区。面罩检测器64接着将所检测到的皮肤颜色区的像素分类为面部像素。以此方式，面罩检测器64可通过移除所接收帧内不是面部像素的像素来获得面罩。在获得面罩之后，面罩检测器64使用膨胀与腐蚀的数学形态运算以移除面罩内由面部特征(例如眼部和嘴部区)引起的噪声和孔。图7说明对标准“母女”视频测试序列的帧执行的快速面罩检测的实例。
通常，面罩检测器64使用皮肤颜色映射，其可通过存在狭窄且相容地分布在YCbCr色彩空间中的一组特定色度值而识别视频帧内的皮肤颜色区。皮肤颜色映射对于不同类型的皮肤颜色来说是稳固的。人类种族的皮肤颜色看起来不同的主要原因是皮肤的暗度或明度。换句话说，皮肤颜色由色彩的明亮度差异表征，明亮度由Y管理而非由Cr或Cb管理。因此，可仅基于所接收帧的Cr和Cb分量而实现有效的皮肤颜色映射。面罩检测器64可利用范围为Cr∈[133，173]且Cb∈[77，127]的CbCr皮肤颜色映射来检测所接收的视频帧内的皮肤颜色区。然而，不应将Cr和Cb范围认为是限制性的，且面罩检测器64可利用具有不同Cr和Cb范围的皮肤颜色映射。
在一些情况下，面罩检测器64可能不能够专门获得人类面部。如图7中所说明，所述帧内的母亲和女儿的衣服区看起来具有与皮肤色调映射所定义的色调类似的色调。因此，面罩检测器64可能错误地将衣服区选择作为面罩的一部分。本文所描述的快速面罩检测步骤移除所述帧内的一些非面部区，但可能需要进一步处理以获得并检验准确的面部区。
系统14还包括：眼部检测器66和嘴部检测器67，其检测面罩内的候选面部特征；以及特征检验模型68，其从候选眼部和嘴部中选择面部特征。通常基于关于人类面部和其特征的常识(例如面部区的椭圆形状和面部特征间的整体空间关系限制)而建立面部过滤器。因此，定位这些面部特征可用于推导视频帧内的恰当面部位置。
眼部检测器66检测由面罩检测器64获得的面罩内的候选眼部特征。眼部检测器66基于两个观测而检测候选眼部特征。第一，眼部周围的色度分量通常含有高Cb值和低Cr值。因此，眼部检测器66可基于下文给出的等式(1)而构造所述帧的色度眼部映射。
C = Cb 2 + ( 225 - Cr ) 2 + ( Cb / Cr ) 3 - - - ( 1 )
一旦获得色度眼部映射，眼部检测器66便可向所述眼部映射内的每一像素的色度(C)眼部映射值应用阈值，以定位候选眼部在眼部映射内的最明亮区。眼部检测器66接着应用形态运算以将充分接近的最明亮区合并为单个候选眼部。图8A说明“母女”视频测试序列的帧的色度眼部映射内的眼部检测的实例。
第二，眼部通常在亮度分量中含有黑暗像素和明亮像素两者。因此，灰阶形态算子可用于强调眼部区周围的亮度分量中的较明亮和较黑暗像素。眼部检测器66可基于下文给出的等式(2)而构造所述帧的亮度眼部映射。
Figure A200780003851D00222
一旦获得亮度眼部映射，眼部检测器66便可向眼部映射内的每一像素的亮度(L)眼部映射值应用阈值，以定位候选眼部在眼部映射内的最明亮区。眼部检测器66接着应用形态运算以将充分接近的最明亮区合并为单个候选眼部。图8B说明“母女”视频测试序列的帧的色度眼部映射内的眼部检测的实例。
眼部检测器66将在色度眼部映射(图8A所示)内所检测到的候选眼部与在亮度眼部映射(图8B所示)内所检测到的候选眼部组合，以找到面罩内的最终候选眼部。然而，在一些情况下，最终候选眼部仍可能含有不正确的候选眼部。可稍后在特征检验过程期间移除这些无关的候选眼部。
嘴部检测器67检测面罩检测器64所获得的面罩内的候选嘴部特征。通常，嘴部区的颜色与其它面部区相比含有较强的红分量和较弱的蓝分量。因此，在嘴部区中，色度分量Cr应大于色度分量Cb。然而，嘴部区在Cr/Cb特征中具有相对较低的响应，但在Cr2特征中具有相对较高的响应。嘴部检测器67可基于下文给出的等式(3)和(4)而构造所述帧的嘴部映射。
M = Cr 2 ( Cr 2 - λ Cr Cb ) 2 , 其中(3)
Figure A200780003851D00232
一旦获得嘴部映射，嘴部检测器67便可向嘴部映射内的每一像素的嘴部(M)值应用阈值，以定位候选嘴部在嘴部映射内的最明亮区。嘴部检测器67接着应用形态运算以将充分接近的最明亮区合并为单个候选嘴部。图9说明“母女”视频测试序列的帧的嘴部映射内的嘴部检测的实例。
特征检验模块68检验由眼部检测器66和嘴部检测器67在面罩内检测到的候选面部特征，以从候选眼部和嘴部中选择正确的面部特征。特征检验模块68确保稳固的ROI特征检测过程。虽然上文描述的眼部和嘴部映射过程可有效分类眼部区和嘴部区，但一些错误分类仍可能导致错误的面部特征检测。特征检验模块68执行三个检验步骤以检验面罩内的候选面部特征并移除任何错误的面部特征检测。
第一，在面部形貌方面，观测到面部特征通常位于“凹谷”区(即，凹陷区)中，所述“凹谷”区由所述区内部的高强度对比度表征。因此，特征检验模块68通过执行灰阶接近和膨胀形态运算来识别所述凹谷区。特征检验模块68接着将所述帧内的候选面部特征的位置与所述帧内的凹谷区的位置进行比较。如果候选面部特征没有至少部分地与所检测到的凹谷区的一区域重叠，那么特征检验模块68将不考虑所述候选面部特征。因此，为了保留候选面部特征，特征检验模块68需要将所述特征与所识别的凹谷区中的一者相互关联。图10A说明在“母女”视频序列的帧内所识别的凹谷区。
第二，特征检验模块68基于双眼的固有特性(例如在所述帧内的对称位置和形状特点)而检验候选眼部特征。图10B说明具有各自质心O1和O2的双眼的固有特性。举例来说，双眼相对于面部的长轴A而对称，使得|AO1|＝|AO2|，双眼具有相似面积且双眼具有相似形状，其可通过投射到轴OA来进行比较。双眼还相对于各自PCA(主要成分分析)轴(PCA1和PCA2)而对称。另外，通常可在双眼上方检测到眉毛。
特征检验模块68可利用加权分值系统来检验面罩内的候选眼部特征。在此情况下，特征检验模块68基于双眼特性而核查许多基准，并为所述基准中的每一者提供分值。举例来说，特征检验模块68确定眼部质心位置是否在凹谷区内部。接下来，特征检验模块68确定眼部质心和所检测到的虹膜的位置是否充分接近。可通过将眼部中的强度值投射到横轴和纵轴上并识别对应于最小累积总强度值的点来找到虹膜位置。特征检验模块68接着确定是否在眼部上方找到了眉毛。接下来，特征检验模块68确定眼部的PCA轴是否在合理方向的范围内，这可通过典型的人类双眼的经验表征来确定。特征检验模块68接着确定所述眼部是否在合理距离内具有双眼，这同样可通过经验表征来确定。接下来，特征检验模块68确定所述双眼是否具有根据轴OA的对称PCA轴。特征检验模块68接着确定所述双眼是否具有根据轴OA的对称形状。
特征检验模块68累积来自上文描述的每一基准的分值，以便从候选特征中选择正确的面部特征且构造视频帧的面部特征映射。可对针对各种个别基准而确定的分值相同地加权，或不同地加权以强调一个或一个以上基准优于其它基准。特征检验模块68将错误检测识别为累积分值低于预设阈值的那些候选面部特征。特征检验模块68接着移除这些经检测为错误的候选面部特征。
第三，特征检验模块68检验面部特征映射内由两个候选眼部和一个候选嘴部的每种可能组合得出的眼部-嘴部三角形。特征检验模块68首先检查眼部-嘴部三角形的几何形状和方位，且不再考虑不合理的眼部-嘴部三角形。被认为不合理的眼部-嘴部三角形是未充分匹配典型人类的一系列根据经验确定的眼部-嘴部三角形几何形状的那些眼部-嘴部三角形。图10C说明“母女”视频序列的帧的面部特征映射内的两个可能的眼部-嘴部三角形(虚线)。特征检验模块68接着使用模板来检验眼部-嘴部三角形区域的斜度特点。因为人类面部是三维(3D)物体，所以整个面部区内的亮度往往是不均匀的。合理的眼部-嘴部三角形区域应含有鼻子，这使得所述斜度信息比在其它面部区域(例如下颚)中更为复杂。通过使用可从眼部-嘴部三角形区域得到的更具区别性的斜度信息，特征检验模块68可为视频帧中的面部选择正确的候选眼部和嘴部。
系统14还包括多面部分离模块70，其将由特征检验模块68所选择的面部特征分成针对所述帧内的个别面部的群组。在视频帧中包括一个以上面部的视频序列(例如所述母女序列)中，多面部分离模块70将候选眼部和嘴部组分成对应于不同面部的群组。此任务的困难有三重。第一，视频帧内所包括的面部总数目是未知的。第二，可能尚未在视频帧中检测到某些面部特征。第三，彻底核查所有潜在面部特征群组组合具有指数计算复杂性。通过将所述问题简化为将眼部与嘴部配对的任务，可将原有问题映射为图形理论问题，所述图形理论问题具有多项式计算复杂性。所达成的计算复杂性降低可能对于许多应用来说是非常合意的，所述应用包括具有有限功率和处理资源的移动应用和需要快速且可能需要实时结果的其它应用。
通过应用图形理论，多面部分离模块70考虑两分图形G＝(V，E)，其中顶点组V＝{嘴部}+{双眼}且边缘组E＝{(vi，vj)}，其中vi和vj属于不同组，且节点vi与vj之间的距离在合理范围内。如果匹配S被定义为E的子集，使得S中的任何两个边缘均不入射到同一顶点或直接连接的顶点，那么所述问题变成最大匹配方案问题。以此方式，多面部分离过程成为原有最大匹配方案问题的变化形式，因为在原有最大匹配方案问题定义中，对匹配的限制仅需要S中的任何两个边缘均不入射到同一顶点。
重要的是观测将多面部分离问题转换为原有最大匹配方案问题的可能性。如果边缘组E’＝{(vi，vj)}，其中存在vk，使得在将边缘组从E扩展到E U E′之后定义(vi，vk)∈E，(vj，vk)∈E但 ( v i , v j ) ∉ E ，那么所述问题变成原有最大匹配方案问题，不同之处只是必须包括额外的限制以使得结果匹配必须是E而非EUE′的子集。因此，多面部分离模块70可以多项式时间复杂性解决多面部分离问题。
系统14包括对象形状近似模块72，其基于ROI对象几何模型而为视频帧内的每一面部近似推得ROI对象形状。举例来说，可基于人类头部及肩部几何模型而在所述帧内近似推得ROI对象形状。在特征检验模块68获得面部的正确眼部-嘴部三角形之后，对象形状近似模块72可基于眼部-嘴部三角形的节点之间的几何关系而建立ROI对象形状，例如头部及肩部模型。
为了在帧内模式分割期间加快执行，对象形状近似模块72可使用简单的矩形模型来近似推得ROI对象形状，例如人类头部及肩部对象形状。对于在视频帧中包括一个以上面部的视频序列，在多面部分离模块70将候选眼部和嘴部分成针对不同面部的群组之后，对象形状近似模块72基于单独的眼部-嘴部三角形而为所述面部的每一者近似推得ROI对象形状。举例来说，对象形状近似模块72可为包括在视频帧内的每一面部近似推得头部及肩部对象形状。图11说明针对“母女”视频测试序列的帧内的每一面部定义的头部及肩部对象形状。
ROI对象分割系统14还包括区分割模块74，其对整个帧执行分裂与合并区生长。区分割模块74将原始帧划分成多个同类候选区。当执行分裂与合并区生长时，区分割模块74将视频帧内的相邻像素之间的关系分类到相似类别和相异类别中。可基于所述区中的平均像素强度值而确定区相似性。区分割模块74接着将所连接的相似像素群集为较小区并继续合并这些区以形成最小数目的候选区。图12说明区生长过程，其中最初将视频帧分裂为1195个区，且接着将所述区合并在一起，直到生成22个候选区为止。
系统14进一步包括对象生成模块76，其从整个帧内的候选区自动选择所述帧的位于经近似推得的ROI对象形状内的区。可将选定区认为是前景区，且可将未选区认为是背景区。对象生成模块76接着基于背景区而生成前景对象。
对象生成模块76仅从由区分割模块74生成的所述组候选区中选择位于由对象形状近似模块72近似推得的ROI对象形状内的区。如上文描述，ROI对象形状可包含含有ROI对象(例如，面部)的矩形区域，且可基于所述面部的选定眼部-嘴部三角形而估计ROI对象形状的大小。以此方式，可在ROI对象形状内而非在整个视频帧内进行进一步处理。
对象生成模块76检查视频帧内由区分割模块74生成的候选区中的每一者，且确定所述区是否位于ROI对象形状内。对象生成模块76可将在ROI对象形状内具有多于预定义百分比(例如，60％)的全部像素的区认为是前景区。对象生成模块76可接着将视频帧内的在ROI对象形状内具有少于预定义百分比的全部像素的剩余区认为是背景区。以此方式，对象生成模块76从视频帧内的前景区生成前景对象。
最后，系统14包括对象融合模块78，其将所述帧内的多个前景对象合并为最终输出图像。对于包括一个以上前景对象的视频序列，对象融合模块78合并前景对象以形成输出图像。图13说明针对视频帧内的每一面部生成前景对象且通过合并所述两个前景对象而生成输出图像。ROI对象分割系统14可接着将所分割帧的输出图像发送到多媒体应用程序18。
图14是说明执行帧内模式分割的ROI对象分割系统14的操作的流程图。本文将参看图7所说明的ROI对象分割系统14而描述所述操作。ROI对象分割系统14从视频源12接收视频序列的帧(80)。在帧内模式分割的情况下，ROI对象分割系统14独立于视频序列的其它帧且在没有运动信息的情况下处理视频序列的所接收帧。
面罩检测器64基于所述视频帧内所识别的皮肤颜色区而检测所接收帧内的面罩(82)。面罩检测器64接着将所识别的皮肤颜色区的像素分类为面部像素。以此方式，面罩检测器64可通过移除所接收帧内不是面部像素的像素而获得面罩。
眼部检测器66和嘴部检测器67接着检测所述面罩内的候选面部特征(84)。眼部检测器66可基于面罩内的像素的色度值和亮度值而检测候选眼部特征。嘴部检测器67可基于面罩内的像素的色度值而检测候选嘴部特征。特征检验模块68执行由眼部检测器66和嘴部检测器67检测的候选面部特征的检验，以选择正确的面部特征(86)。
ROI对象分割系统14接着确定所接收的视频帧是否包括一个以上面部(87)。如果视频帧确实包括一个以上面部，那么多面部分离模块70将由特征检验模块68选择的面部特征分成针对包括在所述帧中的个别面部的群组(88)。对象形状近似模块72接着基于由特征检验模块68选择的面部特征所界定的ROI对象几何模型而为视频帧内的每一面部近似推得ROI对象形状(90)。举例来说，可基于正确的眼部-嘴部三角形的位置而为所述帧内的每一面部近似推得头部及肩部对象形状。
区分割模块74对整个帧执行分裂与合并区生长(92)。区分割模块74将原始帧划分为多个同类候选区。对象生成模块76接着从整个帧内的候选区中自动选择所述帧的位于经近似推得的ROI对象形状内的区。可将选定区认为是前景区，且可将未选区认为是背景区。对象生成模块76接着基于前景区而生成前景对象(94)。
ROI对象分割系统14确定视频帧是否包括一个以上前景对象(95)。当视频帧包括一个以上前景对象时，对象融合模块78将所述帧内的前景对象合并为最终输出图像(96)。ROI对象分割系统14接着将所分割帧的输出图像发送到多媒体应用程序18(98)。
图15是说明在对从视频源12接收的视频序列的帧执行帧间模式分割时的ROI对象分割系统14的方框图。在此情况下，ROI对象分割系统14基于当前帧和存储在视频存储器16中的视频序列的先前或后续帧之间的ROI对象的运动信息而处理所述视频序列的帧。图16和17是说明在帧间模式分割期间由ROI对象分割系统14实施的技术的示范性结果的屏幕截图。在一些实施例中，ROI对象分割系统14可基于一个或一个以上分割模式决策因素而对视频序列的一些帧执行帧内模式分割(如图6到14中描述)且对视频序列的其它帧执行帧间模式分割(下文描述)。
如上文描述，ROI对象分割系统14实施用以从自视频源12接收的视频序列的视频帧自动分割ROI对象(例如人类头部及肩部区域)的技术。ROI对象分割系统14基于ROI对象的运动信息而执行帧间模式分割。所揭示的技术包括用于基于背景建模和减除而在前景对象内检测移动区的技术。成功检测到移动前景区可改进帧间模式分割期间的ROI特征检测的执行速度。
在图15所说明的实施例中，视频源12同样包括色度蓝信道(Cb)100、色度红信道(Cr)101和亮度信道(Y)102。ROI对象分割系统14进一步包括在执行帧间模式分割时的背景减除模块112，如图15所说明。在此情况下，ROI对象分割系统14还包括在执行帧内模式分割时所使用的组件，如图6所说明。举例来说，ROI对象分割系统14包括ROI特征检测器104，其包含来自图6的面罩检测器64、眼部检测器68和嘴部检测器67。另外，ROI对象分割模块14还包括特征检验模块106、多面部分离模块108、对象形状近似模块110、区分割模块114、对象生成模块116和对象融合模块118，其可以与图6中的相应组件类似的方式进行操作。
背景减除模块112与ROI特征检测器104和区分割模块114交互，以支持帧间模式分割。通过背景减除模块112，系统14识别视频帧的移动前景区，移动前景区表示相对于视频序列中的不同视频帧的移动。明确地说，为了识别移动前景区，背景减除模块112将所述视频帧的ROI对象内的像素的第一位置与所述像素在不同视频帧(例如，所述视频序列中的先前帧)内的第二位置进行比较。
背景减除模块112接着将尚未从第二位置移动的像素分类为背景像素，且将已从第二位置移动的像素分类为前景像素。基于所识别的前景像素而识别移动前景区。系统14接着检测所述视频帧中对应于移动前景区和先前在不同(例如，先前)视频帧中所识别的前景区的组合前景区内的ROI特征。基于所检测到的ROI特征，形状近似模块110近似推得所述视频帧内的ROI对象的形状。
背景减除模块112利用视频序列的连续视频帧的时间相关。背景减除模块112对从视频源12接收的视频序列的ROI对象内的像素进行逐像素分类过程。以此方式，背景减除模块112基于当前帧与从视频存储器16检索的所述视频序列的先前或后续帧之间的运动信息而确定当前帧的哪些像素是背景像素。换句话说，背景减除模块112使用帧间模式操作中可用的额外信息来快速且有效地查找前景对象的移动区。同样，背景减除模块112将当前帧中尚未从其先前位置移动的那些像素分类为背景像素。背景减除模块112又接着将已从其先前位置移动的那些像素分类为前景像素。以此方式，背景减除模块112更为有效且具有比基于运动估计的技术低的复杂性。
背景减除模块112可提供一个或一个以上益处。举例来说，可将面罩的搜索空间从整个图像缩减到移动前景区加上来自先前帧的面罩区，其可认为是组合前景区。另外，面部特征将位于移动前景区内部或位于与在先前帧中相同的位置处。另一可能的益处是可将连接的移动前景区视为同类区。
图16说明基于“母女”视频序列的帧之间的像素运动的前景像素分类的实例。在图16中，由于从帧8到10的前景对象的移动相当小，所以背景减除模块112仅将头部像素的部分分类为前景像素，而身体像素在前10个帧期间是静止的。
为了执行逐像素分类过程，背景减除模块112应用背景模块。明确地说，背景减除模块112采用K个高斯分布的混合来对像素强度建模(例如，K＝5)，其中根据其用以解释所观测的背景的频率来对每一高斯曲线进行加权。因此，前景区内的某一像素在时间t处具有强度Xt的概率估计为：
P ( X t ) = Σ i = 1 K w i , t 1 2 π σ i e 1 2 ( X t - μ i , t ) T Σ 1 ( X t - μ i , t ) , - - - ( 5 )
其中wi，t是正规化权数，μi和σi是第i个分布的平均和标准偏差。
随着每一像素的混合模型的参数改变，背景减除模块112确定所述混合的哪些高斯曲线最有可能是由背景处理生成的。基于启发式信息，背景减除模块112选择具有最具支持性证据和最小方差的高斯分布。这是因为基于w/σ的值来对所述K个分布进行排序。所述模型的这种排序实际上是有序列表，其中最有可能的背景分布保持在顶部，且较不可能的瞬时背景分布朝向底部下降。背景减除模块112可基于下文给出的等式(6)而找出最有可能的分布模型。
B = arg min b ( Σ j = 1 b w j > T - - - ( 6 )
其中阈值T是给予背景的总权数的分值。
接着，背景减除模块112对照现有的K个高斯分布来核查新像素，直到找到匹配为止。背景减除模块112在分布的平均值与新像素值之间的距离在所述分布的2.5个标准偏差内时找到匹配。如果所述K个分布均不与当前像素值匹配，那么由具有当前新像素值作为平均值、初始高方差和低先前权数的新分布代替具有w/σ最小值的最不可能分布。一般来说，新像素值可始终由K个高斯分布的混合模型的主要分量中的一者表示。如果此匹配的分布是B个背景分布中的一者，那么可将新像素标记为背景。如果不是的话，将所述像素标记为前景。
为了保持所述混合模型的自适应性，背景减除模块112持续使用新的像素值来更新模型参数。对于匹配的高斯分布，背景减除模块112在时间t处用此新像素值Xt更新所有参数。另外，背景减除模块112将先前权数更新为
wi＝(1-α)wi-1+α   (7)
且将平均值和方差更新为
μi＝(1-ρ)μi-1+ρXi   (8)
且 σ i 2 = ( 1 - ρ ) σ i - 1 2 + ρ ( X i - μ i ) 2 - - - ( 9 )
其中α是控制自适应速度的认知速率，1/α定义确定改变的时间常数，且ρ为与当前像素相关联的可能性，其由认知速率α缩放。因此，ρ可由下式表示：
ρ = α 1 2 π σ i e ( x i - μ t ) 2 σ i 2 - - - ( 10 )
对于不匹配的分布，平均值μt和方差σt保持不变，而背景减除模块112将先前权数更新为
wi＝(1-α)wi-1   (11)
此更新方法的一个优点在于，当背景减除模块112允许对象成为背景的一部分时，原始背景模型未被破坏。换句话说，原始背景分布保持在所述混合中，直到其成为最不可能的分布且观测到新色彩为止。因此，如果此静止对象碰巧再次移动，那么背景减除模块112将快速地把先前背景分布重新并入到所述模型中。
一旦背景减除模块112将移动像素分类为前景像素，区分割模块114便可对前景像素执行分裂与合并区生长，以创建视频帧的移动前景区。以此方式，使用经分类的前景像素来合并从区生长途径获得的区，且进而形成前景区。明确地说，通过用分裂与合并生长技术来融合从背景减除生成的移动前景区，可获得前景对象的移动区。
检测前景像素和创建移动前景区可增加帧间模式分割过程的稳固性，并加速ROI特征检测执行。可将对ROI特征的搜索局限于组合前景区，组合前景区包括移动前景区和由先前帧的面罩形成的前景区。图17说明从“母女”视频序列的视频帧的背景区提取的移动前景区。
ROI对象分割系统14可接着使用与用于执行上文描述的帧内模式分割大致相似的技术来完成帧间模式分割过程。举例来说，ROI特征检测器100检测由移动前景区和先前帧内的面罩及面部特征位置形成的组合前景区内的面罩以及面部特征。以此方式，背景减除模块112降低在整个视频帧内执行ROI特征检测的计算复杂性。对象融合模块118接着合并所述前景对象以形成输出图像。ROI对象分割模块14将所分割帧的输出图像发送到多媒体应用程序18。
在所说明的实施例中，在所述视频序列期间没有引入新的面部或面部特征。因此，ROI对象分割系统14可在执行帧间模式分割时跳过特征检验模块108和多面部分离模块108，如在ROI特征检测器104与对象形状近似模块110之间延伸的虚线指示。明确地说，如果所检测到的面部特征位于靠近先前帧中的特征处，这意味着先前帧中的对象不呈现显著移动，那么可通过使用对象形状近似模块110和对象生成模块116来快速生成当前帧的对象，而不需要应用特征检验模块106和多面部分离模块108的功能。
否则，如果引入新的面部或面部特征，那么应用整个过程，即应用特征检验模块106、多面部分离模块108、对象形状近似模块110和对象生成模块116。在对象生成模块116中，将所连接的移动前景区视为同类区。对象融合模块118合并前景对象以形成输出图像。ROI对象分割系统14将所分割帧的输出图像发送到多媒体应用程序18。
面罩和面部特征检测器100可能会在帧间模式分割期间在视频帧内检测到额外的ROI特征。在此情况下，ROI对象分割系统14可使用特征检验模块106来检验新检测到的面部特征。另外，系统14可针对视频帧中所包括的新面部而使用多面部分离模块108，接着使用对象形状近似模块110和对象生成模块116。
图18是说明执行帧间模式分割的ROI对象分割系统14的操作的流程图。本文将参看图15中所说明的ROI对象分割系统14来描述所述操作。ROI对象分割系统14从视频源12接收视频序列的帧，且从视频存储器16检索所述视频序列的先前帧(120)。在帧间模式分割的情况下，ROI对象分割系统14基于当前帧与所述视频序列的先前帧之间的ROI对象的运动信息而处理所述视频序列的帧。在一些实施例中，ROI对象分割系统14可替代地或额外地使用指示相对于后续视频帧的ROI对象运动的运动信息。
背景减除模块112对所接收的视频帧执行背景减除，以将先前帧与当前帧之间的ROI对象内的移动像素分类为前景像素(122)。背景减除模块112进行逐像素分类过程，以便确定当前帧的哪些像素已从其在先前帧中的先前位置移动。一旦背景减除模块112将所述移动像素分类为前景像素，区分割模块114便可对前景像素执行分裂与合并区生长，以创建视频帧的移动前景区(124)。
ROI对象分割系统14可接着使用与用于执行上文描述的帧内模式分割大致类似的技术来完成帧间模式分割过程。ROI特征检测器104在包括移动前景区和来自先前帧的面罩位置两者的区内(即，在组合前景区内)检测面罩(126)。此外，ROI特征检测器104在包括移动前景区和先前帧内的面部特征位置的组合前景区内检测面部特征(例如，候选眼部和嘴部)(128)。
如果ROI特征检测器104所检测到的面部特征位于靠近在先前帧中检测到的面部特征处(130)，那么先前帧中的对象不呈现显著移动。在此情况下，可通过使用对象形状近似模块110(136)和对象生成模块116(138)来快速生成当前帧的对象，而跳过特征检验模块106(132)和多面部分离模块108(134)的功能。
否则，如果ROI特征检测器104所检测到的面部特征不位于靠近在先前帧中检测到的面部特征处，那么先前帧中的对象已经显著移动。在此情况下，应用整个过程。明确地说，特征检验模块106检验所检测到的特征(132)，且多面部分离模块108执行面部分离(134)。接着，应用对象形状近似模块110(136)，接着应用对象生成模块116(138)。在对象生成模块116中，将所连接的移动前景区视为同类区以生成所述对象(138)。对象融合模块118接着合并前景对象以形成输出图像(140)。ROI对象分割系统14将所分割帧的输出图像发送到多媒体应用程序18(142)。
本文所描述的技术可在硬件、软件、固件或其任何组合中实施。如果在软件中实施，那么所述技术可部分地通过包含程序代码的计算机可读媒体实现，所述程序代码含有在执行时执行上文描述的一种或一种以上方法的指令。在此情况下，计算机可读媒体可包含例如同步动态随机存取存储器(SDRAM)等随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器、磁性或光学数据存储媒体等。
所述程序代码可由可编程处理器执行，所述可编程处理器可由一个或一个以上数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或者等效集成或离散逻辑电路的其它组合实现。在一些实施例中，本文所描述的功能性可在经配置以用于自动对象分割的专用软件模块或硬件单元内提供或并入在自动对象分割系统中。
在本发明中，已经针对从视频序列自动分割ROI对象而描述了各种技术。ROI对象分割系统可单独或组合实施一种或一种以上所揭示的技术，以提供经准确分割的ROI对象以供用于多媒体应用程序，例如VT应用程序、视频串流应用程序或视频监视应用程序。
所揭示的技术包括包含ROI特征检测、区分割和背景减除的混合技术。所揭示的技术可包括帧内模式和帧间模式对象分割两者。帧间模式分割通过使用背景建模和减除而非常规计算密集型运动估计操作来利用视频序列的连续视频帧的时间相关，以加速ROI对象分割系统的执行。所揭示的技术还包括面部特征检验、多面部分离和ROI对象生成以加速ROI对象分割系统执行帧内模式分割。这些和其它实施例属于所附权利要求书的范围内。

Claims (50)

1.一种方法，其包含：
接收视频序列的视频帧；
检测所述视频帧内的关注区(ROI)特征；
基于所述检测到的ROI特征而近似推得所述视频帧内的ROI对象形状；
基于所述检测到的ROI特征而将所述视频帧分割为多个候选区；以及
选择位于所述视频帧的所述ROI对象形状内的所述候选区中的一者或一者以上作为ROI对象。
2.根据权利要求1所述的方法，其进一步包含生成识别所述ROI对象的输出图像，且相对于所述视频帧的非ROI区而优先编码所述ROI对象。
3.根据权利要求1所述的方法，其中选择一个或一个以上候选区包含在不参考所述视频序列中的所述视频帧的运动信息的情况下选择所述候选区中的一者或一者以上作为所述ROI对象。
4.根据权利要求1所述的方法，其中检测ROI特征包含：
基于所述视频帧内的皮肤颜色区的色度值而检测所述视频帧内的面罩；
基于所述检测到的面罩内的像素的色度值和亮度值两者而检测所述视频帧内的眼部特征；以及
基于所述检测到的面罩内的像素的色度值而检测所述视频帧内的嘴部特征。
5.根据权利要求1所述的方法，其中所述检测到的ROI特征包含所述视频帧内所检测到的候选面部特征，所述方法进一步包含检验所述检测到的候选面部特征以针对所述ROI对象而选择正确的面部特征且从所述组候选面部特征中移除错误的面部特征。
6.根据权利要求5所述的方法，其中检验所述检测到的候选面部特征包含：
检测所述视频帧内的凹谷区；
将所述视频帧内的所述检测到的候选面部特征的位置与所述视频帧内的所述凹谷区的位置进行比较；
当面部特征没有至少部分地与所述视频帧内的所述检测到的凹谷区中的一者重叠时，从所述组候选面部特征中移除所述面部特征。
7.根据权利要求5所述的方法，其中检验所述检测到的候选面部特征包含：
基于眼部特征的对称和几何特性而将所述检测到的候选面部特征中的每一者与多个基准进行比较；
基于与所述多个基准的对应性水平而向所述检测到的候选面部特征中的每一者指派分值；以及
当指派给面部特征的所述分值低于阈值时，从所述组候选面部特征中移除所述面部特征。
8.根据权利要求5所述的方法，其中检验所述检测到的候选面部特征包含：
将候选眼部特征和候选嘴部特征组合为眼部-嘴部三角形；以及
基于所述眼部-嘴部三角形在所述视频帧内的方位和所述眼部-嘴部三角形内的所述ROI对象的斜度特点而检验所述眼部-嘴部三角形。
9.根据权利要求1所述的方法，其中所述视频帧包括一个以上ROI对象，所述方法进一步包含将所述检测到的ROI特征分成针对所述各个ROI对象的群组，且向所述视频帧内的所述检测到的ROI特征应用最大匹配图形理论。
10.根据权利要求1所述的方法，其中近似推得ROI对象形状包含基于由所述检测到的ROI特征的位置界定的几何模型而近似推得所述ROI对象形状，其中所述近似ROI对象形状包含所述视频帧内的人类头部及肩部对象形状。
11.根据权利要求1所述的方法，其中分割所述视频帧包含：
基于与相邻像素的相似性而分类所述视频帧内的每一像素；以及
将所述相似像素合并于所述视频帧内的最小数目的所述候选区。
12.根据权利要求1所述的方法，其中选择所述候选区中的一者或一者以上包含选择所述候选区中有预定百分比的像素位于所述视频帧的所述ROI对象形状内的一者或一者以上，所述方法进一步包含通过合并所述候选区中的所述选定一者或一者以上而生成前景对象。
13.根据权利要求12所述的方法，其中所述视频帧包括一个以上前景对象，所述方法进一步包含合并所述一个以上前景对象以形成输出图像且将所述输出图像发送到多媒体应用程序。
14.一种计算机可读媒体，其包含使可编程处理器执行以下操作的指令：
接收视频序列的视频帧；
检测所述视频帧内的关注区(ROI)特征；
基于所述检测到的ROI特征而近似推得所述视频帧内的ROI对象形状；
基于所述检测到的ROI特征而将所述视频帧分割为多个候选区；以及
选择位于所述视频帧的所述ROI对象形状内的所述候选区中的一者或一者以上作为ROI对象。
15.根据权利要求14所述的计算机可读媒体，其中所述指令使所述处理器生成识别所述ROI对象的输出图像，且相对于所述视频帧的非ROI区而优先编码所述ROI对象。
16.根据权利要求14所述的计算机可读媒体，其进一步包含使所述处理器执行以下操作的指令：在不参考所述视频帧与所述视频序列中的不同视频帧的运动信息的情况下选择所述候选区中的一者或一者以上作为所述ROI对象。
17.根据权利要求14所述的计算机可读媒体，其中使所述可编程处理器检测ROI特征的所述指令使所述可编程处理器执行以下操作：
基于所述视频帧内的皮肤颜色区的色度值而检测所述视频帧内的面罩；
基于所述检测到的面罩内的像素的色度值和亮度值两者而检测所述视频帧内的眼部特征；以及
基于所述检测到的面罩内的像素的色度值而检测所述视频帧内的嘴部特征。
18.根据权利要求14所述的计算机可读媒体，其中所述检测到的ROI特征包含所述视频帧内所检测到的候选面部特征，所述计算机可读媒体进一步包含使所述可编程处理器执行以下操作的指令：检验所述检测到的候选面部特征以针对所述ROI对象选择正确的面部特征，且从所述组候选面部特征中移除错误的面部特征。
19.根据权利要求18所述的计算机可读媒体，其中所述指令使所述可编程处理器执行以下操作：
检测所述视频帧内的凹谷区；
将所述视频帧内的所述检测到的候选面部特征的位置与所述视频帧内的所述凹谷区的位置进行比较；
当面部特征没有至少部分地与所述视频帧内的所述检测到的凹谷区中的一者重叠时，从所述组候选面部特征中移除所述面部特征。
20.根据权利要求18所述的计算机可读媒体，其中所述指令使所述可编程处理器执行以下操作：
基于眼部特征的对称和几何特性而将所述检测到的候选面部特征中的每一者与多个基准进行比较；
基于与所述多个基准的对应性水平而向所述检测到的候选面部特征中的每一者指派分值；以及
当指派给面部特征的分值低于阈值时，从所述组候选面部特征中移除所述面部特征。
21.根据权利要求18所述的计算机可读媒体，其中所述指令使所述可编程处理器执行以下操作：
将候选眼部特征和候选嘴部特征组合为眼部-嘴部三角形；以及
基于所述眼部-嘴部三角形在所述视频帧内的方位和所述眼部-嘴部三角形内的所述ROI对象的斜度特点而检验所述眼部-嘴部三角形。
22.根据权利要求14所述的计算机可读媒体，其中所述视频帧包括一个以上ROI对象，所述计算机可读媒体进一步包含使所述可编程处理器执行以下操作的指令：将所述检测到的ROI特征分成针对所述各个ROI对象的群组，且向所述视频帧内的所述检测到的ROI特征应用最大匹配图形理论。
23.根据权利要求14所述的计算机可读媒体，其中所述指令使所述可编程处理器基于由所述检测到的ROI特征的位置界定的几何模型而近似推得所述ROI对象形状。
24.根据权利要求14所述的计算机可读媒体，其中使所述可编程处理器分割所述视频帧的所述指令使所述可编程处理器执行以下操作：
基于与相邻像素的相似性而分类所述视频帧内的每一像素；以及
将所述相似像素合并于所述第一帧内的最小数目的候选区。
25.根据权利要求17所述的计算机可读媒体，其中所述指令使所述可编程处理器选择所述候选区中有预定百分比的像素位于所述视频帧的所述ROI对象形状内的一者或一者以上，所述计算机可读媒体进一步包含使所述可编程处理器执行以下操作的指令：通过合并所述候选区中的所述选定一者或一者以上而生成前景对象。
26.根据权利要求25所述的计算机可读媒体，其中所述视频帧包括一个以上前景对象，所述计算机可读媒体进一步包含使所述可编程处理器执行以下操作的指令：合并所述一个以上前景对象以形成所述输出图像且将所述输出图像发送到多媒体应用程序。
27.一种自动关注区(ROI)对象分割系统，其包含：
ROI特征检测器，其检测视频序列的视频帧内的ROI特征；
对象形状近似模块，其基于所述检测到的ROI特征而近似推得所述视频帧内的ROI对象形状；
区分割模块，其基于所述检测到的ROI特征而将所述视频帧分割为多个候选区；以及
对象生成模块，其选择位于所述视频帧的所述ROI对象形状内的所述候选区中的一者或一者以上作为ROI对象。
28.根据权利要求27所述的系统，其进一步包含：
对象融合模块，其生成识别所述ROI对象的输出图像；以及
编码器，其相对于所述视频帧的非ROI区而优先编码所述ROI对象。
29.根据权利要求27所述的系统，其中所述对象生成模块在不参考所述视频序列中的所述视频帧的运动信息的情况下选择所述候选区中的所述一者或一者以上作为所述ROI对象。
30.根据权利要求27所述的系统，其中所述ROI特征检测器包括：面罩检测器，其基于所述视频帧内的皮肤颜色区的色度值而检测所述视频帧内的面罩；眼部检测器，其基于所述检测到的面罩内的像素的色度值和亮度值两者而检测所述视频帧内的眼部特征；以及嘴部检测器，其基于所述检测到的面罩内的像素的色度值而检测所述视频帧内的嘴部特征。
31.根据权利要求27所述的系统，其中所述检测到的ROI特征包含所述视频帧内所检测到的候选面部特征，所述系统进一步包含特征检验模块，其检验所述检测到的候选面部特征以针对所述ROI对象选择正确的面部特征且从所述组候选面部特征中移除错误的面部特征，且其中所述特征检验模块：
检测所述视频帧内的凹谷区；
将所述视频帧内的所述检测到的候选面部特征的位置与所述视频帧内的所述凹谷区的位置进行比较；
当面部特征没有至少部分地与所述视频帧内的所述检测到的凹谷区中的一者重叠时，从所述组候选面部特征中移除所述面部特征。
32.根据权利要求31所述的系统，其中所述特征检验模块：
基于眼部特征的对称和几何特性而将所述检测到的候选面部特征中的每一者与多个基准进行比较；
基于与所述多个基准的对应性水平而向所述检测到的候选面部特征中的每一者指派分值；以及
当指派给面部特征的分值低于阈值时，从所述组候选面部特征中移除所述面部特征。
33.根据权利要求31所述的系统，其中所述特征检验模块：
将候选眼部特征和候选嘴部特征组合为眼部-嘴部三角形；以及
基于所述眼部-嘴部三角形在所述视频帧内的方位和所述眼部-嘴部三角形内的所述ROI对象的斜度特点而检验所述眼部-嘴部三角形。
34.根据权利要求27所述的系统，其中所述视频帧包括一个以上ROI对象，所述系统进一步包含多面部分离模块，其将所述检测到的ROI特征分成针对所述各个ROI对象的群组，且向所述视频帧内的所述检测到的ROI特征应用最大匹配图形理论以分离所述检测到的ROI特征。
35.根据权利要求27所述的系统，其中所述对象形状近似模块基于由所述检测到的ROI特征的位置界定的几何模型而近似推得所述ROI对象形状，其中所述近似ROI对象形状包含所述视频帧内的人类头部及肩部对象形状。
36.根据权利要求27所述的系统，其中所述区分割模块：
基于与相邻像素的相似性而分类所述视频帧内的每一像素；以及
将所述相似像素合并于所述第一帧内的最小数目的候选区。
37.根据权利要求27所述的系统，其进一步包含对象生成模块，所述对象生成模块选择所述候选区中有预定百分比的像素位于所述视频帧的所述ROI对象形状内的一者或一者以上，其中所述对象生成模块通过合并所述候选区中的所述选定一者或一者以上而生成前景对象。
38.根据权利要求37所述的系统，其中所述视频帧包括一个以上前景对象，其中所述对象融合模块合并所述一个以上前景对象以形成所述输出图像且将所述输出图像发送到多媒体应用程序。
39.一种方法，其包含：
接收视频序列的视频帧；
检测所述视频帧内的关注区(ROI)特征，其中所述ROI特征包括包含眼部特征和嘴部特征的面罩；
基于所述检测到的ROI特征而将所述视频帧分割为多个候选区；
将候选眼部特征和候选嘴部特征组合成眼部-嘴部三角形；
基于所述眼部-嘴部三角形在所述视频帧内的方位而检验所述眼部-嘴部三角形；
以及
基于所述检验而选择所述候选区中的一者或一者以上作为ROI对象。
40.根据权利要求39所述的方法，其中检测ROI特征包含基于所述检测到的面罩内的像素的色度值和亮度值两者检测所述视频帧内的所述面罩。
41.根据权利要求39所述的方法，其中检验所述检测到的候选面部特征包含：
检测所述视频帧内的凹谷区；
将所述视频帧内的所述检测到的候选面部特征的位置与所述视频帧内的所述凹谷区的位置进行比较；
当面部特征没有至少部分地与所述视频帧内的所述检测到的凹谷区中的一者重叠时，从所述组候选面部特征中移除所述面部特征。
42.根据权利要求39所述的方法，其中检验所述检测到的候选面部特征包含：
基于眼部特征的对称和几何特性而将所述检测到的候选面部特征中的每一者与多个基准进行比较；
基于与所述多个基准的对应性水平而向所述检测到的候选面部特征中的每一者指派分值；以及
当指派给面部特征的所述分值低于阈值时，从所述组候选面部特征中移除所述面部特征。
43.一种计算机可读媒体，其包含使可编程处理器执行以下操作的指令：
接收视频序列的视频帧；
检测所述视频帧内的关注区(ROI)特征，其中所述ROI特征包括包含眼部特征和嘴部特征的面罩；
基于所述检测到的ROI特征而将所述视频帧分割为多个候选区；
将候选眼部特征和候选嘴部特征组合成眼部-嘴部三角形；
基于所述眼部-嘴部三角形在所述视频帧内的方位而检验所述眼部-嘴部三角形；以及
基于所述检验而选择所述候选区中的一者或一者以上作为ROI对象。
44.根据权利要求43所述的计算机可读媒体，其中所述指令使所述处理器基于所述检测到的面罩内的像素的色度值和亮度值两者检测所述视频帧内的所述面罩。
45.根据权利要求43所述的计算机可读媒体，其中检验所述检测到的候选面部特征包括：
检测所述视频帧内的凹谷区；
将所述视频帧内的所述检测到的候选面部特征的位置与所述视频帧内的所述凹谷区的位置进行比较；
当面部特征没有至少部分地与所述视频帧内的所述检测到的凹谷区中的一者重叠时，从所述组候选面部特征中移除所述面部特征。
46.根据权利要求43所述的计算机可读媒体，其中检验所述检测到的候选面部特征包含：
基于眼部特征的对称和几何特性而将所述检测到的候选面部特征中的每一者与多个基准进行比较；
基于与所述多个基准的对应性水平而向所述检测到的候选面部特征中的每一者指派分值；以及
当指派给面部特征的所述分值低于阈值时，从所述组候选面部特征中移除所述面部特征。
47.一种系统，其包含：
关注区(ROI)特征检测器，其检测视频序列的视频帧内的ROI特征，其中所述ROI特征包括包含眼部特征和嘴部特征的面罩；
区分割模块，其基于所述检测到的ROI特征而将所述视频帧分割为多个候选区；
特征检验模块，其将候选眼部特征和候选嘴部特征组合成眼部-嘴部三角形，且基于所述眼部-嘴部三角形在所述视频帧内的方位而检验所述眼部-嘴部三角形；以及
对象生成模块，其基于所述检验而选择所述候选区中的一者或一者以上作为ROI对象。
48.根据权利要求47所述的系统，其中所述ROI特征检测器基于所述检测到的面罩内的像素的色度值和亮度值两者检测所述视频帧内的所述面罩。
49.根据权利要求47所述的系统，其中所述特征检验模块：
检测所述视频帧内的凹谷区；
将所述视频帧内的所述检测到的候选面部特征的位置与所述视频帧内的所述凹谷区的位置进行比较；
当面部特征没有至少部分地与所述视频帧内的所述检测到的凹谷区中的一者重叠时，从所述组候选面部特征中移除所述面部特征。
50.根据权利要求49所述的系统，其中所述特征检验模块：
基于眼部特征的对称和几何特性而将所述检测到的候选面部特征中的每一者与多个基准进行比较；
基于与所述多个基准的对应性水平而向所述检测到的候选面部特征中的每一者指派分值；以及
当指派给面部特征的所述分值低于阈值时，从所述组候选面部特征中移除所述面部特征。
CNA200780003851XA 2006-02-07 2007-02-07 帧内模式关注区视频对象分割 Pending CN101375608A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/350,376 US8265349B2 (en) 2006-02-07 2006-02-07 Intra-mode region-of-interest video object segmentation
US11/350,376 2006-02-07

Publications (1)

Publication Number Publication Date
CN101375608A true CN101375608A (zh) 2009-02-25

Family

ID=38334114

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA200780003851XA Pending CN101375608A (zh) 2006-02-07 2007-02-07 帧内模式关注区视频对象分割

Country Status (6)

Country Link
US (1) US8265349B2 (zh)
EP (1) EP1994761A2 (zh)
JP (2) JP4988770B2 (zh)
KR (1) KR101023733B1 (zh)
CN (1) CN101375608A (zh)
WO (1) WO2007092905A2 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101854520A (zh) * 2010-04-16 2010-10-06 广东中大讯通信息有限公司 一种无线传输视频监控系统及方法
CN102547290A (zh) * 2012-01-20 2012-07-04 厦门大学 一种基于几何分割的视频图像解编码方法
CN103218555A (zh) * 2013-03-04 2013-07-24 北京百纳威尔科技有限公司 应用程序登录方法及装置
CN106407984A (zh) * 2015-07-31 2017-02-15 腾讯科技（深圳）有限公司 目标对象识别方法及装置
CN106878726A (zh) * 2010-10-08 2017-06-20 Ge视频压缩有限责任公司 编码器和编码方法与解码器和解码方法
CN108898604A (zh) * 2018-06-28 2018-11-27 上海连尚网络科技有限公司 用于处理图像的方法和设备
CN113302694A (zh) * 2019-01-18 2021-08-24 斯纳普公司 用于基于模板生成个性化视频的系统和方法

Families Citing this family (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7088872B1 (en) * 2002-02-14 2006-08-08 Cogent Systems, Inc. Method and apparatus for two dimensional image processing
KR101238608B1 (ko) 2004-07-30 2013-02-28 익스트림 리얼리티 엘티디. 이미지 프로세싱을 기반으로 한 3ｄ 공간 차원용 시스템 및 방법
US8872899B2 (en) * 2004-07-30 2014-10-28 Extreme Reality Ltd. Method circuit and system for human to machine interfacing by hand gestures
US8928654B2 (en) 2004-07-30 2015-01-06 Extreme Reality Ltd. Methods, systems, devices and associated processing logic for generating stereoscopic images and video
US8681100B2 (en) 2004-07-30 2014-03-25 Extreme Realty Ltd. Apparatus system and method for human-machine-interface
US8019170B2 (en) 2005-10-05 2011-09-13 Qualcomm, Incorporated Video frame motion-based automatic region-of-interest detection
US8208758B2 (en) 2005-10-05 2012-06-26 Qualcomm Incorporated Video sensor-based automatic region-of-interest detection
US20070285554A1 (en) * 2005-10-31 2007-12-13 Dor Givon Apparatus method and system for imaging
US9046962B2 (en) 2005-10-31 2015-06-02 Extreme Reality Ltd. Methods, systems, apparatuses, circuits and associated computer executable code for detecting motion, position and/or orientation of objects within a defined spatial region
US8131477B2 (en) * 2005-11-16 2012-03-06 3M Cogent, Inc. Method and device for image-based biological data quantification
US8150155B2 (en) 2006-02-07 2012-04-03 Qualcomm Incorporated Multi-mode region-of-interest video object segmentation
JP4427533B2 (ja) * 2006-09-22 2010-03-10 富士フイルム株式会社 顔画像検出装置およびその制御方法
US8787445B2 (en) * 2007-03-15 2014-07-22 Nvidia Corporation Allocation of available bits to represent different portions of video frames captured in a sequence
US8275179B2 (en) * 2007-05-01 2012-09-25 3M Cogent, Inc. Apparatus for capturing a high quality image of a moist finger
US8446454B2 (en) 2007-05-21 2013-05-21 Polycom, Inc. Dynamic adaption of a continuous presence videoconferencing layout based on video content
US8411916B2 (en) * 2007-06-11 2013-04-02 3M Cogent, Inc. Bio-reader device with ticket identification
CN101325691B (zh) * 2007-06-14 2010-08-18 清华大学 融合不同生存期的多个观测模型的跟踪方法和跟踪装置
US8548049B2 (en) * 2007-07-02 2013-10-01 Vixs Systems, Inc Pattern detection module, video encoding system and method for use therewith
US7995841B2 (en) * 2007-09-24 2011-08-09 Microsoft Corporation Hybrid graph model for unsupervised object segmentation
CN101409817B (zh) * 2007-10-11 2012-08-29 鸿富锦精密工业（深圳）有限公司 视频处理方法、视频处理系统及视频设备
US8233676B2 (en) * 2008-03-07 2012-07-31 The Chinese University Of Hong Kong Real-time body segmentation system
US9646087B2 (en) * 2008-04-17 2017-05-09 Adobe Systems Incorporated Scene break prediction based on characteristics of previous scenes
US8243987B2 (en) * 2008-06-06 2012-08-14 International Business Machines Corporation Object tracking using color histogram and object size
US8600121B2 (en) * 2008-07-02 2013-12-03 C-True Ltd. Face recognition system and method
US9031279B2 (en) * 2008-07-09 2015-05-12 Disney Enterprises, Inc. Multiple-object tracking and team identification for game strategy analysis
US20100014755A1 (en) * 2008-07-21 2010-01-21 Charles Lee Wilson System and method for grid-based image segmentation and matching
EP2342642A1 (en) * 2008-09-04 2011-07-13 Extreme Reality Ltd. Method system and software for providing image sensor based human machine interfacing
US7809195B1 (en) * 2008-09-18 2010-10-05 Ernest Greene Encoding system providing discrimination, classification, and recognition of shapes and patterns
US8805004B2 (en) * 2009-01-09 2014-08-12 Thomson Licensing Method and apparatus for detecting and separating objects of interest in soccer video by color segmentation and shape analysis
US8358834B2 (en) * 2009-08-18 2013-01-22 Behavioral Recognition Systems Background model for complex and dynamic scenes
US8878779B2 (en) 2009-09-21 2014-11-04 Extreme Reality Ltd. Methods circuits device systems and associated computer executable code for facilitating interfacing with a computing platform display screen
CA2774867A1 (en) 2009-09-21 2011-03-24 Extreme Reality Ltd. Methods circuits apparatus and systems for human machine interfacing with an electronic appliance
JP2011090569A (ja) * 2009-10-23 2011-05-06 Sony Corp 画像処理装置および画像処理方法
DE102010013580A1 (de) * 2010-03-31 2011-10-06 Rohde & Schwarz Gmbh & Co. Kg Vorrichtung und Verfahren zur Identifikation von Personen
WO2011148562A1 (ja) 2010-05-26 2011-12-01 パナソニック株式会社 画像情報処理装置
JP5590390B2 (ja) * 2010-07-15 2014-09-17 ソニー株式会社 画像処理装置および方法
JP5036084B2 (ja) * 2010-10-14 2012-09-26 シャープ株式会社 映像処理装置、映像処理方法、及びプログラム
RU2607981C2 (ru) * 2011-03-24 2017-01-11 Конинклейке Филипс Н.В. Устройства и способы для анализа градуировок изображения
US9165201B2 (en) * 2011-09-15 2015-10-20 Xerox Corporation Systems and methods for detecting cell phone usage by a vehicle operator
US8938126B2 (en) 2011-10-19 2015-01-20 Crown Equipment Corporation Selecting objects within a vertical range of one another corresponding to pallets in an image scene
US20130108170A1 (en) * 2011-10-28 2013-05-02 Raymond William Ptucha Image Recomposition From Face Detection And Facial Features
US9025836B2 (en) * 2011-10-28 2015-05-05 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
US8938100B2 (en) 2011-10-28 2015-01-20 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
US9008436B2 (en) * 2011-10-28 2015-04-14 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
US20130108119A1 (en) * 2011-10-28 2013-05-02 Raymond William Ptucha Image Recomposition From Face Detection And Facial Features
US8811747B2 (en) * 2011-10-28 2014-08-19 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
US9025835B2 (en) 2011-10-28 2015-05-05 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
TWI439967B (zh) * 2011-10-31 2014-06-01 Hon Hai Prec Ind Co Ltd 安全監控系統及安全監控方法
WO2013069023A2 (en) * 2011-11-13 2013-05-16 Extreme Reality Ltd. Methods systems apparatuses circuits and associated computer executable code for video based subject characterization, categorization, identification and/or presence response
US20130308856A1 (en) 2012-01-12 2013-11-21 Google Inc. Background Detection As An Optimization For Gesture Recognition
US9262670B2 (en) * 2012-02-10 2016-02-16 Google Inc. Adaptive region of interest
JP5949481B2 (ja) * 2012-03-14 2016-07-06 富士通株式会社 画像処理方法、プログラム及び装置
KR20130111061A (ko) * 2012-03-30 2013-10-10 한국전자통신연구원 이진 분할 트리를 이용한 영상 인코딩 방법
KR101640527B1 (ko) * 2012-10-09 2016-07-18 에스케이 텔레콤주식회사 단일객체의 크기를 추정하는 영상 감시장치 및 방법
KR20140098959A (ko) * 2013-01-31 2014-08-11 한국전자통신연구원 증거 영상 생성 장치 및 방법
US9098737B2 (en) * 2013-03-12 2015-08-04 Dell Products L.P. Efficient 360 degree video processing
CN103220530A (zh) * 2013-04-22 2013-07-24 郑永春 用于智能监控的高分辨率图像处理系统及方法
WO2014175919A1 (en) 2013-04-26 2014-10-30 Intel IP Corporation Shared spectrum reassignment in a spectrum sharing context
JP2015231145A (ja) * 2014-06-05 2015-12-21 日本放送協会 送信装置、受信装置及びこれらのプログラム
US9858470B2 (en) * 2014-07-18 2018-01-02 Htc Corporation Method for performing a face tracking function and an electric device having the same
EP3035238A1 (en) 2014-12-19 2016-06-22 Tata Consultancy Services Limited Video surveillance system and method for fraud detection
US9584716B2 (en) 2015-07-01 2017-02-28 Sony Corporation Method and apparatus for autofocus area selection by detection of moving objects
CN105407352A (zh) * 2015-11-23 2016-03-16 小米科技有限责任公司 图像压缩方法、装置及服务器
WO2017120384A1 (en) 2016-01-08 2017-07-13 Flir Systems, Inc. Thermal-image based object detection and heat map generation systems and methods
US10147195B2 (en) 2016-02-19 2018-12-04 Flir Systems, Inc. Object detection along pre-defined trajectory
US9990535B2 (en) 2016-04-27 2018-06-05 Crown Equipment Corporation Pallet detection using units of physical length
EP3287947A1 (en) 2016-08-25 2018-02-28 Dolby Laboratories Licensing Corp. Automatic video framing of conference participants
US11158060B2 (en) * 2017-02-01 2021-10-26 Conflu3Nce Ltd System and method for creating an image and/or automatically interpreting images
US11176675B2 (en) 2017-02-01 2021-11-16 Conflu3Nce Ltd System and method for creating an image and/or automatically interpreting images
GB2561607B (en) 2017-04-21 2022-03-23 Sita Advanced Travel Solutions Ltd Detection System, Detection device and method therefor
KR102343648B1 (ko) * 2017-08-29 2021-12-24 삼성전자주식회사 영상 부호화 장치 및 영상 부호화 시스템
CN108198203B (zh) * 2018-01-30 2022-02-08 广东美的制冷设备有限公司 运动报警方法、装置以及计算机可读存储介质
TWI692731B (zh) * 2019-01-02 2020-05-01 瑞昱半導體股份有限公司 物件位置判斷電路
US11544828B2 (en) 2020-11-18 2023-01-03 Disney Enterprises, Inc. Automatic occlusion detection
US11494944B2 (en) 2020-11-18 2022-11-08 Disney Enterprises, Inc. Automatic low contrast detection
CN116630355B (zh) * 2023-07-24 2023-11-07 荣耀终端有限公司 一种视频分割方法、电子设备、存储介质及程序产品

Family Cites Families (105)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59194274A (ja) 1983-04-18 1984-11-05 Nippon Telegr & Teleph Corp <Ntt> 人物判定装置
EP0330455A3 (en) * 1988-02-22 1990-07-04 Kabushiki Kaisha Toshiba Image encoding apparatus
DE68903233T2 (de) * 1988-03-14 1993-04-08 Seiko Epson Corp Verfahren und vorrichtung zur papierzufuhr in dem drucker.
US5150432A (en) * 1990-03-26 1992-09-22 Kabushiki Kaisha Toshiba Apparatus for encoding/decoding video signals to improve quality of a specific region
US5048095A (en) * 1990-03-30 1991-09-10 Honeywell Inc. Adaptive image segmentation system
JP2863818B2 (ja) 1990-08-31 1999-03-03 工業技術院長 動画像の変化点検出方法
US5323470A (en) * 1992-05-08 1994-06-21 Atsushi Kara Method and apparatus for automatically tracking an object
KR950009699B1 (ko) * 1992-06-09 1995-08-26 대우전자주식회사 움직임벡터 검출방법 및 장치
GB9308952D0 (en) * 1993-04-30 1993-06-16 Philips Electronics Uk Ltd Tracking objects in video sequences
US5852669A (en) * 1994-04-06 1998-12-22 Lucent Technologies Inc. Automatic face and facial feature location detection for low bit rate model-assisted H.261 compatible coding of video
KR100235345B1 (ko) * 1994-12-29 1999-12-15 전주범 분할영역에서의 움직임 추정방법 및 장치
KR100235343B1 (ko) * 1994-12-29 1999-12-15 전주범 영역분할 기법을 이용한 동영상신호 부호화기의 움직임 벡터 측정장치
KR0180170B1 (ko) * 1995-06-30 1999-05-01 배순훈 움직임 추정 방법 및 추정 장치
US6026183A (en) 1995-10-27 2000-02-15 Texas Instruments Incorporated Content-based video compression
KR0181069B1 (ko) * 1995-11-08 1999-05-01 배순훈 움직임 추정장치
US5774591A (en) * 1995-12-15 1998-06-30 Xerox Corporation Apparatus and method for recognizing facial expressions and facial gestures in a sequence of images
US5764283A (en) * 1995-12-29 1998-06-09 Lucent Technologies Inc. Method and apparatus for tracking moving objects in real time using contours of the objects and feature paths
US5692063A (en) * 1996-01-19 1997-11-25 Microsoft Corporation Method and system for unrestricted motion estimation for video
JPH1051755A (ja) * 1996-05-30 1998-02-20 Fujitsu Ltd テレビ会議端末の画面表示制御装置
US6343141B1 (en) * 1996-10-08 2002-01-29 Lucent Technologies Inc. Skin area detection for video image systems
US5828769A (en) * 1996-10-23 1998-10-27 Autodesk, Inc. Method and apparatus for recognition of objects via position and orientation consensus of local image encoding
US5864630A (en) * 1996-11-20 1999-01-26 At&T Corp Multi-modal method for locating objects in images
US6456328B1 (en) * 1996-12-18 2002-09-24 Lucent Technologies Inc. Object-oriented adaptive prefilter for low bit-rate video systems
US6993201B1 (en) * 1997-07-08 2006-01-31 At&T Corp. Generalized scalability for video coder based on video objects
US6188777B1 (en) * 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6335985B1 (en) * 1998-01-07 2002-01-01 Kabushiki Kaisha Toshiba Object extraction apparatus
US6148092A (en) * 1998-01-08 2000-11-14 Sharp Laboratories Of America, Inc System for detecting skin-tone regions within an image
GB2333590A (en) * 1998-01-23 1999-07-28 Sharp Kk Detecting a face-like region
US6301370B1 (en) * 1998-04-13 2001-10-09 Eyematic Interfaces, Inc. Face recognition from video images
US6477201B1 (en) * 1998-05-22 2002-11-05 Sarnoff Corporation Content-adaptive compression encoding
AUPP400998A0 (en) * 1998-06-10 1998-07-02 Canon Kabushiki Kaisha Face detection in digital images
US6023183A (en) * 1998-06-15 2000-02-08 International Business Machines Corporation Voltage conversion circuit and method
US6141041A (en) * 1998-06-22 2000-10-31 Lucent Technologies Inc. Method and apparatus for determination and visualization of player field coverage in a sporting event
US6292575B1 (en) * 1998-07-20 2001-09-18 Lau Technologies Real-time facial recognition and verification system
WO2000008586A2 (en) * 1998-08-07 2000-02-17 Korea Institute Of Science And Technology Apparatus and method for detecting a moving object in a sequence of color frame images
US6924832B1 (en) * 1998-08-07 2005-08-02 Be Here Corporation Method, apparatus & computer program product for tracking objects in a warped video image
GB2341231A (en) * 1998-09-05 2000-03-08 Sharp Kk Face detection in an image
US6480615B1 (en) * 1999-06-15 2002-11-12 University Of Washington Motion estimation within a sequence of data frames using optical flow with adaptive gradients
US6545706B1 (en) * 1999-07-30 2003-04-08 Electric Planet, Inc. System, method and article of manufacture for tracking a head of a camera-generated image of a person
US6526161B1 (en) 1999-08-30 2003-02-25 Koninklijke Philips Electronics N.V. System and method for biometrics-based facial feature extraction
EP1968012A3 (en) * 1999-11-16 2008-12-03 FUJIFILM Corporation Image processing apparatus, image processing method and recording medium
US7123745B1 (en) * 1999-11-24 2006-10-17 Koninklijke Philips Electronics N.V. Method and apparatus for detecting moving objects in video conferencing and other applications
US6754389B1 (en) * 1999-12-01 2004-06-22 Koninklijke Philips Electronics N.V. Program classification using object tracking
GB2358098A (en) * 2000-01-06 2001-07-11 Sharp Kk Method of segmenting a pixelled image
US6829395B2 (en) * 2000-01-20 2004-12-07 Axis, Ab Apparatus and method for storing and reading digital images
US6970598B1 (en) * 2000-01-21 2005-11-29 Xerox Corporation Data processing methods and devices
US6668070B2 (en) * 2000-03-29 2003-12-23 Sony Corporation Image processing device, image processing method, and storage medium
US6580821B1 (en) * 2000-03-30 2003-06-17 Nec Corporation Method for computing the location and orientation of an object in three dimensional space
JP3603737B2 (ja) * 2000-03-30 2004-12-22 日本電気株式会社 移動体追尾方法及びその装置
EP1158786A3 (en) * 2000-05-24 2005-03-09 Sony Corporation Transmission of the region of interest of an image
US6731799B1 (en) * 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6826292B1 (en) * 2000-06-23 2004-11-30 Sarnoff Corporation Method and apparatus for tracking moving objects in a sequence of two-dimensional images using a dynamic layered representation
US6665450B1 (en) * 2000-09-08 2003-12-16 Avid Technology, Inc. Interpolation of a sequence of images using motion analysis
US6965684B2 (en) 2000-09-15 2005-11-15 Canon Kabushiki Kaisha Image processing methods and apparatus for detecting human eyes, human face, and other objects in an image
US6680745B2 (en) * 2000-11-10 2004-01-20 Perceptive Network Technologies, Inc. Videoconferencing method with tracking of face and dynamic bandwidth allocation
US6678413B1 (en) * 2000-11-24 2004-01-13 Yiqing Liang System and method for object identification and behavior characterization using video analysis
US7020305B2 (en) * 2000-12-06 2006-03-28 Microsoft Corporation System and method providing improved head motion estimations for animation
JP2002175538A (ja) * 2000-12-08 2002-06-21 Mitsubishi Electric Corp 似顔絵生成装置及び似顔絵生成方法及び似顔絵生成プログラムを記録した記録媒体及び通信用端末及び通信用端末による通信方法
US6670963B2 (en) 2001-01-17 2003-12-30 Tektronix, Inc. Visual attention model
US6964023B2 (en) 2001-02-05 2005-11-08 International Business Machines Corporation System and method for multi-modal focus detection, referential ambiguity resolution and mood classification using multi-modal input
GB2372165A (en) * 2001-02-10 2002-08-14 Hewlett Packard Co A method of selectively storing images
US20020168091A1 (en) * 2001-05-11 2002-11-14 Miroslav Trajkovic Motion detection via image alignment
US6870945B2 (en) * 2001-06-04 2005-03-22 University Of Washington Video object tracking by estimating and subtracting background
JP4596222B2 (ja) * 2001-06-26 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4840630B2 (ja) * 2001-06-27 2011-12-21 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
EP1404133A4 (en) * 2001-06-29 2010-04-21 Ntt Docomo Inc IMAGE ENCODER, IMAGE DECODER, IMAGE ENCODING METHOD, AND IMAGE DECODING METHOD
US7861169B2 (en) * 2001-11-19 2010-12-28 Ricoh Co. Ltd. Multimedia print driver dialog interfaces
US7130446B2 (en) * 2001-12-03 2006-10-31 Microsoft Corporation Automatic detection and tracking of multiple individuals using multiple cues
KR100456619B1 (ko) * 2001-12-05 2004-11-10 한국전자통신연구원 에스.브이.엠(ｓｖｍ)을 이용한 얼굴 등록/인증 시스템 및방법
JP2003174504A (ja) 2001-12-05 2003-06-20 Mitsubishi Electric Corp 通話機能付き携帯端末装置およびそのための制御装置、ならびにバックライト制御方法
US7277580B2 (en) * 2001-12-12 2007-10-02 Sony Corporation Multiple thresholding for video frame segmentation
KR100411347B1 (ko) * 2001-12-29 2003-12-18 엘지전자 주식회사 동영상 비디오의 장면전환 검출 방법
AUPS140502A0 (en) * 2002-03-27 2002-05-09 Seeing Machines Pty Ltd Method for automatic detection of facial features
US7212670B1 (en) * 2002-05-03 2007-05-01 Imagetree Corp. Method of feature identification and analysis
US7082211B2 (en) * 2002-05-31 2006-07-25 Eastman Kodak Company Method and system for enhancing portrait images
US7425981B2 (en) 2002-06-12 2008-09-16 British Telecommunications Plc Video pre-processing
US7190809B2 (en) * 2002-06-28 2007-03-13 Koninklijke Philips Electronics N.V. Enhanced background model employing object classification for improved background-foreground segmentation
KR100474848B1 (ko) 2002-07-19 2005-03-10 삼성전자주식회사 영상시각 정보를 결합하여 실시간으로 복수의 얼굴을검출하고 추적하는 얼굴 검출 및 추적 시스템 및 방법
US7227893B1 (en) * 2002-08-22 2007-06-05 Xlabs Holdings, Llc Application-specific object-based segmentation and recognition system
US7035461B2 (en) * 2002-08-22 2006-04-25 Eastman Kodak Company Method for detecting objects in digital images
EP1418530B1 (en) * 2002-10-08 2012-12-05 Sony France S.A. Adaptive artificial vision method and system
KR100455294B1 (ko) * 2002-12-06 2004-11-06 삼성전자주식회사 감시 시스템에서의 사용자 검출 방법, 움직임 검출 방법및 사용자 검출 장치
JP2004220555A (ja) 2002-12-27 2004-08-05 Fuji Photo Film Co Ltd 画像から被写体領域を抽出する装置、方法、プログラムおよびプログラムを記録した記録媒体
US6999600B2 (en) * 2003-01-30 2006-02-14 Objectvideo, Inc. Video scene background maintenance using change detection and classification
US7599524B2 (en) * 2003-04-04 2009-10-06 Sarnoff Corporation Method and apparatus for providing a robust object finder
WO2005036456A2 (en) * 2003-05-12 2005-04-21 Princeton University Method and apparatus for foreground segmentation of video sequences
US7430335B2 (en) * 2003-08-13 2008-09-30 Apple Inc Pre-processing method and system for data reduction of video sequences and bit rate reduction of compressed video sequences using spatial filtering
WO2005041579A2 (en) * 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
US20050104960A1 (en) * 2003-11-17 2005-05-19 Mei Han Video surveillance system with trajectory hypothesis spawning and local pruning
US7127083B2 (en) * 2003-11-17 2006-10-24 Vidient Systems, Inc. Video surveillance system with object detection and probability scoring based on object class
US7136507B2 (en) * 2003-11-17 2006-11-14 Vidient Systems, Inc. Video surveillance system with rule-based reasoning and multiple-hypothesis scoring
JP2005182196A (ja) * 2003-12-16 2005-07-07 Canon Inc 画像表示方法および画像表示装置
JP2005293539A (ja) 2004-03-08 2005-10-20 Matsushita Electric Works Ltd 表情認識装置
JP4819380B2 (ja) * 2004-03-23 2011-11-24 キヤノン株式会社 監視システム、撮像設定装置、制御方法、及びプログラム
US8594391B2 (en) * 2004-05-06 2013-11-26 Avago Technologies General Ip (Singapore) Pte. Ltd. Finger-based identification systems and methods
GB2414614A (en) * 2004-05-28 2005-11-30 Sony Uk Ltd Image processing to determine most dissimilar images
EP1622009A1 (en) * 2004-07-27 2006-02-01 Texas Instruments Incorporated JSM architecture and systems
WO2006025185A1 (ja) * 2004-08-31 2006-03-09 Matsushita Electric Industrial Co., Ltd. 監視記録装置およびその方法
US20060067562A1 (en) * 2004-09-30 2006-03-30 The Regents Of The University Of California Detection of moving objects in a video
US7391907B1 (en) * 2004-10-01 2008-06-24 Objectvideo, Inc. Spurious object detection in a video surveillance system
US7583287B2 (en) * 2005-03-22 2009-09-01 Microsoft Corp. System and method for very low frame rate video streaming for face-to-face video conferencing
WO2006105655A1 (en) * 2005-04-06 2006-10-12 March Networks Corporation Method and system for counting moving objects in a digital video stream
US7409076B2 (en) * 2005-05-27 2008-08-05 International Business Machines Corporation Methods and apparatus for automatically tracking moving entities entering and exiting a specified region
JP2009508450A (ja) * 2005-09-13 2009-02-26 ヴェリフィコン コーポレーション 物体のトラッキングおよび活動分析のためのシステムおよび方法
US8150155B2 (en) 2006-02-07 2012-04-03 Qualcomm Incorporated Multi-mode region-of-interest video object segmentation

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101854520A (zh) * 2010-04-16 2010-10-06 广东中大讯通信息有限公司 一种无线传输视频监控系统及方法
US10743001B2 (en) 2010-10-08 2020-08-11 Ge Video Compression, Llc Picture coding supporting block partitioning and block merging
US11785229B2 (en) 2010-10-08 2023-10-10 Ge Video Compression, Llc Picture coding supporting block partitioning and block merging
US11057630B2 (en) 2010-10-08 2021-07-06 Ge Video Compression, Llc Picture coding supporting block partitioning and block merging
US10827187B2 (en) 2010-10-08 2020-11-03 Ge Video Compression, Llc Picture coding supporting block partitioning and block merging
CN106878726A (zh) * 2010-10-08 2017-06-20 Ge视频压缩有限责任公司 编码器和编码方法与解码器和解码方法
US10812811B2 (en) 2010-10-08 2020-10-20 Ge Video Compression, Llc Picture coding supporting block partitioning and block merging
CN106878726B (zh) * 2010-10-08 2020-01-17 Ge视频压缩有限责任公司 编码器和编码方法与解码器和解码方法
US10735748B2 (en) 2010-10-08 2020-08-04 Ge Video Compression, Llc Picture coding supporting block partitioning and block merging
CN102547290B (zh) * 2012-01-20 2013-12-18 厦门大学 一种基于几何分割的视频图像解编码方法
CN102547290A (zh) * 2012-01-20 2012-07-04 厦门大学 一种基于几何分割的视频图像解编码方法
CN103218555A (zh) * 2013-03-04 2013-07-24 北京百纳威尔科技有限公司 应用程序登录方法及装置
CN106407984A (zh) * 2015-07-31 2017-02-15 腾讯科技（深圳）有限公司 目标对象识别方法及装置
CN108898604A (zh) * 2018-06-28 2018-11-27 上海连尚网络科技有限公司 用于处理图像的方法和设备
CN113302694A (zh) * 2019-01-18 2021-08-24 斯纳普公司 用于基于模板生成个性化视频的系统和方法

Also Published As

Publication number Publication date
US20070183663A1 (en) 2007-08-09
EP1994761A2 (en) 2008-11-26
JP2012155727A (ja) 2012-08-16
KR20080099296A (ko) 2008-11-12
WO2007092905A2 (en) 2007-08-16
US8265349B2 (en) 2012-09-11
WO2007092905A3 (en) 2007-12-13
JP2009526495A (ja) 2009-07-16
JP4988770B2 (ja) 2012-08-01
KR101023733B1 (ko) 2011-03-25

Similar Documents

Publication Publication Date Title
CN101375607B (zh) 帧间模式关注区视频对象分割的方法和系统
CN101375312B (zh) 多模式关注区视频对象分割
CN101375608A (zh) 帧内模式关注区视频对象分割
US10169655B2 (en) Detection of logos in a sequence of video frames
CN101317185B (zh) 基于视频传感器的自动关注区检测
US20170116750A1 (en) Device and Method for Camera Driven Background Subtraction
Chen et al. Intra-and-inter-constraint-based video enhancement based on piecewise tone mapping
Haque et al. Perception-inspired background subtraction
CN107273884A (zh) 一种基于移动终端摄像头的车辆牌照识别方法
KR101556381B1 (ko) 터미널 서버에서의 화면프레임 전송방법 및 이를 이용하는 터미널 서버
Kim et al. Real-time viewer detection algorithm for smart epg in the intelligent DTV
CN114998957A (zh) 自动曝光数据处理方法、装置、设备及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20090225