CN201993777U - 一种数字照相机 - Google Patents

Abstract

提供一种数字相机，包括：图像传感器；电连接到图像传感器的第一处理器，被配置以接收由图像传感器采集的图像流中景物的较低分辨率图像，该景物可能包括一张或者多张人脸，以及对图像应用至少一个高质量人脸分类器以识别较大尺寸人脸区域和中等尺寸人脸区域并对图像应用至少一个张弛人脸分类器以识别较小尺寸人脸区域；电连接到第一处理器的独立的第二处理器，被配置以接收来自图像传感器的表面上为同一景物的较高分辨率图像以及对较高分辨率版本的图像上的被识别的小尺寸人脸区域，应用至少一个高质量人脸分类器以便产生精细图像；以及电连接到第二处理器的显示器，被配置来显示精细图像。根据本实用新型，可以改善图像质量和处理。

Description

一种数字照相机

技术领域

本发明提供了一种在采集器件内进行图像处理的改进型方法和设备。特别是，本发明在诸如照相电话的数字图像采集器件内实现改进的人脸跟踪。

背景技术

图1示出数字图像采集设备，例如，照相电话。设备10包括数字信号处理器，ISP 14，通常，它是处理能力相对有限的通用CPU。通常，ISP 14是具有传感器接口20的专用芯片或者芯片组，该传感器接口20具有的专用硬件单元有助于进行包括图像管道22的图像处理。图像传感器16采集的图像通过传感器接口20送到ISP 14。

该设备进一步包括功能较强的主处理器12，例如，ARM9，布置该主处理器12，以从ISP 14接收图像流。

设备10装备了诸如LCD的显示器18，用于显示预览图像以及该设备采集的任一主图像。一旦该设备被接通，或者仅在预捕像模式下作为对半按下快门按钮的响应，预览图像就自动产生。主图像通常是通过全按下快门按钮产生的。

传统上，诸如人脸跟踪的高级图像处理在主处理器12上运行，它向ISP 14的管道22提供反馈。然后，根据主处理器12通常通过I2C接口24提供的反馈，ISP 14润色、调整和处理该图像流中的(各)后续图像。因此，调整该流中后续图像的采集参数，以增强对用户显示的图像。

这些采集参数包括：聚焦、曝光和白平衡。

聚焦确定图像或者图像相关部分的清晰度或者明晰度，并且它取决于镜头的焦距和图像传感器16的捕像区域。在本技术领域内， 确定图像是否焦点对准的方法是众所周知的。例如，如果在图像上检测到人脸区域，则假定大多数人脸的大小是近似相同的井且是采集图像中人脸的大小，可以对后续图像选择近似焦距，以确保该人脸在该图像中是焦点对准的。其它方法可以基于图像或者图像一部分的总体锐利度，例如，由该图像中的高频CDT系数值所指示的。当在该图像或者受关注区域上，即人脸区域上，这些值最高时，认为该图像焦点对准了。因此，通过调整镜头的焦距，实现最高锐利度，可以增强图像聚焦。

图像曝光涉及采集图像期间照射到图像传感器16的光量。因此，曝光不足的图像看来相当暗，并且具有总体低亮度级，而过曝光图像看来相当亮，并且具有总体高亮度级。快门速度和镜头光圈影响图像的曝光，因此可以调整它们，以改善图像质量和图像处理。例如，众所周知，人脸检测和识别对图像的过曝光和曝光不足是敏感的，因此，可以调整曝光，以优化图像流中的人脸检测。

因为大多数光源不是100％的纯白光，所以光源照亮的对象发生偏色。例如，照亮白色对象的卤素光源使该对象看上去发黄。为了使数字图像采集设备对这种偏色进行补偿，即，执行白平衡，它需要白色基准点(white reference point)。因此，通过识别图像上应当是白色的点，例如，眼睛巩膜，可以相应补偿该图像上的所有其它色彩。然后，可以利用该补偿信息确定应当以其采集图像的光照类型。

尽管调整诸如上述采集参数的采集参数是有用的，并且可以改善图像质量和处理，但是到ISP 14的反馈回路较慢，以致为了校正图像的聚焦、曝光和白平衡，而导致延迟将相关信息送到ISP14。这可能意味着，在景物快速变化期间，当由ISP 14对该流的后续图像进行调整时，主处理器12提供的调整指示可能不恰当。此外，可用于主处理器12的通常大多数处理能力被要求来运行人脸跟踪应用程序，保留最少的处理能力用于执行增值处理(value added processing)。

发明内容

本发明的目的是提供一种改进的数字相机，以至少部分减轻现有技术中的调整指示不恰当的问题，进而改善图像质量和处理。

本发明的第一方面，提供了一种没有照相胶片的数字相机。该数字照相机包括：图像传感器；电连接到图像传感器的第一处理器，所述第一处理器被配置，以接收由图像传感器采集的图像流中景物的较低分辨率图像，所述景物可能包括一张或者多张人脸；并且被进一步配置，以对所述图像应用至少一个高质量人脸分类器，以识别较大尺寸人脸区域和中等尺寸人脸区域；以及对所述图像应用至少一个张弛人脸分类器，以识别较小尺寸人脸区域；电连接到第一处理器的独立的第二处理器，所述第二处理器被配置，以接收来自图像传感器的表面上为同一景物的较高分辨率图像；并且被进一步配置，以对所述较高分辨率版本的所述图像上的所述被识别的小尺寸人脸区域，应用至少一个高质量人脸分类器以便产生精细图像；以及电连接到第二处理器的显示器，所述显示器被配置来显示所述精细图像。

根据本发明的第二方面，提供了一种数字相机，包括：第一处理器，电连接到图像传感器；以及独立的第二处理器，电连接到所述第一处理器，所述第一处理器被配置来将采集图像送到所述第二处理器，并且布置所述第二处理器，以存储所述图像，布置所述第一处理器，以对图像流中景物的较低分辨率图像应用至少一个高质量人脸分类器，以识别较大尺寸人脸区域和中等尺寸人脸区域，所述景物可能包括一张或者多张人脸；以及对所述图像应用至少一个张弛人脸分类器，以识别较小尺寸人脸区域；以及布置所述第二处理器，以接收表面上为同一景物的较高分辨率图像，以及对所述较高分辨率版本的所述图像上的所述被识别的小尺寸人脸区域应用至少一个高质量人脸分类器。

通过本发明的实施方式，可以减轻现有技术中的调整指示不恰当的缺陷，改善图像质量和处理。

附图说明

现在，作为例子，将参考附图描述本发明实施例，附图中：

图1是可以实现本发明的优选实施例的数字图像采集设备的方框图；以及

图2是示出本发明的优选实施例的流程图。

具体实施方式

数字图像采集器件的人脸跟踪包括在诸如视频流或者照相机预览的一系列图像中标记人脸的方法。可以利用人脸跟踪对摄影师指示人脸在图像中的位置，或者允许根据人脸的位置知识后处理该图像。此外，在根据人脸信息，自适应调整图像的诸如聚焦、曝光和白平衡的采集参数时，可以使用人脸跟踪应用程序，以产生改进质量的采集图像。

总之，人脸跟踪系统采用两种基本模块：(i)检测模块，用于在采集的图像或者一系列图像中定位新候选人脸区域；以及(ii)跟踪模块，用于确认人脸区域。

US2002/0102024公开了一种快速人脸检测的众所周知的方法，下面称为Viola-Jones。在Viola-Jones中，通过对该积分图像中的子窗口应用分类器，可以对从采集图像获得的积分图像应用基于矩形(并逐渐精细的)Haar特征的一连串(级联)的32个分类器。为了全面分析采集图像，在该积分图像上递增位移该子窗口，直到整幅图像被覆盖。

除了在整幅积分图像上移动该子窗口，还可以放大/缩小该子窗口，以覆盖人脸尺寸的可能范围。因此，可以看出，利用最小尺寸的分类器子窗口，即，待检测的最小尺寸的人脸，确定该积分图像的分辨率，因为较大尺寸的子窗口可以利用该积分图像上的中间点进行其计算。

在诸如第PCT/EP2007/005330(FN143)号国际专利申请公开的 文献中，描述了原始Viola-Jones算法的许多变型。

在本实施例中，人脸跟踪处理运行在ISP 14上，而没有运行在主处理器12上。因此，该主处理器更多的处理能力可以用于诸如人脸识别的进一步增值应用。此外，ISP 14可以更有效地自适应调整采集图像的诸如聚焦、曝光和白平衡的参数。

我们明白，与对较低分辨率图像相比，对高分辨率图像执行人脸跟踪应用程序通常会获得更精确结果。此外，与对较大人脸相比，跟踪图像中较小尺寸的人脸通常要求相应更多的处理。

当然，ISP 14的处理能力有限，因此，优化布置根据本发明的人脸跟踪应用程序，以有效运行在ISP 14上。

在该优选实施例中，典型的输入帧分辨率为160×120，并且将人脸尺寸划分为小尺寸、中等尺寸和大尺寸。通过分别应用14×14和22×22的高质量分类器，例如，较长级联分类器或者对接受人脸具有较高阈值的分类器，检测图像中的中等尺寸人脸和大尺寸人脸。

主体人脸(subject face)离开采集设备的距离确定主体人脸在图像中的尺寸。明显地，位于比第二主体人脸离开采集器件的距离更远的第一主体人脸看上去较小。较小尺寸的人脸包括较少的像素，因此，从该人脸获得较少的信息。这样，即使假设比较大的人脸要求相应更多的处理，对较小尺寸人脸的检测仍是内在地较不可靠的。

在该优选实施例中，利用张弛的7×7分类器，例如，短级联分类器或者对接受人脸具有较小阈值的分类器，检测小尺寸人脸。利用更张弛的分类器降低检测小尺寸人脸所要求的处理能力。

然而，可以看出，应用这种张弛分类器导致较多次数的误判(false positive)，即，将非人脸区域分类为人脸。这样，根据检测到小人脸，对图像采集参数做不同调整，并且对小人脸进一步做与中等人脸或者大人脸不同的图像处理，下面将做更详细的解释。

图2示出本发明优选实施例的流程图。

在激活时，设备10以紧密间隔自动捕获并存储一系列图像，以 致后续图像表面上为同一个景物。这一系列图像可以包括一系列预览图像、后览图像或者主采集图像。

在步骤100，在预览模式下，图像传感器16将图像流中例如160×120的低分辨率图像送到ISP 140。

在步骤110，ISP 14对该图像应用至少一个高质量分类器级联，以检测大尺寸人脸和中等尺寸人脸。优选地，对该图像应用两个14×14和22×22的人脸分类器级联。

在步骤120，ISP 14还对该图像应用至少一个张弛人脸分类器，以检测小人脸。优选地，对该图像应用7×7人脸分类器。

根据从分类器检索到的人脸的信息，可以调整该流中后续图像的图像采集参数，以增强送到显示器18的图像和/或者改进该图像的处理。在该优选实施例中，在步骤130，利用从分类器中检索到的人脸的信息调整该图像流中下一幅图像的聚焦、曝光和/或者白平衡中的一项或者多项。

从分类器检索到的人脸的信息包括与人脸的位置、人脸的尺寸以及实际上是人脸的被识别人脸的概率相关的信息。第PCT/EP2007/006540号国际专利申请(FN182/FN232/FN214)对确定指出存在于给定位置的人脸概率的置信度进行了讨论。可以利用此信息确定每张人脸的权重，从而有助于调整该采集参数。

总之，大人脸会比相对较小的人脸包括更多的信息。然而，如果较大人脸被错误识别为人脸的概率更高，并且/或者位于该图像的非中心位置，则对它分配甚至比位于图像的中心的、且被误判的概率较低的相对较小人脸更低的权重。因此，利用从较小人脸获得的信息调整采集参数，是优于利用从大人脸获得的信息的。

在该实施例中，如果在该图像中仅检测到小尺寸人脸，则仅利用小人脸的信息调整该流中下一幅图像的曝光。可以看出，尽管张弛分类器通过某些误判，但是这些对于调整曝光没有严重负面影响。

不根据小人脸，对下一幅图像进行聚焦调整，因为对于小人脸，该设备的镜头聚焦在无穷远处，并且从这种调整中几乎什么也没有 获得。对于小人脸，不调整白平衡，因为认为它们太小，检测不到显著白平衡信息。然而，根据检测到的中等尺寸人脸和大尺寸人脸，可以有效地分别调整聚焦和白平衡。

在该优选实施例中，一旦用户通过例如点击快门采集了全尺寸主图像，在步骤150，就将它送到主机，并且在步骤140，还将检测到/跟踪到的人脸区域送到主处理器12。

在变换实施例中，有时无需用户干预，或者以规则间隔(例如，每30个预览帧或者每3秒钟)，或者响应对预览图像流所做的分析，采集全尺寸图像-例如，如果仅检测到较小人脸，则希望不时地再确认从这种图像获得的信息。

采集了全尺寸主图像后，在步骤160，主处理器12利用高质量分类器重新测试由张弛小人脸分类器在分辨率通常为320×240或者640×480的较大(较高分辨率)主图像上识别到的人脸区域。该验证减少或者消除了由张弛人脸识别器对较低分辨率图像通过的误判。由于对较高分辨率版本的图像执行重新测试阶段，所以小尺寸人脸包括更多信息，并因此可以被大窗口尺寸分类器检测到。在该实施例中，14×14和22×22的人脸分类器都可以应用于验证。

根据该验证，例如，通过调整图像的亮度值以便更适当照亮人脸，或者通过调整该图像的白平衡，可以调整该主图像。利用改善的人脸检测，还可以改善诸如红眼校正或者模糊校正的其它校正。

总之，然后，在步骤170，在显示器18上对用户显示精细图像，增强用户的体验。

验证阶段要求最少的计算，这样使得主处理器12的处理能力可以用于更增值的应用，例如，人脸识别应用，实时闪烁检测和预防、微笑检测以及诸如变形的特殊实时人脸特技。

在该优选实施例中，将验证的人脸位置列表送回到ISP 14，由虚线所示，并且在ISP 14上，可以利用该信息改善人脸跟踪或者图像采集参数。

在变换实施例中，可以在ISP 14上执行该验证阶段，因为即使 对较高分辨率图像进行验证，也不需要对整幅图像应用分类器，并且这样几乎不要求处理能力。

本发明并不局限于在此描述的(各)实施例，并且在不脱离本发明范围的情况下，可以对本发明进行修改或者调整。

Claims (14)

1.一种没有照相胶片的数字相机，包括：

图像传感器；

电连接到图像传感器的第一处理器，所述第一处理器被配置，以接收由图像传感器采集的图像流中景物的较低分辨率图像，所述景物可能包括一张或者多张人脸；并且被进一步配置，以对所述图像应用至少一个高质量人脸分类器，以识别较大尺寸人脸区域和中等尺寸人脸区域；以及对所述图像应用至少一个张弛人脸分类器，以识别较小尺寸人脸区域；

电连接到第一处理器的独立的第二处理器，所述第二处理器被配置，以接收来自图像传感器的表面上为同一景物的较高分辨率图像；并且被进一步配置，以对所述较高分辨率版本的所述图像上的所述被识别的小尺寸人脸区域，应用至少一个高质量人脸分类器以便产生精细图像；以及

电连接到第二处理器的显示器，所述显示器被配置来显示所述精细图像。

2.根据权利要求1所述的数字相机，该第一处理器被进一步配置以提供包括人脸尺寸、人脸位置以及所述图像在所述人脸区域或者其附近包括人脸的概率的指示的信息。

3.根据权利要求2所述的数字相机，其中所述第一处理器被进一步配置来根据所述信息产生权重。

4.根据权利要求2所述的数字相机，其中所述第一处理器被进一步配置来根据所述信息调整所述图像流中后续图像的图像采集参数。

5.根据权利要求4所述的数字相机，其中所述显示器进一步配置用于对用户显示所述后续图像。

6.根据权利要求2所述的数字相机，其中独立的第二处理器被配置用于对所述高分辨率图像执行增值应用。 

7.根据权利要求1所述的数字相机，其中所述至少一个高质量人脸分类器包括较长级联的分类器或者对于接受人脸具有较高阈值的分类器，并且其中所述张弛分类器包括较短级联的分类器或者对于接受人脸具有较小阈值的分类器。

8.一种数字相机，包括：

第一处理器，电连接到图像传感器；以及

独立的第二处理器，电连接到所述第一处理器，所述第一处理器被配置来将采集图像送到所述第二处理器，并且所述第二处理器被布置以存储所述图像，所述第一处理器被布置以对图像流中景物的较低分辨率图像应用至少一个高质量人脸分类器，以识别较大尺寸人脸区域和中等尺寸人脸区域，所述景物可能包括一张或者多张人脸；以及对所述图像应用至少一个张弛人脸分类器，以识别较小尺寸人脸区域；以及所述第二处理器被布置以接收表面上为同一景物的较高分辨率图像，以及对所述较高分辨率版本的所述图像上的所述被识别的小尺寸人脸区域应用至少一个高质量人脸分类器。

9.根据权利要求8所述的数字相机，该第一处理器被进一步配置以提供包括人脸尺寸、人脸位置以及所述图像在所述人脸区域或者其附近包括人脸的概率的指示的信息。

10.根据权利要求9所述的数字相机，其中所述第一处理器被进一步配置来根据所述信息产生权重。

11.根据权利要求9所述的数字相机，其中所述第一处理器被进一步配置来根据所述信息调整所述图像流中后续图像的图像采集参数。

12.根据权利要求11所述的数字相机，进一步包括显示器，被配置以对用户显示所述后续图像。

13.根据权利要求8所述的数字相机，其中独立的第二处理器被进一步配置以对所述高分辨率图像执行增值应用。

14.根据权利要求8所述的数字相机，其中所述至少一个高质量人脸分类器包括较长级联的分类器或者对于接受人脸具有较高阈值 的分类器，并且其中所述张弛分类器包括较短级联的分类器或者对于接受人脸具有较小阈值的分类器。 

Images