CN100452835C

CN100452835C - 图像处理装置、图像摄取装置和方法

Info

Publication number: CN100452835C
Application number: CNB2004100462172A
Authority: CN
Inventors: 鹫巢晃一
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2003-05-29
Filing date: 2004-05-31
Publication date: 2009-01-14
Anticipated expiration: 2024-05-31
Also published as: JP2004357071A; US20040239779A1; CN1574899A; US20100238320A1; US7986853B2; JP4136793B2; US7756354B2

Abstract

本发明公开了一种图像处理装置、图像摄取装置和程序，通过将用摄像元件依次拍摄的第1和第2图像进行合成，获得进行了曝光补偿的合成图像的图像处理装置。本发明的图像处理装置，具有检测第2图像对用作基准图像的第1图像的偏移量的检测部；对第2图像进行坐标变换，使得其与第1图像相一致的坐标变换部；将第1图像和进行了坐标变换的第2图像进行合成的合成部。

Description

图像处理装置、图像摄取装置和方法

技术领域

本发明涉及通过校正因手抖造成的图像晃动提高摄影图像的精度的图像处理装置、数码照相机等图像摄取装置和这些装置中使用的方法。

背景技术

当前的照相机，曝光设定和对焦等对摄影来说重要的操作已全部自动化，因而即使是对照相机操作尚不熟练的人造成摄影失败的可能性也非常小。

另外，最近，还研究了防止因加在照相机上的手抖而产生的图像晃动的系统，导致摄影失败的主要因素几乎都已不存在了。

这里，简单地说明防止图像晃动的防抖动系统。

摄影时加给照相机的手抖，作为频率，通常是1Hz～10Hz的振动。为了在曝光时刻即使发生了上述手抖也仍能得到无图像晃动的图像，必须检测因手抖而引起的照相机的振动，并根据该检测结果使校正透镜在光轴正交面内移动(光学防抖动系统)。

即，为了在即使照相机受到振动的情况下也能得到不产生图像晃动的摄影图像，第1必须正确地检测照相机的振动，第2必须对因手抖引起的光轴变化进行校正。

照相机振动的检测，从原理上说，可以通过在照相机内安装用激光陀螺仪等检测加速度、角加速度、角速度、角位移等，并对该检测结果进行特定的运算处理的振动检测单元进行。然后，可以通过驱动根据从振动检测单元输出的照相机振动的检测信息使摄影光轴的轴心偏移的校正光学单元，进行图像晃动的校正。

另外，在Japanese Patent Publication(日本专利公报)No.3110797中，公开了一种以缩短到不会产生手抖的程度的曝光时间反复进行多次摄影，并一边对由该多次摄影得到的图像进行图像偏移修正，一边进行合成，从而获得长曝光时间的摄影图像(合成图像)的方法。

最近的数码照相机，与银盐小型照相机相比尺寸越来越小，特别是，具有VGA级别的摄像元件的照相机，已可以小型化到内藏于便携式电子设备(例如，移动电话)的程度。在这种情况下，要在照相机内安装上述光学防抖动系统，就必须使振动校正光学单元进一步小型化、或使振动检测单元小型化。

但是，在振动校正光学单元中，必需支承校正透镜并对其进行高精度的驱动，因而在小型化方面是有限度的。另外，当前使用的振动检测单元几乎都利用惯性，所以存在着如使振动检测单元小型化，则检测灵敏度降低，不能进行高精度的振动校正的问题。

进一步，作为施加于照相机的振动，有以预定的轴为中心的角度振动及使照相机平行晃动的位移振动，虽然角度振动可以用光学防抖动系统校正，但位移振动就很难校正了。并且，存在着照相机的尺寸越小位移抖动越大的倾向。

另外，作为其它的防抖动系统，有一种象用摄像机进行的活动图像摄影中使用的那样，通过根据摄像元件的输出检测图像的移动矢量，并根据检测出的移动矢量变更摄像元件的图像读出位置，获得无图像晃动的活动图像的方法。在这种方法的情况下，由于不需要上述光学防抖动系统中的振动检测单元和校正透镜，所以具有能使照相机小型化的优点。

但是，不能将摄像机中使用着的防抖动系统简单地应用于数码静像照相机。其理由说明如下。

摄像机中的移动矢量的抽取，每次读出图像时都要进行，例如，当在1秒内读出15画面的图像时，通过对所读出的各图像进行比较检测移动矢量。

可是，当用数码照相机拍摄静止图像时，由于只对被摄物体进行一次曝光，所以不可能像摄像机那样进行图像的比较，检测移动矢量。因此，不能将摄像机的防抖动系统简单地应用于数码静像照相机。

另外，在Japanese Patent Publication No.3110797所公开的方法中，由于要反复进行多次摄影，所以将使摄影时间延长。摄影时间的延长，在拍摄静止被摄物体的情况下不成问题，但拍摄即使只象人物那样移动的被摄物体时，都将产生被摄物体侧的晃动(被摄物体晃动)，即使能够抑制因手抖产生的图像晃动，也不能抑制因被摄物体晃动而产生的图像晃动，因而可能使图像恶化。

发明内容

本发明提供一种图像处理装置，通过合成用摄像元件依次拍摄的、至少包括使用了闪光灯光的图像的第1图像和第2图像，获得进行了曝光补偿的合成图像，其特征在于：包括检测部，根据位于上述第1图像和上述第2图像的亮度差小于预定值的区域内的特定点，检测上述第1图像和上述第2图像的偏移量；坐标变换部，根据上述检测部的检测结果，对上述第2图像进行坐标变换，使得与上述第1图像吻合；以及合成部，合成上述第1图像和由上述坐标变换部进行了坐标变换的上述第2图像。

本发明还提供一种具有摄像元件和图像处理装置的图像摄取装置，所述图像处理装置通过合成用上述摄像元件依次拍摄的、至少包括使用了闪光灯光的图像的第1图像和第2图像，获得进行了曝光补偿的合成图像，其特征在于：上述图像处理装置包括检测部，根据位于上述第1图像和上述第2图像的亮度差小于预定值的区域内的特定点，检测上述第1图像和上述第2图像的偏移量；坐标变换部，根据上述检测部的检测结果，对上述第2图像进行坐标变换，使得与上述第1图像吻合；以及合成部，合成上述第1图像和由上述坐标变换部进行了坐标变换的上述第2图像。

本发明还提供一种图像处理方法，用于通过将用摄像元件依次拍摄的、至少包括使用了闪光灯光的图像的第1图像和第2图像进行合成，获得进行了曝光补偿的合成图像，其特征在于：包括检测步骤，根据位于上述第1图像和上述第2图像的亮度差小于预定值的区域内的特定点，检测上述第1图像和上述第2图像的偏移量；坐标变换步骤，根据上述检测步骤的检测结果，对上述第2图像进行坐标变换，使得与上述第1图像相吻合；以及合成步骤，合成上述第1图像和在上述坐标变换步骤进行了坐标变换的上述第2图像。

本发明的图像处理装置、图像摄取装置和程序的特征，通过参照附图对以下的具体实施方式进行的说明会得以明确。

附图说明

图1是作为本发明实施方式1的照相机的框图。

图2是用于说明对2个图像的坐标变换的图。

图3A和图3B是用于说明特征点抽取区域的图。

图4是合成图像时的说明图。

图5是表示实施方式1的照相机的摄影动作的流程图。

图6是本发明实施方式2中的特征点抽取区域的说明图。

图7是表示实施方式2的照相机的摄影处理动作的时序图。

图8是表示实施方式2的照相机的摄影动作的流程图。

图9是作为本发明实施方式3的照相机的框图。

图10是表示实施方式3的照相机的摄影动作的流程图。

图11是作为本发明实施方式4的照相机的框图。

图12是表示实施方式4的照相机的摄影动作的流程图。

具体实施方式

(实施方式1)

图1是示出了作为本发明实施方式1的照相机(图像摄取装置)的结构的框图。从摄影镜头11入射的光束(摄影光)，在通过快门12并由光圈13进行了光量调节后，到达摄像元件15。摄像元件15，包括MOS或CCD等半导体摄像元件。摄像元件15，由接收了来自摄影控制电路111的控制信号的摄像元件驱动电路16驱动。

摄影镜头11，通过接受来自AF(自动对焦)驱动电机14的驱动力而在光轴L上移动并停在预定的对焦位置，进行焦点调节。AF驱动电机14，通过接收来自调焦驱动电路19的驱动信号而进行驱动。

光圈13，具有多个光圈叶片，这些光圈叶片，通过接受来自光圈驱动单元17的驱动力而动作，从而改变用作光通过孔的开孔面积(光圈孔径)。快门12，具有多个快门叶片，这些快门叶片，通过接受来自快门驱动单元18的驱动力而打开关闭用作光通过孔的开孔部。据此，可以控制入射到摄像元件15的光束的光量。

另外，调焦驱动电路19、光圈驱动单元17、快门驱动单元18和照明单元10的驱动，由摄影控制电路111进行控制。其中，照明单元10，通过接收来自摄影控制电路111的控制信号对被摄物体照射照明光。

摄影控制电路111，根据后述的信号处理电路112的输出进行被摄物体亮度的检测(测光)，并根据该测光结果决定光圈13的光圈孔径和快门12的开启时间、以及是否使用照明单元10。此外，摄影控制电路111，还在驱动调焦驱动电路19(摄影镜头11)的同时，根据来自信号处理电路112的输出求出对焦位置。即，本实施方式的照相机，按照所谓的对比度检测方式进行摄影光学系统的焦点调节。

从摄像元件15输出的模拟信号，由A/D转换器110转换为数字信号后输入到信号处理电路112。信号处理电路112，对所输入的信号进行形成亮度信号和颜色信号等的信号处理而生成彩色影像信号。

然后，通过将由信号处理电路112进行了信号处理的图像信号输出到显示单元116，显示为摄影图像，同时输出到记录电路117(记录部)进行记录。

如上所述的动作，是对不需要进行振动校正的亮度的被摄物体进行摄影的情况。另外，为拍摄暗的被摄物体，曝光时间延长，有可能因手抖而产生图像晃动。在这种情况下，摄影者通过操作照相机所设有的图中未示出的操作开关(防抖动开关)，使防抖动系统变为接通状态，并切换为以下的动作。

首先，当摄影者将设在照相机上的释放按钮(图中未示出)按下一半时，开始摄影准备动作(焦点调节动作和测光动作等)。摄影控制电路111，根据由测光动作得到的测光值决定快门12的开启时间(曝光时间)和光圈13的光圈孔径。这里，一般来说，当使用防抖动系统时，由于被摄物体较暗，所以将光圈设定为全开、将曝光时间设定为长秒值的时间。

本实施方式的照相机，将长秒值的曝光时间分割为多个短的曝光时间，并与分割数量相应地反复进行摄像动作。当象这样分割为短的曝光时间时，由曝光得到的1个图像虽然曝光不足，但却得到手抖影响小(图像晃动小)的图像。接着，在结束了所有的摄像动作后，通过对由多次摄像动作得到的多个图像进行合成，可以生成1个进行了曝光补偿的图像数据。

但是，当通过多次摄像动作生成了多个图像数据时，即使在各图像中不产生手抖的影响，但有时由于在进行多次摄像动作期间的手抖，使各图像间的构图(被摄物体影像)产生微妙的偏移。这里，如将上述的多个图像数据原样合成，则合成后的图像数据成为与各图像数据的构图偏移的量相应地产生了晃动的图像。

在本实施方式中，与连续多次的摄像动作相对应地从摄像元件15读出的多个图像信号，如上所述，由A/D转换器110转换为数字信号，然后由信号处理电路112进行信号处理。信号处理电路112的输出信号，在输入到摄影控制电路111的同时，还输入到图像存储电路113。

图像存储电路113，存储通过连续多次的摄像动作得到的所有的多个图像数据。

位移检测电路114(检测部)，取得存储在图像存储电路113内的图像数据，并从图像区域中抽取特征点(特定点)，同时计算所抽取的特征点在摄影画面内的位置坐标。

这里，考虑对以建筑物为背景站立着的人物进行了连续多次的摄像动作的情况。当在进行连续多次的摄像动作期间，如果对照相机施加了手抖，则如图2的帧119b所示，有可能生成相对于帧119a的图像产生了构图偏移的图像。

位移检测电路114，从帧119a的图像区域中的位于人物120a的周围的建筑物121a中，抽取作为高亮度点的窗户122a的边缘123a作为特征点。另外，位移检测电路114，按照与上述帧119a的情况相同的方式，从帧119b抽取特征点123b。然后，位移检测电路114，将特征点123a和特征点123b进行比较，并对其差进行校正。即，对帧119a或帧119b的图像数据进行坐标变换，以使特征点123a和特征点123b重合。

例如，通过模板匹配等使边缘123a和123b相对应，通过在帧119b内搜索与特征点123a对应的特征点123b，计算出特征点123a和特征点123b的偏移量，并根据计算出的偏移量进行坐标变换。

在本实施方式中，如图2所示，对帧119b的图像数据进行坐标变换，以使帧119b的特征点123b沿图2的箭头124方向移动而与帧119a的特征点123a重合。

这里，对作为抽取特征点的区域，设定为由摄像动作取得的图像的区域中位于中央区域的周边的周边区域的理由进行说明。在大部分的摄影中，大多使主要被摄物体位于摄影画面的中央附近，且主要被摄物体是人物。在这种情况下，如把与主要被摄物体对应的区域选作特征点的抽取区域，则将因被摄物体的晃动而产生不便。

当进行连续多次的摄像动作时，不仅因施加于照相机的手抖而产生图像晃动，而且也会因主要被摄物体的晃动而产生图像晃动。这里，当从与主要被摄物体对应的区域抽取特征点时，根据主要被摄物体的晃动进行图像的坐标变换。在这种情况下，总觉得可以对主要被摄物体生成无晃动的图像，但一般来说，作为主要被摄物体的人物的动作是复杂的，因此，如下所述，有时因选择特征点的场所不同，而不能对主要被摄物体的晃动进行适当的校正。

例如，当从与主要被摄物体(人物)的眼睛对应的区域抽取特征点时，瞬时的影响发生，因而不能进行与实际的被摄物体整体的晃动相对应的校正。另外，当从与手指对应的区域抽取特征点时，由于手很容易动，所以有可能进行了与实际的被摄物体整体的晃动相对应的坐标变换不同的坐标变换。

如上所述，即使从与人物对应的区域抽取特征点，并根据该特征点进行图像的坐标变换，也不能对人物进行正确的坐标变换。然后，即使合成没有进行正确的坐标变换的图像，由于特征点以外的图像的位置仍存在着偏移，所以也不能得到图像晃动小的理想图像。

因此，如本实施方式所示，如从与背景之类的静止被摄物体对应的区域抽取特征点，则可以对整个图像进行适当的坐标变换，合成后的图像为图像晃动小的理想图像。可是，在本实施方式这样的特征点抽取方法中，产生了上述被摄物体晃动的影响。

在本实施方式中，仅当进行连续多次的摄像动作中预定次数的摄像动作时才驱动照明单元10，并使照明光照射被摄物体。即，如下所述，通过利用照明单元10的照明光，抑制被摄物体晃动的影响。

在以下的说明中，将使用照明单元10取得的图像作为第1图像，将不使用照明单元10取得的其它图像(有时为多个)作为第2图像。这里，在第1图像和第2图像之间，除上述的构图偏移以外还存在着以下的不同。即，在第1图像内照明光照射到的被摄物体(照明区域)的亮度，和第2图像中与上述照明区域相对应的区域的亮度不同。

在第1图像中，在照明光照射到的主要被摄物体上，可以得到充分的曝光，而在照明光照射不到的区域(背景)上，曝光不足。其原因是，一般来讲，人物等主要被摄物体位于照相机的附近，因而照明光可以射到，而背景位于离照相机较远的位置，因而照明光照射不到。

这里，对于曝光不足的区域(背景)，通过对第2图像进行使其与第1图像一致的坐标变换，并将第1图像和进行了坐标变换的第2图像合成，补偿曝光不足。

图3A和图3B是用于说明由位移检测电路114选择特征点抽取区域的方法的图。图3A表示使用照明单元10取得的第1图像，图3B表示不使用照明单元10取得的第2图像。

在第1图像125(图3A)中，由于照明光照射到人物120a，所以对人物120a可以得到大致适当的曝光。而在人物120a以外的背景上，因照明光照射不到而曝光不足。

在第2图像126(图3B)中，由于无照明光，所以在人物120b和背景上曝光不足。

如将第1图像125和第2图像126进行比较，则仅人物的亮度不同，在其它区域上几乎不存在亮度差。

几乎无亮度差(即，亮度差小于预定值)的背景区域，因照明光照射不到而曝光不足，所以，在本实施方式中，将曝光不足的区域作为图像合成(曝光补偿)的位置，并将曝光不足的区域作为特征点的抽取区域。

即，在本实施方式的照相机中，根据由摄像动作得到的图像中的上述周边区域，以及将第1图像和第2图像进行比较时几乎无亮度差的区域，决定特征点的抽取区域。

在图3A、B所示的图像中，抽取几乎无亮度差的区域、即在与建筑物对应的区域中作为高亮度点的窗户的边缘123a、123b作为特征点。然后，与图2中所述一样，将第1图像125的特征点123a和第2图像126的特征点123b进行比较，并对其差进行校正(坐标变换)。

图1中示出的坐标变换电路115(坐标变换部)，对第2图像126进行坐标变换，以使第2图像126的特征点123b与第1图像125的特征点123a重合。位移检测电路114，对其它的第2图像也与上述第2图像126同样地进行特征点的抽取。然后，坐标变换电路115，对其它的第2图像进行坐标变换，以使其它的第2图像中的特征点与第1图像125的特征点123a重合。

在以上的说明中，按每个图像求出特征点的坐标并观察特征点的变化，但实际上可以对第1图像125和第2图像126进行相关运算，并将各对应的象素的变化作为移动矢量，从而将其作为特征点的变化。另外，对其它的第2图像，也通过与第1图像125的相关运算求出特征点的变化。

另外，在以上的说明中，讲述了抽取1个特征点的情况，但也可以抽取多个特征点。在这种情况下，可以将多个特征点中的各特征点的移动矢量的平均值或标量的最小值作为特征点的变化。

这里，之所以将上述最小值用作特征点的变化，是因为所抽取的特征点可能在特征点抽取区域内移动，因而应选择最不可能变化的特征点。

坐标变换电路115，根据由位移检测电路114求得的特征点变化，进行各图像数据(第2图像)的坐标变换。由坐标变换电路115进行了坐标变换的各图像数据，输出到图像合成电路118(合成单元)，并合成为1个图像数据。

在本实施方式的照相机中，以使用照明单元10取得的第1图像为图像合成时的基准(中心)图像，并对第2图像数据进行坐标变换，以使第2图像与第1图像重合。

这里，说明以第1图像125为基准图像的理由。

如图2所示，在将构图产生了偏移的2个图像数据合成时，产生如图4所示的2个图像不重合的区域127。因此，图像合成电路118，将区域127切去，并通过对2个图像重合的区域进行扩展补全处理，使其为原来的图像尺寸。在该扩展补全处理中，根据与构图偏移有关的方向和大小，将图像的一部分削去。

这里，在第1图像和第2图像中，可以得到最正确的图像信息(主要被摄物体的图像信息)的图像是使用照明单元10取得的第1图像。

因此，为了不削去第1图像的一部分，最好是以第1图像为基准图像并使第2图像与第1图像重合。

在数字图像的情况下，即使是1个曝光不足的图像数据，也可以通过提高增益对曝光进行补偿，但如提高了增益则噪声也增加，因而将变成低劣的图像。但是，当如本实施方式所示通过合成多个图像而使整个图像的增益提高时，由于各图像的噪声被平均了，所以可以得到S/N比大的图像，其结果是，可以抑制噪声并得到适当的曝光。如果是另一种考虑方法，例如容许噪声，将摄像元件15设定为高灵敏度，并通过进行摄像动作而取得多个图像数据，再对这些图像数据进行相加平均，也可以说是减少了图像数据所含有的随机噪声。

由图像合成电路118合成的图像数据，输出到显示单元116，并显示为静止图像，同时记录在记录电路117内。

图5是表示本实施方式的照相机的摄影动作的流程图，该流程，当操作(接通)了防抖动开关时开始。

在步骤S1001，在摄影者通过将释放按钮按下一半的操作而使sw1接通之前等待，当sw1接通时进入步骤S1002。

在步骤S1002，使被摄物体的光到达摄像元件15的受光面。因此，从摄像元件15读出根据受光量累积的电荷。摄影控制电路111，一边根据来自信号处理电路112的输出检测被摄物体影像的对比度，一边驱动AF驱动电机14并使摄影镜头11沿光轴L方向移动。

然后，在对比度变得最高的时刻，停止摄影镜头11的驱动，从而使摄影光学系统进入对焦状态(基于所谓的爬山法的焦点调节)。

另外，也可以通过相位差检测方式进行焦点调节。此外，摄影控制电路111，还根据摄像元件15的输出检测被摄物体的亮度(测光)。

在步骤S1003，根据在步骤S1002求得的被摄物体的亮度，计算进行摄像动作(从摄像元件15读出图像信号的动作)的次数(摄像次数)。这里，为了根据测光结果进行适当的曝光，必须使光圈13全开(例如f2.8)，并将快门12的开启时间(曝光时间)设定为1/8秒。

这里，当摄影光学系统的焦距按35mm胶片换算为30mm时，在1/8秒的曝光时间下，有可能发生因手抖而产生的图像晃动。因此，为了不产生图像晃动，将曝光时间设定为1/32秒，并设定为进行4次摄像动作。即，因为使曝光时间缩短了而相应地增加摄像动作的次数，使总的曝光时间大致相等。

另外，当摄影光学系统的焦距为300mm时，为了不产生图像晃动，将曝光时间设定为1/320秒，并设定为进行40次摄像动作。

在步骤S1004，在设置在照相机的取景器内的显示单元或设置在照相机外壳上的液晶显示单元上，显示在步骤S1003求得的与摄像次数有关的信息。摄影者，通过观察上述显示单元上的显示，即可确认摄像次数。此外，还可以用声音等向摄影者通知摄像次数。

在步骤S1005，在通过将释放按钮按到底的操作而使sw2接通之前等待。另外，如在步骤S1005的等待中将释放按钮的按下一半的操作解除，即将sw1断开，则返回开始处。

在步骤S1006，摄影控制电路111，进行判断是否是第1次的摄像动作。这里，当进行第1次的摄像动作时，进入步骤S1008，如不是第1次的摄像动作，则进入步骤S1007。

在步骤S1007，通过不使照明单元10发光地进行摄像动作，生成第2图像数据，并进入步骤S1009。

在步骤S1008，通过使照明单元10发光地进行摄像动作，生成第1图像数据，并进入步骤S1009。

在步骤S1009，将在步骤S1007或步骤S1008得到的图像数据(第1图像数据或第2图像数据)存储在图像存储电路113内。

在步骤S1010，判断摄像动作是否进行了在步骤S1003决定的摄像次数的量，在所有的摄像动作结束前循环进行步骤S1006、步骤S1007、步骤S1009并等待。并且，当所有的摄像动作结束时，进入步骤S1011。

在步骤S1011，位移检测电路114，按上述方法从第1图像或第2图像中抽取特征影像(特征点)，并求出所抽取的特征点在摄像区域内的坐标。

在步骤S1012，由坐标变换电路115对第2图像数据进行坐标变换处理。具体地说，如上所述，对第2图像数据进行坐标变换，以使第2图像的特征点与第1图像的特征点重合。这里，当在步骤S1011中进行了对第1图像的特征点抽取和特征点坐标计算后，进入了步骤S1012时，不进行对第1图像数据的坐标变换处理。如上所述，这是因为第1图像数据是进行坐标变换时的基准图像。

在步骤S1013，判断对所有的第2图像数据的坐标变换处理是否结束。这里，如对所有的第2图像数据的坐标变换处理尚未结束，则在结束坐标变换处理之前循环进行步骤S1011、S1012。而当对所有的第2图像数据的坐标变换处理已结束时，进入步骤S1014。

即，在上述步骤S1011～步骤S1013的处理中，首先，对第1图像数据进行步骤S1011的处理，接着，对多个第2图像数据中的各图像数据进行步骤S1011和步骤S1012的处理。这里，进行了坐标变换的第2图像数据，存储在图像存储电路113内。

在步骤S1014，在图像合成电路118进行第1图像数据和多个第2图像数据的合成。这里，图像数据的合成，通过将各图像数据对应的坐标信号相加平均进行，并可以通过相加平均减小图像内的随机噪声。于是，可以提高噪声减小了的图像的增益，得到适当的曝光。

在步骤S1015，将在步骤S1014得到的合成图像中的因图像晃动而使图像不重合的区域(相当于图4的区域127)切去。然后，对合成图像数据进行扩展补全处理，以使裁切了的合成图像具有原来的图像尺寸。

在步骤S1016，将在步骤S1015得到的合成图像数据输出到配置在照相机背面等处的液晶显示单元并显示为静止图像。因此，摄影者可以观察合成后的图像。

在步骤S1017，将在步骤S1015得到的合成图像数据记录在例如由半导体存储器等构成的、可在照相机上装卸的记录介质上。据此，摄像动作结束。

在步骤S1018，返回开始处。

另外，当在步骤S1018的阶段中进行将释放按钮按下一半的操作而使sw1接通时，再次进入流程进行步骤S1001、S1002、S1003、S1004。此外，当在步骤S1018的阶段中进行将释放按钮按到底的操作而使sw2接通时，不返回开始处而是在步骤S1018等待。

另外，在以上的说明中，从图像信息中抽取特征点，并根据该特征点的变化量进行校正各图像的偏移(第2图像对第1图像的偏移)的处理，但作为校正图像偏移的方法并不限于上述方法。

例如，有如下所述的方法。首先，将第1和第2图像无条件地分割为多个区域，并求出第1图像内的分割区域和该分割区域所对应的第2图像内的分割区域之差(移动矢量)。然后，根据多个移动矢量中高频度的移动矢量，进行对第2图像的坐标变换，使第2图像与第1图像一致。

上述高频度的移动矢量，不是基于被摄物体的晃动，而是基于因手抖而产生的图像晃动。所以，即使按照上述方法，也能以高的精度校正因手抖而产生的图像晃动。

(实施方式2)

作为本发明实施方式2的照相机，是上述实施方式1的照相机的变形例。这里，本实施方式照相机的结构，与在实施方式1(图1)中说明过的结构大致相同。

在实施方式1中，使特征点的抽取区域为由摄像动作得到的图像的整个区域中的上述周边区域。

但是，特征点的抽取区域，并不限于上述周边区域，可以将摄影画面内所设有的聚焦区域以外的区域作为特征点的抽取区域，或将包含多个聚焦区域中的当前正在对焦的聚焦区域的区域以外的区域作为特征点的抽取区域。

通常是在使聚焦区域相对主要被摄物体(人物)重叠的状态下进行摄影，所以，为了从与主要被摄物体对应的区域以外的区域抽取特征点，可以将聚焦区域以外的区域设定为特征点抽取区域。

图6是表示摄影画面内的特征点抽取区域的图。

在图6中，示出了在摄影画面(帧120a)内所设有的聚焦区域128a、128b、128c、128d、128e中的聚焦区域128c对主要被摄物体对焦的状态。图中，主要被摄物体区域130，是以对焦的聚焦区域128c为中心，并具有特定的范围的区域，表示配置主要被摄物体的可能性高的区域。此外，图6中以斜线示出的周边区域131，是从摄影区域中将主要被摄物体区域130除去后的区域，表示配置静止被摄物体的可能性高的区域。在本实施方式中，将周边区域131设定为特征点抽取区域。

在本实施方式中，根据聚焦区域128a～128e中哪个聚焦区域进行了对焦，来改变主要被摄物体区域130和周边区域131(特征点抽取区域)。

如从周边区域131中抽取适当的影像作为特征点，并根据所抽取的特征点的坐标对第2图像数据进行坐标变换，并将第1图像数据和进行了坐标变换第2图像数据合成，则可以得到图像晃动小的理想图像。

另外，也可以不是如图5所示在对所有的图像数据(第2图像数据)的坐标变换结束后进行图像数据的合成，而是对1个第2图像数据进行了坐标变换后，对进行了坐标变换的第2图像数据进行图像合成处理。

图7是每次如上所述对第2图像数据进行坐标变换时，进行图像合成处理的情况的时序图。

对于曝光f1，由摄像元件15进行光电变换而累积了电荷的信号作为摄像信号F1(第1图像数据)被读出。然后，读出摄像信号F2(第2图像数据)的同时进行摄像信号F1和摄像信号F2的相关运算。由此求出2个图像的特征点的变化，并将2个摄像信号F1、F2合成而得到合成信号C2。

然后，读出摄像信号F3(第2图像数据)的同时进行合成信号C2和摄像信号F3的相关运算。由此求出2个图像(合成图像和所读出的图像)的特征点的变化，并将合成信号C2和摄像信号F3合成而得到合成信号C3。

接着，读出摄像信号F4的同时进行合成信号C3和摄像信号F4的相关运算。由此求出2个图像(合成图像和所读出的图像)的特征点的变化，并将合成信号C3和摄像信号F4合成而得到合成信号C4。

然后，将所得到的合成信号C4(合成图像数据)输出到设在照相机背面等处的液晶显示单元并显示为摄影图像，同时记录在记录介质上。

图8是说明图7中所述动作的流程图。与图5的流程图相比，不进行步骤S1009的图像存储处理。

在图8中，在进行了坐标变换处理(步骤S2010)后，进行图像合成处理(步骤S2011)，并判断摄像动作是否进行了在步骤S2003决定的摄像次数的量(步骤S2012)。然后，当全部次数的摄像动作尚未结束时，进行下1次的摄像动作(步骤S2006)，当全部次数的摄像动作已结束时，进行扩展补全处理(步骤S2013)。

这里，步骤S2001～步骤S2008的各动作，与图5的步骤S1001～步骤S1008的各动作相同。而步骤S2013～步骤S2016的各动作，与图5的步骤S1015～步骤S1018的各动作相同。

在本实施方式中，如图7所述，每次从摄像元件读出图像数据时，都将该读出的图像数据与预先读出的图像数据或预先合成的合成图像数据合成。因此，总是只存在1个图像数据，而无需存储多个图像数据。

即，每当读出图像数据时就更新合成图像数据，所以无需象实施方式1那样存储着多个图像数据，因此，在本实施方式的照相机中，不具备图1中示出的图像存储电路113。

另外，在图8所示的流程图中，看上去好象在步骤S2012中在所有的图像处理完成前不进行下1次的摄像动作，但实际上如图7的时序图所示，摄像信号输出(图像数据的读出)、相关运算处理和图像合成处理是同时进行的。

如上所述，在本发明的实施方式1和实施方式2中，以使手抖的影响很难产生的短的曝光时间反复进行多次图像数据的读出，并通过对所得到的多个图像数据进行坐标变换处理和合成处理，生成1个摄影图像数据(合成图像数据)。即，通过将多个图像数据合成，可以补足曝光不足。而且，通过对多个图像数据(具体地说，第2图像数据)进行坐标变换，可以校正因手抖而产生的各图像数据的构图偏移，因而可以获得图像晃动小的摄影图像数据。

据此，虽然是数码静像照相机，但可以与摄像机一样以电子方式进行振动校正。因此，无需像卤化银照相机那样设置用于图像晃动校正的专用构件(校正透镜等)，可以实现照相机的小型化。而且，在实施方式1和2中，由于校正了图像本身的偏移，所以不仅可以校正角度晃动而且可以校正位移晃动。

另外，在上述的实施方式1和2中，当根据各图像内的特征点的偏移进行图像数据的坐标变换处理时，考虑了从摄像画面中的哪个区域抽取特征点。

如图6所示，在将摄像画面分割为配置主要被摄物体的可能性高的主被摄体区域130和该区域以外的周边区域131时，如从主要被摄物体区域130抽取特征点而校正构图偏移，如上所述，不能根据人物本身的晃动而正确地校正构图偏移。

因此，在实施方式2中，从周边区域131抽取特征点，并根据所抽取的特征点对各图像间的构图偏移进行校正(坐标变换)。然后，将进行了坐标变换的图像合成。因此，可以根据人物以外的静止被摄物体校正构图的偏移，因而可以获得无图像晃动的1个图像(进行了曝光补偿的摄影图像)。

进一步，在实施方式2的照相机中，利用照明单元10的照明光，在第1图像和第2图像之间形成亮度不同的区域和亮度大致相同的区域(亮度差小于预定值的区域)，并将亮度大致相同的区域作为特征点抽取区域。即，在本实施方式的照相机中，根据上述的周边区域131和上述的亮度相同的区域决定特征点抽取区域。

因此，可以从与静止被摄物体对应的区域正确地抽取特征点。而且，通过根据所抽取的该特征点进行第2图像数据的坐标变换，并将图像合成，可以获得几乎无图像晃动的图像(合成图像)。

(实施方式3)

图9是作为本发明实施方式3的照相机的框图。在本实施方式的照相机中，与实施方式1的照相机的不同点在于，设置有亮度调节电路21(调节部)。此外，对与实施方式1说明过的构件相同的构件使用同一符号。

这里，说明亮度调节电路21的作用。亮度调节电路21，使由坐标变换电路115进行了坐标变换的第2图像中的与第1图像中受照明单元10的照明光充分照射的区域(照明区域)对应的区域(作为第1区域的亮度调节区域)的影像变暗。具体地说，降低上述亮度调节区域的亮度信号的增益，或进行使上述亮度调节区域变为纯黑(无图像信息的状态)的处理。

在第1图像中，在受照明单元10的照明光充分照射的区域(照明区域)，只是已在第1图像中进行了大致适当的曝光。因此，如将第1图像数据及第2图像数据在所有的区域进行合成，则在上述照明区域中曝光过度。此外，在照明光所照射的人物的周边，亮度高的背景也产生了重叠。

因此，在本实施方式中，通过使第2图像中与照明区域对应的区域变暗，在照明区域只使用第1图像数据。

这里，详细地说明避免使亮度高的背景重叠在人物的周边的理由。

在第1图像中，照明单元10的照明光对人物进行照射，所以对于人物，可以得到大致适当的曝光。在第2图像中，不使照明单元10的照明光对人物进行照射，所以成为暗的被摄物体。而且，在暗的被摄物体上，有时在人物的背后隐藏着高亮度的背景。

在这种情况下，由于手抖产生的构图偏移，有时也使高亮度的背景与人物错开，从而能从人物的边缘看到。在此，如使从人物的边缘看到的高亮度的背景(图像)与第1图像重合，则在第1图像中隐藏在人物的背后而不应看到的高亮度的背景，将重叠地显示在第1图像中的人物上(例如人物的轮廓上)，使作为主要被摄物体的人物图像的精度明显地恶化。

在本实施方式中，为避免发生上述问题，由亮度调节电路21使第2图像中与照明区域对应的区域的亮度变暗。

通过将第1图像和第2图像进行比较，把进行亮度调节的区域定为其亮度不同的区域(在第1图像中为照明光充分照射的区域)。而且，亮度调节电路21，对第2图像中的与第1图像的照明区域对应的区域(亮度调节区域)的亮度进行调节。

这里。上述亮度调节区域(与第1图像的照明区域对应的区域)，根据由坐标变换电路115进行了坐标变换的第2图像数据来决定。

进行坐标变换前的第2图像，有时因手抖等而相对第1图像产生了偏移。即，在将第1图像中位于特定坐标的被摄物体部分与进行坐标变换前的第2图像中位于与上述特定坐标相同的坐标的被摄物体部分相比较时，有时不表示出相同的部分。

因此，在本实施方式中，对通过坐标变换处理校正了构图的偏移的第2图像，调节亮度调节区域的亮度。

对第2图像的亮度调节方法，首先，进行使第2图像的亮度调节区域变为纯黑(无图像信息的状态)的处理。然后，在亮度调节区域和亮度调节区域以外的区域的边界部分，进行使图像的暗度阶梯状地或连续地变化，从而使图像变模糊的处理。具体地说，进行使图像数据的亮度信号从亮度调节区域侧向上述其它区域侧平滑地变化的处理。

这是因为，如果按每个区域明确区分地进行亮度调节，则将使2个区域(亮度调节区域及其它区域)的边界不自然地截然分开，从而不能得到良好的图像。

在上述的实施方式1和2中，当进行连续进行的多次摄像动作中的第1次摄像动作时，使照明单元10发光，但在本实施方式中，当进行连续进行的多次摄像动作中的最后进行的摄像动作时，使照明单元10发光。

以下，说明在进行最后的摄像动作时使照明单元10发光的理由。

当以人物为主要被摄物体进行摄影时，通常，多数情况下认为，当照明单元10的发光结束时，人物的摄影结束，因此，有时在发光刚刚结束后就从摄影位置移开。

当如本实施方式的照相机那样，通过进行多次的摄像动作取得多个图像数据时，总的摄像时间变长，因此，如果在开始阶段使照明单元10发光，则在发光后，有时作为被摄物体的人物会有很大的移动。

因此，在本实施方式中，当进行最后的摄像动作时，使照明单元10发光，并在发光后不再进行摄像动作。据此，在连续多次的摄像动作结束前的期间，可以抑制被摄物体(人物)的移动。

另外，在用于取得第1图像数据的摄像动作中，如果象后帘同步那样在曝光的最后阶段使照明单元10发光，则能有效地抑制人物的移动。此外，也可以在正式发光前进行用于取得用于使照明单元10以适当的发光量进行正式发光的信息的发光(预发光)。

上述预发光，可以紧接在正式发光之前进行。具体地说，可以在使照明单元10发光(正式发光)而取得第1图像数据之前进行预发光。此外，在后帘同步的情况下，可以在曝光的最后阶段，即紧接在正式发光之前进行预发光。另外，也可以在进行连续的多次摄像动作中的最初的摄像动作之前，即在取得多个第2图像数据中的最初的第2图像数据之前进行预发光。

图10是表示本实施方式照相机的摄影动作的流程图，该流程当使接通了照相机上所设置的防抖动开关时，开始。

在步骤S3001，在摄影者通过将释放按钮按下一半的操作而使sw1接通之前，等待，当sw1接通时进入步骤S3002。

在步骤S3002，开始对摄像元件15的曝光。摄影控制电路111，一边根据来自信号处理电路112的输出检测被摄物体影像的对比度，一边驱动AF驱动电机14，使摄影镜头11沿光轴L方向移动。然后，在被摄物体影像的对比度达到峰值的时刻，通过使摄影镜头11的移动停止，使摄影光学系统进入对焦状态。另外，摄影控制电路111，根据摄像元件15的输出求出被摄物体的亮度(测光)。

在步骤S3003，根据在步骤S3002求得的被摄物体的亮度求出摄像次数。这里，为了根据步骤S3002的测光结果进行适当的曝光，必须使光圈13全开(例如f2.8)，并将快门12的开启时间(曝光时间)设定为1/8秒。

这里，当摄影光学系统的焦距按35mm胶片换算为30mm时，在使曝光时间为1/8秒的摄影中，有可能因手抖而产生图像晃动。因此，通过将曝光时间设定为比1/8秒短，可以使通过曝光得到的图像不产生图像晃动，同时通过进行多次曝光使总的曝光时间为与上述1/8秒大致相等的时间。具体地说，将曝光时间设定为1/32秒，并设定为进行4次摄像动作。

在步骤S3004，在照相机的取景器内设置的显示单元或在照相机外壳上设置的液晶显示单元上，显示在步骤S3003求得的与摄像次数有关的信息。因此，可以使摄影者得知摄像次数，此外，也可以用声音等向摄影者通知摄像次数。

在步骤S3005，在通过将释放按钮按到底的操作而使sw2接通之前等待。另外，当在步骤S3005将释放按钮的按下一半的操作解除而使sw1断开时，返回开始处。

在步骤S3006，摄影控制电路111，判断是否是最后的摄像动作。这里，当是最后的摄像动作时，进入步骤S3008，而如不是最后的摄像动作，则进入步骤S3007。

在步骤S3007，通过使照明单元10不发光地进行摄像动作而取得第2图像数据，并进入步骤S3009。

在步骤S3008，通过使照明单元10发光地进行摄像动作而取得第1图像数据，并进入步骤S3009。

在步骤S3009，将在步骤S3007或步骤S3008中取得的图像数据存储在图像存储电路113内。

在步骤S3010，判断摄像动作是否进行了在步骤S3003求得的摄像次数的量。这里，如所有的摄像动作尚未结束，则循环进行步骤S3006和步骤S3007(或步骤S3008)来等待。另外，当所有的摄像动作结束时，进入步骤S3011。

在步骤S3011，在位移检测电路114中，从第1或第2图像的区域抽取特征影像(特征点)，并求出所抽取的特征点的坐标。具体地说，如上所述，将第1图像和第2图像进行比较，并从亮度不同的区域(照明区域)以外的区域按每个图像抽取特征点，然后，求出所抽取的各特征点在摄像画面内的坐标。

在步骤S3012，在坐标变换电路115中，进行对各图像数据的坐标变换处理。这里，不对第1图像数据进行坐标变换处理，而是将其作为坐标变换处理的基准图像。

实际上，通过在第1图像数据与1个第2图像数据之间进行相关运算，求出特征点的变化量。此外，对其它的第2图像数据，也进行与预先存储的第1图像数据的相关运算，求出特征点的变化量。

在步骤S3013，首先，求出在通过比较第1图像和第2图像得到的亮度不同的区域(照明区域)的第1图像上的位置(坐标)。然后，使在步骤S3012进行了坐标变换的第2图像中位于与上述照明区域的位置相同的位置的区域(亮度调节区域)的亮度变暗。具体地说，如上所述，进行使第2图像的亮度调节区域变为纯黑(无图像信息的状态)的处理，同时对亮度调节区域和其它区域的边界部分进行模糊化(使图像的暗度阶梯状地或连续地变化)处理。

这里，在合成图像中与照明区域对应的区域上，如上所述，仅使用第1图像的图像信息。因此，通过在照明区域使用第2图像的图像信息，可以抑制合成图像的恶化。

在步骤S3014，对在步骤S3007得到的所有的第2图像数据判断步骤S3011～步骤S3013的处理是否已结束。这里，在步骤S3011～步骤S3013对所有的第2图像数据的处理结束前返回步骤S3011，并反复进行步骤S3011～步骤S3013的处理。另外，当对所有第2图像数据的上述处理已结束时，进入步骤S3015。

在步骤S3015，在图像合成电路118中对第1和第2图像数据进行图像合成处理。这里，在图像合成处理中，将各图像(第1和第2图像数据)对应的坐标信号相加平均，并通过相加平均而减小图像内的随机噪声。于是，可以将噪声减小了的图像的增益提高，从而得到适当的曝光。

在步骤S3016中，将图像合成电路118合成了的合成图像中因构图偏移而使各图像(第1和第2图像数据)不重合的区域(图4的区域127)切去。然后，对合成图像数据进行扩展补全处理，以使裁切后的合成图像具有原来的图像尺寸。

在步骤S3017，将在步骤S3016得到的合成图像数据(摄影图像数据)输出到配置在照相机背面等处的液晶显示单元，并在该液晶显示单元上显示为摄影图像。

在步骤S3018，将在步骤S3016得到的合成图像数据记录在记录介质上。

在步骤S3019，返回开始处。另外，当在步骤S3019进行将释放按钮按下一半的操作而使sw1接通时，再次进入流程进行步骤S3001、S3002、S3003、S3004。此外，当在步骤S3019进行将释放按钮按到底的操作而使sw2接通时，不返回开始处而是在步骤S3019等待。

在本实施方式的照相机中，对于主要被摄物体(人物)，利用使用照明单元10的照明光取得的第1图像中的图像信息，对于背景，通过合成由多次摄像动作得到的图像(第1和第2图像数据)而对曝光进行补偿。因此，使主要被摄物体和背景都能得到曝光适当的图像。

如上所述，本实施方式的照相机，除了在上述实施方式1和2中说明过的效果外，还具有如下所述的效果。即，通过由亮度调节电路21使进行了坐标变换的第2图像数据中亮度调节区域的亮度变暗，并在照明区域仅使用第1图像的图像信息，并通过在照明区域将第1和第2图像数据合成，可以抑制生成不自然的合成图像。而且，通过使照明区域和其它区域的边界模糊化，可以抑制上述边界变得不自然。

另外，由于在用于取得第2图像数据的摄像动作结束后，进行用于取得第1图像数据的摄像动作，所以可以与照明单元10的发光动作相配合地结束摄像动作，并能抑制所有的摄像动作尚未结束时被摄物体(人物)的移动。

(实施方式4)

在图11中示出了本发明实施方式4的照相机的结构。与实施方式3(图9)的不同点在于，设置有亮度调节禁止电路31(调节禁止部)和图像合成禁止电路32(合成禁止部)，以及将图像数据从图像存储电路113输入到记录电路117。

这里，说明亮度调节禁止电路31的动作。亮度调节禁止电路31，在取得第1图像数据时，并且照明单元10的照明光未充分照射被摄物体时进行动作。例如，当作为被摄物体的人物位于远离照相机的位置时，照明单元10的照明光有时照射不到人物。

与上述的实施方式一样，位移检测电路114，通过对第1图像和第2图像进行比较，将存在着亮度差的区域作为照明区域，并将照明区域以外的区域作为特征点抽取区域。

但是，当照明单元10的照明光未充分照射被摄物体时，第1图像和第2图像之间的亮度差小。即，第1和第2图像间的亮度差小于预定值。另外，当将第1图像和进行了坐标变换的第2图像进行比较时，有时因构图的偏移而使相同坐标的亮度多少有些不同。在本实施方式中，当存在着亮度差的区域小时，即，当存在着亮度差的区域相对于图像的整个区域所占比例小于预定值时，判定为照明光未充分照射。

在如上所述的情况下，如果使第2图像中与仅受照明单元10的照明光照射的区域对应的区域的亮度变暗，则即使进行图像合成，上述区域的曝光也不充分。

亮度调节禁止电路31，接收如上所述的位移检测电路114的结果，判断为在多数区域照明单元10的照射不充分，禁止亮度调节电路21对第2图像进行亮度调节处理。在这种情况下，在所有的区域进行第1图像数据和第2图像数据的图像合成处理。因此，在所有的区域，通过合成第1和第2图像数据，可以使合成图像得到适当的曝光。

以下，说明图像合成禁止电路32的动作。

如上所述，当照明单元10的照明光未充分照射主要被摄物体时，由亮度调节禁止电路31禁止亮度调节电路21的动作。

另外，在某些情况下，照明单元10的照明光不是照射摄影区域的一部分区域，而是照射整个摄影区域。在这种情况下，如将第1和第2图像数据合成，将使合成后的图像变成曝光过度的图像。

因此，图像合成禁止电路32，当照明单元10的照明光照射整个摄影范围时，禁止图像合成电路118的图像合成处理。

位移检测电路114，将第1图像和第2图像进行比较，并将存在着亮度差的区域判断为受照明单元10的照明光照射的区域(照明区域)。然后，将照明区域以外的区域用作特征点的抽取区域。

但是，当摄影画面内的所有的被摄物体都位于靠近照相机的位置时，例如拍摄靠近照相机的人物全体时，或当背景的反射率高，例如紧靠着人物的背后是白色墙壁时，在整个摄影区域都产生亮度差。即，在将第1图像和第2图像进行比较时，没有几乎没有亮度差的区域，在所有的区域都产生亮度差。

在位移检测电路114，判断为在整个摄影区域都有亮度差时，图像合成禁止电路32，通过从位移检测电路114接收上述信息，判断为如果将第1图像数据和第2图像数据合成，则曝光过度。

这里，当在整个摄影区域都有亮度差时，通过亮度调节电路21的处理使第2图像变为纯黑(无图像信息的状态)，因而，即使进行图像合成也不会产生曝光差。但是，通过图像合成处理，第2图像数据中含有的少许噪声，有时也使合成后的图像数据恶化，所以在本实施方式中，禁止图像合成电路118的图像合成处理。

以下，说明将图像数据从图像存储电路113输入到记录电路117的理由。在实施方式1中，仅将进行了图像合成处理后的图像数据记录在记录电路117内，用于进行图像合成处理的第1图像数据和第2图像数据，暂时存储在图像存储电路113内，但不记录在记录电路117内。

在本实施方式中，至少将第1图像数据与合成后的图像数据一起记录在记录电路117内。摄影者，根据所拍摄的被摄物体和亮度等，有时想要使用使照明单元10发光而得到的图像(第1图像)，或有时想要使用将多个图像数据合成而得到的合成图像。因此，在本实施方式中，由于将第1图像数据和合成图像数据记录在记录电路117内，因此无论哪种图像都能选用。

这里，虽然也可以将第2图像数据记录在记录电路117内，但在这种情况下，记录电路117的记录容量将因第2图像数据而被占满，从而使可摄影的次数减少。

因此，在本实施方式的照相机中，除合成图像数据以外，还将第1图像数据记录在记录电路117内，同时可以根据需要只将多个第2图像数据中的1个记录在记录电路117内。

图12是说明本实施方式照相机的摄影动作的流程图，该流程当使照相机上所设置的防抖动开关接通时开始。

在步骤S4001中，在摄影者通过将释放按钮按下一半的操作而使sw1接通之前等待，当sw1接通时进入步骤S4002。

在步骤S4002中，开始对摄像元件15的曝光。摄影控制电路111，一边根据来自信号处理电路112的输出检测被摄物体影像的对比度，一边驱动AF驱动电机14并使摄影镜头11沿光轴L方向移动。然后，在被摄物体影像的对比度达到峰值的时刻，使摄影镜头11的移动停止，从而使摄影光学系统进入对焦状态。另外，摄影控制电路111，还根据摄像元件15的输出求出被摄物体的亮度(测光)。

在步骤S4003中，根据在步骤S4002中求得的被摄物体的亮度求出摄像次数。这里，为根据步骤S4002中的测光结果进行适当的曝光，必须使光圈13全开(例如f2.8)，同时将快门12的开启时间(曝光时间)设定为1/8秒。

这里，当摄影光学系统的焦距按35mm胶片换算为30mm时，在使曝光时间为1/8秒的摄影中，有可能因手抖而产生图像晃动。因此，为进行抑制了图像晃动的摄影，将曝光时间设定为1/32秒，同时设定为进行4次摄像动作。

另一方面，当摄影光学系统的焦距为300mm时，进行抑制了图像晃动的摄影，可以将曝光时间设定为1/320秒，同时设定为进行40次摄像动作。

在步骤S4004中，在照相机的取景器内设置的显示单元或在照相机外壳上设置的液晶显示单元上，显示在步骤S4003求得的与摄像次数有关的信息。因此，可以使摄影者得知摄像次数，此外，还可以用声音等向摄影者通知摄像次数。

在步骤S4005，在通过将释放按钮按到底的操作而使sw2接通之前等待。此外，当在步骤S4005将释放按钮的按下一半的操作解除而使sw1断开时，返回开始处。

在步骤S4006，摄影控制电路111，判断是否是多次摄像动作中的最后的摄像动作。这里，当是最后的摄像动作时，进入步骤S4008，另外，不是最后的摄像动作时，进入步骤S4007。

在步骤S4007，通过使照明单元10不发光地进行摄像动作取得第2图像数据，并进入步骤S4009。

在步骤S4008中，通过使照明单元10发光地进行摄像动作取得第1图像数据，并进入步骤S4009。

在步骤S4009，将在步骤S4007或步骤S4008取得的图像数据存储在图像存储电路113内。

在步骤S4010，判断摄像动作是否进行了在步骤S4003设定的摄像次数的量。这里，如果所有的摄像动作尚未结束，则循环进行步骤S4006和步骤S4007(或步骤S4008)并等待。另外，当所有的摄像动作结束时，进入步骤S4011。

在步骤S4011，位移检测电路114，从第1或第2图像区域抽取特征影像(特征点)，并求出所抽取的特征点的坐标。具体地说，按如上所述的方式，将第1图像和第2图像进行比较，并从亮度不同的区域以外的区域抽取特征点，然后，求出所抽取的特征点在摄像画面内的坐标。

另外，位移检测电路114，将第1图像中的亮度和第2图像中的亮度进行比较，当第1图像中远比第2图像明亮的区域，在整个图像中为预定区域以上时，例如当图像的中央区域十分明亮，而在上述中央区域以外的区域，大约80％的区域受到照明光的照射因而也明亮时，判断为在整个图像区域具有足够的亮度。另外，当将第1图像和第2图像比较，并在有亮度差的区域，第1图像的亮度不足时，判断为照明不足。

在步骤S4012，位移检测电路114，如上所述，判断整个图像区域亮度是否充足。这里，当整个图像区域的亮度充足时，进入步骤S4013，不足时进入步骤S4019。

在步骤S4013，由坐标变换电路115对第2图像数据进行坐标变换处理。这里，不对第1图像数据进行坐标变换处理，而是将其作为坐标变换处理时的基准图像。

在步骤S4014，判断第1图像的亮度是否不足，即照明单元10的照明光是否不足。这里，当第1图像的亮度不足时，进入步骤S4016，在亮度充足时，进入步骤S4015。

即，当在第1图像中受照明光照射的区域的亮度不足时，禁止使第2图像数据的亮度变暗的处理，通过将第1图像和第2图像数据合成而使曝光适当。此外，在本实施方式中，虽然是禁止由亮度调节电路21进行的亮度调节处理，但也可以根据照明单元10的照明光照射的状态，即第1图像的亮度状态，改变亮度调节处理的程度。

例如，当第1图像的亮度充分时，可以使第2图像中的与第1图像的亮度充足的区域对应的区域变为纯黑(无图像信息的状态)。另外，当第1图像的亮度不充足，但照明单元10的照明光，在一定的程度上照射着被摄物体时，可以不使第2图像中与第1图像的受上述照明光照射的区域对应的区域变为纯黑，而是使其在一定程度上变暗。进一步，当对被摄物体的照明光的照射量小于或等于预定值时，即照明光几乎照射不到被摄物体，从而第1图像的亮度不足时，可以不对第2图像数据进行亮度调节处理，即不使第2图像变为纯黑。

在步骤S4015，亮度调节电路21，将第1图像数据和第2图像数据进行比较，并求出亮度不同的区域(受照明光照射的照明区域)。然后，使在步骤S4013使进行了坐标变换的第2图像数据中与上述照明区域对应的区域(亮度调节区域)的亮度变暗。

这里，在对第2图像数据的亮度进行调节的方法中，进行使第2图像中的亮度调节区域变为纯黑(无图像信息的状态)的处理，同时进行使亮度调节区域和其它区域的边界部分模糊化的处理。

即，不将第2图像数据中亮度调节区域的信号用于图像合成处理，而只使用第1图像数据的照明区域上的信号。据此，可以抑制将第2图像数据的亮度调节区域用于图像合成处理时导致的合成图像的恶化。

在步骤S4016，判断对于第1和所有的第2图像数据，步骤S4011～步骤S4015的处理是否已结束。这里，对于所有图像数据，上述处理结束前返回步骤S4011，并反复进行上述处理。另外，对于所有图像数据，上述处理已结束时，进入步骤S4017。

在步骤S4017，由图像合成电路118合成第1和第2图像数据。这里，图像合成处理，通过将各图像数据对应的坐标信号相加平均来进行，并通过相加平均，减小图像内的随机噪声。于是，噪声减小了的图像的增益提高，从而得到适当的曝光。

在步骤S4018，将由图像合成电路118合成后的图像中因各图像的构图偏移而不重合的区域(图4的区域127)切去。然后，对合成图像数据进行扩展补全处理，以使裁切后的合成图像具有原来的图像尺寸。

在步骤S4019，将在步骤S4018得到的合成图像数据输出到配置在照相机背面等处的液晶显示单元，并在该液晶显示单元上显示为摄影图像。

在步骤S4020，将在步骤S4018得到的合成图像数据图像或第1图像记录在记录电路117或记录媒体(图中未示出)内。这里，在步骤S4009将存储在图像存储电路113内的第2图像数据删去。

在步骤S4021，返回开始处。另外，当在步骤S4021进行将释放按钮按下一半的操作而使sw1接通时，再次进入流程进行步骤S3001、S3002、S3003、S3004。此外，当在步骤S4021中进行将释放按钮按到底的操作而使sw2接通时，不返回开始处而是在步骤S4021等待。

如上所述，在本发明的实施方式4中，除了在上述实施方式1～3中说明过的效果外，还具有如下所述的效果。

在实施方式4的照相机中，将第1图像(有照明光)和第2图像(无照明光)进行比较，当亮度差小于或等于预定值时，由亮度调节禁止电路31禁止亮度调节电路21的动作。因此，当照明光不能照射到人物等主要被摄物体时，除第1图像数据外还使用第2图像数据，所以可以补偿主要被摄物体的亮度(曝光)。

另外，与此相反，当在第1图像中照明光充分照射整个画面时，由图像合成禁止电路32禁止图像合成电路118进行的合成动作，所以，可以抑制合成的图像的曝光过度。

进一步，在通过合成第1图像(有照明光)和第2图像(无照明光)而在外观上校正摄影图像的曝光的照相机中，在图像合成处理结束后，通过删除第2图像数据而确保记录存储器的容量，从而可以记录更多的摄影图像数据。

如上所述的各实施方式是本发明的一例，本发明可以对上述各实施方式进行各种变更或改进后实施。

另外，本发明，可以适用于镜头一体式的照相机和可组装镜头装置的照相机。此外，在上述的各实施方式中，说明了具有照明单元10的照相机，但对可组装照明装置的照相机也可以适用。即，当通过照明装置和照相机之间的通信而使照明装置发光时，就可以进行上述各实施方式中的动作。进一步，上述各实施方式中的动作，可以根据程序执行，该程序可以存储在记录媒体等内。

另外，在上述实施方式1～4中，在照相机内生成合成图像，但也可以将第1和第2图像数据从照相机发送到PC(Personal Computer：个人计算机)等图像处理装置，并在图像合成装置内生成合成图像。在这种情况下，用于生成合成图像的图像处理装置中的动作，与上述各实施方式中说明的动作态相同。

Claims

1.一种图像处理装置，通过合成用摄像元件依次拍摄的、至少包括使用了闪光灯光的图像的第1图像和第2图像，获得进行了曝光补偿的合成图像，其特征在于：包括

检测部，根据位于上述第1图像和上述第2图像的亮度差小于预定值的区域内的特定点，检测上述第1图像和上述第2图像之间的偏移量；

坐标变换部，根据上述检测部的检测结果，对上述第2图像进行坐标变换，使得与上述第1图像吻合；以及

合成部，合成上述第1图像和由上述坐标变换部进行了坐标变换的上述第2图像。

2.根据权利要求1所述的图像处理装置，其特征在于：

上述检测部，以作为上述使用了闪光灯光的图像的上述第1图像为基准，检测上述第2图像的偏移量。

3.根据权利要求1或2所述的图像处理装置，其特征在于：

还包括调节部，对与上述使用了闪光灯光的图像内的受上述闪光灯光照射的区域对应的、未使用上述闪光灯光的图像内的第1区域的亮度进行调节。

4.根据权利要求3所述的图像处理装置，其特征在于：

上述调节部，使上述第1区域的亮度变暗。

5.根据权利要求3所述的图像处理装置，其特征在于：

上述调节部对亮度进行调节，使得上述未使用上述闪光灯光的图像中的上述第1区域和上述第1区域以外的第2区域的边界模糊化。

6.根据权利要求5所述的图像处理装置，其特征在于：

上述调节部，使上述边界的亮度阶梯状地或连续地变化。

7.根据权利要求1所述的图像处理装置，其特征在于：

还包括合成禁止部，当上述第1图像中的特定区域相对于上述第2图像的亮度差大于预定值时，禁止上述合成部的合成动作。

8.根据权利要求3所述的图像处理装置，其特征在于：

还包括调节禁止部，当上述第1图像中的特定区域相对于上述第2图像的亮度差小于预定值时，禁止上述调节部的调节动作。

9.一种具有摄像元件和图像处理装置的图像摄取装置，所述图像处理装置通过合成用上述摄像元件依次拍摄的、至少包括使用了闪光灯光的图像的第1图像和第2图像，获得进行了曝光补偿的合成图像，其特征在于：

上述图像处理装置包括

检测部，根据位于上述第1图像和上述第2图像的亮度差小于预定值的区域内的特定点，检测上述第1图像和上述第2图像之间的偏移量；以及

10.根据权利要求9所述的图像摄取装置，其特征在于：

当对多个图像中的最后的图像进行摄影时，使用上述闪光灯光。

11.根据权利要求9所述的图像摄取装置，其特征在于：

还包括记录部，可记录使用上述闪光灯光而得到的图像和上述合成图像。

12.一种图像处理方法，用于通过将用摄像元件依次拍摄的、至少包括使用了闪光灯光的图像的第1图像和第2图像进行合成，获得进行了曝光补偿的合成图像，其特征在于：包括

检测步骤，根据位于上述第1图像和上述第2图像的亮度差小于预定值的区域内的特定点，检测上述第1图像和上述第2图像之间的偏移量；以及

坐标变换步骤，根据上述检测步骤的检测结果，对上述第2图像进行坐标变换，使得与上述第1图像吻合；以及

合成步骤，合成上述第1图像和在上述坐标变换步骤进行了坐标变换的上述第2图像。

13.根据权利要求12所述的图像处理方法，其特征在于：

在上述检测步骤，以作为上述使用了闪光灯光的图像的上述第1图像为基准，检测上述第2图像的偏移量。

14.根据权利要求12或13所述的图像处理方法，其特征在于：

还包括调节步骤，对与上述使用了闪光灯光的图像内的受上述闪光灯光照射的区域对应的、未使用上述闪光灯光的图像内的第1区域的亮度进行调节。

15.根据权利要求14所述的图像处理方法，其特征在于：

在上述调节步骤，使上述第1区域的亮度变暗。

16.根据权利要求14所述的图像处理方法，其特征在于：

在上述调节步骤对亮度进行调节，使得上述未使用上述闪光灯光的图像中的上述第1区域和上述第1区域以外的第2区域的边界模糊化。

17.根据权利要求16所述的图像处理方法，其特征在于：

在上述调节步骤，使上述边界的亮度阶梯状地或连续地变化。

18.根据权利要求12所述的图像处理方法，其特征在于：

当上述第1图像中的特定区域相对于上述第2图像的亮度差大于预定值时，禁止上述合成步骤的合成动作。

19.根据权利要求14所述的图像处理方法，其特征在于：

当上述第1图像中的特定区域相对于上述第2图像的亮度差小于预定值时，禁止上述调节步骤的调节动作。