CN1682528A - 图像合成装置、方法、程序和记录该程序的记录介质 - Google Patents

图像合成装置、方法、程序和记录该程序的记录介质 Download PDF

Info

Publication number
CN1682528A
CN1682528A CN03821626.4A CN03821626A CN1682528A CN 1682528 A CN1682528 A CN 1682528A CN 03821626 A CN03821626 A CN 03821626A CN 1682528 A CN1682528 A CN 1682528A
Authority
CN
China
Prior art keywords
image
subject
parts
background
overlapping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN03821626.4A
Other languages
English (en)
Other versions
CN100477745C (zh
Inventor
广泽昌司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2002233130A external-priority patent/JP3983624B2/ja
Priority claimed from JP2002233012A external-priority patent/JP3983623B2/ja
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN1682528A publication Critical patent/CN1682528A/zh
Application granted granted Critical
Publication of CN100477745C publication Critical patent/CN100477745C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time

Abstract

本发明提供一种图像合成装置，通过第一被摄体图像取得部件(1)、第二被摄体图像取得部件(3)、背景图像取得部件(2)取得第一被摄体图像、第二被摄体图像、背景图像三张图像，将其中一张作为基准图像，通过背景修正量计算部件(4)、修正图像生成部件(5)生成背景部分一致的两张修正图像。重叠图像生成部件(9)生成将两张修正图像之一或者两个与基准图像重叠的图像。由此，由于重叠图像之间背景一致，所以可以将分别拍摄的第一被摄体和第二被摄体相对于背景无不适感地合成。

Description

图像合成装置、方法、程序和记录该程序的记录介质
技术领域
本发明涉及一种装置、方法、程序和程序介质，可以将分别拍摄的多个被摄体同时存在地合成在一张图像中，而且在这时进行辅助，使得被摄体之间可以不重叠地拍摄/合成。
背景技术
在胶片照相机和数字照相机中，例如在两个人并排照相时，只能使用三角架并用自动拍照器拍摄，或者请过路的人等帮助拍摄。
但是，带着三角架行走很困难，而且，存在请求不了解的人也会引起注意的问题。
对此，在特开2000-316125号公报(2000年11月14日公开)中，公开了一种图像合成装置，该装置从在同一场所拍摄的多张图像中提取被摄体的区域，通过将被摄体的图像与背景合成或不合成，可以合成能够使仅为背景的图像和其它图像的被摄体同时存在的图像。
而且，在特开2001-333327号公报(2001年11月30日公开)中，公开了一种数字照相机和图像处理方法，可以将拍摄完成的参照图像中的被指定区域(被摄体区域)重叠到拍摄中的图像上，使其在监视器画面或者取景器内显示，同时可以生成将被摄体区域内的被摄体合成到拍摄中的图像上的合成图像的图像数据。
但是，在这些现有技术中，产生两大问题。
第一个问题，仅简单地剪切出参照图像中的被摄体区域后与其它图像重合，在被摄体区域的指定不正确的情况下，有以下几点情况：(1)合成结果的被摄体欠缺，(2)无用的部分被合成，(3)即使指定正确，合成边界也微妙地出现不自然。
例如，在情况(1)的、与实际的被摄体区域相比，参照图像中指定的被摄体区域(以下称为指定被摄体区域)欠缺的情况下，即使在合成图像上，该被摄体也欠缺，因此，产生明显的不自然。
而且，在情况(2)的、与实际的被摄体区域相比，参照图像中指定的被摄体区域过大的情况下，还包含了参照图像上的被摄体周围的背景。上述的“无用的部分”是指该被包含的背景部分。在特开2001-333327号公报中说明的合成方法中，有时也存在在不同的场所对参照图像和拍摄图像进行拍摄的情况，所以有时指定被摄体区域中包含的背景图像(参照图像上的背景)和合成图像上的周围的背景(拍摄图像上的背景)不同。这时，在合成图像上，在指定被摄体区域背景突然改变，所以变成不自然的合成图像。
假设，即使在同一场所，同一背景下进行拍摄，在特开2001-333327号公报中说明的合成方法中，由于可以将参照图像中的指定被摄体区域配置或合成在拍摄图像上的任意的位置，所以包含于被摄体区域中的背景图像(参照图像上的背景)和拍摄图像上的合成位置周围的背景(拍摄图像的背景)不限于相同位置的背景，所以合成结果同样变得不自然。
如特开2001-333327号公报那样，用户使用图板(tablet)等对参照图像中的指定被摄体区域指定其轮廓的情况下，因为人为判断了轮廓以后进行指定，所以指定被摄体区域的指定没有大的差错，但是有可能产生1、2像素乃至数像素左右的误差。如果用人手正确地指定1像素单位，则需要大量的劳动。
而且，在情况(3)的、即使指定正确，合成边界也微妙地变得不自然的情况下，即使假设情况(1)、(2)那样，指定被摄体区域在像素单位下正确，作为被摄体区域的合成结果，也包含其轮廓的像素与拍摄图像的背景不融合的情况。
这是由于使用像素单位进行指定，指定被摄体区域的轮廓精度不够，实际上，如果不是使用比1像素更精细的单位则不能表现。即，轮廓的像素，原本被摄体部分为(0.X)像素，背景部分为(1.0-0.X)像素，作为像素值，被摄体部分的像素值和背景部分的像素值按照比例而成为足够的值，即被平均的值。
因此，被摄体部分和背景部分的比例由于不能从被平均的像素值反推，所以结果是在合成时不能以像素单位进行操作。其结果，在合成图像的轮廓的像素值中，包含参照图像的背景的值，不能与周围的拍摄图像的背景融合。
以上的(1)～(3)的问题，即使通过特开2000-316125号公报中公开的合成方法也不能解决。在该公报中，公开了在将同一场所或者相互接近的场所拍摄的多张图像重合之前，进行位置匹配的内容。
但是，例如在使用相同的背景，两个人交替拍摄对方的情况下，由于照相机的方向不同，从而不仅拍摄的背景的位置移动，而且产生由于照相机的倾斜造成的图像的旋转、由于拍摄者和被摄体的距离的错位造成的图像的扩大缩小、或者由于拍摄者的身高的不同导致照相机的仰角变化，从而造成图像的失真。
因此，仅通过简单地进行图像的位置的匹配而重合，不能解决上述(1)～(3)的问题，合成结果变得不自然。
第二个问题是，如果进行拍摄的目的是将参照图像中的被摄体区域和包含其它的被摄体的拍摄图像进行合成，则如果不注意拍摄时被摄体的位置，则各个图像中的被摄体的区域在合成图像上相互重合，存在某些被摄体从合成图像中露出的情况。
对于该问题，在特开2000-316125号公报中，仅主要对使用了拍摄完成的图像的合成方法进行了说明，没有触及防止被摄体之间的重叠和从合成图像中露出的拍摄方法等。
而且，如果按照特开2001-333327号公报的图像处理方法，可以将参照图像中的被摄体区域(用户使用图板等指定轮廓)和拍摄中的图像重叠后显示，所以关于合成时的参照图像中的被摄体区域和拍摄中的图像中的被摄体区域，在拍摄时可以知道被摄体之间是否重叠，或者被摄体区域是否从合成图像中露出。从被摄体重叠或者露出时，可以通过移动被摄体或者照相机来变更拍摄中的图像中的被摄体的位置，可以拍摄/记录不产生重叠或者露出的图像。
但是，对于被摄体区域的识别处理、被摄体区域之间是否重叠、从被摄体区域是否从合成图像露出的判断处理等高度的处理，存在必须由人自己处理的不便。而且，也有参照图像中的被摄体的区域必须由手指定的不便。
本发明是鉴于上述的课题而提出的，第一目的是提供一种进行使合成结果不会变得不自然的合成的图像合成装置(图像合成方法)，第二目的是提供一种图像合成装置(图像合成方法)，在将分别拍摄的多个被摄体可同时存在地合成到一张图像时，对拍摄进行辅助，使得合成图像上被摄体之间不产生重叠。
发明内容
为达到上述的目的，本发明的第一图像合成装置包括：背景修正量计算部件，对作为背景的图像的背景图像、第一被摄体图像和第二被摄体图像之间的背景的相对移动量、旋转量、放大缩小率、失真修正量的其中一个或者组合构成的修正量进行计算，或者对计算并存储的修正量进行读取，所述第一被摄体图像包括所述背景图像的至少一部分和第一被摄体，所述第二被摄体图像包括背景图像的至少一部分和第二被摄体；以及重叠图像生成部件，将背景图像、第一被摄体图像、第二被摄体图像的其中之一作为基准图像，用由所述背景修正量计算部件得到的修正量对另外两个图像进行修正，使得被摄体以外的背景的至少一部分重叠，并生成将基准图像和修正后的另外一个或者两个图像重叠的图像。
在上述的结构中，“第一被摄体”、“第二被摄体”是要进行合成的对象，一般多为人物，有时也为物等。严格来说，“第一被摄体”是在背景图像和第一被摄体图像之间，背景部分至少一部分重叠时，像素值不一致的区域，即有变化的区域都可能成为“第一被摄体的区域”。因此，以通过与第一被摄体图像的比较处理，提取“第一被摄体的区域”为目的而取得背景图像。(而且，在第一被摄体图像和第二被摄体图像的两图像之间不存在重叠的背景部分的情况下，也有以填补该不存在的背景部分为目的而使用背景图像的情况。)
但是，在背景部分，因为即使是树的叶子因风而摇动等的小变化，也成为有变化的区域，所以在某种程度上忽视小的变化和小的区域，可以确实地提取“第一被摄体的区域”，可以得到更自然的重叠图像。对于“第二被摄体”也一样。
而且，在例如被摄体为人物的情况下，被摄体不限于必须是一个人，有时也将多个人物汇总成为“第一被摄体”和“第二被摄体”。即，即使是多个人，也作为合成处理的单位进行汇总处理，成为一个“被摄体”。而且，不仅是人物，对物体也一样。
而且，被摄体不限于必须是一个区域，也有多个区域构成的情况。“第一”、“第二”是为了简单区别不同帧的图像而赋予的，不是表述拍摄的顺序等，本质上没有差别。而且，例如人物拿着衣服或者物品等，即使不出现在“不包含第一、第二被摄体的仅为背景的图像”中，它们也被包含在被摄体中。
“第一被摄体图像”、“第二被摄体图像”是包含上述的“第一被摄体”、“第二被摄体”的不同的图像，一般来说，是用照相机等拍摄了该被摄体的图像。但是，在图像上仅拍摄被摄体，与背景图像共用的背景部分完全没有拍摄的情况下，不适合合成，所以需要对至少一部分与背景图像共用的背景部分进行拍摄。而且，通常，第一被摄体图像、第二被摄体图像使用相同背景，即，使照相机不动进行拍摄的情况较多。
而且，拍摄被摄体的照相机不必须是将图像作为静止图像记录的静止照相机，也可以是将图像作为活动图像记录的视频照相机。在视频照相机生成作为静止图像的重叠图像时，将构成拍摄的活动图像的一帧图像作为被摄体图像取出，用于合成。
所谓“背景”是从风景中除去了“第一被摄体”、“第二被摄体”的部分。
所谓“背景图像”是至少包含一部分第一被摄体图像、第二被摄体图像各自的背景部分的图像的图像，是不拍摄第一被摄体图像、第二被摄体图像的图像。通常，使用与第一被摄体图像、第二被摄体图像相同的背景，即，多为使照相机不移动，而使第一被摄体、第二被摄体从照相机的前面移出后进行拍摄的情况。
所谓“第一、第二被摄体以外的背景”是从第一被摄体图像、第二被摄体图像中除去第一被摄体的区域、第二被摄体的区域后剩余的部分。
所谓“移动量”是使其它图像平行移动到基准图像和背景的至少一部分重叠的位置的量，也可以指旋转和扩大缩小的中心的对应点的移动量。
所谓“失真修正量”是在照相机和镜头的位置和方向改变所造成的拍摄图像的变化中，用于对用平行移动、旋转、扩大缩小不能修正的剩余的变化进行修正的修正量。其中也包含例如在对拍摄高的建筑时，由于透视法的效果，上面的部分即使是相同的尺寸也拍摄得小的被称为“余势”等的效果等进行修正的情况等。
“重叠图像生成部件”虽然生成重叠图像，但不必作为一个图像数据生成，与其它部件的图像数据匹配合成观察也可以。例如，在显示部件上显示某图像时，如果以在该图像上覆写的形式显示另一图像的一部分，则在视觉上由两个图像数据生成一个合成图像数据，看到可以显示该合成图像数据，但是实际上，仅分别存在基于两个图像数据的图像，不存在合成图像数据。
在背景修正量计算部件的修正量计算中，例如可以使用块匹配等对两个图像间的部分位置的对应进行计算的方法。如果例如这些方法等，求出第一被摄体图像、第二被摄体图像、背景图像中的两个图像间的对应，则如果背景部分中存在一致的部分，则可以计算出该部分位置上的对应。由于被摄体部分不存在于另一图像中，所以该部分得到错误地对应。使用统计的方法等，从背景部分的正确的对应和被摄体部分的错误的对应中，仅得到背景部分的正确的对应。根据剩余的正确的对应，可以计算背景部分的相对移动量、旋转量、扩大缩小率、失真修正量的任意一个或其组合所构成的修正量。
重叠图像生成部件根据背景修正量计算部件计算的修正量，与基准图像匹配后做成修正的图像，使得另外两个图像背景部分一致。求出的修正量意味着两个图像间的关系，例如，如果分别知道A和B的关系，B和C的关系，则也可以知道A和C的关系，因此，即使将三个图像中的任意一个选为基准图像，通过背景修正量计算部件，可以计算出该图像和其它两个图像的关系作为修正量。
接着，通过重叠图像生成部件生成将修正的一个或者两个图像重叠在基准图像上的图像。作为图像的重叠方法，可以将三个图像对应位置的像素的图像数据以在0～1的范围内比例分配的任意比率混合。例如，在将背景图像的比率设为0，将第一被摄体图像的比率设为1，将第二被摄体图像的比率设为0，则仅将第一被摄体图像的图像数据写入该像素中。并且，在将三个图像的混合比率设为1∶1∶1时，将三个图像的图像数据均等合成后的图像数据写入该像素中。
而且，如何设定混合比率，作为本发明并非实质的内容，在希望显示乃至输出什么样的重叠图像的用户的目的之后。
通过以上的处理，作为本发明的重要的特征，可以在使背景部分一致的状态下，将第一被摄体和第二被摄体合成到一张图像上。
而且，在将背景图像设为基准图像的情况下，从修正后的第一被摄体图像和修正后的第二被摄体图像中提取出的至少“第一被摄体的区域”和“第二被摄体的区域”被合成到背景图像中。对于“第一被摄体的区域”和“第二被摄体的区域”以外的各背景部分，如前所述，可以用规定的比率合成在背景图像的对应像素中，也可以全部不合成。
而且，在将第一被摄体图像和第二被摄体图像的一个作为基准图像的情况下，通过与修正后的背景图像的比较处理，可以通过仅将从修正后的另一个被摄体图像中提取的被摄体的区域合成到基准图像中，生成重叠图像，也可以将背景图像的对应像素以0～1之间的适当比率合成到基准图像的背景部分中。
这样，对于将基准图像和其它修正后的一个图像重叠还是与两个重叠则有各种变化。
如上所述，由于可以修正两个图像之间的背景的偏差从而进行合成，由此，除了被摄体等明显不同的区域以外的部分(即背景部分)，不论怎样重叠，合成结果也基本一致，具有合成结果不会不自然的效果。例如，在仅主要将被摄体区域进行合成时，即使被摄体区域的提取和指定多少有些不正确，但是由于被摄体区域周围的背景部分与合成目标的图像的部分没有偏差或者失真，所以被合成为不正确的区域的内外连续的风景，产生减少视觉上的不自然的效果。
即使被摄体区域的提取以像素为单位是正确的，但如课题项目中说明的那样，在现有技术的方法中，产生比1像素更精细的水平上的不自然，但是在本发明中，由于匹配背景部分后进行合成，所以轮廓的像素周围的像素是相同背景部分的位置的像素，所以即使合成也变得自然。这样，产生防止或者减轻在比1个像素更精细的水平上的不自然的效果。
而且，由于对背景的偏差进行修正后进行合成，所以在拍摄背景图像和第一/第二被摄体图像时，不需要用三角架等固定照相机，只要用手等对齐大致的方向就可以，产生拍摄变得简单的效果。
而且，在不使用背景图像，仅用第一/第二被摄体图像进行处理时，在第一被摄体图像和第二被摄体图像的背景部分中没有重叠(一致部分)的情况下，用背景修正量计算部件不能对修正量进行计算。在使用背景图像的情况下，即使第一被摄体图像和第二被摄体图像之间背景部分中不重叠，但只要背景图像和第一被摄体图像的背景部分中存在重叠，背景图像和第二被摄体图像的背景部分中存在重叠，则可以对第一被摄体图像和第二被摄体图像之间的修正量进行计算。
由此，即使漏掉第一被摄体图像的背景部分和第二被摄体图像的背景部分之间的背景，只要背景图像的背景插入该漏掉的背景部分，则可以产生能够将在背景部分中没有重叠的第一被摄体图像和第二被摄体图像以背景连接的状态进行合成的效果。
而且，在利用背景图像计算出第一被摄体图像和第二被摄体图像之间的修正量以后，从背景图像、第一被摄体图像以及第二被摄体图像中分别取出必要的背景部分，可以做成在通过修正相互不足的部分而连接成的背景上，合成了第一被摄体和第二被摄体的重叠图像。
而且，本发明的第一图像合成装置可以是以下结构：包括从基准图像和修正后的另一个或另两个图像之间的差分图像中提取第一被摄体的区域的第二被摄体的区域的被摄体区域提取部件，所述重叠图像生成部件将基准图像和由所述被摄体区域提取部件得到的区域内的修正后的另一个或者另两个图像重叠，以取代将基准图像和修正后的另一个或者另两个图像重叠。
这里，所谓“被摄体的区域”是用与背景分离的边界分割被摄体的区域。例如，人物持有衣服或者物品等，如果在背景图像中不显现它们，则它们也是被摄体，被包含在被摄体区域中。而且，被摄体的区域并不限于必须是连接的一块区域，有时也分为多个区域。
所谓“将由所述被摄体区域提取部件得到的区域的…图像重叠”不是说除了该区域以外不生成任何图像，而是意味着除此以外的区域埋入在基准图像等中。
由于进行修正而使背景部分一致，所以作为差分表现的主要是被摄体部分。因此，可以通过被摄体区域提取部件提取包含于差分图像中的被摄体区域。这时，如果实施从差分图像中除去干扰等(例如，除去差分的像素值小于或等于阈值的部分)等处理，则可以更正确地提取被摄体区域。
在生成重叠图像时，决定各像素位置的像素值，但仅在该像素位置处于由被摄体区域提取部件得到的被摄体区域内的情况下，使被摄体的图像重叠。
由此，产生可以在基准图像上或者被修正的背景图像上，仅合成被修正的被摄体图像中的被摄体区域的效果。或者，也可以在在被修正的被摄体图像上，被修正的背景图像上，仅合成基准图像中的被摄体区域，或在被修正的背景图像上合成基准图中的被摄体区域和被修正的被摄体图像中的被摄体区域，或在作为基准图像的背景图像上合成被修正的被摄体图像中的被摄体区域。
而且，还有以下效果：如果在对被摄体区域的透过率进行改变等后进行合成，则可以使用户容易知道要将哪个区域进行合成，如果被摄体之间有重叠，则该情况也更容易了解。进而，由此产生可以辅助拍摄以便不产生重叠的效果。
而且，在存在重叠的情况下，应该移动被摄体或照相机等，在没有重叠的状态下重新拍摄较好，但是，这时的辅助成为，例如使用户容易识别是否产生重叠，或者提供用户判断任何使被摄体或者照相机移动才可以消除重叠的材料(这里为合成图像)等。
而且，不使用背景图像，仅用第一被摄体图像和第二被摄体图像计算背景修正量后对哪一个进行修正，生成差分图像，求出差分区域，在背景部分中存在适当量的重叠时也是可能的。这时，如果在第一被摄体区域和第二被摄体的区域中不存在重叠，则作为具有第一被摄体的轮廓的区域(这里为了说明称为“第一区域”)和具有第二被摄体的轮廓的区域(同样称为“第二区域”)的两个独立的区域求出差分区域。
这时，如果仅在一个被摄体图像中考虑，则第一区域和第二区域的其中一个是被摄体部分，则另一个是背景部分则是没有问题的(顺带提及，差分区域的周围是一致的背景部分)。例如，如果是第一被摄体图像，则其中一个是第一被摄体部分，另一个是背景部分。或者，在第一区域中考虑，则第一被摄体图像中的第一区域和第二被摄体图像中的第一区域中的一个是被摄体部分，另一个是背景部分。
但是，仅使用仅由第一被摄体图像和第二被摄体图像做成的差分图像不能判断哪一个是被摄体部分，哪一个是背景部分。
对此，在使用背景图像时，可以产生能够简单地判断哪一个是被摄体部分，哪一个是背景部分的效果。例如，将背景图像设为基准图像时，背景图像和从被修正的第一被摄体图像求出的被摄体区域仅成为第一区域。这时，当然被修正的第一被摄体图像中的第一区域是被摄体部分，背景图像中的第一区域是背景部分。关于第二被摄体图像也一样。因为不是从差分图像同时检测第一区域和第二区域，所以可以马上判断哪一个是被摄体部分，哪一个是背景部分。
这样，如果使用背景图像、第一被摄体图像和第二被摄体图像三张，则产生容易提取第一被摄体的区域或者第二被摄体的区域的效果。而且，因为可以分别提取第一被摄体的区域和第二被摄体的区域，所以产生在各被摄体中存在重叠时，可以决定优先合成哪一个，即在重叠部分中，决定第一被摄体合成于第二被摄体之上还是合成于其之下的效果。
为了达到上述的目的，本发明的第二图像合成装置，包括背景修正量计算部件，对第一被摄体图像和第二被摄体图像之间的背景部分的相对移动量、旋转量、放大缩小率、失真修正量的其中一个或者组合构成的修正量进行计算，或者对计算并存储的修正量进行读取，所述第一被摄体图像包括背景和第一被摄体，所述第二被摄体图像包括所述背景的至少一部分和第二被摄体；以及重叠图像生成部件，将第一被摄体图像、第二被摄体图像的其中之一作为基准图像，用由所述背景修正量计算部件得到的修正量对另一个图像进行修正，使得被摄体以外的背景部分至少部分重叠，并生成将基准图像和修正后的图像重叠的图像。
在上述的结构中，所谓的“第一被摄体”、“第二被摄体”是要进行合成的对象，一般多为人物，也有物等的情况。严格来说，“被摄体”在第一被摄体图像和第二被摄体图像之间，背景部分至少部分重叠时，存在像素值不一致的区域，即具有变化的区域都成为“被摄体的区域”的可能性。
但是，在背景部分，因为即使是树的叶子因风而摇动等的小变化，也成为有变化的区域，所以在某种程度上忽视小的变化和小的区域，可以确实地提取“第一被摄体的区域”，可以得到更自然的重叠图像。对于“第二被摄体”也一样。
而且，在例如被摄体为人物的情况下，被摄体不限于必须是一个人，有时也将多个人物汇总成为“第一被摄体”和“第一被摄体”。即，即使是多个人，也作为合成处理的单位进行汇总处理，成为一个“被摄体”。而且，不仅是人物，对物体也一样。
而且，被摄体不限于必须是一个区域，也有多个区域构成的情况。“第一”、“第二”是为了简单区别不同帧的图像而赋予的，不是表述拍摄的顺序等，本质上没有差别。而且，例如人物拿着衣服或者物品等，即使不出现在“不包含第一、第二被摄体的仅为背景的图像”中，它们也被包含在被摄体中。
“第一被摄体图像”、“第二被摄体图像”是包含上述的“第一被摄体”、“第二被摄体”的不同的图像，一般来说，是用照相机等拍摄了该被摄体的图像。但是，在图像上仅拍摄被摄体，与背景图像共用的背景部分完全没有拍摄的情况下，不适合合成，所以需要对至少一部分与背景图像共用的背景部分进行拍摄。而且，通常，第一被摄体图像、第二被摄体图像使用相同背景，即，使照相机不动进行拍摄的情况较多。
而且，拍摄被摄体的照相机不必须是将图像作为静止图像记录的静止照相机，也可以是将图像作为活动图像记录的视频照相机。在视频照相机生成作为静止图像的重叠图像时，将构成拍摄的活动图像的一帧图像作为被摄体图像取出，用于合成。
所谓“背景的部分”是从第一被摄体图像、第二被摄体图像中除去了“第一被摄体”、“第二被摄体”的部分。
“移动量”、“失真修正量”如第一图像合成装置中说明的那样。
“重叠图像生成部件”虽然生成重叠图像，但不必作为一个图像数据生成，与其它部件的图像数据匹配合成观察也可以。例如，在显示部件上显示某图像时，如果以在该图像上覆写的形式显示另一图像的一部分，则在视觉上由两个图像数据生成一个合成图像数据，看到可以显示该合成图像数据，但是实际上，仅分别存在基于两个图像数据的图像，不存在合成图像数据。
在背景修正量计算部件的修正量计算中，例如可以使用块匹配等对两个图像间的部分位置的对应进行计算的方法。如果例如这些方法等，求出第一被摄体图像、第二被摄体图像两个图像间的对应，则如果背景部分中存在一致的部分，则可以计算出该部分位置上的对应。由于被摄体部分不存在于另一图像中，所以该部分得到错误地对应。使用统计的方法等，从背景部分的正确的对应和被摄体部分的错误的对应中，仅得到背景部分的正确的对应。根据剩余的正确的对应，可以计算背景部分的相对移动量、旋转量、扩大缩小率、失真修正量的任意一个或其组合所构成的修正量。
重叠图像生成部件根据背景修正量计算部件计算的修正量，与基准图像匹配后做成修正其它图像的图像，使得背景部分一致。然后，重叠图像生成部件生成在基准图像中重叠了修正后的图像的图像。
作为图像的重叠方法，可以将两个图像对应位置的像素的图像数据以在0～1的范围内比例分配的任意比率混合。例如，在将第一被摄体图像的比率设为1，将第二被摄体图像的比率设为0时，则仅将第一被摄体图像的图像数据写入该像素中。并且，在将两个图像的混合比率设为1∶1时，将两个图像的图像数据均等合成后的图像数据写入该像素中。
而且，如何设定混合比率，作为本发明并非实质的内容，在希望显示乃至输出什么样的重叠图像的用户的目的之后。
通过以上的处理，可以在使背景部分一致的状态下，将第一被摄体和第二被摄体合成到一张图像上。
由于可以修正两个图像之间的背景的偏差从而进行合成，由此，除了被摄体等明显不同的区域以外的部分(即背景部分)，不论怎样重叠，合成结果也基本一致，具有合成结果不会不自然的效果。例如，在仅主要将被摄体区域进行合成时，即使被摄体区域的提取和指定多少有些不正确，但是由于被摄体区域周围的背景部分与合成目标的图像的部分没有偏差或者失真，所以被合成为不正确的区域的内外连续的风景，获得减少视觉上的不自然的效果。
即使被摄体区域的提取以像素为单位是正确的，但如课题项目中说明的那样，在现有技术的方法中，产生比1像素更精细的水平上的不自然，但是在本发明中，由于匹配背景部分后进行合成，所以轮廓的像素周围的像素是相同背景部分的位置的像素，所以即使合成也变得自然。这样，产生防止或者减轻在比1个像素更精细的水平上的不自然的效果。
而且，由于对背景的偏差进行修正后进行合成，所以在拍摄背景图像和第一/第二被摄体图像时，不需要用三角架等固定照相机，只要用手等对齐大致的方向就可以，产生拍摄变得简单的效果。
而且，作为部件修正量计算部件的动作，将“计算背景部分的相对移动量、旋转量、扩大缩小率、失真修正量的任意一个或其组合所构成的修正量”作为“背景部分的相对移动量中，计算相对旋转量、扩大缩小率、失真修正量的任意一个或其组合所构成的修正量”也可以。由此，修正的精度进一步提高，可以得到更自然的合成结果。
进而，在用户通过输入部件有选择地切换背景修正量计算部件的上述两种动作时，可以区别使用希望重视修正的精度的情况和希望重视处理速度或者减轻处理负担的情况，图像合成装置的操作性提高。
而且，在本发明的第二图像合成装置中，还包括被摄体区域提取部件，从基准图像和修正后的图像之间的差分图像中提取第一被摄体的区域和第二被摄体的区域，所述重叠图像生成部件可以将基准图像或者修正后的图像和由所述被摄体区域提取部件得到的区域内的图像重叠，以取代将基准图像和修正后的图像重叠。
这里，所谓“被摄体的区域”是用与背景分离的边界分割被摄体的区域。例如，在第一被摄体图像中人物持有衣服或者物品等，如果在第二被摄体图像中不显现它们，则它们也是被摄体，被包含在被摄体区域中。而且，被摄体的区域并不限于必须是连接的一块区域，有时也分为多个区域。
所谓“将由所述被摄体区域提取部件得到的区域的…图像重叠”不是说除了该区域以外不生成任何图像，而是意味着除此以外的区域埋入在基准图像等中。
由于进行修正而使背景部分一致，所以作为差分表现的主要是被摄体部分。因此，可以通过被摄体区域提取部件提取包含于差分图像中的被摄体区域。这时，如果实施从差分图像中除去干扰等(例如，除去差分的像素值小于或等于阈值的部分)等处理，则可以更正确地提取被摄体区域。
在生成重叠图像时，决定各像素位置的像素值，但仅在该像素位置处于由被摄体区域提取部件得到的被摄体区域内的情况下，使被摄体的图像重叠。
由此，产生可以在基准图像上，仅合成被修正的被摄体图像中的被摄体区域的效果。或者，产生可以在被修正的被摄体图像上，仅合成基准图像中的被摄体区域的效果。
而且，还有以下效果：提高在对重叠图像生成部件中的被摄体区域的透过率进行改变的处理和组合，则可以使用户容易知道要将哪个区域进行合成，如果作为合成的结果被摄体之间有重叠，则该情况也更容易了解。进而，由此产生可以辅助拍摄以便不产生重叠的效果。
而且，在存在重叠的情况下，应该移动被摄体或照相机等，在没有重叠的状态下重新拍摄较好，但是，这时的辅助成为，例如使用户容易识别是否产生重叠，或者提供用户判断任何使被摄体或者照相机移动才可以消除重叠的材料(这里为合成图像)等。
本发明的其它目的、特征以及优点通过以下所示的记载可以充分了解。而且，通过参照附图的以下说明，可以明白本发明的利益。
附图说明
图1是表示本发明的第一图像合成装置的功能性结构的方框图。
图2是说明具体实现上述图像合成装置的各部件的装置的结构例的方框图。
图3(a)是表示上述图像合成装置的背面的外观例的示意的立体图，图3(b)是表示上述图像合成装置的前面的外观例的示意的立体图。
图4是说明图像数据的数据结构例的说明图。
图5是表示图像合成方法全体的流程的流程图。
图6(a)是表示背景图像的例子的说明图，图6(b)是说明上述背景图像中的参照块的配置的说明图，图6(c)是说明修正了上述背景图像的修正背景图像的说明图，图6(d)是说明上述修正背景图像的遮挡图像的说明图。
图7(a)是表示第一被摄体图像的说明图，图7(b)是说明上述第一被摄体图像中的残余的匹配块的配置的说明图。
图8(a)是表示第二被摄体图像的例子的说明图，图8(b)是说明上述第二被摄体图像中的残余的匹配块的配置的说明图，图8(c)是说明修正了上述第二被摄体图像的修正第二被摄体图像的说明图，图8(d)是说明上述修正第二被摄体图像的遮挡图像的说明图。
图9(a)是表示第一被摄体图像和修正背景图像的差分图像例的说明图，图9(b)是表示从上述差分图像生成的标记(label)图像例的说明图，图9(c)是表示从上述标记图像中除去干扰部分后的标记图像例的说明图，图9(d)是表示从上述标记图像中提取了第一被摄体区域的第一被摄体区域图像例的说明图。
图10(a)是表示第二被摄体图像和修正背景图像的差分图像例的说明图，图10(b)表示从上述的差分图像生成的标记图像例的说明图，图10(c)表示从上述标记图像中除去干扰部分后的标记图像例的说明图，图10(d)是表示从上述标记图像中提取了第二被摄体区域的第二被摄体区域图像例的说明图。
图11(a)表示图9(d)的第一被摄体区域部分和图10(d)的第二被摄体区域部分与背景部分重叠并合成的重叠图像例的说明图，图11(b)表示将第一被摄体区域部分设为半透明并重叠合成的重叠图像例的说明图，图11(c)表示将第二被摄体区域部分设为半透明并重叠合成的重叠图像例的说明图。
图12是表示图9(d)的第一被摄体区域和图20(b)的第二被摄体区域的重叠图像例的说明图。
图13(a)是表示将图9(d)的第一被摄体区域部分和图20(b)的第二被摄体区域部分与背景部分重合合成的，使重叠部分醒目显示的图像例的说明图，图13(b)是将上述第一被摄体区域部分设为半透明而重叠合成的重叠图像例的说明图，图13(c)是表示使重叠的警告消息显示的例子的说明图。
图14是说明取得第二被摄体图像的处理的一个方法的流程图。
图15是说明计算背景修正量的处理的一个方法的流程图。
图16(a)是表示说明块匹配的参照图像的例子的说明图，图16(b)是表示说明块匹配的探索图像的例子的说明图。
图17是说明生成背景图像、第二被摄体图像的修正图像，生成与第一被摄体图像的差分图像的处理的一个方法的流程图。
图18(a)是表示旋转的第二被摄体图像的例子的说明图，图18(b)是说明上述第二被摄体图像中残余的匹配块的配置的说明图，图18(c)是说明对上述第二被摄体图像进行修正后的修正第二被摄体图像的说明图，图18(d)是说明修正第二被摄体图像的遮挡图像的说明图。
图19是说明提取被摄体区域的处理的一种方法的流程图。
图20(a)表示图7(a)的第一被摄体和被摄体区域之间重叠的第二被摄体图像的例子的说明图，图20(b)表示从上述第二被摄体图像中提取的第二被摄体区域图像的例子的说明图。
图21是说明对被摄体区域的重叠进行警告的处理的一个方法的流程图。
图22是说明在被摄体区域中没有重叠时，通知最佳拍摄镜头的处理的一个方法的流程图。
图23是说明在被摄体区域中没有重叠时，进行自动快门处理的一个方法的流程图。
图24是说明在被摄体区域中存在重叠时，通知消除重叠的方向的处理的一个方法的流程图。
图25是说明在被摄体区域中消除重叠的方向的说明图。
图26(a)是说明在被摄体区域中存在重叠时，通知消除重叠的方向的例子的说明图，图26(b)是说明在被摄体区域中存在重叠时，通知消除重叠的位置和方向的例子的说明图。
图27是说明在被摄体区域中存在重叠时，通知消除重叠的位置的处理的一个方法的流程图。
图28(a)～图28(d)是分别说明将第二被摄体区域向上下左右移动的例子的说明图。
图29(a)～图29(d)是说明图9(d)的第一被摄体区域和图28(a)～图28(d)的各第二被摄体区域的重叠区域的说明图。
图30是说明生成重叠图像的处理的一个方法的流程图。
图31是表示使第一被摄体优先并生成了重叠图像时的显示例的说明图。
图32是表示使第二被摄体优先并生成了重叠图像时的显示例的说明图。
图33是表示本发明的第二图像合成装置的功能性结构的方框图。
图34是说明具体实现第二图像合成装置的各部件的装置的结构例的方框图。
图35(a)是表示第二图像合成装置的背面的外观例的示意的立体图，图35(b)是表示第二图像合成装置的前面的外观例的示意的立体图。
图36是表示第二图像合成装置的图像合成方法全部流程的流程图。
图37(a)是表示第一被摄体图像的例子的说明图，图37(b)是说明图37(a)的第一被摄体图像中的参照块的配置的说明图。
图38(a)是第二被摄体图像的例子的说明图，图38(b)是说明图38(a)的第二被摄体图像中检测的参照块的配置的说明图，图38(c)是说明修正了图38(a)的第二被摄体图像的修正第二被摄体图像的说明图，图38(d)是说明图38(c)的修正第二被摄体图像的遮挡图像的说明图。
图39(a)是表示图37(a)的第一被摄体图像和图38(c)的修正第二被摄体图像的差分图像例的说明图，图39(b)表示从图39(a)的差分图像生成的标记图像例的说明图，图39(c)表示从图39(b)的标记图像中除去干扰部分后的标记图像例的说明图。
图40(a)表示在图37(a)的第一被摄体图像上重叠图49(d)的第二被摄体区域部分并合成的重叠图像例的说明图，图40(b)表示在图37(a)的第一被摄体图像上将图49(b)的第一被摄体区域部分设为半透明并重叠、和重叠图49(d)的第二被摄体区域部分并合成的重叠图像例的说明图，图40(c)表示在图37(a)的第一被摄体图像上将49(d)的第二被摄体区域部分设为半透明并重叠合成的重叠图像例的说明图。
图41是表示图37(a)的第一被摄体和被摄体区域之间重叠的第二被摄体图像的例子的说明图。
图42(a)是表示37(a)的第一被摄体图像和图41的第二被摄体图像的修正图像的差分图像例的说明图，图42(b)是表示从图42(a)的差分图像生成的标记图像例的说明图，图42(c)是表示从图42(b)的标记图像中除去了干扰部分的标记图像例的说明图。
图43是表示使图42(c)的被摄体区域部分以一半的透过率重叠合成，显示重叠警告消息的例子的说明图。
图44是说明取得第二被摄体图像的处理的一个方法的流程图。
图45是说明计算背景修正量的处理的一个方法的流程图。
图46是说明生成第二被摄体图像的修正图像，生成与第一被摄体图像的差分图像的处理的一个方法的流程图。
图47(a)是表示旋转的第二被摄体图像的例子的说明图，图47(b)是说明图47(a)的第二被摄体图像中检测的匹配块的配置的说明图，图47(c)是说明对图47(a)第二被摄体图像进行修正后的修正第二被摄体图像的说明图，图47(d)是说明图47(c)的修正第二被摄体图像的遮挡图像的说明图。
图48是说明提取被摄体区域的处理的一个方法的流程图。
图49(a)是表示图37(a)的第一被摄体图像中的第一被摄体区域的图像的说明图，图49(b)是表示图38(a)的第二被摄体图像中的第一被摄体区域的图像的说明图，图49(c)是表示图37(a)的第一被摄体图像中的第二被摄体区域的图像的说明图，图49(d)是表示图38(a)的第二被摄体图像中的第二被摄体区域的图像的说明图。
图50是说明对被摄体区域的重叠进行警告的处理的一个方法的流程图。
图51是说明在被摄体区域中没有重叠时，通知最佳拍摄镜头的处理的一个方法的流程图。
图52是说明在被摄体区域中没有重叠时，进行自动快门处理的一个方法的流程图。
图53是说明生成重叠图像的处理的一个方法的流程图。
具体实施方式
以下，通过实施例和比较例更详细地说明本发明，但本发明并不被这些例子进行任何限定。
〔实施方式1〕
以下参照附图说明本发明的实施方式。
首先，对词汇的定义进行说明。
“第一被摄体”、“第二被摄体”是要进行合成的对象，一般多为人物，有时也为物等。严格来说，“第一被摄体”是在背景图像和第一被摄体图像之间，背景部分至少一部分重叠时，像素值不一致的区域，即有变化的区域都可能成为“第一被摄体的区域”。但是，在背景部分，因为即使是树的叶子因风而摇动等的小变化，也成为有变化的区域，所以在某种程度上忽视小的变化和小的区域较好。对于“第二被摄体”也一样。
而且，在例如被摄体为人物的情况下，被摄体不限于必须是一个人，有时也将多个人物汇总成为“第一被摄体”和“第二被摄体”。即，即使是多个人，也作为合成处理的单位进行汇总处理，成为一个“被摄体”。
而且，不仅是人物，对物体也一样。而且，被摄体不限于必须是一个区域，也有多个区域构成的情况。“第一”、“第二”是为了简单区别不同帧的图像而赋予的，不是表述拍摄的顺序等，本质上没有差别。而且，例如人物拿着衣服或者物品等，即使不出现在“不包含第一、第二被摄体的仅为背景的图像”中，它们也被包含在被摄体中。
“第一被摄体图像”、“第二被摄体图像”是包含上述的“第一被摄体”、“第二被摄体”的不同的图像，一般来说，是用照相机等分别拍摄了该被摄体的图像。但是，在图像上仅拍摄被摄体，与背景图像共用的背景部分完全没有拍摄的情况下，因为不能进行将其共用的背景部分还原的位置匹配，所以不适合合成。所以需要对至少一部分(为了使合成的被摄体的周围变得自然，最好在要合成的被摄体的周围)与背景图像共用的背景部分进行拍摄。而且，通常，第一被摄体图像、第二被摄体图像使用相同背景，即，使照相机不动进行拍摄的情况较多。
所谓“背景部分”是从风景中除去了“第一被摄体”、“第二被摄体”的部分。
所谓“背景图像”是至少包含一部分第一被摄体图像、第二被摄体图像各自的背景部分的图像的图像，是不拍摄第一被摄体图像、第二被摄体图像的图像。通常，使用与第一被摄体图像、第二被摄体图像相同的背景，即，多为使照相机不移动，而使第一被摄体、第二被摄体从照相机的前面移出后进行拍摄的情况。
而且，在第一被摄体图像和第二被摄体图像中，在可以与背景图像进行位置匹配的程度上各自包含与背景图像共用的背景部分就可以。因此，第一被摄体图像和第二被摄体图像的背景部分之间的关系包含完全一致的情况、部分一致的情况、完全不一致的情况的所有情况。
所谓“第一、第二被摄体以外的背景部分”是从第一被摄体图像、第二被摄体图像中除去第一被摄体的区域、第二被摄体的区域后剩余的部分。
所谓“移动量”是使其平行移动的量，也可以指旋转和扩大缩小的中心的对应点的移动量。
所谓“失真修正量”是在照相机和镜头的位置和方向改变所造成的拍摄图像的变化中，用于对用平行移动、旋转、扩大缩小不能修正的剩余的变化进行修正的修正量。其中也包含对例如在拍摄高的建筑时，由于透视法的效果，上面的部分即使是相同的尺寸也拍摄得小的被称为“余势”等的效果等进行修正的情况等。
“重叠图像生成部件”虽然生成重叠图像，但不必作为一个图像生成，与其它部件的图像数据匹配(与其它部件协动)合成观察也可以。例如，在显示部件上显示某图像时，如果以在该图像上覆写的形式显示另一图像的一部分，则在视觉上由两个图像数据生成一个合成图像数据，看到可以显示该合成图像数据，但是实际上，仅分别存在基于两个图像数据的图像，不存在合成图像数据。
所谓“像素值”是像素的值，一般使用规定的位数表示。例如，在黑白两值的情况下，以1位表现，在256灰度的单色的情况下，用8位表现，在红、绿、蓝各256灰度的彩色情况下，用24位表现。在彩色的情况下，被分解为红、绿、蓝的光的三原色来表现的情况较多。
而且，作为相似的词汇，有“浓度值”、“亮度值”等。它们仅根据目的而使用，“浓度值”主要在印刷像素时使用，“亮度值”主要在显示器上显示时使用，因为在这里没有限定目的，所以以“像素值”表现。
所谓“透过率”是在多个像素的像素值上乘以规定的比例的值，将其和作为新的像素值的处理中，乘以的“规定的比例的值”。通常为大于或等于0，小于或等于1的值。而且，在一个新的像素值中使用的各像素的透过率的和多为1。也有不说“透过率”，而说“不透明度”的情况。“透明度”是从1减去“不透明度”的值。
在“规定的透过率”中，也包含被固定的值、根据区域而变化的值、在区域的边界附近缓慢变化的值等。
所谓“差分图像”，是比较两个图像中的相同位置的像素值，将其差值作为像素值而做成的图像。一般来说，差值多取绝对值。
所谓“与原来的像素值不同的像素值”是实现以下情况的像素值，例如改变透过率从而使其半透明，或者使像素值的明暗或色调等相反并反转显示，或者设为红或者白、黑等醒目的颜色等。而且，还包含以下情况：在区域的边界部分和内部，如上述那样改变像素值、或者用虚线包围边界部分，或者闪烁显示(随时间使像素值变化)。
所谓“被摄体的区域”是用与背景分离的边界分割被摄体的区域。例如，在第一被摄体图像中人物持有衣服或者物品等，如果在背景图像中不显现它们，则它们也是被摄体，被包含在被摄体区域中。而且，被摄体的区域并不限于必须是连接的一块区域，有时也分为多个区域。
所谓“仅重叠从前述被摄体区域提取部件得到的区域”不是说在该区域以外不生成任何图像，意思是在该区域以外的区域埋入基准图像等。
在“警告”中，在显示部件等中以文字或者图像进行警告，由灯等产生光或者由扬声器等产生声音，由振动器等产生振动等，只要是用户或被摄体可以感知的方法都包含在内。
“通知”和“警告”一样，只要是用户或被摄体可以感知的方法都包含在内。
所谓“框架”是指图像全体的矩形。在被摄体的一部分挂在图像的端部(外形轮廓)时，表现为挂在框架上，或者从框架切离等。
图1是表示实施本发明的一实施方式的图像合成方法的图像合成装置的结构图。
即，可以将图像合成装置的主要部分展开为以下主要功能块来表示：第一被摄体图像取得部件1、背景图像取得部件2、第二被摄体图像取得部件3、背景修正量计算部件4、修正图像生成部件5、差分图像生成部件6、被摄体区域提取部件7、重叠检测部件8、重叠图像生成部件9、重叠图像显示部件10、重叠回避方法计算部件11、重叠回避方法通知部件12、重叠警告部件13、最佳镜头通知部件14、自动快门部件15、拍摄部件16。
图2是具体实现图1的各部件1～16的装置的结构例。
CPU(central processing unit)70具有背景修正量计算部件4、修正图像生成部件5、差分图像生成部件6、被摄体区域提取部件7、重叠检测部件8、重叠图像生成部件9、重叠图像显示部件10、重叠回避方法计算部件11、重叠回避方法通知部件12、重叠警告部件13、最佳镜头通知部件14、自动快门部件15的功能，从主存储器74、外部存储器75、通过通信装置77的网络目的地等得到记述了这些部件1～16的处理顺序的程序。
而且，有时对于第一被摄体图像取得部件1、背景图像取得部件2、第二被摄体图像取得部件3、拍摄部件16，为了对拍摄元件和拍摄元件输出的图形数据的各种处理进行内部控制等也使用CPU等。
而且，CPU70一边对包括CPU70在内、通过总线79相互连接的显示器71、拍摄元件72、图形输入板73、主存储器74、外部存储器75、快门按钮76、通信装置77、灯78、扬声器80的数据进行收发，一边进行处理。
而且，数据的收发除了通过总线79进行，还可以通过通信电缆和无线通信装置等可以发送接收数据的部件进行。而且，作为各部件1～16的实现部件，不限于CPU，也可以使用DSP(digital signal processor)和处理步骤作为电路组成的逻辑电路等。
显示器71通常与图形卡等组合而实现，图形卡上具有VARM(videorandom access memory)，将VRAM上的数据变换为显示数据，发送到监视器等显示器(显示/输出介质)，显示器将显示信号作为图像显示。
拍摄元件72是拍摄风景等从而得到图像信号的装置，通常有镜头等光学元件和受光元件及其附带的电子电路等构成。这里，拍摄元件72通过A/D变换器等，包括变换为数字图像数据的位置，通过总线79，将拍摄的图像数据发送到第一被摄体图像取得部件1、背景图像取得部件2、第二被摄体图像取得部件3等。作为拍摄元件的一般的装置例如有CCD(charge coupleddevice)等，其它只要可以使风景等作为图像数据得到的装置就可以。
作为输入用户指示的部件有图形输入板73、快门按钮76等。用户的指示通过总线79被输入到各部件1～16。另外可以使用通过各种操作按钮、麦克风输入声音等的各种输入部件。图形输入板73由笔和检测笔位置的检测设备构成。快门按钮76由机械或者电子开关等构成，通过用户按压按钮，通常将拍摄元件72拍摄的图像存储到主存储器74或者外部存储器75等，同时生成使一连串的处理开始的开始信号。
主存储器74通常由DRAM(dynamic random access memory)或者闪速存储器等的存储装置构成。而且，CPU内部包含的存储器或者寄存器等也可以解释为一种主存储器。
外部存储器75是HDD(hard disk drive)或者PC(personal computer)卡等可插拔的存储部件。或者也可以将CPU70和通过网络有线或者无线连接的其它网络设备上安装的主存储器或者外部存储器用作外部存储器75。
通信装置77通过网络接口卡等实现，与通过有线或者无线等连接的其它网络设备进行数据的收发。
扬声器80将通过总线79等送来的声音数据解释为声音信号，作为声音输出。输出的声音有时是单波长的单纯的声音，有时是音乐或者人的声音等复杂的声音。在预先决定输出声音的情况下，有时送来的数据不是声音信号，仅为简单的导通、截止的动作控制信号。
接着，从各部件间的数据的授受的观点说明图1的各部件1～16。
并且，各部件间的数据的收发，在没有特别的注释表现为“从**部件得到”、“发送(传递)到**部件”时，设为主要通过总线79收发数据。这时，既存在各部件间直接进行数据收发的情况，也有通过主存储器74或者外部存储器75、其间经由通信装置77插入网络等进行数据收发的情况。
第一被摄体图像取得部件1由例如包括拍摄元件72的拍摄部件16、主存储器74、外部存储器75等构成，从拍摄部件16、主存储器74、外部存储器75、通过了通信装置77的网络目的地等得到第一被摄体图像。而且，第一被摄体图像取得部件1有时为了对拍摄元件72和拍摄元件72输出的图像数据的各种处理进行内部控制等也包括CPU等。
在使用拍摄部件16的情况下，通过拍摄元件72拍摄包括第一被摄体的当前的风景(第一被摄体图像)，通常在按下了快门按钮76等的时刻进行拍摄，拍摄的图像被存储在主存储器74、外部存储器75、经由通信装置77的网络目的地等中。
另一方面，第一被摄体图像取得部件1从主存储器74、外部存储器75、和/或经由通信装置77的网络目的地等取得第一被摄体图像时，读出已经拍摄的预先准备的图像。而且，也有在通过通信装置77的网络目的地等存在照相机，通过网络进行拍摄的情况。
第一被摄体图像被发送到背景修正量计算部件4、修正图像生成部件5、差分图像生成部件6、被摄体区域提取部件7、和/或重叠图像生成部件9。
背景图像取得部件2例如由包含拍摄元件72的拍摄部件16、主存储器74和/或外部存储器75等构成，从拍摄部件16、主存储器74、外部存储器75和/或经由通信装置77的网络目的地等得到背景图像。而且，背景图像取得部件2有时为了上述内部控制等，也包括CPU等。除了图像的内容不同以外，关于图像的取得方法与第一被摄体图像取得部件1相同。
而且，背景图像被发送到背景修正量计算部件4、修正图像生成部件5、和/或差分图像生成部件6。
第二被摄体图像取得部件3由例如包含拍摄元件72的拍摄部件16、主存储器74和/或外部存储器75等构成，从拍摄部件16、主存储器74、外部存储器75和/或经由通信装置77的网络目的地等取得包含第二被摄体的图像(第二被摄体图像)。而且，第二被摄体图像取得部件3为了内部控制等，有时也包含CPU等。除了图像的内容不同以外，关于图像的取得方法与第一被摄体图像取得部件1相同。
第二被摄体图像被发送到背景修正量计算部件4、修正图像生成部件5、差分图像生成部件6、被摄体区域提取部件7和/或重叠图像生成部件9等。
作为背景修正量计算部件4的CPU70对第一被摄体图像、第二被摄体图像和背景图像中的被摄体以外的背景的相对移动量、旋转量、扩大缩小率、失真修正量的任意一个或者其组合构成的修正量进行计算。
这时，在具有至少一部分共用的背景的两个图像之间，将一个设为基准图像，最低限度求出该基准图像和另一个图像之间的修正量就可以。对于剩余的图像，如果前述基准图像或者另一个图像中的任一个，或者甚至双方具有至少一部分共用背景，则可以最终计算出相对于基准图像的修正量。
而且，由于修正量是相对的，所以也可以不直接计算基准图像和其它的图像之间的修正量，而是通过间接地计算来求出。例如，在第一被摄体图像为基准图像时，即使不直接得到基准图像和第二被摄体图像之间的修正量、基准图像和背景图像之间的修正量，只要可以得到基准图像和背景图像间的修正量、第二被摄体图像和背景图像之间的修正量，则可以根据这两个修正量通过计算求出基准图像和第二被摄体图像间的修正量。
背景修正量计算部件4将算出的修正量发送到修正图像生成部件5。而且，在背景修正量计算部件4读出预先计算的修正量时，从主存储器74、外部存储器75和/或经由通信装置77的网络目的地等读出修正量。
作为修正图像生成部件5的CPU70，将第一被摄体图像、第二被摄体图像、背景图像中的一个设为基准图像，对另外两个图像用从背景修正量计算部件4得到的修正量进行修正，使得被摄体以外的背景部分重合，从而生成修正后的图像，发送到差分图像生成部件6和重叠图像生成部件9。而且，在修正图像生成部件5读出预先生成的修正图像时，从主存储器74、外部存储器75和/或经由通信装置77的网络目的地等读出。
作为差分图像生成部件6的CPU70，生成由修正图像生成部件5决定的基准图像和从修正图像生成部件5得到的修正后的另一个或者两个图像之间的差分图像，将生成的差分图像发送到被摄体区域提取部件7和重叠图像生成部件9。基准图像是第一被摄体图像、第二被摄体图像和背景图像之一。
作为被摄体区域提取部件7的CPU70，从差分图像生成部件6得到的差分图像中提取第一、第二被摄体的区域，将提取的区域发送到重叠检测部件8和重叠图像生成部件9。
作为重叠检测部件8的CPU70，从被摄体区域提取部件7得到的第一、第二被摄体的区域中检测第一、第二被摄体之间的重叠，将是否存在重叠的信息和重叠区域的信息发送到重叠图像生成部件9、重叠回避方法计算部件11、重叠警告部件13、最佳镜头通知部件14和自动快门部件15。
作为重叠图像生成部件9的CPU70，将从第一被摄体图像取得部件1得到的第一被摄体图像、从第二被摄体图像取得部件3得到的第二被摄体图像、从背景图像取得部件2得到的背景图像、从修正图像生成部件5得到的修正图像全部或者部分重叠并生成重叠后的图像，将生成的图像发送到重叠图像显示部件10。
而且，有时重叠图像生成部件9将从差分图像生成部件6得到的差分图像中的存在差异的区域生成为与原来的像素值不同的像素值的图像。
而且，有时重叠图像生成部件9仅将从被摄体区域提取部件7得到的第一被摄体和第二被摄体的区域重叠到基准图像等上。
而且，有时重叠图像生成部件9将从重叠检测部件8得到的重叠区域生成为与原来的像素值不同的像素值的图像。
作为重叠图像显示部件10的CPU70，使从重叠图像生成部件9得到的重叠图像显示在显示器71等上。
而且，有时有以下情况：重叠图像显示部件10根据从重叠回避方法通知部件12得到的重叠回避方法的信息，在进行重叠回避方法的显示的情况，或者根据从重叠警告部件13得到的警告信息，进行警告显示的情况，或者根据从最佳镜头通知部件14得到的最佳镜头信息，进行最佳镜头情况的显示的情况，或者根据从自动快门部件15得到的快门信息，显示进行了自动快门的情况。
作为重叠回避方法计算部件11的CPU70，根据从重叠检测部件8得到的有关重叠的信息，为了减少或者消除第一和第二被摄体的重叠，对第一或者第二被摄体的位置或者其位置的方向进行计算，将该计算出的位置或者表示方向的信息作为重叠回避方法传递给重叠回避方法通知部件12。求取位置或者方向的被摄体可以是第一或者第二被摄体的其中一个，但目前拍摄中的(或者最后拍摄的)被摄体的方便性更好。
作为重叠回避方法通知部件12的CPU70将从重叠回避方法计算部件11得到的上述重叠回避方法通知用户、或者被摄体或者两者。
在通知中，可以采用将通知内容设为文字等发送到重叠图像显示部件10，从而在显示器71上显示，或者使用灯78以光进行通知，或者使用扬声器80以声音进行通知的各种方式。只要可以进行通知，也可以使用除此之外的装置等。
作为重叠警告部件13的CPU70根据从重叠检测部件8得到的重叠信息，在存在重叠时，将存在重叠的情况通知用户或者被摄体或者两者。关于通知方法，与重叠回避方法通知部件12的说明一样。
作为最佳镜头通知部件14的CPU70根据从重叠检测部件8得到的重叠信息，在不存在重叠时，将不存在重叠的情况通知用户或者被摄体或者两者。关于通知方法，与重叠回避方法通知部件12的说明一样。
作为自动快门部件15的CPU70根据从重叠检测部件8得到的重叠信息，在不存在重叠时，对第二被摄体图像取得部件3自动发出指示，使得将从拍摄部件16得到的图像存储到主存储器74或者外部存储器75等中。
这里，主要设想从拍摄部件16得到的图像作为背景图像、第一被摄体图像或者第二被摄体图像被最终记录、保存在主存储器74或者外部存储器75中，并被合成的使用方法。在被最终记录、保存之前，从拍摄部件16得到背景图像和第一被摄体图像，每次得到就进行记录、保存，但是即使从拍摄部件16得到第二被摄体图像也不被马上保存。
即，在将从拍摄部件16得到的图像设为第二被摄体图像时，使用该得到的第二被摄体图像和保存的背景图像和第一被摄体图像，进行重叠检测和重叠回避等的处理，进行在重叠图像显示部件10等上的各种显示和警告、通知等的处理，重复上述的一连串的处理。然后，通过自动快门部件15指示了记录、保存时，第二被摄体图像被最终地记录、保存。
而且，也可以在存在自动快门部件15的拍摄许可的指示，并且用户按压了快门按钮76时，记录、保存第二被摄体图像。
而且，自动快门部件15也可以将发出指示的结果、记录了拍摄图像的情况通知用户或者被摄体或者两者。关于通知方法，与重叠回避方法通知部件12的说明相同。
而且，作为自动快门部件15的CPU70不仅进行记录的指示，而且根据从重叠检测部件8得到的重叠信息，存在重叠时，自动地发出指示，禁止在第二被摄体图像取得部件3中将拍摄部件16得到的图像记录到主存储器74或者外部存储器75等。该动作与上述的自动记录的情况相反。
这时，在存在自动快门部件15的禁止保存的指示时，即使用户按压快门按钮76，第二被摄体图像也不被记录、保存。
作为主要的结构要素，拍摄部件16具有拍摄元件72，将拍摄的风景等作为图像数据发送到第一被摄体图像取得部件1、第二被摄体图像取得部件3和/或背景图像取得部件2。
图3(a)表示本发明的图像合成装置的背面的外观图。主体140上有显示部兼图形输入板141、灯142和快门按钮143。
显示部兼图形输入板141相当于输入装置(显示器71和图形输入板73等)和重叠图像显示部件10。如图3(a)所示，在显示部兼图形输入板141上，显示由重叠图像生成部件9生成的合成图像和来自重叠回避方法通知部件12、重叠警告部件13、最佳镜头通知部件14、自动快门部件15等的通知/警告信息等。而且，也用于显示图像合成装置的各种设定菜单，使用图形输入板，用手指或者笔等变更设定。
而且，作为各种设定等的操作部件，不仅是图形输入板，也可以是按钮类等其它的部件。而且，显示部兼图形输入板141也可以利用对主体140旋转或者分离等方法，不仅使拍摄者，而且在被摄体方也看见。
灯142主要用于来自重叠回避方法通知部件12、重叠警告部件13、最佳镜头通知部件14或者自动快门部件15等的通知或警告。
开门按钮143主要用于第一被摄体图像取得部件1、背景图像取得部件2、第二被摄体图像取得部件3指示从拍摄部件16取入/记录拍摄图像的定时。
而且，虽然在该例中没有显示，但也可以将内置扬声器用作通知/警告部件。
图3(b)显示本发明的图像合成装置的前面的外观例。在主体140的前面存在镜头部144。镜头部144是拍摄部件16的一部分。而且，虽然在图3(b)的例子中没有表示，但也可以具有显示部或灯、扬声器等，使得在前面向被摄体传送信息(前述的通知或者警告)。
图4是说明图像数据的数据结构例的说明图。图像数据是像素数据的二维排列，“像素”作为属性具有位置和像素值。这里作为像素值，具有对应光的三原色(红、绿、蓝)的R、G、B的值。用图4的横向排列的R、G、B的组构成一个像素的数据。但是，在仅具有不具有色信息的单色的亮度信息时，取代R、G、B，而具有亮度值作为一个像素的数据。
位置以X-Y坐标(x，y)表示。在图4中将左上设为原点，将右方向设为+X方向，将下方向设为+Y方向。
以下为了说明，将位置(x，y)的像素表示为“P(x，y)”，将像素P(x，y)的像素值表示为“像素值P(x，y)”或者有时也简单表示为“P(x，y)”。在将像素值分为R、G、B时，对每个色进行计算，但只要不是与色有关的特别的处理，则对每个R、G、B的值进行相同的计算处理就可以。因此，以后作为共用的计算方法，使用“像素值P(x，y)”进行说明。
图5是表示本发明的实施方式的一例-适应输出方法的流程图。
首先，在步骤S1(以下将“步骤S”略记为“S”)，背景图像取得部件2取得背景图像，处理进入到S2。背景图像可以使用拍摄部件16拍摄，也可以预先读出在主存储器74、外部存储器75和经由通信装置77的网络目的地等中准备的图像。
接着，在S2，第一被摄体图像取得部件1取得具有与上述背景图像至少共用一部分背景部分的第一被摄体图像，经由连接点P20(以下将“连接点P”略记为“P”)，处理进入到S3。第一被摄体图像的取得方法和背景图像相同。而且，S1和S2的处理顺序相反也可以。
在S3中，第二被摄体图像取得部件3取得背景图像以及具有与第一被摄体图像至少共用一部分的背景部分的第二被摄体图像，处理经由P30进到S4。这里的处理在后面利用图14进行详细说明，但是第二被摄体图像的取得方法自身与背景图像相同。
在S4中，背景修正量计算部件4从第一被摄体图像、第二被摄体图像和背景图像中计算背景修正量，处理经由P40进到S5。第一被摄体图像、第二被摄体图像和背景图像分别由第一被摄体图像取得部件1(S2)、第二被摄体图像取得部件3(S3)、背景图像取得部件2(S1)取得。
而且，以后在使用第一被摄体图像、第二被摄体图像和背景图像时，只要没有特别说明，这些图像的取得元的部件/步骤与S4中的取得元的部件/步骤相同，所以以后省略这些图像的取得元的部件/步骤的说明。
S4的处理的细节在后面利用图15进行说明。
在S5中，修正图像生成部件5利用背景修正量计算部件4得到的背景修正量对第一被摄体图像、第二被摄体图像和背景图像内除了基准图像以外的两个图像进行修正，差分图像生成部件6生成修正图像生成部件5修正的图像和基准图像间的相互的差分图像，处理经由P50进入S6。S5的处理的细节在后面利用图17进行说明。
在S6中，被摄体区域提取部件7从差分图像生成部件6(S5)得到的差分图像中提取第一、第二被摄体的区域(以后称为第一被摄体区域、第二被摄体区域)，处理经由P60进到S7。S6的处理的细节在后面利用图19进行说明。
在S7中，重叠检测部件8从被摄体区域提取部件7(S6)得到的第一、第二被摄体的区域中取得有关这些区域的重叠信息，处理经由P70进到S8。S7的处理的细节在后面利用附图进行说明。
在S8中，重叠回避方法计算部件11、重叠回避方法通知部件12、重叠警告部件13、最佳镜头通知部件14、自动快门部件15中的一个或一个以上的部件根据重叠检测部件8(S7)得到的与重叠有关的信息进行各种处理，处理经由P80进到S9。S8的处理的细节在后面利用附图21至附图24、图27进行说明。
在S9中，重叠图像生成部件9根据第一被摄体图像、第二被摄体图像、背景图像、以及用修正图像生成部件5(S5)对这些图像进行修正后的图像、由被摄体区域提取部件7(S6)得到的第一、第二被摄体的区域、由重叠检测部件8(S8)得到的与第一、第二被摄体的重叠有关的信息等，生成将这些图像重叠的“重叠图像”，处理经由P90进到S10。S9的处理的细节在后面利用图30进行说明。
在S10中，重叠图像显示部件10在显示器71等上显示由重叠图像生成部件9(S9)得到的重叠图像，并结束处理。
在这些从S1到S10的处理中，使用第一被摄体图像、第二被摄体图像、背景图像，将第一被摄体和第二被摄体合成在1张图像上，并且根据被摄体之间的重叠的状况进行各种处理。
对于详细的处理及其效果，在后面进行详细地说明，首先用简单的例子来说明处理的概要。
图6(a)是在S1中得到的背景图像的例子。建筑物和通到这些建筑物的道路作为背景的风景进行拍摄，不存在作为被摄体的人物。
图7(a)是在S2中得到的第一被摄体图像的例子。在图6(a)的背景之前，左侧站立第一被摄体的人物(1)。为了容易理解，人物(1)的脸部分标记“1”。而且，今后没有特别说明“右侧”“左侧”的情况下，指图上的“右侧”“左侧”。也可以认为该方向是从摄影者/照相机观察的方向。
图8(a)是在S3中得到的第二被摄体图像的例子。在图6(a)的背景之前，在右侧站立第二被摄体的人物(2)。为了容易理解，人物(2)的脸部分标记“2”。
图6(c)是求出图6(a)的背景图像和图7(a)的第一被摄体图像之间的背景修正量，将第一被摄体图像作为基准图像，对背景图像进行修正后的图像。同样，图8(c)是求出图7(a)的第一被摄体图像和图8(a)的第二被摄体图像之间的背景修正量，将第一被摄体图像作为基准图像，对第二被摄体图像进行修正后的图像。
被修正的图像是用实线的框包围的范围，为了清楚被修正的方式，分别在图6(c)和图8(c)上用虚线的框表示原来图6(a)的背景图像和图8(a)的第二被摄体图像的范围。
例如，图6(a)的背景图像是拍摄图7(a)的背景的稍右侧的风景而得到的。因此，在使图6(a)的背景图像与图7(a)的背景重叠的修正中，需要选择图6(a)稍左侧的风景。因此，修正图6(c)，使其成为比图6(a)稍左侧的风景。用虚线表示原来图6(a)的范围。因为比图6(a)稍左侧的风景不存在，所以在图6(c)中从左端的虚线开始左边的部分为空白。相反，切除图6(a)的右端的部分。
这里，没有扩大缩小和旋转等的修正，仅为简单的平行移动的修正结果。即，在S4中得到的背景修正量在这里是实线的框和虚线的框的错位表示的平行移动量。
图9(a)是在S5中，在图7(a)的第一被摄体图像和图6(c)的被修正的背景图像之间生成的差分图像。同样，图10(a)是在图8(c)的被修正的第二被摄体图像和图6(c)的被修正的背景图像之间生成的差分图像。
在差分图像中，差分量为0的部分(即与背景一致的部分)用黑色的区域表示。存在差分的部分是被摄体的区域内和干扰部分，被摄体的区域部分成为背景图像和被摄体部分的图像重合后的巧妙的部分。(而且，通过修正，仅其中一个图像不存在像素的区域(例如位于图6(c)左侧或者右侧的实线和虚线之间的区域)从差分对象中排除，差分量设为0)。
图9(d)是在S6中，从图9(a)中提取第一被摄体区域后的结果。对于提取处理的细节在后面说明。图中成为黑色人物形状的区域112是第一被摄体区域。同样，图10(d)是从中提取第二被摄体区域后的结果。图中成为黑色人物形状的区域122是第二被摄体区域。
虽然在S7中检测出图9(d)和图10(d)的被摄体区域之间的重叠，但是在本例中没有重叠，所以省略重叠的图。
虽然S8的与重叠有关的处理有各种处理方法，但是在本例中不检测重叠，所以这里为了简化说明，进行特别的处理。
图11(a)是从图8(c)的被修正后的第二被摄体图像中提取相当于图10(d)的第二被摄体区域的部分的图像，将其重叠到图7(a)的第一被摄体图像(覆写)而生成的图像。由此，在图11(a)中，分别在图7(a)和图8(a)中拍摄的被摄体不重叠地排列在相同的图像上。即使关于重叠方法，也存在各种处理方法，所以在后面详细说明。图11(a)的图像在重叠图像显示部件10上表示为合成图像。
由此，产生可以将分别拍摄的被摄体合成如同时拍摄的图像的效果。
按照以上的说明，对处理的概要进行了大致的说明，但由于没有对在S7中被摄体区域之间存在重叠的情况的S8的处理例的概要进行说明，所以以下先简单地触及。
图20(a)是与图8(a)不同的第二被摄体图像的例子。与图8(a)相比，第二被摄体相对于同一背景位于稍左侧。而且，背景图像、第一被摄体图像使用与图6(a)、图7(a)相同的图像。
图20(b)表示第二被摄体区域。图中的区域130为第二被摄体区域。而且，作为第二被摄体区域的区域130与前述相同，在图7(a)的第一被摄体图像和图20(a)的第二被摄体图像之间求取背景修正量，将第一被摄体图像作为基准图像，对第二被摄体图像进行修正，从该修正后的图像和图6(c)的被修正的背景图像之间生成的差分图像中被提取。
图12表示在S7中利用图9(d)的区域112和图20(b)的区域1 30检测出的各被摄体的重叠区域。图12中的涂黑的区域131是重叠区域，为了容易理解，用虚线表示第一被摄体区域112和第二被摄体区域130。
图13(a)表示在S8中存在重叠的情况下，在S9中生成的重叠图像的一例。这时，在第一被摄体图像上重叠第二被摄体并进行覆写后的结果，是醒目地显示与第一被摄体和第二被摄体重叠的重叠区域131相当的部分。即，变更重叠区域131原来的像素值，作为例如涂黑的像素值。
这样，通过显示使重叠区域131醒目的重叠图像，产生使用户容易理解第一被摄体和第二被摄体重叠的情况的辅助拍摄的效果。
通过以上的说明，对S7中被摄体区域之间存在重叠的情况的S8的处理例的概要进行了说明。
而且，如果在典型的利用场合例中考虑该情况，则首先用照相机(图像合成装置)拍摄、记录图6(a)那样的背景图像。接着在相同的背景下拍摄、记录图7(a)那样的第一被摄体。最后在相同背景下拍摄图8(a)那样的第二被摄体。
而且，通过第一被摄体和第二被摄体交互进行第一被摄体和第二被摄体的拍摄，所以即使没有第三者也可以进行拍摄。背景图像的拍摄在被摄体或者第二被摄体中进行都可以，但是如果考虑下一次的拍摄，则拍摄了第二被摄体的情况下，可进行流畅的处理。为了在相同背景下拍摄，虽然照相机不动较好，但是因为与背景匹配地进行修正，所以不用三角架等固定，用手在大致相同的位置朝向相同的方向进行拍摄也可以。而且，被摄体的位置关系不仅是图7(a)、图8(a)那样的左右关系，任意的位置关系都可以。
然后，在拍摄了三个图像以后，进行从S4到S10的处理，进行图11(a)和图13(a)那样的显示(或者在后说明的警告/通知等)。
如果在存在被摄体重叠等的显示或通知的情况下，也可以再次重复从S1到S10的处理。即拍摄背景图像、第一被摄体图像、第二被摄体图像，生成、显示重叠图像等。在满足被显示的处理结果之前，进行多少次重复都可以。
但是，在第二被摄体移动位置等情况下，也可以不必重新拍摄背景图像和第一被摄体图像，有时只要重新取得第二被摄体就可以。这时，只要重复S3至S10就可以。
这时，如果自动地重复从S3的第二被摄体图像的取得到S10的显示，即如果如不按压快门按钮而拍摄活动图像那样，连续地取得第二被摄体图像，并包括处理、显示而重复进行，则可以追踪照相机和第二被摄体的移动等，从而实时地确认处理结果。因此，可以实时地了解第二被摄体的移动位置是否合适(是否重叠)，产生容易进行用于得到没有重叠的合成结果的第二被摄体的拍摄的优点。
而且，为了启动该重复处理，需要从菜单等选择处理开始，进入专用模式。可以通过到达合适的移动位置后按压快门按钮，决定第二被摄体图像(存储)，使该重复处理/专用模式结束(虽然结束，但可以继续处理，直到得到最后的合成结果的S10)。
而且，在背景图像良好但第一被摄体图像不好的情况下，例如，在第一被摄体位于背景的正中，无论怎样配置都会与第二被摄体重叠，或者如果不使之重叠，则第二被摄体从重叠图像移到取景框外的情况下，则可以重新进行S2的第一被摄体图像的取得。
而且，由于这里将第一被摄体图像作为基准图像进行合成，所以重新拍摄第一被摄体图像，但在将背景图像作为基准图像，在其上合成第一被摄体区域和第二被摄体区域的图像的情况下，也有原样保持第一被摄体图像，对背景图像进行重新拍摄的方法。
例如，在作为基准的背景图像上对第一被摄体进行配置，使之与背景匹配时，第一被摄体无论如何都位于背景图像的正中的情况下，有时存在没有将第二被摄体无重叠地配置在其周围的空间的情况。这时，通过重新拍摄背景图像，使得第一被摄体不处于正中，而被配置在靠近端部，从而可以产生可空出配置第二被摄体的区域的效果。
以下，对以上说明的处理的细节进行说明。
图14是说明图5的处理，即取得第二被摄体图像的处理的一个方法的流程图。
在经由P20的S3-1中，第二被摄体图像取得部件3取得第二被摄体图像，处理进入S3-2。这里的处理与图5的S1的背景图像的取得和取得方法本身相同。
在S3-2中，同一部件3判断是否有来自自动快门部件15的拍摄图像的指示，如果有指示则进入S3-3，如果没有指示则处理跳到P30。
在S3-3中，同一部件3将在S3-1中取得的第二被摄体图像存储到主存储器74、外部存储器75等，处理跳到P30。
在以上的S3-1到S3-3的处理中，进行图5的S3的处理。
而且，处理自动快门部件15以外，由摄影者手动按压快门，或者在用定时器启动快门等情况下，也可以存储拍摄图像，但这些处理包含在S1、S2、S3-1的处理中。
图15是说明图5的S4的处理，即对背景修正量进行计算的处理的一个方法的流程图。
虽然考虑各种计算背景修正量的方法，但是这里对使用块匹配的简单方法进行说明。
在经由P30的S4-1中，背景修正量计算部件4将背景图像分割为块区域。图6(b)是说明将图6(a)的背景图像分割为块区域的状态的说明图。用虚线区分的矩形是各块区域。将左上的块设为“B(1，I)”，将其右的设为“B(1，2)”，将其下的设为“B(2，1)”来表现。在图6(b)中，根据空间的情况，例如在块B(1，1)的块中，块的左上记为“11”。
在S4-2中，同一部件4求出背景图像的块在第一被摄体图像、第二被摄体图像上匹配的位置，处理进入S4-3。所谓“(块)匹配”是在这时，在第一被摄体图像、第二被摄体图像上查找与背景图像的各块的块内图像最相似的块区域的处理。
为了说明，将定义块的图像(这里为背景图像)称为“参照图像”，将查找相似块的对方的图像(这里为第一被摄体图像和第二被摄体图像)称为“检索图像”，将参照图像上的块称为“参照块”，将检索图像上的块称为“检索块”。将参照图像上的任意的点(x，y)的像素值设为Pr(x，y)，将检索图像上的任意的点(x，y)的像素值设为Ps(x，y)。
而且，参照图像不限于背景图像，与也可以定为基准图像或者与基准图像无关的第一被摄体图像、第二被摄体图像中的一个，但为了求出背景部分的修正量而进行块匹配，所以将背景部分最多的背景图像选作参照图像，有和检索图像中的背景图像部分匹配的准确率高的优点。
例如，在将第一被摄体图像作为参照图像，将第二被摄体图像作为检索图像时，在第二被摄体图像上的背景部分(例如图8(b)的B(4，2))相当于第一被摄体图像上的被摄体部分时，不能正确地求出对应的块。如果将背景图像设为参照图像，则对应于图8(b)的B(4，2)的块在背景图像中作为图6(b)的B(4，2)的块而存在。
目前，设参照块为正方形，其一边的尺寸为m像素。则参照块B(i，j)的左上的像素的位置为：
(m×(i-1)，m×(j-1)
从参照块B(i，j)的左上设为像素数而离开(dx，dy)的像素值为：
Pr(m×(i-1)+dx，m×(j-1)+dy)
在将检索块的左上位置设为(xs，ys)时，用以下2式求出参照块B(i，j)和检索块的相似度S(xs，ys)：
D(xs，ys；dx，dy)＝|Ps(xs+dx，ys+dy)-Pr(m×(i-1)+dx，m×(j-1)+dy|
S ( xs , ys ) = Σ dx = 0 m - 1 Σ dy = 0 m - 1 D ( xs , ys ; dx , dy )
D(xs，ys；dx，dy)是参照决和检索块从左上离开(dx，dy)的各个像素值之间的差的绝对值。然后，S(xs，ys)是对块内的全部像素将该差的绝对值进行相加的值。
如果参照块和检索块是完全相同的图像(对应的像素值全部相等)的情况下，S(xs，ys)为0。如果不相似的部分增加，即像素值的差变大，则S(xs，ys)变为较大的值。因此，S(xs，ys)越小，越为相似的块。
S(xs，ys)是将检索块的左上位置设为(xs，ys)时的相似度，所以如果使(xs，ys)在检索图像上变化，则得到各个位置的相似度。可以将所有相似度中最小的相似度的位置(xs，ys)设为已匹配的位置。将已匹配的位置的检索块称为“匹配块”。
图16是说明了该匹配块的样子的图，但将图16(a)的图像作为参照图像，将图16(b)的图像作为检索图像，作为图像的内容，设括号形的线分别存在一些位置错位。设参照图像中的参照块100位于括号形的线的稍角部。作为检索图像中的检索块，存在检索块101、102、103。如果分别计算参照块100和检索块101、参照块100和检索块102、参照块100和检索块103中的相似度，则因为检索块101为最小值，所以将检索块101作为相对于参照块100的匹配块就可以。
以上对一个参照块B(i，j)的匹配进行了说明，但可以对于各个参照块求出匹配块。对于图6(b)的42个参照块的每一个，可以在第一被摄体图像、第二被摄体图像的各个中检索匹配块。
而且，对于求出匹配块的相似度的方法，这里使用了各像素值的差分的绝对值，但是此外还有各种方法，使用哪种方法都可以。
例如，还有使用相关系数的方法和使用频率分量的方法等，还有各种高速化方法等。而且，虽然考虑各种参照块的位置和大小等的设定方法，但匹配块的详细的改进方法不是本发明的主旨，所以这里省略说明。
而且，对于参照块的大小，如果过小，则不能在块内捕捉很好的特征，匹配结果的精度变差，但相反如果过大，则包含被摄体和图像的框，匹配结果的精度变差，不能很好对应旋转、扩大缩小等的变化，所以希望设为适当的大小。
接着，在S4-3中，相同部件4从S4-2中求出的匹配块中仅挑出与背景部分相当的检索块，处理进入S4-4。
在S4-3中求出的匹配块，因为仅选择差分最少的检索块，所以不能保证为相同的图像，偶尔也有仅像某种模样等的情况。而且，因为最初为第一或者第二被摄体，所以有时不存在与参照块相当的图像部分，这时在适当的位置设定匹配块。
因此，需要从各匹配块中去除被判断为不是与参照块相同的图像部分的匹配块。因为剩余的匹配块是判断为与参照块相同的图像部分的匹配块，所以结果是仅剩余除去了第一和第二被摄体后的背景部分。
虽然考虑各种匹配块的选择方法，但是作为最简单的方法，为用规定阈值判断相似度S(xs，ys)。即，如果各匹配块S(xs，ys)超过该阈值，则该匹配作为不正确被去除的方法。S(xs，ys)被块的大小影响，所以希望考虑块的大小后决定阈值。
图7(b)是从图7(a)的第一被摄体图像的S4-2的匹配结果中，去除了不正确的匹配块后的结果。在被判断为正确的匹配块中，分配与对应的参照块相同的号码。同样，图8(b)是从图8(a)的第二被摄体图像的S4-2的匹配结果中，去除了不正确的匹配块后的结果。由此可知，仅剩余不包含被摄体部分，或者基本不包含的背景部分的匹配块。
在S4-4中，同一部件4从S4-3中得到的背景部分匹配块中求出第一被摄体图像和第二被摄体图像的背景修正量，处理跳到P40。
作为背景修正量，例如求取旋转量θ、扩大缩小量R、和/或平行移动量(Lx，Ly)，可考虑各种计算方法。这里对使用了两个块的最简单的方法进行说明。
而且，旋转量、扩大缩小量、平行移动量以外的失真修正量，只要在拍摄时使照相机基本不移动，即使不使用，背景部分也基本重叠，可以在差分图像中进行干扰足够小的失真修正的情况很多。为了得到旋转量、扩大缩小量、平行移动量以外的失真修正量，虽然最少需要使用3点或者4点以上的块，需要考虑了透视变换以后的计算，但由于是在全景图像的合成等中也使用的公知方法(例如：“共立出版：bit1994年11月号别册‘コンピユ一タ.サイエンス’(计算机.科学)”的P90等)，所以这里省略处理的细节。
首先，尽可能选择相互距离远的两个匹配块。而且，在S4-3中剩余的匹配块仅有一个时，省略以后的求取扩大缩小率、旋转量的处理，只要求出和对应的参照块的位置的差分作为平行移动量就可以。在S4-3中剩余的匹配块一个也没有时，考虑重新拍摄了背景图像、第一/第二被摄体图像等的方法较好，所以进行发出该意图的警告等较好。
考虑各种选择方法，例如考虑以下方法：
1)选择匹配块中的任意两个，计算这两个匹配块的中心位置间的距离，
2)在所有匹配块的组合中进行1)的计算，
3)选择2)中距离最大的组合作为在背景修正量的计算中使用的两个块。
这里，作为上述3)举出的那样，作为使用相互距离最远的匹配块的优点，可举出在求出扩大缩小率和修正量等时的精度变好的优点。因为匹配块的位置为像素单位，所以精度也为像素单位。例如，在横向离开50像素的位置上错开1像素时的角度，和横向离开5像素的位置上错开0.1像素时的角度相同。但是，0.1像素的错开在匹配中不能检测。因此，使用了尽可能远离的匹配块的方法较好。
使用两个块只是为了计算简单。使用更多的块来计算平均扩大缩小率和旋转量时，获得误差减小的优点。
例如在图8(b)的例子中，相互距离最远的两个匹配块为块15和61的组合。
接着，设将选择的两个匹配块的中心位置用检索图像上的坐标表示为(x1’，y1’)，(x2’，y2’)，将与其对应的参照块的中心位置用参照图像上的坐标表示为(x1，y1)，(x2，y2)。
首先，求取扩大缩小率。
匹配块的中心间的距离Lm为：
Lm＝((x2’-x1’)×(x2’-x1’)+(y2’-y1’)×(y2’-y1’))1/2
参照块的中心间的距离Lr为：
Lr＝((x2-x1)×(x2-x1)+(y2-y1)×(y2-y1))1/2
扩大缩小率R用下式求出：
R＝Lr/Lm
接着求取旋转量。
通过匹配块的中心的直线的倾角θm为：
θm＝arctan((y2’-y1’)/(x2’-x1’))
(但是x2’＝x1’时，θm＝π/2)
通过参照块的中心的直线的倾角θr为：
θr＝arctan((y2-y1)/(x2-x1))
(但是x2＝x1时，θr＝π/2)
而且，arctan为tan的逆函数。
由此，旋转量θ用下式求出：
θ＝θr-θm
最后是平行移动量，但是其对应的决之间的中心位置相等就可以，所以例如设(x1’，y1’)和(x1，y1)相等，则平行移动量(Lx，Ly)为：
(Lx，Ly)＝(x1’-x1，y1’-y1)
由于旋转量和扩大缩小量将任意位置设为中心都可以，所以这里将平行移动中一致的点，即对应的块的中心作为旋转中心和扩大缩小中心。
因此，将检索图像中的任意的点(x’，y’)变换为被修正的点(x”，y”)的变换式为：
x”＝R×(cosθ×(x’-x1’)-sinθ×(y’-y1’))+x1
y”＝R×(sinθ×(x’-x1’)+cosθ×(y’-y1’))+y1
虽然描述了旋转量、扩大缩小量、平行移动量，但正确的是在这里求取了θ、R，(x1，y1)、(x1’，y1’)的参数。而且，修正量/变换式的表示方法不应限制于此，其他表示方法也可以。
该变换式是将检索图像上的点(x’，y’)变换为修正图像上的点(x”，y”)，但修正图像上的点(x”，y”)与参照图像(背景部分)重叠，所以可以看做从检索图像向参照图像(背景部分重叠那样)变换。因此，将该变换式表现为将检索图像上的点(Xs，Ys)变换到参照图像上的点(Xr，Yr)的变换函数Fsr和下式：
(Xr，Yr)＝Fsr(Xs，Ys)
而且，前式也可以反向变形为从被修正的点(x”，y”)到检索图像中的任意点(x’，y’)的变换式：
x’＝(1/R×(cosθ×(x”-x1)+sinθ×(y”-y1))+x1’
y’＝(1/R×(sinθ×(x”-x1)-sinθ×(y”-y1))+y1’
如果这也用变换函数Frs表示，则为下式：
(Xs，Ys)＝Frs(Xr，Yr)
变换函数Frs也称为变换函数Fsr的逆变换函数。
在图6(a)、图7(a)、图8(a)的例子中，没有旋转和扩大缩小，仅为简单的平行移动，但细节在后以图6(c)、图8(c)进行说明。
以上的S4-1到S4-4的处理中，进行了图5的S4的背景修正量的计算处理。
图17是说明图5的S5的处理，即生成背景图像和第二被摄体图像的修正图像，生成第一被摄体图像的差分图像的处理的一个方法的流程图。
在S4中计算的修正量的说明中，对背景图像和第一被摄体图像、背景图像和第二被摄体图像之间的修正量进行了计算。
如果以变换式的形式书写，则将背景图像上的点设为(Xb，Yb)，将第一被摄体图像上的点设为(X1，Y1)，将第二被摄体图像上的点设为(X2，Y2)，求出下式：
(X1，Y1)＝Fb1(Xb，Yb)
(Xb，Yb)＝F1b(X1，Y1)
(X2，Y2)＝Fb2(Xb，Yb)
(Xb，Yb)＝F2b(X2，Y2)
但是，Fb1是从(Xb，Yb)到(X1，Y1)的变换函数，F1b是其逆变换函数，Fb2是从(Xb，Yb)到(X2，Y2)的变换函数，F2b是其逆变换函数。
由于在三个图像中求出了两个图像的变换函数(修正量)，所以三个图像中的任意两个图像都可能相互变换。因此，问题是在进行修正时，与哪个图像匹配来进行修正。这里还考虑后面的处理的效率，第一被摄体图像，即在第一/第二被摄体图像内，将先拍摄的被摄体图像作为基准图像，并进行修正，使得除此之外的背景图像、第二被摄体图像的背景部分与第一被摄体图像的背景部分重叠。
例如考虑由于被摄体之间存在重叠等原因而重新拍摄的情况。设对第一/第二被摄体图像以该顺序进行了拍摄，将第一被摄体图像设为基准图像，被摄体之间存在重叠的情况下，重新拍摄第二被摄体图像。这时，第一被摄体图像和以第一被摄体图像为基准图像修正的背景图像不需要重新拍摄，可以原样用于合成图像的制作。
与此相对，在将后拍摄的第二被摄体图像设为基准图像，被摄体之间存在重叠的情况下，如果重新拍摄第二被摄体图像，则当然以第二被摄体图像为基准修正的第一被摄体图像和背景图像的修正处理无效，必须对各自进行再修正。
这样在第一被摄体图像和第二被摄体图像中，通过将先拍摄的一个作为基准图像，可以在反复重新拍摄的情况下产生可减少处理量/处理时间的效果。
从第二被摄体图像到第一被摄体图像的变换函数F21组合上述的变换式，成为下式：
(X1，Y1)＝F21(X2，Y2)＝Fb1(F2b(X2，Y2))
逆变换函数F12也以同样的考虑方式来求出。
在经由P40的S5-1中，修正图像生成部件5利用在背景修正量计算部件4(S4)中得到的修正量生成修正后的图像，使得背景图像的背景部分与第一被摄体图像的背景部分重叠，处理进入S5-2。而且，将这里生成的被修正的背景图像称为“修正背景图像”(参照图6(c))。
在修正中，也可以使用变换函数Fb1或者逆变换函数F1b。一般来说，为了生成漂亮的变换图像，求出与变换图像(这里为修正背景图像)的像素位置对应的原图像(这里为背景图像)的像素位置，从该像素位置求出变换图像的像素值。这时，使用的变换函数变为F1b。
而且，一般来说，求出的原图像的像素位置不为整数值，所以保持原样，求出的原图像的像素位置的像素值不能被求出。因此，通常进行某些插补。例如，作为最一般的方法，有根据求出的原图像的像素位置周围的整数值的像素位置的四个像素用一次插补求出的方法。关于一次插补法，记载在一般的图像处理的书等(例如，森北出版：安居院猛，中屿正之共著“图像信息处理”的P54页)中，这里省略详细的说明。
图6(c)为根据图6(a)的背景图像和图7(a)的第一被摄体图像生成的背景图像与第一被摄体图像的背景部分重叠的修正背景图像的例子。在该例子中，修正仅为平行移动。为了明白修正的样子，用虚线表示图6(a)的背景图像的范围。框架整体比图6(a)的背景图像稍向左移动。
修正的结果，产生对应的背景图像不存在的部分。例如，图6(c)的左端的虚线和实线之间的部分是在图6(a)的背景图像中不存在的部分，所以去除。这里可知表示下方的道路的水平线在未到达左端的中间切断。该部分利用在S5-2中说明的屏蔽(mask)图像排除，所以原样作为合适的像素值保持也没问题。
在S5-2中，修正图像生成部件5生成修正背景图像的屏蔽图像，处理进入S5-3。
屏蔽图像是在生成修正图像时，用先前说明的式求出与修正图像上的各像素对应的原始图像上的像素位置，但是以该像素位置是否收敛在原始图像的范围内进行判断，如果收敛，则作为屏蔽部分，将修正图像上的对应的像素的像素值设为例如0(黑)，如果不收敛，则可以设为例如255(白)。虽然屏蔽部分的像素值不限于0，255，可以自由决定，但是以下用0(黑)，255(白)进行说明。
图6(d)是图6(c)的屏蔽图像的例子。实线的框架中被涂黑的范围是屏蔽部分。该屏蔽部分表示在被修正的图像中原始图像(修正前的图像)具有像素的范围。因此，在图6(d)中，对应的背景图像不存在的左端部分不成为屏蔽部分，成为白色。
在S5-3中，差分图像生成部件6利用第一被摄体图像和从修正图像生成部件5(S5-1)得到的修正背景图像及其屏蔽图像，生成第一被摄体图像和修正背景图像的差分图像，处理进入S5-4。而且，这里将被生成的差分图像称为“第一被摄体差分图像”。
为了生成差分图像，观察某点(x，y)的屏蔽图像上的点的像素值是否为0。如果是0(黑)，则修正背景图像上被修正的像素应该存在，所以差分图像上的点(x，y)的像素值Pd(x，y)根据下式，成为第一被摄体图像上的像素值P1(x，y)和修正背景图像上的像素值Pfb(x，y)的差的绝对值。
Pd(x，y)＝|P1(x，y)-Pfb(x，y)|
如果某点(x，y)的屏蔽图像上的点的像素值不为0(黑)，则成为下式：
Pd(x，y)＝0
可以对点(x，y)从差分图像的左上到右下的所有像素重复这些处理。
图9(a)是从图7(a)的第一被摄体图像和图6(c)的修正背景图像、图6(d)的屏蔽图像生成的第一被摄体差分图像的例子。人物(1)的区域以外的位置背景一致，或者在屏蔽范围以外，从而差分为0，主要在人物(1)的区域内，成为人物(1)的图像和背景的图像混合的图像。
通常，由于在S4中的修正量的计算误差，或者修正图像生成的插补处理等的误差，背景部分的图像自身的拍摄时间的差造成的微妙的变化等，在人物(1)的区域以外也产生小的差分部分。通常为数像素左右的大小，差也不太大的情况较多。在图9(a)人物(1)的区域的周边也多少产生白色的部分。
在S5-4中，修正图像生成部件5使用背景修正量计算部件4(S4)得到的修正量生成修正后的图像，使得第二被摄体图像的背景部分和第一被摄体图像的背景部分重叠，处理进入S5-4。在修正中，可以使用变换函数F21或者逆变换函数F12。除了处理的图像和变换函数不同以外，与S5-1的处理相同。而且，将这里生成的被修正的第二被摄体图像称为“修正第二被摄体图像”。
图8(c)从图8(a)的第二被摄体图像和图7(a)的第一被摄体图像生成的修正第二被摄体图像的例子。在该例中的修正也仅为平行移动。为了明白修正的样子，用虚线表示图8(a)的第二被摄体图像的范围。框架整体比图6(a)的背景图像稍向右下移动。
而且，图18(a)是在修正中需要旋转时的第二被摄体图像的例子。设背景图像、第一被摄体图像与图6(a)、图7(a)相同。画面整体比图8(a)稍向左旋转。
图18(b)是在图18(a)的第二被摄体图像和图6(a)的背景图像中进行了块匹配的结果。块即使存在旋转等，如果旋转量和块的大小不是那么大，则块内的图像变化少，所以在某种程度上跟随旋转，进行正确的匹配。
图18(c)是根据图18(b)的块匹配结果计算背景修正量而修正后的第二被摄体图像。与图7(a)的第一被摄体图像的背景部分重叠，可知旋转被修正。为了明白修正的样子，用虚线表示图18(a)的图像框。
在S5-5中，修正图像生成部件5生成修正第二被摄体图像的屏蔽图像，处理进入S5-6。关于屏蔽图像的生成方法，与S5-2相同。图8(d)是图8(c)屏蔽图像的例子。图18(b)的情况下的屏蔽图像成为图8(d)那样。
而且，即使在扩大缩小和旋转的修正量存在的情况下，如果在S5-4、S5-5中进行修正和屏蔽图像的生成，则由于后面的处理作为顺序没有变化，所以，在以后的说明中，第二被摄体图像不使用图18(a)，而使用图8(a)。
在S5-6中，差分图像生成部件6利用从修正图像生成部件5(S5-1)得到的修正背景图像、从修正图像生成部件5(S5-2)得到的修正背景图像的屏蔽图像、从修正图像生成部件5(S5-4)得到的修正第二被摄体图像，从修正图像生成部件5(S5-5)得到的修正第二被摄体图像的屏蔽图像，生成修正第二被摄体图像和修正背景图像的差分图像后，处理跳到P50。而且，将这里生成的差分图像称为“第二被摄体差分图像”(参照图10(a))。
关于差分图像的生成方法，基本上与S5-3相同，但是在修正背景图像的屏蔽图像和修正第二被摄体图像的屏蔽图像的某点(x，y)的像素值的任意一个都仅在0(黑)时取得图像的差分这一点上与屏蔽图像的处理稍有不同。
图10(a)是图6(c)的修正背景图像和从图8(c)的修正第二被摄体图像生成的第二被摄体差分图像的例子。除了第一被摄体变为第二被摄体之外，为与图9(a)相同的状态。
在以上的S5-1至S5-6的处理中，进行图5的S5的差分图像生成的处理。
图19是说明图5的S6的处理，即提取被摄体区域的处理的一个方法的流程图。
在经由P50的S6-1中，被摄体区域提取部件7根据从差分图像生成部件6得到的差分图像，生成“标示图像”(对于“标示图像”的含义在后说明)，处理进入S6-2。差分图像有第一被摄体差分图像和第二被摄体差分图像两个，所以标示图像也被分别做成。由于哪一个的生成标示图像的处理步骤都在一起，所以以后“差分图像”一词中包含“第一被摄体差分图像”、“第二被摄体差分图像”来说明。
首先，作为准备，根据差分图像生成二值图像。虽然也考虑各种二值图像的生成方法，但是，例如将差分图像中的各像素值和规定的阈值比较，如果比阈值大则为黑，如果小于或等于阈值则为白等处理就可以。在差分图像由R，G，B的像素值构成的情况下，将R，G，B的像素值相加后的值与阈值比较就可以。
图9(b)是根据图9(a)的第一被摄体图像生成的二值图像的例子。黑色的区域从区域110到115，存在六个，除了大的人形区域112以外都是小区域。同样，图10(b)是根据图10(a)的第二被摄体图像生成的二值图像的例子。黑色的区域从区域120到125，存在六个，除了大的人形区域122以外都是小区域。
接着，根据生成的二值图像生成标示图像，但是一般所说的“标示图像”是找出二值图像中的白像素之间或者黑像素之间连接的块，通过对该块分配号码(以后称为“标示值”)的处理而生成的图像。在多数情况下，被输出的标示图像是多值的单色图像，各块的区域的像素值变为全部被分配的标示值。
而且，以后将具有相同标示值的像素的区域称为“标示区域”。对于找出连接的块，对该块分配标示值的处理步骤的细节，由于记载在一般的图像处理的书等中(例如：昭晃堂：昭和62年发行“图像处理手册”P318页)，所以这里省略说明，表示处理结果例。
所谓二值图像和标示图像，由于二值或者多值的差异，标示图像例用图9(b)和图10(b)说明。在图9(b)的区域110到115的号码后面附带用括号括住的号码，如“110(1)”等，但这是各区域的标示值。对于图10(b)也一样。除此之外的区域被分配标示值0。
而且，标示图像图9(b)、图10(b)由于在纸面上难以图示多值图像，所以标示为二值图像，但是，由于实际上标示值产生多值图像，所以虽然不需要显示，但在实际上作为图像显示的情况下，执行与图9(b)、图10(b)不同的观察方法。
在S6-2中，被摄体区域提取部件7除去从S6-1得到的标示图像中的“干扰”区域，处理进入S6-3。“干扰”一般指目的数据以外的部分，这里指人形的区域以外的区域。
为了除去干扰，有各种方法，但是作为简单的方法，例如有除去某阈值以下面积的标示区域的方法。为此，首先求出各标示区域的面积。为了求出面积，只要扫描所有像素，对存在多少具有某特定的标示值的像素进行计数就可以。在对所有标示值求出面积(像素数)以后，在其中除去规定阈值以下的面积(像素数)的标示区域。具体来说，除去处理是将该标示区域的标示值设为0，或者做成新的标示图像，在其中复制干扰之外的标示区域也可以。
图9(c)是从图9(b)的标示图像中除去了干扰之后的结果。除了人形区域112以外，都被作为干扰除去。同样，图10(c)是从图10(b)的标示图像中除去了干扰之后的结果。除了人形区域122以外，都被作为干扰除去。
在S6-3中，被摄体区域提取部件7从S6-2得到的被除去了干扰后的标示图像中提取被摄体的区域，处理跳到P60。
一般来说，仅通过图像处理，难以完全正确地对被摄体的区域进行提取，一般需要人的知识和人工智能的高度的处理。虽然也有作为提取区域的方法之一的“曲折移动(snake)”等，但没有完美的方法。但是，在某种程度上可以推测可在重叠检测处理或者合成处理中使用的程度的区域。
例如，在程序中等将第一或者第二被摄体的人数设定为固定值或者变量，则可以从被除去了干扰之后的标示图像中，按照面积大小的顺序，按人数提取标示区域。或者可以将所有具有大于或等于规定的阈值的面积的区域作为被摄体区域。
而且，如果难以完全自动化，则可以考虑使用书写板或者鼠标等输入部件，由用户指定哪个区域为被摄体区域的方法。指定方法也考虑以下方法：连被摄体区域的轮廓都指定而得到的方法，以及轮廓使用标示图像的各标示区域的轮廓，指定哪个标示区域是被摄体区域而得到的方法。
这里，将所有具有大于或等于规定的阈值的面积都作为被摄体区域，但是，在图9(c)和图10(c)中，由于已经在干扰除去阶段使大的区域变为一个，所以处理结果图9(d)和图10(d)看上去和图9(c)和图10(c)一样。
而且，图9(b)和图10(b)中偶尔人形的区域很好地成为一个标示区域，但是通过图像，有时即使是一个人的被摄体，也被分为多个标示区域。例如，在被摄体区域中的正中附近的像素为与背景相似的颜色和亮度时，由于在差分图像中该部分的像素值小，所以有时被摄体区域的正中周围被识别为背景，被摄体区域被分断为上下或左右并被提取。这时，有可能出现后面的被摄体的重叠检测和合成处理等不能很好的处理的情况。
因此，也有使标示图像的标示区域膨胀，将距离近的标示区域作为相同标示区域进行统一处理的方法。进而还考虑利用曲折移动的方法。对于膨胀和曲折移动的处理步骤的细节，由于记录在一般的图像处理的书等中(例如：昭晃堂：昭和62年发行“图像处理手册”P320页，以及Kass A.，etal.，“Snakes：Active Contour Models”，Int.J.Comput.Vision，pp.321-331(1988))，所以这里省略说明。
而且，即使不统一地使用距离近的标示区域，为了用于减少遗漏有重叠的情况的危险性，也有使提取出的被摄体区域进行一定量的膨胀的方法。
而且，这里以不特别进行膨胀和统一的处理例来进行说明。
在以上的S6-1到S6-3的处理中，进行图5的S6的被摄体区域提取处理。
接着，对图5的S7的处理的一个详细的例子进行说明。
在S7中，重叠检测部件8对于从被摄体区域提取部件7(S6)得到的第一被摄体区域、第二被摄体区域检测两者的区域中是否存在重叠，在存在重叠的情况下提取重叠区域。
但是，实际上，为了检测是否存在重叠，由于提取重叠区域，检测是否存在重叠非常简单，所以首先提取重叠区域。
作为其方法，判断某像素的位置(x，y)是否属于第一被摄体区域和第二被摄体区域两者，如果属于两者，则将该像素值例如设为0(黑)，如果不属于两者，则例如设为255(白)，如果对所有像素位置进行位置(x，y)扫描，结果则可以生成重叠图像。
为了判断某像素的位置(x，y)是否属于第一被摄体区域和第二被摄体区域两者，观察包含从S6得到的第一被摄体区域的图像和包含第二被摄体区域的图像中的(x，y)位置的像素，可以通过是否两个都为被摄体区域的像素(例如在前面的例子中，如果标示值不为0则为被摄体区域的像素)来进行判断。
观察被生成的重叠图像中是否存在具有0(黑)的像素值的像素，如果存在，则存在重叠，如果不存在，则不存在重叠。
而且，重叠检测部件8在与重叠有关的信息中，不仅包括是否存在重叠，还对重叠的区域进行输出。即，也输出生成的重叠图像。
在图9(c)、图10(c)的例子中，由于没有重叠，所以不特别表示重叠图像，但是这时重叠检测部件8判断没有重叠。
用图20(a)的第二被摄体图像说明存在重叠的例子。而且，背景图像、第一被摄体图像使用图6(a)、图7(a)。
图20(b)是从图20(a)生成的第二被摄体图像。第二被摄体图像130与图10(d)的区域122相比稍偏向左。根据图20(b)和图9(d)的第一被摄体图像做成的重叠图像为图12。重叠的区域131被涂黑。为了容易了解重叠的状况，在图12中用虚线表示第一被摄体区域112和第二被摄体区域130(在实际的重叠图像中不存在该虚线)。在图12的情况下，重叠检测部件8判断存在重叠。
接着，图21是对图5的S8的处理，即与重叠有关的处理的一个方法进行说明的流程图。关于与重叠有关的其它的处理方法，在后面用图22、23、24、27进行说明。
在经由P70的S8-1中，重叠警告部件13根据从重叠检测部件8(S8)得到的信息来判断是否存在重叠，在存在重叠的情况下进到S8A-2，在没有重叠的情况下处理跳到P80。
在S8A-2中，重叠警告部件13将第一被摄体和第二被摄体存在重叠的情况警告用户(拍摄者)或者被摄体或者两方，处理跳到P80。
作为警告的通知方法考虑各种情况。
例如，在利用合成图像进行通知的情况下，将合成区域醒目地重叠在合成图像来显示就可以。图13(a)、图13(b)是对其进行说明的例子。两个图像的差异仅在于第一被摄体(人物(1))的图像合成方法的不同。
在图13(a)、图13(b)中，图12的重叠区域131被重叠在合成图像上来显示。如果将区域131的部分的像素值变更后用红色等醒目的颜色涂覆则更好。或者使区域131的区域及其轮廓等闪烁显示也可以。
图13(c)是进一步用文字进行警告的例子。在图13(c)的上方，在合成图像上重叠产生警告窗口，在其中显示“被摄体重叠！”的信息。也可以使其醒目的配色或者闪烁。
对于这些合成图像的覆写，可以按照重叠警告部件13的指示对重叠图像生成部件9进行，也可以对重叠图像显示部件10进行。在使警告窗口闪烁的情况下，可能需要使原来的合成图像留下，所以有时对于重叠图像显示部件10，使例如从主存储器74或者外部存储器75间歇地读出并提供警告窗口的数据的万法较好。
如果在图3(a)的监视器141上显示这些警告显示，则可以一边拍摄一边确认重叠的状态，在拍摄中很方便。这时，可以产生拍摄者在将接着拍摄的图像作为第二被摄体图像等使用的情况下，对被摄体(人物(2))进行“因为重叠，所以再向右方移动”的指示，以便消除重叠状态的优点。
而且，所谓在将接着拍摄的图像作为第二被摄体图像等使用的情况，考虑以下情况：用户通过菜单或者快门按钮143指示第二被摄体图像的记录(存储器写入)的情况，或者如前所述那样，成为将第二被摄体图像活动地拍摄，将修正重叠图像基本上实时地显示的反复处理的专用模式的情况等。
而且，图3(a)的监视器141朝向拍摄者的方向，但如果是监视器可以朝向被摄体的方向的装置，则被摄体也可以确认重叠状况，即使不被拍摄者指示，被摄体也可以自己移动以便消除重叠。也可以准备与监视器141不同的监视器，使其可以看见被摄体。
而且，如果将如前所述作为专用模式说明的图5的S3到S10的处理进行重复，则可以基本上实时地了解当前的重叠状态，所以基本上实时地了解是否通过被摄体的移动而消除了重叠，可以使拍摄便利且有效率。从图5的S3到S10的处理如果使用足够快的CPU和逻辑电路等，则不需要那么长的时间。在实际使用中，如果可以实现1秒内大于或等于1次的速度的重复处理，则可以说是基本上实时地显示。
而且，在重复处理的情况下，持续更新第二被摄体图像，但是在S5中生成差分图像时，将基准图像设为第一被摄体图像，是由于具有在反复处理时可以减少处理量的优点。即，如果将第二被摄体图像设为基准图像，则必须对包含第一被摄体图像、背景图像的全体进行背景修正量的计算、重复图像生成和被摄体区域的检测等的处理，但是如果将第一被摄体图像设为基准图像，则一次就可以完成第一被摄体图像和背景图像之间的中间处理，只要重复进行与第二被摄体图像有关联的处理就可以。
而且，只要看见将重叠区域重叠在合成图像而显示的结果、被摄体之间的重叠状况和合成图像的框架之间的关系，可以判断被摄体不论怎样移动都产生重叠，或者被摄体在框架之外，则可以判断出根据第一被摄体图像和背景图像的拍摄重新进行的方式较好。
而且，作为警告的通知的方法，可以通过使图3(a)的灯142点亮或者闪烁来进行通知。由于是警告，所以如果将灯的颜色设为红色或者橙色等颜色则容易明白。灯的闪烁等一般具有即使拍摄者不盯着监视器141也容易引起注意的优点。
而且，可以如图13(b)那样不将重叠区域重叠在合成图像中进行显示，仅以灯通知也可以。这时，虽然难以马上了解重叠了多少，但是知道了是否有重叠，而在之后通过被摄体移动等来观察是否警告通知消失，则可以达到得到没有重叠的合成图像的目的，所以仅通过灯也可以。由此，产生省略显示重叠部分的处理的优点。
而且，用数字或者柱形图等在监视器141上显示重叠的面积，或者使多个灯的亮灯控制或单独的灯的闪烁间隔根据重叠的面积而改变等，可以用其它途径通知重叠状况更好。
而且，虽然在图3(a)中没有，但存在与监视器141不同的寻像器那样可以确认图像的其它部件时，也考虑进而与监视器141一样显示警告通知，或者在寻像器内部安装灯来进行通知的方法。
而且，在虽然在图3(a)、图3(b)中没有表示，但是也可以使用图2的扬声器80来进行警告通知。在存在重叠时，一边使警告蜂鸣器鸣叫，一边输出“产生重叠”等的声音等来进行警告通知。这时也有望得到与灯相同的效果。在使用扬声器的情况下，与光不同，基本上没有指向性，所以有通过一个扬声器可以向拍摄者和被摄体两方通知重叠的状态的优点。
在以上的S8-1到S8A-2的处理中，进行与图5的S8的重叠有关的处理。
图22是图5的S8的处理，即对与重叠有关的处理的另一个方法进行说明的流程图。
在经由P70的S8-1中，最佳镜头通知部件14根据从重叠检测部件8(S7)得到的信息判断是否存在重叠，在存在重叠时，处理跳到P80，在没有的情况下处理进入到S8B-2。
在S8B-2中，最佳镜头通知部件14向用户(拍摄者)或者被摄体或者两者通知第一被摄体和第二被摄体中没有重叠的情况，处理跳到P80。
实际上使用该通知的最一般的方法是，与通知无重叠的情况相比，进一步通知没有重叠而引起的下一步的操作，具体来说是通知成为记录第二被摄体图像的最佳镜头的情况。这时，该通知主要针对拍摄者。
关于最佳镜头的通知方法，基本上原样使用在图21中说明的方法。例如，可以将图13(c)的信息改为“是最佳镜头！”等就可以。而且，图13(c)的重叠部分这时不存在，所以当然也不需要表示。另外，对于灯、扬声器，颜色或者输出的声音的内容也多少有些改变，但作为通知方法可以同样利用。
如果知道为最佳镜头，则拍摄者可以通过按压快门在被摄体之间没有重叠的状态下进行拍摄/记录，而且产生被摄体也可以进行可能按压快门的准备(例如视线的方向或者面部的表情等)的优点。
在以上的S8-1到S8B-1的处理中，进行与图5的S8的重叠有关的处理。
图23是对图5的S8的处理，即与重叠有关的处理的再一个方法进行说明的流程图。
在经由P70的S8-1中，自动快门部件15根据从重叠检测部件8(S7)得到的信息判断是否存在重叠，如果存在重叠时，处理跳到P80，在没有重叠时处理进入S8C-2。
在S8C-2中，自动快门部件15判断是否按压快门按钮，如果按压则进入S8C-3，如果没有按压则处理跳到P80。
在S8C-3中，自动快门部件15对第二被摄体图像取得部件3指示记录第二被摄体图像，处理跳到P80。第二被摄体图像取得部件3根据指示，将拍摄图像存储到主存储器74、外部存储器75等中。
由此，如果在被摄体之间没有重叠时按压快门按钮，则产生可以自动记录拍摄图像的效果。同时，也可以产生防止失误地在重叠状态下记录拍摄图像的效果。
作为实际使用的方法，观察被摄体的样子等，在认为目前也可以记录拍摄图像后，拍摄者按压快门按钮，但在该时刻也不一定被记录，在产生重叠的情况下不被记录。即，自动快门部件15在判断出存在重叠的情况下，即使拍摄者按压快门按钮，也禁止第二被摄体图像的记录，使得第二被摄体图像取得部件3也不进行记录动作。
而且，在不被记录的情况下，对该状况进行显示，或者通过灯、扬声器等的通知部件通知拍摄者等的方法，只要明确虽然按压了快门，但没有被拍摄的状况就可以。
然后，被摄体移动等，从而成为没有重叠的状态时，如果再次按压快门按钮，则此次被记录。进行显示，或者通过灯、扬声器等的通知部件通知拍摄者等，使其了解被记录的状况。
不是每次按压快门按钮，如果一直按压，则从重叠状态变为不重叠状态的瞬间自动地被记录。但是，如果在重叠消失的瞬间被摄体不静止，则有时拍摄图像晃动，或者未达到拍摄图像的状态(被摄体朝向其它位置时等)，所以，这时在自动记录之前稍微隔开一段时间较好。
在以上的S8-1到S8C-3的处理中，进行了与图5的S8的重叠有关的处理。
图24是对图5的S8的处理即与重叠有关的处理的再一个方法进行说明的流程图。
在经由P70的S8-1中，重叠回避方法计算部件11根据从重叠检测部件8(S7)得到的信息来判断是否存在重叠，如果存在重叠则进入S8D-2，如果没有则处理跳到P80。
在S8D-2中，重叠回避方法计算部件11分别计算第一、第二被摄体区域的重心位置，处理进入S8D-3。所谓重心位置简而言之是该区域的中心位置，正确地说，是将从重心位置到某像素的距离和方向设为向量，所有区域内的像素的向量和为0的状态。求出重心位置的方法也记录在一般的图像处理的书等中，因此这里省略。
在S8D-3中，重叠回避方法计算部件11根据在S8D-2中求出的第一、第二被摄体区域的重心位置，对第二被摄体移动的方向，求出两者的重心位置间距离最远的方向(从第一被摄体区域的重心位置朝向第二被摄体的重心位置的方向)，处理进入S8D-4。
例如，在S8D-2中得到的第一被摄体区域的重心位置为(Xg1，Yg1)，第二被摄体区域的重心位置为(Xg2，Yg2)时，距离最远的方向如果用向量形式表示则为：
(Xg2-Xg1，Yg2-Yg1)
但是，在Xg2＝Xg1，Yg2＝Yg1时，第一被摄体和第二被摄体的重心位置重叠，所以可以是任意方向。
图25是在图12的重叠状态下求出的重心位置最远离方向的例子。第一被摄体图像112的重心位置132和第二被摄体图像130的重心位置133之间重心位置最远离的方向是从重心位置132朝向重心位置133的箭头134的方向。
在S8D-4中，重叠回避方法通知部件12将在S8D-3中求出的方向作为减少重叠的回避方法通知用户或者被摄体或者两者，处理跳到P80。
图26(a)是表示通过监视器141通知回避方法的状态的说明图。由于在S8D-3中求出如图25那样，第二被摄体以向右方向移动的方式减少重叠，所以将表示使第二被摄体向右方向移动的箭头重叠在合成图像中进行显示。该箭头也和已经说明的重叠部分的显示那样，用颜色或者闪烁等醒目的显示的方法容易了解就可以。
如果仅表示重叠状态，则虽然难以马上判断被摄体怎样移动可以减少重叠，但是通过用箭头等表示被摄体的移动方向，可以产生很容易了解怎样移动较好的优点。
而且，箭头的方向的角度θd根据S8D-3中求出的方向向量通过下式求出：
θd＝arctan((Yg2-Yg1)/(Xg2-Xg1))，(0≠Xg2-Xg1)
θd＝π/2，(0＝Xg2-Xg1，0≤Yg2-Yg1)
θd＝-π/2，(0＝Xg2-Xg1，0＞Yg2-Yg1)
这里显示的箭头方向很重要，所以可以忽略在S8D-3中求出的方向向量的大小。但是，可以使显示的箭头的长度具有某种意义。例如，如果已知被摄体之间重叠的面积，则可以使箭头的长度或者宽度与该面积成比例。重叠越大，则箭头越长(或者越宽)，可以直观地了解重叠的状况。而且，可以产生由于箭头大，拍摄者也必须注意消除重叠的效果。
而且，在S8D-3中求出的方向取所有的方向，但是为了指示被摄体的移动，不需要这么正确的方向，所以，也可以从上下左右4个方向加上斜方向的8个方向中选择最接近求出的θd的方向。
在压缩为4个方向或者8个方向时，用语言也可以容易地通知，所以可以如图26(a)上的信息那样，通知为“被摄体向右方向移动可以消除重叠”。而且，也可以用扬声器播出这些信息。
而且，不用箭头或者信息，用灯通知移动的方向也可以。这时，有时也需要多个方向的灯，以便可以表示上下左右4方向或者8方向等的方向。例如，可以在监视器141的周围配置方向灯。
而且，这些通知和重叠状态的通知等一样，不仅向拍摄者，而且也可以向被摄体进行通知。对于其效果，与已经说明的一样。
而且，这里利用了被摄体的重心位置，但除此之外也考虑各种方法。例如，将被摄体区域的像素值投影在X轴或者Y轴上，粗略地求出位于各轴方向的哪个边上。根据投影的结果可以求出重心位置和重叠的范围，所以据此可以求出向上下左右的哪个方向移动较好。如果组合上下方向和左右方向，则也可以求出倾斜方向的移动方向。
在以上的S8-1到S8D-4的处理中，进行了与图5的S8的重叠有关的处理。
图27是对图5的S8的处理，即与重叠有关的处理的再一个方法进行说明的流程图。
在经由P70的S8-1中，重叠回避方法计算部件11根据重叠检测部件8(S7)得到的信息判断是否存在重叠，如果存在重叠，则进入S8E-2，如果不存在，则处理跳到P80。
在S8E-2中，重叠回避方法计算部件11预测在使第二被摄体向各方向移动时的重叠量，处理进入S8E-3。
首先，假设目前为图12的第一被摄体图像112、第二被摄体图像130的状态，存在重叠的区域为区域131。从该状态尝试使第二被摄体图像130向上下左右移动规定量。
图28(a)是对用虚线表示的第二被摄体区域130向左移动，尝试移动到被涂黑的区域150的状态进行说明的图。同样，图28(b)是对尝试向右移动的状态，图28(c)是对尝试向上移动的状态，图28(d)是对尝试向下移动的状态进行说明的图。
求出了这样移动后的第二被摄体区域和第一被摄体区域的重叠的重叠图像为图29(a)到图29(d)。存在重叠的区域涂黑表示。移动后的第二被摄体区域和第一被摄体区域用虚线表示。
图29(a)的重叠区域与图12的重叠区域相比增大。图29(b)的重叠区域消失。图29(c)和图29(d)的重叠区域与图12的重叠区域131相比基本没变。
而且，这里在四个方向上预想了重叠量，但是当然可以考虑必要的精度和处理量等，设为除此之外的方向数。而且，移动量也可以设为规定的值，但是也考虑使其对应一个方向，用多个值求出重叠量的方法。
在S8E-3中，重叠回避方法计算部件11在向从S8E-2得到的各方向移动时的重叠量的预测中，提取重叠量最少的方向，处理进入S8E-4。
而且，也考虑以下方法：利用在S8E-2中说明的方法，将各方向的移动量进行各种变化后求出重叠量的情况下，分别单独考虑并选择重叠最少的方向和位置的方法，以及用该方向的所有移动量的重叠量的和进行比较，或者用平均重叠量进行比较的方法。
由于从图29(a)到图29(d)中重叠最少的是图29(b)，所以预想将第二被摄体向右方向移动的方式(在四个方向中)重叠变得最少。
在S8E-4中，重叠回避方法通知部件12将在S8E-3中求出的方向作为减少重叠的回避方法通知用户或者被摄体或者两者，处理跳到P80。
这里的处理，关于通知方法与S8D-4基本相同。例如成为图26(a)那样的通知结果。
如果说到与S8D-4的不同，则在从S8D-2到S8D-4的处理中，仅求出方向，但是在从S8E-2到S8E-4的处理中，由于假定第二被摄体的移动目的后决定方向，所以不仅是方向，还可以表示在多大程度移动较好。作为显示的方法，例如可以将表示移动方向的箭头的起点和终点设在第二被摄体的当前位置和以最小限度的移动量使重叠变得最少的位置上。由此，可以产生能够清楚地了解第二被摄体移动多少较好的效果。
而且，不仅是箭头，也有直接显示被摄体的移动目的的位置的方法。图26(b)是以最小限度的移动量消除重叠的移动目的地的例子。用虚线表示移动目的地的第二被摄体。
在以上的S8-1到S8E-4的处理中，进行与图5的S8的重叠有关的处理。
而且，S21～27的处理不必是排他的处理，可以进行任意的组合来处理。作为组合的例子，可以为以下那样的利用情景。
“在被摄体直接重叠时，警告‘重叠’，在这时即使按压快门按钮也不记录拍摄图像。然后，如图26(a)那样与警告一起显示被摄体向哪个方向移动较好。据此被摄体移动，重叠消失以后，最佳镜头灯点亮。在最佳镜头灯点亮期间按压快门按钮以后记录拍摄图像。”
接着，图30是对图5的S9的处理，即生成重叠图像的处理的一个方法进行说明的流程图。
在经由P80的S9-1中，重叠图像生成部件9将生成的重叠图像的最初的像素位置设为当前像素，处理进入S9-2。最初的像素位置例如多从左上等的角部开始。
而且，“像素位置”表示图像上的特定的位置，多用将左上角设为原点，将右方向设为+X轴，将下方设为+Y轴的X-Y坐标轴来表现。像素位置对应于表示图像的存储器上的地址，像素值是该地址的存储器的值。
在S9-2中，重叠图像生成部件9判断当前像素位置是否存在，如果存在则处理进入S9-3，如果不存在则处理跳到P90。
在S9-3中，重叠图像生成部件9判断当前像素位置是否存在于第一被摄体区域内，如果存在于第一被摄体区域内则处理进入S9-4，如果不是这样则处理进入S9-5。
是否存在于第一被摄体区域内，可以通过在从被摄体区域提取部件7(S6)得到的第一被摄体区域图像上，当前像素位置的像素值是否为黑(0)来判断。
而且，在不因是否为第一被摄体区域而特别改变处理的情况下，省略S9-3，S9-4，从S9-2进入S9-5就可以。
在S9-4中，重叠图像生成部件9计算对应于设定的像素值，作为重叠图像的当前像素位置的像素值写入。
上述的设定是指合成何种重叠图像。例如，是如图11(b)那样将第一被摄体以半透明方式进行合成，还是如图11(a)的那样以不透明的方式将第一被摄体原样覆写来进行合成等。
如果是以半透明方式进行合成，则得到第一被摄体图像的当前像素位置的像素值P1和从修正图像生成部件5(S5)得到的修正背景图像的当前像素位置的像素值Pb，用规定的透过率A(0.0到1.0之间的值)来求出合成像素值(P1×A+Pb×(1-A))就可以。如果原样覆写，则将透过率A作为1.0原样写入P1就可以。
在S9-5中，重叠图像生成部件9在S9-3中判断当前像素位置不在第一被摄体区域内时，继续判断当前像素位置是否在第二被摄体区域内，如果在第二被摄体区域内则处理进入S9-6，如果不是则处理进入S9-7。这里的处理仅是第一被摄体区域变为第二被摄体区域，与S9-3相同。
在S9-6中，重叠图像生成部件9生成对应于设定的合成像素，作为重叠图像的当前像素位置的像素值写入。这里的处理仅是将第一被摄体区域(图像)变为第二被摄体区域(图像)，与S9-4相同。
在S9-7中，重叠图像生成部件9在S9-5中判断当前像素位置不在第二被摄体区域内时，将第一被摄体图像的当前像素位置的像素值作为重叠图像的当前像素位置的像素值写入。即这时的当前像素位置既不在第一被摄体区域内，也不在第二被摄体区域内，所以结果是相当于背景部分。
而且，这里从第一被摄体图像取得背景部分的图像，但是也可以从修正背景图像取得。但是，第一被摄体区域和背景部分的边界部分使用第一被摄体图像比使用修正背景图像具有得到自然的边界部分的优点。而且，而且可以产生即使在S6中的第一、第二被摄体区域的提取错误，由于边界自然而使错误不醒目的效果。
在S9-8中，重叠图像生成部件9将当前像素位置设定为下一个像素位置，处理返回S9-2。
在以上的S9-1到S9-8的处理中，进行了图5的S9的与重叠图像生成有关的处理。
而且，在上述的处理中，在S9-4和S9-7中对第一被摄体图像和修正背景图像进行了处理，但是也考虑在生成的重叠图像中，在S9-1之前最初将第一被摄体图像或者修正背景图像进行全像素复制，之后，在各像素位置的处理中仅处理第一被摄体区域和/或第二被摄体区域的方法。全像素复制的方法虽然处理步骤简单，但是可能增加若干处理时间。
而且，即使假设第一被摄体区域和第二被摄体区域重叠，也考虑原样许可重叠图像的生成的形态。这时，在图5的流程图中，如果省略S7，S8，则处理变得简单。但是，如前所述，即使执行使重叠区域醒目的处理或者警告存在重叠的状况的处理也没有问题。
重要的是，在本发明的图像合成方法中，由于可以独立提取第一被摄体区域和第二被摄体区域，所以在生成第一被摄体区域和第二被摄体区域具有重叠的重叠图像的情况下，可以决定优选合成第一被摄体和第二被摄体的哪一个较好。
例如，设定重叠图像生成部件9使得第一被摄体优先时，如图31所示，在第一被摄体和第二被摄体的重叠区域中，得到将第一被摄体(人物(1))重叠在第二被摄体(人物(2))上的重叠图像。如果用图30的流程图进行说明，则在S9-4中，重叠图像生成部件9将上述的透过率A，即合成比例设为1.0(100％)，进行将第一被摄体图像的像素值P1原样写入当前像素位置的处理。
另一方面，在设定重叠图像生成部件9使得第二被摄体优先时，如图32所示，在第一被摄体和第二被摄体的重叠区域中，得到将第一被摄体(人物(1))重叠在第二被摄体(人物(2))之下的重叠图像。为了实现这一目的，在图30的流程图中替换S9-3的处理和S9-5的处理，非常简单。
即，重叠图像生成部件9在先进行当前像素位置是否在第二被摄体区域内的判断，其结果，如果当前像素位置在第二被摄体区域内，则同样将第二被摄体图像的合成比例设为1.0，进行将第二被摄体图像的像素值原样写入当前像素位置的处理就可以。
而且，这样的处理如果用不使用背景图像，仅通过第一被摄体图像和第二被摄体图像来进行合成处理的方法则不可能。因为仅通过第一被摄体图像和第二被摄体图像不能独立提取第一被摄体区域和第二被摄体区域，只能作为统一为一块的区域来提取。
而且，这里将合成图像的大小设为基准图像的大小，但是也可以设为比其小或者比其大。例如在图6(c)和图8(c)中生成修正图像时，切除一部分，但是如果放大修正图像的尺寸从而不能切除时，为了满足扩大合成图像的情况，可以不切除地将剩余的图像用于合成，由此扩大背景。产生可以进行所谓全景图像合成那样的效果。
而且，例如在第一被摄体图像和背景图像、第二被摄体特色和背景图像之间有共用的背景部分，第一被摄体图像和第二被摄体图像之间没有共用的背景部分的情况下，虽然在合成图像中也可能产生不存在第一被摄体和第二被摄体之间的背景的情况，但是通过使用背景图像，也可以产生能够生成插入不存在的部分的合成图像的效果。这时，例如生成按照第一被摄体图像、背景图像、第二被摄体图像的顺序，端部分别重叠的长的合成图像(按照本发明的处理，第一被摄体图像和第二被摄体图像在合成图像上没有位置的重叠)。
图11(b)是仅将第一被摄体区域半透明地合成的重叠图像。图11(c)是仅将第二被摄体区域半透明地合成的重叠图像。图11(a)是两者都不半透明，任意一个都覆写生成的重叠图像。而且，虽然未图示，但是也考虑将两者都半透明地合成的方法。
由于按照目的来决定采用哪个合成方法，所以用户只要可以选择对应当时的目的的合成方法就可以。
例如，在已经拍摄/记录背景图像、第一被摄体图像，要无重叠地拍摄第二被摄体图像的阶段，不需要第一被摄体的详细的图像，只要了解大致存在于何处，是否有重叠就可以，所以用半透明的合成也没关系。而且，由于如果不能详细地了解第二被摄体在拍摄的瞬间有什么样的表情等，就不能很好的按压快门，所以不采用半透明方式，而用覆写方式来进行合成的方法较好。因此，倾向图11(b)那样的合成方法。
而且，作为认为知道了合成的被摄体区域后容易拍摄的用户，可能存在在拍摄中将两者以半透明的方式合成较好的情况，以及仅将第二被摄体设为半透明较好的情况。
而且，在第二被摄体的拍摄/记录完成，希望使用背景图像、第一被摄体图像、第二被摄体图像来最终合成图像的情况下，由于用半透明的被摄体很困难，所以任意一个都需要用覆写来进行合成。因此，倾向于图11(a)那样的合成方法。
而且，如果从被摄体区域提取部件7(S6)得到的被摄体区域已经被膨胀，则不仅是被摄体，而且其周围的背景部分也一起合成，但是已经由修正图像生成部件5(S5)进行修正处理，使得背景部分一致，所以即使与实际的被摄体的轮廓的区域相比，提取被摄体区域变大，多少包含背景部分，但在合成边界也产生不会变得不自然的效果。
另外，如果是使被摄体区域膨胀进行处理，则也有以下方法；在也包含外部的被摄体区域的合成区域的合成边界附近，或者仅在被摄体区域内部的合成边界附近，使透明度缓慢变化来进行合成，从而使合成边界看上去更加自然。例如有以下状况：随着进入到被摄体区域的外部，使背景部分的图像的比例增强，随着进入到被摄体区域的内部，使被摄体区域部分的图像的比例增强。
由此，即使假设在合成边界附近存在由修正误差造成的一些背景的偏差，也产生可使不自然不醒目的效果。而且即使假设不是修正误差，而是各个被摄体区域的提取错误的情况下，或者由于拍摄时间的偏差产生的背景部分的图像的变化(例如由于风产生树木的移动，太阳的荫影，无关的人的通过等)，同样可以产生可使不自然不醒目的效果。
而且，不用说，本发明的目的也可以通过将记录了实现前述的本实施方式的功能的软件的程序码的存储介质提供给系统或者装置，该系统或者装置的计算机(或者CPU或MPU)读出存储于存储介质的程序码并执行来达成。
这时，从存储介质读出的程序码自身实现前述的实施方式的功能，存储了该程序码的存储介质构成本发明。
作为用于提供程序码的存储介质，例如可以使用软盘、硬盘、光盘、光磁盘、磁带、非易失性存储卡等。
而且，也可以是将上述程序码通过图像网络那样的传送介质，从其他的计算机系统下载到图像合成装置的主存储器74或者外部存储器75的设备。
而且，当然也包括以下情况：通过执行计算机读出的程序码，不仅实现前述的实施方式的功能，而且根据该程序码的指示，在计算机上工作的OS(操作系统)等执行实际的处理的一部分或者全部，通过该处理来实现前述的实施方式的功能。
进而，当然也包括以下情况：从存储介质读出的程序码在被写入插入计算机的功能扩展接口或者与计算机连接的功能扩展单元中具有的存储器中后，根据该程序码的指示，该功能扩展接口或者功能扩展单元中具有的CPU等执行实际的处理的一部分或者全部，通过该处理来实现前述的实施方式的功能。
在将本发明应用于上述存储介质中的情况下，在该存储介质中，对与先前说明的流程对应的程序码进行存储。
本发明不限于上述的实施方式，在权利要求所示的范围内可以进行各种变更。
如上所述，本发明的第一图像合成装置包括背景修正量计算部件和重叠图像生成部件。所述部件修正量计算部件对作为背景的图像的背景图像、作为包含前述的背景的至少一部分和第一被摄体的图像的第一被摄体图像、包含前述背景的至少一部分和第二被摄体图像的第二被摄体图像之间的相对移动量、旋转量、扩大缩小率、失真修正量之一或者组合构成的修正量进行计算，或者读出计算并记录的修正量。前述重叠图像生成部件将背景图像、第一被摄体图像、第二被摄体图像的任意一个作为基准图像，用由前述背景修正量计算部件得到的修正量修正另外两个图像，使得被摄体以外的背景的至少一部分重叠，生成使基准图像和修正后的另外一个或者两个图像重叠的图像。
由此，可以修正两个图像间的背景的偏差从而进行合成，所以，除了与被摄体明显不同的区域以外的部分(即背景部分)无论怎样重叠，合成结果都基本一致，产生合成结果不会变得不自然的效果。例如，在仅要主要合成被摄体区域时，即使被摄体区域的提取或者指定多少有些不正确，但由于被摄体区域的周围的背景部分与合成目的的图像的部分没有偏差，所以被合成为不正确的区域的内外连续的风景，可以产生减轻视觉上不自然的效果。
而且，由此，即使例如假设被摄体区域的提取以像素单位是正确的，如课题的项说明的那样，虽然通过现有技术的方法，产生比一个像素更细微的水平上的不自然，但是在本发明中，使背景部分匹配后合成，所以轮廓的像素周围的像素成为相同背景部分的位置的像素，即使合成也基本自然地连接。这样，可以产生防止或者减轻比一个像素更细微的水平上的不自然的效果。
而且，由于对背景的偏差进行修正后合成，所以在拍摄背景图像或者第一/第二被摄体图像时，不需要用三角架固定照相机等，用手等匹配大致的方向就可以，产生拍摄变得简单的效果。
进而，即使第一被摄体图像和第二被摄体图像之间在背景部分没有重叠，也可以计算第一被摄体图像和第二被摄体图像之间的修正量。由此，即使第一被摄体图像的背景部分和第二被摄体图像的背景部分之间的背景缺少，如果背景图像的背景插入该缺少的背景部分，则可以产生以背景连接的状态对背景部分无重叠的第一被摄体图像和第二被摄体图像进行合成的效果。
而且，也可以分别从背景图像、第一被摄体图像和第二被摄体图像中取出必要的背景部分，在通过补偿相互不足的部分而连接的背景上，做成对第一被摄体和第二被摄体进行合成后的重叠图像。
而且，本发明的第一图像合成装置进一步包含对被摄体和风景进行拍摄的拍摄部件，可以成为基于前述拍摄部件的输出来输出背景图像、或者第一被摄体图像、或者第二被摄体图像的结构。
按照上述的结构，生成重叠图像的图像合成装置由于具有拍摄部件，用户可以在拍摄了被摄体或者风景的场所生成重叠图像，所以作为用户提高了便利性。而且，如果生成重叠图像的结果如果存在被摄体之间有重叠等的不舒服，则产生可以在该场所重新拍摄的效果。
而且，由拍摄部件得到的图像通常记录在不论是否内置于图像合成装置中的主存储器或者外部存储器中，用户利用快门按钮指示记录的定时。然后将记录的图像作为背景图像、或者第一被摄体图像、或者第二被摄体图像用于合成处理。
而且，本发明的第一图像合成装置可以是将第一被摄体图像和第二被摄体图像中先拍摄的一个作为基准图像的结构。
在上述的结构中，例如按照第一被摄体图像、第二被摄体图像的顺序进行拍摄时，将第一被摄体图像作为基准图像。首先假设背景图像以任何顺序都可以。将第一被摄体图像作为基准图像，对背景图像、第二被摄体图像进行修正。这时，背景修正量计算部件计算第一被摄体图像(基准图像)和背景图像、第二被摄体图像和背景图像之间背景部分的移动量等的修正量。重叠图像生成背景利用该修正量进行修正，利用第一被摄体图像(基准图像)、被修正的背景图像、被修正的第二被摄体图像三个图像合成合成图像。
在该时刻，在因被摄体之间存在重叠等理由重新拍摄的情况下，仅重新拍摄第二被摄体图像，再次生成合成图像。这时，不需要再次做成第一被摄体图像(基准图像)、被修正的背景图像，所以可以原样使用先前做成合成图像时的图像。由于第二被摄体图像不改变，所以将第一被摄体图像作为基准图像，重新修正第二被摄体图像。由此，生成被修正后的新的第二被摄体图像。使用第一被摄体图像(基准图像)、被修正的背景图像、新的被修正的第二被摄体图像三个图像合成合成图像。
在反复进行重新拍摄时，可以反复上述的处理。如果将后拍摄的第二被摄体图像设为基准图像，则合成所需要的图像为被修正的第一被摄体图像、被修正的背景图像、第二被摄体图像(基准图像)三个图像。如果重新拍摄第二被摄体图像，则由于基准图像改变，所以必须重新进行全部修正处理。具体来说，必须再次生成被修正的第一被摄体图像、被修正的背景图像。
这样，通过将第一被摄体图像和第二被摄体图像中先拍摄的一个设为基准图像，在反复重新拍摄的情况下，可以产生减少处理量/处理时间的效果。
而且，在合成第一被摄体和第二被摄体时，与将背景图像设为基准图像，在背景图像上放置第一和第二被摄体的区域进行合成相比，在第一被摄体图像上放置第二被摄体的区域的图像进行合成(或者相反)的方式，可以产生合成区域变少，减少处理量/处理时间的效果。
而且，这时合成区域减少，产生可以减少合成结果变得不自然的可能性的效果。所谓合成结果变得不自然的情况，是例如被摄体的区域比实际的被摄体的轮廓小时，被合成的被摄体欠缺，或者前述的轮廓等变得不自然的情况。
而且，在本发明的第一图像合成装置中，可以为按照在基准图像之前或者之后的顺序拍摄背景图像的结构。
在上述的结构中，在例如按照背景图像、第一被摄体图像、第二被摄体图像的顺序，或者按照第一被摄体图像、背景图像、第二被摄体图像的顺序进行拍摄的情况下，将第一被摄体图像设为基准图像。由此，即使在由于被摄体之间重叠等重新拍摄第二被摄体图像的情况下，由于第二被摄体还在其位置的可能性高，所以容易在移动照相机或者第二被摄体图像进行微调整后重新拍摄。
与上述不同，如果考虑例如按照第一被摄体图像、第二被摄体图像、背景图像的顺序进行拍摄的情况(将第一被摄体图像设为基准图像)，则在拍摄第二被摄体图像的时刻，第二被摄体是存在于背景之前的状态，但是在拍摄背景图像时，需要使第二被摄体从背景的前面让开。如果假设由于被摄体之间重叠等，重新拍摄第二被摄体图像，则由于第二被摄体已经让开，所以存在必须再次站在背景前的问题。而且，即使假设已知第二被摄体稍向右移动就可以消除重叠，但由于不能马上知道先前拍摄第二被摄体图像时的位置，所以存在不能马上知道稍向右移的位置在哪里的问题。
这样，产生减少再次拍摄时的被摄体或者拍摄者的微调整等的时间，容易拍摄很少有重叠等的不合适的图像的效果。
而且，不仅产生容易拍摄的效果，而且也产生与处理有关的效果。
在本发明的图像合成方法中，与背景图像的拍摄顺序无关，如果不最终备齐三张图像，则不能做成合成图像，但是在做成合成图像时，如果还考虑修正图像的做成之外的处理，则在处理顺序中产生差异。
在最初的例子的顺序中，在拍摄第二被摄体图像之前，作为修正背景图像之外的处理，例如还可能是例如在后说明的第一被摄体区域的区域提取等的处理。被提取的区域被用于合成或者重叠检测等。只要不是进行高速连拍，在拍摄第二张图像后拍摄第三张图像(第二被摄体图像)之前，通常有一些时间间隔，所以进行这些处理的时间也足够。在拍摄第二张图像后拍摄了第三张图像(第二被摄体图像)时，可以马上将提取的第一被摄体的区域等用于合成或者重叠检测等处理，可以产生减少拍摄第三张图像(第二被摄体图像)后相关的处理时间的效果。从用户使用上看，产生合成装置的反应变快的效果。
在后述的例子的顺序(背景图像最后)的情况下，因为背景图像未取得，所以在拍摄第二张图像后的时刻不能进行第一被摄体的区域的提取等处理，只有在拍摄了第三张的背景图像以后才可以，所以在拍摄第三张图像以后的相关处理时间变大。
而且，与本发明相关的第一图像合成装置也可以是前述重叠图像生成部件将基准图像和修正后的另一个或者两个图像按照各自规定的透过率进行重叠的结构。
这里，“规定的透过率”可以是被固定的值，也可以是根据区域而变化的值，或者在区域的边界附近缓慢变化的值。
前述重叠图像生成部件决定重叠图像的像素位置，得到基准图像上的像素位置的像素值和修正后的另一个图像上像素位置的像素值，将在这两个像素值上分别乘以规定的透过率的值的合计值作为重叠图像的像素值。在重叠图像的所有像素位置进行该处理。
而且，如果透过率根据像素位置而改变，则可以根据位置加强基准图像的比例，或者加强修正图像的比例。
使用以上方式，例如在仅将被修正的被摄体图像中的被摄体区域重叠在基准图像中时，在被摄体区域内以不透明(即保持修正图像中的被摄体的图像的原样)重叠，在被摄体区域的周边根据离开被摄体区域的程度加强基准图像的比例来进行重叠。这样，即使假设被摄体区域，即提取出的被摄体的轮廓错误，其周边的像素由于从修正图像向基准图像缓慢变化，所以产生错误变得不醒目的效果。
而且，通过例如进行仅对被摄体区域用一半的透过率进行重叠等的合成显示，可以产生容易判断被显示的图像的哪一部分是以前拍摄的合成对象部分，哪一部分是目前拍摄的被摄体的图像的效果。
而且，人通常具有通过使用常识(图像理解)来区别图像中的背景部分和被摄体部分(轮廓)的能力。即使对被摄体区域用一半的透过率进行重叠显示，该能力一般也有效。
因此，通过对被摄体区域用一半的透过率进行重叠显示，即使在重叠多个被摄体的区域时，也可以用前述的能力区别各个被摄体，可以容易地判断它们在合成图像上是否位置重叠。
通过将第一被摄体图像和第二被摄体图像左右并排观察也不是不能判断是否存在重叠，但是这时必须用前述能力区别各个图像中的被摄体区域，考虑各个图像的背景部分的重叠，在头脑中计算并判断区别的被摄体区域之间是否重叠。仅在头脑中正确地进行这一连串的工作与区别合成图像中的被摄体区域的先前的方法相比更困难。
即，通过机械地进行背景部分重叠的位置匹配，使用人的高度的图像理解能力，作出容易判断被摄体区域之间是否重叠的状况。这样，通过对被摄体区域用一半的透过率进行重叠显示，即使在被摄体之间存在重叠等的情况下，也可以产生容易判别目前拍摄的被摄体的位置的效果。
而且，也可以将这里记载的结构和前述的各结构根据需要进行任意的组合。
而且，本发明的第一图像合成装置也可以是以下结构：前述的重叠图像生成部件将基准图像和修正的另一个或者两个图像之间的差分图像中存在差的区域生成为与原来的像素值不同的像素值的图像。
这里，所谓“差分图像”是比较两个图像中的相同位置的像素值，将其差值作为像素值而作出的图像。一般来说，差值多取绝对值。
所谓“与原来的像素值不同的像素值”是例如实现改变透过率而变成半透明，或者使像素值的明暗或者色调等相反来反转显示，或者成为红色或者白色、黑色等醒目的颜色的像素值。而且，在区域的边界部分和内部中还包括以下情况：改变前述的像素值，或者用虚线包围边界部分，或者闪烁显示(使像素值时间性地变化)。
按照上述的结构，在基准图像和修正的其它图像之间，得到相同像素位置的像素值，在存在其差时，将该像素位置的重叠图像的像素值设为与其它区域不同的像素值。通过对所有像素位置进行该处理，可以将差分部分的区域生成为与原来的像素值不同的像素值的图像。
由此，产生使用户容易了解两个图像间不一致的部分的效果。例如第一或第二被摄体的区域在基准图像上和修正图像上，一方成为被摄体的图像，另一方成为背景的图像，所以作为差分图像中存在差的区域被提取。通过将被提取的区域设为半透明，或者反转显示，或者设为醒目的颜色的像素值，用户容易了解被摄体的区域，如果被摄体之间存在重叠等，则产生也容易了解该重叠的效果。
而且，这里记载的结构可以和前述的各结构根据需要进行任意的组合。
本发明的第一图像合成装置也可以是以下结构：还包括被摄体区域提取部件，从基准图像和修正后的另一个或者两个图像间的差分图像中提取第一被摄体的区域和第二被摄体的区域，在前述的重叠图像生成部件中，将基准图像和从前述被摄体区域提取部件得到的区域内的修正后的另一个或者两个图像重叠，从而取代将基准图像和修正后的另一个或者两个图像重叠。
由此，可以产生在基准图像上或者被修正的背景图像上，仅合成被修正的被摄体图像中的被摄体区域的效果。或者也可以在被修正的被摄体图像上或者被修正的背景图像上，仅合成基准图像中的被摄体区域，或者在被修正的背景图像上合成基准图像中的被摄体区域和被修正的被摄体图像中的被摄体区域，或者在作为基准图像的背景图像上合成被修正的被摄体图像中的被摄体区域。
而且，如果改变被摄体区域的透过率等进行合成，则用户容易了解要合成哪个区域，如果被摄体之间存在重叠，则产生也可以进一步容易了解该状况的效果。进而，由此产生可以辅助拍摄，提供用户判断如何避免产生重叠的材料的效果。
而且，如果使用背景图像、第一被摄体图像和第二被摄体图像三张图像，则产生容易提取第一被摄体的区域火灾第二被摄体的区域的效果。进而，由于可以分别提取第一被摄体的区域或者第二被摄体的区域，所以在各被摄体存在重叠的情况下，产生可以决定哪个优先合成，即在重叠部分中，第一被摄体合成在第二被摄体之上还是合成在第二被摄体之下的效果。
而且，这里记载的结构可以根据需要和前述的各结构进行任意的组合。
而且，本发明的第一图像合成装置可以是以下结构：进一步包括重叠检测部件，对前述被摄体区域提取部件得到的第一被摄体的区域和第二被摄体的区域的重叠进行检测。
按照上述的结构，从被摄体区域提取部件得到第一被摄体的区域和第二被摄体的区域，所以重叠检测部件对于某个像素位置，通过调查其是否为包含于第一被摄体的区域和第二被摄体的区域两者中的像素位置，在包含于两者中的像素位置存在的情况下，可以判断为存在重叠。
作为适用于该判断处理的方法，例如被摄体区域提取部件或者重叠检测部件将各个区域作为图像生成，将被摄体区域的像素的像素值设定为规定的值。然后，如果重叠检测部件在各像素位置中判断两者图像的相同像素位置的像素值是否为设定的规定的值，则可以准确地判断是否存在重叠。
由此，产生用户容易判别被摄体之间是否存在重叠部分的效果。由此，对于辅助拍摄，从而不产生重叠的效果与前述相同。
而且，本发明的第一图像合成装置还可以是以下结构：还包括重叠警告部件，在所述重叠检测部件中检测到重叠时，向用户或者被摄体或者向两者警告存在重叠的情况。
这里，为了“警告”，包括在显示部件等上以文字或者图像进行警告，还包括灯产生的光或者扬声器等产生的声音，振动器等产生的振动等，只要是用户或者被摄体可以感知的方法都可以。
由此，在被摄体之间重叠的情况下，由于通过重叠警告部件的动作被警告，所以可以防止用户对该情况不注意地进行拍摄/记录，或者进行合成处理，进而产生马上通知被摄体需要进行位置调整等的情况的辅助拍摄的效果。
而且，本发明的第一图像合成装置还可以是以下结构：还包括最佳镜头通知部件，在所述重叠检测部件中没有检测到重叠时，向用户或者被摄体或者向两者通知不存在重叠的情况。
这里，为了“通知”，和“警告”一样，只要是用户或者被摄体可以感知的方法都可以。
由此，由于用户可以知道被摄体之间没有重叠的时刻，所以如果使拍摄或者拍摄图像记录、合成的定时与该时刻匹配进行，则可以产生被摄体之间不重叠地进行合成的辅助拍摄效果。
而且，也可以对被摄体通知最佳镜头，所以可以得到马上进行摆姿势或视线的准备的辅助拍摄效果。
而且，本发明的第一图像合成装置也可以是以下结构：还包括拍摄部件，对被摄体或者风景进行拍摄；自动快门部件，在所述重叠检测部件中没有检测到重叠时，生成将所述拍摄部件得到的图像作为背景图像、或者第一被摄体图像、或者第二被摄体图像来进行记录的指示。
在上述的结构中，所谓将拍摄图像作为背景图像或者第一被摄体图像、第二被摄体图像记录，是例如通过记录到主存储器或者外部存储器来实现。因此，自动快门部件在从重叠检测部件输入了在第一被摄体的区域和第二被摄体的区域中没有重叠的信号时，输出对主存储器或者外部存储器进行记录控制处理的指示。
然后，背景修正量计算部件或者重叠图像生成部件通过读取被记录在主存储器或者外部存储器中的图像，可以得到背景图像或者第一被摄体图像、第二被摄体图像。
而且，即使自动快门部件自动地生成指示，也不一定马上记录图像。例如，也可以是同时还按压快门按钮，或者如果不成为自动记录模式等的状态就不记录。
由此，由于在被摄体之间不重叠时自动地进行拍摄，所以产生用户自己判断是否存在重叠而可以不按压快门的辅助拍摄效果。
本发明的第一图像合成装置还可以是以下结构：还包括拍摄被摄体或者风景的拍摄部件；以及自动快门部件，在通过所述重叠检测部件检测重叠时，生成禁止将所述拍摄部件得到的图像作为背景图像、或者第一被摄体图像、或者第二被摄体图像来进行记录的指示。
按照上述的结构，自动快门部件在从重叠检测部件得到存在重叠的信号后，输出禁止将从拍摄部件得到的图像记录到主存储器或者外部存储器等的指示。其结果，例如即使假设快门按钮被按压，也不记录从拍摄部件得到的图像。而且，也可以只要不是成为自动禁止模式等的状态，就不进行该禁止处理。
由此，由于在被摄体之间存在重叠时不进行拍摄，所以可以产生防止用户错误地在存在重叠的状态下进行拍摄/记录的辅助拍摄效果。
而且，本发明的第一图像合成装置还可以是以下结构：所述重叠检测部件提取第一被摄体的区域和第二被摄体的区域重叠的重叠区域。
按照上述结构，在通过重叠检测部件检测是否存在重叠时，例如使用先前说明的图像等，还可以同时提取重叠区域。利用该提取出的重叠区域，在被摄体之间存在重叠部分的情况下，可以通过显示来通知哪一部分存在重叠。
由此，产生用户容易判别重叠区域的效果。而且，由此产生容易判断照相机或者被摄体向哪个方向、位置移动多少合适的辅助拍摄的效果。
而且，如果在背景部分存在适量的重叠，则不使用背景图像，仅用第一被摄体图像和第二被摄体图像，也可以计算背景修正量从而对某个进行修正，生成差分图像，求出差分区域。这时，如果第一被摄体的区域和第二被摄体的区域中没有重叠，则差分区域作为第一区域和第二区域两个独立的区域求出。但是，在存在重叠时，不使第一区域和第二区域独立，而作为混合的一个区域被提取。因此，难以仅从第一被摄体图像以及第二被摄体图像提取重叠区域。
对此，在使用背景图像的情况下，如果在背景图像中取得基准图像，则在差分图像中，仅存在第一区域或第二区域之一，第一区域和第二区域被分别提取。不是同时被提取。因此，即使第一区域和第二区域重叠，也可以没有问题地求出第一区域和第二区域。因此，也可以求出重叠区域。
由此，通过使用背景图像，即使被摄体中存在重叠，也可以产生能够求出重叠区域的效果。
而且，本发明的第一图像合成装置还可以是以下结构：所述重叠图像生成区域将所述重叠检测部件提取的重叠区域作为与原来的像素值不同的像素值的图像来生成。
按照上述的结构，重叠图像生成部件在生成重叠图像时，虽然决定各像素位置的像素值，但是在该像素位置在由重叠检测部件得到的重叠区域内时(例如，将重叠区域作为黑图像生成的情况，如果判断重叠图像的像素位置的像素值为黑色则处理简便)，设为与其它区域不同的像素值。特别是将该区域的边界线或内部用红色等醒目的颜色描画，或者使边界线闪烁显示，或者成为半透明，从而透过背景的像素值较好。
由此，可以产生用户或被摄体容易判断重叠区域的辅助拍摄效果。
而且，本发明的第一图像合成装置也可以是以下结构：还包括：重叠回避方法计算部件，在所述重叠检测部件检测重叠时，对减少重叠的第一被摄体或者第二被摄体的位置或者该位置的方向进行计算；以及重叠回避方法通知部件，向用户或者被摄体或者两者通知由所述重叠回避方法计算部件得到的第一被摄体或者第二被摄体的位置或者该位置的方向。
这里，从被摄体区域提取背景得到第一被摄体的区域和第二被摄体的区域的信息，重叠检测部件从这些区域信息中得到与重叠有关的信息，这与已经说明的相同。
因此，如果将被摄体的区域的位置设为与从被摄体区域提取部件得到的位置不同的位置，通过重叠检测部件调查有多少重叠，则可以预测在该位置被摄体移动时的重叠量。将被摄体的区域的位置尝试移动到各个位置，预测各自的重叠量，将重叠最少的位置和方向作为减少重叠的位置和方向通知用户或被摄体。
或者，更简单的处理，由于一般被摄体间的距离越大则重叠应越减少，所以可以根据得到的被摄体区域计算被摄体间的距离远离的方向。
例如通过显示来通知得到的重叠变少的位置和方向的情况下，在生成重叠图像时，在进行了各种合成处理以后，可以覆写箭头等来进行生成。
由此，在存在重叠的情况下，可以产生用户不用判断摄像机或者拍摄中的被摄体向哪个方向、位置移动较好就可以的辅助拍摄效果。
而且，计算重叠减少的位置和方向的被摄体可以是第一或者第二被摄体之一，但是考虑先拍摄的被摄体已经从照相机的前面退下，后拍摄的被摄体通常还站在照相机前。因此，如果对后拍摄的被摄体计算位置和方向，则根据该计算结果，被摄体马上移动就可以减少重叠，所以使用方便。
本发明的第一图像合成方法，包含以下步骤：背景修正量计算步骤，对作为背景的图像的背景图像、第一被摄体图像和第二被摄体图像之间的背景的相对移动量、旋转量、放大缩小率、失真修正量的其中一个或者组合构成的修正量进行计算，或者对计算并存储的修正量进行读取，所述第一被摄体图像包括所述背景图像的至少一部分和第一被摄体，所述第二被摄体图像包括背景图像的至少一部分和第二被摄体；以及重叠图像生成步骤，将背景图像、第一被摄体图像、第二被摄体图像的其中之一作为基准图像，用由所述背景修正量计算步骤得到的修正量对另外两个图像进行修正，使得被摄体以外的背景的至少一部分重叠，并生成将基准图像和修正后的另外一个或者两个图像重叠的图像。
由此产生的各种作用效果与前述相同。
本发明的第一图像合成程序是使计算机作为上述的第一图像合成装置具有的各部件的功能的结构。
本发明的第一图像合成程序是使计算机执行上述的第一图像合成方法具有的各步骤的结构。
本发明的第一记录介质是记录了上述第一图像合成程序的结构。
由此，通过经由上述记录介质或者网络，在一般的计算机中安装图像合成程序，利用该计算机实现上述的图像合成方法，换言之，可以使计算机具有作为图像合成装置的功能。
〔实施方式2〕
以下，参照附图说明本发明的实施方式的另一个实施方式。在实施方式1中，处理第一被摄体图像和第二被摄体图像，还利用了拍摄了与各被摄体至少一部分共用的背景部分，而没有拍摄被摄体的背景图像，但是在实施方式2中，对不利用背景图像进行图像合成的结构进行说明。
这里也首先对语言的定义进行说明。
“第一被摄体”、“第二被摄体”是要进行合成的对象，一般多为人物，有时也为物等。严格来说，“被摄体”是在第一被摄体图像和第二被摄体图像之间，背景部分至少一部分重叠时，像素值不一致的区域，即有变化的区域都可能成为“被摄体的区域”。但是，在背景部分，因为即使是树的叶子因风而摇动等的小变化，也成为有变化的区域，所以在某种程度上忽视小的变化和小的区域较好。
而且，在例如被摄体为人物的情况下，被摄体不限于必须是一个人，有时也将多个人物汇总成为“第一被摄体”和“第二被摄体”。即，即使是多个人，也作为合成处理的单位进行汇总处理，成为一个“被摄体”。
而且，不仅是人物，对物体也一样。而且，被摄体不限于必须是一个区域，也有多个区域构成的情况。“第一”、“第二”是为了简单区别不同帧的图像而赋予的，不是表述拍摄的顺序等，本质上没有差别。而且，例如人物拿着衣服或者物品等，即使不出现在“不包含第一被摄体或者第二被摄体的仅为背景的图像”中，它们也被包含在被摄体中。
“第一被摄体图像”、“第二被摄体图像”是包含上述的“第一被摄体”、“第二被摄体”的不同的图像，一般来说，是用照相机等分别拍摄了该被摄体的图像。但是，在图像上仅拍摄被摄体，与背景图像共用的背景部分完全没有拍摄的情况下，因为不能进行将其共用的背景部分还原的位置匹配，所以不适合合成。所以需要对至少一部分(为了使合成的被摄体的周围变得自然，最好在要合成的被摄体的周围)与背景图像共用的背景部分进行拍摄。而且，通常，第一被摄体图像、第二被摄体图像使用相同背景，即，使照相机不动进行拍摄的情况较多。
所谓“背景部分”是从第一被摄体图像、第二被摄体图像中除去了“第一被摄体”、“第二被摄体”的部分。
“移动量”、“失真修正量”和“重叠图像生成部件”与实施方式1中说明的相同，所以省略说明。
关于“像素值”、“浓度值”、“亮度值”、“透过率”、“不透明度”、“规定的透过率”、“差分图像”以及“与原来的像素值不同的像素值”，由于与实施方式1中说明的相同，所以省略说明。
所谓“被摄体的区域”是用与背景分离的边界分割被摄体的区域。例如，在第一被摄体图像中人物持有衣服或者物品，如果在第二被摄体图像中不显现它们，则它们也是被摄体，被包含在被摄体区域中。而且，被摄体的区域并不限于必须是连接的一块区域，有时也分为多个区域。
所谓“仅重叠从前述被摄体区域提取部件得到的区域”不是说在该区域以外不生成任何图像，意思是在该区域以外的区域埋入基准图像等。
所谓“特征”是该区域的图像具有的特性等，作为特征量最好具有可以数值化表现的性质。作为特征量，除了例如各色的像素值、其色调、色度、亮度，作为表示图像的模样和构造的统计量，还有同时关联矩阵和差分统计量、扫描宽度矩阵、功率谱、这些第二次统计量、高次统计量等。
所谓“第一被摄体或者第二被摄体的区域”是从差分图像等提取的被摄体的区域，对第一被摄体的区域或者第二被摄体的区域不加区别也可以的区域。
所谓“要合成的被摄体”不是在合成处理的过程中求出的被摄体，而是实际(在照相机前)存在的被摄体，对于确定为第一被摄体图像和第二被摄体图像中的一个的基准图像，是用户要合成的被摄体。但是，如上所述，作为合成处理的单位总和处理的是一个“被摄体”，所以有时一个被摄体为多个人物或物体。
对于“警告”、“通知”和“框架”也和实施方式1中说明的一样，所以省略说明。
图33是表示实施本发明的一个实施方式的图像合成方法的图像合成装置的结构图。
即，可以将图像合成装置的主要部分展开表示为以下主要功能块：拍摄部件21、第一被摄体图像取得部件22、第二被摄体图像取得部件23、背景修正量计算部件24、修正图像生成部件25、差分图像生成部件26、被摄体区域提取部件27、重叠检测部件28、重叠图像生成部件29、重叠图像显示部件30、重叠警告部件31、最佳快门通知部件32、自动快门部件33。
图34是具体实现图33的各部件21～33的装置的结构例。
CPU(central processing unit)90用作背景修正量计算部件24、修正图像生成部件25、差分图像生成部件26、被摄体区域提取部件27、重叠检测部件28、重叠图像生成部件29、重叠图像显示部件30、重叠警告部件31、最佳快门通知部件32、自动快门部件33，可以从主存储器74、外部存储器75、经由通信装置77的网络目的地等得到记述了这些部件24～33的处理步骤的程序。
而且，对于拍摄部件21、第一被摄体图像取得部件22、第二被摄体图像取得部件23，为了对拍摄元件、拍摄元件生成的图像数据的各种处理进行内部控制，有时也使用CPU等。
而且，CPU90在与包括CPU90，通过总线79相互连接的显示器71、拍摄元件72、图形输入板73、主存储器74、外部存储器75、快门按钮76、通信装置77、灯78、扬声器80进行数据的收发后，进行处理。
而且，数据的收发处理经由总线79进行以外，还可以经由通信电缆或者无线通信装置等可以发送接收数据的装置进行。而且，作为各部件21～33的实现部件，不限于CPU，也可以利用将DSP(digital signal processor)和处理步骤作为电路进行组合的逻辑电路等。
显示器71通常与图形卡组合来实现，在图形卡上有VRAM(video randomaccess memory)，将VRAM上的数据变换为显示信号，发送到监视器等的显示器(显示/输出介质)，显示器将显示信号作为图像显示。
拍摄元件72是拍摄风景等得到图像信号的设备，通常由镜头等光学部件和受光元件及其附带的电子电路等构成。这里，假设拍摄元件72包含将输出信号通过A/D变换器等变换为数字图像信号之前的部分，通过总线79将拍摄的图像的图像数据发送到第一被摄体图像取得部件22、第二被摄体图像取得部件23等。作为拍摄元件的一般的器件，例如有CCD(charge coupleddevice)等，但是除此之外，只要是可以将风景等作为图像数据得到的器件都可以。
作为输入用户指示的部件有图形输入板73、快门按钮76等。用户的指示通过总线79被输入到各部件21～33。另外可以使用各种操作按钮、由麦克风输入声音等各种输入部件。图形输入板73由笔和检测笔位置的检测设备构成。快门按钮76由机械或者电子开关等构成，通过用户按压按钮，通常将拍摄元件72拍摄的图像存储到主存储器74或者外部存储器75等，同时生成使一连串的处理开始的开始信号。
主存储器74通常由DRAM(dynamic random access memory)或者闪速存储器等的存储装置构成。而且，CPU内部包含的存储器或者检测器也可以解释为一种主存储器。
外部存储器75是HDD(hard disk drive)或者PC(personal computer)卡等可插拔的存储部件。或者也可以将CPU90和通过网络有线或者无线连接的其它网络设备上安装的主存储器或者外部存储器用作外部存储器75。
通信装置77通过网络接口卡等实现，与通过有线或者无线等连接的其它网络设备进行数据的收发。
扬声器80将通过总线79等送来的声音数据解释为声音信号，作为声音输出。输出的声音有时是单波长的单纯的声音，有时是音乐或者人的声音等复杂的声音。在预先决定输出声音的情况下，有时送来的数据不是声音信号，仅为简单的导通、截止的动作控制信号。
接着，从各部件间的数据的授受的观点说明图33的各部件21～33。
并且，各部件间的数据的收发，在没有特别的注释表现为“从**部件得到”、“发送(传递)到**部件”时，设为主要通过总线79收发数据。这时，既存在各部件间的直接进行数据收发的情况，也有通过主存储器74或者外部存储器75、其间经由通信装置77插入网络等进行数据收发的情况。
拍摄部件21主要由拍摄元件72构成，将拍摄的风景等作为图像数据发送到第一被摄体图像取得部件22、第二被摄体图像取得部件23。
第一被摄体图像取得部件22例如由拍摄部件21、主存储器74和/或外部存储器75等构成，从拍摄部件21、主存储器74、外部存储器75、和/或经由通信装置77的网络目的地等得到第一被摄体图像。而且，第一被摄体图像取得部件22为了进行内部控制等，有时也包括CPU等。
在使用拍摄部件21的情况下，通过拍摄元件72拍摄包括第一被摄体的当前的风景(第一被摄体图像)，通常在按下了快门按钮76等的时刻进行拍摄，拍摄的图像被存储在主存储器74、外部存储器75、和/或经由通信装置77的网络目的地等中。
另一方面，第一被摄体图像取得部件22从主存储器74、外部存储器75、和/或经由通信装置77的网络目的地等取得第一被摄体图像时，读出已经拍摄的预先准备的图像。而且，也有在经由通信装置77的网络目的地等存在照相机，通过网络进行拍摄的情况。
第一被摄体图像被发送到背景修正量计算部件24、修正图像生成部件25、差分图像生成部件26、被摄体区域提取部件27和/或重叠图像生成部件29等。
第二被摄体图像取得部件23例如由拍摄部件21、主存储器74和/或外部存储器75等构成，从拍摄部件21、主存储器74、外部存储器75和/或经由通信装置77的网络地址等取得包含第二被摄体的图像(以后称为“第二被摄体图像”)。而且，第二被摄体图像取得部件23有时为了进行内部控制可包含CPU等。除了图像的内容不同以外，关于图像的取得方法与第一被摄体图像取得部件22一样。
第二被摄体图像被发送到背景修正量计算部件24、修正图像生成部件25、差分图像生成部件26、被摄体区域提取部件27和/或重叠图像生成部件29等。
作为背景修正量计算部件24的CPU90对第一被摄体图像、第二被摄体图像中的被摄体以外的背景的相对移动量、旋转量、扩大缩小率、失真修正量的任意一个或者其组合构成的修正量进行计算。最低限度地求取第一被摄体图像和第二被摄体图像的一方(基准图像)和另一方的图像之间的修正量就可以。
背景修正量计算部件24将计算出的修正量发送到修正图像生成部件25。而且，在背景修正量计算部件24读出预先计算的修正量时，从主存储器74、外部存储器75和/或经由通信装置77的网络目的地读出修正量。
作为修正图像生成部件25的CPU90，将第一被摄体图像、第二被摄体图像中的一个设为基准图像，对另一个图像用从背景修正量计算部件24得到的修正量进行修正，使得被摄体以外的背景部分重合，从而生成修正后的图像(以下称为修正图像)，发送到差分图像生成部件26和重叠图像生成部件29。而且，在修正图像生成部件25读出预先生成的修正图像时，从主存储器74、外部存储器75和/或经由通信装置77的网络目的地等读出。
作为差分图像生成部件26的CPU90，生成由修正图像生成部件25决定的基准图像和从修正图像生成部件25得到的修正图像之间的差分图像，将生成的差分图像发送到被摄体区域提取部件27和重叠图像生成部件29。
作为被摄体区域提取部件27的CPU90，从差分图像生成部件26得到的差分图像中提取第一、第二被摄体的区域，将提取的区域发送到重叠检测部件28和重叠图像生成部件29。
作为重叠检测部件28的CPU90，从被摄体区域提取部件27得到的第一、第二被摄体的区域中检测第一、第二被摄体之间的重叠，将是否存在重叠的信息和重叠区域的信息发送到重叠图像生成部件29、重叠警告部件31、最佳快门通知部件32和自动快门部件33。
作为重叠图像生成部件29的CPU90，将从第一被摄体图像取得部件22得到的第一被摄体图像、从第二被摄体图像取得部件23得到的第二被摄体图像、从修正图像生成部件25得到的修正图像生成全部或者部分重叠的图像，将生成的图像发送到重叠图像显示部件30。
而且，有时重叠图像生成部件29将从差分图像生成部件26得到的差分图像中的存在差的区域生成为与原来的像素值不同的像素值的图像。
而且，有时重叠图像生成部件29仅将从被摄体区域提取部件27得到的第一被摄体和第二被摄体的区域重叠到基准图像等上。
而且，有时重叠图像生成部件29将从重叠检测部件28得到的重叠区域生成为与原来的像素值不同的像素值的图像。
作为重叠图像显示部件30的CPU90，使从重叠图像生成部件29得到的重叠图像显示在显示器71等上。
而且，有时有以下情况：重叠图像显示部件30根据从重叠警告部件31得到的警告信息，进行警告显示的情况，或者根据从最佳快门通知部件32得到的最佳镜头信息，进行最佳镜头情况的显示的情况，或者根据从自动快门部件33得到的快门信息，显示进行了自动快门的情况。
作为重叠警告部件31的CPU90，根据从重叠检测部件28得到的有关重叠的信息，在存在重叠的情况下，向用户、或者被摄体或者两者通知该情况。
在通知中，可以采用将通知内容设为文字等发送到重叠图像显示部件30，从而在显示器71上显示，或者使用灯78以光进行通知，或者使用扬声器80以声音进行通知的各种方式。只要可以进行通知，也可以使用除此之外的装置等。
作为最佳快门通知部件32的CPU90根据从重叠检测部件28得到的重叠信息，在不存在重叠时，将不存在重叠的情况通知用户或者被摄体或者两者。关于通知方法，与重叠警告部件31的说明一样。
作为自动快门部件33的CPU90根据从重叠检测部件28得到的重叠信息，在不存在重叠时，对第二被摄体图像取得部件23自动发出指示，使得将从拍摄部件21得到的图像存储到主存储器74或者外部存储器75等中。
这里，主要设想从拍摄部件21得到的图像作为第一被摄体图像或者第二被摄体图像被最终记录、保存在主存储器74或者外部存储器75中，并被合成的使用方法。例如在先拍摄第一被摄体后拍摄第二被摄体时，在从拍摄部件21得到第一被摄体图像时，每次得到就进行记录、保存，但是即使从拍摄部件21得到第二被摄体图像也不被马上保存。
即，在将从拍摄部件21得到的图像设为第二被摄体图像时，使用该得到的第二被摄体图像和保存的第一被摄体图像，进行重叠检测等的处理，进行在重叠图像显示部件30等上的各种显示和警告、通知等的处理，重复上述的一连串的处理。然后，通过自动快门部件33指示了记录、保存时，第二被摄体图像被最终地记录、保存。
而且，也可以在存在自动快门部件33的指示，并且用户按压了快门按钮143时，记录、保存第二被摄体图像。
而且，自动快门部件33也可以将发出指示的结果、记录了拍摄图像的情况通知用户或者被摄体或者两者。关于通知方法，与重叠警告部件31的说明相同。
而且，作为自动快门部件33的CPU90不仅进行记录的指示，而且根据从重叠检测部件28得到的重叠信息，存在重叠时，自动地发出指示，禁止在第二被摄体图像取得部件23中将拍摄部件21得到的图像记录到主存储器74或者外部存储器75等。该动作与上述的自动记录的情况相反。
这时，在存在自动快门部件33的禁止保存的指示时，即使用户按压快门按钮143，第二被摄体图像也不被记录、保存。
图35(a)表示本发明的图像合成装置背面的外观图。主体140上有显示部兼图形输入板141、灯142和快门按钮143。
显示部兼图形输入板141相当于输入输出装置(显示器71和图形输入板73等)和重叠图像显示部件30。如图35(a)所示，在显示部兼图形输入板141上，显示由重叠图像生成部件29生成的合成图像和来自重叠警告部件31、最佳快门通知部件32、自动快门部件33等的通知/警告信息等。而且，也用于显示图像合成装置的各种设定菜单，使用图形输入板，用手指或者笔等变更设定。
而且，作为各种设定等的操作部件，不仅是图形输入板，也可以是按钮类等其它的部件。而且，显示部兼图形输入板141也可以利用对主体140旋转或者分离等方法，不仅使拍摄者，而且在被摄体方也看见。
灯142用于来自重叠警告部件31、最佳快门通知部件32、自动快门部件33等的通知和警告。
快门按钮143主要用于指示第一被摄体图像取得部件22或者第二被摄体图像取得部件23从拍摄部件21取入/记录拍摄图像的定时。
而且，虽然在该例中没有显示，但也可以将内置扬声器用作通知/警告部件。
图35(b)显示本发明的图像合成装置的前面的外观例。在主体140的前面存在镜头部144。镜头部144是拍摄部件21的一部分。而且，在虽然在图35(b)的例子中没有表示，但也可以具有显示部或灯、扬声器等，使得在前面向被摄体传送信息(前述的通知或者警告)。
对于图像数据和像素值与实施方式1中利用图4说明的相同，所以省略说明。
图36是表示本发明的实施方式的一例的流程图。
首先，在步骤S11(以下将“步骤S”略记为“S”)，第一被摄体图像取得部件22取得第一被摄体图像，经由连接点p20(以下将“连接点p”略记为“p”)处理进入到S12。第一被摄体图像可以使用拍摄部件21拍摄，也可以预先读出在主存储器74、外部存储器75和经由通信装置77的网络目的地等中准备的图像。
接着，在S12，第二被摄体图像取得部件23取得具有与上述第一被摄体图像至少共用一部分背景部分的第二被摄体图像，经由连接点p30，处理进入到S13。这里的除了在后面利用图44详细说明，但是第二被摄体图像的取得方法自身与第一被摄体图像相同。而且，S11和S12的处理顺序相反也可以，但是如果将后拍摄的一个作为基准图像，则可以产生拍摄时的合成图像的显示中不一致感较少的效果。
在S13中，背景修正量计算部件24从第一被摄体图像、第二被摄体图像中计算背景修正量，处理经由p40进到S14。第一被摄体图像、第二被摄体图像分别由第一被摄体图像取得部件22(S11)、第二被摄体图像取得部件23(S12)取得。
而且，以后在使用第一被摄体图像、第二被摄体图像时，只要没有特别说明，这些图像的取得元的部件/步骤与S13中的取得元的部件/步骤相同，所以以后省略这些图像的取得元的部件/步骤的说明。
S13的处理的细节在后面利用图45进行说明。
在S14中，修正图像生成部件25利用背景修正量计算部件24得到的背景修正量对除了基准图像以外第一被摄体图像、第二被摄体图像进行修正，差分图像生成部件26生成修正图像生成部件25修正的图像和基准图像间的差分图像，处理经由p50进入S15。S14的处理的细节在后面利用图46进行说明。
在S15中，被摄体区域提取部件27从差分图像生成部件26(S14)得到的差分图像中提取第一、第二被摄体的区域(以后称为第一被摄体区域、第二被摄体区域)，重叠检测部件28检测被摄体之间的重叠，处理经由p60进到S16。S15的处理的细节在后面利用图48进行说明。
在S16中，重叠警告部件31、最佳快门通知部件32、自动快门部件33中的多于或等于一个的部件根据重叠检测部件28(S15)得到的与重叠有关的信息进行各种处理，处理经由p70进到S17。S16的处理的细节在后面利用附图50至附图52进行说明。
在S17中，重叠图像生成部件29根据第一被摄体图像、第二被摄体图像、以及用修正图像生成部件25(S14)对不是其中的基准图像的图像进行修正后的图像、由被摄体区域提取部件27(S15)得到的第一、第二被摄体的区域、由重叠检测部件28(S16)得到的与第一、第二被摄体的重叠有关的信息，生成将这两张图像重叠的“重叠图像”，处理经由p80进到S18。S17的处理的细节在后面利用图53进行说明。
在S17中，重叠图像显示部件30在显示器71等上显示由重叠图像生成部件29(S17)得到的重叠图像，并结束处理。
在这些从S11到S17的处理中，使用第一被摄体图像、第二被摄体图像，将第一被摄体和第二被摄体合成在1张图像上，并且根据被摄体之间的重叠的状况进行各种处理。
对于详细的处理及其效果，在后面进行详细地说明，首先用简单的例子来说明处理的概要。
图37(a)是在S11中得到的第一被摄体图像的例子。在背景之前，左侧站立第一被摄体的人物(1)。为了容易理解，人物(1)的脸部分标记“1”。而且，今后没有特别说明“右侧”“左侧”的情况下，指图上的“右侧”“左侧”。也可以认为该方向是从摄影者/照相机观察的方向。
图38(a)是在S12中得到的第二被摄体图像的例子。在背景之前，在右侧站立第二被摄体的人物(2)。为了容易理解，人物(2)的脸部分标记“2”。
图38(c)是求出图37(a)的第一被摄体图像和图38(a)的第二被摄体图像之间的背景修正量，将第一被摄体图像作为基准图像，利用该背景修正量对背景图像进行修正后的图像。
被修正的图像是用实线的框包围的范围，为了清楚被修正的方式，在图38(c)上用虚线的框表示原来图38(a)的第二被摄体图像和图37(a)的第一被摄体图像的范围。图38(a)的背景是拍摄图37(a)的背景的稍左上侧的风景而得到的。因此，在使图38(a)的第二被摄体图像与图37(a)的第一被摄体图像的背景重叠的修正中，需要选择图38(a)稍右下侧的风景。因此，修正图38(c)，使其成为比图38(a)稍右下侧的风景。用虚线表示原来图38(a)的范围。因为比图38(a)稍右下侧的风景不存在，所以在图38(c)中从右端的虚线开始向右边的部分为空白，以及从下端的虚线开销向下的部分为空白。相反，切除图38(a)的左上端的部分。
这里，没有扩大缩小和旋转等的修正，仅为简单的平行移动的修正结果。即，在S13中得到的背景修正量在这里是实线的框和虚线的框的错位表示的平行移动量。
图39(a)是在S14中，在图37(a)的第一被摄体图像和图38(c)的被修正的第二被摄体图像之间生成的差分图像。在差分图像中，差分量为0的部分(即与背景一致的部分)用黑色的区域表示。存在差分的部分是被摄体的区域内和干扰部分，被摄体的区域部分成为背景图像和被摄体部分的图像重合后的巧妙的部分。(而且，通过修正，仅其中一个图像不存在像素的区域(例如位于图38(c)右下侧的实线和虚线之间反L字形的区域)从差分对象中排除，差分量设为0)。
虽然S16的与重叠有关的处理有各种处理方法，但是在本例中不检测重叠，所以这里为了简化说明，进行特别的处理。
图40(a)是将相对于图49(d)所示的第二被摄体区域的部分的图像重叠(覆写)到图37(a)的第一被摄体图像(基准图像)而生成的图像。由此，分别在图37(a)和图38(a)中拍摄的被摄体不重叠地排列在相同的图像上。即使关于重叠方法，也存在各种处理方法，所以在后面详细说明。图40(a)的图像在重叠图像显示部件30上表示为合成图像。
由此，产生可以将分别拍摄的被摄体合成如同时拍摄的图像的效果。
按照以上的说明，对处理的概要进行了大致的说明，但由于没有对在S15中被摄体区域之间存在重叠的情况的S 16的处理例的概要进行说明，所以以下先简单地触及。
图41是与图38(a)不同的第二被摄体图像的例子。与图38(a)相比，第二被摄体相对于同一背景位于稍左侧。而且第一被摄体图像使用与图37(a)相同的图像。
图42(c)表示第一被摄体区域和第二被摄体区域匹配的区域。图中的区域202由第一被摄体区域和第二被摄体区域构成。这里，由于第一、第二被摄体的各位置相对于相同背景的关系，第一被摄体区域和第二被摄体区域中产生重叠，所以将区域202显示为被结合的区域。
图43表示在S16中存在重叠的情况下，在S17中生成的重叠图像的一例。这时，区域202作为结合了第一被摄体区域和第二被摄体区域的一个区域被处理，所以统一半透明显示。而且，在重叠图像上覆写显示表示第一被摄体和第二被摄体重叠的情况的消息。
通过显示该重叠图像(含消息)，可以产生用户或者被摄体容易了解第一被摄体和第二被摄体重叠的情况的效果。
通过以上的说明，对S15中被摄体区域之间存在重叠的情况的S16的处理例的概要进行了说明。
而且，如果在典型的利用场合例中考虑该情况，则首先如图37(a)那样用照相机(图像合成装置)拍摄、记录第一被摄体。接着在相同背景下拍摄图38(a)那样的第二被摄体。
而且，通过交互进行第一被摄体和第二被摄体的拍摄，所以即使没有第三者也可以拍摄第一被摄体和第二被摄体。为了在相同背景下拍摄，虽然照相机不动较好，但是因为与背景匹配进行修正，所以不用三角架等固定，用手在大致相同的位置朝向相同的方向进行拍摄也可以。而且，被摄体的位置关系不仅是图37(a)、图38(a)那样的左右关系，任意的位置关系都可以。
然后，在拍摄了二个图像以后，进行从S13到S17的处理，进行图40(a)和图43那样的显示(或者在后说明的警告/通知等)。
如果在存在被摄体重叠等的显示或通知的情况下，也可以再次重复从S11到S17的处理。即拍摄第一被摄体图像、第二被摄体区域，对重叠图像进行生成、显示等。在满足被显示的处理结果之前，进行多少次重复都可以。
但是，在第二被摄体移动位置等情况下，也可以不必重新拍摄第一被摄体图像，有时只要重新取得第二被摄体就可以。这时，只要重复S12至S17就可以。
这时，如果自动地重复从S12的第二被摄体图像的取得到S17的显示，即如果如不按压快门按钮而拍摄活动图像那样，连续地取得第二被摄体图像，并包括处理、显示而重复进行，则可以追踪照相机和第二被摄体的移动等，从而实时地确认处理结果。因此，可以实时地了解第二被摄体的移动位置是否合适(是否重叠)，产生容易进行用于得到没有重叠的合成结果的第二被摄体的拍摄的优点。
而且，为了启动该重复处理，需要从菜单等选择处理开始，进入专用模式。可以通过到达合适的移动位置后按压快门按钮，决定第二被摄体图像(存储)，使该重复处理/专用模式结束(虽然结束，但可以继续处理，直到得到最后的合成结果的S17)。
而且，在第一被摄体图像不好的情况下，例如，在第一被摄体位于背景的正中，无论怎样配置都会与第二被摄体重叠，或者如果不使之重叠，则第二被摄体从重叠图像移到取景框外的情况下，则可以重新进行S11的第一被摄体图像的取得。
以下，对以上说明的处理的细节进行说明。
图44是说明图36的S12的处理，即取得第二被摄体图像的处理的一个方法的流程图。
在经由p20的S12-1中，第二被摄体图像取得部件23取得第二被摄体图像，处理进入S12-2。这里的处理与图36的S11的第一被摄体图像的取得和取得方法本身相同。
在S12-2中，同一部件23判断是否有来自自动快门部件33的记录图像的指示，如果有指示则进入S12-3，如果没有指示则处理跳到P30。
在S12-3中，同一部件23将在S12-1中取得的第二被摄体图像存储到主存储器74、外部存储器75等，处理跳到P30。
在以上的S12-1到S12-3的处理中，进行图36的S12的处理。
而且，除了自动快门部件33以外，由摄影者手动按压快门，或者在用定时器启动快门等情况下，也可以存储拍摄图像，但这些处理包含在S11、S12-1的处理中。
图45是说明图36的S13的处理，即对背景修正量进行计算的处理的一个方法的流程图。
虽然考虑各种计算修正量的方法，但是这里对使用块匹配的简单方法进行说明。
在经由p30的S13-1中，背景修正量计算部件24将背景图像分割为块区域。图37(b)是说明将图37(a)的第一被摄体图像分割为块区域的状态的说明图。用虚线区分的矩形是各块区域。将左上的块设为“B(1，1)”，将其右的设为“B(1，2)”，将其下的设为“B(2，1)”来表现。在图37(b)中，根据空间的情况，例如在块B(1，1)中，块的左上记为“11”。
在S13-2中，同一部件24求出第一被摄体图像的块在第二被摄体图像上匹配的位置，处理进入S13-3。所谓“(块)匹配”是在这时，在第二被摄体图像上查找与第一被摄体图像的各块的块内图像最相似的块区域的处理。
而且，关于匹配的细节与实施方式1中说明的相同，所以省略其说明。这里，定义称为“参照图像”的图像为第一被摄体图像，称为“检索图像”，查找相似块的对方的图像为第二被摄体图像。而且，由于背景修正量为相对的量，所以与上述相反，将参照图像和检索图像作为第二被摄体图像和第一被摄体图像也可以。
接着，在S13-3中，同一部件24从S13-2中求出的匹配块中仅抽取与背景部分相当的检索块，处理进入S13-4。
在S13-2中求出的匹配块，因为仅选择差分最少的检索块，所以不能保证为相同的图像，偶尔也有仅像某种模样等的情况。而且，因为最初为第一被摄体，所以参照块本身不是背景部分，或者参照块是背景部分，但是由于第二被摄体的原因，有时在第二被摄体图像上不存在与参照块相当的图像部分，所以这时在适当的位置设定匹配块。
因此，需要从各匹配块中去除被判断为不是与参照块相同的图像部分的匹配块。因为剩余的匹配块是判断为与参照块相同的图像部分的匹配块，所以结果是仅剩余除去了第一和第二被摄体后的背景部分。
虽然考虑各种匹配块的选择方法，但是作为最简单的方法，为用规定阈值判断相似度S(xs，ys)。即，如果各匹配块S(xs，ys)超过该阈值，则该匹配作为不正确被去除的方法。S(xs，ys)被块的大小影响，所以希望考虑块的大小后决定阈值。
图38(b)是从图38(a)的第二被摄体图像的S13-2的匹配结果中，去除了不正确的匹配块后的结果。在被判断为正确的匹配块中，分配与对应的参照块相同的号码。由此可知，仅剩余不包含被摄体部分，或者基本不包含的背景部分的匹配块。
而且，可以判断剩余的匹配块是与第一被摄体图像和第二被摄体图像共用并写入的相同的背景部分。如果第一被摄体图像和第二被摄体图像完全没有共用的背景部分，则S13-3的处理的结果是剩余的匹配块为0。
在S 13-4中，同一部件24从S13-3中得到的背景部分匹配块中求出第二被摄体图像的背景修正量，处理跳到p40。
作为背景修正量，例如求取旋转量θ、扩大缩小量R、和/或平行移动量，以及其计算方法的说明等已经在实施方式1中说明，所以这里省略说明(在S13-3中剩余的匹配块只有一个时，或者剩余的匹配块一个都没有时的对应也相同)。而且，将检索图像中的任意的点(x’，y’)变换为被修正的点的变换式等(变换函数Fsr或者逆变换函数Frs等)也相同，所以这里省略说明。
在图37(a)、图38(a)的例子中，没有旋转和扩大缩小，仅为简单的平行移动，但细节在后以图38(c)进行说明。
以上的S13-1到S13-4的处理中，进行了图36的S13的背景修正量的计算处理。
图46是说明图36的S14的处理，即生成第二被摄体图像的修正图像，生成与第一被摄体图像的差分图像的处理的一个方法的流程图。
在经由p40的S14-1中，修正图像生成部件25利用在背景修正量计算部件24(S13)中得到的修正量生成修正后的图像，使得第二被摄体图像的背景部分与第一被摄体图像的背景部分重叠，处理进入S14-2。而且，将这里生成的被修正的第二被摄体图像称为“修正第二被摄体图像”(参照图38(c))。
在修正中，也可以使用变换函数Fsr或者逆变换函数Frs。一般来说，为了生成漂亮的变换图像，求出与变换图像(这里为修正第二被摄体图像)的像素位置对应的原图像(这里为第二被摄体图像)的像素位置，从该像素位置求出变换图像的像素值。这时，使用的变换函数变为Fsr。
而且，一般来说，求出的原图像的像素位置不为整数值，所以保持原样，求出的原图像的像素位置的像素值不能被求出。因此，通常进行某些插补。例如，作为最一般的方法，有根据求出的原图像的像素位置周围的整数值的像素位置的四个像素用一次插补求出的方法。关于一次插补法，记载在一般的图像处理的书等(例如，森北出版：安居院猛，中屿正之共著“图像信息处理”的P54页)中，这里省略详细的说明。
图38(c)为根据图38(a)的第二被摄体图像和图37(a)的第一被摄体图像生成的第二被摄体图像与第一被摄体图像的背景部分重叠的修正第二被摄体图像的例子。在该例子中，修正仅为平行移动。为了明白修正的样子，用虚线表示图38(a)的背景图像的范围。框架整体比图38(a)的第二被摄体图像稍向右下移动。
修正的结果，产生对应的第二被摄体图像不存在的部分。例如，图38(c)的右端的虚线和实线之间的部分是在图38(a)的第二被摄体图像中不存在的部分，所以去除。这里可知表示下方的道路的水平线在未到达右端的中间切断。该部分利用在S14-2中说明的屏蔽图像排除，所以原样作为合适的像素值保持也没问题。
而且，图47(a)是在修正中需要旋转时的第二被摄体图像的例子。第一被摄体图像与图37(a)相同。画面整体与图38(a)相比稍向左旋转。
图47(b)是在图47(a)的第二被摄体图像和图37(a)的第一被摄体图像中进行了块匹配的结果。即使块存在旋转等，只要旋转量和块的大小不是那么大，则块内的图像变化少，所以可以在某种程度上追随旋转进行正确地匹配。
图47(c)是根据图47(b)的块匹配结果计算背景修正量而修正后的第二被摄体图像。可知旋转被修正，使得图37(a)的第一被摄体图像和背景部分程度。用虚线表示图47(a)的图像框以便了解修正的样子。
在S14-2中，修正图像生成部件25生成修正第二被摄体图像的屏蔽图像，处理进入S14-3。
屏蔽图像是在生成修正图像时，用先前说明的式求出与修正图像上的各像素对应的原始图像上的像素位置，但是以该像素位置是否收敛在原始图像的范围内进行判断，如果收敛，则作为屏蔽部分，将修正图像上的对应的像素的像素值设为例如0(黑)，如果不收敛，则可以设为例如255(白)。虽然屏蔽部分的像素值不限于0，255，可以自由决定，但是以下用0(黑)，255(白)进行说明。
图38(d)是图38(c)的屏蔽图像的例子。实线的框架中被涂黑的范围是屏蔽部分。该屏蔽部分表示在被修正的图像中原始图像(修正前的图像)具有像素的范围。因此，在图38(d)中，对应的第二被摄体图像不存在的右下端部分不成为屏蔽部分，成为白色。
在S14-3中，差分图像生成部件26利用第一被摄体图像和从修正图像生成部件25(S14-1)得到的修正第二被摄体图像及其屏蔽图像，生成第一被摄体图像和修正第二被摄体图像的差分图像，处理进入S14-4。
为了生成差分图像，观察某点(x，y)的屏蔽图像上的点的像素值是否为0。如果是0(黑)，则修正第二被摄体图像上被修正的像素应该存在，所以差分图像上的点(x，y)的像素值Pd(x，y)根据下式，成为第一被摄体图像上的像素值P1(x，y)和第二被摄体背景图像上的像素值Pf2(x，y)的差的绝对值。
Pd(x，y)＝|P1(x，y)-Pf2(x，y)|
如果某点(x，y)的屏蔽图像上的点的像素值不为0(黑)，则成为下式：
Pd(x，y)＝0
可以对点(x，y)从差分图像的左上到右下的所有像素重复这些处理。
图39(a)是从图37(a)的第一被摄体图像和图38(c)的修正第二被摄体图像、图38(d)的屏蔽图像生成的差分图像的例子。人物(1)和人物(2)的区域以外的位置背景一致，或者在屏蔽范围以外，从而差分为0，主要在人物(1)和人物(2)的区域内，成为人物(1)的图像和背景的图像、人物(2)的图像和背景的图像混合的图像。
通常，由于在S13中的修正量的计算误差，或者修正图像生成的插补处理等的误差，背景部分的图像自身的拍摄时间的差造成的微妙的变化等，在人物(1)的区域和人物(2)的区域以外也产生小的差分部分。通常为数像素左右的大小，差也不太大的情况较多。在图39(a)，人物(1)的区域和人物(2)的区域的周边也多少产生白色的部分。
另一方面，图47(b)时的屏蔽图像如图47(d)所示。而且，即使在扩大缩小和旋转的修正量存在的情况下，如果在S14-1、S14-2中进行修正和屏蔽图像的生成，则由于后面的处理作为顺序没有变化，所以，在以后的说明中，第二被摄体图像不使用图47(a)，而使用图38(a)。
在以上的S14-1至S14-3的处理中，进行图36的S14的差分图像生成的处理。
图48是说明图36的S15的处理，即提取被摄体区域的处理的一个方法的流程图。
在经由p50的S15-1中，被摄体区域提取部件27根据从差分图像生成部件26(S15)得到的差分图像，生成“标示图像”(“标示图像”的含义已在实施方式1中说明)，处理进入S15-2。
首先，作为准备，根据差分图像生成二值图像。虽然也考虑各种二值图像的生成方法，但是，例如将差分图像中的各像素值和规定的阈值比较，如果比阈值大则为黑，如果小于或等于阈值则为白等处理就可以。在差分图像由R，G，B的像素值构成的情况下，将R，G，B的像素值相加后的值与阈值比较就可以。
图39(b)的根据图39(a)的差分图像生成的二值图像的例子。黑色的区域从区域110到116，存在七个，除了大的人形区域112、113以外都是小区域。
接着，根据生成的二值图像生成标示图像。二值图像和标示图像是二值还是多值并没有差别，所以用图39(b)说明标示图像例。图39(b)的区域110到116的号码之后附带用括号括住的号码，如“110(1)”等，但这是各区域的标示值。除此之外的区域被分配标示值0。
而且，标示图像图39(b)由于在纸面上难以图示多值图像，所以标示为二值图像，但是，由于实际上标示值产生多值图像，所以虽然不需要显示，但在实际上作为图像显示的情况下，执行与图39(b)不同的观察方法。
在S15-2中，被摄体区域提取部件27除去从S15-1得到的标示图像中的“干扰”区域，处理进入S15-3。“干扰”一般指目的数据以外的部分，这里指人形的区域以外的区域。
为了除去干扰，有各种方法，但是作为简单的方法，例如有除去某阈值以下面积的标示区域的方法。为此，首先求出各标示区域的面积。为了求出面积，只要扫描所有像素，对存在多少具有某特定的标示值的像素进行计数就可以。在对所有标示值求出面积(像素数)以后，在其中除去规定阈值以下的面积(像素数)的标示区域。具体来说，除去处理是将该标示区域的标示值设为0，或者做成新的标示图像，在其中复制干扰之外的标示区域也可以。
图39(c)是从图39(b)的标示图像中除去了干扰之后的结果。除了人形区域112、113以外，都被作为干扰除去。
而且，如果难以实现除去被摄体以外的标示区域的干扰除去处理的完全自动化，则可以考虑使用书写板或者鼠标等输入部件，由用户指定哪个区域为被摄体区域的方法。指定方法可考虑以下方法：连被摄体区域的轮廓都指定而得到的方法，以及轮廓使用标示图像的各标示区域的轮廓，指定哪个标示区域是被摄体区域而得到的方法。
而且，图39(b)中偶尔一个人的区域很好地成为一个标示区域，但是通过图像，有时即使是一个人的被摄体，也被分为多个标示区域。例如，在被摄体区域中的正中附近的像素为与背景相似的颜色和亮度时，由于在差分图像中该部分的像素值小，所以有时被摄体区域的正中周围被识别为背景，被摄体区域被分断为上下或左右并被提取。这时，有可能出现后面的被摄体的重叠检测和合成处理等不能很好的处理的情况。
因此，如已有的实施方式1已说明的那样，也有使标示图像的标示区域膨胀，将距离近的标示区域作为相同标示区域进行统一处理的方法。进而还考虑统一利用提取区域的方法之一的“曲折移动”的方法。
而且，即使不统一地使用距离近的标示区域，为了用于减少遗漏第一、第二被摄体区域之间有重叠的情况的危险性，也有使提取出的被摄体区域进行一定量的膨胀的方法。
而且，这里以不特别进行膨胀和统一的处理例来进行说明。
在S15-3中，重叠检测部件28根据S15-2得到的被除去干扰的标示图像来检测被摄体的区域中是否存在重叠，在没有检测出重叠的情况下进入S15-4，在检测出重叠的情况下进入S15-5。
重叠的检测方法考虑各种方法，但是这里作为简单的求取方法，对使用希望拍摄/合成的被摄体的数量、被除去干扰的标示图像中的被摄体的区域数的方法进行说明。
首先，通过预先的程序或者外部存储、用户输入等指定要拍摄/合成的被摄体的数量。例如，在照相机中有“2集团拍摄模式”(被摄体数量2)、“3集团拍摄模式”(被摄体数量3)等的模式设定，用户设定该模式。
而且，这里的“被摄体的数量”是作为区域成为一块的人物等的数量。例如，作为第一被摄体、第二被摄体分别为一个人，则被摄体数量为2。作为第一被摄体为一个人，如果第二被摄体为两个人时，在这两个人挨在一起拍摄的情况下，由于成为一块区域，所以将第二被摄体作为1，被摄体的数量合计为2，但是在两个人隔开一定距离的情况下，不成为一块区域，所以将第二被摄体作为2，被摄体的数量合计为3。
被摄体的区域数量也可以对除去了干扰的标示图像中不同标示值的区域数进行计数(除去标示值为0的部分)。
因此，重叠检测部件28观察得到的要拍摄/合成的被摄体的数量和被除去干扰的标示图像中的被摄体的区域数量是否一致，如果一致则判断被摄体之间没有重叠，如果不一致，则判断被摄体之间存在重叠。
该重叠检测部件28的判断的原理如下所述。为了使说明简单，这里将要拍摄/合成的被摄体的数量设为2。
如果被摄体之间没有重叠，则第一被摄体的区域和第二被摄体的区域应该分离。因此，在被摄体之间没有重叠时，除去干扰以后的被摄体的区域的数量应该为2。
如果被摄体之间存在重叠，则因为第一被摄体的区域和第二被摄体的区域在重叠部分被统一，所以应该不分离。因此，在被摄体之间存在重叠时，被除去干扰以后的被摄体的区域的数量应该为1。
要拍摄/合成的被摄体的数量为3也用同样的考虑方法，如果在被摄体之间没有重叠时，由于各个区域被分离，所以除去干扰以后的被摄体的区域的数量应该为3。如果在被摄体之间存在重叠时，则三个被摄体的区域至少其中一组在被重叠的部分被统一，所以应该不分离。因此，在被摄体之间存在重叠时，被除去干扰以后的被摄体的区域的数量应该为1或者2。
在图37(a)、38(a)中，由于分别成为被摄体的人物是一个人，所以要拍摄/合成的被摄体的数量被设定为2。在图39(c)中，区域的数量，人形的区域112、113为两个，所以得到的要拍摄/合成的被摄体的数量和被除去干扰后的标示图像中的被摄体的区域数量一致。因此，这时重叠检测部件28判断被摄体之间没有重叠。
作为存在重叠的例子，考虑使用第二被摄体图像的图41的情况。第一被摄体图像原样使用图37(a)。根据它们生成的差分图像为图42(a)。在图42(a)中，被摄体之间重叠，重叠的腕的部分成为第一被摄体和第二被摄体的图像混合后的图像，此外的被摄体的部分成为第一被摄体和背景部分、第二被摄体和背景部分混合的图像。图42(a)的标示图像为图42(b)，从图42(b)实施了干扰除去的图为图42(c)。
在图42(c)中，由于第一被摄体和第二被摄体的区域在腕的部分结合，所以仅剩余一块的区域202。这时，由于被除去干扰的标示图像中的被摄体的区域数量为1，所以要拍摄/合成的被摄体的数量不一致，判断存在重叠。
而且，作为检测重叠的方法，还有正确地求出第一被摄体和第二被摄体的轮廓，用该轮廓之间是否存在重叠来判断的方法。在正确地求出轮廓以后，还可以进行重叠的检测，进而还可以进行使用了重叠区域的显示、重叠回避等各种处理。
但是，一般来说，仅通过图像处理，难以完全正确地对被摄体的区域进行提取，一般需要人的知识和人工智能的高度的处理。虽然也有作为提取区域的方法之一的“曲折移动(snake)”，但没有完美的方法。而且，除了第一被摄体图像和第二被摄体图像，如果利用拍摄与各被摄体图像至少共用一部分的背景图像而不拍摄被摄体的背景图像，则不管有无重叠，都可以提取被摄体的区域。与此相反，仅根据第一被摄体图像和第二被摄体图像，难以正确的提取可能存在重叠的被摄体的轮廓。
因此，这里用上述的简单方法仅检测有无重叠。
在S15-4中，被摄体区域提取部件27对于被除去干扰的标示图像中的被摄体的区域，判断哪一个是第一被摄体区域，哪一个是修正第二被摄体区域，跳到p60。
在利用上述的背景图像的方法中，由于使用背景图像和第一被摄体图像的差分图像、背景图像和第二被摄体图像的差分图像，所以可以分别提取被摄体区域。被提取的被摄体区域分别成为第一被摄体区域和第二被摄体区域。即可以独立提取第一被摄体区域和第二被摄体区域。
但是，在本发明中不使用背景图像，不能根据第一被摄体图像和第二被摄体图像的差分图像独立提取第一被摄体的区域和第二被摄体区域。即根据图39(c)那样的被除去干扰的标示图像，仅得到两个被摄体区域112、113，被摄体区域提取部件27不能仅根据该情况判断在两个区域112、113中，哪个是第一被摄体区域，哪个是第二被摄体区域。
所谓不能判断哪个是第一被摄体区域，哪个是第二被摄体区域，是指如果改变观察的方法，则被摄体区域提取部件27不能判断是第一、第二被摄体的图像还是背景部分的图像。
例如，从第一被摄体图像(图37(a))和第二被摄体图像(图38(a))分别提取相当于图39(c)的区域112、113的范围后的图是图40(a)～(d)。即，图49(a)是第一被摄体图像的区域112的范围，图49(b)是第二被摄体图像的区域112的范围，图49(c)是第一被摄体图像的区域113的范围，图49(d)是第二被摄体图像的区域113的范围。
由于前提是除了背景部分以外，在第一被摄体图像中仅拍摄第一被摄体，在第二被摄体图像中仅拍摄第二被摄体，所以实际上“图49(a)是第一被摄体的图像，图49(d)是第二被摄体的图像”，或者“图49(b)是第一被摄体的图像，图49(c)是第二被摄体的图像”的哪一个都正确。
因此，为了区别第一被摄体区域和第二被摄体区域，最好识别图49(a)、(d)和图49(b)、(c)的哪一个是被摄体范围的图像。
为了识别哪一个是被摄体范围的图像有各种方法，例如有如果预先知道被摄体和背景的特征，则利用该特征进行区别的方法。
例如，如果知道被摄体是人物，则在被摄体范围的图像中包含肤色较多的可能性高。因此，将包含肤色较多的一个作为被摄体范围的图像就可以。
在识别颜色的方法中也有各种方法，例如有根据36的R、G、B的像素值求出色调H、色度S、亮度I，主要使用色调H进行识别的方法。在求出色调H、色度S、亮度I的方法中有各种方式，记载在一般的图像处理的书中(例如：东京大学出版会，1991年发行“图像解析手册”P485～491)中，所以这里省略细节，例如在该书中的“HSI6角锥彩色模式的变换”方法中，色调H具有从0到2π的值域。
具体来说，被摄体区域提取部件27决定成为标准的肤色的H的范围。接着，相同部件27求出图49(a)～(d)的区域的各像素的H，如果进入标准肤色的H的范围，则作为肤色计数。接着，相同部件27比较图49(a)、(d)的肤色的计数值和图49(b)、(c)的肤色的计数值哪个多，将多的一个作为被摄体范围。
作为使用特征量来判断哪个是被摄体范围的图像的方法，除了使用肤色以外，例如还有通过是否与周围的背景部分相似来识别的方法。
这时，首先被摄体区域提取部件27在第一被摄体图像、第二被摄体图像中求出被摄体区域中的特征量(后述)。接着，相同部件27求出被摄体区域周围的区域(例如周围20点等)的特征量。被摄体区域周围是背景部分，进行修正使得背景部分重叠，所以有时这仅用一方就可以。然后，相同部件27将具有与背景部分的特征量接近的特征量的一方判断为背景部分的图像，将不接近的一方判断为被摄体区域的图像就可以。
作为上述的特征量，除了上述那样的R、G、B的像素值和色调H、色度S、亮度I，还可以利用结构(texture)等。考虑各种将结构作为特征量求出的方法，例如有亮度I的直方图(histogram)。这是对某区域中的像素，取全体的和被归一为1.0的亮度I的直方图P(i)，(i＝0，1，2、…、n-1)，被摄体区域提取部件27根据以下的式子求出平均μ、分散(2)、失真度Ts，峭度Tk。(X￠Y)是X的Y次方的意思。
μ = Σ i = 0 n - 1 i × P ( i )
Figure A0382162600963
将以上的四个值作为特征量使用。
作为特征量，此外还有使用同时关联矩阵和差分统计量、扫描宽度矩阵、功率谱、这些的第二次统计量、高次统计量等的方法，但由于记载在一般的图像处理书等(例如，东京大学出版会，1991年发行“图像解析手册”P517～538)中，所以这里省略细节。
由此，在图49的情况下，图49(a)、(d)被被摄体区域提取部件27判断为被摄体范围的图像。这样，区域112成为第一被摄体区域，区域113成为第二被摄体区域。
而且，这里的处理由于是在S15-3中被摄体之间没有重叠的情况下执行的处理，所以应该是图39(c)那样，成为第一被摄体和第二被摄体完全分离的状态。不应是图42(c)那样，成为第一被摄体和第二被摄体统一的状态。
在S15-5中，由于在S15-3中要拍摄/合成的被摄体的数量与被除去干扰的标示图像中的被摄体的区域数量一致，所以被摄体区域提取部件27将被除去干扰的标示图像中的被摄体的区域确定为统一了第一被摄体区域和第二被摄体区域的区域(以后称为“被摄体统一区域”，处理跳到p60。
这时，被摄体区域提取部件27不可能独立提取第一被摄体区域和第二被摄体区域，而作为被统一的区域处理。而且，如上所述，在正确求出第一被摄体和第二被摄体的轮廓的情况下，不进行S15-3和S15-5的处理，进行S15-4的处理就可以。
在以上S15-1到S15-5的处理中，进行图36的S15的被摄体区域提取处理。
图50是对图36的S16的处理，即与重叠有关的处理的一个方法进行说明的流程图。关于与重叠有关的其它的处理方法，在后面用图51、23进行说明。
在经由p60的S16-1中，重叠警告部件31根据从重叠检测部件28(S15)得到的是否存在重叠的信息，在存在重叠的情况下进到S16A-2，在没有重叠的情况下处理跳到p70。
在S16A-2中，重叠警告部件31将第一被摄体和第二被摄体存在重叠的情况警告用户(拍摄者)或者被摄体或者两方，处理跳到p70。
作为警告的通知方法考虑各种情况。
例如，在利用合成图像进行通知的情况下，将合成区域醒目地重叠在合成图像来显示就可以。图43是对其进行说明的例子。
在图43中，图42(c)的区域202，即第一被摄体和第二被摄体重叠的区域被重叠在合成图像上以半透明方式来显示。如果将区域202的部分施加红色等醒目的颜色的滤光器(在区域202上贴上色玻璃纸的图像)则更好。或者使区域202的区域及其轮廓等闪烁显示也可以。这些合成方法在后面用图53说明。
图43是进一步用文字进行警告的例子。在图43的上方，在合成图像上重叠产生警告窗口，在其中显示“被摄体重叠！”的信息。也可以使其醒目的配色或者闪烁。
这些对于合成图像的覆写，可以按照重叠警告部件31的指示对重叠图像生成部件29进行，也可以对重叠图像显示部件30进行。在使警告窗口闪烁等的情况下，可能需要使原来的合成图像留下，所以有时对于重叠图像显示部件30，使例如从主存储器74或者外部存储器75间歇地读出并提供警告窗口的数据的方法较多。
如果在图35(a)的监视器141上显示这些警告显示，则可以一边拍摄一边确认重叠的状态，在拍摄中很方便。这时，可以产生拍摄者在将接着拍摄的图像作为第二被摄体图像等使用的情况下，对被摄体(人物(2))进行“因为重叠，所以再向右方移动”的指示，以便消除重叠状态的优点。
而且，所谓在将接着拍摄的图像作为第二被摄体图像等使用的情况，考虑以下情况：用户通过菜单或者快门按钮指示第二被摄体图像的记录(存储器写入)的情况，或者如前所述那样，成为将第二被摄体图像活动地拍摄，将修正重叠图像基本上实时地显示的反复处理的专用模式的情况。
而且，图35(a)的监视器141朝向拍摄者的方向，但如果是监视器可以朝向被摄体的方向的装置，则被摄体也可以确认重叠状况，即使不被拍摄者指示，被摄体也可以自己移动以便消除重叠。也可以准备与监视器141不同的监视器，使其可以看见被摄体。
而且，如果将如前所述作为专用模式说明的图36的S13到S17的处理进行重复，则可以基本上实时地了解当前的重叠状态，所以基本上实时地了解是否通过被摄体的移动而消除了重叠，可以使拍摄便利且有效率。从图36的S13到S17的处理如果使用足够快的CPU和逻辑电路，则不需要那么长的时间。在实际使用中，如果可以实现1秒内大于或等于1次的速度的重复处理，则可以说是基本上实时地显示。
而且，在S14中生成修正图像时，如果将第一被摄体图像设为基准图像，则合成图像也是第一被摄体图像为基础。在监视器141上描画的背景的范围称为第一被摄体图像的背景的范围。在实时地进行上述的重复处理时，如果照相机振动则被拍摄的背景的范围改变，但是被拍摄的图像是第二被摄体图像，不是第一被摄体图像。因此，在监视器141上描画的背景的范围原样为第一被摄体图像的背景的范围而不改变。因此，拍摄的范围不描画/被反映在监视器141上，作为用户有不舒服感。
对此，如果将第二被摄体图像设为基准图像，则在监视器141上描画的背景的范围为第二被摄体图像的背景的范围。在实时地进行上述的重复处理时，如果照相机振动则被拍摄的背景的范围改变，但是被拍摄的图像是第二被摄体图像(基准图像)，因此，在监视器141上描画的背景的范围为拍摄中的背景的范围。因此，拍摄的范围描画/被反映在监视器141上，所以产生作为用户的不舒服感减少的效果。
而且，只要观察将重叠区域重叠在合成图像而显示的结果、被摄体之间的重叠状况和合成图像的框架之间的关系，可以判断被摄体不论怎样移动都产生重叠，或者被摄体在框架之外，则可以判断出根据第一被摄体图像的拍摄重新进行的方式较好。
而且，作为警告的通知的方法，可以通过使图35(a)的灯142点亮或者闪烁来进行通知。由于是警告，所以如果将灯的颜色设为红色或者橙色等颜色则容易明白。灯的闪烁等一般具有即使拍摄者不盯着监视器141也容易引起注意的优点。
而且，可以如图43那样不将重叠区域重叠在合成图像中进行显示，仅以灯通知也可以。这时，虽然难以马上了解重叠了多少，但是仅知道是否有重叠，但之后通过被摄体移动等后观察是否警告通知消失，则可以达到得到没有重叠的合成图像的目的，所以仅通过灯也可以。由此，产生省略显示重叠部分的处理的优点。
而且，虽然在图35(a)中将灯142配置为仅拍摄者侧可以看见，但是不用说，也可以配置在图35(b)的主体140的前面侧，使得从被摄体侧也可以了解。关于效果，与被摄体观察监视器的情况一样。
而且，虽然在图35(a)中没有，但存在与监视器141不同的寻像器那样可以确认图像的其它部件时，也考虑进而与监视器141一样显示警告通知，或者在寻像器内部安装灯来进行通知的方法。
而且，在虽然在图35(a)、图35(b)中没有表示，但是也可以使用图34的扬声器80来进行警告通知。在存在重叠时，一边使警告蜂鸣器鸣叫，一边输出“产生重叠”等的声音等来进行警告通知。这时也有望得到与灯相同的效果。在使用扬声器的情况下，与光不同，基本上没有指向性，所以有通过一个扬声器可以向拍摄者和被摄体两方通知重叠的状态的优点。
在以上的S16-1到S16A-2的处理中，进行与图36的S16的重叠有关的处理。
图51是图36的S16的处理，即对与重叠有关的处理的另一个方法进行说明的流程图。
在经由p60的S16-1中，最佳快门通知部件32根据从重叠检测部件28(S15)得到的信息判断是否存在重叠，在存在重叠时，处理跳到p70，在没有的情况下处理进入到S16B-2。
在S16B-2中，最佳快门通知部件32向用户(拍摄者)或者被摄体或者两者通知第一被摄体和第二被摄体中没有重叠的情况，处理跳到p70。
实际上使用该通知的最一般的方法是，与通知无重叠的情况相比，进一步通知没有重叠而引起的下一步的操作，具体来说是通知成为记录第二被摄体的最佳镜头的情况。这时，该通知主要针对拍摄者。
关于最佳镜头的通知方法，基本上原样使用在图50中说明的方法。例如，可以将图43的信息改为“是最佳镜头！”等就可以。另外，对于灯、扬声器，颜色或者输出的声音的内容也多少有些改变，但作为通知方法可以同样利用。
如果知道为最佳镜头，则拍摄者可以通过按压快门在被摄体之间没有重叠的状态下进行拍摄/记录，而且产生被摄体也可以进行可能按压快门的准备(例如视线的方向或者面部的表情等)的优点。
在以上的S16-1到S16B-1的处理中，进行与图36的S16的重叠有关的处理。
图52是对图36的S16的处理，即与重叠有关的处理的再一个方法进行说明的流程图。
在经由p60的S16-1中，自动快门部件33根据从重叠检测部件28(S15)得到的信息判断是否存在重叠，如果存在重叠时，处理跳到p70，在没有重叠时处理进入S16C-2。
在S16C-2中，自动快门部件33判断是否按压快门按钮，如果按压则进入S16C-3，如果没有按压则处理跳到p70。
在16C-3中，自动快门部件33对第二被摄体图像取得部件23指示记录第二被摄体图像，处理跳到p70。第二被摄体图像取得部件23根据指示，将拍摄图像存储到主存储器74、外部存储器75等中。
由此，如果在被摄体之间没有重叠时按压快门按钮，则产生可以自动记录拍摄图像的效果。同时，也可以产生防止失误地在重叠状态下记录拍摄图像的效果。
作为实际使用的方法，观察被摄体的样子等，在认为目前也可以记录拍摄图像后，拍摄者按压快门按钮，但在该时刻也不一定被记录，在产生重叠的情况下不被记录。即，自动快门部件33在判断出存在重叠的情况下，即使拍摄者按压快门按钮，也禁止第二被摄体图像的记录，使得第二被摄体图像取得部件23也不进行记录动作。
而且，在不被记录的情况下，对该要旨进行显示，或者通过灯、扬声器等的通知部件通知拍摄者等的方法，只要明确虽然按压了快门，但没有被拍摄的状况就可以。
然后，被摄体移动等，从而成为没有重叠的状态时，如果再次按压快门按钮，则此次被记录。进行显示，或者通过灯、扬声器等的通知部件通知拍摄者等，使其了解被记录的状况。
如果不每次按压快门按钮，而一直按压，则从重叠状态变为不重叠状态的瞬间自动地被记录。但是，如果在重叠消失的瞬间被摄体不静止，则有时拍摄图像晃动，或者未达到拍摄图像的状态(被摄体朝向其它位置时等)，所以，这时在自动记录之前稍微隔开一段时间较好。
在以上的S16-1到S16C-3的处理中，进行与图36的S16的重叠有关的处理。
而且，图50～23的处理不是排他的处理，可以进行任意的组合来处理。作为组合的例子，可以为以下那样的利用情景。
“在被摄体之间重叠时，警告‘重叠’，在这时即使按压快门按钮也不记录拍摄图像。被摄体根据警告移动，重叠消失以后，最佳镜头灯点亮。在最佳镜头灯点亮期间按压快门按钮以后记录拍摄图像。”
接着，图53是对图36的S17的处理，即生成重叠图像的处理的一个方法进行说明的流程图。
在经由p70的S17-1中，重叠图像生成部件29将生成的重叠图像的最初的像素位置设为当前像素，处理进入S17-2。最初的像素位置例如多从左上等的角部开始。
而且，“像素位置”表示图像上的特定的位置，多用将左上角设为原点，将右方向设为+X轴，将下方设为+Y轴的X-Y坐标系来表现。像素位置对应于表示图像的存储器上的地址，像素值是该地址的存储器的值。
在S17-2中，重叠图像生成部件29判断当前像素位置是否存在，如果存在则处理进入S17-3，如果不存在则处理跳到p80。
在S17-3中，重叠图像生成部件29判断当前像素位置是否存在于第一被摄体区域内，如果存在于第一被摄体区域内则处理进入S17-4，如果不是这样则处理进入S17-5。
是否存在于被摄体统一区域内，可以通过从重叠检测部件28(S15-5)得到被摄体统一区域，并且被摄体统一区域图像中当前像素位置的像素值是否为黑(0)来判断。
在S17-4中，重叠图像生成部件29生成对应于设定的像素值，作为重叠图像的当前像素位置的像素值写入。
上述的设定是指合成何种重叠图像。例如，是如图40(b)那样将第一被摄体以半透明方式进行合成，还是如图40(a)的那样以不透明的方式将第一被摄体原样覆写来进行合成，还是如图43那样第一被摄体和第二被摄体都以半透明方式合成等。这里，由于处理被摄体统一区域内，所以实质上为与该区域的合成比例(透过率)有关的设定。
如果决定合成比例(透过率)，则得到第一被摄体图像的当前像素位置的像素值P1和从修正图像生成部件25(S14)得到的修正第二被摄体图像的当前像素位置的像素值Pf2，用规定的透过率A(0.0到1.0之间的值)来求出合成像素值(P1×(1-A)+Pf2×A)就可以。
例如，为了将如图43那样的被摄体统一区域设为半透明，将透过率A设为0.5就可以。
在S17-5中，重叠图像生成部件29在S17-3中判断当前像素位置不在被摄体统一区域内时，继续判断当前像素位置是否在第一被摄体区域内，如果在第一被摄体区域内则处理进入S17-6，如果不是则处理进入S17-7。
可以通过使用被摄体区域提取部件27(S15)得到的第一被摄体区域图像，以当前像素位置是否为黑(0)来判断是否在第一被摄体区域内。而且，在存在被摄体统一区域时，由于已知不存在第一被摄体区域，所以不能判断是否在第一被摄体区域内(省略S17-5)，处理直接进而S17-7就可以。
而且，在不因是否为第一被摄体区域而特别改变处理的情况下，省略S17-5、S17-6，从S17-3进入S17-7就可以。
在S17-6中，重叠图像生成部件29生成对应于设定的合成像素，作为重叠图像的当前像素位置的像素值写入。这里的处理仅是将被摄体统一区域(图像)变为第一被摄体区域(图像)，与S17-4相同。
如果如图40(b)那样，将第一被摄体以半透明方式合成，则将第一被摄体的透过率设为0.5就可以，如果如图40(a)那样，将第一被摄体以不透明方式原样覆写来合成，则将第一被摄体的透过率设为0.0就可以。
在S1 7-7中，重叠图像生成部件29在S17-5中判断当前像素位置不在第一被摄体区域内时，判断当前像素位置是否在第二被摄体区域内，如果在第二被摄体区域内，则进入S17-8，如果不在，则处理进入S17-9。这里的处理仅是第一被摄体区域改变为第二被摄体区域，与S17-5相同。
在S17-8中，重叠图像生成部件29生成对应于设定的合成像素，作为重叠图像的当前像素位置的像素值写入。这里的处理仅是第一被摄体区域改变为第二被摄体区域，与S17-6相同。
在S17-9中，重叠图像生成部件29在S17-7中判断当前像素也不属于第二被摄体区域时，将第一被摄体图像(基准图像)的当前像素位置的像素值作为重叠图像的当前像素位置的像素值写入。即，这时的当前像素位置不在被摄体统一区域内，也不在第一被摄体内，也不在第二被摄体区域内，所以结果相当于背景部分。
在S17-10中，重叠图像生成部件29将当前像素位置设定为下一个像素位置，处理返回S17-2。
在以上的S17-1到S17-10的处理中，进行了图36的S17的与重叠图像生成有关的处理。
而且，在上述的处理中，在S17-4、S17-6和S17-9中对第一被摄体图像和修正第二被摄体图像进行了处理，但是也考虑在生成的重叠图像中，在S17-1之前最初将第一被摄体图像或者修正第二被摄体图像进行全像素复制，之后，在各像素位置的处理中仅处理第一被摄体区域和/或第二被摄体区域的方法。全像素复制的方法虽然处理步骤简单，但是可能增加若干处理时间。
而且，这里将合成图像的大小设为基准图像的大小，但是也可以设为比其小或者比其大。例如在图38(c)中生成修正图像时，切除一部分，但是如果放大修正图像的尺寸从而不能切除时，为了满足扩大合成图像的情况，可以不切除地将剩余的图像用于合成，由此扩大背景。产生可以进行所谓全景图像合成那样的效果。
图40(b)是仅将第一被摄体区域半透明地合成的重叠图像。图40(c)是仅将第二被摄体区域半透明地合成的重叠图像。图40(a)是两者都不半透明，两个都覆写生成的重叠图像。而且，图43是两者都设为半透明而合成的重叠图像。
由于按照目的来决定采用哪个合成方法，所以用户只要可以选择对应当时的目的的合成方法就可以。
例如，已经拍摄/记录第一被摄体图像，为了无重叠地拍摄第二被摄体图像时，不需要第一被摄体的详细的图像，只要了解大致存在于何处，是否有重叠就可以，所以用半透明的合成也没关系。而且，由于如果不能详细地了解第二被摄体在拍摄的瞬间有什么样的表情等，就不能很好的按压快门，所以不采用半透明方式，而用覆写方式来进行合成的方法较好。因此，倾向图40(b)那样的合成方法。
而且，如已经说明的那样，由于合成图像的背景的范围成为拍摄中的图像(第二被摄体)的背景的范围的方式不舒服感少，所以将第二被摄体图像设为基准图像，并且为了容易了解正在拍摄第二被摄体的情况，倾向图40(b)那样的合成方法。
而且，作为认为知道了合成的被摄体区域后容易拍摄的用户，可能存在在拍摄中将两者以半透明的方式合成较好的情况，以及仅将第二被摄体设为半透明较好的情况。
而且，在第二被摄体的拍摄/记录完成，希望使用第一被摄体图像、第二被摄体图像来最终合成图像的情况下，由于用半透明的被摄体很困难，所以任意一个都需要用覆写来进行合成。因此，倾向于图40(b)那样的合成方法。
而且，如果从被摄体区域提取部件27(S15)得到的被摄体区域如前所述已经被膨胀，则不仅是被摄体，而且其周围的背景部分也一起合成，但是已经由修正图像生成部件25(S14)进行修正处理，使得背景部分一致，所以即使与实际的被摄体的轮廓的区域相比，提取被摄体区域变大，多少包含背景部分，但在合成边界也产生不会变得不自然的效果。
另外，如果是使被摄体区域膨胀进行处理，则也有以下方法：在也包含外部的被摄体区域的合成区域的合成边界附近，或者仅在被摄体区域内部的合成边界附近，使透明度缓慢变化来进行合成，从而使合成边界看上去更加自然。例如有以下状况：随着进入到被摄体区域的外部，使背景部分的图像的比例增强，随着进入到被摄体区域的内部，使被摄体区域部分的图像的比例增强。
由此，即使假设在合成边界附近存在由修正误差造成的一些背景的偏差，也产生可使不自然不醒目的效果。而且即使假设不是修正误差，而是各个被摄体区域的提取错误的情况下，或者由于拍摄时间的偏差产生的背景部分的图像的变化(例如由于风产生树木的移动，太阳的阴影，无关的人的通过等)，同样可以产生可使不自然不醒目的效果。
而且，不用说，本发明的目的也可以通过将记录了实现前述的本实施方式的功能的软件的程序码的存储介质提供给系统或者装置，该系统或者装置的计算机(或者CPU或MPU)读出存储于存储介质的程序码并执行来达成。
这时，从存储介质读出的程序码自身实现前述的实施方式的功能，存储了该程序码的存储介质构成本发明。
这时，从存储介质读出的程序码自身实现前述的实施方式的功能，存储了该程序码的存储介质构成本发明。
作为用于提供程序码的存储介质，例如可以使用软盘、硬盘、光盘、光磁盘、磁带、非易失性存储卡等。
而且，也可以是将上述程序码通过图像网络那样的传送介质，从其他的计算机系统下载到图像合成装置的主存储器74或者外部存储器75的设备。
而且，当然也包括以下情况：通过执行计算机读出的程序码，不仅实现前述的实施方式的功能，而且根据该程序码的指示，在计算机上工作的OS(操作系统)等执行实际的处理的一部分或者全部，通过该处理来实现前述的实施方式的功能。
进而，当然也包括以下情况：从存储介质读出的程序码在被写入插入计算机的功能扩展接口或者与计算机连接的功能扩展单元中具有的存储器中后，根据该程序码的指示，该功能扩展接口或者功能扩展单元中具有的CPU等执行实际的处理的一部分或者全部，通过该处理来实现前述的实施方式的功能。
在将本发明应用于上述存储介质中的情况下，在该存储介质中，对与先前说明的流程对应的程序码进行存储。
本发明不限于上述的实施方式，在权利要求所示的范围内可以进行各种变更。
如上所述，本发明的第二图像合成装置，包括：背景修正量计算部件，对第一被摄体图像和第二被摄体图像之间的背景部分的相对移动量、旋转量、放大缩小率、失真修正量的其中一个或者组合构成的修正量进行计算，或者对计算并存储的修正量进行读取，所述第一被摄体图像包括背景和第一被摄体，所述第二被摄体图像包括所述背景的至少一部分和第二被摄体；以及重叠图像生成部件，将第一被摄体图像、第二被摄体图像的其中之一作为基准图像，用由所述背景修正量计算部件得到的修正量对另一个图像进行修正，使得被摄体以外的背景部分至少部分重叠，并生成将基准图像和修正后的图像重叠的图像。
由此，可以修正两个图像间的背景的偏差从而进行合成，所以，除了与被摄体明显不同的区域以外的部分(即背景部分)无论怎样重叠，合成结果都基本一致，产生合成结果不会变得不自然的效果。例如，在仅要主要合成被摄体区域时，即使被摄体区域的提取或者指定多少有些不正确，但由于被摄体区域的周围的背景部分与合成目的的图像的部分没有偏差，所以被合成为不正确的区域的内外连续的风景，可以产生减轻视觉上不自然的效果。
而且，由此，即使例如假设被摄体区域的提取以像素单位正确，如课题项说明的那样，虽然通过现有技术的方法，产生比一个像素更细微的水平上的不自然，但是在本发明中，使背景部分匹配后合成，所以轮廓的像素周围的像素成为相同背景部分的位置的像素，即使合成也基本自然地连接。这样，可以产生防止或者减轻比一个像素更细微的水平上的不自然的效果。
而且，由于对背景的偏差进行修正后合成，所以在拍摄第一/第二被摄体图像时，不需要用三角架固定照相机等，用手等匹配大致的方向就可以，产生拍摄变得简单的效果。
而且，本发明的第二图像合成装置还可以是以下结构：还包括拍摄被摄体和风景的拍摄部件，根据所述拍摄部件的输出生成第一被摄体图像或者第二被摄体图像。
按照上述的结构，生成重叠图像的图像合成装置由于具有拍摄部件，用户可以在拍摄了被摄体或者风景的场所生成重叠图像，所以作为用户提高了便利性。而且，如果生成重叠图像的结果如果存在被摄体之间有重叠等的不舒服，则产生可以在该场所重新拍摄的效果。
而且，由拍摄部件得到的图像通常记录在不论是否内置于图像合成装置中的主存储器或者外部存储器中，用户利用快门按钮指示记录的定时。然后将记录的图像作为第一被摄体图像、或者第二被摄体图像用于合成处理。
而且，本发明的第二图像合成装置还可以是以下结构：将第一被摄体图像和第二被摄体图像中后拍摄的一方作为基准图像。
在上述的结构中，例如按照第一被摄体图像、第二被摄体图像的顺序进行拍摄时，将第二被摄体图像作为基准图像。首先假设背景图像以任何顺序都可以。然后将第二被摄体图像作为基准图像，对第一被摄体图像进行修正。这时，计算第二被摄体图像(基准图像)和第一被摄体图像之间背景部分的移动量等的修正量。利用该修正量对第一被摄体图像进行修正。利用第二被摄体图像(基准图像)、被修正的第一被摄体图像合成合成图像。然后进行该合成图像的显示等。
其结果，被显示的合成图像刚在之前拍摄，或者使合成图像在实时显示的状态下成为当前拍摄中的第二被摄体图像的背景的范围，所以产生作为拍摄者没有不适感的效果。
如果将第一被摄体图像作为基准图像，则合成图像的背景的范围为第一被摄体图像的背景的范围。第一被摄体图像的背景的范围，照相机的方向等改变，先拍摄的第二被摄体图像的背景的范围也可能改变，有时拍摄者也改变。这时，由于后拍摄的背景的范围和被显示的合成图像的背景的范围不一致，所以作为拍摄者等产生不适感。
进而，如果实时地重复从上述的第二被摄体图像的拍摄到合成图像的显示，则尽管将第二被摄体图像继续更新为拍摄图像，但由于合成图像的背景的范围原样为第一被摄体的背景的范围，所以该不适感进一步增加。
本发明的第二图像合成装置还可以是以下结构：所述重叠图像生成部件以分别规定的透过率将基准图像和修正后的图像进行重叠。
在上述的结构中，“规定的透过率”可以是被固定的值，也可以是根据区域而变化的值，或者在区域的边界附近缓慢变化的值。
前述重叠图像生成部件决定重叠图像的像素位置，得到基准图像上的像素位置的像素值和修正后的另一个图像上像素位置的像素值，将在这两个像素值上分别乘以规定的透过率的值的合计值作为重叠图像的像素值。在重叠图像的所有像素位置进行该处理。
而且，如果透过率根据像素位置而改变，则可以根据位置加强基准图像的比例，或者加强修正图像的比例。
使用以上方式，例如在仅将被修正的被摄体图像中的被摄体区域重叠在基准图像中时，在被摄体区域内以不透明(即保持修正图像中的被摄体的图像的原样)重叠，在被摄体区域的周边根据离开被摄体区域的程度加强基准图像的比例来进行重叠。这样，即使假设被摄体区域，即提取出的被摄体的轮廓错误，其周边的像素由于从修正图像向基准图像缓慢变化，所以产生错误变得不醒目的效果。
而且，通过例如进行仅对被摄体区域用一半的透过率进行重叠等的合成显示，可以产生用户或者被摄体容易判断被显示的图像的哪一部分是以前拍摄的合成对象部分，哪一部分是目前拍摄的被摄体的图像的效果。
而且，人通常具有通过使用常识(图像理解)来区别图像中的背景部分和被摄体部分(轮廓)的哪里。即使对被摄体区域用一半的透过率进行重叠显示，该能力一般也有效。
因此，通过对被摄体区域用一半的透过率进行重叠显示，即使在重叠多个被摄体的区域时，也可以用前述的能力区别各个被摄体，可以容易地判断它们在合成图像上是否位置重叠。
通过将第一被摄体图像和第二被摄体图像左右并排观察也不是不能判断是否存在重叠，但是这时必须用前述能力区别各个图像中的被摄体区域，考虑各个图像的背景部分的重叠，在头脑中计算并判断区别的被摄体区域之间是否重叠。仅在头脑中正确地进行这一连串的工作与区别合成图像中的被摄体区域的先前的方法相比更困难。
即，通过机械地进行背景部分重叠的位置匹配，使用人的高度的图像理解能力，作出容易判断被摄体区域之间是否重叠的状况。这样，通过对被摄体区域用一半的透过率进行重叠显示，即使在被摄体之间存在重叠等的情况下，也可以产生容易判别目前拍摄的被摄体的位置的效果。
而且，也可以将这里记载的结构和前述的各结构根据需要进行任意的组合。
而且，本发明的第一图像合成装置也可以是以下结构：所述重叠图像生成部件将基准图像和修正后的图像之间的差分图像中存在差的区域作为与原来的像素值不同的像素值的图像来生成。
这里，所谓“差分图像”是比较两个图像中的相同位置的像素值，将其差值作为像素值而作出的图像。一般来说，差值多取绝对值。
所谓“与原来的像素值不同的像素值”是例如实现改变透过率而变成半透明，或者使像素值的明暗或者色调等相反来反转显示，或者成为红色或者白色、黑色等醒目的颜色的像素值。而且，在区域的边界部分和内部中还包括以下情况：改变前述的像素值，或者用虚线包围边界部分，或者闪烁显示(使像素值时间性地变化)。
按照上述的结构，在基准图像和修正的其它图像之间，得到相同像素位置的像素值，在存在其差时，将该像素位置的重叠图像的像素值设为与其它区域不同的像素值。通过对所有像素位置进行该处理，可以将差分部分的区域生成为与原来的像素值不同的像素值的图像。
由此，产生使用户容易了解两个图像间不一致的部分的效果。例如第一或第二被摄体的区域在基准图像上和修正图像上，一方成为被摄体的图像，另一方成为背景的图像，所以作为差分图像中存在差的区域被提取。通过将被提取的区域设为半透明，或者反转显示，或者设为醒目的颜色的像素值，用户容易了解被摄体的区域，如果被摄体之间存在重叠等，则产生也容易了解该重叠的效果。
而且，这里记载的结构可以和前述的各结构根据需要进行任意的组合。
本发明的第二图像合成装置还可以是以下结构：被摄体区域提取部件，从基准图像和修正后的图像之间的差分图像中提取第一被摄体的区域和第二被摄体的区域，所述重叠图像生成部件将基准图像或者修正后的图像和由所述被摄体区域提取部件得到的区域内的图像重叠，以取代将基准图像和修正后的图像重叠。
由此，可以产生在基准图像上，仅合成被修正的被摄体图像中的被摄体区域的效果。或者也可以在被修正的被摄体图像上，仅合成基准图像中的被摄体区域。
而且，通过与改变重叠图像生成部件中的被摄体区域的透过率的处理进行组合，则用户容易了解要合成哪个区域，如果被摄体之间存在重叠，则产生也可以进一步容易了解该状况的效果。进而，由此产生可以辅助拍摄的效果。如果存在重叠，则移动被摄体或者照相机，在没有重叠的状态下重新拍摄较好，这时的辅助为：例如使用户容易识别是否产生重叠，或者提供用户判断使被摄体或者照相机移动多少可以消除产生重叠的材料(这里为合成图像)的效果。
而且，这里记载的结构可以根据需要和前述的各结构进行任意的组合。
而且，本发明的第二图像合成装置可以是以下结构：所述被摄体区域提取部件从第一被摄体图像中或者从被修正的第一被摄体图像中提取第一被摄体区域内的图像以及第二被摄体区域内的图像，同时从第二被摄体图像中或者从被修正的第二被摄体图像中提取第一被摄体的区域内的图像以及第二被摄体区域内的图像，进而以皮肤色作为基准，对第一被摄体的图像以及第二被摄体的图像进行选择。
在上述的结构中，被摄体区域提取部件可知从差分图像提取的被摄体区域是第一被摄体的区域或者是第二被摄体的区域，但是不知道各个被摄体的区域是第一被摄体的区域还是第二被摄体的区域，换言之，不知道该区域表示的被摄体的图像是存在于第一被摄体图像中，或者存在于第二被摄体图像中。
因此，如果知道被摄体是人物，则将各个区域中的像素的颜色与第一被摄体图像(基准图像)和被修正的第二被摄体图像、或者与第二被摄体图像(基准图像)和被修正的第一被摄体图像分别比较。这时，在如何一种情况下，对于基准图像和被修正的图像的每一个，被摄体区域提取比较在提取第一被摄体的区域内的图像和第二被摄体的区域内的图像后，总共提取合计四个图像部分。
在提取的这四个图像部分中，包括第一被摄体的图像部分，成为第二被摄体的形状的背景部分，成为第一被摄体的形状的背景部分，第二被摄体图像的图像部分。因此，如果将肤色作为基准，则可以将具有肤色或与其接近的颜色的第一被摄体以及第二被摄体的各图像部分选择分离。
由此，可以产生自动简单地判断提取出的图像部分是哪个被摄体的效果。
本发明的第二图像合成装置还可以是以下结构：所述被摄体区域提取部件从第一被摄体图像中或者从被修正的第一被摄体图像中提取第一被摄体区域内的图像以及第二被摄体区域内的图像，同时从第二被摄体图像中或者从被修正的第二被摄体图像中提取第一被摄体的区域内的图像以及第二被摄体区域内的图像，进而以各区域外的图像的特征作为基准，对第一被摄体的图像以及第二被摄体的图像进行选择。
在上述的结构中，被摄体区域提取部件提取四个图像部分的部分如前所述。但是，作为将第一被摄体和第二被摄体的各图像部分选择分离的基准，不是如前所述使用肤色，而是使用各区域外的图像的特征。
这里，所谓“特征”是该区域的图像具有的特性，作为特征量最好是可以数值化后表现的性质。作为特征量，除了例如各色的像素值、其色调、色度、亮度，作为表示图像的模样和构造的统计量，还有同时关联矩阵和差分统计量、扫描宽度矩阵、功率谱、这些第二次统计量、高次统计量等。
在各个区域中，即分别与基准图像和被修正的图像一起求出提取出的图像部分的特征量。而且，还和基准图像和被修正的图像一起求出该区域周围区域的特征量。将区域中的特征量与其周围的区域的特征量的差与第一被摄体图像和第二被摄体图像进行部件，将差大的一方作为被摄体区域的图像。
由此，可以产生自动简单地判断提取出的图像部分是哪个被摄体的效果。
本发明的第二图像合成装置还可以是以下结构：还包括重叠检测部件，在由所述被摄体区域提取部件得到的第一被摄体或者第二被摄体的区域的数量与作为合成的被摄体的数量而被设置的值不一致时，判断第一被摄体的区域和第二被摄体的区域重叠。
所谓“第一被摄体或者第二被摄体的区域”是从差分图像等提取的被摄体的区域，对第一被摄体的区域或者第二被摄体的区域不加区别也可以的区域。
所谓“合成的被摄体”不是在合成处理的过程中被求出的被摄体，而是实际存在的被摄体，是用户要合成的被摄体。但是，如上所述，作为合成处理的单位总和处理的是一个“被摄体”，所以有时一个被摄体为多个人物或物体。
而且，可以是将被摄体的数量预先固定地设定在图像合成装置中的形式，但是作为使用方便，重叠检测部件在进行重叠检测之前，根据拍摄者等的用户指示设定在图像合成装置中的方式较好。
从差分图像由被摄体区域提取部件提取出的被摄体区域，如果被摄体之间没有重叠，则相互分离，如果被摄体之间重叠，则第一被摄体的区域和第二被摄体的区域作为连续的区域一块被统一。因此，重叠检测部件比较被提取的被摄体的区域的数量和被摄体的数量(设定值)，如果一致，则判断为被摄体之间没有重叠，如果不一致，则判断为重叠。
可在用合成图像或者灯等向拍摄者或者被摄体通知、警告有无重叠时利用该判断结果。
由此，产生使用户容易判别被摄体之间是否存在重叠的部分的效果。由此，关于辅助拍摄，从而不产生重叠的效果与前述相同。
本发明的第二图像合成装置还可以是以下结构：重叠警告部件，在所述重叠检测部件中检测到重叠时，向用户或者被摄体或者两者警告存在重叠的情况。
这里，为了“警告”，包括在显示部件等上以文字或者图像进行警告，还包括灯产生的光或者扬声器等产生的声音，振动器等产生的振动等，只要是用户或者被摄体可以感知的方法都可以。
由此，在被摄体之间重叠的情况下，由于通过重叠警告部件的动作被警告，所以可以防止用户对该情况不注意地进行拍摄/记录，或者进行合成处理，进而产生马上通知被摄体需要进行位置调整等的情况的辅助拍摄的效果。
本发明的第二图像合成装置还可以是以下结构：还包括：最佳镜头通知部件，在所述重叠检测部件中没有检测到重叠时，向用户或者被摄体或者向两者通知不存在重叠的情况。
这里，为了“通知”，和“警告”一样，只要是用户或者被摄体可以感知的方法都可以。
由此，由于用户可以知道被摄体之间没有重叠的时刻，所以如果使拍摄或者拍摄图像记录、合成的定时与该时刻匹配进行，则可以产生被摄体之间不重叠地进行合成的辅助拍摄效果。
而且，也可以对被摄体通知最佳镜头，所以可以得到马上进行摆姿势或视线的准备的辅助拍摄效果。
而且，本发明的第二图像合成装置也可以是以下结构：还包括：拍摄被摄体或者风景的拍摄部件；以及自动快门部件，在所述重叠检测部件中没有检测到重叠时，生成将所述拍摄部件得到的图像作为第一被摄体图像、或者第二被摄体图像来进行记录的指示。
在上述的结构中，所谓将拍摄图像作为第一被摄体图像、第二被摄体图像记录，是例如通过记录到主存储器或者外部存储器来实现。因此，自动快门部件在从重叠检测部件输入了在第一被摄体的区域和第二被摄体的区域中没有重叠的信号时，输出对主存储器或者外部存储器进行记录控制处理的指示。
然后，背景修正量计算部件或者重叠图像生成部件通过读取被记录在主存储器或者外部存储器中的图像，可以得到第一被摄体图像、第二被摄体图像。
而且，即使自动快门部件自动地生成指示，也不一定马上记录图像。例如，也可以是同时还按压快门按钮，或者如果不成为自动记录模式等的状态就不记录。
由此，由于在被摄体之间不重叠时自动地进行拍摄，所以产生用户自己判断是否存在重叠而可以不按压快门的辅助拍摄效果。
本发明的第二图像合成装置还可以是以下结构：还包括拍摄被摄体或者风景的拍摄部件；以及自动快门部件，在通过所述重叠检测部件检测重叠时，生成禁止将所述拍摄部件得到的图像作为第一被摄体图像、或者第二被摄体图像来进行记录的指示。
按照上述的结构，自动快门部件在从重叠检测部件得到存在重叠的信号后，输出禁止将从拍摄部件得到的图像记录到主存储器或者外部存储器等的指示。其结果，例如即使假设快门按钮被按压，也不记录从拍摄部件得到的图像。而且，也可以只要不是成为自动禁止模式等的状态，就不进行该禁止处理。
由此，由于在被摄体之间存在重叠时不进行拍摄，所以可以产生防止用户错误地在存在重叠的状态下进行拍摄/记录的辅助拍摄效果。
本发明的第二图像合成方法包括：背景修正量计算步骤，对第一被摄体图像和第二被摄体图像之间的背景部分的相对移动量、旋转量、放大缩小率、失真修正量的其中一个或者组合构成的修正量进行计算，或者对计算并存储的修正量进行读取，所述第一被摄体图像包括背景和第一被摄体，所述第二被摄体图像包括所述背景的至少一部分和第二被摄体；以及重叠图像生成步骤，将第一被摄体图像、第二被摄体图像的其中之一作为基准图像，用由所述背景修正量计算步骤得到的修正量对另一个图像进行修正，使得被摄体以外的背景部分至少部分重叠，并生成将基准图像和修正后的图像重叠的图像。
由此产生的各种作用效果与前述相同。
本发明的第二图像合成程序是使计算机具有作为上述图像合成装置具有的各部件的功能的结构。
本发明的第二图像合成程序是使计算机执行上述图像合成方法具有的各步骤的结构。
本发明的第二记录介质是记录了上述图像合成程序的结构。
由此，通过经由上述记录介质或者网络，在一般的计算机中安装图像合成程序，利用该计算机实现上述的图像合成方法，换言之，可以使计算机具有作为图像合成装置的功能。
而且，本发明不限于上述的各实施方式，在权利要求所示的范围内可以进行各种变更，对于将在不同的实施方式中分别公开的技术手段进行适当组合得到的实施方式也包含在本发明的技术手段中。
而且，在用于上述发明的最佳方式项目中的具体的实施方式或者实施例只是使本发明的技术内容明了，不应仅限定于这样的具体例而进行狭义的解释，在本发明的精神和记载的权利要求的范围内可以进行各种变更后实施。
本发明的产业上的可利用性在于：本发明可用于数字照相机或者具有拍摄功能的便携电话、监视照相机、Web照相机、扫描仪、复印机、FAX、图像编集软件等取入图像，并加工图像的设备或者软件中。

Claims (36)

1、一种图像合成装置，包括：
背景修正量计算部件，对作为背景的图像的背景图像、第一被摄体图像和第二被摄体图像之间的背景的相对移动量、旋转量、放大缩小率、失真修正量的其中一个或者组合构成的修正量进行计算，或者对计算并存储的修正量进行读取，所述第一被摄体图像包括所述背景图像的至少一部分和第一被摄体，所述第二被摄体图像包括背景图像的至少一部分和第二被摄体；以及
重叠图像生成部件，将背景图像、第一被摄体图像、第二被摄体图像的其中之一作为基准图像，用由所述背景修正量计算部件得到的修正量对另外两个图像进行修正，使得被摄体以外的背景的至少一部分重叠，并生成将基准图像和修正后的另外一个或者两个图像重叠的图像。
2、如权利要求1所述的图像合成装置，还包括：
拍摄被摄体和风景的拍摄部件，根据所述拍摄部件的输出来生成背景图像、第一被摄体图像或者第二被摄体图像。
3、如权利要求2所述的图像合成装置，
在第一被摄体图像和第二被摄体图像中，将先拍摄的图像作为基准图像。
4、如权利要求3所述的图像合成装置，按照在基准图像之前或者之后的顺序来拍摄背景图像。
5、如权利要求1所述的图像合成装置，其中
所述重叠图像生成部件以分别规定的透过率将基准图像和修正后的另一个或者另两个图像进行重叠。
6、如权利要求1所述的图像合成装置，其中
所述重叠图像生成部件将基准图像和修正后的另一个或者另两个图像之间的差分图像中存在差异的区域作为与原来的像素值不同的像素值的图像来生成。
7、如权利要求1所述的图像合成装置，还包括：
被摄体区域提取部件，从基准图像和修正后的另一个或者另两个图像之间的差分图像中提取第一被摄体的区域和第二被摄体的区域，
所述重叠图像生成部件将基准图像和由所述被摄体区域提取部件得到的区域内的修正后的另一个或者另两个图像重叠，以取代将基准图像和修正后的另一个或者另两个图像重叠。
8、如权利要求7所述的图像合成装置，还包括：
重叠检测部件，对由所述被摄体区域提取部件得到的第一被摄体的区域和第二被摄体的区域的重叠进行检测。
9、如权利要求8所述的图像合成装置，还包括：
重叠警告部件，在所述重叠检测部件中检测到重叠时，向用户或者被摄体或者向两者警告存在重叠的情况。
10、如权利要求8所述的图像合成装置，还包括：
最佳镜头通知部件，在所述重叠检测部件中没有检测到重叠时，向用户或者被摄体或者向两者通知不存在重叠的情况。
11、如权利要求8所述的图像合成装置，还包括：
拍摄被摄体或者风景的拍摄部件；以及
自动快门部件，在所述重叠检测部件中没有检测到重叠时，生成将所述拍摄部件得到的图像作为背景图像、或者第一被摄体图像、或者第二被摄体图像来进行记录的指示。
12、如权利要求8所述的图像合成装置，还包括：
拍摄被摄体或者风景的拍摄部件；以及
自动快门部件，在通过所述重叠检测部件检测重叠时，生成禁止将所述拍摄部件得到的图像作为背景图像、或者第一被摄体图像、或者第二被摄体图像来进行记录的指示。
13、如权利要求8所述的图像合成装置，
所述重叠检测部件提取第一被摄体的区域和第二被摄体的区域重叠的重叠区域。
14、如权利要求13所述的图像合成装置，
所述重叠图像生成部件将所述重叠检测部件提取的重叠区域作为与原来的像素值不同的像素值的图像来生成。
15、如权利要求8至14的任意一项所述的图像合成装置，还包括：
重叠回避方法计算部件，在所述重叠检测部件检测重叠时，对减少重叠的第一被摄体或者第二被摄体的位置或者该位置的方向进行计算；以及
重叠回避方法通知部件，向用户或者被摄体或者两者通知由所述重叠回避方法计算部件得到的第一被摄体或者第二被摄体的位置或者该位置的方向。
16、一种图像合成方法，包括：
背景修正量计算步骤，对作为背景的图像的背景图像、第一被摄体图像和第二被摄体图像之间的背景的相对移动量、旋转量、放大缩小率、失真修正量的其中一个或者组合构成的修正量进行计算，或者对计算并存储的修正量进行读取，所述第一被摄体图像包括所述背景图像的至少一部分和第一被摄体，所述第二被摄体图像包括背景图像的至少一部分和第二被摄体；以及
重叠图像生成步骤，将背景图像、第一被摄体图像、第二被摄体图像的其中之一作为基准图像，用由所述背景修正量计算步骤得到的修正量对另外两个图像进行修正，使得被摄体以外的背景的至少一部分重叠，并生成将基准图像和修正后的另外一个或者两个图像重叠的图像。
17、一种图像合成装置，包括：
背景修正量计算部件，对第一被摄体图像和第二被摄体图像之间的背景部分的相对移动量、旋转量、放大缩小率、失真修正量的其中一个或者组合构成的修正量进行计算，或者对计算并存储的修正量进行读取，所述第一被摄体图像包括背景和第一被摄体，所述第二被摄体图像包括所述背景的至少一部分和第二被摄体；以及
重叠图像生成部件，将第一被摄体图像、第二被摄体图像的其中之一作为基准图像，用由所述背景修正量计算部件得到的修正量对另一个图像进行修正，使得被摄体以外的背景部分至少部分重叠，并生成将基准图像和修正后的图像重叠的图像。
18、如权利要求17所述的图像合成装置，
还包括拍摄被摄体和风景的拍摄部件，根据所述拍摄部件的输出生成第一被摄体图像或者第二被摄体图像。
19、如权利要求18所述的图像合成装置，
将第一被摄体图像和第二被摄体图像中后拍摄的一方作为基准图像。
20、如权利要求17所述的图像合成装置，
所述重叠图像生成部件以分别规定的透过率将基准图像和修正后的图像进行重叠。
21、如权利要求17所述的图像合成装置，
所述重叠图像生成部件将基准图像和修正后的图像之间的差分图像中存在差异的区域作为与原来的像素值不同的像素值的图像来生成。
22、如权利要求17所述的图像合成装置，还包括：
被摄体区域提取部件，从基准图像和修正后的图像之间的差分图像中提取第一被摄体的区域和第二被摄体的区域，
所述重叠图像生成部件将基准图像或者修正后的图像和由所述被摄体区域提取部件得到的区域内的图像重叠，以取代将基准图像和修正后的图像重叠。
23、如权利要求22所述的图像合成装置，其中
所述被摄体区域提取部件从第一被摄体图像中或者从被修正的第一被摄体图像中提取第一被摄体区域内的图像以及第二被摄体区域内的图像，同时从第二被摄体图像中或者从被修正的第二被摄体图像中提取第一被摄体的区域内的图像以及第二被摄体区域内的图像，进而以皮肤色作为基准，对第一被摄体的图像以及第二被摄体的图像进行选择。
24、如权利要求22所述的图像合成装置，其中
所述被摄体区域提取部件从第一被摄体图像中或者从被修正的第一被摄体图像中提取第一被摄体区域内的图像以及第二被摄体区域内的图像，同时从第二被摄体图像中或者从被修正的第二被摄体图像中提取第一被摄体的区域内的图像以及第二被摄体区域内的图像，进而以各区域外的图像的特征作为基准，对第一被摄体的图像以及第二被摄体的图像进行选择。
25、如权利要求22所述的图像合成装置，还包括：
重叠检测部件，在由所述被摄体区域提取部件得到的第一被摄体或者第二被摄体的区域的数量与作为合成的被摄体的数量而被设置的值不一致时，判断第一被摄体的区域和第二被摄体的区域重叠。
26、如权利要求25所述的图像合成装置，还包括：
重叠警告部件，在所述重叠检测部件中检测到重叠时，向用户或者被摄体或者两者警告存在重叠的情况。
27、如权利要求25所述的图像合成装置，还包括：最佳镜头通知部件，在所述重叠检测部件中没有检测到重叠时，向用户或者被摄体或者向两者通知不存在重叠的情况。
28、如权利要求25所述的图像合成装置，还包括：
拍摄被摄体或者风景的拍摄部件；以及
自动快门部件，在所述重叠检测部件中没有检测到重叠时，生成将所述拍摄部件得到的图像作为第一被摄体图像、或者第二被摄体图像来进行记录的指示。
29、如权利要求25所述的图像合成装置，还包括：
拍摄被摄体或者风景的拍摄部件；以及
自动快门部件，在通过所述重叠检测部件检测重叠时，生成禁止将所述拍摄部件得到的图像作为第一被摄体图像、或者第二被摄体图像来进行记录的指示。
30、一种图像合成方法，包括：
背景修正量计算步骤，对第一被摄体图像和第二被摄体图像之间的背景部分的相对移动量、旋转量、放大缩小率、失真修正量的其中一个或者组合构成的修正量进行计算，或者对预先计算的修正量进行读取，所述第一被摄体图像包括背景和第一被摄体，所述第二被摄体图像包括所述背景的至少一部分和第二被摄体；以及
重叠图像生成步骤，将第一被摄体图像、第二被摄体图像的其中之一作为基准图像，用由所述背景修正量计算步骤得到的修正量对另一个图像进行修正，使得被摄体以外的背景部分至少部分重叠，并生成将基准图像和修正后的图像重叠的图像。
31、一种图像合成程序，使计算机具有作为权利要求1至权利要求14、权利要求17至权利要求29的任意一项所述的图像合成装置所具有的各部件的功能。
32、一种图像合成程序，使计算机具有作为权利要求15所述的图像合成装置所具有的各部件的功能。
33、一种图像合成程序，用于使计算机执行权利要求16或者权利要求30所述的图像合成方法所具有的各步骤。
34、一种记录了权利要求31所述的图像合成程序的记录介质。
35、一种记录了权利要求32所述的图像合成程序的记录介质。
36、一种记录了权利要求33所述的图像合成程序的记录介质。
CNB038216264A 2002-08-09 2003-07-03 图像合成装置和图象合成方法 Expired - Fee Related CN100477745C (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP233012/2002 2002-08-09
JP233130/2002 2002-08-09
JP2002233130A JP3983624B2 (ja) 2002-08-09 2002-08-09 画像合成装置、画像合成方法、画像合成プログラム、および画像合成プログラムを記録した記録媒体
JP2002233012A JP3983623B2 (ja) 2002-08-09 2002-08-09 画像合成装置、画像合成方法、画像合成プログラム、および画像合成プログラムを記録した記録媒体

Publications (2)

Publication Number Publication Date
CN1682528A true CN1682528A (zh) 2005-10-12
CN100477745C CN100477745C (zh) 2009-04-08

Family

ID=31719866

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB038216264A Expired - Fee Related CN100477745C (zh) 2002-08-09 2003-07-03 图像合成装置和图象合成方法

Country Status (4)

Country Link
US (1) US7623733B2 (zh)
CN (1) CN100477745C (zh)
AU (1) AU2003246268A1 (zh)
WO (1) WO2004015987A1 (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102129812A (zh) * 2010-01-12 2011-07-20 微软公司 在街道级图像的上下文中观看媒体
CN101656833B (zh) * 2008-08-05 2011-09-28 卡西欧计算机株式会社 图像处理装置
CN101170647B (zh) * 2006-10-25 2012-09-19 富士胶片株式会社 检测特定对象区域的方法和数码相机
CN103081454A (zh) * 2010-08-30 2013-05-01 乐天株式会社 商品摄影装置、商品摄影方法、图像变换装置、图像处理装置、图像处理系统、程序及信息记录介质
CN103080928A (zh) * 2010-05-28 2013-05-01 诺基亚公司 用于提供局部虚拟现实环境的方法和装置
CN103139485A (zh) * 2009-03-19 2013-06-05 卡西欧计算机株式会社 图像合成装置及图像合成方法
CN103247037A (zh) * 2012-02-10 2013-08-14 联想(北京)有限公司 图像处理方法、装置和电子设备
CN101370049B (zh) * 2008-09-25 2013-10-16 青岛海信移动通信技术股份有限公司 一种移动终端窗体背景调节方法及移动终端
CN103703755A (zh) * 2011-07-22 2014-04-02 富士胶片株式会社 全景图像产生方法和图像捕获设备
CN104038700A (zh) * 2014-06-26 2014-09-10 Tcl集团股份有限公司 一种拍照方法及装置
CN104349115A (zh) * 2013-08-06 2015-02-11 北大方正集团有限公司 网络视频会议系统及在其中设置虚拟环境的方法和装置
CN104349116A (zh) * 2013-08-06 2015-02-11 北大方正集团有限公司 用于网络视频会议系统的屏幕功能区域划分方法和装置
CN105592792A (zh) * 2013-10-23 2016-05-18 日立麦克赛尔株式会社 表面状态测定分析信息管理系统及表面状态测定分析信息管理方法
WO2016173278A1 (zh) * 2015-04-28 2016-11-03 中兴通讯股份有限公司 图像管理方法及装置
CN103685925B (zh) * 2012-09-13 2017-07-14 卡西欧计算机株式会社 摄像装置以及摄像处理方法
CN107071275A (zh) * 2017-03-22 2017-08-18 努比亚技术有限公司 一种图像合成方法及终端
CN108632543A (zh) * 2018-03-26 2018-10-09 广东欧珀移动通信有限公司 图像显示方法、装置、存储介质及电子设备
TWI655620B (zh) * 2016-12-06 2019-04-01 矽創電子股份有限公司 顯示系統及其視訊資料顯示方法
CN110892472A (zh) * 2017-08-01 2020-03-17 来百客股份有限公司 可变图像显示体、柱状透镜图像形成方法
CN112535408A (zh) * 2019-09-23 2021-03-23 佛山市顺德区美的电热电器制造有限公司 辅助烹饪方法、装置和计算机存储介质

Families Citing this family (102)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3898075B2 (ja) * 2002-03-18 2007-03-28 株式会社リコー 画像処理装置、画像処理方法及び記録媒体
US7565030B2 (en) * 2003-06-26 2009-07-21 Fotonation Vision Limited Detecting orientation of digital images using face detection information
US7440593B1 (en) 2003-06-26 2008-10-21 Fotonation Vision Limited Method of improving orientation and color balance of digital images using face detection information
US7792970B2 (en) 2005-06-17 2010-09-07 Fotonation Vision Limited Method for establishing a paired connection between media devices
US7574016B2 (en) * 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
US7269292B2 (en) 2003-06-26 2007-09-11 Fotonation Vision Limited Digital image adjustable compression and resolution using face detection information
US7844076B2 (en) 2003-06-26 2010-11-30 Fotonation Vision Limited Digital image processing using face detection and skin tone information
US8494286B2 (en) 2008-02-05 2013-07-23 DigitalOptics Corporation Europe Limited Face detection in mid-shot digital images
US8948468B2 (en) 2003-06-26 2015-02-03 Fotonation Limited Modification of viewing parameters for digital images using face detection information
US7471846B2 (en) 2003-06-26 2008-12-30 Fotonation Vision Limited Perfecting the effect of flash within an image acquisition devices using face detection
US8498452B2 (en) 2003-06-26 2013-07-30 DigitalOptics Corporation Europe Limited Digital image processing using face detection information
EP1531322A3 (en) * 2003-11-13 2007-09-05 Matsushita Electric Industrial Co., Ltd. Map display apparatus
JP2005151282A (ja) * 2003-11-18 2005-06-09 Fuji Xerox Co Ltd 画像処理装置、画像処理方法、およびプログラム
JP4574235B2 (ja) * 2004-06-04 2010-11-04 キヤノン株式会社 画像処理装置、及びその制御方法、プログラム
GB0418152D0 (en) * 2004-08-13 2004-09-15 Rpptv Ltd Remote program production
JP4368767B2 (ja) * 2004-09-08 2009-11-18 独立行政法人産業技術総合研究所 異常動作検出装置および異常動作検出方法
JP2006121275A (ja) * 2004-10-20 2006-05-11 Fuji Photo Film Co Ltd 撮影方法および撮影装置
JP2006140695A (ja) * 2004-11-11 2006-06-01 Konica Minolta Photo Imaging Inc 撮像装置
JP3970877B2 (ja) * 2004-12-02 2007-09-05 独立行政法人産業技術総合研究所 追跡装置および追跡方法
US20110214085A1 (en) * 2004-12-23 2011-09-01 Vanbree Ken Method of user display associated with displaying registered images
JP2006244329A (ja) * 2005-03-07 2006-09-14 Hitachi Ltd 携帯端末および情報処理装置、システム
JP2007025862A (ja) * 2005-07-13 2007-02-01 Sony Computer Entertainment Inc 画像処理装置
JP2007079809A (ja) * 2005-09-13 2007-03-29 Fuji Xerox Co Ltd 電子ペーパシステム
JP4345737B2 (ja) * 2005-11-14 2009-10-14 セイコーエプソン株式会社 デジタルコンテンツ作成システム、デジタルコンテンツ作成方法およびプログラム
EP2033142B1 (en) 2006-06-12 2011-01-26 Tessera Technologies Ireland Limited Advances in extending the aam techniques from grayscale to color images
US7647361B2 (en) * 2006-06-27 2010-01-12 Microsoft Corporation Automatically maintaining metadata in a file backup system
SE532236C2 (sv) * 2006-07-19 2009-11-17 Scalado Ab Metod i samband med tagning av digitala bilder
KR101351091B1 (ko) * 2006-12-22 2014-01-14 삼성전자주식회사 화상형성장치 및 그 연사촬영 이미지의 제어방법
US8055067B2 (en) 2007-01-18 2011-11-08 DigitalOptics Corporation Europe Limited Color segmentation
US8718336B2 (en) * 2007-03-30 2014-05-06 Fujifilm Corporation Image correction apparatus, image correction method, skin diagnosis method, and computer program product
KR100866230B1 (ko) 2007-04-12 2008-10-30 삼성전자주식회사 파노라마 사진 촬영 방법
WO2008131823A1 (en) * 2007-04-30 2008-11-06 Fotonation Vision Limited Method and apparatus for automatically controlling the decisive moment for an image acquisition device
US8275215B2 (en) * 2007-05-08 2012-09-25 Arcsoft (Shanghai) Technology Company, Ltd Merging images
US8953684B2 (en) * 2007-05-16 2015-02-10 Microsoft Corporation Multiview coding with geometry-based disparity prediction
JP4772009B2 (ja) * 2007-08-07 2011-09-14 三洋電機株式会社 ディジタルカメラ
KR101204888B1 (ko) * 2007-08-31 2012-11-26 삼성테크윈 주식회사 디지털 촬영장치, 그 제어방법 및 이를 실행시키기 위한프로그램을 저장한 기록매체
JP4930297B2 (ja) * 2007-09-10 2012-05-16 株式会社ニコン 撮像装置
WO2009040872A1 (ja) * 2007-09-25 2009-04-02 Fujitsu Limited 画像合成装置及び方法
JP5020135B2 (ja) * 2008-03-19 2012-09-05 ソニーモバイルコミュニケーションズ， エービー 携帯端末装置およびコンピュータプログラム
JP4492724B2 (ja) * 2008-03-25 2010-06-30 ソニー株式会社 画像処理装置、画像処理方法、プログラム
US7855737B2 (en) 2008-03-26 2010-12-21 Fotonation Ireland Limited Method of making a digital camera image of a scene including the camera user
JP4760973B2 (ja) * 2008-12-16 2011-08-31 カシオ計算機株式会社 撮像装置及び画像処理方法
KR20100075167A (ko) * 2008-12-24 2010-07-02 삼성전자주식회사 얼굴인식 기능을 이용한 디지털 영상 촬영 장치 및 방법
US8907941B2 (en) * 2009-06-23 2014-12-09 Disney Enterprises, Inc. System and method for integrating multiple virtual rendering systems to provide an augmented reality
US8762886B2 (en) * 2009-07-30 2014-06-24 Lenovo (Singapore) Pte. Ltd. Emulating fundamental forces of physics on a virtual, touchable object
US20110029904A1 (en) * 2009-07-30 2011-02-03 Adam Miles Smith Behavior and Appearance of Touch-Optimized User Interface Elements for Controlling Computer Function
US8656314B2 (en) * 2009-07-30 2014-02-18 Lenovo (Singapore) Pte. Ltd. Finger touch gesture for joining and unjoining discrete touch objects
JP5235823B2 (ja) * 2009-08-28 2013-07-10 キヤノン株式会社 情報処理装置、情報処理システム、情報処理方法及び当該情報処理方法をコンピュータに実行させるプログラム
JP5436367B2 (ja) * 2009-09-29 2014-03-05 富士フイルム株式会社 グラフィック配置決定方法ならびにそのプログラムおよび情報処理装置
US9792012B2 (en) 2009-10-01 2017-10-17 Mobile Imaging In Sweden Ab Method relating to digital images
US8379917B2 (en) 2009-10-02 2013-02-19 DigitalOptics Corporation Europe Limited Face recognition performance using additional image features
US8615111B2 (en) * 2009-10-30 2013-12-24 Csr Technology Inc. Method and apparatus for image detection with undesired object removal
KR20110050834A (ko) * 2009-11-09 2011-05-17 삼성전자주식회사 휴대용 단말기에서 영상 정합 방법 및 장치
JP2011109398A (ja) * 2009-11-17 2011-06-02 Sony Corp 画像送信方法、画像受信方法、画像送信装置、画像受信装置及び画像伝送システム
JP5558852B2 (ja) * 2010-01-28 2014-07-23 キヤノン株式会社 情報処理装置およびその制御方法およびプログラム
US8427483B1 (en) 2010-08-30 2013-04-23 Disney Enterprises. Inc. Drawing figures in computer-based drawing applications
US8487932B1 (en) * 2010-08-30 2013-07-16 Disney Enterprises, Inc. Drawing figures in computer-based drawing applications
US9153004B2 (en) 2010-08-30 2015-10-06 Rakuten, Inc. Product image interpolating device, method and non-transitory information recording medium
WO2012033005A1 (ja) * 2010-09-08 2012-03-15 日本電気株式会社 撮影装置および撮影方法
CN103189796B (zh) 2010-09-20 2015-11-25 瑞典移动影像股份公司 用于形成图像的方法
JP5743499B2 (ja) * 2010-11-10 2015-07-01 キヤノン株式会社 画像生成装置、画像生成方法、およびプログラム
JP5182352B2 (ja) * 2010-11-16 2013-04-17 カシオ計算機株式会社 撮像装置、画像合成方法、及びプログラム
TW201228376A (en) * 2010-12-28 2012-07-01 Altek Corp Electronic apparatus, image capturing apparatus and method thereof
US9721872B1 (en) 2011-02-18 2017-08-01 Amkor Technology, Inc. Methods and structures for increasing the allowable die size in TMV packages
US8970704B2 (en) * 2011-06-07 2015-03-03 Verizon Patent And Licensing Inc. Network synchronized camera settings
JP5812739B2 (ja) * 2011-07-23 2015-11-17 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP2013074569A (ja) * 2011-09-29 2013-04-22 Sanyo Electric Co Ltd 画像処理装置
JP2013153429A (ja) * 2011-12-27 2013-08-08 Canon Inc 画像処理装置、画像表示システム、画像処理方法および画像処理プログラム
JP5678911B2 (ja) * 2012-03-12 2015-03-04 カシオ計算機株式会社 画像合成装置、その画像合成方法、及びプログラム
US9418628B2 (en) * 2012-04-15 2016-08-16 Trimble Navigation Limited Displaying image data based on perspective center of primary image
JP2014027442A (ja) * 2012-07-26 2014-02-06 Sony Corp 画像処理装置、画像処理方法、およびプログラム
JP6575845B2 (ja) * 2012-07-31 2019-09-18 日本電気株式会社 画像処理システム、画像処理方法及びプログラム
KR101429344B1 (ko) 2012-08-08 2014-08-12 앰코 테크놀로지 코리아 주식회사 반도체 패키지 및 그 제조 방법
KR20140038116A (ko) 2012-09-20 2014-03-28 제이앤제이 패밀리 주식회사 Ｌｅ ｄ 램프
TWI505203B (zh) * 2012-11-02 2015-10-21 Avisonic Technology Corp 產生車用影像的影像處理方法及影像處理裝置
KR101366461B1 (ko) 2012-11-20 2014-02-26 앰코 테크놀로지 코리아 주식회사 반도체 디바이스 및 그 제조 방법
US9799592B2 (en) 2013-11-19 2017-10-24 Amkor Technology, Inc. Semicondutor device with through-silicon via-less deep wells
CN103079004B (zh) * 2012-12-28 2015-10-07 广东欧珀移动通信有限公司 一种定时拍照的示意方法、装置以及移动终端
KR102026717B1 (ko) * 2013-02-08 2019-10-04 삼성전자 주식회사 사진 촬영 가이드 방법 및 이를 구현하는 휴대 단말
KR101488590B1 (ko) 2013-03-29 2015-01-30 앰코 테크놀로지 코리아 주식회사 반도체 디바이스 및 그 제조 방법
JP6098436B2 (ja) * 2013-08-23 2017-03-22 ブラザー工業株式会社 画像処理装置およびコンピュータプログラム
US9185284B2 (en) * 2013-09-06 2015-11-10 Qualcomm Incorporated Interactive image composition
KR101607981B1 (ko) 2013-11-04 2016-03-31 앰코 테크놀로지 코리아 주식회사 반도체 패키지용 인터포저 및 이의 제조 방법, 제조된 인터포저를 이용한 반도체 패키지
TWI533675B (zh) * 2013-12-16 2016-05-11 國立交通大學 影像接合之最佳動態接縫找尋調整系統與方法
US20150271381A1 (en) * 2014-03-20 2015-09-24 Htc Corporation Methods and systems for determining frames and photo composition within multiple frames
JP6402469B2 (ja) 2014-04-04 2018-10-10 富士電機株式会社 安全制御装置および安全制御システム
TWI518603B (zh) * 2014-05-22 2016-01-21 宏達國際電子股份有限公司 影像編輯方法與電子裝置
US10536633B2 (en) 2015-02-06 2020-01-14 Panasonic Intellectual Property Management Co., Ltd. Image processing device, imaging system and imaging apparatus including the same, and image processing method
JP6587435B2 (ja) * 2015-06-29 2019-10-09 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム
US10602988B2 (en) * 2016-03-21 2020-03-31 International Business Machines Corporation Obtainment of cleaned sequences relating to a center of gravity
US9960328B2 (en) 2016-09-06 2018-05-01 Amkor Technology, Inc. Semiconductor device and manufacturing method thereof
EP3619600A4 (en) * 2017-05-01 2020-10-21 Symbol Technologies, LLC METHOD AND APPARATUS FOR OBJECT STATE DETECTION
JP6887910B2 (ja) * 2017-08-01 2021-06-16 株式会社東芝 画像処理装置
JP6686988B2 (ja) * 2017-08-28 2020-04-22 株式会社Ｓｏｋｅｎ 映像出力装置及び映像生成プログラム
JP6545415B1 (ja) * 2018-07-02 2019-07-17 三菱電機株式会社 編集装置、編集方法、編集プログラム、および、編集システム
JP7278724B2 (ja) * 2018-07-23 2023-05-22 株式会社東芝 情報処理装置、情報処理方法、および情報処理プログラム
JP7233873B2 (ja) * 2018-09-19 2023-03-07 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
TWI721324B (zh) * 2018-10-10 2021-03-11 鴻海精密工業股份有限公司 電子裝置及立體物體的判斷方法
CN113469200A (zh) 2020-03-30 2021-10-01 阿里巴巴集团控股有限公司 数据处理方法和系统、存储介质、计算设备
CN113496459A (zh) * 2020-04-01 2021-10-12 华为技术有限公司 辅助化妆方法、终端设备、存储介质及程序产品
JP2022185536A (ja) * 2021-06-02 2022-12-14 株式会社スクウェア・エニックス プログラム、コンピュータ装置、及び制御方法。
US11954882B2 (en) 2021-06-17 2024-04-09 Zebra Technologies Corporation Feature-based georegistration for mobile computing devices

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60190078A (ja) * 1984-03-12 1985-09-27 Fuji Photo Film Co Ltd 画像合成装置
US5465163A (en) * 1991-03-18 1995-11-07 Canon Kabushiki Kaisha Image processing method and apparatus for processing oversized original images and for synthesizing multiple images
JP3036898B2 (ja) * 1991-06-28 2000-04-24 日本放送協会 画像合成用キー信号の発生装置および発生方法
JPH05161050A (ja) 1991-12-03 1993-06-25 Fuji Photo Film Co Ltd ディジタル電子スチル・カメラおよびその動作方法ならびにディジタル電子スチル・カメラにおける被写体の表示方法
US6205259B1 (en) * 1992-04-09 2001-03-20 Olympus Optical Co., Ltd. Image processing apparatus
US5649032A (en) * 1994-11-14 1997-07-15 David Sarnoff Research Center, Inc. System for automatically aligning images to form a mosaic image
JPH08287218A (ja) * 1995-04-10 1996-11-01 Sharp Corp 画像合成装置
JPH08336165A (ja) * 1995-06-09 1996-12-17 Canon Inc 複眼撮像装置
US6549681B1 (en) * 1995-09-26 2003-04-15 Canon Kabushiki Kaisha Image synthesization method
US6389179B1 (en) * 1996-05-28 2002-05-14 Canon Kabushiki Kaisha Image combining apparatus using a combining algorithm selected based on an image sensing condition corresponding to each stored image
JP3851384B2 (ja) * 1996-09-18 2006-11-29 シャープ株式会社 画像合成装置および方法
JPH10178564A (ja) * 1996-10-17 1998-06-30 Sharp Corp パノラマ画像作成装置及び記録媒体
US6429895B1 (en) * 1996-12-27 2002-08-06 Canon Kabushiki Kaisha Image sensing apparatus and method capable of merging function for obtaining high-precision image by synthesizing images and image stabilization function
JPH114398A (ja) * 1997-06-11 1999-01-06 Hitachi Ltd デジタルワイドカメラ
US6215914B1 (en) * 1997-06-24 2001-04-10 Sharp Kabushiki Kaisha Picture processing apparatus
US6611629B2 (en) * 1997-11-03 2003-08-26 Intel Corporation Correcting correlation errors in a composite image
JP2000036032A (ja) 1998-07-17 2000-02-02 Fujitsu Ltd 前景画像抽出方法、画像処理装置、自動トリミング装置、記録媒体及び肖像写真装置
JP2000295564A (ja) 1999-04-02 2000-10-20 Fuji Photo Film Co Ltd ディジタル・スチル・カメラおよびその動作制御方法
JP2000316125A (ja) 1999-04-28 2000-11-14 Sharp Corp 画像合成装置
US6798923B1 (en) * 2000-02-04 2004-09-28 Industrial Technology Research Institute Apparatus and method for providing panoramic images
JP4620271B2 (ja) 2000-03-14 2011-01-26 富士フイルム株式会社 画像処理方法
US7221395B2 (en) 2000-03-14 2007-05-22 Fuji Photo Film Co., Ltd. Digital camera and method for compositing images
JP2002171398A (ja) * 2000-12-04 2002-06-14 Konica Corp 画像処理方法及び電子カメラ
JP2002208005A (ja) * 2001-01-12 2002-07-26 Minolta Co Ltd 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体
US6516154B1 (en) * 2001-07-17 2003-02-04 Eastman Kodak Company Image revising camera and method
JP2003044852A (ja) * 2001-07-27 2003-02-14 Sony Corp 画像生成装置、画像生成方法及び画像生成プログラム
US6954544B2 (en) * 2002-05-23 2005-10-11 Xerox Corporation Visual motion analysis method for detecting arbitrary numbers of moving objects in image sequences

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101170647B (zh) * 2006-10-25 2012-09-19 富士胶片株式会社 检测特定对象区域的方法和数码相机
US8411159B2 (en) 2006-10-25 2013-04-02 Fujifilm Corporation Method of detecting specific object region and digital camera
CN101656833B (zh) * 2008-08-05 2011-09-28 卡西欧计算机株式会社 图像处理装置
CN101370049B (zh) * 2008-09-25 2013-10-16 青岛海信移动通信技术股份有限公司 一种移动终端窗体背景调节方法及移动终端
CN103139485A (zh) * 2009-03-19 2013-06-05 卡西欧计算机株式会社 图像合成装置及图像合成方法
CN103139485B (zh) * 2009-03-19 2016-08-10 卡西欧计算机株式会社 图像合成装置及图像合成方法
CN102129812A (zh) * 2010-01-12 2011-07-20 微软公司 在街道级图像的上下文中观看媒体
CN102129812B (zh) * 2010-01-12 2014-07-23 微软公司 在街道级图像的上下文中观看媒体
CN103080928A (zh) * 2010-05-28 2013-05-01 诺基亚公司 用于提供局部虚拟现实环境的方法和装置
CN103080928B (zh) * 2010-05-28 2017-03-08 诺基亚技术有限公司 用于提供局部虚拟现实环境的方法和装置
CN103081454B (zh) * 2010-08-30 2016-01-27 乐天株式会社 商品摄影装置、商品摄影方法、图像变换装置、图像处理装置、图像处理系统
CN103081454A (zh) * 2010-08-30 2013-05-01 乐天株式会社 商品摄影装置、商品摄影方法、图像变换装置、图像处理装置、图像处理系统、程序及信息记录介质
CN103703755A (zh) * 2011-07-22 2014-04-02 富士胶片株式会社 全景图像产生方法和图像捕获设备
US9973691B2 (en) 2011-07-22 2018-05-15 Fujifilm Corporation Panoramic image generation method and image capturing apparatus
CN103247037A (zh) * 2012-02-10 2013-08-14 联想(北京)有限公司 图像处理方法、装置和电子设备
CN103685925B (zh) * 2012-09-13 2017-07-14 卡西欧计算机株式会社 摄像装置以及摄像处理方法
CN104349115A (zh) * 2013-08-06 2015-02-11 北大方正集团有限公司 网络视频会议系统及在其中设置虚拟环境的方法和装置
CN104349116A (zh) * 2013-08-06 2015-02-11 北大方正集团有限公司 用于网络视频会议系统的屏幕功能区域划分方法和装置
CN105592792B (zh) * 2013-10-23 2018-08-17 麦克赛尔控股株式会社 表面状态测定分析信息管理系统及表面状态测定分析信息管理方法
CN105592792A (zh) * 2013-10-23 2016-05-18 日立麦克赛尔株式会社 表面状态测定分析信息管理系统及表面状态测定分析信息管理方法
CN104038700B (zh) * 2014-06-26 2017-11-14 Tcl集团股份有限公司 一种拍照方法及装置
CN104038700A (zh) * 2014-06-26 2014-09-10 Tcl集团股份有限公司 一种拍照方法及装置
WO2016173278A1 (zh) * 2015-04-28 2016-11-03 中兴通讯股份有限公司 图像管理方法及装置
TWI655620B (zh) * 2016-12-06 2019-04-01 矽創電子股份有限公司 顯示系統及其視訊資料顯示方法
CN107071275A (zh) * 2017-03-22 2017-08-18 努比亚技术有限公司 一种图像合成方法及终端
CN107071275B (zh) * 2017-03-22 2020-07-14 珠海大横琴科技发展有限公司 一种图像合成方法及终端
CN110892472A (zh) * 2017-08-01 2020-03-17 来百客股份有限公司 可变图像显示体、柱状透镜图像形成方法
CN108632543A (zh) * 2018-03-26 2018-10-09 广东欧珀移动通信有限公司 图像显示方法、装置、存储介质及电子设备
CN108632543B (zh) * 2018-03-26 2020-07-07 Oppo广东移动通信有限公司 图像显示方法、装置、存储介质及电子设备
CN112535408A (zh) * 2019-09-23 2021-03-23 佛山市顺德区美的电热电器制造有限公司 辅助烹饪方法、装置和计算机存储介质
CN112535408B (zh) * 2019-09-23 2022-04-01 佛山市顺德区美的电热电器制造有限公司 辅助烹饪方法、装置和计算机存储介质

Also Published As

Publication number Publication date
CN100477745C (zh) 2009-04-08
US20060078224A1 (en) 2006-04-13
WO2004015987A1 (ja) 2004-02-19
US7623733B2 (en) 2009-11-24
AU2003246268A1 (en) 2004-02-25

Similar Documents

Publication Publication Date Title
CN1682528A (zh) 图像合成装置、方法、程序和记录该程序的记录介质
CN100346352C (zh) 图像显示装置和短片生成装置
CN1310493C (zh) 图象阅读器
CN1910577A (zh) 图像文件一览显示装置
CN1136516C (zh) 图案抽取装置和方法
CN100345158C (zh) 用于产生涉及几何失真的格式化信息的方法和系统
CN1867940A (zh) 成像装置及其图像处理方法
CN1134975C (zh) 图像处理装置
CN1645241A (zh) 摄影装置、图像处理装置、摄影装置的图像处理方法
CN1305006C (zh) 向图象处理装置提供格式化信息的方法和系统
CN1271505C (zh) 用于进行图像检索的图像处理装置及方法
CN1167265C (zh) 图像通信系统及其方法
CN1649384A (zh) 图像处理设备、图像处理程序、及存储介质
CN101064777A (zh) 命令系统及设备、成像设备及方法、命令处理方法及程序
CN1383532A (zh) 图像指定文件的制作和使用了该文件的图像的播放
CN1908936A (zh) 图像处理装置、方法和程序
CN1324526C (zh) 视频信号的自适应缩放
CN1787012A (zh) 用于处理图像的方法、装置和计算机程序
CN1809843A (zh) Model 3D构建的应用程序接口
CN101064038A (zh) 图像处理装置和方法、记录介质及程序
CN1705976A (zh) 向量图形的标记语言和对象模型
CN1512759A (zh) 对书籍图像数据进行页间位置对准的图像处理装置及方法
CN1684491A (zh) 图像处理装置、图像投影装置、图像处理方法和程序
CN1488225A (zh) 图像处理方法、图像处理程序、图像处理装置
CN1664859A (zh) 图像文件的生成

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090408

Termination date: 20150703

EXPY Termination of patent right or utility model