DE602006000400T2

DE602006000400T2 - Bildsegmentierungsverfahren und -system

Info

Publication number: DE602006000400T2
Application number: DE602006000400T
Authority: DE
Inventors: Eran San Francisco STEINBERG; Petronel Bigioi; Peter Corcoran; Yury San Mateo PRILUTSKY
Original assignee: Fotonation Vision Ltd
Current assignee: Fotonation Ltd
Priority date: 2005-08-30
Filing date: 2006-05-29
Publication date: 2009-01-02
Anticipated expiration: 2026-05-30
Also published as: US20100008577A1; JP2009506688A; US7606417B2; ATE437420T1; US7912285B2; EP1918872A2; EP1800259A1; WO2007025578A1; DE602006000400D1; EP1800259B1; EP1918872B1; ATE382917T1; US20110157408A1; IES20050822A2; EP1918872A3; DE602006008009D1; US20060039690A1; US7796816B2; US20100328486A1; US8175385B2

Description

Die Erfindung betrifft ein Bildsegmentierungsverfahren und -system und insbesondere ein Werkzeug zur Bestimmung von Bereichen, die auf der Grundlage einer Belichtungsanalyse von erfassten und Bezugsbildern den Vordergrund und den Hintergrund anzeigen.
Bildsegmentierung umfasst digitale Bildverarbeitung, wobei ein Bild basierend auf einigen vorherbestimmten Kriterien in Bereiche unterteilt wird. Diese Kriterien können kontextuell, numerisch, auf die Form, Größe und/oder Farbe, auf den Gradienten und anderes bezogen sein. Es ist wünschenswert, über ein Verfahren zur Bestimmung des Vordergrundes und des Hintergrundes von digitalen Bildern für zahlreiche Bildverarbeitungsvorgänge zu verfügen. Derartige Vorgänge können Bildverbesserung, Farbkorrektur und/oder Objekt basierte Bildanalyse umfassen. In dem spezifischen Fall der Verarbeitung im Inneren einer Erfassungsvorrichtung ist es wünschenswert, eine derartige Segmentierung rasch auszuführen, während geeignete Berechnungen von relativ geringer Komplexität verwendet werden, zum Beispiel, um Berechnungen in einer Kamera oder in Mobiltelefonen auszuführen, die mit Bilderfassungsfähigkeiten ausgestattet sind.
Wenn es verfügbar ist, ist Umgebungslicht, wie beispielsweise Sonnenlicht, insbesondere bei Schnellschusskameras (im Gegensatz zu Studioanordnungen mit mehreren Stroboskopeinheiten), im Allgemeinen räumlich gleichmäßiger beschaffen als Stroboskoplicht, das von der Kamera oder dicht daneben ausgeht. Aufgrund der Tatsache, dass die Stroboskopenergie umgekehrt zum Quadrat der Entfernung ist, ist das Licht auf dem Objekt umso stärker, je näher sich das Objekt befindet. Die Gesamtlichtverteilung variiert zwischen den beiden Bildern, da eine Aufnahme oder ein Teilsatz von Aufnahmen nur mit verfügbarem Umgebungslicht belichtet wird, während ein anderer mit direktem Blitzlicht belichtet wird.
US 6,005,959 offenbart ein digitales Bilderfassungssystem gemäß dem Oberbegriff von Anspruch 1.
Die vorliegende Erfindung schafft ein digitales Bilderfassungssystem, das gemäß Anspruch 1 gekennzeichnet ist.
Bei einem weiteren Gesichtspunkt schafft die Erfindung ein digitales Bildsegmentierungsverfahren, das gemäß Anspruch 25 gekennzeichnet ist.
Die vorliegende Erfindung ist besonders vorteilhaft in einer digitalen Bilderfassungsvorrichtung, bei der gewünscht wird, Bildverarbeitung als Teil der Hauptbilderfassungskette anzuwenden, wobei ein Strom von Voransichtsbildern mit relativ niedriger Auflösung zur Verwendung mit einem erfassten Hauptbild zur Verfügung steht.
Ein gemäß Hintergrund/Vordergrund segmentiertes Bild, das von der vorliegenden Erfindung geschaffen wird, kann in zahlreichen digitalen Bildverarbeitungsalgorithmen verwendet werden, wie beispielsweise Algorithmen, die die Trennung des Subjekts, das sich gewöhnlich im Vordergrund befindet, vom Hintergrund verbessern. Dieses Verfahren kann dazu verwendet werden, die Feldtiefe zu verbessern, den Hintergrund zu verbessern oder ganz zu entfernen oder Objekte, wie beispielsweise Gesichter oder Menschen, aus einem Bild auszublenden.
Durch Verkleinern des Bereichs, der einer Bildverarbeitungsanalyse unterzogen wird, wird die Verarbeitungszeit für viele Echtzeitalgorithmen wesentlich verkürzt.
Demnach wird die Zeit zwischen zwei Auslösungen einer digitalen Kamera optimiert. Bei bestimmten Ausführungsformen kann es vorteilhafterweise die Verwendung mehrerer Bildverarbeitungsverfahren ermöglichen, wo zuvor nur ein einziges Verfahren angewendet wurde. Es kann ebenfalls dazu dienen, das Auftreten von falschen Positiven für bestimmte Bildverarbeitungsalgorithmen zu verringern, wenn es wahrscheinlicher ist, dass diese entweder im Hintergrund- oder im Vordergrundbereich eines Bildes auftreten.
Die Erfindung kann auf eingebettete Vorrichtungen mit begrenzter Rechenfähigkeit angewendet werden. Sie kann ebenfalls dazu verwendet werden, die Produktivität zu verbessern, insbesondere wenn große Mengen von Bildern verarbeitet werden sollen, wie beispielsweise für sicherheitsbasierte Gesichtserfassung, Drucksysteme mit großem Volumen oder Desktopanalyse einer Sammlung von Bildern. Die Erfindung kann auf Stillbilderfassungsvorrichtungen sowie auf Video- oder Endloserfassungsvorrichtungen mit Stroboskopfähigkeit angewendet werden.
Bevorzugte Ausführungsformen werden nun beispielhaft unter Bezugnahme auf die beigefügten Zeichnungen beschrieben, wobei:
1 ein Blockdiagramm einer Kameravorrichtung ist, die gemäß einer bevorzugten Ausführungsform arbeitet.
2(a), 2(b) und 2(c) einen ausführlichen Arbeitsablauf gemäß bevorzugten Ausführungsformen veranschaulichen.
3 ein Diagramm ist, das die Verteilung der Pixelintensität für eine Version eines Bildes mit Blitzlicht und eine Version eines Bildes ohne Blitzlicht veranschaulicht.
4 das Ausrichtverfahren veranschaulicht, das in dem Arbeitsablauf aus 2(a) verwendet wird.
AUSFÜHRLICHE BESCHREIBUNG BEVORZUGTER AUSFÜHRUNGSFORMEN
1 zeigt ein Blockdiagramm einer Bilderfassungsvorrichtung 20, die gemäß einer bevorzugten Ausführungsform arbeitet. Die digitale Erfassungsvorrichtung 20, die in der vorliegenden Ausführungsform eine tragbare digitale Kamera ist, umfasst einen Prozessor 120. Es ist ersichtlich, dass viele der in der digitalen Kamera implementierten Verfahren in Software implementiert oder von Software gesteuert sein können, die in einem Mikroprozessor, einer Zentralverarbeitungseinheit, einem Kontroller, einem digitalen Signalprozessor und/oder einem anwendungsspezifischen integrierten Schaltkreis arbeitet, die kollektiv als Block 120 dargestellt sind, der als „Prozessor" bezeichnet ist. Im Allgemeinen werden die Benutzerschnittstelle und die Steuerung von Peripheriekomponenten, wie beispielsweise Tasten und eine Anzeige, von einem Mikrokontroller 122 gesteuert.
Der Prozessor 120 leitet als Reaktion auf eine Benutzereingabe bei 122, wie beispielsweise das halbe Herunterdrücken eines Auslösers (Vorerfassungsmodus 32) das digitale Fotografierverfahren ein und steuert es. Die Umgebungslichtbelichtung wird unter Verwendung des Lichtsensors 40 bestimmt, um automatisch zu bestimmen, ob ein Blitzlicht verwendet werden soll. Der Abstand zum Subjekt wird unter Verwendung eines Fokussiermittels 50 bestimmt, das ebenfalls das Bild auf die Bilderfassungskomponente 60 fokussiert. Wenn ein Blitzlicht verwendet werden soll, veranlasst der Prozessor 120, dass das Blitzlicht 70 bei vollständigem Herunterdrücken des Auslösers ein fotografisches Blitzlicht in wesentlicher Übereinstimmung mit der Aufzeichnung des Bildes durch die Bilderfassungskomponente 60 erzeugt.
Die Bilderfassungskomponente 60 zeichnet das Bild digital in Farbe auf. Die Bilderfassungskomponente 60 ist Fachleuten bekannt und kann eine CCD (ladungsgekoppelte Vorrichtung) oder CMOS umfassen, um die digitale Aufzeichnung zu ermöglichen. Das Blitzlicht kann als Reaktion auf den Lichtsensor 40 oder eine manuelle Eingabe 72 durch den Benutzer der Kamera selektiv erzeugt werden. Das Bild I(x, y), das von der Bilderfassungskomponente 60 aufgezeichnet wird, wird in der Bildspeicherkomponente 80 gespeichert, die einen Computerspeicher, wie beispielsweise einen dynamischen Direktzugriffsspeicher oder einen nichtflüchtigen Speicher, umfassen kann. Die Kamera ist mit einer Anzeige 100, wie beispielsweise einer LCD-Anzeige, zur Voransicht und Nachansicht von Bildern ausgestattet.
Im Fall von Voransichtsbildern P(x, y), die im Vorerfassungsmodus 32 bei halb gedrücktem Auslöser erzeugt werden, kann die Anzeige 100 den Benutzer bei der Gestaltung des Bildes unterstützen sowie dazu verwendet werden, die Fokussierung und Belichtung zu bestimmen. Ein temporärer Speicherplatz 82 wird zur Speicherung eines oder einer Vielzahl der Voransichtsbilder verwendet und kann Teil des Bildspeichermittels 80 oder einer getrennten Komponente sein. Das Voransichtsbild wird im Allgemeinen von der Bilderfassungskomponente 60 erzeugt. Parameter des Voransichtsbildes können zur späteren Verwendung aufgezeichnet werden, wenn die Umgebungsbedingungen an das endgültige Bild angeglichen werden. Alternativ können die Parameter so bestimmt werden, dass sie denen des nachfolgend erfassten Bildes mit voller Auflösung entsprechen. Aus Gründen der Geschwindigkeit und der Speichereffizienz können Voransichtsbilder erzeugt werden, indem ein rohes erfasstes Bild unter Verwendung der Software 124 teilabgetastet wird, die Teil eines allgemeinen Prozessors 120 oder von dedizierter Hardware oder einer Kombination davon sein kann, bevor das Voransichtsbild angezeigt oder gespeichert wird. Die Teilabtastung kann für die Horizontale, die Vertikale oder eine Kombination von Beidem erfolgen. Abhängig von den Einstellungen dieses Hardware-Untersystems kann die Vorerfassungsbildverarbeitung einige vorherbestimmte Testkriterien vor dem Speichern eines Voransichtsbildes erfüllen. Derartige Testkriterien können chronologisch sein – wie beispielsweise das fortlaufende Ersetzen des zuvor gespeicherten Voransichtsbildes durch ein neues erfasstes Voransichtsbild alle 0,5 Sekunden während des Vorerfassungsmodus 32, bis das endgültige Bild mit voller Auflösung I(x, y) durch vollständiges Herunterdrücken des Auslösers erfasst wird. Anspruchsvollere Kriterien können die Analyse des Voransichtsbildinhalts umfassen, zum Beispiel das Testen des Bildes hinsichtlich Veränderungen oder die Erfassung von Gesichtern in dem Bild, bevor entschieden wird, ob das neue Voransichtsbild ein zuvor gespeichertes Bild ersetzen soll. Andere Kriterien können auf Bildanalyse wie beispielsweise Schärfe, Erfassung der Augen oder Metadatenanalyse wie beispielsweise die Belichtungsverhältnisse, ob ein Blitzlicht ausgelöst werden wird und/oder Abstand zu den Subjekten beruhen.
Wenn die Testkriterien nicht erfüllt werden, fährt die Kamera damit fort, das nächste Voransichtsbild zu erfassen, ohne das Aktuelle zu speichern. Das Verfahren wird fortgesetzt, bis das endgültige Bild mit voller Auflösung I(x, y) erfasst und durch vollständiges Drücken des Auslösers gespeichert wird.
Wenn mehrere Voransichtsbilder gespeichert werden können, wird ein neues Voransichtsbild auf einem chronologischen First-In-First-Out-Stapel (FIFO-Stapel) angeordnet, bis der Benutzer das endgültige Bild aufnimmt. Der Grund für das Speichern mehrerer Voransichtsbilder besteht darin, dass das letzte Bild oder ein beliebiges einzelnes Bild möglicherweise nicht das beste Bezugsbild für den Vergleich mit dem endgültigen Bild mit vollständiger Auflösung ist. Durch Speichern mehrerer Bilder kann ein besseres Bezugsbild erreicht werden und in einer Ausrichtungsphase, die unter Bezugnahme auf die 2(a)–2(c) und 4 weiter erläutert wird, kann eine genauere Ausrichtung zwischen der Voransicht und dem endgültigen erfassten Bild erreicht werden. Andere Gründe für das Erfassen mehrerer Bilder bestehen darin, dass ein einzelnes Bild aufgrund von Bewegung, Nichteinstellung des Fokus und/oder Nichteinstellung der Belichtung verschwommen sein kann.
Bei einer alternativen Ausführungsform können die mehreren Bilder eine Kombination von Voransichtsbildern, bei denen es sich um Bilder handelt, die vor dem Hauptbild mit voller Auflösung erfasst wurden, und Nachansichtsbildern sein, die ein Bild oder Bilder sind, die nach dem Hauptbild erfasst wurden. Bei einer Ausführungsform können mehrere Voransichtsbilder die Erzeugung eines einzigen Bezugsbildes mit besserer Qualität unterstützen; entweder durch eine höhere Auflösung oder indem verschiedene Abschnitte aus unterschiedlichen Bereichen aus den mehreren Bildern entnommen werden.
Ein Segmentierungsfilter 90 analysiert das gespeicherte Bild I(x, y) hinsichtlich der Vordergrund- und Hintergrundeigenschaften, bevor das Bild zusammen mit seinen Vordergrund-Hintergrund-Segmentierungsinformationen 99 zur weiteren Verarbeitung oder zur Anzeige weitergeleitet wird. Der Filter 90 kann einstückig mit der Kamera 20 oder Teil einer externen Verarbeitungsvorrichtung 10, wie beispielsweise eines Desktop-Computers, einer mobilen Vorrichtung, eines Mobiltelefons oder eines Servers, sein. Bei dieser Ausführungsform empfängt der Segmentierungsfilter 90 das erfasste Bild I(x, y) aus dem Speicher 80 für Bilder mit voller Auflösung sowie eins oder einer Vielzahl der Voransichtsbilder P(x, y) aus dem temporären Speicher 82.
Das erfasste, segmentierte und/oder weiter verarbeitete Bild I(x, y) kann entweder auf der Bildanzeige 100 angezeigt werden, in einem Dauerspeicher 112, der ein interner oder entfernbarer Speicher, wie beispielsweise eine CF-Karte, eine SD-Karte, ein USB-Dongle oder dergleichen, sein kann, gespeichert werden oder über die Bildausgabekomponente 110, die verdrahtet oder drahtlos sein kann, in eine andere Vorrichtung, wie beispielsweise einen PC, einen Server oder einen Drucker, geladen werden. Die Segmentierungsdaten können ebenfalls entweder im Bildanfangsblock oder als getrennte Datei gespeichert werden 99 oder zu einer anderen Funktion weitergeleitet werden, die diese Informationen für die Bildbearbeitung verwendet.
Bei Ausführungsformen, bei denen der Segmentierungsfilter 90 in einer externen Anwendung in einer getrennten Vorrichtung 10, wie beispielsweise einem Desktopcomputer, implementiert ist, kann das endgültige erfasste Bild I(x, y), das zusammen mit einer Darstellung des Voransichtsbildes, das vorübergehend in 82 gespeichert ist, im Block 80 gespeichert ist, vor der Modifizierung auf der Speichervorrichtung 112 gespeichert werden oder zusammen über die Bildausgabekomponente 110 auf die externe Vorrichtung 10 übertragen werden, um später vom Segmentierungsfilter 90 verarbeitet zu werden. Das Voransichtsbild oder mehrere Bilder, die ebenfalls als Sprites bezeichnet werden, können vor der Speicherung vorbearbeitet werden, um die Kompressionsdichte zu verbessern, redundante Daten zwischen Bildern zu entfernen, Daten auszurichten oder hinsichtlich der Farbe zu komprimieren.
2(a)–2(b) veranschaulichen einen Arbeitsablauf des Segmentierungsfilters 90 dieser Ausführungsform. Unter Bezugnahme auf 2(a) gibt es zwei Eingabebilder in den Filter, nämlich ein Blitzlichtbild mit voller Auflösung I(x, y), 510, welches dasjenige ist, das durch vollständiges Drücken des Auslösers erfasst wurde, und ein Voransichtsbild P(x, y), 520, welches als Bezugsbild verwendet wird und nominell dieselbe Szene wie das Bild I(x, y) ist, jedoch ohne Blitzlicht aufgenommen. Das Voransichtsbild kann das Ergebnis einer Bildverarbeitung, 522, sein, wobei mehrere Voransichtsbilder berücksichtigt werden und ein einziges Bild erzeugt wird. Verfahren zur Verbesserung der Bildqualität, die auf mehreren Bildern beruhen, sind Fachleuten auf dem Gebiet der Bildverarbeitung bekannt. Die resultierende Ausgabe aus dem Analyseverfahren von 522 ist ein einzelnes Voransichtsbild.
Wie oben erläutert, können das Bezugsbild und das endgültige Bild unterschiedliche Auflösungen aufweisen. Das Voransichtsbild 520 besitzt normalerweise, jedoch nicht notwendigerweise, eine niedrigere Auflösung als das Bild mit vollständiger Auflösung 510, das typischerweise durch Abmeldung eines Untersatzes der Bildsensorzellen der Bilderfassungskomponente 60 oder durch Durchschnittsbildung der rohen Sensordaten erzeugt wird.
Die Auflösungsdiskrepanz kann zu Unterschieden hinsichtlich des Inhalts oder der Pixelwerte führen, selbst wenn keine Daten in dem Subjektbild geändert wurden. Insbesondere können Kantenbereiche, wenn sie abwärts abgetastet und daraufhin aufwärts abgetastet werden, eine verschwommene oder durchschnittsbildende Wirkung auf die Pixel ausüben. Demnach kann der direkte Vergleich von Bildern mit unterschiedlicher Auflösung, selbst wenn sie ausgerichtet sind, zu falscher Konturgebung führen.
Daher müssen die beiden Bilder bezüglich der Pixelauflösung aneinander angepasst werden, 530. Im vorliegenden Kontext soll sich „Pixelauflösung" auf die Größe des Bildes hinsichtlich der Anzahl von Pixeln beziehen, aus denen das betreffende Bild besteht. Ein derartiges Verfahren kann entweder durch Aufwärtsabtastung des Voransichtsbildes, 534, durch Abwärtsabtastung des erfassten Bildes, 532, oder durch eine Kombination davon ausgeführt werden. Fachleuten sind mehrere Verfahren bekannt, die für derartige Abtastverfahren verwendet werden können. Das Ergebnis von Schritt 530 ist ein Paar Bilder I'(x, y) und P'(x, y), die den ursprünglichen Bildern I(x, y) und P(x, y) oder relevanten Bereichen davon bei gleicher Pixelauflösung entsprechen.
Wenn die Vordergrund-Hintergrund-Segmentierung nur zum Zweck der Verbesserung der Erfassung von Rote-Augen-Phänomenen, Gesichtern oder anderen Bildeigenschaften erfolgt, kann die Pixelanpassung, wie oben beschrieben, auf diejenigen Bereiche in den Bildern beschränkt werden, die Augen, Gesichter oder andere Eigenschaften enthalten oder vermutlich enthalten, wie es der Fall sein kann, was durch Bildverarbeitungsverfahren bestimmt werden kann. In einem solchen Fall können die nachfolgenden Verarbeitungsschritte, die nun beschrieben werden sollen, einzeln an jedem dieser Bereiche anstatt an den Bildern als Ganzes ausgeführt werden und Bezugnahmen auf das „Bild" oder „Bilder" sind dementsprechend auszulegen.
Das System und Verfahren der bevorzugten Ausführungsform umfasst die Segmentierung des Bildes I(x, y) unter Verwendung von Belichtungsdikrepanzen zwischen I'(x, y) und P'(x, y). Es kann ebenfalls vorteilhaft sein, eine Bewegungskompensierung 591 auf eins oder beide Bilder I'(x, y) und P'(x, y) anzuwenden. Dies kann erreicht werden, indem zwei (oder mehrere) Voransichtsbilder 526, 527 verwendet werden, um eine Bewegungsabbildung 580 zu erzeugen, wie in der U.S.-Anmeldung Nr. 10/985,657 und ihrer entsprechenden PCT-Anmeldung beschrieben, sowie indem andere Verfahren zur Bewegungskompensierung verwendet werden, die Fachleuten verständlich sind. Bei Ausführungsformen, die eine Bewegungskompensierung umfassen, werden die Erfassungsparameter für das Hauptbild I(x, y) typischerweise zur Bestimmung verwendet, ob eine Bewegungskompensierung angewendet werden soll. Zusätzlich kann eine Benutzereinstellung bereitgestellt werden, um eine Bewegungskompensierung zu aktivieren oder deaktivieren. Alternativ kann eine Bewegungskompensierung auf einer Pixel-für-Pixel-Basis als Teil der unten beschriebenen Ausrichtung angewendet werden.
Eine Bewegungskompensierung kann vor der Erzeugung einer Vordergrund-Hintergrundabbildung verwendet werden, z. B. wenn gewünscht wird, eine globale Bewegung des Bildes zu beseitigen. Jedoch kann es bei bestimmten Ausführungsformen vorteilhaft sein, während der Erzeugung einer Vordergrund-Hintergrundabbildung einen Sekundärbewegungskompensierungsvorgang durchzuführen. Diese Sekundärbewegungskompensierung soll nicht eine globale Bewegung des Bildes beseitigen, sondern kleine örtliche Bewegungen ausgleichen, die in dem Bild auftreten können. Ein gutes Beispiel ist das der Blätter eines Baums oder Busches, die im Wind flattern, während ein Bild aufgenommen wird. Derartige örtliche Bewegungen können Veränderungen der Leuchtdichte verursachen, die ausgeglichen werden sollten, nachdem die anfängliche Vordergrund-Hintergrundabbildung erzeugt 569 und segmentiert 597 worden ist. Danach kann eine örtliche Bewegungskompensierung verwendet werden, um Bereiche zu beseitigen, die eine örtliche Bewegung zeigten, oder um solche Bereiche einer ausführlicheren Analyse zu unterziehen. Dies ist in 2(c) veranschaulicht. Im Fall dieser Ausführungsform sind morphologische Schließung 592 und die Beseitigung von kleinen Bereichen 593 enthalten. Verfahren zu deren Implementierung sind Fachleuten auf dem Gebiet der Bildsegmentierung bekannt.
Obwohl das Voransichtsbild und das endgültig erfasste Bild mit voller Auflösung nominell aus derselben Szene bestehen, können sie sich aufgrund der zeitlichen Verschiebung zwischen dem Erfassen der beiden Bilder räumlich unterscheiden. Die Ausrichtung kann aufgrund von Kamerabewegung global oder aufgrund von Objektbewegung lokal oder eine Kombination aus beidem sein. Daher werden die beiden Bilder vorteilhafterweise gemäß einer bevorzugten Ausführungsform ausgerichtet 540. Im Wesentlichen umfasst die Ausrichtung das Umwandeln von mindestens Abschnitten eines der Bilder und in dieser Ausführungsform des Voransichtsbildes P'(x, y), um auf der Grundlage von messbaren Eigenschaften, wie beispielsweise Farb-, Struktur-, Kantenanalyse, eine Höchstkorrelation zwischen den Bildern zu erhalten. Das U.S.-Patent Nr. 6,295,367 offenbart Verfahren zum Erreichen einer Ausrichtung. Das Verfahren kann Bilder ausrichten, die aufgrund von Objekt- und Kamerabewegung anfänglich fehlausgerichtet sind. Es können Daten mit mehrfacher Auflösung zur Musteranpassung verwendet werden. Die Ausrichtung wird ebenfalls unter Bezugnahme auf 4 weiter erörtert.
Die Bilder werden daraufhin in Bezug auf die Belichtung und möglicherweise den Farbraum 550 angeglichen. Durch Angleichung wird versucht, das Voransichtsbild und das Blitzlichtbild mit voller Auflösung auf denselben Belichtungsgesamtpegel zu bringen. Die Angleichung kann auf unterschiedliche Arten erreicht werden. Das Ziel besteht darin, sicherzustellen, dass beide Bilder, das Voransichtsbild und das endgültige Bild, dieselben Umgebungsbedingungen oder eine Simulation derselben aufweisen. Insbesondere wird das Voransichtsbild vorzugsweise mit derselben Gesamtbelichtung wie das Blitzlichtbild übertragen. In den meisten Fällen wird, wenn ein Blitzlicht verwendet wird, für das endgültige Bild, selbst in einem Ausfüllblitzlicht-Modus, eine niedrigere Umgebungsbelichtung verwendet, um eine Überbelichtung aufgrund des Blitzlichtes zu verhindern. Mit anderen Worten ist die Gesamtumgebungsbelichtung des Blitzlichtbildes geringer. Mit anderen Worten sollte die Belichtung im Vordergrund konstant bleiben, nachdem das Blitzlicht hinzugefügt worden ist, und demnach besteht ein Bedarf, eine kleinere Blende oder eine kürzere Blendengeschwindigkeit zu verwenden. Die Angleichung kann analytisch erfolgen, indem die Histogramme der Bilder angepasst werden. Wenn die Gesamtumgebungsbelichtung, die als Funktion der Öffnung, Blendengeschwindigkeit und Empfindlichkeit (oder Verstärkung) dargestellt ist, berechnet werden kann und falls die Belichtung unterschiedlich ist, kann alternativ der Pixelwert bis zu Beschneidungsbedingungen basierend auf dem Verhältnis zwischen den beiden modifiziert werden. Es wird darauf hingewiesen, dass die Belichtung möglicherweise nicht in allen Kanälen gleich ist und ebenfalls eine Stufe der Farbkorrektur umfassen kann, die unterschiedliche Belichtungen für die verschiedenen Farbkanäle ausgleicht. Ein Beispiel dafür ist, wenn das Umgebungslicht warm ist, wie beispielsweise Glühlampenlicht, während das endgültige Bild, das Blitzlicht verwendet, in Bezug auf die Gesamtfarbtemperatur eher dem Tageslicht entspricht.
Bei einem alternativen Verfahren kann, wenn die endgültige Umgebungsbelichtung bekannt ist, das Voransichtsbild, das als Bezug verwendet wird, mit derselben äquivalenten Belichtung erfasst werden. Dies kann dazu dienen, die Angleichphase zu beseitigen. Es wird darauf hingewiesen, dass in diesem Fall das Voransichtsbild möglicherweise nicht für Umgebungsbedingungen ideal ist, jedoch an das endgültige Blitzlichtbild angeglichen wird.
Wie aus 3 ersichtlich, kann ein idealisiertes Bild ohne Blitzlicht einer Szene, die einige Vordergrundobjekte enthält, so angesehen werden, dass es im Allgemeinen eine unimodale Verteilung von Leuchtdichtepegeln für sämtliche Pixel aufweist. Wenn eine Szene gut belichtet ist, neigt die Verteilungsspitze dazu, einen höheren Leuchtdichtepegel aufzuweisen, während die Spitze bei schwach belichteten Szenen dazu neigt, einen geringeren Leuchtdichtepegel aufzuweisen. Bei einer Blitzlichtversion derselben Szene neigen Pixel, die Vordergrundobjekten entsprechen, aufgrund der Nähe zur Blitzlichtquelle dazu, erhöhte Leuchtdichtepegel aufzuweisen. Jedoch neigen Pixel, die Hintergrundobjekten entsprechen, dazu, relativ reduzierte Leuchtdichtepegel aufzuweisen. Demgemäß werden bei einer bevorzugten Ausführungsform die PixelLeuchtdichtepegel für die Blitzlichtversion eines Bildes einer Szene bezüglich der Leuchtdichtepegel abgebildet, die das (Voransicht-)Bild ohne Blitzlicht und die Blitzlichtversion des Bildes der Szene auf denselben Gesamtbelichtungspegel bringen. Diese Abbildung g() kann wie folgt dargestellt werden:
Im einfachsten Fall ist die Funktion g() eine Konstante, die im Allgemeinen größer als 1 ist und die Belichtungspegel in einem Voransichtsbild P'(x, y) abbildet, um ein verändertes Bild P''(x, y) zu erzeugen, das denselben Gesamtbelichtungspegel wie die Blitzlichtversion des Bildes I'(x, y) aufweist. (Alternativ könnte das Bild I'(x, y) auf I''(x, y) abgebildet werden.) In der einfachsten Implementierung dieses Falles werden beide Bilder I'(x, y) und P'(x, y) in eine Grauskala umgewandelt und die mittlere Leuchtdichte für jedes Bild wird berechnet. Die Leuchtdichtewerte eines der Bilder werden daraufhin so angepasst, dass die mittleren Leuchtdichtewerte des veränderten Bildes P''(x, y) und des Bildes I'(x, y) übereinstimmen.
Jedoch kann die Funktion g() von dem ursprünglichen Belichtungspegel eines Pixels P'(x, y) abhängen, zum Beispiel um eine Farbsättigung oder einen Kontrastverlust zu verhindern. Die Funktion kann ebenfalls von der Position eines Pixels (x, y) in einem Bild abhängen, wobei sie vielleicht dazu neigt, mittiger angeordnete Pixel stärker anzupassen als Pixel, die sich mehr am Rand befinden.
Dennoch ist aus 3 ersichtlich, dass die angepasste Blitzlichtversion des Bildes bei einem Pixel-für-Pixel-Vergleich oder sogar bei einem Block basierten Vergleich (wobei jeder Block N×N Pixel in einem regelmäßigen Gitter von M×M Bereichen umfasst) eine bimodale Verteilung zwischen den Belichtungspegeln von Hintergrund- und Vordergrundobjekten aufweist.
Bei bevorzugten Ausführungsformen werden während der Angleichung ein oder mehrere Schwellenwerte V_H, V_L und unter Umständen die Blockgröße n zur späteren Verwendung bei der Bestimmung des Hintergrund- und des Vordergrundbereiches des Bildes I'(x, y) bestimmt. Das Schwellenwertverfahren beruht auf der Feststellung der optimalen Schwellenwerte in einer bimodalen Verteilung und mit dem Vorteil eines unimodalen Bezugsbildes ohne Blitzlicht. Geeignete Verfahren sind in der Literatur beschrieben und Fachleuten auf dem Gebiet der numerischen Klassifizierung bekannt. Dennoch könnte der obere Schwellenwertpegel V_H beispielsweise als Übergangsleuchtdichtewert der oberen bimodalen Spitze und der unimodalen Verteilung angesehen werden, während der untere Schwellenwertpegel V_L als Übergang der unteren bimodalen Spitze und der unimodalen Verteilung angesehen werden könnte. Es wird darauf hingewiesen, dass die Verteilung der Pixelbelichtungspegel in der Praxis möglicherweise nicht gleichmäßig ist und mehrere Übergangspunkte in den Rohbilddaten vorhanden sein können, weshalb möglicherweise eine gewisse Glättung der Leuchtdichteverteilung durchgeführt werden muss, bevor diese Übergangspunkte und somit die Schwellenwerte ermittelt werden.
Nachdem die Schwellenwerte V_H, V_L ermittelt wurden, wird das Bild mit Hilfe des Segmentierungswerkzeugs verarbeitet, 590, um Pixel oder Bereiche als Hintergrund oder Vordergrund zu kennzeichnen. Bei einer Ausführungsform stellen Pixel, deren Werte sich um weniger als einen Schwellenwert ändern, beispielsweise V_H–V_L (oder ein anderer empirisch ermittelter Wert) zwischen Versionen mit Blitzlicht I'(x, y) und Versionen ohne Blitzlicht P'(x, y) des Bildes Pixel in Bereichen eines Blitzlichtbildes dar, die eine Grenze zwischen Hintergrund- und Vordergrundobjekten bilden. Wenn diese individuellen Pixel verbunden werden, werden Segmente des Bildes I'(x, y), die im Wesentlichen von verbundenen Grenzpixeln umgeben sind und durchschnittliche Pixelwerte aufweisen, die heller als in dem entsprechenden Segment des Bildes ohne Blitzlicht P''(x, y) sind, als Vordergrund bezeichnet, während Segmente des Bildes, die im Wesentlichen von Grenzpixeln umgeben sind und durchschnittliche Pixelwerte aufweisen, die dunkler als in dem entsprechenden Segment des Bildes ohne Blitzlicht sind, als Hintergrund bezeichnet.
Bei einer zweiten Ausführungsform werden Vordergrundpixel in einem Blitzlichtbild anfänglich bei Schritt 596 als solche mit Belichtungspegeln ermittelt, die größer als der obere Belichtungsschwellenwert V_H sind, und Hintergrundpixel in einem Blitzlichtbild sind solche mit Belichtungspegeln, die geringer als der untere Belichtungsschwellenwert V_L sind.
Bei noch einer weiteren Ausführungsform von Schritt 596 werden keine Schwellenwerte verwendet und eine anfängliche Segmentierung wird einfach durch Subtrahieren der lokalen Belichtungswerte für jedes Bild auf einer Pixel-Für-Pixel-Basis oder einer Block-Für-Block-Basis (wobei jeder Block n×n Pixel umfasst) erreicht, um eine Differenzabbildung zu erzeugen. Typischerweise weisen Vordergrundpixel einen höheren (helleren) Wert und Hintergrundpixel einen niedrigeren Wert auf.
In allen oben genannten Fällen hat das Segmentierungswerkzeug 590 vorzugsweise sowohl das Voransichtbild P als auch das Blitzlichtbild I durchgesehen und die Differenz der Belichtungspegel für entsprechende Bereiche des Bildes überprüft – entweder Pixel-Für-Pixel oder Block-Für-Block. Bei Blitzlichtbildern, die in Innenräumen gemacht wurden, werden dunkle Bereiche dunkler und helle Bereiche (typischerweise der Vordergrund) werden heller. Bei Bildern von Szenen im Freien wird der Vordergrund jedoch nur geringfügig heller und der Hintergrund bleibt in den meisten Fällen unverändert.
Wenn während der Analyse, die von dem Segmentierungswerkzeug 590 unter Verwendung der Leuchtdichtewerte des Voransichtbildes P und des Blitzlichtbildes I durchgeführt wird, der Grad der Abdunklung der Hintergrundbereiche und der Aufhellung der Vordergrundbereiche einen Schwellenwert überschreitet, kann ein Bild als Innenaufnahme klassifiziert werden. Wenn die relative Aufhellung und Abdunklung einen Schwellenwert nicht überschreitet, kann das Bild als Außenaufnahme klassifiziert werden. Es ist ersichtlich, dass diese Klassifizierung vorteilhafterweise den Bildmetadaten zur Verwendung bei der späteren Verarbeitung hinzugefügt werden kann.
In einem gesamten Bild neigt die Aufhellung des Vordergrundes dazu, die Abdunklung des Hintergrundes aufzuheben, insbesondere wenn die Gesamtleuchtdichtepegel zwischen Bildern angeglichen wurden. Bei einer bevorzugten Ausführungsform kann die Leuchtdichteänderung als Euklidische Distanz zwischen Voransichtbild und Blitzlichtbild gemessen werden. Die Messung wird vorzugsweise wie folgt vorgenommen:

(i) Messung des Leuchtdichtehistogramms lokaler Blöcke von n×n Pixeln jedes Bildes. Diese kann als Durchschnittsleuchtdichte in einem gesamten Block genommen werden;
(ii) als nächstes, Berechnen eines absoluten Werts der "Differenz" zwischen dem Voransichtbild und dem Blitzlichtbild; und
(iii) daraufhin, Summieren dieser Messung über das gesamte Bild oder im Wesentlichen über das gesamte Bild, um eine "absolute Leuchtdichtedifferenz" zu erhalten.

Dieser absolute Leuchtdichtedifferenzwert neigt dazu, bei Innenaufnahmen gut über einem Schwellenwert zu liegen und bei Außenaufnahmen gut unter diesem Schwellenwert zu liegen. Einfach ausgedrückt neigt bei Außenaufnahmen der Vordergrund dazu, weniger hell und der Hintergrund weniger dunkel zu sein, weshalb der Unterschied der lokalen Leuchtdichte zwischen Bildern ohne Blitzlicht und Blitzlichtbildern wesentlich geringer ist. Bei Varianten dieser Implementierung können separate höhere und niedrigere Schwellenwerte verwendet werden. Wenn somit die Differenz unter dem unteren Schwellenwert liegt, wird ein Bild als Außenaufnahme klassifiziert und wenn die Differenz über einem oberen Schwellenwert liegt, ist ein Bild definitiv eine Innenaufnahme.
Bei weiteren Variationen der oben genannten Implementierung kann die Klassifizierung an Bereichen des Bildes vorgenommen werden, die lediglich als Vordergrund und/oder Hintergrund bezeichnet wurden. Wenn somit die Gesamtleuchtdichte von Vordergrundbereichen um mehr als einen Schwellenwert zunimmt, könnte ein Bild als Innenaufnahme klassifiziert werden; und/oder wenn die Gesamtleuchtdichte von Hintergrundbereichen um mehr als einen Schwellenwert abnimmt, könnte ein Bild als Innenaufnahme klassifiziert werden. Wenn sich die Gesamtleuchtdichte jeweiliger Vordergrund- und/oder Hintergrundbereiche alternativ um weniger als einen Schwellenwert ändert, könnte das Bild als Außenaufnahme klassifiziert werden.
Die Klassifizierungsergebnisse könnten in der Kamera oder woanders für die darauf folgende Nachverarbeitungs-, Sortierungs- und Bildverwaltungsvorgänge gespeichert und verwendet werden.
Wenn ein Bild einer Szene als Außenaufnahme klassifiziert ist, kann ein Schema, das nicht auf Blitz basiert, für die Vordergrund-/Hintergrundtrennung verwendet werden, wie beispielsweise in der U.S.-Anmeldung Nr. 60/773,714, eingereicht am 14. Februar 2006 (Ref: FN119) offenbart.
Ein Verfahren, mit dem in einer digitalen Kamera des neuesten Stands der Technik vorteilhafterweise eine Block-Für-Block-Durchschnittsbildung erreicht werden kann, besteht in der Verwendung eines Hardware-Teilabtasters 124, falls verfügbar. Dieser kann eine teilabgetastete l/n-Version beider Bilder sehr schnell erzeugen, wobei jedes Pixel jedes Bildes einen Durchschnitt eines n×n-Blocks in dem ursprünglichen Bild darstellt.
Bei bestimmten Ausführungsformen kann nach einer anfänglichen Anpassung der Größe zwischen Voransichtbild und Hauptbild vor der Subtraktion der lokalen Belichtungswerte für jedes Bild auf einer Pixel-Für-Pixel-Basis eine weitere Teilabtastung implementiert werden. Nachdem unter Verwendung des kleinsten Paars übereinstimmender Bilder eine anfängliche Vordergrund-/Hintergrundabbildung ermittelt wurde, kann die Abbildung verfeinert werden, indem die Ergebnisse auf das nächst größere Paar teilabgetasteter Bilder angewendet werden, wobei jedes Pixel jetzt einem N×N-Block von Pixeln in dem größeren Paar von Bildern entspricht.
Eine Verfeinerung dieser anfänglichen Abbildung kann erreicht werden, indem lediglich an den Grenzbereichen der anfänglichen Vordergrund-/Hintergrundabbildung eine vollständige Pixel-Für-Pixel-Analyse des größeren Paars übereinstimmender Bilder durchgeführt wird. Es wird darauf hingewiesen, dass die Erzeugung mehrerer Sätze übereinstimmender teilabgetasteter Bilder hinsichtlich der Berechnungsressourcen relativ günstig ist, wenn ein Hardware-Teilabtaster verfügbar ist. Bei bestimmten Ausführungsformen kann die Durchführung einer Reihe derartiger Verfeinerungen aufeinander folgender größerer Paare übereinstimmender teilabgetasteter Bilder den Bedarf nach Ausrichtung und Registrierung der Bilder vorteilhafterweise beseitigen. Die Vorteile dieses Verfahrens müssen mit den Anforderungen der vorübergehenden Speicherung einer Reihe von Paaren übereinstimmender teilabgetasteter Bilder von aufeinander folgend abnehmender Größe abgestimmt werden.
Jedes Verfahren, das Schwellenwertvergleiche umfasst, kann ebenfalls Operationen benachbarter Pixel berücksichtigen, bei denen der Schwellenwert oder Schwellenwertvergleich von den Werten der umgebenden Pixel abhängt, um Rauschphänomene und leichte Verschiebungen zwischen dem Voransichtbild und dem endgültigen Bild zu beseitigen.
Jedoch ist ersichtlich, dass die Ermittlung der Hintergrund-/Vordergrundzugehörigkeit unter Verwendung eines einzelnen Durchgangs einer pixelbasierten oder blockbasierten Analyse allein nicht mit absoluter Genauigkeit erreicht wird. Stellen wir uns beispielsweise eine Person mit einem gestreiften Hemd vor. Es ist möglich, dass die korrigierte Leuchtdichte der dunklen Streifen tatsächlich anzeigt, dass diese Hintergrundpixel sind, obwohl sie sich nahe einer großen Sammlung von Vordergrundpixeln befinden.
Demgemäß ist es vorteilhaft, eine zusätzliche Analyse zu integrieren, wodurch die Vordergrundpixel bzw. -blöcke nach der Erzeugung einer anfänglichen Vordergrundabbildung, selbst wenn diese auf einer n×n-Blockbasis anstatt auf einer Pixelbasis durchgeführt wurde, segmentiert und gekennzeichnet werden 597. Dieser Schritt hilft, Phänomene, wie beispielsweise ein gestreiftes Hemd und jene aufgrund von Bildrauschen oder statistischen Sonderfällen in der Vordergrundabbildung zu beseitigen. Es ist ebenfalls vorteilhaft, kleine Segmente zu beseitigen.
Somit wird eine endgültige Abbildung (Maske) von Vordergrundpixeln erzeugt, 594. Diese kann nun vergrößert werden, um der Größe des erfassten Hauptbildes zu entsprechen, 599-1, und kann vorteilhafterweise für eine weitere Bildverarbeitung des Hauptbildes verwendet werden, 501. Obwohl nicht gezeigt, kann das System beispielsweise einen Gesichtsdetektor oder einen Rote-Augen-Filter umfassen, und kann in diesem Fall 501 Verfahren zur selektiven Anwendung derselben auf den Vordergrundbereich, der durch die Maske definiert ist, umfassen, wodurch die Ausführungsdauer für derartige Algorithmen verkürzt wird, indem die Analyse der Hintergrundsegmente ausgeschlossen wird. Alternativ ist die U.S.-Patentanmeldung mit der Seriennummer 10/976,336 von Nutzen, bei dem das System eine Komponente zur Identifizierung von Rote-Augen-Kandidatenbereichen 501 umfasst. Diese Komponente kann eine Rote-Augen-Fälschungsanalyse implementieren, indem die Wahrscheinlichkeit erhöht oder verringert wird, dass ein Rote-Augen-Kandidatenbereich abhängig davon, ob der Kandidat im Vordergrund oder Hintergrund des erfassten Bildes erscheint, ein tatsächlicher Rote-Augen-Bereich ist.
Wie bereits erwähnt, kann es bei einer bevorzugten Ausführungsform vorteilhaft sein, anfänglich eine aggressive Abwärtsabtastung der Bilder 510, 520 zu verwenden. Dies kann die Notwendigkeit des Ausrichtungsschritts 540 beseitigen und, falls die vorliegende Erfindung rekursiv und selektiv auf einer regionalen Basis angewendet wird, kann ohne erhebliche Zunahme der Berechnungszeit eine Vordergrundmaske in voller Größe erzielt werden.
Es wird nochmals auf 2(b) Bezug genommen, bei der angenommen wird, dass während der Größenanpassung 530 aus 2(a) mehrere Paare übereinstimmender Bilder erzeugt werden oder alternativ dynamisch bei jedem Durchgang durch die Schleife aus 2(b) erzeugt werden. Betrachten wir beispielsweise ein Hauptbild mit einer Größe von 1024 × 768 mit einem Voransichtbild einer Größe von 256 × 192. Angenommen, es werden drei Sätze von übereinstimmenden Bildern mit Auflösungen von 1024 × 768 (Voransichtbild wird 4 × vergrößert), 256 × 192 (Hauptbild wird 4 × verkleinert) und mit 64 × 48 (Hauptbild wird 16 × verkleinert und das Voransichtbild wird 4 × verkleinert) erzeugt. Nehmen wir nun an, dass die anfängliche Analyse bis zum Segmentierungswerkzeugschritt 590 an dem 64 × 48 Bild durchgeführt wird, wie in 2(a) beschrieben.
Nach Schritt 590 bestimmt ein zusätzlicher Schritt 517, ob die Vergleichsgröße (die Bildgröße, die zur Erzeugung der letzten Wiederholung der Vordergrundabbildung verwendet wird) der Größe des Hauptbildes mit Blitz I(x, y) entspricht. Falls nicht, wird die Vordergrundabbildung auf die nächste Vergleichsgröße 599-2 vergrößert – in diesem Fall 256×192 Pixel. Jedes Pixel in der ursprünglichen Abbildung wird jetzt zu einem 4×4 Pixelblock vergrößert. Die Bereiche, die die Grenze zwischen Vordergrund- und Hintergrundsegmenten – diese waren Pixel mit der niedrigeren Abbildungsauflösung – dieser vergrößerten Abbildung bilden, werden als Nächstes ermittelt 570 und die abwärts abgetasteten Bilder dieser Vergleichsgröße (256 × 192) werden geladen 531. In diesem Fall kann das Verfahren auf das gesamte Bild oder einen Teil des gesamten Bildes mit der höheren Auflösung angewendet werden, da Bereiche innerhalb von Vordergrundsegmenten definitiv als Vordergrundbereiche bestimmt werden. Bei dieser Ausführungsform sind es nur die Grenzbereiche zwischen Hintergrund und Vordergrund, die analysiert werden. Dieselbe Analyse, die auf das Hauptbild angewendet wurde, wird nun auf diese Bereiche angewendet. Sie können ausgerichtet werden 540, bevor sie angeglichen werden 551, und das Segmentierungswerkzeug 590 wird auf jeden 16 × 16 Bereich angewendet. Die Ergebnisse werden mit der bestehenden Vordergrundabbildung 515 vermischt.
Wenn die Vordergrundabbildung jetzt dieselbe Größe wie das Hauptbild mit Blitz 517 aufweist, kann es direkt auf das Hauptbild 501 angewendet werden. Wenn es alternativ nach wie vor kleiner ist, wird es auf die nächste Bildvergleichsgröße 599-2 aufwärts abgetastet und es wird ein weiterer Durchlauf durch den Algorithmus durchgeführt.
Die segmentierten Daten werden gespeichert, 598, als Segmentierungsmaske, wie in 2(a). Falls erforderlich, muss die Segmentierungsmaske um denselben Faktor aufwärts abgetastet werden, 599, um den das erfasste Bild bei Schritt 532 abwärts abgetastet wurde, um zur ursprünglichen Bildgröße zurückzukehren. Die Aufwärtsabtastung 599 sollte aufwendig genug sein, um die Kanteninformationen am Rand der Maske zu untersuchen, um sicherzustellen, dass die korrekten Bereiche in der aufwärts abgetasteten Abbildung abgedeckt sind. Derartige Verfahren können die Aufwärtsabtastung eines Bildes oder einer Maske umfassen, während die Kanteninformationen beibehalten werden.
4 zeigt den Arbeitsablauf der Ausrichtungsfunktion 540 aus 2(a), bei der die Eingaben die beiden Bilder I'(x, y) und P'(x, y) sind, wie in Bezug auf 2(a) definiert. Die Ausrichtung kann global für das gesamte Bild oder lokal für spezifische Bereiche sein. Eine globale Bewegung kann durch eine Kamerabewegung verursacht werden, während eine kokale Bewegung durch eine Objektbewegung während des Belichtungsintervalls des Bildes verursacht werden kann. Beispielsweise eine einfache lineare Ausrichtung, wie beispielsweise eine Verschiebung in horizontaler Richtung um H Pixel, und/oder in vertikaler Richtung um V Pixel, oder eine Kombination von beidem. Mathematisch kann das verschobene Bild P'(x, y) beschrieben werden als: P''(x, y) = P'(x – H, y – V)
Jedoch setzt ein einfacher Translationsvorgang eine Verschiebungsinvarianz voraus, was bei der Ausrichtung des Bildes möglicherweise nicht ausreichend ist. Sogar im Fall der Kamerabewegung kann eine derartige Bewegung eine affine Transformation umfassen, die Rotation und Scherung sowie Translation umfasst.
Daher kann Folgendes erforderlich sein: X-Y-Scherung, die eine symmetrische Verschiebung der Objektpunkte in Richtung der Achse ist, um Perspektivenänderungen zu korrigieren; X-Y-Verjüngung, wobei das Objekt verkleinert wird, indem seine Koordinaten in Richtung der Achse verschoben werden, wobei die Verschiebung umso weiter ist, je größer die Größe der Koordinate ist; oder Rotation um einen willkürlichen Punkt.
Im Allgemeinen kann das Ausrichtungsverfahren eine affine Transformation umfassen, die als spezielle Klasse projektiver Transformationen definiert ist, die Objekte nicht aus dem affinen Raum R³ zur Unendlichkeitsebene oder umgekehrt bewegen, oder es kann jede Transformation umfassen, die die Kolinearität (d. h. alle Punkte, die anfänglich auf einer Linie liegen, liegen nach der Transformation immer noch auf einer Linie) und Abstandsverhältnisse aufrechterhält (z. B. der Mittelpunkt eines Liniensegments bleibt nach der Transformation der Mittelpunkt).
Geometrische Kontraktion, Expansion, Erweiterung, Reflexion, Rotation, Scherung, Ähnlichkeitstransformationen, Spiralähnlichkeiten und Translationen sind ebenso wie ihre Kombinationen alles affine Transformationen. Im Allgemeinen kann die Ausrichtung 540 mit Hilfe einer affinen Transformation erzielt werden, die eine Komposition aus Rotationen, Translationen, Erweiterungen und Scherungen ist, die alle Fachleuten auf dem Gebiet der Bildverarbeitung bekannt sind.
Wenn mit Hilfe eines Korrelationsverfahrens ermittelt wird, dass eine globale Transformation ausreicht, wie in Block 542 = JA ermittelt, wird eines der Bilder, und der Einfachheit halber das Voransichtbild, einer affinen Transformation unterzogen, 544, um sich selbst mit dem endgültigen Bild mit voller Auflösung auszurichten. Mathematisch kann diese Transformation wie folgt dargestellt werden: P'' = AP' + q wobei A eine lineare Transformation und q eine Translation sind.
In manchen Fällen ist es jedoch möglich, dass eine globale Transformation nicht korrekt funktioniert, insbesondere in Fällen, bei denen sich das Subjekt bewegt hat, wie es beim Fotografieren von beweglichen Objekt auftreten kann. In einem solchen Fall und insbesondere bei Bildern mit mehreren menschlichen Subjekten und wenn sich die Subjekte unabhängig voneinander bewegen, kann das Ausrichtungsverfahren 540 in mehrere lokale Bereiche unterteilt werden, 546, wobei jeder seine eigene affine Transformation aufweist. Im Fall der Verwendung des vorliegenden Verfahrens für die Rote-Augen-Erfassung und -Korrektur wird bevorzugt, die Augen zwischen den Bilden auszurichten. Gemäß dieser Alternative können daher eine oder mehrere lokale Ausrichtungen für Bereiche benachbart zur Umgebung der Augen, wie beispielsweise Gesichter, durchgeführt werden, 548.
Erst nachdem die Bilder ausgerichtet wurden, werden die Belichtungswerte zwischen den Bildern angeglichen, wie in 2(a).
Die oben beschriebenen bevorzugten Ausführungsformen können modifiziert werden, indem Operationen, Schritte und/oder Komponenten auf vielerlei Weise hinzugefügt oder geändert werden, um vorteilhafte alternative Ausführungsformen zu erzeugen. Beispielsweise kann das Bezugsbild ein Nachansichtbild anstatt ein Voransichtbild sein, d. h. ein Bild, das unmittelbar nachdem das Blitzlichtbild gemacht wurde ohne Blitz gemacht wurde.
Alternativ könnte das Bezugsbild das Blitzlichtbild und das erfasste Bild mit voller Auflösung das Bild ohne Blitzlicht sein. Ein Beispiel hierfür ist, wenn die Kamera in einem speziellen Modus eingestellt ist (ähnlich einem Porträtszenenauswahlmodus), so dass das Voransichtbild dasjenige mit Blitz ist, während das endgültige Bild ohne Blitz sein kann. In diesem Fall sind die Rollen der Bilder hinsichtlich der Berechnung der Differenz zwischen den Bildern umgekehrt. Darüber hinaus kann das Bezugsbild entweder ein Voransichtbild oder Nachansichtbild sein.
Die hierin beschriebenen bevorzugten Ausführungsformen können eine erweiterte digitale Erfassungstechnologie umfassen, die inhärent digitale Kameras umfasst, die jedoch in andere Vorrichtungen, wie beispielsweise Mobiltelefone, die mit einer Erfassungskomponente oder Spielzeugkameras ausgerüstet sind, integriert sein kann. Die digitale Kamera oder sonstige Bilderfassungsvorrichtung der bevorzugten Ausführungsform weist die Fähigkeit auf, nicht nur Bilddaten sondern auch zusätzliche Daten, die als Metadaten bezeichnet werden, aufzuzeichnen. Der Dateianfangssatz einer Bilddatei, wie beispielsweise JPEG, TIFF, JPEG-2000 usw. kann Erfassungsinformationen umfassen, die das Voransichtbild, eine Gruppe von Voransichtbildern oder ein einzelnes Bild umfassen, das verarbeitet wird, um eine komprimierte Version ausgewählter Bezugsbilder bereitzustellen, und zwar zur Verarbeitung und Segmentierung bei einer späteren Nachverarbeitungsstufe, die in der Erfassungsvorrichtung oder in einer separaten Vorrichtung, wie beispielsweise einem PC, durchgeführt werden kann.
Bei diesen Ausführungsformen können die Pixelwerte während der Vergleichsstufen hinsichtlich der Leuchtdichte verglichen werden. Alternativ oder zusätzlich können diese mit anderen Werten, wie beispielsweise der Farbe, verglichen werden. Ein Beispiel eines chromatischen Vergleichs ist eine warme Färbung, wie beispielsweise eine gelbe Tönung, die auf Glühlampenlicht hinweist, oder eine blaue Tönung, die auf Schattenbereiche in einer sonnenbeleuchteten Umgebung hinweist, oder andere Farben, die auf eine Änderung zwischen Umgebungsbeleuchtung und der Blitzbeleuchtung hinweisen. Der Vergleich kann absolut oder relativ sein. In dem absoluten Fall wird der absolute Wert der Differenz aufgezeichnet, ohne zu berücksichtigen, welches der Bilder den größeren Pixelwert aufweist. Im relativen Fall wird nicht nur die Differenz sondern auch die Richtung beibehalten. Die beiden Verfahren können ebenfalls die Einrichtung der Registrierung zwischen den beiden Bilden unterstützen. In dem Fall, in dem sich das Subjekt etwas bewegt, beispielsweise horizontal, kann die relative Differenz eine Umkehrung der Werte auf der linken Seite des Objekts und auf der rechten Seite des Objekts anzeigen.
Bei bestimmten Ausführungsformen kann es sich ebenfalls als vorteilhaft herausstellen, eine "Verhältnisabbildung" anstelle einer "Differenzabbildung" zu verwenden. Bei diesen Ausführungsformen wird ein Verhältnis zwischen den Pixelleuchtdichtewerten der beiden Bilder (mit und ohne Blitz) ermittelt. Dieses Verfahren kann in bestimmten Fällen bessere Ergebnisse bieten und kann entweder als Alternative zur einer einfachen Subtraktion verwendet werden, oder es kann bei bestimmten Ausführungsformen vorteilhaft sein, Ausgabebereiche zu kombinieren, die unter Verwendung logischer oder statistischer Verfahren oder einer Kombination davon von beiden Verfahren abgeleitet werden, um eine endgültige Vordergrund-/Hintergrundabbildung zu erzeugen.
Die vorliegende Erfindung ist nicht auf die oben beschriebenen Ausführungsformen und Konstruktions- und Funktionsäquivalente davon
beschränkt, die geändert oder modifiziert werden können ohne vom Bereich der vorliegenden Erfindung abzuweichen, die in den angehängten Ansprüchen dargestellt ist. Darüber hinaus offenbart die veröffentlichte U.S.-Patentanmeldung Nr. 2003/0103159 an Nonaka, Osamu, mit dem Titel "Evaluating the effect of a strobe light in a camera", ein kamerainternes Bildverarbeitungverfahren zur Korrektur von Schattenbereichen in einem Blitzlichtbild.
Die Operationen wurden bei Verfahren, die gemäß bevorzugter Ausführungsformen hierin durchgeführt werden können und die möglicherweise weiter oben beschrieben und/oder weiter unten beansprucht wurden, in ausgewählten typografischen Abfolgen beschrieben. Jedoch wurden die Abfolgen aus Gründen der typografischen Angemessenheit ausgewählt und somit geordnet und sollen keine bestimmte Reihenfolge der Durchführung der Operationen suggerieren.

Claims

Digitales Bilderfassungssystem, das keinen fotografischen Film aufweist und Folgendes umfasst: a) eine Vorrichtung (20) zur Erfassung digitaler Bilder, b) eine Blitzeinheit (70) zur Bereitstellung von Beleuchtung während der Bilderfassung, c) eine Segmentierungseinheit (90) zur Ermittlung eines oder mehrerer Bereiche innerhalb mindestens eines Abschnitts eines erfassten Bildes, die auf einen Vordergrundbereich oder einen Hintergrundbereich oder auf einen Hintergrundbereich und einen Vordergrundbereich hinweisen, d) wobei die Ermittlung den Vergleich (596) des erfassten Bildes mit einem Bezugsbild von nominell derselben Szene umfasst, e) wobei das erfasste Bild mit Blitz und das Bezugsbild ohne Blitz gemacht wird oder umgekehrt, dadurch gekennzeichnet, dass f) das erfasste Bild und das Bezugsbild unterschiedliche Pixelauflösungen aufweisen und das System des Weiteren eine Pixelanpassungseinheit umfasst, die vor der Anwendung der Segmentierungseinheit betrieben wird, um die Pixelauflösungen des erfassten Bilds und des Bezugsbilds mindestens hinsichtlich des mindestens einen Abschnitts anzupassen (530).
System nach Anspruch 1, wobei die Pixelanpassungseinheit eine Überabtastung (534) des Bildes mit einer niedrigeren Auflösung oder eine Unterabtastung (532) des Bildes mit einer höheren Auflösung oder beides verwendet.
System nach Anspruch 1, das des Weiteren eine Ausrichtungseinheit umfasst, die vor der Anwendung der Segmentierungseinheit betrieben wird, um die Bereiche des erfassten Bilds und des Bezugsbilds mindestens hinsichtlich des mindestens einen Abschnitts auszurichten (540).
System nach Anspruch 1, das des Weiteren einen Belichtungsausgleicher umfasst, um einen Gesamtbelichtungspegel der Bereiche oder des gesamten erfassten Bilds und Bezugsbilds mindestens hinsichtlich des mindestens einen Abschnitts im Wesentlichen auszugleichen (550).
System nach Anspruch 4, wobei der wesentliche Ausgleich des Gesamtbelichtungspegels der Bereiche oder des gesamten erfassten Bilds und Bezugsbilds die Simulation einer Umgebungsbelichtung des erfassten Bilds auf dem Bezugsbild umfasst.
System nach Anspruch 5, wobei die Simulation der Umgebungsbelichtung des erfassten Bilds auf dem Bezugsbild die digitale Simulation von Apertur, Erfassungsgeschwindigkeit, Farbtransformationen und Verstärkung des erfassten Bilds auf dem Bezugsbild oder einer Kombination davon umfasst.
System nach Anspruch 5, wobei die Simulation der Umgebungsbelichtung des erfassten Bilds die individuelle nicht gleichförmige Manipulation individueller Bereiche oder Farbkanäle oder Kombinationen davon umfasst.
System nach Anspruch 4, wobei der wesentliche Ausgleich des Gesamtbelichtungspegels des erfassten Bilds und des Bezugsbilds die Einstellung einer Umgebungsbelichtung des Bezugsbilds umfasst, so dass sie einer berechneten Belichtung des erfassten Bilds entspricht.
System nach Anspruch 4, wobei die Segmentierungseinheit mindestens hinsichtlich des mindestens einen Abschnitts entsprechende Pixel in dem erfassten Bild und dem Bezugsbild ermittelt, deren Werte sich um weniger als ein vorherbestimmter Schwellenwert (VH–VL) voneinander unterscheiden, und Segmente des erfassten Bilds bestimmt, die von den ermittelten Pixeln als Vordergrund oder Hintergrund eingegrenzt werden, indem Pixelwerte in einem Segment mit Pixelwerten in einem entsprechenden Segment des Bezugsbilds verglichen werden.
System nach Anspruch 4, wobei die Segmentierungseinheit mindestens hinsichtlich des mindestens einen Abschnitts basierend auf einem Vergleich des Gesamtbelichtungspegels des erfassten Bilds und des Bezugsbilds einen oberen und einen unteren Schwellenwert (VH, VL) ermittelt und Pixel des erfassten Bilds als Vordergrund oder Hintergrund abhängig davon bestimmt, ob ihre Werte größer als der obere Schwellenwert oder geringer als der niedrigere Schwellenwert sind.
System nach Anspruch 4, wobei die Segmentierungseinheit mindestens hinsichtlich des mindestens einen Abschnitts ein oder mehrere Segmente des erfassten Bilds als Vordergrund oder Hintergrund bestimmt, indem Pixelwerte des erfassten Bilds und des Bezugsbilds verglichen werden.
System nach Anspruch 4, wobei das Bezugsbild ein Voransichtbild mit einer niedrigeren Pixelauflösung als das erfasste Bild umfasst und das erfasste Bild das Bild umfasst, das mit Blitz gemacht wurde.
System nach Anspruch 1, das des Weiteren ein Gesichtserfassungsmodul umfasst.
System nach Anspruch 1, das des Weiteren ein Rote-Augen-Erfassungsfilter oder ein Rote-Augen-Korrekturfilter oder beides für eine selektive Anwendung auf den Vordergrundbereich umfasst.
System nach Anspruch 14, das des Weiteren ein Wahrscheinlichkeitsmodul umfasst, das die Wahrscheinlichkeit, das ein Rote-Augen-Kandidatenbereich ein tatsächlicher Rote-Augen-Bereich ist, abhängig davon ändert, ob der Kandidat im Vordergrund oder im Hintergrund des erfassten Bilds erscheint.
System nach Anspruch 15, das des Weiteren ein Schärfentiefemodul umfasst, um eine wahrgenommene Schärfentiefe abhängig davon zu verringern, ob ein Kandidatenbereich im Vordergrund oder im Hintergrund des erfassten Bilds erscheint.
System nach Anspruch 1, wobei das Bezugsbild ein Voransichtbild umfasst.
System nach Anspruch 1, wobei das Bezugsbild ein Bild umfasst, das chronologisch nach dem erfassten Bild erfasst wurde.
System nach Anspruch 1, wobei das Bezugsbild eine Kombination aus mehreren Bezugsbildern umfasst.
System nach Anspruch 1, wobei das digitale Bilderfassungssystem eine digitale Kamera umfasst.
System nach Anspruch 1, wobei das digitale Bilderfassungssystem eine Kombination aus einer digitalen Kamera und einer externen Verarbeitungsvorrichtung (10) umfasst.
System nach Anspruch 21, wobei die Segmentierungseinheit innerhalb der externen Verarbeitungsvorrichtung angeordnet ist.
System nach Anspruch 1, wobei das digitale Bilderfassungssystem ein Chargenverarbeitungssystem umfasst, das eine digitale Druckvorrichtung umfasst.
System nach Anspruch 1, wobei das digitale Bilderfassungssystem ein Chargenverarbeitungssystem umfasst, das einen Servercomputer umfasst.
Digitales Bildverarbeitungsverfahren, das Folgende Schritte umfasst: a) Erfassung digitaler Bilder b) Bereitstellung von Beleuchtung während der Bilderfassung, und c) Bildsegmentierung zur Ermittlung eines oder mehrerer Bereiche innerhalb mindestens eines Abschnitts eines erfassten Bildes, die auf einen Vordergrundbereich oder einen Hintergrundbereich oder auf einen Hintergrundbereich und einen Vordergrundbereich hinweisen, d) wobei die Ermittlung den Vergleich des erfassten Bildes mit einem Bezugsbild von nominell derselben Szene umfasst, und e) wobei das erfasste Bild mit Blitz und das Bezugsbild ohne Blitz gemacht wurde oder umgekehrt, dadurch gekennzeichnet, dass f) das erfasste Bild und das Bezugsbild unterschiedliche Pixelauflösungen aufweisen und das Verfahren des Weiteren einen Pixelanpassungsschritt umfasst, der vor dem Bildsegmentierungsschritt ausgeführt wird, um die Pixelauflösungen des erfassten Bilds und des Bezugsbilds mindestens hinsichtlich des mindestens einen Abschnitts anzupassen.