DE60116949T2

DE60116949T2 - Gesichtserfassungsverfahren

Info

Publication number: DE60116949T2
Application number: DE60116949T
Authority: DE
Inventors: Lawrence A. łc/o Eastman Kodak Compa Rochester Ray; Henry łc/o Eastman Kodak Company Rochester Nicponski
Original assignee: Eastman Kodak Co
Current assignee: Eastman Kodak Co
Priority date: 2000-02-28
Filing date: 2001-02-16
Publication date: 2006-10-19
Anticipated expiration: 2021-02-17
Also published as: JP2001309225A; US6940545B1; US20050264658A1; EP1128316B1; DE60116949D1; US7583294B2; EP1128316A1; JP2010045819A

Description

Die folgende Erfindung betrifft den Bereich der Bilderfassung und insbesondere den Bereich der Bildverarbeitung zum Zwecke der Verbesserung und Optimierung des Bilderfassungsprozesses mit einer Kamera.
Eine überwiegende Zahl der von Fotografen gesammelten Bilder beinhaltet Menschen, die oft das wichtigste Motiv des Bildes darstellen. Die Kenntnis des Vorhandenseins und der Lage der Menschen in einem Bild und insbesondere des Vorhandenseins und der Lage ihrer Gesichter könnte viele vorteilhafte Verbesserungen während des Bilderfassungsprozesses ermöglichen. Einige davon werden nach dem Stand der Technik beschrieben. Beispielsweise erfassen Kameras mit automatischer und halbautomatischer Scharfstellung oder Fokussierung häufig einen Teil der Szene, auf den scharfgestellt wird. Sofern die Kamera Gesichter in einer Szene erkennen könnte, ließe sich die Fokussierung auf die Gesichter optimieren, es sei denn, der Fotograf setzt diese Auswahl absichtlich außer Kraft. In US-A-5,835,616 wird ein zweistufiges Gesichtserfassungssystem in einem automatischen Fotografiervorgang verwendet, um Probleme mit der manuellen Einstellung zu beseitigen, die zu einer schlechten Qualität aufgrund fehlerhaft fokussierter Motive führen könnten.
Die Erfassung der Gesichter in einer Szene lässt aussagekräftige Rückschlüsse auf die richtige Lage des Hauptmotivs zu. In diesem Zusammenhang findet der in US-A-5,835,616 beschriebene Prozess automatisch ein menschliches Gesicht in einem digitalisierten Bild, das von einer Digitalkamera aufgenommen wurde, bestätigt das Vorhandensein des Gesichts durch Prüfung der Gesichtsmerkmale und stellt dann die Kamera automatisch auf das erkannte Gesicht mittig. Die Erfassung eines Gesichts liefert zudem aussagekräftige Rückschlüsse auf die richtige Farbbalance für einen Gesichts- und/oder Hautbereich. Beispielsweise führt in US-A-5,430,809 eine Videokamera ein Gesichts-Target automatisch nach, um einen Messrahmen zum Zwecke der automatischen Belichtung und Fokussierung auf das Gesichtsobjekt zu legen. Nachdem der Messrahmen eingerichtet ist, stellt ein automatisches Weißabgleichssystem die Farben ein, um eine optimale Hautfarbe auf dem Gesicht zu erzielen. Daher wird das automatische Weißabgleichssystem als System zur automatischen Durchführung des Hautfarbenabgleichs beschrieben. US-A-5,629,752 beschreibt zudem die Erfassung eines menschlichen Gesichts und die Nutzung der Daten, die die Farbe und/oder die Dichte des Gesichtsbereichs darstellen, um einen Belichtungswert zu ermitteln, damit der dem Gesicht entsprechende Bereich von einem fotografischen Printer einwandfrei gedruckt werden kann.
Zwar wurden in den vergangenen Jahren Untersuchungen zur Gesichtserfassung in Bezug auf die Bildanalyse durchgeführt, aber dieser Bereich erfordert immer noch sehr umfangreiche maschinelle Berechnungen, insbesondere wenn ein mächtiger Gesichtserfassungsalgorithmus benötigt wird. Es sind eine Reihe von Verfahren entwickelt worden, die eine beachtliche Leistungsfähigkeit über einen Bereich von Bebilderungsbedingungen aufweisen. Diese Verfahren lassen sich mit größerem Erfolg in großen Verarbeitungseinrichtungen implementieren, wie beispielsweise fotografischen Printern, die (im Vergleich zu einer Handkamera) über relativ komplexe Verarbeitungsressourcen verfügen. Die Herausforderung besteht darin, diese Gesichtserfassungsverfahren verwertbar in einer Kamera mit begrenzten Speicherressourcen und mit geringem Berechnungsaufwand zu implementieren. Wenn dies erfolgreich möglich ist, wird die Erfassung von Gesichtern in einer Szene als Ausgangspunkt für zahlreiche weitere Verbesserungen in dem Bilderfassungsprozess dienen. Die Gesichtserfassung wäre außerdem nützlich, um nachgeordnete Aktivitäten im Anschluss an die Bilderfassung zu implementieren, so könnte beispielsweise die Gesichtserfassung Aufschluss über die Ausrichtung für den nachfolgenden Druckvorgang (auch beispielsweise für Index-Prints) geben.
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, Bilder zu erfassen und ein oder mehrere der in den Bildern enthaltenen menschlichen Gesichter zu erkennen, um dem Bilderfassungsprozess einen Mehrwert zu verleihen und die Qualität des erfassten Bildes zu verbessern.
Die vorliegende Erfindung löst eines oder mehrere der vorstehend genannten Probleme. Erfindungsgemäß und wie in Anspruch 1 dargelegt, umfasst ein Verfahren zur Bestimmung des Vorhandenseins eines Gesichts anhand von Bilddaten einen Gesichtsdatenerfassungsalgorithmus, der aus zwei getrennten Algorithmenschritten besteht: einem ersten Schritt zur Vor prüfung der Bilddaten mit einer ersten Komponente des Algorithmus, um einen oder mehrere mögliche Gesichtsbereiche des Bildes aufzufinden; und einem zweiten Schritt, bei dem die möglichen Gesichtsbereiche einer Verarbeitung mit einer zweiten Komponente des Algorithmus unterzogen werden, um das Vorhandensein eines Gesichts in dem Bereich zu bestätigen, wobei die Kombination dieser Komponenten eine höhere Leistung in Bezug auf Erkennungsquote liefert, als dies mit jeweils einer einzelnen Komponente möglich wäre. In einer Kameraimplementierung umfasst eine Digitalkamera einen Algorithmenspeicher zum Speichern eines Algorithmus, der sich aus der vorstehend genannten ersten und zweiten Komponente zusammensetzt, sowie einen elektronischen Verarbeitungsbereich zur Verarbeitung der Bilddaten zusammen mit dem Algorithmus, um das Vorhandensein eines oder mehrerer Gesichter in der Szene zu bestimmen. Gesichtsdaten, die auf das Vorhandensein von Gesichtern hinweisen, lassen sich nutzen, um beispielsweise Belichtungsparameter für die Bilderfassung zu steuern, oder um verarbeitete Bilddaten zu erzeugen, die sich beispielsweise auf die Farbbalance, auf das Vorhandensein von Gesichtern in dem Bild oder auf die Gesichtsdaten beziehen, die zusammen mit den Bilddaten auf einem Speichermedium gespeichert werden.
Die Erfindung wird im Folgenden anhand in der Zeichnung dargestellter Ausführungsbeispiele näher erläutert.
Es zeigen:
1 ein Blockdiagramm einer Gesichtserfassungskamera zur Darstellung einer Anordnung von erfindungsgemäßen Kameraelementen.
2 ein Blockdiagramm einer Bilderfassungssektion der in 1 gezeigten Kamera.
3 ein Ablaufdiagramm der Kameraoperationen der in 1 gezeigten Kamera in einem Anvisiermodus.
4 ein Ablaufdiagramm der Kameraoperationen der in 1 gezeigten Kamera in einem Finalbildmodus.
5 ein Ablaufdiagramm zur Darstellung der Erzeugung von Kompositions- oder Bildaufbauempfehlungen.
6 eine Darstellung eines Bildbereichs, der zur Anwendung des Drittelsatzes in ein Gitter unterteilt ist.
7A, 7B, 7C und 7D Beispiele der Formenmodelle für frontale und rechte, semi-frontale Posen, die in einem der Gesichtserfassungsalgorithmen zur Anwendung kommen.
8A und 8B grafische Darstellungen von Wahrscheinlichkeitsdichten für Haut, die in einem der Gesichtserfassungsalgorithmen zur Anwendung kommen.
9A und 9B grafische Darstellungen für Wahrscheinlichkeitsdichten für Haar, die in einem der Gesichtserfassungsalgorithmen zur Anwendung kommen.
10A, 10B und 10C ein Originalbild und dessen Rekonstruktion nach einer Hauptkomponentenanalyse gemäß einem der Gesichtserfassungsalgorithmen.
Da Bebilderungssysteme, die elektronische und Filmerfassung verwenden, bekannt sind, bezieht sich die vorliegende Beschreibung insbesondere auf Attribute, die Teil der erfindungsgemäßen Vorrichtung und Systeme sind oder direkt damit zusammenwirken. Hier nicht gezeigte oder beschriebene Attribute und Komponenten sind aus den nach dem Stand der Technik bekannten wählbar. In der folgenden Beschreibung würde ein bevorzugtes Ausführungsbeispiel des Gesichtserfassungsalgorithmus als ein Softwareprogramm implementiert werden, obwohl Fachleute selbstverständlich wissen, dass das Äquivalent zu dieser Software auch in Hardware implementierbar ist. Was die folgende Beschreibung des Systems und des Verfahrens betrifft, ist die gesamte Software-Implementierung von herkömmlicher Art und entspricht dem üblichen Kenntnisstand in dieser Technik. Wenn die Gesichtserfassung der vorliegenden Erfindung als Computerprogramm implementiert wird, kann das Programm auf einem herkömmlichen, computerlesbaren Speichermedium gespeichert werden, beispiels weise auf magnetischen Speichermedien, wie Magnetplatten (z.B. Diskette) oder auf Magnetband, optischen Speichermedien, wie einer optischen Platte, einem optischen Band oder einem maschinenlesbaren Strichcode, auf Halbleiterspeichervorrichtungen, wie RAM (random access memory) oder ROM (read only memory) oder auf jeder anderen physischen Vorrichtung oder jedem anderen Medium, das zur Speicherung eines Computerprogramms geeignet ist.
Wie in Blockdiagrammen aus 1 und 2 dargestellt, wird eine Kamera 10 als ein integriertes System gezeigt, das die Komponenten einer Standardkamera beinhaltet, einschließlich einer Bilderfassungssektion 20, einem Prozessor oder einer zentralen Verarbeitungseinheit (CPU) 30, einem digitalen Speicher 32 zur Speicherung erfasster Bilder und zugehöriger Anmerkungen, die sich auf die Bilder beziehen, sowie einer Displayeinrichtung 34 zur Anzeige erfasster Bilder und/oder anderer für den Betrieb der Kamera nützlicher Daten. Die Erfassungssektion 20 umfasst eine optische Sektion 21 mit Autofokus-Funktionalität zur Fokussierung eines Bildes 22 (das zum Zwecke dieser Beschreibung ein oder mehrere Gesichter umfasst) auf einem Bildsensor 23, beispielsweise einem konventionellen CCD (charge-coupled device). Ein Belichtungssteuerungsmechanismus 24 umfasst eine Blende und einen Verschluss zur Regulierung der Belichtung eines Bildes auf dem Bildsensor 23. Anstelle einer (oder zusätzlich zu einer) elektronischen Erfassungsvorrichtung kann die Erfassungssektion eine analoge Speichervorrichtung 25 umfassen, beispielsweise einen konventionellen fotografischen Film. Im Falle des bekannten APS-Films, der eine magnetische Aufzeichnungsschicht beinhaltet, kann eine Aufzeichnungsvorrichtung 26 ergänzende Daten aufnehmen, die die erfassten Bilder auf der Magnetschicht betreffen. Zur Beleuchtung des Bildes 22 bei unzuweichenden Lichtverhältnissen ist eine Blitzeinheit 27 vorgesehen.
Die CPU 30 ist über einen Systembus 40 mit einem RAM 42 (random access memory), einem ROM 44 (read only memory), einem I/O-Adapter 46 (input/output) verbunden (um die Bilderfassungssektion 20, den digitalen Speicher 32, die Aufzeichnungsvorrichtung 26 und die Blitzeinheit 27 mit dem Bus 40 zu verbinden), einem Kommunikationsadapter 48 (für den direkten Anschluss eines Informationshandlingsystems oder eines Datenverarbeitungsnetzes, beispielsweise des Internet), einer Zielnachführungsstufe 49 (zum Erzeugen eines Messrahmens 49a, der die Gesichter nachführt), einem Benutzeroberflächenadapter 50 (zum Anschließen von Vorrichtungen für die Benutzeroberfläche, wie einer Verschlusstaste 52, Blitzeinstelltasten 54, Belichtungsprogrammtasten 56, einem benutzergeführten Displaycursor 58 und/oder anderen mit dem Systembus 40 verbundenen Bedienungseinrichtungen), einem Algorithmusschnittstellenadapter 60 (zum Anschluss verschiedener gespeicherter Algorithmen an den Systembus 40, einschließlich eines Gesichtserfassungsalgorithmus 90) und einer Display-Schnittstelle 70 (zum Anschluss des Systembusses 40 an die Displayeinrichtung 34). Die CPU 30 ist ausreichend leistungsstark und hat einen ausreichend bemessenen Speicher 42 und 44, um den Gesichtserfassungsalgorithmus 90 ausführen zu können. Eine mit dem Systembus 40 verbundene Trainingsdatenbank verfügt über ausreichende Trainingsdaten, um dem Gesichtserfassungsalgorithmus 90 den Betrieb für einen großen Bereich an Bebilderungsbedingungen zu ermöglichen. In dem vorliegenden Ausführungsbeispiel, wie nachfolgend detaillierter beschrieben wird, umfasst der Gesichtserfassungsalgorithmus zwei Komponentenalgorithmen, nämlich einen ersten Komponentenalgorithmus, der einen potentiellen Gesichtsbereich des Bildes anhand eines Vergleichs zwischen Gesichtsformenmodellen und Gesichtswahrscheinlichkeiten ermittelt, die den Bildpixeln innerhalb des Bereichs zugeordnet sind, und einem zweiten Komponentenalgorithmus, der den potentiellen Gesichtsbereich einer Musteranalyse unterzieht, um jeden Bereich des Bildes zu untersuchen und damit das Vorhandensein eines Gesichtes in dem Bereich zu bestätigen. Der Vorteil bei dieser Kombination liegt darin, dass der erste Komponentenalgorithmus schnell arbeiten kann, allerdings mit einer gewissen Fehlerquote, und dass der zweite Komponentenalgorithmus seine berechnungsintensive Verarbeitung auf relativ wenige Bereiche beschränkt, die von dem ersten Algorithmus positiv erkannt wurden.
Die Ergebnisse der Gesichtserfassung werden benutzt, um eine Reihe von Kamerafunktionen zu steuern, die in den Algorithmen ausgeführt sind, die mit dem Datenbus 40 über den Algorithmusschnittstellenadapter 60 verbunden sind. Die Ergebnisse der Gesichtserfassung werden von einer Zielnachführungsstufe 49 nachgeführt, um den Mittelpunkt einer oder mehrerer Gesichtspositionen nachzuführen. Der Messrahmen wird wie in US-A-5,430,809 beschrieben, verwendet, um die zum Zwecke der automatischen Fokussierung, der automatischen Belichtung, des automatischen Farbabgleichs und des automatischen Weißabgleichs gesammelten Daten auf die Gesichtsbereiche zu beschränken. Der Messrahmen kann ein kleiner, punktförmiger Bereich sein, oder er kann derart konfiguriert sein, dass seine Grenzen im Allgemeinen mit den Grenzen eines oder mehrerer Gesichter zusammenfallen; in beiden Fällen ist vorgesehen, die für die Algorithmen gesammelten Daten auf Gesichtsdaten oder einige Muster davon zu beschränken. Diese Algorithmen umfassen einen Rote-Augen-Korrekturalgorithmus 80, einen Belichtungssteuerungsalgorithmus 82, einen Blitzsteuerungsalgorithmus 84, einen Fokussteuerungsalgorithmus 86, einen Farbbalancesteuerungsalgorithmus 88 und einen Kompositionsalgorithmus 92. Der Rote-Augen-Korrekturalgorithmus 80 stimmt die gespeicherten, digitalen Pixelwerte ab, um einen von der Blitzeinheit 27 erzeugten Rote-Augen-Zustand zu entfernen. Der Belichtungssteuerungsalgorithmus 82 ermittelt aus dem Messrahmen 49a Parameter für den Bildbelichtungssteuerungsmechanismus 24 in der Bilderfassungssektion 20 der Kamera, um die Gesichter einwandfrei zu belichten. In Verbindung mit der Ermittlung der Belichtungssteuerung ermittelt der Blitzsteuerungsalgorithmus 84, ob der Blitz zur optimalen Erfassung der Gesichtsbilder ausgelöst werden soll. Die Kamera verwendet den Fokussteuerungsalgorithmus 86, um Entfernungsdaten von dem Messrahmen 49a abzuleiten und um einen zielbaren Fokussiermechanismus in der Optiksektion anhand der Ergebnisse eines Anvisierbildes derart einzustellen, dass ein final erfasstes Bild einwandfrei auf die Gesichtsbereiche fokussiert ist. Der Farbbalancesteuerungsalgorithmus 88 wird auf die digitale Bilddatei angewandt, um die Darstellung der Hautbereiche innerhalb des Messrahmens 49a so zu optimieren, dass diese dem erwarteten Farbbereich der Hauttöne entsprechen.
Die Displayeinrichtung 34 ermöglicht es einem Fotografen, ein Bild vor der Erfassung zu betrachten und/oder das zuletzt erfasste Bild anzusehen. Zudem ist ein optischer Sucher 28 vorgesehen, um ein Bild vorab zu betrachten. Darüber hinaus kann die CPU 30 den Gesichtserfassungsalgorithmus verwenden, um Gesichter innerhalb des betrachteten Bildes bei Bedarf hervorzuheben. Zu diesem Zweck kann ein halbtransparentes LCD-Overlay 29 in dem optischen Sucher 28 bereitgestellt werden; ein LCD-Treiber 29a aktiviert bestimmte Bereiche des LCD-Overlays 29, die einer oder mehreren Gesichtspositionen entsprechen, und zwar abhängig von Gesichtspositionsdaten aus der CPU 30 (eine derartige LCD-Maske wird in US-A-5,103,254 beschrieben). Die CPU 30 kann hervorgehobene oder umrissene Gesichter erzeugen, indem sie den Mustergenerator 74 über die Display-Schnittstelle 70 ansteuert, um beispielsweise einen Rahmen über einem Gesicht in einem an der Displayeinrichtung 34 angezeigten Betrachtungsbereich darzustellen. Zudem können die Gesichter seitens eines Fotografen markiert werden, indem dieser den Cursor 58 auf den Betrachtungsbereich der Displayeinrichtung 34 bewegt, so dass dieser beispielsweise auf einem Gesicht liegt oder um ein Gesicht herum einen Rahmen zieht. Auch dieses könnte durch den LCD-Treiber 29a und das LCD-Overlay 29 in dem optischen Sucher 28 erfolgen.
Ein weiterer Vorteil der vorliegenden Erfindung besteht darin, dass die der Erfassung von Gesichtern in einem Bild zugeordneten Daten automatisch aufgezeichnet und als eine Anmerkung einem Bild beigefügt werden könnten. Dies ermöglicht die automatische Aufzeichnung wichtiger Motive innerhalb einer fotografischen Aufzeichnung von Ereignissen, ohne dass der Fotograf die Anmerkungen zum Zeitpunkt der Bilderfassung oder zu einem späteren Zeitpunkt vornehmen müsste. Die Erfassung von Gesichtern in der Szene ermöglicht wesentliche zusätzliche Verbesserungen des Bilderfassungsereignisses und in der nachfolgenden Verarbeitung des Bildes. Die Gesichtserfassung eignet sich beispielsweise zur Indizierung von Bildern für den späteren Rückgriff, indem beispielsweise auf Bilder zugegriffen wird, die als Motiv einen oder mehrere Menschen beinhalten. Die Ausführung des Gesichtserfassungsalgorithmus erzeugt somit Gesichtsdaten, die einem oder mehreren Parametern entsprechen, wie der Lage, der Ausrichtung, dem Maßstab und der Pose eines oder mehrerer der erfassten Gesichter. Nachdem Gesichter erfasst worden sind, lässt sich zudem ein einfacher Gesichtserkennungsalgorithmus anwenden, um Gesichter aus einer kleinen Galerie von Trainingsgesichtern zu identifizieren, die die Kamera zuvor mit Unterstützung des Benutzers erfasst und in einer Trainingsdatenbank gespeichert hat. Die Ergebnisse der Gesichtserfassung und die Lage werden in einem, dem Bild anhängenden Zusatzdatenbereich abgelegt und gemeinsam in dem Pufferspeicher im RAM 42 gespeichert. Bilder werden beispielsweise mit den Koordinaten der erfassten Gesichter, der geschätzten Gesichtsgröße, der Position der Augen, einer ungefähren Schätzung der Posenparameter des Kopfes und der Identität jedes Individuums ergänzt. Sobald ein Bild zur Speicherung ausgewählt worden ist, können das Bild und die Zusatzdaten entweder gemeinsam in dem digitalen Bildspeicher 32 gespeichert werden, oder die Zusatzdaten können in der Magnetschicht des analogen Bildspeichers 25 gespeichert werden (das Bild würde als konventionelles Latentbild auf der fotografischen Emulsion gespeichert werden). In einer Konfiguration für eine Digitalkamera werden die erfassten Bilddaten in dem Speichermedium in digitalen Ordnern aufgezeichnet, die Bildern mit einer bestimmten Anzahl von Gesichtern in der Szene zugeordnet sind.
Es sei darauf hingewiesen, dass ein weiteres Ausführungsbeispiel der Erfindung eine Hybridkamera ist, die ein Bild einer Szene sowohl auf einem elektronischen Medium, wie beispielsweise dem Bildsensor 23, als auch auf einem Filmmedium, wie dem APS-Film 25, erfasst. In diesem Ausführungsbeispiel verarbeitet die CPU 30 die Bilddaten aus dem Bildsensor 23, um das Vorhandensein eines oder mehrerer Gesichter in der Szene zu ermitteln, und Gesichts daten werden entsprechend der Lage, dem Maßstab oder der Pose mindestens von einem Gesicht in dem Bild erzeugt. Diese Gesichtsdaten könnten dem Benutzer der Kamera am Display 34 angezeigt werden, um das erfasste Bild zu bewerten. Wenn die Gesichtsdaten (oder das Bild) auf ein Problem mit dem erfassten Bild hinweisen, würde der Benutzer die Gelegenheit haben, das Bild auf einem anderen Bildfeld des Films 25 erneut zu erfassen. Zudem könnten die Gesichtsdaten auf die Magnetschicht des Filmmediums 25 durch Aktivierung der Aufzeichnungseinheit 26 geschrieben werden.
Wie in 3 und 4 gezeigt, arbeitet die Kamera zunächst in einem Anvisiermodus und dann in einem finalen Bebilderungsmodus. In jedem Modus bietet die Kamera zahlreiche Automatikfunktionen zur Unterstützung des Fotografen. Der Fotograf hat die Wahl, den Anvisiermodus durch den Benutzeroberflächenadapter 50 zu deaktivieren, wodurch er die Erfassung des Anvisierbildes unterbindet und direkt in den finalen Bebilderungsmodus wechselt.
Anvisiermodus.
In dem in 3 gezeigten Anvisiermodus erfasst die Kamera 10 in Schritt 100 durch Betätigung der Erfassungssektion 20 ein Anvisierbild. Die CPU 30 führt dann den Gesichtserfassungsalgorithmus 90 in Schritt 120 aus, womit sie versucht, Gesichter in dem Anvisierbild zu erfassen und dem Fotografen im Sucher 28 oder an der Displayeinrichtung 34 deren Lage anzuzeigen. Insbesondere verwendet der Gesichtserfassungsalgorithmus Gesichtstrainingsdaten aus der Trainingsdatenbank 72, um Gesichter aufzufinden. Sofern Gesichter in dem Entscheidungsblock 130 erfasst werden, werden die Gesichtslagedaten in Schritt 140 im RAM 42 zur nachfolgenden Verwendung von einer oder mehreren Kameraalgorithmen gespeichert. Die Gesichtslagedaten werden von der Display-Oberfläche 70 verarbeitet, d.h. dass beispielsweise die an der Displayeinrichtung 34 gezeigten Gesichter mit einem Rahmen oder einem anderen Umrissmerkmal umgeben werden. Wenn der Gesichtserfassungsalgorithmus 90 keine Gesichter finden kann, wird diese Tatsache in dem Ergebnis des Entscheidungsblocks 130 berücksichtigt. In Reaktion auf eine nicht erfolgte Gesichtserfassung, d.h. wenn keine Gesichter aufgefunden werden konnten, kann der Fotograf über den Pfad 132 an den Anfang zurückkehren, den Bildaufbau der Szene verändern und einen neuen Erfassungslauf beginnen, oder er kann in einem manuellen Entscheidungsblock 134 eine manuelle Eingabe in die Kamera mithilfe des Cursors 58 vornehmen, um ein Gesicht am Sucher 28 oder am Display 34 manuell zu lokalisieren. Andere Eingabetechniken sind ebenfalls verwendbar, beispielsweise ein (nicht gezeigter) berührungsempfindlicher Bildschirm und Stift. Mit Kenntnis des Vorhandenseins eines Gesichts und der Lage des Gesichts in dem Anvisierbild ist die Kamera 10 anschließend in der Lage, dem Fotografen wertvolle Dienste bereitzustellen, die dazu verwendet werden können, das final erfasste Bild zu verbessern. Derartige Dienste umfassen die Fokussierungsunterstützung, die Belichtungs- und Blitzeinstellung sowie Kompositionshilfen, wie nachfolgend beschrieben.
Fokussierungsunterstützung.
Viele moderne Kameras bieten eine automatische Fokussierung oder eine benutzerseitig veranlasste Fokussierung über einen Fokussierungszielpunkt im Sucher. Da Menschen, sofern sie aufgenommen werden, normalerweise die wichtigsten Motive in Bildern darstellen, ist es sinnvoll, das Bild auf die Gesichter der Menschen zu fokussieren, sofern der Fotograf keine anderen Instruktionen erteilt. In der Technik sind Systeme bekannt (siehe beispielsweise US-A-5,749,000), die mehrere Fokuserfassungsbereiche und einen steuerbaren Auswahlmechanismus umfassen, der einen dieser Bereiche abhängig von einem Eingangssignal auswählt (beispielsweise einer Sprachanweisung). Alternativ hierzu und wie in dem vorstehend genannten Patent US-A-5,430,809 beschrieben, lässt sich die Autofokussierung innerhalb eines Messrahmens durchführen, der auf ein Gesicht eingestellt ist. In Verbindung mit der vorliegenden Erfindung und nach Durchführung der Gesichtserkennung in dem Anvisierbild aktiviert die Kamera 10 den Fokussteuerungsalgorithmus 86 in einem Fokussierschritt 150, um das steuerbare Autofokussystem in der Optiksektion 21 zu verwenden und einen bestimmten Fokuserfassungsbereich auszuwählen, der das Bild optimal auf die Gesichter in der Szene fokussiert. (Alternativ hierzu könnte der Fokus optimal auf das größte Gesicht in der Szene eingestellt werden, von dem angenommen wird, dass es das primäre Motiv darstellt.)
Belichtungs- und Blitzeinstellung.
Die Kamera 10 sieht eine automatische Belichtungssteuerung und einen automatischen Blitzeingriff durch den Belichtungssteuerungsalgorithmus 82 und den Blitzsteuerungsalgorithmus 84 vor. Eine typische mikroprozessorgesteuerte Belichtungssteuerungseinrichtung wird in US-A-4,503,508 beschrieben und für Umgebungs- und Blitzbelichtung verwendet. Die von diesem Patent vorgesehene Belichtungssteuerungsfunktionalität kann auf den Gesichtsbereich innerhalb des Messfensters 49a beschränkt oder gerichtet werden, wie in Bezug zu dem zuvor genannten Patent US-A-5,430,809 beschrieben. Da Menschen normalerweise das wichtigste Motiv in Bildern sind, in denen sie erscheinen, ist es sinnvoll, die Belichtung auf das Vorhandensein von menschlichen Gesichtern zu optimieren, sofern der Fotograf keine anderen Instruktionen erteilt. Nach Durchführung der Gesichtserfassung im Anvisierbild nutzt die Kamera ihren automatischen Belichtungsalgorithmus 82, um die Bildbelichtung in einem Schritt 160 auf den Erfassungsbereich optimal einzustellen, der dem Schwerpunkt der Gesichter in der Szene entspricht. (Alternativ hierzu könnte die Belichtung optimal auf das größte Gesicht in der Szene eingestellt werden, von dem angenommen wird, dass es das primäre Motiv darstellt.) Der Belichtungssteuerungsalgorithmus 82 ermittelt anhand der Ausleuchtung der Gesichter in der Szene, ob der Blitz 27 ausgelöst werden muss. Wenn die Beleuchtung unzureichend ist, schaltet sich der Blitzsteuerungsalgorithmus 84 ein und steuert die Blitzeinheit 27 in Schritt 170.
Bildaufbauhilfen.
Die Gesichtserfassungskamera 10 stellt in Schritt 180 einen Kompositionsunterstützungsmodus bereit, womit der Fotograf beim Aufbau des Bildes unterstützt wird. Vielen Hobby-Fotografen gelingt aus ästhetischer Sicht nur eine unzureichende Bildkomposition. Zusammen mit einer fehlerhaften Fokussierung und Belichtung zählt der schlechte Bildaufbau wohl zu den Hauptursachen für nicht zufriedenstellende Bilder. Verschiedene heuristische "Daumenregeln" gelten als allgemein anerkannte Richtschnur für die Komposition gelungener Bilder.
Ein zu kleines Hauptmotiv macht beispielsweise ein Bild uninteressant. Nach der sogenannten "Drittelregel" sollte das Hauptmotiv ungefähr auf einer Achse liegen, die das Bild jeweils zu ein Drittel teilt, und zwar entweder vertikal, horizontal oder in beiden Richtungen. Diese Grundregeln werden detailliert beschrieben in Grill, T. and Scanlon, M., Photographic Composition, Amphoto Books, 1990.
Die Gesichtserfassungskamera 10 stellt den Bildaufbau-Unterstützungsmodus 180 bereit, in dem ein Bildaufbaualgorithmus 82 anhand der Ergebnisse der Gesichtserfassung in dem Anvisierbild aktiviert wird, um Bildaufbauempfehlungen zu erzeugen, die in dem Sucher oder an der Displayeinrichtung 34 angezeigt werden. Der Bildaufbaualgorithmus geht anhand der in 5 gezeigten Schritte vor, wobei jedoch darauf hingewiesen sei, dass auch andere Bildaufbauelemente geprüft werden könnten (wie in der genannten Quelle von Grill und Scanlon beschrieben). Eine Bildaufbauhilfe vergleicht den Bereich des größten erfassten Gesichts mit dem gesamten Bildbereich (Schritt 181). Wenn der Vergleich einen Schwellenwert (Schritt 182) überschreitet, was darauf hinweist, dass die Gesichter zu klein sind, empfiehlt ein Hinweis am Display 34, die Kamera näher an das Hauptmotiv heranzuführen (Schritt 183). Eine zweite Bildaufbauhilfe vergleicht (Schritt 184) die Mittelpunkte der Gesichter mit Gitterlinien, wie in 6 gezeigt, die die Drittelregel darstellen, nämlich die Position in dem Bild, in dem das Hauptmotiv am besten zur Geltung kommt (eine detaillierte Beschreibung findet sich bei Grill und Scanlon auf Seite 22). Wenn die Gesichter stark von den Gitterlinien abweichen (Schritt 185), empfiehlt ein Hinweis am Display 34, das Hauptmotiv nach der Drittelregel anzuordnen, um ein gefälligeres Bild zu erhalten (Schritt 186). Eine Drittelbildaufbauhilfe sucht nach Gesichtern, die von den Bildrändern geschnitten werden (Schritt 187). Wenn ein Schwellenwert anzeigt, dass ein wesentlicher Teil des Gesichts von der Kameraapertur abgeschnitten wird (Schritt 188), erscheint am Display 34 ein entsprechender Hinweis für den Fotografen (Schritt 189). Eine vierte Bildaufbauhilfe setzt die Gesichtsmittelpunkt in Beziehung zu einer horizontalen Linie (Schritt 190). Wenn die Gesichter auf einer gemeinsamen horizontalen Linie zu liegen scheinen (Schritt 192), wird empfohlen, die Höhe der Gesichter in einem Bild von einer Gruppe von Menschen zu variieren, um eine interessantere Bildaussage zu erhalten. Die Darstellung in 5 soll einen derartigen Algorithmus allgemein darstellen, wobei andere Bildaufbauregeln, wie die in der genannten Quelle von Grill und Scanlon beschrieben, die durch Nennung als hierin aufgenommen betrachtet wird, in ähnlicher Weise implementiert werden können.
Finaler Bebilderungsmodus.
Unmittelbar nach Erfassung und Verarbeitung des Anvisierbildes, wie in 3 gezeigt, ist die Kamera zur Erfassung des finalen Bildes bereit, wie in 4 gezeigt, wobei dem Fotografen die im vorherigen Abschnitt beschriebenen und in den Schritten 150–180 erwähnten Hilfen bereitgestellt worden sind. Die in 4 gezeigten ersten Schritte 200–240 sind mit den Schritten 100–140 aus 3 identisch und werden daher nicht weiter beschrieben. Zusätzlich dazu werden in 4 weitere Hilfen direkt auf das finale Bild angewandt. Wie zuvor erwähnt, kann der Fotograf entscheiden, nur mit einem finalen Bild zu arbeiten (wobei das Anvisierbild wegfällt), wenn ausschließlich die zweite Gruppe von Hilfen gewünscht wird. Wenn das an der Displayeinrichtung 34 dargestellte Anvisierbild dem Benutzer als zufriedenstellend erscheint, kann dieses als permanentes Bild gespeichert werden. In beiden Fällen werden mehrere Dienste als Teil des finalen Bebilderungsmodus bereitgestellt, unter anderem eine optimale Farbbalance, eine Rote-Augen-Anzeige- und Korrektur, eine Ausrichtungsmarkierung und Gesichtsbezeichnung.
Optimale Farbbalance.
Während das menschliche Auge in der Lage ist, Farben über unterschiedliche Szenenbedingungen hinweg konstant wahrzunehmen, verfügen weder analoge noch digitale Kameras über diese Fähigkeit. Beispielsweise erscheint dem menschlichen Auge die Farbe eines Objekts gleich, unabhängig davon, ob das Objekt in Sonnenlicht, in diffusem Licht oder in Kunstlicht betrachtet wird; im Unterschied dazu führen diese drei Szenenzustände bei Erfassung auf einem identischen fotografischen Film notwendigerweise zur Reproduktion sehr unterschiedlicher Farben. Es ist daher üblich, Farbbalancealgorithmen (CBAs) auf erfasste Bilder anzuwenden, bevor diese gedruckt oder in anderer Form angezeigt werden. Die automatischen Farbbalancealgorithmen nach dem Stand der Technik versuchen, die gängigsten Szenenlichtverhältnisse zu kompensieren.
Eine bessere Farbbalance lässt sich für ein Bild durchführen, indem man bestimmte Aspekte über die Art der Objekte in der Szene sowie deren relative Bedeutung berücksichtigt. Wenn die gesamte Szene einwandfrei reproduziert ist, die Farbe der Gesichter jedoch deutliche Farbveränderungen aufweist, gilt das gesamte Bild als inakzeptabel. Menschen reagieren auf die falsche Wiedergabe von Hauttönen sehr empfindlich, wobei es allerdings kulturelle Unterschiede bezüglich dessen gibt, was als inakzeptabel betrachtet wird. Die Abweichungen der Hauttöne unter unterschiedlichen Personen und ethnischen Gruppen lassen sich statistisch kategorisieren und einordnen. Es kann allerdings zufällig vorkommen, dass die natürliche Schwankung von Hauttönen und störende Fehler bei der Hauttonwiedergabe auf orthogonale Verschiebungen in ansonsten einwandfrei ausgewählten Farbraumdarstellungen zurückzuführen sind. Die Hautfarben verändern sich entlang der Blau-Rot-Dimension, während inakzeptable Wiedergabefehler hauptsächlich die Grün-Purpurrot-Dimension betreffen.
Die Kenntnis des Vorhandenseins und der Lage von Gesichtern in einer Szene kann in zweifacher Hinsicht zu einer verbesserten Farbbalance führen. Wenn nur eine globale Bildkorrektur zur Verfügung steht (wie beim optischen Drucken analoger Bilder), kann die Bestimmung der globalen Beleuchtung derart abgestimmt werden, dass die Hauttöne der Gesichter harmonisch wiedergegeben werden. Die Gesichtserfassungskamera ermöglicht durch Aufzeichnung der Lage und Größe der Gesichter in der Magnetschicht des analogen Films 25 eine Optimierung der Farbbalance zur einwandfreien Wiedergabe der Hauttöne in den Gesichtern durch die optische Fotofinishing-Ausrüstung. Wenn ein digitaler Verarbeitungsschritt zur Verfügung steht, lassen sich die Gesichtsbereiche unabhängig von globalen Überlegungen zur Beleuchtung korrigieren. Dies ist das bestmögliche Szenario, das zu einem besseren Ausdruck führt, als dies durch ausschließlich optische Mittel möglich wäre, da sowohl die primären Motive (Menschen) als auch die Hintergrundbereiche ansprechend reproduziert werden können. In jedem Fall verwendet die Kamera 10 einen Farbbalancealgorithmus 88 in einem Gesichtspräferenz-Korrekturschritt 260, um eine optimale Farbbalance für das Bild zu erreichen, die sich zumindest teilweise auf die lokalisierten Gesichter stützt. Insbesondere kommuniziert die CPU 30 mit dem Messrahmen 49a, der von der Nachführungsstufe 49 erstellt wurde, um Farbdaten aus den erfassten Gesichtern zu sammeln und dann den Farbbalancealgorithmus 88 auf den Gesichtsbereich zu gewichten.
Rote-Augen-Meldung und -korrektur.
Ein Rote-Augen-Erfassungsalgorithmus 80, wie beispielsweise der in der Parallelanmeldung US-A-5,432,863 beschriebene, wird in der Rote-Augen-Korrekturstufe 270 gegen das final erfasste Bild durchgeführt. Das erfasste Vorhandensein eines Gesichts wird als zusätzlicher Nachweis in dem Rote-Augen-Algorithmus 80 verwendet, um eine irrtümliche positive Erkennung zu vermeiden. Das Vorhandensein von zwei erfassten roten Augen sollte durch den Nachweis eines vorhandenen Gesichts bekräftigt werden. Das Vorhandensein roter Augen kann der Display-Schnittstelle 70 auch von dem Rote-Augen-Erfassungsalgorithmus gemeldet werden, worauf die Schnittstelle eine entsprechende Warnung an die Displayeinrichtung 34 weiterleitet. Nach Eingang der Rote-Augen-Meldung kann sich der Fotograf entscheiden, ein weiteres Bild aufzunehmen. Alternativ hierzu, und sofern die Kamera 10 eine Digitalkamera ist, kann der automatische Rote-Augen-Korrekturalgorithmus aufgerufen werden, um die störenden roten Punkte in den Augen zu entfernen.
Ausrichtungsmarkierung.
Viele Aufträge von Endverbrauchern zur Vervielfältigung ihrer Fotografien werden mittlerweile mit einem Index-Print ausgeliefert, auf dem kleine Abbildungen jeder Fotografie in Folge dargestellt sind. Der Nutzen des Index-Prints wird herabgesetzt, wenn nicht alle Bilder in der natürlichen, richtigen Ausrichtung abgedruckt sind. Das Vorhandensein von Gesichtern in einem Bild ist ein leistungsstarkes Mittel zur Bestimmung der richtigen Ausrichtung. Beispielsweise lassen sich die Gesichtsabmessungen in ihre Hauptachsen trennen, wobei die längste Achse als die von oben nach unten verlaufende Achse interpretiert werden kann; anschließend kann einer der später beschriebenen Gesichtserfassungsalgorithmen den Haarbereich ermitteln und somit eine richtige Ausrichtung bestimmen. Die Mehrzahl der Gesichter ist vertikal oder nahezu vertikal im Sinne der gesamten Bildausrichtung angeordnet. Der Gesichtserfassungsalgorithmus 90 in der Gesichtserfassungskamera 10 ermittelt die Ausrichtung und markiert jedes erfasste Bild in der Bildspeichervorrichtung 32 (oder 25) mit einer Anmerkung zur richtigen Ausrichtung, wie anhand der in dem Ausrichtungsschritt 280 ermittelten Gesichtsausrichtung empfohlen.
Gesichtsbezeichnung.
Nachdem Gesichter erfasst worden sind, kann ein einfacher Gesichtserkennungsalgorithmus angewandt werden, um Gesichter aus einer kleinen Galerie von Trainingsgesichtern zu identifizieren, die die Kamera zuvor mit Hilfe des Benutzers erfasst und in der Trainingsdatenbank 72 abgelegt hat. Die Galerie sollte beispielsweise die einzelnen Personen einer Familie enthalten oder Kinder einer Schulklasse. Wenn von der Kamera ein neues Bild erfasst und die Gesichter ermittelt worden sind, kann die Identität jedes Individuums, wie von dem Gesichtserkennungsalgorithmus ermittelt, zusammen mit dem Bild in dem digitalen Speicher 32 oder auf der Magnetschicht des Films 25 aufgezeichnet werden. Diese Gesichtsidentitätsinformationen fließen zusammen mit dem Bild in das Fotofinishing oder in die nachfolgende Computerverarbeitung ein. Die Informationen können dazu dienen, automatisch Etiketten mit den Namen der in dem Bild dargestellten Personen zu drucken. Andere mögliche Anwendungen betreffen die automatische Erstellung von Alben, die Bilder einer einzelnen Person oder einer Personengruppe enthält, wie vom Kunden angegeben. Für einen typischen Gesichtserkennungsalgorithmus steht eine Reihe kommerziell erhältlicher Gesichtserkennungsprodukte zur Verfügung, die entsprechende Software-Entwicklungskits bereitstellen, welche es ermöglichen, die Algorithmen als größere Systeme einzubinden. Beispielsweise wäre das "Face-It"-System von Visionics Corp. zur Verwendung als Gesichtserkennungsalgorithmus geeignet.
Gesichtserfassungsalgorithmen.
Ein Gesichtserfassungsalgorithmus, der in einer Digitalkamera arbeitet, muss die Kriterien erfüllen, die erforderlich sind, um einen Betrieb unter begrenzten Rechen- und Speicherressourcen zu ermöglichen. Das bedeutet, dass der Algorithmus schnell (in weniger als einer Sekunde) und mit ausreichend hoher Leistung in Bezug auf die Richtigkeit der Erkennung arbeiten muss. Unter Berücksichtigung der begrenzten Ressourcen impliziert die Tatsache, dass die Ergebnisse des Algorithmus einem menschlichen Bediener gezeigt oder von diesem verwendet werden, eine gewisse Toleranz gegenüber Algorithmenfehlern. Diese Toleranz ist ein Merkmal der vorliegenden Erfindung.
Das vorliegende Ausführungsbeispiel sieht eine Kombination aus zwei Gesichtserfassungsalgorithmen vor, deren gemeinsame Verwendung eine höhere Leistung in Bezug auf die Erfassungsgenauigkeit erzielt, als dies mit den einzelnen Algorithmen möglich wäre. Der erste Detektor, die Komponente W, ist ein sehr schneller, vorgeschalteter Scanner zur Analyse auf mögliche Gesichter. Der zweite Detektor, Komponente S, ist ein ausgefeilter Mustervergleichsalgorithmus, der sich durch eine sehr niedrige Fehlerquote auszeichnet. Die von der Komponente W bezeichneten potenziellen Gesichter werden anschließend von der Komponente S überprüft, um eine abschließende Entscheidung zu treffen.
Komponente W.
Wu et al. haben einen Gesichtserfassungsalgorithmus veröffentlicht (nachfolgend in modifizierter Form als Komponente W bezeichnet), der sich zur Einbindung in eine Digitalkamera eignet (siehe Wu, H., Chen, Q. und Yachida, M., "Face Detection from Color Images Using a Fuzzy Pattern Matching Method", IEEE Trans. Pattern Analysis and Machine Intelligence, 21(6), 557–563, 1999). Der Algorithmus arbeitet sehr schnell und stellt nur geringe Ansprüche an Programmspeicher und Trainingszustand. Die Komponente W ist eine Art ad-hoc-Mustererkenner, der nach Bildfenstern sucht, die aufgrund ihrer Farbcharakteristik wahrscheinlich Gesichter enthalten. Dieses Verfahren sucht im Wesentlichen nach Fenstern, in denen der mittlere Bereich wahrscheinlich Haut beinhaltet, wobei sich die Suche auf Farbe und Form stützt; ebenso wird in den Umgebungsbereichen (also oberhalb und an den Seiten) anhand von Farbe und Form nach Haar gesucht. Da das Verfahren auf Farbsignalen beruht, ist es erforderlich, dass die Bilder, auf die es angewandt wird, in einer aussagekräftigen Farbmetrik codiert sind.
Die Komponente W umfasst eine Trainings- und eine Testphase. Die Trainingsphase beinhaltet das Sammeln von Haut- und Haarfarbverteilungen sowie die Erhebung von Formenmodellen aus geeigneten Trainingsbeispielen. In der Testphase wird ein Fenster über das Bild geführt, um ein vollständiges Spektrum von Maßstäben und Positionen zu erfassen. Die Komponente W geht implizit davon aus, dass die richtige Ausrichtung des Bildes in der Vertikalen bekannt ist, und dass die Gesichter ungefähr auf die Bildausrichtung ausgerichtet sind. Diese Vermutung könnte untermauert werden, indem die gesamte Gesichtssuche mehrmals ausgeführt wird, und zwar einmal für jede mögliche Bildausrichtung, insgesamt aber nur dreimal, da ausgeschlossen werden kann, dass die Kamera auf dem Kopf stehend verwendet würde. In der Testphase führt der Algorithmus folgende Schritte einmal für jedes zu prüfende Bildfenster durch:

1) Berechnung der Haut- und Haar-Wahrscheinlichkeitszuordnungen. Hierbei handelt es sich um einen Vergleich jedes Pixels in einem digitalisierten Bild mit vorbestimmten Wahrscheinlichkeitstabellen aus Haut- und Haartönen, wodurch eine A-posteriori-Wahrscheinlichkeit abgeleitet wird, dass das Pixel menschliche Haut oder menschliches Haar darstellt. Die Wahrscheinlichkeitstabellen müssen off-line gesammelt und in der Kamera gespeichert werden. Sie werden mit dem gleichen Bildsensor wie in der Digitalkamera unter Verwendung identischer Spektralempfindlichkeiten erfasst.
2) Konvertierung der Wahrscheinlichkeiten in geschätzte Bereichsfraktionen mittels Nichtlinearität. Gesichtsformenmodelle werden ebenfalls off-line aus Trainingsbeispielen gebildet. Diese Modelle codieren die Wahrscheinlichkeit des Vorhandenseins von Haut- und Haarfarben in jeder Zelle eines rechteckigen Gitters, das über räumlich normalisierten menschlichen Gesichtern in einer kleinen Menge aus Standardkopfposen gelegt wird.
3) Durchführung einer Fuzzy-Musterzuordnung mit Gesichtsformenmodellen. Ein rechtwinkliges Fenster wird nacheinander über jede Pixelposition des Bildes geführt, um zu beurteilen, ob das Fenster ein Gesicht enthält. Um Gesichter von unterschiedlicher Größe zu berücksichtigen, wird der Abtastprozess mithilfe von Fenstern wiederholt, die sich innerhalb eines Größenbereichs ändern. Die Beurteilung, ob ein Gesicht in einem Fenster des Bildes vorhanden ist, wird anhand eines Fuzzy-Vergleichs zwischen den zuvor ermittelten Gesichtsformenmodellen und der tatsächlichen Verteilung von A-posteriori-Wahrscheinlichkeiten bezüglich Haut und Haar in jeder Zelle des Fensters getroffen. Der Fuzzy-Vergleich verwendet parameterisierte Nicht-Linearitäten, wie in dem Beitrag von Wu et al. beschrieben, die in einer Kalibrierungsstufe abgestimmt werden, um die besten Ergebnisse zu erzielen.

Jeder dieser Schritte wird nachfolgend nach Vorstellung der Gesichtsformenmodelle detailliert beschrieben. Es sei darauf hingewiesen, dass der Beitrag von Wu et al. ausführliche Erläuterungen hierzu enthält.
Formenmodelle.
Die Kopfformenmodelle sind niedrig aufgelöste Darstellungen der räumlichen Verteilung von Haut und Haar in typischen Gesichtsposen. Es gibt ein Modell für Haut und ein Modell für Haar für jede jeweilige Pose. Jedes Modell besteht aus m × n Zellen (derzeit ist m = 12 und n = 10), wobei jede Zelle die Fraktion der Zelle codiert, die von Haut (für Hautmodelle) oder Haar (für Haarmodelle) für typische Köpfe in einer gegebenen Pose besetzt ist. Ein Bildfenster kann räumlich zu den Zellen in den Formenmodellen in Beziehung gesetzt werden. Je nach Auflösung des Fensters kann ein einzelnes Pixel oder ein Pixelblock jeder Modellzelle entsprechen. Die Modelle wurden mithilfe einer Menge von Trainingsbildern erstellt, auf die Affintransformationen angewandt wurden, um die beiden Augen in Standardposition anzuordnen. Die räumlich normalisierten Bilder wurden dann manuell in Haut- und Haarbereiche segmentiert, worauf die fraktionale Zellbelegung bei den Auflösungen der Modelle berechnet wurde. Ein Beispiel der Formenmodelle für frontale und rechte halb-frontale Posen zeigt 7. Die Modelle werden in der Trainingsdatenbank 72 (in 1 gezeigt) gespeichert, wobei die Belegungsfraktion graustufencodiert ist.
Berechnung der Haut- und Haar-Wahrscheinlichkeitszuordnungen.
Die Aufgabe besteht an diesem Punkt darin, Wahrscheinlichkeitsverteilungen für die Haut- und Haarfarben aus Trainingsbildern zu erfassen. Das Ziel besteht darin, Wahrscheinlichkeitstabellen der Form P(Haut|Farbe) und P(Haar|Farbe) zu erstellen. Anstatt den für die Wahrnehmung uniformen Farbraum nach Farnsworth zu verwenden, wie in der Veröffentlichung von Wu et al. beschrieben, verwendet die vorliegende Erfindung den Farbraum (L, s, t) als bevorzugte Farbmetrik, um Haut- und Haarbereiche zu unterscheiden, weshalb eine Wahrscheinlichkeitsschulung und -anwendung der Farbmetrik (L, s, t) verwendet wird, wobei L = c(R + G + B); s = a(R – b); t = b(R – 2G + B); wobei a, b und c Konstanten sind; und wobei R, G und B für Bildwerte stehen, die proportional zu der relativen logarithmischen Szenenbelichtung sind. Diese Metrik hat sich als effektiver Farbraum erwiesen, in dem eine Bildsegmentierung durchgeführt werden kann.
Wenn sämtliche drei Kanäle verwendet werden, ist der Helligkeitskanal von den kombinierten Farbkanälen in den Wahrscheinlichkeitshistogrammen getrennt.
Um Hautfarbenstatistiken zu sammeln, wurde eine kommentierte Datenbank von ca. 1800 Bildern verwendet, wobei jedes Bild mit einer Tiefe von 12 bit in RGB-Metrik mit relativer logarithmischer Szenenbelichtung gespeichert wurde. Für diese Bilder standen eine vom Menschen beurteilte Farbbalance sowie Weißpunktsollwerte zur Verfügung, ebenso wie die Lage der Augen bei sämtlichen Gesichtern in der Datenbank, bei denen zwei Augen sichtbar waren. Unter Verwendung eines anthropometrischen gemittelten Gesichtsmodells wurden für sämtliche Gesichter in der Datenbank die Hautpixel der Gesichter extrahiert. In jedem einzelnen Fall wurden zudem die Farbbalance und die Weißpunktsollwerte subtrahiert. Anschließend wurden die Pixelwerte in die (L, s, t) Metrik mithilfe folgender Matrixberechnung umgewandelt:
wobei die mit einem Hut versehenen Größen anhand der Sollwerte abgestimmt wurden. Um Haarfarbstatistiken zu sammeln, wurde ein analoger Prozess durchgeführt, mit dem Unterschied, dass die Haarbereiche manuell für jeden Beispielkopf segmentiert wurden. Jedes Pixel der Haut oder des Haars erzeugt ein Beispiel einer Farbe in dem Raum (L, s, t). Für Haar und Haut wurden getrennte Wahrscheinlichkeits-Histrogramme erstellt. Die L-Histogramme wurden getrennt von den beiden s-, t-Histogrammen kompiliert. Es wird somit implizit angenommen, dass die Farb- und Helligkeitswerte für Haut und Haar unabhängig voneinander verteilt sind. Zum Testzeitpunkt wurde zunächst ein Bild mithilfe der Farbwerte an jedem Pixel verarbeitet, um A-posteriori-Wahrscheinlichkeiten aufzufinden, dass dieses Pixel entweder mit Haut oder Haar bebildert worden ist. Um zu gewährleisten, dass die Farbverteilung in den Weltobjekten berücksichtigt wird, wird der Bayessche Satz auf die Wahrscheinlichkeitsverteilungen angewandt. Das Ergebnis dieser Berechnung erzeugt zwei grafische Anzeigen der Haut- und Haar-Wahrscheinlichkeitsdichte, wie in den 8A und 8B bzw. 9A und 9A gezeigt, in denen jede grafische Anzeige zwei Ansichten der Haut- und Haar-Wahrscheinlichkeiten darstellt, die zwischen den Helligkeits- und Farbkomponenten getrennt sind.
Zuordnung von Haut- und Haar-Wahrscheinlichkeiten zu geschätzten Bereichsfraktionen.
Die Formenmodelle enthalten Informationen über die räumliche Verteilung von Farben in Gesichtsbildern, während die in dem vorherigen Schritt berechneten Wahrscheinlichkeiten von der mittleren Farbe in den infrage kommenden Gesichtsbereichen abhängen. Da diese beiden Informationskategorien unterschiedlich sind, können sie nicht direkt miteinander verglichen werden. Daher ist ein Zwischenschritt notwendig, um die Wahrscheinlichkeitswerte in einem Bildfenster auf geschätzte Haut- und Haar-Belegungsfraktionen durch Verwendung einer nicht-linearen Zuordnungsfunktion zuzuordnen. Die nicht-lineare Funktion ist eine Sigmoid-Funktion mit abstimmbaren Parametern a und b gemäß folgender Gleichung.
Die Veröffentlichung von Wu et al. beschreibt die getrennte Abstimmung der Parameter a und b für jedes der Haut- und Haar-Modelle gemäß einem empirischen Versuch, um die besten Gesichtserfassungsergebnisse zu erzeugen. In der vorliegenden Erfindung hat sich die Zuordnung der Nicht-Linearität als besonders geeignet erwiesen, um die Mängel bei der statistischen Abtastung von Haut- und Haartönen auszugleichen. Aus diesem Grund sind die Parameter a und b relativ niedrig angesetzt. Das Ziel für die Komponente W besteht darin, möglichst kein Gesicht auszulassen, wobei davon ausgegangen wird, dass die weitere Verarbeitung durch den Algorithmus S viele Fälle beseitigt, die von Komponente W als Gesicht zugelassen worden sind.
Durchführung einer Fuzzy-Musterzuordnung mit Gesichtsformenmodellen.
Anhand des Gesichtsformmodells mit Haut- und Bereichsbelegungsaktionen für jede Zelle sowie Schätzungen der gleichen Größen für entsprechende Bildbereiche aus der nicht-linearen Zuordnung wird eine Entscheidung über die Ähnlichkeit zwischen den Bildbereichen und den Modellzellen getroffen. Das Ähnlichkeitsmaß verwendet eine aus zwei Termen bestehende "Fuzzybeziehung":
wobei die Parameter a und b (welche sich von denen in der Nicht-Linearitätszuordnung des vorherigen Abschnitts unterscheiden) die Form des Vergleichs bestimmen, während die indizierten Variablen I und M die Haut- und Haarwahrscheinlichkeiten von einem Bildbereich bzw. einer Modellzelle darstellen. Durch Erhöhung von b ergeben sich exponentiell zunehmende Abzüge (Penalties) für Unterschiede zwischen dem Formenmodell und dem Bildfenster. In diesem Beispiel wurden die Werte a – 2 und b = 1 nach einer Reihe von Versuchen gewählt. Das Ähnlichkeitsergebnis für das gesamte Bildfenster wird als mittleres Ähnlichkeitsergebnis über alle Zellen des Formenmodells herangezogen. Um die von der Komponente W ermittelten potentiellen Gesichter zu identifizieren, kann auf das Ähnlichkeitsmaß ein Schwellenwert angewandt werden.
Komponente S
Eine detaillierte Beschreibung des Algorithmus nach Schneiderman (nachfolgend Komponente S genannt) ist zu finden in Schneiderman, H. und Kanade, T., "Probabilistic Modeling of Local Appearance and Spatial Relationships for Object Recognition", Proc. CVPR 1998, 45–51. Die Hauptschritte dieses Verfahrens werden nachfolgend dargestellt, um eine eigenständige Beschreibung zu liefern und die Unterschiede und Verbesserungen in Bezug zu der genannten Quelle darzustellen. Die Komponente S implementiert einen Bayesschen Klassifizierer, der anhand einer Wahrscheinlichkeitsverteilung eine maximale A-posteriori-Klassifizierung durchführt, die sich der bedingten Wahrscheinlichkeitsverteilung P (Gesicht|Bild) nähert. Das Verfahren wird als Bayessches Verfahren bezeichnet, weil es den Bayesschen Satz verwendet, um eine a priori gemessene Trainingsverteilung P(Bild|Gesicht) in die A-posteriori-Wahrscheinlichkeit bei Vorhandensein eines Hinweises aus einem Bild umzuwandeln. Der Hinweis besteht aus den Pixelwerten in einem räumlich und intensitätsnormalisierten Bildfenster. Die Verwendung des Bayesschen Satzes unterliegt der Beobachtung, dass der Bildhinweis mehrdeutig sein kann. In einigen Fällen können Objekte und Szenen, die hier nicht von Interesse sind (d.h. in diesem Zusammenhang Gesichter), Bildmuster erzeugen, die mit den klassengemäßen Objekten (= Gesicht) verwechselt werden. Der Bayessehe Satz verlangt die Sammlung repräsentativer Nicht-Klassebilder, die als "Weltbilder" bekannt sind. Das Sammeln der Weltbilder erweist sich als der schwierigste und am meisten kritische Prozess bei der Schulung des Algorithmus. Die Schwierigkeit liegt in der Tatsache, dass die Welt sehr komplex ist. Gesichter sind dagegen nicht komplex (zumindest im Vergleich mit der Welt), so dass die Sammlung von Trainingsbeispielen für Gesichter relativ unkompliziert ist. Diese Problematik wird im Folgenden in einem gesonderten Abschnitt detailliert besprochen.
Die Vereinfachungen an der Verteilung P(Gesicht|Bild) (1)die hier besprochen werden, wandeln eine große, nicht zählbare Verteilung in eine sehr handliche Verteilung um. Das Ziel besteht darin, eine vereinfachte Verteilung P(Gesicht|destillierte Bildmerkmale) zu erreichen, wobei die destillierten Bildmerkmale gezählt und während des Trainings gruppiert werden können, beispielsweise in einer Million Bins. Eine Heuristik der Trainingsklassifizierer würde darauf hinweisen, dass mehr Beispiele als Bins notwendig sind, und zwar im Bereich von zwei Größenordnungen. Demnach müssten 10⁸ Beispiele erforderlich sein, um 10⁶ Bins in statistisch aussagekräftiger Weise zu besetzen. Es ist durchaus möglich, eine derartige Anzahl von Beispielen zu sammeln, vor allem, wenn es zulässig ist, einige davon per Computer zu berechnen, und sofern die "Einheit" eines Beispiels kleiner als ein ganzes menschliches Gesicht ist.
Vereinfachungen werden in der nachfolgend aufgeführten Reihenfolge angewandt und in den folgenden Abschnitten beschrieben:

(1) Gesichtsbereichsgröße standardisieren
(2) Gesichtsbereich in Unterbereiche zerlegen
(3) Abhängigkeiten zwischen Unterbereichen ignorieren
(4) Unterbereiche mithilfe von PCA auf eine kleiner dimensionierte Darstellung projizieren
(5) Codeprojektionen mithilfe spärlicher Koeffizienten
(6) Quantisierung spärlicher Koeffizienten
(7) Zerlegen von Darstellung und Position
(8) Position für nicht gängige Muster ignorieren
(9) Positionsabhängigkeit für gängige Muster vektorisieren
(10) Erkennung bei mehreren Auflösungen unter der Annahme von Abhängigkeiten zwischen den Auflösungen anwenden

1. Gesichtsbereichsgröße standardisieren.
Räumliche normalisierte Gesichter werden in einem Pixelfenster von 56 × 56 Pixeln dargestellt. Die Vereinfachung verändert Gleichung (1) in P(Gesicht|Bereich) (2)wobei Bereich ein genau gerasterter Vektor aus Pixeln aus einem 56 × 56 großen Pixelbildfenster ist.
2. Gesichtsbereich in Unterbereiche zerlegen.
Jeder Gesichtsbereich wird in mehrere, sich überlagernde Unterbereiche aus 16 × 16 Pixeln zerlegt. Diese Unterbereiche können an jeder Pixelposition in dem Bereich oder an einer Untermenge dieser Positionen verankert werden. Im vorliegenden Fall werden Unterbereiche an jedem dritten Pixel in jeder dritten Zeile verankert. Mit dieser Wahl entstehen 196 mögliche Ankerpositionen eines Unterbereichs innerhalb eines Gesichtsbereichs; diese Position kann daher in einem einzelnen Byte codiert werden. Auf der rechten Seite von Gleichung (2) kann "Bereich" durch "{Unterbereich}" ersetzt werden, wobei es sich um eine Sammlung von Unterbereichen handelt. Die Unterbereichsgröße ist derart gewählt, dass einzelne Unterbereiche bei geeigneter Positionierung groß genug sind, um Gesichtsmerkmale (wie Auge, Nase oder Mund) zu enthalten. Diese Größe begrenzt das größte Gesichtsmerkmal, das als kohärente Einheit geprüft werden kann.
3. Abhängigkeiten zwischen Unterbereichen ignorieren.
Es wird kein Versuch unternommen, um die statistischen Abhängigkeiten zwischen Unterbereichen zu modifizieren. Diese Vereinfachung begrenzt damit die Art der modellierbaren Objektattribute. Während beispielsweise einen einzelnen Unterbereich ausreichend viele Pixel zur Erfassung eines Auges enthalten kann, fällt das andere Auge in einen anderen Unterbereich, wodurch keine Ähnlichkeit oder Unähnlichkeit zwischen den beiden Augen ermittelt werden kann. Es kann auch keine Ableitung über die Helligkeit verschiedener Teile des Gesichtes herangezogen werden. Mithilfe dieser Vereinfachung lässt sich Gleichung (2) jetzt ersetzen durch
wobei die statistische Unabhängigkeit durch das Fehlen gemeinsamer Abhängigkeiten von mehreren Unterbereichen dargestellt wird.
4. Unterbereiche mithilfe von PCA (Principal Component Analysis/Analyse auf Hauptkomponenten) auf eine kleiner dimensionierte Darstellung projizieren.
Da Unterbereiche 256 Pixel enthalten, und zwar zu jeweils 256 Graustufen, ist die Anzahl möglicher Unterbereiche sehr groß. Die nächste Vereinfachung umfasst die Anwendung der Standardtechnik der linearen Analyse auf Hauptkomponenten (PCA), um die Dimensionalität des Unterbereichs von 256 auf 12 zu reduzieren. (Die Wahl von zwölf Dimensionen ist in gewisser Weise willkürlich. Mehr als 90% der tatsächlichen Unterbereichsabweichung lassen sich mithilfe von maximal zwölf Dimensionen codieren.) Um die PCA durchzuführen, wurde eine große Menge von Gesichtsbildern verarbeitet, wobei sämtliche Unterbereiche an der Datenanalyse teilhatten. Es wurden gewisse Versuche durchgeführt, um zu sehen, ob für unterschiedliche Bildauflösungen und mehrere Gesichtsposen separate Hauptkomponenten benötigt würden. Aufgrund dieser Erkenntnisse wurde entschieden, dass unterschiedliche Mengen von Hauptkomponenten für jede Auflösung gespeichert würden, aber dass es nicht notwendig wäre, unterschiedliche Mengen von Gesichtsposen vorzuhalten. Es scheint sinnvoll zu sein, dass die wesentlichen Gesichtsstrukturen bei unterschiedlichen Auflösungen einheitliche räumliche Muster aufweisen, während die Änderungen, die durch etwas unterschiedliche Gesichtsposen hervorgerufen werden, in den ersten wenigen Hauptvariationsmodi weniger Bedeutung haben.
Als Ergebnis des Projektionsschritts wird jeder Bildunterbereich von zwölf Projektions-Koeffizienten entlang der Hauptkomponentenachse dargestellt. Die Darstellung führt dazu, dass jeder Unterbereich durch eine lineare Kombination aus zwölf Hauptunterbereichen dargestellt wird. Die Projektionsoperation wird durch eine Matrixoperation durchgeführt [proj] = AT[Unterbereich] (4)wobei A die Projektionsmatrix ist, deren Spalten die Eigenvektoren (Hauptkomponenten) der Trainingsunterbereiche enthalten. Es sei darauf hingeweisen, dass die PCA nur auf eine Trainingsmenge von Gesichtsbildern angewandt wird. Falsche Beispiele (keine Gesichter) werden nicht verwendet, da die resultierenden Hauptkomponenten wahrscheinlich einer weiten Abweichung unterlägen, die durch eine statistisch inadäquate Abtastung der sehr großen Menge von möglichen Nicht-Gesichtsbildern verursacht wird. Als Ergebnis dieses Schrittes führt Ausdruck (3) zu
5. Codeprojektionen mithilfe spärlicher Koeffizienten.
Anstatt alle zwölf Projektionskoeffizienten zu behalten, wird die Darstellung der Unterbereiche weiter komprimiert, indem nur die sechs bedeutendsten erhalten bleiben. Dieses spärliche Codierungsschema erfährt jedoch eine stärkere Komplexität, indem die letzten sechs Koeffizienten paarweise in Gruppen zusammengefasst werden, wobei deren Summenquadratwerte bei der Auswahl der sechs beizubehaltenden Projektionsdimensionen berücksichtigt werden. Auf diese Weise werden zwölf Koeffizienten auf sechs Koeffizienten zur nachfolgenden Verarbeitung reduziert.
6. Quantisierung spärlicher Koeffizienten.
Eine weitere Komprimierung der Unterbereichsdarstellung erfolgt durch diskrete Quantisierung der neun Koeffizienten mithilfe eines Lloys-Max-Quantisierers. Dieser Quantisierer minimiert den mittleren quadratischen Fehler (Standardabweichung) bei Annahme einer Gausschen Verteilung der unabhängigen Variablen. Für gängige Werte bezüglich der Anzahl der Quantisierungswerte sind die binären Breakpoints und die Rekonstruktionsebenen von Lloyd-Max-Quantisierern in Tabellenform dargestellt in Lim. J., Two-Dimensional Signal and Image Processing, Prentice-Hall: New Jersey, USA, 1990. Um die Gültigkeit der Gausschen Verteilungsannahme zu testen, wurde die tatsächliche Verteilung der Projektionskoeffizienten in der Trainingsmenge gesammelt, aus der hervorging, dass die Gaussche Annahme der tatsächlichen Verteilung weitgehend entspricht.
Die Auswahl der beizubehaltenden spärlichen Koeffizienten und die Anzahl der jedem Koeffizienten zugewiesenen Quantisierungsstufen bestimmt die Anzahl der möglichen Quantisierungswerte für die Codierung von Bildunterbereichen. Gestützt auf die Auswahl sechs hervorstehender Dimensionen, wobei für jede Dimension 8, 4 oder 2 Quantisierungsstufen gewählt werden, kann der implementierte Algorithmus jeden Unterbereich durch ungefähr eine Million Zahlen darstellen. Diese Quantisierungszahlen werden in der genannten Quelle von Schneiderman et al. etwas undurchsichtig als "q"-Werte bezeichnet.
Die Anzahl möglicher q1-Werte ist ein Algorithmus-Bemessungsparameter, der in der genannten Quelle als "n_q1" bezeichnet wird.
Der Komprimierungsvorteil dieses Quantisierungsschemas wird deutlich, wenn man bedenkt, dass 256²⁵⁶ mögliche Unterbereichsmuster in 10⁶ einzelnen Zahlen codiert werden können. Man kann dieses Quantisierungsschema als eine Art Bildcodierung betrachten. Die Rekonstruktion des Bildes aus seiner Codierung ergibt eine Art Näherung an das Originalbild. 10 zeigt ein Originalbild und dessen Rekonstruktion nach PCA-Projektion und spärlicher Codierung sowie Quantisierung. 10(a) zeigt das Originalbild, 10(b) zeigt eine Rekonstruktion aus Projektionen von Unterbereichen auf zwölf Unterbereiche, während 10(c) eine Rekonstruktion aus der spärlich codierten und quantisierten Version von 10(b) zeigt. (Es sei darauf hingewiesen, dass Bild (b) und (c) nicht sämtliche codierten Informationen zeigen. Statt dessen zeigen sie die Rekonstruktionen aus der Codierung, wobei die Unterbereiche auf ein Gitter von 56 × 56 Gesichtsbereichen ausgerichtet sind. Simultane Codierungen erfassen weitere Bildinformationen, wenn die Unterbereiche bezüglich des Bereichsgitters versetzt sind.)
Nach dem Quantisierungsschritt wird der Wahrscheinlichkeitsausdruck (5) weiter vereinfacht auf
7. Zerlegen von Darstellung und Position.
An diesem Punkt in der Kette der Vereinfachungen der Wahrscheinlichkeitsverteilung wird Ausdruck (6) expandiert, um explizit sowohl das Pixelmuster eines Unterbereichs als auch dessen Position innerhalb des Gesichtsbereichs zu umfassen. Gleichung (6) wird ersetzt durch
wobei jeder Unterbereich jetzt durch dessen Quantisierungswert und dessen Position innerhalb des Gesichtsbereichs dargestellt wird. Die Interpretation des Ausdrucks (7) führt intuitiv zu folgendem: die augenähnlichen Muster sollten in Gesichtsbereichen nur in Unterbereichen auftreten, die wahrscheinlich Augen enthalten.
8. Position für nicht gängige Muster ignorieren.
Unter Berücksichtigung der Tatsache, dass 1.000.000 Quantisierungsebenen und 196 Positionen für jeden Unterbereich möglich sind, muss eine weitere Vereinfachung des Ausdrucks (7) erfolgen. Dieser Ausdruck wird zwei weiteren Vereinfachungen unterzogen. Erstens wird eine Entscheidung bezüglich der Codierung der Positionsabhängigkeit ausschließlich der gängigsten q1-Muster getroffen. Zu diesem Zweck ordnet ein großer Sortierschritt die q1-Muster nach abnehmender Frequenz ihres Auftretens in der Trainingsmenge. Für alle q1-Muster, die in der Sortierung einen gewissen Schwellenwert ihres Auftretens unterschreiten, wird deren Positionsabhängigkeit durch eine gleichmäßige Positionsverteilung ersetzt. Die Anzahl der q1-Muster, deren Positionsverteilung während des Trainings explizit erlernt werden muss, ist ein Algorithmen-Bemessungsparameter, der in der Quelle von Schneiderman als "n_est" bezeichnet wird. Für die ungewöhnlichen Muster wird Ausdruck (7) zu
wobei npos = 196 für die Zahl möglicher Unterbereichspositionen steht.
9. Positionsabhängigkeit für gängige Muster vektorisieren.
Die zweite Vereinfachung des Ausdrucks (7) umfasst eine weitere Verringerung der Zahl von Positionsverteilungen, die während des Trainings erlernt wurden. Die in Abschnitt 8 durchgeführte Vereinfachung hat bereits die Anzahl der zu erlernenden Positionsverteilungen von n_q1 auf n_est verringert. Jetzt wird eine weitere Verringerung von n_est auf n_q2 durch Vektorquantisierung der die Reduzierung n_est überdauernden Positionsverteilungen auf n_q2 repräsentative Darstellungen durchgeführt. Zum Zwecke dieser Quantisierung werden die beiden dimensionalen Positionsverteilungen der q1-Muster zu Vektoren gerastert. Die Zahl n_q2 ist ein Algorithmen-Bemessungsparameter.
Der Vektorquantisierungs-Trainingsalgorithmus ist kein LBG-Standardalgorithmus, sondern ein ad hoc angepasster Algorithmus, der auf einen einzelnen Durchgang durch die eingegebenen Vektoren angewandt wird. Die Tatsache, dass nur ein Durchgang durchgeführt wird, ist wichtig, da der Trainingsalgorithmus zehn- oder hunderttausende von Vektoren quantisieren muss und daher geschwindigkeitsoptimiert sein muss. Der Trainingsprozess stellt sich folgendermaßen dar:
Für jeden Vektor x
Finde das nächste, aktuelle Musterzentrum
Berechne die Distanz d zwischen x und dem nächstgelegenen Zentrum. Die SSE-Metrik (Summenquadratfehler) wird benutzt.
Wenn d < Schwellenwert
Füge x zum Cluster hinzu; aktualisiere Cluster-Mittelpunkt
sonst
Belege neuen Cluster mit x
Damit dieser Algorithmus einwandfrei funktioniert, muss er natürlich leere Cluster berücksichtigen und auch die Auferlegung einer maximalen Anzahl von n_q2 Clustern handhaben können. Die Custerzentren werden als das Mittel (idealerweise ein nach Häufigkeitszählung gewichteter Mittelwert) der Vektoren berechnet, die diesem Cluster zugeordnet sind. Die Wahl des Distanzschwellenwertes ist problematisch und basiert im Wesentlichen auf einer empirischen Beobachtung des Verhaltens des Quantisierungstrainings bei Verwendung unterschiedlicher Werte für den Schwellenwert. Das Ziel dieser Auswahl besteht darin, die verfügbare Anzahl von Quantisierungsebenen vollständig zu nutzen, während die Verteilungsvektoren so gleichmäßig wie möglich gestreut werden.
Bei Anwendung der Vektorquantisierung von Positionsverteilungen wird die Position pos in Ausdruck (7) auf eines der VQ-Musterzentren abgebildet, das als pos' bezeichnet wird. Für gängige Muster wird Gleichung (7) dann
10. Erkennung bei mehreren Auflösungen unter der Annahme von Abhängigkeiten zwischen den Auflösungen anwenden.
Da die statistischen Abhängigkeiten zwischen Unterbereichen nicht in dem zuvor entwickelten, vereinfachten Wahrscheinlichkeitsmodell erfasst werden können, können keine Merkmale Berücksichtigung finden, die größer als die Unterbereiche sind. Um diese Beschränkung zu überwinden, werden nun mehrere Ebenen der Bildauflösung eingeführt. Der gesamte Mechanismus des Wahrscheinlichkeitsschätzers (2) wird auf mehrere Ebenen der Bildauflösung angewandt, was zu folgendem Ausdruck führt
Ein typisches Beispiel wäre ein einzelnes Gesicht, das mit nmags = 3 Ebenen der Pixelauflösung erfasst wurde. Bei jeder Auflösung müssen sich die Augen an Standardpositionen befinden.
Volle Form der vereinfachten Wahrscheinlichkeitsverteilung.
Das Sammeln der Ausdrücke (8) und (10) und das Anwenden des Bayesschen Satzes, um während des Trainings gesammelte A-priori-Wahrscheinlichkeiten in Beziehung zu A-posteriori-Wahrscheinlichkeiten in diesen Ausdrücken zu setzen, führt zu der vollständigen Form (11) der geschätzten Wahrscheinlichkeit des Vorhandenseins eines Gesichtes in einem Bildbereich. Einzelheiten zur vollständigen Ableitung dieser Gleichung werden in der Quelle von Schneiderman dargelegt.
In diesem Ausdruck stellen P(Gesicht) und P(Gesicht) die A-posteriori-Wahrscheinlichkeiten dar, das ein Bildbereich ein Gesicht enthält oder nicht enthält. Wenn diese Kenntnis nicht vorhanden ist, werden A-priori-Wahrscheinlichkeiten von ½ verwendet, was in dem vorausgehenden Ausdruck (11) zu einer weiteren Vereinfachung führt. Diese Annahme bezüglich der A-priori-Wahrscheinlichkeiten beeinträchtigt die Leistungsfähigkeit des Algorithmus nicht, wenn dieser für die Mustererkennung von Gesichtern verwendet wird. Statt dessen begründet er einen Skalierungsfaktor, der berücksichtigt werden muss, wenn die Ausgabe des Algorithmus als Wahrscheinlichkeitswert interpretiert wird.
Trainingsschritte – Phase I.
Während das eigentliche Training des Algorithmus S eine Anzahl einzelner Schritte umfasst, unterteilt sich das Training selbst in zwei Hauptphasen. Ziel der ersten Phase ist es, spezifische Parameter der Quantisierung von Gesichtsunterbereichen zu erhalten. Der erste Schritt besteht darin, die Covarianz-Matrix und dann Hauptkomponenten der Unterbereiche aus der Trainingsmenge zu erfassen. Als Teil dieses Schrittes und nach Extraktion der Hauptkomponenten folgt ein weiterer Durchgang durch sämtliche Trainingsunterbereiche, um die Statistiken der Projektionen auf diese zwölf Hauptdimensionen zu sammeln. Die Projektionsdaten werden dann analysiert. Die Projektionsstatistiken werden an das Trainingsprogramm zurückgeführt, um eine optimale Auslegung des Lloyd-Max-Quantisierers zu ermöglichen. Da die Variation von Gesichtsmustern unter Berücksichtigung der unterschiedlichen Auflösungsmaßstäbe relativ groß ist, muss dieser Prozess der Extraktion von Hauptkomponenten und der statistischen Verteilung der Trainingsdaten entlang dieser Komponenten für jede Bildauflösung wiederholt werden.
Trainingsschritte – Phase II.
Die zweite Phase des Trainings beginnt mit dem Durchlaufen der Trainingsmenge und der Durchführung der Quantisierung jedes Unterbereichs jedes Gesichtsbeispiels. Wie bereits erwähnt, kann die Trainingsmenge erweitert werden, indem etwas veränderte Versionen jedes Trainingsexemplars erstellt werden. Die Frequenz, mit der quantisierte Werte erscheinen, wird in einem Histogramm mit ungefähr 1.000.000 Bins gezählt. Gleichzeitig werden Unterbereichspositionen akkumuliert, an denen jeder quantisierte Wert auftritt. Eine Sortieroperation ordnet das Histogramm der Quantisierungshäufigkeit in absteigender Reihenfolge der Auftretungszählung an. Für die n_est frequenzquantisierten Muster werden die Positionsverteilungen in den Vektorquantisierungsalgorithmus eingegeben. Nach Vektorquantisierung bleiben nur n_q2 seminale Positionsverteilungen erhalten, wobei jeder der n_est frequenzquantisierten Werte eine Positionsverteilung aufweist, die durch die beibehaltenen Verteilungen approximiert werden.
Anwendung des Gesichtsdetektors.
Um den trainierten Gesichtserfassungsalgorithmus zur Testzeit zu verwenden, muss die Berechnung von Ausdruck (11) auf einen Bildbereich angewandt werden, auf den eine Raum- und Intensitätsnormalisierung durchgeführt worden ist. Drei verschiedene Auflösungsversionen jedes infrage kommenden Gesichtsbereichs werden benötigt. Der Quantisierungswert für jeden Unterbereich wird berechnet, und die verschiede nen Wahrscheinlichkeitsterme in Ausdruck (11) werden aus den Wahrscheinlichkeitstabellen extrahiert, die während der Algorithmenschulung erstellt wurden.
Um den Ausdruck (11) für die Gesichtserfassung zu verwenden, muss eine Wahrscheinlichkeitsschwelle gewählt werden. Wenn die A-posteriori-Wahrscheinlichkeit den Schwellenwert überschreitet, ist eine Gesichtserfassung aufgetreten. Nachdem der Algorithmus-Trainingsprozess abgeschlossen worden ist, wird der Schwellenwert durch Untersuchung der Klassifizierungsleistung des Algorithmus ermittelt, wenn dieser auf eine Verifizierungsmenge von Bildern mit und ohne Gesichter angewandt wird. Der Schwellenwert wird auf eine optimale Leistung bei der Verifizierungsmenge eingestellt, wobei die relative Bedeutung falscher positiver und falscher negativer Fehler berücksichtigt wird.
Dualer Gesichtsdetektor – die kombinierten Algorithmen
Bei dem erfindungsgemäßen Gesichtserfassungsalgorithmus werden die potentiellen Gesichter, die von Komponente W erzeugt worden sind, in den Gesichtsdetektor der Komponente S eingegeben. Da die Fensterformen der beiden Algorithmen etwas voneinander abweichen, dient eine räumlich affine Transformation dazu, das potentielle Gesicht einzurahmen und die Augen für die Komponente S an einer Standardposition anzuordnen. Ein Schwellenwert wird auf die Ausgabe von der Komponente S angewandt, um das Vorhandensein eines Gesichts in einem Bildfenster zu erklären.
Da die Komponente W das Bild bei einer Reihe von Maßstäben in einem Fenster prüft, das über das gesamte Bild geführt wird, ist es wahrscheinlich, dass ein wahres Gesicht bei mehr als einem Maßstab und an mehreren dicht beabstandeten Fensterpositionen erfasst wird. Es muss ein Verfahren zur Kombination von Erfassungsüberlagerungen verwendet werden. Hierzu werden zwei verschiedene Verfahren getestet. Das erste Verfahren verwendet einfach die stärkste Erfassung aus einer räumlich sich überlagernden Gruppe von Erfassungen. Das zweite Verfahren berechnet die mittleren Augenpositionen der sich überlagernden Erfassungen. Es wurde empirisch festgestellt, dass sich mithilfe der Mittelungstechnik die Augenpositionen genauer bestimmen ließen, so wie von einem menschlichen Beobachter per Sichtprüfung festgestellt.

Claims

Verfahren zur Bestimmung des Vorhandenseins eines Gesichts anhand von Bilddaten mit folgenden Schritten: a) Vorprüfung der Bilddaten mit einem ersten Algorithmus, wobei der erste Algorithmus eine Vielzahl von möglichen Gesichtern anhand einer Mustervergleichstechnik ermittelt, die nach Farb- und Forminformationen Bildfenster identifiziert, die wahrscheinlich Gesichter enthalten, und b) Anwenden eines zweiten Mustervergleichsalgorithmus, wobei der zweite Algorithmus die möglichen Gesichter mithilfe eines nachträglichen Wahrscheinlichkeits-Funktionsklassifizierers verarbeitet, um das Vorhandensein des Gesichts zu ermitteln.
Verfahren nach Anspruch 1, worin der erste Algorithmus eine erste Rate falscher – Resultate aufweist und wobei der zweite Algorithmus eine zweite Rate falscher Resultate aufweist, die kleiner als die erste Rate falscher Resultate ist.
Verfahren nach Anspruch 1, worin das Verfahren in einer Digitalkamera zur Erfassung eines Bildes einer Szene implementiert ist und wobei die Digitalkamera Folgendes umfasst: einen Erfassungsbereich zur Erfassung eines Bildes und zur Erzeugung der Bilddaten; einen elektronischen Verarbeitungsbereich zur Verarbeitung der Bilddaten zur Ermittlung des Vorhandenseins eines oder mehrerer Gesichter in dem Bild; Gesichtsdatenmittel, die dem Verarbeitungsbereich zugeordnet sind, um Gesichtsdaten zu erzeugen, die mindestens einem Attribut von mindestens einem der Gesichter in dem Bild entsprechen; ein Speichermedium zur Speicherung der Bilddaten; und Aufzeichnungsmittel, die dem Verarbeitungsbereich zur Aufzeichnung der Gesichtsdaten mit den Bilddaten auf dem Speichermedium zugeordnet sind.
Verfahren nach Anspruch 3, worin die Gesichtsdaten mindestens entweder dem Ort, der Ausrichtung, dem Maßstab oder der Pose von mindestens einem der Gesichter in dem Bild entsprechen.
Verfahren nach Anspruch 3, worin der elektronische Verarbeitungsbereich zudem einen Hinweis darauf gibt, dass ein oder mehrere Gesichter erfasst worden sind.
Verfahren nach Anspruch 5, worin die Digitalkamera zudem eine Visiereinrichtung zum Anvisieren des Bildes umfasst, und worin der elektronische Verarbeitungsbereich einen Hinweis in der Visiereinrichtung bereitstellt, der das eine erfasste Gesicht oder die mehreren erfassten Gesichter identifiziert.
Verfahren nach Anspruch 6, worin die Visiereinrichtung entweder ein optischer Sucher ist, der die Szene abbildet, oder eine elektronische Anzeigeeinrichtung, die die Bilddaten reproduziert.
Verfahren nach Anspruch 3, worin die Aufzeichnungsmittel die erfassten Bilddaten in dem Speichermedium in digitalen Ordnern aufzeichnen, die den Bildern mit einer bestimmten Anzahl von Gesichtern in den Szenen zugeordnet sind.
Verfahren nach Anspruch 3, worin der elektronische Verarbeitungsbereich zudem einen Gesichtserkennungsalgorithmus und eine Datenbank bekannter Gesichter zur Erzeugung von Gesichtsidentitäten umfasst, und worin die Aufzeichnungsmittel ein oder mehrere Bilder in dem Speichermedium mit den Gesichtsidentitäten bekannter Gesichter bezeichnen.
Verfahren nach Anspruch 3, worin der Erfassungsbereich zudem einen Belichtungssteuerungsbereich umfasst, der auf das Vorhandensein eines oder mehrerer Gesichter zur optimalen Belichtung des Bildes für mindestens eines der Gesichter in der Szene anspricht.
Verfahren nach Anspruch 10, worin der Belichtungssteuerungsbereich der Digitalkamera das Bild entweder für die überwiegende Zahl von Gesichtern in der Szene oder für das größte Gesicht in der Szene optimal belichtet.
Verfahren nach Anspruch 10, worin der Erfassungsbereich zudem eine Blitzeinheit umfasst und worin der elektronische Verarbeitungsbereich die Aktivierung der Blitzeinheit steuert, um die Belichtung für mindestens eines der Gesichter in der Szene zu optimieren.
Verfahren nach Anspruch 1, worin das Verfahren in einer Digitalkamera zur Erfassung eines Bildes einer Szene implementiert ist und wobei die Digitalkamera Folgendes umfasst: einen Erfassungsbereich zur Erfassung eines Bildes und zur Erzeugung der Bilddaten; einen elektronischen Verarbeitungsbereich zur Verarbeitung der Bilddaten zur Ermittlung des Vorhandenseins eines oder mehrerer Gesichter in der Szene; Gesichtsdatenmittel, die dem Verarbeitungsbereich zugeordnet sind, um Gesichtsdaten zu erzeugen, die mindestens einem Attribut von mindestens einem der Gesichter in dem Bild entsprechen; einen Kompositionsalgorithmus, der dem Verarbeitungsbereich zur Verarbeitung der Gesichtsdaten und zur Erzeugung von Kompositionsempfehlungen für einen Benutzer der Digitalkamera in Abhängigkeit von den verarbeiteten Gesichtsdaten zugeordnet ist; und eine Anzeigevorrichtung zum Anzeigen der Kompositionsempfehlungen gegenüber dem Benutzer.
Verfahren nach Anspruch 13, worin die Kompositionsempfehlungen mindestens entweder a) eine Anzeige, dass ein Hauptmotiv in dem Bild zu klein ist, b) eine Anzeige, dass die Befolgung des Goldenen Schnitts zu einer besseren Komposition führt, c) eine Anzeige, dass eines der Gesichter in dem Bild abgeschnitten ist oder d) eine Anzeige, dass eine horizontale Ausrichtung der Motive in dem Bild vermieden werden sollte, umfasst.
Verfahren nach Anspruch 1, worin das Verfahren in einer Digitalkamera zur Erfassung eines Bildes einer Szene implementiert ist und wobei die Digitalkamera Folgendes umfasst: einen Erfassungsbereich zur Erfassung eines Bildes und zur Erzeugung der Bilddaten; einen elektronischen Verarbeitungsbereich zur Verarbeitung der Bilddaten zur Ermittlung des Vorhandenseins eines oder mehrerer Gesichter in der Szene und zum Erzeugen von Gesichtsdaten daraus; einen Ausrichtungsalgorithmus, der dem Verarbeitungsbereich zum Erzeugen von Ausrichtungsdaten zugeordnet ist, die die Ausrichtung des Bildes anhand der Ausrichtung mindestens eines Gesichts in dem Bild anzeigen; ein Speichermedium zur Speicherung der Bilddaten; und Aufzeichnungsmittel, die dem Verarbeitungsbereich zur Aufzeichnung der Ausrichtungsdaten mit den Bilddaten auf dem Speichermedium zugeordnet sind.
Verfahren nach Anspruch 1, worin das Verfahren in einer Digitalkamera zur Erfassung eines Bildes einer Szene implementiert ist und wobei die Digitalkamera Folgendes umfasst: einen Erfassungsbereich zur Erfassung eines Bildes und zur Erzeugung der Bilddaten; einen elektronischen Verarbeitungsbereich zur Verarbeitung der Bilddaten zur Ermittlung des Vorhandenseins eines oder mehrerer Gesichter in der Szene; einen Algorithmus zur Erkennung roter Augen, der dem elektronischen Verarbeitungsbereich zur Erzeugung Roter-Augen-Signale zugeordnet ist, um das Vorhandensein roter Augen in einem oder in mehreren Gesichtern anzuzeigen; und eine Anzeigevorrichtung, die auf Rote-Augen-Signale anspricht, um einem Benutzer der Digitalkamera eine Rote-Augen-Warnung anzuzeigen.
Verfahren nach Anspruch 16, worin die Digitalkamera zudem Rote-Augen-Korrekturmittel umfasst, die auf die Rote-Augen-Signale zur Korrektur des roten Auges in dem einen Gesicht oder in mehreren Gesichtern ansprechen.
Verfahren nach Anspruch 1, das zudem folgende Schritte umfasst: Verarbeiten der Bilddaten mit einem Rote-Augen-Erkennungsalgorithmus zum Erzeugen von Rote-Augen-Signalen, die das Vorhandensein eines roten Auges in dem Bild anzeigen; und Bestätigen des Vorhandenseins eines roten Auges durch Verwendung der Ergebnisse der Gesichtserfassung zur Verifizierung, dass die Rote-Augen-Signale dem Vorhandensein eines oder mehrerer Gesichter in dem Bild entsprechen.
Verfahren nach Anspruch 18 mit zudem dem Schritt des Korrigierens des roten Auges in dem Bild.
Verfahren nach Anspruch 1, worin das Verfahren in einer Digitalkamera zur Durchführung des ersten und zweiten Algorithmus implementiert ist.