-
Die Erfindung betrifft ein Verfahren
und eine Vorrichtung zum Erfassen eines gesichtsähnlichen Gebiets in einem Farbbild.
Ein derartiges Verfahren kann in Zusammenhang mit anderen Verfahren
zum Erfassen eines Gesichts in einem Bild und zum Erfassen eines
Zielbilds verwendet werden, z.B. im Initialisierungsstadium eines
Bildnachfahrsystems, das einem autostereoskopischen Display mit
Betrachter-Nachfahreigenschaft zugeordnet werden kann. Derartige
Verfahren und Vorrichtungen verfügen über große Anwendungsbereiche,
z.B. bei Erfassung der Hautfarbe, Gesichtserfassung und -erkennung,
Sicherheitsüberwachung,
Video- und Bildkompression, Videokonferenzbetrieb, Multimedia-Datenbanksuchvorgängen und
Computerspielen.
-
Die Erfindung betrifft auch ein dem
Betrachter nachfahrendes Display, z.B. vom autostereoskopischen
Typ, das die obige Vorrichtung enthält.
-
Autostereoskopische Displays ermöglichen es
einem Betrachter, zwei getrennte Bilder, die ein stereoskopisches
Paar bilden, dadurch zu betrachten, dass er derartige Displays betrachtet,
wobei die Augen in zwei Betrachtungsfenster blicken. Beispiele derartiger
Displays sind in
EP 0 602 934 ,
EP
0 656 555 ,
EP 0 708 351 ,
EP 0
726 482 und
EP 0 829 743 offenbart. Ein
Beispiel eines bekannten Typs eines dem Betrachter nachfahrenden
autostereoskopischen Displays ist in der
1 der
beigefügten Zeichnungen
veranschaulicht.
-
Das Display verfügt über ein Displaysystem 1 in
Zusammenwirkung mit einem Nachfahrsystem 2. Das Nachfahrsystem 2 verfügt über einen
Nachfahrsensor 3, der ein Sensorsignal an einen Nachfahrprozessor 4 liefert.
Der Nachfahrprozessor 4 leitet aus dem Sensorsignal ein
Betrachterpositions-Datensignal her, das an einen Displaysteuerungsprozessor 5 des
Displaysystems 1 geliefert wird. Der Prozessor 5 setzt
das Positionsdatensignal in ein Fenstersteuersignal um, das er an
einen Steuermechanismus 6 eines nachgefahrenen 3D-Displays
7 liefert. Die Betrachtungsfenster für die Augen des Betrachters
werden demgemäß so gesteuert,
dass sie einer Bewegung des Kopfs des Betrachters folgen, um, innerhalb
des Arbeitsbereichs, die Augen des Betrachters in geeigneten Betrachtungsfenstern
zu halten.
-
Angesichts aller möglichen
Typen von Menschen mit unterschiedlichem Alter, Geschlecht, Augenform
und Hautfarbe bei verschiedenen Beleuchtungsbedingungen wäre die Erfassung
für einen Computer
schwierig.
-
Suwa et al. offenbaren in "A Video Quality Improvement
Technique for Video Phone and Video Conference Ternminal", IEEE Workshop on
Visual Signal Processing and Communications, 21.- 22. September 1993,
Melbourne, Australien eine Technik zum Erfassen eines Gesichtsgebiets
auf Grundlage eines statistischen Modells der Hautfarbe. Diese Technik
geht davon aus, dass die Farbe und die Helligkeit im Gesichtsgebiet
innerhalb eines definierten Bereichs liegen und das Gesicht einen
vorbestimmten Umfang des Raums innerhalb eines Videovollbilds belegt.
Durch Suchen nach einem Farbgebiet, das aus Bildpixeln besteht,
dessen Farben innerhalb des Bereichs liegen und dessen Größe innerhalb
einer bekannten Größe liegt,
kann ein Gesichtsgebiet lokalisiert werden. Jedoch ändert sich
der Farbraumbereich für
die Hautfarbe abhängig
von Änderungen der
Belichtungsquelle, der Richtung und der Intensität. Der Farbraum variiert ebenfalls
für verschiedene Hautfarben.
Demgemäß benötigt diese
Technik eine Kalibrierung des Hautfarbraums für jede spezielle Anwendung
und jedes spezielle System, so dass sie von beschränkter Anwendbarkeit
ist.
-
Swain et al. offenbaren in "Color Indexing", International Journal
of Computer Vision, 7 : 1, Seiten 11 bis 32, 1991 die Verwendung
von Farbhistogrammen mehrfarbiger Objekte zum Erstellen eines Farbindexes
in einer großen
Datenbank von Modellen. Dann wird eine als "Histogramm-Rückprojektion" bekannte Technik
dazu verwendet, die Position eines bekannten Objekts wie eines Gesichtsgebiets
zu lokalisieren, wie es z.B. von Sako et al. in - Real-Time Facial-Feature
Tracking based on Matching Techniques and its Applications", Proceedings of
12 IAPR International Conference on Patent Recognition, Jerusalem,
6. – 13.
Oktober 1994, Vol. II, Seiten 320 bis 324 offenbart ist. Jedoch
erfordert diese Technik die Kenntnis des gewünschten Ziels, wie eines Farbhistogramms
eines Gesichts, und sie funktioniert nur dann, wenn ausreichend
viele Pixel des Zielbilds von Pixeln anderer Teile des Bilds verschieden
sind. Daher ist es erforderlich, für einen kontrolfierten Hintergrund
zu sorgen, und es sind zusätzliche
Techniken erforderlich, um Beleuchtungsänderungen zu meistern.
-
Chen et al. offenbaren in "Face Detection by Fuzzy
Pattern Matching",
IEEE (0-8186-7042-8), Seiten 591 bis 596, 1995 eine Technik
zum Erfassen eines gesichtsähnlichen
Gebiets in einem Eingangsbild unter Verwendung eines Fuzzy-Musteranpassungsverfahrens,
das stark auf der Entnahme von Hautfarben unter Verwendung eines
Modells beruht, das als "Hautfarben-Verteilungsfunktion" (SKDF = skin colour
distribution function) bekannt ist. Bei dieser Technik wird als
Erstes das RGB-Signal in einen Farnsworth-Farbraum umgesetzt, wie
es von Wyszechi et al. in "Farbscience", John Wiley & Sons Inc., 1982
offenbart ist. Die SCDF wird dadurch erstellt, dass eine große Gruppe
von Probenbildern gesammelt wird, die menschliche Gesichter enthalten,
und die Hautbereiche in den Bildern durch menschliche Betrachter
ausgewählt
werden. Dann wird ein Lernprogramm dazu angewandt, die Häufigkeit
jeder Farbe im Farbraum, wie sie in den Hautgebieten auftritt, zu
untersuchen. Die SCDF wird dann einheitlich erstellt und dazu verwendet,
das Ausmaß dazu
abzuschätzen,
wie gut eine Farbe einer Hautfarbe ähnlich sieht. Wenn einmal ein
Gebiet als wahrscheinliches Hauptgebiet entnommen ist, wird es einer
weiteren Analyse auf Grundlage vor erstellter Gesichtsformmodelle,
von denen jedes 10 × 12
quadratische Zellen enthält,
unterzogen. Jedoch besteht ein Problem bei dieser Technik darin,
dass sich die SCDF ändern kann,
wenn sich die Belichtungsbedingungen ändern.
-
Gemäß einer ersten Erscheinungsform
der Erfindung ist Folgendes geschaffen ein Verfahren zum Erfassen
eines gesichtsähnlichen
Gebiets eines Farbbilds, bei dem die Auflösung des Farbbilds durch Mittelung
der Sättigung
verringert wird, um ein Bild mit verringerter Auflösung zu
erzeugen, und bei dem nach einem Gebiet des Bilds mit verringerter
Auflösung
gesucht wird (23), das, innerhalb einer vorbestimmten Form, eine
im Wesentlichen gleichmäßige Sättigung
aufweist, die sich wesentlich von der Sättigung des Teils des Bilds
mit verringerter Auflösung unterscheidet,
der die vorbestimmte Form umgibt.
-
Das Farbbild kann mehrere Bildelemente aufweisen,
und die Auflösung
kann so verringert werden, dass sich die vorbestimmte Form über zwei
bis drei Elemente im Bild mit verringerter Auflösung erstreckt.
-
Das Farbbild kann ein Rechteckarray
von M × N
Bildelementen enthalten, das Bild mit verringerter Auflösung kann über (M/m)
auf (N/n) Bildelemente verfügen,
von denen jedes m auf n Bildelementen des Farbbilds entspricht,
und die Sättigung
P jedes Bildelements im Bild mit verringerter Auflösung kann wie
folgt gegeben sein:
wobei f(i,j) die Sättigung
des Bildelements in der Spalte i und der Zeile j der m auf n Bildelemente
ist. Zum Verfahren kann das Abspeichern der Sättigungswerte in einem Speicher
gehören.
-
Jedem der Elemente im Bild mit verringerter Auflösung kann
ein Gleichmäßigkeitswert
dadurch zugeschrieben wird, dass die Sättigung jedes der Elemente
des Bilds mit verringerter Auflösung
mit der Sättigung
mindestens eines benachbarten Elements im Bild mit verringerter
Auflösung
verglichen wird.
-
Jedem Gleichmäßigkeitswert kann ein erster Wert
zugeschrieben werden, wenn
-
(max(P) – min(P))/max(P) ≤ T
-
gilt, wobei max(P) und min(P) der
Maximal- bzw. Minimalwert der Sättigungen
des Elements im Bild mit verringerter Auflösung und des oder jedes benachbarten
Bildelements sind und T ein Schwellenwert ist, und er andernfalls
ein zweiter Wert ist, der vom ersten Wert verschieden ist. T kann
im Wesentlichen 0,15 entsprechen.
-
Dem benachbarten Element im Bild
mit verringerter Auflösung
muss kein Gleichmäßigkeitswert zugeschrieben
werden, oder es muss nicht jedem benachbarten im Bild mit verringerter
Auflösung
ein Gleichmäßigkeitswert
zugeschrieben werden, und jeder Gleichmäßigkeitswert kann anstelle
des entsprechenden Sättigungswerts
im Speicher abgeschrieben.
-
Die Auflösung kann so verringert werden, dass
sich die vorbestimmte Form über
zwei oder drei Elemente im Bild mit verringerter Auflösung erstreckt, und
zum Verfahren gehört
es ferner, dass die Erfassung eines gesichtsähnlichen Gebiets angezeigt wird,
wenn ein Gleichmäßigkeitswert
vom ersten Wert entweder einem Element im Bild mit verringerter Auflösung, zwei
vertikal oder horizontal benachbarten Elementen (43, 45)
im Bild mit verringerter Auflösung
oder einem rechteckigen Zwei-auf-zwei-Array von Bildelementen zugeschrieben
ist und wenn ein Gleichmäßigkeitswert
vom zweiten Werte jedem umgebenden Element im Bild mit verringerter
Auflösung zugeschrieben
ist.
-
Die Erfassung kann dadurch angezeigt
werden, dass ein dritter Wert, der vom ersten und vom zweiten Wert
verschieden ist, anstelle des entsprechenden Gleichmäßigkeitswerts
im Speicher abgespeichert wird.
-
Zum Verfahren kann es gehören, die
Auflösungsverringerung
und den Suchvorgang mindestens einmal zu wiederholen, wobei die
Elemente im Bild mit verringerter Auflösung in Bezug auf die Farbbildelemente
verschoben sind.
-
Die Sättigung kann aus Komponenten
für rot, grün und blau
wie folgt hergeleitet werden:
-
(max(R,G,B) – min(R,G,B))/max(R,G,B)
-
wobei max(R,G,B) und min(R,G,B) der
Maximal- bzw. Minimalwert der Komponenten für rot, grün und blau sind.
-
Zum Verfahren kann es gehören, das
Farbbild aufzunehmen. Das Farbbild kann durch eine Videokamera aufgenommen
werden, und die Auflösungsverringerung
und der Suchvorgang können
für verschiedene
Videohalbbilder oder -vollbilder von der Videokamera wiederholt
werden. Ein erstes Farbbild kann aufgenommen werden, während ein
erwarteter Bereich von Positionen eines Gebiets beleuchtet wird,
ein zweites Farbbild kann unter Verwendung von Umgebungslicht aufgenommen
werden und das zweite Farbbild kann vom ersten Farbbild abgezogen werden,
um das Farbbild zu erzeugen.
-
Gemäß einer zweiten Erscheinungsform
der Erfindung ist Folgendes geschaffen: eine Vorrichtung zum Erfassen
eines gesichtsähnlichen
Gebiets eines Farbbilds, gekennzeichnet durch einen Datenprozessor,
der so ausgebildet ist, dass er die Auflösung des Farbbilds durch Mittelung
der Sättigung
verringert, um ein Bild mit verringerter Auflösung zu erzeugen, und er nach
einem Gebiet des Bilds mit verringerter Auflösung sucht, das, innerhalb
einer vorbestimmten Form, eine im Wesentlichen gleichmäßige Sättigung aufweist,
die von der Sättigung
des Teils des Bilds mit verringerter Auflösung um die vorbestimmte Form herum
deutlich verschieden ist.
-
Gemäß einer dritten Erscheinungsform
der Erfindung ist ein dem Betrachter nachfahrendes Display geschaffen,
das eine Vorrichtung gemäß der zweiten
Erscheinungsform der Erfindung enthält.
-
Es ist bekannt, dass die menschliche
Haut die Tendenz einer gleichmäßigen Sättigung
zeigt. Das aktuelle Verfahren und die Vorrichtung nutzen diese Eigenschaft,
und sie sorgen für
ein effizientes Verfahren zum Auffinden von Kandidaten für Gesichter
in Farbbildern. Es kann ein größerer Bereich
von Belichtungsbedingungen gemeistert werden, ohne dass eine Farbkalibrierung
erforderlich ist, so dass diese Technik zuverlässiger und zweckdienlicher
als die bekannten Techniken ist. Durch Verringern der Auflösung der
Bildsättigung
werden Rechenerfordernisse beträchtlich
verringert und es kann ein relativ einfaches Verfahren verwendet
werden. Durch Mittelung wird die Gleichförmigkeit der Sättigung
in einem Gesichtsgebiet erhöht,
so dass diese Technik dazu in der Lage ist, Gesichtskandidaten in
Bildern von Menschen verschiedenen Alters, Geschlechts und verschiedener
Hautfarbe zu erkennen, und sie kann sogar mit Bildern von Trägern von
Brillen heller Farbe zurechtkommen. Da diese Technik sehr effizient
ist, kann sie in Echtzeit realisiert werden, und sie kann bei billigen
kommerziellen Anwendungen verwendet werden.
-
Diese Technik kann im Anfangsstadium
9 verwendet
werden, wie es in der
3 der beigefügten Zeichnungen
für das
in
EP 0 877 274 und
GB 2 324 428 offenbarte Bildnachfahrsystem dargestellt ist. Ferner
kann diese Technik als erster Teil zweistufiger Gesichtserfassungs-
und Erkennungstechniken verwendet werden, wie z.B. in
US 5 164 992 , US 5 012 522, Turk et
al., "Eigen faces
for Recognition", Journal
1 of Cognitive Neuroscience, Vo1. 3, No. 1, Seiten 70 bis 81, 1991,
Yuille et al., "Feature
Extraction from Faces using Deformable Templates", International Journal of Computer
Vision, 8(2), Seiten 99 bis 111, 1992 und in Yang et al. "Human Face Detection
in Complex Background",
Pattern Recognition, Vol. 27, No. 1, Seiten 53 bis 63, 1994. Bei
derartigen zweistufigen Techniken lokalisiert die erste Stufe die ungefähre Position
des Gesichts, und die zweite Stufe sorgt für eine weitere Analyse jedes
Kandidatengesichtsgebiets, um das Vorhandensein eines Gesichts zu
bestätigen
und genaue Gesichtsmerkmale wie Augen, die Nase und die Lippen zu
entnehmen. Die erste Stufe benötigt
keine hohe Genauigkeit, und sie kann mit schnellen Algorithmen realisiert
werden. Die Anzahl der Bildgebiete, die in der zweiten Stufe zu analysieren
sind, ist durch die erste Stufe begrenzt. Dies ist von Vorteil,
da die zweite Stufe im Allgemeinen ausgeklügeltere Algorithmen benötigt und
so rechenintensiver ist.
-
Die Erfindung wird unter Bezugnahme
auf die beigefügten
Zeichnungen beispielhaft weiter beschrieben.
-
1 ist
ein schematisches Blockdiagramm eines bekannten Typs eines dem Betrachter
nachfahrenden autostereoskopischen Displays;
-
2 ist
ein schematisches Blockdiagramm eines den Betrachter nachfahrenden
Displays, bei dem die Erfindung angewandt werden kann;
-
3 ist
ein Flussdiagramm zum Veranschaulichen des Betrachternachfahrvorgangs
beim Display der 2;
-
4 veranschaulicht
ein typisches Zielbild oder eine Schablone, wie sie durch das durch
die 3 veranschaulichte Verfahren erfasst
wird;
-
5 veranschaulicht
das Aussehen einer Anzeige während
der Schablonenerfassung durch das Display der 2;
-
6 ist
ein Flussdiagramm zum Veranschaulichen eines Verfahrens zum Erfassen
gesichtsähnlicher
Gebiete, das eine Ausführungsform
der Erfindung bildet;
-
7 ist
ein Diagramm zum Veranschaulichen eines Farbsättigungswert(HSV = hue saturation value)-Farbschemas;
-
8 ist
ein Diagramm zum Veranschaulichen einer Bildauflösungsverringerung durch Mittelung
beim in der 6 veranschaulichten Verfahren;
-
9 ist
ein Diagramm zum Veranschaulichen der Berechnung von Gleichmäßigkeitswerten beim
in der 6 veranschaulichten Verfahren;
-
10 ist
ein Diagramm zum Veranschaulichen von Mustern, wie sie bei der Auswahl
von Gesichtskandidaten beim in der 6 veranschaulichten
Verfahren verwendet werden;
-
11 ist
ein Diagramm zum Veranschaulichen der Auswirkung verschiedener Positionen
eines Gesichts auf das in der 6 veranschaulichte
Verfahren;
-
12 ist
ein Diagramm zum Veranschaulichen einer Modifizierung des in der 6 veranschaulichten Verfahrens, um verschiedene
Gesichtspositionen zu meistern;
-
13 ist
ein schematisches Blockdiagramm eines dem Betrachter nachfahrenden
Displays, bei dem die Erfindung angewandt ist;
-
14 ist
ein Systemblockdiagramms eines Videonachfahrsystems beim Display
der 13 zum Ausführen des erfindungsgemäßen Verfahrens.
-
In allen Zeichnungen kennzeichnen
gleiche Bezugszahlen gleiche Teile.
-
Die 6 veranschaulicht
in Flussdiagrammform ein Verfahren zum automatischen Erfassen und
Lokalisieren gesichtsähnlicher
Gebiete eines in Pixel unterteilten Farbbilds aus einer Videobildsequenz.
Die Videobildsequenz kann in Echtzeit z.B. durch eine Videokamera
des oben unter Bezugnahme auf die 2 beschriebenen
Typs geliefert werden. Das Verfahren ist dazu in der Lage, als Teil des
in der 3 dargestellten Initialisierungsstadiums 9 in
Echtzeit zu arbeiten.
-
In einem Schritt 20 wird das jüngste digitale Bild
im Rot/Grün/Blau(RGB)-Format erhalten.
Z.B. kann es zu diesem Schritt gehören, das jüngste Halbbild von Videodaten
von der Videokamera in einem Halbbildspeicher abzuspeichern. In
einem Schritt 21 wird das Videobild aus dem RGB-Format in das HSV-Format
umgesetzt, um die Sättigung
jedes Pixels zu erhalten. In der Praxis reicht es aus, im Schritt 21
nur die Komponente S zu ermitteln, und dies kann dazu verwendet
werden, die RGB-Pixeldaten oder eine Komponente derselben im Halbbildspeicher
zu überschreiben,
um Speichererfordernisse zu minimieren.
-
Das RGB-Format ist ein hardwareorientiertes
Farbschema, das sich aus der Art ergibt, gemäß der Kamerasensoren und Display-Leuchtstoffe
arbeiten. Das HSV-Format ist eines von mehreren Formaten, die die
Farbsättigungsintensität (HSI =
hue saturation intensity) und die Farbhelligkeitssättigung (HLS
= hue lightness saturation) enthalten, und es steht in engerem Zusammenhang
mit den Konzepten der Farbgebung, der Abschattung und des Farbtons. Beim
HSV-Format repräsentiert
der Farbton die Farbe, wie sie durch die Lichtwellenlänge vorgegeben
ist (z.B. Unterscheidung zwischen rot und gelb), die Sättigung
repräsentiert
den Umfang, gemäß dem die Farbe
vorhanden ist (z.B. Unterscheidung zwischen rot und rosa), und die
Helligkeit, die Intensität
oder der Wert repräsentiert
die Lichtmenge (z.B. Unterscheidung zwischen dunkelrot und hellrot
oder zwischen dunkelgrau und hellgrau). Der "Raum",
in dem diese Werte aufgetragen werden kann, kann als Kreis- oder
Sechseckkegel oder Doppelkegel dargestellt werden, wie z.B. in der 7 dargestellt, wobei die Kegelachse dem
Fortschreiten auf der Grauskala von schwarz nach weiß entspricht,
der Abstand von der Achse die Sättigung
re präsentiert
und die Richtung oder der Winkel um die Achse den Farbton repräsentiert.
-
Die Farbe der menschlichen Haut wird
durch eine Kombination von Blut (rot) und Melanin (gelb, braun)
erzeugt. Hautfarben liegen zwischen diesen zwei extremen Farbtönen, und
sie sind etwas gesättigt,
aber nicht extrem gesättigt.
Die Sättigungskomponente
des menschlichen Gesichts ist relativ gleichmäßig.
-
Es existieren mehrere Techniken,
um Videobilddaten vom RGB-Format in das HSV-, HSI- oder HLS-Format
umzusetzen. Es kann jede Technik verwendet werden, die die Sättigungskomponente
entnimmt. Z.B. kann die Umsetzung entsprechend dem folgenden Ausdruck
für die
Sättigungskomponente
S ausgeführt
werden:
-
S = 0 für max(R,G,B) = 0
-
S = (max(R,G,B) – min(R,G,B))/max(R,G,B) andernfalls
-
Folgend auf den Umsetzungsschritt 21 wird die
räumliche
Bildauflösung
der Sättigungskomponente
durch Mittelung in einem Schritt 22 verringert. Wie oben unter Bezugnahme
auf die 2 beschrieben,
ist der ungefähre
Abstand des Gesichts eines Betrachters vom Display bekannt, so dass
die ungefähre
Größe eines
Gesichts in jedem Videobild bekannt ist. Die Auflösung wird
so verringert, dass das Gesicht eines erwachsenen Betrachters ungefähr zwei
bis drei Pixel in jeder Abmessung belegt, wie es in der 6 dargestellt ist. Nachfolgend wird eine Technik,
um dies zu erzielen, detaillierter beschrieben.
-
In einem Schritt 23 werden, im Bild
mit verringerter Auflösung
aus dem Schritt 22, Bereiche oder "Farbflecke" gleicher Sättigung mit vorbestimmter Größe und Form
erfasst, die von einem Bereich von Pixeln mit verringerter Auflösung mit
anderer Sättigung
umgeben sind. Eine Technik, um dies zu bewerkstelligen, wird ebenfalls
nachfolgend detaillierter beschrieben. In einem Schritt 24 wird
erfasst, ob ein Gesichtskandidat oder ein gesichtsähnliches
Gebiet aufgefunden wurde. Falls nicht, werden die Schritte 20 bis
24 wiederholt. Wenn im Schritt 24 geklärt wird, dass mindestens ein
Kandidat aufgefunden wurde, wird die Position des oder jedes im
Schritt 23 erfassten gleichmäßigen Farbflecks
in einem Schritt 25 ausgegeben.
-
Die
8 veranschaulicht
detaillierter den Schritt 22 zum Verringern der Bildauflösung. 30
veranschaulicht die Pixelstruktur eines dem Schritt 20 zugeführten Bilds.
Die räumliche
Auflösung
ist als Rechteckarray von M × N
quadratischen oder rechteckigen Pixeln dargestellt. Die räumliche
Auflösung wird
durch Mittelung verringert, wobei sich ein Array von (M/m) × (N/n)
Pixeln ergibt, wie es bei 31 dargestellt ist. Das Array von Pixeln
30 ist
effektiv in "Fenster" oder rechteckige
Blöcke
von Pixeln
32 unterteilt, von denen jeder m × n Pixel
der Struktur
30 enthält. Die
S-Werte der Pixel sind in der Figur als f(i,j) für 0 ≤ i ≤ m und 0 ≤ j ≤ n dargestellt. Der mittlere
Sättigungswert
P des Fensters wird wie folgt berechnet:
Bei der in den Zeichnungen
dargestellten Ausführungsform
ist die Verringerung der räumlichen
Auflösung
dergestalt, dass das Gesicht eines erwachsenen Betrachters ungefähr zwei
bis drei Pixel verringerter Auflösung
in jeder Abmessung belegt.
-
Zum Schritt 23 gehört es, jedem
Pixel mit verringerter Auflösung
einen Gleichmäßigkeitsstatus oder
einen Wert U zuzuweisen und dann Muster von Gleichmäßigkeitswerten
zu erfassen, die gesichtsähnliche
Gebiete repräsentieren.
Der Gleichmäßigkeitswert
ist abhängig
vom Sättigungswert
des Pixels sowie desjenigen seiner Nachbarn 1 oder 0.
Die 9 veranschaulicht bei 35 ein Pixel
mit einem gemittelten Sättigungswert
P0, dessen Gleichmäßigkeit U, wie sie bei 36 in
der 9 dargestellt ist, aus P0 und den gemittelten Sättigungswerten P1,
P2 und P3 der drei
benachbarten Pixe 1 zu berechnen ist. Die Zuweisung von
Gleichmäßigkeitswerten
beginnt beim oberen linken Pixel 37 und geht von links
nach rechts weiter, bis dem vorletzten Pixel 38 der obersten
Zeile sein Gleichmäßigkeitswert
zugewiesen ist. Dieser Prozess wird dann für jede Zeile der Reihe nach
von oben nach unten wiederholt, wobei mit der vorletzten Zeile geendet
wird. Durch "Durchscannen" der Pixel auf diese
Weise und durch Verwenden benachbarter Pixel rechts und unter dem
Pixel, dessen Gleichmäßigkeitswert
berechnet wurde, ist es möglich,
die mittleren Sättigungswerte
P dadurch durch die Gleichmäßigkeitswerte
U zu ersetzen, dass ein Überschreiben
im Speicher erfolgt, so dass die Speicherkapazität effizient genutzt werden
kann und es nicht erforderlich ist, für die Gleichmäßigkeitswerte weitere
Speicherkapazität
bereitzustellen.
-
Der Gleichmäßigkeitsstatus U wird wie folgt berechnet:
-
U = 1 wenn (fmax – fmin)/fmax ≤ T
-
U = 0 andernfalls
-
wobei T ein vorbestimmter Schwellenwert ist,
z.B. mit einem typischen Wert von 0,15, fmax der Maximalwert von
P0, P1, P2 und P3 ist und
fmin der Minimalwert von P0, P1,
P2 und P3 ist.
-
Wenn das Zuschreiben der Gleichmäßiqkeitswerte
abgeschlossen ist, enthält
das Array 36 ein Muster von Werten 0 und 1, die die Gleichmäßigkeit
der Sättigung
der Pixel mit verringerter Auflösung repräsentieren.
Im Schritt 23 wird dann nach speziellen Mustern von 0 und 1 geschaut,
um gesichtsähnliche
Gebiete zu erfassen. Die 10 veranschaulicht ein
Beispiel von vier Mustern von Gleichmäßigkeitswerten und entsprechenden
Pixelsättigungsmustern, die
Gesichtskandidaten im Videobild ähnlich
sind. Die 10 zeigt bei 40 einen gleichmäßigen Farbfleck,
in dem dunkle Gebiete gemittelte Sättigungswerte ausreichender
Gleichmäßigkeit,
um ein gesichtsähnliches
Gebiet anzuzeigen, repräsentieren. Die
umgebenden hellen Gebiete oder Quadrate repräsentieren ein Gebiet, das die
Pixel mit gleichmäßiger Sättigung
umgibt, und sie weisen im Wesentlichen verschiedene Sättigungen
auf. Das entsprechende Muster der Gleichmäßiqkeitswerte ist bei 41 dargestellt,
und es verfügt über einen
Pixelort mit dem Gleichmäßigkeitswert 1,
der vollständig
durch Pixelorte mit dem Gleichmäßigkeitswert 0 umgeben ist.
-
In ähnlicher Weise zeigt die 10 bei 42 einen anderen gesichtsähnlichen
Bereich und bei 43 das entsprechende Muster von Gleichmäßigkeitswerten.
In diesem Fall weisen zwei benachbarte Pixelorte den Gleichmäßigkeitswert 1 auf,
und sie sind vollständig
von Pixelorten mit dem Gleichmäßigkeitswert 0 umgeben.
Die 10 zeigt bei 44 ein drittes Muster,
dessen Gleichmäßiqkeitswerte
bei 45 dargestellt sind, wobei sie dergestalt sind, dass zwei vertikal
benachbarte Pixelorte den Gleichmäßigkeitswert 1 aufweisen
und sie durch Pixelorte mit dem Gleichmäßigkeitswert 0 umgeben
sind.
-
Das unter 46 in der 10 dargestellte
vierte Muster verfügt über einen
quadratischen Block von vier (zwei auf zwei) Pixelorten mit dem
Gleichmäßigkeitswert 1,
die vollständig
mit Pixelorten mit dem Gleichmäßigkeitswert 0 umgeben
sind. So gibt der Schritt 23 immer dann, wenn die unter 41, 43,
45 und 47 in der 10 dargestellten
Muster von Gleichmäßigkeitswerten
auftreten, an, dass ein gesichtsähnliches
Gebiet oder ein Kandidat aufge funden wurde. Der Suchvorgang für diese
Muster kann effizient ausgeführt
werden. Z.B. werden die Gleichmäßigkeitswerte
der Pixelorte der Reihe nach geprüft, wobei z.B. ein Durchscannen
von links nach rechts in jeder Zeile und von oben nach unten im
Halbbild erfolgt. Immer dann, wenn ein Gleichmäßigkeitswert 1 erfasst
wird, werden die benachbarten Pixelorte nach rechts und unter dem
aktuellen Pixelort untersucht. Wenn mindestens einer dieser Gleichmäßigkeitswerte
ebenfalls 1 ist und der Bereich durch Gleichmäßigkeitswerte 0 umgeben
ist, ist ein Muster aufgefunden, das einen möglichen Gesichtskandidaten
entspricht. Dann können
die entsprechenden Pixelorte markiert werden, z.B. dadurch, dass
ihre Gleichmäßigkeitswert
durch einen anderen Wert als 1 oder 0 ersetzt werden, z.B. durch
den Wert 2. Wenn nicht gerade kein möglicher Gesichtskandidat aufgefunden
wurde, werden die Positionen der Kandidaten ausgegeben.
-
Das Aussehen der Muster 40, 42, 44 und 46 kann
durch die tatsächliche
Position des gesichtsähnlichen
Gebiets in Beziehung zur Struktur der Pixel 36 mit verringerter
Auflösung
beeinflusst sein. Die 11 zeigt ein
Beispiel hierfür
für ein
gesichtsähnliches
Gebiet mit einer Größe von zwei
auf zwei Pixel mit verringerter Auflösung, wie bei 49 dargestellt. Wenn
das durch einen Kreis 50 gekennzeichnete gesichtsähnliche
Gebiet näherungsweise
in einem Zwei-auf-zwei-Block zentriert wird, wird das Muster 47 von
Gleichmäßigkeitswerten
erhalten, und die Erfassung ist korrekt. Wenn jedoch das Gesicht
im Ausmaß eines
halben Pixels sowohl in horizontaler als auch vertikaler Richtung
verschoben ist, wie es bei 51 dargestellt ist, kann der zentrale
Teil des gesichtsähnlichen
Gebiets einen Gleichmäßigkeitswert
aufweisen, der von dem des umgebenden Gebiets verschieden ist, wie
es bei 51 dargestellt ist. Dies kann zu einem Fehlschlag beim Erfassen
eines ernsthaften Kandidaten führen.
-
Um dieses mögliche Problem zu vermeiden, können die
Schritte 21 bis 24 für
dasselbe Videohalbbild oder für
ein oder mehrere aufeinanderfolgende Videohalbbilder von Bilddaten
wiederholt werden. Jedoch ändert
sich jedesmal dann, wenn die Schritte 21 bis 24 wiederholt werden,
die Position des Arrays 31 der Pixel mit verringerter Auflösung in
Bezug auf das Array 30 der Farbbildpixel. Dies ist in der 12 veranschaulicht, in der das Gesamtbild
bei 52 dargestellt ist und das zur Verringerung der räumlichen
Auflösung
durch Bildmittelung verwendete Gebiet mit 53 dargestellt ist. Die
Mittelung wird auf dieselbe Weise ausgeführt, wie sie in der 8 veranschaulicht ist, jedoch wird der
Startort geändert.
Insbesondere ist zwar in der 8 der
Startort für
das erste Pixel die Ecke 54 oben links im qe samten Bild
52, jedoch veranschaulicht die 12 die
folgende Mittelung, bei der der Startort von der Ecke oben links
um den Wert Sx nach rechts in horizontaler Richtung und Sy nach unten
in vertikaler Richtung verschoben ist, wobei Folgendes gilt:
-
0 < Sx < m
und 0 < Sy < n
-
Jedes Bild kann wiederholt so verarbeitet werden,
dass alle Kombinationen der Werte von Sx und Sy verwendet werden,
so dass m × n
Prozesse ausgeführt
werden müssen.
Jedoch ist es in der Praxis nicht erforderlich, alle Startorte zu
verwenden, insbesondere bei Anwendungen, bei denen die Erfassung
gesichtsähnlicher
Gebiete nicht sehr genau sein muss. Wenn z.B. die Erfassung eines
gesichtsähnlichen
Gebiets den ersten Schritt eines zweistufigen Prozesses bildet,
wie oben angegeben, können die
Werte von Sx und Sy aus einem spärlicheren
Satz von Kombinationen ausgewählt
werden, wie aus
-
Sx = i × (m/k) und Sy = j × (n/1) wobei
i, j, k und 1 ganze Zahlen sind, die den folgenden Bedingungen genügen:
0 ≤ i < k
0 ≤ j < 1
1 ≤ k < m
1 ≤ 1 < n
-
Dies führt zu insgesamt k × l Kombinationen.
-
Wie oben angegeben, können die
Schritte 21 bis 24 mit verschiedenen Startorten im selben Bild oder
einer Abfolge von Bildern wiederholt werden. Für Echtzeit-Bildverarbeitung
kann es erforderich oder bevorzugt sein, die Schritte für die Bilder
einer Sequenz zu wiederholen. Das Verfahren kann sehr schnell ausgeführt werden,
und es kann abhängig von
der Anzahl der im Bild vorhandenen Gesichtskandidaten in Echtzeit
mit einer Halbbildrate zwischen 10 und 60 Hz arbeiten. Demgemäß können innerhalb
einer kurzen Periode in der Größenordnung einiger
weniger Sekunden oder weniger alle möglichen Positionen getestet
werden.
-
Das durch die 6 veranschaulichte
Verfahren kann mit jeder beliebigen Hardware ausgeführt werden,
wie mit derjenigen, die in der 2 veran schaulicht
ist. Der oben beschriebene Nachfahrprozessor 4 kann so
programmiert werden, dass das Verfahren der 6 als
Teil des in der 3 dargestellten Initialisierungsstadiums 9 realisiert
wird. Die Datenverarbeitung wird vom Prozessor R4400 und dem zugehörigen Speicher
ausgeführt,
und der Prozessor 4 verfügt über einen Videodigitalisierer
und einen Vollbildspeicher, wie es in der 2 dargestellt ist, um die Sättigungswerte,
die gemittelten Sättigungswerte
der Pixel mit verringerter Auflösung
und die Gleichmäßigkeitswerte
zu speichern.
-
Das durch die 6 veranschaulichte
Verfahren arbeitet bei gleichmäßiger Beleuchtung
einschließlich
der Umgebungsbeleuchtung gut, und es ist unter Verwendung einer
aktiven Lichtquelle bei Anwendungen mit schlechten Beleuchtungsbedingungen
anwendbar. Obwohl für
das Verfahren keinerlei spezielle Beleuchtung erforderlich ist und
es hinsichtlich Änderungen
der Beleuchtung eines Betrachters sehr unanfällig ist, kann während des
Anfangsstadiums der 9 eine aktive
Lichtquelle verwendet werden, und diese kann dann während dem anschließenden Nachfahren
des, Betrachters ausgeschaltet werden, was sehr robust ist und keinerlei spezielle
Beleuchtung erfordert.
-
Die 13 zeigt
ein Display vom in der 2 dargestellten
Typ, das so modifiziert ist, dass für aktive Beleuchtung gesorgt
ist. Die aktive Lichtquelle verfügt über eine
Blitzlampe 55 mit durch den Prozessor 4 gesteuerter
Synchronisierung. Die Blitzlampe 55 ist an einer geeigneten
Position, wie über dem
Display 7 und benachbart zum Sensor 3, angeordnet,
um das Gesicht eines Betrachters zu beleuchten.
-
Die 14 veranschaulicht
detaillierter das Videonachfahrsystem 2 und insbesondere
den Datenprozessor 4. Der Datenprozessor verfügt über eine
zentrale Verarbeitungseinheit (CPU) 56, die mit einem CPU-Bus 57 verbunden
ist. Mit dem Bus 57 ist ein Systemspeicher 58 verbunden,
der die gesamte Systemsoftware zum Betreiben des Datenprozessors
enthält.
-
Die Videokamera 3 ist mit
einem Videodigitalisierer 59 verbunden, der mit einem Datenbus 60, über die
Synchronisiereinrichtung 55 mit der Blitzlampe, mit der
CPU 56 und mit einem wahlweisen Videodisplay 61,
falls vorhanden, verbunden ist. Mit dem Datenbus 60 und
dem CPU-Bus 57 ist ein Vollbildspeicher 62 verbunden.
-
Für
Ausführungsformen
ohne Verwendung einer aktiven Beleuchtung muss der Vollbildspeicher nur
eine Kapazität
eines Halbbilds aufweisen. Im Fall der oben beschriebenen Videokamera 3 mit
einer Halbbildauflösung
von 640 × 240
Pixeln für
ein RGB-Farbsignal von 24 Bits ist eine Kapazität von 640 × 240 × 3 = 460.800 Bytes erforderlich.
Für Ausführungsformen
unter Verwendung aktiver Beleuchtung verfügt der Vollbildspeicher 62 über eine
Kapazität
von zwei Halbbildern von Videodaten, d.h. 921.600 Bytes.
-
Im Gebrauch wird die Blitzlampe 55 mit
der Videokamera 3 und mit dem Videodigitalisierer 59 synchronisiert,
damit sie zum geeigneten Zeitpunkt, wenn ein Bild erfasst wird,
ein- oder ausgeschaltet wird.
-
Die Blitzlampe 55 wird dazu
verwendet, das Gesicht des Betrachters mit Blitzlicht zu beleuchten, um
die Gleichmäßigkeit
der Verteilung zu verbessern. Wenn die Blitzlampe 55 viel
stärker
als das Umgebungslicht ist, ist die Intensität des Gesichts stark durch
sie bestimmt. Jedoch besteht bei der Verwendung einer starken Lichtquelle
die Tendenz der Erzeugung eines übersättigten
Bilds, in dem viele Objekte falsch als gesichtsähnliche Gebiete erfasst werden.
Ferner kann die Verwendung eines kräftigen Blitzlichts für den Betrachter
unangenehm werden und zu Augenschäden führen.
-
Daher sollte die Blitzlampe 55 von
milder Intensität
sein. In diesem Fall kann es erforderlich sein, die Effekte des
Umgebungslichts zu verringern, um die Zuverlässigkeit bei der Erfassung
echter gesichtsähnlicher
Gebiete zu verbessern.
-
Das durch die 6 veranschaulichte
Verfahren kann so modifiziert werden, dass zwei aufeinanderfolgende
Rahmen von Videobilddaten verglichen. werden, von denen der eine
bei Beleuchtung mit der Blitzlampe 55 erhalten wird und
der andere nur mit Umgebungslicht erhalten wird. Der erste derselben
enthält
daher den Effekt sowohl des Umgebungslichts als auch der Blitzlampe 55.
Dieses erste Bild I(a + f) kann daher so angesehen werden, dass es
zwei Komponenten enthält:
-
I(a + f) = I(a) + I(f)
-
wobei I(a) das nur mit Umgebungslicht
aufgenommene Bild ist und I(F) das Bild ist, wie es erzeugt worden
wäre, wenn
die einzige Lichtquelle die Blitzlampe 55 gewesen wäre. Dies
kann wie folgt umgeschrieben werden:
-
I(f) = I(a + f) – I(a)
-
Demgemäß kann durch Abziehen der Bildpixeldaten
oder der Daten mit verringerter Auflösung im Schritt 21 oder im
Schritt 22 der Effekt einer Übersättigung
des Hintergrunds durch die Blitzlampe 55 verringert werden.
Eine weitere Verringerung kann dadurch erzielt werden, dass dafür gesorgt
wird, dass die Blitzlampe 55 ihr Licht stark in das Gebiet
lenkt, das wahrscheinlich vom Gesicht des Betrachters belegt ist.
