DE102006039946A1

DE102006039946A1 - Verfahren und System zum Bestimmen der Bewegung eines Bilderfassungsgeräts

Info

Publication number: DE102006039946A1
Application number: DE102006039946A
Authority: DE
Inventors: Rene P. Palo Alto Helbing; William R. Atherton Trutna Jr.
Original assignee: Avago Technologies ECBU IP Singapore Pte Ltd
Current assignee: Avago Technologies International Sales Pte Ltd
Priority date: 2005-08-26
Filing date: 2006-08-25
Publication date: 2007-03-15
Also published as: CN1921565B; JP2007068168A; JP4963384B2; TW200715832A; GB0616797D0; TWI394435B; US7777781B2; GB2429596A; CN1921565A; GB2429596B; US20070046782A1

Abstract

Mehrere Bewegungssensorvorrichtungen sind in einem Bilderfassungsgerät enthalten. Eine oder mehrere der Bewegungssensorvorrichtungen nehmen Bilder auf und zumindest ein Teil der Sensorbilder wird dann verarbeitet, um einen oder mehrere Bewegungsvektoren für die verarbeiteten Sensorbilder zu bestimmen. Zumindest ein Bewegungsvektor, der eine Größe einer Bewegung des Bilderfassers während einer Bildaufnahme darstellt, wird erzeugt, wenn ein vorbestimmter Teil der Bewegungsvektoren übereinstimmt.

Description

Ein Bilderfassungsgerätebenutzer, wie beispielsweise ein Standbild- oder Videokamerabenutzer, nimmt häufig Bilder auf, die unscharf oder verwackelt sind. Die unscharfen oder verwackelten Bilder können durch ein Subjekt, das sich während einer Bildaufnahme bewegt, oder durch Schwingungen bewirkt sein, die durch die Bewegung des Bilderfassungsgeräts selbst während der Bildaufnahme bewirkt werden. Beispielsweise können ein Kameraschütteln, eine langsame Verschlussgeschwindigkeit oder die Verwendung eines Teleobjektivs ohne Stativ in unscharfen oder verwackelten Bildern resultieren, weil sich das Bilderfassungsgerät während einer Bildaufnahme bewegt.
Eine Bildstabilisierungstechnik wird verwendet, um die Bewegung des Bilderfassers während einer Bildaufnahme zu kompensieren. Eine Bildstabilisierung erzeugt schärfere Bilder durch ein Dämpfen oder Entgegenwirken der Schwingungen, die durch die Bewegung des Bilderfassungsgeräts oder des Bilderfassers erzeugt werden. Eine Bildstabilisierungstechnik verwendet einen eingebauten Gyrosensor, um ein Kameraschütteln zu messen und zu korrigieren, wenn dasselbe auftritt. Eine andere Bildstabilisierungstechnik verwendet einen Bilderfassungssensor, um Bilder aufzunehmen, die verwendet werden, um die Bewegung des Bilderfassers zu kompensieren.

1 ist ein Blockdiagramm einer Vorderansicht eines Bilderfassungsgeräts gemäß dem Stand der Technik. Das Bilderfassungsgerät 100 umfasst einen Bilderfasser 102 und einen Bewegungssensor 104. Wie es in 2 dargestellt ist, nehmen sowohl der Bilderfasser 102 als auch der Bewegungssensor 104 Bilder einer Szene 106 auf. Der Bewegungssensor 104 nimmt Bilder mit einer hohen Rahmenrate auf und die Bewe gung des Bilderfassungsgeräts 100 wird durch ein Korrelieren aufeinanderfolgender Bilder des Sensors 104 berechnet. Der Bewegungssensor 104 weist eine kleinere Anzahl von Pixeln verglichen mit dem Bilderfasser 102 auf, was darin resultiert, dass der Sensor 104 verglichen mit dem Bilderfasser 102 ein kleineres Betrachtungsfeld 110 aufweist. Das kleinere Betrachtungsfeld 110 kann bewirken, dass der Bewegungssensor 104 eine Bewegung erfasst, die in der Szene 106 auftritt, und diese Bewegung anstelle irgendeiner Bewegung bei dem Bilderfassungsgerät inkorrekt kompensiert. Beispielsweise nimmt der Bewegungssensor 104 eventuell Bilder eines Kopfs einer Person auf, wenn der Bilderfasser 102 ein Bild einer Person aufnimmt. Der Bewegungssensor 104 erfasst eine Bewegung, falls die Person ihren Kopf während einer Bildaufnahme bewegt. Aber das Bilderfassungsgerät 110 hat sich eventuell nicht bewegt oder hat sich eventuell weniger als die Bewegung des Kopfs bewegt. Somit kompensiert eine Bildstabilisierungstechnik eventuell eine Bewegung inkorrekt, die nicht auftrat, oder überkompensiert die Bewegung des Bilderfassungsgeräts 100.

Es ist die Aufgabe der vorliegenden Erfindung, ein Bilderfassungsgerät, ein System zum Bestimmen einer Größe einer Bewegung eines Bilderfassers in einem Bilderfassungsgerät und ein Verfahren zum Bestimmen einer Größe einer Bewegung eines Bilderfassers in einem Bilderfassungsgerät mit verbesserten Charakteristika zu schaffen.

Diese Aufgabe wird durch ein Gerät gemäß Anspruch 1, ein System gemäß Anspruch 7 und ein Verfahren gemäß Anspruch 11 gelöst.

Gemäß der Erfindung sind ein Verfahren und ein System zum Bestimmen der Bewegung eines Bilderfassungsgeräts vorgesehen. Mehrere Bewegungssensorvorrichtungen sind in einem Bilderfassungsgerät enthalten. Eine oder mehrere der Bewegungssensorvorrichtungen nehmen Bilder auf und zumindest ein Teil der Sensorbilder wird dann verarbeitet, um einen oder mehrere Bewegungsvektoren für die verarbeiteten Sensorbilder zu bestimmen. Zumindest ein Bewegungsvektor, der eine Größe einer Bewegung des Bilderfassers während einer Bildaufnahme darstellt, wird erzeugt, wenn ein vorbestimmter Abschnitt der Bewegungsvektoren übereinstimmt.

Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend Bezug nehmend auf die beiliegenden Zeichnungen näher erläutert. Es zeigen:
1 ein Blockdiagramm einer Vorderansicht eines Bilderfassungsgeräts gemäß dem Stand der Technik;
2 ein Blockdiagramm einer linken Seitenansicht des in 1 gezeigten Bilderfassungsgeräts;
3 ein Blockdiagramm einer Vorderansicht eines Bilderfassungsgeräts bei einem Ausführungsbeispiel gemäß der Erfindung;
4 ein Blockdiagramm einer linken Seitenansicht des Bilderfassungsgeräts 300;
5A-5B ein Flussdiagramm eines Verfahrens zum Bestimmen der Bewegung eines Bilderfassungsgeräts bei einem Ausführungsbeispiel gemäß der Erfindung;
6 ein Blockdiagramm einer Szene und von Sensorbildern bei einem Ausführungsbeispiel gemäß der Erfindung;
7 ein Sensorbild 602 mit Fenstern bei einem Ausführungsbeispiel gemäß der Erfindung;
8 ein Fenster 700 mit Teilfenstern bei einem Ausführungsbeispiel gemäß der Erfindung;
9 ein erstes Sensorbild mit Fenstern, die gemäß dem in 5A-5B gezeigten Verfahren verarbeitet sind; und
10 ein zweites Sensorbild mit Fenstern, die gemäß dem in 5A-5B gezeigten Verfahren verarbeitet sind.
Die folgende Beschreibung ist vorgelegt, um zu ermöglichen, dass ein Fachmann auf dem Gebiet Ausführungsbeispiele der Erfindung herstellt und verwendet, und ist in dem Kontext einer Patentanmeldung und den Anforderungen derselben vorgesehen. Verschiedene Modifikationen an den offenbarten Ausführungsbeispielen werden Fachleuten auf dem Gebiet ohne weiteres ersichtlich und die allgemeinen Prinzipien hierin können auf andere Ausführungsbeispiele angewandt werden. Somit soll die Erfindung nicht auf die gezeigten Ausführungsbeispiele begrenzt sein, sondern derselben soll der breiteste Schutzbereich zugestanden werden, der mit den beigefügten Ansprüchen sowie den Prinzipien und Merkmalen, die hierin beschrieben sind, konsistent ist. Es ist klar, dass die Zeichnungen, auf die in dieser Beschreibung Bezug genommen wird, nicht maßstabsgetreu gezeichnet sind.
Gleiche Bezugszeichen bezeichnen entsprechende Teile überall in den Figuren. 3 ist ein Blockdiagramm einer Vorderansicht eines Bilderfassungsgeräts bei einem Ausführungsbeispiel gemäß der Erfindung. Das Bilderfassungsgerät 300 umfasst einen Bilderfasser 102 und einen optischen Bewegungssensor 302. Der Bewegungssensor 302 umfasst Sensorvorrichtungen 304, 306, 308, die bei einem Ausführungsbeispiel gemäß der Erfindung als Komplementärmetalloxid-Halbleitervorrichtungen (CMOS-Vorrrichtungen; CMOS = Complementary Metal Oxide Semiconductor) implementiert sind. Bei anderen Ausführungsbeispielen gemäß der Erfindung können die Sensorvorrichtungen 305, 306, 308 mit unterschiedlichen Bilderfassungsvorrichtungen implementiert sein, wie beispielsweise ladungsgekoppelten Vorrichtungen (CCD = Charge Coupled Device).
Der Bilderfasser 102 ist als irgendeine bekannte Bilderfassungsvorrichtung implementiert, die zum Aufnehmen von Stand- oder Videobildern in der Lage ist. Der Bilderfasser 102 nimmt Bilder einer Szene 106 auf, die in dem Betrachtungsfeld desselben gelegen sind. Die Sensorvorrichtungen 304, 306, 308 nehmen eines oder mehrere Bilder von Abschnitten der Szene bei einem Ausführungsbeispiel gemäß der Erfindung auf. Bei einem anderen Ausführungsbeispiel gemäß der Erfindung nehmen einige oder alle der Sensorvorrichtungen 304, 306, 308 eines oder mehrere Bilder eine Szene auf, die außerhalb des Betrachtungsfelds des Bilderfassers 102 gelegen ist.
Die Sensorbilder werden verwendet, um einen oder mehrere Bewegungsvektoren (d. h. Richtungs- und Abstandswerte) zu bestimmen, die der Bewegung des Bilderfassungsgeräts 300 während einer Bildaufnahme zugeordnet sind. Der eine oder die mehreren Bewegungsvektoren werden bei einem Ausführungsbeispiel gemäß der Erfindung bei einer Bildstabilisierungstechnik verwendet, um die Bilder zu stabilisieren, die durch den Bilderfasser 102 aufgenommen werden. Obwohl in 3 lediglich drei Sensorvorrichtungen gezeigt sind, können Ausführungsbeispiele gemäß der Erfindung irgendeine Anzahl von mehreren Sensoren umfassen.
4 ist ein Blockdiagramm einer linken Seitenansicht des Bilderfassungsgeräts 300. Der Bilderfasser 102 ist der Klarheit halber nicht gezeigt. Ein Linsenarray 400 umfasst drei Linsen 402, 404, 406, die in einem Bilderfassungsweg der jeweiligen Sensorvorrichtungen 304, 306, 308 positioniert sind. Jede Linse kann geneigt oder gedreht werden, um zu ermöglichen, dass die entsprechende Sensorvorrichtung derselben unterschiedliche Abschnitte der Szene 106 aufnimmt. Beispielsweise ist bei einem Ausführungsbeispiel gemäß der Erfindung die Linse 402 positioniert (d. h. ge neigt), um zu ermöglichen, dass die Sensorvorrichtung 304 Bilder eines Teilfelds 408 der Szene 106 aufnimmt, ist die Linse 404 positioniert, um zu ermöglichen, dass die Sensorvorrichtung 306 Bilder eines Teilfelds 410 aufnimmt, während die Linse 406 positioniert ist, derart, dass die Sensorvorrichtung 308 Bilder eines Teilfelds 412 aufnimmt. Die Linsen in dem Linsenarray 400 können bei anderen Ausführungsbeispielen gemäß der Erfindung in irgendeine gegebene Richtung positioniert sein.
Die Sensorbilder, die durch die Sensorvorrichtungen 304, 306, 308 aufgenommen werden, werden durch eine Verarbeitungsvorrichtung 414 verarbeitet, um einen oder mehrere Bewegungsvektoren für jedes Sensorbild zu bestimmen. Die Sensorbilder sind bei einem Ausführungsbeispiel gemäß der Erfindung vor einem Verarbeiten in einem Speicher 416 gespeichert. Eine Technik, die verwendet werden kann, um Bewegungsvektoren zu bestimmen, ist eine Bildkorrelation. Zwei Bilder, die durch den gleichen Sensor aufgenommen sind, werden korreliert, um zu bestimmen, ob eine Bewegung zwischen den Zeiten auftrat, zu denen die zwei Bilder aufgenommen wurden. Die Bewegung kann aus der Bewegung des Bilderfassungsgeräts, einer Bewegung eines Objekts in der Szene oder sowohl der Bewegung des Bilderfassungsgeräts als auch der Bewegung eines Objekts in der Szene stammen. 5A-5B stellen ein Flussdiagramm eines Verfahrens zum Bestimmen der Bewegung eines Bilderfassungsgeräts bei einem Ausführungsbeispiel gemäß der Erfindung dar.
Eine andere Technik, die verwendet werden kann, um Bewegungsvektoren zu bestimmen, ist in der ebenfalls übertragenen US-Patentanmeldung 11/014,482 offenbart, die hierin durch Bezugnahme aufgenommen ist. Für jede Sensorvorrichtung 304, 306, 308 in dem Bilderfassungsgerät 300 werden zwei Sensorbilder aufgenommen und ein Differenzbild durch ein Subtrahieren eines Sensorbilds I(t) von dem anderen Sensorbild I(t + Δ) erzeugt. Beispielsweise werden die Grauskalierungswerte aus dem Bild I(t) von den Grauskalierungs werten in dem Bild I(t + Δ) subtrahiert. Somit entspricht das Differenzbild der Differenz bei Grauskalierungswerten zwischen den zwei Sensorbildern.
Das Differenzbild wird dann mit einem der Sensorbilder korreliert, die verwendet werden, um das Differenzbild zu erzeugen. Bei einem Ausführungsbeispiel gemäß der Erfindung wird beispielsweise das Differenzbild mit dem Bild I(t) korreliert. Bei einem anderen Ausführungsbeispiel gemäß der Erfindung wird das Differenzbild mit dem Bild I(t + Δ) korreliert. Die Ergebnisse der Korrelation werden dann verwendet, um zu bestimmen, ob eine Bewegung zwischen den Zeiten auftrat, zu denen die Bilder I(t) und I(t + Δ) aufgenommen wurden. Erneut kann die Bewegung von der Bewegung des Bilderfassungsgeräts, einer Bewegung eines Objekts in der Szene oder sowohl der Bewegung des Bilderfassungsgeräts als auch der Bewegung eines Objekts in der Szene stammen.
5A-5B stellen ein Flussdiagramm eines Verfahrens zum Bestimmen der Bewegung eines Bilderfassungsgeräts bei einem Ausführungsbeispiel gemäß der Erfindung dar. Anfänglich nehmen einige oder alle der Sensorvorrichtungen in einem Bilderfassungsgerät Sensorbilder auf, wie es bei einem Block 500 gezeigt ist. Die Sensorbilder können simultan oder aufeinanderfolgend aufgenommen werden.
Wie es früher erörtert ist, zeigt jedes Sensorbild einen Abschnitt einer Szene. 6 ist ein Blockdiagramm einer Szene und von Sensorbildern bei einem Ausführungsbeispiel gemäß der Erfindung. Eine Szene 600 umfasst Sensorbilder 602, 605, 606. Bei dem Ausführungsbeispiel von 6 entsprechen die Positionen der Sensorbilder 602, 604, 606 den Sensorvorrichtungen 304, 306, 308 in 3. Andere Ausführungsbeispiele gemäß der Erfindung können irgendeine gegebene Anzahl von Sensorbildern umfassen. Zudem können die Sensorbilder in irgendeiner gegebenen Konfiguration angeordnet sein.
Unter erneuter Bezugnahme auf 5A wird bei einem Block 502 eine Bestimmung dahingehend vorgenommen, ob die Sensorbilder unterteilt werden sollen. Bei dem in 5A-5B gezeigten Ausführungsbeispiel werden alle Sensorbilder unterteilt. Bei einem anderen Ausführungsbeispiel gemäß der Erfindung werden nicht alle Sensorbilder unterteilt. Bei noch einem anderen Ausführungsbeispiel gemäß der Erfindung wird lediglich ein Teil von einigen oder allen Sensorbildern unterteilt.
Falls die Sensorbilder unterteilt werden sollen, geht der Prozess zu einem Block 504 über, bei dem eine Bestimmung dahingehend vorgenommen wird, ob die Fenster in einem Sensorbild unterteilt werden sollen. Falls die Fenster nicht unterteilt werden, werden bei einem Block 506 zwei oder mehr Fenster in einem Sensorbild erzeugt. 7 zeigt das Sensorbild 602 mit Fenstern bei einem Ausführungsbeispiel gemäß der Erfindung. Das Sensorbild 602 umfasst neun Fenster 700, wobei jedes Fenster 700 einen Abschnitt des Bilds in dem Sensorbild 602 umfasst. Die Fenster 700 können gleich groß sein oder können unterschiedliche Größen aufweisen. Zudem ist die Form der Fenster 700 nicht auf quadratische oder rechteckige Formen begrenzt. Die Fenster 700 können in irgendeiner gegebenen Form konfiguriert sein.
Als nächstes werden bei einem Block 508 die Fenster in dem Sensorbild einzeln verarbeitet, um einen Bewegungsvektor für jedes Fenster zu bestimmen. Bei einem anderen Ausführungsbeispiel gemäß der Erfindung werden nicht alle Fenster verarbeitet und werden die Fenster, die verarbeitet werden sollen, ausgewählt. Bei noch einem anderen Ausführungsbeispiel gemäß der Erfindung können die Fenster zusammen in verschiedenen Konfigurationen gruppiert und die Gruppen verarbeitet werden.
Die Bewegungsvektoren werden dann bei einem Block 510 gespeichert und es wird eine Bestimmung dahingehend vorgenommen, ob es irgendwelche verbleibenden Sensorbilder zu ver arbeiten gibt (Block 512). Falls es ein verbleibendes Sensorbild zu verarbeiten gibt, kehrt das Verfahren zu dem Block 506 zurück und wiederholt sich, bis alle Sensorbilder verarbeitet wurden.
Unter erneuter Bezugnahme auf den Block 504 geht, falls die Fenster unterteilt werden sollen, der Prozess zu einem Block 514 über, bei dem zwei oder mehr Fenster in einem Sensorbild erzeugt werden. Zwei oder mehr Teilfenster werden dann bei einem Block 516 in einem Fenster erzeugt. Alle Fenster werden bei dem in 5A-5B gezeigten Ausführungsbeispiel unterteilt. Bei einem anderen Ausführungsbeispiel gemäß der Erfindung werden nicht alle Fenster unterteilt. Bei noch einem anderen Ausführungsbeispiel gemäß der Erfindung wird lediglich ein Teil von einigen oder allen der Fenster unterteilt.
8 stellt das Fenster 700 mit Teilfenstern bei einem Ausführungsbeispiel gemäß der Erfindung dar. Das Fenster 700 umfasst vier Teilfenster 800, wobei jedes Teilfenster einen Teil des Bilds in dem Fenster 700 umfasst. Die Teilfenster 800 können gleich groß sein oder können unterschiedliche Größen aufweisen. Zudem ist die Form der Teilfenster 800 nicht auf quadratische oder rechteckige Formen begrenzt. Die Teilfenster 800 können in irgendeiner gegebenen Form konfiguriert sein.
Die Teilfenster in dem Fenster werden dann einzeln bei einem Block 518 verarbeitet, um einen Bewegungsvektor für jedes Teilfenster zu bestimmen. Bei einem anderen Ausführungsbeispiel gemäß der Erfindung werden nicht alle Teilfenster verarbeitet und werden die Teilfenster, die verarbeitet werden sollen, ausgewählt. Bei noch einem anderen Ausführungsbeispiel gemäß der Erfindung können die Teilfenster zusammen in verschiedenen Konfigurationen gruppiert und die Gruppen verarbeitet werden.
Als nächstes werden bei Blöcken 520 und 522 die Bewegungsvektoren gespeichert und eine Bestimmung dahingehend vorgenommen, ob es irgendwelche verbleibenden Fenster zu verarbeiten gibt. Falls es verbleibende Fenster zu verarbeiten gibt, kehrt das Verfahren zu dem Block 514 zurück und wiederholt sich, bis alle Fenster verarbeitet wurden. Wenn es keine verbleibenden Fenster gibt, die verarbeitet werden sollen, fährt der Prozess bei einem Block 524 fort, bei dem eine Bestimmung dahingehend vorgenommen wird, ob es irgendwelche verbleibenden Sensorbilder zu verarbeiten gibt. Falls dem so ist, kehrt das Verfahren zu dem Block 514 zurück und wiederholt sich, bis alle Sensorbilder verarbeitet wurden.
Wenn die Bewegungsvektoren für alle Sensorbilder bestimmt sind, werden die Bewegungsvektoren bei einem Block 526 verglichen. Dann wird bei einem Block 528 eine Bestimmung dahingehend vorgenommen, ob alle Bewegungsvektoren übereinstimmen. 9 zeigt ein erstes Sensorbild mit Fenstern, die gemäß dem in 5A-5B gezeigten Verfahren verarbeitet sind. Der Bewegungsvektor für jedes Fenster ist durch einen Pfeil 900 angegeben. Wie es in 9 dargestellt ist, stimmen die Bewegungsvektoren für alle Fenster überein. Somit stellen bei einem Ausführungsbeispiel gemäß der Erfindung die Bewegungsvektoren 900 die Größe einer Bewegung des Bilderfassers während einer Bildaufnahme dar. Die Werte, die den Bewegungsvektoren 900 zugeordnet sind, werden bei einer Bildstabilisierungstechnik verwendet, um die Bilder zu stabilisieren, die durch einen Bilderfasser in einem Bilderfassungsgerät (z. B. den Bilderfasser 102 in dem Bilderfassungsgerät 300 in 3) aufgenommen sind.
Falls die Bewegungsvektoren für alle Fenster oder Teilfenster nicht übereinstimmen, geht das Verfahren zu einem Block 530 über, bei dem eine Bestimmung dahingehend vorgenommen wird, ob eine Mehrheit von Bewegungsvektoren für die Fenster oder Teilfenster übereinstimmt. 10 stellt ein zweites Sensorbild mit Fenstern dar, die gemäß dem in 5A-5B gezeigten Verfahren verarbeitet sind. Die Bewegungsvektoren für vier Fenster sind durch einen Pfeil 1000 angegeben, während die Bewegungsvektoren für fünf Fenster durch einen Pfeil 1002 angegeben sind. Da fünf von neun Fenstern eine Mehrheit bedeutet, stellen die Werte, die den Bewegungsvektoren 1002 zugeordnet sind, die Größe einer Bewegung des Bilderfassers dar und werden bei einer Bildstabilisierungstechnik verwendet, um die Bilder, die durch einen Bilderfasser aufgenommen sind, bei einem Ausführungsbeispiel gemäß der Erfindung zu stabilisieren. Die Bewegungsvektoren 1000 stellen eine Bewegung dar, die in der Szene auftritt, und werden an sich durch eine Bildstabilisierungstechnik bei einem Ausführungsbeispiel gemäß der Erfindung nicht verwendet.
Falls eine Mehrheit der Bewegungsvektoren nicht übereinstimmt, stellen die Bewegungsvektoren eine Bewegung dar, die während einer Bildaufnahme in der Szene auftrat. Folglich wird ein Bewegungsvektor gleich Null bei einem Block 532 ausgegeben, da die Bewegung nicht von der Bewegung des Bilderfassungsgeräts herrührt. Falls alle Bewegungsvektoren bei dem Block 528 übereinstimmen oder eine Mehrheit der Bewegungsvektoren bei dem Block 530 übereinstimmt, wird bei einem Block 534 ein Bewegungsvektor gleich den Bewegungsvektoren bei allen oder bei der Mehrheit ausgegeben. Der Bewegungsvektor, der bei dem Block 534 ausgegeben wird, wird dann bei einer Bildstabilisierungstechnik verwendet, um die Bilder zu stabilisieren, die durch einen Bilderfasser in einem Bilderfassungsgerät aufgenommen sind.
Unter erneuter Bezugnahme auf den Block 502 in 5A geht, falls die Sensorbilder nicht unterteilt werden, das Verfahren zu einem Block 536 über, bei dem die Sensorbilder einzeln verarbeitet werden, um einen Bewegungsvektor für jedes Sensorbild bei einem Ausführungsbeispiel gemäß der Erfindung zu bestimmen. Die Bewegungsvektoren werden dann bei dem Block 526 verglichen und es wird eine Bestimmung dahingehend vorgenommen, ob alle Bewegungsvektoren überein stimmen (Block 528). Falls die Bewegungsvektoren für die Sensorbilder nicht übereinstimmen, geht das Verfahren bei dem Block 530 weiter, bei dem eine Bestimmung dahingehend vorgenommen wird, ob die Bewegungsvektoren für eine Mehrheit der Sensorbilder übereinstimmen.
Falls eine Mehrheit von Bewegungsvektoren nicht übereinstimmt, werden bei dem Block 532 Bewegungsvektoren gleich Null ausgegeben. Falls die Bewegungsvektoren für alle oder eine Mehrheit der Sensorbilder übereinstimmen, wird bei dem Block 534 ein Bewegungsvektor gleich den Bewegungsvektoren für alle oder für die Mehrheit von Sensoren ausgegeben. Der Bewegungsvektor, der bei dem Block 534 ausgegeben wird, wird dann bei einer Bildstabilisierungstechnik verwendet, um die Bilder zu stabilisieren, die durch einen Bilderfasser in dem Bilderfassungsgerät aufgenommen sind.
Obwohl das in 5A-5B gezeigte Verfahren die Bewegungsvektoren, die den Sensorbildern zugeordnet sind, vergleicht, um zu bestimmen, ob alle oder eine Mehrheit übereinstimmen, sind andere Ausführungsbeispiele gemäß der Erfindung nicht auf diese Implementierung begrenzt. Bei anderen Ausführungsbeispielen gemäß der Erfindung werden die Bewegungsvektoren verglichen, um zu bestimmen, ob ein vorbestimmter Teil der Bewegungsvektoren übereinstimmt. Zudem muss der Vergleich nicht alle berechneten Bewegungsvektoren umfassen. Andere Ausführungsbeispiele gemäß der Erfindung können lediglich einen Teil der Bewegungsvektoren vergleichen oder auswählen, welche Bewegungsvektoren verglichen werden.
5A-5B zeigen ein Verfahren zum Bestimmen der Bewegung eines Bilderfassungsgeräts. Ausführungsbeispiele gemäß der Erfindung sind nicht auf die Reihenfolge der Blöcke oder die Blöcke begrenzt, wie es in 5A-5B gezeigt ist. Andere Ausführungsbeispiele gemäß der Erfindung können zusätzliche Blöcke umfassen, die in 5A-5B nicht gezeigt sind. Zudem kann einer oder können mehrere der in 5A- 5B gezeigten Blöcke gelöscht oder neu angeordnet sein. Beispielsweise werden die Fenster eventuell nicht unterteilt und an sich wären die Blöcke 514-524 bei diesem Ausführungsbeispiel gemäß der Erfindung nicht enthalten.

Claims

Bilderfassungsgerät (300), das folgende Merkmale aufweist: eine Mehrzahl von Sensorvorrichtungen (304, 306, 308), die jeweils wirksam sind, um eines oder mehrere Sensorbilder (602, 604, 606) aufzunehmen; und ein Linsenarray (400), das aus einer Mehrzahl von Linsen (402, 404, 406) gebildet ist, wobei jede Linse in einem Bilderfassungsweg einer jeweiligen Sensorvorrichtung positioniert ist, derart, dass das eine oder die mehreren Sensorbilder, die durch eine der Sensorvorrichtungen in der Mehrzahl von Sensorvorrichtungen (304, 306, 308) aufgenommen sind, sich von den Sensorbildern unterscheiden, die durch die anderen Sensorvorrichtungen aufgenommen sind.
Bilderfassungsgerät (300) gemäß Anspruch 1, das ferner einen Bilderfasser (102) aufweist, der wirksam ist, um eines oder mehrere Bilder aufzunehmen.
Bilderfassungsgerät (300) gemäß Anspruch 2, das ferner eine Verarbeitungsvorrichtung (414) aufweist, die wirksam ist, um das eine oder die mehreren Sensorbilder (602, 604, 606) von der Mehrzahl von Sensorvorrichtungen (304, 306, 308) zu empfangen und um einen oder mehrere Bewegungsvektoren (900) für zumindest einen Teil der Sensorbilder zu bestimmen.
Bilderfassungsgerät (300) gemäß Anspruch 3, bei dem die Verarbeitungsvorrichtung (414) wirksam ist, um mehrere Fenster (700) in zumindest einem Teil der Sensorbilder (602, 604, 606) zu erzeugen und um einen Bewegungsvektor (900) für jedes Fenster zu bestimmen.
Bilderfassungsgerät (300) gemäß Anspruch 4, bei dem die Verarbeitungsvorrichtung (414) wirksam ist, um mehrere Teilfenster (800) in zumindest einem Teil der Fenster (700) zu erzeugen und um einen Bewegungsvektor (900) für jedes Teilfenster zu bestimmen.
Bilderfassungsgerät (300) gemäß einem der Ansprüche 2 bis 5, bei dem die Verarbeitungsvorrichtung (414) wirksam ist, um einen oder mehrere Bewegungsvektoren zu erzeugen, die eine Größe einer Bewegung des Bilderfassers (102) darstellen, wenn ein vorbestimmter Teil der Bewegungsvektoren (900), die den Sensorbildern (602, 604, 606) zugeordnet sind, übereinstimmt.
System zum Bestimmen einer Größe einer Bewegung eines Bilderfassers (102) in einem Bilderfassungsgerät (300), wobei das System folgende Merkmale aufweist: eine Mehrzahl von Bewegungssensorvorrichtungen (304, 306, 308), die jeweils wirksam sind, um eines oder mehrere Sensorbilder (602, 604, 606) aufzunehmen; ein Linsenarray (400), das aus einer Mehrzahl von Linsen (402, 404, 406) gebildet ist, wobei jede Linse in einem Bilderfassungsweg einer jeweiligen Bewegungssensorvorrichtung positioniert ist, derart, dass das eine oder die mehreren Sensorbilder, die durch eine der Bewegungssensorvorrichtungen in der Mehrzahl von Bewegungssensorvorrichtungen (304, 306, 308) aufgenommen sind, sich von den Sensorbildern unterscheiden, die durch die anderen Bewegungssensorvorrichtungen aufgenommen sind; und eine Verarbeitungsvorrichtung (414), die wirksam ist, um das eine oder die mehreren Sensorbilder (602, 604, 606) von der Mehrzahl von Bewegungssensorvorrichtungen (304, 306, 308) zu empfangen, und wirksam ist, um einen oder mehrere Bewegungsvektoren (900) für zumindest einen Teil der Sensorbilder zu bestimmen, wobei einer oder mehrere Bewegungsvektoren, die die Größe einer Bewegung des Bilderfassers (102) darstellen, erzeugt werden, wenn zumindest ein vorbestimmter Teil der Bewegungsvektoren, die den Sensorbildern zugeordnet sind, übereinstimmt.
System gemäß Anspruch 7, das ferner einen Speicher aufweist, der wirksam ist, um den einen oder die mehreren Bewegungsvektoren (900) zu speichern, die den Sensorbildern (602, 604, 606) zugeordnet sind.
System gemäß Anspruch 7 oder 8, bei dem die Verarbeitungsvorrichtung (414) wirksam ist, um mehrere Fenster (700) in zumindest einem Teil der Sensorbilder (602, 604, 606) zu erzeugen und um einem Bewegungsvektor (900) für jedes Fenster zu bestimmen.
Bilderfassungssystem gemäß einem der Ansprüche 7 bis 9, bei dem die Verarbeitungsvorrichtung (414) wirksam ist, um mehrere Teilfenster (800) in zumindest einem Teil der Fenster (700) zu erzeugen und um jedes Teilfenster zu verarbeiten, um einen Bewegungsvektor (900) für jedes Teilfenster zu bestimmen.
Verfahren zum Bestimmen einer Größe einer Bewegung eines Bilderfassers (102) in einem Bilderfassungsgerät (300), das folgende Schritte aufweist: Empfangen eines ersten Sensorbilds (602), das einen ersten Abschnitt einer Szene aufweist; Empfangen eines zweiten Sensorbilds (604), das einen zweiten Abschnitt der Szene aufweist, wobei der erste Abschnitt der Szene sich von dem zweiten Abschnitt der Szene unterscheidet; und Bestimmen eines oder mehrerer Bewegungsvektoren (900) für das erste und das zweite Sensorbild (602, 604).
Verfahren gemäß Anspruch 11, das ferner folgende Schritte aufweist: Vergleichen der Bewegungsvektoren (900) für das erste und das zweite Sensorbild (602, 604); Bestimmen, ob ein vorbestimmter Teil der Bewegungsvektoren (900) übereinstimmt; und Erzeugen eines Bewegungsvektors, der die Größe einer Bewegung des Bilderfassers (102) darstellt, wenn der vorbestimmte Teil der Bewegungsvektoren (900) übereinstimmt.
Verfahren gemäß Anspruch 11 oder 12, das ferner ein Erzeugen einer Mehrzahl von Fenstern (700) in zumindest einem Teil des ersten und des zweiten Sensorbilds (602, 604) aufweist.
Verfahren gemäß Anspruch 13, bei dem das Bestimmen eines oder mehrerer Bewegungsvektoren (900) für das erste und das zweite Sensorbild (602, 604) ein Bestimmen eines Bewegungsvektors (900) für zumindest einen Teil der Fenster (700) in dem ersten und dem zweiten Sensorbild (602, 604) aufweist.
Verfahren gemäß Anspruch 14, das ferner folgende Schritte aufweist: Vergleichen der Bewegungsvektoren, die für die Fenster (700) in dem ersten und dem zweiten Sensorbild (602, 604) bestimmt sind; Bestimmen, ob ein vorbestimmter Teil der Bewegungsvektoren (900) übereinstimmt; und Erzeugen eines oder mehrerer Bewegungsvektoren, die die Größe einer Bewegung des Bilderfassers (102) darstellen, wenn der vorbestimmte Teil der Bewegungsvektoren (900) übereinstimmt.
Verfahren gemäß Anspruch 15, das ferner ein Speichern der Bewegungsvektoren (900) aufweist, die für die Fenster (700) in dem ersten und dem zweiten Sensorbild (602, 604) bestimmt sind.
Verfahren gemäß einem der Ansprüche 13 bis 16, das ferner ein Erzeugen einer Mehrzahl von Teilfenstern (800) für zumindest einen Teil der Fenster (700) in dem ersten und dem zweiten Sensorbild (602, 604) aufweist.
Verfahren gemäß Anspruch 17, bei dem das Bestimmen eines oder mehrerer Bewegungsvektoren (900) für das erste und das zweite Sensorbild (602, 604) ein Bestimmen eines Bewegungsvektors (900) für zumindest einen Teil der Teilfenster (800) aufweist.
Verfahren gemäß Anspruch 18, das ferner folgende Schritte aufweist: Vergleichen der Bewegungsvektoren (900), die für die Teilfenster (800) bestimmt sind; Bestimmen, ob ein vorbestimmter Teil der Bewegungsvektoren (900) übereinstimmt; und Erzeugen eines oder mehrerer Bewegungsvektoren, die die Größe einer Bewegung des Bilderfassers (102) darstellen, wenn der vorbestimmte Teil der Bewegungsvektoren (900) übereinstimmt.
Verfahren gemäß Anspruch 19, das ferner ein Speichern der Bewegungsvektoren (900) aufweist, die für die Teilfenster (800) bestimmt sind.