-
HINTERGRUND
DER ERFINDUNG
-
Die vorliegende Erfindung bezieht
sich auf eine Technik zum Erzeugen eines synthetisierten Bildes aus
einer Vielzahl von Bildern, die von Kameras aufgenommen wurden,
welche an einem Fahrzeug montiert sind, und insbesondere bezieht
sie sich auf eine Technik, die effektiv für ein Überwachungssystem, das als
Sicherheitsüberprüfungshilfe
während
des Fahrens eines Fahrzeugs verwendet werden kann, anwendbar ist.
-
Ein Fahrzeugvideoüberwachungssystem, das in der
japanischen Offenlegungsschrift Nr. 11-78692 offenbart ist, ist
eines der bekannten Systeme zum Überwachen
der Umgebung eines fahrenden Fahrzeugs unter Verwendung von Kameras.
In diesem System ist ein Fahrzeug mit einer Vielzahl von Kameras
ausgerüstet, die
hier und dort an der Fahrzeugkarosserie montiert sind um ein Video
seiner Umgebung aufzunehmen. Die jeweiligen von diesen Kameras aufgenommenen
Bilder werden umgewandelt und zusammengefügt, wobei eine Kontinuität der Grenzen
zwischen ihnen beibehalten wird, so dass ein neu synthetisiertes
Bild erzeugt wird und dieses auf dem Bildschirm angezeigt wird.
-
Das Dokument JP-A-10262240 offenbart
eine visuelle Erkennungseinrichtung zur Verwendung in einem Fahrzeug
gemäß dem Oberbegriff
der Patentansprüche
1, 11 und 14. Diese Vorrichtung ist mit Kameras ausgestattet, welche
jeweils visuell Felder der linken und rechten Seite des Fahrzeugs
aufgreifen. Ein Mittel zum Einstellen des visuellen Feldes setzt
eine Richtung eines bemerkenswerten visuellen Feldes in dem visuellen
Feld der linken und rechten Seite durch die Kameras fest. Die Vorrichtung
extrahiert teilweise ein Bild des bemerkenswerten visuellen Feldes
in der gesetzten Richtung aus jedem visuellen Feldbild und ordnet
die Bilder der bemerkenswerten visuellen Felder an um ein Anzeigebild
zu bilden, das auf einer Anzeigevorrichtung angezeigt wird. Die
Richtung des bemerkenswerten visuellen Felds und daher die Anzeige
des Bildes auf der Anzeigevorrichtung wird beispielsweise entsprechend
einer Annäherungswinkelinformation
des Fahrzeugs auf eine Kreuzung (angezeigt durch eine Navigationsinformation)
oder entsprechend einer Steuerradwinkelinformation des Fahrzeugs
selbst geändert.
-
Ein System zum Überwachen einer Fahrzeugumgebung
gemäß der obigen
Art wird jedoch normalerweise die Bildverarbeitung unter der Annahme
durchführen,
dass jede Kamera, einmal montiert, nicht mehr fähig sein sollte, ihre Position
oder die Richtung, in die sie ausgerichtet ist, zu ändern. Der
Grund hierfür
ist, dass es praktisch unmöglich
oder zumindest extrem schwierig ist, eine Vielzahl von Bildern für ein synthetisiertes
Bild in Echtzeit zu prozessieren und dabei die kontinuierlich sich ändernde
Positionen und Richtungen der Kameras zu berücksichtigen. Die Ursache ist,
dass es zu viel Zeit beansprucht, diese komplizierte Prozessierung
durchzuführen,
und dass die Größe und die
Fähigkeiten
eines solchen Systems begrenzt sind.
-
Andererseits ist es, wenn man die
Aerodynamik und das Design eines Fahrzeugs berücksichtigt, höchst wahrscheinlich,
dass diese Kameras, die in solch einem Überwachungssystem eingesetzt
werden, an verschiedenen beweglichen Teilen des Fahrzeugs montiert
werden. Beispielsweise können
solche Kameras um die Rückspiegel
herum oder auf dem Kofferraum oder der Motorhaube des Fahrzeugs
montiert sein.
-
Dann entstehen die folgenden Probleme.
-
Insbesondere, wenn irgendeines der
beweglichen Teile, auf denen die Kamera montiert ist, seinen Zustand ändert (beispielsweise
sich bewegt), wird das Bild, das von dieser Kamera aufgenommen wird,
durch die Änderung
beeinflusst, so dass das Bild, das einen integralen Bestandteil
des resultierten synthetisierten Bildes darstellt, möglicherweise
falsch ausgerichtet ist. Beispielsweise ändert, wenn eine Kamera um
einen Außenrückspiegel
herum montiert ist, dass Öffnen
einer Tür
mit dem Spiegel die Richtung, in die die Kamera sieht. Als Folge
ist nur ein Teil des synthetisierten Bildes, der dem Bild entspricht,
das von der fraglichen Kamera aufgenommen wurde, falsch ausgerichtet
und macht daher das Bild auf dem Bildschirm für einen Betrachter unnatürlich.
-
Zusätzlich kann, selbst wenn eine
dieser Kameras an einem festen Teil des Fahrzeugs montiert ist,
ein ähnliches
Phänomen
beobachtet werden. Beispielsweise ist, wenn eine bestimmte Kamera
das Bild einer sich öffnenden
Tür aufnimmt,
nur ein Teil des synthetisierten Bildes, der dem Bild, das von dieser
Kamera aufgenommen wurde, entspricht, ebenfalls falsch ausgerichtet.
Solch eine teilweise falsche Ausrichtung macht das synthetisierte
Bild für
den Betrachter unnatürlich
und sollte eliminiert werden.
-
ZUSAMMENFASSUNG
DER ERFINDUNG
-
Eine Aufgabe der Erfindung besteht
darin, ein synthetisiertes Bild, das durch einen Bildprozessor aus einer
Vielzahl von Bildern, die von Kameras an einem Fahrzeug aufgenommen
wurden, erzeugt wird, so natürlich
wie möglich
für einen
Betrachter zu machen, selbst wenn irgendeines dieser Bilder durch
eine Zustandsänderung
eines beweglichen Teils des Fahrzeugs beeinträchtigt ist.
-
Die vorliegende Erfindung besteht
aus einem Verfahren gemäß Anspruch
1, einem Überwachungssystem
gemäß Anspruch
11 und einem Bildprozessor gemäß Anspruch
14.
-
In der vorliegenden Erfindung werden
die Anzeigemodi eines synthetisierten Bildes gemäß eines Zustands eines beweglichen
Teils des Fahrzeugs umgeschaltet. Entsprechend wird, selbst wenn
das synthetisierte Bild infolge einer Änderung in dem Zustand des
beweglichen Fahrzeugteils für
einen Betrachter teilweise unnatürlich
geworden ist, das unnatürliche
Bild nicht angezeigt. Auch ist es durch Umschalten der Anzeigemodi
des synthetisierten Bildes möglich
den Benutzer schnell und rechtzeitig wissen zu lassen, dass das
bewegliche Teil nun beispielsweise in einem Zustand ist, der für den Betrieb
des Fahrzeugs ungünstig
ist.
-
Gemäß einer Ausführungsform
der vorliegenden Erfindung schaltet, wenn eine Änderung im Zustand des beweglichen
Teils die Position oder Ausrichtung von mindestens einer der Kameras
geändert
hat, um das synthetisierte Bild unnatürlich zu machen, der Bildverarbei tungsabschnitt
vorzugsweise die Anzeigemodi des synthetisierten Bildes von einem
normalen Modus in einen Alarmmodus.
-
In dieser speziellen Ausführungsform
kann der Bildverarbeitungsabschnitt das synthetisierte Bild im Alarmmodus
erzeugen, ohne dabei das Bild zu verwenden, das von der Kamera aufgenommen
wurde, deren Position oder Ausrichtung sich geändert hat.
-
Alternativ kann der Bildverarbeitungsabschnitt
in dem Alarmmodus kein synthetisiertes Bild ausgeben.
-
Als eine andere Alternative kann
der Bildverarbeitungsabschnitt auch anstelle von oder zusammen mit dem
synthetisierten Bild im Alarmmodus eine Wammeldung ausgeben. Dann
kann der Benutzer dank der Warnmeldung schnell die Unnatürlichkeit
des synthetisierten Bildes wahrnehmen. Auch kann der Benutzer, wenn
die angezeigte Wammeldung genau angibt, wie das bewegliche Teil
seinen Zustand geändert
hat, die gegenwärtige
Situation des Fahrzeugs schnell und rechtzeitig erkennen.
-
Gemäß einer weiteren Ausführungsform
der vorliegenden Erfindung schaltet der Bildverarbeitungsabschnitt,
wenn das Bild des beweglichen Teils infolge einer Änderung
in dem Zustand des beweglichen Teils einen unterschiedlichen Teil
des Bildes, das von mindestens einer der Kameras aufgenommen wurde,
einnimmt, um das synthetisierte Bild unnatürlich zu machen, vorzugsweise
den Anzeigemodus des synthetisierten Bildes von einem normalen Modus
in einen Alarmmodus.
-
In dieser speziellen Ausführungsform
kann der Bildverarbeitungsabschnitt das synthetisierte Bild in dem
Alarmmodus erzeugen, ohne dabei das Bild, das von der Kamera aufgenommen
wurde, und den unterschiedlichen Bereich, den das Bild des beweglichen
Teils nun einnimmt, zu verwenden.
-
Alternativ kann der Bildverarbeitungsabschnitt
im Alarmmodus kein synthetisiertes Bild ausgeben.
-
Als weitere Alternative kann der
Bildverarbeitungsabschnitt anstelle von oder zusammen mit dem synthetisierten
Bild in dem Alarmmodus eine Warnmeldung ausgeben. Dann kann der
Benutzer dank der Warnmeldung schnell die Unnatürlichkeit des synthetisierten
Bildes erfassen. Auch kann der Benutzer, wenn die angezeigte Warnmeldung
genau angibt, wie das bewegliche Teil seinen Zustand geändert hat,
die gegenwärtige Situation
des Fahrzeugs schnell und rechtzeitig erkennen.
-
In noch einer weiteren Ausführungsform
kann das bewegliche Teil mindestens die Türen, die Motorhaube und den
Kofferraum des Fahrzeugs einschließen. In diesem Fall kann der
Bildverarbeitungsabschnitt den Displaymodus des synthetisierten
Bildes entsprechend dem Öffnen
und Schließen
der Türen,
der Motorhaube oder des Kofferraums umschalten.
-
Gemäß einer weiteren Ausführungsform
kann das bewegliche Teil mindestens die Reifen des Fahrzeugs einschließen. In
diesem Fall kann der Bildverarbeitungsabschnitt den Anzeigemodus
des synthetisierten Bildes in Übereinstimmung
mit einem Lenkwinkel der Räder,
an denen die Reifen montiert sind, umschalten.
-
Ein Überwachungssystem gemäß der vorliegenden
Erfindung schließt
den erfindungsgemäßen Bildprozessor
ein. Das System umfasst: eine Vielzahl von Kameras, die an einem
Fahrzeug montiert sind, um Bilder von der Umgebung des Fahrzeugs
aufzunehmen; eine Anzeigevorrichtung; und einen Bildverarbeitungsabschnitt.
Der Bildverarbeitungsabschnitt empfängt die Bilder, die von den
Kameras aufgenommen wurden, erzeugt ein synthetisiertes Bild aus
diesen Bildern und gibt dann das synthetisierte Bild an die Anzeigevorrichtung
aus. Der Bildverarbeitungsabschnitt schaltet den Displaymodus des
synthetisierten Bildes in Übereinstimmung
mit einem Zustand eines beweglichen Teil des Fahrzeugs um.
-
KURZE BESCHREIBUNG
DER ZEICHNUNGEN
-
1 ist
ein Blockdiagramm, das eine Anordnung für ein Überwachungssystem gemäß einer
ersten Ausführung
der vorliegenden Erfindung illustriert.
-
2 illustriert
eine beispielhafte Anordnung von Kameras und beispielhafte Bilder,
die von den Kameras aufgenommen wurden, gemäß der ersten Ausführungsform.
-
3 illustriert
ein beispielhaftes Bild, das infolge einer Zustandsänderung
eines beweglichen Teils eines Fahrzeugs teilweise unnatürlich geworden
ist.
-
4A bis 4D illustrieren wie die Displaymodi eines
synthetisierten Bildes in der vorliegenden Erfindung umgeschaltet
werden können.
-
5A bis 5D illustrieren Beispiele von Wammeldungsbildern.
-
6 illustriert
schematisch eine beispielhafte Zuordnungstabelle.
-
7 ist
ein Flussdiagramm, das einen Gesamtbildsyntheseablauf illustriert.
-
8 ist
ein Flussdiagramm, das die detaillierten Ablaufschritte von Schritt S20 aus 7 illustriert.
-
9 ist
ein Flussdiagramm, das die detaillierten Ablaufschritte von Schritt S30 aus 7 illustriert.
-
10 ist
ein Blockdiagramm, das eine Anordnung für ein Überwachungssystem gemäß einer
zweiten Ausführungsform
der vorliegenden Erfindung illustriert.
-
BESCHREIBUNG
DER BEVORZUGTEN AUSFÜHRUNGSFORMEN
-
Im Folgenden werden mit Bezug auf
die begleitenden Zeichnungen bevorzugte Ausführungsformen der vorliegenden
Erfindung beschrieben.
-
AUSFÜHRUNGSFORM 1
-
1 ist
ein Blockdiagramm, das eine Konfiguration für ein Überwachungssystem gemäß einer
ersten Ausführungsform
der vorliegenden Erfindung zeigt. In dem Überwachungssystem, das in 1 gezeigt ist, empfängt ein
Bildverarbeitungsabschnitt 2 eine Vielzahl von Kamerabildern,
die ein bildgebender Bereich ausgegeben hat, und kombiniert diese
Bilder miteinander um ein neues synthetisiertes Bild zu erzeugen,
das von einer Anzeigevorrichtung 3 dargestellt werden wird.
Das heißt,
der Bildverarbeitungsabschnitt 2 ist das Herzstück des erfindungsgemäßen Bildprozessors.
-
Die folgende Tabelle 1 zeigt, wo
die Kameras gemäß der ersten
Ausführungsform
montiert sein können: [Tabelle
1]
-
2 illustriert
diese beispielhafte Kameraanordnung zusammen mit beispielhaften
Bildern, die von diesen Kameras in dieser Ausführungsform aufgenommen wurden.
In der illustrierten Ausführungsform
sind die acht Kameras, wie in Tabelle 1 und 2 gezeigt, montiert. Wenn die Kameraanordnung
nach Tabelle 1 und 2 angewendet
wird, sind die Positionen und Ausrichtungen der jeweiligen Kameras
vorzugsweise so bestimmt, dass die Bilder, die von einem benachbarten
Paar von Kameras aufgenommen wurden, einen gewissen Bildteil miteinander
teilen, um für
den Betrachter blinde Punkte so weit wie möglich zu eliminieren.
-
Der Bildverarbeitungsabschnitt 2 wandelt
die acht Kamerabilder aus 2 um
und kombiniert sie miteinander, wodurch er ein synthetisiertes Bild
des Fahrzeugs, beispielsweise wie senkrecht von oben gesehen, erzeugt.
Um das synthetisierte Bild zu erzeugen, werden die Bildumwandlung
und die Synthese der umgewandelten Teilbilder (einschließlich Grenzprozessierung)
benötigt.
In dem System, das in 1 gezeigt
ist, umfasst der Bildverarbeitungsabschnitt 2 einen Zuordnungstabellensucher 22.
Und um diese Bilder in einem einzigen Prozessschritt zu verarbeiten,
verwendet der Bildverarbeitungsabschnitt 2 eine Zuordnungstabelle
MPT, die später
detailliert beschrieben wird.
-
Ein Zuordnungstabellenauswähler 41 wählt die
Art eines anzuzeigenden Bildes und spezifiziert eine der Zuordnungstabellen
MPT in Übereinstimmung
mit der Art des benötigten
Bildes. Diese Auswahl kann entweder manuell oder automatisch in
Abhängigkeit
von dem Zustand des Fahrzeugs (z. B. Schaltposition, Lenkwinkel
oder der Ein/Aus-Zustand von Blinkern) erfolgen. Ein Signal, das
die auszuwählende
Zuordnungstabelle MPT angibt, wird sowohl an einen Wammeldungsauswähler 26 wie
auch an den Zuordnungstabellensucher 22 ausgegeben.
-
In Antwort auf ein Zustandssignal S1,
das den gegenwärtigen
Zustand eines beweglichen Fahrzeugteils angibt, schaltet ein Anzeigemoduswechsler 23 den
Anzeigemodus des synthetisierten Bildes. Wenn beispielsweise eine Änderung
in dem Zustand des beweglichen Teils die Position oder Ausrichtung
einer der Kameras geändert
hat, um das synthetisierte Bild unnatürlich zu machen, schaltet der
Wechsler 23 den Displaymodus des synthetisierten Bildes
von einem normalen Modus in einem Alarmmodus. In dem Alarmmodus
wird das synthetisierte Bild erzeugt, ohne das Bild zu verwenden,
das von der fraglichen Kamera, deren Position oder Ausrichtung sich
geändert
hat, aufgenommen wurde.
-
3 illustriert
ein beispielhaftes Bild, das infolge einer Änderung in dem Zustand eines
beweglichen Fahrzeugteils teilweise unnatürlich geworden ist. Wie aus
dem synthetisierten Bild der 3 ersichtlich,
haben sich die Bilder, die von den Kameras Nr. 1 und 2 aufgenommen
wurden, geändert,
weil die rechte Tür
des Fahrzeugs sich geöffnet
hat und ein Teil des synthetisierten Bildes, der den Bildern entspricht,
die von diesen Kameras Nr. 1 und 2 aufgenommen wurden, falsch angeordnet
ist.
-
Daher werden in der illustrierten
Ausführungsform
die offenen/geschlossenen Zustände
der rechten und linken Türen,
des Kofferraums und der Motorhaube, auf denen die Kameras montiert
sind, als die Zustände
der beweglichen Fahrzeugteile verwendet. Das heißt, das Zustandssignal
S1,
das beispielsweise die Information "rechte Türe offen" oder "Motorhaube
geschlossen" angibt, wird in den Anzeigemoduswechsler
23 eingegeben.
Daten über
eine Korrespondenz zwischen entsprechenden beweglichen Fahrzeugteilen
und den Kameranummern wurden vorher in dem Wechsler
23 gespeichert.
Die Daten können
beispielsweise wie in der folgenden Tabelle 2 gezeigt aussehen: [Tabelle
2]
-
In Übereinstimmung mit dieser Korrespondenz
und der Information, die von dem Zustandssignals S1 gegeben
ist, schaltet der Wechsler 23 den Anzeigemodus des synthetisierten
Bildes um.
-
4A bis 4D illustrieren, wie der Anzeigemodus des
synthetisierten Bildes in der vorliegenden Erfindung umgeschaltet
werden kann. Insbesondere illustriert 4A ein
synthetisiertes Bild, das im normalen Modus angezeigt wird. Wie
in 4A gezeigt, sind die be weglichen
Teile des Fahrzeugs alle geschlossen und ein natürliches Bild wird dargestellt. 4B illustriert ein beispielhaftes synthetisiertes
Bild, das im Wammodus angezeigt wird. Das Bild, das in 4B gezeigt ist, illustriert eine Situation,
in der die rechte Tür
des Fahrzeugs geöffnet
ist. In dem synthetisierten Bild, das in 4B gezeigt
ist, werden die Bilder, die von den Kameras Nr. 1 und 2, welche
an der rechten Tür
des Fahrzeugs montiert sind, aufgenommen wurden, nicht für die Bildsynthese
verwendet und statt dessen wird ein Teil des synthetisierten Bildes,
das diesen fraglichen Bildern entspricht, mit einer vorbestimmten
Farbe gefüllt.
Alternativ kann dieser Teil auch mit jedem beliebigen Muster gefüllt werden.
Die Farben können
auch in passenden Zeitabständen
geändert
werden.
-
In der illustrierten Ausführungsform
wird der Displaymodus des synthetisierten Bildes durch ein Überschreiben
der Zuordnungsdaten, die in der Zuordnungstabelle MPT gespeichert
sind, umgeschaltet.
-
Optional kann die Ausgabe des synthetisierten
Bildes selbst in dem Alarmmodus unterbrochen werden oder es kann
der Warmeldungswähler 26 eine
Warnmeldung entweder allein oder zusammen mit dem synthetisierten
Bild ausgeben.
-
4C illustriert
eine solche Situation, in der kein synthetisiertes Bild angezeigt
wird, sondern nur eine Warnmeldung, die angibt, dass die rechte
Tür offen
ist, dargestellt wird. Andererseits illustriert 4D eine weitere
solche Situation, in der das synthetisierte Bild, das in 4B gezeigt ist, dargestellt wird, zusammen mit
der Warnmeldung, die in 4C gezeigt
ist. Auf diese Weise können
Kamerabilder, die von irgendeiner Zustandsänderung eines beweglichen Teils
beeinträchtigt
werden können,
aus dem synthetisierten Bild entfernt werden und es kann eine Warnmeldung,
die den Benutzer über
die Zustandsänderung
des beweglichen Teils (z. B. eine Tür ist offen) informiert, wie
in 4D gezeigt, dargestellt werden.
Dann kann der Benutzer (beispielsweise der Fahrer) des Fahrzeugs
den gegenwärtigen
Zustands seines oder ihres Autos schneller und früher erkennen.
-
Der Warnmeldungswähler 26 speichert
im Voraus diese Warnmeldungen beispielsweise in Bildformaten. Beim
Empfangen des Zustandssignals S1, das den gegenwärtigen Zustand eines
beweglichen Fahrzeugteils angibt, und des Signals, das von dem Zuordnungstabellenwähler 41 ausgegeben
wird, um eine Zuordnungstabelle MPT zu spezifizieren, wählt der
Wähler 26 eines
der Meldungsbilder, das mit dem synthetisierten Bild kombiniert
werden muss. Dann sendet der Wähler 26 das
Meldungsbild an einen Videosignalerzeuger 24.
-
Die 5A bis 5D illustrieren Beispiele der Warnmeldungsbilder,
die in dem Auswähler 26 gespeichert sind.
In den Beispielen, die in den 5A bis 5D illustnert sind, ist die Meldung selbst
in Weiß dargestellt
(d. h. (255, 255, 255), wenn das Bild in RGB 256 Graustufen dargestellt
wird), während
der übrige
Teil des Bildes in Schwarz dargestellt wird (d. h. (0, 0, 0) in
diesem Fall). Jedes Meldungsbild sollte dieselbe Größe wie das synthetisierte
Bild haben.
-
Die Inhalte und die Anzeigeposition
der Meldung, die in jedem Meldungsbild enthalten sind, können abhängig davon,
welche Zuordnungstabelle gewählt
wurde, um das synthetisierte Bild zu erzeugen, und welches bewegliche
Teil seinen Zustand geändert
hat, unterschiedlich sein. Entsprechend sollten vorzugsweise verschiedene
Warnmeldungsbilder für
alle Arten von vorstellbaren Situationen vorbereitet werden und
eines dieser Meldungsbilder sollte vorzugsweise in Abhängigkeit
von der jeweiligen Situation ausgewählt werden können.
-
Die folgende Tabelle 3 zeigt den
Zusammenhang zwischen den Zuordnungstabellen, die bei der Bildsynthese
verwendet werden, verschiedene Zustände der beweglichen Fahrzeugteile
und der anzuzeigenden Warnmeldungsbilder: [Tabelle
3]
-
Die zweite Spalte dieser Tabelle
3 zeigt beispielsweise an, dass die Zuordnungstabelle, die nun angewählt ist,
verwendet wird, um ein "Blick nach unten"-Bild zu erzeugen, und
dass, wenn die rechte Tür,
eins der beweglichen Fahrzeugteile, offen ist, das Warnmeldungsbild
Nr. 1 ausgewählt
werden sollte. 5A illustriert ein
beispielhaftes Warnmeldungsbild Nr. 1. In dieser Situation, d. h.,
wenn die Zuordnungstabelle, die gegenwärtig ausgewählt ist, verwendet wird, um
ein "Blick nach unten"-Bild zu erzeugen, und die rechte Tür offen
ist, werden die Bilder, die von den Kameras aufgenommen wurden,
die an der rechten Tür
montiert sind, nicht für die
Bildsynthese verwendet. Entsprechend wird die Warnmeldung, die in 5A gezeigt ist und die aussagt "R-Tür offen",
in dem Teil des synthetisierten Bildes angeordnet, in dem die Bilder,
die von den Kameras aufgenommen wurden, die an der rechten Tür montiert
sind, dargestellt werden sollten.
-
Der Warnmeldungsauswähler 26 speichert
im Voraus Information wie die, die in Tabelle 3 gezeigt ist. In
Antwort auf das Zustandssignal S1, das den gegenwärtigen Zustand
des beweglichen Fahrzeugteils angibt, und auf das Signal, das eine
der Zuordnungstabellen MPT spezifiziert, wählt der Auswählen 26 eines
der Meldungsbilder, das angeordnet werden soll, aus und gibt es
aus. Beim Empfangen des Meldungsbildes von dem Auswählen 26 überlagert
der Videosignalerzeuger 24 das Meldungsbild dem synthetisierten
Bild, das von einem Pixelsynthesizer 21 ausgegeben wird,
und zeigt dann das resultierende kombinierte Bild an.
-
Das Meldungsbild kann dem synthetisierten
Bild überlagert
werden, indem die RGB-Werte aller Pixel des synthetisierten Bildes
und des Meldungsbildes wieder abgefragt werden und beispielsweise
die größeren ausgegeben
werden. Wenn diese Methode auf das Meldungsbild, das in 5A gezeigt ist, angewendet wird, haben
die schwarzen Pixelteile des Meldungsbildes RGB-Werte, die kleiner
sind als die des synthetisierten Bildes in den entsprechenden Teilen.
Demzufolge werden die RGB-Werte des synthetisierten Bildes gewählt. Andererseits
werden für
die weißen
Pixelteile des Meldungsbildes immer die RGB-Werte des Meldungsbildes
gewählt
werden. Auf diese Weise kann ein kombiniertes Bild gewon nen werden,
in dem nur die Meldungsteile dem synthetisierten Bild überlagert
sind. In diesem Fall wird der Teil des synthetisierten Bildes, in
dem die Kamerabilder nicht existieren sollten, vorzugsweise mit
einer dunklen Farbe gefüllt,
damit die in Weiß überlagerte Meldung
so leicht wie möglich
sichtbar wird.
-
Wenn ein kombiniertes Bild mit Hilfe
dieser Überlagerungsmethode
in einer Situation dargestellt werden soll, in der alle beweglichen
Teile geschlossen sind (d.h. in dem normalen Modus), kann auch ein
Bild, das mit Schwarz gefüllt
ist (0, 0, 0,), wie in 5B gezeigt,
als Meldungsbild verwendet werden. Das heißt, das Bild, das in 5B gezeigt ist, kann als Meldungsbild
Nr. 7 wie in der untersten Zeile der Tabelle 3 gezeigt, vorbereitet
werden. Natürlich
kann der Meldungsauswähler 26 auch
kein Meldungsbild in dem normalen Modus ausgeben.
-
Wenn eine Anzahl von beweglichen
Teilen offen ist, kann auch die folgende Technik verwendet werden.
Wenn beispielsweise die Zuordnungstabelle, die nun gewählt ist,
dazu dient, ein "Blick nach unten"-Bild zu erzeugen und wenn gegenwärtig die
rechten und linken Türen
beide offen sind, dann wählt
der Meldungsauswähler 26 die
zugeordneten Warnmeldungsbilder Nr. 1 und 2, die jeweils in den 5A und 5C gezeigt sind.
Dann fragt der Meldungsauswähler 26 die
RGB-Werte aller Pixel für
die Bilder Nr. 1 und 2 ab und wählt die
größeren Werte,
und erzeugt dadurch ein neu kombiniertes Meldungsbild, wie es beispielsweise
in 5B gezeigt ist, und sendet das
Meldungsbild an den Videosignalerzeuger 24.
-
In der vorangegangenen beispielhaften
Ausführungsform
enthält
das Warnmeldungsbild alphabetische Buchstaben. Alternativ kann die
Warnmeldung auch ein vereinfachtes Diagramm oder eine Illustration sein.
Auch kann, wenn keine Meldungsbilder in dem Alarmmodus gezeigt werden
sollen, der Warnmeldungsauswähler 26 selbstverständlich ausgelassen
werden.
-
Im Folgenden wird im Detail beschrieben,
wie die Zuordnungsdaten neu geschrieben werden.
-
Wie hier verwendet, bedeutet die
"Zuordnungstabelle" eine Tabelle, die den Zusammenhang zwischen jedem
Pixel, das in einem synthetisierten Bild enthalten ist, und zugehörigen Pixeldaten,
die in jedem der Kamerabilder enthalten sind, beschreibt. Die Zuordnungstabelle
wird verwendet, um die Erzeugung des synthetisierten Bildes zu beschleunigen.
-
Es kann entweder eine Eins-zu-Eins-Korrespondenz
oder eine Vielzahl-zu-Eins-Korrespondenz zwischen den Pixeln, die
in jedem Kamerabild enthalten sind, und dem zugeordneten Pixel,
das in dem synthetisierten Bild enthalten ist, bestehen. Die Art
der Korrespondenz kann abhängig
von der Position einer bestimmten Kamera oder der Art des zu erzeugenden
synthetisierten Bildes geändert
werden. Wenn beispielsweise eine Grenzprozessierung für eine Grenze
zwischen einer Vielzahl von Kamerabildern durchgeführt werden soll,
muss oft eine Vielzahl-zu-Eins-Konespondenz zwischen den Pixeln,
die in einer Vielzahl von Kamerabildern enthalten sind, und einem
zugeordneten Pixel in den synthetisierten Bild definiert werden.
-
6 illustriert
schematisch eine beispielhafte Zuordnungstabelle. Die Tabelle, die
in 6 gezeigt ist, schließt Zuordnungsdatenstücke ein,
die entsprechenden Paaren von Pixelkoordinaten (i, j) des synthetisierten
Bildes entsprechen.
-
Beispielsweise ist ein Zuordnungsdatenstück MP1,
das mit den Pixelkoordinaten (i1, j1) assoziiert ist, in der Zuordnungstabelle
enthalten. Wie aus 6 ersichtlich,
gibt dieses Zuordnungsdatenstück
MP1 an, dass nur die Pixeldaten an den Koordinaten (12, 45)
in dem Bild, das von Kamera Nr. 1 aufgenommen wurde, dem Pixel (i1,
j1) des synthetisierten Bildes zugeordnet wurden. Diese Zuordnungstabelle
MPT gibt weiterhin eine Notwendigkeitsrate an. Für das Zuordnungsdatenstück MP1 ist
dessen Notwendigkeitsrate "1". Daher werden die Pixeldaten an den
Koordinaten (12, 45) in dem Bild, das von Kamera
Nr. 1 aufgenommen wurde, so, wie sie sind, als der Pixelwert an
den Koordinaten (i1, j1) des synthetisierten Bildes verwendet.
-
Ein weiteres Zuordnungsdatenstück MP2,
das mit den Pixelkoordinaten (i2, j2) assoziiert ist, ist ebenfalls
in dieser Zuordnungstabelle MPT eingeschlossen. Dieses Zuordnungsdatenstück MP2 gibt
an, dass die Pixeldaten an den Koordinaten (10, 10)
in dem Bild, das von Kamera Nr. 1 aufgenommen wurde, und weitere Pixeldaten
an den Koordinaten (56, 80) in dem Bild, das von
Kamera Nr. 0 aufgenommen wurde, dem Pixel (i2, j2) des synthetisierten
Bildes zugeordnet werden. Verwendet man die Notwendigkeitsraten,
kann der Pixelwert bei den Koordinaten (i2, j2) in dem synthetisierten
Bild gegeben werden durch
Pixelwert = {(Pixelwert bei den Koordinaten
(56, 80) in dem Bild, das von Kamera Nr. 1 aufgenommen
wurde) × 0,5
+ (Pixelwert bei den Koordinaten (10, 10) in dem
Bild, das von Kamera Nr. 0 aufgenommen wurde) × 0,3}/(0,5 + 0,3)
-
Indem derartige Zuordnungstabellen
entweder automatisch über
Berechnungen (z. B. geometrische Transformation) oder manuell vorbereitet
werden, kann jedes gewünschte
synthetisierte Bild, das eine Draufsicht, eine Rückenansicht oder eine Seitenansicht
eines Fahrzeugs darstellt, schnell genug erzeugt werden. Außerdem können die
Displaymodi des synthetisierten Bildes durch Wechseln der Zuordnungstabellen,
die zum Erzeugen des synthetisierten Bildes verwendet werden, leicht
umgeschaltet werden. Dieses Displaymodusschalten kann entweder manuell
oder automatisch in Übereinstimmung
mit dem Zustand eines fahrenden Fahrzeugs durchgeführt werden.
-
Insbesondere können die Zuordnungstabellen
in einem ROM, einschließlich
eines elektrisch löschbaren
und programmierbaren ROM (EEPROM) oder einem RAM gespeichert werden.
Die Zuordnungsdaten können
dort durch das Einschreiben der Zuordnungsdaten, die von einem Mikroprozessor
berechnet wurden, der in dem Bildverarbeitungsabschnitt eingebaut
ist, beispielsweise in das ROM oder RAM eingespeichert werden. Alternativ
können
Zuordnungstabellendaten, die als sog. Firmware erhältlich sind,
auf das ROM oder RAM geschrieben werden, indem irgendein Datenübertragungsmedium,
einschließlich
Telekommunikationsleitungen oder Disklaufwerke, verwendet werden.
-
Als nächstes wird genau beschrieben,
wie ein synthetisiertes Bild unter Verwendung der Zuordnungstabelle
MPT und des Displaymoduswechslers 23 erzeugt wird.
-
7 ist
ein Flussdiagramm, das einen Gesamtbildsyntheseprozess gemäß dieser
Ausführungsform illustriert.
Als erstes schaltet in Schritt S11 der bildgebende Bereich 1 Rahmenspeicher 12a, 12b,
usw. Ein Zeitsteuerungsgenerator 25 erzeugt ein Zeitsteuerungssignal
um eine Sequenz von beweglichen Bildern zu produzieren, die ein
synthetisiertes Bild darstellen. In Antwort auf das Zeitsteuerungssignal,
das von dem Zeitsteuerungsgenerator 25 ausgegeben wird,
um den Beginn der Rahmenbildung anzugeben, schaltet der bildgebende
Abschnitt 1 die Rahmenspeicher 12a, 12b usw.
Das heißt,
der bildgebende Abschnitt 1 wählt neue Kombinationen von
Rahmenspeichern, in die die Bilder, die von den Kameras 11 aufgenommen
wurden, eingeschrieben werden sollen und von Rahmenspeichern, welche
die Bilder, die von dem Bildverarbeitungsabschnitt 2 angegeben
werden, eingespeichert werden sollen. Diese Schaltoperation wird
durchgeführt,
um eine Wechselwirkung zwischen dem Einschreiben und dem Referenzieren
zu vermeiden, weil die Pixel, die von dem Bildverarbeitungsabschnitt 2 referenziert
werden, zufällig
in verschiedenen Kamerabildern angeordnet sind, unabhängig von
der Reihenfolge in der die Bilder, die von den Kameras 11 aufgenommen
wurden, eingeschrieben wurden.
-
Als nächstes, in Schritt S12,
wählt der
Zeitsteuerungsgenerator 25 ein zu verarbeitendes Pixel
aus dem synthetisierten Bild, das zu dem vorbestimmten Zeitpunkt
ausgegeben werden soll.
-
Dann, in Schritt S13, liest
der Zuordnungstabellensucher 22 aus der spezifizierten
Zuordnungstabelle MPT ein Zuordnungsdatenstück aus, das mit dem Pixel,
welches von dem Zeitsteuerungsgenerator gewählt wurde, assoziiert ist,
und gibt dann die Daten an den Anzeigemoduswechsler 23 aus.
In Antwort auf das Zustandssignal S1 schreibt der Wechsler 23,
falls nötig
in Schritt S20, die Zuordnungsdaten, die von dem Zustandstabellensucher 22 ausgelesen
wurden, erneut ein und gibt dann die aktualisierten Daten an den
Pixelsynthesizer 21 aus. Dieser Schritt S20 wird später noch
detaillierter beschrieben.
-
Nachfolgend synthetisiert in Schritt
S30 der Pixelsynthesizer 21 in Übereinstimmung mit der Zuordnungsdateneingabe
den oder die Pixelwerte des oder der zugehörigen Kamerabilder für das Pixel,
das von dem Zeitsteuerungsgenerator 25 ausgewählt wurde,
zusammen mit den bestehenden und gibt dann das Ergebnis an den Videosignalgenerator 24 aus.
Als nächstes,
in Schritt S14, transformiert der Videosignalgenerator 24 die
Eingabepixelwerte für
das synthetisierte Bild in ein Videosignal und gibt das Signal an
die Anzeigevorrichtung 3 gleichzeitig mit der Eingabe des
Zeitsteuerungssignals von dem Zeitsteuerungsgenerator 25 aus.
-
Danach bestimmt der Zeitsteuerungsgenerator 25 in
Schritt S15, ob das Pixel, das soeben verarbeitet wurde,
das letzte eines vorgegebenen Rahmen ist oder nicht. Wenn die Antwort
JA ist, dann wird davon ausgegangen, dass der gegenwärtige Rahmen
erfolgreich verarbeitet worden ist und das Verarbeiten des nächsten Rahmens
beginnt. Andernfalls schreitet der Prozess zu Schritt S16 fort,
in dem die Auswahl des nächsten Pixels
angeordnet wird. Dann führt
der Bildverarbeitungsabschnitt 1 die Folge von Prozessschritten S13, S20, S30 und S14 alle
wiederum mit dem nächsten
Pixel, das von dem Zeitsteuerungsgenerator 25 in Schritt S12 gewählt wurde,
aus, und diese Prozessschleife wird solange wiederholt ausgeführt, bis
die Antwort auf die Frage des Schritts S15 JA wird, d.
h., bis das letzte Pixel des gegenwärtigen Rahmens verarbeitet
ist.
-
In der illustrierten Ausführungsform
wird die Verarbeitung rahmenbasiert durchgeführt, aber es könnte natürlich auch
ein Feld nach dem anderen verarbeitet werden.
-
8 ist
ein Flussdiagramm, das spezifisch darstellt, wie der Anzeigemoduswechsler 23 in
Schritt S20 der 7 arbeitet.
-
Zunächst, in Schritt S21, überprüft der Wechsler 23 die
Information, die von dem eingegebenen Zustandssignal S1 über den
geöffneten/geschlossenen
Zustand eines beweglichen Fahrzeugteils (z. B. rechte Tür, linke
Tür, Kofferraum
oder Motorhaube) gegeben ist. Wenn das bewegliche Teil offen ist
(d.h., wenn die Antwort auf die Frage in Schritt S22 JA
ist), dann schreitet der Prozess zu Schritt S23 fort, um die Nummern der
Kameras, die an dem beweglichen Teil montiert sind, durch Referenz
mit der Tabelle (z. B. Tabelle 2), die vorab in dem Wechsler 23 gespeichert
wurde, zu erfahren. Andererseits, wenn das bewegliche Teil geschlossen
ist (d. h., wenn die Antwort auf die Frage von Schritt S22 NEIN
ist), dann springt der Prozess nach Schritt S27, in dem
der Wechsler 23 bestimmt, ob alle beweglichen Teile überprüft worden
sind oder nicht. Wenn die Antwort JA ist, dann schreitet der Prozess
zum nächsten
Schritt S28 fort. Andernfalls kehrt der Prozess nach Schritt
S21 zurück,
in dem der Wechsler 23 den offenen/geschlossenen Zustand
eines (oder des) anderen beweglichen Teils überprüft.
-
Nachdem die Nummern der Kameras auf
dem fraglichen beweglichen Teil in Schritt S23 bekannt
sind, schreitet der Prozess zum nächsten Schritt S25 fort.
In Schritt S25 bestimmt der Wechsler 23, ob irgendeine dieser
Kameranummern mit einer Kameranummer übereinstimmt, die in den Zuordnungsdaten
enthalten ist, oder nicht. Wenn die Antwort JA ist, schreitet der
Prozess zum nächsten
Schritt S26 fort, in dem die Zuordnungsdaten über die
Kamera mit dieser Nummer erneut geschrieben werden, um anzuzeigen,
dass die Kamera zeitweise funktionsunfähig ist. In dem Beispiel, das
in 8 illustriert ist,
werden die Kameranummer und die XY-Koordinaten in "–1" überschrieben.
Andererseits, wenn die Antwort auf die Frage in Schritt S25 NEIN ist,
dann springt der Prozess nach Schritt S27, in dem der Wechsler 23 bestimmt,
ob alle beweglichen Teile überprüft worden
sind oder nicht. Wenn die Antwort JA ist, dann schreitet der Prozess
zum nächsten
Schritt S28 fort. Andernfalls kehrt der Prozess zu Schritt S21 zurück, in dem
Wechsler den offen/geschlossen-Zustand eines anderen (oder des anderen)
beweglichen Teils überprüft.
-
Wenn alle beweglichen Teile überprüft worden
sind (d.h., wenn die Antwort auf die Frage in Schritt S27 JA
wird, dann werden die Notwendigkeitsraten der Zuordnungsdaten in
Schritt S28 erneut berechnet, um den Prozess zu beenden.
-
Im Folgenden wird detailliert beschrieben,
wie der Anzeigemoduswechsler 23 in diesem Schritt S20 arbeitet,
in dem das Zuordnungsdatenstück
MP2, das in 6 gezeigt
ist, in den Wechsler 23 eingegeben wird. In dem folgenden
Beispiel wird zu illustrativen Zwecken angenommen, dass nur die
rechte Tür
eines Fahrzeugs geöffnet
ist.
-
Als erstes sagt das Zustandssignal S1 dem
Wechsler 23 in den Schritten S21 und S22;
dass die rechte Tür
des Fahrzeugs offen ist. Daher weiß der Wechsler 23 durch
Referenz auf Tabelle 2, die auf ihm gespeichert ist, in Schritt S23,
dass die Kameras Nr. 1 und 2 auf der rechten geöffneten Tür montiert sind.
-
Als nächstes bestimmt der Wechsler 23 in
Schritt S25 ob die Kamera Nr. "1" oder "2" mit einer der
Kameranummern, die in dem Zuordnungsdatenstück MP2 enthalten sind, übereinstimmt
oder nicht. In diesem Fall ist die Kamera Nr. "1" in dem Zuordnungsdatenstück MP2 enthalten,
so dass in dem letzten Schritt S26 die Daten, die über die
Kamera Nr. 1 gespeichert sind, in gesperrte umgeschrieben werden.
Andererseits ist die Kamera Nr. "2" nicht in dem Zuordnungsdatenstück MP2 enthalten
und es besteht keine Notwendigkeit, die Daten darüber neu
zu schreiben.
-
Da in dem illustrierten Beispiel
die anderen beweglichen Teile alle geschossen sind, ist die Antwort
auf die Frage in dem nächsten
Schritt 27 JA. Daher schreitet der Prozess zu dem nächsten Schritt S28 fort,
in dem die Notwenigkeitsraten neu berechnet werden. In dem illustrierten
Beispiel wird für
die deaktivierte Kamera Nr. 1 die Notwendigkeit zu "0" neu berechnet
und für
die andere Kamera Nr. 0 wird die Notwenigkeit in "1" überschrieben.
-
9 ist
ein Flussdiagramm, das den Pixelsynthetisierungsschritt S30 aus 7 illustriert.
-
Zunächst initialisiert der Synthesizer 21 in
Schritt S31 den Wert eines zu synthetisierenden Pixels
zu "0".
-
Dann liest in Schritt S32 der
Synthesizer die Kameranummer, die X- und Y-Koordinaten und die Notwendigkeitsrate
aus dem Zuordnungsdatenstück,
das mit dem Pixel assoziiert ist, aus. Wenn die ausgelesene Kameranummer
angibt, dass die Kamera nun in Funktion ist (d. h., wenn die Antwort
auf die Frage in Schritt S33 JA ist), dann liest der Synthesizer 21 in
Schritt S34 den Pixelwert, der durch die X- und Y-Koordinaten definiert
ist, aus dem Bild, das in dem Rahmenspeicher für die funktionsfähige Kamera
gespeichert ist, aus und behält ihn
bei. Andererseits, wenn die ausgelesene Kameranummer angibt, dass
die Kamera nun gesperrt ist (d.h., wenn die Antwort auf die Frage
in Schritt S33 NEIN ist), dann behält der Synthesizer 21 einen
vorbestimmten Pixelwert, der die Inaktivierung angibt (z. B. einen
schwarzen Pixelwert) bei und gibt ihn aus (Schritte S35 bzw. 39).
-
Im Fall, dass die Kamera mit dieser
Nummer nun funktionsfähig
ist, gewichtet der Synthesizer 21 das Pixel, das in Schritt S34 ausgelesen
und beibehalten wurde, mit der Notwendigkeitsrate und addiert dann
den gewichteten Wert zu dem Pixelwert, der in Schritt S36 synthetisiert
wird.
-
Dann, in Schritt S37, bestimmt
der Synthesizer 21, ob das gegebene Zuordnungsdatenstück irgendeine
weitere Kameranummer einschließt
oder nicht. Wenn die Antwort JA ist, dann wird in Schritt S38 angeordnet,
dass eine nächste
Kameranummer gelesen wird, und der Prozess kehrt zu Schritt S32 zurück, um den Synthesizer 21 die
Prozessschritte S32 bis S36 solange wiederholt
durchführen
zu lassen, bis die Antwort auf die Frage des Schritts S37 NEIN
wird. Wenn in Schritt S37 gefunden wird, dass in dem Zuordnungsdatenstück keine
weitere Kameranummer mehr übrig
ist, schreitet der Prozess zu dem nächsten Schritt S39 fort,
in dem der Synthesizer 21 die zu synthetisierenden Pixelwerte
ausgibt.
-
Indem die Displaymodi des synthetisierten
Bildes auf diese Weise geschaltet werden, wird einem Betrachter
kein unnatürliches
Bild präsentiert,
auch wenn irgendein bewegliches Teil eines Fahrzeugs seinen Zustand
geändert
hat, um das synthetisierte Bild unnatürlich zu machen.
-
AUSFÜHRUNGSFORM 2
-
10 ist
ein Blockdiagramm, das eine Konfiguration eines Überwachungssystems gemäß einer zweiten
Ausführungsform
der vorliegenden Erfindung illustriert. In 10 ist jedes Teil, das auch in 1 gezeigt ist, mit demselben
Bezugszeichen versehen und die detaillierte Beschreibung desselben
wird im Folgenden ausgelassen.
-
Das System, das in 10 gezeigt ist, ist dadurch ausgezeichnet,
dass ein Anzeigemoduswechsler 23A veranlasst, dass Kamerabilder
selektiv von dem bildgebenden Abschnitt 1 in einen Pixelsynthesizer 21A in
Antwort auf das Zustandssignal S1 eingegeben werden, wodurch
der Anzeigemodus des synthetisierten Bildes umgeschaltet wird. Das
heißt,
es sind Schalter 31 zwischen den Ausgangsanschlüssen des
bildgebenden Abschnitts 1 und den Eingangsanschlüssen des
Pixelsynthesizers 21A vorgesehen. Beim Feststellen des
geöffneten
Zustands von einem der beweglichen Teile in Übereinstimmung mit der Information,
die von dem Zustandssignal S1 gegeben ist, identifiziert
der Wechsler 23A eine gesperrte Kamera, die nicht für die Erzeugung eines
synthetisierten Bildes verfügbar
ist, indem er die darüber
gespeicherte Information (z. B. Tabelle 2) referenziert. Dann schaltet
der Wechsler 23A entsprechend einen der Schalter 31 AUS,
um zu verhindern, dass das Bild, das von der gesperrten Kamera aufgenommen
wurde, an den Pixelsynthesizer 21A eingegeben wird.
-
In der zweiten Ausführungsform
werden die Bilder auch unter Verwendung einer Zuordnungstabelle, wie
in der ersten Ausführungsform,
synthetisiert. Die zweite Ausführungsform
ist jedoch von der ersten Ausführungsform
dann verschieden, dass der Schritt S20 des Wiedereinschreibens der
Zuordnungsdaten aus dem Prozessablauf, der in 7 illustriert ist, ausgelassen ist. Das
heißt,
da die Eingabe eines Bildes, das von irgendeiner inaktivierten Kamera
aufgenommen wurde, mechanisch oder elektrisch in der zweiten Ausführungsform
verhindert wird, ist es offensichtlich nicht nötig, den Schritt S20 des
Wiedereinschreibens der Zuordnungsdaten in Übereinstimmung mit dem Zustand
eines beweglichen Teils durchzuführen.
Folglich werden in dieser Ausführungsform
auch die Schritte S33 und S35, die dem Prozessablauf der 9 gezeigt sind, ausgelassen.
-
Es sollte beachtet werden, dass diese
zweite Ausführungsform
leicht auf einen Bildverarbeitungsabschnitt, der keine Zuordnungstabellen
enthält,
anwendbar ist. In der vorliegenden Erfindung ist die Anzeigevorrichtung 3 typischerweise
ein Flüssigkristalldisplay,
aber sie kann auch jede andere Art von Anzeigevorrichtung sein (z.
B. ein Plasmadisplay). Optional kann gemäß der vorliegenden Erfindung
auch das Display eines Global Positioning- System (GPS) für Fahrzeuge, d.h. ein sog.
"Fahrzeugnavigationssystem", als Anzeigevorrichtung 3 verwendet
werden. Die Kameras 11, die in dem bildgebenden Abschnitt 1 enthalten
sind, sind weiterhin typischerweise digitale Farb- oder Monochromcamcorder,
die jeweils eine Festkörperbildgebungsvorrichtung
wie ein CCD oder eine CMOS-Vorrichtung einschließen. Alternativ können die
Kameras 11 auch jede andere Art von Bildgebern sein.
-
In der vorangegangenen Beschreibung
wurde die vorliegende Erfindung so beschrieben, dass sie in einer
Situation angewendet wird, in der eine Änderung in dem Zustand eines
beweglichen Teils, wie einer Tür oder
einer Motorhaube eines Fahrzeugs, die Position oder Richtung einer
Kamera, die an dem beweglichen Teil montiert ist, ändert und
dadurch ein resultierendes synthetisiertes Bild unnatürlich macht.
Es gibt jedoch auch andere vorstellbare Situationen. Wenn ein bewegliches
Teil beispielsweise seinen Zustand geändert hat, dann kann das Bildes
beweglichen Teils einen unterschiedlichen Teil des Bildes einnehmen,
das von einer Kamera aufgenommen wird, die an einem festen Teil
montiert ist, und dadurch das Entstehen des synthetisierten Bildes
unnatürlich
machen. Insbesondere kann das Bild einer geöffneten Tür unabsichtlich von einer Kamera aufgenommen
werden, die an einem festen Teil montiert ist, nicht von der Kamera,
die auf dem beweglichen Teil, das sich geöffnet hat, montiert ist.
-
Dann muss anstelle der Tabelle 2
für die
Wechsler 23 oder 23A nur eine Tabelle, die eine
Korrespondenz zwischen den beweglichen Teilen und den zugeordneten
Kameras, die nicht auf diesen beweglichen Teilen montiert sind,
sondern durch irgendeine Zustandsänderung der beweglichen Teile
beeinflusst werden sollten, vorbereitet werden. Dann können dieselben
Effekte wie die der vorangegangenen Ausführungsformen auch durch Durchführen ähnlicher
Prozessschritte erreicht werden.
-
Es sollte angemerkt werden, dass
die Information, die die Zustandsänderung eines beweglichen Teils darstellt,
nicht unbedingt eine digitale (d. h. offen oder geschlossen) sein
muss, sondern auch eine analoge sein kann (z. B., wie weit das Teil
geöffnet
ist). Beispielsweise kann der normale Modus immer noch gewählt werden,
wenn eine Türe
nur leicht offen ist, aber es sollte in den Alarmmodus umgeschaltet
werden, wenn der Winkel den die geöffnete Tür mit dem Fahrzeugkörper bildet,
einen vorbestimmten Schwellenwert überschreitet. Es sollte auch
angemerkt werden, dass die beweglichen Teile in der vorliegenden
Erfindung nicht auf Türen,
Motorhaube und Kofferraum beschränkt
sind, sondern auch Reifen, Antennen, bewegliche Rückspiegel und
Scheinwerfer einschließen
können.
Wenn beispielsweise die Bewegung eines Reifens das synthetisierte Bild
beeinflusst, kann der Anzeigemodus entsprechend dem Lenkwinkel,
der von dem Rad, an dem der Reifen montiert ist, gebildet wird,
umgeschaltet werden.
-
Weiterhin bedeutet in der vorliegenden
Erfindung das "Fahrzeug" jede Art von verschiedenen Fahrzeugtypen,
einschließlich
Automobile mit normalem Hubraum, leichte Automobile, Lastwagen und
Busse. Außerdem
können
so weit sich das erfinderische Konzept anwenden lässt, auch
speziell ausgerüstete
Fahrzeuge wie Kranwagen und Bagger, die Fahrzeuge, der vorliegenden
Erfindung sein.
-
In der vorangegangenen Beschreibung
wurde davon ausgegangen, dass das Überwachungssystem und der Bildprozessor
der vorliegenden Erfindung bei Fahrzeugen eingesetzt werden. Die
vorliegende Erfindung ist jedoch auch auf jede andere Art von beweglichen
Objekten anwendbar, einschließlich
Flugzeuge, Boote und Schiffe. Weiterhin können Kameras für das erfindungsgemäße Überwachungssystem
auch auf ein unbewegtes Objekt, das überwacht werden soll, beispielsweise
Geschäfte,
Wohnungen und Ausstellungsräume
ausgerichtet werden.
-
Darüber hinaus sind die Positionen
und die Anzahl an Kameras, die montiert werden, nicht auf die illustrierten
begrenzt.
-
Weiterhin können ein Teil oder alle der
Funktionen des erfindungsgemäßen Bildprozessors
entweder auf entsprechende Hardware- oder Software-Programme implementiert
werden. Es ist auch möglich
ein Speicher oder Übertragungsmedium
zu verwenden, worauf ein Programm zum Ausführen der erfindungsgemäßen Bildverarbeitung
durch einen Computer, entweder teilweise zur Gänze gespeichert ist.
-
Wie oben beschrieben, kann, selbst
wenn eine Änderung
in dem Zustand eines beweglichen Fahrzeugteils das synthetisierte
Bild teilweise unnatürlich
gemacht hat, dieser unnatürliche
Teil von dem synthetisierten Bild, das dem Betrachter präsentiert
wird, gemäß der vorliegenden
Erfindung entfernt werden. Zusätzlich
ist es durch geeignetes Umschalten des Anzeigemodus des synthetisierten
Bildes möglich,
einen Benutzer schnell und rechtzeitig wissen zu lassen, dass ein
bewegliches Teil gegenwärtig
in einem Zustand ist, der beispielsweise für den Betrieb eines Fahrzeugs
ungünstig
ist.
