-
Die
vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung
zum Hervorheben bzw. Verbessern einer Fernseh-Direktübertragung.
-
Die
Fernsehdarstellung von aktuellen Ereignissen könnte durch Hervorheben des
Bilds bzw. Bildsignals in Echtzeit verbessert werden, um die Darstellung
für den
Betrachter interessanter zu gestalten. Bspw. können Fernsehzuschauer nicht
das gesamte Spielfeld während
eines Sportereignisses sehen. Daher kann der Zuschauer den Überblick
verlieren, wo einer der Spieler oder eines der Objekte sich auf
dem Feld im Verhältnis
zu dem übrigen
Feld, den übrigen
Spielern oder den übrigen
Objekten befindet. Während
der Fernsehübertragung
von Fußballspielen
fokussieren Kameras gewöhnlich
auf die Spieler, was ermöglicht,
daß der
Zuschauer nur einen kleinen Teil des Felds sieht. Da der Zuschauer
lediglich einen kleinen Teil des Felds sehen kann, kann ein Zuschauer
nicht wissen, wo ein bestimmter Spieler sich im Verhältnis zu
den entsprechenden Orten auf dem Feld befindet. Wenn bspw. ein Spieler
den Fußball
trägt,
kann der Fernsehzuschauer nicht wissen, wie weit der Spieler zu
einem ersten Down laufen muß.
Eine Verbesserung bzw. Hervorhebung, die für Fernsehzuschauer von Fußballspielen
hilfreich sein würde,
ist es, das Feld an der Stelle zu beleuchten bzw. hervorzuheben, über die
ein Spieler kommen muß,
um einen ersten Down zu erzielen.
-
Eine
Verbesserung, die für
Zuschauer von Golfturnieren hilfreich wäre, ist es, die Teile von Golfplätzen hervorzuheben,
die als schwierige Stellen für Golfer
bekannt sind. Während
der professionelle Golfer sich dieser schwierigen Stellen bewußt ist und den
Ball schlägt,
um diese Punkte zu vermeiden, kann der Fernsehzuschauer sich dieser
schwierigen Stellen nicht bewußt
sein und mag sich wundern, warum ein bestimmter Golfer den Ball
in eine bestimmte Richtung schlägt.
Wenn der Golfplatz hervorgehoben wäre, um diese schwierigen Stellen
anzuzeigen, würde
ein Fernsehzuschauer die Strategie verstehen, die der Golfer anwendet
und beim Betrachten des Golfturniers eine größere Befriedigung erfahren.
Eine weitere nützliche
Verbesserung würde
ein Zeigen der Umrisse des Grüns
umfassen. Ähnliche
Hervorhebungen für
das Spielfeld wären
auch bei anderen Sportarten nützlich.
-
Des
weiteren ziehen aktuelle Ereignisse bzw. Liveereignisse keinen Vorteil
aus den Fernsehzuschauern hinsichtlich Werbung. Zunächst können Werbungen
bzw. Anzeigen in einem Stadion auf einer Anzeige im Fernsehen übertragen
werden. Viele dieser Anzeigen betreffen jedoch nicht die Fernsehzuschauer.
Bspw. kann ein bestimmtes Sportereignis in San Francisco stattfinden
und in der ganzen Welt im Fernsehen übertragen werden. Ein lokales
Kaufhaus könnte
für eine
Reklamewand in dem Stadion bezahlen. Zuschauer in anderen Teilen
der Vereinigten Staaten oder in anderen Ländern, die die Sendung empfangen,
haben jedoch keinen Zugang zu dem Kaufhaus und daher ist das Senden
der Werbung nicht effektiv. Zum zweiten wird einiges von dem Platz
in einem Stadion nicht verwendet, da eine solche Verwendung die
Sicht der Spieler oder der Betrachter im Stadion stören würde. Eine
Verwendung des Raums für
Werbung wäre
jedoch für
die Fernsehzuschauer sehr wirksam. Bspw. würde das Glas um die Bande eines
Hockeyfelds einen wirksamen Platz für Werbungen für die Fernsehzuschauer
bieten. Solche Werbungen würden
jedoch die Sicht der Betrachter im Stadion behindern. Zum dritten
wären manche
Anzeigen wirksamer, wenn deren Darstellung auf bestimmte Zeiten
beschränkt
wäre, wenn Kunden
an diese Art von Produkt denken. Beispielsweise wäre eine
Werbung für
einen Schirm, während es
regnet, wirksamer.
-
Bisherige
Versuche, die Bilddarstellung von Liveereignissen zu verbessern,
waren nicht zufriedenstellend. Manche Sender überlagern Werbungen auf dem
Bildschirm, diese Werbungen behindern jedoch gewöhnlich die Sicht auf das Ereignis.
-
Eine
weitere Lösung
umfaßt
ein Digitalisieren eines Rahmens eines Bildsignals und eine Verwendung
eines Computers mit einer Mustererkennungssoftware, um das Zielbild,
das in dem Rahmen des Bildsignals zu ersetzen ist, zu lokalisieren.
Wenn das Zielbild gefunden ist, wird ein Austauschbild an dessen
Stelle eingesetzt. Das Problem bei dieser Lösung ist, daß die Software
zu langsam ist und nicht effektiv bei einem Liveereignis eingesetzt
werden kann. Solche Systeme sind noch langsamer, wenn sie zu Verdeckungen
bzw. Okklusionen führen
bzw. diese berücksichtigen.
Eine Okklusion ist etwas, das das Ziel verstellt. Wenn bspw. das
Ziel eine Werbetafel auf den Banden um ein Hockeyfeld ist, ist ein
Beispiel für
eine Okklusion, wenn ein Spieler vor der Werbetafel steht. Wenn
diese Werbetafel ausgetauscht wird, muß das neue Werbetafelbild in
das Bildsignal eingesetzt werden, so daß der Spieler vor der Austauschwerbetafel
erscheint.
-
Die
Druckschrift
US 5465144 beschreibt
ein elektromechanisches Ortungssystem, das ermöglicht, daß Kameras automatisch beweglichen
Zielen folgen. Das System umfaßt
eine bewegbare Basiseinheitvorrichtung, auf der eine Kamera angebracht ist
und die gestaltet ist, automatisch sich zu einem Gegenstand in Position
zu bringen und diesem Gegenstand zu folgen, wenn die Vorrichtung
sich von einer Seite zu einer anderen einschließlich vertikaler Bewegungen
bewegt.
-
Die
Druckschrift
US 5564698 beschreibt
eine Hockeyscheibe mit einem elektromagnetischen Übertrager.
Die übertragenen
Signale liegen außerhalb
des sichtbaren Spektrums, um zu verhindern, daß Spieler und Fans die Signale
sehen. Ein oder mehrere Empfänger
verwenden die Signale, um den Ort der Hockeyscheibe zu bestimmen.
Die Kenntnis von dem Ort der Scheibe in einem dreidimensionalen Raum
in Verbindung mit der Schwenkung, Neigung und einer Fokussierung
bzw. einem Zoom einer Fernsehkamera kann verwendet werden, um den
Ort der Scheibe in einem Fernsehrahmen zu bestimmen. Ein Teil eines
Bildsignals, das die Scheibe darstellt, kann dann hervorgehoben
werden, um einen Fernsehzuschauer auf die Scheibe aufmerksam zu
machen.
-
Die
Druckschrift
US 4064528 beschreibt
ein einzig betrachtetes Objekt innerhalb des Felds einer Fernsehkamera,
das elektronisch für
eine Darstellung auf einem Fernsehempfänger hervorgehoben wird, so
daß das
Objekt leichter von einem Zuschauer beobachtet werden kann. Ein
Objekt, wie bspw. ein Ball, wird mit einem Material behandelt, das
einen spektralen Code ausstrahlt oder Licht einer bestimmten Frequenz
reflektiert, die normalerweise bei Außenlichtbedingungen nicht in
demselben Maße
vorliegt. Eine Kamera wird verwendet, um die gesamte Szene zu erfassen
und eine weitere Kamera oder ein Übereinstimmungsfilter, der
mit der einen Kamera gekoppelt ist, ist insbesondere bei der einzigartigen Strahlung
des Objekts empfindlich, um dessen Ort und Form zu erfassen. Ein
elektrisches Bild der Umgebung und der Form und Position des spektralen Codes
in der Umgebung wird gebildet. Eine Darstellung des Objekts, unabhängig von
der Form des erfaßten
Objekts, wird elektronisch erzeugt und ein Ausgabebild wird anhand
der Kombination des Szenebilds und der erzeugten Darstellung des
Objekts gebildet. Zwei Bilder werden in jedem Fall gebildet, bei
dem das behandelte Objekt im Verhältnis zu der gesamten Szene
hervorgehoben wird, was dazu führt,
daß das
Objekt leichter für
einen Fernsehzuschauer zu betrachten ist. Ein Ortungssystem, das keine
Mustererkennung verwendet, kann ebenfalls eingesetzt werden, um
dem behandelten Objekt zu folgen.
-
Die
Druckschrift
US 5508737 beschreibt
ein Video- bzw. Bildsignalaufzeichnungssystem mit Videokameras,
die entlang dem Veranstaltungsort eines Ereignisses entfernt angeordnet
sind, um Videobilder an einem Beobachtungsort bereitzustellen. Bei
dem Beobachtungsort kann ein Nutzer die bereitgestellten Bilder
mit seiner eigenen Fernseheinrichtung aufzeichnen.
-
Die
vorliegende Erfindung betrifft ein System zum Verbessern bzw. Hervorheben
einer Direktübertragung.
Ein Ziel bei einem Liveereignis wird, um dieses hervorzuheben, ausgewählt. Beispiele
für Ziele umfassen
Werbungen in einem Stadion, Teile des Spielfelds (bspw. Footballfeld,
Baseballfeld, Fußballfeld,
Basketballfeld usw.), Orte bei oder nahe dem Stadion oder ein einfarbiger
Hintergrund (bspw. für Farbschlüssel), der
bei oder nahe dem Stadion angeordnet ist.
-
Gemäß einem
Aspekt der vorliegenden Erfindung ist ein Verfahren zum Hervorheben
bzw. Verbessern der Direktübertragung
gemäß Anspruch
1 bereitgestellt.
-
Gemäß einem
weiteren Aspekt der vorliegenden Erfindung ist eine Vorrichtung
zum Hervorheben einer Direktübertragung
gemäß Anspruch
13 vorgesehen.
-
Gemäß einem
weiteren Aspekt der vorliegenden Erfindung ist bzw. sind eine oder
mehrere rechnerlesbare Speichervorrichtungen vorgesehen, die rechnerlesbaren
Code aufweisen, um zu bewirken, daß ein oder mehrere Rechner
ein Verfahren zum Hinzufügen
einer Hervorhebungsgrafik auf einem Bildsignal eines Sportereignisses
gemäß Anspruch
22 durchführen.
-
Das
System der vorliegenden Erfindung erfaßt unter Verwendung einer Kamera
ein Bildsignal, nimmt Bildfelddaten für diese Kamera auf, bestimmt eine
Position eines Videobilds des Ziels in dem erfaßten Bildsignal und modifiziert
das erfaßte
Bildsignal durch Hervorheben zumindest eines Teils des Videobilds
des Ziels. Ausführungsformen
der vorliegenden Erfindung umfassen ein Bestimmen der Perspektive des
Videobilds des Ziels und/oder ein Bereiten einer Okklusion für das Videobild
des Ziels.
-
Eine
Ausführungsform
der vorliegenden Erfindung umfaßt
einen oder mehrere Bildfeldsensoren, die mit einer Kamera gekoppelt
sind, so daß die Sensoren
Daten erfassen können,
anhand derer das Bildfeld der Kamera bestimmt werden kann. Die Bildfeldsensoren
können
Schwenk-, Neigungs- und/oder Fokussierungssensoren umfassen. Das
System weist ebenfalls einen Prozessor bzw. Rechner, einen Speicher
und eine Videomodifikationseinheit auf. Der Speicher speichert einen
Ort des Ziels und optional Daten, die zumindest einen Teil des Videobilds
des Ziels repräsentieren.
Der Prozessor, der in Verbindung mit dem Speicher und den Bildfeldsensoren steht,
ist programmiert, um zu bestimmen, ob das Ziel innerhalb des Bildfelds
der Kamera ist, und falls dies der Fall ist, um die Position des
Ziels innerhalb eines Rahmens des Bildsignals der Kamera zu bestimmen.
Der Prozessor bestimmt die Position des Ziels in dem Rahmen des
Bildsignals unter Verwendung von Bildfelddaten und einer Muster-
(oder Bild-)Erkennungstechnik. Elektromagnetische Signale und/oder
andere geeignete Mittel können
ebenfalls verwendet werden. Eine beispielhafte Ausführungsform
verwendet Bildfelddaten, um einen ungefähren Ort des Ziels zu finden
und verwendet dann eine Mustererkennung, um den exakten Ort zu finden. Eine
solche Kombination von Bildfelddaten mit einer Mustererkennungstechnik
ermöglicht
eine schnellere Auflösung
des Zielorts als bei Verwendung lediglich einer Mustererkennung.
-
Die
Videomodifikationseinheit, die in Verbindung mit dem Prozessor steht,
modifiziert den Rahmen des Bildsignals, um zumindest einen Teil
des Videobilds des Ziels hervorzuheben. Das bedeutet, daß ein Ziel
bearbeitet, hervorgehoben, überlagert oder
durch ein Austauschbild ersetzt werden kann. Eine Videomodifikationseinheit
kann bspw. verwendet werden, um einen Teil eines Fußballfelds
(oder eines anderen Spielsfelds) zu beleuchten bzw. hervorzuheben
oder eine erste Werbetafel in einem Stadion durch eine zweite Werbetafel
zu ersetzen. Da das System ausgelegt ist, eine Mustererkennungstechnik und
Bildfeldsensoren zu verwenden, kann das System mit mehreren Sendekameras
gleichzeitig eingesetzt werden. Daher steht es einem Regisseur eines Liveereignisses
frei, zwischen verschiedenen Sendekameras im Stadion umzuschalten
und der Fernsehzuschauer wird die Hervorhebung sehen, unabhängig davon,
welche Kamera von dem Regisseur ausgewählt ist.
-
Diese
und andere Ziele und Vorteile der Erfindung werden anhand der folgenden
Beschreibung deutlicher werden, in der die bevorzugte Ausführungsform
der Erfindung in Verbindung mit der Zeichnung weiter ausgeführt ist.
-
1 zeigt eine perspektivische
Ansicht eines Teils eines Fußballstadions.
-
2 zeigt eine perspektivische
Ansicht des Fußballstadions
aus 1, wie sie von einem
Fernsehzuschauer gesehen wird, nachdem das Bildsignal hervorgehoben
wurde.
-
3 zeigt ein Blockdiagramm
einer Untermenge der Komponenten, die die Erfindung ausmachen.
-
4 zeigt ein Blockdiagramm
einer Untermenge der Komponenten, die die Erfindung ausmachen.
-
5 zeigt ein Flußdiagramm,
das den Ablauf der vorliegenden Erfindung erläutert.
-
6 zeigt ein Flußdiagramm,
das mehr Details darüber
bereitstellt, wie die Erfindung Okklusionen berücksichtigt.
-
7 zeigt ein Teilblockdiagramm
einer alternativen Ausführungsform
der vorliegenden Erfindung.
-
8 zeigt ein Teilflußdiagramm,
das den Ablauf der in 7 dargestellten
Ausführungsform erläutert.
-
1 zeigt eine Teilansicht
eines Fußballstadions 100.
In der Mitte des Stadions 100 befindet sich ein Fußballfeld 102.
Um das Fußballfeld 102 herum
befinden sich die Sitze 104 für die Fans. Zwischen den Sitzen 104 und
dem Spielfeld 102 ist eine Stützmauer 106. Auf der
Stützmauer 106 befindet sich
eine Werbung AD1. Lediglich beispielhaft sei angenommen, daß ein bestimmter
Fernsehsender vier Ziele zum Hervorheben ausgewählt hat. Das erste Ziel ist
eine Werbung AD1, die durch eine weitere Werbung zu ersetzen ist.
Das zweite Ziel ist ein Teil des Spielfelds, das zum Aufnehmen einer
Werbung vorgesehen ist. Für
dieses Beispiel sei angenommen, daß der Sender wünscht, eine
Werbung in der Endzone 108 des Fußballfelds zu plazieren. Ein
drittes Ziel ist ein Bereich oberhalb des Stadions. Das bedeutet,
daß der
Fernsehsender wünschen
kann, daß wenn
eine Kamera zu dem oberen Bereich des Stadions gerichtet ist, der
Zuschauer eine Werbung sieht, die oberhalb des Stadions aufgehängt ist.
Ein viertes Ziel ist ein Ort auf dem Spielfeld 102, der zeigt,
an welcher Stelle ein Team überqueren
muß, um
einen ersten Down zu bekommen. Obwohl der Fernsehsender das Videobild,
wie vorstehend erörtert
ist, hervorheben kann, sehen die Beobachter und Spieler im Stadion
keine dieser Hervorhebungen. Sie sehen das Stadion eher so, wie
es in 1 dargestellt
ist.
-
2 zeigt die Ansicht aus 1, wie sie von den Zuschauern
der Fernsehübertragung
gesehen wird, nachdem Hervorhebungen an dem Bildsignal durchgeführt wurden.
Eine Werbung AD2 ist an derselben Stelle, an der die Werbung AD1
in 1 war. Somit ersetzt
die Werbung AD2 die Werbung AD1. Eine Werbung AD3 ist in der Endzone 108 gezeigt.
Die Werbung AD3 ersetzt keine weitere Werbung, da vor der Hervorhebung
keine Werbung in der Endzone 108 war. 2 zeigt ebenfalls eine Werbung AD4, die
für den
Fernsehzuschauer oberhalb des Stadions 100 aufgehängt erscheint.
In 2 ist ebenfalls eine
dicke Linie 110 gezeigt, die das Hervorheben des Teils
des Felds darstellt, das die Mannschaft, die in der Offensive ist, überqueren
muß, um einen
ersten Down bei einem bestimmten Zeitpunkt während des Spiels zu erhalten.
Bei diesem konkreten Beispiel besteht das Hervorheben des Felds
aus einer fetten dicken Linie. Alternativen umfassen Linien mit
unterschiedlichen Farben, Schattierungen, eine Verwendung einer
Blinklinie, eine Änderung
der Helligkeit usw. Die Hervorhebung muß nicht eine Linie sein. Die
Hervorhebung kann auch irgendeine andere Form oder Grafik sein,
die geeignet ist. Daher umfaßt
zu Zwecken dieses Patents ein Hervorheben ein Bearbeiten eines Bilds,
ein Ersetzen eines Teils eines Bilds mit einem ande ren Bild, ein Überlagern eines
gesamten Bilds oder eines Teils des Bilds, ein Hervorheben bzw.
Beleuchten eines Bilds unter Verwendung irgendeines geeigneten Hervorhebungsverfahrens
oder ein Ersetzen eines Bilds mit einem Bildsignal.
-
3 zeigt ein Blockdiagramm
einer Untermenge der Komponenten, die die Erfindung ausmachen. Die
in 3 gezeigten Komponenten
sind typischerweise bei einer Kamerastation in dem Stadion angeordnet,
sie können
jedoch auch an anderen geeigneten Orten angeordnet sein. Eine Sendekamera 140 erfaßt einen
Rahmen eines Bildsignals, der zu einem Produktionszentrum gesendet
wird, wie durch das Signal BC1 gezeigt ist. Die Sendekamera 140 hat
eine Zoomlinse bzw. ein Zoomobjektiv, das einen 2X-Expander (Bereichsextender)
umfaßt.
Mit der Sendekamera 140 ist ein 2X-Expander/Zoom/Fokus-Sensor 152 (insgesamt
ein „Zoomsensor") verbunden, der
den Zoom in der Kamera, die Brennweite der Kameralinse und ob der
2X-Expander verwendet wird aufnimmt. Die analoge Ausgabe des Sensors 152 wird
zu einem Analog-Digital-Wandler 154 gesendet,
der das analoge Signal in ein digitales Signal wandelt und das digitale
Signal zu einem Prozessor 156 überträgt. Eine Alternative umfaßt ein Verwenden
eines Zoomsensors mit einer digitalen Ausgabe, der den Bedarf an
einem Analog-Digital-Wandler 154 vermeiden würde. Die
Sendekamera 140 ist auf einem Dreifuß bzw. einem Stativ 144 angebracht,
das Schwenk- und Neigungsköpfe
aufweist, die ermöglichen,
daß die
Sendekamera 140 schwenkt und sich neigt. An das Stativ 144 sind Schwenksensoren 146 und
Neigungssensoren 148 angebracht, die beide mit einer Schwenk-Neigungselektronik 150 verbunden
sind. Alternativ dazu kann die Sendekamera 140 eine eingebaute
Schwenk- und Neigungseinheit aufweisen. Bei beiden Konfigurationen
sind der Schwenksensor 146, der Neigungssensor 148 und
der Zoomsensor 152 mit der Sendekamera 140 gekoppelt,
da diese Da ten aufnehmen können,
die die Verschwenkung, Neigung und den Zoom der Sendekamera 140 repräsentieren.
-
Der
Prozessor 156 ist ein Intel-Pentium-Prozessor mit unterstützender
Elektronik. Es können
jedoch auch verschiedene andere Prozessoren ersatzweise eingesetzt
werden. Der Prozessor 156 umfaßt auch einen Speicher und
einen Plattentreiber, um Daten und Software zu speichern. Der Prozessor 156 ist
ergänzend
zu der Verbindung mit der Schwenk-Neigungselektronik 150 und
dem Analog-Digital-Wandler 154 in Verbindung (über ein
Signal CB1) mit einem Produktionszentrum, das nachfolgend beschrieben
ist.
-
Bei
einer Ausführungsform
sind der Schwenksensor 146 und der Neigungssensor 148 optische
Codierer, die ein Signal ausgeben, das als eine Anzahl von Klicks
gemessen ist, die die Drehung eines Schafts kennzeichnet. Vierzigtausend
(40.000) Klicks repräsentieren
eine volle 360°-Drehung.
Somit kann ein Prozessor die Anzahl der gemessenen Klicks durch
40.000 dividieren und mit 360 multiplizieren, um den Schwenk- oder
Neigungswinkel in Graden zu bestimmen. Die Schwenk- und Neigungssensoren
verwenden eine Standardtechnik, die bekannt ist, und können durch
andere geeignete Schwenk- und Neigungssensoren ersetzt werden, die
den Fachleuten in dem relevanten Gebiet bekannt sind. Die Schwenk-Neigungselektronik 150 empfängt die
Ausgabe des Schwenksensors 146 und des Neigungssensors 148,
wandelt die Ausgabe in ein digitales Signal (das die Schwenkung
und Neigung repräsentiert)
und überträgt das digitale
Signal zu dem Prozessor 156. Die Schwenk-, Neigungs- und
Zoomsensoren werden verwendet, um das Bildfeld der Sendekamera zu
bestimmen. Daher kann ein oder mehrere der Schwenk-, Neigungs- und
Zoomsensoren als ein Bildfeldsensor bzw. als Bildfeldsensoren bezeichnet
werden. Wenn bspw. eine Kamera nicht fokussieren oder sich nicht
neigen könnte,
würde ein
Bildfeldsensor lediglich einen Schwenksensor umfassen.
-
Ein
alternativer Bildfeldsensor enthält
Plazierungsmarkierungen an verschiedenen bekannten Orten in dem
Stadion, so daß jede
Markierung unterschiedlich aussieht und zumindest eine Markierung immer
für die
Kamera sichtbar ist, während
die Kamera zu den relevanten Teilen des Stadions gerichtet ist.
Ein Computer, der eine Mustererkennungstechnik verwendet, kann die
Markierung in einem Rahmen eines Bildsignals finden und basierend
auf der Größe und Position
der Markierung in dem Rahmen des Bildsignals exakter das Bildfeld
und/oder die Schwenkung, Neigung oder den Zoom der Kamera bestimmen.
Ein System kann ebenfalls eingerichtet sein, die Schwenk-/Neigungs-/Zoomsensoren
in Kombination mit den vorstehend beschriebenen Markierungen zu
verwenden, so daß Schwenkung/Neigung/Zoom
verwendet werden kann, um eine grobe Abschätzung zu geben, wohin die Kamera
ausgerichtet ist und die Markierung wird verwendet, um eine genauere
Abschätzung
zu erreichen. In einem solchen Kombinationssystem müssen die
Markierungen nicht unterschiedlich aussehen, wenn die Plazierung
der Markierungen vorbestimmt ist. Eine weitere Alternative umfaßt ein Plazieren
von Infrarotemittern oder Signalgebern entlang dem Umfang des Spielfelds
oder anderen Teilen des Stadions. Ein Computer kann, basierend auf
dem Ort des Signals, in dem Datenrahmen des Infrarotsensors ein
Bildfeld des Infrarotsensors bestimmen. Wenn der Infrarotsensor auf
einer Sendekamera angebracht ist, bestimmt ein Bestimmen der Schwenkung
und der Neigung des Infrarotsensors die Schwenkung und Neigung der
Sendekamera zuzüglich
einer bekannten Versetzung. Eine ausführlichere Erläuterung
der Verwendung einer Infrarottechnik, von Schwenk-/Neigungs-/Zoomsensoren,
einer dreidimensionalen Ortungstechnik und einer Bildsignalhervorhebung
kann in der US-Patentanmeldung Nr. 08/585,145, „A System For Enhancing The
Television Presentation Of An Object At A Sporting Event (System
zum Hervorheben der Fernsehdarstellung eines Objekts bei einem Sportereignis),
die unter WO-A-97/02699 veröffentlicht
ist, gefunden werden.
-
3 zeigt eine zweite und
optionale Kamera, die als bestimmte Kamera 142 bezeichnet
ist. Die bestimmte Kamera 142 ist auf einem Stativ 157 angebracht.
Bei einer Ausführungsform
umfaßt
das Stativ 157 einen optionalen Schwenksensor 158 und einen
optionalen Neigungssensor 160, die beide in Verbindung
mit einer Schwenk-/Neigungselektronik 150 sind. Wie nachfolgend
erklärt
werden wird, ist bei einer Ausführungsform
die bestimmte Kamera bei einer Schwenk- und Neigungsposition eingestellt.
Daher werden Schwenk- und Neigungssensoren nicht benötigt. Die
Ausgabe der bestimmten Kamera 142 ist das Kamerasignal
DC1, das zu dem nachfolgend beschriebenen Produktionszentrum übermittelt
wird. Die vorliegende Erfindung führt ihre Funktion ohne Verwendung
einer bestimmten Kamera 142 aus. Die bestimmte Kamera 142 verbessert
jedoch die Fähigkeit
des Systems, Okklusionen zu berücksichtigen. Die
bestimmte Kamera 142 sollte im wesentlichen neben der Sendekamera 140 angeordnet
sein. Das bedeutet, daß die
bestimmte Kamera 142 so nahe wie möglich bei der Sendekamera 140 sein
sollte, so daß beide
einwandfrei funktionieren, da ihre optischen Achsen so nahe wie
praktisch möglich
sind. Somit sollten, wenn beide Kameras auf dasselbe Objekt fokussiert
sind, ihre Schwenk- und Neigungswinkel äußerst ähnlich sein. Bei verschiedenen
Alternativen könnte
jede Sendekamera mit mehr als einer bestimmten Kamera verbunden
sein. Um die Durchführung
weiter zu verbessern, würde
jede Sendekamera eine Mehrzahl von bestimmten Kameras enthalten,
eine bestimmte Kamera für
jedes mögliche Ziel,
das die Sendekamera betrachten wird.
-
4 zeigt ein Blockdiagramm
des Produktionszentrums. Typischerweise ist das Produktionszentrum
in einem Lkw aufgenommen, der außerhalb des Stadions parkt.
Das Produktionszentrum kann jedoch bei einem Zentralbüro sein
oder die Komponenten des Produktionszentrums können über mehrere Orte verstreut
sein. Das Herz des Produktionszentrums ist ein Prozessor 200.
Der bevorzugte Prozessor 200 ist ein Onyxcomputer von Silcon
Graphics. Es können
jedoch verschiedene andere geeignete Prozessoren oder Kombinationen
von Prozessoren die notwendigen Funktionen der vorliegenden Erfindung
ausführen.
Der Prozessor 200 ist in Verbindung mit einer Video- bzw.
Bildsignalsteuerung 202, einem Videomischer 240 und
einem Multiplexer 206. Bei einer Alternative umfaßt der Prozessor 200 mehr
als einen Prozessor. Der Prozessor 200 könnte bspw.
zwei Onyxcomputer enthalten, einen zum Lokalisieren des Ziels und
einen zum Bestimmen von Okklusionen.
-
Sender
verwenden viele Sendekameras in einem Stadion, um ein Sportereignis
im Fernsehen zu übertragen.
Die Videosignale von den verschiedenen Kameras werden zu der Videosteuerung 220 gesendet,
die verwendet wird, um eine Sendekamera für eine Übertragung zu den Zuschauern
auszuwählen.
Eine Ausführungsform
der Videosteuerung 202 enthält eine Mehrzahl von Monitoren
(ein Monitor für jedes
Videosignal) und einen Auswahlschaltkreis. Ein Regisseur (oder Verwalter,
Produzent usw.) kann die verschiedenen Videosignale betrachten bzw. überwachen
und wählen,
welches Signal zu senden ist. Die Wahl würde zu dem Auswahlschaltkreis übermittelt
werden, der ein Kamerasignal zum Senden auswählt. Die Wahl wird ebenfalls
zu dem Prozessor 200, dem Videomischer 204 und
dem Multiplexer 206 über
ein Signal 208 übermittelt.
Das ausgewählte
Videosignal wird zu einem Verzögerungsglied 210 und dem
Prozessor 200 über
einen Analog-Digital-Wandler 212 gesendet.
Falls die Sendekamera eine Digitalkamera ist, wird kein Analog-Digital-Wandler 212 benötigt.
-
Die
Ausgabe des Verzögerungsglieds 210 wird
zu einer Videomodifikationseinheit 214 gesendet. Der Zweck
des Verzögerungsglieds 210 ist
es, das Sendevideosignal um eine feste Anzahl von Rahmen zu verzögern, um
dem Prozessor 200 Zeit zu geben, um Daten zu empfangen,
die Position des Ziels in dem Videorahmen zu bestimmen und irgendwelche
Hervorhebungen zu bereiten. Obwohl das Bildsignal eine kleine Anzahl
von Rahmen verzögert ist,
ist das Fernsehsignal noch als ein Direkt- bzw. Livesignal definiert.
Die durch das System eingeführte
Verzögerung
ist eine geringe Verzögerung
(weniger als eine Sekunde), die nicht anwächst. Das bedeutet, daß unterschiedliche
Videorahmen mit derselben kleinen Verzögerung hervorgehoben sind. Bspw.
ist eine Zehn-Rahmen-Verzögerung gleich
einer Drittelsekunde, was nicht als eine signifikante Verzögerung für eine Fernsehübertragung
betrachtet wird.
-
Der
Videomischer 204 empfängt
die Videosignale von allen der bestimmten Kameras. 4 zeigt Signale DC1 und DC2. Das Signal
DC1 ist eine bestimmte Kamera, die der Sendekamera BC1 zugeordnet
ist. Wenn die Videosteuerung 202 BC1 auswählt, dann
wird diese Auswahl zu dem Videomischer 204 übermittelt,
der DC1 auswählt.
Wie vorstehend erörtert
wurde, ist in Betracht zu ziehen, daß einige Alternativen ein Bereitstellen
vieler bestimmter Kameras für
eine Sendekamera umfassen. Bspw. kann eine Sendekamera vier bestimmte
Kameras haben. In diesem Fall würden
die bestimmten Kameras mit DC1a, DC1b, DC1c und DC1d bezeichnet
sein. Wenn die Sendekamera BC1 ausgewählt ist, wählt der Videomischer 204 alle
vier bestimmten Kameras DC1a, DC1b, DC1c und DC1d aus. Das ausgewählte Signal
bzw. die ausgewählten
Signale von dem Videomischer 204 werden zu einem Analog-Digital-Wandler 216 gesendet,
der das bzw. die Videosignale digitalisiert und das bzw. die digitalen
Signale zu dem Prozessor 200 sendet.
-
Der
Multiplexer 206 empfängt
Signale von den Prozessoren an jeder der Kamerapositionen. Bspw.
zeigt 4 den Multiplexer 206,
der ein Signal CB1 von dem Prozessor 156 aus 3 empfängt. Jedes der Prozessorsignale
(CB1, CB2, ...) ist einer Sendekamera zugeordnet. Somit wird die
Auswahl durch die Videosteuerung 202 zu dem Multiplexer 206 übermittelt,
so daß der
Multiplexer 206 das entsprechende Signal zu dem Prozessor 200 senden kann.
Das von dem Multiplexer 206 zu dem Prozessor 200 gesendete
Signal umfaßt
die Information von den Bildfeldsensoren. Bei einer Ausführungsform
berechnet der Prozessor 156 das Bildfeld und sendet die
sich ergebende Information über
den Multiplexer 206 zu dem Prozessor 200. Bei
einer weiteren Ausführungsform
empfängt
der Prozessor 200 die Daten über den Multiplexer 206 und
bestimmt das Bildfeld. Beide Alternativen sind für die vorliegende Erfindung geeignet.
-
Der
Prozessor 200 ist mit einem Speicher 220 verbunden,
der die Positionen der Ziele und Bilder der Ziele (oder zumindest
Teilbilder) speichert. Der Speicher 220 speichert ebenfalls
Bilder der Austauschgrafiken, Instruktionen zum Erzeugen von Austauschgrafiken
und/oder Instruktionen zum Hervorheben, Bearbeiten usw. Der Speicher 200 ist
mit seinen Daten geladen und wird durch einen Prozessor 222 betrieben.
Die Erfinder erwägen,
das während
des Betriebs dieses Systems der Prozessor 200 zu beschäftigt sein
wird, um Rechenzeit zum Laden und Betreiben des Speichers 220 zu
verwenden. Daher wird ein separater Prozessor 222 verwendet,
um den Speicher während
des Betriebs zu beladen und zu betreiben. Falls Kosten zu beachten
sind, kann der Prozessor 222 weggelassen werden und der
Prozessor 200 zum Laden und Betreiben des Speichers 220 verwendet
werden. Für
einen optimalen Betrieb sollte der Speicher 220 jedoch
vor dem Senden, wenn dies möglich
ist, beladen werden.
-
Die
Bilder und Orte der Ziele können
in den Speicher 220 entweder manuell oder automatisch geladen
werden. Wenn das Bild und der Ort des Ziels bspw. im voraus bekannt
sind, (bspw. eine Werbung in dem Stadion) dann kann ein Bediener
den Ort des Ziels vor dem Echtzeitbetrieb des Systems eingeben und
ein Bild des Ziels einscannen (oder anderenfalls herunterladen).
Alternativ kann der Bediener eine oder mehrere Kameras auf das Ziel
ausrichten und einen Maus, einen Lichtstift oder eine andere Zeigevorrichtung
verwenden, um das Zielbild zum Speichern in dem Speicher 220 auszuwählen. Der
Ort des Ziels kann durch physikalische Messung, eine Verwendung
von Schwenk/Neigungs/Zoomsensoren usw. bestimmt werden. Wenn das
Ziel nicht im voraus bekannt ist, (wenn bspw. das Ziel die Yardlinie des
ersten Downs ist) dann kann der Bediener das Ziel während des
Betriebs unter Verwendung einer Zeigevorrichtung auswählen und
das System wird das Bild des Ziels und dessen Ort (unter Verwendung von
Schwenk-/Neigungs-/Zoomdaten) in den Speicher 220 runterladen.
Alternativ kann das System programmiert sein, um zu wissen, daß das Ziel
eines aus einer Reihe von möglichen
Zielen ist. Bspw. kann das System programmiert sein zu wissen, daß das Ziel
eine Yardlinie ist und der Bediener muß lediglich eingeben, welche
Yardlinie das gegenwärtige
Ziel ist. Die Austauschgrafiken sind in den Speicher geladen, nachdem
diese digitalisiert und heruntergeladen sind oder die Austauschgrafiken
können
mit dem Prozessor 222 erzeugt werden. Instruktionen zum
Hervorheben oder Erzeugen von Austauschgrafiken können unter
Verwendung des Prozessors 222 oder des Prozessors 200 programmiert
sein.
-
Der
Prozessor 200 ist mit einer Videomodifikationseinheit 214 verbunden.
Die Ausgabe der Videomodifikationseinheit 214, die als
Signal 226 bezeichnet ist, ist das zum Senden vorgesehene
Videosignal. Dieses Signal kann direkt gesendet werden oder zu einer
anderen Hardware für
eine weitere Modifikation oder ein Aufzeichnen gesendet werden.
Die Videomodifikationseinheit 214 modifiziert das Videosignal
von dem Verzögerungsglied 210 mit
den Daten bzw. dem Signal von dem Prozessor 200. Der Typ der
Modifikation kann in Abhängigkeit
des gewünschten
grafischen Ergebnisses verändert
werden. Eine beispielhafte Implementierung verwendet einen linearen
Schlüssel
bzw. ein lineares Tastgerät
als eine Videomodifikationseinheit 214. Beim Nutzen eines Tastgerätes bzw.
einer Verschlüsselung
umfaßt
das Signal von dem Videoprozessor 200 zu der Verschlüsselung
zwei Signale: YUV und einen externen Schlüssel (alpha). Das YUV-Signal
wird Vordergrund und das Signal von dem Verzögerungsglied 210 Hintergrund
genannt. Basierend auf dem Grad des externen Schlüssels bestimmt
die Verschlüsselung
wieviel des Vordergrunds und des Hintergrunds zu mischen sind, um
das Ausgabesignal zu bestimmen, von 100 Prozent Vordergrund und
0 Prozent Hintergrund zu 0 Prozent Vordergrund und 100 Prozent Hintergrund
auf einer Pixel-zu-Pixel-Basis. Alternativ kann die Videomodifikationseinheit 214 ein
weiterer Prozessor sein oder die Videomodifikationseinheit 214 kann
ein Teil des Prozessors 200 sein.
-
Im
Betrieb bestimmt der Prozessor 200 das Bildfeld der ausgewählten Sendekamera
und überprüft den Speicher 220,
um zu sehen, ob irgendwelche Ziele innerhalb dieses Bildfelds sind.
Ist dies der Fall, dann bestimmt der Prozessor 200 die
exakte Position des Ziels in einem Videorahmen durch Bestimmen,
welche Pixel bzw. Bildpunkte das Ziel repräsentieren. Der Prozessor 200 überprüft dann
den Speicher 220 für
die Austauschgrafik oder für
Instruktionen, um eine Austauschgrafik zu machen (oder Hervorzuheben).
Ist als Austauschstrategie vorgesehen, einen bestimmten Teil eines
Felds hervorzuheben, dann kann der Speicher 220 Instruktionen
zum Ändern
der Farbe eines bestimmten Teils des Felds, zum Schattieren eines
bestimmten Teils des Felds usw. umfassen. Basierend auf der Schwenkung,
Neigung und dem Zoom sowie dem tatsächlichen Bild des Ziels bestimmt
der Prozessor 200 die Größe und Orientierung der Austauschgrafik
(auch als Mapping bzw. Abbildung bezeichnet). Bei einer Ausführungsform
umfaßt
die Hervorhebung den Prozessor 200, der einen Videorahmen
mit einer Grafik bei der Position der Hervorhebung erzeugt. Der
durch den Prozessor 200 erzeugte Rahmen wird zu der Videomodifikationseinheit 214 gesendet,
die den Rahmen von dem Prozessor 200 mit dem Rahmen von
dem Verzögerungsglied 210 kombiniert.
Wie nachstehend erläutert
wird, wird der Prozessor ebenfalls zur Berücksichtigung von Okklusionen
verwendet. Eine alternative Ausführungsform
umfaßt
ein Ausschließen
der separaten Videomodifikationseinheit und ein Verwenden des Prozessors 200,
um das Videosignal von der ausgewählten Sendekamera zu bearbeiten.
-
5 zeigt ein Flußdiagramm,
das den Ablauf der vorliegenden Erfindung erklärt. In Schritt 300 werden
Videodaten von einer Sendekamera erfaßt und digitalisiert. Wenn
die Sendekamera eine Digitalkamera ist, ist ein Digitalisieren nicht
notwendig. Gleichzeitig mit Schritt 300 werden Schwenk-,
Neigungs- und Zoomdaten (Bildfelddaten) in einem Schritt 302 aufgenommen
und das Bildfeld wird in Schritt 304 bestimmt. In Schritt 306 bestimmt
der Prozessor 200, ob irgendeines der Ziele innerhalb des Bildfelds
liegt. Der Speicher 200 (in 4 dargestellt) umfaßt eine
Datenbank. Bei einer alternativen Ausführungsform speichert die Datenbank
die dreidimensionalen Positionen aller Ziele. Das Bildfeld einer Sendekamera
kann als eine Pyramide verstanden werden, deren Ort und Dimensionen
basierend auf den Bildfelddaten bestimmt sind. Nach Bestimmen der
Dimensionen und Orte der Pyramide kann der Prozessor 200 auf
den Speicher 220 zugreifen, um zu bestimmen, ob irgendeines
der Ziele innerhalb der Pyramide liegt. Schritt 306 ist
eine schnelle Methode zum Bestimmen, ob ein Ziel innerhalb des Bildfelds der
Kamera liegt. Ist dies nicht der Fall, ist der Prozeß abgeschlossen
und das System wartet bis zum nächsten
Datenrahmen. Liegt ein Ziel innerhalb des Bildfelds der ausgewählten Sendekamera,
muß die exakte
Position des Ziels innerhalb des Rahmens des Bildsignals der ausgewählten Sendekamera
bestimmt werden.
-
Vorzugsweise
ist der Schritt des Bestimmens der Position des Ziels ein Zwei-Schritte-Prozess.
In dem ersten Schritt (Schritt 308) wird eine grobe Abschätzung basierend
auf den Schwenk-, Neigungs- und Zoomwerten durchgeführt und
in dem zweiten Schritt wird die Abschätzung der Position des Ziels verbessert
(Schritt 310). Unter Berücksichtigung von Schritt 308 kann
durch Wissen, wo die Kamera hingerichtet ist und des dreidimensionalen
Orts des Ziels, die Zielposition in dem Videorahmen bestimmt werden.
Die Genauigkeit von Schritt 308 wird durch die Genauigkeit
der Schwenk/Neigungs/Zoomsensoren, der zum Bestimmen des Bildfelds
verwendeten Software und der Stabilität der Plattform, auf der die Kamera
angebracht ist, festgelegt. In manchen Fällen bieten die Schwenk-, Neigungs-
und Zoomdaten lediglich eine grobe Abschätzung 308 (bspw. einen Positionsbereich
oder ein allgemeines Gebiet der Position) und Schritt 310 wird
benötigt,
um eine genauere Position zu bestimmen.
-
Schritt 310 stellt
eine genauere Bestimmung der Zielposition unter Verwendung einer
Mustererkennungstechnik, die im Stand der Technik bekannt ist, bereit.
Ein Beispiel einer bekannten Mustererkennung und Bildverarbeitungstechnik
kann in den folgenden Dokumenten gefunden werden. US-Patentschrift Nr.
3 973 239, Pattern Preliminary Processing System; US-Patentschrift
Nr. 4 612 666, Automatic Pattern Recognition Apparatus; US-Patentschrift
Nr. 4 674 125, Real-Time Hierarchal Pyramid Signal Processing Apparatus;
US-Patentschrift Nr. 4 817 171, Pattern Recognition System; US-Patentschrift
Nr. 4 924 507, Real-Time Optical Multiple Object Recognition and
Tracking System and Method; US-Patent
Nr. 4 950 050, Optical Target Recognition System; US-Patent Nr.
4 995 090, Optoelectronic Pattern Comparison System; US-Patent Nr.
5 060 282, Optical Pattern Recognition Architecture Implementing The
Mean-Square Error Correlation Algorithm; US-Patent Nr. 5 142 590,
Pattern Recognition System, US-Patent Nr. 5 241 616, Optical Pattern
Recognition System Utilizing Resonator Array; US-Patent Nr. 5 274
716, Optical Pattern Recognition Apparatus; US-Patent Nr. 5 465
308, Pattern Recognition System; US-Patent Nr. 5 469 512, Pattern
Recognition Device und US-Patent Nr. 5 524 065, Method and Apparatus
For Pattern Recognition.
-
In
Schritt 312 ruft der Prozessor 200 die Austauschgrafik
von dem Speicher 220 ab. Wenn der Speicher 220 Instruktionen
für Austauschgrafiken speichert,
dann ruft der Prozessor 200 die Instruktionen ab und erzeugt
die Grafik. Ein Erzeugen der Grafik kann bspw. ein Zeichnen einer
Hervorhebung für die
Yardlinie eines Fußballfelds
umfassen. In Schritt 314 bestimmt der Prozessor 200 die
Größe und Orientierung
des Austauschbilds und bildet das Austauschbild auf den Videorahmen
ab. Der Speicher 220 speichert lediglich ein Größenbild.
Aufgrund der Schwenkung, Neigung und dem Zoom der Sendekamera kann
das in dem Speicher 220 abgelegte Bild möglicherweise
auf den Videorahmen abgebildet werden (bspw. vergrößert, verkleinert,
gedreht, mit Winkel usw.). Der Prozessor 200 kann die Orientierung
basierend auf den Bildfelddaten und/oder der Mustererkennungsanalyse
in Schritt 310 bestimmen. Durch Kenntnis davon, wo die
Sendekamera angeordnet ist und Kenntnis der Schwenkung, Neigung und
des Zooms der Sendekamera, kann ein Computer bspw. programmiert
sein zu berechnen, wie das Austauschbild abzubilden ist oder auf
dem Videorahmen hervorzuheben ist.
-
In
Schritt 316 berücksichtigt
das System Okklusionen. Wenn ein Objekt oder Person vor dem Ziel ist,
dann sollte das hervorgehobene Bildsignal das Objekt oder die Person
vor der Austauschgrafik zeigen, hervorheben usw. Bei einer Ausführungsform schneidet
das System eine Silhouette in der Form des Objekts oder der Person
von dem Austauschbild aus. Schritt 316 ist unter Bezugnahme
auf 6 ausführlicher
erläutert.
-
In
Schritt 318 modifiziert das System das Bildsignal der ursprünglichen
Sendekamera. Wie vorstehend erläutert
ist, kann dies ein Erzeugen eines zweiten Videorahmens umfassen,
der ein Austauschbild enthält,
und ein Verwenden einer Verschlüsselung,
um den zweiten Videorahmen mit dem ursprünglichen Videorahmen zu kombinieren.
Alternativ kann ein Prozessor verwendet werden, um den Videorahmen
der Sendkamera zu bearbeiten. Es ist möglich, daß innerhalb eines gegebenen
Videorahmens mehr als ein Ziel ist. In diesem Fall können die Schritte 308 bis 318 für jedes
Ziel wiederholt werden oder die Schritte 308 bis 316 können für jedes
Ziel wiederholt werden und Schritt 318 kann lediglich einmal
für alle
Ziele durchgeführt
werden. Nach Schritt 318 kann der hervorgehobene Videorahmen
gesendet oder gespeichert werden und der Prozeß (Schritt 300 bis 318)
kann für
einen weiteren Videorahmen wiederholt werden.
-
6 zeigt ein detaillierteres
Flußdiagramm, das
erklärt,
wie das System Okklusionen berücksichtigt.
Die in 6 beschriebenen
Schritte werden durch ein System aus geführt, das eine oder mehrere bestimmte
Kameras (bspw. bestimmte Kamera 142) umfaßt. Schritt 350 wird
vor Stattfinden des Liveereignisses durchgeführt. Bei einer Ausführungsform
ist eine bestimmte Kamera im wesentlichen neben einer Sendekamera
für jedes
Ziel angeordnet, das die Sendekamera sehen kann. Wenn bspw. drei Werbungen
vorgesehen sind, die in dem Stadion zu ersetzen sind und eine konkrete
Kamera zwei dieser Werbungen sehen kann, dann kann das System zwei bestimmte
Kameras im wesentlichen neben der konkreten Kamera umfassen. Vor
dem Spiel wird eine bestimmte Kamera direkt auf eines der Ziele
ausgerichtet, die Kamera wird so fokussiert, daß das Ziel einen beträchtlichen
Teil des Videorahmens der bestimmten Kamera ausfüllt und das Bild des Ziels
wird in dem Speicher 220 gespeichert. Ein beträchtlicher Teil
bedeutet, daß das
Ziel typischerweise so erscheint, daß es mehr als die Hälfte des
Videorahmens der bestimmten Kamera abdeckt. Für optimale Ergebnisse sollte
die bestimmte Kamera so fokussiert sein, daß das Ziel den größtmöglichen
Teil des Videorahmens ausfüllt,
während
es vollständig
innerhalb des Videorahmens bleibt, wenn es nicht erwünscht ist,
Hinweise auf die Szenerie um das Ziel herum zu bekommen. Nachdem
die bestimmte Kamera auf das Ziel ausgerichtet ist, bleiben ihre Schwenkung,
Neigung und ihr Zoom fest.
-
Sobald
die Fernsehübertragung
des Liveereignisses beginnt, werden Schritte 352 bis 362 für jeden
Rahmen wiederholt, für
den die Okklusionsanalyse gewünscht
ist. In Schritt 352 wird ein Videobild durch die bestimmte
Kamera erfaßt
und digitalisiert. Gleichzeitig wird ein Videobild durch die Sendekamera
erfaßt.
In Schritt 354 wird das von der bestimmten Kamera digitalisierte
Bild mit dem gespeicherten Bild des Ziels verglichen. Das gespeicherte Bild
ist in dem Speicher 220 abgelegt. Der Prozessor weiß aus Schritt 306 aus 5, welches gespeicherte
Bild zu vergleichen ist.
-
Der
Schritt des Vergleichens könnte
ein Ändern
eines der Bilder umfassen, so daß beide Bilder die gleiche
Größe und Orientierung
haben und dann ein Subtrahieren der Daten. Alternativ können andere
Verfahren zum Vergleichen verwendet werden. Gibt es eine Okklusion,
die das Ziel abdeckt (Schritt 356), dann sind die beiden
Bilder signifikant unterschiedlich und in Schritt 358 wird
eine Okklusion berichtet. Beim Berichten der Okklusion berichtet
das System die Anwesenheit einer Okklusion und teilt die Koordinaten
der Okklusion mit. Beim Durchführen des
Schritts 354 ist es möglich,
daß keine
Okklusion vorliegt, obwohl die beiden Bilder nicht genau gleich sind.
Die Unterschiede zwischen den Bildern müssen einen bestimmten minimalen
Schwellwert erreichen, um als eine Okklusion betrachtet zu werden.
Sind die Unterschiede nicht groß genug
für eine
Okklusion, dann bestimmt in Schritt 360 das System, daß die Unterschiede
durch Umgebungsbedingungen in dem Stadion begründet sind. Wenn bspw. die Lichter
abgeblendet wurden, kann das erfaßte Bild des Ziels dunkler
erscheinen. Wetterbedingungen können ebenfalls
eine Auswirkung auf die Erscheinung des Zielbilds haben. Wenn geringe
Unterschiede in Schritt 360 erfaßt werden, die nicht den Schwellwert für Okklusionen
erreichen, „lernt" das System die Änderungen
an dem Ziel durch Aktualisieren des gespeicherten Bilds des Ziels,
um die neue Beleuchtung oder neue Wetterbedingungen (Schritt 362)
widerzuspiegeln. Beispielsweise kann das neue gespeicherte Bild
des Ziels dunkler als das ursprüngliche
Bild sein. Nach dem Schritt 362 führt das System den Benachrichtigungsschritt 358 durch
und berichtet, daß keine
Okklusion gefunden wurde.
-
Eine
Alternative zu dem Verfahren aus 6 umfaßt ein Vergleichen
des Zielbilds von der Sendekamera mit dem gespeicherten Bild. Eine
Verwendung der Sendekamera ist jedoch nicht so vorteilhaft wie eine
Verwendung einer be stimmten Kamera, da es wahrscheinlich ist, daß die Sendekamera
nicht auf das Bild fokussiert ist. Somit ist das Zielbild bei der Sendekamera
wahrscheinlich kleiner als es bei der bestimmten Kamera sein wird.
Da ein kleines Bild zum Bearbeiten vorliegt, verliert das System
Subpixelgenauigkeit, die von der bestimmten Kamera erzielt wird.
Eine Verwendung einer getrennten bestimmten Kamera kann ebenfalls
die Geschwindigkeit erhöhen,
bei der das System Okklusionen berücksichtigt.
-
7 zeigt eine alternative
Ausführungsform
der vorliegenden Erfindung, die elektromagnetische Strahlung übertragende
Signalgeber bei oder nahe dem Ziel verwendet. Die Signalgeber übertragen
ein elektromagnetisches Signal, das für das menschliche Auge nicht
sichtbar ist. Elektromagnetische Wellen umfassen Licht, Radio, Röntgenstrahlen,
Gammastrahlen, Mikrowellen, Infrarotstrahlung, Ultraviolettstrahlung
und andere, die alle eine Ausbreitung von elektrischen und magnetischen
Feldern durch den Raum einbeziehen. Der Unterschied zwischen den
verschiedenen Typen von elektromagnetischen Wellen liegen in der
Frequenz oder der Wellenlänge.
Das menschliche Auge ist empfindlich für elektromagnetische Strahlung
mit Wellenlängen
von etwa 400 bis 700 nm. Dieser Bereich wird als Licht, sichtbares
Licht oder sichtbares Spektrum bezeichnet. Daher meint der Ausdruck „elektromagnetisches Signal,
das für
ein menschliches Auge nicht sichtbar ist" eine elektromagnetische Welle außerhalb
des sichtbaren Spektrums. Es ist wichtig, daß das von dem Signalgeber übermittelte
Bild für
das menschliche Auge nicht sichtbar ist, so daß die sichtbare Erscheinung
des Ziels sich nicht für
die Leute ändert, die
dem Liveereignis beiwohnen. Bei einer Ausführungsform ist der Signalgeber
ein elektromagnetischer Übertrager,
der Infrarotstrahlung abstrahlende Dioden umfaßt. Andere Quellen, die elektromagnetische
Wellen übertragen,
können
ebenfalls verwendet werden, bspw. Radioübertrager, Radarverstärker usw.
-
7 zeigt eine Sendekamera 400,
die ein Videosignal 402 ausgibt. Die Sendekamera 400 umfaßt eine
Zoomlinse, die mit einem Zoomdetektor 404 gekoppelt ist.
Die Ausgabe des Zoomdetektors 404 wird zu einem Analog-Digital-Wandler 406 übermittelt,
der die digitale Ausgabe zu dem Prozessor 408 sendet. Oben
an der Sendekamera 400 ist ein Sensor 410 angebracht.
Bei der Ausführungsform,
die einen Infrarotemitter als einen Signalgeber verwendet, ist der
Sensor 410 ein Infrarotsensor. Der Sensor 410 ist
derart oben auf der Sendekamera 400 angebracht, daß die optische
Achse des Sensors 410 so nahe wie möglich bei der optischen Achse
der Sendekamera ist. Es ist ebenfalls möglich, den Sensor 410 nahe
der Sendekamera 400 anzubringen, um Unterschiede zwischen
optischen Achsen unter Verwendung von Matrixtransformationen oder
anderen geeigneten mathematischen Methoden zu berücksichtigen.
-
Ein
Beispiel eines Infrarotsensors ist eine Vollrahmenverschlußkamera
mit fortschreitender Abtastung, bspw. die TM-9701 von Pulnix. Der
Pulnixsensor ist eine hochauflösende
768(H) durch 484 (V) Schwarzweiß-Vollrahmen-Verschlußkamera
mit einer asynchronen Rücksetzfähigkeit.
Die Kamera hat einen 8-Bit-Digitalsignalausgang und tastet fortschreitend
525 Linien bzw. Zeilen Videodaten ab. Ein Schmalbandinfrarotfilter
ist vor der Linse des Pulnixsensors befestigt. Der Zweck des Filters
ist es, elektromagnetische Signale abzuhalten, die außerhalb des
Spektrums des Signals des Signalgebers liegen. Der Sensor erfaßt einen
Videorahmen (Daten), der einen Pixelsatz umfaßt. Jeder Bildpunkt ist einer
Koordinate entsprechend einer x-Achse und einer y-Achse zugeordnet.
Die Sensordaten umfassen einen 8-Bit-Helligkeitswert für jeden
Bildpunkt, die aus Bildpunkt für
Bildpunkt zu einer Schnittstelle 412 entlang mit anderen
Zeitinformationen abgetastet werden. Die Schnittstelle 412 gibt
vier Signale aus: LDV, FDV, CK und DATA. LDV (line data valid: Liniendaten gültig) wird
zu einem X-Y Zähler 414 übertragen
und zeigt an, daß eine
neue Linie gültiger
Daten von dem Sensor 410 abgetastet wurden. FDV (frame
data valid: Rahmendaten gültig),
das zu dem X-Y Zähler 414 und
der Speichersteuerung 416 übertragen wird und zeigt an,
daß gültige Daten
für den
nächsten
Rahmen übertragen
wurden. CK (pixel clock: Bildpunkt Takt) ist ein 14,318 MHZ Takt
von dem Sensor 414, der zu dem X-Y Zähler 414 und der Speichersteuerung 416 gesendet
wird: Der X-Y Zähler 414 zählt X- und
Y-Koordinaten der Reihe nach, um dem Ort des Bildpunkts zu folgen,
dessen Daten zur gegenwärtigen Zeit
abgetastet wurden. Wenn LDV eingesetzt ist, wird der X Zähler zurückgesetzt,
Wenn FDV eingesetzt ist, wird der Y Zähler zurückgesetzt.
-
Das
Signal Daten (Data) umfaßt
einen 8-Bit-Datenwert für
jeden Bildpunkt. Wenn Daten von dem Sensor 410 gelesen
werden, bestimmt die Speichersteuerung 416, ob die Bildpunkte
einen Helligkeitsschwellwert erreichen. Das bedeutet, daß ein Rauschen
und andere Quellen eine große
Anzahl an Bildpunkten bewirken werden, um einige bzw. gewisse Daten
zu empfangen. Die Bildpunkte, die die Signale von dem Signalgeber
empfangen, haben aber zumindest ein minimales Helligkeitsniveau.
Der Helligkeitsschwellwert ist in einem Register (nicht dargestellt)
abgelegt, das durch den Prozessor 408 gesetzt werden kann.
Wenn die Daten für
einen bestimmten Bildpunkt oberhalb des Helligkeitsschwellwerts
liegen, sendet die Speichersteuerung 416 ein Schreiben
möglich
(write enable: WE) Signal zu dem Speicher 418, was bewirkt,
daß der
Speicher 418 die X- und Y-Koordinaten des Bildpunkts speichert,
die Daten für
diesen Bildpunkt und einen Code für diesen Bildpunkt. Der Code
zeigt an, daß die
Daten gültige Daten
sind, einen neuen Rahmen, ein Ende eines Rahmens oder ein Aufblinken.
Der Prozessor 408 kann die Daten aus dem Speicher 418 lesen
und die Daten lokal verarbeiten oder die Daten zu dem Produktionszentrum
(bspw. dem Multiplexer 206) übertragen.
-
Viele
Arenen gestatten es Fotografen nicht, Blitze an ihren Kameras zu
verwenden, um die Sicht eines Spielers von zufälligen Blitzen während eines Sportereignisses
nicht zu beeinträchtigen.
Anstelle von individuellen Kamerablitzgeräten installieren viele Arenen
eine Reihe von Taktblitzen bei oder in der Nähe der Decke der Arenen und
stellen eine Verbindung zwischen der Kamera jedes Fotografen und dem
Satz von getakteten Blitzen bereit. Wenn der Fotograf ein Bild aufnimmt,
strahlen die getakteten Blitze ein Blitzlicht aus, die eine elektromagnetische Welle
im infraroten Spektrum umfassen können. Bei einer Ausführungsform
vermeidet das System eine Verwendung fehlerhafter Daten aufgrund
von Sensoren, die einen Blitz durch Verwenden von Filtern erfassen.
Eine zweite Ausführungsform
verbindet ein Signal von einem getakteten Blitz zu einem Computer,
was bewirkt, daß das
System während
eines Blitzes erfaßte
Daten ignoriert. Eine dritte Ausführungsform umfaßt eine
Verwendung von Blitzdetektoren. Der Blitzdetektor kann irgendwo
in der Arena geeignet zum Aufnehmen eines Taktblitzes angeordnet sein. 7 zeigt einen Blitzdetektor 422,
der einen Blitz erfaßt
und ein Signal zu einer Speichersteuerung 416 sendet. Der
Blitzdetektor 422 umfaßt
einen Fotodetektor, der zumindest eine Fotodiode und einen Operationsverstärker aufweist.
Vor dem Fotodetektor würde
ein Filter sein, das ein Erfassen von Signalen in einem Spektrum
ermöglicht,
das die durch den Signalgeber ausgesendeten Signale umfaßt. Mit dem
Operationsverstärker
verbunden sind Komponenten, die Impulsflanken erfassen können.
-
Die
in 7 beschriebene Ausführungsform funktioniert ähnlich wie
die in 3 beschriebene Ausführungsform.
Einige der Unterschiede in der Funktion der beiden Ausführungsformen
sind in 8 dargestellt. Ähnlich der
in 3 dargestellten Ausführungsform
erfaßt
die Ausführungsform
aus 7 zunächst Videodaten
und digitalisiert diese. In einem Schritt 450 werden Infrarotdaten
empfangen. In Schritt 452 bestimmt das System durch Überwachen
der in dem Speicher 418 gespeicherten Daten, ob ein Ziel
in den Infrarotdaten gefunden wurde. Da die Speichersteuerung 416 lediglich
ermöglicht,
daß Daten
oberhalb eines Schwellwerts in dem Speicher 418 gespeichert
werden, wenn ein gegebener Rahmen von Daten von einem Sensor in
dem Speicher Bildpunktdaten speichert, wird dann ein Ziel gefunden.
Wenn ein Sensor falsche Ziele erfaßt, können verschiedene Fehlerkorrekturverfahren,
die im Stand der Technik bekannt sind, verwendet werden. In Schritt 454 wird
die Position des Ziels durch Lesen der X- und Y-Koordinaten, die
mit den Bildpunktdaten in dem Speicher 418 abgelegt sind,
in dem Videorahmen bestimmt. Schritt 456 verfeinert die
bestimmten Positionsinformationen des Ziels, um den Fehler der Kameraplattform
oder der Schwenk/Neigungs/Zoomsensoren zur berücksichtigen. Eine Alternative
zum Berücksichtigen
der Differenz in der optischen Achse besteht darin, eine Transformationsmatrix
zu verwenden. Andere mathematische Lösungen, die im Stand der Technik
bekannt sind, sind jedoch auch geeignet. Nach Schritt 456 kann
das System die Schritte 312 bis 318, wie unter
Bezugnahme auf 5 beschrieben
ist, durchführen.
Alle verwendeten Bildfelddaten basieren jedoch auf der Größe und Position
des Signalgebersignals in dem Sensorrahmen des Bildsignals.
-
Eine
weitere Alternative aus 7 umfaßt die Verwendung
einer Polarisierung. Das bedeutet, daß das Infrarotfilter auf dem
Sensor 410 durch ein Polarisationsfilter ersetzt wird oder
das dieses noch hinzugefügt
wird. Ein zu ersetzendes Ziel (bspw. eine Werbetafel) wird mit einem
spektralen Überzug
behandelt, der es lediglich polarisiertem Licht ermöglicht,
von der Werbetafel reflektiert zu werden. Das Filter und der spektrale Überzug sind
so ausgelegt, daß Licht,
das von der Werbetafel zu dem Sensor 410 reflektiert wird,
vollständig
ausgeblendet ist. Die Bildpunkte, die die Position des Ziels in
dem Sensorrahmen des Bildsignals repräsentieren, haben einen Helligkeitswert
Null oder nahe Null. Somit wird die Speichersteuerung 416 verwendet,
um lediglich einen Speicher zu speichern, der einen Helligkeitswert von
Null oder unter einem Schwellwert aufweist.
-
Die
vorstehende ausführliche
Beschreibung der Erfindung wurde zur Erläuterung und Beschreibung gegeben.
Sie ist nicht dafür
gedacht, vollständig zu
sein oder die Erfindung auf die exakte beschriebene Form zu beschränken. Offensichtlich
sind viele Modifikationen und Variationen im Lichte des vorstehend
Gelehrten möglich.
Die beschriebenen Ausführungsformen
des Systems zum Hervorheben der Übertragung
eines Direktereignisses wurden gewählt, um die Prinzipien der
Erfindung und ihre praktische Anwendung am besten zu erklären, um
anderen Fachleuten zu ermöglichen,
die Erfindung in verschiedenen Ausführungsformen und mit verschiedenen
Modifikationen, die für
eine konkrete Nutzung geeignet erscheinen, bestmöglich zu verwenden. Die Erfindung
ist somit dafür
gedacht, mit vielen verschiedenen Arten von Liveereignissen einschließlich verschiedener
Sportereignisse und nichtsportlicher Ereignisse verwendet zu werden.
Es ist vorgesehen, daß der
Bereich der Erfindung durch die beigefügten Ansprüche definiert ist.