DE69835321T2

DE69835321T2 - Vorrichtung und Verfahren zur Darstellung gemischter virtueller Realität, gemeinsam von mehreren Bedienungspersonen genutzt

Info

Publication number: DE69835321T2
Application number: DE69835321T
Authority: DE
Inventors: Toshikazu Nishi-ku Yokohama-shi Ohshima; Kiyohide Nishi-ku Yokohama-shi Sato; Hiroyuki Nishi-ku Yokohama-shi Yamamoto; Masakazu Nishi-ku Yokohama-shi Fujiki; Naosato Nishi-ku Yokohama-shi Taniguchi; Akihiro Nishi-ku Yokohama-shi Katayama
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1997-09-01
Filing date: 1998-03-24
Publication date: 2006-12-14
Anticipated expiration: 2018-03-25
Also published as: EP0899690B1; US20020084974A1; DE69835321D1; EP0899690A2; ATE334453T1; EP0899690A3; US6522312B2

Description

Die vorliegende Erfindung bezieht sich auf eine Darstellung gemischter Realität zur Darstellung für einen Benutzer oder eine Bedienperson von gemischter Realität, welche ein durch Computergrafiken erzeugtes virtuelles Bild in den realen Raum koppelt.
In den letzten Jahren wurden umfangreiche Studien über (nachfolgend als "MR" abzukürzende) gemischte Realität vorgenommen, welche auf eine nahtlose Kopplung eines realen Raums und eines virtuellen Raums gerichtet ist. MR hat eine weit verbreitete Anziehungskraft als eine Technik zur Verbesserung von (nachfolgend als "VR" abzukürzender) virtueller Realität für den Zweck einer Koexistenz des realen Raums und der VR-Welt erworben, welche nur in einer von dem realen Raum isolierten Situation erfahren werden kann.
Anwendungen von MR werden in neuen Gebieten erwartet, welche von bisher verwendeter VR qualitativ verschieden sind, wie beispielsweise eine Verwendung als medizinischer Assistent zur Darstellung des Zustands des Patientenkörpers für einen Arzt, als wenn durch ihn hindurchgesehen werden könnte, eine Verwendung als Arbeitsassistent zur Anzeige der Zusammenbauschritte eines Erzeugnisses für tatsächliche Teile in einer Fabrik, und dergleichen.
Diese Anwendungen erfordern alle eine Technik des Beseitigens von "Abweichungen" zwischen einem realen Raum und einem virtuellen Raum. Die "Abweichungen" können in eine Positionsabweichung, Zeitabweichung und qualitative Abweichung klassifiziert werden. Es wurden viele Versuche unternommen, die Positionsabweichung (d.h. Ausrichtung) als das grundlegendste Erfordernis unter den vorangehenden Abweichungen zu beseitigen.
Im Falle einer MR des Videodurchsichttyps, welche ein virtuelles Objekt bzw. Gegenstand auf ein durch eine Videokamera erfasstes Bild überlagert, reduziert sich das Ausrichtproblem auf eine akkurate bzw. genaue Bestimmung der dreidimensionalen Position dieser Videokamera.
Im Falle einer eine transparente kopfmontierte Anzeigeeinrichtung (HMD) verwendenden MR des optischen Durchsichttyps beläuft sich das Ausrichtproblem auf eine Bestimmung der dreidimensionalen Position des Benutzeransichtspunkts. Als ein Verfahren des Messens einer derartigen Position wird üblicherweise ein dreidimensionaler Positions-Azimuth-Sensor, wie beispielsweise ein magnetischer Sensor, ein Ultraschallwellensensor, ein Gyro bzw. Kreisel, oder dergleichen verwendet. Jedoch ist die Präzision derartiger Sensoren nicht ausreichend, und ihre Fehler erzeugen Positionsabweichungen.
Andererseits kann bei dem Videodurchsichtsystem ein Verfahren des direkten Ausrichtens eines Bildes auf der Grundlage von Bildinformationen ohne Verwendung derartiger Sensoren verwendet werden. Mit diesem Verfahren kann eine Ausrichtung präzise erzielt werden, da die Positionsabweichung direkt verarbeitet werden kann. Jedoch leidet dieses Verfahren unter anderen Problemen, d.h. es weist keine Echtzeitverarbeitung auf, und es hat eine geringe Zuverlässigkeit.
In den letzten Jahren wurden Versuche zur Realisierung einer präzisen Ausrichtung unter Verwendung von sowohl einem Positions-Azimuth-Sensor als auch von Bildinformationen berichtet, da sie ihre Schwächen bzw. Mängel gegenseitig kompensieren.
Als ein Versuch hat "Dynamic Registration Correction in Video-Based-Augmented Reality Systems" (Bajura Michael und Ulrich Neumann, IEEE computer Graphics and Applications 15, 5, Seiten 52-60, 1995) (welches nachfolgend als ein erstes Bezugsdokument bezeichnet wird) ein Verfahren des Korrigierens einer aus Magnetsensorfehlern entstehenden Positionsabweichung unter Verwendung von Bildinformationen bei einer MR des Videodurchsichttyps vorgeschlagen.
Außerdem hat "Superior Augmented Reality Registration by Integrating Landmark Tracking and Magnetic Tracking" (State Andrei et al., Proc. of SIGGRAPH 96, Seiten 429-438, 1996) (welches nachfolgend als ein zweites Bezugsdokument bezeichnet wird) ein das zuvor erwähnte Verfahren weiterentwickelndes Verfahren vorgeschlagen, welches eine Unklarheit bei einer Positionsabschätzung auf der Grundlage von Bildinformationen kompensiert. Das zweite Bezugsdokument setzt einen Grenzstein bzw. Markstein, dessen dreidimensionale Position bekannt ist, in einen realen Raum, um so eine beliebige Positionsabweichung an einem Bild zu beseitigen, welche durch Sensorfehler verursacht wird, wenn ein MR-Präsentationssystem des Videodurchsichttyps unter Verwendung nur eines Positions-Azimuth-Sensors aufgebaut ist. Dieser Markstein dient als ein Maßstab zur Erfassung der Positionsabweichung von Bildinformationen.
Umfasst die Ausgabe aus dem Positions-Azimuth-Sensor keine Fehler, muss ein (als Q₁ bezeichneter) Koordinatenpunkt des tatsächlich an dem Bild betrachteten bzw. beobachteten Marksteins mit einem (als P₁ bezeichneten) vorausgesagten Betrachtungskoordinatenpunkt des Marksteins, welcher aus der auf der Grundlage der Sensorausgabe erlangten Kameraposition berechnet wird, und der dreidimensionalen Position des Marksteins übereinstimmen.
In der Praxis stimmen jedoch Q₁ und P₁ nicht miteinander überein, da die auf der Grundlage der Sensorausgabe erlangte Kameraposition nicht akkurat ist. Die Abweichung zwischen der vorausgesagten Betrachtungskoordinate Q₁ und der Marksteinkoordinate P₁ repräsentiert die Positionsabweichung zwischen den Marksteinpositionen in dem virtuellen und realen Raum, und daher kann die Richtung und Größe der Abweichung durch Extrahieren der Marksteinposition aus dem Bild berechnet werden.
Auf diese Weise kann durch qualitative Messung der Positionsabweichung an dem Bild die Kameraposition zur Beseitigung der Positionsabweichung korrigiert werden.
Das einfachste Ausrichtverfahren, welches sowohl einen Positions-Azimuth-Sensor als auch ein Bild verwendet, ist eine Korrektur von Sensorfehlern unter Verwendung eines Punktes eines Marksteins, und das erste Bezugsdokument schlug ein Verfahren des Übersetzens oder Drehens der Kameraposition gemäß der Positionsabweichung des Marksteins an dem Bild vor.
1 zeigt das Grundkonzept einer Positionsabweichungskorrektur unter Verwendung eines Punkts eines Marksteins. Bei der folgenden Beschreibung sei es angenommen, dass die internen Parameter einer Kamera bekannt sind, und es wird ein Bild durch ein ideales Bilderfassungssystem erfasst, welches frei von beliebigen Einflüssen von Verzerrung und dergleichen ist.
Es seien C die Ansichtspunktposition der Kamera, Q_I die Betrachtungskoordinatenposition eines Marksteins an einem Bild, und Q_C die Marksteinposition in einem realen Raum. Dann ist der Punkt Q_I auf einer Linie l_Q vorhanden, welche die Punkte C und Q_C verbindet. Andererseits können aus der von dem Positions-Azimuth-Sensor gegebenen Kameraposition eine Marksteinposition P_C in dem Kamerakoordinatensystem und ihre Betrachtungskoordinatenposition P_I in dem Bild abgeschätzt werden. Bei der folgenden Beschreibung repräsentieren v₁ und v₂ jeweils dreidimensionale Vektoren von dem Punkt C zu den Punkten Q_I und P_I. Bei diesem Verfahren wird die Positionsabweichung durch Modifizieren relativer Positionsinformationen zwischen der Kamera und dem Objekt bzw. Gegenstand korrigiert, so dass eine korrigierte vorhergesagte Betrachtungskoordinatenposition P'_I des Marksteins mit Q_I übereinstimmt (d.h. auf der Linie l_Q ist eine korrigierte vorausgesagte Marksteinposition P'_C in dem Kamerakoordinatensystem vorhanden).
Nachfolgend wird ein Fall untersucht, bei welchem die Positionsabweichung des Marksteins durch Drehen der Kameraposition korrigiert wird. Diese Korrektur kann durch Modifizieren der Positionsinformationen der Kamera derart realisiert werden, dass sich die Kamera um einen Winkel q dreht, welchen die beiden Vektoren v₁ und v₂ miteinander bilden. Bei tatsächlichen Berechnungen werden durch Normalisieren der vorangehenden Vektoren v₁ und v₂ erlangte Vektoren v_1n und v_2n erlangt, ihr äußeres Produkt v_1n × v_2n wird als die Drehachse verwendet, ihr inneres Produkt v_1n·v_2n wird als der Drehwinkel verwendet, und die Kamera wird um den Punkt C gedreht.
Nachfolgend wird ein Fall untersucht, bei welchem die Positionsabweichung des Marksteins durch relative Bewegung der Kameraposition korrigiert wird. Diese Korrektur kann durch Bewegung der Objektposition in der virtuellen Welt um v = n(v₁ – v₂) realisiert werden. Es sei erwähnt, dass n ein Maßstabsfaktor ist, welcher definiert ist durch:
Es sei erwähnt, dass |AB| ein die Entfernung bzw. den Abstand zwischen Punkten A und B repräsentiert. In ähnlicher Weise kann eine Korrektur erzielt werden, indem die Positionsinformationen der Kamera derart modifiziert werden, dass die Kamera sich um –v bewegt. Dies gründet sich darauf, dass diese Manipulation äquivalent zu einer relativen Bewegung eines virtuellen Objekts bzw. Gegenstands um v ist.
Die zuvor erwähnten beiden Verfahren passen die Positionsabweichung an den Markstein zweidimensional an, können jedoch die Kameraposition nicht auf eine dreidimensional korrekte Position korrigieren. Sind Sensorfehler jedoch klein, können diese Verfahren ausreichende Wirkungen bzw. Effekte erwarten, und die zur Korrektur erforderlichen Berechnungskosten sind sehr gering. Daher sind diese Verfahren bei einer Echtzeitverarbeitung exzellent.
Jedoch betrachten die vorangehenden Bezugsdokumente keine gemeinschaftlichen Operationen bzw. Tätigkeiten einer Vielzahl von Bedienpersonen, und sie können nur ein Darstellungssystem gemischter Realität für eine einzige Bedienperson zur Verfügung stellen.
Da die in den Bezugsdokumenten beschriebenen Verfahren eine Koordinate des einzigen Marksteins innerhalb des erfassten Bildes erfassen müssen, haben sie somit Beschränkungen dahingehend, dass durch die Kamera immer eine spezifische Markierung als eine Marke zur Ausrichtung erfasst werden muss, wobei sie eine Betrachtung nur innerhalb eines begrenzten Bereichs zulassen.
Die vorangehende Beschränkung, welche sich aus einer Verwendung des einzigen Marksteins ableitet, ist für eine Konstruktion eines durch eine Vielzahl von Benutzern oder Bedienpersonen gemeinsam genutzten Raums gemischter Realität fatal.
"Fore-Screen Display and Manipulation for Virtual World Interaction" im IBM Technical Disclosure Bulletin, Band 36, 3. November, März 1993, Seiten 45-46 offenbart ein System, welches eine in die reale Welt eingebettete computererzeugte virtuelle Welt erstellt, so dass Objekte der realen Welt gemeinsam mit der virtuellen Welt genutzt werden können. Das System verwendet eine stereoskopische Vorbildschirmanzeigeeinrichtung, eine Benutzerpositions- und Bewegungserfassung, eine Computer-Modellbildung der Benutzerumgebung, um virtuelle Objekte zu erzeugen, welche für den Benutzer in Übereinstimmung mit realen, erreichbaren Objekten vor dem Bildschirm zu liegen scheinen. Das System erfasst die Bewegung der Hand des Benutzers und vereinfacht eine Manipulation der virtuellen Objekte durch die realen Hände des Benutzers. Das System unterstützt vielfache Benutzerinteraktion.
Die vorliegende Erfindung stellt eine Vorrichtung zur Darstellung gemischter Realität nach Anspruch 1 zur Verfügung.
Die vorliegende Erfindung stellt auch ein Verfahren zur Darstellung gemischter Realität nach Anspruch 4 zur Verfügung.
Die vorliegende Erfindung stellt ferner ein Computerprogrammprodukt nach Anspruch 7 zur Verfügung.
Optionale Merkmale sind in den anderen Ansprüchen dargelegt.
Bei einem Ausführungsbeispiel präsentiert eine Vorrichtung eine gemeinschaftliche bzw. gemeinsame Operation bzw. ein Zusammenwirken einer Vielzahl von Bedienpersonen durch gemischte Realität.
Bei einem Ausführungsbeispiel werden Bilddaten von einer Kamera verarbeitet, um die Position von durch die Bedienpersonen betriebenen bzw. bedienten individuellen Betätigungseinrichtungen bzw. Bedienteilen zu erfassen, mit dem Ergebnis, dass die Positionsbeziehung zwischen den Betätigungseinrichtungen der Bedienpersonen systematisch erkannt werden kann, und auf der Grundlage ihrer gemeinsamen Operation kann gemischte Realität ohne irgendeine Positionsabweichung präsentiert werden.
Bei einem Ausführungsbeispiel umfasst die Kamera alle Bedienpersonen innerhalb ihres Blickfelds bzw. Ansichtsfelds bzw. deckt sie ab, um die gemeinsame Operation durch alle Bedienpersonen zu verfolgen.
Um auf der Grundlage der gemeinsamen Operation gemischte Realität zu präsentieren, genügt eine Erfassung von einigen Operationen der Bedienpersonen. Aus diesem Grund gibt bei einem Ausführungsbeispiel die Betätigungseinrichtung Licht mit einer vorbestimmten Wellenlänge aus, und die Kamera ist für das Licht mit der vorbestimmten Wellenlänge empfindlich.
Bei einem Ausführungsbeispiel ist die Betätigungseinrichtung ein durch eine Hand der Bedienperson betriebener Schläger. Der Schläger kann leicht auf eine Umgebung gemischter Realität, wie beispielsweise ein Spiel, angewendet werden.
Bei einem Ausführungsbeispiel umfasst die Durchsichtanzeigevorrichtung eine optische Anzeigevorrichtung des lichtdurchlässigen Typs.
Bei einem Ausführungsbeispiel wird eine Kopfposition und eine Positur bzw. Körperhaltung jeder Bedienperson erfasst, und die Ansichtspunktposition wird gemäß der erfassten Kopfposition und -positur berechnet.
Um die dreidimensionale Positur des Kopfes jeder Bedienperson zu erfassen, wird vorzugsweise ein Magnetsensor verwendet. Daher wird bei einem Ausführungsbeispiel ein Geber (250) zur Erzeugung eines Wechselmagnetfelds, und ein an dem Kopfabschnitt jeder Bedienperson angebrachter Magnetsensor (220L, 220R) verwendet. Mit dieser Anordnung kann die dreidimensionale Positur des Kopfes jeder Bedienperson auf eine kontaktlose Weise erfasst werden.
Ein Ausführungsbeispiel umfasst eine Arbeitstabelle mit einer ersten Vielzahl von bei bekannten Positionen angeordneten Markierungen und eine Kamera, welche zum Einfangen bzw. Ermitteln von zumindest einer der ersten Vielzahl von Markierungen innerhalb eines Blickfelds der Kamera eingerichtet bzw. gesetzt ist. Dann kann die Erfassungsvorrichtung und das Erfassungsverfahren bei dem Ausführungsbeispiel eine Position und Positur der Bedienperson präzise korrigieren oder erfassen, auch wenn sich die Bedienperson innerhalb einer Umgebung großen Bereichs bzw. eines großen Umkreises bewegt, da es sichergestellt ist, dass zumindest eine Markierung in dem Bild durch die Kamera eingefangen wird.
Bei einem Ausführungsbeispiel sind die Markierungen derart angeordnet, dass eine Entfernung bzw. ein Abstand zwischen einer Markierung und einer anderen Markierung der Vielzahl von Markierungen in einer die Stirn der Bedienperson kreuzenden Richtung mit zunehmend weiterer Entfernung der Markierungen von der Bedienperson als größer gesetzt wird. Dies verhindert eine Verschlechterung der Präzision bei Identifikation einer Markierung.
Bei einem Ausführungsbeispiel sind die Markierungen derart angeordnet, dass eine Gestaltungsverteilungsdichte der Vielzahl von Markierungen in der Umgebung derart gesetzt wird, dass eine Dichteverteilung von sich weiter von der Bedienperson entfernt befindenden Markierungen geringer als eine Dichteverteilung von sich näher an der Bedienperson befindenden Markierungen gesetzt wird. Auch dies verhindert eine Verschlechterung einer Präzision bei Identifizierung einer Markierung.
Bei einem Ausführungsbeispiel führen eine Vielzahl von Bedienpersonen eine gemeinsame Operation durch, und Markierungen für eine Bedienperson haben dieselbe Repräsentationsweise. Beispielsweise haben die Markierungen für eine Bedienperson dieselbe Farbe. Dies vereinfacht es, Markierungen von denjenigen für jede andere Bedienperson zu unterscheiden.
Bei einem Ausführungsbeispiel verwendet die Erfassungseinrichtung eine Markierung, welche zuerst innerhalb eines durch die Kamera erlangten Bildes gefunden wird. Es ist nicht notwendig, weiter eine Markierung zu verfolgen. Es ist ausreichend, dass eine beliebige Markierung gefunden wird. Eine Verwendung einer ersten gefundenen Markierung vereinfacht es, eine Markierung zu suchen oder zu verfolgen.
Bei einem Ausführungsbeispiel durchsucht die Erfassungseinrichtung ein Bild einer gegenwärtigen Szene nach einer in einem Bild einer vorhergehenden Szene gefundenen Markierung. Dies stellt eine Kontinuität bei dem Aufspüren bzw. Verfolgen sicher.
Eine Erfassung von aufgespürten Markierungen kann in verschiedensten Koordinatensystemen vorgenommen werden. Bei einem Ausführungsbeispiel berechnet die Erfassungseinrichtung eine Koordinate der aufgespürten Markierung in einem Bildkoordinatensystem. Bei einem anderen Ausführungsbeispiel berechnet die Erfassungseinrichtung eine Koordinate der aufgespürten Markierung in einem Kamerakoordinatensystem.
Bei einem Ausführungsbeispiel wird die erste Vielzahl von Markierungen auf einem innerhalb der Umgebung angeordneten ebenen Tisch dargestellt. Dies ist für einen Fall geeignet, bei welchem die gemeinsame Operation an dem Tisch vorgenommen wird.
Die erste Vielzahl von Markierungen kann auf eine dreidimensionale Weise angeordnet sein. Dieser Aspekt ist für einen Fall geeignet, bei welchem Markierungen auf eine dreidimensionale Weise angeordnet sein müssen.
Bei einem Ausführungsbeispiel umfasst die Erfassungseinrichtung eine Identifikationseinrichtung zur Identifizierung einer Markierung, welche unter der ersten Vielzahl von Markierungen aufzuspüren ist.
Bei einem Ausführungsbeispiel, bei welchem die Erfassungseinrichtung eine zweite Vielzahl von Markierungen innerhalb eines Bildeinfangs bzw. einer Bildermittlung durch die Kamera erfasst, umfasst die Erfassungseinrichtung eine Einrichtung zur Auswahl einer unter der zweiten Vielzahl von Markierungen aufzuspürenden Markierung.
Bei einem Ausführungsbeispiel identifiziert eine Identifikationseinrichtung eine durch eine Auswahleinrichtung ausgewählte Markierung in Hinblick auf ein Bildkoordinatensystem.
Bei einem Ausführungsbeispiel identifiziert die Identifikationseinrichtung eine durch eine Auswahleinrichtung ausgewählte Markierung in Hinblick auf ein Weltkoordinatensystem.
Die Kamera kann vielzählige Kameraeinheiten umfassen. Dies ermöglicht es, eine Koordinate einer aufgespürten Markierung in einem Kamerakoordinatensystem zu erfassen. Folglich wird ein Fehler bei dem Positions-/Positursensor auf eine dreidimensionale Weise korrigiert. Wird ferner die aufgespürte Markierung in dem Weltkoordinatensystem identifiziert, können die vielzähligen Kameras mit den dreidimensional angeordneten Markierungen zurechtkommen. Darüber hinaus wird die Genauigkeit bei einer Identifikation einer gestreckten Markierung im Vergleich zu derjenigen bei dem Bildkoordinatensystem verbessert.
1 ist eine Ansicht zur Erläuterung des Prinzips einer Kamerapositionskorrektur, welche bei dem Stand der Technik und einem Ausführungsbeispiel der vorliegenden Erfindung zum Einsatz kommt;
2 ist eine Seitenansicht der Anordnung einer bei dem ersten Ausführungsbeispiel der vorliegenden Erfindung verwendeten Spielvorrichtung;
3 ist eine Ansicht zur Erläuterung einer Szene, welche innerhalb des Blickfelds des linken Spieles bei der in 2 gezeigten Spielvorrichtung gesehen werden kann;
4 ist eine Ansicht zur Erläuterung der Anordnung bzw. des Aufbaus einer bei der in 2 gezeigten Spielvorrichtung verwendeten HMD;
5 ist eine Ansicht zur Erläuterung des Layouts bzw. der Gestaltung von Markierungen, welche auf einen Tisch der in 2 gezeigten Spielvorrichtung gesetzt sind;
6 ist eine Ansicht zur Erläuterung eines Übergangs von Markierungen, welche in einem Bild umfasst sind, das durch eine an dem Kopf des Spieles angebrachte Kamera eingefangen wird, zusammen mit der Bewegung des Spieles auf dem in 5 gezeigten Tisch;
7 ist ein Blockschaltbild zur Erläuterung der Anordnung bzw. des Ausbaus einer dreidimensionalen Bilderzeugungsvorrichtung für die Spielvorrichtung des ersten Ausführungsbeispiels;
8 ist ein Flussdiagramm zur Erläuterung der Verarbeitungssequenz durch eine Schlägerpositionsmesseinheit des ersten Ausführungsbeispiels;
9 ist ein Flussdiagramm zur Erläuterung einer Unterroutine (örtliche Suche) der Verarbeitungssequenz durch die Schlägerpositionsmesseinheit des ersten Ausführungsbeispiels;
10 ist ein Flussdiagramm zur Erläuterung einer Unterroutine (globale Suche) der Verarbeitungssequenz durch die Schlägerpositionsmesseinheit des ersten Ausführungsbeispiels;
11 ist eine Ansicht zur Erläuterung einer Segmentierung der zu verarbeitenden Regionen, welche bei der Verarbeitung des in 8 gezeigten Flussdiagramms verwendet werden;
12 ist eine Ansicht des Verfahrens des Setzens der zu verarbeitenden Regionen, welche bei der Verarbeitung des in 8 gezeigten Flussdiagramms Verwendung finden;
13 ist eine Ansicht zur Erläuterung eines virtuellen Spielfelds bei dem Spiel des ersten Ausführungsbeispiels;
14 ist ein Flussdiagramm zur Erläuterung der Steuersequenz eines Spielmanagements bzw. einer Spielverwaltung bei einer Spielstatusmanagementeinheit bzw. Spielstatusverwaltungseinheit des ersten Ausführungsbeispiels;
15 ist eine Ansicht zur Erläuterung eines Verfahrens des Erfassens eines Schlägers;
16 ist ein Flussdiagramm zur Erläuterung der Gesamtverarbeitungssequenz einer Korrekturverarbeitungseinheit bei dem ersten Ausführungsbeispiel;
17 ist ein Flussdiagramm zur ausführlichen Erläuterung einiger Schritte (Markierungsaufspürung) bei dem in 16 gezeigten Flussdiagramm;
18 ist ein Flussdiagramm zur ausführlichen Erläuterung einiger Schritte (Markierungspositionsvoraussage) bei dem in 16 gezeigten Flussdiagramm;
19 ist eine Ansicht zur Erläuterung des Prinzips einer Erfassung einer bei einer Korrektur verwendeten Bezugsmarkierung;
20 ist ein Flussdiagramm zur Erläuterung des Prinzips einer Erfassung einer Bezugsmarkierung;
21 ist eine Ansicht der Anordnung einer bei dem zweiten Ausführungsbeispiel verwendeten HMD;
22 ist ein die Anordnung bzw. den Aufbau eines Hauptteils eines Bildverarbeitungssystems des zweiten Ausführungsbeispiels zeigenden Blockdiagramms;
23 ist ein Flussdiagramm, welches einige Steuerschritte des Bildverarbeitungssystems des zweiten Ausführungsbeispiels zeigt;
24 ist eine Ansicht zur Erläuterung eines Übergangs einer bei einer Modifikation des Ausführungsbeispiels verwendeten Bezugsmarkierung;
25 ist eine Ansicht zur Erläuterung des Prinzips einer bei einer Modifikation des Ausführungsbeispiels verwendeten Markierungssuche; und
26 erläutert das Prinzip des bei dem ersten Ausführungsbeispiel eingesetzten Korrekturprozesses.
<Erstes Ausführungsbeispiel>
Nachfolgend wird ein System gemäß einem Ausführungsbeispiel beschrieben, bei welchem ein Verfahren zur Darstellung gemischter Realität und eine HMD auf eine Lufthockeyspielvorrichtung angewendet werden.
Ein Lufthockeyspiel ist ein zumindest zwei Spieler erforderndes Kampfspiel, und die Spieler tauschen Schläge auf einen Puck aus, welcher durch komprimierte Luft aus dem unteren Teil in der Luft schwebt, und sie können Punkte erzielen, wenn ein Spieler den Puck in das Tor des anderen Spielers schießt. Der Spieler mit den meisten erzielten Punkten kann das Spiel gewinnen. Bei dem Lufthockeyspiel, bei welchem eine MR dieses Ausführungsbeispiels eingesetzt wird, wird einem Spieler ein virtueller Puck präsentiert, indem er als ein virtuelles dreidimensionales Bild auf einem Tisch in einer realen Umgebung überlagert angezeigt wird, und der Spieler tauscht virtuell Schläge auf bzw. Schüsse mit dem virtuellen Puck unter Verwendung realer Schläger aus.
Die Spielvorrichtung weist die folgenden Merkmale auf:

– Bilderfassung mit einer Kamera eines realen Raums, welcher von einer Vielzahl von Spielern gemeinsam genutzt wird, Erfassen und Spezifizieren von durch die Bedienpersonen manipulierten bzw. gehandhabten Betätigungseinrichtungen (bei dem Ausführungsbeispiel: Schläger), und Darstellung eines durch die Spieler gemeinsam genutzten Raums gemischter Realität.
– Um sich innerhalb des weiten realen Raums bewegende Ansichtspunkte der Spieler präzise zu erfassen, ist an dem Kopf jedes Spielers eine Kamera sowie ein Magnetsensor angebracht, welche zumindest eine Markierung von an einem für das Spiel verwendeten Tisch zur Verfügung gestellten Markierungen erfassen, und eine durch den Sensor erfasste Position und Positur (d.h. den Ansichtspunkt) eines Spielerkopfes auf der Grundlage einer Differenz zwischen der Bildkoordinate und der tatsächlichen Position der zumindest einen Markierung korrigiert.

<Anordnung bzw. Aufbau der Spielvorrichtung>
2 ist eine Seitenansicht des Spielvorrichtungsabschnitts des Systems dieses Ausführungsbeispiels. Bei einem MR-Lufthockeyspiel sind zwei Spieler 2000 und 3000 einander zugewandt, während sie mit ihren Händen Schläger (260L, 260R) halten. Die zwei Spieler 2000 und 3000 tragen (nachfolgend als HMDs abgekürzte) kopfmontierte Anzeigeeinrichtungen 210L und 210R an ihren Köpfen. Der Schläger dieses Ausführungsbeispiels hat an seinem entfernten Ende eine Infrarotstrahlerzeugungseinrichtung. Wie es später beschrieben wird, wird bei diesem Ausführungsbeispiel die Schlägerposition durch eine Bildverarbeitung erfasst. Hat jeder Schläger ein Merkmal in Bezug auf seine Form oder Farbe, kann die Schlägerposition auch durch Mustererkennung unter Verwendung eines derartigen Merkmals erfasst werden.
Die HMD 210 dieses Ausführungsbeispiels ist ein Durchsichttyp, wie in 4 gezeigt. Die beiden Spieler 2000 und 3000 können die Fläche eines Tisches 1000 betrachten bzw. beobachten, auch wenn sie die HMDs 210L und 210R tragen. Die HMD 210 empfängt ein dreidimensionales virtuelles Bild von einem (später zu beschreibenden) Bildverarbeitungssystem. Daher beobachten die Spieler 2000 und 3000 ein dreidimensionales Bild, welches auf dem Anzeigebildschirm ihrer HMDs 210 zur Überlagerung auf ein Bild in dem realen Raum angezeigt wird, welches über (nicht in 2 gezeigte) optische Systeme der HMDs 210 beobachtet bzw. betrachtet wird.
3 zeigt ein von dem linken Spieler 2000 über seine oder ihre HMD 210L gesehenes Bild. Die zwei Spieler 2000 und 3000 tauschen Schüsse eines virtuellen Pucks 1500 aus. Der Puck 1500 wird durch einen durch die Hand des Spielers 2000 (3000) gehaltenen tatsächlichen Schläger 260L (260R) geschlagen bzw. getroffen. Der Spieler 2000 hält den Schläger 260L mit der Hand. Der Spieler 2000 kann unmittelbar vor dem Gegenspieler 3000 ein Tor 1200R sehen. Das (später zu beschreibende und nicht in 3 gezeigte) Bildverarbeitungssystem erzeugt ein dreidimensionales CG, so dass der Spieler 2000 das Tor 1200R in der Nähe des Gegenspielers sehen kann, und zeigt es auf der HMD 210L an.
Der Gegenspieler 3000 kann über die HMD 210R auch ein Tor 1200L in der Nähe des Spielers 2000 sehen.
Durch das (später zu beschreibende) Bildverarbeitungssystem wird auch der Puck 1500 erzeugt und an den HMDs der beiden Spieler angezeigt.
<HMD mit Magnetsensor>
4 zeigt die Anordnung bzw. den Aufbau der HMD 210. Diese HMD 210 wird durch Anbringen eines Magnetsensors 220 an dem Hauptkörper eines HMD in beispielsweise der japanischen Patentoffenlegungsschrift Nr. 7-333551 über eine Säule 221 erlangt. In 4 bezeichnet das Bezugszeichen 211 ein LCD-Anzeigefeld. Von dem LCD-Anzeigefeld kommendes Licht tritt in ein optisches Bauteil 212 ein, und wird durch eine Totalreflexionsfläche 214 reflektiert. Dann wird das Licht durch eine Totalreflexionsfläche eines konvexen Spiegels 213 reflektiert, durch die Totalreflexionsfläche 214 hindurchgelassen, und erreicht dann die Augen des Betrachters.
Der Magnetsensor 220 verwendete einen Magnetsensor Fastrak, welcher von der Polhemus Corp. erhältlich ist. Da der Magnetsensor leicht durch magnetische Störungen beeinflusst wird, ist er von dem Anzeigefeld 211 und einer Kamera 240 als Störungsquellen mittels eines aus Plastik angefertigten Pols 221 getrennt.
Es sei erwähnt, dass die durch Anbringen des Magnetsensors und/oder der Kamera an dem in 4 gezeigten HMD erlangte Anordnung nicht auf eine HMD des optischen Durchsichttyps beschränkt ist. Außerdem kann sogar bei einer HMD des Videodurchsichttyps der Magnetsensor und/oder die Kamera an dieser HMD für den Zweck einer akkuraten Erfassung der Kopfposition und Positur angebracht werden.
In 2 ist jede HMD 210 durch ein (nicht dargestelltes) Band an dem Kopf des Spielers fixiert. An dem Kopf des Spielers sind jeweils ein Magnetsensor 220 (4) und eine CCD-Kamera 240 (240L, 240R; 2) befestigt. Das Blickfeld der Kamera ist in die Vorwärtsrichtung des Spielers gesetzt. Wird eine derartige, den Magnetsensor 220 und die Kamera 240 aufweisende HMD bei einem Lufthockeyspiel verwendet, erfasst die Kamera 240, da jeder Spieler die obere Fläche des Tisches 1000 betrachtet bzw. beobachtet, ein Bild der Fläche des Tisches 1000. Der Magnetsensor 220 (220L, 220R) erfasst Änderungen eines durch eine Wechselmagnetfelderzeugungsquelle 250 erzeugten Wechselmagnetfelds.
Wie es beschrieben werden wird, werden durch die Kamera 240 erfasste Bilder zur Korrektur einer durch den Magnetsensor 220 erfassten Position und Positur eines Kopfes verwendet werden.
Blickt der Spieler schräg nach unten, um die Fläche des Tisches 1000 zu betrachten bzw. zu beobachten, kann er oder sie die Fläche des Tisches 1000, den zuvor erwähnten virtuellen Puck 1500, die echten Schläger 260 (260L, 260R), und das virtuelle Tor 1200 (1200L, 1200R) innerhalb des Blickfelds über die HMD 210 sehen. Bewegt der Spieler den Kopf innerhalb einer horizontalen zweidimensionalen Ebene horizontal, oder macht er eine geneigte, gescherte oder rollende Bewegung, werden derartige Änderungen durch den Magnetsensor 220 erfasst, und sie werden auch als Änderungen in einem durch die CCD-Kamera 240 erfassten Bild gemäß von Änderungen in der Positur des Kopfes beobachtet bzw. betrachtet. Genauer wird das die Kopfposition angebende Signal von dem Magnetsensor 220 korrigiert werden, indem Bilder von der Kamera einer Bildverarbeitung unterzogen werden, wie es später beschrieben wird.
<Eine Vielzahl von Markierungen>
Ein von jedem Spieler gehaltener Schläger 260 weist an seinem entfernten Ende eine Infrarotstrahlerzeugungseinrichtung auf, und durch eine die Infrarotstrahlen erfassende CCD-Kamera 230 wird jede Schlägerposition in einer zweidimensionalen Ebene an dem Tisch 1000 erfasst. Genauer ist die Kamera 230 derart zur Verfügung gestellt, dass sie Schlägerpositionen der Spieler erfassen kann, und die erfassten Positionen der Spieler werden für dieses Ausführungsbeispiel zum Beschleunigen oder Fortsetzen des Spiels verwendet.
Andererseits gibt die CCD-Kamera 240 ein ein Markierungsbild genanntes Bild aus.
5 zeigt ein Beispiel des Layouts von Markierungen an dem Tisch 1000. In 5 finden fünf durch runde Marken angegebene Marksteine, d.h. Markierungen (1600 bis 1604), als Hilfe zur Erfassung der Kopfposition des Spielers 2000 Verwendung, und fünf durch quadratische Marken angegebene Marksteine, d.h. Markierungen (1650 bis 1654) werden zur Unterstützung einer Erfassung der Kopfposition des Spielers 3000 verwendet. Sind eine Vielzahl von Markierungen angeordnet, wie in 5 gezeigt, wird die durch den Spieler gesehene Markierung durch die Kopfposition des Spielers, insbesondere die Positur, bestimmt. Mit anderen Worten, wird die durch die an jedem Spieler angebrachte CCD-Kamera 240 erfasste Markierung zur Erfassung der Position in dem Bild spezifiziert, kann das Ausgangssignal aus dem Magnetsensor zur Erfassung der Kopfpositur des Spielers korrigiert werden.
Es sei erwähnt, dass die runden und quadratischen Marken in 5 für die Zwecke einer Veranschaulichung verwendet werden, und diese Marken haben keine Merkmale in Bezug auf ihre Form, sondern können irgendwelche anderen beliebigen Formen annehmen.
Die den beiden Spielern (2000, 3000) zugewiesenen Markierungsgruppen (1600 bis 1604, 1650 bis 1654) haben verschiedene Farben. Bei diesem Ausführungsbeispiel sind die Markierungen für den linken Spieler (#1-Spieler) rot, und diejenigen für den rechten Spieler (#2-Spieler) sind grün. Derartige Farben ermöglichen eine einfache Identifikation der Markierungen bei der Bildverarbeitung.
Es kann vorgeschlagen werden, Markierungen mit ihrer Form und/oder Textur, jedoch nicht mit ihrer Farbe zu identifizieren.
Das Merkmal dieses Ausführungsbeispiels liegt in der Verwendung einer Vielzahl von Markierungen. Da eine Vielzahl von Markierungen Verwendung findet, fällt zumindest eine Markierung immer innerhalb das Blickfeld der CCD-Kamera 240, solange wie die Spieler das Spiel an dem Tisch 1000 innerhalb des Betriebsbereichs bzw. Operationsbereichs des Lufthockeyspiels spielen.
6 veranschaulicht den Bewegungszustand der Bildverarbeitungsbereiche zur Erfassung der Markierungen, wenn der Spieler den Kopf verschiedenartig bewegt. Wie in 6 gezeigt, umfasst ein Bild zumindest eine Markierung. Mit anderen Worten sollte die Anzahl von Markierungen, das Intervall zwischen benachbarten Markierungen, und dergleichen, entsprechend zu der Größe des Tisches 1000, dem Gebiets- bzw. Feldwinkel der Kamera 240, und der Größe des Bewegungsbereichs jedes Spielers auf der Grundlage der Gegebenheiten des Spiels gesetzt werden. Bei dem Beispiel von 5 muss das Intervall zwischen benachbarten Markierungen erhöht werden, da mit zunehmender Entfernung der Markierungen von dem Spieler ein breiterer Bereich innerhalb des Blickfelds fällt. Diese Anordnung setzt den Abstand zwischen sich nah beieinander befindenden Markierungen in dem Bild gleich demjenigen zwischen weiter entfernten Markierungen, und hält die Anzahl von innerhalb eines Bildes eines weiter entfernten Bereiches enthaltenen Markierungen auf einem geringen Wert. Mit derartigen Einstellungen wird eine Verschlechterung bei einer Genauigkeit der Markierungserfassung vermieden. Somit haben sowohl die näher liegenden als auch die weiter entfernt liegenden Markierungen im Wesentlichen gleiche Markierungsdichten, welche in dem Bild eingefangen werden, und es kann verhindert werden, dass unerwünschterweise zu viele Markierungen in einem Rahmen erfasst werden.
Wie es später beschrieben werden wird, weist die als Ausführungsbeispiel dargestellte Spielvorrichtung nicht zu viele Markierungen auf, es ist zumindest eine Markierung ausreichend, welche in Bildern durch die Kamera erfasst wird. Die Vorrichtung muss während des Spielfortschritts nicht fortgesetzt dieselbe Markierung weiter verfolgen.
<MR-Bilderzeugungssystem>
7 zeigt ein dreidimensionales Bilderzeugungs-/Darstellungssystem bei der in 2 gezeigten Spielvorrichtung. Das Spielerzeugungs-/Darstellungssystem gibt dreidimensionale virtuelle Bilder (der Puck 1500 und die Tore 1200 in 3) auf die Anzeigevorrichtungen der HMD 210L des linken Spielers 2000 und die HMD 210 des rechten Spielers 3000 aus. Durch Bilderzeugungseinheiten 5050L und 5050 werden rechte und linke Parallaxenbilder für dreidimensionale virtuelle Bilder erzeugt. Bei diesem Ausführungsbeispiel verwendete die Bilderzeugungseinheit 5050 ein Computersystem "Onyx2", welches von Silicon Graphics, Inc., U.S.A. erhältlich ist.
Jede Bilderzeugungseinheit 5050 empfängt durch eine Spielstatusverwaltungseinheit bzw. Spielstatusmanagementeinheit 5030 erzeugte Puckpositionsinformationen und Informationen, welche mit der korrigierten Ansichtspunktposition und Kopfrichtung in Zusammenhang stehen, welche durch zwei Korrekturverarbeitungseinheiten 5040L und 5040 erzeugt werden. Die Spielstatusmanagementeinheit 5030 und die Korrekturverarbeitungseinheiten 5040L und 5040 verwendeten die Computersysteme "Onyx2".
Die über dem Zentrum des Tisches 1000 fixierte CCD-Kamera 230 kann die gesamte Fläche des Tisches 1000 innerhalb ihres Blickfelds einfangen. Durch die Kamera 230 akquirierte Schlägerinformationen werden in eine Schlägerpositionsmesseinheit 5010 eingegeben. Die Messeinheit 5010 verwendete in ähnlicher Weise ein Computersystem "02", welches von Silicon Graphics, Inc. erhältlich ist. Die Messeinheit 5010 erfasst die Schlägerpositionen der beiden Spieler, d.h. ihre Handpositionen. Die mit den Handpositionen in Zusammenhang stehenden Informationen werden in die Spielstatusmanagementeinheit 5030 eingegeben, welche den Spielzustand verwaltet bzw. managt. Genauer werden der Spielzustand und der Fortschritt des Spiels im Wesentlichen durch die Schlägerpositionen bestimmt.
Eine Positions-/Positurerfassungseinrichtung 5000 mit einem von Silicon Graphics, Inc. erhältlichen Computersystem "02" erfasst die Ansichtspunktpositionen und Kopfposituren der beiden Spieler (welches die Position und Positur des Sensors 2020 selbst sind) durch Empfang der Ausgaben der beiden Magnetsensoren 220L und 220R, erfasst Ansichtspunkteposition (X, Y, Z) und – positur (p, r, ϕ) bei der an jedem Spieler montierten Kamera 240, und gibt sie dann an die Korrekturverarbeitungseinheiten 5040L und 5040R aus.
Andererseits akquirieren die an den Köpfen der Spieler fixierten CCD-Kameras 240L und 240R Markierungsbilder, welche jeweils durch Markierungspositions-Erfassungseinheiten 5060L und 5060R verarbeitet werden, um so Positionen von aufgespürten Markierungen zu erfassen, welche innerhalb die jeweiligen Blickfelder der individuellen Kameras 240 fallen. Die mit der Markierungsposition in Zusammenhang stehenden Informationen werden in die Korrekturverarbeitungseinheit 5040 (5040L, 5040R) eingegeben.
Es sei erwähnt, dass Markierungspositions-Erfassungseinheiten 5060 (5060L, 5060R), welche in jeweiligen durch die Kameras erfassten Bildern jeweilige Markierungen aufspüren, die Computersysteme "O2" aufwiesen.
<Schlägerpositionsmessung>
8 bis 10 sind Flussdiagramme der Steuersequenz zur Messung der Schlägerposition. Ein Verfolgen der Schlägerpositionen der Spieler mit der einzelnen Kamera 230 ermöglicht ein zur Verfügung stellen eines durch die Spieler gemeinsam genutzten Raumes gemischter Realität. Unter Bezugnahme auf 8 bis 10 wird die Messung von Schlägerpositionen gemäß dem Ausführungsbeispiel beschrieben.
Bei dem Lufthockeyspiel bewegt jeder Spieler niemals seinen oder ihren eigenen Schläger in die Region des anderen Spielers. Aus diesem Grund muss die Verarbeitung zur Suche nach dem Schläger 260L (260R) des linken Spielers 2000 (rechten Spielers 3000) nur für Bilddaten IL (Bilddaten IR) des linken Felds (rechten Felds) vorgenommen werden, wie in 11 gezeigt. Es ist einfach, das durch die fixierte CCD-Kamera 230 akquirierte Bild in zwei Regionen aufzubrechen, wie in 11 gezeigt.
Daher wird bei dem in 8 gezeigten Flussdiagramm die Verarbeitung zur Suche nach dem Schläger 260L des Spielers #1 (Spieler 2000) bei Schritt S100 vorgenommen, und diejenige zur Suche nach dem Schläger 260R des Spielers #2 (Spieler 3000) wird bei Schritt S200 vorgenommen.
Die Suche nach dem Schläger des rechten Spielers (Schritt S200) wird nachstehend aus Gründen der Vereinfachung als Beispiel dargestellt.
In Schritt S210 werden Mehrfachwertbilddaten der durch die TV-Kamera 230 erfassten Fläche des Tisches 1000 akquiriert. Bei Schritt S212 setzen sich die Bilddaten IR der rechten Hälfte von diesen Mehrwertbilddaten mit einer Unterroutine "in lokaler Region suchen" fort. 9 zeigt die "in lokaler Region suchen"-Verarbeitung im Detail. Wird bei Schritt S212 die Schläger-Koordinatenposition (x, y) in dem Bildkoordinatensystem gefunden, setzt sich der Fluss von Schritt S214 zu Schritt S220 fort, und die Schlägerkoordinatenposition (x, y) in dem Bildkoordinatensystem wird in eine Koordinatenposition (x', y') in dem Koordinatensystem (vgl. 13) des Tisches 1000 transferiert, unter Verwendung von:
wobei die Matrix M_T eine bekannte 3 × 3-Transformationsmatrix ist, welche eine Kalibrierung zwischen dem Bild- und Tischkoordinatensystem erzielt. Die bei Schritt S220 erlangte Koordinatenposition (x', y') (in 3 ist die Position (x', y') als die "Handposition" angegeben) wird an die Spielstatusmanagementeinheit 5030 gesendet.
Kann der Schläger nicht in der lokalen Region gefunden werden, wird bei Schritt S216 eine Unterroutine "in globaler Region suchen" ausgeführt. Wird der Schläger bei der Unterroutine "in globaler Region suchen" gefunden, wird die erlangte Koordinatenposition bei Schritt S220 in diejenige in dem Tischkoordinatensystem transferiert. Es sei erwähnt, dass die aus der lokalen oder globalen Region erlangte Koordinatenposition bei einer Suche nach dem Schläger in der lokalen Region für den nächsten Rahmen bzw. Vollbild Verwendung findet.
9 zeigt die Verarbeitung zur Suche nach dem Schläger in der lokalen Region (d.h. Schritt S212 im Detail). Diese Suchverarbeitung wird aus Gründen der Vereinfachung für das rechte Feld vorgenommen, jedoch gilt dasselbe für die Schlägersuchverarbeitung für das linke Feld.
Bei Schritt S222 wird eine rechteckige Region mit einer Größe ((2A + 1) × (2B + 1)-Bildelementen) extrahiert, welche durch die nachfolgenden Gleichungen definiert ist:
wobei I'_x und I'_y Koordinantenwerte der bei dem vorangehenden Vollbild erfassten Schlägerposition sind, und A und B die Größe der Suchregion bestimmende Konstanten sind, wie in 12 gezeigt.
Bei Schritt S230 wird ein Bildelement, dessen Merkmalsbewertungswert I_S (x, y) eine gegebene Bedingung erfüllt, von allen Bildelementen innerhalb der bei Schritt S222 definierten rechteckigen Region extrahiert. Für den Zweck des Findens des Schlägers wird vorzugsweise eine Ähnlichkeit bzw. Gleichheit eines Bildelementwerts (Infrarotstrahlintensitätswert) als der Merkmalsbetrag verwendet. Bei diesem Ausführungsbeispiel wird, da der Schläger einen Infrarotstrahlgenerator bzw. eine Infrarotstrahlerzeugungseinrichtung aufweist, ein Objekt bzw. Gegenstand mit einem Merkmal einer entsprechenden Infrarotstrahlintensität versuchsweise als ein Schläger bestimmt.
Genauer wird bei Schritt S232 eine Suche nach einem Bildelement vorgenommen, dessen Ähnlichkeit I_S gleich oder größer als ein vorbestimmter Schwellwert bzw. Grenzwert ist, d.h. welcher dem Schläger nahe kommt. Wird ein derartiges Bildelement gefunden, speichert ein Zähler N den akkumulierten Wert der Auftrittsfrequenz. Außerdem werden die x- und y-Koordinatenwerte eines derartigen Bildelements kumulativ in Registern SUM_x und SUM_y gespeichert. Das heißt, es gilt: N = N + 1 SUMx = SUMx + x (4) SUMy = SUMy + y
Bei Beendigung von Schritt S230 sind die Anzahl N von allen Bildelementen, die dem von dem Schläger in dem in 12 gezeigten Region kommenden Infrarotstrahlmuster ähnlich sind, und die Summenwerte SUM_x und SUM_y der Koordinatenwerte erlangt. Gilt N = 0, wird bei Schritt S236 ein Ergebnis "nicht gefunden" ausgegeben. Gilt N > 0, wird es bestimmt, dass ein Objekt gefunden ist, welches wahrscheinlich ein Schläger ist, und bei Schritt S238 wird die Schlägerposition berechnet durch:
Bei Schritt S220 (8) wird die berechnete Schlägerposition (I_x, I_y) in diejenige des Tisch-Koordinatensystems transferiert, und der transferierte Wert wird an die Managementeinheit 5030 als ein die "Handposition" repräsentierendes Signal weitergegeben.
10 zeigt die Sequenz der Suche einer globalen Regionssuche bei Schritt S216 im Detail.
Bei Schritt S240 in 10 wird der Maximalwert der Merkmalsbewertungswerte I_S unter Bildelementen, welche erfüllen: {(x, y) | x > 0, x < Breite, x = nC, y > 0, y < Höhe, y = mD (wobei n und m ganze Zahlen sind)} (6)in dem Bild IR des rechten Feldes in einem Register Max gespeichert. Es sei erwähnt, dass C und D Konstanten sind, welche die Grobheit der Suche bestimmen, und Breite und Höhe definiert sind, wie in 15 gezeigt. Das heißt, es wird bei Schritt S242 geprüft, ob der Merkmalsbetrag I_S den in dem Grenzwertregister Max gespeicherten Grenzwert überschreitet. Wird ein derartiges Bildelement gefunden, wird dieser Merkmalsbetrag bei Schritt S244 als ein neuer Grenzwert gesetzt durch: Max = IS (x, y) Ix = x (7) Iy = y
Bei Schritt S246 wird der Koordinatenwert (I_x, I_y) des Bildelements, welches bei der globalen Suche als am wahrscheinlichsten als ein Schläger gefunden ist, an Schritt S220 weitergegeben.
Auf diese Weise wird der Schläger aus dem Bild gefunden, und sein in den Koordinatenwert des Tischkoordinatensystems transferierter Koordinatenwert wird an die Spielstatusmanagementeinheit 5030 transferiert.
<Spielstatusverwaltung bzw. Spielstatusmanagement>
13 zeigt das Spielfeld des Lufthockeyspiels dieses Ausführungsbeispiels. Dieses Feld ist in der zweidimensionalen Ebene an dem Tisch 1000 definiert und weist x- und y-Achsen auf. Außerdem hat das Feld zwei, das heißt eine rechte und linke virtuelle Torlinie 1200R und 1200L, und in der Aufwärts- und Abwärtsrichtung von 13 angeordnete virtuelle Wände 1300a und 1300b. Die Koordinatenwerte der virtuellen Torlinien 1200R und 1200L und virtuellen Wände 1300a und 1300b sind bekannt und bewegen sich niemals. Auf diesem Feld bewegt sich das virtuelle Bild des Pucks 1500 in Entsprechung zu den Bewegungen der Schläger 260R und 260L.
Der Puck 1500 hat Koordinateninformationen P_P und Geschwindigkeitsinformationen v_P bei der gegenwärtigen Position, der linke Schläger 260L hat Koordinateninformationen P_SL und v_SL bei der gegenwärtigen Position, und der rechte Schläger 260R hat Koordinateninformationen P_SR und v_SA bei der gegenwärtigen Position.
14 ist ein Flussdiagramm zur Erläuterung der Verarbeitungssequenz bei der Spielstatusmanagementeinheit 5030.
Bei Schritt S10 werden die Anfangsposition P_P0 und Anfangsgeschwindigkeit v_P0 des Pucks 1050 gesetzt.
Es sei erwähnt, dass der Puck sich mit einer gleichen Geschwindigkeit v_P bewegt. Außerdem unterliegt der Puck einer perfekten elastischen Kollision, wenn er gegen eine Wand oder die Schläger kollidiert, d.h. seine Geschwindigkeit/Richtung wird umgekehrt.
Die Spielstatusmanagementeinheit 5030 erlangt aus den durch die Schlägerpositionsmesseinheit 5010 gemessenen Schlägerpositionsinformationen P_S Geschwindigkeitsinformationen v_S.
Schritt S12 wird mit Dt Zeitintervallen ausgeführt, bis einer der beiden Spieler das Spiel gewinnt (bei Schritt S50 wird es bestimmt, dass ein Spieler zuerst drei Punkte des Spiels gewonnen hat).
Bei Schritt S12 wird die Puckposition aktualisiert als: PP = PP0 + VP0·Dt (8)
Nachdem die Anfangsposition und Anfangsgeschwindigkeit gesetzt sind, ist die Puckposition im Allgemeinen gegeben als: P = PP + vP·Dt (9)
Bei Schritt S14 wird es geprüft, ob die aktualisierte Puckposition P_P sich innerhalb des Felds von Spieler #1 (linker Spieler) befindet. Nachfolgend wird ein Fall beschrieben, bei welchem sich der Puck 1500 auf der Seite des linken Spielers befindet.
Bei Schritt S16 wird es geprüft, ob die gegenwärtige Puckposition mit dem Schläger 1100L interferiert. Wird es bestimmt, dass sich der Puck 1050 bei einer Position befindet, bei welcher der Puck mit dem Schläger 1100L interferiert, wird das Vorzeichen der x-Geschwindigkeitskomponente der Geschwindigkeit v_Px des Pucks 1500, da dies bedeutet, dass der linke Spieler 2000 den Schläger 260L zum Schlagen des Pucks bewegt hat, bei Schritt S18 invertiert, so dass die Bewegung des Pucks 1500 umgekehrt wird, und dann setzt sich der Fluss mit Schritt S20 fort.
Es sei erwähnt, dass anstelle eines einfachen Invertierens des Vorzeichens der x-Geschwindigkeitskomponente v_Px der Geschwindigkeit der Puck gesteuert werden kann, dass er sich in der entgegengesetzten Richtung bewegt, indem die Manipulationsgeschwindigkeit v_SLx des Schlägers zu der x-Richtungsgeschwindigkeit v_Px addiert wird, indem berechnet wird: vPx = –vPx + vSLx (10)
Andererseits wird, wenn die derzeitige bzw. gegenwärtige Puckposition nicht mit dem Schläger 1000L des linken Spielers interferiert (NEIN bei Schritt S16), der Fluss direkt mit Schritt S20 fortgesetzt.
Bei Schritt S20 wird es geprüft, ob die Puckposition P_i+1 mit der virtuellen Wand 1300a oder 1300b interferiert. Lautet die Antwort bei Schritt S20 JA, wird bei Schritt S22 die y-Komponente der Puckgeschwindigkeit invertiert.
Dann wird es bei Schritt 24 geprüft, ob sich die gegenwärtige Puckposition innerhalb der Torlinie des linken Spielers befindet. Lautet die Antwort bei Schritt S24 JA, werden die Punkte bzw. der Spielstand des gegnerischen Spielers, d.h. des rechten (#2) Spielers bei Schritt S26 heraufgesetzt. Bei Schritt S50 wird es geprüft, ob einer der beiden Spieler zuerst 3 Punkte erzielt hat. Lautet die Antwort bei Schritt S50 JA, endet das Spiel.
Wird es bei Schritt S14 bestimmt, dass sich die Puckposition P_P auf der Seite des rechten Spielers (Seite von #2-Spieler) befindet, wird Schritt S30 und die nachfolgenden Schritte ausgeführt. Die Operationen bei den Schritten S30 bis S40 sind im Wesentlichen dieselben, wie denjenigen bei den Schritten S16 bis S26.
Auf diese Weise wird der Spielfortschrittszustand verwaltet bzw. gemanagt. Der Spielfortschrittszustand wird durch die Puck- und Schlägerpositionen bestimmt, welche in die Bilderzeugungseinheit 5050 (5050L, 5050R) eingegeben werden, wie zuvor beschrieben.
<Korrektur von Kopfposition>
16 zeigt die gesamte Steuersequenz der Verarbeitung bei der Korrekturverarbeitungseinheit 5040 (5040L, 5040R). Die Korrekturverarbeitungseinheit 5040 korrigiert Ansichtspunktpositionsdaten und Kopfpositurdaten, welche durch die Messeinheit 5000 auf der Grundlage der Ausgabe des Magnetsensors 220, welche Ausgabe normalerweise Fehler umfasst, auf der Grundlage der Markierungsposition in dem von der CCD-Kamera 240 erlangten Bild berechnet werden. Das heißt, bei dieser Korrektur wird der Korrekturwert der Position der Kamera 240 (welche mit der Kopfposition nah verwandt ist) von der Markierungsposition in dem durch die Kamera 240 eingefangenen Bild berechnet, und die Ansichtstransfermatrix des Ansichtspunkts wird unter Verwendung des Korrekturwerts korrigiert. Die korrigierte Ansichtstransfermatrix repräsentiert die korrigierte Ansichtspunktposition und Kopfpositur. Mit anderen Worten, die korrigierte Matrix wird ein virtuelles Bild bei dem korrigierten Ansichtspunkt zur Verfügung stellen.
26 veranschaulicht das Prinzip einer Korrektur von Ansichtsposition und Positur der Spieler gemäß dem ersten Ausführungsbeispiel, wobei der Korrekturvorgang äquivalent zu einem Erlangen einer korrigierten Ansichtstransfermatrix ist.
Unter Bezugnahme auf 26 hat die Kamera 240 des Spielers gerade eine Markierung 1603 in einem aufgenommenen Bild 300 erfasst. Die Position der Markierung 1603 wird durch (x₀, y₀) in dem Bildkoordinatensystem in Bezug auf das Bild 300 repräsentiert. Die Position der Markierung 1603 in dem Weltkoordinatensystem wird durch (X₀, Y₀, Z₀) repräsentiert, welches bekannt ist. Da (x₀, y₀) ein Bildkoordinatenwert ist, während (X₀, Y₀, Z₀) ein Weltkoordinatenwert ist, können sie nicht verglichen werden. Das erste Ausführungsbeispiel berechnet eine Ansichtstransfermatrix der Kamera 240 auf der Grundlage der Ausgabe des Magnetsensors 220, und transferiert dann den Weltkoordinatenwert (X₀, Y₀, Z₀) in einen Bildkoordinatenwert (x'₀, y'₀). Auf der Grundlage der Tatsache, dass eine Differenz zwischen Koordinatenwerten (x₀, y₀) und (x'₀, y'₀) einen Fehler bei den Ausgaben des Sensors 220 impliziert, wird später eine Korrekturmatrix ΔM_C zur Korrektur des Unterschieds bzw. der Differenz beschrieben.
Wie aus 26 ersichtlich, muss die Vorrichtung gemäß dem ersten Ausführungsbeispiel die Markierung 1603 unter den anderen Markierungen innerhalb des Bildes 300 identifizieren oder unterscheiden. Die Identifizierung oder Unterscheidung wird auf eine derartige Weise vorgenommen, dass (bekannte) dreidimensionale Weltkoordinatenwerte aller Markierungen mittels der Ansichtstransfermatrix M_C in Bildkoordinatenwerte konvertiert werden, und dass die Markierung als eine Markierung des Bildkoordinatenwerts identifiziert oder unterschieden wird, welche (x₀, y₀) am Nächsten liegt. Der mit der Identifikation in Zusammenhang stehende Vorgang wird unter Bezugnahme auf 19 und 20 beschrieben.
Nachfolgend wird der durch die Korrekturverarbeitungseinheit 5040 vorgenommene Vorgang unter Bezugnahme auf 16 beschrieben.
Bei Schritt S400 wird eine Ansichttransfermatrix (4 × 4) der Kamera 240 auf der Grundlage der Ausgabe von dem Magnetsensor 220 berechnet. Bei Schritt S410 wird die Koordinatenposition, bei welcher jede Markierung in dem Bildkoordinatensystem zu beobachten ist, auf der Grundlage der bei Schritt S400 erlangten Ansichttransfermatrix, einer (bekannten) idealen Projektionsmatrix der Kamera 240 und der (bekannten) dreidimensionalen Position jeder Markierung vorhergesagt.
Andererseits verfolgt bzw. spürt die Markierungspositions-Erfassungseinheit 5060 (5060L, 5060R) die Markierung in dem Bild auf, welches von der an dem Kopf des Spielers angebrachten Kamera 240 (240L, 240R) erlangt ist. Die Markierungspositions-Erfassungseinheit 5060 gibt die erfasste Markierungsposition an die Korrekturverarbeitungseinheit 5040 weiter (bei Schritt S420). Die Korrekturverarbeitungseinheit 5040 (5040L, 5040R) bestimmt die gegenwärtig betrachtete bzw. beobachtete Markierung, d.h. eine sich in Korrektur befindende Bezugsmarkierung, auf der Grundlage der bei Schritt S420 weitergeleiteten Markierungspositionsinformationen. Bei Schritt S430 berechnet die Korrekturverarbeitungseinheit 5040 eine Korrekturmatrix ΔM_C, welche die von der Kamera 240 und dem Magnetsensor 220 erfasste Position/Positur korrigiert, auf der Grundlage einer Differenz zwischen dem Vorhersagekoordinatenwert der bei Schritt S410 berechneten Markierung und dem beobachteten Koordinatenwert der Markierung (Markierung 1603 bei dem Beispiel von 26), welche durch die Erfassungseinheit 5060 erfasst ist. Der durch die Erfassungseinheit 5060 gemessene Koordinatenwert der Markierung würde mit dem Koordinatenwert der Markierung auf der Grundlage der durch den Sensor 240 erfassten Kopfposition übereinstimmen, solange wie Ausgaben des Sensors korrekt sind. Daher repräsentiert die bei Schritt S430 berechnete Differenz einen Fehler des Sensors 240. Dies ermöglicht eine Korrektur der Position/Positur der Kamera, wie zuvor beschrieben. Die Positionen und Posituren der Kamera und des Ansichtspunkts weisen eine bekannte Beziehung auf, welche durch einen dreidimensionalen Koordinatentransfer repräsentiert wird. Somit wird bei Schritt S440 die bei Schritt S432 berechnete Ansichtstransfermatrix des Ansichtspunkts auf der Grundlage des ΔM_C zur Korrektur der Position/Positur der Kamera korrigiert. Die Einheit 5040 gibt dann die korrigierte Transfermatrix an die Bilderzeugungseinheit 5050 (5050L, 5050R) weiter.
17 zeigt die Verarbeitungssequenz zur Erfassung von Markierungspositionen, welche bei der Markierungspositions-Erfassungseinheit 5060 durchgeführt wird.
Bei Schritt S500 wird ein durch die Kamera 240 eingefangenes Farbbild empfangen.
Danach werden bei den Schritten S502 und S506 zur Erfassung der durch das Bildkoordinatensystem ausgedrückten Markierungsposition (x, y) jeweils eine "Suche in lokaler Region" und "Suche in globaler Region" ausgeführt. Da die "Suche in lokaler Region" bei Schritt S502 und "Suche in globaler Region" bei Schritt S506 im Wesentlichen dieselben sind wie die "Suche in lokaler Region" (9) und "Suche in globaler Region" (10) bei einer Schlägersuche, werden die Beschreibungen der zuvor erwähnten Suchsequenzen zitiert, und es wird eine detaillierte Beschreibung davon ausgelassen. Jedoch verwendet der Merkmalsbetrag I_S für eine Markierungssuche bei der zitierten Steuersequenz (Schritt S232) für den Spieler #1 (links) den Bildelementwert des interessierenden Bildelements:
Da für den Spieler #1 rote Markierungen (1600 bis 1604) Verwendung finden, drückt dieser Merkmalsbetrag das rötliche Maß aus. Außerdem verwendet der Merkmalsbetrag, da für den Spieler #2 (rechts) grüne Markierungen (1650 bis 1654) Verwendung finden:
Darüber hinaus werden diese beiden Beträge als der Merkmalsbetrag I_S bei einer globalen Suche verwendet.
Der bei Schritt S502 oder S506 erlangte Markierungskoordinatenwert wird bei Schritt S510 unter Verwendung einer Matrix M (mit einer Größe von beispielsweise 3 × 3) in denjenigen eines von einer beliebigen Verzerrung freien idealen Bildkoordinatensystems zur Korrektur einer Verzerrung transferiert. Die zu dieser Zeit verwendete Transfergleichung lautet:
Nachfolgend wird die Verarbeitung bei Schritt S410 in 16 unter Bezugnahme auf 18 ausführlich beschrieben.
Wie zuvor beschrieben, wird bei Schritt S400 eine Transfermatrix M_C (4 × 4 Ansichtstransfermatrix) aus einem Weltkoordinatensystem in das Kamerakoordinatensystem erlangt. Andererseits ist auch eine Transfermatrix P_C (4 × 4) von dem Kamerakoordinatensystem in das Bildkoordinatensystem als ein bekannter Wert gegeben. Außerdem ist die dreidimensionale Koordinatenposition (X, Y, Z) der interessierenden Markierung als ein bekannter Wert gegeben.
Insbesondere repräsentiert ein Winkel p, wenn ein Winkel r die Rotation (Drehung) in der Z-Achsenrichtung bei der Position der Kamera 240 repräsentiert, die Drehung (Abstand) in der X-Achsenrichtung bei der Position der Kamera 240, und ein Winkel ϕ repräsentiert die Drehung (Scherung bzw. Gieren) in der Z-Achsrichtung bei der Position der Kamera 240, (X₀, Y₀, Z₀) repräsentiert eine Position der Kamera 240, dann ist die Ansichtstransfermatrix M_C der Kamera 240, welche eine Matrix zur Durchführung eines Transfers von dem Weltkoordinatensystem in das Kamerakoordinatensystem ist, gegeben durch:
Es seien d die Brennweite der Kamera 240, w die Breite der Abbildungsfläche der Kamera, und h die Höhe der Abbildungsfläche. Dann ist eine Matrix P_C zur Umwandlung von Kamerakoordinatenwerten in das Bildkoordinatensystem gegeben durch:
Als Konsequenz davon wird bei Schritt S520 von 18 (welche dem Schritt S410 von 16 entspricht) die Koordinatenposition (X, Y, Z) der interessierenden Markierung in diejenige (x_h, y_h, z_h) in der Bildebene transferiert, unter Verwendung von:
Bei Schritt S522 wird der vorhergesagte Koordinatenwert (x, y) der Markierung bei dem Bildkoordinatensystem erlangt durch:
Somit sind durch Schritt S410 vorausgesagte Bildkoordinatenwerte (x_i, y_i) der Markierungen i gegeben.
Nachfolgend wird die "Markierungsbestimmung" bei Schritt S420 beschrieben. 19 zeigt den Fall, bei welchem die Kamera 240 eines Spielers ein Bild 600 auf dem Tisch 1000 eingefangen hat.
Es seien beispielsweise M₁ bis M₇ die an dem Tisch 1000 angeordneten Markierungen, wie sie durch dreieckige Markierungen angegeben sind. Die dreidimensionale Position M_i jeder Markierung ist bekannt. Das Bild 600 umfasst die Markierungen M₂, M₃, M₆ und M₇. Andererseits ist die vorausgesagte Beobachtungsposition bzw. Betrachtungsposition jeder Markierung M_i die bei Schritt S520 berechnete Markierung, und sie wird durch P_i ausgedrückt. Ferner repräsentiert Q die Markierungsposition, welche von der Markierungspositions-Erfassungseinheit 5060 erfasst und durch sie weitergeleitet ist.
Die "Markierungsbestimmung" bei Schritt S420 bestimmt P_i (d.h. M_i), welchem die von der Markierungspositions-Erfassungseinheit 5060 erfasste Markierungsposition Q entspricht. Bei 19 sei es angenommen, dass ein Sektor e_i die Länge, d.h. einen Abstand eines Vektors erfasst, welcher sich von der erfassten Markierungsposition Q zu der vorausgesagten Position P_i jeder Markierung erstreckt.
20 zeigt die Inhalte von Schritt S420 im Detail. Das heißt, die Verarbeitung bei 20 extrahiert eine Markierung, welche einen Minimalwert von den Abständen e_i von in dem Bild 600 umfassten Markierungen i (i = 0 bis n) ergibt, und gibt den Identifizierer i dieser Markierung aus. Das heißt, i:Min{ei} (18)
Bei dem in 19 gezeigten Beispiel wird, da der Abstand e₂ von P₂ am kürzesten ist, die Markierung M₂ als Daten zur Korrektur der Ausgabe des Magnetsensors verwendet.
Wie zuvor beschrieben, muss das Feld im Unterschied zu dem Stand der Technik nicht eingeengt werden, da die Kamera 240 unabhängig von der Bewegung des Spielers mindestens eine Markierung innerhalb des aktiven Bereichs (Felds) des Spielers einfangen kann.
Die Verarbeitungsoperationen bei Schritt S430, welche dieselben sind, wie diejenigen, welche unter Bezugnahme auf 1 zuvor beschrieben wurden, berechnet die Transfermatrix ΔM_C zur Korrektur der Position und Positur der Kamera auf der Grundlage eines Fehlerabstands e_min und ihre Richtung, welche durch die Gleichung 18 erlangt sind.
Bei dem parallel mit den Schritten ausgeführten Schritt S432 wird die Ansichtstransfermatrix bei der Ansichtsposition von Spielern auf der Grundlage der Ausgaben des Sensors 220 berechnet. Dann wird, wenn M_VC eine (bekannte) Transfermatrix von dem Kamerakoordinatensystem in das Ansichtskoordinatensystem bezeichnet, eine Ansichtstransfermatrix M'_VC bei dem korrigierten Ansichtspunkt unter Verwendung der vorangehenden Matrix M_VC und der folgenden Gleichung berechnet: ΔMV = MVC·ΔMV·M –1VCVC (19) MV = ΔMV·MV
Hierbei repräsentiert M_V eine Ansichtstransfermatrix eines Ansichtspunkts, welcher durch die Ausgabe des Sensors erlangt ist und noch nicht korrigiert wurde.
Der Fehlerabstand wird in Hinblick auf das Bildkoordinatensystem bei dem ersten Ausführungsbeispiel berechnet, wie in 16 veranschaulicht. Wie jedoch aus 26 ersichtlich und es aus dem später beschriebenen zweiten Ausführungsbeispiel ersichtlich werden wird, kann der Abstand in Bezug auf das Weltkoordinatensystem berechnet werden, wodurch die korrigierte Ansichtstransfermatrix bei einem Ansichtspunkt zur Verfügung gestellt wird.
<Verbesserung von Erfassungsgenauigkeit bzw. Erfassungspräzision einer Kopfposition>
... Zweites Ausführungsbeispiel
Bei dem vorangehenden ersten Ausführungsbeispiel ist an der HMD 210L (210R) eine Kamera 240L (240R) zur Überwachung einer Vorderansicht angeordnet. Ein durch die Kamera 240 eingefangenes Markierungsbild auf dem Tisch 1000 wird durch die Verarbeitungseinheit 5060 verarbeitet, um die Markierung in dem Bild zu spezifizieren (Schritt S420), wobei die Kopfpositur des Spielers, d.h. die Positur der an dem Kopf angebrachten Kamera, mit anderen Worten eine Ansichtstransfermatrix durch die Kamera mit der Positur, bestimmt wird. Jedoch verursacht das erste Ausführungsbeispiel, welches lediglich Fehler in Hinblick auf das Bildkoordinatensystem verwendet, einen dreidimensionalen Versatz bei der Beziehung zwischen der Kamera und der Markierung.
Zusätzlich kann es Fälle für einige Anwendungen einer Darstellung von gemischter Realität geben, bei welcher Markierungen auf eine dreidimensionale Weise positioniert sein sollten. Das in 16 veranschaulichte Identifizierverfahren gemäß dem ersten Ausführungsbeispiel verschlechtert die Zuverlässigkeit.
Das zweite Ausführungsbeispiel wird vorgeschlagen, um den zuvor erwähnten dreidimensionalen Versatz mittels einer Ausstattung jedes Spielers mit zwei Kameras zu beseitigen, und Markierungen im Hinblick auf das Weltkoordinatensystem zu erfassen. Das zweite Ausführungsbeispiel wird außerdem vorgeschlagen, um die Beschränkungsbedingung zu entspannen, dass Markierungen auf einer flachen Ebene zu positionieren sind.
Insbesondere setzt das zweite Ausführungsbeispiel, wie in 21 gezeigt, zwei an der HMD 210L (210R) des Spielers 2000 (3000) befestigte Kameras 240LR und 240LL (240RR, 240RL) ein, und die Posituren der Kameras 240LR und 240LL (240RR, 240RL) werden aus von diesen Kameras 240LR und 240LL (240RR, 240RL) erlangten stereoskopischen Bildern erfasst.
Das zweite Ausführungsbeispiel verwendet zwei an jedem Spieler montierte Kameras, um so mit dreidimensional angeordneten Markierungen zurechtzukommen. Nachfolgend wird jedoch das zweite Ausführungsbeispiel, welches auf eine MR-Darstellung für das Hockeyspiel angewendet wird, unter Verwendung von zweidimensional angeordneten Markierungen beschrieben.
22 zeigt teilweise ein Bildverarbeitungssystem gemäß dem zweiten Ausführungsbeispiel. Das heißt, 22 zeigt die modifizierten Blöcke des Bildverarbeitungssystems des ersten Ausführungsbeispiels (7). Genauer sind beim Vergleich von 7 und 22, auch wenn sich das Bildverarbeitungssystem des zweiten Ausführungsbeispiels von dem ersten Ausführungsbeispiel unterscheidet, da es zusätzlich zu den beiden für jeden Spieler zur Verfügung gestellten Kameras eine Markierungspositions-Erfassungseinheit 5060L' (5050R') und eine Korrekturverarbeitungseinheit 5040L' (5040R') umfasst, die Markierungspositions-Erfassungseinheit 5060L' (5060R') und die Korrekturverarbeitungseinheit 5040L' (5040R') des zweiten Ausführungsbeispiels von der Markierungspositions-Erfassungseinheit 5060L (5060R) und der Korrekturverarbeitungseinheit 5040L (5040R) des ersten Ausführungsbeispiels nur in Bezug auf eine Softwareverarbeitung verschieden.
23 zeigt die Steuersequenz, insbesondere für den linken Spieler 2000, von derjenigen des zweiten Ausführungsbeispiels. Genauer werden nachfolgend Kollaborationen bzw. eine Zusammenarbeit zwischen der Markierungspositions-Erfassungseinheit 5060L', der Positions-/Positurerfassungseinheit 5000, und der Korrekturverarbeitungseinheit 5040L' entsprechend der Steuersequenz in 16 des ersten Ausführungsbeispiels erläutert.
In 23 berechnet die Positions-/Positurerfassungseinheit 5000, welche dieselbe wie bei dem ersten Ausführungsbeispiel ist, bei Schritt S398 die Ansichtstransfermatrix eines Ansichtspunkts auf der Grundlage der Ausgabe von dem Magnetsensor 220L. Bei Schritt S400' wird eine inverse Matrix der Ansichtstransfermatrix der Kamera 240LR auf der Grundlage der Ausgabe des Magnetsensors 220L berechnet. Diese Transfermatrix wird an die Korrekturverarbeitungseinheit 5040' gesendet.
Bilder von den beiden Kameras 240LL und 240LR werden an die Markierungspositions-Erfassungseinheit 5060L' gesendet. Das heißt, bei Schritt S402 extrahiert die Erfassungseinheit 5060L' aus einem durch die rechte Kamera 240LR eingefangenen Bild R ein Markierungsbild m_R. I_mR repräsentiert die Koordinatenposition der extrahierten Markierung (d.h. die Betrachtungskoordinatenposition). Bei Schritt S404 extrahiert die Erfassungseinheit 5060L' aus einem durch die rechte Kammer 240LL eingefangenen Bild ein Markierungsbild m_L. I_mL repräsentiert die Koordinatenposition der extrahierten Markierung. Da die Markierungsbilder m_R und m_L von einer identischen Markierung m_X stammen, wird bei Schritt S406 auf der Grundlage des Prinzips einer trigonometrischen Messung aus dem Paar von betrachteten Markierungskoordinatenpositionen (I_mR, I_mL) eine aus dem Koordinatensystem der Kamera 240LR extrahierte dreidimensionale Position C_m der betrachteten Markierung berechnet.
Bei Schritt S404 wird eine entsprechende Punktsuche des Markierungsbilds m_L unter Verwendung einer allgemeinen stereoskopischen Ansichtstechnik vorgenommen. Alternativ kann zur Erzielung einer Hochgeschwindigkeitsverarbeitung der Suchbereich unter Verwendung einer bekannten Epipolarverknüpfung beschränkt werden.
Die Schritte S410', S420', S422 und S430' in 23 sind die Verarbeitungsoperationen bei der Korrekturverarbeitungseinheit 5040L'.
Bei Schritt S410' wird die dreidimensionale Position C_m der betrachteten Markierung in dem Kamerakoordinatensystem unter Verwendung der bei Schritt S400' berechneten Ansichtstransfermatrix in eine dreidimensionale Position W_m in dem Weltkoordinatensystem transferiert. Bei Schritt S420' werden (bekannte) dreidimensionale Positionen W_mi aller Markierungen m_i in dem Koordinatensystem aus einem vorbestimmten Speicher ausgelesen, und es wird W_mi bestimmt, welches den euklidischen Abstand |W_mi – W_m| zwischen jeder Markierung m_i und der betrachteten Markierung m_X minimiert. Mit anderen Worten wird eine sich der betrachteten Markierung m_X am Nächsten liegende bekannte Markierung identifiziert.
Auch wenn W_mi und W_m ursprünglich dieselbe Position haben, ist es wahrscheinlich, dass aufgrund eines Fehlers des Sensors 240 ein Fehlervektor D (entsprechend e bei dem ersten Ausführungsbeispiel) vorhanden ist. Daher wird bei Schritt S420' eine Markierung spezifiziert, welche einen dem dreidimensionalen Koordinatenwert (in dem Weltkoordinatensystem) der aufgespürten (beobachteten) Markierung am nächsten liegenden Koordinatenwert W_mi aufweist. Dann wird bei Schritt S430' ein einen Abstand zwischen der aufgespürten Markierung und der bestimmten Markierung repräsentierender Korrekturvektor D berechnet aus: D = Wmi – Wm (20),und dann wird ΔM_C erlangt, welches die Position der Kamera um den Vektorbetrag bewegt. Bei Schritt S440' wird eine Ansichtstransfermatrix eines Ansichtspunkts unter Verwendung eines dem ersten Ausführungsbeispiel ähnlichen Verfahren berechnet.
Auf diese Weise kann, da das zweite Ausführungsbeispiel unter Verwendung der HMD mit zwei Kameras eine Positionserfassung der betrachteten Markierung auf eine dreidimensionale Weise verbessern kann, die Position und Positur eines Ansichtspunkts präzise bzw. genau erfasst, so dass virtuelle und reale Bilder für MR reibungslos verbunden werden können.
<Erste Modifikation>
Die vorliegende Erfindung ist nicht auf das zuvor genannte erste und zweite Ausführungsbeispiel beschränkt.
Bei dem ersten Ausführungsbeispiel verwendet die Verarbeitung zur Erfassung einer Markierung aus dem Bild die zuerst erfasste Markierung als die zu verfolgende bzw. aufzuführende Markierung, wie in 17 gezeigt. Aus diesem Grund kann, wie in beispielsweise 24 gezeigt, wenn ein eine Markierung M₁ umfassendes Bild 800 in einem bestimmten Rahmen bzw. Vollbild erlangt wird, falls die Markierung in einer Bildregion 810 des folgenden Vollbilds umfasst ist, auch wenn es sich bei einem Randabschnitt der Region 810 befindet, die Markierung M₁ als eine Bezugsmarkierung zur Korrektur bestimmt werden. Wird jedoch beispielsweise ein Bild 820 in dem folgenden Vollbild erlangt, muss die Bezugsmarkierung zur Korrektur, wenn die Markierung M₁ außerhalb der Region dieses Bildes liegt, und statt dessen eine Markierung M₂ eingeschlossen wird, zu der Markierung M₂ geändert werden. Derartige Änderungen bei einer Markierung sind auch erforderlich, wenn ein Aufspüren fehlschlägt, und eine Positionsabweichungskorrektur verwendet die neu aufgespürte Markierung.
Als ein Problem, welches sich beim Umschalten der bei einer Korrektur verwendeten Markierung stellt, kann sich ein virtuelles Objekt aufgrund von abrupten Änderungen eines Korrekturwerts beim Wechseln bzw. Schalten der Markierung unnatürlich bewegen.
Um dieses Problem zu vermeiden, wird bei einer nachfolgend vorzuschlagenden Modifikation der Korrekturwert des vorangehenden Vollbilds beim Setzen des nächsten Korrekturwerts derart reflektiert, dass eine zeitweise Übereinstimmung zwischen diesen Korrekturwerten bewahrt wird.
Genauer seien v_t der Korrekturwert (ein eine Bewegung in dem Weltkoordinatensystem repräsentierender dreidimensionaler Vektor) in einem bestimmten Vollbild, und v'_t-1 der Korrekturwert bei dem vorangehenden Vollbild. Dann wird v'_t, welches durch die nachstehende Gleichung erlangt wird, als ein neuer Korrekturwert verwendet: v't = α·v't-1 + (1 – α)·vt (21) wobei α eine Konstante (0 ≤ α < 1) ist, welche das Maß eines Einflusses der vorangehenden Informationen definiert. Die vorangehende Gleichung impliziert, dass α das Maß eines Beitrags des Korrekturwerts v'_t-1 in dem vorangehenden Vollbild repräsentiert, und der bei dem derzeitigen Vollbild erlangte Korrekturwert v_t wird bei dem Maß eines Beitrags von (1 – α) verwendet.
Mit dieser Steuerung können abrupte Änderungen bei einem Korrekturwert entspannt werden, und es kann verhindert werden, dass ein dreidimensionales virtuelles Bild plötzlich geändert (unnatürlich bewegt) wird. Durch Setzen eines neuen Korrekturwerts a auf einen richtigen Wert kann es verhindert werden, dass ein Objekt sich beim Wechsel bzw. Umschalten der Markierung unnatürlich bewegt.
<Zweite Modifikation>
Bei dem vorangehenden Ausführungsbeispiel verwendet die Verarbeitung zur Erfassung einer Markierung aus dem Bild, wenn bei einer lokalen Suche keine Markierung gefunden werden kann, unabhängig von der Markierungsposition in dem vorangehenden Vollbild einen Punkt mit der höchsten Ähnlichkeit in dem gesamten Vollbild als die aufzuspürende Markierung. Bei einer nachfolgend vorzuschlagenden Modifikation wird eine Markierungssuche auf der Grundlage der in dem vorangehenden Vollbild gefundenen Markierungsposition vorgenommen. Auch wenn sich das Bildvollbild bei Bewegung des Spielers bewegt hat, ist die Markierung wahrscheinlich bei einer Position vorhanden, welche von der Position bei dem vorangehenden Vollbild nicht stark versetzt ist.
25 ist eine Ansicht zur Erläuterung des Prinzips einer Suche nach einer bei dem vorangehenden Vollbild gefundenen Markierung aus dem gegenwärtigen Vollbild. Die Markierungssuche wird entlang einer derartigen Suchroute vorgenommen, und wenn ein Punkt mit einer Ähnlichkeit gleich oder höher als ein gegebener Grenzwert gefunden ist, wird dieser Punkt als die Markierung verwendet.
<Dritte Modifikation>
Das vorangehende Ausführungsbeispiel verwendet eine optische HMD. Jedoch ist die vorliegende Erfindung nicht auf eine optische HMD beschränkt, sondern sie kann auf eine Videodurchsicht-HMD angewendet werden.
<Vierte Modifikation>
Das vorangehende Ausführungsbeispiel bezieht sich auf ein Lufthockeyspiel. Jedoch ist die vorliegende Erfindung nicht auf das Lufthockeyspiel beschränkt. Da die Operationen (beispielsweise Schlägeroperationen) einer Vielzahl von Bedienpersonen unter Verwendung einer einzigen Kameraeinrichtung erfasst und eingefangen werden, können die Operationen der Vielzahl von Bedienpersonen in einem einzelnen virtuellen Raum reproduziert werden. Daher können Ausführungsbeispiele auf beliebige andere Kollaborationsoperationen auf der Grundlage von zumindest zwei Bedienpersonen (beispielsweise eine MR-Darstellung von Gestaltungsarbeiten einer Vielzahl von Personen, ein eine Vielzahl von Spielern erforderndes Kampfspiel) geeignet angewendet werden.
<Andere Modifikationen>
Es kann eine Modifikation vorgeschlagen werden, bei welcher mehr als drei Kameras bei dem zweiten Ausführungsbeispiel Verwendung finden.
Es ist für die Kamera 240 der Ausführungsbeispiele ausreichend, zumindest eine Markierung in durch die Kamera erfassten Bildern einzufangen. Zu viele Markierungen würden in einer Anzahl von in Bildern durch die Kamera eingefangenen Markierungen resultieren, welche eine fehlerhafte Identifikation von Markierungen bei dem vorangehenden Vorgang zur Identifikation einer aufgespürten Markierung verursachen würde, welche in Zusammenhang mit Schritt S430 von 16 und Schritt S430' von 23 beschrieben ist. Daher kann die Anzahl der Markierungen reduziert werden, so dass nur eine Markierung in den Bildern eingefangen werden kann, wenn eine Bewegung der Spieler beschränkt werden kann.
Darüber hinaus gibt die zuvor dargelegte Positions-/Positurerfassungsvorrichtung die Ansichtstransfermatrix bei einem Spieleransichtspunkt aus. Jedoch kann eine derartige Vorrichtung als eine Modifikation einen korrigierten Ansichtspunkt der Spieler in einem Format von (X, Y, Z, r, p, ϕ) ausgeben, wobei r einen Drehwinkel, p einen Neigungswinkel und φ einen Gierwinkel bezeichnen.
Wie zuvor beschrieben, kann bei den Ausführungsbeispielen der vorliegenden Erfindung, da die Operationen einer Vielzahl von Bedienpersonen durch eine einzelne Kamera oder Sensor eingefangen bzw. ermittelt werden, die zur Präsentierung bzw. Darstellung von MR erforderliche Positionsbeziehung der individuellen Bedienpersonen systematisch erkannt werden.
Außerdem wird zumindest eine Kamera in diesem Bild eingefangen, da eine Vielzahl von Markierungen durch die Kamera erfasst wird. Daher kann die Kopfposition der Bedienperson aufgespürt bzw. verfolgt werden, auch wenn sich die Bedienperson über einen breiten Arbeitsbereich oder Bewegungsbereich bewegt, wodurch eine MR-Darstellung über den breiten Bereich ermöglicht wird.
Es können viele stark verschiedene Ausführungsbeispiele der vorliegenden Erfindung vorgenommen werden, und die Erfindung ist nicht auf die vorangehenden spezifischen Ausführungsbeispiele beschränkt.

Claims

Vorrichtung zur Darstellung gemischter Realität zur Erzeugung virtueller Bilddaten für einen Betrieb, welcher durch gemeinsames Nutzen eines virtuellen Gegenstands (1500) zwischen einer Vielzahl von Bedienpersonen (2000, 3000) in einer Umgebung gemischter Realität abläuft, zur Anzeige an jeweils an der Vielzahl von Bedienpersonen angebrachten durchsichtigen Anzeigegeräten (210L, 210R), mit einer Erfassungseinrichtung (5010) zur Erfassung von Positionen von jeweiligen Bedienteilen (260L, 260R) der Vielzahl von Bedienpersonen in einem gemeinsamen Koordinatensystem aus einem einzigen erfassten Bild durch Durchführen einer Bildverarbeitung des erfassten Bilds, einer Empfangseinrichtung (5000) zum Empfang von Ansichtspunktpositionen von Sensoren (220L, 220R), wobei jeder davon an den individuellen Bedienpersonen montiert ist, einer Korrektureinrichtung (5040L, 5040R, 5040L', 5040R', 5060L, 5060R, 5060L', 5060R') zur Korrektur von Ansichtsübertragungskoeffizienten, welche zur Übertragung eines Weltkoordinatensystems in ein Kamerakoordinatensystem Verwendung finden und erlangt sind, indem die empfangenen Ansichtspunktpositionen der individuellen Bedienpersonen durch Verwendung von Bildern verwendet werden, welche durch jeweils an dem Kopf der individuellen Bedienperson montierte Kameras (240L, 204R, 240LR, 240LL, 240RR, 240RL) erfasst sind, einer Ablaufmanagementeinrichtung (5030) zum Managen eines Ablaufs des Betriebs, indem die erfassten Positionen von jeweiligen Bedienteilen (260L, 260R) der individuellen Bedienpersonen verwendet werden, und einer Erzeugungseinrichtung (5050L, 5050R) zur Erzeugung von den gemeinsam genutzten virtuellen Gegenstand (1500) repräsentierenden virtuellen Bilddaten, welche von der Ablaufmanagementeinrichtung gemanagt wird, indem die korrigierten Ansichtsübertragungskoeffizienten Verwendung finden.
Vorrichtung zur Darstellung gemischter Realität nach Anspruch 1, wobei jeder Sensor (220L, 220R) eine Position und eine Orientierung des Kopfs einer individuellen Bedienperson erfasst und die Ansichtspunktposition von der erfassten Position und der erfassten Orientierung berechnet.
Vorrichtung zur Darstellung gemischter Realität nach Anspruch 1 oder Anspruch 2, wobei die Erfassungseinrichtung (5010) dahingehend ausgestaltet ist, um die Position eines Bedienteils (260L, 260R) durch Durchführung einer Bildverarbeitung für einen lokalen Bereich des erfassten Bildes zu erfassen, welcher für jede der Bedienpersonen (2000, 3000) bestimmt ist, die das Bedienteil (260L, 260R) bedient, dessen Position einer Erfassung unterzogen ist, und wenn die Position des Bedienteils nicht in dem lokalen Bereich erfasst wird, die Erfassungseinrichtung (5010) dahingehend ausgestaltet ist, um die Position des Bedienteils (260L, 260R) durch Durchführung einer Bildverarbeitung für einen globalen Bereich des erfassten Bildes zu erfassen, das heißt den gesamten Bereich des erfassten Bildes.
Verfahren zur Darstellung gemischter Realität des Erzeugens virtueller Bilddaten für einen Betrieb, welcher durch gemeinsames Nutzen eines virtuellen Gegenstands (1500) zwischen einer Vielzahl von Bedienpersonen (2000, 3000) in einer Umgebung gemischter Realität abläuft, zur Anzeige an jeweils an der Vielzahl von Bedienpersonen angebrachten durchsichtigen Anzeigegeräten (210L, 210R), mit einem Erfassungsschritt des Erfassens von Positionen von jeweiligen Bedienteilen (260L, 260R) der Vielzahl von Bedienpersonen in einem gemeinsamen Koordinatensystem aus einem einzigen erfassten Bild durch Durchführen einer Bildverarbeitung des erfassten Bilds, einem Empfangsschritt des Empfangens von Ansichtspunktpositionen von Sensoren (220L, 220R), wobei jeder davon an den individuellen Bedienpersonen montiert ist, einem Korrekturschritt des Korrigierens von Ansichtsübertragungskoeffizienten, welche zur Übertragung eines Weltkoordinatensystems in ein Kamerakoordinatensystem Verwendung finden und erlangt sind, indem die empfangenen Ansichtspunktpositionen der individuellen Bedienpersonen durch Verwendung von Bildern verwendet werden, welche durch jeweils an dem Kopf einer individuellen Bedienperson montierte Kameras (240L, 204R, 240LR, 240LL, 240RR, 240RL) erfasst sind, einem Ablaufmanagementschritt des Managens eines Ablaufs des Betriebs, indem die erfassten Positionen von jeweiligen Bedienteilen (260L, 260R) der individuellen Bedienpersonen verwendet werden, und einem Erzeugungsschritt des Erzeugens von den gemeinsam genutzten virtuellen Gegenstand (1500) repräsentierenden virtuellen Bilddaten, welche bei dem Ablaufmanagementschritt gemanagt werden, indem die korrigierten Ansichtsübertragungskoeffizienten Verwendung finden.
Verfahren zur Darstellung gemischter Realität nach Anspruch 4, wobei jeder der Sensoren eine Position und eine Orientierung des Kopfs einer individuellen Bedienperson erfasst und die Ansichtspunktposition von der erfassten Position und der erfassten Orientierung berechnet.
Verfahren zur Darstellung gemischter Realität nach Anspruch 4 oder Anspruch 5, wobei der Erfassungsschritt die Position eines Bedienteils durch Durchführen einer Bildverarbeitung für einen lokalen Bereich des erfassten Bildes erfasst, welcher für jede der Bedienpersonen bestimmt wird, die das Bedienteil bedient, dessen Position einer Erfassung unterzogen ist, und wenn die Position des Bedienteils nicht in dem lokalen Bereich erfasst wird, der Erfassungsschritt die Position des Bedienteils durch Durchführen einer Bildverarbeitung für einen globalen Bereich des erfassten Bildes erfasst, das heißt den gesamten Bereich des erfassten Bildes.
Computerprogrammprodukt, welches Anweisungen zur Programmierung eines programmierbaren Verarbeitungsgeräts aufweist, damit es betreibbar wird, um ein Verfahren nach zumindest einem der Ansprüche 4 bis 6 durchzuführen.