DE69530395T2

DE69530395T2 - Interaktives projektiertes videobildanzeigesystem

Info

Publication number: DE69530395T2
Application number: DE69530395T
Authority: DE
Inventors: Marcel Daniel PLATZKER; Yoav Agmon; Reuven Ackner
Original assignee: Tegrity Ltd
Current assignee: Tegrity Ltd
Priority date: 1994-06-15
Filing date: 1995-06-13
Publication date: 2004-02-19
Anticipated expiration: 2015-06-14
Also published as: DE69530395D1; EP0771460A1; US5528263A; JPH09512656A; EP0771460B1; EP0771460A4; WO1995034881A1; AU2944095A

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Ermöglichen einer Interaktion mit einem präsentierten Videobild, das die folgenden Schritte aufweist:
Verwenden eines Computers, um das Videobild zu erzeugen, wobei das Videobild wenigstens einen vorbestimmten Bereich mit wenigstens einer diesem Bereich zugeordneten, gesteuerten Charakteristik aufweist,
Präsentieren des Videobilds auf einer Betrachtungsoberflä- che,
Beeinflussen des präsentierten Bildes,
visuelles Aufzeichnen des präsentierten Bildes, Einfangen eines Bildes aus der visuellen Aufzeichnung des präsentierten Bildes, das ein Resultat der Beeinflussung beinhaltet,
Vergleichen des eingefangenen Bildes mit dem vom Computer erzeugten Videobild, um das Resultat der Beeinflussung zu erfassen,
Erzeugen eines Steuersignals zum Betätigen des Computers in Reaktion auf das erfasste Resultat.
Des weiteren betrifft die vorliegende Erfindung ein interaktives Anzeigesystem für präsentierte Videobilder, das Mittel zum Erzeugen eines Videobilds, wobei das Videobild zumindest einen vorbestimmten Bereich mit wenigstens einer diesem Bereich zugeordneten, gesteuerten Charakteristik aufweist,
Mittel zum Präsentieren des Videobildes,
Mittel zum visuellen Aufzeichnen des präsentierten Bildes,
Mittel zum Einfangen eines Bildes aus der visuellen Aufzeichnung des präsentierten Bildes,
Bildunterscheidungsmittel zum Vergleichen des eingefangenen Bildes mit dem erzeugten Videobild und zum Erfassen des Resultats eines Einflusses, der auf das präsentierte Bild ausgeübt wird, und
Mittel aufweist, die auf die Bildunterscheidungsmittel ansprechen, um eine Computeroperation zu triggern, wenn das Resultat des Einflusses erfasst ist.
Solch ein Verfahren und System zum Ermöglichen einer Interaktion mit einem präsentierten Videobild ist aus der US 5 138 304 bekannt.
Die vorliegende Erfindung betrifft allgemein Anzeigesysteme für projizierte Videobilder. Insbesondere betrifft die Erfindung ein computerbasiertes Videoprojektionssystem und ein Verfahren zum Ermöglichen einer direkten Interaktion mit einem projizierten Videobild, ohne dass eine aktive Computereingabevorrichtung nötig ist.
Anzeigesysteme für projizierte Videobilder der Art, die einen Computer zum Erzeugen eines Videobildes und eine Projektionsvorrichtung zum Projizieren der computererzeugten Video bilder auf einen Vergrößerungsschirm verwenden, sind weit verbreitet, um einer Gruppe von Leuten in einer Umgebung eines Konferenzraums kleiner bis mittlerer Größe Präsentationen vorzustellen. Bei solchen Anzeigesystemen für projizierte Videos möchte man, dass ein Benutzer, der in der Nähe des Projektionsschirms (der beabstandet zum Computer angeordnet ist) steht, Informationen interaktiv in den Computer eingeben kann, um neue Bilder während der Präsentation zu modifizieren oder zu erzeugen.
Der herkömmliche Weg, eine Interaktion mit einem Computer zu ermöglichen, erfordert das Verwenden eines "aktiven" Elements oder einer Computereingabevorrichtung, um eine Steuerung der Cursorbewegung zu ermöglichen. Beispiele allgemeiner Computereingabevorrichtungen umfassen absolute Positionierer, wie z. B. Lichtstifte und Digital sierungstablette, und auch relative Positionierer, wie z. B. Joysticks, Mäuse und Trackball-Geräte. Solche aktiven Eingabevorrichtungen schränken normalerweise eine effektive Verwendung in Anzeigesystemen für projizierte Videobilder zu sehr ein. z. B. erfordern absolute Positionierer, wie z. B. herkommliche Lichtstifte, dass der Benutzer direkt mit der Videoschirmanzeige des mit dem Computer verbundenen Monitors interagiert. Dies stört die Spontanität der Präsentation, da der Benutzer wiederholt zwischen dem Computermonitor und dem Projektionsschirm vor und zurück laufen muss, wenn der Benutzer das computererzeugte Videobild ändern möchte. Im Falle relativer Positionierer, wie z. B. Trackball-Geräten oder Mäusen, muss der Benutzer im Manipulieren des Trackballs oder der Maus im Raum geschickt sein. Dies kann unangenehm sein und erfordert gewöhnlich den Gebrauch beider Hände (d. h. eine Hand, um den Trackball oder das Mousepad im Raum zu halten, und die andere Hand, um den Trackball oder die Maus zu manipulieren, um den Cursor zu bewegen). Eine solche zweihändige Operation stört ebenfalls den natürlichen Präsentationsfluss.
Anzeigesysteme für projizierte Videobilder, die einen Handlichtstift verwenden, um es einem Benutzer zu ermöglichen, Licht hoher Intensität direkt auf einen Projektionsschirm zu strahlen, der ein computererzeugtes Bild überträgt, um einem Computer Hilfsinformationen zu liefern, sind aus dem Stand der Technik bekannt. In solchen Systemen gemäß dem Stand der Technik wird eine optische Abfühl- bzw. Abtasteinrichtung verwendet, um das Licht hoher Intensität zu erfassen, das auf das projizierte Bild auf dem Schirm gerichtet ist. Signalverarbeitungsvorrichtungen werden zum Unterscheiden der Änderungen des reflektierten Lichts auf den projizierten Bildern von den computererzeugten Bildern verwendet, um Informationen interaktiv in den Computer einzugeben. Beispielhafte Systeme werden in US 5 138 304 (oben erwähnt), das an Barry Bronson erteilt ist, und US 5 181 015 offenbart, das an Roger L. Marshall et al. erteilt ist.
Ein Nachteil bei den oben beschriebenen bekannten Systemen ist jedoch, dass die optische Abfühleinrichtung und verbundene Signalverarbeitungsvorrichtungen typischerweise ein Design für den speziellen Zweck aufweisen und deshalb teuer sind. Auch das Erfordernis einer aktiven Eingabevorrichtung, d. h. des Lichtstifts, ist ebenfalls nachteilig, da der Lichtstift während einer Präsentation auf einfache Weise deplaziert, fallengelassen oder beschädigt werden kann oder die Batterien sich leeren können.
Des weiteren offenbart das Dokument EP A 0 535 988 eine Dateneingabevorrichtung, wobei das Bild einer Oberfläche einer Operationseingabeeinheit (z. B. eine physische Mitteilungstafel in einem medizinische Behandlungssystem) von einer Fernsehkamera aufgenommen wird und, wenn eine Änderung in der Helligkeit eines vorbestimmten Markierungsbereichs des von der Kamera aufgenommenen Bildes auftritt, eine Beurteilungseinheit für eine Operationsposition beurteilt, dass ein Operationselement bei der Position der Helligkeitsänderung durch die Bedienungsperson bedient wurde (z. B. um eine Krankenschwester zu rufen). Es wird zitiert, dass es möglich ist, die Konstruktion eines Operationseingabesystems zum Bilden von Operationseingabeinformationen zu vereinfachen, da keine Signal- bzw. Stromleitung benötigt wird, um die Operationseingabeeinheit (Mitteilungstafel) mit der Eingabevorrichtung zu verbinden.
Das Dokument GB A 2 173 079 offenbart eine Steuervorrichtung für eine Cursoranzeige, wobei Ausrichtungs- bzw. Justiermittel die Richtung einer Sichtlinie bestimmen, die sich vom Kopf eines Beobachters zu einem Anzeigeservice erstreckt. Des weiteren umfasst die Vorrichtung Projektionsmittel zum Projizieren eines Bildes eines Rasters in die Sichtlinie, um damit bewegt zu werden, und Steuermittel, die betrieben werden können, um die Anzeige eines beweglichen Cursors auf der Anzeigeoberfläche zu bewirken, wenn die Sichtlinie die Anzeigeoberfläche schneidet. Ein solches System kann in einem Cockpit eines Flugzeugs verwendet werden.
Schließlich offenbart EP 0 055 366 A ein System zum Fernanzeigen und Abtasten von Informationen unter Verwendung eine r Schattenparallaxe. Ein Informationsbild wird durch eine Licht punktabtastvorrichtung auf einen Arbeitsbereich abgebildet. Die Vorrichtung umfasst sowohl ein Anzeigesystem als auch eine Vielzahl von nicht-überlappenden Sensoren, die Bilder empfangen, die in einer Perspektive gleich sind, sich aber in einer Schattenanordnung (shadow placement) unterscheiden. Ein Computersystem, das einen Prozessor und einen Speicher umfasst, steuert, was verschoben wird, und interpretiert die Informationen, die von den Sensoren empfangen werden.
Es wäre angesichts des oben Erläuterten wünschenswert, einen natürlicheren und unauffälligeren Weg zu schaffen, es einem Benutzer zu ermöglichen, mit einem Computer eines Anzeigesystems für projizierte Videobilder zu interagieren, um das projizierte Bild zu modifizieren. Es wäre auch wünschenswert, ein Anzeigesystem für projizierte Videobilder zu schaffen, das keine aktive Eingabevorrichtung, wie z. B. einen Lichtstift, eine Maus, einen Trackball, etc., erfordert, um Änderungen in einen Computer einzugeben. Insbesondere wäre es wünschenswert, ein interaktives Anzeigesystem vorzusehen, das ein besonderes Merkmal eines Musters optisch erkennen würde, das durch die Kombination des projizierten Videobildes und eines vom Benutze r über das projizierte Bild geführten Objekts geschaffen ist, um eine gewünschte Computeroperation zu triggern. Schließlich wäre es auch wünschenswert, ein solches interaktives Anzeigesystem für projizierte Videos zu schaffen, das das Erfordernis nach einer speziellen Verwendung und teurer optischer Abfühlkomponenten und verbundener Signalverarbeitungsvorrichtungen erübrigt.
Diese Aufgaben werden durch das Verfahren eines Ermöglichens einer Interaktion mit einem präsentierten Videobild der eingangs erwähnten Art gelöst, wobei der Schritt des Beeinflussens des präsentierten Bilds durch Einführen eines speziellen Musters oder einer Musteränderung über das präsentierte Bild auf der Betrachtungsoberfläche für eine vorbestimmte minimale Zeitspanne durchgeführt wird, wobei das eingefangene Bild das spezielle Muster oder die Musterveränderung enthält, wobei der Vergleichsschritt erfolgt, um das Vorhandensein des speziellen Musters oder der Musterveränderung in dem vorbestimmten Bereich in Relation zu der wenigstens einen gesteuerten Charakteristik zu erfassen, und das Steuersignal in Reaktion auf das Vorhandensein des speziellen Musters oder der Musterveränderung erzeugt wird.
Des weiteren werden die oben genannten Aufgaben durch ein interaktives Anzeigesystem für präsentierte Videobilder gelöst, wie es eingangs erwähnt ist, wobei die Bildunterscheidungsmittel dazu ausgelegt sind, ein spezielles Muster oder eine Musterveränderung zu unterscheiden, das bzw. die über das präsentierte Bild eingeführt ist, und das Vorhandensein des speziellen Musters oder der Musterveränderung, das bzw. die in dem vorbestimmten Bereich. über das präsentierte Bild eingeführt ist, und dessen Relation zu der wenigstens einen gesteuerten Charakteristik zu erfassen, und wobei die Mittel die Computeroperation triggern, wenn das eingeführte spezielle Muster oder die Musterveränderung erfasst wird.
Im Allgemeinen sieht die vorliegende Erfindung ein interaktives Anzeigesystem für projizierte Videobilder vor, das einen Computer zum Erzeugen von Videobildern, eine Projektionsvorrichtung, die an den Videoausgangsport des Computers zum Projizieren von computergenerierten Videobildern auf einen Projektionsschirm angeschlossen ist, und eine optische Aufzeichnungsvorrichtung aufweist, wie z. B. eine herkömmliche Videokamera, die auf die Projektionsoberfläche gerichtet ist, um das projizierte Bild visuell aufzuzeichnen. Der Computer umfasst eine Bildfangschaltungsplatte oder ähnliche Bildeinfangmittel, die an die Videokamera zum Einfangen individueller Rahmen oder Serien von Rahmen aus der Videoaufzeichnung des projizierten Bilds gekoppelt ist bzw. sind. Die eingefangenen Bilder werden dann mit den computergenerierten Bildern verglichen, um das Vorhandensein eines Objekts mit einem bestimmten Merkmal oder einem erkannten Muster/Merkmal zu erfassen, das durch die Kombination des eingeführten Objekts und des Videobildes geschaffen ist. Das erfasste Objekt zeigt dem Computer einen Befehl an, wie z. B. das Videobild zu modifizieren.
Das Objekt wird während einer Präsentation durch einen Benutzer über das projizierte Bild eingeführt. Das Objekt kann irgendein geeignetes Zeigeelement mit einem wiedererkennbaren Merkmal, wie z. B. eine Hand oder Finger des Benutzers, die in einer besonderen Orientierung oder einem besonderen Winkel gehalten wird bzw. werden, ein Zeiger, ein Stift etc., umfassen. Die Mittel zum Erfassen des Zeigeelements und zum Aktivieren des Computers, um bestimmte Aufgaben durchzuführen, wird vorzugsweise von einem Softwareprogramm verkörpert, das in Übereinstimmung mit bekannten Bilderverarbeitungsalgorithmen und techniken geschrieben ist.
In einem ersten Betriebsmodus könnte der Benutzer ein "Anklicken" einer Taste simulieren, die im projizierten Bild enthalten ist. Die Taste enthält einen Befehl, um dem Computer zu signalisieren, eine gewisse Aufgabe auszuführen, wie z. B. zum nächsten Bild fortzuschreiten, ein Bild in einem Speicher zu speichern, etc. In diesem Modus ist der Ort der Taste vorbestimmt und dem Computer bekannt. Der Benutzer platziert das Zeigeelement über der Taste auf dem Projektionsbild. Während dieser Zeit zeichnet die Videokamera diese Aktivität auf.
In Übereinstimmung mit dem Merkmalserkennungsvorgang wird die Bildfangschaltung einen einzelnen Rahmen einfangen, der die Taste und den Zeiger beinhaltet. Dann wird ein Durchsuchen eines Blockbereichs auf dem eingefangenen Bild durchgeführt, der dem Tastenort entspricht. Bei einer Erfassung des Zeigeelements wird ein Aktivierungssignal erzeugt, und der Computer wird den Befehl ausführen, der der ausgewählten Taste entspricht.
Bei einer einfachen Anwendung des ersten Betriebsmodus, wobei die Anwendung nicht zur Erfindung gehört, wird eine Grauwertvergleichstechnik verwendet, um die Menge des Schattens zu prüfen, die in der projizierten Taste vorhanden ist, indem mit anderen Teilen der Projektionsoberfläche verglichen wird, wo die Lichtintensität bekannt ist, oder indem mit dem Niveau des Schattens (level of shadowing) verglichen wird, das ursprünglich beim gleichen Tastenbereich gemessen wurde. In diesem Fall könnte der Benutzer die projizierte Taste durch einfaches Halten seiner oder ihrer Hand oder eines anderen Objekts "anklicken", um die projizierte Taste für eine bestimmte Zeitdauer zu blockieren bzw. abzudecken.
Der Berührungserfassungsvorgang, der in dem oben stehenden Absatz beschrieben ist, ist algorithmisch sehr einfach, aber durch eine Anzahl von Ereignissen einem "falschen" Triggern unterworfen, die während der interaktiven Sitzung auftreten können. Beispiele dieser Ereignisse umfassen: (1) eine zufällige oder unbeabsichtigte Verdunklung durch einen Benutzer, wie es z. B. passieren könnte, wenn der Benutzer vor den projizierten Tasten läuft; und (2) plötzlichen Änderungen in der lokalen Ausleuchtung des projizierten Bereichs durch externe Quellen (z. B. Türen werden geöffnet, die Raumbeleuchtung wird an- oder ausgeschaltet). Um das System gegen solche Ereignisse zu desensibilisieren, wird eine. Technik verwendet, die eine räumliche Lokalisierung und eine zeitliche Konsistenz erfordert. Der Computer untersucht nicht nur das Zielgebiet der Tasten, sondern untersucht auch andere benachbarte Gebiete bzw. Bereiche, die das Zielgebiet umgeben. Falls irgendwelche dieser umgebenden Gebiete oder "unsichtbaren Tasten" auch verdunkelt werden, dann wird die Berührungserfassung gesperrt. Die Technik kann modifiziert werden, um es einigen der unsichtbaren Tasten zu erlauben, verdunkelt zu werden, aber nicht anderen, so dass es dem Benutzer ermöglicht wird, seinen oder ihren Arm dort hindurchzustrecken, um die gewünschte Taste im Zielgebiet zu berühren bzw. zu drücken. Wir bezeichnen dieses Konzept als "differenzielles" Berühren. Außerdem wird ein Erfordernis für die Verdunkelungskonfiguration, die für eine bestimmte Zeitdauer aufrecht zu erhalten ist, auch verwendet, um ein Triggern während des Durchgang eines Benutzers durch das Sichtfeld zu verhindern.
Bei einer fortschrittlicheren Anwendung des ersten Betriebsmodus gemäß der Erfindung könnte der Computer in Übereinstimmung mit mehreren fortgeschrittenen Bildverarbeitungstechniken programmiert sein, wie z. B. einer Merkmalsextraktion oder einer Musterkorrelation, um nach speziellen Mustern oder Mus teränderungen zu suchen, die im eingefangenen Bild vorhanden sind, wenn es mit dem Projektionsbild verglichen wird. Solche speziellen Muster könnten z. B. ein durch einen Stift gebildetes Kreuz umfassen, das über die projizierte Linie gelegt wird, die in einer projizierten Taste enthalten ist. Der Computer könnte auch programmiert sein, um andere spezielle Merkmale, wie z. B. Profile, eine Größe, eine Farbe, etc., oder spezielle Bewegungen des eingeführten Objekts zu suchen, wie z. B. eine Handbewegung, die einem Setzen einer Prüfmarkierung entspricht.
In einem zweiten Betriebsmodus könnte der Benutzer Markierungspunkte auf dem projizierten Videobild simulieren. In diesem Modus sind dem Computer die gewünschten Markierungsorte schon bekannt. Der Benutzer markiert den Ort durch Zeigen unter Verwendung eines Zeigeelementes oder eines Zeigers (mit einem Muster oder einer Stellung, die vom Computer erkannt werden kann). Bei einer bevorzugten Ausführungsform der Erfindung markiert der Benutzer die Punkte durch Berühren des Projektionsschirms. Das Berühren des Projektionsschirms mit einem Zeigeelement oder einem Zeiger (mit einem Muster oder einem Merkmal, das vom Computer erkannt werden kann) kann wieder. unter Verwendung von bekannten Grauwertvergleichstechniken verifiziert werden, um zu erfassen, wann der Zeiger seinen eigenen Schatten trifft. Alternativ könnte eine zweite Videokamera, die unter einem seitlichen Winkel relativ zum Projektionsschirm orientiert ist, verwendet werden, um zu verifizieren, dass der Zeiger tatsächlich die Oberfläche des Projektionsschirms berührt.
Bei einer fortschrittlicheren Anwendung des zweiten Betriebsmodus wird das Zeigeelement in Kombination mit dem proji zierten Video verwendet, um ein vorbestimmtes Merkmal zu erzeugen, um Punkte auf dem Bild zu markieren. Beispielsweise könnte das projizierte Videobild eine Serie von gleich beabstandeten vertikalen Linien umfassen, die das gesamte Bild abdecken. Der Benutzer markiert einen Punkt, indem ein erkennbares Kreuzmuster durch Halten des Zeigerelements über eine der vertikalen Linien erzeugt wird. Fortschrittlichere Merkmale können durch Kombinieren von mehreren komplizierten bzw. anspruchsvollen Mustern im Videobild erzeugt werden.
Bei einer weiteren Anwendung des zweiten Betriebsmodus könnte der Benutzer den Zeiger als Steuermittel für einen Videocursor benutzen, wie z. B. eine Mauszeigervorrichtung oder ein Lichtstift., um handgeschriebenen Text oder gezeichnete Linien, Kurven oder andere graphische Objekte direkt auf das projizierte Bild einzugeben.
Als weitere Anwendung des zweiten Betriebsmodus ist es möglich, eine vollständige Simulation einer Maus zu implementieren, die mit irgendeiner Standardanwendung arbeitet, die eine reguläre Maus als Eingabevorrichtung verwendet.
Andere und weitere Aufgaben der vorliegenden Erfindung werden aus der folgenden Beschreibung und den Ansprüchen klar werden und werden in den beigefügten Zeichnungen veranschaulicht, die im Wege einer Veranschaulichung bevorzugte Ausführungsformen der vorliegenden Erfindung und deren Prinzipien zeigen und die nun als die besten Ausführungen angesehen werden, die zum Anwenden dieser Prinzipien gedacht sind.
1 ist eine schematische Ansicht eines interaktiven Anzeigesystems für projizierte Videobilder gemäß einer Ausführungsform der vorliegenden Erfindung.
2 ist eine schematische Ansicht eines Systems, das ähnlich der 1 ist, gemäß einer zweiten Ausführungsform der vorliegenden Erfindung.
3A ist ein Flussdiagramm, das den Vorgang eines Anklickens einer Taste zum Initialisieren einer Modifikation des projizierten Videobilds beschreibt und zeigt.
3B ist eine vergrößerte schematische Ansicht einer projizierten Taste, die in einem projizierten Videobild beinhaltet ist und die ein Objekt mit einem besonderen Merkmal zeigt (in diesem Fall eine Hand eines Benutzers), das über die projizierte Taste eingeführt wird.
3C ist eine schematische Ansicht einer projizierten Tante, die ähnlich zu 3B ist, außer dass in diesem Fall die projizierte Taste eine projizierte vertikale Linie umfasst und das Objekt, das ein besonderes Merkmal aufweist, ein Zeiger ist.
4 ist eine schematische Ansicht eines projizierten Videobilds eines Menüfensters, das den allgemeinen Zeige- und Positioniermodus einer Operation der vorliegenden Erfindung veranschaulicht.
5A-6 veranschaulicht einen Videomaus-Gesichtspunkt der Erfindung.
5A zeigt schematisch ein projiziertes Videobild mit einem ersten aktivierten Pop-up-Menüfenster, das eine Liste von benutzerwählbaren Befehls-Items bzw. -punkte für ein Durchführen herkömmlicher Mausoperationen beinhaltet.
5B zeigt schematisch ein projiziertes Videobild mit einem zweiten aktivierten Pop-up-Menüfenster, das ein einzelnes benutzerwählbares Befehls-Item zum Beenden einer Mausoperation beinhaltet.
6A-6B ist eine zweiteilige Serie, die ein Flussdiagramm veranschaulicht, das den Vorgang des Simulierens einer Videomaus-Operation auf einem projizierten Videobild beschreibt und zeigt.
Die folgende detaillierte Beschreibung veranschaulicht die Erfindung im Wege eines Beispiels und nicht im Wege einer Einschränkung der Prinzipien der Erfindung. Diese Beschreibung wird es, einem Fachmann klar ermöglichen, die Erfindung nachzuvollziehen und zu benutzen, und beschreibt mehrere Ausführungsformen, Anpassungen, Variationen, Alternativen und Verwendungen der Erfindung, inklusive dem, was wir zur Zeit für die beste Ausführungsform der Erfindüng halten.
1 zeigt eine verallgemeinerte schematische Ansicht eines Videobild-Anzeigesystems 10 in Übereinstimmung mit einer Ausführungsform der vorliegenden Erfindung.
Das System umfasst einen Computer 12 zum Erzeugen und Anzeigen eines Videos auf einem Monitor 16 (optional). Wie es üblich ist, ist der Monitor 16 an den Videoausgangsport 12a des Computers 12 gekoppelt. An den Videoausgangsport ist auch eine Vorrichtung 18 zum Vorsehen einer vergrößerten Präsentation (Projektion) des Videobilds, das vom Computer 12 erzeugt wird, gekoppelt. Bei einer bevorzugten Ausführungsform umfasst die Vorrichtung 18 ein herkömmliches Flüssigkristallanzeige-Panel 20 (LCD-Panel) und einen Overhead-Projektor 22. Das LCD-Panel 20 empfängt ein Videobildsignal, das vom Computer 12 eingegeben wird, und erzeugt Lichtbilder, die dann vom Overhead-Projektor 22 als projiziertes Bild 24 auf eine Betrachtungsoberfläche, wie z. B. einen Projektionsschirm 26, projiziert werden. Der Projektionsschirm 26 könnte irgend ein flacher Schirm sein und vorzugsweise eine helle Oberfläche aufweisen, wie z. B. die allgegenwärtige weiße Wand, die in den meisten Konferenzbüroräumen zu finden ist. Bei dem gezeigten Beispiel sind zwei projizierte Tasten ("buttons") 32 und 34 im projizierten Bild 24 enthalten.
Während die Vorrichtung 18 als ein separates LCD-Panel und einen Overhead-Projektor 22 umfassend beschrieben ist, ist es klar, dass einzelne Maschinen, die zum Empfangen und Projizieren von Videobilddaten fähig sind, erhältlich sein werden und vorteilhafterweise beider vorliegenden Erfindung verwendet werden könnten.
Das System 10 umfasst des weiteren eine optische Abfühlbzw. Abstasteinrichtung, wie z. B. eine Videokamera 28a zum visuellen Aufzeichnen des projizierten Bilds 24. Die Videokamera 28a ist an den Videoausgangsport 12b des Computers 12 gekoppelt. Der Videoausgangsport 12b des Computers umfasst eine herkömmliche Bildfangschaltungsplatte oder äquivalente Mittel zum Einfangen von Bildern, um wahlweise individuelle Rahmen oder Gruppen von Rahmen des projizierten Bilds, wie es von der Videokamera 28a aufgezeichnet ist, einzufangen. Eine oder mehrere zusätzliche Videokameras, die allgemein bei 28b,...,28n angegeben sind, könnten umfasst sein, um eine verbesserte Merkmalserfassungsfähigkeit des Systems 10 zu schaffen. Dies wird nachfolgend detaillierter unter Bezugnahme auf den zweiten Betriebsmodus erläutert.
Der Computer 12 ist programmiert, die eingefangenen Bilder mit dem originalen Videobild zu Vergleichen. Bei Erfassung gewisser erkannter Objekte, die ein besonderes Merkmal aufweisen, die im eingefangenen Bild vorhanden sind, oder bei Erfassung eines wiedererkennbaren Musters, das aus der Kombination eines eingeführten Objekts und eines existierenden Merkmals,. das im projizierten Bild enthalten ist, gebildet wurde, wird ein Signal erzeugt, um den Computer zu aktivieren, um einen bestimmten Befehl durchzuführen, wie z. B. das Videobild zu modifizieren, ein eingefangenes Bild im Speicher zu speichern, etc.
2 zeigt eine alternative Ausführungsform des Systems 10 der vorliegenden Erfindung. Die Systemkomponenten, die der ersten Ausführungsform der 1 und der zweiten Ausführungsform der 2 gemein sind, werden mit den gleichen Bezugsziffern angegeben. Die zweite Ausführungsform der 2 unterscheidet sich von der ersten Ausführungsform der 1 darin, dass ein Videobild 24 nicht projiziert sondern anstatt dessen als vergrößert angezeigtes Bild 24a auf einer Großbild-Videoanzeige 26a präsentiert wird. Die Großbild-Videoanzeige 26a ist direkt an den Videoausgangsport 12a des Computers 12 gekoppelt. Bei diesem Beispiel sind zwei angezeigte Tasten 32a und 34a im angezeigten Bild 24a enthalten.
Wie oben erläutert, umfasst die bevorzugte optische Abtasteinrichtung mindestens eine Videokamera 28a, die ein kontinuierliches visuelles Aufzeichnen des projizierten oder angezeigten Videobilds ermöglicht. Jedoch ist klar, dass andere optische Abtasteinrichtungen, wie z. B. ein ladungsgekoppelter Bildsensor (CCD-Bildsensor) oder eine Kamera anstatt der Videokamera mit gleich guten Resultaten verwendet werden könnten. Wie der Fachmann sofort einsehen wird, könnte eine geeignete Signalverarbeitungsvorrichtung oder -software mit einem CCD-Bildsensor oder einer Kamera gekoppelt werden, um die aufgezeichneten Bilder in eine Form umzuwandeln, die für den Computer für einen Bildvergleich mit den originalen, bekannten videoerzeugten Bildern brauchbar ist.
Das Verfahren und die Vorrichtung zum Ermöglichen einer direkten Interaktion mit einem computererzeugten projizierten Bild und zum Simulieren einer Videoversion einer Computereingabevorrichtung wird nun mit Bezug auf zwei beispielhafte Betriebsmodi des Systems 10 erklärt werden.
MODUS EINS: AUSWÄHLEN (ANKLICKEN) EINER TASTE
Bezug nehmend auf 1, 2 und 3A-3C wird ein erster Betriebsmodus zum Auswählen oder "Anklicken" einer Taste beschrieben werden, die im projizierten oder angezeigten Bild enthalten ist. Das projizierte Bild (1) oder das angezeigte Bild (2) enthält "Befehle" für den Benutzer. Diese „Befehle" sind mit den projizierten oder angezeigten Tasten verknüpft, die in dem projizierten oder angezeigten Bild jeweils enthalten sind. Der Benutzer könnte einen Maus-Klick oder Platzieren eines Objekts, wie z. B. eines Zeigers, über der gewünschten projizierten oder angezeigten Taste simulieren.
Unter Bezugnahme auf das verallgemeinerte Flussdiagramm der 3A wird der Vorgang zum Anklicken einer einzelnen Taste beschrieben werden. Während einer Präsentation gibt der Benutzer Informationen in das projizierte oder angezeigte Bild ein, indem er entweder Informationen schreibt oder Veränderungen durch Auswählen einer gewünschten. Taste bewirkt. Während der gesamten Zeit zeichnet die Videokamera 28a kontinuierlich diese Änderungen auf. Die Bildfangschaltung fängt einen einzelnen Rahmen der Videoaufzeichnung ein (Schritt 40). Als nächstes liest der Computer (beim Schritt 42) einen Blockbereich des von der Bildfangschaltung eingefangenen Rahmens, der dem Ort einer ersten Taste entspricht. Dieser Blockbereich befindet sich an einem Ort, der dem Computer bekannt ist. Als nächstes wird der Blockbereich auf das Vorhandensein eines Objekts mit einem bestimmten Merkmal oder einem wiedererkennbaren Muster geprüft (Schritt 44). Falls (beim Schritt 46) das Objekt oder das erkannte Muster im Block gefunden wird, führt der Computer eine bestimmte Steuerfunktion aus, die mit der ausgewählten Taste verknüpft ist (Schritt 50). Falls es keine Übereinstimmung gibt oder falls das Objekt oder das Muster nicht existiert, dann wird keine Computeroperation getriggert. Der oben erwähnte Vorgang wird für jeden eingefangenen Rahmen wiederholt.
Für den Fall, dass zwei oder mehrere Tasten im projizierten oder angezeigten Bild enthalten sind, werden die Vorgangsschritte 42-46 so lange wiederholt, bis alle Blöcke, die allen Tastenorten im projizierten oder angezeigten Bild entsprechen, auf wiedererkennbare Muster geprüft sind, bevor zum nächsten eingefangenen Rahmen fortgeschritten wird.
Der Merkmals- oder Wiedererkennungsalgorithmus könnte irgendeinen von vielen bekannten Algorithmen verwenden, inklusive, aber nicht beschränkt auf, binäre Verfahren, Grauwertverfahren etc. Dem Fachmann ist klar, dass das gewählte besondere Verfahren zum Großteil vom Mustertyp oder dem zu erkennenden Merkmal abhängt.
Die Bildunterscheidung wird vorzugsweise in einer Software in der Form eines Musterkorrelation- oder Merkmalsextraktions-Algorithmus implementiert. Techniken zum Erfassen von Merkmalen in digitalen Bildern sind im Stand der Technik wohlbekannt. Beispielhafte Referenzen, die solche Techniken offenbaren, sind: Digital Picture Processing, Azriel Rosenfeld und Avinash Kak, Vol. II, zweite Auflage, Academic Press, 1982; Digital Imaqe Processing, Rafael C. Gonzales, Richards E. Woods, Addison-Wesley Publishing Co., 1992; und Computer Vision, Dana H. Ballard, Christopher M. Brown, Prentice-Hall, 1982.
Die 3B-3C zeigen Beispiele von Objekten mit einem bestimmten Merkmal, die über einer projizierten Taste 32 eingeführt sind. In der 3B repräsentiert die Taste 32 den Befehl "weiter". Bei einer Operation führt der Benutzer 30 seine oder ihre Hand 31 (oder andere erkannte Zeigeelemente) über die Taste 32, um ein Anklicken der Taste 32 zu simulieren, um ein neues Videobild 14 zu erzeugen.
In der 3C enthält die projizierte Taste 34 eine projizierte vertikale Linie 36. Der Benutzer führt einen Zeiger, wie z. B. ein Lineal 38, über die Taste, um ein Kreuz zu bilden. Das Kreuz repräsentiert ein spezielles Muster, das vom Computer erkannt werden kann, um einen gewünschten Befehl auszuführen. Bei dem gegebenen Beispiel signalisiert der Befehl "Einfangen" dem Computer, das eingefangene Bild in einer Datei im Speicher des Computers zu speichern.
Vorzugsweise werden nur solche Teile des eingefangenen Bildes in einem Speicher gespeichert, die neue oder aktualisierte Informationen enthalten. Mit anderen Worten, in Übereinstimmung mit einem vorteilhaften Aspekt der Erfindung ist es nun möglich, gerade die Differenz zwischen dem eingefangenen Bild und dem projizierten Bild zu speichern. Dies wird getan, um Speicherraum einzusparen, da Grafikdateien typischerweise speicherintensiv sind. Das eingefangene Bild könnte zu einer späteren Zeit erneut aufgerufen werden, um als projiziertes Bild erneut zu erscheinen. Alternativ könnten mehrere eingefangene Bilder, die in einem Speicher gespeichert wurden, gleichzeitig wieder aufgerufen werden, wobei jedes mit dem anderen überlagert wird, um einen. Mehrfachschichteffekt zu schaffen. Ein solches Mehrfachschicht-Merkmal ist besonders vorteilhaft, wenn es in Kombination mit einem Projektionsschirm in der Form einer weißen Tafel verwendet wird, wodurch ein oder mehrere Benutzer auf der Tafel mit löschbaren Tintenstiften verschiedener Farben zeichnen könnten. Auf diese Weise können mehrere Versionen des projizierten Bilds, das verschiedene Änderungen in löschbarer Tinte enthält, eingefangen, in einem Speicher gespeichert und dann erneut für ein nachfolgendes mehrfaches einanderschichten übereinander aufgerufen werden, um eine sofort verständliche visuelle Chronologie der Änderungen während der projizierten Videopräsentation vorzusehen.
MODUS ZWEI: ALLGEMEINES ZEIGEN UND POSITIONIEREN
4 veranschaulicht den allgemeinen Zeige- und Positioniermodus einer Operation der Erfindung. Bei diesem Beispiel umfasst das projizierte Bild eine Menüleiste 50, die Menüpunkte 52a, 52b,...,52n enthält, und ein allgemeines Positions- und Zeigefeld 54. Bei diesem Modus sucht der Computer das gesamte eingefangene Bild ab, um das Vorhandensein eines Objekts irgendwo auf dem Bild zu erfassen.
Falls das Objekt über einem der Menüpunkte 52a, 52b,...,52n erfasst wird, wird der Computer die Aufgabe, die mit dem ausgewählten Menüpunkt verknüpft ist, in Übereinstimmung mit dem ersten Betriebsmodus, der oben beschrieben ist, ausführen. Falls das Objekt im allgemeinen Positions- und Zeigefeld erfasst wird, wird der Computer einen Punkt erzeugen oder einen Cursor an dem Ort positionieren, der dem entspricht, wo der Benutzer das Objekt platziert hat. Bei dem gezeigten Beispiel sucht der Computer nach einem Objekt in Form von zwei Fingern 60, die sich in die Zeigeposition erstrecken. In diesem Fall wurden zwei Markierungen 56 und 58 an Orten auf dem projizierten Bild erzeugt, wo die zwei Finger 60 des Benutzers platziert wurden.
Der Vorgang des Markierens eines Punktes bei der allgemeinen Positionierung kann durch Programmieren des Computers, nach einem speziellen Merkmal oder Merkmalen zu suchen, die durch die Kombination des Zeigerelementes und des projizierten Bilds erzeugt sind, implementiert werden. Wie z. B. in 4 zu sehen ist, könnte das projizierte Bild mit gleich beabstandeten vertikalen Linien 53a-53n versehen sein. Der Benutzer kann dann schnell einen Punkt bei 59 durch Platzieren seiner oder ihrer Finger 57 über der vertikalen Linie 53c markieren, um eine Kreuzform zu bilden. Die Kreuzform kann vom Computer unter Aufwendung lediglich eines minimalen Verarbeitungsaufwands zum Erfassen dieses einfachen Musters wiedererkannt werden. Der Computer kann programmiert sein, ein fortschrittlicheres Merkmal oder Merkmale zu suchen und zu erkennen, indem ein komplizierteres Muster im Videobild eingeschlossen wird.
Bei einer weiteren Anwendung des zweiten Betriebsmodus könnte der beschriebene Merkmalserkennungsvorgang in einem Front-End-Anwendungsprogramm implementiert sein, um eine Maus zum Zugreifen auf Informationen anderer zur Zeit laufender Programme und zum Herumbewegen innerhalb der verschiedenen Anwendungen auf dem Schirm zu simulieren. Eine solche Anwendung ist bei jedem Computer mit einem Betriebssystem möglich, das eine Schnittstelle für eine Maus oder einen stiftähnlichen Typ unterstützt. Ein Beispiel eines solchen Betriebssystem ist WINDOWS^TM (WINDOWS^TM ist eine Marke der Microsoft Corp.). Dies kann bspw. durch Umfassen eines Maustreibers, der als Software geschrieben ist, innerhalb des Front-End-Anwendungsprogramms getan werden, was eine Reihe von Pop-up-Menüfenstern ermöglichen wird, die benutzerwählbare Befehlspunkte enthalten, die Basismausoperationen entsprechen. Die Auswahl eines gewünschten Befehlspunkts zum Ausführen einer bestimmten Mausoperation kann durch Platzieren eines "erkannten" Objekts (z. B. eines Zeigers, der Hand oder Finger eines Benutzers, die auf eine besondere Weise gehalten werden, etc.) über den gewünschten Befehlspunkt erreicht werden, der in dem Pop-up-Menüfenster im projizierten Bild in Übereinstimmung mit dem Merkmalserkennungsvorgang angezeigt ist, wie oben erläutert. Der Maustreiber der vorliegenden Erfindung simuliert vorzugsweise die folgenden vier Basisoperationen einer Maus, die die meisten herkömmlichen Maustreiber gemeinsam haben:

(1) "Maus Runter" entspricht der Senkung einer Maustaste;
(2) "Maus Hoch" entspricht dem Loslassen einer Maustaste;
(3) "Doppel Klick" entspricht dem zweimaligen Senken und Loslassen einer Maustaste; und
(4) "Maus Bewegung" entspricht der Bewegung der Maus an einen neuen Ort.

Gemäß herkömmlicher Cursorsteuertechniken wird der Maustreiber eine Nachricht an das Betriebssystem schicken, die angibt, dass ein besonderes Ereignis aufgetreten ist, wenn ein Befehlspunkt, der der Mausoperation entspricht, die mit diesem Ereignis verbunden ist, aus dem verbundenen Pop-up-Menüfenster ausgewählt wurde. Zusätzlich werden auch die (x, y)-Koordinaten der. Maus zu der Zeit, wo das Ereignis stattfand, an das Betriebssystem gesendet werden. Ein einzelnes Anklicken der Maus wird als eine Kombination von "Maus Runter" und "Maus Hoch"-Operat onen ohne ein Bewegen der Maus durchgeführt. Auf diese Weise könnte der Benutzer die gewünschte Mausoperation einfach auswählen, um einen einzelnen Mausklick, einen doppelten Mausklick, ein Ziehen der Maus etc., zu simulieren, um die gewünschte Funktion des aktuellen Betriebsprogramms, wie z. B. ein Anklicken, ein Zeichnen einer Linie, ein Zeichnen einer Kurve, Fassen und Fallenlassen etc, durchzuführen.
5A-5B veranschaulichen im Wege eines Beispiels ein projiziertes Bild 26, das eine Bildschirmanzeige darstellt, die mit einem WINDOWS^TM-Paintbrush-Programm verknüpft ist. In dem gezeigten Beispiel zeigt das projizierte Bild 26 das Haupt-Paintbrush-Fenster und zeigt die Punkte (Items) im Haupt-Paintbrush-Fenster inklusive der oberen Menüleiste 62 (mit Befehlspunkten wie z. B. "Datei, Bearbeiten, etc."), das Werkzeugfeld (toolbox) 64 und das Linienstärkenfeld 66.
Der Vorgang des Videomaustreibers der Erfindung wird in Verbindung mit den 6a-6b beschrieben werden, die in Form eines Flussdiagramms die Schritte des Maustreibers zeigen, wie sie in Relation zu einem aktuell laufenden WINDOWS^TM-Anwendungsprogramm stehen. Es ist klar, dass der Vorgang der Erfindung nicht lediglich auf Anwendungen vom Typ WINDOWS^TM beschränkt ist, sondern auch in jeder Anwendung implementiert sein könnte, die eine Maus, einen Stift oder eine ähnliche Computereingabevorrichtung unterstützt.
Der Videomaustreiber startet (Schritt 100), wenn ein durch den Computer 12 erzeugtes Videobild durch eine Vorrichtung 18 auf eine Projektionsoberfläche oder einen Schirm 26 (vgl. z. B. 1) projiziert wird. Der Computer bestimmt dann (in einem Schritt 102), ob der Benutzer auf das projizierte Bild gezeigt hat.
Dies wird unter Verwendung des Merkmal-Mustererfassungsprozesses getan, wie bereits erläutert.
Wenn der Treiber erfasst, dass der Benutzer auf den Schirm gezeigt hat, sendet er WINDOWS^TM (in einem Schritt 104) die Nachricht Maus Bewegung, zusammen mit den Koordinaten des neuen Punkts. WINDOWS^T ^M reagiert durch Bewegen des Cursors 61 der Anwendung. Die exakte Gestalt des Cursors hängt von der spezifischen Anwendung ab.
Der Treiber prüft dann (in einem Schritt 106), ob der Benutzer fortfährt, auf das projizierte oder angezeigte Videobild zu zeigen. Falls die Antwort negativ ist, kehrt das Programm an seinen Anfangspunkt (Schritt 100) zurück. Falls die Antwort positiv ist, d. h. der Benutzer immer noch auf das projizierte oder angezeigte Videobild zeigt, prüft der Treiber (in einem Schritt 108), ob der Benutzer den Zeiger bewegt hat. Falls der Benutzer an einen anderen Platz zeigt, kehrt das Programm zum Schritt 104 zurück, um den Ort des Cursors zu aktualisieren. Falls der Benutzer fortfährt, auf den gleichen Ort für eine bestimmte Zeitdauer, z. B. 2 s (Schritt 110), zu zeigen, dann wird das erste Pop-up-Menüfenster 68 neben die Cursorposition 61 projiziert oder angezeigt (Schritt 112).
Das erste Pop-up-Menü 68 enthält die vier Befehlspunktes NOP 70 (was für "Keine Operation" steht), KLICK 72, RUNTER 74 und DOPPEL-KLICK 76. Neben jedem Befehlspunkt 70, 72, 74 und 76 befindet sich eine Auswahltaste 71, 73, 75 und 77. Wie zuvor könnten die Tasten durch den erkannten Merkmal/-Muster-Erfassungsprozess ausgewählt werden, wie mit Bezug auf die 3B-3C und 4 beschrieben.
Der Computer prüft dann (in einem Schritt 114) auf eine Auswahl eines Befehlspunktes), der im ersten Pop-up-Fenster 68 enthalten ist, wobei es dem Benutzer erlaubt wird, eine solche Auswahl innerhalb einer vorbestimmten Zeitdauer (z. B. 2 s) zu treffen (Schritt 116). Falls keine Auswahl während der vorbestimmten Zeitdauer getroffen wird, verschwindet das erste Popup-Menü 68 und das Programm kehrt an seinen Startpunkt zurück. Falls eine Auswahl getroffen wird, wird der ausgewählte Befehlspunkt durchgeführt.
Der Treiber unterscheidet zwischen zwei Typen des Auswählens (Schritt 120). Die erste Auswahl ist der Befehl RUNTER, was ein spezielles Verarbeiten erfordert, wie in 6B gezeigt. Die zweite Auswahl gilt für die Befehle NOP, KLICK und DOPPEL-KLICK. Für letztere Auswahl (Schritt 122) verschwindet das erste Pop-up-Menü 68, der Treiber führt den Befehlspunkt durch Senden einer geeigneten Nachricht an das Betriebssystem aus und das Programm kehrt nach einer kurzen Verzögerung (2s) an seinen Startpunkt (Schritt 100) zurück. Die kurze Verzögerung ist notwendig, um dem Benutzer genügend Zeit zu geben, den Zeiger an einen neuen gewünschten Ort zu bewegen.
Der Vorgang, durch den der Treiber den Befehl im Menü ausführt, hängt vom spezifischen Befehl ab. Um bspw. einen einfachen Mausklick zu simulieren, wird der Benutzer eine Taste 73 auswählen, die dem KLICK-Befehlspunkt 72 entspricht. In diesem Fall sendet der Maustreiber dem Betriebssystem die Nachrichten „Maus Runter" gefolgt von "Maus Hoch", was WINDOWS^TM als einen Mausklick erkennt. Zusätzlich sendet der Maustreiber die (x,y)-Koordinaten des Punkts, um den Cursorort zu aktualisieren. Der Klick triggert ein Ereignis, das von der besonderen Anwendung, die zur Zeit läuft, z. B. Zeichnen einer Kurve, abhängen wird.
Um einen doppelten Mausklick zu simulieren, wird der Benutzer eine Taste 77 auswählen, die dem Doppel Klick- Befehlspunkt 76 entspricht. Diese Handlung signalisiert dem Maustreiber, WINDOWS^T die vier Nachrichten "Maus Runter", "Maus Hoch", "Maus Runter" und "Maus Hoch" innerhalb eines vorbestimmten Zeitrahmens zu senden.
Der Benutzer hat auch die Möglichkeit des Auswählens einer Taste 71, die dem NOP-(Keine Operation)-Befehlspunkt 70 entspricht. Dadurch wird das erste Pop-up-Menüfenster 68 dazu veranlasst werden, zu verschwinden, ohne sich auf den Cursorort auszuwirken und den Treiber dazu veranlassen, zum Startpunkt (Schritt 100) zurückzugehen.
Bezug nehmend auf 6b antwortet der Treiber, wenn ein Benutzer die Taste 75 wählt, die dem RUNTER-Befehl 74 entspricht, indem eine Maus Runter-Nachricht an das Betriebssystem (Schritt 126) mit der zusätzlichen Information der Koordinaten des Punktes gesendet wird. Zusätzlich verschwindet das erste Pop-up-Menüfenster 68 und dem Benutzer wird eine kurze Verzögerung (z. B. 2 s) gewährt, um den Zeiger vom Ort der Taste 75 zum Ort des Cursors 61 zurückzubewegen.
Wenn die Maus Runter-Befehlsnachricht einmal empfangen wurde, nehmen die Computer die Verfolgung der Bewegung der Finger 60 des Benutzers wieder auf. Während dieser Zeit werden eine Reihe von aktualisierten Maus Bewegung-Nachrichten an das Betriebssystem zusammen mit den aktualisierten (x, y)-Koordinaten gesendet (Schritt 128). Dieser Vorgang dauert so lange an, wie der Benutzer die Zeigeposition ändert (Schritte 125–130).
In dem Moment, wo der Benützer das Bewegen des Zeigers stoppt, hat er oder sie zwei Möglichkeiten (Schritt 132). Eine Möglichkeit ist, das Zeigen zu stoppen, d. h. durch Zurückziehen seiner oder ihrer Finger vom projizierten oder angezeigten Bild. Dies wird den Treiber dazu veranlassen, WINDOWS^TM einen Maus Hoch-Befehl zu schicken, und dann, nach einer kurzen Verzögerung, wird das Programm zum Anfang zurückkehren (Schritt 140).
Sollte der Benutzer noch immer auf den gleichen Ort zeigen, wird alternativ ein zweiten Pop-up-Menüfenster 78 (vgl. z. B. 5b) angezeigt. Das zweite Pop-up-Menüfenster 78 enthält vorzugsweise lediglich den einzelnen Befehlspunkt AUF 80, zusammen mit einer entsprechenden Auswahltaste 81. Sollte der Benutzer den AUF-Befehlspunkt 80 wählen, d. h. der Benutzer platziert seine oder ihre Finger 60 über der entsprechenden Auswahltaste 81, dann sendet der Maustreiber die Maus Hoch-Nachricht an WINDOWS^T ^M und die Anwendung (in diesem Fall WINDOWS^TM-Paintbrush-Programm) antwortet entsprechend (Schritt 140). Der Vorgang kehrt dann nach einer vorbestimmten Verzögerung zum Start zurück. Falls (bei einem Schritt 136) eine Auswahl durch den Benutzer innerhalb einer vorbestimmten Zeitdauer, z. B. 2 s (Schritt 138), nicht getroffen wird, dann verschwindet das zweite Pop-up-Menü 78 und der Benutzer könnte fortfahren, seine oder ihre Finger 60 entlang des projizierten oder angezeigten Bildes 26 zu bewegen, wie zuvor. Dies wird in neuen Maus Bewegung-Nachrichten resultieren, die an WINDOWS^TM gesendet werden, bis der Benutzer die Fingerbewegung beendet, wonach die Schritte 132 bis 138 wiederholt werden.
SELBSTTEST
Das System könnte Mittel zum Durchführen eines Selbsttestes aufweisen, um die Kalibrierung des Systems zu verifizieren. Beispielsweise könnte das System in einem Speicher zwei Bilder gespeichert haben, die identisch sind, außer dass das zweite der zwei Bilder ein Objekt mit einem besonderen Merkmal, wie z. B. einem Zeiger, enthält, das sich über einer Taste befindet; die im Bild enthalten ist. Diese besondere Taste ist im ersten Bild, nicht besetzt. Beim Starten oder zu irgendeinem anderen Zeitpunkt projiziert das System das zweite Bild, das den Zeiger enthält, der sich über der besonderen Taste befindet, und vergleicht dieses Bild mit dem ersten Bild. Der Selbsttest-Modus wird erfolgreich sein, falls der Computer die besondere Taste identifiziert.
KALIBRIERUNG
Ein Kalibrierungsalgorithmus könnte auch vorgesehen sein, um die jeweiligen X,Y-Achsensysteme des projizierten Bilds und des von der Kamera 28a eingefangenen Bilds zu kalibrieren, um einen Fokus, Farbausgleich, Verzerrungen und andere Parameter des projizierten Videobilds zu erhalten. Dies könnte erreicht werden, indem vorbestimmte Bilder projiziert werden, wie z. B. Eckmarkierungen 27 (vgl. 1), deren Orte bekannt sind, Skalenmaße und Farben oder Lichtintensitäten, und indem die vorbestimmten Eckmarkierungen 27 mit den entsprechenden Eckmarkierungen im eingefangenen Bild verglichen werden.
Gemäß einer bevorzugten Ausführungsform der Erfindung dient der Kalibrierungsalgorithmus zwei Zwecken: (1) der Kalib rierungsaigorithmus "regelt" bzw. konditioniert die eingefangenen Bilder durch Entfernen von unerwünschten Lichtreflexionen, Streumarkierungen, Brüchen oder ähnlichen Unregelmäßigkeiten auf der Betrachtungsoberfläche, die einen nachteiligen Effekt auf die eingefangene Bildqualität haben (d. h. Bildverzerrung, Bildauflösung, Bildkontrast); und (2) der Kalibrierungsalgorithmus wird verwendet, um eine Ausrichtungsfunktion zum Sicheratellen der Ausrichtung von aufeinanderfolgenden eingefangenen Bildern mit den projizierten Bildern zu bestimmen.
Der Regelungsteil des Kalibrierungsalgorithmus wird durch ein erstes Unterdrücken oder ein "Leeren" ("Blanking") des Videobildes, das vom Computer erzeugt ist, ausgeführt, so dass ein Leerbild ausgeleuchtet wird und auf die Betrachtungsoberfläche projiziert wird. Dies schafft einen ersten Referenzpunkt oder ein Referenzbild, was es dem System ermöglicht, Informationen über besondere Unregelmäßigkeiten auf der Betrachtungsoberfläche zu gewinnen, die nachteilig auf eine Bildqualität wirken, wie z. B. Schattierungen und/oder helle Reflexionen auf der Betrachtungsoberfläche aufgrund einer unebenen Oberflächenbeschaffenheit und Umgebungslicht, permanenten Flecken, Streumarkierungen oder Brüchen auf der Betrachtungsoberfläche etc.
Das System fängt dann das leere bzw. unterdrückte projizierte Bild als erstes Referenzbild ein. Als nächstes werden eine Vielzahl von Referenzmarkierungen, z. B. Kreuze oder ähnliche Vermerke (indicia) auf die Betrachtungsoberfläche projiziert und von der Bildfangschaltung als ein oder mehrere zusätzliche Referenzbilder eingefangen. Die X- und Y-Koordinaten für die projizierten Referenzmarkierungen sind vom Computer vorspezifiziert. Es ist festzustellen, dass die Referenzmarkierungen nicht bei zufälligen Punkten auf der Betrachtungsoberfläche innerhalb der Grenzen des projizierten Bildes und nicht notwendigerweise gerade bei den vier Eckbereichen projiziert werden können, wie es typischerweise gemäß den Kalibrierungstechniken des Standes der Technik gemacht wird. Die eingefangenen Referenzbilder, die die Referenzmarkierungen enthalten, werden dann mit den Referenzmarkierungen verglichen, die vom Computer erzeugt sind. Unter Verwendung dieser Informationen bestimmt der Computer dann eine Ausrichtungsfunktion, die die relative Verschiebung in X- und Y-Koordinatenwerten zwischen den Referenzmarkierungen repräsentiert, die in den eingefangenen zusätzlichen Referenzbildern und den Referenzmarkierungen in den computererzeugten Videobildern enthalten sind. Somit kann die einmal bestimmte Ausrichtungsfunktion verwendet werden, um eine Ausrichtung der eingefangenen Bilder mit den projizierten Bildern zu gewährleisten.
Der oben genannte Kalibrierungsalgorithmus könnte jederzeit automatisch implementiert werden, wenn die individuellen Vorrichtungskomponenten des Systems erschüttert oder während einer Verwendung leicht bewegt wurden oder wenn Änderungen bei den Bedingungen des Umgebungslichts auftreten oder wenn Änderungen bei irgendeinem anderen Parameter auftreten, der eine Wirkung auf die Bildqualität hat. Zusätzlich könnte der Kalibrierungsalgorithmus vorteilhafterweise in der Situation implementiert werden, bei der ein Benutzer Anmerkungen zum projizierten Bild durch Bewirken physischer Änderungen auf der Betrachtungsoberfläche gemacht hat. Z. B. in der Situation, bei der die Betrachtungsoberfläche eine herkömmliche weiße Tafel ist, könnte der Benutzer wünschen, Bearbeitungen oder Korrekturen am projizierten Bild durch direktes Zeichnen auf die weiße Tafel vorzunehmen. Der Benützer könnte den Einfangbefehl initiieren und die Anmerkungen speichern, die zu einem bestimmten projizierten Bild gemacht wurden. Da der Computer schon eine Aufzeichnung des projizierten Bilds aufweist, das in einem Speicher gespeichert ist, müssen lediglich die Anmerkungen in einem Speicher gespeichert werden. Dies verhindert eine Bilddegradation, die durch das erneute Einfangen einer Bildinformation verursacht wird, die dem Benutzer schon bekannt ist. Vorteilhafterweise erlaubt dies auch das "Mehrfach-Schichten" (Multi-Layering) der gespeicherten Anmerkungen (die Anmerkungen könnten eingefangen und als separate Daten gespeichert werden), die dann wahlweise entweder individuell, in Gruppen oder alle zusammen auf das projizierte Bild projiziert werden können. Die Ausrichtungsfunktion, die von dem oben beschriebenen Kalibrierungsalgorithmus errichtet ist, kann implementiert werden, um eine geeignete Ausrichtung der gespeicherten Anmerkungen mit irgendeinem besonderen Videobild zu gewährleisten, das vom Computer erzeugt ist.

Claims

Verfahren zum Ermöglichen einer Interaktion mit einem präsentierten Videobild (24; 24a), mit den Schritten: Verwenden eines Computers (12), um das Videobild (24; 24a) zu erzeugen, wobei das Videobild (24; 24a) wenigstens einen vorbestimmten Bereich (32, 34; 32a, 34a; 71, 73, 75, 77; 81) mit wenigstens einer diesem Bereich zugeordneten, gesteuerten Charakteristik aufweist; Präsentieren des Videobilds (24; 24a) auf einer Betrachtungsoberfläche (26; 26a); Beeinflussen des präsentierten Bild (24; 24a); visuelles Aufzeichnen des präsentierten Bildes (24; 24a); Einfangen (40) eines Bildes aus der visuellen Aufzeichnung des präsentierten Bildes (24; 24a), das ein Resultat der Beeinflussung beinhaltet; Vergleichen (42, 44, 46) des eingefangenen Bildes mit dem vom Computer erzeugten Videobild, um das Resultat der Beeinflussung zu erfassen; und Erzeugen (48) eines Steuersignals zum Betätigen des Computers (12) in Antwort auf das erfaßte Resultat; dadurch gekennzeichnet, dass der Schritt des Beeinflussens des präsentierten Bildes erfolgt, indem ein spezielles Muster oder eine Musterveränderung (31; 38, 57, 60) über das präsentierte Bild (24; 24a) auf der Betrachtungsoberfläche (26; 26a) eingeführt wird, und zwar für eine vorbestimmte minimale Zeitspanne; das eingefangene Bild das spezielle Muster oder die Musterveränderung (31; 38; 57; 60) enthält; der Vergleichsschritt (42, 44, 46) erfolgt, um das Vorhandensein des speziellen Musters oder der Musterveränderung (31; 38; 57 ; 60) in dem vorbestimmten Bereich in Relation zu der wenigstens einen gesteuerten Charakteristik zu erfassen; und das Steuersignal erzeugt wird in Antwort auf das Vorhandensein des speziellen Musters oder der Musterveränderung (31; 38; 57; 60).
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die wenigstens eine gesteuerte Charakteristik eine Taste (32, 34; 32a, 34a; 71, 73, 71, 77; 81) aufweist und der Bildvergleichsschritt (42, 44, 46) ferner aufweist: Lesen wenigstens eines Blockabschnittes des eingefangenen Bildes entsprechend dem Ort der Taste (32, 34; 32a, 34a; 71, 73, 75, 77; 81); Prüfen (44) des wenigstens einen Blockabschnittes auf das Vorhandensein des speziellen Musters oder der Musterveränderung (31; 38; 57; 60); und Verifizieren (46), dass sich andere Blockabschnitte, die benachbart zu dem wenigstens einen Blockabschnitt angeordnet sind, nicht wesentlich von ihren entsprechenden Blockabschnitten unterscheiden, die in dem präsentierten Bild (24; 24a) enthalten sind.
Verfahren nach Anspruch 1 oder Anspruch 2, dadurch gekennzeichnet, dass der Schritt (48) des Erzeugens eines Steuersignals ferner die Schritte aufweist: Triggern einer Computeroperation in Antwort auf den Ort des speziellen Musters oder der Musterveränderung (31; 38; 57; 60), das bzw. die über das präsentierte Bild (24; 24a) eingeführt ist; und wobei ein Schritt des Modifizierens des Videobildes (24; 24a) das Erzeugen eines Cursors (61) entsprechend dem Ort des speziellen Musters oder der Musterveränderung (31; 38; 57; 60) aufweist, das bzw. die über das präsentierte Bild (24; 24a) eingeführt ist.
Verfahren nach Anspruch 3, gekennzeichnet durch einen Schritt, ein Anwendungsprogramm auf dem Computer laufen zu lassen, wobei das Anwendungsprogramm auf einen Treiber für eine Computereingabevorrichtung anspricht und wobei das Verfahren ferner die Schritte aufweist: selektives Erzeugen von Pop-up-Menüfenstern (68; 78) benachbart zu dem Cursor (61) auf dem präsentierten Bild (24; 24a) in Antwort darauf, dass das spezielle Muster oder die Musterveränderung (31; 3 8; 57; 60) über das präsentierte Bild (24; 24a) von dem Benutzer positioniert wird, wobei die Menüfenster vom Benutzer auswählbare Tasten (71, 73, 75, 77; 81) aufweisen, die Treiberoptionen darstellen, die einer Computereingabevorrichtung zugeordnet sind, zum Triggern des Betriebs-systems des Computers (12), eine gewünschte Eingangssteuermitteilung des Computers an das Anwendungsprogramm zu senden, um eine gewünschte Computeroperation durchzuführen; und Auswählen von einer der Tasten (71, 73, 75, 77; 81), indem das spezielle Muster oder die Musterveränderung (31; 38; 57; 60) für eine vorbestimmte minimale Zeitspanne darüber angeordnet wird.
Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass der Schritt (42, 44, 46) des Vergleichens des eingefangenen Bildes mit dem vom Computer erzeugten Bild das Erfassen eines erkennbaren Musters (38, 36; 57, 53) aufweist, das durch die Kombination des eingeführten speziellen Musters oder der Musterveränderung (38; 57) und des präsentierten Bildes (24; 24a) erzeugt wird.
Verfahren nach einem der Ansprüche 1 bis 5, gekennzeichnet durch einen Schritt, eingefangene Bilder auf computererzeugte Bilder zu kalibrieren, wobei der Schritt des Kalibrierens die Schritte aufweist: temporäres Unterdrücken des von dem Computer (12) erzeugten Videobildes (24; 24a); Projizieren eines ausgeleuchteten Leerbildes auf die Betrachtungsoberfläche (26; 26a); Einfangen des beleuchteten Leerbildes als ein erstes Referenzbild, wobei das erste Referenzbild Information über Lichtreflexionen, Streumarkierungen und derartige Irregularitäten auf der Betrachtungsoberfläche (26; 26a) enthält; und Vergleichen des ersten Referenzbildes mit darauffolgend eingefangenen Bildern, um die unerwünschten Lichtreflexionen, Streumarkierungen und derartige Irregularitäten von den darauffolgend eingefangenen Bildern zu entfernen.
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass der Schritt des Kalibrierens ferner die Schritte aufweist: Präsentieren einer Vielzahl von Referenzmarkierungen (27), die von dem Computer (12) erzeugt werden, auf der Betrachtungsoberfläche (26; 26a), wobei die Referenzmarkierungen (27) Xund Y-Koordinaten aufweisen, die durch den Computer (12) spezifiziert sind; Einfangen der präsentierten Referenzmarkierungen (27) als zumindest ein zusätzliches Referenzbild; Vergleichen des wenigstens einen eingefangenen zusätzlichen Referenzbildes mit den Referenzmarkierungen (27), die von dem Computer (12) erzeugt sind; Bestimmen einer Ausrichtungsfunktion, die den Koordinatenversatz in X- und Y-Richtung zwischen dem präsentierten Bild und dem eingefangenen Bild darstellt; und Verwenden der bestimmten Ausrichtungsfunktion, um eingefangene Bilder mit Videobildern zu vergleichen und hieran auszurichten, die von dem Computer (12) erzeugt werden.
Verfahren nach Anspruch 7, gekennzeichnet durch den Schritt des Selbsttestens zur Verifikation einer Kalibrierung von präsentierten Bildern mit eingefangenen Bildern, wobei der Schritt des Selbsttestens die Schritte aufweist: Speichern eines ersten Bildes und eines zweiten Bildes, wobei das erste und das zweite gespeicherte Bild jeweils einen gemeinsamen vorbestimmten Ort aufweisen, der diesen zugeordnet ist, wobei das zweite gespeicherte Bild ferner ein Referenzspezialmuster oder eine Referenzmusterveränderung (31; 38; 57; 60) aufweist, die über ihrem jeweiligen vorbestimmten Ort angeordnet wird; Projizieren des zweiten gespeicherten Bildes; Einfangen des zweiten gespeicherten Bildes; und Vergleichen des eingefangenen zweiten gespeicherten Bildes mit dem ersten gespeicherten Bild, um zu verifizieren, dass das Referenzspezialmuster oder die Referenzmusterveränderung (31; 38; 57; 60), das bzw. die sich in dem eingefangenen zweiten gespeicherten Bild befindet, irt Ausrichtung ist mit dem vorbestimmten Ort für das Referenzspezialmuster oder die Referenzmusterveränderung in dem ersten gespeicherten Bild.
Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass ein Benutzer (30) wünscht, ein präsentiertes Bild (24; 24a) auf der Betrachtungsoberfläche (26; 26a) mit Anmerkungen zu versehen, wobei dies die Schritte beinhaltet: Speichern eines ersten computererzeugten Bildes; Präsentieren des ersten computererzeugten Bildes auf der Betrachtungsoberfläche (26; 26a); Unterdrücken der Präsentation des ersten computererzeugten Bilden derart, dass lediglich Benutzer-hervorgerufene Anmerkungen auf der Betrachtungsoberfläche (26; 26a) verbleiben; Einfangen der vom Benutzer hervorgerufenen Anmerkungen auf der Betrachtungsoberfläche (26; 26a); und Speichern der eingefangenen, vom Benutzer hervorgerufenen Anmerkungen zur darauffolgenden Anzeige der gespeicherten eingefangenen, vom Benutzer hervorgerufenen Anmerkungen in Ausrichtung mit dem ersten computererzeugten Bild.
Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass der Schritt des Erzeugens eines Steuersignals ferner den Schritt aufweist, wenigstens einen Abschnitt des eingefangenen Bildes in einen Speicher in dem Computer (12) zu sichern.
Interaktives Anzeigesystem (10) für präsentierte Videobilder mit Mitteln (12) zum Erzeugen eines Videobildes (24; 24a), wobei das Videobild (24; 24a) wenigstens einen vorbestimmten Bereich (32, 34; 32a, 34a; 71, 73, 75, 77; 81) aufweist, der wenigstens eine, diesem Bereich zugeordnete gesteuerte Charakteristik aufweist; Mitteln (18; 26a) zum Präsentieren des Videobildes (24; 24a) auf einer Betrachtungsoberfläche; Mitteln (28) zum visuellen Aufzeichnen des präsentierten Bildes (24; 24a); Mitteln (12) zum Einfangen eines Bildes aus der visuellen Aufzeichnung des präsentierten Bildes (24; 24a); Bildunterscheidungsmittel (12) zum Vergleichen des eingefangenen Bildes mit dem erzeugten Videobild und zum Erfassen des Resultates eines Einflusses, der auf das präsentierte Bild (24; 24a) ausgeübt wird; und Mitteln (12), die auf die Bildunterscheidungsmittel (12) ansprechen, zum Triggern einer Computeroperation, wenn das Resultat der Beeinflussung erfasst wird; dadurch gekennzeichnet, dass die Bildunterscheidungsmittel (12) dazu ausgelegt sind, ein spezielles Muster oder eine Musterveränderung (31; 38; 57; 60) zu unterscheiden, das bzw. die über das präsentierte Bild (24; 24a) eingeführt ist, und das Vorhandensein des speziellen Musters oder der Musterveränderung,(31; 38; 57; 60), das bzw. die in dem vorbestimmten Bereich über das präsentierte Bild (24; 24a) eingeführt ist, und dessen Relation zu der wenigstens einen gesteuerten Charakteristik zu erfassen; und die Mittel (12) die Computeroperation triggern, wenn das eingeführte spezielle Muster oder die Musterveränderung (31; 38; 57; 60) erfasst wird.
System nach Anspruch 11, gekennzeichnet durch: Mittel (12) zum automatischen kalibrierenden Deformieren des eingefangenen Bildes in Bezug auf das präsentierte Bild (24; 24a).