DE102006042324A1

DE102006042324A1 - Computer generated video hologram generating method for holographic playback device, involves determining contributions of subholograms at entire reconstruction of scene for each object point from look-up table

Info

Publication number: DE102006042324A1
Application number: DE200610042324
Authority: DE
Inventors: Enrico Zschau; Armin Dr. Schwerdtner; Bo Kroell; Alexander Schwerdtner
Original assignee: SeeReal Technologies SA
Current assignee: SeeReal Technologies SA
Priority date: 2006-09-01
Filing date: 2006-09-01
Publication date: 2008-03-13
Anticipated expiration: 2026-09-02
Also published as: TWI388948B; TW200836031A; DE102006042324B4

Abstract

The method involves dividing a scene into object points in a light modulator unit. The scene can be seen as a reconstruction from a visibility region. The region is located within a periodicity interval of the reconstruction of the video hologram. The region defines subholograms together with each object point of the scene to be reconstructed. The entire hologram is generated from superimposition of contributions of subholograms. The contributions at the entire reconstruction of the scene for each object point can be determined from a look-up table.

Description

Gebiet der ErfindungField of the invention

Die Erfindung betrifft ein Verfahren zum Generieren computer-generierter Videohologramme CGVH aus dreidimensionalen Bilddaten mit Tiefeninformation in Echtzeit.The The invention relates to a method for generating computer-generated Video holograms CGVH from three-dimensional image data with depth information Real time.

Im Bereich der Generierung holographischer Daten betrifft die Erfindung die Transformation von Teilbereichen der Szene, wobei durch die Transformation die Ausbreitung der Lichtwellen beschrieben wird. Bei der holographischen Darstellung der 3D-Objekte oder 3D-Szenen wird die Lichtwellenfront durch die Interferenz und Überlagerung kohärenter Lichtwellen generiert.in the The field of generating holographic data relates to the invention the transformation of subregions of the scene, whereby through the Transformation the propagation of light waves is described. In the holographic representation of 3D objects or 3D scenes The light wavefront is due to the interference and interference coherent light waves generated.

Im Gegensatz zu klassischen Hologrammen, die als Interferenzmuster photographisch oder auf andere Weise gespeichert sind, existieren CGVH als Ergebnis der Berechnung von Hologrammdaten aus Sequenzen einer dreidimensionalen Szene und ihrer Speicherung mit elektronischen Mitteln. Moduliertes interferenzfähiges Licht breitet sich im Raum vor den Augen eines Betrachters als eine durch die Amplituden- und oder Phasenwerte steuerbare Lichtwellenfront zur Rekonstruktion einer dreidimensionalen Szene aus. Dabei bewirkt das Ansteuern eines Spatial-Light-Modulators SLM mit den Hologrammwerten der Videohologramme, dass das vom Displayschirm ausgehende, in Pixeln modulierte Wellenfeld durch Interferenzen in den Raum die gewünschte dreidimensionale Szene rekonstruiert.in the Unlike classical holograms, which are called interference patterns photographically or otherwise stored exist CGVH as a result of calculating hologram data from sequences a three-dimensional scene and its storage with electronic Means. Modulated interfering light spreads in the Space in front of a viewer's eyes as one through the amplitude and or phase values controllable light wave front for reconstruction a three-dimensional scene. The activation of a Spatial light modulator SLM with the hologram values of the video holograms, the pixel-modulated wave field emanating from the display screen by interference in the room the desired three-dimensional scene reconstructed.

Ein holografisches Display enthält typischerweise eine Anordnung steuerbarer Pixel, wobei die Pixel durch elektronisches Beeinflussen der Amplitude und/oder Phase von beleuchtendem Licht Objektpunkte rekonstruieren. Eine solche Anordnung ist eine Form eines Spatial Light Modulators SLM. Das Display kann auch kontinuierlich statt matrixförmig sein. Es kann beispielsweise ein kontinuierlicher SLM sein, einschließlich eines kontinuierlichen SLM mit Matrixsteuerung oder eines akustooptischen Modulators AOM. Eine geeignete Anzeigeeinrichtung zur Rekonstruktion von Videohologrammen durch räumliche Amplitudenmodulation eines Lichtmusters ist beispielsweise ein Flüssigkristalldisplay LCD. Die Erfindung kann jedoch ebenso auf andere steuerbare Einrichtungen angewendet werden, welche kohärentes Licht nutzen, um eine Lichtwellenfront zu modulieren.One contains holographic display typically an array of controllable pixels, where the pixels by electronically influencing the amplitude and / or phase of illuminating object points. Such an arrangement is a form of Spatial Light Modulator SLM. The display can also be continuous instead of matrix. It can, for example be a continuous SLM, including a continuous one SLM with matrix control or an acoustooptic modulator AOM. A suitable display device for the reconstruction of video holograms through spatial Amplitude modulation of a light pattern is, for example, a liquid crystal display LCD. However, the invention is equally applicable to other controllable devices which are coherent Use light to modulate a lightwave front.

In diesem Dokument bezeichnet der Begriff ,Pixel' ein steuerbares Hologrammpixel im SLM; ein Pixel wird durch einen diskreten Wert eines Hologrammpunkts einzeln adressiert und angesteuert. Jedes Pixel stellt einen Hologrammpunkt des Videohologramms dar. Bei einem LCD wird daher der Begriff ,Pixel' für die einzeln adressierbaren Bildpunkte des Bildschirms verwendet. Bei einem DLP wird der Begriff ,Pixel' für einen einzelnen Mikrospiegel oder eine kleine Gruppe von Mikrospiegeln verwendet. Bei einem kontinuierlichen SLM ist ein Pixel die Übergangsregion auf dem SLM, die einen komplexen Hologrammpunkt repräsentiert. Der Begriff ,Pixel' bezeichnet daher ganz allgemein die kleinste Einheit, die einen komplexen Hologrammpunkt repräsentieren, also anzeigen kann.In In this document, the term 'pixel' denotes a controllable hologram pixel in the SLM; a pixel is represented by a discrete value of a hologram point individually addressed and controlled. Each pixel represents a hologram point of the video hologram. In an LCD, therefore, the term 'pixel' is used individually addressable pixels of the screen used. With a DLP is the term 'pixel' for one single micromirror or a small group of micromirrors used. For a continuous SLM, a pixel is the transition region on the SLM, which represents a complex hologram point. The term 'pixel' denotes therefore quite generally the smallest unit that has a complex hologram point represent, so can show.

Schließlich bezeichnet der Begriff holographische Kodierung oder kurz Kodierung die Generierung komplexer Hologrammpunkte aus Bilddaten mit Tiefeninformation.Finally called the term holographic coding or short coding the generation complex hologram points from image data with depth information.

Technischer Hintergrund und Stand der TechnikTechnical background and State of the art

Die computer-generierten Videohologramme können beispielsweise mit einem Hologrammdisplay rekonstruiert werden, das der Anmelder bereits in der Druckschrift WO2004/044659 beschrieben hat. Dazu blickt der Betrachter durch mindestens ein entsprechendes virtuelles Betrachterfenster, das größer als eine Augenpupille ist, zum Displayschirm.The computer-generated video holograms can be reconstructed, for example, with a hologram display, which the applicant already in the document WO2004 / 044659 has described. For this purpose, the viewer looks through at least one corresponding virtual viewer window, which is larger than an eye pupil, to the display screen.

Ein ,Betrachterfenster' ist ein begrenzter virtueller Bereich, durch welchen der Betrachter die gesamte rekonstruierte 3D-Szene mit ausreichend großer Sichtbarkeit ansehen kann. Das Betrachterfenster befindet sich auf den oder nahe der Augen des Betrachters. Das Betrachterfenster kann in die Richtungen X, Y und Z bewegt werden. Innerhalb des Betrachterfensters überlagern sich die Wellenfelder so, dass das rekonstruierte Objekt für den Betrachter sichtbar wird. Die Fenster liegen in Augennähe des Betrachters, können mit bekannten Positionserkennungs- und Nachführeinrichtungen der aktuellen Betrachterposition nachgeführt werden. Damit können sie vorteilhaft auf eine Größe, die wenig über der Pupillengröße liegt, begrenzt werden. Es ist möglich, zwei Betrachterfenster zu verwenden, nämlich eines für jedes Auge. Aufwändigere Anordnungen von Betrachterfenstern sind ebenfalls möglich. Es ist ferner möglich, Videohologramme zu kodieren, die Objekte oder ganze Szenen enthalten, die der Betrachter hinter dem SLM sieht.One 'Viewer window' is a limited virtual space through which the viewer the entire reconstructed 3D scene with sufficient visibility can watch. The viewer window is on or near the eyes of the beholder. The viewer window can be in the directions X, Y and Z are moved. Overlay within the viewer window The wave fields are such that the reconstructed object becomes visible to the viewer becomes. The windows are close to the eyes of the beholder, can with known position detection and tracking of the current Followed viewer position become. They can do that beneficial to a size that little over the pupil size is, be limited. It is possible two Viewer window, one for each Eye. More complex Arrangements of observer windows are also possible. It is also possible Encode video holograms that contain objects or whole scenes, which the viewer sees behind the SLM.

Der Begriff ,Transformation' ist so weit auszulegen, dass er jede mathematische oder rechnerische Technik einschließt, die einer Transformation gleichkommt oder diese annähert. Transformationen im mathematischen Sinne sind lediglich Annäherungen physikalischer Prozesse, die genauer durch die Maxwellschen Wellenausbreitungsgleichungen beschrieben werden. Transformationen wie etwa Fresneltransformationen oder die spezielle Gruppe von Transformationen, die als Fouriertransformationen bekannt sind, beschreiben Annäherungen zweiter Ordnung. Transformationen führen in der Regel auf algebraische und nicht differentielle Beschreibungen und können folglich rechentechnisch effizient und performant gehandhabt werden. Überdies können sie präzise in optischen Systeme eingesetzt werden.The term 'transformation' is to be construed as including any mathematical or computational technique that approximates or approximates a transformation. Transformations in the mathematical sense are merely approximations of physical processes, which are described in more detail by Maxwell's wave propagation equations. Transformations such as Fresnel transforms or the special group of transforms known as Fourier transforms describe second order approximations. Transformations usually occur algebraic and non-differential descriptions and thus can be handled computationally efficient and performant. Moreover, they can be used precisely in optical systems.

PCT/EP 2005/013836 des Anmelders beschreibt ein Verfahren zum Berechnen von computer-generierten Videohologrammen. Es ordnet Objekte mit komplexen Amplitudenwerten einer dreidimensionalen Szene in Rasterpunkten von parallelen, virtuellen Schnittebenen zu, um zu jeder Schnittebene einen separaten Objektdatensatz mit diskreten Amplitudenwerten in Rasterpunkten zu definieren und aus den Bilddatensätzen eine holographische Kodierung für einen Spatial-Light-Modulator eines Hologrammdisplays zu berechnen. PCT / EP 2005/013836 Applicant describes a method for computing computer-generated video holograms. It assigns objects with complex amplitude values of a three-dimensional scene in grid points of parallel, virtual cutting planes to define a separate object data set with discrete amplitude values in grid points for each cutting plane and to calculate from the image data sets a holographic coding for a spatial light modulator of a hologram display ,

Die Lösung der Aufgabe nutzt gemäß der Erfindung den Grundgedanken, computergestützt die folgenden Schritte durchzuführen:

• aus jedem Objektdatensatz jeder tomographischen Szeneschnitffläche wird ein Beugungsbild in Form einer separaten zweidimensionalen Verteilung von Wellenfeldern für eine Betrachterebene mit einem endlichen Abstand parallel zu den Schnittebenen berechnet, wobei die Wellenfelder aller Schnitte für mindestens ein gemeinsames virtuelles Fenster berechnet werden, das in der Betrachterebene nahe den Augen eines Betrachters liegt und dessen Fläche gegenüber dem Videohologramm reduziert ist,
• die berechneten Verteilungen aller Schnittebenen werden zur Beschreibung eines gemeinsamen Wellenfeldes für das Fenster in einem zur Betrachterebene referenzierten Datensatz addiert und
• der Referenzdatensatz wird zum Erzeugen eines Hologrammdatensatzes für ein gemeinsames Computer generiertes Hologramm der Szene in eine von der Referenzebene endlich entfernte, parallele Hologrammebene transformiert, wobei in der Hologrammebene der Spatial Light Modulator liegt, mit welcher nach entsprechender Kodierung die Szene in den Raum vor den Augen des Betrachters rekonstruiert.

The solution of the problem utilizes according to the invention the basic idea of carrying out the following steps computer-assisted:

From each object data set of each tomographic scene intersection area, a diffraction image is calculated in the form of a separate two-dimensional distribution of wavefields for a viewer plane with a finite distance parallel to the intersecting planes, the wavefields of all intersections being calculated for at least one common virtual window close to the observer plane is the eyes of a viewer and whose surface is reduced compared to the video hologram,
• the calculated distributions of all cutting planes are added to describe a common wave field for the window in a dataset referenced to the observer plane, and
The reference data set is transformed into a hologram of the scene generated by the computer for generating a hologram data set in a parallel hologram plane finally removed from the reference plane, wherein the hologram plane contains the spatial light modulator with which, after appropriate encoding, the scene enters the space before the hologram Eyes of the viewer reconstructed.

Den genannten Verfahren und Displays liegt dabei der Gedanke zugrunde, vorrangig nicht das Objekt der Szene zu rekonstruieren, sondern jene Wellenfront, die das Objekt aussenden würde, in ein oder mehrere virtuelle Betrachterfenster zu rekonstruieren.The The methods and displays mentioned are based on the idea primarily not to reconstruct the object of the scene, but that wavefront that would send the object into one or more virtual ones Viewer window to reconstruct.

Durch die virtuellen Betrachterfenster kann der Betrachter die Szene sehen. Die virtuellen Betrachterfenster überdecken die Pupillen des Betrachters und werden mit bekannten Positionserkennungs- und Nachführeinrichtungen der aktuellen Betrachterposition nachgeführt.By the virtual viewer window allows the viewer to see the scene. The virtual viewer windows cover the pupils of the Observers and are familiar with position detection and tracking devices Tracked the current viewer position.

Zwischen dem Spatial Light Modulator des Hologrammdisplays und den Betrachterfenstern ist ein virtueller pyramidenstumpf-förmiger Betrachterbereich, das so genannte Frustum, aufgespannt, wobei der SLM die Grundfläche und das Betrachterfenster die Spitze bildet. Bei sehr kleinen Betrachterfenstern kann der Pyramidenstumpf als Pyramide angenähert werden. Der Betrachter sieht durch die virtuellen Betrachterfenster in Richtung des Displays und nimmt im Betrachterfenster die Wellenfront auf, welche die Szene repräsentiert.Between the Spatial Light Modulator of the hologram display and the viewer windows is a virtual truncated pyramid-shaped observer area that way called Frustum, spanned, whereby the SLM the base area and the viewer window forms the top. For very small viewer windows The pyramidal stump can be approximated as a pyramid. The viewer looks through the virtual viewer window towards the display and picks up in the viewer window the wavefront that the scene represents.

Aufgrund der Vielzahl der notwendigen Transformationen ist die holographische Kodierung mit hohem Rechenaufwand verbunden. Eine Kodierung in Echtzeit würde hoch performante und kostspielige Recheneinheiten erfordern.by virtue of The multiplicity of necessary transformations is the holographic one Coding associated with high computational effort. A coding in real time would be high require high-performance and costly computing units.

Aufgabe der ErfindungObject of the invention

Aufgabe der Erfindung ist es, ein Verfahren zu schaffen, welches erlaubt, in Echtzeit Videohologramme aus dreidimensionalen Bilddaten mit Tiefeninformation zu generierten. Die Generierung soll von einfachen und kostengünstigen Rechenanlagen durchgeführt werden können.task The invention is to provide a method which allows in real time video holograms of three-dimensional image data with Depth information generated. The generation should be simple and cost-effective Computer systems performed can be.

Zusammenfassung der ErfindungSummary of the invention

Das erfindungsgemäße Verfahren dient zum Generieren computer-generierter Videohologramme in Echtzeit. Aus Bilddaten mit Tiefeninformation werden Hologrammwerte zur Darstellung einer dreidimensionalen, durch Objektpunkte strukturierten Szene auf einem Spatial-Light-Modulator, SLM, kodiert.The inventive method is used to generate computer-generated video holograms in real time. From image data with depth information, hologram values are displayed a three-dimensional scene structured by object points encoded on a spatial light modulator, SLM.

Analog zum genannten Stand der Technik liegt dem erfindungsgemäßen Verfahren das Prinzip zugrunde, vorrangig nicht das Objekt der Szene zu rekonstruieren, sondern jene Wellenfront, die das Objekt aussenden würde, in ein oder mehrere virtuelle Betrachterfenster zu rekonstruieren.Analogous to the cited prior art is the method of the invention based on the principle of not primarily reconstructing the object of the scene, but that wavefront that would send out the object in to reconstruct one or more virtual viewer windows.

Aus hinreichend kohärentem Licht wird von einem mit Hologrammwerten gesteuerten Spatial Light Modulator SLM ein moduliertes Wellenfeld erzeugt und durch Interferenzen im Raum eine gewünschte reale oder virtuelle dreidimensionale Szene rekonstruiert. Ausgehend vom SLM werden in pyramidenstumpfförmigen Rekonstruktionsräumen virtuelle Betrachterfenster generiert. Die Fenster liegen in Augennähe des Betrachters und können mit bekannten Positionserkennungs- und Nachführeinrichtungen der aktuellen Betrachterposition nachgeführt werden.Out sufficiently coherent Light comes from a hologram controlled Spatial Light Modulator SLM generates a modulated wave field and through interference in the room a desired reconstructed real or virtual three-dimensional scene. outgoing The SLM becomes virtual in truncated pyramidal reconstruction spaces Viewer window generated. The windows are close to the eye of the beholder and can with known position detection and tracking of the current Be tracked observer position.

Es ist ein Ausgangspunkt der Erfindung, dass jener Bereich, in dem ein Betrachter eine Szene sieht, durch einen pyramidenstumpfförmigen Rekonstruktionsraum, das so genannte Frustum, gegeben ist, der sich vom SLM zum Betrachterfenster erstreckt. Der Pyramidenstumpf kann in einer Näherung durch eine Pyramide ersetzt werden, da das Betrachterfenster viel kleiner als der SLM ist.It is a starting point of the invention that the area in which a viewer sees a scene is given by a truncated pyramid-shaped reconstruction space is that extends from the SLM to the viewer window. The truncated pyramid can be replaced by a pyramid in an approximation because the observer window is much smaller than the SLM.

Im Weiteren liegt dem Verfahren das Prinzip zugrunde, dass die Rekonstruktion eines einzelnen Objektpunktes nur ein Teilhologramm als Teilmenge der SLM erfordert.in the Furthermore, the method is based on the principle that the reconstruction a single object point only a partial hologram as a subset of SLM requires.

Die Information zu jedem einzelnen Szenepunkt ist somit nicht auf dem gesamten Hologramm, sondern nur in beschränkten Bereichen, den so genannten Teilhologrammen, verteilt.The Information about each scene is therefore not on the entire hologram, but only in limited areas, the so-called Part holograms, distributed.

Diesem Gedanken folgend wird ein einzelner Objektpunkt der Szene nur durch einen beschränkten Pixelbereich der SLM, den so genannten Teilhologrammen rekonstruiert.this Following thoughts, a single object point of the scene will only pass through a limited one Pixel area of the SLM, the so-called partial holograms reconstructed.

Der Erfindung liegt der Gedanke zugrunde, dass für jeden Objektpunkt die Beiträge der Teilhologramme an der gesamten Rekonstruktion der Szene aus Look-Up-Tables bestimmbar sind und diese Teilhologramme zu einem Gesamthologramm zur Rekonstruktion der gesamten Szene akkumuliert werden In einer besonders bevorzugten Ausführungsform des Verfahrens ist durch die Position jedes Betrachters und dessen Blickrichtung eine Ansicht der Szene festgelegt. Einem Betrachter ist jeweils mindestens ein in einer Betrachterebene nahe der Augen liegendes virtuelles Betrachterfenster zugeordnet. In einen vorbereiteten Verfahrensschritt erfolgt eine dreidimensionale Diskretisierung der Szene in sichtbare Objektpunkte. Gegebenenfalls werden diese Daten bereits von einer Schnittstelle übernommen. Die nachfolgenden erfindungsgemäßen Verfahrensschritte umfassen Of the The invention is based on the idea that for each object point the contributions of the sub-holograms determinable from the entire reconstruction of the scene from look-up tables and these partial holograms become a total hologram for reconstruction accumulated throughout the scene In a particularly preferred embodiment of the method is determined by the position of each observer and his Viewing a view of the scene set. A viewer is at least one lying in a grower level near the eyes associated with a virtual viewer window. In a prepared Process step is a three-dimensional discretization the scene into visible object points. If necessary, these data already adopted from an interface. The subsequent process steps according to the invention include

– Schritt (1):
Ermittlung der Lage des Teilhologramms je Objektpunkt. Aus der Position eines Objektpunktes, also den lateralen x, y-Koordinaten und dessen Tiefenabstand, werden die Position und die Ausdehnung des zugehörigen Teilhologramms abgeleitet.- Step 1):
Determination of the position of the partial hologram per object point. From the position of an object point, ie the lateral x, y coordinates and their depth distance, the position and the extent of the associated sub-hologram are derived.

– Schritt (2):
Ermittlung der Beiträge des zugehörigen Teilhologramms aus Look-Up-Tables- Step 2):
Determining the contributions of the associated sub-hologram from look-up tables

– Schritt (3):
Wiederholen der beiden Schritte für allen Objektpunkte, wobei die Teilhologramme zu einem Gesamthologramm zur Rekonstruktion der gesamten Szene akkumuliert werden.- Step 3):
Repeating the two steps for all object points, accumulating the sub-holograms into a total hologram for reconstructing the entire scene.

Die Größe und Lage eines einem Objektpunkt zugeordneten Teilhologramms ergibt sich ersichtlich in einer einfachsten Lösungsmöglichkeit aufgrund des Strahlensatzes. Dabei wird das Betrachterfenster oder ein die Pupillen überdeckender Teilbereich durch den Objektpunkt auf die Hologrammebene, also den SLM abgebildet. Im Weiteren ergeben sich dadurch die Indices der Pixel des Teilhologramms, die zur Rekonstruktion dieses Szenepunktes erforderlich sind.The Size and location a partial hologram assigned to an object point results evident in a simplest possible solution due to the jet set. In the process, the observer window or a pupil covering one another becomes Subarea through the object point to the hologram plane, so the SLM shown. Furthermore, this results in the indices of Pixels of the partial hologram used to reconstruct this scene point required are.

In einem weiteren Aspekt der Erfindung werden auf das Teil- oder Gesamthologramm noch zusätzliche Korrekturfunktionen angewendet, um beispielsweise lage- oder formbedingte Toleranzen der SLM zu kompensieren oder eine Verbesserung der Rekonstruktion zu erreichen. Beispielsweise werden Korrekturwerte zu den Datenwerten der Teilhologramme und/oder dem Gesamthologramm addiert. Überdies können, da ja jeder Objektpunkt aufgrund der aktuellen Lage des Betrachterfensters bestimmt ist, auch spezielle Look-Up-Tables für außergewöhnlichere Betrachterfenster generiert werden. Beispielsweise wenn der Betrachter von einer seitlichen Position sehr schräg auf das Display sieht.In Another aspect of the invention is directed to the partial or total hologram additional Correction functions applied to, for example, positional or shape-related Tolerances of the SLM compensate or improve the reconstruction to reach. For example, correction values become the data values the partial holograms and / or the total hologram added. moreover can, since every object point due to the current position of the viewer window is determined, even special look-up tables for more extraordinary viewer window to be generated. For example, if the viewer is from a lateral position very oblique looks at the display.

Das Prinzip der Look-Up-Tables kann mit Vorteil erweitert werden. Beispielsweise können Parameterdaten zur Farb- und Helligkeitsinformation in separaten Look-Up-Tables abgelegt werden. Zusätzlich können dabei Datenwerte der Teilhologramme und/oder das Gesamthologramm mit Helligkeits- und/oder Farbwerten aus Look-Up-Tables moduliert werden. Einer Farbdarstellung liegt dabei der Gedanke zugrunde, dass die Grundfarben aus jeweiligen Look-Up-Tables bestimmbar sind.The Principle of look-up tables can be extended with advantage. For example can Parameter data for color and brightness information in separate Filed look-up tables become. additionally can while data values of the sub-holograms and / or the entire hologram be modulated with brightness and / or color values from look-up tables. A color representation It is based on the idea that the basic colors of each look-up tables are determinable.

Die dem erfindungsgemäßen Verfahren zugrunde liegenden Look-Up-Tables werden vorzugsweise gemäß PCT/EP 2005/013836 oder PCT/EP 2005/013879 generiert und in entsprechende Datenträger und Speichermodule abgelegt.The look-up tables on which the method according to the invention is based are preferably used in accordance with FIG PCT / EP 2005/013836 or PCT / EP 2005/013879 generated and stored in corresponding data carriers and memory modules.

Das Verfahren erlaubt die Generierung computer-generierter Videohologramme in Echtzeit, beispielsweise für ein holographisches Display gemäß WO 2004/044659 oder WO 2006/027228 . Der Vorteil dieses erfindungsgemäßen Verfahrens liegt darin, dass die aufwändige Generierung der komplexen Hologrammwerte gemäß PCT/EP 2005/013836 oder PCT/EP 2005/013879 entfällt, wo zahlreiche Transformationen des diskretisierten Objekts in das Betrachterfenster und eine abschließende Rücktransformation in den SLM entsprechend aufwändig erfolgen. Zusammenfassend werden bei einer handelsüblichen Auflösung des SLM, welche bereits eine qualitativ hochwertige Darstellung des Hologramms ermöglicht, die bisher sehr hohen und kostenintensiven Anforderungen an die Recheneinheit zur Generierung der holographischen Daten nachhaltig verringert. Der Berechnungsaufwand kann anhand der Look-Up-Tables um mehrere Zehnerpotenzen reduziert werden. Das erfindungsgemäße Verfahren erlaubt somit die Ausführung auf gängigen PC-Systemen. Damit wird gewährleistet, dass für holographische Anwendungen die Generierung der Hologramme interaktiv und in Echtzeit erfolgt. Schließlich wird durch die zuverlässige Generierung der Hologramme in Echtzeit gewährleistet, dass die daraus resultierende unerwünschte Reaktionszeit beim Nachverfolgen der Betrachterpupillen bzw. Fenster vermindert werden kann. Da die Generierung der Hologramme für einen Betrachter auch mit einfachen Recheneinheiten definitiv in Echtzeit erfolgt, gewährleistet das erfindungsgemäße Verfahren, dass auch für mehrere beziehungsweise viele Betrachter zeit- oder raumsequentiell separierte Hologramme zur Ansicht dargeboten werden können.The method allows the generation of computer-generated video holograms in real time, for example, for a holographic display according to WO 2004/044659 or WO 2006/027228 , The advantage of this method according to the invention is that the complex generation of the complex hologram values in accordance with PCT / EP 2005/013836 or PCT / EP 2005/013879 is omitted, where numerous transformations of the discretized object into the viewer window and a final back transformation into the SLM are correspondingly complex. In summary, at a commercially available resolution of the SLM, which already enables a high-quality representation of the hologram, the hitherto very high and cost-intensive requirements on the computing unit for generating the holographic data are permanently reduced. The calculation effort can be reduced by several orders of magnitude using the look-up tables. The inventive method thus allows the execution of common PC system men. This ensures that for holographic applications, hologram generation is interactive and real-time. Finally, the reliable generation of the holograms in real time ensures that the resulting undesirable reaction time when tracking the viewer's pupils or windows can be reduced. Since the generation of the holograms for a viewer is definitely done in real time even with simple arithmetic units, the method according to the invention ensures that holograms separated in time or space sequentially can also be displayed for several or many observers.

Da die Generierung der Hologramme wenig Rechenaufwand erfordert, ist beispielsweise denkbar, die Berechnung nicht von der zentralen Recheneinheit (CPU) eines Rechners auszuführen. In einer alternativen Lösung wird die Generierung der Hologramme auf den Komponenten der Graphikkarte erstellt, wobei vorzugsweise ein Graphics Central Processing Unit GPU und/oder speziell konfigurierte Recheneinheiten verwendet werden.There the generation of holograms requires little computational effort is for example conceivable, the calculation is not from the central processing unit (CPU) of a computer. In an alternative solution Creates holograms on components of a graphics card created, preferably a Graphics Central Processing Unit GPU and / or specially configured computing units.

Die Erfindung trägt nachhaltig zur allgemeinen Anwendung und Akzeptanz holographischer Displays bei und ist von hohem wirtschaftlichem Wert.The Invention carries sustainable for the general application and acceptance of holographic Displays and is of high economic value.

Bevorzugte Ausführungsformen der ErfindungPreferred embodiments the invention

1a veranschaulicht den Grundgedanken der Erfindung anhand eines einzelnen Betrachters. Durch die Position des Betrachters (O) und dessen Blickrichtung ist eine Ansicht einer Szene (S) festgelegt. Dem Betrachter ist mindestens ein in einer Referenzebene nahe der Augen liegendes virtuelles Betrachterfenster (OW) zugeordnet. Aus hinreichend kohärentem Licht wird von einem mit Hologrammwerten gesteuerten Spatial Light Modulator (SLM) ein moduliertes Wellenfeld erzeugt. 1a illustrates the basic idea of the invention on the basis of a single observer. By the position of the viewer (O) and its viewing direction, a view of a scene (S) is set. The viewer is assigned at least one virtual viewer window (OW) lying in a reference plane near the eyes. From sufficiently coherent light, a modulated wave field is generated by a hologram-controlled Spatial Light Modulator (SLM).

Dem Verfahren und den davon abgeleiteten Displays liegt dabei der Gedanke zugrunde, vorrangig nicht das Objekt der Szene zu rekonstruieren, sondern jene Wellenfront, die das Objekt aussenden würde, in ein oder mehrere virtuelle Betrachterfenster (OW) zu rekonstruieren. Das Objekt ist in der Figur durch einen Objektpunkt (P) vereinzelt dargestellt. Durch die virtuellen Betrachterfenster (OW) kann der Betrachter (O) die Szene (S) sehen. Die virtuellen Betrachterfenster (OW) überdecken die Pupillen des Betrachters (O) und werden mit bekannten Positionserkennungs- und Nachführeinrichtungen der aktuellen Betrachterposition nachgeführt.the The process and the derived displays is the idea The primary purpose is not to reconstruct the object of the scene, but rather to reconstruct it that wavefront that would send the object into one or more virtual ones Observer window (OW) to reconstruct. The object is in the Figure represented by an object point (P) isolated. By the virtual viewer window (OW) allows the viewer (O) the See scene (S). Cover the virtual viewer windows (OW) the pupils of the observer (O) and are familiar with known position recognition and tracking devices Tracked the current viewer position.

Dabei bewirkt das Ansteuern des Spatial-Light-Modulators (SLM) mit den Hologrammwerten der Videohologramme, dass das vom Displayschirm ausgehende, in Pixeln modulierte Wellenfeld durch Interferenzen in den Raum die gewünschte dreidimensionale Szene rekonstruiert.there causes the activation of the Spatial Light Modulator (SLM) with the Hologram values of the video holograms, that of the display screen outgoing, pixel-modulated wave field due to interference in the room the desired three-dimensional Scene reconstructed.

Wie aus 1a ersichtlich wird gemäß dem zugrunde liegenden Prinzip ein einzelner Objektpunkt (P) der Szene (S) nur durch einen beschränkten Pixelbereich des Spatial Light Modulators (SLM), dem so genannten Teilhologramm (TH), rekonstruiert. Die Größe und Lage eines Teilhologramms (TH) ergibt sich wie aus 1a ersichtlich in einer einfachsten Lösungsmöglichkeit aufgrund des Strahlensatzes, wodurch sich im Weiteren die Indices der zur Rekonstruktion dieses Objektpunktes (P) erforderlichen Pixel ergeben. Aus der Position eines Objektpunktes (P), also den lateralen x, y-Koordinaten und dessen Tiefenbeziehungsweise z- Abstand, werden die Position und die Ausdehnung des Teilhologramms (TH) abgeleitet. Im Look-up-Table LUT werden nun die zur Rekonstruktion des Punktes (P) erforderlichen Hologrammwerte ausgelesen.How out 1a Obviously, according to the underlying principle, a single object point (P) of the scene (S) is reconstructed only by a limited pixel area of the spatial light modulator (SLM), the so-called partial hologram (TH). The size and position of a partial hologram (TH) is as if 1a evident in a simplest possible solution due to the set of rays, resulting in the following the indices of the reconstruction of this object point (P) required pixels. The position and the extent of the partial hologram (TH) are derived from the position of an object point (P), that is to say the lateral x, y coordinates and their depth relationship z distance. In the look-up table LUT, the hologram values required for the reconstruction of the point (P) are read out.

Das Teilhologramm (TH) wird mit einem Helligkeits- und/oder Farbwert moduliert und in die Hologrammebene an der entsprechenden Position zum so genannten Gesamthologramm akkumuliert. Die Daten der genannten Look-Up-Tables werden vorab generiert. Vorzugsweise werden die Daten nach dem im Stand der Technik genannten Verfahren gemäß PCT/EP 2005/013836 erstellt und in entsprechende Datenträger und Speichermodule abgelegt. Anhand der Lage und Eigenschaften der Objektpunkt werden die zugehörigen Teilhologramme vorab berechnet und somit die Look-Up-Tables der Teilhologramme, der Farb- und Helligkeitswerte sowie der Korrekturparameter generiert.The partial hologram (TH) is modulated with a brightness and / or color value and accumulated in the hologram plane at the corresponding position to the so-called total hologram. The data of the named look-up tables are generated in advance. Preferably, the data is determined according to the method mentioned in the prior art PCT / EP 2005/013836 created and stored in corresponding data carriers and memory modules. On the basis of the position and properties of the object point, the associated partial holograms are calculated in advance and thus the look-up tables of the partial holograms, the color and brightness values and the correction parameters are generated.

1b veranschaulicht dieses Prinzip weiter und zeigt die Teilhologramme (TH1, TH2) die jeweils den Objektpunkten (P1, P2) zugeordnet sind. Aus 1b ist ersichtlich, dass diese Teilhologramme beschränkt sind und eine kleine und zusammenhängende Teilmenge des Gesamthologramms, also des gesamten Spatial-Light-Modulators (SLM), sind. Neben der, wie in der 1a ersichtlich, anhand des Strahlensatzes ermittelten Lage und Ausdehnung der Teilhologramme sind weiterführende funktionale Zusammenhänge denkbar. 1b illustrates this principle further and shows the partial holograms (TH1, TH2) which are respectively associated with the object points (P1, P2). Out 1b It can be seen that these sub-holograms are limited and are a small and contiguous subset of the total hologram, so the entire Spatial Light Modulator (SLM), are. In addition to, as in the 1a it can be seen that the location and extent of the partial holograms determined from the set of rays make further functional relationships conceivable.

Claims

A method for generating in real time computer-generated video holograms, wherein hologram values representing a three-dimensional object-structured scene (S) on a spatial light modulator (SLM), SLM, are encoded from image data with depth information, that wavefront representing the Object would be sent out, reconstructed into one or more virtual viewer window (OW) and the reconstruction of a single object point (P) only a partial hologram (TH) as a subset of the SLM requires, characterized in that for each object point (P), the contributions of the sub-holograms (TH) to the entire reconstruction of the scene (S) can be determined from look-up tables.

The method of claim (1), wherein the position of a viewer (O) and its viewing direction a view of the Scene (S) is fixed and the viewer (O) at least one in a viewer plane (OP) near the eyes virtual viewer window (OW) and after a three-dimensional discretization the scene (S) in visible object points (P), the following steps includes: - Step (1): Determination of the position of the partial hologram (TH) per object point (P) - Step (2): determination of contributions of the associated sub-hologram (TH) from look-up tables - Step (3): repeating the two steps for all object points, where the partial holograms (TH) to a total hologram for reconstruction the entire scene (S) are accumulated.

The method of claim (1), wherein data values of Partial holograms and / or the overall hologram with brightness and / or Color values can be modulated from look-up tables.

The method of claim (1), wherein the data values the partial holograms and / or the total hologram added correction values become.

Method according to claim (1), wherein the position of the partial hologram an object point due to the position of the object point and the Observer window is determined.

Method according to claim (5), wherein the position of the partial hologram is determined on the basis of the jet set.

Method according to claim (1), wherein the indices of the Pixels of the SLM which refer to the partial hologram of an object point, determined on the basis of the position of the object point and the observer window becomes.

Method according to claim (7), wherein the indices the pixel is determined based on the set of rays.

Method according to one or more of the aforementioned Claims, where for color representation the basic colors from respective look-up tables are determinable.

Method according to one or more of the preceding claims, wherein the generation of the underlying look-up tables according to PCT / EP 2005/013836 or PCT / EP 2005/013879 he follows.

Method according to one or more of the aforementioned claims especially for a holographic display.

Method according to Claim (17), in particular for a holographic display according to WO 2004/044659 or WO 2006/027228 ,