CN102608900B - 一种图形子系统和全息显示装置 - Google Patents

Abstract

从有深度信息的三维图像数据中实时绘制并且产生计算机生成视频全息图的方法，其中，观察者(V)的位置和观察者视线确定景象(3D-S)的视图，并且观察者分配有至少一个虚拟观察者窗口(VW)，该虚拟观察者窗口处于观察着眼睛附近的观察平面中(VP)，包含以下步骤：步骤(1)：3D绘制和两平行截面间景象截面数据的深度图的产生，该两平行截面设置成与观察者的观察方向成直角，步骤(2)：景象截面数据的转换，即，光波向观察者窗口传播的计算。步骤(3)：3D绘制和转换步骤的重复，将单独转换的结果进行加和，步骤(4)：回归转换，汇集数据从观察面转换到全息面，以便产生全息数据，步骤(5)：为了重建三维景象，在像素值中编码，各个过程步骤通过一个或多个图形处理器在图形子系统上执行。

Description

一种图形子系统和全息显示装置

本申请是发明名称为“实时绘制并生成计算机生成视频全息图的方法”，申请号为200780013157.6(国际申请号为PCT/EP2007/053568)，申请日为2007年4月12日的发明专利申请的分案申请。

技术领域

本发明涉及一种从有深度信息的三维图像数据中实时绘制并且生成计算机生成视频全息图CGVH的方法。关于绘制过程，本发明涉及3D绘制管线或者图形管线，其描述了从三维景象的矢量、数学描述到显示器屏幕像素图像的运算法则。三维图像数据包含深度信息，通常也包含关于材料和表面性能的附加信息。关于全息图数据的生成，本发明涉及景象分段转换，转换中描述了光波的传播。在三维对象或者三维景象的全息重建过程中，光波前通过相干光波的干涉和叠加产生。

经典的全息图用摄影术或者另一种适当的干涉图形式的方法存储，与经典全息图不同，计算机生成视频全息图CGVH作为从三维景象序列获得的全息数据的计算结果的形式存在并且以电子方式存储。已调制光能够在观察者眼前的区域以可控制振幅和相位值的光波前的形式产生干涉传播，上述的光波前因此重建三维景象。通过控制有视频全息图的全息值的空间光调制器SLM产生在像素中调制并且从显示屏中发出的波场，以按需要通过在重建空间中产生干涉来重建三维景象。

全息显示装置典型地包含通过电子影响照明光的振幅以及/或者相位重建对象点的可控制像素安排。这样的安排形成空间光调制器SLM或者，更为普遍地，形成光调制器装置。显示装置可选择地为连续型而非矩阵型。例如，其可以是连续的空间光调制器SLM，包括有矩阵控制的连续空间光调制器SLM或者声光调制器AOM。液晶显示器LCD作为这种通过光图样的空间振幅调制的方式重建视频全息图的适宜显示装置的例子。然而，本发明也可以应用于其他使用干涉光调制光波前的可控制装置。

在本专利文件中，术语“像素”指空间光调制器SLM中的可控制全息像素；像素通过全息点的离散值单独地寻址和控制。每一个像素表示视频全息图的一个全息点。在液晶显示器LCD中，术语“像素”因此用于显示屏的可单独寻址图像点。在DLP中，术语“像素”用于个别微反射镜或者小微反射镜群。在连续的空间光调制器SLM中，“像素”是表示复杂全息点的空间光调制器SLM的过渡区。术语“像素”因此通常指能够表示或者显示复杂全息点的最小单元。

背景技术

电脑生成视频全息图可以例如应用WO2004/044659号专利文件中申请人已经说明的全息显示装置进行重建。观察者通过至少一个比眼睛瞳孔大的虚拟观察者窗口看向显示屏。

“观察者窗口”是有限的虚拟区域，通过该区域观察者可以有足够的可见度观察到整个三维景象的重建。观察者窗口位于观察者眼睛上或者在观察者眼睛附近。观察者窗口可以在X、Y和Z方向移位。在观察者窗口中，波场干涉使得观察者可以看到重建对象。窗口位于观察者眼睛附近并且在已知的位置检测和跟踪系统的帮助下可以跟踪到真实的观察者位置。因此它们最好被限制到仅仅略大于眼睛瞳孔的大小。可以使用两个观察者窗口，每一只眼睛用一个。通常，也可能存在更复杂的观察者窗口安排。进一步可能的是编码包含对观察者来说出现在空间光调制器SLM后方的对象或者整个景象的视频全息图。

术语“转换”应解释为包括任何与转换相同或近似的数学或者计算技术。数学景象的转换仅仅是物理过程的逼近，可以通过麦克斯韦(Maxwellian)波动方程更加精确地描述。像菲涅耳(Fresnel)转换或者特殊群转换这些被认为是傅里叶(Fourier)转换的转换描述了二阶逼近。转换通常用代数或者非微分方程表示，因此转换可以应用公知的计算装置被有效并且高性能地处理。此外，它们可以在光学系统中精密使用。

由申请人提交的WO 2006/066919号专利文件说明了一种计算计算机生成视频全息图的方法。根据这种方法，具有三维景象的复杂振幅值的目标被分配到平行虚拟截面层的矩阵点，使得对每一个截面层来说，单独的目标数据集由矩阵点中的离散振幅值定义，并且全息显示装置的光调节矩阵的全息编码由图像数据集计算得到。

根据本发明，目标解决方案利用这样的总体思路，即，以下步骤借助计算机执行：

以波场的分别的二维分布的形式从每一个断层景象截面的目标数据集为观察者平面计算衍射图，上述观察者平面处于距截面层有限的距离并且与截面层平行，其中为至少一个普通的虚拟窗口、处于观察者眼睛附近的观察者平面中的观察者窗口计算所有截面的光场，上述的观察者窗口区域小于视频全息图；将所有计算的截面层分布加起来在相对于观察者窗口参照的数据集中为观察者平面形成汇集波场；

将参考数据集转换成处于距参考面有限距离并且与参考面平行的全息面，以便产生景象的汇集计算机生成全息图的全息数据集，光调制器矩阵处于全息平面内，并且在编码以后、在上述光调制器矩阵的帮助下、景象在观察者的眼睛前方的空间重建。

上述方法和全息显示装置是基于这样想法，即景象目标本身不重建，而是最好在一个或者多个观察者窗口中重建将由目标发出的波前。

观察者可以通过虚拟观察者窗口观察景象。虚拟观察者窗口可以在公知的位置检测和跟踪系统的帮助下跟踪到真实的观察者位置。虚拟的、平截头形的重建空间在全息显示装置的光调制装置和观察者窗口之间延伸，空间光调制器SLM表示基部和观察者窗口平截头的顶部。如果观察者窗口非常小，平截头可以近似成为棱锥体。观察者通过虚拟观察者窗口朝向显示器观察并且在观察者窗口中接收表示景象的光波前。

发明目的

本发明的目的是提供一种从有深度信息的三维图像数据中实时产生视频全息图的方法。具体说，会使用如今市售的例如用于显卡和游戏机中的图形处理器和图形子系统。关于硬件、软件和程序界面的已建立的行业标准会在没有限制通用性的情况下使用。

发明内容

下面对本发明方法的总体思路进行说明，不详细叙述可能的优化。本方法基于有深度信息的三维图像数据。该信息例如采用顶点、法向矢量和矩阵形式的三维描述来说是可用的。图像数据通常含有关于材料和表面性能等的附加信息。

实时绘制时，3D绘制管线或者图形管线说明了为显示在显示屏幕上而从三维景象的矢量、数学描述到帧缓冲中的像素化图像数据的路径。例如，屏幕坐标到装置坐标的转换，在管线中完成材质贴图、裁切和反锯齿。表示三维景象的二维投影、并且存储在图形适配器的帧缓冲中的像素画图像含有监视器屏幕、例如LCD液晶显示器的可控制像素的像素值。

为了获得全息再现，对能够产生干涉的光进行相位以及/或者振幅调制，并且三维景象在叠加光波产生的衍射图的帮助下重建。

图形管线同样用于从有深度信息的三维图像数据中产生视频全息图的第一个过程步骤中。接下来，全息数据的产生基于景象的转换，其中转换描述了光波的传播。回归转换之后，执行编码过程，该过程中复杂全息值转换成为全息显示装置的一个或者多个光调制器的像素值。

本发明基于这样的想法，即，一方面3D绘制过程、另一方面全息转换、回归转换和编码过程，这两个过程组没有在图形处理器和运算处理器上分别实现，但是，这两个过程组可以在一个或多个图形处理器上实现。所有过程步骤的全部实现用图形子系统完成，图形子系统主要包含图形处理器的主要部件、存储介质以及接口。根据本发明，目的最好是利用与运算处理器相比当今市售的图形处理器的高性能。此外，可以省略图形子系统和其它外接口之间的复杂数据传输。

现在，对上述的过程步骤将进行如下详细说明。三维景象的视图通过观察者的位置和观察方向确定。观察者至少分配有一个在参考面上位于观察着眼睛附近的虚拟观察者窗口。

图像数据以有深度信息的三维描述的形式提供。典型地，目标的颜色和它们的表面纹理都被确定。此外，在辅助运算法则的帮助下模拟或者产生材料的属性和光源。

在准备步骤中，根据观察者的观察方向进行景象转动、确定大小以及转换，并且计算景象可见度。接着，在照度模型的帮助下计算所有关于光的类型和分布的必要信息。这样做的目的是确保在产生全息数据的随后步骤中不必重复计算坐标和照明细节。那些计算相当复杂，并且在复杂景象的情况下，可能会对整个系统的性能产生不利影响。

第一个过程步骤包含3D绘制和深度图的生成。景象数据接着被两个平行截面切成截面层。这些平面与观察者的观察方向呈直角，并且截面之间的距离选择尽可能的小以确保计算结果的足够准确以及良好的处理性能。理想情况下，距离应该非常小，以至于仅仅只有那些与观察者保持恒定距离的深度信息在计算过程中必需被考虑到。如果平面间的距离较大，则应该选择成例如两个平面间的平均距离被确定并且分配到特定层。现在绘制层的景象截面数据并且产生深度图。

在接下来的过程步骤中，转换景象截面数据。通常，转换描述光波向虚拟观察者窗口的传播。最简单的转换是傅里叶转换和菲涅耳转换。傅里叶转换适用于远场，远场由于与观察者距离远，光波可以解释为平面波前。与其他转换相反，傅里叶转换显示出转换可以在光学元件的帮助下模拟的优点，反之亦然。在球面波的近场中，最好使用菲涅耳转换。转换基于截面层隐含的常量Z坐标。例如，使用两个平面中的一个的Z坐标或者那两个平面的平均Z坐标。

随后重复上述3D绘制和转换的步骤，因此在观察方向上连续移置截面直到整个景象转换。连续增加景象截面数据的转换数据以便形成汇总参考数据集。整个景象转换之后，这个参考数据集表示单独景象截面数据的转换总和。

随后的过程步骤中，执行回归转换，该步骤中参考数据转换为与光调制器装置位置一致的全息面，全息面位于最远端并且与参考面平行，以便产生视频全息图的全息数据。

最后的过程步骤中，执行编码过程，在标准化之后执行向像素值的转换。如果使用布克哈特(Burckhardt)编码方法，复杂全息值用三个在0和1范围内的标准化的值表示，其中由1表示的值表示形成最大可达到的元件值。这些值之后转化为离散值，它们以离散化的灰度值的形式表示光调制器装置的像素的控制强度。离散化步骤的数目由所用的图形卡和显示面板的特点共同决定。它们通常有8字节的分辨率和256个灰度阶。其它分辨率，例如，10字节或者更多都是可能的。另一个较佳的编码方法是两相编码方法。

根据本方法的特定实施例，如果所选择的编码方法不允许解析，而只是用迭代解，则重复从3D绘制到编码的步骤直到足够接近以信号噪音最小为特征的最佳解。

现在编码像素值在帧缓冲中转移到光调制器，其中对能产生干涉的光进行相位以及/或者振幅调制，三维景象在重叠光波产生的干涉图样的帮助下重建。

如果要产生彩色图像内容，本方法类似地应用于每一个彩色元件。为了表示视频全息图，每一个像素可以由三原色的每一个子像素组成用来表示或者显示彩色全息点。依靠视频全息编码的类型，可以用进一步的子像素来表示每一个彩色全息点的原色。

本发明方法因此提供了用当今市售的用于显卡或者游戏机的图形处理器和图形子系统从有深度信息的三维图像数据中实时产生视频全息图的基本原理。

附图说明

图1表示本方法的流程图；

图2表示用于迭代解的特殊情况的方法流程图；

图3表示用于显示根据本发明方法产生视频全息图的优选的全息显示装置(HAE)的原理图。

具体实施方式

本发明的进一步的各个方面和细节将通过如下实施例和附图进行说明。

图1表示本方法的流程图。该方法建立在有深度信息的三维图像数据基础上。景象的视图由观察者的位置和观察方向确定。观察者至少分配有一个位于参考面上观察者眼睛附近的虚拟观察者窗口。

在准备过程步骤中，考虑观察者的观察方向对景象坐标进行转换并且进行景象照度计算。如有必要的话，在这里可以执行更多步骤以提高景象显示质量。这些步骤，以及随后所有的步骤，都在图形子系统中执行。

第一个步骤包含3D绘制和两个平行截面间的景象截面数据的深度图的产生，这两个平行截面设置成与观察者的观察方向呈直角。景象截面数据接着发生转换，即，计算光波到参考面上的虚拟观察者窗口的传播。将转换的景象截面数据加起来以便形成汇总数据集。此实施例中应用了傅里叶转换，傅里叶转换是在快速傅里叶转换算法的帮助下用数字执行的转换。主要的数字操作需要实现这种转换，即，主要的乘法和加法、重复和条件指令以及它们的组合在可编程着色器上实现并且通过同样的方式来完成。

现在重复3D绘制和转换步骤，同时在观察方向上连续移置截面，直到整个景象转换。此后，景象回归转换，这里同样应用傅里叶转换算法。逆转换在可编程着色器上实现并且通过同样的方式来完成，与最初的转换类似。在回归转换过程中，汇总的数据从参考面转换到全息面，全息面与光调制装置一致，位于最远端并且与参考面相平行，以便产生视频全息图的全息数据。

最后，编码景象，该步骤是在标准化步骤之后，为了重建三维景象，计算像素值并且在帧缓冲中将像素值转移到光调制器装置中。这些简单的算术运算，和转换相比，是最简单的情形，也在可编程着色器上实现并且通过同样的方式来完成。

图2说明了用于迭代解的特殊情况的方法流程图。计算景象可视度和照度、3D绘制和深度图的生成、汇总转换景象截面数据的转换、回归转换以及编码等主要步骤按照第一实施例中所述来设计和执行。这个实施例基于不能解析计算像素值的编码的想法。从3D绘制到编码的步骤因此迭代执行。经计算编码的像素值，即，相位以及/或者振幅，在这里用作随后迭代步骤的转换和回归转换的初始值。反复迭代直到足够逼近以信号噪音最小为特征的最佳解。考虑到转换的类型以及应用的数字运算法则，可以利用其它最佳解停止标准或者规定。

图3所示为优选的全息显示装置(HAE)(德语为“holographischeAnzeigeeinrichtung”，简写为“HAE”；英语为“holographic displaydevice”，简写为“HDD”)的一般原理，全息显示装置(HAE)用于显示根据本发明方法产生视频全息图。观察者，用他或她的观察眼表示，透过虚拟观察者窗口(VW)观察全息显示装置(HAE)。该装置包含光调制器装置(SLM)。这样的全息显示装置所基于的原理为：主要将目标发出的波前重建到观察面(VP)上的一个或者多个虚拟观察者窗口(VW)中。

Claims (8)

1.一种图形子系统，其特征在于，包含一个或多个图形处理器，该图形子系统适于执行从有深度信息的三维图像数据中实时绘制并且产生计算机生成视频全息图的方法，该方法执行用于全息显示装置，全息显示装置包含光调制器装置并且主要将目标发出的波前重建到观察者眼睛，其中，观察者的位置和观察方向确定景象的视图并且观察者分配有至少一个虚拟观察者窗口，虚拟观察者窗口处于观察者眼睛附近的观察平面中，在准备步骤中考虑观察者的观察方向使景象坐标发生转换并且进行景象照度计算，该方法包含以下步骤：

步骤(1)：3D绘制和两平行截面间景象截面数据的深度图的产生，该两平行截面设置成与观察者的观察方向成直角，

步骤(2)：景象截面数据的转换，即，光波向观察者窗口传播的计算，

步骤(3)：3D绘制和转换步骤的重复，同时在观察方向上连续移置截面，直到整个景象转换，并且将单独转换的结果进行加和，

步骤(4)：回归转换，汇集数据从观察面转换到与光调制器装置的位置一致的全息面，全息面位于最远端并且与观察面平行，以便产生视频全息的全息数据，

步骤(5)：编码，为了重建三维景象，标准化步骤之后计算像素值并且在帧缓冲中转移，

各个过程步骤通过一个或多个图形处理器在图形子系统上执行。

2.根据权利要求1所述的图形子系统，其特征在于，3D绘制、转换、回归转换以及编码的过程步骤在可编程的着色器上实现并且在其上执行。

3.根据权利要求1所述的图形子系统，其特征在于，转换描述了光波通过傅里叶或者菲涅耳转换进入观察者窗口的传播。

4.根据权利要求1所述的图形子系统，其特征在于，对于色彩表现，所述方法应用到每一个原色。

5.根据权利要求1所述的图形子系统，其特征在于，转换到观察者平面基于景象截面数据与观察者平面之间的恒定距离，所述恒定距离应用于截面。

6.用于转换和编码过程的迭代解的根据权利要求1所述的图形子系统，其特征在于，重复步骤(1)和(3)直到足够逼近以信号噪音最小为特征的最佳解。

7.一种全息显示装置，其特征在于，包含光调制器装置，所述全息显示装置主要将目标发出的波前重建到观察者眼睛，其中，观察者的位置和观察方向确定景象(3D-S)的视图并且观察者分配有至少一个虚拟观察者窗口，虚拟观察者窗口处于观察者眼睛附近的观察平面中，在准备步骤中考虑观察者的观察方向使景象坐标发生转换并且进行景象照度计算，该全息显示装置适于执行包含以下步骤的方法：

步骤(1)：3D绘制和两平行截面间景象截面数据的深度图的产生，该两平行截面设置成与观察者的观察方向成直角，

步骤(2)：景象截面数据的转换，即，光波向观察者窗口传播的计算，

步骤(3)：3D绘制和转换步骤的重复，同时在观察方向上连续移置截面，直到整个景象转换，并且将单独转换的结果进行加和，

步骤(4)：回归转换，汇集数据从观察面转换到与光调制器装置的位置一致的全息面，全息面位于最远端并且与观察面平行，以便产生视频全息的全息数据，

步骤(5)：编码，为了重建三维景象，标准化步骤之后计算像素值并且在帧缓冲中转移，

上述各个步骤通过权利要求1至6中的任一项所述的一个或多个图形处理器在图形子系统上执行。

8.根据权利要求7所述的全息显示装置，其特征在于，包含权利要求1至6中任一项所述的图形子系统。