CN1809801A - 跟踪六个自由度的计算机输入装置 - Google Patents

Abstract

本发明公开了一种能输入三维六度数据到计算机中的输入装置，包括用于限定第一主轴和第二主轴或平面的跟踪点(110)列阵。跟踪点(110)所发射或反射的光被摄像装置(130)拍摄到。根据拍摄到的二维图像，通过所提供的算法和查找表，可以从跟踪点(110)的相对位置获得相应于输入装置位置和方向的三维数据。在本发明的优选实施例中，输入装置是带有横杆(120)的直棒(101)，其上的跟踪点以及摄像装置(130)使得计算机用户能够输入摇摆运动到遊戏或其他三维应用的虚拟环境中。

Description

跟踪六个自由度的计算机输入装置

技术领域

本发明涉及计算机输入装置，更具体地说，涉及一种具有多个跟踪点及一个摄像装置、能够将三维(3D)六个自由度的数据输入到计算机或游戏机中的计算机输入装置。

背景技术

目前，计算机的主要输入装置有键盘和鼠标。对于计算机游戏来说，则有操纵杆和带有专门按纽的游戏控制器等附加设备，以使游戏玩家能够在游戏的虚拟环境中有更多的输入装置方面有选择。然而，现在用于输入三维信息的都是这些二维的输入装置。最近更有诸如游戏手套等让玩家穿戴在身上的“计算机接口穿戴器”，也能让这些玩家将所选择的运动输入到计算机游戏中。

尽管有如此多的输入装置，却没有能令人满意的可输入击剑、拍球或者用球棍击球等摇摆运动数据到计算机中的产品。另一些类似的应用范围是跟踪交响乐指挥棒运动或者“魔术棒”在游戏中变魔法时的摇动。采用将光标控制键和滾动跟踪球等相结合的输入方式，在游戏中控制虚拟对象时，无法将用户所需要的运动以令人满意的方式传达出来。

此外，除计算机游戏以外的其它应用，诸如计算机辅助设计与制造(CAD/CAM)工作中，也需要到三维(3D)输入来修改三维图像设计。现有的输入装置不容易达到所要求的性能。

因此，需要一种直觉、直接且符合人体工程学的输入装置，以便将用户的三维运动的信息输入到计算机或游戏机中。

发明内容

本发明的目的在于提供一种能够将三维六个自由度的数据输入计算机的输入装置。该输入装置包括跟踪器，所述跟踪器包括用于定位第一主轴的第一跟踪点列阵、用于定位与第一主轴相垂直的第二主轴或平面的第二跟踪点列阵，其中跟踪点之间距离经仔细选择，使得处理器能够利用拍摄装置所拍摄到的跟踪点的二维图像通过给定的算法确定输入装置在三维空间的位置和方向。

确切点说，根据本发明的一方面，提供一种输入装置，包括一个带有横杆的跟踪棒，其直棒与横杆上均有多个跟踪点，另外还包括至少一个摄像装置、至少一个照明装置及至少一个处理器。

附图说明

以下将参考附图，结合实施例对本发明做进一步描述。

图1是本发明的一个实施例的示意图；

图2所示为跟踪器的座标相对于摄像装置的座标的平移和转向，此两个座标原本是完全重叠的；

图3示出了跟踪器的两个主轴是如何通过本发明的算法通过反复运算后被确定。

图4所示为本发明的跟踪器的另外两个实施例。

具体实施方式

以下将通过优选实施例对本发明进行详尽的描述。在以下的描述中，将给出该优选实施例的详细内容。当然，任何熟悉该技术领域的普通技术人员在实施本发明的过程中可以无需如此的细节。为了避免模糊本发明的重点，某些细节是无需详细地描述。

本发明的一个目的是提供一种使计算机和电子游戏装置能接纳三维空间运动数据的输入装置。

本发明的另一个目的是提供一种使计算机和电子游戏装置能在虚拟环境中的虚拟物体上重现三维、六个自由度运动的输入装置。这种运动输入可以用最少的处理器资源来实现，因而本发明可用于简单、小型或者较低价格的计算机和电子游戏装置中，并且无需占用太多的其它并行处理程序的处理器资源。

术语“计算机”和“游戏装置”包括，但不限于，任何需要三维输入的计算机设备，诸如CAD/CAM工作站、个人计算机、电子游戏专用控制台和装置、个人数字助理、及用于处理本发明所拍摄的图像的专用处理器。

本发明的优选实施例具有许多优点。一个优点是：使用者所期望的在电子游戏的虚拟环境中进行击剑运动中的冲刺和挡避、挥动高尔夫球棒或各类球拍、球棒等运动，都能使用本发明的方案来跟踪和代表。

另一个优点是：有些迄今为止不能轻易完成的应用输入形式，诸如在虚拟艺术中的绘画和雕刻等动作，甚至虚拟外科训练或遙控医疗服务中的精确的外科手术刀操纵动作，都能通过本发明而实现。

本发明的输入装置中采用跟踪棒，其上有一组能定位第一主轴的跟踪点的第一列阵，和一组能定位第二主轴或定位与第一主轴相垂直的平面的跟踪点的第二列阵。跟踪点之间的距离经过仔细选择，使得跟踪点形成的二维图像可用来确定输入装置在三维空间中的位置及方向。

图1是根据本发明一个实施例的输入装置的示意图。应注意的是，跟踪点阵列的方式不限于实施例所作的描述。本发明优选实施例的输入装置中一个主要部件是跟踪棒101，它是一种长直形的装置，其一端是一个手柄100，另一端是主干103。使用者抓住手柄端来操纵该跟踪棒。

横杆120设置于跟踪棒的主干端部且与主干垂直，形成“T”字形狀。在本实施例中，横杆120所在的平面与跟踪棒的纵轴在同一平面内。虽然本实施例中用的是一直线横杆，但其他“L”形或者三角形甚至多边形的横杆也可以使用。

在跟踪棒的主干上设置有第一组多个跟踪点。横杆上还设置有第二组多个跟踪点。这些跟踪点110可以是主动式的发光器或者是被动式的反光器。

当这些跟踪点是主动式的发光器时，它们具有全方位发光的能力。因此，不论跟踪棒朝任何方向，只要跟踪点是在摄像装置的视场之内而沒被遮挡，就能被摄像装置拍摄到。

可用的光波波长范围包括紅外光、可见光直到紫外光。

在优选实施例中，跟踪点是被动式的紅外反光器并且多个跟踪点形成“T”排列。这些跟踪点最好是圆球形狀，以达到最大反光效果。主干上靠近手柄的跟踪点(“最后”跟踪点)除外，该跟踪点不是球形或半球形而是稍微凸圆顶形。对大多数应用而言，跟踪棒的长度不超过30公分，此长度应可满足绝大多数的使用者。在主干上有至少两个跟踪点，而有三个联成直线的跟踪点则是更优。在横杆(其长度最好六公分左右)的两端部各设有一个跟踪点。

本发明的输入装置还包括至少一个照明装置150以及至少一个合适的摄像装置130。所述照明装置150可提供所选用的波长范围的光线，所述摄像装置130可以是采用金属氧化物半导体(CMOS)或者电荷耦合器件(CCD)作为感光器的摄像机。在优选实施例中，采用了一个照明装置和一个摄像装置，并将摄像装置连接到处理器上。

在操作过程中，使用者手抓住本发明的跟踪棒并且如掌握着所选择的虚拟物体般挥动它。光线从被动式跟踪点上反射出来，作为亮点被摄像装置拍摄。然后摄像装置把图像传输到处理器。

本发明的成功运作，取决于跟踪棒上的跟踪点是否在摄像装置视场之内与在其视线上。因此，照明装置和摄像装置的理想位置应极接近计算机或游戏主机的显示屏幕，以便使用者挥动跟踪棒的范围能基本上局限在照明装置和摄像装置的操作空间内。

为了帮助使用者将跟踪棒保持在摄像装置的视场所覆盖的空间范围内，利用一个带有明显边界标志180的衬垫(pad)160，以帮助使用者估计摄像装置的视场范围。在衬垫的中心还可画一个圆圈170以帮助使用者在应用或游戏开始时将跟踪棒定位在中心位置。衬垫的表面也选用反射系数最小的材料，使所用波长的光线反射最少。

所有与跟踪棒的位置(平移度T＝(t_x，t_y，t_z))和方向诸如倾斜度201，旋转度203与偏转度202有关的的转换参数，都以相对于摄像装置或者摄像机的座标(Xc，Yc，Zc)来表示(如图2)。

假定在初始状态时跟踪棒的座标(Xw，Yw，Zw)与摄像装置的座标(Xc，Yc，Zc)是完整重叠的。通过以下“XYZ固定角度”变换方程式，跟踪棒上的任何一点w＝(x，y，z，1)可以变换到以摄像装置座标为基准的空间中的一个点w’＝(x’，y’，z’，1)：

w’＝T+Rz Ry Rx w

其中Rx是Xc轴的倾斜度旋转矩阵；

    Ry是Yc轴的偏转度旋转矩阵；以及

    Rz是Zc轴的旋转度旋转矩阵。

在每一个时间间隔中，通过本发明的算法、利用所拍摄到的图像中的每一亮点的相对位置计算出跟踪棒的位置和方向。然后利用该信息相应地移动使用者在虚拟环境中所要控制的物体。

这样，在本发明中利用摄像机所拍摄的图像中跟踪棒上的跟踪点的相对位置来重组跟踪棒的运动。

所使用的另一信息是在横杆两端上的跟踪点之间的距离d₁(在图3中示为323)和主干上最靠近横杆的的两个跟踪的点之间的距离d₂(示为322)。由摄像装置拍摄到的两段距离的比可用于重组跟踪棒所代表的虚拟环境中的物体的位置。

摄像装置有可能拍摄不到靠近跟踪棒手柄处的跟踪点210，这取决于跟踪棒的方向是朝向或背离摄像装置。然而，在四个或者五个跟踪点的两种情况下，本发明的算法都能夠分辨所拍摄的图像。

如图3所示，在图像上显现的四或者五个跟踪点，都可用于通过本发明的算法来确定纵向主轴和夹角θ324。

图3A示出了以二维图像显现的由摄像装置拍摄的三维空间中的五个跟踪点的图像的示例。将其中任何两个点两两相连，可能得到十条线段(图3B)。

算法开始，先将这十条可能的线段中的第一条线段320与其它几条线段相比较，确定第一条线段320是否能将其它的线段321(图3C)平分成两半。重复这一过程(图3D显示了一个不成功的例子)，直到找出符合这一关系的两条线段(图3E)。这两条线段中平分另一条线段323的线段322就是跟踪棒的纵向主轴，而被平分的线段323就是横杆两端的跟踪点所定义的线段，也就是横杆的轴。

当这两个主轴通过算法识别出后，它们的相交点就是跟踪棒(图2)的参考原点104的位置，也就是跟踪棒与其横杆的接合处。该点在拍摄到的图像上以位置326示出。

此外，两轴之间的夹角θ以及所拍摄到的d₁和d₂的比例也能确定。横杆的投影轴与图像的水平轴之间形成的角度δ325也能由线段323和图像的x轴的角度确定。角度δ也正是跟踪棒在三维空间中的旋转度。

随后跟踪棒的平移度t_x和t_y也可直接从图像中的跟踪棒的参考原点326的位置中直接得出。

最后所需要的信息是跟踪棒上靠近手柄端的最后的跟踪点210是否在所拍摄的图像中显现出来。这一信息由P₅表示，如果有此点则P₅＝1，无则P₅＝0。

一旦获知这些基本参数，跟踪棒的位置就可从存储在一个预先准备好的查找表中的6个自由度信息里获得。该查找表给出如下的映射关系：

<θ，d₁/d₂，P₅>→<倾斜度，偏转度，l₁，l₂>

其中，当跟踪棒的原点分别处于摄像装置前面的最近z₁与最远z_u有效操作距离时，且跟踪棒的倾斜度及偏转度由以上映射关系确定时，l₁和l_u是在以下两种情况中所拍摄到的图像中的投影距离：

a.如果d₁/d₂＞＝1，横杆上两个跟踪点的投影距离；或者

b.如果d₁/d₂＜1，从跟踪棒的原点326至第四跟踪点300的投影距离。

由于该查找表是基于摄像装置的有效操作范围生成的，因此定义出摄像装置的有效操作范围是很重要的。由于不同的应用都有其对应的查找表，操作范围可以变化和按比例缩放，因而本发明不局限于特定的有效操作范围。对于大多数桌面应用，z₁和z_u这两个极限值可分别地设定在25公分和50公分。

然后平移后跟踪棒的原点与摄像装置之间的距离t_z可用如下公式近似推算：

如果d₁/d₂＞＝1，t_z＝z₁+((z_u-z₁)×(l₁-d₁)/(l₁-l_u)))；或者

如果d₁/d₂＜1，t_z＝z₁+((z_u-z₁)×(l₁-d₂)/(l₁-l_u)))

采用本发明的方案，跟踪使用者移动跟踪棒的情况只需简单地拍摄到跟踪点的相对位置，由此确定跟踪棒的位置和方向的主要参数，然后在虚拟环境中重组跟踪棒的运动。在使用本发明的输入装置时，按要求的时间间隔不断重复这一过程。

本领域的普通技术人员会意识到，有时其它物体诸如使用者身体或者跟踪棒本身的一部份会遮挡住一个或更多的跟踪点使得其不在摄像装置的视线内。当这种发生情况时，简单的算法可能无法应对。为克服这一局限性，可将执行该算法的驱动软件编写成能够预测跟踪棒的预期的运动轨迹，从而忽略这种情况，以便当再次检测到足够的跟踪点时恢复正常处理。由于使用者的手是在连续不断地运动，因此这种情况发生的频率不会大到引起使用者烦恼的地步。

优选实施例中至少有四个跟踪点。如果摄像装置在预定的数个时间间隔内沒有拍摄到最少数量的跟踪点，所使用的驱动软件将会提醒使用者跟踪点遮挡情况已经无法容忍。

当跟踪棒移出摄像装置的视场范围或被一些物体遮蔽住时会出现这类情形。图1中的衬垫160能提醒使用者将跟踪棒保持在摄像装置的视场范围之内以避免这种情形发生。

跟踪点之间的距离经过细心选择，以最大限度地減少对摄像装置所拍摄图像中的跟踪点进行判断分析时的不确定性，以使跟踪棒的位置和方向能够迅速地重组。

另一个可从所拍摄的图像中跟踪点的相对位置来重组跟踪棒的位置的方法是那些可在大多数关于机器视觉(robotic vision)和计算机制图技术的教科书中找到的标准三维重组算法。然而这些算法计算成本高，有碍于在一般的计算机中实时操作。因此使用这类算法就违背了本发明关于使用简单的计算机执行的目标。因此，在过渡期间利用查找表提供一种合理的迅速响应时间。

尽管如此，当处理器有足够的处理能力时，本发明仍然能使用任何三维重组算法来重组三维运动。

在优选实施例中，照明光源是与摄像装置的透镜同轴、环绕在透镜周围的环状发光源，光波长在750-1000nm之间。

如果所用的光源的波段较窄的话，为了达到最佳效果，跟踪点上的涂层、光源滤色镜及摄像装置上的透镜都需选用合适的材料。当优选实施例用紅外光，跟踪点应镀上如“雷射黄金”电镀层以取得在该波段的最大反光效果。

在本发明中可以使用灰度或者彩色摄像机，但摄像机最好是使用1比特/象素的分辨率(即用黑白表示)显示图像，以求最大限度地減少数据传输需求。

本领域的技术人员不难看出本发明还有许多其他可能的实施方式。例如，横杆可以是V形或者L形(图4A)、或者是等边三角形(图4B)、或者规则的多边形，只要横杆上跟踪点都在一个与跟踪棒的纵轴相垂直的平面内，本发明都能胜任。

每一个跟踪点也可以分别发射或反射不同颜色或波长的光波，摄像装置可以分辨这些颜色。在这一实施例中，当使用彩色摄像装置时，由于能够更容易快捷地分辨出跟踪棒位置的主要参数从而使其重组速度大大提高。

在该实施例中，光源发出的可以是可見光而各个跟踪点的反射涂层可分别选择反射不同波长的光。另外，可以利用小型光源如发光二极管(LED)作为本发明实施例中的主动式发光跟踪点。

本发明的输入装置也可根据不同的应用而照比例放大或縮小。其灵敏度可以根据需求而增加，例如透过将摄像装置移近或者使用高分辨率摄像装置来跟踪医生在进行外科手术时手部的动作。

相反的，摄像装置也可放置到离使用者远一些的地方以能跟踪到诸如挥动球拍或者棍棒等更大幅度的运动。可以在这些体育运动用具或其模型的适当位置上放置跟踪点以使它们能被跟踪。

随着科技的进步，图像拍摄的刷新速度和运动跟踪的灵敏性也可随处理器速度和能力的增加而提高。

虽然以上描述中只提及使用一个摄像装置，本发明也可使用一个以上的摄像装置来实施。如果使用一个以上的摄像装置，则可配合三角测量技术来重组跟踪棒到摄像装置的距离，以达到更佳效果。

本领域的普通技术人员不难看出，本发明中的算法可用各种不同的程序语言编写，包括最基本的机器语言到最高级的编程语言。本领域的普通技术人员还可将本发明集成到各种各样的游戏和CAD/CAM应用中。

概括而言，本发明提供一种输入装置，其包括：带有横杆的跟踪棒、摄像装置、照明装置、处理器，以及算法和查找表，以便使用者克服或者至少减轻现有技术中存在的问题。

虽然在优选实施例中使用的处理器是一台与输入装置相连的计算机，其实在本发明的范围下，也可使用单独的专用图像分析处理器来获得跟踪棒的位置及方向。

此外，虽然本发明能够跟踪三维空间中所有六个自由度的输入信息，本领域的普通技术人员不难看出，根据应用可将其容易地修改为只跟踪三个自由度输入信息或者只跟踪六个自由度输入信息。

应当理解的是，虽然以上仅对优选实施例进行了详细的描述，但是在不脱离本发明的范围的情况下，本领域的普通技术人员可以对本发明的实施方式进行各种修改和改进。

Claims (14)

1、一种能输入三维六个自由度数据到计算机中的输入装置，所述输入装置包括：

跟踪器，所述跟踪器包括用于定位第一主轴的第一跟踪点列阵、用于定位与第一主轴相垂直的第二主轴或平面的第二跟踪点列阵，其中跟踪点之间距离经仔细选择，使得能够利用所述跟踪点的二维图像通过给定的算法确定输入装置在三维空间的位置和方向；

至少一个摄像裝置；以及

至少一个处理器。

2、根据权利要求1所述的输入裝置，其特征在于，所述给定的算法还包括以下步骤：

从拍摄到的二维图像中识别跟踪点的位置和方向；

从拍摄到的二维图像中识别跟踪器的第一主轴和第二主轴或平面；

从被识别的第一主轴和第二主轴或平面中确定跟踪器的基本参数；

从查找数表中获得输入装置的位置和方向；及，

重组计算机输入装置的三维位置和方向。

3、根据权利要求1所述的输入裝置，其特征在于，所述确定输入装置在三维空间的位置和方向是确定其在三维空间的三个平移度。

4、根据权利要求1所述的输入裝置，其特征在于，所述确定输入装置在三维空间的位置和方向是确定其在三维空间的倾斜度、旋转度和偏转度。

5、根据权利要求1所述的输入裝置，其特征在于，所述输入装置还包括至少一个照明装置。

6、一种能输入三维六个自由度数据到计算机中的计算机输入裝置，所述输入装置包括：

跟踪棒，其上设置有一根横杆，横杆与跟踪棒的纵轴相垂直；跟踪棒与横杆上有多个跟踪点；

至少一个摄像裝置；

至少一个处理器；以及

一种算法，所述算法能从所述至少一个摄像装置所拍摄到的所述跟踪棒上的跟踪点的二维图像中，确定跟踪棒的位置和方向。

7、根据权利要求6所述的输入裝置，其特征在于，所述横杆垂直于所述跟踪棒。

8、根据权利要求6所述的输入裝置，其特征在于，所述跟踪棒上的多个跟踪点是被动式反光器，且所述输入装置包括至少一个照明装置。

9、根据权利要求8所述的输入裝置，其特征在于，所述至少一个照明装置以摄像装置的透镜为轴，环绕设置在透镜周围。

10、根据权利要求6所述的输入裝置，其特征在于，所述跟踪棒上的多个跟踪点是主动式发光器。

11、根据权利要求10所述的输入裝置，其特征在于，所述跟踪棒上的多个跟踪点是能够发射不同波长光波的主动式发光器。

12、根据权利要求6所述的输入裝置，其特征在于，所述多个跟踪点之间距离经仔细选择，以避免使用给定算法确定跟踪棒的位置与方向时出现不确定性。

13、根据权利要求6所述的输入裝置，其特征在于，摄像裝置还包括零个或更多个用于选择所用波段光波的滤色镜。

14、根据权利要求6所述的输入裝置，其特征在于，所述输入装置还包括一个衬垫以帮助使用者估计所述摄像裝置的视场范围。

Images