CN102341054B - 用于器械跟踪的构造标记设计和检测 - Google Patents

Abstract

本公开涉及使用来自一个或更多个工具定位参考特征的源自图像的数据的工具跟踪的系统、方法和工具。一种方法包括：引导来自光源的照明光到达患者体内的机器人手术工具上，其中所述工具包括在所述工具上具有已知位置的多个原始特征(300)，并且其中每个特征都包括球形反射表面(302)；当所述工具处于所述患者体内时，捕捉多个所述原始特征的立体图像，其中通过所述光源附近的立体图像捕捉装置捕捉立体图像，以便从被成像的原始特征反射向所述图像捕捉装置的照明光基本与所述被成像的原始特征的表面的球心(304)对齐；以及通过处理所述立体图像确定所述工具的位置，以便通过使用所述反射的光而定位所述被成像的原始特征的球心。

Description

用于器械跟踪的构造标记设计和检测

技术领域

本非临时申请要求美国临时专利申请No.61/203,975(2008年12月31日提交)在35U.S.C§119(e)下的权益，其全部内容通过引用包括在此。

本申请涉及美国非临时专利申请No.12/428,657(同时提交)[代理人案号No.ISRG01480/US，名称为“FiducialMarkerDesignandDetectionforLocatingSurgicalInstrumentImages”]，并且涉及美国临时专利申请No.61/204,084(2008年12月31日提交)，两者的全部内容通过引用包括在此。

背景技术

微创手术技术的目的在于降低诊断或手术程序期间损伤的外部组织的量，从而降低患者的康复时间、不适以及有害的副作用。结果，使用微创手术技术，能够显著缩短标准手术住院时间的平均长度。同样，通过微创手术技术，也可降低患者康复时间、患者不适、手术副作用、以及患者休假时间。

微创手术的一种普通形式是内窥镜检法(endoscopy)，而内窥镜检查法的一种普通方式是腹腔镜检法，其为腹腔内的微创检查和手术。在标准的腹腔镜检法手术中，向患者的腹部吹入气体，而套管衬套穿过小切口(大约1/2英寸或更小)，从而提供腹腔镜检法器械的进入端口。

腹腔镜手术器械通常包括腹腔镜或内窥镜(用于观察手术区域)以及工作工具。工作工具类似于传统(开放)手术中使用的工具，除了每个工具的工作末端或末端执行器都通过伸缩管而与其把手分离。在此使用的术语“末端执行器”意思是手术器械的实际工作部分，并且能够包括例如夹钳、抓紧器、手术剪、钉合器以及持针器。

为了执行手术程序，外科医生使这些工作工具或器械穿过套管衬套，到达内部手术部位(surgicalsite)，并且从腹部外面操作这些工具。外科医生通过显示源自腹腔镜的手术部位图像的监控器观察手术过程。类似的内窥镜技术在例如以下领域使用，即关节镜检查、腹腔镜肾脏输尿管切除术、盆腔镜检查、肾镜检查、膀胱镜检查、膀胱镜术、鼻窦内窥镜检查、子宫镜检查、尿道镜检查等等。

为了增加外科医生在内部手术部位中工作时的灵巧性，也为了允许外科医生从远程位置为患者实施手术，所以发展微创远程手术机器人系统。在远程手术系统中，通常在控制台向外科医生提供手术部位的图像。外科医生在观察适当的观察器或者显示器上的手术部位的三维(3-D)图像的同时，通过操作控制台主导输入或控制装置而对患者实施手术程序。每个主导输入装置都控制由伺服机械操作的手术器械的运动。在手术程序期间，响应主导输入装置的操作，远程手术系统能够提供机械致动，并且控制具有为外科医生执行各种功能的末端执行器的多种手术器械或工具，例如握住或推进针、抓住血管、解剖组织等等。

然而在手术程序期间，外科医生可能操作该工具，使得在内窥镜的视野外移动其末端执行器，或者由于流体闭塞或其他干涉物体而难以看到末端执行器。在该情况下，如果能够向外科医生在工作站的显示屏上提供末端执行器的定位和/或识别的帮助将有用。能够使用关于工具的3-D姿势(位置和方向)的精确信息，从而提供该帮助。通常，工具的3-D姿势的精确信息对于许多图像手术定位和用户界面应用都很重要。

已使用的提供精确工具跟踪的方法包括基于动力学的姿势信息和源自图像的姿势信息的结合。该工具跟踪信息的结合能够提供两种数据类型的优点，而排除关联的缺点。虽然可以通过非常高的更新速率获得运动学关节数据(kinematicsjointdata)，但是由于在每个关节的误差累积，而位于远离工具的关节中的误差对于精确度具有更大的影响，运动学估计姿势可能不是非常准确。相反，源自图像的工具姿势估计能够高度精确，但是可以以对于许多实时应用有用的较慢更新速率运行。通过使用更精确的源自图像的工具姿势估计修正较高更新速率的运动学姿势估计，能够获得更精确的较高更新速率的工具姿势估计。

许多现有技术已用于手术工具跟踪。在一种方法中，使用光学跟踪器跟踪标记(marker)组合件的位置，后者连接于患者体外的手术器械上的某一位置。然而，光学跟踪器需要专用立体摄像机以及专用的照明设备，其占据本已拥挤的手术室空间。由于有可能碰撞，该光学跟踪器的附接也降低了机器人臂的运动学范围。从3-D姿势到手术工具尖端的传播也能够产生几种水平的误差。另外的问题包括：需要额外的空间、有限的可见范围、手术室中的额外硬件装备、以及成本。另外一种方法使用电磁跟踪器，其具有自己相关的缺点。例如，大多数手术器械具有能够引起失真(distortion)的金属部分，由于连接一个工具尖端的电磁跟踪器和邻近的手术工具的金属组件之间的距离变化，该失真能够随着时间改变。电磁跟踪器也带来额外的成本。

计算刚性体相对于摄像机的3-D姿势是计算机/机器人影像系统中经充分研究的问题。可通过以下方法解决3-D姿势，即始于物体的已知特征，并且将这些特征与图像中的其二维(2-D)对应匹配。通常使用例如点和线段这样的特征。从单一2-D图像确定刚性体的3-D姿势在计算机影像系统中被称为“姿势估计”(参考ChristopheDoignon，“SceneReconstruction，PoseEstimationandTracking”的引言，2007)。如果使用基于点的对应，该问题称为“n点观察”，其中n是对应的数目。三个非共线点提供四个解。四个或更多个非共线点提供唯一解。

能够使用两种方法实现使用立体摄像机的刚性物体3-D姿势确定。首先，3-D姿势的确定能够作为一种最优化问题解决，其中选择提供被投影3-D点与两个图像中的图像对应之间的最佳匹配的3-D姿势。在另一方法中，能够使用两个视野中的图像点，从而使用立体三角测量确定相应的3-D点，而通过求解确定的3-D点和相应的模型点之间的刚性变换来确定相对姿势(参见A.Lorusso、D.W.Eggert和R.B.Fisher，“Acomparisonoffouralgorithmsforestimating3-drigidtransformations”，1995)。

然而，许多因素都能够妨碍获得源自图像的工具姿势估计的能力。举例来说，仅当物体的特征处于成像装置的视野之内时，才能够获得源自图像的估计并且将其提取。可防止提取特征的一些因素包括：通过解剖结构或其他器械闭塞该特征，迅速的器械或摄像机运动引起的图像质量降低(即运动模糊)，不利的照明条件(例如当光太强时饱和，当光太弱时对比度降低、由于光源、器械和成像装置的相对外形构造引起的强单向反射性)、以及复杂的背景杂斑。

因此，为了增加可得到精确的工具姿势估计的比率，更可靠的源自图像的工具姿势估计将有益，其进而可帮助提供更精确的全面工具跟踪。因此，期望提供改善的源自图像的工具姿势估计的改进的方法和系统，特别是哪些对于不利条件(例如闭塞、运动学模糊、以及不利的照明条件)不敏感的方法和系统。

发明内容

依照实施例，提供使用来自一个或更多个工具定位参考特征的源自图像的数据来执行3-D工具跟踪的改进的系统、方法和工具。使用一个或更多个参考特征能够通过提供一个或更多个能被更可靠地成像并处理的特征而提供改进的源自图像的工具姿势估计。在微创手术期间，有效并且可靠的源自图像的工具姿势估计能够特别有用，其中精确和可靠的工具跟踪能够提供许多优点，例如向外科医生提供定位闭塞或视野外工具的帮助。然而，应明白，公开的系统、方法和工具能够用于人体内部和外部的多种应用，以及非手术工具跟踪应用。通常，工具的3-D姿势的精确信息对于多种图像引导和用户界面应用都很重要。

因而，为了提供对本发明的基本理解，下文提出对本发明的一些实施例的简单概要。本概要不是本发明的完整描述。无意确定本发明的关键/重要元素，或者阐述本发明的范围。其唯一目的是通过简单的方式提出本发明的一些实施例，作为随后提出的具体实施方式的前奏。

依照一个实施例，提供确定被成像工具的工具状态的机器人手术方法。本方法包括：捕捉工具的第一图像，其包括限定第一标记的多个特征，其中第一标记的至少一个特征包括识别特征；通过处理第一图像而确定第一标记的位置；通过处理第一图像使用至少一个识别特征从而确定第一标记的识别；以及通过使用第一标记的位置和识别而确定工具的工具状态。

确定被成像工具的工具状态的机器人手术方法能够包括许多选择。例如，第一标记能够包括限定误差校验数据和/或校验和数据的冗余特征，而本方法能够包括：处理第一图像，从而检测冗余特征并且读取误差校验数据和/或校验和数据；通过验证第一标记识别与误差校验数据和/或校验和数据一致而确认第一标记的识别。

一些选择涉及具有两个或两个以上标记的工具。两个或两个以上标记中的每一个都能够具有与不同于工具上的其他标记的识别相关联的至少一个识别特征。能够使用处理器实现图像处理，该处理器具有用于每个标记的数据指示、标记与手术工具的关节之间的关联预定位置关系。确定工具的工具状态能够包括使用第一标记的位置、第一标记的识别、以及第一标记的关联位置关系数据。第一图像能够包括工具的第二标记。一种方法能够包括：通过处理第一图像而确定第二标记的位置；以及通过处理第一图像而确定第二标记的识别；通过使用第二标记位置、第二标记识别、与第二标记相关联的预定位置关系数据确定工具的工具状态。

一些选择涉及工具的多个图像。例如，有一种方法能够包括能够在第二标记在第一图像中模糊时使用的步骤，例如：在通过使用第一标记确定了工具状态后移动工具；在第一标记模糊但第二标记不模糊时捕捉移动后工具的第二图像；通过处理第二图像确定第二标记的位置；通过处理第二图像确定第二标记的识别；并且通过使用第二标记位置、第二标记识别以及与第二标记相关联的预定位置关系数据确定移动后的工具的状态。

一些选择涉及工具的立体影像。例如，立体成像装置(如立体内窥镜)能够用于捕捉手术工具的第一和第二图像，第一和第二图像能够被处理，从而确定第一标记的3-D位置数据。能够确定三维甚至更多维中的工具状态。

一些选择涉及具有某些类型的特征的多个标记的工具。例如，每个标记都能够具有至少一个定位器特征，以及相对于至少一个定位器特征处于已知位置关系的至少一个识别特征。能够通过使用定位器特征和方向特征确定第一标记的位置。能够通过以下方法确定第一标记的识别，即识别第一标记的至少一个定位器特征，并且根据定位器特征与识别特征之间的已知位置关系读取识别特征。

一些选择涉及“假设和测试”方法。例如，一种方法能够包括：处理第一图像，从而识别该至少一个定位器特征；为第一标记选择候选特性(candidateidentity)；使用已识别的至少一个定位器特征，产生具有候选特性的标记的候选视图；以及比较该候选视图与第一图像，从而验证选择的候选特性为第一标记特性。选择第一标记的候选特性能够包括通过以下方法产生用于手术工具的估计姿势，即使用来自工具的现有图像的至少一种现有工具状态，或者来自实现工具的运动学的机器人致动系统的关节数据。能够选择候选特性，从而得到用于手术工具的候选姿势，其处于手术工具的估计姿势的预定偏离之内。一种方法能够包括处理包含多种手术工具的图像，其中每个手术工具都具有其特性。一种特性能够通过以下方法关联具有第一标记的被成像工具，即检验第一标记的候选特性得到处于具有第一标记的手术工具的估计姿势的预定偏离之内的候选姿势。

能够使用多种方法从而确定标记的位置数据。例如，能够使用最大稳定极值区域(MSER)法。而另一个例子能够使用自适应阈值法(adaptivethresholding)。

依照另一实施例，提供能够用于确定被成像工具的工具状态的机器人手术系统。该系统包括：手术工具，其具有限定第一标记的多个特征，并且至少一个特征包括识别特征；成像装置，其用于捕捉工具在使用期间的第一图像，并且响应于输出第一图像数据；以及处理器，其耦合成像装置并且适用于处理第一图像，从而：确定第一标记的位置数据；使用识别特征确定第一标记的识别；以及通过使用第一标记的位置数据以及第一标记的识别确定被成像工具的工具状态数据。

确定被成像工具的工具状态的机器人手术系统能够包括可选择的组件和/或变体。例如，有一种系统能够包括有形媒介(tangiblemedium)，其包括可由处理器执行，用于处理被捕捉的图像的机器可读指令。一种系统能够包括非源自内窥镜的工具状态数据的输入，其源自支持工具的机器人关节，并且处理器能够被配置为处理非源自内窥镜的工具状态信息以及源自图像的工具状态信息，以便跟踪工具状态。成像装置能够适用于与第一图像基本同时捕捉手术工具的第二图像，并且响应于其输出第二图像数据。处理器能够经配置从而通过处理第一和第二图像数据来确定第一标记的3-D位置数据。成像装置能够包括立体内窥镜。

可选择的组件和/或变体能够涉及标记特征。例如，第一标记能够包括限定误差校验数据的冗余特征。处理器能够经配置从而处理第一图像数据，从而：检测第一标记冗余特征；读取误差校验数据；以及通过验证第一标记识别与误差校验数据一致来确认第一标记的识别。冗余特征也能够限定校验和数据，并且处理器能够经配置从而处理第一图像数据，从而读取校验和数据。处理器能够通过验证第一标记识别与校验和数据一致来确认第一标记的识别。标记能够具有各种构造。例如，至少一个标记能够包括至少一个与邻近的标记共享的定位器特征。一个或更多个标记的特征能够布置成二维(2-D)图案(pattern)。一个或更多个标记能够使用圆圈或角作为定位器特征。该角能够包括鞍点。一个或更多个标记能够包括三个定位器特征。一个或更多个标记能够包括四个定位器特征。一个或更多个标记能够包括四个圆圈以及一个条(bar)作为定位器特征。标记能够包括文字，其能够被修改从而增加定位数据或判别特征。

可选择的组件和/或变体能够涉及多个标记。多个标记能够绕工具分布，并且处理器能够包括每个标记的数据，用于指示关联的标记识别以及标记和手术工具关节之间的关联预定位置关系。多个标记能够具有这样的识别特征，其对于处理器充分不同从而确定被包含在第一图像中的标记的识别。

处理器能够使用确定的3-D姿势从而以多种方式修改工具的显示图像。例如，能够修改显示图像，以便通过改变增加的参考特征视觉上较不突出，或者通过改变对应于参考特征的图像部分而被完全“擦除”。

依照另一实施例，提供与机器人手术系统一起使用的手术系统。该手术系统包括成像装置和处理器，成像装置用于在使用期间捕捉手术工具的图像，处理器与成像装置相连从而处理捕捉的图像，以便确定手术工具的源自图像的位置信息。手术工具包括多个标记，其中每个标记都具有至少一个识别特征。每个标记的识别特征对于手术系统充分不同，从而基于围绕标记的图像而对标记之间进行辨别。

依照另一实施例，提供机器人手术方法。该方法包括捕捉手术工具的第一图像，该手术工具包括限定多个标记的多个特征，其中每个标记都具有与手术工具预定的位置关系，第一图像包括标记中的一个；通过处理第一图像，确定被成像的标记的位置；通过以下方法产生估计工具状态，即使用来自工具现有图像的至少一种现有工具状态，或者来自实现工具的运动的机器人致动系统的关节数据；以及通过使用被成像标记的位置，手术工具和被成像标记之间的预定位置关系，以及工具的估计工具状态来确定工具的工具状态。

依照另一实施例，提供手术机器人工具跟踪方法。该方法包括：将源自光源的照明光引导至患者体内的机器人手术工具上，其中照明光包括可见光谱，该工具包括在工具上具有已知位置的多个原始特征(primitivefeature)，并且其中每个特征都包括球面反射表面；当该工具在患者体内时，捕捉多个原始特征的立体图像，立体图像由邻近照明光源的立体图像捕捉装置捕捉，以便从被成像的原始特征反射向图像捕捉装置的照明光基本与所述被成像的原始特征的表面的球心对齐；以及通过处理立体图像以便通过使用被反射的光而定位被成像的原始特征的球心，从而确定工具的位置。

手术机器人工具跟踪方法能够包括许多选择。通过处理图像确定工具的位置能够被实现为通过使用镜面反射光识别至少一个原始特征。能够处理立体图像，从而为被成像的原始特征的球形中心确定3-D位置数据。能够使用星座算法(constellationalgorithm)识别第一图像中的原始特征图案。一种方法能够包括通过使用来自工具的现有图像的至少一种现有工具状态或来自实现工具的运动的机器人致动系统的关节数据来产生工具的估计工具状态，并在星座算法中使用估计工具状态。一种方法能够包括：捕捉多个时间点的立体图像；产生多个时间点的估计工具状态；以及通过使用鲁棒估计(robustestimation)技术，拒绝任何矛盾的图案检测，该鲁棒估计技术能够为随机抽样一致(RANSAC)技术。能够在识别图像的原始特征中使用基于模型的图像识别标志(signature)。一种方法能够包括：处理所述立体图像，以便识别两个所述图像中的所述工具的自身特征；确定被识别的自身特征的3-D位置；以及通过使用自身特征的3-D位置结合被成像的原始特征的3-D位置数据，确定源自图像的工具状态。一种方法能够包括通过使用来自工具的现有图像的至少一种现有工具状态或实现工具的运动的机器人致动系统的关节数据来产生工具的估计工具状态，并且使用估计工具状态来拒绝矛盾图案检测。原始特征中的至少一个能够包括凸或凹球形反射表面，其与工具的关节轴线对齐，并且该反射表面能够由关节结构限定。

依照另一实施例，提供微创机器人手术系统。该系统包括：机器人手术工具，其具有在所述工具上有已知位置的多个原始特征，并且其中每个特征都包含球形反射表面；光源，其被导向从而在患者体内发射照明光；立体图像捕捉装置，其邻近照明源，以便从原始特征反射向图像捕捉装置的照明光基本与球面的球心对齐；以及处理器，其与图像捕捉装置连接，并且被配置为用于通过处理立体图像以便通过使用反射光定位被成像的原始特征的球心而确定工具的位置。

微创机器人手术系统能够包括许多选择。例如，有一种系统能够包括有形媒介，该有形媒介包括可由处理器执行以便处理立体图像的机器可读指令。该处理器能够被配置为通过处理立体图像以便使用镜面反射光识别至少一个原始特征从而确定工具的位置。原始特征能够与工具的关节轴线对齐，并且能够包括由关节结构限定的反射球形表面。处理器能够进一步经配置，从而通过处理立体图像，确定被成像的原始特征的球形中心的3-D位置数据。该成像装置能够包括立体内窥镜。球形反射表面能够包括凸或凹表面。

依照另一实施例，提供与机器人手术系统一起使用的手术工具。该系统包括：立体成像装置，其用于在使用期间捕捉手术工具的立体图像；处理器，其与所述成像装置相连，用于处理被捕捉的立体图像，以便为手术工具确定源自图像的位置信息。该手术工具包含多个原始特征，且每个原始特征都包含球形反射表面。

依照另一实施例，提供物体跟踪系统。该系统包括：物体，其具有多个原始特征，且每个原始特征都包含球形反射表面；光源，其被导向从而朝着物体发射照明光；立体图像捕捉装置，其用于捕捉物体的立体图像，该图像装置邻近所述照明源布置，以便从多个原始特征反射向图像捕捉装置的照明光基本与球面的球心对齐，图像装置输出立体图像的图像数据；以及处理器，其与图像装置相连，并且被配置为处理图像数据，以便：确定三个或更多个被成像的原始特征的3-D位置数据；以及通过处理所述3-D位置数据确定工具的位置。

依照另一实施例，提供估计手术工具的姿势的方法，该手术工具包含三个或更多个基本无角的原始特征，该原始特征在所述工具上具有已知位置。所述方法包含：使用立体内窥镜捕捉三个或更多个原始特征的立体图像，所述立体图像包括第一图像和第二图像；从第一图像提取原始特征中的至少三个；从第二图像提取原始特征中的至少三个；通过使用图像识别标志，确定被提取的原始特征之间的对应；使用被确定的对应确定原始特征中的至少三个的3-D位置；识别与工具的原始特征的图案对应的被提取的原始特征的图案；以及通过使用被识别的图案以及被确定的3-D位置估计手术工具的姿势。

为了更透彻地理解本发明的特性和优点，应参考下面的具体实施方式和附图。通过以下附图和具体实施方式，本发明的其他方面、目标和优点将变得明显。

附图说明

图1示出依照实施例，正被用于进行手术的微创机器人手术系统的平面图。

图2示出依照实施例，用于机器人手术系统的外科医生控制台的正视图。

图3示出依照实施例，机器人手术系统影像手推车的正视图。

图4概要示出依照实施例的机器人手术系统。

图5A示出依照实施例，机器人手术系统的患者侧手推车(手术机器人)的正视图。

图5B和图5C示出依照实施例，8mm轴机器人手术工具和5mm轴机器人手术工具各自的正视图。

图6概要示出依照实施例，运动学估计工具姿势、源自图像的估计工具姿势以及真正的工具姿势之间的相对差别。

图7概要示出依照实施例，原始运动学估计工具姿势、源自图像的估计工具姿势以及真正的工具姿势随着时间的变化。

图8示出图解手术器械接近和远离立体成像装置的图。

图9示出依照实施例，使用标记成像的工具跟踪方法的流程图。

图10概要示出依照实施例，用于跟踪具有标记的工具的系统。

图11依照实施例的工具跟踪方法的流程图，该方法用于确定工具状态，示出用于处理标记的立体图像以及运动学数据的步骤，从而使用源自图像的姿势偏移产生修正的运动学估计工具状态。

图12A概要示出依照实施例的标记图案，其能够用于手术器械，从而提供额外的参考点。

图12B和图12C示出依照实施例，在微创机器人手术期间，使用图12A所示的标记图案的手术器械图。

图13A、13B和13C示出依照实施例的2-D标记版本。

图14A和图14B分别示出依照实施例的能够用于8mm器械轴的2-D标记和具有该标记的8mm器械轴。

图15A和图15B分别示出依照实施例的能够用于10mm(超声波)器械轴的2-D标记和具有该标记的10mm(超声波)器械轴。

图16A和图16B分别示出依照实施例的能够用于5mm器械轴的2-D标记和具有该标记的5mm器械轴。

图17A和图17B分别示出依照实施例的能够用于超声波变频器的2-D标记和具有该标记的超声波变频器。

图18示出依照实施例的用于处理工具跟踪标记的立体图像的方法的流程图。

图19示出依照实施例的用于处理2-D工具跟踪标记的立体图像的方法的流程图。

图20A至20E示出依照实施例的处理2-D工具跟踪标记的图像的步骤。

图21A和21B示出依照实施例，在多个位置的标记如何能够支持不同的操作范围。

图22A概要示出依照实施例的一维(1-D)工具跟踪标记。

图22B概要示出依照实施例的具有一维(1-D)工具跟踪标记的手术工具。

图22C和图22D概要示出依照实施例的另一一维(1-D)工具跟踪标记。

图23示出依照实施例的用于处理1-D工具跟踪标记的立体图像的流程图。

图24概要示出依照实施例的原始特征，每个原始特征都具有反射凹球形表面，其被从三个不同方向照明/成像。

图25概要示出依照实施例的原始特征，每个特征都具有凸球形表面。

图26A和图26B示出依照实施例的原型手术工具的内窥镜图像，该手术工具包含具有反射球形表面的点构造标记。

图27示出依照实施例的工具跟踪方法的流程图，该方法采用对手术工具的立体图像的处理，该工具包含具有反射球形表面的原始特征。

图28A和图28B示出依照实施例的可辨别的工具标记。

图29A、29B、29C、29D、29E、29F、29G和29H示出依照实施例的一些例示性方法，能够使用该方法从而在可辨别的标记中包含位置和/或识别信息。

图30A、30B、30C和30D示出依照实施例的一些另外的例示性可辨别标记设计。

图31示出依照实施例的工具跟踪方法的流程图，该方法采用对具有可辨别标记的手术工具的图像的处理。

具体实施方式

依照实施例，为三维(3-D)物体跟踪提供改进的方法和系统，该物体跟踪使用源自一个或更多个物体定位参考特征的源自图像的数据。当微创机器人手术期间被用于跟踪手术工具时，该方法和系统能够特别有利。

在此使用以下术语。“特征”是为概括术语，其用于指示任何能够从图像中提取的有用信息。“原始特征”用于指示这样的小或简单特征，其能够从图像中局部提取(例如突出斑点、小圆、点、条等等)。原始特征相对“组合特征”，其中使用多个原始特征从而产生组合特征。“标记”为一些可辨别(通常可见)的图案，其用于定位物体或计算物体的姿势。标记能够由多个原始特征组成。“工具状态”为概括术语，其用于指示关于工具的任何信息，例如姿势(位置和方向)以及与工具的任何铰接部分或者用于操作工具的任何机器人或定位系统相关的信息。例如，工具状态能够包括工具的姿势、用于实现工具的运动的机器人致动系统的机器人关节参数、铰接末端执行器位置、工具的速度、工具的加速度、工具上的力等等。“定位器特征”为这样的特征，其能够经处理从而提供该特征的位置信息。多个原始定位器特征能够经处理从而提供图案的其余特征的位置和方向(即对齐)信息。“模型”为概括术语，其用于指被跟踪的物理工具的任何现有知识。其能够包括物理模型、虚模型、工具上的特征的定位及其性质等等。

例如，工具定位参考特征的一个优点在于，其提供至少一种能够被更容易地在图像内检测到的特征。一些工具使用环境(例如微创机器人手术)向源自图像的工具跟踪的使用提出挑战，例如工具上的体液的出现和/或烧灼蒸气(cauterizationvapor)的出现，其能够引起工具的部分或全部闭塞。通过配置工具从而包括一个或更多个参考特征，能够降低源自图像的工具跟踪上的环境影响。

例如，另一优点在于，能够使用多个参考特征从而限定位置/方向信息和/或识别信息的标记。通过足够的位置和/或方向信息，能够确定物体(例如工具)的3-D姿势(位置和方向)。能够在单一标记中包括位置和方向信息，或者能够在标记的组合中包括该信息。能够使用识别信息从而将被成像的标记关联于用于被成像的标记以及物体的相关位置关系数据。能够使用该识别区分在物体上使用多个标记特征的情况下的被成像的标记。

例如，另一优点在于，能够使用多个标记从而提供冗余。例如，工具能够包括多个绕工具分布的标记，从而提供不考虑工具使用期间的特定方向的参考特征。一批标记中的任何一个单一标记都能够包括许多特征，从而为工具的3-D姿势确定提供位置和方向信息。一批标记中的任何一个具体标记都能够包括与用于特定标记的识别相关的识别特征。由多个标记提供的冗余能够通过提供多个姿势估计而有助于更精确的姿势估计，多个姿势估计能够平均多个姿势估计，从而降低在特征定位期间可发生的随机误差。

例如，另一优点在于，能够使用冗余特征，从而提供误差校验。例如，标记能够包括限定误差校验数据的冗余特征。为了与用于标记的识别一致，能够检查误差校验数据，从而验证已确定的识别。另外，冗余特征能够包括校验和数据，能够使用该数据，从而预防由于一个或更多个标记特征的闭塞(或者通常无成像)引起的错误识别。清楚的误差校验机制通过将源自背景杂斑的标记的错误检测的机会，或者近旁标记的意外对齐降低至非常低的概率，提供该标记的检测置信水平。

能够使用确定的3-D姿势，从而通过多种方式修改工具的显示图像。例如，能够修改显示图像，以便额外的参考特征视觉上较不突出，或者通过改变位于参考特征的图像的部分而完全“擦除”。

微创机器人手术

图1提供讨论本发明的适当起点。图1示出微创机器人手术(MIRS)系统10的平面图，其通常用于对躺在手术台14上的患者12实施微创诊断或手术程序。该系统能够包括外科医生控制台16，其由外科医生18在程序期间使用。一个或更多个助手20也可参加该程序。MIRS系统10能够进一步包括患者侧手推车22(手术机器人)以及影像手推车24。通过患者12身体上的微创切口，患者侧手推车22能够操作至少一个被可拆卸地耦合的器械或工具组合件26(下文简称为工具)，同时外科医生18通过控制台16观察手术部位。能够通过内窥镜28，例如立体内窥镜获得手术部位的图像，该内窥镜能够由患者侧手推车22操作，以便为内窥镜28定向。为了随后通过外科医生控制台16向外科医生18显示，能够使用影像手推车24处理手术部位的图像。同时使用的手术工具26的数目将通常取决于诊断或手术程序和手术室中的空间限制，以及其他因素。如果需要改变程序中使用的一个或更多个工具26，助手20可在不再使用工具26时将其从患者侧手推车22移除，并且替换为来自手术室中的托盘30的另外的工具26。系统10的一个示例性例子为美国加利福尼亚州桑尼维尔市IntuitiveSurgical(直观外科)公司生产的daVinci手术系统。

图2示出外科医生控制台16的正视图。外科医生控制台16包括左眼显示器32和右眼显示器34，其为外科医生18呈现具有深度知觉的手术部位经协调的立体图像。控制台16进一步包括一个或更多个控制装置36，其依次引起患者侧手推车22(如图1所示)操作一个或更多个工具。优选，控制装置36将提供与其关联的工具26(如图1所示)相同的自由度，从而向外科医生提供远程控制或这样的感知，即控制装置36与工具26是一体的，以便外科医生具有直接控制工具26的强烈感觉。为了该目的，优选使用位置、力和触觉反馈传感器(未示出)，从而通过控制装置36将来自工具26的位置、力和触觉感觉传回外科医生的双手。

外科医生控制台16通常与患者处于同一房间，以便外科医生可直接监控程序，如果需要就实体现身并与助手直接说话，而非通过电话或其他通信媒介。然而，应理解，外科医生能够位于不同的房间、不同的建筑、或者远离患者的位置，因而允许远程手术程序。

图3示出影像手推车24的正视图。影像手推车24能够与内窥镜28连接，并且能够包括处理器，从而处理捕捉的图像，以便随后显示给例如外科医生控制台上的外科医生或显示在本地和/或远程的任何其他适当的显示器上。例如，当使用立体内窥镜时，影像手推车24能够处理捕捉的图像，从而为外科医生呈现手术部位的经协调的立体图像。该协调能够包括相对图像之间的对准，并且包括调节立体内窥镜的立体工作距离。作为另外一个例子，图像处理能够包括使用预定相机校准参数，从而补偿图像捕捉装置的成像误差，例如光学象差。在属于IntuitiveSurgical公司的许多专利和专利申请中描述了能够使用的一些可能的图像处理的例示性细节，包括例如美国专利No.7,277,120(2004年3月7日提交)，其全部内容通过引用合并于此。

图4示意性图解机器人手术系统50(例如图1所示的MIRS系统10)，其示出组件之间的通信途径。如上所述，外科医生控制台52(例如图1所示的外科医生控制台16)能够由外科医生使用，从而在微创程序中控制患者侧手推车(手术机器人)54(例如图1所示的患者侧手推车22)。患者侧手推车54能够使用成像装置，例如立体内窥镜，从而捕捉手术部位的图像，并且向影像手推车56(例如图1所示的影像手推车24)输出捕捉的图像。如上所述，影像手推车56能够在任何随后的显示之前以各种方式处理所捕捉的图像。可替换地，患者侧手推车54能够输出所捕获的图像，用于在影像手推车56外处理。例如，患者侧手推车54能够向处理器58输出所捕获的图像，该处理器用于处理所捕捉的图像。也能够由影像手推车56和处理器58的组合处理图像，两者能够耦合在一起，从而共同、依次和/或两者结合地处理所捕捉的图像。一个或更多个单独的显示器60也能够与处理器58和/或影像手推车56耦合，用于本地和/或远程显示图像，例如手术部位的图像或者任何其他相关图像。

机器人手术工具跟踪

图5A、5B和5C分别示出患者侧手推车22、8mm轴手术工具62和5mm轴手术工具64。手术工具62和64为手术工具26的两个例子。示出的患者侧手推车22操作三个手术工具26和成像装置28，例如用于捕捉手术部位图像的立体内窥镜。由具有许多机器人关节的机器人机构提供操作。能够通过患者身体上的切口定位和操作成像装置28和手术工具26(例如末端执行器66)，以便运动学远程中心(kinematicremotecenter)被保持在切口处，从而最小化所需的切口大小。当手术工具26位于成像装置28的视野中时，手术部位的图像能够包括手术工具26的远端。

图6示意性图解运动学估计手术工具姿势70、源自图像的估计手术工具姿势72以及真实的手术工具姿势74之间的相对差异。如上所述，工具的3-D姿势的精确信息对于许多图像引导手术和用户界面应用都重要。当使用运动学关节传感器数据从而估计工具的3-D姿势时，能够引入大量的误差。虽然存在很多误差源，例如随机的传感器噪音，但是该误差的主要部分可以归因于偏移误差，其由运动学关节的真实位置和通过运动学关节传感器数据指示的运动学关节指示位置之间的固定差异产生。位于工具的远工作端远处的运动学关节中的偏移误差通常比更接近工具的远端工作端的关节对总偏移误差的影响更大。结果，运动学估计姿势70能够明显偏离手术工具的真实姿势74。例如，在校准良好的系统中，例示性手术机器人的运动学估计工具姿势可与工具的真实姿势相差高达10至15mm，并且如果系统最近未校准和/或精确校准，该误差甚至更大。结果，使用基于非运动学的方法从而获得更精确的工具姿势估计能够有利，能够使用该方法从而确定修正运动学估计中使用到的位置修正。

源自图像的工具姿势估计72能够明显比原始运动学估计工具姿势70更精确。通过示出的源自图像的工具姿势72与真实工具姿势74之间的相对小的位置差异，图6中示意性图解了该增加的精确度。然而，可能以比原始运动学估计工具姿势(例如以大约1333Hz的速率更新)明显更低的速率(例如小于等于大约30帧/秒)利用源自图像的工具姿势72，其由于许多因素，例如所需的图像处理时间，并且在某些时间，其可能完全不可用，即该工具处于成像装置的视野外部，或者由于某些原因而被闭塞，例如由患者的组织、患者的体液、和/或由烧灼等等引起的不透明或半透明蒸气闭塞。

图7示意性图解工具的各种估计姿势和真实姿势76之间随着时间的变化。如图所示，工具的姿势的原始运动学估计78能够明显偏离真实姿势76。如上所述，该偏离的主要部分可能与固定的偏移误差相关，固定的偏移误差通过原始运动学估计78和真实姿势76之间的基本恒定的偏移的方式被图解。由于运动学传感器数据的相对高速率的可利用性，能够以高速率利用原始运动学估计姿势78，例如1333次/秒。相反，能够以较低速率利用源自图像的姿势估计80，但是能够相对精确。有利地，能够使用运动学估计姿势和源自图像的估计姿势的组合从而确定真实的姿势估计82，其也能相对良好地跟踪真实姿势76。确定真实姿势估计82的原始运动学估计姿势和源自图像的估计姿势的组合的使用细节在属于IntuitiveSurgical公司的许多专利和专利申请中描述，包括例如美国专利申请No.2006/0258938A1(2005年5月16日提交)，其全部内容通过引用包括在此。

图8图解能够在手术器械84(例如工具26)的部分中出现的变化，该手术器械能够在成像装置86，例如立体内窥镜28的视野之内。成像装置86能够包括两个重叠的视野88，其用于捕捉手术部位的图像以及视野88内的任何手术器械部分。当器械84在远离成像装置86的范围工作时，在捕捉的图像中能够包括手术器械84的更大部分，但是与全部的视野相比，任何被成像的工具特征的相对大小将更小。当器械84在接近成像装置86的范围工作时，在捕捉的图像中能够包括相对更小的部分，但是与全部的视野相比，任何被成像的工具特征的相对大小将更大。

图9示出使用附连于工具的一个或更多个标记的成像的工具跟踪方法100的流程图。如下将更详细描述，工具例如工具26能够包括一个或更多个标记，从而提供能够被成像并处理以提供源自图像的工具姿势估计的特征。在步骤102中，捕捉工具以及标记的一个或更多个图像。捕捉的图像可为单个图像或立体图像，前者通过使用单一影像成像装置获得，后者通过立体影像成像装置获得，例如立体内窥镜。在步骤104中，处理捕捉的图像，从而确定与一个或更多个标记相关的位置数据。定位数据能够包括图像中的一个或更多个标记特征的位置。至少在一个或更多个手术工具中有两个或更多个具有不同识别的标记的情况下，能够在步骤106处理图像，从而确定一个或更多个标记的识别。如下将更详细描述，标记能够包含一个或更多个识别特征，该识别特征能够被成像并随后处理，从而确定标记的识别。在步骤108中，能够使用位置数据和任何的识别从而确定工具状态数据，例如工具的3-D姿势。能够在工具状态数据的确定中使用额外的信息，例如标记和工具之间的相对位置数据。例如，标记的3-D姿势和工具的3-D姿势之间的相对3-D姿势偏移数据(偏移位置和偏移方向)能够提供相对位置数据。

如果在步骤108中确定的工具状态数据与期望的工具状态数据范围不充分一致，就能够拒绝在步骤108中确定的工具状态数据。例如，能够通过以下方法产生工具的估计3-D姿势，即使用工具的现有图像或源自致使工具运动的机器人致动系统的关节数据。能够将该估计3-D姿势与步骤108中确定的工具状态数据进行比较，从而验证其彼此一致。能够评估任何不一致，从而确定是否作为异常值(outlier)而拒绝确定的工具状态数据。

图10示意性图解跟踪具有标记112的工具的系统110。该系统包括具有标记112的至少一个工具，其类似于工具26。使用成像装置114(例如立体内窥镜28)来捕捉具有标记112的工具的一个或更多个图像。成像装置114与处理器116耦合，并且响应具有标记112的工具的成像而向处理器116传送图像数据。处理器116经配置从而处理接收的图像数据，从而产生工具状态数据118，后者能够包括具有标记112的工具的估计3-D姿势。

图11示出依照实施例用于确定工具状态的工具跟踪方法120的流程图，其示出这样的步骤，即处理标记的立体图像以及原始运动学数据，从而使用源自图像的3-D姿势偏移产生修正的运动学估计工具状态。由于与源自图像的估计工具状态相比，用于从原始运动学数据124产生估计工具状态的关节传感器数据的更快更新速率，所以源自图像的姿势偏移能够结合来自原始运动学的估计工具状态，从而产生修正的运动学估计工具状态。这样，能够通过以下方法产生一系列修正的运动学估计工具状态，即使用结合来自原始运动学数据124的相应系列估计工具状态的单一姿势偏移。响应新图像数据122，姿势偏移能够随着时间更新。

在步骤126中，通过以下方式开始姿势偏移的确定，即获得具有标记的工具的图像数据，以及相应的具有标记的工具的原始运动学数据124。如图所示，图像数据122能够包括左图像数据和右图像数据，但是应理解，能够处理一个或更多个标记特征的单一图像，从而产生源自图像的位置信息，该位置信息在产生姿势偏移时有用。例如，单一标记特征的图像中的位置能够与单一标记特征的图像中的期望位置比较，从而产生用于先前姿势偏移的一维(1-D)修正。当单一图像包含四个非共线特征时，图像内的四个非共线特征的位置足以确定工具的源自图像的3-D姿势。当立体图像包含三个非共线特征时，立体图像内的三个非共线特征的位置足以确定工具的源自图像的3-D姿势。原始运动学数据124能够包括基本传感器数据，例如运动学关节位置参数，和/或能够包括当前原始源自运动学的工具状态。

在步骤128中，处理左图像和右图像，从而检测标记特征。在步骤130中，使用左图像内的标记特征的位置以及右图像内的标记特征的位置，从而产生标记特征的3-D坐标。对于立体三角测量的细节，例如参考由剑桥大学出版社在2000年出版的R.Hartley和A.Zisserman的“MultipleViewGeometryinComputerVision”的第12章。如下将关于某些实施例更详细描述，其包括一些具有识别的标记，标记能够包括至少一个识别特征，该识别特征能够经处理从而确定标记的识别。

在步骤132中，能够结合标记的任何识别而处理标记特征的3-D坐标，从而确定源自图像的工具状态。虽然许多标记的图像能够用来为确定工具的3-D姿势提供足够的姿势信息，但是单一标记包含用于确定工具的3-D姿势的足够数量的特征可以是有利的。另外，工具上的每个标记具有与相邻标记不同的识别可以是有利的。使用该标记，通过确定标记的3-D姿势、确定标记的识别、以及使用关于经识别的标记如何在工具上定位和定向的数据能够确定源自图像的工具状态。应明白，能够使用该方法的各种变化。例如，能够结合来自标记组合的特征，从而确定标记组合的3-D姿势，后者能够结合这样的数据，其关于来自标记组合的特征如何在工具上定位和定向。在该处理期间，能够将经修正的运动学估计工具状态(来自预定的姿势偏移)与源自图像的估计工具状态进行比较，从而拒绝任何与经修正的运动学估计工具状态差别太大的源自图像的估计工具状态。

在步骤134中，确定姿势偏移，以便能将该姿势偏移与原始运动学数据124估计工具状态进行结合，从而获得经修正的运动学估计工具状态。应明白，可使用各种方法确定姿势偏移。例如能够作为以下两者的差异而计算姿势偏移，即在基本相同的时间点的真实工具姿势的估计(如图7所示)和相应的原始运动学数据124估计工具状态之间的差异。作为进一步例子，能够作为以下两者的差异而计算姿势偏移，即在基本相同的时间点的源自图像的估计工具状态和相应的原始运动学数据124估计工具状态之间的差异。

在步骤136中，确定基于经修正的运动学的工具状态。如上所述，能够使用单一姿势偏移来修正基于一个或更多个原始运动学数据124的工具状态，从而当出现以下情况时补偿，即相对于源自图像的工具状态，可以更高速率利用基于原始运动学数据124的工具状态。然后，经修正的运动学被反馈至程序的开始(步骤126)，在此“取得”的当前图像和运动学数据能够包括图像数据、原始运动学数据以及当前姿势偏移和/或经修正的运动学数据。

标记设计

使用工具标记的目标是提供关于源自图像的工具状态的稳健和信心水平，不使用标记难以实现该水平，特别是对于要求较高的应用(criticalapplication)，例如图像引导的机器人手术。同样，在一个实施例中，标记设计：(i)为工具姿势估计提供充分限制；(ii)在各种现实条件(例如观察点、照明)以及各种现实背景下可辨识；(iii)与不同操作范围的工具一起工作；(iv)对局部闭塞有弹性和/或鲁棒性；(v)视觉上可接受；(vi)易于制造；(vii)足够紧凑，从而允许在提供的空间中使用多个标记(例如足以提供足够水平的冗余)；以及(viii)能够通过图像分析算法求取。

一维(1-D)和二维(2-D)标记能够提供许多有利方面。这些有利方面包括：(i)使用支持更有效检测和分析的单独定位器以及识别特征；(ii)使用原始特征位置的明晰的编码方案；(iii)使用明晰的误差校验和误差修正；(iv)产生大量不同图案的能力；(v)使用具有密集信息的紧凑标记；以及(vi)使用“假设和测试”检测算法框架，其非常好地调整标记图案的总数目。

二维标记设计

图12A、12B和12C分别图解标记设计140、使用标记设计140远离成像装置操作的工具146、以及使用标记设计140靠近成像装置操作的工具。图12A的标记设计140包括三组识别图案142，其能够被绕工具轴以120度间隔布置。每个图案142都具有黄色背景上的8行2列的16个圆。每个图案142都能够与工具轴的纵向轴线对齐，以便16个圆的所有中心点都位于一个平面内。相比于每个图案142之间的间隔，两列圆144相对间隔更近。能够使用结合经修正的运动学估计工具状态的该差别间隔，从而识别图像中的特殊图案142。由于三个图案142绕工具以120度间隔布置，给定经修正的运动学估计工具状态的精确性的固有水平，在总标记140的同样的图像之间可存在足够的差别，从而在被成像的图案142之间进行区分。标记140提供这样的例子，即能够如何布置标记特征(例如示出的识别图案142)从而呈现能够被成像从而确定工具状态的特征。该标记设计的缺点包括：(i)在手术照明下黄色背景非常明亮，并且出现干扰；(ii)虽然标记140覆盖器械轴的末端，但是在大多数情况下，手术期间其不完全可见；(iii)需要依赖这样的假设，即估计工具摇动角的最大误差小于60度，从而使图像观察与三个图案142中的一个相关联；以及(iv)由于难以区分标记，所以难以在器械的另外部分上增加更多的标记。

图13A、13B和13C图解了2-D标记150、170、190的三个实施例，其能够在用于工具上以便跟踪工具状态。2-D标记包括布置在二维中的初始特征。一些特征能够作为定位器特征，而其他特征能够作为识别特征。定位器特征提供位置或方向信息，从而确定标记的姿势/对齐，而识别特征被用于区分不同的标记。识别特征能够遵循某一编码方案，并且能够包括用于误差校验和/或修正的冗余信息。通过使用紧凑2-D标记，能够以不同的方式布置多个标记，从而适合不同工具的几何形状。也能够在工具轴上的不同位置布置标记，从而应对不同的操作范围。也能够使用标记从而估计工具或器械的摇动。与堆叠在一起的多个1-D图案相比，2-D标记图案可有利地提供更好的信息紧密性和位置。

已设计2-D自辨别标记，从而满足许多考虑。在给定的图像分辨率限制下，已尽可能小地选择标记的大小。这些2-D标记不依赖特定的颜色，因为颜色能够由于取决于照明和白平衡而为不可靠的特征。另外，一些颜色能够在视觉上干扰。设计这些2-D标记，从而包括能够在图像中可靠地检测到的特征，因为一些特征比其他特征更容易检测。

以上考虑引起包括某些设计特征的这些2-D标记的设计。例如，设计这些2-D标记，从而包括定位器形状(黑圆圈152、154、156、158；172、174、176、178；黑条160、180；以及鞍点192)以及许多信息位(informationbit)和识别特征(图13A中的9个灰点162，图13B中的13个灰点182，以及图13C中的16个点194)。(图13A和图13B中的圆圈和点的数目仅用于参考的方便)。选择圆圈作为定位器形状是由于其拓扑(黑斑点处于亮斑点中，或者反之亦然)对于观测点不变，并且通常不出现在背景中。其他的该特征包括某些角，尤其是图13C中所示的鞍点192。虽然标记设计未限制如何使用信息位162、182、194(识别特征)，但是其能够被分为数据和误差校验位。能够使用相应于数据位的点的出现或缺乏，从而指定许多独特的编码(或识别)。相应于误差校验位的灰点的出现或缺乏能够用来验证编码或识别确定。考虑微创机器人手术的期望工作距离范围，选择标记图案150、170、190的大小。然而，应明白，如果器械通常离成像装置更近或更远工作，就能够相应地将图案的大小做的更小或更大。虽然图13A和图13B所示的标记150和170包括白色背景和黑色特征，但如随后的附图中可见，基于视觉经验的临床反馈，选择具有白色特征的黑色背景。然而，应明白，也能够使用白色背景和黑色特征。

当被放置在某一直径的器械表面上时，图案的3-D几何形状(在局部坐标系中的所有圆和点的3-D坐标)就固定并已知。如果使用单一图像提供2-D坐标，四个点的坐标足以确定标记的姿势(并因此确定工具的姿势)。如果使用立体图像提供3-D坐标，三个点的坐标足以确定器械的姿势。因此，这些2-D标记150和170的设计包括四个圆，从而为单一图像或立体图像处理提供足够的数目。这些点也可用于物体姿势估计。同样，虽然能够在工具上以任何数目的不同方向放置标记，目前优选这样放置标记，即使得垂直方向与器械的轴向方向对齐。

图13A和图13B中的标记设计150和170呈现为两种不同的设计版本，而图13B的设计版本呈现出实验后的改进版本。虽然图案的总大小未改变，但是存在许多差异。信息位162和182(或者识别特征)的数目从9增加至13，其有效地增加独特图案的数目。信息位162和182的列数从3增加至4，其提供有限空间的更有效使用。因为观察到以下现象，即机器人手术的很多典型观察方向引起图像在轴向方向比横向方向更严重的缩短，所以图13B中的图案包括信息位182之间比水平间隔更大的垂直间隔。图13B中的信息位182的行也交替，相对于非交替图案，其也帮助减轻缩短。也减小信息位162和182(点)的直径以及圆的厚度，其由这样的观察产生，即测试显示系统通常扩大亮特征。因此，将该特征做的更细从而保持隔离。

能够以多种方式使用这些2-D图案中的信息位162、182、194，例如使用用于识别位的一定数目，而剩余数目用于误差校验和/或修正位。识别位和误差校验和/或修正位之间的比例及其布置是灵活的，并且能够基于具体的应用需求确定。如果成像情形的挑战性较小，则人们可使用更少数目的误差校验和/或修正位。在一种方法中，图13B的标记的13个信息位被分成用于承载识别信息(引起64个独特的编码)的6个信息位，其余的7个信息位用于误差校验和/或修正。在7个误差校验和/或修正位中，能够将其中6个设置为与识别位相反，而其余的位能够被用作校验和数据。该方法的基本原理是始终确保有6或7个位实体出现在图案中(即其被设为一个)。其避免全零(全部空白)图案作为有效编码，并且提供这样的可替换特征，能够使用该特征从而视需要提供用于姿势估计的位置信息。应明白，从编码理论的观点看，上述编码方案可能不是最佳的。优选具有有效字码(validcodeword)之间更大的汉明(Hamming)距离的编码方案。应明白，从编码理论的观点看，识别位和误差校验位之间可能没有差别。由以下事实产生冗余，即有用字码仅占据编码空间的一部分(即两个有效字码之间的汉明距离大于1)。

图14A、14B、15A、15B、16A、16B、17A和17B自身示出四个不同的多重标记图案，并且应用于特定的机器人工具器械。图14A和图14B分别图解能够用于8mm(直径，与其他器械相同的惯例)器械轴的2-D标记和具有该标记的8mm器械轴。图15A和图15B分别图解能够用于10mm器械轴的2-D标记和具有该标记的10mm器械轴。图16A和图16B分别图解能够用于5mm器械轴的2-D标记和具有该标记的5mm器械轴。图17A和图17B分别图解能够用于超声变频器的2-D标记和具有该标记的超声变频器。在更细的器械中，能够由一半图案替换多排图案，从而确保一些图案能够在任何角度完全可见。

二维标记提取

应明白，能够使用多种方法从图像中提取标记特征，并且处理经提取的信息，从而确定源自图像的工具姿势估计。例如，如下所述，可能的方法包括自顶而下的方法、自底而上的方法、以及自顶而下/自底而上组合的方法。

在自顶而下的方法中，2-D图像能够得自给定姿势的器械3-D模型，并且能够将所得到的图像与真实的输入图像进行比较，从而评估其匹配地如何。提供最佳匹配分数的姿势为最优解(solution)。虽然该主意听起来简单，但是由于相关费用高而处理时间长，所以其难以实现。

自底而上的方法尝试在图像中发现一些局部特征，并且然后计算该解。自底而上的方法能够应用于这样的情形，即常常在一些假定下或使用一些直观推断(heuristic)时能够提取突出局部特征并易于将其分组。由于局部特征更可能具有模糊，所以能够增加标记或背景颜色，从而确保方法的鲁棒性。自底而上的方法通常比自顶而下的法更有计算效率，因为能够局部计算该特征，并且该方法不涉及搜索或迭代(iterative)优化。

能够使用自顶而下/自底而上组合的方法，其结合以上两类方法的优点。例如，能够使用自底而上的方法从而报告有限数目的假设，然后使用自顶而下的方法检测和验证。这种类型的方法有时被称为“假设与检测”。

图18示出处理工具跟踪标记的立体内窥镜图像的方法200的流程图。在步骤206中，处理左图像数据202和右图像数据204，从而提取原始图像特征。“原始图像特征”指的是能够被局部检测的视觉突出特征，例如斑点或角。斑点为小斑纹，相对于其周围形成足够的对比。角为两个边缘的交点。最大稳定极值区域(MSER)法可在可负担的成本下提供检测斑点的优良方式。MSER基于边界对比度非常小的假定，并且因此能够检测任何大小和任何形状的突出区域(斑点)。对于MSER的细节，参见J.Matas，O.Chum，M.Urban和T.Pajdla的“Robustwidebaselinestereofrommaximallystableextremalregions”，Proc.BMVC，2002。我们已发现MSER检测人造基准标记非常有效。

可替换的特征(斑点)检测方法是使用自适应阈值加上连通域分析。依照其附近的平均灰度值，自适应地计算用于二值化的该阈值。能够使用矩形窗口内用于快速平均的整体图像而实现用于计算每一像素中的平均值的亮度调整。自适应阈值的局限性在于，其用于固定的比例。对于多重比例，其必须以不同比例运行数次。也考虑运行自适应阈值与连通域分析的一种方法是金字塔方式(pyramidfashion)。

从图像检测角点有许多方法。例如广泛使用的角检测方法，参见ChrisHarris和MikeStephens的“Acombinedcomerandedgedetector”，147-151页，In.Proc.BritishMachineVisionConference，1995；以及JiamboShi和CarloTomasi的“Goodfeaturestotrack”，593-600页，InProc.IEEEConferenceonComputerVisionandPatternRecognition，1994。对于更特别的角(例如鞍点)，能够在以上普通角检测器的结果上做分析，从而寻找期望的特性。

对于点检测，也可用基于学识的方法(learning-basedapproach)，其考虑点的细微外观，从而消除背景点的干扰(参见D.Claus和A.W.Fitzgibbon的“Reliablefiducialdetectioninnaturalscenes”，InProc.EuropeanConf.ComputerVision，2004)。该方法可用于比点更复杂的标记图案。

从斑点检测器输出的是来自图像的一列斑点。分析这些斑点能够比分析所有的图像像素快很多。我们通过检查其平面度(flatness)(协方差矩阵的第一和第二艾根值之比)而检测2-D标记的条。我们通过以下简单的试探而检测圆，即亮斑点的形心处于暗斑点的限位框之内，而暗斑点的限位框完全由亮斑点的限位框限制。可能有更好的检测条或圆的方式(例如通过分析其更高阶矩)。因为我们总体方法可以容忍更低水平处理中的误差，我们发现这些方法已足够。

在提取原始图像特征后，就能够完成方法200的其余步骤。在步骤208中，经提取的特征被分组。分组涉及这样的处理，即建立经提取的原始特征和正在被成像的物体(例如特定的标记)之间的对应。该处理也需要解决这样的经提取的特征，其属于背景而非物体。原始特征分组依赖对于标记构造的了解，从而将经提取的特征分为属于任何特定标记的几组特征。在步骤210中，左图像数据202的经分组的特征匹配右图像数据204的相应的经分组的特征。在步骤212中，能够处理立体图像匹配特征，从而确定特征的3-D数据。能够处理特征的3-D数据，从而识别标记，并且确定标记(数据214)的3-D姿势，然后使用其确定具有该标记的工具的3-D姿势。

图19示出能够用于处理工具跟踪标记的立体图像的方法220的流程图(在图13A和图13B中示出其实施例)。方法220遵循“假设和测试”框架。在步骤226中，能够处理左图像数据222和右图像数据224，从而提取原始特征，这可以通过使用许多方法(例如上述方法)实现。

在步骤228中，处理一些经提取的原始特征，从而通过识别展示一个或更多个标记定位器特性的一个或更多个原始特征，来产生一个或更多个定位器假设(对于一个或更多个标记)。一种定位器假设为这样的测试性假定，即一个或更多个经提取的原始特征对应于标记中的一个或更多个定位器特征。能够使用一个或更多个定位器特征从而确定标记的位置以及至少部分方向。例如，在图13A和图13B的2-D标记中，能够使用4个圆和1个条作为定位器特征。通过这些2-D标记，能够处理经提取的原始特征(或者通常为图像数据)，从而寻找最小和最大距离之间的这样的两个圆(图13A和13B中以“0”和“1”指定)，其中间具有一个条，该条与连接两个圆的线对齐。通过识别该条处在线的哪一侧，就能够确定图案的部分方向(即关于图像中的线)。应明白，能够使用一系列不同的标记图案，并且能够使用标记图案中的任何特征的各种组合作为一个或更多个定位器特征。

在步骤230中，处理经提取的原始特征，从而产生一个或更多个全图案假设。全图案假设是这样的测试性假定，即多个原始图案对应于一个或更多个标记特征，能够使用后者从而确定图像中标记图案的基础位置和方向，该图像能够相对于成像装置歪斜或缩短，这是由标记的3-D姿势确定的。例如，通过图13A和图13B的2-D标记图案，能够使用定位器假设(经识别的圆“0”和“1”，条在其中间)作为起始点，从而搜索其余的定位器圆(图13A和13B中以“2”和“3”指定)。该搜索能够在这样的搜索区域内寻找所有符合的定位器“2”和“3”特征，该搜索区域由最小和最大图案歪斜以及最小和最大图案纵横比限定。有利地，“2”和“3”圆之间没有条，其能够用于帮助两个圆的识别。能够使用定位器假设以及经识别的“2”和“3”定位器圆的组合产生全图案假设。也能够检查全图案假设，从而确定其透视图是否小于最大值，由此能够检查歪斜和纵横比的一致性。

在步骤232中，通过处理图像特征而验证一个或更多个产生的全图案假设，从而识别标记。应明白，能够使用多种方法处理图像数据，从而识别标记。例如，在方法220中，全图案假设的产生提供关于图像中标记图案的位置和方向的信息。能够使用该信息，从而定向候选标记图案或者对齐候选标记图案与经成像的图案。然后为了一致而检查经成像的图案与经对齐的候选标记图案。当存在一致时，经成像的标记图案能够作为候选标记图案识别。例如，通过图13A和图13B的2-D标记图案，全图案假设中的经检测的2-D斑点的位置能够与已与全图案假设对齐的候选标记图案模型的被设置为“1”(即物理显示)的信息位的位置比较。

能够通过以下方法完成候选标记图案与标记图像的对齐，即估计标记相对于成像装置的3-D姿势，并且对齐候选标记与经估计的姿势。通过标记的3-D几何形状及其在图像中的2-D投影知识，姿势估计计算标记的3-D姿势。成像装置校准使用已知方法用于姿势估计处理中。对于图13A和图13B中的二维标记图案，能够使用4个定位器圆的图像中的位置实现姿势估计。一旦估计标记相对于成像装置的姿势，就能够使用已知的成像装置校准，确定候选标记的特征的3-D坐标并将其投影在图像中。能够检查这些图像位置中的像素，从而决定在该位置是否有一个点。

也能够通过单应性实现候选标记图案与标记图像的对齐。4个2-D点对应限定平面透视转化(即单应性)，其包含透视转化下的平面的所有可能转化。即使附属于圆柱形工具轴的标记图案不是平面的，从较宽范围的视点看，平面近似也能够有用。该方法涉及这样的近似，即标记特征位于平面上，其提供用于对齐候选标记图案与标记图像的简单化处理。例如，通过假定图案经平面透视转化附属于平面，点的图像位置能够基于4个圆的图像位置(参见R.Hartley和A.Zisserman的“MultipleViewGeometryinComputerVision”第2章，剑桥大学出版社，2000)。由于偏离平面假定，“平面”模型不完全与标记图像点相符。为了补偿该平面假定，能够使用最邻近的方案(scheme)确定模型点的开启/关闭状态。当最邻近的方案失败时，该确认失败。根据经验，已发现单向性能够正确检测高达45度的斜角的2-D图案。与姿势估计相比，使用单向性的对齐为近似。然而，由于不需要成像装置校准，所以其仍有吸引力。另外，不需要知晓标记的精确3-D几何外形(例如标记是否附加于5mm、8mm或10mm工具轴无关紧要)，并且因此允许标记在同一时间附加于不同的器械几何形状。在手术器械跟踪应用中，这些适应性可能不重要，但是可能使得能够使用其他应用。

标记设计与如何从图像检测标记特征紧密相关。在此公开的标记设计实施例和在此公开的特征检测方法已为更好的全系统性能共同发展。例如，关于图13A和图13B的2-D标记图案，如果定位器圆“0”和“1”之间不存在条，则需要修改检测方法的具体细节。然而，应明白，能够实践多种标记图案以及相应的标记特征检测方法，并且其仍处于本发明的精神和范围内。

图20A、20B、20C、20D和20E图解应用于图13B的2-D标记的图19的方法。在图20A中，检测图像中的亮圆(十字形标注所示)。在图20B中，使用具有对齐的条的邻近亮圆形成两个定位器假设。在图20C中，通过搜索相对于关联的定位器假设来识别指定的亮圆，从而形成全图案假设。在图20D中，候选标记图案与图像全图案假设对齐，并且确定候选标记图案相对于图像的位置。使用经确定的位置从而检查图像，从而查看是否出现相应的检测特征。当图案匹配时，候选标记图案得到验证(图20E图解用于验证后的候选标记图案的例示性图案识别码)。应明白，可使用任何现有的姿势估计，例如原始运动学姿势估计和修正的运动学姿势估计，从而限制候选标记图案的数目。也应明白，经检测的标记特征可直接用于通过以下方法确定标记图案识别，即直接确定哪些标记图案特征出现而哪些未出现。

能够为了多种目的以多种方式在工具上布置标记图案。例如，能够在工具上的多个位置布置标记，从而提供多个操作范围。图21A和图21B图解具有沿着工具轴的轴向距离被间隔开的两种标记圆周带的机器人手术工具。在图21A中，接近成像装置操作该工具，因此将一个标记带置于视野之外。在图21B，远离成像装置操作该工具，因此将两个标记带都置于视野之内。如图21B所示，最接近成像装置的标记带中的特征比离成像装置最远的标记带中的特征更大。与更小、更远的特征相比，这些更大的特征可更易于检测，如果距离最远的标记特征被例如患者组织或体液部分或完全闭塞时尤其如此。如图21A所示，当其他标记带在视野之外时，最接近手术工具的远操作末端布置的标记带能够提供用于成像的清晰特征。

一维标记设计

能够使用一维(1-D)标记确定器械姿势。1-D标记包括一维布置的原始特征。一些特征能够作为定位器特征，而其余的特征能够作为识别特征。类似于2-D标记，能够使用定位器特征提供位置和方向信息，从而确定标记的姿势/对齐，而能够使用识别特征区别不同的标记。识别特征能够遵循编码方案，并且能够包括用于误差校验和/或修正的冗余信息。例如，图22A、图22B和图22C图解使用点或圆或点的组合的1-D标记。图22A图解1-D标记240，其包括形成直线的点。应明白，能够使用不同的颜色传达信息，标记240使用出现(即设为“1”)或不出现(即设为“0”)的点。标记240包括开始图案242、结束图案244以及具有12个数据位的中心部分246。能够以多种方式使用该12个数据位，例如通过使用一些数据位作为识别位，而一些数据位作为误差校正/修正位，其能够包括一个或更多个校验和数据位。能够通过邻近空白区域248描绘开始图案242和结束图案244。

一维图案具有优点和缺点。例如，使用1-D图案的一个优点在于，其用于非常细的器械，例如不能用于2-D图案的针。1-D图案的一个缺点在于，单个1-D标记不能给出物体的完全六维姿势。对于非常细的物体，轴向摇动通常观察不到，所以由单个1-D标记提供的五维姿势已是通常能够获得的最多维姿势。

图22B图解具有1-D标记240的手术工具250的图像，其示出与手术工具轴的轴线对齐布置的三个这样标记240。当将1-D标记附加于圆柱形表面时，该标记能够与该圆柱的轴线对齐，其致使标记沿3-D空间中的直线布置。当用在相对小直径的工具轴上时，该标记可特别有利，此时绕该轴通常能够布置比相当的2-D标记更多的1-D标记。然而，1-D标记的一个特点是其在器械轴上所需的长度，在近距离操作范围下，其可成为问题，可导致部分1-D标记处于视野外。

图22C图解图22A中的1-D标记的改进形式。标记260包括圆圈特征262，其能够作为与上述图13A和图13B中的2-D标记的定位器特征类似的定位器特征使用。有利地，使用圆圈特征262可帮助降低图案的长度，因此提供更好的近距离范围图案。点264能够用于标记识别和误差校验/修正数据。

图22D图解图22C中的1-D标记260的可替换形式。标记265包含圆圈特征266和条特征268的组合。圆圈特征266能够用作定位器特征，而条特征268能够用于标记识别和误差校验/修正数据。标记260的点264与标记265的条特征268之间的差别在于，标记265信息由暗和亮区域之间的过渡位置编码，其中标记260使用点的中心的位置来承载信息。

一维标记提取

图23示出方法270的流程图，其能够用于处理一个或更多个1-D工具跟踪标记(其实施例在图22A、图22B和图22C中示出)的立体图像。在步骤276中，能够处理左图像数据272和右图像数据274，从而提取2-D斑点(即特征)，其能够使用上述关于从2-D标记提取2-D斑点(参见图19及相关讨论)的方法实现。在步骤278中，经提取的斑点被分组为线。能够使用随机抽样一致(RANSAC)法通过从所有的经检测的特征点提取多个直线完成线分组。(对于随机抽样一致算法的细节，参见M.A.Fischler和R.C.Bolles的“RandomsampleConsensus：Aparadigmformodelfittingwithapplicationstoimageanalysisandautomatedcartography”Comm.oftheACM，24：381-395，1981，其通过包括在此)。也能够使用对背景杂斑更有分辨力的特征，例如图22C中的标记中的圆圈，从而形成假设。

在步骤280中，校正一条或更多条线。线校正涉及清除线上的透视影响，从而存储信息位(例如点)的公制关系。平行于轴的线的没影点足以校正该线(参见R.Hartley和AZisserman的“MultipleViewGeometryinComputerVision”，剑桥大学出版社，2000，其通过引用包括在此)。有许多方法获得没影点的位置。例如，如果轴上有超过一条可见线性标记，没影点就是这些线的交点。作为另一例子，能够使用具有相等或已知间隔的点图像，从而计算没影点(例如参见图22C，作为具有被等距离间隔开的圆的线性标记的例子)。

在步骤282中，识别一个或更多个标记。标记识别能够包括以下过程，即定位开始和结束图案，并且然后读取数据位，从而识别该图案。应明白，能够设计编码方案，从而编码用于误差校验的足够冗余。当已使用一些数据位用于误差校验时，能够读取误差校验位，从而验证该识别。如上所述，误差校验数据位能够包括至少一个用作校验和数据的数据位。

当使用立体摄像机时，一旦已识别标记(1-D或2-D)，步骤282的3-D重建就变为单一步骤。在该状态下，已知左右图像中的被成像特征之间的对应，并且仅需三角测量。然后，能够结合相对于工具的标记特征的已知相对空间布置，使用得到的3-D标记特征位置，从而确定工具的3-D姿势。

构造标记

工具例如手术工具26能够经配置，从而包括构造标记，以便提供能够被在图像内检测的多个原始特征。个别原始特征通常不足以作为标记，因为其可能不独特，并且不提供确定物体姿势的足够的几何外形限制。能够使用许多原始特征，从而形成具有3-D空间中独特构造的图案，其在此称为“构造标记”。该图案(即构造)作为整体结合每个个别原始特征的判别力及其几何外形关系，从而更易于从背景中检测到。从立体图像提取的三个非共线特征提供足够的信息，从而确定工具的姿势。然而，具有比最小需要更多的特征对获得检测中的更高置信水平以及姿势确定中的更佳精度时有利。原始特征的形状或外形可以相同(即相同大小的圆盘)，可以包括一些变体，或者可以为唯一的。同样，能够使用许多原始特征，例如圆、点、条、角等等。当使用的原始特征包括一些变体水平时，能够使用外形中的结果差异，从而帮助匹配两个立体图像之间的特别特征的图像位置(即在特征匹配期间使用特征识别标志)以及匹配图像和模型(即使用不变的或对于观察点和照明变化较不敏感的特征识别标志)。

一个这样的原始特征为反射球面。反射球面具有良好的特性，其无关观察点即可作为亮点出现，只要光源和成像装置沿公共方向对齐，这是微创机器人手术期间使用内窥镜成像的通常情况。亮点的中心也与球面中心的突出一致。反射球面可为凹或凸面。在大多数情况下，反射球面可产生这样的亮点，即其与背景充分形成对比，从而允许以多种观察点和距离检测图像。然而，如果邻近的背景表面垂直于光的方向，并且整个区域在成像装置处反射大量的光(因而导致图像饱和)，就可将该对比降至不良水平。在该情况下，改进的获取控制或高动态范围影像可帮助减轻该问题。

图24图解原始特征300，其包括凹球面，并且能够被从三个方向照明/成像。标记300的球面302具有中心点304，被直接反射向成像装置的照明光通过该中心点传播。基本未通过该中心点传播的照明光被远离照明/成像方向反射。

工具(或者通常为机械装置)上的一些自身特征也可表现为被捕捉的图像中的视觉突出特征。这些自身特征可提供关于工具的3-D姿势的额外的源自图像的信息。例示性手术工具的这些自身特征的例子能够包括具有近似球面的螺栓的端部、具有反射凹球面的铰接器械的铰链的端部。该自身特征可在图像中形成类似于那些人工标记的稳定亮斑点。然而，对于很多工具，该自身特征本身不可提供足够数量的特征来形成不足以在杂斑背景下辨别提取的图案。通过引入人工原始特征使其与该自身特征结合，能够实现足够的特殊性。现有自身特征的使用帮助降低添加的人工特征的数目，并且因此减小对于将被跟踪的机械装置的改变(例如外观)。

图25图解原始特征320，其包括凸球面322，并且其被从三个方向照明/成像。类似于图24的原始特征，球面322具有中心点324，被直接反射向成像装置的照明光通过该中心点传播。基本未通过该中心点传播的照明光被远离照明/成像方向反射。反射凸球面比凹反射球面更适合手术应用在于，血液(或者通常任何流体或物质)可更容易被截留在凹进中，其可引起凹原始特征失去其与工具的邻近区域的对比，或者取决于被截留的血液量而变得比邻近区域更暗。相反，反射凸球面较不可能截留血液。此外，反射凸球面和组织的相互作用可帮助保持该表面清洁，其可有助于甚至在浓血域产生亮点。

图26A和图26B示出具有包括反射球面的原始特征的手术工具。不使用任何特别照明而使用这些工具，但是代之使用现有的立体成像系统，后者在例示性机器人手术系统中由外科医生使用，从而观察手术部位。该使用与使用受控有源红外(IR)照明的现有系统形成对比，受控有源红外(IR)照明确保视野中只有标记点被照亮，这明显简化了相关图像的处理和估计。然而，使用现有立体成像系统避免与受控有源IR照明相关的额外的系统复杂性。虽然这些手术工具具有置于其远端U形夹(clevis)的原始特征，但是应明白，原始特征能够被置于其他位置，例如器械轴和/或近端U形夹上。选择不倾向于反射图像饱和度的位置可有利。

构造标记检测

图27示出工具跟踪方法340的流程图，其使用具有构造标记的工具的立体图像处理。该方法使用三维空间中的原始特征之间的几何不变性，因此首先执行立体匹配/3-D重建。在步骤346中，能够分别处理左图像数据342和右图像数据344，从而提取相对于邻近区域展示出合格对比量(即亮点)的原始特征。

在步骤348中，处理经提取的原始图像特征，从而识别与使用的原始特征一致的“图像识别标志(signature)”。能够为每个原始图像特征提取“识别标志”。当使用的原始特征形状相同时，其图像识别标志可基本类似。当使用的原始特征具有形状或外形变化时，能够使用外形中的结果差异，从而帮助将特定的原始特征关联于特定的原始图像特征，例如亮点。能够绕特征点从原始图像特征(即图像斑纹)提取原始图像特征识别标志。一种简单的特征识别标志方法是使用与传统的立体图像中一样的经提取的原始图像特征(图像斑纹)自身。最近，已提出对一些变化或变形不变/不敏感的识别标志，其能够比图像斑纹处理更多的照明和观察点变化。梯度柱状图(HOG)是个良好的例子。(参见D.Lowe的“Distinctiveimagefeaturesfromscale-invariantkeypoints”，InternationalJournalofComputerVision，20卷，第91-110页，2003，其通过引用包括在此)。

在步骤350中，匹配两个立体图像(即左图像和右图像)中的特征。不同的识别标志方法可能需要不同的匹配方法。例如，标准化的相关可用对图像斑纹识别标志(参见DavidForsyth和JeanPonce的“ComputerVisionAModernApproach”，240页，PrenticeHall，2003)。通过HOG识别标志，已提议使用相关的匹配得分作为置信水平标准，其很有可能为有用的方法。能够使用极线约束(Epipolarconstraint)从而仅在直线上约束该匹配(参见R.Hartley和A.Zisserman的“MultipleViewGeometryinComputerVision”，剑桥大学出版社，2000)。当存在几个良好的匹配时，能够保留所有的匹配用于在下一步骤处理。使用经匹配的特征，从而通过使用立体三角测量产生3-D坐标。

在步骤350的可选择方法中，可在步骤354中使用基于模型的识别标志。预期图像和模型之间的特征识别标志匹配比左右立体图像之间的特征识别标志匹配更难，因为立体图像具有类似的观察点、照明和极线约束。为了匹配图像识别标志和模型识别标志，可能需要该特征对于观察点和光照条件不变。如果使用相同的原始特征，其可能更难以与模型匹配。然而，能够设计原始图像，从而具有大观察点变化下其易于匹配的形状(以及结果外形)。有一种方法依赖对于观察点变化不变的拓扑性质。一个例子为圆圈，其如上关于1-D和2-D标记所描述的。作为圆圈上的变化，原始特征能够使用暗点中的多个亮点。即使并非所有的点都匹配模型，或者即使该匹配不是唯一的，部分匹配也能够用于特征分组中。

在步骤352中，能够使用经匹配的特征从而执行3-D特征分组，以便建立被观察的特征与模型中的特征的对应(即获得3-D中的经识别标记点，358)。该处理使用特征的3-D位置，和可选择地与其模型原始特征和/或器械姿势上的可选择的现有知识的匹配得分。能够通过“星座算法”执行步骤352。执行的星座算法为用于3-D分组的有效贝叶斯方法，其基于几何形状限制、外形限制、以及物体姿势上的其他现有姿势信息(即现有物体姿势数据356)。如果几何形状限制不足，使用外形限制为一个选择。星座算法输出的是用于每个被观察的特征的标签，其具有来自于模型原始特征之一或背景杂斑的值。最后使用随机抽样一致法(RANSAC)从而加强刚性限制。

星座算法——问题形成

假定我们具有n个已知图案{C₁，...，C_n}，其每个都包含k_i个节点。我们使用C₀(k₀＝1)指示不是该图案的一部分的任何事物。假定节点被连续标记为0，...，t。我们使用p[i]指代节点标签i的图案指数。c₁，...，c_t为一些坐标系中的节点坐标(每个图案都具有其自身的坐标系是可以的)。有m个标有1，...，m并且坐标为P₁，...，P_m的输入节点。这些输入节点包含未知数目的图案。丢失的数据和背景节点能够存在。我们用O＝[o₁，...，o_m]表示每个数据节点的所有权(ownership)；o_i∈[0，t]。我们已知每个输入节点的所有权的现有知识是可能的。现有所有权知识能够来自局部节点观察(独立于其他节点)或其他来源。q_i(l)表示输入节点i对应于模型标签l的概率。q_i(0)应被设为小概率。

每个输入节点都能够具有t个标签，因此可能解的总数目为m^t。通过尝试每一种可能性解决该问题为指数问题。如果现有所有权知识充分，则该问题就能够通过随机化的“假设和测试”方法(即RANSAC)解决。然而，如果对现有所有权没有了解或这种了解不足，产生的假设就基本为随机的，并且该执行接近为穷举搜索。

在此，我们通过考虑配对距离约束简化该问题。我们在距离小于加上允许的误差的两个模型节点之间的最大距离的任两个输入节点之间添加连接。这样得到一幅图。图中的关节概率因此由配对距离一致性以及对所有权的现有了解概率限定。

$P\left(O\right)=\frac{1}{Z}\left(\underset{i,j\&Element;[1,m]\left|\right|P_i-P_j\left|\right|<\&Element;}{\mathrm{\&Pi;}}\mathrm{\&psi;}(o_i,o_j)\right)\left(\underset{i\&Element;[1,m]}{\mathrm{\&Pi;}}{q}_i\left(o_i\right)\right)---\left(1\right)$

其中ψ_ij(o_i，o_j)为每个图案中的配对距离一致性函数。∈为由模型中的最大图案分布限定的相邻半径。

其中σ为节点间的距离测量噪音，且α为背景可能性，其应小于真实匹配的可能性。

能够如下文所述使用物体姿势上的现有知识。能够以现有q()表现转化的现有知识，因为该知识能够应用于每个别的节点。能够通过两个节点的相对方向以配对可能性ψ()表现转动的现有知识。

星座算法——置信(belief)传播解

联合概率函数，等式(1)，处于局部可能性与配对可能性的结合的形式中。能够使用置信传播(BP)算法有效解决该问题。该算法给出每个节点的边际分布(所有权)作为输出。在这些特殊情况下，节点间的互相连接能够形成环。该类方法被称为环置信传播(参见K.Murphy、Y.Weiss和M.Jordan的“Loopy-beliefpropagationforapproximateinference：Anempiricalstudy”，InUAI，15卷，第467-475页，1999)。即使未证明最优性时，其也显示出非常良好的经验结果。对于BP算法的运算细节，参见JudeaPearl的“ProbabilisticReasoninginIntelligentSystems：NetworksofPlausibleInference”，MorganKaufmann，1988。

星座算法——验证

一些节点可能从BP的解中获得错误标签，因为其仅加强局部约束。然而，期待大部分节点能够获得正确标签。相对于标签的随机猜测，这是巨大优势。随后应进行验证步骤，从而加强全面的刚性约束。能够对源自BP的对应使用RANSAC来实现该步骤。

可辨别标记

包括文字和/或一个或更多个符号的可辨别标记能够用于工具跟踪。该可辨别标记能够包括大范围的文字和符号。例如，可辨别标记能够包括公司名称、公司商标符号、产品名称、产品商标符号、组件名称和/或用户名称。可辨别标记能够使用设置在各种背景上的各种颜色。例如，文字和/或符号可为对比深色背景(例如黑色)的浅色(例如白色)，反之亦然。图28A和图28B图解了一些例示性可辨别工具标记。使用人类用户熟悉的可辨别标记有利。熟悉的信息倾向于与场景良好地混合，并且相对于具有类似信息内容的其他标记，其可使用户较少分心。

可辨别标记能够包括能够用于物体姿势估计的局部特征。能够使用标准文字作为标记。然而，一些对于字体的更改能够增加稳定特征(即角点)的数目、产生与背景高度区别的(例如“棋盘”图案或阵列中的角、或者鞍点)特征、和/或使更有效的检测方法可行。例如，标记能够包括这样的文字和/或符号，其由许多从矩形“棋盘”阵列中选择的矩形元素构造。所选择的元素能够具有一种颜色或一系列颜色，并且未被选择的元素能够具有对比颜色或一系列颜色。被选择的和/或未被选择的元素的局部图案能够提供局部特征，局部特征能够经成像和处理从而确定局部特征的位置和/或识别信息。该局部图案能够包括许多图案。例如，局部图案能把包括其矩形自身的变化(例如大小、纵横比、颜色等等)，矩形的局部组合的变化(例如角)、线的变化、以及比例的变化(例如多比例标记或标记中的标记)。

图29A、图29B、图29C、图29D、图29E、图29F、图29G和图29H图解一些例示性方法，这些方法可用于在可辨别标记中包含位置和/或识别信息。图29A图解能够在文字角位置使用的矩形局部组合的变化。示出三个例示性角类型，具体为角类型1360、角类型2362、角类型3364。虽然示出三种类型，但是能够通过使用四个相邻网格表示另外的角类型。另外，能够使用其他类型的网格组合，从而表示能够经成像和处理以便识别(例如通过3乘3的图案，通过2乘2的图案等等)的图案。图29B和图29C图解这样的可辨别文字，其使用从矩形原始特征2-D阵列(即棋盘排列)中选择的矩形特征构建。图29D图解能够如何配置可辨别文字标记，从而在仍可读的同时具有更多角特征。图29E和图29F图解能够如何使用邻近矩形之间的重叠量的变化，从而改变所得到的文字的外形(图29E不具有重叠，而图29F具有轻微重叠，其使“交叉”点/鞍点看起来象交叉点)。该重叠可有助于当成像系统扩大白色区域时进行补偿。图29G和图29H图解具有多种比例的特征的可辨别文字标记。与图29G中所示的标记不同，图29H中所示的标记不包括第二水平，第二水平易于被人类观察者辨别，这在某些情形下可以有利。

图30A、图30B、图30C和图30D图解一些另外的例示性可辨别标记设计。标记370类似于标记190(图13C中所示)，但是信息点194由可辨别字母372代替。标记380类似于标记370，但是已延伸至多行。标记390是这样的例子，其中文字背景392与其周围394不同，以便能够使用文字背景的矩形结构提供对齐。标记400类似于标记390，但是包括四个具有鞍点的角402，其相对于周围更易于区别。标记410图解使用文字的一部分作为定位器，例如示出的字母“V”412，而其余文字用于识别和/或验证(即误差校验/修正)。被选择为定位器的部分能够放大，或者被修改为具有更多可见特征，从而确保其能够从图像中被可靠地检测到。标记420图解额外的定位器特征的使用，例如圆圈422，其与文字混合。

可辨别标记检测

图31示出工具跟踪方法430的流程图，其使用具有可辨别标记的工具的图像处理。方法430产生经匹配的特征点，其可用于使用上述方法估计工具的三维姿势。

在步骤434中(特征检测)，通过处理工具图像数据432而定位(即检测)对于观察点变化稳定的特征点(例如角)。如上所述，可辨别标记能够经配置从而增加该稳定特征的数目，例如使用矩形字体或通过包括Z形笔画(例如参见图29D)。能够使用各种方法进行特征检测。一种该方法为使用角检测器。(参见C.Harris和M.Stephens(1988)的“Acombinedcornerandedgedetector”，Proceedingsofthe4^thAlveyVisionConference：第147-151页。)另外一种方法是从比例不变的关键点定位可辨别图像特征。(参见D.Lowe(2004)，“DistinctiveImageFeaturesfromScale-InvariantKeypoints”，InternationalJournalofComputerVision，2004。)

在步骤436中(特征描述)，确定围绕特征点的邻近的描述。能够使用各种方法进行特征描述。一种该方法为使用自适应阈值从而将灰度色标图像转化为二进制图像，并且使用形状内容(ShapeContext)作为描述符(参考S.Belongie，J.Malik和J.Puzicha，“ShapeMatchingandObjectRecognitionUsingShapeContexts”，IEEETransactiononPatternAnalysisandMachineIntelligence，2002，其包括在此以供参考。)另一种方法是使用方向柱状图作为灰度色标图像上的描述符(参考D.Lowe(2004)，“DistinctiveImageFeaturesfromScale-InvariantKeypoints”，IntemationalJoumalofComputerVision，2004，其包括在此以供参考。)。

在步骤438中(特征匹配)，使用具有描述数据450的模型特征，匹配个别特征点与来自模型的图像的特征点。能够通过处理模型图像数据444将具有描述数据450的模型特征表达为离线(使用442)，从而检测(步骤446)并产生模型特征的描述(步骤448)，能够使用上述方法实现该过程。来自各种观察点的一些模型图像能够用于促进在不同观察点观察的标记的匹配。

在步骤440中(特征分组)，分组经匹配的特征，以便加强经匹配的点之间的几何约束。能够在分组特征点期间使用姿势估计和鲁棒性估计，并且能够作为异常值拒绝不一致特征点。能够通过使用上述方法，将结果匹配特征点数据452用于工具状态估计。

结合另外的约束数据

能够在物体的姿势确定中使用来自多个时间距离的姿势数据。例如，随着时间的不同视频帧能够提供物体(例如微创手术器械)姿势的额外约束，其能够用于帮助与约束不一致的异常值。

在物体的姿势确定中也能够使用运动学约束。例如，在微创手术中，手术器械被通过体壁上的插入点而插入患者体内。这些插入点固定，并且手术工具被限制于穿过这些点。该插入点限制意味着手术工具轴的轴线在不同时间相交于共同点。因此，轴线不通过插入点的工具的姿势能够被归入异常值，并且因此通过使用鲁棒估计技术排除，例如RANSAC。

另外，如上所述，在物体的姿势确定中也能够使用运动学关节数据。例如，在关于机器人手术的上下文中，存在强时序约束，其通过使用源自图像的姿势和源自运动学的工具姿势之间的关系提供。其细节参见共有美国专利申请公开号No.2006/0258938A1。

能够使用用于多个时间距离的多个工具的姿势数据，从而识别两个或更多个工具的图像中的工具。例如，当图像中的两个或更多个工具具有相同的标记时，能够将工具之一的源自图像的姿势与该工具的估计姿势比较。能够通过使用至少一个来自工具的现有图像的现有工具状态，或来自于执行工具的运动的机器人致动系统的关节数据来产生估计姿势。其中源自图像的工具姿势处于估计姿势的预定偏离之内，并且能够证实该工具的同一性。

应明白，在此描述的例子和实施例为示例性目的，本领域技术人员应理解其各种改进和改变，并且其被包括在本申请的精神和范围以及所附权利要求的范围之内。可能有许多不同的组合，并且认为这些组合为本发明的一部分。

Claims (11)

1.一种机器人手术系统，其包含：

机器人手术工具，其具有在所述工具的远端部分上有已知位置的多个原始特征，其中每个特征都包含球形反射表面并且其中所述多个原始特征包括所述工具的自身特征和所述工具的人工特征，所述自身特征具有凹或凸球形反射表面，并且为了提供所述球形反射表面这个唯一的目的而在所述工具上提供所述人工特征，所述工具的所述远端部分被配置为位于患者体内并在所述患者体内被操纵；

光源，其能够插入患者体内以便被导向成在所述患者体内朝向所述工具的所述远端引导光，所述光包括可见光谱；

立体图像捕捉装置，其能够插入患者体内使得所述图像捕捉装置捕捉由所述光源产生的亮点的立体图像，所述光源引导所述光到所述多个原始特征上，所述亮点基本与所述球形反射表面的球心对齐；以及

处理器，其与所述图像捕捉装置连接，并且被配置为用于通过处理立体图像以便通过使用所述亮点定位被成像的原始特征的球心，从而确定所述工具的位置。

2.根据权利要求1所述的系统，其进一步包含有形媒介，所述有形媒介包括可由所述处理器执行以便处理所述立体图像的机器可读指令。

3.根据权利要求1所述的系统，其中所述亮点由镜面反射光产生。

4.根据权利要求1所述的系统，其中所述原始特征中的一个与所述工具的关节轴线对齐，所述表面由关节结构限定。

5.根据权利要求1所述的系统，其中所述处理器被配置，以便通过处理所述立体图像，确定所述被成像的原始特征的球心的三维位置数据。

6.根据权利要求5所述的系统，其中所述图像捕捉装置包含立体内窥镜。

7.根据权利要求1所述的系统，其中所述球形反射表面包含凸或凹表面。

8.根据权利要求1所述的系统，其中所述多个原始特征包括三个或更多个特征。

9.根据权利要求8所述的系统，其中所述多个原始特征包括四个或更多个特征。

10.一种与机器人手术系统一起使用的手术工具，所述手术系统包括立体成像装置和处理器，所述立体成像装置能够插入患者体内用于在患者体内使用期间捕捉所述手术工具的远端部分的立体图像，所述处理器与所述成像装置相连，用于处理被捕捉的立体图像，以便为所述患者体内的所述手术工具确定源自图像的位置信息，并且所述手术系统包括光源，所述光源能够插入患者体内以便被导向成发射包括可见光谱的照明光，所述手术工具包含设置在所述手术工具的所述远端部分上的多个原始特征，且每个原始特征都包含球形反射表面用于反射所述照明光，其中所述多个原始特征包括所述工具的自身特征和所述工具的人工特征，所述自身特征具有凹或凸球形反射表面，并且为了提供所述球形反射表面这个唯一的目的而在所述工具上提供所述人工特征。

11.一种物体跟踪系统，其包含：

物体，其具有多个原始特征，所述多个原始特征围绕所述物体分布，以便所述多个原始特征在多个观察方向中的每一个的视野内，且每个原始特征都包含球形反射表面，其中所述多个原始特征包括所述物体的自身特征和所述物体的人工特征，所述自身特征具有凹或凸球形反射表面，并且为了提供所述球形反射表面这个唯一的目的而在所述物体上提供所述人工特征；

光源，其能够插入患者体内以便被导向成朝着所述物体引导包括可见光谱的光；

立体图像捕捉装置，其能够插入患者体内从而用于捕捉所述物体的立体图像，该图像捕捉装置插入所述患者体内使得所述图像捕捉装置捕捉由所述光源产生的亮点的立体图像，所述光源引导光到所述多个原始特征上，所述亮点基本与所述球形反射表面的球心对齐，所述图像捕捉装置输出所述立体图像的图像数据；以及

处理器，其与所述图像捕捉装置相连，并且被配置为处理所述图像数据，以便：

确定三个或更多个被成像的原始特征的三维位置数据；以及

通过处理所述三维位置数据确定所述物体的位置和方向。