CN103417299B - 用于计划和导航的系统和方法 - Google Patents

Abstract

本发明公开了用于计划和导航的系统和方法。本公开针对计划和导航方法。计划和导航方法包括：获得多个图像、以三维的方式呈现多个图像、自动分割将多个图像以划分目标区域；和基于目标区域自动确定治疗计划。计划和导航系统还包括：获得包含目标的扫描面的超声图像；和通过使用外科手术设备上的图像捕获设备获得设置在超声设备上的基准图案的基准图像。对于透镜畸变校正获得的基准图像，并且，找到基准图像与模型图像之间的对应关系。在估计照相机姿势之后，将外科手术设备的位置变换至模型坐标。然后，基于模型坐标显示外科手术设备的虚拟图像和该超声图像，以允许外科手术医生通过使用显示的超声图像将外科手术设备导航到目标并基于治疗计划治疗目标。

Description

用于计划和导航的系统和方法

技术领域

本公开涉及关于外科手术过程（surgical procedure）使用的系统和方法。更具体地，本公开针对使用计划系统（planning system）以确定治疗计划和使用导航系统（navigation system）以实现用于外科手术的治疗计划。

背景技术

电外科手术设备（electrosurgical device）已得到广泛使用。电外科手术包括在外科手术过程期间施加热能和/或电能以切割、解剖、消融（ablate）、凝结、烧灼、密封或以另外的方式治疗生物组织。电外科手术典型地通过使用这样的手持件执行，该手持件包括适于在电外科手术过程中向组织点传输能量的外科手术设备（例如，末端执行器或消融探针）、可操作以输出能量的远程电外科手术发生器（generator）以及操作地连接该外科手术设备与该远程发生器的电缆组件。

某些疾病的治疗需要破坏恶性组织生长，例如肿瘤。在诸如癌症的疾病的治疗中，已发现某些类型的肿瘤细胞在稍低于通常对于健康细胞有害的温度的高温下变性。已知的治疗方法（诸如热疗）典型地包括将疾病细胞加热到高于41°C的温度，同时保持相邻的健康细胞低于发生不可逆的细胞破坏的温度。这些方法可包括施加电磁辐射以加热、消融和/或凝结组织。存在大量的不同类型的可用于执行消融过程的电外科手术设备。

可通过使用典型地跨着输入参数（功率、时间）的范围描述在实验性的、体外组织中的消融针的特性的“消融区域图”和二维（2D）术前计算断层摄影（CT）图像，执行用于癌性或良性肿瘤的最小侵入肿瘤消融过程。对于特定设计，能量剂量（功率、时间）可与消融组织效果（体积、形状）相关。能够通过微波天线设计来控制输送到组织的能量剂量，例如，可以使用天线扼流圈来提供从设备到组织中的微波传送的已知位置。在另一例子中，电介质缓冲使得能够与使组织性质不同或改变组织性质无关地从设备向组织中相对恒定地输送能量。

在用户确定应使用哪个消融针以实现目标（target）的治疗之后，用户通过超声引导执行治疗。典型地，需要高级技能以将外科手术设备放置于在超声下识别的目标中。最重要的是，能够选择朝向超声图像面（例如，目标在该处被成像）指引设备所需的角度和进入点。

超声引导干预（ultrasound-guided intervention）包括使用实时超声成像（经腹、手术中等）以精确地将外科手术设备指引至它们的预期目标。这可通过经皮应用和/或术中应用来执行。在各种情况下，超声系统将包括换能器，其将患者组织成像，并被用于识别目标并且预期和/或遵循仪器向着目标的路径。

当前，超声引导干预通常被常用于穿剌活检过程以确定已被检测的可疑损害（乳房、肝脏、肾脏和其它软组织）的恶性。另外，中心线放置对于取得颈静脉进入以及允许输送药物是常见的。最后，新兴的使用包括器官（肝脏、肺部和肾脏等）的外科手术切除和肿瘤消融。在肿瘤消融的情况下，在实现超声引导目标瞄准之后，为了杀死肿瘤，可以使用活检类针以输送能量（RF、微波和低温等）。在器官切除的情况下，解剖期间的表面下解剖体的密切认知和关于该解剖体的外科手术设备的显示是在避开关键结构的同时取得成功的外科手术余量的关键。

在这些情况中的每一种情况下，超声引导一般提供从施加给患者的换能器的末端捕获的二维像面。对于用户来说，为了成功地放置设备，十分重要的是能够可视化和表征目标、选择用以到达目标的仪器角度和进入点并查看该外科手术设备及其朝向目标的移动。当前，用户使目标成像并利用高级技能以选择仪器角度和进入点。用户必须然后移动超声换能器以查看仪器路径（由此失去目标的位置）或者假定路径正确直到设备进入像面。最重要的是，能够选择朝向超声像面（例如，在那里将目标成像）指引设备所需的角度和进入点。

发明内容

此描述可使用短语“在实施例中”、“在多个实施例中”、“在一些实施例中”或“在其它的实施例中”，这些短语均可指的是根据本公开的相同或不同实施例中的一个或更多个。对于此描述而言，形式为“A/B”的短语意味着A或B。对于此描述而言，形式为“A和/或B”的短语意味着“（A）、（B）或（A和B）”。对于此描述而言，形式为“A、B或C中的至少一个”的短语意味着“（A）、（B）、（C）、（A和B）、（A和C）、（B和C）或（A、B和C）”。

如图所示并且如以下的描述中所描述的，当提到外科手术设备上的相对定位时，如常规情况那样，术语“近端”指的是装置的更接近用户或发生器的端部，而术语“远端”指的是装置的更远离用户或发生器的端部。术语“用户”指的是执行包括使用这里描述的本公开的多个方面的医疗过程的任何医疗专业人员（即，医生或护士等）。

如在本说明书中使用的那样，术语“外科手术设备”一般指的是给予电外科手术能量以治疗组织的外科手术工具。外科手术设备可包括但不限于针、探针、导管、内窥镜仪器、腹腔镜检查仪器、脉管密封设备、外科手术钉装器等。术语“电外科手术能量”一般指的是任何形式的电磁能量、光学能量或声学能量。

通常，通过增加频率或减小波长将电磁（EM）能量分成无线电波、微波、红外线、可见光、紫外线、X射线和伽马射线。如这里使用的那样，术语“微波”一般指的是300兆赫兹（MHz）（3×10⁸周期/秒）～300吉赫兹（GHz）（3×10¹¹周期/秒）的频率范围中的电磁波。如这里使用的那样，术语“RF”一般指的是具有比微波低的频率的电磁波。如这里使用的那样，术语“超声”一般指的是具有比人听力的上限大的频率的循环声压。

如在本描述中使用的那样，术语“消融过程”一般指的是任何消融过程（诸如微波消融、射频（RF）消融或微波消融辅助切除）。如在本描述中使用的那样，“能量施加器”一般指的是可用于将能量从诸如微波或RF电外科手术发生器的功率发生源传送到组织的任何设备。

如在本描述中使用的那样，术语“功率源”和“电源”指的是表现为适于操作电子电路的形式的电力的任何源（例如，电池）。如在本描述中使用的那样，“传输线”一般指的是可用于信号从一个点向另一点的传播的任何传输介质。如在本描述中使用的那样，术语“开关”或“多个开关”一般指的是任何电气致动器、机械致动器、电气机械致动器（可旋转致动器、可枢转致动器、轴节状致动器、按钮等）、光学致动器或一般实现连接和断开电子设备或它们的部件、仪器、装备、传输线或其连接和附属物的目的的任何适当的设备或软件。

如在本描述中使用的那样，“电子设备”一般指的是利用在真空、气体或半导体中移动的电子或离子的性质的设备或物体。如这里使用的那样，“电子电路”一般指的是电子或离子移动的路径以及由设备或物体提供给电子或离子的方向。如这里使用的那样，“电气电路”或者简称“电路”，一般指的是当连接在一起时形成实行希望的功能的若干电气设备和导体的组合。除互连以外的电气电路的任何构成部分可被称为“电路元件”，该电路元件可包含模拟和/或数字部件。

术语“发生器”可指的是能够提供能量的设备。这种设备可包含功率源和能够改变由功率源输出的能量以输出具有希望的强度、频率和/或波形的能量的电气电路。

如在本说明书中使用的那样，“用户接口”一般指的是用于向用户或其它实体提供信息和/或从用户或其它实体接收信息的任何视觉、图形、触觉、听觉、感觉或其它机构。这里使用的术语“用户接口”可指的是用户（或操作员）与一个或更多个设备之间的用于启用用户与设备之间的通信的接口。可在本公开的各种实施例中使用的用户接口的例子包括但不限于开关、电位计、按钮、拔盘、滑块、鼠标、指向装置、键盘、键区、操纵杆、跟踪球、显示画面、各种类型的图形用户界面（GUI）、触摸屏、麦克风和其它类型的可接收一些形式的人产生的刺激并且作为其响应产生信号的传感器或设备。如这里使用的那样，“计算机”一般指的是以有目的的方式变换信息的任何事物。

这里描述的系统还可利用一个或更多个控制器以接收各种信息并且变换所接收的信息以产生输出。控制器可包括任意类型的计算设备、计算电路或能够执行存储于存储器中的一系列指令的任何类型的处理器或处理电路。控制器可包含多个处理器和/或多芯中央处理单元（CPU），并且可包含任意类型的处理器，诸如微处理器、数字信号处理器或微控制器等。控制器还可包含用于存储用以执行一系列指令的数据和/或算法的存储器。

这里描述的方法、程序、算法或代码中的任一种可被转换成或者表达为编程语言或计算机程序。“编辑语言”和“计算机程序”是用于对于计算机规定指令的任何语言，并且包括（但不限于）这些语言和它们的衍生物：汇编语言、Basic、批处理文件、BCPL、C、C++、Delphi、Fortran、Java、JavaScript、机器代码、操作系统命令语言、Pascal、Perl、PL1、脚本语言、Visual Basic、自身规定程序的元语言以及所有第一代、第二代、第三代、第四代和第五代计算机语言。还包括数据库和其它数据方案以及任何其它的元语言。对于该定义而言，在被解释、编译或者使用被编译和解释的方法两者的语言之间不进行区分。对于该定义而言，在程序的被编译版本和源版本之间不进行区分。因此，在编程语言可存在于多于一种的状态（诸如源、被编译、对象或链接）的情况下，对于程序的引用是对于任何状态和所有这些状态的引用。该定义还包括实际的指令和这些指令的意图。

这里描述的方法、程序、算法或代码中的任一种可被包含于一个或更多个机器可读介质或存储器上。术语“存储器”可包含提供（例如，存储和/或传送）为可由诸如处理器、计算机或数字处理设备的机器可读取的形式的信息的机构。例如，存储器可包含只读存储器（ROM）、随机存取存储器（RAM）、磁盘存储介质、光学存储介质、闪存设备或任何其它易失性或非易失性存储器存储设备。包含于其上的代码或指令可由载波信号、红外信号、数字信号和其它类似的信号代表。

如在此描述中使用的那样，短语“治疗计划”指的是用于实现目标的治疗所选择的消融针、能量水平和/或治疗持续期。术语“目标”指的是被安排治疗的组织的区域，并且可包含但不限于肿瘤、纤维瘤和要被消融的其它组织。短语“消融区（ablation zone）”指的是将被消融的组织的面积和/或体积。

如在此描述中使用的那样，短语“计算断层摄影”（CT）或“计算轴向断层摄影”（CAT）指的是使用通过计算机处理创建的断层摄影的医疗成像方法。使用数字几何处理以从围绕单个旋转轴摄取的大量的一系列二维X射线图像生成对象内部的三维图像。

如在此描述中使用的那样，术语磁共振成像（MRI）、核磁共振成像（NMRI）或磁共振断层摄影（MRT）指的是在放射学中使用的用于将详细的内部结构可视化的医疗成像技术。MRI利用核磁共振（NMR）的性质以将身体内的原子的原子核成像。MRI机器使用大功率的磁场以使身体内的一些原子核的磁化对准，同时使用射频场以系统地改变该磁化对准。这导致原子核产生可由扫描仪检测的旋转磁场，并且，该信息被记录以构建身体的扫描区域的图像。

如在此描述中使用的那样，术语“三维超声”或“3D超声”指的是提供三维图像的医疗超声技术。

如在此描述中使用的那样，短语“医疗数字成像和通信”（DICOM）指的是用于处理、存储、打印和传送与医疗成像有关的信息的标准。它包括文件格式定义和网络通信协议。通信协议是使用TCP/IP以在系统之间进行通信的应用协议。可在能够接收DICOM格式的图像和患者数据的两个实体之间交换DICOM文件。

这里描述的系统和方法中的任一种可在有线网络、无线网络、点对点通信协议、DICOM通信协议、传输线和可移除存储介质等上在其间传送数据。

这里描述的系统可利用被配置为检测组织和/或周围环境的一种或更多种性质的一个或更多个传感器。这些性质包含但不限于：组织阻抗、组织类型、组织清晰度、组织顺应性、组织或夹片部件（jaw member）的温度、组织中的含水量、夹片打开角度、组织中的水迁移率、能量输送和夹片闭合压力。

在本公开的一个方面中，提供了确定治疗计划的方法。该方法包括获得多个图像和以三维的方式呈现该多个图像。自动分割该多个图像以划分（demarcate）目标区域，并且，基于该目标区域自动确定治疗计划。

在该方法中，自动分割该多个图像包括选择籽点（seed point）和在籽点周围创建关注区域。将关注区域中的第一多个像素与预定的阈值相比较。从第一多个像素选择第二多个像素，其中，第二多个像素与籽点连接并小于该预定的阈值。向第二多个像素应用几何过滤器。

该方法还包括确定第二多个像素是否形成预定的对象。如果第二多个像素不形成预定的对象，那么增大该预定的阈值，并且，重复比较第一多个像素、选择第二多个像素、应用几何过滤器和确定第二多个像素是否形成预定的对象的步骤。

此外，自动确定治疗计划包含对于目标区域执行体积分析、选择外科手术设备以及基于目标区域和选择的外科手术设备计算能量水平和治疗持续期。呈现该多个图像，并且显示该目标区域和该治疗计划。

另外，该方法还包括自动分割至少一个脉管（vessel）或至少一个器官。基于该至少一个脉管或器官与目标的接近性调整治疗计划，并且显示调整后的治疗计划。

在本公开的另一方面中，提供了一种通过使用设置在超声设备上的基准图案（fiducial pattern）和设置在外科手术设备上的图像捕获设备导航该外科手术设备的方法。在该方法中，获得扫描面的超声图像和基准图案的基准图像。对于透镜畸变校正基准图像，并然后确定基准图像与模型图像之间的对应关系。估计照相机姿势，并将外科手术设备的位置变换成模型坐标。然后显示基于模型坐标的外科手术设备的虚拟图像和超声图像。

在本公开的又一方面中，提供了一种相对于具有基准图案的第二设备跟踪具有图像捕获设备的第一设备的方法。该方法包括：获得基准图案的基准图像；对于透镜畸变校正基准图像；找到基准图像与模型图像之间的对应关系；估计照相机姿势；和将外科手术设备的位置变换至模型坐标。

基准图案包含设置在区域中的多个第一唯一标识符以及多个第二唯一标识符。该方法还包括通过如下操作来找到多个第一唯一标识符：向基准图像应用第一阈值，执行连接成分分析，应用几何过滤器以确定多个第一唯一标识符的加权质心，以及存储多个第一唯一标识符的加权质心。另外，该方法还包括通过如下操作找到多个第二唯一标识符：反转（invert）基准图像，向经反转的基准图像应用第二阈值、执行连接成分分析，应用几何过滤器以确定多个第二唯一标识符的加权质心并确定具有多个第一唯一标识符的区域，以及存储多个第二唯一标识符的加权质心和具有多个第一唯一标识符的区域。第一阈值和第二阈值是动态阈值。

通过从基准图像中选择多个第一唯一标识符、以顺时针的顺序布置多个第一唯一标识符、以顺时针的顺序布置多个模型基准（model fiducial）和计算平面单应性（planehomography）找到基准图像与模型图像之间的对应关系。通过使用计算的平面单应性将多个模型基准变换成图像坐标。从多个模型基准中找到匹配该基准图像的模型基准，并且计算残余误差。

通过如下操作从基准图像选择多个第一唯一标识符：选择多个第一唯一标识符、选择具有该多个第一唯一标识符的区域、对所选择的区域中的第一唯一标识符的数量计数、将所选择的区域中的第一唯一标识符的数量与预定的数量进行比较。如果所选择的区域中的第一唯一标识符的数量等于预定的数量，那么该方法前进到以顺时针的顺序布置多个第一唯一标识符。如果所选择的区域中的第一唯一标识符的数量不等于预定的数量，那么选择新的区域，并且，对该新的区域中的第一唯一标识符的数量计数。

在本公开的又一方面中，提供了一种计划和导航方法。该计划和导航方法包括：获得多个图像、以三维的方式呈现该多个图像、自动分割该多个图像以划分目标区域；和基于该目标区域自动确定治疗计划。该计划和导航方法还包括：获得包含目标的扫描面的超声图像；通过使用外科手术设备上的图像捕获设备获得设置在超声设备上的基准图案的基准图像；对于透镜畸变校正获得的基准图像；找到基准图像与模型图像之间的对应关系；估计照相机姿势；将外科手术设备的位置变换至模型坐标；基于模型坐标显示外科手术设备的虚拟图像和超声图像；通过使用显示的超声图像和虚拟图像将外科手术设备导航到目标；以及基于该治疗计划对目标进行治疗。

在该方法中，自动分割该多个图像包括选择籽点和在该籽点周围创建关注区域。将关注区域中的第一多个像素与预定的阈值相比较。从第一多个像素选择第二多个像素，其中，第二多个像素与籽点连接并小于该预定的阈值。向该第二多个像素应用几何过滤器。

计划和导航方法还包括确定第二多个像素是否形成预定的对象。如果第二多个像素不形成预定的对象，那么增大预定的阈值，并且，重复比较第一多个像素、选择第二多个像素、应用几何过滤器和确定第二多个像素是否形成预定的对象的步骤。

在另一方面中，自动确定治疗计划包含对于目标区域执行体积分析、选择外科手术设备、以及基于目标区域和所选择的外科手术设备计算能量水平和治疗持续期。呈现该多个图像，并且显示目标区域和治疗计划。

另外，该方法还包括自动分割至少一个脉管或至少一个器官。基于至少一个脉管或器官与目标的接近性调整治疗计划，并且显示调整后的治疗计划。

基准图案包含设置在区域中的多个第一唯一标识符和多个第二唯一标识符。该方法还包括通过如下操作找到多个第一唯一标识符：向基准图像应用第一阈值、执行连接成分分析、应用几何过滤器以确定多个第一唯一标识符的加权质心、以及存储多个第一唯一标识符的加权质心。另外，该方法还包括通过如下操作找到多个第二唯一标识符：反转基准图像、向反转的基准图像应用第二阈值、执行连接成分分析（connected componentanalysis）、应用几何过滤器以确定多个第二唯一标识符的加权质心并确定具有多个第一唯一标识符的区域、以及存储多个第二唯一标识符的加权质心和具有多个第一唯一标识符的该区域。第一阈值和第二阈值是动态阈值。

通过如下操作找到基准图像与模型图像之间的对应关系：从基准图像选择多个第一唯一标识符、以顺时针的顺序布置多个第一唯一标识符、以顺时针的顺序布置多个模型基准、以及计算平面单应性。通过使用计算的平面单应性将多个模型基准变换成图像坐标。从该多个模型基准找到匹配基准图像的模型基准，并且计算残余误差。

通过如下操作从基准图像选择多个第一唯一标识符：选择多个第一唯一标识符、选择具有该多个第一唯一标识符的区域、对所选择的区域中的第一唯一标识符的数量计数、以及比较所选择的区域中的第一唯一标识符的数量与预定的数量。如果所选择的区域中的第一唯一标识符的数量等于预定的数量，那么该方法前进到以顺时针的顺序布置多个第一唯一标识符。如果所选择的区域中的第一唯一标识符的数量不等于预定的数量，那么选择新的区域，并且，对新的区域中的第一唯一标识符的数量进行计数。

在本公开的又一方面中，提供一种了计划系统。该计划系统包括被配置为存储多个图像的存储器。该计划系统还包括控制器，该控制器被配置为以三维的方式呈现多个图像、自动分割多个图像以划分目标区域，并基于目标区域自动确定治疗计划。设置显示器以显示被呈现的多个图像和目标区域。

在该计划系统中，控制器执行体积分析以确定治疗计划。计划系统还包括被配置为调整治疗计划的输入装置。显示器提供了图形用户界面。

控制器可分割至少一个脉管，并基于脉管与目标的接近性调整治疗计划。控制器可分割至少一个器官并基于目标相对于器官的位置调整治疗计划。

在本公开的又一方面中，提供了一种导航系统。该导航系统包括被配置为获得扫描面中的超声图像的其上设置有基准图案的超声设备、以及具有被配置为捕获基准图案的基准图像的图像捕获设备的外科手术仪器。控制器被配置为接收超声图像和基准图像，其中，控制器基于基准图像确定外科手术仪器相对于扫描面的位置，并且，显示器被配置为基于外科手术仪器相对于扫描面的位置显示外科手术仪器的虚拟图像和该超声图像。

在该导航系统中，基准图案被固定于超声设备上的已知位置，并且，图像捕获设备被固定于外科手术仪器上的已知位置。基准图案具有驻留于已知的拓扑（topology）内的具有已知的特性和各自相对位置的多个标记。控制器使基准图像与模型图像对应，估计照相机姿势，并将外科手术仪器变换至模型坐标。控制器还对于透镜畸变校正基准图像。另外，控制器可识别基准标记内的拓扑，这里，该拓扑注明在标记上的单个图案上位于已知位置的两个或更多个独立的唯一标识符。

在本公开的又一方面中，提供了一种基准跟踪系统。基准跟踪系统包括具第一设备，在该第一设备上设置有基准图案，以及第二设备，在该第二设备上设置有图像捕获设备。图像捕获设备被配置为获得基准图案的基准图像。还设置控制器，该控制器接收基准图像、对于透镜畸变校正基准图像、找到基准图像与模型图像之间的对应关系、估计照相机姿势并将外科手术设备的位置变换至模型坐标。

在基准跟踪系统中，基准图案包含设置在区域中的多个第一唯一标识符和多个第二唯一标识符。

控制器通过如下操作找到多个第一唯一标识符：对于基准图像应用第一阈值、执行连接成分分析、应用几何过滤器以确定多个第一唯一标识符的加权质心、以及存储多个第一唯一标识符的加权质心。

控制器通过如下操作找到多个第二唯一标识符：反转基准图像、向反转的基准图像应用第二阈值、执行连接成分分析、应用几何过滤器以确定多个第二唯一标识符的加权质心并确定具有多个第一唯一标识符的区域、以及存储多个第二唯一标识符的加权质心和具有多个第一唯一标识符的区域。

控制器可通过如下操作找到基准图像与模型图像之间的对应关系：从基准图像选择多个第一唯一标识符、以顺时针的顺序布置多个第一唯一标识符、以顺时针的顺序布置多个模型基准、计算平面单应性、通过使用计算的平面单应性将多个模型基准变换成图像坐标、从多个模型基准找到匹配基准图像的模型基准、以及计算残余误差。

控制器还通过如下操作从基准图像选择第一唯一标识符：选择多个第一唯一标识符、选择具有该多个第一唯一标识符的区域、对所选择的区域中的第一唯一标识符的数量进行计数、以及比较所选择的区域中的第一唯一标识符的数量与预定的数量。如果所选择的区域中的第一唯一标识符的数量等于预定的数量，那么方法前进到以顺时针的顺序布置多个第一唯一标识符。如果所选择的区域中的第一唯一标识符的数量不等于预定的数量，那么选择新的区域，并且，对新的区域中的第一唯一标识符的数量进行计数。第一阈值或第二阈值是动态阈值。

在本公开的又一方面中，提供了一种计划和导航系统。计划系统包括存储器和第一控制器，该存储器被配置为存储多个图像，并且该第一控制器被配置为以三维的方式呈现多个图像、自动分割多个图像以划分目标区域、并且基于目标区域自动确定治疗计划。导航系统包括在其上设置有基准图案并被配置为获得扫描面中的超声图像的超声设备、具有被配置为捕获基准图案的基准图像的图像捕获设备的外科手术设备、以及被配置为接收超声图像和基准图像的第二控制器，其中，该控制器基于基准图像确定外科手术设备相对于扫描面的位置。该计划和导航系统还包括第三控制器和显示器，该第三控制器被配置为接收呈现的多个图像、目标区域、治疗计划、超声图像和外科手术设备相对于扫描面的位置，该显示器被配置为显示具有呈现的多个图像、目标区域和治疗计划的第一显示以及被配置为显示具有超声图像、基于外科手术设备相对于扫描面的位置的外科手术设备的虚拟图像和治疗计划的第二显示。

在计划和导航系统中，第一显示和第二显示可在单一画面上被显示，并且可被同时显示，或者，用户可在第一显示和第二显示之间切换。作为替代方案，显示器可具有两个画面，并且，在第一画面上显示第一显示，并且，在第二画面上显示第二显示。显示器可提供图形用户界面。

第一控制器执行体积分析以确定治疗计划，并且，可以设置输入装置以调整治疗计划。第一控制器可分割至少一个脉管并基于脉管与目标的接近性调整治疗计划。第一控制器可分割至少一个器官并基于目标相对于器官的位置调整治疗计划。

在计划和导航系统中，基准图案被固定于超声设备上的已知位置上，并且，图像捕获设备被固定于外科手术设备上的已知的位置。基准图案具有驻留于已知的拓扑内的具有已知的特性和相对位置的多个标记。

第二控制器使基准图像与模型图像对应，估计照相机姿势，并将外科手术设备变换至模型坐标。第二控制器还对于透镜畸变校正基准图像。另外，第二控制器可识别基准标记内的拓扑，这里，拓扑注明了在标记上的单一图案上位于已知的位置的两个或更多个独立的唯一标识符。

在本公开的另一方面中，提供了一种计划和导航系统。计划系统包括被配置为存储多个图像的存储器以及第一控制器，该第一控制器被配置为以三维的方式呈现多个图像、自动分割多个图像以划分目标区域并基于目标区域自动确定治疗计划。导航系统包括在其上设置有基准图案并被配置为获得扫描面中的超声图像的超声设备、具有被配置为捕获基准图案的基准图像的图像捕获设备的消融针和被配置为接收超声图像和基准图像的第二控制器，其中，该控制器基于基准图像确定消融针相对于扫描面的位置。计划和导航系统还包括第三控制器和显示器，该第三控制器被配置为接收呈现的多个图像、目标区域、治疗计划、超声图像和消融针相对于扫描面的位置，该显示器被配置为显示具有呈现的多个图像、目标区域和治疗计划的第一显示以及被配置为显示具有超声图像、基于消融针相对于扫描面的位置的消融针的虚拟图像和治疗计划的第二显示。

在计划和导航系统中，第一显示和第二显示在单一画面上被显示，并且可被同时显示，或者，用户可在第一显示和第二显示之间切换。作为替代方案，显示器可具有两个画面，并且，在第一画面上显示第一显示，并且，在第二画面上显示第二显示。显示器可提供图形用户界面。

第一控制器执行体积分析以确定治疗计划，并且，可以设置输入装置以调整治疗计划。第一控制器可分割至少一个脉管并基于脉管与目标的接近性调整治疗计划。第一控制器可分割至少一个器官并基于目标相对于器官的位置调整治疗计划。

在计划和导航系统中，基准图案被固定于超声设备上的已知的位置，并且，图像捕获设备被固定于消融针上的已知的位上。基准图案具有驻留于已知的拓扑内的具有已知的特性和相对位置的多个标记。

第二控制器使基准图像与模型图像对应，估计照相机姿势，并将消融针变换至模型坐标。第二控制器还对于透镜畸变校正基准图像。另外，第二控制器可识别基准标记内的拓扑，这里，该拓扑注明了在标记上的单一图案上位于已知的位置的两个或更多个独立的唯一标识符。

在本公开的又一方面中，提供了一种消融计划和导航系统。计划系统包括被配置为存储多个图像的存储器以及第一控制器，该第一控制器被配置为以三维的方式呈现多个图像、自动分割该多个图像以划分目标区域、并基于目标区域自动确定治疗计划。导航系统包括在其上设置有基准图案并被配置为获得扫描面中的超声图像的超声设备、具有被配置为捕获基准图案的基准图像的图像捕获设备的消融针、以及被配置为接收超声图像和基准图像的第二控制器，其中，控制器基于基准图像确定消融针相对于扫描面的位置。消融计划和导航系统还包括第三控制器和显示器，该第三控制器被配置为接收呈现的多个图像、目标区域、治疗计划、超声图像和消融针相对于扫描面的位置，该显示器被配置为显示具有呈现的多个图像、目标区域和治疗计划的第一显示以及被配置为显示具有超声图像、基于消融针相对于扫描面的位置的消融针的虚拟图像和治疗计划的第二显示。

在该消融计划和导航系统中，第一显示和第二显示在单一画面上被显示，并且可被同时显示，或者，用户可在第一显示和第二显示之间切换。作为替代方案，显示器可具有两个画面，并且，在第一画面上显示第一显示，并且，在第二画面上显示第二显示。显示器可提供图形用户界面。

第一控制器执行体积分析以确定治疗计划，并且，可以设置输入装置以调整治疗计划。第一控制器还可分割至少一个脉管并基于脉管与目标的接近性调整治疗计划，或者，第一控制器可分割至少一个器官并基于目标相对于器官的位置调整治疗计划。

在该消融计划和导航系统中，基准图案被固定于超声设备上的已知的位置，并且，图像捕获设备被固定于消融针上的已知的位置。基准图案具有驻留于已知的拓扑内的具有已知的特性和相对位置的多个标记。

第二控制器使基准图像与模型图像对应，估计照相机姿势，并将消融针变换至模型坐标。第二控制器还对于透镜畸变校正基准图像。另外，第二控制器可识别基准标记内的拓扑，这里，该拓扑注明在标记上的单一图案上位于已知的位置的两个或更多个独立的唯一标识符。

附图说明

结合附图根据以下的详细的描述，本公开的以上和其它方面、特征和优点将变得更加清晰，在附图中：

图1是根据本公开的一个实施例的计划和导航系统的系统框图；

图2A和图2B是根据本公开的一个实施例的消融针的示意图；

图3是图2A和图2B的消融针的辐射图案的示意图；

图4是根据本公开的一个实施例的计划系统的示意图；

图5是示出根据本公开的一个实施例的计划系统的总体操作的流程图；

图6和图7是在根据本公开的一个实施例的计划系统中使用的图形用户界面的示意图；

图8是示出根据本公开的一个实施例的用于图像分割和逆向计划（inverseplanning）的算法的流程图；

图9是示出根据本公开的一个实施例的用于分割节结（nodule）的算法的流程图；

图10A～10B是消融区与能量输送之间的关系的图示；

图11A是根据本公开的另一实施例的脉管与目标之间的关系的示意图；

图11B是根据本公开的另一实施例的替代性计量（dosing）曲线的图示；

图12A～12C是根据本公开的另一实施例的计划方法的示意图；

图13是根据本公开的实施例的导航系统的示意图；

图14A和图14B是在图13的导航系统中使用的图形用户界面的示意图；

图15是示出根据本公开的一个实施例的基准跟踪算法的流程图；

图16A和图16B分别示出由照相机拍摄的图像和该图像的校正版本；

图17是示出根据本公开的一个实施例的用于找到空心圆（white circle）的算法的流程图；

图18A～18C示出图17所示的算法的中间图像结果；

图19是示出根据本公开的实施例的用于找到黑色圆（black circle）和黑色区域（black region）的算法的流程图；

图20A～20D示出图19所示的算法的中间图像结果；

图21A是示出根据本公开的一个实施例的对应关系算法的流程图；

图21B是示出根据本公开的一个实施例的用于应用布局约束的算法的流程图；

图22A～22D是在图21A的算法中使用的模型基准的示意图；

图23是根据本公开的另一实施例的集成的计划和导航系统的示意图；

图24是根据本公开的又一实施例的集成的计划和导航系统的示意图；

图25A和图25B是适于供图24的系统使用的导航系统的示意图；以及

图26～29是根据本公开的各种实施例的在图24的系统中使用的图形用户界面的示意图。

具体实施方式

以下，参照附图描述本公开的特定的实施例；但应理解，公开的实施例仅是本公开的例子，并且可被以各种形式体现。为了避免在不必要的细节中使本公开含糊，不详细描述公知的功能或结构。因此，这里公开的具体的结构和功能细节不应被解释为限制性的，而仅解释为权利要求的基础和用于教导本领域技术人员在实际任何适当的详细结构中以各种方式应用本公开的代表性基础。在附图的描述中，类似的附图标记可能指的是类似或相同的要素。

现在转到附图，图1示出根据本公开的各实施例的计划和导航系统的概图。如图1所示，通过图像捕获设备10捕获患者“P”的术前图像15。图像捕获设备10可包含但不限于获得二维（2D）或三维（3D）图像的MRI设备、CAT设备或超声设备。图像捕获设备10存储被传递到计划系统100的术前图像15。可通过如下这样的操作将术前图像15传递到计划系统100：将图像15上传到网络、通过无线通信装置将图像15传输到计划系统100、和/或在插入计划系统100中的可移除存储器上存储图像15。在本公开的一个实施例中，以DICOM格式存储术前图像15。在一些实施例中，图像捕获设备10和计划系统100可合并为独立的单元。

在下文更详细地描述的计划系统100接收术前图像15并确定目标的大小。基于目标的大小和选择的外科手术设备，计划系统100确定用于实现目标的治疗的设置（包含能量水平和治疗持续期）。

在下文更详细地描述的导航系统200利用设置在医疗成像设备（例如，超声成像设备）上的基准图案，以确定外科手术设备的体内位置。相对于通过医疗成像设备获得的图像，在显示设备上显示外科手术设备的体内位置。一旦外科手术设备被定位在目标附近，用户就基于由计划系统确定的治疗区设置来实现目标的治疗。

在一些实施例中，用户通过使用计划系统100确定治疗区设置，并且通过使用导航系统200利用该治疗区设置实现治疗。在其它的实施例中，计划系统100将治疗区设置传输给导航系统200以在外科手术设备处于目标附近时自动实现目标的治疗。另外，在一些实施例中，计划系统100和导航系统200被组合成单个独立的系统。例如，可对于计划系统100和导航系统200使用单个处理器和单个用户接口，可对于计划系统100和导航系统200使用单个处理器和多个用户接口，或者，可对于计划系统100和导航系统200使用多个处理器和单个用户接口。

图2A示出根据本公开的实施例的外科手术设备的例子。具体地，图2A示出具有电气调节阀（choke）72的消融针60的变型的侧视图，图2B示出来自图2A的截面侧视图2B-2B。消融针60示出通过馈送线（或轴）64电气附接于位于近端的耦合器66的辐射部62。辐射部62被示为具有覆盖于区段62上的密封层68。电气调节阀72被示为部分设置在馈送线64的远端区段上，以形成位于辐射部62附近的电气调节阀部分70。

为了提高消融针60的能量聚集，使用电气调节阀72以容纳通到消融针60的远端的场传播或辐射图案。一般地，调节阀72在辐射区段的附近被设置在消融针60上。调节阀72被置于被设置在消融针60上的电介质材料上。调节阀72是导电层，该导电层可被管道或涂层覆盖，以强制使得该导电层与下层的消融针60一致，由此形成更远端的并且更接近辐射部62的电连接（或者短路）。也可通过诸如钎焊、焊接、铜焊、压接、使用导电粘接剂等的其它连接方法实现调节阀72与下层的消融针60之间的电连接。消融针60与向消融针60提供电外科手术能量的发生器电气耦合。

图3是根据本公开的消融针60的实施例的截面图，其示出具有被发射的辐射图案的图示表示。

图4～12C描述了根据本公开的各种实施例的计划系统100的操作。转到图4，计划系统100包含接收器102、存储器104、控制器106、输入设备108（例如，鼠标、键盘、触摸板、触摸屏等）和显示器110。在计划系统100的操作期间，接收器102接收DICOM格式的术前图像15，并在存储器104中存储该图像。控制器106然后如在下文更详细地描述地处理图像15，并在显示器110上显示经处理的图像。通过使用输入设备108，用户可通过图像15进行导航，从图像15中选择多个图像中的一个，在选择的图像上选择籽点，选择消融针、调整能量水平，并且调整治疗持续期。在显示器110上显示由输入设备108提供的输入。

图5示出由计划系统100使用以确定治疗计划的算法的一般概要。如图5所示，在步骤120中，通过无线连接、网络或者通过从可移除存储介质下载图像来获取DICOM格式的图像，并将其存储于存储器104中。然后，在步骤122中，控制器106执行图像15的自动三维（3D）呈现，并且显示3D呈现图像（如图6所示）。在步骤124中，执行图像分割以划分特定的关注区域，并计算关注区域的体积。如后面描述的那样，分割可以是用户驱动的或者自动进行的。在步骤126中，控制器执行也将在下文更详细地描述的逆向计划操作（inverse planningoperation），以确定用于治疗关注区域的治疗算法。治疗算法可包含外科手术设备、能量水平和/或治疗持续期的选择。作为替代方案，用户可选择用以满足治疗医生的意图的外科手术设备、能量水平和/或治疗持续期，为了治疗目标和周围组织的边界，该意图会包含“容限值”。

图6和图7示出可在显示器110上显示的图像用户界面（GUI）。如图6和图7所示，各GUI被分成用于显示呈现的DICOM图像的多个区域（例如，区域132、134和136）。例如，区域132表示患者“P”的沿横向截面的图像，区域134表示患者“P”的沿冠状截面的图像。区域136示出患者“P”的3D呈现。在其它的实施例中，也可在GUI上显示弧矢截面。GUI允许用户在下拉菜单131中选择不同的消融针。GUI还允许用户分别在区域133和135中调整功率和时间设置。另外，GUI在区域137中具有大量的附加的工具，这些工具包括但不限于启动籽点的选择的计划工具、衬度工具、缩放工具、拖动工具、用于滚动DICOM图像的滚动工具和用于显示DICOM数据集的体积呈现的3D呈现工具。

图8的流程图示出用于执行图像分割步骤124和逆向计划步骤126的基本算法。如图8所示，用户在步骤140中选择籽点（见图6，其中，十字丝以区域132和134中的目标“T”为中心）。在籽点被人工选择之后，在步骤142中，计划系统100分割节结以划分关注体积。在其它的实施例中，可基于像素的强度值自动检测籽点。

图9示出用于分割节结的算法的流程图。如图9所示，一旦在步骤151中识别籽点，算法就在步骤152中创建关注区域（ROI）。例如，ROI可涵盖4cm³的体积。在步骤153中，连接阈值过滤器应用阈值，并且找到存储于存储器104中的DICOM图像中的与籽点连接的所有像素。例如，当分割肺部节结时，阈值可从-400亨斯菲尔德单位（Houndsfields Unit）（HU）开始并在100HU结束。

在步骤154中，控制器106应用几何过滤器以计算对象的大小和形状。几何过滤器使得能够测量被标示的体积中的所有对象的几何特征。该被标示的体积可代表例如被分割给成不同的解剖学结构的医疗图像。这些对象的各种几何特征的测量可提供对于图像内部的附加洞察。

在步骤155中，算法确定是否检测到预定的形状。如果没有检测到预定的形状，那么算法前进到步骤156，在该步骤156中，将阈值增加预定值。算法重复步骤153～155，直到检测到预定的对象。

一旦检测到预定的对象，算法就在步骤157结束，并且，计划系统100前进到步骤144以执行体积分析。在体积分析期间，可通过控制器106计算球状对象的以下的性质：最小直径；最大直径；平均直径；体积；球度；最小密度；最大密度；平均密度（average density）。如图7的区域139中所示，可在显示器110上显示所计算的性质。体积分析可使用几何过滤器以确定最小直径、最大直径；体积；伸长率、表面积和/或球度。也可在步骤144中结合几何过滤器使用图像强度统计过滤器。图像强度统计过滤器计算最小密度、最大密度和平均密度。

在步骤146中，对于划分出的目标计算功率和时间设置。图10示出对于给定的时间段的施加到组织中的能量与得到的消融区域之间的关系的各种曲线图。该关系允许通过考虑目标组织（即，肿瘤、纤维瘤等）的尺寸和特性以及特定消融针的能量剂量/天线设计来进行逆向计划。下表1表示消融针的消融体积、功率和时间之间的关系的例子。

表1

通过使用表1中的值，可从该表导出线性方程以计算最佳的功率和时间设置。例如，通过使用线性回归分析，表1提供下式：

体积＝0.292381＊功率+8.685714＊时间-44.0762 （1）

它可被写为：

功率＝（体积-8.685714＊时间+44.0762）/0.292381 （2）

可如下地通过使用来自体积分析的最大直径加上1厘米的容限，计算希望的体积：

希望的体积＝4/3＊pi＊希望的半径^3 （3）

这里，希望的半径被如下地计算：

希望的半径＝最大节结直径/2+容限 （4）

将希望的体积代入式（1）或（2）中，留下两个未知量：功率和时间。通过使用式（2），控制器106可通过代入时间的值求解功率。控制器106选择保持功率低于70W的时间的最小值或者一些其它的预定值，使得用户可在使功率保持于安全的范围内的同时尽可能快地执行过程。

当在146计算功率和时间时，如图7所示，在显示器110上显示功率和时间（见133和135）。用户可分别通过使用控件133和135调整计算的功率和/或时间，以调整治疗区域138a和/或容限138b。

存储器104和/或控制器106可存储与不同的外科手术设备对应的多个方程。当用户在下拉菜单131中选择不同的外科手术设备时，控制器106可执行上述的相同的分析，以确定保持功率低于70W的时间的最小值或者一些其它的预定值。

虽然上述的过程描述了使用单一籽点以确定预定的对象，但是，一些目标可能具有不规则形状，使得不能在不损伤其它组织的情况下通过预定的治疗区域治疗该不规则形状。在这些情况下，可以使用多个籽点，以通过使用被重定位于数个位置的单个外科手术设备或者可被同时使用的多个外科手术设备创建不规则形状治疗计划，以治疗不规则形状区域。

在其它的实施例中，存储器104和/或控制器106可存储治疗区域性能和外科手术设备的目录，这些治疗区域性能包含功率、时间、仪器数量和在体外或体内实现治疗区域所需要的仪器的间隔。基于图像分割和体积分析的结果，控制器可自动选择用以治疗ROI的设备类型、设备的数量、多个设备的间隔和/或各设备的功率和时间设置。作为替代方案，用户可通过使用GUI人工选择用以治疗ROI的设备类型、设备的数量、多个设备的间隔和/或各设备的功率和时间设置，以产生治疗计划。

在根据本公开的另一实施例中，除了目标以外，计划系统100还可分割器官和其它的生命结构。器官和诸如脉管的其它结构的分割被用于提供更高级的治疗计划。如以上关于图10描述的那样，治疗区域以规则的方式与能量输送相关。并且，已知比（3）毫米大的脉管会对治疗区域形成造成负面影响。脉管的分割将允许脉管和要被估计的目标之间交互，包括脉管直径（D1）和脉管与被提出的目标之间的距离（D2）（见图11A）。该交互可由用户人工估计或者通过控制器106自动估计。如图11B所示，通过使用脉管直径D1和距离D2，计划系统100可自动建议要用于治疗的替代性剂量曲线。作为替代方案，控制器106可通过显示器110向用户提供移动治疗区域的推荐。另外，可在显示器110上显示不同的治疗区域投影。并且，在图8的计算功率和时间设置步骤146中，控制器可根据脉管的直径和到目标区域的距离影响不同的曲线。

图12A～12C示出使用器官分割的高级治疗计划。在计划治疗的过程时，器官的分割允许实现至少两个优点。在第一情况下，常常选择最小侵入治疗以节省器官（organsparing）。如图12A所示，通过将器官分割，控制器106可计算器官体积160，并且扣减确定的消融区域162以确定正被节省的器官的体积164。如果控制器106确定正被爱惜的器官的体积太低，那么控制器106可警告用户需要替代性治疗计划，或者可建议替代性治疗计划。

图12B和图12C示出对于位于器官的表面上的目标“T”的治疗计划。常规上，常常避免器官表面附近的治疗，或者，可需要附加的技术以在可执行治疗之前使该器官与其它的器官分离。在根据本公开的另一实施例中，在将器官分割之后，也可确定目标“T”的位置。如果治疗计划中的治疗区域162投影到器官的表面外面并且目标“T”位于表面上，那么控制器106可警告用户治疗区域162可影响目标“T”附近的其它器官和/或结构并且需要修改治疗计划。在另一实施例中，控制器106可自动地向用户提供指示外科手术设备、能量水平、治疗持续期的推荐。控制器106还可如图12B所示的那样建议较小的治疗区域162，或者它可如图12C所示的那样建议移动治疗区域162。

在其它的实施例中，在目标、组织、器官和其它的结构被分割之后，可将已知的组织性质归于这些结构。这些组织性质包含但不限于跨着频率的导电率和电容率、热导率和热对流系数等。为了计算消融所选择的目标所需要的剂量，图8的计划算法可使用被归于分割的肿瘤、组织、器官和其它结构的组织性质，以求解Pennes生物热方程。通过使用生物热方程成功实现该更复杂方程的关键包括：利用稳态的已知的组织性质以预测初始空间温度轮廓、利用温度上升时的组织性质以根据温度升高调整空间性质、以及利用液相-气相转变时的组织性质。

转到图13，根据本公开的实施例的导航系统被整体示出为200。一般地，导航系统200结合有固定于超声换能器202的参照斑块或基准斑块204。基准斑块204可被打印于超声换能器202上，通过粘接剂附接于超声换能器202，或者可移除地与超声换能器202耦合。在一些实施例中，基准斑块被设置在被配置为可移除地固定、例如“夹持”在超声换能器的外壳上的支撑结构上。超声换能器202与产生声波的超声发生器210耦合。超声换能器202和超声发生器210可被合并入独立的单元中。超声换能器202向患者“P”发射声波。声波从患者“P”中的各种结构反射，并被超声换能器202接收。超声换能器202将反射的声波传输给超声发生器210，该超声发生器210实时地将反射的声波转换成二维（2D）图像。2D图像被传送到控制器212。控制器212处理2D图像并在显示器214上将2D图像显示为包含目标220的图像218。图像218是可包含目标“T”的扫描面“S”的实时表现。

导航系统还结合有固定于外科手术设备206上的照相机208。为了确定外科手术设备206相对于扫描面“S”的位置，照相机208实时捕获基准斑块204的图像。特别地，基准斑块204具有限定的相对于扫描面“S”的空间关系。该限定的空间关系被存储于控制器212中。照相机208还具有存储于控制器212中的已知的相对于外科手术设备206的空间关系。为了确定外科手术设备206与扫描面“S”之间的空间关系，照相机208捕获基准斑块204的图像并将图像传送给控制器212。通过使用基准斑块204的图像，控制器212可计算外科手术设备206与扫描面“S”之间的空间关系。

在控制器212确定外科手术设备206与扫描面“S”之间的空间关系之后，控制器212在显示器214上显示该关系。如图13所示，显示器214包含扫描面“S”的图像218，该图像218包含目标“T”的目标图像220。另外，控制器212相对于图像218重叠外科手术设备206的虚拟图像206a，以指示外科手术设备206相对于扫描面“S”的位置。基于消融针206的角度和位置，控制器212可计算外科手术设备206的轨迹，并显示被整体示出为216的所计算的轨迹。在一些实施例中，可在图像218上重叠十字丝或目标，以指示外科手术设备206在哪里与扫描面“S”相交。在其它的实施例中，可以以红色或绿色表示所计算的轨迹216以指示导航状态。例如，如果外科手术设备206处于将与目标“T”相交的路径上，那么将以绿色示出所计算的轨迹216。如果外科手术设备206不处于将与目标“T”相交的路径上，那么将以红色示出计算的轨迹216。

控制器212也可由用户控制以输入外科手术设备类型、能量水平和治疗持续期。如图14A所示，可在显示器214上显示外科手术设备类型、能量水平和治疗持续期。当外科手术设备206与目标“T”相交时，如图14B所示，虚拟消融区域222被投影到图像218上。然后可由用户调整能量水平和治疗持续期，并且，控制器212将调整虚拟消融区域222以反映能量水平和治疗持续期的变化。

以下，参照图15～22描述基准跟踪系统。在基准跟踪系统中，控制器212从照相机208接收基准图像。控制器212还包含事先存储于其上的用于照相机208的照相机校准和畸变系数、基准系统模型和照相机-天线校准数据。在其它的实施例中，可在导航过程期间将用于照相机208的照相机校准和畸变系数、基准系统模型和照相机-天线校准数据输入控制器212中。基于基准图像、用于照相机208的照相机校准和畸变系数、基准系统模型和照相机-天线校准数据，控制器212可输出消融针206相对于显示器214的位置以及诊断帧速率、残余误差和跟踪状态。在一些实施例中，照相机208与基准斑块204之间的距离可处于约5～约20厘米的范围内。在一些实施例中，照相机208与基准斑块204之间的距离可处于约1～约100厘米的范围内。

图15示出由控制器212使用的基准跟踪算法的基本流程图。如图15所示，在步骤230中捕获图像帧。在步骤231中，控制器212通过使用照相机校准和畸变系数对于透镜畸变进行校正。如图16A所示，由照相机208捕获的图像可展现出透镜畸变。因此，在可对于进一步的计算使用图像之前，需要对于畸变校正该图像。在导航过程期间使用照相机208之前，使用照相机208以在各种角度拍摄棋盘图案的多个图像。多个图像和各种角度被用于创建照相机矩阵和畸变系数。控制器212然后使用照相机矩阵和畸变系数以对于透镜畸变进行校正。

在步骤232中，控制器212通过使用图17的算法找到图像帧中的白色圆。如图17所示，在步骤241中接收的图像帧（图18A）通过使用动态阈值（参见图18B）在步骤243中被阈值化。当使用动态阈值时，在各有效帧之后，动态阈值算法通过使用在有效帧中找到的圆计算用于下一帧的新的阈值。通过使用在有效帧中找到的圆，控制器212基于下式（5）计算新的阈值：

阈值＝（黑色圆强度_平均+白色圆强度_平均）/2 （5）

可以使用预定的阈值以捕获初始有效帧，该初始有效帧然后被用于计算新的阈值。

作为替代方案，控制器212可通过测试阈值的范围直到找到导致有效帧的阈值来扫描初始阈值。一旦找到初始阈值，控制器212将基于有效帧使用式（5）以用于动态阈值化。

在其它的实施例中，可以使用固定的阈值。固定的阈值可以是存储于控制器212中的预定数，或者，可通过测试阈值的范围直到找到导致有效帧的阈值而被确定。

在阈值和自动增益控制被应用于图像之后，在步骤244中执行连接成分分析，以找到经阈值化的图像中的所有对象。在步骤245中，对于图像帧和连接成分分析的结果应用几何过滤器。几何过滤器计算对象的大小和形状，并且，如图18C所示，仅保持为圆形的并具有大致正确的大小的对象。计算并存储所有的圆形对象的加权质心。

回到图15，除了在步骤232中找到白色圆以外，控制器212还通过使用图19所示的算法在步骤233中找到黑色圆。用于找到黑色圆的算法与图17所示的用于找到白色圆的算法类似。为了找到黑色圆，在在步骤241中接收到图像帧（见图20A）之后，如图20B所示，控制器212在步骤242中反转图像帧的强度。然后，如以上参照图17描述的那样，图像如图20C所示被阈值化，并且，执行连接成分分析并应用几何过滤器以获得图20D所示的图像。在步骤248中，计算和存储所有的黑色圆的加权质心。并且，在步骤245中，除了图像帧中的黑色圆以外，控制器212应用几何过滤器以确定黑色区域。控制器212在步骤249中存储确定的黑色区域。

在图15的步骤234中，控制器212通过使用图21A所示的算法找到基准图像与基准模型之间的对应关系。在图21A的步骤251中，如图21B所示，控制器212使用拓扑约束来选择四个白色圆。如图21B所示，在步骤261中，控制器212获得在图19的步骤249中存储的黑色区域，并获得在图17的步骤246中存储的白色圆。控制器212然后在步骤263中选择第一黑色区域，并在步骤264中对第一黑色区域中的白色圆的数量计数。控制器212在步骤265中确定所选择的黑色区域中的圆的数量是否匹配圆的预定数量。如果圆的数量不匹配圆的预定数量，那么算法前进到选择下一黑色区域的步骤266，并在步骤264中重新对下一黑色区域中的圆的数量计数。重复该过程，直到在步骤264中计数的圆的数量匹配圆的预定数量。一旦在步骤264中计数的圆的数量匹配圆的预定数量，算法就前进到步骤267，在该步骤267中，完成拓扑约束算法。在其它的实施例中，控制器212通过选择四个最圆的圆来选择四个白色圆。

在选择四个圆之后，在步骤252中，通过使用凸包算法（convex hull algorithm）以顺时针的顺序布置该四个圆。实向量空间V中的点集X的凸包或凸壳是包含X的最小凸集。如果点均处于一条线上，那么凸包是连接最外面的两个点的线段。在平面的情况下，除非所有的点处于同一线上，否则，凸包是凸多边形。类似地，在三维的情况下，凸包通常是包含集中的所有点的最小凸多面体。另外，也以顺时针的顺序布置模型中的四个匹配的基准。

在步骤253中，计算平面单应矩阵（planar homography matrix）。在计算平面单应矩阵之后，使用该单应矩阵，以通过使用图22所示的四个相应的基准模型将基准模型变换至图像坐标，以找到最近匹配的图像基准（步骤254和255）。控制器212还在步骤256中计算残余误差。算法使用得到的3D变换以将3D基准模型变换成2D图像。它然后比较在映射到2D图像中的基准与在2D图像中检测的基准之间的距离。残余误差是像素中的平均距离。该误差被用于验证精度并部分地确定红色/绿色导航状态。控制器212然后选择具有最大程度的匹配和最小的残余误差的模型。为了得到更精确的结果，必须存在最少数量的黑色基准匹配（例如，三个）。

在图15的步骤235中，执行照相机姿势估计。照相机姿势估计包含通过迭代地将模型基准变换到基准像面上并使像素中的残余误差最小化来计算照相机与选择的模型之间的3D变换。目标是找到误差函数的全局极小值。可能出现的一个问题是在误差函数中出现明显的局部极小值（例如，从左侧成像的天线看起来类似于从右侧成像的天线），这是需要避免的。控制器212通过从多个开始点执行最小化并选择具有最小误差的结果来避免局部极小化。一旦计算了3D变换，控制器就可使用3D变换以将外科手术设备206的坐标变换至模型空间，并在显示器214中将外科手术设备206显示为虚拟外科手术设备206a。

由于对象边界在不同的照明条件下膨胀和收缩，因此，常规的方角基准位置可根据照明条件改变。基准斑块204使用黑色圆和白色圆，并且不受该问题妨碍，这是因为圆的中心总是保持相同并且持续良好地对于计算加权质心起作用。还可设想其它的衬度图像或颜色。

在本公开的另一实施例中，并且，如图23所示，提供了计划和导航系统300。系统300包含与控制器306连接的计划系统302和导航系统304。控制器306与显示器308连接，该显示器308可包含单个显示画面或多个显示画面（例如，两个显示画面）。计划系统302与计划系统100类似，并且，导航系统304与导航系统200类似。在系统300中，显示器308显示上述的计划操作和导航操作。计划操作和导航操作可在单个显示画面上显示为分画面布置，计划操作和导航操作可在分开的画面上被显示，或者，计划操作和导航操作可在同一画面上被显示，并且用户可在视图之间切换。控制器306可从计划系统输入剂量设置，并在导航操作期间使用该剂量设置以显示消融区域尺寸。

在本公开的其它的实施例中，CT导航和软件与计划系统100一体化。转到图24、图25A和图25B，计划和导航系统被总体示出为400。系统400包含图像捕获设备402，该图像捕获设备402捕获具有电磁参照物428和/或光学参照物438的患者“P”的CT图像。CT图像以DICOM格式被提供给与计划系统100类似的计划系统404。计划系统400被用于确定上述的治疗计划，并且治疗计划被提供给控制器408，并且如图26所示，在显示器410上显示为计划画面412。

导航系统406可使用如图25A所示的电磁跟踪系统、图25B所示的红外跟踪系统或光学跟踪系统。转到图25A，导航系统420包含电磁场发生器422、具有电磁换能器426的外科手术设备424和设置在患者身上的电磁参照物428。场发生器422发射电磁波，该电磁波由电磁参照物428和外科手术设备424上的电磁传感器（没有明确示出）检测，并然后被用于计算外科手术设备424与电磁参照物428之间的空间关系。可通过场发生器424计算空间关系，或者，场发生器422可向控制器408提供数据以计算消融针424与电磁参照物428之间的空间关系。

图25B示出与以上的图13中描述的导航系统类似的替代性导航系统430。在图25B中，光学参照物或基准438被放置在患者身上。附接于外科手术设备424的照相机436拍摄基准438的图像并将图像传送给控制器408以确定消融针相对于基准438的位置。

在从导航系统406接收到数据之后，为了如下所述地将外科手术设备424导航到目标“T”，控制器408可使外科手术设备424的位置与CT图像相关。在这种情况下，（任意类型的）患者基准也可在其上具有辐射不能透过的标记以允许在CT期间可视化。这允许控制器将患者CT图像坐标系与仪器跟踪坐标系连接。

如图27所示，控制器408和显示器410相互协作以在导航画面440上显示CT图像。如图27所示，显示画面440包含横向视图442、冠状视图444和弧矢视图446。各视图包含目标“T”和消融区域452（包含容限）的视图。横向视图442、冠状视图444、弧矢视图446、消融区域452均从计划系统404被输入。另外，所有计划要素（例如，设备选择、能量水平和治疗持续期）均被自动传送到导航画面440。导航画面440也是允许用户调整设备选择、能量水平和治疗持续期的图像用户界面。

在显示画面440上提供导航引导画面448，以帮助将消融针导航到目标“T”。基于从导航系统406接收的数据，控制器可确定外科手术设备424是否与目标“T”对准。如果外科手术设备424不与目标“T”对准，那么圆454将相对于外部圆453偏心。用户然后可调整外科手术设备424的进入角度，直到圆454的中心与外部圆453的中心对准。在一些实施例中，当圆454的中心不与外部圆453的中心对准时，圆454可显示为红色圆，或者，当圆454的中心与外部圆453的中心对准时，圆454可显示为绿色圆。另外，控制器408可计算目标“T”与外科手术设备424之间的距离。

在图28所示的另一实施例中，控制器408在3D呈现图像上重叠虚拟外科手术设备424a并在画面462上显示组合的图像。与上述的方法类似，用户可使圆453的中心与圆454的中心对准，以将外科手术设备424导航到目标“T”。作为替代方案，用户可通过观看画面462上的虚拟外科手术设备424a来确定外科手术设备424相对于目标“T”的位置，以将外科手术设备424导航到目标“T”。

图29示出本公开的另一实施例。与以上的画面462类似，在图29的实施例中，画面472通过与先前获取和呈现的CT图像的空间关系示出虚拟外科手术设备424a。CT图像已被体积呈现，以划分目标“T”以及附加的结构、脉管或器官划界。通过体积呈现目标“T”以及附加的结构、脉管或器官，用户可将外科手术设备424导航到患者体内，同时还避开附加的结构、脉管和器官以防止不必要的损伤。

应当理解，以上的描述仅是本公开的示例性说明。在不背离本公开的情况下，本领域技术人员可以设想各种替代方案和修改。因此，本公开预期包含所有这些替代方案、修改和变化。给出参照附图描述的实施例仅是为了描述本公开的某些例子。与以上和/或在所附的权利要求中描述的那些无实质不同的其它的元件、步骤、方法和技术也要处于本公开的范围内。

Claims (15)

1.一种通过使用设置在超声设备上的基准图案和设置在外科手术设备上的图像捕获设备对所述外科手术设备进行导航的方法，该方法包括：

获得扫描面的超声图像；

获得所述基准图案的基准图像；

对于透镜畸变校正所述基准图像；

找到所述基准图像与模型图像之间的对应关系；

估计照相机姿势；

将所述外科手术设备的位置变换至模型坐标；以及

基于所述模型坐标显示所述超声图像和外科手术设备的虚拟图像。

2.一种相对于具有基准图案的超声设备跟踪具有图像捕获设备的外科手术设备的方法，其中所述图像捕获设备固定于所述外科手术设备上的已知位置，所述基准图案固定于所述超声设备上的已知位置，该方法包括：

获得扫描面的超声图像；

获得所述基准图案的基准图像；

对于透镜畸变校正所述基准图像；

基于所述基准图像确定所述外科手术设备相对于所述扫描面的位置；

找到所述基准图像与模型图像之间的对应关系；

估计照相机姿势；和

将外科手术设备的位置变换至模型坐标。

3.根据权利要求2的方法，其中，所述基准图案包含多个第二唯一标识符以及设置在区域中的多个第一唯一标识符。

4.根据权利要求3的方法，还包括找到所述多个第一唯一标识符，找到所述多个第一唯一标识符包含：

对于所述基准图像应用第一阈值；

执行连接成分分析；

应用几何过滤器以确定多个第一唯一标识符的加权质心；以及

存储所述多个第一唯一标识符的所述加权质心。

5.根据权利要求4的方法，还包括找到所述多个第二唯一标识符，找到所述多个第二唯一标识符包含：

反转所述基准图像；

对于经反转的基准图像应用第二阈值；

执行连接成分分析；

应用几何过滤器以确定多个第二唯一标识符的加权质心并确定具有所述多个第一唯一标识符的区域；以及

存储所述多个第二唯一标识符的加权质心和具有所述多个第一唯一标识符的所述区域。

6.根据权利要求5的方法，其中，找到所述基准图像与模型图像之间的对应关系包含：

从基准图像选择多个第一唯一标识符；

以顺时针的顺序布置该多个第一唯一标识符；

以顺时针的顺序布置多个基准模型；

计算平面单应性；

通过使用计算的平面单应性将所述多个基准模型变换成图像坐标；

从所述多个基准模型找到匹配所述基准图像的基准模型；以及

计算残余误差。

7.根据权利要求6的方法，其中，从基准图像选择多个第一唯一标识符包含：

选择多个第一唯一标识符；

选择具有所述多个第一唯一标识符的区域；

对所述选择的区域中的第一唯一标识符的数量计数；

比较所选择的区域中的第一唯一标识符的数量与预定的数量；

其中，如果所选择的区域中的第一唯一标识符的数量等于预定的数量，那么所述方法前进到以顺时针的顺序布置该多个第一唯一标识符，以及，

如果所选择的区域中的第一唯一标识符的数量不等于预定的数量，那么选择新的区域，并且，对所述新的区域中的第一唯一标识符的数量进行计数。

8.根据权利要求5的方法，其中，第一阈值和/或第二阈值是动态阈值。

9.一种基准跟踪系统，包括：

超声设备，配置用于获得扫描面的超声图像，

基准图案，

外科手术设备，具有图像捕获设备，用于捕获所述基准图案的基准图像，

控制器，所述控制器被配置为接收所述超声图像和所述基准图像，其中所述控制器被配置为基于所述基准图案确定所述外科手术设备相对于所述扫描面的位置，以及

显示器，被配置为基于所述外科手术设备相对于所述扫描面的位置显示所述超声图像和所述外科手术设备的虚拟图像，其中

所述图像捕获设备被固定于外科手术设备上的已知位置，其中所述基准图案具有驻留于已知拓扑内的已知特性和相应相对位置的多个标记，并且其中所述控制器被配置为对于透镜畸变校正所述基准图像、将所述基准图像对应到模型图像、估计照相机姿势、将所述外科手术设备的位置变换至模型坐标，

所述基准图案被布置在所述超声设备上并且固定于所述超声设备上的已知位置。

10.根据权利要求9的系统，其中，所述基准图案包含多个第二唯一标识符以及设置在区域中的多个第一唯一标识符。

11.根据权利要求10的系统，其中，所述控制器通过对于所述基准图像应用第一阈值、执行连接成分分析、应用几何过滤器以确定多个第一唯一标识符的加权质心并且存储所述多个第一唯一标识符的所述加权质心，找到所述多个第一唯一标识符。

12.根据权利要求11的系统，其中，所述控制器通过反转所述基准图像、对于反转的基准图像应用第二阈值、执行连接成分分析、应用几何过滤器以确定多个第二唯一标识符的加权质心并确定具有所述多个第一唯一标识符的所述区域、以及存储所述多个第二唯一标识符的加权质心和具有所述多个第一唯一标识符的所述区域，找到多个第二唯一标识符。

13.根据权利要求12的系统，其中，控制器通过从所述基准图像选择多个第一唯一标识符、以顺时针的顺序布置该多个第一唯一标识符、以顺时针的顺序布置多个基准模型、计算平面单应性、通过使用计算的平面单应性将多个基准模型变换成图像坐标、从所述多个基准模型找到匹配所述基准图像的基准模型、并且计算残余误差，找到所述基准图像与模型图像之间的对应关系。

14.根据权利要求13的系统，其中，控制器通过选择多个第一唯一标识符、选择具有该多个第一唯一标识符的区域、对所选择的区域中的第一唯一标识符的数量进行计数、比较所选择的区域中的第一唯一标识符的数量与预定的数量，从所述基准图像选择该多个第一唯一标识符，

其中，如果所选择的区域中的第一唯一标识符的数量等于预定的数量，那么方法前进到以顺时针的顺序布置该多个第一唯一标识符，以及，

如果所选择的区域中的第一唯一标识符的数量不等于预定的数量，那么选择新的区域，并且，对所述新的区域中的第一唯一标识符的数量进行计数。

15.根据权利要求12的系统，其中，第一阈值或第二阈值是动态阈值。