CN102438559B - 智能软骨系统 - Google Patents

Abstract

下面描述和例示了本公开的示例性实施例以包含用于设计患者特定假体切割夹具的方法和设备，并且更具体地，包括用于分割膝的骨的设备和方法以及得到的切割引导器自身。而且，本公开涉及用于制造定制外科装置的系统和方法，更具体地，本公开涉及关节成形切割引导器的自动系统和方法，用于在生成膝关节的计算机模型中进行图像分割的系统和方法。

Description

智能软骨系统

相关申请的交叉引用 

本申请要求于2009年2月25日提交的、名称为“DEFORMABLE ARTICULATING TEMPLATE”的美国临时专利申请第61/208,509号和于2009年7月2日提交的、名称为“CUSTOMIZED ORTHOPAEDIC IMPLANTS AND RELATED METHODS”的美国临时专利申请第61/222,560号的权益，上述每个申请的公开内容通过引用被合并于此。 

技术领域

本公开涉及用于制造定制外科设备的系统和方法，更具体地，本公开涉及关节成形切割引导的自动化系统和方法、用于在生成膝关节的计算机模型中进行图像分割的系统和方法。 

背景技术

TKA手术的成功取决于正确膝对准的恢复。已证明膝关节稳定性的关键是带有平衡的屈曲和伸展间隙的力学轴线的恢复。传统上，髓内和髓外夹具用于帮助股骨和胫骨部件的定向。计算机辅助手术已被开发用于帮助外科医生适当地定位和定向部件。然而，手术导航系统未广泛地用于医院中。除了陡学习曲线以外，反对手术导航系统的主要争论是高成本和花费在手术室中的额外时间。 

用一种简单和精确的系统作为替代的愿望促使矫形工业开发一种涉及患者特定切割夹具的使用的技术。患者的髋、膝和踝的磁共振图像(MRI)被用于生成特定患者解剖结构的模型。从这些图像，使用软件来创建股骨和胫骨的虚拟3D模型并且在空间中定向这些骨。用软件确定植入物尺寸并且映射虚拟骨切除以使用一次性定制引导器执行植入物定位和对准，所述一次性定制引导器适配在患者的骨上以便为植入物制造商的标准切除器械确定销放置。 

然而，许多缺点与MRI关联，包括扫描成本、扫描时间增加、几何失真和需要在不同的MRI卖方当中标准化扫描协议。近来计算机断层摄影CT也正被使用，但是与程序关联的辐射可能对于一些患者无益。作为MRI或CT的备选方法是使用统计学解剖形状分析方法以使用x射线和/或超声精确建模hylene软骨。 

统计学解剖形状分析已快速地自我完善作为用于矫形植入物和患者特定解决方案的设计过程中的无价工具。因此，设想了一种智能软骨系统(iCS)，目标是进行统计学解剖形状分析以精确地建模软骨厚度和轮廓以产生定制切割引导器(或夹具)。引导器被设计成将切口布置成使得在软骨＝的退化之前膝返回到它的正常解剖状态。该iCS系统基于统计学和三维骨建模的融合被构建。 

该iCS平台表示包含为设计患者特定切割夹具而整合的多维医学成像、计算机辅助设计(CAD)和计算机图形特征的联合软件系统。协同交互、效率和大众定制的折衷允许iCS精确性且速度地解决增加的患者容量的复杂性。由骨和软骨图谱组成的智能数据库提供在已定制模块内用于定制夹具生成的技术。通过减小当前的定制夹具过程中的周转时间，该iCS平台最小化瓶颈的风险。 

在HIPPA调节之后数据库存储患者信息。来自不同成像模态的数据将与每个患者联系，包括来自MRI/CT的DICOM、X射线图像和超声。经重建的骨和软骨被存储在数据库中。包括算出的界标、轴线、植入物尺寸和放置信息的虚拟模板数据也被存储在该数据库中。该部件执行相关和XML方案以提供用于数据存储和操作的强大工具。 

骨软骨重建子系统：该模块涉及通过分割从MRI、CT、PET或超声重建骨和软组织或与微波成像和US一样从RF信号直接重建或从2D X射线图像三维骨重建，可以在图4中找到概述该子系统的流程图。 

医学成像的分割可以大致被分为两个类型：结构的和统计学的。结构方法基于图像像素的空间属性，例如边缘和区域。统计学方法依赖于标记图像区域的强度值的概率分布。图像强度和它们的相应类别标签被认为是随机变量。因此，给定图像强度值，统计学方法倾向于解决评价类别标签的问题。以前的分割尝试已组合这些方法中的一个或多个，以设法克服各单独方法的局限。 

使用边缘定向方法的多数分割是半自动分割，其中它用于提取轮廓、优化轮廓并且将它传播到相邻切片。图像处理和梯度算子可以用于增强典型的区域生长方法。如果通过种子的放置(手动地或自动地)已知某器官存在于图像的特定区域中，则该区域可以扩张直到它到达器官的对比边界。参数可以变化以改变生长的动量，使算法对灰度的小变化更敏感或更不敏感。 

带有基于知识标记的区域定向分割是基于对象的一些特征的均匀性的像素分类技术。诸如基于不确定推理的知识、来自高阶特征提取的静态域知识、模糊逻辑、长期和短期记忆建模以及非监督聚类的各种方法已被用于该领域中。由于软组织之间的高对比度，这些方法用MRI图像产生很好的结果。脑的整体判读误差为3.1％并且脑的子区域的判读误差为9％。 

分水岭方法已与各种其他分割方法组合使用，有望改善精确度。分水岭算法简单地用图像中的灰度强度的3D绘图进行解释；“水”填充图像的谷直到两个谷相遇。这通过依赖于灰度值提供关于图像的不同区域的连接信息。用诸如索伯尔(Sobel)滤波器和纹理分析的边缘增强进行预处理可以帮助检测不同的器官。 

聚类算法是非监督算法，其在分割图像和表征每个类别的属性之间迭代，直到形成明确限定的图像聚类。这类算法的例子是K平均算法、模糊c平均算法、期望最大化(EM)算法和自组织神经网络。K平均聚类算法通过迭代地计算每个类别的平均强度并且通过用最接近的平均值分类类别中的每个像素来分割图像而聚类数据。它用于分割脑。类别的数量假设为三，表示脑脊液、灰质和白质。 

模糊c平均算法一般化K平均算法，允许基于模糊集理论的软分割。EM算法应用与数据符合高斯混合模型的假设相同的聚类原理。它在计算后验概率和计算模型的平均值、协方差和混合系数的最大似然估计之间迭代。由于算法不直接并入空间建模，因此它们对噪声和强度非均匀性敏感。这可以通过使用马尔可夫随机域建模加以克服。 

诸如二值形态学的形态学算子已被用于若干分割系统中，形态学的基本思想是用给定掩模(被称为结构元素)卷积图像，并且使用给定函数二值化该卷积结果。例子为：腐蚀、膨胀、打开和闭合。 

诸如阈值化的统计学方法通过使用图像的强度值直方图来标记图像的各区域。取决于知识库，最大和最小阈值限定感兴趣的区域。例如，在CT中，可以通过根据用于感兴趣的器官的亨斯菲尔德单位范围阈值化图像而实现器官的粗分割。它已被应用于数字乳房摄影中，其中典型地存在两个组织类别：健康的和肿瘤性的。唯一地取决于这一方法的限制则归因于器官强度间隔的交迭、强度非均匀性和对噪声和图像伪影的敏感性。由于阈值化不考虑图像的空间特性，因此使图像直方图失真的任何伪影可以最终影响分割结果。然而，阈值化仍然是许多分割算法中的初始步骤。已为医学图像分割提出经典阈值化的变型，其结合基于局部强度和连接性的信息。 

可变形模板匹配用2D可变形轮廓执行，其涉及轮廓的检测、跟踪、匹配及优化匹配误差。在分割中，2D可变形轮廓与图谱一起被应用，这通过预定数据的约束最小化允许图像数据和图谱之间的映射。3D可变形表面也通过跟踪切片之间的轮廓变化而实现。贝叶斯统计通常用于确定模型先验或似然以便使感兴趣的器官与它的相邻器官分离。通常，该方法对于小的和局部的形状变化产生良好的结果。它也适合于大的整体的失配或变形。主要改进来自使用主短线程分析，其确定对象的平均形状和变化的主要模式，以及m-rep模型，其中对象被表示为中间原子的连接网格的集合。与手动分割相比该方法对于肾的自动分割产生出色的结果，具有0.12cm平均表面分离和88.8％体积覆盖。 

具有黑板架构系统的基于知识的方法通常是共享记忆的领域，其包含待解决的问题和许多不同的过程。黑板沿着推理过程连续地被构建和更新。通过使图像中的结构匹配模型中的相应对象而完成图像数据的解剖结构的标记。来自图像和模型的数据被转换为共同的、参数特征空间以供比较。所提取的低和高水平特征被写入黑板并且与模型相比较。结果也被写在黑板上以引导进一步匹配。关于对象的描述和关系的长期记忆可以被写入知识库中。 

四维马尔可夫随机域(MRF)提出一种使用4D概率图谱来分割诸如心脏的移动目标的方法。图谱基于先验信息预测时间和空间变化；该算法也结合使用4D马尔可夫随机域(MRF)的空间和时间上下文相关信息。全局连接性滤波器使用最大连接结构作为起点来完成分割。所呈现的结果很有助于心脏的分割并且不限于MRI图像。与手动分割的模型相比，所述结果为左心室(LV)96％，心肌92％以及右心室(RV)92％。 

我们的系统使用来自任何三维成像模态的信息来提取与统计学图谱组合的梯度信息，以提取骨边界和软骨界面。下面详细描述了这些骨重建模态中的每一个。 

附图说明

图1是示例性iCS系统概览的示图。 

图2是如图1中所示的示例性数据上载子系统的示图。 

图3是如图1中所示的示例性数据库结构。 

图4是图1中所示数据库的数据库表细节的示例性列表。 

图5是如图1中所示的骨/软骨重建子系统的示例性示意图。 

图6是如图1中所示的虚拟模板套用子系统的示例性示图。 

图7是如图1中所示的夹具原型制作子系统的示例性示图。 

图8是示例性示图，示出了根据本公开的用于分割过程中的自动分割的算法的过程。 

图9是根据本公开的自动对准算法的过程的示例性示图。 

图10是示出了算出的脊线作为从用于股骨远端的网格提取的特征的例子的图示。 

图11是示出了用于CT的沿着法线方向的轮廓线(profile)搜索的图示。 

图12是示出了用于MRI的沿着法线方向的轮廓线搜索的图示。 

图13是示出了在各种阶段的轮廓线和相对于旧边缘位置的新边缘位置的图形。 

图14是具有边缘松弛的经分割的图像。 

图15是经分割的图像。 

图16是松弛之前的经分割的图像。 

图17是松弛之后的经分割的图像。 

图18是示例性示图，示出了来自MRI的软骨分割的过程。 

图19是用允许软骨组织可视化的造影剂获得的CT图像。 

图20是用于轮廓线计算的两个股骨表面的图像，其中(一个或多个)图像包括胫骨接触表面并且(一个或多个)图像包括胫骨非接触表面。 

图21是用于类别1(a)、类别2(b)和类别3(c)的平均轮廓线图形。 

图22是来自MRI的经分割的骨和软骨的图像。 

图23是X射线3D模型重建过程流程的示例性示图。 

图24是示例性校准目标的图像。 

图25是示出了将出现在放射线摄影图像上的小珠的示例性图像。 

图26是附连有校准目标的腿的放射线照片。 

图27是股骨远端的经分割的图像。 

图28是示出了复杂姿势搜索空间和粒子滤波器如何成功地寻找最佳姿势的图像。 

图29是示出了放射线照片上的模板骨投影的图像。 

图30是映射到3D的轮廓的图像。 

图31是示出了3D重建过程的示例性示图。 

图32是用于训练软骨厚度的预测模型的示例性示图。 

图33是使用经训练的预测模型进行软骨重建的示例性示图。 

图34是来自MRI的估计软骨厚度的图像。 

图35是示例性软骨模板厚度图。 

图36是股骨和胫骨上的预测软骨的示例性图像。 

图37是UWB成像系统的示例性示图。 

图38是示出了一个信号如何在从膝反射的信号由所有其他UWB天线接收时用作发射器的示例性示图。 

图39是示出了实验装置的图像，其中UWB天线阵列围绕膝的周围。 

图40是用于检测股骨和胫骨处的组织界面的微波成像过程的示图。 

图41是从前股骨远端获取的经配准的超声图像的示例性例子。 

图42是被拟合到获取的股骨远端超声图像的骨的示例性图像。 

图43是描绘了使用超声进行分割所采取的步骤的示图。 

图44是虚拟模板制作子部件的屏幕截图。 

图45是夹具创建过程的示例性示图。 

图46是表示创建夹具的特定步骤的顺序图像。 

图47是表示具有不同固定(内侧髁和外侧髁固定、b曲率固定、C凹槽固定)的夹具设计的一系列图像。 

图48是示出了用于膝修整外科程序中的股骨和胫骨切割夹具的一系列图像。 

图49是用于修改3D输出夹具模型的CAD编辑器的屏幕截图。 

图50是关于原始CT数据的夹具的评价的屏幕截图。 

具体实施方式

下面描述和例示本公开的示例性实施例以包含用于设计患者特定假体切割夹具的方法和设备，并且更具体地，包含用于分割膝的骨的设备和方法以及得到的切割引导器自身。本领域的普通技术人员将 当然地显见下面所述的优选实施例实质上是示例性的并且可以在不脱离本发明的范围和精神的情况下进行重新配置。然而，为了清楚和准确起见，如下面所述的示例性实施例可以包括本领域的普通技术人员将识别为不必属于本发明的范围内的可选步骤、方法和特征。 

参考图1，示例性总系统的概览包括外科医生产生新病例并且请求定制夹具并上载患者成像数据，在这之后系统通知工厂的工程师该新病例。下一个步骤涉及创建患者特定骨和软骨，然后患者特定骨和软骨用于寻找最佳地适合患者的植入物，当完成术前计划时通知外科医生审阅和核准计划。一旦外科医生核准计划，自动地为患者创建将术前计划转化到手术室中的定制切割夹具。 

图2-7概述了系统的主要部件，这包括数据上载部件、数据库部件、骨软骨重建部件、虚拟模板制作和夹具生成部件。 

在图8中概述了自动分割过程。分割过程中的第一步骤是使来自统计学图谱的基本网格与体积对准，自动对准算法被开发用于执行精确对准。在图9中概述了该对准过程3.a.1。该过程涉及经由简单阈值化提取等值面。等值面基本上是从体积中的所有骨状组织生成的表面网格。等值面是有噪声的，并且不能区分分开的骨。从等值面和平均图谱模型提取特征(这可以在早期完成并且简单地装载)。这些特征可以是，但不限于折线或图10的脊线、脐点或任何其他表面描述符。经由最近邻点或其他匹配方法使平均模型上的特征点匹配等值面上的特征点。这里的结果将是有噪声的，意味着将有若干不匹配，但是子集将是正确的。使用一些稳健的拟合方法(例如RANSAC算法或最小中位方差方法)寻找最小化匹配点之间的误差并且同时最大化匹配的数量的变换。 

当完成先前的对准步骤时执行使用图谱中的信息作为模型变形约束的迭代翘曲程序。初始参数确定作为开始的主成分的数量、初始搜索长度和最小容许搜索长度。第一步骤是计算骨网格上的每个顶点的顶点法线。这些法线方向表示每个顶点的变形方向。通过平均网格中的相邻三角的法线计算这些法线。由法线方向限定的每个顶点的搜 索线是以顶点为中心从骨模型向内和向外延伸的路径。搜索线的长度随着过程的行进而减小。 

搜索线的强度值经由三线性内插被计算，原因是搜索线的采样速度可以高于给定的体积分辨率。首先经由降噪滤波器平滑轮廓线，在这里我们使用Savitsky-Golay滤波。假定MRI图像的噪声性质，这尤其重要。在降噪之后，沿着轮廓线的梯度被计算。该初始梯度不足以确定骨边缘位置，原因是存在具有强梯度的若干组织界面，例如皮肤-空气界面。这可以在图11和12中看到。由于初始自动对准被认为很精确，因此假设患者特定骨边缘位于经对准的顶点附近是安全的。为了建模该假设，梯度轮廓线由高斯函数加权，使得中心顶点被赋予1.0的初始权重，当搜索远离中心位置进行时权重减小。在各种阶段的轮廓线的例示可以在图13中看到。在加权之后，确定梯度的绝对最大值，以及它的位置。该位置表示骨边缘；旧顶点位置然后用新边缘位置代替。 

对于CT，该过程寻找下降边缘的位置，或当搜索从内向外移动时从高强度走向低强度的边缘。对于MR情况相反。所以，必要时，在以上步骤之前翻转轮廓线以解决模态差异。在执行每个顶点的变形之后使用在初始对准步骤中计算的变换的逆变换使模型与图谱对准。该模型可以被认为是有噪声的，原因是一些边缘位置位于错误位置。为了约束变形并且去除尽可能多的噪声点，我们使用主成分的特定数量将噪声模型的顶点投影到图谱空间上，所述数量由基于残余误差变化的参数确定，与图14中一样。得到的模型将是最佳地表示患者特定噪声模型的健康股骨。这些模型然后被变换回到体积空间。 

在投影之后，参数被更新，使得搜索长度减小，除非加入新的主成分。然后略微增加搜索长度，使得可以捕捉新的局部信息。当残余RMS达到足够低的阈值时加入新的主成分。开始于法线方向计算的以上过程重复，直到使用了所有主成分并且残余RMS足够低，或者直到达到迭代的设定最大次数。包含患者特定信息的结果噪声模型然后在更高分辨率下被平滑并且重新网格化[图15、16]。更高分辨率 允许捕捉可能在较低分辨率分割过程中丢失的诸如骨赘的小局部变形。然后通过执行分割过程的一次迭代、使用足够小的搜索长度来防止错误骨定位、在将骨投影到图谱上之前停止而松弛高分辨率模型。这样得到的骨是患者解剖结构的高度精确的表示。这样，分割的输出是高分辨率患者特定骨模型和平滑模型，表示在松弛之前由图谱生成的最近健康骨[图17]。 

在自动分割完成之后我们具有2个骨，投影到图谱上的骨以及松弛的患者特定骨。如果骨是高度退化的，则我们可以使用梯度向量流(GVF)蛇形模型(snake)执行无约束松弛。这些蛇形模型对应于存在于图像中的梯度信息，并且梯度流用作导致蛇形轮廓局部膨胀和收缩到最小化轮廓上的力的边界的力。如果轮廓不是高度退化的，则初始松弛步骤最有可能很靠近实际患者解剖结构并且蛇形方法是非必要的。蛇形模型和迭代分割工具可以在图7和8中看到。在模型生成之前的最终分割步骤是迭代干涉以校正分割过程中的任何误差。若干工具被提供用于迭代分割，例如轮廓加入或减去、喷涂等。一旦分割被确认，通过在高分辨率下内插轮廓生成最终模型以保证平滑的结果。 

在图18中示出了来自MRI的软骨分割的过程，在患者体积分割时，得到的患者特定的股骨远端、胫骨近端和髌骨的骨模型可以用于获得患者特定软骨模型。如果足够的信息存在于扫描中(在使用MRI或具有突出显示软骨组织的造影剂(图19)的CT的情况下)，则可以通过使用先验信息以及测得的患者特定信息来分割软骨。先验信息可以被认为是特征向量。 

在软骨的情况下这可以是相对于关节骨的厚度或位置信息。置于先验数据中的置信经由每个特征的概率模型表示。例如，软骨在骨上的某个点处为x mm厚的置信在从先前经分割的软骨模型建立的软骨厚度图中被建模。为了确定后验概率，也就是说在新点处的软骨厚度，使用呈以下形式的贝叶斯推理模型： 

$p\left(x\right|m)=\frac{p_{\mathrm{pr}}\left(x\right)p\left(m\right|x)}{p\left(m\right)}$

在这里，p(x|m)是给定测量值m的后验概率。值p(m|x)是概率函数，表示给定x的值时将出现给定测量值m的概率。p(m)项是归一化项。先验概率存在于先验概率密度ppr(x)中。给定某一测量值m可以对x的值进行的最佳推测于是为最大化后验概率的x。这被称为最大后验估计(MAP)。对于软骨厚度估计(x)，给定关节间隔(m)和先验厚度图(ppr(x))以寻找MAP估计。该相同概念可以被应用于BCI定位。 

初始地，搜索被限制到关节连接表面。这通过使用存在于图谱中的先验信息完成。接触表面由图谱中的顶点组成，所述顶点最有可能位于骨-软骨界面(BCI)上并且与相对骨紧密接触。非接触表面被限制到很可能包含软骨、但不与骨接触的那些顶点。这些表面可以在图20中看到。 

沿着当前骨的顶点和接触骨上的最近顶点之间的路径计算每个接触表面的轮廓线。沿着骨表面的法线方向一直到1cm计算非接触表面的轮廓线。计算每个轮廓线的局部极大值和极小值并且将轮廓线置于三个不同类别的一个内。在图21中示出了每个类别的平均轮廓线。如果轮廓线包含单个极大值，则它属于类别1。这些是最短轮廓线并且对应于胫骨和股骨软骨紧密接触并且彼此不可区分的位置。包含2个极大值和一个极小值的轮廓线被认为属于类别2。这些对应于在股骨和胫骨软骨之间有明显的间隔的中间长度的轮廓线。类别3的轮廓线是最长的轮廓线，其中股骨软骨通常很好地被表示，但是类别3中的曲线变化很大并且常常是不规则的。 

具有属于类别1或类别2的轮廓线的任何顶点可以立即被分类为属于BCI。基于强度水平是否靠近其他BCI点和所述点属于BCI的可能性从BCI加入或减去类别3的轮廓线，所述可能性从BCI的概率图确定。 

在自动确定BCI之后，为用户呈现用于手动确认的选项，并且可以使用类似于在骨分割编辑器中找到的多个工具编辑BCI。当BCI 被确定为足够精确时，软骨模型的分割继续进行。软骨使用来自与软骨厚度的先验知识联系的扫描体积的梯度信息沿着轮廓线维度被分割。该先验知识提供可能的软骨边缘的初始估计，然后通过寻找轮廓线梯度的绝对值的局部极大值来更新所述初始估计。对于类别1的轮廓线，软骨边缘被认为处于局部极大值。对于类别2和3的轮廓线，使用梯度的局部极大值。 

必要时然后可以在输出最终软骨模型之前交互地调节软骨分割。经分割的股骨软骨可以在图22中看到。 

在图23中概述了X射线骨重建过程。 

使用传统的荧光透视或放射线摄影术拍摄X射线图像。图像的数量可以是一个或多个。通过以大角度差异进行扫描而拍摄(一个或多个)图像投影图以最大化可获得的信息。系统的精确度与图像的数量成正比，而速度成反比。如果在图像的文件头中不容易获得，(照相机数字化器或胶卷扫描器的)放射线摄影场景属性焦距和图像分辨率手动地被输入系统。 

预处理的目的是通过减小图像噪声、增加图像对比度和准备图像供进一步分析而增强输入图像。这将自动完成，有可能为极端图像失真进行手动干涉。将使用高斯、中值和索贝尔(Sobel)滤波器。 

校准涉及在放射线摄影场景内提取被成像骨姿势。在图像采集之前，将校准目标附连到腿[图24]。该目标将包含将出现在被采集图像上的不透射线小珠[图25、26]。小珠投影将自动地从图像被提取并且用于大致地估计相对于x射线源的骨姿势。 

然后可以使用形态操作在图像中自动检测标记物。标记物在受试者上的放置被选择成在所有帧中覆盖尽可能大的图像区域。足够的标记物用于允许精确的姿势估计，即使特征检测算法丢失它们中的一些，或即使它们中的一些在视场的外部。 

通过在各种水平下阈值化和去除(用形态操作)包含长于小珠直径的任何对象，可以隔离这些小珠。通过寻找连接成分并且然后确定每个成分的形心而寻找小珠的形心。校准目标被设计成最小化小珠投 影的可能交迭，这最大化检测到的小珠的数量。 

通过寻找图像中的检测到的小珠位置和3D小珠位置之间的正确关联(或对应)计算传感器的姿势。这使用判读树搜索方法实现。在该方法中，树的每一级表示图像点和所有可能模型点之间的对应，并且在完整的树中从根部到叶节点的每个路径表示一个可能的对应。当沿着树下行的搜索到达假设至少四个对应的节点时，对应用于计算姿势解。通常，仅需要三个点来解出姿势，但是可能有一个以上的解，原因是三个点总是共面的。我们需要使用至少四个点。 

一旦具有四个对应，则可以计算姿势。该姿势解用于将对象点投影回到图像上以用于作为该解拟合完整数据集的程度如何的量度与被检测标记物比较。如果姿势解很好地拟合数据，则对应和计算出的姿势是正确的。如果姿势解不拟合数据，则对应是错误的，并且进一步遍历树以检查附加对应。由于对于大量的点该树可能很大，因此我们不搜索整个树。实际上，只有当前对应产生大于一定阈值的误差时才进一步搜索树。如果低于，则假设已找到正确对应。 

一旦已找到正确对应，则使用非线性最小二乘方法计算姿势。具体地，给定图像点P，3D模型点Q和包含正确姿势参数β的六维向量，使投影到图像上的变换由函数f(β，Q)提供，使得P＝f(β，Q)。向量函数f还表示透视投影(其参数从校准已知)。围绕当前姿势解β线性化，得到 

$\mathrm{\ΔP}=\left(\frac{\∂f}{\∂\mathrm{\β}}\right)\mathrm{\Δ\β}.$

给定至少四个点对应，我们可以解出正确项Δβ。该过程被迭代直到解收敛。最终解是最小化观察到的图像点和图像平面上的投影模型点之间的欧氏距离平方的姿势β。 

骨图像分割块接收预处理图像作为输入。它的目标是提取所有图像的实际骨轮廓。这使用使用我们的3D骨的数据库生成的骨轮廓的统计学图谱自动完成。来自统计学图谱的模板平均骨轮廓初始被置于图像内，并且然后被平移和旋转到与骨的图像对准。其后，统计地进 行轮廓变换以基于图像的强度值和从预处理步骤获得的边缘拟合目标骨。手动和半自动轮廓编辑工具也可用于自动过程的检验[图27]。 

特征提取模块负责从图像提取图像参数。这些参数从经预处理的和经分割的形式两者的图像被提取。特征的类型包括从经分割的骨轮廓(曲率、几何形状、纵横比等)或从像素强度值(纹理特征，例如Haralick和Tamura纹理特征)提取的信息。 

该过程是需要的，原因是预计校准块由于校准目标和实际骨之间的相对变换而引入误差。 

在荧光透视的情况下，骨图像的数量通常是大的并且相干图像之间的骨姿势差异通常很小。所以，我们将使用粒子滤波器应用姿势跟踪。 

已发现该方法有用于处理状态向量复杂并且图像包含大量聚类的应用。基本思想是通过状态或粒子的加权采样表示后验概率。若给定足够的样本，即使很复杂的概率分布也可以被表示。 

当进行测量时，使用似然模型调节粒子的权重，所述似然模型使用以下方程： 

$w_j^{\′}=P\left(y_i\right|x_i)w_j$

其中w_j是第j个粒子的权重。 

该表示的主要优点在于若给定足够的粒子，则可以表示后验概率分布中的多个峰值[图28]。 

当获得测量值时，跟踪算法调节权重，并且当获得足够的数据以消除状态的歧义时，最终粒子中的一个具有高权重并且所有其他粒子具有很小的权重。该方法的另一个优点在于它可以确定何时获得唯一解。 

再采样粒子。重要的是保证状态的采样充分地表示后验概率分布。特别地，希望样本的数量接近权重大的峰值。为此，在每个步骤将通过生成靠近大峰值的附加粒子并且丢弃具有很小权重的粒子来再采样概率分布。将基于由下而上的信息使用重要性采样来注入样本。 

似然函数的设计。重要的是将似然函数设计成使得它尽可能平滑。如果它具有许多窄峰值，则那些峰值中的一些会被丢失，除非使用大量的样本。关键是使用为每个假设提供广泛支持的类似性量度。换句话说，当我们的假设状态越来越接近正确状态时，类似性量度将逐渐生长，并且不突然增加。 

在放射线摄影的情况下，图像的数量通常是有限的，因此特征将被用于贝叶斯网络框架中，其中给定图像特征的当前集合预期骨的姿势的输出。该方法也可以用于在荧光透视的情况下初始化粒子滤波器。贝叶斯网络可以被构建为有向非循环图，其中每个节点表示图像特征并且节点连接表示条件依赖。若给定输入图像特征的集合，则输出是具有最高概率的姿势。网络输出概率基于概率链式法则： 

$P(x_1,x_2,x_3,...,x_n)=\underset{m}{\overset{n}{\mathrm{\Π}}}P\left(x_m\right|x_{m+1},x_{m+2},...,x_n)$

其中x₁，x_n表示图像特征和骨姿势变量。 

使用基于GPU呈现模拟的3D重建算法。本方法的输入是经分割的图像和它们的相应骨姿势的集合。图像的数量和投影姿势的多样化指示可以获得的关于骨形状和因此输出的精确度的信息量。对于每个输入图像，进行用于拍摄图像的放射线摄影场景的图形重建。x射线源由被设置成模拟放射线束发散的透视照相机装置表示。在照相机的视场内，模板骨模型在放射线摄影场景内被置于模仿实际骨的姿势的姿势[图29]。 

设置图形场景之后，骨投影图像被合成，通过利用深度映射呈现能力，所述骨投影图像的轮廓被映射到模板骨的表面上的3D点[图30]。这些3D点然后被系统地转换到空间中以消除合成图像和原始放射线摄影图像之间的2D轮廓误差。结果，使用来自所有图像的轮廓数据，将产生3D点云，后者则会产生类似于输入x射线图像的骨投影[图31]。 

该将问题转化为3D到3D的优化问题。将使用POCS(凸包上交替投影)方法来快速地和唯一地寻找与统计学图谱以及所生成的点 云一致的最佳形状。POCS是已成功地用于许多信号和图像恢复和合成问题的强大工具。特别有用于非良姿势问题，其中可以通过对解集施加可能非线性凸约束而规则化问题。迭代地投影到这些凸集上导致与所有期望属性一致的解。该方法的简短描述如下。 

在向量空间中，当且仅当对于 和y∈ρ时，集ρ是凸的，则 换句话说，连接x和y的线段完全包含在ρ中。如果连接两个点的弦的任何部分位于该集的外部，则该集不是凸的。在凸集上的投影如下被定义。对于每个闭凸集ρ和希尔伯特空间中的每个向量x，在ρ中有最接近x的唯一向量。表示为PCx的该向量是x在ρ上的投影。POCS的最有用的方面在于，给定具有非空交集的两个或以上凸集，在所述集之中的交替投影将收敛到包括在交集中的点。 

如果两个凸集不交叉，将收敛到作为该问题的均方解的极限圆。具体地，该圆位于每个集中在均方意义上最接近其他集的点之间(图9)。 

在我们的方法中，具有两个凸集：1.能够属于统计学骨图谱的所有骨的集合。2.具有用于选定数量的顶点的约束值的所有骨的集合(其他顶点可以具有任何值)。选定顶点是在图像轮廓上看到的相应点的那些顶点。可以通过简单地用相应的估计点代替每个选定顶点而将骨向量投影到第二集合上。 

通过交替投影到一个凸集并在随后投影到另一个凸集上，将快速地收敛到与两个集相容的解。 

获得患者特定骨模型之后，软骨将被加入以完成夹具应与之配合的配合表面。使用我们的x射线图像的数据库和它们的相应MRI扫描，创建从x射线图像的膝间隙距离轮廓线识别软骨退化的水平的贝叶斯网络。这样的信息被用作软骨生成模块的输入。 

系统包括存储遵守HIPPA法案的患者信息的智能数据库。来自不同成像模态的数据将与每个患者联系，包括来自MRI/CT的DICOM、X射线图像和超声。经重建的骨和软骨被存储在数据库中。 包括算出的界标、轴线、植入物大小和放置信息的虚拟模板套用数据也被存储在数据库中。该部件实现相关和XML方案以为数据存储和操作提供强大工具。 

图32概述了给定股骨、胫骨和髌骨以用于重建关节连接软骨的预测模型的创建过程。为了建立该模型，使用2000个MRI扫描的数据库。骨和关节连接软骨首先从这些扫描被分割。骨被加入我们的统计学图谱以获得点对应并且计算每个骨上的骨软骨界面区域的概率。通过寻找在每个顶点的两个骨表面之间的最近距离计算跨所述骨软骨界面区域的骨-骨距离。软骨厚度也在这些位置的每一个处被计算并且用作目标以训练神经网络和构建贝叶斯信度网络，从而预测软骨厚度。用于这些系统的输入包括但不限于骨-骨距离、膝关节的退化和变形分类以及内翻角和外翻角的量度。用于此的输出是预测系统，其能够在CT、X射线、US、微波中构建软骨并且在MRI中引导软骨分割[图33]。图34示出了在MRI训练数据集中识别软骨界面的过程，而图35示出了平均软骨图。图36示出了用于测试病例之一的预测模型的输出。 

微波成像系统由其中每个元件用作发射器和接收器两者的阵列组成。在图37中示出了系统架构，其中低噪声系统时钟(时钟晶体)触发基带UWB脉冲发生器(例如阶跃恢复二极管(SRD)脉冲发生器)。基带脉冲经由双平衡宽带混频器由本地振荡器(LO)向上转换。经向上转换的信号被放大和滤波。最后，信号经由定向微波天线被发射。信号在阵列中的所有其他天线处被接收并且被滤波、放大、向下转换和低通滤波。接着，由相同低噪声系统时钟触发的二次采样混频器被用于时间拖慢脉冲1000-100,000x。这有效地减小UWB脉冲的带宽并且允许通过常规的模数转化器(ADC)进行采样。最后，定制数字信号处理算法被用于束成形并创建最终横截面图像，如图38中所示。近场延迟和求和束成形器用于恢复图像。由不同的Rx天线接收的目标散射信号在幅度上被均衡化以补偿不同的散射比、传播损失和衰减。Rx信号的不同相位延迟被用于束调向。各种组织类型之 间的界面被检测(空气-皮肤，脂肪-肌肉，软骨-骨等)，如图15中所示。在图39中示出了试验装置，所述试验装置示出有UWB天线阵列、膝的骨和围绕膝的肌肉。 

合成接收信号被用于从各个角检测组织界面(即，软骨-骨，脂肪-肌肉，空气-皮肤)并且也可以被变成2D横截面图像。组织界面数据被加入用于患者的现有的骨和软骨图谱信息。这导致扩充特征向量以包括UWB成像数据。在图40中概述了该过程。沿着膝移动被跟踪的UWB天线阵列并且获得多个横截面图像。横截面图像被配准在一起并且允许各种组织界面的全3D分析(重点给予软骨-骨界面)。关于这些组织界面的信息被加入患者的特征向量。这导致附加的组织界面信息(即，软骨-骨，软组织-软骨)将被用于骨和软骨图谱创建和与膝的关节软骨和骨相关的各种自动测量中。最后，该信息可以被包括在用于骨和软骨图谱的贝叶斯估计过程中。 

系统扩展诊断B模式超声机以使它增加创建关节骨和软骨(例如膝)的患者特定3D模型的能力。定位探头(光学的或电磁的)刚性地附连到超声探头以在操作者扫描关节(例如膝)时跟踪它的运动。运动跟踪探头的坐标系和超声探头坐标系之间的变换由校准过程确定。运动跟踪探头提供每个获取的B模式图像(帧)的位置(平移)和取向，因此获取的图像在3D笛卡儿空间中被配准，如图41中所示。获取到的超声图像以及它们的获取位置和取向的集合然后被用于重建经扫描的解剖结构的体积(类似于从CT或MRI重建的体积)。 

然后使用被跟踪的A模式探头或B模式探头获取三个或以上对准界标(预定义的界标，例如股骨上髁上的最突出点)，并且然后使用成对点配准将骨的(待建模的骨，例如股骨)图谱的平均模型与使用获取的对准界标重建的体积相配准。然后用于CT和MRI的所提出的自动分割被应用于重建的超声体积，因此导致经分割的骨模型，如图42中所示。 

在图43中示出了解释超声重建系统的流程图。 

虚拟模板套用提供在选定患者骨上执行植入物大小确定、放置和 可视化的能力。以高精度和可重复性自动地计算界标。植入物大小确定与植入物放置一起被执行。用户然后选择以上执行这些功能的具体植入物和植入物系列。用户可以从预定的或用户限定的用于放置植入物部件的外科技术进行选择并且用户可以限定用于放置股骨和胫骨部件两者的新外科技术。例如，基于界标和轴线，用户可以可视化切除、完全完整骨和/或置于被切除的骨上的植入物。例如，在示例性实施例中，可以为用户提供三个2D正交视图和一个3D视图以供可视化和植入物操作。用户可以修改植入物大小、系列和制造商信息。可视化可以包括重叠在骨上的轴线和界标。拟合结果可以被保存到智能数据库。外科医生可以使用本文中所述的各种能力来执行虚拟模板套用、植入物放置、虚拟切除和植入物操作，由此在术前模板套用中为患者和植入物对准产生定量结果。该外科医生进行的虚拟切除的编辑通过互联网使用小程序中的3D技术(Java3d)进行。外科医生可以修改、接受或拒绝模板套用的结果。运动的范围被执行以检验植入物对准和放置。被放置的植入物的变换然后被用于在与患者相同的对准中变换切割工具。这些螺孔然后被转化到夹具以将该放置转化到手术室中[图44]。 

图45、46概述了夹具创建的过程，该过程使用模板夹具，所述模板夹具被置于来自我们的统计学图谱的平均骨上。该夹具然后被重新调整大小以匹配患者股骨髁和胫骨坪的大小。胫骨和股骨模型两者然后与患者特定3D骨模型交叉以在夹具的内侧上创建在手术期间保证紧密配合的唯一患者印记。 

图47突出显示了用于不同程度的关节退化的不同夹具设计原则。图48示出了从系统输出的股骨和胫骨夹具。 

图49示出了用于抛光和检验自动创建的夹具的编辑器。 

图50示出了通过将输出夹具投影到与患者体积数据相同的空间中检验输出夹具的过程。 

根据以上描述和发明内容，本领域的普通技术人员将显见尽管本文中所述的方法和装置构成本发明的示例性实施例，但是包含在本文 中的发明不限于这样的实施例，而是可以对这样的实施例进行变化而不脱离如权利要求限定的本发明的范围。另外，应当理解本发明由权利要求限定并且描述本文中所述的示例性实施例的任何限制或要素不应当被包含到任何权利要求要素的解释中，除非明确地说明这样的限制或要素。类似地，应当理解不必满足本文中公开的发明的任何或全部识别的优点或目标以便涵盖在任何权利要求的范围内，原因是本发明由权利要求限定并且本发明的固有的和/或不可预见的优点可能存在，尽管未在本文中明确地论述它们。 

Claims (6)

1.一种用于由重建系统生成表示处于其当前状态的患者的骨的至少部分的患者特定骨外形的方法，所述方法包括：

成像患者的解剖结构的至少一部分以创建正交于延伸通过所述患者的解剖结构的轴线拍摄的所述患者的解剖结构的多个2D图像切片，其中所述多个2D图像切片中的每一个包括骨段，所述骨段包括对应于患者的骨的外表的封闭边界；

通过使用非患者特定的模板3D图像骨外形来识别2D图像切片上的每个骨段的封闭边界；以及

通过基于每个骨段的封闭边界的识别将患者的骨的所述多个2D图像切片关联，构建和输出所述患者的骨的至少部分的3D图像骨外形，并且其中所述3D图像骨外形描绘患者的骨的当前状态。

2.根据权利要求1所述的方法，其中所述成像包括磁共振成像和计算机断层摄影中的至少一种。

3.根据权利要求1所述的方法，其中所述患者的骨包括股骨、胫骨和肱骨中的至少一种。

4.根据权利要求1所述的方法，还包括通过软件部件生成3D图像外科夹具以与所述3D图像骨外形配合，其中所述3D图像外科夹具包括根据所述3D图像骨外形的外表特征定制的形貌特征。

5.根据权利要求4所述的方法，其中所述软件部件可操作地输出用于制造外科夹具的指令文件，所述外科夹具具有所述3D图像外科夹具的有形形貌特征。

6.根据权利要求1所述的方法，还包括使用患者的解剖结构的所述多个2D图像切片来构建表示患者的软骨的至少部分的3D图像软骨外形，其中所述3D图像软骨外形的构建包括使用软件来识别出现在2D图像切片中的软骨轮廓图。