CN102186404A - 基于图像的定位方法和系统 - Google Patents

基于图像的定位方法和系统 Download PDF

Info

Publication number
CN102186404A
CN102186404A CN2009801413723A CN200980141372A CN102186404A CN 102186404 A CN102186404 A CN 102186404A CN 2009801413723 A CN2009801413723 A CN 2009801413723A CN 200980141372 A CN200980141372 A CN 200980141372A CN 102186404 A CN102186404 A CN 102186404A
Authority
CN
China
Prior art keywords
endoscope
virtual
attitude
image
endoscopic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2009801413723A
Other languages
English (en)
Inventor
K·I·特罗瓦托
A·波波维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN102186404A publication Critical patent/CN102186404A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/466—Displaying means of special interest adapted to display 3D data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A61B1/2676—Bronchoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00743—Type of operation; Specification of treatment sites
    • A61B2017/00809—Lung operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computerised tomographs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung

Abstract

一种基于图像的定位方法(30)的手术前阶段涉及产生示出了身体的解剖区域(40)的扫描图像(20)；以及产生虚拟信息(21)，所述虚拟信息(21)包括根据所述内窥镜(51)的运动学属性和光学属性对内窥镜(51)在所述扫描图像(20)之内相对于内窥镜路径(52)的虚拟姿态的预测。该方法(30)的手术中阶段涉及根据内窥镜路径(52)产生表示解剖区域(40)的内窥镜图像(22)；以及产生跟踪信息(23)，所述跟踪信息(23)包括与对所述内窥镜(51)在所述扫描图像(20)之内相对于内窥镜路径(52)的虚拟姿态的预测对应的、所述内窥镜(51)在所述内窥镜图像(22)之内相对于内窥镜路径(52)的姿态的估计。

Description

基于图像的定位方法和系统
本发明涉及对身体解剖区域进行基于图像的定位，以提供关于身体解剖区域之内的内窥镜相对于身体解剖区域扫描图像的姿态的基于图像的信息。
支气管镜检查是一种通常利用标准支气管镜执行的体内操作流程，其中将支气管镜放在患者支气管树内部以提供内部结构的视觉信息。
用于对支气管镜进行空间定位的一种已知方法是使用电磁(“EM”)跟踪。不过，这种解决方案涉及额外的装置，例如，外部场发生器和支气管镜中的线圈。此外，精确度可能受到支气管镜的金属或手术区域附近其他物体引入的场畸变的影响。此外，EM跟踪中的配准流程涉及到设置外部坐标系(例如，EM场发生器的坐标系或动态参照基础的坐标系)和计算机断层摄影(“CT”)图像空间之间的关系。典型地，通过点到点匹配来进行配准，这导致了额外的延迟。即使有配准，患者的活动，例如呼吸，也可能意味着实际位置和计算得到的位置之间的误差。
用于对支气管镜进行空间定位的另一种已知方法是将手术前三维(“3D”)数据集与来自支气管镜的二维(“2D”)内窥镜图像配准。具体而言，将来自视频流的图像与支气管树的3D模型和摄像机掠过的相关截面进行匹配，以找到视频帧在患者图像的坐标系中的相对位置。这种2D/3D配准的主要问题是复杂，这意味着不能高效率、实时地以充分高精确度执行。为了解决这个问题，通过EM跟踪支持2D/3D配准，首先获得粗略配准，然后通过2D/3D配准对变换参数进行细调。
用于内窥镜工具图像引导的已知方法涉及到利用光学定位系统跟踪内窥镜探头。为了在CT坐标系或磁共振成像(“MRI”)坐标系中定位内窥镜末端，必须要为内窥镜装配具有红外(“IR”)反射球的受跟踪刚体。必须要在插入内窥镜之前进行配准和校准，以便能够跟踪内窥镜的位置并将其关联到CT或MRI上的位置。目标是通过叠加“经配准的”手术前成像数据(CT或MRI)来增加内窥镜的视频数据。
本发明的前提是利用手术前计划以在外部成像系统(例如，CT、MRI、超声、X射线和其他外部成像系统)拍摄的身体解剖区域的扫描图像之内生成内窥镜的虚拟图像。例如，如本文将要进一步解释的，根据本发明的虚拟支气管镜检查是使用支气管镜或成像插管(即，配备有成像装置的任何类型的插管)的运动学属性和支气管镜或成像插管光学属性的手术前内窥镜流程，利用所述运动学属性以生成对象解剖区域之内在运动学上正确的内窥镜路径，利用所述光学属性以可视地模拟从肺3D数据集获得的肺3D模型之内的支气管镜或成像插管执行手术前计划。
在内窥镜为支气管镜的语境中，可以使用授予Trovato等人、2007年4月17日公开的、题为“3D Tool Path Planning，Simulation and Control System”的国际申请WO 2007/042986A2教导的路径规划技术来生成支气管镜在肺的3D数据集表示的身体解剖区域之内支气管镜的运动学正确的路径。
在内窥镜为成像嵌套插管的语境中，可以使用授予Trovato等人、2008年3月20日公开的、题为“Active Cannula configuration For Minimally Invasive Surgery”的国际申请WO 2008/032230A1教导的路径规划/嵌套插管配置技术，以生成肺3D数据集表示的身体解剖区域之内针对嵌套插管的运动学正确路径。
本发明的另一前提在于：利用图像检索技术比较对象解剖区域的手术前虚拟图像和内窥镜拍摄的内窥镜图像。本领域已知的图像检索是从图像数据库检索具有给定属性的图像的方法，例如，在如下文献中论述的图像检索技术：Datta，R.，Joshi，D.，Li，J.和Wang，J.Z.的Image retrieval：Ideas，influences，and trends of the newage.ACM Comput.Surv.40，2，Article5(2008年4月)。可以基于与查询图像的相似性从数据库检索图像。可以使用测量图像特征(例如图像边缘)之间几何距离的几何度量或利用图像特征可能性的概率测度来确定图像之间的相似性测度，例如在如下文献中论述的相似性度量：Selim Aksoy，Robert M.Haralick.Probabilistic vs.Geometric Similarity Measures for Image Retrieval，IEEE Conf.Computer Vision and Pattern Recognition，2000，第357-362页，第2卷。
本发明的一种形式是一种基于图像的定位方法，该方法具有手术前阶段，其涉及生成示出了身体解剖区域的扫描图像和生成从扫描图像导出的虚拟信息。虚拟信息包括根据内窥镜的运动学属性和光学属性对内窥镜在扫描图像之内相对于内窥镜路径的虚拟姿态的预测。
在手术前阶段的示范性实施例中，使用扫描图像和内窥镜的运动学属性在扫描图像之内生成内窥镜路径。之后，使用内窥镜的光学属性生成示出了内窥镜路径在扫描图像之内的虚拟图像的虚拟视频帧。此外，向虚拟视频帧分配扫描图像之内的内窥镜路径的姿态，从虚拟视频帧提取一个或多个图像特征。
基于图像的定位方法还具有手术中阶段，其涉及根据内窥镜路径生成示出了身体解剖区域的内窥镜图像，以及生成从虚拟信息和内窥镜图像导出的跟踪信息。所述跟踪信息包括与对所述内窥镜在所述扫描图像之内相对于内窥镜路径的虚拟姿态的预测对应的、对所述内窥镜在所述内窥镜图像之内相对于内窥镜路径的姿态的估计。
在手术中阶段的示范性实施例中，从内窥镜图像的每个视频帧提取一个或多个内窥镜帧特征。将(一个或多个)内窥镜帧特征匹配到(一个或多个)虚拟帧特征的图像匹配便于将虚拟视频帧的所分配姿态对应到内窥镜视频帧，因此对应到内窥镜的位置。
出于本发明的目的，本文使用的术语“生成”被宽泛地定义成包括本领域当前已知或接下来已知的任何技术，该技术用于创建、供给、供应、获得、生产、形成、开发、演化、修改、变换、改变或以其他方式制造可用信息(例如，数据、文本、图像、语音和视频)，以进行计算机处理和存储器存储/检索，尤其是图像数据集和视频帧。此外，本文使用的短语“从......导出”被宽泛定义为包括本领域当前或接下来已知的用于从源信息集生成目标信息集的任何技术。
此外，本文使用的术语“手术前”被宽泛定义成描述在内窥镜应用之前发生或与周期或准备相关的任何活动(例如，用于内窥镜的路径规划)，本文使用的术语“手术中”被宽泛地定义成描述在内窥镜应用过程中发生、执行或遇到的任何活动(例如，根据规划的路径操作内窥镜)。内窥镜应用的范例包括，但不限于支气管镜检查、结肠镜检查、腹腔镜检查和大脑内窥镜检查。
在大多数情况下，手术前活动和手术中活动将在明确分开的时间周期内发生。尽管如此，本发明包括涉及到手术前和手术中时间周期在任何程度的重叠的情况。
此外，术语“内窥镜”在本文被宽泛定义为能够从身体内部成像的任何装置。用于本发明目的的内窥镜范例包括，但不限于任何类型的柔性或刚性的观测器(例如关节内窥镜、支气管镜、胆总管窥镜、结肠镜、膀胱镜、十二指肠镜、胃窥镜、宫腔镜、腹窥镜、喉镜、神经窥镜、耳镜、推进式小肠镜、鼻喉镜、乙状结肠镜、鼻窦镜、胸腔窥镜等)以及任何类似于装备有图像系统的观测器的装置(例如，能够成像的嵌套插管)。成像是局部的，可以利用光纤、透镜或小型化(例如基于CCD的)成像系统获得表面图像。
结合附图阅读以下详细描述的本发明各实施例，本发明的前述形式和其他形式以及本发明的各种特征和优点将变得更加明显。详细描述和附图仅仅例示本发明而不是加以限制，本发明的范围由权利要求书及其等价要件界定。
图1示出了表示本发明的基于图像的定位方法的一个实施例的流程图；
图2示出了图1所示流程图的示范性支气管镜检查应用；
图3示出了表示本发明的姿态预测方法的一个实施例的流程图；
图4示出了根据图3所示流程图用于支气管镜的示范性内窥镜路径生成；
图5示出了根据图3所示流程图用于嵌套插管的示范性内窥镜路径生成；
图6示出了根据图3所示流程图的示范性坐标空间和不完整邻域的2D投影；
图7示出了根据图3所示流程图的示范性光学规格数据；
图8示出了根据图3所示流程图的示范性虚拟视频帧生成；
图9示出了表示本发明的姿态估计方法的一个实施例的流程图；
图10示出了根据图9所示流程图的示范性内窥镜跟踪；
图11示出了本发明的基于图像的定位系统的一个实施例。
图1中示出了表示本发明的基于图像的定位方法的流程图30。参考图1，流程图30被分成手术前阶段S31和手术中阶段S32。
手术前阶段S31包括外部成像系统(例如CT、MRI、超声、X射线等)，其扫描身体(人或动物)的解剖区域以获得对象解剖区域的扫描图像20。基于手术中阶段S32期间对诊断或治疗的可能需求，根据手术前内窥镜流程由对象解剖区域的内窥镜执行模拟光学观察。生成详细描述从模拟观察预测的内窥镜姿态的虚拟信息，以便估计手术中阶段S32期间解剖区域的内窥镜图像之内的内窥镜的姿态，后面还将对此做出详细描述。
例如，如图2的示范性手术前阶段S31所示，可以使用CT扫描机50扫描患者的支气管树40，获得支气管树40的3D图像20。之后可以基于在手术中阶段S32期间对执行支气管镜检查的需求执行虚拟支气管镜检查。具体而言，可以利用扫描图像20和内窥镜51的运动学属性执行规划的路径技术以生成针对内窥镜51通过支气管树40的内窥镜路径52，并可以利用扫描图像20和内窥镜51的光学属性执行图像处理技术，以模拟在内窥镜51虚拟地贯穿内窥镜路径52时支气管树40的内窥镜51相对于扫描图像20的3D空间的光学观察。之后可以立即处理和/或在数据库53中存储详细描述从光学模拟导出的内窥镜51在扫描图像20之内的预测虚拟位置(x，y，z)和取向
Figure BDA0000056080000000051
的虚拟信息21，以进行支气管镜检查。
再次参考图1，手术中阶段S32包括根据内窥镜检查流程由内窥镜生成对象解剖区域的内窥镜图像22。为了估计内窥镜在对象解剖区域之内的姿态，参考虚拟信息21以将预测的内窥镜在扫描图像20之内的虚拟姿态对应到内窥镜图像22。生成详细描述对应结果的跟踪信息23是为了控制内窥镜以便于符合内窥镜检查流程和/或为了显示内窥镜在内窥镜图像22之内的估计姿态。
例如，如图2的示范性手术中阶段S32中所示，在操作内窥镜51以贯穿内窥镜路径52时，内窥镜51生成支气管树40的内窥镜图像22。为了估计活动中的内窥镜51的位置(x，y，z)和取向
Figure BDA0000056080000000052
参考虚拟信息21以将预测的内窥镜51在支气管树40的扫描图像20之内的虚拟姿态对应到支气管树40的内窥镜图像22。生成形式为跟踪姿态数据23a的跟踪信息23是为了向内窥镜51的内窥镜控制机构(未示出)提供控制数据，以便于符合内窥镜路径52。此外，生成形式为跟踪姿态图像23a的跟踪信息23是为了在显示器54上显示内窥镜51在支气管树40之内的估计姿态。
图1和2的前面描述教导了本发明的基于图像的定位方法的一般性创新原理。在实践中，本发明未给实施流程图30的方式或模式提出任何约束或任何限制。尽管如此，图3-10的以下描述仍然教导了流程图30的示范性实施例，以便于进一步理解本发明的基于图像的定位方法。
图3中示出了表示本发明的姿态预测方法的流程图60。流程图60是图1的手术前阶段S31的示范性实施例。
参考图3，流程图60的阶段S61包括：对扫描图像20所示的身体的解剖区域执行3D表面分割，以及生成表示该3D表面分割的3D表面数据24。本领域技术人员知道用于对对象解剖区域进行3D表面分割的技术。例如，可以利用已知的匹配立方表面提取从支气管树的CT扫描分割出一定体积的支气管树，以获得流程图60的阶段S62和S63所需的支气管树的内表面图像，后面还将对此做出详细描述。
流程图60的阶段S62包括使用3D表面数据24和表示内窥镜的运动学属性的规格数据25执行规划的路径技术(例如，快速匹配或A*搜索技术)以生成针对内窥镜在扫描图像20之内的运动学定制路径。例如，在内窥镜为支气管镜的语境中，可以使用授予Trovato等人、日期为2007年4月17日且题为“3D Tool Path Planning，Simulation and Control System”的国际申请WO 2007/042986A2中教导的已知路径规划技术，以生成由3D表面数据24(例如CT扫描数据集)表示的扫描图像20之内的运动学定制路径，该申请全文以引用方式并入本文。图4示出了针对支气管镜在支气管树的扫描图像70之内的示范性内窥镜路径71。内窥镜路径71在进入位置72和目标位置73之间延伸。
同样作为范例，在内窥镜为成像嵌套插管的语境中，可以使用授予Trovato等人、2008年3月20日公开的、题为“Active Cannula configuration For Minimally Invasive Surgery”的国际申请WO 2008/032230A1教导的路径规划/嵌套插管配置技术，以生成由3D表面数据24(例如CT扫描数据集)表示的成像插管在对象解剖区域之内的运动学定制路径，该申请全文以引用方式并入本文。图5示出了针对成像用嵌套插管在支气管树的图像74之内的示范性内窥镜路径75。内窥镜路径75在进入位置76和目标位置77之间延伸。
继续参考图3，生成表示运动学定制路径的内窥镜路径数据26，是为了下文要解释的阶段S63，并为了在手术中阶段32期间经由内窥镜执行手术中流程(图1)。阶段S62的手术前路径生成方法涉及到公知的离散化配置空间，根据适用邻域贯穿的配置空间的坐标生成内窥镜路径数据26。例如，图6示出了七条(7)线索81-87的三维不完整邻域80。这包括从线索81表示的取向处的起始位置H能够到达的相对位置和取向。
阶段S62的手术前路径生成方法优选涉及连续使用根据本发明的离散化配置空间，从而根据跨离散化配置空间的邻域的精确位置值生成内窥镜路径数据26。
优选采用阶段S62的手术前路径生成方法作为路径生成器，因为其在不精确的离散化配置空间中提供了精确的运动学定制路径。此外，该方法能够在3D空间中计算和存储路径的6维规格。例如，配置空间可以基于3D障碍空间，例如通常由CT生成的各向异性(非立方体体素)图像。尽管体素是分立的和非立方的，但规划器仍能够生成连续的平滑路径，例如一系列相连的弧。这意味着需要远远少的存储器并可以迅速计算路径。离散化的选择将会影响障碍区域，不过，从而会获得可行的路径。结果是连续坐标系中针对内窥镜的平滑的、运动学可行的路径。在授予Trovato等人，分别于2008年6月26日和2008年9月23日提交的题为“Method and System for Fast Precise Planning”的美国专利申请No.61/075886和61/099233中更详细地描述了这种情况，该申请全文以引用方式并入本文。
返回到图3，流程图60的阶段S63包括根据由光学规格数据27表示的内窥镜光学属性，顺次生成2D截面虚拟图像帧21a，其示出了3D表面数据和内窥镜路径数据26表示的扫描图像20之内内窥镜路径的虚拟图像。具体而言，在内窥镜路径上推进虚拟内窥镜，在内窥镜路径的预定路径点顺次生成虚拟视频帧21a，作为在内窥镜路径中推进的实际内窥镜拍摄的对象解剖区域的视频帧的模拟。考虑到物理内窥镜的光学属性完成这种模拟。
例如，图7示出了与本发明相关的内窥镜90的若干光学属性。具体而言，内窥镜90的透镜91的尺寸确定了观察区域92的观察角93，观察区域沿投影方向95具有焦点94。前剪取面96和后剪取面97与投影方向95正交以界定内窥镜90的可视化区域，可视化区域类似于光学景深。额外的参数包括内窥镜90的光源(未示出)相对于透镜91的位置、角度、强度和颜色。光学规格数据27(图3)可以表示针对适用内窥镜的一个或多个光学属性91-97以及任何其他相关特性。
返回到图3，将实际内窥镜的光学属性应用于虚拟内窥镜。在模拟中的任何给定路径点，知道虚拟内窥镜在查看扫描图像20之内的哪里，虚拟内窥镜聚焦在扫描图像20的什么区域，虚拟内窥镜发射的光强度和颜色以及任何其他相关光学属性，便于生成虚拟视频帧作为实际内窥镜在该路径点拍摄的视频帧的模拟。
例如，图8示出了从图5所示路径75的区域78拍摄的四个(4)示范性相继虚拟视频帧100-103。每个帧100-103都是在模拟中的预定路径点拍摄的。虚拟视频帧100-103逐一示出了区域78的特定2D截面，以模拟内窥镜在对象支气管树之内拍摄的区域78的这种2D截面的光学观察。
返回图3，流程图60的阶段S64包括每个虚拟视频帧21a的姿态分配。具体而言，使用扫描图像20的坐标空间，考虑到生成虚拟视频帧21a期间使用的每个路径点的位置和取向，确定每个虚拟视频帧21a在扫描图像20之内的唯一位置(x，y，z)和取向
Figure BDA0000056080000000081
阶段S64还包括从每个虚拟视频帧21a提取一个或多个图像特征。特征提取的范例包括，但不限于，分岔的边缘及其相对于视场的位置、分岔的边缘形状、像素强度的强度图案和空间分布(如果生成光学上逼真的虚拟视频帧的话)。可以使用简单的已知边缘算子(例如Canny算子或Laplacian算子)，或使用更先进的已知算法(例如小波分析)来探测边缘。可以使用已知的形状描述符和/或利用主成分分析的形状建模方法分析分岔的形状。作为另一个范例，如图8所示，可以使用这些技术来提取帧100-103的边缘以及帧102和103中所示的生长104。
阶段S64的结果是虚拟数据集21b，其表示针对每个虚拟视频帧21a的手术前图像20的坐标空间中的唯一位置(x，y，z)和取向
Figure BDA0000056080000000082
以及为了特征匹配的所提取的图像特征，后面还将对此做出详细描述。
流程图60的阶段S65包括在具有适当参数字段的数据库之内存储虚拟视频帧21a和虚拟姿态数据集21b。
流程图60的阶段S66包括利用虚拟视频帧21a在对象解剖区域之内执行内窥镜的可视扫略，以进行诊断。
再次参考图3，完成流程图60获得了虚拟视频帧21a和虚拟数据集21b的参数化存储，由此将使用数据库找到虚拟视频帧21a和所生成的对象解剖区域的内窥镜图像22(图1)的视频帧之间的匹配，并将每个虚拟视频帧21a的唯一位置(x，y，z)和取向
Figure BDA0000056080000000091
对应到所匹配的内窥镜视频帧。
除了这点之外，图9示出了表示本发明的姿态估计方法的一个实施例的流程图110。在手术中流程期间，流程图110的阶段S111包括从对象解剖区域的内窥镜检查获得的内窥镜图像22(图1)的每个2D截面视频帧22a提取图像特征。同样，特征提取的范例包括，但不限于，分岔的边缘及其相对于视场的位置、分岔的边缘形状、像素强度的强度图案和空间分布(如果生成光学上逼真的虚拟视频帧的话)。可以使用简单的已知边缘算子(例如Canny算子或Laplacian算子)，或使用更先进的已知算法(例如小波分析)来探测边缘。可以使用已知的形状描述符和/或利用主成分分析的形状建模方法分析分岔的形状。
流程图110的阶段S112还包括将从虚拟视频帧21a提取的图像特征图像匹配到从内窥镜视频帧22a提取的图像特征。可以使用利用定义好的度量(例如形状差异、边距等)发现具有最相似特征的两幅图像的已知搜索技术来匹配图像特征。此外，为了获得时间效率，可以对搜索技术进行细化，以使用关于图像的在先匹配的实时信息，以便将数据库搜索限制到解剖区域的特定区域。例如，可以将数据库搜索限制到与上次匹配相差正负10mm的点和取向，优选首先沿预期路径搜索，然后在距预期路径有限距离和角度之内搜索。显然，如果没有匹配(表示可接受标准之内的匹配)，那么位置数据不是有效的，系统应当登记误差信号。
流程图110的阶段S113还包括将虚拟视频帧21a的位置(x，y，z)和取向
Figure BDA0000056080000000092
对应到与虚拟视频帧21a的(一个或多个)图像特征匹配的内窥镜视频帧22a，以便由此估计内窥镜在内窥镜图像22之内的姿态。更具体而言，在阶段S112中实现的特征匹配能够将每个虚拟视频帧21a在对象解剖区域的扫描图像20(图1)的坐标系之内的位置(x，y，z)和取向对应到内窥镜视频帧22a之一，作为对内窥镜在对象解剖区域的内窥镜图像22之内的姿态的估计。
这种姿态对应便于生成跟踪姿态图像23b，跟踪姿态图像示出了内窥镜在对象解剖区域之内相对于内窥镜路径的估计姿态。具体而言，跟踪姿态图像23a是这样一种版本的扫描图像20(图1)，其具有内窥镜和从内窥镜视频帧22a的分配姿态导出的内窥镜路径叠加。
姿态对应进一步便于生成跟踪姿态数据23a，跟踪姿态数据表示内窥镜在对象解剖区域之内的估计姿态。具体而言，跟踪姿态数据23b能够具有任何形式(例如，命令形式或信号形式)，以用在内窥镜的控制机构中，从而确保符合规划的内窥镜路径。
例如，图10示出了利用成像嵌套插管执行的虚拟支气管镜检查120提供的虚拟视频帧130以及利用同样的或运动学和光学等价的成像嵌套插管执行的手术中支气管镜检查提供的内窥镜视频帧131。从关联数据库检索虚拟视频帧130，由此，从虚拟视频帧130提前或实时提取122图像特征133(例如边缘特征)以及从内窥镜视频帧131提取图像特征132便于对一对帧进行特征匹配124。结果，坐标空间对应134使得能够对内窥镜125在跟踪姿态图像135中所示的支气管之内的估计位置和取向进行控制反馈和显示。
由于内窥镜此前的位置和取向是已知的，且每个内窥镜视频帧131正变得实时可用，所以“当前位置”应当在附近，因此缩小了候选图像130的集合。例如，可能有很多看起来相似的支气管。沿着每个支气管拍“快照”会生成很大的似是而非的集合，但位置可能非常悬殊。此外，对于每个位置，即使是离散化的取向子集也将生成众多可能视图。不过，如果假设的路径已经是已知的，可以将该集合简化为像x，y，z位置并像α，θ，
Figure BDA0000056080000000102
(rx，ry，rz)取向的那些，可能在预期状态附近有一些变化。此外，基于先前的“匹配位置”，作为候选者的图像130的集合只限于在已过去的时间内从那些先前位置能够到达的那些。成像插管的运动学进一步限制了可能的选择。一旦在虚拟帧130和“实况图像”131之间得到匹配，来自虚拟帧130的位置和取向标签给出成像插管在患者体内的实际取向的手术前空间中的坐标。
图11示出了用于实施本发明各种方法的示范性系统170。参考图11，在手术前阶段期间，使用患者140体外的成像系统扫描患者140的解剖区域(例如，支气管141的CT扫描)，以提供表示该解剖区域的扫描图像20。系统170的手术前虚拟子系统171实施手术前阶段S31(图1)，或者更具体而言，实施流程图60(图3)，以通过显示器160显示相关手术前内窥镜流程的视觉飞掠21c，并向参数化数据库173中存储虚拟视频帧21a和虚拟数据集21b。虚拟信息21a/b详细描述了内窥镜在解剖区域之内相对于内窥镜路径(例如，使用通过支气管树141的图像嵌套插管151的模拟支气管镜检查的内窥镜路径152)的虚拟图像。
在手术中状态期间，操作系统180的内窥镜控制机构(未示出)以根据其中的规划内窥镜路径控制内窥镜在解剖区域之内的插入。系统180向系统170的手术中跟踪子系统172提供解剖区域的内窥镜图像22，手术中跟踪子系统实施手术中阶段S32(图1)，或更具体而言，实施流程图110(图9)，以向显示器160显示跟踪图像23a和/或向系统180提供跟踪姿态数据23b，从而进行控制反馈。跟踪图像22a和跟踪姿态数据23b共同表示物理内窥镜通过解剖区域的内窥镜路径(例如，实时跟踪成像嵌套插管151通过支气管树141)。在系统172未能实现虚拟视频帧21a和内窥镜视频帧(未示出)之间的特征匹配的情况下，跟踪姿态数据23a将包含标志失败的误差消息。
尽管已经例示和描述了本发明的各种实施例，本领域的技术人员将要理解，这里所述的方法和系统是例示性的，可以做出各种变化和修改，并可以用等价要素替代其要素，这些不脱离本发明的真实范围。此外，可以做出很多修改以针对实体路径规划调整本发明的教导而不脱离其中心范围。因此，本发明并非意在限于作为执行本发明而想到的最佳模式而公开的特定实施例，而是本发明包括落在权利要求书范围之内的所有实施例。

Claims (15)

1.一种基于图像的定位方法(30)，包括：
生成示出了身体的解剖区域(40)的扫描图像(20)；
根据内窥镜(51)的运动学属性在所述扫描图像(20)之内生成内窥镜路径(52)；以及
根据所述内窥镜(51)的光学属性生成示出了所述内窥镜路径(52)在所述扫描图像(20)之内的虚拟图像的虚拟视频帧(21a)。
2.根据权利要求1所述的基于图像的定位方法(30)，还包括：
向所述虚拟视频帧(21a)分配所述扫描图像(20)之内的所述内窥镜路径(52)的姿态；以及
从每幅虚拟视频帧(21a)提取至少一个虚拟帧特征。
3.根据权利要求2所述的基于图像的定位方法(30)，还包括：
生成参数化数据库(54)，所述参数化数据库包括所述虚拟视频帧(21a)和虚拟姿态数据集(21b)，所述虚拟姿态数据集表示所述内窥镜(51)的姿态分配和所提取的至少一个虚拟帧特征。
4.根据权利要求1所述的基于图像的定位方法(30)，还包括：
执行所述虚拟视频帧(21a)的视觉飞掠，其示出了所述内窥镜(51)在所述解剖区域(40)之内相对于所述内窥镜路径(52)的预测姿态。
5.根据权利要求2所述的基于图像的定位方法(30)，还包括：
根据所述内窥镜路径(52)生成示出了所述身体的所述解剖区域(40)的内窥镜图像(22)；以及
从所述内窥镜图像(22)的每个内窥镜视频帧(22a)提取至少一个内窥镜帧特征。
6.根据权利要求5所述的基于图像的定位方法(30)，还包括：
将所述至少一个内窥镜帧特征图像匹配到所述至少一个虚拟帧特征；以及
根据所述图像匹配将所述虚拟视频帧(21a)的所分配姿态对应到所述内窥镜视频帧(22a)。
7.根据权利要求6所述的基于图像的定位方法(30)，还包括：
根据所述内窥镜视频帧(22a)的所述姿态分配生成示出了所述内窥镜(51)在所述内窥镜图像(22)之内的估计姿态的跟踪姿态图像(23a)；以及
向显示器(56)提供所述跟踪姿态图像帧(23a)。
8.根据权利要求6所述的基于图像的定位方法(30)，还包括：
生成表示所述内窥镜视频帧(22a)的所述姿态分配的跟踪姿态数据(23b)；以及
向所述内窥镜(51)的内窥镜控制机构(180)提供所述跟踪姿态数据(23b)。
9.根据权利要求1所述的基于图像的定位方法(30)，其中，根据与所述扫描图像(20)相关联的离散化配置空间(80)之内的邻域节点的精确位置值生成所述内窥镜路径(52)。
10.根据权利要求1所述的基于图像的定位方法(30)，其中，所述内窥镜(51)是从包括支气管镜和成像插管的组中选择的。
11.一种基于图像的定位方法(30)，包括：
生成示出了身体的解剖区域(40)的扫描图像(20)；以及
生成从所述扫描图像(20)导出的虚拟信息(21)，
其中，所述虚拟信息(21)包括根据内窥镜(51)的运动学属性和光学属性对所述内窥镜(51)在所述扫描图像(20)之内相对于内窥镜路径(53)的虚拟姿态的预测。
12.根据权利要求11所述的基于图像的定位方法(30)，还包括：
根据所述内窥镜路径(52)生成示出了所述身体的所述解剖区域(40)的内窥镜图像(22)；以及
生成从所述虚拟信息和所述内窥镜图像(22)导出的跟踪信息(23)，
其中，所述跟踪信息(23)包括与对所述内窥镜(51)在所述扫描图像(20)之内相对于所述内窥镜路径(52)的虚拟姿态的预测对应的、对所述内窥镜(51)在所述内窥镜图像(22)之内相对于所述内窥镜路径(52)的姿态的估计。
13.一种基于图像的定位系统，包括：
手术前虚拟子系统(171)，其用于生成从示出了身体的解剖区域(40)的扫描图像(20)导出的虚拟信息(21)，
其中，所述虚拟信息(21)包括根据内窥镜(51)的运动学属性和光学属性对所述内窥镜(51)在所述扫描图像(20)之内相对于内窥镜路径(53)的虚拟姿态的预测；以及
手术中跟踪子系统(172)，其用于根据所述内窥镜路径(52)生成从所述虚拟信息(21)和内窥镜图像(22)导出的跟踪信息(23)，所述内窥镜图像示出了所述身体的所述解剖区域(40)，
其中，所述跟踪信息(23)包括与对所述内窥镜(51)在所述扫描图像(20)之内相对于所述内窥镜路径(52)的虚拟姿态的预测对应的、对所述内窥镜(51)在所述内窥镜图像(22)之内相对于所述内窥镜路径(52)的姿态的估计。
14.根据权利要求13所述的基于图像的定位系统，还包括：
显示器(160)，
其中，所述手术中跟踪子系统(172)还用于向所述显示器(56)提供跟踪姿态图像(23a)，所述跟踪姿态图像示出了所述内窥镜(51)在所述内窥镜图像(22)之内相对于所述内窥镜路径(52)的估计姿态。
15.根据权利要求13所述的基于图像的定位系统，还包括：
内窥镜控制机构(180)，
其中，所述手术中跟踪子系统(172)还用于向所述内窥镜控制机构(180)提供跟踪姿态数据(23b)，所述跟踪姿态数据表示所述内窥镜(51)在所述内窥镜图像(22)之内相对于所述内窥镜路径(52)的估计姿态。
CN2009801413723A 2008-10-20 2009-10-12 基于图像的定位方法和系统 Pending CN102186404A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10666908P 2008-10-20 2008-10-20
US61/106,669 2008-10-20
PCT/IB2009/054476 WO2010046802A1 (en) 2008-10-20 2009-10-12 Image-based localization method and system

Publications (1)

Publication Number Publication Date
CN102186404A true CN102186404A (zh) 2011-09-14

Family

ID=41394942

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801413723A Pending CN102186404A (zh) 2008-10-20 2009-10-12 基于图像的定位方法和系统

Country Status (6)

Country Link
US (1) US20110282151A1 (zh)
EP (1) EP2348954A1 (zh)
JP (1) JP2012505695A (zh)
CN (1) CN102186404A (zh)
RU (1) RU2011120186A (zh)
WO (1) WO2010046802A1 (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103957832A (zh) * 2011-10-26 2014-07-30 皇家飞利浦有限公司 血管树图像的内窥镜配准
CN104105439A (zh) * 2012-02-06 2014-10-15 皇家飞利浦有限公司 血管树图像内不可见的二分叉的检测
CN104306072A (zh) * 2014-11-07 2015-01-28 刘弘毅 医疗导航系统及方法
CN104411226A (zh) * 2012-06-28 2015-03-11 皇家飞利浦有限公司 使用以机器人的方式操纵的内窥镜的增强的血管可视化
CN104540439A (zh) * 2012-08-14 2015-04-22 直观外科手术操作公司 用于多个视觉系统的配准的系统和方法
CN104780826A (zh) * 2013-03-12 2015-07-15 奥林巴斯株式会社 内窥镜系统
CN104797186A (zh) * 2013-03-06 2015-07-22 奥林巴斯株式会社 内窥镜系统
CN104883950A (zh) * 2013-03-27 2015-09-02 奥林巴斯株式会社 内窥镜系统
CN104936545A (zh) * 2012-12-31 2015-09-23 直观外科手术操作公司 设计介入程序的系统和方法
CN105051784A (zh) * 2013-03-15 2015-11-11 哈特弗罗公司 对模拟准确度和性能的图像质量评估
CN105103164A (zh) * 2013-03-21 2015-11-25 皇家飞利浦有限公司 基于视图分类的模型初始化
CN104105439B (zh) * 2012-02-06 2016-11-30 皇家飞利浦有限公司 血管树图像内不可见的二分叉的检测
CN106856067A (zh) * 2017-01-18 2017-06-16 北京大学人民医院 一种智能化电子模拟纤维支气管镜训练装置
CN107847111A (zh) * 2015-07-23 2018-03-27 皇家飞利浦有限公司 根据体积图像的交互式平面切片的内窥镜引导
CN112315582A (zh) * 2019-08-05 2021-02-05 罗雄彪 一种手术器械的定位方法、系统及装置
CN112888395A (zh) * 2018-10-22 2021-06-01 阿克拉伦特公司 用于实时更新穿行摄像机放置的方法和系统
WO2021139672A1 (zh) * 2020-01-07 2021-07-15 日本电气株式会社 医疗辅助操作方法、装置、设备和计算机存储介质
CN113507899A (zh) * 2019-02-28 2021-10-15 皇家飞利浦有限公司 对末端执行器的反馈连续定位控制

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011094518A2 (en) * 2010-01-28 2011-08-04 The Penn State Research Foundation Image-based global registration system and method applicable to bronchoscopy guidance
EP2559002A1 (en) * 2010-04-13 2013-02-20 Koninklijke Philips Electronics N.V. Image analysing
US20130303887A1 (en) * 2010-08-20 2013-11-14 Veran Medical Technologies, Inc. Apparatus and method for four dimensional soft tissue navigation
EP2670292A4 (en) * 2011-02-04 2015-02-25 Penn State Res Found GLOBAL AND SEMIGLOBAL REGISTRATION FOR PICTURE-BASED BRONCHOSCOPE LEADERSHIP
US20120203067A1 (en) * 2011-02-04 2012-08-09 The Penn State Research Foundation Method and device for determining the location of an endoscope
US8900131B2 (en) * 2011-05-13 2014-12-02 Intuitive Surgical Operations, Inc. Medical system providing dynamic registration of a model of an anatomical structure for image-guided surgery
JP2015506188A (ja) * 2011-12-21 2015-03-02 コーニンクレッカ フィリップス エヌ ヴェ 容積測定モダリティからの構造の未較正内視鏡のビデオへのオーバレイ及び動き補償
US20140336461A1 (en) * 2012-04-25 2014-11-13 The Trustees Of Columbia University In The City Of New York Surgical structured light system
EP2849668B1 (en) 2012-05-14 2018-11-14 Intuitive Surgical Operations Inc. Systems and methods for registration of a medical device using rapid pose search
JP6348130B2 (ja) * 2013-03-11 2018-06-27 アンスティテュ・オスピタロ−ユニベルシテール・ドゥ・シルルジー・ミニ−アンバシブ・ギデ・パル・リマージュ デュアルデータ同期を用いた解剖学的部位の位置の再特定
CN104755009B (zh) * 2013-04-15 2017-04-19 奥林巴斯株式会社 内窥镜系统
CN105979900B (zh) 2014-02-04 2020-06-26 皇家飞利浦有限公司 血管的深度和位置的可视化以及血管横截面的机器人引导的可视化
JP6725423B2 (ja) 2014-02-11 2020-07-15 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 解剖学的標的を視覚化するシステム
KR102405687B1 (ko) 2014-03-28 2022-06-07 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 수술용 임플란트의 정량적 3차원 영상화 및 프린팅
JP6609616B2 (ja) 2014-03-28 2019-11-20 インテュイティブ サージカル オペレーションズ， インコーポレイテッド マルチポートの視点からの手術シーンの定量的な３次元イメージング
US10555788B2 (en) * 2014-03-28 2020-02-11 Intuitive Surgical Operations, Inc. Surgical system with haptic feedback based upon quantitative three-dimensional imaging
EP3125806B1 (en) 2014-03-28 2023-06-14 Intuitive Surgical Operations, Inc. Quantitative three-dimensional imaging of surgical scenes
US11266465B2 (en) * 2014-03-28 2022-03-08 Intuitive Surgical Operations, Inc. Quantitative three-dimensional visualization of instruments in a field of view
US10463242B2 (en) * 2014-07-09 2019-11-05 Acclarent, Inc. Guidewire navigation for sinuplasty
US10772489B2 (en) 2014-07-09 2020-09-15 Acclarent, Inc. Guidewire navigation for sinuplasty
DE112015006196T5 (de) * 2015-03-24 2017-11-02 Olympus Corporation Steuervorrichtung für einen flexiblen Manipulator und medizinisches Manipulatorsystem
JP2016214782A (ja) * 2015-05-26 2016-12-22 Ｍｒｔ株式会社 気管支鏡の作動方法、マーキング用気管支鏡、切除標的領域の特定方法、及び、プログラム
JP6594133B2 (ja) 2015-09-16 2019-10-23 富士フイルム株式会社 内視鏡位置特定装置、内視鏡位置特定装置の作動方法および内視鏡位置特定プログラム
EP3397184A1 (en) 2015-12-29 2018-11-07 Koninklijke Philips N.V. System, control unit and method for control of a surgical robot
EP3429496A1 (en) 2016-03-17 2019-01-23 Koninklijke Philips N.V. Control unit, system and method for controlling hybrid robot having rigid proximal portion and flexible distal portion
JP7229155B2 (ja) * 2016-11-02 2023-02-27 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 画像誘導手術のための連続的な位置合せのシステム及び方法
JP6820805B2 (ja) * 2017-06-30 2021-01-27 富士フイルム株式会社 画像位置合わせ装置、その作動方法およびプログラム
WO2020044523A1 (ja) * 2018-08-30 2020-03-05 オリンパス株式会社 記録装置、画像観察装置、観察システム、観察システムの制御方法、及び観察システムの作動プログラム
WO2022211501A1 (ko) * 2021-03-31 2022-10-06 서울대학교병원 굴곡성기관지내시경 이미지를 이용하여 해부학적 위치를 판별하는 장치 및 방법
US11903561B2 (en) * 2021-05-03 2024-02-20 Iemis (Hk) Limited Surgical systems and devices, and methods for configuring surgical systems and performing endoscopic procedures, including ERCP procedures
US20230088132A1 (en) 2021-09-22 2023-03-23 NewWave Medical, Inc. Systems and methods for real-time image-based device localization

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5765561A (en) * 1994-10-07 1998-06-16 Medical Media Systems Video-based surgical targeting system
US5797849A (en) * 1995-03-28 1998-08-25 Sonometrics Corporation Method for carrying out a medical procedure using a three-dimensional tracking and imaging system
US6246898B1 (en) * 1995-03-28 2001-06-12 Sonometrics Corporation Method for carrying out a medical procedure using a three-dimensional tracking and imaging system
US6346940B1 (en) * 1997-02-27 2002-02-12 Kabushiki Kaisha Toshiba Virtualized endoscope system
US6256090B1 (en) * 1997-07-31 2001-07-03 University Of Maryland Method and apparatus for determining the shape of a flexible body
US7214230B2 (en) * 1998-02-24 2007-05-08 Hansen Medical, Inc. Flexible instrument
US6468265B1 (en) * 1998-11-20 2002-10-22 Intuitive Surgical, Inc. Performing cardiac surgery without cardioplegia
US6522906B1 (en) * 1998-12-08 2003-02-18 Intuitive Surgical, Inc. Devices and methods for presenting and regulating auxiliary information on an image display of a telesurgical system to assist an operator in performing a surgical procedure
US8944070B2 (en) * 1999-04-07 2015-02-03 Intuitive Surgical Operations, Inc. Non-force reflecting method for providing tool force information to a user of a telesurgical system
US8442618B2 (en) * 1999-05-18 2013-05-14 Mediguide Ltd. Method and system for delivering a medical device to a selected position within a lumen
US6749652B1 (en) 1999-12-02 2004-06-15 Touchstone Research Laboratory, Ltd. Cellular coal products and processes
DE10210648A1 (de) * 2002-03-11 2003-10-02 Siemens Ag Verfahren zur Erfassung und Darstellung eines in ein zu untersuchendes oder behandelndes Hohlraumorgan eines Patienten eingeführten medizinischen Instruments
JP2005522274A (ja) * 2002-04-17 2005-07-28 スーパー ディメンション リミテッド 内視鏡構造と分岐構造内の標的にナビゲートするための技術
CN101669831B (zh) * 2003-05-08 2013-09-25 株式会社日立医药 基准图像显示方法
US7822461B2 (en) * 2003-07-11 2010-10-26 Siemens Medical Solutions Usa, Inc. System and method for endoscopic path planning
US7398116B2 (en) * 2003-08-11 2008-07-08 Veran Medical Technologies, Inc. Methods, apparatuses, and systems useful in conducting image guided interventions
EP2189107A3 (en) * 2003-10-31 2010-09-15 Olympus Corporation Insertion support system
EP1690491A4 (en) * 2003-12-05 2011-04-13 Olympus Corp DISPLAY PROCESSING DEVICE
US7901348B2 (en) * 2003-12-12 2011-03-08 University Of Washington Catheterscope 3D guidance and interface system
JP4343723B2 (ja) * 2004-01-30 2009-10-14 オリンパス株式会社 挿入支援システム
EP1715788B1 (en) * 2004-02-17 2011-09-07 Philips Electronics LTD Method and apparatus for registration, verification, and referencing of internal organs
DE102004011156A1 (de) * 2004-03-08 2005-10-06 Siemens Ag Verfahren zur endoluminalen Bildgebung mit Bewegungskorrektur
US7496473B2 (en) * 2004-08-31 2009-02-24 Watlow Electric Manufacturing Company Temperature sensing system
US7536216B2 (en) * 2004-10-18 2009-05-19 Siemens Medical Solutions Usa, Inc. Method and system for virtual endoscopy with guidance for biopsy
WO2006078678A2 (en) * 2005-01-18 2006-07-27 Traxtal Inc. Method and apparatus for guiding an instrument to a target in the lung
JP4668643B2 (ja) * 2005-02-23 2011-04-13 オリンパスメディカルシステムズ株式会社 内視鏡装置
US7756563B2 (en) * 2005-05-23 2010-07-13 The Penn State Research Foundation Guidance method based on 3D-2D pose estimation and 3D-CT registration with application to live bronchoscopy
US20090149703A1 (en) * 2005-08-25 2009-06-11 Olympus Medical Systems Corp. Endoscope insertion shape analysis apparatus and endoscope insertion shape analysis system
WO2007042986A2 (en) 2005-10-11 2007-04-19 Koninklijke Philips Electronics, N.V. 3d tool path planning, simulation and control system
JP5457178B2 (ja) * 2006-06-30 2014-04-02 ブロンカス テクノロジーズ， インコーポレイテッド 気道バイパス部位選択および治療計画
JP5722542B2 (ja) 2006-09-14 2015-05-20 コーニンクレッカ フィリップス エヌ ヴェ アクティブカニューレシステム
US8672836B2 (en) * 2007-01-31 2014-03-18 The Penn State Research Foundation Method and apparatus for continuous guidance of endoscopy
US20090163800A1 (en) * 2007-12-20 2009-06-25 Siemens Corporate Research, Inc. Tools and methods for visualization and motion compensation during electrophysiology procedures
JP5372407B2 (ja) * 2008-05-23 2013-12-18 オリンパスメディカルシステムズ株式会社 医療機器
US9923308B2 (en) 2012-04-04 2018-03-20 Holland Electronics, Llc Coaxial connector with plunger

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103957832A (zh) * 2011-10-26 2014-07-30 皇家飞利浦有限公司 血管树图像的内窥镜配准
CN104105439A (zh) * 2012-02-06 2014-10-15 皇家飞利浦有限公司 血管树图像内不可见的二分叉的检测
CN104105439B (zh) * 2012-02-06 2016-11-30 皇家飞利浦有限公司 血管树图像内不可见的二分叉的检测
CN104411226A (zh) * 2012-06-28 2015-03-11 皇家飞利浦有限公司 使用以机器人的方式操纵的内窥镜的增强的血管可视化
US11219385B2 (en) 2012-08-14 2022-01-11 Intuitive Surgical Operations, Inc. Systems and methods for registration of multiple vision systems
US11896364B2 (en) 2012-08-14 2024-02-13 Intuitive Surgical Operations, Inc. Systems and methods for registration of multiple vision systems
CN104540439A (zh) * 2012-08-14 2015-04-22 直观外科手术操作公司 用于多个视觉系统的配准的系统和方法
CN104540439B (zh) * 2012-08-14 2016-10-26 直观外科手术操作公司 用于多个视觉系统的配准的系统和方法
US10278615B2 (en) 2012-08-14 2019-05-07 Intuitive Surgical Operations, Inc. Systems and methods for registration of multiple vision systems
CN104936545A (zh) * 2012-12-31 2015-09-23 直观外科手术操作公司 设计介入程序的系统和方法
US11426141B2 (en) 2012-12-31 2022-08-30 Intuitive Surgical Operations, Inc. Systems and methods for interventional procedure planning
US10588597B2 (en) 2012-12-31 2020-03-17 Intuitive Surgical Operations, Inc. Systems and methods for interventional procedure planning
US11871898B2 (en) 2012-12-31 2024-01-16 Intuitive Surgical Operations, Inc. Systems and methods for interventional procedure planning
US10582909B2 (en) 2012-12-31 2020-03-10 Intuitive Surgical Operations, Inc. Systems and methods for interventional procedure planning
CN104797186B (zh) * 2013-03-06 2016-10-12 奥林巴斯株式会社 内窥镜系统
CN104797186A (zh) * 2013-03-06 2015-07-22 奥林巴斯株式会社 内窥镜系统
CN104780826B (zh) * 2013-03-12 2016-12-28 奥林巴斯株式会社 内窥镜系统
CN104780826A (zh) * 2013-03-12 2015-07-15 奥林巴斯株式会社 内窥镜系统
CN105051784B (zh) * 2013-03-15 2017-05-17 哈特弗罗公司 对模拟准确度和性能的图像质量评估
US11803965B2 (en) 2013-03-15 2023-10-31 Heartflow, Inc. Methods and systems for assessing image quality in modeling of patient anatomic or blood flow characteristics
CN105051784A (zh) * 2013-03-15 2015-11-11 哈特弗罗公司 对模拟准确度和性能的图像质量评估
CN105103164A (zh) * 2013-03-21 2015-11-25 皇家飞利浦有限公司 基于视图分类的模型初始化
CN105103164B (zh) * 2013-03-21 2019-06-04 皇家飞利浦有限公司 基于视图分类的模型初始化
CN104883950A (zh) * 2013-03-27 2015-09-02 奥林巴斯株式会社 内窥镜系统
CN104306072B (zh) * 2014-11-07 2016-08-31 常州朗合医疗器械有限公司 医疗导航系统及方法
CN104306072A (zh) * 2014-11-07 2015-01-28 刘弘毅 医疗导航系统及方法
CN107847111B (zh) * 2015-07-23 2022-04-08 皇家飞利浦有限公司 根据体积图像的交互式平面切片的内窥镜引导
CN107847111A (zh) * 2015-07-23 2018-03-27 皇家飞利浦有限公司 根据体积图像的交互式平面切片的内窥镜引导
CN106856067B (zh) * 2017-01-18 2019-04-02 北京大学人民医院 一种智能化电子模拟纤维支气管镜训练装置
CN106856067A (zh) * 2017-01-18 2017-06-16 北京大学人民医院 一种智能化电子模拟纤维支气管镜训练装置
CN112888395A (zh) * 2018-10-22 2021-06-01 阿克拉伦特公司 用于实时更新穿行摄像机放置的方法和系统
CN113507899A (zh) * 2019-02-28 2021-10-15 皇家飞利浦有限公司 对末端执行器的反馈连续定位控制
CN112315582A (zh) * 2019-08-05 2021-02-05 罗雄彪 一种手术器械的定位方法、系统及装置
CN112315582B (zh) * 2019-08-05 2022-03-25 罗雄彪 一种手术器械的定位方法、系统及装置
WO2021139672A1 (zh) * 2020-01-07 2021-07-15 日本电气株式会社 医疗辅助操作方法、装置、设备和计算机存储介质

Also Published As

Publication number Publication date
RU2011120186A (ru) 2012-11-27
EP2348954A1 (en) 2011-08-03
US20110282151A1 (en) 2011-11-17
WO2010046802A1 (en) 2010-04-29
JP2012505695A (ja) 2012-03-08

Similar Documents

Publication Publication Date Title
CN102186404A (zh) 基于图像的定位方法和系统
Grasa et al. Visual SLAM for handheld monocular endoscope
US20120063644A1 (en) Distance-based position tracking method and system
US20120062714A1 (en) Real-time scope tracking and branch labeling without electro-magnetic tracking and pre-operative scan roadmaps
US11295460B1 (en) Methods and systems for registering preoperative image data to intraoperative image data of a scene, such as a surgical scene
Wen et al. In situ spatial AR surgical planning using projector-Kinect system
Wei et al. Stereo dense scene reconstruction and accurate localization for learning-based navigation of laparoscope in minimally invasive surgery
Liu et al. Hybrid electromagnetic-ArUco tracking of laparoscopic ultrasound transducer in laparoscopic video
Jia et al. Long term and robust 6DoF motion tracking for highly dynamic stereo endoscopy videos
Reichard et al. Intraoperative on-the-fly organ-mosaicking for laparoscopic surgery
Wei et al. Stereo dense scene reconstruction and accurate laparoscope localization for learning-based navigation in robot-assisted surgery
Hsieh et al. Markerless augmented reality via stereo video see-through head-mounted display device
Docea et al. Simultaneous localisation and mapping for laparoscopic liver navigation: a comparative evaluation study
Chen et al. Augmented reality for depth cues in monocular minimally invasive surgery
Chung et al. Extraction of visual features with eye tracking for saliency driven 2D/3D registration
Yang et al. A novel neurosurgery registration pipeline based on heat maps and anatomic facial feature points
Lin Visual SLAM and Surface Reconstruction for Abdominal Minimally Invasive Surgery
Hein et al. Next-generation Surgical Navigation: Multi-view Marker-less 6DoF Pose Estimation of Surgical Instruments
EP4082469B1 (en) Automatic determination of an appropriate positioning of a patient-specific instrumentation with a depth camera
Yang et al. 3D reconstruction from endoscopy images: A survey
US20230196595A1 (en) Methods and systems for registering preoperative image data to intraoperative image data of a scene, such as a surgical scene
Helferty Image-guided endoscopy and its application to pulmonary medicine
Hein et al. Creating a Digital Twin of Spinal Surgery: A Proof of Concept
Roberti Medical SLAM in an autonomous robotic system
Gu Interventional 2D/3D Registration with Contextual Pose Update

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20110914