CN1798334B - 用于编辑从体内所获取的图像流的系统和方法 - Google Patents

Abstract

本发明公开了一种用于编辑图像流的系统和方法，其中该图像流可以是由例如可摄取的探测管所产生的。一个工作站接收由探测管所获取的图像，并作为运动图像在监视器上显示图像。编辑方法可以包括，例如，选择按照预定标准的图像。如此可创建短小影片。

Description

用于编辑从体内所获取的图像流的系统和方法

技术领域

本发明涉及用于编辑从体内所获取的图像流的方法和系统。更特别地，本发明涉及根据预定标准来编辑从体内所获取的图像流的系统和方法。

背景技术

当观看影片，例如可以用于医学诊断的运动图像流时，观看者可能希望仅仅观看某些部分或帧，或者可能希望仅仅观看短小的预览，例如，根据预设的标准，仅仅概括特定的帧并跳过其他帧。

例如，可以使用通过可摄取的探测管来执行的体内成像系统，来成像患者内腔。当探测管通过GI内腔时，成像系统获取和传输诸如肠胃道的图像到外部记录装置。这样的体内成像系统提供一个观看内腔的运动或静止图像的平台。可以收集大量的图像用来观看。例如，可以依次组合图像，以及可以将例如长度超过120分钟的运动图像呈现给用户。希望使诸如医生的用户能够观看整个获取长度的一个短的概况，从而节省观看医师的挑剔时间，同时基于所产生的概况仍然能够实现可靠正确的诊断。

发明内容

本发明的示例性实施例提供了一个用于编辑图像流的系统和方法，该图像流优选地是由诸如可摄取的探测管这样的体内成像装置产生。工作站接收图像，并将诸如运动图像这样的图像显示在监视器上。用户可以选择一种编辑方法来创建一个编辑影片，以及观看创建过的编辑影片。

流编辑方法可以包括多种方法，例如，基于预定帧选择和帧跳跃的方法，或者基于属于已知症状(例如机能性出血和/或溃疡等等)的预定图像的识别的方法。

附图说明

参考附图以及如下描述，可以更好地理解根据本发明的系统和方法的原理和操作，应当明白，所给出的这些附图仅仅是用于说明性的目的，而不表示限制，其中：

图1表示根据本发明一个实施例的体内成像系统的示意图；

图2是根据本发明的一个实施例在图1中监视器上显示的一个图像和一组操纵和编辑工具的示意图；和

图3描述了根据本发明一个实施例的基于所选逻辑编辑方法来观看编辑的运动图像的流程图。

应该理解，为了说明的简单和清楚，附图中所示的单元不必按比例绘制。例如，为了清楚起见，某些单元的尺度和/或长宽比可以相对于其他单元被放大。进一步地，在合适的情况下，在整个系列视图中，参考标记可以在附图中重复以表示对应或类似的单元。

具体实施方式

在下面的描述中，将描述本发明的各个方面。出于解释的目的，阐述特特定的结构和细节，以便提供本发明详尽的理解。然而，对于本领域技术人员来说，很显然，可以实现本发明，而在此呈现的特特定细节。更进一步地，可以省略和简化公知的特征，以便没有使本发明变得模糊。

除了其他特定的声明外，从下面的讨论中很明显的，可以理解，在整个说明书讨论中使用的术语例如“处理”、“计算”、“存储”、“确定”等等，指的是计算机或计算系统或类似的电子计算装置的动作和/或处理，其中，计算机或计算系统或类似的电子计算装置操纵和/或将计算机系统寄存器和/或存储器中表示为诸如电子的物理量的数据转化成在计算机系统的存储器、寄存器或其他这样的信息存储器、传输或显示装置中表示物理量为的其它类似数据。

本发明的实施例可以包括用于执行器其中的操作的装置。这样的装置可以根据想要的目的进行具体地构造，或可以包括由存储在计算机中的计算机程序选择性地激活或重构的通用计算机。这样的计算机程序可以存储在计算机可读存储介质中，例如，但不仅仅限于，包括软盘、光盘、CD-ROM、磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、电可编程序只读存储器(EPROM)、电可擦可编程序只读存贮器(EEPROM)、磁卡或光卡的任何类型的盘，或用于存储电子指令并能够连接到计算机系统总线上的其他任何类型的介质。

在此所出现的处理和显示不是固有地与任何特定的计算机或其他装置有关。各种通用系统可以根据在此的教导与程序结合使用，或它可以证明便于构造更具体的装置以便执行期望的方法。可以理解，多种程序设计语言可以用来实现在此所描述的发明的教导。

本发明的一些实施例针对典型的可吞咽的体内装置，例如自主可吞咽探测管。其他的实施例不需要是吞咽的或自主的，并可以具有其他的形状或者结构。根据本发明实施例的装置包括适用于本发明实施例的成像、接收、处理、存储和/或显示单元，其可以是类似于国际申请WO01/65995和/或美国专利号5,604,531中所描述的实施例，它们都转让给本发明的共同受让人，并且它们每个都结合在此作为参考文件。当然，在本文所描述的装置和系统可以具有其它的结构和其他种类的部件。

参考图1，其显示根据本发明一个实施例的体内成像系统的原理图。

根据一些实施例，该系统可以包括一个装置，例如探测管40。探测管40可以使用可吞咽探测管来实施，然而也可以使用其他类型的装置或合适的设备。根据一个实施例，探测管40可以与外部的接收和显示系统进行通信以提供数据显示、控制或其他功能。例如，可以由内部电池或无线接收系统来提供电源。其他实施例可以具有其他的结构和性能。

在一个示范性的实施例中，该系统包括一个探测管40，探测管40具有成像器46，用于获取图像；一个照明源42，用于照明身体内腔；以及一个发射器41，用于将图像以及可能的其他信息发送至接收装置。一个光学系统，包括，例如，透镜或反射镜，可以辅助将反射光聚焦到成像器46。

优选地，图像接收器12定位于患者身体外的一个或多个位置，优选地包括一个天线或天线阵列、图像接收器存储单元16、数据处理器14、数据处理器存储单元19、以及图像监视器18，图像监视器18特别地用于显示由探测管40记录的图像.优选地，图像接收器12和图像接收器存储单元16是微型的和便携的，并在图像记录期间带在患者身体上.根据本发明的实施例，数据处理器存储单元19包括图像数据库210以及逻辑编辑数据库200.根据一个实施例，逻辑编辑数据库200包括预定标准，该预定标准具有关于应当将那个在图像数据库中存储的选择的图像显示给观众的规则，例如显示所获取的几百个帧中的一个选择规则，或用于扫描和选择已知症状(例如机能性出血或溃疡)的预定图像的选择规则.

根据本发明的一个实施例，数据处理器14，数据处理器存储单元19以及监视器18是个人计算机或包括诸如处理器14、存储器、磁盘驱动器以及输入输出装置这样的标准部件的工作站的一部分，尽管替换结构是可以的，本发明的系统和方法可以在各种合适的计算系统上执行。

数据处理器14可以包括任何标准的数据处理器，诸如微处理器、多处理器、加速器板、或任何其他串行或并行高性能处理器。图像监视器18可以是计算机屏幕、传统视频显示器、或其他任何能够提供图像或其他数据的装置。

优选地，成像器46是一个适当的CMOS摄像机，例如由以色列公司GivenImaging Ltd.指出以及由美国Photobit Corporation of California设计的一个“片上摄像机”型CMOS成像器。在替换的实施例中，成像器46可以是其他装置，例如，一个CCD。照明源42可以是，例如，一个或多个发光二极管，或其他合适的光源。

在操作中，成像器46获取图像并将表示图像的数据发送到发射器41，发射器41通过使用例如无线电磁波来将图像发送到图像接收器12。图像接收器12将图像数据传送到图像接收存储单元16中。在数据收集的某个时期之后，存储在存储单元16中的图像数据被发送到数据处理器14或数据处理器存储单元19中。例如，图像接收器存储单元16可以从患者的身体上移开，并通过例如已知构造的串行或并行接口这样的标准数据链路来连接到个人计算机或包括数据处理器14和数据处理器存储单元19的工作站上。然后将图像数据从图像接收器存储单元16中发送到在数据处理器存储单元19中的图像数据库210。数据处理器14可以特别地根据逻辑编辑数据库200来分析和编辑数据，并将分析过和编辑过的数据提供给图像监视器18，在此健康专家观看图像数据。数据处理器14操作软件，其中该软件与诸如操作系统和设备驱动程序的基础操作软件一起控制数据处理器14的操作。根据一个实施例，控制数据处理器14的软件包括使用C++语言以及可能的附加语言编写的代码，但也可以以多种已知方法来实施。

收集到的和存储的图像数据可以长期存储，传输到其他位置，或者对其进行操作或分析。健康专家可以使用图像来进行诊断例如肠胃道的病理状况(例如食道)，另外，系统可以提供关于这些病理位置的信息。当使用数据处理器存储单元19首先收集数据并随后将数据传送到数据处理器14的系统时，图像数据不能实时观看，其他的配置可允许实时观看。

例如，根据一个实施例，当观看从体内装置产生的数据流时，观看者能够从逻辑编辑数据库200中采用一个编辑方法，并根据逻辑数据库200中的预定标准仅仅观看所选图像。

图像监视器18呈现图像数据，优选地以静止和运动图像形式，以及另外可以呈现其他信息.在示例性实施例中，这样的附加信息可以包括，但不仅仅限于，显示当前图像所经过的绝对时间和概括信息.显示当前图像所经过的绝对时间可以是，例如，探测管40首次激活和图像接收器12开始接收来自探测管40的传输的时刻与所显示的当前图像被获取的时刻之间所经过的时间的总量.在其他的实施例中，所经过的时间可以是其他的度量标准，例如从运动图像开始到当前点的所经过的时间.在进一步的实施例中，可以使用例如所经过的帧数目这样的度量标准.在一个具体实施例中，可以在窗口中显示各种类型的信息.多个监视器可以用来显示图像和其他数据.

根据本发明的一个实施例，体内成像系统随着它穿过肠胃道而收集一系列静止图像。随后可以呈现这些图像，作为例如穿过肠胃道的图像流或运动图像。当探测管40持续几个小时穿过肠胃道时，体内成像系统能够收集大容量的数据，以及可以以例如每秒两个图像的速率来记录图像，如此便能得到数千图像的记录。可以改变图像记录速率(或帧获取速率)。

尽管在替换的实施例中可以使用其它图像格式，但是优选地，由探测管40所记录和传输的图像数据是数字彩色图像数据。在一个具体实施例中，根据已知方法，图像数据的每个帧包括256行，其中每行具有256个像素，每个像素包括色度和亮度字节。例如，在每个像素中，色度可以由四个子像素的嵌合体来表示，每个子像素对应诸如红、绿、兰这样的基色(其中一个基色出现两次)。由一个字节(即0-255)亮度值来记录所有像素的亮度。根据一个实施例，图像被依次存储在数据处理器存储单元19中。所存储的数据可以包括一个或多个像素特性，包括色度和亮度。

优选地，当由某些单元执行信息的收集、存储以及处理时，本发明的系统和方法可以用替换的结构实施。例如，收集图像信息的部件不需要包含在探测管中，但是可以包含在任何其它适于穿过人体内腔的载体中，例如一个内窥镜、展幅器、导尿管、探针等。

优选地，数据处理器存储单元19存储一系列的由探测管40所获取的图像。当探测管40移过患者的肠胃道时所记录的图像可以连续组合以形成运动图像。该运动图像可以显示在监视器18的窗口上。运动图像可以被冻结以便显示一帧也可以快进或者倒退。根据一个实施例，部分图像可以自动或由用户根据存储在逻辑数据库200中的一个预定标准进行跳跃。虽然下列的讨论涉及将来自探测管40的数据被存储以便随后使用的情况，但是本发明的系统和方法可以同允许实时观看图像数据的系统一起使用。

在一个示例性实施例中，运动图像作为一系列图像存储在图像数据库210中，以及将逻辑编辑方法或规则存储在逻辑数据库200中。图像数据库210和逻辑数据库200可以用各种已知方式来实施。然而，在一个示例性实施例中，图像数据库210和逻辑数据库200被存储在同一通用存储单元中，在一个替换的实施例中，图像数据库210和逻辑数据库200可以分开存储。更进一步地，存储在图像数据库210和逻辑数据库200中的信息可以以各种组合进行存储；例如，图像和逻辑编辑规则/方法可以存储在同一个数据库中。优选地，对应图像数据库210的编辑图像的逻辑数据库200的条目包括一个到图像数据库210中的图像或对应图像的数据库记录的链接，例如一个指针或数据库索引。链接可以包括，例如，图像获取的相对时间或图像帧编号。在替换实施例中，多组或多系列图像可以存储在注释中。在进一步的实施例中，不需要这样的链接，图像数据和编辑数据可以存储在同一个数据库中。在替换的实施例中，其他系列的步骤可以用来完成本发明。

当本文所使用的“预定标准”以及它的引申可以指任何类型的逻辑方法/规则，例如根据一个参数来选择帧的规则.参数可以是基于数值的，比如在每一百或两百个所产生的图像中选择一个图像用于观看.根据一些实施例，参数可以是基于图像质量，例如从每组图像中选择质量最佳图像.其他编辑的方法可以是基于不同的标准，例如对图像数据库210中的某个预定区域或图像进行逻辑扫描，例如根据类似于数据库中已经存在的图像的图像或百分比中色彩的不同来为内出血进行医学诊断自动扫描，这类似于标题为“METHOD ANDSYSTEM FOR DETECTING COLORIMETRIC ABNORMALITIES IN VIVO”的美国专利申请号10/097,096中的描述，其与本身请对应同一受让人，其全部内容结合在此作为参考文件。

根据本发明的一些实施例，用户也能够根据特别的需求来定义和创建编辑方法，以及选择显示多少或哪些特殊帧。特定时间帧能够被设置为每个身体区域，例如观看从食道中所产生的每隔两个的图像，和从胃腔中所产生的每隔29个的图像。另外，根据一些实施例，多个编辑方法可以被组合和应用，例如，扫描可疑出血区域和显示扫描结果中每隔两个的帧。

当观看运动图像时，根据一个实施例，用户可以在监视器18上显示三个窗口。一个图像窗口提供运动图像或所述图像的静止部分。这样的一个窗口可以包括改变图像显示的按钮或其他控件；例如，停止、播放、暂停、捕捉图像、跳跃、快进、倒退或其他控件。这样的控件可以通过例如鼠标或跟踪球这样的指针装置来激活。

根据本发明的一个实施例，当数据被流化时，用户可以从一个编辑系统转换到其他系统。通知确定转换的信息窗口可以被激活，以及结果图像的区域和时间帧可以与与所选择的编辑系统有关的相关细节一起被显示。

根据一些实施例，时间线窗口可以提供一时间线，即，运动图像所经过的总时间的指示，以及基于所选择编辑方法可以提供其他信息，例如运动图像的总时间和全部获取装置的输出中所显示帧的百分比，以及观看者基于所选择的编辑方法概括的内容。

在一个实施例中，时间线可以是以时间单位来标记的条形，具有附着到该时间线部分的视觉上不同的色彩，其表示与注释相关联的部分所经过的时间。

图2描述了根据本发明一个实施例在图1所述监视器18上所显示图像和控制区域的示意图。图像窗口300显示运动图像302，或运动图像302的静止部分。控件304可以改变运动图像302的显示。编辑控件306允许用户从例如图表310中所列出的可用方法的列表中选择一个编辑方法。

根据本发明的一些实施例，不同的控件304按钮被分配给每个编辑方法。例如，对于基于可疑出血指示器(SBI)扫描的方法，可以弹出具有使图像冻结、快进和倒退选项等的按钮的导航窗口。时间线窗口314提供时间线或时间曲线图312，并包括注释的概要313，其基于所选择编辑方法来参考时间曲线图312上合适的相关时间。

图3描述了如本发明一个实施例的基于所选择编辑方法来观看运动图像的流程图。在步骤410中，不同的编辑方法被引入到体内成像系统中。编辑方法作为例如一个编辑方法列表，可以存储在逻辑编辑数据库200中。根据一些实施例，在输出影片被存储在图像数据库之前，在该影片已经被存储之后或在所存储的影片被重放期间，用户能够选择编辑方法。

在步骤420中，系统接收图像帧列表，并可以将它们存储在图像数据库中。在步骤430中，用户可以从编辑方法列表中选择一个编辑方法。优选地，用户按下一个控制键，例如选择编辑方法图像按钮306来选择所希望得到的编辑方法。在步骤440中，用户可以观看从他所选择编辑方法中所得到的图像流。根据本发明的一些实施例，每个方法被分配给一个特定的工具窗口，能够容易并有效地使用编辑系统。

例如，对于从每隔九个帧就显示一帧的编辑方法中编辑的概况影片来说，分配一些特定的按钮，具有使影片能够重放、帧冻结、快进以及后退选项。

另外，根据一些实施例，编辑系统选择按钮是可用的，其能够让用户在需要更详细的浏览的情况下转换帧选择和编辑方法。这个按钮将使用户很容易在编辑方法和转换之间进行触发，例如从每隔19个帧的概况浏览到每隔一个帧的更详细的影片概况。对所记录的每个时间帧或每个身体区域的图像，这样，用户可以应用不同的方法。用户也可以触发基于SBI模式或编辑搜索模式的帧数字化选择的方法之间的转换。

根据一个实施例，用户可以使用例如键盘来输入注释信息，例如图像的文文描述。优选地，对应图像数据库210的注释图像的注释数据库的条目包括一个到图像数据库的图像或对应图像的数据库记录的链接，例如一个指针或数据库索引。链接可以包括，例如，图像获取的相对时间或图像帧编号。在替换实施例中，多组或多系列图像可以存储在注释中。

用户可以观看和编辑注释。典型地，首先，通过使用例如指针装置来表示在时间线窗口或注释窗口中的注释，用户选择注释。注释或注释概况可以出现在除了时间线或注释窗口之外的区域。注释的全文或表示被显示或输出，并且例如用户可以在诸如弹出的窗口中读取或编辑文本。用户可以观看图像或包含在注释中的组图的放大图。根据一些实施例，基于注释可以创建图像流。优选地，对应图像数据库210的注释图像的注释数据库的条目包括一个到图像数据库的图像或/和对应图像的逻辑编辑数据库200记录的链接，例如一个指针或数据库索引。

发明实施例的前面所描述的作为说明和描述的目的。这并不意味着穷举或限制发明到所公开的精确形式。本领域技术人员应当理解到，根据上面的教示，许多改进、变化、替换、变换和等效是允许的。因此，应当了解，所附的权利要求意图在于覆盖落在发明宗旨范围内的所有这样的改进和变换。

Claims (14)

1.一种用于编辑体内获取的图像流的方法，该方法包括以下步骤：

通过放置在身体内腔中的体内装置获取一组图像；

将所述一组图像传送到工作站；

基于从由下述编辑方法组成的编辑方法组中选择的多个编辑方法的组合来从所述一组图像中自动地选择图像：选择每第n个图像来供显示，其中n是根据生成所述图像的身体区域而确定的；选择与症状相关的图像来供显示；选择与预先存在的图像相似的图像来供显示；以及选择具有确定质量的图像来供显示；以及

将所选择的图像作为运动图像显示在监视器上。

2.如权利要求1所述的方法，其中，所述编辑方法组还包括：基于以注释为基础的标准来选择图像和/或基于色差标准来选择图像。

3.如权利要求1所述的方法，其中，所述装置是探测管。

4.如权利要求1所述的方法，其中，所述图像是来自胃肠道的图像。

5.如权利要求1所述的方法，其中，多个编辑方法的所述组合是由用户选择的。

6.一种用于存储用来观看图像流的编辑方法的系统，该系统包括：

能够接收由放置在身体内腔中的体内装置所获取的一组图像的图像存储器；

能够存储编辑方法组的编辑存储器，所述编辑方法组用于基于由下述编辑方法组成的编辑方法组中选择的多个编辑方法的组合来从所述一组图像中自动地选择图像：选择每第n个图像来供显示，其中n是根据生成所述图像的身体区域而确定的；选择与症状相关的图像来供显示；选择与预先存在的图像相似的图像来供显示；以及选择具有确定质量的图像来供显示；以及

用于将所选择的图像显示为运动图像的显示器。

7.如权利要求6所述的系统，其中，所述体内装置是可吞咽的探测管。

8.如权利要求6所述的系统，其中，多个编辑方法的所述组合是由用户选择的。

9.如权利要求6所述的系统，其中，所述图像是来自胃肠道的图像。

10.一种用于编辑在体内获取的运动图像的系统，所述系统包括：

体内装置，用于当被放置在身体内腔中时，获取一组图像；

工作站，用于接收由所述体内装置获取的所述一组图像，并且基于由下述编辑方法组成的编辑方法组中选择的多个编辑方法的组合来从所述一组图像中自动地选择图像：选择每第n个图像来供显示，其中n是根据生成所述图像的身体区域而确定的；选择与症状相关的图像来供显示；选择与预先存在的图像相似的图像来供显示；以及选择具有确定质量的图像来供显示；以及

显示器，用于将所选择的图像显示为运动图像。

11.如权利要求10所述的系统，其中，所述编辑方法组还包括：基于以注释为基础的标准来选择图像和/或基于色差标准来选择图像。

12.如权利要求10所述的系统，其中，所述装置是探测管。

13.如权利要求10所述的系统，其中，所述图像是来自胃肠道的图像。

14.如权利要求10所述的系统，其中，多个编辑方法的所述组合是由用户选择的。

Images