CN100426321C - 使用多尺度取向片段的多图像匹配 - Google Patents

Abstract

提供用于确定场景的多图像中的对应点。这包括根据新类型的不变特征的多视图匹配框架。特征定位于尺度空间的Harris角并使用模糊局部梯度定位。这定义采样特征描述的相似不变框架。实际形成的描述是强度值的偏移/增益规格化片段。匹配使用在低频率Haar子波系数上使用索引的快速最近邻过程完成。使用对于片段匹配的简单6参数模型并分析用于正确和错误匹配的噪声统计。这导致根据每个特征异常距离简单匹配验证过程。

Description

使用多尺度取向片段的多图像匹配

背景技术

技术领域：

本发明涉及确定场景的多图像中的对应点，更具体地说，涉及一种快速提取特征并找到场景中大量部分重叠图像的对应特征的系统和过程。

背景技术：

在图像中找到的通常指图像匹配的对应特征是几乎任何视频应用的基本成分，这些应用试图从多于一个图像中提取信息。图像匹配的早期研究分成两部分-基于特征的方法和直接方法。基于特征的方法尝试提取诸如边和角的显著特征，然后使用少量局部信息(例如：小图像片段相关性)建立匹配[8]。相比仅使用少量有效图像数据的基于特征的方法而言，直接方法尝试使用所有像素值以迭代排列图像[1，9]。其他匹配和确定方法已经不变地用于特征化对象，有时建立典型帧的方法用于此目的[14，15]。

这些方法的交集是不变的特征，该特征使用显著特征周围的大量局部图像数据以形成用于索引和匹配的不变描述符。首先研究该领域的是Schmid和Mohr[16]，他们使用一组高斯公差以形成Harris角周围的循环不变的描述符。Lowe扩展这方法以结合尺度恒定性[10，11]。其他研究已经开发了几何学变换下不变的特征[3，20，5]。感兴趣点检测器从诸如Harris角或高斯差分(DOG)最大值的标准特征检测器变化到诸如最大稳定区域[12]和稳定局部阶段结构[7]的更详细方法。

通常，认为感兴趣点提取和描述符匹配是两个基本步骤，并且已经关于感兴趣点可重复性[17]和描述符性能[13]的各种技术进行评价。这已迫使应用程序对来自运动[19]和全景成像[6]的结构环境进行多视角匹配。然而，目前为此，没有一个这样的过程提供快速提取特征并找到场景中大量部分重叠图像的对应特征的能力。

在前述段落，以及该说明书的其余部分要注意的是，描述参考由包括在括号内的数字指示确定的各种专门出版物。例如，这样的参考可能由叙述确定，″参考[1]″或仅有″[1]″。多个参考由括号内包括多于一个指示确定，例如，[2，3]。包括对应每个指示的出版物的参考列表可以在详细说明部分的结尾处找到。

发明内容

本发明涉及一种用于根据新类型不变特征在场景的多图像中确定对应点的系统和过程。该系统和过程能快速提取特征并在场景的大量部分地重叠的图像中找到对应关系。当找到图像缝合和视频稳定的图像对应关系时，这技术完成的相当好。它也能容易扩展到更一般的多图像对应，例如，对于从多图像中跟踪视频特征和构建3-D模型。

更具体地，本系统和过程包括首先确定在改变分辨率的每个图像中的感兴趣点。感兴趣点是其在图像中的位置由至少一个属于该点周围预定尺寸的象素邻域内的象素的属性值定义的点。此外，每个感兴趣点是能够根据至少一个属于该点周围象素邻域内的象素的属性值分配唯一取向(它可以是应用到定义点位置的相同属性或特征或另外属性或特性)。第二个邻域可以与用于定义该点位置的邻域具有相同尺寸、或是不同尺寸的邻域。

一旦已经确定感兴趣点，对于每个感兴趣点建立描述符。这个描述符以实际对于图像位置、取向和尺度不变，以及对于该点周围区域的象素强度不变的方式特征化每个点。接下来，在各图像中确定实际匹配描述符集合。然后指定每个在不同图像中出现的匹配描述符集合相关的感兴趣点作为对应点(即描述场景相同部分的点)。

关于确定每个图像中的感兴趣点，对于每个图像，这可通过首先形成图像分辨率金字塔来完成。在金字塔的每个级别中，确定表示图像角特征的位置。例如，在本系统和过程的测试实施例中，使用称为Harris的角特征。确定角特征位置的一种方法是找到每个角特征的位置，该位置显示出角强度，它是该位置中心的预定最小邻域半径的象素邻域的局部最大值并超过预定最小强度阈值。如果确定的角位置的总数超过预定最大数，则邻域半径增加一些预定整数值并确定是否每个先前确定位置的角强度仍然是当前要考虑的象素邻域的局部最大值并仍然超过最小强度阈值。如果两个条件都不满足，从考虑中删除角位置。一旦所有角位置已经重复测试，它重新确定是否总数超过最大允许值。如果超过，再次增加半径并且重复前述过程。这交替过程继续，直到角位置数目等于或降到最大允许值。在该点上，每个剩余的确定位置指定作为表示分开的角特征。每个剩余角特征的位置可以通过分配其位置提炼，其中示出要考虑的确定位置中心的预定尺寸局部邻域上适合的二维方形表面的最大强度。

每个剩余的角特征也分配取向。在本系统和过程的测试实施例中，这通过使用模糊梯度方法完成。最后，每个剩余的角特征的确定位置指定作为具有计算用于相关角特征的取向的分离的感兴趣点。

关于对于每个感兴趣点产生描述符，这可通过首先建立要考虑的感兴趣点位置中心的预定p×p大小的描述符区域完成，它是根据感兴趣点取向进行取向。接下来，预定大小d×d描述符矢量形成，该矢量是小于描述符区域并且使用在该区域中的象素的强度值的双线性内差以通过从适当金字塔级取样避免偏差的方式取样。然后，描述符矢量关于偏差和增益标准化，并在标准化的描述符矢量上实施Haar小波变换以产生变换的矢量。

对于在图像中找到实际匹配的描述符，这通常通过匹配每个变换的描述符矢量到特征空间中的它最近邻的预定数来完成。完成该工作的一种方法是首先从每个变换的描述符矢量的三个非零小波系数的前个产生三维散列表。然后，对于散列表的每个结点(bin)，计算其中找到的每个三系数矢量的距离。依次选择每个三系数矢量并根据计算距离确定相同结点(bin)的最近邻的预定数，但它与选择的矢量相同图像无关。这形成潜在匹配矢量集合。这些集合中的每个矢量有关的感兴趣点在这些图像中指定作为对应点。在匹配过程的测试实施例中，构造每维10结点(bin)的散列表，每个结点(bin)具有一半的重叠区域。注意到，作为确定每个矢量最近邻的可选预定数，在相同结点(bin)中发现分别与每个图像相关的最近邻，除了要考虑的矢量相关的图像外，还要达到每个图像的预定数，可以确定替代以形成潜在匹配矢量集合。

指定每个潜在匹配矢量集合中矢量相关的感兴趣点作为对应点，它可能错误地删除确定的匹配。通常，如果与其相关的感兴趣点实际上不对应在相同矢量集合中与另外三系数矢量相关的另外图像的感兴趣点，则必须从考虑为潜在匹配矢量中删除任何三系数矢量。它可以多种方式完成。对于每个匹配矢量集合，一种方式必须首先为每个集合计算异常距离，然后确定是否该集合中计算的任何匹配矢量距离大于异常距离的65％。如果发现匹配矢量的距离大于异常距离的65％，删除考虑作为相应图像点。该排除策略指的是使用异常距离约束的异常排除。另一种错误地从集合中删除匹配矢量的方式是完成标准几何异常排除过程和删除与任何矢量有关的作为对应点的发现为异常的感兴趣点。本质上，这个几何异常排除过程包括找到两个图像中所有点最佳匹配的变换和当变换时排除特定误差中不对应的点。它也可能使用前述两种排除技术。例如，在本系统和过程的测试实施例中，使用异常距离约束的排除策略首先遵循几何异常排除过程。

除上述描述的优势外，当结合附图，本发明的其他优点从下文的详细说明书中变得更明显。

附图说明

参照下述说明、附加权利要求和附图，本发明的特定特征、方面和优点将变得更好理解。

图1是描述构成用于实施本发明的示例性系统的通用计算设备的图。

图2是图解根据本发明确定相同场景的多图像中对应点的整个过程的流程图。

图3是比较调和平均值感兴趣点检测功能和Harris与Shi-Tomasi功能的等轮廓(isocontour)图。

图4是演示具有子象素位置和没有子象素位置的感兴趣点重复性的图。

图5A-5C是图示根据本发明产生描述符矢量的过程的流程图。

图6是山脉场景的图，其中峰值上的感兴趣点相关的描述符区域示出为白框子，和感兴趣点的位置示出作为框子中心的白点以及包括从感兴趣点延伸的线以指示分配给该点的取向方向。

图7是示出从图6的描述符区域形成的8×8描述的图像。

图8(a)和8(b)示出具有公共部分的山脉场景的两个图像，其中任何异常排除处理前确定的两个图像间的相应位置示出为白点。

图9(a)和9(b)分别示出在使用异常距离约束的异常排除技术应用后的图8(a)和8(b)的相同图像。

图10(a)和10(b)分别示出在应用几何基础的异常排除技术后的图9(a)和9(b)的相同图像。

图11是使用根据图5A-5C产生的描述符矢量在场景的图像间发现对应点的过程的流程图。

优选实施例

在下述本发明的优选实施例中，参照构成此部分的附图，并且其中通过示出本发明可以实施的特定实施例示出。可以理解，在不脱离本发明范围情况下，可以利用其他实施例并且可以有结构的变化。

1.0计算环境

在提供本发明的优选实施例的描述前，将描述本发明可以实施的合适计算环境的简短、通用描述。图1示出合适计算系统环境100的实例。该计算系统环境100仅是合适计算环境的一个实例而不试图建议限制本发明功能或使用范围。计算环境100既不解释为具有一些任何一个有关的依赖或要求也不解释为本示例性操作环境100中示出的组件的组合。

本发明以大量其他通用或专用的计算系统环境或配置运作。公知的适合用于本发明的计算系统、环境、和/或配置的实例包括但不限制：个人计算机、服务器计算机、手持式或膝上型设备、多处理器系统、基于多处理器的系统、机顶盒、可编程消费电子装置、网络PC、小型计算机、大型计算机、任何包括上述系统或设备的分布式计算环境等等。

本发明可以在诸如计算机执行的程序模块的计算机可执行指令的常规环境描述。通常，程序模块包括例程、程序、对象、组件、数据结构等等，它们完成特定任务或执行特定抽象数据类型。本发明也可以在分布式计算环境方面实践，其中任务由通过通信网络连接的远程处理设备实施。在分布式计算环境中，程序模块可以位于局部和包括内存储器设备的远程计算机存储介质。

参照图1，用于执行本发明的示例性系统包括计算机110形式的通用计算设备。计算机110的组件包括但不限制：处理单元120、系统存储器130和连接若干包括系统存储器的系统组件到处理器单元120的系统总线121。系统总线121可以是任何若干种类的总线结构，包括：存储器总线或存储器控制器、外围总线和使用各种总线结构的任何一种的局部总线。以实例方式而不是限制，这样的体系结构包括工业标准体系结构(ISA)总线，微通道体系结构(MCA)总线、增强的ISA(EISA)总线、视频电子标准协会(VESA)局部总线和外围组件互连(PCI)总线也公知为多层构架总线。

计算机110一般地包括各种计算机可读介质。计算机可读介质是计算机110可以访问的任何可用介质并包括易失性和非易失性介质，可移动和不可移动介质。通过实例而不是限制，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括在任何方法或技术中实施用于存储诸如计算机可读指令、数据结构、程序模块或其他数据的信息的易失性和非易失性、可移动性和不可移动性介质。计算机存储介质包括但不限制于RAM、ROM、EEPROM、快速闪存或其他存储技术、CD-ROM、数字多功能光盘(DVD)或其他光盘存储、磁卡、磁带、磁盘存储器或其他磁存储设备，或任何其他可用于存储想要的信息并可以被计算机110访问的介质。通信介质典型地包括计算机可读指令、数据结构、程序模块或者调制数据信号中的诸如载波或其他传输机制的其他数据并包括任何信息传递介质。术语″已调数据信号″指的是具有一个或多个其特征设置或以这种方式变化以便编码信号中信息的信号。通过实例而不是限制，通信介质包括诸如有线网络或直接有线连接的有线介质，和诸如声学、RF、红外和其他无线介质的无线介质。上述任何的组合也应当包括在计算机可读介质的范围内。

系统存储器130包括诸如只读存储器(ROM)131和随机存取存储器(RAM)132的易失性和/或非易失性存储形式的计算机存储介质。包含有助于在计算机110中的元件间传输信息的基本例程的基本输入/输出系统133(BIOS)，例如在开启期间，通常存储在ROM 131。RAM 132通常包含数据和/或程序模块，它们立即易于访问处理器单元120和/或很快由处理器单元操作。通过实例而不是限制，图1示出操作系统134、应用程序135、其他程序模块136和程序数据137。

计算机110也可包括其他可移动/不可移动、易失性/非易失性计算机存储介质。仅实例，图1示出硬盘驱动141，它读取来自或写入到不可移动性、非易失性磁介质；磁盘驱动151，它读取来自或写入到可移动、非易失性磁盘152；和光盘驱动155，它读取来自或写入到诸如CD-ROM或其他光介质可移动、非易失性光盘156。其他可用于示例性操作环境的可移动/不可移动的，易失性/非易失性计算机存储介质包括但不限制：磁带框、快闪存卡、数字多功能盘，数字录像带、固态RAM，固态ROM等等。硬盘驱动141通常通过诸如接口140的不可移动存储器接口连接到系统总线121，而磁盘驱动器151和光盘驱动器155由诸如接口150的可移动存储器接口连接到系统总线121。

上面描述的以及在图1示出的驱动器和它们相关的计算机存储介质提供计算机110的计算机可读指令、数据结构、程序模块和其他数据的存储。在图1中，例如，硬盘驱动141作为存储操作系统144、应用程序145、其他程序模块146和程序数据147示出。注意，这些组件可以同于或异于操作系统134、应用程序135、其他程序模块136和程序数据137。操作系统144、应用程序145、其他程序模块146和程序数据147在这给定不同编号以示出在最小值上，它们是不同副本。用户可以通过诸如键盘162和指示设备161输入命令和信息到计算机110，通常指的是鼠标、跟踪球或接触垫。其他输入装置(没有示出)可包括话筒、操纵杆、游戏杆、卫星天线、扫描器等等。这些和其他输入设备通常通过连接到系统总线121的用户输入接口160连接到处理单元120，但也可通过其他接口和总线结构连接，例如：并行端口、游戏口或通用串口(USB)。监视器191或其他类型显示装置也通过诸如视频接口190的接口连接到系统总线121。除监视器以外，计算机可包括诸如扬声器197和打印机196的其他外围输出设备，它们可通过输出外围接口195连接。关于本发明特别有效的，能够捕获一系列图像193的相机192(例如数字/电子静态或摄像机，或图片/相片扫描仪)也可包括作为个人计算机110的输入设备。此外，尽管仅描述了一台相机，多个相机可作为个人计算机110的输入设备。从一台相机或多台相机中的图像193通过适当的相机接口194输入到计算机110。这接口194连接到系统总线121，从而允许图像路由到并存储在RAM132或与计算机110相关的其他数据存储设备的其中一个中。然而，注意的是，图像数据不需要使用相机192可从上述的计算机可读介质的任何一种输入到计算机110中。

计算机110使用逻辑连接到一个或多个诸如远程计算机180的远程计算机在网络环境中运行。远程计算机180可以是个人计算机、服务器、路由器、网络PC、对等设备或其他通用网络节点，并且通常包括上述与计算机110相关的许多或所有的元件，虽然在图1中仅表示出存储器设备181。图1描述的逻辑连接包括局域网(LAN)171和广域网(WAN)173，但也可包括其他网络。这样的网络环境是办公室公共地方、企业计算机网络、内部网和因特网。

当在LAN网络环境中使用时，计算机110通过网络接口或适配器170连接到LAN 171。当用于WAN网络环境时，计算机110通常包括调制解调器172或其他用于在WAN 173上建立通信的装置，例如：因特网。内置的或外置的调制解调器172可以通过用户输入接口160或其他适当机制连接到系统总线121。在网络环境中，描述的与计算机110有关的或其中部分的程序模块可以存储在远程存储设备中。通过实例而不是限制，图1示出作为驻留在存储设备181上的远程应用程序185。可以理解，示出的网络连接是示例性的并可以使用其他在计算机间建立通信连接的装置。

2.0多图像特征匹配系统和过程

现在讨论示例性操作环境，说明书部分的余下部分将用于使用本发明的程序模块的描述。通常，根据本发明的系统和过程包括在场景的多图像中确定对应点。通常，这是经由图2的高级流程图中示出的下述过程操作完成。首先，在变化分辨率的每个图像中，确定感兴趣点(过程操作200)。感兴趣点在图像中的位置是由至少一个属于该点周围预定大小的象素邻域的象素的属性值定义的点。此外，每个感兴趣点是可以根据该点周围的象素邻域的至少一个属性值给象素分配唯一取向的点(它可以是使用相同属性和特征以定义另一属性和特征的点位置)。第二邻域可以是与用于定义点位置的邻域相同预定大小或不同大小邻域。

一旦在过程操作202中已经确定感兴趣点，对于每个感兴趣点，建立描述符。该描述符以实际不改变图像位置、取向和尺度，也不改变用于定义该点周围区域的象素强度的方式描述每个点。接下来，在图像中确定实际匹配描述符集合(过程操作204)。最后，在过程操作206，指定在不同图像中出现的每个匹配描述符集合有关的感兴趣点作为对应点(即描述场景相同部分的点)。

首先在下面部分将描述特征描述符表示的不变特征的前述新类型，该特征描述符通常是强度值的偏差/增益标准化的片段，接着描述特征匹配方案。

2.1多尺度取向特征

多尺度取向特征特点为四个几何参数和两个光度参数。几何参数是t₁，t₂，θ，_ι，即图像中区域或片段中心的x，y位置、取向和尺度。光度参数是α，β，即片段增益和偏差。假定这种表示，使用用于片段匹配的简单6参数模型，以及分析用来正确和错误匹配的噪声统计。这导致根据每个特征异常距离的简单匹配验证过程。更具体地，相应图像片段间的变换是：

I′(x′)＝αI(x)+β+e    (1)

其中x′＝Ax+t和 $A=s\left[\begin{array}{c}\cos \mathrm{\θ}\sin \mathrm{\θ}\\ -\sin \mathrm{\θ}\cos \mathrm{\θ}\end{array}\right].$ 误差e表示图像噪声和模式错误。特征中心的x，y位置认为是与各点一致，其中该变换是最佳定义-即其中I(x)自相关是峰值。这些点的备选将称为感兴趣点。为了比较特征，可以在原则上计算一对图像位置间的变换参数的最大似然估计。假定高斯噪声，这可通过解决非线性最小均方问题来迭代完成。然而，为了效率，每个特征可由前述模型下的不变式描述，以及可以使用对于特征对间模型参数的闭式近似。误差e的统计可以用来验证匹配是否正确与否。

2.1.1感兴趣点

尽管在图像中有许多可以描述具有位置和取向的点[17]，但选择用于本发明系统和过程的测试实施例的感兴趣点是与称为Harris的角相关。发现如下与这些Harris角一致的感兴趣点。对于每个输入图像I(x，y)，通过平滑和子抽样操作形成最低层P₀(x，y)＝I(x，y)和相关较高层的图像金字塔，即：

${P^{\′}}_l(x,y)=P_l(x,y)*g_{{\mathrm{\σ}}_p}(x,y)$

P_l+1(x，y)＝P′_l(sx，sy)    (2)

其中ι表示金字塔层和g_σ(x，y)表示标准偏差σ的高斯核心。s＝2的子取样率和σ_p＝1.0的金字塔平滑，在该金字塔形成过程的测试实施例中成功使用。然后，通常，大约1.1到3.0范围值可用于s，并且大约0.55到1.5范围值可用于σ_p。从金字塔每层中抽取感兴趣点。层ι和位置(x，y)的Harris矩阵是梯度平滑异常乘积

$H_l(x,y)={\▿}_{{\mathrm{\σ}}_d}{P}_l(x,y){\▿}_{{\mathrm{\σ}}_d}{P}_l{(x,y)}^T*g_{{\mathrm{\σ}}_i}(x,y)---\left(3\right)$

其中

表示在尺度σ的空间公差，即

${\▿}_{\mathrm{\σ}}f(x,y)\▿f(x,y)*g_{\mathrm{\σ}}(x,y)---\left(4\right)$

在测试实施例中，综合尺度设置为σ_i＝1.5而公差尺度设置为σ_d＝1.0。然后使用角检测函数

$f_{\mathrm{HM}}(x,y)=\frac{\det H_l(x,y)}{\mathrm{tr}{H}_l(x,y)}=\frac{{\mathrm{\λ}}_1{\mathrm{\λ}}_2}{{\mathrm{\λ}}_1+{\mathrm{\λ}}_2}---\left(5\right)$

该函数是H的特征值(λ₁，λ₂)的调和平均值。在测试实施例中，认为感兴趣点是定位于其中角强度f_HM(x，y)是邻域内周围局部最大值并超过阈值10.0。然而，注意的是，大约0.5到2.5范围的常规值可以用于σ_i，大于0，5到2.5范围的值可用于σ_d，并且阈值可能是任何可降到零的值。上述邻域周围的大小将简要描述。

感兴趣点检测函数的前述选择理由可根据H和局部自相关函数间的关系来理解。对于图像I(x)，第一序泰勒展开对于局部自相关给于表述：

$e\left(x\right)={|I\left(x\right)-I_0|}^2=x^T\frac{\∂I}{\∂x}\frac{{\∂I}^T}{\∂x}x=x^T\mathrm{Hx}---\left(6\right)$

感兴趣点位于自相关函数的峰值。这意味着e(u)对于所有单元矢量u是较大的，它是等同于要求H的两个特征值是较大的。

注意的是，除了调和平均值函数外，角检测函数也可用于找到感兴趣点位置。例如，称为Harris(即f_H＝λ₁λ₂-0.04(λ₁+λ₂)²＝detH-0.04(trH)²)和Shi-Tomasi(即f_ST＝min(λ₁，λ₂))函数可用于替代。图3比较调和平均值感兴趣点检测函数和这些其他函数的等轮廓线(isocontours)。注意所有检测器需要更大特征值。初步实验建议这些检测器的每个大概给定相同性能，因此可交替使用。

2.1.1.1自适应非最大压缩

由于计算上的考虑，期望对于每个图像产生固定数目的感兴趣点。为了选择很好空间分布在图像中的感兴趣点，可以使用自适应非最大压缩策略。更具体地说，感兴趣点基于角强度f_HM压缩和仅象素半径r邻域内最大值的这些象素剩余。为了从每个图像提取感兴趣点的大约常定数n_ip，它可能搜索非最大压缩半径r。在测试实施例中，使用r＝r_init＝4.0的初始值，尽管这通常从1扩展到15。然后，在连续整数值中搜索r的最大值以便只从每个图像中提取n_ip感兴趣点。然而，在测试实施例中，n_ip＝500，这通常根据图像大小和特征从最低的大约10变化到多达几千。发现：以上述方法空间分布的感兴趣点，相比根据最大角强度选择的感兴趣点，可导致图像匹配的较小降低。

2.1.1.2子象素精度

通过将二维二次方程式应用到局部邻域内(按检测尺度)角强度函数定位感兴趣点到子象素精度并找到它的最大值可以获得更好结果。更具体地，

$f\left(x\right)=f+\frac{{\∂f}^T}{\∂x}x+\frac{1}{2}{x}^T\frac{{\∂}^{2}f}{\∂x^2}x---\left(7\right)$

其中x表示位置(x，y)，和f(x)＝f_HM(x)是角强度计量。在测试实施例中，使用3×3邻域。使用象素差值从3×3邻域内计算公差。即：

$\frac{\∂f}{\∂x}=(f_{\mathrm{1,0}}-f_{-\mathrm{1,0}})/2$

$\frac{\∂f}{\∂y}=(f_{\mathrm{0,1}}-f_{0,-1})/2$

$\frac{{\∂}^{2}f}{\∂x^2}=f_{\mathrm{1,0}}-2f_{\mathrm{0,0}}+f_{-\mathrm{1,0}}---\left(8\right)$

$\frac{{\∂}^{2}f}{\∂y^2}=f_{\mathrm{0,1}}-2f_{\mathrm{0,0}}+f_{0,-1}$

$\frac{{\∂}^{2}f}{\∂x\∂y}=(f_{-1,-1}-f_{-\mathrm{1,1}}-f_{1,-1}-f_{\mathrm{1,1}})/4$

子象素位置的x和y分量这样给定：

$x_m=x_0-\frac{{\∂}^2{f}^{-1}}{\∂x^2}\frac{\∂f}{\∂x}$

$y_m=y_0-\frac{{\∂}^2{f}^{-1}}{\∂y^2}\frac{\∂f}{\∂y}---\left(9\right)$

重复性可定义为其变换的位置修正到少许公差的感兴趣点的片段。图4示出使用前述过程的具有和不具有子象素定位的感兴趣点的重复性。注意，子象素定位给定重复性大约5％改进。

2.1.2取向

每个感兴趣点具有取向θ，其中取向矢量 $[\cos \mathrm{\θ},\sin \mathrm{\θ}]=u/\left|u\right|=\hat{u}$ 来自平滑的局部梯度

$u_1(x,y)=\▿{\mathrm{\σ}}_0{P}_l(x,y)---\left(10\right).$

测试实施例中用于取向的综合尺度是σ₀＝4.5。期望更大公差尺度以便运动域u_ι(x，y)平滑地从图像中变化，使得取向估计稳定感兴趣点位置的错误。然而，通常，取向的综合尺度在大约2.0到7.0间变动。

注意，尽管在本系统和过程的测试实施例中使用模糊局部梯度方法以建立每个感兴趣点的取向，也可使用其他方法。例如，取向测量方法的另外实例包括使用梯度直方图或H矩阵的特征向量的最大值。

2.1.3描述符矢量

对于每个取向的感兴趣点(x，y，ι，θ)，描述符区域是检测尺度象素的p×p大小的片段。该片段在(x，y)中心并定位于角度θ。从p×p描述符区域，形成d×d大小的描述符矢量。在测试实施例，p＝40和d＝8，然而，通常p可以在以d尺度值在图像大小的大约0.1％和10％间变化。图6示出山脉场景图像，其中峰值上感兴趣点有关的描述符区域示出为白框。注意，感兴趣点的位置示出为白点并包括从感兴趣点扩展的线以分配给该点的取向趋势。图7示出从图6示出的描述符区域中形成的8×8描述符。注意，感兴趣点和定位线在图中也示出为白色。

为了避免取样时偏差/模糊，在导致每个象素概略取样的金字塔级取样描述符。实现这的一种方式是从检测尺度层上的ι_s层取样描述符。其中

描述符矢量使用内插采样。

例如，在测试实施例中，其中p＝40，d＝8，和s＝2，描述符将在检测尺度上的ι_s＝2层取样。然而，假定在层ι检测感兴趣点。这建议从 $P_{l+l_s}(x,y)=P_{l+2}(x,y)$ 取样描述符。然而，已经发现通过使用替换过程获得更好结果，其中替换的描述从P′_l+1(x，y)采样，其中， ${P^{\′}}_{l+1}(x,y)=P_{l+1}(x,y)*g_{{\mathrm{\σ}}_p}(x,y),$ 即模糊但不下采样。此外，通过从 ${P^{\′\′}}_l(x,y)=P_l(x,y)*g_{2\×{\mathrm{\σ}}_p}(x,y)$ 取样获得尽管更小增益。

2.1.3.1标准化

接下来标准化描述符矢量以便平均值是0和标准偏差是1，即

d_i＝(d′_i-μ)/σ    (12)

其中d′_i，iε{1..d²}描述符矢量的元素，具有 $\mathrm{\μ}=\frac{1}{d^2}{\mathrm{\Σ}}_{i=1}^{d^2}{d^{\′}}_i$ 和 $\mathrm{\σ}=\sqrt{\frac{1}{d^2}{\mathrm{\Σ}}_{i=1}^{d^2}{({d^{\′}}_i-\mathrm{\μ})}^2}.$ 这使得特征不变以仿射强度变化(偏差和增益)。

2.1.3.2Haar小波变换

最后，Haar小波变换在d×d描述符矢量d_i上完成以形成包含小波系数c_i的d²空间描述符矢量。由于Haar小波的正交属性，保留各个距离，即：

$\underset{i}{\mathrm{\Σ}}{(d_i^1-d_i^2)}^2=\underset{i}{\mathrm{\Σ}}{(c_i^1-c_i^2)}^2---\left(13\right)$

因此，差平方和检测中的最近邻未变。然而，将简要描述在索引策略中使用前个三个非零小波系数c₁，c₂，c₃。

2.1.4描述符产生过程概要

用于根据使用Harris角特征以定义感兴趣点和模糊局部梯度方法以建立每个特征的取向的本系统和过程的实施例对于每个感兴趣点产生描述符的技术的先前描述在图5A-C的流程过程中概要。该过程通过确定图像中感兴趣点开始。更具体地，对于每个图像，形成图像分辨率金字塔(过程操作500)。然后，选择先前未选的金字塔级(过程操作502)，确定选择级中每个Harris角位置(过程操作504)。接下来选择其中一个先前未选的Harris角(过程操作506)，然后确定是否选择角的角强度是表示角位置的感兴趣点中心的预定最小邻域半径内的邻近象素的局部最大值(过程操作508)。如果选择角的角强度是局部最大值，则它也确定是否角强度超过预定最小强度阈值(过程操作510)。如果是这样，选择的角指定作为备选角(过程操作512)并测试其他角(如果有)。然而，如果确定角强度不是局部最大值或确定角强度不超过最小阈值，则从考虑中删除该选择的角并测试其他角(如果有)。这样，任何一种方式，接下来的操作负责确定是否有一些先前未选择的角仍然可以考虑(过程操作514)。如果仍有剩余的角要考虑，则前述过程从过程操作506开始重复。否则，过程从过程操作516继续，其中最近使用的邻域半径增加预定整数值(例如：1)。然后，前述呈现的过程对于每个备选角重复。具体地，选择先前未选择的备选角(过程操作518)，然后确定它的角强度是否是当前邻域半径值定义的象素附近的局部最大值(过程操作520)。如果选择的备选角的角强度是局部最大值，则确定它是否也超过最小强度阈值(过程操作522)。如果是这样，选择的角保持它的备选角分配(过程操作524)，可以考虑其他备选角(如果有的话)。然而，如果确定角强度不是局部最大值或确定它不超过最小阈值，则考虑中删除选择的备选角并测试其他备选角(如果有的话)。这样，在任一种情况中，下一操作确定是否有一些先前末选的备选角仍然可以考虑(过程操作526)。如果还有角可以考虑，则开始于过程操作518的过程部分重复。如果没有剩余的备选角测试，接下来确定是否仍然指定作为备选角的角数目超过预定最大允许数(过程操作528)。如果备选角的最大允许数超过，则过程操作516到528适当重复直到备选角数目不再超过最大允许数。

一旦剩余可接受备选角数目，继续与指定定义每个剩余备选角的位置的点作为要考虑图像的感兴趣点(过程操作530)。接下来，选择先前未选择感兴趣点(过程操作532)，并提取它的位置。更具体地，在过程操作534，显示感兴趣点位置指定作为预定大小的局部附近合适的二维二次方程式表面的最大强度的位置，该位置是在选择点的中心。

一旦建立选择的感兴趣点的提取位置，给该点分配取向(过程操作536)。如前所示，这使用模糊梯度方法在本发明的测试实施例中完成。选择感兴趣点的位置和取向接下来用于产生该点的描述符矢量。这通过首先建立预定p×p大小的描述符区域(片段)来完成，它是位于感兴趣点位置的中心并根据感兴趣点的取向进行取向(过程操作538)。如前所述，使用双线性内插取样强度值从描述符区域形成预定大小d×d的更小描述符矢量(过程操作540)。接下来标准化这描述符矢量(过程操作542)并受Haar小波变换(过程操作544)。变换的描述符矢量表示选择的感兴趣点描述符。然后该过程通过首先确定是否有任何未选的感兴趣点存在而在其他感兴趣点上实施(过程操作546)。如果这样，过程操作532-546适当重复直到所有感兴趣点具有与它们相关的变换描述符矢量。

最后，通过首先确定是否存在任何先前未选择的金字塔级，对于图像金字塔的所有其他分辨率级完成描述符产生过程(过程操作548)。如果有，则过程操作502-548适当重复。一旦完成，在图像金字塔每个级存在发现的感兴趣点相关的变换的描述符矢量。注意，取代如上面描述符的确定的计算取向和产生每个感兴趣点的变换描述符矢量，它也可能确定所有感兴趣点，然后确定它们的取向并产生以作为可选方法的批量方式产生描述符矢量。

2.2特征匹配

假定多尺度定位片段从场景的图像集合中的所有n图像中提取，特征匹配的目标是在所有图像中几何地找到合适的匹配。为了完成这个任务，首先开发用于特征匹配的似然模型。这导致对于特征匹配验证的简单约束，它称为“异常距离约束”。此外，几何约束可应用到抵制异常并找到图像匹配，或者除了应用异常距离约束或它的空间内。

2.2.1特征匹配的似然模型

理想地，可以对于正确和错误匹配从测试的数据中计算误差p(e_图像)分布，并使用它似然确定是否给定的特征匹配是正确或错误。然而，已经发现基于图像的误差

e_图像＝|I′(x′)-(αI(x)+β)|    (14)

是用于确定是否特征匹配是正确/错误的仅有尺度。实际上，发现用于正确和错误匹配的|e_图像|值通常不能区别，并且阈值|e_图像|选择正确/错误匹配是不可能的。

对于片段的最近邻有关的误差随着变化差异也成为关注。已经发现尽管正确和错误匹配的误差间总存在明显的差距，但误差尺度变化很大。具体地说，误差对于高对比的片段更大，而低对比的片段更小。当包括低对比的片段时，这使得在正确和错误匹配间很难区分。

一种可能的解决是标准化片段的对比度，它等同于计算特征空间的误差，即：

e_特征对于正确和错误匹配的区分是很好分开的，但没有明显的阈值。因此，认为匹配误差的大小不仅是对比度问题。相信高频率容量也重要，例如高梯度特征对于任何重合失调具有大误差。

然而，已经发现，在特征基础上的特征，存在对应正确和错误匹配的特征距离的双峰分布。实际上，认为查询的错误匹配的距离几乎是常量。相信该现象是与称为壳(shell)属性的高尺度空间的属性有关。

在高尺度中，超球面体积的大部分是集中在外壳。这意味着，对于诸如高斯分布的普通分布，概率集中的大多数位于外壳。认为统一分布点集合在d维超立方体中。离中心距离r中的点数目以r^d增长，直到到达空间的边界，在此它迅速下落。由于d变得更大，这意味着几乎所有点具有从给定查询点的相同距离，即，它们位于查询的常量距离的小壳中。然而，注意，距离值依靠空间查询点的位置。例如，靠边的点具有从中心点的更大距离。

Lowe[11]已经建议，尽管根据第一最近邻(1-NN)距离的阈值是不可靠，第一和第二最近邻间的距离比e_1-NN/e_2-NN是用于确定匹配是否正确的很好尺度。在多图像匹配情况中，可能有多于一个的正确匹配，所以检测替代比e/e_异常，其中e_i是考虑的匹配距离，e_异常是“异常距离”。假定这是在每个特征iε{1..k}的大多数k匹配和异常距离计算作为最近邻k+1到k+n₀的平均距离。使用Bayes判决规则，可以分类匹配如下：

P_正确(e/e_异常)＞P_错误(e/e_异常)    (16)

这等于将特征匹配分为正确，如果：

e＜0.65×e_异常    (17)

这指的是“异常距离约束”。仍然保留对于怎样最佳计算的问题。

注意，由于异常距离相关的距离σ′×e_特征＝e_图像在特征空间与对于基于图像的距离相同。这具有优势，可以简单比较特征空间图像距离并不用给每一对α，β计算就可以应用异常距离。

2.2.2使用异常排除的特征匹配

特征匹配过程开始于对于先前计算的描述符矢量中每个快速估计最近邻。这些最近邻失量表示图像间的备选匹配点。接下来，在本特征匹配技术的测试实施例中，两阶段方法用于删除错误匹配。特别是使用非几何异常排除技术，它采用上述异常距离约束来删除错误匹配点。最后，标准的几何异常排除技术用于进一步删除任何剩余的错误匹配点。然而，如前所示，一个或其他排除技术可以根据需要的精度和使用本特征匹配技术的系统的过程限制而旁路。

2.2.2.1使用小波索引的快速近似最近邻

从所有图像中提取特征和每个匹配特征空间中k近似最近邻。快速近似最近邻计算通过使用散列表索引特征完成。散列表是三维的并且维数对应前个三个非零小波系数c₁，c₂，c₃，它是片段上估计。在测试实施例中，k＝4，以及散列表每一维具有b＝10结点(bin)(它涵盖尺寸平均值的±n_σ＝3标准方差)。该结点(bin)一半重叠，以便确保

结点(bin)宽度 $(=\frac{{2n}_{\mathrm{\σ}}}{b-1}\frac{1}{2}=\frac{\mathrm{\σ}}{3})$ 中的数据匹配。如果实际最近邻位于其中一个三维外

可能的话(但低概率)，这是近似最近邻。每个描述符矢量匹配相同结点(bin)中的所有特征，并选择k近似最近邻。然后使用异常距离约束以验证正确匹配和删除异常，这在下面描述。注意，特征间距离用于确定最近邻。在测试实施例中，这些距离计算作为64维特征矢量的方形差异的总数。

2.2.2.2使用异常距离约束的异常排除。

由于几乎大多数错误匹配都具有从查询点大约相同距离(即异常距离)，而正确匹配仅由于图像和检测噪声而不同，因此上述壳(shell)属性可以用作异常排除策略的基础。异常距离可以估计的一种方式是使它等于每个图像的2-NN距离的平均值或最小值。在计算的异常距离下，异常距离约束可用于减少错误匹配数量。更具体地，如果发现的在考虑中矢量的最近邻的其中一个矢量与在异常距离65％内的矢量有距离，则认为该矢量与匹配点相关。如果矢量距离不在异常距离的65％内时，则与该点相关的点不认为是匹配的点。

2.2.2.3使用几何约束的异常排除

一旦使用异常距离约束提取备选的匹配，可通过使用几何匹配约束进一步提取匹配。本质上，这包括使用标准方法以确定剩余的匹配点实际上对应场景的图像。如果该图像从点获取并且场景是静态，全景运动模型(homography)是合适的。如果图像用移动相机获取和静态场景，全三维运动模型(基本矩阵)是合适的。对于多个或移动对象设计更精细的运动模型也是可能的。对于自动全景拼接，匹配的全景运动模型和[6]中的概率性模型是合适的选择。发现不实际匹配描述该场景相同部分的另一图像的点的任何点将从匹配点集合中删除。

2.2.3特征匹配处理概要

在图11的流程图中归纳了根据本系统和方法的实施例确定一个场景的一系列图像中各对应点的特征匹配技术的前述描述，其中该系统和方法使用三维散列表并且至少部分依据异常距离约束的异常排除。该方法开始于通过匹配每个变换描述符矢量到特征空间的其最近邻的预定数。更具体地，三维散列表从每个变换描述符矢量的前个三个非零小波系数产生(过程操作1100)。如前所示，在本特征匹配技术的测试实施例中，散列表的每维有10个结点(bin)并且每个结点(bin)具有一半重叠区域。然后计算散列表的每个结点(bin)的每个三系数间的距离(过程操作1102)。这些距离接下来用来对于每个描述符矢量确定相同结点(bin)中的其最近邻的预定数，它是不来自于考虑矢量的相同图像(过程操作1104a)。注意，在特征匹配的可选实施例中，下面操作1104b替代过程操作1104a。即，对于每个描述符矢量，来自其他每个图像的相同结点(bin)中的其最近邻确定到预定最大数。通过使用点线框在图11示出操作1104a和1104b的可选特征。

一旦已经确定每个描述符矢量的最近邻，选择先前未选择的矢量(过程操作1106)。从考虑中删除选择的其相关感兴趣点实际上不对应与选择的矢量相关的感兴趣点的矢量的最近邻描述符矢量。更具体地，在本特征匹配技术的测试实施例中，如前所述，它在两阶段完成。第一阶段(过程操作1108)，指的是使用异常距离约束的异常排除，是比删除许多可能不对应点更快的过程。第二阶段(过程操作1110)，指的是使用几何约束的异常排除，使用如前所述的更精确的几何基础的比较，虽然以更高的计算成本。然而，由于许多错误匹配已经在第一阶段删除，第二阶段过程需要减少。实质上，第二阶段几何基础上的异常排除过程包括找到最好匹配两图像间所有点的变换和排除当变换时特定尺度内不对应的点。图8(a)和8(b)示例说明异常排除过程的值。这些图示出两图像间的对应位置部分相同的山脉图像，任何异常排除过程前确定示出为白点(587匹配)。图9(a)和9(b)分别示出在使用异常距离约束的异常排除技术应用后的图8(a)和8(b)的相同图像。这里，242异常已经删除，留下345匹配。图10(a)和10(b)分别示出在应用基于几何的异常排除技术后的图9(a)和9(b)的相同图像。确定另一个34异常并删除，在图像间保留311对应点的最后的总数。

注意，如果第一阶段的异常排除过程充分对于本特征匹配技术的特定应用产生正确结果，则如果希望，第二阶段可以跳过。相反，如果不计较过程成本，则第二阶段几何基础的异常排除过程可用在其上使用而第一阶段可以跳过。

关于第一异常排除技术，在测试实施例中，这包括首先对于选择描述符矢量计算异常距离和其最近邻，然后确定是否选择矢量和它最近邻的任何一个角的距离等于或大于异常距离的65％。只要发现最近邻矢量具有对于选择的矢量等于或大于异常距离的65％的距离，它从考虑中删除作为表示对应与选择矢量相关的感兴趣点的点。

一旦异常排除过程完成，与描述确定作为选择矢量的最近邻的矢量有关的每个和还没有从考虑中删除的点，都指定作为对应与选择的矢量相关的感兴趣点的点(过程操作1112)。对于每个其他描述符矢量，前述过程接下来实施以通过首先确定任何未选择的矢量剩余来确定其他图像中的它们的对应点(过程操作1114)。如果这样，过程1106-1114适当重复直到已经处理所有矢量。当已经选择所有矢量并处理，过程结束。

3.0参考文献

[1]P.Anandan.A Computational Framework and an Algorithm for theMeasurement of Visual Motion.International Journal of Computer Vision，2：283-310.1989.

[2]J.Bergen，P.Anandan，K.Hanna，and R.Hingorani.HierarchicalModel-Based Motion Estimation.In Proceedings of the European Conference onComputer Vision，pages 237-252.Springer-Verlag，May 1992.

[3]A.Baumberg.Reliable Feature Matching Across Widely Separated Views.InProceedings of the International Conference on Computer Vision and PatternRecognition，pages 774-781，2000.

[4]C.Bishop.Neural Networks for Pattern Recognition.Oxford，ISBN：0198538642，1995.

[5]M.Brown and D.Lowe.Invariant Features from Interest Point Groups.InProceedings of the 13th British Machine Vision Conference，pages 253-262，Cardiff，2002.

[6]M.Brown and D.Lowe.Recognising panoramas.In Proceedings of the 9thInternational Conference on Computer Vision，volume 2，pages 1218-1225，Nice，October 2003.

[7]G.Carneiro and A.Jepson.Multi-scale Local Phase-based Features.InProceedings of the International Conference on Computer Vision and PatternRecognition，2003.

[8]C.Harris，Geometry from Visual Motion.In A.Blake and A.Yuille.editors，Active Vision.pages 263-284.MIT Press，1992.

[9]B.Lucas and T.Kanade.An Iterative Image Registration Technique with anApplication to Stereo Vision.In In proceedings of the 7th International JointConference on Artificial Intelligence，pages 674-679，1981.

[10]D.Lowe.Obiect Recognition from Local Scale-Invariant Features.InProceedings of the International Conference on Computer Vision，pages 1150-1157.Corfu，Greece，September 1999.

[11]D.Lowe.Distinctive Image Features from Scale-Invariant Key-points.International Journal of Computer Vision，2004.

[12]J.Matas，0.Chum，M.Urban，and T.Pajdla.Robust wide baseline stereofrom maximally stable extremal regions.In Proceedings of the British Machine VisionConference，2002.

[13]K.Mikolajczyk and C.Schmi d.A Performance Evaluation of LocalDescriptors.In Proceedings of the International Conference on Computer Vision andPattern Recognition，2003.

[14]C.A.Rothwell.A.Zisserman，D.A.Forsyth，and J.L.Mundy.Canonicalframes for planar object recognition.In Proceedings of the European Conference onComputer Vision，pages 757-772，1992.

[15]C.Rothwell.A.Zisserman，D.Forsyth，and J.Mundy.Planar ObjectRecognition Using Projective Shape Representation，In International Journal ofComputer Vision，number 16，pages 57-99，1995.

[16]C.Schmid and R.Mohr.Local Grayvalue Invariants for Image Retrieval.IEEE Transactions on Pattern Analysis and Machine Intelligence，19(5)：530-535，May 1997.

[17]C.Schmid，R.Mohr，and C.Bauckhage.Evaluation of Interest PointDetectors.In Proceedings of the International Conference on Computer Vision，pages230-235，Bombay，1998.

[18]Jianbo Shi and Carlo Tomasi.Good features to track.In IEEE Conferenceon Computer Vision and Pattern Recognition(CVPR’94)，Seattle，June 1994.

[19]F.Schaffalitzky and A.Zisserman.Multi-view Matching for UnorderedImage Sets，or″How Do I Organise My Holiday Snaps？”.In Proceedings of theEuropean Conference on Computer Vision，pages 414-431，2002.

[20]T.Tuytelaars and L.Van Gool.Wide Baseline Stereo Matching based onLocal，Affinely Invariant Regions.In Proceedings of the 11th British Machine VisionConference，pages 412-422，Bristol，UK，2000.

Claims (20)

1、 一种用于确定场景的多图像中的对应点的计算机实施过程，包括使用计算机完成下面过程操作：

以变化的分辨率确定每个图像中的感兴趣点，所述感兴趣点在描述点的图像中的位置由至少一个属于该点周围第一预定尺寸邻域内的的象素的属性定义，并能根据至少一个属于该点周围第二预定尺寸邻域内的象素的属性被分配唯一取向；

为每个感兴趣点产生描述符，所述描述符以实际上对于图像位置、取向和尺度以及对于用于定义该点位置和取向的象素的强度不变的方式来描述每个点，所述为每个感兴趣点产生描述符的过程动作包括，对于每个感兴趣点：

建立预定p×p大小的描述符区，它以所考虑的感兴趣点位置为中心并且是根据感兴趣点的取向进行取向；

形成预定大小d×d描述符矢量，该矢量是小于描述符区域并以导致每个象素粗略取样一次的方式使用区域内象素的强度值的线性内插来取样；

标准化描述符矢量；和

对描述符矢量执行Haar小波变换以产生经变换的矢量；

找到图像中的实质匹配的描述符；以及

指定与在不同图像中出现的每个匹配描述符集合相关的感兴趣点作为对应点。

2、 如权利要求1所述的过程，其中确定每个图像中的感兴趣点的过程动作包括：对于每个图像：

形成图像分辨率金字塔，以及对于所述金字塔的每个级；

确定考虑表示角特征的图像中的位置；

确定每个角特征的取向；

指定每个角特征的所确定的位置作为独立的感兴趣点；以及

把每个角特征的所确定的取向分配到与该角特征有关的感兴趣点。

3、 如权利要求2所述的过程，其中确定考虑表示角特征的图像中的位置的过程动作包括：

确定每个角特征的位置，所述角特征呈现一角强度，所述角强度是以所述位置为中心的具有预定最小邻域半径的象素邻域的局部最大值并且超过预定最小强度阈值；

把邻域半径增加预定的整数值，并确定角强度仍然是当前考虑的象素邻域的局部最大值并仍然超过预定最小强度阈值的那些先前确定的位置；

重复增加和二次确定操作直到确定的位置数不再大于预定的最大数；和

指定每个剩余的所确定的位置来表示独立角特征。

4、 如权利要求2所述的过程，其中，指定每个角特征的所确定的位置为独立的感兴趣点的过程动作包括：把这样的位置指定为每个感兴趣点的位置：在所述位置处显示了在以考虑的所确定的位置为中心的预定尺寸的局部邻域上适合的二维方形平面的最大强度。

5、 如权利要求2所述的过程，其中确定每个角特征的取向的过程动作包括使用模糊的梯度方法来确定每个角特征的取向。

6、 如权利要求2所述的过程，其中，每个角特征是Harris角。

7、 如权利要求1所述的过程，其中找到图像中的实质匹配的描述符的过程动作包括把经变换的描述符矢量与特征空间中预定数量的最靠近的邻居相匹配。

8、 如权利要求7所述的过程，其中匹配经变换的描述符矢量的过程动作包括：

从每个经变换的描述符矢量的预定数n个小波系数产生三维散列表以形成n系数矢量的散列表；

对于散列表的每个结点，计算在考虑中的结点中找到的每个n系数矢量之间的距离；

对于每个n系数矢量，根据计算的距离确定预定数的最近邻居，所述最近邻居驻留在相同的结点中但与考虑的矢量关联到不同的图像以形成潜在的匹配矢量集合；

把与每个潜在匹配矢量集合中的矢量相关的感兴趣点指定为描述相关图像中场景的相同部分的对应点。

9、 如权利要求8所述的过程，其中散列表每维具有10个结点并且每个结点具有一半的重叠区域，并且其中预定数n个小波系数包括前三个非零小波系数，从而形成三系数矢量的散列表。

10、 如权利要求8所述的过程，其中把每个潜在匹配矢量集合中的矢量相关的感兴趣点指定为对应点的过程动作包括：

对于每个潜在的匹配矢量，删除任何作为潜在匹配矢量的三系数矢量，它相关的感兴趣点实际上不对应相同矢量组中三系数矢量的另一个有关的另一图像中的感兴趣点；和

对于保留在每个潜在匹配矢量集合中的每个三系数矢量，把与所述三系数矢量相关的感兴趣点指定为相关图像中的对应点。

11、 如权利要求10所述的过程，其中删除作为潜在匹配矢量的任何三系数矢量、它相关感兴趣点实际上不对应相同矢量组中的三系数矢量的另一个有关的另一图像中的感兴趣点的过程动作包括：对于每个匹配的矢量组：

为要考虑的匹配矢量组计算异常距离；

确定为任何匹配矢量计算的距离是否大于异常距离的约65％；以及

只要发现匹配矢量的距离大于异常距离的约65％，就删除与该矢量有关的作为对应点的感兴趣点。

12、 如权利要求10所述的过程，其中删除任何作为潜在匹配矢量的三系数矢量、它相关感兴趣点实际上不对应相同矢量组中的三系数矢量的另一个有关的另一图像中的感兴趣点的过程动作包括，对于每个匹配的矢量组：

执行几何异常排除过程；以及

删除与任何矢量相关的作为被发现为异常的对应点的感兴趣点。

13、 如权利要求7所述的过程，其中匹配经变换的描述符矢量的过程动作包括：

从每个经变换的描述符矢量的前三个非零小波系数产生三维散列表以形成三系数矢量的散列表；

对于散列表的每个结点，计算在要考虑的结点中找到的每个三系数矢量之间的距离；

对于每个三系数矢量，根据所计算的距离确定相同结点中发现的分别与每个图像相关的最近邻居直到每个图像的预定数、除了和所考虑的矢量有关的图像以外、以形成潜在匹配矢量集合；

把与每个潜在匹配矢量集合中的矢量相关的感兴趣点指定为描述相关图像中场景的相同部分的对应点。

14、 如权利要求13所述的过程，其中所述散列表每维具有10个结点以及每个结点具有一半的重叠范围。

15、 如权利要求1所述的过程，其中第一和第二预定尺寸邻域是相同尺寸。

16、 一种用于确定一个场景的多图像中对应点的系统，包括：

通用计算设备；

计算机程序，包括计算设备可执行的程序模块，其中计算设备由计算程序的程序模块控制以：

确定表示每个图像中潜在对应点的感兴趣点，其中每个感兴趣点由根

据该点周围中心邻域的象素预定属性形成的模式分配给它的位置和取向来定义；

为每个感兴趣点产生描述符，所述描述符以对于图像位置、取向和尺度以及用于定义该点位置和取向的象素的偏移和增益不变的方式描述每个点，所述为每个感兴趣点产生描述符的程序模块包括用于以下操作的子模块：

(a)建立预定尺寸p×p的描述符区域，它以感兴趣点位置为中心并根据感兴趣点的取向进行取向；

(b)使用区域的强度值的双线性内插法从描述符区域形成较小预定尺寸d×d的描述符矢量；

(c)对于偏移和增益，标准化描述符矢量；

(d)使经标准化的描述符矢量受到Haar小波变换以形成要考虑的感兴趣点的描述符；

找到图像中的实质匹配的描述符；以及

把与不同图像中出现的每个匹配描述符集合相关的感兴趣点指定为对应点。

17、 如权利要求16所述的系统，其中，用于确定感兴趣点的程序模块对于每个图像包括用于以下操作的子模块：

(a)形成图像分辨率金字塔；

(b)选择先前未选择的金字塔级；

(c)确定在所选择的级中出现的每个Harris角的位置；

(d)选择先前未选择的Harris角；

(e)确定所选择的Harris角的角强度是否是以表示所述角的位置的点为中心的的预定最小邻域半径的象素邻域中的局部最大值并且是否超过预定最小强度阈值；

(f)只要角强度是局部最大值并超过预定最小强度阈值，指定它作为备选角；

(g)确定是否剩余任何先前未选的Harris角，只要有剩余角，就重复子模块(d)到(g)直到所有角都考虑；

(h)把最近使用的邻域半径增加预定整数值；

(i)选择先前未选择的备选角；

(j)确定所选择的备选角的角强度是否超过预定最小强度阈值并且是否是以表示所选择的角的位置的点为中心的象素邻域中的局部最大值，它的尺寸由当前邻域半径定义；

(k)只要角强度是局部最大值并超过预定最小强度阈值，就保留它作为备选角的指定.否则移除该指定；

(l)确定是否剩余任何先前未选的备选角，只要有剩余角，重复子模块(i)到(l)直到所有备选角都考虑；

(m)确定仍然指定为备选角的Harris角的数目是否超过预定最大允许数；

(n)只要备选角数目超过预定最大允许数，就重复子模块(h)到(n)，直到备选角数目不再超过最大允许数；

(o)把定义每个剩余备选角位置的点指定作为考虑中的图像的感兴趣点；

(p)通过把每个感兴趣点的位置指定为这样一个点来提取每个感兴趣点的位置其中在所指定的点处出现以所选择的点为中心的预定尺寸的局部邻域上适合的二维方形平面的最大强度；

(q)向使用模糊梯度方法确定的每个感兴趣点分配取向；以及

(r)重复子模块(b)到(q)，直到所有金字塔级都考虑过。

18、 如权利要求16所述的系统，其中用于找到图像中的实质匹配的描述符的程序模块包括用于以下操作的子模块：

(e)从每个感兴趣点描述符的前三个非零小波系统产生三维散列表；

(f)计算散列表每个结点中的每个描述符间的距离；

(g)选择以前未选择的描述符；

(h)确定在相同节点中不与所选择的描述符关联至相同图像的预定数量的所选择的描述符最近邻居；

(i)为所选择的描述符和其最近邻居计算异常距离；

(j)分别确定所选择的描述符和每个其最近邻域之间的所计算的距离是否小于异常距离的约65％；

(k)只要发现所选择的描述符和每个其最近邻域之间的所计算的距离小于异常距离的约65％，对于选择的描述符，把最近邻域描述符指定作为匹配描述符；和

(l)执行基于几何的异常排除过程以确定和被指定为匹配所选择的描述符的感兴趣点相对应的任何感兴趣点是否不实际对应选所择的描述符的感兴趣点的位置；

(m)删除作为匹配描述符的被指定为匹配所选择的描述符的任何描述符，它不实际对应所选择的描述符的感兴趣点的位置；以及

(n)重复子模块(g)到(m)直到所有剩余描述符都已经考虑。

19、 如权利要求16所述的系统，其中用于找到图像中的实质匹配的描述符的程序模块包括用于以下操作的子模块：

(e)从每个感兴趣点描述符的前三个非零小波系统产生三维散列表；

(f)计算散列表每个结点中的每个描述符间的距离；

(g)选择以前未选择的描述符；

(h)确定在相同节点中不与所选择的描述符关联至相同图像的预定数量的所选择的描述符最近邻居；

(i)为所选择的描述符和其最近邻域计算异常距离；

(j)分别确定所选择的描述符和每个其最近邻居间的所计算的距离是否小于异常距离的约65％；

(k)只要发现所选择的描述符和每个其最近邻域间的所计算的距离小于异常距离的约65％，对于选择的描述符，把最近邻域描述符指定为匹配描述符；和

(l)重复子模块(g)到(k)，直到所有剩余的描述符都考虑过。

20、 如权利要求16所述的系统，其中用于找到图像中的实质匹配的描述符的程序模块包括用于以下操作的子模块：

(e)从每个感兴趣点描述符的前三个非零小波系数产生三维散列表；

(f)计算散列表每个结点中的每个描述符间的距离；

(g)选择以前未选择的描述符；

(h)确定在相同节点中不与所选择的描述符关联至相同图像的预定数量的所选择的描述符最近邻居；

(i)执行基于几何的异常排除过程以确定对应最近邻居描述符的哪个感兴趣点实际对应所选择的描述符的感兴趣点的位置；

(j)仅当发现对应最近邻居描述符的感兴趣点实际对应所选择的描述符的感兴趣点的位置时，对于所选择的描述符把最近邻居描述符指定作为匹配描述符；

(k)重复子模块(g)到(j)，直到所有剩余的描述符都考虑过。

Images