CN104054109A - 图像处理装置、图像处理方法以及图像处理程序 - Google Patents

Abstract

提供在第一图像和第二图像之间搜索对应点的图像处理装置。图像处理装置包括：窗设定部件，对第一图像以及第二图像分别设定窗；相位信息提取部件，通过对在所设定的各个窗中包含的图像进行频率分解，提取相位信息；对应点决定部件，通过对从各个窗提取到的相位信息进行比较，决定第一图像和第二图像之间的对应点；以及窗尺寸控制部件，使得窗设定部件根据在频率分解的计算中使用的频率而设定不同的尺寸的窗。窗尺寸控制部件使得窗设定部件对应于第一频率而设定第一尺寸的窗且对应于高于第一频率的第二频率而设定小于第一尺寸的第二尺寸的窗。

Description

图像处理装置、图像处理方法以及图像处理程序

技术领域

本发明涉及搜索图像间的对应点的图像处理装置、图像处理方法以及图像处理程序。

背景技术

以往，例如，提出了如下的各种技术：对通过使用多个摄像装置拍摄相同的被摄体而获得的多个图像，搜索该被摄体的某一部分在各个图像上存在于什么位置等的图像间的对应点。涉及这样的对应点搜索的技术典型地利用于实现使用了立体图像的立体显示等。

在这样的搜索图像间的对应点的处理中，采用各种方法。作为一例，广泛知道相位限定相关法(Phase-Only Correlation；以下，也称为“POC法”。)。该POC法使用在图像中包含的空间频率的相位差信息，搜索图像间的对应点。作为涉及这样的对应点搜索的现有技术，已知如以下的技术。

例如，特开平10-134196号公报(专利文献1)公开如下的距离测定装置：以汽车或人等为对象物(目标)，进行基于空间频率特性的图像数据的比对，根据该比对结果而测定离目标的距离。更具体而言，在特开平10-134196号公报(专利文献1)中，以通过第一摄像机拍摄到的图像数据为注册图像数据，实施二维离散傅里叶变换(DFT)而取得注册傅里叶图像数据，以通过第二摄像机拍摄到的图像数据为比对图像数据，实施DFT而取得比对傅里叶图像数据。将注册傅里叶图像数据和比对傅里叶图像数据进行合成并进行振幅抑制处理之后，实施DFT。在实施了该DFT的合成傅里叶图像数据中，基于从相关分量区域的中心至相关峰值的距离而测定离目标的距离。

现有技术文献

专利文献

专利文献1:特开平10-134196号公报

发明内容

发明要解决的课题

与使用亮度的绝对差的总和(SAD：Sum of Absolute Difference)的信息的方法相比，相位限定相关法(POC法)具有在鲁棒性(robust)上优秀且高精度的优点。但是，由于需要频率分解等的运算负荷高的处理，所以也存在处理整体的运算时间变得非常大的课题。

在上述的特开平10-134196号公报(专利文献1)中公开的方法中，也由于对注册图像数据以及比对图像数据的整体进行二维离散傅里叶变换，所以运算负荷高。

本发明是为了解决这样的问题而完成的，其目的在于，提供一种能够减少涉及搜索图像间的对应点的处理的处理整体的运算时间的图像处理装置、图像处理方法以及图像处理程序。

用于解决课题的手段

根据本发明的一个方面，提供在第一图像和第二图像之间搜索对应点的图像处理装置。图像处理装置包括：窗设定部件，对第一图像以及第二图像分别设定窗；相位信息提取部件，通过对在所设定的各个窗中包含的图像进行频率分解，提取相位信息；对应点决定部件，通过对从各个窗提取到的相位信息进行比较，决定第一图像和第二图像之间的对应点；以及窗尺寸控制部件，使得窗设定部件根据在频率分解的计算中使用的频率而设定不同的尺寸的窗。窗尺寸控制部件使得窗设定部件对应于第一频率而设定第一尺寸的窗且对应于高于第一频率的第二频率而设定小于第一尺寸的第二尺寸的窗。

发明效果

根据本发明，能够减少涉及搜索图像间的对应点的处理的处理整体的运算时间。

附图说明

图1是用于说明按照本发明的实施方式的对应点搜索方法的概要的图。

图2是用于说明按照本发明的实施方式的对应点搜索方法的概要的图。

图3是表示通过个人计算机实现了按照本发明的实施方式的对应点搜索处理的情况下的结构的框图。

图4是表示通过类似于数字摄像机的结构实现了按照本发明的实施方式的对应点搜索处理的情况下的结构的框图。

图5是表示按照本发明的实施方式的图像处理装置的功能结构的框图。

图6是表示图5所示的对应点搜索部的更详细的功能结构的框图。

图7是表示通过按照本发明的实施方式的对应点搜索部算出的POC值的一例的图。

图8是表示按照本发明的实施方式的对应点搜索方法的整体步骤的流程图。

图9是表示按照本发明的实施方式的变形例2的图像处理装置的功能结构的框图。

图10是表示在本发明的实施方式的变形例2中生成的分辨率不同的图像群的模式图。

图11是表示在本发明的实施方式的变形例2中生成的分辨率不同的图像群的一例的图。

图12是用于说明使用了按照本发明的实施方式的变形例2的多重分辨率的疏密战略的处理内容的图。

图13是用于说明在使用了按照本发明的实施方式的变形例2的多重分辨率的疏密战略中设定初始位置的处理的图。

图14是用于说明按照本发明的实施方式的图像处理装置的应用例1的图。

图15是用于说明图14所示的立体测量的原理的图。

图16是用于说明按照本发明的实施方式的图像处理装置的应用例2的图。

具体实施方式

参照附图详细说明本发明的实施方式。另外，关于图中的相同或者相当部分，赋予相同标号且不重复其说明。

[A.概要]

本发明的实施方式倾向于，至少在第一图像和第二图像之间搜索对应点的对应点搜索方法。即，成为对应点的搜索对象的多个图像意味着能够共同包括相同的被摄体(的至少一部分)的图像的图像，也可以是三个以上的图像。这样的多个图像典型地通过使用多个摄像装置(摄像机)从不同的视角拍摄相同的被摄体而获得。更具体而言，通过使用隔着规定距离而配置的多个摄像机(典型而言，立体摄像机)拍摄相同的被摄体而获得各个图像。

在以下的说明中，为了便于说明，将关注像素(关注点)设定在第一图像，搜索相对于该设定的关注点的第二图像上的对应点。在这样的对应点的搜索处理中，将第一图像称为“基准图像”，将第二图像称为“参照图像”。此外，在三个以上的图像间进行对应点搜索的情况下，将其中一个图像设定为“基准图像”，且将拍摄它的摄像装置(摄像机)设定为“基准图像”的摄像用的摄像机。另一方面，将除此以外的图像都设定为“参照图像”，且将拍摄它们的摄像装置(摄像机)设定为用于拍摄“参照图像”的摄像机。通过这样的扩展方法，还能够将按照本实施方式的对应点搜索方法应用于三个以上的图像间的对应点的搜索。

此外，按照本实施方式的对应点搜索方法典型地倾向于搜索进行了立体摄影的图像间的对应点而生成立体图像的处理，但并不限定于此，也能够应用于全景图像的生成处理等。

以下，将通过按照本实施方式的对应点搜索方法而获得的对应关系记为“对应点搜索结果”。该对应点搜索结果典型地包括基准图像上的各个像素位置(各关注点的坐标位置)以及对应于该各个像素位置的参照图像上的像素位置。

图1以及图2是用于说明按照本发明的实施方式的对应点搜索方法的概要的图。

按照本实施方式的对应点搜索方法使用基准图像和参照图像之间的相位信息的差(以下，也称为“相位差信息”。)而搜索图像间的对应点。相位信息以及相位差信息以对基准图像以及参照图像分别设定的窗为单位，按频率(空间频率)算出。即，算出规定的频率范围的相位信息。

此时，由于根据空间频率而其波长的长度不同，所以在设定了相同的尺寸的窗(区域)的情况下，其中包含的波数依赖空间频率的大小而变化。即，如图1所示，在空间频率低的情况下，若不设定具有较大的尺寸的窗，则不能取得一个周期量的信息，另一方面，在空间频率高的情况下，即使是具有较小的尺寸的窗，也能够取得充分的周期量的信息。

因此，在本实施方式中，对基准图像以及参照图像分别设定窗，通过对在所设定的各个窗中包含的图像进行频率分解而提取相位信息，通过对从各个窗提取到的相位信息进行比较，从而决定基准图像和参照图像之间的对应点。此时，设定与在对应的频率分解的计算中使用的频率对应的尺寸的窗。

即，如图2所示，关于在频率分解中使用的频率f1、f2、…、fn(f1＜f2＜…＜fn)，分别设定对应的尺寸的窗1、2、…n，在所设定的一对窗之间算出相位差信息。即，频率f1、f2、…、fn的相位差信息1、2、…、n取得对应的尺寸的窗内的图像信息。并且，通过对这些相位差信息1、2、…、n进行合计而取得频率-相位差的信息，进一步，算出作为在相位限定相关法(Phase-Only Correlation；以下，也称为“POC法”。)中的评价值的POC值。最终，按参照图像的每个关注而算出POC值，搜索POC值成为最大的关注点。

如上所述，由于空间频率越高则能够在窗内提取越多的波数，所以与空间频率低的情况相比空间频率高的情况下所设定的窗的尺寸被设定为，与该空间频率低的情况下的尺寸相同或者小于该空间频率低的情况下的尺寸。换言之，对应于第一频率而设定第一尺寸的窗且对应于高于第一频率的第二频率而设定与第一尺寸相同或者小于第一尺寸的第二尺寸的窗。

另外，若还考虑设定窗的计算成本，则如图2所示，还能够设定为若空间频率不同则尺寸不同，但也可以是相同的尺寸的窗与多个空间频率建立对应。

由此，在按照本实施方式的对应点搜索处理中，不固定在频率分解中使用的窗的尺寸，而是分别设定与在频率分解中使用的频率相应的素的窗，从而能够缩短运算时间。

以下，说明对应点搜索处理的更详细的内容。

[B.系统结构]

首先，说明实现按照本发明的实施方式的对应点搜索处理的图像处理装置的安装例。

《b1：个人计算机的实现例》

图3是表示通过个人计算机实现了按照本发明的实施方式的对应点搜索处理的情况下的结构的框图。

参照图3，通过个人计算机实现的图像处理装置100主要安装于具有通用的结构(architecture)的计算机上。参照图3，图像处理装置100作为主要的元件而包括CPU(Central Processing Unit，中央处理器)102、RAM(RandomAccess Memory，随机存取存储器)104、ROM(Read Only Memory，只读存储器)106、网络接口(I/F)108、辅助存储装置110、显示部120、输入部122、存储卡接口(I/F)124。各元件连接为能够经由总线130相互进行通信。

CPU102通过执行在ROM106或辅助存储装置110等中存储的、操作系统(OS：Operating System)或图像处理程序等的各种程序，从而控制图像处理装置100的整体。RAM104作为用于在CPU102中执行程序的工作存储器发挥作用，一次性地存储程序的执行所需的各种数据。ROM106存储在图像处理装置100中启动时执行的初始程序(引导(Boot)程序)等。

网络接口108经由各种通信介质，与其他的装置(服务器装置等)交换数据。更具体而言，网络接口108经由以太网(注册商标)等的有线线路(LAN(Local Area Network，局域网)或WAN(Wide Area Network，广域网)等)和/或无线LAN等的无线线路进行数据通信。

辅助存储装置110典型地由硬盘等的大容量磁存储介质等构成，存储用于实现按照本实施方式的各种处理的图像处理程序(对应点搜索处理程序112)以及处理对象的处理对象图像114等。进而，在辅助存储装置110中，也可以存储操作系统等的程序。

处理对象图像114包括处理对象的至少两个图像。但是，图像处理装置100主体也可以不具有拍摄被摄体的功能。此时，也可以使用如后述的类似于数字摄像机的机构而取得至少两个图像，并通过任意的方法将这些图像输入到图像处理装置100。更具体而言，图像经由上述的网络接口108或存储卡接口124而输入到图像处理装置100。

显示部120显示操作系统提供的GUI(Graphical User Interface，图形用户界面)画面或通过对应点搜索处理程序112的执行而生成的图像等。优选地，显示部120使用根据通过对应点搜索处理程序112的执行而获得的对应点搜索结果等生成的立体图像，对被摄体进行立体显示。此时，作为显示部120，由对应于三维显示方式的任意的显示设备构成。作为这样的三维显示方式，能够采用视差屏障(parallax barrier)方式等。在该视差屏障方式中，通过在液晶显示面中设置视差屏障，能够使用户的右眼辨认右眼用图像、使用户的左眼辨认左眼用图像。或者，也可以采用快门眼镜方式。在该快门眼镜方式中，通过用户戴上将左眼用图像以及右眼用图像交替地高速切换显示且搭载了与该图像的切换同步地开闭的快门的专用眼镜，能够欣赏立体显示。

输入部122典型地由键盘、鼠标、触摸面板等构成，将从用户接受到的指示的内容输出到CPU102等。

存储卡接口124在与SD(Secure Digital，安全数字)卡或CF(CompactFlash(注册商标)，紧凑式闪存)卡等的各种存储卡(非易失性存储介质)126之间进行数据的读写。典型地，在存储卡接口124中，安装有存储了通过某些装置取得的处理对象图像的存储卡126，从该存储卡126读出的处理对象图像存储(复制)到辅助存储装置110。

在辅助存储装置110中存储的对应点搜索处理程序112存储在CD-ROM(Compact Disk-Read Only Memory，光盘只读存储器)等的存储介质中而流通，或者经由网络而从服务器装置等分发。对应点搜索处理程序112也可以将作为在图像处理装置100(个人计算机)中执行的操作系统的一部分而提供的程序模块中需要的模块按照规定的定时以及顺序调用而实现处理。此时，对应点搜索处理程序112本身不包括由操作系统提供的模块，而是与操作系统协作而实现图像处理。此外，对应点搜索处理程序112也可以不是单独的程序，而是被编入某些程序的一部分中提供。这样的情况下，对应点搜索处理程序112本身也不包括在该某些程序中共同利用的模块，而是与该某些程序协作而实现图像处理。即使是这样的不包括一部分模块的对应点搜索处理程序112，也不脱离按照本实施方式的图像处理装置100的宗旨。

进一步，也可以通过专用的硬件实现由对应点搜索处理程序112提供的功能的一部分或者全部。

《b2：类似于数字摄像机的结构的实现例》

图4是表示通过类似于数字摄像机的结构实现了按照本发明的实施方式的对应点搜索处理的情况下的结构的框图。

参照图4，图像处理装置200通过实际拍摄被摄体而取得至少两个处理对象图像，并对该取得的处理对象图像执行对应点搜索处理。图像处理装置200作为主要的元件而包括图像处理引擎202、输入部204、显示部206、一对镜头212、222、一对CCD(Charge Coupled Device，电荷耦合器件)图像传感器214、224。

图像处理引擎202执行包括按照本实施方式的对应点搜索处理的各种数字处理。图像处理引擎202典型地由DSP(Digital Signal Processor，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、LSI(Large Scale Integration，大规模集成电路)、FPGA(Field-ProgrammableGate Array，现场可编程门阵列)等构成。

输入部204典型地由各种按钮、触摸面板等构成，将从用户接受到的指示的内容输出到图像处理引擎202。

显示部206显示与被摄体的摄影等有关的用户界面画面。优选地，显示部206使用根据通过图像处理引擎202而获得的对应点搜索结果等生成的立体图像，对被摄体进行立体显示。此时，作为显示部206，与上述的显示部120(图3)相同地，由对应于三维显示方式的任意的显示设备构成。

一对镜头212、222设置在图像处理装置200的主体的不同的位置，能够在不同的视角分别拍摄被摄体。即，在一对镜头212、222中，分别入射来自被摄体的互不相同的反射光。一对CCD214、224与一对镜头212、222分别建立对应，接受通过镜头212、222而聚光的来自被摄体的光(像)且将表示该像的电信号输出到图像处理引擎202。

《b3：其他结构的实现例》

除了通过上述的个人计算机实现的例以及通过类似于数字摄像机的结构实现的例之外，也可以安装在便携电话上。此外，也可以是至少一个服务器装置实现按照本实施方式的处理的、所谓的云服务的方式。此时，设想如下结构：用户使用自身的终端(个人计算机或智能手机等)，将至少两个处理对象图像发送到服务器装置(云侧)，服务器装置侧对该发送的处理对象图像进行按照本实施方式的图像处理。此外，也可以不需要由服务器装置侧进行全部功能(处理)，而是用户侧的终端和服务器装置协作而实现按照本实施方式的图像处理。

[C.功能结构]

接着，说明按照本实施方式的图像处理装置和/或图像处理程序的功能结构。

图5是表示按照本发明的实施方式的图像处理装置的功能结构的框图。图6是表示图5所示的对应点搜索部的更详细的功能结构的框图。

参照图5，按照本实施方式的图像处理装置作为其主要的功能结构而包括图像取得部13、对应点搜索部14、频率运算控制部15。这些功能结构通过在图3所示的图像处理装置100中CPU102执行对应点搜索处理程序而实现，在图4所示的图像处理装置200中通过图像处理引擎202而实现。

《c1：图像取得部13》

图像取得部13取得摄像机11以及12(摄像机A以及摄像机B)分别拍摄被摄体而生成的输入图像(立体图像)。如上所述，在取得了一对图像的情况下，将一个图像称为基准图像，将另一个图像称为参照图像。图像取得部13作为用于取得至少两个图像的各种接口而实现。即，既可以从摄像机11以及12直接接受输入图像，也可以经由各种记录介质或网络而接受输入图像。图像取得部13取得的多个输入图像输出到对应点搜索部14。

《c2：对应点搜索部14》

对应点搜索部14对输入的2个以上的输入图像进行对应点搜索处理，输出对应点搜索结果。即，对应点搜索部14在参照图像上搜索关于在基准图像上设定的各关注点(关注像素)的对应点。

在本实施方式中，对应点搜索部14基于通过对在输入图像(基准图像以及参照图像)中分别设定的窗(搜索窗)的图案进行频率分解而提取的相位信息(抑制了振幅分量的信号分量)的相似度，运算图像间的对应关系。在以下的实施方式中，说明作为这样的代表性的方法而使用了相位限定相关法(Phase-Only Correlation；POC法)的结构。但是，本发明并不限定于使用POC法的情况，只要是至少使用相位信息的方法则能够应用任意的方法。例如，还能够应用在文献1(植村淳志、伊藤泉、貴家仁志、「DCT符号相関を用いたサブピクセル精度画像マッチング」、社団法人電子情報通信学会、電子情報通信学会技術研究報告.IE，画像工学107(489)，77-82，2008-02-12)等中记载的方法等。

在图6中，表示使用相位限定相关法而进行对应点搜索处理的情况下的对应点搜索部14的安装例。更具体而言，对应点搜索部14包括基准窗设定部141、参照窗设定部142、傅里叶变换部143、144、相位取出部145、146、相位差算出部147、傅里叶逆变换部148、最大值选择部149。

基准窗设定部141以及参照窗设定部142对基准图像以及参照图像分别设定窗。如后所述，基准窗设定部141以及参照窗设定部142基于来自频率运算控制部15的尺寸信息，决定要设定的窗的尺寸。

例如，考虑如搜索与基准图像上的某一点K对应的参照图像上的点S的对应点搜索处理。此时，首先，基准窗设定部141以包括点K的方式在基准图像上设定基准窗。另外，基准窗内的点K的相对位置能够任意决定，但这里，设为以点K成为其重心位置的方式设定基准窗。

在参照图像上也同样地设定窗，但由于在参照图像侧不知道对应的点，所以参照窗设定部142以预先决定的候选点S’成为其重心位置的方式设定参照窗。关于候选点S’，例如，在立体图像间的视差不大的应用的情况下，使用与点K相同的坐标即可。此外，在立体图像间的视差范围宽的情况下，通过采用使用了后述的多重分辨率的疏密战略等，能够将最初的候选点使用与点K相同的坐标值。

傅里叶变换部143对在基准图像上设定的基准窗进行傅里叶变换，将图像信息变换为频率空间的信息。同样地，傅里叶变换部143对在参照图像上设定的参照窗进行傅里叶变换，将图像信息变换为频率空间的信息。该变换后的频率空间的信息包括每个频率的振幅信息以及相位信息。即，傅里叶变换部143以及144对在各个窗中包含的部分图像进行频率分解。

首先，为了本实施方式中的傅里叶变换部143以及144的理解，说明一般的傅里叶变换。

例如，在窗尺寸为N×M的情况下，横向的频率的全域通过直流分量和频率F1～Fx＿max＝(N-1)/2(其中，设N为奇数尺寸)的交流分量表示，纵向的频率的全域通过直流分量和频率F1～Fy＿max＝(M-1)/2(其中，设M为奇数尺寸)表示。另外，实际上，由于存在N个或者M个交流分量但具有以直流分量为中心的对称的信息，所以作为有意义的信息，只存在Fx＿max×Fy＿max个。

傅里叶变换的计算结果以包括实部以及虚部的复数形式输出。典型地，根据(1)式，执行傅里叶变换。

[数1]

$\begin{array}{c}F(u,v)=\underset{x,y}{\mathrm{\Σ}}f(x,y)W_{N1}^{\mathrm{ux}}{W}_{N2}^{\mathrm{vy}}\\ W_N=e^{-j\frac{2\mathrm{\π}}{N}}\end{array}...\left(1\right)$

其中，N1、N2为窗尺寸

即，频率信息以包括实部Re(u，v)以及虚部Im(u，v)的复数形式输出。此外，能够使用实部以及虚部的值，变换为振幅信息A(u，v)以及相位信息θ(u，v)。

振幅信息以及相位信息与包括实部以及虚部的复数表现的关系式成为如(2)式。

[数2]

$\begin{array}{c}A(u,v)=\sqrt{\mathrm{Re}{(u,v)}^{2+}\mathrm{Im}{(u,v)}^2}\\ \mathrm{\θ}(u,v)={\tan }^{-1}\left(\frac{\mathrm{Im}(u,v)}{\mathrm{Re}(u,v)}\right)\end{array}...\left(2\right)$

另外，傅里叶变换的结果既可以以将振幅和相位进行了组合的形式保存，也可以以将实部和虚部进行了组合的形式保存。

在以上说明的傅里叶变换中，能够使用一个N×M的窗尺寸的数据而算出全部频率分量。但是，在本实施方式中，根据频率而使用不同的窗尺寸的数据，限定在各窗尺寸中算出的频率分量而进行傅里叶变换。关于这一点，在频率运算控制部15的说明中后述。

相位取出部145以及146分别使用从傅里叶变换部143以及144输出的傅里叶变换的结果(典型地，复数形式)，提取关于基准窗以及参照窗的相位信息。

相位差算出部147算出由相位取出部145以及146提取到的关于各个窗的相位信息之差。即，相位差算出部147生成相位差信息。

傅里叶逆变换部148通过对由相位差算出部147算出的相位差信息进行傅里叶逆变换，算出表示在分别设定的窗中包含的部分图像间的相似度的POC值。算出该POC值的处理在参照窗设定部142每次更新在参照图像上设定的参照窗的位置时重复执行。另外，作为涉及POC值的算出的详细的步骤，请参照文献2(“A Sub-Pixel Correspondence Search Technique for ComputerVision Applications”，IEICE Transactions.Fundamentals，E87-A，No.8，pp.1913--1923，Aug.2004)等。

图7是表示通过按照本发明的实施方式的对应点搜索部14算出的POC值的一例的图。如图7所示，算出与参照窗的设定位置建立关联的多个POC值。

最大值选择部149通过从如图7所示的、与参照窗的设定位置(候选点S’)建立关联的POC值的图中选择取最大值的POC，决定参照图像上的对应点。

《c3：频率运算控制部15》

在本实施方式中，在傅里叶变换等的频率运算中，按每个频率分量变更要在计算中使用的信息量。在本实施方式中，使用一维的傅里叶变换，但也可以使用二维的傅里叶变换。

一维的傅里叶变换能够如(3)式那样表示。

[数3]

$\begin{array}{c}F\left(u\right)=\underset{x}{\mathrm{\Σ}}f\left(x\right)W_N^{\mathrm{ux}}\\ W_N=e^{-j\frac{2\mathrm{\π}}{N}}\end{array}...\left(3\right)$

其中，N为窗尺寸

在窗尺寸为N×1的情况下，通过傅里叶变换而能够算出频率分量的频率成为1～Fmax＝(N-1)/2。在一般的傅里叶变换中，即使是在算出哪种频率分量的情况下，都使用了相等的N×1的窗尺寸，但在本实施方式中，随着运算对象的频率增大而减小在频率运算中使用的窗尺寸，限定为运算对象的频率而进行傅里叶变换。

傅里叶变换在窗尺寸为N×1且获得全部频率的频率分量的情况下，花费N2的运算时间，但由于获得以直流分量为中心而点对称的结果，所以实际上成为N2/2的运算时间。另一方面，关于各频率F(＝u)，通过将在运算中使用的窗尺寸设为(N+1)-F(此时，N为窗尺寸的最大值)，限定运算对象的频率，总的运算量成为如(4)式所示。

Fmax×(2×N+1-Fmax)/2＝3(N2-1)/8…(4)

即，若N大到某种程度，则由于能够忽略上述的式(4)的常数项，所以能够相对于通常的运算时间N2/2，将整体的运算时间削减至大约75％。

(c3.1：设定例1)

在上述的例中，说明了在关于各频率F的运算中使用的窗尺寸为(N+1)-F的情况、即窗尺寸按每个频率F而不同的情况，但也可以采用除此以外的设定方法。例如，也可以如N-P×[F/P](其中，N为窗尺寸的最大值，P为2以上的整数，[·]表示高斯符号)这样根据频率F而离散地设定窗尺寸。即，频率运算控制部15根据在频率分解的计算中使用的频率，离散地变更窗的尺寸。

具体而言，例如，N＝33、P＝2时的频率F以及窗尺寸的关系成为如以下。另外，此时，关于相同的窗尺寸的多个频率F，通过一次傅里叶变换而运算频率分量即可。即，频率运算控制部15按在频率分解的计算中使用的每个频率，变更窗的尺寸。

频率F＝1→窗尺寸33

频率F＝2→窗尺寸31

频率F＝3→窗尺寸31

频率F＝4→窗尺寸29

频率F＝5→窗尺寸29

频率F＝6→窗尺寸27

频率F＝7→窗尺寸27

频率F＝8→窗尺寸25

频率F＝9→窗尺寸25

频率F＝10→窗尺寸23

频率F＝11→窗尺寸23

频率F＝12→窗尺寸21

频率F＝13→窗尺寸21

频率F＝14→窗尺寸19

频率F＝15→窗尺寸19

频率F＝16→窗尺寸17

(c3.2：设定例2)

上述的窗尺寸的设定方法是等间隔地设定窗尺寸的方法，但也可以设为在低频侧和高频侧变更窗尺寸的设定方法。例如，也可以是对于1≤F＜Q(Q＜N/2)的频率F，以N-P1×[F/P1]决定窗尺寸，对于Q≤F的频率F，以N-P2×[F/P2](P1≠P2)决定窗尺寸。具体而言，例如，N＝33、P1＝2、P2＝4、Q＝8时的频率F以及窗尺寸的关系成为如以下。

频率F＝1→窗尺寸33

频率F＝2→窗尺寸31

频率F＝3→窗尺寸31

频率F＝4→窗尺寸29

频率F＝5→窗尺寸29

频率F＝6→窗尺寸27

频率F＝7→窗尺寸27

频率F＝8→窗尺寸25

频率F＝9→窗尺寸25

频率F＝10→窗尺寸25

频率F＝11→窗尺寸25

频率F＝12→窗尺寸21

频率F＝13→窗尺寸21

频率F＝14→窗尺寸21

频率F＝15→窗尺寸21

频率F＝16→窗尺寸17

另外，在上述的例中，表示了将频率F分割为Q以上和小于Q的2个的设定例，但也可以分割为3个以上。

[D.处理步骤]

接着，说明按照本实施方式的对应点搜索方法的整体步骤。

图8是表示按照本发明的实施方式的对应点搜索方法的整体步骤的流程图。图8所示的各步骤典型地通过CPU102(图3)执行对应点搜索处理程序112等而实现。

参照图8，首先，CPU102取得立体图像(基准图像以及参照图像)(步骤S2)。接着，CPU102在基准图像上设定成为处理对象的像素(关注像素)(步骤S4)，且设定用于搜索与在基准图像上设定的成为处理对象的像素对应的、参照图像上的像素的初始位置(步骤S6)。并且，执行如以下所示的搜索处理。

即，CPU102决定与在频率分解的计算中使用的频率对应的窗尺寸(步骤S8)。并且，CPU102以基准图像上的处理对象的像素成为其重心位置的方式设定具有所决定的窗尺寸的基准窗，且以参照图像上的搜索候选的像素成为其重心位置的方式设定具有所决定的窗尺寸的参照窗(步骤S10)。

接着，CPU102对在步骤S10中设定的、基准图像上的基准窗以及参照图像上的参照窗中包含的部分图像执行傅里叶变换(步骤S12)。通过该傅里叶变换而算出的频率信息与处理对象的频率建立关联而存储。并且，CPU102判断是否对在频率分解的计算中使用的全部频率完成了傅里叶变换(步骤S14)。

当没有对在频率分解的计算中使用的全部频率完成傅里叶变换的情况下(步骤S14中“否”的情况下)，CPU102选择要在频率分解的计算中使用的下一个频率，重复执行步骤S8以下的处理。

相对于此，当对在频率分解的计算中使用的全部频率完成了傅里叶变换的情况下(步骤S14中“是”的情况下)，CPU102从根据基准窗以及参照窗算出的各个频率信息，只提取相位信息(步骤S16)，算出两者的相位差(步骤S18)。即，在步骤S16中，由于已完成对于需要的全部频率的傅里叶变换，所以算出每个频率的振幅以及相位。CPU102使用这些信息，算出频率-相位差的信息。进而，CPU102通过对算出的相位差信息进行傅里叶逆变换，算出POC值(步骤S20)。该POC值与在参照图像中设定的搜索候选的像素的位置建立关联而存储。

接着，CPU102判断是否对在参照图像中能够设定的全部搜索候选算出POC值(步骤S22)。当在参照图像中能够设定的全部搜索候选中有尚未算出POC值的搜索候选的情况下(步骤S22中“否”的情况下)，CPU102设定参照图像上成为搜索候选的像素的位置(步骤S24)，重复执行步骤S8以下的处理。

当对在参照图像中能够设定的全部搜索候选算出了POC值的情况下(步骤S22中“是”的情况下)，CPU102根据POC值的分布决定对应于峰值的位置(步骤S26)。即，CPU102从在参照图像中包含的搜索候选中、提取表示最高的POC值的位置，并将该提取的位置决定为在基准图像上设定的像素(关注像素)的对应点。

之后，CPU102判断是否对在基准图像上成为对应点搜索的对象的全部像素完成了处理(步骤S28)。当在基准图像上成为对应点搜索的对象的像素中有尚未完成处理的像素的情况下(步骤S28中“否”的情况下)，CPU102设定在基准图像上成为处理对象的其他像素(关注像素)(步骤S30)，且重复执行步骤S6以下的处理。

当对在基准图像上成为对应点搜索的对象的全部像素完成了处理的情况下(步骤S28中“是”的情况下)，处理结束。

[E.变形例1：沿着2的幂的窗尺寸的变更]

在使用计算机而执行傅里叶变换的情况下，通过使用以蝶形(butterfly)运算为特征的快速傅里叶变换(FFT：Fast Fourier Transformation)，能够进一步缩短运算时间。

此时，所设定的窗的尺寸需要满足2的幂的条件。即，从运算速度的观点出发，优选窗的尺寸为2的幂。在本变形例中，说明根据在频率分解的计算中使用的频率，沿着2的幂来变更窗的尺寸的例。

例如，在将最大的窗的尺寸设为32×16的情况下，横向的频率由直流分量和频率1～15的交流分量表示，纵向的频率由直流分量和频率1～7的交流分量表示。

一般，已知在通常的傅里叶变换的运算量为N2的情况下，若使用快速傅里叶变换(FFT)，则运算量成为N×log₂N。例如，在窗的尺寸为32×32的情况下，在通常的傅里叶变换中运算量成为1024，相对于此，在快速傅里叶变换(FFT)中运算量成为160，能够实现80％以上的高速化。

考虑上述的点，在上述的实施方式中，在使用快速傅里叶变换(FFT)时无秩序地变更了窗的尺寸的情况下，存在运算量增加的可能性。

因此，在使用快速傅里叶变换(FFT)的情况下，通过使运算对象的信息(窗尺寸)成为2的幂尺寸，能够降低运算量。例如，窗尺寸8的FFT运算量为8×log₂8＝24。假设在只计算频率1～4的情况下，运算量成为一半的12。并且，关于频率5～8，在计算了窗尺寸4的信息的情况下，运算量成为4×log₂4＝8，作为整体的运算量成为12+8＝20。即，该情形下能够获得大约17％的运算量的降低效果。

作为用于获得这样的运算量的降低效果的、窗的尺寸的设定例，成为如下。

频率F＝1、2、3、4→窗尺寸8(23)

频率F＝5、6、7、8→窗尺寸4(22)

[F.变形例2：窗函数的应用]

傅里叶变换以在窗中包含的图像的两端上的连续性为前提而进行，但实际上，不能确保连续性。因此，作为进行傅里叶变换之前的前处理，一般采用如下的信号处理：应用窗函数而担保图像的连续性。作为这样的窗函数，定义了汉明(hamming)窗、凯撒(Kaiser)窗、汉宁(Hanning)窗等的各种函数，能够采用任意的窗函数。

例如，一维的汉宁窗能够如(5)式那样定义。

[数4]

$H\left(i\right)=\frac{1+\cos \left(\frac{\mathrm{\π}}{M}i\right)}{2}...\left(5\right)$

其中，-M≤i≤M(i∈整数)

在上述的实施方式中，与在低的空间频率的相位信息的计算中使用的窗的尺寸相比，在高的空间频率的相位信息的计算中使用的窗被设定为较窄的范围。其中，由于不能担保较窄的范围的两端上的连续性，所以存在精度差的可能性。

因此，通过每次应用与按空间频率设定的窗的尺寸对应的窗函数，能够稳定频率运算的精度。即，在本变形例中，对应点搜索部14对在窗中包含的图像进行基于窗函数的卷积运算。此时，窗函数根据对象的窗的尺寸而设定。换言之，在频率运算之前进行的窗函数的卷积运算配合所设定的窗的尺寸而分别实施。

另外，通过按窗的尺寸进行窗函数的卷积运算，存在运算量增加的可能性，但通过适当地进行尺寸的设定，能够确保精度且降低运算量。例如，在上述的变形例1中记载的例的情况下，需要对用于运算关于频率5～8的频率信息而使用的信息(窗尺寸4)新应用窗函数。涉及此时的窗函数的应用的运算量成为4/2＝2。另外，相对于傅里叶变换需要运算实部以及虚部的双方，窗函数只运算实部即可，所以在比率上相当于尺寸的大约一半的运算量。由此，在按窗尺寸应用了窗函数的情况下，也能够发挥运算量的降低效果。

另外，在上述的说明中，说明了一维的傅里叶变换，但也能够扩展到二维的傅里叶变换。例如，二维的汉宁窗能够如(6)式那样定义。

[数5]

$H(i,j)=\frac{1+\cos \left(\frac{\mathrm{\π}}{M}i\right)}{2}\×\frac{1+\cos \left(\frac{\mathrm{\π}}{N}j\right)}{2}...\left(6\right)$

其中，-M≤i≤M，-N≤j≤N(i，j∈整数)

在应用窗函数的情况下，由于将(5)式统一应用一次即可，所以与一维的傅里叶变换时相比，还能够提高运算量的降低效果。

[G.变形例3：使用了多重分辨率的疏密战略]

作为本发明的实施方式的变形例3，说明将使用了多重分辨率的疏密战略进行组合而搜索对应点的处理。

如上所述，在本实施方式中，在进行频率分解时，通过按每个频率限制在计算中使用的窗尺寸，缩短运算时间。但是，通过这样减小在频率分解中使用的窗的尺寸，存在会缩小能够搜索的范围的可能性。例如，在全部频率中限制在计算中使用的窗尺寸等同于减小窗，存在能够搜索对应点的范围受限制的可能性。

该能够搜索范围受限制不在基准图像上设定的基准窗中产生，只在参照图像上设定的参照窗中产生。在基准图像侧中，由于以想要求出的关注点成为其重心位置的方式设定基准窗，所以即使减小在计算中使用的窗尺寸也一定会包含想要求出的点。另一方面，在为参照图像侧设定的参照窗的情况下，由于想要求出的点未必成为参照窗的重心位置，所以存在若减小在计算中使用的窗尺寸则不包含想要求出的点(或者是勉强包含在窗尺寸的边缘的状态)的可能性，其结果，成为缩小能够搜索的范围的结果。

如以上所述，在本实施方式中，为了覆盖搜索范围，在低的频率中原样使用窗的尺寸(即，使用全部信息)进行频率分解，而只对高的频率限制在计算中使用的窗尺寸，但由于高的频率能够覆盖的搜索范围实质上变窄，所以在需要宽的搜索范围的情况下，存在对精度产生影响的可能性。

因此，在本变形例中，通过与使用了多重分辨率的疏密战略(多重分辨率战略)进行组合，能够发挥维持对应点搜索的精度且缩短运算时间的高效果。换言之，通过利用多重分辨率战略，能够在某种程度上限定搜索范围，所以即使对高的频率限制在计算中使用的窗尺寸，也能够抑制对于精度的影响。即，频率运算控制部15在将在频率分解的计算中使用的频率分为低频侧和高频侧时，在低频侧中细致地变更窗尺寸，在高频侧中粗略地变更窗尺寸。

使用了多重分辨率的疏密战略(多重分辨率战略)将输入图像(基准图像以及参照图像)变换为具有多个分辨率的图像群，使用关于分辨率不同的图像的对应点搜索的结果，决定输入图像(基准图像以及参照图像)之间的对应点。更具体而言，首先，在分辨率低的图像间搜索对应点。由于分辨率低，对应点搜索处理的运算时间较短，但搜索到的位置的精度相对低(对应的分辨率的精度成为界限)。接着，在分辨率更高的图像间搜索对应点。此时，利用先执行的对应点搜索处理的结果，在限定的范围内进行搜索。因此，即使分辨率高，也能够缩短运算时间。以下，通过进行同样的处理，在分辨率最高的图像中搜索到的对应点作为对应点搜索结果而输出。

图9是表示按照本发明的实施方式的变形例2的图像处理装置的功能结构的框图。在图9所示的框图的结构元素中，对于与图5所示的框图相同的结构元素赋予相同的标号。即，按照本变形例的图像处理装置与按照图5所示的本实施方式的图像处理装置相比，进一步加上多重分辨率图像生成部16、对应点搜索控制部17、初始位置设定部18。由于其他结构元素已在上面叙述，不重复详细的说明。

《g1：多重分辨率图像生成部16》

图10是表示在本发明的实施方式的变形例2中生成的分辨率不同的图像群的模式图。图11是表示在本发明的实施方式的变形例2中生成的分辨率不同的图像群的一例的图。

多重分辨率图像生成部16根据被输入的各个立体图像(基准图像以及参照图像)，生成如图10以及图11所示的分辨率不同的多个图像。

在输入图像的分辨率为VGA(640×480)，将变换倍率设为1/2、层数设为4的情况下，多重分辨率图像生成部16例如关于基准图像以及参照图像分别生成“VGA(640×480)”、“QVGA(320×240)”、“160×120”、“80×60”的图像群。另外，也将输入层的VGA记载为层0，将QVGA记载为层1，将160×120记载为层2，将80×60记载为层3。

在这样的分辨率不同的图像群之间，根据变换倍率，成立如以下的关系。即，层3中的坐标(x，y)的像素值作为由层2中的坐标(2x，2y)、坐标(2x+1，2y)、坐标(2x，2y+1)、坐标(2x+1，2y+1)构成的2×2的像素的平均值而算出。

另外，变换倍率并不限定于1/2，也可以采用1/3等更小的值。此时，由于能够减少需要的层数，因此，能够利用于需要更快速的处理时。或者，作为变换倍率，也可以采用1/1.5等更大的值。由此，需要的层数增加而运算负荷相对提高，但由于更细致地进行搜索，所以能够提高鲁棒性。

此外，不需要在层间将变换倍率设为相同，例如，也可以在接近输入图像处采用较小的变换倍率，随着成为低分辨率而增大变换倍率。通过改变这样的变换倍率，在距离混合严重的低分辨率中能够更细致地搜索而担保鲁棒性，另一方面，在高分辨率中比鲁棒性更注重高速化，从而能够进行取得了总平衡的对应点搜索处理。

《g2：对应点搜索控制部17》

对应点搜索控制部17通过接着说明的步骤，执行输入图像(基准图像以及参照图像)之间的对应点搜索处理。这里，如上所述，说明输入图像的分辨率为VGA(640×480)，将变换倍率设为1/2、层数设为4的情况。

图12是用于说明使用了按照本发明的实施方式的变形例2的多重分辨率的疏密战略的处理内容的图。

参照图12，例如，设为在层3中，通过对应点搜索而算出与基准图像上的坐标(x3，y3)的像素对应的参照图像上的坐标(p3，q3)的像素。接着，在层2中，求与基准图像上的坐标(x2，y2)的像素对应的参照图像上的像素时，利用层3中的对应点搜索的结果。具体而言，由于在层3中求出的参照图像上的坐标(p，q)的附近有正解位置，所以在层2中，认为位于将在层3中的参照图像上的坐标(p，q)大致进行了2倍的坐标的附近。因此，利用层2中的对应点搜索的结果，接着，求出层1中的参照图像上的正解位置的大致位置。由此，以将低分辨率的结果成为高分辨率的初始位置的方式缓慢地接近正解。这样的搜索方式一般被称为多重分辨率战略或者疏密战略。

《g3：初始位置设定部18》

初始位置设定部18设定上述的多重分辨率战略(疏密战略)中的层变更时的初始位置。

图13是用于说明在使用了按照本发明的实施方式的变形例2的多重分辨率的疏密战略中设定初始位置的处理的图。更具体而言，图13是提取了基准图像以及参照图像的层2以及层3的一部分的图。

例如，层3中的基准图像上的坐标(bx，by)的像素作为层2中的基准图像上的坐标(BX，BY)、坐标(BX+1，BY)、坐标(BX，BY+1)、坐标(BX+1，BY+1)的2×2的平均值而算出。在层3中，参照图像上的坐标(bx，by)的像素与参照图像上的坐标(rx，ry)的像素建立对应。初始位置设定部18根据层3中的对应点搜索的结果，将用于层2中的对应点搜索的初始位置设定在参照图像侧。该设定方法如以下那样进行。

(RX，RY)＝(2×rx，2×ry)

(RX+1，RY)＝(2×rx+1，2×ry)

(RX，RY+1)＝(2×rx，2×ry+1)

(RX+1，RY+1)＝(2×rx+1，2×ry+1)

通过这样设定初始位置，能够使其设定精度更加准确。另外，为了更加简化运算，也可以对(RX，RY)、(RX+1，RY)、(RX，RY+1)、(RX+1，RY+1)提供一律相同的初始位置(2×rx，2×ry)。

《g4：小结》

根据本变形例，对应点搜索中的搜索范围不会受到限制，就能够缩短运算时间。

[H.应用例1]

按照上述的本实施方式及其变形例的图像处理装置例如能够应用于立体测量。更具体而言，通过立体摄像机拍摄对象物，根据通过该拍摄而获得的图像间的对应的结果，测量对象物的距离等。

图14是用于说明按照本发明的实施方式的图像处理装置的应用例1的图。图15是用于说明图14所示的立体测量的原理的图。

参照图14，在立体测量中，通过2台摄像机(立体摄像机)同时拍摄对象物。图像处理装置对通过拍摄而获得的2张输入图像(基准图像以及参照图像)进行对应点搜索处理，进行图像间的对应。此外，图像处理装置基于三角测量的原理，根据对应结果而取得至对象物的距离信息。

如图15所示，在生成基准图像的基准摄像机与生成参照图像的参照摄像机的对应点位置之差(视差)为Δd的情况下，至对象物的距离D通过下式算出。

D＝fB/Δd

其中，B是摄像机的基线长，f是摄像机镜头的焦距。

此外，对象物的三维位置(X，Y，Z)通过下式算出。

X＝x×D/f

Y＝y×D/f

Z＝D

其中，x、y是基准图像上的关注像素的坐标。

[I.应用例2]

在上述的应用例1中，说明了进行时间上同时拍摄的图像间的对应的例，但也可以进行在不同的时间拍摄的图像间的对应。

图16是用于说明按照本发明的实施方式的图像处理装置的应用例2的图。如图16所示，1台摄像机时序地拍摄图像，且图像处理装置在时间上不同的2张图像之间执行对应点搜索处理。使用该对应的结果而算出对象物的时间性的移动的信息(运动信息)，并将其显示。例如，如图16所示，在视觉上表现被摄体正向什么方向以什么速度移动。

[J.优点]

根据本实施方式，在进行频率分解时，通过按每个频率限制在计算中使用的窗尺寸，能够缩短运算时间。即，关于较高的频率，通过减少在频率分解中使用的信息，能够减少整体的处理量。尤其，在对应点搜索处理中使用的频率分解的运算负荷高，所以通过采用按照本实施方式的方法，能够更有效地减少运算负荷。

[K.其他方式]

作为本发明的实施方式，包括如以下的方式。

按照本发明的某一方面的对应点搜索方法包括：图像取得步骤，取得大体同等的2个以上的图像；对在图像取得步骤中取得的2个以上的图像分别设定窗的步骤；通过对所设定的各窗进行频率分解而取出相位信息的步骤；通过计算所取出的各相位信息之差，从第二图像上决定与在图像取得步骤中取得的2个以上的图像的第一图像中的点对应的点的步骤；在进行频率分解时，设定为按每个频率在计算中使用的预先确定的窗尺寸，算出各频率的步骤。

优选地，设定为至少在高的频率中使用的窗尺寸等于或者小于在低的频率中使用的窗尺寸。

优选地，按每个频率在计算中使用的窗尺寸以成为2的幂的方式减小。

优选地，在频率运算之前进行的窗函数的卷积运算配合所设定的窗尺寸而分别实施。

优选地，还包括：将所取得的立体图像变换为多个分辨率的步骤；以及基于疏密战略，在各分辨率中执行基于相位限定相关法的对应点搜索的步骤。

应认为本次公开的实施方式在所有点上是例示而并非限制性的。本发明的范围由权利要求范围所表示而并非上述的说明，意图包含与权利要求范围等同的含义以及范围内的全部变更。

标号说明

11，12摄像机、13图像取得部、14对应点搜索部、15频率运算控制部、16多重分辨率图像生成部、17对应点搜索控制部、18初始位置设定部、100，200图像处理装置、102CPU、104RAM、106ROM、108网络接口、110辅助存储装置、112对应点搜索处理程序、114处理对象图像、120，206显示部、122，204输入部、124存储卡接口、126存储卡、130总线、141基准窗设定部、142参照窗设定部、143，144傅里叶变换部、145，146相位取出部、147相位差算出部、148傅里叶逆变换部、149最大值选择部、202图像处理引擎、212、222镜头、214、224图像传感器。

Claims (9)

1.一种图像处理装置，在第一图像和第二图像之间搜索对应点，包括：

窗设定部件，对所述第一图像以及所述第二图像分别设定窗；

相位信息提取部件，通过对在所设定的各个窗中包含的图像进行频率分解，提取相位信息；

对应点决定部件，通过对从各个窗提取到的相位信息进行比较，决定所述第一图像和所述第二图像之间的对应点；以及

窗尺寸控制部件，使得所述窗设定部件根据在频率分解的计算中使用的频率而设定不同的尺寸的窗，

所述窗尺寸控制部件使得所述窗设定部件对应于第一频率而设定第一尺寸的窗且对应于高于所述第一频率的第二频率而设定小于所述第一尺寸的第二尺寸的窗。

2.如权利要求1所述的图像处理装置，

所述窗尺寸控制部件使得根据在频率分解的计算中使用的频率而沿着2的幂来变更窗的尺寸。

3.如权利要求1所述的图像处理装置，

所述窗尺寸控制部件使得按照在频率分解的计算中使用的每个频率而变更窗的尺寸。

4.如权利要求1所述的图像处理装置，

所述窗尺寸控制部件使得根据在频率分解的计算中使用的频率而离散地变更窗的尺寸。

5.如权利要求1所述的图像处理装置，

当将在频率分解的计算中使用的频率分为低频侧和高频侧时，所述窗尺寸控制部件使得在低频侧中细致地变更窗的尺寸、在高频侧中粗略地变更窗的尺寸。

6.如权利要求1～5的任一项所述的图像处理装置，

所述相位信息提取部件包括对在窗中包含的图像进行基于窗函数的卷积运算的部件，

所述窗函数根据窗的尺寸而设定。

7.如权利要求1～6的任一项所述的图像处理装置，还包括：

分辨率变换部件，将所述第一图像以及所述第二图像变换为具有多个分辨率的图像，

所述对应点决定部件使用关于分辨率不同的图像的对应点搜索的结果，决定所述第一图像和所述第二图像之间的对应点。

8.一种图像处理方法，在第一图像和第二图像之间搜索对应点，包括：

窗设定步骤，对所述第一图像以及所述第二图像分别设定窗；

相位信息提取步骤，通过对在所设定的各个窗中包含的图像进行频率分解，提取相位信息；以及

对应点决定步骤，通过对从各个窗提取到的相位信息进行比较，决定所述第一图像和所述第二图像之间的对应点，

在所述窗设定步骤中，对应于在频率分解的计算中使用的第一频率而设定第一尺寸的窗且对应于高于所述第一频率的第二频率而设定小于所述第一尺寸的第二尺寸的窗。

9.一种图像处理程序，在第一图像和第二图像之间搜索对应点，所述图像处理程序使计算机执行如下步骤：

窗设定步骤，对所述第一图像以及所述第二图像分别设定窗；

相位信息提取步骤，通过对在所设定的各个窗中包含的图像进行频率分解，提取相位信息；以及

对应点决定步骤，通过对从各个窗提取到的相位信息进行比较，决定所述第一图像和所述第二图像之间的对应点，

在所述窗设定步骤中，对应于在频率分解的计算中使用的第一频率而设定第一尺寸的窗且对应于高于所述第一频率的第二频率而设定小于所述第一尺寸的第二尺寸的窗。