CN102883092A - 图像处理装置、方法及程序 - Google Patents

Abstract

提供了一种图像处理装置和方法，该图像处理装置包括：基于针对过去的拍摄图像求得的全局运动向量来计算要处理的拍摄图像的全局运动向量的预测值的预测单元；基于预测值确定拍摄图像上的有效区域的有效区域计算单元；从拍摄图像上的有效区域提取特征值的特征值计算单元；通过将特征值投影到指定方向的轴上来计算投影特征向量的投影单元；以及通过匹配要处理的拍摄图像的投影特征向量与另一个拍摄图像的投影特征向量来计算要处理的拍摄图像的全局运动向量的全局运动向量计算单元。

Description

图像处理装置、方法及程序

技术领域

本公开涉及一种图像处理装置、方法及程序，并且更具体地涉及一种能够精确且高速地求得图像之间的全局运动向量的图像处理装置、方法及程序。

背景技术

过去，已经提出了一种通过计算连续拍摄的多个静止图像之间的全局运动向量并且基于这样的计算结果对准和合并静止图像来生成全景图像的技术。

已知三种主要的用于估计两个图像之间的全局运动向量的方法。

这些已知方法中的第一种方法基于特征点来估计全局运动向量。在这种方法中，如图1所示，针对连续拍摄的两个图像A11和A12计算特征点。

在图1的示例中，图像A11上的圆圈和图像A12上的方块指示特征点。例如，已知SIFT（尺度不变特征变换）和SURF（加速鲁棒特征）为用于求特征点的技术的代表性示例，这种特征点对于对象的放大和缩小、旋转等是鲁棒的。

接着，使图像A11上的特征点与图像A12上的特征点相关联。在图1中，图像A11上的箭头起始处的特征点与图像A12上的该箭头的终止处的特征点是关联特征点。例如，在使特征点相关联时，通过执行鲁棒估计，如RANSAC（随机采样一致性算法），能够在某种程度上排除离群值，如移动对象。一旦确认了图像A11和图像A12上的特征点的关联，则将关联结果用于计算图像之间的全局运动向量。

第二种已知方法基于块匹配来估计全局运动向量。通过块匹配来进行的运动估计被广泛地用在视频压缩系统等中。

在这种方法中，如图2所示，图像A13被分成多个块，并且对于这些块中的每个块，执行对在图像A13之后拍摄的图像A14中的与图像A13中的块匹配的区域的搜索。

即，例如对于图像A13中的块BL11，确定图像A14中与块BL11中心位置相同的搜索区域TR11。此后，通过在搜索区域TR11内的相应区域搜索块之间的差异（如，块BL11内的像素的像素值的绝对差之和）最小的区域来求得块BL11的运动向量。此外，根据以此方式求得的相应块的运动向量来求得图像A13与图像A14之间的全局运动向量。

第三种已知方法根据积分投影来估计全局运动向量。在这种方法中，将图像的特征值投影到指定轴上，并且使用已经对于每个图像投影的一维信息（即，特征值）来计算图像之间的全局运动向量。

更具体地，已知如下方法，该方法通过将图像的块内的相应像素的像素值设置为特征值、在行方向和列方向上对这些特征值进行积分投影并且使用这样的投影值来执行搜索，以比标准块匹配低的成本来计算全局运动向量（例如见E.Ogura,Y.Ikeda,Y.Iida,Y.Hosoya,M.Takashima,K.Yamashita“A Cost Effective Motion Estimation Processor LSI Using aSimple and Efficient Algorithm”IEEE Transactions on ConsumerElectronics,Volume41,Issue3,1995/8）。

发明内容

然而，使用上述技术还不能精确且高速地计算全局运动向量。

例如，虽然第一种方法能够以高的精度计算全局运动向量，但是计算成本高。这意味着虽然第一种方法适合个人计算机的软件处理，但是这种方法不适合如移动终端装置或数字照相机等的资源低于个人计算机的装置。

另外，例如在通过在数字照相机内部进行处理来实现分辨率比数字照相机的视频镜头更高的图像之间的全局运动向量的计算的情况下，第二种方法非常耗时。虽然这在能够容忍长的处理时间的情况下不是问题，但是难以使用连续拍摄期间的快门操作之间的间隔来在图像拍摄的同时计算全局运动向量。

此外，虽然与以上给出的第一种方法和第二种方法相比，第三种方法能够快速计算全局运动向量，但是不能够以高精度求得全局运动向量。特别地，为了使用图像之间的全局运动向量来生成全景图像，希望以更高的精度来计算全局运动向量。

本公开旨在精确且快速地计算全局运动向量。

根据本公开的第一实施例，提供了一种图像处理装置，该图像处理装置包括：基于针对过去的拍摄图像求得的全局运动向量来计算要处理的拍摄图像的全局运动向量的预测值的预测单元、基于预测值来确定拍摄图像上的有效区域的有效区域计算单元、从拍摄图像上的有效区域提取特征值的特征值计算单元、通过将特征值投影到指定方向的轴上来计算投影特征向量的投影单元以及通过匹配要处理的拍摄图像的投影特征向量与另一个拍摄图像的投影特征向量来计算要处理的拍摄图像的全局运动向量的全局运动向量计算单元。

有效区域计算单元可以基于预测值以及以下之一来确定有效区域：用于进行拍摄以得到该拍摄图像的光学系统的失真信息和拍摄图像中的指定对象的区域。

特征值计算单元可以基于拍摄图像上的沿指定方向排列的像素计算特征值。

特征值计算单元可以基于拍摄图像中的像素的梯度信息计算特征值。

特征值计算单元可以基于拍摄图像的颜色信息计算特征值。

投影单元可以将特征值投影到相互垂直的两个轴上，并且针对每个轴计算投影特征向量。

该图像处理装置还可以包括基于全局运动向量合并拍摄图像以生成全景图像的全景合并单元。

该图像处理装置还可以包括基于全局运动向量对拍摄图像执行图像稳定的图像稳定单元。

根据本公开的第一实施例，提供了一种图像处理方法或一种使计算机执行如下处理的程序，该处理包括：基于针对过去的拍摄图像求得的全局运动向量来计算要处理的拍摄图像的全局运动向量的预测值；基于预测值确定拍摄图像上的有效区域；从拍摄图像上的有效区域提取特征值；通过将特征值投影到指定方向的轴上来计算投影特征向量；以及通过匹配要处理的拍摄图像的投影特征向量与另一个拍摄图像的投影特征向量来计算要处理的拍摄图像的全局运动向量。

根据本公开的第一实施例，可以基于针对过去的拍摄图像求得的全局运动向量来计算要处理的拍摄图像的全局运动向量的预测值，可以基于预测值来确定拍摄图像上的有效区域，可以从拍摄图像上的有效区域提取特征值，可以通过将特征值投影到指定方向的轴上来计算投影特征向量，并且可以通过匹配要处理的拍摄图像的投影特征向量与另一个拍摄图像的投影特征向量来计算要处理的拍摄图像的全局运动向量。

根据本公开的第二实施例，提供了一种图像处理装置，该图像处理装置包括：基于拍摄图像中的指定对象的区域和用于进行拍摄以得到拍摄图像的光学系统的失真信息之一来确定拍摄图像上的有效区域的有效区域计算单元、从拍摄图像上的有效区域提取特征值的特征值计算单元、通过将特征值投影到指定方向的轴上来计算投影特征向量的投影单元以及通过匹配要处理的拍摄图像的投影特征向量与另一个拍摄图像的投影特征向量来计算要处理的拍摄图像的全局运动向量的全局运动向量计算单元。

根据本公开的第二实施例，提供了一种图像处理方法或一种使计算机执行如下处理的程序，该处理包括：基于以下之一确定拍摄图像上的有效区域：用于进行拍摄以得到拍摄图像的光学系统的失真信息和拍摄图像中的指定对象的区域；从拍摄图像上的有效区域提取特征值；通过将特征值投影到指定方向的轴上来计算投影特征向量；以及通过匹配要处理的拍摄图像的投影特征向量与另一个拍摄图像的投影特征向量来计算要处理的拍摄图像的全局运动向量。

根据本公开的第二实施例，可以基于以下之一来确定拍摄图像上的有效区域：用于进行拍摄以得到拍摄图像的光学系统的失真信息和拍摄图像中的指定对象的区域，可以从拍摄图像上的有效区域提取特征值，可以通过将特征值投影到指定方向的轴上来计算投影特征向量，并且可以通过匹配要处理的拍摄图像的投影特征向量与另一个拍摄图像的投影特征向量来计算要处理的拍摄图像的全局运动向量。

根据上述本公开的实施例，能够精确且快速地计算全局运动向量。

附图说明

图1是用于说明使用特征点的全局运动向量的计算的图；

图2是用于说明根据块匹配的全局运动向量的计算的图；

图3是示出图像拍摄装置的实施例的示例配置的图；

图4是示出图像处理电路的示例配置的图；

图5是用于说明全局运动向量计算过程的流程图；

图6是用于说明局部特征值的投影的图；

图7是用于说明全局运动向量的图；

图8是示出图像处理电路的另一示例配置的图；

图9是用于说明全局运动向量计算过程的流程图；

图10是用于说明全局运动向量的预测的图；

图11是用于说明有效区域的图；

图12是用于说明设置有效区域的效果的图；

图13是示出图像处理电路的另一示例配置的图；

图14是用于说明全局运动向量计算过程的流程图；

图15是用于说明有效区域的图；

图16是示出图像处理电路的另一示例配置的图；

图17是用于说明全局运动向量计算过程的流程图；

图18是示出图像处理电路的另一示例配置的图；

图19是用于说明全局运动向量计算过程的流程图；

图20是用于说明全景图像的生成的图；

图21是示出图像处理电路的另一示例配置的图；

图22是用于说明全局运动向量计算过程的流程图；

图23是用于说明如何确定拍摄图像的连接位置的图；

图24是用于说明拍摄图像的合并的图；

图25是用于说明全景图像的修剪的图；

图26是示出图像处理电路的另一示例配置的图；

图27是用于说明全局运动向量计算过程的流程图；以及

图28是示出计算机的示例配置的图。

具体实施方式

下文中，将参考附图详细描述本公开的优选实施例。应当注意，在本说明书和附图中，用相同的附图标记来表示具有基本相同的功能和结构的结构元件，并且省略了对这些结构元件的重复说明。

第一实施例

图像拍摄装置的示例配置

图3是示出根据本公开的图像拍摄装置的一个实施例的示例配置的图。

该图像拍摄装置11的配置可以粗略地分类成光学系统、信号处理系统、记录系统、显示系统和控制系统。

即，光学系统包括对对象的图像光进行聚焦的透镜21、调节来自透镜21的图像光的量的光圈22以及对聚焦的图像光进行光电变换以将光变换成电信号的图像拍摄元件23。图像拍摄元件23包括例如CCD（电荷耦合器件）图像传感器或CMOS（互补金属氧化物半导体）图像传感器。

信号处理系统包括采样电路24、A/D（模拟/数字）变换电路25和图像处理电路26。采样电路24例如用相关二次采样（CDS）电路来实现，并且对来自图像拍摄元件23的电信号进行采样以生成模拟信号。通过这样做，减小了图像拍摄元件23生成的噪声。通过采样电路24获得的模拟信号为用于显示对象的拍摄图像的图像信号。

A/D变换电路25将从采样电路24提供的模拟信号变换成数字信号，并且将该数字信号提供给图像处理单元26。图像处理单元26对从A/D变换电路25输入的数字信号执行指定的图像处理。

记录系统包括对图像信号编码或解码的编解码器（编码器/解码器）27以及记录图像信号的存储器28。编解码器27对作为已经通过图像处理单元26处理的数字信号的图像信号进行编码，并且将已编码信号记录在存储器28中，和/或从存储器28中读取图像信号并对该图像信号进行解码并且将已解码信号提供给图像处理电路26。

显示系统包括D/A（数字/模拟）变换电路29、视频编码器30和显示单元31。

D/A变换电路29将通过图像处理电路26处理的图像信号变换成模拟信号，并且将该模拟信号提供给视频编码器30，视频编码器30将来自D/A变换电路29的图像信号编码成显示单元31可兼容的格式的视频信号。显示单元31用例如LCD（液晶显示器）来实现，并且基于通过由视频编码器30编码而获得的视频信号来显示对应于视频信号的图像。当拍摄对象的图像时，显示单元31还用作取景器（finder）。

控制系统包括定时生成单元32、操作输入单元33、驱动器34和控制单元35。图像处理电路26、编解码器27、存储器28、定时生成单元32、操作输入单元33和控制单元35经由总线36彼此连接。

定时生成单元32控制图像拍摄元件23、采样电路24、A/D变换电路25和图像处理电路26的操作的定时。操作输入单元33包括按钮、开关等，从用户接收快门操作和其他命令的输入，并且根据用户进行的操作向控制单元35提供信号。

驱动器34连接有指定的外围设备，并且驱动器34驱动所连接的外围设备。例如，驱动器34从如磁盘、光盘、磁光盘或半导体存储器等作为外围设备连接的记录介质读取数据，并且将该数据提供给控制单元35。

控制单元35控制整个图像拍摄装置11。例如，控制单元35经由驱动器34从连接至驱动器34的记录介质读取控制程序，并且基于该控制程序和来自操作输入单元33的命令等控制整个图像拍摄装置11的操作。

接着，将描述图像拍摄装置11的操作。

在图像拍摄装置11中，来自对象的光，即，对象的图像光经由透镜21和光圈22入射到图像拍摄元件23上，并且通过图像拍摄元件23进行光电变换以产生电信号。在通过采样电路24去除了通过图像拍摄元件23获得的电信号的噪声分量并且通过A/D变换电路25将该信号变换成数字信号之后，将该信号暂时存储在合并在图像处理电路26中的图像存储器（未示出）中。

应当注意，在正常状态下，即，在执行快门操作之前的状态下，通过使用定时生成单元32来控制信号处理系统的定时，以某个帧速率将来自A/D变换电路25的图像信号连续地重写到图像处理电路26的图像存储器中。通过D/A变换电路29将图像处理电路26的图像存储器内的图像信号从数字信号变换成模拟信号，通过视频编码器30将该模拟信号变换成视频信号，并且在显示单元31上显示对应于该视频信号的图像。

在这种情况下，显示单元31还用作图像拍摄装置11的取景器。在观看显示在显示单元31上的图像时，用户确定构图，然后按下作为操作输入单元33的快门按钮以指示图像拍摄。当快门按钮被按下时，基于来自操作输入单元33的信号，控制单元35指示定时生成单元32在快门按钮被按下之后立刻保持图像信号。通过这样做，控制信号处理系统使得图像信号没有被重写在图像处理电路26的图像存储器中。

在这之后，通过编解码器27对图像处理电路26的图像存储器中所保持的图像信号进行编码，并且将其记录在存储器28中。作为上述图像拍摄装置11的操作的结果，完成了对一个图像的图像信号的获取。图像处理电路的配置

更具体地，如图4所示配置图3的图像处理电路26。

即，图像处理电路26包括拍摄图像保持单元61、局部特征值计算单元62、积分投影单元63和全局运动向量计算单元64。

通过图像拍摄装置11获得的对象的图像（下文中称为“对象图像”）被提供给拍摄图像保持单元61，并且拍摄图像保持单元61保持所提供的多个拍摄图像。提供给拍摄图像保持单元61的拍摄图像是在图像拍摄装置11在指定方向上移动（扫过）的情况下连续拍摄的图像。在拍摄图像的拍摄过程中，图像拍摄装置11移动，使得相同的对象被包括在连续拍摄的两个拍摄图像中。

应当注意，在连续拍摄的图像中，要拍摄的第t个图像称为“帧t的拍摄图像”。

局部特征值计算单元62从拍摄图像保持单元61中所保持的拍摄图像中提取局部特征值，并且将该局部特征值提供给积分投影单元63。积分投影单元63将从局部特征值计算单元62提供的局部特征值投影到指定方向上的轴上，并且将该投影值提供给全局运动向量计算单元64。

通过匹配从积分投影单元63提供的连续帧的拍摄图像的投影局部特征值，全局运动向量计算单元64计算并输出拍摄图像的全局运动向量。在此，拍摄图像的全局运动向量是整个拍摄图像的运动向量，并且示出在两个拍摄图像交叠以使得相同对象重合的情况下拍摄图像的位置关系。换言之，全局运动向量能够示出在拍摄图像的拍摄过程中图像拍摄装置11的相对于如背景等的非运动对象的运动。

全局运动向量计算过程的描述

然而，如果用户已经操作了操作输入单元33以指示涉及全局运动向量的计算的处理，如全景图像的生成，则图像拍摄装置11开始拍摄该拍摄图像并且计算全局运动向量的全局运动向量计算过程。接着，将参考图5的流程图来描述由图像拍摄装置11执行的全局运动向量计算过程。

在步骤S11中，图像拍摄装置11开始对拍摄图像的拍摄。即，在处理开始时，用户使得图像拍摄装置11连续拍摄多个拍摄图像，同时使图像拍摄装置11在指定方向上扫过。

由于来自对象的光经由透镜21和光圈22入射到图像拍摄元件23，所以图像拍摄元件23对入射光执行光电变换以拍摄图像。经由从采样电路24到编解码器27的元件，将所获得的拍摄图像（图像信号）从图像拍摄元件23提供给存储器28，并且将其记录在存储器28中。在这样做时，通过编解码器27对拍摄图像进行编码。当拍摄图像被记录在存储器28中时，按图像拍摄顺序给相应图像分配帧号。

当多个拍摄图像已经依次记录在存储器28中时，通过编解码器27从存储器28中读取拍摄图像并且对其进行解码。将已解码图像提供给图像处理电路26的拍摄图像保持单元61，并且保持该已解码图像。

应当注意，还能够将通过图像拍摄获得的拍摄图像直接提供给拍摄图像保持单元61而不记录在存储器28中。在此，“拍摄图像”可以是拍摄的单个静止图像，或者可以是组成拍摄的运动图像的一个帧的图像。

在步骤S12中，局部特征值计算单元62从拍摄图像保持单元61拍摄包括要处理的帧的两个连续的帧的拍摄图像，并且从这些拍摄图像中提取局部特征值。

例如，将拍摄图像上的相垂直的方向设置为x方向和y方向，并且将以x方向和y方向为轴的xy坐标系中的拍摄图像上的坐标(x，y)处的像素的像素值设置为v(x，y)。在这种情况下，局部特征值计算单元62在没有修改的情况下将拍摄图像中的相应像素的像素值v(x，y)设置为局部特征值。

应当注意，x方向也称为“水平方向”，而y方向也称为“竖直方向”。另外，局部特征值可以是作为颜色信息（例如，各个颜色R、G和B的信息）的像素值，或者可以是像素的亮度值。

也可以基于拍摄图像中的像素的梯度信息来计算局部特征值，如拍摄图像中的像素之间的绝对差和/或像素之间的平方差。

即，作为一个示例，可以求得与在水平方向上邻近的像素的绝对差作为拍摄图像上的坐标(x，y)处的像素的水平方向上的局部特征值，并且可以求得与在竖直方向上邻近的像素的绝对差作为竖直方向上的局部特征值。在这种情况下，例如，计算|v(x+1,y)-v(x,y)|作为水平方向上的局部特征值，并且计算|v(x,y+1)-v(x,y)|作为竖直方向上的局部特征值。

也可以计算与拍摄图像上在水平方向上邻近的像素的平方差以及与拍摄图像上在竖直方向上邻近的像素的平方差作为水平局部特征值和竖直局部特征值。即，在这种情况下，计算(v(x+1，y)-v(x,y))²作为水平方向上的局部特征值，并且计算(v(x,y+1)-v(x,y))²作为竖直方向上的局部特征值。

在计算拍摄图像中的各个像素的局部特征值之后，局部特征值计算单元62将所计算的局部特征值提供给积分投影单元63。

在步骤S13中，积分投影单元63将从局部特征值计算单元62提供的局部特征值投影到指定方向的轴上以计算投影特征向量，并且将该投影特征向量提供给全局运动向量计算单元64。

更具体地，如图6所示，例如假定从要处理的帧(t+1)的拍摄图像FP(t+1)和紧接在帧(t+1)之前的帧t的拍摄图像FP(t)中提取局部特征值。应当注意，在图6中，水平方向和竖直方向示出x方向（水平方向）和y方向（竖直方向）。

积分投影单元63将针对拍摄图像FP(t)的各个像素求得的水平方向上的局部特征值投影到水平方向的轴上（下文中简称为“水平轴”），并且通过求投影到水平轴上的相同位置的局部特征值的和来计算水平轴投影特征向量H(t)。

在此，假定拍摄图像FP(t)为总共包括X乘以Y个像素的图像，其中，水平方向上X个像素，竖直方向上Y个像素。在这种情况下，积分投影单元63针对水平方向（x方向）上的每个位置x计算作为水平轴投影特征向量H(t)的元素的积分投影值ph(x)，并且将包括针对水平方向上的相应位置x计算的X积分投影值ph(x)的向量设置为水平轴投影特征向量H(t)。每个积分投影值ph(x)为拍摄图像FP(t)中的x坐标相同的像素的水平方向上的局部特征值之和。

以相同的方式，积分投影单元63将针对拍摄图像FP(t)的各个像素求得的竖直方向上的局部特征值投影到竖直方向的轴上（下文中简称为“竖直轴”），并且通过求投影到竖直轴上的相同位置的局部特征值的和来计算竖直轴投影特征向量V(t)。即，积分投影单元63针对竖直方向（y方向）上的每个位置y计算作为竖直轴投影特征向量V(t)的元素的积分投影值pv(y)，并且将包括针对竖直方向上的相应位置y计算的Y积分投影值pv(y)的向量设置为竖直轴投影特征向量V(t)。每个积分投影值pv(y)为拍摄图像FP(t)中的y坐标相同的像素的竖直方向上的局部特征值之和。

因此，例如当在没有修改的情况下将像素的像素值(x,y)用作局部特征值时，分别用以下等式（1）和（2）来表示构成水平轴投影特征向量H(t)的积分投影值ph(x)和构成竖直轴投影特征向量V(t)的积分投影值pv(y)。应当注意，在这种情况下，水平方向上的局部特征值和竖直方向上的局部特征值都是像素的像素值v(x,y)。

$\mathrm{ph}\left(x\right)=\underset{y}{\mathrm{\Σ}}v(x,y)...\left(1\right)$

$\mathrm{pv}\left(y\right)=\underset{x}{\mathrm{\Σ}}v(x,y)...\left(2\right)$

例如，当分别求得与在水平方向上邻近的像素的绝对差以及与在竖直方向上邻近的像素的绝对差作为水平方向的局部特征值和竖直方向的局部特征值时，分别用以下等式（3）和（4）来表示积分投影值ph(y)和积分投影值pv(y)。

$\mathrm{ph}\left(x\right)=\underset{y}{\mathrm{\Σ}}|v(x+1,y)-v(x,y)|...\left(3\right)$

$\mathrm{pv}\left(y\right)=\underset{x}{\mathrm{\Σ}}|v(x,y+1)-v(x,y)|...\left(4\right)$

此外，例如当分别求得与在水平方向上邻近的像素的平方差以及与在竖直方向上邻近的像素的平方差作为水平方向的局部特征值和竖直方向的局部特征值时，分别用以下等式（5）和（6）来表示积分投影值ph(y)和积分投影值pv(y)。

$\mathrm{ph}\left(x\right)=\underset{y}{\mathrm{\Σ}}{(v(x+1,y)-v(x,y))}^2...\left(5\right)$

$\mathrm{pv}\left(y\right)=\underset{x}{\mathrm{\Σ}}{(v(x,y+1)-v(x,y))}^2...\left(6\right)$

在以这种方式计算了拍摄图像FP(t)的水平轴投影特征向量H(t)和竖直轴投影特征向量V(t)时，积分投影单元63还使用相同的计算来计算拍摄图像FP(t+1)的水平轴投影特征向量H(t+1)和竖直轴投影特征向量V(t+1)。

应当注意，虽然已经参考图6描述了将局部特征值投影到相垂直的水平轴和竖直轴上的示例，但是用于投影的轴不限于水平方向和竖直方向，而可以是任意方向。另外，用于投影局部特征值的轴的数量不限于两个，而可以是任意数量。

下文中，当不需要区分水平轴投影特征向量和竖直轴投影特征向量时，可以将这样的向量简称为“投影特征向量”。

返回对图5的流程图的描述。一旦计算了投影特征向量，则在步骤S14中，全局运动向量计算单元64基于从积分投影单元63提供的投影特征向量计算拍摄图像的全局运动向量，并且输出所计算的全局运动向量。

更具体地，作为一个示例，全局运动向量计算单元64执行水平轴投影特征向量H(t)和水平轴投影特征向量H(t+1)的匹配，并且求得全局运动向量的水平方向的分量（x分量）。

即，全局运动向量计算单元64使水平轴投影特征向量在y方向上对准，使得水平轴投影特征向量H(t)和水平轴投影特征向量H(t+1)中的具有相同x坐标的积分投影值ph(x)在y方向上对准。此后，在相对于水平轴投影特征向量H(t)在x方向上平移水平轴投影特征向量H(t+1)的同时，全局运动向量计算单元64针对水平轴投影特征向量在y方向上交叠的部分求得x方向上的相同位置处的积分投影值ph(x)之间的绝对差的平均值。

例如，假定水平轴投影特征向量H(t+1)相对于水平轴投影特征向量H(t)在x方向上平移（平行移动）距离S。在这种情况下，求得水平轴投影特征向量H(t)的积分投影值ph(x)与水平轴投影特征向量H(t+1)的积分投影值ph(x-S)之间的绝对差的平均值。

此后，全局运动向量计算单元64求得产生积分投影值ph(x)之间的绝对差的最小平均值的平移距离S，并且将所获得的平移距离S设置为全局运动向量的水平方向分量（x分量）。

另外，通过执行与水平方向相同的计算，全局运动向量计算单元64执行竖直轴投影特征向量V(t)与竖直轴投影特征向量V(t+1)的匹配，并且求得全局运动向量的竖直方向分量（y分量）。将由以此方式获得的x分量和y分量组成的向量设置为全局运动向量。

通过这样做，作为一个示例，获得了图7所示的全局运动向量GV。应当注意，在图7中，水平方向和竖直方向示出x方向和y方向。

在图7的示例中，图像被对准以使得帧t的拍摄图像FP(t)和帧t+1的拍摄图像FP(t+1)中的相同对象重合。另外，将以拍摄图像FP(t+1)中的左上顶点为起始点并且以拍摄图像FP(t)的左上顶点为结束点的向量GV设置为帧t+1的全局运动向量。该向量GV示出拍摄图像FP(t)与拍摄图像FP(t+1)之间的相对位置关系。

返回对图5的流程图的描述，在步骤S15中，图像处理电路26确定是否已经针对每个帧的拍摄图像执行了处理。作为一个示例，如果已经针对每个帧的拍摄图像计算了全局运动向量，则确定已经对每个帧进行了处理。

如果在步骤S15中确定还没有针对每个帧执行处理，则处理返回步骤S12，并且重复在前描述的处理。即，将下一个帧设置为要处理的帧，并且计算这样的帧的拍摄图像的全局运动向量。

另一方面，如果在步骤S15中确定已经针对每个帧执行了处理，则图像处理电路26停止各个单元的处理，并且结束全局运动向量计算过程。

以这种方式，图像拍摄装置11通过将拍摄图像的局部特征值投影到指定方向的轴上并且匹配作为结果获得的投影特征向量来求得全局运动向量。通过以这种方式将局部特征值投影到指定方向的轴上，能够减少匹配过程中所使用的信息（特征值）的量，使得与典型块匹配等相比能够快速获得全局运动向量。

应当注意，虽然上面描述了求得像素的像素值、像素之间的绝对差和像素之间的平方差作为局部特征值的示例，列表“平方差、绝对差、像素值”按照改善匹配精度的有效性的降序示出了作为局部特征值的这些值。然而，列表“像素的像素值、绝对差、平方差”按照匹配过程的计算成本的增序示出了这些值。

第二实施例

图像处理电路的配置

虽然以上描述了从整个拍摄图像中提取局部特征值，然而还可以仅从用于计算拍摄图像的全局运动向量的区域（下文中称为“有效区域”）中提取局部特征值。

在这种情况下，如图8所示配置图3的图像处理电路26。应当注意，图8中的对应于图4所示的情况的部分被分配以相同的附图标记，并且适当地省略了其描述。

图8的图像处理电路26包括：拍摄图像保持单元61、局部特征值计算单元62、积分投影单元63、全局运动向量计算单元64、全局运动向量保持单元91、全局运动向量预测单元92和有效区域计算单元93。

图8的图像处理电路26的配置与图4的图像处理电路26的不同之处在于还包括全局运动向量保持单元91、全局运动向量预测单元92和有效区域计算单元93，而其余部分与图4的图像处理电路26相同。

全局运动向量保持单元91保持从全局运动向量计算单元64提供的全局运动向量，并且将全局运动向量输出给设置在下游的组成元件。全局运动向量保持单元91还根据需要将所保持的全局运动向量提供给全局运动向量预测单元92。

全局运动向量预测单元92基于从全局运动向量保持单元91提供的过去的帧的全局运动向量来预测要处理的帧的全局运动向量，并且将所预测的全局运动向量提供给有效区域计算单元93。

有效区域计算单元93基于从全局运动向量预测单元92提供的全局运动向量的预测值来确定拍摄图像的有效区域，并且将有效区域提供给局部特征值计算单元62。另外，在从拍摄图像保持单元61获得的拍摄图像上的各区域中，局部特征值计算单元62从由有效区域计算单元93提供的有效区域中提取局部特征值，并且将局部特征值提供给积分投影单元63。全局运动向量计算过程的描述

接着，将参考图9的流程图描述在如图8所示配置图像拍摄装置11的图像处理电路26的情况下的全局运动向量计算过程。应当注意，由于步骤S41的处理与图5的步骤S11的处理相同，所以省略了其描述。

在步骤S42中，全局运动向量预测单元92基于从全局运动向量保持单元91提供的全局运动向量计算要处理的帧的全局运动向量的预测值，并且将该预测值提供给有效区域计算单元93。

例如，全局运动向量预测单元92通过执行过去的帧的全局运动向量的零阶和/或一阶外推来计算要处理的帧的全局运动向量的预测值。

更具体地，要处理的帧(t+1)的全局运动向量的x分量的预测值表示为x_t+1，而帧t的全局运动向量的x分量表示为x_t。当这样做时，如果例如如图10的顶部处所示，通过零阶外推求得x_t+1，则在没有修改的情况下将紧接在前的帧（时间）的x_t的设置为x_t+1。应当注意，在图10中，水平方向示出了时间，而竖直方向示出了全局运动向量的x分量的大小。

以与x分量相同的方式，在没有修改的情况下将紧接在要处理的帧(t+1)之前的帧t的全局运动向量的y分量设置为帧(t+1)的全局运动向量的y分量的预测值。

此外，如果作为要处理的帧(t+1)之前2个帧的帧(t-1)的全局运动向量的x分量表示为x_t-1，并且通过第一阶外推求得x_t+1，则通过计算图10的底部处所示的x_t+1=x_t+(x_t-x_t-1)来计算预测值x_t+1。另外，在这种情况下，通过执行与x分量相同的计算，求得帧(t+1)的全局运动向量的y分量的预测值。

在步骤S43中，有效区域计算单元93基于从全局运动向量预测单元92提供的全局运动向量的预测值来确定拍摄图像上的有效区域，并且将所确定的有效区域提供给局部特征值计算单元62。

在步骤S44中，在从拍摄图像保持单元61获得的拍摄图像上的各区域中，局部特征值计算单元62从有效区域计算单元93提供的有效区域中提取局部特征值，并且将该局部特征值提供给积分投影单元63。

在步骤S45中，积分投影单元63将从局部特征值计算单元62提供的局部特征值投影到指定方向的轴上以计算投影特征向量，并且将投影特征向量提供给全局运动向量计算单元64。

例如，如图11中的顶部处所示，要处理的帧(t+1)的全局运动向量的x分量和y分量的预测值表示为PG_x和P G_y。应当注意，在图11中，水平方向和竖直方向分别示出x方向和y方向。

在图11的顶部，示出了帧t的拍摄图像FP(t)和帧(t+1)的拍摄图像FP(t+1)，拍摄图像之间的箭头示出了通过预测获得的全局运动向量。

如果已经以此方式获得了全局运动向量的x分量的预测值PG_x和y分量的预测值PG_y，则有效区域计算单元93确定如图11的中间和底部所示的拍摄图像的每个投影特征向量的有效区域。

即，如图11的中间部分的左侧所示，当计算水平轴投影特征向量H(t)时，有效区域计算单元93设置通过以下方式获得的有效区域AR(t)_x：从拍摄图像FP(t)中排除从拍摄图像FP(t)的上边缘到分离开预测值PG_y的大小的位置的区域。接着，局部特征值计算单元62计算拍摄图像FP(t)上的有效区域AR(t)_x中的相应像素的水平方向局部特征值，并且积分投影单元63通过将所计算的局部特征值投影到水平轴上来计算水平轴投影特征向量H(t)。

另外，如图11的中间部分的右侧所示，当计算水平轴投影特征向量H(t+1)时，有效区域计算单元93设置通过以下方式获得的有效区域AR(t+1)_x：从拍摄图像FP(t+1)中排除从拍摄图像FP(t+1)的下边缘到分离开预测值PG_y的大小的位置的区域。接着，局部特征值计算单元62计算拍摄图像FP(t+1)上的有效区域AR(t+1)_x中的相应像素的水平方向局部特征值，并且积分投影单元63通过将所计算的局部特征值投影到水平轴上来计算水平轴投影特征向量H(t+1)。

全局运动向量的y分量的预测值PG_y示出拍摄图像FP(t)与拍摄图像FP(t+1)之间的y方向上的位置关系。例如，当拍摄图像基于预测值PG_y一个放置在另一个之上时，如图11的顶部处所示，拍摄图像FP(t)和拍摄图像FP(t+1)在被平移了预测值P G_y的大小的情况下在y方向上彼此交叠。为此，通过从局部特征值的提取中排除一个拍摄图像与另一个拍摄图像不重合的部分，能够使用仅两个拍摄图像重合的部分来计算水平轴投影特征向量，并且从而以高精度计算全局运动向量。

此外，以与x分量相同的方式，如图11的底部的左侧所示，当计算竖直轴投影特征向量V(t)时，有效区域计算单元93设置通过以下方式获得的有效区域AR(t)_y：从拍摄图像FP(t)中排除从拍摄图像FP(t)的左边缘到分离开预测值PG_x的大小的位置的区域。接着，局部特征值计算单元62计算拍摄图像FP(t)上的有效区域AR(t)_y中的相应像素的竖直方向局部特征值，并且积分投影单元63通过将所计算的局部特征值投影到竖直轴来计算竖直轴投影特征向量V(t)。

另外，如图11的底部的右侧所示，当计算竖直轴投影特征向量V(t+1)时，有效区域计算单元93设置通过以下方式获得的有效区域AR(t+1)_y：从拍摄图像FP(t+1)中排除从拍摄图像FP(t+1)的右边缘到分离开预测值PG_x的大小的位置的区域。接着，局部特征值计算单元62计算拍摄图像FP(t+1)上的有效区域AR(t+1)_y中的相应像素的竖直方向局部特征值，并且积分投影单元63通过将所计算的局部特征值投影到竖直轴来计算竖直轴投影特征向量V(t+1)。

回到对图9的流程图的描述，一旦获得了水平轴投影特征向量和竖直轴投影特征向量，然后执行步骤S46和步骤S47的处理，并且结束全局运动向量计算过程。应当注意，由于这样的处理与图5的步骤S14和S15的处理相同，所以省略了其描述。

然而，在步骤S46中，将所计算的全局运动向量从全局运动向量计算单元64提供给全局运动向量保持单元91。全局运动向量保持单元91暂时存储全局运动向量，并且还将全局运动向量提供给设置在下游的组成元件。

通过这样做，图像拍摄装置11根据过去的帧的全局运动向量来预测要处理的帧的全局运动向量、从使用这些预测值确定的有效区域中提取局部特征值并且然后计算实际全局运动向量。

以该方式，通过仅使用有效区域中的像素的局部特征值来计算全局运动向量，能够以更高的速度和更高的精度来获得全局运动向量。

作为一个示例，如图12所示，假定已经针对如房屋和树的对象的帧t的拍摄图像FP(t)和帧(t+1)的拍摄图像FP(t+1)连续执行了图像拍摄。当这样做时，在拍摄图像FP(t)的图像拍摄与拍摄图像FP(t+1)的图像拍摄之间，假定图像拍摄装置11在向下的方向上移动并且移动到图12的右侧。应当注意，在图12中，水平方向和竖直方向示出x方向和y方向。

在这种情况下，根据在前描述的第一实施例，如图12的顶部处所示，通过从整个拍摄图像FP(t)和FP(t+1)中提取局部特征值来计算水平轴投影特征向量H(t)和水平轴投影特征向量H(t+1)。

这意味着，作为一个示例，从不被包括在拍摄图像FP(t)中的对象的区域（即具有例如图12的公共汽车的区域）中提取的局部特征值会对拍摄图像FP(t+1)的水平轴投影特征向量H(t+1)的计算有贡献。如果这发生，则水平轴投影特征向量的匹配产生错误，并且全局运动向量的计算精度会下降。

另一方面，使用参考图9描述的全局运动向量计算过程，如图12的底部处所示，仅从通过从拍摄图像的整个区域中排除使用全局运动向量的y分量的预测值PG_y求得的区域而获得的有效区域中来提取局部特征值。

即，从通过排除拍摄图像FP(t)的图中的上部区域而获得的有效区域AR(t)_x中提取局部特征值以计算水平轴投影特征向量H(t)。另外，从通过排除拍摄图像FP(t+1)的图中的下部区域而获得的有效区域AR(t+1)_x中提取局部特征值以计算水平轴投影特征向量H(t+1)。

通过以这种方式设置有效区域以限制要处理的区域，例如能够通过排除被包括在拍摄图像FP(t+1)中但未包括在拍摄图像FP(t)中的对象区域（例如，具有公共汽车的区域）来计算水平轴投影特征向量。即，如果仅将包括在拍摄图像FP(t+1)和拍摄图像FP(t)二者中的对象的区域设置为要处理，由于包括在仅一个拍摄图像中的对象没有影响，所以能够降低水平轴投影特征向量的匹配错误的风险。

应当注意，通过以与水平轴投影特征向量相同的方式确定竖直轴投影特征向量的有效区域，也能够降低匹配错误的风险。

以这种方式降低匹配错误的效果越大，全局运动向量的预测值就越接近全局运动向量的真实值。例如，如果在移动作为照相机等的图像拍摄装置11的同时通过以典型的速率连续拍摄来连续拍摄图像，则在很多情况下，连续帧的全局运动向量之间没有很大的差异，不管图像拍摄装置11是手持式还是固定至三角架。这意味着，预测全局运动向量和获得减少匹配错误的显著效果相对容易。

另外，当针对拍摄图像设置有效区域时，计算局部特征值的成本降低了整个拍摄图像的面积与排除了有效区域的拍摄图像的区域的面积之比。具体地，如果使用具有高计算成本的特征值作为局部特征值，则局部特征值的计算成本会大大降低。

第三实施例

图像处理电路的配置

应当注意，虽然以上描述了基于全局运动向量的预测值确定有效区域的示例，但是，除了预测值之外，还可以使用与透镜21的失真有关的信息（下文中称为“透镜失真信息”）来确定有效区域。

在这种情况下，如图13所示配置图3的图像处理电路26。应当注意，图13的对应于图8所示的情况的部分被分配以相同的附图标记，并且适当地省略了其描述。

图13的图像处理电路26包括拍摄图像保持单元61、局部特征值计算单元62、积分投影单元63、全局运动向量计算单元64、全局运动向量保持单元91、全局运动向量预测单元92、有效区域计算单元93和透镜失真信息保持单元121。

图13的图像处理电路26的配置与图8的图像处理电路26的不同之处在于新配置有透镜失真信息保持单元121，而其余部分与图8的图像处理电路26相同。

透镜失真信息保持单元121事先保持与透镜21有关的透镜失真信息，并且将所保持的透镜失真信息提供给有效区域计算单元93。有效区域计算单元93基于从全局运动向量预测单元92提供的全局运动向量的预测值和从透镜失真信息保持单元121提供的透镜失真信息确定有效区域，并且将有效区域提供给局部特征值计算单元62。

全局运动向量计算过程的描述

接着，将参考图14描述在图像拍摄装置11的图像处理电路26如图13所示配置的情况下的全局运动向量计算过程。应当注意，由于步骤S71和步骤S72的处理与图9的步骤S41和步骤S42的处理相同，所以省略了其描述。

在步骤S73中，有效区域计算单元93基于从全局运动向量预测单元92提供的全局运动向量的预测值和从透镜失真信息保持单元121提供的透镜失真信息确定有效区域，并且将有效区域提供给局部特征值计算单元62。

例如，如图15的顶部处所示，在拍摄图像FP的中央的未失真区域SF中，假定在图像拍摄过程中没有由于透镜21的影响而出现图像失真，而对于拍摄图像FP的边缘附近的区域，即，除了未失真区域SF之外的区域，出现了图像失真。即，将由于诸如透镜21的光学系统的影响而产生的图像失真在特定容忍范围内的区域设置为未失真区域SF。

指定未失真区域SF的信息是透镜失真信息，并且全局运动向量的预测值的x分量和y分量分别表示为PG_x和PG_y。

在这种情况下，如图15的中间部分所示，当计算水平轴投影特征向量时，有效区域计算单元93将拍摄图像FP(t)上的区域AR(t)_x’和拍摄图像FP(t+1)上的区域AR(t+1)_x’设置为有效区域。

在此，区域AR(t)_x’（下文中称为“有效区域AR(t)_x’”）是通过从拍摄图像FP(t)中排除从拍摄图像FP(t)的上边缘到分离开预测值PG_y的大小的位置的区域而获得的区域中的包括在未失真区域SF中的区域。即，有效区域AR(t)_x’是在前描述的图11的有效区域AR(t)_x’内部的区域中的包括在失真区域SF中的区域。

以相同的方式，区域AR(t+1)_x’（下文中称为“有效区域AR(t+1)_x’”）是通过从拍摄图像FP(t+1)中排除从拍摄图像FP(t+1)的下边缘到分离开预测值PG_y的大小的位置的区域而获得的区域中的包括在未失真区域SF中的区域。

如果透镜21在拍摄图像中产生对象的失真，则取决于失真的范围，每个区域中的对象的运动向量会出现不同的误差，这使得难以计算单个全局运动向量。为此，通过基于透镜失真信息进一步限制有效区域以仅将由于透镜21而产生的图像失真的影响小的区域（通常接近图像的中央）设置为要提取局部特征值的区域，能够以更高的精度和更高的速度来获得全局运动向量。

即，由于根据全局运动向量的预测值确定的有效区域进一步仅限于有用区域，所以能够预期降低局部特征值的计算成本等，并且还可以预期改善匹配过程的精度。

以与x分量相同的方式，如图15的底部处所示，当计算竖直轴投影特征向量时，有效区域计算单元93将拍摄图像FP(t)上的区域AR(t)_y’和拍摄图像FP(t+1)上的区域AR(t+1)_y’设置为有效区域。

在此，区域AR(t)_y’（下文中称为“有效区域AR(t)_y’”）是通过从拍摄图像FP(t)中排除从拍摄图像FP(t)的左边缘到分离开预测值PG_x的大小的位置的区域而获得的区域中的包括在未失真区域SF中的区域。即，区域AR(t)_y’是在前描述的图11的有效区域AR(t)_y’内部的区域中的包括在失真区域SF中的区域。

以相同的方式，区域AR(t+1)_y’（下文中称为“有效区域AR(t+1)_y’”）是通过从拍摄图像FP(t+1)中排除从拍摄图像FP(t+1)的右边缘到分离开预测值PG_x的大小的位置的区域而获得的区域中的包括在未失真区域SF中的区域。

回到对图14的流程图的描述，一旦设定了有效区域，此后执行步骤S74至步骤S77的处理，并且结束全局运动向量计算过程。应当注意，由于这样的处理与图9的步骤S44至S47的处理相同，所以在此省略了其描述。

然而，在步骤S74中，分别从图15的有效区域AR(t)_x’、有效区域AR(t)_y’、有效区域AR(t+1)_x’和有效区域AR(t+1)_y’提取局部特征值。

如上所述，图像拍摄装置11根据全局运动向量的预测值和透镜失真信息来确定有效区域，并且通过从所确定的有效区域中提取局部特征值来计算实际全局运动向量。以这种方式，通过根据透镜失真信息限制用于提取局部特征值的区域，能够以更高的速度和更高的精度获得全局运动向量。

应当注意，虽然描述了根据全局运动向量的预测值和透镜失真信息来确定有效区域的情况，然而也可以将用透镜失真信息示出的未失真区域SF设置为有效区域。

第四实施例

图像处理电路的配置

虽然以上描述了根据透镜失真信息来限制用于提取局部特征值的区域的示例，但是也可以从用于提取局部特征值的区域中排除诸如移动对象的指定对象（下文中称为“排除对象”）的区域。

在这种情况下，如图16所示配置图3的图像处理电路26。应当注意，在图16中，对应于图13所示的情况的部分被分配以相同的附图标记，并且适当地省略了其描述。

图16的图像处理电路26包括拍摄图像保持单元61、局部特征值计算单元62、积分投影单元63、全局运动向量计算单元64、全局运动向量保持单元91、全局运动向量预测单元92、有效区域计算单元93和排除对象预测单元151。

图16的图像处理电路26的配置与图13的图像处理电路26的不同之处在于包括代替图13的透镜失真信息保持单元121的排除对象预测单元151，而其余部分与图13的图像处理电路26相同。

在图16的图像处理电路26中，拍摄图像保持电路61中保持的拍摄图像不仅被提供给局部特征值计算单元62，也提供给排除对象预测单元151。排除对象预测单元151根据从拍摄图像保持单元61提供的拍摄图像估计排除对象的区域，并且将估计结果提供给有效区域计算单元93。

有效区域计算单元93基于从全局运动向量预测单元92提供的全局运动向量的预测值和从排除对象预测单元151提供的排除对象的区域的估计结果来确定有效区域，并且将有效区域提供给局部特征值计算单元62。全局运动向量计算过程的描述

接着，将参考图17的流程图描述在图像拍摄装置11的图像处理电路26被如图16所示配置的情况下的全局运动向量计算过程。应当注意，由于步骤S101和步骤S102的处理与图14的步骤S71和步骤S72的处理相同，所以省略了其描述。

在步骤S103中，排除对象预测单元151根据从拍摄图像保持单元61提供的拍摄图像来估计排除对象的区域，并且将估计结果提供给有效区域计算单元93。

例如，排除对象预测单元151将移动对象的区域，诸如通过人检测或脸检测所检测的人或脸的区域以及通过对象检测而检测的汽车等的区域，设置为排除对象的区域。另外，可以检测仅包括在拍摄图像FP(t)和拍摄图像FP(t+1)之一中的对象的区域，并且将该区域设置为排除对象的区域。

此外，排除对象预测单元151将拍摄图像上的如下区域设置为最终的排除对象区域，该区域包括从拍摄图像FP(t)中检测的排除对象的区域和从拍摄图像FP(t+1)中检测的排除对象的区域二者。

在步骤S104中，有效区域计算单元93基于来自全局运动向量预测单元92的全局运动向量的预测值和来自排除对象预测单元151的排除对象的区域来确定有效区域，并且将有效区域提供给局部特征值计算单元62。

即，有效区域计算单元93将通过从根据全局运动向量的预测值确定的拍摄图像上的有效区域中进一步排除这些排除对象的区域而获得的区域设置为最终有效区域。更具体地，将通过从例如图11中的有效区域AR(t)_x、有效区域AR(t)_y、有效区域AR(t+1)_x和有效区域AR(t+1)_y中排除这些排除对象的区域而产生的区域，即，不包括排除对象的区域的区域，设置为有效区域。

一旦求得了有效区域，然后执行步骤S105至步骤S108的处理，并且结束全局运动向量计算过程。由于这样的处理与图14的步骤S74至步骤S77的处理相同，所以省略了其描述。

如上所述，图像拍摄装置11根据全局运动向量的预测值和排除对象的区域来确定有效区域，并且从所确定的有效区域中提取局部特征值以计算实际全局运动向量。

以这种方式，通过根据排除对象的区域来限制用于提取局部特征值的区域，能够以更高的速度和更高的精度获得全局运动向量。具体地，通过将存在全局运动向量的计算精度降低的风险的具有对象的区域，即，具有运动对象的区域，设置为要从局部特征值的提取中排除的排除对象的区域，能够改善全局运动向量的鲁棒性。

应当注意，虽然描述了根据全局运动向量的预测值和排除对象的区域来确定有效区域的情况，然而，也可以将拍摄图像上的除了排除对象的区域之外的整个区域设置为有效区域。也可以基于全局运动向量的预测值、排除对象的区域和透镜失真信息来确定有效区域。

第五实施例

图像处理电路的配置

此外，虽然以上描述了从拍摄图像本身提取局部特征值的示例，但是也可以缩小图像并且然后从缩小的拍摄图像（下文中简单地称为“缩小图像”）中提取局部特征值。

在这种情况下，如图18所示配置图3的图像处理电路26。应当注意，在图18中，与图8相同的部分被分配以相同的附图标记，并且适当地省略了其描述。

图18的图像处理电路26包括拍摄图像保持单元61、图像缩小单元181、局部特征值计算单元62、积分投影单元63、全局运动向量计算单元64、下采样估计单元182、全局运动向量保持单元91、向量放大单元183、全局运动向量预测单元92和有效区域计算单元93。

图18的图像处理电路26的配置与图8的图像处理电路26的不同之处在于还包括图像缩小单元181、下采样估计单元182和向量放大单元183，而其余部分与图8的图像处理电路26相同。

图像缩小单元181通过缩小从拍摄图像保持单元61提供的拍摄图像来生成缩小图像，并且将缩小图像提供给局部特征值计算单元62。在从图像缩小单元181提供的缩小图像的区域中，局部特征值计算单元62从有效区域计算单元93提供的有效区域中提取局部特征值，并且将局部特征值提供给积分投影单元63。

下采样估计单元182基于从全局运动向量计算单元64提供的全局运动向量以及水平轴投影特征向量和竖直轴投影特征向量以下采样精度水平计算全局运动向量，并且将这样的全局运动向量提供给全局运动向量保持单元91。向量放大单元183放大并且输出从全局运动向量保持单元91提供的全局运动向量。

全局运动向量计算过程的描述

接着，将参考图19的流程图描述在图像拍摄装置11的图像处理电路26被如图18所示配置的情况下的全局运动向量计算过程。应当注意，由于步骤S131的处理与图9的步骤S41的处理相同，所以省略了其描述。

在步骤S132中，图像缩小单元181从拍摄图像保持单元61获得要处理的帧(t+1)的拍摄图像FP(t+1)和帧t的拍摄图像FP(t)，并且将这些拍摄图像缩小以生成缩小图像。图像缩小单元181将通过缩小拍摄图像产生的缩小图像提供给局部特征值计算单元62。

一旦生成了缩小图像，然后执行步骤S133至步骤S137的处理以生成全局运动向量，然而，由于这样的处理与图9的步骤S42至步骤S46的处理相同，所以省略了其描述。

然而，在步骤S133至步骤S137的处理中，针对缩小图像确定有效区域，从缩小图像的有效区域中提取局部特征值以生成水平轴投影特征向量和竖直轴投影特征向量，并且计算全局运动向量。因而，所获得的全局运动向量是缩小图像的全局运动向量。

一旦全局运动向量计算单元64计算了缩小图像的全局运动向量，则所计算的全局运动向量以及水平轴投影特征向量和竖直轴投影特征向量被提供给下采样估计单元182。

在步骤S138中，下采样估计单元182基于从全局运动向量计算单元64提供的全局运动向量、水平轴投影特征向量和竖直轴投影特征向量，以下采样精度水平计算全局运动向量。例如，通过执行等距线性拟合、抛物线拟合等，下采样估计单元182以下采样精度水平——即等于或低于缩小图像的像素的精度水平——来计算全局运动向量。

虽然由图像处理电路26执行的全局运动向量计算过程的最终目的是获得拍摄图像的全局运动向量，然而，使用缩小图像执行步骤S133至步骤S137的过程。这表示所获得的全局运动向量是缩小图像的全局运动向量，其中最终要获得的拍摄图像的全局运动向量减小，并且全局运动向量的精度也为缩小图像的下采样（像素）水平。

为此，下采样估计单元182以等于或低于缩小图像的采样的下采样精度水平计算全局运动向量，并且将全局运动向量提供给全局运动向量保持单元91。全局运动向量保持单元91保持从下采样估计单元182提供的全局运动向量，并且将全局运动向量提供给向量放大单元183。

全局运动向量保持单元91还将所保持的全局运动向量作为过去的帧的缩小图像的全局运动向量提供给全局运动向量预测单元92。因而，在全局运动向量预测单元92中，计算缩小图像的全局运动向量的预测值。

在步骤S139中，向量放大单元183使用在生成缩小图像时使用的缩小率的倒数对从全局运动向量保持单元91提供的全局运动向量进行放大，并且从而生成拍摄图像的全局运动向量。即，通过对缩小图像的全局运动向量进行放大来获得拍摄图像的全局运动向量。

一旦向量放大单元183输出了所获得的拍摄图像的全局运动向量，则执行步骤S140的处理，并且结束全局运动向量计算过程。由于这样的处理与图9的步骤S47的处理相同，所以省略了其描述。

如上所述，通过生成缩小图像、从缩小图像上的有效区域中提取局部特征值以计算缩小图像的全局运动向量并且然后放大所获得的全局运动向量，图像拍摄装置11获得拍摄图像的全局运动向量。

以这种方式，通过计算缩小图像的全局运动向量并且放大所获得的全局运动向量以产生拍摄图像的全局运动向量，能够以更高的速度和更高的精度获得全局运动向量。

具体地，通过使用缩小图像来计算全局运动向量，能够减小用于提取局部特征值的区域的面积，并且能够降低匹配过程的计算成本。虽然缩小图像的使用包括拍摄图像的缩小和全局运动向量的放大，然而能够整体上降低计算全局运动向量的计算成本，这意味着能够以更快的速度来获得全局运动向量。

另外，由于通过缩小拍摄图像移除了拍摄图像中的高频分量，所以能够预期获得降噪效果，这可以提高所生成的全局运动向量的鲁棒性。

第六实施例

图像处理电路的配置

应当注意，虽然以上描述了在图像处理电路26中计算全局运动向量的示例，然而也可以使用所计算的全局运动向量生成全景图像。

在这种情况下，如图20所示，例如，基于全局运动向量，针对编号为拍摄图像FP(1)至拍摄图像FP(n)的n个拍摄图像确定用于生成全景图像的带状区域RE(1)至RE(n)。在这之后，通过对准和合并带状区域RE(1)至RE(n)来生成单个全景图像PL11。应当注意，在图20中，水平方向和竖直方向分别示出x方向和y方向。

作为一个示例，如果平行于图像拍摄装置11在图像拍摄期间平行移动的方向的轴（下文中称为“扫描轴”）平行于图20中的水平轴（即，x轴），则基于相应拍摄图像的全局运动向量的x分量确定带状区域的位置。

另外，当生成全景图像时，如图21所示配置图3的图像处理电路26。应当注意，图21的与图18的情况相同的部分被分配以相同的附图标记，并且适当地省略了其描述。

图21的图像处理电路26包括拍摄图像保持单元61、图像缩小单元181、局部特征值计算单元62、积分投影单元63、全局运动向量计算单元64、下采样估计单元182、全局运动向量保持单元91、向量放大单元183、全局运动向量预测单元92、有效区域计算单元93、带状区域计算单元211和全景合并单元212。

图21的图像处理电路26的配置与图18的图像处理电路26的不同之处在于还包括带状区域计算单元211和全景合并单元212，而其余部分与图18的图像处理电路26相同。

应当注意，在图21的图像处理电路26中，拍摄图像保持电路61中所保持的拍摄图像被提供给图像缩小单元181和全景合并单元212。

带状区域计算单元211基于从向量放大单元183提供的相应拍摄图像的全局运动向量来确定拍摄图像上的带状区域，并且将示出带状区域的边缘的位置（下文中称为“连接位置”）的信息提供给全景合并单元212。

全景合并单元212基于从带状区域计算单元211提供的示出相应带状区域的连接位置的信息和从拍摄图像保持单元61提供的拍摄图像来生成并且输出全景图像。

全局运动向量计算过程的描述

接着，将参考图22的流程图描述在图像拍摄装置11的图像处理电路26被如图21所示配置的情况下的全局运动向量计算过程。应当注意，由于步骤S171至步骤S180的处理与图19的步骤S131至步骤S140的处理相同，所以省略了其描述。另外，在步骤S180中，如果确定已经针对每个帧执行了处理，则处理继续前进至步骤S181。

在步骤S181中，带状区域计算单元211基于从向量放大单元183提供的相应拍摄图像的全局运动向量来确定拍摄图像上的带状区域，并且将示出相应带状区域的连接位置的信息提供给全景合并单元212。

例如，如图23所示，带状区域计算单元211按照从最早拍摄时间开始的顺序（即，按照帧编号的升序）依次确定拍摄图像的带状区域的连接位置，即拍摄图像的连接位置。应当注意，在图23中，水平方向示出扫描轴的方向。

在图23中，三个连续的帧——帧(t-1)至帧(t+1)——的拍摄图像FP(t-1)至FP(t+1)基于全局运动向量在扫描轴的方向上对准。由于在拍摄图像FP(t-1)至FP(t+1)中，拍摄图像FP(t-1)具有最小帧编号，所以带状区域计算单元211首先确定拍摄图像FP(t-1)与拍摄图像FP(t)的连接位置。

即，如图23的顶部处所示，带状区域计算单元211将具有扫描轴上的从位置I₀(t)到位置I₁(t-1)的区域（其中相邻的拍摄图像FP(t-1)和拍摄图像FP(t)彼此交叠）的连接位置确定为搜索区域。在此，位置I₀(t)和位置I₁(t-1)分别为拍摄图像FP(t)的图中的左边缘的位置和拍摄图像FP(t-1)的图中的右边缘的位置。

作为一个示例，带状区域计算单元211将拍摄图像FP(t-1)的图中的左边缘的位置I₀(t-1)与拍摄图像FP(t)的图中的右边缘的位置I₁(t)之间的中间位置S(t-1,t)设置为拍摄图像FP(t-1)与拍摄图像FP(t)的连接位置。即，位置S(t-1，t)为拍摄图像FP(t-1)的带状区域的图中的右边缘的位置和拍摄图像FP(t)的带状区域的图中的左边缘的位置。应当注意，下文中，位置S(t-1,t)也称为“连接位置S(t-1,t)”。

接着，在图23的中间部分，带状区域计算单元211确定拍摄图像FP(t)与拍摄图像FP(t+1)的连接位置S(t,t+1)。

在此，拍摄图像FP(t)与拍摄图像FP(t+1)彼此交叠的区域的图中的左边缘的位置I₀(t+1)，即，拍摄图像FP(t+1)的左边缘的位置，定位在拍摄图像FP(t-1)与拍摄图像FP(t)的连接位置S(t-1，t)的图中的左侧。由于拍摄图像FP(t)与拍摄图像FP(t+1)的连接位置应当定位在拍摄图像FP(t-1)与拍摄图像FP(t)的连接位置的图中的右侧，所以应当从连接位置S(t,t+1)的搜索区域中排除连接位置S(t-1,t)左侧的区域。

为此，带状区域计算单元211将具有扫描轴上的从连接位置S(t-1，t)到拍摄图像FP(t)的图中的右边缘的位置I₁(t)的区域的连接位置S(t,t+1)确定为搜索区域。例如，带状区域计算单元211将拍摄图像FP(t)的图中的左边缘的位置I₀(t)与拍摄图像FP(t+1)的图中的右边缘的位置I₁(t+1)之间的中间位置设置为连接位置S(t,t+1)。

一旦以此方式确定了用于连接连续的帧的拍摄图像的连接位置，如图23的底部所示，则位于下游的全景合并单元212中，在连接位置处将拍摄图像上的所确定的带状区域彼此连接，以产生全景图像。应当注意，在图23的底部，拍摄图像FP(t-1)至拍摄图像FP(t+1)的斜线阴影部分示出带状区域。

例如，拍摄图像FP(t)的带状区域为如下区域，其中，拍摄图像FP(t)在扫描轴方向上的位置从连接位置S(t-1,t)到连接位置S(t,t+1)。以这种方式，通过依次确定与正在处理的拍摄图像相邻的另一个拍摄图像的连接位置，能够依次确定拍摄图像的带状区域。

应当注意，虽然在此描述了按照时间序列的顺序确定拍摄图像的连接位置的方法，然而也可以按照根据另一个标准确定的顺序来依次确定拍摄图像的连接位置。

返回对图22的流程图的描述。一旦确定了相应拍摄图像的带状区域，处理从步骤S181继续前进至步骤S182。

在步骤S182中，全景合并单元212基于示出从带状区域计算单元211提供的相应带状区域的连接位置的信息和从拍摄图像保持单元61提供的拍摄图像来生成并且输出全景图像。例如，合并相应拍摄图像上的带状区域，以产生一个全景图像。换言之，在连接位置处将相应拍摄图像彼此连接以产生全景图像。

更具体地，当合并拍摄图像的带状区域时，全景合并单元212对两个相邻的拍摄图像的带状区域的边缘附近的部分进行加权并且合并以生成全景图像。

例如，如图24所示，连续的帧的拍摄图像的带状区域被确定为使得具有彼此交叠的边缘部分。应当注意，在图24中，水平方向示出扫描轴方向，并且在图24中，三个连续的帧的拍摄图像FP(t-1)至拍摄图像FP(t+1)在x方向（扫描轴方向）上对准。

在图24的顶部，拍摄图像FP(t-1)的带状区域RE(t-1)的图中的右边缘定位在用于连接至拍摄图像FP(t)的连接位置S(t-1,t)的稍右侧。类似地，拍摄图像FP(t)的带状区域RE(t)的图中的左边缘定位在用于连接至拍摄图像FP(t-1)的连接位置S(t-1,t)的稍左侧，使得带状区域RE(t-1)和带状区域RE(t)的边缘的外围的区域彼此交叠。

接着，当连接带状区域RE(t-1)和带状区域RE(t)时，在扫描轴的方向上的从带状区域RE(t)的左边缘的位置到带状区域RE(t-1)的右边缘的位置的范围中，对带状区域RE(t-1)和带状区域RE(t)中的相同位置处的像素的像素值进行加权并且将其加在一起。

以相同的方式，带状区域RE(t)与带状区域RE(t+1)在连接位置S(t,t+1)的外围彼此交叠，并且当带状区域RE(t)与带状区域RE(t+1)连接时，对这样的交叠部分处的像素值进行加权并且将其加在一起。

当对带状区域进行加权并且将其加在一起时，如图24的底部处所示，加法中所使用的权重根据扫描轴方向上的位置而改变。在图24的底部，虚线OM示出用于与拍摄图像FP(t-1)（带状区域RE(t-1)）的像素相乘的权重的大小。

即，将从带状区域RE(t-1)的图中的左边缘到带状区域RE(t)的左边缘的位置的权重的大小设置为“1”。这是因为在从带状区域RE(t-1)的左边缘到带状区域RE(t)的左边缘的位置的区域中，在没有修改的情况下将带状区域RE(t-1)设置为全景图像。

将从带状区域RE(t)的图中的左边缘到带状区域RE(t-1)的右边缘的位置的带状区域RE(t-1)的权重的大小设置成朝着图的右侧变小，并且将带状区域RE(t-1)的右端的位置处的权重的大小设置为“0”。

在带状区域RE(t-1)与带状区域RE(t)交叠的部分中，用于生成全景图像的带状区域RE(t-1)的贡献率从连接位置S(t-1,t)到带状区域RE(t)的左边缘增大。另一方面，用于生成全景图像的带状区域RE(t)的贡献率从连接位置S(t-1,t)向带状区域RE(t-1)的左边缘增大。

此外，由于拍摄图像FP(t-1)没有用于在拍摄图像FP(t-1)的带状区域RE(t-1)的右边缘的图中的右侧的位置处生成全景图像，所以权重的大小设置为“0”。

以这种方式，由于使用带状区域的边缘外围处的两个相邻的带状区域来生成全景图像，并且在没有修改的情况下使用一个带状区域作为其他部分处的全景图像，所以能够抑制由于一个拍摄图像放置在另一个拍摄图像之上而产生的全景图像的模糊。

另外，通过根据位置来改变带状区域的边缘部分的合并比，或者换言之，通过对值进行加权和相加时使用权重梯度，能够获得更高质量的全景图像。即，在两个带状区域彼此交叠连接的部分处，即使对象的位置平移了或者象素的颜色改变了，仍然能够通过对像素值加权和相加来获得平滑效果。通过这样做，能够抑制遗漏对象的一部分、全景图像的颜色的不均匀等，并且从而获得更自然的全景图像。

通过这样做，全景合并单元212连接拍摄图像的带状区域以生成单个全景图像。应当注意，通过执行修剪，能够将作为包括连接的带状区域的单个图像的一部分的区域设置为全景图像。

例如，如果用户手持图像拍摄装置11并且拍摄图像，同时使图像拍摄装置11扫描，则难以将与扫描轴方向不同的方向上的运动分量保持为零。为此，例如如图25所示，存在如下情况，其中，连续拍摄的图像上的带状区域RE11至带状区域RE17具有图25的上下方向上变化的位置。

应当注意，在图25中，图中的水平方向示出扫描轴方向（x方向），而竖直方向示出y方向。

在图25的示例中，扫描轴为拍摄图像的长度方向，或者换言之，平行于x方向。另外，在图25中，带状区域R11至带状区域RE17的图中的上下方向上的位置，即，垂直于扫描方向的方向上的位置，对于每个拍摄图像而言是不同的。

为此，通过连接相应拍摄图像的带状区域而获得的单个图像不是矩形。因而，全景合并单元212切去内接在通过将带状区域RE11连接至带状区域RE17而获得的整个图像的区域中的最大矩形区域PL21，并且将这样的区域PL21设置为全景图像。此时，将矩形区域PL21的长边缘设置为平行于扫描轴。通过以这种方式执行修剪，能够获得具有良好外观的矩形全景图像。

返回对图22的流程图的描述，如果生成并且输出了全景图像，则全局运动向量计算过程结束。

如上所述，图像拍摄装置11计算拍摄图像的全局运动向量、使用所获得的全局运动向量从拍摄图像中切去带状区域并且生成全景图像。

应当注意，全景图像的生成可以在计算每个帧的拍摄图像的全局运动向量之后进行，或者，可以并行执行全局运动向量的计算和全景图像的生成。

第七实施例

图像处理电路的配置

虽然以上描述了将所计算的全局运动向量用于全景图像的生成的情况，然而，例如，所计算的全局运动向量可以用于运动图像的图像拍摄期间的图像稳定。

在这种情况下，如图26所示配置图3的图像处理电路26。应当注意，在图26中，与图21相同的部分被分配以相同的附图标记，并且适当地省略了其描述。

图26的图像处理电路26包括拍摄图像保持单元61、图像缩小单元181、局部特征值计算单元62、积分投影单元63、全局运动向量计算单元64、下采样估计单元182、全局运动向量保持单元91、向量放大单元183、全局运动向量预测单元92、有效区域计算单元93和图像稳定单元241。

图26的图像处理电路26的配置与图21的图像处理电路26的不同之处在于还包括代替图21的带状区域计算单元211和全景合并单元212的图像稳定单元241，而其余部分与图21的图像处理单元26相同。

图像稳定单元241基于从拍摄图像保持单元61提供的拍摄图像和从向量放大单元183提供的全局运动向量来对拍摄图像执行图像稳定，并且输出获得的拍摄图像作为结果。

全局运动向量计算过程的描述

接着，将参考图27的流程图描述在图像拍摄装置11的图像处理电路26被如图26所示配置的情况下的全局运动向量计算过程。应当注意，由于步骤S211至步骤S219的处理与图22的步骤S171至步骤S179的处理相同，所以省略了其描述。

在步骤S220中，图像稳定单元241基于从拍摄图像保持单元61提供的拍摄图像和从向量放大单元183提供的全局运动向量来对拍摄图像执行图像稳定，并且输出获得的拍摄图像作为结果。作为一个示例，通过使用全局运动向量将拍摄图像投影到标准坐标系上，使得照相机抖动分量被取消，图像稳定单元241从拍摄图像中去除照相机抖动分量。在该示例中，全局运动向量是示出图像拍摄期间的照相机抖动的向量。

在步骤S221中，图像处理电路26确定是否已经针对每个帧的拍摄图像执行了处理。例如，如果已经针对每个帧的拍摄图像执行了图像稳定，则确定已经针对每个帧执行了处理。

如果在步骤S221确定还没有针对每个帧执行处理，则处理返回步骤S212，并且重复上述处理。另一方面，如果在步骤S221确定已经针对每个帧执行了处理，则图像处理电路26停止相应单元的处理，并且全局运动向量计算过程结束。

以这种方式，图像拍摄装置11计算拍摄图像的全局运动向量，并且使用所获得的全局运动向量从拍摄图像中去除照相机抖动分量。

如上所述，通过根据本公开的实施例的图像拍摄装置11，能够精确且高速地计算全局运动向量。

例如，如果通过合并多个拍摄图像来生成全景图像，则拍摄图像的全局运动向量是对最终全景图像的图像质量和计算成本贡献很大的因素。然而，通过现有全局运动向量计算方法，不能够实现低计算成本和高计算精度二者。

另一方面，根据图像拍摄装置11，通过对局部特征值进行投影降低了匹配过程中的特征值的搜索区域的维数，从而实现了低的计算成本。更具体地，通过图像拍摄装置11，特征值的搜索区域从两维下降为两个方向中的每个方向上的一维。

另外，如果使用排除对象的区域和/或透镜失真信息来限制用于提取局部特征值的区域，则能够省去可能不利地影响全局运动向量的计算精度的一个因素。即，通过从要处理的区域中排除仅出现在一个帧的拍摄图像中的对象和/或由透镜产生图像失真的区域，能够降低计算成本，并且还能够进一步提高全局运动向量的计算精度。

如上所述，根据图像拍摄装置11，能够计算全局运动向量，同时实现低计算成本和高计算精度二者。另外，通过使用这种技术，例如，甚至在如数字照相机或移动终端设备的与个人计算机等相比具有低处理性能的设备中，也能够以高速度和高精度执行全景图像合并。此外，还能够在移动图像的图像拍摄或再现过程中执行图像稳定。

应当注意，上述一系列处理可以用硬件来执行，也可以用软件来执行。如果用软件来执行这一系列处理，则构成该软件的程序从程序记录介质安装到并入专用硬件中的计算机中或能够通过安装各种程序来执行各种功能的通用个人计算机中。

图28是示出了根据程序执行在前描述的一系列处理的计算机的示例硬件配置的框图。

在该计算机中，CPU（中央处理单元）301、ROM（只读存储器）302和RAM（随机存取存储器）303通过总线304彼此连接。

总线304还连接到输入/输出接口305。输入/输出接口305连接到：包括键盘、鼠标、麦克风等的输入单元306；包括显示器、扬声器等的输出单元307；包括硬盘驱动器、非易失性存储器等的记录单元308；包括有网络接口等的通信单元309；以及驱动如磁盘、光盘、磁光盘或半导体存储器的可移除介质311的驱动器310。

在如上所述配置的计算机中，作为一个示例，CPU301经由输入/输出接口305和总线304将记录在记录单元308中的程序加载到RAM303中，并且执行该程序以执行在前描述的一系列处理。

由计算机（CPU301）执行的程序记录在作为封装介质的可移除介质311上，封装介质例如包括磁盘（包括软盘）、光盘（如CD-ROM（压缩盘只读存储器）或DVD（数字多功能盘））、磁光盘或半导体存储器，或者，由计算机（CPU301）执行的程序通过如局域网、因特网或数字卫星广播的有线或无线传送介质来提供。

在这之后，通过将可移除介质311加载到驱动器310中，可以经由输入/输出接口305将程序安装到记录单元308中。也可以使用通信单元309经由有线或无线传送介质来接收程序，并且将程序安装到记录单元308中。作为替选，也可以事先将程序安装到ROM302或记录单元308中。

应当注意，由计算机执行的程序可以是根据本说明书中描述的顺序以时间序列来处理的程序或者并行或在需要时（诸如调用时）处理的程序。

以上参考具体实施例详细描述了本公开的配置。

此外，本技术还可以如下配置。

[1]一种图像处理装置，包括

预测单元，所述预测单元基于针对过去的拍摄图像求得的全局运动向量来计算要处理的拍摄图像的全局运动向量的预测值；

有效区域计算单元，所述有效区域计算单元基于所述预测值来确定所述拍摄图像上的有效区域；

特征值计算单元，所述特征值计算单元从所述拍摄图像上的所述有效区域提取特征值；

投影单元，所述投影单元通过将所述特征值投影到指定方向的轴上来计算投影特征向量；以及

全局运动向量计算单元，所述全局运动向量计算单元通过匹配所述要处理的拍摄图像的所述投影特征向量与另一个拍摄图像的投影特征向量来计算所述要处理的拍摄图像的全局运动向量。

[2]根据[1]所述的图像处理装置，其中，

所述有效区域计算单元基于所述预测值以及以下之一来确定所述有效区域：用于进行拍摄以得到所述拍摄图像的光学系统的失真信息和所述拍摄图像中的指定对象的区域。

[3]根据[1]或[2]所述的图像处理装置，其中，

所述特征值计算单元基于所述拍摄图像上沿所述指定方向排列的像素来计算所述特征值。

[4]根据[1]至[3]中任一项所述的图像处理装置，其中，

所述特征值计算单元基于所述拍摄图像中的像素的梯度信息来计算所述特征值。

[5]根据[1]或[2]所述的图像处理装置，其中，

所述特征值计算单元基于所述拍摄图像的颜色信息来计算所述特征值。

[6]根据[1]至[5]中任一项所述的图像处理装置，其中，

所述投影单元将所述特征值投影到相互垂直的两个轴上并且针对每个轴计算所述投影特征向量。

[7]根据[1]至[6]中任一项所述的图像处理装置，

还包括全景合并单元，所述全景合并单元基于所述全局运动向量来合并所述拍摄图像以生成全景图像。

[8]根据[1]至[6]中任一项所述的图像处理装置，

还包括图像稳定单元，所述图像稳定单元基于所述全局运动向量来对所述拍摄图像执行图像稳定。

本领域技术人员应当理解，根据设计要求和其他因素，可以出现各种变型、组合、子组合和改变，只要它们在所附权利要求或其等同的范围内。

本公开包括与2011年7月13日提交日本专利局的日本优先权专利申请JP 2011-154627中所公开的内容有关的主题，该专利申请的全部内容通过引用合并于此。

Claims (13)

1.一种图像处理装置，包括：

预测单元，其基于针对过去的拍摄图像求得的全局运动向量来计算要处理的拍摄图像的全局运动向量的预测值；

有效区域计算单元，其基于所述预测值确定所述拍摄图像上的有效区域；

特征值计算单元，其从所述拍摄图像上的所述有效区域提取特征值；

投影单元，其通过将所述特征值投影到指定方向的轴上来计算投影特征向量；以及

全局运动向量计算单元，其通过匹配所述要处理的拍摄图像的所述投影特征向量与另一个拍摄图像的投影特征向量来计算所述要处理的拍摄图像的全局运动向量。

2.根据权利要求1所述的图像处理装置，其中，

所述有效区域计算单元基于所述预测值以及以下之一来确定所述有效区域：用于进行拍摄以得到所述拍摄图像的光学系统的失真信息以及所述拍摄图像中的指定对象的区域。

3.根据权利要求2所述的图像处理装置，其中，

所述特征值计算单元基于所述拍摄图像上沿所述指定方向排列的像素来计算所述特征值。

4.根据权利要求3所述的图像处理装置，其中，

所述特征值计算单元基于所述拍摄图像中的像素的梯度信息计算所述特征值。

5.根据权利要求2所述的图像处理装置，其中，

所述特征值计算单元基于所述拍摄图像的颜色信息计算所述特征值。

6.根据权利要求1所述的图像处理装置，其中，

所述投影单元将所述特征值投影到相互垂直的两个轴上，并且针对每个轴计算所述投影特征向量。

7.根据权利要求1所述的图像处理装置，还包括：

全景合并单元，其基于所述全局运动向量来合并所述拍摄图像以生成全景图像。

8.根据权利要求1所述的图像处理装置，还包括：

图像稳定单元，其基于所述全局运动向量来对所述拍摄图像执行图像稳定。

9.一种图像处理装置的图像处理方法，所述图像处理装置包括：预测单元，其基于针对过去的拍摄图像求得的全局运动向量计算要处理的拍摄图像的全局运动向量的预测值；有效区域计算单元，其基于所述预测值来确定所述拍摄图像上的有效区域；特征值计算单元，其从所述拍摄图像上的所述有效区域提取特征值；投影单元，其通过将所述特征值投影到指定方向的轴上来计算投影特征向量；以及全局运动向量计算单元，其通过匹配所述要处理的拍摄图像的所述投影特征向量与另一个拍摄图像的投影特征向量来计算所述要处理的拍摄图像的全局运动向量，

所述图像处理方法包括：

所述预测单元计算所述预测值；

所述有效区域计算单元确定所述有效区域；

所述特征值计算单元提取所述特征值；

所述投影单元计算所述投影特征向量；以及

所述全局运动向量计算单元计算所述全局运动向量。

10.一种使计算机执行如下处理的程序，所述处理包括：

基于针对过去的拍摄图像求得的全局运动向量来计算要处理的拍摄图像的全局运动向量的预测值；

基于所述预测值来确定所述拍摄图像上的有效区域；

从所述拍摄图像上的所述有效区域提取特征值；

通过将所述特征值投影到指定方向的轴上来计算投影特征向量；以及

通过匹配所述要处理的拍摄图像的所述投影特征向量与另一个拍摄图像的投影特征向量来计算所述要处理的拍摄图像的全局运动向量。

11.一种图像处理装置，包括：

有效区域计算单元，其基于以下之一来确定拍摄图像上的有效区域：用于进行拍摄以得到所述拍摄图像的光学系统的失真信息以及所述拍摄图像中的指定对象的区域；

特征值计算单元，其从所述拍摄图像上的所述有效区域提取特征值；

投影单元，其通过将所述特征值投影到指定方向的轴上来计算投影特征向量；以及

全局运动向量计算单元，其通过匹配所述要处理的拍摄图像的所述投影特征向量与另一个拍摄图像的投影特征向量来计算所述要处理的拍摄图像的全局运动向量。

12.一种图像处理装置的图像处理方法，所述图像处理装置包括：有效区域计算单元，其基于用于进行拍摄以得到拍摄图像的光学系统的失真信息和所述拍摄图像中的指定对象的区域之一来确定所述拍摄图像上的有效区域；特征值计算单元，其从所述拍摄图像上的所述有效区域提取特征值；投影单元，其通过将所述特征值投影到指定方向的轴上来计算投影特征向量；以及全局运动向量计算单元，其通过匹配所述要处理的拍摄图像的所述投影特征向量与另一个拍摄图像的投影特征向量来计算所述要处理的拍摄图像的全局运动向量，

所述图像处理方法包括：

所述有效区域计算单元确定所述有效区域；

所述特征值计算单元提取所述特征值；

所述投影单元计算所述投影特征向量；以及

所述全局运动向量计算单元计算所述全局运动向量。

13.一种使计算机执行如下处理的程序，所述处理包括：

基于以下之一确定拍摄图像上的有效区域：用于进行拍摄以得到所述拍摄图像的光学系统的失真信息以及所述拍摄图像中的指定对象的区域；

从所述拍摄图像上的所述有效区域提取特征值；

通过将所述特征值投影到指定方向的轴上来计算投影特征向量；以及

通过匹配所述要处理的拍摄图像的所述投影特征向量与另一个拍摄图像的投影特征向量来计算所述要处理的拍摄图像的全局运动向量。

Images