CN101443817B - 用于确定场景的三维重建时的对应关系的方法和装置 - Google Patents

Abstract

用于借助图像数据来三维场景重建的被动方法通常基于确定场景的多个从不同方向和距离记录的图像之间的空间对应关系。本发明所解决的问题是提出一种方法，该方法在低计算开销的情况下带来求解对应关系问题时的高可靠性，以及形成一种相应的装置。对此，提出了一种用于确定场景的从不同观察视角记录的多个图像序列中的图像范围之间的空间对应关系的方法，优选用于该场景的三维重建的方法，其中在图像序列中确定形成图像范围的、与确定对应关系有关的图像区域，其中在通过像素位置u、v、图像值g和时间t定义的空间R(uvgt)中分别将参数化的函数h(u，v，t)与图像范围匹配，并且其中参数化的函数的参数用于形成多个图像序列的图像范围之间的相似性度量。

Description

用于确定场景的三维重建时的对应关系的方法和装置

本发明涉及一种用于确定场景的从不同观察视角记录的多个图像序列中的图像范围之间的空间对应关系的方法，优选用于该场景的三维重建，本发明还涉及一种用于三维场景重建的装置。 

借助图像数据的被动的用于三维场景重建的方法通常基于确定由不同方向和距离记录的多个场景图像之间的空间对应关系。该对应关系确定(Korrespondenzbestimmung)相应于识别带有要重建的场景中的点或者对象或者对象区段的图像中的像素位置或者像素范围。在确定对应关系之后，通常通过已知的方法以点云(Punktewolke)的形式确定场景的三维结构，其中点云的每个点或者每个点集分别对应于关联的、彼此对应的像素位置或者像素范围。 

确定该空间对应关系的过程在文献中被恰当地称为对应关系问题，并且提出了多种解决该问题的方法。 

一种确定空间对应关系的通常方法是在局部平面上将图像内容关联，其中空间窗口的内容通过使用合适的误差度量(例如互相关系数、方差和、绝对差的和)作为相似性度量来相互比较。特别是对于校准的立体图像对(即其中只有位于共同的对极线(Epipolarlinien)上的像点可以对应)，该方法暂时是非常有效的。 

在J.Davis，D.Nehab，R.Ramamoorthi，S.Rusinkiewicz在IEEETrans.Pattern Analysis and Machine Intelligence2005年第27卷第2期中所著的文章“Spacetime Stereo：A unifying framework for Depth fromTriangulation”中提出了：不仅使用空间窗口的内容用于相关性分析，而且将相关窗口扩展到时间维度中。，使用空间-时间相关窗口的方差和作为形成对应关系的相似性度量。 

另一用于解决对应关系问题的方法在C.Woehler，L.Krueger在SPIEVisual Communication and Image Processing，(Lugano，2003年)中所著的文章“A Contour based Stereo Vision Algorithm for Video SurveillanceApplications”中进行了描述。在这种方法中，在第一步骤中确定图像中的有关的图像区域。从有关的图像区域导出图像中的二维对象，以及建立关 联的对象轮廓线。然后通过将对象轮廓线在与对极线的交点处的轮廓特性进行比较来确定对应关系。 

本发明要解决的问题是，提出一种方法，其在解决对应关系问题时在小的计算开销情况下具有高的可靠性，以及构建一种相应的装置。 

该问题的解决方案借助根据权利要求1的方法以及根据权利要求15的装置来实现。有利的实施形式通过从属权利要求给出。 

根据本发明，提出了一种用于确定场景的多个图像序列中的图像范围之间的空间对应关系的方法。 

空间对应关系是多个图像序列中的图像范围的关联，其中第一图像序列中的图像范围与第二图像序列中的图像范围以及必要时还与另外的图像序列中的另外的图像范围关联。在此，术语图像范围包括图像序列中的扩展的范围，即多个像素，和/或单个的像点、即单个像素。 

为了实现该方法而记录了图像序列，其中一个图像序列由场景的一系列单独图像构成，这些单独图像从唯一的观察视角采集并且优选具有等距的时间间隔。图像序列从不同的观察视角记录，优选从不同的观察方向和/或观察距离和/或以不同的光学成像设备来记录。优选的是，分别在相同的时刻记录多个图像序列的图像。 

在图像序列中确定有关的图像区域，即适于确定对应关系的区域。由这些图像区域形成一个或多个图像范围，其中图像范围可以与图像区域相同地构建和/或构建为图像区域的部分范围和/或构建为与图像区域交叠的范围。 

在通过像素位置u、v、图像值g以及时间t定义的空间中，可以将各参数化的函数h(u，v，t)、即具有像素位置u、v和时间t作为变量以及具有任意数目的参数的函数与图像范围匹配。术语空间R(uvgt)和函数h(u，v，t)在此代表反映相同技术内容的所有数学表示。特别地，通过这些术语涵盖数学等价表示。例如，在处理彩色图像记录时，图像值g匹配为使得空间R在RGB色彩模型的情况下称为空间R(uvrgbt)。 

为了形成多个图像序列的图像范围之间的相似性度量，根据本发明使用了参数化函数的参数。参数特别是可以理解为在函数h(u，v，t)的所选择的数学表示中使用的函数参数和/或从其导出的参数。优选的是，使第一图像序列中的图像范围的参数与第二图像序列中的图像范围的参数以及必要时与另外的图像序列中的图像范围的参数产生关系，特别是将这些参 数相互比较。 

在此，本发明基于如下考虑：基于考虑小的图像区域的相似性的对应关系形成方法易于产生多个错误对应关系，这些错误对应关系于是导致具有错误的空间位置的3D点。特别是在场景中对象运动的情况下，这种错误对应关系是非常具有干扰性的，因为其使得随后的3D点云的分类、对象分割或者运动分析变得极为困难或者不可能。与此相对，在根据本发明的方法中，除了相关图像范围的空间位置之外，还考虑它们在时间上的运动用于形成对应关系。通过这种方式，只有对象的相似运动的部分才彼此作为对应关系来关联，使得极大减少了错误对应关系的数目。 

在该方法的一种优选的实施形式中设计了：有关的图像区域具有图像值的足以形成对应关系的变化性。图像值特别是可以构建为像素灰度值。这保证了具有均匀的图像值分布的图像区域不被考虑用于形成对应关系。 

优选的是，有关的图像区域借助兴趣算子来确定。对此，由数字图像处理中公开了多种方法，优选的是使用边缘滤波器和/或局部统计灰度值分析来作为兴趣算子。 

在一种优选的实施形式中，使用空间-时间特征用于确定有关的图像区域。产生空间-时间特征例如在C.Woehler，J.K.Anlauf在Image andVision Computing2001年第19卷9-10期第593-618页所著的“Real-Time Object Recognition on Image Sequences with the Adaptable TimeDelay Neural Network Algorithm-Applications for autonomousVehicles”中进行了描述。在此，最佳地适合于图像序列中对对象进行分类的空间-时间特征通过针对神经网络的空间-时间接收区域的权重的训练方法来产生。空间-时间特征也可以被明确地预先给定。由此，例如可以实现只有在从右上向左下运动的角位于其中的图像范围中进行对应关系分析。 

在该方法的一种优选的实施形式中，从图像区域中提取兴趣像素形式的图像范围。这种提取进行的方式是，对有关的图像区域例如应用非最大值抑制和/或骨架提取运算(Skelettierungsoperation)等。 

这种方法基于梯度变化确定有关的图像区域中的一个或多个边缘或者中线。边缘或中线的各个像点用作兴趣像素。 

该方法的一种特别有利的实施形式是，相似性度量仅仅在与相同的对极(Epipolar)关联的多个图像序列的图像范围之间形成。在此所利用的 是，通常使用其图像能够在对极几何的框架中进行描述的摄像系统。特别地，在此将对应关系问题降低为只需将同一对极的图像范围彼此关联。在优选的其中使用兴趣像素作为图像范围的情况下，仅仅针对处于相同的对极上的兴趣像素形成相似性度量。 

有利的是，参数化的函数h(u，v，t)与各兴趣像素及其局部环境的匹配特别是在空间R(uvgt)中进行，使得针对每个兴趣像素在考虑到其环境的情况下匹配参数化的函数。局部环境优选包括带有如下像素的像素范围：该像素与相应的兴趣像素直接邻接。该像素范围优选方形地构建，特别是在边界边缘上具有奇数数目的像素。替代地或者补充地，局部环境包括空间R(uvgt)中的时间环境，该时间环境在图像序列的合适选择的数目的图像上延伸。在此，图像的数目例如取决于要识别的对象的类型和速度。 

在一种简单的实施形式中，参数化的函数h(u，v，t)构建为空间R(uvgt)中的超平面，也即构建为(n-1)维平面，构建为空间R(uvgt)的子空间。该方法的这种设计在匹配参数化的函数时需要小的计算开销，并且由此使得该方法的总计算开销最小化。 

对于该方法的这种实施形式，例如使用从图像范围确定的超平面的法向量之间的角度作为相似性度量。该差别角是在不同的图像序列的图像范围中相似的图像值变化或灰度值变化的度量。替代地或者补充地，对于相似性度量，考虑多个图像序列中的图像范围的超平面的强度(g)维度中轴区段参数的差。该差是针对相应的图像区域中绝对平均的图像值或灰度值的度量。函数h的参数于是例如可以在确定光通量时被考虑。 

在该方法的一种有利的方式中，参数化的函数h(u，v，t)构建为比超平面更高阶的函数和/或构建为任意函数，其中参数化的函数特别是形成空间R(uvgt)中任意形状的面。借助这种复杂函数，虽然提高了用于匹配的计算开销，但是同时改进了匹配的精确性，使得可以实现图像范围的更为可靠的关联。 

作为相似性度量，优选使用从图像范围确定的面之间的差体积(Differenzvolumen)和/或在预先给定的区域中在所考虑的像素的局部环境中的R(uvgt)空间中由这些面包围的体积。 

替代地，可以考虑从图像范围所确定的参数化的函数的参数的直接比较作为相似性度量。优选的是，对此使用参数空间中的距离。参数空间在 此是n维空间，其中n给出了参数化的函数h(u，v，t)的独立参数的数目。优选的是，使用欧几里德参数空间。 

为了将计算开销最小化，可以设计的是，为了确定有关的图像区域而形成差别图像，确切地说，在图像序列的图像和事先记录的场景参考图像之间的差别图像。于是替代当前的图像而使用在当前图像和场景的参考图像之间的绝对差。特别地，当图像序列由静止的、即不随时间流逝而运动的摄像机记录时，使用这种方法变形方案。在此，针对兴趣算子的一个可能的标准是在借助固定的阈值二元化的差别图像中从0上升到1或者从1下降到0。通过这种方式，可以极大地减少错误对应关系的数目。也可以使用图像金字塔或者时间金字塔用于减小计算开销，其中代替当前的图像，首先考虑具有低分辨率的图像，以便例如能够检测快速运动。 

根据权利要求15所述的根据本发明的装置适于三维场景重建和/或为此而构建。该装置包括摄像系统和与摄像系统相连的至少一个分析单元。根据本发明设计了，第一分析单元以程序技术方式和/或电路技术方式地构建，用于执行上述方法。 

优选的是，设计摄像系统作为立体摄像系统来实现，该立体摄像系统包括两个摄像机。特别地，两个摄像机以平行的观察方向来设置和/或相同地构建。该实施形式能够非常简单地确定对极线。 

替代地，摄像系统构建为特别是校准后的多摄像机系统，即具有两个或者更多个摄像机。特别地，摄像机具有交叠的观察区域。优选的是，摄像系统被校准，替代地，也可以设置自动校准。 

在该装置的一种改进方案中，设计了第二分析单元，其基于另一算法、特别是基于相关性分析进行对应关系确定，以便进行三维的场景重建。可选的是，对于第二分析单元设置了另一摄像系统。该实施形式所基于的考虑是，以彼此独立的两个装置组件来观察和重建相同的场景，以便在安全相关的应用中保证提高的识别可靠性。 

其他的基于发明的细节、特征、特征组合、优点和作用由以下的对本发明的优选实施例的描述以及附图中得到。 

其中： 

图1示出了根据本发明的方法的一个实施例的流程图； 

图2以框图示出了根据本发明的装置的一个实施例。

图1示出了根据本发明的方法的一个实施例的流程图。在步骤1中，由至少两个摄像机记录图像序列，其中图像序列由时间上等距的各个图像构成。摄像机彼此同步，使得在等距的时刻用各摄像机同时记录图像。通过这种方式，在每个时间上等距的时刻产生单独图像的b元组，其中b表示至少两个摄像机的数目。 

在可选的步骤2中产生差别图像，其方式是从图像序列的各个图像的图像值、特别是由灰度值分别减去参考图像。 

只要所述至少两个摄像机不是彼此设置为使得满足对极条件，则在步骤3中将b元组的各个图像彼此调整。这以已知的方式通过应用旋转和平移矩阵来进行。在步骤3之后，修改b元组的各图像，使得对应的图像范围与共同的对极线关联。该步骤3也可以在步骤2之前或者在以后的时刻进行。 

在步骤4中，借助兴趣算子来确定有关的图像区域。对此，将差别图像二元化，其中具有在限定的阈值之下的图像值的图像区域的像素得到值0，而在该阈值之上的图像区域得到值1。具有像素值1的图像区域在下面称为有关的图像区域。 

在步骤5中，将图像处理方法应用于差别图像(不是二元化的图像)的有关的图像区域，该方法提取如下的像素：该像素具有带特别大的梯度的周围环境。这种像素特别适于确定空间对应关系。例如将骨架提取运算应用于有关的图像区域，该运算产生有关的图像区域中的骨架式中线。所提取的像素(即在该例子中为中线的像素)在下面称为兴趣像素。 

在步骤6中，优选的是基于原始图像和/或差别图像将参数化的函数h(u，v，t)与各兴趣像素及其局部环境匹配。在此，兴趣像素在四维空间R(uvgt)中示出，该空间通过像素位置u、v、图像值或者灰度值g和时间t定义。参数化的函数h(u，v，t)在最简单的情况中构建为超平面。该参数化的函数h(u，v，t)在使用关于图像值分布或者灰度值分布的信息及其时间特性的情况下与兴趣像素及其环境匹配。兴趣像素的局部环境包括关于像素位置u、v的环境以及关于时间t的环境。 

所记录的各个图像的局部像素环境和/或时间环境优选以应用特定的方式来选择。然而也可能的是，根据对象大小来特定于对象地选择像素环境和/或时间环境。优选的是，在不移动的摄像系统情况下，在差别图像中进行兴趣像素的提取，该差别图像通过形成场景的当前图像和参考图像 的差来计算。不失一般性地也可以假设摄像系统由具有平行光轴的两个相同摄像机构成，使得对极线相应于图像行。 

在实践中，在图像中的如下对象的边界上有许多兴趣像素：这些对象与参考图像相比移动到场景内或者移出场景。理想的是，这种对象边界特别是可以通过像素强度中的突然跳变来描述。然而在实际的图像中，这种强度跳变通常未被观察，因为它们通过光学系统的点扩展函数被“软化”。出于该原因，有利的是，在对象边界上的强度变化通过sigmoid函数(例如双曲正切)来描述。然而，由于必须假设sigmoid强度变化叠加有像素强度的其他波动，所以在兴趣像素的空间-时间环境中，强度分布优选模型化为混合的多项式sigmoid方程： 

h(u，v，t)＝p₁(v，t)tanh[p₂(v，t)u+p₃(v，t)]+p₄(u，v，t)(1) 

项p₁(v，t)、p₂(v，t)和p₃(v，t)描述了v和t的多项式，而p₄(u，v，t)是u、v和t的多项式。对于确定的时间步长t，方程(1)基本上用模型表示了垂直走向的对象边界，因为由于孔径问题，基于水平边缘走向来确定差别是不可能的。多项式p₁(v，t)描述了sigmoid函数的幅度，而p₂(v，t)描述了sigmoid函数的陡度，二者都与图像行v关联，而p₃(v，t)反映了模型化对象边界的与行相关的位置。p₂(v，t)的值基本上取决于边缘通过光学系统有多清晰地成像，其中大的值描述了清晰的边缘而小的值描述了不清晰的边缘。多项式p₄(u，v，t)是空间上可变的偏移项，其用模型表示了在对象的内外的局部强度波动，并且于是例如可以考虑不平静的背景。所有所描述的特征在时空立体方法的上下文中都被视为时间上可变的，这反映在多项式的直接时间相关性中。如下的兴趣像素被拒绝：对于这些兴趣像素，函数h(u，v，t)与像素强度g(u，v，t)的拟合的残差(Residuum)大于预先给定的阈值。 

在其一般形式中，方程(1)导致通过非线性优化方法针对每个兴趣像素确定函数h(u，v，t)的参数。这种优化方法通常需要关于解的先验知识，并不能保证真正找到全局的最优值，并且通常要求长的计算时间。特别地，随后提到的问题使得将基于非线性优化的方法应用到具有实时能力的系统变得困难，或者使其在那种情况下变得不可能。 

出于这种原因，特别有利的是，为了确定函数h(u，v，t)的参数，针对每个兴趣像素使用基于根据物理的简化假设的特殊计算方法，该方法导致 通过线性优化来确定函数参数。这种优化问题随后将详细描述，并且在使用由文献公开的方法的情况下可以在计算上非常有效地解决(例如参考W.H.Press，S.A.Teukolsky，W.T.Vetterling，B.P.Flannery在C.Cambridge University Press，(Cambridge，UK，1992年)所著的“Numerical Recipes”)。 

有利的方法基于如下假设： 

1.偏移p₄(u，v，t)在空间上恒定，并且对应于通过空间图像坐标u和v平均的兴趣像素的局部环境的像素强度I_uv(t)。 

2.Sigmoid的幅度p₁(v，t)在空间上恒定，并且与兴趣像素的空间局部环境中的像素强度的标准偏差σ₁(t)成比例，即p₁(v，t)＝kσ₁(t)，其中k是恒定的、由用户预先给定的因数。k的值优选在0.8至3之间。在此也可能的是，替代空间的平均值和标准偏差，使用空间-时间平均值和标准偏差。 

在这些假设下，方程(1)变换为： 

$p_2(v,t)u+p_3(v,t)=\mathrm{ar}\tanh \left[\frac{I(u,v,t)-{\stackrel{\‾}{I}}_{\mathrm{uv}}\left(t\right)}{k{\mathrm{\σ}}_1\left(t\right)}\right]\≡\tilde{I}(u,v,t)---\left(2\right)$

方程(2)的左边是v和t的多项式，其参数可以从变换后的图像数据

通过对线性方程组求解来确定，对此可以使用有效的求解方法。 

例如，在此可以提及高斯消去法。满足下式的像素： 

$|[I(u,v,t)-{\stackrel{\‾}{I}}_{\mathrm{uv}}\left(t\right)]/\left(k{\mathrm{\σ}}_1\left(t\right)\right)|\≥\mathrm{\Θ}$

(其中

作为由用户预先给定的系统参数)不被考虑到优化过程中，因为对于这些像素，通过sigmoid函数的反转并不能确定变换后的像素值 或者由于反正切函数(artanh-Funktion)的大斜率只能非常不准确地确定变换后的像素值

的值优选大于0.75并且必须始终小于1。方程(2)的左侧的多项式参数能够实现在借助根据本发明的方法作为基础描述的方式中确定立体图像对或立体图像序列的对之间的对应关系。

当进行如下的进一步简化假设时，得到该方法的另一有利的扩展方案： 

3.sigmoid的陡度p₂(v，t)是恒定的，p₂(v，t)＝a。 

4.对象边界可以通过斜率b的直线段来表示，该直线段以恒定的速度c运动，这对应于： 

p₃(v，t)＝bv+ct+d 

这些假设直接导致针对四个模型参数a、b、c和d的线性方程表示： 

$\mathrm{au}+\mathrm{bv}+\mathrm{ct}+d=\tilde{I}(u,v,t)---\left(3\right)$

在该模型中，通过速度参数c描述边缘的运动特性。模型参数a、b、c和d能够在根据本发明的方法的框架内实现确定立体图像对或立体图像序列的对之间的对应关系。 

方程(1)允许从拟合后的模型参数中以子像素精度地(subpixelgenau)直接确定边缘位置u_e。该值对于在对应关系确定之后而进行的差异计算非常重要。在此有意义的是，将u_e的值限定为强度曲线在水平方向的最大梯度的位置，这对应于sigmoid函数的零点。该条件导致： 

u_c(u_c，v_c，t_c)＝-p₃(v_c，t_c)/p₂(v_c，t_c)                    (4) 

其中u_c、v_c和t_c涉及兴趣像素的所考虑的局部环境的中心。v_c的值此外还表示对极线，所涉及的兴趣像素位于该对极线上。 

在步骤7中，如下兴趣像素的参数化的函数h(u，v，t)的参数被彼此比较：这些兴趣像素与b元组的不同单独图像关联并且位于共同的对极线上。该比较进行的方式例如是使用参数的最小的差作为相似性度量。 

在步骤8中，b元组的不同单独图像的具有最佳相似性度量的兴趣像素被确定为彼此对应。基于这种对应的兴趣像素，随后以已知的方式实现所观察的场景的三维重建。 

在该方法的一种极大简化的、未落入权利要求1的措辞范围内的实施形式中，替代图像序列而仅仅使用单独图像，特别是单独图像的对或者单独图像的元组，其中对应关系的形成通过在空间R(u，v，g)中匹配的函数l(u，v)的参数比较来进行。该简化的实施形式也可以与差别图像方法结合。在本发明中，参数化的函数h(u，v，t)至少在图像序列的两个彼此相继的单独图像的时间间隔上进行匹配。

图2示出了用于三维场景重建的装置。对象9借助摄像系统被光学检测，该摄像系统由不移动的摄像机10a、10b和可选的10c构成。对象9例如可以是处理室中的陌生人，该处理室装备有作为机器人保护室监视装置的、用于三维场景重建的装置。摄像机构建为数字摄像机，特别是作为CCD摄像机，借助这些摄像机可以记录灰度值格式的图像。在另外的应用中，也可以使用彩色摄像机或者热成像摄像机或者UV摄像机。摄像机10a、10b、10c彼此同步，使得同时记录带有三个单独图像的三元组。 

摄像机信号通过线缆11传输给第一分析单元12。在该分析单元12中，实施结合图1所阐述的方法用于确定空间的对应关系。对此，例如在计算单元中存有相应的程序。所确定的、在摄像机10a、10b、10c的图像序列的图像范围之间的对应关系被传输给计算单元13，该计算单元将所检测到的对象9三维重建。 

可选地并如在图2中用虚线表明的，设置第二分析单元14，其同样确定图像序列的图像范围之间的对应关系，然而基于不同构建的算法。分析单元14例如借助相关分析来工作。这样确定的对应关系被传输给第二计算单元15，该第二计算单元同样三维重建所检测到的对象9。第一计算单元13和第二计算单元15的结果可以彼此比较，以便得到更高的重建准确性，或者彼此独立地分析，以便在安全相关的应用中实现更高的可靠性。

Claims (48)

1.一种用于确定场景的从不同观察视角记录的多个图像序列中的图像范围之间的空间对应关系的方法，所述方法包括：

在图像序列中确定形成所述图像范围的、与确定对应关系有关的图像区域；

在通过像素位置u、v、图像值g和时间t定义的空间R(uvgt)中分别将参数化的函数h(u，v，t)与所述图像范围匹配；以及

使用所述参数化的函数的参数形成多个图像序列的所述图像范围之间的相似性度量，

其中所述参数是在函数h(u，v，t)的所选择的数学表示中使用的函数参数和/或从函数参数导出的参数。

2.根据权利要求1所述的方法，其中有关的图像区域具有足以形成对应关系的图像值变化性。

3.根据权利要求2所述的方法，其中所述图像值是像素灰度值。

4.根据权利要求1-3中任一项所述的方法，其中有关的图像区域借助兴趣算子来确定。

5.根据权利要求4所述的方法，其中所述兴趣算子构建为边缘滤波器和/或局部统计灰度值分析。

6.根据权利要求1-3中的任一项所述的方法，其中有关的图像区域借助分析空间-时间特征来确定。

7.根据权利要求1-3中的任一项所述的方法，其中图像范围以兴趣像素的形式来形成。

8.根据权利要求7所述的方法，其中，通过将非最大值抑制和/或骨架提取运算应用到有关的图像区域上来以兴趣像素的形式形成图像范围。

9.根据权利要求1-3中的任一项所述的方法，其中形成与相同的对极关联的多个图像序列的图像范围之间的相似性度量。

10.根据权利要求7所述的方法，其中所述相似性度量形成在位于相同的对极和/或对极线上的兴趣像素之间。

11.根据权利要求7所述的方法，其中进行参数化的函数h(u，v，t)与兴趣像素及其局部环境的匹配。

12.根据权利要求11所述的方法，其中局部环境构建为像素范围，和/或构建为时间环境。

13.根据权利要求12所述的方法，其中所述像素范围构建为方形像素范围。

14.根据权利要求13所述的方法，其中所述方形像素范围在其边界边缘处带有奇数个像素。

15.根据权利要求1-3中的任一项所述的方法，其中参数化的函数构建为空间R(uvgt)中的超平面。

16.根据权利要求15所述的方法，其中针对相似性度量使用从图像范围确定的超平面的轴区段参数的差和/或法向量之间的角。

17.根据权利要求1至3中的任一项所述的方法，其中参数化的函数h(u，v，t)构建为比超平面更高阶数的函数。

18.根据权利要求17所述的方法，其中所述参数化的函数h(u，v，t)形成空间R(uvgt)中的任意形状的面。

19.根据权利要求17所述的方法，其中针对相似性度量使用从图像范围确定的面之间的差体积。

20.根据权利要求1-3中的任一项所述的方法，其中针对相似性度量使用从图像范围确定的参数的直接比较。

21.根据权利要求20所述的方法，其中在参数空间中的距离被用于所述相似性度量。

22.根据权利要求21所述的方法，其中所述距离是欧几里德距离。

23.根据权利要求1-3中的任一项所述的方法，其特征在于，确定有关的图像区域，其中产生图像序列的图像和参考图像之间的差别图像。

24.根据权利要求7所述的方法，其特征在于，为了确定函数h(u，v，t)的参数，针对每个兴趣像素使用基于根据物理推导的简化假设的计算方法，该计算方法通过线性优化来确定函数参数。

25.一种配置用于确定场景的从不同观察视角记录的多个图像序列中的图像范围之间的空间对应关系的分析单元，包括：

配置成在图像序列中确定形成所述图像范围的、与确定对应关系有关的图像区域的确定装置；

配置成在通过像素位置u、v、图像值g和时间t定义的空间R(uvgt)中分别将参数化的函数h(u，v，t)与所述图像范围匹配的匹配装置；以及

配置成通过使用所述参数化的函数的参数来形成多个图像序列的所述图像范围之间的相似性度量的形成装置，其中所述参数是在函数h(u，v，t)的所选择的数学表示中使用的函数参数和/或从函数参数导出的参数。

26.根据权利要求25所述的分析单元，其中有关的图像区域具有足以形成对应关系的图像值变化性。

27.根据权利要求26所述的分析单元，其中所述图像值是像素灰度值。

28.根据权利要求25-27中任一项所述的分析单元，其中所述确定装置配置成借助兴趣算子来确定有关的图像区域。

29.根据权利要求28所述的分析单元，其中所述兴趣算子构建为边缘滤波器和/或局部统计灰度值分析。

30.根据权利要求25-27中的任一项所述的分析单元，其中所述确定装置配置成借助分析空间-时间特征来确定有关的图像区域。

31.根据权利要求25-27中的任一项所述的分析单元，其中图像范围以兴趣像素的形式来形成。

32.根据权利要求31所述的分析单元，其中，所述分析单元配置成通过将非最大值抑制和/或骨架提取运算应用到有关的图像区域上来以兴趣像素的形式形成图像范围。

33.根据权利要求25-27中的任一项所述的分析单元，其中所述形成装置配置用于形成与相同的对极关联的多个图像序列的图像范围之间的相似性度量。

34.根据权利要求31所述的分析单元，其中所述形成装置配置用于形成在位于相同的对极和/或对极线上的兴趣像素之间的相似性度量。

35.根据权利要求31所述的分析单元，其中所述匹配装置配置成进行参数化的函数h(u，v，t)与兴趣像素及其局部环境的匹配。

36.根据权利要求35所述的分析单元，其中局部环境构建为像素范围，和/或构建为时间环境。

37.根据权利要求36所述的分析单元，其中所述像素范围构建为方形像素范围。

38.根据权利要求37所述的分析单元，其中所述方形像素范围在其边界边缘处带有奇数个像素。

39.根据权利要求25-27中的任一项所述的分析单元，其中参数化的函数构建为空间R(uvgt)中的超平面。

40.根据权利要求39所述的分析单元，其中所述形成装置配置成使用从图像范围确定的超平面的轴区段参数的差和/或法向量之间的角来形成相似性度量。

41.根据权利要求25-27中的任一项所述的分析单元，其中参数化的函数h(u，v，t)构建为比超平面更高阶数的函数。

42.根据权利要求41所述的分析单元，其中所述参数化的函数h(u，v，t)形成空间R(uvgt)中的任意形状的面。

43.根据权利要求41所述的分析单元，其中所述形成装置配置成使用从图像范围确定的面之间的差体积来形成相似性度量。

44.根据权利要求25-27中的任一项所述的分析单元，其中所述形成装置配置成使用从图像范围确定的参数的直接比较来形成相似性度量。

45.根据权利要求44所述的分析单元，其中在参数空间中的距离被用于所述相似性度量。

46.根据权利要求45所述的分析单元，其中所述距离是欧几里德距离。

47.根据权利要求25-27中的任一项所述的分析单元，其特征在于，所述确定装置配置成通过产生图像序列的图像和参考图像之间的差别图像来确定有关的图像区域。

48.根据权利要求31所述的分析单元，其特征在于，所述形成装置配置成为了确定函数h(u，v，t)的参数，针对每个兴趣像素使用基于根据物理推导的简化假设的计算方法，该计算方法通过线性优化来确定函数参数。

Images