CN101276415A - 用多定焦摄像机实现多分辨率图像采集的装置和方法 - Google Patents

Abstract

一种采用多定焦摄像机实现多分辨率图像采集的装置及方法，包括5台具有位置约束关系的定焦摄像机，其中4台摄像机处于同一水平面上，位于同一个正方形的4个顶点上，且4台摄像机的焦距相同，设为f_s；另外1台摄像机位于上述4台摄像机的一方，该一台摄像机的轴心线垂直于4台摄像机面且经过正方形的中心点O，且该第5台摄像机到其余4台摄像机所在平面的距离为d，设该摄像机的焦距为f_t，对5台定焦摄像机的参数和位置作初始化设置，其位置关系满足如下约束：f_t＝f_s+d。本发明实现了多定焦摄像机无损变焦拍摄的功能，场景图像细节可调整，灵活可控，在较大可视场景中快速采集多分辨率图像。

Description

用多定焦摄像机实现多分辨率图像采集的装置和方法

技术领域

本发明属于视频处理领域，具体地说是一种应用于计算机视觉的场景图像获取的装置和方法。

背景技术

多分辨率图像采集是指在不同的分辨率细节上对同一场景的图像数据进行一致的采集的过程。强调的是根据用户对图像细节的需求，人为的调节拍摄场景图像分辨率。已有的方法和装置是使用变焦摄像机实现多分辨率图像采集。

变焦摄像机是指摄像机的镜头焦距可以调节改变，这样可以通过改变镜头焦距来获得不同的视觉和拍摄效果的摄像机，包括单摄像机光学变焦拍摄、单摄像机数字变焦拍摄。

单摄像机光学变焦是依靠光学镜头结构来实现变焦，通过摄像头的镜片移动来放大与缩小需要拍摄的景物，光学变焦倍数越大，能拍摄的景物就越远。一般的光学变焦摄像机价格昂贵，且在变焦后，虽然场景分辨率提高，但可视场景却成倍减小。

单摄像机数字变焦的原理与光学变焦不同，它是把原来CCD影像传感器上的一部份像素使用“插值”处理手段做放大，将CCD影像传感器上的像素用插值算法将画面放大到整个画面。实际上是画面的电子放大，虽然拍摄的场景放大，但其场景分辨率没有实质意义上的提高。同时，单摄像机数字变焦方法也存在变焦后可视场景变小的不足。

国内外一些专利也提出多分辨率图像采集的装置和方法，中国专利CN1176351C提出的双声光照明发射器、CN2476040Y提出的反射镜组、CN1164962C提出的总光程变化装置、美国专利申请20060077475提出的使用玻璃镜、电路、透镜杆和光敏传感器阵列组合装置，都试图解决多分辨率图像采集，但由于其装置属于单摄像机类型，并未解决可视场景自动缩小的问题。美国专利申请20050111754提出一种多分辨率图像融合的方法，但并未给出图像采集装置及控制参数约束关系。

此外，根据单摄像机光学变焦存在可视场景变小的不足，可以考虑多光学变焦摄像机拍摄采集的情况。虽然可以解决可视场景大小的问题，但有引入图像分辨率不易控制的缺点，且装置成本会更昂贵。

总的来说，现有的多分辨率图像采集装置和方法存在可视场景小或不易采集控制的不足。

发明内容

本发明的目的之一是：克服现有技术的不足，提供一种实现较大可视场景的多分辨率图像采集装置；目的之二是提出在上述装置基础上多分辨率图像采集的控制方法。

本发明的技术解决方案：一种采用多定焦摄像机实现多分辨率图像采集的装置，包括5台具有位置约束关系的定焦摄像机，其中4台摄像机处于同一水平面上，位于同一个正方形的4个顶点上，且4台摄像机的焦距相同，设为f_s；另外1台摄像机位于上述4台摄像机的一方，该一台摄像机的轴心线垂直于4台摄像机面且经过正方形的中心点O，且该第5台摄像机到其余4台摄像机所在平面的距离为d，设该摄像机的焦距为f_t，对5台定焦摄像机的参数和位置作初始化设置，其位置关系满足如下约束：f_t＝f_s+d。

本发明装置的工作原理是：5台定焦摄像机分为全场景采集摄像机和细节采集摄像机两组。全场景采集摄像机1台且位置固定，保证获取全场景的图像信息，且场景范围不会因图像分辨率调整变化；细节采集摄像机4台，分别采集4个子正方形场景区域的图像，根据摄像机成像原理和摄像机间几何位置关系，将细节采集摄像机的数据映射到全场景采集摄像机拍摄的图像中，实现较大可视场景的多分辨率图像采集装置。设细节采集摄像机采集图像坐标为(u₁，v₁)，(u₂，v₂)，(u₃，v₃)，(u₄，v₄)，映射到全场景图像坐标变为 $(u_1,v_1+\sqrt{2}m),(u_2+\sqrt{2}m,v_2+\sqrt{2}m),(u_3+\sqrt{2}m,v_3),(u_4,v_4),$ 其中m是细节采集摄像机据全场景采集摄像机的垂直距离。

本发明提出的一种使用多定焦摄像机实现多分辨率场景采集的控制方法，包括以下步骤：

(1)自动指定场景中的可见目标对象，或者通过人工操作人为的指定场景中的可见目标对象；

(2)根据目标对象的范围进行背景剔除，得到目标对象前景；

(3)根据目标对象前景，确定目标对象成像显示子区域，并在子区域内布置场景细节采集摄像机和全场景采集摄像机；

(4)通过子区域内的摄像机采集图像数据，生成高分辨率场景概观图；(5)对高分辨率场景概观图，指定其中的目标对象无损分辨率放大倍数；

(6)对放大后的目标对象边缘与背景差值进行融合；

(7)判断融合的目标对象是否移动，如果移动则转步骤(2)；如果未移动则转步骤(4)，重复采集图像信息。

本发明方法的原理是：使用背景分割等图像处理方法确定目标对象，通过子区域内布置的细节采集摄像机采集数据按像素位移公式进行变化，完成目标对象的无损分辨率放大，应用插值融合算法使目标对象与场景图像融合，实现多分辨率场景采集控制。

本发明与现有技术相比的有益效果是：

(1)本发明装置设置了全场景采集摄像机和细节采集摄像机对同一拍摄场景进行图像采集，获得的目标对象信息包括场景概观信息和子场景细节信息，使用场景概观信息可保证可视场景范围不发生变化，有效避免单摄像机变焦拍摄时，获取高分辨率图像时可视场景变小的不足，实现多定焦摄像机在较大可视场景中“变焦”拍摄功能。并且对同一场景有两份图像采集信息互为备份，成像质量更稳定。

(2)本发明装置设置的细节采集摄像机获得目标对象的子场景信息，可对场景的细节信息做进一步描绘，且是真实的采集数据，克服了数字变焦摄像机电子放大的变焦方法会影响图像的精确度的缺点。

(3)本发明方法相对于其它图像采集方法，无需手工调节摄像机的焦距或光圈，只需在发明方法的第1步中手工或自动选定目标对象，在第5步中设定无损分辨率放大倍数，便可自动完成多分辨率场景图像快速采集，具有手工操作步骤简单，目标对象选定灵活，图像细节可调整、易控制的优势。

附图说明

图1为本发明的多定焦摄像机装置示意图；

图2为本发明实例中5台摄像机焦点所形成的几何关系图；

图3为本发明的摄像机成像分辨率与焦距的关系示意图；

图4为本发明的多分辨率图像采集方法流程图。

具体实施方式

如图1所示，本发明设置5台定焦摄像机，右侧4台摄像机处于同一水平面上，位于同一个正方形的4个顶点上，分别对应图中的B、C、D、E四点，且4台摄像机的焦距相同，设为f_s；另外一台摄像机位于上述4台摄像机的左方，对应图中A点，其轴心线垂直于4摄像机面且经过正方形的中心点，对应图中O点，且到该点的距离为d，设该摄像机的焦距为f_t。对5台定焦摄像机的参数和位置作初始化设置，其位置关系满足如下约束：f_t＝f_s+d。

本发明装置的工作原理和过程是：5台定焦摄像机分为全场景采集摄像机和细节采集摄像机两组。全场景采集摄像机1台且位置固定，保证获取全场景的图像信息，且场景范围不会因图像分辨率调整变化；细节采集摄像机4台，分别采集4个子正方形场景区域的图像，根据摄像机成像原理和摄像机间几何位置关系，将细节采集摄像机的数据映射到全场景采集摄像机拍摄的图像中，实现较大可视场景的多分辨率图像采集装置。全场景采集摄像机首先开始采集图像，其余的4台细节采集摄像机根据多分辨率图像采集控制方法自主工作，由此获得被拍摄对象表面不同分辨率像素表示，完成多分辨率调节。

如图2所示，在步骤1初始化设置后，5台摄像机在场景中的焦点共面，且存在图2所示的几何关系。取右侧4台摄像机的成像平面左下角为图像坐标系原点，对应图中点O₁，O₂，O₃，O₄，并且每台摄像机视点中心到原点的距离为m。5台定焦摄像机的可视场景空间为右侧4台摄像机自焦点到后景深区间内的锥平台并集与左方摄像机可视锥平台的交集空间。

如图3所示，根据摄像机成像原理：O_c-X_cY_cZ_c是摄像机坐标系，O-XY是成像平面坐标系，O′-UV是图像平面坐标系。P点在摄像机坐标系下的坐标为(X_c，Y_c，Z_c)，P′点坐标为(x，y，f)；P′点在图像坐标系下的坐标为(u，v)。根据立体几何比例关系有：

$\frac{f}{Z_c}=\frac{x}{X_c}=\frac{y}{Y_c}---\left(0.1\right)$

设摄像机在x轴上的视角为θ_x，分辨率为u_x，在y轴上的视角为θ_y，分辨率为u_y，则P′在图像上的像素坐标为(u，v)为：

$\left\{\begin{array}{c}u=\frac{x-x_0}{f_x\·{\mathrm{tg\θ}}_x\·u_x}=\frac{x}{\mathrm{dx}}+u_0\\ v=\frac{y-y_0}{f_y\·{\mathrm{tg\θ}}_y\·u_y}=\frac{y}{\mathrm{dy}}+v_0\end{array}\right.---\left(02\right)$

其中，f_x，f_y代表摄像机在x，y两个方向上的焦距，dx，dy是每一个像素在图像平面x轴和y轴上的物理尺寸。(u₀，v₀)为摄像机光轴与图像平面的物理交点。

如图2所示，设右侧4台摄像机的图像平面坐标系原点分别为O₁，O₂，O₃，O₄，右方摄像机的图像平面坐标系原点为O₃，并令其为统一坐标系的坐标原点。设右侧4台摄像机据上层摄像机光轴距离为m，则右侧4台摄像机在原坐标系下的任一点(u₁，v₁)，(u₂，v₂)，(u₃，v₃)，(u₄，v₄)分别对应统一坐标系的坐标为 $(u_1,v_1+\sqrt{2}m),(u_2+\sqrt{2}m,v_2+\sqrt{2}m),(u_3+\sqrt{2}m,v_3),(u_4,v_4),$ 以此像素点对应关系，作为多分辨率图像获取预处理的依据。

如图4所示，给出一种多分辨率图像采集方法的流程示意图，实现场景图像分辨率的调节和控制，包括(1)自动或人工指定观察的目标对象；(2)目标对象的背景剔除；(3)划分目标对象的成像显示子区域；(4)子区域摄像机采集图像数据，生成高分辨率场景概观图；(5)指定目标对象无损分辨率放大；(6)目标对象边缘与背景差值融合；(7)判断目标对象是否移动，重复采集图像信息共七个步骤，以下分别展开说明：

步骤4.1，通过模式识别的方法自动指定场景中的可见目标对象，或者通过人工操作人为的指定场景中的可见目标对象。当背景图像和目标对象图像色差明显时，采用与背景颜色一致的软件过滤器将背景剔除，自动选定剩余的可见目标对象图像。当背景较为复杂，或目标对象与图像色差相近时，人工的在场景概观图像中设置关键点，关键点彼此相连形成一凸多边形，作为指定的可见目标对象。

步骤4.2，根据4.1确定的目标对象范围，将目标对象前景与背景相分离。如果在步骤4.1用自动指定目标对象方法，已经将背景剔除，此步骤可略；如果是人为指定目标对象方法，将凸多边形外部的图像作为背景剔除，剩余部分图像即为目标对象前景。

步骤4.3，根据4.2确定的目标对象前景，按图2所示的图像分块中，确定目标对象成像的显示子区域。在场景概观图像中，按图2将图像划分为4块大小相等对称的正方形子场景，并保证每个子场景有一台子场景细节图像采集摄像机负责。目标对象图像在场景划分的过程中也被划分为4个显示子区域，当然，也包括部分子区域不含有目标对象像素点的情况。

步骤4.4，根据4.3计算的目标对象成像显示子区域，确定负责该区域成像的摄像机开始采集数据。以场景概观图像像素坐标为基础，子场景图像采集摄像机采集所得图像坐标为(u₁，v₁)，(u₂，v₂)，(u₃，v₃)，(u₄，v₄)，对应到场景概观图像坐标位置分别为 $(u_1,v_1+\sqrt{2}m),(u_2+\sqrt{2}m,v_2+\sqrt{2}m),(u_3+\sqrt{2}m,v_3),(u_4,v_4),$ 并将细节像素点按坐标位置插入到场景概观图像中，获得高分辨率场景概观图。

步骤4.5，根据输入参数放大或调整4.4确定的目标对象成像区域象素点。输入目标对象的放大倍数α，最小为1，表示不放大。以目标对象区域的中心为原点，调整目标对象区域像素点的距离，每个原像素点朝上下左右四个方向平移原先象素点距离的α倍。设上下两个相邻像素点的距离为m；左右两个相邻像素点的距离为n，则放大后的距离分别变为α·m和α·n。

步骤4.6，根据4.4对目标对象放大或调整，当α倍数大于1时，必然会遮挡原有背景。将放大的目标对象作为新目标对象，使用图形学中常用的线性插值算法，做新目标对象边缘和新背景的插值融合运算，实现放大目标对象与背景的平滑过渡。设新目标对象像素点的RGB信息为N_R，N_G，N_B，与其相邻的背景像素点的RGB信息为N_R′，N_G′，N_B′，则插入的n-1个融合像素点的RGB信息依次为：

$(\frac{((n-1)N_R+N_R^{\′})}{n},\frac{((n-1)N_G+N_G^{\′})}{n},\frac{((n-1)N_B+N_B^{\′})}{n}),$

$(\frac{((n-2)N_R+{2N}_R^{\′})}{n},\frac{((n-2)N_G+{2N}_G^{\′})}{n},\frac{((n-2)N_B+2N_B^{\′})}{n}),$

…

$(\frac{(N_R+(n-1)N_R^{\′})}{n},\frac{(N_G+(n-1)N_G^{\′})}{n},\frac{(N_B+(n-1)N_B^{\′})}{n}).$

步骤4.7，通过视频帧做差的方法判定指定目标对象是否移动，如果前后两帧图像中，目标对象的象素点位置发生偏移，即视频帧做差的结果大于一定阀值(如N＝10)时，说明目标对象移动，则转到步骤4.2；否则转到步骤4.4。设采集的视频前后两帧图像对应象素点的RGB信息值为N_R，N_G，N_B和「，则视频帧做差的结果为N＝(N_R′-N_R)+(N_G′-N_G)+(N_B′-N_B)。

由于图像采集过程是一个循环过程，在图4中没有给出流程结束的示意表示。

最后应说明的是，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明利用多定焦摄像机实现多分辨率图像采集的原理前提下，还可以做出若干改进或等同替换，这些改进和等同替换也应视为本发明的保护范围。

Claims (9)

1、一种采用多定焦摄像机实现多分辨率图像采集的装置，其特征在于：包括5台具有位置约束关系的定焦摄像机，其中4台摄像机处于同一水平面上，位于同一个正方形的4个顶点上，且4台摄像机的焦距相同，设为f_s；另外1台摄像机位于上述4台摄像机的一方，该一台摄像机的轴心线垂直于4台摄像机面且经过正方形的中心点O，且该第5台摄像机到其余4台摄像机所在平面的距离为d，设该摄像机的焦距为f_t，对5台定焦摄像机的参数和位置作初始化设置，其位置关系满足如下约束：f_t＝f_s+d。

2、一种采用多定焦摄像机实现多分辨率图像采集的装置的采集方法，其特征在于步骤如下：

(1)自动指定场景中的可见目标对象，或者通过人工操作人为的指定场景中的可见目标对象；

(2)根据目标对象的范围进行背景剔除，得到目标对象前景；

(3)根据目标对象前景，确定目标对象成像显示子区域，并在子区域内布置场景细节采集摄像机和全场景采集摄像机；

(4)通过子区域内的摄像机采集图像数据，生成高分辨率场景概观图；

(5)对高分辨率场景概观图，指定其中的目标对象无损分辨率放大倍数；

(6)对放大后的目标对象边缘与背景差值进行融合；

(7)判断融合的目标对象是否移动，如果移动则转步骤(2)；如果未移动则转步骤(4)，重复采集图像信息。

3、根据权利要求2所述的一种采用多定焦摄像机实现多分辨率图像采集的装置的采集方法，其特征在于：所述步骤(1)中的自动或人工指定观察的目标对象的方法为：当背景图像和目标对象的图像色差明显时，采用与背景颜色一致的软件过滤器将背景剔除，自动选定剩余的可见目标对象图像；当背景较为复杂，或目标对象与图像色差相近时，通过人工在场景概观图像中设置关键点，作为指定的可见目标对象。

4、根据权利要求2所述的一种采用多定焦摄像机实现多分辨率图像采集的装置的采集方法，其特征在于：所述步骤(2)中的目标对象的背景剔除方法为：对于人工指定观察目标对象方法，将关键点连接为一个凸多边形，剔除凸多边形外部的图像背景。

5、根据权利要求2所述的一种采用多定焦摄像机实现多分辨率图像采集的装置的采集方法，其特征在于：所述步骤(3)的划分目标对象的成像显示子区域，并在子区域内布置场景细节采集摄像机和全景摄像机的方法为：目标对象图像在场景划分的过程中被划分为4个大小相等、对称，且形状为正方形的显示子区域，并布置5台具有位置约束关系的定焦摄像机，其中4台摄像机处于同一水平面上，位于同一个正方形的4个顶点上，且4台摄像机的焦距相同，设为f_s；另外1台摄像机位于上述4台摄像机的一方，该一台摄像机的轴心线垂直于4台摄像机面且经过正方形的中心点O，且该第5台摄像机到其余4台摄像机所在平面的距离为d，设该摄像机的焦距为f_t，对5台定焦摄像机的参数和位置作初始化设置，其位置关系满足如下约束：f_t＝f_s+d。

6、根据权利要求2所述的一种采用多定焦摄像机实现多分辨率图像采集的装置的采集方法，其特征在于：所述步骤(4)的子区域摄像机采集图像数据，生成高分辨率场景概观图的方法为：确定场景概观图像坐标和子场景细节图像坐标的对应关系，以场景概观图像像素坐标为基础，子场景图像采集摄像机采集所得图像坐标为(u₁，v₁)，(u₂，v₂)，(u₃，v₃)，(u₄，v₄)，对应到场景概观图像坐标位置分别为 $(u_1,v_1+\sqrt{2}m),(u_2+\sqrt{2}m,v_2+\sqrt{2}m),(u_3+\sqrt{2}m,v_3),(u_4,v_4),$ 并将细节像素点按坐标位置插入到场景概观图像中，获得高分辨率场景概观图。

7、根据权利要求2所述的一种采用多定焦摄像机实现多分辨率图像采集的装置的采集方法，其特征在于：所述步骤(5)的指定目标对象无损分辨率放大的方法为：设分辨率放大倍数为α，上下两个相邻像素点的距离为m，左右两个相邻像素点的距离为n，则放大后的距离分别变为α·m和α·n。

8、根据权利要求2所述的一种采用多定焦摄像机实现多分辨率图像采集的装置的采集方法，其特征在于：所述步骤(6)中的对放大目标对象边缘与背景差值进行融合的方法为：做新目标对象边缘和新背景的插值融合运算，实现放大目标对象与背景的平滑过渡。设新目标对象像素点的RGB信息为N_R，N_G，N_B，与其相邻的背景像素点的RGB信息为N_R′，N_G′，N_B′，则插入的n-1个融合像素点的RGB信息依次为：

$(\frac{((n-1)N_R+N_R^{\′})}{n},\frac{((n-1)N_G+N_G^{\′})}{n},\frac{((n-1)N_B+N_B^{\′})}{n}),$

$(\frac{((n-2)N_R+{2N}_R^{\′})}{n},\frac{((n-2)N_G+{2N}_G^{\′})}{n},\frac{((n-2)N_B+2N_B^{\′})}{n}),$

…

$(\frac{(N_R+(n-1)N_R^{\′})}{n},\frac{(N_G+(n-1)N_G^{\′})}{n},\frac{(N_B+(n-1)N_B^{\′})}{n}).$

9、根据权利要求2所述的一种采用多定焦摄像机实现多分辨率图像采集的装置的采集方法，其特征在于：所述步骤(7)中判断目标对象是否移动的方法为：以视频帧做差的结果N作为判断目标对象是否移动的依据，设采集的视频前后两帧图像对应象素点的RGB信息值为N_R，N_G，N_B和N_R′，N_G′，N_B′，则视频帧做差结果N＝(N_R′-N_R)+(N_G′-N_G)+(N_B′-N_B)。

Images