CN101729920A - 一种自由视角立体视频显示方法 - Google Patents

Abstract

本发明涉及一种可自由选择视角的立体视频显示装置，具体说就是可根据观察者意愿选择观察方位和观察距离的视频显示系统，硬件上包含多路同步视频采集装置、中心计算装置、显示终端装置，软件上包含目标分割和角点检测，三维视频流构建，任意视角二维视频流的生成等步骤。本发明可以实现同一场景任意视角的活动视频，该视角可人为指定，并且可以人为选择不同的观察距离，显示时如果选择合适的视距还可实现穿透式的显示效果，比现有的其他立体视觉产生方法更具可被接受，该方法在军事指挥方面有重要的应用前景。

Description

一种自由视角立体视频显示方法

技术领域

本发明涉及一种三维物体的多角度动态成像领域，特别是一种自由视角立体视频显示方法。

背景技术

随着技术发展，研究领域和消费市场上出现了一些显示立体效果的显示终端，主要有两大类型，其一是通过佩戴立体眼睛，根据人眼的视差在大脑中形成立体画面的显示装置；其二是通过物理光学装置让双眼看到不同的画面从而形成立体视觉效应。这两种方法都是被动式的立体显示方式，即观察者不能自主选择观察视角和距离，并且每个观察者不管处于什么位置和角度都只能看到同样的立体画面，和真实生活中的立体视觉完全不同，因此能够解决上述问题的主动式立体显示就成为该领域研究的新途径。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种自由视角立体视频显示方法，该方法将同步拍摄同一场景的多个角度活动视频通过视频处理后形成场景的三维视频流，根据不同观察者的要求，计算出指定角度和指定距离处的二维视频投影显示到终端上，显示时选择合适的视距还可实现穿透式的显示效果。

技术方案：本发明公开了一种自由视角立体视频显示方法，包括以下步骤：

步骤(1)，目标分割和角点检测：将视频流中的不同目标进行分割，分割后标注出每个目标的可视角点；

步骤(2)，视频流同步：启动视频流的采集来同步不同视角摄像装置拍摄的二维场景；所述的摄像装置在拍摄目标周围水平均匀分布，拍摄目标上方还有一个，任意两个摄像装置之间都能拍摄到部分重叠的目标区域。

步骤(3)，构建三维视频流：根据同一时间点不同视角拍摄的视频帧中不同目标的角点计算出目标各角点在三维空间中的坐标，从而构建当前时间点所有目标的三维模型，将所有时间点的三维模型连续编码后形成三维视频流；

步骤(4)，生成任意视角的二维视频流：将三维视频流解码后得到不同时间点的目标三维模型，根据观察者自主选择的视角和视距向观察平面投影生成二维视频流。

本发明中，步骤(1)包括以下步骤：

1.1用Harris算法对角点进行第一次估计；

1.2将估计出的角点用SUSAN算法进行进一步的筛选，得出最终的角点。

本发明步骤(2)中通过外部硬件触发器将开始采集视频的同步信号发送到各摄像装置，实现采集的视频帧完全同步。

本发明中，步骤(3)包括以下步骤：

对检测出来的角点用窗口模板匹配方法进行匹配；

用上步中得出的匹配点计算同一时间不同角度拍摄的两幅图的基础矩阵；

得出射影矩阵以及摄像装置内部参数矩阵(含焦距等参数)和外部参数矩阵(包括不同摄像装置两两之间的相对旋转矩阵和位移矩阵)；

构建出当时的世界坐标系；

对两幅图像重建结果进行集束调整。

本发明步骤(4)中，在获得分布位置信息和坐标值的基础上，利用OpenGL所提供的API函数将各点拟合成面。

本发明中，根据光照、视角等具体条件进行渲染纹理等特效处理。

本发明中，生成的二维视频流在特定的视距下可实现穿透式的显示效果

有益效果：本发明可获得同一场景任意视角的活动视频，该视角可人为指定，并且可以人为选择不同的观察距离，显示时如果选择合适的视距还可实现穿透式的显示效果，比现有的其他立体视觉产生方法更具可被接受，该方法在军事指挥方面有重要的应用前景。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。

图1为本发明实施例的三维物体的多角度动态成像示意图。

图2a和图2b是本发明所涉及的坐标系投影图。

图3a和图3b是本发明所涉及的分层显示图。

具体实施方式：

本发明实施时，需要的装置硬件系统由四个模块构成：

视频采集模块：多路视频同时采集场景，并保证摄像装置能覆盖目标的水平360度和垂直180度视角，将视频数据输出给数据处理模块；具体分布时保证在拍摄目标周围水平均匀分布，拍摄目标上方还有一个，任意两个摄像装置之间都能拍摄到部分重叠的目标区域。

采集触发模块：通过硬件触发方式保证不同角度的摄像装置采集时间同步；

数据处理模块：高速数据处理中心负责将各路视频同步并构建场景的三维视频流，并根据二维显示模块输出的数据计算出二维视频投影流；

二维显示模块：负责将观察者的角度和距离输出给数据处理模块并显示由数据处理模块生成的二维视频投影流。

如图1所示，本发明实施例的三维物体的多角度动态成像示意图。

本发明中，根据三个互为120度、相同焦距的摄像装置拍摄的同一场景的不同画面构建场景的三维视图，通过已知参数构造出场景的三维视图，实施过程如下：

一、目标分割和角点检测：将视频流中的不同目标进行分割，分割后标注出每个目标的可视角点；

二、视频流同步：启动视频流的采集来同步不同视角摄像装置拍摄的二维场景；

Harris算法检测过程中，先使用差分算子与图像卷积(式(1))，计算图像在X和Y方向的梯度I_x、I_y。

$I_x=\frac{\∂I}{\∂x}=I\⊗(-\mathrm{1,0,1});$ $I_y=\frac{\∂I}{\∂y}=I\⊗{(-\mathrm{1,0,1})}^T---\left(1\right)$

为提高抗噪能力，对图像进行高斯平滑(式(2))，进而逐点计算出像素点的特征参数H(式(3))：

$G=\exp (-\frac{x^2+y^2}{{2\mathrm{\σ}}^2});$ $A=I_x^2\⊗G;$ $B=I_y^2\⊗G;$ $C=I_x{I}_y\⊗G;$

$M=\left[\begin{array}{cc}A& C\\ C& B\end{array}\right]---\left(2\right)$

H＝|M|-k·tr²(M)(3)

式(3)中，k为默认常数，可以根据具体需要认为调节。角点判断准则为：特征参数H在角的区域是正值，在边的区域是负值，在内部是很小的值，这样，通过对H值的判断就可以得到角点的集合。

在SUSAN(Small Uni-value Segment Assimilating Nucleus)算法部分，采用37点模板，即在7*7的窗口内选取一个八边形来近似USAN准则中的圆形，用于亮度比较。在核心点十字区域的点与之比较的结果使用的阈值相较于其它部分与核心点亮度的差值的阈值要稍小一点。初始响应函数为：

其中， $n\left({\stackrel{\→}{r}}_0\right)=\underset{\stackrel{\→}{r}}{\mathrm{\Σ}}c(\stackrel{\→}{r},{\stackrel{\→}{r}}_0),$ 是亮度比较结果，而

的上下限是在实施中得出的能有效过滤伪角点的阈值。而后进行窗口模板匹配，设同一时刻不同角度的两幅图像为pic1和pic2，以pic1的角点为中心，在pic2中选取15*15的邻域，(邻域的选取和两图相对位移的大小有关)，视该区域内的角点为可能匹配的角点，其它角点都不是能匹配的角点，采用绝对平均误差准则MAD(Mean of Absolute Difference)：

$\mathrm{MAD}=\frac{1}{\mathrm{mn}}\underset{i}{\overset{m}{\mathrm{\Σ}}}\underset{j}{\overset{n}{\mathrm{\Σ}}}|A(i,j)-B(i,j)|---\left(5\right)$

以此选取亮度最为接近的角点作为匹配对。设pic1的某角点P在pic2中的对应的角点有(P1，P2，P3，…，Pn)，逐一计算不同角点对的MAD，选取最小的MAD对应的角点为匹配角点，这样可能匹配出来的角点对还会是一个多对多的结果，与匹配之前相比只是角点对减少了。于是，再反向匹配一次，即由pic2向pic1匹配，得到的匹配对与上一次所得的匹配对取同或运算作为最后的结果。

三、构建三维视频流：根据同一时间点不同视角拍摄的视频帧中不同目标的角点计算出目标各角点在三维空间中的坐标，从而构建当前时间点所有目标的三维模型，将所有时间点的三维模型连续编码后形成三维视频流。

根据不同视角和焦距的视频图像源对运动目标进行空间定位，在认定运动目标为形不变的刚体的前提下，特征点匹配后进行三维空间建模。

由两幅图像上的匹配特征点m与m′的齐次坐标u与u′估计基本矩阵F，它们应满足u′^TFu＝0，由于基本矩阵具有7个自由度，故至少需要7对匹配特征点才能计算基本矩阵。通常采用7点或8点算法来估计基本矩阵。设匹配点的齐次坐标u＝(x，y，1)，u′＝(x′，y′，1)，基本矩阵为：

$F=\left[\begin{array}{ccc}{f}_{11}& f_{12}& f_{13}\\ f_{21}& f_{22}& f_{23}\\ f_{31}& f_{32}& f_{33}\end{array}\right]---\left(6\right)$

对n个匹配点，其线性约束方程为：

$\mathrm{Af}=\left[\begin{array}{ccccccccc}{x^{\′}}_1{x}_1& {x^{\′}}_1{y}_1& {x^{\′}}_1& {y^{\′}}_1{x}_1& {y^{\′}}_1{y}_1& {y^{\′}}_1& x_1& y_1& 1\\ \·& & & & & & & & \·\\ \·& & & & & & & & \·\\ \·& & & & & & & & \·\\ {x^{\′}}_n{x}_n& {x^{\′}}_n{y}_n& {x^{\′}}_n& {y^{\′}}_n{x}_n& {y^{\′}}_n{y}_n& {y^{\′}}_n& x_n& y_n& 1\end{array}\right]f=0,---\left(7\right)$

式中：f＝(f₁₁，f₁₂，f₁₃，f₂₁，f₂₂，f₂₃，f₃₁，f₃₂，f₃₃)。通常采用最小二乘法求向量f，即在||f||＝1条件下，通过对A进行奇异值分解，使范数||Af||最小来估计f。同时，基本矩阵应满足F行列式等于0的约束条件，因此需要对得到的基本矩阵估计值再次进行奇异值分解，将基本矩阵的秩置为2。采用基于RANSAC(Random Sampling Consensus)方法估计基本矩阵，并引入Sampson加权算子：

以Sampson距离：

$d=\frac{1}{n}\underset{i}{\overset{n}{\mathrm{\Σ}}}\frac{{x_i}^{\′T}{\mathrm{Fx}}_i}{{\left({\mathrm{Fx}}_i\right)}_1^2+{\left({\mathrm{Fx}}_i\right)}_2^2+{\left(F^T{x_i}^{\′}\right)}_1^2+{\left(F^T{x_i}^{\′}\right)}_2^2}---\left(9\right)$

划分局内点和局外点来提高算法的鲁棒性，而局外点数据就是误匹配的特征点对。RANSAC方法的基本思想是：在进行参数估计时，通过重复地对特征数据集取样来获得基本子集，利用基本子集估算基本矩阵。两幅图像由在不同观察点的摄像装置拍摄，设两个摄像装置的投影矩阵分别为P1和P2，投影矩阵P＝K(R t)，其中K为摄像装置内参矩阵，(R t)为摄像装置外参矩阵，R为3×3的旋转矩阵，t为3×1的平移矩阵。由基本矩阵可得本质矩阵E。在假设摄像装置内参K不变的情况下，基本矩阵与本质矩阵E的关系为：F＝K^-TEK^-1，得到本质矩阵后，对本质矩阵E进行奇异值分解，可得两个3阶的矩阵U，V及一个3阶的对角阵S，E＝USV^T，令

$W=\left[\begin{array}{ccc}0& -1& 0\\ 1& 0& 0\\ 0& 0& 1\end{array}\right]---\left(10\right)$

经推导可得旋转矩阵R＝UWV^T，平移矩阵t＝u₃，其中u₃是矩阵U的最后一列。在得到摄像装置内外参数K，R，T以及匹配点坐标后，可计算出每个匹配点所对应物体空间点的具体坐标X_i.对于投影矩阵P1，令P₁₁，P₁₂，P₁₃为对应P1的行向量，(u_i，v_i，1)^T对应P1图像上第i个匹配点的齐次坐标；对投影矩阵P2，令P₂₁，P₂₂，P₂₃为对应P2的行向量，点(u_i，v_i，1)^T对应图像点的像素坐标为(u′_i，v′_i，1)^T，则 $\left(\begin{array}{c}{P}_{13}{u}_i-P_{11}\\ P_{13}{v}_i-P_{12}\\ P_{23}{u^{\′}}_i-P_{21}\\ P_{23}{v^{\′}}_i-P_{22}\end{array}\right)X_i=0---\left(11\right)$

通过最小二乘法可求解出X_i的值。

集束调整是优化重建结果以提供“整体最优”的三维结构和摄像装置参数。这里“最优”指最终的参数估计可使某一代价函数取得最小值；“整体”则意味着无论对三维结构还是摄像装置参数，它的解都是最优的；“集束”是指所有离开三维特征点的光线束会汇集到每个摄像装置的中心.集束调整通过不断的优化数据提高估计值的精度.

四、生成任意视角的二维视频流：将三维视频流解码后得到不同时间点的目标三维模型，根据选择的视角和视距向观察平面投影生成二维视频流。例如在图1中，观众1选择自己的视距为比较靠近目标的位置，视角为目标黑色部分的正面，而观众N选择自己的视距为比较原理目标的位置，视角为目标白色部分的正面，因此他们两个看到的目标场景就不一样。需要说明的是，这里的观众选择视角和视距与实际观众的所处的物理位置无关。

根据观察者选择的视角方向和角点位置，将已有的三维视频的背景和运动目标分层投影到二维平面上生成二维视频。三维场景上的某点P(X_W，Y_W，Z_W)在已有视觉参数O_XYZ平面，焦距f和视角W的基础上映射到视觉二维平面O_UV上得到P(u，v)，如图2a所示。

由于观看者可以选择不同的焦距和视角，就会要求显示同一视角的不同范围的视野，归结起来就是对同一映射平面的缩放，两个不同的映射O_UV和O′_UV对应相同的视角W，对应不同的焦距f和f′，平面三维场景上的某点P(X_W，Y_W，Z_W)映射得到P(u，v)和P′(u，v)，如图2b所示。

在将图像分层处理后，就可以实现映射时对场景中相互重叠的目标进行穿透式显示，如图3a图像分层显示示意图和图3b图像穿透式显示示意图所示。在图像分层后，穿透式显示可以舍去不需要的运动目标层，只显示感兴趣的其他部分。这就要求将三维视图分成背景和不同层次的运动目标才能有选择地显示，根据视点在Z轴上的深度有选择性地舍弃一部分运动目标的显示。例如在图3a中，观察者选择的视距离背景较远，因此可以看到静态背景上的2个动态对象和2个静止对象，在图3b中，观察者选择的视距离背景较近，视距处于两个动态目标之间，因此只能看到静态背景上的1个动态对象和2个静止对象。

本发明提供了一种自由视角立体视频显示方法的思路及方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (5)

1.一种自由视角立体视频显示方法，其特征在于，包括以下步骤：

步骤(1)，目标分割和角点检测：将视频流中的不同目标进行分割，分割后标注出每个目标的可视角点；

步骤(2)，视频流同步：启动视频流的采集来同步不同视角摄像装置拍摄的二维场景；

步骤(3)，构建三维视频流：根据同一时间点不同视角拍摄的视频帧中不同目标的角点计算出目标各角点在三维空间中的坐标，从而构建当前时间点所有目标的三维模型，将所有时间点的三维模型连续编码后形成三维视频流；

步骤(4)，生成任意视角的二维视频流：将三维视频流解码后得到不同时间点的目标三维模型，根据观察者自主选择的视角和视距向观察平面投影生成二维视频流。

2.根据权利要求1所述的一种自由视角立体视频显示方法，其特征在于，步骤(1)包括以下步骤：

用Harris算法对角点进行第一次估计；

将估计出的角点用SUSAN算法进行进一步的筛选，得出最终的角点。

3.根据权利要求2所述的一种自由视角立体视频显示方法，其特征在于，步骤(2)通过外部硬件触发器将开始采集视频的同步信号发送到各摄像装置，实现采集的视频帧完全同步。

4.根据权利要求3所述的一种自由视角立体视频显示方法，其特征在于，步骤(3)包括以下步骤：

对检测出来的角点用窗口模板匹配方法进行匹配；

用上步中得出的匹配点计算同一时间不同角度拍摄的两幅图的基础矩阵；

得出射影矩阵以及摄像装置内部参数矩阵和外部参数矩阵；

构建出当时的世界坐标系；

对两幅图像重建结果进行集束调整。

5.根据权利要求3所述的一种自由视角立体视频显示方法，其特征在于，在获得分布位置信息和坐标值的基础上，利用OpenGL所提供的API函数将各点拟合成面。

Images