CN112470189B - 光场系统的遮挡消除 - Google Patents

Abstract

一种用于消除光场相机系统所拍摄的图像和视频中的遮挡物的图像处理方法。该方法包括：以多个相机拍摄多个相机视角；以多个深度传感器拍摄多幅深度图；生成每一相机视角的深度图；计算与虚拟相机对应的焦平面上的目标视角；根据所述深度图和虚拟距离，设置各相机视角下像素的权重函数；以及根据所述权重函数混合像素，以生成重新聚焦后的目标视角。

Description

光场系统的遮挡消除

相关申请的交叉引用

本申请基于申请号为PCT/CN2018/083350，申请日为2018年4月17日的PCT国际申请并要求其优先权，该申请的全部内容通过引用合并于此。

技术领域

本发明涉及图像处理，尤其涉及用于消除遮挡的光场图像处理。

背景技术

在过去数十年中，随着巨量的相机用于公共场所的安防监控，智能视频监控系统的重要性变得越来越高。由于所采集的海量信息在现实中无法直接人工处理，因此迫切需求能够对所采集的视频信息进行可靠自动处理的技术。人脸识别为其中一种能够用于处理此类信息的先进技术，该技术可用于识别人群中的个别人脸，并实时预防犯罪的发生。然而，人脸识别的准确性还存在问题，人群遮挡便是影响其准确性的其中一个问题。

例如，在安防监控领域中，透过遮挡物看到目标对象的能力有时至关重要。然而，单使用重新聚焦技术时，常常无法尽可能地将遮挡对象消除和模糊化，无法达到识别和/或辨认被遮挡对象所需的十足效果。然而，在某些情况下，这一点却决定着是否能够成功地识别出嫌疑恐怖分子或高危险性罪犯。

因此，光场图像渲染领域需要一种能够产生更为有效的透视效果的改进方法和系统。

发明内容

为了解决现有技术中的问题，本发明实施方式提供一种用于消除光场相机系统所拍摄的图像和视频中的遮挡物的光场图像处理方法。

根据本发明一种实施方式，提供一种图像处理方法，包括：以多个相机拍摄多个相机视角；生成每一相机视角的深度图；计算与虚拟相机对应的焦平面上的目标视角；将目标视角下的像素投影至所述多个相机视角，以获得多个投影像素；如果第一相机视角下的投影像素深度值小于目标视角下该投影像素与相应相机之间的虚拟距离，将该投影像素的权重值设为0，否则将权重值设为1；以及根据各权重值，将投影像素混合，以生成重新聚焦后的目标视角。

优选地，所述目标视角下的像素含有颜色值或灰度值，投影像素的混合包括：通过将所述多个相机视角下的投影像素的颜色值或灰度值加权平均而计算所述目标视角下像素的颜色值或灰度值。

优选地，该方法还包括：以多个深度传感器，拍摄多幅深度图。

优选地，生成相机视角的深度图包括：根据深度传感器和相机的内参矩阵和外参矩阵，对深度传感器拍摄的深度图进行变形。

根据本发明一种实施方式，根据变形算法对深度传感器生成的深度图进行变形包括：将深度传感器生成的深度图进行正向变形，以获得过渡深度图；填补过渡深度图的空洞；以及对过渡深度图进行逆向变形，以获得相机视角的深度图。

根据本发明一种实施方式，所述多个相机用于拍摄多个视频，而且与所述虚拟相机对应的重新聚焦后的目标视频被实时生成。

优选地，所述多个视频每秒钟含30帧。

附图说明

为了更好地说明本发明实施方式的技术特征，以下将结合附图，简要描述本发明的各种实施方式。

图1为根据本发明一种实施方式具有深度传感器的光场相机系统的例示示意图。

图2为对根据本发明另一实施方式的相机系统进行校准的例示示意图。

图3为根据本发明又一实施方式的重新聚焦算法的几何指标例示示意图。

图4为根据本发明又一实施方式的遮挡消除算法和两种现有技术的例示示意图。

具体实施方式

根据本发明实施方式，通过引入具有宽基线的光场相机阵列系统，实时消除遮挡。图1为根据本发明一种实施方式具有深度传感器的光场相机系统的例示示意图。如图1所示，该系统包含若干彩色图像传感器和深度传感器。所有这些传感器均具有同步机制。各种深度传感器，如Kinect和Realsense传感器，均能生成深度信息。作为替代方案，也可由光场彩色图像系统通过实施立体匹配生成三维信息。深度信息用于遮挡物的检测以及被遮区域的修复。此外，还在焦平面上生成三维点云。

与传统针孔相机系统相比，多角度光场照片能够提供额外信息以修复被遮区域。光场相机系统通过填补照片中不可见的区域，使得人们能够“绕过”遮挡物看到被遮挡的景象。借助实时光场渲染，本系统能够为人脸识别分析提供可靠的无遮挡素材。该遮挡消除机制见以下各个步骤。

1.相机系统校准

首先，需要对相机系统进行校准。其中，相机的校准采用传统校准方法，以获得其内参矩阵和外参矩阵。图2为对根据本发明另一实施方式的相机系统进行校准的例示示意图。

如图2所示，在步骤201中，在相机系统前方随机移动棋盘图案。在步骤202中，系统拍摄样本图像。在步骤203中，估算每个相机的内部参数和失真参数。在步骤204中，估算每一相机与棋盘之间的相对姿态。在步骤205中，对每一相机的绝对姿态进行初始化。最后，在步骤206中，对所有参数进行全局优化，以最大程度地减小重投影误差。

2.深度图和彩色图像的拍摄

系统校准之后，启动针对每一所拍帧的处理流程。所有彩色图像和深度图均同步拍摄，以确保不同传感器的所有图像均同时拍摄。

3.深度投影

随后，制作每一视角的深度图，以生成所有彩色图像的深度图。

每一视角的深度图可通过根据RGB相机与深度传感器之间的相应转换关系对深度传感器的深度图进行变形处理的方式获得。该算法由以下三个主要部分组成：正向变形；逆向变形；以及空洞填补。

针对每一深度传感器，均进行深度投影。以下，将对单个深度传感器的变形算法进行说明。设该深度传感器获得的深度图为d(x，y)，第i个视角的期望深度图为d_i(x_i，y_i)，深度传感器和第i个RGB相机的内参矩阵分别为K_k和K_i，内参矩阵分别为C_k和C_i，则可得到如下关系：

通过消除T_i的第三列和第三行，可得到正向变形方程：

该方程可转换为：

和

对于上述方程，本发明提出如下变形算法：

a.根据方程(4)，对深度图d进行正向变形，以获得过渡深度图；

b.填补过渡深度图的空洞；以及

c.根据方程(3)，对过渡深度图进行逆向变形，以获得d_i(所需视角的深度图)。

图3为根据本发明又一实施方式的重新聚焦算法的几何指标例示示意图。

4.消除遮挡

图4为根据本发明又一实施方式的遮挡消除算法和两种现有技术的例示示意图。

图4所示方法用于针对虚拟相机的每一像素消除遮挡。

4.1计算焦平面上的三维点

与传统光场重新聚焦算法类似，本发明同样具有表示估算出的场景几何形状的焦平面。焦平面位于虚拟相机的坐标系内，并距虚拟相机一定距离。

4.1.1获得三维坐标

对于目标视角的每一像素，均假设一个平面代替物，并通过光线跟踪技术计算其三维坐标。焦平面垂直于目标相机的视角方向，两者之间的距离为z。对于目标视角内的像素p_v＝[u，v]^T，其三维坐标P_v＝[x_v，y_v，z_v]^T计算为：

其中，K_v为目标相机的内参。

4.2将三维点投影至视角

4.2.1将P投影至C_i并获得p_i

随后，将三维点P_v投影至所有拍摄视角，以生成供后续像素混合处理使用的所有候选物。设第i个视角的相应三维坐标和二维像素坐标为P_i＝[x_i，y_i，z_i]^T和p_i＝[u_i，v_i]^T，则

其中，π(·)为将三维齐次坐标变形至二维像素坐标的归一化运算符。

4.2.2计算虚拟距离d′_i

通过提取P_i的z坐标，获得三维点与第i个相机之间的z向深度d′_i：

d′_i＝z_i (8)

4.2.3获得深度值d_i

与此同时，获取变形后的深度值d_i(u_i，v_i)以及颜色c_i(u_i，v_i)(此方面可参考第3节内容)。

4.3遮挡检测

将两个深度值相比较：如果d_i(u_i，v_i)＜d′_i，则可以确定目标视角中的目标对象在第i个视角下被遮挡，因此通过将权重值m_i设为0而舍弃第i个视角的像素颜色；否则，通过将m_i设为1而接受像素颜色。

4.4被遮区域的修复

在最终的像素混合处理中，计算p_v的像素颜色：

通过这种像素选择方案，可以确保重新聚焦后的目标图像能够避免任何障碍物出现于焦平面前方。

处理完一帧后，重复上述步骤，以获得消除遮挡后的各帧(视频)。

Claims (3)

1.一种图像处理方法，其特征在于，包括：

以多个相机拍摄多个相机视角；

生成每个所述相机视角的深度图；

计算与虚拟相机对应的焦平面上的目标视角；

将所述目标视角下的像素投影至所述多个相机视角，以获得多个投影像素；所述目标视角下的像素含有颜色值或灰度值；将所述投影像素混合包括：通过将多个所述相机视角下的所述投影像素的所述颜色值或所述灰度值加权平均来计算所述目标视角下的所述像素的颜色值或灰度值；

如果第一个所述相机视角下的所述投影像素的深度值小于所述目标视角下该像素与相应相机之间的虚拟距离，将权重值设为0，否则将权重值设为1；以及根据各权重值，将所述投影像素混合，以生成重新聚焦后的目标视角；还包括：

以多个深度传感器拍摄多幅深度图，生成所述相机视角的深度图包括：根据所述深度传感器和所述相机的内参矩阵和外参矩阵，对所述深度传感器拍摄的深度图进行变形；

根据变形算法对所述深度传感器生成的所述深度图进行变形包括：

将所述深度传感器生成的所述深度图进行正向变形，以获得过渡深度图；填补所述过渡深度图中的空洞；以及对所述过渡深度图进行逆向变形，以获得所述相机视角的所述深度图；

还包括根据下式对所述深度图进行正向变形，以获得所述过渡深度图：

其中，为所述过渡深度图，/>为所述深度传感器生成的所述深度图。

2.如权利要求1所述的方法，其特征在于，还包括：通过消除T_i的第三行而获得H_i，其中，T_i＝K_iC_i(K_kC_k)^-1，K_k和K_i为所述深度传感器和所述相机的所述内参矩阵，C_k和C_i为所述深度传感器和所述相机的所述外参矩阵。

3.如权利要求1所述的方法，其特征在于，还包括根据下式对所述过渡深度图进行逆向变形，以获得所述相机视角的所述深度图：

其中，为所述过渡深度图，/>为所述相机视角的所述深度图。