CN102014293B - 平面视频的立体渲染方法 - Google Patents

Abstract

本发明提出一种平面视频的立体渲染方法，包括以下步骤：接收平面视频、所述平面视频对应的深度图以及用户输入的渲染参数；判断所述平面视频的色彩格式；根据所述平面视频的色彩格式、所述渲染参数和所述深度图对所述平面视频进行渲染以获得第一虚拟视图和第二虚拟视图；以及将所述第一虚拟视图和所述第二虚拟视图合成为一幅立体视图输出。本发明通过结合平面视频的深度图进行立体视频的渲染，在计算左右眼的虚拟视图的过程中能够计算出所有的像素值，不需要进行反复的空洞填充和错误检查操作，提高视频渲染的速度，从而能够满足实时播放的需求。而且，本发明的平面视频立体渲染的方法能够处理所有色彩格式的视频，兼容性强。

Description

平面视频的立体渲染方法

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种平面视频的立体渲染方法。

背景技术

随着3D立体技术的不断发展以及立体电视、立体电影等产品的普及，大众对于立体视频的需要越来越多。然而，受到现有技术条件的限制，短期内制作出大量高质量的立体视频并不现实。因此，需要一种方法将现有的2D平面视频转化为3D立体视频。

目前，用户通常通过佩戴特殊的眼镜观看立体视频，例如，时分式眼镜、互补色式眼镜、偏振光眼镜等。通过这种方法观看时，首先需要将原始视频渲染为左右两眼的虚拟视图，然后进行合成，才能够播放。其中，对原始视频的渲染需要得到原始视频的深度图，再根据深度图中物体的前后关系进行立体视频的渲染。

现有的将平面视频转化为立体视频显示的方法存在的问题是，在产生左右两眼的虚拟视图过程中，需要进行空洞填充和错误检查，视频渲染的速度较慢，对于分辨率较高的视频，无法实现实时的渲染与播放，此外，现有的立体渲染方法无法同时支持多种颜色格式的视频信号，兼容性不够。

发明内容

本发明的目的旨在至少解决上述技术缺陷之一，特别是提出一种能够对多种颜色格式的视频进行实时立体渲染的方法。

为达到上述目的，本发明提出一种平面视频的立体渲染方法，包括以下步骤：接收平面视频、所述平面视频对应的深度图以及用户输入的渲染参数；判断所述平面视频的色彩格式；根据所述平面视频的色彩格式、所述渲染参数和所述深度图对所述平面视频进行渲染以获得第一虚拟视图和第二虚拟视图，其中，对所述平面视频进行渲染步骤具体包括：根据所述平面视频的深度图和所述用户输入的渲染参数，计算像素点的第一偏移距离和第二偏移距离，然后分别根据所述第一偏移距离和第二偏移距离进行第一像素偏移和第二像素偏移，并对相邻像素点偏移时跨越的中间像素点进行插值填充，获得所述第一虚拟视图和所述第二虚拟视图；以及将所述第一虚拟视图和所述第二虚拟视图合成为一幅立体视图输出。

在本发明的一个实施例中，通过以下的公式计算相邻像素点偏移时跨越的中间像素点的像素值，

$Z_i=\frac{i}{C}(Z_b-Z_a),$

其中，Z_i是某个中间像素点的像素值，Z_a是所述相邻像素点中的一个的像素值，Z_b是所述相邻像素点中的另一个的像素值，C是所述相邻像素点跨越的像素点的个数，i表示当前计算的中间像素点为自所述像素值为Z_a的像素点起的第几个像素点。

根据本发明的一个实施例，当所述平面视频的色彩格式为RGB或者RGBA或者YUV444时，用所述平面视频的像素点的亮度分量和色差分量填充所述第一虚拟视图或第二虚拟视图中的像素点的亮度分量和色差分量。

根据本发明的一个实施例，当所述平面视频的色彩格式为YUV422时，用所述平面视频的像素点的亮度分量填充所述第一虚拟视图或第二虚拟视图中的像素点的亮度分量，并通过以下的方法填充所述第一虚拟视图或第二虚拟视图中的像素点的色差分量：

当所述第一虚拟视图或第二虚拟视图中的像素点的位置的列数与所述立体视频中的像素点的位置的列数的奇偶一致时，直接用所述平面视频的像素点的色差分量填充所述第一虚拟视图或第二虚拟视图中的像素点的色差分量；

当所述第一虚拟视图或第二虚拟视图中的像素点的位置的列数与所述立体视频中的像素点的位置的列数的奇偶不一致时，且所述立体视频中像素点的位置的列数为奇数时，使用所述立体视频中的后一像素点的色差分量填充所述第一虚拟视图或所述第二虚拟视图中的像素点的色差分量；

当所述第一虚拟视图或第二虚拟视图中的像素点的位置的列数与所述立体视频中的像素点的位置的列数的奇偶不一致时，且所述立体视频中像素点的位置的列数为偶数时，使用所述立体视频中的前一像素的色差分量填充所述第一虚拟视图或所述第二虚拟视图中的像素点的色差分量。

根据本发明的一个实施例，当所述平面视频的色彩格式为YUV420时，所述根据所述平面视频的深度图和所述用户输入的渲染参数，计算像素点的第一偏移距离和第二偏移距离，进一步包括：根据所述平面视频的深度图，计算以每两行共用一对色差分量的四个像素为一个单位像素块的深度值，获得所述平面视频的更新深度图；根据所述更新深度图计算所述像素块的第一偏移距离和第二偏移距离。

本发明通过结合平面视频的深度图进行立体视频的渲染，在计算左右眼的虚拟视图的过程中能够计算出所有的像素值，不需要进行反复的空洞填充和错误检查操作，提高视频渲染的速度，从而能够满足实时播放的需求。而且，本发明的平面视频立体渲染的方法能够处理所有色彩格式的视频，兼容性强。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的平面视频的立体渲染方法的流程图；

图2为立体视频渲染的几何平面图；以及

图3为立体视频渲染时相邻像素点偏移的示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

如图1所示为本发明实施例的平面视频的立体渲染方法的流程图，该方法包括以下步骤：

步骤S101，接收平面视频、平面视频对应的深度图以及用户输入的渲染参数。

平面视频可以是多种视频格式，如mp4、wmv、avi等。同时，平面视频也可以是多种色彩格式，如RGB、RGBA、YUV444、YUV422和YUV420等。应理解，这仅为示意性的实施例，并不用于限制本发明，除此之外，本发明的立体渲染方法还可以用于其它类似的视频格式和色彩格式。

用户输入的渲染参数包括视差范围和零平面位置等。用户可以在视频渲染前预定义这些参数，也可以使用系统的默认参数，当然，在视频播放过程中，也可以实时动态地调整这些参数。

此外，在本发明的一个实施中，在接收到平面视频之后，还对平面视频进行像素填补以使其视频尺寸成为4的整数倍，从而便于后续的并行计算。

步骤S102，判断平面视频的色彩格式。

不同色彩格式的空间信号分量的排列方式不同，因此对它们的渲染过程也有所不同。所以，在进行渲染之前，先判断视频的色彩格式，以方便在后续的渲染过程中选择正确的渲染策略。

步骤S103，根据平面视频的色彩格式、渲染参数和深度图对平面视频进行渲染以获得左右眼的虚拟视图。

首先，结合平面视频的深度图，以行为单位进行像素偏移预测，计算左视图的偏移距离和右视图的偏移距离。如图2所示为立体视频渲染的几何平面图，原视频中空间物体P在像平面(屏幕)上的投影是S。根据图2可获得左视图的像素偏移距离和右视图的像素偏移距离：

$S_L=\mathrm{\α}\frac{f}{Z-f}{T}_1+\mathrm{\β}$

$S_R=\mathrm{\α}\frac{f}{Z-f}{T}_2-\mathrm{\β}$

其中，S_L是左视图的像素偏移距离，S_R是右视图的像素偏移距离，Z是像素点P对应的深度值，T是双眼基线距离，f表示人眼到屏幕的距离，α是用户输入的视差范围参数，β是用户输入的零平面位置参数。

分别根据左视图的像素偏移距离和右视图的像素偏移距离进行像素偏移，例如，假设原视图中的一个像素要从n偏移到n+m的位置，那么在虚拟视图的n+m位置写入原视图n位置的像素值；并对跨越的中间像素进行插值填充，获得左虚拟视图和右虚拟视图。如图3所示为相邻像素点a和像素点b偏移的示意图，像素a和像素b偏移后中间产生跨越像素(即，需要填充的中间像素)，所述需要填充的中间像素点的像素值的计算公式为：

$Z_i=\frac{i}{C}(Z_b-Z_a)$

其中，Z_i是某个中间像素点的像素值，Z_a是像素点a的像素值，Z_b是像素点b的像素值，C是跨越的像素个数，i表示当前要计算的像素点为自像素点a起的第几个像素点。

当平面视频为RGB、RGBA或YUV444等像素点与彩色分量一一对应格式的视频时，像素的亮度分量Y与色差分量U和V的偏移距离相同，因此只需要进行一次偏移距离，对三个分量统一进行像素复制即可。

当平面视频为YUV422等两个像素共用彩色分量的彩色格式视频时，像素的亮度分量Y与像素的位置是一一对应的关系，而对于色差分量U和V则需要特殊处理，具体分为以下几种情况：

(1)当预测得到的虚拟视图中的像素点的位置的列数与原视图中的像素点的位置的列数的奇偶一致时，可以实现U、V分量的一一对应，直接进行像素复制即可；

(2)当预测得到的虚拟视图中的像素点的位置的列数与原视图中的像素点的位置的列数的奇偶不一致时，且原视图中像素点的位置的列数为奇数时，使用原像素的后一像素的色差分量U和V填充虚拟视图中的色差分量U和V；

(3)当预测得到的虚拟视图中的像素点的位置的列数与原视图中的像素点的位置的列数的奇偶不一致时，且原视图中像素点的位置的列数为偶数时，使用原像素的前一像素的色差分量U和V填充虚拟视图中的色差分量U和V。

当平面视频为YUV420等四个像素共用彩色分量的彩色格式视频时，结合平面视频的深度图，以每两行共用一对色差分量U和V的四个像素为一个单位，相当于在一个半分辨率的图像中进行像素偏移预测。应理解的是，由于采用了像素共用的策略，深度图中的像素不是都有用，而且使用共用一对色差分量U和V的四个像素中的任何一个也都不合适，因此可以对深度图进行处理得到一张新的深度图，例如，对深度图中每个2×2的块计算均值，然后，结合新的深度图进行整体的像素偏移预测，将2×2的像素块对应到虚拟视图中的偏移位置，完成立体视图的渲染。

在本发明的一个实施例中，在对平面视频进行渲染得到左右眼的虚拟视图后，左右视图的边缘可能会存在一些空洞像素，此时需要对左右虚拟视图进行左右边缘像素的填充或切割等边缘修复处理，避免因视差过大、视频时域噪声等因素导致视频播放过程中出现抖动现象，影响观赏质量，尤其针对有文字等敏感区域的图像，影响更加明显，对此可采用一些减小抖动的方法进行视频处理、或者动态地调整视差参数，以达到最佳的观赏效果。

步骤S104，将左右眼的虚拟视图合成为一幅立体视图输出。

根据用户的显示设备和观看立体视图时佩戴的立体眼镜类型，将左右眼的虚拟视图合成为一幅立体视图输出显示。当用户使用的是互补色式眼镜时，分别将左右眼的虚拟视图渲染为所佩戴的互补色式眼镜的左右镜片的颜色，然后进行合成；当用户使用的是偏振光眼镜或者时分式眼镜时，就不需要进行视图合成，只需要将两幅视图拼接即可。

本发明通过结合平面视频的深度图进行立体视频的渲染，在计算左右眼的虚拟视图的过程中能够计算出所有的像素值，不需要进行反复的空洞填充和错误检查操作，提高视频渲染的速度，从而能够满足实时播放的需求。而且，本发明的平面视频立体渲染的方法能够处理所有色彩格式的视频，兼容性强。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。

Claims (7)

1.一种平面视频的立体渲染方法，其特征在于，包括以下步骤：

接收平面视频、所述平面视频对应的深度图以及用户输入的渲染参数；

判断所述平面视频的色彩格式；

根据所述平面视频的色彩格式、所述渲染参数和所述深度图对所述平面视频进行渲染以获得第一虚拟视图和第二虚拟视图，其中，所述对所述平面视频进行渲染，进一步包括：根据所述平面视频的深度图和所述用户输入的渲染参数，计算像素点的第一偏移距离和第二偏移距离，然后分别根据所述第一偏移距离和第二偏移距离进行第一像素偏移和第二像素偏移，并对相邻像素点偏移时跨越的中间像素点进行插值填充，获得所述第一虚拟视图和所述第二虚拟视图；其中，

当所述平面视频的色彩格式为RGB或者RGBA或者YUV444时，所述分别根据所述第一偏移距离和第二偏移距离进行第一像素偏移和第二像素偏移，进一步包括：用所述平面视频的像素点的亮度分量和色差分量填充所述第一虚拟视图或第二虚拟视图中的像素点的亮度分量和色差分量；

当所述平面视频的色彩格式为YUV422时，所述分别根据所述第一偏移距离和第二偏移距离进行第一像素偏移和第二像素偏移，进一步包括：用所述平面视频的像素点的亮度分量填充所述第一虚拟视图或第二虚拟视图中的像素点的亮度分量；以及通过以下的方法填充所述第一虚拟视图或第二虚拟视图中的像素点的色差分量，

当所述第一虚拟视图或第二虚拟视图中的像素点的位置的列数与所述立体视频中的像素点的位置的列数的奇偶一致时，直接用所述平面视频的像素点的色差分量填充所述第一虚拟视图或第二虚拟视图中的像素点的色差分量；或者

当所述第一虚拟视图或第二虚拟视图中的像素点的位置的列数与所述立体视频中的像素点的位置的列数的奇偶不一致时，且所述立体视频中像素点的位置的列数为奇数时，使用所述立体视频中的后一像素点的色差分量填充所述第一虚拟视图或所述第二虚拟视图中的像素点的色差分量；或者

当所述第一虚拟视图或第二虚拟视图中的像素点的位置的列数与所述立体视频中的像素点的位置的列数的奇偶不一致时，且所述立体视频中像素点的位置的列数为偶数时，使用所述立体视频中的前一像素的色差分量填充所述第一虚拟视图或所述第二虚拟视图中的像素点的色差分量；

当所述平面视频的色彩格式为YUV420时，所述根据所述平面视频的深度图和所述用户输入的渲染参数，计算像素点的第一偏移距离和第二偏移距离，进一步包括：根据所述平面视频的深度图，计算以每两行共用一对色差分量的四个像素为一个单位像素块的深度值，获得所述平面视频的更新深度图；然后根据所述更新深度图计算所述像素块的第一偏移距离和第二偏移距离；以及

将所述第一虚拟视图和所述第二虚拟视图合成为一幅立体视图输出。

2.根据权利要求1所述的平面视频的立体渲染方法，其特征在于，在对所述平面视频数据进行渲染后，还包括：

对所述第一虚拟视图和所述第二虚拟视图进行边缘修复。

3.根据权利要求1所述的平面视频的立体渲染方法，其特征在于，所述用户输入的渲染参数包括：视差范围和零平面位置。

4.根据权利要求1所述的平面视频的立体渲染方法，其特征在于，所述对相邻像素点偏移时跨越的中间像素点进行插值填充，进一步包括：

通过以下的公式计算相邻像素点偏移时跨越的中间像素点的像素值，

$Z_i=\frac{i}{C}(Z_b-Z_a)$

其中，Z_i是某个中间像素点的像素值，Z_a是所述相邻像素点中的一个的像素值，Z_b是所述相邻像素点中的另一个的像素值，C是所述相邻像素点跨越的像素点的个数，i表示当前计算的中间像素点为自所述像素值为Z_a的像素点起的第几个像素点。

5.根据权利要求1所述的平面视频的立体渲染方法，其特征在于，所述将所述第一虚拟视图和所述第二虚拟视图合成为一幅立体视图输出，进一步包括：

将所述第一虚拟视图和所述第二虚拟视图分别渲染为观看立体视图的用户所使用的眼镜的颜色后进行合成；或者

直接将所述第一虚拟视图和所述第二虚拟视图拼接在一起形成所述立体视图。

6.根据权利要求1所述的平面视频的立体渲染方法，其特征在于，在所述接收平面视频之后，还包括：

对所述平面视频进行像素填补以使得所述平面视频的尺寸为4的整数倍。

7.根据权利要求2所述的平面视频的立体渲染方法，其特征在于，所述对所述第一虚拟视图和所述第二虚拟视图进行边缘修复，进一步包括：

对所述第一虚拟视图和所述第二虚拟视图进行边缘像素的填充和/或边缘切割。

Images