CN103081476B

CN103081476B - 利用深度图信息转换三维图像的方法和设备

Info

Publication number: CN103081476B
Application number: CN201180028234.1A
Authority: CN
Inventors: 禹大植; 全柄玑; 金娥烂; 李洪雨; 河钟浩; 朴智薰; 郑元晳
Original assignee: SK Telecom Co Ltd
Current assignee: SK Telecom Co Ltd
Priority date: 2010-06-08
Filing date: 2011-04-07
Publication date: 2016-08-10
Anticipated expiration: 2031-04-07
Also published as: JP2013534742A; WO2011155697A3; EP2582143A4; US20130069942A1; CN103081476A; KR20110134142A; WO2011155697A2; EP2582143A2; KR101385514B1

Abstract

本发明的一个实施方式涉及用于利用深度图信息转换三维图像的方法和设备。本发明的一个实施方式中提供的用于利用深度图信息转换三维图像的设备包括：深度图估计单元，其针对输入图像数据的各个帧中存在的各个像素估计所述深度图信息；深度图应用单元，其将各个像素朝X轴移动由所估计的深度图信息指示的值；三维图像插值单元，当由于所述移动导致所述帧内的像素成为空白时，该三维图像插值单元通过向所述空白像素的邻近像素应用权重值来在所述空白像素内形成插值像素；以及三维图像渲染处理单元，其渲染应用有所述插值像素的左眼图像和右眼图像。当转换邻近像素之间的深度图信息具有大的变化的2D图像时，本发明的一个实施方式能够在保持诸如字幕的对应文字的对象的原始形状的同时便于实现三维效果。

Description

利用深度图信息转换三维图像的方法和设备

技术领域

本发明的实施方式涉及用于利用深度图信息转换三维（3D）图像的方法和设备。更具体地，本发明涉及用于利用深度图信息转换3D图像的方法和设备，该方法和设备可通过插值空白像素信息来渲染与由立体相机拍摄的3D图像类似的2D图像，以改进当通过利用与输入2D图像内容相关的深度图信息转换对应内容来创建3D图像内容时出现的遮蔽（occlusion）。

背景技术

随着数字技术的快速发展并且随着由于广播和通信的聚合导致的广播媒体的多样化，最近出现了与广播相关的增值业务。目前，尽管诸如TV广播的视频业务的开发致力于高清晰和大屏幕技术，但迄今为止仅提供2D图像内容，因此观看者无法从当前的2D图像内容感知3D效果。

因此，对3D图像的需求逐渐增加，但迄今为止明显缺乏3D图像内容。3D图像处理是下一代信息技术业务领域中的关键技术，并且随着信息工业社会的发展还是一种具有增加的竞争力的最先进的技术。3D图像处理技术是提供高质量视频业务的基本要素，并且被应用于诸如广播、医疗、教育、军事、游戏和虚拟现实的多个领域以及信息技术领域。

因此，需要一种通过转换2D图像内容来提供3D图像内容的技术。然而，当通过当前的技术将2D图像内容转换成3D图像内容时，画面上的对象与背景图像不协调，这在长时间观看期间增加了观看者眼睛的疲劳并且无法使观看者感知改进的3D效果。

发明内容

技术问题

因此，本发明致力于解决上述问题，并且本发明的实施方式的目的在于提供一种用于利用深度图信息来转换3D图像的方法和设备，这提供了用于渲染与由立体相机拍摄的3D图像类似的2D图像的遮蔽技术。

技术方案

实现上述目的的本发明的实施方式提供了一种用于利用深度图信息转换三维（3D）图像的设备，该设备包括：深度图估计单元，其针对输入图像数据的各个帧中存在的各个像素估计所述深度图信息；深度图应用单元，其将各个像素在X轴方向上移动所述深度图信息；3D图像插值单元，当由于所述移动导致在所述帧中出现空白像素时，所述3D图像插值单元通过向所述空白像素的邻近像素应用权重来在所述空白像素中形成插值像素；以及3D图像渲染处理单元，其渲染应用了所述插值像素的左眼图像和右眼图像。

根据本发明的另一方面，提供了一种用于利用深度图信息转换3D图像的设备，该设备包括：深度图估计单元，其针对输入图像数据的各个帧中存在的各个像素估计所述深度图信息；深度图应用单元，其将各个像素在X轴方向上移动所述深度图信息；以及3D图像渲染处理单元，其基于所述移动来渲染左眼图像和右眼图像。

根据本发明的另一方面，提供了一种用于利用深度图信息转换3D图像的方法，该方法包括以下步骤：深度图估计步骤，针对输入图像数据的各个帧中存在的各个像素估计所述深度图信息；深度图应用步骤，将各个像素在X轴方向上移动所述深度图信息；3D图像插值步骤，当由于所述移动导致在所述帧中出现空白像素时，通过向所述空白像素的邻近像素应用权重来在所述空白像素中形成插值像素；以及3D图像渲染处理步骤，渲染应用了所述插值像素的左眼图像和右眼图像。

根据本发明的另一方面，提供了一种用于利用深度图信息转换3D图像的方法，该方法包括以下步骤：深度图估计步骤，针对输入图像数据的各个帧中存在的各个像素估计所述深度图信息；深度图应用步骤，将各个像素在X轴方向上移动所述深度图信息；以及3D图像渲染处理步骤，基于所述移动来渲染左眼图像和右眼图像。

有益效果

如上所述，根据本发明的实施方式，能够通过对当利用与输入2D图像内容相关的深度图信息转换对应的内容以创建3D图像内容时出现的空白像素进行插值来渲染与由立体相机拍摄的3D图像类似的2D图像。

此外，根据本发明的实施方式，在将邻近像素之间的深度图信息显著变化（诸如字幕）的2D图像转换成3D图像时，能够在保存诸如字幕的文字的对象的原始形式的同时创建3D效果。

附图说明

图1是示意性示出根据本发明的实施方式的用于转换3D图像的设备的框图。

图2是示出根据本发明的实施方式的利用深度图信息转换3D图像的方法的流程图。

图3是示出根据本发明的实施方式的基于深度图信息生成左眼图像和右眼图像的说明性示图。

图4是示出根据本发明的实施方式的空白像素和空白像素组的说明性示图。

图5是示出根据本发明的实施方式的左眼图像和右眼图像的生成方向的说明性示图。

图6是示出根据本发明的实施方式将2D图像转换成右眼图像时图像的位置改变的说明性示图。

图7是示出根据本发明的实施方式将2D图像的对象转换成左眼图像和右眼图像的说明性示图。

图8是示出根据本发明的实施方式将2D图像中的文字转换成左眼图像和右眼图像的说明性示图。

具体实施方式

下文中，将参照附图描述本发明的示例性实施方式。在以下描述中，尽管元件在不同的附图中示出，但相同的元件用相同的标号来表示。此外，在本发明的以下描述中，当对合并于此的已知功能和结构的详细描述可能使得本发明的主题不清晰时，将省略该详细描述。

另外，当描述本发明的部件时，这里可能使用诸如第一、第二、A、B、（a）、（b）等术语。这些术语中的每一个不用于限定对应部件的本质、顺序或次序，而仅用于将对应的部件与其它部件区分开。应该注意，如果在说明书中描述了一个部件“连接”、“耦接”或“结合”到另一部件，则尽管第一部件可直接“连接”、“耦接”或“结合”到第二部件，但是第三部件可“连接”、“耦接”和“结合”在第一部件和第二部件之间。

根据本发明的实施方式的用于转换3D图像的设备100包括深度图估计单元110、深度图应用单元120、3D图像插值单元130和3D图像渲染处理单元140。此外，尽管在本发明的实施方式中描述了用于转换3D图像的设备100仅包括深度图估计单元110、深度图应用单元120、3D图像插值单元130和3D图像渲染处理单元140，但是这仅旨在示出本发明的实施方式的技术构思，本发明所属领域的技术人员将理解，在不脱离本发明的实施方式的基本特征的情况下可对用于转换3D图像的设备100做出各种修改和改变。

根据本发明的实施方式的用于转换3D图像的设备100是指将输入图像转换成3D图像的设备。即，用于转换3D图像的设备100是指这样的设备，该设备能够从诸如广播台的图像内容供应方接收2D图像数据，并在显示2D图像数据之前将所接收到的2D图像数据转换成3D图像。这里，用于转换3D图像的设备100可安装在诸如TV、监视器等的显示装置中，或者可实现为诸如机顶盒的独立装置并连接到显示装置。因此，本发明中将仅描述由用于转换3D图像的设备100执行的输入图像到用于3D图像的左眼图像和右眼图像的转换，而不单独描述由显示装置执行的以立体或自动立体方式对3D图像的显示。

可按照两个方面定义本发明所述的3D图像。首先，3D图像可被定义为应用了深度图信息使得用户能够感觉到图像的一部分从画面凸出的图像。其次，3D图像可被定义为向用户提供多个视点使得用户能够从图像感知真实感的图像。即，本发明所述的3D图像是指使得观看者能够感知听觉-视觉3D效果从而提供生动感和真实感的图像。可以基于获取方法、深度印象和显示方法来将3D图像分类成立体类型、多视点类型、集成成像（IP）类型、多视点（omni）类型、全景类型和全息图类型。用于显示3D图像的方法可包括基于图像的重建和基于网格（mesh）的呈现。

此外，可通过基于深度图像的渲染（DIBR）来显示3D图像。基于深度图像的渲染是指利用具有与各个相关像素中的深度、角度差等有关的信息的基准图像在不同的视点创建图像的方法。基于深度图像的渲染能够容易地渲染3D模型的难以描述且复杂的形状，并使得能够应用诸如普通图像滤波的信号处理，从而产生高质量的3D图像。基于深度图像的渲染使用由深度相机和多视点相机拍摄的深度图像和纹理图像。

此外，深度图像是以黑和白为单位显示位于3D空间中的对象与拍摄该对象的相机之间的距离的图像。通过深度图信息和相机参数在3D恢复或3D折叠变换（warping）中使用深度图像。此外，深度图像被应用于自由视点TV或3D TV。自由视点TV是指使得用户能够根据用户的选择不是从预定视点而是从任何视点观看图像的TV。3D TV提供通过将深度图像与2D图像相加所获得的图像。针对自由视点TV和3D TV中的平稳视点转换，必须生成中间图像，因此必须估计准确的深度图信息。此外，在本发明中，将参照深度图估计单元110来详细描述用于估计深度图信息的方法。

深度图估计单元110针对输入图像数据的各个帧中存在的各个像素估计深度图信息。这里，各个像素可包括R、G和B子像素。此外，输入图像数据是指2D图像数据。此外，深度图估计单元110可使用立体匹配算法作为用于估计深度图信息的通常方法。立体匹配算法仅在水平方向上搜索周围图像，以获得变化值，并且仅输入利用平行相机构造拍摄的图像或经过了校正的图像。本发明中描述的深度图信息是指指示深度感知的信息，并可称为Z缓冲器。

此外，深度图估计单元110利用与画面的倾斜、对象的阴影、画面的焦点和对象图案相关的多个信息中的至少一个来分析各个帧，以估计深度图信息。例如，深度图估计单元110可通过基于帧中的倾斜确定在帧中位于画面的底部的对象在近处并且位于顶部的对象在远处来估计深度图信息。此外，深度图估计单元110可通过基于对象的阴影确定帧中的对象的暗色部分在远处并且该对象的亮色部分在近处来估计深度图信息。即，该方法使用阴影总在对象后面的原理。此外，深度图估计单元110可通过基于画面的焦点确定清晰对象在前面并且模糊对象在后面来估计深度图信息。此外，如果存在同一类型的多个连续图案，则深度图估计单元110可通过基于对象图案确定大尺寸图案在小尺寸图案的前面来估计深度图信息。

此外，尽管本发明描述了用于转换3D图像的设备100通过深度图估计单元110从输入图像提取深度图信息，但这是针对本发明的实施方式，并且本发明不必限于这种实施方式。即，当用于转换3D图像的设备100从外部接收单独的深度图信息以及输入图像时，用于转换3D图像的设备100可使用从外部接收到的深度图信息，而不必利用深度图估计单元110从输入图像提取深度图信息。

深度图应用单元120用于在X轴方向上将各个像素移动深度图信息。深度图应用单元120通过将深度图信息与各个像素相加或者从各个像素减去深度图信息来渲染左眼图像和右眼图像。深度图应用单元120将各个像素移动到通过将深度图信息与各个像素相加所获得的X轴像素位置，使得相加后的像素形成左眼图像。即，深度图应用单元120在从像素位置X_n（帧中的X轴坐标的终点）到像素位置X₀（X轴坐标的起点）的方向上顺序地应用深度图信息，从而渲染左眼图像。

深度图应用单元120将各个像素移动到通过从各个像素减去深度图信息所获得的X轴像素位置，使得相减后的像素形成右眼图像。即，深度图应用单元120在从像素位置X₀（帧中的X轴坐标的起点）到像素位置X_n（X轴坐标的终点）的方向上顺序地应用深度图信息，从而渲染右眼图像。此外，深度图应用单元120通过比较当前帧和作为先前帧或将来帧的基准帧来识别移动能够被检测到的对象，并在X轴方向上将与该对象对应的像素移动深度图信息。这里，尽管优选的是深度图应用单元120将深度图信息应用于帧中的对象和背景二者，但是根据本发明的实施方式，可通过将帧中的对象与背景分开而仅将深度图信息应用于对象。

当由于像素的移动导致在帧中出现空白像素时，3D图像插值单元130用于通过将预定权重应用于空白像素的邻近像素来在空白像素中形成插值像素。这里，空白像素是指没有输入像素信息的像素。如果存在一个空白像素，则3D图像插值单元130应用权重，使得空白像素具有邻近像素的平均值。3D图像插值单元130形成具有通过如下操作获得的值的插值像素：将与空白像素的邻近像素对应的左邻近像素和右邻近像素乘以同一常数，然后将乘以了同一常数的左邻近像素和右邻近像素相加。如果存在多个空白像素410（即，空白像素组420），则3D图像插值单元130应用与空白像素组420当中的要被插值的特定空白像素和邻近像素之间的距离成比例的常数作为权重。3D图像插值单元130形成具有通过如下操作获得的值的插值像素：乘以与空白像素组420和最左边邻近像素之间的距离以及空白像素组420和最右边邻近像素之间的距离成比例的常数，然后将乘以了与所述距离成比例的所述常数的最左边邻近像素和最右边邻近像素相加。此外，3D图像渲染处理单元140用于渲染应用了插值像素的左眼图像和右眼图像。这种为了将2D图像数据中包括的2D图像的像素转换成用于3D图像的左眼图像和右眼图像而进行的像素移动被称作遮蔽。

用于转换3D图像的设备100从诸如广播台的图像内容供应方接收2D图像数据。用于转换3D图像的设备100的深度图估计单元110针对输入图像数据的各个帧中存在的各个像素估计深度图信息（S210）。深度图估计单元110利用与画面的倾斜、对象的阴影、画面的焦点和对象图案相关的多个信息中的至少一个来分析各个帧以估计深度图信息。

用于转换3D图像的设备100的深度图应用单元120在X轴方向上将各个像素移动深度图信息（S220）。即，用于转换3D图像的设备100的深度图应用单元120通过将深度图信息与各个像素相加或者从各个像素减去深度图信息来渲染左眼图像和右眼图像。更详细地，用于转换3D图像的设备100的深度图应用单元120将各个像素移动到通过将深度图信息与各个像素相加获得的X轴像素位置，使得相加后的像素形成左眼图像。即，用于转换3D图像的设备100的深度图应用单元120在从像素位置X_n（帧中的X轴坐标的终点）到像素位置X₀（X轴坐标的起点）的方向上顺序地应用深度图信息，从而渲染左眼图像。用于转换3D图像的设备100的深度图应用单元120将各个像素移动到通过从各个像素减去深度图信息获得的X轴像素位置，使得相减后的像素形成右眼图像。即，用于转换3D图像的设备100的深度图应用单元120在从像素位置X₀（帧中的X轴坐标的起点）到像素位置X_n（X轴坐标的终点）的方向上顺序地应用深度图信息，从而渲染右眼图像。

用于转换3D图像的设备100的3D图像插值单元130确定是否由于像素的移动而导致在帧中出现空白像素410（S230）。如果在步骤S230确定出现了空白像素410，则用于转换3D图像的设备100的3D图像插值单元130确定是否存在一个空白像素410（S240）。

如果在步骤S240确定存在一个空白像素410，则用于转换3D图像的设备100的3D图像插值单元130通过应用权重使得空白像素具有邻近像素的平均值来在空白像素中形成插值像素（S250）。即，用于转换3D图像的设备100的3D图像插值单元130形成具有通过如下操作获得的值的插值像素：将与空白像素的邻近像素对应的左邻近像素和右邻近像素乘以同一常数，然后将乘以了同一常数的左邻近像素和右邻近像素相加。

此外，如果在步骤S240确定空白像素410不是一个，则用于转换3D图像的设备100的3D图像插值单元130确定空白像素410是包括多个空白像素420的空白像素组420，并通过应用与空白像素组420当中的要被插值的特定空白像素和邻近像素之间的距离成比例的常数作为权重来在空白像素中形成插值像素（S260）。即，用于转换3D图像的设备100的3D图像插值单元130形成具有通过如下操作获得的值的插值像素：乘以与空白像素组420和最左边邻近像素之间的距离以及空白像素组420和最右边邻近像素之间的距离成比例的常数，然后将乘以了与所述距离成比例的所述常数的最左边邻近像素和最右边邻近像素相加。用于转换3D图像的设备100的3D图像渲染处理单元140渲染应用了插值像素的左眼图像和右眼图像（S270）。

尽管在图2中描述了步骤S210至S270被顺序地执行，但是这仅旨在示出本发明的实施方式的技术构思，本发明所属领域的技术人员将理解，按照改变图2中示出的顺序或者并行执行步骤S210至S270中的至少两个步骤的方式来对图2中示出的用于转换3D图像的方法做出各种修改和改变，因此，图2不限于时间序列顺序。

如上面提到的，图2中示出的根据本发明的实施方式的用于转换3D图像的方法可被实现为程序，并被记录在计算机可读记录介质中。记录有用于实现根据本发明的实施方式的用于转换3D图像的方法的程序的计算机可读记录介质包括存储有计算机系统可读的数据的所有类型的记录装置。所述计算机可读记录介质的示例可包括ROM、RAM、CD-ROM、磁带、软盘、光学数据存储装置等。此外，计算机可读记录介质可以按照载波（例如，通过互联网的传输）的形式来实现。此外，计算机可读记录介质可分布于通过网络连接的计算机系统中，使得计算机可读代码可以按照分布式方式来存储和执行。另外，本发明所属领域的程序员可以容易地理解用于实现本发明的实施方式的功能程序、代码和代码段。

深度图应用单元120在X轴方向将各个像素移动深度图信息。深度图应用单元120通过将深度图信息与各个像素相加或者从各个像素减去深度图信息来渲染左眼图像和右眼图像。深度图应用单元120将各个像素移动到通过从各个像素减去深度图信息获得的X轴像素位置，使得相减后的像素形成右眼图像。如图3所示，为了利用从输入2D图像提取的各个像素的深度图信息来生成用于3D图像的右眼图像，用于转换3D图像的设备100将输入图像的X轴值向左移动对应像素的深度图信息。即，如图3所示，如果假定关于X轴的第十像素P₁₀的深度图信息是7，则深度图应用单元120从第十像素P₁₀减去与深度图信息对应的7，使得P₁₀移动到像素位置P₃，从而渲染右眼图像。这里，深度图应用单元120在从像素位置X₀（帧中的X轴坐标的起点）到像素位置X_n（X轴坐标的终点）的方向上顺序地应用深度图信息，从而渲染右眼图像。即，在右眼图像的情况下，如果第十像素和第十一像素的深度图信息分别是7，则第十像素移动到右眼图像的第三像素位置，并且第十一像素移动到邻近的第四像素位置，从而保持像素的连续性。此外，在该情况下，根据各个像素位置及其深度图信息，在邻近像素的中间可能出现不存在像素数据的空白像素410。

深度图应用单元120将各个像素移动到通过将深度图信息与各个像素相加获得的X轴像素位置，使得相加后的像素形成左眼图像。换言之，如图3所示，为了利用从输入2D图像提取的各个像素的深度图信息生成用于3D图像的左眼图像，用于转换3D图像的设备100将输入图像的X轴值向右移动对应像素的深度图信息。即，如图3所示，如果假定关于X轴的第十像素P₁₀的深度图信息是7，则深度图应用单元120将与深度图信息对应的7和第十像素P₁₀相加，使得P₁₀移动到像素位置P₁₇，从而渲染左眼图像。这里，深度图应用单元120在从像素位置X_n（帧中的X轴坐标的终点）到像素位置X₀（X轴坐标的起点）的方向上顺序地应用深度图信息，从而渲染左眼图像。即，在左眼图像的情况下，如果第十像素和第十一像素的深度图信息分别是7，则第十像素移动到左眼图像的第十七像素位置，并且第十一像素移动到邻近的第十八像素位置，从而保持像素的连续性。此外，在该情况下，根据各个像素位置及其深度图信息，在邻近像素的中间可能出现不存在像素数据的空白像素410。

如图4所示，当用于转换3D图像的设备100通过将各个像素移动到通过从各个像素减去深度图信息获得的X轴位置来将输入图像转换成右眼图像时，在邻近像素的中间可能出现不存在像素数据的空白像素410。即，如图4所示，如果假定关于X轴的第十像素P₁₀的深度图信息是7并且关于X轴的第十一像素P₁₁的深度图信息是6，则深度图应用单元120从第十像素P₁₀减去与深度图信息对应的7，使得P₁₀移动到像素位置P₃，并从第十一像素P₁₁减去与深度图信息对应的6，使得P₁₁移动到像素位置P₅，从而渲染右眼图像。在该情况下，在P₃和P₅之间的P₄处可能出现不存在像素数据的空白像素410。

因此，当由于像素的移动而导致出现空白像素410时，用于转换3D图像的设备100通过利用3D图像插值单元130将预定权重应用于空白像素的邻近像素来在空白像素中形成插值像素。即，如果存在一个空白像素410（例如，P₃和P₅之间的P₄），则3D图像插值单元130应用权重，使得空白像素具有邻近像素（例如，P₃和P₅）的平均值，从而在P₄处形成插值像素。更详细地，3D图像插值单元130形成具有通过如下操作获得的值的插值像素：将左邻近像素P₃和右邻近像素P₅乘以同一常数0.5，然后将乘以了所述同一常数的左邻近像素（P₃×0.5）和右邻近像素（P₅×0.5）相加。

在以上描述中，可通过公式1表示P₄中包括的R、G和B子像素。

公式1

R₄＝(R₃×0.5)+(R₅×0.5)

G₄＝(G₃×0.5)+(G₅×0.5)

B₄＝(B₃×0.5)+(B₅×0.5)

此外，如图4所示，如果假定关于X轴的第十一像素P₁₁的深度图信息是6并且关于X轴的第十二像素P₁₂的深度图信息是4，则深度图应用单元120从第十一像素P₁₁减去与深度图信息对应的6，使得P₁₁移动到像素位置P₅，并且从第十二像素P₁₂减去与深度图信息对应的4，使得P₁₂移动到像素位置P₈，从而渲染右眼图像。在该情况下，在P₅和P₈之间可出现多个空白像素410（例如，P₆和P₇）。

因此，在包括多个空白像素410的空白像素组420的情况下，3D图像插值单元130应用与特定空白像素P₆与邻近像素P₅和P₈之间的距离成比例的常数0.66和0.34作为权重。即，3D图像插值单元130形成具有通过如下操作获得的值的插值像素：乘以与空白像素组420和最左边邻近像素P₅之间的距离以及空白像素组420和最右边邻近像素P₈之间的距离成比例的常数0.66和0.34，然后将乘以了与所述距离成比例的所述常数的最左边邻近像素（P₅×0.66）和最右边邻近像素（P₈×0.34）相加。当按照上述方式在P₆处形成插值像素时，通过应用权重使得空白像素具有邻近像素P₆和P₈的平均值来在P₇处形成插值像素。更详细地，3D图像插值单元130形成具有通过如下操作获得的值的插值像素：将空白像素P₇的左邻近像素P₆和右邻近像素P₈乘以同一常数0.5，然后将乘以了同一常数的左邻近像素（P₆×0.5）和右邻近像素P₈（P₈×0.5）相加。

在以上描述中，可通过公式2表示P₆中包括的R、G和B子像素。

公式2

R₆＝(R₅×0.66)+(R₈×0.34)

G₆＝(G₅×0.66)+(G₈×0.34)

B₆＝(B₅×0.66)+(B₈×0.34)

此外，在以上描述中，可通过公式3表示P₇中包括的R、G和B子像素。然而，权重仅为实施方式，因此可应用通过优化所获得的各种常数。即，应用于各个公式的权重仅为解释用于实现本发明的实施方式的假设，在基本实现本发明的处理中可应用针对各种情况优化的各种权重。

公式3

R₇＝(R₆×0.5)+(R₈×0.5)

G₇＝(G₆×0.5)+(G₈×0.5)

B₇＝(B₆×0.5)+(B₈×0.5)

在帧中存在的对象中，可通过上述处理在空白像素（即，不存在针对各个深度图信息的虚拟右眼图像的像素数据的空白空间）中形成插值像素。即，为了按照不同方式处理左眼图像和右眼图像，处理左眼图像的方向以原始图像的左到右的方向（即，从X₀到X_n的方向）进行。这里，利用邻近像素数据覆盖具有由于大的深度图信息的值导致的大的移动距离的像素数据，从而创建针对对象的右侧的虚拟图像。通过相反的原理，减小左侧的图像。此外，处理左眼图像的方向按照与处理右眼图像的方向相反的方向（即，从X_n到X₀的方向）进行。通过该处理，在各个对象的左侧创建虚拟左图像，并通过相反的原理减小右侧的图像。

如图5所示，当帧的分辨率是800×480时，像素位于关于X轴的从P_0.0到P_799.0的方向以及关于Y轴的从P_0.0到P_0.479的方向。即，为了创建左眼图像，用于转换3D图像的设备100在从像素位置P_799.0（帧中的X轴坐标的终点）到像素位置P_0.0（X轴坐标的起点）的方向上顺序地应用深度图信息。此外，为了创建右眼图像，用于转换3D图像的设备100在从像素位置P_0.0（帧中的X轴坐标的起点）到像素位置P_799.0（X轴坐标的终点）的方向上顺序地应用深度图信息。此外，如图5所示，在关于X轴从P_0.0到P_799.0或者从P_799.0到P_0.0应用了深度图信息之后，可从P_0.1到P_799.1或者从P_799.1到P_0.1顺序地应用深度图信息。

参照图6，当将输入2D图像转换成右眼图像时，从被表示为-◇-的2D图像的曲线图以及被表示为-■-的右眼图像的曲线图之间的宽度可以看出，根据深度图信息，与右眼图像对应的区域具有增大的宽度，与相反方向对应的区域具有减小的宽度。

如图6所示，在邻近像素之间的深度图信息显著变化的图像的情况下，例如，当将包括多个字幕的图像转换成3D图像时，必须保存字幕的原始形式并提供3D效果。如果基于深度图信息仅通过像素的简单移动来处理邻近像素之间的深度图信息显著变化的图像（例如，包括多个字幕的图像），则邻近像素之间的深度图信息可被反转，这导致文字断裂。当在3D效果增强的转换期间深度图信息值增加时，这种文字的断裂更严重地出现。

如图7所示，当用人眼观看如图7的（a）所示的3D对象时，左眼和右眼看到的图像不同。即，当通过左眼观看对象时，如图7的（b）所示，对象的左侧比右侧被看到得多。此外，当通过右眼观看对象时，如图7的（c）所示，对象的右侧比左侧看到得多。即，当通过使用两个相机的立体成像系统拍摄如图7的（a）所示的对象时，拍摄与通过左眼和右眼观看的图像相同的图像，从而使得观看者能够感知3D效果（即，对象的空间布局）。

然而，当由一个相机拍摄的2D图像数据被转换成3D图像数据时，2D图像数据不具有对象的空间信息，因此必须利用原始图像的各种特征来创建虚拟空间信息。为了从2D图像提取虚拟空间信息，存在使用图像的边缘、亮度和焦点以及对象的设置等的各种方法，并且通过利用由这些方法创建的空间信息重新布置原始图像在左方向和右方向上的各个像素图像来创建3D图像。

即，用于转换3D图像的设备100将如图7的（a）所示的输入图像的各个像素移动到通过将深度图信息与各个像素相加获得的X轴像素位置，使得相加后的像素形成左眼图像。此外，用于转换3D图像的设备100将如图7的（a）所示的输入图像的各个像素移动到通过从各个像素减去深度图信息获得的X轴像素位置，使得相减后的像素形成右眼图像。

如图8所示，在邻近像素之间的深度图信息显著变化的图像的情况下，例如，当将包括多个字幕的图像转换成3D图像时，必须保存字幕的原始形式并提供3D效果。如果基于深度图信息仅通过像素的简单移动来处理邻近像素之间的深度图信息显著变化的图像（例如，包括多个字幕的图像），则邻近像素之间的深度图信息可被反转，这导致文字断裂。当在3D效果增强的转换期间深度图信息值增加时，这种文字的断裂更严重地出现。即，用于转换3D图像的设备100将包括诸如“ ”的对象的输入图像的各个像素移动到通过将深度图信息与各个像素相加获得的X轴像素位置，使得相加后的像素形成如图8的（a）所示的左眼图像。此外，用于转换3D图像的设备100将包括诸如“ ”的对象的输入图像的各个像素移动到通过从各个像素减去深度图信息获得的X轴像素位置，使得相减后的像素形成如图8的（b）所示的右眼图像。

即使以上描述了本发明的实施方式的所有部件耦接为单个单元或者耦接为作为单个单元操作，但是本发明不必限于这种实施方式。即，在这些部件当中，一个或更多个部件可选择性地耦接为作为一个或更多个单元操作。另外，尽管各个部件可被实现为单独的硬件，但是一些或所有部件可以选择性地彼此组合，使得所述部件可被实现为具有用于执行在一个或更多个硬件中组合的一些或所有功能的一个或更多个程序模块的计算机程序。本发明的技术领域的普通技术人员将容易地构思形成所述计算机程序的代码和代码段。这种计算机程序可通过存储在计算机可读存储介质中并且由计算机读取和执行来实现本发明的实施方式。磁性记录介质、光学记录介质、载波介质等可被采用作为所述存储介质。

另外，由于诸如“包括”、“包含”和“具有”的术语表示可存在一个或更多个对应的部件（除非所述术语被相反地特定描述），这将被解释为可包括所述一个或更多个其它部件。包含一个或更多个技术或科技术语的所有术语具有与本领域技术人员通常的理解相同的含义，除非另行定义。如字典定义的通常使用的术语将被解释为该术语具有与相关描述的上下文中等同的含义，并且将不以理想或极端形式的含义被解释，除非在本说明书中清楚地定义。

尽管为了说明性目的描述了本发明的优选实施方式，但是本领域技术人员将理解，在不脱离所附权利要求公开的本发明的范围和精神的情况下，可进行各种修改、添加和替换。因此，本发明中公开的实施方式旨在示出本发明的技术构思的范围，本发明的范围不由实施方式限定。将按照与权利要求等同的范围内包括的所有技术构思属于本发明的方式来基于所附权利要求解释本发明的范围。

工业实用性

如上所述，本发明可应用于提供用于渲染与通过立体相机拍摄的3D图像类似的2D图像的遮蔽技术的各种领域。根据本发明，在将邻近像素之间的深度图信息显著变化（诸如字幕）的2D图像转换成3D图像时，能够在保存诸如字幕的文字的对象的原始形式的同时创建3D效果。

Claims

1.一种用于利用深度图信息将2D图像转换为三维3D图像的设备，该设备包括：

深度图估计单元，其针对2D输入图像数据的各个帧中存在的各个像素估计所述深度图信息；

深度图应用单元，其将各个像素在X轴方向上移动所述深度图信息，来形成左眼图像和右眼图像，其中，对于邻近像素之间的深度图信息显著变化的所述2D图像，该深度图应用单元形成保存所述2D图像的原始形式的一部分的所述左眼图像和所述右眼图像，所述2D图像的原始形式的一部分是指所述2D图像中邻近像素之间的深度图信息显著变化的一部分；

3D图像插值单元，当由于所述移动导致在所述帧中出现空白像素时，该3D图像插值单元通过向所述空白像素的邻近像素应用权重来在所述空白像素中形成插值像素；以及

3D图像渲染处理单元，其渲染应用了所述插值像素的左眼图像和右眼图像。

2.根据权利要求1所述的设备，其中，当存在一个空白像素时，所述3D图像插值单元应用所述权重，使得所述空白像素具有所述邻近像素的平均值。

3.根据权利要求2所述的设备，其中，所述3D图像插值单元形成具有通过将与所述空白像素的所述邻近像素对应的左邻近像素和右邻近像素乘以同一常数，然后将乘以了所述同一常数的所述左邻近像素和所述右邻近像素相加所获得的值的所述插值像素。

4.根据权利要求1所述的设备，其中，当存在包括多个空白像素的空白像素组时，所述3D图像插值单元应用与所述空白像素组当中的要被插值的特定空白像素和邻近像素之间的距离成比例的常数作为权重。

5.根据权利要求4所述的设备，其中，所述3D图像插值单元形成具有通过乘以与所述空白像素组和最左边邻近像素之间的距离以及所述空白像素组和最右边邻近像素之间的距离成比例的常数，然后将乘以了与所述距离成比例的所述常数的所述最左边邻近像素和所述最右边邻近像素相加所获得的值的所述插值像素。

6.根据权利要求1所述的设备，其中，所述深度图应用单元通过将所述深度图信息和各个像素相加或者从各个像素减去所述深度图信息来渲染所述左眼图像和所述右眼图像。

7.根据权利要求6所述的设备，其中，所述深度图应用单元将各个像素移动到通过将各个像素与所述深度图信息相加所获得的X轴像素位置，使得相加后的像素形成所述左眼图像。

8.根据权利要求7所述的设备，其中，所述深度图应用单元在从作为所述帧中的X轴坐标的终点的像素位置X_n到作为X轴坐标的起点的像素位置X₀的方向上顺序地应用所述深度图信息，从而渲染所述左眼图像。

9.根据权利要求6所述的设备，其中，所述深度图应用单元将各个像素移动到通过从各个像素减去所述深度图信息所获得的X轴像素位置，使得相减后的像素形成所述右眼图像。

10.根据权利要求9所述的设备，其中，所述深度图应用单元在从作为所述帧中的X轴坐标的起点的像素位置X₀到作为X轴坐标的终点的像素位置X_n的方向上顺序地应用所述深度图信息，从而渲染所述右眼图像。

11.根据权利要求1所述的设备，其中，所述深度图估计单元利用与画面的倾斜、对象的阴影、画面的焦点和对象图案相关的多个信息中的至少一个来分析各个帧以估计所述深度图信息。

12.根据权利要求1所述的设备，其中，所述深度图应用单元通过比较当前帧和作为先前帧或将来帧的基准帧来识别其移动能够被检测到的对象，并在X轴方向上将与所述对象对应的像素移动所述深度图信息。

13.根据权利要求1所述的设备，其中，各个像素包括R、G和B子像素。

14.一种用于利用深度图信息将2D图像转换为3D图像的设备，该设备包括：

深度图应用单元，其将各个像素在X轴方向上移动所述深度图信息，来形成左眼图像和右眼图像，其中，对于邻近像素之间的深度图信息显著变化的所述2D图像，该深度图应用单元形成保存所述2D图像的原始形式的一部分的所述左眼图像和所述右眼图像，所述2D图像的原始形式的一部分是指所述2D图像中邻近像素之间的深度图信息显著变化的一部分；以及

3D图像渲染处理单元，其基于所述移动来渲染左眼图像和右眼图像。

15.一种用于利用深度图信息将2D图像转换为3D图像的方法，该方法包括以下步骤：

深度图估计步骤，针对2D输入图像数据的各个帧中存在的各个像素估计所述深度图信息；

深度图应用步骤，将各个像素在X轴方向上移动所述深度图信息，来形成左眼图像和右眼图像，其中，对于邻近像素之间的深度图信息显著变化的所述2D图像，形成保存所述2D图像的原始形式的一部分的所述左眼图像和所述右眼图像，所述2D图像的原始形式的一部分是指所述2D图像中邻近像素之间的深度图信息显著变化的一部分；

3D图像插值步骤，当由于所述移动导致所述帧中出现空白像素时，通过向所述空白像素的邻近像素应用权重来在所述空白像素中形成插值像素；以及

3D图像渲染处理步骤，渲染应用了所述插值像素的左眼图像和右眼图像。

16.根据权利要求15所述的方法，其中，所述3D图像插值步骤包括以下步骤：当存在一个空白像素时，利用通过将与所述空白像素的所述邻近像素对应的左邻近像素和右邻近像素乘以同一常数，然后将乘以了所述同一常数的所述左邻近像素和所述右邻近像素相加所获得的值，来形成所述插值像素。

17.根据权利要求16所述的方法，其中，所述3D图像插值步骤包括以下步骤：当存在包括多个空白像素的空白像素组时，利用通过乘以与所述空白像素组和最左边邻近像素之间的距离以及所述空白像素组和最右边邻近像素之间的距离成比例的常数，然后将乘以了与所述距离成比例的所述常数的所述最左边邻近像素和所述最右边邻近像素相加所获得的值，来形成所述插值像素。

18.根据权利要求15所述的方法，其中，所述深度图应用步骤包括以下步骤：将各个像素移动到通过将各个像素与所述深度图信息相加所获得的X轴像素位置，并且其中，在从作为所述帧中的X轴坐标的终点的像素位置X_n到作为X轴坐标的起点的像素位置X₀的方向上顺序地应用所述深度图信息。

19.根据权利要求15所述的方法，其中，所述深度图应用步骤包括以下步骤：将各个像素移动到通过从各个像素减去所述深度图信息所获得的X轴像素位置，并且其中，在从作为所述帧中的X轴坐标的起点的像素位置X₀到作为X轴坐标的终点的像素位置X_n的方向上顺序地应用所述深度图信息。

20.一种用于利用深度图信息将2D图像转换为3D图像的方法，该方法包括以下步骤：

深度图应用步骤，将各个像素在X轴方向上移动所述深度图信息，来形成左眼图像和右眼图像，其中，对于邻近像素之间的深度图信息显著变化的所述2D图像，形成保存所述2D图像的原始形式的一部分的所述左眼图像和所述右眼图像，所述2D图像的原始形式的一部分是指所述2D图像中邻近像素之间的深度图信息显著变化的一部分；以及

3D图像渲染处理步骤，基于所述移动来渲染左眼图像和右眼图像。