[go: up one dir, main page]

CN115176459B - 虚拟视点合成方法、电子设备和计算机可读介质 - Google Patents

虚拟视点合成方法、电子设备和计算机可读介质 Download PDF

Info

Publication number
CN115176459B
CN115176459B CN202180000061.6A CN202180000061A CN115176459B CN 115176459 B CN115176459 B CN 115176459B CN 202180000061 A CN202180000061 A CN 202180000061A CN 115176459 B CN115176459 B CN 115176459B
Authority
CN
China
Prior art keywords
virtual viewpoint
pixels
pixel
image
depth map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202180000061.6A
Other languages
English (en)
Other versions
CN115176459A (zh
Inventor
孙炎
楚明磊
史天阔
习艳会
姬治华
侯一凡
赵晨曦
张硕
彭项君
张小牤
孙伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd, Beijing BOE Optoelectronics Technology Co Ltd filed Critical BOE Technology Group Co Ltd
Publication of CN115176459A publication Critical patent/CN115176459A/zh
Application granted granted Critical
Publication of CN115176459B publication Critical patent/CN115176459B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H04N13/268—Image signal generators with monoscopic-to-stereoscopic image conversion based on depth image-based rendering [DIBR]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)

Abstract

本公开提供了一种虚拟视点合成方法，包括：对原始图像对应的零视差时的深度图进行预处理，得到处理后的深度图(S1)；根据处理后的深度图和原始图像，生成多个虚拟视点各自对应的虚拟视点图像(S2)；对各虚拟视点图像中的空洞进行填补，生成多个填补后的虚拟视点图像(S3)。本公开还提供了一种电子设备和计算机可读介质。

Description

虚拟视点合成方法、电子设备和计算机可读介质
技术领域
本公开涉及图像视频技术领域，特别涉及一种虚拟视点合成方法、电子设备和计算机可读介质。
背景技术
随着图像视频技术和显示技术的发展，3D显示技术得到了广泛的关注和应用，其通过视差来使观看者产生立体的视觉效果。观看者在观看3D显示内容的过程中，其左右眼同时观察到不同的视差图像，从而在大脑中融合产生一个具有深度效果的立体图像。
为克服3D显示技术，特别地，裸眼3D显示技术中存在的视点少，视点不连续等问题，研究者提出了多视点裸眼3D技术，其具体利用光栅分像产生多视点的图像，但在该技术的实际应用中，多视点的图像获取存在困难，如在进行拍摄时，多个视点对应多台摄像机，且需要同时进行拍摄，导致摄像机数量增多，同时需要对不同摄像机进行同步和标定。现阶段，因此，如何根据一个摄像机拍摄的图像产生虚拟视点的图像具有节约成本，数据传输量少的优点，多采用基于深度图的虚拟视点绘制(Depth Image Based Rendering，DIBR)技术解决上述数据获取问题，其计算简单且效率较高，但使用该技术进行虚拟视点绘制及合成所得到的图像，其图像质量较低，相应的观看效果也并不理想。
发明内容
本公开旨在至少解决现有技术中存在的技术问题之一，提出了一种虚拟视点合成方法、电子设备和计算机可读介质。
为实现上述目的，第一方面，本公开实施例提供了一种虚拟视点合成方法，包括：
对原始图像对应的零视差时的深度图进行预处理，得到处理后的深度图；
根据所述处理后的深度图和所述原始图像，生成多个虚拟视点各自对应的虚拟视点图像；
对各所述虚拟视点图像中的空洞进行填补，生成多个填补后的虚拟视点图像。
在一些实施例中，所述对原始图像对应的零视差时的深度图进行预处理，得到处理后的深度图的步骤，包括：
根据所述零视差时的深度图中各像素在行方向上的梯度，确定所述零视差时的深度图中的边缘像素；
将与各所述边缘像素在行方向上相邻的n个像素确定为目标像素；
根据各所述目标像素对应的预设邻域的最大深度值，调整各所述目标像素的深度值。
在一些实施例中，所述对各所述虚拟视点图像中的空洞进行填补，生成多个填补后的虚拟视点图像的步骤，包括：
遍历目标虚拟视点图像中背景区域的全部像素，以确定所述背景区域的空洞，其中，所述目标虚拟视点图像为各所述虚拟视点图像中的任意一者，所述背景区域的全部像素所对应的深度值小于或等于预设的深度值阈值；
针对所述背景区域的任一空洞，根据与该空洞在行方向上相邻的至少部分像素的像素信息，对该空洞进行填补。
在一些实施例中，所述目标虚拟视点图像包括在行方向上相对设置的第一侧和第二侧；
所述遍历目标虚拟视点图像中背景区域的全部像素，以确定所述背景区域的空洞的步骤，包括：
响应于所述目标虚拟视点图像对应的虚拟视点位于所述原始图像对应的参考视点的第一侧的情况，以从第一侧到第二侧的顺序遍历所述背景区域的全部像素；
响应于所述目标虚拟视点图像对应的虚拟视点位于所述参考视点的第二侧的情况，以从第二侧到第一侧的顺序遍历所述背景区域的全部像素。
在一些实施例中，所述针对所述背景区域的任一空洞，根据与该空洞在行方向上相邻的至少部分像素的像素信息，对该空洞进行填补的步骤，包括：
针对该空洞中任一行对应的行像素，根据与所述行像素在行方向上最靠近的两个像素的像素信息，对所述行像素进行填补。
在一些实施例中，所述针对该空洞中任一行对应的行像素，根据与所述行像素在行方向上最靠近的两个像素的像素信息，对所述行像素进行填补的步骤，包括：
响应于该两个像素属于同一视差平面的情况，根据该两个像素的像素信息通过线性插值对所述行像素进行填补；
响应于该两个像素不属于同一视差平面的情况，根据该两个像素中所对应的深度值最小的像素的像素信息对所述行像素进行填补。
在一些实施例中，根据该两个像素所对应的深度值确定该两个像素是否属于同一视差平面。
在一些实施例中，所述根据所述处理后的深度图和所述原始图像，生成多个虚拟视点各自对应的虚拟视点图像的步骤，包括：
根据所述处理后的深度图中各像素的深度值确定所述处理后的深度图中各像素对应的距离值；
针对各所述虚拟视点图像中的任一待填充虚拟视点图像，根据其对应的焦距、其对应的基线宽度和所述处理后的深度图中各像素对应的距离值确定所述待填充虚拟视点图像中各像素对应的视差值；
针对所述待填充虚拟视点图像中的像素，根据其对应的视差值，确定其在所述原始图像中的对应点，并根据该对应点的像素信息进行像素填充。
在一些实施例中，所述针对所述待填充虚拟视点图像中的像素，根据其对应的视差值，确定其在所述原始图像中的对应点，并根据该对应点的像素信息进行像素填充的步骤，包括：
响应于所述待填充虚拟视点图像中的单个像素在所述原始图像中存在多个对应点的情况，根据该多个对应点中所对应的深度值最大的对应点的像素信息，填充该单个像素。
第二方面，本公开实施例提供了一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述实施例中任一所述的虚拟视点合成方法。
第三方面，本公开实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序在被处理器执行时实现如上述实施例中任一所述的虚拟视点合成方法中的步骤。
附图说明
图1为本公开实施例提供的一种虚拟视点合成方法的流程图；
图2为本公开实施例提供的一种步骤S1的流程示意图；
图3为本公开实施例提供的一种原始图像和深度图的边缘位置的示意图；
图4为本公开实施例提供的一种伪影噪声的示意图；
图5为本公开实施例提供的另一种虚拟视点合成方法的流程图；
图6为本公开实施例提供的一种步骤S2的流程示意图；
图7为图6中示出的虚拟视点图像的A部的示意图；
图8为本公开实施例中步骤S301的一种具体实施方法流程图；
图9为本公开实施例中步骤S302的一种具体实施方法流程图；
图10为本公开实施例中步骤S3021的一种具体实施方法流程图；
图11为本公开实施例提供的又一种虚拟视点合成方法的流程图；
图12为本公开实施例中步骤S203的一种具体实施方法流程图；
图13为本公开实施例提供的一种电子设备的结构示意图；
图14为本公开实施例提供的一种计算机可读介质的结构示意图。
具体实施方式
为使本领域的技术人员更好地理解本公开的技术方案，下面结合附图对本公开提供的虚拟视点合成方法、电子设备和计算机可读介质进行详细描述。
在下文中将参考附图更充分地描述示例实施例，但是所述示例实施例可以以不同形式来体现且不应当被解释为限于本文阐述的实施例。反之，提供这些实施例的目的在于使本公开透彻和完整，并将使本领域技术人员充分理解本公开的范围。
本文所使用的术语仅用于描述特定实施例，且不意欲限制本公开。如本文所使用的，单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。还将理解的是，当本说明书中使用术语“包括”和/或“由……制成”时，指定存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其他特征、整体、步骤、操作、元件、组件和/或其群组。
将理解的是，虽然本文可以使用术语第一、第二等来描述各种元件，但这些元件不应当受限于这些术语。这些术语仅用于区分一个元件和另一元件。因此，在不背离本公开的指教的情况下，下文讨论的第一元件、第一组件或第一模块可称为第二元件、第二组件或第二模块。
除非另外限定，否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义，且将不解释为具有理想化或过度形式上的含义，除非本文明确如此限定。
本公开所提供的虚拟视点合成方法、电子设备和计算机可读介质，可用于通过在对原始图像对应的零视差时的深度图进行预处理后，根据处理后的深度图，基于原始图像生成虚拟视点对应的虚拟视点图像，并对虚拟视点图像中的空洞进行填补，实现对虚拟视点图像快速有效地空洞修复，提高图像质量。
图1为本公开实施例提供的一种虚拟视点合成方法的流程图。如图1所示，该方法包括：
步骤S1、对原始图像对应的零视差时的深度图进行预处理，得到处理后的深度图。
在步骤S1中，通过对深度图进行预处理，实现平滑纹理、降低深度值失真、修复空洞、特征提取以及前景背景分离等功能。
在一些实施例中，深度图采用取8bit灰阶值表征图像上的像素距离原始图像对应的参考视点，即对应零时差的参考视点的远近，该灰阶值即深度图中的深度值，深度值越小表示距离参考视点越远，相应地，深度值越大表示距离参考视点越近，即，像素灰阶值为255时表示该像素距离参考视点最近，像素灰阶值为0时表示该像素距离参考视点最远，但深度值与距离值并不相同，二者需通过相应算法进行转换。
在一些实施例中，深度图可由软件基于原始图像渲染计算得出，或者直接由具备深度图拍摄生成功能的图像采集设备，例如深度相机等拍摄得到，其中，参考视点对应拍摄时作为参考或处于参考位置的图像采集设备。
在一些实施例中，可通过双边滤波、特征图分割、边缘检测以及目标识别等方式对深度图进行预处理。
在一些实施例中，在步骤S1，对原始图像对应的零视差时的深度图进行预处理，得到处理后的深度图的步骤之前，还包括：获取零视差的参考视点对应的原始图像和深度图。
步骤S2、根据处理后的深度图和原始图像，生成多个虚拟视点各自对应的虚拟视点图像。
在步骤S2中，根据经步骤S1预处理后的深度图，基于原始图像生成各虚拟视点对应的虚拟视点图像。
在一些实施例中，在步骤S2，根据处理后的深度图和原始图像，生成多个虚拟视点各自对应的虚拟视点图像的步骤之前，还包括：获取空间位置与参考视点不同的多个虚拟视点。
在一些实施例中，根据处理后的深度图和参考视点对应的原始图像各虚拟视点对应的虚拟视点图像分别进行像素填充，以生成各虚拟视点对应的虚拟视点图像；在一些实施例中，通过基于深度图的虚拟视点绘制技术进行虚拟视点图像的像素填充；或者，在一些实施例中，根据处理后的深度图的深度值信息和参考视点对应的原始图像的像素信息通过深度值信息转换和像素信息转换，生成各虚拟视点对应的虚拟视点图像。
在一些实施例中，通过获取虚拟视点对应的参考坐标，或者获取虚拟视点对应于参考视点的相对坐标，或者获取虚拟视点与参考视点间的基线宽度确定虚拟视点。
在一些实施例中，原始图像为彩色图像。
步骤S3、对各虚拟视点图像中的空洞进行填补，生成多个填补后的虚拟视点图像。
其中，在步骤S2生成虚拟视点图像后，此时的虚拟视点图像存在部分空洞，对空洞进行填补后最终生成该虚拟视点对应的虚拟视点图像；该空洞为连续空洞，其对应多个像素信息为空值的像素，或者，在一些实施例中，其对应多个像素信息为极值的像素。
在一些实施例中，在步骤S3，对对各虚拟视点图像中的空洞进行填补，生成多个填补后的虚拟视点图像的步骤之后，还包括：根据参考视点和虚拟视点对原始图像和多个填补后的虚拟视点图像进行图像融合和三维场景重建，生成融合图像，以及显示该融合图像。
本公开实施例提供了一种虚拟视点合成方法，该方法可用于在对原始图像对应的零视差时的深度图进行预处理后，根据处理后的深度图，基于原始图像生成虚拟视点对应的虚拟视点图像，并对虚拟视点图像中的空洞进行填补，实现对虚拟视点图像快速有效地空洞修复，提高图像质量。
图2为本公开实施例提供的一种步骤S1的流程示意图。如图2所示，具体地，步骤S1，对原始图像对应的零视差时的深度图进行预处理，得到处理后的深度图的步骤，包括：步骤S101至步骤S103。
步骤S101、根据零视差时的深度图中各像素在行方向上的梯度，确定零视差时的深度图中的边缘像素。
其中，边缘像素位于深度图的前景边缘位置，前景边缘位置即前景区域中各物体的边缘部分；在一些实施例中，前景区域的全部像素所对应的深度值大于或等于预设的深度值阈值；在一些实施例中，通过计算深度图中各像素的梯度并与预设的梯度阈值进行比较以确定边缘像素。
在一些实施例中，在步骤S2中采用水平移轴的方式确定虚拟视点，即基于参考视点在水平方向上进行移轴变换(warping)以确定虚拟视点，由此，仅计算各像素在行方向上的梯度并与预设的梯度阈值进行比较以确定边缘像素。。
步骤S102、将与各边缘像素在行方向上相邻的n个像素确定为目标像素。
其中，n为正整数；在一些实施例中，深度图包括在行方向上相对设置的第一侧和第二侧，在行方向上与特定像素相邻的n个像素，即位于该特定像素第一侧和第二侧的n个像素。
在一些实施例中，对深度图中处于前景边缘位置的任一边缘像素，将其第一侧的n个像素和其第二侧的m个像素确定为目标像素，其中，n和m为正整数，在一些实施例中，n与m相等。
图3为本公开实施例提供的一种原始图像和深度图的边缘位置的示意图。如图3所示，图中圈出的部分分别为原始图像和深度图的边缘位置，在原始图像中，特别地，彩色图像中，物体的边缘部分对应的像素信息是渐变的，该边缘部分对应的宽为1个像素或多个像素，在一些实施例中，物体的边缘部分的宽对应1至3个像素；而在深度图中，物体的边缘部分对应的像素信息是突变的；针对原始图像与深度图，若二者的前景边缘位置对应的像素信息不同步，合成虚拟视点时，会根据深度图将前景边缘位置作为背景映射到虚拟视点对应的虚拟视点图像上，从而出现伪影噪声。
图4为本公开实施例提供的一种伪影噪声的示意图。如图4所示，图中圈出的部分即虚拟视点图像中的伪影噪声，在本应是背景区域的位置出现了前景物体的边缘部分对应的像素信息，从而出现伪影噪声。
步骤S103、根据各目标像素对应的预设邻域的最大深度值，调整各目标像素的深度值。
其中，预设邻域的深度值即该预设邻域中全部像素对应的深度值；根据各目标像素对应的预设邻域的深度值的最大值，调整各目标像素的深度值。由此，使得深度图前景边缘膨胀，减少深度图前景边缘位置对应的像素信息的突变，在后续步骤S2生成虚拟视点图像时，使得前景区域中各物体侧边的空洞与各物体割裂，即空洞的左侧与右侧均为背景区域，不影响前景区域的像素信息的同时，便于进行空洞修复。
在一些实施例中，还包括：根据预设邻域的深度值的平均值调整目标像素的深度值，或者根据预设邻域的深度值的权重信息调整目标像素的深度值。
本公开实施例提供了一种虚拟视点合成方法，该方法可用于通过将与前景边缘位置的边缘像素在行方向上相邻的多个像素确定为目标像素，根据各目标像素对应的预设邻域的深度值，调整各目标像素的深度值，实现对深度图进行预处理，避免由于深度图精度不高而导致后期虚拟视点合成时的效果不佳，同时平滑深度图前景边缘，避免由于像素信息突变在虚拟视点合成时产生噪声，以及根据各目标像素对应的预设邻域的深度值的最大值调整各目标像素的深度值，使得合成后产生的空洞的左右两侧均为背景区域。
图5为本公开实施例提供的另一种虚拟视点合成方法的流程图。该方法为基于图2所示方法的一种具体化可选实施方案。如图5所示，在步骤S1包括步骤S101至步骤S103的情况下，该方法不仅包括步骤S1和步骤S2，还包括步骤S301和步骤S302，其中，步骤S301和步骤S302是步骤S3的一种具体化可选实施方式。下面仅对步骤S301和步骤S302进行详细描述。
步骤S301、遍历目标虚拟视点图像中背景区域的全部像素，以确定背景区域的空洞。
其中，目标虚拟视点图像为各虚拟视点图像中的任意一者，背景区域的全部像素所对应的深度值小于或等于预设的深度值阈值；基于步骤S101至步骤S103对深度图的预处理，使得在步骤S2生成的虚拟视点图像中，除前景区域内部的空洞外，其余空洞的左侧和右侧均为背景区域，即背景区域的空洞，包括靠近前景边缘位置的空洞同样符合该特性。
图6为本公开实施例提供的一种步骤S2的流程示意图。如图6所示，在步骤S2中，根据处理后的深度图和原始图像，生成虚拟视点图像。需要说明的是，图中所示出的原始图像、深度图和虚拟视点图像之间的图像大小关系是基于为方便描述而选择的作图布局方式产生的，其不会对本公开实施例提供的技术方案产生限制，在一些实施例中，原始图像和深度图的图像大小相等，虚拟视点图像与二者的图像大小相等或不相等。
图7为图6中示出的虚拟视点图像的A部的示意图。如图7所示，图中圈出的像素信息为空值的部分即靠近前景边缘位置的空洞。靠近前景边缘位置的空洞，即进行虚拟视点图像像素信息的映射时，由于原始图像前景区域物体的移轴变换，对应原有像素位置中的部分像素，特别是边缘位置，缺少可映射的像素信息而产生的空洞。
步骤S302、针对背景区域的任一空洞，根据与该空洞在行方向上相邻的至少部分像素的像素信息，对该空洞进行填补。
其中，针对靠近前景边缘位置的空洞，同样可根据其左右两侧的背景区域像素的像素信息对其进行填补修复，结合步骤S101至步骤S103，以及步骤S301和步骤S302，以避免使用前景区域对应的像素信息填补此类空洞。
在一些实施例中，目标虚拟视点图像包括在行方向上相对设置的第一侧和第二侧，可通过最邻近插值方式从位于该空洞的第一侧和第二侧的全部像素中选择至少部分像素，用于对该空洞进行修复；或者，可根据位于该空洞的第一侧和第二侧的像素对应的权重信息选择至少部分像素，用于对该空洞进行修复；或者，可根据位于该空洞的第一侧和第二侧的像素对应的深度值选择至少部分像素，用于对该空洞进行修复。
本公开实施例提供了一种虚拟视点合成方法，该方法可用于基于前述的预处理方法，在其使得空洞两侧均为背景区域的前提下，使用该空洞两侧的背景区域像素的像素信息对其进行修复，避免使用前景区域对应的像素信息填补空洞。
图8为本公开实施例中步骤S301的一种具体实施方法流程图。具体地，目标虚拟视点图像包括在行方向上相对设置的第一侧和第二侧；如图8所示，步骤S301，遍历目标虚拟视点图像中背景区域的全部像素，以确定背景区域的空洞的步骤，包括：步骤S3011和步骤S3012。
步骤S3011、响应于目标虚拟视点图像对应的虚拟视点位于原始图像对应的参考视点的第一侧的情况，以从第一侧到第二侧的顺序遍历背景区域的全部像素。
步骤S3012、响应于目标虚拟视点图像对应的虚拟视点位于参考视点的第二侧的情况，以从第二侧到第一侧的顺序遍历背景区域的全部像素。
由此，避免将目标虚拟视点图像中前景区域对应的像素信息误归类为空洞；其中，在进行虚拟视点图像像素信息的映射时，根据虚拟视点与参考视点的位置关系，基于原始图像进行移轴变换，当虚拟视点位于参考视点的第一侧时，其虚拟视点图像中所产生的靠近前景边缘位置的空洞位于其前景物体的第一侧，相应地，当虚拟视点位于参考视点的第二侧时，其虚拟视点图像中所产生的靠近前景边缘位置的空洞位于其前景物体的第二侧。
图9为本公开实施例中步骤S302的一种具体实施方法流程图。具体地，如图9所示，步骤S302，针对背景区域的任一空洞，根据与该空洞在行方向上相邻的至少部分像素的像素信息，对该空洞进行填补的步骤，包括：步骤S3021。
步骤S3021、针对该空洞中任一行对应的行像素，根据与该行像素在行方向上最靠近的两个像素的像素信息，对该行像素进行填补。
其中，行像素即空洞中对应行的全部像素，与该行像素在行方向上最靠近的该两个像素均为背景区域的像素。
图10为本公开实施例中步骤S3021的一种具体实施方法流程图。具体地，如图10所示，步骤S3021，针对该空洞中任一行对应的行像素，根据与该行像素在行方向上最靠近的两个像素的像素信息，对该行像素进行填补的步骤包括：步骤S3021a和步骤S3021b。
步骤S3021a、响应于该两个像素属于同一视差平面的情况，根据该两个像素的像素信息通过线性插值对该行像素进行填补。
步骤S3021b、响应于该两个像素不属于同一视差平面的情况，根据该两个像素中所对应的深度值最小的像素的像素信息对该行像素进行填补。
在一些实施例中，当待修复的空洞为靠近前景边缘位置的空洞时，若处于该空洞两侧的两个像素不属于同一视差平面，与虚拟视点存在不同的远近关系，二者不同步，其中较近的像素的像素信息与前景区域对应的像素信息更接近，由此，为保证利用背景区域的像素信息进行空洞修复，当该两个像素不属于同一视差平面时，使用其中深度值更小的像素的像素信息对空洞对应行的行像素进行空洞修复。
在一些实施例中，在步骤S3021a和步骤3021b中，根据该两个像素所对应的深度值确定该两个像素是否属于同一视差平面。
图11为本公开实施例提供的又一种虚拟视点合成方法的流程图。如图11所示，该方法为基于图1所示方法的一种具体化可选实施方案。该方法不仅包括步骤S1和步骤S3，还包括步骤S201至步骤S203，其中，步骤S201至步骤S203是步骤S2的一种具体化可选实施方式。下面仅对步骤S201至步骤S203进行详细描述。
步骤S201、根据处理后的深度图中各像素的深度值确定处理后的深度图中各像素对应的距离值。
在一些实施例中，还包括，确定零视差平面，其中，零视差平面为根据原始图像和虚拟视点图像进行图像融合和三维场景重建后与播放屏幕重合的平面区域，在一些实施例中，该零视差平面的对应长度为无穷大，实际应用中该长度为可调参数，用于调节显示最终图像时的出屏入屏范围。
在一实施例中，可通过线性方式或非线性方式将深度值转换为距离值，其中，距离值对应实际距离。
具体地，通过线性方式采用如下公式：
将深度值转换为距离值，其中，i和j为像素的坐标值，D(i,j)和Z(i,j)分别表示像素对应的深度值和距离值，Znear和Zfar均为预设距离值或预先获取的固定值，分别对应最小实际距离和最大实际距离。
或者，通过非线性方式采用如下公式：
将深度值转换为距离值。
步骤S202、针对各虚拟视点图像中的任一待填充虚拟视点图像，根据其对应的焦距、其对应的基线宽度和处理后的深度图中各像素对应的距离值确定待填充虚拟视点图像中各像素对应的视差值。
其中，焦距为预设值或预先获取的固定值，基线宽度表征虚拟视点和参考视点间的距离，在一些实施例中，基线宽度为虚拟视点图像对应的虚拟视点和参考视点在零视差平面上的投影之间的水平距离。
在一些实施例中，采用如下公式：
确定视差值，其中，Dis(i,j)表示像素对应的视差值，F为焦距，B为基线宽度，Zzero为零视差平面。
步骤S203、针对待填充虚拟视点图像中的像素，根据其对应的视差值，确定其在原始图像中的对应点，并根据该对应点的像素信息进行像素填充。
在一些实施例中，采用如下公式：
Virtual[(i,j)+dire*Dis(i,j)]＝RGB(i,j)
确定待填充虚拟视点图像中的像素在原始图像中的对应点，并根据该对应点的像素信息进行像素填充，其中，dire为调整参数，dire＝±1，响应于虚拟视点位于参考视点的右侧的情况，dire为负，响应于虚拟视点位于参考视点的左侧的情况，dire为正；Virtual()表示虚拟视点图形中的像素；原始图像为彩色图像，且其色彩空间为RGB空间，RGB(i,j)为虚拟视点图像中的像素在原始图像中的对应点。
图12为本公开实施例中步骤S203的一种具体实施方法流程图。具体地，如图12所示，步骤S203，针对待填充虚拟视点图像中的像素，根据其对应的视差值，确定其在原始图像中的对应点，并根据该对应点的像素信息进行像素填充的步骤，包括：步骤S2031。
步骤S2031、响应于待填充虚拟视点图像中的单个像素在原始图像中存在多个对应点的情况，根据该多个对应点中所对应的深度值最大的对应点的像素信息，填充该单个像素。
其中，为保证待填充虚拟视点图像中的前景区域不被背景区域遮挡，当待填充虚拟视点图像中的单个像素在原始图像中存在多个对应点时，根据其中深度值最大的对应点的像素信息填充该单个像素。
在一些实施例中，还包括：响应于待填充虚拟视点图像中连续的多个像素在原始图像中不存在对应点的情况，将该多个像素确定为空洞。
图13为本公开实施例提供的一种电子设备的结构示意图。如图13所示，该电子设备包括：
一个或多个处理器101；
存储器(装置)102，其上存储有一个或多个程序，当该一个或多个程序被该一个或多个处理器执行，使得该一个或多个处理器实现如上述实施例中任一的虚拟视点合成方法；
一个或多个I/O接口103，连接在处理器与存储器之间，配置为实现处理器与存储器的信息交互。
其中，处理器101为具有数据处理能力的器件，其包括但不限于中央处理器(CPU)等；存储器102为具有数据存储能力的器件，其包括但不限于随机存取存储器(RAM，更具体如SDRAM、DDR等)、只读存储器(ROM)、带电可擦可编程只读存储器(EEPROM)、闪存(FLASH)；I/O接口(读写接口)103连接在处理器101与存储器102间，能实现处理器101与存储器102的信息交互，其包括但不限于数据总线(Bus)等。
在一些实施例中，处理器101、存储器102和I/O接口103通过总线104相互连接，进而与计算设备的其它组件连接。
在一些实施例中，该电子设备可以为显示器，用于图像显示，其显示的图像包括：原始图像、深度图、虚拟视点图像以及根据参考视点和虚拟视点对原始图像和虚拟视点图像进行图像融合和三维场景重建后生成的融合图像等。
图14为本公开实施例提供的一种计算机可读介质的结构示意图。该计算机可读介质上存储有计算机程序，其中，该程序被处理器执行时实现如上述实施例中任一的虚拟视点合成方法中的步骤。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
本文已经公开了示例实施例，并且虽然采用了具体术语，但它们仅用于并仅应当被解释为一般说明性含义，并且不用于限制的目的。在一些实例中，对本领域技术人员显而易见的是，除非另外明确指出，否则可单独使用与特定实施例相结合描述的特征、特性和/或元素，或可与其他实施例相结合描述的特征、特性和/或元件组合使用。因此，本领域技术人员将理解，在不脱离由所附的权利要求阐明的本公开的范围的情况下，可进行各种形式和细节上的改变。

Claims (10)

1.一种虚拟视点合成方法，其包括：
对原始图像对应的零视差时的深度图进行预处理，得到处理后的深度图；所述预处理的步骤包括：根据所述零视差时的深度图中各像素在行方向上的梯度，确定所述零视差时的深度图中的边缘像素；将与各所述边缘像素在行方向上相邻的n个像素确定为目标像素；根据各所述目标像素对应的预设邻域的平均深度值，调整各所述目标像素的深度值；
根据所述处理后的深度图和所述原始图像，生成多个虚拟视点各自对应的虚拟视点图像；
对各所述虚拟视点图像中的空洞进行填补，生成多个填补后的虚拟视点图像。
2.根据权利要求1所述的虚拟视点合成方法，其中，所述对各所述虚拟视点图像中的空洞进行填补，生成多个填补后的虚拟视点图像的步骤，包括：
遍历目标虚拟视点图像中背景区域的全部像素，以确定所述背景区域的空洞，其中，所述目标虚拟视点图像为各所述虚拟视点图像中的任意一者，所述背景区域的全部像素所对应的深度值小于或等于预设的深度值阈值；
针对所述背景区域的任一空洞，根据与该空洞在行方向上相邻的至少部分像素的像素信息，对该空洞进行填补。
3.根据权利要求2所述的虚拟视点合成方法，其中，所述目标虚拟视点图像包括在行方向上相对设置的第一侧和第二侧；
所述遍历目标虚拟视点图像中背景区域的全部像素，以确定所述背景区域的空洞的步骤，包括：
响应于所述目标虚拟视点图像对应的虚拟视点位于所述原始图像对应的参考视点的第一侧的情况，以从第一侧到第二侧的顺序遍历所述背景区域的全部像素；
响应于所述目标虚拟视点图像对应的虚拟视点位于所述参考视点的第二侧的情况，以从第二侧到第一侧的顺序遍历所述背景区域的全部像素。
4.根据权利要求2所述的虚拟视点合成方法，其中，所述针对所述背景区域的任一空洞，根据与该空洞在行方向上相邻的至少部分像素的像素信息，对该空洞进行填补的步骤，包括：
针对该空洞中任一行对应的行像素，根据与所述行像素在行方向上最靠近的两个像素的像素信息，对所述行像素进行填补。
5.根据权利要求4所述的虚拟视点合成方法，其中，所述针对该空洞中任一行对应的行像素，根据与所述行像素在行方向上最靠近的两个像素的像素信息，对所述行像素进行填补的步骤，包括：
响应于该两个像素属于同一视差平面的情况，根据该两个像素的像素信息通过线性插值对所述行像素进行填补；
响应于该两个像素不属于同一视差平面的情况，根据该两个像素中所对应的深度值最小的像素的像素信息对所述行像素进行填补。
6.根据权利要求5所述的虚拟视点合成方法，其中，根据该两个像素所对应的深度值确定该两个像素是否属于同一视差平面。
7.根据权利要求1所述的虚拟视点合成方法，其中，所述根据所述处理后的深度图和所述原始图像，生成多个虚拟视点各自对应的虚拟视点图像的步骤，包括：
根据所述处理后的深度图中各像素的深度值确定所述处理后的深度图中各像素对应的距离值；
针对各所述虚拟视点图像中的任一待填充虚拟视点图像，根据其对应的焦距、其对应的基线宽度和所述处理后的深度图中各像素对应的距离值确定所述待填充虚拟视点图像中各像素对应的视差值；
针对所述待填充虚拟视点图像中的像素，根据其对应的视差值，确定其在所述原始图像中的对应点，并根据该对应点的像素信息进行像素填充。
8.根据权利要求7所述的虚拟视点合成方法，其中，所述针对所述待填充虚拟视点图像中的像素，根据其对应的视差值，确定其在所述原始图像中的对应点，并根据该对应点的像素信息进行像素填充的步骤，包括：
响应于所述待填充虚拟视点图像中的单个像素在所述原始图像中存在多个对应点的情况，根据该多个对应点中所对应的深度值最大的对应点的像素信息，填充该单个像素。
9.一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的虚拟视点合成方法。
10.一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序在被处理器执行时实现如权利要求1-8中任一所述的虚拟视点合成方法中的步骤。
CN202180000061.6A 2021-01-25 2021-01-25 虚拟视点合成方法、电子设备和计算机可读介质 Active CN115176459B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/073565 WO2022155950A1 (zh) 2021-01-25 2021-01-25 虚拟视点合成方法、电子设备和计算机可读介质

Publications (2)

Publication Number Publication Date
CN115176459A CN115176459A (zh) 2022-10-11
CN115176459B true CN115176459B (zh) 2024-09-17

Family

ID=82548398

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180000061.6A Active CN115176459B (zh) 2021-01-25 2021-01-25 虚拟视点合成方法、电子设备和计算机可读介质

Country Status (4)

Country Link
US (1) US12223621B2 (zh)
EP (1) EP4149110B1 (zh)
CN (1) CN115176459B (zh)
WO (1) WO2022155950A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115937291B (zh) * 2022-09-14 2023-12-15 北京字跳网络技术有限公司 一种双目图像的生成方法、装置、电子设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102592275A (zh) * 2011-12-16 2012-07-18 天津大学 虚拟视点绘制方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2932911A1 (fr) * 2008-06-24 2009-12-25 France Telecom Procede et dispositif de remplissage des zones d'occultation d'une carte de profondeur ou de disparites estimee a partir d'au moins deux images.
KR101483659B1 (ko) * 2008-07-11 2015-01-16 삼성디스플레이 주식회사 입체영상 표시방법, 이를 수행하기 위한 표시장치
US9094660B2 (en) 2010-11-11 2015-07-28 Georgia Tech Research Corporation Hierarchical hole-filling for depth-based view synthesis in FTV and 3D video
CN102436671B (zh) * 2011-08-16 2014-04-30 上海交通大学 一种基于深度值非线性变换的虚拟视点绘制方法
CN102625127B (zh) * 2012-03-24 2014-07-23 山东大学 一种适于3d电视虚拟视点生成的优化方法
CN102724529B (zh) * 2012-05-28 2014-08-06 清华大学 虚拟视点视频序列的生成方法及生成装置
US9998726B2 (en) * 2012-06-20 2018-06-12 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
US20140002595A1 (en) 2012-06-29 2014-01-02 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Apparatus, system and method for foreground biased depth map refinement method for dibr view synthesis
KR101408719B1 (ko) * 2012-09-11 2014-06-18 (주)리얼디스퀘어 3차원 영상의 스케일 변환 장치 및 그 방법
EP2775723A1 (en) * 2013-03-07 2014-09-10 imcube labs GmbH Method, apparatus and computer program for generating a multiview image-plus-depth format
CN103731657B (zh) 2014-01-26 2016-03-16 冠捷显示科技（厦门）有限公司 一种对dibr算法处理后的含有空洞影像的空洞填充处理方法
CN104378619B (zh) 2014-11-12 2016-09-28 合肥工业大学 一种基于前后景梯度过渡的快速高效的空洞填补算法
GB2534136A (en) * 2015-01-12 2016-07-20 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
CN104780355B (zh) 2015-03-31 2017-01-04 浙江大学 一种视点合成中基于深度的空洞修复方法
CN106060512B (zh) 2016-06-28 2017-08-01 华中科技大学 一种在虚拟视点合成中选取和填补合理映射点方法
CN106060522A (zh) 2016-06-29 2016-10-26 努比亚技术有限公司 一种视频图像的处理装置及方法
MX2020009791A (es) * 2018-03-23 2020-11-11 Pcms Holdings Inc Método basado en planos multifocales para producir puntos de vista estereoscópicos en un sistema de renderizado de imágenes basado en profundidad (mfp-dibr).
US10810754B2 (en) * 2018-04-24 2020-10-20 Ford Global Technologies, Llc Simultaneous localization and mapping constraints in generative adversarial networks for monocular depth estimation
US11393113B2 (en) 2019-02-28 2022-07-19 Dolby Laboratories Licensing Corporation Hole filling for depth image based rendering
CN110062220B (zh) * 2019-04-10 2021-02-19 长春理工大学 视差层次最大化的虚拟视点图像生成方法
CN110660131B (zh) 2019-09-24 2022-12-27 宁波大学 一种基于深度背景建模的虚拟视点空洞填补方法
CN111311521A (zh) * 2020-03-12 2020-06-19 京东方科技集团股份有限公司 图像修复方法、装置和电子设备

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102592275A (zh) * 2011-12-16 2012-07-18 天津大学 虚拟视点绘制方法

Also Published As

Publication number Publication date
CN115176459A (zh) 2022-10-11
WO2022155950A1 (zh) 2022-07-28
EP4149110A4 (en) 2023-08-09
EP4149110A1 (en) 2023-03-15
EP4149110B1 (en) 2025-03-12
US20230162338A1 (en) 2023-05-25
US12223621B2 (en) 2025-02-11

Similar Documents

Publication Publication Date Title
US8711204B2 (en) Stereoscopic editing for video production, post-production and display adaptation
US9445072B2 (en) Synthesizing views based on image domain warping
US7486817B2 (en) Apparatus for and method of generating image, and computer program product
US20110254841A1 (en) Mesh generating apparatus, method and computer-readable medium, and image processing apparatus, method and computer-readable medium
US9165401B1 (en) Multi-perspective stereoscopy from light fields
CN111047709B (zh) 一种双目视觉裸眼3d图像生成方法
US11561508B2 (en) Method and apparatus for processing hologram image data
US8750600B2 (en) Apparatus and method for generating three-dimensional (3D) zoom image of stereo camera
CN104869386A (zh) 一种基于分层处理虚拟视点合成方法
WO2020187339A1 (zh) 一种裸眼3d的虚拟视点图像生成方法及便携式终端
CN108234985A (zh) 用于反向深度图渲染处理的维度变换空间下的滤波方法
US20130321409A1 (en) Method and system for rendering a stereoscopic view
CN115176459B (zh) 虚拟视点合成方法、电子设备和计算机可读介质
US9787980B2 (en) Auxiliary information map upsampling
Liu et al. An enhanced depth map based rendering method with directional depth filter and image inpainting
JP5931062B2 (ja) 立体画像処理装置、立体画像処理方法、及びプログラム
Lu et al. A survey on multiview video synthesis and editing
US10931927B2 (en) Method and system for re-projection for multiple-view displays
CN112188186B (zh) 一种基于归一化无限视点的获取裸眼3d合成图方法
KR101993961B1 (ko) 임의시점 영상의 홀 채움 방법
Hosseinpour et al. View synthesis for FTV systems based on a minimum spatial distance and correspondence field
Liu et al. 3D video rendering adaptation: a survey
Huang et al. Warping-based novel view synthesis from a binocular image for autostereoscopic displays
CN119653068A (zh) 生成3d场景的方法及电脑系统
TW202332264A (zh) 立體影像產生裝置與立體影像產生方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant