[go: up one dir, main page]

CN102124742B - 精制深度图 - Google Patents

精制深度图 Download PDF

Info

Publication number
CN102124742B
CN102124742B CN2009801321149A CN200980132114A CN102124742B CN 102124742 B CN102124742 B CN 102124742B CN 2009801321149 A CN2009801321149 A CN 2009801321149A CN 200980132114 A CN200980132114 A CN 200980132114A CN 102124742 B CN102124742 B CN 102124742B
Authority
CN
China
Prior art keywords
image
depth information
reference picture
refining
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2009801321149A
Other languages
English (en)
Other versions
CN102124742A (zh
Inventor
田栋
珀文·比巴斯·潘迪特
尹鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
International Digital Madison Patent Holding SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN102124742A publication Critical patent/CN102124742A/zh
Application granted granted Critical
Publication of CN102124742B publication Critical patent/CN102124742B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明描述了各种实施例。有几个实施例涉及精制深度图。根据本发明的一个方面，访问一组图像中的一个图像的深度信息。访问所述图像经修改的深度信息。确定一个精制图像，其表示深度信息和修改的深度信息之间的差异。提供所述精制图像和所述深度信息用于处理一组图像中一个或多个图像。

Description

精制深度图
相关申请的交叉引用
本申请享有于2008年8月20日提出的申请号为61/189,552、名称为“精制深度图”的美国临时申请的优先权，其内容在此被整体引述用于各种目的。
技术领域
本发明描述的实施例涉及编码系统。多个特定的实施例涉及精制深度图。
背景技术
目前普遍认为多视图视频编码是一项广泛应用于各个领域的关键技术，这些领域包括自由视点和三维视频应用、家庭娱乐设施和监视设施。另外，深度数据可以和每个视图相关联。深度数据通常是视图合成所必需的。多视图应用中，往往涉及到大量的视频和深度数据。因此，目前至少存在对框架结构的需求，这种框架结构有助于改进当前视频编码方案中独立视图同步播放过程中的编码效率。
多视图视频源包括同一场景的多个视图。因而，在多个视图影像之间往往存在很高的关联性。因此，除时间冗余之外还可以利用视图冗余。比如，可以通过跨越不同视图进行视图预测的方法来利用视图冗余。
实际上，三维视频系统可以编码部分视图，而其他视图将通过视图合成进行重构。当需要更高质量时，可以发送那些被跳过的视图的残留信号。此外，合成的图像可以在编码后续图像时用作参考。
发明内容
根据本发明的一个整体方面，访问一组图像中一个图像的深度信息。访问所述图像的修改的深度信息。确定一种精制图像，其基于深度信息和所述修改的深度信息之间的差异。提供所述精制图像和所述深度信息用于处理所述一组图像中的一个或多个图像。
根据另一个整体方面，访问一组图像中一个图像的深度信息。访问一个精制图像，其基于所述图像的深度信息和所述图像修改的深度信息之间的差异。确定所述图像修改的深度信息。通过所述修改的深度信息处理所述一组图像中的一个或多个图像。
本发明中结合附图及说明，提供了一个或多个实施例的详细说明。即使本发明中的实施例是通过一种具体的方式描述的，但这里必须清楚地指出所述实施例仍然可以由其他不同方式配置或体现。例如，一个实施例可以作为一种方法来实施；其也可体现为一种设备，例如，一种配置用于执行一组操作的装置或一种储存可执行一组操作指令的装置；其还可体现为一种信号。结合相应的附图和权利要求的详细描述，能够清楚地了解本发明的其他方面和特征。
附图说明
图1是一个编码器的实例示意图；
图2是一个解码器的实例示意图；
图3是一个视频发送系统的实例示意图；
图4是一个视频接收系统的实例示意图；
图5是一个视频处理设备的实例示意图；
图6是一个发送和接收带有深度信息的多视图视频的系统的实例示意图；
图7是一个用3个带有深度信息(K＝3)输入视图生成9个(N＝9)输出视图的框架结构的实例示意图；
图8是一个使用精制深度图创建一种虚拟参考视图的实例的示意图；
图9是一个编码过程的实例示意图；
图10是一个进一步阐释图9的步骤920和图12的步骤1210的示意图；
图11是一个使用精制深度图创建一种虚拟的参考视图的另一个实例的示意图；
图12是一个编码处理过程的实例示意图；
图13是一个解码处理过程的实例示意图；
图14是一个编码处理过程的实例示意图；
图15是一个解码处理过程的实例示意图；
图16是一个编码处理过程的实例示意图；
图17是一个解码处理过程的实例示意图；
图18是一个编码处理过程的实例示意图。
具体实施方式
通常，涉及本发明原理和至少一个实施例，需要理解的是，在某些情况下一个后续的视图可能通过把视图1扭曲(warp)到后续视图的位置来以视图1作为参考视图。这一扭曲通常需要或用到所述参考视图1的深度。大量的剩余使所述后续视图得以预测编码，并且我们可以精制视图1的深度从而得到更好的编码结果。这样的处理方法产生两个深度图(depth map，DM)。可以发送两个深度图，或者如本申请各种实施例所述，发送一个深度图和一个精制图像(refinement)。
一个深度图有助于编码，并且原始的深度图有助于所述解码器中的渲染(为观众合成一个虚拟视图)。编码深度图可用于生成附加参考视图(用于编码/解码)。渲染深度图可用于为用户生成附加的视图。这两种用途可能有不同的质量评估方法。例如，有助于编码的深度图可能会产生主观上看起来比较糟糕的视图。无论如何，发送两种深度图都是昂贵的。
在至少一个实施例中，我们提出发送所述精制图像而不是所述完整的第二深度图。我们还提供一种通过考虑成本在所述精制图像上迭代的方法。相对于一个给定的参考，我们可以给出每一个扭曲位置(视图)的精制图像。我们还能够以像素、分割块、宏块、切割块、帧等，或以上一个或多个等级的组合(如：帧+宏块)为单位进行信号发送或精制图像。
可以通过视图深度进行前向扭曲来扭曲一个参考视图。也可以进行反向扭曲。在反向扭曲的过程中，我们扭曲视图深度并且使用所述扭曲的深度进行回顾(反向扭曲)，从而得到属于(对应于)扭曲的参考视图中的一个给定位置处的一个参考视图的像素。
一个精制视图可以通过多种方法编码。例如，在作为一个第三组件时，可使用其他的精制图像对其进行预测编码。一个精制图像也可作为一个序列或另一视图的另一影像进行编码。
深度图像(depth image)可以通过不受编码器或解码器控制的外部装置获取，然后发送获取的深度图像用于渲染。但是，正如刚才所述，用于渲染的深度图像在编码中的效率可能并不高。此外，发明者认为对所述深度图像的两个版本独立编码和发送并不是最佳的解决方案。
在至少一个实施例中，我们提出一种使用精制深度图的框架结构。在这种框架结构中，我们提出发送所述深度图像的精制图像信号，所述深度图像可以用于修改原始的深度图像。在一个实施例中，所述原始的深度图像用于渲染，而所述修改的深度图像用于编码。所述原始深度图像的精制图像提高了编码效率。在至少一个实施例中，我们提出与所述多视图和深度序列一起发送所述原始深度图的精制图像，这样有利于提高压缩效率。
公开的至少一个实施例解决的一个问题是通过精制深度图进行高效的多视图编码。一个多视图视频序列是一组两个或多个视频序列，其从不同视点捕捉相同场景。
至少一个实施例还可应用于质量分级编码。通过接收附加的深度精制图像就可获得质量更高的编码/合成视图。
在至少一个实施例中，我们提出对所述深度图像进行精制的方法来改进所述三维视频的编码效率，从而解决以上问题。应当注意的是，所述技术并不仅限于多视图编码，还可用于多深度编码。例如，需要理解的是，本发明原理可适用于深度图编码。也就是说，我们可以精制一个深度图，并且使用所述精制图像在另一视图中对所述深度图进行预测编码。所述编码过程将涉及到以下步骤，例如，将所述精制深度图扭曲到所述“另一视图”的位置，并且使用所述扭曲的贴图作为参考对所述“另一视图”的原始深度图进行预测编码。
请注意，“深度信息(depth information)”是指关于深度的各种信息的一个通用术语。一种类型的深度信息就是“深度图”，其通常是指逐像素深度图像。其他类型的深度信息包括，例如，对每个编码区块而不是每个编码的像素使用单一的深度值。此外，深度信息可应用于整个图像，或通过如聚焦在前景物体上来应用于整个图像的一部分上。
需要理解的是，虽然本申请所述的一个或多个实施例涉及两个深度图，但是本发明原理就不仅仅限于以上内容。因此，其他实施例可能涉及到其他数量的深度图。例如，在本申请所提供的本发明原理的教导下，其他实施例可能涉及除第一和第二深度图之外的一个或多个深度图，如第三深度图，第四深度图，等等。在坚持本发明原理的精神的基础上，本领域或相关领域的普通技术人员完全可以确定除以上两个深度图之外的附加深度图的其他使用方法。
图1示出了根据本发明原理的实施例，应用本发明原理的示例视频编码器100。所述编码器100包括一个组合器105，该组合器105的输出端与变换器110的输入端信号通信连接。所述变换器110的输出端与量化器115的输入端信号通信连接。所述量化器115的输出端与熵编码器120的输入端和反向量化器125的输入端信号通信连接。所述反向量化器125的输出端与反向变换器130的输入端信号通信连接。所述反向变换器130的输出端与组合器135的第一非反向输入端信号通信连接。所述组合器135的输出端与帧内预测器145的输入端和去块效应滤波器150的输入端信号通信连接。所述去块效应滤波器150的第一输出端与参考图像储存器155(用于临时预测)的输入端和参考图像储存器160(用于交互视图预测)的第一输入端信号通信连接。所述参考图像储存器155的输出端与运动补偿器175的第一输入端和运动估计器180的第一输入端信号通信连接。所述运动估计器180的输出端与所述运动补偿器175的第二输入端信号通信连接。所述参考图像储存器160的输出端与差异估计器170的第一输入端和差异补偿器165的第一输入端信号通信连接。所述差异估计器170的输出端与所述差异补偿器165的第二输入端信号通信连接。
所述去块效应滤波器150的第二输出端与参考图像储存器171(用于生成虚拟图像)的输入端信号通信连接。所述参考图像储存器171的第一输出端与视图合成器172的第一输入端和虚拟参考视图控制器和深度精制器173的第一输入端信号通信连接。所述虚拟参考视图控制器173的第一输出端与所述视图合成器172的第二输入端信号通信连接。
所述熵编码器120的输出端、所述虚拟参考视图控制器173的第二输出端、模式决定模块195的第一输出端、以及视图选择器102的第一输出端都可分别用作所述编码器100的输出端，用于输出数码流。所述虚拟参考视图控制器和深度精制器173的第二输出端可用作所述编码器100的输入端，用于接收带内或带外的深度信号。交换器188的第一输入端(用于输入视图i图像数据)和第二输入端(用于输入视图j图像数据)可分别用作所述编码器100的输入端。所述视图合成器172的输出端(用于提供合成视图)与所述参考视图储存器160的第二输入端信号通信连接。所述视图选择器102的第二输出端确定哪些输入(例如，视图i、视图j或一个合成视图的图像数据)提供给交换器188。所述交换器188的输出端与所述组合器105的非反向输入端、所述运动补偿器175的第三输入端、所述运动估计器180的第二输入端和所述差异估计器170的第二输出端信号通信连接。所述帧内预测器145的输出端与交换器185的第一输入端信号通信连接。所述差异补偿器165的输出端经所述交换器185的第二输入端信号通信连接。所述动态补偿器175的输出端与所述交换器185的第三输入端信号通信连接。所述模式决定模块195的输出端确定哪些输入提供给所述交换器185。所述交换器185的输出端与所述组合器135的第二非反向输入端和所述组合器105的反向输入端信号通信连接。
图1的部件还可称作编码器、编码单元、或访问单元，例如：区块110、115、120中一个或全部。类似地，如区块125、130、135和150中的一个或全部可以称作解码器或解码单元。
图2示出了根据本发明原理的实施例，可应用本发明原理的示例解码器200。所述解码器200包括熵解码器205，所述熵解码器205的输出端与反向量化器210的输入端信号通信连接。所述反向量化器的输出端与反向变换器215的输入端信号通信连接。所述反向变换器215的输出端与所述组合器220的第一非反向输入端信号通信连接。所述组合器220的输出端经去块效应滤波器225的输入端和帧内预测器230的输入端信号通信连接。所述去块效应滤波器225的第一输出端与所述参考图像储存器240(用于临时预测)的输入端、参考图像储存器245(用于交互视图预测)的第一输入端、和参考图像储存器272(用于虚拟图像生成)的第一输入端信号通信连接。所述参考图像储存器240的输出端与运动补偿器235的第一输入端信号通信连接。所述参考图像储存器245的输出端经与差异补偿器250的第一输入端信号通信连接。
数码流接收器201的输出端与数码流解析器202的输入端信号通信连接。所述数码流解析器202的第一输出端(用于提供剩余数码流)与所述熵解码器205的输入端信号通信连接。所述数码流解析器202的第二输出端(用于提供控制语法来控制交换器255选择的输入)与模式选择器222的输入端信号通信连接。所述数码流解析器202的第三输出端(用于提供运动矢量)与所述运动补偿器235的第二输入端信号通信连接。所述数码流解析器202的第四输出端(用于提供差异矢量和/或亮度抵消)与所述差异补偿器250的第二输入端信号通信连接。所述数码流解析器202的第五输出端(用于提供虚拟参考视图控制和深度精制图像信息)与一个虚拟参考视图控制器和深度精制器288的第一输入端信号通信连接。所述虚拟参考视图控制器和深度精制器288的输出端与视图合成器271的第一输入端信号通信连接。所述视图合成器271的输出端与所述参考图像储存器245的第二输入端信号通信连接。所述参考图像储存器272的输出端与所述视图合成器271的第二输入端信号通信连接。需要理解的是，所述亮度抵消是一种选择性的输入，使用或不使用取决于实施例。
所述交换器255的输出端与所述组合器220的第二非反向输入端信号通信连接。所述交换器225的第一输入端与所述差异补偿器250的输出端信号通信连接。所述交换器255的第二输入端与所述运动补偿器235的输出端信号通信连接。所述交换器255的第三输入端与所述帧内预测器230的输出端信号通信连接。所述模式模块222的输出端与所述交换器255信号通信连接，用于控制所述交换器255选择哪一个输出。所述去块效应滤波器225的输出端可用作所述解码器的输出端。所述虚拟参考控制器和深度精制器288的第二输入端可用作所述解码器200的输入端来接收带内或带外的深度信号。
图2的部件还可以称作访问单元，例如，数码流解析器202和其他单独或共同提供访问特定数据或信息区块。类似地，区块205、210、215、220和225可以单独或共同被称作解码器或解码单元。
图3示出了根据本发明原理的实施例，可应用本发明原理的示例视频发送系统300。所述视频发送系统300可以是，例如，用于发送信号的头端系统或发送系统。发送信号可使用任何介质，例如，卫星、有线电视、电话线或地面广播。也可通过因特网或其他网络发送。
所述视频发送系统300能够生成及传递通过带有深度的视图内跳跃模式(inter-view skip mode)进行编码的视频内容。这个过程可通过生成编码的信号完成。所述信号包括深度信息或能够在接收器端用于合成深度信息的信息。例如，所述接收器端可能具有一个解码器。
所述视频发送系统300包括一个编码器310和一个能够发送所述编码信号的发送器320。所述编码器310接收视频信息并且通过带有深度的视图内跳跃模式生成一个(或多个)编码信号。举例来说，所述编码器310可以是以上详细描述过的编码器300。所述编码器310可以包括多个子模块，所述子模块包括，例如，一个组合单元，其可以接收和组合各种信息为一个结构化格式用于储存或传送。所述各种信息可包括，如，编码或未编码的视频、编码或未编码的深度信息，以及编码或未编码的元素，例如，运动矢量、编码方式指标和语法元素。
所述发送器320可以用于发送一个具有一个或多个数码流的程序信号，所述数码流代表编码的图像和/或相关的信息。典型的发送器执行以下一个或多个功能，例如，提供纠错编码，交织信号中的数据，随机分布信号中的能量，以及调制所述信号到一个或多个载波上。所述发送器可包括一个天线(未示出)，或与之接口。相应地，所述发送器320的实施例可以包括或仅限于一个调制器。
图4示出了根据本发明原理的实施例，可应用本发明原理的示例视频接收系统400。所述视频接收系统400可配置用于通过各种介质接收信号，例如，卫星、有线电视、电话线或地面广播。也可通过因特网或其他网络接收。
所述视频接收系统400可以是电话、电脑、机顶盒、电视、或其他接收编码视频和提供解码视频用于用户显示或储存的设备。因此，所述视频接收系统400可以提供输出到，例如，电视屏幕、电脑显示器、电脑(用于储存、处理或显示)、或其他的一些储存设备、处理设备或显示设备。
所述视频接收系统400能够接收和处理包括视频信息的视频内容。所述视频接收系统400包括一个能够接收如本申请实施例所述信号的编码信号的接收器410，以及一个能够解码所述接收信号的解码器420。
所述接收器410可用于接收程序信号，其具有代表编码图像的多个数码流。典型的接收器执行以下一个或多个功能，例如，接收一个或多个调制及编码的数据信号，从一个或多个载波中解调数据信号，去散乱所述信号的能量，去交织存取所述信号的数据，并且纠错解码所述信号。所述接收器410可包括一个天线(未示出)，或与之接口。所述接收器410的实施例可以包括或仅限于一个解调器。
所述解码器420输出的视频信号包括视频信息和深度信息。举例而言，所述解码器420可以是以上详细描述的解码器400。
图5示出了根据本发明原理的实施例，可应用本发明原理的示例视频处理设备500。所述视频处理设备500可以是机顶盒或其他接收编码视频和提供解码视频用于用户显示或储存的设备。因此，所述视频处理设备500可以提供输出给电视、电脑显示器、电脑、或其他处理设备。
所述视频处理设备500包括一个前端(front-end，FE)设备505和一个解码器510。所述前端设备505可以是一个接收器，其用于接收具有多个代表编码图像的数码流的程序信号及选择一个或多个数码流用于解码所述多个数码流。典型的接收器执行以下一个或多个功能，例如，接收一个或多个调制及编码的数据信号，解调所述数据信号，解码所述数据信号的一个或多个编码(例如信道编码和/或信源编码)，和/或纠错所述数据信号。所述前端设备505可以从天线(未示出)中接收程序信号。所述前端设备505将接收到的数据提供给所述解码器510。
所述解码器510接收一个数据信号520。所述数据信号520可以包括一个或多个高级视频编码(Advanced Video Coding，AVC)、分级视频编码(Scalable Video Coding，SVC)、或多视点视频编码(Multi-view VideoCoding，MVC)兼容流。
AVC具体指现有的国际标准化组织/国际电工技术委员会(ISO/IEC)运动图像专家组第四组(MPEG-4)高级视频编码(AVC)第十部分标准/国际电信联盟，通讯领域(ITU-T)H.264建议(以下称“H.264/MPEG-4 AVC”标准或其变更标准，如“AVC”标准或简称“AVC”)。
MVC具体指所述AVC标准的多视点视频编码(“MVC”)扩展(AnnexH)，称作H.264/MPEG-4 AVC，MVC扩展(“MVC扩展”或简称“MVC”)。
SVC具体指所述AVC标准的分级视频编码(SVC)扩展(Annex G)，称作H.264/MPEG-4 AVC，SVC扩展(“SVC扩展”或简称“SVC”)。
所述解码器510解码接收到的信号520的全部或部分，并把解码视频信号530作为输出。所述解码的视频530被提供给选择器550。所述设备500还包括一个用于接收用户输入570的用户界面560。所述用户界面560基于所述的用户输入570，向所述选择器550提供图像选择信号580。所述图像选择信号580和所述用户输入570指示哪个多图像、序列、可分级版本、视图或其他可用的解码数据是用户需要显示的。所述选择器550提供所选择的一个(或数个)图像作为输出590。所述选择器550使用所述图像选择信息580来选择所述解码视频530中的哪个图像作为所述输出590。
在各种实施例中，所述选择器550包括所述用户界面560。而其他实施例没有提供用户界面560，是因为所述选择器550直接接收所述用户输入570，而无需用到单独的界面功能。所述选择器550可以在软件中运行，也可以用作一个集成电路。在一个实施例中，所述选择器550与所述解码器510合并；而在另一个实施例中，所述解码器510、选择器550、和用户界面是一体化的。
在一个应用程序中，所述前端505接收各种电视节目广播，并选择其一进行处理。所述一个节目的选择是基于用户输入的想要观看的电视频道。虽然图5未示出前端设备505的用户输入，所述前端设备505接收所述用户输入570。所述前端设备505接收所述广播并且通过解调所述广播频谱的相关部分和解码任何一个解调节目的外部编码来处理需要的节目。所述前端设备505向所述解码器510提供解码节目。所述解码器510是一个包括设备置560和设备550的一体化装置。因此，所述解码器510接收所述用户输入，所述用户输入是指用户提供的所要观看频道的指示。所述解码器510解码所述选择的视图，以及其他视图中的任何所述的参考视图，并且提供所述解码视图590以显示在电视屏幕上(未示出)。
继续上述应用程序，所述用户可能想要转换显示的视图，并向所述解码器510提供新的输入。在接收到用户“视图转换”的命令之后，所述解码器510解码所述旧视图和新视图，以及任何一个新旧视图之间的视图。也就是说，所述解码器510解码任何一个来自于摄像机的视图，所述摄像机在物理上位于所述摄制旧视图的摄像机和所述摄制新视图的摄像机之间。所述前端设备505还接收用于识别所述旧视图、新视图、和新旧视图之间的视图的信息。所述信息可以由一个具有有关视图位置信息的控制器(图5中未示出)，或所述解码器510提供。其他实施例可使用一个与控制器集成的前端设备。
所述解码器510提供所有的解码视图作为输出590。一个后信息处理器(图5中未示出)插入所述多个视图之间以使所述旧视图能够平滑地过渡到所述新视图，并且将该过渡过程向用户显示。在向新视图过渡之后，所述后信息处理器通知(通过一个或多个通信链接，未示出)所述解码器510和所述前端设备505仅仅需要新的视图。其后，所述解码器510仅提供新视图作为输出590。
所述系统500可用于接收影像序列的多视图，呈现单个的视图用于显示，并在各种视图之间进行平滑的转换。所述平滑转换的方式可涉及在视图之间插入视图从而移至另一视图。另外，所述系统500可以允许用户循环一个物体或场景，或观看一个物体或场景的三维图像。所述物体的循环可相当于从一个视图移动到另一个视图，并在视图之间插入视图，从而在视图之间进行平滑的转换，或仅仅获得一个三维图像。也就是说，用户可以“选择”一个插入的视图作为一个待显示的“视图”。
回到本发明原理的描述和可对其应用的环境上来，需要理解的是，本发明原理可以应用到三维视频(3DV)，这是有利的。所述3DV是一种新的框架结构，其包括多视图视频和深度信息的编码图像，目的在于将所述接收器中渲染的图像生成高质量的3D图像。这样就能获得具有自动多视点显示的3D视觉体验。
图6示出了根据本发明原理的实施例，可应用本发明原理的用于发送和接收多视图视频及深度信息的示例系统600。在图6中，所述视频数据由实线表示，深度数据由虚线表示，元数据由点线表示。所述系统600可以是，但不仅限于自由视点电视系统。在发射器端610，所述系统600包括一个三维(3D)内容生产者620，其具有多个输入端用于接收一个或多个来自各个输入源的视频、深度信息、和元数据。所述输入源可以包括，但不限于，立体照相机611、深度照相机612、多幅相机设置613、和二维/三维(2D/3D)转化过程614。一个或多个网络可以被用于发送一个或多个与多视图视频编码(MVC)和数字视频广播(DVB)有关的视频、深度、和元数据。
在接收器端640，一个基于深度图像的渲染器650进行基于深度图像的渲染，并将所述信号投射到各种类型的显示器。所述基于深度图像的渲染器650能够接收显示器配置信息和用户设置。所述基于深度图像的渲染器650的输出可提供给2D显示器661、多视图3D显示器662、和/或一个头部跟踪立体显示器663中一个或多个。
为了减少待发送数据的量，所述摄像机的紧密阵列(V1、V2…V9)可以经二次采样，并且实际上只有稀疏摆放的一组摄像机捕捉到所述场景。
图7示出了根据本发明原理的实施例，可应用本发明原理的示例框架结构700，其用于从3个具有深度(K＝3)的输入视图中生成9个输出视图(N＝9)。所述框架结构700涉及一个自动立体3D显示器710、一个基于第一深度图像的渲染器720、一个基于第二深度图像的渲染器730、和一个用于解码数据的缓冲器740，其中所述自动立体3D显示器710支持多视图输出。所述解码数据一种公知的作为多视图加深度(multi-view plus depth，MVD)数据的影像。所述九个摄像机由标号V1至V9表示。相应的三个输入视图的深度图由标号D1、D5和D9表示。任何位于所述捕捉到的摄像机位置之间的虚拟摄像机位置(例如，Pos1、Pos2、Pos3)都可以通过可用的深度图(D1、D5、D9)生成，如图7所示。根据图7可知，所述用于捕捉数据的实际相机(V1、V5、V9)的底线可以很大。因而，这些摄像机之间的关联性被明显地减弱了，并且由于所述编码效率仅仅依赖于时间关联，这些摄像机的编码效率可能受到影响。此外，如图7所示，视图2、3、4、6、7、8在编码过程中被跳过了。一方面，为了重构所述遗漏的视图，所述解码器将使用视图1、5、9以及他们的深度图像。注意所获得的视图5的深度图像用于渲染所述遗漏的视图。另一方面，为了基于视图5编码视图1和视图9，可能需确定视图5的另一个不同的深度图像。因此，视图5的两个不同的深度图像都将被编码。在至少一个实施例中，我们提出在原始深度图像上编码所述精制图像，用于编码其他的视图。
此外，在至少一个实施例中，所述编码器可以发送所述剩余信号用于在所述跳过的视图中选择图像或视图以提高渲染的质量，而不是简单地跳过特定图像(即，图7所示的视图2、3、4、6、7和8)的编码。
在第一实施例和本实施例的变体实施例中，所述原始深度图像目的在于获取最佳渲染质量。所述原始深度图像被输送至所述接收端，从而用于在基于DIBR的3D显示器。任何一个多视图视频编码框架结构都可用于所述原始深度图的编码和发送，例如，MPEG-C的第三部分，或正在开发的3DV。
假设所述编码的深度图像可用于所述多视图视频编码器和解码器，那么就可以使用一个合成的视图作为参考来预测当前视图。考虑到所述原始深度图像对于多视图视频信号的编码并没有最佳化，我们提议在所述深度图像上发出一个修改的信号以将一个合成的参考视图和所述当前视图之间的预测误差降到最低。在一个实施例中，我们提议将一个深度精制图像的信号发送给每个用作参考的视图。图8示出了根据本发明原理的实施例，可应用本发明原理的使用一个精制深度图来创建一个虚拟参考视图的实例800。在图8中，VRxy代表一个虚拟的参考，其通过所述视图x精制深度从视图x合成为视图y。在图8所示的实施例中，除视图0之外，视图2具有一个附加的参考视图，即虚拟视图2，其中所述虚拟视图2通过使用所述视图0的精制深度图从视图0合成。另一方面，通过所述视图0相同的精制深度图，虚拟视图1生成为视图1的一个附加参考。在这个实施例中，所述精制深度图与所述参考视图相关联。在图8中，视图0、2、4、6中的每个视图都与所述精制深度图关联，而视图1、3、5与所述精制深度图没有关联。
我们提出使用如图9和10所示的迭代方法来精制所述深度图，从而提高所述的编码效率。
图9示出了根据本发明原理的实施例，可应用本发明原理的一个示例方法900。在步骤901中，访问所述视图i中待编码的帧。在步骤902中，重构所述参考图像列表。在步骤903中，将每个参考视图j进行循环，从而重构并将一个扭曲的参考视图添加到所述参考图像列表中。因此，需要理解的是，如果所述循环没有完成，步骤908可能将控制传递给步骤904，而不是步骤910。在步骤904中，确定是否存在参考视图j的一个精制深度图。如果是，那么将控制传递至步骤906。否则，将控制传递至步骤905。
在步骤906中，所述深度图被设为所述重构的用于编码的深度图。在步骤907中，将所述参考视图扭曲到视图i的位置。在步骤908中，将所述扭曲的参考视图添加到所述参考视图列表中。在步骤910中，将所述帧通过所述扩增的参考视图缓冲器进行编码。在步骤915中，确定当前视图是否是一个参考视图。如果是，那么将控制传递至步骤917。否则，将控制传递至步骤930。
在步骤917中，访问所述编码的深度图(用于渲染)。在步骤920中，进行呼叫1000(即图10所示的方法1000)，其涉及通过另一个预测为输入参数的视图，为所述帧(用于视图编码)获取所述精制深度图。在步骤922中，确定所述精制深度图是否可用。如果是，那么将控制传递给步骤923。否则，将控制传递给所述步骤930。
在步骤923中，找到所述深度图精制图像(depth map refinement)，即所述深度图的两个不同版本之间的差异。在步骤925中，编码所述深度图的精制图像。
在步骤930中，将所述编码帧和所述深度精制图像(如果深度精制图像存在，即可用)写入数码流。
在步骤905中，所述深度图被设置为所述编码的深度图，用于渲染。
需要理解的是，在一个实施例中，所述步骤925可能涉及通过使用一个在先的精制图像作为参考，预测编码所述精制图像。
需要进一步理解的是，在一个实施例中，步骤925可能涉及到一个精制图像，其包括在所述图像的一个层次的一个或多个等级中的独立信息。所述层次可能包括两个或以上的像素等级、分割块等级、宏块等级、切片等级、和图像等级。此外，在一个实施例中，所述精制图像包括由所述精制图像代表的每个像素的单独值，其中一个给定宏块的单独值应用于所述给定宏块中的每个像素。
还需要理解的是，在一个实施例中，所述图像的一个或多个深度信息，所述图像中修改的深度信息，以及所述精制图像都仅适用于所述图像的一部分。
图10示出了根据本发明原理的实施例，可用于精制一个深度图的示例方法1000。所述方法1000可被认为是图9所示方法900的步骤920和图12所示方法1200的步骤1210的一个示例实施例。在步骤1010中，一个将所述当前视图作为参考的目标视图被用作一个输入参数。在步骤1015中，将前一编码成本CodingCostPrev设为一个无限值。在步骤102中，将当前深度图DepthMapCurr设为原始深度图。在步骤1025中，进行视图合成，从而使用当前深度图DepthMapCurr在目标视图的所述位置生成所述虚拟视图。在步骤1030中，把虚拟视图作为参考时，估计当前编码成本CodingCostCurr。在步骤1035中，确定是否存在Abs(前一编码成本CodingCostPrev-当前编码成本CodingCostCurr)＜预定临界值ThresholdPredefined，或者当前编码成本CodingCostCurr＜编码成本临界值ThresholdCodingCost，或是编码成本是发散的。如果是(存在前三种情形中的任何一种)，那么将控制传递至步骤1036。否则，将控制传递至步骤1045。
在步骤1036中，确定编码成本是否是发散的。如果是，那么将控制传递至步骤1037。否则，将控制传递至步骤1040。
在步骤1037中，确定对所述深度图的精制是失败的，并且返回到所述呼叫器(即，图9所示方法900的步骤920)。
在步骤1045中，前一个深度图DepthMapPrev被设置作为当前深度图DepthMapCurr。在步骤1050中，基于前一深度图DepthMapPrev进行深度估计，从而获得当前深度图DepthMapCurr。在步骤1055中，将前一编码成本CodingCostPrev设为当前编码成本CodingCostCurr。
在步骤1040中，设置所述精制深度图并返回到所述呼叫器(即，图9所示方法900的步骤920)。
因此，在方法1000中，重复所述深度估计、视图合成、和编码成本估计的过程直到所述编码成本的改变值落入临界值的范围中，或所述编码值小于编码成本临界值ThresholdCodingCost，或所述编码成本是发散的。这是一个费时的过程，因为深度估计和视图合成的过程都是非常复杂的。
在所述深度精制图像的编码过程中，可以选择几种方案。在一个实例中，所述深度图的修改可以通过一个如AVC的现有视频编码标准进行编码。在另一个实施例中，我们可以将所述深度精制图像作为一个第三视图组件进行处理，并将其和所述视频信号一起编码。在另一个实例中，MVC可被用于编码所述多视图深度精制图像。
在另一个实施例中，可以将所述深度信号进行分级编码，并且可以根据不同的目的将不同的操作点抽取出来。作为一个实例，如果仅需要进行视图合成，那么就抽取较低的操作点(该较低的操作点对应于一个较低质量的深度图)。否则，如果需要视图合成和虚拟参考视图生成操作，那么就需要抽取一个较高的操作点(该较高的操作点对应于一个较高质量的深度图)。
图17示出了根据本发明原理的实施例的一个用于解码帧的示例方法1700。所述方法1700可能用于解码所述通过图9所示的方法900编码的帧。
在步骤1701中，读取一个数码流，所述数码流包括一个编码帧i，也可包括一个深度精制图像。在步骤1702中，重构一个参考图像列表。在步骤1703中，对每个参考视图j进行循环，从而构造并将一个扭曲的参考视图添加到所述参考图像列表。因此，需要理解的是，如果所述循环没有完成，那么所述步骤1708将控制传递至步骤1704，而非步骤1720。在步骤1704中，确定是否存在参考视图j的精制深度图，如果是，那么将控制传递至步骤1706。否则，将控制传递至步骤1705。
在步骤1706中，将一个深度图设置为所述重构的精制深度图以用于编码。在步骤1707中，将所述参考视图扭曲到视图i的位置。在步骤1708中，将所述扭曲的参考视图添加到所述参考图像列表。在步骤1720中，所述帧通过扩增的参考图像缓冲器进行解码。在步骤1725中，在帧中的所有切片都被解码之后，将被解码的帧到一个输出缓冲器中。在步骤1730中，确定所述当前视图是否是一个参考视图。如果是，那么将控制传递至步骤1740。否则，所述方法终止。
在步骤1740中，访问所述解码的深度图(用于渲染)。在步骤1750中，解码所述深度图的精制图像。在步骤1760中，精制相关的深度图。
在步骤1705中，将所述的深度图设置为所述编码的深度图以用于渲染。
需要理解的是，在一个实施例中，步骤1750可能涉及到通过使用前一个精制图像作为参考预测编码所述精制图像。
还需要理解的是，在一个实施例中，所述图像的一个或多个深度信息，所述图像的修改的深度信息，以及所述精制图像都仅适用于所述图像的一部分。
根据本发明原理的实施例，以下分别对应于图16和图18的方法1600和1800分别类似于方法900和1700，但是其中步骤1610和1820(相对于其对应的部分910和1720)有所改变。
图16示出了根据本发明原理的实施例，通过使用当前视图的精制深度编码一个切片的示例方法1600。在步骤1601中，访问视图i中将被编码的所述帧。在步骤1602中，重构所述参考图像列表。在步骤1603中，对每个参考视图j进行循环，从而构造并将一个扭曲的参考视图添加到所述参考图像列表。因此，需要理解的是，如果所述循环没有完成，那么所述步骤1608可能将控制传递至步骤1604，而非步骤1610。在步骤1604中，确定是否存在参考视图j的精制深度图，如果是，那么将控制传递至步骤1606。否则，将控制传递至步骤1605。
在步骤1606中，将一个深度图设置为所述重构的精制深度图，用于编码。在步骤1607中，将所述来自于视图j参考位置的深度图扭曲到所述视图i的位置。在步骤1608中，取得视图i和视图j之间区块像素的相关性。在步骤1610中，当有利于比率失真优化时，所述帧的每个区块都基于所述相关性进行编码。否则，所述帧的每个区块都以常用的方式(例如，根据一个特定的标准、建议等等)进行编码。在步骤1615中，确定所述当前视图是否是一个参考视图。如果是，那么将控制传递至步骤1617。否则，将控制传递至步骤1630。
在步骤1617中，访问所述编码的深度图(用于渲染)。在步骤1620中，在另一视图被预测为输入参数时，获得所述帧(用于视图编码)的精制深度图。在步骤1622中，确定精制深度图是否可用。如果是，那么将控制传递至步骤1623。否则，将控制传递至步骤1630。
在步骤1623中，找到所述深度图精制图像，即所述深度图的两个不同版本之间的差异。在步骤1625中，编码所述深度图的精制图像。
在步骤1630中，将所述编码的帧和所述深度精制图像(如果所述深度精制图像存在，即可用)写入数码流。
在步骤1605中，将所述深度图设置为所述编码的深度图，以用于渲染。
图18示出了根据本发明原理的实施例，用于解码帧的示例方法1800。在步骤1801中，读取一个数码流，所述数码流包括一个编码帧i，还可包括一个深度精制图像。在步骤1802中，重构一个参考图像列表。在步骤1803中，对每个参考视图j进行循环，从而构造并将一个扭曲的参考视图添加到所述参考图像列表。因此，需要理解的是，如果所述循环没有完成，那么所述步骤1808将控制传递至步骤1804，而非步骤1810。在步骤1804中，确定是否存在参考视图j的精制深度图，如果是，那么将控制传递至步骤1806。否则，将控制传递至步骤1805。
在步骤1806中，将一个深度图设置为所述重构的精制深度图，用于编码。在步骤1807中，将所述来自于视图j参考位置的深度图扭曲到所述视图i的位置。在步骤1808中，获得视图i和视图j之间区块像素的相关性。在步骤1820中，当其被作为信号发送时，所述当前帧的每个区块都基于所述相关性进行解码。否则，每个区块都以常用的方式(例如，根据一个特定的标准、建议等等)进行解码。在步骤1825中，在帧中的所有切片都被解码之后，将被解码的帧放到一个输出缓冲器中。在步骤1830中，确定所述当前视图是否是一个参考视图。如果是，那么将控制传递至步骤1840。否则，所述方法终止。
在步骤1840中，访问所述解码的深度图(用于渲染)。在步骤1850中，解码所述深度图的精制图像。在步骤1860中，精制相关的深度图。
在步骤1805中，将所述的深度图设置为所述编码的深度图，用于渲染。
在第二实施例及其变体实施例中，我们提议，当参考视图被扭曲到不同的位置时，发送相同参考视图的一个或多个深度精制视图的信号以预测不同的视图。在这种情况下，所述深度图的精制图像与待编码且待参考指数鉴定的视图相关联。图11示出了根据本发明原理的实施例，使用一个精制深度图来创建一个虚拟参考视图的另一个实例1100。在图11中，RDxy表示视图x的一个精制深度图，所述视图x用以生成合成的视图来预测视图y，即VRxy。VRxy表示一个虚拟的参考，其通过使用所述视图x的所述精制深度从视图x合成到视图y。在图11所示的一个实例中，视图2与一个源于视图0的精制深度相关联，而视图1分别与源于视图0和视图2的精制深度图相关联。也就是说，视图0的所述深度具有两个精制的版本。该实施例使得获取所述深度图精制图像的过程较实施例1的过程更加灵活，从而提高了编码的效率。
图12示出了根据本发明原理的实施例，通过基于一个精制深度图生成附加参考视图编码P或B切片的示例方法1200。在步骤1205中，对于每个参考视图，访问用于渲染的所述深度图。在步骤1210中，对于每个参考视图，进行呼叫1000，其中所述呼叫1000涉及通过另一个预测为输入参数的视图，为所述帧获取所述精制深度图(用于视图编码)。在步骤1215中，找到所述深度图精制图像，即所述深度图的两个不同版本之间的差异。在步骤1220中，确定哪个视图对视频视图的预测编码发送精制深度。在步骤1225中，编码所述选取视图的深度图的精制图像。在步骤1227中，获取所述重构的精制深度图。在步骤1228中，将所述参考视图通过一个重构的精制深度图扭曲到所述当前视图。在步骤1230中，所述视图通过一个扩增的参考图像缓冲器进行编码。在步骤1235中，将包括每个参考视图深度精制图像的编码帧写入数码流。
需要理解的是，在一个实施例中，步骤1225可涉及通过一个作为参考的在先精制图像对所述精制图像进行预测编码。
需要进一步理解的是，在一个实施例中，步骤1225可能涉及在所述图像一个层次的一个或多个等级中包括独立信息的精制图像。所述层次可能包括两个或以上的像素等级、切割块等级、宏块等级、切片等级、和图像等级。此外，在一个实施例中，所述精制图像包括所述精制图像代表的每个像素的单独值，其中一个给定宏块的单独值应用于所述给定宏块中的每个像素。
还需要理解的是，在一个实施例中，所述图像的一个或多个深度信息，所述图像中修改的深度信息，以及所述精制图像都仅适用于所述图像的一部分。
至于图12所示方法1200的步骤1215，我们建议将所述编码成本作为标准来精制每个参考视图的深度图。从压缩的观点来看，也许并不是所有的精制深度图都利于所述当前视图的编码，因此如果一个参考视图的所述精制深度视图是有用的并且待传送那么就需要作出一个决定。对于所选的参考视图，我们提议将所述相应的虚拟参考置于所述参考缓冲器的前端。也就是说，它们都被指定一个较低的参考指数。或者所选参考视图可以在另一个较高的等级进行信号发送，其中所述较高的等级包括但不仅限于序列参数集或图像参数集。在一个实施例中，以上所述的标准可能包括，但不仅限于一个或多个以下的条件：(1)所述成本函数不超过临界数量，该临界数量低于最后成本函数；(2)所述成本函数不低于临界值；并且(3)所述成本函数还没有增加，或还没有增加至大于次数的临界次数，或还没有增加至大于临界数量或临界百分数。
图13示出了根据本发明原理的实施例，解码P或B切片的示例方法1300，其中所述P或B切片可以通过基于一个精制深度图生成的虚拟参考视图进行预测。在步骤1305中，读取一个数码流，所述数码流包括一个帧，也可包括每个参考视图的一个深度精制图像。在步骤1310中，解码每个可用的参考视图的一个深度图精制图像。在步骤1312中，访问每个参考视图的所述解码的深度图(用于渲染)，所述参考视图包括深度精制图像。在步骤1314中，在所述解码的深度图和每个参考视图的精制图像的基础上获取所述精制的深度。在步骤1315中，通过所述精制深度将扭曲所述解码的参考视图，从而生成数个虚拟参考。在步骤1320中，将所述虚拟参考放入一个参考图像解码器。在步骤1325中，所述帧(或所述帧中的切片)通过扩增的参考图像解码器进行解码。在步骤1330中，在帧中的所有切片都被解码之后，将被解码的帧放到一个输出缓冲器中。
需要理解的是，在一个实施例中，步骤1310可能涉及到通过使用一个之前的精制图像作为参考预测编码所述精制图像。
还需要理解的是，在一个实施例中，所述图像的一个或多个深度信息，所述图像的修改的深度信息，以及所述精制图像都仅适用于所述图像的一部分。
在第三实施例及其变体实施例中，我们提议对所述的深度信息进行精制，并将深度信息的信号在一个或多个不同的等级进行发送。以上等级可能包括像素等级、切割块等级、宏块等级、切片等级、和图像等级、字段等级和帧等级。相应的，虽然深度信息的精制可能同时对一整个图像进行(例如，一个字段或一个帧)，其还可以(或选择性地)对所述图像的部分进行。
在多个实施例中，使用已知的技术生成深度信息的精制图形，可能在每次迭代中生成不同的精制图像。这种技术可以被用于生成一个图像整个深度图的精制图像。同样地，这种技术也可以被用于或外推到生成所述图像部分相关深度信息的精制图像。该技术可能将深度的精制图像集中到诸如平坦区或具有较高深度间断的区域之类的特定区域。
所述第三实施例的变体实施例如下。对于多视图视频编码(MVC)，我们提出一种视图间跳跃模式。每个区块单独的深度值通过某种隐性的方法获得。例如，我们提出将所述区块的深度设置为所述左上像素的深度。然后一个基于所述摄像机参数的3D投影程序和所述深度信息将会从所述邻近的视图识别出相应的区块。如果所述相应的区块在足够的程度上类似所述的当前区块，那么所述视图间跳跃模式将会作为信号发送到所述数码流，并且所述当前区块将被跳过以便进行进一步的编码。
但是，一个区块的深度不一定总是通过固定方法高效地获得。在本实施例中，在特定获得的深度值的精制图像作为一种加强的选择方案进行发送。所述深度精制图像的信号发射可以被设计为一种分层的方式。例如，其可以在不同的等级出现。所述等级包括，但不仅限于切片等级、宏块等级(16×16)；或子区块等级(16×8，8×16，8×8，8×4，4×8，或4×4)。在至少一个实施例中，一个语法元素深度集(depthf)表示所述深度精制图像。具体而说，depthf可以直接表示所选择的深度精制图像(如图9和图10所示)，或者甚至是深度图像预测和所选的深度精制图像之间的差异。
在其他实施例中，一个给定部分的所述深度精制图像(例如：当前宏块)的信号作为第一部分(例如，所述图像或所述切片的第一宏块)的所述深度精制图像中的差异予以发送。因此，如果一系列宏块的深度精制图像落入一个小范围当中，即使其绝对值是相当大的，那么在所述第一精制图像的信号发送后，也仅有几个比特位需要进行分配以对这一系列剩余的深度精制图像进行发送。
各种实施例还使用一个或多个相邻元素来预测一个深度精制图像。所述相邻元素可以包括，例如，(i)所有或部分临时的相邻图像，(ii)一个空间上相邻的宏块，以及(iii)来自于相同或不同时刻的相邻视图。
在至少一个实施例中，带有深度精制图像的视图间跳跃方式通过所述语法中的depth_skip_flag作为信号发送。
图14示出了根据本发明原理的实施例，通过使用一个当前视图的精制深度对一个切片进行编码的示例方法1400。在步骤1404中，将锚点和非锚点图像参考设置在所述SPS扩展中。在步骤1408中，图像数由变量N表示，并且变量i和j初始化为0。在步骤1410中，确定是否i小于N。如果是，那么将控制传递至步骤1412。否则，将控制传递至步骤1432。
在步骤1412中，确定是否j小于视图i的图像数。如果是，那么将控制传递至步骤1414。否则，将控制传递至步骤1438。
在步骤1414中，开始编码所述当前宏块。在步骤1416中，检验宏块模式。在步骤1418中，检验深度跳跃宏块模式，并选择所述深度精制图像，即，depthf。在步骤1420中，确定深度跳跃式是否是最佳模式。如果是，那么将控制传递至步骤1422。否则，将控制传递至步骤1440。
在步骤1422中，将depth_skip_flag设置为1，并且编码深度集。
在步骤1424中，编码所述当前宏块。在步骤1426中，确定是否所有的宏块都已经被编码。如果是，那么将控制传递至步骤1428。否则，控制就回到步骤1414。
在步骤1428中，变量j增加。在步骤1430中，frame_num和图像序列号(picture order count，POC)增加。
在步骤1438中，变量i增加，并且重设frame_num和图像序列号。
在步骤1440中，将depth_skip_flag设置为0。
在步骤1432中，确定是否在带内发送所述序列参数集(sequenceparameter set，SPS)、图像参数集(picture parameter set，PPS)、和视图参数集(view parameter set，VPS)。如果是，那么将控制传递至步骤1434。否则，将控制传递至步骤1442。
在步骤1434中，将所述SPS、PPS和VPS信号在带内发送。在步骤1436中，将所述数码流写入一个文件夹或在网络中传送。
在步骤1442中，将所述SPS、PPS和VPS信号在带外发送。
图15示出了根据本发明原理的实施例，通过使用一个当前视图的精制深度对一个切片进行解码的示例方法1500。在步骤1504中，将所述视图的ID(view_id)从所述SPS、PPS、VPS、片头或网络抽象层(networkabstraction layer，NAL)单元头中解析出来。在步骤1506中，将其他的SPS参数被解析出来。在步骤1508中，确定是否当前图像需要解码。如果是，那么将控制传递至步骤1510。否则将控制传递至步骤1530。
在步骤1510中，确定是否POC(curr)等于POC(prev)。如果是，那么将控制传递至步骤1512。否则，将控制传递至步骤1514。
在步骤1512中，将view_num设置为等于0。
在步骤1514中，将view_id信息编入一个高的等级，从而确定所述视图编码序列，并且view_num增加。
在步骤1516中，解析所述片头。在步骤1518中，解析宏块等级数据、depth_skip_flag和depthf。在步骤1520中，确定是否depth_skip_flag等于1。如果是，那么将控制传递至步骤1522。否则，将控制传递至步骤1532。
在步骤1522中，depthf用于精制所述深度值，以及通过深度跳跃模式解码所述宏块。
在步骤1524中，确定是否所有的宏块都已处理完毕(即，被解码)。如果是，那么将控制传递至步骤1526。否则，控制就返回步骤1518。
在步骤1526中，将所述当前图像插入所述解码图像缓冲器。在步骤1528，确定是否所有的图像都已经被解码。如果是，那么所述方法终止。否则，将控制返回步骤1516。
在步骤1530中，获取下一个图像。
在步骤1532中，使用其他模式解码当前宏块(除了步骤1522中深度跳跃模式)。
本说明书中根据本发明原理或其变体实施例的“一个实例”或“一个实施例”指包括在本发明原理的至少一个实施例中连同所述实施例一起说明的一个特定特征、结构、特点等。因此，当本说明书中的各个部分出现“在一个实例中”或“在一个实施例中”以及其他有类似的语句时，这样的语句不一定都是指的同一个实施例。
需要理解的是，当使用“/”、“和/或”、以及“…中至少一个…”等用语时，例如，在“A/B”、“A和/或B”、以及“A和B中至少一个”的情况下，这样的符号或语句旨在包括仅选择所列的第一选项(A)，或仅选择所列的第二选项(B)，或同时选择两个选项(A和B)这三种情况。再比如，在“A、B和/或C”和“A、B和C中至少一个”的情况下，这样的语句旨在包括仅选择所列的第一选项(A)、或仅选择所列的第二选项(B)、或仅选择所列的第三选项(C)、或仅选择所列的第一选项和第二选项(A和B)、或仅选择所列的第一选项和第三选项(A和C)、或仅选择所列的第二选项和第三选项(B和C)、或同时选择三个选项(A和B和C)这七中情况。这种方法可扩展到其他所列的方法中，这对本领域普通的技术人员是显而易见的。
实施例中可以通过各种技术发送信号，其包括但不仅限于带内信息、带外信息、数据流数据、隐性信令和显性信令。在各种实施例和/或标准中，带内信息和显性信令可以包括片头、SEI消息、其他高级语法、和非高级语法。相应地，虽然本申请的实施例可以通过特定的上下文进行说明，但是这样的说明并非旨在将所述特征和概念局限在所述实施例或上下文中。
本申请的实施例和特征描述可能用于所述MPEG-4 AVC标准、或包括MVC扩展的MPEG-4 AVC标准、或包括SVC扩展的MPEG-4 AVC标准。但是，以上实施例和特征可能用于其他(现有或将来的)标准和/或建议的上下文中，或用于不涉及任何标准和/或建议的上下文中。
本申请的实施例可以适用于一种方法或流程、一种设备、一种软件程序、一种数据流、或一种信号。即使其仅仅在单一形式实施例的上下文中进行讨论(例如，仅仅作为方法来讨论)，所讨论的特征的实施例也可以通过其他的形式(例如，一种设备或程序)来实施。一种设备可以在适当的硬件、软件、和固件中实施。所述方法可以在诸如处理器之类的设备中实施，其中所述处理器指通常意义上的处理设备，如包括电脑、微处理器、集成电路、或可编程逻辑器件。所述处理器还包括通信设备，如：电脑、电话、便携式/个人数字助理(“PDA”)和其他便于终端用户进行信息通信的设备。
本申请各种流程的实施例可以体现在各种不同的设备和应用程序中，特别是诸如与数据编码和解码相关的设备或应用中。这种设备包括，如：编码器、解码器、处理来自解码器输信息的后信息处理器、向编码器提供输入信息的预处理器、视频编码器、视频解码器、视频编码解码器、网络服务器、机顶盒、笔记本电脑、个人电脑、电话、个人数字助理和其他通信设备。需要说明的是，所述设备可以是移动的，甚至可以是安装在移动装置上的。
此外，所述方法可以通过处理器发出的指令执行。所述指令(和/或由执行程序生成的数据值)可以储存在处理器可读介质中，其中处理器可读介质如集成电路、软件载体或其他诸如硬盘、压缩软盘、随机存取存储器(“RAM”)或只读存储器(“ROM”)之类的存储设备。所述指令可以形成一种具体存储在处理器可读介质中的应用程序。所述指令可以存在于硬件、固件、软件、或其组合中。所述指令可以出现在操作系统、独立的应用程序或两者的组合中。因此，一个处理器的特征可以是，例如，一个配置来执行一个程序的设备或一个包括具有执行程序指令的处理器可读介质的设备(如存储设备)。此外，除了指令，处理器可读介质还可以存储实施例中生成的数据值。
对于本领域普通的技术人员显而易见的是，实施例中可以生成各种信号，所述信号的形式可以载送待储存或待发送的信息。所述信息可包括，如，实施一种方法的指令，或由所述执行程序之一生成的数据。例如，一个信号可以进行格式处理以作为数据载送读写一个所述实施例语法的规则，或作为数据载送由一个所述实施例缩写的实际语法值。这样的信号可以格式处理为，例如，一种电磁波(如使用频谱射频部分)或处理为一种基带信号。所述格式化处理可以包括，例如，编码一个数据流，以及通过所述编码的数据流来调制一个载波。所述信号载送的信息可以是模拟信息或数字信息。所述信号可以通过各种不同有线或无线的链接进行发送。所述信号可以储存在一个处理器可读介质中。
虽然本申请描述了大量的实施例，但是需要理解的是，还可以对实施例进行各种修改。例如，不同实施例的元素可以相互结合、补充、修改、或删除，从而生成另外的实施例。此外，本领域普通的技术人员能够理解其他的结构和流程也可以代替本申请所公开的实施例，并且生成的实施例至少具有与本申请公开的实施例基本相同的功能，并且以基本相同的方法取得基本相同的结果。相应地，本申请考虑到这些实施例及其他的实施例，并将其概括到本申请的权利要求中。

Claims (44)

1.一种视频编码方法，包括：
访问一组图像中参考图像的深度信息，所述一组图像包括所述参考图像和目标图像，所述参考图像来自位于参考位置的参考视图，并且，所述目标图像来自位于不同于所述参考位置的目标位置的目标视图；
访问所述参考图像的修改的深度信息，其中，与所述深度信息相比较，所述修改的深度信息降低编码所述目标图像的成本函数；
确定精制图像，其基于所述深度信息和所述修改的深度信息之间的差异；
基于所述修改的深度信息，将所述参考图像从所述参考位置扭曲到所述目标位置；
基于扭曲的参考图像，编码所述目标图像；以及
随同提供所述精制图像和所述深度信息提供所述编码的目标图像。
2.根据权利要求1所述的方法，其中编码所述目标图像包括：使用所述扭曲的参考图像作为参考预测编码所述目标图像。
3.根据权利要求1所述的方法，其中所述深度信息被提供用于基于所述参考图像渲染新图像用于显示。
4.根据权利要求1所述的方法，其中扭曲所述参考图像包括：
基于所述修改的深度信息，将所述参考图像从参考位置前向扭曲到所述目标位置。
5.根据权利要求1所述的方法，还包括：
修改所述参考图像的深度信息生成修改的深度信息，其中所做的修改用于降低编码所述目标图像的成本函数，所述成本函数包含比率和失真。
6.根据权利要求5所述的方法，其中所述成本函数包含以下一个或多个：
编码精制图像的比率；
基于扭曲参考图像编码所述目标图像的比率，其中所述参考图像利用修改的深度信息而不是深度信息获得，或
基于扭曲参考图像编码所述目标图像的失真，其中所述参考图像利用修改的深度信息而不是深度信息获得。
7.根据权利要求5所述的方法，其中修改所述深度信息包括：只要每次迭代时成本函数满足一个或多个标准，就迭代地修改所述深度信息。
8.根据权利要求7所述的方法，其中所述一个或多个标准包含以下标准中的一个或多个：
所述成本函数不超过临界数量，该临界数量低于最后成本函数；
所述成本函数不低于临界值；并且
所述成本函数还没有增加，或还没有增加至大于临界次数，或还没有增加至大于临界数量或临界百分数。
9.根据权利要求1所述的方法，还包括修改所述参考图像的深度信息以生成修改的深度信息。
10.根据权利要求1所述的方法，其中提供所述精制图像包括：编码所述精制图像并提供编码的精制图像。
11.根据权利要求10所述的方法，其中编码所述精制图像包括：使用在先的精制图像作为参考预测编码所述精制图像。
12.根据权利要求1所述的方法，其中确定所述精制图像包括：设置精制图像，使其等于所述深度信息和所述修改的深度信息之间的差异。
13.根据权利要求1所述的方法，其中所述深度信息包括包含所述深度信息的深度图。
14.根据权利要求1所述的方法，其中所述一组图像包括来自第三视图的另一目标图像，所述参考图像在编码所述另一目标图像时也被用作参考，所述第三视图位于不同于所述参考位置和所述目标位置的第三位置，并且，所述方法还包括：
访问所述图像的第三视图的修改的深度信息；
确定第三视图精制图像，其基于所述深度信息和所述第三视图的修改的深度信息之间的差异；以及
提供所述第三视图精制图像和深度信息，用于处理所述一组图像中的一个或多个图像。
15.根据权利要求14所述的方法，还包括：
基于所述第三视图的修改的深度信息，编码所述另一目标图像；以及
提供所述第三视图精制图像和所述深度信息的同时，提供编码的另一目标图像。
16.根据权利要求15所述的方法，其中基于所述第三视图的修改的深度信息，编码另一个目标图像包括：
基于所述第三视图的修改的深度信息，将所述参考图像从参考位置扭曲到第三位置；以及
基于所述第三视图扭曲的参考图像，编码所述另一目标图像。
17.根据权利要求1所述的方法，其中：
所述精制图像包括图像层次的多个等级中某一等级的单独信息，所述层次包括像素等级、分割块等级、宏块等级、切片等级和图像等级。
18.根据权利要求17所述的方法，其中所述精制图像包括所述精制图像代表的每个像素的单独值。
19.根据权利要求17所述的方法，其中所述精制图像包括所述精制图像代表的每个宏块的单独值，且给定宏块的所述单独值应用于所述给定宏块内的每个像素。
20.根据权利要求1所述的方法，其中所述图像的深度信息、所述图像的修改的深度信息、和所述精制图像仅应用于图像的一部分。
21.一种视频编码设备，包括：
用于访问一组图像中参考图像的深度信息的装置，所述一组图像包括所述参考图像和目标图像，所述参考图像来自位于参考位置的参考视图，并且，所述目标图像来自位于不同于所述参考位置的目标位置的目标视图；
用于访问所述参考图像的修改的深度信息的装置，其中，与所述深度信息相比较，所述修改的深度信息降低编码所述目标图像的成本函数；
用于确定精制图像的装置，所述精制图像基于所述深度信息和所述修改的深度信息之间的差异；
用于基于所述修改的深度信息将所述参考图像从所述参考位置扭曲到所述目标位置的装置；
用于基于扭曲的参考图像编码所述目标图像的装置；以及
用于随同提供所述精制图像和所述深度信息提供所述编码的目标图像的装置。
22.一种视频编码设备，包括：
访问单元，用于访问一组图像中参考图像的深度信息，所述一组图像包括所述参考图像和目标图像，所述参考图像来自位于参考位置的参考视图，并且，所述目标图像来自位于不同于所述参考位置的目标位置的目标视图，和用于访问所述参考图像的修改的深度信息，其中，与所述深度信息相比较，所述修改的深度信息降低编码所述目标图像的成本函数；以及
深度精制器，用于
(i)确定精制图像，所述精制图像基于所述深度信息和所述修改的深度信息之间的差异，
(ii)基于所述修改的深度信息，将所述参考图像从所述参考位置扭曲到所述目标位置，
(iii)基于扭曲的参考图像，编码所述目标图像，以及
(iv)随同提供所述精制图像和所述深度信息提供所述编码的目标图像。
23.根据权利要求22所述的设备，其中所述设备被实现在视频编码器中。
24.一种视频发送设备，包括：
访问单元，用于访问一组图像中参考图像的深度信息，所述一组图像包括所述参考图像和目标图像，所述参考图像来自位于参考位置的参考视图，并且，所述目标图像来自位于不同于所述参考位置的目标位置的目标视图，和用于访问所述参考图像的修改的深度信息，其中，与所述深度信息相比较，所述修改的深度信息降低编码所述目标图像的成本函数；
深度精制器，用于
(i)确定精制图像，所述精制图像基于深度信息和经修改的深度信息之间的差异，
(ii)基于所述修改的深度信息，将所述参考图像从所述参考位置扭曲到所述目标位置，
(iii)基于扭曲的参考图像，编码所述目标图像，以及
(iv)随同提供所述精制图像和所述深度信息提供所述编码的目标图像；以及
调制器，用于调制信号，所述信号包括所述精制图像和所述深度信息。
25.一种视频解码方法，包括：
访问目标图像的编码；
访问解码的参考图像，所述参考图像来自位于参考位置的参考视图，并且，所述目标图像来自位于不同于所述参考位置的目标位置的目标视图；
访问参考图像的深度信息，该深度信息包括解码的深度图；
访问精制图像，其基于所述参考图像的深度信息和所述参考图像修改的深度信息之间的差异，其中，与所述深度信息相比较，所述修改的深度信息降低编码所述目标图像的成本函数；
确定所述参考图像的修改的深度信息；
基于所述修改的深度信息，将所述解码的参考图像从所述参考位置扭曲到所述目标位置；以及
基于扭曲的解码的参考图像，将所述目标图像解码以产生解码的目标图像。
26.根据权利要求25所述的方法，其中，扭曲所述解码的参考图像包括：
基于所述修改的深度信息，将所述解码的参考图像从所述参考位置前向扭曲到所述目标位置。
27.根据权利要求26所述的方法，其中，成本函数包含比率和失真。
28.根据权利要求27所述的方法，其中所述成本函数包含以下一个或多个：
编码精制图像的比率；
基于扭曲参考图像编码目标图像的比率，其中所述参考图像利用修改的深度信息而不是深度信息获得；以及
基于扭曲参考图像编码目标图像的失真，其中所述参考图像利用修改的深度信息而不是深度信息获得。
29.根据权利要求25所述的方法，其中所访问的精制图像包括编码的精制图像。
30.根据权利要求29所述的方法，其中所述编码的精制图像已经利用在先的精制图像作为参考进行预测编码。
31.根据权利要求25所述的方法，其中所访问的精制图像等于所述深度信息和所述修改的深度信息之间的差异。
32.根据权利要求25所述的方法，其中所述深度信息包括包含所述深度信息的深度图。
33.根据权利要求25所述的方法，其中另一目标图像来自第三视图，所述参考图像在编码另一个目标图像时也已经被用作参考，所述第三视图位于不同于所述参考位置和所述目标位置的第三位置，并且，所述方法还包括：
访问第三视图精制图像，所述第三视图精制图像基于所述深度信息和第三视图的修改的深度信息之间的差异；
确定所述参考图像的第三视图的修改的深度信息；以及
利用所述第三视图的修改的深度信息处理所述另一目标图像。
34.根据权利要求33所述的方法，还包括：
基于第三视图的修改的深度信息解码另一目标图像；以及
提供所述解码的另一目标图像用于处理或显示。
35.根据权利要求34所述的方法，其中基于所述第三视图的修改的深度信息解码另一目标图像包括：
基于述第三视图的修改的深度信息，将所述参考图像从所述参考位置扭曲到所述第三位置；以及
基于所述第三视图的扭曲的参考图像，解码另一目标图像。
36.根据权利要求25所述的方法，其中：
所述精制图像包括图像层次的多个等级中某一等级的单独信息，所述层次包括像素等级、分割块等级、宏块等级、切片等级、和图像等级。
37.根据权利要求36所述的方法，其中所述精制图像包括所述精制图像代表的每个像素的单独值。
38.根据权利要求36所述的方法，其中所述精制图像包括所述精制图代表的每个宏块的单独值，且给定宏块的单独值应用于所述给定宏块内的每个像素。
39.根据权利要求25所述的方法，其中所述参考图像的深度信息、所述参考图像的修改的深度信息、和所述精制图像仅应用于参考图像的一部分。
40.根据权利要求25所述的方法，还包括：
利用所述参考视图和所述深度信息渲染来自于虚拟视图的图像。
41.一种视频解码设备，包括：
用于访问目标图像的编码的装置；
用于访问解码的参考图像的装置，所述参考图像来自位于参考位置的参考视图，并且，所述目标图像来自位于不同于所述参考位置的目标位置的目标视图；
用于访问所述参考图像的深度信息的装置；
用于访问精制图像的装置，所述精制图像基于所述参考图像的深度信息和所述参考图像的修改的深度信息之间的差异，其中，与所述深度信息相比较，所述修改的深度信息降低编码所述目标图像的成本函数；
用于确定所述参考图像的修改的深度信息的装置；
用于基于所述修改的深度信息将所述解码的参考图像从所述参考位置扭曲到所述目标位置的装置；以及
用于基于扭曲的解码的参考图像将所述目标图像解码以产生解码的目标图像。
42.一种视频处理设备，包括：
访问单元，用于
(i)访问目标图像的编码，
(ii)访问解码的参考图像，所述参考图像来自位于参考位置的参考视图，并且，所述目标图像来自位于不同于所述参考位置的目标位置的目标视图，
(iii)访问所述参考图像的深度信息，以及
(iv)访问精制图像，所述精制图像基于所述参考图像的深度信息和所述参考图像的修改的深度信息之间的差异，其中，与所述深度信息相比较，所述修改的深度信息降低编码所述目标图像的成本函数；以及深度精制器，用于
(i)确定所述参考图像的修改的深度信息，
(ii)基于所述修改的深度信息，将所述解码的参考图像从所述参考位置扭曲到所述目标位置，以及
(iii)基于扭曲的解码的参考图像，将所述目标图像解码以产生解码的目标图像。
43.根据权利要求42所述的设备，其中所述设备被实现在视频编码器和视频解码器的至少一个中。
44.一种视频接收设备，包括：
解调器，用于接收和解调信号，所述信号包括一组图像的编码视频信息、所述一组图像中图像的深度信息、和精制图像，所述精制图像基于所述图像的深度信息和所述图像的修改的深度信息之间的差异；以及
访问单元，用于
(i)访问目标图像的编码，
(ii)访问解码的参考图像，所述参考图像来自位于参考位置的参考视图，并且，所述目标图像来自位于不同于所述参考位置的目标位置的目标视图，
(iii)访问所述参考图像的深度信息，以及
(iv)访问精制图像，所述精制图像基于所述参考图像的深度信息和所述参考图像的修改的深度信息之间的差异，其中，与所述深度信息相比较，所述修改的深度信息降低编码所述目标图像的成本函数；以及
深度精制器，用于
(i)确定所述参考图像的修改的深度信息，
(ii)基于所述修改的深度信息，将所述解码的参考图像从所述参考位置扭曲到所述目标位置，以及
(iii)基于扭曲的解码的参考图像，将所述目标图像解码以产生解码的目标图像。
CN2009801321149A 2008-08-20 2009-08-06 精制深度图 Active CN102124742B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US18955208P 2008-08-20 2008-08-20
US61/189,552 2008-08-20
PCT/US2009/004555 WO2010021666A1 (en) 2008-08-20 2009-08-06 Refined depth map

Publications (2)

Publication Number Publication Date
CN102124742A CN102124742A (zh) 2011-07-13
CN102124742B true CN102124742B (zh) 2013-09-11

Family

ID=41217611

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801321149A Active CN102124742B (zh) 2008-08-20 2009-08-06 精制深度图

Country Status (7)

Country Link
US (1) US9179153B2 (zh)
EP (1) EP2329653B1 (zh)
JP (1) JP5566385B2 (zh)
KR (1) KR101663819B1 (zh)
CN (1) CN102124742B (zh)
BR (1) BRPI0916963A2 (zh)
WO (1) WO2010021666A1 (zh)

Families Citing this family (96)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7983835B2 (en) 2004-11-03 2011-07-19 Lagassey Paul J Modular intelligent transportation system
WO2009131703A2 (en) * 2008-04-25 2009-10-29 Thomson Licensing Coding of depth signal
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
CN102037717B (zh) 2008-05-20 2013-11-06 派力肯成像公司 使用具有异构成像器的单片相机阵列的图像拍摄和图像处理
JP5566385B2 (ja) 2008-08-20 2014-08-06 トムソン ライセンシング 洗練された奥行きマップ
BRPI0924045A2 (pt) 2009-01-07 2017-07-11 Thomson Licensing Estimação de profundidade conjunta
US20110292044A1 (en) * 2009-02-13 2011-12-01 Kim Woo-Shik Depth map coding using video information
EP2502115A4 (en) 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
US9426441B2 (en) 2010-03-08 2016-08-23 Dolby Laboratories Licensing Corporation Methods for carrying and transmitting 3D z-norm attributes in digital TV closed captioning
SG10201503516VA (en) 2010-05-12 2015-06-29 Pelican Imaging Corp Architectures for imager arrays and array cameras
EP2636222A1 (en) * 2010-11-04 2013-09-11 Koninklijke Philips Electronics N.V. Generation of depth indication maps
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
JP5617624B2 (ja) * 2010-12-28 2014-11-05 ソニー株式会社 立体画像表示装置
US9979961B2 (en) 2011-03-18 2018-05-22 Sony Corporation Image processing device and image processing method
CA2827621C (en) 2011-03-18 2019-02-26 Sony Corporation Image processing apparatus and image processing method
US9519994B2 (en) * 2011-04-15 2016-12-13 Dolby Laboratories Licensing Corporation Systems and methods for rendering 3D image independent of display size and viewing distance
CN107404609B (zh) 2011-05-11 2020-02-11 快图有限公司 用于传送阵列照相机图像数据的方法
EP2717572B1 (en) * 2011-06-24 2018-08-08 LG Electronics Inc. Encoding/decoding method and apparatus using a skip mode
US9363535B2 (en) 2011-07-22 2016-06-07 Qualcomm Incorporated Coding motion depth maps with depth range variation
EP2753080A4 (en) 2011-08-31 2015-04-29 Sony Corp ENCODING DEVICE, ENCODING METHOD, DECODING DEVICE, AND DECODING METHOD
US20130070060A1 (en) 2011-09-19 2013-03-21 Pelican Imaging Corporation Systems and methods for determining depth from multiple views of a scene that include aliasing using hypothesized fusion
KR102002165B1 (ko) 2011-09-28 2019-07-25 포토내이션 리미티드 라이트 필드 이미지 파일의 인코딩 및 디코딩을 위한 시스템 및 방법
JP5954668B2 (ja) * 2011-10-11 2016-07-20 パナソニックＩｐマネジメント株式会社 画像処理装置、撮像装置および画像処理方法
WO2013068491A1 (en) * 2011-11-11 2013-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-view coding with exploitation of renderable portions
EP2777256B1 (en) 2011-11-11 2017-03-29 GE Video Compression, LLC Multi-view coding with effective handling of renderable portions
EP2777273B1 (en) 2011-11-11 2019-09-04 GE Video Compression, LLC Efficient multi-view coding using depth-map estimate for a dependent view
KR101662918B1 (ko) 2011-11-11 2016-10-05 지이 비디오 컴프레션, 엘엘씨 깊이-맵 추정 및 업데이트를 사용한 효율적인 멀티-뷰 코딩
EP2781091B1 (en) 2011-11-18 2020-04-08 GE Video Compression, LLC Multi-view coding with efficient residual handling
CN103139569B (zh) * 2011-11-23 2016-08-10 华为技术有限公司 多视点视频的编码、解码方法、装置和编解码器
US9661310B2 (en) * 2011-11-28 2017-05-23 ArcSoft Hanzhou Co., Ltd. Image depth recovering method and stereo image fetching device thereof
TW201328318A (zh) * 2011-12-28 2013-07-01 Ind Tech Res Inst 一種利用內容驅動電路模型修正３ｄ影像的系統與方法
WO2013115562A1 (ko) * 2012-01-30 2013-08-08 삼성전자 주식회사 시점변환을 위한 예측구조에 기초한 다시점 비디오 부호화 방법 및 그 장치, 시점변환을 위한 예측구조에 기초한 다시점 비디오 복호화 방법 및 그 장치
WO2013126578A1 (en) 2012-02-21 2013-08-29 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
CN107274338B (zh) * 2012-03-28 2020-12-01 英特尔公司 用于深度图的低等待时间变形的系统、方法和装置
US10491913B2 (en) * 2012-04-24 2019-11-26 Telefonaktiebolaget L M Ericsson (Publ) Identifying a parameter set for decoding a multi-layer video representation
CN102710949B (zh) * 2012-05-11 2014-06-04 宁波大学 一种基于视觉感知的立体视频编码方法
US9100635B2 (en) 2012-06-28 2015-08-04 Pelican Imaging Corporation Systems and methods for detecting defective camera arrays and optic arrays
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
KR101641606B1 (ko) * 2012-07-09 2016-07-21 니폰 덴신 덴와 가부시끼가이샤 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램, 화상 복호 프로그램 및 기록매체
US8619082B1 (en) 2012-08-21 2013-12-31 Pelican Imaging Corporation Systems and methods for parallax detection and correction in images captured using array cameras that contain occlusions using subsets of images to perform depth estimation
EP2888698A4 (en) 2012-08-23 2016-06-29 Pelican Imaging Corp PROPERTY-BASED HIGH-RESOLUTION MOTION ESTIMATION FROM LOW-RESOLUTION IMAGES RECORDED WITH AN ARRAY SOURCE
KR20140034400A (ko) * 2012-09-11 2014-03-20 삼성전자주식회사 시점간 상관성을 이용한 영상 처리 방법 및 장치
WO2014044168A1 (en) * 2012-09-21 2014-03-27 Mediatek Inc. Method and apparatus of virtual depth values in 3d video coding
EP2901671A4 (en) 2012-09-28 2016-08-24 Pelican Imaging Corp CREATING IMAGES FROM LIGHT FIELDS USING VIRTUAL POINTS OF VIEW
KR101835358B1 (ko) 2012-10-01 2018-03-08 지이 비디오 컴프레션, 엘엘씨 향상 레이어 예측에 대한 인터-레이어 예측 기여를 이용한 스케일러블 비디오 코딩
US9462164B2 (en) 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
US9774789B2 (en) 2013-03-08 2017-09-26 Fotonation Cayman Limited Systems and methods for high dynamic range imaging using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
WO2014164909A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Array camera architecture implementing quantum film sensors
US9124831B2 (en) 2013-03-13 2015-09-01 Pelican Imaging Corporation System and methods for calibration of an array camera
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
WO2014145856A1 (en) 2013-03-15 2014-09-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US9483845B2 (en) * 2013-04-26 2016-11-01 Nvidia Corporation Extending prediction modes and performance of video codecs
WO2015007159A1 (en) * 2013-07-15 2015-01-22 Mediatek Singapore Pte. Ltd. Method of disparity derived depth coding in 3d video coding
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
EP3066690A4 (en) 2013-11-07 2017-04-05 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
US9426361B2 (en) 2013-11-26 2016-08-23 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
WO2015134996A1 (en) 2014-03-07 2015-09-11 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
US20170070751A1 (en) * 2014-03-20 2017-03-09 Nippon Telegraph And Telephone Corporation Image encoding apparatus and method, image decoding apparatus and method, and programs therefor
US9918091B2 (en) 2014-06-20 2018-03-13 Qualcomm Incorporated Systems and methods for assigning a minimum value to a syntax structure in a parameter set
US10250871B2 (en) 2014-09-29 2019-04-02 Fotonation Limited Systems and methods for dynamic calibration of array cameras
US20160110097A1 (en) * 2014-10-16 2016-04-21 Lg Electronics Inc. Display device and method of controlling therefor
CN105721852B (zh) * 2014-11-24 2018-12-14 奥多比公司 用于确定深度细化图像捕获指令的方法、存储设备和系统
JP6944134B2 (ja) * 2016-07-29 2021-10-06 ソニーグループ株式会社 画像処理装置および画像処理方法
US10536708B2 (en) * 2017-09-21 2020-01-14 Intel Corporation Efficient frame loss recovery and reconstruction in dyadic hierarchy based coding
US10484667B2 (en) * 2017-10-31 2019-11-19 Sony Corporation Generating 3D depth map using parallax
GB2571306A (en) * 2018-02-23 2019-08-28 Sony Interactive Entertainment Europe Ltd Video recording and playback systems and methods
TWI665461B (zh) * 2018-05-04 2019-07-11 財團法人工業技術研究院 雷射定位系統及使用此系統之位置量測方法
WO2019217261A1 (en) * 2018-05-07 2019-11-14 Zermatt Technologies Llc Dynamic foveated pipeline
WO2019217264A1 (en) * 2018-05-07 2019-11-14 Zermatt Technologies Llc Dynamic foveated compression
WO2019217262A1 (en) * 2018-05-07 2019-11-14 Zermatt Technologies Llc Dynamic foveated rendering
US10549186B2 (en) 2018-06-26 2020-02-04 Sony Interactive Entertainment Inc. Multipoint SLAM capture
TWI701423B (zh) * 2019-07-01 2020-08-11 東元電機股份有限公司 反射貼紙輔助定位系統
US11270110B2 (en) 2019-09-17 2022-03-08 Boston Polarimetrics, Inc. Systems and methods for surface modeling using polarization cues
EP4042101A4 (en) 2019-10-07 2023-11-22 Boston Polarimetrics, Inc. SYSTEMS AND METHODS FOR DETECTING SURFACE NORMALS USING POLARIZATION
CN114787648B (zh) 2019-11-30 2023-11-10 波士顿偏振测定公司 用于使用偏振提示进行透明对象分段的系统和方法
KR20220127258A (ko) * 2019-12-20 2022-09-19 인터디지털 브이씨 홀딩스 프랑스 뷰-유도 스펙큘러리티를 갖는 볼류메트릭 비디오를 코딩 및 디코딩하기 위한 방법 및 장치
JP7462769B2 (ja) 2020-01-29 2024-04-05 イントリンジック イノベーション エルエルシー 物体の姿勢の検出および測定システムを特徴付けるためのシステムおよび方法
JP7542070B2 (ja) 2020-01-30 2024-08-29 イントリンジック イノベーション エルエルシー 偏光画像を含む異なる撮像モダリティで統計モデルを訓練するためのデータを合成するためのシステムおよび方法
WO2021243088A1 (en) 2020-05-27 2021-12-02 Boston Polarimetrics, Inc. Multi-aperture polarization optical systems using beam splitters
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
US12069227B2 (en) 2021-03-10 2024-08-20 Intrinsic Innovation Llc Multi-modal and multi-spectral stereo camera arrays
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US12067746B2 (en) 2021-05-07 2024-08-20 Intrinsic Innovation Llc Systems and methods for using computer vision to pick up small objects
US12175741B2 (en) 2021-06-22 2024-12-24 Intrinsic Innovation Llc Systems and methods for a vision guided end effector
US12340538B2 (en) 2021-06-25 2025-06-24 Intrinsic Innovation Llc Systems and methods for generating and using visual datasets for training computer vision models
US12172310B2 (en) 2021-06-29 2024-12-24 Intrinsic Innovation Llc Systems and methods for picking objects using 3-D geometry and segmentation
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
US12293535B2 (en) 2021-08-03 2025-05-06 Intrinsic Innovation Llc Systems and methods for training pose estimators in computer vision
KR20230047759A (ko) 2021-10-01 2023-04-10 삼성전자주식회사 깊이맵을 개선하는 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6320978B1 (en) * 1998-03-20 2001-11-20 Microsoft Corporation Stereo reconstruction employing a layered approach and layer refinement techniques
JP3736493B2 (ja) * 2002-04-17 2006-01-18 Ｊｆｅスチール株式会社 インペラーによる溶銑の攪拌流速制御方法
CN1830217A (zh) * 2003-08-05 2006-09-06 皇家飞利浦电子股份有限公司 多视图图像产生

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4849224A (en) 1987-11-12 1989-07-18 Theratech Inc. Device for administering an active agent to the skin or mucosa
JPH0489638A (ja) 1990-07-26 1992-03-23 Matsushita Electric Ind Co Ltd 光学ヘッド
JP3104439B2 (ja) 1992-11-13 2000-10-30 ソニー株式会社 高能率符号化及び／又は復号化装置
US5614952A (en) 1994-10-11 1997-03-25 Hitachi America, Ltd. Digital video decoder for decoding digital high definition and/or digital standard definition television signals
JP3679426B2 (ja) 1993-03-15 2005-08-03 マサチューセッツ・インスティチュート・オブ・テクノロジー 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム
JP3778960B2 (ja) 1994-06-29 2006-05-24 株式会社東芝 動画像符号化方法及び装置
US5864342A (en) * 1995-08-04 1999-01-26 Microsoft Corporation Method and system for rendering graphical objects to image chunks
US6064393A (en) * 1995-08-04 2000-05-16 Microsoft Corporation Method for measuring the fidelity of warped image layer approximations in a real-time graphics rendering pipeline
JP3231618B2 (ja) 1996-04-23 2001-11-26 日本電気株式会社 ３次元画像符号化復号方式
JPH10178639A (ja) 1996-12-19 1998-06-30 Matsushita Electric Ind Co Ltd 画像コーデック部および画像データ符号化方法
DE69811050T2 (de) 1997-07-29 2003-11-06 Koninklijke Philips Electronics N.V., Eindhoven Rekonstruktionsverfahren, Vorrichtung und Dekodierungssystem für dreidimensionalen Szenen.
US6348918B1 (en) * 1998-03-20 2002-02-19 Microsoft Corporation Stereo reconstruction employing a layered approach
US6188730B1 (en) 1998-03-23 2001-02-13 Internatonal Business Machines Corporation Highly programmable chrominance filter for 4:2:2 to 4:2:0 conversion during MPEG2 video encoding
JP3776595B2 (ja) 1998-07-03 2006-05-17 日本放送協会 多視点画像の圧縮符号化装置および伸長復号化装置
JP2000078611A (ja) 1998-08-31 2000-03-14 Toshiba Corp 立体映像受信装置及び立体映像システム
JP3593466B2 (ja) * 1999-01-21 2004-11-24 日本電信電話株式会社 仮想視点画像生成方法およびその装置
JP2000231985A (ja) 1999-02-12 2000-08-22 Denso Corp 有機ｅｌ素子
US6504872B1 (en) 2000-07-28 2003-01-07 Zenith Electronics Corporation Down-conversion decoder for interlaced video
JP2002058031A (ja) 2000-08-08 2002-02-22 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法及び装置、並びに、画像復号化方法及び装置
FI109633B (fi) 2001-01-24 2002-09-13 Gamecluster Ltd Oy Menetelmä videokuvan pakkauksen nopeuttamiseksi ja/tai sen laadun parantamiseksi
US6940538B2 (en) 2001-08-29 2005-09-06 Sony Corporation Extracting a depth map from known camera and model tracking data
US7003136B1 (en) 2002-04-26 2006-02-21 Hewlett-Packard Development Company, L.P. Plan-view projections of depth image data for object tracking
CN100380984C (zh) 2002-06-11 2008-04-09 诺基亚有限公司 基于空间预测的帧内编码
US7289674B2 (en) 2002-06-11 2007-10-30 Nokia Corporation Spatial prediction based intra coding
US7006709B2 (en) * 2002-06-15 2006-02-28 Microsoft Corporation System and method deghosting mosaics using multiperspective plane sweep
US20030235338A1 (en) 2002-06-19 2003-12-25 Meetrix Corporation Transmission of independently compressed video objects over internet protocol
KR20060105407A (ko) 2005-04-01 2006-10-11 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
ATE372563T1 (de) 2003-09-30 2007-09-15 Koninkl Philips Electronics Nv Bildwiedergabe mit interaktiver bewegungsparallaxe
EP1542167A1 (en) * 2003-12-09 2005-06-15 Koninklijke Philips Electronics N.V. Computer graphics processor and method for rendering 3D scenes on a 3D image display screen
US7292257B2 (en) 2004-06-28 2007-11-06 Microsoft Corporation Interactive viewpoint video system and process
US7561620B2 (en) 2004-08-03 2009-07-14 Microsoft Corporation System and process for compressing and decompressing multiple, layered, video streams employing spatial and temporal encoding
US7671894B2 (en) 2004-12-17 2010-03-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for processing multiview videos for view synthesis using skip and direct modes
US7728878B2 (en) 2004-12-17 2010-06-01 Mitsubishi Electric Research Labortories, Inc. Method and system for processing multiview videos for view synthesis using side information
JP5587552B2 (ja) 2005-10-19 2014-09-10 トムソン ライセンシング スケーラブル映像符号化を用いた多視点映像符号化
KR100667830B1 (ko) 2005-11-05 2007-01-11 삼성전자주식회사 다시점 동영상을 부호화하는 방법 및 장치
KR100747598B1 (ko) 2005-12-09 2007-08-08 한국전자통신연구원 디지털방송 기반의 3차원 입체영상 송수신 시스템 및 그방법
US20070171987A1 (en) 2006-01-20 2007-07-26 Nokia Corporation Method for optical flow field estimation using adaptive Filting
JP4605715B2 (ja) 2006-06-14 2011-01-05 Ｋｄｄｉ株式会社 多視点画像圧縮符号化方法、装置及びプログラム
EP2052546A4 (en) 2006-07-12 2010-03-03 Lg Electronics Inc METHOD AND DEVICE FOR SIGNAL PROCESSING
CN100415002C (zh) 2006-08-11 2008-08-27 宁波大学 多模式多视点视频信号编码压缩方法
US8290289B2 (en) 2006-09-20 2012-10-16 Nippon Telegraph And Telephone Corporation Image encoding and decoding for multi-viewpoint images
CN101166271B (zh) 2006-10-16 2010-12-08 华为技术有限公司 一种多视点视频编码中的视点差补偿方法
US20080095238A1 (en) 2006-10-18 2008-04-24 Apple Inc. Scalable video coding with filtering of lower layers
US8593506B2 (en) * 2007-03-15 2013-11-26 Yissum Research Development Company Of The Hebrew University Of Jerusalem Method and system for forming a panoramic image of a scene having minimal aspect distortion
US8467628B2 (en) 2007-04-24 2013-06-18 21 Ct, Inc. Method and system for fast dense stereoscopic ranging
CN101690220B (zh) 2007-04-25 2013-09-25 Lg电子株式会社 用于解码/编码视频信号的方法和装置
GB0708676D0 (en) * 2007-05-04 2007-06-13 Imec Inter Uni Micro Electr A Method for real-time/on-line performing of multi view multimedia applications
KR101450670B1 (ko) 2007-06-11 2014-10-15 삼성전자 주식회사 블록 기반의 양안식 영상 포맷 생성 방법과 장치 및 양안식영상 복원 방법과 장치
KR101545008B1 (ko) 2007-06-26 2015-08-18 코닌클리케 필립스 엔.브이. 3ｄ 비디오 신호를 인코딩하기 위한 방법 및 시스템, 동봉된 3ｄ 비디오 신호, 3ｄ 비디오 신호용 디코더에 대한 방법 및 시스템
US8351685B2 (en) 2007-11-16 2013-01-08 Gwangju Institute Of Science And Technology Device and method for estimating depth map, and method for generating intermediate image and method for encoding multi-view video using the same
KR20090055803A (ko) 2007-11-29 2009-06-03 광주과학기술원 다시점 깊이맵 생성 방법 및 장치, 다시점 영상에서의변이값 생성 방법
WO2009131703A2 (en) 2008-04-25 2009-10-29 Thomson Licensing Coding of depth signal
WO2010021664A1 (en) 2008-08-20 2010-02-25 Thomson Licensing Depth coding
JP5566385B2 (ja) 2008-08-20 2014-08-06 トムソン ライセンシング 洗練された奥行きマップ
WO2010037512A1 (en) 2008-10-02 2010-04-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Intermediate view synthesis and multi-view data signal extraction
BRPI0924045A2 (pt) 2009-01-07 2017-07-11 Thomson Licensing Estimação de profundidade conjunta
US20100188476A1 (en) 2009-01-29 2010-07-29 Optical Fusion Inc. Image Quality of Video Conferences

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6320978B1 (en) * 1998-03-20 2001-11-20 Microsoft Corporation Stereo reconstruction employing a layered approach and layer refinement techniques
JP3736493B2 (ja) * 2002-04-17 2006-01-18 Ｊｆｅスチール株式会社 インペラーによる溶銑の攪拌流速制御方法
CN1830217A (zh) * 2003-08-05 2006-09-06 皇家飞利浦电子股份有限公司 多视图图像产生

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Multi-view Depth Video Coding using Depth View Synthesis;Sang-Tae Na 等;《IEEE INTERNATIONAL SYMPOSIUM ON CIRCUITS AND SYSTEMS》;20080518;第1400-1403页 *
Sang-Tae Na 等.Multi-view Depth Video Coding using Depth View Synthesis.《IEEE INTERNATIONAL SYMPOSIUM ON CIRCUITS AND SYSTEMS》.2008,第1400-1403页.
Serdar Ince等.DEPTH ESTIMATION FOR VIEW SYNTHESIS IN MULTIVIEW VIDEO CODING.《3DTV CONFERENCE,2007，IEEE,PI》.2007,第1-4页. *

Also Published As

Publication number Publication date
BRPI0916963A2 (pt) 2015-11-24
US20110142138A1 (en) 2011-06-16
US9179153B2 (en) 2015-11-03
KR101663819B1 (ko) 2016-10-10
CN102124742A (zh) 2011-07-13
EP2329653A1 (en) 2011-06-08
JP5566385B2 (ja) 2014-08-06
JP2012500564A (ja) 2012-01-05
KR20110057162A (ko) 2011-05-31
WO2010021666A1 (en) 2010-02-25
EP2329653B1 (en) 2014-10-29

Similar Documents

Publication Publication Date Title
CN102124742B (zh) 精制深度图
CN102017632B (zh) 虚拟基准视图
JP6159849B2 (ja) ３ｄ映像フォーマット
JP5346076B2 (ja) 奥行きを用いた視点間スキップモード
JP5614902B2 (ja) ３ｄｖのレイヤ間依存関係情報
JP5281076B2 (ja) ダウンサンプリングされたリファレンスピクチャによるビュー間予測
CN101584220B (zh) 对视频信号进行编码的方法和系统、编码的视频信号、对视频信号进行解码的方法和系统
WO2010021664A1 (en) Depth coding
US8542743B2 (en) Method and arrangement for personalized video encoding
KR100988622B1 (ko) 영상 부호화 방법, 복호화 방법, 영상 표시 장치 및 그기록 매체
CN102326390B9 (zh) 3d视频格式
HK1224863A1 (zh) 視頻編碼和解碼的裝置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP02 Change in the address of a patent holder
CP02 Change in the address of a patent holder

Address after: I Si Eli Murli Nor, France

Patentee after: THOMSON LICENSING

Address before: BLONEY-BIYANGU CITY, FRANCE

Patentee before: THOMSON LICENSING

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190131

Address after: Paris France

Patentee after: International Digital Madison Patent Holding Co.

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING

Effective date of registration: 20190131

Address after: I Si Eli Murli Nor, France

Patentee after: THOMSON LICENSING

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING