[go: up one dir, main page]

CN101371585B - 提供用于多视图视频编码的提供降低分辨率的更新模式的方法和装置 - Google Patents

提供用于多视图视频编码的提供降低分辨率的更新模式的方法和装置 Download PDF

Info

Publication number
CN101371585B
CN101371585B CN200780002185.8A CN200780002185A CN101371585B CN 101371585 B CN101371585 B CN 101371585B CN 200780002185 A CN200780002185 A CN 200780002185A CN 101371585 B CN101371585 B CN 101371585B
Authority
CN
China
Prior art keywords
block
view video
boundary strength
video coding
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200780002185.8A
Other languages
English (en)
Other versions
CN101371585A (zh
Inventor
苏野平
尹澎
克里斯蒂娜·戈米拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
International Digital Madison Patent Holding SAS
Original Assignee
THOMSON LICENSING CORP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by THOMSON LICENSING CORP filed Critical THOMSON LICENSING CORP
Publication of CN101371585A publication Critical patent/CN101371585A/zh
Application granted granted Critical
Publication of CN101371585B publication Critical patent/CN101371585B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供了一种用于提供多视图视频编码的去块滤波的适配的视频编码器、视频解码器以及相对应的编码和解码方法。该视频编码器包括可基于用于编码多视图视频序列的预测信息来适配的去块滤波器(145)。

Description

提供用于多视图视频编码的提供降低分辨率的更新模式的方法和装置
相关申请的交叉引用
本申请要求于2006年1月9日提交的、题为“System ProvidingAdaptationof Deblocking Filter for Multi-view Video Coding”的美国临时申请序列号第60/757,292号的权益，该申请在此通过引用合并其全部内容。此外，本申请要求于2006年1月9日提交的、题为“Multi-View Video Coding System”的美国临时申请序列号第60/757,289号的权益，该申请在此通过引用合并其全部内容。此外，本申请涉及已被共同转让的、题为“Methods andApparatus forMulti-View Video Coding”、代理人案号(Attorney Docket)为No.PU060004的非临时申请，并通过引用合并其全部内容。
技术领域
本发明总地涉及视频编码和解码，更具体地涉及用于提供多视图视频编码的去块滤波的适配(adaptation)的方法和装置。
背景技术
基于块的视频编码算法可能在解码后的图像中创建可见的成块伪像(blocking artifacts)。为了编码单视图序列已经广泛研究了由基于块的运动补偿和残差变换编码(residual transform coding)引起的这些伪像。
去块滤波器是已被证实的用于抑制视觉上令人不舒服的成块伪像的工具。还已经证明：如在国际标准化组织/国际电工委员会(ISO/IEC)运动图像专家组4(MPEG-4)第10部分高级视频编码(AVC)标准/国际电信联盟电信部(ITU-T)H.264推荐(以下称为“MPEG-4AVC标准”)中那样，如果在预测循环中使用去块滤波器，则可能提高编码效率。
去块滤波器在接近块边界的重建像素上进行平滑。高效的去块滤波器应当根据信号特性和某些编码参数的值来调整滤波强度。然而，滤波器的高级适应性将在实现中引入不期望的高复杂度。
一些之前提出的多视图视频编码(MVC)架构包括跨视图预测，以便与同时联播(独立地压缩每个视图)相比实现更高的编码效率。然而，还没有关于在多视图视频编码的框架下的去块滤波器设计的现有技术。
发明内容
现有技术的这些和其它缺陷和缺点通过本发明来解决，本发明致力于用于提供多视图视频编码的去块滤波的适配的方法和装置。
根据本发明的一方面，提供了一种视频编码器。该视频编码器包括：去块滤波器，其用于在编码多视图视频序列时执行去块滤波，其中，在具有不同的多视图视频编码预测类型的两个相邻块的边缘上的边界强度比这两个相邻块具有相同的多视图视频编码预测类型和不同的参考帧或不同数量的参考帧时更高。
根据本发明的另一方面，提供了一种视频编码方法。该方法包括：适配在编码多视图视频序列时执行的去块滤波，其中，在具有不同的多视图视频编码预测类型的两个相邻块的边缘上的边界强度比这两个相邻块具有相同的多视图视频编码预测类型和不同的参考帧或不同数量的参考帧时更高。
根据本发明的另一方面，提供了一种视频解码器。该视频解码器包括：去块滤波器，其用于在解码多视图视频序列时执行去块滤波，其中，在具有不同的多视图视频编码预测类型的两个相邻块的边缘上的边界强度比这两个相邻块具有相同的多视图视频编码预测类型和不同的参考帧或不同数量的参考帧时更高。
根据本发明的另一方面，提供了一种视频解码方法。该方法包括：适配在解码多视图视频序列时执行的去块滤波，其中，在具有不同的多视图视频编码预测类型的两个相邻块的边缘上的边界强度比这两个相邻块具有相同的多视图视频编码预测类型和不同的参考帧或不同数量的参考帧时更高。
根据本发明的另一方面，提供了一种用于视频编码的视频信号结构。该视频信号结构包括：用于编码多视图视频序列的、用于适配去块滤波器的预测信息。
根据本发明的另一方面，提供了一种其上编码有视频信号数据的存储介质。该视频信号数据包括：用于编码多视图视频序列的、用于适配去块滤波器的预测信息。
从下面对示例性实施例进行的详细描述，本发明的这些和其他方面、特征和优点将变得显而易见，该示例性实施例要结合附图阅读。
附图说明
根据下面的附图可以更好地理解本发明，附图中：
图1是根据本原理的实施例、可以应用本原理的示例性编码器的框图；
图2是根据本原理的实施例、可以应用本原理的示例性解码器的框图；
图3是根据本原理的实施例、多视图视频编码(MVC)的切片(slice)编码/解码的示例性方法的流程图；
图4是根据本原理的实施例、用于选择MPEG-4AVC标准使用的边界强度的示例性方法的流程图；
图5是根据本原理的实施例、用于基于预测类型信息选择在基于预测类型信息的多视图视频编码中使用的边界强度的示例性方法的流程图；以及
图6是根据本原理的实施例、用于基于预测视图信息选择在基于参考视图信息的多视图视频编码中使用的边界强度的示例性方法的流程图。
具体实施方式
本发明致力于用于提供多视图视频编码的去块滤波的适配的方法和装置。
本说明书说明了本发明的原理。因此将认识到，本领域技术人员将能够设计各种布置，这些布置尽管没有在此明确地描述或示出，但是其体现本发明的原理并包括在本发明的精神和范围内。
这里所述的所有示例和条件语言意图出于教导的目的，以帮助读者理解发明人对推进本领域发展所贡献的本发明的原理和构思，因此要被解释为不是限制于这些具体陈述的示例和条件。
而且，这里所有叙述本发明的原理、方面和实施例、以及其具体示例的陈述意在包括其结构等效物和功能等效物两者。此外，意在这样的等效物既包括目前已知的等效物，也包括将来开发的等效物，即，所开发的执行相同功能的任何元件，而无论其结构如何。
因此，例如，本领域技术人员将认识到这里呈现的框图表示体现本发明原理的说明性电路的概念图。类似地，将认识到，任何流程图、流序图、状态转换图、伪代码等表示基本上可在计算机可读介质中表示并因此由计算机或处理器执行的各种处理，而无论是否明确地示出该计算机或处理器。
附图中示出的各种元件的功能可通过使用专用硬件以及能够与适当软件相关联地执行软件的硬件来提供。当由处理器提供功能时，可由单个专用处理器、单个共享处理器、或多个独立的处理器来提供功能，该多个独立的处理器中的一些可以是共享的。此外，术语“处理器”或“控制器”的明确使用不应被解释为排外性地仅指能够执行软件的硬件，而可以隐含包括但不限于数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)、以及非易失性存储体。
还可以包括常规和/或定制的其他硬件。类似地，附图中示出的任何开关仅是概念性的。它们的功能可通过程序逻辑的操作、通过专用逻辑、通过程序控制和专用逻辑的交互、或甚至手动执行，如从上下文更具体理解的，特定技术可由实现者选择。
在其权利要求中，被表达为用于执行指定功能的部件的任何元件意在包括执行该功能的任何方式，包括例如：a)执行该功能的电路元件的组合；或b)与适当电路组合以执行该功能的任何形式的软件，因此包括固件、微代码等，该适当电路用于执行该软件。如由权利要求书限定的本发明在于这样的事实：由各种所述部件提供的功能以权利要求书所要求保护的方式组合并集合在一起。因此认为，能够提供这些功能的任何部件等效于这里所示出的部件。
说明书中对本原理的“一个实施例”或“一实施例”的引用意味着关于实施例描述的特定特征、结构、特性等包括在本原理的至少一个实施例中。因此，在遍及说明书的各个地方出现的短语“在一个实施例中”或“在一实施例中”的出现不必全部指相同的实施例。
此外，关于循环(例如，在流程图中所执行的)，为了示例性目的在说明书中提供了对诸如宏块、画面、场、帧、块、像素等的“每个”实体循环的特定循环的引用，并且该引用还可以被认为指每个实体的“一个或多个”，因此在维持本原理的范围的情况下不必是“每个”。因此，例如，在维持本原理的范围的情况下，可根据本原理的教导执行部分编码/解码和/或部分去块。
转到图1，可以应用本原理的示例性编码器由参考标记100总地指示。
编码器100包括具有与整数变换器/缩放器/量化器115进行信号通信的输出的组合器105。整数变换器/缩放器/量化器115的第一输出与熵编码器155的第一输入和缩放器/逆变换器120的第一输入以信号通信方式连接。缩放器/逆变换器120的输出与组合器150的第一正向输入以信号通信方式连接。组合器150的输出与帧内预测器125的第一输入和去块滤波器145的第一输入以信号通信方式连接。去块滤波器145的输出与帧存储体140的输入和运动估计器135的第一输入以信号通信方式连接。运动估计器135的输出与运动补偿器130的第三输入和熵编码器155的第三输入以信号通信方式连接。组合器105的反向输入与开关177的输出以信号通信方式连接。开关177的输出还与组合器150的第二正向输入以信号通信方式连接。开关177的第一输入与运动补偿器130的输出以信号通信方式连接。开关177的第二输入与帧内预测器125的输出以信号通信方式连接。帧存储体140的输出与运动补偿器130的第一输入以信号通信方式连接。
编码器100的输入与组合器105的正向输入、编码器控制模块110的输入、和运动估计器135的第三输入以信号通信方式连接。编码器控制模块110的第一输出与运动补偿器130的第二输入以信号通信方式连接。编码器控制模块110的第二输出与运动估计器135的第二输入以信号通信方式连接。编码器控制模块110的第三输出与帧内预测器125的第二输入以信号通信方式连接。编码器控制模块110的第四输出与整数变换器/缩放器/量化器115的第二输入以信号通信方式连接。编码器控制模块110的第五输出与去块滤波器145的第二输入以信号通信方式连接。编码器控制模块110的第六输出与缩放器/逆变换器120的第二输入以信号通信方式连接。编码器控制模块110的第七输出与熵编码器155的第二输入以信号通信方式连接。熵编码器155的输出可用作编码器100的输出。
转到图2，可应用本原理的示例性解码器总地由参考标记200指示。解码器200包括熵解码器205。熵解码器205的输入可用作解码器200的输入。熵解码器205的第一输出与解码器控制模块210的输入以信号通信方式连接。解码器控制模块210的第一输出与运动补偿器225的第二输入以信号通信方式连接。解码器控制模块210的第二输出与帧内预测器220的第一输入以信号通信方式连接。解码器控制模块210的第三输出与缩放器/逆变换器215的第二输入以信号通信方式连接。解码器控制模块210的第四输出与去块滤波器235的第二输入以信号通信方式连接。
熵解码器205的第二输出与缩放器/逆变换器215的第一输入以信号通信方式连接。缩放器/逆变换器215的输出与组合器230的第一正向输入以信号通信方式连接。组合器230的输出与帧内预测器220的第二输入和去块滤波器235的第一输入以信号通信方式连接。去块滤波器235的输出与帧存储体240的输入以信号通信方式连接。帧存储体240的输出与运动补偿器225的第三输入以信号通信方式连接。组合器230的第二正向输入与开关277的输出以信号通信方式连接。开关277的第一输入与运动补偿器225的输出以信号通信方式连接。开关277的第二输入与帧内预测器220的输出以信号通信方式连接。
熵解码器205的第三输出与运动补偿器225的第一输入以信号通信方式连接。
转到图3，在符合MPEG-4AVC标准的本原理的实施例中用于多视图视频编码(MVC)的切片编码/解码的示例性方法由参考标记300总地指示。
方法300包括将控制传递给循环限制块310的起始块305。循环限制块310开始对每个宏块的循环，包括使用变量mb＝0到MacroBlockslnPic-1来设置循环的范围，并且将控制传递给功能块315。功能块315编码/解码一个宏块，并且将控制传递给循环限制块320。循环限制块320结束对每个宏块的循环，并且将控制传递到循环限制块325。循环限制块325开始对每个宏块的循环，包括使用变量mb＝0到MacroBlockslnPic-1来设置循环的范围，并且将控制传递到循环限制块330。循环限制块330开始对要编码/解码的当前宏块的每个垂直边缘(vedge)的循环，包括使用变量vedge＝0到VerticalEdges-1来设置循环的范围，并且将控制传递到功能块335。功能块335选择要应用的边界强度，并且将控制传递到功能块340。功能块340执行采样滤波，并且将控制传递到循环限制块345。循环限制块345结束对当前宏块的每个垂直边缘(vedge)的循环，并且将控制传递到循环限制块350。循环限制块350开始对要编码/解码的当前宏块的每个水平边缘(hedge)的循环，包括使用变量hedge＝0到HorizontalEdges-1来设置循环的范围，并且将控制传递到功能块355。功能块355选择边界强度，并且将控制传递到功能块360。功能块360执行采样滤波，并且将控制传递到循环限制块365。循环限制块365结束对每个水平边缘(hedge)的循环，并且将控制传递到循环限制块370。循环限制块370结束的对每个宏块的循环，并且将控制传递到结束块375。
本原理的实施例致力于适配多视图视频编码(MVC)的去块滤波。多视图视频编码(MVC)是用于多视图序列的编码的压缩框架(framework)。多视图视频编码(MVC)序列是从不同视点捕获相同场景的一组两个或多个视频序列。作为可以应用本原理的特殊情况，立体视频(sterestopic video)序列包括两个视频序列，一个表示左通道，而另一个表示右通道。每个通道的各帧同时捕获并且具有不同视角。
实施例涉及抑制由使能跨视图预测引入的成块伪像，其中预测信号从另一视图的解码画面形成。当使能这样的跨视图预测时，典型地在从不同相机视图补偿的像素之间的边界处引入额外的成块性(blockiness)。有利地，本原理的该实施例通过减少由从不同视图预测而导致的块边界周围的伪像来提高解码后的画面质量。在实施例中，将预测视图信息(在此可互换地称作参考视图信息)引入MVC的去块滤波器的设计和/或使用中。参考视图信息指示在预测信号的形成中涉及的视图。例如，预测信号可以来自当前视图的之前已解码的画面或相邻视图的之前已解码的画面。在实施例中，这样的参考视图信息可用来例如改变(例如，增加)去块滤波器的强度和/或选择不同类型的滤波器。给出这里提供的本原理的教导，本领域普通技术人员将在维持本原理的范围的同时，预期在适配多视图视频编码的去块滤波中使用的参考视图信息的这些和各种其他使用。
另一实施例涉及抑制由使能跨视图预测和时间预测两者使用MVC来编码多视图视频序列而引入的成块伪像。在允许两类预测(跨视图预测和时间预测)的情形下，典型地在利用不同MVC预测类型解码的像素之间的边界处引入额外的成块性。有利地，本原理的该实施例通过减少由不同预测类型(时间和跨视图)导致的块边界周围的伪像来提高解码后的画面质量。由于提高了解码后的画面质量，因此压缩效率也可以提高。在实施例中，将预测类型信息引入MVC的去块滤波器的设计和/或使用中。在实施例中，这样的预测类型信息可以被用来例如改变(例如，增加)去块滤波器的强度和/或选择不同类型的滤波器。可替代地，可以使用参考视图信息来例如改变(例如，增加)去块滤波器的强度和/或选择不同类型的滤波器。给出这里提供的本原理的教导，本领域普通技术人员将在维持本原理的范围的同时，预期在适配多视图视频编码的去块滤波中使用的预测类型信息的这些和各种其他使用。
出于图示目的，在此关于MPEG-4AVC标准描述本发明的各实施例。然而，应当认识到，本发明不限于MPEG-4AVC标准，并且给出这里提供的本原理的教导，本领域普通技术人员将在维持本发明的范围的同时，预期能够进行可以应用本原理的多视图视频编码的这种和其他视频编码标准。
应认识到，本原理不限于被应用到预测画面的特定去块技术，并且因此根据本原理的实施例可以利用任何去块技术，同时维持本原理的范围。
出于图示目的，现在将描述关于如何扩展如在MPEG-4AVC标准中指定的去块滤波器的实施例，该实施例基于某些编码判断来适配去块滤波器的强度。此后，出于简化原因我们将引用该选择。
MPEG-4AVC标准中的去块滤波器应用到4×4块之间的所有边缘。此外，去块滤波器具有对于每个边缘来适配其强度的能力。控制滤波器强度的参数被称作边界强度(BS)。边界强度的值指示在每个边缘上具有视觉成块性的可能性以及因此对或多或少的去块滤波的需要。更高的Bs值指示将适配更强的去块滤波。
转到图4，用于选择MPEG-4AVC标准使用的边界强度的示例性方法由参考标记400总地指示。该方法包括将控制传递到功能块410的起始块405。功能块410检查块p和q之间的块边界，并且将控制传递到判断块415。判断块415确定块p或q是否是帧内编码的。如果是，则将控制传递到判断块420。否则，将控制传递到判断块435。
判断块420确定块边界是否是宏块边界。如果是，则将控制传递到功能块425。否则，将控制传递到功能块430。
功能块425将边界强度设置为4，并且将控制传递到结束块465。
功能块430将边界强度设置为3，并且将控制传递到结束块465。
判断块435确定在块p或q内是否编码了系数。如果是，则将控制传递到功能块440。否则，将控制传递到判断块445。
功能块440将边界强度设置为2，并且将控制传递到结束块465。
判断块445确定块p和q是否具有不同参考帧或不同数量的参考帧。如果是，则将控制传递到功能块450。否则，将控制传递到判断块455。
功能块450将边界强度设置为1，并且将控制传递到结束块465。
判断块455确定|V1(p，x)-V1(q，x)|＞＝1或|V1(p，y)-V1(q，y)|＞＝1，或者，如果是双向预测，|V2(p，x)-V2(q，x)|＞＝1或|V2(p，y)-V2(q，y)|＞＝1是否成立。如果是，则将控制传递到功能块450。否则，将控制传递到功能块460。
功能块460将边界强度设置为0，并且将控制传递到结束块465。
根据本原理的实施例，在编码多视图序列的情况下，边界强度计算还应当考虑预测类型信息。
转到图5，基于在多视图视频编码中使用的预测类型信息来选择边界强度的示例性方法由参考标记500总地指示。根据方法500，根据下面的示例性编码参数来调整强度：MVC预测类型；边缘位置；块类型；编码系数的数量；参考帧索引；以及运动/视差向量差。注应意到，如果两个相邻块具有不同MVC预测类型，则将执行最高边界强度Bs＝4。通常，跨视图预测块和时间预测块使用来自不同视图的参考画面，因此具有不同MVC预测类型的两个块的块边缘将更有可能包括更高级别的成块性。因此，在这些边缘上分配更高的边界强度将给出更好的滤波结果。
方法500包括将控制传递到功能块510的起始块505。功能块510检查块p和q之间的块边界，并且将控制传递到判断块515。判断块515确定块p或q是否是帧内编码的。如果是，则将控制传递到判断块520。否则，将控制传递到判断块535。
判断块520确定块边界是否是宏块边界。如果是，则将控制传递到功能块525。否则，将控制传递到功能块530。
功能块525将边界强度设置为4，并且将控制传递到结束块570。
功能块530将边界强度设置为3，并且将控制传递到结束块570。
判断块535确定块p和q是否具有不同的多视图视频编码预测类型。如果是，则将控制传递到功能块525。否则，将控制传递到判断块540。判断块540确定在块p和q中是否编码了系数。如果是，则将控制传递到功能块545。否则，将控制传递到判断块550。
功能块545将边界强度设置为2，并且将控制传递到结束块570。
判断块550确定块p和q是否具有不同参考帧或不同数量的参考帧。如果是，则将控制传递到功能块545。否则，将控制传递到判断块560。
判断块560确定|V1(p，x)-V1(q，x)|＞＝1或|V1(p，y)-V1(q，y)|＞＝1，或者，如果是双向预测，|V2(p，x)-V2(q，x)|＞＝1或|V2(p，y)-V2(q，y)|＞＝1是否成立。如果是，则将控制传递到功能块555。否则，将控制传递到功能块565。
功能块565将边界强度设置为0，并且将控制传递到结束块570。
根据本原理的另一实施例，在编码多视图序列的情况下，边界强度计算还应当考虑参考视图信息。
转到图6，基于在多视图视频编码中使用的预测视图信息来选择边界强度的示例性方法由参考标记600总地指示。根据方法600，根据下面示例性编码参数来调整强度：参考视图；边缘位置；块类型；编码系数的数量；参考帧索引；以及运动/视差向量差。应注意到，如果两个相邻块具有不同MVC预测类型，则将执行最高边界强度Bs＝4。通常，跨视图预测块和时间预测块使用来自不同视图的参考画面，因此具有不同MVC预测类型的两个块的块边缘将更有可能包括更高级别的成块性。因此，在这些边缘上分配更高的边界强度将给出更好的滤波结果。
方法600包括将控制传递到功能块610的起始块605。功能块610检查块p和q之间的块边界，并且将控制传递到判断块615。判断块615确定块p或q是否是帧内编码的。如果是，则将控制传递到判断块620。否则，将控制传递到判断块635。
判断块620确定块边界是否是宏块边界。如果是，则将控制传递到功能块625。否则，将控制传递到功能块630。
功能块625将边界强度设置为4，并且将控制传递到结束块670。
功能块630将边界强度设置为3，并且将控制传递到结束块670。
判断块635确定块p和q是否具有不同参考视图。如果是，则将控制传递到功能块625。否则，将控制传递到判断块640。判断块640确定在块p和q中是否编码了系数。如果是，则将控制传递到功能块645。否则，将控制传递到判断块650。
功能块645将边界强度设置为2，并且将控制传递到结束块670。
判断块650确定块p和q是否具有不同参考帧或不同数量的参考帧。如果是，则将控制传递到功能块655。否则，将控制传递到判断块660。
判断块660确定|V1(p，x)-V1(q，x)|＞＝1或|V1(p，y)-V1(q，y)|＞＝1，或者，如果是双向预测，|V2(p，x)-V2(q，x)|＞＝1或|V2(p，y)-V2(q，y)|＞＝1是否成立。如果是，则将控制传递到功能块655。否则，将控制传递到功能块665。
功能块665将边界强度设置为0，并且将控制传递到结束块670。
现在将给出本发明的一些伴随优点/特征的描述，其中一些已经在上面提到。例如，一个优点/特征是包括去块滤波器的视频编码器，该去块滤波器可基于用于编码多视图视频序列的预测信息来适配。另一优点/特征是如上所述的视频编码器，其中预测信息包括预测类型信息和预测视图信息中的至少一个。另一优点/特征是具有可基于预测信息来适配的去块滤波器的视频编码器，该预测信息包括如上所述的预测类型信息和预测视图信息中的至少一个，其中预测类型信息包括时间预测信息和跨视图预测信息中的至少一个。此外，另一优点/特征是具有可基于预测信息来适配的去块滤波器的视频编码器，该预测信息包括如上所述的预测类型信息和预测视图信息中的至少一个，其中去块滤波器可基于关于要由所述去块滤波器滤波的给定块的两个相邻块的预测信息来适配。此外，另一优点/特征是具有可基于预测信息来适配的去块滤波器的视频编码器，该预测信息包括如上所述的预测类型信息和预测视图信息中的至少一个，其中去块滤波器遵循国际标准化组织/国际电工委员会运动图像专家组4-第10部分高级视频编码标准/国际电信联盟电信部H.264推荐，并且由去块滤波器应用的边界强度可基于用于编码多视图视频序列的预测信息来适配。而且，另一优点/特征是遵循如上所述MPEG-4AVC标准的视频编码器，其中当关于要由去块滤波器滤波的给定块的两个相邻块的预测信息不同时，边界强度被设置为4。此外，另一优点/特征是如上所述的视频编码器，其中边界强度、要滤波的采样数量、以及去块滤波器的类型中的至少一个是可适配的。此外，另一优点/特征是具有如上所述可适配的边界强度、要滤波的采样数量、以及去块滤波器的类型中的至少一个的视频编码器，其中去块滤波器的边界强度可基于关于要由去块滤波器滤波的给定块的两个相邻块的预测信息来适配，并且当该两个相邻块的预测信息不同时，边界强度增加。此外，另一优点/特征是如上所述的视频编码器，其中多视图视频序列包括立体视频序列。
本发明的这些和其他特征和优点可由本领域普通技术人员基于这里的教导容易地确定。应理解，本发明的教导可以硬件、软件、固件、专用处理器或其组合的各种形式实现。
更优选地，本发明的教导实现为硬件和软件的组合。此外，软件可实现为在程序存储单元上有形体现的应用程序。应用程序可上载到包括任何适当架构的机器上并由其执行。优选的，机器在具有如一个或多个中央处理单元(“CPU”)、随机存取存储器(“RAM”)、和输入/输出(“I/O”)接口的硬件的计算机平台上实现。计算机平台还可包括操作系统和微指令代码。这里描述的各种处理和功能可以是可由CPU执行的微指令代码的一部分或应用程序的一部分或其任何组合。此外，如附加数据存储单元和打印单元的各种其他外围单元可连接到计算机平台。
还应理解，因为在附图中描绘的一些组成系统组件和方法优选地以软件实现，所以系统组件或处理功能块之间的实际连接可能依赖于本发明所编程的方式而不同。给出这里的教导，所属领域普通技术人员将能够预期本发明的这些和类似实现或配置。
尽管已经参照附图描述了说明性实施例，但是应理解，本发明不限于这些精确的实施例，并且所属领域普通技术人员可在其中进行各种改变和修改，而不背离本发明的范围或精神。所有这样的改变和修改都意在被包括在如由所附权利要求书中提出的本发明的范围内。

Claims (16)

1.一种视频编码器，包括：
去块滤波器(145)，其用于在编码多视图视频序列时执行去块滤波，
其中，在具有不同的多视图视频编码预测类型的两个相邻块的边缘上的边界强度比这两个相邻块具有相同的多视图视频编码预测类型、以及不同的参考帧或不同数量的参考帧时更高。
2.如权利要求1所述的视频编码器，其中所述边界强度被设置为4。
3.如权利要求1所述的视频编码器，其中所述边界强度、要滤波的采样数量、以及所述去块滤波器(145)的类型中的至少一个是可适配的。
4.如权利要求1所述的视频编码器，其中多视图视频序列包括立体视频序列。
5.一种视频编码方法，包括：
适配在编码多视图视频序列时执行的去块滤波，
其中，在具有不同的多视图视频编码预测类型的两个相邻块的边缘上的边界强度比这两个相邻块具有相同的多视图视频编码预测类型、以及不同的参考帧或不同数量的参考帧时更高。
6.如权利要求5所述的方法，其中所述边界强度被设置为4。
7.如权利要求5所述的方法，其中所述适配步骤适配所述边界强度、要滤波的采样数量、以及去块滤波的类型中的至少一个。
8.如权利要求5所述的方法，其中多视图视频序列包括立体视频序列。
9.一种视频解码器，包括：
去块滤波器(235)，用于在解码多视图视频序列时执行去块滤波，
其中，在具有不同的多视图视频编码预测类型的两个相邻块的边缘上的边界强度比这两个相邻块具有相同的多视图视频编码预测类型、以及不同的参考帧或不同数量的参考帧时更高。
10.如权利要求9所述的视频解码器，其中所述边界强度被设置为4(525)。
11.如权利要求9所述的视频解码器，其中所述边界强度、要滤波的采样数量、以及所述去块滤波器(235)的类型中的至少一个是可适配的。
12.如权利要求9所述的视频解码器，其中多视图视频序列包括立体视频序列。
13.一种视频解码方法，包括：
适配在解码多视图视频序列时执行的去块滤波，
其中，在具有不同的多视图视频编码预测类型的两个相邻块的边缘上的边界强度比这两个相邻块具有相同的多视图视频编码预测类型、以及不同的参考帧或不同数量的参考帧时更高。
14.如权利要求13所述的方法，其中所述边界强度被设置为4(625)。
15.如权利要求13所述的方法，其中所述适配步骤适配所述边界强度、要滤波的采样数量、以及去块滤波的类型中的至少一个。
16.如权利要求13所述的方法，其中多视图视频序列包括立体视频序列。
CN200780002185.8A 2006-01-09 2007-01-09 提供用于多视图视频编码的提供降低分辨率的更新模式的方法和装置 Active CN101371585B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US75728906P 2006-01-09 2006-01-09
US75729206P 2006-01-09 2006-01-09
US60/757,289 2006-01-09
US60/757,292 2006-01-09
PCT/US2007/000348 WO2007081838A1 (en) 2006-01-09 2007-01-09 Method and apparatus for providing reduced resolution update mode for multi-view video coding

Publications (2)

Publication Number Publication Date
CN101371585A CN101371585A (zh) 2009-02-18
CN101371585B true CN101371585B (zh) 2014-07-30

Family

ID=38068328

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200780002185.8A Active CN101371585B (zh) 2006-01-09 2007-01-09 提供用于多视图视频编码的提供降低分辨率的更新模式的方法和装置

Country Status (6)

Country Link
US (1) US9628823B2 (zh)
EP (1) EP1972151B1 (zh)
JP (1) JP5535485B2 (zh)
CN (1) CN101371585B (zh)
BR (1) BRPI0706362B1 (zh)
WO (1) WO2007081838A1 (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101366092B1 (ko) * 2006-10-13 2014-02-21 삼성전자주식회사 다시점 영상의 부호화, 복호화 방법 및 장치
WO2008084996A1 (en) * 2007-01-11 2008-07-17 Samsung Electronics Co, . Ltd. Method and apparatus for deblocking-filtering video data
JP4847890B2 (ja) * 2007-02-16 2011-12-28 パナソニック株式会社 符号化方式変換装置
EP2125735B1 (en) * 2007-02-28 2012-06-27 Advinus Therapeutics Private Limited 2,2,2-tri-substituted acetamide derivatives as glucokinase activators, their process and pharmaceutical application
US8548261B2 (en) 2007-04-11 2013-10-01 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding multi-view image
WO2009088976A1 (en) * 2008-01-07 2009-07-16 Thomson Licensing Methods and apparatus for video encoding and decoding using parametric filtering
KR101705138B1 (ko) * 2008-04-11 2017-02-09 톰슨 라이센싱 변위된 인트라 예측과 템플릿 매칭을 위한 디블록 필터링
JP5577334B2 (ja) 2008-07-20 2014-08-20 ドルビー ラボラトリーズ ライセンシング コーポレイション 立体ビデオ配信システムのエンコーダ最適化
EP2290996A4 (en) * 2008-09-29 2012-03-14 Panasonic Corp VIDEO SIGNAL PROCESSING DEVICE
BRPI0921986A2 (pt) * 2008-11-25 2018-06-05 Thomson Licensing métodos e aparelho para filtralçao por eliminação de artefatos à base de matrizes esparsas para codificação e decodificação de vídeo
KR101353115B1 (ko) 2009-08-03 2014-01-21 제너럴 인스트루먼트 코포레이션 비디오 컨텐트를 인코딩하는 방법
US9445119B2 (en) 2009-10-29 2016-09-13 Vestel Elektronik Sanayi Ve Ticaret A.S. Method and device for processing a video sequence
KR20130044231A (ko) * 2010-04-06 2013-05-02 코닌클리케 필립스 일렉트로닉스 엔.브이. ３ｄ 노이즈의 가시성 감소
JP5544996B2 (ja) * 2010-04-09 2014-07-09 ソニー株式会社 画像処理装置および方法
JP5748463B2 (ja) * 2010-12-02 2015-07-15 キヤノン株式会社 符号化装置およびプログラム
JP5159927B2 (ja) 2011-07-28 2013-03-13 株式会社東芝 動画像復号装置及び動画像復号方法
EP4024864B1 (en) * 2011-11-04 2023-09-13 LG Electronics, Inc. Method and apparatus for encoding/decoding video information
CN104094604B (zh) 2012-01-20 2017-07-14 太阳专利托管公司 使用时间运动矢量预测对视频进行编码和解码的方法和装置
EP3829177A1 (en) 2012-02-03 2021-06-02 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
JP6421931B2 (ja) 2012-03-06 2018-11-14 サン パテント トラスト 動画像符号化方法及び動画像符号化装置
WO2013140722A1 (ja) * 2012-03-21 2013-09-26 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、および画像符号化復号装置
WO2013153778A1 (ja) 2012-04-09 2013-10-17 パナソニック株式会社 画像符号化方法および画像復号化方法
CN104272743B (zh) 2012-05-09 2019-01-01 太阳专利托管公司 执行运动矢量预测的方法、编码和解码方法及其装置
KR20140053448A (ko) * 2012-10-25 2014-05-08 에스케이텔레콤 주식회사 스테레오스코픽 비디오에서 제1영상에 대한 부호화정보로부터 제2영상을 디블록킹 필터링하는 방법 및 장치
CN116708767A (zh) 2013-01-04 2023-09-05 Ge视频压缩有限责任公司 高效可伸缩编码概念
CN117956141A (zh) 2013-04-08 2024-04-30 Ge视频压缩有限责任公司 多视图解码器
EP3193504A4 (en) 2014-10-07 2017-11-01 Samsung Electronics Co., Ltd. Multi-view image encoding/decoding method and apparatus
CN106657961B (zh) * 2015-10-30 2020-01-10 微软技术许可有限责任公司 立体视频的混合数字-模拟编码
US10694202B2 (en) * 2016-12-01 2020-06-23 Qualcomm Incorporated Indication of bilateral filter usage in video coding
US11683514B2 (en) * 2020-12-22 2023-06-20 Tencent America LLC Method and apparatus for video coding for machine

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1327345A (zh) * 2000-05-29 2001-12-19 阿尔卡塔尔公司 用运动预测和块效应过滤进行视频源编码
CN1450497A (zh) * 2003-04-25 2003-10-22 北京工业大学 基于视频内容的视频编码方法
EP1408697A1 (en) * 2002-07-11 2004-04-14 Matsushita Electric Industrial Co., Ltd. Filtering intensity decision method, moving picture encoding method, and moving picture decoding method
CN1558680A (zh) * 2004-01-16 2004-12-29 北京工业大学 一种用于视频编码的简单化环路滤波方法
CN1652610A (zh) * 2005-01-31 2005-08-10 浙江大学 视频或图像去块滤波的方法和装置
CN1659794A (zh) * 2002-05-01 2005-08-24 汤姆森特许公司 根据像素亮度调整的去块滤波器

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7450641B2 (en) * 2001-09-14 2008-11-11 Sharp Laboratories Of America, Inc. Adaptive filtering based upon boundary strength
JP4580626B2 (ja) * 2002-07-11 2010-11-17 パナソニック株式会社 フィルタリング強度の決定方法、動画像符号化方法、および動画像復号化方法
US7650036B2 (en) 2003-10-16 2010-01-19 Sharp Laboratories Of America, Inc. System and method for three-dimensional video coding
JP2005311512A (ja) 2004-04-19 2005-11-04 Toshiba Corp エラーコンシールメント方法及び復号器
US7460596B2 (en) * 2004-04-29 2008-12-02 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US7725691B2 (en) * 2005-01-28 2010-05-25 Analog Devices, Inc. Method and apparatus for accelerating processing of a non-sequential instruction stream on a processor with multiple compute units
US8228994B2 (en) * 2005-05-20 2012-07-24 Microsoft Corporation Multi-view video coding based on temporal and view decomposition
US8644386B2 (en) * 2005-09-22 2014-02-04 Samsung Electronics Co., Ltd. Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1327345A (zh) * 2000-05-29 2001-12-19 阿尔卡塔尔公司 用运动预测和块效应过滤进行视频源编码
CN1659794A (zh) * 2002-05-01 2005-08-24 汤姆森特许公司 根据像素亮度调整的去块滤波器
EP1408697A1 (en) * 2002-07-11 2004-04-14 Matsushita Electric Industrial Co., Ltd. Filtering intensity decision method, moving picture encoding method, and moving picture decoding method
CN1552161A (zh) * 2002-07-11 2004-12-01 松下电器产业株式会社 滤波强度的决定方法、动态图像编码方法及解码方法
CN1450497A (zh) * 2003-04-25 2003-10-22 北京工业大学 基于视频内容的视频编码方法
CN1558680A (zh) * 2004-01-16 2004-12-29 北京工业大学 一种用于视频编码的简单化环路滤波方法
CN1652610A (zh) * 2005-01-31 2005-08-10 浙江大学 视频或图像去块滤波的方法和装置

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Anantresirichai N.etc.Muti-View Image Coding with Wavelet Lifting and In-BandDisparity Compensation
Anantresirichai,N.etc.Muti-View Image Coding with Wavelet Lifting and In-BandDisparity Compensation,.Image processing,2005.IEEE International conference on genova,3.2005,333-36. *
Jens-Rainer Ohm.etc,.Incomplete 3-D Multiview Resentation of video object.Circuits and Systems for Viedo Technology,IEEE Ttansactions on,9 2.1999,9(2),389-400. *
Jens-RainerOhm.etc .Incomplete 3-D Multiview Resentation of video object.Circuits and Systems for Viedo Technology
Shiping Li.etc,.Approaches To H.264-Based Stereoscopic Video Coding.Image and Graphics 2004 Proceedings,Third International Conference.2004,365-368.
Shiping Li.etc,.Approaches To H.264-Based Stereoscopic Video Coding.Image and Graphics 2004 Proceedings,Third International Conference.2004,365-368. *

Also Published As

Publication number Publication date
US20090028249A1 (en) 2009-01-29
JP5535485B2 (ja) 2014-07-02
JP2009522937A (ja) 2009-06-11
BRPI0706362A2 (pt) 2011-03-22
EP1972151A1 (en) 2008-09-24
BRPI0706362B1 (pt) 2019-10-01
US9628823B2 (en) 2017-04-18
WO2007081838A1 (en) 2007-07-19
EP1972151B1 (en) 2017-03-29
CN101371585A (zh) 2009-02-18

Similar Documents

Publication Publication Date Title
CN101371585B (zh) 提供用于多视图视频编码的提供降低分辨率的更新模式的方法和装置
JP5467637B2 (ja) マルチビュー・コード化ビデオにおける照度補償および／または色補償についてのコーディング・アーチファクトを低減する方法および装置
CN102550026B (zh) 视频编码和解码中色度分量的预测像素的自适应滤波的方法和装置
CN101529920B (zh) 在没有明确的信号通知的情况下的局部照度和色彩补偿
JP5413923B2 (ja) 変位イントラ予測およびテンプレート・マッチングのためのデブロッキング・フィルタリング
CN101711481B (zh) 使用预测数据精选进行视频编码的方法和装置
KR101648818B1 (ko) 움직임 보상 보간 및 참조 픽쳐 필터링에 대한 국부적 적응형 필터링을 위한 방법 및 장치
JP5383914B2 (ja) デブロッキングフィルタリング装置及び方法
CN105376572A (zh) 用于环内去伪影滤波的方法和设备
CN101828401A (zh) 用于比特深度缩放的伪像去除的方法和设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP02 Change in the address of a patent holder
CP02 Change in the address of a patent holder

Address after: I Si Eli Murli Nor, France

Patentee after: THOMSON LICENSING

Address before: French Boulogne

Patentee before: THOMSON LICENSING

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190201

Address after: Paris France

Patentee after: International Digital Madison Patent Holding Co.

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING

Effective date of registration: 20190201

Address after: I Si Eli Murli Nor, France

Patentee after: THOMSON LICENSING

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING