HK1190255A - 用於视频译码的并行化友好合并候选者 - Google Patents
用於视频译码的并行化友好合并候选者 Download PDFInfo
- Publication number
- HK1190255A HK1190255A HK14103278.1A HK14103278A HK1190255A HK 1190255 A HK1190255 A HK 1190255A HK 14103278 A HK14103278 A HK 14103278A HK 1190255 A HK1190255 A HK 1190255A
- Authority
- HK
- Hong Kong
- Prior art keywords
- merge candidate
- prediction unit
- merge
- candidate set
- prediction
- Prior art date
Links
Description
本申请案主张以下各申请案的权利:2011年6月20日申请的第61/499,112号美国临时申请案、2011年10月4日申请的第61/543,043号美国临时申请案、2011年10月4日申请的第61/543,059号美国临时申请案、2011年11月7日申请的第61/556,761号美国临时申请案、2011年11月21日申请的第61/562,387号美国临时申请案,以及2011年11月22日申请的第61/562,953号美国临时申请案,所述这些申请案在此以其全文引用的方式并入本文中。
技术领域
本发明涉及视频译码,且更明确地说,涉及用于在运动向量预测过程中确定运动向量预测候选者的集合的技术。
背景技术
数字视频能力可并入到广泛范围的装置中,广泛范围的装置包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数字相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话会议装置等等。数字视频装置实施视频压缩技术以更有效率地发射、接收及存储数字视频信息,视频压缩技术例如以下各标准中所描述的视频压缩技术等:由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4(第10部分,高级视频译码(AVC))定义的标准、目前在开发中的高效率视频译码(HEVC)标准,以及此类标准的扩展。
视频压缩技术包含空间预测和/或时间预测以减少或去除视频序列中固有的冗余。对于基于块的视频译码,可将视频帧或切片分割成多个块。可进一步分割每一块。经帧内译码(I)帧或切片中的块是使用相对于同一帧或切片中的相邻块中的参考样本的空间预测来编码。经帧间译码(P或B)帧或切片中的块可使用相对于同一帧或切片中的相邻块中的参考样本的空间预测或相对于其它参考帧中的参考样本的时间预测。空间预测或时间预测导致对块的预测性块译码。残余数据表示待译码的原始块与预测性块之间的像素差。
经帧间译码块是根据指向形成预测性块的参考样本的块的运动向量以及指示经译码块中的像素值与预测性块中的参考样本之间的差的残余数据来编码。经帧内译码块是根据帧内译码模式和残余数据来编码。为了进一步压缩,可将残余数据从像素域变换到变换域,从而产生接着可进行量化的残余变换系数。可以特定次序来扫描最初以二维阵列布置的经量化的变换系数以产生变换系数的一维向量以用于进行熵译码。
发明内容
一股来说,本发明描述用于译码视频数据的技术。本发明描述用于在合并模式运动向量预测过程中确定合并候选者的集合的技术。
在一些实例中,本发明提议产生用于译码单元的当前预测单元的合并候选者集合,而不比较任何合并候选者的运动信息与同一译码单元中的任何其它预测单元的运动信息。以此方式,可并行地产生用于译码单元的多个预测单元的合并候选者集合,这是因为特定合并候选者的产生并不依赖于与可能已经确定或可能尚未确定的其它预测单元中的运动向量信息的比较。
本发明进一步提议将包括在同一译码单元的另一预测单元内的合并候选者从用于当前预测单元的合并候选者集合中去除。以此方式,一个译码单元的所有预测单元将使用相同运动向量信息的可能性有限,从而保留了将译码单元分割成多个预测单元的优点。
在本发明的一个实例中,一种译码视频数据的方法包括确定用于当前译码单元的当前预测单元的合并候选者集合,其中确定所述合并候选者集合而不比较所述合并候选者集合中的合并候选者的运动信息与任何其它预测单元的运动信息,以及使用所述合并候选者集合执行用于所述当前预测单元的合并运动向量预测过程。所述方法可进一步包括将在所述当前译码单元的另一预测单元内的合并候选者从所述合并候选者集合中排除。
在本发明的另一实例中,一种经配置以译码视频数据的设备包括视频译码器,所述视频译码器经配置以确定用于当前译码单元的当前预测单元的合并候选者集合,其中确定所述合并候选者集合而不比较所述合并候选者集合中的合并候选者的运动信息与任何其它预测单元的运动信息,以及使用所述合并候选者集合执行用于所述当前预测单元的合并运动向量预测过程。所述视频译码器可经进一步配置以将在所述当前译码单元的另一预测单元内的合并候选者从所述合并候选者集合中去除。
在本发明的另一实例中,一种经配置以译码视频数据的设备包括用于确定用于当前译码单元的当前预测单元的合并候选者集合的装置,其中确定所述合并候选者集合而不比较所述合并候选者集合中的合并候选者的运动信息与任何其它预测单元的运动信息,以及用于使用所述合并候选者集合执行用于所述当前预测单元的合并运动向量预测过程的装置。所述设备可进一步包括用于将在所述当前译码单元的另一预测单元内的合并候选者从所述合并候选者集合中排除的装置。
在本发明的另一实例中,提议一种计算机可读存储媒体,其具有存储于其上的指令,所述指令在经执行时致使经配置以译码视频数据的一个或一个以上处理器进行操作。所述指令可致使所述一个或一个以上处理器确定用于当前译码单元的当前预测单元的合并候选者集合,其中确定所述合并候选者集合而不比较所述合并候选者集合中的合并候选者的运动信息与任何其它预测单元的运动信息,以及使用所述合并候选者集合执行用于所述当前预测单元的合并运动向量预测过程。所述指令可进一步致使所述一个或一个以上处理器将在所述当前译码单元的另一预测单元内的合并候选者从所述合并候选者集合中去除。
在随附图式和下文描述中阐述一个或一个以上实例的细节。其它特征、目标和优点将从所述描述和图式以及从权利要求书显而易见。
附图说明
图1为说明用于根据合并模式的运动向量预测的候选块的概念图式。
图2为说明实例分割类型的概念图式。
图3A为说明用于译码单元的N×2N分割的合并模式运动向量预测的候选块的概念图。
图3B为说明用于译码单元的2N×N分割的合并模式运动向量预测的候选块的概念图。
图4A为说明用于译码单元的N×N分割的合并模式运动向量预测的候选块的概念图。
图4B为说明用于译码单元的N×N分割的合并模式运动向量预测的候选块的另一实例的概念图。
图5为说明实例视频译码系统的框图。
图6为说明实例视频编码器的框图。
图7为说明实例视频解码器的框图。
图8为说明根据本发明的技术的编码视频的实例方法的流程图。
图9为说明根据本发明的技术的解码视频的实例方法的流程图。
具体实施方式
一股来说,本发明描述用于译码视频数据的技术。本发明描述用于在合并模式运动向量预测过程中确定合并候选者集合的技术。
数字视频装置实施视频压缩技术以更有效率地编码及解码数字视频信息。视频压缩可应用空间(帧内)预测和/或时间(帧间)预测技术以减少或去除视频序列中固有的冗余。
存在新的视频译码标准,即,高效率视频译码(HEVC),其是由ITU-T视频译码专家组(VCEG)和ISO/IEC运动图片专家组(MPEG)的视频译码联合合作小组(JCT-VC)开发。HEVC标准的新近草案(其被称作“HEVC工作草案6”或“WD6”)描述于Brass等人的以下文档JCTVC-H1003中:“高效率视频译码(HEVC)文本规范草案6”,ITU-TSG16WP3和ISO/IEC JTC1/SC29/WG11的视频译码联合合作小组(JCT-VC),第8次会议:美国加利福尼亚圣何塞,2012年2月,所述文档从2012年6月1日起可从http://phenix.int-evry.fr/jct/doc_end_user/documents/8_San%20Jose/wg11/JCTVC-H1003-v22.zip下载。
对于根据当前正由视频译码联合合作小组(JCT-VC)开发的高效率视频译码(HEVC)标准的视频译码,可将视频帧分割成多个译码单元。译码单元(CU)一股是指用作对其应用各种译码工具以实现视频压缩的基本单元的图像区。CU通常具有可表示为Y的明度分量,以及可表示为U和V的两个色度分量。取决于视频取样格式,依据样本的数目来计的U和V分量的大小可与Y分量的大小相同或不同。CU通常为方形,且可被视为类似于(例如)例如ITU-T H.264等其它视频译码标准下的所谓的宏块。
为了实现更好的译码效率,译码单元可具有取决于视频内容的可变大小。另外,可将译码单元分裂成多个较小块以用于预测或变换。明确地说,可将每一译码单元进一步分割成多个预测单元(PU)和变换单元(TU)。预测单元可被视为类似于例如H.264等其它视频译码标准下的所谓的分割。变换单元(TU)是指对其应用变换以产生变换系数的残余数据块。
为了说明的目的,将在本申请案中描述根据在开发中的HEVC标准的目前所提议的方面中的一些方面的译码。然而,本发明中所描述的技术可用于其它视频译码过程,例如根据H.264或其它标准定义的视频译码过程或专有视频译码过程等。
HEVC标准化努力是基于被称作HEVC测试模型(HM)的视频译码装置的模型。HM假定视频译码装置优于根据(例如)ITU-T H.264/AVC的装置的若干能力。举例来说,鉴于H.264提供九个帧内预测编码模式,HM提供多达三十四个帧内预测编码模式。
根据HM,CU可包含一个或一个以上预测单元(PU)和/或一个或一个以上变换单元(TU)。位流内的语法数据可定义最大译码单元(LCU),其为依据像素的数目来计的最大CU。一股来说,除了CU不具有大小分布以外,CU具有类似于H.264的宏块的目的。因此,可将CU分裂成多个子CU。一股来说,本发明中对CU的参考可指图片的最大译码单元或LCU的子CU。可将LCU分裂成多个子CU,且可将每一子CU进一步分裂成多个子CU。用于位流的语法数据可定义可将LCU分裂的最大次数,其被称作CU深度。因此,位流也可定义最小译码单元(SCU)。本发明也使用术语“块”或“部分”来指CU、PU或TU中的任一者。一股来说,“部分”可指视频帧的任一子集。
LCU可与四叉树数据结构相关联。一股来说,四叉树数据结构每一CU包含一个节点,其中根节点对应于LCU。如果将CU分裂成四个子CU,那么对应于CU的节点包含四个叶节点,所述四个叶节点中的每一者对应于所述子CU中的一者。四叉树数据结构的每一节点可提供用于对应CU的语法数据。举例来说,四叉树中的节点可包含分裂旗标,所述分裂旗标指示对应于所述节点的CU是否分裂成多个子CU。可以递归方式定义用于CU的语法元素,且用于CU的语法元素可取决于CU是否分裂成多个子CU。如果CU未经进一步分裂,那么CU被称作叶CU。
此外,叶CU的TU也可与相应四叉树数据结构相关联。即,叶CU可包含指示如何将叶CU分割成多个TU的四叉树。本发明提及指示如何将LCU分割为CU四叉树的四叉树,以及指示如何将叶CU分割成多个TU作为TU四叉树的四叉树。TU四叉树的根节点一股对应于叶CU,而CU四叉树的根节点一股对应于LCU。未经分裂的TU四叉树的TU被称作叶TU。
叶CU可包含一个或一个以上预测单元(PU)。一股来说,PU表示对应CU的全部或一部分,且可包含用于检索用于PU的参考样本的数据。举例来说,当PU经帧间模式编码时,PU可包含定义用于PU的运动向量的数据。定义运动向量的数据可描述(例如)运动向量的水平分量、运动向量的垂直分量、用于运动向量的分辨率(例如,四分之一像素精度或八分之一像素精度)、运动向量指向的参考帧,和/或用于运动向量的参考列表(例如,列表0或列表1)。用于定义PU的叶CU的数据也可描述(例如)将CU分割成一个或一个以上PU。分割模式可取决于CU未经预测性地译码、经帧内预测模式编码还是经帧间预测模式编码而不同。对于帧内译码,可将PU视为与下文所描述的叶变换单元相同。
为了译码块(例如,视频数据的预测单元(PU)),首先导出用于块的预测子。预测子可经由帧内(I)预测(即,空间预测)或帧间(P或B)预测(即,时间预测)来导出。因此,一些预测单元可使用相对于同一帧中的相邻参考块的空间预测来进行帧间译码(I),且其它预测单元可相对于其它帧中的参考块进行帧间译码(P或B)。
在识别预测子后,便计算原始视频数据块与其预测子之间的差。此差也被称为预测残余,且是指待译码的块的像素与参考块的对应参考样本(其可为整数精度像素或经内插的分数精度像素)之间的像素差(即,预测子)。为了实现更好的压缩,一股例如使用离散余弦变换(DCT)、整数变换、卡南-洛伊夫(Karhunen-Loeve)(K-L)变换或其它变换来变换预测残余(即,像素差值阵列)。
使用帧间预测译码PU涉及计算当前块与参考帧中的块之间的运动向量。经由被称为运动估计(或运动搜索)的过程来计算运动向量。运动向量(例如)可指示当前帧中的预测单元相对于参考帧的参考样本的位移。参考样本可为发现依据像素差来说紧密匹配包含经译码的PU的CU的部分的块,像素差可通过绝对差总和(SAD)、平方差总和(SSD)或其它差异度量来确定。参考样本可出现于参考帧或参考切片内的任何处。在一些实例中,可整体地或部分地来内插参考样本,且参考样本出现于分数像素位置处。在寻找到最好地匹配当前部分的参考帧的一部分后,编码器便确定用于当前部分的当前运动向量为从当前部分到参考帧中的匹配部分的位置差(例如,从当前部分的中心到匹配部分的中心)。
在一些实例中,编码器可在经编码视频位流中用信号发出用于每一部分的运动向量。用信号发出的运动向量由解码器使用以执行运动补偿以便解码视频数据。然而,直接用信号发出原始运动向量可导致较低效率的译码,这是因为输送信息通常需要大量位。
在一些情况下,不是直接用信号发出原始运动向量,而是编码器可预测用于每一PU的运动向量。在本发明中,术语“块”可一股地用以指CU、PU或TU。在执行运动向量预测过程中,编码器可选择针对与当前PU相同的帧中的空间上相邻块确定的候选运动向量集合或针对参考帧中的经并置的PU确定的候选运动向量。编码器可执行运动向量预测以选择特定候选运动向量,且在需要时,用信号发出指示选定运动向量候选者的语法元素以减少发信号中的位速率。来自空间上相邻块的候选运动向量可被称作空间MVP候选者,而来自另一参考帧中经并置的块的候选运动向量可被称作时间MVP候选者。
本发明的技术是针对运动向量预测的“合并”模式。在合并模式中,视频编码器通过预测语法的位流发信号指导解码器复制运动向量、参考索引(其在给定参考图片列表中识别参考帧,运动向量指向所述参考帧)以及运动预测方向(其识别参考图片列表(列表0或列表1),即,依据参考帧在时间上在当前帧之前还是之后)(从用于帧的当前部分的选定候选运动向量)。此操作通过在位流中用信号发出到候选运动向量集合的索引来完成,所述索引识别选定候选运动向量(即,特定空间MVP候选者或时间MVP候选者)。候选运动向量集合可通过预设设置导出或从某些译码参数推断出。因此,对于合并模式,预测语法可包含识别模式(在此情况下,为“合并”模式)的旗标,以及识别选定候选运动向量的索引。在一些情况下,候选运动向量将在参考当前PU的表示原因的PU中。即,候选运动向量将已经由解码器解码。因而,解码器已经接收及/或确定用于表示原因的PU的运动向量、参考索引及运动预测方向。因而,解码器可仅从存储器检索与表示原因的PU相关联的运动向量、参考索引及运动预测方向,且复制这些值以用于当前PU。为了在合并模式中解码块,解码器使用运动向量预测获得预测子块,且将残余数据加到预测子块以重新建构经译码块。
一旦执行运动估计以确定用于当前部分的运动向量,编码器便比较参考帧中的匹配部分与当前部分。此比较通常涉及从当前部分中减去参考帧中的部分(其通常被称作“参考样本”)且产生所谓的残余数据,如上文所提及。残余数据指示当前部分与参考样本之间的像素差值。编码器接着将此残余数据从空间域变换到例如频域等变换域。通常,编码器对残余数据应用离散余弦变换(DCT)以完成此变换。编码器执行此变换以便促进残余数据的压缩,这是因为所得变换系数表示不同频率,其中大部分能量通常集中于少数低频系数上。
通常,所得变换系数是以实现变动长度编码的方式分群在一起,尤其在变换系数首先经量化(舍入)的情况下。编码器执行经量化的变换系数的此变动长度编码且接着执行统计无损失(或所谓的“熵”)编码以进一步压缩经变动长度译码的经量化的变换系数。
在执行无损失熵译码之后,编码器产生包含经编码视频数据的位流。此位流在某些情况下也包含若干预测语法元素,其指定(例如)是否执行运动向量预测、运动向量模式以及运动向量预测子(MVP)索引(即,具有选定运动向量的候选部分的索引)。MVP索引也可被称作其语法元素变量名称“mvp_idx”。
图1展示当前在HEVC标准中提议用于在合并模式中使用的候选运动向量集合90。合并模式使用来自以下空间和时间块的六个合并候选者:左下方(BL)块91、左侧(L)块92、右上方(RA)块93、上方(A)块94、左上方(LA)块95,以及时间块(T)96。与这些块相关联的候选运动向量用于在合并模式中确定运动向量预测子。
时间块96可在不同于当前PU(例如,T2)的帧中的经并置的块内或邻近于不同于当前PU108(例如,T1)的帧中经并置的块。图1中描绘的空间候选块(即,BL、L、LA、A和RA)的位置并非绝对位置,而是基于以下一股定义的相对于当前PU98的相对位置。应注意,候选块无需为满足以下定义的最近的可能的块,而是可为满足定义的任何PU。LA候选块95位于定义当前PU的顶端线上方及定义当前PU的左侧线左侧。L候选块92位于定义当前PU的左侧线左侧,而且位于定义当前PU的底端线上方及定义当前PU的顶端线下方。BL候选块91位于定义当前PU的底端线下方及定义当前PU的左侧线左侧。A候选块94位于定义当前PU的顶端线上方,而且位于定义当前PU的左侧线右侧及定义当前PU的右侧线左侧。RA候选块93位于定义当前PU的右侧线右侧及定义当前PU的顶端线上方。
每一PU产生多个合并候选者。即,每一PU具有其自身的合并候选者集合。此情形包含从较大CU分割的PU。图1的实例是针对经2N×2N分割的PU(例如,方形PU)。图2展示具有不同分割类型的预测单元的其它实例。如图2中所展示,2N×2N分割为方形分割。基本上,其为来自未经分割的CU的PU。通过将方形CU划分成两个水平定向的PU来作出2N×N分割,其中PU0在PU1之上。通过将方形CU划分成两个垂直定向的PU来作出N×2N分割,其中PU0在PU1左侧。通过将方形CU划分成四个相等大小的PU来作出N×N分割。在N×N分割中,PU0在CU的左上方,PU1在CU的右上方,PU2在CU的左下方,且PU3在CU的右下方。
图2展示额外类型的“非方形”分割。2N×nD分割为水平定向的非方形分割类型,其中下部PU(PU1)具有比上部PU(PU0)小的大小(即,CU大小的四分之一大小)。2N×nU分割为水平定向的非方形分割类型,其中下部PU(PU1)具有比上部PU(PU0)大的大小(即,CU大小的四分之三)。nL×2N分割为垂直定向的非方形分割类型,其中左侧PU(PU0)具有比右侧PU(PU1)小的大小(即,CU大小的四分之一大小)。nR×2N分割为垂直定向的非方形分割类型,其中左侧PU(PU0)具有比右侧PU(PU1)大的大小(即,CU大小的四分之三)。这些分割实例有时被称为非对称运动分割(AMP)。
根据所述分割类型中的一者来分割CU以提供更准确的帧间预测(时间预测)。分别针对每一分割用信号发出运动信息。在较精细分割(例如,2N×N分割比2N×2N分割精细)的情况下,可能有可能针对每一分割导出较好品质的预测子。另一方面,由于分别针对每一分割用信号发出运动信息,因此在较精细分割情况下的CU的发信号开销也相对较高。在实践中,确定用于当前CU的分割类型常常是基于速率失真优化。选定的分割类型是预测准确度与发信号开销之间的折衷。针对HEVC标准的当前提议实施技术以避免使用用于同一CU的PU的冗余合并候选者。冗余合并候选者为具有与同一CU中的另一PU相同的运动信息的合并候选者。对于特定分割类型,将用于PU1(或对于N×N分割,为PU1、PU2和PU3)的合并候选者中的一者与PU0(或对于N×N分割,为PU0、PU1和PU2)的运动信息相比较以避免使用相同运动信息的整个CU。如果CU中的每个PU使用相同运动信息,那么结果将为2N×2N分割类型(即,无分割)的复制。因此,将否定分割CU以用于更准确的帧间预测的优点。
为了避免使用冗余合并候选者,针对HEVC的一个提议提议比较合并候选者集合中的每一合并候选者的运动信息与同一CU的其它PU的运动信息。将具有与先前经译码PU相同的运动信息的任何合并候选者从合并候选者集合中去除以避免使用相同运动信息的整个CU。
根据此技术,用于产生用于PU的合并候选者集合的过程如下:
1.检查用于下一候选块的运动信息
2.比较候选运动信息与同一CU中的先前经译码PU的运动信息
3.如果候选块的候选运动信息与先前经译码PU的运动信息相同,那么转向步骤1;否则,转向步骤4
4.将候选块添加到合并候选者集合中
5.如果检查了所有候选块,那么过程结束;否则,转向步骤1
一股来说,在此过程情况下对合并候选者的限制针对2N×N、N×2N和N×N分割类型产生以下结果:
1)2N×N/N×2N情况:如果用于第二PU(PU1)的合并候选者具有与第一PU(PU0)的运动信息相同的运动信息,那么将所述合并候选者设定为不可用。
2)N×N情况:
a.PU0和PU1具有相同运动信息。如果PU3的合并候选者具有与PU2相同的运动信息,那么将所述合并候选者设定为不可用;
b.PU0和PU2具有相同运动信息。如果PU3的合并候选者具有与PU1相同的运动信息,那么将所述合并候选者设定为不可用。
虽然此过程确实消除冗余合并候选者,但此过程需要在开发用于后续PU的合并候选者集合之前编码/解码所有PU。因而,并行地处理一个CU的多个PU的能力受限制。编码器/解码器必须在建构用于当前PU的合并候选者集合之前确定同一CU中的所有先前PU的最终运动信息。此外,用于每一候选块的比较操作可增加编码器/解码器的计算复杂性。
在一个实例中,本发明提议在产生合并候选者集合期间去除比较检查操作,从而使得合并候选者产生并行化友好。所揭示技术消除了对于比较候选块与CU的其它PU之间的运动信息的需要。因而,可并行地产生用于CU的所有PU的合并候选者集合。所揭示过程也可减少编码及解码的计算复杂性。
针对每一PU的所提议过程为
1.检查下一候选块
2.将候选块添加到候选者集合中
3.如果检查了所有相邻块,那么过程结束;否则,转向步骤1
此过程提供针对所有PU的统一解决方案,而不考虑预测单元的索引(例如,PU0、PU1)且不进行候选块的运动信息与先前经译码PU的运动信息的比较。可去除上文所说明的运动信息比较步骤。尽管反复地进行描述,但此方法的步骤可并行地来执行。举例来说,并行过程的第一线程可包含执行步骤1和步骤2的第一实例的指令,且并行过程的第二个不同线程可包含执行步骤1和步骤2的第二实例的指令。也可提供额外线程。
基于所提议技术,可将在先前PU内部的合并候选者包含到合并候选者集合中。然而,此情形可使得整个CU使用相同运动信息。因而,经分割的CU可以与2N×2N分割相同的经译码运动向量结束,且用于帧间预测的分割的益处可受限制。另外,在合并候选者集合中包含此类冗余候选块可造成一些性能降低,这是因为额外位用以用信号发出冗余合并候选者。因而,本发明也提议:在合并候选者位于同一CU的另一PU内部的情况下,将合并候选者从合并候选者集合中去除。
图3A为说明用于CU的N×2N分割的合并模式的候选块的概念图。应注意,图3A中所展示的技术同样可适用于nL×2N或nR×2N非对称分割类型。合并候选者集合100展示用于经N×2N分割的CU的PU0的合并候选者。由于合并候选者集合100中无合并候选者在同一CU的另一PU内,因此所有合并候选者可保持在合并候选者集合100中。合并候选者集合102展示用于经N×2N分割的CU的PU1的合并候选者。如可见,对于用于PU1的合并集合102,合并候选者L来自同一CU的PU0。因而,可将合并候选者L从合并候选者集合102中去除/排除。在此上下文中,可将经去除的合并候选者视为从合并候选者的预先定义的列表中去除的候选者。经排除的合并候选者可为在导出合并候选者列表时从合并候选者列表中排除的合并候选者,而不管所述列表是否经预先定义。一股来说,经去除/排除的合并候选者为不在最终合并候选者列表中使用的任何合并候选者。
应注意,合并候选者L不需要位于PU0中的确切位置中(例如,在PU0经进一步分割的情况下),但是在合并候选者L位于PU0的任何部分中的情况下,可排除所述合并候选者L。也应注意,合并候选者集合100和102中的每一者也具有时间合并候选者T,如图1中所展示。
图3B为说明用于CU的2N×N分割的合并模式的候选块的概念图。应注意,图3B中所展示的技术同样可适用于2N×nU或2N×nD非对称分割类型。合并候选者集合104展示用于经2N×N分割的CU的PU0的合并候选者。由于合并候选者集合104中无合并候选者在同一CU的另一PU内,因此所有合并候选者可保持在合并候选者集合104中。合并候选者集合106展示用于经2N×N分割的CU的PU1的合并候选者。如可见的,对于用于PU1的合并集合106,合并候选者A来自同一CU的PU0。因而,可将合并候选者A从合并候选者集合106中去除/排除。应注意,合并候选者A不需要位于PU0中的确切位置中(如所展示)(例如,在PU0经进一步分割的情况下),但是在合并候选者A位于PU0的任何部分中的情况下,可排除所述合并候选者A。也应注意,合并候选者集合104和106中的每一者也具有时间合并候选者T,如图1中所展示。
图4A为说明用于CU的N×N分割的合并模式的候选块的概念图。合并候选者集合108展示用于经N×N分割的CU的PU0的合并候选者。由于合并候选者集合108中无合并候选者在同一CU的另一PU内,因此所有合并候选者可保持在合并候选者集合108中。
合并候选者集合110展示用于经N×N分割的CU的PU1的合并候选者。如可见的,对于用于PU1的合并集合110,合并候选者L和BL分别来自同一CU的PU0和PU2。因而,可将合并候选者L和BL从合并候选者集合110中去除/排除。应注意,合并候选者L和BL不需要位于PU0和PU2中的确切位置中(如所展示)(例如,在PU0或PU2经进一步分割的情况下),但是在合并候选者L和/或BL位于PU0和/或PU2的任何部分中的情况下,可排除所述合并候选者L和/或BL。
合并候选者集合112展示用于经N×N分割的CU的PU2的合并候选者。如可见的,对于用于PU2的合并集合112,合并候选者A和RA分别来自同一CU的PU0和PU1。因而,可将合并候选者A和RA从合并候选者集合112中去除/排除。应注意,合并候选者A和RA不需要位于PU0和PU1中的确切位置中(如所展示)(例如,在PU0或PU1经进一步分割的情况下),但是在合并候选者A和/或RA位于PU0和/或PU1的任何部分中的情况下,可排除所述合并候选者A和/或RA。
合并候选者集合114展示用于经N×N分割的CU的PU3的合并候选者。如可见的,对于用于PU3的合并集合114,合并候选者LA、A和L分别来自同一CU的PU0、PU1和PU2。因而,可将合并候选者LA、A和L从合并候选者集合114中去除/排除。应注意,合并候选者LA、A和L不需要位于PU0、PU1和PU2中的确切位置中(如所展示)(例如,在PU0、PU1或PU2经进一步分割的情况下),但是在合并候选者LA、A和/或L位于PU0、PU1和/或PU2的任何部分中的情况下,可排除所述合并候选者LA、A和/或L。
应注意,合并候选者集合108、110、112和114中的每一者也具有时间合并候选者T,如图1中所展示。
尽管上文所描述的实例仅考虑2N×N、N×2N和N×N分割类型,但其它分割类型(例如,AMP、几何运动分割(GMP)等)也可受益于所揭示技术。一般来说,所提议技术确定合并候选者集合,而不比较合并候选者的运动信息与任何其它预测单元的运动信息。此外,如果用于当前预测单元的合并候选者集合内的合并候选者在同一译码单元的另一预测单元内,那么可去除/排除所述合并候选者。
在另一实例中,对于N×N分割模式,使用每一预测单元的所有合并候选者,而不管由另一预测单元使用的任何合并候选者。图4B为说明用于译码单元之N×N分割的合并模式的实例候选块的概念图,其中无合并候选者经去除/排除,而不管其在另一PU中的位置。如图4B中所展示,对于PU116、PU118、PU120和PU122中的每一者使用所有候选者(包含时间候选者T)。对于其它分割模式(例如2N×N、N×2N等)以及非对称模式(例如2N×nD、2N×nU、nL×2N和nR×2N等),根据上文所描述的过程应用对于位于同一CU的另一PU内部的当前PU的某些候选者的排除。
在本发明的另一实例中,在特定分割模式中的预测单元0使用并非将在2N×2N分割模式中使用的合并候选者的复制的合并候选者(即,在运动向量预测中实际选定的候选者)的情况下,产生利用用于N×2N和2N×N分割模式中的预测单元1的图1中所展示的集合中的所有可能的合并候选者的合并候选者集合。在另一实例中,对于N×N分割模式,使用所有合并候选者,而不管由另一预测单元使用的任何合并候选者。
根据此实例的用于产生合并候选者集合的规则如下:
1.N×2N分割模式:如果用于PU0的合并索引(即,实际选定的合并候选者)为RA、A或T,那么使用PU1的左侧(L)合并候选者;否则,不使用L(与本发明的先前实例形成对比,在先前实例中,对于PU1不使用L)。
2.2N×N分割模式:如果用于PU0的合并索引为BL、L或T,那么使用PU1的上方(A)合并候选者;否则,不使用A(与本发明的先前实例形成对比,在先前实例中,对于PU1不使用A)。
3.N×N分割模式:将所有PU的所有预测候选者视为有效的
在N×2N实例中,利用用于PU1的合并候选者L并不会变成2N×2N分割模式的复制,这是因为用于N×2N分割模式中的PU0的合并候选位置RA、A或T将未必用于2N×2N分割。同样,在2N×N实例中,利用用于PU1的合并候选者A并不会变成2N×2N分割模式的复制,这是因为用于PU0的合并候选者BL、L或T将未必用于2N×2N分割。
图5为说明根据本发明的实例的可经配置以利用用于在合并模式中产生候选运动向量的技术的实例视频编码及解码系统10的框图。如图5中所展示,系统10包含源装置12,其经由通信信道16将经编码视频发射到目的地装置14。经编码视频数据也可存储在存储媒体34或文件服务器36上且可在需要时由目的地装置14存取。当存储到存储媒体或文件服务器时,视频编码器20可将经译码视频数据提供到另一装置,例如网络接口、压缩光盘(CD)、蓝光或数字视频光盘(DVD)刻录机或压印设施装置或其它装置等,以用于将经译码视频数据存储到存储媒体。同样,与视频解码器30分离的装置(例如网络接口、CD或DVD读取器等等)可从存储媒体检索经译码视频数据且将所检索的数据提供到视频解码器30。
源装置12和目的地装置14可包括广泛多种装置中的任一者,广泛多种装置包含移动装置、桌上型计算机、笔记型计算机(即,膝上型计算机)、平板计算机、机顶盒、电话手机(例如所谓的智能电话等)、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台等等。在许多情况下,此类装置可经装备用于无线通信。因此,通信信道16可包括适合于发射经编码视频数据的无线信道、有线信道或无线信道和有线信道的组合。类似地,文件服务器36可由目的地装置14通过任何标准数据连接(包含因特网连接)存取。此情形可包含适合于存取存储在文件服务器上的经编码视频数据的无线信道(例如,Wi-Fi连接)、有线连接(例如,DSL、电缆调制解调器等)或两者的组合。
根据本发明的实例的用于在合并模式中产生候选运动向量的技术可适用于支持多种多媒体应用中的任一者的视频译码,多种多媒体应用例如空中电视广播、有线电视传输、卫星电视传输、流式视频传输(例如,经由因特网)、用于存储在数据存储媒体上的数字视频的编码、存储在数据存储媒体上的数字视频的解码,或其它应用。在一些实例中,系统10可经配置以支持单向或双向视频传输以支持例如视频流式传输、视频播放、视频广播和/或视频电话等应用。
在图5的实例中,源装置12包含视频源18、视频编码器20、调制器/解调器22以及发射器24。在源装置12中,视频源18可包含例如以下各者等源:视频俘获装置(例如摄像机等)、含有先前俘获的视频的视频存档、接收来自视频内容提供者的视频的视频馈送接口,和/或用于产生计算机图形数据作为源视频的计算机图形系统,或此类源的组合。作为一个实例,如果视频源18为摄像机,那么源装置12和目的地装置14可形成所谓的相机电话或视频电话。然而,本发明中所描述的技术一股可适用于视频译码,且可适用于无线和/或有线应用,或经编码视频数据存储在本地磁盘上的应用。
所俘获的视频、经预先俘获的视频或计算机产生的视频可由视频编码器20来编码。经编码的视频信息可由调制解调器22根据例如无线通信协议等通信标准来调制,且经由发射器24而发射到目的地装置14。调制解调器22可包含各种混频器、滤波器、放大器或经设计以用于信号调制的其它组件。发射器24可包含经设计以用于发射数据的电路,包含放大器、滤波器以及一个或一个以上天线。
由视频编码器20编码的所俘获的视频、经预先俘获的视频或计算机产生的视频也可存储到存储媒体34或文件服务器36上以供稍后消耗。存储媒体34可包含蓝光光盘、DVD、CD-ROM、快闪存储器,或用于存储经编码视频的任何其它合适的数字存储媒体。存储在存储媒体34上的经编码视频可接着由目的地装置14存取以用于解码及播放。
文件服务器36可为能够存储经编码视频及将所述经编码视频传输到目的地装置14的任何类型的服务器。实例文件服务器包含web服务器(例如,用于网站)、FTP服务器、网络附接存储(NAS)装置、本地磁盘驱动器,或能够存储经编码视频数据及将经编码视频数据传输到目的地装置的任何其它类型的装置。来自文件服务器36的经编码视频数据的传输可为流式传输、下载传输或两者的组合。文件服务器36可由目的地装置14通过任何标准数据连接(包含因特网连接)存取。此情形可包含适合于存取存储在文件服务器上的经编码视频数据的无线信道(例如,Wi-Fi连接)、有线连接(例如,DSL、电缆调制解调器、以太网、USB等)或两者的组合。
在图5的实例中,目的地装置14包含接收器26、调制解调器28、视频解码器30以及显示装置32。目的地装置14的接收器26经由信道16接收信息,且调制解调器28解调所述信息以产生用于视频解码器30的经解调位流。经由信道16传达的信息可包含由视频编码器20产生以供视频解码器30在解码视频数据中使用的多种语法信息。此语法也可包含在存储在存储媒体34或文件服务器36上的经编码视频数据中。视频编码器20和视频解码器30中的每一者可形成能够编码或解码视频数据的相应编码器-解码器(CODEC)的部分。
显示装置32可与目的地装置14集成或在目的地装置14外部。在一些实例中,目的地装置14可包含集成显示装置且也经配置以与外部显示装置建立接口。在其它实例中,目的地装置14可为显示装置。一股来说,显示装置32将经解码视频数据显示给用户,且可包括多种显示装置中的任一者,多种显示装置例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
在图5的实例中,通信信道16可包括任何无线或有线通信媒体,例如射频(RF)频谱或一个或一个以上物理传输线,或无线和有线媒体的任何组合。通信信道16可形成基于包的网络的部分,例如局域网、广域网或例如因特网等全球网络等。通信信道16一股表示任何合适的通信媒体或不同通信媒体的集合,其用于将视频数据从源装置12发射到目的地装置14,包含有线或无线媒体的任何合适连接。通信信道16可包含路由器、交换机、基站,或可用于促进从源装置12到目的地装置14的通信的任何其它装备。
视频编码器20和视频解码器30可根据视频压缩标准操作,视频压缩标准例如目前在开发中的高效率视频译码(HEVC)标准,且可符合HEVC测试模型(HM)。或者,视频编码器20和视频解码器30可根据其它专有或行业标准操作,例如ITU-T H.264标准(其或者被称作MPEG-4第10部分,高级视频译码(AVC)),或此类标准的扩展。然而,本发明的技术不限于任何特定译码标准。其它实例包含MPEG-2和ITU-T H.263。
尽管图5中未展示,但在一些方面,视频编码器20和视频解码器30可各自与音频编码器和解码器集成,且可包含适当MUX-DEMUX单元,或其它硬件和软件,以处置共同数据流或单独数据流中的音频和视频两者的编码。在可适用的情况下,在一些实例中,MUX-DEMUX单元可符合ITU H.223多路复用器协议,或例如用户数据报协议(UDP)等其它协议。
视频编码器20和视频解码器30各自可实施为多种合适的编码器电路中的任一者,多种合适的编码器电路例如一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当部分地以软件来实施技术时,装置可将用于软件的指令存储在合适的非暂时性计算机可读媒体中且在硬件中使用一个或一个以上处理器来执行所述指令以执行本发明的技术。视频编码器20和视频解码器30中的每一者可包含在一个或一个以上编码器或解码器中,编码器或解码器中的任一者可作为相应装置中的组合式编码器/解码器(CODEC)的部分而集成。
视频编码器20可实施本发明的技术中的任一者或全部以用于在视频编码过程中在合并模式中产生候选运动向量。同样,视频解码器30可实施这些技术中的任一者或全部以用于在视频解码过程中在合并模式中产生候选运动向量。如本发明中所描述,视频译码器可指视频编码器或视频解码器。类似地,视频译码单元可指视频编码器或视频解码器。同样地,视频译码可指视频编码或视频解码。
在本发明的一个实例中,源装置12的视频编码器20可经配置以确定用于当前译码单元的当前预测单元的合并候选者集合,其中确定所述合并候选者集合而不比较所述合并候选者集合中的合并候选者的运动信息与任何其它预测单元的运动信息,以及使用所述合并候选者集合执行用于所述当前预测单元的合并运动向量预测过程。视频编码器20可经进一步配置以将在所述当前译码单元的另一预测单元内的合并候选者从所述合并候选者集合中去除。
在本发明的另一实例中,源装置12的视频解码器30可经配置以确定用于当前译码单元的当前预测单元的合并候选者集合,其中确定所述合并候选者集合而不比较所述合并候选者集合中的合并候选者的运动信息与任何其它预测单元的运动信息,以及使用所述合并候选者集合执行用于所述当前预测单元的合并运动向量预测过程。视频解码器30可经进一步配置以将在所述当前译码单元的另一预测单元内的合并候选者从所述合并候选者集合中去除。
图6为说明视频编码器20的实例的框图,视频编码器20可使用如本发明中所描述的用于在合并模式中产生候选运动向量的技术。为了说明的目的,将在HEVC译码的上下文中描述视频编码器20,但并无本发明关于其它译码标准或方法的限制。
视频编码器20可执行视频帧内的CU的帧内和帧间译码。帧内译码依赖于空间预测以减少或去除给定视频帧内的视频数据中的空间冗余。帧间译码依赖于时间预测以减少或去除视频序列的当前帧与先前经译码帧之间的时间冗余。帧内模式(I模式)可指若干基于空间的视频压缩模式中的任一者。例如单向预测(P模式)或双向预测(B模式)等帧间模式可指若干基于时间的视频压缩模式中的任一者。
如图6中所展示,视频编码器20接收待编码的视频帧内的当前视频块。在图6的实例中,视频编码器20包含运动补偿单元44、运动估计单元42、帧内预测单元46、参考帧缓冲器64、求和器50、变换模块52、量化单元54,以及熵编码单元56。图6中所说明的变换模块52为对残余数据块应用实际变换或变换组合的结构或设备,且不应与变换系数块混淆,所述变换系数块可被称作CU的变换单元(TU)。对于视频块重新建构,视频编码器20也包含逆量化单元58、逆变换模块60以及求和器62。也可包含解块滤波器(图6中未展示)以对块边界进行滤波以将方块效应假影从经重新建构的视频中去除。在需要时,解块滤波器通常将对求和器62的输出进行滤波。
在编码过程期间,视频编码器20接收待译码的视频帧或切片。可将帧或切片划分成多个视频块,例如,最大译码单元(LCU)。运动估计单元42和运动补偿单元44相对于一个或一个以上参考帧中的一个或一个以上块执行所接收视频块的帧间预测性译码以提供时间压缩。帧内预测单元46可相对于与待译码块相同的帧或切片中的一个或一个以上相邻块执行所接收视频块的帧内预测性译码以提供空间压缩。
模式选择单元40可(例如)基于每一种模式的误差(即,失真)结果而选择译码模式(帧内模式或帧间模式)中的一者,且将所得经帧内或经帧间预测块(例如,预测单元(PU))提供到求和器50以产生残余块数据,且提供到求和器62以重新建构经编码块以用于在参考帧中使用。求和器62组合所预测块与来自逆变换模块60的用于块的经逆量化的经逆变换的数据以重新建构经编码块,如下文更详细描述。可将一些视频帧指明为I帧,其中I帧中的所有块是在帧内预测模式中进行编码。在一些情况下,例如,当由运动估计单元42执行的运动搜索并不产生所述块的足够预测时,帧内预测单元46可执行P帧或B帧中的块的帧内预测编码。
运动估计单元42和运动补偿单元44可高度集成,但为了概念目的而分别加以说明。运动估计(或运动搜索)为产生估计视频块的运动的运动向量的过程。运动向量(例如)可指示当前帧中的预测单元相对于参考帧的参考样本的位移。运动估计单元42通过比较经帧间译码帧的预测单元与存储在参考帧缓冲器64中的参考帧的参考样本来计算用于所述预测单元的运动向量。参考样本可为发现依据像素差来说紧密匹配包含经译码的PU的CU的部分的块,像素差可通过绝对差总和(SAD)、平方差总和(SSD)或其它差异度量来确定。参考样本可出现在参考帧或参考切片内的任何处。
通过运动向量识别的参考帧的部分可被称作参考样本。运动补偿单元44可(例如)通过检索通过用于PU的运动向量识别的参考样本来计算用于当前CU的预测单元的预测值。在一些视频编码技术中,运动估计单元42将所计算的运动向量、参考帧和预测方向(例如,依据参考帧在时间上在当前帧之前还是之后来说的方向)发送到熵编码单元56和运动补偿单元44。其它视频编码技术利用运动向量预测过程来编码运动向量。可从包含合并模式的多种模式当中选择运动向量预测过程。
在合并模式中,编码器考虑合并候选块的集合且选择具有与待译码的当前块相同(或最紧密匹配)的运动向量、参考帧和预测方向的块。此情形是(例如)通过以下操作来完成:依次检查每一候选块,及选择一旦将其运动向量、参考帧和预测方向复制到当前块便产生最好的速率失真性能的候选块。接着,不是在经编码视频位流中用信号发出此运动向量信息(即,运动向量、参考帧和预测方向),而是编码器用信号发出用于选定运动向量候选者的索引号。索引号识别候选运动向量集合当中的选定候选运动向量。解码器可从运动向量候选者复制运动向量信息以用于当前块。
在上文所描述的实例中,在经编码位流中用信号发出运动向量信息未必需要实时地将此类元素从编码器传输到解码器,而是意味着:将此信息编码到位流中且使得可由解码器以任何方式来存取。此情形可包含实时传输(例如,在视频会议中)以及将经编码位流存储在计算机可读媒体上以供解码器未来使用(例如,流式传输、下载、磁盘存取、卡存取、DVD、蓝光光盘等)。
根据上文所描述的本发明的实例,对于合并模式,可产生合并候选者集合,而不比较任何合并候选者的运动信息与与当前PU相同的CU内的其它PU的运动信息。另外,本发明也提议:在合并候选者位于同一CU的另一PU内部的情况下,将合并候选者从合并候选者集合中去除。合并候选者的产生可由运动补偿单元44、运动补偿单元42或由视频编码器20的任何其它固定功能或可编程硬件结构来处置。
作为一个实例,对于CU的N×2N分割,所有合并候选者(例如,图1中所展示的合并候选者)可用于PU0。对于PU1,当合并候选者L在PU0内时,将合并候选者L从合并候选者列表中去除/排除(参见图3A)。作为另一实例,对于CU的2N×N分割,所有合并候选者(例如,图1中所展示的合并候选者)可用于PU0。对于PU1,当合并候选者A在PU0内时,将合并候选者A从合并候选者列表中去除(参见图3B)。
作为另一实例,对于CU的N×N分割,所有合并候选者(例如,图1中所展示的合并候选者)可用于PU0。对于PU1,当合并候选者L和BL分别在PU0和PU2内时,将合并候选者L和BL从合并候选者列表中去除/排除(参见图4A)。对于PU2,当合并候选者A和RA分别在PU0和PU1内时,将合并候选者A和RA从合并候选者列表中去除/排除(参见图4A)。对于PU3,当合并候选者LA、A和L分别在PU0、PU1和PU2内时,将合并候选者LA、A和L从合并候选者列表中去除/排除(参见图4A)。因而,PU0可使用合并候选者BL、L、LA、A、RA和T。PU1可使用合并候选者LA、A、RA和T。PU2可使用合并候选者BL、L、LA和T。PU3可使用合并候选者BL、RA和T。
作为又一实例,对于N×N分割模式,使用每一预测单元的所有合并候选者,而不管由另一预测单元使用的任何合并候选者(参见图4B)。对于其它分割模式(例如2N×N、N×2N等)以及非对称模式(例如2N×nD、2N×nU、nL×2N和nR×2N等),根据上文所描述的过程应用对于位于同一CU的另一PU内部的当前PU的某些候选者的排除。
返回图6,帧内预测单元46可对所接收块执行帧内预测,作为对由运动估计单元42和运动补偿单元44执行的帧间预测的替代。帧内预测单元46可相对于相邻的先前经译码块(例如,在当前块上方、右上方、左上方和左侧的块)预测所接收块(假定块的从左到右、从上到下的编码次序)。帧内预测单元46可经配置而具有多种不同帧内预测模式。举例来说,帧内预测单元46可经配置以基于经编码的CU的大小而具有某数目个定向预测模式,例如,三十四个定向预测模式。
帧内预测单元46可通过(例如)计算各种帧内预测模式的预测误差值及选择产生最低误差值的模式来选择帧内预测模式。定向预测模式可包含用于组合空间上相邻像素的值及将组合值应用于PU中的一个或一个以上像素位置的功能。一旦已计算用于PU中的所有像素位置的值,帧内预测单元46便可基于PU的所计算的或所预测的值与待编码的所接收原始块之间的像素差而计算预测模式的误差值。帧内预测单元46可继续测试帧内预测模式,直到发现产生可接受的误差值的帧内预测模式为止。帧内预测单元46可接着将PU发送到求和器50。
视频编码器20通过从经译码的原始视频块中减去由运动补偿单元44或帧内预测单元46计算的预测数据而形成残余块,所述残余块可包含一个明度块和两个色度块。求和器50表示执行此减法运算的一个或一个以上组件。残余块可对应于像素差值的二维矩阵,其中残余块中的值的数目与对应于残余块的PU中的像素的数目相同。残余块中的值可对应于PU与待译码的原始块中的经并置的像素的值之间的差(即,误差)。对明度分量和色度分量两者应用此操作,因此差值可取决于经译码的块的类型而为色度差或明度差。
变换模块52可从残余块形成一个或一个以上变换单元(TU)。变换模块52从多个变换当中选择变换。可基于一个或一个以上译码特性(例如,块大小、译码模式等等)而选择变换。变换模块52接着对TU应用选定变换,从而产生包括变换系数的二维阵列的视频块。
变换模块52可将所得变换系数发送到量化单元54。量化单元54可接着使变换系数量化。熵编码单元56可接着根据扫描模式执行矩阵中的经量化的变换系数的扫描。本发明将熵编码单元56描述为执行扫描。然而,应理解,在其它实例中,例如量化单元54等其它处理单元可执行扫描。
一旦将变换系数扫描成一维阵列,熵编码单元56便可对系数应用熵译码,例如,上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC),或另一熵译码方法等。也可对语法元素应用熵译码,例如在合并模式中使用的语法元素。
为了执行CAVLC,熵编码单元56可选择可变长度码用于待传输的符号。VLC中的代码字可经建构,使得相对较短代码对应于更可能的符号,而较长代码对应于不太可能的符号。以此方式,与(例如)使用等长度代码字用于待传输的每一符号相比较,使用VLC可实现位节省。
为了执行CABAC,熵编码单元56可选择上下文模型以应用于某种上下文以编码待传输的符号。在变换系数的情况下,上下文可与(例如)相邻值是否为非零有关。熵编码单元56也可熵编码语法元素,例如表示选定变换的信号。根据本发明的技术,熵编码单元56可基于(例如)以下各者而选择用以编码这些语法元素的上下文模型:用于帧内预测模式的帧内预测方向、对应于语法元素的系数的扫描位置、块类型,和/或变换类型,以及用于上下文模型选择的其它因素。
在由熵编码单元56进行熵译码之后,可将所得的经编码视频传输到另一装置(例如视频解码器30等),或将所得的经编码视频存档以供稍后传输或检索。
在一些情况下,熵编码单元56或视频编码器20的另一单元可经配置以除熵译码之外还执行其它译码功能。举例来说,熵编码单元56可经配置以确定用于CU和PU的经译码块样式(CBP)值。又,在一些情况下,熵编码单元56可执行系数的变动长度译码。
逆量化单元58和逆变换模块60分别应用逆量化和逆变换,以在像素域中重新建构残余块,例如,以供稍后在重新建构参考块中使用。运动补偿单元44可通过将残余块加到由参考帧缓冲器64(其也可被称作经解码图片缓冲器)的多个帧中的一者形成的预测性块来计算参考块。运动补偿单元44也可对经重新建构的参考块应用一个或一个以上内插滤波器以计算用于运动估计中的子整数像素值。求和器62将经重新建构的残余块加到由运动补偿单元44产生的经运动补偿的预测块以产生经重新建构的视频块以用于存储在参考帧缓冲器64中。经重新建构的视频块可由运动估计单元42和运动补偿单元44作为参考块使用以对另一个随后经译码的视频帧中的块进行帧间译码。
图7为说明解码经编码视频序列的视频解码器30的实例的框图。在图7的实例中,视频解码器30包含熵解码单元70、运动补偿单元72、帧内预测单元74、逆量化单元76、逆变换模块78、参考帧缓冲器82以及求和器80。在一些实例中,视频解码器30可执行一股与关于视频编码器20所描述的编码遍次(参见图6)互逆的解码遍次。
熵解码单元70对经编码位流执行熵解码过程以检索变换系数的一维阵列。所使用的熵解码过程取决于由视频编码器20使用的熵译码(例如,CABAC、CAVLC等)。可在经编码位流中用信号发出由编码器使用的熵译码过程或熵译码过程可为预定过程。
在一些实例中,熵解码单元70(或逆量化单元76)可使用镜射由视频编码器20的熵编码单元56(或量化单元54)使用的扫描模式的扫描来扫描所接收值。尽管对系数的扫描或者可在逆量化单元76中执行,但为了说明的目的,将扫描描述为由熵解码单元70执行。另外,尽管为了易于说明而展示为单独功能单元,但熵解码单元70、逆量化单元76和视频解码器30的其它单元的结构和功能性可彼此高度集成。
逆量化单元76使提供于位流中且由熵解码单元70解码的经量化的变换系数逆量化(即,解量化)。逆量化过程可包含常规过程,例如,类似于针对HEVC提议或由H.264解码标准定义的过程。逆量化过程可包含使用由视频编码器20针对CU计算的量化参数QP以确定量化的程度,且同样地,确定应应用的逆量化的程度。逆量化单元76可在将系数从一维阵列转换成二维阵列之前或之后,使变换系数逆量化。
逆变换模块78对经逆量化的变换系数应用逆变换。在一些实例中,逆变换模块78可基于来自视频编码器20的发信号或通过从一个或一个以上译码特性(例如,块大小、译码模式等等)推断出变换,来确定逆变换。在一些实例中,逆变换模块78可基于包含当前块的LCU的四叉树的根节点处的用信号发出的变换而确定应用于当前块的变换。或者,可在LCU四叉树中的叶节点CU的TU四叉树的根部用信号发出变换。在一些实例中,逆变换模块78可应用级联逆变换,其中逆变换模块78将两个或两个以上逆变换应用于正经解码的当前块的变换系数。
帧内预测单元74可基于用信号发出的帧内预测模式及来自当前帧的先前经解码块的数据而产生用于当前帧的当前块的预测数据。
根据本发明的实例,视频解码器30可从经编码位流中接收预测语法,所述预测语法指示来自合并候选块集合的选定合并候选块的索引,以用于在运动向量预测过程中使用。视频解码器经进一步配置以检索与通过所接收索引识别的合并候选块相关联的运动向量、参考帧和预测方向,且使用所检索的运动向量、参考帧和预测方向执行用于当前块的帧间预测解码。
根据上文所描述的本发明的实例,对于合并模式,可由视频解码器30产生合并候选者集合,而不比较任何合并候选者的运动信息与与当前PU相同的CU内的其它PU的运动信息。另外,本发明也提议:在合并候选者位于同一CU的另一PU内部的情况下,将合并候选者从合并候选者集合中去除。合并候选者的产生可由运动补偿单元72或由视频解码器30的任何其它固定功能或可编程硬件结构来处置。一旦视频解码器30已确定最终合并候选者集合,其便可从通过所接收索引指示的合并候选者中检索运动信息。
作为一个实例,对于CU的N×2N分割,所有合并候选者(例如,图1中所展示的合并候选者)可用于PU0。对于PU1,当合并候选者L在PU0内时,将合并候选者L从合并候选者列表中去除/排除(参见图3A)。作为另一实例,对于CU的2N×N分割,所有合并候选者(例如,图1中所展示的合并候选者)可用于PU0。对于PU1,当合并候选者A在PU0内时,将合并候选者A从合并候选者列表中去除/排除(参见图3B)。
作为另一实例,对于CU的N×N分割,所有合并候选者(例如,图1中所展示的合并候选者)可用于PU0。对于PU1,当合并候选者L和BL分别在PU0和PU2内时,将合并候选者L和BL从合并候选者列表中去除/排除(参见图4A)。对于PU2,当合并候选者A和RA分别在PU0和PU1内时,将合并候选者A和RA从合并候选者列表中去除/排除(参见图4A)。对于PU3,当合并候选者LA、A和L分别在PU0、PU1和PU2内时,将合并候选者LA、A和L从合并候选者列表中去除/排除(参见图4A)。
作为又一实例,对于N×N分割模式,使用每一预测单元的所有合并候选者,而不管由另一预测单元使用的任何合并候选者(参见图4B)。对于其它分割模式(例如2N×N、N×2N等)以及非对称模式(例如2N×nD、2N×nU、nL×2N和nR×2N等),根据上文所描述的过程应用对于位于同一CU的PU内部的当前PU的某些候选者的排除。
返回图7,运动补偿单元72可产生经运动补偿的块,从而可能执行基于内插滤波器的内插。用于待用于子像素精度的运动估计的内插滤波器的识别符可包含在语法元素中。运动补偿单元72可使用如在视频块的编码期间由视频编码器20使用的内插滤波器来计算用于参考块的子整数像素的内插值。运动补偿单元72可根据所接收的语法信息来确定由视频编码器20使用的内插滤波器,且使用所述内插滤波器来产生预测性块。
另外,在HEVC实例中,运动补偿单元72和帧内预测单元74可使用语法信息(例如,通过四叉树提供)中的一些语法信息来确定用以编码经编码视频序列的(多个)帧的LCU的大小。运动补偿单元72和帧内预测单元74也可使用语法信息来确定分裂信息,所述分裂信息描述如何分裂经编码视频序列的帧的每一CU(且同样地,如何分裂子CU)。语法信息也可包含指示如何编码每一CU的模式(例如,帧内预测或帧间预测,且对于帧内预测,为帧内预测编码模式)、用于每一经帧间编码的PU的一个或一个以上参考帧(和/或含有用于参考帧的识别符的参考列表),以及解码经编码视频序列的其它信息。
求和器80组合残余块与由运动补偿单元72或帧内预测单元74产生的对应预测块以形成经解码块。实际上,经解码块重新建构最初经译码块,经受归因于量化或其它译码方面产生的损失。在需要时,也可应用解块滤波器以对经解码块进行滤波以便去除方块效应假影。接着将经解码视频块存储在参考帧缓冲器82中,参考帧缓冲器82提供用于后续运动补偿的参考块且也产生经解码视频以用于呈现在显示装置(例如图5的显示装置32等)上。
图8为说明根据本发明的技术的编码视频的实例方法的流程图。图8的方法可由图6的视频编码器20来执行。视频编码器20可经配置以确定用于当前译码单元的当前预测单元的合并候选者集合,其中确定所述合并候选者集合而不比较所述合并候选者集合中的合并候选者的运动信息与另一预测单元的运动信息200,以及将在当前译码单元的另一预测单元内的合并候选者从所述合并候选者集合中去除202。合并候选者集合可包含左上方合并候选者、上方合并候选者、右上方合并候选者、左侧合并候选者、左下方合并候选者,以及时间合并候选者。
在当前译码单元具有2N×N分割类型(包含定位于预测单元1上方的预测单元0)的情况下,视频编码器20可将上方合并候选者从用于预测单元1的合并候选者集合中去除。在当前译码单元具有N×2N分割类型(包含定位于预测单元1左侧的预测单元0)的情况下,视频编码器20可将左侧合并候选者从用于预测单元1的合并候选者集合中去除。
在当前译码单元具有N×N分割类型(包含定位于当前译码单元的左上部分中的预测单元0、定位于当前译码单元的右上部分中的预测单元1、定位于当前译码单元的左下部分中的预测单元2,以及定位于当前译码单元的右下部分中的预测单元3)的情况下,视频编码器20可将左侧合并候选者和左下方合并候选者从用于预测单元1的合并候选者集合中去除。在此情况下,视频编码器20可进一步将上方合并候选者和右上方合并候选者从用于预测单元2的合并候选者集合中去除。在此情况下,视频编码器20可更进一步将上方合并候选者、左侧合并候选者和左上方合并候选者从用于预测单元3的合并候选者集合中去除。
在其它实例中,排除合并候选者包括针对所有分割模式而不是N×N分割模式,将在当前译码单元的另一预测单元内的合并候选者从合并候选者集合中排除。在此情况下,无合并候选者被从具有N×N分割模式的译码单元从预测单元中去除/排除。
视频编码器20可经进一步配置以使用所述合并候选者集合执行用于所述当前预测单元的合并运动向量预测过程以确定用于当前预测单元的选定合并候选者204,以及在经编码视频位流中用信号发出指示选定合并候选者的语法元素206。
图9为说明根据本发明的技术的解码视频的实例方法的流程图。图9的方法可由图7的视频解码器30来执行。视频解码器30可经配置以接收指示用于当前预测单元的选定合并候选者的语法元素220,以及确定用于当前译码单元的当前预测单元的合并候选者集合,其中确定合并候选者集合而不比较合并候选者集合中的合并候选者的运动信息与任何其它预测单元的运动信息222。视频解码器30可经进一步配置以将在当前译码单元的另一预测单元内的合并候选者从所述合并候选者集合中去除224。合并候选者集合可包含左上方合并候选者、上方合并候选者、右上方合并候选者、左侧合并候选者、左下方合并候选者,以及时间合并候选者。
在当前译码单元具有2N×N分割类型(包含定位于预测单元1上方的预测单元0)的情况下,视频解码器30可将上方合并候选者从用于预测单元1的合并候选者集合中去除。在当前译码单元具有N×2N分割类型(包含定位于预测单元1左侧的预测单元0)的情况下,视频解码器30可将左侧合并候选者从用于预测单元1的合并候选者集合中去除。
在当前译码单元具有N×N分割类型(包含定位于当前译码单元的左上部分中的预测单元0、定位于当前译码单元的右上部分中的预测单元1、定位于当前译码单元的左下部分中的预测单元2,以及定位于当前译码单元的右下部分中的预测单元3)的情况下,视频解码器30可将左侧合并候选者和左下方合并候选者从用于预测单元1的合并候选者集合中去除。在此情况下,视频解码器30可进一步将上方合并候选者和右上方合并候选者从用于预测单元2的合并候选者集合中去除。在此情况下,视频解码器30可更进一步将上方合并候选者、左侧合并候选者和左上方合并候选者从用于预测单元3的合并候选者集合中去除。
在其它实例中,排除合并候选者包括针对所有分割模式而不是N×N分割模式,将在当前译码单元的另一预测单元内的合并候选者从合并候选者集合中排除。在此情况下,无合并候选者被从具有N×N分割模式的译码单元从预测单元中去除/排除。
视频解码器30可经进一步配置以使用所述合并候选者集合和所接收语法元素执行用于当前预测单元的合并运动向量预测过程以确定用于当前预测单元的运动向量226,以及使用所确定的运动向量解码当前预测单元228。
在一个或一个以上实例中,可以硬件、软件、固件或其任何组合来实施所描述功能。如果以软件来实施,那么可将所述功能作为一个或一个以上指令或代码存储在计算机可读媒体上或经由计算机可读媒体而传输且由基于硬件的处理单元来执行。计算机可读媒体可包含计算机可读存储媒体(其对应于例如数据存储媒体等有形媒体)或通信媒体,通信媒体包含(例如)根据通信协议促进计算机程序从一处传送到另一处的任何媒体。以此方式,计算机可读媒体一股可对应于(1)非暂时性的有形计算机可读存储媒体,或(2)例如信号或载波等通信媒体。数据存储媒体可为可由一个或一个以上计算机或一个或一个以上处理器存取以检索指令、代码和/或数据结构以用于实施本发明中所描述的技术的任何可用媒体。计算机程序产品可包含计算机可读媒体。
以实例说明且非限制,此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储器、磁盘存储器或其它磁性存储装置、快闪存储器,或可用以存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体。又,将任何连接适当地称为计算机可读媒体。举例来说,如果使用同轴电缆、光缆、双绞线、数字用户线(DSL)或无线技术(例如红外线、无线电和微波等)而从网站、服务器或其它远程源传输指令,那么同轴电缆、光缆、双绞线、DSL或无线技术(例如红外线、无线电和微波等)包含在媒体的定义中。然而,应理解,计算机可读存储媒体和数据存储媒体不包含连接、载波、信号或其它暂时性媒体,而是有关非暂时性有形存储媒体。如本文中所使用,磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字影音光盘(DVD)、软性磁盘及蓝光光盘,其中磁盘通常以磁性方式再生数据,而光盘通过激光以光学方式再生数据。以上各者的组合亦应包含在计算机可读媒体的范围内。
可由例如一个或一个以上数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一个或一个以上处理器来执行指令。因此,如本文中所使用的术语“处理器”可指前述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。另外,在一些方面,可将本文中所描述的功能性提供于经配置以用于编码及解码的专用硬件和/或软件模块内,或并入于组合式编码译码器中。又,所述技术可完全实施于一个或一个以上电路或逻辑元件中。
本发明的技术可在广泛多种装置或设备中予以实施,所述装置或设备包含无线手机、集成电路(IC)或IC集合(例如,芯片集)。在本发明中描述各种组件、模块或单元以强调经配置以执行所揭示技术的装置的功能方面,但未必需要通过不同硬件单元来实现。更确切地说,如上文所描述,可将各种单元组合于编码译码器硬件单元中,或通过互操作性硬件单元(包含如上文所描述的一个或一个以上处理器)的集合且结合合适软件和/或固件来提供所述单元。
已描述各种实例。这些和其它实例在所附权利要求书的范围内。
Claims (40)
1.一种译码视频数据的方法,其包括:
确定用于当前译码单元的当前预测单元的合并候选者集合,其中确定所述合并候选者集合而不比较所述合并候选者集合中的合并候选者的运动信息与任何其它预测单元的运动信息;以及
使用所述合并候选者集合执行用于所述当前预测单元的合并运动向量预测过程。
2.根据权利要求1所述的方法,其进一步包括:
将在所述当前译码单元的另一预测单元内的合并候选者从所述合并候选者集合中排除。
3.根据权利要求2所述的方法,其中排除合并候选者包括针对所有分割模式而不是N×N分割模式,将在所述当前译码单元的另一预测单元内的合并候选者从所述合并候选者集合中排除。
4.根据权利要求3所述的方法,其进一步包括:
不将合并候选者从来自具有所述N×N分割模式的所述译码单元的预测单元排除。
5.根据权利要求2所述的方法,其中所述合并候选者集合包含左上方合并候选者、上方合并候选者、右上方合并候选者、左侧合并候选者、左下方合并候选者,以及时间合并候选者。
6.根据权利要求5所述的方法,其中所述当前译码单元具有2N×N、2N×nU或2N×nD分割类型,包含定位于预测单元1上方的预测单元0,且其中将合并候选者从所述合并候选者集合中排除包括将所述上方合并候选者从用于预测单元1的所述合并候选者集合中排除。
7.根据权利要求5所述的方法,其中所述当前译码单元具有N×2N、nL×2N或nR×2N分割类型,包含定位于预测单元1左侧的预测单元0,且其中将合并候选者从所述合并候选者集合中排除包括将所述左侧合并候选者从用于预测单元1的所述合并候选者集合中排除。
8.根据权利要求2所述的方法,其中所述当前译码单元具有N×N分割类型,包含定位于所述当前译码单元的左上部分中的预测单元0、定位于所述当前译码单元的右上部分中的预测单元1、定位于所述当前译码单元的左下部分中的预测单元2,以及定位于所述当前译码单元的右下部分中的预测单元3,
其中将合并候选者从所述合并候选者集合中排除包括将所述左侧合并候选者和所述左下方合并候选者从用于预测单元1的所述合并候选者集合中排除,
其中将合并候选者从所述合并候选者集合中排除包括将所述上方合并候选者和所述右上方合并候选者从用于预测单元2的所述合并候选者集合中排除,且
其中将合并候选者从所述合并候选者集合中排除包括将所述上方合并候选者、所述左侧合并候选者和所述左上方合并候选者从用于预测单元3的所述合并候选者集合中排除。
9.根据权利要求2所述的方法,其中译码视频包括解码视频,且其中所述方法进一步包括:
接收指示用于所述当前预测单元的选定合并候选者的语法元素;
使用所述合并候选者集合和所述所接收语法元素执行用于所述当前预测单元的所述合并运动向量预测过程以确定用于所述当前预测单元的运动向量;以及
使用所述所确定运动向量解码所述当前预测单元。
10.根据权利要求2所述的方法,其中译码视频包括编码视频,且其中所述方法进一步包括:
使用所述合并候选者集合执行用于所述当前预测单元的所述运动向量预测过程以确定用于所述当前预测单元的选定合并候选者;以及
在经编码视频位流中用信号发出指示所述选定合并候选者的语法元素。
11.一种经配置以译码视频数据的设备,其包括:
视频译码器,其经配置以:
确定用于当前译码单元的当前预测单元的合并候选者集合,其中确定所述合并候选者集合而不比较所述合并候选者集合中的合并候选者的运动信息与任何其它预测单元的运动信息;以及
使用所述合并候选者集合执行用于所述当前预测单元的合并运动向量预测过程。
12.根据权利要求11所述的设备,其中所述视频译码器经进一步配置以:
将在所述当前译码单元的另一预测单元内的合并候选者从所述合并候选者集合中排除。
13.根据权利要求12所述的设备,其中所述视频译码器经进一步配置以:
针对所有分割模式而不是N×N分割模式,将在所述当前译码单元的另一预测单元内的合并候选者从所述合并候选者集合中排除。
14.根据权利要求13所述的设备,其中所述视频译码器经进一步配置以:
不将合并候选者从来自具有所述N×N分割模式的所述译码单元的预测单元排除。
15.根据权利要求12所述的设备,其中所述合并候选者集合包含左上方合并候选者、上方合并候选者、右上方合并候选者、左侧合并候选者、左下方合并候选者,以及时间合并候选者。
16.根据权利要求15所述的设备,其中所述当前译码单元具有2N×N、2N×nU或2N×nD分割类型,包含定位于预测单元1上方的预测单元0,且其中所述视频译码器经进一步配置以将所述上方合并候选者从用于预测单元1的所述合并候选者集合中排除。
17.根据权利要求15所述的设备,其中所述当前译码单元具有N×2N、nL×2N或nR×2N分割类型,包含定位于预测单元1左侧的预测单元0,且其中所述视频译码器经进一步配置以将所述左侧合并候选者从用于预测单元1的所述合并候选者集合中排除。
18.根据权利要求15所述的设备,其中所述当前译码单元具有N×N分割类型,包含定位于所述当前译码单元的左上部分中的预测单元0、定位于所述当前译码单元的右上部分中的预测单元1、定位于所述当前译码单元的左下部分中的预测单元2,以及定位于所述当前译码单元的右下部分中的预测单元3,
其中所述视频译码器经进一步配置以将所述左侧合并候选者和所述左下方合并候选者从用于预测单元1的所述合并候选者集合中排除,
其中所述视频译码器经进一步配置以将所述上方合并候选者和所述右上方合并候选者从用于预测单元2的所述合并候选者集合中排除,且
其中所述视频译码器经进一步配置以将所述上方合并候选者、所述左侧合并候选者和所述左上方合并候选者从用于预测单元3的所述合并候选者集合中排除。
19.根据权利要求12所述的设备,其中所述视频译码器为视频解码器,且其中所述视频解码器经进一步配置以:
接收指示用于所述当前预测单元的选定合并候选者的语法元素;
使用所述合并候选者集合和所述所接收语法元素执行用于所述当前预测单元的所述合并运动向量预测过程以确定用于所述当前预测单元的运动向量;以及
使用所述所确定运动向量解码所述当前预测单元。
20.根据权利要求12所述的设备,其中所述视频译码器为视频编码器,且其中所述视频编码器经进一步配置以:
使用所述合并候选者集合执行用于所述当前预测单元的所述运动向量预测过程以确定用于所述当前预测单元的选定合并候选者;以及
在经编码视频位流中用信号发出指示所述选定合并候选者的语法元素。
21.根据权利要求11所述的设备,其中所述视频译码器为移动装置的部分。
22.一种经配置以译码视频数据的设备,其包括:
用于确定用于当前译码单元的当前预测单元的合并候选者集合的装置,其中确定所述合并候选者集合而不比较所述合并候选者集合中的合并候选者的运动信息与任何其它预测单元的运动信息;以及
用于使用所述合并候选者集合执行用于所述当前预测单元的合并运动向量预测过程的装置。
23.根据权利要求22所述的设备,其进一步包括:
用于将在所述当前译码单元的另一预测单元内的合并候选者从所述合并候选者集合中排除的装置。
24.根据权利要求23所述的设备,其中用于排除合并候选者的所述装置包括用于针对所有分割模式而不是N×N分割模式,将在所述当前译码单元的另一预测单元内的合并候选者从所述合并候选者集合中排除的装置。
25.根据权利要求23所述的设备,其进一步包括:
用于不将合并候选者从来自具有所述N×N分割模式的所述译码单元的预测单元排除的装置。
26.根据权利要求23所述的设备,其中所述合并候选者集合包含左上方合并候选者、上方合并候选者、右上方合并候选者、左侧合并候选者、左下方合并候选者,以及时间合并候选者。
27.根据权利要求26所述的设备,其中所述当前译码单元具有2N×N、2N×nU或2N×nD分割类型,包含定位于预测单元1上方的预测单元0,且其中用于将合并候选者从所述合并候选者集合中排除的所述装置包括用于将所述上方合并候选者从用于预测单元1的所述合并候选者集合中排除的装置。
28.根据权利要求26所述的设备,其中所述当前译码单元具有N×2N、nL×2N或nR×2N分割类型,包含定位于预测单元1左侧的预测单元0,且其中用于将合并候选者从所述合并候选者集合中排除的所述装置包括用于将所述左侧合并候选者从用于预测单元1的所述合并候选者集合中排除的装置。
29.根据权利要求26所述的设备,其中所述当前译码单元具有N×N分割类型,包含定位于所述当前译码单元的左上部分中的预测单元0、定位于所述当前译码单元的右上部分中的预测单元1、定位于所述当前译码单元的左下部分中的预测单元2,以及定位于所述当前译码单元的右下部分中的预测单元3,
其中用于将合并候选者从所述合并候选者集合中排除的所述装置包括用于将所述左侧合并候选者和所述左下方合并候选者从用于预测单元1的所述合并候选者集合中排除的装置,
其中用于将合并候选者从所述合并候选者集合中排除的所述装置包括用于将所述上方合并候选者和所述右上方合并候选者从用于预测单元2的所述合并候选者集合中排除的装置,且
其中用于将合并候选者从所述合并候选者集合中排除的所述装置包括用于将所述上方合并候选者、所述左侧合并候选者和所述左上方合并候选者从用于预测单元3的所述合并候选者集合中排除的装置。
30.根据权利要求23所述的设备,其中所述设备经配置以解码视频,且其中所述设备进一步包括:
用于接收指示用于所述当前预测单元的选定合并候选者的语法元素的装置;
用于使用所述合并候选者集合和所述所接收语法元素执行用于所述当前预测单元的所述合并运动向量预测过程以确定用于所述当前预测单元的运动向量的装置;以及
用于使用所述所确定运动向量解码所述当前预测单元的装置。
31.根据权利要求23所述的设备,其中所述设备经配置以编码视频,且其中所述设备进一步包括:
用于使用所述合并候选者集合执行用于所述当前预测单元的所述运动向量预测过程以确定用于所述当前预测单元的选定合并候选者的装置;以及
用于在经编码视频位流中用信号发出指示所述选定合并候选者的语法元素的装置。
32.根据权利要求22所述的设备,其中所述设备为移动装置的部分。
33.一种计算机可读存储媒体,其具有存储于其上的指令,所述指令在经执行时致使经配置以译码视频数据的一个或一个以上处理器进行以下操作:
确定用于当前译码单元的当前预测单元的合并候选者集合,其中确定所述合并候选者集合而不比较所述合并候选者集合中的合并候选者的运动信息与任何其它预测单元的运动信息;以及
使用所述合并候选者集合执行用于所述当前预测单元的合并运动向量预测过程。
34.根据权利要求33所述的计算机可读存储媒体,其中所述指令进一步致使所述一个或一个以上处理器进行以下操作:
将在所述当前译码单元的另一预测单元内的合并候选者从所述合并候选者集合中排除。
35.根据权利要求34所述的计算机可读存储媒体,其中所述指令进一步致使所述一个或一个以上处理器进行以下操作:
针对所有分割模式而不是N×N分割模式,将在所述当前译码单元的另一预测单元内的合并候选者从所述合并候选者集合中排除。
36.根据权利要求35所述的计算机可读存储媒体,其中所述指令进一步致使所述一个或一个以上处理器进行以下操作:
不将合并候选者从来自具有所述N×N分割模式的所述译码单元的预测单元排除。
37.根据权利要求34所述的计算机可读存储媒体,其中所述合并候选者集合包含左上方合并候选者、上方合并候选者、右上方合并候选者、左侧合并候选者、左下方合并候选者,以及时间合并候选者。
38.根据权利要求37所述的计算机可读存储媒体,其中所述当前译码单元具有2N×N、2N×nU或2N×nD分割类型,包含定位于预测单元1上方的预测单元0,且其中所述指令进一步致使所述一个或一个以上处理器将所述上方合并候选者从用于预测单元1的所述合并候选者集合中排除。
39.根据权利要求37所述的计算机可读存储媒体,其中所述当前译码单元具有N×2N、nL×2N或nRx2N分割类型,包含定位于预测单元1左侧的预测单元0,且其中所述指令进一步致使所述一个或一个以上处理器将所述左侧合并候选者从用于预测单元1的所述合并候选者集合中排除。
40.根据权利要求37所述的计算机可读存储媒体,其中所述当前译码单元具有N×N分割类型,包含定位于所述当前译码单元的左上部分中的预测单元0、定位于所述当前译码单元的右上部分中的预测单元1、定位于所述当前译码单元的左下部分中的预测单元2,以及定位于所述当前译码单元的右下部分中的预测单元3,
其中所述指令进一步致使所述一个或一个以上处理器将所述左侧合并候选者和所述左下方合并候选者从用于预测单元1的所述合并候选者集合中排除,其中所述指令进一步致使所述一个或一个以上处理器将所述上方合并候选者和所述右上方合并候选者从用于预测单元2的所述合并候选者集合中排除,且
其中所述指令进一步致使所述一个或一个以上处理器将所述上方合并候选者、所述左侧合并候选者和所述左上方合并候选者从用于预测单元3的所述合并候选者集合中排除。
Applications Claiming Priority (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US61/499,112 | 2011-06-20 | ||
| US61/543,059 | 2011-10-04 | ||
| US61/543,043 | 2011-10-04 | ||
| US61/556,761 | 2011-11-07 | ||
| US61/562,387 | 2011-11-21 | ||
| US61/562,953 | 2011-11-22 | ||
| US13/526,261 | 2012-06-18 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| HK1190255A true HK1190255A (zh) | 2014-06-27 |
| HK1190255B HK1190255B (zh) | 2017-11-17 |
Family
ID=
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CA2839687C (en) | Parallelization friendly merge candidates for video coding | |
| US9787982B2 (en) | Non-square transform units and prediction units in video coding | |
| AU2012273398B2 (en) | Unified merge mode and adaptive motion vector prediction mode candidates selection | |
| EP3849182B1 (en) | Restriction of prediction units in b slices to uni-directional inter prediction | |
| US9532066B2 (en) | Motion vector prediction | |
| HK1190255A (zh) | 用於视频译码的并行化友好合并候选者 | |
| HK1190255B (zh) | 用於视频译码的并行化友好合并候选者 | |
| HK1190256A (zh) | 统一合并模式和自适应运动向量预测模式候选者选择 | |
| HK1190256B (zh) | 统一合并模式和自适应运动向量预测模式候选者选择 | |
| HK1190254B (zh) | 统一合并模式和自适应运动向量预测模式候选者选择 | |
| HK1190254A (zh) | 统一合并模式和自适应运动向量预测模式候选者选择 |