[go: up one dir, main page]

CN111010572A - 一种视频编码方法和装置及设备 - Google Patents

一种视频编码方法和装置及设备 Download PDF

Info

Publication number
CN111010572A
CN111010572A CN201911230154.9A CN201911230154A CN111010572A CN 111010572 A CN111010572 A CN 111010572A CN 201911230154 A CN201911230154 A CN 201911230154A CN 111010572 A CN111010572 A CN 111010572A
Authority
CN
China
Prior art keywords
block
chroma
size
motion vector
blocks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911230154.9A
Other languages
English (en)
Inventor
陈漪纹
王祥林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Reach Best Technology Co Ltd
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Reach Best Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Reach Best Technology Co Ltd filed Critical Reach Best Technology Co Ltd
Publication of CN111010572A publication Critical patent/CN111010572A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开提供的一种视频编码方法和装置及设备，该方法包括：获取视频图像帧，确定所述视频图像帧中的编码单元CU；将使用帧间预测编码的CU划分为多个亮度块，根据编码协议确定与所述亮度块关联的色度块的尺寸不大于预设尺寸时，将所述色度块与至少一个相同尺寸的另一色度块聚合得到一个合并色度块；根据帧间预测方法确定所述亮度块的运动矢量，根据所述合并色度块中各色度块所关联的亮度块的运动矢量，确定所述合并色度块的运动矢量；利用确定的所述亮度块的运动矢量和色度块的运动矢量进行编码。本公开可以通过约束与亮度块关联的色度块的大小，减少内存访问带宽。

Description

一种视频编码方法和装置及设备
相关申请的交叉引用
本申请要求在2018年12月04日提交美国专利局、申请号为62/775,307、申请名称 为“Constraints on The Block Size for Motion Compensation in Video Coding”的美 国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本公开涉及视频编码和压缩技术领域，特别涉及一种视频编码方法和装置及设备。
背景技术
目前利用各种视频编码技术来压缩视频数据，视频编码技术根据一个或多个视频编码标准来执行。视频编码标准包括多功能视频编码(Versatile Video Coding，VVC)、联合探索测试模型(Joint Exploration Test Model，JEM)、高效率视频编码(HighEfficient Video Coding，HEVC)、高级视频编码(Advanced Video Coding，AVC)、运动图像专家组编码(Moving Picture Experts Group，MPEG)等。
视频编码通常利用视频图像或视频序列中存在冗余的预测方法(例如，帧间预测、帧内预测等)。视频编码技术的一个重要目标是将视频数据压缩为较低比特率的形式，同时避免最小化对视频质量的下降影响。随着不断发展的视频服务，需要具有更高编码效率的编码技术。
在视频数据压缩中，每张图被切割成多个编码树单元(Coding unit tree,CTU)进行编解码。每个CTU可以包含一个编码单元(CU)或递归地划分成更小的CU直到达到预定义的最小CU大小。每一个CU则可以选择进行帧内(intra prediction)或者帧间预测进行压缩。
对于采用帧间预测编码的CU划分的色度块，若根据协议约定的最小色度块的尺寸，会导致硬件设计时存在高内存访问带宽的问题。
发明内容
本公开提供了一种视频编码方法和装置及设备，用以解决现有技术根据协议约定的最小色度块的尺寸，会导致硬件设计时存在高内存访问带宽的问题。
根据本公开实施例的第一方面，提供一种视频编码方法，该方法包括：
获取视频图像帧，确定所述视频图像帧中的编码单元CU；
将使用帧间预测编码的CU划分为多个亮度块，根据编码协议确定与所述亮度块关联的色度块的尺寸不大于预设尺寸时，将所述色度块与至少一个相同尺寸的另一色度块聚合得到一个合并色度块；
根据帧间预测方法确定所述亮度块的运动矢量，根据所述合并色度块中各色度块所关联的亮度块的运动矢量，确定所述合并色度块的运动矢量；
利用确定的所述亮度块的运动矢量和色度块的运动矢量进行编码。
可选地，确定所述合并色度块的运动矢量，包括：
确定所述合并色度块的运动矢量，为所述合并色度块中各色度块所关联的亮度块的任一运动矢量，或者为所述合并色度块中各色度块所关联的亮度块的运动矢量的加权平均值。
可选地，根据仿射运动模型生成亮度块的运动矢量，根据所述合并色度块中各色度块所关联的亮度块的运动矢量，确定所述合并色度块的运动矢量。
可选地，将所述色度块与至少一个相同尺寸的另一色度块聚合得到一个合并色度块，包括如下至少一个步骤：
根据编码协议确定与亮度块关联的色度块的尺寸为n1×n1时，将所述色度块与至少一个n1×n1的色度块聚合得到一个N×N的合并色度块，所述n1小于N，所述N×N不小于所述预设尺寸；
根据编码协议确定与亮度块关联的色度块的尺寸为m1×n1时，将所述色度块与至少一个m1×n1的色度块聚合得到一个N×N的合并色度块，所述m1大于n1且不大于N；
根据编码协议确定与亮度块关联的色度块的尺寸为n1×m1时，将所述色度块与至少一个n1×m1的色度块聚合得到一个N×N的合并色度块。
可选地，所述将所述色度块与至少一个n1×n1的色度块聚合，为将所述色度块与该色度块右侧1个，下方2个n1×n1的色度块聚合，所述N为n1的2倍；
所述将所述色度块与至少一个m1×n1的色度块聚合，为将所述色度块与下方1个m1×n1的色度块聚合，所述m1等于所述N；
所述将所述色度块与至少一个n1×m1的色度块聚合，为将所述色度块与右侧1个n1×m1的色度块聚合。
可选地，所述帧间预测编码包括：
采用仿射模式中的帧间预测编码；或者
采用可选时域运动矢量预测ATMVP编码方式中的帧间预测编码；或者
采用空-时运动矢量预测STMVP的帧间预测编码。
可选地，所述帧间预测编码为双向预测编码或单向预测编码，所述亮度块的最小子块的尺寸大于协议约定的最小子块的尺寸。
可选地，对于双向预测编码，最小子块的尺寸大于协议约定的最小子块的尺寸，包括：
最小子块的高度大于协议约定的子块的高度；或者
最小子块的宽度大于协议约定的子块的宽度；或者
最小子块的高度大于协议约定子块的高度，且最小子块的宽度大于协议约定子块的宽度；或者
最小子块的高度大于协议约定子块的高度，或最小子块的宽度大于协议约定子块的宽度。
可选地，对于单向预测编码，最小子块的尺寸大于协议约定的最小子块的尺寸，包括：
最小子块的高度大于协议约定的子块的高度；或者
最小子块的宽度大于协议约定的子块的宽度；或者
最小子块的高度大于协议约定子块的高度，或最小子块的宽度大于协议约定子块的宽度；
最小子块的高度大于协议约定子块的高度，且最小子块的宽度大于协议约定子块的宽度。
可选地，根据编码协议确定与所述亮度块关联的色度块的尺寸不大于预设尺寸，包括：
根据编码协议中的YUV4:2:0采样格式，确定与所述亮度块关联的色度块的尺寸不大于4×4的预设尺寸。
根据本公开实施例的第二方面，提供一种视频编码装置，该装置包括：
确定单元，被配置为执行获取视频图像帧，确定所述视频图像帧中的编码单元CU；
更新单元，被配置为执行将使用帧间预测编码的CU划分为多个亮度块，根据编码协议确定与所述亮度块关联的色度块的尺寸不大于预设尺寸时，将所述色度块与至少一个相同尺寸的另一色度块聚合得到一个合并色度块；
运动矢量确定单元，被配置为执行根据帧间预测方法确定所述亮度块的运动矢量，根据所述合并色度块中各色度块所关联的亮度块的运动矢量，确定所述合并色度块的运动矢量；
编码单元，被配置为执行利用确定的所述亮度块的运动矢量和色度块的运动矢量进行编码。
可选地，所述运动矢量确定单元被配置为确定所述合并色度块的运动矢量，具体用于：
确定所述合并色度块的运动矢量，为所述合并色度块中各色度块所关联的亮度块的任一运动矢量，或者为所述合并色度块中各色度块所关联的亮度块的运动矢量的加权平均值。
可选地，所述运动矢量确定单元被配置为根据仿射运动模型生成亮度块的运动矢量，根据所述合并色度块中各色度块所关联的亮度块的运动矢量，确定所述合并色度块的运动矢量。
可选地，所述更新单元被配置为执行将所述色度块与至少一个相同尺寸的另一色度块聚合得到一个合并色度块，包括如下至少一个步骤：
根据编码协议确定与亮度块关联的色度块的尺寸为n1×n1时，将所述色度块与至少一个n1×n1的色度块聚合得到一个N×N的合并色度块，所述n1小于N，所述N×N不小于所述预设尺寸；
根据编码协议确定与亮度块关联的色度块的尺寸为m1×n1时，将所述色度块与至少一个m1×n1的色度块聚合得到一个N×N的合并色度块，所述m1大于n1且不大于N；
根据编码协议确定与亮度块关联的色度块的尺寸为n1×m1时，将所述色度块与至少一个n1×m1的色度块聚合得到一个N×N的合并色度块。
可选地，所述将所述色度块与至少一个n1×n1的色度块聚合，为将所述色度块与该色度块右侧1个，下方2个n1×n1的色度块聚合，所述N为n1的2倍；
所述将所述色度块与至少一个m1×n1的色度块聚合，为将所述色度块与下方1个m1×n1的色度块聚合，所述m1等于所述N；
所述将所述色度块与至少一个n1×m1的色度块聚合，为将所述色度块与右侧1个n1×m1的色度块聚合。
可选地，所述编码单元被配置为执行确定所述帧间预测编码包括：
采用仿射模式中的帧间预测编码；或者
采用可选时域运动矢量预测ATMVP编码方式中的帧间预测编码；或者
采用空-时运动矢量预测STMVP的帧间预测编码。
可选地，所述帧间预测编码为双向预测编码或单向预测编码，所述亮度块的最小子块的尺寸大于协议约定的最小子块的尺寸。
可选地，所述编码单元被配置为执行对于双向预测编码，最小子块的尺寸大于协议约定的最小子块的尺寸，具体用于：
最小子块的高度大于协议约定的子块的高度；或者
最小子块的宽度大于协议约定的子块的宽度；或者
最小子块的高度大于协议约定子块的高度，且最小子块的宽度大于协议约定子块的宽度；或者
最小子块的高度大于协议约定子块的高度，或最小子块的宽度大于协议约定子块的宽度。
可选地，所述编码单元被配置为执行对于单向预测编码，最小子块的尺寸大于协议约定的最小子块的尺寸，包括：
最小子块的高度大于协议约定的子块的高度；或者
最小子块的宽度大于协议约定的子块的宽度；或者
最小子块的高度大于协议约定子块的高度，或最小子块的宽度大于协议约定子块的宽度；
最小子块的高度大于协议约定子块的高度，且最小子块的宽度大于协议约定子块的宽度。
可选地，所述更新单元被配置为执行根据编码协议确定与所述亮度块关联的色度块的尺寸不大于预设尺寸，具体用于：
根据编码协议中的YUV4:2:0采样格式，确定与所述亮度块关联的色度块的尺寸不大于4×4的预设尺寸。
根据本公开实施例的第三方面，提供一种视频编码设备，包括：存储单元和处理单元；
其中，所述存储单元用于存储程序，所述处理单元用于执行：
获取视频图像帧，确定所述视频图像帧中的编码单元CU；
将使用帧间预测编码的CU划分为多个亮度块，根据编码协议确定与所述亮度块关联的色度块的尺寸不大于预设尺寸时，将所述色度块与至少一个相同尺寸的另一色度块聚合得到一个合并色度块；
根据帧间预测方法确定所述亮度块的运动矢量，根据所述合并色度块中各色度块所关联的亮度块的运动矢量，确定所述合并色度块的运动矢量；
利用确定的所述亮度块的运动矢量和色度块的运动矢量进行编码。
根据本公开实施例的第四方面，提供一种芯片，所述芯片与用户设备中的存储单元耦合，使得所述芯片在运行时调用所述存储单元中存储的程序指令，实现本公开实施例上述各个方面以及各个方面涉及的任一可能设计的方法。
根据本公开实施例的第五方面，提供一种计算机可读存储介质，该计算机存储介质存储有程序指令，当其在计算机上运行时，使得计算机执行本公开实施例上述各个方面以及各个方面涉及的任一可能设计的方法。
根据本公开实施例的第六方面，提供一种计算机程序产品，当所述计算机程序产品在电子设备上运行时，使得所述电子设备执行实现本公开实施例上述各个方面以及各个方面涉及的任一可能设计的方法。
利用本公开提供的一种视频编码方法和装置及设备，具有以下有益效果：
本公开提供的一种视频编码方法和装置及设备，可以通过对帧间预测编码的CU划分为多个亮度块，并确定与亮度块关联的色度块的尺寸不大于预设尺寸时，将色度块进行聚合得到更新后的与所述亮度块关联的色度块，减少内存访问带宽。
附图说明
为了更清楚地说明本公开实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例中提供的一种视频编码的方法示意图；
图2为本公开实施例中提供的一种简化的仿射运动模型；
图3为本公开实施例中提供的一种QTBT结构的结构示意图；
图4为本公开实施例中提供的一种视频编码方法示意图；
图5为本公开实施例中提供的一种视频编码方法示意图；
图6为本公开实施例中提供的一种视频编码方法示意图；
图7为本公开实施例中提供的一种视频编码装置示意图；
图8为本公开实施例中提供的一种视频编码设备示意图。
具体实施方式
为了使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开作进一步地详细描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。
在介绍本公开实施例前，对本公开实施例的概念进行介绍：
(1)高效率视频编码(High Efficient Video Coding，HEVC)
HEVC是基于混合的基于块的运动补偿变换编码架构，将用于视频数据压缩的基本单元称为编码树单元(Coding Tree Unit，CTU)，每个CTU可以包含一个编码单元(CodingUnit，CU)或递归地划分成四个较小的CU，直到达到预定义的最小CU大小。每个CU(也称为叶子CU)可以进行子块划分，具体可以包含一个或多个预测单元(Prediction Unit，PU)和转换单元(Transform Unit，TU)。
通常，一个CTU由一个亮度编码树块(Coding Tree Block，CTB)和两个相应的色度编码树块组成，一个编码单元CU由一个亮度编码块(Coding Block，CB)和两个相应的色度编码块组成，一个PU由一个亮度预测块(Prediction Block，PB)和两个相应的色度预测块组成，一个TU由一个亮度变换块(Transform Block，TB)和两个相应的色度变换块组成。每个CU可以以帧内模式、帧间模式或帧内块复制(Intra block copy，IBC)模式进行编码。
针对每个帧间PU，PU的大小是2N*2N，可以从包括帧间(Inter)、跳跃(Skip)以及合并(Merge)三种预测模式中选择一种。一般来说，引入运动矢量竞争(Motion VectorCompetition，MVC)方案从包括时间和空间运动候选的给定候选结合中选择运动候选。对运动估计的多个参考允许在两个可能的重构参考图像列表中找到最佳参考。
(2)联合探索测试模型(Joint Exploration Test Model，JEM)
联合探索测试模型(Joint Exploration Test Model，JEM)建立在HEVC测试模型之上。HEVC的基本编码和解码流程在JEM中保持不变，然而，对包括块结构、帧内和帧间预测、残差变换、环路滤波器以及熵编码的模块的最重要模块的设计元素进行了修改并添加了其它的编码工具。
(3)多功能视频编码(Versatile Video Coding，VCC)
使用二叉和三叉划分编码块结构作为VVC的初始新编码特征，包括具有嵌套多类型数的四叉树。图像划分结构将输入视频分为编码树单元(CTU)的块。使用具有嵌套多类型数结构的四叉树将一个CTU划分成编码单元(CU)，该编码单元具有定义共享相同预测模式的区域(例如，帧内或帧间)的叶子编码单元。
(4)运动矢量预测
运动矢量预测利用运动矢量与相邻PU的时空相关性，用于运动参数的显示传输。首先通过检测时域的相邻的PU位置的左上侧的可用性、去除冗余的候选并添加零矢量以使候选列表为恒定长度，来构建运动矢量候选列表。然后，编码器可以从候选列表中选择最优的预测器，并发送指示所选候选的相应索引。
针对帧间模式，其中高级运动矢量预测AMVP标准用于高级运动矢量预测)，传输包括帧间预测指示符(列表0、列表1或双向预测)、参考索引、运动候选索引、运动矢量差(Motion Vector Difference，MVD)以及传输预测残差。
实施例1
基于现有技术中帧间预测编码导致硬件设计时存在的高内存访问带宽的问题，本公开实施例提供了一种视频编码方法，如图1所示，包括：
S101，获取视频图像帧，确定所述视频图像帧中的编码单元CU；
上述视频图像帧为包括需要进行视频压缩的多个视频图像帧，多个视频图像帧具有相应的时间顺序；
不同的视频编码方式中，确定CU的方式不同，具体可以采用现有方式确定，这里不再详述。
S102，将使用帧间预测编码的CU划分为多个亮度块，根据编码协议确定与所述亮度块关联的色度块的尺寸不大于预设尺寸时，将所述色度块与至少一个相同尺寸的另一色度块聚合得到一个合并的色度块；
根据编码协议，与亮度块关联的色度块的尺寸与所述亮度块的尺寸为4:2的关系；
本公开实施例与亮度块关联的色度块为采用YUV4:2:0格式的色度块，与所述亮度块关联的色度块的尺寸不大于预设尺寸4×4时，将所述色度块与至少一个相同尺寸的另一色度块聚合得到一个合并色度块，所述合并色度块的尺寸为4×4；
将亮度块关联的色度块和与所述亮度块尺寸相同的至少一个亮度块关联的色度块聚合得到合并色度块。
本公开实施例中，采用以下任一或任多种方式将所述色度块与至少一个相同尺寸的另一色度块聚合得到一个合并色度块：
1)根据编码协议确定与亮度块关联的色度块的尺寸为n1×n1时，将所述色度块与至少一个n1×n1的色度块聚合得到一个N×N的合并色度块，所述n1小于N，所述N×N不小于所述预设尺寸；
将色度块与至少一个n1×n1的色度块聚合，包括多种聚合方式，作为一种可选的实施方式，将所述色度块与该色度块右侧1个，下方2个n1×n1的色度块聚合，所述N为n1的2倍；
作为一种可选的实施方式，根据编码协议确定与亮度块关联的色度块的尺寸为2×2时，将所述色度块与另外3个2×2的色度块聚合得到一个4×4的合并色度块；
与亮度块关联的色度块的尺寸为2×2时，此时亮度块的尺寸为4×4；
2)根据编码协议确定与亮度块关联的色度块的尺寸为m1×n1时，将所述色度块与至少一个m1×n1的色度块聚合得到一个N×N的合并色度块，所述m1大于n1且不大于N；
将色度块与至少一个m1×n1的色度块聚合，包括多种聚合方式，作为一种可选的实施方式，将所述色度块与下方1个m1×n1的色度块聚合，所述m1等于所述N；
作为一种可选地实施方式，根据编码协议确定与亮度块关联的色度块的尺寸为4×2时，将所述色度块与另外1个4×2的色度块聚合得到一个4×4的合并色度块；
与亮度块关联的色度块的尺寸为4×2时，此时亮度块的尺寸为8×4；
3)根据编码协议确定与亮度块关联的色度块的尺寸为n1×m1时，将所述色度块与至少一个n1×m1的色度块聚合得到一个N×N的合并色度块。
将色度块与至少一个n1×m1的色度块聚合，包括多种聚合方式，作为一种可选的实施方式，将所述色度块与右侧1个n1×m1的色度块聚合；
根据编码协议确定与亮度块关联的色度块的尺寸为2×4时，将所述色度块与另外1个2×4的色度块聚合得到一个4×4的合并色度块。
与亮度块关联的色度块的尺寸为2×4时，此时亮度块的尺寸为4×8；
帧间预测编码为双向预测编码或单向预测编码，亮度块的最小子块的尺寸大于协议约定的最小子块的尺寸。
S103，根据帧间预测方法确定所述亮度块的运动矢量，根据所述合并色度块中各色度块所关联的亮度块的运动矢量，确定所述合并色度块的运动矢量；
所述帧间预测编码包括如下任一一种：
采用仿射模式中的帧间预测编码；或者
采用可选时域运动矢量预测ATMVP编码方式中的帧间预测编码；或者
采用空-时运动矢量预测STMVP的帧间预测编码。
本公开实施例中，通过如下方式确定更新后的色度块的运动矢量：
1)确定所述合并色度块的运动矢量，为所述合并色度块中各色度块所关联的亮度块的任一运动矢量；
作为一种可选的实施方式，每个4×4的亮度块得到1组运动矢量，4×4的亮度块关联的色度块的尺寸为2×2，则将4个2×2的色度块聚合得到的4×4的色度块，对应4个4×4的亮度块的4组运动矢量，将4组运动矢量的任一运动矢量，作为聚合得到的一个合并色度块的运动矢量。
2)确定所述合并色度块的运动矢量，为所述合并色度块中各色度块所关联的亮度块的运动矢量的加权平均值；
作为一种可选的实施方式，每个4×4的亮度块得到1组运动矢量，4×4的亮度块关联的色度块的尺寸为2×2，则将4个2×2的色度块聚合得到的4×4的色度块，对应4个4×4的亮度块的4组运动矢量，将4组运动矢量的加权平均值，作为聚合得到的一个合并色度块的运动矢量。
3)根据仿射运动模型生成亮度块的运动矢量，根据所述合并色度块中各色度块所关联的亮度块的运动矢量，确定所述合并色度块的运动矢量；
如图2所示为简化的仿射运动模型，亮度块的仿射运动域(Motion Vector Field，MVD)由两个控制点运动矢量描述，亮度块的运动矢量域由如下等式描述：
Figure BDA0002303322850000121
其中，(vox,voy)为图2中左上角控制点的运动矢量，(v1x,v1y)为右上角控制点的运动矢量；
使用基于块的仿射变换预测进一步简化运动补偿预测。每个子块的中间样点的运动矢量由上式计算得到，作为每个亮度块的运动矢量；
根据所述亮度块的运动矢量，采用上述1)、2)方式中的任一种，根据所述合并色度块中各色度块所关联的亮度块的运动矢量，确定所述合并色度块的运动矢量。
S104，利用确定的所述亮度块的运动矢量和色度块的运动矢量进行编码。
如前所述，上述高效率视频编码HEVC/联合探索测试模型JEM/多功能视频编码VCC的编码标准中对CU均可能采用帧间预测编码方式；
在HEVC中，通过使用表示为编码树的四叉树结构来将CTU划分成CU，以适应各种局部特性。决定是否使用图像间(时域)或图像内(空域)预测来编码图像区域是在CU级别进行的。
JEM应用四叉树加二叉树(Quadtree plus Binary Tree,QTBT)块结构，消除了多个划分类型的概念，支持更灵活的CU划分类型。在QTBT块结构中，CU可以具有正方形或矩形形状。如图3所示，编码树单元(CTU)首先由四叉树结构划分。该四叉树叶子节点进一步由二叉树结构划分。在二叉数划分中，有两种划分类型，对称水平划分和对称垂直划分。二叉树叶子节点被称为编码单元(CU)，并且该划分用于预测和变换处理。
如图3(左侧)示出了通过使用QTBT进行块划分的示例，图3(右侧)示出了相应的树表示。实线表示四叉树划分，虚线表示二叉树划分。在二叉树的每个划分节点中，用信令通知一个标志以指示使用哪种划分类型(即，水平或垂直)，其中0指示水平划分，1指示垂直划分。针对四叉树划分，则不需要指示划分类型，因为四叉树纵轴水平和垂直地划分块以缠上具有相同大小的4个子块CU。
针对上述方式划分的CU中，对于采用帧间预测编码的CU，采用本公开实施例的将CU划分为多个亮度块，并且根据编码协议确定与所述亮度块关联的色度块的尺寸不大于预设尺寸时，将所述色度块与至少一个相同尺寸的另一色度块聚合得到的色度块，更新为与所述亮度块关联的色度块，并且根据帧间预测方法确定亮度块的运动矢量及与亮度块关联的色度块的运动矢量。
本公开实施例中的帧间预测编码，具体可以为如下任一种：
1)采用仿射模式中的帧间预测编码；
由于在真实世界中，存在多种运动，例如放大/缩小、旋转、透视运动和其它非规则运动。在JEM中，应用了简化的仿射变换运动补偿预测，块的仿射运动域由两个控制点运动矢量描述。
对于该仿射模式中的帧间预测编码，可以采用上述方式划分亮度块。
2)采用可选时域运动矢量预测ATMVP(Alternative Temporal Motion VectorPrediction，ATMVP)编码方式中的帧间预测编码；
在HEVC中，限制小块的帧间预测以减少运动补偿的存储访问，使得针对4×8和8×4的块不支持双向预测，并且针对4×4的块不支持帧间预测。在JEM的QTBT中，消除了这些限制。
在具有QTBT块结构的JEM中，每个CU可以具有针对每个预测方向的至多一组运动参数。通过将大CU划分成子CU并且推导针对大CU的所有子CU的运动信息，在编码器中考虑两个子CU级的运动矢量预测方法。可选时域运动矢量预测方法ATMVP允许每个CU从比并列参考图像中的当前CU小的多个块中提取多组运动信息，通过从小于当前CU的块中提取多组运动信息(包括运动矢量和参考索引)来修改运动矢量时域运动矢量预测(TemporalMotion Vector Prediction，TMVP)。
本公开实施例对于采用可选时域运动矢量预测ATMVP的CTU，利用本公开实施例提供的方法划分亮度块。
3)在空-时运动矢量预测(Spatial-Temporal Motion Vector Prediction，STMVP)的帧间预测编码
在空-时运动矢量预测(Spatial-Temporal Motion Vector Prediction，STMVP)方法中，通过使用时域运动矢量预测器和空域相邻运动矢量来递归地推导出子CU的运动矢量。
可选地，对视频块的大小约束可以仅应用于块以执行运动补偿，用于视频块的MV预测的运动矢量存储，可以使用不同的大小，作为一种可选的实施方式，将8×4块用作子块大小以针对子块帧间模式执行运动补偿，而将4×4块用于存储针对子块帧间模式的MV，作为一种可选地实施方式，对于亮度块和色度块，可以采用不同的块的大小以执行运动补偿，以4:2:0YUV采样格式为例，包括以下两种方法：
1、亮度块为4×4且关联的色度块为2×2；
执行运动补偿的亮度块的大小为4×4，色度块的大小也为4×4，则如图4所示，当亮度块的大小为4×4时(例如，块A、B、C和D)，相关联的色度块的大小为2×2(例如，块A’、B’、C’和D’)，则此时可以将四个2×2色度块(例如，块A’、B’、C’和D’)聚合成一个4×4的合并色度块以执行运动补偿，具体将所述色度块与该色度块右侧1个，下方2个n1×n1的色度块聚合；
2、亮度块为8×4且关联的色度块为4×2；
执行运动补偿的亮度块的大小为8×4，色度块的大小也为4×4，则如图5所示，当亮度块的大小为8×4时(例如，块A、B)，相关联的色度块的大小为4×2(例如，块A’、B’)，则此时可以将2个4×2色度块(例如，块A’、B’、C’和D’)聚合成一个4×4的合并色度块以执行运动补偿，具体将色度块与下方1个4×2的色度块聚合；
3、亮度块为4×8且关联的色度块为2×4；
执行运动补偿的亮度块的大小为4×8，色度块的大小也为4×4，则如图6所示，当亮度块的大小为4×8时(例如，块A、B)，相关联的色度块的大小为2×4(例如，块A’、B’)，则此时可以将2个2×4色度块(例如，块A’、B’、C’和D’)聚合成一个4×4的合并色度块以执行运动补偿，具体将色度块与下方1个4×2的色度块聚合；
当得到用于聚合的色度块的MV时，与聚合的色度块关联的亮度块可以在4×4块、8×4块、4×8块的网格中或任何其它网格中。
本公开实施例对于采用可选时域运动矢量预测STMVP的CTU，利用本公开实施例提供的方法划分亮度块。
可选地，所述帧间预测编码为双向预测编码或单向预测编码，所述亮度块的最小子块的尺寸大于协议约定的最小子块的尺寸。上述最小子块的尺寸可以理解为由宽度和高度确定尺寸，尺寸不同一方面理解为总尺寸不同，另一方面理解为两个子块的高度/宽度不同，约束的最小子块的尺寸可以为一个，也可以为多个。
作为一种可选的实施方式，对于双向预测编码，亮度块的最小子块的尺寸为统一尺寸Sizebi，且Sizebi大于协议约定的最小子块的尺寸，这里的统一尺寸Sizebi为总尺寸或者高度和宽度唯一的子块的尺寸；
作为另一种可选的实施方式，对于双向预测编码，最小子块的尺寸为多个尺寸Size2bi，且每个Size2bi大于协议约定的最小子块的尺寸，这里的多个尺寸Size2bi，可以指多个大小不同的总尺寸，也可以指具有相同的总尺寸，但高度/宽度有差别的子块对应的尺寸。
作为一种可选的实施方式，对于单向预测编码，亮度块的最小子块的尺寸为统一尺寸Sizeuni，且Sizeuni大于协议约定的最小子块的尺寸，这里的统一尺寸Sizebi为总尺寸唯一的子块的尺寸，或者高度和宽度均唯一的子块的尺寸；
作为另一种可选的实施方式，对于单向预测编码，最小子块的尺寸为多个尺寸Size2uni，且每个Size2uni大于协议约定的最小子块的尺寸，这里的多个尺寸Size2bi，可以指多个大小不同的总尺寸，也可以指具有相同的总尺寸，但高度/宽度有差别的子块对应的尺寸。
上述最小子块的尺寸为最小子块的总尺寸，可以仅从最小子块的总尺寸角度约束，也可以从最小的子块宽度/高度约束最小子块尺寸。
下面以4:2:0YUV采样格式为例，分别给出双向预测编码及单向预测编码中，分别对应的最小子块的具体约束方式及具体的示例。
假设在指定的YUV采样格式下的一个视频CODEC中，用于双向帧间预测的最小亮度块大小为WL×HL(如果WL！＝HL，则也可以使用HL×WL)，其中WL和HL为任何正整数。
在实施中，对于亮度块，用于双向预测的子块大小应大于WL×HL/HL×WL，下面的示例假设使用4:2:0YUV格式，并且在如下示例中提到的块大小用于亮度块以及确定用于双向预测的子块大小被称为Sizebi.(或者如果使用多个尺寸，则为Size2bi.)。
假设在指定的YUV采样格式下的一个视频CODEC中，用于单向帧间预测的最小亮度块大小为ML×NL(如果ML！＝NL，则也可以使用NL×ML)，其中ML和NL为任何正整数。
在本公开中，对于亮度块，用于单向预测的子块大小应大于ML×NL/NL×ML，后面，假设使用4:2:0YUV格式，并且在如下示例中提到的块大小用于亮度块以及确定用于单向预测的子块大小被称为Sizeuni.(或者如果使用多个尺寸，则为Size2uni.)，在不失一般性的情况下，可以根据YUV颜色采样格式将相同的规则应用于色度块。
一、双向预测编码
最小子块的尺寸大于协议约定的最小子块的尺寸，可以采用如下任一方式进行约束：
1)最小子块的高度大于协议约定的子块的高度；
该方式中，最小子块的高度可以等于协议约定的子块的高度，最小子块的高度大于协议约定的子块的高度，则最小子块的尺寸大于协议约定最小子块的尺寸。
采用该方式约束的最小子块的尺寸可以为一个也可以为多个。
2)最小子块的宽度大于协议约定的子块的宽度；
该方式中，最小子块的宽度大于协议约定的子块的宽度，最小子块的高度可以等于协议约定的子块的高度，则最小子块的尺寸大于协议约定最小子块的尺寸。
采用该方式约束的最小子块的尺寸可以为一个也可以为多个。
3)最小子块的高度大于协议约定子块的高度，且最小子块的宽度大于协议约定子块的宽度；
采用该方式约束的最小子块的尺寸可以为一个也可以为多个。
4)最小子块的高度大于协议约定子块的高度，或最小子块的宽度大于协议约定子块的宽度。
采用该方式约束的子块为多个尺寸，可以根据划分子块需要，选择更适合的尺寸进行划分。
具体地，假设用于双向预测的最小亮度块大小为8×8，如下约束中的每一者都可以独立应用：
示例1，针对仿射模式的帧间预测编码，双向预测中对CU划分的最小子块大小为8×8，则与亮度块关联的色度块的大小为4×4；
示例2，针对ATMVP/STMVP的帧间预测编码，双向预测中对CU划分的子块大小为8×8，则与亮度块关联的色度块的大小为4×4；
示例3，所有将编码单元CU划分为子块进行帧间预测的帧间预测编码方法，双向预测中对CU划分的子块大小为8×8，则与亮度块关联的色度块的大小为4×4。
假设用于双向预测的最小亮度块大小为8×4/4×8，如下约束中的每一种都可以独立应用：
示例1，针对仿射模式的帧间预测编码，双向预测中对CU划分的子块大小为8×4，则与亮度块关联的色度块的大小为4×2，将色度块与下方1个4×2的色度块聚合得到一个4×4的合并色度块；
示例2，针对ATMVP/STMVP的帧间预测编码，双向预测中对CU划分的子块大小为8×4，则与亮度块关联的色度块的大小为4×2，将色度块与下方1个4×2的色度块聚合得到一个4×4的合并色度块；
示例3，所有将编码单元CU划分为子块进行帧间预测的帧间预测编码方法，双向预测中对CU划分的子块大小为8×4，则与亮度块关联的色度块的大小为4×2，将色度块与下方1个4×2的色度块聚合得到一个4×4的合并色度块；
示例4，针对仿射模式的帧间预测编码，双向预测中对CU划分的子块大小为4×8，则与亮度块关联的色度块的大小为2×4，将色度块与右侧1个2×4的色度块聚合得到一个4×4的合并色度块；
示例5，针对ATMVP/STMVP的帧间预测编码，双向预测中对CU划分的子块大小为4×8，则与亮度块关联的色度块的大小为2×4，将色度块与右侧1个2×4的色度块聚合得到一个4×4的合并色度块；
示例6，所有将编码单元CU划分为子块进行帧间预测的帧间预测编码方法，双向预测中对CU划分的子块大小为4×8，则与亮度块关联的色度块的大小为2×4，将色度块与右侧1个2×4的色度块聚合得到一个4×4的合并色度块；
示例7，针对仿射模式的帧间预测编码，双向预测中对CU划分的子块大小为8×4，则与亮度块关联的色度块的大小为4×2，将色度块与下侧1个4×2的色度块聚合得到一个4×4的合并色度块；
双向预测中对CU划分的子块大小为4×8，则与亮度块关联的色度块的大小为2×4，将色度块与右侧1个2×4的色度块聚合得到一个4×4的合并色度块；
示例8，针对ATMVP/STMVP的帧间预测编码，双向预测中对CU划分的子块大小为8×4，则与亮度块关联的色度块的大小为4×2，将色度块与下侧1个4×2的色度块聚合得到一个4×4的合并色度块；
双向预测中对CU划分的子块大小为4×8，则与亮度块关联的色度块的大小为2×4，将色度块与右侧1个2×4的色度块聚合得到一个4×4的合并色度块；
示例9，所有将编码单元CU划分为子块进行帧间预测的帧间预测编码方法，双向预测中对CU划分的子块大小为8×4，则与亮度块关联的色度块的大小为4×2，将色度块与下侧1个4×2的色度块聚合得到一个4×4的合并色度块；
双向预测中对CU划分的子块大小为4×8，则与亮度块关联的色度块的大小为2×4，将色度块与右侧1个2×4的色度块聚合得到一个4×4的合并色度块。
二、单向预测编码
最小子块的尺寸大于协议约定的最小子块的尺寸，可以采用如下任一方式进行约束：
1)最小子块的高度大于协议约定的子块的高度；
该方式中，最小子块的高度可以等于协议约定的子块的高度，最小子块的高度大于协议约定的子块的高度，则最小子块的尺寸大于协议约定最小子块的尺寸。
采用该方式约束的最小子块的尺寸可以为一个也可以为多个。
2)最小子块的宽度大于协议约定的子块的宽度；
该方式中，最小子块的宽度大于协议约定的子块的宽度，最小子块的高度可以等于协议约定的子块的高度，则最小子块的尺寸大于协议约定最小子块的尺寸。
采用该方式约束的最小子块的尺寸可以为一个也可以为多个。
3)最小子块的高度大于协议约定子块的高度，或最小子块的宽度大于协议约定子块的宽度。
采用该方式约束的子块为多个尺寸，可以根据划分子块需要，选择更适合的尺寸进行划分。
最小子块的高度大于协议约定子块的高度，且最小子块的宽度大于协议约定子块的宽度；
采用该方式约束的最小子块的尺寸可以为一个也可以为多个。
以在HEVC中在4:2:0YUV采样格式获取视频图像帧为例，用于帧间预测的最小单向预测亮度块大小为8×4/4×8，具体的可以采用如下的约束方式：
ML×NL为8×8；或者
ML×NL为8×4；或者
ML×NL为4×8；或者
具体地，假设用于单向预测的最小亮度块大小为8×8，如下约束中的每一者都可以独立应用：
示例1，针对仿射模式的帧间预测编码，单向预测中对CU划分的最小子块大小为8×8，则与亮度块关联的色度块的大小为4×4；
示例2，针对ATMVP/STMVP的帧间预测编码，单向预测中对CU划分的子块大小为8×8，则与亮度块关联的色度块的大小为4×4；
示例3，所有将编码单元CU划分为子块进行帧间预测的帧间预测编码方法，单向预测中对CU划分的子块大小为8×8，则与亮度块关联的色度块的大小为4×4。
假设用于单向预测的最小亮度块大小为8×4/4×8，如下约束中的每一种都可以独立应用：
示例1，针对仿射模式的帧间预测编码，单向预测中对CU划分的子块大小为8×4，则与亮度块关联的色度块的大小为4×2，将色度块与下方1个4×2的色度块聚合得到一个4×4的合并色度块；
示例2，针对ATMVP/STMVP的帧间预测编码，单向预测中对CU划分的子块大小为8×4，则与亮度块关联的色度块的大小为4×2，将色度块与下方1个4×2的色度块聚合得到一个4×4的合并色度块；
示例3，所有将编码单元CU划分为子块进行帧间预测的帧间预测编码方法，单向预测中对CU划分的子块大小为8×4，则与亮度块关联的色度块的大小为4×2，将色度块与下方1个4×2的色度块聚合得到一个4×4的合并色度块；
示例4，针对仿射模式的帧间预测编码，单向预测中对CU划分的子块大小为4×8，则与亮度块关联的色度块的大小为2×4，将色度块与右侧1个2×4的色度块聚合得到一个4×4的合并色度块；
示例5，针对ATMVP/STMVP的帧间预测编码，单向预测中对CU划分的子块大小为4×8，则与亮度块关联的色度块的大小为2×4，将色度块与右侧1个2×4的色度块聚合得到一个4×4的合并色度块；
示例6，所有将编码单元CU划分为子块进行帧间预测的帧间预测编码方法，单向预测中对CU划分的子块大小为4×8，则与亮度块关联的色度块的大小为2×4，将色度块与右侧1个2×4的色度块聚合得到一个4×4的合并色度块；
示例7，针对仿射模式的帧间预测编码，单向预测中对CU划分的子块大小为8×4则与亮度块关联的色度块的大小为4×2，将色度块与下侧1个4×2的色度块聚合得到一个4×4的合并色度块；
单向预测中对CU划分的子块大小为4×8，则与亮度块关联的色度块的大小为2×4，将色度块与右侧1个2×4的色度块聚合得到一个4×4的合并色度块；
示例8，针对ATMVP/STMVP的帧间预测编码，单向预测中对CU划分的子块大小为8×4，则与亮度块关联的色度块的大小为4×2，将色度块与下侧1个4×2的色度块聚得到一个4×4的合并色度块；
单向预测中对CU划分的子块大小为4×8，则与亮度块关联的色度块的大小为2×4，将色度块与右侧1个2×4的色度块聚合得到一个4×4的合并色度块；
示例9，所有将编码单元CU划分为子块进行帧间预测的帧间预测编码方法，单向预测中对CU划分的子块大小为8×4，则与亮度块关联的色度块的大小为4×2，将色度块与下侧1个4×2的色度块聚合得到一个4×4的合并色度块；
单向预测中对CU划分的子块大小为4×8，则与亮度块关联的色度块的大小为2×4，将色度块与右侧1个2×4的色度块聚合得到一个4×4的合并色度块。
以上对本公开中一种视频编码方法进行说明，以下对执行上述视频编码装置进行说明。
请参阅图7本公开实施例提供的一种视频编码装置，包括：
确定单元701，被配置为执行获取视频图像帧，确定所述视频图像帧中的编码单元CU；
更新单元702，被配置为执行将使用帧间预测编码的CU划分为多个亮度块，根据编码协议确定与所述亮度块关联的色度块的尺寸不大于预设尺寸时，将所述色度块与至少一个相同尺寸的另一色度块聚合得到一个合并色度块；
运动矢量确定单元703，被配置为执行根据帧间预测方法确定所述亮度块的运动矢量，根据所述合并色度块中各色度块所关联的亮度块的运动矢量，确定所述合并色度块的运动矢量；
编码单元704，被配置为执行利用确定的所述亮度块的运动矢量和色度块的运动矢量进行编码。
可选地，所述运动矢量确定单元被配置为确定所述合并色度块的运动矢量，具体用于：
确定所述合并色度块的运动矢量，为所述合并色度块中各色度块所关联的亮度块的任一运动矢量，或者为所述合并色度块中各色度块所关联的亮度块的运动矢量的加权平均值。
可选地，所述运动矢量确定单元被配置为根据仿射运动模型生成亮度块的运动矢量，根据所述合并色度块中各色度块所关联的亮度块的运动矢量，确定所述合并色度块的运动矢量。
可选地，所述更新单元被配置为执行将所述色度块与至少一个相同尺寸的另一色度块聚合得到一个合并色度块，包括如下至少一个步骤：
根据编码协议确定与亮度块关联的色度块的尺寸为n1×n1时，将所述色度块与至少一个n1×n1的色度块聚合得到一个N×N的合并色度块，所述n1小于N，所述N×N不小于所述预设尺寸；
根据编码协议确定与亮度块关联的色度块的尺寸为m1×n1时，将所述色度块与至少一个m1×n1的色度块聚合得到一个N×N的合并色度块，所述m1大于n1且不大于N；
根据编码协议确定与亮度块关联的色度块的尺寸为n1×m1时，将所述色度块与至少一个n1×m1的色度块聚合得到一个N×N的合并色度块。
可选地，所述将所述色度块与至少一个n1×n1的色度块聚合，为将所述色度块与该色度块右侧1个，下方2个n1×n1的色度块聚合，所述N为n1的2倍；
所述将所述色度块与至少一个m1×n1的色度块聚合，为将所述色度块与下方1个m1×n1的色度块聚合，所述m1等于所述N；
所述将所述色度块与至少一个n1×m1的色度块聚合，为将所述色度块与右侧1个n1×m1的色度块聚合。
可选地，所述编码单元被配置为执行确定所述帧间预测编码包括：
采用仿射模式中的帧间预测编码；或者
采用可选时域运动矢量预测ATMVP编码方式中的帧间预测编码；或者
采用空-时运动矢量预测STMVP的帧间预测编码。
可选地，所述帧间预测编码为双向预测编码或单向预测编码，所述亮度块的最小子块的尺寸大于协议约定的最小子块的尺寸。
可选地，所述编码单元被配置为执行对于双向预测编码，最小子块的尺寸大于协议约定的最小子块的尺寸，具体用于：
最小子块的高度大于协议约定的子块的高度；或者
最小子块的宽度大于协议约定的子块的宽度；或者
最小子块的高度大于协议约定子块的高度，且最小子块的宽度大于协议约定子块的宽度；或者
最小子块的高度大于协议约定子块的高度，或最小子块的宽度大于协议约定子块的宽度。
可选地，所述编码单元被配置为执行对于单向预测编码，最小子块的尺寸大于协议约定的最小子块的尺寸，包括：
最小子块的高度大于协议约定的子块的高度；或者
最小子块的宽度大于协议约定的子块的宽度；或者
最小子块的高度大于协议约定子块的高度，或最小子块的宽度大于协议约定子块的宽度；
最小子块的高度大于协议约定子块的高度，且最小子块的宽度大于协议约定子块的宽度。
可选地，所述更新单元被配置为执行根据编码协议确定与所述亮度块关联的色度块的尺寸不大于预设尺寸，具体用于：
根据编码协议中的YUV4:2:0采样格式，确定与所述亮度块关联的色度块的尺寸不大于4×4的预设尺寸。
下面从硬件处理的角度对本公开实施例中的一种视频编码设备进行描述。
请参阅图8，本公开实施例中一种视频编码设备，包括：
处理单元801、存储单元802、以及总线系统809；
其中，所述存储单元用于存储程序；
所述处理单元用于执行所述存储单元中的程序，包括如下步骤：
获取视频图像帧，确定所述视频图像帧中的编码单元CU；
将使用帧间预测编码的CU划分为多个亮度块，根据编码协议确定与所述亮度块关联的色度块的尺寸不大于预设尺寸时，将所述色度块与至少一个相同尺寸的另一色度块聚合得到一个合并色度块；
根据帧间预测方法确定所述亮度块的运动矢量，根据所述合并色度块中各色度块所关联的亮度块的运动矢量，确定所述合并色度块的运动矢量；
利用确定的所述亮度块的运动矢量和色度块的运动矢量进行编码。
图8是本公开实施例提供的一种视频编码设备结构示意图，该设备800可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理单元(英文全称：centralprocessing units，英文简称：CPU)801(例如，一个或一个以上处理单元)和存储单元802，一个或一个以上存储应用程序804或数据805的存储介质803(例如一个或一个以上海量存储设备)。其中，存储单元802和存储介质803可以是短暂存储或持久存储。存储在存储介质803的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对信息处理装置中的一系列指令操作。更进一步地，处理单元801可以设置为与存储介质803通信，在设备800上执行存储介质803中的一系列指令操作。
设备800还可以包括一个或一个以上有线或无线网络接口807，一个或一个以上输入输出接口808，和/或，一个或一个以上操作系统806，例如Windows Server，Mac OS X，Unix，Linux，FreeBSD等。
可选地，所述处理单元被配置为执行确定所述合并色度块的运动矢量，包括：
确定所述合并色度块的运动矢量，为所述合并色度块中各色度块所关联的亮度块的任一运动矢量，或者为所述合并色度块中各色度块所关联的亮度块的运动矢量的加权平均值。
可选地，所述处理单元被配置为执行根据仿射运动模型生成亮度块的运动矢量，根据所述合并色度块中各色度块所关联的亮度块的运动矢量，确定所述合并色度块的运动矢量。
可选地，所述处理单元被配置为执行将所述色度块与至少一个相同尺寸的另一色度块聚合得到一个合并色度块，包括如下至少一个步骤：
根据编码协议确定与亮度块关联的色度块的尺寸为n1×n1时，将所述色度块与至少一个n1×n1的色度块聚合得到一个N×N的合并色度块，所述n1小于N，所述N×N不小于所述预设尺寸；
根据编码协议确定与亮度块关联的色度块的尺寸为m1×n1时，将所述色度块与至少一个m1×n1的色度块聚合得到一个N×N的合并色度块，所述m1大于n1且不大于N；
根据编码协议确定与亮度块关联的色度块的尺寸为n1×m1时，将所述色度块与至少一个n1×m1的色度块聚合得到一个N×N的合并色度块。
可选地，所述处理单元被配置为执行将所述色度块与至少一个n1×n1的色度块聚合，为将所述色度块与该色度块右侧1个，下方2个n1×n1的色度块聚合，所述N为n1的2倍；
所述将所述色度块与至少一个m1×n1的色度块聚合，为将所述色度块与下方1个m1×n1的色度块聚合，所述m1等于所述N；
所述将所述色度块与至少一个n1×m1的色度块聚合，为将所述色度块与右侧1个n1×m1的色度块聚合。
可选地，所述帧间预测编码包括：
采用仿射模式中的帧间预测编码；或者
采用可选时域运动矢量预测ATMVP编码方式中的帧间预测编码；或者
采用空-时运动矢量预测STMVP的帧间预测编码。
可选地，所述处理单元被配置为执行当所述帧间预测编码为双向预测编码或单向预测编码时，所述亮度块的最小子块的尺寸大于协议约定的最小子块的尺寸。
可选地，对于双向预测编码，最小子块的尺寸大于协议约定的最小子块的尺寸，包括：
最小子块的高度大于协议约定的子块的高度；或者
最小子块的宽度大于协议约定的子块的宽度；或者
最小子块的高度大于协议约定子块的高度，且最小子块的宽度大于协议约定子块的宽度；或者
最小子块的高度大于协议约定子块的高度，或最小子块的宽度大于协议约定子块的宽度。
可选地，对于单向预测编码，最小子块的尺寸大于协议约定的最小子块的尺寸，包括：
最小子块的高度大于协议约定的子块的高度；或者
最小子块的宽度大于协议约定的子块的宽度；或者
最小子块的高度大于协议约定子块的高度，或最小子块的宽度大于协议约定子块的宽度；
最小子块的高度大于协议约定子块的高度，且最小子块的宽度大于协议约定子块的宽度。
可选地，所述处理单元被配置为执行根据编码协议确定与所述亮度块关联的色度块的尺寸不大于预设尺寸，包括：
根据编码协议中的YUV4:2:0采样格式，确定与所述亮度块关联的色度块的尺寸不大于4×4的预设尺寸。
本公开实施例还提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行上述实施例提供的一种视频编码方法。
本公开实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序包括程序指令，当所述程序指令被电子设备执行时，使所述电子设备执行上述实施例提供的一种视频编码方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本公开所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本公开实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
以上对本公开所提供的技术方案进行了详细介绍，本公开中应用了具体个例对本公开的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本公开的方法及其核心思想；同时，对于本领域的一般技术人员，依据本公开的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本公开的限制。

Claims (10)

1.一种视频编码方法，其特征在于，包括：
获取视频图像帧，确定所述视频图像帧中的编码单元CU；
将使用帧间预测编码的CU划分为多个亮度块，根据编码协议确定与所述亮度块关联的色度块的尺寸不大于预设尺寸时，将所述色度块与至少一个相同尺寸的另一色度块聚合得到一个合并色度块；
根据帧间预测方法确定所述亮度块的运动矢量，根据所述合并色度块中各色度块所关联的亮度块的运动矢量，确定所述合并色度块的运动矢量；
利用确定的所述亮度块的运动矢量和色度块的运动矢量进行编码。
2.根据权利要求1所述的方法，其特征在于，确定所述合并色度块的运动矢量，包括：
确定所述合并色度块的运动矢量，为所述合并色度块中各色度块所关联的亮度块的任一运动矢量，或者为所述合并色度块中各色度块所关联的亮度块的运动矢量的加权平均值。
3.根据权利要求1所述的方法，其特征在于，根据仿射运动模型生成亮度块的运动矢量，根据所述合并色度块中各色度块所关联的亮度块的运动矢量，确定所述合并色度块的运动矢量。
4.根据权利要求1所述的方法，其特征在于，将所述色度块与至少一个相同尺寸的另一色度块聚合得到一个合并色度块，包括如下至少一个步骤：
根据编码协议确定与亮度块关联的色度块的尺寸为n1×n1时，将所述色度块与至少一个n1×n1的色度块聚合得到一个N×N的合并色度块，所述n1小于N，所述N×N不小于所述预设尺寸；
根据编码协议确定与亮度块关联的色度块的尺寸为m1×n1时，将所述色度块与至少一个m1×n1的色度块聚合得到一个N×N的合并色度块，所述m1大于n1且不大于N；
根据编码协议确定与亮度块关联的色度块的尺寸为n1×m1时，将所述色度块与至少一个n1×m1的色度块聚合得到一个N×N的合并色度块。
5.根据权利要求4所述的方法，其特征在于，包括：
所述将所述色度块与至少一个n1×n1的色度块聚合，为将所述色度块与该色度块右侧1个，下方2个n1×n1的色度块聚合，所述N为n1的2倍；
所述将所述色度块与至少一个m1×n1的色度块聚合，为将所述色度块与下方1个m1×n1的色度块聚合，所述m1等于所述N；
所述将所述色度块与至少一个n1×m1的色度块聚合，为将所述色度块与右侧1个n1×m1的色度块聚合。
6.根据权利要求1所述的方法，其特征在于，所述帧间预测编码包括：
采用仿射模式中的帧间预测编码；或者
采用可选时域运动矢量预测ATMVP编码方式中的帧间预测编码；或者
采用空-时运动矢量预测STMVP的帧间预测编码。
7.根据权利要求1～6任一所述的方法，其特征在于，根据编码协议确定与所述亮度块关联的色度块的尺寸不大于预设尺寸，包括：
根据编码协议中的YUV4:2:0采样格式，确定与所述亮度块关联的色度块的尺寸不大于4×4的预设尺寸。
8.一种视频编码装置，其特征在于，该装置包括：
确定单元，被配置为执行获取视频图像帧，确定所述视频图像帧中的编码单元CU；
更新单元，被配置为执行将使用帧间预测编码的CU划分为多个亮度块，根据编码协议确定与所述亮度块关联的色度块的尺寸不大于预设尺寸时，将所述色度块与至少一个相同尺寸的另一色度块聚合得到一个合并色度块；
运动矢量确定单元，被配置为执行根据帧间预测方法确定所述亮度块的运动矢量，根据所述合并色度块中各色度块所关联的亮度块的运动矢量，确定所述合并色度块的运动矢量；
编码单元，被配置为执行利用确定的所述亮度块的运动矢量和色度块的运动矢量进行编码。
9.一种视频编码设备，其特征在于，包括：存储单元和处理单元，其中，所述存储单元用于存储程序，所述处理单元用于执行：
获取视频图像帧，确定所述视频图像帧中的编码单元CU；
将使用帧间预测编码的CU划分为多个亮度块，根据编码协议确定与所述亮度块关联的色度块的尺寸不大于预设尺寸时，将所述色度块与至少一个相同尺寸的另一色度块聚合得到一个合并色度块；
根据帧间预测方法确定所述亮度块的运动矢量，根据所述合并色度块中各色度块所关联的亮度块的运动矢量，确定所述合并色度块的运动矢量；
利用确定的所述亮度块的运动矢量和色度块的运动矢量进行编码。
10.一种计算机可读存储介质，其特征在于，包括计算机程序指令，当其在计算机上运行时，使得计算机执行如权利要求1至7中任一项所述的方法。
CN201911230154.9A 2018-12-04 2019-12-04 一种视频编码方法和装置及设备 Pending CN111010572A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862775307P 2018-12-04 2018-12-04
US62/775,307 2018-12-04

Publications (1)

Publication Number Publication Date
CN111010572A true CN111010572A (zh) 2020-04-14

Family

ID=70115355

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911230154.9A Pending CN111010572A (zh) 2018-12-04 2019-12-04 一种视频编码方法和装置及设备

Country Status (1)

Country Link
CN (1) CN111010572A (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1347620A (zh) * 1999-02-18 2002-05-01 通用仪器公司 转换mpeg－2 4:2:2－轮廓位流为主轮廓位流的方法及架构
US20020097802A1 (en) * 1998-11-30 2002-07-25 Chih-Lung (Bruce) Lin "Coding techniques for coded block parameters of blocks of macroblocks"
CN1777283A (zh) * 2004-12-31 2006-05-24 上海广电（集团）有限公司 一种基于微块的视频信号编/解码方法
CN103931184A (zh) * 2011-09-14 2014-07-16 三星电子株式会社 用于对视频进行编码和解码的方法和装置
CN104160704A (zh) * 2012-02-08 2014-11-19 高通股份有限公司 B切片中的预测单元限于单向帧间预测
CN106416245A (zh) * 2014-06-19 2017-02-15 高通股份有限公司 用于块内复制的系统和方法
WO2018070554A1 (ko) * 2016-10-10 2018-04-19 삼성전자 주식회사 루마 블록 및 크로마 블록을 부호화 또는 복호화하는 방법 및 장치
TW201818724A (zh) * 2016-09-20 2018-05-16 聯發科技股份有限公司 用於視訊編解碼的採樣自適應偏移處理的方法和裝置
WO2018205959A1 (en) * 2017-05-09 2018-11-15 Huawei Technologies Co., Ltd. Coding chroma samples in video compression
CN110169070A (zh) * 2017-01-12 2019-08-23 联发科技股份有限公司 在视频编解码中预测子细化的候选跳过的方法和装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020097802A1 (en) * 1998-11-30 2002-07-25 Chih-Lung (Bruce) Lin "Coding techniques for coded block parameters of blocks of macroblocks"
CN1347620A (zh) * 1999-02-18 2002-05-01 通用仪器公司 转换mpeg－2 4:2:2－轮廓位流为主轮廓位流的方法及架构
CN1777283A (zh) * 2004-12-31 2006-05-24 上海广电（集团）有限公司 一种基于微块的视频信号编/解码方法
CN103931184A (zh) * 2011-09-14 2014-07-16 三星电子株式会社 用于对视频进行编码和解码的方法和装置
CN104160704A (zh) * 2012-02-08 2014-11-19 高通股份有限公司 B切片中的预测单元限于单向帧间预测
CN106416245A (zh) * 2014-06-19 2017-02-15 高通股份有限公司 用于块内复制的系统和方法
TW201818724A (zh) * 2016-09-20 2018-05-16 聯發科技股份有限公司 用於視訊編解碼的採樣自適應偏移處理的方法和裝置
WO2018070554A1 (ko) * 2016-10-10 2018-04-19 삼성전자 주식회사 루마 블록 및 크로마 블록을 부호화 또는 복호화하는 방법 및 장치
CN110169070A (zh) * 2017-01-12 2019-08-23 联发科技股份有限公司 在视频编解码中预测子细化的候选跳过的方法和装置
WO2018205959A1 (en) * 2017-05-09 2018-11-15 Huawei Technologies Co., Ltd. Coding chroma samples in video compression

Similar Documents

Publication Publication Date Title
CN113170099B (zh) 块内拷贝模式和帧间预测工具之间的交互
RU2699258C2 (ru) Способ прогнозирования изображения и устройство прогнозирования изображения
CN114286101B (zh) 一种视频编解码方法及设备
CN113906738B (zh) 仿射模式的自适应运动矢量差分辨率
CN110572645A (zh) 非对称加权双向预测Merge
BR112019025566A2 (pt) Predição de vetor de movimento
CN111131822B (zh) 具有从邻域导出的运动信息的重叠块运动补偿
CN113748673A (zh) 用于针对合并模式确定预测权重的方法、设备和系统
US12250390B2 (en) Decoder with merge candidate reorder based on common motion vector
CN111698515B (zh) 帧间预测的方法及相关装置
KR20210022101A (ko) 모션 벡터 예측 방법 및 관련 장치
BR112021003736A2 (pt) método e aparelho de predição de imagem de vídeo
CN113366831B (zh) 重叠块运动补偿和其他工具之间的协调
CN118830241A (zh) 用于视频处理的方法、装置和介质
JP7323220B2 (ja) 大域的運動を伴うフレームにおける候補
CN113473133A (zh) 利用几何分区geo模式进行预测的方法和装置
CN110753222B (zh) 视频编码方法和确定采用帧间编码方式的方法及设备
CN113475075B (zh) 基于共享Merge列表的运动预测
CN110602493B (zh) 一种仿射运动补偿的交织预测的方法及设备
CN111010572A (zh) 一种视频编码方法和装置及设备
JP2023508133A (ja) 空間予測子走査順序
CN111246216B (zh) 一种基于三角预测的视频编解码方法及设备
CN110740330B (zh) 一种子块运动候选的冗余校验的方法及设备
RU2787812C2 (ru) Способ и аппаратура предсказания видеоизображений
RU2787882C2 (ru) Способ и устройство для обработки сигналов видео с использованием интер-предсказания

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200414