[go: up one dir, main page]

CN118972576A - 用于对图像进行编码或解码的方法和装置以及非暂态计算机可读介质 - Google Patents

用于对图像进行编码或解码的方法和装置以及非暂态计算机可读介质 Download PDF

Info

Publication number
CN118972576A
CN118972576A CN202411372248.0A CN202411372248A CN118972576A CN 118972576 A CN118972576 A CN 118972576A CN 202411372248 A CN202411372248 A CN 202411372248A CN 118972576 A CN118972576 A CN 118972576A
Authority
CN
China
Prior art keywords
prediction
block
current block
motion
merge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202411372248.0A
Other languages
English (en)
Inventor
安镕照
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DigitalInsights Inc
Original Assignee
DigitalInsights Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DigitalInsights Inc filed Critical DigitalInsights Inc
Publication of CN118972576A publication Critical patent/CN118972576A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

在根据本发明的用于对图像进行编码或解码的方法和装置以及非暂态计算机可读介质中，可以基于先前在用于对图像进行编码或解码的装置中定义的帧间模式来得出用于当前块的双向预测的运动信息，以及可以基于运动信息对当前块执行帧间预测，其中，根据预定义的帧间模式，将用于双向预测的运动信息调整为用于单向预测的运动信息。

Description

用于对图像进行编码或解码的方法和装置以及非暂态计算机 可读介质
本申请是申请日为2019年9月25日的发明名称为“用于基于帧间模式对图像进行编码或解码的方法和装置”的第201980071465.7号发明专利申请的分案申请。
技术领域
本公开内容涉及视频编码/解码方法和装置。
背景技术
随着近来对高分辨率和高清晰度视频的需求增加，已经出现了针对用于下一代视频服务的高效视频压缩技术的需求。基于该需求，自2015年10月起，对H.264/AVC和HEVC视频压缩标准进行了统一标准化的ISO/IEC MPEG和ITU-T VCEG组建了JVET(Joint VideoExploration Team，联合视频探索小组)并进行了研究和探索以建立新的视频压缩标准。2018年4月，随着评估对新的视频压缩标准CfP(提案征集)的响应，开始了新的视频压缩标准化。
在视频压缩技术中，块划分结构是指执行编码和解码的单元以及对其应用诸如预测和变换的主要编码和解码技术的单元。随着视频压缩技术的发展，用于编码和解码的块的大小逐渐增加，并且支持更多的各种划分类型作为块划分类型。另外，不仅使用用于编码和解码的单元，而且使用根据块的作用而细分的单元来执行视频压缩。
在HEVC标准中，使用根据四叉树类型的块划分结构被细分的单元块以及用于预测和变换的作用来执行视频编码和解码。除了四叉树类型的块划分结构之外，提出了各种类型的块划分结构，诸如四叉树和二叉树组合的形式的QTBT(四叉树加二叉树)以及三叉树与QTBT组合的MTT(Multi-Type Tree，多类型树)，以提高视频编码效率。通过对各种块大小和各种类型的块划分结构的支持，一个图片被划分为多个块，并且以编码单元为单位的信息诸如编码模式、运动信息以及与每个块对应的帧内预测方向信息以各种方式被表达，因此，表达以编码单元为单位的信息的位的数目显著增加。
发明内容
技术问题
根据本公开内容的图像编码/解码方法和装置提供了受限双向预测方法。
根据本公开内容的图像编码/解码方法和装置定义了用于提高帧间预测的效率的各种帧间模式，并且提供了根据每个帧间模式来引出运动信息的方法。
根据本公开内容的图像编码/解码方法和装置提供了通过使用多个运动向量来自适应地限制存储带宽的消耗的方法。
根据本公开内容的图像编码/解码方法和装置提供了图片的层级划分方法。
技术方案
根据本公开内容的图像编码/解码方法和装置可以基于在图像解码装置中预定义的帧间模式来得出用于当前块的双向预测的运动信息，并且基于运动信息对当前块执行帧间预测。
在根据本公开内容的图像编码/解码方法和装置中，根据预定义的帧间模式，可以将用于双向预测的运动信息调整为用于单向预测的运动信息。
在根据本公开内容的图像编码/解码方法和装置中，当预定义的帧间模式是合并模式时，可以将用于双向预测的运动信息调整为用于单向预测的运动信息，而当预定义的帧间模式是仿射模式时，用于双向预测的运动信息可能不被调整为用于单向预测的运动信息。
在根据本公开内容的图像编码/解码方法和装置中，当预定义的帧间模式是合并模式时，在考虑当前块的大小的情况下将用于双向预测的运动信息调整为用于单向预测的运动信息。
在根据本公开内容的图像编码/解码方法和装置中，当预定义的帧间模式是合并模式时，得出运动信息可以包括：构造当前块的合并候选列表，并且从合并候选列表得出当前块的运动信息。
在根据本公开内容的图像编码/解码方法和装置中，合并候选列表可以包括空间合并候选、时间合并候选或组合合并候选中的至少之一。
在根据本公开内容的图像编码/解码方法和装置中，当预定义的帧间模式是仿射模式时，得出运动信息可以包括：生成由当前块的仿射候选组成的候选列表；基于候选列表和候选索引得出当前块的控制点向量；以及基于当前块的控制点向量得出当前块的运动向量。
在根据本公开内容的图像编码/解码方法和装置中，仿射候选可以包括空间候选、时间候选或构造候选中的至少之一。
在根据本公开内容的图像编码/解码方法和装置中，在考虑预定参考区域的大小的情况下得出当前块的运动向量，并且参考区域包括由n个子块的运动向量指定的参考块和用于对参考块的分数像素进行插值的像素。
在根据本公开内容的图像编码/解码方法和装置中，当参考区域的大小小于或等于阈值时，可以针对每个子块得出当前块的运动向量，而当参考区域的大小大于阈值时，可以针对当前块得出一个运动向量。
在根据本公开内容的图像编码/解码方法和装置中，当前块的运动向量可以基于仿射运动参数来得出，并且仿射运动参数可以基于当前块的控制点向量来计算。
在根据本公开内容的图像编码/解码方法和装置中，当前块可以属于预定的子图片，并且子图片可以被定义为构成一个图片的多个网格中的具有相同索引的一组网格。
有益效果
本公开内容可以仅在满足预定条件时才允许双向预测，或者可以通过调整运动向量来减少存储带宽的消耗。
根据本公开内容，可以通过使用除了空间合并候选/时间合并候选之外的组合合并候选来提高帧间预测的效率。
根据本公开内容，可以通过基于仿射运动模型的帧间预测来提高图像编码/解码的效率。
根据本公开内容，可以通过将一个图片划分为多级片段区域来提高图像编码/解码的效率。
附图说明
图1是示出根据本公开内容的图像编码装置的框图。
图2是示出根据本公开内容的图像解码装置的框图。
图3示出了作为应用了本公开内容的实施方式的受限双向预测过程。
图4示出了在根据本公开内容的实施方式的视频编码方法和装置中使用仿射变换预测来执行帧间预测的构思。
图5示出了根据本公开内容的实施方式的以子块为单位的仿射变换预测的构思。
图6示出了作为应用了本公开内容的实施方式的基于仿射模式的帧间预测方法。
图7示出了作为应用了本公开内容的实施方式的考虑存储带宽来限制运动向量的构思。
图8示出了根据本公开内容的实施方式的在视频编码方法和装置中使用基于掩模的预测的帧间预测方法。
图9示出了根据本公开内容的实施方式的视频编码和/或解码方法和装置中的双向预测的构思。
图10示出了作为应用了本公开内容的实施方式的受限双向预测的构思。
图11是根据本公开内容的实施方式的解码预测方向性的过程的流程图。
图12是根据本公开内容的实施方式的用于确定预测方向性是否被限制的流程图。
图13是根据本公开内容的另一实施方式的用于确定预测方向性是否被限制的流程图。
图14示出了根据本公开内容的实施方式的使用被定义为多个层的单元来划分一个图片的构思。
图15示出了根据本公开内容的实施方式的将图像、图像组或视频划分为多个图块并且将所述多个图块处理为三个图块组的构思。
图16示出了根据本公开内容的实施方式的将图像、图像组或图像划分为多个图块并且仅共享和恢复与每个图块对应的重构的图像的构思。
图17示出了根据本公开内容的实施方式的图像、图像组或视频被划分为多个图块并且每个图块被划分为子图块的示例。
具体实施方式
根据本公开内容的图像编码/解码方法和装置可以基于在图像解码装置中预定义的帧间模式来得出用于当前块的双向预测的运动信息，并且基于该运动信息对当前块执行帧间预测。
在根据本公开内容的图像编码/解码方法和装置中，根据预定义的帧间模式，可以将用于双向预测的运动信息调整为用于单向预测的运动信息。
在根据本公开内容的图像编码/解码方法和装置中，当预定义的帧间模式是合并模式时，可以将用于双向预测的运动信息调整为用于单向预测的运动信息，而当预定义的帧间模式是仿射模式时，可以不将用于双向预测的运动信息调整为用于单向预测的运动信息。
在根据本公开内容的图像编码/解码方法和装置中，当预定义的帧间模式是合并模式时，可以在考虑当前块的大小的情况下将用于双向预测的运动信息调整为用于单向预测的运动信息。
在根据本公开内容的图像编码/解码方法和装置中，当预定义的帧间模式是合并模式时，得出运动信息可以包括构造当前块的合并候选列表，以及根据合并候选列表得出当前块的运动信息。
在根据本公开内容的图像编码/解码方法和装置中，合并候选列表可以包括空间合并候选、时间合并候选或经组合的合并候选中的至少之一。
在根据本公开内容的图像编码/解码方法和装置中，当预定义的帧间模式是仿射模式时，得出运动信息可以包括：生成由当前块的仿射候选组成的候选列表；基于该候选列表和候选索引得出当前块的控制点向量；以及基于当前块的控制点向量得出当前块的运动向量。
在根据本公开内容的图像编码/解码方法和装置中，仿射候选可以包括空间候选、时间候选或构造候选中的至少之一。
在根据本公开内容的图像编码/解码方法和装置中，在考虑预定参考区域的大小的情况下得出当前块的运动向量，并且参考区域包括由n个子块的运动向量指定的参考块和用于对参考块的分数像素进行插值的像素。
在根据本公开内容的图像编码/解码方法和装置中，当参考区域的大小小于或等于阈值时，可以针对每个子块得出当前块的运动向量，而当参考区域的大小大于阈值时，可以针对当前块得出一个运动向量。
在根据本公开内容的图像编码/解码方法和装置中，当前块的运动向量可以基于仿射运动参数来得出，并且仿射运动参数可以基于当前块的控制点向量来计算。
在根据本公开内容的图像编码/解码方法和装置中，当前块可以属于预定的子图片，并且子图片可以被定义为构成一个图片的多个网格中的具有相同索引的一组网格。
实施方式
在下文中，将参照本说明书中的附图详细描述本公开内容的实施方式，使得本领域技术人员可以容易地实现本公开内容。然而，本公开内容可以以各种不同的形式来实现，并且不限于本文中描述的实施方式。在附图中，为了清楚地描述本公开内容，与描述无关的部分被省略，并且遍及说明书，相似的附图标记附于相似的部分。
遍及说明书，当某个部分被描述为与另一部分“连接”时，这不仅包括直接连接的情况，还包括与中间的另一元件电连接的情况。另外，在整个说明书中，当某个部分“包括”某个部件时，这意味着除非另外说明，否则还可以包括其他部件而不是排除其他部件。
遍及本说明书使用的术语“(至)～的步骤”或“～的步骤”并不意味着“用于～的步骤”。另外，诸如第一和第二的术语可以用于描述各种元件，但是所述元件不应受这些术语限制。以上术语仅用于将一个部件与另一部件进行区分的目的。
另外，本公开内容的实施方式中所示的部件被独立地示出以表示不同的特征功能，这并不意味着每个部件由单独的硬件或单个软件部件单元制成。也就是说，为了便于描述，每个部件单元通过被列为各自的部件单元进行描述，并且部件单元中的至少两个被组合以形成一个部件单元，或者一个部件单元可以被划分为多个部件单元以执行功能。只要这些部件中的每一个部件的集成实施方式和单独实施方式不偏离本公开内容的本质，那么这些部件中的每一个部件的集成实施方式和单独实施方式也包括在本公开内容的范围内。
在下文中描述的本公开内容的各种实施方式中，诸如“～单元”、“～组”、“～单元”、“～模块”和“～块”的术语意指处理至少一个功能或操作的单元，并且这些术语可以以硬件或软件或硬件和软件的组合来实现。
另外，编码块是指当前对其执行编码和解码的一组目标像素的处理单元，并且可以互换地用作编码块和编码单元。另外，编码单元是指编码单元(CU)，并且可以一般地意指包括编码块(CB)。
另外，四叉树划分是指将一个块划分为四个独立的编码单元，以及二叉树划分是指将一个块划分为两个独立的编码单元。另外，三叉树划分是指以1:2:1的比例将一个块划分为三个独立的编码单元。
图1是示出根据本公开内容的图像编码装置的框图。
参照图1，视频编码装置100可以包括：图片划分模块110、预测模块120和125、变换模块130、量化模块135、重排模块160、熵编码模块165、逆量化模块140、逆变换模块145、滤波器模块150和存储器155。
图片划分模块110可以将输入图片划分为一个或更多个处理单元。本文中，处理单元可以是预测单元(PU)、变换单元(TU)或编码单元(CU)。下文中，在本公开内容的实施方式中，编码单元可以用作执行编码的单元或执行解码的单元。
预测单元可以通过将一个编码单元划分为相同大小的至少一个正方形或非正方形来得到，并且其可以被划分成使得在一个编码单元内划分的多个预测单元中的一个预测单元具有与另一预测单元不同的形状和/或大小。当预测单元不是在基于编码单元来生成执行帧内预测的预测单元时的最小编码单元时，可以在不将编码单元划分为多个预测单元N×N的情况下执行帧内预测。
预测模块120和125可以包括执行帧间预测的帧间预测模块120和执行帧内预测的帧内预测模块125。可以确定针对预测单元执行帧间预测还是帧内预测，并且可以确定根据每种预测方法的详细信息(例如，帧内预测模式、运动向量、参考图片等)。所生成的预测块与原始块之间的残差值(残差块)可以被输入至变换模块130。另外，用于预测的预测模式信息、运动向量信息等可以通过熵编码模块165与残差值一起被编码并且可以被发送至解码器。然而，当应用根据本公开内容的从解码器侧进行的运动信息得出技术时，由于编码器不生成预测模式信息和运动向量信息，因此相应的信息不被发送至解码器。另一方面，编码器可以用信令通知和发送指示从解码器侧得出和使用运动信息的信息以及关于用于得出运动信息的技术的信息。
帧间预测模块120可以基于当前图片的先前图片或后续图片中的至少一个的信息来对预测单元进行预测，或者在一些情况下可以基于当前图片中的一些编码区域的信息来对预测单元进行预测。帧间预测模块120可以包括参考图片插值模块、运动预测模块和运动补偿模块。
参考图片插值模块可以从存储器155接收参考图片信息，并且可以根据参考图片生成关于整像素或小于整像素的像素信息。在亮度像素的情况下，具有不同的滤波系数的基于8抽头DCT的插值滤波器可以用于以1/4像素为单位来生成关于整像素或小于整像素的像素信息。在色度信号的情况下，具有不同滤波系数的基于4抽头DCT的插值滤波器可以用于以1/8像素为单位来生成关于整像素或小于整像素的像素信息。
运动预测模块可以基于由参考图片插值模块进行插值的参考图片来执行运动预测。作为用于获得运动向量的方法，可以使用诸如基于全搜索的块匹配算法(FBMA)、三步搜索(TSS)以及新三步搜索算法(NTS)的各种方法。运动向量可以具有基于插值像素的以1/2像素或1/4像素为单位的运动向量值。运动预测模块可以通过使用各种运动预测方法来预测当前预测单元。作为运动预测方法，可以使用诸如跳过方法、合并方法、高级运动向量预测(AMVP)方法和块内复制方法的各种方法。另外，当应用根据本公开内容的从解码器侧进行的运动信息得出技术时，作为由运动预测模块执行的方法，可以应用使用运动轨迹的模板匹配方法和双边匹配方法。与此相关，稍后将在图3中详细描述模板匹配方法和双边匹配方法。
帧内预测模块125可以基于作为当前图片中的像素信息的与当前块相邻的参考像素信息来生成预测单元。在当前预测单元的相邻块是已经执行帧间预测的块并且参考像素是已经执行帧间预测的像素时，已经执行帧间预测的块中包括的参考像素可以用已经执行帧内预测的相邻块的参考像素信息来替换。换句话说，当参考像素不可用时，关于不可用的参考像素的信息可以用可用的参考像素中的至少一个参考像素来替换。
另外，可以生成包括残差信息的残差块，残差信息是基于由预测模块120和125生成的预测单元而已经执行预测的预测单元与该预测单元的原始块之间的差。所生成的残差块可以被输入到变换模块130。
变换模块130可以使用诸如离散余弦变换(DCT)、离散正弦变换(DST)和KLT的变换方法来变换包括原始块与由预测模块120和125生成的预测单元之间的残差信息的残差块。可以基于用于生成残差块的预测单元的帧内预测模式信息来确定是否应用DCT、DST或KLT以便对残差块进行变换。
量化模块135可以对通过变换模块130变换为频域的值进行量化。量化系数可以根据图片的块或重要性而变化。可以将由量化模块135计算的值提供给逆量化模块140和重排模块160。
重排模块160可以在量化的残差值上对系数值进行重排。
重排模块160可以通过系数扫描方法将二维块形式的系数改变为一维向量形式的系数。例如，重排模块160可以使用之字形扫描方法从DC系数扫描至高频域中的系数，以便将系数改变为一维向量的形式。根据变换单元的大小和帧内预测模式，可以使用在列方向上扫描二维块形式的系数的垂直扫描或在行方向上扫描二维块形式的系数的水平扫描来替代之字形扫描。换句话说，可以根据变换单元的大小和帧内预测模式来确定使用之字形扫描、垂直扫描和水平扫描中的哪种扫描方法。
熵编码模块165可以基于由重排模块160计算出的值来执行熵编码。熵编码可以使用各种编码方法，诸如指数哥伦布、上下文自适应可变长度编码(CAVLC)和上下文自适应二进制算术编码(CABAC)。与此相关，熵编码模块165可以对来自重排模块160以及预测模块120和125的编码单元的残差值系数信息进行编码。另外，根据本公开内容，可以信令并发送指示在解码器侧处得出并使用运动信息的信息以及关于用于得出运动信息的技术的信息。
逆量化模块140和逆变换模块145可以对由量化模块135量化的值进行逆量化，并且对由变换模块130变换的值进行逆变换。由逆量化模块140和逆变换模块145生成的残差值可以与通过包括在预测模块120和125中的运动预测模块、运动补偿模块和帧内预测模块预测的预测单元组合，以生成重构块。
滤波器模块150可以包括解块滤波器、偏移校正模块或自适应环路滤波器(ALF)中的至少一个。解块滤波器可以去除由于重构图片中的块之间的边界而发生的块失真。偏移校正模块可以以解块滤波后的图像中的像素为单位来校正相对于原始图像的偏移。为了对特定图片执行偏移校正，可以使用考虑到每个像素的边缘信息应用偏移的方法或者可以使用将图像中包括的像素划分为预定数目的区域、确定要执行偏移的区域并且将该偏移应用于所确定的区域的方法。可以基于通过将滤波后的重构图像与原始图像进行比较而获得的值来执行自适应环路滤波(ALF)。在将图像中包括的像素划分为预定组之后，可以确定要应用于相应组的一个滤波器，并且可以针对每个组区别地执行滤波。
存储器155可以存储通过滤波器模块150计算出的重构块或图片。在执行帧间预测时，可以将所存储的重构块或图片提供至预测模块120和125。
图2是示出根据本公开内容的图像解码装置的框图。
参照图2，用于对视频进行解码的装置200可以包括：熵解码模块210、重排模块215、逆量化模块220、逆变换模块225、预测模块230和235、滤波器模块240和存储器245。
当视频比特流被输入至用于对视频进行解码的装置时，可以根据用于对视频进行编码的装置的逆处理来对输入的比特流进行解码。
熵解码模块210可以根据由视频编码装置的熵编码模块进行的熵编码的逆处理来执行熵解码。例如，对应于由视频编码装置执行的方法，可以应用诸如指数哥伦布、上下文自适应可变长度编码(CAVLC)和上下文自适应二进制算术编码(CABAC)的各种方法。
熵解码模块210可以对关于由编码装置执行的帧内预测和帧间预测的信息进行解码。
重排模块215可以基于在编码装置中使用的重排方法对由熵解码模块210解码的比特流熵执行重排。重排模块可以将一维向量形式的系数重构和重排为二维块形式的系数。
逆量化模块220可以基于从编码装置接收到的量化参数和块的重排系数来执行逆量化。
逆变换模块225可以对由用于对视频进行编码的装置产生的量化结果执行逆变换，即与由变换模块执行的变换即DCT、DST和KLT对应的逆DCT、逆DST和逆KLT。可以基于由视频编码装置确定的传输单元来执行逆变换。在视频解码装置的逆变换模块225中，可以根据诸如预测方法、当前块的大小和预测方向的多条信息来选择性地执行变换方案(例如，DCT、DST和KLT)。
预测模块230和235可以基于从熵解码模块210接收到的关于预测块生成的信息以及从存储器245接收到的关于先前解码的块或图片的信息来生成预测块。
如上所述，如果当以与视频编码装置的操作相同的方式执行帧内预测时预测单元的大小和变换单元的大小相同，则可以基于存在于预测单元的左部、左上部和顶部的像素来对预测单元执行帧内预测。然而，如果当执行帧内预测时预测单元的大小和变换单元的大小不同，则可以使用基于变换单元的参考像素来执行帧内预测。另外，使用N×N划分的帧内预测可以仅用于最小编码单元。
预测模块230和235可以包括预测单元确定模块、帧间预测模块和帧内预测模块。预测单元确定模块可以从熵解码模块210接收诸如预测单元信息、帧内预测方法的预测模式信息以及关于帧间预测方法的运动预测的信息的各种信息，可以将当前编码单元划分为预测单元，并且可以确定对预测单元执行帧间预测还是帧内预测。另一方面，如果编码器100不发送与用于帧间预测的运动预测有关的信息，而是发送指示从解码器侧得出并使用运动信息的信息以及关于用于得出运动信息的技术的信息，则预测单元确定模块基于从编码器100发送的信息来确定帧间预测模块230的预测性能。
帧间预测模块230可以使用由视频编码装置提供的当前预测单元的帧间预测所需的信息，基于包括当前预测单元的当前图片的先前图片或后续图片中的至少一个的信息，来对当前预测单元执行帧间预测。为了执行帧间预测，可以基于编码块来确定相应的编码单元中包括的预测单元的运动预测方法是跳过模式、合并模式、AMVP模式还是块内复制模式。可替选地，帧间预测模块230本身可以从如下信息得出运动信息并且然后执行帧间预测：指示从解码器侧得出并使用运动信息的信息以及关于用于得出由视频编码器提供的运动信息的技术的信息。
帧内预测模块235可以基于当前图片中的像素信息来生成预测块。当预测单元是进行了帧内预测的预测单元时，可以基于从视频编码装置接收到的预测单元的帧内预测模式信息来执行帧内预测。帧内预测模块235可以包括自适应帧内平滑(AIS)滤波器、参考像素插值模块和DC滤波器。AIS滤波器对当前块的参考像素执行滤波，并且可以根据当前预测单元的预测模式来确定是否应用滤波器。可以通过使用预测单元的预测模式和从用于对视频进行编码的装置接收到的AIS滤波器信息来对当前块的参考像素执行AIS滤波。在当前块的预测模式是未执行AIS滤波的模式时，可以不应用AIS滤波器。
当预测单元的预测模式是基于由参考像素插值的像素值执行帧内预测的预测单元时，参考像素插值模块可以对参考像素进行插值以生成以等于整像素或小于整像素的像素为单位的参考像素。在当前预测单元的预测模式是其中在不对参考像素进行插值的情况下生成预测块的预测模式时，可以不对参考像素进行插值。在当前块的预测模式是DC模式时，DC滤波器可以通过滤波来生成预测块。
可以将重构的块或图片提供至滤波器模块240。滤波器模块240可以包括解块滤波器、偏移校正模块和ALF。
可以从视频编码装置接收关于是否将解块滤波器应用于相应的块或图片的信息以及关于当应用解块滤波器时应用强滤波器和弱滤波器中的哪一个的信息。视频解码装置的解块滤波器可以从视频编码装置接收关于解块滤波器的信息，并且可以对相应的块执行解块滤波。
偏移校正模块可以基于偏移校正的类型和在执行编码时应用于图像的偏移值信息对重构图像执行偏移校正。基于从编码装置接收到的关于是否应用ALF的信息、ALF系数信息等，可以将ALF应用于编码单元。ALF信息可以以被包括在特定参数集中的方式来提供。
存储器245可以存储重构的图片或块以用作参考图片或块，并且可以将重构的图片提供至输出模块。
图3示出了作为应用了本公开内容的实施方式的受限双向预测过程。
参照图3，可以基于在编码/解码装置中预定义的帧间模式来得出当前块的运动信息(S300)。
根据本公开内容的预定义帧间模式可以包括合并模式、AMVP模式、仿射模式或块内复制模式中的至少一种。此处，运动信息可以根据帧间模式而被不同地解释为运动向量预测值、运动向量、控制点向量预测值、控制点向量、块向量等。
1.合并模式
在合并模式的情况下，当前块的运动信息可以被设置为与合并候选的运动信息相同。在这种方式下，通过与合并候选进行合并来得出运动信息，并且没有用信令通知单独的运动向量差值(mvd)。在下文中，将详细描述基于合并模式来引出运动信息的方法。
首先，可以配置当前块的合并候选列表(S1)。合并候选列表可以包括当前块的空间合并候选或时间合并候选中的至少之一。
可以从当前块的空间相邻块的运动信息中得到空间合并候选的运动信息。在此，空间相邻块是属于与当前块相同的图片的块，并且可以意指与当前块相邻的块。空间相邻块可以包括与当前块的左、上、右上、左下或左上中的至少一个相邻的块。仅当与当前块的左、上、右上和左下相邻的块中的至少一个不可用时，才可以使用左上相邻块。
可以从当前块的时间相邻块的运动信息中得到时间合并候选的运动信息。时间相邻块可以是属于与当前块不同的图片的块，并且可以被定义为与当前块处于相同位置处的块。此处，处于相同位置处的块可以意指以下块中的至少一个：与当前块的右下角相邻的块(BR)、包括当前块的中心样本的位置的块(CTR)、或者包括当前块的左上样本的位置的块(TL)。可替选地，处于相同位置处的块可以意指包括从当前块的左上样本的位置移位预定视差向量的位置的块。在此，可以基于上述空间相邻块的运动向量中的任何一个来确定视差向量。可替选地，可以基于上述空间相邻块的运动向量中的至少两个的组合来确定视差向量。该组合可以意味着诸如最大值、最小值、中值和加权平均值的运算。例如，视差向量可以被设置为左相邻块或上相邻块的运动向量。可替选地，视差向量可以被设置为左相邻块的运动向量与左下相邻块的运动向量之间的中值或平均值。
可以分别从上述时间相邻块的运动向量和参考图片索引中得到时间合并候选的运动向量和参考图片索引。可替选地，可以得出时间合并候选的运动向量作为时间相邻块的运动向量，并且无论时间相邻块如何，都可以将时间合并候选的参考图片索引设置为向解码装置预定的默认值(例如0)。
合并候选列表还可以包括组合的合并候选。可以通过组合属于预生成的合并候选列表的n个合并候选来得出组合的合并候选。
在此，n可以是2、3、4或更大的整数。要组合的合并候选的数目n可以是向编码/解码装置预定的固定值，或者可以由编码装置进行编码和信令。可以以序列、图片、切片、图块、子图块(砖块)或预定块中的至少一个单位来执行信令。可以基于剩余合并候选的数目来可变地确定要组合的合并候选的数目n。在此，剩余合并候选的数目可以意指可以包括在合并候选列表中的合并候选的最大数目与合并候选列表中的合并候选的当前数目之间的差。最大数目可以是向编码/解码装置预定的数目，或者可以由编码装置进行编码和信令。当前数目可以意指在添加组合的合并候选之前配置的合并候选的数目。例如，当剩余合并候选的数目为1时，可以使用两个合并候选，而当剩余合并候选的数目大于1时，可以使用三个或更多个合并候选。
n个合并候选的位置可以是合并候选列表中的预定位置。例如，可以为属于合并候选列表的每个合并候选分配索引(0至(k-1))。在此，k可以意指合并候选列表中包括的合并候选的总数目。在这种情况下，n个合并候选的位置可以对应于合并候选列表中的索引0至索引(n-1)。可替选地，可以考虑合并候选列表中包括的每个合并候选的预测方向来确定n个合并候选。例如，在属于合并候选列表的合并候选中，可以仅选择性地使用预测方向是双向预测的合并候选，或者可以仅选择性地使用预测方向是单向预测的合并候选。
可以使用空间合并候选和时间合并候选两者来得出组合合并候选，或者可以仅使用空间合并候选或时间合并候选之一来得出组合合并候选。例如，可以将组合合并候选限制为仅使用空间合并候选来得出。在这种情况下，可以将要组合的合并候选的数目限制在属于预生成的合并候选列表的空间合并候选的数目内。
可以在合并候选列表中的空间/时间合并候选之后添加组合合并候选。也就是说，组合合并候选的索引可以大于空间/时间合并候选的索引。可替选地，可以在合并候选列表中的空间合并候选与时间合并候选之间添加组合合并候选。也就是说，组合合并候选的索引可以大于空间合并候选的索引并且小于时间合并候选的索引。可替选地，可以考虑组合合并候选的预测方向来可变地确定组合的合并候选的位置。根据组合合并候选的预测方向是否是双向预测，可以对组合合并候选在合并候选列表中的位置进行重排。例如，当组合合并候选的预测方向是双向预测时，可以分配小于空间合并候选或时间合并候选的索引，否则，可以分配大于空间合并候选或时间合并候选的索引。
在下文中，为了便于描述，将描述基于两个合并候选来得到组合合并候选的方法。
可以通过第一合并候选和第二合并候选的运动信息的加权平均来得到组合合并候选的运动信息。在此，加权平均的权重为[1:1]、[1:2]、[1:3]、[2:3]等，但不限于此。权重可以在编码/解码装置中预定义或者可以从解码装置中得到。在这种情况下，可以通过考虑合并候选的参考图片与当前图片之间的距离或合并候选的预测方向中的至少一个来得到权重。可替选地，可以通过从第一合并候选获得在L0方向上的运动信息和从第二合并候选获得在L1方向上的运动信息并将它们组合来得出组合合并候选的运动信息。可以基于上述得出方法中的至少一个来得出组合合并候选的运动信息，并且这可以如稍后描述的那样考虑要组合的合并候选的预测方向来执行。
在本说明书中，运动信息可以包括预测方向标记、参考图片索引或运动向量中的至少一个。可以分别针对L0预测和L1预测定义运动信息。在此，L0预测可以意指参照参考图片列表L0的预测，以及L1预测可以意指参照参考图片列表L1的预测。
(1)当第一合并候选和第二合并候选的预测方向都是单向预测时
[情况1]当第一合并候选是L0预测并且第二合并候选是L1预测时，可以将L0方向上的组合的合并候选的参考图片索引得出为第一合并候选的参考图片索引。可以将组合的合并候选的L0方向上的预测方向标记得出为1。可以将L0方向上的组合的合并候选的运动向量得出为第一合并候选的运动向量。可以将L1方向上的组合的合并候选的参考图片索引得出为第二合并候选的参考图片索引。可以将组合的合并候选在L1方向上的预测方向标记得出为1。可以将L1方向上的组合的合并候选的运动向量得出为第二合并候选的运动向量。
[情况2]当第一合并候选是L1预测并且第二合并候选是L0预测时，可以将L0方向上的组合的合并候选的参考图片索引得出为第二合并候选的参考图片索引。可以将组合的合并候选在L0方向上的预测方向标记得出为1。可以将L0方向上的组合的合并候选的运动向量得出为第二合并候选的运动向量。可以将L1方向上的组合的合并候选的参考图片索引得出为第一合并候选的参考图片索引。可以将组合的合并候选在L1方向上的预测方向标记得出为1。可以将L1方向上的组合的合并候选的运动向量作为第一合并候选的运动向量。
[情况3]当第一合并候选和第二合并候选是L0预测时，可以将L0方向上的组合的合并候选的参考图片索引得出为第一合并候选或第二合并候选的参考图片索引。例如，可以将第一合并候选和第二合并候选中具有最小索引的合并候选的参考图片索引设置为L0方向上的组合的合并候选的参考图片索引。可以将组合的合并候选在L0方向上的预测方向标记得出为1。可以将L0方向上的组合的合并候选的运动向量得出为第一合并候选的运动向量与第二合并候选的运动向量的加权平均。可以将组合的合并候选在L1方向上的参考图片索引得出为-1，可以将在L1方向上的预测方向标记得出为0，并且可以将在L1方向上的运动信息得出为0。
[情况4]当第一合并候选和第二合并候选是L1预测时，可以将组合的合并候选在L0方向上的参考图片索引得出为-1，可以将在L0方向上的预测方向标记得出为0，并且可以将在L0方向上的运动信息得出为0。可以将L1方向上的组合的合并候选的参考图片索引得出为第一合并候选或第二合并候选的参考图片索引。例如，可以将第一合并候选和第二合并候选中具有最小索引的合并候选的参考图片索引设置为L1方向上的组合的合并候选的参考图片索引。可以将组合的合并候选在L1方向上的预测方向标记得出为1。可以将L1方向上的组合的合并候选的运动向量得出为第一合并候选的运动向量和第二合并候选的运动向量的加权平均。
(2)当第一合并候选和第二合并候选的预测方向都是双向预测时，
[情况5]可以将L0方向上的组合的合并候选的参考图片索引得出为第一合并候选或第二合并候选的参考图片索引。例如，可以将第一合并候选和第二合并候选中具有最小索引的合并候选的参考图片索引设置为L0方向上的组合的合并候选的参考图片索引。可以将组合的合并候选在L0方向上的预测方向标记得出为1。可以将L0方向上的组合的合并候选的运动向量得出为第一合并候选的运动向量和第二合并候选的运动向量的加权平均。可以将L1方向上的组合的合并候选的参考图片索引得出为第一合并候选或第二合并候选的参考图片索引。例如，可以将第一合并候选和第二合并候选中具有最小索引的合并候选的参考图片索引设置为L1方向上的组合的合并候选的参考图片索引。可以将组合的合并候选在L1方向上的预测方向标记得出为1。可以将L1方向上的组合的合并候选的运动向量得出为第一合并候选的运动向量和第二合并候选的运动向量的加权平均。
(3)当第一合并候选的预测方向是双向预测并且第二合并候选的预测方向是单向预测时，
[情况6]当第二合并候选是L0预测时，可以将L0方向上的组合的合并候选的参考图片索引得出为第一合并候选或第二合并候选的参考图片索引。例如，可以将第一合并候选和第二合并候选中具有最小索引的合并候选的参考图片索引设置为L0方向上的组合的合并候选的参考图片索引。可以将组合的合并候选在L0方向上的预测方向标记得出为1。可以将L0方向上的组合的合并候选的运动向量得出为第一合并候选的运动向量和第二合并候选的运动向量的加权平均。可以将L1方向上的组合的合并候选的参考图片索引得出为第一合并候选的参考图片索引。可以将组合的合并候选在L1方向上的预测方向标记得出为1。可以将L1方向上的组合的合并候选的运动向量得出为第一合并候选的运动向量。
[情况7]当第二合并候选是L1预测时，可以将组合的合并候选在L0方向上的参考图片索引得出为第一合并候选的参考图片索引。可以将组合的合并候选在L0方向上的预测方向标记得出为1。可以将L0方向上的组合的合并候选的运动向量得出为第一合并候选的运动向量。可以将L1方向上的组合的合并候选的参考图片索引得出为第一合并候选或第二合并候选的参考图片索引。例如，可以将第一合并候选和第二合并候选中具有最小索引的合并候选的参考图片索引设置为L1方向上的组合的合并候选的参考图片索引。可以将组合的合并候选在L1方向上的预测方向标记得出为1。可以将L1方向上的组合的合并候选的运动向量得出为第一合并候选的运动向量和第二合并候选的运动向量的加权平均。
可以从合并候选列表中得出当前块的运动信息(S2)。
具体地，可以用信令通知当前块的合并索引。合并索引可以指定属于合并候选列表的多个合并候选中的任何一个。可以提取具有与合并索引相同的索引的合并候选，并且可以使用所提取的合并候选的运动信息来得出当前块的运动信息。例如，当前块的运动向量、参考图片索引和预测方向信息可以被设置为与所提取的合并候选的运动向量、参考图片索引和预测方向信息相同。
2.AMVP模式
在AMVP模式的情况下，可以将相邻块的运动向量设置为当前块的运动向量预测值。为此，可以构造由空间/时间相邻块的运动向量组成的候选列表，并且可以用信令通知指定候选列表的多个运动向量中的任意一个的索引。同时，与合并模式不同，可以通过将运动向量预测值与用信令通知的运动向量差值相加来重构运动向量。
3.仿射模式
除了仅考虑平行移动的平移运动模型之外，还可以使用另外的运动模型。例如，可以使用考虑诸如旋转、透视、放大/缩小以及平行移动的运动的运动模型。这将被称为仿射模式。在仿射模式下，可以基于当前块的控制点向量以预定子块为单位得出运动信息。因此，仿射模式可以被称为以子块为单位的帧间模式或被称为以子块为单位的合并模式。将参照图4至图7对此进行详细描述。
4.块内复制(IBC)模式
在IBC模式的情况下，与AMVP模式相似之处在于，将相邻块的运动向量设置为当前块的块向量预测值(bvp)，并且使用用信令通知的块向量差值(bvd)来重构块向量。但是，不同之处在于，IBC模式基于与当前块相同的图片中的预先恢复的区域执行运动补偿，而AMVP模式基于与当前块不同的图片中的预先恢复的区域执行运动补偿。
参照图3，根据预定条件，可以对当前块执行受限双向预测(S310)。
预定条件可以包括针对块大小的条件或关于是否以子块为单位以帧间模式进行编码的条件中的至少之一。根据预定条件，可以将用于双向预测的运动信息调整为用于单向预测的运动信息。这假设分别针对L0预测和L1预测得出在S300中得出的运动信息，并且将参照图9至图13详细描述这样的受限双向预测。
图4示出了在根据本公开内容的实施方式的视频编码方法和装置中使用仿射变换预测来执行帧间预测的构思。
仿射变换预测意指通过使用当前块中的像素的仿射变换来生成与参考图片的像素对应的运动向量来执行任意形状下的预测的方法。然而，仿射变换预测不限于以像素为单位的预测，还指通过将当前块划分为多个子块而以所包括的子块为单位获得运动向量来执行预测的方法。
在基于仿射变换预测的运动预测方法中，在利用参考图片210内的参考块对当前图片200内的当前块201执行预测时，选择表示块的两个或更多个位置作为控制点，并且使用针对控制点的两个或更多个控制运动向量230和231来执行任意形状的旋转和运动预测。在这种情况下，运动预测方法包括如下方法：通过使用多个控制运动向量来计算针对当前块201中的每个像素的运动向量来执行逐像素运动预测的方法；或者通过将当前块201划分为两个或更多个子块并以子块为单位计算运动向量来执行子块单位运动预测的方法。
图5示出了根据本公开内容的实施方式的以子块为单位的仿射变换预测的构思。
图3是示出其中一个块被划分为两个或更多个子块并且以子块为单位使用每个运动向量执行帧间预测的实施方式的图。根据本公开内容的实施方式，选择代表当前块300的两个或更多个控制点并使用与控制点对应的运动向量来变换和获得划分当前块300的两个或更多个子块中的每一个子块的运动向量的方法。在这种情况下，变换运动向量的含义也可以用作计算运动向量的含义。
根据本公开内容的实施方式，其包括如下方法：选择代表当前块300的两个或更多个控制点，并且通过使用与控制点对应的运动向量来变换并获得划分当前块300的两个或更多个子块的每个运动向量。代表当前块300的控制点可以是左上位置311和右上位置321的两个点，或者可以是左上位置311、右上位置321和左下位置331的三个点。另外，可以将块的中心位置和块的右下位置用作控制点，以及还可以使用两个或更多个点作为控制点。
根据本公开内容的实施方式，根据具有作为参数的与控制点对应的运动向量的等式，通过计算划分当前块300的每个子块的运动向量来执行每个子块的运动预测。
另外，作为将当前块300划分为两个或更多个子块的方法，存在划分为其中N和M具有预定义的固定的大小的正方形块或其中N和M彼此不同的非正方形块的方法。另外，使用高级语法来发送子块的大小的方法也可以被使用。另外，还包括使用与代表当前块300的控制点对应的运动向量来计算子块的大小的方法。
图6示出了作为应用本公开内容的实施方式的基于仿射模式的帧间预测方法。
参照图6，可以生成用于预测当前块的运动信息的候选列表(S600)。
候选列表可以包括一个或更多个基于仿射模式的候选(下文中称为仿射候选)。仿射候选可以意指具有控制点向量的候选。控制点向量可以意指针对仿射模式的控制点的运动向量，并且可以针对块的拐角位置(例如，左上拐角、右上拐角、左下拐角或右下拐角中的至少一个)来定义。
仿射候选可以包括空间候选、时间候选或配置候选中的至少之一。此处，可以从与当前块空间上相邻的相邻块的向量得到空间候选，并且可以从与当前块时间上相邻的相邻块的向量得到时间候选。此处，相邻块可以意指以仿射模式进行编码的块。向量可以意指运动向量或控制点向量。
1.空间/时间候选得出方法
当前块500的宽度和高度分别是cbW和cbH，并且当前块的位置是(xCb，yCb)。空间相邻块510至550的宽度和高度分别是nbW和nbH，并且空间相邻块的位置是(xNb，yNb)。空间相邻块可以包括当前块的左块510、左下块540、右上块430、上块420或左上块450中的至少一个。可替选地，空间相邻块还可以包括与左上块450的右侧相邻的块或与左上块450的下侧相邻的块中的至少一个。
空间候选可以具有n个控制点向量(cpMV)。此处，n值可以是1、2、3或更大的整数。可以基于以下信息中的至少一个来确定n值：关于是否以子块为单位进行解码的信息；关于是否以仿射模式对块进行编码的信息；或者关于仿射模式的类型(4-参数或6-参数)的信息。
例如，根据该信息，当对应的块以子块为单位进行解码或者对应的块是以仿射模式进行编码的块时，对应的块可以具有两个控制点向量。另一方面，如果对应的块不是以子块为单位进行解码或者对应的块不是以仿射模式进行编码的块，则对应的块可能不执行基于仿射模式的预测。
可替选地，根据该信息，当对应的块是以仿射模式进行编码的块并且仿射模式的类型是6-参数时，对应的块可以具有3个控制点向量。另一方面，如果对应的块不是以仿射模式进行编码的块并且仿射模式的类型不是6-参数，则对应的块可以不执行基于仿射模式的预测。
上述信息可以由编码装置进行编码并用信令通知。可替选地，可以基于块的特性从解码装置得出全部或部分信息。在此，块可以意指当前块或当前块的空间/时间相邻块。特性可以意指大小、形状、位置、划分类型、中间模式、与残差系数有关的参数等。帧间模式是在解码装置中预定义的模式，并且可以意指合并模式、跳过模式、AMVP模式、仿射模式、帧内/帧间组合模式、IBC模式等。可替选地，可以基于上述块特性从解码装置得出n的值。
在该实施方式中，n个控制点向量可以表示为第一控制点向量(cpMV[0])、第二控制点向量(cpMV[1])、第三控制点向量(cpMV[2])……、第n控制点向量(cpMV[n-1])。
作为示例，第一控制点向量(cpMV[0])、第二控制点向量(cpMV[1])、第三控制点向量(cpMV[2])和第四控制点向量(cpMV[3])可以是分别与块的左上样本、右上样本、左下样本和右下样本的位置对应的向量。此处，假设空间候选具有三个控制点向量，并且三个控制点向量可以是从第一控制点向量至第n控制点向量中选择的任意控制点向量。然而，本公开内容不限于此，并且空间候选可以具有两个控制点向量，并且两个控制点向量可以是从第一控制点向量至第n控制点向量中选择的任意控制点向量。
可以在考虑当前块的边界是否接触CTU边界的情况下来得出空间候选的控制点向量。
(1)在当前块的边界不接触CTU边界时，
可以基于空间相邻块的第一控制点向量、预定差值、当前块的位置信息(xCb，yCb)或空间相邻块的位置信息(xNb，yNb)中的至少之一来得出第一控制点向量。
差值的数目可以是1、2、3或更多。差值的数目可以考虑上述块的特性来可变地确定，或者可以是对于解码装置预定的固定值。差值可以被定义为多个控制点向量中的一个控制点向量与多个控制点向量中的另一个控制点向量之间的差值。例如，差值可以包括第二控制点向量与第一控制点向量之间的第一差值、第三控制点向量与第一控制点向量之间的第二差值、第四控制点向量与第三控制点向量之间的第三差值、或者第四控制点向量与第二控制点向量之间的第四差值。
例如，可以如下面的等式1中那样得出第一控制点向量。
[等式1]
cpMvLX[0][0]＝(mvScaleHor+dHorX*(xCb-xNb)+dHorY*(yCb-yNb))
cpMvLX[0][1]＝(mvScaleVer+dVerX*(xCb-xNb)+dVerY*(yCb-yNb))
在等式1中，变量mvScaleHor和变量mvScaleVer可以意指空间相邻块的第一控制点向量，或者是通过对第一控制点向量应用k的移位操作而得出的值。在此，k可以是1、2、3、4、5、6、7、8、9或更大的整数。变量dHorX和变量dVerX分别对应于第二控制点向量与第一控制点矢量之间的第一差值的x分量和y分量。变量dHorY和变量dVerY分别对应于第三控制点向量与第一控制点向量之间的第二差值的x分量和y分量。可以如下面等式2中的那样得出上述变量。
[等式2]
mvScaleHor＝CpMvLX[xNb][yNb][0][0]<<7
mvScaleVer＝CpMvLX[xNb][yNb][0][1]<<7
dHorX＝(CpMvLX[xNb+nNbW-1][yNb][1][0]-CpMvLX[xNb][yNb][0][0])<<(7-log2NbW)
dVerX＝(CpMvLX[xNb+nNbW-1][yNb][1][1]-CpMvLX[xNb][yNb][0][1])<<(7-log2NbW)
dHorY＝(CpMvLX[xNb][yNb+nNbH-1][2][0]-CpMvLX[xNb][yNb][2][0])<<(7-log2NbH)
dVerY＝(CpMvLX[xNb][yNb+nNbH-1][2][1]-CpMvLX[xNb][yNb][2][1])<<(7-log2NbH)
可以基于空间相邻块的第一控制点向量、预定差值、当前块的位置信息(xCb，yCb)、块大小(宽度或高度)或空间相邻块的位置信息(xNb，yNb)中的至少一个来得到第二控制点向量。在此，块大小可以意指当前块的大小和/或空间相邻块的大小。差值如第一控制点向量中所述，并且将省略其详细描述。然而，在得到第二控制点向量的处理中使用的差值的范围和/或数目可以与第一控制点向量不同。
例如，可以如下面等式3中那样得出第二控制点向量。
[等式3]
cpMvLX[1][0]＝(mvScaleHor+dHorX*(xCb+cbWidth-xNb)+dHorY*(yCb-yNb))
cpMvLX[1][1]＝(mvScaleVer+dVerX*(xCb+cbWidth-xNb)+dVerY*(yCb-yNb))
在等式3中，变量mvScaleHor、mvScaleVer、dHorX、dVerX、dHorY和dVerY如等式1中所述，并且将省略其详细描述。
可以基于空间相邻块的第一控制点向量、预定差值、当前块的位置信息(xCb，yCb)、块尺寸(宽度或高度)或空间相邻块的位置信息(xNb，yNb)中的至少一个来得到第三控制点向量。此处，块大小可以意指当前块的大小和/或空间相邻块的大小。差值如第一控制点向量中所述，并且在此将省略其详细描述。然而，在得出第三控制点向量的过程中使用的差值的范围和/或数目可以与第一控制点向量或第二控制点向量不同。
例如，可以根据下面等式4得出第三控制点向量。
[等式4]
cpMvLX[2][0]＝(mvScaleHor+dHorX*(xCb-xNb)+dHorY*(yCb+cbHeight-yNb))
cpMvLX[2][1]＝(mvScaleVer+dVerX*(xCb-xNb)+dVerY*(yCb+cbHeight-yNb))
在等式4中，变量mvScaleHor、mvScaleVer、dHorX、dVerX、dHorY和dVerY如等式1中所述，并且将省略其详细描述。同时，通过上述过程，可以得出空间候选的第n控制点向量。
(2)在当前块的边界接触CTU边界时，
可以基于空间相邻块的运动向量(MV)、预定差值、当前块的位置信息(xCb，yCb)或空间相邻块的位置信息(xNb，yNb)中的至少一个来得出第一控制点向量。
运动向量可以是位于空间相邻块的下部处的子块的运动向量。子块可以定位在位于空间相邻块的下部处的多个子块中的最左边、中心或最右边。可替选地，运动向量可以意指子块的运动向量的平均值、最大值或最小值。
差值的数目可以是1、2、3或更多。差值的数目可以考虑上述块的特性来可变地确定，或者可以是针对解码装置预定的固定值。差值可以被定义为空间相邻块中以子块为单位存储的多个运动向量中的一个运动向量与空间相邻块中以子块为单位存储的多个运动向量中的另一个运动向量之间的差值。例如，差值可以意指在空间相邻块的右下子块的运动向量与左下子块的运动向量之间的差值。
例如，可以根据下面等式5得出第一控制点向量。
[等式5]
cpMvLX[0][0]＝(mvScaleHor+dHorX*(xCb-xNb)+dHorY*(yCb-yNb))
cpMvLX[0][1]＝(mvScaleVer+dVerX*(xCb-xNb)+dVerY*(yCb-yNb))
在等式5中，变量mvScaleHor和mvScaleVer可以意指上述空间相邻块的运动向量(MV)或通过将k的移位操作应用于运动向量而得出的值。在此，k可以是1、2、3、4、5、6、7、8、9或更大的整数。
变量dHorX和dVerX分别对应于预定差值的x分量和y分量。本文中，差值意指空间相邻块中的右下子块的运动向量与左下子块的运动向量之间的差值。可以基于变量dHorX和dVerX得出变量dHorY和dVerY。可以根据下面等式6得出上述变量。
[等式6]
mvScaleHor＝MvLX[xNb][yNb+nNbH-1][0]<<7
mvScaleVer＝MvLX[xNb][yNb+nNbH-1][1]<<7
dHorX＝(MvLX[xNb+nNbW-1][yNb+nNbH-1][0]-MvLX[xNb][yNb+nNbH-1][0])<<(7-log2NbW)
dVerX＝(MvLX[xNb+nNbW-1][yNb+nNbH-1][1]-MvLX[xNb][yNb+nNbH-1][1])<<(7-log2NbW)
dHorY＝-dVerX
dVerY＝dHorX
可以基于空间相邻块的运动向量(MV)、预定差值、当前块的位置信息(xCb，yCb)、块大小(宽度或高度)或空间相邻块的位置信息(xNb，yNb)中的至少一个来得出第二控制点向量。本文中，块大小可以意指当前块的大小和/或空间相邻块的大小。运动向量和差值如在第一控制点向量中所述，并且将省略其详细描述。然而，在得出第二控制点向量的过程中使用的运动向量的位置、差值的范围和/或数目可以与第一控制点向量不同。
例如，可以根据下面等式7得出第二控制点向量。
[等式7]
cpMvLX[1][0]＝(mvScaleHor+dHorX*(xCb+cbWidth-xNb)+dHorY*(yCb-yNb))
cpMvLX[1][1]＝(mvScaleVer+dVerX*(xCb+cbWidth-xNb)+dVerY*(yCb-yNb))
在等式7中，变量mvScaleHor、mvScaleVer、dHorX、dVerX、dHorY和dVerY如等式5中所述，并且将省略其详细描述。
可以基于空间相邻块的运动向量(MV)、预定差值、当前块的位置信息(xCb，yCb)、块大小(宽度或高度)或空间相邻块的位置信息(xNb，yNb)中的至少之一来得出第三控制点向量。本文中，块大小可以意指当前块的大小和/或空间相邻块的大小。运动向量和差值如在第一控制点向量中所述，并且将省略其详细描述。然而，在得出第三控制点向量的过程中使用的运动向量的位置、差值的范围和/或数目可以与第一控制点向量或第二控制点向量不同。
例如，可以根据下面等式8得出第三控制点向量。
[等式8]
cpMvLX[2][0]＝(mvScaleHor+dHorX*(xCb-xNb)+dHorY*(yCb+cbHeight-yNb))
cpMvLX[2][1]＝(mvScaleVer+dVerX*(xCb-xNb)+dVerY*(yCb+cbHeight-yNb))
在等式8中，变量mvScaleHor、mvScaleVer、dHorX、dVerX、dHorY和dVerY如等式5中所述，并且将省略其详细描述。同时，通过上述过程，可以得出空间候选的第n控制点向量。
可以针对每个预定义的空间相邻块执行上述得出仿射候选的过程。预定义的空间相邻块可以包括当前块的左块、左下块、右上块、上块或左上块中的至少一个。
可替选地，可以针对空间相邻块的每个组执行得出仿射候选的过程。本文中，空间相邻块可以被分类为包括左块和左下块的第一组以及包括右上块、上块和左上块的第二组。
例如，可以从属于第一组的空间相邻块得出一个仿射候选。可以执行该得出，直到基于预定优先级找到可用的仿射候选。优先级可以是左块->左下块的顺序，或者是相反的顺序。根据优先级，确定第一组中的对应空间相邻块是否是通过基于仿射模式的预测被解码的块，并且可以选择通过基于第一仿射模式的预测被解码的块作为仿射候选。
同样，可以从属于第二组的空间相邻块得出一个仿射候选。可以执行该得出，直到基于预定优先级找到可用的仿射候选。优先级可以是右上块->上块-＞左上块的顺序，或者是相反的顺序。根据优先级，确定第二组中的相应空间相邻块是否是通过基于仿射模式的预测被解码的块，并且可以选择通过基于第一仿射模式的预测被解码的块作为仿射候选。
可以以相同/相似的方式将上述实施方式应用于时间相邻块。本文中，时间相邻块可以属于与当前块不同的图片，并且可以是与当前块位于相同位置的块。处于相同位置的块可以是包括当前块的左上样本的位置、中心位置或与右下样本相邻的样本的位置的块。
可替选地，时间相邻块可以意指位置从与位于相同位置处的块偏移预定视差向量的块。本文中，可以基于当前块的上述空间相邻块中的任何一个的运动向量来确定视差向量。
2.一种得出构造候选的方法
可以基于当前块中的空间/时间相邻块的运动向量之间的组合来得出构造候选。可以基于与当前块的每个角对应的控制点向量(下文中称为控制点向量(cpMVCorner[n]))中的至少两个控制点向量的组合来得出构造候选。本文中，n可以是0、1、2或3。
可以基于空间相邻块的运动向量和/或时间相邻块的运动向量来得出控制点向量(cpMVCorner[n])。本文中，空间相邻块可以包括以下项中的至少一项：与当前块的左上样本相邻的第一相邻块(A、B或C)；与当前块的右上样本相邻的第二相邻块(D或E)；或与当前块的左下样本相邻的第三相邻块(F或G)。时间相邻块可以是属于与当前块不同的图片的块，并且可以意指与当前块位于相同位置的块(下文中称为第四相邻块Col)。本文中，第四相邻块可以意指包括当前块的左上样本、右上样本或左下样本的位置的块(H，I或J)或与当前块的右下样本的位置相邻的块。
第一相邻块可以意指在当前块的左上(A)、上(B)或左(C)处的相邻块。根据预定优先级确定相邻块A、B和C的运动向量是否可用，并且可以使用可用相邻块的运动向量来确定控制点向量。可以执行该可用性确定，直到找到具有可用运动向量的相邻块。本文中，优先级可以是A-＞B->C的顺序。但是，本公开内容不限于此，以及可以是A->C->B、C-->A->B或B->A->C的顺序。
第二相邻块可以意指当前块的上部相邻块(D)或右上相邻块(E)。同样，可以根据预定优先级确定相邻块D和E的运动向量是否可用，并且可以通过使用可用相邻块的运动向量来确定控制点向量。可以执行该可用性确定，直到找到具有可用运动向量的相邻块。本文中，优先级可以是D->E的顺序，或者可以是E->D的顺序。
第三相邻块可以意指当前块的左相邻块(F)或左下相邻块(G)。同样，可以根据预定优先级来确定相邻块的运动向量是否可用，并且可以通过使用可用的相邻块的运动向量来确定控制点向量。可以执行该可用性确定，直到找到具有可用运动向量的相邻块。本文中，优先级可以是G->F的顺序，或者可以是F->G的顺序。
例如，可以将第一控制点向量(cpMVCorner[0])设置为第一相邻块的运动向量，可以将第二控制点向量(cpMVCorner[1])设置为第二相邻块的运动向量，并且可以将第三控制点向量cpMVCorner[2]设置为第三相邻块的运动向量。可以将第四控制点向量cpMVCorner[3]设置为第四相邻块的运动向量。
可替选地，可以使用第一相邻块或第四相邻块的至少一个运动向量来得出第一控制点向量，其中，第四相邻块可以是包括左上样本的位置的块(H)。可以使用第二相邻块或第四相邻块的至少一个运动向量来得出第二控制点向量，其中，第四相邻块可以是包括右上样本的位置的块(I)。可以使用第三相邻块或第四相邻块的至少一个运动向量来得出第三控制点向量，其中，第四相邻块可以是包括左下样本的位置的块(J)。
可替选地，第一控制点向量至第四控制点向量中的任何一个控制点向量可以基于第一控制点向量至第四控制点向量中的另一个控制点向量得出。例如，可以通过将预定偏移向量应用于第一控制点向量来得出第二控制点向量。偏移向量可以是第三控制点向量与第一控制点向量之间的差向量，或者可以通过将预定缩放因子应用于差向量来得出。缩放因子可以基于当前块和/或相邻块的宽度或高度中的至少一个来确定。
根据本公开内容的K个构造候选ConstK可以通过上述第一至第四控制点向量中的至少两个的组合来确定。K值可以是1、2、3、4、5、6、7或更大的整数。K值可以基于由编码装置信令的信息来得出，或者可以是向解码装置预定的值。该信息可以包括指示候选列表中包括的构造候选的最大数目的信息。
具体地，可以通过将第一控制点向量至第三控制点向量进行组合来得出第一构造候选Const1。例如，第一构造候选Const1可以具有如下表1中所示的控制点向量。同时，仅当第一相邻块的参考图片信息与第二相邻块和第三相邻块的参考图片信息相同时，才可以如表1所示的那样来配置控制点向量。本文中，参考图片信息可以意指指示参考图片列表中相应参考图片的位置的参考图片索引，或者指示输出顺序的图片顺序计数(POC)值。
[表1]
Idx 控制点向量
0 cpMvCorner[0]
1 cpMvCorner[1]
2 cpMvCorner[2]
可以通过组合第一控制点向量、第二控制点向量和第四控制点向量来得出第二构造候选Const2。例如，第二构造候选Const2可以具有如下表2中所示的控制点向量。同时，仅当第一相邻块的参考图片信息与第二相邻块和第四相邻块的参考图片信息相同时，才可以如表2中所示来配置控制点向量。本文中，参考图片信息如上所述。
[表2]
可以通过组合第一控制点向量、第三控制点向量和第四控制点向量来得出第三构造候选Const3。例如，第三构造候选Const3可以具有如下表3中所示的控制点向量。同时，仅当第一相邻块的参考图片信息与第三相邻块和第四相邻块的参考图片信息相同时，才可以如表3中所示来配置控制点向量。本文中，参考图片信息如上所述。
[表3]
可以通过组合第二控制点向量、第三控制点向量和第四控制点向量来得出第四构造候选Const4。例如，第四构造候选Const4可以具有如下表4中所示的控制点向量。同时，仅当第二相邻块的参考图片信息与第三相邻块和第四相邻块的参考图片信息相同时，才可以如表4中所示来配置控制点向量。本文中，参考图片信息如上所述。
[表4]
可以通过将第一控制点向量和第二控制点向量进行组合来得出第五构造候选Const5。例如，第五构造候选Const5可以具有如下表5中所示的控制点向量。同时，仅当第一相邻块的参考图片信息与第二相邻块的参考图片信息相同时，才可以如表5中所示的那样来配置控制点向量。本文中，参考图片信息如以上所描述的。
[表5]
Idx 控制点向量
1 cpMvCorner[0]
2 cpMvCorner[1]
可以通过组合第一控制点向量和第三控制点向量来得出第六构造候选Const6。例如，第六构造候选Const6可以具有如下表6中所示的控制点向量。同时，仅当第一相邻块的参考图片信息与第三相邻块的参考图片信息相同时，才可以如表6中所示来配置控制点向量。本文中，参考图片信息如上所述。
[表6]
Idx 控制点向量 控制点向量
1 cpMvCorner[0] cpMvCorner[0]
2 cpMvCorner[2] cpMvCorner[1]
在表6中，cpMvCorner[1]可以是基于第一控制点向量和第三控制点向量得出的第二控制点向量。可以基于第一控制点向量、预定差值或当前/相邻块的大小中的至少之一来得出第二控制点向量。例如，可以如下面等式9中得出第二控制点向量。
[等式9]
cpMvCorner[1][0]＝(cpMvCorner[0][0]<<7)+((cpMvCorner[2][1]-cpMvCorner[0][1])<<(7+Log2(cbHeight/cbWidth)))
cpMvCorner[1][1]＝(cpMvCorner[0][1]<<7)+((cpMvCorner[2][0]-cpMvCorner[0][0])<<(7+Log2(cbHeight/cbWidth)))
在上述K个构造候选(ConstK)中，K值不限制在候选列表中布置的构造候选的位置或优先级。
另外，可以将第一构造候选至第六构造候选中的全部构造候选包括在候选列表中，或者可以将第一构造候选至第六构造候选中的仅一些构造候选包括在候选列表中。
例如，当确定当前块使用三个控制点向量时，可以仅使用通过第一控制点向量至第四控制点向量中的三个控制点向量的组合生成的构造候选。当确定当前块使用两个控制点向量时，可以使用通过第一控制点向量至第四控制点向量中的至少两个控制点向量的组合生成的构造候选，或者可以仅使用通过第一控制点向量至第四控制点向量中的两个控制点向量的组合生成的构造候选。
可替选地，考虑到候选列表中包括的仿射候选的最大数目，可以仅将部分构造候选包括在候选列表中。本文中，最大数目可以基于关于通过编码装置用信令通知的最大数目的信息来确定，或者可以考虑当前块的上述特性而可变地确定。在这种情况下，构造候选(ConstK)的K值可以意指插入到候选列表中的优先级。
同时，当属于构造候选的两个控制点向量之间的差值小于预定阈值时，构造候选可以不插入到候选列表中。可以将两个控制点向量之间的差值划分为水平方向上的差值和垂直方向上的差值。本文中，水平方向上的差值可以意指第一控制点向量610与第二控制点向量620之间的差值，并且垂直方向上的差值可以意指第一控制点向量610与第三控制点向量630之间的差值。阈值可以意指0或具有针对编码/解码装置预定的大小的向量。
可以将上述多个仿射候选基于预定优先级布置在候选列表中。例如，可以将多个仿射候选以空间候选、时间候选和构造候选的顺序布置在候选列表中。可替选地，可以将多个仿射候选以时间候选、空间候选和构造候选的顺序布置在候选列表中。然而，本公开内容不限于此，并且可以将时间候选布置在构造候选之后。可替选地，可以将构造候选中的一些构造候选布置在空间候选之前，并且可以将剩余的构造候选布置在空间候选之后。
参照图6，可以基于候选列表和候选索引来得出当前块的控制点向量(S610)。
候选索引可以意指被编码以得出当前块的控制点向量的索引。候选索引可以指定候选列表中包括的多个仿射候选中的任何一个。可以通过使用由候选索引指定的仿射候选的控制点向量来得出当前块的控制点向量。
例如，假设当前块的仿射模式的类型是4-参数(即，确定当前块使用两个控制点向量)。在这种情况下，当由候选索引指定的仿射候选具有三个控制点向量时，可以在三个控制点向量中选择仅两个控制点向量(例如，Idx＝0、1的控制点向量)并设置为当前块的控制点向量。可替选地，可以将被指定的仿射候选的三个控制点向量设置为当前块的控制点向量。在这种情况下，当前块的仿射模式的类型可以被更新为6-参数。
相反，假设当前块的仿射模式的类型是6参数(即，确定当前块使用3个控制点向量)。在这种情况下，当由候选索引指定的仿射候选具有两个控制点向量时，可以生成一个另外的控制点向量，并且可以将仿射候选的两个控制点向量和另外的控制点向量用作当前块的控制点向量。可以基于仿射候选的两个控制点向量、当前/相邻块的大小或位置信息中的至少之一来得出另外的控制点向量。
可替选地，可以将被指定的仿射候选的两个控制点向量设置为当前块的控制点向量。在这种情况下，当前块的仿射模式的类型可以被更新为4-参数。
参照图6，可以基于当前块的控制点向量来得出当前块的运动向量(S620)。
可以以当前块的子块为单位得出运动向量。为此，当前块可以被划分为多个N×M子块。本文中，N×M子块可以是非正方形(N＞M或N＜M)的形状或正方形(N＝M)的形状。N和M的值可以是4、8、16、32或更大。
考虑到存储带宽的消耗，可以针对当前块中的每个子块得出运动向量，或者可以针对当前块得出一个运动向量。该选择性得出可以考虑当前块是否执行双向预测(PRED_BI)或者预定参考区域的大小(refSize)中的至少一个来执行。本文中，参考区域可以意指被参考以用于一个或更多个子块的运动补偿的区域。参考区域可以包括由一个或更多个子块的运动向量指定的参考块和/或用于对参考块的少数像素进行插值的像素。参考区域的大小可以由参考区域的宽度或高度、宽度和高度的最大值/最小值、宽度和高度的乘积、宽度和高度的和等中的任意一个来表示。
例如，在当前块执行双向预测并且n个子块的参考区域的大小小于或等于预定的第一阈值(条件1)时，可以针对当前块中的每个子块得出运动向量。
可替选地，在当前块执行单向预测并且m个子块的参考区域的大小小于或等于预定的第二阈值(条件2)时，可以针对当前块中的每个子块得出运动向量。
n和m值可以是1、2、3、4、5或更大。n和m的值可以被限制为偶数。n可以被设置为大于m的值。例如，可以将n设置为4，并且可以将m设置为2。
可以将第一阈值确定为(15+i)x(15+j)，并且可以将第二阈值确定为(15+i)x(11+j)或(11+i)x(15+j)。本文中，i和j可以是大于或等于0的自然数。例如，当i和j为0时，第一阈值和第二阈值可以分别确定为225和165。
可以使用缩放值(mvScaleHor，mvScaleVer)、第一差值(dHorX，dVerX)或第二差值(dHorY，dVerY)中的至少之一来确定参考区域的大小。得出缩放值、第一差值和第二差值的方法如上所述，并且将省略其详细描述。
分别针对n个子块或m个子块确定参考区域的大小，并且可以在考虑n个子块或m个子块的布置的情况下如以下等式10来确定参考区域的大小。
[等式10]
maxW4＝Max(0，Max(4*(2048+dHorX)，Max(4*dHorY，4*(2048+dHorX)+4*dHorY)))
minW4＝Min(0,Min(4*(2048+dHorX),Min(4*dHorY,4*(2048+dHorX)+4*dHorY)))
maxH4＝Max(0,Max(4*dVerX,Max(4*(2048+dVerY),4*dVerX+4*(2048+dVerY))))
minH4＝Min(0,Min(4*dVerX,Min(4*(2048+dVerY),4*dVerX+4*(2048+dVerY))))
bxWX4＝((maxW4-minW4)>>11)+9
bxHX4＝(maxH4-minH4)>>11)+9
bxWXh＝((Max(0,4*(2048+dHorX))-Min(0,4*(2048+dHorX)))>>11)+9
bxHXh＝((Max(0,4*dVerX)-Min(0,4*dVerX))>>11)+9
bxWXv＝((Max(0,4*dHorY)-Min(0,4*dHorY))>>11)+9
bxHXv＝((Max(0,4*(2048+dVerY))-Min(0,4*(2048+dVerY)))>>11)+9
在等式10中，bxWX4和bxHX4可以分别意指四个子块的参考区域的宽度和高度。四个子块可以以2×2的形式布置。然而，本公开内容不限于此，并且四个子块可以以1×4或4×1的形式布置。可以使用第一差值(dHorX和dVerX)和第二差值(dHorY和dVerY)来得出bxWX4和bxHX4。
同时，bxWXh和bxHXh可以分别意指两个子块的参考区域的宽度和高度。两个子块可以以2×1的形式布置(在水平方向上布置)。可以仅使用第一差值(dHorX和dVerX)来得出bxWXh和bxHXh。bxWXv和bxHXv可以分别意指两个子块的参考区域的宽度和高度。两个子块可以以1×2的形式布置(在垂直方向上布置)。可以仅使用第二差值(dHorY和dVerY)来得出bxWXv和bxHXv。
然而，在双向预测的情况下，基于n个子块来确定参考区域的大小，并且在这种情况下，n值不限于4，并且子块可以是3x3或4x4形式的正方形或者是2x3或3x2形式的非正方形。另外，在单向预测的情况下，基于m个子块来确定参考区域的大小，并且在这种情况下，m值不限于2，并且子块可以是2x2或3x3形式的正方形或者是1x4或2x4形式的非正方形。另外，在单向预测的情况下，基于m个子块来确定参考区域的大小，并且在这种情况下，m值不限于2，并且子块可以是2x2或3x3形式的正方形或者是1x4或2x4形式的非正方形。
如果不满足上述条件1或条件2，则可以针对当前块得出一个运动向量。也就是说，属于当前块的所有子块可以共享一个且相同的运动向量，从而减少存储带宽消耗。
基于当前块的控制点向量，可以计算仿射运动参数，并且可以基于所计算的仿射运动参数来得出当前块的运动向量。本文中，仿射运动参数可以包括上述缩放值、上述第一差值或上述第二差值中的至少之一。
图7示出了作为应用本公开内容的实施方式的考虑存储带宽来限制运动向量的构思。
当一个当前块具有多个运动向量时，基于一个或更多个参考运动向量，可以限制剩余运动向量的特性。参考运动向量意指与左上控制点对应的运动向量。然而，本公开内容不限于此，并且参考运动向量可以被定义为与左下控制点或右上控制点对应的运动向量。通过该方法，可以减少用于执行运动预测和补偿的存储带宽。本文中，运动向量的特性可以包括运动向量的方向、大小、数目或位置中的至少一项。通过以上限制，可以将剩余运动向量设置为具有与参考运动向量相同或相似的方向和大小的向量。也就是说，当确定由于以子块为单位使用运动向量而消耗了过多的存储带宽时，可以将属于当前块的多个子块设置为共享/使用一个运动向量。
在图5中，示出了如下实施方式，在该实施方式中，通过将一个块划分为两个或更多个子块、选择代表一个块的两个或更多个控制点并使用与对应的控制点对应的运动向量来计算每个子块的运动向量。
另外，图7示出了基于与代表当前块300的两个或更多个控制点311、321、331对应的运动向量中的第一运动向量来限制剩余运动向量的构思。
如图7中所示，根据本公开内容的实施方式，当存在与当前块300的三个控制点311、321、331对应的运动向量310、320、330时，可以通过使用诸如第一运动向量310的方向和大小的信息将诸如第二运动向量320和/或第三运动向量330的方向和大小的信息改变为与第一运动向量相同/相似。运动向量的改变是指将运动向量裁剪(clipping)或计算为特定值以改变运动向量的值。
在这种情况下，在使用通过使用第一运动向量来限制剩余运动向量的方法的情况下，可以另外包括使用第一运动向量的大小和方向来重新计算所有或部分剩余运动向量的大小和方向的步骤。
通过使用第一运动向量来限制剩余运动向量可以意味着改变第二运动向量和/或第三运动向量的大小和方向以参考由第一运动向量指定的预定区域内的位置。
图7示出了根据第一运动向量310的大小和方向来改变第二运动向量320和第三运动向量330的示例。
图8示出了根据本公开内容的实施方式的在视频编码方法和装置中使用基于掩模的预测的帧间预测方法。
也可以将使用第一运动向量来限制第二运动向量和其他运动向量的方法应用于图8中示出的使用基于掩模的预测的帧间预测。
图8示出了本公开内容中提出的基于掩模的运动预测和补偿的构思。在本公开内容中提出的基于掩模的运动预测和补偿中，通过将掩模应用于位于一个块的两个或更多个不同位置处的参考块来执行运动预测和补偿。
在图8中，提供了如下方法：针对当前执行编码和/或解码的图片800中的当前块801的某些像素，通过使用运动向量830从所参考的参考块820获得像素，以及针对当前块的其他像素，通过使用运动向量831来从所参考的参考块821获得像素。在这种情况下，在获得当前块的一些像素的过程中，可以使用如下方法：以对相应参考块的相同位置处的像素值施加权重的形式来参考目标像素。
图9示出了根据本公开内容的实施方式的视频编码和/或解码方法和装置中的双向预测的构思。
在示出了视频编码和解码方法和/或装置中的双向预测的图9中，在对当前图片900中存在的当前块910进行编码和/或解码时使用两个或更多个参考块执行预测的方法被称为双向预测。
在这种情况下，所述两个或更多个参考块可以是参考图片901和902中包括的先于当前图片在时间上编码和/或解码的块，或者是在当前图片中的当前块之前的在执行了编码和/或解码的区域中包括的块。
另外，一个参考块可以是在时间上相邻的图片中包括的块，而另一参考块可以是先于当前图片中的当前块执行了编码和/或解码的区域中包括的块。
如图9中所示，在针对当前块910执行双向预测时，可以在使用两个或更多个运动向量得到的位置处使用不同的运动向量mv0(930)、mv1(931)或参考块920和921来生成当前块910的预测块。
在这种情况下，运动向量总体上是指指示参考块在2D坐标平面中相对于当前块910的相对位置的信息。
另外，可以使用两个或更多个运动向量。
图10示出了作为应用了本公开内容的实施方式的受限双向预测的构思。
在示出了在双向预测中限制针对L1方向的预测的构思的图10中的(a)中，将在对当前图片900中存在的当前块910进行编码和/或解码时根据特定条件在一个方向上强制执行单向预测的方法称为受限双向预测。
在这种情况下，根据本公开内容的实施方式，在针对一个方向强制执行单向预测时，可以包括确定预定义的特定条件的另外的步骤。
预定义的特定条件可以意指块的大小以及是否以对应块的子块为单位使用运动预测的条件。
另外，预定义的特定条件不仅可以指示块的大小和是否以相应块的子块为单位使用运动预测的条件，还可以指示是否使用将一个块划分为多个块的块划分运动预测诸如仿射运动预测和对角线块划分的条件。可以以与仿射运动预测相同的含义来解释以子块为单位的运动预测的使用。
另外，在预定义的特定条件中的块的大小可以意指以块的宽度和块的高度之和或者块的宽度与块的高度的乘积表示的块的大小，并且在预定义的特定条件中的块的大小可以通过更高级别的语法被预定义或传输到解码器。
在这种情况下，关于块的宽度和块的高度的和，块的大小可以是从(8+4)或(4+8)得出的12，或者可以是从(8+8)得出的16。另外，关于块的宽度和块的高度的乘积，块的大小可以是从(4×8)或(8×4)得到的32，或者可以是从(8×8)得到的64。
当使用根据本公开内容的实施方式的受限双向预测时，即使在当前块910的运动向量预测器(MVP)是双向预测时，也可以另外地包含强制调整运动向量信息以执行单向预测的步骤。
在图10中的(a)中所示的本公开内容的实施方式中，关于当前块910，示出了如下示例：限制在L1方向上对参考图片902的参考以及限制在L1方向上的参考运动向量mv11002和参考块1012。在这种情况下，该示例另外包括以下步骤：强制将L1方向上的参考运动向量mv1(1002)初始化为(0，0)向量；将L1方向上的参考图片索引初始化；以及在单向预测期间将当前块910的预测方向改变为平均值L0。
图10中的(b)示出了根据本公开内容的实施方式的在双向预测中限制针对L0方向的预测的构思。
在示出了在双向预测中限制针对L0方向的预测的构思的图10中的(b)中，将在对当前图片900中存在的当前块910进行编码和/或解码时在特定条件下针对一个方向强制执行单向预测的方法称为受限双向预测。
在这种情况下，根据本公开内容的实施方式，在针对一个方向强制执行单向预测时，可以包括确定预定的特定条件的另外的步骤。
预定义的特定条件可以意指块的大小以及是否以对应块的子块为单位使用运动预测的条件。
另外，预定义的特定条件不仅可以指示块的大小以及是否以对应块的子块为单位使用运动预测的条件，还可以指示是否使用将一个块划分为多个块的块划分运动预测诸如仿射运动预测和对角线块划分的条件。可以以与仿射运动预测相同的含义来解释以子块为单位的运动预测的使用。
当使用根据本公开内容的实施方式的受限双向预测时，即使在当前块910的运动向量预测器(MVP)是双向预测时，也可以另外包括强制调整运动向量信息以执行单向预测的步骤。
在图10中的(b)中所示的本公开内容的实施方式中，示出了如下示例：通过限制关于当前块910对L0方向上的参考图片901的参考以限制在L0方向上的参考运动向量mv01003和参考块1013。在这种情况下，该示例另外包括以下步骤：将L0方向上的参考运动向量mv0(1003)强制初始化为(0，0)向量；将L0方向上的参考图片索引初始化；以及在单向预测期间将当前块910的预测方向改变为平均值L1。
图11是根据本公开内容的实施方式的对预测方向性进行解码的过程的流程图。
图11示出了对当前块的预测方向性进行解码的过程的流程图，并且该过程可以用于对当前块的预测方向性进行解码的运动预测模式中。
根据图11中所示的实施方式，对预测方向性进行解码的过程可以包括以下步骤中的至少一个：确定当前切片类型是否是允许双向预测的切片(S1110)；或者确定当前块是否是允许双向预测的块(S1120)。另外，对预测方向性进行解码的过程还可以包括以下步骤中的至少一个：在当前块是允许双向预测的块的情况下，解析预测方向性的第一包(bin)(S1130)；或者是在当前块的大小不是允许双向预测的块的大小或者第一包为0的情况下，解析预测方向性的第二包(S1150)。
另外，还可以包括以下步骤中的至少一个：将当前预测方向性设置为双向预测方向(S1170)；将当前预测方向性设置为在L1方向上的单向预测方向(S1180)；或将当前预测方向性设置为在L0方向上的单向预测方向(S1190)。
在确定当前切片类型是否是允许双向预测的切片类型时(S1110)，通过检查当前切片类型来确定是否允许双向预测。
在这种情况下，允许双向预测的切片类型可以是B切片。另外，在使用当前图片的预解码区域作为参考图片的预测方法中，切片类型可以是多样的。
确定当前块是否是允许双向预测的块的步骤(S1120)可以意指确定用于当前块的特定条件的另外的步骤，其中，特定条件可以意指块的大小。另外，可以另外包括以下条件中的一个或更多个条件：是否使用对应块的子块单位运动预测；以及是否使用将一个块划分为多个块的块划分运动预测，诸如仿射运动预测和对角线块划分。
在图11中所示的实施方式中，在确定当前块是否是允许双向预测的块的步骤(S1120)中，使用当前块的大小来确定双向预测的情况被用作示例，并且确定当前块的大小是否是以更高级别的语法预定义和传输的允许双向预测的块的大小。
在这种情况下，允许双向预测的以更高级别的语法预定义或传输的块的大小可以被表示为块的宽度和块的高度之和，或者表示为块的宽度和块的高度的乘积。
在这种情况下，关于块的宽度与块的高度的和，块的大小可以是从(8+4)或(4+8)得出的12，或者可以是从(8+8)得出的16。另外，关于块的宽度与块的高度的乘积，块的大小可以是从(4×8)或(8×4)得出的32，或者可以是从(8×8)得出的64。
在当前块的大小是允许双向预测的块的大小时，执行解析用于预测方向性的第一包的步骤(S1130)和后续步骤，而在当前块的大小不是允许双向预测的块的大小时，执行解析预测方向性的第二包的步骤(S1150)，而不是执行解析用于预测方向性的第一包的步骤(S1130)和确定第一包的值的步骤(S1140)。
在确定用于预测方向性的第一包的值的步骤(S1140)中，当用于预测方向性的第一包的值意指1时，在将当前块的预测方向性设置为双向预测的步骤(S1170)中，将当前预测方向性设置为双向方向。
在当前块的大小不是允许双向预测的块的大小时，或者当用于预测方向性的第一包的值是0时，执行解析用于预测方向性的第二包的步骤(S1150)。另外，在确定用于对应的预测方向性的第二包的值的步骤(S1160)中，当用于预测方向性的第二包的值意指1时，在将当前块的预测方向性设置为L1方向上的单向预测的步骤(S1180)中，将当前方向性方向设置为L1方向上的单向预测，而当用于预测方向性的第二包的值意指0时，在将当前块的预测方向性设置为L0方向上的单向预测的步骤(S1190)中，将当前预测方向性设置为L0方向上的单向预测。
表7可以是当前块的大小允许双向预测的块的大小的示例。如表7中所示，当使用各种块结构划分块时，当块的宽度和高度的和小于或等于特定值时，不使用双向预测，而仅当块的宽度和高度的和大于特定值时，可以设置限制以使得可以使用双向预测。表7示出了将特定值限定为12的示例。该特定值可以使用预定义的值，或者可以以作为高级语法的序列参数集(SPS)、图片参数集(PPS)和切片头中的一种或更多种用信令通知。
[表7]
图12是根据本公开内容的实施方式的用于确定预测方向性是否受到限制的流程图。
图12是示出确定是否限制当前块的预测方向性的步骤的流程图，并且是否限制当前块的预测方向性不仅可以在对当前块的预测方向性进行编码和/或解码的步骤中使用，也可以在设置当前块的预测方向性的步骤中使用。
设置当前块的预测方向性的步骤可以意指以下情况：当以跳过模式和/或合并模式对当前块进行编码和/或解码时，将预定义运动候选的预测方向性设置为当前块的预测方向性，而无需经过对当前块的预测方向性进行编码和/或解码的步骤。
根据图2中所示的实施方式，确定是否限制当前块的预测方向性的步骤可以包括以下步骤中的至少一个：确定当前块是否是以子块为单位执行运动预测的块(S1200)；或者确定当前块的大小是否是允许双向预测的块大小(S1210)。另外，在当前块是受限双向预测块时，可以包括调整当前块的预测方向性、运动向量和参考图片索引的步骤。
在确定当前块是否是以子块为单位执行运动预测的块时(S1200)，该过程是确定当前块是否是以子块为单位执行运动预测的模式的步骤。以子块为单位的运动预测意指如下预测模式：将当前块划分为多个子块，并且参考每个子块的不同的运动向量来执行运动预测。例如，如果当前块以子块为单位执行运动预测(例如，仿射模式)，则可以不限制当前块的双向预测，而如果当前块不是以子块为单位执行运动预测(例如，合并模式)，则可以限制当前块的双向预测。如稍后所述，即使在当前块不以子块为单位执行运动预测时，也可以通过进一步考虑当前块的大小来确定当前块的双向预测是否受到限制。
在确定当前块的大小是否是允许双向预测的块的大小(S1210)时，确定当前块的大小是否是以较高级别的语法预定义或传输的允许双向预测的块的大小。
在这种情况下，以较高级别的语法预定义或发送的允许双向预测的块的大小可以被表示为块的宽度与块的高度的和，或者表示为块的宽度与块的高度的乘积。
在这种情况下，关于块的宽度与块的高度的和，块的大小可以是从(8+4)或(4+8)得出的12，或者是从(8+8)得出的16。另外，关于块的宽度与块的高度的乘积，块的大小可以是从(4×8)或(8×4)得出的32，或者是从(8×8)得出的64。
例如，如果当前块的大小小于或等于预定阈值，则可以限制当前块的双向预测，如果当前块的大小大于预定阈值，可以不限制当前块的双向预测。本文中，阈值可以根据表示当前块的大小的方法而不同，并且可以如上所述被限定为12、16、32或64。
在当前块被确定为受限双向预测块时，该过程还可以包括调整当前块的预测方向、运动向量和参考图片索引的步骤。在本公开内容的实施方式中，在当前块被确定为受限双向预测块时，将当前块的预测方向性设置为L0方向上的单向预测块，使用(0，0)向量对L1方向上的运动向量进行初始化，并且在L1方向上的参考图片索引也被初始化。
图13是根据本公开内容的另一实施方式的用于确定预测方向性是否受到限制的流程图。
图13是示出确定是否限制当前块的预测方向性的步骤的流程图，并且是否限制当前块的预测方向性不仅可以在对当前块的预测方向性进行编码和/或解码的步骤中使用，也可以在设置当前块的预测方向性的步骤中使用。另外，是否限制当前块的预测方向性可以在设置当前块中的子块的预测方向性的步骤中使用。
设置当前块的预测方向性的步骤可以意指以下情况：当以跳过模式和/或合并模式对当前块进行编码和/或解码时，将预定义运动候选的预测方向性设置为当前块的预测方向性，而无需经过对当前块的预测方向性进行编码和/或解码的步骤。另外，该过程可以包括设置用于当前块中的所有子块的预测方向性的步骤。
根据图13中所示的实施方式，确定是否限制当前块的预测方向性的步骤可以包括以下步骤中的至少一个：确定当前块的大小是否是允许双向预测的块的大小(S1310)；或者确定当前块是否是以子块为单位执行运动预测的块(S1320)。另外，可以另外包括调整当前块的预测方向性、运动向量和参考图片索引的步骤(S1330，S1340)或者调整当前块中的所有子块的预测方向性、运动向量和参考图片索引的步骤(S1350，S1360)中的至少之一。
在确定当前块的大小是否是允许双向预测的块的大小(S1310)时，确定当前块的大小是否是以更高级别的语法预定义或传输的允许双向预测的块的大小。
在这种情况下，以更高级别的语法预定义或传输的允许双向预测的块的大小可以表示为块的宽度与块的高度的和，或者表示为块的宽度与块的高度的乘积。
在这种情况下，关于块的宽度与块的高度的和，块的大小可以是从(8+4)或(4+8)得出的12，或者是从(8+8)得出的16。另外，关于块的宽度与块的高度的乘积，块的大小可以是从(4×8)或(8×4)得出的32，或者是从(8×8)得出的64。
在确定当前块是否是以子块为单位执行运动预测的块时(S1320)，该过程是确定当前块是否是以子块为单位执行运动预测的模式的步骤。以子块为单位的运动预测是指如下预测模式：将当前块划分为多个子块，并且参考每个子块的不同的运动向量来执行运动预测。
可以包括调整当前块的预测方向性、运动向量和参考图片索引的步骤(S1330和S1340)。在本公开内容的实施方式中，当确定当前块是受限双向预测块时，将当前块的预测方向性设置为L0方向上的单向预测块，使用(0，0)向量对L1方向上的运动向量初始化，并且L1方向上的参考图片索引也被初始化。
可以包括调整当前块中的所有子块的预测方向性、运动向量和参考图片索引的步骤(S1350和S1360)。在本公开内容的实施方式中，当确定当前块是受限双向预测块时，将当前块中所有子块的预测方向性设置为L0方向上的单向预测块，使用(0，0)向量对L1方向上的运动向量进行初始化，并且L1方向上的参考图片索引也被初始化。
图14示出了根据本公开内容的实施方式的使用被定义为多个层的单元来划分一个图片的构思。
在对图像和视频进行解码时，一个图像可以被分组为多个图像块并且可以被独立地解码。在这种情况下，可以通过对多个图像块进行分组来限定预定的片段区域。本文中，片段区域可以表示子图片、切片、图块、子图块(砖块)或CTU中的至少一个。
例如，一个图片可以被划分为一个或更多个子图片。子图片可以由一个或更多个切片组成，或者可以由一个或多个图块组成。子图片可以被限制成使得一个切片没有跨越多个子图片。可替选地，子图片可以被限制成使得一个图块没有跨越多个子图片。
为了划分为子图片，可以以k-网格间隔在垂直方向和水平方向上划分一个图片。可以将索引分配给每个网格。可以针对每个网格用信令通知索引。可以针对具有相同索引的每个网格执行分组。具有相同索引的一组网格可以被定义为子图片。k网格指的是k个样本单位，并且k可以是4、8、16、32、64或更大。可以将k-网格确定为与针对编码/解码装置预定的CTU的宽度和/或高度相同。
切片可以由一个或更多个图块组成，或者可以由一个或更多个砖块组成。切片可以用术语图块组代替。可以基于左上图块(或砖块)和右下图块(或砖块)的位置来指定切片。在这种情况下，切片可以被实现为矩形形状。图块可以由一个或更多个砖块组成。稍后将使用术语图块或图块组对其进行描述。但是，可以将图块或图块组理解为由子图片、切片、图块或砖块代替。
如图14中所示，可以通过将单个图像划分为诸如Tile1_1至Tile1_5的矩形形状来重构该单个图像。在这种情况下，可以将一个图块划分为一个或更多个图块。该构思可以称为子图块。相反，可以将一个或更多个图块分组在一起并称为图块组。从层次上看这个构思，该构思可以表示为多级图块划分。图块是指一个或更多个编码树单元(CTU)的组，其中图块的右下边界可以不包括完整的CTU。图块组和子图块可以具有矩形形状或者可以不具有矩形形状。在图块组的情况下，根据图块的布置和束的形式来确定整个重构的图像。在子图块的情况下，整个重构的图像可以表示为图块内部的多个CTU的束，并且可以是矩形的或者可以具有根据光栅扫描顺序的切片的形状。
首先，可以将用于将一个图像划分为多个图块的信息作为经压缩的比特流的头部信息的一部分来传递。首先，根据用于一个图像组或一个图像的图块的划分信息来重构视频或图像。在表达图块的形状时，可以通过图块的数目以及每个图块的宽度和高度来表达。在这种情况下，指示图块形状信息的顺序可以被假设为光栅扫描顺序。在图14中，当存在5个图块时，可以通过使用指示图片首先由五个图块组成的信息以及从第一图块开始的宽度和高度信息，在接收端处顺序地重构图块的结构。
另外，可以将每个图块划分成子图块，并且在接收端处，可以通过使用关于每个图块由多少个子图块组成的信息以及诸如每个子图块的宽度和高度的位置和大小信息来重构每个图块如何由子图块组成。
另外，每个图块可以被分组为几个组，并且可以在一个束中重构图像。可以通过表达图块组的数目以及每个图块组的图块数目或顺序的方法来表示图块组，并且可以在接收端处重构图块组的结构。
图块代表能够独立地重构图像的单元。结果，当比特流信息存在时，图像重构可以同时独立地执行，而与多个图块的顺序无关。根据图像组或图像，可以根据更高级别的头信息来参考或不参考图块之间的相互重构的图像。在静止图像的情况下，每个图块可以被完全独立地重构，或者可以通过图块之间的参考而被重构。作为示例，当参考了诸如IBC模式或帧内预测的在时间上相同且在空间上不同的重构图像时，可以将参考限制在图块内，并且可以根据更高级别的信息来允许图块之间的参考。即使在运动补偿的情况下，不可以根据更高级别的信息进行图块之间的参考，或者可能允许图块之间的参考。可以将是否允许这样的空间参考或时间参考作为相同构思应用在子图块中。熵解码可以彼此独立地执行，并且在一些情况下，可以使用先前子图块的一些信息来执行解码。可以使能在这些子图块之间进行空间预测和时间预测或者禁止在这些子图块之间进行空间预测和时间预测。其也可以应用于上面提到的图块组。每个图块可以独立地执行熵解码，但是空间时间预测解码可以仅在图块组内执行。根据更高级别的报头信息来确定是否对这些图块之间、图块组之间或子图块之间的重构图像的边界应用滤波。本文中，滤波可以意指在图像编码和解码装置中的环路滤波中包括的诸如去块滤波、样本自适应偏移(SAO)、自适应环路滤波(ALF)等的滤波。
本文中，子图块可以类似于图块被单独地熵解码。可替选地，第一子图块可以独立地开始解码，并且可以使用先前图块的解码信息的一部分来对随后的连续子图块执行熵解码。可替选地，这意味着可以使用先前图块的重构的图像信息来执行熵解码。该多级图像划分可以扩展到多个层。
图15示出了根据本公开内容的实施方式的将图像、图像组或视频划分为多个图块并将所述多个图块处理为三个图块组的构思。
在图15中，将图像、图像组和视频划分为多个图块，当将所述多个图块分组为三个图块组时，将每个图块组收集在单独的缓冲器中，并且仅共享与图块对应的重构的图像，并且可以恢复与图块组对应的图像。
在这种情况下，每个图块可以被单独地熵解码或者可以以相互依赖的方式被重构。如前所述，可以通过共享重构的图像和图块之间、图块组之间或子图块之间的图像以及对它们之间的边界区域应用滤波来打开/关闭时空预测，并且可以使用更高级别的语法来用信令通知时空预测。
在该实施方式中，图块组可以被子图片或切片代替，以及图块和子图块可以被切片和砖形块代替，并且它们同样可以应用于之后描述的实施方式。
图16示出了根据本公开内容的实施方式的将图像、图像组或图像划分为多个图块，并且仅共享和恢复与每个图块对应的重构的图像的构思。
在图16中，将图像、图像组和视频划分为多个图块，将每个图块收集在单独的缓冲器中，并且仅共享与图块对应的重构的图像，并且可以重构与图块对应的图像。
在这种情况下，每个图块可以被单独地熵解码或者可以以相互依赖的方式被重构。如前所述，可以通过共享重构的图像和图块之间或子图块之间的图像以及对它们之间的边界区域应用滤波来打开/关闭时空预测，并且可以使用更高级别的语法来用信令通知时空预测。
图17示出了根据本公开内容的实施方式的图像、图像组或图像被划分为多个图块并且每个图块被划分为子图块的示例。
图17示出了一个图像、图像组和视频被划分为多个图块并且每个图块再次被划分为子图块的示例。在这种情况下，子图块被收集在单独的缓冲器中，并且仅共享与图块对应的重构图像，并且可以重构与图块对应的图像。
在这种情况下，每个子图块可以被单独地熵解码，或者可以以相互依赖的方式被重构。相互依赖的方式是指参考上下文表的更新信息以用于熵解码。如前所述，可以通过共享重构图像和图块之间或子图块之间的图像以及对它们之间的边界区域应用滤波来打开/关闭时空预测，并且可以使用更高级别的语法来用信令通知时空预测。
HRD(假设参考解码器)在解码器侧交互地确定缓冲器的大小和延迟信息，以便通过以有限的速率在解码器和编码器之间接收压缩的比特流来实时平滑地恢复和显示视频。因此，为了以有限的速率接收和恢复数据并且实时地在解码器侧根据诸如比特流中限定的缓冲的大小、延迟时间和传输速率的信息来输出数据，还需要设置解码器以执行恢复。可以限定缓冲的大小、延迟时间、传输速率或填充初始缓冲的数量，并且利用这些信息中的一些信息，可以以成比例的方式获得其他信息。
已经描述了上述多级图块或多层图块可以被独立地或依赖地编码或解码。可以利用关于这样的多级图块或多层图块的信息来在多个级别中定义HRD。可以定义用于图像、图像组或整个视频的HRD。另外，可以针对每个图块定义HRD信息，并且因此，每个图块可以独立地改变缓冲和延迟的量。可替选地，可以考虑缓冲的大小、延迟、初始缓冲的量和传输速率。通过扩展该构思，可以针对每个图块组来调整这样的HRD。另外，根据该构思，可以针对子图块单独地设置HRD，并且因此，解码器可以根据诸如缓冲的大小和根据单独的HRD的延迟的信息来重构图像或视频。另外，可能推断级别之间的这些多级HRD规则。也就是说，当针对每个子图块定义HRD时，可以将针对图块的HRD推断为子图块的HDR信息的平均、最大、最小和和。例如，可以利用通过对子图块的缓冲大小求和而获得的大小来设置用于对应图块的缓冲的大小。可替选地，在图块的初始延迟的情况下，可以使用子图块的初始延迟的最大值。可以针对图像、图像组或整个视频发送该层级HRD。特别地，在图像组的情况下，HRD可以在随机接入点图像中定义。在双路图像通信的情况下，可以通过在设备之间或者在终端与服务器之间预先交换终端性能以根据终端性能来定义HRD。为了便于发送层级HRD信息，可以根据图块的数目、图块组的数目以及根据图块结构信息的子图块的数目来定义HRD。可替选地，可以限定是否根据图块、缓冲的大小以及每个HRD的延迟来定义HRD，或者可以使用共享信息。
在诸如360度视频的特殊视频的情况下，对于一个图像或视频，可以重构区域的仅一部分区域的图块和图块组。在这种情况下，根据图块信息和交叉参考信息，可以单独使用解码器的比特流缓冲以及重构图像。另外，在视频中，可以根据时间来改变要被选择性地重构的图块或图块组，并且因此，必须选择性地配置HRD以接收和重构图像。
视频压缩和重构被划分为帧内编码/解码的图像和帧间编码/解码的图像。在这种情况下，在帧间编码/解码的图像中包括帧间预测和重构技术，但是帧间预测和重构技术没有被应用于帧内编码/解码的图像。另外，定义了帧内编码/解码切片和帧间编码/解码切片，帧内编码/解码切片仅使用块内编码/解码技术，而帧间编码/解码切片使用了块内编码/解码技术和块间编码/解码技术两者。另外，帧间图块可以仅使用块内编码/解码技术，而帧间图块可以使用块内编码/解码技术和块间编码/解码技术两者。另外，在帧间图块中，可以执行帧内预测重构而不使用通过诸如CIP(约束帧内预测)的相邻块间编码/解码技术重构的信息。帧内图块的形状由几种图案限定，使得在经过一些图像帧之后，无论先前的错误如何，都可以重构后续的图像。另外，在根据帧内图块或CIP的图案完全重构图像时，解码器侧可以从DPB(解码图片缓存区)移除在图案周期之前重构的图像。
本公开内容的各种实施方式没有按照列出所有可能的组合那样被列出，而是旨在描述本公开内容的代表性方面，并且可以独立地应用或者可以以两个或更多个的组合来应用在各种实施方式中描述的事件。
另外，可以通过硬件、固件、软件或其组合来实现本公开内容的各种实施方式。在通过硬件实现的情况下，可以通过一个或更多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、通用处理器、控制器、微控制器、微处理器等来实现本公开内容的各种实施方式。
本公开内容的范围包括允许在装置或计算机上执行根据各种实施方式的方法的操作的软件或机器可执行指令(例如，操作系统、应用、固件、程序等)，并且包括在装置或计算机上存储和执行软件或指令的非暂态计算机可读介质。
工业可用性
本公开内容可以用于对图像进行编码/解码。
本发明的方案还包括：
(1)一种对图像进行解码的方法，所述方法包括：
基于在图像解码装置中预定义的帧间模式，得出当前块的用于双向预测的运动信息；以及
基于所述运动信息对所述当前块执行帧间预测；
其中，根据所述预定义的帧间模式，将所述用于双向预测的运动信息调整为用于单向预测的运动信息。
(2)根据(1)所述的方法，
其中，当所述预定义的帧间模式是合并模式时，将所述用于双向预测的运动信息调整为用于单向预测的运动信息；以及
其中，当所述预定义的帧间模式是仿射模式时，不将所述用于双向预测的运动信息调整为用于单向预测的运动信息。
(3)根据(2)所述的方法，
其中，当所述预定义的帧间模式是合并模式时，在考虑所述当前块的大小的情况下将所述用于双向预测的运动信息调整为用于单向预测的运动信息。
(4)根据(1)所述的方法，
其中，当所述预定义的帧间模式是合并模式时，得出所述运动信息包括：
构造所述当前块的合并候选列表；以及
从所述合并候选列表中得出所述当前块的运动信息，并且
其中，所述合并候选列表包括空间合并候选、时间合并候选或组合合并候选中的至少之一。
(5)根据(1)所述的方法，
其中，当所述预定义的帧间模式是仿射模式时，得出所述运动信息包括：
生成由所述当前块的仿射候选组成的候选列表；
基于所述候选列表和候选索引得出所述当前块的控制点向量；以及
基于所述当前块的控制点向量得出所述当前块的运动向量。
(6)根据(5)所述的方法，
其中，所述仿射候选包括空间候选、时间候选或构造候选中的至少之一。
(7)根据(5)所述的方法，
其中，在考虑预定参考区域的大小的情况下得出所述当前块的运动向量，以及
其中，所述参考区域包括由n个子块的运动向量指定的参考块和用于对所述参考块的分数像素进行插值的像素。
(8)根据(7)所述的方法，
其中，当所述参考区域的大小小于或等于阈值时，针对每个子块得出所述当前块的运动向量，
其中，当所述参考区域的大小大于所述阈值时，针对所述当前块得出一个运动向量。
(9)根据(8)所述的方法，
其中，所述当前块的运动向量基于仿射运动参数得出，以及
其中，所述仿射运动参数基于所述当前块的控制点向量来计算。
(10)根据(1)所述的方法，
其中，所述当前块属于预定的子图片，以及
其中，所述子图片被定义为构成一个图片的多个网格中的具有相同索引的一组网格。

Claims (4)

1.一种对图像进行解码的方法，所述方法包括：
基于在图像解码装置中预定义的帧间模式，得出当前块的运动信息；以及
基于所述运动信息对所述当前块执行帧间预测；
其中，当所述预定义的帧间模式是合并模式时，根据合并候选列表中的多个合并候选中由合并索引指定的合并候选的用于双向预测的运动信息来得出仅用于单向预测的运动信息，
其中，当所述预定义的帧间模式是仿射模式时，根据仿射候选列表中的多个仿射候选中由仿射候选索引指定的仿射候选的用于双向预测的运动信息来得出用于双向预测的运动信息，以及
其中，当所述预定义的帧间模式是所述合并模式时，所述合并候选列表中的所述多个合并候选包括空间合并候选、时间合并候选或组合合并候选中的至少一个。
2.根据权利要求1所述的方法，
其中，当所述预定义的帧间模式是所述合并模式时，基于所述当前块的宽度和高度的乘积为64而根据所述合并候选的用于双向预测的运动信息来得出仅用于单向预测的运动信息。
3.一种对图像进行编码的方法，所述方法包括：
基于在图像编码装置中预定义的帧间模式，得出当前块的运动信息，
基于所述运动信息对所述当前块执行帧间预测，
其中，当所述预定义的帧间模式是合并模式时，根据合并候选列表中的多个合并候选中的合并候选的用于双向预测的运动信息来得出仅用于单向预测的运动信息，
其中，当所述预定义的帧间模式是仿射模式时，根据仿射候选列表中的多个仿射候选中的仿射候选的用于双向预测的运动信息来得出用于双向预测的运动信息，以及
其中，当所述预定义的帧间模式是所述合并模式时，所述合并候选列表中的所述多个合并候选包括空间合并候选、时间合并候选或组合合并候选中的至少一个。
4.一种用于存储由图像编码方法生成的比特流的非暂态计算机可读介质，所述方法包括：
基于在图像编码装置中预定义的帧间模式，得出当前块的运动信息，
基于所述运动信息对所述当前块执行帧间预测，
其中，当所述预定义的帧间模式是合并模式时，根据合并候选列表中的多个合并候选中的合并候选的用于双向预测的运动信息来得出仅用于单向预测的运动信息，
其中，当所述预定义的帧间模式是仿射模式时，根据仿射候选列表中的多个仿射候选中的仿射候选的用于双向预测的运动信息来得出用于双向预测的运动信息，以及
其中，当所述预定义的帧间模式是所述合并模式时，所述合并候选列表中的所述多个合并候选包括空间合并候选、时间合并候选或组合合并候选中的至少一个。
CN202411372248.0A 2018-09-25 2019-09-25 用于对图像进行编码或解码的方法和装置以及非暂态计算机可读介质 Pending CN118972576A (zh)

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
KR10-2018-0114556 2018-09-25
KR20180114556 2018-09-25
KR20180114569 2018-09-26
KR10-2018-0114569 2018-09-26
KR10-2018-0118133 2018-10-04
KR20180118133 2018-10-04
KR20180126400 2018-10-23
KR10-2018-0126400 2018-10-23
PCT/KR2019/012439 WO2020067709A1 (ko) 2018-09-25 2019-09-25 인터 모드 기반의 영상 부호화/복호화 방법 및 장치
CN201980071465.7A CN112956195B (zh) 2018-09-25 2019-09-25 用于基于帧间模式对图像进行编码或解码的方法和装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201980071465.7A Division CN112956195B (zh) 2018-09-25 2019-09-25 用于基于帧间模式对图像进行编码或解码的方法和装置

Publications (1)

Publication Number Publication Date
CN118972576A true CN118972576A (zh) 2024-11-15

Family

ID=69953195

Family Applications (4)

Application Number Title Priority Date Filing Date
CN202411372982.7A Pending CN118972577A (zh) 2018-09-25 2019-09-25 用于对图像进行编码或解码的方法和装置以及非暂态计算机可读介质
CN201980071465.7A Active CN112956195B (zh) 2018-09-25 2019-09-25 用于基于帧间模式对图像进行编码或解码的方法和装置
CN202411372248.0A Pending CN118972576A (zh) 2018-09-25 2019-09-25 用于对图像进行编码或解码的方法和装置以及非暂态计算机可读介质
CN202411372313.XA Pending CN119011829A (zh) 2018-09-25 2019-09-25 用于对图像进行编码或解码的方法和装置以及非暂态计算机可读介质

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN202411372982.7A Pending CN118972577A (zh) 2018-09-25 2019-09-25 用于对图像进行编码或解码的方法和装置以及非暂态计算机可读介质
CN201980071465.7A Active CN112956195B (zh) 2018-09-25 2019-09-25 用于基于帧间模式对图像进行编码或解码的方法和装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202411372313.XA Pending CN119011829A (zh) 2018-09-25 2019-09-25 用于对图像进行编码或解码的方法和装置以及非暂态计算机可读介质

Country Status (5)

Country Link
US (4) US11582480B2 (zh)
KR (1) KR20210052566A (zh)
CN (4) CN118972577A (zh)
CA (1) CA3141117A1 (zh)
WO (1) WO2020067709A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11582480B2 (en) 2018-09-25 2023-02-14 Digitalinsights Inc. Method and device for encoding or decoding image on basis of inter mode
CN119364020A (zh) * 2018-12-27 2025-01-24 英迪股份有限公司 图像编码和解码方法以及数字存储介质
KR20220006055A (ko) * 2019-05-11 2022-01-14 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 다중 인트라 코딩 방법 사이의 상호 작용
US11212530B2 (en) * 2019-06-24 2021-12-28 Tencent America LLC Method for slice, tile and brick signaling
CN112381180B (zh) * 2020-12-09 2022-08-23 杭州拓深科技有限公司 一种基于互重构单类自编码器的电力设备故障监测方法
EP4425926A1 (en) * 2021-09-29 2024-09-04 LG Electronics Inc. Image encoding/decoding method and device, and recording medium having bitstream stored therein
CN118056403A (zh) * 2021-09-29 2024-05-17 Lg 电子株式会社 图像编码/解码方法和装置以及存储比特流的记录介质

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8879632B2 (en) 2010-02-18 2014-11-04 Qualcomm Incorporated Fixed point implementation for geometric motion partitioning
HUE060453T2 (hu) * 2011-01-07 2023-03-28 Lg Electronics Inc Eljárás videóinformációk kódolására, eljárás videóinformációk dekódolására, és dekódoló készülék videóinformációk dekódolására
US9584819B2 (en) * 2011-10-24 2017-02-28 Qualcomm Incorporated Grouping of tiles for video coding
US10244246B2 (en) * 2012-02-02 2019-03-26 Texas Instruments Incorporated Sub-pictures for pixel rate balancing on multi-core platforms
US9451277B2 (en) 2012-02-08 2016-09-20 Qualcomm Incorporated Restriction of prediction units in B slices to uni-directional inter prediction
JP6214235B2 (ja) * 2012-07-02 2017-10-18 キヤノン株式会社 ファイル生成方法、ファイル生成装置、及びプログラム
US9491460B2 (en) 2013-03-29 2016-11-08 Qualcomm Incorporated Bandwidth reduction for video coding prediction
WO2016008157A1 (en) * 2014-07-18 2016-01-21 Mediatek Singapore Pte. Ltd. Methods for motion compensation using high order motion model
KR102583501B1 (ko) 2015-04-27 2023-09-27 엘지전자 주식회사 비디오 신호의 처리 방법 및 이를 위한 장치
WO2017003063A1 (ko) * 2015-06-28 2017-01-05 엘지전자(주) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
EP3355578B1 (en) * 2015-09-24 2020-12-09 LG Electronics Inc. Motion vector predictor derivation and candidate list construction
WO2017147765A1 (en) * 2016-03-01 2017-09-08 Mediatek Inc. Methods for affine motion compensation
CN109155847A (zh) 2016-03-24 2019-01-04 英迪股份有限公司 用于编码/解码视频信号的方法和装置
US10007867B2 (en) 2016-04-04 2018-06-26 Google Llc Systems and methods for identifying entities directly from imagery
GB2550604A (en) * 2016-05-24 2017-11-29 Canon Kk Method, device, and computer program for encapsulating and parsing timed media data
US10291923B2 (en) * 2016-05-24 2019-05-14 Qualcomm Incorporated Mapping of tile grouping and samples in HEVC and L-HEVC file formats
GB2550912B (en) * 2016-05-27 2019-09-04 Canon Kk Method, device and computer program for encapsulating and parsing timed media data
US11381829B2 (en) 2016-08-19 2022-07-05 Lg Electronics Inc. Image processing method and apparatus therefor
WO2018061563A1 (ja) * 2016-09-27 2018-04-05 シャープ株式会社 アフィン動きベクトル導出装置、予測画像生成装置、動画像復号装置、および動画像符号化装置
US10448010B2 (en) * 2016-10-05 2019-10-15 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding
US10681370B2 (en) * 2016-12-29 2020-06-09 Qualcomm Incorporated Motion vector generation for affine motion model for video coding
WO2019243539A1 (en) * 2018-06-21 2019-12-26 Telefonaktiebolaget Lm Ericsson (Publ) Tile partitions with sub-tiles in video coding
US11582480B2 (en) 2018-09-25 2023-02-14 Digitalinsights Inc. Method and device for encoding or decoding image on basis of inter mode

Also Published As

Publication number Publication date
US20220086459A1 (en) 2022-03-17
CA3141117A1 (en) 2020-04-02
CN112956195B (zh) 2024-10-25
WO2020067709A1 (ko) 2020-04-02
US20240397087A1 (en) 2024-11-28
US12081795B2 (en) 2024-09-03
KR20210052566A (ko) 2021-05-10
CN119011829A (zh) 2024-11-22
US11582480B2 (en) 2023-02-14
CN118972577A (zh) 2024-11-15
US20230171424A1 (en) 2023-06-01
CN112956195A (zh) 2021-06-11
US11418808B2 (en) 2022-08-16
US20210344951A1 (en) 2021-11-04

Similar Documents

Publication Publication Date Title
CN112956195B (zh) 用于基于帧间模式对图像进行编码或解码的方法和装置
CN112369021B (zh) 用于吞吐量增强的图像编码/解码方法和设备以及存储比特流的记录介质
CN112740697B (zh) 图像编码/解码方法和装置及存储比特流的记录介质
JP2024045337A (ja) ビデオ信号の符号化／復号方法及び前記方法のための装置
CN112771872B (zh) 使用帧间预测的图像编码/解码方法和装置
CN112369034B (zh) 使用合并候选的视频编码方法和装置
CN112385231B (zh) 图像编码/解码方法和装置
CN113507603B (zh) 图像信号编码/解码方法及其设备
CN111656783A (zh) 使用基于子块的运动补偿进行视频信号处理的方法和装置
KR20190038405A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN113196758B (zh) 图像编码/解码方法和设备以及存储比特流的记录介质
CN114731409A (zh) 图像编码/解码方法和装置、以及存储比特流的记录介质
CN112740694A (zh) 用于对图像进行编码/解码的方法和设备以及用于存储比特流的记录介质
KR20190044554A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN110024402A (zh) 图像编码/解码方法和装置以及存储有比特流的记录介质
CN118632022A (zh) 视频信号编码/解码方法及其装置
CN113841404B (zh) 视频编码/解码方法和设备以及存储比特流的记录介质
CN112335248A (zh) 使用解码器侧的运动补偿的视频编码方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination