[go: up one dir, main page]

CN104396261B - 使用高速边缘检测的视频编码方法和装置以及相关视频解码方法和装置 - Google Patents

使用高速边缘检测的视频编码方法和装置以及相关视频解码方法和装置 Download PDF

Info

Publication number
CN104396261B
CN104396261B CN201380031818.3A CN201380031818A CN104396261B CN 104396261 B CN104396261 B CN 104396261B CN 201380031818 A CN201380031818 A CN 201380031818A CN 104396261 B CN104396261 B CN 104396261B
Authority
CN
China
Prior art keywords
picture
unit
coding
coding unit
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201380031818.3A
Other languages
English (en)
Other versions
CN104396261A (zh
Inventor
金赞烈
崔雄
崔雄一
金宰贤
朴正辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN104396261A publication Critical patent/CN104396261A/zh
Application granted granted Critical
Publication of CN104396261B publication Critical patent/CN104396261B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167Position within a video image, e.g. region of interest [ROI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公开了一种使用用于确定画面的划分形状的快速边缘检测的视频编码方法和设备。具有树结构的编码单元的划分形状通过以下处理而被获得:基于通过对具有预定尺寸的采样单元进行的正交变换而获得的最大高频分量,用边缘像素和正常像素中的一种像素来替换所述采样单元并获得下采样的画面,并且重复执行将下采样的画面划分为编码单元并根据在编码单元中是否存在边缘像素来将编码单元划分为更低编码单元的处理。

Description

使用高速边缘检测的视频编码方法和装置以及相关视频解码 方法和装置
技术领域
本发明涉及视频编码和解码,更具体地讲,涉及用于通过对视频预先进行的预处理确定画面的划分形状并基于所确定的画面的划分形状来对视频进行编码和解码的方法和设备。
背景技术
由于能够再现和存储高分辨率或高质量视频内容的硬件已被开发出并被出售,因此对于能够对高分辨率或高质量视频内容进行有效编码或解码的视频编解码器的需求已增加。现有的视频编解码器根据基于具有预定尺寸的宏块的有限编码方法对视频进行编码。此外,现有的视频编解码器通过对宏块进行光栅扫描来对视频数据进行编码/解码。
发明内容
技术问题
本发明提供了通过对画面执行的预处理使用具有树结构的编码单元预先确定输入画面的划分形状,而不是通过率失真最优化来确定画面的具有可变尺寸的编码单元。
技术方案
根据本发明的实施例,使用正交变换来产生包括正常像素和边缘像素的下采样的画面,并且基于在下采样的画面中分布的边缘像素来将画面划分为具有树结构的编码单元。
有益效果
根据本发明的实施例,输入画面的划分结构可在无需用于确定可变编码单元的尺寸和结构的重复操作处理的情况下而被确定,从而根据本发明的实施例,降低了执行确定画面的划分结构的处理所花费的运算量,并且提高了图像的编码处理速度。
附图说明
图1是根据本发明的实施例的视频编码设备的框图;
图2A是根据本发明的实施例的对采样单元执行的正交变换处理的示例的示图;
图2B是根据本发明的另一实施例的对当前画面和先前画面的用于下采样的采样单元进行的正交变换处理的示例的示图;
图3A是根据本发明的实施例的用于解释从下采样的画面确定编码单元的划分形状的处理的参考示图;
图3B是根据本发明的实施例的基于下采样的画面的最大编码单元的划分形状来确定原始画面的最大编码单元的划分形状的示例的示图;
图4示出根据本发明的实施例的画面划分处理的示例;
图5是根据本发明的实施例的与图1的图像编码器相应的图像编码设备的框图;
图6是示出根据本发明的实施例的根据深度的较深层编码单元和分区的示图;
图7是用于描述根据本发明的实施例的编码单元和变换单元之间的关系的示图;
图8是用于描述根据本发明的实施例的与编码深度相应的编码单元的编码信息的示图;
图9是根据本发明的实施例的根据深度的较深层编码单元的示图;
图10至图12是用于描述根据本发明的实施例的编码单元、预测单元和变换单元之间的关系的示图;
图13是示出根据本发明的实施例的视频编码方法的流程图;
图14是根据本发明的实施例的视频解码设备的框图;
图15是根据本发明的实施例的与图14的图像解码器相应的视频解码设备的框图;
图16是示出根据本发明的实施例的视频解码方法的流程图。
最佳模式
根据本发明的一方面,提供了一种视频编码方法,包括:从画面获得具有预定尺寸的采样单元;对每个采样单元执行正交变换并将每个采样单元变换为正交分量和高频分量;通过基于高频分量用边缘像素和正常像素之一替换每个采样单元来对画面执行下采样;将下采样的画面划分为具有预定尺寸的编码单元;通过重复执行根据边缘像素是否被包括在编码单元中来将编码单元划分为更低编码单元的处理,确定编码单元的划分形状;基于包括在下采样的画面中的编码单元的划分形状来将画面划分为具有树结构的编码单元,并基于所划分的具有树结构的编码单元来对画面进行编码。
根据本发明的另一方面,提供了一种视频编码设备,包括:正交变换器,用于从画面获得具有预定尺寸的采样单元,对每个采样单元执行正交变换并将每个采样单元变换为正交分量和高频分量;下采样器,用于通过基于高频分量用边缘像素和正常像素之一替换每个采样单元来对画面执行下采样;划分形状确定器,用于将下采样的画面划分为具有预定尺寸的编码单元,并通过重复执行根据边缘像素是否被包括在编码单元中来将编码单元划分为更低编码单元的处理,确定编码单元的划分形状;图像编码器,用于基于包括在下采样的画面中的编码单元的划分形状来将画面划分为具有树结构的编码单元,并基于所划分的具有树结构的编码单元来对画面进行编码。
根据本发明的另一方面,提供了一种视频解码方法,包括:接收并解析关于编码的视频的比特流;从比特流提取编码单元的尺寸、关于编码单元的划分形状的信息和预测模式信息,其中,编码单元是用于对视频的画面进行解码的数据单元;基于编码单元的尺寸和划分形状,将编码单元划分为具有树结构的编码单元,并根据具有树结构的编码单元的预测模式来对画面执行预测解码,其中,具有树结构的编码单元的划分形状通过以下处理来获得:基于通过对具有预定尺寸的采样单元进行正交变换而获得的最大高频分量,用边缘像素和正常像素之一替换所述采样单元并获得下采样的画面,并且重复执行将下采样的画面划分为编码单元并根据在编码单元中是否存在边缘像素来将编码单元划分为更低编码单元的处理。
根据本发明的另一方面,提供了一种视频解码设备,包括:接收器,用于接收并解析关于编码的视频的比特流;提取器,用于从比特流提取编码单元的尺寸、关于编码单元的划分形状的信息和预测模式信息,其中,所述编码单元是用于对视频的画面进行解码的数据单元;图像解码器,用于基于编码单元的尺寸和划分形状,将编码单元划分为具有树结构的编码单元,并根据具有树结构的编码单元的预测模式来对画面执行预测解码,其中,具有树结构的编码单元的划分形状通过以下处理来获得:基于通过对具有预定尺寸的采样单元进行正交变换而获得的最大高频分量,用边缘像素和正常像素之一替换所述采样单元并获得下采样的画面,并且重复执行将下采样的画面划分为编码单元并根据在编码单元中是否存在边缘像素来将编码单元划分为更低编码单元的处理。
具体实施方式
现在将参照以下附图详细描述本发明的实施例。
大多数视频编码设备使用运动预测和补偿方法来去除时间方向的冗余。使用运动矢量的图像压缩被用于通过发送运动矢量而非发送当前图像来实现高压缩能力。实际图像可包括多个可具有各种运动的对象。因此,将图像划分为块并且搜索并发送划分的块的运动矢量的基于块的运动预测和补偿方法被广泛使用。基于块的运动预测和补偿方法将输入图像划分为块单元,并将每个块的运动表现为2D运动矢量并对所述运动进行补偿。诸如H.264/AVC的传统编解码器将图像划分为具有从16×16至4×4的可变尺寸的块,并执行运动补偿。基于具有可变尺寸的块的运动补偿良好地反映出图像的特性,从而提高编码效率,同时需要高复杂度。
H.264/AVC帧内预测将图像划分为具有16×16、8×8、4×4等的各种尺寸的块,并通过使用周边的参考像素来执行预测。H.264/AVC帧间预测将图像划分为具有16×16、16×8、8×16、8×8、8×4、4×8、4×4等的各种尺寸的块,并通过使用先前编码的参考图像来执行预测和补偿。为了在帧间模式和帧内模式之间选择具有最高编码效率的模式,H.264/AVC使用基于拉格朗日函数的代价函数。作为示例,率失真函数被用作代价函数。
在H.264/AVC中,基本编码单元的尺寸是尺寸为16×16的宏块,所述宏块对于用于高质量视频(诸如超高清晰度(UHD))而言过小,并且因而并不合适。因此,由移动图像专家组(MPEG)和视频编码专家组(VCEG)共同建立的关于视频编码的联合协作组(JCT-VC)正针对比传统视频编解码器更有效的标准化技术开发,进行作为高效视频编码(HEVC)的视频编解码器的标准化。
与传统的H.264/AVC类似,HEVC使用矩形形状的块作为基本编码单元。HEVC不限于传统的16×16的宏块,并可通过使用尺寸为32×32、64×64等的块来对图像进行编码。为了在不限制尺寸的情况下对编码单元的尺寸进行可变调整。使用指示最大编码单元的划分次数的深度以及最大编码单元。最大编码单元被称为编码树块。最大编码单元可通过彼此重叠而不被编码。包括在单个最大编码单元中的编码单元被划分为树结构并被编码。HEVC还基于率失真函数来确定最大编码单元的划分形状和预测模式。
如上所述,视频编解码器大多将图像划分为具有预定尺寸的块,并确定率失真被最优化的块的划分形状和预测模式。尽管用于运动预测和补偿的块的尺寸越小,更准确的预测越可能,但针对每个块而将被编码的运动矢量的信息量增加,因此编码效率恶化。为了确定率失真被最优化的块的划分形状,针对所有可用的可变块尺寸对图像进行编码并比较根据可变块尺寸的率失真的处理是必要的,因此需要极大量的运算来确定图像的最优划分形状。具体地讲,当具有非常大尺寸的编码单元(诸如HEVC)和诸如4×4的小编码单元可用时,用于计算率失真的运算量极大地增加。
因此,本发明提供了一种通过图像编码的预处理来确定图像的划分形状,而不是通过计算根据图像的划分形状的率失真以确定图像的划分形状的方法。
图1A是根据本发明的实施例的图像编码设备10的框图。
参照图1A,视频编码设备10包括预处理器11、图像编码器12和输出单元13。
预处理器11基于作为具有最大尺寸的编码单元的最大编码单元来划分画面,并确定最大编码单元的划分形状。具体地讲,预处理器11不通过使用率失真最优化方法来确定最大编码单元的划分形状,而是按预定采样单元对画面执行正交变换,通过用正常像素或边缘像素替换采样单元来对画面执行下采样,根据下采样的画面中的边缘像素的位置来将最大编码单元划分为更小的更低编码单元,并确定下采样的画面的划分形状。稍后将更详细地描述预处理器11的确定画面的划分形状的处理。
图像编码器12基于预处理器11确定的最大编码单元的划分形状,对包括在最大编码单元中的编码单元执行预测编码。图像编码器12可按照预测单元对预处理器11确定的编码单元执行编码,或者可通过再次将编码单元划分为用于预测的较小分区,对预处理器11确定的编码单元执行预测编码。稍后将参照图5描述图像编码器12的操作。
输出单元13将以下信息输出到比特流形状中:关于由预处理器11确定的最大编码单元的划分形状和由图像编码器12确定的最大编码单元的编码图像数据的信息、以及诸如编码模式的编码信息。关于最大编码单元的划分形状的信息可以是根据深度的指示是否划分编码单元的划分标记信息。输出单元13可将关于根据画面、条带或画面组(GOP)而定义的尺寸和可变深度的编码单元结构信息添加到比特流。
根据实施例的可变深度可指示对于当前树结构的编码单元而可允许的最大深度、以及具有最小尺寸的编码单元的最低深度、深度级别的数量或深度的改变量。
根据实施例的深度级别的数量可指示可在当前树结构的编码单元中存在的根据深度的编码单元的深度级别的数量。根据实施例的可在当前树结构的编码单元中存在的深度的改变量可指示深度级别的可变频率次数。
可针对每个序列、画面、条带或GOP来设置根据实施例的关于可变长度的信息。也就是说,对于每个序列、画面、条带或GOP,关于当前树结构的编码单元中可允许的编码单元的最大尺寸和最小尺寸中的至少一个的信息和关于可变深度的信息可被设置。
输出单元13输出的编码信息可被分类为根据深度的编码单元的编码信息和预测单元的编码信息。根据深度的编码单元的编码信息可包括预测模式信息和分区尺寸信息。针对每个预测单元而发送的编码信息可包括关于帧间模式的估计方向的信息、关于帧间模式的参考图像索引的信息、关于运动矢量的信息、关于帧内模式的颜色分量的信息、关于帧内模式的插值方法的信息等。输出单元13输出的编码信息可包括变换索引。根据实施例的变换索引信息可以是关于用于对当前编码单元进行变换的变换单元的结构的信息。根据实施例的变换索引信息可指示当前变换单元是否划分为更低深度的变换单元。
输出单元13可将关于最大编码单元的划分形状的信息和关于编码模式的信息插入到编码的视频数据(包括视频参数集(VPS)、序列参数集(SPS)、画面参数集(PPS)和自适应参数集(APS)以及条带头)并输出所述信息。
图1B是根据本发明的实施例的图1A的预处理器11的具体配置的框图。
参照图1B,预处理器11包括正交变换器14、下采样器15和划分形状确定器16。
正交变换器14从画面获得具有预定尺寸的采样单元,对每个采样单元执行正交变换,并将每个采样单元变换为正交分量和高频分量。根据实施例的正交变换器14可使用哈达玛(Hadamard)变换作为正交变换。哈达玛变换作为仅使用加法和减法的简单正交变换而能够进行快速处理。在下面现在将描述在哈达玛变换被用作正交变换的情况,但不限于此。可使用其他正交变换。
下采样器15通过基于高频分量用边缘像素和正常像素之一替换每个采样单元来对画面执行下采样。例如,当正交变换器14对尺寸为2×2的采样单元执行正交变换时,下采样器15将包括在采样单元中的最大尺寸的高频分量与预定阈值进行比较,用单个正常像素或边缘像素替换尺寸为2×2的采样单元,从而获得下采样的画面。如果原始画面是N×M(N和M是整数),并且被正交变换的采样单元的尺寸是n×m(n和m是整数),则下采样器15用一个正常像素或边缘像素替换尺寸为n×m的采样单元,从而获得尺寸为(N/m)×(M/m)的下采样的画面。
划分形状确定器16重复执行将下采样的画面划分为具有预定尺寸的编码单元(例如,最大编码单元),并根据在最大编码单元中是否存在边缘像素来将最大编码单元划分为更低编码单元的处理,从而确定最大编码单元的划分形状。
如上所述,图1A的图像编码器12通过使用由划分形状确定器16确定的包括在下采样的画面中的最大编码单元的划分形状,确定包括在相应当前画面的最大编码单元中的具有树结构的编码单元的结构(即,最大编码单元的划分形状)。图像编码器12基于从最大编码单元划分的编码单元来执行预测编码。
图2A是根据本发明的实施例的对采样单元执行的正交变换处理的示例的示图。
参照图1B和图2A,正交变换器14从将被编码的当前画面20获得具有预定尺寸的采样单元21。图2A示出采样单元21的尺寸为2×2的情况。采样单元21的尺寸不限于此并可被修改。正交变换器14对尺寸为2×2的采样单元21执行哈达玛变换。如果包括在采样单元21中的输入信号是h0、h1、h2和h3,则正交变换器14通过诸如以下算法的哈达玛变换公式来从输入信号h0、h1、h2和h3获得正交分量F(0,0)和高频分量F(0,1)、F(1,0)和F(1,1):
{
F(0,0)=(h0+h1+h2+h3)/2
F(0,1)=(h0+h1-h2-h3)/2
F(1,0)=(h0-h1-h2+h3)/2
F(1,1)=(h0-h1+h2-h3)/2
}
下采样器15将经过哈达玛变换的分量22之中的高频分量F(0,1)、F(1,0)和F(1,1)的最大值与预定阈值th进行比较。所述预定阈值th可使用基于量化参数QP而确定的值。作为示例,所述预定阈值th可基于诸如QP*α(α是实数)的量化参数QP来确定。
下采样器15将高频分量之中的最大值的绝对值与阈值th进行比较,如果所述绝对值小于阈值th,则下采样器15用单个正常像素来替换采样单元21。如果所述绝对值等于或大于所述阈值th,则下采样器15用单个边缘像素来替换采样单元21。被替换为正常像素的采样单元21可能与很可能是平坦区域的区域相应。被替换为边缘像素的采样单元21可包括边缘或多个运动,并且可以是为了准确的运动预测和补偿而划分的区域。
图2B是根据本发明的另一实施例的分别对当前画面23和先前画面25的用于进行下采样的采样单元24和26进行的正交变换处理的示例的示图。
预处理器11可将从当前画面23的采样单元24获得的高频分量与从先前画面25的采样单元26获得的高频分量进行比较,并用正常像素或边缘像素来替换当前画面23的采样单元24。
更详细地,正交变换器14对当前画面23的采样单元24执行哈达玛变换,并获得高频分量。正交变换器14对先前画面25的采样单元26执行哈达玛变换,并获得高频分量。当从当前画面的23的采样单元24获得的高频分量与从当前画面25的采样单元26获得的高频分量之间的差的绝对值的最大值小于预定阈值th时,下采样器15用单个正常像素来替换采样单元24,当所述最大值大于所述预定阈值th时,下采样器15用单个边缘像素来替换采样单元24。也就是说,如果通过对当前画面23的采样单元24执行哈达玛变换而获得的高频分量是F(u,v)t((u,v)是(0,1),(1,0)和(1,1)之一),并且通过对当前画面25的采样单元26执行哈达玛变换而获得的高频分量是F(u,v)t-1,则当满足了以下等式时,下采样器15用边缘像素替换当前画面23的采样单元24,并且当满足以下等式时,下采样器15用正常像素来替换当前画面23的采样单元24。
预处理器11对包括在当前画面中的所有像素执行上述采样、正交变换和下采样。因此,如上所述,如果原始画面是N×M(N和M是整数)并且被正交变换的采样单元的尺寸是n×m(n和m是整数),则获得(N/m)x(M/m)的下采样的画面。在基于如上所述的尺寸为2×2的采样单元的情况下,获得(N/2)×(M/2)的下采样的画面。下采样的画面是具有正常像素和边缘像素两种类型的像素的二值编码的图像,并且被用于确定画面的划分形状。
划分形状确定器16通过重复执行将下采样的画面划分为具有预定尺寸的编码单元(例如,最大编码单元)并根据在最大编码单元中是否存在边缘像素来将最大编码单元划分为更低编码单元的处理,确定最大编码单元的划分形状。
图3A是根据本发明的实施例的用于解释从下采样的画面确定编码单元的划分形状的处理的参考示图。图3A示出当假设下采样的画面划分为具有预定尺寸的编码单元(例如,最大编码单元)时将单个最大编码单元划分为具有树结构的编码单元的处理。作为示例,假设在下采样的画面中可用的最大编码单元的尺寸为32×32。
参照图3A,假设在最大编码单元31中存在两个边缘像素E1和E2。只要在原始最大编码单元31中存在边缘像素,划分形状确定器16就根据先前确定的划分形状划分最大编码单元31。如果在相应的编码单元中存在边缘像素,则划分形状确定器16将划分的编码单元划分为更小的更低编码单元。例如,由于在最大编码单元31中存在边缘像素E1和E2,因此划分形状确定器16对最大编码单元31进行划分并确定第一划分形状32。划分形状确定器16将包括在最大编码单元31中的更低的第一编码单元之中的包括边缘像素E1的第一编码单元33和包括边缘像素E2的第一编码单元34划分为4个编码单元,并确定第二划分形状35。划分形状确定器16将包括在最大编码单元31中的更低的第二编码单元之中的包括边缘像素E1的第二编码单元36和包括边缘像素E2的第二编码单元37划分为4个编码单元,并确定第三划分形状38。这样的根据是否存在边缘像素来划分编码单元的处理可被重复执行,直到包括边缘像素的更低编码单元是最小编码单元为止。在图3A中,如果最小编码单元的尺寸是4×4,则最大编码单元31的划分形状可被最终确定为第三划分形状38。
如果划分形状确定器16可基于边缘像素确定包括在下采样的画面中的最大编码单元31的划分形状,则原始画面的最大编码单元的划分形状可基于所述确定而被确定。
图3B是根据本发明的实施例的基于下采样的画面的最大编码单元310的划分形状来确定原始画面的最大编码单元320的划分形状的示例的示图。
参照图3B,如果包括在下采样的画面中的最大编码单元310的划分形状被确定,则划分形状确定器16可按如上所述的相同方式来确定相应原始画面的最大编码单元320的划分形状。如果下采样的画面的最大编码单元310的尺寸为n×m,并且相应原始画面的最大编码单元320的尺寸为N×M,则下采样的画面的最大编码单元310的划分形状可沿水平方向扩展(N/n),并沿垂直方向扩展(M/m)。
图4示出根据本发明的实施例的画面划分处理的示例。
参照图4,正交变换器14对从原始画面41获得的采样单元执行正交变换,并且下采样器15基于从采样单元获得的高频分量用正常像素或边缘像素来替换采样单元,从而获得下采样的画面42。划分形状确定器16将下采样的画面43划分为具有最大尺寸的最大编码单元,并根据预定扫描顺序(例如,光栅扫描顺序)确定每个最大编码单元的划分形状。划分形状确定器16可通过重复执行基于包括在每个最大编码单元中的边缘像素将最大编码单元划分为更低编码单元并将更低编码单元划分为更小的更低编码单元的处理,确定每个最大编码单元的划分形状。将最大编码单元划分为更低编码单元的操作可被重复执行,直到边缘像素被置于先前确定的最小编码单元中。如果在原始画面中可用的最小编码单元是a×b(a和b是整数)并且采样单元的尺寸是n×m,则在下采样的画面中可用的最小编码单元是(a/n)×(b/m)。划分形状确定器16可重复执行上述划分处理,直到包括在下采样的画面中的边缘像素被包括在尺寸为(a/n)×(b/m)的最小编码单元中为止。例如,当在原始画面中可用的最小编码单元为4×4并且采样单元的尺寸是2×2时,划分形状确定器16可重复执行上述划分处理,直到包括在下采样的画面中的边缘像素被包括在尺寸为2×2的编码单元中为止。
再次参照图1A,图像编码器12基于由预处理器11确定的最大编码单元的划分形状来对包括在最大编码单元中的编码单元执行预测编码。图像编码器12可通过使用由预处理器11确定的编码单元作为预测单元来执行编码,并可通过将由预处理器11确定的编码单元划分为更小的用于进行预测的分区来执行预测编码。
图5是根据本发明的实施例的与图1的编码器12相应的图像编码设备500的框图。
参照图5,帧内预测器510对当前帧505之中的划分的编码单元执行帧内预测,运动估计器520和运动补偿器525对编码单元执行运动预测和运动补偿。
从帧内预测器510和运动补偿器525输出的每个编码单元的预测值通过频率变换器530和量化器540被输出为量化的变换系数。量化的变换系数通过反量化器560和频率逆变换器570被恢复为空间域中的数据,并且恢复的空间域中的数据在通过去块单元570和环路滤波单元580后处理之后被输出为参考帧595。量化的变换系数可通过熵编码器550被输出为比特流555。
帧内预测器510、运动估计器520和运动补偿器525可确定具有树结构的编码单元之中的每个编码单元的分区和预测模式,频率变换器530可确定每个编码单元中的变换单元的尺寸。
图6是示出根据本发明的实施例的根据深度的较深层编码单元和分区的示图。
根据实施例的视频编码设备10使用分层编码单元以考虑图像的特征。可根据图像的特征自适应地确定编码单元的最大高度、最大宽度和最大深度,或可由用户不同地设置编码单元的最大高度、最大宽度和最大深度。如上所述,根据实施例的视频编码设备10可基于根据包括在下采样的画面中的边缘而确定的最大编码单元的划分形状,确定根据深度的编码单元的尺寸和划分形状。
在根据实施例的编码单元的分层结构600中,编码单元的最大高度和最大宽度均是64,最大深度是3。在这一点上,最大深度指示从最大编码单元到最小编码单元的总划分次数。由于沿着根据实施例的编码单元的分层结构600的垂直轴深度增加,因此较深层编码单元的高度和宽度均被划分。另外,预测单元和分区沿着编码单元的分层结构600的水平轴被示出,其中,所述预测单元和分区是对每个较深层编码单元进行预测编码的基础。
换言之,在编码单元的分层结构600中,编码单元610是最大编码单元,其中,深度为0,尺寸(即,高度乘宽度)为64×64。深度沿着垂直轴增大,存在尺寸为32×32且深度为1的编码单元620、尺寸为16×16且深度为2的编码单元630以及尺寸为8×8且深度为3的编码单元640。尺寸为8×8且深度为3的编码单元640是最小编码单元。
编码单元的预测单元和分区根据每个深度沿着水平轴被排列。换言之,如果尺寸为64×64且深度为0的编码单元610是预测单元,则可将预测单元划分成包括在编码单元610中的分区,即,尺寸为64×64的分区610、尺寸为64×32的分区612或尺寸为32×64的分区614。由于尺寸为64×64的编码单元610不是最小编码单元,因此尺寸为32×32的分区616未被设置。
类似地,可将尺寸为32×32且深度为1的编码单元620的预测单元划分成包括在编码单元620中的分区,即,尺寸为32×32的分区620、尺寸为32×16的分区622和尺寸为16×32的分区624。由于尺寸为32×32的编码单元620不是最小编码单元,因此尺寸为16×16的分区626未被设置。
类似地,可将尺寸为16×16且深度为2的编码单元630的预测单元划分成包括在编码单元630中的分区,即,包括在编码度单元630中的尺寸为16×16的分区、尺寸为16×8的分区632和尺寸为8×16的分区634。由于尺寸为16×16的编码单元630不是最小编码单元,因此尺寸为8×8的分区636未被设置。
最后,尺寸为8×48且深度为3的编码单元640是最小编码单元和最低深度的编码单元。编码单元640的预测单元可被划分为包括在编码单元640中的分区,即,包括在编码单元640中的尺寸为8×8的分区、尺寸为8×4的分区642、尺寸为4×8的分区644以及尺寸为4×4的分区646。
图7是用于解释根据本发明的实施例的编码单元710和变换单元720之间的关系的示图。
根据实施例的视频编码设备10针对每个最大编码单元,根据具有小于或等于最大编码单元的尺寸的编码单元对图像进行编码。可基于不大于相应编码单元的数据单元,选择用于在编码期间进行变换的变换单元的尺寸。
例如,在根据实施例的视频编码设备10中,如果当前编码单元710的尺寸是64×64,则可通过使用尺寸为32×32的变换单元720来执行变换。
此外,可通过对小于64×64的尺寸为32×32、16×16、8×8和4×4的每个变换单元执行变换,来对尺寸为64×64的编码单元710的数据进行编码,然后可选择具有最小编码误差的变换单元。
图8是用于描述根据本发明的实施例的与编码深度相应的编码单元的编码信息的示图。
根据实施例的视频编码设备10的输出单元13可对与编码深度相应的每个编码单元的关于分区类型的信息800、关于预测模式的信息810以及关于变换单元尺寸的信息820进行编码,并将信息800、信息810和信息820作为关于编码模式的信息来发送。
关于分区类型的信息800指示关于通过划分当前编码单元的预测单元而获得的分区的形状的信息,其中,所述分区是用于对当前编码单元进行预测编码的数据单元。例如,可将尺寸为2N×2N的当前编码单元CU_0划分成以下分区中的任意一个:尺寸为2N×2N的分区802、尺寸为2N×N的分区804、尺寸为N×2N的分区806以及尺寸为N×N的分区808。在这一点上,关于当前编码单元的分区类型的信息800被设置为指示尺寸为2N×N的分区804和尺寸为N×2N的分区806之一。然而,在尺寸为2N×2N的当前编码单元CU_0是最小编码单元时,关于当前编码单元的分区类型的信息800可包括尺寸为N×N的分区808。
关于预测模式的信息810指示每个分区的预测模式。例如,关于预测模式的信息810可指示对由信息800指示的分区执行的预测编码的模式,即,帧内模式812、帧间模式814或跳过模式816。
此外,关于变换单元的尺寸的信息820指示当对当前编码单元执行变换时所基于的变换单元。例如,变换单元可以是第一帧内变换单元822、第二帧内变换单元824、第一帧间变换单元826或第二帧内变换单元828。
解码侧可根据每个较深层编码单元,提取并使用用于解码的关于分区类型的信息800、关于预测模式的信息810和关于变换单元的尺寸的信息820。
图9是根据本发明的实施例的根据深度的较深层编码单元的示图。
划分信息可用来指示深度的改变。划分信息指示当前深度的编码单元是否被划分成更低深度的编码单元。
用于对深度为0且尺寸为2N_0×2N_0的编码单元900进行预测编码的预测单元910可包括以下分区类型的分区:尺寸为2N_0×2N_0的分区类型912、尺寸为2N_0×N_0的分区类型914、尺寸为N_0×2N_0的分区类型916和尺寸为N_0×N_0的分区类型918。图9仅示出了通过对称地划分预测单元910而获得的分区类型912至918,但是分区类型不限于此,预测单元910的分区可包括非对称分区、具有预定形状的分区和具有几何形状的分区。
根据每种分区类型,需对尺寸为2N_0×2N_0的一个分区、尺寸为2N_0×N_0的两个分区、尺寸为N_0×2N_0的两个分区和尺寸为N_0×N_0的四个分区重复地执行预测编码。可对尺寸为2N_0×2N_0、N_0×2N_0、2N_0×N_0和N_0×N_0的分区执行帧内模式和帧间模式下的预测编码。可仅对尺寸为2N_0×2N_0的分区执行跳过模式下的预测编码。
如果在尺寸为2N_0×2N_0、2N_0×N_0和N_0×2N_0的分区类型912至916中的一个分区类型中编码误差最小,则可不再将预测单元910划分到更低深度。
如果在尺寸为N_0×N_0的分区类型918中编码误差最小,则深度可从0改变到1以在操作920中划分分区类型918,并可对深度为2且尺寸为N_0×N_0的编码单元930重复地执行编码来搜索最小编码误差。
用于对深度为1且尺寸为2N_1×2N_1(=N_0×N_0)的编码单元930进行预测编码的预测单元940可包括以下分区类型的分区:尺寸为2N_1×2N_1的分区类型942、尺寸为2N_1×N_1的分区类型944、尺寸为N_1×2N_1的分区类型946以及尺寸为N_1×N_1的分区类型948。
如果在尺寸为N_1×N_1的分区类型948而非尺寸为2N_1×2N_1的分区类型942、尺寸为2N_1×N_1的分区类型944和尺寸为N_1×2N_1的分区类型946中编码误差最小,则深度可从1改变到2以在操作950中划分分区类型948,并可对深度为2且尺寸为N_2×N_2的编码单元960重复执行编码来搜索最小编码误差。
当最大深度是d-1时,根据每个深度的划分信息可被设置直到深度变成d-1,并且划分信息可被设置直到深度变成d-2。换言之,当编码被执行直到在与d-2的深度相应的编码单元在操作970中被划分之后深度是d-1时,用于对深度为d-1且尺寸为2N_(d-1)×2N_(d-1)的编码单元980进行预测编码的预测单元990可包括以下分区类型的分区:尺寸为2N_(d-1)×2N(d-1)的分区类型992、尺寸为2N_(d-1)×N(d-1)的分区类型994、尺寸为N_(d-1)×2N(d-1)的分区类型996和尺寸为N_(d-1)×N(d-1)的分区类型998。可对分区类型992至998中的尺寸为2N_(d-1)×2N_(d-1)的一个分区、尺寸为2N_(d-1)×N_(d-1)的两个分区、尺寸为N_(d-1)×2N_(d-1)的两个分区、尺寸为N_(d-1)×N_(d-1)的四个分区重复地执行预测编码,以搜索具有最小编码误差的分区类型。
即使当尺寸为N_(d-1)×N_(d-1)的分区类型998具有最小编码误差时,由于最大深度是d-1,因此深度为d-1的编码单元CU_(d-1)可不再被划分到更低深度,当前最大编码单元900的编码深度可被确定为d-1,并且当前最大编码单元900的分区类型可被确定为N_(d-1)×N(d-1)。此外,由于最大深度是d-1,因此不设置深度为d-1的编码单元952的划分信息。
由于深度为0且尺寸为2N_0×2N_0的编码单元900以及深度为1且尺寸为2N_1×2N_1的编码单元930不是最小编码单元,因此尺寸为2N_0×2N_0的编码单元900的预测单元910可不包括尺寸为N_0×N_0的分区类型,并且尺寸为2N_1×2N_1的编码单元930的预测单元940可不包括尺寸为N_1×N_1的分区类型。
然而,作为最小编码单元的深度为d-1的编码单元980的预测单元990可包括尺寸为N_(d-1)×N_(d-1)的分区类型998。
数据单元999可被称为用于当前最大编码单元的“最小单元”。根据实施例的最小单元可以是通过将具有最低编码深度的最小编码单元划分成4份而获得的矩形数据单元。
编码深度、预测单元的分区类型和预测模式可作为关于编码模式的信息被编码并被发送。另外,由于编码单元需从深度0被划分到编码深度,因此仅必需将编码深度的划分信息设置为0,并且必需将除了编码深度以外的深度的划分信息设置为1。
解码侧可提取并使用关于编码单元900的编码深度和预测单元的信息,以对编码单元912进行解码。解码侧可通过使用根据深度的划分信息,将划分信息为0的深度确定为编码深度,并且可使用关于相应深度的编码模式的信息来进行解码。
图10至图12是用于解释根据本发明的实施例的在编码单元1010、预测单元1060和频率变换单元1070之间的关系的示图。
编码单元1010是最大编码单元中的与由根据上述实施例的预处理器11使用包括在下采样的画面中的边缘像素而确定的编码深度相应的编码单元。预测单元1060是每个编码单元1010中的预测单元的分区。变换单元1070是每个编码单元1010的变换单元。
当在编码单元1010中最大编码单元的深度是0时,编码单元1012和编码单元1054的深度是1,编码单元1014、1016、1018、1028、1050和1052的深度是2,编码单元1020、1022、1024、1026、1030、1032和1048的深度是3,编码单元1040、1042、1044和1046的深度是4。
在预测单元1060中,通过划分编码单元来获得一些分区1014、1016、1022、1032、1048、1050、1052和1054。换言之,分区1014、1022、1050和1054中的分区类型的尺寸是2N×N,分区1016、1048和1052中的分区类型的尺寸是N×2N,分区1032的分区类型的尺寸是N×N。仅在编码单元1032是最小编码单元时,尺寸为N×N的分区类型可被设置。编码单元1010的预测单元和分区小于或等于每个编码单元。
在小于变换单元1052的数据单元中的变换单元1070中,对变换单元1052的图像数据执行变换或逆变换。另外,在尺寸或形状方面,变换单元1070中的变换单元1014、1016、1022、1032、1048、1050、1052和1054不同于预测单元1060中的变换单元1014、1016、1022、1032、1048、1050、1052和1054。换言之,根据实施例的视频编码/解码处理可对甚至在同一编码单元中的数据单元独立地执行帧内预测/运动估计/运动补偿和变换/逆变换。
编码信息可包括关于编码单元的划分信息、关于分区类型的信息、关于预测模式的信息和关于变换单元的尺寸的信息。表1示出根据实施例的编码信息。
[表1]
视频编码设备10的输出单元13可输出关于具有树结构的编码单元的编码信息。解码侧可从接收到的比特流提取关于具有树结构的编码单元的编码信息。
划分信息指示是否将当前编码单元划分成更低深度的编码单元。如果当前深度d的划分信息是0,则当前编码单元不再被划分成更低深度的深度是编码深度,从而可针对所述编码深度来定义关于分区类型、预测模式和变换单元的尺寸的信息。如果当前编码单元根据划分信息被进一步划分,则需对更低深度的四个划分编码单元独立地执行编码。
预测模式可以是帧内模式、帧间模式和跳过模式中的一种。可针对所有分区类型定义帧内模式和帧间模式,可仅在尺寸为2N×2N的分区类型中定义跳过模式。
关于分区类型的信息可指示通过对称地划分预测单元的高度或宽度而获得的尺寸为2N×2N、2N×N、N×2N和N×N的对称分区类型,以及通过非对称地划分预测单元的高度或宽度而获得的尺寸为2N×nU、2N×nD、nL×2N和nR×2N的非对称分区类型。可通过按1:3和3:1来划分预测单元的高度来分别获得尺寸为2N×nU和2N×nD的非对称分区类型,可通过按1:3和3:1来划分预测单元的宽度来分别获得尺寸为nL×2N和nR×2N的非对称分区类型。尺寸为N×N的对称分区类型可仅被设置在最小编码单元中。
可将变换单元的尺寸设置成帧内模式下的两种类型和帧间模式下的两种类型。换句话说,如果变换单元的划分信息是0,则变换单元的尺寸被设置为2N×2N,即当前编码单元的尺寸。如果变换单元的划分信息是1,则可通过对当前编码单元进行划分来获得变换单元。另外,如果尺寸为2N×2N的当前编码单元的分区类型是对称分区类型,则变换单元的尺寸可被设置为N×N,如果当前编码单元的分区类型是非对称分区类型,则变换单元的尺寸可被设置为N/2×N/2。
关于具有根据实施例的树结构的编码单元的编码信息可被分配给与编码深度相应的编码单元、预测单元和最小单元中的至少一个。与编码深度相应的编码单元可包括包含相同编码信息的预测单元和最小单元中的至少一个。
因此,通过比较邻近数据单元的编码信息来确定邻近数据单元是否被包括在与编码深度相应的同一编码单元中。另外,可通过使用数据单元的编码信息来确定与编码深度相应的相应编码单元,并因此可确定最大编码单元中的编码深度的分布。
因此,如果通过参照邻近数据单元来对当前编码单元进行预测,则可直接参考并使用与当前编码单元邻近的较深层编码单元中的数据单元的编码信息。
可选择地,如果通过参照邻近数据单元来对当前编码单元进行预测编码,则可通过使用数据单元的编码信息来搜索与较深层编码单元中的当前编码单元邻近的数据单元,并可参考搜索到的邻近编码单元以对当前编码单元进行预测编码。
图13是示出根据本发明的实施例的视频编码方法的流程图。
参照图13,在操作S1310,正交变换器14从画面获得具有预定尺寸的采样单元。在操作S1320,正交变换器14对每个采样单元执行正交变换,并将每个采样单元变换为正交分量和高频分量。如上所述,正交变换器14执行哈达玛变换并从具有预定尺寸的采样单元获得高频分量。
在操作S1330,下采样器15通过基于高频分量用边缘像素和正常像素中的一个替换每个采样单元来对画面执行下采样。根据实施例的下采样器15将高频分量之中的最大值的绝对值与阈值th进行比较,并在最大高频分量的绝对值小于阈值th时用单个正常像素替换采样单元,在最大高频分量的绝对值高于阈值th时用单个边缘像素替换采样单元。根据另一实施例的下采样器15在从当前画面的采样单元获得的高频分量与从相应的先前画面的采样单元获得的高频分量之间的差的绝对值的最大值小于阈值th时,用单个正常像素替换采样单元,并且在所述最大值大于阈值th时用单个边缘像素来替换采样单元。
在操作S1340,划分形状确定器16确定下采样的画面到具有预定尺寸的最大编码单元。在操作S1350,划分形状确定器16通过重复执行根据边缘像素是否包括在最大编码单元中而将最大编码单元划分为更低编码单元的处理,确定最大编码单元的划分形状。在操作S1360,划分形状确定器16基于包括在下采样的画面中的编码单元的划分形状来将原始画面划分为具有树结构的编码单元,并基于具有树结构的划分编码单元来对画面进行编码。
图14是根据本发明的实施例的视频解码设备1400的框图。
参照图14,视频解码设备1400包括接收器1410、提取器1420和图像解码器1430。
接收器1410对编码的视频的比特流进行接收和解析。提取器1420从解析出的比特流提取每个编码单元的编码图像数据(其中,编码单元具有根据每个最大编码单元的树结构),并将提取的图像数据输出到图像解码器1430。提取器1420可针对当前画面,从头、SPS和PPS中的至少一个提取关于当前画面的编码单元的尺寸和可变深度的编码单元结构信息以及关于编码深度和编码模式的信息。
根据实施例,提取器1420可从编码信息提取以下信息:可用于具有树结构的编码单元的编码单元的最大尺寸和最小尺寸中的至少一个的信息以及关于序列、画面、条带或GOP的每个数据单元的可变深度的信息。图像解码器1430可通过使用包括在关于编码模式的信息中的关于可变深度的信息、关于编码单元的最大尺寸的信息和关于编码单元的最小尺寸的信息之中的至少两条信息,针对序列、画面、条带或GOP的每个数据单元,确定可用于具有树结构的编码单元的编码单元的最大尺寸和最小尺寸。
根据实施例,针对每个画面、条带或GOP确定的关于可变深度的信息、关于编码单元的最大尺寸的信息和关于编码单元的最小尺寸的信息之中的至少两条信息可从编码信息被提取出。在当前数据单元中可用的编码单元的最大尺寸和最小尺寸可基于读取的信息来确定。提取的关于编码深度和编码模式的信息被输出到图像解码器1430。换言之,比特流中的图像数据被划分为最大编码单元,使得图像解码器1430针对每个最大编码单元对图像数据进行解码。
根据最大编码单元的关于编码深度和编码模式的信息可针对关于至少一个编码深度的信息来设置,并且关于根据每个编码深度的编码模式的信息可包括关于与编码深度、预测模式和变换单元的尺寸相应的相应编码单元的分区类型的信息。此外,根据深度的划分信息可被提取为关于编码深度的信息。
图像解码器1430可从来自于自解析出的比特流提取的关于编码模式的信息的编码信息读取关于变换索引的信息。图像解码器1430可基于由提取器1420提取的关于变换索引的信息来配置当前编码单元的变换单元,基于变换单元对当前编码单元执行逆变换,并对编码的数据进行解码。作为对编码单元进行解码的结果,当前画面可被恢复。
由提取器1420提取出的关于根据每个最大编码单元的编码深度和编码模式的信息是关于在以下情况下被确定为产生最小编码误差的编码深度和编码模式的信息,即,在编码器(诸如,视频编码设备10)根据每个最大编码单元对根据深度的每个较深层编码单元重复地执行编码的时候。因此,视频解码设备20可通过根据产生最小编码误差的编码模式对图像数据进行解码来恢复图像。
由于根据实施例的关于编码深度和编码模式的编码信息可被分配给相应编码单元、预测单元和最小单元之中的预定数据单元,因此提取器1420可根据预定数据单元,提取关于编码深度和编码模式的信息。当关于相应最大编码单元的编码深度和编码模式的信息根据预定数据单元被记录时,可将具有相同的关于编码深度和编码模式的信息的预定数据单元推断为是包括在同一最大编码单元中的数据单元。
图像解码器1430基于关于根据最大编码单元的编码深度和编码模式的信息,通过对每个最大编码单元中的图像数据进行解码,来恢复当前画面。换言之,图像解码器230可基于提取出的关于包括在每个最大编码单元中的具有树结构的编码单元之中的每个编码单元的分区类型、预测模式和变换单元的信息,对编码的图像数据进行解码。解码处理可包括预测(包含帧内预测和运动补偿)和逆变换。
图像解码器1430可基于关于根据编码深度的编码单元的预测单元的分区类型和预测模式的信息,根据每个编码单元的分区和预测模式,执行帧内预测或运动补偿。
此外,图像解码器1430可基于关于根据编码深度的编码单元的变换单元的尺寸的信息,根据编码单元中的每个变换单元执行逆变换,以根据最大编码单元执行逆变换。
图像解码器1430可通过使用根据深度的划分信息来确定当前最大编码单元的编码深度。如果划分信息指示图像数据在当前深度中不再被划分,则当前深度是编码深度。因此,图像解码器1430可通过使用关于用于当前最大编码单元的图像数据的预测单元的分区类型、预测模式和变换单元的尺寸的信息,对当前深度的编码数据进行解码。
换言之,可通过观察被分配给编码单元、预测单元和最小单元之中的预定数据单元的编码信息集来收集包含包括相同划分信息的编码信息的数据单元,并且收集的数据单元可被认为是将由图像解码器1430以相同编码模式进行解码的一个数据单元。
视频解码设备1400可在上述编码处理期间获得关于基于包括在下采样的画面中的边缘像素确定的最大编码单元的划分形状的信息,并确定最大编码单元的划分形状以对将被解码的当前画面进行解码。
图15是根据本发明的实施例的与图14的图像解码器1430相应的视频解码设备1500的框图。
解析器1510从比特流1505解析将被解码的编码图像数据和解码所需的关于编码的信息。关于在上述编码处理期间基于包括在下采样的画面中的边缘像素确定的最大编码单元的划分形状的信息可被用于确定最大编码单元的划分形状以对将被解码的当前画面进行解码。
编码图像数据通过熵解码器1520和反量化器1530被输出为反量化的数据,反量化的数据通过频率逆变换器1540被恢复为空间域中的图像数据。
针对空间域中的图像数据,帧内预测器1550在帧内模式下对编码单元执行帧内预测,运动补偿器1560通过使用参考帧585在帧间模式下对编码单元执行运动补偿。
帧内预测器1550针对空间域中的图像数据在帧内模式下对编码单元执行帧内预测,运动补偿器1560通过使用参考帧585在帧间模式下对编码单元执行运动补偿。
通过帧内预测器1550和运动补偿器1560的空间域中的数据可在通过去块单元1570和环路滤波单元1580后处理之后被输出为恢复帧1595。另外,通过去块单元1570和环路滤波单元1580后处理的数据可被输出为参考帧1585。
为了将图像解码器400应用到根据实施例的视频解码设备1400中,图像解码器400的所有元件(即,解析器1510、熵解码器1520、反量化器1530、频率逆变换器1540、帧内预测器1550、运动补偿器1560、去块单元1570和环路滤波单元1580)必需针对每个最大编码单元基于具有树结构的编码单元执行操作。
具体地,帧内预测器1550和运动补偿器1560必需针对具有树结构的每个编码单元确定分区和预测模式,频率逆变换器1540必需针对每个编码单元确定变换单元的尺寸。
图16是示出根据本发明的实施例的视频解码方法的流程图。
参照图16,在操作S1610,接收器1410接收并解析关于编码的视频的比特流。在操作S1620,提取器1420从比特流提取作为用于对视频的画面进行解码的数据单元的编码单元的尺寸、关于编码单元的划分形状的信息以及预测模式信息。如上所述,通过用边缘像素和正常像素之一替换采样单元,基于通过对具有预定尺寸的采样单元进行的正交变换而获得的最大高频分量来获得下采样的画面,并重复执行将下采样的画面划分为编码单元并根据边缘像素是否包括在编码单元中来将编码单元划分为更低编码单元的处理,在编码处理期间获得具有树结构的编码单元的划分形状。
在操作S1630,图像解码器1430基于编码单元的尺寸和划分形状将编码单元划分为具有树结构的编码单元,并根据具有树结构的编码单元的预测模式来对画面执行预测解码。
根据本发明的实施例可被编写为计算机程序,并可被实现在通过使用计算机可读记录介质来运行程序的通用数字计算机中。计算机可读记录介质的示例包括磁存储介质(例如,只读存储器(ROM)、软盘和硬盘)、光学可读介质(例如,紧密盘只读存储器(CD-ROM)和数字通用盘(DVD))以及载波(诸如通过互联网的数据传输)。
虽然已参照本发明的示例性实施例具体示出并描述了本发明,但是本领域普通技术人员将理解,在不脱离由权利要求限定的本发明的精神和范围的情况下,可在示例性实施例中做出形式和细节上的各种改变。示例性实施例仅应考虑为描述意义,而不用于限制的目的。因此,本发明的范围不由本发明的详细描述来限定,而由权利要求来限定,并且在本范围内的所有差异将被认为是包括在本发明中。

Claims (13)

1.一种视频编码方法,包括:
从画面获得具有预定尺寸的采样单元;
对每个采样单元执行正交变换并将每个采样单元变换为正交分量和高频分量;
通过基于高频分量用边缘像素和正常像素之一替换每个采样单元来对画面执行下采样;
将下采样的画面划分为具有预定尺寸的编码单元;
通过重复执行根据边缘像素是否被包括在编码单元中来将编码单元划分为更低编码单元的处理,确定编码单元的划分形状;
基于包括在下采样的画面中的编码单元的划分形状来将画面划分为具有树结构的编码单元,并基于所划分的具有树结构的编码单元来对画面进行编码,
其中,对画面进行编码的步骤包括:基于下采样的画面的尺寸与所述画面的尺寸的比率来扩大包括在下采样的画面中的编码单元的划分形状,并将所述画面划分为具有树结构的编码单元。
2.如权利要求1所述的视频编码方法,其中,变换的步骤包括:通过对每个采样单元执行哈达玛变换来将每个采样单元变换为正交分量和高频分量。
3.如权利要求1所述的视频编码方法,其中,对画面执行下采样的步骤包括:当高频分量的最大值小于预定阈值时,用单个正常像素来替换采样单元,当高频分量的最大值大于所述预定阈值时,用单个边缘像素来替换采样单元。
4.如权利要求1所述的视频编码方法,其中,对画面执行下采样的步骤包括:
对与采样单元相应的先前画面的采样单元执行正交变换,并获得先前画面的采样单元的高频分量;
当从当前画面的采样单元获得的高频分量与从先前画面的相应采样单元获得的高频分量之间的差的绝对值的最大值小于预定阈值时,用单个正常像素来替换当前画面的采样单元,当所述最大值大于所述预定阈值时,用单个边缘像素来替换当前画面的采样单元。
5.如权利要求3或4所述的视频编码方法,其中,所述预定阈值是基于量化参数而确定的值。
6.如权利要求1所述的视频编码方法,其中,确定划分形状的步骤包括:当在编码单元中存在边缘像素时,将编码单元划分为更低编码单元;
其中,将编码单元划分为更低编码单元的步骤被重复地执行,直到边缘像素被置于先前确定的最小编码单元中。
7.一种视频编码设备,包括:
正交变换器,用于从画面获得具有预定尺寸的采样单元,对每个采样单元执行正交变换并将每个采样单元变换为正交分量和高频分量;
下采样器,用于通过基于高频分量用边缘像素和正常像素之一替换每个采样单元来对画面执行下采样;
划分形状确定器,用于将下采样的画面划分为具有预定尺寸的编码单元,并通过重复执行根据边缘像素是否被包括在编码单元中来将编码单元划分为更低编码单元的处理,确定编码单元的划分形状;
图像编码器,用于基于包括在下采样的画面中的编码单元的划分形状来将画面划分为具有树结构的编码单元,并基于所划分的具有树结构的编码单元来对画面进行编码,
其中,图像编码器基于下采样的画面的尺寸与所述画面的尺寸的比率来扩大包括在下采样的画面中的编码单元的划分形状,并将所述画面划分为具有树结构的编码单元。
8.如权利要求7所述的视频编码设备,其中,正交变换器通过对每个采样单元执行哈达玛变换来将每个采样单元变换为正交分量和高频分量。
9.如权利要求7所述的视频编码设备,其中,当高频分量的最大值小于预定阈值时,下采样器用单个正常像素来替换采样单元,当高频分量的最大值大于所述预定阈值时,下采样器用单个边缘像素来替换采样单元。
10.如权利要求7所述的视频编码设备,其中,下采样器对与采样单元相应的先前画面的采样单元执行正交变换,并获得先前画面的采样单元的高频分量,并且,当从当前画面的采样单元获得的高频分量与从先前画面的相应采样单元获得的高频分量之间的差的绝对值的最大值小于预定阈值时,下采样器用单个正常像素来替换当前画面的采样单元,当所述最大值大于所述预定阈值时,下采样器用单个边缘像素来替换当前画面的采样单元。
11.如权利要求7所述的视频编码设备,其中,当在编码单元中存在边缘像素时,划分形状确定器将编码单元划分为更低编码单元,并重复地执行划分处理,直到边缘像素被置于先前确定的最小编码单元中。
12.一种视频解码方法,包括:
接收并解析关于编码的视频的比特流;
从比特流提取编码单元的尺寸、关于编码单元的划分形状的信息和预测模式信息,其中,编码单元是用于对视频的画面进行解码的数据单元;
基于编码单元的尺寸和划分形状,将编码单元划分为具有树结构的编码单元,并根据具有树结构的编码单元的预测模式来对画面执行预测解码,
其中,具有树结构的编码单元的划分形状通过以下处理来获得:基于经由对具有预定尺寸的采样单元进行正交变换而获得的最大高频分量,用边缘像素和正常像素之一替换所述采样单元并获得下采样的画面,重复执行将下采样的画面划分为编码单元并根据在编码单元中是否存在边缘像素来将编码单元划分为更低编码单元的处理,并且基于下采样的画面的尺寸与所述画面的尺寸的比率来扩大包括在下采样的画面中的编码单元的划分形状,并将所述画面划分为具有树结构的编码单元。
13.一种视频解码设备,包括:
接收器,用于接收并解析关于编码的视频的比特流;
提取器,用于从比特流提取编码单元的尺寸、关于编码单元的划分形状的信息和预测模式信息,其中,所述编码单元是用于对视频的画面进行解码的数据单元;
图像解码器,用于基于编码单元的尺寸和划分形状,将编码单元划分为具有树结构的编码单元,并根据具有树结构的编码单元的预测模式来对画面执行预测解码,
其中,具有树结构的编码单元的划分形状通过以下处理来获得:基于经由对具有预定尺寸的采样单元进行正交变换而获得的最大高频分量,用边缘像素和正常像素之一替换所述采样单元并获得下采样的画面,重复执行将下采样的画面划分为编码单元并根据在编码单元中是否存在边缘像素来将编码单元划分为更低编码单元的处理,并且基于下采样的画面的尺寸与所述画面的尺寸的比率来扩大包括在下采样的画面中的编码单元的划分形状,并将所述画面划分为具有树结构的编码单元。
CN201380031818.3A 2012-04-16 2013-04-16 使用高速边缘检测的视频编码方法和装置以及相关视频解码方法和装置 Expired - Fee Related CN104396261B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261624464P 2012-04-16 2012-04-16
US61/624,464 2012-04-16
PCT/KR2013/003195 WO2013157820A1 (ko) 2012-04-16 2013-04-16 고속 에지 검출을 이용하는 비디오 부호화 방법 및 장치, 그 비디오 복호화 방법 및 장치

Publications (2)

Publication Number Publication Date
CN104396261A CN104396261A (zh) 2015-03-04
CN104396261B true CN104396261B (zh) 2018-01-23

Family

ID=49383708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380031818.3A Expired - Fee Related CN104396261B (zh) 2012-04-16 2013-04-16 使用高速边缘检测的视频编码方法和装置以及相关视频解码方法和装置

Country Status (5)

Country Link
US (1) US20150131713A1 (zh)
EP (1) EP2840790A4 (zh)
KR (1) KR20130116834A (zh)
CN (1) CN104396261B (zh)
WO (1) WO2013157820A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11178407B2 (en) * 2012-11-19 2021-11-16 Texas Instruments Incorporated Adaptive coding unit (CU) partitioning based on image statistics
CN103458244B (zh) * 2013-08-29 2017-08-29 华为技术有限公司 一种视频压缩方法及视频压缩器
WO2016033725A1 (zh) * 2014-09-01 2016-03-10 华为技术有限公司 视频编码中的块分割方式处理方法和相关装置
FR3033114A1 (fr) * 2015-02-19 2016-08-26 Orange Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants
WO2016154366A1 (en) * 2015-03-23 2016-09-29 Arris Enterprises, Inc. System and method for selectively compressing images
CN113794880B (zh) 2015-05-12 2023-04-14 三星电子株式会社 视频编码方法、视频解码方法以及计算机可读介质
US9936208B1 (en) * 2015-06-23 2018-04-03 Amazon Technologies, Inc. Adaptive power and quality control for video encoders on mobile devices
CN105915925A (zh) * 2015-07-24 2016-08-31 乐视云计算有限公司 基于hevc的编码单元构建方法及装置
EP3306922A1 (en) * 2016-10-05 2018-04-11 Thomson Licensing Method and apparatus for encoding a picture using rate-distortion based block splitting
KR102354628B1 (ko) * 2017-03-31 2022-01-25 한국전자통신연구원 부호화 트리 유닛 및 부호화 유닛의 처리를 수행하는 영상 처리 방법, 그를 이용한 영상 복호화, 부호화 방법 및 그 장치
CN107197253B (zh) * 2017-04-10 2019-12-27 中山大学 一种基于kb滤波器的qtbt快速判决方法及系统
CN107492110A (zh) * 2017-07-31 2017-12-19 腾讯科技(深圳)有限公司 一种图像边缘检测方法、装置和存储介质
US10542277B2 (en) * 2017-10-24 2020-01-21 Arm Limited Video encoding
CN110662048A (zh) * 2018-06-28 2020-01-07 华为技术有限公司 一种图像编码方法以及设备
CN113329228B (zh) * 2021-05-27 2024-04-26 杭州网易智企科技有限公司 视频编码方法、解码方法、装置、电子设备及存储介质
CN118714234B (zh) * 2024-06-06 2025-07-01 深圳市五兴科技有限公司 一种基于5g信号的图片编码加工方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1897708A (zh) * 2002-01-18 2007-01-17 株式会社东芝 视频编码方法和装置以及视频解码方法和装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07288807A (ja) * 1994-04-20 1995-10-31 Oki Electric Ind Co Ltd 画像符号化装置及び画像復号化装置
JP2003009152A (ja) * 2001-06-20 2003-01-10 Matsushita Electric Ind Co Ltd ビデオ符号化におけるエッジブロックを検出して利用する方法および装置
KR100888963B1 (ko) * 2004-12-06 2009-03-17 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR100734828B1 (ko) * 2004-12-14 2007-07-03 한국전자통신연구원 저전송률 비디오 데이터의 부호화를 위한 오브젝트 에지검출 회로 및 방법
KR100689215B1 (ko) * 2005-04-18 2007-03-09 동국대학교 산학협력단 H.264 에서 다운 샘플링과 에지 방향성을 이용한 고속예측 모드 결정 방법
KR101366093B1 (ko) * 2007-03-28 2014-02-21 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
KR100940444B1 (ko) * 2007-12-18 2010-02-10 한국전자통신연구원 공간적 에지 검출을 이용한 인트라 예측 모드 구성 방법
KR101624649B1 (ko) * 2009-08-14 2016-05-26 삼성전자주식회사 계층적인 부호화 블록 패턴 정보를 이용한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
US20110317755A1 (en) * 2010-06-24 2011-12-29 Worldplay (Barbados) Inc. Systems and methods for highly efficient compression of video

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1897708A (zh) * 2002-01-18 2007-01-17 株式会社东芝 视频编码方法和装置以及视频解码方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Low Computational Complexity Variable Block Size(VBS) Partitioning for Motion Estimation using the Walsh Hadamard Transform(WHT);Chanyul Kim et al.;《2009 11th IEEE International Symposium on Multimedia》;20091214;摘要,第III,IV节;附图2 *

Also Published As

Publication number Publication date
EP2840790A4 (en) 2015-12-16
CN104396261A (zh) 2015-03-04
EP2840790A1 (en) 2015-02-25
KR20130116834A (ko) 2013-10-24
WO2013157820A1 (ko) 2013-10-24
US20150131713A1 (en) 2015-05-14

Similar Documents

Publication Publication Date Title
CN104396261B (zh) 使用高速边缘检测的视频编码方法和装置以及相关视频解码方法和装置
US11665337B2 (en) Method and apparatus for encoding/decoding an image signal
KR102635983B1 (ko) 스킵 모드를 이용한 영상 복호화 방법 및 이러한 방법을 사용하는 장치
JP7629413B2 (ja) ビデオエンコードのための0化パターンに基づく低周波数非分離変換シグナリング
CN102792692B (zh) 通过使用去块滤波对视频进行编码的方法和设备以及通过使用去块滤波对视频进行解码的方法和设备
CN106162178B (zh) 执行去块滤波的对视频进行解码的设备
TW201817236A (zh) 用於視頻寫碼之線性模型色度內預測
US20150010079A1 (en) Apparatus and method for encoding/decoding images for intra-prediction
JP6293756B2 (ja) スケーラブルビデオ符号化における変換基準の調整
CN113273204B (zh) 帧间预测方法和使用该方法的图片解码装置
CN105580371A (zh) 基于自适应采样的分层运动估计方法和设备
KR20240124260A (ko) 영상의 부호화/복호화 방법 및 장치
CN118200599A (zh) 帧间预测设备和发送比特流的设备
WO2014084674A2 (ko) 잔차 변환을 이용한 인트라 예측 방법 및 장치
CN117099372A (zh) 使用用于帧间预测的基于深度学习的环路滤波器的视频编码方法和设备
CN116982310A (zh) 使用具有对于每个分量的自适应空间分辨率的运动矢量的视频编码方法和设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180123

CF01 Termination of patent right due to non-payment of annual fee