[go: up one dir, main page]

CN109547791A - 图像帧内预测方法及其装置 - Google Patents

图像帧内预测方法及其装置 Download PDF

Info

Publication number
CN109547791A
CN109547791A CN201811260515.XA CN201811260515A CN109547791A CN 109547791 A CN109547791 A CN 109547791A CN 201811260515 A CN201811260515 A CN 201811260515A CN 109547791 A CN109547791 A CN 109547791A
Authority
CN
China
Prior art keywords
pixel
image
macro
image macro
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811260515.XA
Other languages
English (en)
Other versions
CN109547791B (zh
Inventor
李雯
田林海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Cresun Innovation Technology Co Ltd
Original Assignee
Xian Cresun Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Cresun Innovation Technology Co Ltd filed Critical Xian Cresun Innovation Technology Co Ltd
Priority to CN201811260515.XA priority Critical patent/CN109547791B/zh
Publication of CN109547791A publication Critical patent/CN109547791A/zh
Application granted granted Critical
Publication of CN109547791B publication Critical patent/CN109547791B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种图像帧内预测方法及其装置，包括将当前图像帧划分为多个图像宏块；对每个图像宏块中的像素进行采样得到采样像素；对于所述每个图像宏块，基于所述每个图像宏块中的所述采样像素，通过第一帧内预测方式确定所述每个图像宏块中各像素的第一预测值；将所述每个图像宏块分割为多个图像子宏块；对于所述每个图像宏块，基于所述多个图像子宏块的分割方式，通过第二帧内预测方式确定所述每个图像宏块中各像素的第二预测值；根据所述第一预测值和所述第二预测值确定出所述每个图像宏块的最终帧内预测方式。与现有的方法相比，选用两种帧内预测方式进行图像帧的预测，对于不同场景的图像宏块可以提高图像帧的编码压缩率，进一步降低压缩的理论极限熵。

Description

图像帧内预测方法及其装置
技术领域
本发明涉及一种压缩技术领域，特别涉及一种图像帧内预测方法及其装置。
背景技术
图像的数字视频信号的自然形式是图像的序列。一帧图像通常是由若干像素组成的矩形区域，而数字视频信号就是由几十帧至成千上万帧图像组成的视频图像序列，有时也简称为视频序列或序列。对数字视频信号进行编码就是对一帧一帧图像进行编码。
最新国际视频压缩标准HEVC(High Efficiency Video Coding)中，对一帧图像进行编码时，把一帧图像划分成若干块M*N像素的宏块(Macro Block,简称MB)，以MB为基本编码单位，对图像一块一块进行编码。因此，对一个视频图像序列进行编码就是对各个MB依次进行编码。同样，解码时也是对各个MB依次进行解码，最终重构出整个视频图像序列。目前常用的图像压缩技术中，编码过程主要包括预测编码、匹配编码、变换编码、量化编码、去除编码负面效应(如块效应和波纹效应)的后处理等步骤。目前常用的图像压缩技术中，当前编码单元的解码过程就是从视频压缩码流中经熵解码读出选定的编码模式和参数组，给定的量化参数，残差数据，根据这些信息计算出不同程度的部分复原图像(也称重构图像)，然后再进行去除编码负面效应(如块效应和波纹效应)的后处理，最后得到完全复原图像。
当前的预测编码方法中，针对每个MB采用单一的预测编码方法，单一的预测编码方法无法适用于宏块的不同场景。
发明内容
因此，为解决现有技术存在的技术缺陷和不足，本发明提出一种视频编码方法及其装置。
具体地，本发明一个实施例提出的一种图像帧内预测方法，包括：
将当前图像帧划分为多个图像宏块；
对每个图像宏块中的像素进行采样得到采样像素；
对于所述每个图像宏块，基于所述每个图像宏块中的所述采样像素，通过第一帧内预测方式确定所述每个图像宏块中各像素的第一预测值；
将所述每个图像宏块分割为多个图像子宏块；
对于所述每个图像宏块，基于所述多个图像子宏块的分割方式，通过第二帧内预测方式确定所述每个图像宏块中各像素的第二预测值；
根据所述第一预测值和所述第二预测值确定出所述每个图像宏块的最终帧内预测方式。
在本发明的一个实施例中，对每个图像宏块中的像素进行采样得到采样像素，包括：
对每个图像宏块中的像素进行多组非等距离采样得到对应的多组采样像素。
在本发明的一个实施例中，通过第一帧内预测方式确定所述每个图像宏块中各像素的第一预测值，包括：
将所述每个图像宏块中的所述多组采样像素进行预设角度预测分别获取所述每个图像宏块中的所述多组采样像素对应的多组第一预测残差；
利用预设公式将所述每个图像宏块中的所述多组采样像素对应的多组非采样像素进行预测分别获取所述每个图像宏块中的所述多组采样像素对应的多组非采样像素的多组第二预测残差；
分别将每组第一预测残差以及对应的每组第二预测残差进行绝对值和运算获取每个图像宏块中各像素对应的多组绝对值和；
选取一组绝对值和最小值对应的一组第一预测残差以及第二预测残差作为所述每个图像宏块中各像素的第一预测残差。
在本发明的一个实施例中，将所述每个图像宏块分割为多个图像子宏块，包括：
利用多种分割方式将分别将所述每个图像宏块分割为多个图像子宏块；其中，所述多种分割方式包括水平分割方式，垂直分割方式，不分割方式。
在本发明的一个实施例中，通过第二帧内预测方式确定所述每个图像宏块中各像素的第二预测值，包括：
分别计算每种分割方式下所述每个图像宏块的对应的每组第三预测残差以及比特数；
根据所述每组第三预测残差以及所述比特数选取所述每个图像宏块的最终分割方式；
将所述最终分割方式对应的一组第三预测残差作为所述每个图像宏块中各像素的第二预测值。
在本发明的另一个实施例提出的一种图像帧内预测装置，包括：
划分模块，用于将当前图像帧划分为多个图像宏块；
采样模块，连接所述划分模块，用于对每个图像宏块中的像素进行采样得到采样像素；
第一帧内预测模块，连接所述采样模块，用于对于所述每个图像宏块，基于所述每个图像宏块中的所述采样像素，通过第一帧内预测方式确定所述每个图像宏块中各像素的第一预测值；
分割模块，连接所述划分模块，用于将所述每个图像宏块分割为多个图像子宏块；
第二帧内预测模块，连接所述分割模块，用于对于所述每个图像宏块，基于所述多个图像子宏块的分割方式，通过第二帧内预测方式确定所述每个图像宏块中各像素的第二预测值；
确定模块，连接所述第一帧内预测模块以及所述第二帧内预测模块，用于根据所述第一预测值和所述第二预测值确定出所述每个图像宏块的最终帧内预测方式。
在本发明的一个实施例中，所述采样模块具体用于对每个图像宏块中的像素进行多组非等距离采样得到对应的多组采样像素。
在本发明的一个实施例中，所述第一帧内预测模块具体用于：
将所述每个图像宏块中的所述多组采样像素进行预设角度预测分别获取所述每个图像宏块中的所述多组采样像素对应的多组第一预测残差；
利用预设公式将所述每个图像宏块中的所述多组采样像素对应的多组非采样像素进行预测分别获取所述每个图像宏块中的所述多组采样像素对应的多组非采样像素的多组第二预测残差；
分别将每组第一预测残差以及对应的每组第二预测残差进行绝对值和运算获取每个图像宏块中各像素对应的多组绝对值和；
选取一组绝对值和最小值对应的一组第一预测残差以及第二预测残差
作为所述每个图像宏块中各像素的第一预测残差。
在本发明的一个实施例中，所述分割模块具体用于利用多种分割方式将分别将所述每个图像宏块分割为多个图像子宏块；其中，所述多种分割方式包括水平分割方式，垂直分割方式，不分割方式。
在本发明的一个实施例中，所述第二帧内预测模块具体用于：
分别计算每种分割方式下所述每个图像宏块的对应的每组第三预测残差以及比特数；
根据所述每组第三预测残差以及所述比特数选取所述每个图像宏块的最终分割方式；
将所述最终分割方式对应的一组第三预测残差作为所述每个图像宏块中各像素的第二预测值。
基于此，本发明具备如下优点：
本发明通过两种图像帧内预测方法分别对当前图像帧进行预测，根据不同预测结果选取最优帧内预测方法，对于不同场景的图像宏块可以提高图像帧的编码压缩率，进一步降低压缩的理论极限熵。
通过以下参考附图的详细说明，本发明的其它方面和特征变得明显。但是应当知道，该附图仅仅为解释的目的设计，而不是作为本发明的范围的限定，这是因为其应当参考附加的权利要求。还应当知道，除非另外指出，不必要依比例绘制附图，它们仅仅力图概念地说明此处描述的结构和流程。
附图说明
下面将结合附图，对本发明的具体实施方式进行详细的说明。
图1为本发明实施例提供的一种图像帧内预测方法流程示意图；
图2为本发明实施例提供的一种第一帧内预测方式的采样方式示意图；
图3为本发明实施例提供的一种第一帧内预测方式的预设角度预测方法示意图；
图4a～图4c为本发明实施例提供的一种第二帧内预测方式不同分割方式示意图；
图5为本发明实施例提供的一种图像帧内预测装置示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。
实施例一
请参见图1，图1为本发明实施例提供的一种图像帧内预测方法流程示意图；本实施例对本发明提供的一种图像帧内预测方法进行详细描述，该方法包括如下步骤：
步骤1、将当前图像帧划分为多个图像宏块；
将当前图像帧可以划分为固定大小的图像宏块，也可以划分为大小不一的图像宏块，每个图像宏块包括多个像素，图像宏块的大小为m*n，即图像宏块包括m*n个像素。
步骤2、对每个图像宏块中的像素进行采样得到采样像素；
对每个图像宏块中的像素进行多组非等距离采样得到对应的多组采样像素，具体包括：
根据图像宏块中存在的纹理相关性，图像宏块中的像素距离越近，图像宏块的纹理渐变的一致性概论越高，反之图像宏块中的像素距离越远，图像宏块的纹理渐变的一致性概率越低，据此将图像宏块中的像素进行非等距离采样，可以选取多组非等距离采样方式。
优选地，如图2所示，图2为本发明实施例提供的一种第一帧内预测方式的采样方式示意图；本步骤中假设图像宏块中有16*1个像素，其它大小的图像宏块同理，对图像宏块进行非等距离采样，以采样1、采样2和采样3三种非等距离采样方式举例说明，其它非等距离采样方式同理，其中，采样1是将图像宏块中序号为0、4、15对应位置的3个像素进行采样；采样2是将图像宏块中序号为0、5、10、15对应位置的4个像素进行采样；采样3是将图像宏块中序号为0、11、15对应位置的3个像素进行采样；通过采样1、采样2和采样3可以得到三组采样像素。
步骤3、对于所述每个图像宏块，基于所述每个图像宏块中的所述采样像素，通过第一帧内预测方式确定所述每个图像宏块中各像素的第一预测值；
具体地，将所述每个图像宏块中的所述多组采样像素进行预设角度预测分别获取所述每个图像宏块中的所述多组采样像素对应的多组第一预测残差；进一步地，本步骤中以一组非等距离采样方式下的一组采样像素的处理过程为例进行说明，包括：
如图3所示，图3为本发明实施例提供的一种第一帧内预测方式的预设角度预测方法示意图；对于采样1，将当前图像宏块正上方相邻图像宏块中处于采样像素45度的像素点、90度的像素点和135度的像素点与采样像素点分别进行预测，即预测预设角度为135度、45度和90度，分别求解三种预设角度预测下所有采样像素的预测残差。可以将采样像素与预设角度像素点相减求解预设角度预测下所有采样像素的预测残差。分别计算每种预设角度预测下所有采样像素的预测残差绝对值和，选取预测残差绝对值和最小值对应的一种预设角度预测作为当前图像宏块一组采样像素的最终预设角度预测，将最终预设角度预测对应的预测残差作为一组采样像素对应的一组第一预测残差。
按照上述方式可以获取每个图像宏块中的多组采样像素对应的多组第一预测残差。
优选地，预测方式可以为135度预测、45度预测和90度预测的任意种组合。
利用预设公式将所述每个图像宏块中的所述多组采样像素对应的多组非采样像素进行预测分别获取所述每个图像宏块中的所述多组采样像素对应的多组非采样像素的多组第二预测残差；
具体地，每个图像宏块中的一组非采样像素，利用预设公式求解非采样像素的预测残差，预设公式为：
Resi＝(sample1-sample0)*(i+1)/(num+1)
其中，sample0和sample1为当前图像宏块中连续的采样像素的像素分量重建值，i为当前图像宏块中非采样像素的索引，num为非采样像素数量，进一步地，像素分量重建值可以指的是已压缩编码图像宏块解码端重建得到的像素分量值。
按照上述预设公式，可以求解出每个图像宏块中的多组非采样像素的多组第二预测残差。
分别将每组第一预测残差以及对应的每组第二预测残差进行绝对值和运算获取每个图像宏块中各像素对应的多组绝对值和；即将每个图像宏块中的一组采样像素下的一组第一预测残差和对应的一组非采样像素下的一组第二预测残差进行绝对值和运算获取每个图像宏块中各像素对应的一组绝对值和；进一步地，可以依次获取每个图像宏块中各像素对应的多组绝对值和。
选取一组绝对值和最小值对应的一组第一预测残差以及第二预测残差作为所述每个图像宏块中各像素的第一预测值。
本步骤中定义图像宏块的采样方式和像素角度预测的参考方式，计算当前图像宏块的预测残差和残差绝对值和。与现有方法相比，当待压缩图像的纹理较为复杂时，对处于当前图像的纹理边界处的宏块，根据纹理的渐变原理，不依赖于当前宏块的周围宏块，而是通过当前宏块自身的纹理特性获得预测残差，能够提高对复杂纹理区域求预测残差值的精度，进一步降低理论极限熵，增大带宽压缩率。
步骤4、将所述每个图像宏块分割为多个图像子宏块；
如图4a～图4c所示，图4a～图4c为本发明实施例提供的一种第二帧内预测方式不同分割方式示意图；将图像宏块按照不同分割方式进行分割，具体地，将图像宏块按照水平分割方式进行分割，分割为上图像子宏块以及下图像子宏块；将图像宏块按照垂直分割方式进行分割，分割为左图像子宏块以及右图像子宏块；将图像宏块按照不分割方式进行分割。
步骤5、对于所述每个图像宏块，基于所述多个图像子宏块的分割方式，通过第二帧内预测方式确定所述每个图像宏块中各像素的第二预测值；具体包括：
对于水平分割方式，将上图像子宏块中所有的像素，减去上图像子宏块像素的最小值，得到上图像子宏块的所有像素的预测残差；下图像子宏块同理计算，将下图像子宏块中所有的像素，减去下图像子宏块像素的最小值，得到下图像子宏块的所有像素的预测残差，最终得到该图像宏块在水平分割方式下的所有像素的一组第三预测残差；对于垂直分割方式，将左图像子宏块中所有的像素，减去左图像子宏块像素的最小值，得到左图像子宏块的所有像素的预测残差；右图像子宏块同理计算，将右图像子宏块中所有的像素，减去右图像子宏块像素的最小值，得到右图像子宏块的所有像素的预测残差，最终得到该图像宏块在垂直分割方式下的所有像素的一组第三预测残差；对于不分割方式，将该图像宏块中的像素，减去该图像宏块中的像素的最小值，最终得到该图像宏块在不分割方式下的所有像素的一组第三预测残差。
对于水平分割方式，计算所述上图像子宏块中像素最大值与所述上图像子宏块中像素最小值的第一差值，得到表示所述第一差值的第一最少比特数，计算所述下图像子宏块中像素最大值与所述下图像子宏块中像素最小值的第二差值，得到表示所述第二差值的第二最少比特数，根据所述第一最少比特数、所述第二最少比特数以及所述图像宏块的原始数据比特深度得到所述第一比特数，所述第一比特数满足如下公式：
MBIT1＝N1*BIT_MIN1+N2*BIT_MIN2+2*BITDEPTH
其中，MBIT1为所述第一比特数，BIT_MIN1为所述第一最少比特数，N*BIT_MIN2为所述第二最少比特数，BITDEPTH为所述图像宏块的原始数据比特深度，N1为所述上图像子宏块中像素数量，N2为所述下图像子宏块中像素数量。
对于垂直分割方式，计算所述左图像子宏块中像素最大值与所述左图像子宏块中像素最小值的第三差值，得到表示所述第三差值的第三最少比特数，计算所述右图像子宏块中像素最大值与所述右图像子宏块中像素最小值的第四差值，得到表示所述第四差值的第四最少比特数，根据所述第三最少比特数、第四最少比特数以及所述图像宏块的原始数据比特深度得到所述第二比特数，所述第二比特数满足：
MBIT2＝N3*BIT_MIN3+N4*BIT_MIN4+2*BITDETH
其中，MBIT2为所述第二比特数，BIT_MIN3为所述第三最少比特数，BIT_MIN4为所述第四最少比特数，BITDEPTH为所述图像宏块的原始数据比特深度，N3为所述左图像子宏块中像素数量，N4为所述右图像子宏块中像素数量。
对于不分割方式，计算所述图像宏块中像素最大值与所述图像宏块中像素最小值之间的第五差值，得到表示所述第五差值的第五最少比特数，根据所述第五最少比特数以及所述图像宏块的原始数据比特深度得到所述第三比特数，所述第三比特数满足：
MBIT3＝M*BIT_MIN5+2*BITDETH
其中，MBIT3为所述第三比特数，BIT_MIN5为所述第五最少比特数，BITDEPTH为所述图像宏块的原始数据比特深度，M为所述图像宏块中像素数量。
根据所述不同预测残差以及所述不同比特数选取分割方式，具体地，对于水平分割方式，根据图像宏块在水平分割方式下的所有像素的一组第三预测残差得到所述图像宏块的一组第一重建值，将所述一组第一重建值与所述图像宏块中原始像素值求差的绝对值和得到第一重建差值，将所述第一重建差值以及第一比特数进行加权得到水平分割方式下图像宏块的第一加权值，其中，所述第一加权值满足如下公式：
RDO1＝b1*MBIT1+b2*RES1
其中，RDO1为所述第一加权值，MBIT1为所述第一比特数，RES1为第一重建差值，b1和b2为加权系数。a和b的取值可以是预先设定的固定值，进一步地，a+b＝1，优选地，a可以选取为0.5，b可以选取为0.5，a和b也可以灵活调整大小。
进一步地，根据预测残差可以得到重建值，即将参考值(每个图像宏块像素的最小值)加上预测残差可以得到重建值。
对于垂直分割方式，根据图像宏块在垂直分割方式下的所有像素的一组第三预测残差得到所述图像宏块的一组第二重建值，将所述一组第二重建值与所述图像宏块中原始像素值求差的绝对值和得到第二重建差值，将所述第二重建差值以及所述第二比特数进行加权得到垂直分割方式下图像宏块的第二加权值，其中，所述第二加权值满足如下公式：
RDO2＝b3*MBIT2+b4*RES2
其中，RDO2为所述第二加权值，MBIT2为所述第二比特数，RES2为所述第二重建差值，b3和b4为加权系数。a和b的取值可以是预先设定的固定值，进一步地，a+b＝1，优选地，a可以选取为0.5，b可以选取为0.5，a和b也可以灵活调整大小。
对于不分割方式，根据图像宏块在不分割方式下的所有像素的一组第三预测残差得到所述图像宏块的一组第三重建值，将所述一组第三重建值与所述图像宏块中原始像素值求差的绝对值和得到第三重建差值，将所述第三重建差值以及所述第三比特数进行加权得到不分割方式下图像宏块的第三加权值，其中，所述第三加权值满足如下公式；
RDO3＝b5*MBIT3+b6*RES3
其中，RDO3为所述第三加权值，MBIT3为所述第三比特数，RES3为所述第三重建差值，b5和b6为加权系数。a和b的取值可以是预先设定的固定值，进一步地，a+b＝1，优选地，a可以选取为0.5，b可以选取为0.5，a和b也可以灵活调整大小。
选取所述第一加权值、第二加权值以及第三加权值中的最小值对应的分割方式为最终的分割方式。
将所述最终分割方式对应的一组第三预测残差作为所述每个图像宏块中各像素的第二预测值。
利用本步骤的算法通过当前区域像素值间的相关性进行预测，对比水平分割、垂直分割、不分割三种情况的压缩数据量，选择对应最优的分割方式进行残差预测，以使初始的图像宏块和预测的图像宏块之间的差异最小而提高压缩效率并提高主观图片质量，对于复杂纹理图像处理时，预测效果好、处理效率高，且能够降低理论极限熵。
步骤6、根据所述第一预测值和所述第二预测值确定出所述每个图像宏块的最终帧内预测方式，具体包括：
计算每种帧内预测方式的残差绝对值和(sum of absolute difference，简称SAD)以及残差和(sum of difference，简称SD)，如下式所示：
Res为当前图像宏块中各像素的预测值，ABS为取绝对值，m*n为当前图像宏块中像素数量。
最终根据SAD和SD的情况，分不同的图像场景配置权重系数a1和a2，计算残差主观和(subjective difference，简称SUBD)，如下式所示：
SUBD＝a1×SAD+a2×SD
根据第一预测值和第二预测值利用上述公式可以计算出第一帧内预测方式下和第二帧内预测方式下的残差主观和。
若为连续多帧且具有传导效应的场景，如H246参考值压缩，a2较大，a1较小；反之，a1较大，a2较小；进一步地，可以设定a1+a2＝1。
选取残差主观和的最小值对应的预测方式为当前图像宏块最终的帧内预测方式，采用该方式计算得到的预测残差为最终的预测残差。
其中，在步骤6之后，还可以包括在码流中传输当前图像宏块的最终预测方式的附加标志位以及最终的预测残差
实施例二
本实施例在上述实施例的基础上对本发明提出的一种图像帧内预测装置进行详细描述，如图5所示，图5为本发明实施例提供的一种图像帧内预测装置示意图，该装置包括：
划分模块11，用于将当前图像帧划分为多个图像宏块；
采样模块12，连接所述划分模块11，用于对每个图像宏块中的像素进行采样得到采样像素；
第一帧内预测模块13，连接所述采样模块12，用于对于所述每个图像宏块，基于所述每个图像宏块中的所述采样像素，通过第一帧内预测方式确定所述每个图像宏块中各像素的第一预测值；
分割模块14，连接所述划分模块11，用于将所述每个图像宏块分割为多个图像子宏块；
第二帧内预测模块15，连接所述分割模块14，用于对于所述每个图像宏块，基于所述多个图像子宏块的分割方式，通过第二帧内预测方式确定所述每个图像宏块中各像素的第二预测值；
确定模块16，连接所述第一帧内预测模块13以及所述第二帧内预测模块15，用于根据所述第一预测值和所述第二预测值确定出所述每个图像宏块的最终帧内预测方式。
其中，所述采样模块具体用于对每个图像宏块中的像素进行多组非等距离采样得到对应的多组采样像素。
其中，所述第一帧内预测模块具体用于：
将所述每个图像宏块中的所述多组采样像素进行预设角度预测分别获取所述每个图像宏块中的所述多组采样像素对应的多组第一预测残差；
利用预设公式将所述每个图像宏块中的所述多组采样像素对应的多组非采样像素进行预测分别获取所述每个图像宏块中的所述多组采样像素对应的多组非采样像素的多组第二预测残差；
分别将每组第一预测残差以及对应的每组第二预测残差进行绝对值和运算获取每个图像宏块中各像素对应的多组绝对值和；
选取一组绝对值和最小值对应的一组第一预测残差以及第二预测残差
作为所述每个图像宏块中各像素的第一预测残差。
其中，所述分割模块具体用于利用多种分割方式将分别将所述每个图像宏块分割为多个图像子宏块；其中，所述多种分割方式包括水平分割方式，垂直分割方式，不分割方式。
其中，所述第二帧内预测模块具体用于：
分别计算每种分割方式下所述每个图像宏块的对应的每组第三预测残差以及比特数；
根据所述每组第三预测残差以及所述比特数选取所述每个图像宏块的最终分割方式；
将所述最终分割方式对应的一组第三预测残差作为所述每个图像宏块中各像素的第二预测值。
综上所述，本文中应用了具体个例对本发明进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制，本发明的保护范围应以所附的权利要求为准。

Claims (10)

1.一种图像帧内预测方法，其特征在于，包括：
将当前图像帧划分为多个图像宏块；
对每个图像宏块中的像素进行采样得到采样像素；
对于所述每个图像宏块，基于所述每个图像宏块中的所述采样像素，通过第一帧内预测方式确定所述每个图像宏块中各像素的第一预测值；
将所述每个图像宏块分割为多个图像子宏块；
对于所述每个图像宏块，基于所述多个图像子宏块的分割方式，通过第二帧内预测方式确定所述每个图像宏块中各像素的第二预测值；
根据所述第一预测值和所述第二预测值确定出所述每个图像宏块的最终帧内预测方式。
2.根据权利要求1所述的方法，其特征在于，对每个图像宏块中的像素进行采样得到采样像素，包括：
对每个图像宏块中的像素进行多组非等距离采样得到对应的多组采样像素。
3.根据权利要求2所述的方法，其特征在于，通过第一帧内预测方式确定所述每个图像宏块中各像素的第一预测值，包括：
将所述每个图像宏块中的所述多组采样像素进行预设角度预测分别获取所述每个图像宏块中的所述多组采样像素对应的多组第一预测残差；
利用预设公式将所述每个图像宏块中的所述多组采样像素对应的多组非采样像素进行预测分别获取所述每个图像宏块中的所述多组采样像素对应的多组非采样像素的多组第二预测残差；
分别将每组第一预测残差以及对应的每组第二预测残差进行绝对值和运算获取每个图像宏块中各像素对应的多组绝对值和；
选取一组绝对值和最小值对应的一组第一预测残差以及第二预测残差作为所述每个图像宏块中各像素的第一预测残差。
4.根据权利要求1所述的方法，其特征在于，将所述每个图像宏块分割为多个图像子宏块，包括：
利用多种分割方式将分别将所述每个图像宏块分割为多个图像子宏块；其中，所述多种分割方式包括水平分割方式，垂直分割方式，不分割方式。
5.根据权利要求4所述的方法，其特征在于，通过第二帧内预测方式确定所述每个图像宏块中各像素的第二预测值，包括：
分别计算每种分割方式下所述每个图像宏块的对应的每组第三预测残差以及比特数；
根据所述每组第三预测残差以及所述比特数选取所述每个图像宏块的最终分割方式；
将所述最终分割方式对应的一组第三预测残差作为所述每个图像宏块中各像素的第二预测值。
6.一种图像帧内预测装置，其特征在于，包括：
划分模块，用于将当前图像帧划分为多个图像宏块；
采样模块，连接所述划分模块，用于对每个图像宏块中的像素进行采样得到采样像素；
第一帧内预测模块，连接所述采样模块，用于对于所述每个图像宏块，基于所述每个图像宏块中的所述采样像素，通过第一帧内预测方式确定所述每个图像宏块中各像素的第一预测值；
分割模块，连接所述划分模块，用于将所述每个图像宏块分割为多个图像子宏块；
第二帧内预测模块，连接所述分割模块，用于对于所述每个图像宏块，基于所述多个图像子宏块的分割方式，通过第二帧内预测方式确定所述每个图像宏块中各像素的第二预测值；
确定模块，连接所述第一帧内预测模块以及所述第二帧内预测模块，用于根据所述第一预测值和所述第二预测值确定出所述每个图像宏块的最终帧内预测方式。
7.根据权利要求6所述的装置，其特征在于，所述采样模块具体用于对每个图像宏块中的像素进行多组非等距离采样得到对应的多组采样像素。
8.根据权利要求7所述的装置，其特征在于，所述第一帧内预测模块具体用于：
将所述每个图像宏块中的所述多组采样像素进行预设角度预测分别获取所述每个图像宏块中的所述多组采样像素对应的多组第一预测残差；
利用预设公式将所述每个图像宏块中的所述多组采样像素对应的多组非采样像素进行预测分别获取所述每个图像宏块中的所述多组采样像素对应的多组非采样像素的多组第二预测残差；
分别将每组第一预测残差以及对应的每组第二预测残差进行绝对值和运算获取每个图像宏块中各像素对应的多组绝对值和；
选取一组绝对值和最小值对应的一组第一预测残差以及第二预测残差
作为所述每个图像宏块中各像素的第一预测残差。
9.根据权利要求6所述的装置，其特征在于，所述分割模块具体用于利用多种分割方式将分别将所述每个图像宏块分割为多个图像子宏块；其中，所述多种分割方式包括水平分割方式，垂直分割方式，不分割方式。
10.根据权利要求9所述的装置，其特征在于，所述第二帧内预测模块具体用于：
分别计算每种分割方式下所述每个图像宏块的对应的每组第三预测残差以及比特数；
根据所述每组第三预测残差以及所述比特数选取所述每个图像宏块的最终分割方式；
将所述最终分割方式对应的一组第三预测残差作为所述每个图像宏块中各像素的第二预测值。
CN201811260515.XA 2018-10-26 2018-10-26 图像帧内预测方法及其装置 Active CN109547791B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811260515.XA CN109547791B (zh) 2018-10-26 2018-10-26 图像帧内预测方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811260515.XA CN109547791B (zh) 2018-10-26 2018-10-26 图像帧内预测方法及其装置

Publications (2)

Publication Number Publication Date
CN109547791A true CN109547791A (zh) 2019-03-29
CN109547791B CN109547791B (zh) 2020-12-22

Family

ID=65845735

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811260515.XA Active CN109547791B (zh) 2018-10-26 2018-10-26 图像帧内预测方法及其装置

Country Status (1)

Country Link
CN (1) CN109547791B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101523917A (zh) * 2006-09-29 2009-09-02 汤姆逊许可证公司 几何帧内预测
US20110310966A1 (en) * 2010-06-18 2011-12-22 Texas Instruments Incorporated Syntax element decoding
CN103618898A (zh) * 2013-12-09 2014-03-05 中国计量学院 一种支持随机访问的复杂度图像无损压缩方法
CN103621087A (zh) * 2011-06-23 2014-03-05 Jvc建伍株式会社 图像编码装置、图像编码方法及图像编码程序、以及图像解码装置、图像解码方法及图像解码程序
CN104272734A (zh) * 2012-05-15 2015-01-07 索尼公司 图像处理装置和图像处理方法
US20150103909A1 (en) * 2013-10-14 2015-04-16 Qualcomm Incorporated Multi-threaded video encoder
CN108184117A (zh) * 2018-01-10 2018-06-19 北京工业大学 基于内容的比特流层视频质量评价模型

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101523917A (zh) * 2006-09-29 2009-09-02 汤姆逊许可证公司 几何帧内预测
US20110310966A1 (en) * 2010-06-18 2011-12-22 Texas Instruments Incorporated Syntax element decoding
CN103621087A (zh) * 2011-06-23 2014-03-05 Jvc建伍株式会社 图像编码装置、图像编码方法及图像编码程序、以及图像解码装置、图像解码方法及图像解码程序
CN104272734A (zh) * 2012-05-15 2015-01-07 索尼公司 图像处理装置和图像处理方法
US20150103909A1 (en) * 2013-10-14 2015-04-16 Qualcomm Incorporated Multi-threaded video encoder
CN103618898A (zh) * 2013-12-09 2014-03-05 中国计量学院 一种支持随机访问的复杂度图像无损压缩方法
CN108184117A (zh) * 2018-01-10 2018-06-19 北京工业大学 基于内容的比特流层视频质量评价模型

Also Published As

Publication number Publication date
CN109547791B (zh) 2020-12-22

Similar Documents

Publication Publication Date Title
KR101292091B1 (ko) 적응적 화면내 예측 부호화 및 복호화 방법
JP3851063B2 (ja) 画像予測復号化方法及び装置
CN103096056B (zh) 矩阵编码方法与装置及解码方法与装置
CN107409218A (zh) 使用块分割的快速视频编码方法
KR20130088087A (ko) 계층적 데이터 단위의 양자화 파라메터 예측을 포함하는 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
CN103442228B (zh) 从h.264/avc标准到hevc标准的快速帧内转码方法及其转码器
KR20100117107A (ko) 참조 프레임 압축을 행하는 비디오 코딩 시스템
CN109510987B (zh) 编码树节点划分方式的确定方法、装置及编码设备
CN116980594A (zh) 帧内预测方法、编码器、解码器以及存储介质
CN110677644A (zh) 一种视频编码、解码方法及视频编码帧内预测器
KR20130053645A (ko) 적응적 루프 필터를 이용한 비디오 부호화/복호화 방법 및 장치
KR20100136391A (ko) 다수의 필터를 이용한 복원영상 필터링 방법 및 이를 적용한 부호화/복호화 장치 및 방법
US9247257B1 (en) Segmentation based entropy encoding and decoding
KR20130027400A (ko) Ｄｃ 모드에서의 인트라 예측 방법 및 장치
CN109547780B (zh) 图像编码方法及装置
KR101076876B1 (ko) 블록기반 깊이정보 맵의 코딩 방법과 장치, 및 이를 이용한 3차원 비디오 코딩 방법
CN109547788B (zh) 图像压缩方法、设备及图像传输系统
CN109547791A (zh) 图像帧内预测方法及其装置
US10764577B2 (en) Non-MPM mode coding for intra prediction in video coding
KR100883591B1 (ko) 베이스 레이어의 내부모드 블록의 예측정보를 이용하여영상신호를 엔코딩/디코딩하는 방법 및 장치
KR100832872B1 (ko) 기하학적 변환을 이용한 영상 부호화 효율 향상 방법 및장치
KR20180032570A (ko) 디스플레이 스트림 압축에서의 변환 모드를 위한 블록 크기에 대한 수정
KR102020953B1 (ko) 카메라 영상의 복호화 정보 기반 영상 재 부호화 방법 및 이를 이용한 영상 재부호화 시스템
CN104320660A (zh) 用于无损视频编码的率失真优化方法及编码方法
CN109302613A (zh) 带宽压缩中基于宏块分割的预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant