[go: up one dir, main page]

CN109361921B - 一种帧内预测编码加速方法 - Google Patents

一种帧内预测编码加速方法 Download PDF

Info

Publication number
CN109361921B
CN109361921B CN201811354344.7A CN201811354344A CN109361921B CN 109361921 B CN109361921 B CN 109361921B CN 201811354344 A CN201811354344 A CN 201811354344A CN 109361921 B CN109361921 B CN 109361921B
Authority
CN
China
Prior art keywords
prediction mode
subblock
sub
block
rate distortion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201811354344.7A
Other languages
English (en)
Other versions
CN109361921A (zh
Inventor
胡金艳
龚玉梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Polytechnic University
Original Assignee
Shanghai Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Polytechnic University filed Critical Shanghai Polytechnic University
Priority to CN201811354344.7A priority Critical patent/CN109361921B/zh
Publication of CN109361921A publication Critical patent/CN109361921A/zh
Application granted granted Critical
Publication of CN109361921B publication Critical patent/CN109361921B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种帧内预测编码加速方法，通过对图像亮度子块进行最邻近子块判断、子块重构和率失真比较，形成最终预测模式的三级加速，确定最终预测模式对子块进行预测编码。第一级加速先确定当前子块的初始最佳预测模式，根据子块重构的率失真判断最终预测模式；第二级加速计算当前子块在各种预测模式下的率失真，根据率失真阈值比较的结果确定最终预测模式；第三级加速取率失真最小的预测模式作为最终预测模式，同时减少对应初始最佳预测模式的子块重构运算。本发明方法使子块重构无需遍历全部预测模式，降低子块重构运算量，从而大幅度提升图像和视频的编码速度。

Description

一种帧内预测编码加速方法
技术领域
本发明涉及图像和视频编码中的帧内预测编码技术，特别涉及一种帧内预测编码加速方法。
背景技术
目前主流的视频编码标准中，关键帧均采用帧内预测编码去除图像的空间冗余，其过程中对亮度分量的每个宏块和宏块中的每个子块进行多种模式的预测和重构，选取最佳预测模式进行帧内编码。
谷歌公司的WebP图像压缩算法就是采用了视频编码中的帧内预测编码技术，从而得到优于JPEG格式的压缩比。在WebP图像压缩中，首先将亮度分量划分为16x16的宏块，每个宏块有4种可选预测模式；再将每个宏块划分为4x4的子块，每个子块有10种可选预测模式。
现有WebP的帧内预测编码中，对于每个4x4子块采取遍历预测模式的方式选取最佳预测模式。需要对10种预测模式进行重构，重构的过程包括离散余弦变换、量化、反量化、反离散余弦变换。现有方式运算量大，不利于实时处理。
发明内容
本发明的目的是提供一种帧内预测编码加速方法，大幅度提升图像和视频编码速度。
为了实现以上目的，本发明是通过以下技术方案实现的：
一种帧内预测编码加速方法，其特点是，包括如下步骤：
S1、获取图像YUV格式，将图像亮度分量Y划分为N个宏块，每个宏块划分为i×i子块；
S2、对每个子块进行最邻近子块判断，确定当前子块的初始最佳预测模式；
S3、按初始最佳预测模式进行当前子块重构，根据率失真判断最终预测模式；
S4、比较当前子块率失真RDk，确定最终预测模式；
S5、用最终预测模式对当前子块进行编码，直到所有子块编码完成。
所述的步骤S2包括：
S21、确定当前子块在宏块中的位置；
S22、当已知最邻近子块为横向时，将左侧邻近子块作为最邻近子块；
S23、当已知最邻近子块为纵向时，将上方邻近子块作为最邻近子块；
S24、当已知最邻近子块为横向/纵向/对角其中之一时，对左侧、上方和对角子块的率失真进行比较，取率失真最小的子块作为最邻近子块；
S25、取该最邻近子块的最佳预测模式Mprev作为当前子块的初始最佳预测模式M0。
所述的步骤S3包括：
S31、当前子块的重构过程首先利用初始最佳预测模式M0对当前子块Sk进行预测，再对预测残差进行离散余弦变换、量化、反量化和反离散余弦变换，进而得到重构子块S’k；
S32、通过当前子块Sk和重构子块S’k计算率失真RDk，同时保存预测模式M0对应的率失真RDk。
所述的步骤S4包括如下步骤：
S41、比较当前子块率失真RDk与先前保存的最邻近子块率失真RDprev，
当RDk≤RDprev时，确定将初始最佳预测模式M0作为最终预测模式，同时保存该子块的预测模式和率失真为后续子块使用；否则执行步骤42；
S42、用j种预测模式对当前子块进行重构，根据率失真阈值判断最终预测模式：
遍历预测模式对当前子块进行预测，再对预测残差进行离散余弦变换、量化、反量化和反离散余弦变换，进而得到重构子块S’k；
对每次重构，计算当前子块Sk和重构子块S’k的率失真RDk；
遍历过程中，当预测模式与最邻近子块初始最佳预测模式M0相等时，则不进行重构，采用步骤S32中保存的率失真结果；
S43、比较当前子块率失真RDk与预先设置的率失真阈值TH；
当RDk≤TH时，确定将当前所采用的预测模式Mn作为最终预测模式，停止预测模式遍历，同时保存该子块的预测模式和率失真为后续子块使用；否则执行步骤S44；
S44、取预测模式中率失真最小的预测模式作为最终预测模式，在遍历过程中，重构得到的率失真均大于阈值TH，则选对应率失真最小的预测模式作为最终预测模式，同时保存该子块的预测模式和率失真为后续子块使用。
所述的步骤S5后还包含：S6，再对下一个宏块执行同样的步骤S2～S5，直到完成整个图像的编码。
本发明与现有技术相比，具有以下优点：
减小了编码的运算量，同时大幅度提升图像和视频编码速度。
第一级加速：根据当前子块最邻近子块的最佳预测模式及相应率失真，确定当前子块的最终预测模式，减少对预测模式的遍历。
第二级加速：根据率失真阈值判断，确定当前子块的最终预测模式，提前结束对预测模式的遍历。
第三级加速：对预测模式进行遍历时，判断预测模式为初始最佳预测模式时，减少对该模块进行一次重构的运算量。
附图说明
图1为本发明一种帧内预测编码加速方法的流程图；
图2为本发明最邻近子块判断流程图；
图3a～3c为三种最邻近子块示意图；
图4是WebP编码速度比较结果。
具体实施方式
以下结合附图，通过详细说明一个较佳的具体实施例，对本发明做进一步阐述。
一种帧内预测编码加速方法，包括如下步骤：
获取图像YUV格式，将图像亮度分量Y划分为N个宏块，每个宏块划分为4×4子块；
对每个子块进行最邻近子块判断，确定当前子块的初始最佳预测模式；
按初始最佳预测模式进行当前子块重构，根据率失真判断最终预测模式；
比较当前子块率失真RDk，确定最终预测模式；
用最终预测模式对当前子块进行编码，直到所有子块编码完成。
图1示出了一种帧内预测编码加速方法的流程图，该方法包括：
S11：获取图像YUV格式，将图像亮度Y划分为N个宏块，每个宏块划分为4x4子块。
对图像的YUV数据按4:2:0采样分割，对亮度分量Y按16x16进行宏块划分，再对每个宏块按4x4进行子块划分。
S12：对每个子块进行最邻近子块判断，确定当前子块的初始最佳预测模式。
将当前子块定义为Sk(k＝0,1,…15)。对子块S1～S15，根据其在宏块中的位置，判断相应的最邻近子块，如图2所示。
当Sk为S1、S2、S3时，Sk的已知最邻近子块为横向，将左侧邻近子块作为最邻近子块，如图3a所示。
当Sk为S4、S8、S12时，Sk的已知最邻近子块为纵向，将上方邻近子块作为最邻近子块，如图3b所示。
当Sk为其它情况时(S0除外)，Sk的已知最邻近子块为横向/纵向/对角其中之一。对Sk左侧、上方和对角子块的率失真RDk-1、RDk-4和RDk-5进行比较，取率失真最小的子块作为最邻近子块，如图3c所示。
根据上述步骤确定当前子块的最邻近子块，取该最邻近子块的最佳预测模式Mprev作为当前子块的初始最佳预测模式M0。
S13：按初始最佳预测模式进行当前子块重构，根据率失真判断最终预测模式。
当前子块的重构过程首先利用初始最佳预测模式M0对当前子块Sk进行预测，再对预测残差进行离散余弦变换、量化、反量化和反离散余弦变换，进而得到重构子块S’k。
通过当前子块Sk和重构子块S’k计算率失真RDk。同时保存预测模式M0对应的率失真RDk。
S14：确定最终预测模式。
比较当前子块率失真RDk与先前保存的最邻近子块率失真RDprev。
当RDk≤RDprev时，确定将初始最佳预测模式M0作为最终预测模式，同时保存该子块的预测模式和率失真为后续子块使用；否则执行步骤S15。
S15：用10种预测模式对当前子块进行重构，根据率失真阈值判断最终预测模式。
遍历模式0～9对当前子块进行预测，再对预测残差进行离散余弦变换、量化、反量化和反离散余弦变换，进而得到重构子块S’k。
对每次重构，计算当前子块Sk和重构子块S’k的率失真RDk。
遍历过程中，当预测模式与最邻近子块初始最佳预测模式M0相等时，则不进行重构，采用步骤S13中保存的率失真结果。
S16：确定最终预测模式。
比较当前子块率失真RDk与预先设置的率失真阈值TH。
当RDk≤TH时，确定将当前所采用的预测模式Mn(0～9其中之一)作为最终预测模式，停止预测模式遍历，同时保存该子块的预测模式和率失真为后续子块使用；否则执行步骤S17。
S17：取预测模式中率失真最小的预测模式作为最终预测模式。
上述遍历过程中，重构得到的率失真均大于阈值TH，则选10种预测模式中对应率失真最小的预测模式作为最终预测模式。
同时保存该子块的预测模式和率失真为后续子块使用。
S18：用最终预测模式对当前子块进行编码，直到所有子块编码完成。
采用确定的最终预测模式，对当前子块Sk进行编码，直到当前宏块中的所有子块编码完成。
再对下一个宏块执行同样的步骤S12～S18，直到完成整个图像的编码。
为了说明本发明的性能，对不同图像分别采用帧内预测编码加速方法和原始方法进行WebP图像编码，具体为：Monarch[768x 512]，Boy[768x 512]，Balloon[1136x 818]，Horses[1136x 818]，Market[2048x 1536]，Building[3888x 2592]，图4为WebP编码速度比较结果。
尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。

Claims (2)

1.一种帧内预测编码加速方法，其特征在于，包括如下步骤：
S1、获取图像YUV格式，将图像亮度分量Y划分为N个宏块，每个宏块划分为i×i子块；
S2、对每个子块进行最邻近子块判断，确定当前子块的初始最佳预测模式；
S3、按初始最佳预测模式进行当前子块重构，根据率失真判断最终预测模式；
S4、比较当前子块率失真RDk，确定最终预测模式；
S5、用最终预测模式对当前子块进行编码，直到所有子块编码完成；所述的步骤S2包括：
S21、确定当前子块在宏块中的位置；
S22、当已知最邻近子块为横向时，将左侧邻近子块作为最邻近子块；
S23、当已知最邻近子块为纵向时，将上方邻近子块作为最邻近子块；
S24、当已知最邻近子块为横向/纵向/对角其中之一时，对左侧、上方和对角子块的率失真进行比较，取率失真最小的子块作为最邻近子块；
S25、取该最邻近子块的最佳预测模式Mprev作为当前子块的初始最佳预测模式M0；
所述的步骤S3包括：
S31、当前子块的重构过程首先利用初始最佳预测模式M0对当前子块Sk进行预测，再对预测残差进行离散余弦变换、量化、反量化和反离散余弦变换，进而得到重构子块S’k；
S32、通过当前子块Sk和重构子块S’k计算率失真RDk，同时保存预测模式M0对应的率失真RDk；
所述的步骤S4包括如下步骤：
S41、比较当前子块率失真RDk与先前保存的最邻近子块率失真RDprev，
当RDk≤RDprev时，确定将初始最佳预测模式M0作为最终预测模式，同时保存该子块的预测模式和率失真为后续子块使用；否则执行步骤42；
S42、用j种预测模式对当前子块进行重构，根据率失真阈值判断最终预测模式：
遍历预测模式对当前子块进行预测，再对预测残差进行离散余弦变换、量化、反量化和反离散余弦变换，进而得到重构子块S’k；
对每次重构，计算当前子块Sk和重构子块S’k的率失真RDk；
遍历过程中，当预测模式与最邻近子块初始最佳预测模式M0相等时，则不进行重构，采用步骤S32中保存的率失真结果；
S43、比较当前子块率失真RDk与预先设置的率失真阈值TH；
当RDk≤TH时，确定将当前所采用的预测模式Mn作为最终预测模式，停止预测模式遍历，同时保存该子块的预测模式和率失真为后续子块使用；否则执行步骤S44；
S44、取预测模式中率失真最小的预测模式作为最终预测模式，在遍历过程中，重构得到的率失真均大于阈值TH，则选对应率失真最小的预测模式作为最终预测模式，同时保存该子块的预测模式和率失真为后续子块使用。
2.如权利要求1所述的帧内预测编码加速方法，其特征在于，所述的步骤S5后还包含：
S6，再对下一个宏块执行同样的步骤S2～S5，直到完成整个图像的编码。
CN201811354344.7A 2018-11-14 2018-11-14 一种帧内预测编码加速方法 Expired - Fee Related CN109361921B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811354344.7A CN109361921B (zh) 2018-11-14 2018-11-14 一种帧内预测编码加速方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811354344.7A CN109361921B (zh) 2018-11-14 2018-11-14 一种帧内预测编码加速方法

Publications (2)

Publication Number Publication Date
CN109361921A CN109361921A (zh) 2019-02-19
CN109361921B true CN109361921B (zh) 2021-03-26

Family

ID=65345180

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811354344.7A Expired - Fee Related CN109361921B (zh) 2018-11-14 2018-11-14 一种帧内预测编码加速方法

Country Status (1)

Country Link
CN (1) CN109361921B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103581670A (zh) * 2013-10-09 2014-02-12 合一网络技术(北京)有限公司 H264自适应帧内模式选择码率估计的率失真优化方法及其装置
CN103873862A (zh) * 2014-02-28 2014-06-18 北京师范大学 一种帧内快速编码方法及系统
CN107027025A (zh) * 2017-03-28 2017-08-08 清华大学深圳研究生院 一种基于宏像素块自适应预测的光场图像压缩方法
WO2018105759A1 (ko) * 2016-12-05 2018-06-14 엘지전자(주) 영상 부호화/복호화 방법 및 이를 위한 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9948938B2 (en) * 2011-07-21 2018-04-17 Texas Instruments Incorporated Methods and systems for chroma residual data prediction

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103581670A (zh) * 2013-10-09 2014-02-12 合一网络技术(北京)有限公司 H264自适应帧内模式选择码率估计的率失真优化方法及其装置
CN103873862A (zh) * 2014-02-28 2014-06-18 北京师范大学 一种帧内快速编码方法及系统
WO2018105759A1 (ko) * 2016-12-05 2018-06-14 엘지전자(주) 영상 부호화/복호화 방법 및 이를 위한 장치
CN107027025A (zh) * 2017-03-28 2017-08-08 清华大学深圳研究生院 一种基于宏像素块自适应预测的光场图像压缩方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
H.264帧内预测模式快速选择算法研究;杨杰峰;《中国硕士论文库》;20141130;全文 *

Also Published As

Publication number Publication date
CN109361921A (zh) 2019-02-19

Similar Documents

Publication Publication Date Title
CN101964906B (zh) 基于纹理特性的快速帧内预测方法和装置
CN105430407B (zh) 应用于h.264到hevc转码的快速帧间模式决策方法
WO2018010492A1 (zh) 视频编码中帧内预测模式的快速决策方法
CN104581181B (zh) 一种基于备选模式列表优化的帧内编码方法
CN104639940B (zh) 一种快速hevc帧内预测模式选择方法
CN105208387B (zh) 一种hevc帧内预测模式快速选择方法
CN103929652B (zh) 视频标准中基于自回归模型的帧内预测快速模式选择方法
CN103220529A (zh) 一种视频编解码环路滤波的实现方法
CN104113754A (zh) 基于时域相关性的高性能视频帧间编码方法及其转码器
WO2011110088A1 (zh) 一种视频预测编码方法和装置
CN110351552B (zh) 视频编码中一种快速编码方法
CN111988628B (zh) 基于强化学习的vvc的快速帧内编码方法
CN102595140A (zh) 基于图像修复和矢量预测算子的帧内预测视频编码方法
CN105681808B (zh) 一种scc帧间编码单元模式的快速决策方法
CN105791826A (zh) 一种基于数据挖掘的hevc帧间快速模式选择方法
CN101304529A (zh) 宏块模式的选择方法和装置
CN110365982A (zh) 一种多用途编码中帧内编码的多变换选择加速方法
CN103442228A (zh) 从h.264/avc标准到hevc标准的快速帧内转码方法及其转码器
CN106791828A (zh) 基于机器学习的高性能视频转码方法及其转码器
CN109561304A (zh) 一种图像编码方法
CN109819260A (zh) 基于多嵌入域融合的视频隐写方法和装置
CN100426868C (zh) 一种帧内图像的亮度预测编码方法
CN103702131B (zh) 一种基于模式预处理的帧内编码优化方法和系统
CN101867818B (zh) 宏块模式的选择方法和装置
CN109361921B (zh) 一种帧内预测编码加速方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210326