CN111314700B - 抑制呼吸效应的视频编码方法及装置 - Google Patents
抑制呼吸效应的视频编码方法及装置 Download PDFInfo
- Publication number
- CN111314700B CN111314700B CN202010138871.5A CN202010138871A CN111314700B CN 111314700 B CN111314700 B CN 111314700B CN 202010138871 A CN202010138871 A CN 202010138871A CN 111314700 B CN111314700 B CN 111314700B
- Authority
- CN
- China
- Prior art keywords
- frame
- coding
- image unit
- effect
- respiratory effect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000241 respiratory effect Effects 0.000 title claims abstract description 128
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000002401 inhibitory effect Effects 0.000 title abstract description 7
- 238000013139 quantization Methods 0.000 claims abstract description 43
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 56
- 230000000694 effects Effects 0.000 claims description 49
- 238000004458 analytical method Methods 0.000 claims description 34
- 230000003068 static effect Effects 0.000 claims description 29
- 238000004364 calculation method Methods 0.000 claims description 16
- 230000008859 change Effects 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 8
- 238000012544 monitoring process Methods 0.000 description 12
- 230000002829 reductive effect Effects 0.000 description 6
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 239000000872 buffer Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了抑制呼吸效应的视频编码方法及装置,涉及视频图像编码技术领域。一种抑制呼吸效应的视频编码方法,包括如下步骤:对输入图像进行呼吸效应预分析,获取图像中各编码单元产生的呼吸效应强度;对会产生呼吸效应的图像单元进行帧间预编码,在预编码图像单元时,根据前述呼吸效应预分析结果调整帧间预编码量化参数;用帧间预编码生成的重建图像单元替换原始输入图像单元进行最终编码。本发明提供的视频编码方法,可以用于解决I帧和I帧刷新产生的呼吸效应,能够有效地抑制帧内预测和帧间预测模式不连续造成的呼吸效应。
Description
技术领域
本发明涉及视频图像编码技术领域。
背景技术
在监控视频编码中,为了减少帧间预测编码造成的失真和码流传输出错造成马赛克的扩散,以及支持解码端随机回放,需要在编码码流中插入I帧进行刷新。在视频编码共工作在低码率时,一般插入的I帧编码图像质量相对较好以供后续P帧或B帧参考,而随着帧间预测误差的传递扩大,下一个I帧之前的P帧质量损失较大,人眼会感觉到监控视频出现图像周期性的忽好忽坏,即呼吸效应。这种呼吸效应,在图像的静止区域主观感觉会比较明显,在运动区域不容易感觉到。由于监控视频中大量场景和区域都是静止的,且一般监控应用工作在较低码率,所以呼吸效应对监控编码视频的主观质量有较大影响。
呼吸效应产生的原因,主要有两方面:一方面是码率分配不完善造成的I帧和P帧的客观质量突变,这个通常可以通过调整量化参数限制I帧清晰度变化进行缓解;另一方面,也是更主要的原因,是由于帧内预测(I帧)和帧间预测(P帧或B帧)两种编码模式产生的图像失真形态不同,造成了主观上容易感觉到静止区域重建像素的形态突然变化,这个问题在监控低码率编码时无法通过限制清晰度变化来解决,是低码率视频编码中难以解决的问题。
对于低码率视频的编码,由于压缩率较高,视频帧损失较大,前后帧图像清晰度突变和像素损失形态的突变,都会造成视频解码后主观上的呼吸效应。
为了减小呼吸效应,现有技术中也提供了一些技术方案,比如在编码前会对输入的图像先进行时域滤波去噪,增加前后帧图像的相关性;再比如,通过减少I帧刷新频率,或者将单帧I帧刷新改为在多个连续P帧中每帧只刷新局部I条带来实现;又比如,在I帧前采用双向预测(B帧)编码,通过B帧来平滑P帧和I帧的纹理变化。然而,如果通过在编码前对输入的图像先进行时域滤波去噪来减小呼吸效应,需要增加专门的时域滤波模块,并且会增加大量的带宽;如果通过减少I帧刷新频率或者将单帧I帧刷新改为在多个连续P帧中每帧只刷新局部I条带来实现,这种方法并没有真正解决刷新区闪烁的问题,I帧的减少还弱化了解码时随机播放的能力;通过插入B帧来平滑P帧和I帧的纹理变化的方法有良好的效果,但是B帧在解码时需要额外的参考帧buffer(缓冲)并增加了显示延迟,这一方案在监控应用中受到限制。
国际专利申请WO2016154888A1提出了将I条带刷新区先按P帧做第一次编码,然后将第一次编码的重建条带图像作为输入图像进行第二次I帧编码的图像编码方案。上述编码方案虽然能够缓解呼吸效应,但是强制执行的第一轮P条带编码会损失输入图像的清晰度,影响后续帧间预测编码帧的压缩效率。尤其的,监控视频中需要对运动的人和物保持较好的编码质量,采用上述技术方案会明显影响监控视频的压缩率和主观质量。此外,完整的二轮编码的运算复杂度很高,对编码器性能产生的影响较大。
发明内容
本发明的目的在于:克服现有技术的不足,提供了一种抑制呼吸效应的视频编码方法及装置。本发明提供的视频编码方法,通过预分析图像中各编码单元产生的呼吸效应强度,对可能产生呼吸效应的图像单元进行帧间预编码,同时预编码图像单元采用的量化参数按照预分析结果自适应调整,最优化刷新图像编码后的清晰度;然后将帧间预编码生成的重建图像单元替换原始输入图像单元进行最终编码,有效地抑制帧内预测和帧间预测模式不连续造成的呼吸效应。
为实现上述目标,本发明提供了如下技术方案:
一种抑制呼吸效应的视频编码方法(包括如下步骤:
对输入图像进行呼吸效应预分析,获取图像中各编码单元产生的呼吸效应强度;
对会产生呼吸效应的图像单元进行帧间预编码,在预编码图像单元时,根据前述呼吸效应预分析结果调整帧间预编码量化参数;
用帧间预编码生成的重建图像单元替换原始输入图像单元进行最终I帧编码。
进一步,对输入图像进行呼吸效应预分析时,将不会发生呼吸效应的图像单元直接发送至编码器进行I帧编码,将会发生呼吸效应的图像单元发送编码器先进行预编码,并根据呼吸效应强度配置帧间预编码量化参数的调整值。
进一步,根据呼吸效应强度配置图像单元的量化值时,相比于呼吸效应弱的图像单元,呼吸效应强的图像单元的量化值较大以平滑前后帧纹理变化,呼吸效应弱的图像单元的量化值较小以维持图像清晰度。
进一步,获取图像单元产生的呼吸效应强度的步骤包括,
获取设置的多个呼吸效应强度影响因子信息,对前述影响因子进行数据归一化处理,获取呼吸效应强度影响因子的权重信息,所述呼吸效应强度影响因子包括图像的非静止程度、纹理复杂度和平均亮度;
计算当前图像单元的非静止程度、纹理复杂度和平均亮度参数;
根据计算得到的非静止程度、纹理复杂度和平均亮度参数,结合前述权重信息判断当前图像单元采用帧内编码模式编码后产生的呼吸效应强度,所述呼吸效应强度=非静止程度权重×纹理复杂度权重×亮度权重。
进一步,通过帧差绝对值和法或者像素运动估计计算法计算图像单元的非静止程度;
和/或,采用平均差绝对值和或方差和方法计算图像单元的纹理复杂度。
进一步,帧间预编码时,通过无运动帧间补偿编码产生重建帧,无需进行帧间运动估计、帧内编码代价计算和熵编码生成码流;
所述预编码采用B帧模式或P帧模式编码,前向预测的参考图像单元为前一帧重建图像中与当前编码输入图像单元位置相同的图像单元,后向预测的参考图像单元为后一帧原始输入图像中与当前编码输入图像单元位置相同的图像单元。
进一步,通过无运动帧间补偿编码产生重建帧时,包括相同位置帧间预测、量化变换和反变化反量化、滤波和重建。
本发明还提供了一种抑制呼吸效应的视频编码装置(包括如下结构:
支持帧间预测编码的视频编码器;
呼吸效应预分析模块,用于对输入图像进行呼吸效应预分析,获取图像中各编码单元产生的呼吸效应强度,以及将会产生呼吸效应的图像单元发送到视频编码器进行帧间预编码;
编码输入选择模块,用于响应呼吸效应预分析模块的分析结果,选择原始输入图像单元或预编码生成的重建图像单元,送入视频编码器进行编码;
其中,视频编码器在预编码图像单元时,根据前述呼吸效应预分析结果调整帧间预编码量化参数,对于会产生呼吸效应的图像单元,用帧间预编码生成的重建图像单元替换原始输入图像单元进行最终I帧编码。
进一步,所述呼吸效应预分析模块还被配置为,
对输入图像进行呼吸效应预分析时,将不会发生呼吸效应的图像单元直接发送至视频编码器进行I帧编码,将会发生呼吸效应的图像单元发送至视频编码器先进行预编码,并根据呼吸效应强度配置帧间预编码量化参数的调整值。
进一步,所述呼吸效应预分析模块包括呼吸效应强度计算子模块,其被配置为,
获取设置的多个呼吸效应强度影响因子信息,对前述影响因子进行数据归一化处理,获取呼吸效应强度影响因子的权重信息,所述呼吸效应强度影响因子包括图像的非静止程度、纹理复杂度和平均亮度;
计算当前图像单元的非静止程度、纹理复杂度和平均亮度参数;
根据计算得到的非静止程度、纹理复杂度和平均亮度参数,结合前述权重信息判断当前图像单元采用帧内编码模式编码后产生的呼吸效应强度,所述呼吸效应强度=非静止程度权重×纹理复杂度权重×亮度权重。
本发明由于采用以上技术方案,与现有技术相比,作为举例,具有以下的优点和积极效果:
通过预先分析I帧输入图像呼吸效应产生的强度,自适应选择需要进行帧间预编码的图像单元,对这些单元进行无运动估计的帧间编码,产生重建帧替代原始输入图像单元进行I帧编码,减小监控编码视频的呼吸效应。
通过预分析和自适应选择,避免了强制的第一轮P条带编码对视频运动区域和呼吸效应较弱区域二次编码造成的清晰度损失,有利于提升后续帧间预测编码帧的压缩效率和主观质量。
基于0运动矢量的帧间预编码不需要进行复杂的运动估计、帧内编码模式代价计算、熵编码等过程,并且不需要对所有图像单元进行预编码处理,极大地减小了二次编码对编码器整体性能的影响。
另一方面,呼吸效应预分析操作可以复用视频监控编码装置中常见的背景运动检测模块的计算数据,不需要产生额外的片外访问带宽。
附图说明
图1为本发明实施例提供的抑制呼吸效应的视频编码方法的流程图。
图2为本发明实施例提供的抑制呼吸效应的视频编码装置的信息传输示例图。
图3为本发明实施例提供的呼吸效应强度的影响因子权重的实验数据图。
具体实施方式
以下结合附图和具体实施例对本发明公开的抑制呼吸效应的视频编码方法及装置作进一步详细说明。应当注意的是,下述实施例中描述的技术特征或者技术特征的组合不应当被认为是孤立的,它们可以被相互组合从而达到更好的技术效果。在下述实施例的附图中,各附图所出现的相同标号代表相同的特征或者部件,可应用于不同实施例中。因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
需说明的是,本说明书所附图中所绘示的结构、比例、大小等,均仅用以配合说明书所揭示的内容,以供熟悉此技术的人士了解与阅读,并非用以限定发明可实施的限定条件,任何结构的修饰、比例关系的改变或大小的调整,在不影响发明所能产生的功效及所能达成的目的下,均应落在发明所揭示的技术内容所能涵盖的范围内。本发明的优选实施方式的范围包括另外的实现,其中可以不按所述的或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它示例可以具有不同的值。
实施例
参见图1所示,公开了一种抑制呼吸效应的视频编码方法,包括如下步骤:
S100,对输入图像进行呼吸效应预分析,获取图像中各编码单元产生的呼吸效应强度。
S100,对会产生呼吸效应的图像单元进行帧间预编码,在预编码图像单元时,根据前述呼吸效应预分析结果调整帧间预编码量化参数。
S100,用帧间预编码生成的重建图像单元替换原始输入图像单元进行最终I帧编码。
本实施例中,编码装置中包括有视频编码器,以及与视频编码器连接的呼吸效应预分析模块和编码输入选择模块。
所述视频编码器,可以为任意支持帧间预测编码的视频格式编码器,作为举例而非限制,比如H264、H265、AVS等。
在视频编码器中设置有帧间预测预编码模块,所述帧间预测预编码模块优选为编码器中相关功能模块的组合。预编码操作无需完成编码器的全部流程,仅需通过无运动帧间补偿编码来产生重建帧。无运动帧间补偿编码时,运动矢量固定为0,产生重建帧的步骤包括相同位置帧间预测、量化变换和反变化反量化、滤波和重建。上述操作无需进行帧间运动估计、帧内编码代价计算和进行熵编码生成码流等复杂的操作过程,可以极大地减小对编码器整体性能的影响。
预编码时,可以采用B帧(双向预测)模式,也可以采用P帧(前向预测)模式编码。前向预测的参考图像单元为前一帧(P帧或B帧)重建图像中与当前编码输入图像单元位置相同的图像单元;后向预测的参考图像单元为后一帧原始输入图像中与当前编码输入图像单元位置相同的图像单元。
参见图2所示,所述呼吸效应预分析模块,用于对输入图像进行呼吸效应预分析,获取图像中各编码单元产生的呼吸效应强度,以及将会产生呼吸效应的图像单元发送到视频编码器进行帧间预编码。
本实施例中,所述呼吸效应预分析模块可以通过分析获取当前图像单元产生的呼吸效应强度,即当前图像单元发生呼吸效应的程度,并根据图像单元是否发生呼吸效应进行区别处理。具体的,将不会发生呼吸效应的图像单元直接送入视频编码器进行I帧编码;将会发生呼吸效应的图像单元,通知视频编码器先进行预编码,并根据该图像单元对应的呼吸效应强度配置帧间预编码量化参数的调整值。
优选的,根据呼吸效应强度配置图像单元的量化值时,相比于呼吸效应弱的图像单元,呼吸效应强的图像单元的量化值应较大。通过对呼吸效应强的图像单元设置较大的量化值,可以平滑前后帧纹理变化,通过对呼吸效应弱的单元配置较小的量化值,可以维持图像清晰度。
本实施例中,是通过分析呼吸效应强度影响因子信息来计算呼吸效应强度的。具体的,获取图像单元产生的呼吸效应强度的步骤包括:
步骤1,获取设置的多个呼吸效应强度影响因子信息,对前述影响因子进行数据归一化处理,获取呼吸效应强度影响因子的权重信息。
呼吸效应在图像中并非均匀出现的,其出现与图像单元的一些参数有关。比如,呼吸效应一般在中间亮度的静止区域更容易被观察到,而且在具有适当的纹理复杂度(或噪声)的区域比纹理复杂或完全平滑的区域更容易感觉到。在监控应用中,图像往往包含一定的随机噪声,这些噪声叠加在静止的平滑区域,使得这些原有非常平滑的区域图像也含有一定的随机纹理。在诸如H264/H265帧间编码(P帧或B帧)时,随机纹理通过帧间预测和预测残差量化损失后,前后帧重建图像中的剩余纹理形态类似,具有相关性。而在帧内编码(I帧)时,帧内预测和帧间预测残差通过量化产生的剩余纹理(或噪声)形态完全不同,人眼容易感觉到平坦区域这种噪声形态的突变,从而感觉到呼吸效应。
本实施例中,设置的呼吸效应强度影响因子包括图像的非静止程度、纹理复杂度和平均亮度。呼吸效应强度的计算公式如下:
呼吸效应强度=非静止程度权重×纹理复杂度权重×亮度权重。
各影响因子的权重计算可以基于现有的实验模型和数据分析理论。本实施例中,优选的,通过数据归一化处理方法对实验数据进行数据分析后,获得非静止程度权重、纹理复杂度权重、亮度权重等3个影响因子的关系表,参见图3所示。
步骤2,计算当前图像单元的非静止程度、纹理复杂度和平均亮度参数。
图像的非静止程度的计算可以采用各种方法,本实施例中,优选的采用帧差绝对值和(SAD)方法,或者高斯背景建模等像素运动估计计算方法。当前的视频监控编码设备中,一般都含有背景运动检测模块,其用来检测运动区域和背景区域供感兴趣区域编码使用,因此本发明可以直接复用已有的运动检测模块的分析结果来计算图像单元的非静止程度,不会产生额外的片外访问带宽。
图像的纹理复杂度可以采用各种方法,本实施例中,优选的采用平均差绝对值和(MAD)或方差和方法。
步骤3,根据计算得到的非静止程度、纹理复杂度和平均亮度参数,结合前述权重信息判断当前图像单元采用帧内编码模式编码后产生的呼吸效应强度。
根据计算得到的非静止程度、纹理复杂度、平均亮度等影响因子的参数值,查询图3所示的关系表,获得对应的非静止程度权重、纹理复杂度权重和亮度权重的值。
然后通过计算公式呼吸效应强度=非静止程度权重×纹理复杂度权重×亮度权重,得到呼吸效应强度值。
所述编码输入选择模块,用于响应预分析模块的分析结果,选择原始输入图像单元或预编码生成的重建图像单元,送入视频编码器进行编码。
呼吸效应预分析模块可以将分析结果传输至编码输入选择模块,编码输入选择模块根据呼吸效应预分析模块的通知消息,选择原始图像单元或预编码生成的重建图像单元,送入编码器进行I帧编码刷新。
上述技术方案可以用于解决I帧和I帧刷新产生的呼吸效应。通过呼吸效应预分析和自适应选择,避免了强制的第一轮P条带编码对视频运动区域和呼吸效应较弱区域二次编码造成的清晰度损失,有利于提升后续帧间预测编码帧的压缩效率和主观质量。同时,由于基于0运动矢量的帧间预编码无需进行复杂的运动估计、帧内编码模式代价计算、熵编码等过程,并且不需要对所有图像单元进行预编码处理,极大地减小了二次编码对编码器整体性能的影响。进一步,呼吸效应预分析操作可以复用视频监控编码装置中常见的背景运动检测模块的计算数据,不需要产生额外的片外访问带宽。
本发明还提供了一种抑制呼吸效应的视频编码装置(包括如下结构:
支持帧间预测编码的视频编码器;
呼吸效应预分析模块,用于对输入图像进行呼吸效应预分析,获取图像中各编码单元产生的呼吸效应强度,以及将会产生呼吸效应的图像单元发送到视频编码器进行帧间预编码;
编码输入选择模块,用于响应预分析模块的分析结果,选择原始输入图像单元或预编码生成的重建图像单元,送入视频编码器进行编码;
其中,视频编码器在预编码图像单元时,根据前述呼吸效应预分析结果调整帧间预编码量化参数,对于会产生呼吸效应的图像单元,用帧间预编码生成的重建图像单元替换原始输入图像单元进行最终I帧编码。
结合图2详细描述本发明的视频编码装置的结构。
视频编码装置包括视频编码器、呼吸效应预分析模块和编码输入选择模块。
所述视频编码器为任意支持帧间预测编码的视频格式编码器。作为举例而非限制,比如H264、H265、AVS等。
在视频编码器中设置有帧间预测预编码模块,所述帧间预测预编码模块优选为编码器中相关功能模块的组合。预编码操作无需完成编码器的全部流程,仅需通过无运动帧间补偿编码来产生重建帧。无运动帧间补偿编码时,运动矢量固定为0,产生重建帧的步骤包括相同位置帧间预测、量化变换和反变化反量化、滤波和重建。上述操作无需进行帧间运动估计、帧内编码代价计算和进行熵编码生成码流等复杂的操作过程,可以极大地减小对编码器整体性能的影响。预编码时,可以采用B帧(双向预测)模式,也可以采用P帧(前向预测)模式编码。前向预测的参考图像单元为前一帧(P帧或B帧)重建图像中与当前编码输入图像单元位置相同的图像单元;后向预测的参考图像单元为后一帧原始输入图像中与当前编码输入图像单元位置相同的图像单元。
所述呼吸效应预分析模块,用于分析获取当前图像单元产生的呼吸效应强度,即当前图像单元发生呼吸效应的程度,并根据图像单元是否发生呼吸效应进行区别处理。具体的,将不会发生呼吸效应的单元图像直接送入编码器进行I帧编码;将会发生呼吸效应的单元通知编码器先进行预编码,并根据呼吸效应的程度配置帧间预编码量化参数的调整值,对呼吸效应强的单元设置较大的量化值,平滑前后帧纹理变化,对呼吸效应弱的单元配置较小的量化值,维持图像清晰度。
本实施例中,所述呼吸效应预分析模块还包括呼吸效应强度计算子模块,其被配置为:
获取设置的多个呼吸效应强度影响因子信息,对前述影响因子进行数据归一化处理,获取呼吸效应强度影响因子的权重信息,所述呼吸效应强度影响因子包括图像的非静止程度、纹理复杂度和平均亮度;
以及计算当前图像单元的非静止程度、纹理复杂度和平均亮度参数;
以及根据计算得到的非静止程度、纹理复杂度和平均亮度参数,结合前述权重信息判断当前图像单元采用帧内编码模式编码后产生的呼吸效应强度,所述呼吸效应强度=非静止程度权重×纹理复杂度权重×亮度权重。
作为优选方式的举例,所述呼吸效应强度可以按照以下方法计算:
首先,计算当前图像单元的非静止程度、纹理复杂度和平均亮度。所述非静止程度的计算可以采用各种方法,优选的,采用帧差绝对值和(SAD)的方法或者采用高斯背景建模等像素运动估计计算方法。现有的视频监控编码设备中一般都含有背景运动检测模块,用来检测运动区域和背景区域供感兴趣区域编码使用,本专利的方案可以直接复用运动检测模块的分析结果来计算图像单元的非静止程度。所述纹理复杂度可以采用各种方法,优选的,采用平均差绝对值和(MAD)或方差和的方法。
然后,根据计算得到的非静止程度、纹理复杂度、平均亮度等参数来判断当前图像单元采用帧内编码模式编码后发生的呼吸效应强度。所述呼吸效应强度=非静止程度权重×纹理复杂度权重×亮度权重。
所述非静止程度权重、纹理复杂度权重、亮度权重是通过实验数据查表获得,参见图3所示。图3的表数据,是通过数据归一化处理方法对实验数据进行数据分析后,获得的非静止程度权重、纹理复杂度权重、亮度权重等3个影响因子的关系表。
所述编码输入选择模块,可以根据呼吸效应预分析模块的通知,选择原始图像单元或预编码生成的重建图像单元,送入编码器进行I帧编码刷新。
上述视频编码装置,通过预先分析I帧输入图像呼吸效应产生的强度,根据预分析的呼吸效应强度自适应调整帧间预编码采用的量化参数,以及自适应选择需要进行帧间预编码的图像单元,并对这些图像单元进行无运动估计的帧间编码,产生重建帧替代原始输入图像单元进行I帧编码,从而到达减小监控编码视频的呼吸效应的目的。
其它技术特征参见在前实施例的描述,在此不再赘述。
在上面的描述中,本发明的公开内容并不旨在将其自身限于这些方面。而是,在本公开内容的目标保护范围内,各组件可以以任意数目选择性地且操作性地进行合并。另外,像“包括”、“囊括”以及“具有”的术语应当默认被解释为包括性的或开放性的,而不是排他性的或封闭性,除非其被明确限定为相反的含义。所有技术、科技或其他方面的术语都符合本领域技术人员所理解的含义,除非其被限定为相反的含义。在词典里找到的公共术语应当在相关技术文档的背景下不被太理想化或太不实际地解释,除非本公开内容明确将其限定成那样。本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰,均属于权利要求书的保护范围。
Claims (7)
1.一种抑制呼吸效应的视频编码方法,其特征在于包括如下步骤:
对输入图像进行呼吸效应预分析,获取图像中各编码单元产生的呼吸效应强度;
对会产生呼吸效应的图像单元进行帧间预编码,在预编码图像单元时,根据前述呼吸效应预分析结果调整帧间预编码量化参数;在调整帧间预编码量化参数时,对呼吸效应强的图像单元配置较大的量化值以平滑前后帧纹理变化,对呼吸效应弱的图像单元配置较小的量化值以维持图像清晰度;用帧间预编码生成的重建图像单元替换原始输入图像单元进行最终I帧编码;
其中,在帧间预编码时,通过无运动帧间补偿编码产生重建帧,无需进行帧间运动估计、帧内编码代价计算和熵编码生成码流;所述预编码采用B帧模式或P帧模式编码,前向预测的参考图像单元为前一帧重建图像中与当前编码输入图像单元位置相同的图像单元,后向预测的参考图像单元为后一帧原始输入图像中与当前编码输入图像单元位置相同的图像单元;通过无运动帧间补偿编码产生重建帧时,包括相同位置帧间预测、量化变换和反变化反量化、滤波和重建。
2.根据权利要求1所述的视频编码方法,其特征在于:对输入图像进行呼吸效应预分析时,将不会发生呼吸效应的图像单元直接发送至编码器进行I帧编码,将会发生呼吸效应的图像单元发送编码器先进行预编码,并根据呼吸效应强度配置帧间预编码量化参数的值。
3.根据权利要求1所述的视频编码方法,其特征在于:获取图像单元产生的呼吸效应强度的步骤包括,
获取设置的多个呼吸效应强度影响因子信息,对前述影响因子进行数据归一化处理,获取呼吸效应强度影响因子的权重信息,所述呼吸效应强度影响因子包括图像的非静止程度、纹理复杂度和平均亮度;
计算当前图像单元的非静止程度、纹理复杂度和平均亮度参数;
根据计算得到的非静止程度、纹理复杂度和平均亮度参数,结合前述权重信息判断当前图像单元采用帧内编码模式编码后产生的呼吸效应强度,所述呼吸效应强度=非静止程度权重×纹理复杂度权重×亮度权重。
4.根据权利要求3所述的视频编码方法,其特征在于:通过帧差绝对值和法或者像素运动估计计算法计算图像单元的非静止程度;
和/或,采用平均差绝对值和或方差和方法计算图像单元的纹理复杂度。
5.一种抑制呼吸效应的视频编码装置,其特征在于包括:
支持帧间预测编码的视频编码器;
呼吸效应预分析模块,用于对输入图像进行呼吸效应预分析,获取图像中各编码单元产生的呼吸效应强度,以及将会产生呼吸效应的图像单元发送到视频编码器进行帧间预编码;其中,在帧间预编码时,通过无运动帧间补偿编码产生重建帧,无需进行帧间运动估计、帧内编码代价计算和熵编码生成码流;所述预编码采用B帧模式或P帧模式编码,前向预测的参考图像单元为前一帧重建图像中与当前编码输入图像单元位置相同的图像单元,后向预测的参考图像单元为后一帧原始输入图像中与当前编码输入图像单元位置相同的图像单元;通过无运动帧间补偿编码产生重建帧时,包括相同位置帧间预测、量化变换和反变化反量化、滤波和重建;
编码输入选择模块,用于响应呼吸效应预分析模块的分析结果,选择原始输入图像单元或预编码生成的重建图像单元,送入视频编码器进行编码;
其中,视频编码器在预编码图像单元时,根据前述呼吸效应预分析结果调整帧间预编码量化参数,对于会产生呼吸效应的图像单元,用帧间预编码生成的重建图像单元替换原始输入图像单元进行最终I帧编码;在调整帧间预编码量化参数时,对呼吸效应强的图像单元配置较大的量化值以平滑前后帧纹理变化,对呼吸效应弱的图像单元配置较小的量化值以维持图像清晰度。
6.根据权利要求5所述的视频编码装置,其特征在于:所述呼吸效应预分析模块还被配置为,
对输入图像进行呼吸效应预分析时,将不会发生呼吸效应的图像单元直接发送至视频编码器进行I帧编码,将会发生呼吸效应的图像单元发送至视频编码器先进行预编码,并根据呼吸效应强度配置帧间预编码量化参数的值。
7.根据权利要求5所述的视频编码装置,其特征在于:所述呼吸效应预分析模块包括呼吸效应强度计算子模块,其被配置为,
获取设置的多个呼吸效应强度影响因子信息,对前述影响因子进行数据归一化处理,获取呼吸效应强度影响因子的权重信息,所述呼吸效应强度影响因子包括图像的非静止程度、纹理复杂度和平均亮度;
计算当前图像单元的非静止程度、纹理复杂度和平均亮度参数;
根据计算得到的非静止程度、纹理复杂度和平均亮度参数,结合前述权重信息判断当前图像单元采用帧内编码模式编码后产生的呼吸效应强度,所述呼吸效应强度=非静止程度权重×纹理复杂度权重×亮度权重。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010138871.5A CN111314700B (zh) | 2020-03-03 | 2020-03-03 | 抑制呼吸效应的视频编码方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010138871.5A CN111314700B (zh) | 2020-03-03 | 2020-03-03 | 抑制呼吸效应的视频编码方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111314700A CN111314700A (zh) | 2020-06-19 |
CN111314700B true CN111314700B (zh) | 2021-09-07 |
Family
ID=71160434
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010138871.5A Active CN111314700B (zh) | 2020-03-03 | 2020-03-03 | 抑制呼吸效应的视频编码方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111314700B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112954348B (zh) * | 2021-02-20 | 2024-04-02 | 浙江商汤科技开发有限公司 | 视频编码方法及装置、电子设备和存储介质 |
CN114584834B (zh) * | 2022-01-27 | 2024-02-13 | 百果园技术(新加坡)有限公司 | 视频质量优化方法、装置、设备和存储介质 |
CN116866588A (zh) * | 2023-06-28 | 2023-10-10 | 翱捷科技股份有限公司 | 一种抑制超大i帧的码率控制方法及装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1988659A (zh) * | 2006-12-30 | 2007-06-27 | 清华大学 | 一种视频编码码率控制方法 |
CN101094411A (zh) * | 2007-07-03 | 2007-12-26 | 芯瀚电子技术(上海)有限公司 | 一种视频编码的码率控制方法 |
CN101507267A (zh) * | 2005-09-07 | 2009-08-12 | 维德约股份有限公司 | 用于使用可缩放视频编码进行可缩放和低延迟视频会议的系统和方法 |
CN102164278A (zh) * | 2011-02-15 | 2011-08-24 | 杭州海康威视软件有限公司 | 用于去除i帧闪烁的视频编码方法及其装置 |
CN103179394A (zh) * | 2013-01-21 | 2013-06-26 | 北京航空航天大学 | 一种基于区域视频质量平稳的i帧码率控制方法 |
CN103458239A (zh) * | 2012-05-30 | 2013-12-18 | 索尼公司 | 图像处理装置、图像处理方法和程序 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10048735A1 (de) * | 2000-09-29 | 2002-04-11 | Bosch Gmbh Robert | Verfahren zur Codierung und Decodierung von Bildsequenzen sowie Einrichtungen hierzu |
SG130962A1 (en) * | 2005-09-16 | 2007-04-26 | St Microelectronics Asia | A method and system for adaptive pre-filtering for digital video signals |
JP4449915B2 (ja) * | 2006-02-08 | 2010-04-14 | ソニー株式会社 | 符号化装置、符号化方法およびプログラム、並びに、記録媒体 |
US7974340B2 (en) * | 2006-04-07 | 2011-07-05 | Microsoft Corporation | Adaptive B-picture quantization control |
US8036270B2 (en) * | 2006-07-27 | 2011-10-11 | Sharp Laboratories Of America, Inc. | Intra-frame flicker reduction in video coding |
CN102946533B (zh) * | 2011-09-02 | 2016-08-17 | 斯凯普公司 | 视频编码 |
-
2020
- 2020-03-03 CN CN202010138871.5A patent/CN111314700B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101507267A (zh) * | 2005-09-07 | 2009-08-12 | 维德约股份有限公司 | 用于使用可缩放视频编码进行可缩放和低延迟视频会议的系统和方法 |
CN1988659A (zh) * | 2006-12-30 | 2007-06-27 | 清华大学 | 一种视频编码码率控制方法 |
CN101094411A (zh) * | 2007-07-03 | 2007-12-26 | 芯瀚电子技术(上海)有限公司 | 一种视频编码的码率控制方法 |
CN102164278A (zh) * | 2011-02-15 | 2011-08-24 | 杭州海康威视软件有限公司 | 用于去除i帧闪烁的视频编码方法及其装置 |
CN103458239A (zh) * | 2012-05-30 | 2013-12-18 | 索尼公司 | 图像处理装置、图像处理方法和程序 |
CN103179394A (zh) * | 2013-01-21 | 2013-06-26 | 北京航空航天大学 | 一种基于区域视频质量平稳的i帧码率控制方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111314700A (zh) | 2020-06-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110996102B (zh) | 抑制p/b帧中帧内块呼吸效应的视频编码方法及装置 | |
CN101778275B (zh) | 一种自适应时间域和空间域分辨率框架的图像处理方法 | |
US9071841B2 (en) | Video transcoding with dynamically modifiable spatial resolution | |
CN101919255B (zh) | 用于视频内插或外推的参考选择 | |
CN103179394B (zh) | 一种基于区域视频质量平稳的i帧码率控制方法 | |
RU2377737C2 (ru) | Способ и устройство для преобразования с повышением частоты кадров с помощью кодера (ea-fruc) для сжатия видеоизображения | |
EP2553935B1 (en) | Video quality measurement | |
US6862372B2 (en) | System for and method of sharpness enhancement using coding information and local spatial features | |
CN111314700B (zh) | 抑制呼吸效应的视频编码方法及装置 | |
MX2007011084A (es) | Clasificacion de contenido para procesamiento multimedia. | |
KR20050105271A (ko) | 비디오 인코딩 | |
US8737485B2 (en) | Video coding mode selection system | |
CN104937937A (zh) | 使用至少评估后的视觉质量的视频编码方法和相关视频编码装置 | |
JP2007503776A (ja) | インター符号化に使われる参照画像数を最小化するための方法および装置 | |
JP2006519565A (ja) | ビデオ符号化 | |
US20050129125A1 (en) | Method and apparatus for pitcure compression using variable block of arbitrary size | |
US20150016518A1 (en) | Video Decoding with Reduced Complexity Deblocking | |
JP2006094081A (ja) | 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体 | |
US9432694B2 (en) | Signal shaping techniques for video data that is susceptible to banding artifacts | |
Singam | Coding estimation based on rate distortion control of h. 264 encoded videos for low latency applications | |
JP4644097B2 (ja) | 動画像符号化プログラム、プログラム記憶媒体、および符号化装置。 | |
Nakagawa et al. | Dynamic resolution conversion method for low bit rate video transmission | |
US20160360219A1 (en) | Preventing i-frame popping in video encoding and decoding | |
JP5701018B2 (ja) | 画像復号装置 | |
EP1921866A2 (en) | Content classification for multimedia processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP02 | Change in the address of a patent holder |
Address after: 201210 8th floor, building 1, 298 Xiangke Road, Pudong New Area, Shanghai Patentee after: MOUXIN TECHNOLOGY (SHANGHAI) Co.,Ltd. Address before: Room 507, building 1, No. 800, Naxian Road, pilot Free Trade Zone, Pudong New Area, Shanghai 201210 Patentee before: MOUXIN TECHNOLOGY (SHANGHAI) Co.,Ltd. |
|
CP02 | Change in the address of a patent holder |