CN113453001A - 一种利用isp信息自适应分配qp提高h264编码效率的方法 - Google Patents
一种利用isp信息自适应分配qp提高h264编码效率的方法 Download PDFInfo
- Publication number
- CN113453001A CN113453001A CN202010214731.1A CN202010214731A CN113453001A CN 113453001 A CN113453001 A CN 113453001A CN 202010214731 A CN202010214731 A CN 202010214731A CN 113453001 A CN113453001 A CN 113453001A
- Authority
- CN
- China
- Prior art keywords
- coding
- interest
- isp
- improving
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000012545 processing Methods 0.000 claims abstract description 17
- 230000008569 process Effects 0.000 claims abstract description 9
- 230000015654 memory Effects 0.000 claims abstract description 6
- 230000000694 effects Effects 0.000 claims description 14
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 229940073619 encare Drugs 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明提供一种利用ISP信息自适应分配QP提高H264编码效率的方法，所述方法包括：ISP在自身处理的过程中，针对编码宏块中的感兴趣值做统计，并把统计结果写到内存中，然后再利用CPU对所述的统计结果进行分析处理，最终识别出真正的感兴趣区域，并把识别结果输出到编码器，编码器根据所述真正的感兴趣区域的数值自动分配码流。
Description
技术领域
本发明涉及视频技术领域，涉及一种利用ISP信息自适应分配QP提高H264编码效率的方法。
背景技术
随着科技的不断发展，特别是视频技术方面的发展，在视频采集或者监控系统中，都会包含如图1所示的三个模块，ISP负责处理CMOS sensor发送过来的raw图，并处理成成一幅正常亮度和颜色的图像，并写入到DDR中暂存，H264 ENC是H264编码器，负责把ISP生成的连续图像编码成相应的视频流，以节省视频存储空间。对于大部分的系统来说，ISP和H264 ENC都是独立控制和独立工作的。对于H264 ENC来说，在一定的码率下，码率控制算法会算出当前帧编码需要的QP值，并在对当前帧编码的时候使用该QP去编。
H264 ENC在编码的时候一般会把图像分成若干个不重叠的块，如图2所示，并按照块为单位进行编码，这些块也称为编码宏块，在H264中宏块的大小一般为16x16。因为H264编码时有损压缩编码，跟原图像相比，编码之后的图像肯定会有细节损失，其中对细节损失影响比较大的参数之一就是量化参数QP，QP越小，图像质量越好，细节损失越小，但是码率越大，反之，QP越大，图像质量会变差，细节损失变大，但是码率会变小。在实际使用过程中，QP会根据要求进行动态的变化，以达到码率和图像质量的平衡。
现有技术中，常用的方法和术语如下：
ISP：image signal processer,图像处理器，对CMOS sensor输入的raw图进行算法处理的模块，一般包含去噪，插值，去坏点，锐化等算法。
H264：一种编码协议，主要用来做视频压缩。
QP：量化参数，H264协议中的参数，QP变大会减小码率，但是编码效果会变差，QP减小会增大码率会，但图像效果会变好。
Macro：编码宏块,在H264中，一般为16x16的方块。
DDR：即双倍速率同步动态随机存储器，是内存的其中一种。
因为视频采集者的使用目的不同，因此关注的点可能就会不一样，比如说有的人需要场景中细节丰富的区域要求较高的主观质量，平坦区域可以差一些,那么细节丰富的区域就是感兴趣区域；还有人要求视频中运动的区域要求较高的主观质量，静止的区域可以差一些，那么运动区就是感兴趣区域；还有人要求过亮和过暗的区域主观质量可以差一些，正常亮度区域图像质量好一些，那么正常亮度区域就是感兴趣区域。这就要求编码器具有分辨不同特征区域(感兴趣区域)的能力，给不同的区域分配不同的QP，其实也就是等效于给不同的区域分配大小不同的码流，给感兴趣区域分配比较大的码流，来让图像质量高一些，给非感兴趣区域分配小的码流，图像质量可以差一些。但编码器内部一般没有区分不同感兴趣特征块的能力，如果增加的话，又会带来一定的代价。
发明内容
为了解决上述问题，本发明的目的在于：更好的分配码流给不同的编码宏块，来达到感兴趣区域图像质量最优的目的。
具体地，本发明提供一种利用ISP信息自适应分配QP提高H264编码效率的方法，所述方法包括：ISP在自身处理的过程中，针对编码宏块中的感兴趣值做统计，并把统计结果写到内存中，然后再利用CPU对所述的统计结果进行分析处理，最终识别出真正的感兴趣区域，并把识别结果输出到编码器，编码器根据所述真正的感兴趣区域的数值自动分配码流。
所述方法包括以下步骤：
S1，ISP在负责处理CMOS传感器发送过来的原图像过程中，以编码宏块为单位统计图片I的特征值F，并输出统计结果到DDR中存储；
S2，CPU在做码率控制分析时，会根据存储到DDR中有关特征值F的信息来调节每一个变慢宏块的编码参数，并形成一张宏块级的编码参数表M，并把M写回DDR；
S3，H264编码器在编码的时候会一起读入表M和图片I的数据进行编码，以调节不同编码宏块的QP值来达到区分编码。
由此，本申请的优势在于：为了更好的分配码流给不同的宏块，来达到感兴趣区域图像质量最优的目的，在编码前识别出感感兴趣区域的位置，在监控系统中，编码器输入图片的提供者是ISP模块，作为编码器的前端处理模块，ISP模块可以在自身处理的过程中，针对编码块中的感兴趣值做统计，并把结果写到内存中，然后再利用CPU对这些统计结果进行分析处理，最终识别出真正的感兴趣区域，并把结果输出到编码模块，以让编码器根据感兴趣的值自动分配码流的目的。方法简单，成本较低，修改维护更方便。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。
图1是本发明涉及现有技术的示意框图。
图2是本发明涉及现有技术的具体实例示意图。
图3是本发明方法的示意框图。
图4是本发明方法的具体实例的示意图。
图5是本发明方法的流程图。
具体实施方式
为了能够更清楚地理解本发明的技术内容及优点，现结合附图对本发明进行进一步的详细说明。
如图5所示，本发明涉及了一种利用ISP信息自适应分配QP提高H264编码效率的方法，所述方法包括：ISP在自身处理的过程中，针对编码宏块中的感兴趣值做统计，并把统计结果写到内存中，然后再利用CPU对所述的统计结果进行分析处理，最终识别出真正的感兴趣区域，并把识别结果输出到编码器，编码器根据所述真正的感兴趣区域的数值自动分配码流。
所述方法包括以下步骤：
S1，ISP在负责处理CMOS传感器发送过来的原图像过程中，以编码宏块为单位统计图片I的特征值F，并输出统计结果到DDR中存储；
S2，CPU在做码率控制分析时，会根据存储到DDR中有关特征值F的信息来调节每一个变慢宏块的编码参数，并形成一张宏块级的编码参数表M，并把M写回DDR；
S3，H264编码器在编码的时候会一起读入表M和图片I的数据进行编码，以调节不同编码宏块的QP值来达到区分编码。
所述的特征值F包括亮度、细节程度、运动程度。
所述步骤S2中所述调节每一个变慢宏块的编码参数是遵循提高感兴趣区域编码效果，同时保持非感兴趣区域可以接受的编码效果的原则进行的。
所述步骤S3中所述调节不同编码宏块的QP值来达到区分编码是通过降低感兴趣区域的QP值来提高编码效果，增加非感兴趣区域QP值来适当降低编码效果，如果画面中没有感兴趣物体的时候，可以统一增加QP值来降低码流，或者直接跳帧。
所述的编码参数表M是特征值F到QP的映射表可以使用阈值算法或者神经网络的方法实现。
所述方法是在编码前识别出感感兴趣区域的位置。
具体地，是在ISP中增加一个功能：以宏块为单位统计图片I的特征值F(亮度，细节程度，运动程度等)，并输出统计结果到DDR中(如图3所示)F，CPU在做码率控制分析的时候，会利用这个信息，遵循提高感兴趣区域编码效果，同时保持非感兴趣区域可以接受的编码效果的原则来调节每一个宏块的编码参数，并形成一张宏块级的编码参数表M，并把M写回DDR，编码器在编码的时候会一起读入M和I进行编码。比如可以调节不同宏块的QP值来达到区分编码的目的，降低感兴趣区域的QP值来提高编码效果，增加非感兴趣区域QP值来适当降低编码效果，如果画面中没有感兴趣物体的时候，可以统一增加QP值来降低码流，或者直接跳帧。如图4所示，有运动的地方为感兴趣区域(黑色粗体框)。
特征值到QP的映射表可以使用简单的算法或者神经网络的方法得到。简单的算法可以采用阈值法，比如(F为特征值)：
当然，也可以采用比较复杂的算法来做，具体采用何种方法，主要看使用者的需求和需要达到的精确程度。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种利用ISP信息自适应分配QP提高H264编码效率的方法，其特征在于，所述方法包括：ISP在自身处理的过程中，针对编码宏块中的感兴趣值做统计，并把统计结果写到内存中，然后再利用CPU对所述的统计结果进行分析处理，最终识别出真正的感兴趣区域，并把识别结果输出到编码器，编码器根据所述真正的感兴趣区域的数值自动分配码流。
2.根据权利要求1所述的一种利用ISP信息自适应分配QP提高H264编码效率的方法，其特征在于，所述方法包括以下步骤：
S1，ISP在负责处理CMOS传感器发送过来的原图像过程中，以编码宏块为单位统计图片I的特征值F，并输出统计结果到DDR中存储；
S2，CPU在做码率控制分析时，会根据存储到DDR中有关特征值F的信息来调节每一个编码宏块的编码参数，并形成一张宏块级的编码参数表M，并把M写回DDR；
S3，H264编码器在编码的时候会一起读入表M和图片I的数据进行编码，以调节不同编码宏块的QP值来达到区分编码。
3.根据权利要求2所述的一种利用ISP信息自适应分配QP提高H264编码效率的方法，其特征在于，所述的特征值F包括亮度、细节程度、运动程度。
4.根据权利要求2所述的一种利用ISP信息自适应分配QP提高H264编码效率的方法，其特征在于，步骤S2中所述调节每一个编码宏块的编码参数是遵循提高感兴趣区域编码效果，同时保持非感兴趣区域可以接受的编码效果的原则进行的。
5.根据权利要求2所述的一种利用ISP信息自适应分配QP提高H264编码效率的方法，其特征在于，步骤S3中所述调节不同编码宏块的QP值来达到区分编码是通过降低感兴趣区域的QP值来提高编码效果，增加非感兴趣区域QP值来适当降低编码效果。
6.根据权利要求2所述的一种利用ISP信息自适应分配QP提高H264编码效率的方法，其特征在于，步骤S3中如果画面中没有感兴趣物体的时候，可以统一增加QP值来降低码流，或者直接跳帧。
7.根据权利要求2所述的一种利用ISP信息自适应分配QP提高H264编码效率的方法，其特征在于，所述的编码参数表M是特征值F到QP的映射表可以使用阈值算法或者神经网络的方法实现。
8.根据权利要求1所述的一种利用ISP信息自适应分配QP提高H264编码效率的方法，其特征在于，所述方法是在编码前识别出感兴趣区域的位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010214731.1A CN113453001A (zh) | 2020-03-24 | 2020-03-24 | 一种利用isp信息自适应分配qp提高h264编码效率的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010214731.1A CN113453001A (zh) | 2020-03-24 | 2020-03-24 | 一种利用isp信息自适应分配qp提高h264编码效率的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113453001A true CN113453001A (zh) | 2021-09-28 |
Family
ID=77806703
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010214731.1A Pending CN113453001A (zh) | 2020-03-24 | 2020-03-24 | 一种利用isp信息自适应分配qp提高h264编码效率的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113453001A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1757240A (zh) * | 2003-03-03 | 2006-04-05 | 皇家飞利浦电子股份有限公司 | 视频编码 |
| CN102547301A (zh) * | 2010-09-30 | 2012-07-04 | 苹果公司 | 使用图像信号处理器处理图像数据的系统和方法 |
| US20120314764A1 (en) * | 2011-06-10 | 2012-12-13 | Bytemobile, Inc. | Macroblock-Level Adaptive Quantization in Quality-Aware Video Optimization |
| CN109076212A (zh) * | 2017-12-27 | 2018-12-21 | 深圳市大疆创新科技有限公司 | 码率控制的方法与编码装置 |
| CN109862356A (zh) * | 2019-01-17 | 2019-06-07 | 中国科学院计算技术研究所 | 一种基于感兴趣区域的视频编码方法及系统 |
-
2020
- 2020-03-24 CN CN202010214731.1A patent/CN113453001A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1757240A (zh) * | 2003-03-03 | 2006-04-05 | 皇家飞利浦电子股份有限公司 | 视频编码 |
| CN102547301A (zh) * | 2010-09-30 | 2012-07-04 | 苹果公司 | 使用图像信号处理器处理图像数据的系统和方法 |
| US20120314764A1 (en) * | 2011-06-10 | 2012-12-13 | Bytemobile, Inc. | Macroblock-Level Adaptive Quantization in Quality-Aware Video Optimization |
| CN109076212A (zh) * | 2017-12-27 | 2018-12-21 | 深圳市大疆创新科技有限公司 | 码率控制的方法与编码装置 |
| CN109862356A (zh) * | 2019-01-17 | 2019-06-07 | 中国科学院计算技术研究所 | 一种基于感兴趣区域的视频编码方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021244341A1 (zh) | 图像编码方法及装置、电子设备及计算机可读存储介质 | |
| CN109905711B (zh) | 一种图像的处理方法、系统及终端设备 | |
| TWI743919B (zh) | 視訊處理裝置及視訊串流的處理方法 | |
| CN110662044B (zh) | 一种视频编码方法、视频编码装置及计算机存储介质 | |
| JP3258840B2 (ja) | 動画像符号化装置および領域抽出装置 | |
| US20240357138A1 (en) | Human visual system adaptive video coding | |
| CN106060539B (zh) | 一种低传输带宽的视频编码方法 | |
| CN117176955A (zh) | 视频编码方法、视频解码方法、计算机设备及存储介质 | |
| CN114466189B (zh) | 码率控制方法、电子设备及存储介质 | |
| CN104410860B (zh) | 一种高清roi视频实时质量调节的方法 | |
| CN112040246B (zh) | 一种低时延低复杂度的固定码率控制方法 | |
| CN101931800B (zh) | 利用有限可变比特率控制的感兴趣区域编码方法与系统 | |
| CN113489993A (zh) | 编码方法、装置、编码器、设备及计算机可读存储介质 | |
| CN101151905B (zh) | 用于局部调整量化阶的方法和对n个图像的序列进行编码的编码设备 | |
| CN106604029B (zh) | 一种基于hevc的运动区域检测的码率控制方法 | |
| CN111385571B (zh) | 一种超长图像组码率控制方法及装置 | |
| CN113630599B (zh) | 一种基于roi的视频码率控制方法及系统 | |
| CN113453001A (zh) | 一种利用isp信息自适应分配qp提高h264编码效率的方法 | |
| CN118250535A (zh) | 图像处理设备、方法以及工业相机 | |
| CN113453007A (zh) | 一种提高监控场景h264编码效率的方法 | |
| CN102098505A (zh) | 监控视频压缩方法及设备 | |
| CN114866776B (zh) | 一种基于深度学习的帧级自适应roi视频压缩方法 | |
| CN108737826B (zh) | 一种视频编码的方法和装置 | |
| CN116016937A (zh) | 视频编码中的样点自适应补偿方法及装置 | |
| US11825088B2 (en) | Adaptively encoding video frames based on complexity |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210928 |