CN101068350A - 一种基于像素统计特征和视觉特征的图像编解码处理方法 - Google Patents

Abstract

本发明提出一种基于像素统计特征和视觉特征的图像编解码处理方法。将每幅图像统计出每种颜色的像素数量，对于像素数量少于设定像素量阈值的颜色用该幅图像中像素数量大于设定像素量阈值且与其最相近的颜色替换，然后根据人眼对于红色、绿色、蓝色的不同视觉灵敏度的特点，对于图像中的每个颜色之间按本发明的算法计算颜色差异度，对于颜色差异度小于设定颜色差异度阈值的两种颜色合并为像素数量多的颜色。通过这样处理后，对于大多数图像来说，颜色数量都小于255种，可以用小于1个字节的信息量表示一种颜色，从而使信息量缩小3倍以上。在后续压缩编码过程中可以极大的减少进行数据压缩编码的信息量、提高编码效率和提升信息传输效率。

Description

一种基于像素统计特征和视觉特征的图像编解码处理方法

技术领域

本发明涉及一种用于视频编解码的图像信息处理方法，尤其是通过将分析原始图像的统计特征信息和人眼对于颜色的视觉特征以降低后续信息编码/解码的信息量和提高信息处理效率；属于图像视频编解码技术和信息处理技术领域。

背景技术

高效的视频编解码技术是实现高质量、低成本多媒体数据存储与传输的关键。现在流行的图像编解码国际标准都是基于这样的一种编码理论，采用的是基于块匹配的运动补偿、离散余弦变换和量化相结合的编码方法。典型的有国际标准化组织/国际电工技术委员会第一联合技术组推出的MPEG-1、MPEG-2和MPEG-4等国际标准。我国颁布的AVS国家标准也是采用相似的混合视频编码策略：预测、变换、量化、和信息熵编码等模块。

这些视频编码标准处理信息的方法都是将原始图像按空间分成一定大小的信息块，如8×8的块、16×16的块等。这些信息块之间没有相似性，因此即使采用帧内预测方式，其信息预测结果不会理想。不能有效降低帧内信息冗余量。

随着人们对于图像质量要求的提高，图像的分辨率也不断提高，相应增加了信息编解码的信息处理量、降低了每帧信息处理速度、提升了对传输信息带宽的要求。

目前的图像、视频流等信息的数字化过程中，通常采用对于三种基色即红色、绿色、蓝色分别进行数字化，每种基色的数字化分辨率位8bit，对于一幅高清晰图像的空间分辨率是1024*768个像素点，这样一幅图像的完全彩色数字化信息量达到1024*768*3*8bit，即18Mbit。对于视频流信息，按每秒钟25帧计算，每秒钟信息量450Mbit，如果要实现实时视频流传输，其要求得带宽是很大的。因此必须找到有效的方法，实现在保证图像质量的前提下，对图像信息进行处理，减少信息传输量。目前国际流行的JPEG、MPGEG信息编解码技术广为使用，但由于其高昂的专利费用阻碍了国内与视频或图像处理相关领域的发展。国内的AVS技术也是在这种情况下产生的。

但AVS技术与JPEG、MPGEG技术处理方式相近，且目前还正在完善中，其编解码效率基本相当，仍然不能满足日益增长的在有限带宽资源上传输视频的需求。

发明内容

为解决上述视频编解码技术问题，提出一种通过分析原始图像的统计特征信息和人眼对于颜色的视觉特征，并按如下步骤进行处理后，可以极大的减少视频图像的信息量同时又能保证高质量的图像视觉效果、提高编码效率和提升视频信息传输效率。

本发明的原理是基于如下图像统计特征：现实中的绝大多数图像或视频流中的每场或每帧信息中颜色空间仅占用24位色彩空间的很小的一个颜色子空间，而表示这个颜色子空间只需要很少的数据信息就可以表示出来，而不需要24位信息。同时采用哈夫曼编码方法对于已经映射到颜色子空间的图像信息进行编码处理，将极大的提高压缩效率同时不影响图像质量。

本发明的技术方案，包括

1)在信息发送端，首先将需要处理的数字化视频图像信息数据按相同灰度信息或相同彩色信息进行像素点数量统计；

2)在信息发送端，根据像素点数量统计的结果对于像素数量少于设定像素量阈值的颜色用该幅图像中像素数量大于设定像素量阈值且与其最相近的颜色替换；

3)在信息发送端，根据人眼对于红色、绿色、蓝色的不同视觉灵敏度的特点，对于图像中的每个颜色之间按颜色差异算法计算颜色差异度，对于颜色差异度小于设定颜色差异度阈值的两种颜色合并为像素数量多的颜色；

4)在信息发送端，将每种颜色对应的三基色信息用少于三字节的表达信息进行对应或采用哈夫曼变长编码作为表达信息进行对应，并保留颜色对应表；

5)在信息发送端，将图像中每个像素点的三基色信息根据对应表用少于三字节的表达信息进行替换；

6)在信息发送端，将由表达信息和颜色对应表信息采用目前公知的各种压缩编码技术进行压缩处理；

7)在信息接收端，通过解码解压缩后的数据是表达信息和颜色对应表信息；

8)在信息接收端，根据接收到的表达信息利用接收到的颜色对应表信息将表达信息替换为三基色信息，恢复出图像信息。

在上述步骤1)中，对视频图像信息数据按相同灰度信息或相同彩色信息进行像素点数量统计时是以每个像素点由三基色的合成颜色进行统计。

在上述步骤2)中，根据像素点数量统计的结果对于像素数量少于设定像素量阈值的颜色用该幅图像中像素数量大于设定像素量阈值且与其最相近的颜色替换，其中设定像素量阈值是根据图像处理后信息损失的容许度来决定，可以容忍的信息损失越多，该设定像素量阈值就越大，可以容忍的信息损失越少，该设定像素量阈值就越小。

在上述步骤3)中，根据人眼对于红色、绿色、蓝色的不同视觉灵敏度的特点，对于图像中的每个颜色之间按颜色差异算法计算颜色差异度，对于颜色差异度小于设定颜色差异度阈值的两种颜色合并为像素数量多的颜色，所述的不同视觉灵敏度是根据人眼对于红色、绿色、蓝色的颜色变化敏感度不同而在计算中有不同的权重，蓝色权重最小，绿色权重最大，红色权重次之。

在上述步骤3中，根据人眼对于红色、绿色、蓝色的不同视觉灵敏度的特点，对于图像中的每个颜色之间按颜色差异算法计算颜色差异度，对于颜色差异度小于设定颜色差异度阈值的两种颜色合并为像素数量多的颜色，所述的颜色差异算法＝(红色差的绝对值×红色权重)+(绿色差的绝对值×绿色权重)+(蓝色差的绝对值×蓝色权重)。

在上述步骤4)中，所述的少于3字节的表达信息是指经过所述的步骤1)、2)、3)处理后的图像信息中的颜色数量大大减少，可以用少于24位的数据信息表示由红色、绿色和蓝色的三个字节表示的颜色信息。

在上述步骤4)中，所述的采用哈夫曼变长编码作为表达信息进行对应是指根据每种颜色在图像中所占比例来计算一种最优的可变长信息编码方法，某种颜色所占比例越大，其表达信息的位数越少。

在上述步骤4)中，所述的颜色对应表是颜色表达信息与对应颜色的三基色数据信息的一对一映射表。

在上述步骤6)中，所述的目前公知的各种压缩编码技术是指已经公开的国际国内图像数据编码解码算法，包括处理静态图像的JPEG、处理连续视频图像的MPEG、中国自主创新的AVS。

在上述步骤7)和步骤8)中是编码的逆向过程解码，可以实现将经过上述步骤处理过的压缩图像信息进行解码，并恢复出人眼视觉感觉良好的图像信息。

采用图像颜色像素量统计结果可以去掉像素量很少的颜色信息，用与其相近的像素数量多的颜色替换，因为这些被替换的像素点不会产生任何视觉差异；同时人眼对于红、绿、蓝三基色组合而成的24位彩色并不能完全区分，因为人眼的色彩分辨率是有限的，因此定义了颜色差异度的计算方法，即颜色差异算法＝(红色差的绝对值×红色权重)+(绿色差的绝对值×绿色权重)+(蓝色差的绝对值×蓝色权重)。其中三基色的权重是根据人眼于红色、绿色、蓝色有不同的视觉灵敏度来确定的，因此可以定义不同的颜色权重。当所定义的颜色差异值小于某个阈值后，人眼就不能区分两种颜色的差别，因此可以采用同一种颜色来表示而不会影响图像的视觉质量。

采用本发明的有益效果是可以大大降低图像的颜色子空间的大小，从而减小图像的信息量，在相同视觉图像质量要求下，编码效率更高，而且算法的复杂度和计算难度增加很少。

附图说明

图1是本发明采用哈夫曼(Haffman)变长编码方式作为表达信息的图像压缩编码流程图。

图2是本发明采用单字节等长编码方式作为表达信息的图像压缩编码流程图。

图3是本发明对应哈夫曼()变长编码方式的解压缩解码流程图

图4本发明对单字节等长编码方式的解压缩解码流程图

具体实施方式

下面结合附图和实施示例对本发明的技术方案进一步详细说明：

图1是本发明采用哈夫曼(Haffman)变长编码方式作为表达信息的图像压缩编码流程图，是实现本发明对于图像进行压缩编码的实现方式之一。在流程处理[101是将图像数字化得到的基于红、绿、蓝三基色的位图数据。在流程[102]中设定像素点数量阈值Hm和颜色差异度阈值Cm，可以根据人们对于图像质量的要求调整Hm和Cm的值。Hm越大，图像中将有更多的低像素点数量的颜色被替换；Cm越大，将有更多的颜色由于被当作相似颜色而合并为同一种颜色；相应图像的信息量将越少，图像的质量会越差；因此Hm和Cm值得选择将根据图像质量的要求来确定。在流程[103]中计算并统计图像中每种颜色的像素点数量，然后在流程[104]中根据设定的像素点数量阈值Hm，对于像素点数量小于Hm的颜色进行标记。在流程[105]采用如下颜色差异度算法计算标记的颜色在图像中可以找到的最相近的颜色。

颜色差异度＝(红色差的绝对值×红色权重)+(绿色差的绝对值×绿色权重)+(蓝色差的绝对值×蓝色权重)，其中红色权重、绿色权重、蓝色权重是根据人眼对于三种基色具有不同的敏感度来决定的，通常人眼对于绿色最敏感，相应的绿色权重就最大，人眼对于红色敏感度低于绿色，相应的红色权重比绿色权重小，而人服对于蓝色最不敏感，相应的蓝色权重最小。在一种实现中可以选定绿色权重＝4，红色权重＝2，蓝色权重＝1。

在流程[106]用选出的相近颜色替换图像中的标记颜色，从而减少了图像中的颜色种类。在流程[107]按上述颜色差异算法计算上述处理过图像中的各种颜色视觉差异度，然后在流程[108]中进行颜色合并，即当颜色差异值小于设定的人眼的视觉分辨阈值Cm时合并这两种相近颜色为像素点相对多的颜色值，此时图像的颜色种类进一步减少。哈夫曼(Haffman)编码算法是根据不同信息所占比例不同而采用一种可变长度的最优无损编码算法，因此在本发明的一种实现中也可以采用该算法，即如图中的流程[109]和流程[110]根据哈夫曼(Haffman)编码算法计算得到图像每种颜色的最优编码值，并记录编码值与对应颜色三基色值的对应表，然后在流程[111]中用计算得到的哈夫曼(Haffman)编码替换图像中的每个像素点对应的三基色数据信息。此时图像对应的表达信息量远远低于原始图像的信息量，进一步在流程[112]和流程[113]中采用目前公知的图像压缩编码算法如JPEG、MPEG、AVS等对于上述处理得到的编码表达的图像信息与记录的编码值与对应颜色三基色值对应表信息进行处理得到最终的图像压缩编码数据。根据实际图像的实际处理结果，采用图一所述流程进行处理得到的最终压缩编码效率是直接采用JPEG、MPEG、AVS等压缩编码算法的4倍以上。

由于哈夫曼(Haffman)编码算法计算比较复杂，占用的计算处理资源比较大，为了降低计算复杂度，实现本发明的另一种流程如图2。

图2是本发明采用单字节等长编码方式作为表达信息的图像压缩编码流程图。是实现本发明对于图像进行压缩编码的实现方式之二。在流程处理[201是将图像数字化得到的基于红、绿、蓝三基色的位图数据。在流程[202]中设定像素点数量阈值Hm和颜色差异度阈值Cm，可以根据人们对于图像质量的要求调整Hm和Cm的值。Hm越大，图像中将有更多的低像素点数量的颜色被替换；Cm越大，将有更多的颜色由于被当作相似颜色而合并为同一种颜色；相应图像的信息量将越少，图像的质量会越差；因此Hm和Cm值得选择将根据图像质量的要求来确定。在流程[203]中计算并统计图像中每种颜色的像素点数量，然后在流程[104]中根据设定的像素点数量阈值Hm，对于像素点数量小于Hm的颜色进行标记。在流程[105]采用如下颜色差异度算法计算已经标记的颜色在图像中可以找到的最相近的颜色。

颜色差异度＝(红色差的绝对值×红色权重)+(绿色差的绝对值×绿色权重)+(蓝色差的绝对值×蓝色权重)，其中红色权重、绿色权重、蓝色权重是根据人眼对于三种基色具有不同的敏感度来决定的，通常人眼对于绿色最敏感，相应的绿色权重就最大，人眼对于红色敏感度低于绿色，相应的红色权重比绿色权重小，而人眼对于蓝色最不敏感，相应的蓝色权重最小。在一种实现中可以选定绿色权重＝4，红色权重＝2，蓝色权重＝1。

在流程[206]用选出的相近颜色替换图像中的标记颜色，从而减少了图像中的颜色种类。在流程[207]按上述颜色差异算法计算上述处理过图像中的各种颜色视觉差异度，然后在流程[208]中进行颜色合并，即当颜色差异值小于设定的人眼的视觉分辨阈值Cm时合并这两种相近颜色为像素点相对多的颜色值，此时图像的颜色种类进一步减少，然后在流程[209]中判断已经处理过的图像中的颜色种类，如果颜色种类不小于256种，则需要进入流程[210]中增加视觉分辨阈值，再跳转至流程[208]中继续进行合并颜色的处理；如果颜色种类已经小于256种，则进入流程[211]用单字节编码表达图像每种颜色，并记录编码值与对应颜色三基色值的对应表，然后在流程[212]中用单字节编码替换图像中的每个像素点对应的三基色数据信息。此时图像对应的表达信息量远远低于原始图像的信息量，进一步在流程[213]和流程[214]中采用目前公知的图像压缩编码算法如JPEG、MPEG、AVS等对于上述处理得到的编码表达的图像信息与记录的编码值与对应颜色三基色值对应表信息进行处理得到最终的图像压缩编码数据。根据实际图像的实际处理结果，采用图二所述流程进行处理得到的最终压缩编码效率是直接采用JPEG、MPEG、AVS等压缩编码算法的3倍左右。

图3是本发明对应哈夫曼(Haffman)变长编码方式的解压缩解码流程图。该图中给出按本发明实现示例中图1所示压缩编码得到的数据进行解压缩解码恢复图像信息的流程。流程[301]中读取压缩编码数据，在流程[302]和流程[303]采用对应压缩编码算法的解压缩解编码算法进行处理，并得到用哈夫曼(Haffman)编码表达的图像信息与记录的编码值与对应颜色三基色值对应表，然后进入流程[304]和流程[305]根据编码值与对应颜色三基色值对应表将表达的图像信息用三基色值替换，从而生成得到图像的24位位图数据。完成了图像数据的家压缩和解码过程。

图4是本发明对单字节等长编码方式的解压缩解码流程图。该图中给出按本发明实现示例中图2所示压缩编码得到的数据进行解压缩解码恢复图像信息的流程。流程[401]中读取压缩编码数据，在流程[402]和流程[403]采用对应压缩编码算法的解压缩解编码算法进行处理，并得到用单字节编码表达的图像信息与记录的编码值与对应颜色三基色值对应表，然后进入流程[404]和流程[405]根据编码值与对应颜色三基色值对应表将表达的图像信息用三基色值替换，从而生成得到图像的24位位图数据。完成了图像数据的家压缩和解码过程。

本发明所提供的图像处理技术和方法，有效的利用了图像的统计特征和人眼对于图像颜色的视觉敏感特征来对图像的颜色进行预处理，然后再采用目前大家广泛使用的压缩编解码算法如JPEG、MPEG、AVS等进行处理，在对于图像质量影响很小的情况下，使压缩编码效率比直接采用广泛使用的压缩编解码算法如JPEG、MPEG、AVS等进行处理增加了3倍以上，而且算法的复杂度和计算难度增加很少，是一种高效的图像处理方法。通过灵活使用本发明中描述的技术方法，可以使单幅图像或视频流的信息压缩编码效率大大提高。

最后所应说明的是：以上实施示例仅用以说明而非限制本发明的技术方案，尽管参照上述实例对本发明进行了详细说明，本领域的技术人员应当理解：依然可以对本发明进行修改或者同等替换，而不脱离本发明的精神和范围的任何修改或者局部替换，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1、一种基于像素统计特征和视觉特征的图像编解码处理方法，其特征在于，在将图像信息进行压缩编码以及解码解压缩时，遵循以下步骤：

1)在信息发送端，首先将需要处理的数字化视频图像信息数据按相同灰度信息或相同彩色信息进行像素点数量统计；

2)在信息发送端，根据像素点数量统计的结果对于像素数量少于设定像素量阈值的颜色用该幅图像中像素数量大于设定像素量阈值且与其最相近的颜色替换；

3)在信息发送端，根据人眼对于红色、绿色、蓝色的不同视觉灵敏度的特点，对于图像中的每个颜色之间按颜色差异算法计算颜色差异度，对于颜色差异度小于设定颜色差异度阈值的两种颜色合并为像素数量多的颜色；

4)在信息发送端，将每种颜色对应的三基色信息用少于三字节的表达信息进行对应或采用哈夫曼变长编码作为表达信息进行对应，并保留颜色对应表；

5)在信息发送端，将图像中每个像素点的三基色信息根据对应表用少于三字节的表达信息进行替换；

6)在信息发送端，将由表达信息和颜色对应表信息采用目前公知的各种压缩编码技术进行压缩处理；

7)在信息接收端，通过解码解压缩后的数据是表达信息和颜色对应表信息；

8)在信息接收端，根据接收到的表达信息利用接收到的颜色对应表信息将表达信息替换为三基色信息，恢复出图像信息。

2、如权利要求1所述的一种基于像素统计特征和视觉特征的图像编解码处理方法，其特征在于所述的步骤1)中，对视频图像信息数据按相同灰度信息或相同彩色信息进行像素点数量统计时是以每个像素点由三基色的合成颜色进行统计。

3、如权利要求1所述的一种基于像素统计特征和视觉特征的图像编解码处理方法，其特征在于所述的步骤2)中，根据像素点数量统计的结果对于像素数量少于设定像素量阈值的颜色用该幅图像中像素数量大于设定像素量阈值且与其最相近的颜色替换，其中设定像素量阈值是根据图像处理后信息损失的要求来决定，可以容忍的信息损失越多，该设定像素量阈值就越大，可以容忍的信息损失越少，该设定像素量阈值就越小。

4、如权利要求1所述的一种基于像素统计特征和视觉特征的图像编解码处理方法，其特征在于所述的步骤3)中根据人眼对于红色、绿色、蓝色的不同视觉灵敏度的特点，对于图像中的每个颜色之间按颜色差异算法计算颜色差异度，对于颜色差异度小于设定颜色差异度阈值的两种颜色合并为像素数量多的颜色，所述的不同视觉灵敏度是根据人眼对于红色、绿色、蓝色的颜色变化敏感度不同而在计算中有不同的权重，蓝色权重最小，绿色权重最大，红色权重次之。

5、如权利要求1所述的一种基于像素统计特征和视觉特征的图像编解码处理方法，其特征在于所述的步骤3)中根据人眼对于红色、绿色、蓝色的不同视觉灵敏度的特点，对于图像中的每个颜色之间按颜色差异度算法计算颜色差异度，对于颜色差异度小于设定颜色差异度阈值的两种颜色合并为像素数量多的颜色，所述的颜色差异度算法是指计算两种颜色对应的三种基色差异值按一定的权重进行综合计算。

6、如权利要求1所述的一种基于像素统计特征和视觉特征的图像编解码处理方法，其特征在于所述的步骤4)中所述的少于3字节的表达信息是指经过所述的步骤1)、2)、3)处理后的图像信息中的颜色数量大大减少，可以用少于24位的数据信息表示由红色、绿色和蓝色的三个字节表示的颜色信息。

7、如权利要求1所述的一种基于像素统计特征和视觉特征的图像编解码处理方法，其特征在于所述的步骤4)中所述的采用哈夫曼变长编码作为表达信息进行对应是指根据每种颜色在图像中所占比例来计算一种最优的可变长信息编码方法，某种颜色所占比例越大，其表达信息的位数越少。

8、如权利要求1所述的一种基于像素统计特征和视觉特征的图像编解码处理方法，其特征在于所述的步骤4)中所述的颜色对应表是颜色表达信息与对应颜色的三基色数据信息的一对一映射表。

9、如权利要求1所述的一种基于像素统计特征和视觉特征的图像编解码处理方法，其特征在于所述的步骤6)中所述的目前公知的各种压缩编码技术是指已经公开的国际国内图像数据编码解码算法，包括处理静态图像的JPEG、处理连续视频图像的MPEG、中国自主创新的AVS。

10、如权利要求1所述的一种基于像素统计特征和视觉特征的图像编解码处理方法，其特征在于所述的步骤7)和所述的步骤8)是编码的逆向过程解码，可以实现将经过上述步骤处理过的压缩图像信息进行解码，并恢复出人眼视觉感觉良好的图像信息。

Images