CN105488758B - 一种基于内容感知的图像缩放方法 - Google Patents

Abstract

本发明一种基于内容感知的图像缩放方法，涉及在图像平面内的图形图像转换，采用融合显著图、边缘直线图和梯度图的混合特征模型得到能量函数，依据该能量函数进行线裁剪操作完成图像的缩放，步骤是：输入彩色图像预处理；同时进行：提取原始彩色图像的显著图和显著目标图像、提取灰度图像的融合直线信息的边缘图和提取灰度图像的梯度图；利用HFPM算法对三种特征图融合得到能量函数；使用线裁剪算法对原始图像进行裁剪。本发明方法克服了现有的线裁剪方法采用图像的梯度图定义能量函数，在图像缩放时仍然存在失真和部分图像信息丢失的缺陷。

Description

一种基于内容感知的图像缩放方法

技术领域

本发明的技术方案涉及在图像平面内的图形图像转换，具体地说是一种基于内容感知的图像缩放方法。

背景技术

随着计算机科学技术的快速发展，信息家电给我们的生活带来了极大的便利，由于不同的信息家电产品没有统一的尺寸规格，导致所需显示图像的尺寸与信息家电显示设备的尺寸存在差别，从而图像在显示设备中出现显示异常，图像缩放技术的研究有助于解决上述问题。

传统的图像缩放方法之一是通过插值和下采样得到目标尺寸的图像，该算法原理虽然简单且易实现，但是存在以下缺陷：一是当需要改变图像宽高比来进行缩放时，容易造成主要图像内容的拉伸变形；二是简单的剪切技术，即通过裁剪图像边缘内容来得到目标图像，往往造成较多图像内容信息的丢失。传统的图像缩放方法之二是选择图像宽度或者高度最小缩放比例作为整体的缩放比例来对原始图像进行等比缩放，这种方法存在的缺陷是容易在显示设备的上下或者左右产生黑色的边框。相对于传统的图像缩放算法，近些年来研发的基于内容感知的图像缩放技术能够在一定程度上克服传统方法的缺陷。基于内容感知的图像缩放技术是根据图像内容重要程度来对图像进行缩放，尽量保证重要区域的内容不发生过多形变，对非重要区域进行压缩处理，以此来得到最佳的图像视觉感知效果。1998年，Itti和Koch提出了一种自底向上的显著性计算模型，在多尺度下提取图像的颜色、亮度和方向特征的显著图，进行线性融合，最终生成图像的显著图，显著图反映了图像的重要区域，是基于内容感知的研究基础。在2003年，Suh提出了基于重要区域的图像缩略图提取方法的Suh算法，利用Itti提出的显著性算法与人脸识别算法提取目标图像的重要区域，对目标图像进行相关的裁剪得到缩略图，该算法过于依赖显著性算法提取的目标，而且该算法采用传统的裁剪方法对图像进行缩放，往往会造成较多图像内容信息的丢失，使图像完整性遭到了严重的破坏。Liu和Gleiche在Suh算法的基础上，利用非线性的鱼眼视角变形算法(Fisheye-view Warp)尽可能地保留原图中重要区域的大小，同时会对非显著部分进行压缩处理，该Liu和Gleiche提出的算法在图像主体目标被过分强调的时候，由于采用缩小背景以突出重要区域的方法，以至于原始图像中的图像结构被破坏了，造成了图像边缘内容的严重失真。针对以上不足，在2007年的SLGGRAPH会议上Avidan和Shamir提出了线裁剪算法，通过不断的寻找当前图像中水平或垂直方向能量最小的联通路径并进行删除或者复制操作来达到图像裁剪目地的，图像中不重要的区域被移除，能更好地保留图像中的重要部分，在长宽比变化剧烈的情况下仍然能保持图像中的重要内容不发生变形失真。但是该算法由于仅考虑能量最小，没有充分考虑实际图像的结构信息，因此当图像结构分布稀疏而且占据大部分位置时会破坏图像的局部和整体的视觉效果，另外在重要内容能量较低的时候会破坏重要物体结构，导致出现人为鬼影。CN102568443B公开了一种图像缩放算法，该算法根据原图像的尺寸与目标图像的尺寸，以像素点为单位进行复制和移除操作，由于没有从整体上考虑图像中的主体目标，因此会造成图像的主体目标发生形变和扭曲。

总之，现有的基于内容感知的图像缩放技术虽然能够克服传统的图像缩放方法中图像裁剪的缺点，尤其是现有的基于内容感知的图像缩放技术中的线裁剪方法能够保持图像中的感兴趣区域尽量不发生形变，相比传统的图像缩放方法取得了较好的图像缩放效果，但是现有的线裁剪方法采用图像的梯度图定义能量函数，在图像缩放时仍然存在失真和部分图像信息丢失的缺陷，影响人们的图像视觉审美。

发明内容

本发明所要解决的技术问题是：提供一种基于内容感知的图像缩放方法，采用融合显著图、边缘直线图和梯度图的混合特征模型(以下简称HFPM)得到能量函数，依据该能量函数进行线裁剪操作完成图像的缩放，克服了现有的线裁剪方法采用图像的梯度图定义能量函数，在图像缩放时仍然存在失真和部分图像信息丢失的缺陷。

本发明解决该技术问题所采用的技术方案是：一种基于内容感知的图像缩放方法，采用融合显著图、边缘直线图和梯度图的混合特征模型得到能量函数，依据该能量函数进行线裁剪操作完成图像的缩放，步骤如下：

第一步，输入彩色图像预处理：

通过USB接口向计算机输入原始彩色图像，并输入目标图像的大小，将得到的原始彩色图像O由RGB空间转化到灰度空间得到灰度图像I，采用的公式(1)如下：

I＝0.299R+0.587G+0.114B (1)，

其中R、G、B分别是RGB空间图像的红色、绿色和蓝色通道，同时保留原始输入RGB空间的原始彩色图像O，供第二步中Context-Aware算法计算使用，所输入原始彩色图像O的大小为M×N像素，所输入目标图像的大小为M′×N′像素；

第二步，提取原始彩色图像的显著图和显著目标图像：

(1)通过Context-Aware算法提取原始彩色图像显著图：

对第一步保留的原始输入的RGB空间的原始彩色图像O，通过Context-Aware算法计算显著图，并将由此计算得到的该显著图输出为原始输入的RGB空间的原始彩色图像O的尺寸，提取到原始彩色图像的显著图Sal；

(2)使用分水岭分割算法加强显著图：

使用分水岭分割算法对上述第二步步骤(1)得到的原始彩色图像的显著图Sal进一步加强，分割出原始彩色图像显著图中的目标，先对图像的每个像素的灰度级进行从低到高排序，然后再从低到高实现淹没过程，对每一个局部极小值采用先进先出结构进行判断及标注，由此通过分水岭算法分割得到原始彩色图像的显著目标图像I_s；

第三步，提取灰度图像的融合直线信息的边缘图：

提取第一步得到的灰度图像I中的直线信息，并对图像I进行模糊处理，提取边缘图，将直线信息与边缘图进行叠加融合，得到融合直线信息的边缘图，具体步骤如下；

(1)检测灰度图像中的直线信息：

对第一步中获得的灰度图像I运用霍夫变换检测其中的直线信息，设置霍夫变换算法中所能检测到的最小长度为个像素以及直线间的最小间隔为个像素，其中q为图像对角线的长度，将检测得到直线信息的图片进行二值化处理，设置阈值为Th，得到具有直线信息的二值图I_w，所采用的公式(2)如下：

上述公式(2)中，w为标有直线线段的图片，w(x,y)为该图片的(x,y)处的像素值；

(2)对原始彩色图像进行模糊处理：

利用基于总变差模型的纹理结构提取算法对原始输入的RGB空间的原始彩色图像O进行模糊处理，模糊原图中不重要的纹理部分，突出主结构，得到去除纹理的图像，达到模糊的效果；

(3)提取图像的边缘特征：

利用Canny边缘检测算法对上述第三步步骤(2)模糊处理后得到的图像提取边缘信息，增强图像的边缘，得到边缘图，其中Canny算子模板如下公式(3)所示，其中，D_x为水平方向的算子，D_y为垂直方向的算子，

(4)将直线信息融合到边缘图中：

将上述第三步步骤(1)中得到的直线特征图与上述第三步步骤(3)得到的边缘图采用的公式(4)进行融合，

I_c＝I_w+I_canny (4)，

其中，I_w为含有直线信息的二值图，I_canny为使用Canny边缘检测算法得到的边缘图，I_c为融合直线信息的边缘图；

第四步，提取灰度图像的梯度图：

对第一步得到的灰度图像I通过Sobel梯度算子来提取梯度信息，即以图像像素点I(x,y)为中心计算其3×3邻域的x方向偏导数G_x和y方向的偏导数G_y如下：

梯度大小为：

根据公式(7)求出每个像素的梯度值，即可得到灰度图像的梯度图I_g；

第五步，利用HFPM算法对三种特征图融合得到能量函数：

将上述第二步得到的原始彩色图像的显著目标图像I_s、第三步得到的融合直线信息的边缘图I_c以及第四步得到的灰度图像的梯度图I_g用HFPM算法进行融合，采用公式如下：

E_HFPM(x,y)＝αI_s(x,y)+βI_c(x,y)+γI_g(x,y) (8)，

其中E_HFPM为最终得到的能量函数，α、β、γ分别为I_s、I_c、I_g三种图像不同的权重系数，

α是原始彩色图像的显著目标图像I_s的权重系数，其定义如下：

其中Area_t为缩放后图像的面积，M和N分别是第一步得到的图像的长度值和宽度值，单位为像素；

β是融合直线信息的边缘图I_c的权重系数，其定义为：

其中num为图像中通过Hough变换算法检测出的直线的条数，Len(l)即为第l条直线的长度，L_max为所有直线中最长直线的长度，L_min为所有直线中最短直线的长度；

γ是灰度图像的梯度图I_g的权重系数，由上述第二步得到的原始彩色图像的显著图Sal的面积决定，显著目标面积大的图像，γ值应越大，可以更好地保护图像中不同显著目标之间的边缘信息，其定义为：

其中，原始彩色图像的显著图Sal的尺寸为M×N像素，Sal(mc,nc)为在原始彩色图像的显著图中(mc,nc)处的像素值，Ts为设定的阈值；

第六步，使用线裁剪算法对原始图像进行裁剪：

原始彩色图像O的大小为M×N像素，目标图像大小为M′×N′像素，线裁剪是提取|M-M′|条行像素线和|N-N′|条列像素线，如果目标图像尺寸小于原始图像尺寸，则删除该像素线使原始图像尺寸缩小一行或一列，如果目标图像尺寸大于原始图像，则复制该像素线插入到原始图像相应位置，循环处理|M-M′|或|N-N′|次使得原始图像尺寸达到目标图像大小，

通过动态规划找出合适的裁剪线，并进行裁剪操作，具体步骤如下：

(1)计算列裁剪线中由非相邻像素点成为相邻像素产生的能量：

利用下式(14)计算移除像素时，由非相邻像素点成为新的相邻像素点而产生的能量：

其中，I是第一步得到的灰度图像，表示进行列裁剪时移除灰度图像I中像素(i,j)与(i-1,j-1)时所产生的能量，表示进行列裁剪时移除灰度图像I中像素(i,j)与(i-1,j)时所产生的能量，表示进行列裁剪时移除灰度图像I中像素(i,j)与(i-1,j+1)时所产生的能量；

(2)计算当前最小列裁剪线能量：

计算当前最小能量列裁剪线能量的公式如下所示：

e_y(i,j)为当前最小能量列裁剪线能量，也即最小能量列裁剪线中像素点(i,j)处累积能量；

(3)寻找累计能量最小的列裁剪线：

在e_y计算灰度图像I最后一行中最小能量值的像素即为列裁剪线最后一个像素，以e_y(i,j)像素为起点，从最后一行回溯寻找累积能量最小的八联通裁剪线，按照这个步骤，一直找到灰度图像I的第一行，所有联通的像素所组成的像素线即为累计能量最小的列裁剪线；

(4)计算行裁剪线中由非相邻像素点成为相邻像素产生的能量：

利用下式(16)计算移除像素时，由非相邻像素点成为新的相邻像素点而产生的能量：

其中，I是第一步得到的灰度图像，表示进行行裁剪时移除灰度图像I中像素(i,j)与(i+1,j-1)时所产生的能量，表示进行行裁剪时移除灰度图像I中像素(i,j)与(i,j-1)时所产生的能量，表示进行行裁剪时移除灰度图像I中像素(i,j)与(i-1,j-1)时所产生的能量；

(5)计算当前最小行裁剪线能量：

计算当前最小能量行裁剪线能量的公式如下所示：

e_x(i,j)为当前最小行裁剪线能量，也即最小能量列裁剪线中像素点(i,j)处累积能量；

(6)寻找累计能量最小的行裁剪线：

在e_x计算灰度图像I最后一列中最小能量值的像素即为行裁剪线最后一个像素，以e_x(i,j)像素为起点，从最后一列回溯寻找累积能量最小的八联通裁剪线，按照这个步骤，一直找到灰度图像I的第一列，所有联通的像素所组成的像素线即为累计能量最小的行裁剪线；

(7)对输入的原始彩色图像O的图像进行线裁剪：

根据上述第六步步骤(3)和第六步步骤(6)分别得到的列裁剪线与行裁剪线，根据第五步得到的能量函数，通过上述第六步步骤(3)和第六步步骤(6)找出当前图像中累计能量最小的裁剪线进行复制或者删除操作，原始彩色图像O的大小为M×N像素，目标图像大小为M′×N′像素，线裁剪是提取|M-M′|条行像素线和|N-N′|条列像素线，如果目标图像尺寸小于原始彩色图像尺寸，则删除该像素线使原始彩色图像尺寸缩小一行或一列，如果目标图像尺寸大于原始彩色图像尺寸，则复制该像素线插入到原始彩色图像相应位置，循环处理|M-M′|次或|N-N′|次使得原始彩色图像尺寸达到目标图像大小。

上述一种基于内容感知的图像缩放方法，所述第三步中的设定的阈值Th取值为240。

上述一种基于内容感知的图像缩放方法，所述第五步中的设定的阈值Ts取值为200。

上述一种基于内容感知的图像缩放方法，所述Context-Aware算法、分水岭分割算法、Canny边缘检测算法、Sobel梯度算子和线裁剪算法都是公知的。

本发明的有益效果是：与现有技术相比，本发明的突出的实质性特点和显著进步如下：

(1)本发明提出的一种基于内容感知的图像缩放方法，主要是对线裁剪的能量函数进行改进，采用显著图、边缘直线图以及梯度图的混合特征融合模型HFPM得到能量函数，依据能量函数进行线裁剪操作，完成图像的缩放。该方法考虑了由于线裁剪时所引起的能量变化，采用了前向能量公式，动态寻找当前最优裁剪线，并强化图像中的直线信息，在一定程度上避免了由于裁剪操作所导致的直线的断层或不连续等严重影响人视觉美观的现象，同时突出了图像的显著结构信息，保证了图像中显著结构信息的完整性。

(2)本发明方法采用基于上下文的显著性检测算法不仅可以准确提取图像中主要的显著目标，而且还可以提取次要的显著目标，进一步降低了图像裁剪后所产生的扭曲或失真现象，使用分水岭分割算法使得显著目标边缘特征加强，有效地减轻了后续线裁剪穿过显著目标所造成的失真现象；

(3)本发明方法所采用的HFPM方法通过将提取图像的显著目标、直线特征以及边缘特征进行融合操作，并赋予相应的权值系数，可以更好地保存图像的主体目标，进一步降低了由于裁剪操作所造成图像的扭曲以及形变现象。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1是本发明方法的流程示意框图。

图2(a)是本发明方法中通过使用分水岭分割算法对使用Context-aware算法得到的显著图进行分割得到的原始彩色图像的显著目标图像I_s；

图2(b)是本发明方法中用Canny边缘检测算法得到的融合直线信息的边缘图I_c；

图2(c)是本发明方法中通过Sobel梯度算子得到的灰度图像的梯度图I_g。

图3是本发明方法使用HFPM算法对图2(a)、图2(b)以及图2(c)所示图像进行融合得到的能量函数的显示图。

图4是本发明方法使用线裁剪算法依据能量函数对原始图像进行裁剪处理前后的效果显示图。

具体实施方式

图1所示实施例表明，本发明一种基于内容感知的图像缩放方法的流程是：输入彩色图像预处理→同时进行：提取原始彩色图像的显著图和显著目标图像、提取灰度图像的融合直线信息的边缘图和提取灰度图像的梯度图→利用HFPM算法对三种特征图融合得到能量函数→使用线裁剪算法对原始图像进行裁剪。

图2(a)所示实施例显示了通过使用分水岭分割算法对使用Context-aware算法得到的显著图进行分割得到的原始彩色图像的显著目标图像I_s。分水岭分割算法是一个迭代标注的过程，分两个步骤，一个是排序过程，一个是淹没过程。图中显示分水岭分割算法可以将原显著目标很好的分割出来，由此通过分水岭算法分割得到原始彩色图像的显著目标图像I_s，更好地保护了显著目标的边缘，有利于后面裁剪部分对主体显著目标的保护。也就是说，使用分水岭分割算法使得显著目标边缘特征加强，有效地减轻了后续线裁剪穿过显著目标所造成的失真现象。

图2(b)所示实施例显示了用Canny边缘检测算法得到的融合直线信息的边缘图I_c。利用基于总变差模型的纹理结构提取算法对原始输入的RGB空间的原始彩色图像O进行模糊处理，模糊原图中不重要的纹理部分，突出主结构，再利用Canny算子提取经上一步处理后图像的边缘信息，通过调整Canny算子的相关阈值，使其对图像内容的大体边缘进行加强，最后将上述提取到图像的直线信息与边缘图相融合，得到的融合直线信息的边缘图I_c。

图2(c)所示实施例显示了通过Sobel梯度算子得到的灰度图像的梯度图I_g。对灰度图像I通过Sobel梯度算子来提取梯度信息，得到灰度图像的梯度图I_g。

图3所示实施例显示了对图2(a)、图2(b)以及图2(c)所示图像进行融合得到的能量函数的显示图，分别对图2(a)、图2(b)以及图2(c)所示图像运用HFPM算法，根据图像的缩放比，原始图像中的直线信息，以及显著目标对图像的占比确定相应的权值系数，进行融合处理，最终得到线裁剪算法所需要的能量函数。

图4所示实施例显示了使用线裁剪算法依据能量函数对图像进行裁剪处理前后的效果显示图。线裁剪算法是一种基于内容感知的图像缩放算法，根据得到的能量函数通过动态规划找出当前图像中累计能量最小的裁剪线进行复制或者删除操作。该图说明，经过使用线裁剪算法依据能量函数对原始图像进行裁剪处理，使得原始彩色图像尺寸达到目标图像大小。

实施例

本实施例的一种基于内容感知的图像缩放方法，采用融合显著图、边缘直线图和梯度图的混合特征模型得到能量函数，依据该能量函数进行线裁剪操作完成图像的缩放，步骤如下：

第一步，输入彩色图像预处理：

通过USB接口向计算机输入原始彩色图像，并输入目标图像的大小，将得到的原始彩色图像O由RGB空间转化到灰度空间得到灰度图像I，采用的公式(1)如下：

I＝0.299R+0.587G+0.114B (1)，

其中R、G、B分别是RGB空间图像的红色、绿色和蓝色通道，同时保留原始输入RGB空间的原始彩色图像O，供第二步中Context-Aware算法计算使用，所输入原始彩色图像O的大小为M×N像素，所输入目标图像的大小为M′×N′像素；

第二步，提取原始彩色图像的显著图和显著目标图像：

(1)通过Context-Aware算法提取原始彩色图像显著图：

对第一步保留的原始输入的RGB空间的原始彩色图像O，通过Context-Aware算法计算显著图，并将由此计算得到的该显著图输出为原始输入的RGB空间的原始彩色图像O的尺寸，提取到原始彩色图像的显著图Sal；

(2)使用分水岭分割算法加强显著图：

使用分水岭分割算法对上述第二步步骤(1)得到的原始彩色图像的显著图Sal进一步加强，分割出原始彩色图像显著图中的目标，先对图像的每个像素的灰度级进行从低到高排序，然后再从低到高实现淹没过程，对每一个局部极小值采用先进先出结构进行判断及标注，由此通过分水岭算法分割得到原始彩色图像的显著目标图像I_s；

第三步，提取灰度图像的融合直线信息的边缘图：

提取第一步得到的灰度图像I中的直线信息，并对图像I进行模糊处理，提取边缘图，将直线信息与边缘图进行叠加融合，得到融合直线信息的边缘图，具体步骤如下；

(1)检测灰度图像中的直线信息：

对第一步中获得的灰度图像I运用霍夫变换检测其中的直线信息，设置霍夫变换算法中所能检测到的最小长度为个像素以及直线间的最小间隔为个像素，其中q为图像对角线的长度，将检测得到直线信息的图像进行二值化处理，设置阈值为Th，阈值Th取值为240，得到具有直线信息的二值图I_w，所采用的公式(2)如下：

上述公式(2)中，w为标有直线线段的图片，w(x,y)为该图片的(x,y)处的像素值；

(2)对原始彩色图像进行模糊处理：

利用基于总变差模型的纹理结构提取算法对原始输入的RGB空间的原始彩色图像O进行模糊处理，模糊原图中不重要的纹理部分，突出主结构，得到去除纹理的图像，达到模糊的效果；

(3)提取图像的边缘特征：

利用Canny边缘检测算法对上述第三步步骤(2)模糊处理后得到的图像提取边缘信息，增强图像的边缘，得到边缘图，其中Canny算子模板如下公式(3)所示，其中，D_x为水平方向的算子，D_y为垂直方向的算子，

(4)将直线信息融合到边缘图中：

将上述第三步步骤(1)中得到的直线特征图与上述第三步步骤(3)得到的边缘图采用的公式(4)进行融合，

I_c＝I_w+I_canny (4)，

其中，I_w为含有直线信息的二值图，I_canny为使用Canny边缘检测算法得到的边缘图，I_c为融合直线信息的边缘图；

第四步，提取灰度图像的梯度图：

对第一步得到的灰度图像I通过Sobel梯度算子来提取梯度信息，即以图像像素点I(x,y)为中心计算其3×3邻域的x方向偏导数G_x和y方向的偏导数G_y如下：

梯度大小为：

根据公式(7)求出每个像素的梯度值，即可得到灰度图像的梯度图I_g；

第五步，利用HFPM算法对三种特征图融合得到能量函数：

将上述第二步得到的原始彩色图像的显著目标图像I_s、第三步得到的融合直线信息的边缘图I_c以及第四步得到的灰度图像的梯度图I_g用HFPM算法进行融合，采用公式如下：

E_HFPM(x,y)＝αI_s(x,y)+βI_c(x,y)+γI_g(x,y) (8)，

其中E_HFPM为最终得到的能量函数，α、β、γ分别为I_s、I_c、I_g三种图像不同的权重系数，

α是原始彩色图像的显著目标图像I_s的权重系数，其定义如下：

其中Area_t为缩放后图像的面积，M和N分别是第一步得到的图像的长度值和宽度值，单位为像素；

β是融合直线信息的边缘图I_c的权重系数，其定义为：

其中num为图像中通过Hough变换算法检测出的直线的条数，Len(l)即为第l条直线的长度，L_max为所有直线中最长直线的长度，L_min为所有直线中最短直线的长度；

γ是灰度图像的梯度图I_g的权重系数，由上述第二步得到的原始彩色图像的显著图Sal的面积决定，显著目标面积大的图像，γ值应越大，可以更好地保护图像中不同显著目标之间的边缘信息，其定义为：

其中，原始彩色图像的显著图Sal的尺寸为M×N像素，Sal(mc,nc)为在原始彩色图像的显著图中(mc,nc)处的像素值，Ts为设定的阈值，阈值Ts取值为200；

第六步，使用线裁剪算法对原始图像进行裁剪：

线裁剪算法是一种基于内容感知的图像缩放算法，根据得到的能量函数通过动态规划找出当前图像中累计能量最小的裁剪线进行复制或者删除操作。原始彩色图像O的大小为M×N像素，目标图像大小为M′×N′像素，线裁剪是提取|M-M′|条行像素线和|N-N′|条列像素线，如果目标图像尺寸小于原始图像尺寸，则删除该像素线使原始图像尺寸缩小一行或一列，如果目标图像尺寸大于原始图像，则复制该像素线插入到原始图像相应位置，循环处理|M-M′|或|N-N′|次使得原始图像尺寸达到目标图像大小，

通过动态规划找出合适的裁剪线，并进行裁剪操作，具体步骤如下：

(1)计算列裁剪线中由非相邻像素点成为相邻像素产生的能量：

利用下式(14)计算移除像素时，由非相邻像素点成为新的相邻像素点而产生的能量：

其中，I是第一步得到的灰度图像，表示进行列裁剪时移除灰度图像I中像素(i,j)与(i-1,j-1)时所产生的能量，表示进行列裁剪时移除灰度图像I中像素(i,j)与(i-1,j)时所产生的能量，表示进行列裁剪时移除灰度图像I中像素(i,j)与(i+1,j+1)时所产生的能量；

(2)计算当前最小列裁剪线能量：

计算当前最小能量列裁剪线能量的公式如下所示：

e_y(i,j)为当前最小能量列裁剪线能量，也即最小能量列裁剪线中像素点(i,j)处累积能量；

(3)寻找累计能量最小的列裁剪线：

在e_y计算灰度图像I最后一行中最小能量值的像素即为列裁剪线最后一个像素，以e_y(i,j)像素为起点，从最后一行回溯寻找累积能量最小的八联通裁剪线，按照这个步骤，一直找到灰度图像I的第一行，所有联通的像素所组成的像素线即为累计能量最小的列裁剪线；

(4)计算行裁剪线中由非相邻像素点成为相邻像素产生的能量：

利用下式(16)计算移除像素时，由非相邻像素点成为新的相邻像素点而产生的能量：

其中，I是第一步得到的灰度图像，表示进行行裁剪时移除灰度图像I中像素(i,j)与(i-1,j-1)时所产生的能量，表示进行行裁剪时移除灰度图像I中像素(i,j)与(i,j-1)时所产生的能量，表示进行行裁剪时移除灰度图像I中像素(i,j)与(i+1,j-1)时所产生的能量；

(5)计算当前最小行裁剪线能量：

计算当前最小能量行裁剪线能量的公式如下所示：

e_x(i,j)为当前最小行裁剪线能量，也即最小能量列裁剪线中像素点(i,j)处累积能量；

(6)寻找累计能量最小的行裁剪线：

在e_x计算灰度图像I最后一列中最小能量值的像素即为行裁剪线最后一个像素，以e_x(i,j)像素为起点，从最后一列回溯寻找累积能量最小的八联通裁剪线，按照这个步骤，一直找到灰度图像I的第一列，所有联通的像素所组成的像素线即为累计能量最小的行裁剪线；

(7)对输入的原始彩色图像O的图像进行线裁剪：

根据上述第六步步骤(3)和第六步步骤(6)分别得到的列裁剪线与行裁剪线，根据第五步得到的能量函数，通过上述第六步步骤(3)和第六步步骤(6)找出当前图像中累计能量最小的裁剪线进行复制或者删除操作，原始彩色图像O的大小为M×N像素，目标图像大小为M′×N′像素，线裁剪是提取|M-M′|条行像素线和|N-N′|条列像素线，如果目标图像尺寸小于原始彩色图像尺寸，则删除该像素线使原始彩色图像尺寸缩小一行或一列，如果目标图像尺寸大于原始彩色图像尺寸，则复制该像素线插入到原始彩色图像相应位置，循环处理|M-M′|次或|N-N′|次使得原始彩色图像尺寸达到目标图像大小。

上述实施例中，所述Context-Aware算法、分水岭分割算法、Canny边缘检测算法、Sobel梯度算子和线裁剪算法都是公知的。

Claims (3)

1.一种基于内容感知的图像缩放方法，其特征在于采用融合显著图、边缘直线图和梯度图的混合特征模型得到能量函数，步骤如下：

第一步，输入彩色图像预处理：

通过USB接口向计算机输入原始彩色图像，并输入目标图像的大小，将得到的原始彩色图像O由RGB空间转化到灰度空间得到灰度图像I，采用的公式(1)如下：

I＝0.299R+0.587G+0.114B (1)，

其中R、G、B分别是RGB空间图像的红色、绿色和蓝色通道，同时保留原始输入RGB空间的原始彩色图像O，供第二步中Context-Aware算法计算使用，所输入原始彩色图像O的大小为M×N像素，所输入目标图像的大小为M′×N′像素；

第二步，提取原始彩色图像的显著图和显著目标图像：

(1)通过Context-Aware算法提取原始彩色图像显著图：

对第一步保留的原始输入的RGB空间的原始彩色图像O，通过Context-Aware算法计算显著图，并将由此计算得到的该显著图输出为原始输入的RGB空间的原始彩色图像O的尺寸，提取到原始彩色图像的显著图Sal；

(2)使用分水岭分割算法加强显著图：

使用分水岭分割算法对上述第二步步骤(1)得到的原始彩色图像的显著图Sal进一步加强，分割出原始彩色图像显著图中的目标，先对显著图Sal的每个像素的灰度级进行从低到高排序，然后再从低到高实现淹没过程，对每一个局部极小值采用先进先出结构进行判断及标注，由此通过分水岭算法分割得到原始彩色图像的显著目标图像I_s；

第三步，提取灰度图像的融合直线信息的边缘图：

提取第一步得到的灰度图像I中的直线信息，并对图像I进行模糊处理，提取边缘图，将直线信息与边缘图进行叠加融合，得到融合直线信息的边缘图，具体步骤如下；

(1)检测灰度图像中的直线信息：

对第一步中获得的灰度图像I运用霍夫变换检测其中的直线信息，设置霍夫变换算法中所能检测到的最小长度为个像素以及直线间的最小间隔为个像素，其中q为图像对角线的长度，将检测得到直线信息的图片进行二值化处理，设置阈值为Th，得到具有直线信息的二值图I_w，所采用的公式(2)如下：

上述公式(2)中，w为标有直线线段的图片，w(x,y)为该图片的(x,y)处的像素值；

(2)对原始彩色图像进行模糊处理：

利用基于总变差模型的纹理结构提取算法对原始输入的RGB空间的原始彩色图像O进行模糊处理，模糊原图中不重要的纹理部分，突出主结构，得到去除纹理的图像，达到模糊的效果；

(3)提取图像的边缘特征：

利用Canny边缘检测算法对上述第三步步骤(2)模糊处理后得到的图像提取边缘信息，增强图像的边缘，得到边缘图，其中Canny算子模板如下公式(3)所示，其中，D_x为水平方向的算子，D_y为垂直方向的算子，

(4)将直线信息融合到边缘图中：

将上述第三步步骤(1)中得到的具有直线信息的二值图I_w与上述第三步步骤(3)得到的边缘图采用的公式(4)进行融合，

I_c＝I_w+I_canny (4)，

其中，I_w为含有直线信息的二值图，I_canny为使用Canny边缘检测算法得到的边缘图，I_c为融合直线信息的边缘图；

第四步，提取灰度图像的梯度图：

对第一步得到的灰度图像I通过Sobel梯度算子来提取梯度信息，即以图像像素点I(x,y)为中心计算其3×3邻域的x方向偏导数G_x和y方向的偏导数G_y如下：

梯度大小为：

根据公式(7)求出每个像素的梯度值，即可得到灰度图像的梯度图I_g；

第五步，利用HFPM算法对三种特征图融合得到能量函数：

将上述第二步得到的原始彩色图像的显著目标图像I_s、第三步得到的融合直线信息的边缘图I_c以及第四步得到的灰度图像的梯度图I_g用HFPM算法进行融合，采用公式如下：

E_HFPM(x,y)＝αI_s(x,y)+βI_c(x,y)+γI_g(x,y) (8)，

其中E_HFPM为最终得到的能量函数，α、β、γ分别为I_s、I_c、I_g三种图像不同的权重系数，

α是原始彩色图像的显著目标图像I_s的权重系数，其定义如下：

其中Area_t为缩放后图像的面积，M和N分别是第一步得到的图像的长度值和宽度值，单位为像素；

β是融合直线信息的边缘图I_c的权重系数，其定义为：

其中num为图像中通过Hough变换算法检测出的直线的条数，Len(l)即为第l条直线的长度，L_max为所有直线中最长直线的长度，L_min为所有直线中最短直线的长度；

γ是灰度图像的梯度图I_g的权重系数，由上述第二步得到的原始彩色图像的显著图Sal的面积决定，显著目标面积大的图像，γ值应越大，可以更好地保护图像中不同显著目标之间的边缘信息，其定义为：

其中，原始彩色图像的显著图Sal的尺寸为M×N像素，Sal(mc,nc)为在原始彩色图像的显著图中(mc,nc)处的像素值，Ts为设定的阈值；

第六步，使用线裁剪算法对原始图像进行裁剪：

原始彩色图像O的大小为M×N像素，目标图像大小为M′×N′像素，线裁剪是提取|M-M′|条行像素线和|N-N′|条列像素线，如果目标图像尺寸小于原始图像尺寸，则删除该像素线使原始图像尺寸缩小一行或一列，如果目标图像尺寸大于原始图像，则复制该像素线插入到原始图像相应位置，循环处理|M-M′|或|N-N′|次使得原始图像尺寸达到目标图像大小，

通过动态规划找出合适的裁剪线，并进行裁剪操作，具体步骤如下：

(1)计算列裁剪线中由非相邻像素点成为相邻像素产生的能量：

利用下式(14)计算移除像素时，由非相邻像素点成为新的相邻像素点而产生的能量：

其中，I是第一步得到的灰度图像，表示进行列裁剪时移除灰度图像I中像素(i,j)与(i-1,j-1)时所产生的能量，表示进行列裁剪时移除灰度图像I中像素(i,j)与(i-1,j)时所产生的能量，表示进行列裁剪时移除灰度图像I中像素(i,j)与(i-1,j+1)时所产生的能量；

(2)计算当前最小列裁剪线能量：

计算当前最小能量列裁剪线能量的公式如下所示：

e_y(i,j)为当前最小能量列裁剪线能量，也即最小能量列裁剪线中像素点(i,j)处累积能量；

(3)寻找累计能量最小的列裁剪线：

在e_y计算灰度图像I最后一行中最小能量值的像素即为列裁剪线最后一个像素，以e_y(i,j)像素为起点，从最后一行回溯寻找累积能量最小的八联通裁剪线，按照这个步骤，一直找到灰度图像I的第一行，所有联通的像素所组成的像素线即为累计能量最小的列裁剪线；

(4)计算行裁剪线中由非相邻像素点成为相邻像素产生的能量：

利用下式(16)计算移除像素时，由非相邻像素点成为新的相邻像素点而产生的能量：

其中，I是第一步得到的灰度图像，表示进行行裁剪时移除灰度图像I中像素(i,j)与(i+1,j-1)时所产生的能量，表示进行行裁剪时移除灰度图像I中像素(i,j)与(i,j-1)时所产生的能量，表示进行行裁剪时移除灰度图像I中像素(i,j)与(i-1,j-1)时所产生的能量；

(5)计算当前最小行裁剪线能量：

计算当前最小能量行裁剪线能量的公式如下所示：

e_x(i,j)为当前最小行裁剪线能量，也即最小能量列裁剪线中像素点(i,j)处累积能量；

(6)寻找累计能量最小的行裁剪线：

在e_x计算灰度图像I最后一列中最小能量值的像素即为行裁剪线最后一个像素，以e_x(i,j)像素为起点，从最后一列回溯寻找累积能量最小的八联通裁剪线，按照这个步骤，一直找到灰度图像I的第一列，所有联通的像素所组成的像素线即为累计能量最小的行裁剪线；

(7)对输入的原始彩色图像O的图像进行线裁剪：

根据上述第六步步骤(3)和第六步步骤(6)分别得到的列裁剪线与行裁剪线，根据第五步得到的能量函数，通过上述第六步步骤(3)和第六步步骤(6)找出当前图像中累计能量最小的裁剪线进行复制或者删除操作，原始彩色图像O的大小为M×N像素，目标图像大小为M′×N′像素，线裁剪是提取|M-M′|条行像素线和|N-N′|条列像素线，如果目标图像尺寸小于原始彩色图像尺寸，则删除该像素线使原始彩色图像尺寸缩小一行或一列，如果目标图像尺寸大于原始彩色图像尺寸，则复制该像素线插入到原始彩色图像相应位置，循环处理|M-M′|次或|N-N′|次使得原始彩色图像尺寸达到目标图像大小。

2.根据权利要求1所述一种基于内容感知的图像缩放方法，其特征在于：所述第三步中的设定的阈值Th取值为240。

3.根据权利要求1所述一种基于内容感知的图像缩放方法，其特征在于：所述第五步中的设定的阈值Ts取值为200。