CN101996406A - 无参考结构清晰度图像质量评价方法 - Google Patents

Abstract

本发明为无参考结构清晰度图像质量评价方法，该方法获取输入计算机的原始图像；对原始图像进行预处理，去除孤立噪声点对原始图像清晰度的影响，获取待评估原始图像；通过低通滤波器为待评估原始图像构造参考图像；对待评估原始图像和参考图像分别进行梯度运算，提取纹理结构信息丰富的子图向量；计算对应子图向量间的结构相似度，得到各个子图向量的结构相似度结果；利用得到的各个子图向量的结构相似度计算无参考结构清晰度，得到原始图像的质量评价指标无参考结构清晰度。本方法利用成像模型来构造参考图像，用有参考图像质量评价的方法来进行针对图像模糊的无参考图像质量评价，用于成像系统成像质量检测与控制、图像处理算法的评估等领域。

Description

无参考结构清晰度图像质量评价方法

技术领域

本发明属于图像处理领域，特别是图像质量评价领域，可用于成像质量检测、监视，成像系统参数控制，也可用于图像处理算法评估，图像处理算法参数优化，网络图像传输质量评估等。

背景技术

随着信息技术的发展，图像作为信息的载体正越来越受到重视。图像质量评价是图像处理领域的一个重要研究方向，可用于各类成像系统的成像质量检测，并指导成像系统的控制，使系统始终工作在最佳状态，也可用于各类图像处理算法的评估、参数优化等，使算法的综合输出结果达到最优，还可用于图像网络质量监控等等。

图像质量评价方法分为主观图像质量评价方法和客观图像质量评价方法。由于几乎所有图像的最终宿主都是人眼，所以主观图像质量评价方法能够给出最准确的图像质量结果，而客观图像质量评价方法的目标就是能够给出符合主观评价的图像质量评价结果。客观图像质量评价方法分三类：全参考图像质量评价方法是一种通过比较待评估图像与原始参考图像的差异来给出图像质量评价结果的方法，实际上是一种图像“保真度”的计算；部分参考图像质量评价方法没有参考图像，但是具有一些参考图像的特征组合作为先验信息，评价原理与前一种基本相同；而无参考图像质量评价方法是指在没有任何参考信息的情况下，对单帧图像的质量作出评价。大多数应用中，参考图像信息都是无法获得的，无参考图像质量评价方法是图像质量评价领域的研究重点和难点。但是，当前的各种无参考图像质量评价方法都计算复杂，而且输出范围不是有界的，所以我们无法从单帧图像的评价值得到图像的清晰度信息。

发明内容

解决技术的问题：为了克服当前的各种无参考图像质量评价方法存在的问题，本发明联系图像模糊的原因，结合成像系统的数学模型，提出了一种为待评估图像构造参考图像的方法，从而利用有参考图像的图像质量评价方法来进行无参考图像质量评价，最后提出了一种针对图像模糊的图像质量评价指标，无参考结构清晰度NRSS(No-Reference Structural Sharpness)。这个指标计算简单，而且输出有界，可以通过单帧图像的评价值获取图像清晰度信息。

本发明的技术方案：

为了实现所述目的，本发明提供的一种无参考结构清晰度图像质量评价方法的步骤如下：

步骤S1：获取输入计算机的原始图像；对原始图像进行预处理，去除孤立噪声点对原始图像清晰度的影响，获取待评估原始图像；

步骤S2：通过低通滤波器为待评估原始图像构造参考图像；

步骤S3：对待评估原始图像和参考图像分别进行梯度运算，提取纹理结构信息丰富的子图向量；

步骤S4：计算对应子图向量间的结构相似度，得到各个子图向量的结构相似度；

步骤S5：利用得到的各个子图向量的结构相似度计算无参考结构清晰度，得到原始图像的质量评价指标无参考结构清晰度。

其中，所述的低通滤波器为均值滤波器或者高斯平滑滤波器，滤波器的波门大小为5×5～9×9。

其中，所述的对待评估原始图像进行梯度运算所使用的梯度滤波算子是Sobel算子，Sobel算子是提取水平和竖直两个方向的纹理梯度信息的算子，符合人眼对图像观测时的纹理提取过程。

其中，纹理结构丰富的子图向量提取方法：对待评估原始图像的梯度图像进行分块，得到8×8大小分块，分块每次移动4个像素，相邻块有50％的重叠；计算待评估原始图像的梯度图像中每个子块的方差，提取其中方差最大的N块作为结果，提取出的子图向量记为X_i，i＝1，…，N；再在参考图像的梯度图像中对应位置提取子图向量Y_i，其中N的大小与原始图像的大小以及结构信息的丰富程度相关，N＝2^m，m＝4，5，6，7，8。

其中，计算对应子图向量的结构相似度的步骤如下：

$l(X,Y)=\frac{{2\mathrm{\μ}}_X{\mathrm{\μ}}_Y+C_1}{{\mathrm{\μ}}_X^2+{\mathrm{\μ}}_Y^2+C_1},$

$c(X,Y)=\frac{{2\mathrm{\σ}}_X{\mathrm{\σ}}_Y+C_2}{{\mathrm{\σ}}_X^2+{\mathrm{\σ}}_Y^2+C_2},$

$s(X,Y)=\frac{{\mathrm{\σ}}_{\mathrm{XY}}+C_3}{{\mathrm{\σ}}_X{\mathrm{\σ}}_Y+C_3},$

SSIM(X，Y)＝[l(X，Y)]^α·[c(X，Y)]^β·[s(X，Y]^γ，

其中l(X，Y)分别表示在待评估原始图像的梯度图像和c(X，Y)参考图像的梯度图像中对应位置的两个子图向量X，Y在亮度、对比度和s(X，Y)结构信息方面的相似性度量，SSIM为子图向量的结构相似度，α、β和γ是三个度量的权重，μ_X，μ_Y分别为X，Y的均值，σ_X，σ_Y分别为X，Y的标准差，σ_XY为X，Y的协方差，C₁，C₂，C₃是为了防止三个相似性度量分母为零所取的较小的常数。

其中，所述的原始图像质量评价指标无参考结构清晰度NRSS计算公式如下：

$\mathrm{NRSS}=1-\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{SSIM}(X_i,Y_i).$

本发明的有益效果：本发明很好地结合了成像系统的数学模型，同时利用成像模型来构造参考图像，用有参考图像质量评价的方法来进行针对图像模糊的无参考图像质量评价，可用于数字成像系统成像质量检测与控制，也可用于图像处理算法的评估等领域，具有广阔的市场前景和应用价值。

附图说明

图1为本发明的方法流程图；

图2为本发明中的提取子图向量方法流程图；

图3(a)至图3(c)是对一副离焦量较小图像进行质量评价的结果；

图4(a)至图4(c)是对一副离焦量较大图像进行质量评价的结果；

图5是对一个图像序列的评价结果。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

图1示出本发明的方法流程图，本发明的无参考结构清晰度(NRSS)是一种针对图像模糊的无参考图像质量评价方法，其方法的具体步骤如下：

1.图像预处理

首先，若将本发明的方法用于嵌入式实时系统，为了减小计算量，可先对原始图像进行1/2下采样；如果待处理的原始图像本身数据量不大，可按照原始尺寸进行计算。经过下采样的原始图像记为f₀(x，y)，其中x，y分别表示对应像素点在图像中的行列坐标。对原始图像f₀(x，y)进行3×3中值滤波，中值滤波结果记为f(x，y)。原始图像模糊是由于高频分量丢失造成的，因此原始图像模糊的评价实际上就是计算图像所含高频分量的多少。而孤立的噪声点正是对应于原始图像中的高频分量，因此应该去除。中值滤波器是一种去噪效果较好且不会丢失图像细节的滤波器，所以本发明选用中值滤波器去噪。

2.构造参考图像

无参考的图像质量评价方法由于没有参考图像，所以一般都算法复杂，不便于运用。因此，为了利用计算简单的有参考图像质量评价方法，本发明通过结合成像系统数学模型的低通滤波方法为待评估图像构造参考图像。由成像系统的数学模型可知，成像系统实际上是一个低通滤波器，滤波器的截止频率越低，所获得的原始图像就越模糊。因此，清晰图像比模糊图像的高频信息更丰富。若对一幅原始图像进行低通滤波，清晰图像将损失大部分的高频信息，使得到的参考图像变得模糊；若原始图像本身就是模糊的，则低通滤波对其影响不大。成像系统有两种应用广泛的数学模型：圆盘模型和高斯模型。若采用圆盘模型，则对应的低通滤波器为均值滤波器；若采用高斯模型，则对应高斯低通滤波器。结合本发明的后续步骤，滤波器的大小选为7×7可取得较好的效果。构造参考图像f′(x，y)的过程可由下式表示：

f′(x，y)＝LPF[f(x，y)]                            (1)

其中LPF[·]为空域低通滤波器模板，可以是均值滤波器，也可以是高斯低通滤波器。

3.梯度计算

图像模糊表现为细节纹理不清晰，图像轮廓并没有较大变化。人眼视觉系统(Human Vision System，HVS)的研究结果表明，人眼对图像的横向和纵向的细节信息尤其敏感。而Sobel算子正是经典图像处理中用于梯度信息提取的空域滤波算子。基于Sobel算子的梯度信息按如下方式进行：

g_x(x，y)＝f(x+1，y-1)+2f(x+1，y)+f(x+1，y+1)-f(x-1，y-1)-2f(x-1，y)-f(x-1，y+1)(2)

g_y(x，y)＝f(x-1，y-1)+2f(x，y-1)+f(x+1，y-1)-f(x-1，y+1)-2f(x，y+1)-f(x+1，y+1)(3)

$g(x,y)=\sqrt{g_x{(x,y)}^2+g_y{(x,y)}^2}---\left(4\right)$

其中，f(x，y)指待评估原始图像，g_x(x，y)和g_y(x，y)分别是待评估原始图像在水平和竖直方向的梯度信息提取结果，对待评估原始图像的Sobel算子梯度信息提取结果记为g(x，y)。用同样的方法对所构造的参考图像进行梯度信息提取结果记为g′(x，y)。

4.提取纹理结构信息丰富的子图向量

如图2示出本发明中的提取子图向量方法流程图，图像的清晰程度主要由纹理细节信息表现出来，因此有必要先提取图像纹理信息丰富的子图，再对这些子图进行评价。本发明中提取子图是按照以下方法进行的：对图像g(x，y)进行8×8大小的分块，每次移动4个像素，即块间有50％的重叠，计算每个子图的局部方差，提取其中方差最大的N块子图作为子图向量X_i(i＝1，2，…，N)并记录子图向量的位置。利用所记录的位置在图像g′(x，y)中提取对应参考子图向量Y_i，i＝1，2，…，N。N值的大小与图像的纹理信息相关，结合嵌入式系统处理的特点，一般N＝2^m，m＝4，5，6，7，8。为了提高提取速度，子图向量的提取过程按如下方式进行：

1)建立循环变量并初始化为i＝0，j＝0；建立方差数组Variance[N]并全部初始化为0；建立二维位置数组Location[2][N]，并全部初始化为0，其第一行记录子图行坐标，第二行记录子图列坐标。变量Min_v用来存储方差数组Variance中的最小值，初始化为0，变量Min_pos用来记录最小方差在数组中的位置，也初始化为0。设图像宽度为Width，设图像高度为Height。

2)计算位置为(i，j)的子图方差，并与变量Min_y比较：

若该子图方差比变量Min_v大，则更新方差数组Variance[Min_pos]为子图方差，二维位置数组Location的第Min_pos列更新为(i，j)。转入第三步。

若该子图方差比变量Min_v小，则直接转入第四步。

3)遍历数组Variance[N]，将变量Min_v更新为数组中最小的元素，将变量Min_pos更新为最小元素所在的位置。

4)更新循环变量为i＝i+4：

若i＞Width-8，则i＝0，转入第五步；

否则，转入第二步。

5)更新循环变量为j＝j+4：

若j＞Height-8，则转入第六步；

否则，转入第二步

6)根据数组Location[2][N]提供的位置信息，在图像g(x，y)中提取子图向量X_i，i＝1，2，…，N，在g′(x，y)中提取子图向量Y_i。

5.计算对应子图向量的结构相似度

设X，Y是一组对应的子图向量，则它们的长度都为64。计算各自的均值与方差，再计算两个向量的协方差，分别记为：μ_X，μ_Y，σ_X ²，σ_Y ²，σ_XY。再分别计算向量在亮度、对比度和结构信息方面的相似程度度量，分别按照下面的式子进行：

$l(X,Y)=\frac{{2\mathrm{\μ}}_X{\mathrm{\μ}}_Y+C_1}{{\mathrm{\μ}}_X^2+{\mathrm{\μ}}_Y^2+C_1}---\left(5\right)$

$c(X,Y)=\frac{{2\mathrm{\σ}}_X{\mathrm{\σ}}_Y+C_2}{{\mathrm{\σ}}_X^2+{\mathrm{\σ}}_Y^2+C_2}---\left(6\right)$

$s(X,Y)=\frac{{\mathrm{\σ}}_{\mathrm{XY}}+C_3}{{\mathrm{\σ}}_X{\mathrm{\σ}}_Y+C_3}---\left(7\right)$

其中C₁，C₂，C₃是为了防止分母为零所取的较小的常数。以l(X，Y)为例，当且仅当μ_X＝μ_Y时，两个向量在亮度方面的相似程度才为1，而μ_X与μ_Y的差别越大，l(X，Y)的值将越小。

结构相似度按照下式计算：

SSIM(X，Y)＝[l(X，Y)]^α·[c(X，Y)]^β·[s(X，Y]^γ           (8)

其中α、β和γ是三个度量的权重，一般情况下α＝β＝γ＝1。

6.计算原始待评估图像的无参考结构清晰度

在前面的步骤中已经叙述过，清晰图像经过低通滤波之后，损失了大部分高频信息，因此提取到的对应子图向量之间的结构相似度低。而无参考结构清晰度NRSS是一种与图像清晰度成正比的有界性度量，因此，无参考结构清晰度NRSS的计算公式如下：

$\mathrm{NRSS}=1-\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{SSIM}(X_i,Y_i)---\left(9\right)$

显然，图像越清晰，无参考结构清晰度NRSS的输出值越高；图像越模糊，无参考结构清晰度NRSS的输出值越低。同时由于结构相似度SSIM的输出有界性，无参考结构清晰度NRSS的输出也是介于[0，1)之间的。

如图3(a)至图3(c)示出对一副离焦量较小图像进行质量评价的结果；其中图3(a)为待评估图像；图3(b)为构造的参考图像；图3(c)为子图提取结果；NRSS方法对图3(a)的评价结果为0.9136；

如图4(a)至图4(c)示出对一副离焦量较大图像进行质量评价的结果；图4(a)为待评估图像；图4(b)为构造的参考图像；图4(c)为子图提取结果；NRSS方法对图4(a)的评价结果为0.5694；

如图5示出对一个图像序列的评价结果；该图像序列由同一设备对同一目标成像，连续调节设备镜头位置，使所得图像从离焦到准焦，再到离焦。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (6)

1.一种无参考结构清晰度图像质量评价方法，其特征在于，包括步骤如下：

步骤S1：获取输入计算机的原始图像；对原始图像进行预处理，去除孤立噪声点对原始图像清晰度的影响，获取待评估原始图像；

步骤S2：通过低通滤波器为待评估原始图像构造参考图像；

步骤S3：对待评估原始图像和参考图像分别进行梯度运算，提取纹理结构信息丰富的子图向量；

步骤S4：计算对应子图向量间的结构相似度，得到各个子图向量的结构相似度；

步骤S5：利用得到的各个子图向量的结构相似度计算无参考结构清晰度，得到原始图像的质量评价指标无参考结构清晰度。

2.如权利要求1所述的方法，其特征在于，所述的低通滤波器为均值滤波器或者高斯平滑滤波器，滤波器的波门大小为5×5～9×9。

3.如权利要求1所述的方法，其特征在于，所述的对待评估原始图像进行梯度运算所使用的梯度滤波算子是Sobel算子，Sobel算子是提取水平和竖直两个方向的纹理梯度信息的算子，符合人眼对图像观测时的纹理提取过程。

4.如权利要求1所述的方法，其特征在于，纹理结构丰富的子图向量提取方法：对待评估原始图像的梯度图像进行分块，得到8×8大小分块，分块每次移动4个像素，相邻块有50％的重叠；计算待评估原始图像的梯度图像中每个子块的方差，提取其中方差最大的N块作为结果，提取出的子图向量记为X_i，i＝1，…，N；再在参考图像的梯度图像中对应位置提取子图向量Y_i，其中N的大小与原始图像的大小以及结构信息的丰富程度相关，N＝2^m，m＝4，5，6，7，8。

5.如权利要求1所述的方法，其特征在于，计算对应子图向量的结构相似度的步骤如下：

$l(X,Y)=\frac{{2\mathrm{\μ}}_X{\mathrm{\μ}}_Y+C_1}{{\mathrm{\μ}}_X^2+{\mathrm{\μ}}_Y^2+C_1},$

$c(X,Y)=\frac{{2\mathrm{\σ}}_X{\mathrm{\σ}}_Y+C_2}{{\mathrm{\σ}}_X^2+{\mathrm{\σ}}_Y^2+C_2},$

$s(X,Y)=\frac{{\mathrm{\σ}}_{\mathrm{XY}}+C_3}{{\mathrm{\σ}}_X{\mathrm{\σ}}_Y+C_3},$

SSIM(X，Y)＝[l(X，Y)]^α·[c(X，Y)]^β·[s(X，Y]^γ，

其中l(X，Y)分别表示在待评估原始图像的梯度图像和c(X，Y)参考图像的梯度图像中对应位置的两个子图向量X，Y在亮度、对比度和s(X，Y)结构信息方面的相似性度量，SSIM为子图向量的结构相似度，α、β和γ是三个度量的权重，μ_X，μ_Y分别为X，Y的均值，σ_X，σ_Y分别为X，Y的标准差，σ_XY为X，Y的协方差，C₁，C₂，C₃是为了防止三个相似性度量分母为零所取的较小的常数。

6.如权利要求1所述的方法，其特征在于，所述的原始图像质量评价指标无参考结构清晰度NRSS计算公式如下：

$\mathrm{NRSS}=1-\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{SSIM}(X_i,Y_i).$

Images