CN105976351A - 基于中央偏移的立体图像质量评价方法 - Google Patents

Abstract

本发明属于图像处理领域，为使客观评价的结果与主观评测的一致性更高，为立体图像质量评价提供一个新的思路。本发明基于中央偏移的立体图像质量评价方法,步骤如下:1)采用结构相似度算法SSIM，计算参考右图像和右图像的亮度、对比度和结构的比较函数，将从而得出SSIM的图像质量权值矩阵，再通过最近邻域插值算法将图像质量权值矩阵放大到与原图像大小相同；2)根据中央偏移特性对SSIM图像质量矩阵进行加权计算，得到右图像的图像质量评价得分；3)然后再重复上述步骤，计算左视点的图像质量评价得分，将两者加权平均得到立体图像质量客观评价值。本发明主要应用于图像处理。

Description

基于中央偏移的立体图像质量评价方法

技术领域

本发明属于图像处理领域，涉及图像质量评价方法改进优化，尤其涉及一种基于中央偏移的立体图像质量客观评价方法。

背景技术

从上世纪20年代的人类史上第一部立体电影《爱的力量》问世，到2012年3D重制版《泰坦尼克号》上映，3D立体电影凭借其优秀的视觉感受，逼真的观看体验，已经获得了越来越多观看者的青睐。立体显示技术指的是通过光学等技术手段对人眼的立体视觉特性进行模拟，从而将空间物体的立体信息再现出来，生成具有深度特性立体图像的显示方式[1]。

但是立体图像由于拍摄时的噪音、图像传输失真等问题，可能会引起左右两幅图像的质量有所差异，而这种差异可能会导致观看者的不适。因此，对立体图像的质量进行评价对立体图像的发展有着至关重要的作用。虽然立体图像主观评测能非常正确的反映出图像的质量，但是主观评测费时费力，对于大量的图像和图片，对每幅图像进行评价很难实现。因此，合理的提出一种立体图像的客观评价方法具有非常大的意义。

立体图像的客观评价方法根据立体图像自身的特征信息，利用数学公式或通过构建数学模型，使用计算机对立体图像进行分析，从而计算出代表着立体图像质量的分数，用以描述人类对于立体图像的主观感受。

截止到现在，立体图像质量的客观评价方法已有很多，他们从不同的方面对全参考立体图像质量进行评价，以下对现有的立体图像质量客观评价方法进行分析。

文献[2]在参考平面图像质量评价的基础上，将工程学评价方法峰值信噪比与结构相似度相结合，使用两种方法分别评价立体图像左右视图的质量，然后通过四种不同的方法计算得到绝对差值信息用于评价立体感，最后分别使用局部结合和全局结合的方法将图像质量与立体感质量整合为统一的立体图像质量指标。最后将所得分数取平均值，作为评价立体图像质量的指标。该文章还验证了单纯的平面图像客观评价方法无法简单地适用立体图像质量评价，在立体图像质量评价过程中需要考虑立体感的因素。文献[3]提出了一种双目感知质量模型，首先基于双目不对称性分割立体图像，然后对不同区域设置不同的感知权重，最后计算立体图像质量，该文献证明了结合双目视觉不对称性可以提高立体图像客观评价准确性。文献[4]认为，人眼视觉系统对立体图像的边缘信息极其敏感，因此其考虑通过边缘信息对经典结构相似度指标加以改进，提出了一种基于边缘的结构相似度评价方法，使用该方法评价立体图像左右视图质量。然后作者通过基于自适应权重匹配算法计算左右视图的视差图，通过判断失真图像视差图与参考图像视差图的差异计算立体图像的立体感指标。最后将左右视图质量与立体感质量进行拟合，得到评价立体图像质量的综合指标。文献[5]考虑HVS的生理特性和心理特性，提出了一个改进的SSIM算法。

随着各领域对HVS特性认识的不断加深，客观评价模型中融入更加复杂和高级的人眼视觉特性成为了必然的发展方向。视觉显著性作为一种人眼视觉系统高级特性，是指人眼对图像不同区域分配的注意力强度不同。文献[6]通过将原始图像的显著图加权图像的局部失真质量图，提高了评价算法的性能。通常情况下，图像失真会影响显著特征准确提取。文献[6]假设原始图像和失真图像的显著特征相似，其使用原始图像的显著图对图像质量进行客观评价，实验结果表明^[6]，当失真图像质量较高时，采用原始显著图进行的失真图像质量评价是有效的；然而，随着失真图像质量的不断降低，一些不容忽视的因素影响显著性检测过程，从而造成原始图像和失真图像的显著特征具有明显的差异。因此，实验过程中应同时考虑原始和失真图像的显著特征更准确地评价失真图像的质量。

由于人类视觉系统对图像的观察是自下而上的，不能同时将整幅图的内容同时观察到，而是只关注图像中最引人注意的地方，因此提出基于中央偏移的立体图像质量评价方法具有很强的理论上的支持。

发明内容

为克服现有技术的不足，本发明旨在结合中央偏移特性对立体图像质量进行客观评价。通过人眼观察图像时的中央偏移特性对立体图像质量客观评价算法进行优化，使客观评价的结果与主观评测的一致性更高，为立体图像质量评价提出了一个新的思路。本发明采用的技术方案是，基于中央偏移的立体图像质量评价方法,步骤如下:

1)采用结构相似度算法SSIM，计算参考右图像和右图像的亮度、对比度和结构的比较函数，将从而得出SSIM的图像质量权值矩阵，再通过最近邻域插值算法将图像质量权值矩阵放大到与原图像大小相同；

2)根据中央偏移特性对SSIM图像质量矩阵进行加权计算，得到右图像的图像质量评价得分；

3)然后再重复上述步骤，计算左视点的图像质量评价得分，将两者加权平均得到立体图像质量客观评价值。

采用结构相似度算法，为防止出现块效应，使用M×M、标准差为1.5的高斯滑动窗口分别对原始立体图像对的右视点和失真立体图像对的右视点采样获取子图像块X,Y，计算它们的亮度、结构和对比度相似度；

$l(X,Y)=\frac{2{\mathrm{\μ}}_X{\mathrm{\μ}}_Y+C_1}{{{\mathrm{\μ}}_X}^2+{{\mathrm{\μ}}_Y}^2+C_1}---\left(1\right)$

$s(X,Y)=\frac{2{\mathrm{\σ}}_{XY}+C_3}{{\mathrm{\σ}}_X{\mathrm{\σ}}_Y+C_3}---\left(2\right)$

$c(X,Y)=\frac{2{\mathrm{\σ}}_X{\mathrm{\σ}}_Y+C_2}{{{\mathrm{\σ}}_X}^2+{{\mathrm{\σ}}_Y}^2+C_2}---\left(3\right)$

其中：

${\mathrm{\σ}}_X={\left(\underset{i=1}{\overset{N}{\Σ}}{\mathrm{\ω}}_i{\left(x_i-{\mathrm{\μ}}_X\right)}^2\right)}^{1/2}---\left(5\right)$

${\mathrm{\σ}}_{XY}=\underset{i=1}{\overset{N}{\Σ}}{\mathrm{\ω}}_i(x_i-{\mathrm{\μ}}_X)(y_i-{\mathrm{\μ}}_Y)---\left(6\right)$

其中,C₁、C₂、C₃表示非常小的正常量,避免分母为零,且C₁＝(k₁L)²、C₂＝(k₂L)²、C₃＝(C₂/2)²；k₁、k₂分别是[0,1]之间的常量；x_i,y_i分别是图像块X,Y中第i个像素点的值,μ_X,μ_Y分别为图像块X,Y的均值，σ_X,σ_Y分别为图像块X,Y的方差，σ_XY为图像块X,Y的协方差，N是图像块X或Y的像素数量，l(X,Y)，c(X,Y)，s(X,Y)分别为图像块X,Y的亮度、对比度和结构参数矩阵；

图像块的结构相似度定义为：

SSIM(x,y)＝(l(X,Y))^τ(c(X,Y))^β(s(X,Y))^γ (7)

其中τ,β，γ为调节参数，取τ＝β＝γ＝1，(x,y)为图像的像素点，由式(7)计算滑动窗口内的结构相似度，SSIM(x,y)为滑动窗口从图像左上角至右下角后计算得出的结果，其大小为((W-10)×(H-10))，其中W和H表示图像的水平像素和垂直像素个数；为进而获取失真立体图像对右视点的质量矩阵Q_R(x,y)，采用最近邻域插值算法将SSIM(x,y)放大到与原图像大小相同。

最近邻域插值算法是目标像素点处的灰度值是，由该像素点周围距离该像素点最近的像素点的灰度值决定的，而其它所有的像素点对其没有影响；

(i,j)、(i,j+1)、(i+1,j)、(i+1,j+1)分别是进行插值前浮点坐标(i+a,j+b)(i,j分别表示坐标的整数部分，a,b则分别表示坐标的小数部分，且a∈[0,1)，b∈[0,1))，的四个邻域，f(i,j)、f(i,j+1)、f(i+1,j)、f(i+1,j+1)分别是对应像素点的灰度值，A、B、C、D分别表示像素点f(i,j)、f(i,j+1)、f(i+1,j)、f(i+1,j+1)所构成的区域的左上、右上、左下、右下区域，最近邻域差值算法就是确定上述四个点中距离目标像素点(i+a,j+b)最近的点，则其最近点的灰度值就是目标像素点的灰度值，最近邻域算法用以下公式表示：

$f(i+a,j+b)=\left\{\begin{array}{c}f(i,j),(a,b)\⊆A\\ f(i,j+1),(a,b)\⊆C\\ f(i+1,j),(a,b)\⊆B\\ f(i+1,j+1),(a,b)\⊆D\end{array}\right.---\left(8\right)$

最后，使用上述的最近邻域插值算法将由SSIM算法得到的失真立体图像对右视点的质量矩阵SSIM(x,y)放大到原图像大小，此时放大后的图像即为右视点的质量矩阵Q_R(x,y)。

加权计算SSIM质量矩阵

采用SSIM算法计算失真右视点的质量图Q_R(x,y)，采用公式(10)得到失真右视点的质量客观评价值Q_r，采用同样的方法得到失真左视点的质量客观评价值Q_l，最后采用公式(11)，将两者加权平均得到立体图像质量客观评价值，

$Q_r=\frac{\underset{x=1}{\overset{H}{\Σ}}\underset{y=1}{\overset{W}{\Σ}}{Q}_R(x,y)CB(x,y)}{\underset{x=1}{\overset{H}{\Σ}}\underset{y=1}{\overset{W}{\Σ}}CB(x,y)}---\left(10\right)$

具有各向异性的高斯核函数[11]模拟注意力由中央向四周扩散的中央偏移(CB)因子：

$CB(x,y)=\exp \{-(\frac{{(x-x_0)}^2}{2{\mathrm{\σ}}_h^2}+\frac{{(y-y_0)}^2}{2{\mathrm{\σ}}_v^2})\}---\left(9\right)$

其中CB(x,y)表示像素点(x,y)对中心点(x₀,y₀)的偏移信息，(x₀,y₀)表示失真右视点的中心点坐标，(x,y)为像素点坐标，σ_h和σ_v分别表示图像水平方向和垂直方向的标准差，取σ_h＝1/3W,σ_v＝1/3H，其中W和H表示图像的水平像素和垂直像素个数。

立体图像质量客观评价值：分别得到左视图和右视图的图像质量客观评价值Q_r和Q_l，然后通过加权计算可以得到立体图像质量客观评价值：

Q＝0.5×Q_L+0.5×Q_R (11)。

本发明的特点及有益效果是：

由实验结果及数据可以看出，CB-SSIM算法的PCC值均在0.80以上，RMSE值均在0.64以下。与SSIM算法相比，引入中央偏移因子的CB-SSIM算法的各项性能指标均有不同程度的提高，说明中央偏移因子能够提高立体图像质量客观评价的性能；总体来说，针对不同的失真类型，CB-SSIM算法的PCC、KROCC和RMSE指标均优于SSIM，CB-SSIM算法的客观评价值与能在在一定的程度上提高立体图像质量客观评价的准确性。

附图说明：

图1 CB-SSIM原理框图。

图2最近邻域插值算法原理。

图3本算法所用的8幅标准立体图像对。图中：

(a)源图像Tree2 (b)源图像“Family”

(c)源图像“Girl” (d)源图像“River”

(e)源图像“Tree1” (f)源图像“Ox”

(g)源图像“Tju” (h)源图像“Woman”。

具体实施方式

本发明提供了一种基于中央偏移特性的立体图像质量客观评价方法，本发明根据结构相似度质量权重矩阵和中央偏移特性，准确有效地建立了反映主观评价结果的立体图像质量的客观评价模型。

下面以立体图像的右视图为例，基本步骤如下：

1.通过采用Zhou Wang提出的结构相似度算法SSIM[7]，计算参考右图像和右图像的亮度、对比度和结构的比较函数，将从而得出SSIM的图像质量权值矩阵，再通过最近邻域插值算法将图像质量权值矩阵放大到与原图像大小相同。

2.根据中央偏移特性对SSIM图像质量矩阵进行加权计算，得到右图像的图像质量评价得分。

3.然后再重复上述步骤，计算左视点的图像质量评价得分，将两者加权平均得到立体图像质量客观评价值。

下面将对各个步骤进行详细的分析：

1.1结构相似度算法

采用Zhou Wang提出的结构相似度算法[1]。为防止出现块效应，使用M×M(M＝11)、标准差为1.5的高斯滑动窗口分别对原始立体图像对的右视点和失真立体图像对的右视点采样获取子图像块X和图像块Y，计算它们的亮度、结构和对比度相似度。

$l(X,Y)=\frac{2{\mathrm{\μ}}_X{\mathrm{\μ}}_Y+C_1}{{{\mathrm{\μ}}_X}^2+{{\mathrm{\μ}}_Y}^2+C_1}---\left(1\right)$

$s(X,Y)=\frac{2{\mathrm{\σ}}_{XY}+C_3}{{\mathrm{\σ}}_X{\mathrm{\σ}}_Y+C_3}---\left(2\right)$

$c(X,Y)=\frac{2{\mathrm{\σ}}_X{\mathrm{\σ}}_Y+C_2}{{{\mathrm{\σ}}_X}^2+{{\mathrm{\σ}}_Y}^2+C_2}---\left(3\right)$

其中：

${\mathrm{\σ}}_X={\left(\underset{i=1}{\overset{N}{\Σ}}{\mathrm{\ω}}_i{\left(x_i-{\mathrm{\μ}}_X\right)}^2\right)}^{1/2}---\left(5\right)$

${\mathrm{\σ}}_{XY}=\underset{i=1}{\overset{N}{\Σ}}{\mathrm{\ω}}_i(x_i-{\mathrm{\μ}}_X)(y_i-{\mathrm{\μ}}_Y)---\left(6\right)$

其中,C₁、C₂、C₃表示非常小的正常量,避免分母为零,且C₁＝(k₁L)²、C₂＝(k₂L)²、C₃＝(C₂/2)²；k₁、k₂分别是[0,1]之间的常量；x_i,y_i分别是图像块X,Y中第i个像素点的值,μ_X,μ_Y分别为图像块X,Y的均值，σ_X,σ_Y分别为图像块X,Y的方差，σ_XY为图像块X,Y的协方差，N是图像块X或Y的像素数量，l(X,Y)，c(X,Y)，s(X,Y)分别为图像块X,Y的亮度、对比度和结构参数矩阵。

图像块的结构相似度定义为：

SSIM(x,y)＝(l(X,Y))^τ(c(X,Y))^β(s(X,Y))^γ (7)

其中τ,β，γ为调节参数，取τ＝β＝γ＝1，(x,y)为图像的像素点，由式(7)计算滑动窗口内的结构相似度，SSIM(x,y)为滑动窗口从图像左上角至右下角后计算得出的结果，其大小为((W-10)×(H-10))，其中W和H表示图像的水平像素和垂直像素个数。为进而获取失真立体图像对右视点的质量矩阵Q_R(x,y)，采用最近邻域插值算法将SSIM(x,y)放大到与原图像大小相同。

1.2最近邻域插值算法

最近邻域插值算法[9]作为一种最简单的缩放算法，适合应用于设计图像缩放的所有领域。其原理是目标像素点处的灰度值是，由该像素点周围距离该像素点最近的像素点的灰度值决定的，而其它所有的像素点对其没有影响。

图2中(i,j)、(i,j+1)、(i+1,j)、(i+1,j+1)分别是进行插值前浮点坐标(i+a,j+b)(i,j分别表示坐标的整数部分，a,b则分别表示坐标得小数部分，且a∈[0,1)，b∈[0,1))，的四个邻域，f(i,j)、f(i,j+1)、f(i+1,j)、f(i+1,j+1)分别是对应像素点的灰度值。A、B、C、D分别表示像素点f(i,j)、f(i,j+1)、f(i+1,j)、f(i+1,j+1)所构成的区域的左上、右上、左下、右下区域。最近邻域差值算法就是确定上述四个点中距离目标像素点(i+a,j+b)最近的点，则其最近点的灰度值就是目标像素点的灰度值。最近邻域算法可以用以下公式表示：

$f(i+a,j+b)=\left\{\begin{array}{c}f(i,j),(a,b)\⊆A\\ f(i,j+1),(a,b)\⊆C\\ f(i+1,j),(a,b)\⊆B\\ f(i+1,j+1),(a,b)\⊆D\end{array}\right.---\left(8\right)$

最后，使用上述的最近邻域插值算法将由SSIM算法得到的失真立体图像对右视点的质量矩阵SSIM(x,y)放大到原图像大小，此时放大后的图像即为右视点的质量矩阵。

2.1中央偏移特性

中央偏移(Center Bias,CB)特性，是指人眼在观看图像时总是倾向于从图的中心开始寻找视觉注视点，然后其注意力由中央向四周递减[10]。也就是说，当像素的坐标位置越处于图像的中间位置，该像素越容易受到关注。本章采用具有各向异性的高斯核函数[11]模拟注意力由中央向四周扩散的中央偏移(CB)因子：

$CB(x,y)=\exp \{-(\frac{{(x-x_0)}^2}{2{\mathrm{\σ}}_h^2}+\frac{{(y-y_0)}^2}{2{\mathrm{\σ}}_v^2})\}---\left(9\right)$

其中CB(x,y)表示像素点(x,y)对中心点(x₀,y₀)的偏移信息。(x₀,y₀)表示失真右视点的中心点坐标，(x,y)为像素点坐标，σ_h和σ_v分别表示图像水平方向和垂直方向的标准差,根据文献[11]取σ_h＝1/3W,σ_v＝1/3H，其中W和H表示图像的水平像素和垂直像素个数。

2.2加权计算SSIM质量矩阵

利用中央偏移模型，对距离图像中心点较近的区域分配较高的权重，距离图像中心点较远的区域分配较低的权重。采用SSIM算法计算失真右视点的质量图Q_R(x,y)，采用公式(10)得到失真右视点的质量客观评价值Q_r。采用同样的方法得到失真左视点的质量客观评价值Q_l，最后采用公式(11)，将两者加权平均得到立体图像质量客观评价值。

$Q_r=\frac{\underset{x=1}{\overset{H}{\Σ}}\underset{y=1}{\overset{W}{\Σ}}{Q}_R(x,y)CB(x,y)}{\underset{x=1}{\overset{H}{\Σ}}\underset{y=1}{\overset{W}{\Σ}}CB(x,y)}---\left(10\right)$

3.立体图像质量客观评价值

通过上述方法可以分别得到左视图和右视图的图像质量客观评价值Q_r和Q_l，然后通过加权计算可以得到立体图像质量客观评价值：

Q＝0.5×Q_L+0.5×Q_R (11)

表1本算法与SSIM算法的性能指标

本设计所选取的立体图像均来自宽带无线通信与立体成像研究所图像数据库。从立体图像库选取含有人物、远景、近景的“Tree2”、“Family”、“Girl”、“River”、“Tree1”、“Ox”、“Tju”、“Woman”共8幅未失真的标准立体图像，其分辨率均为1280×1024。由于立体显示设备需要水平翻转立体图像对的右视点才能体现立体感，因此需要镜像放置立体图像对的右视点图。本数据库里的立体图像均按照国际电信联盟(ITU)对立体图像质量的主观评价建议的两个标准：BT-500和BT.1438-2000，将所有的立体图像质量分为5个等级：极好、好、一般、差、非常差。

为了真实模拟立体成像系统对立体图像的失真以及验证本算法的普适性，实验对8幅标准立体图像对进行JPEG压缩失真、高斯模糊失真和高斯白噪失真处理，因此共得到260幅失真立体图像对。

根据ITU-R BT.1438标准，在立体显示设备“3D WINDOWS-19A0”上对所有失真立体图像对进行主观测试，观看距离是立体显示设备高度的6倍。根据所有测试者的测试分数得到平均意见值(Mean Opinion Score，MOS)。本文使用Min-Max归一化方法对MOS值进行归一化处理，并扩展到范围为[0,5]的值

$m_{i,j}=\frac{s_{i,j}-{\mathrm{Min}}_i}{{\mathrm{Max}}_i-{\mathrm{Min}}_i}---\left(12\right)$

其中，i表示参考立体图像的编号，本发明中i∈[1,8]。针对某一类型的失真(例如JPEG失真、高斯模糊失真、高斯白噪声失真)，s_i,j表示参考立体图像i对应的失真立体图像第j种失真程度的MOS值，m_i,j表示m_i,j经过Min-Max归一化后的值。Min_i表示参考立体图像在某种类型失真情况下，不同失真强度的立体图像的MOS值中最小的MOS值。同理，按照上述原理归一化客观评价值。

为了衡量本章提出的客观评价方法的实验结果与主观评价结果的一致性，本文选取皮尔逊相关系数(Pearson Correlation Coefficient，PCC)、肯德尔等级次序相关系数(Kendall Rank Order Correlation Coefficient,KROCC)、及均方误差(Root MeanSquare Error,RMSE)三个标准来评价客观算法的评价结果与主观评价结果之间的一致性、单调性和准确性。Kendall相关系数主要是用来衡量客观算法评价与主观评价结果之间的单调性，该指标不是考虑评价分数之间的相对距离，而衡量的是评价分数之间的等级次序；Pearson相关系数权衡的是客观评价分数与MOS值彼此之间的相关性；RMSE值评价的是客观评价分数与主观评价结果之间的离散程度即准确性。PCC和KROCC的绝对值越接近1,RMSE的值越接近0，说明客观评价结果能够有效的反映主观评价结果。

下面结合技术方案详细说明本方法：

一、通过主观测试获取评价数据样本，经过反复试验选取训练样本和测试样本。

被试包括专业被试与非专业被试，均具有正常的视差立体感，共20名被试，分别为在校研究生与本科生，男性11名，女性9名，从事立体信息处理研究的被试共16人，从事其他方向研究的被试共4人。为了便于直观理解本设计，提供了立体图像质量客观评价框图，如图1所示。

二、通过本文提出的算法对失真图像与原始图像进行对比计算

1.通过采用Zhou Wang提出的结构相似度算法SSIM，计算参考右图像和四诊右图像的亮度、对比度和结构的比较函数，将从而得出SSIM的图像质量权值矩阵，再通过最近邻域插值算法将图像质量权值矩阵放大到与原图像大小相同。

2.根据中央偏移特性对SSIM图像质量矩阵进行加权计算，得到右图像的图像质量评价得分。

3.然后再重复上述步骤，计算左视点的图像质量评价得分，将两者加权平均得到立体图像质量客观评价值。

由表1的数据可以看出，CB-SSIM算法的PCC值均在0.80以上，RMSE值均在0.64以下。与SSIM算法相比，引入中央偏移因子的CB-SSIM算法的各项性能指标均有不同程度的提高，说明中央偏移因子能够提高立体图像质量客观评价的性能；总体来说，针对不同的失真类型，CB-SSIM算法的PCC、KROCC和RMSE指标均优于SSIM，CB-SSIM算法的客观评价值与能在在一定的程度上提高立体图像质量客观评价的准确性。

参考文献

[1]王琼华.3d显示技术与器件[M].北京：科学出版社，2011，6～8.

[2]You J,Xing L,Perkis A,et al.Perceptual quality assessment forstereoscopic images based on2D image quality metrics and disparity analysis[C].Proc.of International Workshop on Video Processing and Quality Metricsfor Consumer Electronics,Scottsdale,AZ,USA.2010.

[3]Jung Y J,Kim H G,Ro Y M.Critical binocular asymmetry measure forperceptual quality assessment of synthesized stereo 3D images in viewsynthesis[J].Circuits and Systems for Video Technology,IEEE Transactions on,2015,99(3):1～14

[4]田浩南.基于边缘和局部匹配的立体图像质量评价[D].天津：天津大学，2013.

[5]Shen L,Yang J,Zhang Z.Quality assessment of stereo images withstereo vision[C].Image and Signal Processing,2009.CISP'09.2nd InternationalCongress on.IEEE,2009:1-4.

[6]Barland R,Saadane A.Blind quality metric using a perceptualimportance map for jpeg-20000compressed images[C].Image Processing,2006IEEEInternational Conference on.IEEE,2006:2941-2944.

[7]Z.Wang,A.C.Bovik A,H.R.Sheikh,et al.Image Quality Assessment:FromError Visibility to Structural Similarity[J].IEEE Transactions on ImageProcessing,Vol.13,No.4,April 2004.

[8]Ciptadi A,Hermans T,Rehg J M.An in depth view of saliency[C].Eds:T.Burghardt,D.Damen,W.Mayol-Cuevas,M.Mirmehdi,In Proceedings of the BritishMachine Vision Conference(BMVC 2013).2013:9-13.

[9]林媛.图像缩放算法及FPGA实现[D].厦门大学，2006.

[10]G.A.Ascoli,K.Svooboda,Y.Liu.Digital reconstruction of axonal anddendritic morphology DIADEM challenge,2010：http:.www.diademchallenge.org/

[11]Lin Y,Tang Y Y,Fang B,et al.A visual-attention model using earthmover's distance-based saliency measurement and nonlinear feature combination[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2013,35(2):314-328.

Claims (5)

1.一种基于中央偏移的立体图像质量评价方法，其特征是，步骤如下：

1)采用结构相似度算法SSIM，计算参考右图像和右图像的亮度、对比度和结构的比较函数，将从而得出SSIM的图像质量权值矩阵，再通过最近邻域插值算法将图像质量权值矩阵放大到与原图像大小相同；

2)根据中央偏移特性对SSIM图像质量矩阵进行加权计算，得到右图像的图像质量评价得分；

3)然后再重复上述步骤，计算左视点的图像质量评价得分，将两者加权平均得到立体图像质量客观评价值。

2.如权利要求1所述的基于中央偏移的立体图像质量评价方法，其特征是，采用结构相似度算法，为防止出现块效应，使用M×M、标准差为1.5的高斯滑动窗口分别对原始立体图像对的右视点和失真立体图像对的右视点采样获取子图像块X,Y，计算它们的亮度、结构和对比度相似度：

其中： $\begin{array}{c}l(X,Y)=\frac{2{\mathrm{\μ}}_X{\mathrm{\μ}}_Y+C_1}{{{\mathrm{\μ}}_X}^2+{{\mathrm{\μ}}_Y}^2+C_1}---\left(1\right)\\ s(X,Y)=\frac{2{\mathrm{\σ}}_{XY}+C_3}{{\mathrm{\σ}}_X{\mathrm{\σ}}_Y+C_3}---\left(2\right)\\ c(X,Y)=\frac{2{\mathrm{\σ}}_X{\mathrm{\σ}}_Y+C_2}{{{\mathrm{\σ}}_X}^2+{{\mathrm{\σ}}_Y}^2+C_2}---\left(3\right)\\ {\mathrm{\μ}}_X=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ω}}_i{x}_i---\left(4\right)\\ {\mathrm{\σ}}_X={\left(\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ω}}_i{\left(x_i-{\mathrm{\μ}}_X\right)}^2\right)}^{1/2}---\left(5\right)\\ {\mathrm{\σ}}_{XY}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ω}}_i(x_i-{\mathrm{\μ}}_X)(y_i-{\mathrm{\μ}}_Y)---\left(6\right)\end{array}$

其中,C₁、C₂、C₃表示非常小的正常量,避免分母为零,且C₁＝(k₁L)²、C₂＝(k₂L)²、C₃＝(C₂/2)²；k₁、k₂分别是[0,1]之间的常量；x_i,y_i分别是图像块X,Y中第i个像素点的值,μ_X,μ_Y分别为图像块X,Y的均值，σ_X,σ_Y分别为图像块X,Y的方差，σ_XY为图像块X,Y的协方差，N是图像块X或Y的像素数量，l(X,Y)，c(X,Y)，s(X,Y)分别为图像块X,Y的亮度、对比度和结构参数矩阵；

图像块的结构相似度定义为：

SSIM(x,y)＝(l(X,Y))^τ(c(X,Y))^β(s(X,Y))^γ (7)

其中τ,β，γ为调节参数，取τ＝β＝γ＝1，(x,y)为图像的像素点，由式(7)计算滑动窗口内的结构相似度，SSIM(x,y)为滑动窗口从图像左上角至右下角后计算得出的结果，其大小为((W-10)×(H-10))，其中W和H表示图像的水平像素和垂直像素个数；为进而获取失真立体图像对右视点的质量矩阵Q_R(x,y)，采用最近邻域插值算法将SSIM(x,y)放大到与原图像大小相同。

3.如权利要求1所述的基于中央偏移的立体图像质量评价方法，其特征是，最近邻域插值算法是目标像素点处的灰度值是，由该像素点周围距离该像素点最近的像素点的灰度值决定的，而其它所有的像素点对其没有影响；

(i,j)、(i,j+1)、(i+1,j)、(i+1,j+1)分别是进行插值前浮点坐标(i+a,j+b)(i,j分别表示坐标的整数部分，a,b则分别表示坐标的小数部分，且a∈[0,1)，b∈[0,1))，的四个邻域，f(i,j)、f(i,j+1)、f(i+1,j)、f(i+1,j+1)分别是对应像素点的灰度值，A、B、C、D分别表示像素点f(i,j)、f(i,j+1)、f(i+1,j)、f(i+1,j+1)所构成的区域的左上、右上、左下、右下区域，最近邻域差值算法就是确定上述四个点中距离目标像素点(i+a,j+b)最近的点，则其最近点的灰度值就是目标像素点的灰度值，最近邻域算法用以下公式表示：

$f(i+a,j+b)=\left\{\begin{array}{c}f(i,j),(a,b)\⊆A\\ f(i,j+1),(a,b)\⊆C\\ f(i+1,j),(a,b)\⊆B\\ f(i+1,j+1),(a,b)\⊆D\end{array}\right.---\left(8\right)$

最后，使用上述的最近邻域插值算法将由SSIM算法得到的失真立体图像对右视点的质量矩阵SSIM(x,y)放大到原图像大小，此时放大后的图像即为右视点的质量矩阵Q_R(x,y)。

4.如权利要求1所述的基于中央偏移的立体图像质量评价方法，其特征是，采用SSIM算法计算失真右视点的质量图Q_R(x,y)，采用公式(10)得到失真右视点的质量客观评价值Q_r，采用同样的方法得到失真左视点的质量客观评价值Q_l，最后采用公式(11)，将两者加权平均得到立体图像质量客观评价值，

$Q_r=\frac{\underset{x=1}{\overset{H}{\mathrm{\Σ}}}\underset{y=1}{\overset{W}{\mathrm{\Σ}}}{Q}_R(x,y)CB(x,y)}{\underset{x=1}{\overset{H}{\mathrm{\Σ}}}\underset{y=1}{\overset{W}{\mathrm{\Σ}}}CB(x,y)}---\left(10\right)$

具有各向异性的高斯核函数[11]模拟注意力由中央向四周扩散的中央偏移(CB)因子：

$CB(x,y)=\exp \{-(\frac{{(x-x_0)}^2}{2{\mathrm{\σ}}_h^2}+\frac{{(y-y_0)}^2}{2{\mathrm{\σ}}_v^2})\}---\left(9\right)$

其中CB(x,y)表示像素点(x,y)对中心点(x₀,y₀)的偏移信息，(x₀,y₀)表示失真右视点的中心点坐标，(x,y)为像素点坐标，σ_h和σ_v分别表示图像水平方向和垂直方向的标准差，取σ_h＝1/3W,σ_v＝1/3H，其中W和H表示图像的水平像素和垂直像素个数。

5.如权利要求1所述的基于中央偏移的立体图像质量评价方法，其特征是，立体图像质量客观评价值：分别得到左视图和右视图的图像质量客观评价值Q_r和Q_l，然后通过加权计算可以得到立体图像质量客观评价值：

Q＝0.5×Q_L+0.5×Q_R (11)。