CN101950362B - 一种视频信号的关注度分析系统 - Google Patents

Abstract

本发明涉及计算机视觉技术领域，尤其涉及视频信号的关注度分析系统。本发明包括基于多参考帧的关注度特征提取模块，和基于空域连续性的关注度图计算模块。其中，基于多参考帧的关注度特征提取模块进一步包括：亮度特征提取子模块、颜色特征提取子模块、方向特征提取子模块、基于多参考帧的运动特征提取子模块、闪烁特征提取子模块；基于空域连续性的关注度图计算模块进一步包括：空域关注度子图计算子模块、运动关注度子图计算子模块、基于空域连续性的运动关注度子图增强子模块、闪烁关注度子图计算子模块、关注度子图合并子模块。本发明力求在不明显增加计算复杂度的情况下，大幅提升关注区域提取的准确率。

Description

一种视频信号的关注度分析系统

技术领域

本发明涉及计算机视觉技术领域，尤其涉及视频信号的关注度分析系统。

背景技术

视觉关注度模型通过模拟人眼对场景图像的感知机理，找到图像/视频中人眼感兴趣的区域，目前其已广泛的应用于人眼关注点搜索、图像分割、图像压缩、图像自适应剪切、视频对象跟踪、视频检索、视频编码、3D场景透视等领域。

1980年美国普林斯顿大学心理学教授Anne Treisman在文献1中通过对人眼视觉系统进行模拟实验得出颜色、方向和亮度是人类视觉系统最关注的特征，并在此基础上提出了特征融合的理论，它是人类视觉模型的一个重要的理论基础。1998年，Itti等人在文献2中对视觉注意中的选择和转移工作机制进行了开创性的研究，提出了可计算的视觉注意模型框架，采用特征融合的方式计算关注度图，并将关注度值大的区域作为关注区域。2003年，Itti在文献3中，结合图像关注度模型，并通过考虑前后2帧视频信号的运动特征和闪烁特征，提出视频信号的关注度模型。但是Itti模型仅用了前后2帧进行运动参数的提取，能够捕获的物体速度范围有限，当运动物体速度较慢时容易造成漏判。另外，其基于帧差法的运动特征检测，容易将活动物体的内部标识成低关注度区域，从而造成误判。

2005年，Wen-Huang Cheng在文献4中，针对Itti模型对缓慢运动处理不佳的缺点，将视频序列分段，利用中值滤波得到时间分段的关注度图，但这种方法对于运动剧烈的序列效果不好。另外，2009年Chang Liu等在文献5中，利用像素的统计模型将空域关注度和时域关注度融合，从而解决当运动物体速度较慢时容易造成漏判的问题，但是其前提条件是统计窗口必须和前景对象的大小匹配，因此在实际应用中并不具备普适性。

本发明专利申请通过利用多帧参考，对传统方法的运动特征提取进行了扩展，使得运动特征在时域上包含更多的尺度，能更精确的描述前景对象的运动信息，减少漏判的可能性。同时，该系统在关注度计算模块中，用空域关注度图对运动关注度进行了增强，解决了传统方法将活动物体的内部标识成低关注度区域的问题。实验结果表明，在关注区域提取的准确率上，该系统较传统方法有大幅提高。

文献1：Treisman，A.M.Gelade G.“A feature-integration theory of attention.”CognitivePsychology，vol.12，no.1，pp.97-136，1980.

文献2：L.Itti，C.Koch，E.Niebur.“A model of saliency-based visual attention for rapidscene analysis.″IEEE Transactions on Pattern Analysis and Machine Intelligence，vol.20，no.11，pp.1254-1259，Nov.1998.

文献3：L.Itti，N.Dhavale，F.Pighin，“Realistic avatar eye and head animation using aneurobiological model of visual attention.”In Proceedings of SPIE 48th Annual InternationalSymposium on Optical Science and Technology，vol.5200，pp.64-78August，2003.

文献4：W.H.Cheng，W.T.Chu，J.L.Wu.“A visual attention based region-of-interestdetermination framework for video sequences.”IEICE Transaction on Information and Systems，vol.88，no.7，pp.1578-1586，2005.

文献5：Chang Liu，PongC.Yuen，Guoping Qiu，“Object motion detection using informationtheoretic spatio-temporal saliency，”Pattern Recognition，vol.42，issue 11，pp.2897-2906，2009.

发明内容

针对上述存在的技术问题，本发明的目的是提供一种视频信号的关注度分析系统，找到视频中人眼感兴趣的区域，从而为后续的视频处理奠定基础。

为达到上述目的，本发明采用如下的技术方案：

一种视频信号的关注度分析系统，包括：

-基于多参考帧的关注度特征提取模块，该模块进一步包括：

亮度特征提取子模块，用于提取当前视频帧不同尺度的亮度特征集合；

颜色特征提取子模块，用于提取当前视频帧不同尺度的颜色特征集合；

方向特征提取子模块，用于提取当前视频帧不同方向上的不同尺度的方向特征集合；

基于多参考帧的运动特征提取子模块，用于提取当前视频帧不同方向上的不同尺度的运动特征集合；

闪烁特征提取子模块，用于提取当前视频帧和前一帧图像间的不同尺度的闪烁特征；

-基于空域连续性的关注度图计算模块，该模块进一步包括：

空域关注度子图计算子模块，用于利用亮度、颜色和方向通道的特征集合计算各自通道的关注度子图，并生成空域关注度子图；

运动关注度子图计算子模块，用于利用当前帧的运动特征集合计算初步的运动关注度子图；

基于空域连续性的运动关注度子图增强子模块，用于利用已生成的空域关注度子图对运动关注度子图进行修正，得到最终的运动关注度子图；

闪烁关注度子图计算子模块，用于利用闪烁特征生成闪烁关注度子图；

关注度子图合并子模块，用于将空域、运动和闪烁关注度子图合并，生成最终的关注度图。

所述亮度特征提取子模块，通过下述公式获得：

设Lev是图像高斯金字塔的分解层数，其取值是由用户自己设定的正整数，另设r(σ)，g(σ)，b(σ)分别为图像高斯金字塔中第σ层的红、绿、蓝三个分量，由下式求得亮度特征I(σ)，形成Lev层特征子图：

I(σ)＝(r(σ)+g(σ)+b(σ))/3

其中，σ为正整数，且σ∈[1，Lev]。

所述颜色特征提取子模块，通过下述公式获得：

设r(σ)，g(σ)，b(σ)分别为图像高斯金字塔中第σ层的红、绿、蓝三个分量，图像高斯金字塔中第σ层的红、绿、蓝，黄四个基色R(σ)，G(σ)，B(σ)，Y(σ)通过下述公式获得：

$R\left(\mathrm{\σ}\right)=(r\left(\mathrm{\σ}\right)-\frac{g\left(\mathrm{\σ}\right)+b\left(\mathrm{\σ}\right)}{2})$

$G\left(\mathrm{\σ}\right)=(g\left(\mathrm{\σ}\right)-\frac{r\left(\mathrm{\σ}\right)+b\left(\mathrm{\σ}\right)}{2})$

$B\left(\mathrm{\σ}\right)=(b\left(\mathrm{\σ}\right)-\frac{r\left(\mathrm{\σ}\right)+g\left(\mathrm{\σ}\right)}{2})$

$Y\left(\mathrm{\σ}\right)=\frac{r\left(\mathrm{\σ}\right)+g\left(\mathrm{\σ}\right)}{2}-\frac{|r\left(\mathrm{\σ}\right)-g\left(\mathrm{\σ}\right)|}{2}-b\left(\mathrm{\σ}\right)$

与红绿色对应的RG(σ)、与蓝黄色对应的BY(σ)通过下述公式获得：

RG(σ)＝(R(σ)-G(σ))

BY(σ)＝(B(σ)-Y(σ))。

所述方向特征提取子模块中方向特征O(σ，θ)是对亮度特征I(σ)上用方向θ的Gabor函数滤波得到的Gabor金字塔，其中，θ是Gabor函数的方向参数，由用户自行选择。

所述闪烁特征提取子模块中，闪烁特征值F_i(σ)由当前帧的亮度特征I_i(σ)和前一帧的亮度特征I_i-1(σ)对应位置像素点的强度值相减得到：

F_i(σ)＝|I_i(σ)-I_i-1(σ)|

其中，设当前帧为第i帧，前一帧为第i-1帧。

所述基于多参考帧的运动特征提取子模块中，每个时空域尺度上运动特征R_n(σ，θ，p)由下式求出：

R_i(σ，θ，p)＝|I_i(σ，θ)*S_p(σ，θ)-I_p(σ，θ)*S_i(σ，θ)|

其中，I_i(σ，θ)是当前帧的亮度特征I在尺度σ上用方向θ的Gabor函数滤波的特征图，S_i(σ，θ)是I_i(σ，θ)在方向θ上的偏移，i为当前帧的帧号，p为参考帧的帧号；

设有n帧参考帧，则p＝i-2^n-1，当参考帧并非当前帧的前一帧时，即P不等于i-1时，σ不再从1～Lev进行遍历，而仅用σ＝1的图像求R_n(σ，θ，p)。

基于空域连续性的运动关注度子图增强子模块，通过以下子步骤实现：

①得到当前帧的空域关注度图SM_spatial

SM_spatial＝w₁*SM_I+w₂*SM_C+w₃*SM_O

其中，w₁、w₂和w₃是加权系数，SM_I为亮度关注度子图，SM_C为颜色关注度子图，SM_O为方向关注度子图；

②根据一定的阈值T₁，将运动关注度高的点标明出来，设某一高运动关注度值的点为n_i，其中i为当前点在关注度图中的序号，则高运动关注度值的点集为{n_i}；根据一定的阈值T₂，将空域关注度高的点标明出来，设某一高空域关注度值的点为m_i，则此高空域关注度值的点集为{m_i}；

③设运动的前景物体的点集为{q_i}，则{q_i}＝{n_i}∩{m_i}，并设置

$\left\{\begin{array}{cc}f\left(t\right)=1,& t\∈\left\{q_i\right\}\\ f\left(t\right)=0,& t\∉\left\{q_i\right\}\end{array}\right.$

其中，f(t)是一个二值函数，t为关注度子图中的每个点。

④针对运动的前景物体的每一个点q_i，设其邻域为L，其取值由用户自己设置。在其邻域进行搜索，将属于同一前景物体的点设为关注点：

$\left\{\begin{array}{cc}f\left(p\right)=0,p\&Element;L_{q_i}& \mathrm{if\; p}\&NotElement;\left\{n_i\right\}\&cap;\left\{m_i\right\}\mathrm{and}|{\mathrm{SM}}_{\mathrm{spatial}}\left(p\right)-{\mathrm{SM}}_{\mathrm{spatial}}\left(q_i\right)|\&GreaterEqual;\mathrm{threshold}\\ f\left(p\right)=1,p\&Element;L_{q_i}& \mathrm{if\; p}\&Element;\left\{n_i\right\}\&cap;\left\{m_i\right\}\mathrm{or}|{\mathrm{SM}}_{\mathrm{spatial}}\left(p\right)-{\mathrm{SM}}_{\mathrm{spatial}}\left(q_i\right)|<\mathrm{threshold}\end{array}\right.$

其中p为q_i邻域L中的每一个点，threshold是用户自己设置的阈值。

⑤得到关注度点的集合{u_i}，则{u_i}＝{t|f(t)＝1}；

⑥然后得到运动关注点集{TS_i}，{TS_i}＝{u_i}∪{n_i}；

⑦将{TS_i}-{n_i}中的点的关注度值设置为{n_i}中关注度的平均值，由此得到增强后的运动关注度图SM_TM。

所述关注度子图合并子模块，通过下述公式获得：

SM＝λ₁*SM_spatial+λ₂*SM_TM+λ₃*SM_F

其中，λ₁、λ₂和λ₃是加权系数，SM当前帧的关注度图，SM_F为闪烁关注度子图。

本发明具有以下优点和积极效果：

1)对传统方法的运动特征提取进行了扩展，使得运动特征在时域上包含更多的尺度，能更精确的描述前景对象的运动信息，减少漏判的可能性。同时，该系统在关注度计算模块中，用空域关注度图对运动关注度进行了增强，解决了传统方法将活动物体的内部标识成低关注度区域的问题。实验结果表明，和Itti的模型相比，其度量关注区域提取准确率的指标ROC分数(Receive Operating Characteristic Score，即ROC曲线下面积，满分为1)从0.785提升到0.954。

2)复杂度没有明显增加，本发明没有增加任何高复杂度的计算模块，复杂度与传统方法相当。

附图说明

图1是本发明视频信号的关注度分析系统的结构图。

图2是本发明的面向视频信号的关注度计算框图。

图3是本发明的关注度对比实验示意图。

其中，1-基于多参考帧的关注度特征提取模块，2-基于空域连续性的关注度图计算模块，11-亮度特征提取子模块，12-颜色特征提取子模块，13-方向特征提取子模块，14-基于多参考帧的运动特征提取子模块，15-闪烁特征提取子模块，21-空域关注度子图计算子模块，22-运动关注度子图计算子模块，23-基于空域连续性的运动关注度子图增强子模块，24-闪烁关注度子图计算子模块，25-关注度子图合并子模块，3-原始序列，4-关注度图序列。

具体实施方式

下面以具体实施例结合附图对本发明作进一步说明：

本发明提供的视频信号的关注度分析系统，具体采用如下技术方案，参见图1，包括以下组成部分：

①基于多参考帧的关注度特征提取模块1，该模块主要用于提取视频信号的多个视觉通道的特征参数，该模块进一步包括亮度特征提取子模块11、颜色特征提取子模块12、方向特征提取子模块13、基于多参考帧的运动特征提取子模块14、以及闪烁特征提取子模块15；

其中，亮度特征提取子模块11，用于提取当前视频帧不同尺度的亮度特征集合；

颜色特征提取子模块12，用于提取当前视频帧不同尺度的颜色特征集合；

方向特征提取子模块13，用于提取当前视频帧不同方向上的不同尺度的方向特征集合；

基于多参考帧的运动特征提取子模块14，用于提取当前视频帧不同方向上的不同尺度的运动特征集合；

闪烁特征提取子模块15，用于提取当前视频帧和前一帧图像间的不同尺度的闪烁特征；

②基于空域连续性的关注度图计算模块2，该模块用于各个视觉通道的关注度子图，并合并成最终的关注度图，该模块进一步包括空域关注度子图计算子模块21、运动关注度子图计算子模块22、基于空域连续性的运动关注度子图增强子模块23、闪烁关注度子图计算子模块24、以及关注度子图合并子模块25；

其中，空域关注度子图计算子模块21，用于利用亮度、颜色和方向通道的特征集合计算各自通道的关注度子图，并生成空域关注度子图；

运动关注度子图计算子模块22，用于利用当前帧的运动特征集合计算初步的运动关注度子图；

基于空域连续性的运动关注度子图增强子模块23，用于利用已生成的空域关注度子图对运动关注度子图进行修正，得到最终的运动关注度子图；

闪烁关注度子图计算子模块24，用于利用闪烁特征生成闪烁关注度子图；

关注度子图合并子模块25，用于将空域、运动和闪烁关注度子图合并，生成最终的关注度图；

本系统输入端输入原始序列3，输入端输出关注度图序列4。

下面进一步详细描述本发明所示系统的子模块的实施过程。通过对结合附图的实施例的详细描述，本发明的优点和特征，及其实现方法对本领域技术人员来讲更加清楚。

1、基于多参考帧的关注度特征提取模块

首先，提取当前帧及相邻的多帧先前帧图像，把当前帧图像和前一帧图像表示为2层的高斯金字塔。两层分别是用5x5的高斯滤波器对输入图像进行滤波和采样形成的，大小为输入图像的1/4和1/16。

亮度特征提取，设r(σ)，g(σ)，b(σ)分别为图像高斯金字塔中第σ层的红、绿、蓝三个分量。可由下式求得亮度特征I(σ)，形成2层特征子图。

I(σ)＝(r(σ)+g(σ)+b(σ))/3

其中，σ取1或2。

色度特征提取：设r(σ)，g(σ)，b(σ)分别为图像高斯金字塔中第σ层的红、绿、蓝三个分量，图像高斯金字塔中第σ层的红、绿、蓝，黄四个基色R(σ)，G(σ)，B(σ)，Y(σ)通过下述公式获得：

$R\left(\mathrm{\&sigma;}\right)=(r\left(\mathrm{\&sigma;}\right)-\frac{g\left(\mathrm{\&sigma;}\right)+b\left(\mathrm{\&sigma;}\right)}{2})$

$G\left(\mathrm{\&sigma;}\right)=(g\left(\mathrm{\&sigma;}\right)-\frac{r\left(\mathrm{\&sigma;}\right)+b\left(\mathrm{\&sigma;}\right)}{2})$

$B\left(\mathrm{\&sigma;}\right)=(b\left(\mathrm{\&sigma;}\right)-\frac{r\left(\mathrm{\&sigma;}\right)+g\left(\mathrm{\&sigma;}\right)}{2})$

$Y\left(\mathrm{\&sigma;}\right)=\frac{r\left(\mathrm{\&sigma;}\right)+g\left(\mathrm{\&sigma;}\right)}{2}-\frac{|r\left(\mathrm{\&sigma;}\right)-g\left(\mathrm{\&sigma;}\right)|}{2}-b\left(\mathrm{\&sigma;}\right)$

则与红绿色对应的RG(σ)、与蓝黄色对应的BY(σ)通过下述公式获得：

RG(σ)＝(R(σ)-G(σ))

BY(σ)＝(B(σ)-Y(σ))

方向特征提取，方向特征O(σ，θ)是对亮度特征I(σ)上用方向θ的Gabor函数滤波得到的Gabor金字塔。其中，θ∈{0°，45°，90°，135°}，Gabor变换属于加窗傅立叶变换，Gabor函数可以在频域不同尺度、不同方向上提取相关的特征，乃本领域公知的技术。

闪烁特征值由当前帧(设为第i帧)的亮度特征和前一帧(设为第i-1帧)的亮度特征对应位置像素点的强度值相减得到：

F_i(σ)＝|I_i(σ)-I_i-1(σ)|

运动特征提取，运动特征计算由多个参考帧求出，使得运动特征在时域上包含更多的尺度，能更精确的描述前景对象的运动信息，减少漏判的可能性。每个时空域尺度上运动特征R_n(σ，θ，p)由下式求出：

R_i(σ，θ，p)＝|I_i(σ，θ)*S_p(σ，θ)-I_p(σ，θ)*S_i(σ，θ)|

其中，I_i(σ，θ)是当前帧的亮度特征I在尺度σ上用方向θ的Gabor函数滤波的特征图，S_i(σ，θ)是I_i(σ，θ)在方向θ上的偏移。i为当前帧的帧号，p为参考帧的序号，设有n帧参考帧，则

p＝i-2^n-1

当参考帧并非当前帧的前一帧时，即p不等于i-1时，σ不再从1～2进行遍历，而仅用σ＝1的图像求R_n(σ，θ，p)。例如，不妨假设设有3个参考帧，则P等于i-1，i-2和i-4，相较于传统方法增加了R_n(1，θ，i-2)和R_n(1，θ，i-4)两个尺度。设传统算法所捕获的最小运动速度为V_min，则本方法增加了最小捕获速度为V_min/2和最小捕获速度为V_min/4两个运动捕获的档次，增加了运动特征提取的范围和准确性。

将所有的特征子图计算完毕后，将所有的特征子图缩放到同一尺寸，本实例的尺寸为40×30。最终，假设有3个参考帧，则经过特征提取后得到了2个亮度特征子图，4个颜色特征子图，8个方向特征子图，16个运动特征子图和2个方向特征子图。

2、基于空域连续性的关注度图计算模块

1)根据特征子图求解各个通道的关注度图

在得到各个通道的特征集合后，本发明利用文献6(J.Harel，C.Koch，and P.Perona，“graph-based visual saliency，”in Advances in Neural Information Processing Systems 19，Cambridge，MA：MIT Press，2007)中的关注度子图生成方法生成各个通道的关注度子图。

对于某个通道的特征子图AL，首先根据其特征子图，求得其对应的马尔可夫链的概率转移矩阵。

MM(i-＞j)＝w*|AL(i)-AL(j)|

其中，w是定义的加权系数，i，j之间的距离越远，则w越小，反之亦然，可定义为

w(i，j)＝K*exp(-((x_i-x_j)²+(y_i-y_j)²)/λ²)

其中，x_i和y_i为点i的坐标，K和λ为常数。

设特征子图的尺寸是M×N，则MM的尺寸是MN×MN。

在得到马尔可夫链的概率转移矩阵后，求解当马尔可夫链的达到平衡分布时其每个结点的状态。此状态即为特征子图AL所生成的关注度子图中该点的关注度值。而求解此状态等价于求解MM矩阵的特征值为1的特征向量。

对于亮度、颜色、方向、运动和闪烁五个通道而言，每个通道均有多个特征子图所生成的关注度子图。将每个通道的特征子图标准化后平均，即得到此通道的特征子图。

其标准化方法如下：

首先，将各图中各点的值标准化到一个固定的区间[0，M]中。

其次，找到图中全局最大值M，然后计算其他局部极大值的平均值m。

最后，图中所有的点的值乘(M-m)²。

由此，即得到亮度关注度子图SM_I，颜色关注度子图SM_C，方向关注度子图SM_O，运动特征子图SM_M和闪烁特征子图SM_F。

2)利用空域关注度图来修正运动关注度图

其步骤如下：

步骤1：得到当前帧的空域关注度图SM_spatial

SM_spatial＝w₁*SM_I+w₂*SM_C+w₃*SM_O

其中，w₁、w₂和w₃是加权系数。

步骤2：根据一定的阈值T₁，将运动关注度高的点标明出来，设某一高运动关注度值的点为n_i，其中i为当前点在关注度图中的序号，则高运动关注度值的点集为{n_i}；根据一定的阈值T₂，将空域关注度高的点标明出来，设某一高空域关注度值的点为m_i，则此高空域关注度值的点集为{m_i}；

步骤3：设运动的前景物体的点集为{q_i}，则{q_i}＝{n_i}∩{m_i}，并设置

$\left\{\begin{array}{cc}f\left(t\right)=1,& t\&Element;\left\{q_i\right\}\\ f\left(t\right)=0,& t\&NotElement;\left\{q_i\right\}\end{array}\right.$

其中，f(t)是一个二值函数，t为关注度子图中的每个点。

步骤4：针对运动的前景物体的每一个点q_i，设其邻域为L，其取值由用户自己设置。

在其邻域进行搜索，将属于同一前景物体的点设为关注点：

$\left\{\begin{array}{cc}f\left(p\right)=0,p\&Element;L_{q_i}& \mathrm{if\; p}\&NotElement;\left\{n_i\right\}\&cap;\left\{m_i\right\}\mathrm{and}|{\mathrm{SM}}_{\mathrm{spatial}}\left(p\right)-{\mathrm{SM}}_{\mathrm{spatial}}\left(q_i\right)|\&GreaterEqual;\mathrm{threshold}\\ f\left(p\right)=1,p\&Element;L_{q_i}& \mathrm{if\; p}\&Element;\left\{n_i\right\}\&cap;\left\{m_i\right\}\mathrm{or}|{\mathrm{SM}}_{\mathrm{spatial}}\left(p\right)-{\mathrm{SM}}_{\mathrm{spatial}}\left(q_i\right)|<\mathrm{threshold}\end{array}\right.$

其中p为q_i邻域L中的每一个点，threshold是用户自己设置的阈值。

步骤5：得到关注度点的集合{u_i}，则{u_i}＝{t|f(t)＝1}；

步骤6：然后得到运动关注点集{TS_i}，{TS_i}＝{u_i}∪{n_i}

步骤7：将{TS_i}-{n_i}中的点的关注度值设置为{n_i}中关注度的平均值，由此得到增强后的运动关注度图SM_TM。

3)将得到空域关注度、运动关注度及闪烁关注度进行加权合并，得到关注度图。

SM＝λ₁*SM_spatial+λ₂*SM_TM+λ₃*SM_F

其中，λ₁、λ₂和λ₃是加权系数。

图2是本发明的计算框图。通过此图可以看出，当视频码流进入本系统时，首先在不同的特征空间上进行特征提取，然后由亮度、颜色、方向3个特征通道得到空域关注度子图，并以之优化运动关注度子图，最终将增强后的运动关注度子图、空域关注度子图和闪烁关注度子图合并，得到最终的关注度图。

本发明对传统方法的运动特征提取进行了扩展，使得运动特征在时域上包含更多的尺度，能更精确的描述前景对象的运动信息，减少漏判的可能性。同时，该系统在关注度计算模块中，用空域关注度图对运动关注度进行了增强，解决了传统方法将活动物体的内部标识成低关注度区域的问题。实验结果表明，和Itti的模型相比，其度量关注区域提取准确率的指标ROC分数(Receive Operating Characteristic Score，即ROC曲线下面积，满分为1)从0.785提升到0.954。如图3所示显示了本发明的实验结果。

本发明以CAVIAR(http://homepages.inf.ed.ac.uk/rbf/CAVIAR)中的ThreePastShoplcor序列的第41～50帧为例，测试了Itti算法和本发明的性能，可见本发明的ROC分数远远高于Itti的算法，并接近满分。

以上实施例仅供说明本发明之用，而非对本发明的限制，有关技术领域的技术人员，在不脱离本发明的精神和范围的情况下，还可以作出各种变换或变型，因此所有等同的技术方案，都落入本发明的保护范围。

Claims (6)

1.一种视频信号的关注度分析系统，其特征在于，包括：

–基于多参考帧的关注度特征提取模块，该模块进一步包括：

亮度特征提取子模块，用于提取当前帧不同尺度的亮度特征集合；

颜色特征提取子模块，用于提取当前帧不同尺度的颜色特征集合；

方向特征提取子模块，用于提取当前帧不同方向上的不同尺度的方向特征集合；

基于多参考帧的运动特征提取子模块，用于提取当前帧不同方向上的不同尺度的运动特征集合；所述基于多参考帧的运动特征提取子模块中，每个时空域尺度上运动特征R_i(σ,θ，v)由下式求出：

R_i(σ,θ，v)=|I_i(σ,θ)*S_v(σ,θ)-I_v(σ,θ)*S_i(σ,θ)|

其中，I_i(σ,θ)是当前帧的亮度特征I在尺度σ上用方向θ的Gabor函数滤波的特征图，S_i(σ,θ)是I_i(σ,θ)在方向θ上的偏移，i为当前帧的帧号，v为参考帧的帧号；

设有k帧参考帧，则v＝i-2^k-1，当参考帧并非当前帧的前一帧时，即v不等于i-1时，σ不再从1～Lev进行遍历，而仅用σ＝1的图像求R_i(σ,θ，v)，Lev是图像高斯金字塔的分解层数；

闪烁特征提取子模块，用于提取当前帧和前一帧间的不同尺度的闪烁特征；

–基于空域连续性的关注度图计算模块，该模块进一步包括：

空域关注度子图计算子模块，用于利用亮度特征集合、颜色特征集合和方向特征集合计算相应的亮度关注度子图、颜色关注度子图和方向关注度子图，并生成空域关注度子图SM_spatial；

SM_spatial=w₁*SM_I+w₂*SM_C+w₃*SM_O

其中，w₁、w₂和w₃是加权系数，SM_I为亮度关注度子图，SM_C为颜色关注度子图，SM_O为方向关注度子图；

运动关注度子图计算子模块，用于利用当前帧的运动特征集合计算初始的运动关注度子图；

基于空域连续性的运动关注度子图增强子模块，用于利用已生成的空域关注度子图对运动关注度子图进行修正，得到最终的运动关注度子图；具体实现流程包括以下子步骤：

①根据一定的阈值T₁，将运动关注度高的点标明出来，设高运动关注度值的点集为{n}；根据一定的阈值T₂，将空域关注度高的点标明出来，设高空域关注度值的点集为{m}；

②设运动的前景物体的点集为{q}，即{q}={n}⌒{m}，并设置

$\left\{\begin{array}{cc}f\left(t\right)=1,& t\&Element;\left\{q\right\}\\ f\left(t\right)=0,& t\&NotElement;\left\{q\right\}\end{array}\right.$

其中，f(t)是一个二值函数，t为初始的运动关注度子图中的每个点；

③针对运动的前景物体的每一个点q，设其邻域为L，L取值由用户自己设置；在其邻域进行搜索，将属于同一前景物体的点设为关注点：

$\left\{\begin{array}{ccc}f\left(p\right)=0& p\&Element;L_q& \mathrm{if\; p}\&NotElement;\left\{n\right\}\&cap;\left\{m\right\}\mathrm{and}|{\mathrm{SM}}_{\mathrm{spatial}}\left(p\right)-{\mathrm{SM}}_{\mathrm{spatial}}\left(q\right)|\&GreaterEqual;\mathrm{threshold}\\ f\left(p\right)=1& p\&Element;L_q& \mathrm{if\; p}\&Element;\left\{n\right\}\&cap;\left\{m\right\}\mathrm{or}|{\mathrm{SM}}_{\mathrm{spatial}}\left(p\right)-{\mathrm{SM}}_{\mathrm{spatial}}\left(q\right)|<\mathrm{threshold}\end{array}\right.$

其中p为q邻域L中的每一个点，threshold是用户自己设置的阈值；

④得到关注度点的集合{u}，即{u}={t|f(t)=1}；

⑤然后得到运动关注点集{TS}，{TS}={u}∪{n}；

⑥将{TS}-{n}中的点的运动关注度值设置为{n}中运动关注度的平均值，由此得到增强后所得最终的运动关注度图SM_TM；

闪烁关注度子图计算子模块，用于利用闪烁特征生成闪烁关注度子图；

关注度子图合并子模块，用于将空域关注度子图、最终的运动关注度子图和闪烁关注度子图合并，生成最终的关注度图。

2.根据权利要求1所述的视频信号的关注度分析系统，其特征在于，所述亮度特征提取子模块，通过执行下述公式获得当前帧不同尺度的亮度特征集合：

设Lev是当前帧或前一帧分解成图像高斯金字塔的分解层数，其取值是由用户自己设定的正整数，另设r(σ)，g(σ)，b(σ)分别为当前帧的图像高斯金字塔中第σ层的红、绿、蓝三个分量，由下式求得亮度特征I(σ)，形成Lev层特征子图：

I(σ)=(r(σ)+g(σ)+b(σ))/3

其中，σ为正整数，且σ∈[1,Lev]。

3.根据权利要求2所述的视频信号的关注度分析系统，其特征在于，所述颜色特征提取子模块，通过执行下述公式获得当前帧不同尺度的颜色特征集合：

设r(σ)，g(σ)，b(σ)分别为图像高斯金字塔中第σ层的红、绿、蓝三个分量，图像高斯金字塔中第σ层的红、绿、蓝，黄四个基色R(σ)，G(σ)，B(σ)，Y(σ)通过下述公式获得：

$R\left(\mathrm{\&sigma;}\right)=(r\left(\mathrm{\&sigma;}\right)-\frac{g\left(\mathrm{\&sigma;}\right)+b\left(\mathrm{\&sigma;}\right)}{2})$

$G\left(\mathrm{\&sigma;}\right)=(g\left(\mathrm{\&sigma;}\right)-\frac{r\left(\mathrm{\&sigma;}\right)+b\left(\mathrm{\&sigma;}\right)}{2})$

$B\left(\mathrm{\&sigma;}\right)=(b\left(\mathrm{\&sigma;}\right)-\frac{r\left(\mathrm{\&sigma;}\right)+g\left(\mathrm{\&sigma;}\right)}{2})$

$Y\left(\mathrm{\&sigma;}\right)=\frac{r\left(\mathrm{\&sigma;}\right)+g\left(\mathrm{\&sigma;}\right)}{2}-\frac{|r\left(\mathrm{\&sigma;}\right)-g\left(\mathrm{\&sigma;}\right)|}{2}-b\left(\mathrm{\&sigma;}\right)$

与红绿色对应的颜色特征RG(σ)、与蓝黄色对应的颜色特征BY(σ)通过下述公式获得：

RG(σ)=(R(σ)-G(σ))

BY(σ)=(B(σ)-Y(σ))。

4.根据权利要求3所述的视频信号的关注度分析系统，其特征在于，所述方向特征提取子模块中方向特征O(σ,θ)是对亮度特征I(σ)上用方向θ的Gabor函数滤波得到的Gabor金字塔，其中，θ是Gabor函数的方向参数，由用户自行选择。

5.根据权利要求2或3或4所述的视频信号的关注度分析系统，其特征在于，所述闪烁特征提取子模块中，闪烁特征值F_i(σ)由当前帧的亮度特征I_i(σ)和前一帧的亮度特征I_i-1(σ)对应位置像素点的强度值相减得到：

F_i(σ)=|I_i(σ)-I_i-1(σ)|

其中，设当前帧为第i帧，前一帧为第i-1帧。

6.根据权利要求1所述的视频信号的关注度分析系统，其特征在于，所述关注度子图合并子模块，通过执行下述公式获得最终的关注度图：

SM=λ₁*SM_spatial+λ₂*SM_TM+λ₃*SM_F

其中，λ₁、λ₂和λ₃是加权系数，SM为当前帧的关注度图，SM_F为闪烁关注度子图，SM_spatial为空域关注度子图，SM_TM为最终的运动关注度子图。

Images