CN103945228B - 基于时空关联性的视频帧内copy‑move篡改检测方法 - Google Patents

Abstract

本发明提供了一种基于时空关联性的视频帧内copy‑move篡改检测方法，其首先根据图像高斯金字塔的建立方法对视频帧进行降尺度处理，再利用监控视频内容的时间关联性和空间关联性分别自适应的设定时间阈值及峰值阈值，之后利用相位相关和基于块匹配的检测方法筛选出可能存在帧内copy‑move篡改的可疑帧对，并计算出描述篡改区域位置的二值图。最后利用时间阈值对可疑帧分组进行最终判决。本发明比同类算法在运算时间上有较大的减少，并增强了算法对于高斯噪声的鲁棒性。在利用二值图描述篡改区域时，加入形态学滤波的操作能够在一定程度上消除误判点与噪声点带来的干扰，提高检测的准确率。

Description

基于时空关联性的视频帧内copy-move篡改检测方法

技术领域

本发明属于视频篡改检测领域，具体涉及一种基于时空关联性的视频帧内copy-move篡改检测方法。

背景技术

随着信息技术的迅速发展，数字视频在众多领域获得广泛应用。日渐普及的高质量数码摄像设备，功能强大的视频编辑软件以及大量兴起的视频共享网站使获取数字视频，并对其进行恶意篡改变得越来越容易。在司法取证中，恶意篡改使得数字视频的真实性和完整性难以得到保证。如何准确地判断一段数字视频是否存在恶意篡改，已经成为信息安全领域一个重要的研究课题。

目前，典型的视频篡改按照操作对象可分为帧内篡改和帧间篡改。视频帧内copy-move篡改是将某段视频序列中的运动前景进行复制，并粘贴到同一视频的其他不交叠的某段视频序列中，以达到改变视频原意的目的，属于帧内篡改的一种。数字视频篡改检测方法可以分为主动检测和被动检测两种。早期的视频篡改检测多为主动检测的方式，这类方法依赖于对视频的预处理。视频篡改被动检测算法则仅仅依靠数字视频自身的统计特征，如量化噪声，纹理特征，运动矢量相关性等来判断视频是否被恶意篡改。由于无需预先对视频进行处理，相比之下被动检测方法实用性更强。

经过对现有技术的检索发现，中国专利文献号CN101707711A，公开日为2010.05.12，记载了一种“基于压缩域的视频序列copy-move篡改检测方法”，该方法利用了视频GOP的内容相似度和运动相似度作为判决特征以检测视频序列是否存在copy-move篡改。该方法的一大缺点是只能针对帧间篡改进行检测，而对帧内copy-move篡改没有检测能力。这使得一种鲁棒而有效的帧内copy-move篡改检测方法亟待被提出。现有的针对帧内篡改的算法，主要检测通过相同背景覆盖前景区域这样的篡改，而针对帧内copy-move篡改的检测算法，经过对现有文献的检索发现仅有W.Wang提出过，其方法是利用相位相关检测两两帧间是否存在可疑的相似区域，经过初选后对可疑的两帧再利用空间域的相似性确定相似面积，最终计算面积的大小判定是否存在帧内copy-move篡改，但是该方法计算量极高，固定阈值适用性差且由于判决模式有一定局限性导致虚警率较高。

发明内容

针对现有技术中的缺陷，本发明提出了一种基于时空关联性的视频帧内copy-move篡改检测方法。该方法首先利用高斯金字塔的建立方法对视频帧进行降尺度处理，再利用监控视频内容的时间关联性和空间关联性自适应的设定阈值，最后利用相位相关和基于块匹配的检测方法来判定视频两两帧间是否存在帧内copy-move篡改，最后利用时间阈值对可疑帧分组再进行最终判决。

根据本发明提供的一种基于时空关联性的视频帧内copy-move篡改检测方法，具体步骤包括：

第一步：读入待检测的视频以及参考视频，将待检测的视频以及参考视频分别解码为视频帧并且将每个视频帧转换为灰度图，以分别形成待测视频帧序列S_d(i,j,t)以及参考视频帧序列S_r(i,j,t)，1≤i≤M,1≤j≤N,1≤t≤L，其中，i为像素点行坐标，j为像素点列坐标，t为视频帧的时间下标，M为图像每行包含的像素点个数，N为图像每列包含的像素点个数，L为视频总帧数；

第二步：对待测视频帧序列S_d(i,j,t)以及参考视频帧序列S_r(i,j,t)分别按照建立高斯金字塔的方式进行一次降尺度运算，得到降尺度后的新的待测视频帧序列S_{d_new}(i,j,t)以及参考视频帧序列S_{r_new}(i,j,t)，然后将序列S_{d_new}(i,j,t)和S_{r_new}(i,j,t)分别利用背景减除法获得除去时间冗余后的视频序列S_{d_re}(i,j,t)以及S_{r_re}(i,j,t)；并且除去时间冗余后的参考视频帧序列是由包含运动前景的多个视频子序列组成的，其中，所述时间冗余，是指不包含运动前景的背景帧；

第三步：对视频序列S_{r_re}(i,j,t)，通过自适应阈值设定算法，得到时间阈值T_threshold和相位相关峰值阈值P_threshold；

第四步：利用所述相位相关峰值阈值P_threshold，首先对视频序列S_{d_re}(i,j,t)计算两两帧间的相位相关峰值，对峰值进行判决，且要求所选的两帧其时间下标之差的绝对值大于时间阈值T_threshold；如果峰值超过相位相关峰值阈值P_threshold，则提取相对位移，若相对位移大于设定阈值，则利用该相对位移进行两可疑帧间的块级匹配，否则该两帧不存在复制关系；其中，设定阈值是指，m/12，m为视频帧每行像素点总数；

第五步：通过块级匹配得到标记有两帧之间复制区域位置的二值图，对该二值图进行先膨胀再腐蚀的形态学滤波，计算滤波后二值图中最大连通区域的面积，将该面积与设定的面积阈值进行比较，若大于阈值则确定该两帧间存在区域篡改，否则不存在；其中，所述设定的面积阈值与原图像面积成一定比例；

第六步：重复第四步、第五步直到所有时间下标关系符合要求的视频帧均经过检测，即检测完待测视频的所有帧；

第七步：利用时间阈值T_threshold，对存在复制粘贴关系的视频帧进行分组，如果分组后至少存在某一组的视频帧数超过设定阈值，则最终确定该视频序列存在帧内copy-move篡改，否则不存在。

优选地，所述第二步包括以下过程：

步骤A1：对视频帧序列中每帧S(i,j,t_k),t_k∈[1,l_new]利用高斯低通滤波模板进行空间域滤波得到平滑后的视频帧序列S_{_lowpass}(i,j,t_k)，其中，t_k为视频的时间下标，l_new为视频长度；

步骤A2：对平滑后的视频帧序列S_{_lowpass}(i,j,t_k)进行隔行隔列的降采样，使降采样之后的视频帧尺寸降为原视频帧的四分之一，这样便完成一次降尺度运算；

步骤A3：读取降尺度后的视频帧序列，利用背景减除法获取视频帧序列与背景帧的差分图像序列；

步骤A4：对差分图像序列二值化后再进行腐蚀和膨胀操作，通过二值图像非零区域的面积判定视频帧是否存在运动前景；

步骤A5：对于待测视频帧序列S_{d_new}(i,j,t)直接选取含有运动前景的视频帧组成新序列即可，而对参考视频帧序列S_{r_new}(i,j,t)还需根据标记将含有运动前景的视频帧分段形成子序列。

优选地，所述第三步包括以下过程：

步骤B1：根据分割得到的参考视频帧序列S_{r_new}(i,j,t)，统计S_{r_new}(i,j,t)各段子视频序列的长度l₁,l₂....l_N；

步骤B2：选定负指数分布作为估计模型，利用下面最大似然矩估计的值做为时间阈值：

其中，为负指数分布参数估计值，N为参考视频总长度；

步骤C1：对分割得到参考视频帧序列S_{r_new}(i,j,t)，利用背景减除法分割出前景物体，判断前景物体所占面积是否小于阈值mn/48，其中，m为视频帧每行像素点总数，n为视频帧每列像素点总数；若小于阈值则认为仅分割出数量较少的前景，则接下来执行步骤C2；

步骤C2：获得参考视频帧序列S_{r_new}(i,j,t)中每段子序列的运动前景后，分别计算N个子序列的运动前景区域的亮度平均值；

步骤C3：将所有的子序列的运动前景区域亮度平均值求出μ₁,μ₂...μ_N，在亮度平均值序列中找到最大和最小的平均亮度μ_max＝max(μ₁,μ₂...μ_N),μ_min＝min(μ₁,μ₂...μ_N)；

步骤C4：完成步骤C3后，得到两组与μ_max,μ_min取值对应的子序列，分别选定两段子序列中的某帧作为起始帧，要求该起始帧包含首次完整出现的前景；

步骤C5：将起始帧均与后续帧依次进行相位相关函数的计算，这样，分别利用起始帧与后续帧计算得到一系列的分别对应μ_max,μ_min的相位相关函数的峰值幅度求的最大值以及的最小值

为保证设定的阈值具有较高的查全率，做如下判定：

若则

若则

λ₁，λ₂为设定的参数。

优选地，所述第四步包括以下过程：

步骤D1：读入的视频序列S_{d_re}(i,j,t)中的两帧视频帧分别记为S_{d_re}(i,j,t_k)和S_{d_re}(i,j,t_l)，且|t_k-t_l|＞T_threshold，分别对S_{d_re}(i,j,t_k)和S_{d_re}(i,j,t_l)进行FFT变换为频率图S_{d_re}(u,v,t_k)和S_{d_re}(u,v,t_l)；

步骤D2：通过如下公式计算获得频率图S_{d_re}(u,v,t_k)和S_{d_re}(u,v,t_l)的相位相关图D(u,v)，具体公式为：

其中，*表示对矩阵中每个元素取共轭操作；

步骤D3：将获得的相位相关图D(u,v)进行IFFT反变换得到空域的图像d(i,j)，结合相关峰值阈值P_threshold寻找空域图像d(i,j)中是否存在大于P_threshold的峰值点，若存在，则记录最大峰值所在的坐标(Δ_x,Δ_y)，以左上点为原点，如果|Δ_x|＞m/12且|Δ_y|＞m/12，则继续进行块级匹配，否则认为读入的两帧没有相似的区域；

步骤E1：对于S_{d_re}(i,j,t_k)，将(Δ_x,Δ_y)作为位移大小，对S_{d_re}(i,j,t_k)做循环移动处理获得新图像

步骤E2：将和S_{d_re}(i,j,t_l)均划分为8×8的交叠像素块；以像素块左上角像素点的坐标表示像素块所在的位置，计算和S_{d_re}(i,j,t_l)对应位置像素块的相似度，设两像素块的亮度矩阵分别为M₁(i,j),M₂(i,j)，则利用如下公式计算相似度ρ：

其中和为两像素块亮度的平均值，计算和S_{d_re}(i,j,t_l)所有对应位置像素块的相似度，如果ρ大于设定的相似性阈值，则认为两像素块是完全相同的，并将二值图B(i,j)中对应位置处的像素值置为1；否则，将二值图对应位置处的像素值置为0；其中1≤i≤M/2,1≤j≤N/2。其中，相似性阈值取0.99。

优选地，所述第七步包括以下过程：

步骤F1：如果篡改检测算法检测出m对存在copy-move篡改的帧，首先依照帧的时间下标对m对存在copy-move篡改的帧进行顺序搜索；初始时，以时间下标的值依次进行搜索，将第一对篡改检测的时间下标分别存入两个数组中；

步骤F2：顺序查找第二对存在copy-move篡改的帧：

如果第二对存在copy-move篡改的两帧，其时间下标分别与前面两个存入数组的下标时间之差的绝对值均小于或等于α₁T_threshold，则将第二对存在copy-move篡改的帧的时间下标分别存入之前的数组中，其中，α₁为阈值调整系数；

如果第二对存在copy-move篡改的帧的两个时间下标分别与前一个存入数组的下标时间之差的绝对值大于α₁T_threshold，则新建立两个数组来存放这一对帧的时间下标；

接下来存在copy-move篡改的帧对的时间下标将与之前建立的所有的数组中存放的帧的时间下标进行比较，如果与之前所有数组中元素的时间下标绝对差值均小于等于设定阈值，则将其存入时间域最邻近的数组中；如果与之前所有数组中的元素时间下标绝对差值均大于设定阈值，则新建立两个数组来存放这一帧对的时间下标，直到对所有检测出的m对存在copy-move篡改的帧进行分组；不同数组中包含的时间下标数分别记为n_i,i＝1,2,3,...；

步骤F3：对获得的分组下标数n_i与步骤F2获得的阈值α₁T_threshold进行如下比较：

当n_i≥α₁T_threshold时，则认为该视频存在帧内copy-move篡改；

当n_i＜α₁T_threshold时，则认为该视频不存在帧内copy-move篡改。

本发明提供的一种基于时空关联性的视频帧内copy-move篡改检测方法与现有技术相比较，具有如下显而易见的实质性突出特点及显著优点：

1.该方法利用建立高斯金子塔的方法对视频序列进行了一次降尺度的预处理，这样的处理在保证准确率没有影响的前提下大幅降低运算量并且提高了算法对于加性高斯噪声的鲁棒性。

2.该方法采用自适应的阈值设定机制，会根据不同的监控视频内容特点来设置时间阈值和相位相关峰值阈值，这两个阈值是关系到检测率和准确率的关键参数，相比于原算法中固定参数的策略。该方法具有更强的灵活性以及更优的检测效果。

3.该方法在判定篡改区域面积之前，对记录篡改位置的二值图执行了形态学滤波的操作，该操作使二值图中由于噪声和误判引起的错误点得以消除提高了检测的准确性。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是视频帧内篡改被动检测算法的整体流程示意图；

图2是相位相关运算及块级匹配具体流程示意图；

图3是交叠块分割方法示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

本发明的一种基于时空关联性的视频帧内copy-move篡改检测方法，该方法主要利用高斯金字塔建立的方法对视频序列降尺度，并利用背景减除的手段去除视频中的冗余内容，此后利用相位相关函数计算可能存在区域篡改的视频帧，并对可疑的视频帧对进行块级匹配，最终分组判决视频是否存在篡改。与现有技术相比较，该方法在运算时间上有较大的减少，并增强了算法对于高斯噪声的鲁棒性。与传统固定阈值的算法相比，利用自适应算法获得的时间阈值和峰值阈值更具灵活性，对于不同类型的视频能表现出较优的性能。不仅如此，在二值图计算篡改区域面积之前加入形态学滤波的步骤能够在一定程度上去除误判点与噪声点所带来的干扰，提高检测的准确率。

视频帧内copy-move篡改是将将某段视频序列中的运动前景进行复制，并粘贴到同一视频的其他不交叠的某段视频序列中，以达到改变视频原意的目的的一种篡改手段，属于帧内篡改的一种。

本发明是通过以下技术方案实现的，先对解压后的参考视频以及待检测视频进行一次高斯金字塔的降尺度处理。利用处理后的参考视频获得自适应的时间阈值以及相位相关峰值阈值。再对处理后的待检测视频中的帧两两计算相位相关函数，若存在峰值并且其幅度大于峰值阈值则记录峰值位置并进行块级匹配，再对块级匹配后得到的二值图进行形态学滤波，统计滤波后的二值图最大非零面积，若最大非零面积大于设定的面积阈值则认为该两帧间存在帧内copy-move的篡改，并做记录，否则不存在篡改关系。对所有存在帧内copy-move篡改的帧进行分组，统计分组后每组包含的帧数，当帧数超过调整后的时间阈值时最终判定该视频存在帧内的copy-move篡改。

视频帧内篡改被动检测算法的整体流程如附图1所示。下面以分辨率为360×288，压缩格式为wmv，帧率为25fps，总帧数为520帧的待测视频序列以及总帧数大于520的参考视频进行实验。

第一步：读入待检测的视频以及参考视频，利用matlab中的mmreader将其解码为bmp格式的视频帧并利用rgb2gray将其转换为灰度图，分别形成序列S_d(i,j,t)以及S_r(i,j,t)以便进行后续处理，其中1≤i≤360,1≤j≤288,1≤t≤520，i为像素点行坐标，j为像素点列坐标，t为视频帧的时间下标；

第二步：对解码后的待测视频帧序列S_d(i,j,t)以及参考视频帧序列S_r(i,j,t)按照建立高斯金字塔的方式进行一次降尺度运算。降尺度后的新视频序列S_{d_new}(i,j,t)以及S_{r_new}(i,j,t)，其中1≤i≤180,1≤j≤144,1≤t≤520，利用背景减除法获得除去时间冗余(即完全静止的帧)后的视频序列S_{d_re}(i,j,t)以及S_{r_re}(i,j,t)，其中1≤i≤180,1≤j≤144,1≤t≤l_{_new}，显然l_{_new}≤520。并且S_{r_re}(i,j,t)是由包含运动前景的多个视频子序列S₁(x,y,t)S₂(x,y,t)...S_N(x,y,t)组成的。

所述的视频序列按照建立高斯金字塔的方式进行一次降尺度运算并利用背景减除法获得除去时间冗余的视频序列具体步骤是指：

步骤A1：对视频序列中每帧S(i,j,t_k),t_k∈[1,l_new]利用大小为3×3，标准差为1的高斯低通滤波模板h(i,j)，进行空间域滤波得到平滑后的视频帧S_{_lowpass}(i,j,t_k)＝S(i,j,t_k)*h(i,j)，其中，(*)为二维卷积运算。

步骤A2：对平滑后的视频序列进行隔行隔列的降采样，使降采样之后的视频帧尺寸降为原视频帧的四分之一，这样便完成一次降尺度运算。

步骤A3：读取平滑后待处理的视频帧，假设以t₁时刻帧作为初始的背景帧f(i,j,t₁)(可人工选定第一帧为仅含背景的视频帧)，将其与t₁时刻视频帧S(i,j,t₁)做差。得到差分图像D(i,j,t₁)＝|S(i,j,t₁)-f(i,j,t₁)|。

步骤A4：对差分图像二值化后再进行腐蚀和膨胀操作，分别选择宽度为5的圆盘模板以及宽度为8的圆盘模板进行，并统计处理后的二值图像的非零像素个数，个数超过mn/48(m为视频帧每行像素点总数，n为视频帧每列像素点总数)认为视频存在运动前景并对其做标记，反之判断为背景帧，并利用如下公式进行背景帧更新，更新公式为：

更新后的f(i,j,t₂)＝(1-α)f(i,j,t₂)+αf(i,j,t₁)

其中α为背景更新速率，f(i,j,t₂)为t₂时刻帧。

步骤A5：对于待测视频S_{d_new}(i,j,t)直接选取含有运动前景的视频帧组成新序列即可，而对参考视频S_{r_new}(i,j,t)还需根据标记做以下处理：在判断当前帧为包含前景的帧之后，查看当前帧的前一帧是否为包含前景的帧，若是包含前景的帧，则将当前帧加入前一帧所属的序列中。如果不是，则重新开始建立一段序列，并继续计算后续帧的情况。对整段视频进行上述处理，可将参考视频S_{r_new}(i,j,t)里包含运动前景的视频序列分割出来，得到包含运动前景的多个视频序列S_{r_new1}(i,j,t)S_{r_new2}(i,j,t)...S_{r_newN}(i,j,t)。

第三步：对处理后的参考视频帧序列S_{r_re}(i,j,t)，通过自适应阈值设定算法，得到时间阈值T_threshold和相位相关峰值阈值P_threshold。

所述的自适应时间阈值设定算法主要包括以下步骤：

步骤B1：根据步骤2分割得到的参考视频的视频子序列S_{r_new1}(i,j,t)S_{r_new2}(i,j,t)...S_{r_newN}(i,j,t)，统计各段子视频序列的长度l₁,l₂....l_N。

步骤B2：针对不同的视频类型选定一种概率分布模型，利用概率分布模型及之前获得的时间样本进行参数估计，并求得样本的均值，这里选定负指数分布作为估计模型，利用下面最大似然矩估计的值作为时间阈值：

其中，为负指数分布参数估计值，N为参考视频总长度；

该估计值便作为时间阈值T_threshold。在进行篡改检测时，当时间间隔大于上述阈值的帧才进行相位相关函数的计算。这是因为，在逻辑上篡改者不会将完全相同的前景放置在同一时间段内的视频序列中。

所述的自适应相位相关峰值阈值设定算法主要包括以下步骤：

步骤C1：在步骤2中，分割得到参考视频的视频子序列S_{r_new1}(i,j,t)S_{r_new2}(i,j,t)...S_{r_newN}(i,j,t)。本算法仅考虑有少数前景简单运动的情况。利用步骤2中的背景减除法分割出前景物体，判断前景物体所占面积是否小于阈值mn/48。小于阈值则认为仅分割出数量较少的前景，满足该条件则进行下面的步骤。

步骤C2：获得每段子序列的运动前景后，分别计算N个视频子序列的运动前景区域的亮度平均值，如：利用如下公式计算第k个子序列的运动前景区域亮度平均值μ_k：

D_t为第k段子序列第t帧存在前景的区域，l_k为第k个子序列包含的帧数目。

步骤C3：将所有的子序列的运动前景区域亮度平均值求出μ₁,μ₂...μ_N。在亮度平均值序列中找到最大和最小的平均亮度μ_max＝max(μ₁,μ₂...μ_N),μ_min＝min(μ₁,μ₂...μ_N)。

步骤C4:完成步骤C3后，得到两组与μ_max,μ_min取值对应的视频子序列，分别记为S_max(x,y,t)，S_min(x,y,t)，视频段的长度分别计为l_max，l_min。这两段视频子序列分别包含了整段参考视频中具有较高平均亮度值与较低平均亮度值运动前景。对S_max(x,y,t)，S_min(x,y,t)人工选定视频序列中的S_max(x,y,t_k)，t_k∈[1,l_max]和S_min(x,y,t_l)，t_l∈[1,l_min]作为起始帧，要求该起始帧包含首次完整出现的前景。

步骤C5：将S_max(x,y,t_k)和S_min(x,y,t_l)均与后续帧依次进行相位相关函数的计算。这样，序列S_max(x,y,t)，S_min(x,y,t)分别利用起始帧与后续帧计算得到一系列的相位相关函数的峰值幅度分别求两组相位相关函数的最大值和最小值：

为保证设定的阈值具有较高的查全率，做如下判定：

若则

若则一般取参数λ₁＝1.4，λ₂＝1.1。

第四步：利用步骤3获得的相位相关峰值阈值P_threshold，首先对新的待测视频序列S_{d_re}(i,j,k)计算两两帧间的相位相关峰值，对峰值进行判决，要求所选的两帧其时间下标之差的绝对值大于时间阈值T_threshold。如果峰值超过设定阈值，则可以提取相对位移(Δ_x,Δ_y)，如果|Δ_x|＞m/12且|Δ_y|＞m/12，则继续进行块级匹配，否则该两帧不存在复制关系。这是因为相同图像的相位相关函数会在原点处出现峰值，一些原地徘徊的物体需要以此消除其干扰。

所述的相位相关算法具体步骤指(附图2)：

步骤D1：假设读入的两帧视频帧分别记为S_{d_re}(i,j,t_k)和S_{d_re}(i,j,t_l)，且时刻差|t_k-t_l|＞T_threshold，分别对其进行FFT变换为频率图S_{d_re}(u,v,t_k)和S_{d_re}(u,v,t_l)。

步骤D2：通过如下公式计算可以获得两帧的相位相关图，具体公式为：

其中，*为对矩阵中的每个元素取共轭。

步骤D3:将获得的相位相关图D(u,v)进行IFFT反变换得到空域的图像d(i,j)，结合步骤3获得的相关峰值阈值P_threshold寻找空域图像d(i,j)中是否存在大于P_threshold的峰值点，若存在，则记录最大峰值所在的坐标(Δ_x,Δ_y)(以左上点为原点)，如果|Δ_x|＞m/12且|Δ_y|＞m/12，则继续进行块级匹配，否则认为读入的两帧没有相似的区域。所述的块级匹配具体步骤指：

步骤E1：任选待匹配的两帧其中之一，此处假设选择S_{d_re}(i,j,t_k)。将(Δ_x,Δ_y)作为位移大小，利用matlab数字图像处理工具包中的dip-image函数对其做循环移动处理获得新图像

步骤E2：将和S_{d_re}(i,j,t_l)均划分为8×8的交叠像素块(附图3)。以像素块左上角像素点的坐标表示像素块所在的位置，计算和S_{d_re}(i,j,t_l)对应位置像素块的相似度，设两像素块分别为M₁(i,j),M₂(i,j)，则利用如下公式计算相似度：

其中和为两像素块亮度的平均值，计算和S_{d_re}(i,j,t_l)所有对应位置像素块的相似度，如果ρ大于设定的相似性阈值(一般设置为0.99)，则认为两像素块是完全相同的，并将二值图B(i,j)中对应位置(像素块左上角像素的坐标位置)处的像素值置为1。否则，将二值图对应位置处的像素值置为0。其中1≤i≤180,1≤j≤144。

第五步：经过块级匹配得到标记有两帧之间篡改区域位置的二值图B(i,j)。对该二值图进行先膨胀再腐蚀的形态学滤波，分别选择宽度为5的圆盘模板以及宽度为8的圆盘模板进行。滤波完成后计算二值图中连通区域的最大面积，将该面积与设定的面积阈值S_threshold＝mn/48进行比较，若大于阈值则确定该两帧间存在区域篡改，否则不存在。

第六步：重复第四步、第五步直到所有时间下标关系符合要求的视频帧均经过检测，即检测完待测视频的所有帧。

第七步：利用时间阈值T_threshold，对存在复制粘贴关系的视频帧进行分组，如果分组后至少存在某一组的视频帧数超过设定阈值α₁T_threshold，则最终确定该视频序列存在帧内copy-move篡改，否则不存在。

所述的利用时间阈值对存在复制粘贴关系的视频帧进行分组具体步骤是：

步骤F1：如果篡改检测算法检测出m对存在copy-move篡改的帧。首先依照帧的时间下标对m对存在copy-move篡改的帧进行顺序搜索。初始时，以时间下标的值依次(这是考虑到运动的时间连续性)进行搜索，将第一对存在copy-move篡改的帧的时间下标t₁和t₁+Δt₁分别存入数组x₁[n],x₂[n]中。

步骤F2：接下来，再顺序查找第二对存在copy-move篡改的帧：

如果第二对存在copy-move篡改的两帧，其时间下标t₂和t₂+Δt₂分别与前面两个存入数组的下标时间之差的绝对值|t₁-t₂|和|t₁-t₂+Δt₁-Δt₂|均小于或等于α₁T_threshold，则将第二对存在copy-move篡改的帧的时间下标分别存入之前的数组x₁[n],x₂[n]中。

如果第二对存在copy-move篡改的帧的两个时间下标分别与前一个存入数组的下标时间之差的绝对值|t₁-t₂|和|t₁-t₂+Δt₁-Δt₂|大于α₁T_threshold，则新建立两个数组x₃[n],x₄[n]来存放这一对帧的时间下标。

接下来存在copy-move篡改的帧对的时间下标将与之前建立的所有的数组中存放的帧的时间下标进行比较，并进行与上面描述相同的操作。直到对所有检测出的m对存在copy-move篡改的帧进行分组。可以得到多对数组。不同数组x_i[n],i＝1,2,3,...中包含的时间下标数分别记为n_i,i＝1,2,3,...。

步骤F3：对获得的分组下标数n_i与步骤F2获得的阈值进行如下比较：

当n_i≥α₁T_threshold时，我们称该视频存在帧内copy-move篡改。

当n_i＜α₁T_threshold时，我们称该视频不存在帧内copy-move篡改。若算法存在n次误检，且n＞α₂N当其中λ∈[0,1]，我们称篡改检测算法对该视频存在误检。

通常α₁＝0.7,α₂＝0.2。α₂称为误检间隔调整系数。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (4)

1.一种基于时空关联性的视频帧内copy-move篡改检测方法，其特征在于，具体步骤包括：

第一步：读入待检测的视频以及参考视频，将待检测的视频以及参考视频分别解码为视频帧并且将每个视频帧转换为灰度图，以分别形成待测视频帧序列S_d(i,j,t)以及参考视频帧序列S_r(i,j,t)，1≤i≤M,1≤j≤N,1≤t≤L，其中，i为像素点行坐标，j为像素点列坐标，t为视频帧的时间下标，M为图像每行包含的像素点个数，N为图像每列包含的像素点个数，L为视频总帧数；

第二步：对待测视频帧序列S_d(i,j,t)以及参考视频帧序列S_r(i,j,t)分别按照建立高斯金字塔的方式进行一次降尺度运算，得到降尺度后的新的待测视频帧序列S_{d_new}(i,j,t)以及参考视频帧序列S_{r_new}(i,j,t)，然后将序列S_{d_new}(i,j,t)和S_{r_new}(i,j,t)分别利用背景减除法获得除去时间冗余后的视频序列S_{d_re}(i,j,t)以及S_{r_re}(i,j,t)；并且除去时间冗余后的参考视频帧序列是由包含运动前景的多个视频子序列组成的，其中，所述时间冗余，是指不包含运动前景的背景帧；

第三步：对视频序列S_{r_re}(i,j,t)，通过自适应阈值设定算法，得到时间阈值T_threshold和相位相关峰值阈值P_threshold；

第四步：利用所述相位相关峰值阈值P_threshold，首先对视频序列S_{d_re}(i,j,t)计算两两帧间的相位相关峰值，对峰值进行判决，且要求所选的两帧其时间下标之差的绝对值大于时间阈值T_threshold；如果峰值超过相位相关峰值阈值P_threshold，则提取相对位移，若相对位移大于设定阈值，则利用该相对位移进行两可疑帧间的块级匹配，否则该两帧不存在复制关系；其中，设定阈值是指，m/12，m为视频帧每行像素点总数；

第五步：通过块级匹配得到标记有两帧之间复制区域位置的二值图，对该二值图进行先膨胀再腐蚀的形态学滤波，计算滤波后二值图中最大连通区域的面积，将该面积与设定的面积阈值进行比较，若大于面积阈值则确定该两帧间存在区域篡改，否则不存在；

第六步：重复第四步、第五步直到所有时间下标关系符合要求的视频帧均经过检测，即检测完待测视频的所有帧；

第七步：利用时间阈值T_threshold，对存在复制粘贴关系的视频帧进行分组，如果分组后至少存在某一组的视频帧数超过帧数阈值，则最终确定该视频序列存在帧内copy-move篡改，否则不存在；

所述第二步包括以下过程：

步骤A1：对视频帧序列中每帧S(i,j,t_k),t_k∈[1,l_new]利用高斯低通滤波模板进行空间域滤波得到平滑后的视频帧序列S_{_lowpass}(i,j,t_k)，其中，t_k为视频的时间下标，l_new为视频长度；

步骤A2：对平滑后的视频帧序列S_{_lowpass}(i,j,t_k)进行隔行隔列的降采样，使降采样之后的视频帧尺寸降为原视频帧的四分之一，这样便完成一次降尺度运算；

步骤A3：读取降尺度后的视频帧序列，利用背景减除法获取视频帧序列与背景帧的差分图像序列；

步骤A4：对差分图像序列二值化后再进行腐蚀和膨胀操作，通过二值图像非零区域的面积判定视频帧是否存在运动前景；

步骤A5：对于待测视频帧序列S_{d_new}(i,j,t)直接选取含有运动前景的视频帧组成新序列即可，而对参考视频帧序列S_{r_new}(i,j,t)还需根据标记将含有运动前景的视频帧分段形成子序列。

2.根据权利要求1所述的基于时空关联性的视频帧内copy-move篡改检测方法，其特征在于，所述第三步包括以下过程：

步骤B1：根据分割得到的参考视频帧序列S_{r_new}(i,j,t)，统计S_{r_new}(i,j,t)各段子视频序列的长度l₁,l₂....l_N；

步骤B2：选定负指数分布作为估计模型，利用下面最大似然矩估计的值做为时间阈值：

$T_{threshold}=\frac{1}{\stackrel{\‾}{\mathrm{\λ}}}=\frac{1}{N}\underset{k=1}{\overset{N}{\Σ}}{l}_k$

其中，为负指数分布参数估计值，N为参考视频总长度；

步骤C1：对分割得到参考视频帧序列S_{r_new}(i,j,t)，利用背景减除法分割出前景物体，判断前景物体所占面积是否小于阈值mn/48，其中，m为视频帧每行像素点总数，n为视频帧每列像素点总数；若小于阈值则认为仅分割出数量较少的前景，则接下来执行步骤C2；

步骤C2：获得参考视频帧序列S_{r_new}(i,j,t)中每段子序列的运动前景后，分别计算N个子序列的运动前景区域的亮度平均值；

步骤C3：将所有的子序列的运动前景区域亮度平均值求出μ₁,μ₂...μ_N，在亮度平均值序列中找到最大和最小的平均亮度μ_max＝max(μ₁,μ₂...μ_N),μ_min＝min(μ₁,μ₂...μ_N)；

步骤C4：完成步骤C3后，得到两组与μ_max,μ_min取值对应的子序列，分别选定两段子序列中的某帧作为起始帧，要求该起始帧包含首次完整出现的前景；

步骤C5：将起始帧均与后续帧依次进行相位相关函数的计算，这样，分别利用起始帧与后续帧计算得到一系列的分别对应μ_max,μ_min的相位相关函数的峰值幅度求的最大值以及的最小值

${\mathrm{\γ}}_{p_{max}}=max({\mathrm{\γ}}_{p_{max}1},{\mathrm{\γ}}_{p_{max}2},...{\mathrm{\γ}}_{p_{max}{l}_{max}}),{\mathrm{\γ}}_{p_{min}}=min({\mathrm{\γ}}_{p_{min}1},{\mathrm{\γ}}_{p_{min}2},...{\mathrm{\γ}}_{p_{min}{l}_{min}})$

为保证设定的阈值具有较高的查全率，做如下判定：

若则

若则

λ₁，λ₂为设定的参数。

3.根据权利要求1所述的基于时空关联性的视频帧内copy-move篡改检测方法，其特征在于，所述第四步包括以下过程：

步骤D1：读入的视频序列S_{d_re}(i,j,t)中的两帧视频帧分别记为S_{d_re}(i,j,t_k)和S_{d_re}(i,j,t_l)，且|t_k-t_l|＞T_threshold，分别对S_{d_re}(i,j,t_k)和S_{d_re}(i,j,t_l)进行FFT变换为频率图S_{d_re}(u,v,t_k)和S_{d_re}(u,v,t_l)；

步骤D2：通过如下公式计算获得频率图S_{d_re}(u,v,t_k)和S_{d_re}(u,v,t_l)的相位相关图D(u,v)，具体公式为：

$D(u,v)=\frac{S_{d\_re}(u,v,t_k)S_{d\_re}{(u,v,t_l)}^{*}}{\left|S_{d\_re}(u,v,t_k)S_{d\_re}{(u,v,t_l)}^{*}\right|}$

其中，*表示对矩阵中每个元素取共轭操作；

步骤D3：将获得的相位相关图D(u,v)进行IFFT反变换得到空域的图像d(i,j)，结合相关峰值阈值P_threshold寻找空域图像d(i,j)中是否存在大于P_threshold的峰值点，若存在，则记录最大峰值所在的坐标(Δ_x,Δ_y)，以左上点为原点，如果|Δ_x|＞m/12且|Δ_y|＞m/12，则继续进行块级匹配，否则认为读入的两帧没有相似的区域；

步骤E1：对于S_{d_re}(i,j,t_k)，将(Δ_x,Δ_y)作为位移大小，对S_{d_re}(i,j,t_k)做循环移动处理获得新图像

步骤E2：将和S_{d_re}(i,j,t_l)均划分为8×8的交叠像素块；以像素块左上角像素点的坐标表示像素块所在的位置，计算和S_{d_re}(i,j,t_l)对应位置像素块的相似度，设两像素块的亮度矩阵分别为M₁(i,j),M₂(i,j)，则利用如下公式计算相似度ρ：

$\mathrm{\ρ}=\frac{\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}\left(M_1\left(i,j\right)-{\stackrel{\‾}{M}}_1\right)\left(M_2\left(i,j\right)-{\stackrel{\‾}{M}}_2\right)}{\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}{\left(M_1\left(i,j\right)-{\stackrel{\‾}{M}}_1\right)}^2\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}{\left(M_2\left(i,j\right)-{\stackrel{\‾}{M}}_2\right)}^2}$

其中和为两像素块亮度的平均值，计算和S_{d_re}(i,j,t_l)所有对应位置像素块的相似度，如果ρ大于设定的相似性阈值，则认为两像素块是完全相同的，并将二值图B(i,j)中对应位置处的像素值置为1；否则，将二值图对应位置处的像素值置为0；其中1≤i≤M/2,1≤j≤N/2。

4.根据权利要求1所述的基于时空关联性的视频帧内copy-move篡改检测方法，其特征在于，所述第七步包括以下过程：

步骤F1：如果篡改检测算法检测出m对存在copy-move篡改的帧，首先依照帧的时间下标对m对存在copy-move篡改的帧进行顺序搜索；初始时，以时间下标的值依次进行搜索，将第一对存在copy-move篡改的帧的时间下标分别存入两个数组中；

步骤F2：顺序查找第二对存在copy-move篡改的帧：

如果第二对存在copy-move篡改的两帧，其时间下标分别与前面两个存入数组的下标时间之差的绝对值均小于或等于α₁T_threshold，则将第二对存在copy-move篡改的帧的时间下标分别存入之前的数组中，其中，α₁为阈值调整系数；

如果第二对存在copy-move篡改的帧的两个时间下标分别与前一个存入数组的下标时间之差的绝对值大于α₁T_threshold，则新建立两个数组来存放这一对帧的时间下标；

接下来存在copy-move篡改的帧对的时间下标将与之前建立的所有的数组中存放的帧的时间下标进行比较，如果与之前所有数组中元素的时间下标绝对差值均小于等于设定阈值，则将其存入时间域最邻近的数组中；如果与之前所有数组中的元素时间下标绝对差值均大于设定阈值，则新建立两个数组来存放这一帧对的时间下标，直到对所有检测出的m对存在copy-move篡改的帧进行分组；不同数组中包含的时间下标数分别记为n_i,i＝1,2,3,...；

步骤F3：对获得的分组下标数n_i与步骤F2获得的阈值α₁T_threshold进行如下比较：

当n_i≥α₁T_threshold时，则认为该视频存在帧内copy-move篡改；

当n_i＜α₁T_threshold时，则认为该视频不存在帧内copy-move篡改。