CN103699886B - 一种视频实时比对方法 - Google Patents

Abstract

本发明公开了一种视频实时比对方法，包括：首先利用视频图像时序特征进行帧同步，然后利用图像纹理特征进行视频图像实时比对的方式。本发明具有算法高效、运算速度快、硬件消耗低、实时性高、利于大规模多路处理视频比对等特点。本发明所述方法除针对IPTV监管外，还可以应用到其他业务的视频特征提取、比对、监管等方面，且本发明所述方法既可以通过DSP硬件实现，相应算法和解决方法也可以通过服务器等其他方式实现。

Description

一种视频实时比对方法

技术领域

本发明涉及视频图像处理技术领域，尤其涉及一种视频实时比对方法。

背景技术

随着信息技术的发展，宽带传输速度和视频处理能力快速提高，同时宽带电信网、数字广播电视网、互联网逐渐三网融合，大规模的视频采集、传输、处理及监控的需求和应用越来越广泛。IPTV（Internet Protocol Television，网络协定电视）是三网融合后大规模互联网视频传输的一个典型应用，该类应用特点：视频传输规模大、传输环节多、实时性高，但是监管难度大。

针对IPTV监管中，需要对多路视频、不同节点的视频进行实时监管，开发一种视频特征提取和实时比对的方法，此种方法能实时分析不同节点的视频内容，提取视频图像特征，对视频内容进行实时比对和监管，确定视频传输内容一致，防止视频内容被替换、篡改等。现有的视频比对方法算法比较复杂，运算量大，硬件消耗大，实时性差，并行路数少，图像匹配比对时间较长，无法进行大规模实时视频的比对。

发明内容

本发明要解决的技术问题是，提供一种视频实时比对方法，运算速度快、硬件消耗低、实时性高、利于大规模多路处理视频比对。

本发明采用的技术方案是，所述视频实时比对方法，包括：

步骤1，基于图像时序特征对两路视频图像流进行帧同步，所述两路视频图像流来自不同传输采集点且具有相同节目源；

步骤2，基于同步的两路视频图像流中的图像纹理特征进行实时比对，以确定两路视频图像流的差异。

进一步的，所述步骤1，在进行帧同步之前还包括：

针对两路视频图像流，分别按照时间顺序对图像帧编制序号。

进一步的，所述步骤1具体包括：

S1：对两路视频图像流同步选取取样长度的连续图像帧，在第一路视频图像流的所述连续图像帧的中间位置选取比对长度的连续图像帧，称为第一路比对连续图像帧；

S2：在第二路视频图像流的取样长度连续图像帧中，将第一帧作为起始帧选取比对长度的连续图像帧，称为第二路比对连续图像帧；

S3：第一路比对连续图像帧与第二路比对连续图像帧进行比较，比较的内容是：对应帧的时序特征向量之间的差值总和是否小于第一阈值，若是，则第一路比对连续图像帧与第二路比对连续图像帧为同步帧，否则在第二路视频图像流的取样长度连续图像帧中，将第二帧作为起始帧选取比对长度的连续图像帧，称为第二路比对连续图像帧，重复执行步骤S3，依此类推，直到找到第一路视频图像流与第二路视频图像流的同步帧为止。

进一步的，针对YUV（Luminance、Chrominance，明亮度、色度和浓度）格式的视频图像流，某一帧图像的所述时序特征向量的确定过程包括：

A1：将该帧图像划分为m块，计算出每块图像中的Y、U、V分量数据平均值m表示分块编号，n表示帧序号；

A2：比较每块图像中数值，确定数值最大的分量，当最大值为记特征值为1；当最大值为记特征值为0；当最大值为记特征值为-1；并将此特征值作为第m块色彩空间特征向量值A_mn；

A3：比较第n帧、第m块图像的Y分量数据平均值和第n+1帧第m块Y分量数据平均值记特征值为1；记特征值为0；记特征值为-1；并将此特征值作为第n帧、第m块邻帧亮度特征向量值B_mn；步骤A3或者针对U分量或者V分量数据确定第n帧、第m块邻帧亮度特征向量值B_mn；

A4：分别计算第n帧图像所有块的色彩空间特征向量值A_mn和邻帧亮度特征向量值B_mn，得到第n帧图像时序特征向量。

进一步的，设图像帧的传输速率是v，两路视频之间的延迟时间最大值为t，所述取样长度大于等于2vt，所述比对长度在10～50帧的范围内设定。

进一步的，所述取样长度等于4vt，所述比对长度为25帧。

进一步的，所述步骤2具体包括：

B1：实时计算同步的两路视频图像流中对应帧的纹理特征向量的差值；

B2：判断所述纹理特征向量的差值是否小于第二阈值，若是，则判定两路视频图像一致性良好，否则两路视频图像一致性较差。

进一步的，针对YUV格式的视频图像流，所述纹理特征向量至少包括Y分量纹理特征向量。

进一步的，在步骤A1中，对于所述纹理特征向量中包含的Y分量纹理特征向量，每路视频图像流中某一帧的Y分量纹理特征向量的确定过程包括：

C1：将某一帧图像划分为M×N块，其中M为竖直方向的分块个数，N为水平方向的分块个数，M≤2N；

C2：计算出每块图像中的Y分量数据平均值，i表示分块编号变量，1≤i≤M×N，利用第i块的Y分量数据平均值减去第i-1块的Y分量数据平均值得到第i-1块的相邻区域间纹理特征向量，利用最后一块的Y分量数据平均值减去第1块的Y分量数据平均值得到最后一块的相邻区域间纹理特征向量，所有块的相邻区域间纹理特征向量组成所述帧的Y分量纹理特征向量。

采用上述技术方案，本发明至少具有下列优点：

本发明所述视频实时比对方法，首先利用视频图像时序特征进行帧同步，然后利用图像纹理特征进行视频图像实时比对的方式，具有算法高效、运算速度快、硬件消耗低、实时性高、利于大规模多路处理视频比对等特点。本发明所述方法除针对IPTV监管外，还可以应用到其他业务的视频特征提取、比对、监管等方面，且本发明所述方法既可以通过DSP硬件实现，相应算法和解决方法也可以通过服务器等其他方式实现。

附图说明

图1为本发明第一实施例的视频实时比对方法流程图；

图2为本发明第二实施例的视频实时比对方法流程图；

图3（a）为本发明第二实施例在视频时序特征提取过程中针对第n帧图像计算的内容示意图；

图3（b）为本发明第二实施例在视频时序特征提取过程中针对第n+1帧图像计算的内容示意图；

图3（c）为本发明第二实施例在视频时序特征提取过程中针对第n帧图像计算出的时序特征向量T_n；

图3（d）为本发明第二实施例在视频时序特征提取过程中针对第n帧图像计算出的时序特征曲线；

图4为本发明第二实施例的视频图像帧同步过程示意图；

图5（a）为本发明第二实施例在视频图像纹理特征提取过程中分块计算内容；

图5（b）为本发明第二实施例在视频图像纹理特征提取过程中第n帧纹理特征向量示意图；

图6为本发明第二实施例视频图像实时比对示意图。

具体实施方式

为更进一步阐述本发明为达成预定目的所采取的技术手段及功效，以下结合附图及较佳实施例，对本发明进行详细说明如后。

本发明第一实施例，一种视频实时比对方法，如图1所示，包括以下具体步骤：

步骤S101，针对两路视频图像流，分别按照时间顺序对图像帧编制序号；所述两路视频图像流来自不同传输采集点且具有相同节目源。

步骤S102，基于图像时序特征对两路视频图像流进行帧同步。

具体的，步骤S102包括：

S1：对两路视频图像流同步选取取样长度的连续图像帧，在第一路视频图像流的所述连续图像帧的中间位置选取比对长度的连续图像帧，称为第一路比对连续图像帧；

S2：在第二路视频图像流的取样长度连续图像帧中，将第一帧作为起始帧选取比对长度的连续图像帧，称为第二路比对连续图像帧；

S3：第一路比对连续图像帧与第二路比对连续图像帧进行比较，比较的内容是：对应帧的时序特征向量之间的差值总和是否小于第一阈值，若是，则第一路比对连续图像帧与第二路比对连续图像帧为同步帧，即第一路视频图像流的第一路比对连续图像帧与第二路视频图像流的第二路比对连续图像帧同步；否则在第二路视频图像流的取样长度连续图像帧中，将第二帧作为起始帧选取比对长度的连续图像帧，称为第二路比对连续图像帧，重复执行步骤S3，依此类推，直到找到第一路视频图像流与第二路视频图像流的同步帧为止。

具体的，设图像帧的传输速率是v，单位为：帧/秒，两路视频之间的延迟时间最大值为t，单位为：秒，所述取样长度大于等于2vt，所述比对长度在10～50帧的范围内设定。优选的，所述取样长度等于4vt，所述比对长度为25帧。

进一步的，针对YUV格式的视频图像流，某一帧图像的所述时序特征向量的确定过程包括：

A1：将该帧图像划分为m块，计算出每块图像中的Y、U、V分量数据平均值m表示分块编号，n表示帧序号；

A2：比较每块图像中数值，确定数值最大的分量，当最大值为记特征值为1；当最大值为记特征值为0；当最大值为记特征值为-1；并将此特征值作为第m块色彩空间特征向量值A_mn；

A3：比较第n帧、第m块图像的Y分量数据平均值和第n+1帧第m块Y分量数据平均值记特征值为1；记特征值为0；记特征值为-1；并将此特征值作为第n帧、第m块邻帧亮度特征向量值B_mn；步骤A3或者针对U分量或者V分量数据确定第n帧、第m块邻帧亮度特征向量值B_mn；

A4：分别计算第n帧图像所有块的色彩空间特征向量值A_mn和邻帧亮度特征向量值B_mn，得到第n帧图像时序特征向量。

步骤S103，基于同步的两路视频图像流中的图像纹理特征进行实时比对，以确定两路视频图像流的差异。

具体的，步骤S103包括：

B1：实时计算同步的两路视频图像流中对应帧的纹理特征向量的差值；

B2：判断所述纹理特征向量的差值是否小于第二阈值，若是，则判定两路视频图像一致性良好，否则两路视频图像一致性较差。

具体的，针对YUV格式的视频图像流，步骤A1中的纹理特征向量至少包括Y分量纹理特征向量，也就是说，可以只包含Y分量纹理特征向量，也可以包含Y分量和U分量的纹理特征向量、或者包含Y分量和V分量的纹理特征向量、或者同时包含三个分量的纹理特征向量。

在步骤A1中，下面以Y分量纹理特征向量为例，详细描述一下其确定过程，对于所述纹理特征向量中包含的Y分量纹理特征向量，每路视频图像流中某一帧的Y分量纹理特征向量的确定过程包括：

C1：将某一帧图像划分为M×N块，其中M为竖直方向的分块个数，N为水平方向的分块个数，M≤2N；

C2：计算出每块图像中的Y分量数据平均值，i表示分块编号变量，1≤i≤M×N，利用第i块的Y分量数据平均值减去第i-1块的Y分量数据平均值得到第i-1块的相邻区域间纹理特征向量，利用最后一块的Y分量数据平均值减去第1块的Y分量数据平均值得到最后一块的相邻区域间纹理特征向量，所有块的相邻区域间纹理特征向量组成所述帧的Y分量纹理特征向量。

本发明第二实施例，一种视频实时比对方法，本实施例可以看成是基于第一实施例所述方法应用于处理YUV格式视频图像的一个应用实例。

图2是本实施例的视频实时比对方法的流程图。如图2所示，视频图像输入后，首先进行视频图像流预处理，得到YUV格式的视频图像帧，并按照时间顺序对每帧编制序号，便于后续进行视频信息特征提取；然后对相同内容源不同节点采集到的视频信息进行时序特征提取，得到相应的时序特征向量曲线；取两路相同节目源不同节点采集到的视频的时序特征信息进行比对运算，得到两路输入视频之间的帧位置序号差异，对两路视频进行帧同步；完成帧同步之后，对实时视频每帧的纹理特征进行提取，得每路视频每帧的纹理特征；依据纹理特征，对帧同步后的相同内容源视频进行帧级别的实时比对，并输出比对结果。

图3（a）、（b）、（c）、（d）是本实施例中视频时序特征提取过程示意图。如图3（a）所示，将每帧图像分为标号为1、2、3、4的四块，计算出每块图像中的Y、U、V数据平均值m表示分块编号，n表示图像帧序号。比较每块图像中数值，确定数值最大的分量，当最大值为记特征值为1；当最大值为记特征值为0；当最大值为记特征值为-1；并将此特征值作为第m块色彩空间特征向量值A_mn。比较第n帧、第m块Y分量平均值和第n+1帧第m块Y分量平均值若则记特征值为1；若则记特征值为0；若则记特征值为-1；并将此特征值作为第n帧、第m块邻帧亮度特征向量值B_mn。如图3（c）所示，分别计算第n帧图像第1、2、3、4块色彩空间特征向量值A_mn和邻帧亮度特征向量值B_mn，得到第n帧图像时序特征向量T_n，按照帧序对时序特征向量进行排列得到该路视频图像时序特征曲线，如图3（d）所示。如果需要进行更高区分度的比较，可以增加图像分块数m，以获得更高维度的特征向量。

图4是本实施例的视频图像帧同步过程示意图。帧同步是为了确定采集到的两路同内容源视频之间图像延迟时间或帧数。首先对需要比较的同内容源的两路视频的图像帧按时间顺序进行编号产生帧序号；对两路视频时序特征曲线进行取样，取样长度为200帧；并从第一路视频时序特征曲线中间位置取出一段25帧长度的比对曲线（包括八条分向量曲线）；再将此长度的比对曲线逐帧和第二路视频时序特征取样曲线进行比较，计算出连续25帧时序特征向量之间的差值平方和，当差值平方和小于阈值1时，可以确定两路视频此部分曲线完全相同，计算此时两路视频比对曲线起始帧序号的差值，得到两路视频帧序差异，完成帧同步，以便进一步对视频进行实时比对。上述取样长度200帧，是依据两路视频延迟时间不超过2s确定的。根据两路视频之间延迟时间长短可以延长或缩短时序特征曲线取样长度和比对曲线长度。

图5（a）、（b）分别是本发明实施例在视频图像纹理特征提取过程中分块计算内容以及第n帧纹理特征向量示意图。如图5（a）所示，将每帧图像分为标号为1、2、…16的16块，计算出每块图像中的Y分量数据平均值（DSP硬件条件时取整型数值，利于提高效率），m表示分块编号，n表示图像帧序列号。如图5（b）所示，利用第m+1块Y分量数据平均值减去第m块Y分量数据平均值得到第m块相邻区域间纹理特征向量C_mn，利用第16块Y分量数据平均值减去第1块Y分量数据平均值得到第16块特征向量C_16n，第1至16块特征向量C_mn组成第n帧纹理特征向量Q_n。可以对每帧图像分块进行调整，每帧图像分块越多，能得到分辨程度更高的纹理特征，每帧分为16块从计算速度和比较效果方面是比较合适的分法。

图6是本实施例视频图像实时比对示意图。帧同步完成后，实时提取需要比对的同内容源的两路视频纹理特征Q_n、Q_n'，计算对应帧的纹理特征向量差值得到向量ΔQ_n，当向量ΔQ_n各项元素求平方和与设定阈值进行比较，小于设定阈值说明两路图像一致性良好，大于阈值说明两路视频有差异，此时能得到两路视频实时比对的结果。当图5（a）中取整型数值时，若小于阈值1，说明此帧两路视频图像完全一致，等于或大于阈值1，说明此帧两路视频图像有差异。

本发明实施例主要是基于YUV格式的视频图像帧进行处理比对，由于YUV格式与RGB格式存在一定的转换关系，本发明实施例的所述方法也可以用于RGB格式的视频图像帧处理对比，原理类似。

本发明具有简单、高效、实时性好、比对准确度高的特点，适合对大规模多路视频实时在线比对。

通过具体实施方式的说明，应当可对本发明为达成预定目的所采取的技术手段及功效得以更加深入且具体的了解，然而所附图示仅是提供参考与说明之用，并非用来对本发明加以限制。

Claims (7)

1.一种视频实时比对方法，其特征在于，包括：

步骤1，基于图像时序特征对两路视频图像流进行帧同步，所述两路视频图像流来自不同传输采集点且具有相同节目源；

步骤2，基于同步的两路视频图像流中的图像纹理特征进行实时比对，以确定两路视频图像流的差异；

所述步骤1具体包括：

S1：对两路视频图像流同步选取取样长度的连续图像帧，在第一路视频图像流的所述连续图像帧的中间位置选取比对长度的连续图像帧，称为第一路比对连续图像帧；

S2：在第二路视频图像流的取样长度连续图像帧中，将第一帧作为起始帧选取比对长度的连续图像帧，称为第二路比对连续图像帧；

S3：第一路比对连续图像帧与第二路比对连续图像帧进行比较，比较的内容是：对应帧的时序特征向量之间的差值总和是否小于第一阈值，若是，则第一路比对连续图像帧与第二路比对连续图像帧为同步帧，否则在第二路视频图像流的取样长度连续图像帧中，将第二帧作为起始帧选取比对长度的连续图像帧，称为第二路比对连续图像帧，重复执行步骤S3，依此类推，直到找到第一路视频图像流与第二路视频图像流的同步帧为止；

针对明亮度、色度和浓度YUV格式的视频图像流，某一帧图像的所述时序特征向量的确定过程包括：

A1：将该帧图像划分为m块，计算出每块图像中的Y、U、V分量数据平均值m表示分块编号，n表示帧序号；

A2：比较每块图像中数值，确定数值最大的分量，当最大值为记特征值为1；当最大值为记特征值为0；当最大值为记特征值为-1；并将此特征值作为第m块色彩空间特征向量值A_mn；

A3：比较第n帧、第m块图像的Y分量数据平均值和第n+1帧第m块Y分量数据平均值 记特征值为1；记特征值为0；记特征值为-1；并将此特征值作为第n帧、第m块邻帧亮度特征向量值B_mn；步骤A3或者针对U分量或者V分量数据确定第n帧、第m块邻帧亮度特征向量值B_mn；

A4：分别计算第n帧图像所有块的色彩空间特征向量值A_mn和邻帧亮度特征向量值B_mn，得到第n帧图像时序特征向量。

2.根据权利要求1所述的视频实时比对方法，其特征在于，所述步骤1，在进行帧同步之前还包括：

针对两路视频图像流，分别按照时间顺序对图像帧编制序号。

3.根据权利要求1所述的视频实时比对方法，其特征在于，设图像帧的传输速率是v，两路视频之间的延迟时间最大值为t，所述取样长度大于等于2vt，所述比对长度在10～50帧的范围内设定。

4.根据权利要求3所述的视频实时比对方法，其特征在于，所述取样长度等于4vt，所述比对长度为25帧。

5.根据权利要求1所述的视频实时比对方法，其特征在于，所述步骤2具体包括：

B1：实时计算同步的两路视频图像流中对应帧的纹理特征向量的差值；

B2：判断所述纹理特征向量的差值是否小于第二阈值，若是，则判定两路视频图像一致性良好，否则两路视频图像一致性较差。

6.根据权利要求5所述的视频实时比对方法，其特征在于，针对YUV格式的视频图像流，所述纹理特征向量至少包括Y分量纹理特征向量。

7.根据权利要求6所述的视频实时比对方法，其特征在于，在步骤A1中，对于所述纹理特征向量中包含的Y分量纹理特征向量，每路视频图像流中某一帧的Y分量纹理特征向量的确定过程包括：

C1：将某一帧图像划分为M×N块，其中M为竖直方向的分块个数，N为水平方向的分块个数，M≤2N；

C2：计算出每块图像中的Y分量数据平均值，i表示分块编号变量，1≤i≤M×N，利用第i块的Y分量数据平均值减去第i-1块的Y分量数据平均值得到第i-1块的相邻区域间纹理特征向量，利用最后一块的Y分量数据平均值减去第1块的Y分量数据平均值得到最后一块的相邻区域间纹理特征向量，所有块的相邻区域间纹理特征向量组成所述帧的Y分量纹理特征向量。