CN108228915B

CN108228915B - 一种基于深度学习的视频检索方法

Info

Publication number: CN108228915B
Application number: CN201810268186.7A
Authority: CN
Inventors: 丁泉龙; 廖奕铖; 韦岗; 李�杰
Original assignee: South China University of Technology SCUT
Current assignee: South China University of Technology SCUT
Priority date: 2018-03-29
Filing date: 2018-03-29
Publication date: 2021-10-26
Anticipated expiration: 2038-03-29
Also published as: CN108228915A

Abstract

本发明公开了一种基于深度学习的视频检索方法，主要包含以下部分：利用卷积神经网络做视频预处理；用长短记忆网络对预处理后的视频提取特征向量；最后通过一个相似度学习算法，学习得到距离计算方法，依据该方法进行相似度计算并排序，得出视频检索结果；本发明通过卷积神经网络做场景分割和关键帧选择，提取表征视频的高级语义，从而获取恰当数量的关键帧序列，能够有效避免镜头分割的误检和漏检。本发明通过长短记忆网络有效提取视频的时序特征，从而获得更准确的检索结果。通过相似度学习和基于文本的匹配方法，能够提升相似度度量方法的匹配精确度。通过上述方法，本发明能够实现对大规模视频的精准检索。

Description

一种基于深度学习的视频检索方法

技术领域

本发明属于计算机视觉领域，尤其设计一种利用深度学习和数字处理技术的视频检索方法。

背景技术

近年来，互联网和多媒体技术得到了广泛的发展和运用，风潮席卷全球。在人们的日常生活、工作和学习过程中产生了海量的视频数据，面对这些爆炸性增长的多媒体数据，我们越来越需要一种能够准确且有效地对海量视频进行检索和管理的方法。

一个完整的视频检索过程通常包含三个主要步骤：视频预处理，即去冗余帧的过程包括镜头检测和关键帧提取；视频特征提取；特征匹配，即相似度计算。在视频预处理领域，现有技术主要运用像素差法、直方图法和边缘探测法对视频做镜头检测和关键帧提取。这些方法使用视频图像的底层特征，往往不能准确提取出表征待检索视频的镜头和关键帧序列。而经过大量数据训练的卷积神经网络能够提取表征视频的高级语义，从而有效避免镜头分割的误检和漏检，获取恰当帧数的关键帧序列。在视频特征提取方面，现有技术往往是将视频割裂成一序列静态的图像的集合然后提取图像集合的特征描述子，这样丢失了视频在时序上区别于静态图像序列的特征。长短记忆网络擅长处理长期依赖问题，能够有效提取视频的时序特征，从而获得更准确的检索结果。另外，由于视频是复杂数据结构，现有的特征匹配方法不能准确描述高维特征之间的差异，通过相似度学习能够提升相似度度量方法的性能。

为了满足人们对大规模视频做精准检索的需求，目前需要一种能够准确提取视频摘要，又能够表征视频时序特征的描述子，进而能够准确检索视频的方法。

发明内容

针对现有技术中的缺陷，本发明提供了一种基于深度学习的视频检索方法。通过卷积神经网络做场景分割和关键帧选择、长短记忆网络做视频时序特征提取、相似度学习和基于文本的匹配方法做检索，能够改善上述缺陷，实现对大规模视频的精准检索。

本发明的目的采用如下技术方案实现。

一种基于深度学习的视频检索方法，其包括以下步骤：

步骤1)利用训练数据，对视频预处理网络进行训练；

步骤2)利用所述步骤1)得到的视频预处理网络，分割待检索视频，形成镜头单元并提取镜头的关键帧序列；

步骤3)根据所述步骤2)得到的镜头关键帧序列的长短，分为长镜头和短镜头两类；判断是否通过长短记忆网络LSTM，若为短镜头，跳转到所述步骤5)；

步骤4)利用训练完成的长短记忆网络提取关键帧序列的特征向量，生成特征向量文本；

步骤5)利用训练完成的相似度学习算法，获得相似距离计算公式K(x_i,x_j)，其中x_i和x_j是待匹配的特征向量对，K是学习得到的算法。；

步骤6)依据步骤5)得到的相似度计算方法，计算待检索样本与数据库视频的相似度，得到检索结果。

进一步的，步骤1)中，构造视频预处理网络，使用Inception V3的网络结构，对训练数据样本做旋转、亮度调节和加噪处理，以增强网络的鲁棒性；初始化网络参数，进行训练；所述的视频预处理训练方法可以包括：损失函数的选择和为保证网络鲁棒性而做的训练数据特征不变性处理。

进一步的，步骤2)中，利用深度学习网络提取视频的深度特征，根据该特征完成镜头检测和关键帧提取，得到能够准确表征视频的关键帧序列。

进一步的，步骤3)所述的长短记忆网络提取关键帧序列时序特征并构造特征向量文本，特征向量文本保存了视频的时序特征，能够提高视频检索的查准度。

进一步的，步骤1)中，所述训练视频预处理网络使用YouTuBe-8M做训练数据集，对训练数据集做额外的预处理，包括以设定的角度做旋转、调节视频亮度、随机加入椒盐噪声中的一种以上。所述的相似度学习网络的训练和使用方法。相较于传统的相似度距离计算方法，通过学习得到的相似度算法具有更高的相似匹配能力。

进一步的，步骤3)中，所述长短记忆网络LSTM不仅能够提取视频的静态特征，还能够有效地处理长期依赖问题，长短记忆网络LSTM的训练过程同样使用YouTuBe-8M数据集，约束网络的损失函数如下：

其中，min(L_loss)代表最小损失函数，i,j是数据库中的视频编号，u_i是视频V_i通过长短记忆网络的输出向量，K是输出向量的维度，S_i,j是待匹配视频对(V_i和V_j)的位相似度，定义如下：

其中y_i和y_j分别代表对应视频V_i和V_j的特征向量。

进一步的，步骤5)中，相似度学习算法通过OASIS(Online Algorithm forScalable Image Similarity Learning)方法习得。

进一步的，步骤6)计算待检索视频特征向量和视频数据库特征向量集之间的距离；相似度距离公式使用预训练中得到的K(x_i,x_j)，使用类似字符串匹配算法KMP，求得整体相似度；依据相似度的高低顺序，给出检索结果。本发明由视频预处理网络、长短记忆网络和相似度学习网络构成的一个视频检索系统整体。其中预处理网络提取视频关键帧序列，丢弃冗余数据；长短记忆网络提取视频的时序特征；相似度学习算法做相似度计算，根据相似程度给出检索结果。

与现有技术相比，本发明具有如下优点和技术效果：

本发明通过卷积神经网络做场景分割和关键帧选择，提取表征视频的高级语义，从而获取恰当数量的关键帧序列，能够有效避免镜头分割的误检和漏检。通过长短记忆网络有效提取视频的时序特征，从而获得更准确的检索结果。通过相似度学习和基于文本的匹配方法，能够提升相似度度量方法的匹配精确度。通过上述方法，本发明能够实现对大规模视频的精准检索。

附图说明

图1为实例中一种基于深度学习的视频检索方法的流程图。

图2为实例中长短记忆网络的单元结构图。

图3为实例中的相似度计算示意图。

具体实施方式

以下结合附图对本发明的具体实施作进一步说明，但本发明的实施和保护不限于此，需指出的是，以下若有未特别详细说明之处，均是本领域技术人员可参照现有技术实现或理解的。

本发明实施例提供了一种基于深度学习的视频检索方法，步骤如图1所示；所述方法的具体实施步骤如下：

网络训练部分：

步骤1)构造视频预处理网络，使用Inception Net V3的网络结构。Inception Net是一个拥有22层深的卷积神经网络，网络的最后一层拥有最好的分类效果，因此选取最后一层的输出作为输入的特征向量。

步骤2)训练视频预处理网络。使用YouTuBe-8M做训练数据集，该数据集有800万个视频，共4800个标注分类。为了增强网络的鲁棒性，对训练数据集做额外的预处理，如以一定的角度做旋转、调节视频亮度、随机加入椒盐噪声等等。

步骤3)训练长短记忆网络。长短记忆网络LSTM不仅能够提取视频的静态特征，还能够有效地处理长期依赖问题，它的结构单元如图2所示。训练过程同样使用YouTuBe-8M数据集，约束网络的损失函数如下：

其中y_i和y_j分别代表视频V_i和V_j的特征向量。

步骤4)通过相似度学习算法，获得相似距离计算公式K(x_i,x_j)，其中x_i和x_j是待匹配的特征向量对，K是学习得到的算法。该算法通过OASIS(Online Algorithm forScalable Image Similarity Learning)方法习得，更适合用于度量向量稀疏表示的相似距离。

本实例的视频检索部分：

步骤1)待检索视频样本X＝{x_t:t＝1,...,M}，其中x_t表示视频样本中的图像帧，t表示帧号，M表示总帧数。通过视频预处理网络得到特征向量集V＝{v_t:t＝1,...,M}，其中v_t表示图像帧的特征向量，t表示帧号，M表示总帧数。我们用特征向量集V作为镜头检测和关键帧提取的数据集。

步骤2)计算特征向量集V中相邻向量v_m和v_n的汉明距离D(v_m,v_n)，其中m,n是相邻向量的编号，若D(v_m,v_n)小于关键帧判定阀值T_f，则丢弃该帧向量，选取下一帧向量作为v_n；若D(v_m,v_n)大于关键帧判定阀值且小于镜头判定阀值T_s，则选取该帧作为关键帧，同时计算关键帧权重W_n＝D(v_m,v_n)/(T_s-T_f)，其中T_s是镜头判定阀值，T_f是关键帧判定阀值；若D(v_m,v_n)大于镜头判定阀值T_s，则判定为镜头边界。根据上述规则得到视频各镜头的特征向量集S＝{s_i:i＝1,...,N}和特征向量权重集W＝{w_i:i＝1,...,N}，其中i表示元素下标，N表示数据集中元素的个数。

步骤3)计算由步骤2)所得的各镜头长度。若镜头长度小于阀值L_s，则认为该镜头时序特征不显著，使用预处理网络提取的特征，跳转到步骤4)，否则，以各镜头的特征向量集作为一个单元，通过训练好的长短记忆网络，得到包含长期依赖信息的特征向量集E＝{e_i:i＝1,...,N}，其中i表示特征向量集中元素的下标，N表示特征向量集元素的个数。

步骤4)计算待检索视频特征向量和视频数据库特征向量集的距离。相似度距离公式使用预训练中得到的K(x_i,x_j)，其中x_i和x_j是待匹配的特征向量对。若在训练过程中，网络判定余弦距离更适合衡量特征向量的相似度，那么距离算法

如图3所示，具体地，使用类似字符串匹配算法KMP的思路，计算每一帧的相似距离，结合步骤2)得到的关键帧权重，求得整体相似度。依据相似度的高低顺序，给出检索结果。

Claims

1.一种基于深度学习的视频检索方法，其特征在于包括以下步骤：

步骤1)利用训练数据，对视频预处理网络进行训练；所述视频预处理网络使用Inception V3的网络结构，对训练数据样本做旋转、亮度调节和加噪处理，初始化视频预处理网络参数进行训练；

通过视频预处理网络得到特征向量集V＝{v_t:t＝1,...,M}，其中v_t表示图像帧的特征向量，t表示帧号，M表示总帧数，用特征向量集V作为镜头检测和关键帧提取的数据集；

步骤2)利用所述步骤1)得到的视频预处理网络，分割待检索视频的特征向量集V，形成镜头单元并提取镜头关键帧序列的向量集；

计算特征向量集V中相邻向量v_m和v_n的汉明距离为D(v_m,v_n)，其中m,n是相邻向量的编号，若D(v_m,v_n)小于关键帧判定阀值T_f，则丢弃此时邻向量v_n对应的特征向量，选取下一帧向量作为v_n；若D(v_m,v_n)大于关键帧判定阀值T_f且小于镜头判定阀值T_s，则选取特征向量集V中对应的特征向量作为关键帧，同时计算关键帧权重W_n＝D(v_m,v_n)/(T_s-T_f)，其中T_s是镜头判定阀值，T_f是关键帧判定阀值；若D(v_m,v_n)大于镜头判定阀值T_s，则判定为镜头边界，以此得到视频各镜头关键帧序列的向量集S＝{s_i:i＝1,...,N}和特征向量权重集W＝{w_i:i＝1,...,N}，其中i表示元素下标，N表示数据集中元素的个数；步骤3)根据所述步骤2)得到的镜头关键帧序列的长短，分为长镜头和短镜头两类；若为长镜头则跳转到步骤4)，若为短镜头则跳转到步骤5)；

所述长短记忆网络LSTM不仅能够提取视频的静态特征，还能够有效地处理长期依赖问题，长短记忆网络LSTM的训练过程同样使用YouTuBe-8M数据集，约束网络的损失函数如下：

其中，min(L_loss)代表最小损失函数，i,j是数据库中的视频编号，u_i是视频V_i通过长短记忆网络的输出向量，K是输出向量的维度，S_i,j是待匹配视频对即V_i和V_j的位相似度，定义如下：

其中y_i和y_j分别代表对应视频V_i和V_j的特征向量；

步骤5)利用训练完成的相似度学习算法，获得特征向量的相似距离计算公式K(x_i,x_j)，其中x_i和x_j是待匹配的特征向量对；

步骤6)依据步骤5)得到的相似度，计算待检索样本与数据库视频的相似度距离，得到检索结果；

具体的，计算待检索特征向量和视频数据库特征向量集之间的距离；相似度距离公式使用预训练中得到的K(x_i,x_j)，使用字符串匹配算法KMP，求得整体相似度；依据相似度的高低顺序，给出检索结果。

2.根据权利要求1所述的一种基于深度学习的视频检索方法，其特征在于，步骤2)中，利用深度学习网络提取视频的深度特征，根据该特征完成镜头检测和关键帧提取，得到能够准确表征视频的关键帧序列。

3.根据权利要求2所述的一种基于深度学习的视频检索方法，其特征在于，步骤3)所述的长短记忆网络提取关键帧序列时序特征并构造特征向量文本，特征向量文本保存了视频的时序特征，能够提高视频检索的查准度。

4.根据权利要求3所述的一种基于深度学习的视频检索方法，其特征在于，步骤1)中，所述训练视频预处理网络使用YouTuBe-8M做训练数据集，对训练数据集做额外的预处理，包括以设定的角度做旋转、调节视频亮度、随机加入椒盐噪声中的一种以上。

5.根据权利要求4所述的一种基于深度学习的视频检索方法，其特征在于，步骤5)中，相似度学习算法通过OASIS(Online Algorithm for Scalable Image SimilarityLearning)方法习得。