[go: up one dir, main page]

CN110880172A - 基于循环卷积神经网络的视频人脸篡改检测方法及系统 - Google Patents

基于循环卷积神经网络的视频人脸篡改检测方法及系统 Download PDF

Info

Publication number
CN110880172A
CN110880172A CN201911103181.XA CN201911103181A CN110880172A CN 110880172 A CN110880172 A CN 110880172A CN 201911103181 A CN201911103181 A CN 201911103181A CN 110880172 A CN110880172 A CN 110880172A
Authority
CN
China
Prior art keywords
neural network
face
video
convolutional neural
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911103181.XA
Other languages
English (en)
Inventor
彭枫
陈艺芳
康显桂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN201911103181.XA priority Critical patent/CN110880172A/zh
Publication of CN110880172A publication Critical patent/CN110880172A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于循环卷积神经网络的视频人脸篡改检测方法及系统，其方法步骤包括：将视频分为帧，并从每一帧中提取出一张人脸图像，再把所有人脸图像数据分为训练集、验证集和测试集；用训练集和验证集的人脸图像数据，使用梯度下降法训练一个用于二分类的卷积神经网络模型；用训练好的卷积神经网络模型提取一个序列的人脸图像的特征，再输入到循环神经网络中，用梯度下降法训练循环神经网络的参数；使用测试集的人脸图像数据对训练好的循环卷积神经网络模型进行测评；使用预测结果来标记帧，并合成预测视频。其系统包括：视频处理模块、预测模块和视频生成模块；本发明能自动地预测视频中的人脸是否经过篡改并做标记，有广阔的使用前景。

Description

基于循环卷积神经网络的视频人脸篡改检测方法及系统
技术领域
本发明涉及视频篡改检测领域，尤其涉及一种基于循环卷积神经网络的视频人脸篡改检测方法及系统。
背景技术
随着多媒体信息时代的到来，数字设备和图像处理工具的普及，数字图像处理技术不仅仅为人们的生活带来了极大的便利，同时也使得数字图像篡改变得简单易行，给图像的安全性和真实性带来了很大的威胁。特别是近年来深度学习的迅速发展，给图像篡改技术带来了新的升级。生成对抗网络的出现使得人们可以生成极为逼真的人脸图像，仅仅依靠人眼是无法区分这些假的人脸图像。不仅如此，目前视频人脸篡改技术的兴起，更是让安全问题面临着更大的威胁。同时，随着深度学习一起兴起的用于处理图像特征的卷积神经网络和用于处理时序特征的循环神经网络也得到了前所未有的发展。然而在视频中，既存在图像特征，又存在时序特征，所以只使用一种神经网络没法同时提取这两种特征，这也使得视频中的人脸篡改检测问题难以解决。
发明内容
本发明为克服上述现有技术所述的视频中的人脸篡改检测问题难以解决的缺陷，提供一种基于循环卷积神经网络的视频人脸篡改检测方法及系统。
为解决上述技术问题，本发明的技术方案如下：
一种基于循环卷积神经网络的视频人脸篡改检测方法，其特征在于，包括以下步骤：
S1：把原始视频和篡改视频分成帧，并从每一帧中获取一张人脸图像，再把所有人脸图像分为训练集、验证集和测试集；
S2：先用训练集和验证集的人脸图像数据，通过梯度下降算法训练一个二分类的卷积神经网络模型，并保存最优网络参数；
S3：用训练好的卷积神经网络模型提取一个序列的人脸图像的特征，再输入到循环神经网络中，用梯度下降算法训练循环神经网络的参数，得到一个二分类的循环卷积神经网络模型，并保存最优网络参数；
S4：使用测试集的人脸图像数据对训练好的循环卷积神经网络进行测试，评估循环卷积神经网络模型的性能；
S5：通过测试后的循环卷积神经网络模型来预测人脸图像的真假并合成预测之后的视频。
优选地，步骤S2中，将人脸图像数据输入到卷积神经网络中训练出一个二分类的卷积神经网络模型，包括以下步骤：
S2.1：将篡改人脸图像数据标记为1，原始人脸图像数据标记为0；并将图像大小改变为固定大小299*299；
S2.2：将标记后的图像输入到卷积神经网络中，用梯度下降法训练得到一个二分类的最优模型，其中使用的卷积神经网络是Xception；
S2.3：保存最优的卷积神经网络模型，并用作人脸图像特征提取器。
优选地，所述步骤S3中，将卷积神经网络模型提取的人脸图像特征输入到循环神经网络中训练得到一个二分类的循环卷积神经网络模型，包括以下步骤：
S3.1：先让卷积神经网络输出的特征图通过一个全连接层，再经过形变得到循环神经网络的输入，循环神经网络使用的是GRU单元；
S3.2：计算更新门zt的值，更新门用来决定是否保留历史记忆以及是否忽略当前信息，更新门的计算公式为：
zt＝σ(Wz·[ht-1,xt]+bz)
ht-1是上一时刻的输出结果，Wz和bz分别表示更新门的权重和偏置，[]表示将两个向量拼接为一个向量，σ为激活函数，将输出值归一化到[0,1]；
S3.3：计算重置门rt的值，重置门用来决定如何将当前信息和历史记忆相结合，重置门的计算公式为：
rt＝σ(Wr·[ht-1,xt]+br)
ht-1是上一时刻的输出结果，Wr和br分别表示重置门的权重和偏置，[]表示将两个向量拼接为一个向量，σ为激活函数，将输出值归一化到[0,1]；
S3.4：计算GRU单元新的记忆信息，新的记忆信息计算公式为：
Figure BDA0002270456220000021
ht-1是上一时刻的输出结果，Wh和bh分别表示权重和偏置，[]表示将两个向量拼接为一个向量，*表示逐元素相乘，tanh为激活函数，将输出值归一化到[-1,1]；
S3.5：计算GRU单元的输出值ht，ht的计算公式为：
Figure BDA0002270456220000031
S3.6：取最后一个时序的输出特征，经过一个全连接层输出一个二维的向量；
S3.7：用梯度下降法训练一个循环卷积神经网络模型，保存最优模型的参数，用于预测。
优选地，步骤S5中，将预测的结果标记在对应的帧上，绿色的人脸标记框表示为原始人脸，红色的人脸标记框表示为篡改人脸，再将所有的标记过后的帧合成为一个视频。
一种基于循环卷积神经网络的视频人脸篡改检测系统，包括视频处理模块、判断模块和视频生成模块；
视频处理模块包括视频分帧单元和人脸提取单元，视频分帧单元是将一个视频按照视频的帧率分成所有帧，并保存为图片在一个文件夹中；人脸提取单元是从每帧图片中找到一张人脸，并保存为图片在人脸文件夹中；
判断模块是利用预先训练好的循环卷积神经网络模型，计算一个固定序列的帧的人脸图片是原始图片的概率和经过人脸篡改操作后的概率，然后通过概率来判断待测人脸图片是原始图片还是经过篡改操作后的图片；
视频生成模块包括帧标记单元和合成视频单元，帧标记单元通过预测模块的结果在每一帧上标记是否经过篡改，合成视频单元是将得到的所有标记过后的帧合成为一个视频。
优选地，所述的视频处理模块中的人脸提取单元是先检测出图片中所有的人脸，再提取图片中最主要的一张人脸，如果有多张人脸，则选择像素占比最大的一张人脸并保存。
优选地，所述判断模块是使用预先训练好的循环卷积神经网络模型以及一个softmax层计算概率，输入一个序列的待测人脸图像，输出这一个序列的图像为原始图像和篡改图像的概率；通过两个概率的大小来判断待测图像是原始图像还是篡改图像。
优选地，所述视频生成模块是通过判断模块的概率来给对应的帧做标记，做标记的方式是给帧中的人脸标记一个方形框，绿色表示原始图像，红色表示篡改图像；保存标记过后的所有帧，然后再把这些标记的帧合成为一个预测视频。
与现有技术相比，本发明技术方案的有益效果是：本发明提出一种基于循环卷积神经网络的视频人脸篡改检测方法及系统，可以同时提取视频中人脸的图像特征以及视频连续帧之间的时序特征；通过将循环神经网络模块直接接到卷积神经网络最后一层后面，可以实现一个端到端的深度学习模型，并能使用梯度下降算法进行优化模型参数，有效地实现了较高的视频人脸篡改检测率。
附图说明
图1是一种基于循环卷积神经网络的视频人脸篡改检测方法的流程图；
图2是Xception的网络结构；
图3是GRU的内部门结构；
图4是一种基于循环卷积神经网络的视频人脸篡改检测的系统结构图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
参见图1所示的一种基于循环卷积神经网络的视频人脸篡改检测方法包括以下步骤：
步骤S1：把原始视频和篡改视频分成帧，并从每一帧中获取一张人脸图像，再把所有人脸图像分为训练集、验证集和测试集；
具体的，原始视频有1000个，篡改视频也有1000个，是通过原始视频中两两进行相互篡改得到的；从帧中找到人脸使用的方法是Dlib，并挑选出最大的人脸框，从帧中截取出来保存为相应的人脸图像；把1000个视频中的720个分为训练集，140个分为验证机，140个分为测试集。
步骤S2：先用训练集和验证集的人脸图像数据，通过梯度下降算法训练一个卷积神经网络模型，进行二分类，并保存最优网络参数；
具体的，在读取数据时，由于人脸图像的大小不一致，所以统一使用线性插值将人脸图像变成299*299，再输入到Xception中进行训练。
步骤S3：用训练好的卷积神经网络模型提取一个序列的人脸图像的特征，再输入到循环神经网络中，用梯度下降算法训练循环神经网络的参数，并保存最优网络参数；
具体的，步骤S2中保存的最优网络参数可以用于提取人脸图像特征，每一张人脸图像输出一个固定长度为2048的特征向量；然后通过一个全连接层，输出固定长度为1024的特征向量；再经过形变输入到循环神经网络中，循环神经网络使用的GRU单元，隐藏层大小为512，使用双向循环机制。
步骤S4：使用测试集的人脸图像数据对训练好的循环卷积神经网络进行测试，评估循环卷积神经网络模型的性能；
具体的，使用测试集中的人脸图像数据输入到训练好的循环卷积神经网络模型中，输出二分类的概率，来预测待测图像是原始图像还是篡改图像。
步骤S5：通过测试的结果来预测人脸图像的真假并合成预测之后的视频。
更进一步说明，所述步骤S2中，将人脸图像数据输入到卷积神经网络中训练出一个二分类的卷积神经网络模型，包括以下步骤：
步骤S2.1：将篡改人脸图像数据标记为1，原始人脸图像数据标记为0；并将图像大小改变为固定大小299*299；
步骤S2.2：将标记后的图像输入到卷积神经网络中，用梯度下降法训练得到一个二分类的最优模型，其中使用的卷积神经网络是Xception，网络结构如图2所示；
步骤S2.3：保存最优的卷积神经网络模型，并用作人脸图像特征提取器。
更进一步说明，所述步骤S3中，将卷积神经网络模型提取的人脸图像特征输入到循环神经网络中训练得到一个二分类的循环卷积神经网络模型，包括以下步骤：
步骤S3.1：先让卷积神经网络输出的特征图通过一个全连接层，再经过形变得到循环神经网络的输入，循环神经网络使用的是GRU单元，内部的门结构如图3所示；
步骤S3.2：计算更新门zt的值，更新门用来决定是否保留历史记忆以及是否忽略当前信息，更新门的计算公式为：
zt＝σ(Wz·[ht-1,xt]+bz)
ht-1是上一时刻的输出结果，Wz和bz分别表示更新门的权重和偏置，[]表示将两个向量拼接为一个向量，σ为激活函数，将输出值归一化到[0,1]；
步骤S3.3：计算重置门rt的值，重置门用来决定如何将当前信息和历史记忆相结合，重置门的计算公式为：
rt＝σ(Wr·[ht-1,xt]+br)
ht-1是上一时刻的输出结果，Wr和br分别表示重置门的权重和偏置，[]表示将两个向量拼接为一个向量，σ为激活函数，将输出值归一化到[0,1]；
步骤S3.4：计算GRU单元新的记忆信息，新的记忆信息计算公式为：
Figure BDA0002270456220000061
ht-1是上一时刻的输出结果，Wh和bh分别表示权重和偏置，[]表示将两个向量拼接为一个向量，*表示逐元素相乘，tanh为激活函数，将输出值归一化到[-1,1]；
步骤S3.5：计算GRU单元的输出值ht，ht的计算公式为：
Figure BDA0002270456220000062
步骤S3.6：取最后一个时序的输出特征，经过一个全连接层输出一个二维的向量；
步骤S3.7：用梯度下降法训练一个循环卷积神经网络模型，保存最优模型的参数，用于预测。
更进一步说明，所述步骤S5中，将预测的结果标记在对应的帧上，绿色的人脸标记框表示为原始人脸，红色的人脸标记框表示为篡改人脸，再将所有的标记过后的帧合成为一个视频。
实施例2
参见图4所示的一种基于循环卷积神经网络的视频人脸篡改检测的系统，包括视频处理模块、判断模块和视频生成模块；
视频处理模块包括视频分帧单元和人脸提取单元，视频分帧单元是将一个视频按照视频的帧率分成所有帧，并保存为图片在一个文件夹中；人脸提取单元是从每帧图片中找到一张人脸，并保存为图片在人脸文件夹中；
判断模块是利用预先训练好的循环卷积神经网络模型，计算一个固定序列的帧的人脸图片是原始图片的概率和经过人脸篡改操作后的概率，然后通过概率来判断待测人脸图片是原始图片还是经过篡改操作后的图片；
视频生成模块包括帧标记单元和合成视频单元，帧标记单元通过预测模块的结果在每一帧上标记是否经过篡改，合成视频单元是将得到的所有标记过后的帧合成为一个视频。
更进一步说明，所述的视频处理模块中的人脸提取单元是先检测出图片中所有的人脸，再提取图片中最主要的一张人脸，如果有多张人脸，则选择像素占比最大的一张人脸并保存。
更进一步说明，所述判断模块是使用预先训练好的循环卷积神经网络模型以及一个softmax层计算概率，输入一个序列的待测人脸图像，输出这一个序列的图像为原始图像和篡改图像的概率；通过两个概率的大小来判断待测图像是原始图像还是篡改图像。
更进一步说明，所述视频生成模块是通过判断模块的概率来给对应的帧做标记，做标记的方式是给帧中的人脸标记一个方形框，绿色表示原始图像，红色表示篡改图像；保存标记过后的所有帧，然后再把这些标记的帧合成为一个预测视频。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (8)

1.一种基于循环卷积神经网络的视频人脸篡改检测方法，其特征在于，包括以下步骤：
S1：把原始视频和篡改视频分成帧，并从每一帧中获取一张人脸图像，再把所有人脸图像分为训练集、验证集和测试集；
S2：先用训练集和验证集的人脸图像数据，通过梯度下降算法训练一个二分类的卷积神经网络模型，并保存最优网络参数；
S3：用训练好的卷积神经网络模型提取一个序列的人脸图像的特征，再输入到循环神经网络中，用梯度下降算法训练循环神经网络的参数，得到一个二分类的循环卷积神经网络模型，并保存最优网络参数；
S4：使用测试集的人脸图像数据对训练好的循环卷积神经网络进行测试，评估循环卷积神经网络模型的性能；
S5：通过测试后的循环卷积神经网络模型来预测人脸图像的真假并合成预测之后的视频。
2.根据权利要求1所述的基于循环卷积神经网络的视频人脸篡改检测方法，其特征在于，步骤S2中，将人脸图像数据输入到卷积神经网络中训练出一个二分类的卷积神经网络模型，包括以下步骤：
S2.1：将篡改人脸图像数据标记为1，原始人脸图像数据标记为0；并将图像大小改变为固定大小299*299；
S2.2：将标记后的图像输入到卷积神经网络中，用梯度下降法训练得到一个二分类的最优模型，其中使用的卷积神经网络是Xception；
S2.3：保存最优的卷积神经网络模型，并用作人脸图像特征提取器。
3.根据权利要求1所述的基于循环卷积神经网络的视频人脸篡改检测方法，其特征在于，所述步骤S3中，将卷积神经网络模型提取的人脸图像特征输入到循环神经网络中训练得到一个二分类的循环卷积神经网络模型，包括以下步骤：
S3.1：先让卷积神经网络输出的特征图通过一个全连接层，再经过形变得到循环神经网络的输入，循环神经网络使用的是GRU单元；
S3.2：计算更新门zt的值，更新门用来决定是否保留历史记忆以及是否忽略当前信息，更新门的计算公式为：
zt＝σ(Wz·[ht-1,xt]+bz)
ht-1是上一时刻的输出结果，Wz和bz分别表示更新门的权重和偏置，[]表示将两个向量拼接为一个向量，σ为激活函数，将输出值归一化到[0,1]；
S3.3：计算重置门rt的值，重置门用来决定如何将当前信息和历史记忆相结合，重置门的计算公式为：
rt＝σ(Wr·[ht-1,xt]+br)
ht-1是上一时刻的输出结果，Wr和br分别表示重置门的权重和偏置，[]表示将两个向量拼接为一个向量，σ为激活函数，将输出值归一化到[0,1]；
S3.4：计算GRU单元新的记忆信息，新的记忆信息计算公式为：
Figure FDA0002270456210000021
ht-1是上一时刻的输出结果，Wh和bh分别表示权重和偏置，[]表示将两个向量拼接为一个向量，*表示逐元素相乘，tanh为激活函数，将输出值归一化到[-1,1]；
S3.5：计算GRU单元的输出值ht，ht的计算公式为：
Figure FDA0002270456210000022
S3.6：取最后一个时序的输出特征，经过一个全连接层输出一个二维的向量；
S3.7：用梯度下降法训练一个循环卷积神经网络模型，保存最优模型的参数，用于预测。
4.根据权利要求1所述的基于循环卷积神经网络的视频人脸篡改检测方法，其特征在于，步骤S5中，将预测的结果标记在对应的帧上，绿色的人脸标记框表示为原始人脸，红色的人脸标记框表示为篡改人脸，再将所有的标记过后的帧合成为一个视频。
5.一种基于循环卷积神经网络的视频人脸篡改检测系统，其特征在于，包括视频处理模块、判断模块和视频生成模块；
视频处理模块包括视频分帧单元和人脸提取单元，视频分帧单元是将一个视频按照视频的帧率分成所有帧，并保存为图片在一个文件夹中；人脸提取单元是从每帧图片中找到一张人脸，并保存为图片在人脸文件夹中；
判断模块是利用预先训练好的循环卷积神经网络模型，计算一个固定序列的帧的人脸图片是原始图片的概率和经过人脸篡改操作后的概率，然后通过概率来判断待测人脸图片是原始图片还是经过篡改操作后的图片；
视频生成模块包括帧标记单元和合成视频单元，帧标记单元通过预测模块的结果在每一帧上标记是否经过篡改，合成视频单元是将得到的所有标记过后的帧合成为一个视频。
6.根据权利要求5所述的基于循环卷积神经网络的视频人脸篡改检测系统，其特征在于，所述的视频处理模块中的人脸提取单元是先检测出图片中所有的人脸，再提取图片中最主要的一张人脸，如果有多张人脸，则选择像素占比最大的一张人脸并保存。
7.根据权利要求5所述的基于循环卷积神经网络的视频人脸篡改检测系统，其特征在于，所述判断模块是使用预先训练好的循环卷积神经网络模型以及一个softmax层计算概率，输入一个序列的待测人脸图像，输出这一个序列的图像为原始图像和篡改图像的概率；通过两个概率的大小来判断待测图像是原始图像还是篡改图像。
8.根据权利要求5所述的基于循环卷积神经网络的视频人脸篡改检测系统，其特征在于，所述视频生成模块是通过判断模块的概率来给对应的帧做标记，做标记的方式是给帧中的人脸标记一个方形框，绿色表示原始图像，红色表示篡改图像；保存标记过后的所有帧，然后再把这些标记的帧合成为一个预测视频。
CN201911103181.XA 2019-11-12 2019-11-12 基于循环卷积神经网络的视频人脸篡改检测方法及系统 Pending CN110880172A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911103181.XA CN110880172A (zh) 2019-11-12 2019-11-12 基于循环卷积神经网络的视频人脸篡改检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911103181.XA CN110880172A (zh) 2019-11-12 2019-11-12 基于循环卷积神经网络的视频人脸篡改检测方法及系统

Publications (1)

Publication Number Publication Date
CN110880172A true CN110880172A (zh) 2020-03-13

Family

ID=69729554

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911103181.XA Pending CN110880172A (zh) 2019-11-12 2019-11-12 基于循环卷积神经网络的视频人脸篡改检测方法及系统

Country Status (1)

Country Link
CN (1) CN110880172A (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111611873A (zh) * 2020-04-28 2020-09-01 平安科技（深圳）有限公司 人脸替换检测方法及装置、电子设备、计算机存储介质
CN111797735A (zh) * 2020-06-22 2020-10-20 深圳壹账通智能科技有限公司 人脸视频识别方法、装置、设备及存储介质
CN111986180A (zh) * 2020-08-21 2020-11-24 中国科学技术大学 基于多相关帧注意力机制的人脸伪造视频检测方法
CN111986179A (zh) * 2020-08-21 2020-11-24 中国科学技术大学 脸部篡改图像检测器
CN112116577A (zh) * 2020-09-21 2020-12-22 公安部物证鉴定中心 一种基于深度学习的篡改人像视频检测方法及系统
CN112163494A (zh) * 2020-09-21 2021-01-01 中国科学院信息工程研究所 一种视频虚假人脸检测方法及电子装置
CN112488013A (zh) * 2020-12-04 2021-03-12 重庆邮电大学 基于时序不一致性的深度伪造视频检测方法及系统
CN112883890A (zh) * 2021-03-02 2021-06-01 中山大学 基于ACBlock的深度卷积神经网络信息取证方法
CN112927202A (zh) * 2021-02-25 2021-06-08 华南理工大学 多时域多特征结合的Deepfake视频检测方法及系统
CN113449542A (zh) * 2020-03-24 2021-09-28 浙江宇视科技有限公司 一种换脸识别方法、装置、设备和介质
CN113469062A (zh) * 2021-07-05 2021-10-01 中山大学 基于关键帧人脸特征的人脸交换篡改视频检测方法、系统及介质
CN113704829A (zh) * 2021-05-19 2021-11-26 福建福清核电有限公司 一种声像文件防篡改方法
CN113807392A (zh) * 2021-08-05 2021-12-17 厦门市美亚柏科信息股份有限公司 一种基于多预处理特征融合的篡改图像鉴别方法
CN113887527A (zh) * 2021-11-04 2022-01-04 北京智慧眼信息技术有限公司 人脸图像处理方法、装置、计算机设备及存储介质
CN114549846A (zh) * 2022-02-18 2022-05-27 中国农业银行股份有限公司 图像信息的确定方法、装置、电子设备及存储介质
CN115116108A (zh) * 2022-04-26 2022-09-27 中山大学 基于双流对比学习模型的人脸篡改视频检测方法及系统
CN115272340A (zh) * 2022-09-29 2022-11-01 江苏智云天工科技有限公司 工业产品缺陷检测方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108090402A (zh) * 2016-11-22 2018-05-29 上海银晨智能识别科技有限公司 一种基于循环神经网络的视频人脸识别方法及系统
CN109345832A (zh) * 2018-11-13 2019-02-15 上海应用技术大学 一种基于深度递归神经网络的城市道路超车预测方法
CN110321833A (zh) * 2019-06-28 2019-10-11 南京邮电大学 基于卷积神经网络和循环神经网络的人体行为识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108090402A (zh) * 2016-11-22 2018-05-29 上海银晨智能识别科技有限公司 一种基于循环神经网络的视频人脸识别方法及系统
CN109345832A (zh) * 2018-11-13 2019-02-15 上海应用技术大学 一种基于深度递归神经网络的城市道路超车预测方法
CN110321833A (zh) * 2019-06-28 2019-10-11 南京邮电大学 基于卷积神经网络和循环神经网络的人体行为识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
EKRAAM SABIR ET AL.: "Recurrent Convolutional Strategies for Face Manipulation Detection in Videos" *

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113449542A (zh) * 2020-03-24 2021-09-28 浙江宇视科技有限公司 一种换脸识别方法、装置、设备和介质
CN111611873A (zh) * 2020-04-28 2020-09-01 平安科技（深圳）有限公司 人脸替换检测方法及装置、电子设备、计算机存储介质
CN111797735A (zh) * 2020-06-22 2020-10-20 深圳壹账通智能科技有限公司 人脸视频识别方法、装置、设备及存储介质
CN111986179B (zh) * 2020-08-21 2021-07-06 中国科学技术大学 脸部篡改图像检测器
CN111986179A (zh) * 2020-08-21 2020-11-24 中国科学技术大学 脸部篡改图像检测器
CN111986180A (zh) * 2020-08-21 2020-11-24 中国科学技术大学 基于多相关帧注意力机制的人脸伪造视频检测方法
CN112116577A (zh) * 2020-09-21 2020-12-22 公安部物证鉴定中心 一种基于深度学习的篡改人像视频检测方法及系统
CN112163494A (zh) * 2020-09-21 2021-01-01 中国科学院信息工程研究所 一种视频虚假人脸检测方法及电子装置
CN112116577B (zh) * 2020-09-21 2024-01-23 公安部物证鉴定中心 一种基于深度学习的篡改人像视频检测方法及系统
CN112488013A (zh) * 2020-12-04 2021-03-12 重庆邮电大学 基于时序不一致性的深度伪造视频检测方法及系统
CN112927202A (zh) * 2021-02-25 2021-06-08 华南理工大学 多时域多特征结合的Deepfake视频检测方法及系统
CN112927202B (zh) * 2021-02-25 2022-06-03 华南理工大学 多时域多特征结合的Deepfake视频检测方法及系统
CN112883890A (zh) * 2021-03-02 2021-06-01 中山大学 基于ACBlock的深度卷积神经网络信息取证方法
CN112883890B (zh) * 2021-03-02 2022-08-12 中山大学 基于ACBlock的深度卷积神经网络信息取证方法
CN113704829A (zh) * 2021-05-19 2021-11-26 福建福清核电有限公司 一种声像文件防篡改方法
CN113704829B (zh) * 2021-05-19 2024-06-11 福建福清核电有限公司 一种声像文件防篡改方法
CN113469062B (zh) * 2021-07-05 2023-07-25 中山大学 基于关键帧人脸特征的人脸交换篡改视频检测方法、系统及介质
CN113469062A (zh) * 2021-07-05 2021-10-01 中山大学 基于关键帧人脸特征的人脸交换篡改视频检测方法、系统及介质
CN113807392A (zh) * 2021-08-05 2021-12-17 厦门市美亚柏科信息股份有限公司 一种基于多预处理特征融合的篡改图像鉴别方法
CN113807392B (zh) * 2021-08-05 2022-09-16 厦门市美亚柏科信息股份有限公司 一种基于多预处理特征融合的篡改图像鉴别方法
CN113887527A (zh) * 2021-11-04 2022-01-04 北京智慧眼信息技术有限公司 人脸图像处理方法、装置、计算机设备及存储介质
CN114549846A (zh) * 2022-02-18 2022-05-27 中国农业银行股份有限公司 图像信息的确定方法、装置、电子设备及存储介质
CN115116108A (zh) * 2022-04-26 2022-09-27 中山大学 基于双流对比学习模型的人脸篡改视频检测方法及系统
CN115116108B (zh) * 2022-04-26 2024-11-26 中山大学 基于双流对比学习模型的人脸篡改视频检测方法及系统
CN115272340A (zh) * 2022-09-29 2022-11-01 江苏智云天工科技有限公司 工业产品缺陷检测方法和装置

Similar Documents

Publication Publication Date Title
CN110880172A (zh) 基于循环卷积神经网络的视频人脸篡改检测方法及系统
US20230116801A1 (en) Image authenticity detection method and device, computer device, and storage medium
CN107527337B (zh) 一种基于深度学习的视频对象移除篡改检测方法
CN111738054B (zh) 一种基于时空自编码器网络和时空cnn的行为异常检测方法
CN112183468A (zh) 一种基于多注意力联合多级特征的行人再识别方法
Li et al. Image manipulation localization using attentional cross-domain CNN features
CN115690542B (zh) 一种基于改进yolov5的航拍绝缘子定向识别方法
CN114783024A (zh) 基于YOLOv5的公共场所戴口罩的人脸识别系统
CN110781980B (zh) 目标检测模型的训练方法、目标检测方法及装置
CN110633698A (zh) 基于循环生成对抗网络的红外图片识别方法、设备及介质
CN111488815A (zh) 基于图卷积网络和长短时记忆网络的篮球比赛进球事件预测方法
CN117576567B (zh) 一种使用多层级差异特征自适应融合的遥感图像变化检测方法
CN107301376A (zh) 一种基于深度学习多层刺激的行人检测方法
CN110942456B (zh) 篡改图像检测方法、装置、设备及存储介质
WO2022205329A1 (zh) 对象检测方法、对象检测装置及对象检测系统
CN111476727A (zh) 一种面向换脸视频检测的视频运动增强方法
CN113486856A (zh) 一种基于语义分割和卷积神经网络的驾驶员不规范行为检测方法
CN112532999B (zh) 基于深度神经网络的数字视频删帧篡改检测方法
CN114202787A (zh) 一种基于深度学习和二维注意力机制的多帧微表情情感识别方法
CN110378979B (zh) 基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法
CN115240123B (zh) 一种面向智能监控系统的暗处暴力行为检测方法
Sreelekshmi et al. Deep forgery detect: Enhancing social media security through deep learning-based forgery detection
CN111047571A (zh) 一种具有自适应选择训练过程的图像显著目标检测方法
Pasupuleti et al. Deepfake Detection Using Custom Densenet
CN117423148A (zh) 面向低质量人脸图像的深度伪造检测方法、系统和设备

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200313