[go: up one dir, main page]

CN107423707A - 一种基于复杂环境下的人脸情绪识别方法 - Google Patents

一种基于复杂环境下的人脸情绪识别方法 Download PDF

Info

Publication number
CN107423707A
CN107423707A CN201710612421.3A CN201710612421A CN107423707A CN 107423707 A CN107423707 A CN 107423707A CN 201710612421 A CN201710612421 A CN 201710612421A CN 107423707 A CN107423707 A CN 107423707A
Authority
CN
China
Prior art keywords
face
illumination
under
emotion identification
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710612421.3A
Other languages
English (en)
Inventor
陈援东
陈忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Paluo Artificial Intelligence Technology Co Ltd
Original Assignee
Shenzhen Paluo Artificial Intelligence Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Paluo Artificial Intelligence Technology Co Ltd filed Critical Shenzhen Paluo Artificial Intelligence Technology Co Ltd
Priority to CN201710612421.3A priority Critical patent/CN107423707A/zh
Publication of CN107423707A publication Critical patent/CN107423707A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于移动嵌入式的复杂环境下的人脸情绪识别方法，该方法将人脸划分为额头、眉眼、脸颊、鼻子、嘴巴、下巴主要区域，并进一步划分为68个特征点，针对上述特征点，为了实现在各种环境下人脸情绪识别的识别率、准确度和可靠性，在常态情况下使用人脸面部和表情特征分类的方法，在光照、反射、阴影条件下使用Faster R‑CNN基于面部区域卷积神经网络的方法；在运动、抖动、晃动和移动复杂情况下的贝叶斯网络、马尔科夫链、变分推理相结合的方法；在人脸显示不全、多人脸环境、嘈杂背景条件下使用深度卷积神经网络和超解析度对抗性神经网络SRGANs、增强学习、反向传播算法、丢弃算法相结合的方法，有效地促进人脸表情识别的效果、准确度和可靠性。

Description

一种基于复杂环境下的人脸情绪识别方法
技术领域
本发明涉及人工智能的移动视频图像识别的技术领域，尤其涉及一种复杂环境下的人脸识别方法，这是目前全球范围内的一个新兴领域。
背景技术
基于视频图像的人脸识别在国际上是一个新兴的重要研究领域，在美国英伟达(NVIDIA)2006年推出基于服务器和电脑主机的深度学习图形处理器显卡(GPU)以来，世界领先的高科技公司如Google、苹果公司、亚马逊公司，知名的科研院所如麻省理工、伯克利和斯坦福，纷纷采用英伟达的GPU显卡研发基于图像识别的应用。相比之下，全球移动嵌入式的视频图像识别市场远远落后于基于服务器的同类应用，直到2017年5月中旬才有包括英伟达在内的厂商开始提供高性能机器视觉和深度学习的GPU模组，移动嵌入式的视频图像识别应用市场正处于蓄势待发之际。
人脸识别主要包括面部区域划分、特征点提取和分类三个部分。面部区域划分是将人脸划分为若干个兴趣区域(Region ofInterest)；特征点提取是从每个兴趣区域中提取关键的特征点，然后将特征点进行合并，特征提取方法一般包括PCA主成分分析、LDA线性分析等方法；分类是选择合适的判别标准和分类决策，设计适合人脸特征的分类器比如RVM相关向量机、Kernel核技术、统计特征或神经网络进行分类识别。在人脸图像识别中，特征点提取和分类需要设计参数，并确定参数的权值，进行加权处理，获得图像变换系数矩阵，从而实现具有一定准确率的人脸识别。在移动嵌入式的视频人脸识别中，人脸识别需要克服光线的明暗、动作状态、人脸部位、多人及背景嘈杂度等各种信息。目前用于人脸识别的现有技术有CNN卷积神经网络、贝叶斯网络(Bayes Network)、深度卷积神经网络(DeepConvolutional Neural Network)、对抗性神经网络GANs(Super-resolution GenerativeAdversarial Network)、增强学习(Reinforcement Learning)、稀疏特征、随机森林、动作跟踪、统计模型或支持向量机等方法。在人脸识别领域，目前绝大部分公司都是采用上述任何单一的方法，单一的方法能够达到一定的效果，但是也有存在很大的黑箱，比如在摄像头抓拍的各种复杂环境如光照、模糊、阴影、晃动、抖动、移动、人脸显示不全、多人脸环境、嘈杂背景下的识别率不高、准确率不高、实现代价过高。在ARM中央处理器和Linux操作系统构成的移动嵌入式计算平台上，市场上情绪识别的方法缺乏底层核心人脸识别技术的支持，没有或极少有应用在移动嵌入式设备视频的高效快速的人脸情绪识别案例。因此以上的任何单一技术开发的人脸情绪识别方法，都很难在移动嵌入式的计算平台的基础上演变为技术方案，因此很难产业化。
发明内容
针对上述技术中普遍存在的不足之处，本发明首要目的是提供一种基于复杂环境下的人脸情绪识别方法，该方法解决在移动嵌入式的各种复杂环境如光照、模糊、阴影、移动、晃动、抖动、人脸部位不全、多人脸环境、嘈杂背景下实时获取的人脸情绪识别率、准确度和可靠性。
本发明另一个目的是提供一种基于复杂环境下的人脸情绪识别方法，该方法采用传统人工智能的图像模式识别(Image and Pattern Recognition)和深度学习(DeepLearning)相结合的方法，有效地分辨“快乐、伤心、愤怒、恐惧、厌恶、惊讶、轻蔑、中性”等基本情绪及更深入的组合情绪，促进人机之间的情感交互，促进人机互动娱乐如各类游戏中的情感道具、增强现实或虚拟现实等四维虚拟环境中的虚拟和仿真游戏、人与人之间远程视频交流中的情绪提示、情绪调节和情感交流。
为了实现上述目的，本发明的实现方法描述如下。
一种基于复杂环境下的人脸情绪识别方法，其特征在于该方法将人脸划分为额头、眉眼、脸颊、鼻子、嘴巴、下巴主要区域，并进一步划分为68个特征点。针对上述68个特征点，为了实现在各种复杂环境下人脸情绪识别的识别率、准确度和可靠性，在光照、反射、阴影条件下使用Faster R-CNN快速局部区域卷积神经网络和RVM相关向量机相结合的方法；在运动、抖动、晃动和移动复杂情况下的贝叶斯网络(Bayes Network)、马尔科夫链、变分推理相结合的方法；在人脸显示不全、多人脸环境、嘈杂背景条件下使用深度卷积神经网络(Deep Convolutional Neural Network)和超解析度对抗性神经网络SRGANs(Super-resolution Generative Adversarial Network)、增强学习(Reinforcement Learning)、反向传播算法(Backpropagation)、丢弃算法(Dropout)相结合的方法，有效地促进人脸表情识别的效果、准确度和可靠性。
所述的特征点包括68个,形成人脸的均匀特征分布，并提供一套测定指标，所述指标包括可追踪(Traceable)、轻微(Slight)、中等(Medium)、显著(Marked)、极大(Great)、最强(Maximum)共6个状态。
进一步，在应用技术方面开发了一些组合算法，包括人脸特征和纹理处理算法、光效处理算法和多人脸跟踪算法等，并基于C语言搭建移动嵌入式软件、并搭建英特网应用软件。
具体地说，人脸表情识别需要克服光线的明暗、动作状态、人脸部位、多人及背景嘈杂度等各种信息。针对以上各种复杂度人脸识别过程，将特征和分类器进行联合优化，发挥特征表达和分类器联合协作的功能，并将传统人工智能的(输入层、隐藏层和输出层共3层以上)线性映射和深层神经网络(包括输入层、隐藏层、输出层至少20层以上)的非线性映射进行结合，比如在光照、模糊、阴影的条件下，采用传统RWM相关向量机的特征点提取和Faster R-CNN神经网络的特征分类相结合，促进在这种条件下的人脸情绪识别准确度，然后在深度学习是采用具有强大的学习能力和高效的特征表达能力(Representation)的数学模型，从像素级的原始数据、边缘、纹理、局部、整张人脸图片、多张人脸变化图片到人脸表情逐层提取信息。
更进一步，在其它复杂情况下如连续动作、显示不全、嘈杂环境等条件下采用深度学习方法，包括Deep CNN深度卷积神经网络、Bayes CNN贝叶斯卷积神经网络、SRGANs超解析度对抗生成网络、RL增强学习方法中的2个或2以上结合的方法，实现了局部特征点获取、全局表征能力、人脸识别分类过程中的干扰和判定方法，从而提高了英特网和物联网环境下移动视嵌入式视频实时拍摄的人脸情绪识别准确度。
进一步，对于人脸在识别过程中，还可以进行去干扰处理，即在20层以上的深层卷积神经网络中，利用多层神经网络在抽象、聚类、表征上的优越性，在确保移动嵌入式设备的视频抓拍过程中人脸高效处理的同时，对于各种复杂的非人脸固有的特征进行剥离；我们结合超解析度对抗网络，它通过对抗性训练的正反例方法计算正反例人脸图像的对抗损失和重构高分辨率图像和原始高分辨率图像损失的加权和，获得以上复杂情况下的人脸表情识别；将反向传播算法运用在深度神经网络学习过程中，检查了人脸识别的误差,并使用随机梯度下降(Stochastic Gradient Descent)方法对隐藏层-隐藏层、隐藏层-输出层的权值进行更新，促进神经网络学习过程中的全局优化，形成基于预测的视频抓拍连续图片的人脸表情识别结果方法。
具体地说，光照、反射或阴影情况下采用快速区域卷积神经网络(Faster R-CNN)和传统RVM分类器相结合和的方法。通过人脸检测迅速从视频摄像头中快速定位人脸区域并获取人脸面部特征点信息，具体地说，通过对光照强度和方向、反射、阴影照度的量化，采用确定光照模式，把光照系统分为光源、人脸和光照环境，确定光照模型中的全局环境光线强度、观察点位置、人脸及背景的正面和背面计算光照、镜面颜色计算及其分离，对光照、反射和阴影进行光照消除、反射吸收和光照补偿，消除这些光照复杂情况下的人脸识别的负面影响；采用光照模型包括环境光的漫反射模型(Diffuse Reflectivity Model)、皮肤的镜面反射模型(Mirror Reflectivity Model)和基于材质和纹理的朗伯光照模型(LambertIllumination Model)中的一种对人脸的光照进行处理，生成光照射的各种训练样本和测试样本；采取尺寸归一化、光照归一化结合的方式对人脸图像进行抽象预处理。尺寸归一化算法是在给定变换下对具有不变性质的特征如人脸面积、周长、人脸各部位均衡分布，进行图像旋转、放大或缩小，得到满足需要的人脸标准图像；光照归一算法是在Retinex成像理论的基础上，建立一种基于全变分模型的多分辨率快速算法，用于计算图像中的光照成分，进而进行计算反映图像纹理的反射系数图像，最后将低频的光照和高频的反射系数分离，获取准确的人脸图片。将以上非人脸固有的属性从人脸中剥离出来；将分割后的人脸区域图像送到训练好的快速区域卷积神经网络中，快速获取人脸各区域部位的特征；串联所有人脸区域的特征，并采用相关向量机RVM(Relevance Vector Machine)监督学习的分类器进行表情的分类，形成在光照、反射或阴影的人脸情绪识别(Facial EmotionRecognition)。
在移动、晃动和模糊的复杂情况下，根据静态状况下的分类特征，使用贝叶斯卷积神经网络(Bayes CNN)进行无监督的深度学习，根据视频连续抓取的人脸图片，提取人脸特征，采用贝叶斯分类器进行自动分类,并解决数据拟合问题。在一般分布和普通维度下，采用EM期望值最大化(Expectation Maximization)算法，在统计数据中计算充分的期望值，利用对人脸参数隐藏变量的现有估计值，计算最大似然估计值(Maximum LikelihoodEstimation)；在最大化期望值的基础上通过最大后验估计(MaximumAPosteriori)计算人脸参数的值。通过数据挖掘的方法，对数据进行描述性聚类分析，根据相似度、空间距离或密度将数据对象自动分别为若干类，比如空间距离方法中在人脸各部位的空间中具有不变形。描述性聚类主要是人脸特征数据的一般属性进行分类，旨在发现人脸识别数据集所有变量间的类内相似性、规律性和模式，比如判断人脸兴趣区的运动单元的组合，形成新的特征和类别，并形成更细微的情绪。使用朴素贝叶斯分类器(Bayes)方法进行以上类和数值数据的推理，对人脸的喜、怒、哀、乐等八种情绪进行分类和细分；在移动、晃动和模糊的条件下，需要针对动态人脸对象进行视频目标跟踪、定位和识别，这就涉及到高维度条件分布的求解。在这种条件下，无法直接计算后验概率的图片卷积积分运算，因此采用马尔可夫链蒙特卡多方法(MCMC)。MCMC是一组从后验分布中渐进地产生人脸及情绪图片样本的有效方法，它通过连续采集以上动态条件下的人脸样本的平均值，得到关于模型参数的推论，求解近似似然函数值，解决以上条件下的人脸情绪识别的优化问题。在实时计算的参数异常庞大的情况下，比如在每秒60帧的动态人脸抓取条件下，每台设备每天24小时的图片计算量在60*60*60*24＝5184000张图片(相对于iPhone的平均3000张照片)，我们采用变分贝叶斯方法处理视频图片数据。变分贝叶斯方法是一种通过函数逼近的方法近似求解贝叶斯推理和机器学习中难积的积分的一类技术，它通常用于实时视频图片大数据条件下的复杂统计模型，它可以视为EM算法的扩展,它在可观测变量和参数值的基础上引入了潜在变量，通过最优化方法进行逼近，从而解决了视频动态帧环境下的多概率分布无法计算的问题，并解决了图片卷积的大矩阵求逆无法计算的问题；在用Backpropagation算法回溯训练以上视频图片数据的时候，为了防止数据的过拟合问题，我们采用Dropout算法随机移除隐含层和可见层的神经元，在多次批量处理中训练贝叶斯CNN网络，并得出平均预测率，从而归纳(或泛化)出一个稳定可靠的贝叶斯模型；在这个过程中，我们也采用增强学习方法(Reinforcement Learning)，在无监督的条件下智能地从环境到行为的映射，使得奖励信号函数值最大，调高贝叶斯网络的可靠性。在嵌入式环境下的强化学习主要包括分析政策网络的策略方法、价值网络的奖惩评估、模型网络的算法推荐，分别搜索最优的决策行为，分析移动、晃动、模糊状况下的视频人脸图片类别，比如通过分析每帧之间的帧差异判断晃动的程序或者通过连续时间序列的判断模糊的状态、进行智能人脸图片的智能拼接，把影响人脸及表情识别的干扰性特征剥离，实现了移动、晃动和模糊条件下的人脸表情识别的准确性和可靠性，使用模型表征环境，在AMR移动嵌入式设备抓取的移动或连续的人脸进行表情识别。
在人脸显示不全、多人脸环境、嘈杂背景下，为了保障人脸表情分类的可靠性，在处理人脸显示不全时，采用了Deep CNN深度卷积神经网络、SRGANs超解析度对抗生成网络、RL增强学习相结合的方法，利用深度神经网络的上层神经元响应的中度稀疏的特征对人脸的属性进行分析,在检测识别到人脸的情况下，获取人脸的特征比如灰度值或边缘值在保持类间变化的同时保持最小的类内变化，对人脸及表情的属性具有很强的选择性，对人脸被局部遮挡的情况下，这个方法能够准确通过动态特征识别人脸，具有很强的鲁棒性，并通过人脸的全局信息和连续视频帧的上下文信息对需要识别的人脸进行判断，并调用人脸系统中的脸型对显示不全的人脸进行补全、特征描绘与表情全局拼接，获取需要识别的人脸的完整数据；在多人脸情况下,人脸抓拍照系统同时自动跟踪多个人脸，并通过连续抓取视频帧的驻留时间，判定需要多个人脸的重要性及先后次序，并对每一个人脸机器表情进行分类处理；在嘈杂背景下采用尺度不变特征转换SIFT(Scale Invariant FeatureTransformation)算法，检测并定位与人脸无关的背景物体比如窗户、椅子、风景画等并把它们从需要识别的人脸图片中剥离出去，仅显示需要跟踪识别的人脸及表情。在这过程中采用Backpropagation算法(算法介绍见前面)，在输出层得不到数据的情况下，在沿随机梯度下降的基础上回溯修改各神经元的权值，获取平均测试值，优化Deep CNN卷积模型。我们采用SRGANs超解析度对抗网络，它通过对抗性训练的正反例方法计算正反例人脸图像的对抗损失和重构高分辨率图像和原始高分辨率图像损失的加权和，获得以上复杂情况下的人脸表情识别。对抗性训练主要包括生成器、判别器和反馈器，其中生成器负责输出干扰性人脸图片、判别器进行人脸图片的真伪判断；重构性训练是对原始高清晰度和降采样后的低分辨率的成对样本进行训练，通过重构高分辨率图像和原始高分辨率图像之间特征映射的欧几里得距离，把低分辨率图片重建为高清晰度图片，并反馈给Deep CNN进行以上复杂环境下的人脸及情绪识别。
本发明结合了图像和模式识别、神经网络和贝叶斯网路的方法论，发明了基于移动嵌入式的复杂环境下人脸情绪识别的方法，结合基于C的嵌入式软件、基于三层架构的因联网应用软件、图形和模式识别、深度神经网络、复杂数学模型、大数据应用等各种高新技术，在机器人、互动娱乐、物联网、互联网、虚拟现实和增强现实的四维环境等各领域具有比较高的市场价值。
本发明结合传统图像和模式识别的简单直接和神经网络的高效分类和自动推理等优势，并采用超解析度对抗性神经网络、增强学习和反向传播算法，提高了浅层和深度学习各种条件下的移动嵌入式环境中的视频帧运行和人脸表情识别的同步稳定运行，并能够针对运动、模糊、晃动、抖动阴影、光照变化、人脸部位显示不全、多人脸环境、嘈杂背景下实现实时实时的人脸表情处理，达到了高准确度、高效率和可靠性。
附图说明
图1是本发明所实现的人脸表情识别及分类流程图。
图2是本发明所实现快速局部卷积神经网络的流程图。
图3是本发明所实现贝叶斯卷积神经网络的流程图。
图4是本发明所实现Deep CNN深度卷积神经网络的流程图。
具体实施方式
为了更清楚地表述本发明，下面结合附图对本发明作进一步地描述。
图1所示，为本发明所实现的基于复杂环境下的人脸情绪识别方法的整体流程图，人脸表情识别的流程为：先将视频图片输入，然后进行人脸检测，将检测结果进行预处理，去除干扰(去干扰处理)，再进行线边缘映射进行人脸区域识别和人脸区域选择，同时针对映射后的数据进行对8个感兴趣区域进行Gabor小波变换、对变换后的图像进行均匀模式的LBP特征提取，然后通过PCA主成分分析对提取的特征进行降维处理，进行特征向量对比，运动单元和中性表情对比，最后得出8种表情。
在相对常态ARM视屏拍摄的人脸条件下，采用图像识别方法通过人脸检测迅速从视频摄像头中快速定位人脸区域并获取人脸面部特征点信息；根据人脸面部68个特征点的位置，对8个感兴趣区域进行Gabor小波变换、对变换后的图像进行均匀模式的LBP特征提取、通过PCA主成分分析对提取的特征进行降维处理，并通过与训练、测试样本中的特征向量进行对比，形成人脸及表情的初步识别结果；根据人脸区域表现的基本运动单位(BasicAction Unit)与中性表情(Neutral Facial Expression)运动单元的对比，结合人脸及表情的初步识别结果，对人脸表情进行细分并最终得出8种主要人脸表情分类及细分分类，形成人脸情绪识别。
将人脸划分为额头、眉眼、脸颊、鼻子、嘴巴、下巴主要区域，并进一步划分为若干个特征点，针对上述特征点，为了实现在各种环境下人脸情绪识别的识别率、准确度和可靠性，在常态情况下使用人脸面部和表情特征分类的方法；在光照、反射、阴影条件下使用Faster R-CNN基于面部区域卷积神经网络的方法；在运动、抖动、晃动和移动复杂情况下的贝叶斯网络(Bayes Network)、马尔科夫链蒙特卡洛方法、变分推理相结合的方法；在人脸显示不全、多人脸环境、嘈杂背景条件下使用深度卷积神经网络(Deep ConvolutionalNeural Network)和超解析度对抗性神经网络SRGANs(Super-resolution GenerativeAdversarial Network)、增强学习(Reinforcement Learning)、反向传播算法(Backpropagation)、丢弃算法(Dropout)相结合的方法，有效地促进人脸表情识别的效果、准确度和可靠性。
所述的特征点，为68个特征点,形成人脸的特征点分布，并提供一套测定指标，所述指标包括可追踪(Traceable)、轻微(Slight)、中等(Medium)、显著(Marked)、极大(Great)、最强(Maximum)共6个状态。
人脸表情识别需要克服光线的明暗、动作状态、人脸部位、多人及背景嘈杂度等各种信息。针对以上各种复杂度人脸识别过程，将特征和分类器进行分开或联合优化，发挥特征表达和分类器联合协作的功能，并将传统人工智能的(输入层、隐藏层和输出层共3层以上)线性映射和深层神经网络(包括输入层、隐藏层、输出层至少20层以上)的非线性映射进行结合.
在光照、模糊、阴影的条件下，采用传统RVM相关向量机的特征点提取和Faster R-CNN神经网络的特征分类相结合，促进在这种条件下的人脸情绪识别准确度，然后在深度学习是采用具有强大的学习能力和高效的特征表达能力(Representation)的数学模型，从像素级的原始数据、边缘、纹理、局部、整张人脸到人脸表情逐层提取信息。
在连续动作、显示不全、嘈杂环境等条件下采用深度学习方法，包括Deep CNN深度卷积神经网络、Bayes CNN贝叶斯卷积神经网络、SRGANs超解析度对抗生成网络、RL增强学习方法中的2个或2以上结合的方法，实现了局部特征点获取、全局表征能力、人脸识别分类过程中的干扰和判定方法，从而提高了英特网和物联网环境下移动视嵌入式视频实时拍摄的人脸情绪识别准确度。
对于人脸在识别过程中，还可以进行去干扰处理，即在20层以上的深层卷积神经网络中，利用多层神经网络在抽象、聚类、表征上的优越性，在确保移动嵌入式设备的视频抓拍过程中人脸高效处理的同时，对于各种复杂的非人脸固有的特征进行剥离；我们结合超解析度对抗网络，它通过对抗性训练的正反例方法计算正反例人脸图像的对抗损失和重构高分辨率图像和原始高分辨率图像损失的加权和，获得以上复杂情况下的人脸表情识别；将反向传播算法运用在深度神经网络学习过程中，检查了人脸识别的误差,并使用随机梯度下降(Stochastic Gradient Descent)方法对隐藏层-隐藏层、隐藏层-输出层的权值进行更新，促进神经网络学习过程中的全局优化，形成基于预测的视频抓拍连续图片的人脸表情识别结果方法。
如图2所示，光照、反射或阴影情况下采用快速区域卷积神经网络(Faster R-CNN)和传统RVM相关分类器相结合和的方法。通过人脸检测迅速从视频摄像头中快速定位人脸区域并获取人脸面部特征点信息，进行光源和光照环境分析，再进行光照消除、吸收和补偿，然后建立光照处理模型(包括有漫反射、镜面反射和朗伯光照模型)，依据模型生成测试样本，然后进行预处理，进行尺寸归一化和Retinex归一化处理，再剥离非人脸特征，进行Faster R-CNN人脸图像训练，然后进行人脸局部特征获取和串联，最后通过RVM相关分类器进行表情识别。
具体地说，通过对光照强度和方向、反射、阴影照度的量化，采用确定光照模式，把光照系统分为光源、人脸和光照环境，确定光照模型中的全局环境光线强度、观察点位置、人脸及背景的正面和背面计算光照、镜面颜色计算及其分离，对光照、反射和阴影进行光照消除、反射吸收和光照补偿，，消除这些光照复杂情况下的人脸识别的负面影响；采用光照模型包括环境光的漫反射模型(Diffuse Reflectivity Model)、皮肤的镜面反射模型(Mirror Reflectivity Model)和基于材质和纹理的朗伯光照模型(LambertIllumination Model)中的一种对人脸的光照进行处理，生成光照射的各种训练样本和测试样本；采取尺寸归一化、光照归一化结合的方式对人脸图像进行抽象预处理。尺寸归一化算法是在给定变换下对具有不变性质的特征如人脸面积、周长、人脸各部位均衡分布，进行图像旋转、放大或缩小，得到满足需要的人脸标准图像；光照归一算法是在Retinex成像理论的基础上，建立一种基于全变分模型的多分辨率快速算法，用于计算图像中的光照成分，进而进行计算反映图像纹理的反射系数图像，最后将低频的光照和高频的反射系数分离，获取准确的人脸图片。将以上非人脸固有的属性从人脸中剥离出来；将分割后的人脸区域图像送到训练好的快速区域卷积神经网络中，快速获取人脸各区域部位的特征；串联所有人脸区域的特征，并采用相关向量机RVM(Relevance Vector Machine)监督学习的分类器进行表情的分类，形成在光照、反射或阴影的人脸情绪识别(Facial EmotionRecognition)。
在正反例训练中，对抗性神经网络的干扰图片生成和判别的优势，通过生成器(Generator)输入带干扰性质的人脸图片，通过判别器(Discriminator)验证生成器人脸图片的真伪，通过反馈器(Feedback Processor)将判别为真的人脸图片传给深度卷积神经网络进行人脸表情的处理；在重构高分辨率图像和原始高分辨率图像损失中，主要是分析原始分辨率的特征值和分类，在全局和上下文信息中进行图像的重构。将反向传播算法运用在深度神经网络学习过程中，检查了人脸识别的误差，并对隐藏层-隐藏层、隐藏层-输出层的权值进行更新，促进神经网络学习过程中的全局优化，形成基于预测的视频抓拍连续图片的人脸表情识别结果方法。
在移动、晃动和模糊的复杂情况下，根据静态状况下的分类特征，如图3所示，使用贝叶斯卷积神经网络(Bayes CNN)进行无监督的深度学习，根据视频连续抓取的人脸图片，提取人脸特征，采用贝叶斯分类器进行自动分类,并解决数据拟合问题。在一般分布和普通维度下，采用EM期望值最大化(Expectation Maximization)算法，在统计数据中充分计算期望值，利用对人脸参数隐藏变量的现有估计值，计算最大似然估计值(MaximumLikelihood Estimation)；在最大化期望值的基础上通过最大后验估计(Maximum APosteriori)计算人脸参数的值。通过数据挖掘的方法，对数据进行描述性聚类分析，根据相似度、空间距离或密度将数据对象自动分别为若干类，比如空间距离方法中在人脸各部位的空间中具有不变形。描述性聚类主要是人脸特征数据的一般属性进行分类，旨在发现人脸识别数据集所有变量间的类内相似性、规律性和模式，比如判断人脸兴趣区的运动单元的组合，形成新的特征和类别，并形成更细微的情绪。使用朴素贝叶斯分类器(Bayes)方法进行以上类和数值数据的推理，对人脸的喜、怒、哀、乐等八种情绪进行分类和细分；在移动、晃动和模糊的条件下，需要针对动态人脸对象进行视频目标跟踪、定位和识别，这就涉及到高维度条件分布的求解。在这种条件下，无法直接计算后验概率的图片卷积积分运算，因此采用马尔可夫链蒙特卡多方法(MCMC)。MCMC是一组从后验分布中渐进地产生人脸及情绪图片样本的有效方法，它通过连续采集以上动态条件下的人脸样本的平均值，得到关于模型参数的推论，求解近似似然函数值，解决以上条件下的人脸情绪识别的优化问题。在实时计算的参数异常庞大的情况下，比如在每秒60帧的动态人脸抓取条件下，每台设备每天24小时的图片计算量在60*60*60*24＝5184000张图片(相对于iPhone存储的平均3000张照片)，我们采用变分贝叶斯方法处理视频图片数据。变分贝叶斯方法是一种通过函数逼近的方法近似求解贝叶斯推理和机器学习中难积积分的一类技术，它通常用于实时视频图片大数据条件下的复杂统计模型，它可以视为EM算法的扩展,它在可观测变量和参数值的基础上引入了潜在变量，通过最优化方法进行逼近，从而解决了移动视频动态帧环境下的多概率分布无法计算的问题，并解决了图片卷积大矩阵求逆无法计算的问题；在用Backpropagation算法回溯训练以上视频图片数据的时候，为了防止数据的过拟合问题，我们采用Dropout算法随机移除隐含层和可见层的神经元，在多次批量处理中训练贝叶斯CNN网络，并得出平均预测率，从而归纳(或泛化)出一个稳定可靠的贝叶斯模型；在这个过程中，我们也采用增强学习方法(Reinforcement Learning)，在无监督的条件下智能地从环境到行为的映射，使得奖励信号函数值最大，调高贝叶斯网络的可靠性。在嵌入式环境下的强化学习主要包括分析政策网络的策略方法、价值网络的奖惩评估、模型网络的算法推荐，分别搜索最优的决策行为，分析移动、晃动、模糊状况下的视频人脸图片类别，比如通过分析每帧之间的帧差异判断晃动的程序或者通过连续时间序列的判断模糊的状态、进行人脸图片的智能拼接，把影响人脸及表情识别的干扰性特征剥离，实现了移动、晃动和模糊条件下的人脸表情识别的准确性和可靠性，使用模型表征环境，在AMR移动嵌入式设备抓取的移动或连续的人脸进行表情识别。
在人脸显示不全、多人脸环境、嘈杂背景下，为了保障人脸表情分类的可靠性，在处理人脸显示不全时，如图4所示，采用了Deep CNN深度卷积神经网络、SRGANs超解析度对抗生成网络、RL增强学习相结合的方法，利用深度神经网络的上层神经元响应的中度稀疏特征对人脸的属性进行分析,在检测识别到人脸的情况下，获取人脸的特征比如灰度值或边缘值在保持类间变化的同时保持最小的类内变化，对人脸及表情的属性具有很强的选择性，对人脸被局部遮挡的情况下，这个方法能够准确通过动态特征识别人脸，具有很强的鲁棒性，并通过人脸的全局信息和连续视频帧的上下文信息对需要识别的人脸进行判断，并调用人脸系统中的脸型对显示不全的人脸进行补全、特征描绘与表情全局拼接，获取需要识别的人脸的完整数据；在多人脸情况下,人脸抓拍照系统同时自动跟踪多个人脸，并通过连续抓取视频帧的驻留时间，判定需要多个人脸的重要性及先后次序，并对每一个人脸机器表情进行分类处理；在嘈杂背景下采用尺度不变特征转换SIFT(Scale InvariantFeature Transformation)算法，检测并定位与人脸无关的背景物体比如窗户、椅子、风景画等并把它们从需要识别的人脸图片中剥离出去，仅显示需要跟踪识别的人脸及表情。在这过程中采用Backpropagation算法(算法介绍见前面)，在输出层得不到数据的情况下，在沿随机梯度下降的基础上回溯修改各神经元的权值，获取平均测试值，优化Deep CNN卷积模型。我们采用SRGANs超解析度对抗网络，它通过对抗性训练的正反例方法计算正反例人脸图像的对抗损失和重构高分辨率图像和原始高分辨率图像损失的加权和，获得以上复杂情况下的人脸表情识别。对抗性训练主要包括生成器、判别器和反馈器，其中生成器负责输出干扰性人脸图片、判别器进行人脸图片的真伪判断；重构性训练是对原始高清晰度和降采样后的低分辨率的成对样本进行训练，通过重构高分辨率图像和原始高分辨率图像之间的特征映射的欧几里得距离，把低分辨率图片重建为高清晰度图片，并反馈给Deep CNN进行以上复杂环下的人脸及情绪识别。
本发明结合了图像和模式识别、深度神经网络和贝叶斯网络的方法论，发明了基于移动嵌入式的复杂环境下人脸情绪识别的方法，结合基于C的嵌入式软件、基于三层架构的因联网应用软件、图形和模式识别、深度神经网络、复杂数学模型、大数据应用等各种高新技术，在机器人、物联网、互联网、虚拟现实和增强现实的四维环境等各领域具有比较高的市场价值。
本发明结合传统图像和模式识别的简单直接和神经网络的高效分类和推理等优势，并采用超解析度对抗性神经网络、增强学习和反向传播算法，提高了浅层和深度学习各种条件下的移动嵌入式环境中的视频帧运行和人脸表情识别的同步稳定运行，并能够针对运动、模糊、晃动、抖动阴影、光照变化、人脸部位显示不全、多人脸环境、嘈杂背景下实现实时实时的人脸表情处理，达到了高准确度、高效率和可靠性。
以上公开的仅为本发明的几个具体实施例，但是本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (10)

1.一种基于复杂环境下的人脸情绪识别方法，其特征在于该方法将人脸划分为额头、眉眼、脸颊、鼻子、嘴巴、下巴主要区域，并进一步划分为68个特征点，针对上述特征点，在常态情况下使用人脸面部和表情特征分类的方法，在光照、反射、阴影条件下使用Faster R-CNN基于面部区域卷积神经网络的方法；在运动、抖动、晃动和移动复杂情况下的贝叶斯网络、马尔科夫链、变分推理相结合的方法；在人脸显示不全、多人脸环境、嘈杂背景条件下使用深度卷积神经网络和超解析度对抗性神经网络SRGANs、增强学习、反向传播算法、丢弃算法相结合的方法，有效地促进人脸表情识别的效果、准确度和可靠性。
2.根据权利要求1所述的基于复杂环境下的人脸情绪识别方法，其特征在于所述的特征点，为68个特征点,形成人脸的特征点的均匀分布，并提供一套测定指标，所述指标包括可追踪(Traceable)、轻微(Slight)、中等(Medium)、显著(Marked)、极大(Great)、最强(Maximum)共6个状态。
3.根据权利要求2所述的基于复杂环境下的人脸情绪识别方法，其特征在于针对以上各种复杂度人脸识别过程，将特征和分类器进行联合优化，发挥特征表达和分类器联合协作的功能，并将输入层、隐藏层和输出层的线性映射和深层神经网络的非线性映射进行结合，在光照、模糊、阴影的条件下，采用传统RWM相关向量机的特征点提取和Faster R-CNN神经网络的特征分类相结合，促进在这种条件下的人脸情绪识别准确度。
4.根据权利要求3所述的基于复杂环境下的人脸情绪识别方法，其特征在于对于人脸在识别过程中，还可以进行去干扰处理，即在20层以上的深层卷积神经网络中，利用多层神经网络在抽象、聚类、表征上的优越性，在确保移动嵌入式设备的视频抓拍过程中人脸高效处理的同时，对于各种复杂的非人脸固有的特征进行剥离；结合超解析度对抗网络，通过对抗性训练的正反例方法计算正反例人脸图像的对抗损失和重构高分辨率图像和原始高分辨率图像损失的加权和，获得以上复杂情况下的人脸表情识别；将反向传播算法运用在深度神经网络学习过程中，检查了人脸识别的误差,并使用随机梯度下降方法对隐藏层-隐藏层、隐藏层-输出层的权值进行更新，促进神经网络学习过程中的全局优化。
5.根据权利要求4所述的基于复杂环境下的人脸情绪识别方法，其特征在于光照、反射或阴影情况下采用快速区域卷积神经网络和传统RVM分类器相结合和的方法，通过人脸检测迅速从视频摄像头中快速定位人脸区域并获取人脸面部特征点信息，具体地说，通过对光照强度和方向、反射、阴影照度的量化，采用确定光照模式，把光照系统分为光源、人脸和光照环境，确定光照模型中的全局环境光线强度、观察点位置、人脸及背景的正面和背面计算光照、镜面颜色计算及其分离，对光照、反射和阴影进行光照消除、反射吸收和光照补偿，消除这些光照复杂情况下的人脸识别的负面影响；采用光照模型包括环境光的漫反射模型、皮肤的镜面反射模型和基于材质和纹理的朗伯光照模型中的一种对人脸的光照进行处理，生成光照射的各种训练样本和测试样本；采取尺寸归一化、光照归一化结合的方式对人脸图像进行抽象预处理；将以上非人脸固有的属性从人脸中剥离出来；将分割后的人脸区域图像送到训练好的快速区域卷积神经网络中，快速获取人脸各区域部位的特征；串联所有人脸区域的特征，并采用支持向量机RVM监督学习的分类器进行表情的分类，形成在光照、反射或阴影的人脸情绪识别。
6.根据权利要求4所述的基于复杂环境下的人脸情绪识别方法，其特征在于在移动、晃动和模糊的复杂情况下，根据静态状况下的分类特征，使用贝叶斯卷积神经网络进行无监督的深度学习，根据视频连续抓取的人脸图片，提取人脸特征，采用贝叶斯分类器进行自动分类,并解决数据拟合问题。
7.根据权利要求6所述的基于复杂环境下的人脸情绪识别方法，其特征在于在一般分布和普通维度下，采用EM期望值最大化算法，在统计数据中计算期望值，利用对人脸参数隐藏变量的现有估计值，计算最大似然估计值；在最大化期望值的基础上通过最大后验估计计算人脸参数的值；通过数据挖掘的方法，对数据进行描述性聚类分析，根据相似度、空间距离或密度将数据对象自动分别为若干类，使用朴素贝叶斯分类器方法进行以上类和数值数据的推理，对人脸的喜、怒、哀、乐等八种情绪进行分类和细分。
8.根据权利要求7所述的基于复杂环境下的人脸情绪识别方法，其特征在于在移动、晃动和模糊的条件下，需要针对动态人脸对象进行视频目标跟踪、定位和识别，采用马尔可夫链蒙特卡多方法，通过连续采集以上动态条件下的人脸样本的平均值，得到关于模型参数的推论，求解近似似然函数值，解决以上条件下的人脸情绪识别的优化问题。
9.根据权利要求4所述的基于复杂环境下的人脸情绪识别方法，其特征在于在人脸显示不全、多人脸环境、嘈杂背景下，为了保障人脸表情分类的可靠性，在处理人脸显示不全时，采用了Deep CNN深度卷积神经网络、SRGANs超解析度对抗生成网络、RL增强学习相结合的方法，利用深度神经网络的上层神经元响应的中度稀疏的特征对人脸的属性进行分析,在检测识别到人脸的情况下，获取人脸的特征比如灰度值或边缘值在保持类间变化的同时保持最小的类内变化，并通过人脸的全局信息和连续视频帧的上下文信息对需要识别的人脸进行判断，并调用人脸系统中的脸型对显示不全的人脸进行补全、特征描绘与表情全局拼接，获取需要识别的人脸的完整数据。
10.根据权利要求9所述的基于复杂环境下的人脸情绪识别方法，其特征在于在多人脸情况下,人脸抓拍照系统同时自动跟踪多个人脸，并通过连续抓取视频帧的驻留时间，判定需要多个人脸的重要性及先后次序，并对每一个人脸机器表情进行分类处理；在嘈杂背景下采用尺度不变特征转换SIFT算法，检测并定位与人脸无关的背景物体并把它们从需要识别的人脸图片中剥离出去，采用Backpropagation算法，在输出层得不到数据的情况下，在沿随机梯度下降的基础上回溯修改各神经元的权值，获取平均测试值，优化DeepCNN卷积模型；采用SRGANs超解析度对抗网络，通过对抗性训练的正反例方法计算正反例人脸图像的对抗损失和重构高分辨率图像和原始高分辨率图像损失的加权和，获得以上复杂情况下的人脸表情识别；对抗性训练主要包括生成器、判别器和反馈器，其中生成器负责输出干扰性人脸图片、判别器进行人脸图片的真伪判断；重构性训练是对原始高清晰度和降采样后的低分辨率的成对样本进行训练，通过重构高分辨率图像和原始高分辨率图像之间的特征映射的欧几里得距离，把低分辨率图片重建为高清晰度图片，并反馈给Deep CNN进行以上复杂环下的人脸及情绪识别。
CN201710612421.3A 2017-07-25 2017-07-25 一种基于复杂环境下的人脸情绪识别方法 Pending CN107423707A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710612421.3A CN107423707A (zh) 2017-07-25 2017-07-25 一种基于复杂环境下的人脸情绪识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710612421.3A CN107423707A (zh) 2017-07-25 2017-07-25 一种基于复杂环境下的人脸情绪识别方法

Publications (1)

Publication Number Publication Date
CN107423707A true CN107423707A (zh) 2017-12-01

Family

ID=60430495

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710612421.3A Pending CN107423707A (zh) 2017-07-25 2017-07-25 一种基于复杂环境下的人脸情绪识别方法

Country Status (1)

Country Link
CN (1) CN107423707A (zh)

Cited By (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107909061A (zh) * 2017-12-07 2018-04-13 电子科技大学 一种基于不完备特征的头部姿态跟踪装置及方法
CN108177146A (zh) * 2017-12-28 2018-06-19 北京奇虎科技有限公司 机器人头部的控制方法、装置及计算设备
CN108230239A (zh) * 2017-12-25 2018-06-29 中国科学院自动化研究所 人脸表情图像合成装置
CN108280413A (zh) * 2018-01-17 2018-07-13 百度在线网络技术（北京）有限公司 人脸识别方法和装置
CN108447041A (zh) * 2018-01-30 2018-08-24 中国航天电子技术研究院 一种基于增强学习的多源图像融合方法
CN108446609A (zh) * 2018-03-02 2018-08-24 南京邮电大学 一种基于生成对抗网络的多角度面部表情识别方法
CN108491816A (zh) * 2018-03-30 2018-09-04 百度在线网络技术（北京）有限公司 在视频中进行目标跟踪的方法和装置
CN108509940A (zh) * 2018-04-20 2018-09-07 北京达佳互联信息技术有限公司 人脸图像跟踪方法、装置、计算机设备及存储介质
CN108765014A (zh) * 2018-05-30 2018-11-06 中海云智慧（北京）物联网科技有限公司 一种基于门禁系统的智能广告投放方法
CN108858245A (zh) * 2018-08-20 2018-11-23 深圳威琳懋生物科技有限公司 一种导购机器人
CN108961272A (zh) * 2018-07-02 2018-12-07 浙江工业大学 一种基于深度卷积对抗生成网络的皮肤病图像的生成方法
CN108985377A (zh) * 2018-07-18 2018-12-11 太原理工大学 一种基于深层网络的多特征融合的图像高级语义识别方法
CN109048934A (zh) * 2018-08-20 2018-12-21 深圳威琳懋生物科技有限公司 一种智能导购机器人系统
CN109086707A (zh) * 2018-07-25 2018-12-25 电子科技大学 一种基于DCNNs-LSTM模型的表情追踪方法
CN109145992A (zh) * 2018-08-27 2019-01-04 西安电子科技大学 协作生成对抗网络和空谱联合的高光谱图像分类方法
CN109299669A (zh) * 2018-08-30 2019-02-01 清华大学 基于双智能体的视频人脸关键点检测方法及装置
CN109345770A (zh) * 2018-11-14 2019-02-15 深圳市尼欧科技有限公司 一种孩童遗留车内报警系统及孩童遗留车内报警方法
CN109376625A (zh) * 2018-10-10 2019-02-22 东北大学 一种基于卷积神经网络的面部表情识别方法
CN109493297A (zh) * 2018-11-01 2019-03-19 重庆中科云丛科技有限公司 低质量人脸图像增强方法、系统、设备及存储介质
CN109508689A (zh) * 2018-11-28 2019-03-22 中山大学 一种对抗强化的表情识别方法
CN109508783A (zh) * 2018-12-28 2019-03-22 杭州翼兔网络科技有限公司 情绪粗略划归模型构建及自动进行情绪粗略获取方法
CN109598212A (zh) * 2018-11-20 2019-04-09 北京知道创宇信息技术有限公司 一种人脸检测方法及装置
CN109614611A (zh) * 2018-11-28 2019-04-12 中山大学 一种融合生成非对抗网络与卷积神经网络的情感分析方法
CN109635727A (zh) * 2018-12-11 2019-04-16 昆山优尼电能运动科技有限公司 一种人脸表情识别方法及装置
CN109620269A (zh) * 2019-01-28 2019-04-16 深圳市赛梅斯凯科技有限公司 疲劳检测方法、装置、设备及可读存储介质
CN109711392A (zh) * 2019-01-24 2019-05-03 郑州市现代人才测评与考试研究院 一种基于人脸识别的人才评定方法
CN109829362A (zh) * 2018-12-18 2019-05-31 深圳壹账通智能科技有限公司 安检辅助分析方法、装置、计算机设备和存储介质
CN109934150A (zh) * 2019-03-07 2019-06-25 百度在线网络技术（北京）有限公司 一种会议参与度识别方法、装置、服务器和存储介质
CN109948441A (zh) * 2019-02-14 2019-06-28 北京奇艺世纪科技有限公司 模型训练、图像处理方法、装置、电子设备及计算机可读存储介质
CN110019732A (zh) * 2017-12-27 2019-07-16 杭州华为数字技术有限公司 一种智能问答方法以及相关装置
CN110059593A (zh) * 2019-04-01 2019-07-26 华侨大学 一种基于反馈卷积神经网络的面部表情识别方法
CN110084143A (zh) * 2019-04-04 2019-08-02 广州大学 一种用于人脸识别的情绪信息保护方法及系统
CN110147822A (zh) * 2019-04-16 2019-08-20 北京师范大学 一种基于人脸动作单元检测的情绪指数计算方法
CN110188604A (zh) * 2019-04-18 2019-08-30 盎锐（上海）信息科技有限公司 基于2d和3d影像的人脸识别方法及装置
CN110287895A (zh) * 2019-04-17 2019-09-27 北京阳光易德科技股份有限公司 一种基于卷积神经网络进行情绪测量的方法
CN110288677A (zh) * 2019-05-21 2019-09-27 北京大学 一种基于可形变结构的行人图像生成方法和装置
WO2019218111A1 (zh) * 2018-05-14 2019-11-21 合刃科技（武汉）有限公司 电子装置及拍摄控制方法
CN110569741A (zh) * 2019-08-19 2019-12-13 昆山琪奥智能科技有限公司 一种基于人工智能的表情识别系统
CN110866962A (zh) * 2019-11-20 2020-03-06 成都威爱新经济技术研究院有限公司 一种基于卷积神经网络的虚拟人像与表情同步方法
WO2020052170A1 (zh) * 2018-09-11 2020-03-19 深圳云天励飞技术有限公司 一种目标对象识别方法、装置及存储介质
CN111325243A (zh) * 2020-02-03 2020-06-23 天津大学 一种基于区域注意力学习机制的视觉关系检测方法
CN111368579A (zh) * 2018-12-25 2020-07-03 中国电信股份有限公司 图像识别方法、装置和系统，以及计算机可存储介质
CN111539476A (zh) * 2020-04-24 2020-08-14 四川大学 基于朴素贝叶斯的信息源定位的观测点部署方法
CN111753798A (zh) * 2020-07-03 2020-10-09 重庆智者炎麒科技有限公司 一种基于图像处理的教学辅助系统及其方法
CN111967526A (zh) * 2020-08-20 2020-11-20 东北大学秦皇岛分校 基于边缘映射和深度学习的遥感图像变化检测方法及系统
CN109829959B (zh) * 2018-12-25 2021-01-08 中国科学院自动化研究所 基于人脸解析的表情编辑方法及装置
TWI717008B (zh) * 2019-09-09 2021-01-21 訊連科技股份有限公司 生物特徵資料庫的建立方法、臉部識別方法與系統
CN112395921A (zh) * 2019-08-16 2021-02-23 杭州海康威视数字技术股份有限公司 异常行为检测方法、装置及系统
CN112487811A (zh) * 2020-10-21 2021-03-12 上海旻浦科技有限公司 基于强化学习的级联信息提取系统及方法
CN112840359A (zh) * 2018-10-12 2021-05-25 渊慧科技有限公司 通过使用时间值传递在长时间尺度上控制代理
CN113205504A (zh) * 2021-05-12 2021-08-03 青岛大学附属医院 基于知识图谱的人工智能肾肿瘤预测系统
CN113515702A (zh) * 2021-07-07 2021-10-19 北京百度网讯科技有限公司 内容推荐方法、模型训练方法、装置、设备及存储介质
CN113674373A (zh) * 2021-07-02 2021-11-19 清华大学 基于深度学习的真实感人脸渲染方法与装置
CN113688715A (zh) * 2021-08-18 2021-11-23 山东海量信息技术研究院 面部表情识别方法及系统
CN113850210A (zh) * 2021-09-29 2021-12-28 支付宝(杭州)信息技术有限公司 一种人脸图像处理方法、装置及电子设备
CN113869152A (zh) * 2021-09-14 2021-12-31 武汉大学 一种基于对抗性攻击的反人脸识别方法及系统
CN114299578A (zh) * 2021-12-28 2022-04-08 杭州电子科技大学 一种基于面部情绪分析的动态人脸生成方法
CN114842523A (zh) * 2022-03-16 2022-08-02 西南大学 表情识别方法、装置、电子设备及计算机可读取存储介质
CN115052193A (zh) * 2022-05-25 2022-09-13 天翼爱音乐文化科技有限公司 视频推荐方法、系统、装置及存储介质
CN115641236A (zh) * 2022-09-30 2023-01-24 广州宏途数字科技有限公司 一种基于大数据的校园智能安全管理系统
CN115690891A (zh) * 2022-12-30 2023-02-03 苏州魔视智能科技有限公司 人脸情绪的识别方法、装置、设备及存储介质
US20230080164A1 (en) * 2017-12-20 2023-03-16 Alpvision S.A. Authentication machine learning from multiple digital presentations
CN116186594A (zh) * 2023-04-26 2023-05-30 成都市环境应急指挥保障中心 基于决策网络结合大数据实现环境变化趋势智能检测方法
US11668684B2 (en) * 2019-07-23 2023-06-06 Landmark Graphics Corporation Stochastic realization of parameter inversion in physics-based empirical models
WO2023098912A1 (zh) * 2021-12-02 2023-06-08 新东方教育科技集团有限公司 图像处理方法、装置、存储介质及电子设备
CN117315749A (zh) * 2023-09-25 2023-12-29 惠州市沃生照明有限公司 用于台灯的灯光智能调控方法及系统
CN118215182A (zh) * 2024-03-22 2024-06-18 东莞莱姆森科技建材有限公司 一种具有用户情绪适应功能的led卫浴镜及镜柜

Cited By (91)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107909061B (zh) * 2017-12-07 2021-03-30 电子科技大学 一种基于不完备特征的头部姿态跟踪装置及方法
CN107909061A (zh) * 2017-12-07 2018-04-13 电子科技大学 一种基于不完备特征的头部姿态跟踪装置及方法
US20230080164A1 (en) * 2017-12-20 2023-03-16 Alpvision S.A. Authentication machine learning from multiple digital presentations
US11989961B2 (en) * 2017-12-20 2024-05-21 Alpvision S.A. Authentication machine learning from multiple digital presentations
CN108230239A (zh) * 2017-12-25 2018-06-29 中国科学院自动化研究所 人脸表情图像合成装置
CN110019732A (zh) * 2017-12-27 2019-07-16 杭州华为数字技术有限公司 一种智能问答方法以及相关装置
CN108177146A (zh) * 2017-12-28 2018-06-19 北京奇虎科技有限公司 机器人头部的控制方法、装置及计算设备
CN108280413A (zh) * 2018-01-17 2018-07-13 百度在线网络技术（北京）有限公司 人脸识别方法和装置
CN108280413B (zh) * 2018-01-17 2022-04-19 百度在线网络技术（北京）有限公司 人脸识别方法和装置
CN108447041B (zh) * 2018-01-30 2020-12-15 中国航天电子技术研究院 一种基于增强学习的多源图像融合方法
CN108447041A (zh) * 2018-01-30 2018-08-24 中国航天电子技术研究院 一种基于增强学习的多源图像融合方法
CN108446609A (zh) * 2018-03-02 2018-08-24 南京邮电大学 一种基于生成对抗网络的多角度面部表情识别方法
CN108491816A (zh) * 2018-03-30 2018-09-04 百度在线网络技术（北京）有限公司 在视频中进行目标跟踪的方法和装置
CN108509940A (zh) * 2018-04-20 2018-09-07 北京达佳互联信息技术有限公司 人脸图像跟踪方法、装置、计算机设备及存储介质
CN108509940B (zh) * 2018-04-20 2019-11-05 北京达佳互联信息技术有限公司 人脸图像跟踪方法、装置、计算机设备及存储介质
WO2019218111A1 (zh) * 2018-05-14 2019-11-21 合刃科技（武汉）有限公司 电子装置及拍摄控制方法
CN111279682A (zh) * 2018-05-14 2020-06-12 合刃科技（武汉）有限公司 电子装置及拍摄控制方法
CN108765014A (zh) * 2018-05-30 2018-11-06 中海云智慧（北京）物联网科技有限公司 一种基于门禁系统的智能广告投放方法
CN108961272A (zh) * 2018-07-02 2018-12-07 浙江工业大学 一种基于深度卷积对抗生成网络的皮肤病图像的生成方法
CN108985377A (zh) * 2018-07-18 2018-12-11 太原理工大学 一种基于深层网络的多特征融合的图像高级语义识别方法
CN109086707A (zh) * 2018-07-25 2018-12-25 电子科技大学 一种基于DCNNs-LSTM模型的表情追踪方法
CN108858245A (zh) * 2018-08-20 2018-11-23 深圳威琳懋生物科技有限公司 一种导购机器人
CN109048934A (zh) * 2018-08-20 2018-12-21 深圳威琳懋生物科技有限公司 一种智能导购机器人系统
CN109145992A (zh) * 2018-08-27 2019-01-04 西安电子科技大学 协作生成对抗网络和空谱联合的高光谱图像分类方法
CN109145992B (zh) * 2018-08-27 2021-07-20 西安电子科技大学 协作生成对抗网络和空谱联合的高光谱图像分类方法
CN109299669B (zh) * 2018-08-30 2020-11-13 清华大学 基于双智能体的视频人脸关键点检测方法及装置
CN109299669A (zh) * 2018-08-30 2019-02-01 清华大学 基于双智能体的视频人脸关键点检测方法及装置
WO2020052170A1 (zh) * 2018-09-11 2020-03-19 深圳云天励飞技术有限公司 一种目标对象识别方法、装置及存储介质
CN109376625A (zh) * 2018-10-10 2019-02-22 东北大学 一种基于卷积神经网络的面部表情识别方法
CN112840359B (zh) * 2018-10-12 2024-05-14 渊慧科技有限公司 通过使用时间值传递在长时间尺度上控制代理
CN112840359A (zh) * 2018-10-12 2021-05-25 渊慧科技有限公司 通过使用时间值传递在长时间尺度上控制代理
CN109493297A (zh) * 2018-11-01 2019-03-19 重庆中科云丛科技有限公司 低质量人脸图像增强方法、系统、设备及存储介质
CN109345770A (zh) * 2018-11-14 2019-02-15 深圳市尼欧科技有限公司 一种孩童遗留车内报警系统及孩童遗留车内报警方法
CN109598212A (zh) * 2018-11-20 2019-04-09 北京知道创宇信息技术有限公司 一种人脸检测方法及装置
CN109614611A (zh) * 2018-11-28 2019-04-12 中山大学 一种融合生成非对抗网络与卷积神经网络的情感分析方法
CN109614611B (zh) * 2018-11-28 2021-09-03 中山大学 一种融合生成非对抗网络与卷积神经网络的情感分析方法
CN109508689B (zh) * 2018-11-28 2023-01-03 中山大学 一种对抗强化的表情识别方法
CN109508689A (zh) * 2018-11-28 2019-03-22 中山大学 一种对抗强化的表情识别方法
CN109635727A (zh) * 2018-12-11 2019-04-16 昆山优尼电能运动科技有限公司 一种人脸表情识别方法及装置
CN109829362A (zh) * 2018-12-18 2019-05-31 深圳壹账通智能科技有限公司 安检辅助分析方法、装置、计算机设备和存储介质
CN109829959B (zh) * 2018-12-25 2021-01-08 中国科学院自动化研究所 基于人脸解析的表情编辑方法及装置
CN111368579B (zh) * 2018-12-25 2023-07-07 中国电信股份有限公司 图像识别方法、装置和系统，以及计算机可存储介质
CN111368579A (zh) * 2018-12-25 2020-07-03 中国电信股份有限公司 图像识别方法、装置和系统，以及计算机可存储介质
CN109508783B (zh) * 2018-12-28 2021-07-20 沛誉(武汉)科技有限公司 情绪粗略划归模型构建及自动进行情绪粗略获取方法
CN109508783A (zh) * 2018-12-28 2019-03-22 杭州翼兔网络科技有限公司 情绪粗略划归模型构建及自动进行情绪粗略获取方法
CN109711392A (zh) * 2019-01-24 2019-05-03 郑州市现代人才测评与考试研究院 一种基于人脸识别的人才评定方法
CN109620269B (zh) * 2019-01-28 2021-10-22 锦图计算技术(深圳)有限公司 疲劳检测方法、装置、设备及可读存储介质
CN109620269A (zh) * 2019-01-28 2019-04-16 深圳市赛梅斯凯科技有限公司 疲劳检测方法、装置、设备及可读存储介质
CN109948441A (zh) * 2019-02-14 2019-06-28 北京奇艺世纪科技有限公司 模型训练、图像处理方法、装置、电子设备及计算机可读存储介质
CN109934150A (zh) * 2019-03-07 2019-06-25 百度在线网络技术（北京）有限公司 一种会议参与度识别方法、装置、服务器和存储介质
CN110059593B (zh) * 2019-04-01 2022-09-30 华侨大学 一种基于反馈卷积神经网络的面部表情识别方法
CN110059593A (zh) * 2019-04-01 2019-07-26 华侨大学 一种基于反馈卷积神经网络的面部表情识别方法
CN110084143B (zh) * 2019-04-04 2021-09-28 广州大学 一种用于人脸识别的情绪信息保护方法及系统
CN110084143A (zh) * 2019-04-04 2019-08-02 广州大学 一种用于人脸识别的情绪信息保护方法及系统
CN110147822A (zh) * 2019-04-16 2019-08-20 北京师范大学 一种基于人脸动作单元检测的情绪指数计算方法
CN110287895A (zh) * 2019-04-17 2019-09-27 北京阳光易德科技股份有限公司 一种基于卷积神经网络进行情绪测量的方法
CN110287895B (zh) * 2019-04-17 2021-08-06 北京阳光易德科技股份有限公司 一种基于卷积神经网络进行情绪测量的方法
CN110188604A (zh) * 2019-04-18 2019-08-30 盎锐（上海）信息科技有限公司 基于2d和3d影像的人脸识别方法及装置
CN110288677A (zh) * 2019-05-21 2019-09-27 北京大学 一种基于可形变结构的行人图像生成方法和装置
US11668684B2 (en) * 2019-07-23 2023-06-06 Landmark Graphics Corporation Stochastic realization of parameter inversion in physics-based empirical models
CN112395921A (zh) * 2019-08-16 2021-02-23 杭州海康威视数字技术股份有限公司 异常行为检测方法、装置及系统
CN110569741A (zh) * 2019-08-19 2019-12-13 昆山琪奥智能科技有限公司 一种基于人工智能的表情识别系统
TWI717008B (zh) * 2019-09-09 2021-01-21 訊連科技股份有限公司 生物特徵資料庫的建立方法、臉部識別方法與系統
CN110866962A (zh) * 2019-11-20 2020-03-06 成都威爱新经济技术研究院有限公司 一种基于卷积神经网络的虚拟人像与表情同步方法
CN110866962B (zh) * 2019-11-20 2023-06-16 成都威爱新经济技术研究院有限公司 一种基于卷积神经网络的虚拟人像与表情同步方法
CN111325243B (zh) * 2020-02-03 2023-06-16 天津大学 一种基于区域注意力学习机制的视觉关系检测方法
CN111325243A (zh) * 2020-02-03 2020-06-23 天津大学 一种基于区域注意力学习机制的视觉关系检测方法
CN111539476A (zh) * 2020-04-24 2020-08-14 四川大学 基于朴素贝叶斯的信息源定位的观测点部署方法
CN111753798A (zh) * 2020-07-03 2020-10-09 重庆智者炎麒科技有限公司 一种基于图像处理的教学辅助系统及其方法
CN111967526A (zh) * 2020-08-20 2020-11-20 东北大学秦皇岛分校 基于边缘映射和深度学习的遥感图像变化检测方法及系统
CN111967526B (zh) * 2020-08-20 2023-09-22 东北大学秦皇岛分校 基于边缘映射和深度学习的遥感图像变化检测方法及系统
CN112487811A (zh) * 2020-10-21 2021-03-12 上海旻浦科技有限公司 基于强化学习的级联信息提取系统及方法
CN113205504A (zh) * 2021-05-12 2021-08-03 青岛大学附属医院 基于知识图谱的人工智能肾肿瘤预测系统
CN113674373A (zh) * 2021-07-02 2021-11-19 清华大学 基于深度学习的真实感人脸渲染方法与装置
CN113674373B (zh) * 2021-07-02 2024-04-26 清华大学 基于深度学习的真实感人脸渲染方法
CN113515702A (zh) * 2021-07-07 2021-10-19 北京百度网讯科技有限公司 内容推荐方法、模型训练方法、装置、设备及存储介质
CN113688715A (zh) * 2021-08-18 2021-11-23 山东海量信息技术研究院 面部表情识别方法及系统
CN113869152B (zh) * 2021-09-14 2024-09-27 武汉大学 一种基于对抗性攻击的反人脸识别方法及系统
CN113869152A (zh) * 2021-09-14 2021-12-31 武汉大学 一种基于对抗性攻击的反人脸识别方法及系统
CN113850210A (zh) * 2021-09-29 2021-12-28 支付宝(杭州)信息技术有限公司 一种人脸图像处理方法、装置及电子设备
CN113850210B (zh) * 2021-09-29 2024-05-17 支付宝(杭州)信息技术有限公司 一种人脸图像处理方法、装置及电子设备
WO2023098912A1 (zh) * 2021-12-02 2023-06-08 新东方教育科技集团有限公司 图像处理方法、装置、存储介质及电子设备
CN114299578A (zh) * 2021-12-28 2022-04-08 杭州电子科技大学 一种基于面部情绪分析的动态人脸生成方法
CN114842523A (zh) * 2022-03-16 2022-08-02 西南大学 表情识别方法、装置、电子设备及计算机可读取存储介质
CN115052193A (zh) * 2022-05-25 2022-09-13 天翼爱音乐文化科技有限公司 视频推荐方法、系统、装置及存储介质
CN115641236A (zh) * 2022-09-30 2023-01-24 广州宏途数字科技有限公司 一种基于大数据的校园智能安全管理系统
CN115690891A (zh) * 2022-12-30 2023-02-03 苏州魔视智能科技有限公司 人脸情绪的识别方法、装置、设备及存储介质
CN115690891B (zh) * 2022-12-30 2023-04-07 苏州魔视智能科技有限公司 人脸情绪的识别方法、装置、设备及存储介质
CN116186594A (zh) * 2023-04-26 2023-05-30 成都市环境应急指挥保障中心 基于决策网络结合大数据实现环境变化趋势智能检测方法
CN117315749A (zh) * 2023-09-25 2023-12-29 惠州市沃生照明有限公司 用于台灯的灯光智能调控方法及系统
CN118215182A (zh) * 2024-03-22 2024-06-18 东莞莱姆森科技建材有限公司 一种具有用户情绪适应功能的led卫浴镜及镜柜

Similar Documents

Publication Publication Date Title
CN107423707A (zh) 一种基于复杂环境下的人脸情绪识别方法
Zahara et al. The facial emotion recognition (FER-2013) dataset for prediction system of micro-expressions face using the convolutional neural network (CNN) algorithm based Raspberry Pi
Othmani et al. Age estimation from faces using deep learning: A comparative analysis
Zhou et al. A lightweight convolutional neural network for real-time facial expression detection
Li et al. Deep reinforcement learning for robust emotional classification in facial expression recognition
Singh et al. Deep learning and machine learning based facial emotion detection using CNN
Suzuki et al. Recognition and mapping of facial expressions to avatar by embedded photo reflective sensors in head mounted display
CN110276248B (zh) 一种基于样本权值分配和深度学习的人脸表情识别方法
CN113221655B (zh) 基于特征空间约束的人脸欺骗检测方法
Ali et al. Facial emotion detection using neural network
Pathar et al. Human emotion recognition using convolutional neural network in real time
Peng et al. Towards facial expression recognition in the wild: A new database and deep recognition system
Rusia et al. An efficient CNN approach for facial expression recognition with some measures of overfitting
Borgalli et al. Deep learning for facial emotion recognition using custom CNN architecture
CN109815920A (zh) 基于卷积神经网络和对抗卷积神经网络的手势识别方法
Zhang et al. A survey on face anti-spoofing algorithms
Patil et al. Performance analysis of static hand gesture recognition approaches using artificial neural network, support vector machine and two stream based transfer learning approach
ALISAWI et al. Real-time emotion recognition using deep learning methods: systematic review
Chen et al. A multi-scale fusion convolutional neural network for face detection
Tunc et al. Age group and gender classification using convolutional neural networks with a fuzzy logic-based filter method for noise reduction
Khellat-Kihel et al. Gender and ethnicity recognition based on visual attention-driven deep architectures
Moran Classifying emotion using convolutional neural networks
Singla et al. Age and gender detection using Deep Learning
Sultana et al. A Deep CNN based Kaggle Contest Winning Model to Recognize Real-Time Facial Expression
Badhe et al. Deep learning based facial emotion recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171201

WD01 Invention patent application deemed withdrawn after publication