[go: up one dir, main page]

CN107992199A - 一种用于电子设备的情绪识别方法、系统及电子设备 - Google Patents

一种用于电子设备的情绪识别方法、系统及电子设备 Download PDF

Info

Publication number
CN107992199A
CN107992199A CN201711373367.8A CN201711373367A CN107992199A CN 107992199 A CN107992199 A CN 107992199A CN 201711373367 A CN201711373367 A CN 201711373367A CN 107992199 A CN107992199 A CN 107992199A
Authority
CN
China
Prior art keywords
user
electronic device
feature information
data
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711373367.8A
Other languages
English (en)
Inventor
吴迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Genius Technology Co Ltd
Original Assignee
Guangdong Genius Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Genius Technology Co Ltd filed Critical Guangdong Genius Technology Co Ltd
Priority to CN201711373367.8A priority Critical patent/CN107992199A/zh
Publication of CN107992199A publication Critical patent/CN107992199A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/011Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明实施例涉及教育类电子产品技术领域,公开了一种用于电子设备的情绪识别方法、系统及电子设备,该方法包括:通过电子设备的前置摄像头获取用户面部表情特征信息,和/或通过所述电子设备配对的麦克风设备采集人体特征信息,所述人体特征信息包括声纹数据、心率数据和皮电数据中的至少一种;分析所述用户面部表情特征信息和/或所述人体特征信息,获得用户情绪信息,以作为所述电子设备功能参数的调整依据进行功能参数调整;实施本发明实施例,用于准确获取用户情绪,以作为功能参数调整的调整依据,提供更加人性化的功能实现。

Description

一种用于电子设备的情绪识别方法、系统及电子设备
技术领域
本发明涉及教育类电子产品技术领域,具体涉及一种用于电子设备的情绪识别方法、系统及电子设备。
背景技术
随着人工智能的发展,教学方式和学习渠道也发生了翻天覆地的变化,市场上竞相出现很多教育类电子设备,如早教机、早教视频机等。这些电子设备通过将国学、英语、百科课堂、娱乐等领域内容整合到应用中,甚至通过配置电子设备配对的麦克风设备,来实现人机交互、手动/机器抢答、竞赛比拼等多种功能,能够吸引更多学生,提高学生的学习兴趣和学习效率。另外,电子设备还能辅助家长监督学生学习和休息,起到监管学生的目的。
早教类电子设备的功能虽然相对比较强大,相对传统较为枯燥的学习方式,其更加能够得到学生的共鸣,有利于学生全方位发展,但是目前市场上教育类电子设备的各种功能实现在人性化上仍然存在着很大的改善空间,是本领域技术人员探讨的技术热点之一。
发明内容
本发明实施例公开了一种用于电子设备的情绪识别方法、系统及电子设备,用于识别用户情绪,以能够提高功能实现的人性化。
本发明第一方面公开了一种用于电子设备的情绪识别方法,可包括:
通过电子设备的前置摄像头获取用户面部表情特征信息,和/或通过所述电子设备配对的麦克风设备采集人体特征信息,所述人体特征信息包括声纹数据、心率数据和皮电数据中的至少一种;
分析所述用户面部表情特征信息和/或所述人体特征信息,获得用户情绪信息,以作为所述电子设备功能参数的调整依据进行功能参数调整。
作为一种可选的实施方式,在本发明第一方面中,所述通过电子设备的前置摄像头获取用户面部表情特征信息,包括:
通过所述电子设备的摄像头获取用户人脸的预览图像,对所述预览图像进行面部图像识别,以获得所述用户面部表情特征信息。
作为一种可选的实施方式,在本发明第一方面中,所述通过所述电子设备配对的麦克风设备采集人体特征信息,包括:
通过所述电子设备配对的麦克风设备内置的声纹采集模块采集所述声纹数据,以及通过所述麦克风设备内置的心率传感器检测所述心率数据,以及通过所述麦克风设备内置的皮电传感器检测所述皮电数据,结合所述声纹数据、所述心率数据、所述皮电数据以获得所述人体特征信息。
作为一种可选的实施方式,在本发明第一方面中,所述方法还包括:
在所述通过所述电子设备的摄像头获取用户人脸的预览图像,对所述预览图像进行面部图像识别,以获得所述用户面部表情特征信息之后,判断所述预览图像是否与预存储人脸图像相匹配;以及
在所述分析所述用户面部表情特征信息和/或所述人体特征信息,获得用户情绪信息之后,且所述预览图像与所述预存储人脸图像相匹配时,向目标终端设备发送提醒消息,所述提醒消息包括所述用户情绪信息。
作为一种可选的实施方式,在本发明第一方面中,所述方法还包括:
通过所述麦克风设备内置的温度传感器获取用户体温数据;
判断所述用户体温数据是否超过预设阈值;
在所述用户体温数据超过所述预设阈值时,进行体温提醒。
本发明第二方面公开了一种电子设备,可包括:
信息获取单元,用于通过电子设备的前置摄像头获取用户面部表情特征信息,和/或通过所述电子设备配对的麦克风设备采集人体特征信息,所述人体特征信息包括声纹数据、心率数据和皮电数据中的至少一种;
分析单元,用于分析所述用户面部表情特征信息和/或所述人体特征信息,获得用户情绪信息,以作为所述电子设备功能参数的调整依据进行功能参数调整。
作为一种可选的实施方式,在本发明第二方面中,所述信息获取单元包括:
表情获取单元,用于通过所述电子设备的摄像头获取用户人脸的预览图像,对所述预览图像进行面部图像识别,以获得所述用户面部表情特征信息。
作为一种可选的实施方式,在本发明第二方面中,所述信息获取单元包括:
特征获取单元,用于通过所述电子设备配对的麦克风设备内置的声纹采集模块采集所述声纹数据,以及通过所述麦克风设备内置的心率传感器检测所述心率数据,以及通过所述麦克风设备内置的皮电传感器检测所述皮电数据,结合所述声纹数据、所述心率数据、所述皮电数据以获得所述人体特征信息。
作为一种可选的实施方式,在本发明第二方面中,所述电子设备还包括:
判断单元,用于在所述表情获取单元通过所述电子设备的摄像头获取用户人脸的预览图像,对所述预览图像进行面部图像识别,以获得所述用户面部表情特征信息之后,判断所述预览图像是否与预存储人脸图像相匹配;以及
第一提醒单元,用于在所述分析单元分析所述用户面部表情特征信息和/或所述人体特征信息,获得用户情绪信息之后,且所述判断单元确定所述预览图像与所述预存储人脸图像相匹配时,向目标终端设备发送提醒消息,所述提醒消息包括所述用户情绪信息。
作为一种可选的实施方式,在本发明第二方面中,所述电子设备还包括:
第二提醒单元,用于通过所述麦克风设备内置的温度传感器获取用户体温数据;以及,判断所述用户体温数据是否超过预设阈值;以及,在所述用户体温数据超过所述预设阈值时,进行体温提醒。
本发明第三方面公开了一种电子设备,可包括:
存储有可执行程序代码的存储器;
与所述存储器耦合的处理器;
所述处理器调用所述存储器中存储的所述可执行程序代码,执行如本发明第一方面所述的用于电子设备的情绪识别方法。
本发明第四方面公开了一种计算机可读存储介质,其存储用于电子数据交换的计算机程序,其中,所述计算机程序使得计算机执行如本发明第一方面所述的用于电子设备的情绪识别方法。
本发明第五方面公开了一种用于电子设备的情绪识别系统,可包括:
电子设备、与所述电子设备配对的麦克风设备;
所述电子设备用于通过电子设备的前置摄像头获取用户面部表情特征信息,和/或从所述麦克风设备获取人体特征信息,所述人体特征信息包括声纹数据、心率数据和皮电数据中的至少一种;以及,分析所述用户面部表情特征信息和/或所述人体特征信息,获得用户情绪信息,以作为所述电子设备功能参数的调整依据进行功能参数调整;
所述麦克风设备用于采集所述人体特征信息,并将所述人体特征信息发送给所述电子设备。
与现有技术相比,本发明实施例具有以下有益效果:
在本发明实施例中,通过电子设备的前置摄像头获取用户面部表情特征信息,和/或通过电子设备配对的麦克风设备采集人体特征信息,该人体特征信息包括声纹数据、心率数据和皮电数据中的至少一种,然后分析用户面部表情特征和/或人体特征信息,从而获取到用户情绪信息,作为电子设备功能参数的调整依据来进行功能参数调整;可以看出,本发明实施例提供能够用于检测用户情绪的电子设备,其中,可以通过一维信息量,如用户面部表情特征信息或者人体特征信息获取用户情绪,或者通过二维信息量,如用户面部表情特征信息和人体特征信息获取用户情绪,可以准确有效地获取到用户情绪,然后根据该用户情绪进行功能参数调整,提高功能实现的人性化。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例公开的用于电子设备的情绪识别方法的流程示意图;
图2为本发明实施例公开的用于电子设备的情绪识别方法的另一流程示意图;
图3为本发明实施例公开的用于电子设备的情绪识别方法的另一流程示意图;
图4为本发明实施例公开的电子设备的结构示意图;
图5为本发明实施例公开的电子设备的另一结构示意图;
图6为本发明实施例公开的电子设备的另一结构示意图;
图7为本发明实施例公开的电子设备的另一结构示意图;
图8为本发明实施例公开的电子设备的另一结构示意图;
图9为本发明实施例公开的用于电子设备的情绪识别系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书中的术语“第一”、“第二”等是用于区别不同的对象,而不是用于描述特定顺序。本发明实施例的术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例公开了一种用于电子设备的情绪识别方法,用于识别用户情绪,以进行功能设置,提高功能实现的人性化。本发明实施例还相应地公开了一种用于电子设备的情绪识别系统和一种电子设备。
其中,本发明实施例公开的电子设备包括但不仅限于平板电脑(如早教机、早教视频机)、智能手机等。其中,电子设备的操作系统包括但不限于Android操作系统、IOS操作系统、Symbian(塞班)操作系统、Black Berry(黑莓)操作系统、Windows Phone8操作系统等等,本发明实施例不做限定。电子设备还设置有无线网络通信模块,如蓝牙模块,麦克风设备中也设置有无线网络通信模块,如蓝牙模块,那么电子设备与麦克风设备之间通过蓝牙配对连接,实现数据通信。
在一些可实施的方式中,电子设备和麦克风设备在开启后,电子设备可以进行蓝牙搜索,在查找麦克风设备的蓝牙后,与麦克风设备进行蓝牙连接。基于连接的电子设备和麦克风设备,即完成了蓝牙配对连接。在使用过程中,麦克风设备采集外部声音,然后通过蓝牙传输给电子设备。在本发明实施例中,在电子设备正面设置前置摄像头和在背面设置后置摄像头,或者在电子设备背面或者后面设置一个摄像头,设置该摄像头使得其具备前置拍摄功能和后置拍摄功能。麦克风设备中内置有声纹采集模块、心率传感器、皮电传感器等,甚至还可以设置有温度传感器、红外线传感器等。
基于上述对电子设备、麦克风设备的简单介绍,下面将通过具体实施例,对本发明技术方案进行详细说明。
实施例一
请参阅图1,图1为本发明实施例公开的用于电子设备的情绪识别方法的流程示意图;如图1所示,一种用于电子设备的情绪识别方法可包括:
101、电子设备通过前置摄像头获取用户面部表情特征信息,和/或通过电子设备配对的麦克风设备采集人体特征信息,该人体特征信息包括声纹数据、心率数据和皮电数据中的至少一种。
在执行步骤101之前,电子设备检测是否处于亮屏状态,在处于亮屏状态时,检测电子设备任一应用程序的功能是否在被使用,在任一应用程序的功能在被使用时,电子设备通过前置摄像头获取用户面部表情特征信息,和/或通过电子设备配对的麦克风设备采集人体特征信息。
可以理解,步骤101包括三种方案,方案一,电子设备通过前置摄像头获取用户面部表情特征信息;方案二,通过电子设备配对的麦克风设备采集人体特征信息;方案三,电子设备通过前置摄像头获取用户面部表情特征信息和通过电子设备配对的麦克风设备采集人体特征信息。
在上述方案二和方案三中,电子设备检测其是否与麦克风完成蓝牙连接配对(即是否处于蓝牙连接状态),在完成蓝牙连接配对后,麦克风设备检测用户是否手持该麦克风设备(是否处于手持状态),在用户手持该麦克风设备时,采集人体特征信息,然后通过蓝牙将人体特征信息发送给电子设备。
需要说明的是,在上述方案一和方案二中,电子设备通过获取一维信息量(用户面部表情特征信息或者人体特征信息)来分析得到用户情绪信息。而在方案三中,电子设备通过获取二维信息量(用户面部表情特征信息和人体特征信息)来分析得到用户情绪信息,能够更加准确地分析出用户情绪信息,以提高情绪分析的准确率。
在一些可实施的方式中,麦克风设备通过以下方式检测用户是否手持该麦克风设备:麦克风设备通过内置的皮电传感器检测皮电数据,在检测到皮电数据时,确定用户手持该麦克风设备,在没有检测到皮电数据时,确定用户没有手持该麦克风设备;或者,麦克风设备通过内置的温度传感器采集温度,当采集到的温度在预设温度范围内时,确定用户手持该麦克风设备,当采集到的温度不在预设温度范围内时,确定用户没有手持该麦克风设备。通过上述实施方式,能够有效准确地识别出麦克风设备是否处于手持状态,在处于手持状态时顺利获取人体特征信息。
在一些可实施的方式中,麦克风设备采集人体特征信息具体包括:麦克风设备通过内置的声纹采集模块采集声纹数据,以及麦克风设备通过内置的心率传感器检测心率数据,以及麦克风设备通过内置的皮电传感器检测该皮电数据,结合声纹数据、心率数据、皮电数据以获得人体特征信息。结合上述对麦克风设备的介绍,麦克风设备能够利用自身内置的声纹采集模块、心率传感器和皮电传感器获取到人体特征信息。还需要说明的是,在用户手持该麦克风设备时,能够通过心率传感器检测到心率数据和通过皮电传感器检测到皮电数据,但是此时若没有声音输入,则无法采集到声纹数据,而在麦克风设备与电子设备完成了蓝牙连接配对后,若用户没有手持该麦克风设备,麦克风设备检测是否有声音输入,在有声音输入时,麦克风设备通过声纹采集模块采集到声纹数据。因此,人体特征信息包括声纹数据、心率数据和皮电数据中的至少一种。
102、电子设备从麦克风设备获取该人体特征信息,分析该用户面部表情特征信息和/或该人体特征信息,获得用户情绪信息,以作为电子设备功能参数的调整依据进行功能参数调整。
其中,电子设备根据用户面部表情特征信息和/或人体特征信息,分析获得用户情绪信息,用户情绪信息包括高兴、伤心、兴奋、沮丧等。
在本发明实施例中,通过电子设备的前置摄像头获取用户面部表情特征信息,和/或通过电子设备配对的麦克风设备采集人体特征信息,该人体特征信息包括声纹数据、心率数据和皮电数据中的至少一种,然后分析用户面部表情特征和/或人体特征信息,从而获取到用户情绪信息,作为电子设备功能参数的调整依据来进行功能参数调整;可以看出,本发明实施例提供能够用于检测用户情绪的电子设备,其中,可以通过一维信息量,如用户面部表情特征信息或者人体特征信息获取用户情绪,或者通过二维信息量,如用户面部表情特征信息和人体特征信息获取用户情绪,可以准确有效地获取到用户情绪,提高用户情绪分析的准确率,然后根据该用户情绪进行功能参数调整,提高功能实现的人性化。
实施例二
请参阅图2,图2为本发明实施例公开的用于电子设备的情绪识别方法的另一流程示意图;如图2所示,一种用于电子设备的情绪识别方法可包括:
201、电子设备在处于亮屏状态且任一应用程序的功能在被使用时,通过前置摄像头获取用户面部表情特征信息。
其中,执行完步骤201之后,转向执行步骤206。
202、麦克风设备与电子设备处于蓝牙连接配对时,麦克风设备检测是否处于手持状态。其中,在麦克风设备处于手持状态时,转向步骤203;在麦克风设备没有处于手持状态时,转向步骤204。
203、麦克风设备采集人体特征信息,该人体特征信息包括声纹数据、心率数据和皮电数据中的至少一种。
执行完步骤203之后,转向执行步骤206。
204、麦克风设备检测是否有声音输入;其中,在有声音输入时,转向步骤205,在没有声音输入时,转向步骤202。
205、麦克风设备采集人体特征信息,此时人体特征信息包括声纹数据。
可以理解,在有声音输入时,通过声纹采集模块采集声纹数据。
206、电子设备从麦克风设备处获取人体特征信息,对用户面部表情特征信息和人体特征信息进行量化分析,以获得用户情绪信息,以作为电子设备功能参数的调整依据进行功能参数调整。
需要说明的是,上述步骤201和步骤202-205,只要步骤201获取到用户面部表情特征信息,和/或通过步骤202-205获取到人体特征信息即可,即步骤201和步骤202-205可能不会同时存在。
在本发明实施例中,电子设备在获取到人体特征信息和/或用户面部表情特征信息后,对人体特征信息和/或用户面部表情特征信息进行量化,然后综合分析出用户情绪,比如,声纹数据在一定范围内、心率数据在一定范围内且皮电数据在一定范围内,而用户面部表情特征信息指示了用户嘴角上翘、眼睛眉梢略微上扬等,则说明用户比较开心,从而分析得到用户情绪信息为开心或者高兴。
另外,在本发明实施例中,电子设备将分析得到的用户情绪信息,存入数据库,以作为用户情绪信息样本。
具体地,电子设备根据分析得到的用户情绪信息,能够进行功能参数调整,例如,用户在录制声音(录制歌声)以获得声音文件时,为了提高声音文件的声音效果,在录制之后,采用声效素材对声音文件进行声效处理,以获得目标声音文件,进而,在本发明实施例中,电子设备能够根据分析得到的用户情绪信息,然后制作相应的声效素材,并保存在电子设备中。当电子设备在录制声音时,同样通过采集声纹数据、心率数据和皮电数据等人体特征信息和/或用户面部表情特征信息,并通过这些信息分析出用户情绪信息,然后根据用户情绪信息选择匹配的声效素材,从而采用匹配的声效素材对声音文件进行声效处理,以提高声效,提高应用程序功能实现的人性化。
再例如,电子设备在播放课件时,电子设备可以根据用户情绪信息设置课件的播放速度,从而达到提高学习效率的目标。因此,电子设备通过分析用户情绪信息,以用户情绪信息作为样本,然后进行播放速度和用户情绪信息对应关系的设置,之后,通过检测用户情绪信息,获取到该用户情绪信息匹配的播放速度,以该播放速度进行课件播放。
实施例三
请参阅图3,图3为本发明实施例公开的用于电子设备的情绪识别方法的另一流程示意图;如图3所示,一种用于电子设备的情绪识别方法可包括:
301、电子设备通过摄像头获取用户人脸的预览图像,对该预览图像进行面部图像识别,以获得用户面部表情特征信息。
执行完步骤301,转向步骤303。
在另一些可实施的方式中,步骤301还可以采用以下方式实现:电子设备通过摄像头获取用户人脸的预览图像,拍摄该预览图像以获得人脸图像,对该人脸图像进行灰度化处理,然后从灰度化处理后的人脸图像中提取像素特征,根据像素特征分析用户面部表情特征信息。
302、麦克风设备采集人体特征信息,该人体特征信息包括声纹数据、心率数据和皮电数据中的至少一种。
执行完步骤302,转向步骤303。
303、电子设备从麦克风设备处获取人体特征信息,对用户面部表情特征信息和人体特征信息进行量化分析,以获得用户情绪信息,以作为电子设备功能参数的调整依据进行功能参数调整。
在一些可实施的方式中,电子设备在获得用户面部表情特征信息之后,先判断该预览图像是否为预存储人脸图像,如果预览图像与预存储人脸图像相匹配,那么在电子设备从麦克风设备处获取人体特征信息,对用户面部表情特征信息和人体特征信息进行量化分析,以获得用户情绪信息之后,向目标终端设备发送提醒消息,该提醒消息包括用户情绪信息。在该实施方式中,在用户打开电子设备时,可以拍摄用户脸部图像并存储,以作为预存储人脸图像,在后续使用过程中,先通过判断该预览图像是否为预存储人脸图像(防止他人替换原用户),然后在分析用户情绪信息之后,向目标终端设备发送提醒消息,例如,在发现用户情绪不好时(伤心,难过等),及时提醒家长,以便家长能够及时提供关心和安抚,确保学生的身心健康。
在另一些可实施的方式中,电子设备在执行本发明实施例的过程中,电子设备通过麦克风设备内置的温度传感器获取用户体温数据;以及,判断该用户体温数据是否超过预设阈值;在用户体温数据超过预设阈值时,进行体温提醒。通过该实施方式,在发现用户发热时,能够及时进行提醒,以便用户及时就医,能够协助家长监管学生,维护学生的身心/身体健康成长。
实施例四
请参阅图4,图4为本发明实施例公开的电子设备的结构示意图;如图4所示,一种电子设备400可包括:
信息获取单元410,用于通过电子设备400的前置摄像头获取用户面部表情特征信息,和/或通过该电子设备400配对的麦克风设备采集人体特征信息,该人体特征信息包括声纹数据、心率数据和皮电数据中的至少一种;
分析单元420,用于分析用户面部表情特征信息和/或人体特征信息,获得用户情绪信息,以作为该电子设备400功能参数的调整依据进行功能参数调整。
在本发明实施例中,信息获取单元410通过电子设备400的前置摄像头获取用户面部表情特征信息,和/或通过电子设备400配对的麦克风设备采集人体特征信息,该人体特征信息包括声纹数据、心率数据和皮电数据中的至少一种,然后分析单元420分析用户面部表情特征和/或人体特征信息,从而获取到用户情绪信息,作为电子设备400功能参数的调整依据来进行功能参数调整;可以看出,本发明实施例提供能够用于检测用户情绪的电子设备400,其中,可以通过一维信息量,如用户面部表情特征信息或者人体特征信息获取用户情绪,或者通过二维信息量,如用户面部表情特征信息和人体特征信息获取用户情绪,可以准确有效地获取到用户情绪,然后根据该用户情绪进行功能参数调整,提高功能实现的人性化。
实施例五
请参阅图5,图5为本发明实施例公开的电子设备的另一结构示意图;图5所示的电子设备400是在图4所示的电子设备400的基础上进行优化得到的,在图5所示的电子设备400中,上述信息获取单元410包括:
表情获取单元510,用于通过电子设备400的摄像头获取用户人脸的预览图像,对该预览图像进行面部图像识别,以获得用户面部表情特征信息。
在另一些可实施的方式中,表情获取单元510还可以通过摄像头获取用户人脸的预览图像,拍摄该预览图像以获得人脸图像,对该人脸图像进行灰度化处理,然后从灰度化处理后的人脸图像中提取像素特征,根据像素特征分析用户面部表情特征信息。
在图5中,上述信息获取单元410还包括:
特征获取单元520,用于通过电子设备400配对的麦克风设备内置的声纹采集模块采集所述声纹数据,以及通过该麦克风设备内置的心率传感器检测心率数据,以及通过该麦克风设备内置的皮电传感器检测皮电数据,结合声纹数据、心率数据、皮电数据以获得人体特征信息。特征获取单元520能够利用电子设备内置的声纹采集模块、心率传感器和皮电传感器获取到人体特征信息。还需要说明的是,在用户手持该麦克风设备时,能够通过心率传感器检测到心率数据和通过皮电传感器检测到皮电数据,但是此时若没有声音输入,则无法采集到声纹数据,而在麦克风设备与电子设备完成了蓝牙连接配对后,若用户没有手持该麦克风设备,麦克风设备检测是否有声音输入,在有声音输入时,特征获取单元520通过声纹采集模块采集到声纹数据。因此,人体特征信息包括声纹数据、心率数据和皮电数据中的至少一种。
实施例六
请参阅图6,图6为本发明实施例公开的电子设备的另一结构示意图;图6所示的电子设备400是在图5所示的电子设备400的基础上进行优化得到的,图6所示的电子设备400还包括:
判断单元610,用于在上述表情获取单元510通过电子设备400的摄像头获取用户人脸的预览图像,对该预览图像进行面部图像识别,以获得用户面部表情特征信息之后,判断该预览图像是否与预存储人脸图像相匹配;以及
第一提醒单元620,用于在上述分析单元420分析用户面部表情特征信息和/或人体特征信息,获得用户情绪信息之后,且上述判断单元610确定预览图像与预存储人脸图像相匹配时,向目标终端设备发送提醒消息,该提醒消息包括用户情绪信息。
在上述实施例中,在用户打开电子设备时,可以拍摄用户脸部图像并存储,以作为预存储人脸图像,在后续使用过程中,判断单元610先通过判断该预览图像是否为预存储人脸图像(防止他人替换原用户),然后在分析用户情绪信息之后,第一提醒单元620向目标终端设备发送提醒消息,例如,在发现用户情绪不好时(伤心,难过等),及时提醒家长,以便家长能够及时提供关心和安抚,确保学生的身心健康。
实施例七
请参阅图7,图7为本发明实施例公开的电子设备的另一结构示意图;图7所示的电子设备400是在图4所示的电子设备400的基础上进行优化得到的,图7所示的电子设备400还包括:
第二提醒单元710,用于通过麦克风设备内置的温度传感器获取用户体温数据;以及,判断用户体温数据是否超过预设阈值;以及,在用户体温数据超过该预设阈值时,进行体温提醒。
通过上述实施例,在发现用户发热时,能够及时进行提醒,以便用户及时就医,能够协助家长监管学生,维护学生的身心/身体健康成长。
实施例八
请参阅图8,图8为本发明实施例公开的电子设备的另一结构示意图;图8所示的电子设备400可包括:至少一个处理器810,例如CPU,存储器820,至少一个通信总线830,输入装置840,输出装置850。其中,通信总线830用于实现这些组件之间的通信连接。存储器820可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器820可选的还可以是至少一个位于远离前述处理器810的存储装置。其中,处理器810可以结合图4至图7所描述的电子设备400,存储器820中存储一组程序代码,且处理器810调用存储器820中存储的程序代码,用于执行以下操作:
通过电子设备400的前置摄像头获取用户面部表情特征信息,和/或通过所述电子设备400配对的麦克风设备采集人体特征信息,所述人体特征信息包括声纹数据、心率数据和皮电数据中的至少一种;
分析所述用户面部表情特征信息和/或所述人体特征信息,获得用户情绪信息,以作为所述电子设备400功能参数的调整依据进行功能参数调整。
可选地,上述处理器810还可以用于执行以下步骤:
通过所述电子设备400的摄像头获取用户人脸的预览图像,对所述预览图像进行面部图像识别,以获得所述用户面部表情特征信息。
可选地,上述处理器810还可以用于执行以下步骤:
通过所述电子设备400配对的麦克风设备内置的声纹采集模块采集所述声纹数据,以及通过所述麦克风设备内置的心率传感器检测所述心率数据,以及通过所述麦克风设备内置的皮电传感器检测所述皮电数据,结合所述声纹数据、所述心率数据、所述皮电数据以获得所述人体特征信息。
可选地,上述处理器810还可以用于执行以下步骤:
在所述通过所述电子设备400的摄像头获取用户人脸的预览图像,对所述预览图像进行面部图像识别,以获得所述用户面部表情特征信息之后,判断所述预览图像是否与预存储人脸图像相匹配;以及
在所述分析所述用户面部表情特征信息和/或所述人体特征信息,获得用户情绪信息之后,且所述预览图像与所述预存储人脸图像相匹配时,向目标终端设备发送提醒消息,所述提醒消息包括所述用户情绪信息。
可选地,上述处理器810还可以用于执行以下步骤:
通过所述麦克风设备内置的温度传感器获取用户体温数据;
判断所述用户体温数据是否超过预设阈值;
在所述用户体温数据超过所述预设阈值时,进行体温提醒。
实施例九
请参阅图9,图9为本发明实施例公开的用于电子设备的情绪识别系统的结构示意图;如图9所示,一种用于电子设备的情绪识别系统可包括:
电子设备400、与电子设备400配对的麦克风设备900;
该电子设备400用于通过电子设备400的前置摄像头获取用户面部表情特征信息,和/或从麦克风设备900获取人体特征信息,该人体特征信息包括声纹数据、心率数据和皮电数据中的至少一种;以及,分析用户面部表情特征信息和/或人体特征信息,获得用户情绪信息,以作为电子设备400功能参数的调整依据进行功能参数调整;
上述麦克风设备900用于采集所述人体特征信息,并将该人体特征信息发送给所述电子设备400。
还可以理解,上述电子设备400和麦克风设备900还可以用于执行图1至图3所示的方法,电子设备400和麦克风设备900的更多说明,可以参阅上述方法实施例和电子设备的实施例,在此不再赘述。
实施上述电子设备400,可以准确有效地获取到用户情绪,然后根据该用户情绪进行功能参数调整,提高功能实现的人性化。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory,ROM)、随机存储器(Random Access Memory,RAM)、可编程只读存储器(Programmable Read-only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory,OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(CompactDisc Read-Only Memory,CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上对本发明实施例公开的一种用于电子设备的情绪识别方法、系统及电子设备进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (13)

1.一种用于电子设备的情绪识别方法,其特征在于,包括:
通过电子设备的前置摄像头获取用户面部表情特征信息,和/或通过所述电子设备配对的麦克风设备采集人体特征信息,所述人体特征信息包括声纹数据、心率数据和皮电数据中的至少一种;
分析所述用户面部表情特征信息和/或所述人体特征信息,获得用户情绪信息,以作为所述电子设备功能参数的调整依据进行功能参数调整。
2.根据权利要求1所述的方法,其特征在于,所述通过电子设备的前置摄像头获取用户面部表情特征信息,包括:
通过所述电子设备的摄像头获取用户人脸的预览图像,对所述预览图像进行面部图像识别,以获得所述用户面部表情特征信息。
3.根据权利要求1或2所述的方法,其特征在于,所述通过所述电子设备配对的麦克风设备采集人体特征信息,包括:
通过所述电子设备配对的麦克风设备内置的声纹采集模块采集所述声纹数据,以及通过所述麦克风设备内置的心率传感器检测所述心率数据,以及通过所述麦克风设备内置的皮电传感器检测所述皮电数据,结合所述声纹数据、所述心率数据、所述皮电数据以获得所述人体特征信息。
4.根据权利要求2所述的方法,其特征在于,所述方法还包括:
在所述通过所述电子设备的摄像头获取用户人脸的预览图像,对所述预览图像进行面部图像识别,以获得所述用户面部表情特征信息之后,判断所述预览图像是否与预存储人脸图像相匹配;以及
在所述分析所述用户面部表情特征信息和/或所述人体特征信息,获得用户情绪信息之后,且所述预览图像与所述预存储人脸图像相匹配时,向目标终端设备发送提醒消息,所述提醒消息包括所述用户情绪信息。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
通过所述麦克风设备内置的温度传感器获取用户体温数据;
判断所述用户体温数据是否超过预设阈值;
在所述用户体温数据超过所述预设阈值时,进行体温提醒。
6.一种电子设备,其特征在于,包括:
信息获取单元,用于通过电子设备的前置摄像头获取用户面部表情特征信息,和/或通过所述电子设备配对的麦克风设备采集人体特征信息,所述人体特征信息包括声纹数据、心率数据和皮电数据中的至少一种;
分析单元,用于分析所述用户面部表情特征信息和/或所述人体特征信息,获得用户情绪信息,以作为所述电子设备功能参数的调整依据进行功能参数调整。
7.根据权利要求6所述的电子设备,其特征在于,所述信息获取单元包括:
表情获取单元,用于通过所述电子设备的摄像头获取用户人脸的预览图像,对所述预览图像进行面部图像识别,以获得所述用户面部表情特征信息。
8.根据权利要求6或7所述的电子设备,其特征在于,所述信息获取单元包括:
特征获取单元,用于通过所述电子设备配对的麦克风设备内置的声纹采集模块采集所述声纹数据,以及通过所述麦克风设备内置的心率传感器检测所述心率数据,以及通过所述麦克风设备内置的皮电传感器检测所述皮电数据,结合所述声纹数据、所述心率数据、所述皮电数据以获得所述人体特征信息。
9.根据权利要求7所述的电子设备,其特征在于,所述电子设备还包括:
判断单元,用于在所述表情获取单元通过所述电子设备的摄像头获取用户人脸的预览图像,对所述预览图像进行面部图像识别,以获得所述用户面部表情特征信息之后,判断所述预览图像是否与预存储人脸图像相匹配;以及
第一提醒单元,用于在所述分析单元分析所述用户面部表情特征信息和/或所述人体特征信息,获得用户情绪信息之后,且所述判断单元确定所述预览图像与所述预存储人脸图像相匹配时,向目标终端设备发送提醒消息,所述提醒消息包括所述用户情绪信息。
10.根据权利要求6所述的电子设备,其特征在于,所述电子设备还包括:
第二提醒单元,用于通过所述麦克风设备内置的温度传感器获取用户体温数据;以及,判断所述用户体温数据是否超过预设阈值;以及,在所述用户体温数据超过所述预设阈值时,进行体温提醒。
11.一种电子设备,其特征在于,包括:
存储有可执行程序代码的存储器;
与所述存储器耦合的处理器;
所述处理器调用所述存储器中存储的所述可执行程序代码,执行如权利要求1至权利要求5任一项所述的用于电子设备的情绪识别方法。
12.一种计算机可读存储介质,其特征在于,其存储用于电子数据交换的计算机程序,其中,所述计算机程序使得计算机执行如权利要求1至权利要求5任一项所述的用于电子设备的情绪识别方法。
13.一种用于电子设备的情绪识别系统,其特征在于,包括:
电子设备、与所述电子设备配对的麦克风设备;
所述电子设备用于通过电子设备的前置摄像头获取用户面部表情特征信息,和/或从所述麦克风设备获取人体特征信息,所述人体特征信息包括声纹数据、心率数据和皮电数据中的至少一种;以及,分析所述用户面部表情特征信息和/或所述人体特征信息,获得用户情绪信息,以作为所述电子设备功能参数的调整依据进行功能参数调整;
所述麦克风设备用于采集所述人体特征信息,并将所述人体特征信息发送给所述电子设备。
CN201711373367.8A 2017-12-19 2017-12-19 一种用于电子设备的情绪识别方法、系统及电子设备 Pending CN107992199A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711373367.8A CN107992199A (zh) 2017-12-19 2017-12-19 一种用于电子设备的情绪识别方法、系统及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711373367.8A CN107992199A (zh) 2017-12-19 2017-12-19 一种用于电子设备的情绪识别方法、系统及电子设备

Publications (1)

Publication Number Publication Date
CN107992199A true CN107992199A (zh) 2018-05-04

Family

ID=62038991

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711373367.8A Pending CN107992199A (zh) 2017-12-19 2017-12-19 一种用于电子设备的情绪识别方法、系统及电子设备

Country Status (1)

Country Link
CN (1) CN107992199A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108877357A (zh) * 2018-06-21 2018-11-23 广东小天才科技有限公司 一种基于家教机的交互方法及家教机
CN109118626A (zh) * 2018-08-08 2019-01-01 腾讯科技(深圳)有限公司 锁具的控制方法、装置、存储介质及电子装置
CN109240786A (zh) * 2018-09-04 2019-01-18 广东小天才科技有限公司 一种主题更换方法及电子设备
CN109800734A (zh) * 2019-01-30 2019-05-24 北京津发科技股份有限公司 面部表情识别方法及装置
CN110433382A (zh) * 2019-09-10 2019-11-12 广东工业大学 一种智能灯具、智能灯具自动调整系统、方法及相关组件
RU2711976C1 (ru) * 2018-11-08 2020-01-23 Инна Юрьевна Жовнерчук Способ дистанционного распознавания и коррекции с помощью виртуальной реальности психоэмоционального состояния человека
WO2020135334A1 (zh) * 2018-12-28 2020-07-02 深圳Tcl数字技术有限公司 电视应用主题切换方法、电视、可读存储介质及设备
WO2020192222A1 (zh) * 2019-03-26 2020-10-01 深圳创维-Rgb电子有限公司 用户场景智能分析方法、装置和存储介质
CN112200462A (zh) * 2020-10-13 2021-01-08 中国银行股份有限公司 风险评估方法及装置
CN114973957A (zh) * 2022-06-02 2022-08-30 清华大学 智能相框及智能相框控制方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106570496A (zh) * 2016-11-22 2017-04-19 上海智臻智能网络科技股份有限公司 情绪识别方法和装置以及智能交互方法和设备
CN106708394A (zh) * 2016-12-23 2017-05-24 维沃移动通信有限公司 一种移动终端的系统主题切换方法及移动终端
CN106970743A (zh) * 2017-03-27 2017-07-21 宇龙计算机通信科技(深圳)有限公司 一种图标排序方法、装置及移动终端
CN107085512A (zh) * 2017-04-24 2017-08-22 广东小天才科技有限公司 一种音频播放方法及移动终端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106570496A (zh) * 2016-11-22 2017-04-19 上海智臻智能网络科技股份有限公司 情绪识别方法和装置以及智能交互方法和设备
CN106708394A (zh) * 2016-12-23 2017-05-24 维沃移动通信有限公司 一种移动终端的系统主题切换方法及移动终端
CN106970743A (zh) * 2017-03-27 2017-07-21 宇龙计算机通信科技(深圳)有限公司 一种图标排序方法、装置及移动终端
CN107085512A (zh) * 2017-04-24 2017-08-22 广东小天才科技有限公司 一种音频播放方法及移动终端

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
赵中堂: "《基于智能移动终端的行为识别方法研究》", 30 April 2015 *
黄福水等著: "《国际健康银发城 记北京温度水城"金手杖"》", 31 March 2015 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108877357A (zh) * 2018-06-21 2018-11-23 广东小天才科技有限公司 一种基于家教机的交互方法及家教机
CN109118626A (zh) * 2018-08-08 2019-01-01 腾讯科技(深圳)有限公司 锁具的控制方法、装置、存储介质及电子装置
CN109240786A (zh) * 2018-09-04 2019-01-18 广东小天才科技有限公司 一种主题更换方法及电子设备
CN109240786B (zh) * 2018-09-04 2021-11-26 广东小天才科技有限公司 一种主题更换方法及电子设备
RU2711976C1 (ru) * 2018-11-08 2020-01-23 Инна Юрьевна Жовнерчук Способ дистанционного распознавания и коррекции с помощью виртуальной реальности психоэмоционального состояния человека
WO2020135334A1 (zh) * 2018-12-28 2020-07-02 深圳Tcl数字技术有限公司 电视应用主题切换方法、电视、可读存储介质及设备
CN109800734A (zh) * 2019-01-30 2019-05-24 北京津发科技股份有限公司 面部表情识别方法及装置
WO2020192222A1 (zh) * 2019-03-26 2020-10-01 深圳创维-Rgb电子有限公司 用户场景智能分析方法、装置和存储介质
CN110433382A (zh) * 2019-09-10 2019-11-12 广东工业大学 一种智能灯具、智能灯具自动调整系统、方法及相关组件
CN112200462A (zh) * 2020-10-13 2021-01-08 中国银行股份有限公司 风险评估方法及装置
CN112200462B (zh) * 2020-10-13 2024-04-26 中国银行股份有限公司 风险评估方法及装置
CN114973957A (zh) * 2022-06-02 2022-08-30 清华大学 智能相框及智能相框控制方法

Similar Documents

Publication Publication Date Title
CN107992199A (zh) 一种用于电子设备的情绪识别方法、系统及电子设备
TWI661363B (zh) 智慧型機器人及人機交互方法
CN110992989B (zh) 语音采集方法、装置及计算机可读存储介质
Danner et al. Quantitative analysis of multimodal speech data
US10952680B2 (en) Electroencephalogram bioamplifier
CN112016367A (zh) 一种情绪识别系统、方法及电子设备
CN111339806B (zh) 唇语识别模型的训练方法、活体识别方法及装置
TW201220216A (en) System and method for detecting human emotion and appeasing human emotion
EP3751395A1 (en) Information exchange method, device, storage medium, and electronic device
CN106469297A (zh) 情绪识别方法、装置和终端设备
CN109240786B (zh) 一种主题更换方法及电子设备
CN108737729A (zh) 自动拍照方法和装置
CN108090424B (zh) 一种在线教学调研方法及设备
WO2016197389A1 (zh) 一种用于检测活体对象的方法、装置和移动终端
CN113764099A (zh) 基于人工智能的心理状态分析方法、装置、设备及介质
TW201913643A (zh) 智慧型機器人
CN111402096A (zh) 一种在线授课质量管理方法、系统、设备和介质
WO2015131571A1 (zh) 一种实现图片排序的方法及终端
CN108392201A (zh) 大脑训练方法及相关设备
CN106571075A (zh) 一种多模态语言康复和学习系统
US11819996B2 (en) Expression feedback method and smart robot
CN115481284A (zh) 基于化妆箱的化妆方法、装置、存储介质及电子装置
CN108628454B (zh) 基于虚拟人的视觉交互方法及系统
CN107452381A (zh) 一种多媒体语音识别装置及方法
CN105427228A (zh) 照片水印处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180504

RJ01 Rejection of invention patent application after publication