[go: up one dir, main page]

CN105615902A - 情绪监控方法和装置 - Google Patents

情绪监控方法和装置 Download PDF

Info

Publication number
CN105615902A
CN105615902A CN201410638408.1A CN201410638408A CN105615902A CN 105615902 A CN105615902 A CN 105615902A CN 201410638408 A CN201410638408 A CN 201410638408A CN 105615902 A CN105615902 A CN 105615902A
Authority
CN
China
Prior art keywords
information
emotional
emotion
stimulus source
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410638408.1A
Other languages
English (en)
Inventor
严超
李志轩
王强
熊君君
黄英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Samsung Telecommunications Technology Research Co Ltd
Samsung Electronics Co Ltd
Original Assignee
Beijing Samsung Telecommunications Technology Research Co Ltd
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Samsung Telecommunications Technology Research Co Ltd, Samsung Electronics Co Ltd filed Critical Beijing Samsung Telecommunications Technology Research Co Ltd
Priority to CN201410638408.1A priority Critical patent/CN105615902A/zh
Priority to KR1020150113854A priority patent/KR102327203B1/ko
Priority to US15/524,419 priority patent/US20180285641A1/en
Priority to EP15857415.2A priority patent/EP3217254A4/en
Priority to PCT/KR2015/008471 priority patent/WO2016072595A1/ko
Publication of CN105615902A publication Critical patent/CN105615902A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Child & Adolescent Psychology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本申请公开了情绪监控方法和装置。所述方法的一具体实施方式包括：获取用户的当前情绪的情绪表现信息；获取所述当前情绪的情绪刺激源信息；将所述情绪表现信息与所述情绪刺激源信息进行关联后存储。该实施方式在记录用户情绪表现的同时记录引发该情绪表现的刺激源信息，确保了情绪表现的可追溯性。

Description

情绪监控方法和装置
技术领域
本申请涉及计算机技术领域，具体涉及人机交互技术领域，尤其涉及情绪监控方法和装置。
背景技术
随着科学技术的不断发展，人们的生活节奏也越来越快，这使得人们在关注自身情绪变化上所能够花费的时间和精力越来越少，因此需要通过一些辅助的技术手段来帮助人们记录情绪变化的相关情况。现有技术在记录用户的情绪信息时，通常先获取用户在某个时刻的情绪状态，然后为获取的情绪状态添加相应的情绪标签并保存下来。图1所示为现有技术中记录情绪信息的示意图。如图1所示，现有技术可以将具有不同的表情图像按照情绪类型进行区分，并为每个类型附加一个简单的情绪标签，例如“喜”、“惊”、“哀”、“怒”等。这种情绪记录方式使得用户在后期进行情绪回顾时，只能得到简单的情绪标签，而无法有效地对情绪变化情况进行管理分析。
发明内容
本申请提供了一种情绪监控方法和装置。
一方面，本申请提供了一种情绪监控方法，所述方法包括：获取用户的当前情绪的情绪表现信息；获取所述当前情绪的情绪刺激源信息；将所述情绪表现信息与所述情绪刺激源信息进行关联后存储。
在某些实施方式中，在将所述情绪表现信息与所述情绪刺激源信息进行关联后存储之前，所述方法还包括：检测到所述当前情绪发生变化。
在某些实施方式中，所述当前情绪发生变化包括：所述当前情绪的情绪类型或情绪强度发生变化。
在某些实施方式中，所述情绪强度发生变化具体为：所述情绪强度变化的幅度达到预设阈值。
在某些实施方式中，所述获取用户的当前情绪的情绪表现信息包括：根据当前采集到的多媒体信息和/或生理信号信息确定用户的当前情绪的情绪表现信息，其中，所述多媒体信息包括文本信息、图像信息、音频信息和视频信息中的至少一个。
在某些实施方式中，所述方法还包括：将所述情绪表现信息进行信息转化；所述将所述情绪表现信息与所述情绪刺激源信息进行关联后存储包括：将转化后的情绪表现信息与所述情绪刺激源信息进行关联后存储。
在某些实施方式中，所述获取当前情绪的情绪刺激源信息包括：根据当前获取的多媒体信息、环境信息和生理信号信息中的至少一个确定所述当前情绪的情绪刺激源信息，其中，所述多媒体信息包括文本信息、图像信息、音频信息和视频信息中的至少一个。
在某些实施方式中，所述根据当前获取的多媒体信息确定所述情绪刺激源信息包括：
将当前输出和/或采集的音频信息、所述音频信息的属性信息、所述音频信息在预设时间段内的音频片段和所述音频信息的语义信息中的至少一个作为所述情绪刺激源信息。
在某些实施方式中，所述根据当前获取的多媒体信息确定所述情绪刺激源信息包括：将当前输出和/或采集的视频信息、所述视频信息的属性信息、所述视频信息在预设时间段内的视频片段、所述视频信息的语义信息、所述视频信息中的事件信息、所述视频信息中的人物信息、所述视频信息的截图信息和所述视频信息的音频信息中的至少一个作为所述情绪刺激源信息。
在某些实施方式中，所述根据当前获取的多媒体信息确定所述情绪刺激源信息包括：将当前输出和/或采集的图像信息、所述图像信息中的事件信息和所述图像信息中的人物信息中的至少一个作为所述情绪刺激源信息。
在某些实施方式中，所述根据当前获取的多媒体信息确定所述情绪刺激源信息包括：将当前输出和/或采集的文本信息和所述文本信息的语义信息中的至少一个作为所述情绪刺激源信息。
在某些实施方式中，所述生理信号信息包括用户当前的生理信号信息或根据所述生理信号信息得到的健康信息。
在某些实施方式中，所述环境信息包括时间信息、位置信息、天气信息、温度信息和湿度信息中的至少一个。
在某些实施方式中，所述方法还包括：将所述当前情绪的情绪类型和情绪强度与所述情绪表现信息进行关联后存储。
在某些实施方式中，所述方法还包括：将所述情绪强度进行归一化处理。
在某些实施方式中，当所述当前情绪的情绪类型在预设的采样时间段内保持不变时，所述方法还包括：若所述当前情绪的情绪强度大于已存储的情绪强度，则将已存储的情绪表现信息和已存储的情绪刺激源信息分别替换为当前情绪的情绪表现信息和当前情绪的情绪刺激源信息。
在某些实施方式中，在获取情绪表现信息以及情绪刺激源信息之前，所述方法还包括：检测到预设的情绪监控程序运行。
在某些实施方式中，所述方法还包括：将已存储的所述情绪表现信息和相关联的所述情绪刺激源信息进行分享或展示；或，将已存储的所述情绪表现信息和相关联的所述情绪刺激源信息进行数据分析，并将所述数据分析的结果进行分享或展示；或，将已存储的所述情绪表现信息和相关联的所述情绪刺激源信息进行数据分析，并根据所述数据分析的结果输出情绪管理建议信息。
在某些实施方式中，所述方法还包括：获取关联用户的情绪表现信息和/或情绪刺激源信息；将所述关联用户的情绪表现信息和/或情绪刺激源信息进行分享。
在某些实施方式中，所述方法还包括：接收关联用户分享的情绪表现信息和情绪刺激源信息；将所述关联用户分享的情绪表现信息和情绪刺激源信息，与已存储的情绪表现信息和情绪刺激源信息进行合并。
第二方面，本申请提供了一种情绪监控装置，所述装置包括：表现信息获取模块，用于获取用户的当前情绪的情绪表现信息；刺激源信息获取模块，用于获取所述当前情绪的情绪刺激源信息；关联存储模块，用于将所述情绪表现信息与所述情绪刺激源信息进行关联后存储。
在某些实施方式中，所述装置还包括：变化检测模块，用于检测到所述当前情绪发生变化。
在某些实施方式中，所述当前情绪发生变化包括：所述当前情绪的情绪类型或情绪强度发生变化。
在某些实施方式中，所述情绪强度发生变化具体为：所述情绪强度变化的幅度达到预设阈值。
在某些实施方式中，所述表现信息获取模块包括：表现信息获取子模块，用于根据当前采集到的多媒体信息和/或生理信号信息确定用户的当前情绪的情绪表现信息，其中，所述多媒体信息包括文本信息、图像信息、音频信息和视频信息中的至少一个。
在某些实施方式中，所述装置还包括：表现信息转化模块，用于将所述情绪表现信息进行信息转化。
在某些实施方式中，所述关联存储模块包括：关联存储子模块，用于将转化后的情绪表现信息与所述情绪刺激源信息进行关联后存储。
在某些实施方式中，所述刺激源信息获取模块包括：刺激源信息获取子模块，用于根据当前获取的多媒体信息、环境信息和生理信号信息中的至少一个确定所述当前情绪的情绪刺激源信息。
在某些实施方式中，所述刺激源信息获取子模块具体用于根据当前输出和/或采集的多媒体信息确定所述情绪刺激源信息，其中，所述多媒体信息包括文本信息、图像信息、音频信息和视频信息中的至少一个。
在某些实施方式中，所述刺激源信息获取子模块包括：音频信息单元，用于将当前输出和/或采集的音频信息、所述音频信息的属性信息、所述音频信息在预设时间段内的音频片段和所述音频信息的语义信息中的至少一个作为所述情绪刺激源信息。
在某些实施方式中，所述刺激源信息获取子模块包括：视频信息单元，用于将当前输出和/或采集的视频信息、所述视频信息的属性信息、所述视频信息在预设时间段内的视频片段、所述视频信息的语义信息、所述视频信息中的事件信息、所述视频信息中的人物信息、所述视频信息的截图信息和所述视频信息的音频信息中的至少一个作为所述情绪刺激源信息。
在某些实施方式中，所述刺激源信息获取子模块包括：图像信息单元，用于将当前输出和/或采集的图像信息、所述图像信息中的事件信息和所述图像信息中的人物信息中的至少一个作为所述情绪刺激源信息。
在某些实施方式中，所述刺激源信息获取子模块包括：文本信息单元，用于将当前输出和/或采集的文本信息和所述文本信息的语义信息中的至少一个作为所述情绪刺激源信息。
在某些实施方式中，所述生理信号信息包括用户当前的生理信号信息或根据所述生理信号信息得到的健康信息。
在某些实施方式中，所述环境信息包括时间信息、位置信息、天气信息、温度信息和湿度信息中的至少一个。
在某些实施方式中，所述装置还包括：情绪存储模块，用于将所述当前情绪的情绪类型和情绪强度与所述情绪表现信息进行关联后存储。
在某些实施方式中，所述装置还包括：归一化模块，用于将所述情绪强度进行归一化处理。
在某些实施方式中，当所述当前情绪的情绪类型在预设的采样时间段内保持不变时，所述装置还包括：情绪更新模块，用于当所述当前情绪的情绪强度大于已存储的情绪强度时，将已存储的情绪表现信息和已存储的情绪刺激源信息分别替换为当前情绪的情绪表现信息和当前情绪的情绪刺激源信息。
在某些实施方式中，所述装置还包括：程序检测模块，用于检测到预设的情绪监控程序运行。
在某些实施方式中，所述装置还包括：展示分享模块，用于将已存储的所述情绪表现信息和相关联的所述情绪刺激源信息进行分享或展示；数据分析模块，用于将已存储的所述情绪表现信息和相关联的所述情绪刺激源信息进行数据分析，并将所述数据分析的结果进行分享或展示；情绪建议模块，用于将已存储的所述情绪表现信息和相关联的所述情绪刺激源信息进行数据分析，并根据所述数据分析的结果输出情绪管理建议信息。
在某些实施方式中，所述装置还包括：关联情绪获取模块，用于获取关联用户的情绪表现信息和/或情绪刺激源信息；关联情绪分享模块，用于将所述关联用户的情绪表现信息和/或情绪刺激源信息进行分享。
在某些实施方式中，所述装置还包括：情绪接收模块，用于接收关联用户分享的情绪表现信息和情绪刺激源信息；情绪合并模块，用于将所述关联用户分享的情绪表现信息和情绪刺激源信息，与已存储的情绪表现信息和情绪刺激源信息进行合并。
本申请提供的情绪监控方法和装置，通过获取用户的当前情绪的情绪表现信息和所述当前情绪的情绪刺激源信息，然后将所述情绪表现信息与所述情绪刺激源信息进行关联后存储，可以在记录用户情绪表现的同时记录引发该情绪表现的刺激源信息，从而扩展了情绪监控的范围，确保了情绪表现的可追溯性。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是现有技术中记录情绪信息的示意图；
图2是本申请情绪监控方法的一个实施例的流程图；
图3是图2所示实施例的一个应用场景的示意图；
图4是本申请情绪监控方法的另一个实施例的流程图；
图5是本申请情绪监控方法的再一个实施例的流程图；
图6是图5所示实施例的一个应用场景的示意图；
图7是图5所示实施例的另一个应用场景的示意图；
图8是本申请情绪监控方法的又一个实施例的流程图；
图9是图8所示实施例的一个应用场景的示意图；
图10是本申请情绪监控装置的一个实施例的结构示意图；
图11是本申请情绪监控装置的又一个实施例的结构示意图；
图12是本申请情绪监控装置的又一个实施例的结构示意图；
图13是本申请情绪监控装置的又一个实施例的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
请参考图2，其示出了情绪监控方法的一个实施例的流程200。本实施例主要以该方法应用于各类终端中来举例说明，该终端可以包括智能手机、智能电视、平板电脑、膝上型便携计算机、台式计算机和穿戴式设备等等。所述情绪监控方法，包括以下步骤：
步骤201、获取用户的当前情绪的情绪表现信息。
在本实施例中，所述情绪表现信息是一种可以反映用户当前情绪特点的外在表象信息，具体可以包括用户的当前面部表情、肢体动作、发出声音的语音语调或输入的自我情绪表白的文本、语音等信息。在获取用户的当前情绪的情绪表现信息时，终端可以通过配置的各类信息采集设备，如照相机或麦克风等，主动地采集用户的当前情绪的情绪表现信息，也可以从用户主动输入的文本或语音等信息中提取出情绪表现信息
步骤202、获取所述当前情绪的情绪刺激源信息。
在本实施例中，所述情绪刺激源信息可以是引发用户产生所述当前情绪的原因，这个原因可以是一个人或物，也可以是发生的事件，还可以是一句话或一个动作等各种可能的、会对用户产生情绪刺激的原因，当然也可以是上述多种原因的组合。在获取所述当前情绪的情绪刺激源信息时，可以对终端当前能够获取到的所有信息进行分析，并从中提取情绪刺激源信息。
步骤203、将所述情绪表现信息与所述情绪刺激源信息进行关联后存储。
在本实施例中，在将所述情绪表现信息与所述情绪刺激源信息进行关联后存储时，可以首先根据信息获取的时间关系，将在同一时间点或在同一预设时间段内获得的情绪表现信息与情绪刺激源信息进行关联，然后将关联后的情绪表现信息与情绪刺激源信息存储在终端本身的存储空间或外部设备(如云端或服务器)上。
对于本申请的上述实施例，图3示出了一个应用场景，如图3所示，当用户通过终端301在社交平台的个人主页上发布一条文字消息302：“今天和家人一起吃饭，开心！"，并配有照片303时，终端可以从这条消息302中获取到自我情绪表白的文字信息"开心"，同时还可以从照片303中识别出用户的笑脸，此时该笑脸和"开心"就是当前情绪的情绪表现信息。与此同时，终端还可以从文字消息302中得到事件信息："和家人一起吃饭"，并通过语义分析进一步确定该事件就是当前情绪的情绪刺激源信息，接着终端可以将情绪表现信息"开心"和照片中的笑脸与和家人吃饭的事件信息进行关联后存储，以便用户再次看到上述笑脸时，可以知道是因为和家人一起吃饭才如此开心的。
需要说明的是，当情绪表现信息是通过用户的生物特征(如表情、声音)得到的时，在获取用户的当前情绪的情绪表现信息之前，可以首先记录用户的生物特征信息，以便从当前采集到的各种信息中提取出与该用户相关的情绪表现信息，其中，生物特征信息包括但不限于面部特征信息、声纹信息、虹膜信息和生理信号特征信息等。
本申请的上述实施例提供的情绪监控方法，通过获取用户的当前情绪的情绪表现信息和所述当前情绪的情绪刺激源信息，而后将所述情绪表现信息与所述情绪刺激源信息进行关联后存储，可以在记录用户情绪表现的同时记录引发该情绪表现的刺激源信息，从而扩展了情绪监控的范围，确保了情绪表现的可追溯性。
进一步参考图4，其示出了情绪监控方法的另一个实施例的流程400。该情绪监控方法的流程400，包括以下步骤：
步骤401、根据当前采集到的多媒体信息和/或生理信号信息确定用户的当前情绪的情绪表现信息，其中，所述多媒体信息包括文本信息、图像信息、音频信息和视频信息中的至少一个。
在本实施例中，终端可以首先利用多媒体传感器采集多媒体信息，和/或利用生理信号传感器采集用户的生理信号信息。在采集多媒体信息时，可以利用图像传感器采集图像信息或利用声音传感器采集音频信息，也可以同时利用前述两种传感器采集视频信息，还可以利用文字获取技术获取用户输入的文字信息，例如用户编辑的短消息或为照片附加的文字说明等。在采集生理信号信息时，采集的生理信号信息包括但不限于心率、心电、皮肤电导、体温和血压等信息。然后终端可以对采集到的文本信息、图像信息、音频信息、视频信息和生理信号信息中的至少一个进行数据分析，并从中确定出用户的当前情绪的情绪表现信息，例如，如果从当前采集的文本信息获取到了用于表征情绪的文字描述(如伤心或高兴等)，则该文本信息就可以是情绪表现信息；如果从当前采集的图像信息提取到用户的笑脸，则该图像信息就可以是情绪表现信息；如果从当前采集的音频信息中提取到用户哭泣的声音，则该音频信息就可以是情绪表现信息；如果从当前采集的生理信号信息中提取到血压较高，则该生理信号信息就是情绪表现信息；如果从当前采集的视频信息中提取到用户痛苦的表情和/或痛苦的呻吟声，则该视频信息就是可以情绪表现信息；如果同时采集到了多个不同文件格式的情绪表现信息，就可以将它们都作为情绪表现信息。
步骤402、获取所述当前情绪的情绪刺激源信息。
在本实施例中，所述情绪刺激源信息可以是引发用户产生所述当前情绪的原因，该原因可以是人、物、发生的事件、一句话或一个动作等。在获取所述当前情绪的情绪刺激源信息时，可以对终端当前能够获取到的所有信息进行信息分析，并从中提取出情绪刺激源信息。
步骤403、当检测到当前情绪发生变化时，将所述情绪表现信息与所述情绪刺激源信息进行关联后存储。
在本实施例中，通过上述步骤401获取的情绪表现信息，可以在一定的采样频率下，不断地采集用户的情绪状况。当发现用户的情绪发生变化时，就可以将该情绪表现信息和上述步骤402中获取的情绪刺激源信息进行关联后存储。也就是说，终端可以不断地采集情绪表现信息，并通过情绪表现信息确定用户的当前情绪，当用户的情绪保持在一个平稳的状态时，可以不保存采集到的情绪表现信息和情绪刺激源信息，而只有在当前情绪发生明显变化时，才将情绪表现信息与情绪刺激源信息进行关联后存储。
在本实施例的一个可选实现方式中，所述当前情绪发生变化包括：所述当前情绪的情绪类型或情绪强度发生变化。其中，情绪类型可以指依据人类的感情认知对情绪进行的分类，具体地，情绪类型可以包括平静、喜悦、悲伤、惊讶、愤怒和恐惧等，而情绪强度可以代表某一类型的情绪在表达相应情感时的饱满程度。由于情绪可以包括情绪类型和情绪强度两种属性，因此当前情绪发生变化也可以包括两方面的变化，一方面是情绪类型发生变化，例如从平静变化为开心；另一方面是情绪强度发生变化，例如从有一点开心变化为十分开心。具体地，情绪类型和情绪强度都可以根据情绪表现信息得到，因为不同的情绪类型和情绪强度对应有不同的情绪特征参数，该情绪特征参数可以包括表情参数和声音参数等，例如，嘴角上扬这一面部表情特征所对应的情绪类型就是“喜悦”，并且嘴角上扬的幅度越大其代表的情绪强度越高。当采集到当前情绪的情绪表现信息后，就可以从中提取出情绪特征参数，并进一步根据该情绪特征参数确定当前情绪的情绪类型和情绪强度。
在本实施例的一个可选实现方式中，所述情绪强度发生变化具体为所述情绪强度变化的幅度达到预设阈值。在本实施例中，在评价情绪强度时，可以为不同的情绪强度赋予不同的情绪强度值，这个值的大小与情绪的饱满程度成正比。这样，情绪强度发生变化就可以是指情绪强度值发生了变化，并且该情绪强度值变化的幅值达到预设阈值。也就是说，在同一个情绪类型中，只有情绪强度的变化量达到一定程度，才存储情绪表现信息和情绪刺激源信息，而如果情绪强度只是轻微的波动，则不需要存储情绪相关信息。
在本实施例的一个可选实现方式中，还可以将采集到的情绪表现信息进行转化，并将转化后的情绪表现信息与所述情绪刺激源信息进行关联后存储。具体地，终端可以对直接采集到的情绪表现信息进行信息提取，得到能够直接代表当前情绪特点的信息要素，并可以进一步将这个信息要素进行表现形式的转化，从而实现对情绪表现信息的信息转化。例如，可以通过脸部特征识别技术，从一张多人合影中提取出某一个用户的笑脸，作为代表该用户的情绪特点的信息要素，然后可以进一步对该笑脸进行表现形式的转化，也就是说，可以将该真实的笑脸转化为一个动画笑脸，也可以将该笑脸转化为一个包含笑声的音频，或者还可以将该笑脸转化为包含"开心"两个字的文字信息等。然后再将转化后的情绪表现信息与情绪刺激源信息进行关联后存储，这样，在存储情绪表现信息时，就可以将所有情绪表现信息都转化为同一类型的信息后再存储，以便于后期进行信息管理；或者还可以将采集到的音频信息转换为文字信息后再存储，从而降低了信息存储时的空间需求。
在本实施例的一个可选实现方式中，所述情绪表现信息包括：文本信息、图像信息、音频信息、视频信息和生理信号信息中的至少一个。
从图4中可以看出，与图2所示的实施例相比，本实施例中的情绪监控方法更详细地描述了如何获取情绪表现信息，以及何时存储情绪表现信息和情绪刺激源信息的一种示例性实现方式。具体地，首先根据当前采集到的图像信息、音频信息、视频信息和生理信号信息中的至少一个确定用户的当前情绪的情绪表现信息，然后获取当前情绪的情绪刺激源信息，最后在检测到当前情绪发生变化时，将情绪表现信息与所述情绪刺激源信息进行关联后存储，本实施例进一步确定了将情绪表现信息与所述情绪刺激源信息进行关联后存储的触发条件，使得存储下来的情绪相关信息都可以有效地表示情绪变化的情况，从而提高了情绪监控的效率。
进一步参考图5，其示出了情绪监控方法的再一个实施例的流程500。该情绪监控方法，包括以下步骤：
步骤501、获取用户的当前情绪的情绪表现信息。
步骤502、根据当前获取的多媒体信息、环境信息和生理信号信息中的至少一个确定所述当前情绪的情绪刺激源信息。
在本实施例中，当获取当前情绪的情绪刺激源信息时，可以根据当前获取的多媒体信息、环境信息和生理信号信息中的至少一个确定所述当前情绪的情绪刺激源信息。具体地，终端可以通过各种类型的信号传感器设备获取多媒体信息、环境信息和生理信号信息中的至少一个，然后对采集到的至少一个信息进行数据分析，进而根据数据分析结果确定出当前情绪的刺激源信息。
在本实施例的一个可选实现方式中，根据当前获取的多媒体信息确定所述当前情绪的情绪刺激源信息包括：根据当前输出和/或采集的多媒体信息确定所述情绪刺激源信息，其中，所述多媒体信息包括文本信息、图像信息、音频信息和视频信息中的至少一个。在本实施例中，可以首先获取终端当前输出和/或采集的多媒体信息，然后对所述多媒体信息进行数据分析，进而根据数据分析结果确定出能够引起情绪变化的刺激源信息。
在本实施例的一个可选实现方式中，根据当前输出和/或采集的多媒体信息确定所述情绪刺激源信息包括：将当前输出和/或采集的音频信息、所述音频信息的属性信息、所述音频信息在预设时间段内的音频片段和所述音频信息的语义信息中的至少一个作为所述情绪刺激源信息。
在本实施例中，可以首先获取终端当前输出和/或采集的音频信息，然后对该音频信息进行数据分析，从而进一步获得该音频信息的属性信息、语义信息和在预设时间段内的音频片段，最后再将音频信息、音频信息的属性信息、音频信息在预设时间段内的音频片段和音频信息的语义信息中的至少一个作为情绪刺激源信息，其中，预设时间段可以是当前时间点前后的一段时间。例如，当终端输出即播放一首歌曲时，可以首先通过检测终端的使用情况获取当前正在播放的歌曲，然后对该歌曲进行数据分析，就可以获得该歌曲的名字、演唱者/演奏者、专辑等属性信息，也可以获得该歌曲的歌词或对该歌词进行语义分析得到的歌词大意等语义信息，还可以对该歌曲进行片段截取得到在预设时间内的音频片段；而当用户使用该终端进行语音通话时，终端可以主动采集该通话音频，然后对该通话音频进行数据分析，就可以获取对方联系人、通话持续时间、与该联系人的通话频率等属性信息，也可以对通话内容进行语义分析得到语义信息，还可以对该通话音频进行截取以得到在预设时间段内的音频片段，最后可以对得到的所有与音频信息有关的信息进行刺激源分析以确定情绪刺激源信息。
在本实施例的一个可选实现方式中，根据当前输出和/或采集的多媒体信息确定所述情绪刺激源信息包括：将当前输出和/或采集的视频信息、所述视频信息的属性信息、所述视频信息在预设时间段内的视频片段、所述视频信息的语义信息、所述视频信息中的事件信息、所述视频信息中的人物信息、所述视频信息的截图信息和所述视频信息的音频信息中的至少一个作为所述情绪刺激源信息。
在本实施例中，可以首先获取终端当前输出和/或采集的视频信息，然后对该视频信息进行数据分析，从而进一步获得该视频信息的属性信息、语义信息、事件信息、人物信息和在预设时间段内的视频片段等信息，最后再通过刺激源分析从前述信息中确定至少一个情绪刺激源信息，其中，预设时间段可以是当前时间点前后的一段时间。例如，当终端输出即播放一部电影时，可以首先通过检测终端的使用情况获取当前正在播放的电影，然后对该电影进行数据分析，就可以获得该电影的名字、主要演员、导演、制片单位等属性信息，也可以获得该电影的台词或对该台词进行语义分析得到的台词梗概等语义信息，还可以对该电影进行视频截图并进一步对截图图像进行分析得到事件信息或人物信息，更可以对该电影进行片段截取得到在预设时间内的视频片段；或当用户使用该终端进行视频通话时，终端可以主动采集该通话视频，然后对该通话视频进行数据分析，就可以获取对方联系人、视频通话持续时间、与该联系人的视频通话频率等属性信息，也可以对视频通话内容进行语义分析得到语义信息，还可以对该通话视频进行视频截图并进一步对截图图像进行分析得到事件信息或人物信息，更可以对该通话视频进行截取以得到在预设时间段内的视频片段，最后可以对得到的所有与视频信息有关的信息进行刺激源分析以确定情绪刺激源信息。
在本实施例的一个可选实现方式中，根据当前输出和/或采集的多媒体信息确定所述情绪刺激源信息包括：将当前输出和/或采集的图像信息、所述图像信息中的事件信息和所述图像信息中的人物信息中的至少一个作为所述情绪刺激源信息。
在本实施例中，可以首先获取终端当前输出和/或采集的图像信息，然后对该图像信息进行数据分析，从而进一步获得该图像信息所包括的事件信息和/或人物信息，最后再通过刺激源分析从前述信息中确定至少一个情绪刺激源信息。例如，当终端输出即展示或通过照相功能采集到一张图片时，可以首先通过检测终端的使用情况获取当前正在浏览的图片，然后对该图片进行分析得到事件信息或人物信息，具体地，可以通过人物的面部特征及穿着打扮确定人物信息，如人物的名字、性别、年龄等信息，还可以通过分析图片中人物的肢体动作、面部表情、图片背景等信息确定图片中包含的事件信息，最后可以对得到的所有与图片信息有关的信息进行刺激源分析以确定情绪刺激源信息。
图6是本实施例的一个应用场景示意图，如图6所示，当用户在使用终端601浏览图片602时，如果终端检测到用户的情绪突然变为惊恐，就可以首先获取图片602，然后通过图像分析技术分析图片602，首先可以根据人物的面部特征和衣服识别出图片602中的人物信息，即第一人物信息白雪公主和第二人物信息老巫婆，然后通过分析人物的动作还可以确定出图像中的第一事件信息，即老巫婆正拿着一个苹果要给白雪公主。如果进一步结合已有的知识库还可以得知图片602中的老巫婆是皇后假扮的，并且苹果是一个毒苹果，从而可以得到第二事件信息，即皇后想要将毒苹果给白雪公主。最后，通过对得到的两个人物信息和两个事件信息进行综合分析，可以确定皇后想要将毒苹果给白雪公主的事件信息是引起用户产生惊恐情绪的情绪刺激源信息。
在本实施例的一个可选实现方式中，根据当前输出和/或采集的多媒体信息确定所述情绪刺激源信息包括：将当前输出和/或采集的文本信息和所述文本信息的语义信息中的至少一个作为所述情绪刺激源信息。
在本实施例中，可以首先获取终端当前输出和/或采集的文本信息，然后对该文本信息进行数据分析，从而进一步获得该文本信息的语义信息，最后再将文本信息和语义信息中的至少一个确定为情绪刺激源信息。例如，当终端输出即展示一段文本信息时，可以首先通过检测终端的使用情况获取当前正在浏览的文字图像，然后通过字符识别技术获取该文字图像中包含的文本信息，或当用户通过终端进行文字输入时，可以直接采集输入的文字作为采集的文本信息。然后还可以对获得的文本信息进行语义分析得到语义信息，最后可以对得到的文本信息和/或语义信息进行刺激源分析以确定情绪刺激源信息。在本实施例的一个应用场景中，如果终端采集到用户输入了文字信息：“独在异乡为异客，每逢佳节倍思亲”，可以直接将该文字信息作为刺激用户产生悲伤情绪的情绪刺激源信息，也可以进一步对该文字信息进行语义分析得到“独自在外，无法与家人团圆”的语义信息，并可以将该语义信息作为情绪刺激源信息。
在本实施例的一个可选实现方式中，所述生理信号信息包括用户当前的生理信号信息或根据所述生理信号信息得到的健康信息，其中，所述生理信号信息，所述健康信息可以是对所述生理信号信息进行分析后得到的、用来反映用户健康状况的健康信息，例如，当采集到用户的体温信号为38℃时，可以对该体温信号进行分析，发现该体温信号高于人类正常的体温36℃，因此可以认为该用户处于发烧状态，则健康信息可以是用于表示"发烧"的图像或文字等信息。
需要说明的是，当将生理信号信息作为情绪刺激源信息时，获取的情绪表现信息就不再包括生理信号信息，而是将获取的图像信息(如由于发烧到引起的面部发红的照片)等其他信息作为情绪表现信息。
在本实施例的一个可选实现方式中，所述环境信息包括时间信息、位置信息、天气信息、温度信息和湿度信息中的至少一个。在本实施例中，可以将环境信息作为情绪刺激源信息，环境信息可以是在采集情绪表现信息的同时，能够获取到的和当前环境有关的信息，其可以包括采集到情绪表现信息时的时间信息和地理位置等信息，也可以包括当前的天气、温度和湿度等气候信息。环境信息的表现形式可以包括文本信息、图像信息、音频信息和视频信息，例如，一张晴空万里的照片可以被作为情绪刺激源信息，因为该照片中包含有“晴朗”这一天气信息。
需要说明的是，当上述多媒体信息、环境信息和生理信号信息中的多个信息都可以刺激情绪发生变化时，可以将它们都作为情绪刺激源信息，也可以根据用户选择将它们中的某一个作为情绪刺激源信息。例如，当终端通过当前采集的情绪表现信息确定用户的当前情绪的情绪类型为悲伤时，同时通过检测终端的使用情况，确定到终端当前在播放一部电影《梁祝》，并通过网络从天气预报网站获取到当前的天气信息为小雨，还通过生理信号传感器得到的体温信号，确定用户当前的体温偏高时，可以将这三个信息都作令用户伤心的情绪刺激源信息，也可以将这三个信息同时提供给用户，让其从中选择一个或多个作为情绪刺激源信息，如果用户是喜欢下雨天的，那么就不会将小雨的天气信息选择为产生悲伤情绪的刺激源信息。
在将多媒体信息、环境信息和生理信号信息中的多个作为情绪刺激源信息时，可以将多个信息进行简单的罗列，也可以对多个信息进行逻辑分析，并将分析后得到的结果作为情绪刺激源信息。例如，当获取到时间信息是用户的生日，并且采集到用户与朋友一起庆祝的视频信息时，通过对时间信息和视频信息进行逻辑分析，就可以将与“朋友为我庆祝生日”相关的文本或声音等信息作为情绪刺激源信息。
步骤503、将所述情绪表现信息与所述情绪刺激源信息进行关联后存储。
在本实施例的一个可选实现方式中，将所述当前情绪的情绪类型和情绪强度与所述情绪表现信息进行关联后存储。在本实施例中，在存储情绪表现信息的时候，可以将通过情绪表现信息获得的情绪类型和情绪强度，与情绪表现信息关联在一起进行存储，这样，用户在后期回顾情绪变化情况时，可以直接获取到具体的情绪类型和情绪强度信息，也可以将采集到的所有情绪根据情绪类型进行分类管理。
在本实施例的一个可选实现方式中，将所述情绪强度进行归一化处理。具体地，由于不同的用户在表达情绪时的方式是不一样的，外向的人可能更愿意表露自己的情绪，在开心的时候就会大笑，伤心的时候就会大哭，而内向的人更加内敛一些，在表达相同程度的情绪时可能只是微笑或者轻轻啜泣，所以，为了更精确地描述每一位用户的情绪变化，可以对情绪强度进行归一化处理。具体地，对于同一情绪类型的情绪来说，可以将用户情绪最强烈时的情绪强度作为最大值MAX，而将用户情绪最平静时的情绪强度作为最小值MIN，其他情绪状态的情绪强度X则可以基于最大值和最小值进行归一化计算，例如，归一化后的情绪强度X＇可以根据公式X＇＝(X-MIN)/(MAX-MIN)来计算得到。这样，就可以确保每个用户的情绪强度在归一化后都分布在0和1之间，从而保证了对不同用户的情绪强度刻画效果相同。
在本实施例的一个可选实现方式中，当所述当前情绪的情绪类型在预设的采样时间段内保持不变时，若所述当前情绪的情绪强度大于已存储的情绪强度，则将已存储的情绪表现信息和已存储的情绪刺激源信息分别替换为当前情绪的情绪表现信息和当前情绪的情绪刺激源信息。具体地，当将情绪表现信息和情绪刺激源信息进行关联存储之后，若当前情绪的情绪类型在预设的采样时间段(如10分钟)内都没有发生变化，而情绪强度在一定范围内不停波动时，则可以只将情绪强度最大时的情绪表现信息和情绪刺激源信息存储下来，以便在充分反映用户情绪状况的同时减少所需的存储空间。
在本实施例的一个应用场景中，当用户的情绪类型由平静转为喜悦时，可以将转变这一时刻获得的情绪表现信息和情绪刺激源信息进行关联性存储，并且可以记录下此刻的情绪强度值为60％。在接下来的10分钟内用户的情绪类型一直维持在喜悦状态，而情绪强度值一直在变化时，在一种情况下，如果在第7分钟情绪强度变化到70％，则用在第7分钟获得的情绪表现信息和情绪刺激源信息，代替之前已经存储的信息；在另一种情况下，如果在第7分钟情绪强度变化到95％，此时变化的幅度为35％，大于预设的幅度阈值30％，所以应该直接将在第7分钟获得的情绪表现信息和情绪刺激源信息进行关联后存储，同时保留之前已经存储的信息。
在本实施例的一个可选实现方式中，将已存储的所述情绪表现信息和相关联的所述情绪刺激源信息进行分享或展示。在本实施例中，用户可以将已存储的情绪表现信息和相关联的情绪刺激源信息通过各种有线或无线的方式进行分享，如发布在社交平台或发送给特定联系人等，也可以直接在用户自己的终端中进行展示，并且用户可以通过注册用户身份标识号码ID的方式，在不同平台的多个终端中登录存储有情绪相关信息的系统，并浏览已存储的情绪表现信息和情绪刺激源信息。在注册用户ID时，还可以将用户的生物特征信息与用户ID进行绑定，以便终端自动识别当前用户并登陆相关系统。
在本实施例的一个可选实现方式中，将已存储的所述情绪表现信息和相关联的所述情绪刺激源信息进行数据分析，并将所述数据分析的结果进行分享或展示。在本实施例中，可以对已存储的情绪表现信息和相关联的情绪刺激源信息进行数据分析，主要分析情绪的波动情况以及引起情绪波动的各种原因，具体可以按照情绪类型、刺激源(时间、地点、人物)等不同标准对已存储的情绪相关信息进行分析，并将分析得到的结果以文字、图表、幻灯片或音频等方式进行展示或分享。例如，可以按照时间变化绘制出用户在一段时间内的情绪变化曲线图，也可以将用户在一段时间内的情绪表现信息和相关联的情绪刺激源信息做成幻灯片文件，然后将该曲线图或幻灯片文件进行分享或展示。
在本实施例的一个可选实现方式中，将已存储的所述情绪表现信息和相关联的所述情绪刺激源信息进行数据分析，并根据所述数据分析的结果输出情绪管理建议信息。在本实施例中，在对已存储的情绪表现信息和相关联的情绪刺激源信息进行数据分析后，还可以进一步根据该数据分析的结果输出情绪管理建议信息，以帮助用户更好的管理自己的情绪。例如，若通过数据分析发现，用户在一段时间内的情绪经常处于愤怒状态，并且引起该愤怒状态的刺激源信息都是生活中的一些小事，此时情绪管理建议信息就可以提醒用户注意调节心情，控制易怒的情绪状态，并给出一些控制情绪的小窍门以帮助用户保持良好的情绪。
图7是本实施例的另一个应用场景示意图，如图7A所示，终端701上显示有一张图表702，在图表702中展现的是在今年4月内，用户喜悦情绪变化的柱形图，图中的每条柱状图形代表用户的一次喜悦记录，柱状的高度代表用户喜悦情绪的强烈程度。如果用户想要进一步了解某个喜悦情绪的具体情况，就可以点击柱状图上部的星形图案703，此时如图7B所示，终端就会显示出用户该次喜悦情绪的具体信息，包括用户当时喜悦情绪的情绪表现信息即用户的笑脸704，以及引发用户喜悦情绪的情绪刺激源信息即短信705，这样，从图7B中用户既可以看到自己当初欢笑的表情，又可以想起是因为收到了升职的短信才如此的开心。
在本实施例中，上述实现流程中的步骤501和步骤503分别与前述实施例中的步骤201和步骤203相同，在此不再赘述
从图5中可以看出，与图2所示的实施例相比，本实施例中的情绪监控方法更详细地描述了如何获取情绪刺激源信息的一种示例性实现方式。具体地，首先获取用户的当前情绪的情绪表现信息，然后根据当前获取的多媒体信息、环境信息和生理信号信息中的至少一个确定所述当前情绪的情绪刺激源信息，最后将情绪表现信息与所述情绪刺激源信息进行关联后存储，本实施例通过获取到的多媒体信息、环境信息和生理信号信息来确定情绪刺激源信息，几乎涵盖了所有可能引发情绪变化的刺激源信息，因此得到的刺激源将会更加完善和全面，从而进一步提高了情绪监控的准确性。
进一步参考图8，其示出了情绪监控方法的又一个实施例的流程800。该情绪监控方法，包括以下步骤：
步骤801、当检测到预设的情绪监控程序运行时，获取用户的当前情绪的情绪表现信息和情绪刺激源信息，并同时获取关联用户的情绪表现信息和/或情绪刺激源信息。
在本实施例中，情绪监控程序可以是专为情绪监控开发的一个程序，其功能就是采集、管理情绪表现信息和情绪刺激源信息，也可以是一个终端上常用的程序，例如短信程序，但是这个常用程序可以被设置为在运行时，激活终端采集情绪相关信息的功能。因此，当预设的情绪监控程序在运行时，终端可以主动获取用户的当前情绪的情绪表现信息，并且在获取用户的情绪表现信息的同时，还可以获取关联用户的情绪表现信息和/或关联用户的情绪刺激源信息。
需要说明的是，在获取关联用户的情绪表现信息和/或关联用户的情绪刺激源信息之前，可以首先记录关联用户的生物特征信息，以便根据生物特征信息，从当前采集到的各种信息中识别出关联用户的情绪表现信息和/或关联用户的情绪刺激源信息。
在本实施例的一个应用场景中，当用户A的自拍照中除了有用户A的笑脸，还在背景中有用户B不小心摔倒的动作和用户B惊恐的表情时，如果用户A事先已经将用户B设置为关联用户了，那么终端从该自拍照中不但能够获取到用户A的情绪表现信息—笑脸，还可以获取用户B的情绪表现信息—惊恐的表情，以及用户B的情绪刺激源信息—摔倒。
在本实施例中，与上述获取当前情绪的情绪表现信息类似，可以在检测到情绪监控程序运行时，激活终端采集情绪刺激源信息的功能。并且在采集当前情绪的情绪刺激源信息的同时，还可以获取关联用户的情绪表现信息和/或关联用户的情绪刺激源信息，例如，关联用户B的笑脸可以是终端用户A的情绪刺激源信息，而该笑脸是关联用户B的情绪表现信息。
步骤802、将所述当前情绪的情绪表现信息和情绪刺激源信息进行关联后存储。
步骤803、将所述关联用户的情绪表现信息和/或情绪刺激源信息分享给所述关联用户。
在本实施例中，一旦终端在上述步骤801中获得到了关联用户的情绪表现信息，可以将该信息记录下来，然后通过各种有线或无线的方式将该信息分享给该关联用户。在分享前，还可以输出一个提示信息，以便让当前用户选择是否将该情绪表现信息分享给关联用户。
在本实施例的一个可选实现方式中，当获取到与所述关联用户的情绪表现信息对应的情绪刺激源信息时，将所述关联用户的情绪表现信息和对应的情绪刺激源信息分享给所述关联用户。在本实施例中，在获取到关联用户的情绪表现信息时，不一定能准确的获取到与该情绪表现信息对应的情绪刺激源信息，因此在分享时，如果没有获取到对应的情绪刺激源信息，则可以只分享情绪表现信息，反之，则将情绪表现信息和对应的情绪刺激源信息一起分享给所述关联用户。
图9是本实施例的一个应用场景示意图。如图9所示，终端901上显示有一张刚刚拍摄的合影照片902。通过面部特征识别技术，可以判断出照片902中不但存在当前用户A的笑脸903，而且还存在用户A的好友即关联用户B的笑脸904。此时，终端901就可以输出一个提示信息905，用于让用户A确认是否将该照片分享给用户B。
步骤804、接收关联用户分享的情绪表现信息和情绪刺激源信息。
在本实施例中，终端还可以接收关联用户分享的，与当前用户相关的情绪表现信息和情绪刺激源信息，在接收前，还可以输出一个提示信息，以便让当前用户选择是否将接收该情绪表现信息和情绪刺激源信息。
步骤805、将所述关联用户分享的情绪表现信息和情绪刺激源信息，与已存储的情绪表现信息和情绪刺激源信息进行合并。
在本实施例中，当终端接收了关联用户分享的情绪表现信息和情绪刺激源信息之后，可以按照各个信息生成的时间顺序和/或地点信息，将接收到的信息合并到已存储的信息中。
在本实施例的一个应用场景中，终端通过声音传感器同时采集到了当前用户A的笑声和歌曲X的旋律，并通过图像传感器采集到了关联用户B跳舞的动作和用户B脸上微笑的表情，通过对采集到的音频信息和图像信息进行数据分析就可以确定，用户A的情绪表现信息为笑声，情绪刺激源信息为用户B跳舞的事件，而用户B的情绪表现信息为微笑的表情，情绪刺激源信息为歌曲X的旋律。由此可见，当前用户和关联用户各自的情绪表现信息及情绪刺激源信息很有可能是混杂在一起出现的，在实际应用中，可以根据不同的应用场景来分辨出不同的情绪相关信息。
当用户B的终端接收到关联用户A分享的、和用户B相关的情绪表现信息和情绪刺激源信息时，可以将接收的信息与终端上已经存储的相关信息进行合并。
在一种可能的实现方式中，可以获取接收到的情绪相关信息的生成时间，然后将该情绪相关信息保存为对应时间点的信息。例如，用户B在某一天内的已存储的情绪表现信息包括9点钟生成的情绪表现信息X和11点钟生成的情绪表现信息Y。如果用户B接收到关联用户A分享的在10点钟生成的用户B的情绪表现信息Z，则可以直接将信息Z保存为用户B的情绪表现信息；如果用户B接收到的是在9点钟生成的另一情绪表现信息M，则可以将接收到的信息M和已存储的信息X都作为9点钟的情绪表现信息，也可以提取出信息M和信息X的共同情绪表现特性作为9点钟的情绪表现信息。
在另一种可能的实现方式中，可以获取接收到的情绪相关信息在生成时的地点信息，然后将该情绪相关信息与已存储的同一地点的其他情绪信息合并。例如，用户B已存储的情绪刺激源信息为在位置1生成的情绪刺激源信息N。如果用户B接收到关联用户A分享的在位置2生成的情绪刺激源信息P，则可以直接将信息P保存为用户B的情绪刺激源信息；如果用户B接收到的也是在位置1生成的另一情绪刺激源信息Q，则可以将接收到的信息Q和已存储的信息N都作为在位置1生成的情绪刺激源信息。
在又一种可能的实现方式中，可以同时获取接收到的情绪相关信息的生成时间和位置信息，然后将同一位置生成的情绪相关信息按照时间关系进行合并保存。
从图8中可以看出，与图2所示的实施例相比，本实施例中的情绪监控方法更详细地描述了如何获取关联用户的情绪表现信息和情绪刺激源信息的一种示例性实现方式。具体地，可以在采集到的当前用的情绪相关信息中，获取同时采集到的关联用户的情绪相关信息，并且可以将其分享给关联用户，也可以接收关联用户发送的情绪相关信息。本实施例扩展了情绪相关信息的来源范围，进一步改善了情绪监控的全面性。
进一步参考图10，其示出了情绪监控装置的一个实施例的结构示意图。如图10所示，本实施例所述的情绪监控装置包括：表现信息获取模块1010、刺激源信息获取模块1020和关联存储模块1030。
表现信息获取模块1010，用于获取用户的当前情绪的情绪表现信息。
刺激源信息获取模块1020，用于获取所述当前情绪的情绪刺激源信息。
关联存储模块1030，用于将所述表现信息获取模块1010获取的情绪表现信息与所述刺激源信息获取模块1020获取的情绪刺激源信息进行关联后存储。
本申请的上述实施例提供的情绪监控装置，通过表现信息获取模块获取用户的当前情绪的情绪表现信息，并通过刺激源信息获取模块获取所述当前情绪的情绪刺激源信息，而后关联存储模块将所述情绪表现信息与所述情绪刺激源信息进行关联后存储，可以在记录用户情绪表现的同时记录引发该情绪表现的刺激源信息，从而扩展了情绪监控的范围，确保了情绪表现的可追溯性。
在本实施例的一个可选实现方式中，如图11所示，上述表现信息获取模块1010进一步包括：
表现信息获取子模块1011，用于根据当前采集到的多媒体信息和/或生理信号信息确定用户的当前情绪的情绪表现信息，其中，所述多媒体信息包括文本信息、图像信息、音频信息和视频信息中的至少一个。
在本实施例的一个可选实现方式中，上述情绪监控装置还包括：
变化检测模块(图中未示出)，用于检测到所述当前情绪发生变化，并且当检测到当前情绪发生变化时，上述关联存储模块1030将所述情绪表现信息与所述情绪刺激源信息进行关联后存储。
在本实施例的一个可选实现方式中，所述当前情绪发生变化包括：所述当前情绪的情绪类型或情绪强度发生变化。
在本实施例的一个可选实现方式中，所述情绪强度发生变化具体为所述情绪强度变化的幅度达到预设阈值。
在本实施例的一个可选实现方式中，上述情绪监控装置还包括：
表现信息转化模块(图中未示出)，用于将所述情绪表现信息进行信息转化。
上述关联存储模块1030包括：
关联存储子模块(图中未示出)，用于将转化后的情绪表现信息与所述情绪刺激源信息进行关联后存储。
在本实施例的一个可选实现方式中，所述情绪表现信息包括：文本信息、图像信息、音频信息、视频信息和生理信号信息中的至少一个
从图11中可以看出，与图10所示的实施例相比，本实施例中的情绪监控装置进一步确定了将情绪表现信息与所述情绪刺激源信息进行关联后存储的触发条件，使得存储下来的情绪相关信息都可以有效地表示情绪变化的情况，从而提高了情绪监控的效率。
在本实施例的一个可选实现方式中，如图12所示，上述刺激源信息获取模块1020包括：
刺激源信息获取子模块1021，用于根据当前获取的多媒体信息、环境信息和生理信号信息中的至少一个确定所述当前情绪的情绪刺激源信息。
在本实施例的一个可选实现方式中，刺激源信息获取子模块1021具体用于根据终端当前输出和/或采集的多媒体信息确定所述情绪刺激源信息，其中，所述多媒体信息包括文本信息、图像信息、音频信息和视频信息中的至少一个。
在本实施例的一个可选实现方式中，刺激源信息获取子模块1021包括：
音频信息单元(图中未示出)，用于将终端当前输出和/或采集的音频信息、所述音频信息的属性信息、所述音频信息在预设时间段内的音频片段和所述音频信息的语义信息中的至少一个作为所述情绪刺激源信息。
在本实施例的一个可选实现方式中，刺激源信息获取子模块1021包括：
视频信息单元(图中未示出)，用于将终端当前输出和/或采集的视频信息、所述视频信息的属性信息、所述视频信息在预设时间段内的视频片段、所述视频信息的语义信息、所述视频信息中的事件信息、所述视频信息中的人物信息、所述视频信息的截图信息和所述视频信息的音频信息中的至少一个作为所述情绪刺激源信息。
在本实施例的一个可选实现方式中，刺激源信息获取子模块1021包括：
图像信息单元(图中未示出)，用于将终端当前输出和/或采集的图像信息、所述图像信息中的事件信息和所述图像信息中的人物信息中的至少一个作为所述情绪刺激源信息。
在本实施例的一个可选实现方式中，刺激源信息获取子模块1021包括：
文本信息单元(图中未示出)，用于将终端当前输出和/或采集的文本信息和所述文本信息的语义信息中的至少一个作为所述情绪刺激源信息。
在本实施例的一个可选实现方式中，所述生理信号信息包括用户当前的生理信号信息或根据所述生理信号信息得到的健康信息。
在本实施例的一个可选实现方式中，所述环境信息包括时间信息、位置信息、天气信息、温度信息和湿度信息中的至少一个。
在本实施例的一个可选实现方式中，上述情绪监控装置还包括：
情绪存储模块(图中未示出)，用于将所述当前情绪的情绪类型和情绪强度与所述情绪表现信息进行关联后存储。
在本实施例的一个可选实现方式中，上述情绪监控装置还包括：
归一化模块(图中未示出)，用于将所述情绪强度进行归一化处理。
在本实施例的一个可选实现方式中，当所述当前情绪的情绪类型在预设的采样时间段内保持不变时，上述情绪监控装置还包括：
情绪更新模块(图中未示出)，用于当所述当前情绪的情绪强度大于已存储的情绪强度时，将已存储的情绪表现信息和已存储的情绪刺激源信息分别替换为当前情绪的情绪表现信息和当前情绪的情绪刺激源信息。
在本实施例的一个可选实现方式中，上述情绪监控装置还包括：
程序检测模块(图中未示出)，用于检测到预设的情绪监控程序运行。
在本实施例的一个可选实现方式中，上述情绪监控装置还包括：
展示分享模块(图中未示出)，用于将已存储的所述情绪表现信息和相关联的所述情绪刺激源信息进行分享或展示。
数据分析模块(图中未示出)，用于将已存储的所述情绪表现信息和相关联的所述情绪刺激源信息进行数据分析，并将所述数据分析的结果进行分享或展示。
情绪建议模块(图中未示出)，用于将已存储的所述情绪表现信息和相关联的所述情绪刺激源信息进行数据分析，并根据所述数据分析的结果输出情绪管理建议信息。
本实施例中的情绪监控装置通过获取到的多媒体信息、环境信息和生理信号信息来确定情绪刺激源信息，几乎涵盖了所有可能引发情绪变化的刺激源信息，因此得到的刺激源将会更加完善和全面，从而进一步提高了情绪监控的准确性。
在本实施例的一个可选实现方式中，如图13所示，上述情绪监控装置还包括：
关联情绪获取模块1040，用于获取关联用户的情绪表现信息和/或情绪刺激源信息。
关联情绪分享模块1050，用于将所述关联用户的情绪表现信息和/或情绪刺激源信息进行分享。
在本实施例的一个可选实现方式中，上述情绪监控装置还包括：
情绪接收模块1060，用于接收关联用户分享的情绪表现信息和情绪刺激源信息。
情绪合并模块1070，用于将所述情绪接收模块1060接收的关联用户分享的情绪表现信息和情绪刺激源信息，与已存储的情绪表现信息和情绪刺激源信息进行合并。
本实施例中的情绪监控装置在采集到的当前用的情绪相关信息中，获取同时采集到的关联用户的情绪相关信息，并且可以将其分享给关联用户，也可以接收关联用户发送的情绪相关信息。本实施例扩展了情绪相关信息的来源范围，进一步改善了情绪监控的全面性。
描述于本申请实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括表现信息获取模块，刺激源信息获取模块和关联存储模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，表现信息获取模块还可以被描述为“用于获取用户的当前情绪的情绪表现信息的模块”。
作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入终端中的计算机可读存储介质。所述计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本申请的情绪监控方法。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (28)

1.一种情绪监控方法，其特征在于，所述方法包括：
获取用户的当前情绪的情绪表现信息；
获取所述当前情绪的情绪刺激源信息；
将所述情绪表现信息与所述情绪刺激源信息进行关联后存储。
2.根据权利要求1所述的情绪监控方法，其特征在于，在将所述情绪表现信息与所述情绪刺激源信息进行关联后存储之前，所述方法还包括：
检测到所述当前情绪发生变化。
3.根据权利要求2所述的情绪监控方法，其特征在于，所述当前情绪发生变化包括：
所述当前情绪的情绪类型或情绪强度发生变化。
4.根据权利要求3所述的情绪监控方法，其特征在于，所述情绪强度发生变化具体为：
所述情绪强度变化的幅度达到预设阈值。
5.根据权利要求1至4任一项所述的情绪监控方法，其特征在于，所述获取用户的当前情绪的情绪表现信息包括：
根据当前采集到的多媒体信息和/或生理信号信息确定用户的当前情绪的情绪表现信息，其中，所述多媒体信息包括文本信息、图像信息、音频信息和视频信息中的至少一个。
6.根据权利要求1至5任一项所述的情绪监控方法，其特征在于，所述方法还包括：
将所述情绪表现信息进行信息转化；
所述将所述情绪表现信息与所述情绪刺激源信息进行关联后存储包括：
将转化后的情绪表现信息与所述情绪刺激源信息进行关联后存储。
7.根据权利要求1至6任一项所述的情绪监控方法，其特征在于，所述获取当前情绪的情绪刺激源信息包括：
根据当前获取的多媒体信息、环境信息和生理信号信息中的至少一个确定所述当前情绪的情绪刺激源信息，其中，所述多媒体信息包括文本信息、图像信息、音频信息和视频信息中的至少一个。
8.根据权利要求7所述的情绪监控方法，其特征在于，所述根据当前获取的多媒体信息确定所述情绪刺激源信息包括：
将当前输出和/或采集的音频信息、所述音频信息的属性信息、所述音频信息在预设时间段内的音频片段和所述音频信息的语义信息中的至少一个作为所述情绪刺激源信息。
9.根据权利要求7所述的情绪监控方法，其特征在于，所述根据当前获取的多媒体信息确定所述情绪刺激源信息包括：
将当前输出和/或采集的视频信息、所述视频信息的属性信息、所述视频信息在预设时间段内的视频片段、所述视频信息的语义信息、所述视频信息中的事件信息、所述视频信息中的人物信息、所述视频信息的截图信息和所述视频信息的音频信息中的至少一个作为所述情绪刺激源信息。
10.根据权利要求7所述的情绪监控方法，其特征在于，所述根据当前获取的多媒体信息确定所述情绪刺激源信息包括：
将当前输出和/或采集的图像信息、所述图像信息中的事件信息和所述图像信息中的人物信息中的至少一个作为所述情绪刺激源信息。
11.根据权利要求7所述的情绪监控方法，其特征在于，所述根据当前获取的多媒体信息确定所述情绪刺激源信息包括：
将当前输出和/或采集的文本信息和所述文本信息的语义信息中的至少一个作为所述情绪刺激源信息。
12.根据权利要求7所述的情绪监控方法，其特征在于，所述生理信号信息包括用户当前的生理信号信息或根据所述生理信号信息得到的健康信息。
13.根据权利要求7所述的情绪监控方法，其特征在于，所述环境信息包括时间信息、位置信息、天气信息、温度信息和湿度信息中的至少一个。
14.根据权利要求1至13任一项所述的情绪监控方法，其特征在于，所述方法还包括：
将所述当前情绪的情绪类型和情绪强度与所述情绪表现信息进行关联后存储。
15.根据权利要求14所述的情绪监控方法，其特征在于，所述方法还包括：
将所述情绪强度进行归一化处理。
16.根据权利要求14或15所述的情绪监控方法，其特征在于，当所述当前情绪的情绪类型在预设的采样时间段内保持不变时，所述方法还包括：
若所述当前情绪的情绪强度大于已存储的情绪强度，则将已存储的情绪表现信息和已存储的情绪刺激源信息分别替换为当前情绪的情绪表现信息和当前情绪的情绪刺激源信息。
17.根据权利要求1至16任一项所述的情绪监控方法，其特征在于，在获取情绪表现信息以及情绪刺激源信息之前，所述方法还包括：
检测到预设的情绪监控程序运行。
18.根据权利要求1至17任一项所述的情绪监控方法，其特征在于，所述方法还包括：
将已存储的所述情绪表现信息和相关联的所述情绪刺激源信息进行分享或展示；
或，将已存储的所述情绪表现信息和相关联的所述情绪刺激源信息进行数据分析，并将所述数据分析的结果进行分享或展示；
或，将已存储的所述情绪表现信息和相关联的所述情绪刺激源信息进行数据分析，并根据所述数据分析的结果输出情绪管理建议信息。
19.根据权利要求1至18任一项所述的情绪监控方法，其特征在于，所述方法还包括：
获取关联用户的情绪表现信息和/或情绪刺激源信息；
将所述关联用户的情绪表现信息和/或情绪刺激源信息进行分享。
20.根据权利要求1至19任一项所述的情绪监控方法，其特征在于，所述方法还包括：
接收关联用户分享的情绪表现信息和情绪刺激源信息；
将所述关联用户分享的情绪表现信息和情绪刺激源信息，与已存储的情绪表现信息和情绪刺激源信息进行合并。
21.一种情绪监控装置，其特征在于，所述装置包括：
表现信息获取模块，用于获取用户的当前情绪的情绪表现信息；
刺激源信息获取模块，用于获取所述当前情绪的情绪刺激源信息；
关联存储模块，用于将所述情绪表现信息与所述情绪刺激源信息进行关联后存储。
22.根据权利要求21所述的情绪监控装置，其特征在于，所述装置还包括：
变化检测模块，用于检测到所述当前情绪发生变化。
23.根据权利要求21或22所述的情绪监控装置，其特征在于，所述表现信息获取模块包括：
表现信息获取子模块，用于根据当前采集到的多媒体信息和/或生理信号信息确定用户的当前情绪的情绪表现信息，其中，所述多媒体信息包括文本信息、图像信息、音频信息和视频信息中的至少一个。
24.根据权利要求21所述的情绪监控装置，其特征在于，所述刺激源信息获取模块包括：
刺激源信息获取子模块，用于根据当前获取的多媒体信息、环境信息和生理信号信息中的至少一个确定所述当前情绪的情绪刺激源信息，其中，所述多媒体信息包括文本信息、图像信息、音频信息和视频信息中的至少一个。
25.根据权利要求21至24任一项所述的情绪监控装置，其特征在于，所述装置还包括：
情绪存储模块，用于将所述当前情绪的情绪类型和情绪强度与所述情绪表现信息进行关联后存储。
26.根据权利要求21至25任一项所述的情绪监控装置，其特征在于，所述装置还包括：
展示分享模块，用于将已存储的所述情绪表现信息和相关联的所述情绪刺激源信息进行分享或展示；
数据分析模块，用于将已存储的所述情绪表现信息和相关联的所述情绪刺激源信息进行数据分析，并将所述数据分析的结果进行分享或展示；
情绪建议模块，用于将已存储的所述情绪表现信息和相关联的所述情绪刺激源信息进行数据分析，并根据所述数据分析的结果输出情绪管理建议信息。
27.根据权利要求21至26任一项所述的情绪监控装置，其特征在于，所述装置还包括：
关联情绪获取模块，用于获取关联用户的情绪表现信息和/或情绪刺激源信息；
关联情绪分享模块，用于将所述关联用户的情绪表现信息和/或情绪刺激源信息进行分享。
28.根据权利要求21至27任一项所述的情绪监控装置，其特征在于，所述装置还包括：
情绪接收模块，用于接收关联用户分享的情绪表现信息和情绪刺激源信息；
情绪合并模块，用于将所述关联用户分享的情绪表现信息和情绪刺激源信息，与已存储的情绪表现信息和情绪刺激源信息进行合并。
CN201410638408.1A 2014-11-06 2014-11-06 情绪监控方法和装置 Pending CN105615902A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201410638408.1A CN105615902A (zh) 2014-11-06 2014-11-06 情绪监控方法和装置
KR1020150113854A KR102327203B1 (ko) 2014-11-06 2015-08-12 전자 장치 및 그 동작 방법
US15/524,419 US20180285641A1 (en) 2014-11-06 2015-08-13 Electronic device and operation method thereof
EP15857415.2A EP3217254A4 (en) 2014-11-06 2015-08-13 Electronic device and operation method thereof
PCT/KR2015/008471 WO2016072595A1 (ko) 2014-11-06 2015-08-13 전자 장치 및 그 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410638408.1A CN105615902A (zh) 2014-11-06 2014-11-06 情绪监控方法和装置

Publications (1)

Publication Number Publication Date
CN105615902A true CN105615902A (zh) 2016-06-01

Family

ID=56031563

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410638408.1A Pending CN105615902A (zh) 2014-11-06 2014-11-06 情绪监控方法和装置

Country Status (4)

Country Link
US (1) US20180285641A1 (zh)
EP (1) EP3217254A4 (zh)
KR (1) KR102327203B1 (zh)
CN (1) CN105615902A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107293309A (zh) * 2017-05-19 2017-10-24 四川新网银行股份有限公司 一种基于客户情绪分析提升舆情监控效率的方法
CN108093526A (zh) * 2017-12-28 2018-05-29 美的智慧家居科技有限公司 Led灯的控制方法、装置和可读存储介质
CN108646914A (zh) * 2018-04-27 2018-10-12 安徽斛兵信息科技有限公司 一种多模态的情感数据收集方法及装置
CN108693974A (zh) * 2018-05-11 2018-10-23 新华网股份有限公司 数据处理方法、系统及非易失性计算机存储介质
CN108888281A (zh) * 2018-08-16 2018-11-27 华南理工大学 精神状态评估方法、设备及系统
CN109948780A (zh) * 2019-03-14 2019-06-28 江苏集萃有机光电技术研究所有限公司 基于人工智能的辅助决策方法、装置及设备
CN110049724A (zh) * 2016-12-14 2019-07-23 三菱电机株式会社 状态估计装置
CN110517085A (zh) * 2019-08-27 2019-11-29 新华网股份有限公司 生成展示报告方法、电子设备及计算机可读存储介质
CN110881987A (zh) * 2019-08-26 2020-03-17 首都医科大学 一种基于可穿戴设备的老年人情绪监测系统
CN111000572A (zh) * 2019-12-31 2020-04-14 南京煌和信息技术有限公司 一种智能工程师情绪监测系统
WO2020143156A1 (zh) * 2019-01-11 2020-07-16 平安科技（深圳）有限公司 热点视频标注处理方法、装置、计算机设备及存储介质
CN111859025A (zh) * 2020-07-03 2020-10-30 广州华多网络科技有限公司 表情指令生成方法、装置、设备及存储介质
CN112149610A (zh) * 2020-10-09 2020-12-29 支付宝(杭州)信息技术有限公司 一种目标对象的识别的方法和系统
CN112667075A (zh) * 2020-12-23 2021-04-16 珠海市魅族科技有限公司 终端控制方法、装置、电子设备以及存储介质

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10154191B2 (en) * 2016-05-18 2018-12-11 Microsoft Technology Licensing, Llc Emotional/cognitive state-triggered recording
JP6751536B2 (ja) * 2017-03-08 2020-09-09 パナソニック株式会社 装置、ロボット、方法、及びプログラム
CN106878787B (zh) * 2017-03-08 2020-02-14 深圳创维－Rgb电子有限公司 电视影院模式实现方法及装置
KR102651253B1 (ko) * 2017-03-31 2024-03-27 삼성전자주식회사 사용자 감정 판단을 위한 전자 장치 및 이의 제어 방법
JP7073640B2 (ja) * 2017-06-23 2022-05-24 カシオ計算機株式会社 電子機器、感情情報取得システム、プログラム及び感情情報取得方法
WO2019031621A1 (ko) * 2017-08-08 2019-02-14 라인 가부시키가이샤 통화 중 감정을 인식하여 인식된 감정을 활용하는 방법 및 시스템
US10783329B2 (en) * 2017-12-07 2020-09-22 Shanghai Xiaoi Robot Technology Co., Ltd. Method, device and computer readable storage medium for presenting emotion
US10664513B2 (en) * 2018-01-10 2020-05-26 Adobe Inc. Automatic environmental presentation content selection
US20190266282A1 (en) * 2018-02-28 2019-08-29 Ent. Services Development Corporation Lp Systems and methods for constrained directed media searches
CN110121026A (zh) * 2019-04-24 2019-08-13 深圳传音控股股份有限公司 智能拍摄设备及其基于生物特征识别的场景生成方法
KR102110393B1 (ko) * 2019-08-16 2020-05-14 (주)아크릴 감정 인식 방법 및 프로그램과, 감정 인식기 생성 방법 및 프로그램
US11386712B2 (en) * 2019-12-31 2022-07-12 Wipro Limited Method and system for multimodal analysis based emotion recognition
KR20220081090A (ko) * 2020-12-08 2022-06-15 라인 가부시키가이샤 감정 기반 멀티미디어 컨텐츠 생성 방법 및 시스템
JP7540588B2 (ja) 2021-05-14 2024-08-27 日本電信電話株式会社 感情状態推定学習装置、感情状態推定装置、それらの方法、およびプログラム
US11978475B1 (en) 2021-09-03 2024-05-07 Wells Fargo Bank, N.A. Systems and methods for determining a next action based on a predicted emotion by weighting each portion of the action's reply
US11735207B1 (en) 2021-09-30 2023-08-22 Wells Fargo Bank, N.A. Systems and methods for determining a next action based on weighted predicted emotions, entities, and intents
US12183344B1 (en) 2021-11-24 2024-12-31 Wells Fargo Bank, N.A. Systems and methods for determining a next action based on entities and intents
US12190906B1 (en) 2021-12-17 2025-01-07 Wells Fargo Bank, N.A. Systems and methods for predicting an emotion based on a multimodal input

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070162283A1 (en) * 1999-08-31 2007-07-12 Accenture Llp: Detecting emotions using voice signal analysis
US20090002178A1 (en) * 2007-06-29 2009-01-01 Microsoft Corporation Dynamic mood sensing
US20130337420A1 (en) * 2012-06-19 2013-12-19 International Business Machines Corporation Recognition and Feedback of Facial and Vocal Emotions
CN103546503A (zh) * 2012-07-10 2014-01-29 百度在线网络技术（北京）有限公司 基于语音的云社交系统、方法及云分析服务器
CN103729406A (zh) * 2013-12-09 2014-04-16 宇龙计算机通信科技(深圳)有限公司 环境信息的搜索方法及系统
US20140223462A1 (en) * 2012-12-04 2014-08-07 Christopher Allen Aimone System and method for enhancing content using brain-state data
US20140234815A1 (en) * 2013-02-18 2014-08-21 Electronics And Telecommunications Research Institute Apparatus and method for emotion interaction based on biological signals
US20160015307A1 (en) * 2014-07-17 2016-01-21 Ravikanth V. Kothuri Capturing and matching emotional profiles of users using neuroscience-based audience response measurement techniques

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1796347A4 (en) * 2004-09-10 2010-06-02 Panasonic Corp INFORMATION PROCESSING TERMINAL
US20120324492A1 (en) * 2011-06-20 2012-12-20 Microsoft Corporation Video selection based on environmental sensing

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070162283A1 (en) * 1999-08-31 2007-07-12 Accenture Llp: Detecting emotions using voice signal analysis
US20090002178A1 (en) * 2007-06-29 2009-01-01 Microsoft Corporation Dynamic mood sensing
US20130337420A1 (en) * 2012-06-19 2013-12-19 International Business Machines Corporation Recognition and Feedback of Facial and Vocal Emotions
CN103546503A (zh) * 2012-07-10 2014-01-29 百度在线网络技术（北京）有限公司 基于语音的云社交系统、方法及云分析服务器
US20140223462A1 (en) * 2012-12-04 2014-08-07 Christopher Allen Aimone System and method for enhancing content using brain-state data
US20140234815A1 (en) * 2013-02-18 2014-08-21 Electronics And Telecommunications Research Institute Apparatus and method for emotion interaction based on biological signals
CN103729406A (zh) * 2013-12-09 2014-04-16 宇龙计算机通信科技(深圳)有限公司 环境信息的搜索方法及系统
US20160015307A1 (en) * 2014-07-17 2016-01-21 Ravikanth V. Kothuri Capturing and matching emotional profiles of users using neuroscience-based audience response measurement techniques

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110049724A (zh) * 2016-12-14 2019-07-23 三菱电机株式会社 状态估计装置
CN107293309A (zh) * 2017-05-19 2017-10-24 四川新网银行股份有限公司 一种基于客户情绪分析提升舆情监控效率的方法
CN108093526A (zh) * 2017-12-28 2018-05-29 美的智慧家居科技有限公司 Led灯的控制方法、装置和可读存储介质
CN108646914A (zh) * 2018-04-27 2018-10-12 安徽斛兵信息科技有限公司 一种多模态的情感数据收集方法及装置
CN108693974A (zh) * 2018-05-11 2018-10-23 新华网股份有限公司 数据处理方法、系统及非易失性计算机存储介质
CN108693974B (zh) * 2018-05-11 2021-09-21 新华网股份有限公司 数据处理方法、系统及非易失性计算机存储介质
CN108888281A (zh) * 2018-08-16 2018-11-27 华南理工大学 精神状态评估方法、设备及系统
WO2020143156A1 (zh) * 2019-01-11 2020-07-16 平安科技（深圳）有限公司 热点视频标注处理方法、装置、计算机设备及存储介质
CN109948780A (zh) * 2019-03-14 2019-06-28 江苏集萃有机光电技术研究所有限公司 基于人工智能的辅助决策方法、装置及设备
CN110881987A (zh) * 2019-08-26 2020-03-17 首都医科大学 一种基于可穿戴设备的老年人情绪监测系统
CN110517085A (zh) * 2019-08-27 2019-11-29 新华网股份有限公司 生成展示报告方法、电子设备及计算机可读存储介质
CN110517085B (zh) * 2019-08-27 2022-06-07 新华网股份有限公司 生成展示报告方法、装置、电子设备及存储介质
CN111000572A (zh) * 2019-12-31 2020-04-14 南京煌和信息技术有限公司 一种智能工程师情绪监测系统
CN111859025A (zh) * 2020-07-03 2020-10-30 广州华多网络科技有限公司 表情指令生成方法、装置、设备及存储介质
CN112149610A (zh) * 2020-10-09 2020-12-29 支付宝(杭州)信息技术有限公司 一种目标对象的识别的方法和系统
CN112667075A (zh) * 2020-12-23 2021-04-16 珠海市魅族科技有限公司 终端控制方法、装置、电子设备以及存储介质

Also Published As

Publication number Publication date
EP3217254A4 (en) 2017-11-08
EP3217254A1 (en) 2017-09-13
US20180285641A1 (en) 2018-10-04
KR102327203B1 (ko) 2021-11-16
KR20160054392A (ko) 2016-05-16

Similar Documents

Publication Publication Date Title
CN105615902A (zh) 情绪监控方法和装置
US8788495B2 (en) Adding and processing tags with emotion data
US10846330B2 (en) System and methods for vocal commenting on selected web pages
US8418193B2 (en) Information processing terminal, information processing method, and program
KR102032842B1 (ko) 사용자 상황을 해석하는 동적 소셜 및 센서 데이터의 실시간 분석
CN108292322B (zh) 使用从查看环境捕捉的信号的媒体数据文件的组织、检索、注释和呈现
US11314475B2 (en) Customizing content delivery through cognitive analysis
US9472209B2 (en) Deep tagging background noises
CN110442867B (zh) 图像处理方法、装置、终端及计算机存储介质
US10318574B1 (en) Generating moments
Feng et al. Tiles audio recorder: an unobtrusive wearable solution to track audio activity
KR101194186B1 (ko) 지능형 상황 인식을 이용한 라이프로그 시스템
CN112883209B (zh) 多媒体数据的推荐方法和处理方法、装置、设备及可读介质
KR102318642B1 (ko) 음성 분석 결과를 이용하는 온라인 플랫폼
CN113450804B (zh) 语音可视化方法、装置、投影设备及计算机可读存储介质
US11163822B2 (en) Emotional experience metadata on recorded images
CN109710799B (zh) 语音交互方法、介质、装置和计算设备
JP2014153977A (ja) コンテンツ解析装置、コンテンツ解析方法、コンテンツ解析プログラム、およびコンテンツ再生システム
Dingler et al. Memory augmentation through lifelogging: opportunities and challenges
US20220101871A1 (en) Live streaming control method and apparatus, live streaming device, and storage medium
JP6169382B2 (ja) 共有情報提供システム
Tran et al. Lifelogging As An Extreme Form of Personal Information Management--What Lessons To Learn
EP4485948A1 (en) Video processing method and apparatus, device and medium
US20210383929A1 (en) Systems and Methods for Generating Early Health-Based Alerts from Continuously Detected Data
US20170192995A1 (en) Method and device for managing personal media items

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160601

RJ01 Rejection of invention patent application after publication