[go: up one dir, main page]

CN114947852A - 一种多模态情感识别方法、装置、设备及存储介质 - Google Patents

一种多模态情感识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114947852A
CN114947852A CN202210669266.XA CN202210669266A CN114947852A CN 114947852 A CN114947852 A CN 114947852A CN 202210669266 A CN202210669266 A CN 202210669266A CN 114947852 A CN114947852 A CN 114947852A
Authority
CN
China
Prior art keywords
channel
eeg
data set
emotion recognition
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210669266.XA
Other languages
English (en)
Other versions
CN114947852B (zh
Inventor
钟清华
刁肖磊
游丽锋
蔡冬丽
陈茜茹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Normal University
Original Assignee
South China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Normal University filed Critical South China Normal University
Priority to CN202210669266.XA priority Critical patent/CN114947852B/zh
Publication of CN114947852A publication Critical patent/CN114947852A/zh
Application granted granted Critical
Publication of CN114947852B publication Critical patent/CN114947852B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Artificial Intelligence (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Psychology (AREA)
  • Evolutionary Computation (AREA)
  • Educational Technology (AREA)
  • Social Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Developmental Disabilities (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本申请公开了一种多模态情感识别方法、装置、设备及存储介质，获取原始的脑电信号和外围生理信号，提取脑电信号多通道的特征数据；根据各个通道的特征数据进行情感识别，确定各个通道对应的识别准确率；基于特征数据，构建各个通道之间的皮尔逊相关矩阵，根据皮尔逊相关矩阵和识别准确率，确定各个通道对应的特征权重参数；根据特征权重参数，从多通道的特征数据选取得到最佳脑电通道数据集；根据最佳脑电通道数据集，从外围生理信号中选取得到目标生理信号；根据最佳脑电通道数据集和目标生理信号，通过分类器进行多模态的情感识别，得到情感识别结果。该方法能够提高情感识别的处理效率和精度。本申请可广泛应用于机器学习技术领域内。

Description

一种多模态情感识别方法、装置、设备及存储介质
技术领域
本申请涉及机器学习技术领域，尤其是一种多模态情感识别方法、装置、设备及存储介质。
背景技术
近些年来，情感识别已经成为情感计算、计算神经科学及人机交互等领域的热门话题，同时它已被广泛应用于医疗、教育、游戏和航空等诸多领域。虽然情绪是一种心理状态，但是它可以通过多种途径表现出来，例如肢体语言、说话方式和面部表情等。在日常生活中，一般人们会通过这些角度判断对方的情绪状态。然而，有时人们可能会故意通过外部表现来隐藏自己的真实情绪状态，这就导致了外在表现与内在情绪状态不一致的结果。因此，仅仅通过这些肉眼可见的并且可受人的意志改变的特征，是无法准确判断出一个人真实的情绪状态的。此外，当一些残疾人的面部或四肢出现疾病时，他们往往无法通过外在行为来表达自己的情绪。研究表明，呼吸、体温、心率、脑电等生理指标都是受神经系统控制的，而这些控制是不受人的意志所改变的。因此，生理信号可以更准确地反映一个人的情绪状态。
其中，脑电信号的时间分辨率较高，但它的空间分辨率较低，为了获取更加丰富的信息，都会在受试者的头皮上放置较多电极，一般采用多通道(32或64或128个通道)的脑电信号进行情感识别的研究，以期望达到高识别率。但在使用过多通道的脑电信号后，往往会增加设备成本、加大操作复杂度，而额外的脑电通道也可能包含噪声和冗余通道，这反而会降低识别性能。在现在技术中，基于多模态情感识别可以利用多种生理信号，可以从多个方面去识别用户情感。在基于多模态情感识别中，由于脑电信号(EEG)反映用户中枢神经系统的情绪变化，外周生理信号反映用户自主神经系统的情绪反应，其结果更加具有客观性和准确性，因此，考虑到通过直接减少脑电通道，或者是用生理信号加入来弥补减少脑电通道所带来的损失，然而生理信号过多的引入依旧会导致计算量太大，影响情绪识别系统的实时性，继而导致情感识别处理的效率大大降低。
综合上述，相关技术中存在的技术问题亟需得到解决。
发明内容
本申请的目的在于至少一定程度上解决相关技术中存在的技术问题之一。
为此，本申请实施例的一个目的在于提供一种多模态情感识别方法。
本申请实施例的另一个目的在于提供多模态情感识别装置。
为了达到上述技术目的，本申请实施例所采取的技术方案包括：
第一方面，本申请实施例提供了一种多模态情感识别方法，包括以下步骤：
获取原始的脑电信号和外围生理信号，提取所述脑电信号的多通道的特征数据；
根据各个通道对应的所述特征数据，通过分类器进行情感识别，确定各个所述通道对应的识别准确率；
基于所述特征数据，构建各个所述通道之间的皮尔逊相关矩阵，根据所述皮尔逊相关矩阵和所述识别准确率，确定各个所述通道对应的特征权重参数；
根据所述特征权重参数，从所述多通道的特征数据选取得到最佳脑电通道数据集；
根据所述最佳脑电通道数据集，从所述外围生理信号中选取得到目标生理信号；
根据所述最佳脑电通道数据集和所述目标生理信号，通过分类器进行多模态的情感识别，得到情感识别结果。
另外，根据本申请上述实施例的多模态情感识别方法，还可以具有以下附加的技术特征：
进一步地，在本申请的一个实施例中，所述提取所述脑电信号的多通道的特征数据，包括：
通过预先设定的窗口在脑电信号上滑动选取，将每次窗口内的时域数据通过快速傅里叶变换转换到频域上，得到频域数据；
计算所述频域信号的功率谱密度和差分熵，并将所述功率谱密度和差分熵作为特征数据。
进一步地，在本申请的一个实施例中，所述根据所述皮尔逊相关矩阵和所述识别准确率，确定各个所述通道对应的特征权重参数，包括：
对所述皮尔逊相关矩阵和所述识别准确率做矩阵乘法运算，得到各个通道对应的通道影响因子；
根据各个所述通道对应的脑部区域，确定各个所述通道对应的偏置系数；
计算所述通道影响因子和所述偏置系数的和，得到所述通道对应的特征权重参数。
进一步地，在本申请的一个实施例中，所述根据所述特征权重参数，从所述多通道的特征数据选取得到最佳脑电通道数据集，包括：
按照所述特征权重参数的大小，对所述通道进行排序；
从所述多通道的特征数据中，选取特征权重参数较大的若干通道对应的特征数据，得到最佳脑电通道数据集。
进一步地，在本申请的一个实施例中，所述选取特征权重参数较大的若干通道对应的特征数据，得到最佳脑电通道数据集，包括：
截取当前特征权重参数的排序处于最大位置的通道对应的特征数据，添加到临时数据集中；
基于所述临时数据集，通过分类器进行情感识别，确定当前所述临时数据集对应的识别准确率；
计算当前所述临时数据集对应的识别准确率和上一轮更新时所述临时数据集对应的识别准确率的差值；
当所述差值小于预设阈值，返回所述截取当前特征权重参数的排序处于最大位置的通道对应的特征数据，添加到临时数据集中的步骤；
当所述差值大于或者等于预设阈值，将当前的所述临时数据集确定为最佳脑电通道数据集。
进一步地，在本申请的一个实施例中，所述根据所述最佳脑电通道数据集，从所述外围生理信号中选取得到目标生理信号，包括：
计算各个所述外围生理信号的信号标准差；
计算各个所述外围生理信号和所述最佳脑电通道数据集的信号平均差；
根据所述信号平均差和所述信号标准差的比值，确定所述外围生理信号的相关性分值；
根据所述相关性分值，确定目标生理信号。
进一步地，在本申请的一个实施例中，所述分类器采用支持向量机、随机森林、多层感知机或者高斯过程分类器中的任一者。
第二方面，本申请实施例提供了一种多模态情感识别装置，包括：
获取单元，用于获取原始的脑电信号和外围生理信号，提取所述脑电信号的多通道的特征数据；
第一识别单元，用于根据各个通道对应的所述特征数据，通过分类器进行情感识别，确定各个所述通道对应的识别准确率；
构建单元，用于基于所述特征数据，构建各个所述通道之间的皮尔逊相关矩阵，根据所述皮尔逊相关矩阵和所述识别准确率，确定各个所述通道对应的特征权重参数；
第一选取单元，用于根据所述特征权重参数，从所述多通道的特征数据选取得到最佳脑电通道数据集；
第二选取单元，用于根据所述最佳脑电通道数据集，从所述外围生理信号中选取得到目标生理信号；
第二识别单元，用于根据所述最佳脑电通道数据集和所述目标生理信号，通过分类器进行多模态的情感识别，得到情感识别结果。
第三方面，本申请实施例提供了一种计算机设备，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行时，使得所述至少一个处理器实现第一方面所述的多模态情感识别方法。
第四方面，本申请实施例还提供了一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于实现第一方面所述的多模态情感识别方法。
本申请的优点和有益效果将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到：
本申请实施例中提供一种多模态情感识别方法，该方法获取原始的脑电信号和外围生理信号，提取所述脑电信号的多通道的特征数据；根据各个通道对应的所述特征数据，通过分类器进行情感识别，确定各个所述通道对应的识别准确率；基于所述特征数据，构建各个所述通道之间的皮尔逊相关矩阵，根据所述皮尔逊相关矩阵和所述识别准确率，确定各个所述通道对应的特征权重参数；根据所述特征权重参数，从所述多通道的特征数据选取得到最佳脑电通道数据集；根据所述最佳脑电通道数据集，从所述外围生理信号中选取得到目标生理信号；根据所述最佳脑电通道数据集和所述目标生理信号，通过分类器进行多模态的情感识别，得到情感识别结果。该方法能够在减少多模态信号的输入的情况下，保持较高的情感识别准确率，有利于提高情感识别的处理效率和精度。
附图说明
为了更清楚地说明本申请实施例或者现有技术中的技术方案，下面对本申请实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本申请的技术方案中的部分实施例，对于本领域的技术人员来说，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。
图1为本申请实施例中提供的一种多模态情感识别方法的实施环境示意图；
图2为本申请实施例中提供的一种多模态情感识别方法的流程示意图；
图3为本申请实施例中提供的一种各频段脑电通道的皮尔逊相关矩阵色值图；
图4为本申请实施例中提供的一种脑区功能划分图；
图5为本申请实施例中提供的一种各频段脑电通道的特征权重参数折线图；
图6为本申请实施例中提供的一种各分类策略下的准确率结果示意图；
图7为本申请实施例中提供的一种各分类策略下的通道选择结果示意图；
图8为本申请实施例中提供的一种多模态情感识别装置的结构示意图；
图9为本申请实施例中提供的一种计算机设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
首先，请参照图1，图1是本申请实施例提供的一种多模态情感识别方法的实施环境示意图。参照图1，该实施环境的主体主要包括操作终端101和服务器102，操作终端101与服务器102通信连接。其中，该多模态情感识别方法可以在终端设备101本地侧执行，也可以基于和服务器102之间的交互来执行，具体可以根据实际应用情况进行适当的选择，本实施例对此并不作具体限定。
在一些实施例中，操作终端101可以是手机、电脑、智能语音设备、PDA设备等的任一种；服务器102可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)以及大数据和人工智能平台等基础云计算服务的云服务器。操作终端101与服务器102之间可以通过无线网络或有线网络建立通信连接，该无线网络或有线网络使用标准通信技术和/或协议，网络可以设置为因特网，也可以是其它任何网络，例如包括但不限于局域网(LocalArea Network，LAN)、城域网(Metropolitan Area Network，MAN)、广域网(Wide AreaNetwork，WAN)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合。
下面，结合图1示出的实施环境，对本申请实施例中提供的一种多模态情感识别方法进行介绍和说明。请参照图2，图2是本申请实施例提供的一种多模态情感识别方法的示意图，该多模态情感识别方法包括但不限于：
步骤110、获取原始的脑电信号和外围生理信号，提取所述脑电信号的多通道的特征数据；
本步骤中，在进行多模态的情感识别时，可以获取待识别者的原始的脑电信号和外围生理信号。例如，在一些实施例中，可以获取待识别者多个通道的脑电信号和8个外围生理信号(包括2导眼电信号、2导肌电信号(EMG)、1导GSR信号(皮电信号)、1导呼吸带信号、1导体积描记器、1导体温记录信号)。这些生理上的信号能够较为准确地反映出待识别者的真实情感。
在一些具体的实施例中，本申请中，在获取脑电信号后，为方便后续处理，还可以对脑电信号进行预处理。具体地，比如说对于一段脑电信号，可以根据对应的情感刺激的触发时间点，对脑电信号进行过滤。例如针对每次实验而言，前m秒平静状态下的脑电信号可以被记为基值，后续n秒的数据是人在受刺激后的脑电信号，可以将其记为目标数据，实验的输入数据可以是通过目标数据减去基值得到的。
本申请实施例中，在获取到脑电信号后，可以提取脑电信号的多通道的特征数据。具体地，例如可以设定一个窗口大小为l秒的窗口，分别针对输入数据的每个窗口，在多个通道上求快速傅里叶变换，将其转换到频域的多个频带上，对其求功率谱密度和微分熵，将求得的数据作为脑电信号的特征数据。当然，需要说明的是，此处的窗口大小和具体的提取方式可以根据需要灵活调整，本申请对此不作限制。
步骤120、根据各个通道对应的所述特征数据，通过分类器进行情感识别，确定各个所述通道对应的识别准确率；
本步骤中，在获取各个通道对应的特征数据后，可以通过训练好的分类器对其进行情感识别，然后确定各个通道的特征数据识别出来的结果和真实结果的偏差情况，得到通道对应的识别准确率。此处，情感识别的分类方式可以根据需要灵活设定，例如在一些实施例中，可以设定高兴、平静、悲伤三类结果，在另一些实施例中，也可以设置更多或者更少的分类结果，本申请对此不作限制。
需要说明的是，本申请实施例中，采用的分类器的类别可以根据需要灵活选取，本申请对此不作具体的限制。可以理解的是，在机器学习领域，分类任务作为最基础的任务类型之一，其训练可以采用的方式可以参照相关技术实现，本申请在此不作赘述。
步骤130、基于所述特征数据，构建各个所述通道之间的皮尔逊相关矩阵，根据所述皮尔逊相关矩阵和所述识别准确率，确定各个所述通道对应的特征权重参数；
本步骤中，可以采用皮尔逊相关方法，基于特征数据求取每个通道之间的皮尔逊相关系数，构造皮尔逊相关矩阵。接着，可以结合各通道的识别准确率，计算出影响因子，从而可以方便确定各个通道对应的特征权重参数。
具体地，本申请实施例中，在根据所述皮尔逊相关矩阵和所述识别准确率，确定各个所述通道对应的特征权重参数，可以包括如下步骤：
对所述皮尔逊相关矩阵和所述识别准确率做矩阵乘法运算，得到各个通道对应的通道影响因子；
根据各个所述通道对应的脑部区域，确定各个所述通道对应的偏置系数；
计算所述通道影响因子和所述偏置系数的和，得到所述通道对应的特征权重参数。
本申请实施例中，在计算通道对应的特征权重参数时，可以采用皮尔逊相关函数计算出多个通道两两之间的皮尔逊相关系数，从而构造得到皮尔逊相关矩阵Pcⅹc(c表示通道的个数，为正整数)，然后再采用分类器，计算各个脑电通道单独的识别准确率，得到的数据可以组成准确率矩阵Acⅹ1，接着，可以对二者做矩阵乘法运算，得到通道对应的权重向量W cⅹ1，权重向量中每个元素均对应一个通道的通道影响因子的数值。最后，可以结合通道电极对应的脑部区域功能位置为其增加偏置系数b cⅹ1，从而得到最终通道对应的特征权重参数。
步骤140、根据所述特征权重参数，从所述多通道的特征数据选取得到最佳脑电通道数据集；
本步骤中，可以根据特征权重参数，从多通道的特征数据中选取部分数据，组成最佳脑电通道数据集。此处，挑选最佳脑电通道数据集的目的是为了尽可能找出通道数最小同时分类性能较强的通道子集。具体地，在一些实施例中，步骤140可以通过以下步骤实现：
按照所述特征权重参数的大小，对所述通道进行排序；
从所述多通道的特征数据中，选取特征权重参数较大的若干通道对应的特征数据，得到最佳脑电通道数据集。
其中，所述选取特征权重参数较大的若干通道对应的特征数据，得到最佳脑电通道数据集，包括：
截取当前特征权重参数的排序处于最大位置的通道对应的特征数据，添加到临时数据集中；
基于所述临时数据集，通过分类器进行情感识别，确定当前所述临时数据集对应的识别准确率；
计算当前所述临时数据集对应的识别准确率和上一轮更新时所述临时数据集对应的识别准确率的差值；
当所述差值小于预设阈值，返回所述截取当前特征权重参数的排序处于最大位置的通道对应的特征数据，添加到临时数据集中的步骤；
当所述差值大于或者等于预设阈值，将当前的所述临时数据集确定为最佳脑电通道数据集。
本申请实施例中，可以根据特征权重参数的大小对通道进行排序。此处，排序可以采用升序或者降序排列，本申请对此不作限制。接着，可以根据排序结果，从中选取若干特征权重参数较大的通道对应的特征数据，得到最佳脑电通道数据集。具体地，在一些实施例中，可以预先设定选取的通道个数，例如，假设一共存在20个通道，可以预先设定选取10个通道的特征数据作为最佳脑电通道数据集。更为优选地，本申请实施例中，还可以通过量化各个通道的特征数据对识别的影响程度来确定合适的特征数据范围。例如，可以从最大的特征权重参数开始，依次将当前所有通道中特征权重参数最大的通道对应的特征数据截取出来，加入到一个临时数据集中，然后通过临时数据集，采用随机森林，支持向量机，多层感知机或者高斯过程分类器等分类器进行分类识别评估，记录临时数据集相对于上一次添加特征数据后识别准确率的变化情况，判断前后的差值是否超过设定的预设阈值，如果超过预设阈值，则可以将当前的临时数据集确定为最佳脑电通道数据集，否则，则可以继续添加下一轮所有通道中特征权重参数最大的通道对应的特征数据到临时数据集中，循环执行上述流程直到确定出最佳脑电通道数据集。
步骤150、根据所述最佳脑电通道数据集，从所述外围生理信号中选取得到目标生理信号；
步骤160、根据所述最佳脑电通道数据集和所述目标生理信号，通过分类器进行多模态的情感识别，得到情感识别结果。
本申请实施例中，在得到最佳脑电通道数据集后，可以通过标准差计算得到各个外围生理信号的特征稳定性，再将外围生理信号与这些最佳脑电通道数据集的平均差作为类间差异性，二者的比值记为相关性分值，选取外围生理信号作为目标生理信号。然后，可以将最佳脑电通道数据集和目标生理信号作为多模态信号，输入分类器内进行情感识别，得到最终的情感识别结果。具体地，本申请实施例中，分类器可以采用支持向量机、随机森林、多层感知机和GP算法等，本申请对此不作限制。此处，支持向量机(Support VectorMachine，简称SVM)是一种线性分类器，旨在找到一个能将不同类别特征数据的空间间隔最大化的最优超平面。随机森林(Random Forests，简称RF)是一种组合分类器算法，它是多棵决策树的集合，对于输入随机森林的每个测试数据而言，每棵决策树都会对该数据进行学习并选择出最优的分类结果，最后以决策树预测最多的类别作为最终的分类结果。多层感知器(MLP，Multilayer Perceptron)是一种前馈人工神经网络模型，其含有至少一个隐藏层的由全连接层组成的神经网络，且每个隐藏层的输出通过激活函数进行变换，其将输入的多个数据集映射到单一的输出的数据集上的线性分类模型。高斯过程分类器(GP，Gaussian Process Classifier)是一种基于核函数的高斯过程分类算法。具体来说，高斯过程模型是基于核函数和概率判别的贝叶斯机器学习模型，优势在于采用概率模型，输出的是概率而不是确定的值；且高斯分类器是无参数模型，即研究者不需要手动选择高斯分类器的参数，高斯过程分类器在运行高斯过程模型时，参数可以在算法的求解过程中自动获得。
下面，结合具体的实施例，对本申请中提供的一种多模态情感识别方法的具体实现和优势进行介绍和说明。
本申请实施例中，以DEAP数据集为例进行说明。此处，DEAP数据集记录了32名健康参与者的生理信号，其中，包括国际标准10-20系统的32通道的脑电信号和8通道的外围生理信号，采样频率为128Hz。每个参与者被要求观看40个不同情感的60秒音乐视频片段，以此来诱发不同的情感，并采用1～9打分制就唤醒度(英文名称：Arousal)、效价(英文名称：Valence)、优势度(英文名称：Dominance)、熟悉度(英文名称：Familiarity)、喜欢度(英文名称：Like/dislike)对每个观看完的视频进行打分。
本申请实施例中，可以对Valence二分类、Arousal二分类和Valence-Arousal四分类分别进行实验。其中，二分类的标准是以5为界，值大于5则认为是正类，值小于5则认为是负类。四分类模型由Valence和Arousal的标签值共同确定类别，分类依据的标准如表1所示。
表1
Figure BDA0003694204160000091
每次实验前3s的空白基线可以看作是人在平静状态下的脑电信号，将其记为基值，后续60s的数据是人在受视频刺激后的脑电信号。为了解决个体差异和减小基线信号对情感识别的影响，考虑到不论是平静状态还是产生情感时都会产生脑电信号，而它们的差值可以反映产生情感时脑电的相对变化，更能体现出情感的脑电特性。因此，本申请实施例中，将3s后的脑电信号减去基值得到实验的输入数据，输入数据反映的不再是脑电信号的绝对数据，而是相对于平静状态下产生情感所引起的脑电波动数据。
以一个实验为例，将1s作为划分标准，假定Xi代表第i(i＝1,2,3)秒的基线数据，Base代表基值，Rawj代表第j(j＝1,2,...,60)秒的视频刺激下的原始数据，I nputj即为实验第j秒的输入数据，那么相关的计算公式如下式所示：
Figure BDA0003694204160000101
Inputj＝Rawj-Base
在特征数据提取部分，考虑到情绪的持续时间比较短，有研究表明时间窗的大小在1-2s最佳，因此可以设置一个窗口大小为1s(采样率为128Hz，128个数据点)的时间窗口。然后分别针对每个窗口在32个通道上，通过FFT将其转换到频域的4个频带上，那么每个样本则可以得到480维的脑电特征数据。本申请实施例中，特征数据指的是频域信号的微分熵和功率谱密度，具体如下。
本申请实施例中，设置band＝[4,8,14,31,45]，即根据频率范围的不同，可以将脑电信号划分到4种频段(θ,α,β,γ)上，如表2所示。
表2
θ α β γ
4～8Hz 8～12Hz 16～31Hz 31～45Hz
脑电信号(EEG)有两个突出的特征：功率谱密度(PSD)和微分熵(DE)。其中，PSD被广泛应用于基于EEG的分类任务，而微分熵(DE)特征在基于EEG的情绪识别中表现出了优异的性能。功率谱密度(PSD)定义了信号得功率随频率分布的规律，在物理学中，通常将波在特定频率得瞬时功率谱密度定义为其频率密度乘以相应系数得结果，实际上，功率谱密度更常用得是它的抽象定义，即改频率处信号数值得平方，它的量纲仍为每赫兹得功率大小。由于采集到的信号多为时域信号，如果要获得对应的信号数值就必须先将时域信号映射到频率中去，然后才能计算功率谱密度。因此，通常使用傅里叶变换得方法来计算功率谱密度。
假设有一个时间序列的数据x＝[x1,x2,...,xn]，则其相应的FFT结果为[X1,X2,...,Xn],考虑到提取得特征是基于θ频段、α频段，β频段和γ频段这四个频段而言的，因此要考虑的是离散点的平均功率谱密度，故而可以用如下公式计算：
Figure BDA0003694204160000102
微分熵(differential entropy,DE)是香农信息熵-∑xp(x)log(p(x))在连续变量上的推广形式，计算公式如下：
Figure BDA0003694204160000111
其中,p(x)表示连续信息的概率密度函数,[a,b]表示信号取值的区间。
以DEAP数据集为例，将60s的视频刺激下的数据减去前3s的基线数据后，每次实验的数据长度从63s变成了60s，再对其以1s为窗，分别计算他们的微分熵和功率谱密度，采样点变成了60*2，得到至此每个人的数据包括两部分：采样数据(40个实验*60个数据*4个频段*32个通道)和标签(40*1)。
在进行特征提取后，每个通道的数据具有480(DE240+PSD 240)维的特征，针对4个频段的特征数据，利用皮尔逊相关方法计算各通道在个频段上的皮尔逊相关系数，得到皮尔逊相关矩阵。采用皮尔逊相关函数计算出不同情感状态下32个通道两两之间的皮尔逊相关系数，用于构造皮尔逊相关矩阵P32ⅹ32，如图3所示。再通过支持向量机分类算法得到各单通道的在Valence维度，在Arousal维度，Valence-Arousal双重维度上在4个频段上的识别准确率，得到准确矩阵A32ⅹ1。对二者做矩阵乘法计算得到通道影响因子W32ⅹ1，具体过程如下，
P32ⅹ32*A32ⅹ1＝W32ⅹ1
最后结合脑区功能位置，如图4所示，实验表明，脑电情绪与大脑分区存在一定联系，参照脑区的功能划分以及后续简化通道电极获取的简易性，具体如表3所示。
表3
脑部区域 脑电信号的特征数据 偏置
前额区，枕区 Fp1,Fp2,Fpz,O1,O2,Oz 1
侧额区，颞区 F7,F8,T7,T8,P7,P8 0.5
侧顶区，后颞区 AF3,AF4,FC5,FC6,CP5,CP6,PO3,PO4 0
额区，顶区 Fz,F3,F4,C3,C4,Pz,P3,P4 -0.5
中央区 FC1,Cz,FC2,CP1,CP2 -1
为其增加偏置系数b32ⅹ1，从而得到最终通道的特征权重参数，各频段对应折线图如图5所示。采用的公式如下所示：
Figure BDA0003694204160000112
按照特征权重参数的大小排序结果，依次增加权重较大的通道送到分类器中进行评估，计算识别准确率，每增加一个通道计算一次增加前后的准确率差值，直到准确率的提升低于0.03(阈值可自行设定)为止，记录下这些通道，即为所需的最佳脑电通道，具体分类结果可以见图6所示。选择出最佳脑电通道数据集后，可以在多种分类器上进行评估验证。本发明采用的分类器有SVM、RF和MLP还有GP，这四种都是比较常用的进行脑电情感识别研究的分类算法。在SVM、RF、MLP、GP四种分类器下，减少到5通道后的valence二分类的准确率相比较于全通道(未进行通道选择)分别只平均降低了5.03％，4.25％，6.175％，2.035％；arousal二分类的准确率相比较于全通道(未进行通道选择)分别只平均降低了5.69％，3.2％，5.55％，3.65％；valence-arousal四分类的准确率相比较于全通道(未进行通道选择)分别只平均降低了10.15％，10.85％，11.5％，7.1％；但是通道数从32降到5，减少了84％左右。
对于外围生理信号的选择，以DEAP数据集为例，鉴于该数据集除了有32个脑电通道之外，还有8个外围生理信号(2导眼电信号(1导水平眼电信号，1导竖直眼电信号)[眼电信号EOG]、2导肌电信号(EMG)、1导GSR信号(皮电)、1导呼吸带信号、1导体积描记器、1导体温记录信号)，非常适合多模态情感识别的实验，故此得到最佳脑电信号通道之后，通过标准差σn计算得到8个外围生理信号的特征稳定性，再将外围生理信号与最佳脑电通道数据集的平均差
Figure BDA0003694204160000121
作为类间差异性，再将二者比值
Figure BDA0003694204160000122
得到相关性分值，选取相关性分值最小的外围生理信号作为目标生理信号。具体过程如下：
(1)生理信号预处理：
首先，还是对生理信号进行去基值处理，将前3s生理信号的空白基线看作是人在平静状态下的信号数据，将其记为基值，后续60s的数据是人在受视频刺激后的生理信号数据，将其记为原始数据。用它们的差值反映产生情感时生理信号的相对变化，更能体现出情感的生理特性。
(2)生理信号特征的提取：
为保证与前面脑电信号特征数据的一致性，也应采用微分熵和功率谱密度的方式以1s为窗，对每种生理信号进行特征提取，但是考虑到有些生理信号并非像脑电信号一样近似服从高斯分布，所以只提取其功率谱密度作为特征，那么每个实验对象得到40个实验*60*个数据，共计data维度(8，40，60)，label维度(40，1)。
(3)生理信号选择：
相关性分值：相关性分值可以很好的衡量跨模态的相关性，即不同模态的通道之间的关系。为合理表达外围生理信号与脑电信号在情感识别之间的相关性，应分析该信号的稳定性和其不同类之间的差异程度。对于特征稳定性，特征越稳定，其离散程度越小，反之，则越大。若该信号在经历强烈情感刺激时段数值波动较大，则其在不考虑体动的情形下，本身并不稳定，那么，该信号与情感的相关性和其在情感识别中的价值则相对较低。考虑到计算某一特征在情感波动下的标准差可以有效表示该特征在情感波动下的离散程度，标准差越大，离散程度越大，标准差越小，离散程度越小。故此可以通过计算8个外围生理信号的标准差来表示该信号的特征稳定性。具体计算过程如下：
Figure BDA0003694204160000131
Figure BDA0003694204160000132
其中，n表示32的实验对象中的第几个，xj表示每个对象的2400个数据，μn表示每个实验对象的生理信号的平均值。具体结果如下表4。
表4
Figure BDA0003694204160000133
对于类间差异性，体现在从不同器官收集的各种信号的属性之间的差异。例如在EEG信号和ECG信号在波形和振幅上有很大的差异。例如，当参与者处于恐惧状态时，心电信号反映更大的心率加速，伴随着GSR信号的增加以及右额叶脑电信号的高激活程度。若该特征在波形和振幅上和脑电信号差异较大，但是其能较好地区分该信号和脑电信号下的情感，那么，该特征与脑电信号的相关性和其在情感识别中的价值相对较高。具体计算过程如下：
Figure BDA0003694204160000134
其中，n表示32的实验对象中的第几个，μk表示第k个最佳脑电通道数据集的均值，根据上一步骤中得到的最佳脑电通道子集一共有5个，mean表示取均值，具体结果如下表5。
表5
Figure BDA0003694204160000135
Figure BDA0003694204160000141
已知生理信号的标准差和平均差就可以计算出相关性分值，其具体为：
Figure BDA0003694204160000142
其中，n表示32的实验对象中的第几个，
Figure BDA0003694204160000143
表示均值标准差，
Figure BDA0003694204160000144
表示样本平均差，Vn记为该生理信号的相关性分值，计算结果如下表6。
表6
序号 生理信号 V<sub>n</sub>相关性分值
32 hEOG(horizontal EOG,hEOG1-hEOG2) 0.746464
33 vEOG(vertical EOG,vEOG1-vEOG2) 0.724725
34 zEMG(Zygomaticus Major EMG,zEMG1-zEMG2) 0.600704
35 tEMG(Trapezius EMG,tEMG1-tEMG2) 0.908114
36 GSR(values from Twente converted to Geneva format(Ohm)) 1.324437
37 Respiration belt 0.693192
38 Plethysmograph 1.137977
39 Temperature 1.006383
由表可知，与脑电信号的相关程度且在情感识别中的占高价值的生理信号依次是zEMG、Respiration belt、vEOG、hEOG、tEMG、Temperature、Plethysmograph、GSR。这里可以选取相关性分值最小(实际具体实验可以参照生理信号容易获取程度，灵活选取)的生理信号结合之前的脑电子集通道作为多模态输入信号，并送入SVM、RF、MLP、GP四种分类器进行评估。即可得到最终情感识别准确率。以下是特征的5个脑电通道单独加上相关性分值最低的zEMG信号的准确率，如表7。
表7
Figure BDA0003694204160000151
通过上表可以看出，本申请实施例采用的方法，在尽可能减少脑电和生理信号的的同时，也保证了情感识别的准确率，在SVM、RF、MLP、GP四种分类器下，减少到5脑电通道加1生理信号后的valence二分类的准确率相比较于全通道(未进行通道选择)分别只降低了2.81％，2.04％，7.38％，-2.28％；arousal二分类的准确率相比较于全通道(未进行通道选择)分别只降低了4.19％，3.31％，4.34％，3.12％；valence-arousal四分类的准确率相比较于全通道(未进行通道选择)分别只降低了9.8％，9.63％，8.112％，5.43％；但是通道数从32降到6，减少了81％左右。
此外，使用本申请实施例的方法后，valence二分类的准确率相比较于全通道加全生理信号(40个)分别只降低了7.02％，10.08％，7.71％，2.73％；arousal二分类的准确率相比较于全通道加全生理信号(40个)分别只降低了6.22％，6.33％，5.79％，3.86％；valence-arousal四分类的准确率相比较于全通道加全生理信号(40个)分别只降低了11.16％，14.10％，9.371％，10.588％；但是通道数从40降到6，减少了85％左右。
其具体变化过程如图7所示。从图7可知，多模态的方法比单一脑电信号所获得的情感准确率要高，其中，在多模态信号选择方法中，本申请实施例所提出的方法最优。
综上所述，本申请实施例通过对脑电数据进行去基值化的预处理；结合滑动窗口和傅里叶变换计算得到频域信号的微分熵和功率谱密度，作为脑电信号的特征数据；然后将特征数据输入分类器内进行情感识别，得到每个通道的识别准确率，接着利用皮尔逊相关方法构造各脑电通道之间的皮尔逊相关矩阵，作为权重系数，并结合各通道准确率计算得到影响因子，最后利用脑区功能位置为其增加偏置系数，从而得到最终通道的特征权重参数，依次选取权重较大的通道的特征数据，通过分类器找出最佳脑电通道数据子集；通过标准差和平均差分别计算生理信号的特征稳定性和与最佳脑电通道数据子集的类间差异性，利用二者比值得到相关性分值，选取最优结果作为多模态输入信号，并将其输入分类器内进行脑电情感识别，从而减少多模态生理信号的输入，解决不同情感的脑电信号之间、各生理信号之间存在的差异对情感识别的影响，提高对非线性和不平稳性的情感生理信号识别的精度和准确率。
下面参照附图描述根据本申请实施例提出的多模态情感识别装置。
参照图8，本申请实施例中提出的多模态情感识别装置，包括：
获取单元201，用于获取原始的脑电信号和外围生理信号，提取所述脑电信号的多通道的特征数据；
第一识别单元202，用于根据各个通道对应的所述特征数据，通过分类器进行情感识别，确定各个所述通道对应的识别准确率；
构建单元203，用于基于所述特征数据，构建各个所述通道之间的皮尔逊相关矩阵，根据所述皮尔逊相关矩阵和所述识别准确率，确定各个所述通道对应的特征权重参数；
第一选取单元204，用于根据所述特征权重参数，从所述多通道的特征数据选取得到最佳脑电通道数据集；
第二选取单元205，用于根据所述最佳脑电通道数据集，从所述外围生理信号中选取得到目标生理信号；
第二识别单元206，用于根据所述最佳脑电通道数据集和所述目标生理信号，通过分类器进行多模态的情感识别，得到情感识别结果。
参照图9，本申请实施例提供了一种计算机设备，包括：
至少一个处理器301；
至少一个存储器302，用于存储至少一个程序；
当至少一个程序被至少一个处理器301执行时，使得至少一个处理器301实现的多模态情感识别方法。
同理，上述方法实施例中的内容均适用于本计算机设备实施例中，本计算机设备实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
本申请实施例还提供了一种计算机可读存储介质，其中存储有处理器301可执行的程序，处理器301可执行的程序在由处理器301执行时用于执行上述的多模态情感识别方法。
同理，上述方法实施例中的内容均适用于本计算机可读存储介质实施例中，本计算机可读存储介质实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或方框有时能以相反顺序被执行。此外，在本申请的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本申请，但应当理解的是，除非另有相反说明，功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本申请是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本申请。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本申请的范围，本申请的范围由所附权利要求书及其等同方案的全部范围来决定。
功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本申请的实施方式，本领域的普通技术人员可以理解：在不脱离本申请的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本申请的范围由权利要求及其等同物限定。
以上是对本申请的较佳实施进行了具体说明，但本申请并不限于实施例，熟悉本领域的技术人员在不违背本申请精神的前提下可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种多模态情感识别方法，其特征在于，包括：
获取原始的脑电信号和外围生理信号，提取所述脑电信号的多通道的特征数据；
根据各个通道对应的所述特征数据，通过分类器进行情感识别，确定各个所述通道对应的识别准确率；
基于所述特征数据，构建各个所述通道之间的皮尔逊相关矩阵，根据所述皮尔逊相关矩阵和所述识别准确率，确定各个所述通道对应的特征权重参数；
根据所述特征权重参数，从所述多通道的特征数据选取得到最佳脑电通道数据集；
根据所述最佳脑电通道数据集，从所述外围生理信号中选取得到目标生理信号；
根据所述最佳脑电通道数据集和所述目标生理信号，通过分类器进行多模态的情感识别，得到情感识别结果。
2.根据权利要求1所述的多模态情感识别方法，其特征在于，所述提取所述脑电信号的多通道的特征数据，包括：
通过预先设定的窗口在脑电信号上滑动选取，将每次窗口内的时域数据通过快速傅里叶变换转换到频域上，得到频域数据；
计算所述频域信号的功率谱密度和差分熵，并将所述功率谱密度和差分熵作为特征数据。
3.根据权利要求1所述的多模态情感识别方法，其特征在于，所述根据所述皮尔逊相关矩阵和所述识别准确率，确定各个所述通道对应的特征权重参数，包括：
对所述皮尔逊相关矩阵和所述识别准确率做矩阵乘法运算，得到各个通道对应的通道影响因子；
根据各个所述通道对应的脑部区域，确定各个所述通道对应的偏置系数；
计算所述通道影响因子和所述偏置系数的和，得到所述通道对应的特征权重参数。
4.根据权利要求3所述的多模态情感识别方法，其特征在于，所述根据所述特征权重参数，从所述多通道的特征数据选取得到最佳脑电通道数据集，包括：
按照所述特征权重参数的大小，对所述通道进行排序；
从所述多通道的特征数据中，选取特征权重参数较大的若干通道对应的特征数据，得到最佳脑电通道数据集。
5.根据权利要求4所述的多模态情感识别方法，其特征在于，所述选取特征权重参数较大的若干通道对应的特征数据，得到最佳脑电通道数据集，包括：
截取当前特征权重参数的排序处于最大位置的通道对应的特征数据，添加到临时数据集中；
基于所述临时数据集，通过分类器进行情感识别，确定当前所述临时数据集对应的识别准确率；
计算当前所述临时数据集对应的识别准确率和上一轮更新时所述临时数据集对应的识别准确率的差值；
当所述差值小于预设阈值，返回所述截取当前特征权重参数的排序处于最大位置的通道对应的特征数据，添加到临时数据集中的步骤；
当所述差值大于或者等于预设阈值，将当前的所述临时数据集确定为最佳脑电通道数据集。
6.根据权利要求1-5中任一项所述的多模态情感识别方法，其特征在于，所述根据所述最佳脑电通道数据集，从所述外围生理信号中选取得到目标生理信号，包括：
计算各个所述外围生理信号的信号标准差；
计算各个所述外围生理信号和所述最佳脑电通道数据集的信号平均差；
根据所述信号平均差和所述信号标准差的比值，确定所述外围生理信号的相关性分值；
根据所述相关性分值，确定目标生理信号。
7.根据权利要求1所述的多模态情感识别方法，其特征在于，所述分类器采用支持向量机、随机森林、多层感知机或者高斯过程分类器中的任一者。
8.一种多模态情感识别装置，其特征在于，包括：
获取单元，用于获取原始的脑电信号和外围生理信号，提取所述脑电信号的多通道的特征数据；
第一识别单元，用于根据各个通道对应的所述特征数据，通过分类器进行情感识别，确定各个所述通道对应的识别准确率；
构建单元，用于基于所述特征数据，构建各个所述通道之间的皮尔逊相关矩阵，根据所述皮尔逊相关矩阵和所述识别准确率，确定各个所述通道对应的特征权重参数；
第一选取单元，用于根据所述特征权重参数，从所述多通道的特征数据选取得到最佳脑电通道数据集；
第二选取单元，用于根据所述最佳脑电通道数据集，从所述外围生理信号中选取得到目标生理信号；
第二识别单元，用于根据所述最佳脑电通道数据集和所述目标生理信号，通过分类器进行多模态的情感识别，得到情感识别结果。
9.一种计算机设备，其特征在于，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-7中任一项所述的多模态情感识别方法。
10.一种计算机可读存储介质，其中存储有处理器可执行的程序，其特征在于：所述处理器可执行的程序在由处理器执行时用于实现如权利要求1-7中任一项所述的多模态情感识别方法。
CN202210669266.XA 2022-06-14 2022-06-14 一种多模态情感识别方法、装置、设备及存储介质 Active CN114947852B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210669266.XA CN114947852B (zh) 2022-06-14 2022-06-14 一种多模态情感识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210669266.XA CN114947852B (zh) 2022-06-14 2022-06-14 一种多模态情感识别方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114947852A true CN114947852A (zh) 2022-08-30
CN114947852B CN114947852B (zh) 2023-01-10

Family

ID=82962219

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210669266.XA Active CN114947852B (zh) 2022-06-14 2022-06-14 一种多模态情感识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114947852B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116269386A (zh) * 2023-03-13 2023-06-23 中国矿业大学 基于序数划分网络的多通道生理时间序列情绪识别方法
CN116650017A (zh) * 2023-08-01 2023-08-29 苏州晟智医疗科技有限公司 血流参数测量装置、设备及存储介质
CN117708754A (zh) * 2023-12-12 2024-03-15 北京师范大学 一种多模态情绪识别方法和装置
CN118114146A (zh) * 2024-03-07 2024-05-31 济南瑞特安防设备有限公司 基于群体智能算法的脑电波优化分类与识别系统及方法
CN118436347A (zh) * 2024-04-26 2024-08-06 苏州大学 基于自适应数据结构优化的脑电信号情绪识别系统
CN118551340A (zh) * 2024-07-30 2024-08-27 小舟科技有限公司 基于多尺度脑电特征融合的脑电信号分析方法及设备

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5532941A (en) * 1994-07-08 1996-07-02 Lin; Lawrence I. Inter-laboratory performance monitoring system
CN107007291A (zh) * 2017-04-05 2017-08-04 天津大学 基于多生理参数的紧张情绪强度识别系统及信息处理方法
WO2017136938A1 (en) * 2016-02-10 2017-08-17 Tandemlaunch Inc. A quality adaptive multimodal affect recognition system for user-centric multimedia indexing
CN107518894A (zh) * 2017-10-12 2017-12-29 公安部南昌警犬基地 一种动物脑电分类模型的构建方法及装置
WO2018014436A1 (zh) * 2016-07-18 2018-01-25 天津大学 一种提高情绪识别模型时间鲁棒性的情绪脑电识别方法
US20190212816A1 (en) * 2018-01-09 2019-07-11 Holland Bloorview Kids Rehabilitation Hospital Eeg brain-computer interface platform and process for detection of changes to mental state
CN110353673A (zh) * 2019-07-16 2019-10-22 西安邮电大学 一种基于标准互信息的脑电通道选择方法
US20200085362A1 (en) * 2017-03-24 2020-03-19 Obshchestvo S Ogranichennoj Otvetstvennost`Yu "Mnogoprofilnoe Predpriyatie "Elsys" Method of evaluating a psychophysiological state of a person
CN111616721A (zh) * 2020-05-31 2020-09-04 天津大学 基于深度学习和脑机接口的情绪识别系统及应用
CN112773378A (zh) * 2021-01-20 2021-05-11 杭州电子科技大学 一种特征权重自适应学习的脑电情绪识别方法
CN112800998A (zh) * 2021-02-05 2021-05-14 南京邮电大学 融合注意力机制和dmcca的多模态情感识别方法及系统
CN112932502A (zh) * 2021-02-02 2021-06-11 杭州电子科技大学 结合互信息通道选择与混合神经网络的脑电情感识别方法
CN113208593A (zh) * 2021-04-08 2021-08-06 杭州电子科技大学 基于相关性动态融合的多模态生理信号情绪分类方法
CN113749656A (zh) * 2021-08-20 2021-12-07 杭州回车电子科技有限公司 基于多维生理信号的情感识别方法和装置
CN114065821A (zh) * 2021-11-29 2022-02-18 西安电子科技大学 基于动态阈值的脑电主观情绪识别方法、系统及存储介质
CN114081505A (zh) * 2021-12-23 2022-02-25 成都信息工程大学 基于皮尔逊相关系数和卷积神经网络的脑电信号识别方法

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5532941A (en) * 1994-07-08 1996-07-02 Lin; Lawrence I. Inter-laboratory performance monitoring system
WO2017136938A1 (en) * 2016-02-10 2017-08-17 Tandemlaunch Inc. A quality adaptive multimodal affect recognition system for user-centric multimedia indexing
WO2018014436A1 (zh) * 2016-07-18 2018-01-25 天津大学 一种提高情绪识别模型时间鲁棒性的情绪脑电识别方法
US20200085362A1 (en) * 2017-03-24 2020-03-19 Obshchestvo S Ogranichennoj Otvetstvennost`Yu "Mnogoprofilnoe Predpriyatie "Elsys" Method of evaluating a psychophysiological state of a person
CN107007291A (zh) * 2017-04-05 2017-08-04 天津大学 基于多生理参数的紧张情绪强度识别系统及信息处理方法
CN107518894A (zh) * 2017-10-12 2017-12-29 公安部南昌警犬基地 一种动物脑电分类模型的构建方法及装置
US20190212816A1 (en) * 2018-01-09 2019-07-11 Holland Bloorview Kids Rehabilitation Hospital Eeg brain-computer interface platform and process for detection of changes to mental state
CN110353673A (zh) * 2019-07-16 2019-10-22 西安邮电大学 一种基于标准互信息的脑电通道选择方法
CN111616721A (zh) * 2020-05-31 2020-09-04 天津大学 基于深度学习和脑机接口的情绪识别系统及应用
CN112773378A (zh) * 2021-01-20 2021-05-11 杭州电子科技大学 一种特征权重自适应学习的脑电情绪识别方法
CN112932502A (zh) * 2021-02-02 2021-06-11 杭州电子科技大学 结合互信息通道选择与混合神经网络的脑电情感识别方法
CN112800998A (zh) * 2021-02-05 2021-05-14 南京邮电大学 融合注意力机制和dmcca的多模态情感识别方法及系统
CN113208593A (zh) * 2021-04-08 2021-08-06 杭州电子科技大学 基于相关性动态融合的多模态生理信号情绪分类方法
CN113749656A (zh) * 2021-08-20 2021-12-07 杭州回车电子科技有限公司 基于多维生理信号的情感识别方法和装置
CN114065821A (zh) * 2021-11-29 2022-02-18 西安电子科技大学 基于动态阈值的脑电主观情绪识别方法、系统及存储介质
CN114081505A (zh) * 2021-12-23 2022-02-25 成都信息工程大学 基于皮尔逊相关系数和卷积神经网络的脑电信号识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JINXIANG LIAO,ET AL: "Multimodal Physiological Signal Emotion Recognition Based on Convolutional Recurrent Neural Network", 《IOP CONFERENCE SERIES:MATERIALS SCIENCE AND ENGINEERING》 *
QINGHUA ZHONG,ET AL: "Differential Entropy Feature Signal Extraction Based on Activation Mode and Its Recognition in Convolutional Gated Recurrent Unit Network", 《FRONTIERS IN PHYSICS》 *
QINGHUA ZHONG,ET AL: "Electroencephalogram Access for Emotion Recognition Based on a Deep Hybrid Network", 《FRONTIIERS IN HUMAN NEUROSCIENCE》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116269386A (zh) * 2023-03-13 2023-06-23 中国矿业大学 基于序数划分网络的多通道生理时间序列情绪识别方法
CN116269386B (zh) * 2023-03-13 2024-06-11 中国矿业大学 基于序数划分网络的多通道生理时间序列情绪识别方法
CN116650017A (zh) * 2023-08-01 2023-08-29 苏州晟智医疗科技有限公司 血流参数测量装置、设备及存储介质
CN116650017B (zh) * 2023-08-01 2023-10-27 苏州晟智医疗科技有限公司 血流参数测量装置、设备及存储介质
CN117708754A (zh) * 2023-12-12 2024-03-15 北京师范大学 一种多模态情绪识别方法和装置
CN118114146A (zh) * 2024-03-07 2024-05-31 济南瑞特安防设备有限公司 基于群体智能算法的脑电波优化分类与识别系统及方法
CN118436347A (zh) * 2024-04-26 2024-08-06 苏州大学 基于自适应数据结构优化的脑电信号情绪识别系统
CN118551340A (zh) * 2024-07-30 2024-08-27 小舟科技有限公司 基于多尺度脑电特征融合的脑电信号分析方法及设备
CN118551340B (zh) * 2024-07-30 2024-10-15 小舟科技有限公司 基于多尺度脑电特征融合的脑电信号分析方法及设备

Also Published As

Publication number Publication date
CN114947852B (zh) 2023-01-10

Similar Documents

Publication Publication Date Title
CN114947852B (zh) 一种多模态情感识别方法、装置、设备及存储介质
Nita et al. A new data augmentation convolutional neural network for human emotion recognition based on ECG signals
Chen et al. Emotion recognition based on fusion of long short-term memory networks and SVMs
Pan et al. Emotion recognition based on EEG using generative adversarial nets and convolutional neural network
CN113729707A (zh) 一种基于fecnn-lstm的眼动和ppg多模态融合的情感识别方法
Kang et al. 1D convolutional autoencoder-based PPG and GSR signals for real-time emotion classification
Mikhail et al. Using minimal number of electrodes for emotion detection using brain signals produced from a new elicitation technique
Seal et al. An EEG database and its initial benchmark emotion classification performance
Wang et al. Design of intelligent EEG system for human emotion recognition with convolutional neural network
Lee et al. LSTM-CNN model of drowsiness detection from multiple consciousness states acquired by EEG
Wang et al. Representation learning and pattern recognition in cognitive biometrics: a survey
Li et al. Emotion recognition based on multiple physiological signals
CN115422973A (zh) 一种基于注意力的时空网络的脑电情绪识别方法
Pan et al. Recognition of human inner emotion based on two-stage FCA-ReliefF feature optimization
Alakuş et al. Feature selection with sequential forward selection algorithm from emotion estimation based on EEG signals
Pratiwi et al. EEG-based happy and sad emotions classification using LSTM and bidirectional LSTM
Kumar et al. Classification of human emotional states based on valence-arousal scale using electroencephalogram
Dharia et al. Multimodal deep learning model for subject-independent EEG-based emotion recognition
Zhang et al. Multi-channel physiological signal emotion recognition based on relieff feature selection
Purnamasari et al. EEG based patient emotion monitoring using relative wavelet energy feature and Back Propagation Neural Network
Motogna et al. Strategy for affective computing based on HRV and EDA
Alakuş et al. EEG-based emotion estimation with different deep learning models
Asiri et al. Human emotions classification using EEG via audiovisual stimuli and AI
Hazra et al. On effective cognitive state classification using novel feature extraction strategies
Shashi Kumar et al. Neural network approach for classification of human emotions from EEG signal

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant