文章的情感极性分析方法、装置、电子设备及存储介质
技术领域
本发明属于数据处理技术领域,尤其涉及文章的情感极性分析方法、装置、电子设备及存储介质。
背景技术
目前各类信息平台越来越多,人们可以从信息平台获取大量的信息。例如,信息平台会向用户设备推送各类文章。但是,信息平台保存的文章的质量可能是良莠不齐的,例如,某些文章会导致用户出现恶心反感的感受,这会严重影响用户的阅读体验。因此,预先对文章进行分析,确定该文章是否为恶心反感类的文章,就显得至关重要。
目前,针对文章的分析主要采用以下方案:预先指定与恶心反感相关的关键词(如:血腥、蟒蛇、尸体),根据预先指定的关键词对文章内容进行匹配处理,如果文章包括预定数量的关键词,就确定该文章是恶心反感类的文章。
但是,目前针对文章的处理方式存在较大的弊端:需要人为指定关键词,这导致人力成本较大,而且误判率较高。尤其是针对包含图片的文章,误判率会进一步提高。
发明内容
有鉴于此,本发明的目的在于提供一种文章的情感极性分析方法、装置、电子设备及存储介质,以便准确地识别文章是否为恶心反感文章。
为实现上述目的,本发明提供如下技术方案:
一方面,本发明提供一种文章的情感极性分析方法,包括:
获得目标文章,所述目标文章包含文本和图片;
对所述目标文章进行处理,得到所述目标文章包含的多个分词;
分别确定所述目标文章中各个分词的特征向量,分别确定所述目标文章中各个图片的特征向量;
按照分词和图片在所述目标文章的先后顺序,对所述分词和图片的特征向量进行拼接,得到所述目标文章的多模态特征;
利用预先完成训练的强化学习特征筛选器对所述多模态特征进行特征筛选,输出所述目标文章的综合特征向量;其中,所述强化学习特征筛选器依次对所述多模态特征中的每一条特征向量进行动作决策,所述动作决策至少包括删除和保留;
利用预先完成训练的分类器对所述目标文章的综合特征向量进行极性预测,得到所述目标文章的情感极性分类结果。
可选的,在上述方法中,所述对所述目标文章进行处理,得到所述目标文章包含的多个分词,包括:
对所述目标文章进行预处理;
对经过预处理的目标文章进行分词处理,得到多个分词。
可选的,在上述方法中,所述对所述目标文章进行处理,得到所述目标文章包含的多个分词,包括:
对所述目标文章进行预处理;
对经过预处理的目标文章进行分词处理,得到多个初始分词;
分别确定所述多个初始分词是否属于预先建立的分词词典;
将所述多个初始分词中属于所述分词词典的初始分词作为所述目标文章的分词。
可选的,所述预处理包括去除特殊符号、英文大小写转换和繁简字体转换中的一项或多项。
可选的,所述强化学习特征筛选器和所述分类器的训练过程,包括:
获得训练样本,所述训练样本包括训练文本和训练图片,并且所述训练样本的标注信息为恶心反感;
对所述训练样本进行处理,得到所述训练样本包含的多个训练分词;
分别确定所述训练样本中各个训练分词的特征向量;
分别确定所述训练样本中各个训练图片的特征向量;
按照训练分词和训练图片在所述训练样本的先后顺序,对所述训练分词和训练图片的特征向量进行拼接,得到所述训练样本的多模态特征;
利用待训练的强化学习特征筛选器对所述训练样本的多模态特征进行基于强化学习的特征筛选,输出所述训练样本的综合特征向量;其中,所述强化学习特征筛选器对所述训练样本的多模态特征中的每一条特征向量进行动作决策,所述动作决策至少包括删除和保留;
利用待训练的分类器对所述训练样本的综合特征向量进行极性预测,得到所述训练样本的情感极性分类结果;
根据所述训练样本的情感极性分类结果计算损失函数值;
以最小化损失函数值为训练目标,更新所述待训练的强化学习特征筛选器和分类器的参数,直至满足预设的收敛条件。
可选的,在上述方法中,所述根据所述训练样本的情感极性分类结果计算损失函数值,包括:
根据所述训练样本的情感极性分类结果、所述训练样本的多模态特征包含的特征向量的数量、以及所述训练样本的多模态特征在本次训练中被删除的特征向量的数量计算奖励值;
基于所述奖励值计算损失函数值。
可选的,所述动作决策还包括加倍。
另一方面,本发明还提供一种文章的情感极性分析装置,包括:
目标文章获取单元,用于获得目标文章,所述目标文章包含文本和图片;
目标文章处理单元,用于对所述目标文章进行处理,得到所述目标文章包含的多个分词;
特征向量确定单元,用于分别确定所述目标文章中各个分词的特征向量,分别确定所述目标文章中各个图片的特征向量;
特征向量处理单元,用于按照分词和图片在所述目标文章的先后顺序,对所述分词和图片的特征向量进行拼接,得到所述目标文章的多模态特征;
特征向量筛选单元,用于利用预先完成训练的强化学习特征筛选器对所述多模态特征进行特征筛选,输出所述目标文章的综合特征向量;其中,所述强化学习特征筛选器依次对所述多模态特征中的每一条特征向量进行动作决策,所述动作决策至少包括删除和保留;
情感极性预测单元,用于利用预先完成训练的分类器对所述目标文章的综合特征向量进行极性预测,得到所述目标文章的情感极性分类结果。
可选的,所述目标文章处理单元对所述目标文章进行处理,得到所述目标文章包含的多个分词,具体为:
对所述目标文章进行预处理,对经过预处理的目标文章进行分词处理,得到多个分词。
可选的,所述目标文章处理单元对所述目标文章进行处理,得到所述目标文章包含的多个分词,具体为:
对所述目标文章进行预处理;对经过预处理的目标文章进行分词处理,得到多个初始分词;分别确定所述多个初始分词是否属于预先建立的分词词典;将所述多个初始分词中属于所述分词词典的初始分词作为所述目标文章的分词。
可选的,在上述装置的基础上,还包括模型训练单元,所述模型训练单元用于:
获得训练样本,所述训练样本包括训练文本和训练图片,并且所述训练样本的标注信息为恶心反感;对所述训练样本进行处理,得到所述训练样本包含的多个训练分词;分别确定所述训练样本中各个训练分词的特征向量;分别确定所述训练样本中各个训练图片的特征向量;按照训练分词和训练图片在所述训练样本的先后顺序,对所述训练分词和训练图片的特征向量进行拼接,得到所述训练样本的多模态特征;利用待训练的强化学习特征筛选器对所述训练样本的多模态特征进行特征筛选,输出所述训练样本的综合特征向量;其中,所述强化学习特征筛选器对所述训练样本的多模态特征中的每一条特征向量进行动作决策,所述动作决策至少包括删除和保留;利用待训练的分类器对所述训练样本的综合特征向量进行极性预测,得到所述训练样本的情感极性分类结果;根据所述训练样本的情感极性分类结果计算损失函数值;以最小化损失函数值为训练目标,更新所述待训练的强化学习特征筛选器和分类器的参数,直至满足预设的收敛条件。
可选的,所述模型训练单元根据所述训练样本的情感极性分类结果计算损失函数值,具体为:
根据所述训练样本的情感极性分类结果、所述训练样本的多模态特征包含的特征向量的数量、以及所述训练样本的多模态特征在本次训练中被删除的特征向量的数量计算奖励值;基于所述奖励值计算损失函数值。
另一方面,本发明还提供一种电子设备,包括处理器和存储器;
所述处理器,用于调用并执行所述存储器中存储的程序;
所述存储器用于存储所述程序,所述程序至少用于:
获得目标文章,所述目标文章包含文本和图片;
对所述目标文章进行处理,得到所述目标文章包含的多个分词;
分别确定所述目标文章中各个分词的特征向量,分别确定所述目标文章中各个图片的特征向量;
按照分词和图片在所述目标文章的先后顺序,对所述分词和图片的特征向量进行拼接,得到所述目标文章的多模态特征;
利用预先完成训练的强化学习特征筛选器对所述多模态特征进行特征筛选,输出所述目标文章的综合特征向量;其中,所述强化学习特征筛选器依次对所述多模态特征中的每一条特征向量进行动作决策,所述动作决策至少包括删除和保留;
利用预先完成训练的分类器对所述目标文章的综合特征向量进行极性预测,得到所述目标文章的情感极性分类结果。
另一方面,本发明还提供一种存储介质,所述存储介质中存储有计算机可执行指令,所述计算机可执行指令被处理器加载并执行时,实现如上任意一种情感极性分析方法。
由此可见,本发明的有益效果为:
本发明公开的文章的情感极性分析方法,针对目标文章中的分词和图片分别提取特征向量,之后按照各个分词和图片在目标文章中出现的先后顺序,对各个分词和图片的特征向量进行拼接,得到目标文章的多模态特征;之后利用强化学习特征筛选器依次对多模态特征中的每一条特征向量进行动作决策,以确定要保留该条特征向量,还是要删除该特征向量,从而得到目标文章的综合特征向量;之后利用分类器对目标文章的综合特征向量进行极性预测,得到目标文章的情感极性分类结果。
可以看到,在本发明公开的文章的情感极性分析方法中,考虑到目标文章中的图片也可能给用户带来恶心反感的感受,因此,目标文章的多模态特征结合了图片和文本的多维特征,这使得用于进行情感极性识别的特征信息更加全面;另外,目标文章中的上下文关系也会对情感极性识别的结果产生影响,因此,目标文章的多模态特征保留了目标文章的结构特征,也就是保留了目标文章中分词和图片的顺序关系,有利于提高情感极性识别的准确度;另外,通过强化学习特征筛选器对多模态特征进行特征筛选,能够保留更明确的恶心反感特征,删除与情感极性识别任务无关的特征,从而使得分类器能够准确的对目标文章的情感极性进行预测;另外,分类器基于强化学习特征筛选器输出的目标文章的综合特征向量,一次性对目标文章进行情感极性预测,降低了计算复杂性,也能够减少分类器的训练成本。综上,基于本发明公开的文章的情感极性分析方法,能够更加准确地识别文章是否为恶心反感文章。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明提供的文章处理系统的架构图;
图2为本发明提供的一种文章的情感极性分析方法的流程图;
图3为本发明提供的一种文章的情感极性分析模型的原理图;
图4为本发明提供的一种训练强化学习特征筛选器和分类器的方法的流程图;
图5为本发明提供的在一个应用场景下的文章的情感极性分析方法的信令图;
图6为本发明提供的一个恶心反感类文章的示意图;
图7为本发明提供的一种应用的界面示意图;
图8为本发明提供的一种文章的情感极性分析装置的结构示意图;
图9为本发明提供的一种电子设备的硬件结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明提供一种文章的情感极性分析方法,以便准确地识别文章是否为恶心反感文章。
本发明提供的情感极性分析方法可以应用于服务器或者终端。其中,前述的终端可以是诸如台式计算机、移动终端(例如智能手机和平板电脑)等电子设备。前述的服务器可以是一台服务器,也可以是由若干台服务器组成的服务器集群,或者是一个云计算服务中心。
请参见图1,图1为本发明提供的文章处理系统的架构图。该文章处理系统包括终端101和服务器102。终端101和服务器102之间通过通信网络进行数据交互。
在一种可能的实现方式中,终端101向服务器102发送文章获取请求。服务器102响应终端101发送的文章获取请求,获得相应的文章,针对获得的文章进行情感极性分析,得到各文章的情感极性分类结果,将情感极性分类结果为非恶心反感的文章向终端101推送。
在另一种可能的实现方式中,服务器102获得待推送的文章,针对待推送的文章进行情感极性分析,得到待推送文章的情感极性分类结果,将情感极性分类结果为非恶心反感的文章向终端101推送。
在以上两种可能的实现方式中,服务器101将情感极性分类结果为非恶心反感的文章向终端101推送,可以是:向终端101发送情感极性分类结果为非恶心反感的文章的标识。当用户选中某个文章的标识时,终端101向服务器102发送获取文章数据的请求,服务器102响应该请求向终端101发送该文章的文件,以便用户在终端101阅读该文章。实施中,文章的标识可以为文章的标题、摘要和图标中的一个或多个的结合。
请参见图2,图2为本发明提供的一种文章的情感极性分析方法的流程图。
该方法包括:
S201:获得目标文章,目标文章包含文本和图片。
目标文章也就是待识别的文章,该目标文章包含文本和图片。
S202:分别确定目标文章中各个分词的特征向量。
实施中,对目标文章进行处理,得到目标文章包含的多个分词,之后分别确定目标文章中各个分词的特征向量。
在一种可能的实现方式中,首先对目标文章进行预处理,之后对经过预处理的目标文章进行分词处理,得到多个分词。
在一个可能的实现方式中,首先对目标文章进行预处理,之后对经过预处理的目标文章进行分词处理,得到多个初始分词,之后分别确定多个初始分词是否属于预先建立的分词词典中,将属于该分词词典中的多个初始分词作为目标文章最终的分词,针对这些分词执行后续的确定特征向量的操作,将不存在于该分词词典中的初始分词删除。
实施中,可以对预设时间段内的文章进行分词,并统计各个分词的词频,利用词频达到预设数值的分词构建分词词典。
其中,对目标文章的预处理包括以下操作中的一个或多个:去除特殊符号、英文大小写转换和繁简字体转换。
S203:分别确定目标文章中各个图片的特征向量。
其中,分词的特征向量也称为词向量,图片的特征向量也称为图片特征。
实施中,可以利用已有的图像特征提取网络确定图片的图片特征,可以利用已有的词向量提取网络确定分词的词向量。例如,利用word2vec模型(Word-to-Vector,词向量化模型)将每个分词映射为对应的词向量。
需要说明的是,分词和图片的特征向量的维度是相同的。例如,分词的特征向量和图片的特征向量均为200维。
S204:按照分词和图片在目标文章的先后顺序,对分词和图片的特征向量进行拼接,得到目标文章的多模态特征。
多个分词和图片在目标文章中出现的先后顺序是固定不变的。在获得各个分词和各个图片的特征向量后,按照分词和图片在目标文章出现的先后顺序,对各个分词和各个图片的特征向量进行顺次拼接,从而得到目标文章的多模态特征。
在一种可能的实现方式中,多模态特征中的第i行元素为:在全部分词和图片中处于第i位的分词或者图片的特征向量。
例如,分词1、分词2、图片1、分词3在目标文章中依次出现,那么将分词1的特征向量作为多模态特征的第一行,将分词2的特征向量作为多模态特征的第二行,将图片1的特征向量作为多模态特征的第三行,将分词3的特征向量作为多模态特征的第4行。
假如目标文章包含n个图片和m个分词,n个图片的特征向量依次表示为p1、p2、p3、…、pn,m个分词的特征向量依次表示为w1、w2、w3、…、wm,每个特征向量均为200维。那么,目标文章的多模态特征为(n+m)*200。
目标文章中的图片也可能给用户带来恶心反感的感受,在本发明中,目标文章的多模态特征结合了图片和文本的多维特征,这使得用于进行情感极性识别的特征信息更加全面。另外,目标文章中的上下文关系也会对情感极性识别的结果产生影响。在本发明中,目标文章的多模态特征保留了目标文章的结构特征,也就是保留了目标文章中分词和图片的顺序关系,有利于提高情感极性识别的准确度。
S205:利用预先完成训练的强化学习特征筛选器对多模态特征进行特征筛选,输出目标文章的综合特征向量。其中,强化学习(Reinforcement Learning,RL)特征筛选器依次对多模态特征中的每一条特征向量进行动作决策,动作决策至少包括删除和保留。
强化学习特征筛选器是基于强化学习训练完成的,通过依次对多模态特征中每条特征向量进行动作决策,可以得到与情感极性识别任务强相关的特征的有效表达。也就是说,通过强化学习特征筛选器对多模态特征中的特征向量进行筛选,能够保留更明确的恶心反感特征,删除与情感极性识别任务无关的特征,从而使得分类器能够准确的对目标文章的情感极性进行预测。而且,强化学习特征筛选器按照分词和图片在目标文章中出现的先后顺序,依次对多模态特征中的每一条特征向量进行动作决策,更能表示文章的结构特征,也更加符合用于的阅读习惯。
S206:利用预先完成训练的分类器对目标文章的综合特征向量进行极性预测,得到目标文章的情感极性分类结果。
目标文章的情感极性分类结果包括:目标文章为恶心反感文章,或者,目标文章为非恶心反感文章。
需要说明的是,分类器对目标文章的综合特征向量进行极性预测,输出的是目标文章属于恶心反感文章的概率值,概率值的取值在0至1之间,包括端点值。之后,根据分类器输出的概率值确定目标文章是恶心反感文章还是非恶心反感文章。例如,如果分类器输出的概率值大于预设数值,则确定目标文章为恶心反感文章,如果分类器输出的概率值小于或等于该预设数值,则确定目标文章为非恶心反感文章。该预设数值可以配置为0.5。
本发明公开的文章的情感极性分析方法,针对目标文章中的分词和图片分别提取特征向量,之后按照各个分词和图片在目标文章中出现的先后顺序,对各个分词和图片的特征向量进行拼接,得到目标文章的多模态特征;之后利用强化学习特征筛选器依次对多模态特征中的每一条特征向量进行动作决策,以确定要保留该条特征向量,还是要删除该特征向量,从而得到目标文章的综合特征向量;之后利用分类器对目标文章的综合特征向量进行极性预测,得到目标文章的情感极性分类结果。
可以看到,在本发明公开的文章的情感极性分析方法中,考虑到目标文章中的图片也可能给用户带来恶心反感的感受,因此,目标文章的多模态特征结合了图片和文本的多维特征,这使得用于进行情感极性识别的特征信息更加全面;另外,目标文章中的上下文关系也会对情感极性识别的结果产生影响,因此,目标文章的多模态特征保留了目标文章的结构特征,也就是保留了目标文章中分词和图片的顺序关系,有利于提高情感极性识别的准确度;另外,通过强化学习特征筛选器对多模态特征进行特征筛选,能够保留更明确的恶心反感特征,删除与情感极性识别任务无关的特征,从而使得分类器能够准确的对目标文章的情感极性进行预测。综上,基于本发明公开的文章的情感极性分析方法,能够更加准确地识别文章是否为恶心反感文章;另外,分类器基于强化学习特征筛选器输出的目标文章的综合特征向量,一次性对目标文章进行极性预测,降低了计算复杂性,也能够减少分类器的训练成本。
本发明上述提供的文章的情感极性分析方法可以通过情感极性分析模型实现。图3为本发明提供的一种文章的情感极性分析模型的原理图。该情感极性分析模型主要包括特征提取器301、强化学习特征筛选器302和分类器303。
特征提取器301用于:对目标文章进行处理,得到目标文章包含的多个分词,分别确定目标文章中各个分词的词向量,分别确定目标文章中各个图片的图片特征,按照分词和图片在目标文章出现的先后顺序,对分词的词向量和图片的图片特征进行拼接,得到目标文章的多模态特征。
强化学习特征筛选器302用于:依次对多模态特征中的每一条特征向量进行动作决策,从而得到目标文章的综合特征向量,向分类器303输出目标文章的综合特征向量。其中,强化学习特征筛选器302对每条特征向量的动作决策至少包括删除和保留。
假设目标文章的多模态特征包括(n+m)条特征向量,将每条特征向量作为一个状态。强化学习特征筛选器302根据上一条状态转移及当前状态的特征向量,对当前状态的特征向量进行动作决策,对当前状态的特征向量执行相应动作后,转移到下一个状态。强化学习特征筛选器302对目标文章的多模态特征完成(n+m)次动作决策后,得到目标文章的综合特征向量。
以图3为例,特征筛选器302对s1状态的特征向量进行动作决策,对s1状态的特征向量执行相应动作后,转移到s2状态,对s2状态的特征向量进行动作决策,对s2状态的特征向量执行相应的动作后,转移到s3状态,以此类推,在对s(n+m)状态的特征向量执行相应动作后,得到目标文章的综合特征向量。
分类器303用于:对强化学习特征筛选器302输出的目标文章的综合特征向量进行极性预测,得到目标文章的情感极性分类结果。
在一种可能的实现方式中,分类器303采用卷积神经网络(Convolutional NeuralNetworks,CNN)。在另一种可能的实现方式中,分类器303采用长短时记忆网络(LongShort-Term Memory,LSTM)。
在实施中,可以单独训练特征提取器,而同时训练强化学习特征筛选器和分类器。下面对本发明所使用的强化学习特征筛选器和分类器的训练过程进行说明。
请参见图4,图4为本发明提供的一种训练强化学习特征筛选器和分类器的方法的流程图。该训练方法包括:
S401:获得训练样本。训练样本包括训练文本和训练图片,并且训练样本的标注信息为恶心反感。
本发明公开的训练方法中,训练样本均为恶心反感文章。将训练样本中的文本称为训练文本,将训练样本中的图片称为训练图片。
S402:分别确定训练样本中各个训练分词的特征向量。
对训练样本进行处理,得到训练样本包含的多个训练分词,之后分别确定训练样本中各个训练分词的特征向量。
在一种可能的实现方式中,首先对训练样本进行预处理,之后对经过预处理的训练样本进行分词处理,得到多个训练分词。
在一个可能的实现方式中,首先对训练样本进行预处理,之后对经过预处理的训练样本进行分词处理,得到多个初始训练分词,之后分别确定多个初始训练分词是否存在于预先建立的分词词典中,将存在于该分词词典中的多个初始训练分词作为最终的训练分词,针对这些训练分词执行后续的确定特征向量的操作,将不存在于该分词词典中的初始训练分词删除。
其中,对训练样本的预处理包括以下操作中的一个或多个:去除特殊符号、英文大小写转换和繁简字体转换。
S403:分别确定训练样本中各个训练图片的特征向量。
其中,训练分词的特征向量也称为词向量,训练图片的特征向量也称为图片特征。
实施中,利用已有的图像特征提取网络确定训练图片的图片特征,利用已有的词向量提取网络确定训练分词的词向量。例如,利用word2vec模型将每个训练分词映射为对应的词向量。需要说明的是,训练分词和训练图片的特征向量的维度是相同的。
S404:按照训练分词和训练图片在训练样本的先后顺序,对训练分词和训练图片的特征向量进行拼接,得到训练样本的多模态特征。
多个训练分词和训练图片在训练样本中出现的先后顺序是固定不变的。在获得各个训练分词和各个训练图片的特征向量后,按照训练分词和训练图片在训练样本出现的先后顺序,对各个训练分词和各个训练图片的特征向量进行顺次拼接,从而得到训练样本的多模态特征。
在一种可能的实现方式中,训练样本的多模态特征中的第i行元素为:在全部训练分词和训练图片中处于第i位的训练分词或者训练图片的特征向量。
S405:利用待训练的强化学习特征筛选器对训练样本的多模态特征进行特征筛选,输出训练样本的综合特征向量。其中,强化学习特征筛选器对训练样本的多模态特征中的每一条特征向量进行动作决策,动作决策至少包括删除和保留。
强化学习特征筛选器中定义了状态和动作策略。
强化学习特征筛选器根据上一条状态转移及当前状态的特征向量,对当前状态st对应的特征向量进行动作决策,对当前状态st的特征向量执行相应动作后,转移到下一个状态st+1。
强化学习特征筛选器的动作at包括保留和删除,分别表示保留当前状态st对应的特征向量和删除当前状态st对应的特征向量,同时定义当前时刻(也就是t时刻)的策略为π,表示如下:
π(at|st;θ)=σ(W*st+b)
其中,π(at|st;θ)表示选择动作at执行的概率,σ表示激活函数,θ={W,b}表示强化学习特征筛选器的参数。在强化学习特征筛选器的训练阶段,根据π(at|st;θ)的概率对动作进行采样执行。在强化学习特征筛选器的使用阶段,在当前状态st下选择具有最大概率的动作,进行特征向量的保留或删除处理,即:
at=argmaxaπ(a|st;θ)
S406:利用待训练的分类器对训练样本的综合特征向量进行极性预测,得到训练样本的情感极性分类结果。
S407:根据训练样本的情感极性分类结果计算损失函数值。
S408:以最小化损失函数值为训练目标,更新待训练的强化学习特征筛选器和分类器的参数,直至满足预设的收敛条件。
在一种可能的实现方式中,根据训练样本的情感极性分类结果计算损失函数值,包括:
根据训练样本的情感极性分类结果、训练样本的多模态特征包含的特征向量的数量、以及训练样本的多模态特征在本次训练中被删除的特征向量的数量计算奖励值;基于奖励值计算损失函数值。
按照公式(1)计算奖励值:
其中,RL为奖励值,P(y|X)为训练样本为恶心反感文章的概率值,γ为预设的超参数,L'为训练样本的多模态特征在本次训练中被删除的特征向量的数量,L为训练样本的多模态特征包含的特征向量的数量。
按照公式(2)计算损失函数值。
在公式(2)中,RL为奖励值,L为训练样本的多模态特征包含的特征向量的数量,t为当前时刻,θ为网络参数,策略πθ(at|st)表示基于网络参数θ在当前状态st选择动作at执行的概率。
本发明中的奖励值为延时奖励(Delayed Reward),在分类器对训练样本完成感情极性预测后,根据公式(1)计算奖励值,之后再根据公式(2)计算损失函数值。
在一种可能的实现方式中,预设的收敛条件为:损失函数值小于预设的数值。在另一种可能的实现方式中,预设的收敛条件为:对强化学习特征筛选器和分类器的训练次数达到预设的迭代次数。
在一种可能的实现方式中,动作策略除了删除和保留之外,还包括加倍。如果强化学习特征筛选器对多模态特征中的特征向量做出的动作决策为加倍,那么利用训练得到的加倍系数对该特征向量进行加倍处理,该加倍系数大于1。
也就是说,通过强化学习特征筛选器对多模态特征进行特征筛选,删除与情感极性识别任务无关的特征,保留更明确的恶心反感特征,并且,对于与情感极性识别任务相关性更高的恶心反感特征,对其进行加倍处理,从而使得分类器能够准确的对目标文章的情感极性进行预测。
下面以通过终端的第一应用中的“看一看”功能从服务器请求文章为例,对本发明提供的文章的情感极性分析方法进行说明。
请参见图5,图5为本发明提供的在一个应用场景下的文章的情感极性分析方法的信令图。该方法包括:
S501:终端运行第一应用,显示第一应用的界面。
终端可以为手机或者平板电脑。该第一应用可以为通讯类应用,也可以为阅读类应用,当然第一应用还可以为其他类型的应用。
该第一应用的界面包含多个功能选项,例如包括:“看一看”功能选项、“扫一扫”功能选项、“搜一搜”功能选项、“购物”功能选项、“游戏”功能选项和“小程序”功能选项,如图7所示。
S502:终端响应选择“看一看”功能的用户操作,生成获取文章请求。
S503:终端向服务器发送获取文章请求。
S504:服务器接收获取文章请求,获得待推送文章。
S505:服务器对待推送文章进行情感极性识别,获得待推送文章的情感极性分类结果。
其中,服务器基于本发明提供的方法对待推送文章进行情感极性识别,以确定待推送文章是恶心反感文章还是非恶心反感文章。
S506:服务器根据待推送文章的情感极性分类结果生成文章推送信息。
其中,文章推送信息包括待推送文章中情感极性分类结果为非恶心反感的文章的标识。也就是说,服务器仅将待推送文章中的非恶心反感文章向终端推送。图6为恶心反感文章的一个示例,该文章中包含会引起用户不适的图片。
S507:服务器向终端发送文章推送信息。
S508:终端基于文章推送信息生成“看一看”页面,并显示。
其中,“看一看”页面中包含文章推送信息,如图7所示。之后,如果用户想要阅读某篇文章的话,选择要阅读的文章的标识,终端从服务器获取该文章的文件,并进行显示,用户就可以阅读该文章。
另一方面,本发明还提供一种文章的情感极性分析装置。
下面对本发明提供的文章的情感极性分析装置进行介绍。下文中描述的情感极性分析装置可认为是,电子设备为实现本发明实施例提供的情感极性分析方法所需设置的程序模块。下文中关于情感极性分析装置的描述,可与上文中关于情感极性分析方法的描述相互参照。
参见图8,图8为本发明提供的一种文章的情感极性分析装置的结构示意图。该装置包括:
目标文章获取单元801,用于获得目标文章,目标文章包含文本和图片;
目标文章处理单元802,用于对目标文章进行处理,得到目标文章包含的多个分词;
特征向量确定单元803,用于分别确定目标文章中各个分词的特征向量,分别确定目标文章中各个图片的特征向量;
特征向量处理单元804,用于按照分词和图片在目标文章的先后顺序,对分词和图片的特征向量进行拼接,得到目标文章的多模态特征;
特征向量筛选单元805,用于利用预先完成训练的强化学习特征筛选器对多模态特征进行特征筛选,输出目标文章的综合特征向量;其中,强化学习特征筛选器依次对多模态特征中的每一条特征向量进行动作决策,动作决策至少包括删除和保留;
情感极性预测单元806,用于利用预先完成训练的分类器对目标文章的综合特征向量进行极性预测,得到目标文章的情感极性分类结果。
在一个可选的实施例中,目标文章处理单元802具体用于:对目标文章进行预处理;对经过预处理的目标文章进行分词处理,得到多个分词。
在一个可选的实施例中,目标文章处理单元802具体用于:对目标文章进行预处理;对经过预处理的目标文章进行分词处理,得到多个初始分词;分别确定多个初始分词是否属于预先建立的分词词典;将多个初始分词中属于分词词典的初始分词作为目标文章的分词。
其中,预处理包括去除特殊符号、英文大小写转换和繁简字体转换中的一项或多项。
在一个可选的实施例中,情感极性分析装置还包括模型训练单元。
模型训练单元用于:获得训练样本,训练样本包括训练文本和训练图片,并且训练样本的标注信息为恶心反感;对训练样本进行处理,得到训练样本包含的多个训练分词;分别确定训练样本中各个训练分词的特征向量;分别确定训练样本中各个训练图片的特征向量;按照训练分词和训练图片在训练样本的先后顺序,对训练分词和训练图片的特征向量进行拼接,得到训练样本的多模态特征;利用待训练的强化学习特征筛选器对训练样本的多模态特征进行特征筛选,输出训练样本的综合特征向量;其中,强化学习特征筛选器对训练样本的多模态特征中的每一条特征向量进行动作决策,动作决策至少包括删除和保留;利用待训练的分类器对训练样本的综合特征向量进行极性预测,得到训练样本的情感极性分类结果;根据训练样本的情感极性分类结果计算损失函数值;以最小化损失函数值为训练目标,更新待训练的强化学习特征筛选器和分类器的参数,直至满足预设的收敛条件。
在一个可选的实施例中,模型训练单元根据训练样本的情感极性分类结果计算损失函数值,具体为:
根据训练样本的情感极性分类结果、训练样本的多模态特征包含的特征向量的数量、以及训练样本的多模态特征在本次训练中被删除的特征向量的数量计算奖励值;基于奖励值计算损失函数值。
另一方面,本发明实施例还提供一种电子设备。
参见图9,图9为本发明实施例提供的一种的电子设备的硬件结构图。该电子设备900可以包括处理器901和存储器902。
可选的,该终端还可以包括:通信接口903、输入单元904、显示器905和通信总线906。其中,处理器901、存储器902、通信接口903、输入单元904、显示器905均通过通信总线906完成相互间的通信。
在本发明实施例中,该处理器901可以为中央处理器(Central Processing Unit,CPU),特定应用集成电路,数字信号处理器、现成可编程门阵列或者其他可编程逻辑器件等。
该处理器901可以调用存储器902中存储的程序。
存储器902中用于存放一个或者一个以上程序,程序可以包括程序代码,所述程序代码包括计算机操作指令。在本发明实施例中,该存储器中至少存储有用于实现以下功能的程序:
获得目标文章,目标文章包含文本和图片;
对目标文章进行处理,得到目标文章包含的多个分词;
分别确定目标文章中各个分词的特征向量,分别确定目标文章中各个图片的特征向量;
按照分词和图片在目标文章的先后顺序,对分词和图片的特征向量进行拼接,得到目标文章的多模态特征;
利用预先完成训练的强化学习特征筛选器对多模态特征进行特征筛选,输出目标文章的综合特征向量;其中,强化学习特征筛选器依次对多模态特征中的每一条特征向量进行动作决策,动作决策至少包括删除和保留;
利用预先完成训练的分类器对目标文章的综合特征向量进行极性预测,得到目标文章的情感极性分类结果。
在一种可能的实现方式中,该存储器902可包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、以上所提到的程序等;存储数据区可存储根据计算机设备的使用过程中所创建的数据等。
此外,存储器902可以包括高速随机存取存储器,还可以包括非易失性存储器。
该通信接口903可以为通信模块的接口。
该输入单元904可以包括感应触摸显示面板上的触摸事件的触摸感应单元、键盘等等。
该显示器905包括显示面板,如触摸显示面板等。
当然,图9所示的电子设备结构并不构成对本发明实施例中电子设备的限定,在实际应用中电子设备可以包括比图9所示的更多或更少的部件,或者组合某些部件。
在一些实施例中,上述电子设备可以是一个分布式系统中的一个节点,其中,该分布式系统可以为区块链系统,该区块链系统可以是由该多个节点通过网络通信的形式连接形成的分布式系统。其中,节点之间可以组成点对点(P2P,Peer To Peer)网络,任意形式的计算设备,比如服务器、终端等电子设备都可以通过加入该点对点网络而成为该区块链系统中的一个节点。
另一方面,本发明实施例还提供一种存储介质,该存储介质中存储有计算机可执行指令,该计算机可执行指令被处理器加载并执行时,实现如上任意一个实施例中的文章的情感极性分析方法。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置、电子设备及存储介质而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。