CN104239554A - 跨领域跨类别的新闻评论情绪预测方法 - Google Patents

Abstract

本发明提出了一种跨领域跨类别的新闻评论情绪预测方法。本发明公开的方法，是在目标领域只有少量的标注数据而在另一相关但不相同的源领域拥有大量的标注数据条件下，通过模拟源领域和目标领域情绪类别集合间关系，实现不同领域间的知识迁移，构建跨领域跨类别的新闻评论情绪预测模型，从而解决目标领域新闻评论的情绪预测问题。在源领域与目标领域为不同情绪类别集合情境下，本发明的方法显著地优于其他跨领域跨类别在线新闻评论的情绪预测的替代方法，并且极大降低人工标注工作的高昂代价和训练更多分类模型所耗费的精力。本发明可用于用户情感分析和舆情监督。

Description

跨领域跨类别的新闻评论情绪预测方法

技术领域

本发明属于web信息检索与挖掘领域，具体涉及异构新闻内容，评论内容，用户情感等多种信息源，对在线新闻评论情绪进行预测的方法。

背景技术

近年来，随着信息检索、机器学习、自然语言处理领域的快速发展，文本挖掘和情感分析问题引起了研究者的广泛关注。基于监督学习的情感分类方法纷纷涌现，成为了情感分析中的研究热点。如何建立一个在多领域通用的新闻评论情感预测方法，利用一个领域的知识帮助其他领域分类模型的学习，是一个亟待解决的问题。以下将多类情绪划分的情绪分类问题称为“情绪分类(emotion classification)”，区别于二类情感极性划分的“情感倾向性分类”。

情感分析需要在当前领域充足的训练数据集建立分类器，但是这往往需要大量的人工标注工作，这种标注工作劳动强度大，十分耗时且代价高昂。因此，为了降低人工标注工作的高昂代价和训练更多分类模型所耗费的精力，构建跨领域的情感分类方法，用某一领域的标注的训练数据集来帮助另一相关但不相同、仅有少量标注的训练数据集的其他领域进行情感分析，具有重要研究意义和应用价值。

跨领域(cross-domain)情感分类问题包括跨领域的情绪分类、跨领域的情感倾向性分类和跨领域跨类别(cross-category)的情感分类问题，其中，跨领域跨类别的情感分类问题是在源领域(source domain)和目标领域(target domain)采用不同的多类情绪类别集合，或是一个领域采用情感倾向性类别集合，而另一领域采用多类情绪类别集合的情境下进行跨领域情绪预测。

迁移学习(transfer learning)技术是解决这个问题的常用手段，将相关领域(源领域)知识迁移至目标领域，来帮助目标领域分类模型的学习。有研究者将两个不同领域中具有良好主观识别性的特征作为领域独立的特征来实现领域迁移，并利用电影评论和产品评论数据对其方法进行验证。SCL算法是一种迁移学习的高效方法，采用了领域适应技术来解决情感分析问题。SCL算法基于ASO优化技术的特征表示知识迁移学习方法，利用源领域和目标领域的未标注数据抽取在两个领域经常出现且表现相同的支点特征，然后模拟支点特征和其他特征的相关性，并利用相关性信息确定一些新的共享特征，以降低领域间数据分布的差异。但是，即使加入这些新的特征，数据分布差异的问题仍然存在于原始的特征空间上。另外，SCL算法的性能很大程度上取决于支点特征选择的优劣，因此常常达不到很好的效果。

此外，大量的情感分析工作多是基于二类情感倾向性的分析，不能直接应用于多类情绪分类问题。另外，根据源领域和目标领域是否共享相同情绪类别，现存的迁移学习技术局限于在任务/领域共享相同的情绪类别条件下实现知识迁移，不同领域使用不同情绪类别的情境是已有方法所不能解决的。而本发明是首次将跨领域情感分析问题扩展到跨情绪类别的情景中，用以解决更为实际的在不同情绪类别下不同领域的情感分析问题。

发明内容

本发明的目的是解决有着不同情绪类别的相关但不相同的两个领域中的新闻评论情绪预测问题，提出一种跨领域跨类别的新闻评论情绪预测方法。

本发明针对现有技术中的问题，采用机器学习技术，创新性地提出跨领域跨类别的新闻评论情绪预测方法，极大降低了人工标注工作的高昂代价和训练更多分类模型所耗费的精力，解决其他方法无法解决的不同情绪类别情景下的跨领域情感分析问题。

本发明提出的跨领域跨类别的新闻评论情绪预测方法，包括如下步骤：

第1、对跨领域新闻评论情绪预测问题进行形式化描述

定义1：源领域(source domain)和目标领域(target domain)分别为D_S和D_T；

定义2：源领域和目标领域的情绪类别标签集合分别为E_S和E_T：

$E_S=\{e_{S_1},e_{S_2},\·\·\·,e_{S_{K_S}}\}---\left(1.1\right)$

$E_T=\{e_{T_1},e_{T_2},\·\·\·,e_{T_{K_T}}\}---(1.2)$

其中，代表源领域D_S的新闻评论中可能表达的用户情绪类别标签，代表D_T的新闻评论中可能表达的用户情绪类别标签，E_T构成了该目标领域新闻评论情绪分类问题的输出空间；

定义3：源领域D_S中的新闻评论文档集合C_S，其新闻评论的数量充足；目标领域D_T中的新闻评论文档集合C_T，其新闻评论的数量相对较小：

$C_S=\{c_S^{\left(1\right)},c_S^{\left(2\right)},\·\·\·,c_S^{\left(M\right)}\}---\left(1.3\right)$

$C_T=\{c_T^{\left(1\right)},c_T^{\left(2\right)},\·\·\·,c_T^{\left(N\right)}\}---(1.4)$

定义4：向量为新闻评论的特征向量，向量为新闻评论的特征构成特征向量：

$x_S^{\left(i\right)}=\{x_{S_1}^{\left(i\right)},x_{S_2}^{\left(i\right)},\·\·\·x_{S_n}^{\left(i\right)}\}---\left(1.5\right)$

$x_T^{\left(i\right)}=\{x_{T_1}^{\left(i\right)},x_{T_2}^{\left(i\right)},\·\·\·x_{T_n}^{\left(i\right)}\}---(1.6)$

其中，表示评论的第j个特征，表示新闻评论的第j个特征；

定义5：向量为对应的新闻评论的标注，用来表示评论表达的情绪，

$y_S^{\left(i\right)}=\{y_{S_1}^{\left(i\right)},y_{S_2}^{\left(i\right)},\·\·\·,y_{S_K}^{\left(i\right)}\}---\left(1.7\right)$

如果新闻评论标注的情绪是类 $e_{S_l}\∈E_S,l=\mathrm{1,2},\·\·\·,K_S,$ 则中项 $y_{S_r}^{\left(i\right)},r\∈\mathrm{1,2},\·\·\·,K$ 可表示为

$y_{S_r}^{\left(i\right)}=\left\{\begin{array}{cc}1,& r=l\\ 0,& r\≠l\end{array}\right.---\left(1.8\right)$

定义6：向量为对应的新闻评论的标注，用来表示评论表达的情绪，

$y_T^{\left(i\right)}=\{y_{T_1}^{\left(i\right)},y_{T_2}^{\left(i\right)},\·\·\·,y_{T_K}^{\left(i\right)}\}---(1.9)$

如果新闻评论标注的情绪是类 $e_{T_k}\∈E_T,k=\mathrm{1,2},\·\·\·,K_T,$ 则中项 $y_{T_r}^{\left(i\right)},r\∈\mathrm{1,2},\·\·\·,K$ 可表示为

$y_{T_r}^{\left(i\right)}=\left\{\begin{array}{cc}1,& r=k\\ 0,& r\≠k\end{array}\right.---(1.10)$

定义7：在目标领域D_T中，用于情绪预测模型训练的标注数据集有N，0≤N，条新闻和相应的情绪类别标签，可表示为

$D_T=\{(x_T^{\left(1\right)},y_T^{\left(1\right)}),(x_T^{\left(2\right)},y_T^{\left(2\right)}),\·\·\·(x_T^{\left(N\right)},y_T^{\left(N\right)})\}---\left(1.11\right)$

定义8：源领域D_S中，用于情绪预测模型训练的标注数据集有M，0≤N＜＜M，条新闻和相应的情绪类别标签，可表示为

$D_S=\{(x_S^{\left(1\right)},y_S^{\left(1\right)}),(x_S^{\left(2\right)},y_S^{\left(2\right)}),\·\·\·(x_S^{\left(M\right)},y_S^{\left(M\right)})\}---\left(1.12\right)$

第2、构建利用情感间依赖关系实现知识迁移的模型

定义9：ω＝{ω₁,ω₂,…,ω_K}为情绪的权重向量，ω_l＝{ω_l1,ω_l2,…,ω_ln,b_l}∈Rⁿ⁺¹为情绪的权值向量参数，ω_k＝{ω_k1,ω_k2,…,ω_kn,b_k}∈Rⁿ⁺¹为对应情绪e_k的权值向量参数；

定义10：是源领域D_S的标注训练集中一个训练样本的损失，用关于权重参数ω＝{ω₁,ω₂,…,ω_K}的函数，表示为此训练样本的负的对数似然函数值，即：

${\mathrm{\ξ}}_S^{\left(i\right)}=-\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{y}_{S_k}^{\left(i\right)}\log \frac{\exp \left({\mathrm{\ω}}_k^T{x}_S^{\left(i\right)}\right)}{{\mathrm{\Σ}}_{r=1}^K\exp \left({\mathrm{\ω}}_r^T{x}_S^{\left(i\right)}\right)}---\left(1.13\right)$

定义11：为D_T中新闻评论被分到D_S的情绪类的条件概率，根据多元逻辑斯谛回归模型，该条件概率可用软最大函数来表示，归一化的概率值即：

${\mathrm{\δ}}_{T_l}^{\left(i\right)}=P\left(e_{S_l}\right|x_T^{\left(i\right)})=\frac{\exp \left({\mathrm{\ω}}_l^T{x}_T^{\left(i\right)}\right)}{{\mathrm{\Σ}}_{r=1}^{K_S}\exp \left({\mathrm{\ω}}_r^T{x}_T^{\left(i\right)}\right)}---\left(1.14\right)$

定义12：为D_T中的新闻评论被分到源领域、目标领域共有的情绪e_k∈E_S＝E_T类的条件概率，根据多元逻辑斯谛回归模型，该条件概率可用软最大函数表示，归一化的概率值即：

${\mathrm{\ψ}}_{T_k}^{\left(i\right)}=P\left(e_k\right|x_T^{\left(i\right)})=\frac{\exp \left({\mathrm{\ω}}_k^T{x}_T^{\left(i\right)}\right)}{{\mathrm{\Σ}}_{r=1}^K\exp \left({\mathrm{\ω}}_r^T{x}_T^{\left(i\right)}\right)}---\left(1.15\right)$

定义13：和分别是和的权重向量，向量中的每一项为和中每一项的权重值，用υ_kl和υ_sl表示。

定义14：γ＝(γ⁽¹⁾,γ⁽²⁾,…,γ^(M))是参数向量，用来模拟源领域和目标领域间数据分布的差异。

定义15：λ₁,λ₂,λ₃≥0是系数参数，分别用以权衡目标领域损失函数、源领域损失函数、关于参数υ的正则化项和关于参数ω正则化项的相对重要程度。

定义16：是目标领域D_T中的标注训练集中的一个训练样本的损失，根据多元逻辑斯谛回归模型的损失可由负的对数似然函数值作为损失函数来衡量，即

$\begin{array}{c}{\mathrm{\ξ}}_T^{\′\left(i\right)}=-\log \underset{k=1}{\overset{K_T}{\mathrm{\Π}}}{{\mathrm{\ψ}}_{T_k}^{\left(i\right)}}^{y_{T_K}^{\left(i\right)}}=-\underset{k=1}{\overset{K_T}{\mathrm{\Σ}}}{y}_{T_k}^{\left(i\right)}\log {\mathrm{\ψ}}_{T_k}^{\left(i\right)}\\ =-\underset{k=1}{\overset{K_T}{\mathrm{\Σ}}}{y}_{T_k}^{\left(i\right)}\log \frac{\exp \left({\mathrm{\Σ}}_{l=1}^{K_S}{\mathrm{\υ}}_{\mathrm{kl}}\frac{\exp \left({\mathrm{\ω}}_l^T{x}_T^{\left(i\right)}\right)}{{\mathrm{\Σ}}_{r=1}^{K_S}\exp \left({\mathrm{\ω}}_r^T{x}_T^{\left(i\right)}\right)}\right)}{{\mathrm{\Σ}}_{s=1}^{K_T}\exp \left({\mathrm{\Σ}}_{l=1}^{K_S}{\mathrm{\υ}}_{\mathrm{sl}}\frac{\exp \left({\mathrm{\ω}}_l^T{x}_T^{\left(i\right)}\right)}{{\mathrm{\Σ}}_{r=1}^{K_S}\exp \left({\mathrm{\ω}}_r^T{x}_T^{\left(i\right)}\right)}\right)}\end{array}---\left(1.16\right)$

为模拟源领域和目标领域情绪类别间的关系，将目标领域的训练数据中的新闻评论分至源领域中每个情绪类别的条件概率作为特征，再利用多元逻辑回归模型将这些特征分至目标领域的情绪类别e_k∈E_T,k＝1,2,…,K_T中，实现将源领域的知识迁移至目标领域，即

$\begin{array}{c}{\mathrm{\ψ}}_{T_k}^{\left(i\right)}=P\left(e_{T_k}\right|{\mathrm{\δ}}_T^{\left(i\right)})=\frac{\exp \left({\mathrm{\υ}}_k^T{\mathrm{\δ}}_T^{\left(i\right)}\right)}{{\mathrm{\Σ}}_{s=1}^{K_S}\exp \left({\mathrm{\υ}}_s^T{\mathrm{\δ}}_T^{\left(i\right)}\right)}=\frac{\exp \left({\mathrm{\Σ}}_{l=1}^{K_S}{\mathrm{\υ}}_{\mathrm{kl}}\frac{\exp \left({\mathrm{\ω}}_l^T{x}_T^{\left(i\right)}\right)}{{\mathrm{\Σ}}_{r=1}^{K_S}\exp \left({\mathrm{\ω}}_r^T{x}_T^{\left(i\right)}\right)}\right)}{{\mathrm{\Σ}}_{s=1}^{K_T}\exp \left({\mathrm{\Σ}}_{l=1}^{K_S}{\mathrm{\υ}}_{\mathrm{sl}}\frac{\exp \left({\mathrm{\ω}}_l^T{x}_T^{\left(i\right)}\right)}{{\mathrm{\Σ}}_{r=1}^{K_S}\exp \left({\mathrm{\ω}}_r^T{x}_T^{\left(i\right)}\right)}\right)}---\left(1.17\right)\end{array}$

源领域和目标领域统一的目标损失函数，表示为

$\begin{array}{cc}\underset{\mathrm{\ω},\mathrm{\υ}}{\min }& \frac{{\mathrm{\λ}}_1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ξ}}_T^{\′\left(i\right)}+\frac{{\mathrm{\λ}}_2}{M}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\γ}}^{\left(i\right)}{\mathrm{\ξ}}_S^{\left(i\right)}+{\mathrm{\λ}}_{3}R\left(\mathrm{\υ}\right)+R\left(\mathrm{\ω}\right)---\left(1.18\right)\end{array}$

其中，ω和υ是权重向量，也是整个公式的参数，需要进行参数估计获取；γ⁽ⁱ⁾用来模拟源领域和目标领域间数据分布的差异，以此差异作为权重将源领域的训练数据自然地编入到目标领域的目标损失函数中；R(ω)和R(v)是用来防止过拟合的两个参数的正则化项，采用参数向量的L2范数形式。

第3、利用边缘分布模拟源领域和目标领域的训练数据分布的差异γ

定义17：是源领域训练样本在目标领域D_T的文本特征边缘分布。

定义18：是源领域训练样本在源领域D_S的文本特征边缘分布。

源领域和目标领域的数据分布的差异γ由两个领域评论文本特征的边缘分布来模拟，γ的每一项即为

${\mathrm{\γ}}^{\left(i\right)}=\frac{{\mathrm{Pr}}_T\left(x_S^{\left(i\right)}\right)}{{\mathrm{Pr}}_S\left(x_S^{\left(i\right)}\right)}---\left(1.19\right)$

采用基于高斯核的核密度估计方法来估计γ⁽ⁱ⁾，即

$\frac{{\mathrm{Pr}}_T\left(x_S^{\left(i\right)}\right)}{{\mathrm{Pr}}_S\left(x_S^{\left(i\right)}\right)}=\frac{{\mathrm{\Σ}}_{j=1}^N\exp (-\frac{{\left|\right|x_S^{\left(i\right)}-x_T^{\left(i\right)}\left|\right|}_2}{{\mathrm{\σ}}^2})}{{\mathrm{\Σ}}_{j=1}^M\exp (-\frac{{\left|\right|x_S^{\left(i\right)}-x_S^{\left(j\right)}\left|\right|}_2}{{\mathrm{\σ}}^2})-1}---\left(1.20\right)$

其中，σ是高斯核的带宽参数，分母中的-1项是为了消除属于源领域的训练样本自己在源领域估计概率值中的影响。

第4、求解参数ω和υ的估计值

定义19：ω^*和υ^*为目标损失函数极小化时ω和υ的估计值，即最优值。

定义20：和表示求解目标损失函数极小化过程中ω和υ的中间迭代结果。

以损失函数为目标函数，采用BFGS拟牛顿法求解ω^*和υ^*：

①采用一种迭代交替的优化方法来求解此以损失函数为目标函数关于参数ω和υ的联合优化问题，将目标函数表示为

$\begin{array}{c}\begin{array}{cc}\underset{\mathrm{\ω},\mathrm{\υ}}{\min }& \frac{{\mathrm{\λ}}_1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ξ}}_T^{\′\left(i\right)}+\frac{{\mathrm{\λ}}_2}{M}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\γ}}^{\left(i\right)}{\mathrm{\ξ}}_S^{\left(i\right)}+{\mathrm{\λ}}_{3}R\left(\mathrm{\υ}\right)+R\left(\mathrm{\ω}\right)\end{array}\\ \begin{array}{cc}\underset{\mathrm{\ω},\mathrm{\υ}}{\min }& -\frac{{\mathrm{\λ}}_1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{k=1}{\overset{K_T}{\mathrm{\Σ}}}{y}_{T_k}^{\left(i\right)}\log \frac{\exp \left({\mathrm{\Σ}}_{l=1}^{K_S}{\mathrm{\υ}}_{\mathrm{kl}}\frac{\exp \left({\mathrm{\ω}}_l^T{x}_T^{\left(i\right)}\right)}{{\mathrm{\Σ}}_{r=1}^{K_S}\exp ({\mathrm{\ω}}_r^T,x_T^{\left(i\right)})}\right)}{{\mathrm{\Σ}}_{s=1}^{K_T}\exp \left({\mathrm{\Σ}}_{l=1}^{K_S}{\mathrm{\υ}}_{\mathrm{sl}}\frac{\exp \left({\mathrm{\ω}}_l^T{x}_T^{\left(i\right)}\right)}{{\mathrm{\Σ}}_{r=1}^{K_S}\exp \left({\mathrm{\ω}}_r^T{x}_T^{\left(i\right)}\right)}\right)}\end{array}\\ -\frac{{\mathrm{\λ}}_2}{M}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\γ}}^{\left(i\right)}\underset{l=1}{\overset{K_S}{\mathrm{\Σ}}}{y}_{S_l}^{\left(i\right)}\log \frac{\exp \left({\mathrm{\ω}}_l^T{x}_S^{\left(i\right)}\right)}{{\mathrm{\Σ}}_{r=1}^K\exp \left({\mathrm{\ω}}_r^T{x}_S^{\left(i\right)}\right)}\\ +{\mathrm{\λ}}_3\underset{k=1}{\overset{K_T}{\mathrm{\Σ}}}\underset{j=1}{\overset{n+1}{\mathrm{\Σ}}}{\mathrm{\υ}}_{\mathrm{kj}}^2+\underset{l=1}{\overset{K_S}{\mathrm{\Σ}}}\underset{j=1}{\overset{n+1}{\mathrm{\Σ}}}{\mathrm{\ω}}_{\mathrm{lj}}^2\end{array}---\left(1.21\right)$

②对于每次迭代，首先固定参数值将该问题转化成只关于参数ω的凸函数优化问题，即

$\begin{array}{cc}\underset{\mathrm{\ω}}{\min }& \frac{{\mathrm{\λ}}_1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ξ}}_T^{\′\left(i\right)}+\frac{{\mathrm{\λ}}_2}{M}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\γ}}^{\left(i\right)}{\mathrm{\ξ}}_S^{\left(i\right)}+{\mathrm{\λ}}_{3}R\left(\widehat{\mathrm{\υ}}\right)+R\left(\mathrm{\ω}\right)\end{array}$

采用BFGS拟牛顿法计算其梯度函数

使目标函数极小化，以求解使目标函数极小化的ω值再将参数ω固定为将目标函数联合优化问题转化成只关于参数υ的凸函数优化问题，

$\begin{array}{cc}\underset{\mathrm{\υ}}{\min }& \frac{{\mathrm{\λ}}_1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ξ}}_T^{\′\left(i\right)}+\frac{{\mathrm{\λ}}_2}{M}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\γ}}^{\left(i\right)}{\mathrm{\ξ}}_S^{\left(i\right)}+{\mathrm{\λ}}_{3}R\left(\mathrm{\υ}\right)+R\left(\widehat{\mathrm{\ω}}\right)\end{array}$

采用BFGS拟牛顿法计算其梯度函数

$g\left(\mathrm{\υ}\right)={[\frac{{\mathrm{\λ}}_1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\frac{\∂{\mathrm{\ξ}}_T^{\′\left(i\right)}}{\∂{\mathrm{\υ}}_k}+{\mathrm{\λ}}_3\frac{\∂R\left(\mathrm{\υ}\right)}{\∂{\mathrm{\υ}}_k}]}_K---\left(1.23\right)$

以求解使目标函数极小化的参数υ的值。

③迭代执行上述的交替过程直至收敛，就可以获得优化的参数值ω^*和υ^*。

本发明的优点和积极效果：

本发明提出了一种新颖的提出一种跨领域跨类别的新闻评论情绪预测方法，在目标领域只有少量的标注数据而在另一相关但不相同的源领域拥有大量的标注数据条件下，通过模拟源领域和目标领域情绪类别集合间关系，实现不同领域间的知识迁移，构建跨领域跨类别的新闻评论情绪预测模型，从而解决目标领域新闻评论的情绪预测问题。本发明首次解决跨领域跨类别在线新闻评论情感分析问题。

附图说明

图1为跨领域跨类别新闻评论情绪预测过程示意图。

图2为跨领域跨类别新闻评论情绪预测模型训练过程示意图。

图3为各数据集标注评论的情绪类别统计信息。

图4为各数据集标注评论的情感倾向统计信息。

具体实施方式

准备两个领域的新闻评论数据集，如2011年1月至2011年6月部分新浪新闻网站社会频道5,174个和腾讯新闻网站娱乐频道的5,431个热点新闻的评论，两个数据集的评论标注情绪类别以及情感倾向性的统计信息分别见图3和图4。对于社会领域和娱乐领域的新闻评论数据集，请专家为数据集中的每个评论标注情绪类别标签和情感倾向性标签，预定义的情绪类别与相对应的新闻网站所提供的用户情绪投票服务的情绪类别一致，情感倾向性则分为积极和消极两类。将社会领域作为源领域，娱乐领域作为目标领域；源领域使用8类情绪类别(感动、同情、愤怒、搞笑、难过、新奇、温馨、无聊)而目标领域使用二类情感倾向性类别(积极、消极)。至此，我们可以获得两个领域的新闻评论文档集合。

采用新闻评论文本内容中情绪词汇的词频作为特征。首先使用中国科学院计算技术研究所研制的汉语词法分析系统ICTCLAS(Institute of Computing Technology,ChineseLexical Analysis System)提供的中文分词功能，对新闻和评论的文本内容进行分词，再使用NTU情感分析词典和Hownet情感词典抽取表达情绪的词汇，最后统计情绪词汇的出现次数，即为词频，用词频构成社会领域(源领域)和娱乐领域(目标领域)的特征向量，即为源领域和目标领域的特征向量和

具体的和可通过以下方式获取。在社会领域和娱乐领域的新闻评论经过分词后，参照情感词典，将两个领域的新闻评论的词项中表达情感的词分别抽取出来作为该领域的特征，如笑呵呵、欣慰、幸福、暴跳如雷、勃然大怒、望而生畏、人心惶惶、痛苦、焦虑、怀疑等，并统计词频作为每条评论的特征向量，如以上词语在社会领域的训练数据集中出现次数分别为2次、24次、729次、3次、6次、23次、19次、302次、109次、58次等，那么新闻评论“这种事情弄得大家人心惶惶！一点幸福感都没有了！！严重怀疑他们的办事能力！”的特征向量则为(0,0,1,0,0,0,1,0,0,1,…)，而社会领域的特征向量为(2,24,729,3,6,23,19,302,109,58,…)。在实际数据集上，每个领域的情感词即特征多达3000多个，由于情感词与实际数据集的文本内容息息相关，并不是固定不变的，故此处不一一列出本例中各领域的情感词以及特征向量。

源领域和目标领域的数据集根据是否加入情绪类别都分为两类：一类的和具有对应的情绪类别和如上面所示的新闻评论对应的表示该新闻评论的情绪类别为8类情绪类别(感动、同情、愤怒、搞笑、难过、新奇、温馨、无聊)中的第三个：愤怒。利用这些仅有少量标注的源领域和目标领域数据集作为训练数据集进行训练，具体过程如下。

得到源领域和目标领域用于训练的训练数据集以及对应的特征向量、目标领域中用于测试的新闻评论及其特征向量后，在源领域和目标领域的训练数据集上构建分类模型、计算模型中的参数，即可获得用于跨领域跨类别的情绪预测模型，此时输入目标领域中用于测试的新闻评论特征向量，跨领域跨类别的情绪预测模型即可输出该新闻评论对应的情感倾向性。

根据源领域和目标领域统一的目标损失函数

$\begin{array}{cc}\underset{\mathrm{\ω},\mathrm{\υ}}{\min }& \frac{{\mathrm{\λ}}_1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ξ}}_T^{\′\left(i\right)}+\frac{{\mathrm{\λ}}_2}{M}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\γ}}^{\left(i\right)}{\mathrm{\ξ}}_S^{\left(i\right)}+{\mathrm{\λ}}_{3}R\left(\mathrm{\υ}\right)+R\left(\mathrm{\ω}\right)\end{array}$

通过模拟两个领域之间的差异，根据前面的定义，将各个变量带入后得到目标损失函数：

$\begin{array}{c}\begin{array}{cc}\underset{\mathrm{\ω},\mathrm{\υ}}{\min }& \frac{{\mathrm{\λ}}_1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ξ}}_T^{\′\left(i\right)}+\frac{{\mathrm{\λ}}_2}{M}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\γ}}^{\left(i\right)}{\mathrm{\ξ}}_S^{\left(i\right)}+{\mathrm{\λ}}_{3}R\left(\mathrm{\υ}\right)+R\left(\mathrm{\ω}\right)\end{array}\\ \begin{array}{cc}\underset{\mathrm{\ω},\mathrm{\υ}}{\min }& -\frac{{\mathrm{\λ}}_1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{k=1}{\overset{K_T}{\mathrm{\Σ}}}{y}_{T_k}^{\left(i\right)}\log \frac{\exp \left({\mathrm{\Σ}}_{l=1}^{K_S}{\mathrm{\υ}}_{\mathrm{kl}}\frac{\exp \left({\mathrm{\ω}}_l^T{x}_T^{\left(i\right)}\right)}{{\mathrm{\Σ}}_{r=1}^{K_S}\exp ({\mathrm{\ω}}_r^T,x_T^{\left(i\right)})}\right)}{{\mathrm{\Σ}}_{s=1}^{K_T}\exp \left({\mathrm{\Σ}}_{l=1}^{K_S}{\mathrm{\υ}}_{\mathrm{sl}}\frac{\exp \left({\mathrm{\ω}}_l^T{x}_T^{\left(i\right)}\right)}{{\mathrm{\Σ}}_{r=1}^{K_S}\exp \left({\mathrm{\ω}}_r^T{x}_T^{\left(i\right)}\right)}\right)}\end{array}\\ -\frac{{\mathrm{\λ}}_2}{M}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\γ}}^{\left(i\right)}\underset{l=1}{\overset{K_S}{\mathrm{\Σ}}}{y}_{S_l}^{\left(i\right)}\log \frac{\exp \left({\mathrm{\ω}}_l^T{x}_S^{\left(i\right)}\right)}{{\mathrm{\Σ}}_{r=1}^K\exp \left({\mathrm{\ω}}_r^T{x}_S^{\left(i\right)}\right)}\\ +{\mathrm{\λ}}_3\underset{k=1}{\overset{K_T}{\mathrm{\Σ}}}\underset{j=1}{\overset{n+1}{\mathrm{\Σ}}}{\mathrm{\υ}}_{\mathrm{kj}}^2+\underset{l=1}{\overset{K_S}{\mathrm{\Σ}}}\underset{j=1}{\overset{n+1}{\mathrm{\Σ}}}{\mathrm{\ω}}_{\mathrm{lj}}^2\end{array}$

接着进行优化该目标损失函数，求得使目标损失函数最小时的情绪类别y。算法过程如下。

输入：目标领域新闻评论文档集合C_T，C_T对应的训练数据集合T_T，目标领域用于测试的新闻评论c_T(目标领域的新闻评论集合C_T减去用于训练的数据集合T_T的部分)及其特征向量x_T，源领域评论文档集合C_S，C_S对应的评论训练数据集合T_S以及T_S对应的特征向量x_S；

输出：评论c_T的情绪类别y。

①利用源领域的训练数据集估计领域数据分布差异：

${\mathrm{\γ}}^{\left(i\right)}=\frac{{\mathrm{Pr}}_T\left(x_S^{\left(i\right)}\right)}{{\mathrm{Pr}}_S\left(x_S^{\left(i\right)}\right)}=\frac{{\mathrm{\Σ}}_{j=1}^n\exp (-\frac{\left|\right|x_S^{\left(i\right)}-x_T^{\left(i\right)}\left|\right|}{{\mathrm{\σ}}^2})}{{\mathrm{\Σ}}_{j=1}^m\exp (-\frac{\left|\right|x_S^{\left(i\right)}-x_S^{\left(i\right)}\left|\right|}{{\mathrm{\σ}}^2})-1}$

②用10折交叉验证的方法在训练数据集中学习出最优的系数和

③用交替优化方法解目标函数为

$\begin{array}{cc}\underset{\mathrm{\ω},\mathrm{\υ}}{\min }& \frac{{\widehat{\mathrm{\λ}}}_1}{n}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ξ}}_T^{\′\left(i\right)}+\frac{{\widehat{\mathrm{\λ}}}_2}{m}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\γ}}^{\left(i\right)}{\mathrm{\ξ}}_S^{\left(i\right)}+{\widehat{\mathrm{\λ}}}_{3}R\left(\mathrm{\υ}\right)+R\left(\mathrm{\ω}\right)\end{array}$

的最优化问题，求得参数的最优估计值ω^*和υ^*；

④对于目标领域测试评论c_T，依据其特征向量计算

$P(Y=e_{T_k}|X=x_T^{\left(i\right)})=\frac{\exp \left({\mathrm{\Σ}}_{l=1}^{K_S}{\mathrm{\υ}}_{\mathrm{kl}}^{*}\frac{\exp \left({\mathrm{\ω}}_l^{*T}{x}_T^{\left(i\right)}\right)}{{\mathrm{\Σ}}_{r=1}^{K_S}\exp \left({\mathrm{\ω}}_r^{*T}{x}_T^{\left(i\right)}\right)}\right)}{{\mathrm{\Σ}}_{s=1}^{K_T}\exp \left({\mathrm{\Σ}}_{l=1}^{K_S}{\mathrm{\υ}}_{\mathrm{sl}}^{*}\frac{\exp \left({\mathrm{\ω}}_l^{*T}{x}_T^{\left(i\right)}\right)}{{\mathrm{\Σ}}_{r=1}^{K_S}\exp \left({\mathrm{\ω}}_r^{*T}{x}_T^{\left(i\right)}\right)}\right)},k=\mathrm{1,2},\·\·\·,K_T$

由于本例中目标领域情感倾向性为2类，故k＝1,2。因此对于如新闻评论“这种事情弄得大家人心惶惶！一点幸福感都没有了！！严重怀疑他们的办事能力！”的特征向量(0,0,1,0,0,0,1,0,0,1,…)，带入到以上公式中，计算在k＝1,2两种情况下的2个条件概率 $P(Y=e_{T_1}|X=x_T^{\left(i\right)})=0.2$ 和 $P(Y=e_{T_2}|X=x_T^{\left(i\right)})=0.8.$

④确定评论c_T的情绪类别

$y=\arg \underset{e_{T_k}}{\max }P(Y=e_{T_k}|X=x_T^{\left(i\right)})$

此步骤即比较得到的 $P(Y=e_{T_1}|X=x_T^{\left(i\right)})$ 和 $P(Y=e_{T_2}|X=x_T^{\left(i\right)})$ 的大小，取值比较大的那个情况下的情感倾向性为评论的情绪类别，即当k＝2时，情感倾向性为消极时，条件概率值较大，故该评论的情绪类别为消极。

⑤算法结束。

Claims (1)

1.跨领域跨类别的新闻评论情绪预测方法，包括如下步骤：

第1、对跨领域新闻评论情绪预测问题进行形式化描述

定义1：源领域(source domain)和目标领域(target domain)分别为D_S和D_T；

定义2：源领域和目标领域的情绪类别标签集合分别为E_S和E_T：

$E_S=\{e_{S_1},e_{S_2},\·\·\·,e_{S_{K_S}}\}---\left(1.1\right)$

$E_T=\{e_{T_1},e_{T_2},\·\·\·,e_{T_{K_T}}\}---(1.2)$

其中，代表源领域D_S的新闻评论中可能表达的用户情绪类别标签，代表D_T的新闻评论中可能表达的用户情绪类别标签，E_T构成了该目标领域新闻评论情绪分类问题的输出空间；

定义3：源领域D_S中的新闻评论文档集合C_S，其新闻评论的数量充足；目标领域D_T中的新闻评论文档集合C_T，其新闻评论的数量相对较小：

$C_S=\{c_S^{\left(1\right)},c_S^{\left(2\right)},\·\·\·,c_S^{\left(M\right)}\}---\left(1.3\right)$

$C_T=\{c_T^{\left(1\right)},c_T^{\left(2\right)},\·\·\·,c_T^{\left(N\right)}\}---(1.4)$

定义4：向量为新闻评论的特征向量，向量为新闻评论的特征构成特征向量：

$x_S^{\left(i\right)}=\{x_{S_1}^{\left(i\right)},x_{S_2}^{\left(i\right)},\·\·\·x_{S_n}^{\left(i\right)}\}---\left(1.5\right)$

$x_T^{\left(i\right)}=\{x_{T_1}^{\left(i\right)},x_{T_2}^{\left(i\right)},\·\·\·x_{T_n}^{\left(i\right)}\}---(1.6)$

其中，表示评论的第j个特征，表示新闻评论的第j个特征；

定义5：向量为对应的新闻评论的标注，用来表示评论表达的情绪，

$y_S^{\left(i\right)}=\{y_{S_1}^{\left(i\right)},y_{S_2}^{\left(i\right)},\·\·\·,y_{S_K}^{\left(i\right)}\}---\left(1.7\right)$

如果新闻评论标注的情绪是类 $e_{S_l}\∈E_S,l=\mathrm{1,2},\·\·\·,K_S,$ 则中项 $y_{S_r}^{\left(i\right)},r\∈\mathrm{1,2},\·\·\·,K$ 可表示为

$y_{S_r}^{\left(i\right)}=\left\{\begin{array}{cc}1,& r=l\\ 0,& r\≠l\end{array}\right.---\left(1.8\right)$

定义6：向量为对应的新闻评论的标注，用来表示评论表达的情绪，

$y_T^{\left(i\right)}=\{y_{T_1}^{\left(i\right)},y_{T_2}^{\left(i\right)},\·\·\·,y_{T_K}^{\left(i\right)}\}---(1.9)$

如果新闻评论标注的情绪是类 $e_{T_k}\∈E_T,k=\mathrm{1,2},\·\·\·,K_T,$ 则中项 $y_{T_r}^{\left(i\right)},r\∈\mathrm{1,2},\·\·\·,K$ 可表示为

$y_{T_r}^{\left(i\right)}=\left\{\begin{array}{cc}1,& r=k\\ 0,& r\≠k\end{array}\right.---(1.10)$

定义7：在目标领域D_T中，用于情绪预测模型训练的标注数据集有N，0≤N，条新闻和相应的情绪类别标签，可表示为

$D_T=\{(x_T^{\left(1\right)},y_T^{\left(1\right)}),(x_T^{\left(2\right)},y_T^{\left(2\right)}),\·\·\·(x_T^{\left(N\right)},y_T^{\left(N\right)})\}---\left(1.11\right)$

定义8：源领域D_S中，用于情绪预测模型训练的标注数据集有M，0≤N＜＜M，条新闻和相应的情绪类别标签，可表示为

$D_S=\{(x_S^{\left(1\right)},y_S^{\left(1\right)}),(x_S^{\left(2\right)},y_S^{\left(2\right)}),\·\·\·(x_S^{\left(M\right)},y_S^{\left(M\right)})\}---\left(1.12\right)$

第2、构建利用情绪间依赖关系实现知识迁移的模型

定义9：ω＝{ω₁,ω₂,…,ω_K}为情绪的权重向量，ω_l＝{ω_l1,ω_l2,…,ω_ln,b_l}∈Rⁿ⁺¹为情绪的权值向量参数，ω_k＝{ω_k1,ω_k2,…,ω_kn,b_k}∈Rⁿ⁺¹为对应情绪e_k的权值向量参数；

定义10：是源领域D_S的标注训练集中一个训练样本的损失，用关于权重参数ω＝{ω₁,ω₂,…,ω_K}的函数，表示为此训练样本的负的对数似然函数值，即：

${\mathrm{\ξ}}_S^{\left(i\right)}=-\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{y}_{S_k}^{\left(i\right)}\log \frac{\exp \left({\mathrm{\ω}}_k^T{x}_S^{\left(i\right)}\right)}{{\mathrm{\Σ}}_{r=1}^K\exp \left({\mathrm{\ω}}_r^T{x}_S^{\left(i\right)}\right)}---\left(1.13\right)$

定义11：为D_T中新闻评论被分到D_S的情绪类的条件概率，根据多元逻辑斯谛回归模型，该条件概率可用软最大函数来表示，归一化的概率值即：

${\mathrm{\δ}}_{T_l}^{\left(i\right)}=P\left(e_{S_l}\right|x_T^{\left(i\right)})=\frac{\exp \left({\mathrm{\ω}}_l^T{x}_T^{\left(i\right)}\right)}{{\mathrm{\Σ}}_{r=1}^{K_S}\exp \left({\mathrm{\ω}}_r^T{x}_T^{\left(i\right)}\right)}---\left(1.14\right)$

定义12：为D_T中的新闻评论被分到源领域、目标领域共有的情绪e_k∈E_S＝E_T类的条件概率，根据多元逻辑斯谛回归模型，该条件概率可用软最大函数表示，归一化的概率值即：

${\mathrm{\ψ}}_{T_k}^{\left(i\right)}=P\left(e_k\right|x_T^{\left(i\right)})=\frac{\exp \left({\mathrm{\ω}}_k^T{x}_T^{\left(i\right)}\right)}{{\mathrm{\Σ}}_{r=1}^K\exp \left({\mathrm{\ω}}_r^T{x}_T^{\left(i\right)}\right)}---\left(1.15\right)$

定义13：和分别是和的权重向量，向量中的每一项为和中每一项的权重值，用υ_kl和υ_sl表示；

定义14：γ＝(γ⁽¹⁾,γ⁽²⁾,…,γ^(M))是参数向量，用来模拟源领域和目标领域间数据分布的差异；

定义15：λ₁,λ₂,λ₃≥0是系数参数，分别用以权衡目标领域损失函数、源领域损失函数、关于参数υ的正则化项和关于参数ω正则化项的相对重要程度；

定义16：是目标领域D_T中的标注训练集中的一个训练样本的损失，根据多元逻辑斯谛回归模型的损失可由负的对数似然函数值作为损失函数来衡量，即

$\begin{array}{c}{\mathrm{\ξ}}_T^{\′\left(i\right)}=-\log \underset{k=1}{\overset{K_T}{\mathrm{\Π}}}{{\mathrm{\ψ}}_{T_k}^{\left(i\right)}}^{y_{T_K}^{\left(i\right)}}=-\underset{k=1}{\overset{K_T}{\mathrm{\Σ}}}{y}_{T_k}^{\left(i\right)}\log {\mathrm{\ψ}}_{T_k}^{\left(i\right)}\\ =-\underset{k=1}{\overset{K_T}{\mathrm{\Σ}}}{y}_{T_k}^{\left(i\right)}\log \frac{\exp \left({\mathrm{\Σ}}_{l=1}^{K_S}{\mathrm{\υ}}_{\mathrm{kl}}\frac{\exp \left({\mathrm{\ω}}_l^T{x}_T^{\left(i\right)}\right)}{{\mathrm{\Σ}}_{r=1}^{K_S}\exp \left({\mathrm{\ω}}_r^T{x}_T^{\left(i\right)}\right)}\right)}{{\mathrm{\Σ}}_{s=1}^{K_T}\exp \left({\mathrm{\Σ}}_{l=1}^{K_S}{\mathrm{\υ}}_{\mathrm{sl}}\frac{\exp \left({\mathrm{\ω}}_l^T{x}_T^{\left(i\right)}\right)}{{\mathrm{\Σ}}_{r=1}^{K_S}\exp \left({\mathrm{\ω}}_r^T{x}_T^{\left(i\right)}\right)}\right)}\end{array}---\left(1.16\right)$

为模拟源领域和目标领域情绪类别间的关系，将目标领域的训练数据中的新闻评论分至源领域中每个情绪类别的条件概率作为特征，再利用多元逻辑回归模型将这些特征分至目标领域的情绪类别e_k∈E_T,k＝1,2,…,K_T中，实现将源领域的知识迁移至目标领域，即

$\begin{array}{c}{\mathrm{\ψ}}_{T_k}^{\left(i\right)}=P\left(e_{T_k}\right|{\mathrm{\δ}}_T^{\left(i\right)})=\frac{\exp \left({\mathrm{\υ}}_k^T{\mathrm{\δ}}_T^{\left(i\right)}\right)}{{\mathrm{\Σ}}_{s=1}^{K_S}\exp \left({\mathrm{\υ}}_s^T{\mathrm{\δ}}_T^{\left(i\right)}\right)}=\frac{\exp \left({\mathrm{\Σ}}_{l=1}^{K_S}{\mathrm{\υ}}_{\mathrm{kl}}\frac{\exp \left({\mathrm{\ω}}_l^T{x}_T^{\left(i\right)}\right)}{{\mathrm{\Σ}}_{r=1}^{K_S}\exp \left({\mathrm{\ω}}_r^T{x}_T^{\left(i\right)}\right)}\right)}{{\mathrm{\Σ}}_{s=1}^{K_T}\exp \left({\mathrm{\Σ}}_{l=1}^{K_S}{\mathrm{\υ}}_{\mathrm{sl}}\frac{\exp \left({\mathrm{\ω}}_l^T{x}_T^{\left(i\right)}\right)}{{\mathrm{\Σ}}_{r=1}^{K_S}\exp \left({\mathrm{\ω}}_r^T{x}_T^{\left(i\right)}\right)}\right)}---\left(1.17\right)\end{array}$

源领域和目标领域统一的目标损失函数，表示为

$\begin{array}{cc}\underset{\mathrm{\ω},\mathrm{\υ}}{\min }& \frac{{\mathrm{\λ}}_1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ξ}}_T^{\′\left(i\right)}+\frac{{\mathrm{\λ}}_2}{M}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\γ}}^{\left(i\right)}{\mathrm{\ξ}}_S^{\left(i\right)}+{\mathrm{\λ}}_{3}R\left(\mathrm{\υ}\right)+R\left(\mathrm{\ω}\right)---\left(1.18\right)\end{array}$

其中，ω和υ是权重向量，也是整个公式的参数，需要进行参数估计获取；γ⁽ⁱ⁾用来模拟源领域和目标领域间数据分布的差异，以此差异作为权重将源领域的训练数据自然地编入到目标领域的目标损失函数中；R(ω)和R(v)是用来防止过拟合的两个参数的正则化项，采用参数向量的L2范数形式；

第3、利用边缘分布模拟源领域和目标领域的训练数据分布的差异γ

定义17：是源领域训练样本在目标领域D_T的文本特征边缘分布；

定义18：是源领域训练样本在源领域D_S的文本特征边缘分布；

源领域和目标领域的数据分布的差异γ由两个领域评论文本特征的边缘分布来模拟，γ的每一项即为

${\mathrm{\γ}}^{\left(i\right)}=\frac{{\mathrm{Pr}}_T\left(x_S^{\left(i\right)}\right)}{{\mathrm{Pr}}_S\left(x_S^{\left(i\right)}\right)}---\left(1.19\right)$

采用基于高斯核的核密度估计方法来估计γ⁽ⁱ⁾，即

$\frac{{\mathrm{Pr}}_T\left(x_S^{\left(i\right)}\right)}{{\mathrm{Pr}}_S\left(x_S^{\left(i\right)}\right)}=\frac{{\mathrm{\Σ}}_{j=1}^N\exp (-\frac{{\left|\right|x_S^{\left(i\right)}-x_T^{\left(i\right)}\left|\right|}_2}{{\mathrm{\σ}}^2})}{{\mathrm{\Σ}}_{j=1}^M\exp (-\frac{{\left|\right|x_S^{\left(i\right)}-x_S^{\left(j\right)}\left|\right|}_2}{{\mathrm{\σ}}^2})-1}---\left(1.20\right)$

其中，σ是高斯核的带宽参数，分母中的-1项是为了消除属于源领域的训练样本自己在源领域估计概率值中的影响；

第4、求解参数ω和υ的估计值

定义19：ω^*和υ^*为目标损失函数极小化时ω和υ的估计值，即最优值；

定义20：和表示求解目标损失函数极小化过程中ω和υ的中间迭代结果；

以损失函数为目标函数，采用BFGS拟牛顿法求解ω^*和υ^*：

①采用一种迭代交替的优化方法来求解此以损失函数为目标函数关于参数ω和υ的联合优化问题，将目标函数表示为

$\begin{array}{c}\begin{array}{cc}\underset{\mathrm{\ω},\mathrm{\υ}}{\min }& \frac{{\mathrm{\λ}}_1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ξ}}_T^{\′\left(i\right)}+\frac{{\mathrm{\λ}}_2}{M}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\γ}}^{\left(i\right)}{\mathrm{\ξ}}_S^{\left(i\right)}+{\mathrm{\λ}}_{3}R\left(\mathrm{\υ}\right)+R\left(\mathrm{\ω}\right)\end{array}\\ \begin{array}{cc}\underset{\mathrm{\ω},\mathrm{\υ}}{\min }& -\frac{{\mathrm{\λ}}_1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{k=1}{\overset{K_T}{\mathrm{\Σ}}}{y}_{T_k}^{\left(i\right)}\log \frac{\exp \left({\mathrm{\Σ}}_{l=1}^{K_S}{\mathrm{\υ}}_{\mathrm{kl}}\frac{\mathrm{e\; xp}\left({\mathrm{\ω}}_l^T{x}_T^{\left(i\right)}\right)}{{\mathrm{\Σ}}_{r=1}^{K_S}\exp ({\mathrm{\ω}}_r^T,x_T^{\left(i\right)})}\right)}{{\mathrm{\Σ}}_{s=1}^{K_T}\exp \left({\mathrm{\Σ}}_{l=1}^{K_S}{\mathrm{\υ}}_{\mathrm{sl}}\frac{\exp \left({\mathrm{\ω}}_l^T{x}_T^{\left(i\right)}\right)}{{\mathrm{\Σ}}_{r=1}^{K_S}\exp \left({\mathrm{\ω}}_r^T{x}_T^{\left(i\right)}\right)}\right)}\end{array}\\ -\frac{{\mathrm{\λ}}_2}{M}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\γ}}^{\left(i\right)}\underset{l=1}{\overset{K_S}{\mathrm{\Σ}}}{y}_{S_l}^{\left(i\right)}\log \frac{\exp \left({\mathrm{\ω}}_l^T{x}_S^{\left(i\right)}\right)}{{\mathrm{\Σ}}_{r=1}^K\exp \left({\mathrm{\ω}}_r^T{x}_S^{\left(i\right)}\right)}\\ +{\mathrm{\λ}}_3\underset{k=1}{\overset{K_T}{\mathrm{\Σ}}}\underset{j=1}{\overset{n+1}{\mathrm{\Σ}}}{\mathrm{\υ}}_{\mathrm{kj}}^2+\underset{l=1}{\overset{K_S}{\mathrm{\Σ}}}\underset{j=1}{\overset{n+1}{\mathrm{\Σ}}}{\mathrm{\ω}}_{\mathrm{lj}}^2\end{array}---\left(1.21\right)$

②对于每次迭代，首先固定参数值将该问题转化成只关于参数ω的凸函数优化问题，即

$\begin{array}{cc}\underset{\mathrm{\ω}}{\min }& \frac{{\mathrm{\λ}}_1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ξ}}_T^{\′\left(i\right)}+\frac{{\mathrm{\λ}}_2}{M}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\γ}}^{\left(i\right)}{\mathrm{\ξ}}_S^{\left(i\right)}+{\mathrm{\λ}}_{3}R\left(\widehat{\mathrm{\υ}}\right)+R\left(\mathrm{\ω}\right)\end{array}$

采用BFGS拟牛顿法计算其梯度函数

使目标函数极小化，以求解使目标函数极小化的ω值再将参数ω固定为将目标函数联合优化问题转化成只关于参数υ的凸函数优化问题，

$\begin{array}{cc}\underset{\mathrm{\υ}}{\min }& \frac{{\mathrm{\λ}}_1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ξ}}_T^{\′\left(i\right)}+\frac{{\mathrm{\λ}}_2}{M}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\γ}}^{\left(i\right)}{\mathrm{\ξ}}_S^{\left(i\right)}+{\mathrm{\λ}}_{3}R\left(\mathrm{\υ}\right)+R\left(\widehat{\mathrm{\ω}}\right)\end{array}$

采用BFGS拟牛顿法计算其梯度函数

以求解使目标函数极小化的参数υ的值；

③迭代执行上述的交替过程直至收敛，就能够获得优化的参数值ω^*和υ^*。