CN112256845B - 意图识别方法、装置、电子设备和计算机可读存储介质 - Google Patents

Abstract

本申请公开了一种意图识别方法、装置、电子设备和计算机可读存储介质，所述方法包括：获取待识别语句并根据所述待识别语句在意图样例库中进行检索，得到与待识别语句相匹配的候选语句样例；从意图样例库中选取与所述候选语句样例相匹配的语句样例作为扩展语句样例，根据所述候选语句样例和所述扩展语句样例，确定与待识别语句对应的语句样例组；将所述待识别语句与所述语句样例组拼接得到改写语句，根据意图识别模型和所述改写语句确定所述待识别语句的意图识别结果。本申请通过样例扩展，使得意图识别模型在匹配时可以关注更多的信息，包括其他意图的语句样例信息以及相同意图的其他语句样例信息等，从而能够让意图识别更准确。

Description

意图识别方法、装置、电子设备和计算机可读存储介质

技术领域

本申请涉及自然语言处理技术领域，具体涉及一种意图识别方法、装置、电子设备和计算机可读存储介质。

背景技术

近年来，随着相关技术的进步，以对话系统为核心的产品，比如智能音箱、智能客服等，逐渐步入大众的视野。典型对话系统的技术模块如图1所示，包括语音识别、意图识别、对话管理、自然语言生成、语音合成等多个模块。其中对于意图识别，最常用的方法是做文本分类，但是文本分类通常需要大量的训练数据。当训练数据不足时，通常采用另外一种意图识别的方法，即基于样例匹配的方法。

然而，发明人发现，现有的基于样例匹配的意图识别方法存在一个显著的问题就是缺少全局信息，导致识别准确率不高。

发明内容

鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的意图识别方法、装置、电子设备和计算机可读存储介质。

依据本申请的第一方面，提供了一种意图识别方法，包括：

获取待识别语句并根据所述待识别语句在意图样例库中进行检索，得到与所述待识别语句相匹配的候选语句样例；

从意图样例库中选取与所述候选语句样例相匹配的语句样例作为扩展语句样例，根据所述候选语句样例和所述扩展语句样例，确定与待识别语句对应的语句样例组；

将所述待识别语句与所述语句样例组拼接得到改写语句，根据意图识别模型和所述改写语句确定所述待识别语句的意图识别结果。

可选地，所述获取待识别语句并根据所述待识别语句在意图样例库中进行检索，得到与所述待识别语句相匹配的候选语句样例包括：

确定所述待识别语句与所述意图样例库中各语句样例的文本相似度；

根据所述文本相似度确定与所述待识别语句相匹配的至少一个候选语句样例。

可选地，所述意图样例库中保存有语句样例和意图标签的对应关系，所述从意图样例库中选取与所述候选语句样例相匹配的语句样例作为扩展语句样例，根据所述候选语句样例和所述扩展语句样例，确定与所述待识别语句对应的语句样例组包括：

根据所述候选语句样例的意图标签对所述候选语句样例进行分组，得到至少一个候选语句样例组；

根据各候选语句样例组中的候选语句样例个数对各候选语句样例组进行样例扩展，将扩展后的候选语句样例组作为所述待识别语句对应的语句样例组。

可选地，所述根据各候选语句样例组中的候选语句样例个数对各候选语句样例组进行样例扩展，将扩展后的候选语句样例组作为所述待识别语句对应的语句样例组包括：

将各候选语句样例组中的候选样例个数与第一预设阈值进行比较；

当所述候选语句样例组中的候选样例个数小于第一预设阈值时，在所述意图样例库中检索与该候选语句样例组的意图标签相匹配且与所述待识别语句的文本相似度低于第二预设阈值的扩展语句样例，根据该候选语句样例组和扩展语句样例得到所述待识别语句对应的语句样例组。

可选地，所述方法还包括：

当所述候选语句样例组中的候选语句样例个数大于所述第一预设阈值时，则将所述候选语句样例组中与所述待识别语句的文本相似度大于第三预设阈值的候选语句样例确定为保留的候选语句样例，根据保留的候选语句样例得到所述待识别语句对应的语句样例组。

可选地，所述将所述待识别语句与所述语句样例组拼接得到改写语句，根据意图识别模型和所述改写语句确定所述待识别语句的意图识别结果包括：

利用第一预设分隔符将各语句样例组中的各语句样例进行组内拼接，得到第一拼接结果；

利用第二预设分隔符将所述待识别语句与各语句样例组进行拼接，得到第二拼接结果；

将所述第一拼接结果和所述第二拼接结果组合后输入所述意图识别模型进行识别，得到所述待识别语句的意图识别结果。

可选地，所述根据意图识别模型和改写语句确定所述待识别语句的意图识别结果包括：

利用所述意图识别模型确定所述待识别语句的意图与各语句样例组的意图标签相同的概率；

根据所述概率确定所述待识别语句的意图识别结果。

可选地，所述意图识别模型通过如下方法训练得到：

获取待训练语句并根据所述待训练语句在意图样例库中进行检索，得到与所述待训练语句相匹配的候选语句样例；

从意图样例库中选取与所述候选语句样例相匹配的语句样例作为扩展语句样例，根据所述候选语句样例和所述扩展语句样例，确定与待训练语句对应的语句样例组；

将所述待训练语句与各语句样例组进行拼接后输入所述意图识别模型进行训练，得到各语句样例组对应的训练损失值，根据各语句样例组对应的训练损失值对所述意图识别模型的参数进行更新。

依据本申请的第二方面，提供了一种意图识别装置，所述装置包括：

获取单元，用于获取待识别语句并根据所述待识别语句在意图样例库中进行检索，得到与所述待识别语句相匹配的候选语句样例；

扩展单元，用于从意图样例库中选取与所述候选语句样例相匹配的语句样例作为扩展语句样例，根据所述候选语句样例和所述扩展语句样例，确定与待识别语句对应的语句样例组；

识别单元，用于将所述待识别语句与所述语句样例组拼接得到改写语句，根据意图识别模型和所述改写语句确定所述待识别语句的意图识别结果。

可选地，所述获取单元还用于：

确定所述待识别语句与所述意图样例库中各语句样例的文本相似度；

根据所述文本相似度确定与所述待识别语句相匹配的至少一个候选语句样例。

可选地，所述意图样例库中保存有语句样例和意图标签的对应关系，所述扩展单元还用于：

根据所述候选语句样例的意图标签对所述候选语句样例进行分组，得到至少一个候选语句样例组；

根据各候选语句样例组中的候选语句样例个数对各候选语句样例组进行样例扩展，将扩展后的候选语句样例组作为所述待识别语句对应的语句样例组。

可选地，所述扩展单元还用于：

将各候选语句样例组中的候选样例个数与第一预设阈值进行比较；

当所述候选语句样例组中的候选样例个数小于第一预设阈值时，在所述意图样例库中检索与该候选语句样例组的意图标签相匹配且与所述待识别语句的文本相似度低于第二预设阈值的扩展语句样例，根据该候选语句样例组和扩展语句样例得到所述待识别语句对应的语句样例组。

可选地，所述装置还包括：

确定单元，用于当所述候选语句样例组中的候选语句样例个数大于所述第一预设阈值时，则将所述候选语句样例组中与所述待识别语句的文本相似度大于第三预设阈值的候选语句样例确定为保留的候选语句样例，根据保留的候选语句样例得到所述待识别语句对应的语句样例组。

可选地，所述识别单元还用于：

利用第一预设分隔符将各语句样例组中的各语句样例进行组内拼接，得到第一拼接结果；

利用第二预设分隔符将所述待识别语句与各语句样例组进行拼接，得到第二拼接结果；

将所述第一拼接结果和所述第二拼接结果组合后输入所述意图识别模型进行识别，得到所述待识别语句的意图识别结果。

可选地，所述识别单元还用于：

利用所述意图识别模型确定所述待识别语句的意图与各语句样例组的意图标签相同的概率；

根据所述概率确定所述待识别语句的意图识别结果。

可选地，所述意图识别模型通过如下方法训练得到：

获取待训练语句并根据所述待训练语句在意图样例库中进行检索，得到与所述待训练语句相匹配的候选语句样例；

从意图样例库中选取与所述候选语句样例相匹配的语句样例作为扩展语句样例，根据所述候选语句样例和所述扩展语句样例，确定与待训练语句对应的语句样例组；

将所述待训练语句与各语句样例组进行拼接后输入所述意图识别模型进行训练，得到各语句样例组对应的训练损失值，根据各语句样例组对应的训练损失值对所述意图识别模型的参数进行更新。

依据本申请的第三方面，提供了一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如上述任一所述的意图识别方法。

依据本申请的第四方面，提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如上述任一所述的意图识别方法。

由上述可知，本申请的技术方案，通过获取待识别语句并根据所述待识别语句在意图样例库中进行检索，得到与所述待识别语句相匹配的候选语句样例；从意图样例库中选取与所述候选语句样例相匹配的语句样例作为扩展语句样例，根据所述候选语句样例和所述扩展语句样例，确定与待识别语句对应的语句样例组；将所述待识别语句与所述语句样例组拼接得到改写语句，根据意图识别模型和所述改写语句确定所述待识别语句的意图识别结果。本申请通过样例扩展，使得意图识别模型在匹配时可以关注更多的信息，包括其他意图的语句样例信息以及相同意图的其他语句样例信息等，从而能够让意图识别更准确。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了现有技术中一种实施例的对话系统结构框图；

图2示出了现有技术中一种实施例的意图识别方法的流程框图；

图3示出了根据本申请一个实施例的意图识别方法的流程示意图；

图4示出了根据本申请一个实施例的意图识别模型的训练流程示意图；

图5示出了根据本申请一个实施例的意图识别装置的结构示意图；

图6示出了根据本申请一个实施例的电子设备的结构示意图；

图7示出了根据本申请一个实施例的计算机可读存储介质的结构示意图。

具体实施方式

下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。

如图2所示，提供了一种现有技术中基于样例匹配的意图识别方法，为了实现意图识别，该方法需要对每个意图事先收集少量样例。当用户发出请求时，先将用户表述从收集的样例集合中检索到相关的候选样例，再基于候选样例与用户表述根据排序模型进行相似度排序。最终选择与用户表述最相似且大于一定阈值的样例所对应的意图作为识别到的意图。

然而上述基于样例匹配的意图识别方法存在一个显著的问题就是缺少对全局信息的捕捉和学习。具体体现在两方面，一方面在将用户表述和某个候选样例匹配时，并没有考虑和利用其他的候选样例信息，这使得模型无法获取与该候选样例意图不同的其他样例信息，从而导致可能出现误报候选样例的情形；另一方面，当用户表述和某个候选样例匹配时，也没有利用与该候选样例意图相同的其他样例信息，这导致模型无法获取扩展的语义信息，从而导致可能出现漏报候选样例的情形。上述两种情形导致现有技术中基于样例匹配的意图识别方法无法获得较为准确的意图识别结果。

基于此，本申请实施例提供了一种意图识别方法。意图可以理解为是比较清楚地意识到要争取实现的目标和方法的需要，本申请实施例的意图识别则可以理解为是让搜索引擎、问答系统以及推荐系统等能够识别出与用户输入的查询最相关的信息，该查询信息可以是用户的语音信息也可以是直接输入的文本信息。

比较典型的一种应用场景就是聊天机器人或智能客服机器人的应用，该场景下的意图识别就是指当用户与聊天机器人进行沟通时，机器人能够根据用户提出的直接或者间接的信息来快速判断用户的真实意图。举例来说，一些聊天机器人能够在用户的问题中识别出用户的出行消费意图，比如订机票和酒店等，对于企业来说，精准识别出与消费相关的意图有巨大的商业价值，对于用户来说，这也在一定程度上节省了用户的搜索点击次数，缩短搜索时间，大大提升了用户的使用体验。

意图在一定程度上反映了用户需求，例如上述“订机票和订酒店”意图表明了用户出行消费的需求。对于这些意图具体可以由业务方或者领域专家来进行意图名称的确定和类别划分等，即对用户需求进行概括。用户输入的一个语句可能对应多个意图，例如用户输入“机场”，可能表示用户想要订机票，也可能表示用户想要去机场或了解机场周边的情况，在这个例子中，“订机票”、“去机场”和“了解机场周边情况”就是与“机场”这个搜索关键词相关的三类意图。同样一个意图也可能对应多个不同语句，这里可以预先设置每个意图对应的不同的语句样例，形成意图样例库，作为后续意图识别的基础。意图与用户的真实需求越匹配，越能快速达到用户的搜索目的，提高搜索效率。

如图3所示，本申请实施例的意图识别方法包括如下的步骤S310至步骤S330：

步骤S310，获取待识别语句并根据所述待识别语句在意图样例库中进行检索，得到与所述待识别语句相匹配的候选语句样例。

本申请实施例在进行意图识别时，可以先获取待识别语句，这里的待识别语句可以是用户直接输入的文本信息，也可以是对用户的语音信息进行识别后得到的语音识别结果。之后将待识别语句在事先构建好的意图样例库中进行检索匹配，该意图样例库中可以存储着一定数量的语句样例和对应的意图标签，以及该语句样例与待识别语句的文本相似度等信息。

通过将上述待识别语句在意图样例库中进行检索匹配，可以得到与该待识别语句相匹配的候选语句样例，这里的相匹配可以是文本相似度的匹配，即待识别语句与意图样例库中的语句样例的文本相似程度，相似程度较高的可以作为该待识别语句的候选语句样例。

步骤S320，从意图样例库中选取与所述候选语句样例相匹配的语句样例作为扩展语句样例，根据所述候选语句样例和所述扩展语句样例，确定与待识别语句对应的语句样例组。

如前所述，由于现有技术中基于样例匹配的意图识别方法并未考虑到样例的全局信息，因此本申请实施例为了提高意图识别结果的准确性，在得到待识别语句的候选语句样例后，对上述各候选语句样例进行了样例扩展，这里的样例扩展可以理解为是对候选样例进行进一步的补充，以使模型能够捕捉和学习到语句样例的全局信息。

具体实施时，可以从意图样例库中选取与该候选语句样例相匹配的语句样例作为扩展语句样例，之后将该候选语句样例和该扩展语句样例组合成一个语句样例组，多个语句样例组就构成了一个与待识别语句对应的语句样例集合。

步骤S330，将所述待识别语句与所述语句样例组拼接得到改写语句，根据意图识别模型和所述改写语句确定所述待识别语句的意图识别结果。

在得到各语句样例组后，将各语句样例组与待识别语句进行拼接或组合，得到拼接或组合后的改写语句，作为意图识别模型的输入。这里的意图识别模型可以采用BERT模型(Bidirectional Encoder Representations from Transformer，来自变换器的双向编码器表征模型)的基础架构，该模型是谷歌团队研发的一种语言表征模型，在自然语言处理领域得到了广泛应用。BERT模型旨在基于所有层的左、右语境来预训练深度双向表征。因此，预训练的BERT表征可以仅用一个额外的输出层进行微调，进而为很多任务(如问答和语言推理)创建当前最优模型，无需对任务特定架构做出大量修改。当然本领域技术人员也可以根据实际情况选择其他类型的识别模型，在此不做具体限定。最后根据该意图识别模型就可以输出待识别语句所对应的意图了。

本申请实施例通过样例扩展，使得意图识别模型在匹配时可以关注更多的样例信息，避免出现误报和漏报等情形，从而能够让意图识别更准确。

在本申请的一个实施例中，所述获取待识别语句并根据所述待识别语句在意图样例库中进行检索，得到与所述待识别语句相匹配的候选语句样例包括：确定所述待识别语句与所述意图样例库中各语句样例的文本相似度；根据所述文本相似度确定与所述待识别语句相匹配的至少一个候选语句样例。

本申请实施例在确定与待识别语句对应的候选语句样例时，可以基于文本相似度来确定。文本相似度可以理解为是文本之间在上下位关系和同义关系等维度的相似程度。两个文本之间的相似度越高，则说明两个文本的语义越接近。通常两个文本之间的相似度计算的步骤是：1)通过中文分词，把完整的句子根据分词算法分为独立的词集合；2)求出两个词集合的并集(词包)；3)计算各自词集的词频并把词频向量化；4)带入向量计算模型就可以求出文本相似度。当然计算文本相似度的方法不限于此，在此不一一列举。

在得到待识别语句与意图样例库中各语句样例的文本相似度后，可以按照一定规则选取候选语句样例，例如，将意图样例库中与待识别语句的文本相似度超过预设阈值的语句样例作为候选语句样例，或者也可以对文本相似度按照从高至低的顺序排序，将排在前N个的语句样例作为候选语句样例。

在本申请的一个实施例中，所述意图样例库中保存有语句样例和意图标签的对应关系，所述从意图样例库中选取与所述候选语句样例相匹配的语句样例作为扩展语句样例，根据所述候选语句样例和所述扩展语句样例，确定与所述待识别语句对应的语句样例组包括：根据所述候选语句样例的意图标签对所述候选语句样例进行分组，得到至少一个候选语句样例组；根据各候选语句样例组中的候选语句样例个数对各候选语句样例组进行样例扩展，将扩展后的候选语句样例组作为所述待识别语句对应的语句样例组。

本申请实施例的意图样例库中可以事先存储语句样例和意图标签的对应关系。以休闲娱乐应用为例，语句样例可以是“北京周边有什么好玩的”，对应的意图标签则可以是“搜景点”。

在进行样例扩展时，本申请实施例的样例扩展可以包括两个维度，一个是意图不同维度的扩展，另一个是相同意图但文本不同维度的扩展。具体地，可以先基于上述意图样例库中存储的语句样例和意图标签的对应关系，对候选语句样例进行分组，即将意图标签相同的候选语句样例分为一组，进而得到多个候选语句样例组，这一过程则可以看作是意图不同维度的扩展。之后可以根据各候选语句样例组中的候选语句样例的个数对各候选语句样例组进行样例扩展，这一过程则可以看作是相同意图但文本不同维度的扩展。最后两种维度的扩展结合到一起作为最终的待识别语句对应的语句样例组。

上述对于第一种维度的样例扩展，当待识别语句和某个候选样例匹配时，可以进一步利用其他候选样例的信息，这使得模型可以获取与该候选样例意图不同的其他样例的信息，从而避免误报候选样例的情形。对于第二种维度的样例扩展，当待识别语句和某个候选样例匹配时，可以同时利用与该候选样例意图相同的其他样例的信息，使得模型能够获取扩展的语义信息，避免漏报候选样例的情形。

在本申请的一个实施例中，所述根据各候选语句样例组中的候选语句样例个数对各候选语句样例组进行样例扩展，将扩展后的候选语句样例组作为所述待识别语句对应的语句样例组包括：将各候选语句样例组中的候选样例个数与第一预设阈值进行比较；当所述候选语句样例组中的候选样例个数小于第一预设阈值时，在所述意图样例库中检索与该候选语句样例组的意图标签相匹配且与所述待识别语句的文本相似度低于第二预设阈值的扩展语句样例，根据该候选语句样例组和扩展语句样例得到所述待识别语句对应的语句样例组。

本申请实施例在根据各候选语句样例组中的候选语句样例个数对各候选语句样例组进行样例扩展时，可以先确定各组中候选样例的个数，判断该数量是否达到了预设要求，例如，事先设定各候选语句样例组中的候选语句样例个数应不少于5，而目前候选语句样例组G1中的样例个数为3，候选语句样例组G2中的样例个数为2，候选语句样例组G3中的样例个数为1，均小于预设要求，则可以对这三组候选语句样例组均进行样例扩展，以达到预设要求。该预设阈值的大小可以根据实际情况灵活设置和调整，在此不做具体限定。

如果确定需要对候选语句样例组进行样例扩展，则可以在意图样例库中进行检索以确定扩展语句样例，扩展语句样例的选取条件可以是与该候选语句样例组的意图标签相同但与待识别语句的文本不同或者相似度较低的语句样例。最后将该扩展语句样例加入到该候选语句样例组中得到上述待识别语句对应的语句样例组。通过扩展后得到的语句样例组捕捉了语句样例的全局信息，使得后续得到的意图识别结果更加准确。

在本申请的一个实施例中，所述方法还包括：当所述候选语句样例组中的候选语句样例个数大于所述第一预设阈值时，则将所述候选语句样例组中与所述待识别语句的文本相似度大于第三预设阈值的候选语句样例确定为保留的候选语句样例，根据保留的候选语句样例得到所述待识别语句对应的语句样例组。

除了上述列举的候选样例个数小于预设阈值情形，还会存在候选样例个数大于或等于预设阈值情况，例如，事先设定各候选语句样例组中的候选语句样例个数应不少于5，而目前候选语句样例组G1中的样例个数为6，候选语句样例组G2中的样例个数为5，候选语句样例组G3中的样例个数为1，则此时针对候选语句样例组G3则可用上述实施例的方法进行样例扩展，而对于候选语句样例组G1，其样例个数超过了预设阈值，则可以从中进行选取以达到预设要求，选取的标准可以是确定候选语句样例组中各候选语句样例与待识别语句的文本相似度，将相似度大于预设阈值或者相似度最高的前N个作为保留的候选语句样例。对于样例个数与预设阈值相同的情况如候选语句样例组G2，可以直接将这些候选语句样例全部保留。

在本申请的一个实施例中，所述将所述待识别语句与所述语句样例组拼接得到改写语句，根据意图识别模型和所述改写语句确定所述待识别语句的意图识别结果包括：利用第一预设分隔符将各语句样例组中的各语句样例进行组内拼接，得到第一拼接结果；利用第二预设分隔符将所述待识别语句与各语句样例组进行拼接，得到第二拼接结果；将所述第一拼接结果和所述第二拼接结果组合后输入所述意图识别模型进行识别，得到所述待识别语句的意图识别结果。

本申请实施例在得到可以输入意图识别模型的改写语句时，可以将待识别语句与各语句样例组按照一定顺序进行拼接，该拼接过程包括两个层次，一个层次是对各语句样例组中的各语句样例进行组内拼接，另一个是将待识别语句与各个语句样例组进行拼接。对于第一个层次的拼接可以采用BERT模型中常用到的[SEP](即Separation的简写，译为分隔)分隔符来拼接，对于第二个层次的拼接可以采用BERT模型中的[CLS](即Classification的简写，译为分隔)分隔符来拼接，最终得到的改写语句可以是如下形式：[CLS]待识别语句[CLS]候选语句样例1[SEP]候选语句样例3[SEP]扩展语句样例a[CLS]候选语句样例2[SEP]候选语句样例4[SEP]扩展语句样例b[CLS]。

需要说明的是，上述分隔符只是在分隔层级上的差异，即样例层级和样例组层级，具体采用哪种类型的分隔符，本领域技术人员可以根据实际情况灵活选择，在此不做具体限定。

在本申请的一个实施例中，所述根据意图识别模型和改写语句确定所述待识别语句的意图识别结果包括：利用所述意图识别模型确定所述待识别语句的意图与各语句样例组的意图标签相同的概率；根据所述概率确定所述待识别语句的意图识别结果。

本申请实施例的用户识别模型输出的结果可以是待识别语句的意图与各语句样例组的意图标签相同的概率，例如，有三个候选语句样例组G1、G2和G3，最终识别模型输出的结果是P1＝0.7、P2＝0.5、P3＝0.2，即待识别语句的意图与候选语句样例组G1的意图标签相同的概率为0.7，与G2的意图标签相同的概率为0.5，与G3的意图标签相同的概率为0.2，上述三个预测概率中P1最大，则最终输出待识别语句的意图为候选语句样例组G1对应的意图的识别结果。

在本申请的一个实施例中，所述意图识别模型通过如下方法训练得到：获取待训练语句并根据所述待训练语句在意图样例库中进行检索，得到与所述待训练语句相匹配的候选语句样例；从意图样例库中选取与所述候选语句样例相匹配的语句样例作为扩展语句样例，根据所述候选语句样例和所述扩展语句样例，确定与待训练语句对应的语句样例组；将所述待训练语句与各语句样例组进行拼接后输入所述意图识别模型进行训练，得到各语句样例组对应的训练损失值，根据各语句样例组对应的训练损失值对所述意图识别模型的参数进行更新。

如图4所示，提供了一种意图识别模型的训练流程示意图，首先获取已经标记好的待训练语句，并根据待训练语句在意图样例库中进行检索，得到与待训练语句相匹配的多个候选语句样例；然后根据候选语句样例的意图标签对候选语句样例进行扩展，得到扩展语句样例，将候选语句样例和扩展语句样例组合后作为待训练语句对应的语句样例组；将该待训练语句与各语句样例组进行拼接并输入意图识别模型如BERT模型进行训练，训练过程中可以将每个语句样例组对应的输出层的隐状态进行Softmax处理，Softmax函数是将神经网络得到的多个值，进行归一化处理，使得到的值在[0,1]之间，让结果变得可解释，即可将结果看作是概率，某个类别概率越大，将样本归为该类别的可能性也就越高。最后会输出预测各组的意图标签和待训练语句的意图标签相同的概率。

本申请实施例的意图识别可以看作一个分类问题，即预测待识别语句属于哪一类或哪几类意图，分类问题中常用到的损失函数之一就是交叉熵损失函数，交叉熵(CrossEntropy)主要用于度量两个概率分布间的差异性信息，p表示真实标记的分布，q则为训练后的模型的预测标记分布，交叉熵损失函数可以衡量p与q的相似性。因此本申请实施例可以使用交叉熵损失函数来度量上述各组预测结果与真实标签之间的差异，最终训练损失值Loss可以为各组(假设有M个组)的训练损失值之和，即L＝Loss1+Loss2+…+LossM，最后根据总的训练损失值L对意图识别模型的参数进行迭代更新，直至达到终止条件。

本申请实施例提供了一种意图识别装置500，如图5所示，所述装置500包括：获取单元510、扩展单元520和识别单元530。

本申请实施例的获取单元510，用于获取待识别语句并根据所述待识别语句在意图样例库中进行检索，得到与所述待识别语句相匹配的候选语句样例。

本申请实施例在进行意图识别时，可以先获取待识别语句，这里的待识别语句可以是用户直接输入的文本信息，也可以是对用户的语音信息进行识别后得到的语音识别结果。之后将待识别语句在事先构建好的意图样例库中进行检索匹配，该意图样例库中可以存储着一定数量的语句样例和对应的意图标签，以及该语句样例与待识别语句的文本相似度等信息。

通过将上述待识别语句在意图样例库中进行检索匹配，可以得到与该待识别语句相匹配的候选语句样例，这里的相匹配可以是文本相似度的匹配，即待识别语句与意图样例库中的语句样例的文本相似程度，相似程度较高的可以作为该待识别语句的候选语句样例。

本申请实施例的扩展单元520，用于从意图样例库中选取与所述候选语句样例相匹配的语句样例作为扩展语句样例，根据所述候选语句样例和所述扩展语句样例，确定与待识别语句对应的语句样例组。

如前所述，由于现有技术中基于样例匹配的意图识别方法并未考虑到样例的全局信息，因此本申请实施例为了提高意图识别结果的准确性，在得到待识别语句的候选语句样例后，对上述各候选语句样例进行了样例扩展，这里的样例扩展可以理解为是对候选样例进行进一步的补充，以使模型能够捕捉和学习到语句样例的全局信息。

具体实施时，可以从意图样例库中选取与该候选语句样例相匹配的语句样例作为扩展语句样例，之后将该候选语句样例和该扩展语句样例组合成一个语句样例组，多个语句样例组就构成了一个与待识别语句对应的语句样例集合。

本申请实施例的识别单元530，用于将所述待识别语句与所述语句样例组拼接得到改写语句，根据意图识别模型和所述改写语句确定所述待识别语句的意图识别结果。

在得到各语句样例组后，将各语句样例组与待识别语句进行拼接或组合，得到拼接或组合后的改写语句，作为意图识别模型的输入。这里的意图识别模型可以采用BERT模型(Bidirectional Encoder Representations from Transformer，来自变换器的双向编码器表征模型)的基础架构，该模型是谷歌团队研发的一种语言表征模型，在自然语言处理领域得到了广泛应用。BERT模型旨在基于所有层的左、右语境来预训练深度双向表征。因此，预训练的BERT表征可以仅用一个额外的输出层进行微调，进而为很多任务(如问答和语言推理)创建当前最优模型，无需对任务特定架构做出大量修改。当然本领域技术人员也可以根据实际情况选择其他类型的识别模型，在此不做具体限定。最后根据该意图识别模型就可以输出待识别语句所对应的意图了。

本申请实施例通过样例扩展，使得意图识别模型在匹配时可以关注更多的样例信息，避免出现误报和漏报等情形，从而能够让意图识别更准确。

在本申请的一个实施例中，所述获取单元510还用于：确定所述待识别语句与所述意图样例库中各语句样例的文本相似度；根据所述文本相似度确定与所述待识别语句相匹配的至少一个候选语句样例。

在本申请的一个实施例中，所述意图样例库中保存有语句样例和意图标签的对应关系，所述扩展单元520还用于：根据所述候选语句样例的意图标签对所述候选语句样例进行分组，得到至少一个候选语句样例组；根据各候选语句样例组中的候选语句样例个数对各候选语句样例组进行样例扩展，将扩展后的候选语句样例组作为所述待识别语句对应的语句样例组。

在本申请的一个实施例中，所述扩展单元520还用于：将各候选语句样例组中的候选样例个数与第一预设阈值进行比较；当所述候选语句样例组中的候选样例个数小于第一预设阈值时，在所述意图样例库中检索与该候选语句样例组的意图标签相匹配且与所述待识别语句的文本相似度低于第二预设阈值的扩展语句样例，根据该候选语句样例组和扩展语句样例得到所述待识别语句对应的语句样例组。

在本申请的一个实施例中，所述装置还包括：确定单元，用于当所述候选语句样例组中的候选语句样例个数大于所述第一预设阈值时，则将所述候选语句样例组中与所述待识别语句的文本相似度大于第三预设阈值的候选语句样例确定为保留的候选语句样例，根据保留的候选语句样例得到所述待识别语句对应的语句样例组。

在本申请的一个实施例中，所述识别单元530还用于：利用第一预设分隔符将各语句样例组中的各语句样例进行组内拼接，得到第一拼接结果；利用第二预设分隔符将所述待识别语句与各语句样例组进行拼接，得到第二拼接结果；将所述第一拼接结果和所述第二拼接结果组合后输入所述意图识别模型进行识别，得到所述待识别语句的意图识别结果。

在本申请的一个实施例中，所述识别单元530还用于：利用所述意图识别模型确定所述待识别语句的意图与各语句样例组的意图标签相同的概率；根据所述概率确定所述待识别语句的意图识别结果。

在本申请的一个实施例中，所述意图识别模型通过如下方法训练得到：获取待训练语句并根据所述待训练语句在意图样例库中进行检索，得到与所述待训练语句相匹配的候选语句样例；从意图样例库中选取与所述候选语句样例相匹配的语句样例作为扩展语句样例，根据所述候选语句样例和所述扩展语句样例，确定与待训练语句对应的语句样例组；将所述待训练语句与各语句样例组进行拼接后输入所述意图识别模型进行训练，得到各语句样例组对应的训练损失值，根据各语句样例组对应的训练损失值对所述意图识别模型的参数进行更新。

需要说明的是，上述各装置实施例的具体实施方式可以参照前述对应方法实施例的具体实施方式进行，在此不再赘述。

综上所述，本申请的技术方案，通过获取待识别语句并根据所述待识别语句在意图样例库中进行检索，得到与所述待识别语句相匹配的候选语句样例；从意图样例库中选取与所述候选语句样例相匹配的语句样例作为扩展语句样例，根据所述候选语句样例和所述扩展语句样例，确定与待识别语句对应的语句样例组；将所述待识别语句与所述语句样例组拼接得到改写语句，根据意图识别模型和所述改写语句确定所述待识别语句的意图识别结果。本申请通过样例扩展，使得意图识别模型在匹配时可以关注更多的信息，包括其他意图的语句样例信息以及相同意图的其他语句样例信息等，从而能够让意图识别更准确。

需要说明的是：

在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的意图识别装置中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

例如，图6示出了根据本申请一个实施例的电子设备的结构示意图。该电子设备600包括处理器610和被安排成存储计算机可执行指令(计算机可读程序代码)的存储器620。存储器620可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器620具有存储用于执行上述方法中的任何方法步骤的计算机可读程序代码631的存储空间630。例如，用于存储计算机可读程序代码的存储空间630可以包括分别用于实现上面的方法中的各种步骤的各个计算机可读程序代码631。计算机可读程序代码631可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为例如图7所示的计算机可读存储介质。图7示出了根据本申请一个实施例的一种计算机可读存储介质的结构示意图。该计算机可读存储介质700存储有用于执行根据本申请的方法步骤的计算机可读程序代码631，可以被电子设备600的处理器610读取，当计算机可读程序代码631由电子设备600运行时，导致该电子设备600执行上面所描述的方法中的各个步骤，具体来说，该计算机可读存储介质存储的计算机可读程序代码631可以执行上述任一实施例中示出的方法。计算机可读程序代码631可以以适当形式进行压缩。

应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (9)

1.一种意图识别方法，其特征在于，包括：

获取待识别语句并根据所述待识别语句在意图样例库中进行检索，得到与所述待识别语句相匹配的候选语句样例；

从意图样例库中选取与所述候选语句样例相匹配的语句样例作为扩展语句样例，根据所述候选语句样例和所述扩展语句样例，确定与待识别语句对应的语句样例组；

将所述待识别语句与所述语句样例组拼接得到改写语句，根据意图识别模型和所述改写语句确定所述待识别语句的意图识别结果；

其中，所述意图样例库中保存有语句样例和意图标签的对应关系，所述从意图样例库中选取与所述候选语句样例相匹配的语句样例作为扩展语句样例，根据所述候选语句样例和所述扩展语句样例，确定与所述待识别语句对应的语句样例组包括：

根据所述候选语句样例的意图标签对所述候选语句样例进行分组，得到至少一个候选语句样例组；

根据各候选语句样例组中的候选语句样例个数对各候选语句样例组进行样例扩展，将扩展后的候选语句样例组作为所述待识别语句对应的语句样例组；

其中，所述根据各候选语句样例组中的候选语句样例个数对各候选语句样例组进行样例扩展，将扩展后的候选语句样例组作为所述待识别语句对应的语句样例组包括：

将各候选语句样例组中的候选样例个数与第一预设阈值进行比较；

当所述候选语句样例组中的候选样例个数小于第一预设阈值时，在所述意图样例库中检索与该候选语句样例组的意图标签相匹配且与所述待识别语句的文本相似度低于第二预设阈值的扩展语句样例，根据该候选语句样例组和扩展语句样例得到所述待识别语句对应的语句样例组。

2.根据权利要求1所述的意图识别方法，其特征在于，所述获取待识别语句并根据所述待识别语句在意图样例库中进行检索，得到与所述待识别语句相匹配的候选语句样例包括：

确定所述待识别语句与所述意图样例库中各语句样例的文本相似度；

根据所述文本相似度确定与所述待识别语句相匹配的至少一个候选语句样例。

3.根据权利要求1所述的意图识别方法，其特征在于，所述方法还包括：

当所述候选语句样例组中的候选语句样例个数大于所述第一预设阈值时，则将所述候选语句样例组中与所述待识别语句的文本相似度大于第三预设阈值的候选语句样例确定为保留的候选语句样例，根据保留的候选语句样例得到所述待识别语句对应的语句样例组。

4.根据权利要求1所述的意图识别方法，其特征在于，所述将所述待识别语句与所述语句样例组拼接得到改写语句，根据意图识别模型和所述改写语句确定所述待识别语句的意图识别结果包括：

利用第一预设分隔符将各语句样例组中的各语句样例进行组内拼接，得到第一拼接结果；

利用第二预设分隔符将所述待识别语句与各语句样例组进行拼接，得到第二拼接结果；

将所述第一拼接结果和所述第二拼接结果组合后输入所述意图识别模型进行识别，得到所述待识别语句的意图识别结果。

5.根据权利要求1所述的意图识别方法，其特征在于，所述根据意图识别模型和改写语句确定所述待识别语句的意图识别结果包括：

利用所述意图识别模型确定所述待识别语句的意图与各语句样例组的意图标签相同的概率；

根据所述概率确定所述待识别语句的意图识别结果。

6.根据权利要求1至5任一项所述的意图识别方法，其特征在于，所述意图识别模型通过如下方法训练得到：

获取待训练语句并根据所述待训练语句在意图样例库中进行检索，得到与所述待训练语句相匹配的候选语句样例；

从意图样例库中选取与所述候选语句样例相匹配的语句样例作为扩展语句样例，根据所述候选语句样例和所述扩展语句样例，确定与待训练语句对应的语句样例组；

将所述待训练语句与各语句样例组进行拼接后输入所述意图识别模型进行训练，得到各语句样例组对应的训练损失值，根据各语句样例组对应的训练损失值对所述意图识别模型的参数进行更新。

7.一种意图识别装置，其特征在于，包括：

获取单元，用于获取待识别语句并根据所述待识别语句在意图样例库中进行检索，得到与所述待识别语句相匹配的候选语句样例；

扩展单元，用于从意图样例库中选取与所述候选语句样例相匹配的语句样例作为扩展语句样例，根据所述候选语句样例和所述扩展语句样例，确定与待识别语句对应的语句样例组；

识别单元，用于将所述待识别语句与所述语句样例组拼接得到改写语句，根据意图识别模型和所述改写语句确定所述待识别语句的意图识别结果；

其中，意图样例库中保存有语句样例和意图标签的对应关系，所述从意图样例库中选取与所述候选语句样例相匹配的语句样例作为扩展语句样例，根据所述候选语句样例和所述扩展语句样例，确定与所述待识别语句对应的语句样例组包括：

根据所述候选语句样例的意图标签对所述候选语句样例进行分组，得到至少一个候选语句样例组；

根据各候选语句样例组中的候选语句样例个数对各候选语句样例组进行样例扩展，将扩展后的候选语句样例组作为所述待识别语句对应的语句样例组；

其中，所述根据各候选语句样例组中的候选语句样例个数对各候选语句样例组进行样例扩展，将扩展后的候选语句样例组作为所述待识别语句对应的语句样例组包括：

将各候选语句样例组中的候选样例个数与第一预设阈值进行比较；

当所述候选语句样例组中的候选样例个数小于第一预设阈值时，在所述意图样例库中检索与该候选语句样例组的意图标签相匹配且与所述待识别语句的文本相似度低于第二预设阈值的扩展语句样例，根据该候选语句样例组和扩展语句样例得到所述待识别语句对应的语句样例组。

8.一种电子设备，其中，该电子设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如权利要求1至6中任一项所述的意图识别方法。

9.一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如权利要求1至6中任一项所述的意图识别方法。