CN106528522A - 场景化的语义理解与对话生成方法及系统 - Google Patents

Abstract

本发明提供一种场景化的语义理解与对话生成方法及系统，通过建立用户场景模型，根据分词系统的结果选择确定当前会话的领域；采用选定的场景语义解析器，基于相应的场景化用户模型对本轮的交互内容进行理解；调用相应的场景下的对话生成器，结合对话管理的中间状态进行对话综合并生成本轮交互后的对话结果。该种场景化的语义理解与对话生成方法及系统，简单高效地实现对句子、短语等的自然语言理解，实现计算机自动对短文本的完全自动理解。实现了计算机对自然语言的句子或短语等的自动深层理解和对话交互，满足了用户需要机器自动精确理解交互语用的目的。

Description

场景化的语义理解与对话生成方法及系统

技术领域

本发明涉及一种场景化的语义理解与对话生成方法，属于自然语言分析、处理以及语义理解领域，特别是针对特定场景下的自然语言语义理解方法。

背景技术

人工智能技术发展由来已久，而作为人工智能领域中最重要方向之一的自然语言理解技术也一直是研究的热点，可以说，让计算机理解自然语言是人类一直以来的梦想。目前，自然语言理解技术主要采用基于规则和基于统计两大类理论技术。基于规则的自然语言理解系统构建相对复杂，主要面对受限领域的理解问题。而基于统计的方法逐步成为自然语言处理领域的主流方法，通常适于在大量数据的基础上进行浅层语义理解，而对于深层语义问题往往无法处理。而针对特定的应用领域，通常所使用的还是基于规则的语义理解。

对于一个给定的文本输入，传统的基于规则的自然语言理解其处理流程通常包括以下三个步骤。

(1)词义分析：主要目的是对句子中的词汇提取语言学信息，获取词汇的词义。涉及分词、词性标注、命名体识别等等技术，同时在词义处理上需要词义相关的知识库的支持，对此语言专家已经做出了巨大努力，比如已有的知识库“知网”、《同义词词林》等等。

(2)句法分析：主要目的是对句子或短语的结构进行分析，获取词汇、短语在句子中的语法功能和相互关系，常用的句法分析方法包括上下文无关文法分析和依存文法分析等等。

(3)语义分析：主要目的是要获取句子要表达的实际意义，该部分是自然语言理解系统的核心。深层自然语言理解系统通常需要在该阶段构建相关语义理解的规则，这些规则主要是依赖语言学专家的语言知识和领域知识密切相关。一方面要定义语义项，另一方面要定义从词义、句法结构等信息至语义项的语义转换规则库。对于一个给定的文本输入经过词义分析、句法分析之后，利用语义转换规则库最终实现获取语义的目的。

传统的基于规则的自然语言理解系统主要涉及词义分析、句法分析和语义分析三部分，各部分都涉及专家知识规则、不同知识库的利用，虽然可以实现对自然语言的深层理解，但依然存在无法克服的缺点，主要有以下几点：

(1)系统复杂，以上三部分涉及分词、词性标注、命名体识别、句法分析、词义消歧、语义角色分析等等众多技术点，每一项技术的性能不足都有可能对整个系统的性能造成较大影响，系统实现和维护难度都较大。

(2)规则的构建严重依赖于语言学专家知识，而该方面的知识资源往往是有限的甚至是难以获取的。不同的场景或领域，其语义理解规则也各不相同，大部分的语义理解引擎，如：百度语音、科大讯飞等，均需要在理解之前限定领域。

(3)短文本中语音资料的有限性为语义理解增加了难度。

上述问题是在自然语言分析、处理以及语义理解过程中应当予以考虑并解决的问题。

发明内容

本发明的目的是提供一种场景化的语义理解与对话生成方法，可以灵活适应不同场景的短文本语义理解和对话，解决现有技术中存在的系统复杂，严重依赖于语言学专家知识，以及短文本中语音资料的有限性等问题。

本发明的技术解决方案是：

一种场景化的语义理解与对话生成方法，包括以下步骤，

步骤1、建立用户场景模型，包括用户场景字典模型、场景语义解析模型和场景对话模型；

步骤2、根据分词系统的结果选择确定当前会话的场景；

步骤3、采用选定的场景语义解析器，对本轮的交互内容进行理解；

步骤4、调用相应的场景对话生成器，结合对话管理的中间状态进行对话综合并生成本轮交互后的对话结果；

步骤5、重新接收到新的文本输入后，重复步骤2-4进行语义理解，直到对话系统结束。

进一步地，步骤1具体为：

步骤1-1、建立用户场景字典模型，即通过组合关键字来描述领域特征；建立场景语义解析模型，即该特定场景下的语义理解规则；

步骤1-2、建立用户的场景对话模型，涉及具体场景下的对话内容，将用户引导用户的对话交互。

进一步地，步骤2具体为：

步骤2-1、调用分词系统对当前输入本文进行分词，得到文本的词袋；

步骤2-2、将分词结果和用户定义的场景字典模型进行匹配，以确定当前对话的应用场景；

步骤2-3、根据此轮对话的场景以及对话系统的状态来确定对话最终的场景语义解析器和场景对话生成器或者启动新的对话。

进一步地，步骤2-2中，场景模型字典包括领域层和领域特征层，领域层对应不同的应用场景，领域特征层对应该应用场景下的特征向量。

进一步地，步骤2-2中，确定当前对话的应用场景，具体为：

步骤2-2-1、针对某个场景的特征向量输入文本的词袋，计算词袋中的单词对特征向量中各个分量的匹配程度m_i，其中1≤i≤n；

步骤2-2-2、通过加权的方法计算输入文本的词袋与该场景的相关程度：

其中，W_i为某个向量的权重；

步骤2-2-3、比较各个场景的匹配程度M_i，得到最大的，就是所确定的场景。

进一步地，步骤2-3中，在用户的意图无法明确理解时，通过对话来获取用户需求，通过引入场景化的模型自动的实现文本内容的场景确定，并基于场景模型来发起对话。在与用户对话过程中，执行用户意图融合的步骤，具体为：

假定在本轮对话之前，用户得到的结果为而在本轮对话中，通过算法得到的结果为按照下面的过程得到最新的结果输出

直到所得到的用户向量中所有的向量皆不为空时，对话结束。

进一步地，步骤3具体为：

步骤3-1、调用第三方的中文语法解析器对本次对话内容进行语法解析；

步骤3-2、结合用户场景字典模型、场景语义解析模型对语法解析结果进行语义解析，得到本轮的语义理解结果。

进一步地，步骤4具体为：

步骤4-1、基于步骤2的结果选择相应场景下的对话生成器；

步骤4-2、基于步骤3所得到的当前轮次的输出结果，以及对话管理器中的对话状态进行对话综合，从而得到截止本轮交互后的语义理解结果。

一种实现上述的场景化的语义理解与对话生成方法的系统，包括：

用户场景模型，提供用户场景字典模型、语义理解模型以及相应的对话生成模型；

场景选择器，用于接收用户输入的自然语言，并根据用户场景模型来选定相应的用户场景；预先建立存储了用户所定义的场景字典模型，在接收用户输入的自然语言后，将所述自然语言对应的文本内容与所字典进行匹配，在语义输入不完整时发起对话以获取完整的语义输入；

对话管理器：用于管理对话系统的中间结果及相关的状态；

场景化的语义解析器：用于将语法解析后的结果结合用户场景模型实施语义理解得到场景化的语义理解结果；

对话综合器：用于综合对话系统的中间结果和本轮的理解输出，最后得到完成的文本输出。

本发明的有益效果是：该种场景化的语义理解与对话生成方法及系统，简单高效地实现对句子、短语等的自然语言理解，实现计算机自动对短文本的完全自动理解。通过利用当前计算机日益强大的计算、存储能力，预先建立不同的场景模型，包括场景字典、场景语义解析模型和场景化的对话模型，在接收用户输入的自然语言后，将所述自然语言对应的文本内容与所述场景字典模型进行匹配；并利用语义理解模型和对话模型来引导用户交互。本发明方案实现了计算机对自然语言的句子或短语等的自动深层理解和对话交互，满足了用户需要机器自动精确理解交互语用的目的。

附图说明

图1是本发明实施例场景化的语义理解与对话生成系统的说明框图。

图2是实施例中用户场景字典模型的说明示意图。

图3是实施例中语法依存树的说明示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明实施例的方案，下面结合附图和实施方式对本发明实施例作进一步的详细说明。

针对现有技术中自然语言理解系统实现复杂、并且严重依赖于语言学专家知识的问题，本发明提供一种场景化的自然语言理解和对话生成方法及系统，简单高效地实现对句子、短语等的自然语言理解，实现计算机自动对短文本的完全自动理解。

实施例的场景化的语义理解与对话生成方法，具体包括以下步骤：

步骤1、建立用户场景模型，用户场景模型涉及到三部分内容，第一部分为场景字典模型，第二部分为场景语义解析模型和场景对话模型。

步骤1-1、建立用户场景字典模型，即通过组合关键字来描述领域特征；建立场景语义解析模型，即该特定场景下的语义理解规则。

步骤1-2、建立用户的场景对话模型，主要涉及具体场景下的对话内容，将用户引导用户的对话操作。

步骤2、根据分词系统的结果选择确定当前会话的场景。

步骤2-1、调用分词系统对当前输入本文进行分词。

步骤2-2、将分词结果和用户定义的场景字典模型进行匹配，以确定当前对话的应用场景。

步骤2-3、根据此轮对话的场景以及对话系统的状态来确定对话最终的语义解析器和对话生成器或者启动新的对话。

步骤3、采用选定的场景语义解析器，基于相应的场景化用户模型对本轮的交互内容进行理解。

步骤3-1、调用第三方的中文语法解析器对本次对话内容进行语法解析。

步骤3-2、结合用户场景字典模型、场景语义解析模型对语法解析结果进行语义解析，得到本轮的语义理解结果。

步骤4、调用相应的场景对话生成器，结合对话管理的中间状态进行对话综合并生成本轮交互后的对话结果。

步骤4-1、基于步骤2的结果选择相应场景下的对话生成器。

步骤4-2、基于步骤3所得到的当前轮次的输出结果，以及对话管理器中的对话状态进行对话综合，从而得到截止本轮交互后的语义理解结果。

步骤5、重新接收到新的文本输入后，重复步骤2-4进行语义理解，直到对话系统结束。

如图1所示，是本发明实施例场景化的语义理解与对话生成的一种结构框图。在该实施例中，系统包括：

用户场景模型，提供用户对特定场景下模型、语义理解模型以及相应的对话生成模型；

场景选择器，用于接收用户输入的自然语言，并根据用户场景模型来选定相应的用户场景；

对话管理器，用于管理对话系统的中间结果及相关的状态；

场景化的语义解析器，用于将语法解析后的结果结合用户场景模型实施语义理解得到场景化的语义理解结果；

对话综合器，用于综合对话系统的中间结果和本轮的理解输出，最后得到完成的文本输出。

实施例提供的场景化的语义理解与对话生成，预先建立存储了用户所定义的特定场景字典，在接收用户输入的自然语言后，将所述自然语言对应的文本内容与所字典进行匹配并发起对话以获取完整的语义输入。本发明通过引入场景化的模型可以自动的实现文本内容的场景确定，并能基于场景对话模型来发起对话。

如图2所示，是本发明实施例场景化的语义理解与对话生成中所构建的场景字典模型的示意图。该场景字典模型主要包括两个层次即领域层和领域特征层。领域层对应了不同的应用场景，而领域特征层则对应了该场景下的特征向量，领域模型向量可以表示为V_D＝(v₁,v₂,...,v_n)。对于输入文本D，经过分词之后得到文档的词袋(Word of Bag)，可以用表示为集合D＝{w₁,w₂,...,w_m}。本发明基于传统的基于词袋模型，基于该集合D以及领域向量集合{D₁,D₂,...D_k}，每个领域D_i均有特征向量为了确定输入文本D隶属哪个场景，本发明执行了如下的步骤：

针对某个场景的特征向量输入文本的词袋，计算词袋中的单词对特征向量中各个分量的匹配程度m_i(1≤i≤n)；

通过加权的方法计算输入文本的词袋与该场景的相关程度：

其中W_i为某个向量的权重；

比较各个场景的匹配程度M_i，得到最大的，就是发明所确定的场景。

例如，自然语言输入的文本信息，如：“用酷狗音乐播放周杰伦的青花瓷”，经过分词系统分词后得到“用酷狗音乐播放周杰伦青花瓷”，通过和字典模型库实施匹配，可以部分Music领域下的动词“播放”以及播放器“酷狗音乐”，完全匹配对象“青花瓷”在此情况下，可以确定该文本所设计的内容隶属于Music领域。得到Music领域的特征向量为一个4维向量Music＝(music₁，music₂，music₃，music₄)，分别对应播放器、动作、演唱者以及歌曲名。因此算法将调用Music领域的语义解析器，并同时初始化Music领域的对话生成器。

在确定了领域解析器后，算法调用相应的领域解析器对文本进行语义理解，而语义理解的前提是需要对文本进行相应的语法分词，本发明主要利用StanfordParser来对文本进行基于语法依存树的语法分析。在本发明中，就在做分词的基础上对对文本的进行语法解析得到相应的语法依存树，得到如图3所示的语法依存树。基于语法依存树的结果和相关的领域词典模型，实施例将得到语义理解后的领域结构信息其基本步骤如下所示：

1)遍历语法依存树，根据语法依赖规则提取相应的文本输入词汇wⁱ；

2)综合理解结果得到结构化的输出。

继续上面的文本输入，语法解析的结果为：

1用_P P_3prep__

2酷狗音乐_NR NR_1pobj__

3播放_VV VV_0root__

4周杰伦_NN NN_5nn__

5青花瓷_NN NN_3dobj__

根据语法分析结果可以确定歌名为：青花瓷(dobj)，歌者为：周杰伦(nn)，此时得到用户向量U＝("酷狗音乐","播放"，"周杰伦"，"青花瓷")，Music字典的所有属性均以满足故无需实施对话。

在实际的应用中，经常会遇到的情况是，用户不会一次性完整表达其意图，如“我想听音乐”。在此情况下，本发明将发起相应的对话来引导用户完成完整的意图表达。

针对“我想听音乐”，分词后得到结果“我想听音乐”，按照上面的步骤进行语法解析后，得到如下的解析结果：

1我_PN PN_2nsubj__

2想听_VV VV_0root__

3音乐_NN NN_2dobj__

经过语法解析后，得到相应的语义理解结果，如下所示U＝(0,"听"，0，0)，此时用户的意图无法明确理解，需要通过对话来进一步获取用户需求。在和用户对话过程中，需要执行用户意图融合的步骤。

假定用户的领域特征向量为V_D＝(v₁,v₂,...,v_n)，经过交互后，得到的结果为其中u_i∈∪D∪{0}，∪D表示到目前为止用户交互的输入词汇，{0}表示该向量用户目前并未输入，需要通过用户交互进一步确认。

当用户进行对话交互后，本发明将融合当前的结果以及本轮的对话结果最后得到最终的结果。假定在本轮对话之前，用户得到的结果为而在本轮对话中，通过算法得到的结果为本发明将按照下面的过程得到最新的结果输出

直到所得到的用户向量中所有的向量皆不为空是，对话结束。

继续前面的实例，通过理解“我要听音乐”，可以确定为Music领域，通过语义理解后，可以的用户向量U＝(0,"听",0,0)，根据前面的规则，需要发起对话，用户继续输入“我要听青花瓷”，用户理解后，得到想用的用户输出U'＝(0,"听",0,"青花瓷")，意图合并将基于这两个结果新的结果：

U'＝(0,"听",0,"青花瓷")

很明显该意图仍然不确定，因此，用户输入“周杰伦的青花瓷”，语义解析后得到用户输入U'＝(0,0,"周杰伦","青花瓷")，进一步融合后得到输出：

U'＝(0,"听","周杰伦","青花瓷")

进一步，用户输入“用网易云音乐播放”，语义解析得到了结果U'＝("网易云音乐","播放",0,0)，进一步融合得到结果：

U'＝("网易云音乐","播放","周杰伦","青花瓷")

至此为止，用户的需求明确，语义理解完成。

Claims (10)

1.一种场景化的语义理解与对话生成方法，其特征在于：包括以下步骤，

步骤1、建立用户场景模型，包括用户场景字典模型、场景语义解析模型和用户场景对话模型；

步骤2、根据分词系统的结果选择确定当前会话的领域；

步骤3、采用选定的场景语义解析器，基于相应的用户场景字典模型、场景语义解析模型对本轮的交互内容进行理解；

步骤4、基于用户场景对话模型，创建相应场景下的对话生成器，结合对话管理的中间状态进行对话综合并生成本轮交互后的对话结果；

步骤5、重新接收到新的文本输入后，重复步骤2-4进行语义理解，直到对话系统结束。

2.如权利要求1所述的场景化的语义理解与对话生成方法，其特征在于：步骤1具体为：

步骤1-1、建立用户场景字典模型，通过组合关键字来描述领域特征，以及建立场景语义解析模型，即该特定场景下的语义理解规则；

步骤1-2、建立用户场景对话模型，涉及具体场景下的对话交互方式，用于引导用户的对话交互。

3.如权利要求1所述的场景化的语义理解与对话生成方法，其特征在于：步骤2具体为：

步骤2-1、调用分词系统对当前输入本文进行分词，得到文本的词袋；

步骤2-2、将分词结果和用户定义的场景通用模型字典进行匹配，以确定当前对话的应用场景；

步骤2-3、根据此轮对话的场景以及对话系统的状态来确定对话最终的语义解析器和对话生成器或者启动新的对话。

4.如权利要求3所述的场景化的语义理解与对话生成方法，其特征在于：步骤2-2中，领域模型字典包括领域层和领域特征层，领域层对应不同的应用场景，领域特征层对应该应用场景下的特征向量。

5.如权利要求4所述的场景化的语义理解与对话生成方法，其特征在于：步骤2-2中，确定当前对话的应用场景，具体为：

步骤2-2-1、针对某个场景的特征向量输入文本的词袋，计算词袋中的单词对特征向量中各个分量的匹配程度m_i，其中1≤i≤n；

步骤2-2-2、通过加权的方法计算输入文本的词袋与该场景的相关程度：

$M_j=\underset{i=1}{\overset{n}{\Σ}}{W}_i*m_i$

其中，W_i为某个向量的权重；

步骤2-2-3、比较各个场景的匹配程度M_j，得到最大的，就是所确定的应用场景。

6.如权利要求3所述的场景化的语义理解与对话生成方法，其特征在于：步骤2-3中，在用户的意图无法明确理解时，通过对话来获取用户需求，通过引入场景化的模型自动地确定文本内容的应用场景，并基于场景对话模型来发起对话。

7.如权利要求6所述的场景化的语义理解与对话生成方法，其特征在于：步骤2-3中，在与用户对话过程中，执行用户意图融合的步骤，具体为：

假定在本轮对话之前，用户得到的结果为而在本轮对话中，通过算法得到的结果为按照下面的过程得到最新的结果输出

直到所得到的用户向量中所有的向量皆不为空时，对话结束。

8.如权利要求1-7任一项所述的场景化的语义理解与对话生成方法，其特征在于：步骤3具体为：

步骤3-1、调用第三方的中文语法解析器对本次对话内容进行语法解析；

步骤3-2、结合用户场景字典模型、场景语义解析模型对语法解析结果进行语义解析，得到本轮的语义理解结果。

9.如权利要求1-7任一项所述的场景化的语义理解与对话生成方法，其特征在于：步骤4具体为：

步骤4-1、基于步骤2的结果选择相应场景下的对话生成器；

步骤4-2、基于步骤3所得到的当前轮次的输出结果，以及对话管理器中的对话状态进行对话综合，从而得到截止本轮交互后的语义理解结果。

10.一种实现权利要求1-9任一项所述的场景化的语义理解与对话生成方法的系统，其特征在于，包括：

用户场景模型，提供特定场景下通用字典模型、语义理解模型以及对话生成模型；

场景选择器，用于接收用户输入的自然语言，并根据用户场景模型来选定相应的用户场景；预先建立存储了用户所定义的特定场景字典，在接收用户输入的自然语言后，将所述自然语言对应的文本内容与所字典进行匹配，在语义输入不完整时发起对话以获取完整的语义输入；

对话管理器：用于管理对话系统的中间结果及相关的状态；

场景化的语义解析器：用于将语法解析后的结果结合用户场景模型实施语义理解得到场景化的语义理解结果；

对话综合器：用于综合对话系统的中间结果和本轮的理解输出，最后得到完成的文本输出。