CN106448670B - 基于深度学习和强化学习的自动回复对话系统 - Google Patents
基于深度学习和强化学习的自动回复对话系统 Download PDFInfo
- Publication number
- CN106448670B CN106448670B CN201610920931.2A CN201610920931A CN106448670B CN 106448670 B CN106448670 B CN 106448670B CN 201610920931 A CN201610920931 A CN 201610920931A CN 106448670 B CN106448670 B CN 106448670B
- Authority
- CN
- China
- Prior art keywords
- user
- information
- learning
- conversational system
- portrait
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 26
- 238000004458 analytical method Methods 0.000 claims abstract description 11
- 238000005516 engineering process Methods 0.000 claims abstract description 11
- 230000002452 interceptive effect Effects 0.000 claims abstract description 8
- 230000008451 emotion Effects 0.000 claims abstract description 7
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 238000000034 method Methods 0.000 claims description 10
- 230000002996 emotional effect Effects 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 8
- 230000000306 recurrent effect Effects 0.000 claims description 6
- 238000003062 neural network model Methods 0.000 claims description 2
- 238000000605 extraction Methods 0.000 description 7
- 230000036651 mood Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
- G10L2015/227—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of the speaker; Human-factor methodology
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
- G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了基于深度学习和强化学习的自动回复对话系统，包括：用户交互模块，接收用户在对话系统界面中输入的问题信息；会话管理模块，记录用户的活动状态，活动状态包括历史对话信息，用户位置变换信息和用户情绪变化信息；用户分析模块，分析用户的注册信息和活动状态，为用户进行画像，得到用户画像信息；对话模块，根据用户在问题信息，结合用户的画像，通过语言模型生成的回答信息；模型学习模块，根据语言模型生成的回答信息，通过强化学习技术更新语言模型。本发明基于深度学习和强化学习的自动回复对话系统，可根据用户输入的对话文本，联系上下文信息、用户的个性特征及对话中的意图给出符合用户个性的对话回答。
Description
技术领域
本发明涉及人工智能领域，尤其涉及智能人机对话领域。
背景技术
随着人类社会信息化的不断演进以及人工服务成本的不断上升，人们越来越希望通过自然语言与计算机进行交流，智能对话机器人系统成为这样的历史背景下诞生的产物，尤其是能够理解用户，能够记忆用户的历史对话，能够照顾用户的情绪，能够给用户提供个性化的服务的对话机器人系统，正成为各大公司及学术研究机构研发的方向和重点。
现有技术中实现方式一需要针对各种问题构建各种回答并精确设计选择逻辑，需要投入巨大的人力。如果考虑上下文之间的依赖关系，那么规则的设计会非常复杂，并且规则之间也会存在冲突。实现方式二需要基于统计系统翻译，但是在对话的场景下，因为回复和输入之间并没有语义层面的同义关系，使得输出并不能很好的输入相匹配。尤其对于多轮对话的场景，和系统翻译更是存在根本的不同，因为还需要更多的考虑上下文的信息，如用户的意图、兴趣爱好及用户所处时空，前面对话的内容，对话主题的切换等。
因此现有技术中的缺陷是：现有的人机对话系统实现方式不能根据用户的意图或是上下文的不同给出准确并符合用户个性的回答，无法实现智能聊天。
发明内容
本发明要解决的技术问题是提供一种基于深度学习和强化学习的自动回复对话系统，可根据用户输入的对话文本，联系上下文信息、用户的个性特征及对话中的意图给出符合用户个性的对话回答。
为解决上述技术问题，本发明提供的技术方案是：
本发明提供一种基于深度学习和强化学习的自动回复对话系统，包括：
用户交互模块，用于接收用户在对话系统界面中输入的问题信息；
会话管理模块，用于记录所述用户的活动状态，所述活动状态包括历史对话信息，用户位置变换信息和用户情绪变化信息；
用户分析模块，用于分析所述用户的注册信息和活动状态，为所述用户进行画像，得到所述用户画像信息，所述用户画像信息用来描述所述用户的个性特征，所述用户的注册信息包括用户个人信息；
对话模块，用于根据所述用户在所述问题信息，结合所述用户的画像，通过语言模型生成的回答信息；
模型学习模块，用于根据所述语言模型生成的回答信息，通过强化学习技术更新所述语言模型。
本发明的技术方案为：用户交互模块，用于接收用户在对话系统界面中输入的问题信息；会话管理模块，用于记录所述用户的活动状态，所述活动状态包括历史对话信息，用户位置变换信息和用户情绪变化信息；用户分析模块，用于分析所述用户的注册信息和活动状态，为所述用户进行画像，得到所述用户画像信息，所述用户画像信息用来描述所述用户的个性特征，所述用户的注册信息包括用户个人信息；
对话模块，用于根据所述用户在所述问题信息，结合所述用户的画像，通过语言模型生成的回答信息；模型学习模块，用于根据所述语言模型生成的回答信息，通过强化学习技术更新所述语言模型。
通过上述基于深度学习和强化学习的自动回复对话系统进行人机对话，可根据用户输入的对话文本，联系上下文信息、用户的个性特征及对话中的意图给出符合用户个性的对话回答，提高用户体验。
进一步地，所述对话模块中，通过所述语言模型生成回复，具体为：
获得用户的问题信息和用户的历史对话信息；
对所述用户的问题信息和所述用户的历史对话信息通过编码器进行信息提取，得到提取信息，所述提取信息包括所述问题信息中包含的主题信息、言语行为信息和情绪信息；
通过所述编码器对所述问题信息进行编码，输出一个固定长度的向量，所述向量表示根据所述用户的画像得到的用户类别信息；
根据所述固定长度的向量，结合所述提取信息，通过解码器进行解码，生成回答信息。
进一步地，所述语言模型的训练过程分为离线有监督学习阶段和在线无监督强化学习阶段。
进一步地，所述模型学习模块中，在所述离线有监督学习阶段，通过循环神经网络建立所述语言模型，具体为：
所述循环神经网路的第一层输入当前用户输入的问题信息和所述历史对话信息；
所述循环神经网路的第二层为通过编码器提取的所述当前用户输入的问题信息的主题信息、言语行为信息、情绪信息和输出一个固定长度的向量；
所述循环神经网路的第三层输出通过解码器解码所述第二层的信息得到的回答信息。
进一步地，所述模型学习模块中，在所述在线无监督强化学习阶段，通过强化学习技术更新语言模型：
根据所述语言模型生成的回答信息，计算出奖励系数；
在通过反向传播算法进行计算过程中，将所述奖励系数与所述反向传播算法中的导数相乘，生成新的导数，实现所述语言模型的更新。
进一步地，所述用户在对话系统界面中输入的问题信息包括语音信息、图形信息和文字信息。
进一步地，所述用户画像信息通过用户在搜索引擎中使用关键字信息、用户使用手机应用程序信息和用户在对话系统界面中的对话文本信息获得；
所述用户在搜索引擎中使用关键字信息的获得方式包括通过所述用户在搜索引擎中使用关键字的次数、使用频率和使用时间；
所述用户使用手机应用程序信息的获得方式包括通过所述用户使用手机应用程序的次数、使用频率和使用时间。
进一步地，所述用户画像信息包括标签信息和图谱信息。
进一步地，所述用户个人信息包括用户的性别，年龄，住址、讲话风格、社会关系、情绪变化模式和个人喜好。
进一步地，所述解码器是通过GRU算法实现的。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。
图1示出了本发明第一实施例所提供的一种基于深度学习和强化学习的自动回复对话系统的示意图；
图2示出了本发明第一实施例所提供的一种基于深度学习和强化学习的自动回复对话系统的语言模型训练系统框图；
图3示出了本发明第一实施例所提供的一种基于深度学习和强化学习的自动回复对话系统的语言模型训练建立示意图；
图4示出了本发明第一实施例所提供的一种基于深度学习和强化学习的自动回复对话系统的GRU算法示意图；
图5示出了本发明第一实施例所提供的一种基于深度学习和强化学习的自动回复对话系统的强化学习示意图。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只是作为示例，而不能以此来限制本发明的保护范围。
实施例一
图1示出了本发明第一实施例所提供的一种基于深度学习和强化学习的自动回复对话系统10的示意图，如图1所示，实施例一提供的一种基于深度学习和强化学习的自动回复对话系统10，包括：
用户交互模块101，用于接收用户在对话系统界面中输入的问题信息；
会话管理模块102，用于记录用户的活动状态，活动状态包括历史对话信息，用户位置变换信息和用户情绪变化信息；
用户分析模块103，用于分析用户的注册信息和活动状态，为用户进行画像，得到用户画像信息，用户画像信息用来描述用户的个性特征，用户的注册信息包括用户个人信息；
对话模块104，用于根据用户在问题信息，结合用户的画像，通过语言模型生成的回答信息；
模型学习模块105，用于根据语言模型生成的回答信息，通过强化学习技术更新语言模型。
本发明的技术方案为：用户交互模块101，用于接收用户在对话系统界面中输入的问题信息；会话管理模块102，用于记录用户的活动状态，活动状态包括历史对话信息，用户位置变换信息和用户情绪变化信息；用户分析模块103，用于分析用户的注册信息和活动状态，为用户进行画像，得到用户画像信息，用户画像信息用来描述用户的个性特征，用户的注册信息包括用户个人信息；
对话模块104，用于根据用户在问题信息，结合用户的画像，通过语言模型生成的回答信息；模型学习模块105，用于根据语言模型生成的回答信息，通过强化学习技术更新语言模型。
用户交互模块101接收用户输入的问题；会话管理模块102获取该用户的ID，用户当前位置，提问时间及最近5轮的历史对话等信息；会话管理模块102向用户分析模块103请求用户的类别信息，会话管理模块102将前面获取的信息发送到对话模块104，对话模块使用训练好的语言模型生成一个回答；对话模块104可以请求模型学习模块105使用强化学习技术来更新语言模型。
通过上述基于深度学习和强化学习的自动回复对话系统10进行人机对话，可根据用户输入的对话文本，联系上下文信息、用户的个性特征及对话中的意图给出符合用户个性的对话回答，提高用户体验。
其中，用户的类别信息由用户分析模块103生成，用户分析模块103用于离线分析用户，根据用户的注册信息、对话历史记录以及从外部系统如微博等获取的社交关系等；给用户进行分类以及打上标签，这样在生成对话的时就可以将用户的类别作为输入信息之一，从而实现根据不同类别的用户生成个性化的回复。
具体地，用户分析模块103从用户的注册信息，历史聊天记录，历史活动信息，历史对话信息等发掘出用户的年龄，性别，住址，活动范围，爱好，兴趣，讲话的风格，情绪变化模式，社会关系等，给用户进行画像。
具体地，对话模块中，通过语言模型生成回复，具体为：
获得用户的问题信息和用户的历史对话信息；
对用户的问题信息和用户的历史对话信息通过编码器进行信息提取，得到提取信息，提取信息包括问题信息中包含的主题信息、言语行为信息和情绪信息；
通过编码器对问题信息进行编码，输出一个固定长度的向量，向量表示根据用户的画像得到的用户类别信息；
根据固定长度的向量，结合提取信息，通过解码器进行解码，生成回答信息。
通过编码器分析用户对话内容信息中的语义，情绪等信息，然后通过解码器解码，生成符合用户个性的对话回答，通过预先训练好的语言模型分析用户对话内容的意图，联系上下文信息和用户的个性，这样可以给出符合用户个性的对话回答。
具体地，语言模型的训练过程分为离线有监督学习阶段和在线无监督强化学习阶段。
具体地，模型学习模块中，在离线有监督学习阶段，通过循环神经网络建立语言模型，具体为：
循环神经网路的第一层输入当前用户输入的问题信息和历史对话信息；
循环神经网路的第二层为通过编码器提取的当前用户输入的问题信息的主题信息、言语行为信息、情绪信息和输出一个固定长度的向量；
循环神经网路的第三层输出通过解码器解码第二层的信息得到的回答信息。
语言模型一般通过神经网络建立，本发明基于深度学习和强化学习的自动回复对话系统采用循环神经网络建立语言模型，循环神经网络(RNN)可以真正充分地利用所有上下文信息来预测下一个词，即运用循环神经网络建立语言模型可以根据上下文信息推测出对话的回答信息，使人机对话更自然更准确。
如图2所示，语言模型由编码器和解码器两个部分组成，用户提出的问题首先使用编码器进行编码，输出一个固定长度的n维向量，再使用解码器进行解码，生成一句回答。
具体地，如图3所示，本发明的语言模型中使用了4个编码器来对用户的问题和历史对话进行信息提取，并和一个表示用户信息的向量一起输入到解码器中进行解码，来生成回答。
具体地，四个编码器分别是问题编码器、主题编码器、言语行为编码器和情绪编码器；其中：
问题编码器(Question Encoder)：用于对用户的问题进行编码；问题编码器使用了多层GRU或LSTM实现；
主题编码器(Topic Encoder)：用于对历史对话和当前问题进行编码，编码结果侧重于抽取主题信息；主题编码器使用CNN+RNN方式实现；
言语行为编码器(Speech Act Encoder)：用于对历史对话和当前问题进行编码，编码结果侧重于抽取言语行为信息，言语行为编码器的实现方式和问题编码器的实现方式类似，不同的地方只是在训练模型时需要使用标注了言语行为的语料；
情绪编辑器(Emotion Encoder)，用于对历史对话和当前问题进行编码，编码结果侧重于抽取情绪信息；情绪编辑器的实现方式和问题编码器的实现方式类似，不同的地方只是在训练模型时需要使用标注了情绪的语料。
具体地，用户信息使用一个n维向量表示，每一位取值维0或1，可以把用户类别，用户的性别，年龄段，爱好，当前时间，地点等信息编码到这个向量中，例如，如果用户分为3类，那么久可以用3位来表示，如100，010，001，分别表示了3个用户类别。
具体地，以上4个编码器的输出和用户信息向量为输入，进行解码，生成回答，解码器的实现方式是使用GRU实现的，但不同于传统的GRU，这里增加了上下文输入，因此成为C—GRU，具体计算过程如图4所示。
其中，输出的计算公式如下：
yt＝Softmax(Whyht)
ht＝ztοht-1+(1-zt)οgt
gt＝tanh(Wxgxt+Whg(rtοht-1)+Wcg(utοc)+bg)
zt＝σ(Wxzxt+Whzht-1+Wcz(utοc)+bz)
rt＝σ(Wxrxt+Whrht-1+Wcr(utοc)+br)
ut＝σ(αWhuht-1+Wcuc+bu)
具体地，模型学习模块中，在在线无监督强化学习阶段，通过强化学习技术更新语言模型：
根据语言模型生成的回答信息，计算出奖励系数；
在通过反向传播算法进行计算过程中，将奖励系数与反向传播算法中的导数相乘，生成新的导数，实现语言模型的更新。
BP(Back Propagation，反向传播算法)网络是1986年由Rumelhart和McCelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映。
在线无监督强化学习阶段，训练出的语言模型已经可以产生比较好的，基本没有语法错误的回答，但是由于采用了MLE(maximum likelihood eapection)目标，因此比较容易生成一些无意义的回答，所以在这一阶段使用强化学习修正语言模型的参数，如图5所示，当对话系统接收到用户的问题，并生成一个回答，然后运用一个奖励策略(RewardPolicy)计算出奖励系数r，在进行BP(Back Propagation)时和导数相乘作为新的导数，然后继续完成BP过程。
具体地，用户在对话系统界面中输入的问题信息包括语音信息、图形信息和文字信息。在对话系统界面中输入用户的对话文本信息，文本信息可以是一段语音，可以是一个截图信息，也可以是文字信息，系统都会根据这些信息给出相应的回答，多种输入方式可以满足用户的不同需求，提高了用户体验。
具体地，用户画像信息通过用户在搜索引擎中使用关键字信息、用户使用手机应用程序信息和用户在对话系统界面中的对话文本信息获得；
用户在搜索引擎中使用关键字信息的获得方式包括通过用户在搜索引擎中使用关键字的次数、使用频率和使用时间；
用户使用手机应用程序信息的获得方式包括通过用户使用手机应用程序的次数、使用频率和使用时间。
用户的画像信息为描述包括用户个性、特点和行为特征的画像信息，可以通过用户在搜索引擎中使用关键字信息、用户使用手机应用程序信息和搜集到的用户对话内容样本信息获得，比如，用户经常在搜索引擎中搜索关于美食的关键词，那么该用户可能是个美食达人，比如，用户经常使用购物类的应用程序，那么该用户可能是个网购爱好者，也可以通过搜集到的用户对话内容样本信息，这些信息可以使以往每次该用户对话的文本信息，也可以是我们收集到的一些样本信息。通过这些信息，得到用户的画像信息，可以根据不同用户的不同特点给出更准确的回答。
具体地，用户在搜索引擎中使用关键字信息的获得方式包括通过用户在搜索引擎中使用关键字的次数、使用频率和使用时间；用户使用手机应用程序信息的获得方式包括通过所述用户使用手机应用程序的次数、使用频率和使用时间。
本发明基于深度学习和强化学习的自动回复对话系统可以通过多种方式获得具有用户个性特征的信息，本发明中提到了三种获取方式，其中所述用户在搜索引擎中使用关键字信息是根据所述用户在搜索引擎中使用关键字的次数获得，可以统计所述用户在搜索引擎中使用关键字的次数，当大于某一阈值时，即判定此关键词是用户在搜索引擎中经常使用的，同样，也可以统计用户使用手机应用程序的次数，当大于某一阈值时，即判定此应用程序是该用户经常使用的，根据这些信息可以判断出该用户的个性特征，就可以根据不同的用户给出不同的回答。
具体地，用户画像信息包括标签信息和图谱信息。用户画像信息是用来描述用户的个人特点的，因此可以通过标签或者图像的形式表现，直观方便。具体地，用户个人信息包括用户的性别，年龄，住址、讲话风格、社会关系、情绪变化模式和个人喜好。
结合用户的个人信息，可以给出更准确的回答，比如知道用户的性别，在对话过程中就会根据不同的性别给出不同的回答，比如用户想知道附近比较好玩的地方，那么系统就会根据用户为女性，推荐一些适合女性玩的地方，如KTV，商场等，如果是男性，就会推荐比如健身房，电玩城等地方，因此得到用户的个人信息，可以得到更精准的回答。
实施例二
本发明基于深度学习和强化学习的自动回复对话系统10，结合用户在系统界面的对话内容，具体介绍一下本发明的系统流程；
用户：你好！
系统：下午好，有什么可以帮助您？
用户：我的电脑开机不显示了。
系统：替你难过。你是用Windows操作系统吗？
用户：不是，Linux系统。
系统：有什么错误提示吗？
用户在系统界面中进行人机对话，输入用户对话的文本信息，如“你好”，系统先将“你好”编码转换成词向量，方便计算机进行计算，然后对于简单的问好类信息，系统会根据预先设定的模式，给出相应的回答，如“下午好，有什么可以帮助您？”或是“下午好，请问什么事？”，然后用户接着进行对话，“我的电脑开机不显示了”，同样，系统先将这句话转换成词向量信息，然后系统根据转换成的词向量信息，通过感知器计算出用户的意图信息，意图信息就是系统会分析出用户这句话的意图是什么，这句话的意图是“用户电脑的显示器不好使了，寻求帮助”，然后系统根据用户的意图，结合用户的画像信息，通过语言模型推测出给用户的回答信息，其中，用户的画像信息描述用户的个人特点等信息，这样充分利用每个用户不相同的特点，给用户提供差别个性化的回答，如“替你难过。你是用Windows操作系统吗？”，在语言模型中，存储着很多数据，根据用户的意图信息和画像信息，可以快速在语言模型中找到相应有关于电脑的一些信息，然后给出相应的回答。以同样的方式用户和系统进行对话，就会得到上述对话内容。
因此，通过本发明基于深度学习和强化学习的自动回复对话系统，可以根据用户对话内容表达的意图，给出个性化的回答。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。
Claims (7)
1.基于深度学习和强化学习的自动回复对话系统，其特征在于，包括：
用户交互模块，用于接收用户在对话系统界面中输入的问题信息；
会话管理模块，用于记录所述用户的活动状态，所述活动状态包括历史对话信息，用户位置变换信息和用户情绪变化信息；
用户分析模块，用于分析所述用户的注册信息和活动状态，为所述用户进行画像，得到所述用户画像信息，所述用户画像信息用来描述所述用户的个性特征，所述用户的注册信息包括用户个人信息；
对话模块，用于根据所述用户在所述问题信息，结合所述用户的画像，通过语言模型生成的回答信息；
模型学习模块，用于根据所述语言模型生成的回答信息，通过强化学习技术更新所述语言模型；
所述语言模型的训练过程分为离线有监督学习阶段和在线无监督强化学习阶段；
所述模型学习模块中，在所述离线有监督学习阶段，通过循环神经网络建立所述语言模型，具体为：
所述循环神经网路的第一层输入当前用户输入的问题信息和所述历史对话信息；
所述循环神经网路的第二层为通过编码器提取的所述当前用户输入的问题信息的主题信息、言语行为信息、情绪信息和输出一个固定长度的向量；
所述循环神经网路的第三层输出通过解码器解码所述第二层的信息得到的回答信息。
2.根据权利要求1所述基于深度学习和强化学习的自动回复对话系统，其特征在于，
所述模型学习模块中，在所述在线无监督强化学习阶段，通过强化学习技术更新语言模型：
根据所述语言模型生成的回答信息，计算出奖励系数；
在通过反向传播算法进行计算过程中，将所述奖励系数与所述反向传播算法中的导数相乘，生成新的导数，实现所述语言模型的更新。
3.根据权利要求1所述基于深度学习和强化学习的自动回复对话系统，其特征在于，
所述用户在对话系统界面中输入的问题信息包括语音信息、图形信息和文字信息。
4.根据权利要求1所述基于深度学习和强化学习的自动回复对话系统，其特征在于，
所述用户画像信息通过用户在搜索引擎中使用关键字信息、用户使用手机应用程序信息和用户在对话系统界面中的对话文本信息获得；
所述用户在搜索引擎中使用关键字信息的获得方式包括通过所述用户在搜索引擎中使用关键字的次数、使用频率和使用时间；
所述用户使用手机应用程序信息的获得方式包括通过所述用户使用手机应用程序的次数、使用频率和使用时间。
5.根据权利要求1所述基于深度学习和强化学习的自动回复对话系统，其特征在于，
所述用户画像信息包括标签信息和图谱信息。
6.根据权利要求1所述基于深度学习和强化学习的自动回复对话系统，其特征在于，
所述用户个人信息包括用户的性别，年龄，住址、讲话风格、社会关系、情绪变化模式和个人喜好。
7.根据权利要求1所述基于深度学习和强化学习的自动回复对话系统，其特征在于，
所述解码器是通过GRU算法实现的。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610920931.2A CN106448670B (zh) | 2016-10-21 | 2016-10-21 | 基于深度学习和强化学习的自动回复对话系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610920931.2A CN106448670B (zh) | 2016-10-21 | 2016-10-21 | 基于深度学习和强化学习的自动回复对话系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106448670A CN106448670A (zh) | 2017-02-22 |
| CN106448670B true CN106448670B (zh) | 2019-11-19 |
Family
ID=58175697
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610920931.2A Active CN106448670B (zh) | 2016-10-21 | 2016-10-21 | 基于深度学习和强化学习的自动回复对话系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106448670B (zh) |
Families Citing this family (88)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106997375B (zh) * | 2017-02-28 | 2020-08-18 | 浙江大学 | 基于深度学习的客服回复推荐方法 |
| CN106991124A (zh) * | 2017-03-02 | 2017-07-28 | 竹间智能科技（上海）有限公司 | 基于多互动情境编辑的回答方法及系统 |
| CN107066567B (zh) * | 2017-04-05 | 2021-08-31 | 竹间智能科技（上海）有限公司 | 文字对话中基于话题侦测的用户画像建模方法及系统 |
| CN107025283A (zh) * | 2017-04-05 | 2017-08-08 | 竹间智能科技（上海）有限公司 | 基于用户资料进行候选答案排序的回答方法及系统 |
| CN108733703A (zh) * | 2017-04-20 | 2018-11-02 | 北京京东尚科信息技术有限公司 | 问答系统的答案预测方法及装置、电子设备、存储介质 |
| EP3392781A1 (en) * | 2017-04-21 | 2018-10-24 | Tata Consultancy Services Ltd. | System and method for belief based human-bot conversation |
| CN107180115A (zh) * | 2017-06-28 | 2017-09-19 | 上海与德通讯技术有限公司 | 机器人的交互方法及系统 |
| EP3652678A1 (en) * | 2017-07-11 | 2020-05-20 | Koninklijke Philips N.V. | Multi-modal dialogue agent |
| CN109427334A (zh) * | 2017-09-01 | 2019-03-05 | 王阅 | 一种基于人工智能的人机交互方法及系统 |
| CN110069606A (zh) * | 2017-10-26 | 2019-07-30 | 北京京东尚科信息技术有限公司 | 人机会话方法、装置、电子设备及存储介质 |
| CN107943998B (zh) * | 2017-12-05 | 2021-05-11 | 竹间智能科技（上海）有限公司 | 一种基于知识图谱的人机对话控制系统及方法 |
| CN108090443B (zh) * | 2017-12-15 | 2020-09-22 | 华南理工大学 | 基于深度强化学习的场景文本检测方法及系统 |
| CN108038209A (zh) * | 2017-12-18 | 2018-05-15 | 深圳前海微众银行股份有限公司 | 答案选择方法、装置和计算机可读存储介质 |
| CN108153879A (zh) * | 2017-12-26 | 2018-06-12 | 爱因互动科技发展（北京）有限公司 | 通过人机交互而向用户提供推荐信息的方法及装置 |
| CN108182942B (zh) * | 2017-12-28 | 2021-11-26 | 瑞芯微电子股份有限公司 | 一种支持不同虚拟角色交互的方法和装置 |
| CN108196862A (zh) * | 2017-12-29 | 2018-06-22 | 北京声智科技有限公司 | 语音设备的升级装置及方法 |
| CN108304489B (zh) * | 2018-01-05 | 2021-12-28 | 广东工业大学 | 一种基于强化学习网络的目标引导型个性化对话方法与系统 |
| CN108172209A (zh) * | 2018-01-09 | 2018-06-15 | 上海大学 | 构建语音偶像方法 |
| CN108256065B (zh) * | 2018-01-16 | 2021-11-09 | 智言科技（深圳）有限公司 | 基于关系检测和强化学习的知识图谱推理方法 |
| CN108563628A (zh) * | 2018-03-07 | 2018-09-21 | 中山大学 | 基于hred和内外记忆网络单元的情感对话生成方法 |
| CN108829797A (zh) * | 2018-04-25 | 2018-11-16 | 苏州思必驰信息科技有限公司 | 多智能体对话策略系统构建方法及自适应方法 |
| JP6969491B2 (ja) * | 2018-05-11 | 2021-11-24 | トヨタ自動車株式会社 | 音声対話システム、音声対話方法及びプログラム |
| US11904467B2 (en) | 2018-05-18 | 2024-02-20 | Google Llc | System and methods for pixel based model predictive control |
| CN108681610B (zh) * | 2018-05-28 | 2019-12-10 | 山东大学 | 生成式多轮闲聊对话方法、系统及计算机可读存储介质 |
| CN108806671B (zh) * | 2018-05-29 | 2019-06-28 | 杭州认识科技有限公司 | 语义分析方法、装置及电子设备 |
| CN108804611B (zh) * | 2018-05-30 | 2021-11-19 | 浙江大学 | 一种基于自我评论序列学习的对话回复生成方法及系统 |
| CN110619870B (zh) * | 2018-06-04 | 2022-05-06 | 佛山市顺德区美的电热电器制造有限公司 | 一种人机对话方法、装置、家用电器和计算机存储介质 |
| CN108959421B (zh) * | 2018-06-08 | 2021-04-13 | 腾讯科技（深圳）有限公司 | 候选回复评价装置和问询回复设备及其方法、存储介质 |
| CN108846073B (zh) * | 2018-06-08 | 2022-02-15 | 合肥工业大学 | 一种个性化人机情感会话系统 |
| JP6964558B2 (ja) * | 2018-06-22 | 2021-11-10 | 株式会社日立製作所 | 音声対話システムとモデル作成装置およびその方法 |
| CN109002500B (zh) * | 2018-06-29 | 2024-08-27 | 北京百度网讯科技有限公司 | 对话生成方法、装置、设备及计算机可读介质 |
| CN109242109B (zh) * | 2018-07-06 | 2022-05-10 | 网宿科技股份有限公司 | 深度模型的管理方法及服务器 |
| CN110765338B (zh) * | 2018-07-26 | 2024-11-08 | 北京搜狗科技发展有限公司 | 一种数据处理方法、装置和用于数据处理的装置 |
| CN109145101B (zh) * | 2018-09-06 | 2021-05-25 | 北京京东尚科信息技术有限公司 | 人机对话方法、装置和计算机可读存储介质 |
| US10909970B2 (en) * | 2018-09-19 | 2021-02-02 | Adobe Inc. | Utilizing a dynamic memory network to track digital dialog states and generate responses |
| CN109299237B (zh) * | 2018-09-26 | 2020-06-16 | 苏州大学 | 基于行动者评论家强化学习算法的循环网络人机对话方法 |
| CN110970021B (zh) * | 2018-09-30 | 2022-03-08 | 航天信息股份有限公司 | 一种问答控制方法、装置及系统 |
| CN111048075A (zh) * | 2018-10-11 | 2020-04-21 | 上海智臻智能网络科技股份有限公司 | 智能客服系统及智能客服机器人 |
| CN111128135B (zh) * | 2018-10-15 | 2022-09-27 | 珠海格力电器股份有限公司 | 语音交流方法及装置 |
| CN109493166B (zh) * | 2018-10-23 | 2021-12-28 | 深圳智能思创科技有限公司 | 一种针对电子商务导购场景任务型对话系统的构建方法 |
| CN109635080A (zh) * | 2018-11-15 | 2019-04-16 | 上海指旺信息科技有限公司 | 应答策略生成方法及装置 |
| CN109347980B (zh) * | 2018-11-23 | 2022-07-15 | 网易有道信息技术（北京）有限公司 | 呈现、推送信息的方法、介质、装置和计算设备 |
| CN111292733A (zh) * | 2018-12-06 | 2020-06-16 | 阿里巴巴集团控股有限公司 | 一种语音交互方法和装置 |
| CN109670911A (zh) * | 2018-12-14 | 2019-04-23 | 安徽仁昊智能科技有限公司 | 一种网购平台用的自动回复语音系统 |
| CN109635095A (zh) * | 2018-12-17 | 2019-04-16 | 北京百度网讯科技有限公司 | 用于优化对话模型的方法和装置 |
| CN109785289B (zh) * | 2018-12-18 | 2021-07-20 | 中国科学院深圳先进技术研究院 | 一种输电线路缺陷检测方法、系统及电子设备 |
| CN109783704B (zh) * | 2019-01-03 | 2021-02-02 | 中国科学院自动化研究所 | 人机混合的应答方法、系统、装置 |
| CN109800294B (zh) * | 2019-01-08 | 2020-10-13 | 中国科学院自动化研究所 | 基于物理环境博弈的自主进化智能对话方法、系统、装置 |
| CN111552784A (zh) * | 2019-02-12 | 2020-08-18 | 厦门邑通软件科技有限公司 | 一种基于abc沟通法则的人机对话方法 |
| CN109754810A (zh) * | 2019-02-21 | 2019-05-14 | 珠海格力电器股份有限公司 | 一种语音控制方法、装置、存储介质及空调 |
| CN110263131B (zh) * | 2019-03-05 | 2023-07-04 | 腾讯科技（深圳）有限公司 | 回复信息生成方法、装置及存储介质 |
| CN109992669B (zh) * | 2019-04-08 | 2020-12-15 | 浙江大学 | 一种基于语言模型和强化学习的关键词问答方法 |
| CN110417637A (zh) * | 2019-04-26 | 2019-11-05 | 成海林 | Ai人工智能辅助沟通技术 |
| CN110597968A (zh) * | 2019-04-28 | 2019-12-20 | 河北省讯飞人工智能研究院 | 一种回复选择方法及装置 |
| CN110211572B (zh) * | 2019-05-14 | 2021-12-10 | 北京来也网络科技有限公司 | 基于强化学习的对话控制方法及装置 |
| CN110188177A (zh) * | 2019-05-28 | 2019-08-30 | 北京搜狗科技发展有限公司 | 对话生成方法及装置 |
| CN112017642B (zh) * | 2019-05-31 | 2024-04-26 | 华为技术有限公司 | 语音识别的方法、装置、设备及计算机可读存储介质 |
| CN110195660B (zh) * | 2019-06-19 | 2020-04-21 | 南京航空航天大学 | 基于深度q学习的航空发动机控制装置 |
| CN110569344B (zh) * | 2019-08-22 | 2023-06-02 | 创新先进技术有限公司 | 确定对话文本对应的标准问句的方法和装置 |
| CN110688468B (zh) * | 2019-08-28 | 2021-06-25 | 北京三快在线科技有限公司 | 输出响应消息的方法、装置、电子设备及可读存储介质 |
| US12014823B2 (en) | 2019-08-30 | 2024-06-18 | GE Precision Healthcare LLC | Methods and systems for computer-aided diagnosis with deep learning models |
| CN110674276B (zh) * | 2019-09-23 | 2024-08-16 | 深圳前海微众银行股份有限公司 | 机器人自学习方法、机器人终端、装置及可读存储介质 |
| CN110737764B (zh) * | 2019-10-24 | 2023-07-07 | 西北工业大学 | 一种个性化对话内容生成方法 |
| CN110851581B (zh) * | 2019-11-19 | 2022-11-11 | 东软集团股份有限公司 | 一种模型参数确定方法、装置、设备及存储介质 |
| CN111177330A (zh) * | 2019-11-20 | 2020-05-19 | 国网江苏省电力有限公司电力科学研究院 | 一种个人智能助手系统及数据处理方法 |
| CN111026843B (zh) * | 2019-12-02 | 2023-03-14 | 北京智乐瑟维科技有限公司 | 一种人工智能语音外呼方法、系统及存储介质 |
| CN110674281B (zh) * | 2019-12-05 | 2020-05-29 | 北京百度网讯科技有限公司 | 人机对话及人机对话模型获取方法、装置及存储介质 |
| CN111161708A (zh) * | 2019-12-31 | 2020-05-15 | 中国银行股份有限公司 | 语音信息处理方法及装置 |
| CN111833854B (zh) * | 2020-01-08 | 2024-07-16 | 北京嘀嘀无限科技发展有限公司 | 一种人机交互方法与终端、计算机可读存储介质 |
| CN111259132A (zh) * | 2020-01-16 | 2020-06-09 | 中国平安财产保险股份有限公司 | 话术推荐方法、装置、计算机设备和存储介质 |
| CN111324708A (zh) * | 2020-02-07 | 2020-06-23 | 普强时代(珠海横琴)信息技术有限公司 | 一种基于人机交互的自然语言处理系统 |
| CN111314451A (zh) * | 2020-02-07 | 2020-06-19 | 普强时代(珠海横琴)信息技术有限公司 | 一种基于云计算应用的语言处理系统 |
| JP7434978B2 (ja) * | 2020-02-10 | 2024-02-21 | トヨタ自動車株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
| CN111522936B (zh) * | 2020-04-24 | 2023-08-04 | 上海智臻智能网络科技股份有限公司 | 一种包含情感的智能客服对话回复生成方法、装置及电子设备 |
| US11455340B2 (en) | 2020-06-25 | 2022-09-27 | Optum Services (Ireland) Limited | Predictive prompt generation by an automated prompt system |
| CN114005439A (zh) * | 2020-07-27 | 2022-02-01 | 北京有限元科技有限公司 | 确定话术的方法、装置以及存储介质 |
| CN114065976A (zh) * | 2020-07-29 | 2022-02-18 | 宝马股份公司 | 基于自然语言输入的用车服务预订方法和系统 |
| US11245648B1 (en) | 2020-07-31 | 2022-02-08 | International Business Machines Corporation | Cognitive management of context switching for multiple-round dialogues |
| CN112100354B (zh) * | 2020-09-16 | 2023-07-25 | 北京奇艺世纪科技有限公司 | 人机对话方法、装置、设备及存储介质 |
| CN112735374B (zh) * | 2020-12-29 | 2023-01-06 | 北京三快在线科技有限公司 | 一种自动语音交互的方法及装置 |
| CN113781190A (zh) * | 2021-01-13 | 2021-12-10 | 北京沃东天骏信息技术有限公司 | 账单数据的处理方法、系统、计算机系统和介质 |
| CN112951215B (zh) * | 2021-04-27 | 2024-05-07 | 平安科技（深圳）有限公司 | 语音的智能客服回答方法、装置以及计算机设备 |
| CN114579820A (zh) * | 2022-03-21 | 2022-06-03 | 徐涛 | 在人机对话中提取语境特征的方法及装置 |
| CN115617973B (zh) * | 2022-12-14 | 2023-03-21 | 安徽数分智能科技有限公司 | 一种基于智能数据处理的信息获取方法 |
| CN116774891B (zh) * | 2023-04-27 | 2024-08-02 | 北京鹅厂科技有限公司 | 一种应用人工智能的方法与装置 |
| CN116681087B (zh) * | 2023-07-25 | 2023-10-10 | 云南师范大学 | 一种基于多阶段时序和语义信息增强的自动问题生成方法 |
| CN116932726B (zh) * | 2023-08-04 | 2024-05-10 | 重庆邮电大学 | 一种基于可控多空间特征解耦的开放域对话生成方法 |
| CN117235241A (zh) * | 2023-11-15 | 2023-12-15 | 安徽省立医院(中国科学技术大学附属第一医院) | 一种面向高血压问诊随访场景人机交互方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150065523A (ko) * | 2013-12-05 | 2015-06-15 | 포항공과대학교 산학협력단 | 상담 정보를 이용하여 상담 대화를 제공하는 방법 및 장치 |
| CN105138671A (zh) * | 2015-09-07 | 2015-12-09 | 百度在线网络技术（北京）有限公司 | 基于人工智能的人机交互的交互引导方法和装置 |
| CN105183848A (zh) * | 2015-09-07 | 2015-12-23 | 百度在线网络技术（北京）有限公司 | 基于人工智能的人机聊天方法和装置 |
| WO2016037311A1 (en) * | 2014-09-09 | 2016-03-17 | Microsoft Technology Licensing, Llc | Variable-component deep neural network for robust speech recognition |
| CN105788593A (zh) * | 2016-02-29 | 2016-07-20 | 中国科学院声学研究所 | 生成对话策略的方法及系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6275806B1 (en) * | 1999-08-31 | 2001-08-14 | Andersen Consulting, Llp | System method and article of manufacture for detecting emotion in voice signals by utilizing statistics for voice signal parameters |
| US8793119B2 (en) * | 2009-07-13 | 2014-07-29 | At&T Intellectual Property I, L.P. | System and method for generating manually designed and automatically optimized spoken dialog systems |
-
2016
- 2016-10-21 CN CN201610920931.2A patent/CN106448670B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150065523A (ko) * | 2013-12-05 | 2015-06-15 | 포항공과대학교 산학협력단 | 상담 정보를 이용하여 상담 대화를 제공하는 방법 및 장치 |
| WO2016037311A1 (en) * | 2014-09-09 | 2016-03-17 | Microsoft Technology Licensing, Llc | Variable-component deep neural network for robust speech recognition |
| CN105138671A (zh) * | 2015-09-07 | 2015-12-09 | 百度在线网络技术（北京）有限公司 | 基于人工智能的人机交互的交互引导方法和装置 |
| CN105183848A (zh) * | 2015-09-07 | 2015-12-23 | 百度在线网络技术（北京）有限公司 | 基于人工智能的人机聊天方法和装置 |
| CN105788593A (zh) * | 2016-02-29 | 2016-07-20 | 中国科学院声学研究所 | 生成对话策略的方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106448670A (zh) | 2017-02-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106448670B (zh) | 基于深度学习和强化学习的自动回复对话系统 | |
| Shou et al. | Conversational emotion recognition studies based on graph convolutional neural networks and a dependent syntactic analysis | |
| CN108874972B (zh) | 一种基于深度学习的多轮情感对话方法 | |
| Aleedy et al. | Generating and analyzing chatbot responses using natural language processing | |
| Mai et al. | Locally confined modality fusion network with a global perspective for multimodal human affective computing | |
| Nie et al. | Long dialogue emotion detection based on commonsense knowledge graph guidance | |
| CN113987179B (zh) | 基于知识增强和回溯损失的对话情绪识别网络模型、构建方法、电子设备及存储介质 | |
| CN110347792A (zh) | 对话生成方法及装置、存储介质、电子设备 | |
| Nie et al. | I-GCN: Incremental graph convolution network for conversation emotion detection | |
| CN108595436B (zh) | 情感对话内容的生成方法和系统、存储介质 | |
| CN109460479A (zh) | 一种基于事理图谱的预测方法、装置和系统 | |
| CN109844743A (zh) | 在自动聊天中生成响应 | |
| CN111950275B (zh) | 基于循环神经网络的情绪识别方法、装置及存储介质 | |
| Ando et al. | Customer satisfaction estimation in contact center calls based on a hierarchical multi-task model | |
| CN114168707B (zh) | 一种面向推荐的情绪型对话方法 | |
| Kao et al. | Model of multi-turn dialogue in emotional chatbot | |
| CN112214585B (zh) | 回复消息生成方法、系统、计算机设备及存储介质 | |
| CN114911932A (zh) | 基于主题语义增强的异构图结构多会话者情感分析方法 | |
| CN112632244A (zh) | 一种人机通话的优化方法、装置、计算机设备及存储介质 | |
| Ai et al. | A two-stage multimodal emotion recognition model based on graph contrastive learning | |
| CN112183106A (zh) | 一种基于音素联想及深度学习的语义理解方法及装置 | |
| CN116701566A (zh) | 一种基于情感的多轮对话模型及对话方法 | |
| CN114386426B (zh) | 一种基于多元语义融合的金牌话术推荐方法及装置 | |
| Huang et al. | Applied to mobile multimedia intelligent speech system interactive topic guiding model | |
| CN114328866A (zh) | 应答流畅准确的强拟人化智能对话机器人 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |