[go: up one dir, main page]

CN111143540B - 智能问答方法、装置、设备及存储介质 - Google Patents

智能问答方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111143540B
CN111143540B CN202010261104.3A CN202010261104A CN111143540B CN 111143540 B CN111143540 B CN 111143540B CN 202010261104 A CN202010261104 A CN 202010261104A CN 111143540 B CN111143540 B CN 111143540B
Authority
CN
China
Prior art keywords
knowledge
training
answer
path
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010261104.3A
Other languages
English (en)
Other versions
CN111143540A (zh
Inventor
刘小雪
汤玉垚
王凝华
刘鹤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010261104.3A priority Critical patent/CN111143540B/zh
Publication of CN111143540A publication Critical patent/CN111143540A/zh
Application granted granted Critical
Publication of CN111143540B publication Critical patent/CN111143540B/zh
Priority to PCT/CN2021/077515 priority patent/WO2021196920A1/zh
Priority to US17/693,896 priority patent/US20220198154A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0631Item recommendations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/332Query formulation
    • G06F16/3329Natural language query formulation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367Ontology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • G06F40/35Discourse or dialogue representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • G06F40/55Rule-based translation
    • G06F40/56Natural language generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/02Knowledge representation; Symbolic representation
    • G06N5/022Knowledge engineering; Knowledge acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/042Knowledge-based neural networks; Logical representations of neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供了一种智能问答方法、装置、设备及存储介质;所述方法包括:基于接收到的问题信息,确定该问题信息对应的目标对象和目标属性;基于该目标对象和目标属性从预先建立的知识图谱中获取答案知识路径和该目标对象的除该答案知识路径之外的外部知识路径,其中,该答案知识路径中包括用于描述目标属性的目标上下文信息,外部知识路径中包括描述其他属性的外部上下文信息;将该答案知识路径和外部知识路径输入至训练好的神经网络模型,得到回复文本,其中,该神经网络模型在训练时的训练语料至少包括目标对象的评论信息;输出该回复文本。如此,能够利用评论信息等后验知识信息对答案进行润色、改写。

Description

智能问答方法、装置、设备及存储介质
技术领域
本申请涉及人工智能技术领域,尤其涉及一种智能问答方法、装置、设备及存储介质。
背景技术
随着互联网技术和智能终端的不断发展,人们的工作、生活、娱乐都有了翻天覆地的变化,就购物来说,越来越多的人已经从实体店购物转变为网上购物。而在网上购物时,往往用户对商品会有一些问题需要咨询,随着电商业务的持续发展网上购物的订单数的激增,对于电商客服的成本与将会变得越来越来,从而极大制约着电商成本,因此智能客服系统也就应运而生了。
在智能客服系统中,首先要求智能客服能够理解用户的问题,再根据问题给出答复,目前智能客服系统在答复用户问题时,往往只能给出冷冰冰的针对性的答复,不能刺激用户的购买欲。
发明内容
本申请实施例提供一种智能问答方法、装置及存储介质,能够利用评论信息等后验知识信息对答案进行润色、改写。
本申请实施例的技术方案是这样实现的:
本申请实施例提供一种智能问答方法,包括:
基于接收到的问题信息,确定该问题信息对应的目标对象和目标属性;
基于该目标对象和目标属性从预先建立的知识图谱中获取答案知识路径和该目标对象的除该答案知识路径之外的外部知识路径,其中,答案知识路径中包括用于描述目标属性的目标上下文信息,外部知识路径中包括描述其他属性的外部上下文信息;
将该答案知识路径和外部知识路径输入至训练好的神经网络模型,得到回复文本,其中,该神经网络模型在训练时的训练语料至少包括该目标对象的评论信息;
输出该回复文本。
本申请实施例提供一种智能问答装置,包括:
第一确定模块,用于基于接收到的问题信息,确定该问题信息对应的目标对象和目标属性;
第一获取模块,用于基于目标对象和目标属性从预先建立的知识图谱中获取答案知识路径和该目标对象的除该答案知识路径之外的外部知识路径,其中,该答案知识路径中包括用于描述目标属性的目标上下文信息,外部知识路径中包括描述其他属性的外部上下文信息;
预测处理模块,用于将该答案知识路径和外部知识路径输入至训练好的神经网络模型,得到回复文本,其中,该神经网络模型在训练时的训练语料至少包括目标对象的评论信息;
输出模块,用于输出该回复文本。
在一些实施例中,该第一获取模块还用于:
基于该目标对象和目标属性从该知识图谱中获取答案路径和该目标对象的除该答案路径之外的其他路径,其中,该答案路径包括该目标对象的目标属性和目标属性值,该其他路径中包括该目标对象的其他属性和其他属性值;
获取该答案路径对应的目标上下文信息,并基于该答案路径和该目标上下文信息确定答案知识路径;
获取该其他路径对应的外部上下文信息,并基于该其他路径和该外部上下文信息确定外部知识路径。
在一些实施例中,该装置还包括:
第二获取模块,用于获取训练数据,其中,该训练数据包括训练答案知识路径、训练外部知识路径和标准回复文本;
输入模块,用于将训练答案知识路径、训练外部知识路径和标准回复文本输入至神经网络模型,得到训练回复文本;
训练模块,用于利用标准回复文本和训练回复文本对神经网络模型进行反向传播训练,以对神经网络模型的参数进行调整。
在一些实施例中,该装置还包括:
第三获取模块,用于获取该目标对象的评论信息和各个属性的属性值;
第二确定模块,用于基于各个属性值从该评论信息中确定各个属性对应的目标评论信息;
预处理模块,用于对该目标评论信息进行预处理得到各个属性对应的标准回复文本。
在一些实施例中,该输入模块还用于:
利用第一编码模块分别对训练答案知识路径和训练外部知识路径进行编码,得到训练答案知识向量和训练外部知识向量,并利用第二编码模块对标准回复文本进行编码,得到标准回复向量;
基于该标准回复向量、训练答案知识向量和训练外部知识向量确定解码器的第一初始化向量;
基于该第一初始化向量,利用该解码器对训练答案知识向量和训练外部知识向量进行解码处理,得到训练回复文本。
在一些实施例中,该输入模块还用于:
确定该标准回复向量和训练答案知识向量在各个训练外部知识向量上的各个第一概率分布参数;
基于各个第一概率分布参数对各个训练外部知识向量进行调整,得到各个调整后的训练外部知识向量;
基于各个调整后的训练外部知识向量确定第一初始化向量。
在一些实施例中,该训练模块,还用于:
将标准回复文本和训练回复文本的差异值反向传播至神经网络模型,并利用第一损失函数、第二损失函数和第三损失函数对该神经网络模型进行联合训练,以对神经网络模型的参数进行调整。
在一些实施例中,该预测处理模块还用于:
利用第一编码模块分别对答案知识路径和至少一个外部知识路径进行编码,得到答案知识向量和至少一个外部知识向量;
根据该答案知识向量和该至少一个外部知识向量确定调整参数;
基于该调整参数和该至少一个外部知识向量确定解码器的第二初始化向量;
基于该第二初始化向量,利用该解码器对答案知识向量和至少一个外部知识向量进行解码处理,得到回复文本。
在一些实施例中,该预测处理模块还用于:
确定该知识答案向量和各个训练外部知识向量上的各个第二概率分布参数;
利用变分思想对第二概率分布参数进行采样,得到调整参数。
本申请实施例提供一种智能问答设备,包括:
存储器,用于存储可执行指令;
处理器,用于执行该存储器中存储的可执行指令时,实现本申请实施例提供的方法。
本申请实施例提供一种计算机可读存储介质,存储有可执行指令,用于引起处理器执行时,实现本申请实施例提供的方法。
本申请实施例具有以下有益效果:
在本申请实施例提供的智能问答方法中,在接收到问题信息后,提取出目标对象和目标属性,并基于目标对象和目标属性从预先建立的知识图谱中获取答案知识路径和该目标对象的除该答案知识路径之外的外部知识路径,由于该答案知识路径中包括用于描述目标属性的目标上下文信息,外部知识路径中包括描述其他属性的外部上下文信息,因此能够通过上下文信息和外部知识路径对答案进行丰富和润色,最后将该答案知识路径和外部知识路径输入至训练好的神经网络模型,得到回复文本并输出该回复文本,其中,该神经网络模型在训练时的训练语料至少包括目标对象的评论信息,从而使得回复文本的语义接近于评论信息,使得回复文本更贴近导购语术,进而激发用户的购买欲。
附图说明
图1A为相关技术中序列到序列的基本模型结构;
图1B为相关技术中PostKS的整体框架示意图;
图1C为本申请实施例智能问答方法的一种网络架构示意图;
图1D为本申请实施例智能问答方法的另一种网络架构示意图;
图2是本申请实施例提供的第一终端100的组成结构示意图;
图3为本申请实施例提供的智能问答方法的一种实现流程示意图;
图4为本申请实施例提供的利用训练好的神经网络模型得到回复文本的实现流程示意图;
图5为本申请实施例提供的智能问答方法的另一种实现流程示意图;
图6为本申请实施例提供的评论信息界面示意图;
图7为本申请实施例提供的用于进行智能问答的网络模型的框架示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述,所描述的实施例不应视为对本申请的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
在以下的描述中,所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
1)电商知识图谱:垂直领域的知识图谱,描述电商平台上各种商品、商品属性以及相关属性的描述;
2)导购话术:导购,即引导顾客促成购买的过程;话术,顾名思义,说话的艺术,是一门说话的技巧。导购话术,即消费者发出疑问时,以更加亲和、优美的话语,在回答消费者问题的同时,消除消费者内心的种种疑虑,最终帮助消费者实现购买;
3)编码器:又可以称为编码模型或编码器模型,序列到序列的生成模型中的编码模块,输入一个自然语言句子,经过编码模块,产生该句子的表示向量;可以是一个循环神经网络(Recurrent Neural Network,RNN)模型;
4)解码器:又可以称为解码器或者解码器模型,也可以是一个RNN模型,解码模型可以是各种具有控制/记忆的RNN,例如基于长短期记忆网络(Long Short-Term Memory,LSTM)的RNN,变换器(Transformer)模型,基于门控循环单元(Gate Recurrent Unit,GRU)的RNN。解码模型能够根据表示空间中的一个向量,逐字生成一个句子;
5)知识图谱:将知识结构化表示的一种形式,一般以三元组的形式组成知识库;
6)答案路径:商品的属性和属性值,构成答案路径;
7)上下文信息:属性值的描述。例如连衣裙的“颜色”属性值为“红色”, 而“红色”本身拥有子图描述信息,如:“吉祥的颜色、喜庆的颜色”,代表“热情”,这些描述性的信息称为图谱答案路径的上下文信息;
8)基于知识图谱的问答(Knowledge based question answer,KB-QA):即给定自然语言问题,通过对问题进行语义理解和解析,进而利用知识库进行查询、推理得出答案;
9)损失函数(Loss Function),又称为代价函数(cost function)是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。在应用中,损失函数通常作为学习准则与优化问题相联系,即通过最小化损失函数求解和评估模型。例如在统计学和机器学习中被用于模型的参数估计,是机器学习模型的优化目标;
10)注意力机制,一种可以使得神经网络具备专注于其输入(或特征)子集的能力:选择特定的输入的机制。注意力机制核心目标是从众多信息中选择出对当前任务目标更关键的信息;
11)词向量,也称为词嵌入(word embedding)或词空间嵌入表示,词向量是自然语言分词在词空间中的表示,是指将词映射到一个语义空间,得到的向量。
为了更好地理解本申请实施例,首先对相关技术中的智能问答方法及存在的确定进行说明。
目前智能问答的解决方案包括以下三种:基于模板的生成方法、基于端到端的序列生成方法(Seq2Seq)、融入外部知识的答案挑选与生成的后验知识选择方法(PostKs,Posterior Knowledge selection),以下对这三种技术方案进行说明:
第一、基于模板的智能问答方法。
传统的基于知识图谱的问答系统,先通过深度学习模型从知识图谱子图中找到正确的答案路径,获取答案的内容,然后利用人工编写规则的方法,采用槽位替换的方式,以生成较为流程自然的句子。
例如用户询问某件商品的价格:“请问这个多少钱”,系统首先从电商知识图谱中查询得到用户询问的是商品属性中的价格,并且该商品的价格为100元,于是得到一个结果:“价格:100元”,查询答案生成模板:“这款卖${价格}。”,将价格替换为100元这个属性值,于是返回给用户答案:“这款卖100元。”
该技术方案在实现时需要人工编写模板,耗时费力。同时需要编写的工作人员具有导购背景,否则编写的模板会比较单一、平淡,无法刺激用户产生购买欲。
第二、Seq2Seq的智能问答方法。
随着带注意力机制的序列到序列模型在机器翻译领域的成功应用,Seq2Seq成为当前最流行的基本深度生成模型。图1A为相关技术中序列到序列的基本模型结构,如图1A所示,该技术方案在实现过程中,并没有加入额外的外部知识,仅仅是由一个序列生成另一个序列。
在客服对话场景下,该模型的输入X表示从知识图谱中查询得到答案,经过一个编码器,可以得到如公式(1-1)所示的答案序列表示,:
Figure 588496DEST_PATH_IMAGE001
(1-1);
其中,图1A中的X1至XT为答案文本中的各个分词的表示向量,将X1至XT进行拼接得到t时刻的输入向量
Figure 942379DEST_PATH_IMAGE002
,h1至hT分别为在t时刻X1至XT对应的答案序列表示,at,1至at,T分别表示在t时刻h1至hT的权重,
Figure 431129DEST_PATH_IMAGE003
为t时刻的答案序列表示,
Figure 636983DEST_PATH_IMAGE004
为t-1时刻的答案序列表示,
Figure 753843DEST_PATH_IMAGE005
为编码函数。
在解码阶段,每次预测下一时刻应该要生成的单词
Figure 652529DEST_PATH_IMAGE006
时,除了考虑上一时刻的隐层表示和上一时刻预测单词,还会考虑来自源端序列的如公式(1-2)所示的上下文表示:
Figure 487630DEST_PATH_IMAGE007
(1-2);
其中,
Figure 497174DEST_PATH_IMAGE008
该上下文表示约束当前应该生成的单词需要与源端存在关系,共同决定如公式(1-3)所示的当前隐层表示
Figure 734121DEST_PATH_IMAGE009
Figure 538128DEST_PATH_IMAGE010
(1-3);
其中,
Figure 361990DEST_PATH_IMAGE011
为t-1时刻的隐层表示,
Figure 909646DEST_PATH_IMAGE012
为t-1时刻要生成的单词,
Figure 1099DEST_PATH_IMAGE013
为t时刻的上下文表示,
Figure 241588DEST_PATH_IMAGE014
为解码函数。
最终如公式(1-4)所示,由上一时刻生成的单词、当前时刻隐层表示以及上下文表示共同决定当前生成单词
Figure 926647DEST_PATH_IMAGE006
的概率:
Figure 668207DEST_PATH_IMAGE015
其中,函数g表示一层非线性函数。经过softmax层之后从词表选择概率最大的单词作为当前时刻预测的单词。
在模型训练过程中,一般采用如公式(1-5)交叉熵损失函数:
Figure 489532DEST_PATH_IMAGE016
(1-5);
其中,
Figure 25556DEST_PATH_IMAGE006
为t时刻应该输出的单词,
Figure 932332DEST_PATH_IMAGE017
表示预测出来的结果。
在该实现方案中,没有充分利用外部知识,生成的句子较为单一。
第三、基于PostKs的智能问答方法。
虽然序列到序列模型在对话生成领域的广泛应用,但这种方式生成的句子包含的信息较少,因此如何在模型中引入外部知识,来帮助模型学习更加有用的信息越来越受到关注。PostKS是一种根据后验知识挑选有用的外部知识,用于生成回答的方法,图1B为相关技术中PostKS的整体框架示意图,如图1B所示,在该框架中包括:问题编码模块111、知识编码模块112、知识管理模块113和解码模块114,其中:
问题编码模块111,用于将用户的问题X编码为一个向量x
知识编码模块112,用于对外部知识K 1 K N 以及标准回答(opt.)Y编码对应得到k 1 k N 以及y
知识管理模块113,用于从k 1 k 2…,k n 中挑选最接近标准答案的候选答案k i ,并将其用于解码阶段,知识管理模块113又分为两个子模块,一个是后验知识管理模块1131,另一个是先验知识管理模块1132;
解码器模块114,该模块用对输入的注意力机制得到的上下文表示c t ,以及挑选的候选知识k i 作为输入,生成回复Y
缺点:虽然利用了外部知识,但只是解决了如何从外部知识中挑选出候选答案,未充分挖掘在电商场景下,利用图谱上下文信息,生成包含多种关系的答案,并不能很好地适用导购场景。
上述三种实现方案都没有构建可用电商领域客服问答语料;并且未充分利用知识图谱上下文信息以及答案路径信息对答案进行改写,导致生成的答案较为冰冷单一,只是返回一个答案,话语不够优美自然;例如用户询问商品价格,只会返回价格是多少,不会说明商品的其他优点,无法刺激用户产生购买欲。
基于此,本申请实施例提供一种智能问答方法,通过抽取开放电商平台中的评论,构建模型的训练语料,并利用知识图谱中的答案路径、上下文信息,把标准导购回复作为后验知识,利用变分的思想,基于深度学习生成模型对答案进行润色、改写,生成具有导购话术的答案作为回复,以刺激消费者产生购买欲。
下面说明实现本申请实施例的装置的示例性应用,本申请实施例提供的装置可以实施为终端设备。下面,将说明装置实施为终端设备时涵盖终端设备的示例性应用。
图1C为本申请实施例智能问答方法的一种网络架构示意图,如图1C所示,该网络架构中包括:第一终端100、服务器200、网络300和第二终端400。为实现支撑一个示例性应用,第一终端100和第二终端400分别通过网络300连接到服务器200,第一终端100可以是智能终端,在智能终端上可以安装有能够进行对话聊天的应用程序(App,Application),该App可以是专门用于对话聊天的即时通讯App,还可以是提供对话聊天功能的购物App,视频App等。第一终端100还可以是智能聊天机器人。第二终端400中同样安装由能够进行对话聊天的App,网络300可以是广域网或者局域网,又或者是二者的组合,使用无线链路实现数据传输。
第一终端100可以通过服务器200获取到第二终端400发送的对话信息,该对话信息可以是文本信息,也可以是语音信息,然后利用自身训练好的神经网络模型确定该对话信息对应的答复信息,并将答复信息发送给服务器200,由服务器200将答复信息发送至第二终端400。
图1D为本申请实施例智能问答方法的另一种网络架构示意图,如图1D所示,该网络架构中包括服务器200、网络300和第二终端400,其中,第二终端400可以是智能手机、平板电脑、笔记本电脑等,第二终端400将对话信息发送至服务器200,由服务器200利用训练好的神经网络模型确定该对话信息对应的答复信息,并将答复信息发送至第二终端400。
在本申请实施例中,神经网络模型在训练过程中,将从电商平台中抽取出的评论作为训练语料,利用知识图谱中的答案路径、上下文信息,把标准导购回复作为后验知识,利用变分的思想对答案进行润色、改写,从而生成具有导购话术的答案作为回复,以刺激消费者产生购买欲。
本申请实施例提供的装置可以实施为硬件或者软硬件结合的方式,下面说明本申请实施例提供的装置的各种示例性实施。
根据图2示出的第一终端100的示例性结构,可以预见第一终端100的其他的示例性结构,因此这里所描述的结构不应视为限制,例如可以省略下文所描述的部分组件,或者,增设下文所未记载的组件以适应某些应用的特殊需求。
图2所示的第一终端100包括:至少一个处理器110、存储器140、至少一个网络接口120和用户接口130。第一终端100中的每个组件通过总线系统150耦合在一起。可理解,总线系统150用于实现这些组件之间的连接通信。总线系统150除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图2中将各种总线都标为总线系统150。
用户接口130可以包括显示器、键盘、鼠标、触感板和触摸屏等。
存储器140可以是易失性存储器或非易失性存储器,也可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(ROM,Read Only Memory)。易失性存储器可以是随机存取存储器(RAM,Random Access Memory)。本申请实施例描述的存储器140旨在包括任意适合类型的存储器。
本申请实施例中的存储器140能够存储数据以支持第一终端100的操作。这些数据的示例包括:用于在第一终端100上操作的任何计算机程序,如操作系统和应用程序。其中,操作系统包含各种系统程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务。应用程序可以包含各种应用程序。
作为本申请实施例提供的方法采用软件实施的示例,本申请实施例所提供的方法可以直接体现为由处理器110执行的软件模块组合,软件模块可以位于存储介质中,存储介质位于存储器140,处理器110读取存储器140中软件模块包括的可执行指令,结合必要的硬件(例如,包括处理器110以及连接到总线150的其他组件)完成本申请实施例提供的方法。
作为示例,处理器110可以是一种集成电路芯片,具有信号的处理能力,例如通用处理器、数字信号处理器(DSP,Digital Signal Processor),或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等,其中,通用处理器可以是微处理器或者任何常规的处理器等。
将结合本申请实施例提供的终端的示例性应用和实施,说明本申请实施例提供的游戏对局方法。
为了更好地理解本申请实施例提供的方法,首先对人工智能、人工智能的各个分支,以及本申请实施例提供的方法所涉及的应用领域进行说明。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。本申请实施例提供的方案主要涉及人工智能的自然语言处理和机器学习技术,以下对这两项技术分别进行说明。
自然语言处理(NLP,Nature Language processing)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此,这一领域的研究将涉及自然语言,即人们日常使用的语言,所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。
机器学习(ML,Machine Learning)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习等技术。
参见图3,图3为本申请实施例提供的智能问答方法的一种实现流程示意图,应用于图1C所示的第一终端或图1D所示的服务器,在本申请实施例中,以智能问答方法应用于图1C所示的第一终端为例,结合图3示出的步骤进行说明。
步骤S101,第一终端基于接收到的问题信息,确定该问题信息对应的目标对象和目标属性。
这里,问题信息可以是由第二终端发送至第一终端的,问题信息可以是文本形式的问题信息,也可以是语音形式的问题信息。在接收到问题信息后,对问题信息进行语义理解,进而确定问题信息对应的目标对象和目标属性。以电商购物领域为例,目标对象可以是在售商品的标准,例如可以是衣服、鞋子、电子产品等,目标属性可以是价格、材质、尺码等。在本申请实施例中,以问题信息为“请问这款羽绒服含绒量多少”为例,确定出目标对象为羽绒服,目标属性为含绒量。
步骤S102,第一终端基于该目标对象和目标属性从预先建立的知识图谱中获取答案知识路径和该目标对象的除该答案知识路径之外的外部知识路径。
这里,该答案知识路径中包括用于描述目标属性的目标上下文信息,该外部知识路径中包括描述其他属性的外部上下文信息。
预先建立的知识图谱可以是电商领域的通用知识图谱,此时步骤S102在实现时,可以首先从该通用知识图谱中确定出该目标对象和目标属性对应的答案路径,其中,该答案路径中至少包括目标属性以及目标属性的属性值,进而再根据目标属性的属性值获取该属性值对应的一些描述信息(上下文信息),从而将答案路径和这些描述信息合成答案知识路径,也就是说,答案知识路径中不仅包括答案,还包括目标属性的上下文信息。
承接上述举例,通过羽绒服和含绒量得到的答案路径为羽绒服-含绒量-白鹅绒90%,为了能够使得回复更加贴近人工客服,还可以获得到白鹅绒的描述信息,例如是相比于白鸭绒保暖性更好。另外,还需要确定目标对象除目标属性之外的其他属性,例如该羽绒服还包括颜色、材质等其他属性,对应地,其他知识路径包括:颜色-红色-热情,奔放;材质-高密度防水面料-防水,防钻绒。
在一些实施例中,预先建立的知识图谱可以是利用对各个对象的各个属性值的上下位信息对电商领域的通用知识图谱进行扩充得到的,那么此时步骤S102在实现时,直接根据目标对象和目标属性即可从该预先建立的知识图谱中得到答案知识路径,并得到外部知识路径。
步骤S103,第一终端将该答案知识路径和外部知识路径输入至训练好的神经网络模型,得到回复文本。
这里,该神经网络模型在训练时的训练语料至少包括目标对象的评论信息。由于神经网络模型在训练时的训练语料中包括目标对象的评论信息,从而再利用训练好的神经网络模型对答案知识路径和外部知识路径进行预测处理,从而得到语义接近评论信息的回复文本,实现对答案的改写和润色。
步骤S104,输出该回复文本。
这里,输出该回复文本可以是将回复文本发送至第二终端,第二终端接收到回复文本后,可以在自身的显示界面上显示回复文本。
在本申请实施例提供的智能问答方法中,在接收到问题信息后,提取出目标对象和目标属性,并基于目标对象和目标属性从预先建立的知识图谱中获取答案知识路径和该目标对象的除该答案知识路径之外的外部知识路径,由于该答案知识路径中包括用于描述目标属性的目标上下文信息,外部知识路径中包括描述其他属性的外部上下文信息,因此能够通过上下文信息和外部知识路径对答案进行丰富和润色,最后将该答案知识路径和外部知识路径输入至训练好的神经网络模型,得到回复文本并输出该回复文本,其中,该神经网络模型在训练时的训练语料至少包括目标对象的评论信息,从而使得回复文本的语义接近于评论信息,使得回复文本更贴近导购语术,进而激发用户的购买欲。
在一些实施例中,当预先建立的知识图谱为电商领域通用的知识图谱时,图3所示的步骤S102“基于该目标对象和目标属性从预先建立的知识图谱中获取答案知识路径和该目标对象的除该答案知识路径之外的外部知识路径”可以通过下述的步骤S1021至步骤S1023实现,以下对各步骤进行说明。
步骤S1021,基于该目标对象和目标属性从该知识图谱中获取答案路径和该目标对象的除该答案路径之外的其他路径。
其中,该答案路径至少包括该目标属性和目标属性值,该其他路径中包括该目标对象的其他属性和对应的其他属性值。在本申请实施例中,当目标对象有除目标属性之外的多个其他属性时,可以对应获取到多条其他路径。
在该步骤中,答案路径和其他路径中仅包括属性和属性值,并不具有属性或属性值的描述信息,假设用k来表征属性,用v来表征属性值,那么此时答案路径可以表示为(k,v)。例如,目标属性为含绒量,目标属性值为白鹅绒90%,也即k为含绒量,v为白鹅绒90%,此时,答案路径为(含绒量,白鹅绒90%)。
步骤S1022,获取该答案路径对应的目标上下文信息,并基于该答案路径和该目标上下文信息确定答案知识路径。
这里,步骤S1022在实现时,可以基于目标属性值获取该答案路径对应的目标上下文信息,进一步地,目标上下文信息可以是从一些通用图谱中获取到,例如可以是基于百科知识构造的通用图谱中获取到。在获取到目标上下文信息后,可以将目标上下文信息增加至答案路径中,从而得到答案知识路径,也就是说答案知识路径和答案路径的不同之处在于,答案知识路径中包括上下文信息。假设用d来表征上下文信息,那么具有上下文信息的知识路径可以表示为(k,v,d),承接上述的举例,答案路径为(含绒量,白鹅绒90%),并且获取到的目标上下文信息为白鹅绒比白鸭绒的保暖性更好,那么此时答案知识路径为(含绒量,白鹅绒90%,白鹅绒比白鸭绒的保暖性更好)。
步骤S1023,获取该其他路径对应的外部上下文信息,并基于该其他路径和该外部上下文信息确定外部知识路径。
这里,与步骤S1022的实现过程类似,步骤S1023在实现时,可以基于各个其他属性值获取其他路径对应的外部上下文信息,并且外部上下文信息也可以是从一些通用图谱中获取到,例如可以是基于百科知识构造的通用图谱中获取到。在获取到外部上下文信息后,可以将外部上下文信息增加至其他路径中,从而得到外部知识路径。举例来说,某一其他属性为颜色,对应的属性值为红色,获取到的外部上下文信息为热情、奔放,此时该外部知识路径为(颜色,红色,热情、奔放)。
通过上述的步骤S1021至步骤S1023,能够获得具有对属性值进行描述的上下文信息,从而使得答案知识路径和外部知识路径除了属性和属性值之外还包括了描述信息,为对答案进行润色、改写提供语料。
在一些实施例中,在步骤S101之前,需要得到训练好的神经网络模型。在实际实现过程中,可以通过以下步骤实现神经网络的训练过程:
步骤S001,获取训练数据。
这里,该训练数据包括训练答案知识路径、训练外部知识路径和标准回复文本,该标准回复文本是从目标对象的评论信息中提取出来的。在本申请实施例中,训练外部知识路径可以是多个。
步骤S002,将训练答案知识路径、训练外部知识路径和标准回复文本输入至神经网络模型,得到训练回复文本。
在步骤S002中,除了将训练答案知识路径输入到神经网络模型之外,还将训练外部知识路径和标准回复文本输入到神经网络模型中,从而利用标准回复文本确定出从多个训练外部知识路径中选择哪个或哪些训练路径对训练答案路径对应的答案文本进行补充和改写,以使得训练回复文本能够接近标准回复文本。
步骤S003,利用标准回复文本和训练回复文本对神经网络模型进行反向传播训练,以对神经网络模型的参数进行调整。
这里,步骤S003在实际实现时,可以将标准回复文本和训练回复文本的差异值反向传播至神经网络模型,并利用第一损失函数、第二损失函数和第三损失函数对该神经网络模型进行联合训练,以对神经网络模型的参数进行调整。
其中,第一损失函数是用于约束第一条件概率分布和第二条件概率分布接近,第一条件概率分布表征标准回复向量和训练答案知识向量在各个训练外部知识向量上的概率分布,第二条件概率分布表征训练答案知识向量在各个训练外部知识向量上的概率分布;第二损失函数用于约束训练回复文本中需要包括答案路径对应的文本,第三损失函数用于约束将解码得到的词语能够得到语义正确的句子。
通过步骤S001至步骤S003,能够利用包括训练答案知识路径、训练外部知识路径和标准回复文本的训练数据,对神经网络模型进行训练,从而得到能够对答案知识路径对应的答案文本进行改写的训练好的神经网络模型。
在一些实施例中,可以通过以下步骤确定各个属性对应的标准回复文本:
步骤S111,获取目标对象的评论信息、该目标对象的各个属性和对应的各个属性值。
这里,目标对象的评论信息可以是从电商网站上爬取得到的,根据目标对象的标识可以获取到目标对象的评论信息,在一些实施例中,目标对象的评论信息还可以是从多个不同的电商网站上获取的。
步骤S112,基于各个属性和/或对应的各个属性值从该目标对象的评论信息中确定各个属性对应的目标评论信息。
这里,步骤S112在实现时,可以是将目标对象的各个属性和/或各个属性值作为关键字,从该目标对象的评论信息中确定与各个属性和/或各个属性值匹配的一个或评论信息,再从一个或多个评论信息中确定出最具有导购话术的评论信息作为目标评论信息。举例来说,当一个属性为颜色,对应的属性值为红色时,从获取到评论颜色的评论信息(例如“这款颜色很正,没有色差哦”)的,或者评论红色的评价信息(例如“衣服质量超好,并且红色是今年的流行色,性价比超高,哈哈,大爱哦”),由于这两个评论信息中后一个能够更加激发用户的购买欲,因此可以将“衣服质量超好,并且红色是今年的流行色,性价比超高,哈哈,大爱哦”确定为颜色对应的目标评论信息。
步骤S113,对该目标评论信息进行预处理得到各个属性对应的标准回复文本。
这里,步骤S113在实现时,可以对目标评论信息进行英文大小写转换、繁简字体统一等处理,并且还可以将目标评论信息中的一些与属性或属性值关联较弱的词语删除。承接上述举例,由于“衣服质量超好,并且红色是今年的流行色,性价比超高,哈哈,大爱哦”中的“哈哈,大爱哦”与颜色关联性较弱,因此在对该目标评论信息进行预处理后可以得到颜色对应的标准回复文本“是今年流行的红色哦,并且这款衣服质量超好,性价比也超高”。
在步骤S111至步骤S113所在的实施例中,能够从评论信息中提取出各个属性对应的更具导购语术的目标评论信息,并将目标评论信息进行预处理,从而得到标准回复文本,进而为改写、润色答案文本提供语料,以使得输出的回复文本更具导购语术,激发用户的购买欲望。
在实际实现时,步骤S002可以通过以下步骤实现:
步骤S021,利用第一编码模块分别对训练答案知识路径和训练外部知识路径进行编码,得到训练答案知识向量和训练外部知识向量,并利用第二编码模块对标准回复文本进行编码,得到标准回复向量。
这里,第一编码模块和第二编码模块可以是相同类型的编码模块,例如都为LSTM模型,但是第一编码模块和第二编码模块的参数是不同的。
步骤S021在实现时,可以是利用第一编码模块对训练答案知识路径分别进行前向编码和后向编码,对应得到答案前向语义词向量和答案后向语义词向量,进而将该答案前向语义词向量和答案后向语义词向量进行拼接,得到训练答案知识向量。类似地,第一编码模块对各个训练外部知识路径分别进行前向编码和后向编码,对应得到外部前向语义词向量和外部后向语义词向量,并将外部前向语义词向量和外部后向语义词向量进行拼接,从而得到训练外部知识向量。
同样地,第二编码模块对标准回复文本分别进行前向编码和后向编码,并相应得到回复前向语义词向量和回复后向语义词向量,并将回复前向语义词向量和回复后向语义词向量进行拼接,得到标准回复向量。
步骤S022,基于该标准回复向量、训练答案知识向量和训练外部知识向量确定解码器的第一初始化向量。
这里,步骤S022可以通过以下步骤实现:
步骤S0221,确定该标准回复向量和训练答案知识向量在各个训练外部知识向量上的各个第一概率分布参数。
这里,在步骤S0221中确定的是,标准回复向量和训练知识答案向量的组合向量在各个训练外部知识向量上的第一概率分布函数,基于第一概率分布参数可以确定标准回复文本在各个训练外部知识路径上的条件概率分布。
步骤S0222,基于各个第一概率分布参数对各个训练外部知识向量进行调整,得到各个调整后的训练外部知识向量。
步骤S0222在实现时,可以将各个第一概率分布参数作为权值,与对应的各个训练外部知识向量进行乘法运算,从而得到各个调整后的训练外部知识向量。
步骤S0223,基于各个调整后的训练外部知识向量确定第一初始化向量。
这里,步骤S0223在实现时可以是将各个调整后的训练外部知识向量进行平均池化处理,从而得到第一初始化向量,该初始化向量用于对解码器进行初始化,以便在答案知识路径中能够引入基于注意力机制确定的外部知识路径。
步骤S023,基于该第一初始化向量,利用该解码器对训练答案知识向量和训练外部知识向量进行解码处理,得到训练回复文本。
这里,步骤S023在实现时,首先利用第一初始化向量对解码器进行状态初始化,进而利用解码器对训练答案知识向量和外部知识向量进行逐词解码,从而得到训练回复文本。在一些实施例中,还可以是将第一初始化向量和训练答案知识向量和训练外部知识向量输入至解码器,以进行逐词解码,从而得到训练回复文本。
在一些实施例中,步骤S103“将该答案知识路径和外部知识路径输入至训练好的神经网络模型,得到回复文本”可以通过图4所示的步骤S1031至步骤S1034实现,以下结合图4对各个步骤进行说明。
步骤S1031,利用第一编码模块分别对答案知识路径和至少一个外部知识路径进行编码,对应得到答案知识向量和至少一个外部知识向量。
这里,步骤S1031在实现时,利用第一编码模块对答案知识路径分别进行前向编码和后向编码,并将两次编码的结果进行拼接,得到答案知识向量,同样地,利用第一编码模块依次对各个外部知识路径进行前向编码和后向编码,并将两次编码的结果进行拼接,得到各个外部知识向量。
步骤S1032,根据该答案知识向量和至少一个外部知识向量确定调整参数。
这里,步骤S1032在实现时,可以首先确定该知识答案向量和各个训练外部知识向量上的各个第二概率分布参数;进而利用变分思想对第二概率分布参数进行采样,得到调整参数。
由于在利用训练好的神经网络来预测回复文本时,并不能提前得到回复文本,因此也就不能基于回复文本对应的向量确定出用于调整外部知识向量的调整参数。而又由于在训练神经网络模型时,已经利用第一损失函数约束了第一概率参数(也即调整参数)与第二概率参数相近,那么在不能直接确定出调整参数时,可以在确定出第二概率参数的前提下利用变分思想,对第二概率参数进行采样,从而确定出调整参数。
步骤S1033,基于该调整参数和至少一个外部知识向量确定解码器的第二初始化向量。
步骤S1034,基于该第二初始化向量,利用该解码器对答案知识向量和至少一个外部知识向量进行解码处理,得到回复文本。
这里,步骤S1034在实现时,可以首先将第二初始化向量输入至解码器,以对解码器进行初始化,进而在利用初始化后的解码器对答案知识向量和至少一个外部知识向量进行逐词解码,从而得到回复文本。
在步骤S1031至步骤S1034所在的实施例中,利用已知的答案知识向量和外部知识向量确定出答案知识路径在各个外部知识路径上的条件概率分布的第二概率参数后,通过变分思想确定出回复文本在各个外部知识路径上条件概率分布的第一概率参数,也即调整参数,进而得出能够依此调整参数和外部知识向量确定出解码器的初始化状态向量,之后利用初始化后的解码器对答案知识向量和外部知识向量进行逐词解码,从而能够得到利用外部知识路径对答案知识路径进行改写、润色后的、具有导购话术的回复文本。
基于上述的实施例,本申请实施例提供再提供一种智能问答方法,应用于图1C所示的网络架构,图5为本申请实施例提供的智能问答方法的另一种实现流程示意图,如图5所示,该方法包括:
步骤S501,第二终端响应于进行即时通讯的操作指令,显示即时通讯界面。
这里,第二终端可以是智能手机、平板电脑、笔记本电脑、台式计算机等终端设备,第二终端中可以安装有各种各样的App,例如可以是购物App,视频观看App,音乐App,即时通讯App等,而用户除了可以通过即时通讯App与好友聊天、语音和视频之外,还可以在购物App中通过即时通讯功能与卖家或者其他买家好友进行在线问题咨询、沟通。
本申请实施例通过的方法应用于网上购物场景,一般在商品详情界面中,会提供买家与卖家进行在线沟通的按钮控件,当用户点击或触控该按钮控件时,认为接收到进行即时通讯的操作指令,从而显示即时通讯界面,在实际实现时,可以在该显示界面中提供商品链接。
步骤S502,第二终端通过该即时通讯界面获取问题信息。
这里,用户可以通过该即时通讯界面输入文本形式的问题信息,也可以输入语音形式的问题信息。
步骤S503,第二终端响应于发送消息的操作指令将问题信息发送至服务器。
步骤S504,服务器将问题信息发送至第一终端。
步骤S505,第一终端基于接收到的问题信息,确定该问题信息对应的目标对象和目标属性。
这里,第一终端可以是智能终端,在该智能终端上可以安装有能够进行对话聊天的App,该App可以是专门用于对话聊天的即时通讯App,还可以是提供对话聊天功能的购物App,视频App等,需要说明的是,第一终端中所安装的聊天App还具有智能自动回复功能。第一终端还可以是能够自动回复的智能聊天机器人。
步骤S506,第一终端基于该目标对象和目标属性从预先建立的知识图谱中获取答案知识路径和该目标对象的除答案知识路径之外的外部知识路径。
其中,答案知识路径中包括用于描述目标属性的目标上下文信息,外部知识路径中包括描述其他属性的外部上下文信息。
步骤S507,第一终端将该答案知识路径和外部知识路径输入至训练好的神经网络模型,得到回复文本。
其中,该神经网络模型在训练时的训练语料至少包括目标对象的评论信息;
步骤S508,第一终端将该回复文本发送至服务器。
步骤S509,服务器将该回复文本发送至第二终端。
在本申请实施例提供的智能问答方法中,当用户在通过购物App或者电商网页上浏览商品,需要与卖家进行沟通时,可以将文本或者语音形式的问题信息通过服务器发送至第一终端,第一终端可以是卖家终端,在第一终端中已经存储有训练好的神经网络模型,从而能够利用该神经网络模型对用户的问题信息确定出回复文本,并将回复文本通过服务器发送至第二终端,由于第一终端为具有自动回复功能的客服机器人,或者是安装有具有自动回复功能的App,从而能够实现智能客服的自动回复,由于在训练神经网络模型时,利用了通过评论信息获取到的标准回复文本,从而能够保证回复文本中不仅只包括针对问题的答案,还可以包括其他的一些商品信息,从而能够使得回复文本更加贴近人工客服的回复,实现自动回复具有导购语术的效果,以刺激用户的购物欲。
下面,将说明本申请实施例在一个实际的应用场景中的示例性应用。
在本申请实施例中,利用商品评论抽取相关语句作为答案生成的训练语料,并充分利用知识图谱答案路径和上下文信息改写回复,因此在答案生成过程中,带描述性的上下文信息将和答案路径一同被考虑,作为生成答案的外部知识商品评论除了会回答用户的问题之外,还会对商品的其他属性进行描述,以刺激用户购买欲。
在生成训练语料时,可以通过电商平台进入某件商品的详细页面,在商品详情页中,点击“累计评论”选项卡,可以显示如图6所示的评论信息,点击图6中的“大家印象”选项卡601,进而选择评论中和某些描述相符的评论,例如“整体不错”中,有人评论“质量也特别好”、“做工精细,很上档次”。
图7为本申请实施例提供的用于进行智能问答的网络模型的框架示意图,通过该网络模型实现算法流程、训练阶段(利用已获取的数据训练参数)以及应用阶段(将训练好的模型提供给线上服务)。以下结合图7对各个实现阶段进行说明。
一、算法流程
算法模块是基于编码器-解码器结构的,如图7所示,算法模块进一步包括图7中的文本预处理模块701、编码模块702、知识管理模块703、池化模块704和解码器705,其中:
文本预处理模块701,用于对路径、上下文信息及回复文本中的特殊符号进行处理、英文大小写转换以及繁简字体统一;
编码模块702,用于将经过文本预处理模块701得到的文本表示成一个向量;
知识管理模块703,用于利用Y信息,让
Figure 447889DEST_PATH_IMAGE018
Figure 389300DEST_PATH_IMAGE019
尽可能相似,以便于测试的时候直接从
Figure 565067DEST_PATH_IMAGE020
中得到想要的信息,其中,k'为在k i 中融合了x向量或y向量中的信息后得到的k i 的新的表示;
池化模块704,用于将编码部分输出的n个信息映射到1个向量表示;
解码器705,用于生成完美的问题回复。
(1)文本预处理模块701。
电商知识图谱依然以三元组的形式存储商品,在本申请实施例,将答案路径和上下文信息拼接在一起,称之为一个“知识路径”,用
Figure 959139DEST_PATH_IMAGE021
表示。假设用户输入的问题,通过某些操作已经从电商知识图谱中查询到用户询问的答案是知识答案路径X。那么文本预处理模块701的输入就是问题答案路径X、除了X之外该商品的其他知识答案路径和从评论中抽取的标准答案Y。
举例来说,文本预处理模块701的输入包括:
X:连衣裙,颜色,红色,流行色/热情;
K1,v1,d1:领形,V领,显脸小,有气质;
K2,v2,d2:材质,棉,舒适;
Y:是今年流行的红色哟,而且这件棉质质量很好,很舒适,\(^o^)/~性价比很高的。
由于在标准答案文本Y中,存在表情符号“\(^o^)/~”,因此,通过文本预处理模块701得到的输出为:
X:连衣裙,颜色,红色,流行色/热情;
K1,v1,d1:领形,V领,显脸小,有气质;
K2,v2,d2:材质,棉,舒适;
Y:是今年流行的红色哟,而且这件棉质质量很好,很舒适,性价比很高的。
(2)编码器702
虽然当前预训练模型BERT在短文本表示上有较好的表现,但由于BERT模型参数较高,训练起来耗时较长,效率较低,因此在本申请实施例中采用双向LSTM模型对文本进行编码。
如图7所示,编码器702包括两个子模块:知识路径编码模块7021和回复编码模块7022(即对标准答案Y编码)。其中,知识路径编码模块7021对知识路径表示进行编码,回复编码模块7022对标准答案Y进行编码。这两个编码器都是基于双向LSTM模型,但这两个编码器并不会共享参数。
(a)知识路径编码模块7021
字本申请实施例中,定义知识路径编码模块使用
Figure 776922DEST_PATH_IMAGE022
作为编码器,预处理后的文本(
Figure 838419DEST_PATH_IMAGE023
)按照公式(2-1)经过前向编码和后向编码之后,得到整个句子表示向量
Figure 716245DEST_PATH_IMAGE024
Figure 863193DEST_PATH_IMAGE025
(2-1);
其中,函数
Figure 94454DEST_PATH_IMAGE026
表示预处理函数,
Figure 370977DEST_PATH_IMAGE027
表示前向LSTM编码器,
Figure 154125DEST_PATH_IMAGE028
表示后向编码器,将两者编码得到的结果进行拼接,作为(
Figure 522790DEST_PATH_IMAGE023
)的表示
Figure 823321DEST_PATH_IMAGE029
。预处理后的文本X的编码方式与(
Figure 452885DEST_PATH_IMAGE023
)是相同的。
(b)回复编码器模块7022
知识答案路径是知识图谱中的一个子图结构,而Y是回复的自然语言句子。两者的结构并不在同一个空间,因此不适合使用相同的编码器编码,这里定义
Figure 547880DEST_PATH_IMAGE030
作为答案回复的编码器,那么回复文本Y按照公式(2-2)经过编码之后得到回复文本的向量表示
Figure 794054DEST_PATH_IMAGE031
Figure 367118DEST_PATH_IMAGE032
(2-2)。
举例来说,文本预处理模块701输出为:
X:连衣裙,颜色,红色,流行色/热情;
K1,v1,d1:领形,V领,显脸小,有气质;
K2,v2,d2:材质,棉,舒适;
Y:是今年流行的红色哟,而且这件棉质质量很好,很舒适,性价比很高的。
经过编码器702得到的输出为(假设编码维度为6维):
x:[0.123,0.341,-0.43,0.234,0.71,-0.981]
Figure 257713DEST_PATH_IMAGE033
:[0.43,-0.51,0.256,-0.142,0.198,-0.021]
Figure 149708DEST_PATH_IMAGE034
:[0.91,0.231,-0.330,0.130,-0.349,-0.471]
y:[0.21,-0.34,-0.130,0.151,-0.71,0.712]
(3)知识管理模块703
在导购过程中,除了需回答用户的问题之外,还需要向用户介绍商品其他信息(即知识库中的额外之外点,也就是属性路径)。因此需要利用已知答案,找到和该答案相似的其他知识,辅助生成导购话术。但在实际导购中,还可能有一些和答案相差较大,但和导购话术答案Y相近的一些路径,导致在训练过程中,仅仅依靠先验知识是不够的,还需要依赖后验知识。因此,知识管理模块703又进一步包括先验知识管理模块7031和后验知识管理模块7032,其中:
在先验知识管理模块7031中,根据变分编码器的思想,假设
Figure 492965DEST_PATH_IMAGE035
服从正态分布
Figure 259933DEST_PATH_IMAGE036
,在公式(3-1),定义了基于输入X,在不同外部知识路径上的条件概率分布的参数:
Figure 739455DEST_PATH_IMAGE037
(3-1);
其中,
Figure 300887DEST_PATH_IMAGE038
Figure 230973DEST_PATH_IMAGE039
表示前向神经网络的参数。经过计算之后,即可得到正态分布的参数。得到参数分布之后,利用重参数法,可以得到
Figure 332790DEST_PATH_IMAGE040
的新的表示
Figure 666819DEST_PATH_IMAGE041
,也即k'
在后验知识管理模块7032中,假设
Figure 133572DEST_PATH_IMAGE042
服从正态分布
Figure 811941DEST_PATH_IMAGE043
,如公式(3-2),定义了基于Y,在不同外部知识路径上的条件概率分布的参数:
Figure 530498DEST_PATH_IMAGE044
(3-2);
由于在测试阶段,并不能获取后验信息,因此在训练阶段采用KL散度约束两个分布尽可能相似,然后在测试阶段从先验采样得到分布信息。
之所以要加入这一步,主要是为了利用Y的信息,融入更多和Y相关的答案路径,但是存在的问题就是,测试阶段并没有办法得到Y的信息。因此在实际实现时,采用变分自编码器以及条件变分编码器中提到的一种方式:训练时约束两个分布相近,测试时,从先验知识中,采样后验知识。可以简单理解为:在训练时,已经约束两个分布相近,因此测试的时候,先验知识近似于后验知识。
承接上述举例,该知识管理模块703的输入为:
x:[0.123,0.341,-0.43,0.234,0.71,-0.981]
Figure 109247DEST_PATH_IMAGE033
:[0.43,-0.51,0.256,-0.142,0.198,-0.021]
Figure 153426DEST_PATH_IMAGE034
:[0.91,0.231,-0.330,0.130,-0.349,-0.471]
y:[0.21,-0.34,-0.130,0.151,-0.71,0.712]
先验知识管理模块7031的输出为:
Figure 692992DEST_PATH_IMAGE045
= [0.23,0.501,0.652,-0.241,0.191,-0.021]
Figure 14908DEST_PATH_IMAGE046
=[0.198,-0.431,-0.430,0.320,-0.149,-0.21]
后验知识管理模块7032的输出为:
Figure 448163DEST_PATH_IMAGE047
=[-0.23,0.41,0.26,-0.412,-0.168,0.101]
Figure 132085DEST_PATH_IMAGE048
= [0.53,-0.151,-0.231,-0.142,0.138,-0.241]
(4)池化模块704
经知识管理模块703之后,将得到
Figure 18002DEST_PATH_IMAGE047
Figure 343941DEST_PATH_IMAGE049
这n个答案路径的表示,按照公式(3-3)将这n个答案路径表示经过一层平均池化操作,得到解码器的初始化状态
Figure 398747DEST_PATH_IMAGE050
Figure 519149DEST_PATH_IMAGE051
(3-3)。
承接上述举例,在该池化模块704的输入为:
Figure 157941DEST_PATH_IMAGE047
: [-0.23,0.41,0.26,-0.412,-0.168,0.101]
Figure 21992DEST_PATH_IMAGE048
:[0.53,-0.151,-0.231,-0.142,0.138,-0.241]
根据公式(3-3)得到池化模块704的输出,也即解码器的初始化状态
Figure 164260DEST_PATH_IMAGE050
Figure 986723DEST_PATH_IMAGE052
=[0.15,-0.129,-0.014,-0.277,-0.015,-0.07]。
(5)解码器705
在解码阶段,解码器705将会融入标准答案和相关知识路径,逐字生成回复。在导购话术中,首先需要生成标准路径相关回答,然后还需要生成和额外知识相关的回答,因此在解码的每一步,需要考虑均衡这两方面的信息,这里采用分层门控融合单元(HGFU,Hierarchical Gated Fusion Unit)结构,每次解码计算隐层的过程可以用公式(3-4)表示:
Figure 722598DEST_PATH_IMAGE053
(3-4);
其中,
Figure 249394DEST_PATH_IMAGE054
Figure 652693DEST_PATH_IMAGE055
Figure 18295DEST_PATH_IMAGE056
表示目标端对源端外部知识通过注意力机制获取到的上下文信息。
得到隐层表示之后经过一层前馈神经网络,在词表上经过一层softmax,即可逐字生成回复。
承接上述举例,在解码器705的输入为:
Figure 975887DEST_PATH_IMAGE052
=[0.15,-0.129,-0.014,-0.277,-0.015,-0.07]。
输出为:
Y:是今年流行的红色哟,而且这件棉质质量很好,很舒适,性价比很高的。
二、训练阶段
在训练阶段,依照上述算法流程,按照损失函数,通过反向传播不断更新确定模型的网络参数,以完成对网络模型的训练。如图7所示,该网络模型的损失函数包含针对知识管理模块的KL散度损失函数、针对池化模块的Bow损失函数和针对解码器的NLL损失函数:
1)KL散度损失函数如公式(4-1)所示:
Figure 571954DEST_PATH_IMAGE057
(4-1);
2)Bow损失函数如公式(4-2)所示:
Figure 829760DEST_PATH_IMAGE058
(4-2);
3)NLL 损失函数如公式(4-3)所示:
Figure 462866DEST_PATH_IMAGE059
(4-3);
该网络模型总的损失函数如公式(4-4)所示:
Figure 297967DEST_PATH_IMAGE060
(4-4);
通过反向传播训练网络模型,从而得到训练好的网络模型。
三、应用阶段
在应用阶段,由于并没有后验知识Y,因此并不会对Y进行编码,也不存在和Y相关的后验知识管理模型。这一部分传递给解码器的时候,将会从
Figure 573091DEST_PATH_IMAGE061
中采样得到表示,然后经过pooling层,输入到解码器端得到答案。
本申请实施例提供的智能问答方法可以应用于客服机器人,当用户询问商品相关属性的问题时,在已经获得知识图谱中的答案路径之后,利用知识图谱中以该商品为中心的子图信息,对要回复的答案做生成。
以一件连衣裙为例,连衣裙有颜色(红色)、价格(98)、材质(棉)等属性。当用户发出提问“这个什么颜色的”时,相关技术中的客服一般的回复为“红色”,而采用本申请实施例提供的网络模型后客服的回复为“是今年流行的红色哟,而且这件棉质质量很好,很舒适,性价比很高的”,可以更好的引导用户产生购买欲。
值得注意的是,本申请实施例并非是根据问题寻找答案,而是在已知答案的情况下,对回复进行属性补充、改写。
与以往基于通用域知识图谱的问答方案不同,本申请实施例针对电商场景下的客服问答,提出导购话术生成的目标,并根据电商场景从其他开放平台获取商品评论的方式,构建导购话术语料,该语料可用于电商领域的多种场景;另外,相比于传统利用知识图谱三元组做问答的方式,本申请实施例进一步提出利用属性描述信息这种外部知识,驱动导购话术生成;并且将基于知识图谱的问答分为两个阶段,输入的是已经知道的答案路径、标准答案,以及和实体相关的关系路径,这种方式能够保证答案的正确性以及回复的多样性。
下面继续说明本申请实施例提供的智能问答装置80的实施为软件模块的示例性结构,在一些实施例中,如图2所示,存储在存储器140的智能问答装置80中的软件模块可以包括:
第一确定模块81,用于基于接收到的问题信息,确定该问题信息对应的目标对象和目标属性;
第一获取模块82,用于基于该目标对象和目标属性从预先建立的知识图谱中获取答案知识路径和该目标对象的除该答案知识路径之外的外部知识路径,其中,该答案知识路径中包括用于描述目标属性的目标上下文信息,该外部知识路径中包括描述其他属性的外部上下文信息;
预测处理模块83,用于将该答案知识路径和外部知识路径输入至训练好的神经网络模型,得到回复文本,其中,该神经网络模型在训练时的训练语料至少包括目标对象的评论信息;
输出模块84,用于输出该回复文本。
在一些实施例中,第一获取模块82还用于:
基于该目标对象和目标属性从该知识图谱中获取答案路径和该目标对象的除该答案路径之外的其他路径,其中,该答案路径包括该目标对象的目标属性和目标属性值,该其他路径中包括该目标对象的其他属性和其他属性值;
获取该答案路径对应的目标上下文信息,并基于该答案路径和该目标上下文信息确定答案知识路径;
获取该其他路径对应的外部上下文信息,并基于该其他路径和该外部上下文信息确定外部知识路径。
在一些实施例中,该装置还包括:
第二获取模块,用于获取训练数据,其中,该训练数据包括训练答案知识路径、训练外部知识路径和标准回复文本;
输入模块,用于将训练答案知识路径、训练外部知识路径和标准回复文本输入至神经网络模型,得到训练回复文本;
训练模块,用于利用标准回复文本和训练回复文本对神经网络模型进行反向传播训练,以对神经网络模型的参数进行调整。
在一些实施例中,该输入模块还用于:
利用第一编码模块分别对训练答案知识路径和训练外部知识路径进行编码,得到训练答案知识向量和训练外部知识向量,并利用第二编码模块对标准回复文本进行编码,得到标准回复向量;
基于该标准回复向量、训练答案知识向量和训练外部知识向量确定解码器的第一初始化向量;
基于该第一初始化向量,利用该解码器对训练答案知识向量和训练外部知识向量进行解码处理,得到训练回复文本。
在一些实施例中,该输入模块还用于:
确定该标准回复向量和训练答案知识向量在各个训练外部知识向量上的各个第一概率分布参数;
基于各个第一概率分布参数对各个训练外部知识向量进行调整,得到各个调整后的训练外部知识向量;
基于各个调整后的训练外部知识向量确定第一初始化向量。
在一些实施例中,该训练模块,还用于:
将标准回复文本和训练回复文本的差异值反向传播至神经网络模型,并利用第一损失函数、第二损失函数和第三损失函数对该神经网络模型进行联合训练,以对神经网络模型的参数进行调整。
在一些实施例中,该预测处理模块还用于:
利用第一编码模块分别对答案知识路径和至少一个外部知识路径进行编码,得到答案知识向量和至少一个外部知识向量;
根据该答案知识向量和该至少一个外部知识向量确定调整参数;
基于该调整参数和该至少一个外部知识向量确定解码器的第二初始化向量;
基于该第二初始化向量,利用该解码器对答案知识向量和至少一个外部知识向量进行解码处理,得到回复文本。
在一些实施例中,该预测处理模块还用于:
确定该知识答案向量和各个训练外部知识向量上的各个第二概率分布参数;
利用变分思想对第二概率分布参数进行采样,得到调整参数。
在一些实施例中,该装置还包括:
第三获取模块,用于获取该目标对象的评论信息和各个属性的属性值;
第二确定模块,用于基于各个属性值从该评论信息中确定各个属性对应的目标评论信息;
预处理模块,用于对该目标评论信息进行预处理得到各个属性对应的标准回复文本。
本申请实施例提供一种存储有可执行指令的存储介质,其中存储有可执行指令,当可执行指令被处理器执行时,将引起处理器执行本申请实施例提供的方法,例如,如图3、图4和图5示出的方法。
在一些实施例中,存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器;也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中,可执行指令可以采用程序、软件、软件模块、脚本或代码的形式,按任意形式的编程语言(包括编译或解释语言,或者声明性或过程性语言)来编写,并且其可按任意形式部署,包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例,可执行指令可以但不一定对应于文件系统中的文件,可以可被存储在保存其它程序或数据的文件的一部分,例如,存储在超文本标记语言(HTML,Hyper TextMarkup Language)文档中的一个或多个脚本中,存储在专用于所讨论的程序的单个文件中,或者,存储在多个协同文件(例如,存储一个或多个模块、子程序或代码部分的文件)中。
作为示例,可执行指令可被部署为在一个计算设备上执行,或者在位于一个地点的多个计算设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算设备上执行。
以上所述,仅为本申请的实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等,均包含在本申请的保护范围之内。

Claims (12)

1.一种智能问答方法,其特征在于,包括:
基于接收到的问题信息,确定所述问题信息对应的目标对象和目标属性;
基于所述目标对象和目标属性从预先建立的知识图谱中获取答案知识路径和所述目标对象的除所述答案知识路径之外的外部知识路径,其中,所述知识图谱为利用各个对象的各个属性值的上下文信息对电商领域的通用知识图谱进行扩充得到的,所述上下文信息为所述属性值的描述信息,所述答案知识路径中包括用于描述目标属性值的目标上下文信息,所述外部知识路径中包括描述其他属性值的外部上下文信息;
将所述答案知识路径和外部知识路径输入至训练好的神经网络模型,得到回复文本,其中,所述神经网络模型在训练时的训练语料至少包括目标对象的评论信息;
输出所述回复文本。
2.根据权利要求1中所述的方法,其特征在于,所述基于所述目标对象和目标属性从预先建立的知识图谱中获取答案知识路径和所述目标对象的除所述答案知识路径之外的外部知识路径,包括:
基于所述目标对象和目标属性从所述知识图谱中获取答案路径和所述目标对象的除所述答案路径之外的其他路径,其中,所述答案路径包括所述目标对象的目标属性和目标属性值,所述其他路径中包括所述目标对象的其他属性和其他属性值;
获取所述答案路径对应的目标上下文信息,并基于所述答案路径和所述答案路径对应的目标上下文信息确定所述答案知识路径;
获取所述其他路径对应的外部上下文信息,并基于所述其他路径和所述其他路径对应的外部上下文信息确定所述外部知识路径。
3.根据权利要求1或2中所述的方法,其特征在于,所述方法还包括:
获取训练数据,其中,所述训练数据包括训练答案知识路径、训练外部知识路径和标准回复文本,所述标准回复文本是基于目标对象的评论信息确定的;
将所述训练答案知识路径、所述训练外部知识路径和所述标准回复文本输入至所述神经网络模型,得到训练回复文本;
利用所述标准回复文本和所述训练回复文本对所述神经网络模型进行反向传播训练,以对所述神经网络模型的参数进行调整。
4.根据权利要求3中所述的方法,其特征在于,所述方法还包括:
获取所述目标对象的评论信息和各个属性的属性值;
基于各个属性值从所述评论信息中确定各个属性对应的目标评论信息;
对所述目标评论信息进行预处理得到各个属性对应的标准回复文本。
5.根据权利要求3中所述的方法,其特征在于,所述将所述训练答案知识路径、所述训练外部知识路径和所述标准回复文本输入至所述神经网络模型,得到训练回复文本,包括:
利用第一编码模块对所述训练答案知识路径进行编码,得到训练答案知识向量,利用所述第一编码模块对所述训练外部知识路径进行编码,得到训练外部知识向量;
利用第二编码模块对所述标准回复文本进行编码,得到标准回复向量;
基于所述标准回复向量、所述训练答案知识向量和所述训练外部知识向量确定解码器的第一初始化向量;
基于所述第一初始化向量,利用所述解码器对所述训练答案知识向量和所述训练外部知识向量进行解码处理,得到训练回复文本。
6.根据权利要求5中所述的方法,其特征在于,所述基于所述标准回复向量、所述训练答案知识向量和所述训练外部知识向量确定解码器的第一初始化向量,包括:
确定所述标准回复向量和所述训练答案知识向量在各个训练外部知识向量上的各个第一概率分布参数;
基于所述各个第一概率分布参数对所述各个训练外部知识向量进行调整,得到各个调整后的训练外部知识向量;
基于所述各个调整后的训练外部知识向量确定所述第一初始化向量。
7.根据权利要求3中所述的方法,其特征在于,所述利用所述标准回复文本和所述训练回复文本对所述神经网络模型进行反向传播训练,以对所述神经网络模型的参数进行调整,包括:
将所述标准回复文本和所述训练回复文本的差异值反向传播至所述神经网络模型,并利用第一损失函数、第二损失函数和第三损失函数对所述神经网络模型进行联合训练,以对所述神经网络模型的参数进行调整。
8.根据权利要求1中所述的方法,其特征在于,所述将所述答案知识路径和外部知识路径输入至训练好的神经网络模型,得到回复文本,包括:
利用第一编码模块对所述答案知识路径进行编码,得到答案知识向量,利用所述第一编码模块分别对至少一个外部知识路径进行编码,得到至少一个外部知识向量;
根据所述答案知识向量和所述至少一个外部知识向量确定调整参数;
基于所述调整参数和所述至少一个外部知识向量确定解码器的第二初始化向量;
基于所述第二初始化向量,利用所述解码器对所述答案知识向量和所述至少一个外部知识向量进行解码处理,得到回复文本。
9.根据权利要求8中所述的方法,其特征在于,所述根据所述答案知识向量和所述至少一个外部知识向量确定调整参数,包括:
确定所述答案知识向量在各个训练外部知识向量上的各个第二概率分布参数;
利用变分思想对第二概率分布参数进行采样,得到调整参数。
10.一种智能问答装置,其特征在于,所述装置包括:
第一确定模块,用于基于接收到的问题信息,确定所述问题信息对应的目标对象和目标属性;
第一获取模块,用于基于所述目标对象和目标属性从预先建立的知识图谱中获取答案知识路径和所述目标对象的除所述答案知识路径之外的外部知识路径,其中,所述知识图谱为利用各个对象的各个属性值的上下文信息对电商领域的通用知识图谱进行扩充得到的,所述上下文信息为所述属性值的描述信息,所述答案知识路径中包括用于描述目标属性值的目标上下文信息,所述外部知识路径中包括描述其他属性值的外部上下文信息;
预测处理模块,用于将所述答案知识路径和外部知识路径输入至训练好的神经网络模型,得到回复文本,其中,所述神经网络模型在训练时的训练语料至少包括目标对象的评论信息;
输出模块,用于输出所述回复文本。
11.一种智能问答设备,其特征在于,包括:
存储器,用于存储可执行指令;
处理器,用于执行所述存储器中存储的可执行指令时,实现权利要求1至9任一项所述的方法。
12.一种计算机可读存储介质,其特征在于,存储有可执行指令,用于引起处理器执行时,实现权利要求1至9任一项所述的方法。
CN202010261104.3A 2020-04-03 2020-04-03 智能问答方法、装置、设备及存储介质 Active CN111143540B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010261104.3A CN111143540B (zh) 2020-04-03 2020-04-03 智能问答方法、装置、设备及存储介质
PCT/CN2021/077515 WO2021196920A1 (zh) 2020-04-03 2021-02-23 智能问答方法、装置、设备及计算机可读存储介质
US17/693,896 US20220198154A1 (en) 2020-04-03 2022-03-14 Intelligent question answering method, apparatus, and device, and computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010261104.3A CN111143540B (zh) 2020-04-03 2020-04-03 智能问答方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111143540A CN111143540A (zh) 2020-05-12
CN111143540B true CN111143540B (zh) 2020-07-21

Family

ID=70528775

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010261104.3A Active CN111143540B (zh) 2020-04-03 2020-04-03 智能问答方法、装置、设备及存储介质

Country Status (3)

Country Link
US (1) US20220198154A1 (zh)
CN (1) CN111143540B (zh)
WO (1) WO2021196920A1 (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102537207B1 (ko) * 2019-12-30 2023-05-25 포항공과대학교 산학협력단 머신 러닝에 기반한 이미지 처리 방법 및 장치
CN111143540B (zh) * 2020-04-03 2020-07-21 腾讯科技(深圳)有限公司 智能问答方法、装置、设备及存储介质
CN113742461B (zh) * 2020-05-28 2025-01-10 阿里巴巴集团控股有限公司 对话系统测试方法和装置、语句改写方法
CN112256852B (zh) * 2020-10-28 2025-02-14 北京软通智慧科技有限公司 一种景区评论数据处理方法、装置、电子设备及存储介质
CN112307774B (zh) * 2020-11-05 2024-06-21 北京有竹居网络技术有限公司 对话理解方法、装置、可读介质及电子设备
CN112541061A (zh) * 2020-11-24 2021-03-23 北京三快在线科技有限公司 问答方法、装置、电子设备和计算机可读介质
CN112559707A (zh) * 2020-12-16 2021-03-26 四川智仟科技有限公司 一种基于知识驱动的客服问答方法
CN112650768A (zh) * 2020-12-22 2021-04-13 网易(杭州)网络有限公司 对话信息的生成方法、装置及电子设备
CN113656589B (zh) * 2021-04-19 2023-07-04 腾讯科技(深圳)有限公司 对象属性确定方法、装置、计算机设备及存储介质
CN113344122B (zh) * 2021-06-29 2023-06-16 复旦大学 一种操作流程诊断方法、装置及存储介质
US20230009946A1 (en) * 2021-07-12 2023-01-12 International Business Machines Corporation Generative relation linking for question answering
CN113962219B (zh) * 2021-10-13 2025-02-18 国网浙江省电力有限公司电力科学研究院 面向电力变压器知识检索和问答的语义匹配方法及系统
CN114357107A (zh) * 2021-11-22 2022-04-15 合肥讯飞数码科技有限公司 问题回答方法及相关装置、电子设备和存储介质
CN114090904A (zh) * 2021-11-24 2022-02-25 中国建设银行股份有限公司 一种信息推荐方法、装置、电子设备及存储介质
CN113934836B (zh) * 2021-12-21 2022-03-01 北京云迹科技有限公司 一种问题回复方法、装置和电子设备
CN114969278B (zh) * 2022-03-18 2024-12-31 华东师范大学 一种基于知识增强图神经网络的文本问答模型
US12155558B2 (en) * 2022-04-29 2024-11-26 Naver Corporation Method, computer device, and non-transitory computer-readable recording medium for providing optimal path using expert knowledge
CN114936297B (zh) * 2022-06-10 2023-03-14 四川省人工智能研究院(宜宾) 一种基于先验知识和对象敏感的视频问答方法
CN114881047B (zh) * 2022-07-12 2022-10-25 杭州远传新业科技股份有限公司 一种蔬菜病虫害图片问答方法及装置
CN115455169B (zh) * 2022-10-31 2023-04-18 杭州远传新业科技股份有限公司 一种基于词汇知识和语义依存的知识图谱问答方法和系统
CN116501851A (zh) * 2023-06-27 2023-07-28 阿里健康科技(杭州)有限公司 答案文本的发送方法、生成方法、装置、设备和介质
TWI846528B (zh) * 2023-06-29 2024-06-21 英業達股份有限公司 具主動聊天應答的客製化設定及更新下載系統及其方法
WO2025030425A1 (zh) * 2023-08-09 2025-02-13 深圳阿尔法分子科技有限责任公司 一种增强大语言模型问答特定领域问题能力的方法及系统
CN116882450B (zh) * 2023-09-07 2023-12-26 腾讯科技(深圳)有限公司 问答模型的编辑方法、装置、电子设备和存储介质
CN116955575B (zh) * 2023-09-20 2023-12-22 深圳智汇创想科技有限责任公司 一种信息智能回复方法以及跨境电商系统
CN117743538B (zh) * 2023-12-19 2024-06-18 中国人寿保险股份有限公司山东省分公司 实时客服云端数据的管理方法、装置及计算机设备
CN118626614B (zh) * 2024-06-03 2025-02-18 航天物联网技术有限公司 一种基于训考多源异构知识的智能对答方法
CN118503392B (zh) * 2024-07-16 2024-10-08 公诚管理咨询有限公司 一种基于大模型的检索增强型智能问答方法及系统
CN119128077A (zh) * 2024-08-20 2024-12-13 江苏红网技术股份有限公司 一种语义理解与问答的匹配方法及其系统
CN119067213A (zh) * 2024-11-04 2024-12-03 北京智源人工智能研究院 一种面向知识冲突的自适应解码方法、装置和电子设备
CN119377359A (zh) * 2024-12-26 2025-01-28 中科云谷科技有限公司 用于训练知识库选取模型的方法、用户问题的处理方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102117467A (zh) * 2011-03-03 2011-07-06 南通大学 问答式网络导购方法
CN106663130A (zh) * 2016-06-29 2017-05-10 深圳狗尾草智能科技有限公司 一种问答方法、系统和机器人
CN109934631A (zh) * 2019-03-13 2019-06-25 联想(北京)有限公司 问答信息处理方法、装置及计算机设备
CN110765253A (zh) * 2019-10-22 2020-02-07 支付宝(杭州)信息技术有限公司 客服场景下用户问句的回复方法、装置及设备
CN110807118A (zh) * 2019-10-30 2020-02-18 广东三维家信息科技有限公司 图像评论的生成方法、装置及电子设备

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7668716B2 (en) * 2005-05-05 2010-02-23 Dictaphone Corporation Incorporation of external knowledge in multimodal dialog systems
CN1794233A (zh) * 2005-12-28 2006-06-28 刘文印 一种网上用户交互问答方法及其系统
US9805089B2 (en) * 2009-02-10 2017-10-31 Amazon Technologies, Inc. Local business and product search system and method
US10108700B2 (en) * 2013-03-15 2018-10-23 Google Llc Question answering to populate knowledge base
CN104573028B (zh) * 2015-01-14 2019-01-25 百度在线网络技术(北京)有限公司 实现智能问答的方法和系统
US10733619B1 (en) * 2015-01-27 2020-08-04 Wells Fargo Bank, N.A. Semantic processing of customer communications
US10380259B2 (en) * 2017-05-22 2019-08-13 International Business Machines Corporation Deep embedding for natural language content based on semantic dependencies
CN107861971A (zh) * 2017-09-15 2018-03-30 广州唯品会研究院有限公司 一种商品搜索方法和装置
US11120059B2 (en) * 2018-06-27 2021-09-14 Adobe Inc. Conversational query answering system
JP7081454B2 (ja) * 2018-11-15 2022-06-07 日本電信電話株式会社 処理装置、処理方法、及び処理プログラム
CN109829039B (zh) * 2018-12-13 2023-06-09 平安科技(深圳)有限公司 智能聊天方法、装置、计算机设备及存储介质
CN109815482B (zh) * 2018-12-17 2023-05-23 北京百度网讯科技有限公司 一种新闻交互的方法、装置、设备和计算机存储介质
CN109739995B (zh) * 2018-12-21 2022-12-09 中国银联股份有限公司 一种信息处理方法及装置
CN110008322B (zh) * 2019-03-25 2023-04-07 创新先进技术有限公司 多轮对话场景下的话术推荐方法和装置
CN110263183A (zh) * 2019-06-20 2019-09-20 珠海格力电器股份有限公司 一种智能家居决策支持系统及决策支持方法
US11841867B2 (en) * 2019-08-09 2023-12-12 International Business Machines Corporation Query relaxation using external domain knowledge for query answering
CN111143540B (zh) * 2020-04-03 2020-07-21 腾讯科技(深圳)有限公司 智能问答方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102117467A (zh) * 2011-03-03 2011-07-06 南通大学 问答式网络导购方法
CN106663130A (zh) * 2016-06-29 2017-05-10 深圳狗尾草智能科技有限公司 一种问答方法、系统和机器人
CN109934631A (zh) * 2019-03-13 2019-06-25 联想(北京)有限公司 问答信息处理方法、装置及计算机设备
CN110765253A (zh) * 2019-10-22 2020-02-07 支付宝(杭州)信息技术有限公司 客服场景下用户问句的回复方法、装置及设备
CN110807118A (zh) * 2019-10-30 2020-02-18 广东三维家信息科技有限公司 图像评论的生成方法、装置及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Ask Me Anything: Free-Form Visual Question Answering Based on Knowledge from External Sources;Qi Wu et al;《2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)》;20161212;4622-4630 *
基于多粒度特征表示的知识图谱问答;申存 等;《计算机与现代化》;20181231(第9期);5-10 *

Also Published As

Publication number Publication date
WO2021196920A1 (zh) 2021-10-07
CN111143540A (zh) 2020-05-12
US20220198154A1 (en) 2022-06-23

Similar Documents

Publication Publication Date Title
CN111143540B (zh) 智能问答方法、装置、设备及存储介质
US11816136B2 (en) Natural question generation via reinforcement learning based graph-to-sequence model
US11501182B2 (en) Method and apparatus for generating model
CN111488931B (zh) 文章质量评估方法、文章推荐方法及其对应的装置
CN107133224B (zh) 一种基于主题词的语言生成方法
CN117173504A (zh) 一种文生图模型的训练方法、装置、设备及存储介质
US20200132491A1 (en) Generating point of interest copy
CN111930915B (zh) 会话信息处理方法、装置、计算机可读存储介质及设备
CN111651557A (zh) 一种自动化文本生成方法、装置及计算机可读存储介质
CN112214591B (zh) 一种对话预测的方法及装置
CN111897934A (zh) 问答对生成方法及装置
CN111241789A (zh) 一种文本生成的方法及装置
CN114528898A (zh) 基于自然语言命令的场景图修改
CN109583952A (zh) 广告文案处理方法、装置、设备及计算机可读存储介质
Ali et al. Automatic text‐to‐gesture rule generation for embodied conversational agents
CN116882450B (zh) 问答模型的编辑方法、装置、电子设备和存储介质
CN113742541A (zh) 对话方法、装置、电子设备及计算机可读存储介质
CN116956116A (zh) 文本的处理方法和装置、存储介质及电子设备
CN114490961A (zh) 一种基于多轮对话的客服方法、系统、装置及存储介质
CN117271745A (zh) 一种信息处理方法、装置及计算设备、存储介质
CN116958738A (zh) 图片识别模型的训练方法和装置、存储介质及电子设备
CN118350894A (zh) 商品推荐方法、装置及电子设备
CN118262195A (zh) 一种掩码分割图引导的中国山水画生成模型构建方法
CN112132075A (zh) 图文内容处理方法及介质
CN114417898B (zh) 数据处理方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant