CN110019824A - 基于知识图谱的人机交互方法、装置及系统 - Google Patents
基于知识图谱的人机交互方法、装置及系统 Download PDFInfo
- Publication number
- CN110019824A CN110019824A CN201710595078.6A CN201710595078A CN110019824A CN 110019824 A CN110019824 A CN 110019824A CN 201710595078 A CN201710595078 A CN 201710595078A CN 110019824 A CN110019824 A CN 110019824A
- Authority
- CN
- China
- Prior art keywords
- user
- knowledge
- map
- robot
- human
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 109
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000013507 mapping Methods 0.000 claims abstract description 105
- 230000008569 process Effects 0.000 claims abstract description 23
- 238000001514 detection method Methods 0.000 claims abstract description 9
- 230000002452 interceptive effect Effects 0.000 claims description 34
- 230000000977 initiatory effect Effects 0.000 claims description 10
- 230000006399 behavior Effects 0.000 claims description 8
- 230000008451 emotion Effects 0.000 abstract description 17
- 238000001228 spectrum Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000234435 Lilium Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000036578 sleeping time Effects 0.000 description 1
- 235000011888 snacks Nutrition 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Animal Behavior & Ethology (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Manipulator (AREA)
Abstract
本发明提供的基于知识图谱的人机交互方法、装置及系统,方法为:检测使用者是否走进机器人的识别范围,如果在机器人的识别范围内识别到使用者,分析使用者的身份;根据使用者的身份,找到使用者的个人知识图谱,机器人中存储多个使用者的个人知识图谱;根据使用者的个人知识图谱,机器人主动向使用者发起对话,进行人机交互;在人机交互过程中,分析使用者的意图,并结合预先建立的多种类型的知识图谱与使用者进行交互,多种类型的知识图谱为根据不同领域的知识建立的知识图谱。本发明通过设计多种类型的知识图谱,改进人机交互时使用者的体验,使机器人在人机交互的过程中理解使用者的真实意图,做到对使用者的感情陪伴,提高用户体验。
Description
技术领域
本发明涉及人工智能领域,尤其涉及基于知识图谱的人机交互方法、装置及系统领域。
背景技术
自2012年Google发布知识图谱相关的技术及研究以来,很多知识图谱相关的研究、书籍、库等被发布并得到了重视。但是目前的知识图谱研究专注通用知识图谱,或专业领域知识图谱,且上述知识图谱多被用于辅助搜索、辅助决策、辅助问答交互等领域。反而言之,为完成某一具体应用而特别设计的知识图谱少之又少,也是因此基于人机交互的知识图谱目前仍缺进展。人机交互顺利进行的基础是机器具有足够强大的知识库,用于机器自身理解使用者的意图并组织相应的答案。
现有建立知识图谱的技术方案多是由搜索引擎公司(google baidu sougou)或研究组织牵头开发,开发出的知识图谱具有面向全领域、关系稀疏的特性,同时这些知识图谱也具有相对静态的特点,其中的实体、实体关系、实体属性可能会在较长一段时间内保持稳定,且所涉及到的知识都是客观的、以大量同构信息为基础形成二元知识。
用户友好的人机交互需要机器对使用者的语言、动作、表情具有主观感知,传统的人机交互系统中,机器对人的输入只能做一度的反馈,比如人按键-机器动作,由于未充分理解使用者的意图和主观情绪,因此不能很好地做到以用户为中心,对用户身份信息的生物识别也存在缺陷,同时存在使用范围及交互方式的限制,还未完全摆脱交互界面对易用性的影响。
人机交互的过程中,需要机器人理解使用者意图、组织符合使用者需求的回答。目前人机交互体验较差的原因:
1、当前机器人不能有效识别使用者的主观意图,仅仅是机械性地识别使用者输入的内容,然后机械性地进行检索,所组织的回答也过于客观。
2、机器检索的多是客观内容,未结合使用者当前的主观情绪、性格、社会关系等因素,也就是在检索答案的过程中未做到以使用者为中心。
3、机器在检索答案时,检索的内容无序、与用户真实需求的关联程度较低,做了很多无效的检索,不仅效率低下而且影响回答的准确性。
4、很多意图识别方案都是基于马尔科夫随机场或贝叶斯算法等技术设计的,识别准确率较低,且需要先验知识进行模型训练、需要人工干预,效率较低。
5、基于当前技术,机器无法主动发起有效对话,面临对话“冷启动”的考验。
基于上述人机交互体验较差的原因,现有技术中的缺陷是:现有的人机交互过程中,知识图谱的单一,导致不能识别使用者的真实意图,也不能基于不同的知识图谱给出智能的回答,且机器人无法进行主动对话,使交互体验差。
发明内容
针对上述技术问题,本发明提供一种基于知识图谱的人机交互方法、装置及系统,通过设计多种类型的知识图谱,改进人机交互时使用者的体验,使机器人在人机交互的过程中理解使用者的真实意图,做到对使用者的感情陪伴,提高用户体验。
为解决上述技术问题,本发明提供的技术方案是:
第一方面,本发明提供一种基于知识图谱的人机交互方法,包括:
步骤S1,检测使用者是否走进机器人的识别范围,如果在机器人的识别范围内识别到所述使用者,主动唤醒所述机器人并分析所述使用者的身份,得到所述使用者的身份;
步骤S2,根据所述使用者的身份,找到所述使用者的个人知识图谱,所述机器人中存储多个使用者的个人知识图谱;
步骤S3,根据所述使用者的个人知识图谱,所述机器人主动向所述使用者发起对话,进行人机交互;
步骤S4,在人机交互过程中,分析所述使用者的意图,并结合预先建立的多种类型的知识图谱与所述使用者进行交互,所述多种类型的知识图谱为根据不同领域的知识建立的知识图谱。
本发明提供的一种基于知识图谱的人机交互方法,其技术方案为:检测使用者是否走进机器人的识别范围,如果在机器人的识别范围内识别到所述使用者,主动唤醒所述机器人并分析所述使用者的身份,得到所述使用者的身份;根据所述使用者的身份,找到所述使用者的个人知识图谱,所述机器人中存储多个使用者的个人知识图谱;根据所述使用者的个人知识图谱,所述机器人主动向所述使用者发起对话,进行人机交互;在人机交互过程中,分析所述使用者的意图,并结合预先建立的多种类型的知识图谱与所述使用者进行交互,所述多种类型的知识图谱为根据不同领域的知识建立的知识图谱。
本发明提供的一种基于知识图谱的人机交互方法,通过设计多种类型的知识图谱,改进人机交互时使用者的体验,使机器人在人机交互的过程中理解使用者的真实意图,做到对使用者的感情陪伴,提高用户体验。
进一步地,所述多种类型的知识图谱包括通用事实知识图谱、常识知识图谱、个人知识图谱和服务和任务场景图谱。
进一步地,所述步骤S3,具体为:
根据所述使用者的个人知识图谱,通过所述服务和任务场景图谱获取当地当时的基础信息;
根据所述基础信息,所述机器人主动向所述使用者发起对话,进行人机交互。
进一步地,所述步骤S4中,分析所述使用者的意图,具体为:
对所述使用者的交互信息进行字和词分析,并对所述使用者的动作和行为进行分析,得到所述使用者的意图。
进一步地,所述步骤S4,具体为:
根据所述使用者的意图,判断所述机器人和所述使用者间的交互信息的知识图谱类别;
根据所述知识图谱类别,在预先建立的多种类型的知识图谱中结合答案生成模板生成回复;
根据所述回复,与所述使用者进行交互。
进一步地,所述步骤S2中,通过预先注册得到的使用关系找到所述使用者的个人知识图谱。
第二方面,基于知识图谱的人机交互装置,包括:
使用者识别模块,用于检测使用者是否走进机器人的识别范围,如果在机器人的识别范围内识别到所述使用者,主动唤醒所述机器人并分析所述使用者的身份,得到所述使用者的身份;
个人知识图谱获取模块,用于根据所述使用者的身份,找到所述使用者的个人知识图谱,所述机器人中存储多个使用者的个人知识图谱;
对话发起模块,用于根据所述使用者的个人知识图谱,所述机器人主动向所述使用者发起对话,进行人机交互;
交互模块,用于在人机交互过程中,分析所述使用者的意图,并结合预先建立的多种类型的知识图谱与所述使用者进行交互,所述多种类型的知识图谱为根据不同领域的知识建立的知识图谱。
本发明提供的基于知识图谱的人机交互装置,其技术方案为:通过使用者识别模块,检测使用者是否走进机器人的识别范围,如果在机器人的识别范围内识别到所述使用者,主动唤醒所述机器人并分析所述使用者的身份,得到所述使用者的身份;
通过个人知识图谱获取模块,根据所述使用者的身份,找到所述使用者的个人知识图谱,所述机器人中存储多个使用者的个人知识图谱;通过对话发起模块,根据所述使用者的个人知识图谱,所述机器人主动向所述使用者发起对话,进行人机交互;通过交互模块,在人机交互过程中,分析所述使用者的意图,并结合预先建立的多种类型的知识图谱与所述使用者进行交互,所述多种类型的知识图谱为根据不同领域的知识建立的知识图谱。
本发明提供的基于知识图谱的人机交互装置,通过设计多种类型的知识图谱,改进人机交互时使用者的体验,使机器人在人机交互的过程中理解使用者的真实意图,做到对使用者的感情陪伴,提高用户体验。
进一步地,所述多种类型的知识图谱包括通用事实知识图谱、常识知识图谱、个人知识图谱和服务和任务场景图谱。
进一步地,所述对话发起模块,具体用于:
根据所述使用者的个人知识图谱,通过所述服务和任务场景图谱获取当地当时的基础信息;
根据所述基础信息,所述机器人主动向所述使用者发起对话,进行人机交互。
第三方面,本发明提供一种基于知识图谱的人机交互系统,包括机器人、设置在所述机器人上的摄像头、处理器和存储器;
所述处理器分别与所述摄像头和所述存储器连接;
所述摄像头用于识别使用者的图像,进行身份识别和所述使用者的意图识别;
所述存储器用于存储程序;
所述处理器用于运行所述存储器中所述程序以执行以下步骤:检测使用者是否走进机器人的识别范围,如果在机器人的识别范围内识别到所述使用者,分析所述使用者的身份,得到所述使用者的身份;
根据所述使用者的身份,找到所述使用者的个人知识图谱,所述机器人中存储多个使用者的个人知识图谱;根据所述使用者的个人知识图谱,所述机器人主动向所述使用者发起对话,进行人机交互;在人机交互过程中,分析所述使用者的意图,并结合预先建立的多种类型的知识图谱与所述使用者进行交互,所述多种类型的知识图谱为根据不同领域的知识建立的知识图谱。
本发明提供的基于知识图谱的人机交互系统,通过设计多种类型的知识图谱,改进人机交互时使用者的体验,使机器人在人机交互的过程中理解使用者的真实意图,做到对使用者的感情陪伴,提高用户体验。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。
图1示出了本发明实施例所提供的一种基于知识图谱的人机交互方法的流程图;
图2示出了本发明实施例所提供的一种基于知识图谱的人机交互装置的示意图。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案,因此只是作为示例,而不能以此来限制本发明的保护范围。
实施例一
第一方面,图1示出了本发明实施例所提供的一种基于知识图谱的人机交互方法的流程图;如图1所示,实施例一提供的一种基于知识图谱的人机交互方法,包括:
步骤S1,检测使用者是否走进机器人的识别范围,如果在机器人的识别范围内识别到使用者,主动唤醒机器人并分析使用者的身份,得到使用者的身份;
步骤S2,根据使用者的身份,找到使用者的个人知识图谱,机器人中存储多个使用者的个人知识图谱;
步骤S3,根据使用者的个人知识图谱,机器人主动向使用者发起对话,进行人机交互;
步骤S4,在人机交互过程中,分析使用者的意图,并结合预先建立的多种类型的知识图谱与使用者进行交互,多种类型的知识图谱为根据不同领域的知识建立的知识图谱。
本发明提供的一种基于知识图谱的人机交互方法,其技术方案为:检测使用者是否走进机器人的识别范围,如果在机器人的识别范围内识别到使用者,主动唤醒机器人并分析使用者的身份;根据使用者的身份,找到使用者的个人知识图谱,机器人中存储多个使用者的个人知识图谱;根据使用者的个人知识图谱,机器人主动向使用者发起对话,进行人机交互;在人机交互过程中,分析使用者的意图,并结合预先建立的多种类型的知识图谱与使用者进行交互,多种类型的知识图谱为根据不同领域的知识建立的知识图谱。
本发明提供的一种基于知识图谱的人机交互方法,通过设计多种类型的知识图谱,改进人机交互时使用者的体验,使机器人在人机交互的过程中理解使用者的真实意图,做到对使用者的感情陪伴,提高用户体验。不只机械地识别使用者输入的内容,给出回复,而是结合使用者当前的主观情绪、性格、社会关系等因素,有针对性的进行回复,提高了回复效率和准确性。
特别地,人机交互涉及的内容繁杂,除了需要考虑使用者当前的主观意愿和生活安排,还需要考虑到人机交互可能涉及常识、科学知识、娱乐、社交等不同方面的内容。单一的知识图谱太过于庞大稀疏,无法确保机器在人机交互中对使用者主观情绪和意图的充分识别,也无法确保有效地抽取到特定话题的完整答案,因此本发明通过建立各种不同类型的知识图谱,为机器进行人机交互构架完备的知识储备库,使得机器在进行人机交互的过程中可通过这些知识图谱理解全面使用者意图并从知识图谱中抽取正确的答案。
优选地,多种类型的知识图谱包括通用事实知识图谱、常识知识图谱、个人知识图谱和服务和任务场景图谱。
其中,通用事实知识图谱包含了自然界的各种规律及已发生事实;常识知识图谱包含各个方面的社会常识;服务和任务场景图谱链接第三方服务商为使用者提供诸如交通情况、天气情况等第三方服务;个人知识图谱分为两种,其一是包含机器ID等厂家为机器设定的其它属性的机器本身知识图谱,其二是以使用者为中心的个人知识图谱。
在使用过程中,只有个人知识图谱是统一初始化的,对于刚启动的机器/机器人,其个人知识图谱是相同的,在被使用的过程中,其个人知识图谱才逐渐出现内容的分化,比如识别了使用者的身份后,会根据使用者的身份在个人知识图谱中找出对应的个人知识图谱,之后基于该使用者的个人知识图谱进行交互,以个性化适配不同使用者的交互习惯。
特别地,本发明规定每个机器有且只有一个机器本身知识图谱,而使用者为中心的知识图谱每台机器可以有多个。以使用者为中心的知识图谱可以有效地进行使用者画像,为机器在交互过程中结合环境、语气、语境等信息了解使用者主观情感和意图奠定了基础。
需要说明的是,本发明中建立知识图谱的方法是现有技术。
优选地,步骤S2中,通过预先注册得到的使用关系找到使用者的个人知识图谱。
本发明通过预先注册得到的使用关系,将机器本身的知识图谱和使用者知识图谱链接起来,当机器在人机交互过程中识别出使用者后,便可以通过预先注册得到的使用关系找到自身对该使用者的画像,以此指导机器对用户意图的识别。具体地,使用者的个人知识图谱可在预先注册的时候进行建立,将使用者和机器人的知识图谱联系起来。
其中,使用者个人知识图谱包括个人的基本信息,年龄、身高、居住地、喜好等信息。使机器人给出的回复是基于使用者的性格和社会关系等因素给出的,回复更加智能准确。
其中,机器人的个人知识图谱信息中包括机器人的自身信息,包括可实现的功能信息、状态信息等。比如此时机器人处于睡眠状态,当用户此时与机器人交互时,可能机器人的回复不会特别积极,或者会直接告知用户,此时它的睡眠时间,不希望被打扰,增加机器人与用户的情感交流,提升机器人的拟人性。
优选地,通过预先注册,基于用户的个人知识图谱进行权限的区分,每个用户建立个人知识图谱,每个用户知识图谱中的敏感问题,仅会被在与特定用户的交互过程中访问,而不会被其他用户获知,保证每个用户有保护自己隐私的权利,比如当用户A与机器人进行交互时,提到关于用户B的隐私问题(比如婚姻状况,财产状况等),机器人会识别出用户A不是用户B,因此对于用户A提出的关于用户B的隐私问题,不会给予回答。或是当用户A与机器人交互过程中,在谈及有关隐私问题时,识别到其他人在场,机器人会提醒用户A,避免隐私外泄,进一步保障了用户的隐私安全,同时提高了用户体验。
更优选地,步骤S3,具体为:
根据使用者的个人知识图谱,通过服务和任务场景图谱获取当地当时的基础信息;
根据基础信息,机器人主动向使用者发起对话,进行人机交互。
根据服务和任务场景图谱,机器人可主动与使用者进行交互,根据基础信息中的天气、节日、交通情况等信息,主动问候使用者,而不是被动的等待使用者提出话题才进行交互,避免了出现冷启动的现象,提高用户体验。
另外,在人机交互过程中,在出现冷场的情况下,还可结合具体的交互场景,结合通用事实知识图谱、常识知识图谱、个人知识图谱和服务和任务场景图谱中的至少一个图谱,主动提出话题,与使用者进行交互。机器人主动提出的话题包括使用者最近感兴趣的话题,可从历史对话信息中提取获得,提出的话题也可包括最近热门的话题,可从网络热门话题中结合使用者的个人喜好获得。通过在人机交互过程中主动提出话题,减少冷场情况的发生,提高交互体验。
优选地,步骤S4中,分析使用者的意图,具体为:
对使用者的交互信息进行字和词分析,并对使用者的动作和行为进行分析,得到使用者的意图。
具体地,在人机交互过程中,可通过机器人本身的摄像头实时连续的监测使用者的行为和动作,然后进行分析,在交互过程中结合具体的环境、语气、语境等信息了解使用者主观情感和意图,只有全面的了解使用者的意图,才可给出更智能的回复。
其中,对使用者的交互信息进行字和词分析,可根据字词在交互信息句子中的词性、语法规则、语气、语调等进行句子意图的识别,从使用者输入的交互信息中进行使用者意图的分析。
其中,通过摄像头采集的使用者的图像,进行图像识别,辨别使用者的表情,动作等,通过分析使用者的行为和动作,进一步了解使用者的真实意图。
更优选地,步骤S4,具体为:
根据使用者的意图,判断机器人和使用者间的交互信息的知识图谱类别;
根据知识图谱类别,在预先建立的多种类型的知识图谱中结合答案生成模板生成回复;
根据回复,与使用者进行交互。
其中,本发明中不限定回复的生成方式,回复的生成方式采用现有技术即可实现,比如根据用户输入的关键词,抽取实体及实体关系,对应找到知识图谱,根据答案生成模板,结合知识图谱生成候选答案。或者根据用户输入的信息,根据语调判断该用户输入的信息是指令还是对话,如果是对话,就根据现有的问答对方式进行回复的检索,给出回复。
具体地,识别了使用者的真实意图后,要根据不同的知识图谱有针对性的进行回复,提高了回复的准确性。
具体地,可通过摄像头采集使用者的图像,识别使用者的身份,或者通过语音采集设备采集使用者的声音识别使用者的身份。
下面举例说明本实施例中知识图谱为人机交互过程带来的有益效果:
1、在机器待机状态下,当使用者走进机器的感知范围时,机器的红外模块感知到使用者走近,通过服务图谱和任务场景图谱获取当时的天气、节日、交通等信息,机器主动向使用者发起对话。
2、当使用者走进机器的识别范围时,机器的摄像头采集使用者图像信息,并通过图像、语音等生物信息识别使用者的身份。
3、确定使用者身份后,机器基于个人知识图谱确定使用者的社会关系及机器与使用者的关系。
4、机器持续跟踪观测使用者的动作、行为,基于使用者的动作、行为自动发起对话,并根据预先建立的四种知识图谱与使用者进行问答。
参见图2,第二方面,基于知识图谱的人机交互装置10,包括:
使用者识别模块101,用于检测使用者是否走进机器人的识别范围,如果在机器人的识别范围内识别到使用者,主动唤醒机器人并分析使用者的身份,得到使用者的身份;
个人知识图谱获取模块102,用于根据使用者的身份,找到使用者的个人知识图谱,机器人中存储多个使用者的个人知识图谱;
对话发起模块103,用于根据使用者的个人知识图谱,机器人主动向使用者发起对话,进行人机交互;
交互模块104,用于在人机交互过程中,分析使用者的意图,并结合预先建立的多种类型的知识图谱与使用者进行交互,多种类型的知识图谱为根据不同领域的知识建立的知识图谱。
本发明提供的基于知识图谱的人机交互装置10,其技术方案为:通过使用者识别模块101,检测使用者是否走进机器人的识别范围,如果在机器人的识别范围内识别到使用者,主动唤醒机器人并分析使用者的身份,得到使用者的身份;
通过个人知识图谱获取模块102,根据使用者的身份,找到使用者的个人知识图谱,机器人中存储多个使用者的个人知识图谱;通过对话发起模块103,根据使用者的个人知识图谱,机器人主动向使用者发起对话,进行人机交互;通过交互模块104,在人机交互过程中,分析使用者的意图,并结合预先建立的多种类型的知识图谱与使用者进行交互,多种类型的知识图谱为根据不同领域的知识建立的知识图谱。
本发明提供的基于知识图谱的人机交互装置10,通过设计多种类型的知识图谱,改进人机交互时使用者的体验,使机器人在人机交互的过程中理解使用者的真实意图,做到对使用者的感情陪伴,提高用户体验。
优选地,多种类型的知识图谱包括通用事实知识图谱、常识知识图谱、个人知识图谱和服务和任务场景图谱。
优选地,对话发起模块,具体用于:
根据使用者的个人知识图谱,通过服务和任务场景图谱获取当地当时的基础信息;
根据基础信息,机器人主动向使用者发起对话,进行人机交互。
第三方面,本发明提供一种基于知识图谱的人机交互系统,包括机器人、设置在机器人上的摄像头、处理器和存储器;
处理器分别与摄像头和存储器连接;
摄像头用于识别使用者的图像,进行身份识别和使用者的意图识别;
存储器用于存储程序;
处理器用于运行存储器中程序以执行以下步骤:检测使用者是否走进机器人的识别范围,如果在机器人的识别范围内识别到使用者,分析使用者的身份;
根据使用者的身份,找到使用者的个人知识图谱,机器人中存储多个使用者的个人知识图谱;根据使用者的个人知识图谱,机器人主动向使用者发起对话,进行人机交互;在人机交互过程中,分析使用者的意图,并结合预先建立的多种类型的知识图谱与使用者进行交互,多种类型的知识图谱为根据不同领域的知识建立的知识图谱。
本发明提供的基于知识图谱的人机交互系统,通过设计多种类型的知识图谱,改进人机交互时使用者的体验,使机器人在人机交互的过程中理解使用者的真实意图,做到对使用者的感情陪伴,提高用户体验。
实施例二
基于通用事实知识图谱、常识知识图谱、个人知识图谱及服务和任务场景图谱,结合具体场景,进行进一步的说明:
在机器待机状态下,当使用者走进机器的感知范围时,通过机器的红外模块,比如红外传感器感知到使用者走近,通过服务和任务场景图谱获取当时的天气、节日、交通等信息,机器主动向使用者发起对话。比如:“您好,一会会有雨,您出门准备好伞了吗?”通过主动发起对话,不但可以提醒使用者的一些日常天气,交通信息等,还可以进一步拉进使用者与机器人的距离。
如果使用者对机器人的话题感兴趣或是有其他需要咨询机器人的,要进一步与机器人进行对话,使用者就会走进机器人,当使用者走进机器的识别范围时,机器的摄像头采集使用者图像信息,并通过图像、语音等生物信息识别使用者的身份。确定使用者身份后,机器基于个人知识图谱确定使用者的社会关系及机器人与使用者的关系。在使用者与使用者进行对话的过程中,会分析使用者的意图,结合使用者的个人知识图谱和具体使用者对话内容涉及的领域范畴,给出回答。
比如,使用者可以根据上一个机器人主动提出的话题,接着问“XX附近的路况现在怎么样?”机器人可以基于服务和任务场景图谱迅速调取当前的路况信息,并结合使用者个人知识图谱中通常行走的路线,进行回答:“目前路况良好,您可以放心出行。”
使用者如果想去一个陌生的地方自驾游,不是很了解这个地方,也可以咨询机器人,比如地理常识,“稻城在哪个省?”机器人会根据常识知识图谱给出回答“在四川省”;接下来,使用者可能会具体咨询一下当地的风土人情,衣食住行,机器人结合使用者的个人知识图谱及事实知识图谱、常识知识图谱;比如,使用者的个人知识图谱中表明喜欢安静的居住环境,喜欢吃有特色的小吃,机器人就会结合当地的人文地理特色,推荐给使用者一些安静的民宿,不仅环境优美,还有当地特色,如果恰巧赶上当地节日,还可根据当地的风俗习惯给使用者一些好的建议。比如基于事实知识图谱介绍一些稻城的历史;基于常识知识图谱说明一下自驾游的一些注意事项。
如果此时使用者听过机器人的一些介绍和推荐后,明显表现出很感兴趣,且很高兴的状态,机器人通过分析使用者的对话意图还可进一步与使用者做交互,接着问使用者一些感兴趣的话题,比如:“您喜欢露营吗?在XX,这个季节有很多人在那露营,晚上的星空美极了”,类似这样的话题,可与使用者建立良好的交互环境,根据使用者的具体意图,结合四种知识图谱给出准确快速丰富的回复,提升使用者的交互体验,让使用者感受到像是在于好朋友进行交谈一样。
基于四种知识图谱的交互方式,比较基于一个知识图谱的交互方式,结合四种知识图谱的交互方式可全面有效地识别使用者的主观意图,而不是机械性地识别使用者输入的内容,在一个知识图谱中,结合固定的对话模板给出机械性的回答,该回答不但没有结合使用者的实际情况,也不带有感情色彩,未结合使用者当前的主观情绪、性格、社会关系等因素,也就是在检索答案的过程中未做到以使用者为中心常常因为对话模板的回答模式的限制,给使用者提供不好的体验。
需要说明的是,本发明中不限定是四种知识图谱,基于多种知识图谱的交互方式均在本发明的保护范围内,比如天气图谱和音乐图谱,其实质上均为第三方服务和任务场景图谱的。
另外,机器在检索答案时,检索的内容无序、与用户真实需求的关联程度较低,做了很多无效的检索,不仅效率低下而且影响回答的准确性。基于当前技术,机器无法主动发起有效对话,面临对话“冷启动”的考验,就是说通常只有使用者进行主动启动对话模式,机器人才会基于使用者的对话内容给出回复,而本发明中的机器人可主动进行唤醒,然后主动与使用者进行对话,进一步提高了使用者的用户体验。
特别地,人机交互涉及的内容繁杂,除了需要考虑使用者当前的主观意愿和生活安排,还需要考虑到人机交互可能涉及常识、科学知识、娱乐、社交等不同方面的内容。单一的知识图谱太过于庞大稀疏,无法确保机器在人机交互中对使用者主观情绪和意图的充分识别,也无法确保有效地抽取到特定话题的完整答案,因此本发明通过建立各种不同类型的知识图谱,为机器进行人机交互构架完备的知识储备库,使得机器在进行人机交互的过程中可通过这些知识图谱理解全面使用者意图并从知识图谱中抽取正确的答案。
在人机交互过程中,机器人会持续跟踪观测使用者的动作、行为,分析使用者的意图,结合本发明中的四种知识图谱给出准确的回答。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围,其均应涵盖在本发明的权利要求和说明书的范围当中。
Claims (10)
1.基于知识图谱的人机交互方法,其特征在于,包括:
步骤S1,检测使用者是否走进机器人的识别范围,如果在机器人的识别范围内识别到所述使用者,主动唤醒所述机器人并分析所述使用者的身份,得到所述使用者的身份;
步骤S2,根据所述使用者的身份,找到所述使用者的个人知识图谱,所述机器人中存储多个使用者的个人知识图谱;
步骤S3,根据所述使用者的个人知识图谱,所述机器人主动向所述使用者发起对话,进行人机交互;
步骤S4,在人机交互过程中,分析所述使用者的意图,并结合预先建立的多种类型的知识图谱与所述使用者进行交互,所述多种类型的知识图谱为根据不同领域的知识建立的知识图谱。
2.根据权利要求1所述的基于知识图谱的人机交互方法,其特征在于,
所述多种类型的知识图谱包括通用事实知识图谱、常识知识图谱、个人知识图谱和服务和任务场景图谱。
3.根据权利要求2所述的基于知识图谱的人机交互方法,其特征在于,
所述步骤S3,具体为:
根据所述使用者的个人知识图谱,通过所述服务和任务场景图谱获取当地当时的基础信息;
根据所述基础信息,所述机器人主动向所述使用者发起对话,进行人机交互。
4.根据权利要求1所述的基于知识图谱的人机交互方法,其特征在于,
所述步骤S4中,分析所述使用者的意图,具体为:
对所述使用者的交互信息进行字和词分析,并对所述使用者的动作和行为进行分析,得到所述使用者的意图。
5.根据权利要求4所述的基于知识图谱的人机交互方法,其特征在于,
所述步骤S4,具体为:
根据所述使用者的意图,判断所述机器人和所述使用者间的交互信息的知识图谱类别;
根据所述知识图谱类别,在预先建立的多种类型的知识图谱中结合答案生成模板生成回复;
根据所述回复,与所述使用者进行交互。
6.根据权利要求1所述的基于知识图谱的人机交互方法,其特征在于,
所述步骤S2中,通过预先注册得到的使用关系找到所述使用者的个人知识图谱。
7.基于知识图谱的人机交互装置,其特征在于,包括:
使用者识别模块,用于检测使用者是否走进机器人的识别范围,如果在机器人的识别范围内识别到所述使用者,主动唤醒所述机器人并分析所述使用者的身份,得到所述使用者的身份;
个人知识图谱获取模块,用于根据所述使用者的身份,找到所述使用者的个人知识图谱,所述机器人中存储多个使用者的个人知识图谱;
对话发起模块,用于根据所述使用者的个人知识图谱,所述机器人主动向所述使用者发起对话,进行人机交互;
交互模块,用于在人机交互过程中,分析所述使用者的意图,并结合预先建立的多种类型的知识图谱与所述使用者进行交互,所述多种类型的知识图谱为根据不同领域的知识建立的知识图谱。
8.根据权利要求7所述的基于知识图谱的人机交互装置,其特征在于,
所述多种类型的知识图谱包括通用事实知识图谱、常识知识图谱、个人知识图谱和服务和任务场景图谱。
9.根据权利要求8所述的基于知识图谱的人机交互装置,其特征在于,
所述对话发起模块,具体用于:
根据所述使用者的个人知识图谱,通过所述服务和任务场景图谱获取当地当时的基础信息;
根据所述基础信息,所述机器人主动向所述使用者发起对话,进行人机交互。
10.基于知识图谱的人机交互系统,其特征在于,包括机器人、设置在所述机器人上的摄像头、处理器和存储器;
所述处理器分别与所述摄像头和所述存储器连接;
所述摄像头用于识别使用者的图像,进行身份识别和所述使用者的意图识别;
所述存储器用于存储程序;
所述处理器用于运行所述存储器中所述程序以执行以下步骤:检测使用者是否走进机器人的识别范围,如果在机器人的识别范围内识别到所述使用者,分析所述使用者的身份,得到所述使用者的身份;
根据所述使用者的身份,找到所述使用者的个人知识图谱,所述机器人中存储多个使用者的个人知识图谱;根据所述使用者的个人知识图谱,所述机器人主动向所述使用者发起对话,进行人机交互;在人机交互过程中,分析所述使用者的意图,并结合预先建立的多种类型的知识图谱与所述使用者进行交互,所述多种类型的知识图谱为根据不同领域的知识建立的知识图谱。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710595078.6A CN110019824A (zh) | 2017-07-20 | 2017-07-20 | 基于知识图谱的人机交互方法、装置及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710595078.6A CN110019824A (zh) | 2017-07-20 | 2017-07-20 | 基于知识图谱的人机交互方法、装置及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110019824A true CN110019824A (zh) | 2019-07-16 |
Family
ID=67185862
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710595078.6A Pending CN110019824A (zh) | 2017-07-20 | 2017-07-20 | 基于知识图谱的人机交互方法、装置及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110019824A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110909159A (zh) * | 2019-09-29 | 2020-03-24 | 珠海格力电器股份有限公司 | 一种用户意图识别方法、装置、终端及存储介质 |
CN111858236A (zh) * | 2020-06-23 | 2020-10-30 | 深圳精匠云创科技有限公司 | 知识图谱监控方法、装置、计算机设备及存储介质 |
CN112015919A (zh) * | 2020-09-15 | 2020-12-01 | 重庆广播电视大学重庆工商职业学院 | 一种基于学习辅助知识图谱的对话管理方法 |
CN112331201A (zh) * | 2020-11-03 | 2021-02-05 | 珠海格力电器股份有限公司 | 语音的交互方法和装置、存储介质、电子装置 |
CN113377947A (zh) * | 2021-07-06 | 2021-09-10 | 北京明略昭辉科技有限公司 | 主题推荐方法、装置、计算机设备及存储介质 |
CN113408690A (zh) * | 2021-07-01 | 2021-09-17 | 之江实验室 | 基于多模态知识图谱的机器人个性化情感互动装置及方法 |
CN113486233A (zh) * | 2020-08-21 | 2021-10-08 | 青岛海信电子产业控股股份有限公司 | 一种内容推荐方法、设备及介质 |
CN114363277A (zh) * | 2020-12-31 | 2022-04-15 | 万翼科技有限公司 | 基于社会关系的智能聊天方法、装置及相关产品 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102710543A (zh) * | 2008-12-31 | 2012-10-03 | 北京华旗资讯数码科技有限公司 | 一种包括三维装置的互动即时通讯装置和系统 |
CN203399142U (zh) * | 2013-02-27 | 2014-01-15 | 深圳好未来智能科技有限公司 | 工作学习应用机器人 |
CN104010014A (zh) * | 2013-02-27 | 2014-08-27 | 深圳好未来智能科技有限公司 | 工作学习应用机器人 |
CN204463028U (zh) * | 2015-01-16 | 2015-07-08 | 深圳市中控生物识别技术有限公司 | 一种具有红外唤醒功能的身份识别设备 |
US20150370787A1 (en) * | 2014-06-18 | 2015-12-24 | Microsoft Corporation | Session Context Modeling For Conversational Understanding Systems |
CN105856257A (zh) * | 2016-06-08 | 2016-08-17 | 以恒激光科技(北京)有限公司 | 适用于前台接待的智能机器人 |
CN105931638A (zh) * | 2016-04-26 | 2016-09-07 | 北京光年无限科技有限公司 | 面向智能机器人的对话系统数据处理方法及装置 |
CN106126503A (zh) * | 2016-07-12 | 2016-11-16 | 海信集团有限公司 | 业务领域定位方法及终端 |
CN106326440A (zh) * | 2016-08-26 | 2017-01-11 | 北京光年无限科技有限公司 | 一种面向智能机器人的人机交互方法及装置 |
CN106462384A (zh) * | 2016-06-29 | 2017-02-22 | 深圳狗尾草智能科技有限公司 | 基于多模态的智能机器人交互方法和智能机器人 |
CN106874261A (zh) * | 2017-03-17 | 2017-06-20 | 中国科学院软件研究所 | 一种基于语义三角的领域知识图谱及查询方法 |
-
2017
- 2017-07-20 CN CN201710595078.6A patent/CN110019824A/zh active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102710543A (zh) * | 2008-12-31 | 2012-10-03 | 北京华旗资讯数码科技有限公司 | 一种包括三维装置的互动即时通讯装置和系统 |
CN203399142U (zh) * | 2013-02-27 | 2014-01-15 | 深圳好未来智能科技有限公司 | 工作学习应用机器人 |
CN104010014A (zh) * | 2013-02-27 | 2014-08-27 | 深圳好未来智能科技有限公司 | 工作学习应用机器人 |
US20150370787A1 (en) * | 2014-06-18 | 2015-12-24 | Microsoft Corporation | Session Context Modeling For Conversational Understanding Systems |
CN204463028U (zh) * | 2015-01-16 | 2015-07-08 | 深圳市中控生物识别技术有限公司 | 一种具有红外唤醒功能的身份识别设备 |
CN105931638A (zh) * | 2016-04-26 | 2016-09-07 | 北京光年无限科技有限公司 | 面向智能机器人的对话系统数据处理方法及装置 |
CN105856257A (zh) * | 2016-06-08 | 2016-08-17 | 以恒激光科技(北京)有限公司 | 适用于前台接待的智能机器人 |
CN106462384A (zh) * | 2016-06-29 | 2017-02-22 | 深圳狗尾草智能科技有限公司 | 基于多模态的智能机器人交互方法和智能机器人 |
CN106126503A (zh) * | 2016-07-12 | 2016-11-16 | 海信集团有限公司 | 业务领域定位方法及终端 |
CN106326440A (zh) * | 2016-08-26 | 2017-01-11 | 北京光年无限科技有限公司 | 一种面向智能机器人的人机交互方法及装置 |
CN106874261A (zh) * | 2017-03-17 | 2017-06-20 | 中国科学院软件研究所 | 一种基于语义三角的领域知识图谱及查询方法 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110909159A (zh) * | 2019-09-29 | 2020-03-24 | 珠海格力电器股份有限公司 | 一种用户意图识别方法、装置、终端及存储介质 |
CN110909159B (zh) * | 2019-09-29 | 2022-09-16 | 珠海格力电器股份有限公司 | 一种用户意图识别方法、装置、终端及存储介质 |
CN111858236A (zh) * | 2020-06-23 | 2020-10-30 | 深圳精匠云创科技有限公司 | 知识图谱监控方法、装置、计算机设备及存储介质 |
CN111858236B (zh) * | 2020-06-23 | 2022-12-16 | 深圳精匠云创科技有限公司 | 知识图谱监控方法、装置、计算机设备及存储介质 |
CN113486233A (zh) * | 2020-08-21 | 2021-10-08 | 青岛海信电子产业控股股份有限公司 | 一种内容推荐方法、设备及介质 |
CN112015919A (zh) * | 2020-09-15 | 2020-12-01 | 重庆广播电视大学重庆工商职业学院 | 一种基于学习辅助知识图谱的对话管理方法 |
CN112331201A (zh) * | 2020-11-03 | 2021-02-05 | 珠海格力电器股份有限公司 | 语音的交互方法和装置、存储介质、电子装置 |
CN114363277A (zh) * | 2020-12-31 | 2022-04-15 | 万翼科技有限公司 | 基于社会关系的智能聊天方法、装置及相关产品 |
CN113408690A (zh) * | 2021-07-01 | 2021-09-17 | 之江实验室 | 基于多模态知识图谱的机器人个性化情感互动装置及方法 |
CN113377947A (zh) * | 2021-07-06 | 2021-09-10 | 北京明略昭辉科技有限公司 | 主题推荐方法、装置、计算机设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110019824A (zh) | 基于知识图谱的人机交互方法、装置及系统 | |
US11526720B2 (en) | Artificial intelligence system for supporting communication | |
CN109658928B (zh) | 一种家庭服务机器人云端多模态对话方法、装置及系统 | |
CN106095833B (zh) | 人机对话内容处理方法 | |
CN107846350B (zh) | 一种语境感知网络聊天的方法、计算机可读介质和系统 | |
CN108132952B (zh) | 一种基于语音识别的主动型搜索方法和装置 | |
US8838505B2 (en) | Schedule management system using interactive robot and method and computer-readable medium thereof | |
CN103346957B (zh) | 一种根据联系人消息改变联系人头像表情的系统及方法 | |
JP6502965B2 (ja) | コミュニケーション提供システム及びコミュニケーション提供方法 | |
CN105912692B (zh) | 一种智能语音对话的方法和装置 | |
CN106294774A (zh) | 基于对话服务的用户个性化数据处理方法及装置 | |
US20220351730A1 (en) | Method and system providing service based on user voice | |
US10770072B2 (en) | Cognitive triggering of human interaction strategies to facilitate collaboration, productivity, and learning | |
CN108595609A (zh) | 基于人物ip的机器人回复生成方法、系统、介质及设备 | |
KR20200092166A (ko) | 감정을 인식하는 서버, 방법 및 컴퓨터 프로그램 | |
CN109119095A (zh) | 疲劳等级识别方法、装置、计算机设备及存储介质 | |
CN106815321A (zh) | 基于智能聊天机器人的聊天方法及装置 | |
CN113746978A (zh) | 推荐联系人信息的装置和方法 | |
KR20190046062A (ko) | 대화 시스템을 위한 대화 시나리오 데이터베이스 구축 방법 및 장치 | |
KR20060066587A (ko) | 규칙과 온톨로지를 이용한 상황정보 표현방법 및상황인식시스템 | |
JP2019139783A (ja) | コミュニケーションを提供する人工知能 | |
JP7207543B2 (ja) | 情報推薦装置、情報推薦システム、情報推薦方法及び情報推薦プログラム | |
KR20240152725A (ko) | 인공지능 알고리즘에 기초한 고인의 음성 데이터를 이용하여 심리 상담 서비스를 제공하는 방법 | |
KR101384593B1 (ko) | 컨텍스트 인식 기반 사용자 행동패턴 추론 시스템 | |
CN112036350B (zh) | 一种基于政务云的用户调查方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190716 |