CN106097793B - 一种面向智能机器人的儿童教学方法和装置 - Google Patents

Abstract

本发明公开了一种面向智能机器人的儿童教学方法和装置，属于机器人技术领域，提高儿童教育的用户体验。该方法包括：获取当前交互场景图像数据；对所述图像数据进行物体识别，确定场景中可用于语言教学的目标物体；结合所述目标物体及教学语种，生成针对所述目标物体进行主动语言教学的多模态输出数据并输出。

Description

一种面向智能机器人的儿童教学方法和装置

技术领域

本发明涉及机器人技术领域，具体的说，涉及一种面向智能机器人的儿童教学方法和装置。

背景技术

随着信息技术、计算机技术以及人工智能技术的不断发展，智能机器人已经走入到医疗、保健、家庭、娱乐以及服务行业等与人们生活息息相关的领域。人们对于智能机器人的要求也越来越高，需要智能机器人具备更多的功能从而为人类生活提供更多的帮助。

目前，智能机器人技术在儿童教育领域的应用获得了越来越多的关注，但是现有的智能机器人的儿童教育功能尚存在很多不足，例如，教学功能和方式比较单一，只能基于固定的教学内容实施教学，教学内容往往枯燥乏味脱离生活，导致用户体验度较低。

因此，亟需一种能够提高用户体验的面向智能机器人的儿童教学方法和装置。

发明内容

本发明的目的在于提供一种面向智能机器人的儿童教学方法和装置，提高儿童教育的用户体验。

本发明提供一种面向智能机器人的儿童教学方法，该方法包括：

获取当前交互场景图像数据；

对所述图像数据进行物体识别，确定场景中可用于语言教学的目标物体；

结合所述目标物体及教学语种，生成针对所述目标物体进行主动语言教学的多模态输出数据并输出。

在对所述图像数据进行物体识别的步骤中包括：

对所述图像数据进行解析，从中提取出物体图像信息；

对所述物体图像信息进行识别，确定其中可用于语言教学的目标物体。

所述多模态输出数据包括：与进行主动语言教学相关联的肢体动作输出数据。

在所述生成主动语言教学的多模态输出数据并输出的步骤中包括：

基于所述目标物体生成教学内容文字信息；

根据所述教学内容文字信息生成用第一语种对所述目标物体进行第二语种名称提问的多模态输出数据并输出；

所述的面向智能机器人的儿童教学方法，还包括：

接收用户对于所述提问的多模态输出数据的回答信息；

解析所述回答信息，生成对所述回答信息进行评价和讲解的多模态信息并输出。

本发明提供的面向智能机器人的儿童教学方法，当确定场景中存在多个目标物体时，还包括；

结合所述多个目标物体以及教学语种，生成针对所述多个目标物体进行主动语言教学的多模态输出数据并输出。

本发明提供的面向智能机器人的儿童教学方法，还包括：

接收用户针对所述多模态输出数据的问题信息；

解析所述问题信息，生成对所述问题信息进行答复的多模态信息并输出。

本发明还提供一种面向智能机器人的儿童教学装置，该装置包括：

图像获取单元，其用于获取当前交互场景图像数据；

物体获取单元，其用于对所述图像数据进行物体识别，确定场景中可用于语言教学的目标物体；

第一输出单元，其用于结合所述目标物体及教学语种，生成针对所述目标物体进行主动语言教学的多模态输出数据并输出。

所述物体获取单元包括：

图像解析模块，其用于对所述图像数据进行解析，从中提取出物体图像信息；

物体确定模块，其用于对所述物体图像信息进行识别，确定其中可用于语言教学的目标物体。

所述多模态输出数据包括：与进行主动语言教学相关联的肢体动作输出数据。

所述第一输出单元包括：

文字生成模块，其用于基于所述目标物体生成教学内容文字信息；

提问模块，其用于根据所述教学内容文字信息生成用第一语种对所述目标物体进行第二语种名称提问的多模态输出数据并输出；

所述面向智能机器人的儿童教学装置，还包括：

第一接收单元，其用于接收用户对于所述提问的多模态输出数据的回答信息；

第二输出单元，其用于解析所述回答信息，生成对所述回答信息进行评价和讲解的多模态信息并输出。

本发明提供了一种面向智能机器人的儿童教学方法，通过对于交互环境的图像识别，发现交互环境中的物体、图片以及动作等生活中蕴含着的丰富教学素材，把儿童身边的事物和现象作为儿童语言教学的对象，从而恰当的捕捉生活中的教育契机进行语言教学活动，这种语言教学方式亲切自然，能够吸引儿童的参与，可以提高儿童的学习效率，提高了用户体验。更为重要的是，本方法中教学行为的产生和实现都是机器人主动进行的，也就是说机器人基于获取的交互环境图像数据判断是否有合适的教学目标，在有合适的教学目标时，主动发起教学行为。机器人在教学交互过程中扮演教学的引导者，而不是传统的根据用户的指令才进行教学，机器人通过准确把握主动教学发起的时机，可以对儿童用户的语言学习产生积极的引导，提高儿童用户的学习效果和兴趣。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分的从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚的说明本发明实施例中的技术方案，下面将对实施例描述中所需要的附图做简单的介绍：

图1是本发明实施例提供的面向智能机器人的儿童教学方法的流程示意图；

图2是本发明实施例提供的面向智能机器人的儿童教学方法的应用流程示意图；

图3是本发明实施例提供的面向智能机器人的儿童教学装置的示意图；

图4是本发明实施例提供的物体获取单元的示意图；

图5是本发明实施例提供的第一输出单元的示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

本发明实施例提供一种面向智能机器人的儿童教学方法，该方法针对的用户群体为儿童。众所周知，儿童在思想、性格以及智力等方面的可塑性很强，儿童时期的教育将为人的一生打下重要的基础。因此，为儿童提供更丰富、更适宜的教学方法是儿童教育方面的重要环节，本发明实施例提供的面向智能机器人的儿童教学方法和装置，针对现有的智能机器人儿童教育功能的不足，可以自动识别儿童身边物体，结合儿童身边物体进行语言教学，提高语言教学的灵活性和教学知识的多样性，丰富了教学功能，提高了用户体验。

本发明实施例提供的面向智能机器人的儿童教学方法，如图1和图2所示，该方法包括：步骤101、步骤102和步骤103。在步骤101中，获取当前交互场景图像数据。在本步骤中，机器人通过视觉输入获取描述当前交互场景的图像数据，获取的图像数据用于在后续步骤中进行识别，进而从交互场景中发现用于教学的目标，获取的图像数据中包括交互场景中静态或动态的物体、图片以及场景信息。

在步骤102中，对图像数据进行物体识别，确定场景中可用于语言教学的目标物体。在本步骤中，首先对图像数据进行解析，从中提取出物体图像信息。即对图像数据进行物体识别，在当前交互场景中确定存在的物体，并从图像数据中提取出存在物体的图像信息。

然后，对物体图像信息进行识别，确定其中可用于语言教学的目标物体。即对具体的物体的图像信息进行识别分析，从而获知物体的具体名称，并进一步获知物体的属性，进而根据物体的名称和属性判断该物体是否可以用于进行语言教学，若该物体可以用于进行语言教学，则确定该物体为语言教学的目标物体。也就是说从当前场景中的所有物体中区分出其中可以用于进行语言教学的物体，针对这些目标物体即可在后续步骤中进行相应的语言教学。

例如，当前场景为桌子上有一个苹果，机器人执行本步骤的方法，对当前场景图像数据进行分析，获知当前场景中存在两个物体，并提取出该两个物体的图像信息，然后分别对该两个物体的图像信息进行识别，确认该两个物体分别为桌子和苹果，然后分别对该两个物体桌子和苹果进行是否可用于语言教学的判断，若苹果可用于语言教学，则确定该两个物体中苹果为语言教学的目标物体。

在本发明实施例中，对于目标物体是否可用于进行语言教学的判断是基于物体的名称和相关性质进行的。基于物体的名称的判断也就是判断物体名称词语是否可以作为语言教学的内容，下述提供几种是否可以作为语言教学内容的具体判断方式。

在一种实施方式中，可以以机器人的语言教学词库中是否有该物体名词教学内容作为判断的标准，若教学词库中有该物体名词教学内容，则确认该物体为语言教学目标物体。例如，机器人的语言教学词库中有苹果及其英语释义apple的英语教学内容，则可确认该苹果为英语语言教学的目标物体。

在一种实施方式中，机器人也可以以教学对象的语言知识掌握水平来判断某物体是否为可用于语言教学的目标物体。在这种实施方式中，机器人需要对教学对象以往的语言学习经历进行记录，并通过对相关学习经历的记录进行统计分析获知教学对象的语言知识掌握水平，进而判断某物体名词对应的语言教学内容是否处于教学对象的语言知识掌握水平范围内，若某物体名词的语言教学内容难度较大或较为生僻，超出教学对象的语言知识掌握水平范围，进行该物体名词的教学会让教学对象难以学习消化，则认定该物体不能成为可用于进行语言教学的目标物体。

与上述实施方式较为相似的，机器人也可以以某物体名词是否为教学对象已经学过的词为依据进行某物体是否为可用于语言教学的目标物体的判断。这种方式中同样也需要对教学对象的学习经历进行记录，即形成一个针对教学对象的词库，记录教学对象学过哪些内容以及学过内容的掌握程度。在这种实施方式中，教学对象的词库既可以作为某物体作为目标物体的选择标准，也可以作为排出标准。

例如，词库记录了目标对象儿童学习了apple这个单词，但是对于这个单词的掌握程度不好，需要对这一单词进行巩固和复习，则当识别到苹果这一物体时，机器人即确认该苹果为英语语言教学的目标物体。

相反，若目标对象儿童学习了apple这个单词，对于这个单词已经熟练，不再需要对这一单词进行多余的学习，继而当识别到苹果这一物体时，机器人则确认该苹果不能成为英语语言教学的目标物体。

在本步骤中，对于目标物体是否可用于进行语言教学的判断不仅可以基于目标物体名称也可以基于物体相关属性进行。即机器人通过识别出的物体的名称进一步获知物体的属性，若其相关属性可以作为语言教学内容，则可认为该物体为语言教学的目标物体，进而可以进行与目标物体属性相关的语言内容学习。其中，机器人也可通过图像识别获知物体的属性，例如物体的颜色、形状等外在特征属性。

例如，当前场景中有一个香蕉，机器人识别出香蕉名称以及其颜色属性：黄色，由于“黄色”可以作为语言学习内容，因此确定香蕉为语言教学的目标物体，继而在之后的步骤中结合物体香蕉进行单词yellow的英文语言教学。

又如，当前场景中有一只笔，机器人识别出物体名称笔，并进一步根据名称获知笔的用途属性：可以用来写字，由于“写字”可以作为语言学习内容，因此确定该笔为语言教学的目标物体，继而在之后的步骤中结合物体笔进行单词write的英文语言教学。

又或者，当前场景中有一个塑料玩具，机器人识别出物体名称塑料玩具，并进一步根据名称获知塑料玩具的材质属性：塑料，由于“塑料”可以作为语言学习内容，因此确定该塑料玩具为语言教学的目标物体，继而在之后的步骤中结合物体塑料玩具进行单词plastic的英文语言教学。

对于物体属性是否可以作为语言学习内容的判断方式与上述物体名称是否可以作为语言学习内容的判断方式相同，物体属性不仅包括物体的形状、颜色、用途、材质等物理属性，也包括物体所被赋予的抽象意义以及可以通过联想关联到的相关信息。

在本步骤中还包括，对交互场景图像数据进行识别，确定场景中可用于语言教学的目标图片、目标场景以及目标动作行为。也就是说，在本步骤中，对图像数据进行解析，从中提取出图片、场景以及动作的图像信息。然后对图片、场景以及动作的图像信息进行具体的识别，以确定该图片、场景以及动作是否为可用于语言教学的目标图片、目标场景以及目标动作行为，继而在后续步骤中根据该目标图片、目标场景以及目标动作行为进行相关的教学行为。

其中，对于图片、场景以及动作是否为可用于语言教学的目标图片、目标场景以及目标动作行为的判断可以采用上文中对于物体的判断方式，即基于图片、场景以及动作的名称以及相关属性特征是否可以作为语言教学的内容进行判断，其中对于图片则更多是根据图片中的内容的名称和属性进行判断。对于是否可以作为语言教学的内容的判断可以采用上文中提供的几种实施方式。

例如，当前场景中有一幅图画(即图片)，机器人识别出图片名称图画、其相关属性以及所画的内容的名称：玫瑰花以及所画玫瑰花的颜色属性：红色，在“图画”、“玫瑰花”以及“红色”任一词语可以作为语言学习内容的情况下，即可确定该画为语言教学的目标图片，继而在之后的步骤中结合该画进行单词picture、rose或者red的英文语言教学。

又如，当前场景为家中厨房，机器人通过物体等其他识别方式获知场景名称厨房，并进一步根据名称获知厨房的用途属性：可以用来做饭，“厨房”以及“做饭”可以作为语言学习内容，因此确定厨房场景为语言教学的目标场景，继而在之后的步骤中结合厨房场景进行单词kitchen或者cook的英文语言教学。

又或者，当前场景中有人在跳舞，机器人通过图像识别出动作行为名称跳舞，“跳舞”可以作为语言学习内容，因此确定该跳舞动作行为为语言教学的目标动作行为，继而在之后的步骤中结合该跳舞动作行为进行单词dance的英文语言教学。

在步骤103中，结合目标物体及教学语种，生成针对目标物体进行主动语言教学的多模态输出数据并输出。也就是说机器人基于步骤102中确定的目标物体和教学语种进行主动的语言教学行为。其中还包括对于教学语种以及交互语种的确认，交互语种即在教学时对教学内容进行提问或者讲解所用的语种，教学语种即用户想要学习的语种。

其中，交互语种可以根据教学对象的母语语种确定，机器人可以通过对教学对象的日常生活和学习使用的语种进行记录，从而获知教学对象的母语语种，同样也可以获知教学对象的教学语种。机器人也可通过用户使用操作界面输入以及其他多模态输入方式(例如，用户通过机器人操作界面选择)输入的数据来确定需要进行语言教学的交互语种和教学语种。

在本步骤中，机器人结合目标物体和教学语种生成对应的主动教学内容，进而生成相应教学行为的多模态输出数据并输出。在教学内容中加入目标物体的作用在于将抽象的语言学习与生活中的事物联系起来，从而将儿童用户身边的事物和现象作为语言教学的对象，以期加深学习印象，提高学习效果。

更为重要的是，本方法中教学行为的产生和实现都是机器人主动进行的，也就是说机器人基于获取的交互环境图像数据判断是否有合适的教学目标，即是否有确定的目标物体，在有合适的教学目标时，基于该教学目标主动发起教学行为。机器人在教学交互过程中扮演教学的引导者，而不是传统的根据用户的指令才进行教学，机器人通过准确把握主动教学发起的时机，可以对儿童用户的语言学习产生积极的引导，提高儿童用户的学习效果和兴趣。

在步骤103中一种具体实施方式中，首先基于目标物体生成教学内容文字信息。即基于目标物体的名称或相关属性结合教学语种生成教学内容文字信息。教学内容文字信息包含交互部分和教学部分，其中交互部分用于对教学内容进行提问或者讲解，采用交互语种，教学部分即所需要教学的内容，也就是目标物体的名称或者其相关属性词语，可以根据不同的教学模式选择采用交互语种或教学语种。

例如，在步骤102中确定可以用于语言教学的目标物体苹果，名称苹果可以作为语言教学的内容，在步骤103中生成的教学内容文字信息中，若确定的教学语种为英语，交互语种为中文，相应的教学模式为对物体名称进行英文翻译提问，则对应生成的交互部分可以为提问“小朋友，你知道___用英文怎么说吗”？苹果作为教学内容，教学部分即为“苹果”。生成的教学内容文字信息也就是“小朋友，你知道苹果用英文怎么说吗”？

基于上述对物体名称进行英文翻译提问的教学模式，在生成教学内容文字信息后，根据教学内容文字信息生成用第一语种(即交互语种)对目标物体进行第二语种(即教学语种)名称提问的多模态输出数据并输出，也就是说机器人通过语音输出向交互对象儿童说：“小朋友，你知道苹果用英文怎么说吗？”

显而易见的，基于不同的教学模式所生成的教学内容文字信息也会不同。当步骤103执行另一种对物体名称进行英文翻译讲解的教学模式时，如上例，机器人根据确定的目标物体苹果和教学语种英语以及交互语种中文生成教学内容文字信息“小朋友，苹果在英文中叫做apple”。然后根据该教学内容文字信息生成用第一语种(即交互语种)对目标物体进行第二语种(即教学语种)名称讲解的多模态输出数据并输出，也就是说机器人通过语音输出向交互对象儿童说：“小朋友，苹果在英文中叫做apple。”

当然，教学语种可以为多个，例如，交互语种为中文，教学语种为英语和法语，在提问的教学模式下，机器人即可生成并输出向交互对象儿童说：“小朋友，你知道苹果用英语和法语怎么说吗？”的教学行为。

在本发明实施例中，一个较为重要的多模态输出方式是语音结合动作的输出方式，也就是说多模态输出数据中包括与进行主动语言教学相关联的肢体动作输出数据。如上例，在机器人通过语音输出向教学对象儿童说：“小朋友，你知道苹果用英文怎么说吗？”的同时，机器人可以用自身手指指向该苹果，或者用手拿起该苹果，使儿童用户能够注意到该苹果，使该目标物体苹果与语音提问产生关联，达到将抽象的语言学习与生活中的事物联系起来的效果。

当然，教学内容文字信息的多模态输出方式不局限于语音输出或者语音结合动作的输出方式，也可以是包括图像输出等多种输出方式的结合。其中尤其包括能够使教学对象注意到目标物体，进而使该目标物体与相应的教学内容文字信息产生关联的多模态输出方式。

步骤103中还包括：结合步骤102中确定的目标图片、目标场景、目标动作行为及教学语种，生成针对目标图片、目标场景以及目标动作行为进行主动语言教学的多模态输出数据并输出。其具体实施方式与上述基于目标物体的主动语言教学的多模态输出方式相同，不再赘述。

本发明实施例提供的面向智能机器人的儿童教学方法，在执行完步骤103中的提问教学模式之后还包括回答接收步骤和回答反馈步骤。即首先接收用户对于提问的多模态输出数据的回答信息，然后解析回答信息，生成对回答信息进行评价和讲解的多模态信息并输出。

如上例，在机器人通过语音输出向教学对象儿童说：“小朋友，你知道苹果用英文怎么说吗？”之后，儿童用户回答“apple”，机器人接收儿童用户的语音回答信息并进行解析语义识别，判断儿童用户回答正确，进而生成肯定的评价和讲解的多模态信息并输出，机器人可以对儿童用户说：“对了，你真棒！”若儿童用户回答“我记不清了”或者回答错误，则生成相应的评价以及正确答案讲解的多模态信息并输出，机器人可以对儿童用户说：“没关系，我告诉你吧，是apple。”

机器人对回答信息进行评价和讲解的多模态信息输出可以以语音、图像、动作或者其结合等多种方式进行，其中一种较为重要的多模态输出方式是语音结合动作的输出方式，即机器人在进行评价和讲解的语音输出的同时执行相应的动作，用手指向或拿起目标物体。

进一步的，本发明实施例提供的面向智能机器人的儿童教学方法，还包括；在确定场景中存在多个目标物体时，结合多个目标物体以及教学语种，生成针对多个目标物体进行主动语言教学的多模态输出数据并输出。这种实施方式主要针对对于复杂场景的多目标识别，基于从复杂场景中识别出的多个目标物体进行主动语言教学。例如，交互场景图像数据中有一幅图画，机器人从图画中识别出在一片草原上，有五头牛在吃草，机器人可以将识别出的多维信息：牛、牛的数量五、牛的位置草原以及牛的动作吃草作为教学内容，进行相应的语言教学，比如，可以在提问的教学模式中，机器人可以用手指向该幅图画的不同目标，并同时进行基于相关联不同教学内容的连续提问。

进一步的，本发明实施例提供的面向智能机器人的儿童教学方法，还包括与用户进行语言教学内容相关的其他内容问答交互。即接收用户针对多模态输出数据的问题信息，然后解析问题信息，生成对问题信息进行答复的多模态信息并输出。儿童用户在语言教学过程中，往往会对于机器人的回答内容产生发散性思考，进而产生更多的相关问题。例如，在对苹果进行语言教学后，儿童用户可能会询问“苹果和梨的区别是什么啊”或者“苹果有多少种颜色呢”之类的与苹果相关的问题，在这种情况下，机器人接收儿童用户的问题信息，然后进行解析语语义识别，然后通过联网查询等方式得到最合适的回复结果，然后生成对上述问题进行答复的多模态信息并输出，从而满足儿童用户的发散性学习需求，扩展儿童用户的知识面。

本发明实施例还提供一种面向智能机器人的儿童教学装置，如图3所示，该装置包括：图像获取单元1、物体获取单元2和第一输出单元3。其中，图像获取单元用于获取当前交互场景图像数据。

物体获取单元用于对图像数据进行物体识别，确定场景中可用于语言教学的目标物体。

第一输出单元用于结合目标物体及教学语种，生成针对目标物体进行主动语言教学的多模态输出数据并输出。

进一步的，在本发明实施例中，如图4所示，物体获取单元2包括：图像解析模块和物体确定模块。

图像解析模块用于对图像数据进行解析，从中提取出物体图像信息。

物体确定模块用于对物体图像信息进行识别，确定其中可用于语言教学的目标物体。

在本发明的一种实施方式中多模态输出数据中包括：与进行主动语言教学相关联的肢体动作输出数据。

在本发明的一种实施方式中，如图5所示，第一输出单元3包括：文字生成模块和提问模块。其中，文字生成模块用于基于目标物体生成教学内容文字信息。提问模块用于根据教学内容文字信息生成用第一语种对目标物体进行第二语种名称提问的多模态输出数据并输出。

在本实施方式中，本发明提供的面向智能机器人的儿童教学装置还包括：第一接收单元和第二输出单元。其中，第一接收单元用于接收用户对于提问的多模态输出数据的回答信息。第二输出单元用于解析回答信息，生成对回答信息进行评价和讲解的多模态信息并输出。

当确定场景中存在多个目标物体时，本发明提供的面向智能机器人的儿童教学装置还包括第三输出单元，第三输出单元用于结合多个目标物体以及教学语种，生成针对多个目标物体进行主动语言教学的多模态输出数据并输出。

进一步的，本发明实施例提供的面向智能机器人的儿童教学装置还包括：第二接收单元和第四输出单元。其中，第二接收单元用于接收用户针对多模态输出数据的问题信息。第四输出单元用于解析问题信息，生成对问题信息进行答复的多模态信息并输出。

本发明提供一种面向智能机器人的儿童教学方法，通过对于交互环境的图像识别，发现交互环境中的物体、图片以及动作等生活中蕴含着的丰富教学素材，把儿童身边的事物和现象作为儿童语言教学的对象，从而恰当的捕捉生活中的教育契机进行语言教学活动，这种语言教学方式亲切自然，能够吸引儿童的参与，可以提高儿童的学习效率，提高了用户体验。更为重要的是，本方法中教学行为的产生和实现都是机器人主动进行的，也就是说机器人基于获取的交互环境图像数据判断是否有合适的教学目标，在有合适的教学目标时，主动发起教学行为。机器人在教学交互过程中扮演教学的引导者，而不是传统的根据用户的指令才进行教学，机器人通过准确把握主动教学发起的时机，可以对儿童用户的语言学习产生积极的引导，提高儿童用户的学习效果和兴趣。

应该理解的是，本发明所公开的实施例不限于这里所公开的特定结构、处理步骤或材料，而应当延伸到相关领域的普通技术人员所理解的这些特征的等同替代。还应当理解的是，在此使用的术语仅用于描述特定实施例的目的，而并不意味着限制。

虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (7)

1.一种面向智能机器人的儿童教学方法，其特征在于，包括：

获取当前交互场景图像数据；

对所述图像数据进行解析，从中提取出具体的物体的图像信息并进行识别，从而获知物体的具体名称，并进一步获知物体的属性，进而根据物体的名称和属性判断该物体是否可以用于进行语言教学，若该物体可以用于语言教学，则确定该物体为语言教学的目标物体；

其中，采用以下操作判断物体是否可以用于进行语言教学：

以机器人的语言教学词库中是否有该物体名词教学内容为判断依据；

对教学对象的学习经历及学过内容的掌握程度进行记录，形成对应的教学对象词库，基于教学对象词库以教学对象的语言知识掌握水平或该物体名词是否为教学对象已经学过的词为判断依据，其中，教学对象的词库既可以作为某物体作为目标物体的选择标准，也可以作为排除标准；

通过识别出的物体的名称获知物体的属性，根据其属性判断该物体是否作为语言教学的目标物体，所述属性包括外在特征属性、用途属性、材质属性以及物体被赋予的抽象意义和可以通过联想关联到的相关信息；

结合所述目标物体及教学语种，生成针对所述目标物体进行主动语言教学的多模态输出数据并输出；在所述生成主动语言教学的多模态输出数据并输出的步骤中包括：

基于所述目标物体生成教学内容文字信息；

根据所述教学内容文字信息生成用第一语种对所述目标物体进行第二语种名称提问的多模态输出数据并输出；

其中，当确定场景中存在多个目标物体时，结合所述多个目标物体以及教学语种，生成针对所述多个目标物体进行主动语言教学的多模态输出数据并输出。

2.根据权利要求1所述的面向智能机器人的儿童教学方法，其特征在于，所述多模态输出数据包括：与进行主动语言教学相关联的肢体动作输出数据。

3.根据权利要求1所述的面向智能机器人的儿童教学方法，其特征在于，

所述的面向智能机器人的儿童教学方法，还包括：

接收用户对于所述提问的多模态输出数据的回答信息；

解析所述回答信息，生成对所述回答信息进行评价和讲解的多模态信息并输出。

4.根据权利要求1所述的面向智能机器人的儿童教学方法，其特征在于，还包括：

接收用户针对所述多模态输出数据的问题信息；

解析所述问题信息，生成对所述问题信息进行答复的多模态信息并输出。

5.一种面向智能机器人的儿童教学装置，其特征在于，包括：

图像获取单元，其用于获取当前交互场景图像数据；

物体获取单元，其用于对所述图像数据中的具体的物体的图像信息进行识别，从而获知物体的具体名称，并进一步获知物体的属性，进而根据物体的名称和属性判断该物体是否可以用于进行语言教学，若该物体可以用于语言教学，则确定该物体为语言教学的目标物体；

所述物体获取单元采用以下操作判断物体是否可以用于进行语言教学：

以机器人的语言教学词库中是否有该物体名词教学内容为判断依据；

对教学对象的学习经历及学过内容的掌握程度进行记录，形成对应的教学对象词库，基于教学对象词库以教学对象的语言知识掌握水平或该物体名词是否为教学对象已经学过的词为判断依据，其中，教学对象的词库既可以作为某物体作为目标物体的选择标准，也可以作为排除标准；

通过识别出的物体的名称获知物体的属性，根据其属性判断该物体是否作为语言教学的目标物体，所述属性包括外在特征属性、用途属性、材质属性以及物体被赋予的抽象意义和可以通过联想关联到的相关信息；

第一输出单元，其用于结合所述目标物体及教学语种，生成针对所述目标物体进行主动语言教学的多模态输出数据并输出，其中，当确定场景中存在多个目标物体时，结合所述多个目标物体以及教学语种，生成针对所述多个目标物体进行主动语言教学的多模态输出数据并输出；所述第一输出单元包括：

文字生成模块，其用于基于所述目标物体生成教学内容文字信息；

提问模块，其用于根据所述教学内容文字信息生成用第一语种对所述目标物体进行第二语种名称提问的多模态输出数据并输出；

所述物体获取单元包括：

图像解析模块，其用于对所述图像数据进行解析，从中提取出具体的物体的图像信息；

物体确定模块，其用于对所述物体图像信息进行识别，确定其中可用于语言教学的目标物体。

6.根据权利要求5所述的面向智能机器人的儿童教学装置，其特征在于，所述多模态输出数据包括：与进行主动语言教学相关联的肢体动作输出数据。

7.根据权利要求5所述的面向智能机器人的儿童教学装置，其特征在于，

所述面向智能机器人的儿童教学装置，还包括：

第一接收单元，其用于接收用户对于所述提问的多模态输出数据的回答信息；

第二输出单元，其用于解析所述回答信息，生成对所述回答信息进行评价和讲解的多模态信息并输出。

Images