CN113900384B - 机器人与智能设备交互的方法、装置及电子设备 - Google Patents
机器人与智能设备交互的方法、装置及电子设备 Download PDFInfo
- Publication number
- CN113900384B CN113900384B CN202111193475.3A CN202111193475A CN113900384B CN 113900384 B CN113900384 B CN 113900384B CN 202111193475 A CN202111193475 A CN 202111193475A CN 113900384 B CN113900384 B CN 113900384B
- Authority
- CN
- China
- Prior art keywords
- robot
- intelligent
- parameters
- mode
- equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 122
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000012549 training Methods 0.000 claims abstract description 58
- 238000005286 illumination Methods 0.000 claims description 23
- 238000004378 air conditioning Methods 0.000 claims description 14
- 230000033001 locomotion Effects 0.000 claims description 11
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 abstract description 12
- 230000000007 visual effect Effects 0.000 description 21
- 230000006870 function Effects 0.000 description 19
- 238000010408 sweeping Methods 0.000 description 17
- 230000000694 effects Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 238000005406 washing Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 238000010411 cooking Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 239000000428 dust Substances 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000007791 dehumidification Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000001795 light effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B15/00—Systems controlled by a computer
- G05B15/02—Systems controlled by a computer electric
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/26—Pc applications
- G05B2219/2642—Domotique, domestic, home control, automation, smart house
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Manufacturing & Machinery (AREA)
- Quality & Reliability (AREA)
- Manipulator (AREA)
Abstract
本公开提供了一种机器人与智能设备交互的方法、装置和电子设备,其中所述方法包括:根据传感数据和对应的智能设备参数生成可调节参数训练模型;通过所述可调节参数训练模型训练得到不同的控制交互模式;建立所述机器人与所述智能设备的网络连接;根据所述机器人所属场景的传感数据参数选取对应的智能设备和控制交互模式;获取所述控制交互模式中所述智能设备的目标参数和可调节参数;将所述可调节参数以目标参数作为基准对所述智能设备进行调节控制。能够通过机器人与智能硬件的交互,控制智能设备达到最佳环境模式,并能解决在机器人执行任务过程中遇到的障碍问题,减弱或消除机器人执行任务过程中的干扰因素。
Description
技术领域
本公开涉及人工智能领域,尤其涉及一种机器人与智能设备交互的方法、装置及电子设备。
背景技术
随着人工智能的发展,智能机器人可以按照人类的需求解决越来越多的实际问题,例如智能推荐、餐厅送餐、智能跟踪等,还能与用户进行各种智能交互,在解答问题的同时增加趣味性,目前来说,机器人的交互属性应用越来越得到重视和发展。
现有的机器人在执行任务或交互的过程中,常常会遇到周围环境不佳的情况,例如机器人所述环境光线不足、环境温度过高或过低、环境中存在阻碍识别的因素或降低识别精度的因素、环境噪音过大、音乐音量的大小不合适、或者阻碍机器人行进的设备等等,因而如何减弱或消除机器人在执行任务或交互过程中的干扰因素,提升用户体验成为亟待解决的问题。
发明内容
本发明实施方式的目的在于提供一种机器人与智能设备交互的方法,在机器人执行任务的过程中,如果遇到环境问题、阻碍任务问题,例如环境光线问题造成无法识别物体或拍摄效果不佳,环境温度过低或过高、智能设备造成机器人行进障碍等,此时,将机器人与智能设备进行联网交互,智能控制联网的智能设备,解决上述问题。
为了实现上述目的,第一方面,本发明的实施例提供了一种机器人与智能设备交互的方法,包括:
根据传感数据和对应的智能设备参数生成可调节参数训练模型;
通过所述可调节参数训练模型训练得到不同的控制交互模式;
建立所述机器人与所述智能设备的网络连接;
根据所述机器人所属场景的传感数据参数选取对应的智能设备和控制交互模式;
获取所述控制交互模式中所述智能设备的目标参数和可调节参数;
将所述可调节参数以目标参数作为基准对所述智能设备进行调节控制。
进一步的,所述根据传感数据和对应的智能设备参数生成可调节参数训练模型,包括:
通过机器人上的传感器获取多个传感数据;
记录所述传感数据对应的智能设备的位置和可调节参数;
提取所述传感数据中的传感数据参数;
生成所述传感数据参数与所述可调节参数的卷积神经网络训练模型。
进一步的,所述通过所述可调节参数训练模型训练得到不同的控制交互模式,包括:
在可调节参数训练模型中输入多个传感数据;
将所述多个传感数据进行场景分类;
训练优化每一个场景中的传感数据的传感数据参数;
输出所述传感数据对应的控制交互模式。
进一步的,所述根据所述机器人所属场景的传感数据参数选取对应的智能设备和控制交互模式,包括:
所述机器人实时采集所述场景的当前传感数据;
提取所述当前传感数据参数;
将所述传感数据参数与存储的多个传感数据参数进行比对,选取一致的传感数据;
选取所述一致的传感数据对应的智能设备和以及控制交互模式。
进一步的,所述控制交互模式包括对应场景中的至少一个智能设备的位置和可调节参数,所述智能设备的目标参数为对应控制交互模式中预先设置的基准智能设备参数,所述可调节参数为根据所述机器人所属场景对应的所述智能设备参数。
进一步的,所述方法还包括:
检测所述机器人所在位置的一定区域内的智能设备;
根据所述智能设备的类型选择对应的控制交互模式;
按照所述控制交互模式对所述智能设备进行控制交互;
在所述机器人执行完成任务离开所述区域后,将所述硬件设备恢复至原始状态。
进一步的,所述方法包括:
当检测到所述智能设备为可移动的设备时,根据所述机器人和所述智能设备的相对位置,如果所述智能设备的位置位于所述机器人执行任务的路径上,则对所述智能设备进行移动控制;
控制所述智能设备移动到所述机器人执行任务的路径之外第一距离;
在所述机器人执行任务离开第二距离后,控制所述智能设备至原始位置。
进一步的,所述传感数据为视觉可识别图像时,所述方法包括:
检测所述机器人所在位置的一定区域内的照明设备;
根据所述照明设备的图像参数选择对应的照明调整模式;
按照所述照明调整模式对所述照明设备的可调节参数进行调整。
进一步的,所述传感数据为声音识别数据时,所述方法包括:
检测所述机器人所在位置的一定区域内的媒体设备和噪音设备;
根据所述媒体设备和噪音设备的声音参数选择对应的声音控制模式;
按照所述声音控制模式对所述媒体设备和噪音设备的可调节参数进行调整。
进一步的,所述智能设备包括照明设备、家用电器、智能终端、智能家居设备、智能交通设备、智能机器人中的至少其中之一。
进一步的,所述控制交互模式包括照明调整模式、位置调整模式、角度调整模式、显示调节模式、空调模式、声音控制模式以及组合模式中的至少其中之一。
第二方面,本公开实施例提供一种机器人与智能设备交互的装置,该装置包括:
模型生成模块,用于根据视觉可识别图像和对应的智能设备参数生成可调节参数训练模型;
训练模块,用于通过所述可调节参数训练模型训练得到不同的控制交互模式;
连接模块,用于建立所述机器人与所述智能设备的网络连接;
模式选取模块,用于根据所述机器人所属场景的图像参数选取对应的智能设备和控制交互模式;
参数获取模块,用于获取所述控制交互模式中所述智能设备的可调节参数;
控制模块,用于根据所述可调节参数对所述智能设备进行控制。
第三方面,本公开实施例提供一种电子设备,包括:
存储器,用于存储计算机可读指令;以及
处理器,用于运行所述计算机可读指令,使得所述电子设备实现上述第一方面中任意一项所述的方法。
第四方面,本公开实施例提供一种非暂态计算机可读存储介质,用于存储计算机可读指令,当所述计算机可读指令由计算机执行时,使得所述计算机实现上述第一方面中任意一项所述的方法。
本公开实施例公开了一种机器人与智能设备交互的方法、装置、电子设备和计算机可读存储介质,其中所述方法包括:根据传感数据生成对应的智能设备的可调节参数训练模型;通过所述可调节参数训练模型训练得到不同的控制交互模式;建立所述机器人与所述智能设备的网络连接;根据所述机器人所属场景的传感数据参数选取对应的智能设备和控制交互模式;获取所述控制交互模式中所述智能设备的目标参数及可调节参数;将所述可调节参数以目标参数作为基准对所述智能设备进行调节控制。通过本公开的机器人与智能设备交互的方法,能够通过机器人与智能硬件的交互,控制智能设备达到最佳环境模式,并能解决在机器人执行任务过程中遇到的障碍问题,减弱或消除机器人执行任务过程中的干扰因素。
上述说明仅是本公开技术方案的概述,为了能更清楚了解本公开的技术手段,而可依照说明书的内容予以实施,并且为让本公开的上述和其他目的、特征和优点能够更明显易懂,以下特举较佳实施例,并配合附图,详细说明如下。
附图说明
图1为本公开一实施例提供的机器人与智能设备交互的方法流程示意图;
图2为本公开一实施例提供的机器人与智能设备交互的场景示意图;
图3为本公开一实施例提供的机器人的智能设备控制交互模式示意图;
图4为本公开另一实施例提供的机器人与智能设备交互的装置示意图;
图5为本公开另一实施例提供的电子设备的结构示意图。
具体实施方式
为了能够更清楚地描述本发明的技术内容,下面结合具体实施例来进行进一步的描述。
以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
应当理解,本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行,和/或并行执行。此外,方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”;术语“另一实施例”表示“至少一个另外的实施例”;术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
在本公开使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。下面参考附图详细描述公开的各实施方式。
图1为本公开实施例提供的机器人与智能设备交互的方法的流程示意图,本实施例提供的方法可以由一机器人与智能设备交互的装置来执行,该装置可以实现为软件,或者实现为软件和硬件的组合,该装置可以集成设置在机器人与智能设备交互系统中的某设备中,比如终端设备中。如图1所示,该方法包括如下步骤:
步骤S101:根据传感数据生成对应的智能设备的可调节参数训练模型。
在步骤S101中,根据传感数据生成对应的智能设备的可调节参数训练模型,包括:通过机器人上的传感器获取多个所述传感数据;记录所述视觉可识别图像对应的智能设备的位置和可调节参数;提取所述可识别图像中的图像参数;生成所述图像参数与所述可调节参数的卷积神经网络训练模型。
结合附图2,该附图2示出了本公开一实施例提供的机器人与智能设备交互的场景示意图,其中机器人上设置有视觉传感器,例如图像摄像头和/或深度摄像头,其中图像摄像头用于拍照或摄像,实时采集机器人想要采集的环境图像或目标图像。深度摄像头用于采集机器人周围的深度图像,并计算目标物的尺寸。例如ToF摄像头,ToF全称是Time ofFlight,深度摄像头有很多不同的方式去实现,例如双摄像头的视差,单个摄像头通过移动在不同角度捕捉同一场景,photometric stereo等等,甚至还有ML的方式重建场景模型,或者通过多次不同距离的对焦计算距离。如图2,机器人与环境中的各智能设备是通过网络进行连接,智能设备可以为照明设备、空调、电动窗帘、电视、电脑、扫地机器人、智能插座,智能开关等,以上智能设备仅是作为示例,不限于此。例如智能设备还可以是无人机、智能汽车、平衡车等。
机器人在执行任务的过程中,实时采集周围环境的图像及目标物,而机器人所在的场景有可以是正常光线的环境,也可能是光线不足的环境或者光线过强的环境,拍摄的图像可能是视觉可识别的图像,可能是视觉不可识别的图像,其中视觉可识别的图像也会根据拍摄环境的光线的不同而不同,有效果好的,也有效果差的。机器人在拍摄图像时,通过网络获取拍照当时环境中的智能硬件对应的可调节参数,例如照明设备的亮度、照射角度、位置等,空调的温度、湿度、空调模式等,窗帘的遮光比例、窗帘拉上的位置等,扫地机器人的位置、运动方向和轨迹等,各个智能开关和智能插座的状态等等。通过对这些图像结合拍照时对应的智能设备参数进行数据标记,从而形成具有智能设备参数标识的图像分类,通过将这些图像分类数据进行卷积神经网络学习训练,生成对应的智能设备的可调节参数训练模型,其中选取满足用户需求最优的视觉可识别图像,其对应的智能设备的调节参数作为目标调节参数。通过该训练模型,可以将机器人新采集到的图像对应得到采集时的智能硬件设备的可调节参数。用于机器人后续会根据目标调节参数将对应的智能设备的可调节参数向目标调节参数进行调节控制。
步骤S102:通过所述可调节参数训练模型训练得到不同的控制交互模式。
在步骤S102中,所述通过所述可调节参数训练模型训练得到不同的控制交互模式,包括:在可调节参数训练模型中输入多个传感数据,所述传感数据以视觉可识别图像为例,将所述多个视觉可识别图像进行场景分类;训练优化每一个场景中的视觉可识别图像的图像参数;输出所述视觉可识别图像对应的控制交互模式。所述控制交互模式包括照明调整模式、位置调整模式、角度调整模式、显示调节模式、温度调节模式、声音控制模式以及组合模式中的至少其中之一。
结合附图2,所述控制交互模式包括对应场景中的至少一个智能设备的位置和可调节参数。其中一个模式对应一组智能设备,该一组智能设备可以为一个,也可以为多个,一组智能设备都可控制,具有可调节参数,例如,在照明调整模式中,对应的智能设备可以单独为照明设备,也可以包括电动窗帘等。而且机器人在经过不同的场景位置时可以根据场景切换照明条件。机器人根据采集到的视觉图像对应于采集时该组智能设备的相关可调节参数,根据采集到的图像与关联的智能设备的类型,进行数据训练标记,训练得到对应的控制交互模式,例如照明调整模式、位置调整模式、角度调整模式、显示调节模式、温度调节模式、声音控制模式以及组合模式等,本公开中的模式不限于此。每个模式都对应不同的设备参数,这些设备参数在条件最优的情况下可以设置对应的目标参数,每个模式都具有一个目标参数,该目标参数根据条件最优的场景情况下设置的智能设备参数,为对应控制交互模式中预先设置的基准智能设备参数,机器人获取的可调节参数为根据所述机器人所属场景对应的所述智能设备参数。
步骤S103:建立所述机器人与所述智能设备的网络连接。
在步骤S103中,通过WiFi无线网络、蓝牙、Zigbee网关和多模网中的至少其中之一对所述机器人和所述智能设备建立网络连接。机器人通过网络连接获取网内相关智能设备的控制权,用于调节控制所述智能设备的各种相关参数。
步骤S104:根据所述机器人所属场景的传感数据参数选取对应的智能设备和控制交互模式。
在步骤S104中,所述根据所述机器人所属场景的传感数据参数选取对应的智能设备和控制交互模式,包括:所述机器人实时采集所述场景的当前传感数据,此处以图像为例;提取所述当前图像的图像参数;将所述当前图像的图像参数与存储的多个图像的图像参数进行比对,选取图像参数一致的图像;选取所述图像参数一致的图像对应的智能设备和以及控制交互模式。本公开中根据场景和需求设置不同的控制模式,例如照明调整模式、位置调整模式、角度调整模式、显示调节模式、空调模式、声音控制模式以及组合模式等。结合图2 的各种场景,下面介绍对应不同的交互控制模式。
当机器人进行视觉识别时,场景的光线会对机器人视觉识别造成影响,使得机器人在视觉识别时,会因为光照的影响不能识别,或者识别效果或拍照效果不是最佳,此时,需要根据机器人根据训练模型中的最佳效果对应的可调节参数,对照明设备进行调节,使环境达到最佳照明效果。此时照明设备可以为灯光、阳光等,此时机器人获取场景的图像,根据训练模型得到对应的控制场景为照明调整模式。此模式下,所需配合的智能设备可以为智能台灯/蓝牙灯/智能插电夜灯通信,但不限于此。
当机器人进行路径移动时,如果碰到可移动智能设备在移动路径上,可将控制交互模式设置成位置调整模式。此模式下,所需配合的智能设备可以为扫地机器人/平衡车/智能自行车/电动车/吸尘器/滑板车/无人机/智能窗帘/电动晾衣架等,但不限于此。
当机器人在需要安静的场景中检测到场景中智能设备的声音过大时,可将控制交互模式设置成声音调整模式。此模式下,所需配合的智能设备可以为智能电视/智能音箱/扫地机器人/智能洗衣机/空气净化器/风扇/料理机/抽油烟机/洗衣机等,但不限于此。
当机器人在需要给用户设置舒适的生活/办公场景中,可将控制交互模式设置成空调模式。此模式下,所需配合的智能设备可以为智能空调、加湿器、除湿器和/或风扇等,但不限于此。
另外,本公开实施例中,还可以将多个格式进行组合,例如照明模式和空调模式,空调模式、位置移动模式和人体服务模式等等,构成组合模式,适应多种需求。
步骤S105:获取所述控制交互模式中所述智能设备的目标参数及可调节参数。
对应于步骤S104中的各控制交互模式,在步骤S105中,获取各个控制交互模式中所述智能设备的目标参数及可调节参数。所述控制交互模式包括对应场景中的至少一个智能设备的位置和可调节参数,所述智能设备的目标参数为对应控制交互模式中预先设置的基准智能设备参数,所述可调节参数为根据所述机器人所属场景对应的所述智能设备参数。每个模式都对应不同的设备参数,这些设备参数在条件最优的情况下可以设置对应的目标参数,每个模式都具有一个目标参数,该目标参数根据条件最优的场景情况下设置的智能设备参数,为对应控制交互模式中预先设置的基准智能设备参数,机器人获取的可调节参数为根据所述机器人所属场景对应的所述智能设备参数。结合图2的各种场景,下面介绍对应不同的交互控制模式。
本实施例中,以视觉识别为例,当机器人进行视觉识别时,场景的光线会对机器人视觉识别造成影响,使得机器人在视觉识别时,会因为光照的影响不能识别,或者识别效果或拍照效果不是最佳,此时,需要根据机器人根据训练模型中的最佳效果对应的可调节参数,对照明设备进行调节,使环境达到最佳照明效果。此处的照明设备可以为灯光、阳光等,此时机器人获取场景的图像,根据训练模型得到对应的控制场景为照明调整模式。根据该模式,服务器获取各种智能灯的可颜色调节的范围、色温调节的范围、亮度、,灯的旋转角度/照射角度(上下翻转或者左右翻转),照射范围,模式(例如:日光模式/彩光模式/夜光模式/阅读模式/电脑模式)。
机器人执行任务运动时,进行扫图/抓取/识别等操作,实时采集当前画面,在经过某个智能设备时,针对包括不限于所属场景的设备,机器人和智能设备进行一对一,一对多的功能请求,并进行拍照(例如:卧室位置的台灯开启(目前色温、亮度和旋转角度),得到照片中物体识别性较低;但如果卧室台灯开启(目前色温、亮度和旋转角度)同时,卧室吸顶灯也开启,照片中物体识别性变得较高)。服务器保存智能设备当前数据,包括智能硬件、功能数值、硬件位置、开启光源的照片(即目标参数对应的照片)和未开启光源的照片,针对照片,标记光源的位置和功能数值。由于逆光/光线过暗/过曝导致画面不清晰,导致无法准确识别时,根据机器人所在位置、环境和画面图像,机器人与所需配合的智能台灯/蓝牙灯/智能插电夜灯通信。
当机器人进行路径移动时,如果碰到可移动智能设备在移动路径上,可将控制交互模式设置成位置调整模式。此模式下,服务器获取智能窗帘开和的比例大小/开启暂停关闭,车辆速度/可移动方向,晾衣架(高度升高/降低/暂停)。机器人执行任务(扫图/抓取/识别等)过程中,实时视觉识别障碍物,当检测到有窗帘、平衡车、智能自行车、扫地机器人、智能吸尘器、智能滑板车、无人机、晾衣架等可位移的设备时,获取这些可移动智能设备的可调节参数,获取智能设备所在位置、环境,给出一个所需移动设备的移动范围和方向。
当机器人在需要安静的场景中检测到场景中智能设备的声音过大时,可将控制交互模式设置成声音调整模式。此模式下,服务器获取智能设备的可调整参数,例如智能电视/智能音箱的音量控制,扫地机器人/智能洗衣机/空气净化器的模式、开启关闭暂停,落地风扇的档位、开始摇头停止摇头、开启关闭、左右扫风(风速1-5档),料理机的模式、开启关闭暂停,智能摄像头的旋转角度、开启和关闭、日夜间模式等,抽油烟机的打开关闭、低风速高风速,洗衣机的开启关闭暂停。机器人在经过某个智能设备时,针对包括不限于所属场景的设备,机器人和智能设备进行一对一,一对多的功能请求,开启智能设备的声音 (从最高到最低),机器人播放一段录音,机器人同时对录音内容进行语音识别,通过对比语音识别的信息和录音文件,得到所在机器人所能接受的智能设备声音的数值。服务器保存智能设备当前数据,数据涉及智能硬件、功能数值、设备位置以及声音数据。
另外,本公开实施例中,还可以将多个模式进行组合,例如照明模式和空调模式,空调模式和位置移动模式等等,构成组合模式,适应多种需求。获取组合模式中包含的各个模式中的智能硬件的可调节参数和目标参数。
步骤S106:将所述可调节参数以目标参数作为基准对所述智能设备进行调节控制。
在步骤S106中,按照对应的控制交互模式,将获取到的可调节参数以目标参数作为基准对所述智能设备进行调节控制。
当机器人获取的场景对应控制交互模式为照明调整模式时,根据获取到的智能设备中的可调节参数,以目标参数进行调节。所述传感数据为视觉可识别图像时,包括:检测所述机器人所在位置的一定区域内的照明设备;根据所述照明设备的图像参数选择对应的照明调整模式;按照所述照明调整模式对所述照明设备的可调节参数进行调整。
具体的,机器人执行任务运动时,进行扫图/抓取/识别等操作,实时采集当前画面,在经过某个智能设备时,针对包括不限于所属场景的设备,机器人和智能设备进行一对一,一对多的功能请求,并进行拍照,记录此时卧室位置的台灯开启状态、目前色温、亮度和旋转角度,得到照片中物体识别性较低;但如果卧室台灯开启状态、目前色温、亮度和旋转角度;同时,卧室吸顶灯也开启,照片中物体识别性变得较高。由于逆光/光线过暗/过曝导致画面不清晰,导致无法准确识别时,根据机器人所在位置、环境和画面图像,机器人与所需配合的智能台灯/蓝牙灯/智能插电夜灯通信,开启或者调整此设备到之前存储的功能数值(进行灯颜色调节/色温调节/亮度/开启或者关闭,例如:开启卧室台灯和吸顶灯,并调到对应的功能数值),移动灯的旋转角度/照射角度。在第一遍调节之后,如果效果依然不好,继续执行调节,直到获取好的图像效果。针对服务器所获取的智能设备,把经过标记的照片加入到算法训练中(视觉识别算法/ 神经网络算法)。如果之前没有经过一个区域,通过视觉算法,针对得到一个灯开启数量和功能数值,进行灯光调节。当机器人执行完成任务离开此区域时,所需配合的智能灯恢复到之前的状态。
当机器人获取的场景对应控制交互默哀是为声音调整模式时,根据获取到的智能设备中的可调节参数,以目标参数进行调节。所述传感数据为声音识别数据时,包括:检测所述机器人所在位置的一定区域内的媒体设备和噪音设备;根据所述媒体设备和噪音设备的声音参数选择对应的声音控制模式;按照所述声音控制模式对所述媒体设备和噪音设备的可调节参数进行调整。当机器人在需要安静的场景中检测到场景中智能设备的声音过大时,可将控制交互模式设置成声音调整模式。此模式下,服务器获取媒体设备和噪音设备的可调整参数,其中智能电视、智能音箱、其它音乐设备等为媒体设备,声音不构成噪音,按照用户需求进行调整;而扫地机器人、洗衣机、风扇、料理机等为噪音设备,在要求安静的模式下需要调整模式或档位降低其噪音。例如智能电视/智能音箱的音量控制,扫地机器人/智能洗衣机/空气净化器的模式、开启关闭暂停,落地风扇的档位、开始摇头停止摇头、开启关闭、左右扫风(风速1-5档),料理机的模式、开启关闭暂停,智能摄像头的旋转角度、开启和关闭、日夜间模式等,抽油烟机的打开关闭、低风速高风速,洗衣机的开启关闭暂停。机器人在经过某个智能设备时,针对包括不限于所属场景的设备,机器人和智能设备进行一对一,一对多的功能请求,开启智能设备的声音(从最高到最低),机器人播放一段录音,机器人同时对录音内容进行语音识别,通过对比语音识别的信息和录音文件,得到所在机器人所能接受的智能设备声音的数值。
当机器人获取的场景对应控制交互模式为位置调整模式时,根据获取到的智能设备中的可调节参数,以目标参数进行调节。此模式下,检测所述机器人所在位置的一定区域内的智能设备;根据所述智能设备的类型选择对应的控制交互模式;按照所述控制交互模式对所述智能设备进行控制交互;在所述机器人执行完成任务离开所述区域后,将所述硬件设备恢复至原始状态。当检测到所述智能设备为可移动的设备时,根据所述机器人和所述智能设备的相对位置,如果所述智能设备的位置位于所述机器人执行任务的路径上,则对所述智能设备进行移动控制;控制所述智能设备移动到所述机器人执行任务的路径之外第一距离;在所述机器人执行任务离开第二距离后,控制所述智能设备至原始位置。机器人根据获取的智能设备可调节参数和所述智能设备的具体位置,并根据机器人所在位置、环境,给出一个所需移动设备(例如窗帘、平衡车、智能自行车、扫地机器人、智能吸尘器、智能滑板车、无人机、晾衣架等)的移动范围/方向/速度,机器人与所需配合的可移动设备通信,将可移动设备移动到其他位置,等机器人执行任务离开时,可移动设备回到原位置。
当机器人获取的场景对应控制交互模式为声音调整模式时,根据获取到的智能设备中的可调节参数,以目标参数进行调节。此模式下,对智能设备的控制调整包括但不限于,例如智能电视/智能音箱的音量控制,扫地机器人/智能洗衣机/空气净化器的模式、开启关闭暂停,落地风扇的档位、开始摇头停止摇头、开启关闭、左右扫风(风速1-5档),料理机的模式、开启关闭暂停,智能摄像头的旋转角度、开启和关闭、日夜间模式等,抽油烟机的打开关闭、低风速高风速,洗衣机的开启关闭暂停。机器人在经过某个智能设备时,针对包括不限于所属场景的设备,机器人和智能设备进行一对一,一对多的功能请求,开启智能设备的声音(从最高到最低),机器人播放一段录音,机器人同时对录音内容进行语音识别,通过对比语音识别的信息和录音文件,得到所在机器人所能接受的智能设备声音的数值。机器人接收语音信息时,当检测到有声音干扰时,根据机器人所在位置、环境,调整声音的智能设备的声音大小/档位/开启和关闭。可选的,当视觉/声音识别到设备一定范围内有人时,语音交互的方式询问是否可以暂停设备。等机器人执行任务离开时,恢复到之前的状态。
当机器人获取的场景对应控制交互模式为空调模式时,根据获取到的智能设备中的可调节参数(环境参数),以目标参数进行调节。此模式下,对空调的可调整控制参数进行调整,空调模式(例如:自动/制冷除湿/加热/送风)/送风(例如:上下扫风/左右扫风)/风速(例如:自动/低/中/高),风扇,加湿器 (打开关闭,风速1-5档位)的档位/开启和关闭,除湿器(打开关闭,风速低中高)。由于室内温度过高/过低影响机器人运行时,开启或者关闭或者暂停某个智能设备。
另外,组合模式下,为适应多种需求。对组合模式中包含的各个模式中的智能硬件的可调节参数进行向目标参数调整控制。
图3为本公开一实施例提供的机器人的智能设备控制交互模式示意图。其中所述控制交互模式包括照明调整模式、位置调整模式、角度调整模式、显示调节模式、温度调节模式、声音控制模式以及组合模式中的至少其中之一。图中示出了多个交互控制模式可以将多个模式进行组合,例如照明模式和空调模式,空调模式和位置移动模式等等,构成组合模式,适应多种需求。组合模式中包含的各个模式中的智能硬件的可调节参数和目标参数。组合模式下,为适应多种需求。对组合模式中包含的各个模式中的智能硬件的可调节参数进行向目标参数调整控制。
图中以照明调整模式、位置调整模式和组合模式为例,如图所示,照明调整模式根据不同的场景和需求可以设置不同的子模式1、子模式2、……子模式 n,n为自然数。不同的子模式下对应的智能设备可能相同,也可能不同,例如机器人在客厅的环境下,对应照明调整模式中的子模式1的智能设备为客厅顶灯、落地灯、走廊灯、电动窗帘等,按照最佳光线效果对应的目标参数对上述智能设备进行调整控制,在卧室环境下,对应的照明调整模式中的子模式2和子模式3的智能设备为卧室灯、台灯、夜灯、电动窗帘等,按照用户的状态将子模式2设置为白天模式,或将子模式3设置为夜间模式,将对应的目标参数对上述智能设备进行调整控制。
同样的,位置调整模式根据不同的场景和需求可以设置不同的子模式1、子模式2、……子模式n,n为自然数。当机器人进行路径移动时,如果碰到可移动智能设备在移动路径上,可将控制交互模式设置成位置调整模式。此模式下,所需配合的智能设备可以为扫地机器人/平衡车/智能自行车/电动车/吸尘器/滑板车/无人机/智能窗帘/电动晾衣架等。机器人可以根据子模式的不同选择对应场景的子模式,并将对应的目标参数对上述智能设备进行调整控制。
本公开实施例中其它的控制交互模式同样根据场景和需求的不同分别包括各自模式的子模式1、子模式2、……子模式n,n为自然数。
而不同的模式之间可以任意或按需求组合,形成组合模式,组合模式中可包括照明调整模式、位置调整模式或其它模式。机器人可以根据组合模式内的相关模式的不同选择对应模式中的子模式,并将对应的目标参数对上述智能设备进行调整控制。
图4为本公开另一实施例提供的音频驱动虚拟人像行为的装置示意图。该音频驱动虚拟人像行为的装置包括:模型生成模块401、训练模块402、连接模块403、模式选取模块404、参数获取模块405和控制模块406。其中:
所述模型生成模块401根据传感数据和对应的智能设备参数生成可调节参数训练模型。
本实施例中的传感数据以视觉可识别图像为例,所述模型生成模块具体用于:获取多个所述视觉可识别图像;记录所述视觉可识别图像对应的智能设备的位置和可调节参数;提取所述可识别图像中的图像参数;生成所述图像参数与所述可调节参数的卷积神经网络训练模型。
机器人在拍摄图像时,通过网络获取拍照当时环境中的智能硬件对应的可调节参数,例如照明设备的亮度、照射角度、位置等,空调的温度、湿度、空调模式等,窗帘的遮光比例、窗帘拉上的位置等,扫地机器人的位置、运动方向和轨迹等,各个智能开关和智能插座的状态等等。通过对这些图像结合拍照时对应的智能设备参数进行数据标记,从而形成具有智能设备参数标识的图像分类,通过将这些图像分类数据进行卷积神经网络学习训练,生成对应的智能设备的可调节参数训练模型,其中选取满足用户需求最优的视觉可识别图像,其对应的智能设备的调节参数作为目标调节参数。通过该训练模型,可以将机器人新采集到的图像对应得到采集时的智能硬件设备的可调节参数。用于机器人后续会根据目标调节参数将对应的智能设备的可调节参数向目标调节参数进行调节控制。
所述训练模块402,用于通过所述可调节参数训练模型训练得到不同的控制交互模式。
所述训练模块具体用于:在可调节参数训练模型中输入多个视觉可识别图像;将所述多个视觉可识别图像进行场景分类;训练优化每一个场景中的视觉可识别图像的图像参数;输出所述视觉可识别图像对应的控制交互模式。
机器人根据采集到的视觉图像对应于采集时该组智能设备的相关可调节参数,根据采集到的图像与关联的智能设备的类型,进行数据训练标记,训练得到对应的控制交互模式,例如照明调整模式、位置调整模式、角度调整模式、显示调节模式、温度调节模式、声音控制模式以及组合模式等,本公开中的模式不限于此。每个模式都对应不同的设备参数,这些设备参数在条件最优的情况下可以设置对应的目标参数,每个模式都具有一个目标参数,该目标参数根据条件最优的场景情况下设置的智能设备参数,为对应控制交互模式中预先设置的基准智能设备参数,机器人获取的可调节参数为根据所述机器人所属场景对应的所述智能设备参数。
所述连接模块403,用于建立所述机器人与所述智能设备的网络连接。
通过WiFi无线网络、蓝牙、Zigbee网关和多模网中的至少其中之一对所述机器人和所述智能设备建立网络连接。机器人通过网络连接获取网内相关智能设备的控制权,用于调节控制所述智能设备的各种相关参数。
所述模式选取模块404,用于根据所述机器人所属场景的传感数据参数选取对应的智能设备和控制交互模式。
所述模式选取模块具体用于:所述机器人实时采集所述场景的当前传感数据;提取所述当前传感数据参数;将所述传感数据参数与存储的多个传感数据参数进行比对,选取一致的传感数据;选取所述一致的传感数据对应的智能设备和以及控制交互模式。
所述参数获取模块405,用于获取所述控制交互模式中所述智能设备的目标参数和可调节参数。
所述控制交互模式包括对应场景中的至少一个智能设备的位置和可调节参数,所述智能设备的目标参数为对应控制交互模式中预先设置的基准智能设备参数,所述可调节参数为根据所述机器人所属场景对应的所述智能设备参数。
每个模式都对应不同的设备参数,这些设备参数在条件最优的情况下可以设置对应的目标参数,每个模式都具有一个目标参数,该目标参数根据条件最优的场景情况下设置的智能设备参数,为对应控制交互模式中预先设置的基准智能设备参数,机器人获取的可调节参数为根据所述机器人所属场景对应的所述智能设备参数。
所述控制模块406,用于将所述可调节参数以目标参数作为基准对所述智能设备进行调节控制。
当机器人获取的场景对应控制交互模式为照明调整模式时,根据获取到的智能设备中的可调节参数,以目标参数进行调节。当机器人获取的场景对应控制交互模式为位置调整模式时,根据获取到的智能设备中的可调节参数,以目标参数进行调节。当机器人获取的场景对应控制交互模式为声音调整模式时,根据获取到的智能设备中的可调节参数,以目标参数进行调节。当机器人获取的场景对应控制交互模式为空调模式时,根据获取到的智能设备中的可调节参数(环境参数),以目标参数进行调节。
另外,组合模式下,为适应多种需求。对组合模式中包含的各个模式中的智能硬件的可调节参数进行向目标参数调整控制。
等机器人执行任务离开或检测到没有人体在所属环境时,将智能设备都恢复到之前的状态。
所述装置还包括:
位置移动恢复模块,用于:检测所述机器人所在位置的一定区域内的智能设备;根据所述智能设备的类型选择对应的控制交互模式;按照所述控制交互模式对所述智能设备进行控制交互;在所述机器人执行完成任务离开所述区域后,将所述硬件设备恢复至原始状态。
所述位置移动恢复模块,还用于:
当检测到所述智能设备为可移动的设备时,根据所述机器人和所述智能设备的相对位置,如果所述智能设备的位置位于所述机器人执行任务的路径上,则对所述智能设备进行移动控制;控制所述智能设备移动到所述机器人执行任务的路径之外第一距离;在所述机器人执行任务离开第二距离后,控制所述智能设备至原始位置。
图4所示装置可以执行图1所示实施例的方法,本实施例未详细描述的部分,可参考对图1所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1所示实施例中的描述,在此不再赘述。
下面参考图5,其示出了适于用来实现本公开另一实施例的电子设备500的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP (便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图5示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图5所示,电子设备500可以包括处理装置(例如中央处理器、图形处理器等)501,其可以根据存储在只读存储器(ROM)502中的程序或者从存储装置508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM503中,还存储有电子设备500操作所需的各种程序和数据。处理装置501、ROM502以及RAM503通过通信线路504彼此相连。输入/输出 (I/O)接口505也连接至通信线路504。
通常,以下装置可以连接至I/O接口505:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置506;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置507;包括例如磁带、硬盘等的存储装置508;以及通信装置509。通信装置509可以允许电子设备500与其他设备进行无线或有线通信以交换数据。虽然图5示出了具有各种装置的电子设备500,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在非暂态计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置509从网络上被下载和安装,或者从存储装置508被安装,或者从ROM502 被安装。在该计算机程序被处理装置501执行时,执行本公开实施例的方法中限定的上述功能。
需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM 或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
在一些实施方式中,客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol,超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信,并且可以与任意形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(“LAN”),广域网(“WAN”),网际网(例如,互联网)以及端对端网络(例如,adhoc端对端网络),以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:执行上述实施例中的交互方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN) 或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元的名称在某种情况下并不构成对该单元本身的限定。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器 (EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例,提供了一种电子设备,包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有能被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行前述第一方面中的任一所述方法。
根据本公开的一个或多个实施例,提供了一种非暂态计算机可读存储介质,其特征在于,该非暂态计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行前述第一方面中的任一所述方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种机器人与智能设备交互的方法,其特征在于,包括:
根据传感数据和对应的智能设备参数生成可调节参数训练模型;
在所述可调节参数训练模型中输入多个传感数据,将所述多个传感数据进行场景分类,训练优化每一个场景中的传感数据的传感数据参数,输出所述传感数据对应的控制交互模式,得到不同的控制交互模式,所述控制交互模式包括对应场景中的至少一个智能设备的位置和可调节参数;
建立所述机器人与所述智能设备的网络连接;
根据所述机器人所属场景的传感数据参数选取对应的智能设备和控制交互模式,其中,所述控制交互模式根据场景和需求包括各自模式的子模式;
获取所述控制交互模式中所述智能设备的目标参数及可调节参数,所述智能设备的目标参数为对应控制交互模式中预先设置的基准智能设备参数,所述可调节参数为根据所述机器人所属场景对应的所述智能设备参数;
将所述可调节参数以目标参数作为基准对所述智能设备进行调节控制;
检测所述机器人所在位置的一定区域内的智能设备,根据所述智能设备的类型选择对应的控制交互模式,按照所述控制交互模式对所述智能设备进行控制交互,在所述机器人执行完成任务离开所述区域后,将所述智能设备恢复至原始状态;
其中,当检测到所述智能设备为可移动的设备时,根据所述机器人和所述智能设备的相对位置,如果所述智能设备的位置位于所述机器人执行任务的路径上,则对所述智能设备进行移动控制,控制所述智能设备移动到所述机器人执行任务的路径之外第一距离,在所述机器人执行任务离开第二距离后,控制所述智能设备至原始位置。
2.根据权利要求1所述的方法,其特征在于,所述根据传感数据和对应的智能设备参数生成可调节参数训练模型,包括:
通过机器人上的传感器获取多个传感数据;
记录所述传感数据对应的智能设备的位置和可调节参数;
提取所述传感数据的传感数据参数;
生成所述传感数据参数与所述可调节参数的卷积神经网络训练模型。
3.根据权利要求1所述的方法,其特征在于,所述根据所述机器人所属场景的传感数据参数选取对应的智能设备和控制交互模式,包括:
所述机器人实时采集所属场景的当前传感数据;
提取所述当前传感数据的当前传感数据参数;
将所述当前传感数据参数与存储的多个传感数据参数进行比对,选取一致的传感数据;
选取所述一致的传感数据对应的智能设备和以及控制交互模式。
4.根据权利要求1所述的方法,其特征在于,所述传感数据为视觉可识别图像时,所述方法包括:
检测所述机器人所在位置的一定区域内的照明设备;
根据所述照明设备的图像参数选择对应的照明调整模式;
按照所述照明调整模式对所述照明设备的可调节参数进行调整。
5.根据权利要求1所述的方法,其特征在于,所述传感数据为声音识别数据时,所述方法包括:
检测所述机器人所在位置的一定区域内的媒体设备和噪音设备;
根据所述媒体设备和噪音设备的声音参数选择对应的声音控制模式;
按照所述声音控制模式对所述媒体设备和噪音设备的可调节参数进行调整。
6.根据权利要求1所述的方法,其特征在于,所述智能设备包括照明设备、家用电器、智能终端、智能家居设备、智能交通设备、智能机器人中的至少其中之一。
7.根据权利要求1所述的方法,其特征在于,所述控制交互模式包括照明调整模式、位置调整模式、角度调整模式、显示调节模式、空调模式、声音控制模式以及组合模式中的至少其中之一。
8.一种机器人与智能设备交互的装置,其特征在于,包括:
模型生成模块,用于根据传感器数据和对应的智能设备参数生成可调节参数训练模型;
训练模块,用于在所述可调节参数训练模型中输入多个传感数据,将所述多个传感数据进行场景分类,训练优化每一个场景中的传感数据的传感数据参数,输出所述传感数据对应的控制交互模式,得到不同的控制交互模式,所述控制交互模式包括对应场景中的至少一个智能设备的位置和可调节参数;
连接模块,用于建立所述机器人与所述智能设备的网络连接,其中,所述控制交互模式根据场景和需求包括各自模式的子模式;
模式选取模块,用于根据所述机器人所属场景的传感数据参数选取对应的智能设备和控制交互模式;
参数获取模块,用于获取所述控制交互模式中所述智能设备的目标参数和可调节参数,所述智能设备的目标参数为对应控制交互模式中预先设置的基准智能设备参数,所述可调节参数为根据所述机器人所属场景对应的所述智能设备参数;
控制模块,用于将所述可调节参数以目标参数作为基准对所述智能设备进行调节控制;
位置移动过恢复模块,用于检测所述机器人所在位置的一定区域内的智能设备,根据所述智能设备的类型选择对应的控制交互模式,按照所述控制交互模式对所述智能设备进行控制交互,在所述机器人执行完成任务离开所述区域后,将所述智能设备恢复至原始状态;
其中,所述位置移动过恢复模块,还用于当检测到所述智能设备为可移动的设备时,根据所述机器人和所述智能设备的相对位置,如果所述智能设备的位置位于所述机器人执行任务的路径上,则对所述智能设备进行移动控制,控制所述智能设备移动到所述机器人执行任务的路径之外第一距离,在所述机器人执行任务离开第二距离后,控制所述智能设备至原始位置。
9.一种电子设备,其特征在于,包括:
存储器,用于存储计算机可读指令;以及
处理器,用于运行所述计算机可读指令,使得所述电子设备实现根据权利要求1-7中任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111193475.3A CN113900384B (zh) | 2021-10-13 | 2021-10-13 | 机器人与智能设备交互的方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111193475.3A CN113900384B (zh) | 2021-10-13 | 2021-10-13 | 机器人与智能设备交互的方法、装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113900384A CN113900384A (zh) | 2022-01-07 |
CN113900384B true CN113900384B (zh) | 2024-06-25 |
Family
ID=79191986
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111193475.3A Active CN113900384B (zh) | 2021-10-13 | 2021-10-13 | 机器人与智能设备交互的方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113900384B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114364099B (zh) * | 2022-01-13 | 2023-07-18 | 达闼机器人股份有限公司 | 调节智能灯光设备的方法、机器人及电子设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105446156A (zh) * | 2015-12-30 | 2016-03-30 | 百度在线网络技术(北京)有限公司 | 基于人工智能的家用电器的控制方法、装置和系统 |
CN110716444A (zh) * | 2019-11-21 | 2020-01-21 | 三星电子(中国)研发中心 | 一种基于智能家居的声音控制方法、装置和存储介质 |
CN112102515A (zh) * | 2020-09-14 | 2020-12-18 | 深圳优地科技有限公司 | 机器人巡检方法、装置、设备及存储介质 |
CN112378056A (zh) * | 2020-11-18 | 2021-02-19 | 珠海格力电器股份有限公司 | 智能空调控制方法、装置、计算机设备和存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9272418B1 (en) * | 2014-09-02 | 2016-03-01 | The Johns Hopkins University | System and method for flexible human-machine collaboration |
CN107783509A (zh) * | 2016-08-27 | 2018-03-09 | 北京北信源软件股份有限公司 | 一种智能家居控制方法、装置和系统 |
CN108302723A (zh) * | 2018-02-06 | 2018-07-20 | 北京智能管家科技有限公司 | 室内空气质量的调节方法、装置及存储介质 |
-
2021
- 2021-10-13 CN CN202111193475.3A patent/CN113900384B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105446156A (zh) * | 2015-12-30 | 2016-03-30 | 百度在线网络技术(北京)有限公司 | 基于人工智能的家用电器的控制方法、装置和系统 |
CN110716444A (zh) * | 2019-11-21 | 2020-01-21 | 三星电子(中国)研发中心 | 一种基于智能家居的声音控制方法、装置和存储介质 |
CN112102515A (zh) * | 2020-09-14 | 2020-12-18 | 深圳优地科技有限公司 | 机器人巡检方法、装置、设备及存储介质 |
CN112378056A (zh) * | 2020-11-18 | 2021-02-19 | 珠海格力电器股份有限公司 | 智能空调控制方法、装置、计算机设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113900384A (zh) | 2022-01-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210216787A1 (en) | Methods and Systems for Presenting Image Data for Detected Regions of Interest | |
US11317778B2 (en) | Mobile robot | |
US10180615B2 (en) | Electrochromic filtering in a camera | |
US20170195561A1 (en) | Automated processing of panoramic video content using machine learning techniques | |
US20180330169A1 (en) | Methods and Systems for Presenting Image Data for Detected Regions of Interest | |
CN106683197A (zh) | 一种融合vr和ar技术的楼盘展示系统及其方法 | |
CN109479115A (zh) | 信息处理装置、信息处理方法和程序 | |
CN105223826B (zh) | 家居设备控制方法、装置及系统 | |
CN106164562A (zh) | 促进定位和定向移动计算设备的托架 | |
US11257355B2 (en) | System and method for preventing false alarms due to display images | |
US11483451B2 (en) | Methods and systems for colorizing infrared images | |
CN103968507A (zh) | 空调器和空调器控制方法及系统 | |
CN102316269A (zh) | 成像控制设备、成像控制方法和程序 | |
KR102623190B1 (ko) | 실내 공기 상태를 관리하는 인공 지능 장치 및 인공 지능 시스템 | |
CN113900384B (zh) | 机器人与智能设备交互的方法、装置及电子设备 | |
EP3622724A1 (en) | Methods and systems for presenting image data for detected regions of interest | |
CN115567778A (zh) | 自动对焦方法、装置、电子设备及存储介质 | |
CN107846696B (zh) | ZigBee系统、终端设备的控制方法及装置 | |
KR20210057556A (ko) | 사용자의 선호도를 고려하여 디스플레이 패널을 조정하는 인공 지능 장치 및 그 방법 | |
US11463617B2 (en) | Information processing apparatus, information processing system, image capturing apparatus, information processing method, and memory | |
US11115615B1 (en) | Augmented reality display of local information | |
CN115826427B (zh) | 一种应用于智能家居的人机交互系统 | |
CN110764561A (zh) | 一种楼宇环境参数自动控制方法和系统 | |
CN106292314A (zh) | 一种信息处理方法及电子设备 | |
EP4302171B1 (en) | Displaying an aggregation of data in dependence on a distance to a closest device in an image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |