CN109773807B - 运动控制方法、机器人 - Google Patents
运动控制方法、机器人 Download PDFInfo
- Publication number
- CN109773807B CN109773807B CN201910159498.9A CN201910159498A CN109773807B CN 109773807 B CN109773807 B CN 109773807B CN 201910159498 A CN201910159498 A CN 201910159498A CN 109773807 B CN109773807 B CN 109773807B
- Authority
- CN
- China
- Prior art keywords
- movement
- target user
- range
- robot
- sense organs
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 210000000697 sensory organ Anatomy 0.000 claims abstract description 111
- 230000001815 facial effect Effects 0.000 claims abstract description 72
- 230000014509 gene expression Effects 0.000 claims abstract description 50
- 210000004709 eyebrow Anatomy 0.000 claims description 28
- 210000000744 eyelid Anatomy 0.000 claims description 28
- 238000013507 mapping Methods 0.000 claims description 27
- 210000003128 head Anatomy 0.000 claims description 21
- 210000000056 organ Anatomy 0.000 claims description 20
- 210000005252 bulbus oculi Anatomy 0.000 claims description 11
- 230000007547 defect Effects 0.000 abstract description 3
- 238000004088 simulation Methods 0.000 abstract description 2
- 210000001508 eye Anatomy 0.000 description 26
- 210000000214 mouth Anatomy 0.000 description 19
- 230000008859 change Effects 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 3
- 210000000887 face Anatomy 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Manipulator (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明实施例公开了一种运动控制方法、机器人。该方法包括:接收至少一个脸部图像,根据所述至少一个脸部图像,确定目标用户的五官运动范围,根据所述目标用户的五官运动范围,控制机器人五官的运动。与现有技术相比,本发明的技术方案无需预先建立表情库或规则库,通过确定目标用户的五官运动范围,根据目标用户的五官运动范围,控制机器人五官的运动,可以使机器人实时模仿目标用户的各种表情,克服了因表情库中的表情有限而无法准确模仿目标用户实际表情的缺陷,提高了表情模仿的准确度。
Description
技术领域
本发明实施例涉及机器人技术领域,尤其涉及一种运动控制方法、机器人。
背景技术
随着技术的不断发展,机器人的应用也越来越广泛,例如可以利用机器人模仿用户的表情以实现与用户的互动。
现有技术大多通过建立表情库或者规则库实现机器人的表情模仿,即提取用户图像的表情特征,将提取到的表情特征与表情库中存储的表情进行匹配,将匹配度最高的表情确定为机器人需要模仿的表情,这种建立表情库的方式虽然在一定程度上可以模仿用户的表情,但由于表情库中存储的表情数量有限、表达固定以及实际表情的多样性,导致模仿的准确度较低,甚至无法达到真正意义上的任意表情。
发明内容
本发明实施例提供一种运动控制方法、机器人,以提高表情模仿的准确度。
第一方面,本发明实施例提供一种运动控制方法,包括:
接收至少一个脸部图像;
根据所述至少一个脸部图像,确定目标用户的五官运动范围;
根据所述目标用户的五官运动范围,控制机器人五官的运动。
进一步的,所述根据所述至少一个脸部图像,确定目标用户的五官运动范围,包括:
从各所述脸部图像中识别所述目标用户的脸部区域;
在各所述脸部区域内确定所述目标用户的五官对应的状态信息;
基于各所述状态信息,确定所述目标用户的五官运动范围。
进一步的,所述根据所述目标用户的五官运动范围,控制机器人五官的运动,包括:
根据所述目标用户的五官运动范围,确定机器人五官的运动限定范围;
根据所述运动限定范围,控制所述机器人五官的运动。
进一步的,所述根据所述目标用户的五官运动范围,确定机器人五官的运动限定范围,具体为:
查找运动范围映射表,确定对应所述目标用户的五官运动范围的目标限定范围;
将所述目标限定范围作为机器人五官的运动限定范围,其中,所述运动范围映射表用于存储目标用户的五官运动范围和机器人五官的运动限定范围的映射关系。
进一步的,所述从各所述脸部图像中识别所述目标用户的脸部区域,包括:
从各所述脸部图像中识别人脸区域;
如果所述脸部图像中存在多个人脸区域,则将人脸区域范围大于或等于预设范围的人脸区域作为目标用户的脸部区域。
第二方面,本发明实施例还提供一种机器人,该机器人包括:
包括五官部件,还包括:主控板、舵机控制板、五官舵机和图像传感器,
所述舵机控制板和所述图像传感器分别与所述主控板连接,所述五官舵机与所述舵机控制板连接;
所述图像传感器用于采集至少一个脸部图像;
所述主控板用于根据所述至少一个脸部图像,确定目标用户的五官运动范围,并根据所述目标用户的运动范围生成相应的控制指令,发送给所述舵机控制板;
所述舵机控制板用于根据所述控制指令控制所述五官舵机的运动;
所述五官舵机用于带动所述机器人五官部件的运动。
进一步的,所述主控板包括处理器,
所述处理器,与所述图像传感器连接,用于从接收的各所述脸部图像中识别所述目标用户的脸部区域,并在各所述脸部区域内确定所述目标用户的五官对应的状态信息,还用于基于各所述状态信息,确定所述目标用户的五官运动范围,并根据所述五官运动范围生成相应的控制指令,发送给所述舵机控制板。
进一步的,所述主控板还包括存储器,
所述存储器,与所述处理器连接,用于存储运动范围映射表,其中,所述运动范围映射表用于存储目标用户的五官运动范围和机器人五官的运动限定范围的映射关系。
进一步的,所述五官舵机包括:头部旋转舵机、眉毛舵机、眼皮舵机、眼球舵机和嘴巴舵机,所述头部旋转舵机、眉毛舵机、眼皮舵机、眼球舵机和嘴巴舵机分别与所述舵机控制板连接。
进一步的,所述图像传感器设置于所述机器人的头部。
本发明实施例提供一种运动控制方法、机器人,通过接收至少一个脸部图像,根据所述至少一个脸部图像,确定目标用户的五官运动范围,根据所述目标用户的五官运动范围,控制机器人五官的运动,与现有技术相比,无需预先建立表情库或规则库,通过确定目标用户的五官运动范围,根据目标用户的五官运动范围,控制机器人五官的运动,可以使机器人实时模仿目标用户的各种表情,克服了因表情库中的表情有限而无法准确模仿目标用户实际表情的缺陷,提高了表情模仿的准确度。
附图说明
图1为本发明实施例一提供的一种运动控制方法的流程图;
图2为本发明实施例二提供的一种运动控制方法的流程图;
图3为本发明实施例二提供的机器人模仿目标用户表情的实现流程图;
图4为本发明实施例三提供的一种机器人的结构图;
图5为一种机器人的头部示意图;
图6为一种机器人头部的爆炸图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种运动控制方法的流程图,本实施例可适用于模仿用户表情的情况,该方法可以由机器人来执行,具体的,该方法包括如下步骤:
S110、接收至少一个脸部图像。
脸部图像是包含用户脸部轮廓的图像,该脸部图像中除了包括脸部轮廓,还可以包括脸部轮廓以外的其他图像,例如背景图像或包含用户身体的图像,脸部图像的采集情况与图像采集装置的距离和设置有关,比如,当图像采集装置距离用户较远时,采集的脸部图像可能是用户的全身图像,距离用户较近时,采集的脸部图像可能是包含用户部分身体的图像,当然也可以通过设置,直接获取用户的头部图像,以方便后续图像的处理。
实施例中所述的脸部图像可以是由单独的图像采集装置采集,并通过数据线或无线网络传输到机器人,也可以在机器人中设置图像采集装置,直接采集脸部图像,在机器人中设置图像采集装置的好处是可以缩短脸部图像的获取时间,实时模仿用户的表情。实际应用中,采集的脸部图像可以有多个,比如可以采集一段连续时间内的脸部图像,同一个脸部图像中也可以包含多个人脸,当包含多个人脸时可以根据设定规则确定待模仿的目标用户,比如,可以将人脸区域最大的人脸作为目标用户,也可以将特定位置的人脸作为目标用户,目标用户的具体确定规则可以根据实际需要设计。
S120、根据所述至少一个脸部图像,确定目标用户的五官运动范围。
五官包括头、眉毛、眼皮、眼球以及嘴巴,根据头部的旋转角度以及眉毛、眼皮、眼球和嘴巴的运动范围可以确定目标用户的表情。五官运动范围是目标用户呈现表情时对应的各个器官的运动范围,比如嘴巴张开的大小,头部旋转的角度等,五官运动范围不同,目标用户呈现出来的表情也不同。需要说明的是,目标用户的五官运动范围小于或等于五官实际可以达到的最大范围,比如嘴巴张开的大小小于或等于用户可以张开的最大程度。
具体的,在获取脸部图像之后,为了提高模仿的准确度,需要对脸部图像进行预处理,预处理可以是滤波、降噪以及去除与人脸无关的图像等,其中预处理的具体过程实施例不进行限定。为了确定五官的运动范围,需要在预处理后的脸部图像中提取五官的特征,确定五官的具体位置,进而根据五官的具体位置实时获取五官的运动范围,其中,提取五官特征的方法可以根据实际需要选择,例如可以采用深度学习方法检测人脸的五官特征。
示例性的,以三层神经网络为例,三层神经网络的第一层主要是从预处理后的脸部图像中粗略计算出五官的位置,划定坐标区域,第二层以第一层的结果为输入,粗略的计算出人脸中预设个数的特征点的位置,划分出眉毛、眼睛、鼻子和嘴等区域,第三层在第二层的基础上,对划分的五官区域分别训练和预测,最终获得较准确的五官特征,其中,预设个数通常为51个。五官特征提取之后即可确定头部的旋转角度、眼睛睁开的大小、眉毛变化的范围以及嘴巴张开的大小。
需要说明的是,当脸部图像存在多个时,可以连续获取一段时间内的脸部图像,通过多张脸部图像训练和修正上述神经网络,以提高五官特征的准确度。
S130、根据所述目标用户的五官运动范围,控制机器人五官的运动。
在确定目标用户的五官运动范围之后,即可根据该运动范围控制机器人五官的运动。具体的,可以根据目标用户的五官运动范围直接控制机器人五官的运动,即机器人的五官运动范围和目标用户的五官运动范围保持一致,也可以按照比例或其他某种映射关系先确定机器人五官的运动范围,进而根据机器人五官的运动范围控制机器人五官的运动,使得机器人得以模仿目标用户的表情。这种根据目标用户的五官运动范围控制机器人五官运动的方式,只要目标用户的五官运动范围变化,便可以检测出来,即可根据目标用户五官的实际运动范围控制机器人五官的运动,提高了模仿的准确度。
本发明实施例一提供一种运动控制方法,通过接收至少一个脸部图像,根据所述至少一个脸部图像,确定目标用户的五官运动范围,根据所述目标用户的五官运动范围,控制机器人五官的运动,与现有技术相比,无需预先建立表情库或规则库,通过确定目标用户的五官运动范围,根据目标用户的五官运动范围,控制机器人五官的运动,可以使机器人实时模仿目标用户的各种表情,克服了因表情库中的表情有限而无法准确模仿目标用户实际表情的缺陷,提高了表情模仿的准确度。
实施例二
图2为本发明实施例二提供的一种运动控制方法的流程图,本实施例在上述实施例的基础上进行具体化,具体的,该方法包括如下步骤:
S210、接收至少一个脸部图像。
S220、从各所述脸部图像中识别所述目标用户的脸部区域。
具体的,在对脸部图像进行预处理之后,需要识别脸部图像中目标用户的脸部区域,具体的识别方法实施例不进行限定。为了进一步描述如何从脸部图像中识别目标用户的脸部区域,将S220具体化为:
S2201、从各所述脸部图像中识别人脸区域。
具体的,在识别出脸部图像中的人脸区域后,可以对识别出的人脸区域进行标记,例如可以用矩形框标记识别出的人脸区域,其中,人脸区域的识别方法可以采用目前应用比较成熟的Adaboost学习算法,具体的识别过程实施例不再赘述。
S2202、如果所述脸部图像中存在多个人脸区域,则将人脸区域范围大于或等于预设范围的人脸区域作为目标用户的脸部区域。
可以理解的是,同一个脸部图像中可能会包含多个人脸区域,人脸区域的大小不同,对应的矩形框大小也不同,实际应用中,将人脸区域范围大于或等于预设范围的人脸区域即人脸区域最大的人脸区域作为目标用户的脸部区域,其中,预设范围可以根据实际需要设置一个固定值,也可以根据实际人脸区域的大小进行调整,以保证大于或等于预设范围的人脸区域只有一个。当然,也可以直接比较各个人脸区域的大小,将面积最大的人脸区域作为目标用户的脸部区域。具体的,可以计算代表人脸区域的各个矩形框的面积,将面积最大的矩形框对应的人脸区域作为目标用户的脸部区域。需要说明的是,当连续获取多张脸部图像时,在根据第一张脸部图像确定目标用户的脸部区域后,可以认为后续脸部图像中目标用户的脸部区域也是确定的,无需再判断,而且多张脸部图像中的目标用户为同一用户。
S230、在各所述脸部区域内确定所述目标用户的五官对应的状态信息。
五官对应的状态信息即为头部的旋转角度、眉毛变化的范围、嘴巴张开的大小,眼球的旋转角度以及眼皮的变化范围。在确定目标用户的脸部区域后,即可实时获取当前脸部区域内五官对应的状态信息。根据连续多张脸部图像即可获取多个状态信息,进而可以展示表情的变化。
S240、基于各所述状态信息,确定所述目标用户的五官运动范围。
根据五官对应的状态信息即可确定目标用户的各个器官的运动范围。
S250、根据所述目标用户的五官运动范围,控制机器人五官的运动。
本发明实施例二提供一种运动控制方法,在上述实施例的基础上,通过在脸部图像中识别目标用户的脸部区域,在脸部区域内确定目标用户五官对应的状态信息,并基于该状态信息确定目标用户的五官运动范围,当目标用户的表情处于细微变化时,也可以检测出来,避免了通过特征匹配以模仿目标用户表情造成的误差大、模仿准确的缺陷,可以实时模仿用户的各种表情,实现真正意义上的表情模仿。
在上述实施例的基础上,S250还可以具体化为:
S2501、根据所述目标用户的五官运动范围,确定机器人五官的运动限定范围。
机器人五官的运动限定范围是机器人模仿表情时对应的各个器官的运动范围,机器人五官的运动限定范围的具体值可以根据实际情况设置,例如可以将S2501具体化为:
查找运动范围映射表,确定对应所述目标用户的五官运动范围的目标限定范围;
将所述目标限定范围作为机器人五官的运动限定范围,其中,所述运动范围映射表用于存储目标用户的五官运动范围和机器人五官的运动限定范围的映射关系。
目标用户的五官运动范围和机器人五官的运动限定范围的映射关系可以根据实际情况设置,例如可以是按照一比一的比例,即目标用户的五官运动范围和机器人五官的运动限定范围保持一致,也可以根据某种设定的比例关系或其他的映射关系确定机器人五官的运动限定范围,需要说明的是,根据运动范围映射表确定的机器人五官的运动限定范围小于或等于机器人五官运动的最大限定范围。
S2502、根据所述运动限定范围,控制所述机器人五官的运动。
在上述实施例的基础上,下面通过一个示例进一步描述机器人模仿目标用户表情的过程,具体的,参考图3,图3为本发明实施例二提供的机器人模仿目标用户表情的实现流程图。
获取用户的脸部图像,根据人脸识别算法识别确定脸部图像中目标用户的脸部区域,当脸部图像中存在多张人脸时,将人脸区域最大的脸部区域作为目标用户的脸部区域,在确定目标用户的脸部区域后,根据人脸特征提取方法提取脸部区域中的五官特征,进而确定目标用户五官的运动范围,根据该运动范围和运动范围映射表确定机器人五官的运动范围,进而控制机器人五官的运动,实现机器人模仿目标用户的表情。
实施例三
图4为本发明实施例三提供的一种机器人的结构图,该机器人可以执行上述实施例所述的运动控制方法,具体的,该机器人包括主控板340、五官部件300、舵机控制板310、五官舵机330和图像传感器320,舵机控制板310和图像传感器320分别与主控板340连接,五官舵机330与舵机控制板310连接;
图像传感器320用于采集至少一个脸部图像;
主控板340用于根据所述至少一个脸部图像,确定目标用户的五官运动范围,并根据所述目标用户的运动范围生成相应的控制指令,发送给舵机控制板310;
舵机控制板310用于根据所述控制指令控制五官舵机330的运动;
五官舵机330用于带动机器人五官部件300的运动。
五官部件300包括头部3001、左眼眉毛3002、右眼眉毛3003、左眼皮3004、右眼皮3005、左眼球3006、右眼球3007以及嘴巴3008,其中,左眼眉毛3002和右眼眉毛3003统称为眉毛,左眼皮3004和右眼皮3005统称为眼皮,左眼球3006和右眼球3007统称为眼球。
舵机是一种位置伺服的驱动器,适用于需要角度不断变化并可以保持的控制系统。舵机控制板310是一个从机,只能接受命令或执行预先设置好的命令,比如可以通过主控板340发送命令给舵机控制板310,舵机控制板310根据接收到的命令控制五官舵机330的运动。舵机控制板310通常采用RAM内核的处理器,比如采用32位RAM内核的处理器时,可以同时控制32个舵机,采用24位RAM内核的处理器时,可以同时控制24个舵机。实施例中的舵机控制板310为8路舵机控制板,可以同时控制8个舵机达到控制机器人运动的目的。
图像传感器320采集脸部图像后将脸部图像发送给主控板340,主控板340根据接收的脸部图像,确定目标用户的五官运动范围,并根据该运动范围生成相应的控制指令,发送给舵机控制板310,舵机控制板310根据该命令控制五官舵机330带动机器人五官的运动,完成目标用户表情的模仿。
本发明实施例三提供一种机器人,包括五官部件,还包括:主控板、舵机控制板、五官舵机和图像传感器,所述舵机控制板和所述图像传感器分别与所述主控板连接,所述五官舵机与所述舵机控制板连接,所述图像传感器用于采集至少一个脸部图像,所述主控板用于根据所述至少一个脸部图像,确定目标用户的五官运动范围,并根据所述目标用户的运动范围生成相应的控制指令,发送给所述舵机控制板,所述舵机控制板用于根据所述控制指令控制所述五官舵机的运动,所述五官舵机用于带动所述机器人五官的运动。与现有技术相比,无需预先建立表情库或规则库,通过确定目标用户的五官运动范围,根据目标用户的五官运动范围,控制机器人五官的运动,可以使机器人实时模仿目标用户的各种表情,克服了因表情库中的表情有限而无法准确模仿目标用户实际表情的缺陷,提高了表情模仿的准确度。
在上述实施例的基础上,主控板340包括处理器3401,
处理器3401,与图像传感器320连接,用于从接收的各所述脸部图像中识别所述目标用户的脸部区域,并在各所述脸部区域内确定所述目标用户的五官对应的状态信息,还用于基于各所述状态信息,确定所述目标用户的五官运动范围,并根据所述五官运动范围生成相应的控制指令,发送给舵机控制板310。
在上述实施例的基础上,所述从各所述脸部图像中识别所述目标用户的脸部区域,具体为:
从各所述脸部图像中识别人脸区域;
如果所述脸部图像中存在多个人脸区域,则将人脸区域范围大于或等于预设范围的人脸区域作为目标用户的脸部区域。
在上述实施例的基础上,所述根据所述目标用户的五官运动范围,控制机器人五官部件300的运动,具体为:
根据所述目标用户的五官运动范围,确定机器人五官部件300的运动限定范围;
根据所述运动限定范围,控制所述机器人五官部件300的运动。
在上述实施例的基础上,主控板340还包括存储器3402,
存储器3402,与处理器3401连接,用于存储运动范围映射表,其中,所述运动范围映射表用于存储目标用户的五官运动范围和机器人五官部件300的运动限定范围的映射关系。
在上述实施例的基础上,所述根据所述目标用户的五官运动范围,确定机器人五官部件300的运动限定范围,具体为:
查找运动范围映射表,确定对应所述目标用户的五官运动范围的目标限定范围;
将所述目标限定范围作为机器人五官的运动限定范围,其中,所述运动范围映射表用于存储目标用户的五官运动范围和机器人五官部件300的运动限定范围的映射关系。
在上述实施例的基础上,五官舵机330包括:头部旋转舵机3301、左眼眉毛舵机3302、右眼眉毛舵机3303、左眼皮舵机3304、右眼皮舵机3305、左眼球舵机3306、右眼球舵机3307以及嘴巴舵机3308,头部旋转舵机3301、左眼眉毛舵机3302、右眼眉毛舵机3303、左眼皮舵机3304、右眼皮舵机3305、左眼球舵机3306、右眼球舵机3307以及嘴巴舵机3308分别与舵机控制板310连接,其中,左眼眉毛舵机3302和右眼眉毛舵机3303统称为眉毛舵机2,左眼皮舵机3304和右眼皮舵机3305统称为眼皮舵机3,左眼球舵机3306和右眼球舵机3307统称为眼球舵机5。
五官舵机330与机器人的五官部件300连接,用于控制五官部件300的运动。具体的,头部旋转舵机3301与机器人的头部3001连接,控制头部3001的旋转,左眼眉毛舵机3302与左眼眉毛3002连接,控制左眼眉毛3002的变化,右眼眉毛舵机3303与右眼眉毛3003连接,控制右眼眉毛3003的变化,左眼皮舵机3304与左眼皮3004连接,控制左眼皮3004的变化,右眼皮舵机3305与右眼皮3005连接,控制右眼皮3005的变化,左眼球舵机3306与左眼球3006连接,控制左眼球3006的旋转角度,右眼球舵机3307与右眼球3007连接,控制右眼球3007的旋转角度,嘴巴舵机3308与嘴巴3008连接,控制嘴巴3008张开的大小,由此即可模仿目标用户的表情。
在上述实施例的基础上,图像传感器320设置于所述机器人的头部3001。
示例性的,参考图5和图6,图5为一种机器人的头部示意图,图6为一种机器人的爆炸图。机器人五官部件300各部分的位置关系如图5所示,图像传感器320采集脸部图像后,传输给主控板340,主控板340在接收到脸部图像后,对脸部图像进行预处理,确定脸部图像中目标用户的脸部区域,并在脸部区域内提取目标用户的五官特征,包括头部、眉毛、眼皮、眼球和嘴巴,确定五官特征的位置关系以及五官特征对应的状态信息,根据五官特征对应的状态信息确定目标用户的运动范围,进而根据该运动范围生成相应的控制指令,发送给舵机控制板310,由舵机控制板310控制五官舵机330带动五官部件300运动,实现表情模仿。
示例性的,以嘴巴为例,处理器3401在确定机器人嘴巴3008的目标大小之后,控制嘴巴舵机3308带动嘴巴3008张大或缩小至目标大小,其他器官的控制与此类似,此处不再赘述。由此,即可完成表情的模仿。
本发明实施例三提供的机器人与上述实施例提供的运动控制方法属于同一发明构思,未在本实施例中详尽描述的技术细节可参见上述实施例,并且本实施例具备执行运动控制方法相同的有益效果。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (8)
1.一种运动控制方法,其特征在于,包括:
接收至少一个脸部图像;
根据所述至少一个脸部图像,确定目标用户的五官运动范围;
根据所述目标用户的五官运动范围,控制机器人五官的运动,实时模仿所述目标用户的表情;
所述根据所述目标用户的五官运动范围,控制机器人五官的运动,包括:
根据所述目标用户的五官运动范围,确定机器人五官的运动限定范围;
根据所述运动限定范围,控制所述机器人五官的运动;
所述根据所述目标用户的五官运动范围,确定机器人五官的运动限定范围,具体为:
查找运动范围映射表,确定对应所述目标用户的五官运动范围的目标限定范围;
将所述目标限定范围作为机器人五官的运动限定范围,其中,所述运动范围映射表用于存储目标用户的五官运动范围和机器人五官的运动限定范围的映射关系。
2.根据权利要求1所述的运动控制方法,其特征在于,所述根据所述至少一个脸部图像,确定目标用户的五官运动范围,包括:
从各所述脸部图像中识别所述目标用户的脸部区域;
在各所述脸部区域内确定所述目标用户的五官对应的状态信息;
基于各所述状态信息,确定所述目标用户的五官运动范围。
3.根据权利要求2所述的运动控制方法,其特征在于,所述从各所述脸部图像中识别所述目标用户的脸部区域,包括:
从各所述脸部图像中识别人脸区域;
如果所述脸部图像中存在多个人脸区域,则将人脸区域范围大于或等于预设范围的人脸区域作为目标用户的脸部区域。
4.一种机器人,包括五官部件,其特征在于,还包括:主控板、舵机控制板、五官舵机和图像传感器,
所述舵机控制板和所述图像传感器分别与所述主控板连接,所述五官舵机与所述舵机控制板连接;所述图像传感器用于采集至少一个脸部图像;
所述主控板用于根据所述至少一个脸部图像,确定目标用户的五官运动范围,并根据所述目标用户的运动范围生成相应的控制指令,发送给所述舵机控制板;
所述舵机控制板用于根据所述控制指令控制所述五官舵机的运动;
所述五官舵机用于带动所述机器人五官部件的运动,实时模仿所述目标用户的表情;
所述根据所述目标用户的五官运动范围,控制机器人五官部件的运动,具体为:根据所述目标用户的五官运动范围,确定机器人五官部件的运动限定范围;根据所述运动限定范围,控制所述机器人五官部件的运动;
所述根据所述目标用户的五官运动范围,确定所述机器人五官部件的运动限定范围,具体为:查找运动范围映射表,确定对应所述目标用户的五官运动范围的目标限定范围;将所述目标限定范围作为所述机器人五官的运动限定范围,其中,所述运动范围映射表用于存储目标用户的五官运动范围和机器人五官部件的运动限定范围的映射关系。
5.根据权利要求4所述的机器人,其特征在于,所述主控板包括处理器,
所述处理器,与所述图像传感器连接,用于从接收的各所述脸部图像中识别所述目标用户的脸部区域,并在各所述脸部区域内确定所述目标用户的五官对应的状态信息,还用于基于各所述状态信息,确定所述目标用户的五官运动范围,并根据所述五官运动范围生成相应的控制指令,发送给所述舵机控制板。
6.根据权利要求5所述的机器人,其特征在于,所述主控板还包括存储器,
所述存储器,与所述处理器连接,用于存储运动范围映射表。
7.根据权利要求4所述的机器人,其特征在于,所述五官舵机包括:头部旋转舵机、眉毛舵机、眼皮舵机、眼球舵机和嘴巴舵机,所述头部旋转舵机、眉毛舵机、眼皮舵机、眼球舵机和嘴巴舵机分别与所述舵机控制板连接。
8.根据权利要求4所述的机器人,其特征在于,所述图像传感器设置于所述机器人的头部。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910159498.9A CN109773807B (zh) | 2019-03-04 | 2019-03-04 | 运动控制方法、机器人 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910159498.9A CN109773807B (zh) | 2019-03-04 | 2019-03-04 | 运动控制方法、机器人 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109773807A CN109773807A (zh) | 2019-05-21 |
CN109773807B true CN109773807B (zh) | 2024-03-12 |
Family
ID=66486095
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910159498.9A Active CN109773807B (zh) | 2019-03-04 | 2019-03-04 | 运动控制方法、机器人 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109773807B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210056391A1 (en) * | 2019-08-20 | 2021-02-25 | Mind Machine Learning, Inc. | Systems and Methods for Simulating Sense Data and Creating Perceptions |
CN110815238A (zh) * | 2019-10-28 | 2020-02-21 | 和美(深圳)信息技术股份有限公司 | 机器人表情实现方法、装置、计算机设备和存储介质 |
CN112454390B (zh) * | 2020-11-27 | 2022-05-17 | 中国科学技术大学 | 基于深度强化学习的仿人机器人面部表情模仿方法 |
CN114789470B (zh) * | 2022-01-25 | 2024-10-25 | 北京萌特博智能机器人科技有限公司 | 仿真机器人的调整方法和装置 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104091370A (zh) * | 2014-08-01 | 2014-10-08 | 哈尔滨工业大学 | 一种脸型和面部器官可变的仿人头像机器人及其数学建模方法与控制方法 |
KR20150071198A (ko) * | 2013-12-18 | 2015-06-26 | 주식회사 아이모션 | 외피의 착탈이 가능한 얼굴 로봇 |
CN105373784A (zh) * | 2015-11-30 | 2016-03-02 | 北京光年无限科技有限公司 | 智能机器人数据处理方法及装置、智能机器人系统 |
CN105437247A (zh) * | 2016-01-27 | 2016-03-30 | 龙卷风机电科技(昆山)有限公司 | 一种表情机器人 |
CN205721625U (zh) * | 2016-03-08 | 2016-11-23 | 龙卷风机电科技(昆山)有限公司 | 一种表情机器人交互系统 |
CN106326980A (zh) * | 2016-08-31 | 2017-01-11 | 北京光年无限科技有限公司 | 机器人和机器人模拟人脸面部运动的方法 |
CN107718014A (zh) * | 2017-11-09 | 2018-02-23 | 深圳市小村机器人智能科技有限公司 | 高仿真机器人头部结构及其动作控制方法 |
CN108062783A (zh) * | 2018-01-12 | 2018-05-22 | 北京蜜枝科技有限公司 | 面部动画映射系统及方法 |
CN210121851U (zh) * | 2019-03-04 | 2020-03-03 | 昆山塔米机器人有限公司 | 一种机器人 |
-
2019
- 2019-03-04 CN CN201910159498.9A patent/CN109773807B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150071198A (ko) * | 2013-12-18 | 2015-06-26 | 주식회사 아이모션 | 외피의 착탈이 가능한 얼굴 로봇 |
CN104091370A (zh) * | 2014-08-01 | 2014-10-08 | 哈尔滨工业大学 | 一种脸型和面部器官可变的仿人头像机器人及其数学建模方法与控制方法 |
CN105373784A (zh) * | 2015-11-30 | 2016-03-02 | 北京光年无限科技有限公司 | 智能机器人数据处理方法及装置、智能机器人系统 |
CN105437247A (zh) * | 2016-01-27 | 2016-03-30 | 龙卷风机电科技(昆山)有限公司 | 一种表情机器人 |
CN205721625U (zh) * | 2016-03-08 | 2016-11-23 | 龙卷风机电科技(昆山)有限公司 | 一种表情机器人交互系统 |
CN106326980A (zh) * | 2016-08-31 | 2017-01-11 | 北京光年无限科技有限公司 | 机器人和机器人模拟人脸面部运动的方法 |
CN107718014A (zh) * | 2017-11-09 | 2018-02-23 | 深圳市小村机器人智能科技有限公司 | 高仿真机器人头部结构及其动作控制方法 |
CN108062783A (zh) * | 2018-01-12 | 2018-05-22 | 北京蜜枝科技有限公司 | 面部动画映射系统及方法 |
CN210121851U (zh) * | 2019-03-04 | 2020-03-03 | 昆山塔米机器人有限公司 | 一种机器人 |
Also Published As
Publication number | Publication date |
---|---|
CN109773807A (zh) | 2019-05-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109773807B (zh) | 运动控制方法、机器人 | |
EP3885965B1 (en) | Image recognition method based on micro facial expressions, apparatus and related device | |
CN105825268B (zh) | 面向机器人动作学习的数据处理方法和系统 | |
CN109597485B (zh) | 一种基于双指角域特征的手势交互系统及其工作方法 | |
JP7520123B2 (ja) | 人間-ロボット混在製造プロセスにおける自動異常検出のためのシステムおよび方法 | |
CN105159452B (zh) | 一种基于人脸姿态估计的控制方法与系统 | |
CN113190114B (zh) | 具有触觉模拟和情绪感知的虚拟场景体验系统和方法 | |
CN107670272A (zh) | 基于vr技术的智能体感、触感互动场景模拟方法 | |
CN110675475A (zh) | 一种人脸模型生成方法、装置、设备及存储介质 | |
CN106548675A (zh) | 虚拟军事训练方法及装置 | |
CN114120432A (zh) | 基于视线估计的在线学习注意力跟踪方法及其应用 | |
CN109192030A (zh) | 基于虚拟现实的真实腔镜微创手术仿真训练系统及方法 | |
RU2671990C1 (ru) | Способ отображения трехмерного лица объекта и устройство для него | |
CN114333046A (zh) | 舞蹈动作评分方法、装置、设备和存储介质 | |
CN118394219A (zh) | 沉浸式虚拟空间交互系统 | |
CN116051631A (zh) | 光斑标注方法及系统 | |
Perdiz et al. | A reinforcement learning assisted eye-driven computer game employing a decision tree-based approach and cnn classification | |
CN112230777A (zh) | 一种基于非接触式交互的认知训练系统 | |
Cortes et al. | The use of CNNs in VR/AR/MR/XR: a systematic literature review | |
WO2023103145A1 (zh) | 一种头部姿势真值的获取方法、装置、设备及存储介质 | |
CN113870639A (zh) | 一种基于虚拟现实的训练评估方法及系统 | |
CN210121851U (zh) | 一种机器人 | |
CN118553018A (zh) | 一种舞蹈教学用姿势反馈方法及系统 | |
CN115429275A (zh) | 一种基于眼动技术的驾驶状态监测方法 | |
CN104090663B (zh) | 一种基于视觉关注模型的手势交互方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 215300 5th floor, building 1, No. 619, Xintang Road, Yushan Town, Kunshan City, Suzhou City, Jiangsu Province Applicant after: Suzhou Tami robot Co.,Ltd. Address before: 215324 12th floor, complex building, No. 1699, Weicheng South Road, Yushan Town, Kunshan City, Suzhou City, Jiangsu Province Applicant before: KUNSHAN TAMI ROBOT Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |