CN114610155B - 手势控制方法、装置、显示终端及存储介质 - Google Patents
手势控制方法、装置、显示终端及存储介质 Download PDFInfo
- Publication number
- CN114610155B CN114610155B CN202210283560.7A CN202210283560A CN114610155B CN 114610155 B CN114610155 B CN 114610155B CN 202210283560 A CN202210283560 A CN 202210283560A CN 114610155 B CN114610155 B CN 114610155B
- Authority
- CN
- China
- Prior art keywords
- target
- gesture
- palm
- display terminal
- control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 230000033001 locomotion Effects 0.000 claims description 101
- 238000004364 calculation method Methods 0.000 claims description 20
- 238000004891 communication Methods 0.000 claims description 11
- 230000004044 response Effects 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 32
- 238000010586 diagram Methods 0.000 description 21
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 7
- 238000007667 floating Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 241000203475 Neopanax arboreus Species 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Selective Calling Equipment (AREA)
Abstract
本发明公开了一种手势控制方法、装置、显示终端及存储介质,其中所述方法包括:响应于图像采集指令,采集目标手掌的目标帧;对所述目标帧进行手势识别,得到所述目标手掌与所述显示终端之间的目标夹角;根据所述目标夹角,确定所述目标手掌对应的手势意图;根据所述手势意图,对所述显示终端进行控制。采用本发明,能解决现有技术中采用遥控器或近距离触控方式无法对显示终端进行操控、影响用户体验等技术问题。
Description
技术领域
本发明涉及图像技术领域,尤其涉及一种手势控制方法、装置、显示终端及存储介质。
背景技术
随着显示技术的发展,人们对大屏幕显示的需求越来越大。特别是在教育和会议等领域,大屏幕的智能电视和大屏幕会议板都广受业界的青睐。
目前,针对大屏幕显示终端(也可称为显示终端)的操作和控制方式都采用遥控器远程遥控或近距离触摸的方式,但这两种方式都存在一定的局限性。具体地,遥控器适合于观看者和操作者在远处操作,在遥控器丢失或不在用户身旁等情况下,用户无法对显示终端进行操控,影响用户体验。而近距离触摸中由于用户身高、或触控不灵敏等原因,导致用户无法触控显示终端,同样影响用户的使用体验。
因此,亟需提出一种更好的显示终端控制方案。
发明内容
本发明实施例通过提供一种手势控制方法、装置、显示终端及计算机可读存储介质,解决了现有技术中采用遥控器或近距离触控方式无法对显示终端进行操控、影响用户体验等技术问题。
一方面,本发明通过本发明的一实施例提供一种手势控制方法,应用于显示终端中,所述方法包括:
响应于图像采集指令,采集目标手掌的目标帧;
对所述目标帧进行手势识别,得到所述目标手掌与所述显示终端之间的目标夹角;
根据所述目标夹角,确定所述目标手掌对应的手势意图;
根据所述手势意图,对所述显示终端进行控制。
可选地,所述对所述目标帧进行手势识别,得到所述目标手掌与所述显示终端之间的目标夹角包括:
对所述目标帧进行深度计算,得到所述目标手掌与所述显示终端之间的景深距离;
根据所述景深距离,计算得到所述目标手掌与所述显示终端之间的目标夹角。
可选地,所述对所述目标帧进行深度计算,得到所述目标手掌与所述显示终端之间的景深距离之前,所述方法还包括:
对所述目标帧进行手势识别,得到所述目标手掌在当前手掌形态下的手掌位置;
所述对所述目标帧进行深度计算,得到所述目标手掌与所述显示终端之间的景深距离包括:
对所述目标帧中所述当前手掌形态下的手掌位置进行深度计算,得到所述目标手掌的手掌位置到所述显示终端的景深距离。
可选地,所述采集目标手掌的目标帧包括:采集目标手掌在不同时刻下的至少两个目标帧;
所述对所述目标帧进行手势识别,得到所述目标手掌与所述显示终端之间的目标夹角包括:对不同时刻下的至少两个所述目标帧进行手势识别,得到对应的手势信息;其中,所述手势信息包括不同时刻下所述目标手掌与所述显示终端之间的目标夹角和所述目标手掌对应的手势运动方向;
所述根据所述目标夹角,确定所述目标手掌对应的手势意图包括:根据不同时刻下的所述目标夹角和所述手势运动方向,确定所述目标手掌对应的手势意图。
可选地,所述方法还包括:
在检测到所述目标手掌在所述手势运动方向上存在停留时,确定所述目标手掌完成一次手势控制;
若不同时刻下的至少两个所述目标帧为所述一次手势控制中所产生的帧图像,则所述目标夹角为所述一次手势控制中不同时刻下所述目标手掌与所述显示终端之间的夹角,所述根据不同时刻下的所述目标夹角和所述手势运动方向,确定所述目标手掌对应的手势意图包括:
根据所述一次手势控制中不同时刻下的所述目标夹角和所述手势运动方向,确定所述一次手势控制所对应的手势意图。
可选地,所述方法还包括:
获取控制参数,所述控制参数用于指示所述目标手掌在一轮手势控制中所包括的手势控制次数;
根据所述手势控制次数中每次手势控制所对应确定的手势意图,对所述显示终端进行控制。
可选地,所述采集目标手掌的目标帧之前,所述方法还包括:
获取控制参数,所述控制参数用于指示所述目标手掌完成一次手势控制时的手势步长;
所述采集目标手掌的目标帧包括:
根据所述手势步长,采集所述目标手掌在所述一次手势控制中不同时刻下的至少两个目标帧。
可选地,所述手势信息还包括手势运动速度,所述获取控制参数包括:
根据所述手势运动速度和目标距离,确定所述控制参数;
其中,所述目标距离为所述目标手掌所在的目标用户与所述显示终端之间的距离。
可选地,所述根据所述手势运动速度和目标距离,确定所述控制参数之前,所述方法还包括:
获取所述目标用户的用户高度和所述显示终端中摄像装置的摄像高度;
所述根据所述手势运动速度和目标距离,确定所述控制参数包括:
根据所述用户高度、所述摄像高度、所述手势运动速度和所述目标距离,确定所述控制参数。
可选地,所述采集目标手掌的目标帧之前,所述方法还包括:
采集所述目标手掌在不同时刻下的多个初始帧;
对多个所述初始帧进行图像识别,以确定所述目标手掌在同一位置是否进行了停留;
若是,则继续执行所述采集目标手掌的目标帧的步骤,其中所述目标帧为所述目标手掌在移动时所产生的帧图像。
可选地,所述目标帧包括多个用户的用户手掌,所述对所述目标帧进行手势识别,得到所述目标手掌与所述显示终端之间的目标夹角包括:
对所述目标帧中多个所述用户的用户手掌进行图像识别,以从所述多个用户中选取距离摄像装置距离最近的目标用户的目标手掌;
对所述目标帧中所述目标用户的目标手掌进行手势识别,得到所述目标手掌与所述显示终端之间的目标夹角。
另一方面,本发明通过本发明的一实施例提供一种手势控制装置,所述装置包括采集模块、识别模块、确定模块和控制模块,其中:
所述采集模块,用于响应于图像采集指令,采集目标手掌的目标帧;
所述识别模块,用于对所述目标帧进行手势识别,得到所述目标手掌与所述显示终端之间的目标夹角;
所述确定模块,用于根据所述目标夹角,确定所述目标手掌对应的手势意图;
所述控制模块,用于根据所述手势意图,对所述显示终端进行控制。
关于本申请实施例中未介绍或未描述的内容可对应参考前述方法实施例中的相关介绍,这里不再赘述。
另一方面,本发明通过本发明的一实施例提供一种显示终端,所述显示终端包括:处理器、存储器、通信接口和总线;所述处理器、所述存储器和所述通信接口通过所述总线连接并完成相互间的通信;所述存储器存储可执行程序代码;所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于执行如上所述的手势控制方法。
另一方面,本发明通过本发明的一实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储有程序,当所述程序运行在显示终端时执行如上所述的手势控制方法。
本发明实施例中提供的一个或多个技术方案,至少具有如下技术效果或优点:本发明响应于图像采集指令,采集目标手掌的目标帧;对所述目标帧进行手势识别,得到所述目标手掌与所述显示终端之间的目标夹角;根据所述目标夹角,确定所述目标手掌对应的手势意图;根据所述手势意图,对所述显示终端进行控制。上述方案中,本发明根据目标手掌与显示终端之间的夹角来识别并确定出目标手掌对应的手势意图,进而根据所述手势意图对所述显示终端进行相应的意图控制,从而实现了显示终端的便捷及高效控制,同时也解决了现有技术中采用遥控器或近距离触控方式无法对显示终端进行操控、影响用户体验等技术问题。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种显示终端的结构示意图。
图2是本发明实施例提供的一种可能的手势划分示意图。
图3是本发明实施例提供的一种手势控制方法的流程示意图。
图4-图6是本发明实施例提供的几种基于不同手势运动方向上的目标夹角识别示意图。
图7-图9是本发明实施例提供的三种不同控制参数下的手势控制示意图。
图10是本发明实施例提供的一种手势控制装置的结构示意图。
图11是本发明实施例提供的一种显示终端的结构示意图。
具体实施方式
为了更好的理解上述技术方案,下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
首先说明,本文中出现的术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
本发明为解决现有技术中采用遥控器或近距离触控方式无法对显示终端进行操控、影响用户体验等技术问题,本发明提供一种手势控制方法,所述手势控制方法应用于显示终端中。所述显示终端可以是指具备较大或超大显示屏幕(即显示屏幕的尺寸超过预设尺寸)的终端设备,例如显示屏幕为110寸、135寸以及其他超大尺寸的显示终端等。所述终端设备包括但不限于智能手机、掌上电脑、平板电脑、个人数字助理(Personal DigitalAssistant,PDA)、销售终端或其他具备网络通信功能的设备等,本发明并不做限定。
请参见图1,是本发明实施例提供的一种可能的显示终端的结构示意图。如图1所示的显示终端中包括显示屏幕101、摄像装置102及所述显示屏幕101上显示的导航栏103。其中,所述显示屏幕101的尺寸超过预设尺寸,其也可称为大屏幕或巨幕。所述摄像装置102的安装位置本发明并不做限定,例如图示中所述摄像装置102安装于所述显示屏幕101顶部的中央位置。所述摄像装置102可用于采集所述显示屏幕101前方的物体图像,例如本发明中在用户的目标手掌在所述显示屏幕101前方出现或移动时,所述摄像装置102可用于采集不同时刻下所述目标手掌的帧图像等。
在实际应用中,所述摄像装置102包括但不限于摄像头、摄像模组或其他用于拍照或摄像的装置等。且所述摄像装置102的类型及型号,本发明也不做限定,例如所述摄像装置102可为支持采集景深数据的深度摄像头等。具体例如所述摄像装置102可采集所述目标手掌的景深数据。
所述导航栏103在本例中仅为示例,并不构成限定。在实际应用中,所述导航栏103也可为具体的应用图标或应用控件等。所述显示终端10中安装有一些应用程序,每个所述应用程序对应的显示界面中配置有对应的浮动窗口,所述浮动窗口在所述显示界面中的显示位置,本发明并不做限定。其中,所述浮动窗口用于显示所述导航栏103的键值图标。用户通过移动自身的目标手掌(具体可通过目标手掌对应的手势)移动至浮动窗口,以获取到浮动窗口对应的显示焦点,进而打开浮动窗口中键值图标所对应的导航栏103。所述目标手掌可以是指用户的右手掌,也可以是指用户的左手掌,本发明并不做限定。
可选地,在所述导航栏103的显示界面上通常会存在退出控件,例如退出按钮。相应地,用户仍可通过移动目标手掌,以通过手势来关闭所述导航栏103的显示界面,使得所述显示终端103返回至原来显示有所述浮动窗口的界面中。
需要说明的是,本发明中涉及的手势根据目标手掌的运动方向(也可称为手势运动方向)可分为诸如上手势、下手势、前手势、后手势、左手势和右手势等。请参见图2示例性地示出一种可能的基于目标手掌的手势划分示意图。如图2中,所述上手势是指用户的目标手掌向上运动时所产生的手势,且所述向上运动的终点本发明并不做限定,例如所述向上运动的终端可为用户手臂向上伸直所能到达的位置等。所述下手势是指目标手掌向下运动时所产生的手势,且所述向下运动的终点本发明同样不做限定,优选地所述向下运动的终点可为用户手臂向下收回至人体胸前所在的位置。
所述前手势是指目标手掌向前运动时所产生的手势,且所述向前运动的终点本发明同样不做限定,例如所述向前运动的终点可为用户手臂向前伸直所能到达的位置等。所述后手势是指目标手掌向后运动时所产生的手势,且所述向后运动的终点本发明不做限定,优选地所述向后运动的终点可为用户手臂向后回收至靠近用户人脸的位置等。
所述左手势是指目标手掌向左运动运动时所产生的手势,且所述向左运动的终点本发明并不做限定,例如所述向左运动的终点可为用户手臂向左伸直所能到达的位置。所述右手势是指目标手掌向右运动时所产生的手势,且所述向右运动的终点本发明并不做限定,例如所述向右运动的终点可为用户手臂向右伸直所能到达的位置等。
基于前述实施例,请参见图3是本申请实施例提供的一种手势控制方法的流程示意图。如图3所示的手势控制方法应用于显示终端中,所述方法包括如下实施步骤:
S301、响应于图像采集指令,采集目标手掌的目标帧。
本发明所述图像采集指令可为用户触发生成的,例如用户通过点击图像采集按钮生成的、或用户通过语音、遥控器发出的图像采集指令等;所述图像采集指令也可为接收其他设备(例如服务器)所发送的,本发明并不做限定。所述图像采集指令用于指示采集目标手掌的帧图像,例如采集目标手掌在不同时段或不同时刻处的帧图像。
步骤S301中,本发明可例如根据/响应所述图像采集指令,通过摄像装置采集目标手掌的目标帧。其中所述目标帧的数量本发明并不做限定,其可根据用户需求进行自定义设置,所述目标帧的数量可为一个或多个等。
在一具体实施方式中,本发明可响应所述图像采集指令,通过摄像装置采集目标手掌在不同时刻下的至少两个目标帧。
S302、对所述目标帧进行手势识别,得到所述目标手掌与所述显示终端之间的目标夹角。
在一具体实施方式中,当所述目标帧的数量有至少两个时,例如步骤S301中采集到不同时刻下的至少两个目标帧后,本发明可对每个所述目标帧进行手势识别,以得到对应的手势信息。其中,所述手势信息包括但不限于诸如每个所述目标帧中所述目标手掌与所述显示终端之间的目标夹角,即不同时刻下所述目标手掌与所述显示终端之间的目标夹角、所述目标手掌的移动距离、手势运动方向、手势运动速度、当前手掌形态、手掌位置或其他用于描述所述目标手掌对应的手势信息等。
其中,针对每个所述目标帧进行手势识别的具体实施方式,本发明并不做限定。例如本发明可根据预设的手势识别算法对每个所述目标帧进行手势识别和分析,以得到诸如上述不同时刻下的目标夹角、所述目标手掌的移动距离、手掌位置、当前手掌形态、手势运动方向及手势运动速度等手势信息。其中,所述手势识别算法为系统预先自定义设置的,例如卷积神经网络算法、局部特征提取算法、或其他深度学习算法等,本发明不做限定。
在实际应用中,所述目标手掌在进行手势控制时,其手掌形态并不固定,并且不同时刻手掌形态存在差异,例如所述目标手掌可以呈诸如握拳、弯曲、单指伸直、五指伸直(或全指伸直)等形态。相应地本发明确定所述目标手掌的手掌位置的具体实施方式可例如为:本发明可利用手势识别算法对每个所述目标帧进行手掌轮廓提取,得到所述目标帧中的目标手掌的手掌轮廓。进而根据所述目标手掌的手掌轮廓确定出所述目标手掌的手掌位置。其中,所述手掌位置的确定实施方式本发明并不做限定,例如本发明可统一将所述手掌轮廓的中心点位置直接确定为所述目标手掌的手掌位置等。
又如为提升所述手掌位置的确定精度,从而提升手势控制的精度及准确性。本发明可根据所述目标手掌的手掌轮廓和所述目标手掌在当前的手掌形态来确定所述目标手掌的手掌位置。具体地例如,在所述目标手掌呈握拳状态时,本发明可直接将所述手掌轮廓中位于手背最外侧的或位于手心最内侧的点位置确定为所述目标手掌的手掌位置;或者,本发明将位于手背最外侧的点位置和位于手心最内侧的点位置进行坐标的平均值计算,将计算得到的坐标点位置作为所述目标手掌的手掌位置等。
在所述目标手掌呈弯曲状态时,本发明可根据所述手掌轮廓,确定出所述所述手掌轮廓所在的最小外接椭圆,进而将所述最小外接椭圆的圆心确定为所述目标手掌的手掌位置。或者,本发明可根据所述手掌轮廓中每个像素点的像素坐标,计算出中心点位置的坐标,将计算得到的坐标中心点位置确定为所述目标手掌的手掌位置等。
在所述目标手掌呈一指或两指伸直状态时,可将其视为所述目标手掌呈握拳状态进行处理。或者,本发明仍可根据所述手掌轮廓中每个像素点的像素坐标,计算出中心点位置的坐标,将计算得到的坐标中心点位置确定为所述目标手掌的手掌位置等。
在所述目标手掌呈至少三指伸直状态时,本发明可将其视为所述目标手掌呈全指伸直状态进行处理。具体地,本发明可根据所述手掌轮廓中每个像素点的像素坐标,计算出所述手掌轮廓所在的最小外接矩形,所述手掌轮廓位于所述最小外接矩形内。进而将所述最小外接矩形的中心位置确定为所述目标手掌手掌位置等。或者可以依据深度相机获取手掌轮廓中不同位置距离显示终端的景深信息,以其中景深信息最小的位置为目标手掌的手掌位置,基于此手势控制时,可基于单根手指的运动进行识别。
需要说明的是,本发明在对每个所述目标帧进行手势识别以得到不同时刻下的目标夹角的具体实施方式,本发明也并不做限定。具体地例如,本发明可可对每个所述目标帧进行深度计算,以得到所述目标帧中的所述目标手掌与所述显示终端之间的景深距离,其中所述景深距离是指所述目标手掌的手掌位置与所述显示终端之间的深度距离,由于所述目标手掌的手掌位置与所述目标手掌的当前手掌形态有关,所述景深距离具体可指所述目标手掌在当前手掌形态下的手掌位置到所述显示终端的距离。进一步本发明可根据所述景深距离计算得到所述目标帧中所述目标手掌与所述显示终端之间的目标夹角,具体地本发明可先根据所述目标帧中所述目标手掌的手掌位置和用于采集所述目标帧的摄像装置的安装位置,计算它们之间的位置距离,然后根据所述位置距离和所述景深距离计算出此时的所述目标夹角。换言之,所述目标夹角是根据所述手掌位置、所述摄像装置的安装位置、和所述目标位置到所述显示终端的景深距离这三个参数确定的。
举例来说,请参见图4-图6示出几种可能的基于不同手势运动方向上的目标夹角识别示意图。其中,图4-图6具体对应示出目标手掌在上下、左右和前后手势运动方向上的目标夹角识别及手势跟踪示意图。针对每个手势运动方向上的目标夹角识别及手势跟踪的实施方式均相同,下面以图4为例进行相关内容的说明。
如图4中,当目标手掌向上或向下运动时,本发明可通过摄像装置采集不同时刻下的至少两个目标帧,进而对不同时刻下的至少两个目标帧进行手势识别,以得到如图4所示的不同时刻下所述目标手掌与所述显示终端(具体可为所述显示终端中的摄像装置)之间的目标夹角。例如图4具体示出手势开启时、目标手掌向上运动及目标手掌向下运动时不同场景下的目标夹角。其中,如图4中景深距离具体指目标手掌的手掌位置到显示终端之间的距离。位置距离具体指目标手掌的手掌位置与摄像装置的安装位置之间的距离。
S303、根据所述目标夹角,确定所述目标手掌对应的手势意图。
本发明在获得诸如手势运动方向、不同时刻下的目标夹角等手势信息后,可根据所述手势信息确定出目标手掌对应的用户手势及其手势意图。
在一具体实施方式中,所述手势信息包括不同时刻下的所述目标夹角和所述手势运动方向,则本发明可根据不同时刻下的所述目标夹角和所述手势运动方向确定出目标手掌对应的用户手势及手势意图,具体地例如本发明可根据不同时刻下所述目标夹角的变化趋势和所述手势运动方向确定出目标手掌对应的用户手势及手势意图等。其中,所述用户手势和所述手势意图呈一一对应的关系,不同的用户手势对应不同的手势意图。且每种用户手势对应的手势意可为系统自定义设置的,例如根据用户操作习惯或爱好自定义设置的,本发明不做限定。
举例来说,请参见上图4-图6所示的例子。若本发明确定到所述目标手掌的手势运动方向为向上,且不同时刻的所述目标夹角随时间逐渐减小,则本发明可确定所述目标手掌对应的用户手势为上移手势,其手势意图可用于指示向上移动,可类似于遥控器上的向上移动方向键。同理,若本发明确定到所述手势运动方向为向下,且不同时刻的所述目标夹角随时间逐渐增大,则本发明可确定所述目标手掌对应的用户手势为下移手势,其手势意图用于指示向下移动,这里的手势意图可类似于遥控器上的向下移动方向键。
若本发明确定到所述目标手掌的手势运动方向为向左或向右,且不同时刻下的所述目标夹角随时间不存在变化,则本发明可直接根据所述手势运动来确定其对应的用户手势及手势意图。具体地例如,当所述手势运动方向为向左时,所述目标手掌对应的用户手势可为左移手势,其手势意图可用于指示向左移动,可类似于遥控器上的向左移动方向键。反之当所述手势运动方向为向右时,所述目标手掌对应的用户手势可为右移手势,其手势意图可用于指示向右移动,可类似于遥控器上的向右移动方向键。
若本发明确定到所述目标手掌的手势运动方向为向前,且不同时刻下的所述目标夹角随时间逐渐增大,则本发明可确定所述目标手掌对应的用户手势为前移手势,其手势意图用于指示某选项(例如显示屏幕上任一应用图标、控件或显示界面等选项)的确定或进入,可类似于遥控器上的确认键。同理,若本发明确定到所述目标手掌的手势运动方向为向后,且不同时刻下的所述目标夹角随时间逐渐减小,则本发明可确定所述目标手掌对应的用户手势为后移手势,其手势意图用于指示某选项的退出,可类似于遥控器上的退出键或返回键。
S304、根据所述手势意图,对所述显示终端进行控制。
本发明在确定到所述手势意图后,可按照所述手势意图对所述显示终端进行对应的控制处理。例如若所述手势意图用于指示退出所述显示终端当前所显示的应用界面,则本发明根据所述手势意图的指示,退出所述显示终端当前所显示的应用界面等。
下面介绍本发明涉及的一些可选实施例。
在一些可选实施例中,本发明在步骤S301采集目标手掌的目标帧之前,本发明还可检测是否开启了目标手掌的手势控制流程,以继续本发明步骤S301中采集目标手掌的步骤。关于所述检测是否开启目标手掌的手势控制流程的具体实施方式本发明并不做限定,例如可采集目标手掌的手掌图像来分析目标手掌是否进行了停留、是否移动了预设距离等来检测。下面本发明示例性地给出两种具体实施方式,但不构成限定。
在一具体实施方式中,本发明可利用摄像装置采集所述目标手掌在不同时刻下的多个初始帧,并对多个所述初始帧进行图像识别,以确定所述目标手掌是否移动了预设距离。若是,则确定开启所述目标手掌的整个手势控制流程;否则,可结束流程。所述预设距离为系统自定义设置,例如根据所述目标手掌所在目标用户的实际需求设置,例如目标用户为成年人,其预设距离可设置5cm,反之目标用户为未成年人,其预设距离可设置为2cm等,本发明不做限定。当摄像头采集目标手掌的目标帧是,同时进行显示终端前的人物识别,通过采集的人物信息,经过人脸识别或者体态分析等方法获取当前显示终端前的人物年龄段,如果识别出是成年人,将参数调整为与成年人对应的参数,比如预设距离调整为5cm;同样,如果识别出是未成年人,将参数调整为与未成年人对应的参数,比如,预设距离调整为3cm,以便满足不同操作人员的需求。
在另一具体实施方式中,本发明还可利用摄像装置采集所述目标手掌在不同时刻下的多个初始帧。进而对多个所述初始帧进行图像识别,以确定所述目标手掌在同一位置处是否进行了停留,可选地还可同步确定所述目标手掌是否进行了预设的手势开启操作,以开启整个的所述手势控制流程。
其中,所述手势开启操作为系统预先自定义设置的,例如手掌打开操作、手掌合闭操作或其他用于指示开启手势控制流程的操作等,本发明不做限定。为方便描述本发明下文以所述手势开启操作为手掌打开操作为例,进行相关内容的说明,但并不构成限定。所述图像识别的具体实施方式本发明并不做限定,例如本发明可采用诸如局部特征提取等预配的图像识别算法对多个所述初始帧进行图像识别,以确定所述目标手掌是否在同一位置上进行了停留等。这里的停留所对应的第二停留时长本发明同样不做限定,例如所述第二停留时长可为2s等。
当本发明确定到所述目标手掌在同一位置进行了打开和停留,可选地还可结合所述进行了停留的第二停留时长是否达到预设时长。若是,则本发明可确定所述显示终端开启手势识别功能,或确定所述目标手掌开启手势识别,进而则可继续步骤S301中采集目标手掌的目标帧的步骤。此情况下,所述目标帧具体为所述目标手掌在移动时所产生的帧图像。反之,当本发明确定到所述目标手掌在同一位置未进行打开或停留,或者所述目标手掌在同一位置进行了打开和停留,但停留时长不超过预设时长(如2s),则本发明可确定所述显示终端未开启手势识别功能,或确定所述目标手掌未开启手势识别,可结束流程。
在一些可选实施例中,在图像采集时若存在多个用户的用户手掌都在进行手势操作/控制时,则步骤S301中采集的每个所述目标帧包括多个用户的用户手掌所对应的用户手势。相应地本发明在对每个所述目标帧进行手势识别时,本发明可先对每个所述目标帧中多个用户的用户手掌进行图像识别,以先从所述多个用户的用户手掌中选取出与所述摄像装置距离最近的目标用户的目标手掌,进而再分析出所述目标用户的目标手掌的手势信息、用户手势及手势意图。关于所述图像识别、所述手势信息、所述用户手势及所述手势意图的具体介绍可对应参考前述实施例中的相关介绍,这里不再赘述。
在一些可选实施例中,在图像采集时若存在多个用户的用户手掌都在进行手势操作/控制,且本发明检测到多个所述用户的用户手掌都进行了打开和停留后,可确定多个所述用户的用户手掌均开启了手势识别。相应地本发明在步骤S301中采集到的每个所述目标帧中也都包括多个所述用户的用户手掌。则本发明在对每个所述目标帧进行手势识别时,可按照上述实施例中的相关介绍,先从多个所述用户的用户手掌中选取出与所述摄像装置距离最近的目标用户的目标手掌,进而再分析出所述目标用户的目标手掌的手势信息、用户手势及手势意图等。
在一些可选实施例中,步骤S303中本发明在对至少两个所述目标帧进行手势识别后,若检测/确定到所述目标手掌在所述手势运动方向上存在停留,则本发明可确定所述目标手掌当前完成了一次手势控制。其中,所述存在停留对应的第一停留时长本发明不做限定,例如第一停留时长可为1秒(s)、2s等,其可根据用户实际需求设定。举例来说,假设所述第一停留时长为1s,则目标手掌在所述手势运动方向上存在1s停留,即可表示所述目标手掌完成了一次手势控制。
相应可选地,若步骤S301中采集的不同时刻下的至少两个所述目标帧为一次手势控制中不同时刻下所产生的帧图像,则步骤S302中获得的所述目标夹角同样也为所述一次手势控制中不同时刻下所述目标手掌与所述显示终端之间的夹角。相应地步骤S303中,本发明同样根据所述一次手势控制中不同时刻下的目标夹角和所述手势运动方向,确定出所述一次手势控制中所述目标手掌对应的手势意图。换言之,假设步骤S301采集的所述目标帧为一次手势控制中不同时刻下所采集的帧图像,则步骤S301-S304为所述一次手势控制中的终端控制实施流程。
在一些可选实施例中,本发明可获取控制参数,所述控制参数为系统自定义设置的步长参数,其可用于指示所述目标手掌在一轮手势控制中所包括的手势控制次数。所述手势控制次数具体可根据系统实际需求设定,本发明不做限定,例如所述控制参数所指示的手势控制次数可为4,表示目标手掌执行一轮手势控制时,需停留4次,完成4次手势控制。
进一步本发明可根据步骤S301-S304所示一次手势控制的实施流程,确定出所述手势控制次数中每次手势控制所对应确定的手势意图,对所述显示终端进行控制,以针对所述显示终端完成一轮手势控制。
举例来说,请参见图7和图8示出两种不同控制参数下的手势控制示意图。如图7示出控制参数为1时的手势控制示意图。如图7中,显示终端的显示界面上沿横轴部署有功能1至功能6的功能控件,沿纵轴部署有功能1、功能7至功能10的功能控件。假设本例中目标用户从功能1开启手势,想通过手势控制移动至功能6,且目标用户的目标手掌从一次抬起到落下记为一轮手势控制。则本实施例按照上述步骤S301-S304的实施流程,需进行6轮手势控制才能将功能1的显示焦点移动至功能6,从而完成了功能1至功能6的移动。其中每轮手势控制的焦点移动具体如图7所示,一次/一轮手势控制的显示焦点均在图中示出。
如图8示出控制参数为4时的手势控制示意图。如图8所示的显示界面中同样部署有功能1至功能10的功能控件,假设本例中目标用户从功能1开启手势,想通过手势控制移动至功能6。由于本例中控制参数为4,表示一轮手势控制中需进行4次手势控制,因此本例需进行2轮手势控制,同样地目标用户的目标手掌从一次抬起到落下记为一轮手势控制。则在本例中,同样按照上述步骤S301-S304的实施流程先进行第一轮手势控制中的4次手势控制,以将功能1的显示焦点移动至功能5。然后再开启第二轮手势控制,同样按照步骤S301-S304的实施流程进行一次手势控制即可将功能5的显示焦点移动至功能6,从而完成了功能1至功能6的移动。
在一些可选实施例中,本发明可获取控制参数,所述控制参数为系统自定义设置的步长参数,其可用于指示所述目标手掌完成一次手势控制时的手势步长。所述手势步长具体可例如为移动的距离、应用图标数量、功能控件数量、用户选项数量、或其他系统自定义的步长参数等。所述手势步长具体可根据系统实际需求设定,本发明不做限定,例如所述控制参数所指示的手势步长可为4,表示目标手掌执行一次手势控制时可跳跃移动4个步长。
相应地本发明在步骤S301中可根据所述手势步长,采集所述目标手掌在一次手势控制中不同时刻下的至少两个目标帧。同理本发明按照步骤S301-S304所示的实施流程可完成所述显示终端的一次手势控制。
举例来说,请参见图9示出另一种控制参数为4时的手势控制示意图。如图9所示的显示界面中同样部署有功能1至功能10的功能控件,假设本例中目标用户从功能1开启手势,想通过手势控制移动至功能6。由于本例中控制参数为4,表示一次手势控制中可移动4个功能控件的距离,因此本例需进行2次手势控制。本例中目标用户的目标手掌从一次抬起到落下、或在移动过程中存在1次停留均可记为一次手势控制。相应地在本例中,可同样按照上述步骤S301-S304的实施流程先进行第一次手势控制,将功能1的显示焦点移动至功能5。然后再开启第二轮手势控制,同样按照步骤S301-S304的实施流程进行第二次手势控制,由于显示界面在横轴上共部署有6个功能控件,则在第二次手势控制中即可将功能5的显示焦点移动至功能6,从而完成了功能1至功能6的移动。
在一些可选实施例中,所述控制参数可为系统自定义设置的步长参数,其参数范围本发明同样可不做限定,其可根据系统实际需求进行自定义配置。其中关于所述控制参数的获取实施方式本发明也不做限定。例如在一具体实施方式中,本发明可获取每次手势控制时所述目标手掌的移动距离,进而根据所述移动距离确定所述控制参数,即确定所述控制参数所指示的步长参数。具体地本发明可根据所述移动距离和预设步长距离来计算得到所述控制参数。其中,所述移动距离的获取方式可对应参考前述步骤S302中的相关介绍,这里不再赘述。所述预设步长距离为系统自定义设置的,其与所述目标手掌所在的目标用户有关。可理解的,由于目标用户的个体差异,例如成年人和未成年人每次移动目标手掌的距离是有限的,其距离大小也存在较大的差异。因此本发明可根据不同目标用户的实际需求来设置对应的所述预设步长距离。例如针对成年人来说,所述预设步长距离可为5cm;针对未成年人来说,所述预设步长距离可为2cm等等。
又如在另一具体实施方式中,本发明可显示交互界面,所述交互界面用于显示参数选项。用户可在所述交互界面上所显示的参数选项中根据实际需求或个人习惯自定义设置所述控制参数,例如界面中所述参数选项可提供1至5的动态数值,进而用户可根据实际需求选择自身所需的参数数值,以作为所述控制参数等。相应地本发明在检测到所述交互界面中的输入操作后,可获取用户输入的所述控制参数。
又如在另一具体实施方式中,本发明可获取所述目标手掌所在的目标用户与所述显示终端之间的目标距离,然后根据所述手势运动速度和所述目标距离确定出所述控制参数。关于所述控制参数的确定方式本发明不做限定。具体地例如,本发明可再获取所述目标用户的用户身高和所述摄像装置的摄像高度。其中,所述目标用户的用户身高可为本发明通过对包括有所述目标用户在内的帧图像进行图像识别获取的,关于所述图像识别的具体实施方式可对应参考前述实施例中的相关介绍这里不再赘述。所述摄像装置的摄像高度是指所述摄像装置相对于地面的安装高度,其可为系统预先自定义设置的,本发明不做限定。
进一步地本发明可根据所述用户高度、所述摄像高度、所述手势运动速度和所述目标距离,计算出所述控制参数。具体地例如公式(1)示出一种可能的所述控制参数的计算公式。
其中,表示取整运算,Y为所述控制参数,a为自定义的系数,V为所述手势运动速度,X1为所述目标用户的用户身高,X2为所述摄像高度,H为所述目标距离。
在实际应用中,a为系统自定义设置的用于调整所述控制参数的调整系数,其系数数值可例如为或等,本发明不做限定。所述手势运动速度V也可在系统预先自定义设置的一个速度范围中,其可根据系统实际需求进行设定,本发明这里不做限定及详述。
需要说明的是,本发明上述示出的几种所述控制参数的获取实施方式可以单独实施执行,也可以组合其中的任意一种或多种实施方式结合执行,本发明并不做限定。
通过实施本发明实施例,本发明响应于图像采集指令,采集目标手掌的目标帧;对所述目标帧进行手势识别,得到所述目标手掌与所述显示终端之间的目标夹角;根据所述目标夹角,确定所述目标手掌对应的手势意图;根据所述手势意图,对所述显示终端进行控制。上述方案中,本发明根据目标手掌与显示终端之间的夹角来识别并确定出目标手掌对应的手势意图,进而根据所述手势意图对所述显示终端进行相应的意图控制,从而实现了显示终端的便捷及高效控制,同时也解决了现有技术中采用遥控器或近距离触控方式无法对显示终端进行操控、影响用户体验等技术问题。
基于同一发明构思,本发明另一实施例提供一种实施本发明实施例中所述手势控制方法所对应的装置及显示终端。
请参见图10,是本发明实施例提供的一种手势控制装置的结构示意图。如图10所示的手势控制装置100包括:采集模块1001、识别模块1002、确定模块1003和控制模块1004,其中:
所述采集模块1001,用于响应于图像采集指令,采集目标手掌的目标帧;
所述识别模块1002,用于对所述目标帧进行手势识别,得到所述目标手掌与所述显示终端之间的目标夹角;
所述确定模块1003,用于根据所述目标夹角,确定所述目标手掌对应的手势意图;
所述控制模块1004,用于根据所述手势意图,对所述显示终端进行控制。
可选地,所述识别模块1002具体用于:
对所述目标帧进行深度计算,得到所述目标手掌与所述显示终端之间的景深距离;
根据所述景深距离,计算得到所述目标手掌与所述显示终端之间的目标夹角。
可选地,所述对所述目标帧进行深度计算,得到所述目标手掌与所述显示终端之间的景深距离之前,所述识别模块1002,还用于对所述目标帧进行手势识别,得到所述目标手掌在当前手掌形态下的手掌位置;
所述识别模块1002,具体用于对所述目标帧中所述当前手掌形态下的手掌位置进行深度计算,得到所述目标手掌的手掌位置到所述显示终端的景深距离。
可选地,所述采集模块1001具体用于采集目标手掌在不同时刻下的至少两个目标帧;
所述识别模块1002具体用于对不同时刻下的至少两个所述目标帧进行手势识别,得到对应的手势信息;其中,所述手势信息包括不同时刻下所述目标手掌与所述显示终端之间的目标夹角和所述目标手掌对应的手势运动方向;
所述确定模块1003具体用于根据不同时刻下的所述目标夹角和所述手势运动方向,确定所述目标手掌对应的手势意图。
可选地,所述确定模块1003还用于在检测到所述目标手掌在所述手势运动方向上存在停留时,确定所述目标手掌完成一次手势控制;
若不同时刻下的至少两个所述目标帧为所述一次手势控制中所产生的帧图像,则所述目标夹角为所述一次手势控制中不同时刻下所述目标手掌与所述显示终端之间的夹角,所述确定模块1003具体用于根据所述一次手势控制中不同时刻下的所述目标夹角和所述手势运动方向,确定所述一次手势控制所对应的手势意图。
可选地,所述装置还包括获取模块1005,其中:
所述获取模块1005,用于获取控制参数,所述控制参数用于指示所述目标手掌在一轮手势控制中所包括的手势控制次数;
所述控制模块1004,还用于根据所述手势控制次数中每次手势控制所对应确定的手势意图,对所述显示终端进行控制。
可选地,所述获取模块1005还用于获取控制参数,所述控制参数用于指示所述目标手掌完成一次手势控制时的手势步长;
所述采集模块1001具体用于根据所述手势步长,采集所述目标手掌在所述一次手势控制中不同时刻下的至少两个目标帧。
可选地,所述手势信息还包括手势运动速度,所述获取模块1005具体用于:
根据所述手势运动速度和目标距离,确定所述控制参数;
其中,所述目标距离为所述目标手掌所在的目标用户与所述显示终端之间的距离。
可选地,所述获取模块1005还具体用于:
获取所述目标用户的用户高度和所述显示终端中摄像装置的摄像高度;
根据所述用户高度、所述摄像高度、所述手势运动速度和所述目标距离,确定所述控制参数。
可选地,所述采集模块1001,还用于采集所述目标手掌在不同时刻下的多个初始帧;
所述识别模块1002,还用于对多个所述初始帧进行图像识别,以确定所述目标手掌在同一位置是否进行了停留;
若是,则继续执行所述采集目标手掌的目标帧的步骤,其中所述目标帧为所述目标手掌在移动时所产生的帧图像。
可选地,所述目标帧包括多个用户的用户手掌,所述识别模块1002还用于:
对所述目标帧中多个所述用户的用户手掌进行图像识别,以从所述多个用户的用户手掌中选取距离摄像装置距离最近的目标用户的目标手掌;
对所述目标帧中所述目标用户的目标手掌进行手势识别,得到所述目标手掌与所述显示终端之间的目标夹角。
请一并参见11,是本发明实施例提供的一种显示终端的结构示意图。如图11所示的显示终端110包括:至少一个处理器1101、通信接口1102、用户接口1103和存储器1104,处理器1101、通信接口1102、用户接口1103和存储器1104可通过总线或者其它方式连接,本发明实施例以通过总线1105连接为例。其中,
处理器1101可以是通用处理器,例如中央处理器(Central Processing Unit,CPU)。
通信接口1102可以为有线接口(例如以太网接口)或无线接口(例如蜂窝网络接口或使用无线局域网接口),用于与其他终端或网站进行通信。本发明实施例中,通信接口1102具体用于获取帧图像。
用户接口1103具体可例如为触控面板,包括触摸屏和触控屏,用于检测触控面板上的操作指令,用户接口1103也可以是物理按键或者鼠标。用户接口1103还可以为显示屏幕,用于输出、显示图像或数据。所述显示屏幕的尺寸大于预设尺寸,此时所述显示终端也可称为大屏幕显示终端。
存储器1104可以包括易失性存储器(Volatile Memory),例如随机存取存储器(Random Access Memory,RAM);存储器也可以包括非易失性存储器(Non-VolatileMemory),例如只读存储器(Read-Only Memory,ROM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive,HDD)或固态硬盘(Solid-State Drive,SSD);存储器1104还可以包括上述种类的存储器的组合。存储器1108用于存储一组程序代码,处理器1101用于调用存储器1104中存储的程序代码,执行如下操作:
响应于图像采集指令,采集目标手掌的目标帧;
对所述目标帧进行手势识别,得到所述目标手掌与所述显示终端之间的目标夹角;
根据所述目标夹角,确定所述目标手掌对应的手势意图;
根据所述手势意图,对所述显示终端进行控制。
可选地,所述对所述目标帧进行手势识别,得到所述目标手掌与所述显示终端之间的目标夹角包括:
对所述目标帧进行深度计算,得到所述目标手掌与所述显示终端之间的景深距离;
根据所述景深距离,计算得到所述目标手掌与所述显示终端之间的目标夹角。
可选地,所述对所述目标帧进行深度计算,得到所述目标手掌与所述显示终端之间的景深距离之前,所述处理器1101还用于:
对所述目标帧进行手势识别,得到所述目标手掌在当前手掌形态下的手掌位置;
所述对所述目标帧进行深度计算,得到所述目标手掌与所述显示终端之间的景深距离包括:
对所述目标帧中所述当前手掌形态下的手掌位置进行深度计算,得到所述目标手掌的手掌位置到所述显示终端的景深距离。
可选地,所述采集目标手掌的目标帧包括:采集目标手掌在不同时刻下的至少两个目标帧;
所述对所述目标帧进行手势识别,得到所述目标手掌与所述显示终端之间的目标夹角包括:对不同时刻下的至少两个所述目标帧进行手势识别,得到对应的手势信息;其中,所述手势信息包括不同时刻下所述目标手掌与所述显示终端之间的目标夹角和所述目标手掌对应的手势运动方向;
所述根据所述目标夹角,确定所述目标手掌对应的手势意图包括:根据不同时刻下的所述目标夹角和所述手势运动方向,确定所述目标手掌对应的手势意图。
可选地,所述处理器1101还用于:
在检测到所述目标手掌在所述手势运动方向上存在停留时,确定所述目标手掌完成一次手势控制;
若不同时刻下的至少两个所述目标帧为所述一次手势控制中所产生的帧图像,则所述目标夹角为所述一次手势控制中不同时刻下所述目标手掌与所述显示终端之间的夹角,所述根据不同时刻下的所述目标夹角和所述手势运动方向,确定所述目标手掌对应的手势意图包括:
根据所述一次手势控制中不同时刻下的所述目标夹角和所述手势运动方向,确定所述一次手势控制所对应的手势意图。
可选地,所述处理器1101还用于:
获取控制参数,所述控制参数用于指示所述目标手掌在一轮手势控制中所包括的手势控制次数;
根据所述手势控制次数中每次手势控制所对应确定的手势意图,对所述显示终端进行控制。
可选地,所述采集目标手掌的目标帧之前,所述处理器1101还用于:
获取控制参数,所述控制参数用于指示所述目标手掌完成一次手势控制时的手势步长;
所述采集目标手掌的目标帧包括:
根据所述手势步长,采集所述目标手掌在所述一次手势控制中不同时刻下的至少两个目标帧。
可选地,所述手势信息还包括手势运动速度,所述获取控制参数包括:
根据所述手势运动速度和目标距离,确定所述控制参数;
其中,所述目标距离为所述目标手掌所在的目标用户与所述显示终端之间的距离。
可选地,所述根据所述手势运动速度和目标距离,确定所述控制参数之前,所述处理器1101还用于:
获取所述目标用户的用户高度和所述显示终端中摄像装置的摄像高度;
所述根据所述手势运动速度和目标距离,确定所述控制参数包括:
根据所述用户高度、所述摄像高度、所述手势运动速度和所述目标距离,确定所述控制参数。
可选地,所述采集目标手掌的目标帧之前,所述方法还包括:
采集所述目标手掌在不同时刻下的多个初始帧;
对多个所述初始帧进行图像识别,以确定所述目标手掌在同一位置是否进行了停留;
若是,则继续执行所述采集目标手掌的目标帧的步骤,其中所述目标帧为所述目标手掌在移动时所产生的帧图像。
可选地,所述目标帧包括多个用户的用户手掌,所述对所述目标帧进行手势识别,得到所述目标手掌与所述显示终端之间的目标夹角包括:
对所述目标帧中多个所述用户的用户手掌进行图像识别,以从所述多个用户中选取距离摄像装置距离最近的目标用户的目标手掌;
对所述目标帧中所述目标用户的目标手掌进行手势识别,得到所述目标手掌与所述显示终端之间的目标夹角。
由于本实施例所介绍的显示终端为实施本发明实施例中手势控制的方法所采用的显示终端,故而基于本发明实施例中所介绍的手势控制的方法,本领域所属技术人员能够了解本实施例的显示终端的具体实施方式以及其各种变化形式,所以在此对于该显示终端如何实现本发明实施例中的方法不再详细介绍。只要本领域所属技术人员实施本发明实施例中手势控制的方法所采用的显示终端,都属于本发明所欲保护的范围。
本发明实施例中提供的一个或多个技术方案,至少具有如下技术效果或优点:本发明响应于图像采集指令,采集目标手掌的目标帧;对所述目标帧进行手势识别,得到所述目标手掌与所述显示终端之间的目标夹角;根据所述目标夹角,确定所述目标手掌对应的手势意图;根据所述手势意图,对所述显示终端进行控制。上述方案中,本发明根据目标手掌与显示终端之间的夹角来识别并确定出目标手掌对应的手势意图,进而根据所述手势意图对所述显示终端进行相应的意图控制,从而实现了显示终端的便捷及高效控制,同时也解决了现有技术中采用遥控器或近距离触控方式无法对显示终端进行操控、影响用户体验等技术问题。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (13)
1.一种手势控制方法,其特征在于,应用于显示终端中,所述方法包括:
响应于图像采集指令,采集目标手掌的目标帧;
对所述目标帧进行手势识别,得到所述目标手掌与所述显示终端之间的目标夹角;
根据所述目标夹角,确定所述目标手掌对应的手势意图;
根据所述手势意图,对所述显示终端进行控制;
所述对所述目标帧进行手势识别,得到所述目标手掌与所述显示终端之间的目标夹角包括:
对所述目标帧进行深度计算,得到所述目标手掌与所述显示终端之间的景深距离;
根据所述景深距离,计算得到所述目标手掌与所述显示终端之间的目标夹角;
所述对所述目标帧进行深度计算,得到所述目标手掌与所述显示终端之间的景深距离之前,所述方法还包括:
对所述目标帧进行手势识别,得到所述目标手掌在当前手掌形态下的手掌位置;
所述对所述目标帧进行深度计算,得到所述目标手掌与所述显示终端之间的景深距离包括:
对所述目标帧中所述当前手掌形态下的手掌位置进行深度计算,得到所述目标手掌的手掌位置到所述显示终端的景深距离。
2.根据权利要求1所述的方法,其特征在于,所述采集目标手掌的目标帧包括:采集目标手掌在不同时刻下的至少两个目标帧;
所述对所述目标帧进行手势识别,得到所述目标手掌与所述显示终端之间的目标夹角包括:对不同时刻下的至少两个所述目标帧进行手势识别,得到对应的手势信息;其中,所述手势信息包括不同时刻下所述目标手掌与所述显示终端之间的目标夹角和所述目标手掌对应的手势运动方向;
所述根据所述目标夹角,确定所述目标手掌对应的手势意图包括:根据不同时刻下的所述目标夹角和所述手势运动方向,确定所述目标手掌对应的手势意图。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
在检测到所述目标手掌在所述手势运动方向上存在停留时,确定所述目标手掌完成一次手势控制;
若不同时刻下的至少两个所述目标帧为所述一次手势控制中所产生的帧图像,则所述目标夹角为所述一次手势控制中不同时刻下所述目标手掌与所述显示终端之间的夹角,所述根据不同时刻下的所述目标夹角和所述手势运动方向,确定所述目标手掌对应的手势意图包括:
根据所述一次手势控制中不同时刻下的所述目标夹角和所述手势运动方向,确定所述一次手势控制所对应的手势意图。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
获取控制参数,所述控制参数用于指示所述目标手掌在一轮手势控制中所执行的手势控制次数;
根据所述手势控制次数中每次手势控制所对应确定的手势意图,对所述显示终端进行控制。
5.根据权利要求3所述的方法,其特征在于,所述采集目标手掌的目标帧之前,所述方法还包括:
获取控制参数,所述控制参数用于指示所述目标手掌完成一次手势控制时的手势步长;
所述采集目标手掌的目标帧包括:
根据所述手势步长,采集所述目标手掌在所述一次手势控制中不同时刻下的至少两个目标帧。
6.根据权利要求4或5所述的方法,其特征在于,所述手势信息还包括手势运动速度,所述获取控制参数包括:
根据所述手势运动速度和目标距离,确定所述控制参数;
其中,所述目标距离为所述目标手掌所在的目标用户与所述显示终端之间的距离。
7.根据权利要求6所述的方法,其特征在于,所述根据所述手势运动速度和目标距离,确定所述控制参数之前,所述方法还包括:
获取所述目标用户的用户高度和所述显示终端中摄像装置的摄像高度;
所述根据所述手势运动速度和目标距离,确定所述控制参数包括:
根据所述用户高度、所述摄像高度、所述手势运动速度和所述目标距离,确定所述控制参数。
8.根据权利要求1-5中任一项所述的方法,其特征在于,所述采集目标手掌的目标帧之前,所述方法还包括:
采集所述目标手掌在不同时刻下的多个初始帧;
对多个所述初始帧进行图像识别,以确定所述目标手掌在同一位置是否进行了停留;
若是,则继续执行所述采集目标手掌的目标帧的步骤,其中所述目标帧为所述目标手掌在移动时所产生的帧图像。
9.根据权利要求1-5中任一项所述的方法,其特征在于,所述目标帧包括多个用户的用户手掌,所述对所述目标帧进行手势识别,得到所述目标手掌与所述显示终端之间的目标夹角包括:
对所述目标帧中多个所述用户的用户手掌进行图像识别,以从所述多个用户的用户手掌中选取距离摄像装置距离最近的目标用户的目标手掌;
对所述目标帧中所述目标用户的目标手掌进行手势识别,得到所述目标手掌与所述显示终端之间的目标夹角。
10.一种手势控制装置,其特征在于,应用于显示终端中,所述装置包括:采集模块、识别模块、确定模块和控制模块,其中:
所述采集模块,用于响应于图像采集指令,采集目标手掌的目标帧;
所述识别模块,用于对所述目标帧进行手势识别,得到所述目标手掌与所述显示终端之间的目标夹角;
所述识别模块,具体用于对所述目标帧进行深度计算,得到所述目标手掌与所述显示终端之间的景深距离;
根据所述景深距离,计算得到所述目标手掌与所述显示终端之间的目标夹角;
所述对所述目标帧进行深度计算,得到所述目标手掌与所述显示终端之间的景深距离之前,所述识别模块,还用于对所述目标帧进行手势识别,得到所述目标手掌在当前手掌形态下的手掌位置;
所述识别模块,还用于对所述目标帧中所述当前手掌形态下的手掌位置进行深度计算,得到所述目标手掌的手掌位置到所述显示终端的景深距离;
所述确定模块,用于根据所述目标夹角,确定所述目标手掌对应的手势意图;
所述控制模块,用于根据所述手势意图,对所述显示终端进行控制。
11.一种显示终端,其特征在于,包括:处理器、存储器、通信接口和总线;所述处理器、所述存储器和所述通信接口通过所述总线连接并完成相互间的通信;所述存储器存储可执行程序代码;所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于执行如上权利要求1-9中任一项所述的手势控制方法。
12.根据权利要求11所述的显示终端,其特征在于,所述显示终端还包括显示屏幕,且所述显示屏幕的尺寸大于预设尺寸。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有程序,当所述程序运行在显示终端时执行如上权利要求1-9中任一项所述的手势控制方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210283560.7A CN114610155B (zh) | 2022-03-22 | 2022-03-22 | 手势控制方法、装置、显示终端及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210283560.7A CN114610155B (zh) | 2022-03-22 | 2022-03-22 | 手势控制方法、装置、显示终端及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114610155A CN114610155A (zh) | 2022-06-10 |
CN114610155B true CN114610155B (zh) | 2025-02-11 |
Family
ID=81864118
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210283560.7A Active CN114610155B (zh) | 2022-03-22 | 2022-03-22 | 手势控制方法、装置、显示终端及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114610155B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115761602B (zh) * | 2023-01-07 | 2023-04-18 | 深圳市蓝鲸智联科技有限公司 | 用于车窗控制系统的视频智能识别方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109948542A (zh) * | 2019-03-19 | 2019-06-28 | 北京百度网讯科技有限公司 | 手势识别方法、装置、电子设备和存储介质 |
CN112015270A (zh) * | 2020-08-21 | 2020-12-01 | 上海擎感智能科技有限公司 | 一种终端的控制方法、终端及计算机存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107493495B (zh) * | 2017-08-14 | 2019-12-13 | 深圳市国华识别科技开发有限公司 | 交互位置确定方法、系统、存储介质和智能终端 |
CN113918010B (zh) * | 2021-09-13 | 2024-11-29 | 海信视像科技股份有限公司 | 显示设备及显示设备的控制方法 |
-
2022
- 2022-03-22 CN CN202210283560.7A patent/CN114610155B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109948542A (zh) * | 2019-03-19 | 2019-06-28 | 北京百度网讯科技有限公司 | 手势识别方法、装置、电子设备和存储介质 |
CN112015270A (zh) * | 2020-08-21 | 2020-12-01 | 上海擎感智能科技有限公司 | 一种终端的控制方法、终端及计算机存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114610155A (zh) | 2022-06-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11809637B2 (en) | Method and device for adjusting the control-display gain of a gesture controlled electronic device | |
EP4118517B1 (en) | Methods and systems for controlling device using hand gestures in multi-user environment | |
JP7447302B2 (ja) | デバイスのハンドジェスチャベースの制御のための方法及びシステム | |
CN110959160B (zh) | 一种手势识别方法、装置及设备 | |
KR102465532B1 (ko) | 객체 인식 방법 및 장치 | |
CN108960163B (zh) | 手势识别方法、装置、设备和存储介质 | |
US20130241819A1 (en) | Gesture recognition apparatus, electronic device, gesture recognition method, control program, and recording medium | |
CN103353935A (zh) | 一种用于智能家居系统的3d动态手势识别方法 | |
KR101631011B1 (ko) | 제스처 인식 장치 및 제스처 인식 장치의 제어 방법 | |
KR20120035604A (ko) | 영상 기반의 손 검출 장치 및 그 방법 | |
KR101654311B1 (ko) | 사용자 모션 인식 방법 및 장치 | |
JP2012238293A (ja) | 入力装置 | |
CN105912126A (zh) | 一种手势运动映射到界面的增益自适应调整方法 | |
CN114600072A (zh) | 用于基于手势控制设备的方法和系统 | |
CN114610155B (zh) | 手势控制方法、装置、显示终端及存储介质 | |
CN113282164A (zh) | 一种处理方法和装置 | |
KR20190132885A (ko) | 영상으로부터 손을 검출하는 장치, 방법 및 컴퓨터 프로그램 | |
KR101360322B1 (ko) | 다양한 손모양 검출 및 추적을 기반으로 한 원격 전자칠판 제어 장치 및 그 방법 | |
US9761009B2 (en) | Motion tracking device control systems and methods | |
KR102107182B1 (ko) | 손 제스처 인식 시스템 및 방법 | |
CN114327047B (zh) | 设备控制方法、设备控制装置及存储介质 | |
KR101414345B1 (ko) | 카메라를 이용한 입력장치 및 그 방법 | |
JP2023064499A (ja) | 情報処理装置、撮像システム、方法及びプログラム | |
CN119473011A (zh) | 一种基于手势控制显示设备的方法 | |
CN118097777A (zh) | 一种基于ar技术的数字化交互方法、系统及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |