CN108521594B - 一种基于体感相机手势识别的自由视点视频播放方法 - Google Patents
一种基于体感相机手势识别的自由视点视频播放方法 Download PDFInfo
- Publication number
- CN108521594B CN108521594B CN201810246578.3A CN201810246578A CN108521594B CN 108521594 B CN108521594 B CN 108521594B CN 201810246578 A CN201810246578 A CN 201810246578A CN 108521594 B CN108521594 B CN 108521594B
- Authority
- CN
- China
- Prior art keywords
- gesture
- viewpoint
- palm
- current frame
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000003238 somatosensory effect Effects 0.000 claims abstract description 20
- 230000002146 bilateral effect Effects 0.000 claims abstract description 15
- 238000001914 filtration Methods 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims description 19
- 238000005516 engineering process Methods 0.000 claims description 12
- 230000015572 biosynthetic process Effects 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 10
- 238000003786 synthesis reaction Methods 0.000 claims description 10
- 244000060701 Kaempferia pandurata Species 0.000 claims description 6
- 235000016390 Uvaria chamae Nutrition 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 210000003857 wrist joint Anatomy 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 abstract description 3
- 230000003321 amplification Effects 0.000 abstract 1
- 238000002156 mixing Methods 0.000 abstract 1
- 238000003199 nucleic acid amplification method Methods 0.000 abstract 1
- 210000000988 bone and bone Anatomy 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于体感相机手势识别的自由视点视频播放方法，获取一帧深度图像和人体骨骼数据，以双边滤波方法对深度图像预处理，计算右手掌中心位置和右手臂位置，获得右手掌轮廓，提取右手掌轮廓特征和右手臂位置特征以判断手势，将识别出的手势转换为相应的视点播放操作。本发明使用双边滤波方法对深度图像进行预处理，使得生成的深度图像较好的保留了图像中的边缘轮廓信息。设计了一种简单快速的手势识别方法，有效的降低了用户手势切换视点的卡顿。设计了一种全新的自由视点视频局部画面的放大缩小方法和视点的切换方法，通过识别用户的手势进行视点画面的局部放大缩小和切换视点，在观看自由视点视频时能够带给用户良好的融入感。
Description
技术领域
本发明涉及自由视点视频播放领域，具体涉及一种基于体感相机手势识别的自由视点视频播放方法。
背景技术
随着信息科技的发展，人们对视频播放的要求也越来越苛刻，由最初的黑白视频图像发展到现在的彩色视频图像，由最初的标清、高清发展到现在的超清和超高清，但是人眼的视觉存在生理上的极限，对分辨率和色度的需求即将趋于饱和。另外，视频和图像在二十一世纪的两大发展方向为高清化和立体化，高清化目前已经基本实现，立体化将是未来的视频和图像的发展方向。立体化视频的显示方式按照主流的分类方法可以分为两种，裸眼3D显示和VR显示。其中裸眼3D显示技术又可以分为两种方式，传统的使用专用3D显示器显示和直接使用普通的显示器进行自由视点播放显示。本发明使用的显示方式就是采用普通显示器加上体感相机进行自由视点视频播放。目前体感相机的开发厂商较多，主流的厂商有Microsoft、Intel、Leap Motion等，其中Intel开发了RealSense体感相机，相较于Microsoft的Kinect相机，RealSense相机的识别距离相对较短，更注重近距离的应用，主要的原理是通过红外投射器投射出红外散斑，根据红外散斑特征点匹配计算视差图。LeapMotion开发了Controller体感相机，与前两者相比这款相机非常小巧，仅适用于近距离的一些手势识别和手指跟踪。Microsoft的Kinect相机包括Kinect v1和Kinect v2两个版本，其中Kinect v2是基于ToF(Time of Flight，时间飞行)原理的体感相机，生成的深度图像质量较高，具有人体骨架追踪、基本的手势操作和脸部跟踪功能，并且该相机提供了在Windows平台上开发的SDK，对骨架追踪可以直接调用API获取相应的姿势和骨骼点的三维坐标信息。
手势识别从技术角度可以分为基于视觉的手势识别和基于多种传感器的数据手套手势识别，使用数据手套手势识别技术虽然识别精度比基于视觉的手势识别技术精度高，但是由于其专用的数据手套设备价格过于昂贵，不利于在生活中进行推广使用。基于视觉的手势识别技术只需要使用摄像头就能完成，这种手势识别技术使用方便并且价格适中，因此本发明通过体感相机进行手势识别。基于视觉的手势识别系统(见任海兵,祝远新,徐光,林学,张哓平.基于视觉手势识别的研究—综述[J].电子学报,2000(02):118-121)具体流程是：首先，通过一个或多个摄像机获取视频数据流。接着，系统根据手势输入的交互模型检测数据流里是否有手势出现。若有则把该手势从视频信号中切分出来。然后，选择手势模型进行手势分析，分析过程包括特征检测和模型参数估计；在识别阶段，根据模型参数对手势进行分类并根据需要生成手势描述。最后，系统根据生成的描述去驱动具体应用。申请号为201710263069.7的专利主要是通过Kinect相机获取手掌中心和手臂中心位置提取手部轮廓，然后提取指尖和指根位置特征，将这些特征与手势模板库中的特征对比从而识别出手势，最后将识别出的手势放入队列中和前四帧的识别结果对比分析，出现最多的手势就是最终识别结果。这种识别方法最后的识别结果比较准确，但是处理延时较大，不适用于自由视点的实时切换中。申请号为201610711131.X的专利通过Kinect相机获取手势视频中的深度图像数据和骨骼数据，用中值滤波对获得的深度图像初步处理，然后再通过NITE库中HandTracker类进行手势检测和手部位置跟踪，通过边缘检测提取手掌的轮廓信息，最后通过决策树手势库中的多种手势进行匹配识别手势。这种手势识别方法步骤较为复杂，计算复杂度高，也不利于自由视点的实时切换。
发明内容
为了能在自由视点视频的播放过程中增强用户的交互感，从而为用户带来更好的3D效果体验，本发明提出了一种基于体感相机手势识别的自由视点视频播放方法，可以通过识别用户的手势进行视点画面的局部放大缩小和切换视点，所述方法包括以下步骤：
(1)获取一帧深度图像和人体骨骼数据
通过体感相机实时获取一帧深度图像数据I1和对应的人体骨骼数据S1，其中I1的宽为w个像素点、高为h个像素点，S1包括右手臂关节、右手腕关节和右手掌三点的骨骼三维坐标数据。获取到的这一帧数据即为当前帧数据。
(2)采用双边滤波方法对深度图像预处理
使用双边滤波方法对步骤(1)得到的深度图像I1进行预处理，得到经过双边滤波的深度图像记为I’1。双边滤波器的特点是在滤除噪声的同时，能够较好的保留深度图像的边缘信息。
(3)使用人体骨骼数据计算右手掌中心位置和右手臂位置
在本发明中，由于是在自由视点视频的播放过程中通过识别用户的手势切换视点，已有的手掌中心位置和手臂位置的计算方法复杂度过高，所以使用了一种快速的手掌中心位置和手臂位置的计算方法。本发明中直接将S1中的右手掌关节的三维坐标作为右手掌中心位置坐标Hc(x1,y1,z1)，右手臂位置就是右手臂关节点Ar(x2,y2,z2)和右手腕关节点Wr(x3,y3,z3)两点的连线。
(4)根据右手掌中心位置和预处理后的深度图像获得右手掌轮廓
将Hc(x1,y1,z1)映射到深度图像I’1中对应位置得到H’c(x’1,y’1,z’1)，由于在手势识别的实际应用场景中手部距离体感相机最近，即手部区域的灰度值相比其他区域较小且和其它区域相比差值明显。取H’c(x’1,y’1,z’1)的灰度值G1为基准，搜索匹配深度图像I’1中以H’c(x’1,y’1,z’1)为中心、宽为w’个像素点、高为h’个像素点的长方形区域，其中，w’＝w/4，h’＝h/3；在长方形区域内提取灰度值在[G1-10,G1+10]内的像素区域，将这个区域标记为H。最后将H区域的灰度值置为255其余背景区域的灰度值置为0，即得到右手掌轮廓图。
(5)提取右手掌轮廓特征和右手臂位置特征
(5-1)提取H区域的特征。对H区域进行凸包检测，若H区域是一个具有五个凸点和四个凹点的多边形区域，则跳到步骤(5-2)进一步处理，否则跳到步骤(5-3)。
(5-2)对H区域进一步检测以区分指尖。将H区域的所有凸点和凹点顺次交替编号为z[n]，n＝0,1...8，得到一条从z[0]到z[8]的路径，通过判断前一点到后一点路径的方向是向上还是向下区分出右手掌轮廓中的凸点(即为指尖)和凹点(即为指根)。若前一点到后一点的方向是向下则此点即为指尖，若前一点到后一点的方向是向上则为指根，统计出所有的指尖位置和之前确定的右手掌中心位置作为右手掌轮廓特征。计算右手第一个指尖到右手掌中心的欧式距离xn和右手第二个指尖到右手掌中心的欧式距离zn，跳到步骤(6-1)中进一步判断放大手势或缩小手势。
(5-3)通过当前帧中点Ar(x2,y2,z2)和点Wr(x3,y3,z3)来提取右手臂与代表水平向右方向的空间X轴夹角θ：利用式(1)求出这两点的欧氏距离d，即为三维空间中这两点的实际距离，
然后通过点Wr(x3,y3,z3)与Ar(x2,y2,z2)在空间X轴上的距离|x3-x2|和欧氏距离d求出当前帧右手臂与代表水平向右方向的空间X轴夹角θ并跳到步骤(6-2)进一步判断。
(6)利用右手掌轮廓特征和右手臂位置特征判断手势
(6-1)将当前帧的xn和zn与之前第m1帧中右手第一个指尖到右手掌中心欧式距离xm1和右手第二个指尖到右手掌中心欧式距离zm1对比识别出放大手势和缩小手势，m1的取值范围为[10,60]：若xn>xm1且zn>zm1，则将当前帧输出手势判定为放大手势，并跳到步骤(7)；若xn<xm1且zn<zm1，则将当前帧输出手势判定为缩小手势，并跳到步骤(7)；若不满足上述两种情况或之前第m1帧中不存在右手第一个指尖数据和右手第二个指尖数据，则判定当前帧无放大缩小手势，结束当前帧处理。
(6-2)判断当前帧中θ是否属于[85°，95°]，若θ属于[85°，95°]则跳到步骤(6-3)进一步判断向左切换视点手势和向右切换视点手势，否则结束当前帧的处理。
(6-3)判断之前第m2帧中的右手臂与代表水平向右方向的空间X轴夹角θm2识别出向左切换视点手势和向右切换视点手势，m2的取值范围为[10,60]：若θm2满足式(2)关系，即θm2属于[20°，80°]，
则将当前帧输出手势判定为向左切换视点手势，以及计算相应个单位的视点切换跨度Vleft，并跳到步骤(7)；
若θm2满足式(3)关系，即θm2属于[100°，160°]，
则将当前帧输出手势判定为向右切换视点手势，以及计算相应个单位的视点切换跨度Vright，并跳到步骤(7)；
若θm2不满足上述两种情况或之前第m2帧中的右手臂与代表水平向右方向的空间X轴夹角θm2不存在，则判定当前帧无视点切换手势，并结束当前帧数据的处理。
(7)将识别出的手势转换为相应的视点播放操作
(7-1)若识别出的手势为局部画面的放大手势，则通过以下方式实现播放操作：暂停当前播放画面，将当前手势右手掌中心所在的空间坐标映射到图像中的具体位置，然后将这个位置的画面通过相应的功能模块实现画面的局部放大，最后将放大后的画面输出到显示器中完成本次操作。
(7-2)若识别出的手势为局部画面的缩小手势，则通过以下方式实现播放操作：暂停当前播放画面，将当前手势右手掌中心所在的空间坐标映射到图像中的具体位置，然后将这个位置的画面通过相应的功能模块实现画面的局部缩小，最后将缩小后的画面输出到显示器中完成本次操作。
(7-3)若当前识别出的手势为向左切换视点手势，则发送向左切换手势信号，通过自由视点合成技术生成新的视点，最后将新的视点输出到显示器完成本次操作。
(7-4)若当前识别出的手势为向右切换视点手势，则发送向右切换手势信号，通过自由视点合成技术生成新的视点，最后将新的视点输出到显示器完成本次操作。
(7-5)结束当前帧数据的处理。
本发明的技术构思为：首先考虑到经过普通的体感相机获取的深度图像质量欠佳，所以在获取深度图像之后用双边滤波方法对深度图像进行一个初步的处理，使得获取更好的边缘轮廓图像；接着通过体感相机的骨骼数据判断右手掌中心位置和右手臂位置，通过右手掌中心位置以及预处理后的深度图像获取右手掌轮廓，进一步提取右手掌轮廓特征和右手臂位置距离特征；然后通过右手掌轮廓特征判断出自由视点视频的放大和缩小手势，通过右手臂位置连线与水平向右方向的夹角判断出视点的左右切换手势；最后将识别出的手势信号发送给相应的模块实现相应的播放功能。
与现有技术相比，本发明具有以下有益效果：
本发明使用双边滤波方法对深度图像进行预处理，使得生成的深度图像较好的保留了图像中的边缘轮廓信息。设计了一种简单快速的手势识别方法，有效的降低了用户手势切换视点的卡顿。设计了一种全新的自由视点视频局部画面的放大缩小方法和视点的切换方法，通过识别用户的手势进行视点画面的局部放大缩小和切换视点，在观看自由视点视频时能够带给用户良好的融入感。
附图说明
图1为本发明流程框图；
图2为本发明的判断流程框图；
图3为本发明中向右切换视点手势示意图，其中，左图手势到右图手势组成向右切换视点手势；
图4为本发明中向左切换视点手势示意图，其中，左图手势到右图手势组成向左切换视点手势。
具体实施方式
下面结合实施例和附图来详细描述本发明，但本发明并不仅限于此。
本发明采用微软公司的第二代Kinect体感相机和处理器为Inter-Core-i5-6500@2.30GHz的PC为硬件平台，本发明实施例基于Kinect相机手势识别的自由视点视频播放方法，如图1所示，具体包括以下步骤：
(1)获取一帧深度图像和人体骨骼数据；
(2)采用双边滤波方法对深度图像预处理；
(3)使用人体骨骼数据计算右手掌中心位置和右手臂位置；
(4)根据右手掌中心位置和预处理后的深度图像获得右手掌轮廓；
(5)提取右手掌轮廓特征和右手臂位置特征；
(6)利用右手掌轮廓特征和右手臂位置特征判断识别手势；
(7)将识别出的手势转换为相应的视点播放操作。
步骤(1)具体包括：
(1-1)通过使用OpenCV调用Kinect相机SDK中的相关头文件实时获取视频流数据，通过Depth函数接口直接得到一帧当前深度图像数据I1，其中I1的宽为w个像素点、高为h个像素点。
(1-2)通过drawSkeleton函数获取骨骼点数据S1，具体是通过whichone变量实时获取人体的ELBOW_RIGHT、WRIST_RIGHT和HAND_RIGHT三点的骨骼三维坐标数据。
步骤(2)具体包括：
利用双边滤波器首先将深度图像I1中某一像素周围点的灰度值和这些点与中心点的欧氏距离进行加权组合，通过计算得到双边滤波之后的这一点的具体值，将经过双边滤波优化后的深度图像标记为I’1，用于后续步骤的右手掌轮廓和右手臂轮廓的获取。
步骤(3)具体包括：
将骨骼数据S1中的HAND_RIGHT骨骼点的三维坐标作为右手掌中心位置坐标Hc，通过ELBOW_RIGHT点Ar(x2,y2,z2)和WRIST_RIGHT点Wr(x3,y3,z3)两点中的连线来计算右手臂位置。
步骤(4)具体包括：
取H’c(x’1,y’1,z’1)的灰度值G1为基准，搜索匹配深度图像I’1中以H’c(x’1,y’1,z’1)为中心宽为w’个像素点高为h’个像素点的长方形区域，其中，w’＝w/4，h’＝h/3，在长方形区域内提取灰度值在[G1-10,G1+10]内的像素区域，将这个区域标记为H。最后将H区域的灰度值置为255其余背景区域的灰度值置为0，即得到右手掌轮廓图。
步骤(5)具体包括：
(5-1)提取H区域的特征。对H区域进行凸包检测，若H区域是一个具有五个凸点和四个凹点的多边形区域，则跳到步骤(5-2)进一步处理，否则跳到步骤(5-3)。
(5-2)对H区域进一步检测以区分指尖。将H区域的所有凸点和凹点顺次交替编号为z[n]，n＝0,1...8，得到一条从z[0]到z[8]的路径，通过判断前一点到后一点路径的方向是向上还是向下区分出右手掌轮廓中的凸点(即为指尖)和凹点(即为指根)。若前一点到后一点的方向是向下则此点即为指尖，若前一点到后一点的方向是向上则为指根，统计出所有的指尖位置和之前确定的右手掌中心位置作为右手掌轮廓特征。计算右手第一个指尖到右手掌中心的欧式距离xn和右手第二个指尖到右手掌中心的欧式距离zn，跳到步骤(6-1)中进一步判断放大手势或缩小手势。
(5-3)通过当前帧中点Ar(x2,y2,z2)和点Wr(x3,y3,z3)提取右手臂与代表水平向右方向的空间X轴夹角θ：利用式(1)求出这两点的欧氏距离d，即为三维空间中这两点的实际距离，
然后通过点Wr(x3,y3,z3)与Ar(x2,y2,z2)在空间X轴上的距离|x3-x2|和欧氏距离d求出当前帧右手臂与代表水平向右方向的空间X轴夹角θ并跳到步骤(6-2)进一步判断。
(6)利用右手掌轮廓特征和右手臂位置特征判断手势
(6-1)将当前帧的xn和zn与之前第m1帧中右手第一个指尖到右手掌中心欧式距离xm1和右手第二个指尖到右手掌中心欧式距离zm1对比识别出放大手势和缩小手势，m1的取值范围为[10,60]：若xn>xm1且zn>zm1，则将当前帧输出手势判定为放大手势，并跳到步骤(7)；若xn<xm1且zn<zm1，则将当前帧输出手势判定为缩小手势，并跳到步骤(7)；若不满足上述关系或之前第m1帧中不存在右手第一个指尖数据和右手第二个指尖数据则判定当前帧无放大缩小手势，结束当前帧处理。
(6-2)判断当前帧中θ是否属于[85°，95°]，若θ属于[85°，95°]则跳到步骤(6-3)进一步判断向左切换视点手势和向右切换视点手势，否则结束当前帧的处理。
(6-3)判断之前第m2帧中的右手臂与代表水平向右方向的空间X轴夹角θm2识别出向左切换视点手势和向右切换视点手势，m2的取值范围为[10,60]：若θm2满足式(2)关系，则将当前帧输出手势判定为向左切换视点手势，以及计算相应个单位的视点切换跨度Vleft，并跳到步骤(7)；
若θm2满足式(3)关系，则将当前帧输出手势判定为向右切换视点手势，以及计算相应个单位的视点切换跨度Vright，并跳到步骤(7)；
若不满足上述关系式或之前第m2帧中的右手臂与代表水平向右方向的空间X轴夹角θm2不存在，则判定当前帧无视点切换手势，并结束当前帧数据的处理。
步骤(7)具体包括：
(7-1)若检测到当前帧有放大手势，则暂停当前播放画面，将当前手势的右手掌中心位置所在的空间坐标映射到自由视点图像中的具体位置，然后将这个位置的画面通过OpenCV的resize()函数实现画面的局部放大，最后将放大后的图片显示到显示器中完成本次放大操作。
(7-2)若检测到当前帧有缩小手势，则暂停当前播放画面，将当前手势的右手掌中心位置所在的空间坐标映射到自由视点图像中的具体位置，然后将这个位置的画面通过OpenCV的resize()函数实现画面的局部缩小，最后将缩小后的图片显示到显示器中完成本次缩小操作。
(7-3)若检测到当前帧有向左切换视点手势，则触发相应的信号发送给自由视点合成端，在自由视点合成端通过自由视点合成技术生成新的视点，生成的新的视点位于当前视点的右方相应单位的距离，若向左切换一个单位距离的视点，即实际中向左切换了30mm的视点。然后将新的视点送显到显示器就完成了本次视点切换的过程。
(7-4)若检测到当前帧有向右切换视点手势，则触发相应的信号发送给自由视点合成端，在自由视点合成端通过自由视点合成技术生成新的视点，生成的新的视点位于当前视点的左方相应单位的距离，若向右切换一个单位距离的视点，即实际中向右切换了30mm的视点。然后将新的视点送显到显示器就完成了本次视点切换的过程。
(7-5)结束当前帧数据的处理。
Claims (5)
1.一种基于体感相机手势识别的自由视点视频播放方法，其特征在于，所述的方法包括以下步骤：
(1)获取一帧深度图像和人体骨骼数据：
通过体感相机实时获取一帧深度图像I1和对应的人体骨骼数据S1，I1的宽为w个像素点、高为h个像素点，S1包括右手臂关节、右手腕关节和右手掌三点的骨骼三维坐标数据；
(2)采用双边滤波方法对深度图像预处理：
用双边滤波方法对深度图像I1进行滤波处理，去除深度图像中的噪声干扰，优化深度图像中的边缘轮廓信息，将经过双边滤波的深度图像记为I’1；
(3)使用人体骨骼数据计算右手掌中心位置和右手臂位置：
将S1中的右手掌关节点的三维坐标作为右手掌中心位置坐标Hc(x1,y1,z1)，右手臂位置的计算是通过手臂关节点Ar(x2,y2,z2)和手腕关节点Wr(x3,y3,z3)两点中的连线来获得；
(4)根据右手掌中心位置和预处理后的深度图像获得右手掌轮廓：
将Hc(x1,y1,z1)映射到深度图像I’1中得到对应的一点，取这一点的灰度值为基准，匹配深度图像I’1与这一点灰度值邻近的区域得到区域H，将H区域与I’1中其他区域灰度值二值化，即得到手掌轮廓图；
(5)提取右手掌轮廓特征和右手臂位置特征：
首先，判断H区域是否为五个凸点和四个凹点的多边形区域，若是则进一步判断指尖和指根，从而得到右手第一个指尖到右手掌中心的欧式距离xn和右手第二个指尖点到右手掌中心的欧式距离zn；若不是则通过Ar(x2,y2,z2)和Wr(x3,y3,z3)得到当前帧右手臂与代表水平向右方向的空间X轴夹角θ；
(6)利用手掌轮廓特征和手臂位置特征判断识别手势：
若步骤(5)得到当前帧右手第一个指尖到右手掌中心的欧式距离xn和右手第二个指尖点到右手掌中心的欧式距离zn，则将xn和zn与之前第m1帧中右手第一个指尖到右手掌中心的欧式距离xm1和右手第二个指尖到右手掌中心的欧式距离zm1对比，m1的取值范围为[10,60]，识别出放大手势或缩小手势，若不满足放大手势或缩小手势条件则结束当前帧处理；
若步骤(5)得到当前帧右手臂与代表水平向右方向的空间X轴夹角θ，判断当前帧中θ是否属于[85°，95°]，若属于则判断之前第m2帧中的右手臂与代表水平向右方向的空间X轴夹角θm2识别出向左切换视点手势和向右切换视点手势，m2的取值范围为[10,60]，若不满足视点切换手势条件则结束当前帧处理；
(7)将识别出的手势转换为相应的操作：
将识别出的放大手势或缩小手势转换为视频画面的放大或缩小操作；将识别出的向左切换视点手势或向右切换视点手势转换为视点的向左切换操作或视点的向右切换操作；结束当前帧数据的处理。
2.如权利要求1所述的一种基于体感相机手势识别的自由视点视频播放方法，其特征在于，所述步骤(4)中，将Hc(x1,y1,z1)映射到深度图像I’1中得到H’c(x’1,y’1,z’1)，取H’c(x’1,y’1,z’1)的灰度值G1为基准，搜索匹配深度图像I’1中以H’c(x’1,y’1,z’1)为中心、宽为w’个像素点、高为h’个像素点的长方形区域，其中，w’＝w/4，h’＝h/3，在长方形区域内提取灰度值在[G1-10,G1+10]内的像素区域，将这个区域标记为H，最后将H区域的灰度值置为255其余背景区域的灰度值置为0，即得到右手掌轮廓图。
3.如权利要求1所述的一种基于体感相机手势识别的自由视点视频播放方法，其特征在于，所述步骤(5)中包含以下子步骤：
(5-1)对H区域进行凸包检测，若H区域是一个具有五个凸点和四个凹点的多边形区域，则将H区域的所有凸点和凹点顺次交替编号为z[n]，n＝0,1...8，存在一条路径从z[0]到z[8]，通过判断前一点到后一点路径的方向是向上还是向下区分出手掌轮廓中的凸点即为指尖和凹点即为指根，若前一点到后一点的方向是向下则此点即为指尖，若前一点到后一点的方向是向上则此点即为指根，统计出所有的指尖位置和之前确定的右手掌中心位置作为右手掌轮廓特征；计算右手第一个指尖到右手掌中心的欧式距离xn和右手第二个指尖点到右手掌中心的欧式距离zn；
(5-2)若H区域不存在五个凸点和四个凹点，则通过当前帧中点Ar(x2,y2,z2)和点Wr(x3,y3,z3)来提取右手臂与代表水平向右方向的空间X轴夹角θ：利用式(1)求出这两点的欧氏距离d，即为三维空间中这两点的实际距离，
然后通过点Wr(x3,y3,z3)与Ar(x2,y2,z2)在空间X轴上的距离|x3-x2|和欧氏距离d求出当前帧右手臂与代表水平向右方向的空间X轴夹角θ。
4.如权利要求1所述的一种基于体感相机手势识别的自由视点视频播放方法，其特征在于，所述步骤(6)中包含以下子步骤：
(6-1)若步骤(5)得到当前帧右手第一个指尖到右手掌中心的欧式距离xn和右手第二个指尖点到右手掌中心的欧式距离zn，则判断是否满足放大手势或缩小手势条件：若xn>xm1且zn>zm1，则将当前帧输出手势判定为放大手势；若xn<xm1且zn<zm1，则将当前帧输出手势判定为缩小手势；若不满足上述两种情况或之前第m1帧中不存在右手第一个指尖数据和右手第二个指尖数据，则判定当前帧无放大缩小手势，结束当前帧处理；
(6-2)若步骤(5)得到当前帧右手臂与代表水平向右方向的空间X轴夹角θ，则判断θ是否属于[85°，95°]，若θ属于[85°，95°]则通过步骤(6-3)进一步判断是向左切换视点手势还是向右切换视点手势，否则结束当前帧的处理；
(6-3)取前第m2帧中的右手臂与代表水平向右方向的空间X轴夹角θm2：若θm2属于[20°，80°]，将当前帧输出手势判定为向左切换视点手势并根据式(2)，
计算相应个单位的视点切换跨度Vleft；若θm2属于[100°，160°]，将当前帧输出手势判定为向右切换视点手势并根据式(3)，
计算相应个单位的视点切换跨度Vright；若θm2不满足上述两种情况或之前第m2帧中的右手臂与代表水平向右方向的空间X轴夹角θm2不存在，则判定当前帧无视点切换手势，并结束当前帧数据的处理。
5.如权利要求1所述的一种基于体感相机手势识别的自由视点视频播放方法，其特征在于，所述步骤(7)中包含以下子步骤：
(7-1)若识别出的手势为局部画面的放大手势，则通过以下方式实现播放操作：暂停当前播放画面，将当前手势右手掌中心所在的空间坐标映射到图像中的具体位置，然后将这个位置的画面通过相应的功能模块实现画面的局部放大，最后将放大后的画面输出到显示器中完成本次操作；
(7-2)若识别出的手势为局部画面的缩小手势，则通过以下方式实现播放操作：暂停当前播放画面，将当前手势右手掌中心所在的空间坐标映射到图像中的具体位置，然后将这个位置的画面通过相应的功能模块实现画面的局部缩小，最后将缩小后的画面输出到显示器中完成本次操作；
(7-3)若当前识别出的手势为向左切换视点手势，则发送向左切换手势信号，通过自由视点合成技术生成新的视点，最后将新的视点输出到显示器完成本次操作；
(7-4)若当前识别出的手势为向右切换视点手势，则发送向右切换手势信号，通过自由视点合成技术生成新的视点，最后将新的视点输出到显示器完成本次操作；
(7-5)结束当前帧数据的处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810246578.3A CN108521594B (zh) | 2018-03-23 | 2018-03-23 | 一种基于体感相机手势识别的自由视点视频播放方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810246578.3A CN108521594B (zh) | 2018-03-23 | 2018-03-23 | 一种基于体感相机手势识别的自由视点视频播放方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108521594A CN108521594A (zh) | 2018-09-11 |
| CN108521594B true CN108521594B (zh) | 2020-08-11 |
Family
ID=63434053
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810246578.3A Active CN108521594B (zh) | 2018-03-23 | 2018-03-23 | 一种基于体感相机手势识别的自由视点视频播放方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108521594B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110989844A (zh) * | 2019-12-16 | 2020-04-10 | 广东小天才科技有限公司 | 一种基于超声波的输入方法、手表、系统及存储介质 |
| CN112346642B (zh) * | 2020-11-10 | 2022-03-08 | 交控科技股份有限公司 | 列车信息展示方法、装置、电子设备及系统 |
| CN114041767B (zh) * | 2021-10-11 | 2024-11-01 | 宁波春建电子科技有限公司 | 一种基于深度相机和毫米波雷达的心率检测方法 |
| CN118567488B (zh) * | 2024-07-31 | 2024-10-22 | 杭州锐见智行科技有限公司 | 一种双手手势交互方法、装置、电子设备和存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102520791A (zh) * | 2011-11-28 | 2012-06-27 | 北京盈胜泰科技术有限公司 | 一种无线手势识别装置 |
| CN102622083A (zh) * | 2012-02-24 | 2012-08-01 | 北京盈胜泰科技术有限公司 | 一种手势识别方法及手势识别装置 |
| CN103167230A (zh) * | 2011-12-17 | 2013-06-19 | 富泰华工业（深圳）有限公司 | 电子设备及其根据手势控制拍照的方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100027845A1 (en) * | 2008-07-31 | 2010-02-04 | Samsung Electronics Co., Ltd. | System and method for motion detection based on object trajectory |
| US9063573B2 (en) * | 2011-02-17 | 2015-06-23 | The Board Of Trustees Of The Leland Stanford Junior University | Method and system for touch-free control of devices |
-
2018
- 2018-03-23 CN CN201810246578.3A patent/CN108521594B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102520791A (zh) * | 2011-11-28 | 2012-06-27 | 北京盈胜泰科技术有限公司 | 一种无线手势识别装置 |
| CN103167230A (zh) * | 2011-12-17 | 2013-06-19 | 富泰华工业（深圳）有限公司 | 电子设备及其根据手势控制拍照的方法 |
| CN102622083A (zh) * | 2012-02-24 | 2012-08-01 | 北京盈胜泰科技术有限公司 | 一种手势识别方法及手势识别装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108521594A (zh) | 2018-09-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103353935B (zh) | 一种用于智能家居系统的3d动态手势识别方法 | |
| Liu et al. | Hand gesture recognition using depth data | |
| CN108062525B (zh) | 一种基于手部区域预测的深度学习手部检测方法 | |
| Jain et al. | Real-time upper-body human pose estimation using a depth camera | |
| CN108521594B (zh) | 一种基于体感相机手势识别的自由视点视频播放方法 | |
| KR100776801B1 (ko) | 화상 처리 시스템에서의 제스처 인식 장치 및 방법 | |
| CN101593022B (zh) | 一种基于指端跟踪的快速人机交互方法 | |
| CN102081918A (zh) | 一种视频图像显示控制方法及视频图像显示器 | |
| CN108388882A (zh) | 基于全局-局部rgb-d多模态的手势识别方法 | |
| CN114005167B (zh) | 基于人体骨骼关键点的远距离视线估计方法和装置 | |
| WO2014120554A2 (en) | Systems and methods for initializing motion tracking of human hands using template matching within bounded regions | |
| JP5438601B2 (ja) | 人物動作判定装置およびそのプログラム | |
| CN111104960B (zh) | 一种基于毫米波雷达和机器视觉的手语识别方法 | |
| CN104821010A (zh) | 基于双目视觉的人手三维信息实时提取方法及系统 | |
| CN102591533A (zh) | 基于计算机视觉技术的多点触摸屏系统实现方法与装置 | |
| Mohatta et al. | Robust hand gestural interaction for smartphone based AR/VR applications | |
| JP2016099643A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| CN113191421A (zh) | 一种基于Faster-RCNN的手势识别系统及方法 | |
| WO2011096571A1 (ja) | 入力装置 | |
| TWI768852B (zh) | 人體方向之偵測裝置及人體方向之偵測方法 | |
| Nagori et al. | Communication interface for deaf-mute people using microsoft kinect | |
| CN110781712A (zh) | 一种基于人脸检测与识别的人头空间定位方法 | |
| CN204463031U (zh) | 一种3d场景中重现物体的系统和虚拟现实头戴设备 | |
| CN114613006A (zh) | 一种远距离手势识别方法及装置 | |
| KR20170067398A (ko) | 얼굴 모션 변화에 따른 삼각 매쉬 모델을 활용하는 사용자 인터페이스 제어 방법 및 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |