CN102156859B - 手部姿态与空间位置的感知方法 - Google Patents
手部姿态与空间位置的感知方法 Download PDFInfo
- Publication number
- CN102156859B CN102156859B CN201110100532A CN201110100532A CN102156859B CN 102156859 B CN102156859 B CN 102156859B CN 201110100532 A CN201110100532 A CN 201110100532A CN 201110100532 A CN201110100532 A CN 201110100532A CN 102156859 B CN102156859 B CN 102156859B
- Authority
- CN
- China
- Prior art keywords
- hand
- image
- camera
- spatial position
- posture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000008447 perception Effects 0.000 title claims abstract description 13
- 230000033001 locomotion Effects 0.000 claims abstract description 18
- 230000036544 posture Effects 0.000 claims description 63
- 238000013479 data entry Methods 0.000 claims description 28
- 238000005259 measurement Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 12
- 238000005286 illumination Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 2
- 238000004088 simulation Methods 0.000 claims 2
- 238000005516 engineering process Methods 0.000 abstract description 5
- 230000003993 interaction Effects 0.000 abstract description 4
- 238000009499 grossing Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 7
- 210000003811 finger Anatomy 0.000 description 7
- 230000003068 static effect Effects 0.000 description 7
- 210000001503 joint Anatomy 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 210000003813 thumb Anatomy 0.000 description 3
- KNMAVSAGTYIFJF-UHFFFAOYSA-N 1-[2-[(2-hydroxy-3-phenoxypropyl)amino]ethylamino]-3-phenoxypropan-2-ol;dihydrochloride Chemical compound Cl.Cl.C=1C=CC=CC=1OCC(O)CNCCNCC(O)COC1=CC=CC=C1 KNMAVSAGTYIFJF-UHFFFAOYSA-N 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000004247 hand Anatomy 0.000 description 2
- 210000000811 metacarpophalangeal joint Anatomy 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000000511 carpometacarpal joint Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 210000001145 finger joint Anatomy 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种利用红外光源、基于可变数多摄像头的手势识别人机交互技术。本方法不需要用户佩戴任何辅助器具，且具有适用环境范围广、运动感知能力全面、造价低廉、计算复杂度低等突出特点。本发明使用虚拟现实的方法对手部姿态与位置进行建模，并生成模板数据库。在实际使用时，将去除背景的多摄像头输入图像与模板数据库中的条目进行对比，以对比差值最小的数据库条目作为手部姿态初步识别结果。为了使识别结果更稳定，本发明使用平滑滤波方法对初步识别结果进行修正，给用户提供更平稳的识别数据。除此之外，本发明还能够对一段连续时间手部动作的序列进行识别，为人机交互提供更丰富的选择。
Description
技术领域
本发明大体上涉及改进的手部姿态与位置的感知方法。更具体地，本发明指示基于多摄像头系统、利用红外光照进行手部姿态与位置的感知的方法，用于提供改进的人机交互技术。
背景技术
多年来，随着多媒体技术的普及与发展，人们在对新型人机交互技术进行着不懈的探索。使用肢体、手势等直观的方式完成计算机的操纵，成为一个技术热点。人的手部是一种复杂的执行机制，其灵活度高、表现力丰富且可以完成精细的操作，但这些特性也使其姿态的识别与跟踪成为计算机研究中的重大挑战。
对手部运动的识别，可以通过多种方法实现。来自微软公司的US20100199228A1(公开日：2010年8月5日)提供了利用深度摄像头捕获并分析用户的身体姿态，并将其解释为计算机命令的方案。来自Nintendo公司的US20080291160A1(公开日：2008年11月27日)提供了利用红外传感器和加速度传感器捕获用户手部位置的方案。此外，现有技术中还有利用数据手套来辅助对手部姿态的识别的方案。这些方案实现了对手部运动的识别，但也存在着各种不足。缺点之一是价格昂贵。
来自松下电器产业株式会社的CN1276572A提供了使用摄像头对手部进行拍照，然后对图像进行归一化分析，并将归一化得到的图像进行空间投影，并将所得的投影坐标与预先存储的图像的投影坐标进行比较。该方法比较直观，但需要经过复杂的数学计算过程，且无法对手的空间位置进行识别与跟踪。
此外，在手部运动感知领域，还存在着几大技术挑战：首先，如何从获取的图像中有效的提取出手部的区域。一些技术方案通过识别人的皮肤颜色进行分割处理，但受到环境光照条件的影响很大，而且对于不同人种的肤色需特别处理。另一些方案，在手上佩戴一些具有颜色的标识，或彩色手套，但同样也受到一定的环境光照影响，且降低了使用设备的舒适程度与方便程度。其次，图像中的手部图像存在严重的自遮挡现象，即是说，在一副图像中，手指、手掌之间可能互相遮盖，使得计算机难以凭借图像中的信息判断出手指的具体姿态。
发明内容
本发明综合考虑了现有技术中存在的多方面问题，并以较低成本、较低计算复杂度和较低的系统的复杂度为代价，实现了对手部姿态与位置的有效识别。
本发明具有以下几个重要的特点：
(a)可适用于多种复杂环境。使用该设备，无需特定的光照环境，无需对使用者及使用环境做过多的约束，也无需在使用者的身体上佩戴任何标志与传感器。也就是说，无论白天、夜晚；室外、室内；使用者的肤色；设备处于静态还是移动中，设备都不用进行改造或特别的设置，即可使用。
(b)可以全面的感知手部的运动。其既包括手在任意瞬时的位置与姿态，也包括手部以及手指的运动。
(c)不使用复杂、造价昂贵或对生产工艺要求过高的设备。比如：高速摄像头、深度摄像头、复杂传感器。
(d)无需进行图像归一化处理、图像空间投影等复杂计算过程。
根据本发明的一种用于多摄像头系统的手部姿态与位置的感知方法，所述多摄像头系统包括数据库，以及处于不同位置的第一摄像头与第二摄像头，所述数据库中有多个数据条目，每个数据条目包括一手部姿态与空间位置信息、与所述第一摄像头相对应的第一手部图像模板，以及与所述第二摄像头相对应的第二手部图像模板；
所述手部姿态与位置的感知方法包括：
(1)利用第一摄像头捕获第一幅图像；利用第二摄像头捕获第二幅图像；
(2)处理所述第一摄像头所捕获的第一图像，提取出第一手部区域的图像；处理所述第二摄像头所捕获的第二图像，提取出第二手部区域的图像；
(3)对于所述数据库中的每一条数据条目，将第一手部区域的图像，与所述第一手部图像模板相比较，得到第一差值，将第二手部区域的图像，与所述第二手部图像模板相比较，得到第二差值，累加第一差值与第二差值，得到对应于所述数据库中的每一条数据条目的综合差值；
(4)选取综合差值最小的一条数据条目的手部姿态与空间位置信息，作为手部姿态与空间位置测量结果；
基于所述手部姿态与空间位置测量结果，在屏幕上绘制虚拟手图标或光标。
附图说明
当连同附图阅读时，通过参考后面对示出性的实施例的详细描述，将最佳地理解本发明以及优选的使用模式和其进一步的目的和优点，其中附图包括：
图1绘制了根据本发明的用于手部姿态与位置感知的多摄像头系统的整体结构图；
图2展示了根据本发明的多摄像头系统的控制电路的框图；
图3展示了根据本发明所使用的手部模型的示意图；
图4示出了根据本发明的实施例的数据库条目的生成方法；
图5展示了根据本发明的手部姿态与位置识别方法的流程图；
图6展示了根据本发明的实施例的手部图像提取的示意图；
图7展示了根据本发明的实施例的手部图像匹配过程的示意图；
图8展示了根据本发明的实施例的识别静态手势的示意图。
具体实施方式
图1是绘制了根据本发明的用于手部姿态与位置感知的多摄像头系统的整体结构图。如图1所示，根据本发明的手部姿态/位置感知系统包含：计算机主机101、多摄像头系统的控制电路102、多个摄像头103、使用者手部104、运行于计算机主机101的应用程序105、应用程序105中的被操作对象106与虚拟手光标107，该多摄像头系统还包括在图1中未示出的用于照明使用者手部104的红外照明光源以及放置于每个摄像头前的红外滤光片。
图1中的多个摄像头103包括处于不同空间位置的多个摄像头，用于从不同角度拍摄使用者手部104的图像。多个摄像头103具有红外感光能力。可以使用多个红外发光二极管作为系统的照明光源。为了获得稳定的照明效果，增加在图像中提取手部区域的成功率，可设立两类光源。一类为使用红外二极管直接照明，其照明的特点为光强集中，使得被照壳物体的边缘清晰可辨，但可能产生明显的阴影；另一类为在红外二极管上罩有散射材料，使其成为散射光源，其可将一个区域的照明亮度整体提高，但会造成一定的模糊。配合使用两种光源，可以达到较佳的照明效果。
红外滤光片，覆于摄像头的镜头外侧，将可见光过滤，保证射入多个摄像头103的光线为红外光源的反射光线。使用滤光片后，多个摄像头103捕获的图像为灰度图像，且不受到外界光源环境的影响。
图2展示了根据本发明的多摄像头系统的控制电路102的框图。
图2展示了一个控制电路102的范例实现。包括存储器管理器201、内部存储器202、只读存储器203、电源管理模块204、协处理器205、微处理器206、输入输出控制器207、摄像头控制器208与209、USB控制器210。微处理器206是整个控制电路的核心，可采用RISC类嵌入式处理器。协处理器205专职处理图像处理相关的任务，具有大规模并行处理能力，可采用DSP(数字信号处理器)或者其他嵌入式向量处理器，也可以采用定制开发的ASIC(应用专用集成电路)或FPGA(现场可编程逻辑阵列)。微处理器206与协处理器205之间用中断方式、GPIO(通用输入输出管脚)方式、或者双端口存储器方式进行通讯。微处理器和协处理器通过存储器管理器201访问存储设备，通过输入输出控制器207访问外接设备。
存储器管理器201连接了内部存储器202和只读存储器203。内部存储器202承载了控制电路102在运行中的运算数据。由于只读存储器203是非易失性存储设备，可以用来储存控制电路102的启动程序和系统程序。
输入输出控制器207是处理器和外部设备的桥梁。处理器通过输入输出控制器207与外部设备进行通讯。在这个范例实现中，输入输出控制器207主要连接了两类设备，摄像头控制器208/209和USB(通用串行总线)控制器210。其中，USB控制器210将控制电路102与计算机主机101(可以是PC(个人计算机)，也可以是其他嵌入式系统、电子设备或者游戏平台)连接，传达计算机主机101给控制电路102的命令，并且将手势识别的数据发回给计算机主机101。在多种实施例中，控制电路102和计算机主机之间的链接也可以通过其他方式连接，例如有线、无线网络连接等。摄像头控制器208/209的数量可变。根据具体应用环境中对手势识别的精度需求不同，可以部署一个到多个摄像头控制器208/209。摄像头的数量越多，能够获得的识别精度越高。摄像头控制器208/209连接外部摄像头，将捕捉到的视频图像通过输入输出控制207器传达给微处理器206和协处理器205。
在控制电路102的工作过程中，摄像头控制器208/209为控制电路102提供了手势识别的原始数据，微处理器206和协处理器205对原始数据进行处理，最终处理结果通过USB控制器210传递给计算机主机101。值得注意的是，协处理器205是可选的部件，它的存在目的是加速图像处理相关的算法，提高手势识别的速度和精度。如果微处理器206的计算能力已经能够达成应用环境的识别效率的需求，那么完全可以去掉协处理器205，以节省成本。而对于某些应用环境，我们还可以将手势识别的算法计算过程转移到主机101上，这样的话整个控制电路102可以进行更进一步的裁剪。剪裁后的控制电路用于接收摄像头控制器208/209传进来的原始数据，将其整合并传输到主机101。
用户使用依据本发明的手部姿态与位置感知系统时，用户的手部104处于红外照明光源提供的红外光环境中。从摄像头103的视角来看，用户的手部104处于视野的前景，较明亮。因此，从摄像头103捕获的灰度图像中，可容易地通过一些已知的图像处理算法将手部区域分割出来。例如可以用J.Sauvola and M.Pietikainen，“Adaptivedocument image binarization，”Pattern Recognition 33(2)，pp.225-236，2000.论文中提到的自适应阈值的图像“二值化”方法将手的区域分割出来，或者采用T.Horprasert，D.Harwood，and L.S.Davis，“AStatistical Approach forReal-Time Robust Background Subtraction andShadow Detection，”Proc.IEEE Int’l Conf.Computer Vision’99FRAME-RATE Workshop，1999.论文中提到的基于统计的方法将摄像头视野内的前景和背景分离。在一个实施例中，还可以根据经验设定亮度阈值，将图像中亮度低于阈值的区域识别为背景区域，从而实现手部图像区域的分割。
将从多摄像头103得到的一组分割后的手部图像，与手部姿态数据库中的预先存储的模板进行对比，以确定当前的手部姿态。下面结合图3、4说明创建手部姿态数据库的方法。
图3示出了根据本发明而采用的虚拟手部模型。模型中的关节具有1个或2个自由度，自由度指表述关节运动的独立参数。远端指间关节304、近端指间关节305、拇指指间关节301、拇指掌指关节302都只具有1个自由度；拇指腕掌关节303、掌指关节306都具有2个自由度。所以整个手部模型共有20个关节自由度。再加上表述手部空间位置的3个自由度(即手部的空间坐标)与表述手部朝向的3个自由度(即手部的俯仰角、横摆角与扭转角)，本方法中采用的手部模型的姿态共涉及26个自由度。其可以由一个26维向量表示。
在使用根据本发明的实施例而感知手部姿态或位置之前，首先构建存储手部姿态信息以及与该手部姿态信息相对应的手部图像模板的数据库。为构建数据库，测量要在真实的系统应用场景中放置的多个摄像头各自的位置与姿态。然后，使用虚拟现实图形渲染工具，构建虚拟场景403，并将虚拟摄像头402(如图4所示)按照真实的系统应用场景中的位置放置于虚拟现实场景403中。并使用虚拟现实图形渲染工具，对在虚拟现实场景中的不同位置与姿态的虚拟手部404与红外光源进行模拟，生成虚拟光源401下的虚拟手部404在各虚拟摄像头视角观测得到的灰度图像(411，412)。
所生成的虚拟手部，符合在图3中所示出的手部模型。根据具体应用需求，所属领域技术人员可以对图3中的手部模型的一些自由度进行增加或删减，以改变手部姿态数据库的规模，来满足具体工程复杂度和手部感知精度的要求。
所生成的数据库包括多个条目。每个条目中(图4中的数据库条目405)，存储了条目序号406，一个手部姿态与位置的自由度信息(空间位置与朝向、以及各手指关节的角度)407，以及通过虚拟现实工具渲染得到的多个虚拟摄像头的每个所拍摄到的对应手部的灰度图像(408，409)。在一个实施例中，虚拟手部模型具有26个自由度，在一个数据库条目405中，用一个26维向量表示。在每个条目中，还存储有同该26维向量相对应的多个手部灰度图像，其中该多个手部灰度图像的一个对应于多个虚拟摄像头中的一个，如表1所示。
表1数据库条目表
在选取所需的手部姿态时，可以按预定的姿态精确度生成对应于在虚拟场景403中所有可能的手部姿态与空间位置的数据库条目；也可以按照应用的特定需求，而仅生成应用所关心的对应于特定手部姿态与空间位置的数据库条目，以避免数据库规模过于庞大。
为表述清楚的目的，在下文中介绍本发明的手部姿态与位置识别方法中，将数据库条目中的手部灰度图像也称为手部图像模板。
图5展示了根据本发明的手部姿态与位置识别方法的流程图。本发明的实施例的手部姿态与位置识别方法包括：
(1)利用第一摄像头捕获第一幅图像；利用第二摄像头捕获第二幅图像501。在图6中的附图标记601指示所捕获的第一幅图像和第二幅图像，其包括背景图像602和作为前景图像的手部区域图像603。
(2)处理所述第一摄像头所捕获的第一图像，提取出第一手部区域的图像；处理所述第二摄像头所捕获的第二图像，提取出第二手部区域的图像502。可采用现有技术中已知的多种方法，将灰度图像中的前景与背景相分离，以提取出手部区域的图像。所提取出的第一手部区域的图像和第二手部区域的图像，如图6中提取后的手部图像604中的6041与6042所示。
(3)对于数据库中的一条数据条目，将提取出的第一手部区域的图像6041，与该数据条目中存储的第一手部图像模板7031相比较，得到第一差值，将第二手部区域的图像6042，与第二手部图像模板7032相比较，得到第二差值，累加第一差值与第二差值，得到对应于所述数据库中的该条数据条目的综合差值。在进一步的实施例中还可通过带权值的累加或者其他方式，来得到综合差值。
图7中的手部图像模板7033与7034对应于数据库中的另一条数据条目，对于该数据条目，计算第一手部区域的图像6041与手部图像模板7033的差值以及第二手部区域的图像6042与手部图像模板7044的差值。计算第一手部区域的图像6041与手部图像模板7033的差值，而不是计算第一手部区域的图像6041与手部图像模板7034的差值，是因为第一手部区域的图像6041与手部图像模板7033均与第一摄像头相对应。
对数据库中的每一条数据条目，计算所提取出的第一手部区域的图像和第二手部区域的图像与数据库条目中存储的第一手部图像模板和第二手部图像模板的综合差值。
计算图像差值可以对两幅灰度图片按照像素做差，并对所有的差值进行绝对值求和，这种方法最简单直观，但是对图像距离的衡量效果不稳定。在一个实施例中，采用更复杂的图像差值算法，比如HUTTENLOCHER，D.P.，KLANDERMAN，G.A.，AND RUCKLIDGE，W.J.1993.Comparing images using the Hausdorff distance.IEEETrans.Pattern Anal.Mach.Intell.15，9，850-863.文中提到的算法。
(4)选取综合差值最小的一条数据条目的手部姿态与位置信息，作为手部姿态与位置测量结果503。例如，图7中，与手部图像模板7031、7032相关联的数据条目，具有与第一手部图像6041和第二手部图像6042最小的综合差值，则将该数据条目中存储的手部姿态与位置信息，作为该次手部姿态与位置测量的结果。而图7中，手部图像模板7033、7034，与第一手部图像6041和第二手部图像6042的综合差值较大。
基于所述手部姿态与位置测量结果，在屏幕上绘制虚拟手图标或光标，并通过手势类型，确定应用软件需要执行的操作505。完成对当前手势的识别后，可以通过重复上述过程而开始下一次的手部姿态与位置识别506。
经过上述过程得到的手部姿态与位置测量结果可能会出现一定程度的不稳定现象。原因主要来自于使用者无意识或无法控制的微小晃动，以及测量系统的系统误差。使用者的手部可能处于不稳运动状态，因而在连续时间段上，多个摄像头103将捕捉到多个手部图像。基于对在连续时间段上的多个手部姿态与位置测量结果，还可以在本发明的实施例中使用平滑算法，将手部姿态与位置的观测值进行修正，从而得到较平稳的手部姿态与位置504。可以采用的平滑算法包括但不限于卡尔曼滤波方法或者M.Arulampalam，S.Maskell，N.Gordon，and T.Clapp.A Tutorial on Particle Filters for OnlineNonlinear/Non-Gaussian Bayesian Tracking.IEEE Trans.on SignalProcessing，50(2)：174-189，February 2002.中提到的粒子滤波法。
本发明的手部姿态与位置识别方法，不限于使用两个摄像头。在进一步实施例中，可采用一个、两个、三个以及多个摄像头，每个摄像头具有不同的空间位置和视角。
在本发明的进一步实施例中，还对静态手势和动态手势进行识别。
静态手势是指，通过伸出指定的手指，并保持一定的手指姿态，来表达使用者的操作意图的手势。然后，通过用户手部的移动距离与旋转角度，确定用户的完整操作。图8中展示了根据本发明的实施例的识别手部运动的示意图，其中使用者正使用本发明，进行三维辅助设计。使用者将手部803置于设备附近，并伸直五指，表示欲进行旋转操作。计算机中绘制的虚拟手光标806，提示了用户当前手部803的姿态与被操作三维物体804的相对位置。之后，使用者将手部旋转了一定的角度801，响应于对手部前后姿态与位置的识别，应用软件在屏幕中所绘制的物体也进行了同步的倾斜802。
动态手势指，使用者通过手部的运动模式，以表达使用者当前的操作意图的手势。比如用户使用指尖绘出三角形轨迹，或者将五指展开再蜷紧以表示一次抓握的操作。系统对用户短时间内的静态手势进行记录，并且将每一种运动模式形式化成一个过滤器(一个运动模式对应一个过滤器)。运动模式过滤器对静态手势记录进行筛选。如果某一时间，用户的静态手势记录通过了某一运动模式的过滤器，系统则认为用户完成了某一手部运动。过滤器的构造可以使用多种方法，比如，Hidden Markov Model(Lawrence R.Rabiner(February 1989).″Atutorial on Hidden Markov Models and selected applications in speechrecognition″.Proceedings of the IEEE 77(2)：257-286)以及Conditional Random Field(Lafferty，J.，McCallum，A.，Pereira，F.(2001).″Conditional random fields：Probabilistic models for segmentingand labeling sequence data″.Proc.18th International Conf.on MachineLearning.Morgan Kaufmann.pp.282-289)等。
已经为了示出和描述的目的而展现了对本发明的描述，并且不旨在以所公开的形式穷尽或限制本发明。对所属领域技术人员，许多调整和变化是显而易见的。
Claims (9)
1.一种用于多摄像头系统的手部姿态与空间位置感知方法，所述多摄像头系统包括数据库，以及处于不同位置的第一摄像头与第二摄像头，所述数据库中有多个数据条目，每个数据条目包括一手部姿态与空间位置信息、与所述第一摄像头相对应的第一手部图像模板，以及与所述第二摄像头相对应的第二手部图像模板；
所述手部姿态与空间位置感知方法包括：
(1)利用第一摄像头捕获第一幅图像；利用第二摄像头捕获第二幅图像；
(2)处理所述第一摄像头所捕获的第一图像，提取出第一手部区域的图像；处理所述第二摄像头所捕获的第二图像，提取出第二手部区域的图像；
(3)对于所述数据库中的每一条数据条目，将第一手部区域的图像，与所述第一手部图像模板相比较，得到第一差值，将第二手部区域的图像，与所述第二手部图像模板相比较，得到第二差值，累加第一差值与第二差值，得到对应于所述数据库中的每一条数据条目的综合差值；
(4)选取综合差值最小的一条数据条目的手部姿态与空间位置信息，作为手部姿态与空间位置测量结果。
2.根据权利要求1的手部姿态与空间位置感知方法，其中在利用第一和第二摄像头捕获图像中，使用红外光源作为照明光源，并在所述第一摄像头和所述第二摄像头的镜头前端覆盖红外滤光片，以过滤可见光。
3.根据权利要求1或2的手部姿态与空间位置感知方法，其中基于图像的亮度阈值，从所述第一图像和所述第二图像中去除背景，以提取第一手部区域的图像和第二手部区域的图像。
4.根据权利要求1的手部姿态与空间位置感知方法，其中在数据库中预先存储的多个数据条目通过以下步骤来生成：
(11)测量第一摄像头与第二摄像头的位置与姿态信息；
(12)生成在第一位置与第一姿态的第一手部姿态与空间位置信息；生成在红外光照下，在第一摄像头的视野内的在所述第一位置与所述第一姿态的手的手部模拟图象，作为第一手部图像模板，以及在第二摄像头的视野内的在所述第一位置与所述第一姿态的手的手部模拟图象，作为第二手部图像模板；将第一手部姿态与空间位置信息、第一手部图像模板与第二手部图像模板作为一条数据条目存储在数据库中；
(13)对于对应多个位置和多个姿态的多个手部姿态与空间位置信息，重复上述步骤(12)。
5.根据权利要求1的手部姿态与空间位置感知方法，对以时间顺序生成的多个手部姿态与空间位置测量结果进行平滑处理，得到处理后的手部姿态与空间位置测量结果。
6.根据权利要求1的手部姿态与空间位置感知方法，进一步包括：基于所述手部姿态与空间位置测量结果，在屏幕上绘制虚拟手图标或光标。
7.根据权利要求1的手部姿态与空间位置感知方法，进一步包括，基于在一连续时间段上得到的多个手部姿态与空间位置测量结果，识别由多个位置和/或姿态的手部区域的图像所构成的运动模式，并得到由所述运动模式所表示的操作类型。
8.一种用于多摄像头系统的手部姿态与空间位置感知方法，所述多摄像头系统包括数据库，以及处于不同位置的多个摄像头，所述数据库中有多个数据条目，每个数据条目包括一手部姿态与空间位置信息、与所述多个摄像头一一对应的多个手部图像模板；
所述手部姿态与空间位置感知方法包括：
(1)利用所述多个摄像头的每个各捕获一幅图像；
(2)处理步骤(1)中所述多个摄像头的每个所捕获的图像，去除每一图像的背景，以提取出多个手部区域的图像，每个所述手部区域的图像对应于所述多个摄像头之一；
(3)对于所述数据库中的第一条数据条目，将与所述多个摄像头相对应的所述多个手部区域的图像的每个，与跟每个手部区域图像相对应的摄像头相应的手部图像模板相比较，得到多个差值，累加所述多个差值，并得到对应于所述数据库中的每一条数据条目的综合差值；
(4)选取综合差值最小的一条数据条目的手部姿态与空间位置信息，作为手部姿态与空间位置测量结果；
基于所述手部姿态与空间位置测量结果，在屏幕上绘制虚拟手图标或光标。
9.一种用于多摄像头系统的手部姿态与空间位置感知装置，所述多摄像头系统包括数据库，以及处于不同位置的第一摄像头与第二摄像头，所述数据库中有多个数据条目，每个数据条目包括一手部姿态与空间位置信息、与所述第一摄像头相对应的第一手部图像模板，以及与所述第二摄像头相对应的第二手部图像模板；
所述手部姿态与空间位置感知装置包括：
图像捕获模块，用于利用第一摄像头捕获第一幅图像；以及用于利用第二摄像头捕获第二幅图像；
手部区域图像提取模块，用于处理所述第一摄像头所捕获的第一图像，提取出第一手部区域的图像；以及用于处理所述第二摄像头所捕获的第二图像，提取出第二手部区域的图像；
比较模块，用于对于所述数据库中的每一条数据条目，将第一手部区域的图像，与所述第一手部图像模板相比较，得到第一差值，将第二手部区域的图像，与所述第二手部图像模板相比较，得到第二差值，累加第一差值与第二差值，得到对应于所述数据库中的每一条数据条目的综合差值；
结果选择模块，用于选取综合差值最小的一条数据条目的手部姿态与空间位置信息，作为手部姿态与空间位置测量结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110100532A CN102156859B (zh) | 2011-04-21 | 2011-04-21 | 手部姿态与空间位置的感知方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110100532A CN102156859B (zh) | 2011-04-21 | 2011-04-21 | 手部姿态与空间位置的感知方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102156859A CN102156859A (zh) | 2011-08-17 |
| CN102156859B true CN102156859B (zh) | 2012-10-03 |
Family
ID=44438350
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201110100532A Expired - Fee Related CN102156859B (zh) | 2011-04-21 | 2011-04-21 | 手部姿态与空间位置的感知方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102156859B (zh) |
Families Citing this family (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102968177B (zh) * | 2011-08-31 | 2015-10-28 | 敦宏科技股份有限公司 | 手势感测方法 |
| TWI571772B (zh) * | 2011-10-31 | 2017-02-21 | 財團法人資訊工業策進會 | 虛擬滑鼠驅動裝置及虛擬滑鼠模擬方法 |
| CN103196550A (zh) * | 2012-01-09 | 2013-07-10 | 西安智意能电子科技有限公司 | 一种对发射光源的成像信息进行筛选处理的方法与设备 |
| CN102722249B (zh) * | 2012-06-05 | 2016-03-30 | 上海鼎为电子科技（集团）有限公司 | 操控方法、操控装置及电子装置 |
| CN103576848B (zh) * | 2012-08-09 | 2016-07-13 | 腾讯科技（深圳）有限公司 | 手势操作方法和手势操作装置 |
| CN102854983B (zh) * | 2012-09-10 | 2015-12-02 | 中国电子科技集团公司第二十八研究所 | 一种基于手势识别的人机交互方法 |
| CN103514437B (zh) * | 2012-12-24 | 2017-04-05 | Tcl集团股份有限公司 | 一种三维手势识别装置及三维手势识别方法 |
| DE102013206569B4 (de) * | 2013-04-12 | 2020-08-06 | Siemens Healthcare Gmbh | Gestensteuerung mit automatisierter Kalibrierung |
| CN103440035A (zh) * | 2013-08-20 | 2013-12-11 | 华南理工大学 | 一种三维空间中的手势识别系统及其识别方法 |
| CN103479140A (zh) * | 2013-09-10 | 2014-01-01 | 北京恒华伟业科技股份有限公司 | 一种智能镜子 |
| CN103956036B (zh) * | 2013-10-14 | 2016-12-07 | 天津锋时互动科技有限公司 | 一种应用于家电的非触碰式遥控器 |
| CN105589553A (zh) * | 2014-09-23 | 2016-05-18 | 上海影创信息科技有限公司 | 一种智能设备的手势控制方法和系统 |
| CN104571510B (zh) * | 2014-12-30 | 2018-05-04 | 青岛歌尔声学科技有限公司 | 一种3d场景中输入手势的系统和方法 |
| CN104571511B (zh) | 2014-12-30 | 2018-04-27 | 青岛歌尔声学科技有限公司 | 一种3d场景中重现物体的系统和方法 |
| US10482670B2 (en) | 2014-12-30 | 2019-11-19 | Qingdao Goertek Technology Co., Ltd. | Method for reproducing object in 3D scene and virtual reality head-mounted device |
| CN104835231B (zh) * | 2015-05-25 | 2018-02-27 | 安恒世通（北京）网络科技有限公司 | 一种人脸识别锁具 |
| CN104821030B (zh) * | 2015-05-25 | 2018-04-03 | 安恒世通（北京）网络科技有限公司 | 一种手势控制锁具 |
| CN105224084B (zh) * | 2015-09-30 | 2018-04-24 | 深圳多新哆技术有限责任公司 | 确定虚拟物件在虚拟空间中位置的方法及装置 |
| CN106570441A (zh) * | 2015-10-09 | 2017-04-19 | 微软技术许可有限责任公司 | 用于姿态识别的系统 |
| CN106814843A (zh) * | 2015-11-30 | 2017-06-09 | 丰唐物联技术（深圳）有限公司 | 基于虚拟现实的光标操控方法及系统 |
| CN106095133B (zh) * | 2016-05-31 | 2019-11-12 | 广景视睿科技（深圳）有限公司 | 一种交互投影的方法及系统 |
| CN106127138A (zh) * | 2016-06-21 | 2016-11-16 | 乐视控股（北京）有限公司 | 一种手型识别的初始化方法和装置以及虚拟现实终端 |
| CN108062786B (zh) * | 2016-11-08 | 2022-12-30 | 台湾国际物业管理顾问有限公司 | 以三维信息模型为基础的综合感知定位技术应用系统 |
| CN106406551A (zh) * | 2016-11-28 | 2017-02-15 | 成都理想境界科技有限公司 | 一种定位系统、定位终端以及定位网络 |
| CN106598235B (zh) * | 2016-11-29 | 2019-10-22 | 歌尔科技有限公司 | 用于虚拟现实设备的手势识别方法、装置及虚拟现实设备 |
| CN106768361B (zh) * | 2016-12-19 | 2019-10-22 | 北京小鸟看看科技有限公司 | 与vr头戴设备配套的手柄的位置追踪方法和系统 |
| TWI634487B (zh) * | 2017-03-02 | 2018-09-01 | 合盈光電科技股份有限公司 | Action gesture recognition system |
| CN108492330B (zh) * | 2018-02-14 | 2019-04-05 | 天目爱视（北京）科技有限公司 | 一种多目视觉深度计算方法及装置 |
| JP2019200560A (ja) * | 2018-05-16 | 2019-11-21 | パナソニックＩｐマネジメント株式会社 | 作業分析装置および作業分析方法 |
| CN108717809A (zh) * | 2018-08-01 | 2018-10-30 | 深圳市启动教育技术有限公司 | 一种虚拟现实仿真教学系统 |
| CN111213364A (zh) * | 2018-12-21 | 2020-05-29 | 深圳市大疆创新科技有限公司 | 拍摄设备的控制方法、拍摄设备的控制装置及拍摄设备 |
| CN111578806B (zh) * | 2020-04-28 | 2021-09-10 | 东风汽车集团有限公司 | 汽车手部操作空间测量装置的验证方法 |
| CN111580677B (zh) * | 2020-05-21 | 2025-01-10 | 深圳布莱克实验室科技有限公司 | 一种人机交互方法及人机交互系统 |
| CN112083800B (zh) * | 2020-07-24 | 2024-04-30 | 青岛小鸟看看科技有限公司 | 基于自适应手指关节规则滤波的手势识别方法及系统 |
| CN113656624B (zh) * | 2021-10-18 | 2022-02-08 | 深圳江财教育科技有限公司 | 一种基于增强现实的教学设备控制方法、系统和存储介质 |
| CN116665295B (zh) * | 2023-04-07 | 2024-01-02 | 奥视纵横(北京)科技有限公司 | 一种基于数字孪生的生产培训系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1276572A (zh) * | 1999-06-08 | 2000-12-13 | 松下电器产业株式会社 | 手形手势识别装置、识别方法及含该方法程序的记录媒体 |
| CN1289086A (zh) * | 1999-09-21 | 2001-03-28 | 精工爱普生株式会社 | 交互显示系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8745541B2 (en) * | 2003-03-25 | 2014-06-03 | Microsoft Corporation | Architecture for controlling a computer using hand gestures |
-
2011
- 2011-04-21 CN CN201110100532A patent/CN102156859B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1276572A (zh) * | 1999-06-08 | 2000-12-13 | 松下电器产业株式会社 | 手形手势识别装置、识别方法及含该方法程序的记录媒体 |
| CN1289086A (zh) * | 1999-09-21 | 2001-03-28 | 精工爱普生株式会社 | 交互显示系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102156859A (zh) | 2011-08-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102156859B (zh) | 手部姿态与空间位置的感知方法 | |
| US20130335318A1 (en) | Method and apparatus for doing hand and face gesture recognition using 3d sensors and hardware non-linear classifiers | |
| Wang et al. | Real-time hand-tracking with a color glove | |
| JP6079832B2 (ja) | ヒューマンコンピュータインタラクションシステム、手と手指示点位置決め方法、及び手指のジェスチャ決定方法 | |
| Sarkar et al. | Hand gesture recognition systems: a survey | |
| Raheja et al. | Real-time robotic hand control using hand gestures | |
| Ren et al. | Depth camera based hand gesture recognition and its applications in human-computer-interaction | |
| US9734393B2 (en) | Gesture-based control system | |
| Prisacariu et al. | 3D hand tracking for human computer interaction | |
| CN106598227A (zh) | 基于Leap Motion和Kinect的手势识别方法 | |
| CN109145802B (zh) | 基于Kinect的多人手势人机交互方法及装置 | |
| KR20150108888A (ko) | 제스처 인식을 위한 부분 및 상태 검출 | |
| CN114529639A (zh) | 一种生成虚拟形象动画的方法、装置、设备及存储介质 | |
| Chowdhury et al. | Gesture recognition based virtual mouse and keyboard | |
| Shah et al. | Hand gesture based user interface for computer using a camera and projector | |
| CN118466805A (zh) | 机器视觉和手势识别的非接触式三维模型人机交互方法 | |
| Jain et al. | Human computer interaction–Hand gesture recognition | |
| Obukhov et al. | Organization of three-dimensional gesture control based on machine vision and learning technologies | |
| Xu et al. | A novel method for hand posture recognition based on depth information descriptor. | |
| Roy et al. | Real time hand gesture based user friendly human computer interaction system | |
| CN112837339B (zh) | 基于运动捕捉技术的轨迹绘制方法及装置 | |
| Titlee et al. | A novel design of an intangible hand gesture controlled computer mouse using vision based image processing | |
| Annachhatre et al. | Virtual Mouse Using Hand Gesture Recognition-A Systematic Literature Review | |
| Maharana et al. | SMART virtual painter and mouse system to improve online education with computer vision and deep learning features | |
| US20220050528A1 (en) | Electronic device for simulating a mouse |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| ASS | Succession or assignment of patent right |
Owner name: TIANJIN FENGSHI INTERACTION TECHNOLOGY CO., LTD. Free format text: FORMER OWNER: LIU JIN Effective date: 20130826 Free format text: FORMER OWNER: DANG JIANXUN Effective date: 20130826 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| COR | Change of bibliographic data |
Free format text: CORRECT: ADDRESS; FROM: 300171 HEDONG, TIANJIN TO: 300384 NANKAI, TIANJIN |
|
| TR01 | Transfer of patent right |
Effective date of registration: 20130826 Address after: 300384 Tianjin City, Nankai District Huayuan Industrial Park Wuhua Avenue No. 8 Kaifa building B-516 Patentee after: TIANJIN SHARPNOW TECHNOLOGY Co.,Ltd. Address before: 300171, Tianjin District, Hedong District, eight latitude road, the Great Wall apartment, building 3, 11, 302 Patentee before: Liu Jinsu Patentee before: Dang Jianxun |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210120 Address after: 518000 B1018, 99 Dahe Road, Runcheng community, Guanhu street, Longhua District, Shenzhen City, Guangdong Province Patentee after: Shenzhen laimile Intelligent Technology Co.,Ltd. Address before: 300384 b-516, Kaifa building, 8 Wuhua Road, Huayuan Industrial Park, Nankai District, Tianjin Patentee before: Tianjin Sharpnow Technology Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210916 Address after: 518000 509, xintengda building, building M8, Maqueling Industrial Zone, Maling community, Yuehai street, Nanshan District, Shenzhen City, Guangdong Province Patentee after: Shenzhen qiaoniu Technology Co.,Ltd. Address before: 518000 B1018, 99 Dahe Road, Runcheng community, Guanhu street, Longhua District, Shenzhen City, Guangdong Province Patentee before: Shenzhen laimile Intelligent Technology Co.,Ltd. |
|
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20121003 |