[go: up one dir, main page]

CN102713794A - 用于手势识别模式控制的方法和装置 - Google Patents

用于手势识别模式控制的方法和装置 Download PDF

Info

Publication number
CN102713794A
CN102713794A CN201080052980XA CN201080052980A CN102713794A CN 102713794 A CN102713794 A CN 102713794A CN 201080052980X A CN201080052980X A CN 201080052980XA CN 201080052980 A CN201080052980 A CN 201080052980A CN 102713794 A CN102713794 A CN 102713794A
Authority
CN
China
Prior art keywords
pattern
gesture
order
mobile
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201080052980XA
Other languages
English (en)
Inventor
J·D·牛顿
B·波特
徐晟�
T·史密斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Next Holdings Ltd USA
Original Assignee
Next Holdings Ltd USA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from AU2009905747A external-priority patent/AU2009905747A0/en
Application filed by Next Holdings Ltd USA filed Critical Next Holdings Ltd USA
Publication of CN102713794A publication Critical patent/CN102713794A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0428—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

计算设备可以包括处理器和成像设备。处理器可以被配置为支持识别手势的模式和期间计算设备操作但是不识别一些或所有可用手势的一个或多个其它模式。处理器可以确定手势识别模式是否被激活，使用来自成像设备的图像数据识别对象在空间中移动的图案，并且在手势识别模式被激活的情况下执行对应于所识别的移动的图案的命令。该处理器还可以被配置为基于各种输入事件来进入或退出手势识别模式。

Description

用于手势识别模式控制的方法和装置
优先权要求
本申请要求于2009年11月24日提交的标题为“An apparatus andmethod for performing command movements in an imaging area”的澳大利亚临时申请No.2009905747的优先权，其通过引用的方式全部合并在本文中。
背景技术
支持触摸的计算设备的受欢迎程度不断增加。例如，对手指或铁笔的压力做出反应的触摸感应表面可以用在显示器的顶部上或者用在分离的输入设备中。作为另一实例，可以使用电阻或电容层。作为又一实例，一个或多个成像设备可以被定位在显示或输出设备上并且用于基于关于光的干涉来识别触摸位置。
不管基础技术，触摸感应显示器一般用于接收通过指向和触摸提供的输入，例如触摸在图形用户界面中显示的按钮。这对于经常需要到达屏幕前来执行移动或命令的用户来说是很不方便的。
发明内容
实施例包括计算设备，该计算设备包括处理器和成像设备。处理器可以被配置为支持其中识别空间中的手势的模式，诸如通过使用图像处理来跟踪对象的位置、本身和/或方位，以识别移动的图案。为了允许其它类型输入的可靠使用，处理器还可以支持其中计算设备操作但不识别一些或所有可用手势的一个或多个其它模式。在操作中，处理器可以确定手势识别模式是否被激活，使用来自成像设备的图像数据识别对象在空间中的移动的图案，并且在手势识别模式被激活的情况下执行对应于所识别的移动的图案的命令。该处理器还可以被配置为基于各种输入事件来进入或退出手势识别模式。
以不限于本主题而是提供简要介绍的方式来讨论示例性实施例。附加的实施例包括体现根据本主题的方面配置的应用程序的计算机可读介质以及根据本主题配置的计算机实现的方法。下面在具体实施方式中描述这些以及其它实施例。在审阅了说明书和/或根据本文教导的一个或多个方面配置的实施例的实践之后，可以确定本主题的目的和优点。
附图说明
图1是示出了被配置为支持手势识别的示例性计算系统的图。
图2和图3中的每一个是与支持手势识别的计算系统交互的实例。
图4是示出了手势识别的方法的示例性步骤的流程图。
图5是示出了何时要进入手势命令模式的实例的流程图。
图6A-6E是示出了进入手势命令模式并提供手势命令的实例的图。
图7A-7D是示出了另一示例性手势命令的图。
图8A-8C和9A-9C中的每一个示出了另一示例性手势命令。
图10A-10B示出了另一示例性手势命令。
图11-11B示出了示例性对角手势命令。
图12A-12B示出了又一示例性手势命令。
具体实施方式
现在将详细参考各种和可替换示例性实施例以及附图。通过解释而非限制的方式提供每个实例。对本领域技术人员显而易见的是可以进行修改和变化。例如，作为一个实施例的一部分示出或描述的特征可以用在另一实施例上，以得到又一实施例。
在下面的详细描述中，阐述了多个具体细节以提供对主题的透彻理解。然而，本领域技术人员将理解的是，可以不利用这些具体细节来实践该主题。在其它示例中，没有详细描述普通技术人员公知的方法、装置或系统，以避免使本主题不清楚。
图1是示出了被配置为支持手势识别的示例性计算系统102的图。计算设备102代表台式计算机、膝上型计算机、输入板或任何其它计算系统。其它的实例包括但不限于移动设备（PDA、智能手机、媒体播放器、游戏系统等）以及嵌入式系统（例如，在车辆、仪表、信息亭或其它设备中）。
在该实例中，系统102特征在于（feature）光学系统104，该光学系统104可以包括一个或多个成像设备，诸如行扫描相机或区域传感器。光学系统104还可以包括照明系统，诸如红外线（IR）或其它源。系统102还包括经由在110处指示的一个或多个总线、互联和/或其它内部硬件而连接至存储器108的一个或多个处理器106。存储器108代表计算机可读介质，诸如RAM、ROM或其它存储器。
I/O组件112代表有助于连接到外部资源的硬件。例如，可以经由通用串行总线（USB）、VGA、HDMI、串口和到其它计算硬件和/或其它计算设备的其它I/O连接来进行该连接。将理解，计算设备102可以包括其它组件，诸如存储设备、通信设备（例如，以太网、用于蜂窝通信的无线组件、无线因特网、蓝牙等）以及诸如扬声器、麦克风等的其它I/O组件。显示器114代表诸如液晶二极管（LCD）、发光二极管（LED，例如OLED）、等离子或一些其它显示技术之类的任何合适的显示技术。
程序组件116体现在存储器108中并且经由处理器106执行的程序代码来配置计算设备102。程序代码包括将处理器106配置为确定手势识别模式是否被激活、使用来自光学系统104的成像设备的图像数据来识别对象在空间中的移动图案（pattern）的代码，以及将处理器106配置为在手势识别模式被激活的情况下执行对应于所识别的移动图案的命令的程序代码。
例如，组件116可以包括在设备驱动器、由操作系统使用的库或者另一应用程序中。虽然下面提供了实例，但是可以识别任何适当的输入手势，其中“手势”涉及通过空间的移动图案。手势可以包括触摸或者接触显示器114、键盘或一些其它表面，或者可以在整个自由空间中发生。
图2和图3中的每一个是与支持手势识别的计算系统交互的实例。在图2中，将显示器114实现为连接至或者包括设备102（此处未示出）的独立的显示器。对象118（在该实例中为用户的手指）定位在显示器114的表面120附近。在图3中，包括显示器114以作为特征在于键盘122的膝上型计算机或上网本计算机102的一部分；输入设备的其它实例包括鼠标、触控板、操纵杆等。
如虚线所示，可以由一个或多个成像设备104A基于从源104B发出的光来检测来自对象118的光。虽然在这些实例中示出了分离的光源，但是一些实现依赖于环境光，或者甚至从对象118上的源发出的光。对象118可以在显示器114附近的空间中并且考虑成像设备104A来移动，以例如设置缩放水平、滚动页面、调整对象大小以及删除、插入或操作文本和其它内容。手势可以涉及多个对象118的移动——例如，手指（或其它对象）相对于彼此的挤压、转动和其它移动。
由于计算设备102的使用很可能会带来基于接触的输入或其它非手势输入，因此对期间识别手势的至少手势输入模式和期间不识别一些或所有手势的至少一个第二模式的支持是有利的。例如，在第二模式中，光学系统104可以用来确定相对于表面120的触摸或接近触摸事件。作为另一实例，当手势识别模式无效时，光学系统104可以用来识别基于接触的输入，诸如除了或者代替于对硬件键的启动（actuation），基于接触位置来确定键盘输入。作为又一实例，当手势识别模式无效时，设备102可以继续使用基于硬件的输入来进行操作。
在一些实现中，基于诸如对按钮或者开关的启动之类的一个或多个硬件输入来对手势识别模式进行激活或者去激活。例如，可以使用键盘122的键或者键组合来进入或者退出手势识别模式。作为另一实例，可以使用指示手势识别模式要被激活的软件输入——例如，可以从应用程序接收指示手势识别模式要被激活的事件。事件可以针对应用程序而变化——例如，应用程序中配置的改变可能使能手势输入和/或应用程序可以响应于其它事件而切换至手势识别模式。然而，在一些实现中，基于识别移动的图案来将手势识别模式激活和/或去激活。
例如，返回到图1，程序组件116可以包括将处理器106配置为分析来自成像设备的数据以确定对象是否在空间中阈值时间段，并且如果对象在所述空间中阈值时间段，则存储指示手势识别模式被激活的数据的程序代码。该代码可以将处理器106配置为在空间的特定部分搜索对象的图像数据和/或确定是否对象存在而不存在其它因素（例如，不存在移动）。
作为特定的实例，代码可以将处理器106配置为搜索手指或另一对象118的图像数据，并且如果手指/对象在图像数据中保持静止了设定的时间段，则激活手势识别能力。例如，用户可以在键盘122上键入，然后抬起手指并将其保持在适当的位置，以激活手势识别能力。作为另一实例，代码可以将处理器106配置为搜索图像数据以识别屏幕114的表面120附近的手指，并且如果手指在表面120附近，则切换到手势识别模式中。
如上所述，还可以使用手势来将手势识别模式去激活。例如，一个或多个移动的图案可以对应于去激活图案。执行命令可以包括存储手势识别模式不再被激活的数据。例如，用户可以跟踪对应于文字数字式字符的路径或者沿着被识别的某些其它路径，然后在存储器中设置标记以指示没有进一步的手势要被识别直到手势识别模式被再次激活。
图4是示出了手势识别的方法400的示例性步骤。例如，可以由被配置为在至少手势识别模式和期间不识别某些或所有手势的第二模式中操作的计算设备来执行方法400。在第二模式中，可以接收硬件输入和/或可以接收触摸输入。用于手势识别的同一硬件可以在第二模式期间有效或者可以在除了手势识别模式有效之外的时候无效。
方框402代表响应于指示手势识别模式要被激活的用户事件来激活手势识别模式。该事件可以是基于硬件的，诸如来自按键的输入、键组合或者甚至专用开关。还如上所述，该事件可以是基于软件的。作为另一实例，可以识别一个或多个基于触摸的输入命令，诸如触摸对应于激活手势识别模式的显示器部分或者设备上的其它位置。作为又一实例，该事件可以基于使用用于识别手势的成像硬件和/或其它成像硬件的图像数据。
例如，如下所述，在成像空间中超过阈值时间段的对象的存在可以触发手势识别模式。作为另一实例，在激活手势识别模式之前，可以将系统配置为识别激活完全的手势识别模式的一个或多个手势的有限子集，但是不对应于其它手势直到手势识别模式被激活。
方框404代表一旦激活了手势识别模式，则检测输入。例如，可以使用一个或多个成像设备来获得代表空间（例如，显示器附近的空间，键盘上方的空间或者其它地方）的图像数据，其中图像处理技术用来识别空间中的一个或多个对象和运动。例如，在一些实现中，可以使用两个成像设备以及代表设备与成像空间的相对位置的数据。基于根据成像设备坐标的点的投影，可以检测对象在空间中的一个或多个空间坐标。通过随时间获得多个图像，可以使用坐标来识别对象在空间中的移动的图案。还可以使用坐标来识别对象，诸如通过使用形状识别算法。
移动的图案可以对应于手势。例如，可以根据一个或多个试探法来分析对象的一系列坐标，以识别可能意指的手势。例如，当识别了可能意指的手势时，可以访问将手势与命令关联的数据集以选择对应于该手势的命令。然后，可以执行命令，并且方框406代表直接通过分析该输入的应用程序或者通过接收识别命令的数据的另一应用程序来执行该命令。后面阐述手势和对应的命令的多个实例。
在一些实现中，识别对象的移动的图案包括识别后面跟随移动的第二图案的移动的第一图案。在这种情况中，确定要执行的命令可以包括基于移动的第一图案选择多个命令中的一个，以及基于移动的第二图案确定参数值。例如，可以使用第一手势来确定期望缩放命令，而使用第二手势来确定期望的缩放程度和/或趋势（即，放大或缩小）。可以将多个移动的图案链接在一起（例如，移动的第一图案、移动的第二图案、移动的第三图案等）。
方框408代表响应于任何期望的输入事件来将手势识别模式去激活。
例如，对硬件元件（例如，键或者开关）的启动可以将手势识别模式去激活。作为另一实例，命令的数据集可以包括对应于退出/去激活手势识别模式的命令的一个或多个“去激活”手势。作为又一实例，事件可以简单地包括针对阈值时间段手势的消失，或者针对阈值时间段对象从成像空间中消失。
图5是示出了检测何时要进入手势命令模式的示例性方法500的步骤的流程图。例如，计算设备可以在执行手势识别（诸如上面参照图4论述的一个或多个手势识别实现）之前执行方法500。
方框502代表监视通过计算设备的光学系统成像的区域。如上所述，可以对一个或多个成像设备采样，并且可以针对感兴趣的一个或多个对象的存在或消失来分析代表该空间的得到的图像数据。在该实例中，手指是感兴趣的对象，因此方框504代表估计是否检测到手指。当然，除了或者代替于手指，还可以搜索其它对象。
方框506代表确定感兴趣的对象（例如，手指）是否在空间中阈值时间段。如图5中所示，如果阈值时间段还没有过去，则方法返回到方框504，在方框504中，如果仍然检测手指，则方法继续等待直到满足阈值或者手指从视线中消失。然而，如果在方框506处，阈值满足并且针对阈值时间段对象保持可见，则在方框508处进入手势识别模式。例如，可以执行图4中所示的过程400，或者可以发起一些其它的手势识别过程。
图6A-6E是示出了进入手势命令模式然后提供手势命令的实例的图。
这些实例描绘了膝上型计算机形状因子的设备102，当然，可以使用任何合适的设备。在图6A中，对象118是用户的手并且位于由设备102成像的空间中。通过针对阈值时间段（例如，1-5秒）将手指保持可见，可以激活手势识别模式。
在图6B中，用户通过跟踪如G1处所示的第一图案来提供命令。在该实例中，移动的图案对应于文字数字式字符——用户跟踪对应于“R”字符的路径。可以使用该手势本身来提供命令。然而，如上所述，可以通过两个（或更多个）手势来指定命令。例如，可以使用“R”字符来选择命令类型（例如，“调整大小”），而利用第二手势指示期望的调整大小的程度。
例如，在图6C中，如G2处所示的箭头所示提供第二手势。特别地，在已经识别了“R”手势之后，用户提供由计算设备102用来确定调整大小的程度的收聚手势。在该实例中，提供了收聚手势，但是也可以使用其它手势。例如，替代于做出收聚手势，用户可以使两个手指朝向或远离彼此移动。
作为另一实例，流程可以从图6A前进至图6C。特别地，在图6A中进入手势识别模式之后，可以提供图6C的收聚手势来直接实现缩放命令或一些其它的命令。
图6D示出了手势的另一实例。在该实例中，移动的图案对应于G3处所示的“Z”字符。例如，对应的命令可以包括缩放命令。可以基于第二手势来确定缩放量，第二手势诸如收聚手势、转动手势、或者沿着线朝向或远离屏幕的手势。
在图6E中，如G4处所示，移动的图案对应于“X”字符。对应的命令可以是删除所选择的项。可以在该手势之前或之后指定要删除的项。
图6F示出了通过对象118A和118B（例如，用户的手）提供两个同时的手势G5和G6的实例。可以使用同时的手势来进行转动（例如，G5处的圆形手势）和缩放（例如，朝显示器114指向的线）。
图7A-7D是示出了另一示例性手势命令的图。如图7A中所示，对象118可以从如G6处所示的常规指向位置开始。所识别的手势可以对应于使用手指和拇指做出的“射击”命令。例如，如图7B中的G7处所示，用户可以通过将拇指伸展离开他或她的手来开始。
可选地，然后，用户可以如图7C中的G8处所示转动他或她的手。用户可以通过将他/她的拇指与他/她手的其余部分重新接触来完成在图7D中的G9处所示的他/她的手势。例如，该手势可以将诸如关闭应用程序或者关闭活动文档之类的命令与通过指向手势或者通过一些其它选择指示的应用程序/文档关联。然而，可以针对另一目的（例如，删除所选择的项、结束通信会话等）来使用该手势。
在一些实现中，不需要执行G8处所示的手势的转动部分。即，用户可以如G7处所示伸展拇指，然后通过使他/她的拇指与他/她手的其余部分接触来完成“侧面射击”手势。
图8A-8C和9A-9C中的每一个示出了另一示例类型的手势命令，尤其是单指点击手势。图8A-8C示出了单指点击手势的第一使用。手势识别系统可以识别用于执行诸如选择（例如，点击）之类的基本动作的任意数量的手势。然而，应当将频繁使用的手势选择为最小化肌肉疲劳。
图8A示出了初始手势G10A，期间用户通过指向、移动食指等来移动光标。如图8B和8C中的G10B-G10C处所示，用户可以通过使他或她的食指稍微弯曲来执行选择动作。当然，针对该手势可以识别除了食指外的另一手指。
在一些实例中，单指点击手势可能会引起困难，尤其是在手势识别系统使用手指来控制光标位置的情况中。因此，图9A-9C示出了用于选择动作的另一示例性手势命令。在该实例中，在指向手指旁边的第二手指的运动用于选择动作。
如图9A中所示，可以从如G11A处所示的两个伸展的手指开始来识别手势。例如，用户可以使用食指来指向，然后伸出第二手指，或者可以使用两个手指来指向。可以通过第二手指的弯曲来指示选择动作。这在图9B和9C中的G11B-G11C处示出。特别地，如由图9C中的虚线所示的，用户的第二手指向下弯曲同时食指保持伸展。响应于第二手指移动，可以识别选择动作（例如，点击）。
图10A-10B示出了另一示例性手势。例如，操作系统可以支持命令来显示桌面、从显示区域清除窗口、最小化窗口或者清除显示区域。可以使用在图10A-10B中所示的手势来调用这种命令或另一命令。如图10A中的G12处所示，用户可以从常规指向手势开始。当用户期望调用显示桌面（或其它命令）时，用户可以如图10B中的G12B处所示伸展他或她的手指，以使得用户的手指是分开的。手势识别系统可以识别用户的手指已经伸展/分开，并且如果所有的指尖分开阈值距离，则可以调用命令。
图11A-11B示出了示例性对角手势命令。例如，如图11A中的G13处所示，用户可以跟踪从成像空间的左上角到右下角的对角路径，或者用户可以跟踪从左下角到右上角的G14处所示的对角路径。一个方向（例如，手势G13）可以对应于调整大小操作以放大图像，而另一个（例如，G14）可以对应于图像大小的减小。当然，还可以将其它对角手势（例如，右上角到左下角、右下角到左上角）映射到其它的调整大小命令。
图12A-12B示出了又一示例性手势命令。如图12A中的G15A处所示，用户可以以闭合的手开始，然后如图12B中G15B处所示，用户可以张开他或她的手。手势识别系统可以识别例如用户指尖的运动和指尖与拇指之间的距离，以确定用户何时张开他或她的手。作为响应，系统可以调用命令，诸如打开菜单或文档。在一些实现中，在手势期间抬起的手指的数目可以用来确定打开多个菜单中的哪些，其中每个手指（或手指的数目）对应于不同的菜单。
手势的另一实例是旋钮转动手势，其中多个手指如同握住旋钮一样排列。例如，手势识别可以识别两个手指的布置如同用户握住旋钮或者拨号盘一样，之后是诸如图6F中的118A处所示的用户手的转动。用户可以通过在同一整个圆中移动一个手指以继续手势来继续该手势。可以根据指尖位置的圆形图案，随后是该手势继续的情况下跟踪剩余的手指，来识别该手势。该手势可以用来设置音量控制、选择功能或项、或者用于一些其它目的。此外，沿着转动轴的z轴移动（朝向或远离屏幕）可以用于缩放或其它功能。
手势的又一实例是平伸手移动（panning）手势。例如，用户可以打开并考虑手势识别系统，以及将手左移、右移、上移或下移以移动对象，移动屏幕上的图像、或者调用另一命令。
另一手势是闭合手转动手势。例如，用户可以闭合拳头然后转动闭合的拳头。例如，可以通过跟踪用户手指的方位和/或通过识别闭合的拳头或者手的闭合，随后是其转动，来识别该手势。例如，可以在3D建模软件中使用闭合的拳头手势来关于轴转动对象。
当然，还可以定义其它手势。作为另一实例，移动的图案可以对应于空间中的线，诸如跟踪与显示器边缘平行的线，以提供垂直或水平滚动命令。作为另一实例，空间中的线可以朝向显示器或另一设备组件延伸，其中对应的命令是缩放命令。
虽然上面针对“R”、“Z”和“X”文字数字式字符描述了特定的实例，但是路径可以对应于任何语言中的任意文字数字式字符。在一些实现中，由文字数字手势跟踪的路径存储在存储器中，然后执行字符识别过程以识别字符（即，以与光学字符识别相似的方式，但是在该情况中，不是在页面上定义的像素，而是由手势路径来定义字符的像素）。然后，可以根据该字符确定适当的命令。例如，可以将计算机应用程序编索引为各种字母（例如，“N”用于Notepad.exe，“W”用于Microsoft(R)Word(R)等）。文字数字手势的识别还可以用于整理列表、从菜单选择项等。
作为另一实例，路径可以对应于一些其它形状，诸如多边形、圆形或者任意形状或图案。该系统可以以任意合适的方式识别对应的字符、图案或形状。此外，在识别任意手势的过程中，该系统可以允许路径的变化（例如，以适应用户不明确的运动）。
可以通过手势识别系统单独地识别本文讨论的任何一个手势，或者可以将本文讨论的任何一个手势识别为一组手势的一部分，该组手势包括本文讨论的任意的一个或多个其它手势，和/或进一步的手势。此外，上述实例中呈现的手势与命令的实例一起呈现。本领域技术人员将认识到，手势和命令的特定配对仅用于实例的目的，并且本文描述的任何手势或移动图案可以用作另一手势的一部分，和/或可以与本文描述的命令中的任意一个或者与一个或多个其它命令关联。
一般考虑
本文讨论的各种系统不限于任何特定的计算硬件架构或配置。计算设备可以包括提供制约于一个或多个输入的结果的任何适当的组件排列。
适当的计算设备包括从非易失性计算机可读介质（或媒体）访问存储的软件的基于微处理器的计算机系统，软件包括将通用计算装置编程或者配置为用作实现本主题一个或多个实施例的特定计算装置的指令。可以使用任意适当的编程、脚本或其它类型的语言或语言的组合来实现本文中包含在用于编程或配置计算设备的软件中的教导。当使用软件时，软件可以包括一个或多个组件、过程和/或应用程序。除了或者替代于软件，计算设备可以包括使设备可操作为实现本主题的一个或多个方法的电路。例如，可以使用专用集成电路（ASIC）或者可编程逻辑阵列。
计算设备的实例包括但不限于服务器、个人计算机、移动设备（例如，输入板、智能电话、个人数字助理（PDA）等）、电视、电视机顶盒、便携式音乐播放器、以及诸如相机、可携式摄像机和移动设备之类的消费电子设备。计算设备可以集成在诸如“智能”应用、汽车、信息亭等的其它设备中。
可以在计算设备的操作中执行本文公开的方法的实施例。在上述实例中出现的方框的顺序可以变化——例如，可以将方框重新排序、组合和/或分成子方框。可以并行执行特定的方框或过程。
可以使用任意适当的非易失性计算机可读介质或媒体来实现或实践本文公开的主题，包括但不限于磁盘、驱动、基于磁的存储介质、光学存储介质（例如，CD-ROM、DVD-ROM及其变型）、闪存、RAM、ROM和其它存储器设备，以及如上所述的可编程逻辑。
本文中“适合于”或者“配置为”的使用是开放性的并且包括不排除适合于或者配置为执行额外的任务或步骤的设备的语言。此外，“基于”的使用是开放性的并且包括“基于”一个或多个所记载条件或值的过程、步骤、计算或其它动作可以实际上基于没有记载的额外的条件或值。包括在本文中的标题、列表和标号为了易于解释的目的而不用于限制。
虽然已经参照本主题的特定实施例详细描述了本主题，但是本领域技术人员将理解，基于对上述的理解可以容易地做出对这些实施例的替换、变型和等价形式。因此，应当理解，针对实例而非限制的目的呈现了本公开，并且如本领域普通技术人员容易理解的，本公开不排除包括对本主题的这些修改、变型和/或添加。

Claims (26)

1.一种计算机实现的方法，包括：
接收指示计算设备的手势识别模式要被激活的输入，所述计算设备被配置为至少在手势识别模式和期间不识别手势的第二模式中进行操作；
响应于所接收的输入，激活所述手势识别模式，并且当所述手势识别模式被激活时：
获得代表空间的图像数据，
基于所述图像数据识别对象在所述空间中的移动的图案，
确定要由所述计算设备执行的以及对应于所述移动的图案的命令，以及
执行所述命令。
2.如权利要求1所述的方法，其中，接收指示所述手势识别模式要被激活的输入包括：
获得代表所述空间的图像数据，以及
分析所述图像数据以确定所述对象是否在所述空间中达到阈值时间段，其中如果所述对象针对所述阈值时间段保持可见，则所述手势识别模式要被激活。
3.如权利要求2所述的方法，其中，分析所述图像数据包括确定手指是否在所述空间中达到所述阈值时间段。
4.如权利要求1所述的方法，其中，接收指示所述手势识别模式要被激活的输入包括：
感测按钮或开关的启动。
5.如权利要求1所述的方法，其中，接收指示所述手势识别模式要被激活的输入包括接收指示键盘的键或者键组合已经被按下的输入。
6.如权利要求1所述的方法，其中，接收指示所述手势识别模式要被激活的输入包括从软件应用程序接收指示所述手势识别模式要被激活的事件。
7.如权利要求1所述的方法，其中，识别所述对象在所述空间中的移动的图案包括识别去激活图案，所述命令是退出所述手势识别模式的命令，并且其中，执行所述命令是退出所述手势识别模式。
8.如权利要求1所述的方法，
其中，识别所述对象的移动的图案包括识别随后是移动的第二图案的移动的第一图案，以及
其中，确定要被执行的所述命令包括选择对应于所述移动的第一图案的多个命令中的一个，并且基于所述移动的第二图案确定参数值。
9.如权利要求1所述的方法，其中，所述移动的图案对应于所述空间中的线，并且所述命令包括滚动命令。
10.如权利要求1所述的方法，其中，所述移动的图案对应于所述空间中的朝着显示设备指向的线，并且所述命令包括缩放命令。
11.如权利要求1所述的方法，其中，所述移动的图案包括空间中的对应于文字数字式字符的路径。
12.如权利要求11所述的方法，其中，所述移动的图案对应于“Z”字符，并且所述命令包括缩放命令。
13.如权利要求11所述的方法，其中，所述移动的图案对应于“R”字符，并且所述命令包括调整大小命令。
14.如权利要求11所述的方法，其中，所述移动的图案对应于“X”字符，并且所述命令包括删除命令。
15.如权利要求1所述的方法，其中，所述移动的图案包括通过下列识别的射击手势：指向手势，随后是用户的手的拇指的伸展，随后是使所述拇指与所述手重新接触。
16.如权利要求1所述的方法，其中，所述移动的图案包括由用户手指的弯曲识别的单击手势。
17.如权利要求16所述的方法，其中，所述单击手势是通过一个手指弯曲同时不同的手指仍然伸展来识别的。
18.如权利要求1所述的方法，其中，所述移动的图案包括用户的多个手指的分开。
19.如权利要求1所述的方法，其中，所述移动的图案包括手指通过所述成像空间在对角路径中的移动，并且所述命令包括调整大小命令。
20.如权利要求1所述的方法，其中，所述移动的图案包括闭合的手，随后是所述手的张开。
21.如权利要求20所述的方法，其中，所述手张开几个手指，并且所述命令是基于手指的数量的。
22.如权利要求1所述的方法，其中，所述移动的图案包括如同握住旋钮一样排列的多个手指。
23.如权利要求1所述的方法，其中，所述移动的图案包括手通过所述成像空间的移动，并且所述命令包括移动命令。
24.如权利要求1所述的方法，其中，所述移动的图案包括手的闭合，随后是所闭合的手的转动。
25.一种设备，包括处理器和成像设备，所述设备被配置为执行如权利要求1-24中的一项所述的方法。
26.一种包括代码的计算机可读介质，所述代码使设备执行如权利要求1-24中的一项所述的方法。
CN201080052980XA 2009-11-24 2010-11-24 用于手势识别模式控制的方法和装置 Pending CN102713794A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
AU2009905747A AU2009905747A0 (en) 2009-11-24 An apparatus and method for performing command movements in an imaging area
AU2009905747 2009-11-24
PCT/US2010/057941 WO2011066343A2 (en) 2009-11-24 2010-11-24 Methods and apparatus for gesture recognition mode control

Publications (1)

Publication Number Publication Date
CN102713794A true CN102713794A (zh) 2012-10-03

Family

ID=43969441

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080052980XA Pending CN102713794A (zh) 2009-11-24 2010-11-24 用于手势识别模式控制的方法和装置

Country Status (3)

Country Link
US (1) US20110221666A1 (zh)
CN (1) CN102713794A (zh)
WO (1) WO2011066343A2 (zh)

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103019379A (zh) * 2012-12-13 2013-04-03 瑞声声学科技(深圳)有限公司 输入系统及采用该输入系统的移动设备输入方法
CN103020306A (zh) * 2013-01-04 2013-04-03 深圳市中兴移动通信有限公司 一种基于手势识别字符索引的查找方法及系统
CN103728906A (zh) * 2014-01-13 2014-04-16 江苏惠通集团有限责任公司 智能家居控制装置及控制方法
CN103853339A (zh) * 2012-12-03 2014-06-11 广达电脑股份有限公司 输入装置以及电子装置
CN103885530A (zh) * 2012-12-20 2014-06-25 联想(北京)有限公司 一种控制方法以及一种电子设备
CN103914126A (zh) * 2012-12-31 2014-07-09 腾讯科技（深圳）有限公司 一种多媒体播放器控制方法和装置
CN104077559A (zh) * 2013-03-29 2014-10-01 现代自动车株式会社 具有手势检测系统及方法的车辆
CN104714737A (zh) * 2013-12-12 2015-06-17 联想（新加坡）私人有限公司 使用输入手势切换界面模式的方法和装置
CN104919394A (zh) * 2012-11-20 2015-09-16 三星电子株式会社 涉及设备的运动的可穿戴电子设备的用户手势输入
CN105094273A (zh) * 2014-05-20 2015-11-25 联想(北京)有限公司 一种信息发送方法及电子设备
CN105843401A (zh) * 2016-05-12 2016-08-10 深圳市联谛信息无障碍有限责任公司 基于摄像头的读屏应用指令输入方法及装置
CN106030462A (zh) * 2014-02-17 2016-10-12 大众汽车有限公司 用户接口和用于从用户接口的第一操作模式变换成3d手势模式的方法
CN108646929A (zh) * 2012-10-05 2018-10-12 谷歌有限责任公司 递增的基于特征的手势键盘解码
CN108958487A (zh) * 2012-12-13 2018-12-07 英特尔公司 使用标记区域对视频流的手势预处理
CN109192129A (zh) * 2018-08-13 2019-01-11 友达光电股份有限公司 显示装置与显示方法
CN109240506A (zh) * 2013-06-13 2019-01-18 原相科技股份有限公司 具有手势感测器的装置
US10194060B2 (en) 2012-11-20 2019-01-29 Samsung Electronics Company, Ltd. Wearable electronic device
US10423214B2 (en) 2012-11-20 2019-09-24 Samsung Electronics Company, Ltd Delegating processing from wearable electronic device
US10551928B2 (en) 2012-11-20 2020-02-04 Samsung Electronics Company, Ltd. GUI transitions on wearable electronic device
CN110750159A (zh) * 2019-10-22 2020-02-04 深圳市商汤科技有限公司 手势控制方法和装置
CN110764616A (zh) * 2019-10-22 2020-02-07 深圳市商汤科技有限公司 手势控制方法和装置
CN110780743A (zh) * 2019-11-05 2020-02-11 聚好看科技股份有限公司 一种vr交互方法及vr设备
US10691332B2 (en) 2014-02-28 2020-06-23 Samsung Electronics Company, Ltd. Text input on an interactive display
CN111522436A (zh) * 2014-06-03 2020-08-11 谷歌有限责任公司 通过穿戴式设备的基于雷达的手势识别
CN112307865A (zh) * 2020-02-12 2021-02-02 北京字节跳动网络技术有限公司 基于图像识别的交互方法及装置
CN112416117A (zh) * 2019-07-29 2021-02-26 瑟克公司 在基于开关的键盘上方的手势识别
WO2021184356A1 (en) * 2020-03-20 2021-09-23 Huawei Technologies Co., Ltd. Methods and systems for hand gesture-based control of a device
US11157436B2 (en) 2012-11-20 2021-10-26 Samsung Electronics Company, Ltd. Services associated with wearable electronic device
US11237719B2 (en) 2012-11-20 2022-02-01 Samsung Electronics Company, Ltd. Controlling remote electronic device with wearable electronic device
US11372536B2 (en) 2012-11-20 2022-06-28 Samsung Electronics Company, Ltd. Transition and interaction model for wearable electronic device
CN114898459A (zh) * 2022-04-13 2022-08-12 网易有道信息技术（北京）有限公司 一种用于手势识别的方法及其相关产品
US11740703B2 (en) 2013-05-31 2023-08-29 Pixart Imaging Inc. Apparatus having gesture sensor
US12093465B2 (en) 2020-03-23 2024-09-17 Huawei Technologies Co., Ltd. Methods and systems for hand gesture-based control of a device

Families Citing this family (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2195726A1 (en) 2007-08-30 2010-06-16 Next Holdings, Inc. Low profile touch panel systems
US8405636B2 (en) 2008-01-07 2013-03-26 Next Holdings Limited Optical position sensing system and optical position sensor assembly
KR101593598B1 (ko) * 2009-04-03 2016-02-12 삼성전자주식회사 휴대단말에서 제스처를 이용한 기능 실행 방법
EP2507684A2 (en) * 2009-12-04 2012-10-10 Next Holdings Limited Methods and systems for position detection
US8639020B1 (en) 2010-06-16 2014-01-28 Intel Corporation Method and system for modeling subjects from a depth map
KR101858531B1 (ko) 2011-01-06 2018-05-17 삼성전자주식회사 모션에 의해 제어되는 디스플레이 장치 및 그 모션 제어 방법
KR101795574B1 (ko) 2011-01-06 2017-11-13 삼성전자주식회사 모션에 의해 제어되는 전자기기 및 그 제어 방법
JP6074170B2 (ja) 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
US11048333B2 (en) 2011-06-23 2021-06-29 Intel Corporation System and method for close-range movement tracking
WO2013021385A2 (en) 2011-08-11 2013-02-14 Eyesight Mobile Technologies Ltd. Gesture based interface system and method
KR101457116B1 (ko) * 2011-11-07 2014-11-04 삼성전자주식회사 음성 인식 및 모션 인식을 이용한 전자 장치 및 그의 제어 방법
WO2013095677A1 (en) * 2011-12-23 2013-06-27 Intel Corporation Computing system utilizing three-dimensional manipulation command gestures
US9189073B2 (en) 2011-12-23 2015-11-17 Intel Corporation Transition mechanism for computing system utilizing user sensing
WO2013095678A1 (en) * 2011-12-23 2013-06-27 Intel Corporation Mechanism to provide feedback regarding computing system command gestures
US9684379B2 (en) 2011-12-23 2017-06-20 Intel Corporation Computing system utilizing coordinated two-hand command gestures
WO2013111140A2 (en) 2012-01-26 2013-08-01 Umoove Services Ltd. Eye tracking
US9395901B2 (en) 2012-02-08 2016-07-19 Blackberry Limited Portable electronic device and method of controlling same
US20130211843A1 (en) * 2012-02-13 2013-08-15 Qualcomm Incorporated Engagement-dependent gesture recognition
US10503373B2 (en) * 2012-03-14 2019-12-10 Sony Interactive Entertainment LLC Visual feedback for highlight-driven gesture user interfaces
US9477303B2 (en) 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
US9448635B2 (en) * 2012-04-16 2016-09-20 Qualcomm Incorporated Rapid gesture re-engagement
US9952663B2 (en) 2012-05-10 2018-04-24 Umoove Services Ltd. Method for gesture-based operation control
US8819812B1 (en) * 2012-08-16 2014-08-26 Amazon Technologies, Inc. Gesture recognition for device input
US9507513B2 (en) 2012-08-17 2016-11-29 Google Inc. Displaced double tap gesture
TWI476639B (zh) * 2012-08-28 2015-03-11 Quanta Comp Inc 鍵盤裝置及電子裝置
US20150040073A1 (en) * 2012-09-24 2015-02-05 Google Inc. Zoom, Rotate, and Translate or Pan In A Single Gesture
US20140123077A1 (en) * 2012-10-29 2014-05-01 Intel Corporation System and method for user interaction and control of electronic devices
US9477313B2 (en) 2012-11-20 2016-10-25 Samsung Electronics Co., Ltd. User gesture input to wearable electronic device involving outward-facing sensor of device
CN104007808B (zh) * 2013-02-26 2017-08-29 联想(北京)有限公司 一种信息处理方法及电子设备
US9292103B2 (en) * 2013-03-13 2016-03-22 Intel Corporation Gesture pre-processing of video stream using skintone detection
US8886399B2 (en) 2013-03-15 2014-11-11 Honda Motor Co., Ltd. System and method for controlling a vehicle user interface based on gesture angle
US8818716B1 (en) 2013-03-15 2014-08-26 Honda Motor Co., Ltd. System and method for gesture-based point of interest search
JP5750687B2 (ja) 2013-06-07 2015-07-22 島根県 カーナビ用ジェスチャ入力装置
US9367137B2 (en) 2013-07-01 2016-06-14 Blackberry Limited Alarm operation by touch-less gesture
US9323336B2 (en) 2013-07-01 2016-04-26 Blackberry Limited Gesture detection using ambient light sensors
US9342671B2 (en) 2013-07-01 2016-05-17 Blackberry Limited Password by touch-less gesture
US9423913B2 (en) 2013-07-01 2016-08-23 Blackberry Limited Performance control of ambient light sensors
US9489051B2 (en) 2013-07-01 2016-11-08 Blackberry Limited Display navigation using touch-less gestures
US9398221B2 (en) 2013-07-01 2016-07-19 Blackberry Limited Camera control using ambient light sensors
US9256290B2 (en) 2013-07-01 2016-02-09 Blackberry Limited Gesture detection using ambient light sensors
US9405461B2 (en) 2013-07-09 2016-08-02 Blackberry Limited Operating a device using touchless and touchscreen gestures
US9465448B2 (en) 2013-07-24 2016-10-11 Blackberry Limited Backlight for touchless gesture detection
US9304596B2 (en) 2013-07-24 2016-04-05 Blackberry Limited Backlight for touchless gesture detection
US9194741B2 (en) 2013-09-06 2015-11-24 Blackberry Limited Device having light intensity measurement in presence of shadows
DE102013016490B4 (de) * 2013-10-02 2024-07-25 Audi Ag Kraftfahrzeug mit berührungslos aktivierbarem Handschrifterkenner
US20150169217A1 (en) * 2013-12-16 2015-06-18 Cirque Corporation Configuring touchpad behavior through gestures
US20150185858A1 (en) * 2013-12-26 2015-07-02 Wes A. Nagara System and method of plane field activation for a gesture-based control system
KR102265143B1 (ko) * 2014-05-16 2021-06-15 삼성전자주식회사 입력 처리 장치 및 방법
US20170192465A1 (en) * 2014-05-30 2017-07-06 Infinite Potential Technologies Lp Apparatus and method for disambiguating information input to a portable electronic device
US10936050B2 (en) 2014-06-16 2021-03-02 Honda Motor Co., Ltd. Systems and methods for user indication recognition
US9811164B2 (en) 2014-08-07 2017-11-07 Google Inc. Radar-based gesture sensing and data transmission
US9921660B2 (en) 2014-08-07 2018-03-20 Google Llc Radar-based gesture recognition
US10268321B2 (en) 2014-08-15 2019-04-23 Google Llc Interactive textiles within hard objects
US9588625B2 (en) 2014-08-15 2017-03-07 Google Inc. Interactive textiles
US11169988B2 (en) 2014-08-22 2021-11-09 Google Llc Radar recognition-aided search
US9778749B2 (en) 2014-08-22 2017-10-03 Google Inc. Occluded gesture recognition
US9600080B2 (en) 2014-10-02 2017-03-21 Google Inc. Non-line-of-sight radar-based gesture recognition
DE102014224632A1 (de) * 2014-12-02 2016-06-02 Robert Bosch Gmbh Verfahren zum Betreiben einer Eingabevorrichtung, Eingabevorrichtung
US10016162B1 (en) 2015-03-23 2018-07-10 Google Llc In-ear health monitoring
US9983747B2 (en) 2015-03-26 2018-05-29 Google Llc Two-layer interactive textiles
US9848780B1 (en) 2015-04-08 2017-12-26 Google Inc. Assessing cardiovascular function using an optical sensor
WO2016176606A1 (en) 2015-04-30 2016-11-03 Google Inc. Type-agnostic rf signal representations
CN107430443B (zh) 2015-04-30 2020-07-10 谷歌有限责任公司 基于宽场雷达的手势识别
KR102423120B1 (ko) 2015-04-30 2022-07-19 구글 엘엘씨 제스처 추적 및 인식을 위한 rf―기반 마이크로―모션 추적
US10080528B2 (en) 2015-05-19 2018-09-25 Google Llc Optical central venous pressure measurement
US10088908B1 (en) 2015-05-27 2018-10-02 Google Llc Gesture detection and interactions
US9693592B2 (en) 2015-05-27 2017-07-04 Google Inc. Attaching electronic components to interactive textiles
US10376195B1 (en) 2015-06-04 2019-08-13 Google Llc Automated nursing assessment
US10817065B1 (en) 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
EP3371855A1 (en) 2015-11-04 2018-09-12 Google LLC Connectors for connecting electronics embedded in garments to external devices
WO2017192167A1 (en) 2016-05-03 2017-11-09 Google Llc Connecting an electronic component to an interactive textile
WO2017200570A1 (en) 2016-05-16 2017-11-23 Google Llc Interactive object with multiple electronics modules
EP3267291B1 (en) * 2016-07-07 2019-11-06 David Franklin Gesture-based user interface
US10726573B2 (en) 2016-08-26 2020-07-28 Pixart Imaging Inc. Object detection method and system based on machine learning
CN107786867A (zh) * 2016-08-26 2018-03-09 原相科技股份有限公司 基于深度学习架构的图像辨识方法及系统
US10579150B2 (en) 2016-12-05 2020-03-03 Google Llc Concurrent detection of absolute distance and relative movement for sensing action gestures
US11662827B2 (en) * 2018-01-03 2023-05-30 Sony Semiconductor Solutions Corporation Gesture recognition using a mobile device
US11442550B2 (en) * 2019-05-06 2022-09-13 Samsung Electronics Co., Ltd. Methods for gesture recognition and control
CN112394811B (zh) * 2019-08-19 2023-12-08 华为技术有限公司 一种隔空手势的交互方法及电子设备
EP4160377A4 (en) 2020-07-31 2023-11-08 Guangdong Oppo Mobile Telecommunications Corp., Ltd. GESTURE CONTROL METHOD AND ASSOCIATED DEVICE
US11921931B2 (en) * 2020-12-17 2024-03-05 Huawei Technologies Co., Ltd. Methods and systems for multi-precision discrete control of a user interface control element of a gesture-controlled device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050166163A1 (en) * 2004-01-23 2005-07-28 Chang Nelson L.A. Systems and methods of interfacing with a machine
US20050212767A1 (en) * 2004-03-23 2005-09-29 Marvit David L Context dependent gesture response
US20070252898A1 (en) * 2002-04-05 2007-11-01 Bruno Delean Remote control apparatus using gesture recognition
US20080056536A1 (en) * 2000-10-03 2008-03-06 Gesturetek, Inc. Multiple Camera Control System
US20090150160A1 (en) * 2007-10-05 2009-06-11 Sensory, Incorporated Systems and methods of performing speech recognition using gestures

Family Cites Families (93)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3025406A (en) * 1959-02-05 1962-03-13 Flightex Fabrics Inc Light screen for ballistic uses
US3563771A (en) * 1968-02-28 1971-02-16 Minnesota Mining & Mfg Novel black glass bead products
US3860754A (en) * 1973-05-07 1975-01-14 Univ Illinois Light beam position encoder apparatus
US4144449A (en) * 1977-07-08 1979-03-13 Sperry Rand Corporation Position detection apparatus
CA1109539A (en) * 1978-04-05 1981-09-22 Her Majesty The Queen, In Right Of Canada, As Represented By The Ministe R Of Communications Touch sensitive computer input device
US4243879A (en) * 1978-04-24 1981-01-06 Carroll Manufacturing Corporation Touch panel with ambient light sampling
US4243618A (en) * 1978-10-23 1981-01-06 Avery International Corporation Method for forming retroreflective sheeting
US4507557A (en) * 1983-04-01 1985-03-26 Siemens Corporate Research & Support, Inc. Non-contact X,Y digitizer using two dynamic ram imagers
US4893120A (en) * 1986-11-26 1990-01-09 Digital Electronics Corporation Touch panel using modulated light
US4811004A (en) * 1987-05-11 1989-03-07 Dale Electronics, Inc. Touch panel system and method for using same
US4990901A (en) * 1987-08-25 1991-02-05 Technomarket, Inc. Liquid crystal display touch screen having electronics on one side
US5196835A (en) * 1988-09-30 1993-03-23 International Business Machines Corporation Laser touch panel reflective surface aberration cancelling
US5179369A (en) * 1989-12-06 1993-01-12 Dale Electronics, Inc. Touch panel and method for controlling same
JPH0458316A (ja) * 1990-06-28 1992-02-25 Toshiba Corp 情報処理装置
US5097516A (en) * 1991-02-28 1992-03-17 At&T Bell Laboratories Technique for illuminating a surface with a gradient intensity line of light to achieve enhanced two-dimensional imaging
US5196836A (en) * 1991-06-28 1993-03-23 International Business Machines Corporation Touch panel display
US6141000A (en) * 1991-10-21 2000-10-31 Smart Technologies Inc. Projection display system with touch sensing on screen, computer assisted alignment correction and network conferencing
US5483261A (en) * 1992-02-14 1996-01-09 Itu Research, Inc. Graphical input controller and method with rear screen image detection
DE69331433T2 (de) * 1992-10-22 2002-10-02 Advanced Interconnection Technology, Inc. Einrichtung zur automatischen optischen Prüfung von Leiterplatten mit darin verlegten Drähten
US5751355A (en) * 1993-01-20 1998-05-12 Elmo Company Limited Camera presentation supporting system
US5502568A (en) * 1993-03-23 1996-03-26 Wacom Co., Ltd. Optical position detecting unit, optical coordinate input unit and optical position detecting method employing a pattern having a sequence of 1's and 0's
US5729704A (en) * 1993-07-21 1998-03-17 Xerox Corporation User-directed method for operating on an object-based model data structure through a second contextual image
US5490655A (en) * 1993-09-16 1996-02-13 Monger Mounts, Inc. Video/data projector and monitor ceiling/wall mount
US7310072B2 (en) * 1993-10-22 2007-12-18 Kopin Corporation Portable communication display device
US5739850A (en) * 1993-11-30 1998-04-14 Canon Kabushiki Kaisha Apparatus for improving the image and sound processing capabilities of a camera
US5484966A (en) * 1993-12-07 1996-01-16 At&T Corp. Sensing stylus position using single 1-D image sensor
US5712658A (en) * 1993-12-28 1998-01-27 Hitachi, Ltd. Information presentation apparatus and information display apparatus
US5546442A (en) * 1994-06-23 1996-08-13 At&T Corp. Method and apparatus for use in completing telephone calls
DE69522913T2 (de) * 1994-12-08 2002-03-28 Hyundai Electronics America Mi Gerät und Verfahren für elektrostatischen Stift
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
JP3098926B2 (ja) * 1995-03-17 2000-10-16 株式会社日立製作所 反射防止膜
US5591945A (en) * 1995-04-19 1997-01-07 Elo Touchsystems, Inc. Acoustic touch position sensor using higher order horizontally polarized shear wave propagation
DE69634913T2 (de) * 1995-04-28 2006-01-05 Matsushita Electric Industrial Co., Ltd., Kadoma Schnittstellenvorrichtung
US5734375A (en) * 1995-06-07 1998-03-31 Compaq Computer Corporation Keyboard-compatible optical determination of object's position
US6031524A (en) * 1995-06-07 2000-02-29 Intermec Ip Corp. Hand-held portable data terminal having removably interchangeable, washable, user-replaceable components with liquid-impervious seal
US6015214A (en) * 1996-05-30 2000-01-18 Stimsonite Corporation Retroreflective articles having microcubes, and tools and methods for forming microcubes
US6208329B1 (en) * 1996-08-13 2001-03-27 Lsi Logic Corporation Supplemental mouse button emulation system, method and apparatus for a coordinate based data input device
US6346966B1 (en) * 1997-07-07 2002-02-12 Agilent Technologies, Inc. Image acquisition system for machine vision applications
CN1130895C (zh) * 1997-09-30 2003-12-10 西门子公司 用于把消息通报给用户的方法
JP3794180B2 (ja) * 1997-11-11 2006-07-05 セイコーエプソン株式会社 座標入力システム及び座標入力装置
US6031531A (en) * 1998-04-06 2000-02-29 International Business Machines Corporation Method and system in a graphical user interface for facilitating cursor object movement for physically challenged computer users
JP4033582B2 (ja) * 1998-06-09 2008-01-16 株式会社リコー 座標入力／検出装置および電子黒板システム
JP2000043484A (ja) * 1998-07-30 2000-02-15 Ricoh Co Ltd 電子黒板システム
US7268774B2 (en) * 1998-08-18 2007-09-11 Candledragon, Inc. Tracking motion of a writing instrument
US6690357B1 (en) * 1998-10-07 2004-02-10 Intel Corporation Input device using scanning sensors
US6504634B1 (en) * 1998-10-27 2003-01-07 Air Fiber, Inc. System and method for improved pointing accuracy
DE19856007A1 (de) * 1998-12-04 2000-06-21 Bayer Ag Anzeigevorrichtung mit Berührungssensor
US6335724B1 (en) * 1999-01-29 2002-01-01 Ricoh Company, Ltd. Method and device for inputting coordinate-position and a display board system
US6179426B1 (en) * 1999-03-03 2001-01-30 3M Innovative Properties Company Integrated front projection system
JP3986710B2 (ja) * 1999-07-15 2007-10-03 株式会社リコー 座標検出装置
JP2001060145A (ja) * 1999-08-23 2001-03-06 Ricoh Co Ltd 座標入力／検出システムおよびその位置合わせ調整方法
US6512838B1 (en) * 1999-09-22 2003-01-28 Canesta, Inc. Methods for enhancing performance and data acquired from three-dimensional image systems
JP4052498B2 (ja) * 1999-10-29 2008-02-27 株式会社リコー 座標入力装置および方法
US6690397B1 (en) * 2000-06-05 2004-02-10 Advanced Neuromodulation Systems, Inc. System for regional data association and presentation and method for the same
US6690363B2 (en) * 2000-06-19 2004-02-10 Next Holdings Limited Touch panel display system
US6803906B1 (en) * 2000-07-05 2004-10-12 Smart Technologies, Inc. Passive touch system and method of detecting user input
JP3851763B2 (ja) * 2000-08-04 2006-11-29 株式会社シロク 位置検出装置、位置指示器、位置検出方法及びペンダウン検出方法
US6897853B2 (en) * 2000-11-10 2005-05-24 Microsoft Corp. Highlevel active pen matrix
US6518600B1 (en) * 2000-11-17 2003-02-11 General Electric Company Dual encapsulation for an LED
JP4768143B2 (ja) * 2001-03-26 2011-09-07 株式会社リコー 情報入出力装置、情報入出力制御方法およびプログラム
US6517266B2 (en) * 2001-05-15 2003-02-11 Xerox Corporation Systems and methods for hand-held printing on a surface or medium
US6987765B2 (en) * 2001-06-14 2006-01-17 Nortel Networks Limited Changing media sessions
GB2378073B (en) * 2001-07-27 2005-08-31 Hewlett Packard Co Paper-to-computer interfaces
US6927384B2 (en) * 2001-08-13 2005-08-09 Nokia Mobile Phones Ltd. Method and device for detecting touch pad unit
US7007236B2 (en) * 2001-09-14 2006-02-28 Accenture Global Services Gmbh Lab window collaboration
DE10163992A1 (de) * 2001-12-24 2003-07-03 Merck Patent Gmbh 4-Aryl-chinazoline
US7038659B2 (en) * 2002-04-06 2006-05-02 Janusz Wiktor Rajkowski Symbol encoding apparatus and method
US7015418B2 (en) * 2002-05-17 2006-03-21 Gsi Group Corporation Method and system for calibrating a laser processing system and laser marking system utilizing same
US7170492B2 (en) * 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7330184B2 (en) * 2002-06-12 2008-02-12 Smart Technologies Ulc System and method for recognizing connector gestures
US20040001144A1 (en) * 2002-06-27 2004-01-01 Mccharles Randy Synchronization of camera images in camera-based touch system to enhance position determination of fast moving objects
JP2004078613A (ja) * 2002-08-19 2004-03-11 Fujitsu Ltd タッチパネル装置
JP4100575B2 (ja) * 2002-10-10 2008-06-11 ワーウー テクノロジー インコーポレイテッド ペン型光マウス
US6954197B2 (en) * 2002-11-15 2005-10-11 Smart Technologies Inc. Size/scale and orientation determination of a pointer in a camera-based touch system
US6995748B2 (en) * 2003-01-07 2006-02-07 Agilent Technologies, Inc. Apparatus for controlling a screen pointer with a frame rate based on velocity
US20040162724A1 (en) * 2003-02-11 2004-08-19 Jeffrey Hill Management of conversations
JP4125200B2 (ja) * 2003-08-04 2008-07-30 キヤノン株式会社 座標入力装置
US7492357B2 (en) * 2004-05-05 2009-02-17 Smart Technologies Ulc Apparatus and method for detecting a pointer relative to a touch surface
JP4442877B2 (ja) * 2004-07-14 2010-03-31 キヤノン株式会社 座標入力装置およびその制御方法
US20070019103A1 (en) * 2005-07-25 2007-01-25 Vkb Inc. Optical apparatus for virtual interface projection and sensing
US7333095B1 (en) * 2006-07-12 2008-02-19 Lumio Inc Illumination for optical touch panel
US7333094B2 (en) * 2006-07-12 2008-02-19 Lumio Inc. Optical touch screen
WO2008007372A2 (en) * 2006-07-12 2008-01-17 N-Trig Ltd. Hover and touch detection for a digitizer
US8441467B2 (en) * 2006-08-03 2013-05-14 Perceptive Pixel Inc. Multi-touch sensing display through frustrated total internal reflection
US8564544B2 (en) * 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
US20100009098A1 (en) * 2006-10-03 2010-01-14 Hua Bai Atmospheric pressure plasma electrode
US20090030853A1 (en) * 2007-03-30 2009-01-29 De La Motte Alain L System and a method of profiting or generating income from the built-in equity in real estate assets or any other form of illiquid asset
JP2011510413A (ja) * 2008-01-25 2011-03-31 センシティブ オブジェクト タッチ感応パネル
CN101971129A (zh) * 2008-02-11 2011-02-09 奈克斯特控股有限公司 解决光学触摸屏的多点触摸情景的系统和方法
TW201009671A (en) * 2008-08-21 2010-03-01 Tpk Touch Solutions Inc Optical semiconductor laser touch-control device
US20120044143A1 (en) * 2009-03-25 2012-02-23 John David Newton Optical imaging secondary input means
JP5256535B2 (ja) * 2009-07-13 2013-08-07 ルネサスエレクトロニクス株式会社 位相同期ループ回路
US20110019204A1 (en) * 2009-07-23 2011-01-27 Next Holding Limited Optical and Illumination Techniques for Position Sensing Systems

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080056536A1 (en) * 2000-10-03 2008-03-06 Gesturetek, Inc. Multiple Camera Control System
US20070252898A1 (en) * 2002-04-05 2007-11-01 Bruno Delean Remote control apparatus using gesture recognition
US20050166163A1 (en) * 2004-01-23 2005-07-28 Chang Nelson L.A. Systems and methods of interfacing with a machine
US20050212767A1 (en) * 2004-03-23 2005-09-29 Marvit David L Context dependent gesture response
US20090150160A1 (en) * 2007-10-05 2009-06-11 Sensory, Incorporated Systems and methods of performing speech recognition using gestures

Cited By (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108646929A (zh) * 2012-10-05 2018-10-12 谷歌有限责任公司 递增的基于特征的手势键盘解码
US11237719B2 (en) 2012-11-20 2022-02-01 Samsung Electronics Company, Ltd. Controlling remote electronic device with wearable electronic device
US11157436B2 (en) 2012-11-20 2021-10-26 Samsung Electronics Company, Ltd. Services associated with wearable electronic device
US11372536B2 (en) 2012-11-20 2022-06-28 Samsung Electronics Company, Ltd. Transition and interaction model for wearable electronic device
US10194060B2 (en) 2012-11-20 2019-01-29 Samsung Electronics Company, Ltd. Wearable electronic device
US10551928B2 (en) 2012-11-20 2020-02-04 Samsung Electronics Company, Ltd. GUI transitions on wearable electronic device
US10185416B2 (en) 2012-11-20 2019-01-22 Samsung Electronics Co., Ltd. User gesture input to wearable electronic device involving movement of device
US10423214B2 (en) 2012-11-20 2019-09-24 Samsung Electronics Company, Ltd Delegating processing from wearable electronic device
CN104919394A (zh) * 2012-11-20 2015-09-16 三星电子株式会社 涉及设备的运动的可穿戴电子设备的用户手势输入
CN104919394B (zh) * 2012-11-20 2018-09-11 三星电子株式会社 涉及设备的运动的可穿戴电子设备的用户手势输入
CN103853339A (zh) * 2012-12-03 2014-06-11 广达电脑股份有限公司 输入装置以及电子装置
CN108958487B8 (zh) * 2012-12-13 2023-06-23 太浩研究有限公司 使用标记区域对视频流的手势预处理
CN103019379A (zh) * 2012-12-13 2013-04-03 瑞声声学科技(深圳)有限公司 输入系统及采用该输入系统的移动设备输入方法
CN108958487A (zh) * 2012-12-13 2018-12-07 英特尔公司 使用标记区域对视频流的手势预处理
CN103019379B (zh) * 2012-12-13 2016-04-27 瑞声声学科技(深圳)有限公司 输入系统及采用该输入系统的移动设备输入方法
CN103885530A (zh) * 2012-12-20 2014-06-25 联想(北京)有限公司 一种控制方法以及一种电子设备
CN103914126A (zh) * 2012-12-31 2014-07-09 腾讯科技（深圳）有限公司 一种多媒体播放器控制方法和装置
CN103020306A (zh) * 2013-01-04 2013-04-03 深圳市中兴移动通信有限公司 一种基于手势识别字符索引的查找方法及系统
CN104077559A (zh) * 2013-03-29 2014-10-01 现代自动车株式会社 具有手势检测系统及方法的车辆
US11740703B2 (en) 2013-05-31 2023-08-29 Pixart Imaging Inc. Apparatus having gesture sensor
CN109240506A (zh) * 2013-06-13 2019-01-18 原相科技股份有限公司 具有手势感测器的装置
CN104714737A (zh) * 2013-12-12 2015-06-17 联想（新加坡）私人有限公司 使用输入手势切换界面模式的方法和装置
US9727235B2 (en) 2013-12-12 2017-08-08 Lenovo (Singapore) Pte. Ltd. Switching an interface mode using an input gesture
CN103728906A (zh) * 2014-01-13 2014-04-16 江苏惠通集团有限责任公司 智能家居控制装置及控制方法
CN106030462A (zh) * 2014-02-17 2016-10-12 大众汽车有限公司 用户接口和用于从用户接口的第一操作模式变换成3d手势模式的方法
US10691332B2 (en) 2014-02-28 2020-06-23 Samsung Electronics Company, Ltd. Text input on an interactive display
CN105094273B (zh) * 2014-05-20 2018-10-12 联想(北京)有限公司 一种信息发送方法及电子设备
CN105094273A (zh) * 2014-05-20 2015-11-25 联想(北京)有限公司 一种信息发送方法及电子设备
CN111522436A (zh) * 2014-06-03 2020-08-11 谷歌有限责任公司 通过穿戴式设备的基于雷达的手势识别
CN111522436B (zh) * 2014-06-03 2024-08-02 谷歌有限责任公司 通过穿戴式设备的基于雷达的手势识别
CN105843401A (zh) * 2016-05-12 2016-08-10 深圳市联谛信息无障碍有限责任公司 基于摄像头的读屏应用指令输入方法及装置
CN109192129A (zh) * 2018-08-13 2019-01-11 友达光电股份有限公司 显示装置与显示方法
CN112416117B (zh) * 2019-07-29 2024-04-02 瑟克公司 在基于开关的键盘上方的手势识别
CN112416117A (zh) * 2019-07-29 2021-02-26 瑟克公司 在基于开关的键盘上方的手势识别
CN110764616A (zh) * 2019-10-22 2020-02-07 深圳市商汤科技有限公司 手势控制方法和装置
CN110750159A (zh) * 2019-10-22 2020-02-04 深圳市商汤科技有限公司 手势控制方法和装置
CN110750159B (zh) * 2019-10-22 2023-09-08 深圳市商汤科技有限公司 手势控制方法和装置
CN110780743A (zh) * 2019-11-05 2020-02-11 聚好看科技股份有限公司 一种vr交互方法及vr设备
CN112307865A (zh) * 2020-02-12 2021-02-02 北京字节跳动网络技术有限公司 基于图像识别的交互方法及装置
WO2021184356A1 (en) * 2020-03-20 2021-09-23 Huawei Technologies Co., Ltd. Methods and systems for hand gesture-based control of a device
US12001613B2 (en) 2020-03-20 2024-06-04 Huawei Technologies Co., Ltd. Methods and systems for hand gesture-based control of a device
US12093465B2 (en) 2020-03-23 2024-09-17 Huawei Technologies Co., Ltd. Methods and systems for hand gesture-based control of a device
CN114898459A (zh) * 2022-04-13 2022-08-12 网易有道信息技术（北京）有限公司 一种用于手势识别的方法及其相关产品
CN114898459B (zh) * 2022-04-13 2024-12-27 网易有道信息技术（北京）有限公司 一种用于手势识别的方法及其相关产品

Also Published As

Publication number Publication date
WO2011066343A3 (en) 2012-05-31
WO2011066343A2 (en) 2011-06-03
US20110221666A1 (en) 2011-09-15

Similar Documents

Publication Publication Date Title
CN102713794A (zh) 用于手势识别模式控制的方法和装置
US10331219B2 (en) Identification and use of gestures in proximity to a sensor
US9870141B2 (en) Gesture recognition
JP4899806B2 (ja) 情報入力装置
US8957854B2 (en) Zero-click activation of an application
US8893051B2 (en) Method for selecting an element of a user interface and device implementing such a method
US8432301B2 (en) Gesture-enabled keyboard and associated apparatus and computer-readable storage medium
US20110095992A1 (en) Tools with multiple contact points for use on touch panel
US20150100911A1 (en) Gesture responsive keyboard and interface
US20140313130A1 (en) Display control device, display control method, and computer program
CN102625931A (zh) 用于在电子设备中发起活动的用户界面
KR20110098729A (ko) 소프트 키보드 제어
CN102566890A (zh) 信息处理设备以及信息处理设备的输入控制方法和程序
JP2013527539A (ja) 多角的ボタン、キーおよびキーボード
US9035882B2 (en) Computer input device
US20130106707A1 (en) Method and device for gesture determination
KR20080029028A (ko) 터치 스크린을 갖는 단말기의 문자 입력 방법
US20170192465A1 (en) Apparatus and method for disambiguating information input to a portable electronic device
WO2022267760A1 (zh) 按键功能执行方法、装置、设备及存储介质
US20150277649A1 (en) Method, circuit, and system for hover and gesture detection with a touch screen
US9823707B2 (en) Contortion of an electronic apparatus
CN106951258A (zh) 一种移动终端的操作方法及移动终端
US9256360B2 (en) Single touch process to achieve dual touch user interface
US9235338B1 (en) Pan and zoom gesture detection in a multiple touch display
US10860120B2 (en) Method and system to automatically map physical objects into input devices in real time

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C05 Deemed withdrawal (patent law before 1993)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20121003