[go: up one dir, main page]

CN104679270B - 接收用户输入的系统与方法及其程序存储介质与程序 - Google Patents

接收用户输入的系统与方法及其程序存储介质与程序 Download PDF

Info

Publication number
CN104679270B
CN104679270B CN201410527952.9A CN201410527952A CN104679270B CN 104679270 B CN104679270 B CN 104679270B CN 201410527952 A CN201410527952 A CN 201410527952A CN 104679270 B CN104679270 B CN 104679270B
Authority
CN
China
Prior art keywords
user
control area
keys
area
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410527952.9A
Other languages
English (en)
Other versions
CN104679270A (zh
Inventor
张明伟
张家铭
阙志克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Original Assignee
Industrial Technology Research Institute ITRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US14/303,438 external-priority patent/US9857971B2/en
Application filed by Industrial Technology Research Institute ITRI filed Critical Industrial Technology Research Institute ITRI
Publication of CN104679270A publication Critical patent/CN104679270A/zh
Application granted granted Critical
Publication of CN104679270B publication Critical patent/CN104679270B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Input From Keyboards Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种接收用户输入的系统与方法及其程序存储介质与程序。该接收用户输入方法，包括下列步骤：显示虚拟键盘配置和控制区域，该虚拟键盘配置包括多个子群组键，各子群组键分别对应到该控制区域的多个区域之一；从至少一提取图像中提取物件的多个位置，识别该物件的特征点的位置；决定选取区域，在该控制区域内的所有区域当中，该特征点的位置所在即为该选取区域；决定该选取区域所对应的多个键；以及将该物件的移动解译为对用户接口系统的输入数据。

Description

接收用户输入的系统与方法及其程序存储介质与程序
技术领域
本发明涉及一种接收用户输入方法的系统与方法及程序存储介质与程序。
背景技术
近年来，已有各种用户的接口系统及接收用户输入系统被提出。一般而言，用户输入系统指的是系统与其他人经由机器(例如个人计算机(PC))互动。用户接口系统提供一种输入方式允许用户来操作系统，同时也提供一种输出方式，并让用户看到操作结果。
大家所希望的是能提供一种简单，高效率及好用的接收用户输入的系统。
发明内容
本公开是关于一种接收用户输入的系统和方法及程序存储介质与程序。
根据本公开实施例，接收用户输入方法，包括下列步骤：显示虚拟键盘配置和控制区域，该虚拟键盘配置包括多个子群组键，各子群组键分别对应到该控制区域的多个区域之一；从至少一提取图像中提取一物件的多个位置，识别该物件的特征点的位置；决定选取区域，在该控制区域内的所有区域当中，该特征点的位置所在即为该选取区域；决定该选取区域所对应的多个键；以及将该物件的移动解译为对用户接口系统的输入数据。
本公开另一实施例提供一种接收用户输入系统，该系统包括：显示器，用于显示虚拟键盘配置和控制区域，该虚拟键盘配置包括多个子群组键，各子群组键分别对应到该控制区域的多个区域之一；一或多个传感器，感测物件的移动；计算系统，耦合到该一或多个传感器和该显示器，该计算系统从至少一提取图像中提取该物件的多个位置，以识别该物件的特征点的位置，决定选取区域，在该控制区域的这些区域当中，该特征点所在的位置即为该选取区域，确定对应到该选取区域的多个键，以及将该物件的该移动解译为对该系统的输入数据。
本公开又一实施例提供一种程序存储介质，所存储的计算机程序使电子装置执行下列步骤：显示虚拟键盘配置和控制区域，该虚拟键盘配置包括多个子群组键，各子群组键分别对应到该控制区域的多个区域之一；从至少一提取图像中提取物件的多个位置，识别该物件的特征点的位置；决定选取区域，在该控制区域的多个区域当中，该特征点的位置所在即为该选取区域；确定对应到该选取区域的多个键；以及将该物件的移动解译为对用户接口系统的输入数据。
本公开更一实施例提供一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行实施如上所述的方法。
为了对本申请的上述及其他方面有更佳的了解，下文特举实施例，并配合附图，作详细说明如下：
附图说明
图1绘示为依照一实施例所公开的用户接口系统。
图2A绘示为依照一用户接口系统实施例的可穿载计算装置。
图2B绘示为一实施例操作图2A的用户接口系统。
图2C为说明图2A的用户接口系统实施例，显示其中虚拟输入的一模式。
图3A-图3D显示在用户切面系统输入数据的实施例，用户穿戴标记或手套来输入数据。
图4为公开另一实施例的键盘配置，该用户穿戴标记或手套来输入数据。
图5为本公开另一实施例，用户空手输入数据。
图6为本公开另一实施例，用户以双手输入数据。
图7为本公开另一实施例，示意该控制区域可结合子群组键，而键的对应可随着手移动而改变。
图8A与图8B为本公开另一实施例，控制区域可以结合子群组键，而键的对应可随着手移动而改变。
图8C为本公开另一实施例，用户以一手指打字。
图8D至图8E为本公开另一实施例，用户以一手指打字。
图9为根据本公开另一实施例，用户输入系统包括用户接口系统和主机系统。
图10为图9的系统实施例。
图11示意可应用于图1或图9所示的系统的本公开实施例的一方法。
图12示意本公开又一实施例的用于接收用户输入的系统。
在下面的详细描述中，为便于解释，依据具体细节进行了阐述，以便全面的理解所公开的实施例。这些实施例即便没有明显说明具体细节的情况下可实施。在其他实例中，简化附图中众所周知的结构和装置，而示意性地公开。
【符号说明】
100、200、900A：用户接口系统
110、208、902：传感器
120、904、914：处理器
130：存储器
140、202、918：显示器
204：计算机系统
206：摄像机
240：虚拟输入图案
241：QWERTY状键盘
242：控制区域
310：手
320：手套
330：特征点标记
340：指甲型标记物
360：活性标识符(active identifier)
370：打字结果
380：手/手指跟踪信息
900：系统
900B：主机系统
908：收发器
910：通信链路
912：接收器
906、916：存储器
1110～1180：步骤
1210：移动装置
具体实施方式
第一实施例，请参照图1，用户接口系统100可接收数据并显示对应于所接收数据的信息。例如图1，该用户接口系统包括传感器110、处理器120、存储器130和显示器140。
该用户接口系统100可接收数据并显示对应该接收数据的信息。例如，该用户接口系统100可以是一平视(heads-up)显示系统，如眼镜或包括显示器的任何类型近眼(nearto eye)显示器单元。
传感器110检测用户的手指和用户的手的移动，并把检测结果提供给处理器120。前述用户接口系统可以包括耦合到处理器的一个或多个传感器。
该处理器120可解译(interpret)手/手指的动作，作为输入到用户接口系统100的数据。处理器120可处理要在显示器上显示的数据。处理器120可以是任何类型的处理器，例如微处理器(单核或多核)，数字信号处理器(DSP)，图形处理单元等。
存储器130是用户接口系统100的内建式数据存储器。存储器130耦合到处理器120。存储器130可存储由处理器120所存取与执行的软件。
显示器140例如可以是光透视显示器(optical see-through display)，光看万能显示器(optical see-around display)，视频透视显示器(video see-through display)，液晶显示器(LCD)，等离子显示器等，或其它类型显示器。该显示器140与所述处理器120之间可以为有线或无线的方式来接收数据。
参考图2A所示，用户接口系统200的一实施例为可佩戴式计算装置，如包括眼镜的一头戴式显示器(head-mounted display，HMD)。用户接口系统200包括显示器202，内建式(on-board)计算机系统204，摄像机(video camera)206和传感器208。
显示器202可将计算机所产生的图形(computer-generated graphics)重叠于用户在实体世界的视野。这就是说，如果显示器202显示虚拟键盘，并且用户的手为用户所看见，则用户可以同时看到虚拟键盘和他/她的手。
在如图2A所示，单个显示器202位在此眼镜的一镜片的中心处。然而，本申请并不限于此。例如，显示器202可以在其它位置设置。此外，用户接口系统200可以包括一个以上的显示器，例如，提供第二显示器在眼镜的另一镜片，或多个显示器位在同一镜片上。显示器202连接计算机系统204且被其所控制。
内建式计算机系统204例如位于眼镜的桥接臂(bridge)或其它位置(例如，在眼镜鼻翼等)，但不限于此。该内建式计算机系统204可以包括处理器(例如，处理器120在图1中)和存储器(例如，图1中的存储器130)。内建式计算机系统204可以从摄像机206接收和分析数据(以及其它感测装置和/或用户接口所传来的数据)，并相应地控制显示器202。另外，从其他数据源所传来的图形数据，视频数据，图象数据，文字数据等可以从内建式计算机系统204中继到显示器202。
该摄像机206安装在例如眼镜的框架或在其它位置。该摄像机206可以以不同的解析度(resolutions)和/或以不同的帧率(frame rate)来拍摄图像。摄像机可为小体积摄像机，如在移动电话，网络摄像机等等所使用的摄像机，且可并入用户接口系统200。然而，应当理解，此处所描述的实施例不限于任何特定类型的视频摄像头。除了如图2A所示般配置单一摄像机206，也可配置多个摄像机，并且各摄像机可以配置为提取相同的景象，或者捕捉不同的角度/景像，因而可被安装在眼镜的不同区域。该摄像机206可以是一个二维(2D，two dimensional)摄像机或三维(3D)摄像机。
该摄像机206所拍摄的内容可类似用户的视野。其他配置也是可能的。如图2A所示，摄像机206可安装在眼镜的桥接臂。在其他实施例中，摄像机206可以被安装在眼镜鼻翼或近用户的前额/眼睛之间。摄像机206可以被定向为与用户的眼睛在相同的方向，而提取眼镜前面的图像。
显示器202的位置和尺寸被设定为使得所显示图像的出现为“浮”在真实世界中的用户的视图，从而提供了使用者可以感觉到，计算机产生的信息(computer-generatedinformation)可以与实际世界的用户感知合并。这样做，内建式计算机系统204可以分析由摄像机206提取的影像，以确定应该显示哪些影像和影像的显示方式(例如，在显示器上的显示位置，所显示的大小等)。
传感器208安装在眼镜的桥接臂，然而，该传感器208可以安装在用户接口系统200的其它区域。此外，另外的传感器可以包括于用户接口系统200。
图2B示意图2A中的用户接口系统200的示例操作。在一实施例中，用户可以佩戴用户接口系统200，如同在戴眼镜一般。图2C示意图2A中的用户接口系统的一个例子。如图2C所示，虚拟输入图案240可显示在眼镜的显示器202上。
虚拟输入图案240可包括QWERTY状键盘241和控制区域242。图案240是从内建式计算机系统204发送到显示器202。
在这个例子中，QWERTY状键盘241可以划分成多个子群组键，每个子群组键对应到控制区域242的相应区域，依预先确定的对应关系。
如图2C所示，QWERTY状键盘241可以划分为9个子群组键。QWERTY状键盘241和控制区域242的9个区域的子群组键之间的关系，例如，可如键-区域对应表般，如下面表1。
表1
在上述中，键所对应用户的第一手指、第二手指、第三手指、第四手指与第五手指可以是，例如是用户的右手拇指、食指、中指、无名指和小指。
在另一个例子中，键所对应用户的第一手指，第二手指，第三手指，第四手指与第五手指可以是，例如分别是用户的左手小指，无名指，中指，食指和拇指。
键盘的子群组键对应到各别区域，根据QWERTY状键盘241的子群组键的位置与控制区域的各区域的位置间的关系。例如，在键盘上的左上角的子群组键“qwert”对应到控制区域的左上角的区“0”。甚至，依据这些子群组键在该虚拟键盘配置的各自位置和这些区域在该控制区域的各自位置，将该虚拟键盘配置的各这些子群组键对应到该控制区域的这些区域之一。上述表所公开以及如何在用户接口系统200输入的实施例在下面描述。
图2A-图2C为用户接口系统包括眼镜的实施例。此外，该系统的组件可以与眼镜分离。例如，相机206和/或传感器208可以跟眼镜分离或者是可拆除式的，并且可以附着到使用者的其它身体部位，包括颈部，胸部，手腕或(腰)带等，且可提取图像，并感测用户的手/手指的动作。
参考图3A-图3D，其显示在用户接口系统输入(凝空打字，air typing)的实施例，其中用户可以戴着标记或手套而输入数据。当用户想打字时，用户将他/她的右手伸至摄像机和传感器的范围之内。在这个例子中，凝空打字之前，用户戴着手套320，手套320具有特征点标记330和5个指甲型标记物340。当用户佩戴手套320时，特征点标记330的位置相关于用户的手的特征点。该特征点为，例如但不局限于，用户的手背的任意点，例如，特征点包括用户的手的虎口或用户手的指缝(finger pit)或用户的手背面的中心点。指甲型标记物340与用户的手310的指甲有关联。例如，指甲型标记物340可以是戒指，可黏至指甲/手指的可移除式胶带，或擦在指甲上的指甲油。在下面的描述中，特征点标记330的位置相关于用户的手背。
当输入时，用户伸出他/她的右手310，直到内建式计算机系统204确定该手套320的特征点标记330已位于控制区域的选取区域内。例如，图3A所示，用户接口系统200确定是否手套320的特征点标记330已位于控制区域内的区“3”内。如果是这样，则该用户接口系统200确定用户想要输入a，s，d，f和g中的一个键。
为让内建式计算机系统204能确定，传感器110或摄像机206感测/提取特征点标记330和指甲型标记物340，并发送所述感测/提取结果至内建式计算机系统204。
基于所提取的图像，该内建式计算机系统204提取该特征点标记330和指甲型标记物340的图像之后，该内建式计算机系统204获得特征点标记330和指甲型标记物340的坐标。内建式计算机系统204比较该特征点标记330的坐标与控制区域的区域坐标，以确定该特征点标记330所位于的区域。
在该内建式计算机系统204确定特征点标记320所位于的选取区域后，内建式计算机系统204控制显示器202以显示活性标识符(active identifier)360。该活性标识符360显示哪些键对应到特征点标记330所位于的选取区域。可突出显示此活性标识符360，以便用户可以容易地看到哪些键被对应(或有效)。因此，用户可以在用户接口系统200上打字/输入。
例如，如果用户想要输入对应到区域“3”的键“d”，则用户移动他/她的右手直到用户接口系统200的内建式计算机系统204确定用户右手310的特征点标记330位于控制区域的区域内“3”。然后，内建式计算机系统204控制显示器202以显示活性标识符360。在显示活性标识符360(环绕着键a，s，d，f和g)后，用户移动/敲动/弯曲中指。内建式计算机系统204将这种手指运动视为敲击键“d”。通过识别/翻译这个手指敲击键“d”，内建式计算机系统204控制显示器202显示打字结果370，其显示出“d”，并发送代表键“d”被敲击的打字事件到主机(未示出)。
类似地，如图3B所示，如果用户想要输入“h”时，用户移动手套320直到用户接口系统200的内建式计算机系统204确定用户的右手310的特征点标记330位于控制区域的区域“4”内。当用户看到活性标识符360时，用户移动/敲动/弯曲食指，以指示敲击键“h”。藉由将手指敲击识别为敲击键“h”，内建式计算机系统204控制显示器202以显示打字结果370(其显示“dh”)，而内建式计算机系统204发送的打字事件则表明键“h”被敲击。图3C和图3D的操作是相似的，为简便起见说明从略。
此外，内建式计算机系统204获得指甲型标记物340的坐标后，内建式计算机系统204控制显示器202以显示手/手指跟踪信息380，其表示手套320的指甲型标记物340的位置(即用户的手310的指甲的位置)。
因为QWERTY状键盘241的布局和控制区域242的区域之间的对应是基于人的本能设计，用户可以在几乎没有或很少心理负担就记住了QWERTY键盘像241和对应关系的布局。例如，键q，w，e，r和t(在QWERTY状键盘241的左上角)对应到在控制区242的左上角的区域“0”；同样地，在QWERTY状键盘241的中间的键g，h，j，k和l是对应到控制区域242的中间区域“4”。
参考图4，其显示根据本公开的实施例的另一个键盘布局示意，其中用户可以穿戴标记或手套来输入数据。在这个例子中，QWERTY状键盘可以划分成12个子群组键。同样地，QWERTY状键盘的12个子群组键和控制区域的个别区域之间的关系可概括在键-区域对应表，如表2所示。在本公开的其它可能实施例中，用户可以将标记佩戴在手指上(但用户不戴手套)而来输入数据。在本公开的其它可能实施例中，用户可以佩戴包括特征点但没有标记的手套或手套组来输入数据。也就是说，在本公开中，手套，指甲型标记和特征点标记是选择性的。
表2
在图4所示的键盘布局的用户操作和图1是类似的，因此为简洁起见，细节在此省略描述。
参考图5，其显示根据本公开的另一实施例，其中，在用户可以空手地输入数据。如上所述，在第3A-3D图和图4中，用户佩戴具有特征点标记330和5个指甲型标记物340的手套来将数据输入到用户接口系统。不同的是，在图5，当用户在对用户接口系统200凝空打字时，用户不戴手套。因此，用户接口系统200检测并跟踪用户的手的特征点，以确定是否用户的手的特征点已位于控制区域的选取区域内。类似地，该特征点可以是用户的手背上任意点或虎口。此外，用户接口系统200检测并跟踪用户的手的指尖，并且控制所述显示器来显示手/手指跟踪信息。
在图5所示的键盘布局的用户操作和图1是类似的，因此为简洁起见，细节在此省略描述。
现在，参考图6，其显示本公开实施例的另一例。在图6，打字时，用户不戴具有标记的手套。也就是说，用户可以用双手(空手)输入数据。
在图6，用户使用两只手来输入数据至用户接口系统200。如图6所示，QWERTY状键盘可以划分成12个子群组键，每个子群组键对应到控制区域的相应区域，依预先确定的对应关系。同样地，QWERTY状键盘的12个子群组键和控制区域的12个区域之间的关系可概括在键-区域对应表如表3中。另外，控制区域的左半区域(例如区域0，1，4，5，8，和9)对应到由用户的左手所会按下的键；控制区域的右半区域(即区域2，3，6，7，10，和11)对应到由用户的右手所会按下的键。
表3
在用户接口系统确定用户任一手的特征点进入控制区域的一区域之后，显示活性标识符，并且用户以左/右手的手指敲击/弯曲来键入用户接口系统200。
例如，如果用户想要输入“a”和“&”，用户的左手移动到区域“4”并敲击/弯曲左手的小指；然后用户移动右手进入区域“7”并敲击/弯曲右手拇指。
现在参考图7，其为本公开的另一实施例。在图7，在打字时，用户不戴具有标记的手套，以及控制区域可以和键的子群组键相组合，而且，藉由手的动作来改变对应键。
在图7的QWERTY状键盘可以划分为6个子群组键。如图7布局所示，键的子群组键与控制区域的区域是重叠的。换句话说，在图7的布局例子中，控制区域的这些区域结合设置至该虚拟键盘配置的子群组键，左侧子群组键(区)分配给该用户的左手，以及右侧的子群组键(区)分配给用户的右手。在用户接口系统200检测并确定用户的左/右手的特征点进入任一子群组键(区)后，用户接口系统200控制显示器以显示出环绕着该特征点所进入的选取区域的活性标识符。例如，如果用户接口系统200检测并确定用户的左/右手的特征点进入左上子群组键(左上区域)，用户接口系统200控制显示器来显示环绕着左上区域(其对应键“qwert”)的活性标识符。看到活性标识符后，用户就可以敲击/弯曲手指以打字。
此外，在该示例的图7，只要检测到用户的手位于所述的子群组键/区域内，用户即可敲击/弯曲手指以开始打字。例如，如果用户接口系统检测和确定用户的手的特征点进入到对应到“asdfg”子群组键/区域的范围内，用户接口系统确定该用户要键入左中子群组键(包括键“asdfg”)。相同地，如果用户接口系统检测和确定用户的手的特征点进入到对应到的键“nmSB.”的子群组键/区域中，用户接口系统确定该用户要键入右底子群组键(包括键“nmSB.”)。
现在参考图8A和图8B，其显示本公开的实施例的另一例，其中，控制区可以结合于子群组键，而且，藉由手的动作来改变对应键。在图8A和图8B所示，输入时，用户不戴具有标记手套。在图8A和图8B示意与图7不同的键布局。图8A和图8B的操作是类似于图7，因而细节这里不再赘述。在图7、图8A和图8B中，特征点包括用户右/左手背部的相对应点。
如图6-图8B所示，用户没有佩戴有标记的手套。此外，当用户键入在图6-图8B的例子时，用户可以佩戴具有标记的手套，以辅助/跟踪特征点及用户手指。
另外，在其它可能的实施例中，键盘布局可适合于单手打字，除了图7、图8A或图8B所示的用户以双手来键入的例子。例如，键盘布局的子群组键的布置顺序(例如，从上到下的顺序)为，使得用户可以用单手来输入。这仍是本发明的精神和范围内。在一实施例中，控制区域的这些区域的各自位置可迭合设置于该虚拟键盘配置的这些子群组键的各自位置。
在上述示例中，将键盘布局，控制区域，活性标识符，打字结果和手/手指的跟踪信息显示在用户接口系统中的显示器上。提取用户单手/双手所得的图像未必要显示于用户接口系统的显示器上，因为用户可以用眼睛看到用户的单手/双手。
图8C公开本公开内容其中一实施例，用户可以利用单个手指来进行输入的另一个例子。如该图8C中，系统确定该特征点是位于该区域的“3”，则系统会显示出活性标识符360，其围绕着键“asdfg”。系统检测到用户手指的位置(例如但不限定食指)，系统确定用户想要输入“d”，则系统会显示另一个活性标识符390，其围绕键“d”。然后，用户可能会敲动他的手指，并且系统将解译该指尖的按压键“d”。
为公开其中用户可以利用单个手指来输入的另一个实施例。如该图8D所示，该系统之后确定该特征点是位于该区域的“3”时，系统显示出活性标识符360，其围绕键“asdfg”。后系统检测到用户手指的位置(例如但不限定食指)，该系统还显示键“asdfg”395，其位于用户的手指的位置的附近。之后，系统确定用户想要输入“d”，则系统会显示另一活性标识符397，其环绕着键“asdfg”395的键“d”。然后，用户可能会敲动他的手指，并且系统将解译该指尖如按下键“d”。类似地，图8E显示用户可以移动用户手指来敲击键“a”。
显示，用户利用单手指来打字的例子。当然，用户可以利用任一手的任一手指来打字。换句话说，可与图的实施例进行组合，仍然是本公开所述的范围。
现在，参考图9，其显示根据本公开的另一实施例的用于接收用户输入的系统900。该系统900包括用户接口系统900A和主机系统900B。用户接口系统900A包括传感器902，处理器904，存储器906，以及收发器908。主机系统900B包括接收器912，处理器914，存储器916，和显示器918。用户接口系统900A和主机系统900B经由通信链路(communicationlink)910耦合。通信链路910可以是无线或有线连接。例如，通信链路910可以为有线连接，比如为USB的串行总线，或者是并行总线。该通信链路可以是无线连接，例如蓝牙，IEEE802.11或者其他的无线通信链路。
用户接口系统900A的组件902，904，906是与用户接口系统100/200相似的，不同的是用户接口系统900A额外包括了显示器。用户接口系统900A的收发器908是用于从主机系统900B发送和接收数据。主机系统900B的接收器912是用于从所述用户接口系统900A发送和接收数据。
用户接口系统100的处理器120的功能和操作可由处理器904和/或处理器914执行。例如，处理器904确定该手套/用户的手的特征点是否是位于选取子群组键/区域内，并解译用户手指敲击为按下键。通过收发器908、通信链路910和接收器912，处理器904的决定结果和所拍摄的图像可发送到处理器914。处理器914控制显示器918来显示键盘布局、控制区域、用户手的图像、活性标识符、打字结果、手/手指的跟踪信息等。
图10示意图9的系统900的一个例子。在图10所示，用户接口系统900A可为可穿戴式计算装置，以及主机系统900B可以是任何类型的计算设备，例如PC，膝上型计算机，移动电话等等，其将数据以有线或无线方式传输到用户接口系统900A。
在用户佩戴用户接口系统900A后，用户可将手/手套伸至传感器902的感测范围和/或图像提取装置的提取范围；并且用户可以看到手的图像显示在主机系统900B的显示器918上。
在用户接口系统900A的处理器904判断出手/手套的特征点已位于子群组键/区域内，活性标识符显示在主机系统900B的显示器918上，并且用户可以轻敲/弯曲手指上以键入于用户接口系统900A。打字结果显示在显示器918上。这就是说，打字过程中，用户观看主机系统900B的显示器918。
所示的键盘布局和控制区域可以适用于图9和图10。此外，键盘布局，控制区域，活性标识符，用户的手(双手)的图像，打字结果和手/手指的跟踪信息可显示在主机系统的显示器上。另一方面，在图9和图10的例子中，用户接口系统可用于拍摄的用户手(双手)的图像和用于感测用户的手(双手)/手指(多个手指)的移动。判定用户的手(双手)是否已位于选取区域内，以及判定用户的手指轻敲可由用户接口系统900A或主机系统900B进行。
参考图11，其根据本公开的另一实施例的方法。图11的方法可使用于图1或图9所示的系统。图11可包括一个或一个以上的操作，功能或动作。虽然这些步骤是显示为连续顺序，这些步骤也可以为并行执行，和/或以不同的顺序来执行之。此外，各步骤可组合成较少的步骤，或分成多个步骤，和/或根据需要而删除。
此外，对于本文所公开的方法，图11的流程图显示本实施例的功能和操作的一个可能实施方式。在这方面，各步骤可以实施为模块，电路，程序段(segment)或程序代码的一部分，其包括可由处理器所执行的一个或多个指令来实现所公开的功能或步骤。该程序代码可以被存储在任何类型的计算机可读介质，例如，诸如硬盘或快闪存储器等存储装置。该计算机可读介质可包括非临时性计算机可读介质，例如，随机存取存储器(RAM)。该计算机可读介质还可以包括非临时性介质，如只读存储器(ROM)，光盘或磁盘，或固件的内置存储器。所述计算机可读介质还可以是任何其它可易失或非易失性存储系统。
在步骤1110中，显示键盘布局和控制区域。例如，键盘布局和控制区域可以显示在用户接口系统和/或主机系统的显示器上。
在步骤1120中，提取用户的手(双手)的图像。例如，用户的手(双手)的图像可以由用户接口系统的摄像机来提取。步骤1110和1120的顺序是可以互换的。
在步骤1130，从所提取的图像来提取手指图像、指尖图像和/或特征点图像。例如，手指图像、指尖图像和/或特征点图像可由用户接口系统和/或主机系统的(多个)处理器来提取。提取多个物件图像的步骤包括可从例如用户手，从来自至少该提取影像所述物件的多个图像中取得一个图像，提取多个手指、多个指尖和/或至少一特征点的位置。
在步骤1140中，决定特征点所在的选取区域。例如，用户接口系统和/或主机系统的(多个)处理器可确定特征点所在的控制区域中的选取区域。
在步骤1150，确定用户的手指所对应的多个键，例如，由用户接口系统和/或主机系统的(多个)处理器来决定。键对应指的是将键对应到特征点所在的选取区域，和/或，将键对应至用户的手指。如上图6所述，例如，如果该特征点是位于区域“4”内而键“asdfg”对应到用户手指，则键对应是指，将键“asdfg”对应到区域“4”。
在步骤1160，将用户手指敲击解译为键敲击，例如，由用户接口系统和/或主机系统的(多个)处理器来解译。
在步骤1170，在解译出手指敲击后，将打字结果和手/手指的跟踪信息传送并显示于，比如，用户接口系统和/或主机系统的显示器上。
在步骤1180，判断用户是否终止或中断输入数据。例如，用户可以由语音控制或按下实体键或虚拟键，来终止或中断数据输入。如果步骤1180为否的话，该流程返回到步骤1110。如果步骤1180为是的话，则流程结束。
图12示意根据本公开又一实施例的接收用户输入的系统。如图12所示，在数据输入时，用户手持着移动装置1210(例如但不限于移动电话或平板计算机)。移动装置1210包括和图1类似或相同的传感器，处理器，存储器和显示器。在用户输入时，移动设备1210提取并感测用户的一只手。所提取的手的图像、打字结果、虚拟键盘配置和控制区域显示在移动设备1210上。用户输入数据到移动装置1210的操作，和上面所讨论的是相同或相似的，因此这里省略。
本公开亦公开出，一种程序存储介质，其所存储的计算机程序可使电子设备执行下列步骤：显示一虚拟键盘配置和一控制区域，该虚拟键盘配置包括多个子群组键，各子群组键系键对应到该控制区域的多个区域之一；从至少一提取图像取出一物件的图像，来识别该物件的一特征点的位置；决定该特征点位于该控制区域的这些区域当中的一选取区域；确定对应到该选取区域的多个键；以及将该物件的移动解译为对一用户接口系统的一输入数据。
此外，在一个实施例中，所述计算机系统还包括至少一个处理器，用于执行相关的控制程序。
在另一个实施方案中，该计算机系统可以是电路的设计，可以在一芯片上实现。具体地，实施例可以由硬件描述语言(如Verilog或VHDL等)等实施成电路设计，包括集成电路和布局。电路可由多种硬件描述语言来设计。例如，集成电路制造商可以利用特定应用集成电路(ASIC)或客户导向集成电路来实现。
如上所述，因为控制区域的区域是相互非常接近，本公开实施例的特征在于，在凝空打字时，手移动距离可为最小化。相反，在传统键盘上打字的时候，手移动距离通常是长的，以至于用户可能需要花更多的时间在打字。
综上所述，虽然本申请已以实施例公开如上，然其并非用以限定本申请。本申请所属领域技术人员在不脱离本申请的精神和范围内，当可作各种的更动与润饰。因此，本申请的保护范围当视所附权利要求书界定范围为准。

Claims (18)

1.一种接收用户输入方法，包括下列步骤：
显示虚拟键盘配置和控制区域，该虚拟键盘配置包括多个子群组键，各子群组键分别对应到该控制区域的多个区域之一；
从至少一提取图像中提取物件的多个位置，识别该物件的特征点的位置；
决定选取区域，在该控制区域内的所有区域当中，该特征点的位置所在即为该选取区域；
决定该选取区域所对应的多个键；以及
将该物件的移动解译为对用户接口系统的输入数据。
2.如权利要求1所述的输入方法，其中依据这些子群组键在该虚拟键盘配置的各自位置和这些区域在该控制区域的各自位置，将该虚拟键盘配置的各这些子群组键对应到该控制区域的这些区域之一。
3.如权利要求1所述的输入方法，其中所述提取该物件的多个位置的步骤包括：
从该至少一提取图像提取用户的多个手指的至少一图像、多个指尖的至少一图像、和/或至少一手的该特征点的图像。
4.如权利要求1所述的输入方法，其中该物件为具有或不具有标记的空手，
该特征点包括用户的至少一手的手背的至少一点，且
该用户的该至少一手的该手背的该至少一点包括该用户的该至少一手的虎口或手背中心。
5.如权利要求1所述的输入方法，其中该物件为一或多个手套，其包括特征点标记与多个指甲型标记物；以及
所述提取该物件的多个位置的步骤包括：
从该至少一提取图像提取出该特征点标记的至少一个位置与这些指甲型标记的多个位置。
6.如权利要求1所述的输入方法，进一步包括以下步骤：
显示活性标识符，其围绕着对应到该选取区域的这些键。
7.如权利要求1所述的输入方法，进一步包括以下步骤：
显示至少一输入结果、追踪信息、及该物件的该至少一提取图像的至少一个。
8.如权利要求1所述的输入方法，其中该控制区域的这些区域与该虚拟键盘配置的这些子群组键结合设置，或该控制区域的这些区域的各自位置与该虚拟键盘配置的这些子群组键的各自位置迭合设置。
9.一种接收用户输入系统，该系统包括：
显示器，用于显示虚拟键盘配置和控制区域，该虚拟键盘配置包括多个子群组键，各子群组键分别对应到该控制区域的多个区域之一；
一或多个传感器，感测物件的移动；
计算系统，耦合到该一或多个传感器和该显示器，该计算系统从至少一提取图像中提取该物件的多个位置，以识别该物件的特征点的位置，决定选取区域，在该控制区域的这些区域当中，该特征点所在的位置即为该选取区域，确定对应到该选取区域的多个键，以及将该物件的该移动解译为对该系统的输入数据。
10.如权利要求9所述的输入系统，其中该计算系统依据这些子群组键在该虚拟键盘配置的各自位置和这些区域在该控制区域的各自位置，控制该显示器显示该虚拟键盘配置的各这些子群组键对应到该控制区域的这些个区域之一。
11.如权利要求9所述的输入系统，其中该计算系统提取该物件的位置时，从该至少一提取图像，提取用户的多个手指的至少一图像、多个指尖的至少一图像、及该用户的至少一手的该特征点的图像的至少一个。
12.如权利要求9所述的输入系统，其中该物件为具有或不具有标记的空手，
该特征点包括用户的至少一手的手背的至少一点；以及
该用户的至少一手的该手背的该至少一点包括该用户的该至少一手的虎口或手背中心。
13.如权利要求9所述的输入系统，其中
该物件为一或多个手套，其包括特征点标记与多个指甲型标记物；以及
该计算系统从该至少一提取图像提取出该特征点标记的至少一个位置与这些指甲型标记的多个位置。
14.如权利要求9所述的输入系统，其中，该计算系统控制该显示器，以显示活性标识符，其围绕着对应到该选取区域的这些键。
15.如权利要求9所述的输入系统，其中，该计算系统控制该显示器以显示输入结果、追踪信息、及该物件的该至少一提取图像的至少一个。
16.如权利要求9所述的输入系统，其中，该计算系统控制该显示器以显示，该控制区域的这些区域与该虚拟键盘配置的这些子群组键结合设置，或该控制区域的这些区域的各自位置与该虚拟键盘配置的这些子群组键的各自位置迭合设置。
17.一种接收用户输入程序存储介质，所存储的计算机程序使电子设备执行包括下列步骤：
显示虚拟键盘配置和控制区域，该虚拟键盘配置包括多个子群组键，各子群组键分别对应到该控制区域的多个区域之一；
从至少一提取图像中提取物件的多个位置，识别该物件的特征点的位置；
决定选取区域，在该控制区域的多个区域当中，该特征点的位置所在即为该选取区域；
确定对应到该选取区域的多个键；以及
判断该物件的移动并将其对应到该选取区域的这些键以作为对用户接口系统的输入数据。
18.如权利要求17所述的程序存储介质，其所存储的计算机程序用于使该电子装置执行包括如权利要求2、3、4、5、6、7或8项的方法。
CN201410527952.9A 2013-12-02 2014-10-09 接收用户输入的系统与方法及其程序存储介质与程序 Active CN104679270B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201361910932P 2013-12-02 2013-12-02
US61/910,932 2013-12-02
US14/303,438 2014-06-12
US14/303,438 US9857971B2 (en) 2013-12-02 2014-06-12 System and method for receiving user input and program storage medium thereof
TW103127626 2014-08-12
TW103127626A TWI525477B (zh) 2013-12-02 2014-08-12 接收用戶輸入的系統與方法，及其程式儲存媒體

Publications (2)

Publication Number Publication Date
CN104679270A CN104679270A (zh) 2015-06-03
CN104679270B true CN104679270B (zh) 2018-05-25

Family

ID=53314461

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410527952.9A Active CN104679270B (zh) 2013-12-02 2014-10-09 接收用户输入的系统与方法及其程序存储介质与程序

Country Status (1)

Country Link
CN (1) CN104679270B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1273649A (zh) * 1998-06-30 2000-11-15 皇家菲利浦电子有限公司 用于与数据处理系统交互作用的无指手套
JP2010277469A (ja) * 2009-05-29 2010-12-09 Brother Ind Ltd 入力装置
CN102063183A (zh) * 2011-02-12 2011-05-18 深圳市亿思达显示科技有限公司 一种手套式虚拟输入装置
CN102906623A (zh) * 2010-02-28 2013-01-30 奥斯特豪特集团有限公司 交互式头戴目镜上的本地广告内容

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040001097A1 (en) * 2002-07-01 2004-01-01 Frank Zngf Glove virtual keyboard for baseless typing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1273649A (zh) * 1998-06-30 2000-11-15 皇家菲利浦电子有限公司 用于与数据处理系统交互作用的无指手套
JP2010277469A (ja) * 2009-05-29 2010-12-09 Brother Ind Ltd 入力装置
CN102906623A (zh) * 2010-02-28 2013-01-30 奥斯特豪特集团有限公司 交互式头戴目镜上的本地广告内容
CN102063183A (zh) * 2011-02-12 2011-05-18 深圳市亿思达显示科技有限公司 一种手套式虚拟输入装置

Also Published As

Publication number Publication date
CN104679270A (zh) 2015-06-03

Similar Documents

Publication Publication Date Title
TWI525477B (zh) 接收用戶輸入的系統與方法，及其程式儲存媒體
CN114303120B (zh) 虚拟键盘
KR101844390B1 (ko) 사용자 인터페이스 제어를 위한 시스템 및 기법
US12353632B2 (en) Bimanual interactions between mapped hand regions for controlling virtual and graphical elements
EP3063602B1 (en) Gaze-assisted touchscreen inputs
JP6288372B2 (ja) インタフェース制御システム、インタフェース制御装置、インタフェース制御方法、及びプログラム
EP2943835B1 (en) Head mounted display providing eye gaze calibration and control method thereof
US20130241927A1 (en) Computer device in form of wearable glasses and user interface thereof
US20130265300A1 (en) Computer device in form of wearable glasses and user interface thereof
JP5765133B2 (ja) 入力装置、入力制御方法及び入力制御プログラム
US20130002559A1 (en) Desktop computer user interface
TWI486629B (zh) 穿透型頭部穿戴式顯示系統與互動操作方法
US11009949B1 (en) Segmented force sensors for wearable devices
US20160004320A1 (en) Tracking display system, tracking display program, tracking display method, wearable device using these, tracking display program for wearable device, and manipulation method for wearable device
CN103019377A (zh) 基于头戴式可视显示设备的输入方法及装置
JP2011128220A (ja) 情報提示装置、情報提示方法及びプログラム
JP2010108500A (ja) 着用型コンピューティング環境基盤のユーザインターフェース装置およびその方法
CN106817913A (zh) 头戴式显示器、移动信息终端、图像处理装置、显示控制程序、显示控制方法和显示系统
JP6250024B2 (ja) キャリブレーション装置、キャリブレーションプログラム、およびキャリブレーション方法
CN117784926A (zh) 控制装置、控制方法和计算机可读存储介质
CN107450717A (zh) 一种信息处理方法及穿戴式设备
CN104679270B (zh) 接收用户输入的系统与方法及其程序存储介质与程序
CN103984101A (zh) 显示内容控制方法和装置
Lik-Hang et al. Interaction methods for smart glasses
JP2017111537A (ja) ヘッドマウントディスプレイおよびヘッドマウントディスプレイのプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant