CN110780731B - 手指姿态检测装置与控制总成 - Google Patents
手指姿态检测装置与控制总成 Download PDFInfo
- Publication number
- CN110780731B CN110780731B CN201910695567.8A CN201910695567A CN110780731B CN 110780731 B CN110780731 B CN 110780731B CN 201910695567 A CN201910695567 A CN 201910695567A CN 110780731 B CN110780731 B CN 110780731B
- Authority
- CN
- China
- Prior art keywords
- wearing
- detection device
- finger
- sensor
- gesture detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/033—Indexing scheme relating to G06F3/033
- G06F2203/0331—Finger worn pointing device
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
本发明公开一种手指姿态检测装置与控制总成,其中该手指姿态检测装置适用于一控制手把。控制手把包括一握持部,适合被一手部所握持并且在三度空间中移动。手指姿态检测装置包括一第一穿戴部、多个第二穿戴部以及多个第一传感器。第一穿戴部适于可拆卸地包围控制手把的握持部。握持部连接第一穿戴部时,握持部被定位在第一穿戴部的一侧。第二穿戴部各自独立地连接至第一穿戴部。当一力量施加在其中一个第二穿戴部时,相对应的第二穿戴部朝握持部移动。第一传感器分别配置于第二穿戴部,用于检测第二穿戴部相对于握持部的位置或移动。
Description
技术领域
本发明涉及一种手指姿态检测装置与方法,且特别是涉及一种适用于虚拟实境中的手指姿态检测装置、控制总成与校正方法。
背景技术
虚拟实境(Virtual Reality,VR)技术越来越普及,其输入装置较为常见的是控制手把。然而,传统的控制手把仅能提供点击物件或选择物件等简单的输入功能,而无法检测到手指的弯曲程度,所以无法应用于弹奏钢琴或敲击键盘等需要应用到手指姿态的虚拟环境。
发明内容
本发明提供一种手指姿态检测装置,能够检测使用者的手指状态。
本发明的手指姿态检测装置,适用于一控制手把。控制手把包括一握持部,适合被一手部所握持并且在三度空间中移动。手指姿态检测装置包括一第一穿戴部、多个第二穿戴部以及多个第一传感器。第一穿戴部适于可拆卸地包围控制手把的握持部。握持部连接第一穿戴部时,握持部被定位在第一穿戴部的一侧。第二穿戴部各自独立地连接至第一穿戴部。当一力量施加在其中一个第二穿戴部时,相对应的第二穿戴部朝握持部移动。第一传感器分别配置于第二穿戴部,用于检测第二穿戴部相对于握持部的位置或移动。
在本发明的一实施例中,上述的多个第二穿戴部分别被穿戴在手部的多个手指。各手指包括依序远离一指尖的一第一指节、一第二指节以及一第三指节。且第二穿戴部被穿戴于第三指节。
在本发明的一实施例中,上述的控制手把包括多个感应元件。感应元件配置于握持部,且感应元件与第一传感器与彼此感应以产生信号。
在本发明的一实施例中,上述的感应元件包括磁铁,且感应元件交替地以S磁极或N磁极分别朝向第一传感器。
在本发明的一实施例中,上述的手指姿态检测装置还包括一第二感应元件。第二感应元件朝第一传感器延伸且配置于第一穿戴部,以与第一传感器彼此感应以产生信号。第二穿戴部设置在第二感应元件与握持部之间。
在本发明的一实施例中,上述的手指姿态检测装置还包括控制模块以及第二传感器。控制模块配置于第一穿戴部。第一传感器感测到的信号搭配第二传感器感测到的信号计算出各个第一传感器相对于握持部的位置。
在本发明的一实施例中,当第一传感器检测到第二感应元件,第一传感器检测到的信号被校正。
在本发明的一实施例中,上述的第一传感器包括一惯性测量单元与一元件感测单元。当元件感测单元检测到第二感应元件,惯性测量单元检测到的对应到第二穿戴部与握持部的相对应位置的信号被校正。
本发明的手指姿态检测装置,适用于一控制手把。控制手把包括一握持部,适合被一手部所握持并且在三度空间中移动。握持部设置有多个传感器。手指姿态检测装置包括一第一穿戴部、多个第二穿戴部以及多个感应元件。第一穿戴部适于可拆卸地包围控制手把的握持部。握持部连接第一穿戴部时,握持部被定位在第一穿戴部的一侧。第二穿戴部各自独立地连接至第一穿戴部。当一力量施加在其中一个第二穿戴部时,相对应的第二穿戴部朝握持部移动。感应元件分别配置于第二穿戴部,提供对应感应元件的传感器检测第二穿戴部相对于握持部的位置或移动。
在本发明的一实施例中,第二穿戴部分别被穿戴在手部的多个手指。各手指包括依序远离一指尖的一第一指节、一第二指节以及一第三指节。第二穿戴部被穿戴于第三指节。
在本发明的一实施例中,感应元件包括磁铁。感应元件交替地以S磁极或N磁极分别朝向握持部。
本发明的控制总成应用于虚拟实境且包括控制手把以及上述的手指姿态检测装置。
在本发明的一实施例中,上述的控制手把包括一感应元件,且感应元件配置于握持部。
本发明的校正方法适用于一虚拟实境系统。虚拟实境系统将一使用者的一真实手部姿态映射至一虚拟手部姿态。虚拟手部姿态包括多个虚拟手指姿态及一虚拟手掌姿态。虚拟实境系统包括用于被该使用者的一手部握持的一控制手把、可拆卸地连接控制手把且被穿戴于手部的一手指姿态检测装置以及一计算机。手指姿态检测装置包括多个第一传感器以及一第二配件传感器。第一传感器分别位于手部的多个手指。第二配件传感器位于手部的一手掌。第一传感器包括一惯性测量单元(Inertial Measurement Unit,IMU)及一元件感测单元。第二配件传感器包括一惯性测量单元及一元件感测单元。校正方法包括以下步骤。通过计算机将各第一传感器的即时检测结果乘以一第一旋转矩阵及一第二旋转矩阵,以计算出各虚拟手指姿态。第一旋转矩阵为各第一传感器的坐标系与第二传感器的坐标系之间的转换矩阵。第二旋转矩阵为第二传感器的坐标系与控制手把的坐标系之间的转换矩阵。通过计算机将控制手把的即时检测结果直接作为虚拟手掌姿态。
在本发明的一实施例中,上述的校正方法还包括当各第一传感器的加速度计的即时读值与第二传感器的加速度计的即时读值之间的差值均小于一预设值,且相邻的第一传感器的元件感测单元的即时读值的差值均小于另一预设值时,通过计算机将虚拟手部姿态的虚拟手指姿态校正为手指相对于手掌伸直且并拢。
本发明的校正方法适用于一虚拟实境系统。虚拟实境系统包括用于被一使用者的一手部握持的一控制手把、可拆卸地连接控制手把且被穿戴于手部的一手指姿态检测装置以及一计算机。此校正方法包括以下步骤。通过计算机依照该手指姿态检测装置的初始检测结果计算出使用者的手部的一手指相对于手部的一手掌的一实际弯曲范围。实际弯曲范围具有一上界及一下界。通过计算机依照实际弯曲范围映射对应手指的一虚拟手指的一虚拟弯曲范围。当依照手指姿态检测装置的即时检测结果所计算出的手指的弯曲程度超过实际弯曲范围的上界时,以超过的弯曲程度更新实际弯曲范围的该上界。当依照手指姿态检测装置的即时检测结果所计算出的手指的弯曲程度超过实际弯曲范围的下界时,以超过的弯曲程度更新实际弯曲范围的下界。
基于上述,本发明的手指姿态检测装置可通过配置在第二穿戴部的第一传感器来检测对应的手指的姿态,进而在虚拟实境中进行更复杂的输入功能。本发明的校正方法通过第一传感器、第二配件传感器以及控制手把之间转换,能够通过计算机根据使用者的真实手部姿态即时校正虚拟手部姿态。此外,计算机能够根据手指姿态检测装置的即时检测结果更新手指的实际弯曲范围的上界与下界,进而根据新的弯曲范围推估并校正虚拟手部姿态。
为让本发明的上述特征和优点能更明显易懂,下文特举实施例,并配合所附的附图作详细说明如下。
附图说明
图1A是本发明的一实施例的一种手指姿态检测装置穿戴于使用者的手部的示意图;
图1B是图1A省略使用者的手部的示意图;
图1C是图1A的手指姿态检测装置穿戴于使用者的手部的平面示意图;
图1D是图1A的手指姿态检测装置与控制手把的组配示意图;
图1E是用于包括图1A的手指姿态检测装置的一虚拟实境系统的一种校正方法流程图;
图2是手指的指节的示意图;
图3是本发明另一实施例的一种手指姿态检测装置适用于控制手把的示意图;
图4是本发明另一实施例的一种手指姿态检测装置适用于控制手把的示意图;
图5A是本发明另一实施例的一种手指姿态检测装置穿戴于使用者的手部的示意图;
图5B是用于包括图5A的手指姿态检测装置的一虚拟实境系统的一种校正方法流程图;
图6是本发明另一实施例的一种手指姿态检测装置适用于控制手把的示意图。
符号说明
50:控制手把
52:握持部
54:第一感应元件
54b:传感器
100、100a、100b、100c、100d:手指姿态检测装置
110:第一穿戴部
112:套体
120:第二穿戴部
130、130a、130c、130d:第一传感器
130b:感应元件
140:第二传感器
140a:第二感应元件
150:控制模块
160:片状延伸部
170:弹性绳
171:可收紧机构
172:双转轴机构
173:可挠性元件
K1:第一指节
K2:第二指节
K3:第三指节
具体实施方式
图1A是本发明的一实施例的一种手指姿态检测装置穿戴于使用者的手部的示意图。图1B是图1A省略使用者的手部的示意图。图1C是图1A的手指姿态检测装置穿戴于使用者的手部的平面示意图。请参考图1A、图1B与图1C,本实施例的手指姿态检测装置应用于虚拟实境系统。虚拟实境系统包括控制手把50以及一计算机。控制手把50,适于被穿戴在一使用者的一手部,且可通过有线或无线的方式与计算机连接,以与计算机互相传递信号。此外,虚拟实境系统还包括一头戴式显示器,其适于被穿戴在使用者的一头部,且也可通过有线或无线的方式与计算机连接,以与计算机互相传递信号。
在本实施例中,控制手把50包括一握持部52,适于被使用者的手部所握持并且在三度空间中移动。本实施例的手指姿态检测装置100包括一第一穿戴部110、多个第二穿戴部120以及多个第一传感器130。第一穿戴部110适于可拆卸地连接并包围控制手把50的握持部52。当握持部52连接第一穿戴部110时,握持部52被定位在第一穿戴部110的一侧。第二穿戴部120各自独立地连接至第一穿戴部110。当一力量施加在其中一个第二穿戴部120时,相对应的第二穿戴部120朝握持部52移动。这些第一传感器130分别配置于这些第二穿戴部120,用于检测这些第二穿戴部120相对于握持部52的位置或移动。当使用者穿戴本实施例的手指姿态检测装置100时,第一穿戴部110被定位在使用者的手掌,而这些第二穿戴部120分别被穿戴在使用者的多个手指。
图2是手指的指节的示意图。请参考图1A与图2,在本实施例中,每个手指包括依序远离一指尖的一第一指节K1、一第二指节K2以及一第三指节K3。在本实施例中,这些第二穿戴部120分别被穿戴于多个手指,且对应每个手指的第三指节K3。
为更清楚说明本实施例的手指姿态检测装置100,图1B省略绘示使用者的手部。请参考图1A与图1B,在本实施例中,第一传感器130包括一惯性测量单元(InertialMeasurement Unit,IMU)及一元件感测单元(例如电子罗盘)。在其他实施例中,第一传感器也可以包括弯曲传感器、拉伸传感器或磁性元件,本发明对此不加以限制。
在本实施例中,第一传感器130配置在这些第二穿戴部120远离握持部52的一侧。也就是说,当使用者穿戴手指姿态检测装置100时,第一传感器130的位置分别对应个别手指的第三指节K3的外侧。在使用者穿戴手指姿态检测装置100的过程中,第一传感器130可检测各手指的第三指节K3的弯曲程度(姿态),通过手指关节运动的估算,可以推导出各手指的姿态(即推算第一指节K1以及第二指节K2的弯曲程度)。需说明的是,手指关节运动主要实施的原理在于,当手指从张开状态向掌心方向弯曲时,各指节间的关节会分别向内旋转,且各关节之间会以相同旋转方向进行。个别指节的旋转角度与总旋转角度之间的关系,可通过统计方式获得。通过此统计结果,可以经由评估第三指节K3关节的旋转量大小,来推算出第一指节K1以及第二指节K2的旋转量。当然,在其他实施例中,第一传感器130也可以配置在第一指节K1或第二指节K2,并通过手指关节运动的估算,同样可以推导出各手指的姿态。
在本实施例中,如图1C所示,手指姿态检测装置100更包括一控制模块150及一第二传感器140。控制模块150配置于第一穿戴部110。第二传感器140包括一惯性测量单元(IMU)及一元件感测单元(例如电子罗盘),且第二传感器140配置于第一穿戴部110并电连接至控制模块150。第一传感器130感测到的信号搭配第二传感器140感测到的信号计算出各第一传感器130相对于握持部52的位置。
如图1B所示,在本实施例中,控制手把50还可包括一第一感应元件54。第一感应元件54例如是电容传感器或压力传感器,且配置于握持部52。在其他实施例中,第一感应元件也可以是霍尔传感器、磁性元件、近接传感器或微型超音波传感器,本发明对此不加以限制。在本实施例中,第一传感器130与第一感应元件54彼此感应以产生信号。当第一传感器130包括惯性测量单元时,由于第一传感器130的惯性测量单元本身在操作过程中,会因为时间的累积而产生误差,导致惯性测量单元的数据(即检测结果)逐渐失真。在本实施例中,通过配置在控制手把50上的第一感应元件54,当使用者任一手指碰触到控制手把50对应的位置(即第一感应元件54)上时,则自动校正手指上的第一传感器130的惯性测量单元,使第一传感器130的惯性测量单元可以被快速地重新定位校准,以避免因操作时间过长导致第一传感器130的惯性测量单元因累积误差所产生的失真情况。此外,第一感应元件54除了可以用来即时校正惯性测量单元之外,也可提供使用者更丰富的操作体验,如按压对应的第一感应元件54(例如压力传感器)时,可以作为触发另一事件的机制。
图1D是图1A的手指姿态检测装置与控制手把的组配示意图。请参考图1A与图1D,控制手把50是另一种形式。手指姿态检测装置100包括符合控制手把50的握持部52的外型的一套体112,其可以与握持部52相套合。第一穿戴部110的两端分别可挠性地连接至套体112,使得第一穿戴部110可通过套体112与握持部52之间的套合而可拆卸地连接至控制手把50。在此情况下,第一感应元件54(例如磁铁、霍尔传感器、电容传感器或压力传感器等)可改配置在套体112的内侧。第一穿戴部110的一端以可调整长度的方式连接至套体112,以让使用者的手掌能被绑定在手指姿态检测装置100的第一穿戴部与控制手把50的握持部52之间,达到使用者放手时控制手把50不会脱离手掌的状态。将本实施例的手指姿态检测装置100应用于控制手把50,能够扩充此控制手把50的手指检测功能。
在本实施例中,如图1D所示,第一穿戴部110的下端通过一弹性绳170及被弹性绳170所穿过的一可收紧机构171,让使用者可依照其手掌大小来调节松紧度。可收紧机构171可包括一圆盘及具有容纳此圆盘的一梯形通道的一元件。除此之外,第一穿戴部110的上端可依序通过一双转轴机构172及一可挠性元件173来连接至套体112。双转轴机构172提供了额外的旋转机制(例如双旋转自由度),可以适应因使用者不同的抓握情况所形成的不同手掌角度,使得第一穿戴部110可以更加服贴在手掌背侧的位置。除此之外,上述的组件配置也大幅提升了穿戴的舒适性以及稳固性,不会因为使用者动作过大导致大幅度的位置错动。
在本实施例中,第一穿戴部110可用弹性材料制成。当使用者将对应的四指(除了大拇指以外的四指)穿戴进第二穿戴部120时,通过具弹性的第一穿戴部110可将控制手把50依附在手上,因而提供不易掉落的功效。在使用手指姿态检测装置100的过程中,使用者无需长时间紧握控制手把50,且手指可以自由地进行其他的工作,例如。当手机响起时,使用者不需放下控制手把50,也能拿起手机来接听电话,或是可以拿起其他物件,因而大幅增加使用者手部的自由度。此外,具弹性的这些第二穿戴部120可分别被固定在使用者的这些第三指节K3上,故可将致动器(未绘示)置入各第二穿戴部120内,以提供使用者不同手指的个别触觉回馈感受(即只有与虚拟物件互动的手指,才会感受到对应的触觉回馈)。再者,在其他实施例中,第二穿戴部120内也可嵌入其他传感器,例如PPG(心率传感器)等传感器。由于这些第二穿戴部120可长时间贴附在第三指节K3上,在第二穿戴部120内的传感器可以有效地检测以及记录使用者的生理资讯。
图1E是用于包括图1A的手指姿态检测装置的一虚拟实境系统的一种校正方法流程图。此虚拟实境系统用于将使用者的一真实手部姿态(即使用者的即时手部姿态)映射至一虚拟手部姿态(即虚拟人物的即时手部姿态)。虚拟手部姿态包括多个虚拟手指姿态及一虚拟手掌姿态。虚拟手掌姿态是根据控制手把50的姿态来做依据,虚拟手指姿态是以个别手指上的第一传感器130(惯性测量单元)的姿态来做依据。请参考图1A、图1B与图1E,图1E所示的校正方法包括下列步骤。首先,计算机记录起始同步位置的姿态与虚拟手部姿态(这些姿态是根据四元数(quaternion)所映射出来的姿态),并计算两者之间的旋转关系(即转换矩阵)。由于控制手把50的姿态与第一传感器130的姿态间存在着一个旋转关系,必须事先计算出此旋转关系,以校正虚拟手部姿态。之后,扫描每个手指上所装设的第一传感器130,并进行第一传感器130的坐标对齐。对齐第一传感器130的目的是为了让第一传感器130旋转时的参考点相同,以统一每个第一传感器130的姿态相对关系。进入游戏后,计算机会判断是虚拟手掌姿态(对应控制手把的四元数)的更新或是虚拟手指姿态(对应IMU的四元数)的更新,并相应地计算出第一旋转矩阵与第二旋转矩阵。详细来说,第一旋转矩阵为个别第一传感器130的坐标系与第二传感器140的坐标系之间的转换矩阵。第二旋转矩阵为第二传感器140的坐标系与控制手把50的坐标系之间的转换矩阵。当欲更新的姿态为非虚拟手掌时,即使用惯性测量单元的姿态来更新虚拟手指姿态,此时,计算机将各第一传感器130的即时检测结果(即姿态矩阵)乘以第一旋转矩阵及第二旋转矩阵,以计算出各虚拟手指姿态。或是,当欲更新的姿态为虚拟手掌时,即使用控制手把的姿态直接作为虚拟手掌的姿态。接着,计算机会根据新的虚拟手指姿态以及虚拟手掌姿态(即使用者的真实手部姿态)更新整个虚拟手部姿态。
在更新虚拟手部姿态后,如图1E所示,依照此校正方法,可通过计算机计算每个第一传感器130的加速度计的即时读值与第二配件传感器140的加速度计值的差值,以及相邻的两个第一传感器130的电子罗盘即时读值的差值。当各第一传感器130的加速度计的即时读值与第二配件传感器140的加速度计的即时读值之间的差值均小于一预设值,且相邻的第一传感器130的电子罗盘的即时读值的差值均小于另一预设值时,计算机会将虚拟手部姿态的虚拟手指姿态校正为手指相对于手掌伸直且并拢(如图1C所示)。
通过上述校正方法,可以避免因操作时间过长导致惯性测量单元因累积误差所产生的虚拟手指失真的情况。另外,通过图1E所示的校正方法,使用者在任何角度下只要将四指伸直,计算机就会根据真实手指姿态对虚拟手指姿态进行更新,以达到立即性的校正效果。
图3是本发明另一实施例的一种手指姿态检测装置适用于控制手把的示意图。图3所示的手指姿态检测装置100a中与图1A、1B所示的手指姿态检测装置100类似,两者的不同处在于,手指姿态检测装置100a的第一传感器130a例如是弯曲传感器或拉伸传感器。在本实施例中,利用可检测弯曲或是拉伸的第一传感器130a,以感测各手指的第三指节K3的弯曲程度。利用第一传感器130a的特性,可以获得第三指节K3的弯曲程度,随后通过手指关节运动的估算,也可以推得各手指的姿态。
图4是本发明另一实施例的一种手指姿态检测装置适用于控制手把的示意图。图4所示的手指姿态检测装置100b中与图1A、1B所示的手指姿态检测装置100类似,两者的不同处在于,本实施例的握持部52设置有多个传感器54b,手指姿态检测装置100b包括多个感应元件130b。这些感应元件130b分别配置在第二穿戴部120,且分别对应感应元件130b,用以检测第二穿戴部120相对于握持部52的位置或移动。当手指姿态检测装置100b穿戴于使用者的手部时,感应元件130b的位置对应各手指的第三指节K3的内侧。在本实施例中,传感器54b例如是霍尔传感器(Hall Sensor)且内嵌于握持部52。传感器54b与感应元件130b彼此感应以产生信号。利用霍尔传感器可感测磁力强弱的特性,可得到各手指的弯曲程度与磁力感测强度之间的转换关系。通过所获得的第三指节K3的弯曲程度,并通过手指关节运动的估算,进而推导出各手指的姿态。
进一步而言,第二穿戴部120内的多个感应元件130b交替排列。感应元件130b包括磁铁,且这些感应元件130b交替地以S磁极或N磁极分别朝向握持部52,使相邻的感应元件130b的磁铁极性交错。由于相邻手指上的感应元件130b的磁力线方向相反,对应的传感器54b(霍尔传感器)感测到的信号产生正反向的差异,能够避免手指位置错位导致感测错误。如此一来,当手指因错位而使非对应的霍尔传感器产生信号输出时,系统可以快速判断出不正确的手指靠近所产生的信号,进而达到除错的功能。
图5A是本发明另一实施例的一种手指姿态检测装置穿戴于使用者的手部的示意图。图5A所示的手指姿态检测装置100c中与图1A、图1B所示的手指姿态检测装置100类似,两者的不同处在于,本实施例的手指姿态检测装置100c还包括一片状延伸部160及一第二感应元件140a。第二感应元件140a朝第一传感器130c延伸且配置于第一穿戴部110,以与第一传感器130c彼此感应以产生信号。第二穿戴部120设置在第二感应元件140a与握持部(未绘示于图5A)之间。
在本实施例中,当使用者穿戴着手指姿态检测装置100c时,片状延伸部160的位置靠近使用者的手背,且适于作为第一传感器130c的感测参考位置。第一传感器130c例如是霍尔传感器,第二感应元件140a例如是磁性元件且配置在片状延伸部160。当第一传感器130c检测到第二感应元件140a时,第一传感器130c检测到的信号被校正。也就是说,当手指弯曲或伸直时,根据第三指节K3与片状延伸部160之间的距离,第一传感器130c得到不同的数值。同时,搭配各手指的第三指节K3的弯曲程度,进而推估出第一指节K1与第二指节K2的弯曲程度,最后得到各手指的姿态。在其他实施例中,第一传感器也可以是近接传感器(Proximity Sensor)或微型超音波传感器,利用光反射或超音波等方式检测第一传感器与第二配件传感器之间的距离,来获得各手指与参考位置之间的距离关系,进而检测各手指的弯曲姿态。
在其他实施例中,第一传感器可包括一惯性测量单元与一元件感测单元,当元件感测单元检测到第二感应元件时,惯性测量单元检测到的对应到第二穿戴部与握持部的相对应位置的信号被校正。
图5B是用于包括图5A的手指姿态检测装置的一虚拟实境系统的一种校正方法流程图。请参考图5A及图5B,此校正方法包括下列步骤。首先,通过虚拟实境系统的计算机,依照第一传感器130c的初始检测结果(例如磁力值、电阻值、电容值或其他数据等)计算出使用者的手指相对于手掌的一实际弯曲范围(例如角度范围),其中实际弯曲范围具有一上界(例如最大角度值)及一下界(例如最小角度值)。此处,上界是第一传感器130c最靠近片状延伸部160的情况下所感测到的最大值(或最小值),下界是指第一传感器130c最远离片状延伸部160的情况下所感测到的最小值(或最大值)。接着,计算机依照实际弯曲范围映射对应虚拟手指的虚拟弯曲范围。进入游戏后,根据使用者与虚拟物件之间的互动,计算机会不断地记录每根手指所检测到的即时检测结果(例如磁力值、电阻值、电容值或其他数据等)。当依照即时检测结果所计算出的手指的弯曲程度超过实际弯曲范围的上界时,以超过的弯曲程度更新实际弯曲范围的上界。当依照即时检测结果所计算出的手指的弯曲程度超过实际弯曲范围的下界时,以超过的弯曲程度更新实际弯曲范围的下界。接着,计算机将根据更新后的实际弯曲范围的上界与下界作为手指弯曲姿态的推估范围,进而同步校正虚拟手指姿态。
通过图5B所示的校正方法,可以针对不同人、不同手型以及不同的抓握方式,建立出不同的检测范围,进而更精确地推估并校正虚拟实境内的虚拟手指姿态。
图6是本发明另一实施例的一种手指姿态检测装置适用于控制手把的示意图。图6所示的手指姿态检测装置100d中与图5A所示的手指姿态检测装置100c类似,两者的不同处在于,本实施例的手指姿态检测装置100d省略了片状延伸部160。第一传感器130d例如是霍尔传感器,配置在第二穿戴部120靠近握持部52的一侧,也就是说,当使用者穿戴本实施例的手指姿态检测装置100d时,第一传感器130d对应各手指的内侧。
在本实施例中,以感应元件54作为第一传感器130d的感测参考位置,当手指弯曲或伸直时,第一传感器130d根据与包括磁性元件的感应元件54之间的距离获得对应的感测数值。同时,根据各手指关节的弯曲运动关系,进而由第三指节K3的弯曲程度推导出第一指节K1与第二指节K2的弯曲程度,最后得到各手指的姿态。
综上所述,当本发明的手指姿态检测装置穿戴于使用者的手部时,第一传感器的位置对应使用者的手指的第三指节。因此,第一传感器可检测各手指的第三指节的姿态,并通过手指关节运动的估算,推导出各手指的姿态。通过本发明的手指姿态检测装置与控制手把的整合,能够检测出各手指的弯曲程度及姿态。据此,使用者能够在虚拟实境中进行更复杂的输入功能,进而带出更多元的虚拟实境互动,并让使用者以更自然的方式进行游戏。
本发明的校正方法能够改善惯性测量单元因长时间使用下的所产生的累积误差,使用者仅需将四根手指同时伸直并维持一小段时间,计算机即可以真实手指姿态更新虚拟手指姿态,达到立即校正的效果。
此外,本发明的校正方法通过计算机根据即时检测结果不断更新手指相对手掌的实际弯曲范围的上界与下界,以对虚拟手指姿态进行校正。此校正方法能够针对不同使用者的不同手型或是不同的抓握方式,建立不同的检测范围,进而更精确地映射出虚拟实境内的手指姿态。
虽然结合以上实施例公开了本发明,然而其并非用以限定本发明,任何所属技术领域中具有通常知识者,在不脱离本发明的精神和范围内,可作些许的更动与润饰,故本发明的保护范围应当以附上的权利要求所界定的为准。
Claims (13)
1.一种手指姿态检测装置,适用于一控制手把,该控制手把包括握持部,适合被手部所握持并且在三度空间中移动,其特征在于,该手指姿态检测装置包括:
第一穿戴部,适于可拆卸地包围该控制手把的该握持部,当该握持部连接该第一穿戴部时,该握持部被定位在该第一穿戴部的一侧;
多个第二穿戴部,各自独立地连接至该第一穿戴部,且当一力量施加在其中一该第二穿戴部时,相对应的第二穿戴部朝该握持部移动;以及
多个第一传感器,分别配置于该多个第二穿戴部,用于检测该多个第二穿戴部相对于该握持部的位置或移动。
2.如权利要求1所述的手指姿态检测装置,其中该多个第二穿戴部分别被穿戴在该手部的多个手指,各该手指包括依序远离指尖的第一指节、第二指节以及第三指节,且该多个第二穿戴部被穿戴于该些第三指节。
3.如权利要求1所述的手指姿态检测装置,其中该控制手把包括多个第一感应元件,该些第一感应元件配置于该握持部,且该些第一感应元件与该些第一传感器彼此感应以产生信号。
4.如权利要求3所述的手指姿态检测装置,其中该些第一感应元件包括磁铁,且该些第一感应元件交替地以S磁极或N磁极分别朝向该些第一传感器。
5.如权利要求4所述的手指姿态检测装置,还包括:
第二感应元件,朝该第一传感器延伸且配置于该第一穿戴部,以与该些第一传感器彼此感应以产生信号,该多个第二穿戴部设置在该第二感应元件与该握持部之间。
6.如权利要求5所述的手指姿态检测装置,当该第一传感器检测到该第二感应元件时,该第一传感器检测到的信号被校正。
7.如权利要求5所述的手指姿态检测装置,其中该第一传感器包括惯性测量单元与元件感测单元,当该元件感测单元检测到该第二感应元件,该惯性测量单元检测到的对应到该多个第二穿戴部与该握持部的相对应位置的信号被校正。
8.如权利要求1所述的手指姿态检测装置,还包括:
控制模块,配置于该第一穿戴部;以及
第二传感器,配置于该第一穿戴部并电连接至该控制模块,该些第一传感器感测到的信号搭配该第二传感器感测到的信号计算出各该第一传感器相对于该握持部的位置。
9.一种手指姿态检测装置,适用于一控制手把,该控制手把包括一握持部,适合被一手部所握持并且在三度空间中移动,其特征在于,该握持部设置有多个传感器,该手指姿态检测装置包括:
第一穿戴部,适于可拆卸地包围该控制手把的该握持部,该握持部连接该第一穿戴部时,该握持部被定位在该第一穿戴部的一侧;
多个第二穿戴部,各自独立地连接至该第一穿戴部,且当一力量施加在其中一该多个第二穿戴部时,相对应的第二穿戴部朝该握持部移动;以及
多个感应元件,分别配置于该多个第二穿戴部,对应该多个感应元件的多个传感器检测多个第二穿戴部相对于握持部的位置或移动。
10.如权利要求9所述的手指姿态检测装置,其中该多个第二穿戴部分别被穿戴在该手部的多个手指,各该手指包括依序远离指尖的第一指节、第二指节以及第三指节,且该多个第二穿戴部被穿戴于该些第三指节。
11.如权利要求9所述的手指姿态检测装置,其中该些感应元件包括磁铁,且该些多个感应元件交替地以S磁极或N磁极分别朝向该握持部。
12.一种控制总成,应用于虚拟实境,其特征在于,该控制总成包括:
控制手把,包括握持部,适合被一手部所握持并且在三度空间中移动;以及
手指姿态检测装置,包括:
第一穿戴部,适于可拆卸地包围该控制手把的该握持部,该握持部连接该第一穿戴部时,该握持部被定位在该第一穿戴部的一侧;
多个第二穿戴部,各自独立地连接至该第一穿戴部,且当一力量施加在其中一该第二穿戴部时,相对应的第二穿戴部朝该握持部移动;以及
多个第一传感器,分别配置于该多个第二穿戴部,用于检测该多个第二穿戴部相对于握持部的位置或移动。
13.如权利要求12所述的控制总成,其中该控制手把包括感应元件,且该感应元件配置于该握持部。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310305862.4A CN116301385A (zh) | 2018-07-30 | 2019-07-30 | 校正方法 |
CN202310305850.1A CN116301384A (zh) | 2018-07-30 | 2019-07-30 | 校正方法 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862712183P | 2018-07-30 | 2018-07-30 | |
US62/712,183 | 2018-07-30 | ||
US201862774883P | 2018-12-04 | 2018-12-04 | |
US62/774,883 | 2018-12-04 |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310305850.1A Division CN116301384A (zh) | 2018-07-30 | 2019-07-30 | 校正方法 |
CN202310305862.4A Division CN116301385A (zh) | 2018-07-30 | 2019-07-30 | 校正方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110780731A CN110780731A (zh) | 2020-02-11 |
CN110780731B true CN110780731B (zh) | 2023-06-09 |
Family
ID=69383962
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310305862.4A Pending CN116301385A (zh) | 2018-07-30 | 2019-07-30 | 校正方法 |
CN202310305850.1A Pending CN116301384A (zh) | 2018-07-30 | 2019-07-30 | 校正方法 |
CN201910695567.8A Active CN110780731B (zh) | 2018-07-30 | 2019-07-30 | 手指姿态检测装置与控制总成 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310305862.4A Pending CN116301385A (zh) | 2018-07-30 | 2019-07-30 | 校正方法 |
CN202310305850.1A Pending CN116301384A (zh) | 2018-07-30 | 2019-07-30 | 校正方法 |
Country Status (3)
Country | Link |
---|---|
US (2) | US10901506B2 (zh) |
CN (3) | CN116301385A (zh) |
TW (1) | TWI724478B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10422637B1 (en) * | 2016-06-10 | 2019-09-24 | Facebook Technologies, Llc | Wave reflection deformation sensing apparatus |
CN116301385A (zh) * | 2018-07-30 | 2023-06-23 | 宏达国际电子股份有限公司 | 校正方法 |
TWI760654B (zh) * | 2018-11-12 | 2022-04-11 | 宏達國際電子股份有限公司 | 虛擬實境控制器 |
CN111709268B (zh) * | 2020-04-24 | 2022-10-14 | 中国科学院软件研究所 | 一种深度图像中的基于人手结构指导的人手姿态估计方法和装置 |
CN113571087B (zh) * | 2020-04-29 | 2023-07-28 | 宏达国际电子股份有限公司 | 依据音频信号产生动作的方法及电子装置 |
US11845001B2 (en) * | 2021-01-14 | 2023-12-19 | Htc Corporation | Calibration system and method for handheld controller |
CN112764540A (zh) * | 2021-01-15 | 2021-05-07 | Oppo广东移动通信有限公司 | 设备的识别方法、装置、存储介质及电子设备 |
US20240201793A1 (en) * | 2022-12-16 | 2024-06-20 | Tdk Corporation | Training a gesture recognition model |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104881118A (zh) * | 2015-05-25 | 2015-09-02 | 清华大学 | 一种用于捕获人体上肢运动信息的穿戴系统 |
CN106264806A (zh) * | 2016-08-16 | 2017-01-04 | 文浩 | 一种仿真机械手和控制方法 |
CN107943288A (zh) * | 2017-11-16 | 2018-04-20 | 陈昭胜 | 智能穿戴装置、智能穿戴设备及控制方法 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5750717B1 (zh) | 1971-02-19 | 1982-10-28 | ||
KR100812624B1 (ko) | 2006-03-02 | 2008-03-13 | 강원대학교산학협력단 | 입체영상 기반 가상현실장치 |
WO2009035100A1 (ja) | 2007-09-14 | 2009-03-19 | National Institute Of Advanced Industrial Science And Technology | バーチャルリアリティ環境生成装置及びコントローラ装置 |
US20120157263A1 (en) | 2009-01-20 | 2012-06-21 | Mark Sivak | Multi-user smartglove for virtual environment-based rehabilitation |
CN106662914B (zh) * | 2014-12-08 | 2019-11-01 | 罗希特·塞思 | 可穿戴无线hmi装置 |
US9678566B2 (en) | 2015-06-03 | 2017-06-13 | Oculus Vr, Llc | Hand-held controllers for virtual reality system |
US9898091B2 (en) | 2015-06-03 | 2018-02-20 | Oculus Vr, Llc | Virtual reality system with head-mounted display, camera and hand-held controllers |
US9870052B2 (en) | 2015-06-11 | 2018-01-16 | Oculus Vr, Llc | Hand-held controller with pressure-sensing switch for virtual-reality systems |
US9999833B2 (en) | 2015-06-11 | 2018-06-19 | Oculus Vr, Llc | Hand-held controllers with capacitive touch sensors for virtual-reality systems |
US10509469B2 (en) * | 2016-04-21 | 2019-12-17 | Finch Technologies Ltd. | Devices for controlling computers based on motions and positions of hands |
US10712835B2 (en) * | 2016-10-06 | 2020-07-14 | Htc Corporation | System and method for detecting hand gesture |
US10579151B2 (en) | 2017-01-04 | 2020-03-03 | Htc Corporation | Controller for finger gesture recognition and method for recognizing finger gesture |
CN106843482A (zh) | 2017-01-22 | 2017-06-13 | 无锡吾成互联科技有限公司 | 一种基于无线自组网模式的手势姿态检测装置 |
US10183217B2 (en) | 2017-04-13 | 2019-01-22 | Facebook Technologies, Llc | Hand-held controller using segmented capacitive touch trigger |
CN116301385A (zh) * | 2018-07-30 | 2023-06-23 | 宏达国际电子股份有限公司 | 校正方法 |
-
2019
- 2019-07-30 CN CN202310305862.4A patent/CN116301385A/zh active Pending
- 2019-07-30 TW TW108126906A patent/TWI724478B/zh active
- 2019-07-30 CN CN202310305850.1A patent/CN116301384A/zh active Pending
- 2019-07-30 CN CN201910695567.8A patent/CN110780731B/zh active Active
- 2019-07-30 US US16/525,599 patent/US10901506B2/en active Active
-
2020
- 2020-12-07 US US17/113,108 patent/US11226684B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104881118A (zh) * | 2015-05-25 | 2015-09-02 | 清华大学 | 一种用于捕获人体上肢运动信息的穿戴系统 |
CN106264806A (zh) * | 2016-08-16 | 2017-01-04 | 文浩 | 一种仿真机械手和控制方法 |
CN107943288A (zh) * | 2017-11-16 | 2018-04-20 | 陈昭胜 | 智能穿戴装置、智能穿戴设备及控制方法 |
Also Published As
Publication number | Publication date |
---|---|
US20200050268A1 (en) | 2020-02-13 |
CN116301385A (zh) | 2023-06-23 |
US11226684B2 (en) | 2022-01-18 |
US10901506B2 (en) | 2021-01-26 |
TW202008145A (zh) | 2020-02-16 |
CN110780731A (zh) | 2020-02-11 |
US20210089127A1 (en) | 2021-03-25 |
TWI724478B (zh) | 2021-04-11 |
CN116301384A (zh) | 2023-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110780731B (zh) | 手指姿态检测装置与控制总成 | |
CN111638801B (zh) | 用于手势辨识的控制器及其手势辨识的方法 | |
JP3409160B2 (ja) | 把握データ入力装置 | |
CN108140360B (zh) | 用于操纵虚拟环境的系统和方法 | |
CN206162394U (zh) | 一种基于触感反馈的用于虚拟现实环境的动作捕捉系统 | |
US20100277428A1 (en) | Touch panel input assisting device, computer operating method using the device, and tactile sense interlocking program | |
JP3624374B2 (ja) | 力覚呈示装置 | |
CN113341564A (zh) | 一种计算机输入装置 | |
CN111752393A (zh) | 一种穿戴式智能手套 | |
CN108687744A (zh) | 一种基于触觉反馈的外骨骼 | |
KR20190092782A (ko) | 손가락의 움직임 및 공간상에서의 손의 움직임을 인식할 수 있는 글러브형 모션인식 장치 및 방법 | |
Su et al. | Robust grasping for an under-actuated anthropomorphic hand under object position uncertainty | |
RU179301U1 (ru) | Перчатка виртуальной реальности | |
CN207087856U (zh) | 一种基于触觉反馈的外骨骼 | |
Shigapov et al. | Design of digital gloves with feedback for VR | |
WO2021207033A1 (en) | Input device to control a computing device with a touch pad having a curved surface configured to sense touch input | |
RU2670649C9 (ru) | Способ изготовления перчатки виртуальной реальности (варианты) | |
JP2008276664A (ja) | 検出装置 | |
CN116610211A (zh) | 基于磁敏传感器的指态感知手套 | |
KR100838181B1 (ko) | 초소형 절대 위치 센서를 이용한 핸드 인터페이스 글로브및 이를 이용한 핸드 인터페이스 시스템 | |
JP2019126879A (ja) | 把持装置 | |
KR102225769B1 (ko) | 손가락 단위 단방향 움직임을 갖는 햅틱 컨트롤러의 가상 물체 파지 제어 시스템 및 방법 | |
RU2673406C1 (ru) | Способ изготовления перчатки виртуальной реальности | |
JPH04291289A (ja) | 3次元物体接触体感方式 | |
RU186397U1 (ru) | Перчатка виртуальной реальности |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |