[go: up one dir, main page]

KR102170321B1 - 파지된 물체를 이용한 모션을 인식하는 장치 및 방법, 시스템 - Google Patents

파지된 물체를 이용한 모션을 인식하는 장치 및 방법, 시스템 Download PDF

Info

Publication number
KR102170321B1
KR102170321B1 KR1020130068870A KR20130068870A KR102170321B1 KR 102170321 B1 KR102170321 B1 KR 102170321B1 KR 1020130068870 A KR1020130068870 A KR 1020130068870A KR 20130068870 A KR20130068870 A KR 20130068870A KR 102170321 B1 KR102170321 B1 KR 102170321B1
Authority
KR
South Korea
Prior art keywords
motion
state
wrist
gripped object
gripped
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020130068870A
Other languages
English (en)
Other versions
KR20140146346A (ko
Inventor
김상준
윤승근
최창목
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130068870A priority Critical patent/KR102170321B1/ko
Priority to US14/172,481 priority patent/US10019078B2/en
Priority to JP2014023149A priority patent/JP6527307B2/ja
Priority to EP14160869.5A priority patent/EP2815699A1/en
Priority to CN201410141577.4A priority patent/CN104238736B/zh
Publication of KR20140146346A publication Critical patent/KR20140146346A/ko
Priority to US16/001,114 priority patent/US10649549B2/en
Priority to JP2019006957A priority patent/JP2019075169A/ja
Application granted granted Critical
Publication of KR102170321B1 publication Critical patent/KR102170321B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A61B5/1122—Determining geometric values, e.g. centre of rotation or angular range of movement of movement trajectories
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/681—Wristwatch-type devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6824—Arm or wrist
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
    • G06V30/1423—Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Physiology (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • Dermatology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

파지된 물체를 이용한 모션을 인식하는 장치, 방법 및 시스템이 개시된다. 일 실시예에 따라 파지된 물체를 이용한 모션을 인식하는 장치는, 파지된 물체를 이용한 필기동작에 따른 사용자의 손목의 상태를 추정하고, 필기동작에 따라, 손목과 연관된 인체 부위의 관절동작을 추정하며, 파지된 물체의 상태를 손목의 상태 및 관절동작에 따라 추정할 수 있다. 추정된 물체의 상태를 연속적으로 추적하여 생성한 제어 신호로 외부기기를 제어할 수 있다.

Description

파지된 물체를 이용한 모션을 인식하는 장치 및 방법, 시스템{SYSTEM, METHOD AND DEVICE TO RECOGNIZE MOTION USING GRIPPED OBJECT}
사용자의 모션을 인식하는 장치 및 방법이 개시된다.
최근 들어, 스마트폰, 태블릿 PC, PDA(Personal Digital Assistants)와 같은 다양한 휴대용 전자기기의 사용이 증가하고 있다.
사용자 신체의 모션을 해석하는 일반적인 기술로는 기기에 모션 센싱용 가속도센서 등을 부착하여 모션을 해독하는 방법이 있다. 이 기술은 사용자의 정밀한 동작보다 간단한 동작을 해석하는 경우에 적합하다.
다른 기술로는 기기에 모션 센싱용 카메라를 부착하여 카메라에 의해 습득한 영상 정보를 해독하는 방법이 있다. 이 경우 사용자가 기기 앞에 존재하는 것이 전제되어야 하므로, 사용자는 신체와 분리된 기기를 별도로 관리해야 한다. 또한, 사용자의 신체가 겹쳐지지 않아야 모션을 용이하게 해석할 수 있다.
일 실시예에 따르면, 파지된 물체를 이용한 필기동작(writing action)에 따른 사용자의 손목의 상태를 추정하는 단계, 필기동작에 따라, 손목과 연관된 인체 부위의 관절동작(joint motion)을 추정하는 단계, 및 파지된 물체의 상태를 손목의 상태 및 관절동작에 따라 추정하는 단계를 포함하는 파지된 물체를 이용한 모션을 인식하는 방법이 제공될 수 있다.
다른 일 실시예에 따르면 물체의 상태를 연속적으로 추적하여 외부기기를 제어하기 위한 제어 신호를 생성하는 단계를 더 포함하는 파지된 물체를 이용한 모션을 인식하는 방법이 제공될 수 있다.
또 다른 일 실시예에 따르면 파지된 물체를 이용한 사용자의 필기동작의 개시를 감지하는 단계를 더 포함하는 파지된 물체를 이용한 모션을 인식하는 방법이 제공될 수 있다.
또 다른 일 실시예에 따르면 파지된 물체를 이용한 사용자의 필기동작의 개시를 감지하는 단계는, 필기동작에 따라 발생되는 소리 및 물체에 대한 파지 중 적어도 하나를 감지하면 필기동작이 개시되었다고 판단하는 단계를 포함하는 파지된 물체를 이용한 모션을 인식하는 방법이 제공될 수 있다.
또 다른 일 실시예에 따르면 파지된 물체의 상태를 손목의 상태 및 관절동작에 따라 추정하는 단계는, 물체에서 지면과 접촉하는 부분의 위치를 손목의 상태 및 관절동작에 따라 추정하는 단계를 포함하는 파지된 물체를 이용한 모션을 인식하는 방법이 제공될 수 있다.
또 다른 일 실시예에 따르면 파지된 물체를 이용한 필기동작에 따른 사용자의 손목의 상태를 추정하는 단계는, 파지된 물체를 이용한 필기동작에 따른 가속도를 감지하는 단계, 및 가속도에 따라 손목의 상태를 추정하는 단계를 포함하는 파지된 물체를 이용한 모션을 인식하는 방법이 제공될 수 있다.
또 다른 일 실시예에 따르면 필기동작에 따라, 손목과 연관된 인체 부위의 관절동작을 추정하는 단계는, 필기동작에 따른 손목과 연관된 인체 부위의 근전도를 감지하는 단계, 및 근전도에 따라 관절동작을 추정하는 단계를 포함하는 파지된 물체를 이용한 모션을 인식하는 방법이 제공될 수 있다.
또 다른 일 실시예에 따르면 사용자의 생체 신호를 감지하는 단계, 및 생체 신호에 따른 동잡음을 이용하여, 추정된 물체의 상태를 보정하는 단계를 더 포함하는 파지된 물체를 이용한 모션을 인식하는 방법이 제공될 수 있다.
또 다른 일 실시예에 따르면 물체의 상태를 연속적으로 추적하여 생성된 형태를 저장하는 단계를 더 포함하는 파지된 물체를 이용한 모션을 인식하는 방법이 제공될 수 있다.
또 다른 일 실시예에 따르면 필기동작에 따라, 손목과 연관된 인체 부위의 관절동작을 추정하는 단계는, 사용자가 물체를 파지한 힘의 세기를 추정하는 단계를 포함하고, 물체의 상태를 연속적으로 추적하여, 힘의 세기에 대응하는 굵기로 형태를 생성하는 단계를 더 포함하는 파지된 물체를 이용한 모션을 인식하는 방법이 제공될 수 있다.
또 다른 일 실시예에 따르면 파지된 물체의 종류를 식별하는 단계, 및 물체의 상태를 연속적으로 추적하여, 물체의 종류에 따른 동작을 수행하는 단계를 더 포함하는 파지된 물체를 이용한 모션을 인식하는 방법이 제공될 수 있다.
일 실시예에 따르면 파지된 물체를 이용한 필기동작에 따른 사용자의 손목의 상태를 추정하는 손목상태추정부, 필기동작에 따라, 손목과 연관된 인체 부위의 관절동작을 추정하는 관절동작추정부, 및 파지된 물체의 상태를 손목의 상태 및 관절동작에 따라 추정하는 물체상태추정부를 포함하는 파지된 물체를 이용한 모션을 인식하는 장치가 제공될 수 있다.
다른 일 실시예에 따르면 물체의 상태를 연속적으로 추적하여 외부기기를 제어하기 위한 제어 신호를 생성하는 신호생성부를 더 포함하는 파지된 물체를 이용한 모션을 인식하는 장치가 제공될 수 있다.
또 다른 일 실시예에 따르면 파지된 물체를 이용한 필기동작의 개시를 감지하는 동작개시감지부를 더 포함하는 파지된 물체를 이용한 모션을 인식하는 장치가 제공될 수 있다.
또 다른 일 실시예에 따르면 동작개시감지부는, 필기동작에 따라 발생되는 소리를 감지하는 소리감지부, 및 소리 및 물체에 대한 파지 중 적어도 하나를 감지하면 필기동작이 개시되었다고 판단하는 동작개시판단부를 포함하는 파지된 물체를 이용한 모션을 인식하는 장치가 제공될 수 있다.
또 다른 일 실시예에 따르면 물체상태추정부는, 물체에서 지면과 접촉하는 부분의 위치를 손목의 상태 및 관절동작에 따라 추정하는 지면접촉추정부를 포함하는 파지된 물체를 이용한 모션을 인식하는 장치가 제공될 수 있다.
또 다른 일 실시예에 따르면 손목상태추정부는, 파지된 물체를 이용한 필기동작에 따라, 6축에 대한 가속도를 감지하는 가속도감지부를 포함하고, 가속도에 따라 손목의 위치 변화 및 손목의 회전 중 적어도 하나를 포함하는 손목의 상태를 추정하는, 파지된 물체를 이용한 모션을 인식하는 장치가 제공될 수 있다.
또 다른 일 실시예에 따르면 관절동작추정부는, 필기동작에 따라 손목과 연관된 인체 부위에서 발생하는 근전도를 감지하는 근전도감지부를 포함하고, 근전도에 따라 관절동작을 추정하는, 파지된 물체를 이용한 모션을 인식하는 장치가 제공될 수 있다.
또 다른 일 실시예에 따르면 사용자의 생체 신호를 감지하는 생체신호감지부, 및 추정된 물체의 상태를 생체 신호에 따른 동잡음을 이용하여 보정하는 물체상태보정부를 더 포함하는 파지된 물체를 이용한 모션을 인식하는 장치가 제공될 수 있다.
또 다른 일 실시예에 따르면 물체의 상태를 연속적으로 추적하여 형태를 생성하는 필기생성부를 더 포함하는 파지된 물체를 이용한 모션을 인식하는 장치가 제공될 수 있다.
또 다른 일 실시예에 따르면 관절동작추정부는, 사용자가 물체를 파지한 힘의 세기를 추정하는 파지세기추정부를 포함하고, 필기생성부는, 물체의 상태를 연속적으로 추적하여, 힘의 세기에 대응하는 굵기로 형태를 생성하는, 파지된 물체를 이용한 모션을 인식하는 장치가 제공될 수 있다.
또 다른 일 실시예에 따르면 필기생성부는, 물체를 파지한 자세, 필기동작에 따른 소리 및 사용자의 음성 중 적어도 하나를 이용하여 물체의 종류를 식별하는 물체식별부를 포함하고, 물체의 종류에 따른 동작을 수행하여 형태를 생성하는, 파지된 물체를 이용한 모션을 인식하는 장치가 제공될 수 있다.
일 실시예에 따르면 사용자의 손목의 상태 및 손목과 연관된 인체 부위의 관절동작에 따라 파지된 물체의 상태를 추정하고, 물체의 상태를 연속적으로 추적하여 생성한 외부기기를 제어하기 위한 제어 신호를 전송하는 모션인식장치, 및 제어 신호를 수신하면, 제어 신호에 대응하는 미리 정한 동작(predetermined operation)을 수행하는 외부기기를 포함하는 파지된 물체를 이용한 모션을 인식하는 시스템이 제공될 수 있다.
다른 일 실시예에 따르면 모션인식장치는, 물체의 상태를 연속적으로 추적한 형태에 대응하는 외부기기를 선택하고, 선택된 외부기기를 제어하기 위한 신호를 제어 신호로 생성하는 파지된 물체를 이용한 모션을 인식하는 시스템이 제공될 수 있다.
또 다른 일 실시예에 따르면 제어 신호는, 모션인식장치가 형태에서 미리 정한 부분을 활성화하는 사용자동작(user action)을 감지하면 외부기기가 부분에 대응하는 동작을 수행하도록 하는 제어명령을 포함하는 파지된 물체를 이용한 모션을 인식하는 시스템이 제공될 수 있다.
도 1은 일 실시예에 따라 파지된 물체를 이용한 모션을 인식하는 장치의 모습을 도시한 도면이다.
도 2는 일 실시예에 따라 파지된 물체를 이용한 모션을 인식하는 시스템의 개괄적인 구성을 도시한 도면이다.
도 3은 일 실시예에 따라 파지된 물체를 이용한 모션을 인식하는 방법을 도시한 흐름도이다.
도 4는 일 실시예에 따라 파지된 물체를 이용한 모션을 인식하여 물체의 상태를 연속적으로 추적하는 방법을 도시한 흐름도이다.
도 5는 일 실시예에 따라 파지된 물체를 이용한 모션을 인식하는 장치가 인식 결과를 저장하는 모습을 도시한 도면이다.
도 6 내지 도 8은 일 실시예에 따라 파지된 물체를 이용한 모션을 인식하는 장치가 외부기기를 제어하는 모습을 도시한 도면이다.
도 9는 일 실시예에 따라 파지된 물체를 이용한 모션을 인식하는 장치가 감지할 수 있는 공간적 움직임의 예를 도시한 도면이다.
도 10은 일 실시예에 따라 파지된 물체를 이용한 모션을 인식하는 장치가 감지할 수 있는 관절 동작의 예를 도시한 도면이다.
도 11은 일 실시예에 따라 파지된 물체를 이용한 모션을 인식하는 장치의 세부적인 구성을 도시한 도면이다.
도 12는 다른 일 실시예에 따라 파지된 물체를 이용한 모션을 인식하는 장치의 세부적인 구성을 도시한 도면이다.
터치 감지에 기반한 입력 장치를 포함하는 모바일 장치(Mobile Device)의 사용자 인터페이스(User interface)는 사용자의 터치를 감지하여 자판을 인식할 수 있다. 사용자는 터치 감지에 기반한 자판을 사용하기 위해 별도의 사용법을 익혀야 하고, 사용법은 직관적이지 않을 수 있다. 또한, 웨어러블 장치(Wearable Device) 등과 같이 소형화된 모바일 장치가 증가하면서, 터치 기반의 입력 장치를 사용하여 장치를 제어하는 것이 사용자에게 불편할 수 있다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 일 실시예에 따라 파지된 물체(180)를 이용한 모션을 인식하는 장치(110)의 모습을 도시한 도면이다. 여기서 모션 인식 장치(110)는 사용자(190)에 의해 파지된 물체(180)의 상태를 추정할 수 있다. 예를 들면, 모션 인식 장치(110)는 파지된 물체(180)의 상태를 연속적으로 추적함으로써, 물체(180)를 이용하여 사용자(190)가 필기한 내용을 인식할 수 있다. 이하 본 명세서에서 필기는 사용자가 물체를 이용하여 특정 내용을 작성하는 사용자동작(user action)으로써, 글자, 문장 및 그림 등을 작성하는 사용자동작을 포함할 수 있다.
일 실시예에 따르면, 사용자(190)의 손목에 부착된 모션 인식 장치(110)는 모션 신호, 생체 신호 등을 감지하는 적어도 하나 이상의 센서를 포함할 수 있다. 모션 인식 장치(110)는 감지된 여러 종류의 생체신호, 모션 신호 등을 조합하여, 필기하는 인체(예를 들면, 손, 손목, 팔 등)의 각 부위의 움직임을 정밀하게 추정할 수 있다. 사용자(190)는 일 실시예에 따른 모션 인식 장치(110)를 착용함으로써, 노트 등에 자유롭고 직관적으로 필기한 내용을 직접 컴퓨터 판독 가능한 데이터 형태로 저장하거나, 필기한 내용에 기반하여 특정 외부기기와의 인터랙션(interaction)을 수행할 수 있다.
여기서 물체(180)는 사용자가 특정 내용을 필기하기 위해 사용하는 도구로서, 펜, 연필, 스타일러스펜, 붓 및 사용자가 임의로 파지할 수 있는 형체로 된 물체 등을 포함할 수 있다. 파지할 수 있는 형체로 된 물체는 손으로 쥘 수 있는 긴 형체의 물체(예를 들면, 젓가락 등)를 포함할 수 있다.
도 2는 일 실시예에 따라 파지된 물체를 이용한 모션을 인식하는 시스템의 개괄적인 구성을 도시한 도면이다. 여기서 모션 인식 시스템은 모션 인식 장치(210), 저장 장치(220), 입출력 장치(230) 및 외부기기(240)를 포함할 수 있다.
일 실시예에 따른 모션 인식 장치(210)를 착용한 사용자가 노트를 필기하면, 모션 인식 장치(210)는 노트 필기(201)를 인식할 수 있다. 모션 인식 장치(210)는 인식된 필기 내용을 저장 장치(220)에 저장하거나, 입출력 장치(230)로 전달하거나, 필기한 내용에 기반하여 외부기기(240)를 제어할 수 있다. 모션 인식 장치(210)가 사용자의 필기(201)를 인식하는 구체적인 방법 및 활용은 하기 도 3 내지 도 12에서 상세히 설명한다.
도 3은 일 실시예에 따라 파지된 물체를 이용한 모션을 인식하는 방법을 도시한 흐름도이다. 하기 단계들은 모션 인식 장치에 포함된 감지부 및 처리부에 의해 수행될 수 있다.
단계(310)에서 모션 인식 장치는 필기동작(writing action)의 개시를 감지할 수 있다. 일 실시예에 따르면, 필기동작에 따라 발생되는 소리 및 물체에 대한 파지 중 적어도 하나를 감지하면 필기동작이 개시되었다고 판단할 수 있다. 예를 들면, 필기동작에 따라 발생되는 소리는 물체와 접촉면(예를 들면, 지면, 종이면 등) 사이의 마찰음을 포함할 수 있다. 또한, 사용자가 취한 특정 손 모양(예를 들면, 펜을 쥐는 자세)을 감지하면 필기동작이 개시되었다고 판단할 수 있다. 여기서 필기동작은 사용자가 파지한 물체를 이용하여 필기하는 모션을 포함할 수 있다.
그리고 단계(320)에서 모션 인식 장치는 필기동작에 따른 손목의 상태를 추정할 수 있다. 여기서 손목의 상태는 손목의 위치, 손목의 위치 변화, 회전 각도, 회전 방향 등을 포함할 수 있다. 예를 들면, 모션 인식 장치는 가속도 센서를 통해 필기동작에 따른 가속도를 감지하여 손목의 상대적 위치 변화를 추정할 수 있다. 가속도 센서가 6축에 대한 가속도를 감지할 수 있는 경우, 손목의 회전 각도, 회전 방향을 추정할 수 있다.
이어서 단계(330)에서 모션 인식 장치는 필기동작에 따른 관절동작(joint motion)을 추정할 수 있다. 여기서 관절동작은 손목과 연관된 인체 부위에서의 관절 움직임(예를 들면, 손가락 및 팔을 구부리는 동작)을 포함할 수 있다. 구체적으로 모션 인식 장치는 필기동작에 따른 손목과 연관된 인체 부위의 근전도를 감지하고, 감지된 근전도에 기초하여 근육의 수축과 이완에 따른 관절동작을 추정할 수 있다. 예를 들면, 손목과 연관된 인체 부위는 손가락 관절, 손목 관절, 팔 관절, 어깨 관절 등을 포함할 수 있다.
그리고 단계(340)에서 모션 인식 장치는 파지된 물체의 상태를 손목의 상태 및 관절동작에 따라 추정할 수 있다. 여기서 파지된 물체의 상태는, 사용자가 물체를 파지한 자세 및 움직임에 따른 물체의 위치, 물체가 지면과 접촉하는 위치, 물체의 기울기, 물체가 눌린 정도 등을 포함할 수 있다. 예를 들면, 모션 인식 장치는 물체에서 지면과 접촉하는 부분의 위치를 손목의 상태 및 관절동작에 따라 추정할 수 있다.
일 실시예에 따르면 모션 인식 장치는 사용자의 생체 신호를 감지하고, 생체 신호에 따른 동잡음을 이용하여, 추정된 물체의 상태를 보정할 수 있다. 동잡음을 이용한 보정은 하기 도 11에서 상세히 설명한다.
이어서 단계(350)에서 모션 인식 장치는 물체의 상태를 연속적으로 추적할 수 있다. 모션 인식 장치는 물체의 상태를 연속적으로 추적하여 외부기기를 제어하기 위한 제어 신호를 생성하거나, 물체를 연속적으로 추적하여 생성된 형태를 저장할 수 있다. 예를 들면, 물체를 연속적으로 추적하여 생성된 형태는 컴퓨터 판독 가능한 데이터로써 저장되거나, 활용될 수 있다.
여기서 물체를 연속적으로 추적하여 생성된 형태는, 사용자가 물체를 이용하여 필기한 내용이 모션 인식 장치에 의해 인식된 것으로서, 상술한 바와 같이 사용자가 작성한 글자, 문장 및 그림 등이 인식된 결과를 포함할 수 있다.
도 4는 일 실시예에 따라 파지된 물체를 이용한 모션을 인식하여 물체의 상태를 연속적으로 추적하는 방법을 도시한 흐름도이다.
단계(410)에서 모션 인식 장치는 사용자가 물체를 이용하여 필기 중인지 여부를 판단할 수 있다. 사용자가 물체를 이용하여 필기 중인지 여부는, 상술한 도 3에 도시된 바와 같이 필기동작이 개시되었는지 여부로 판단할 수 있다. 예를 들면, 필기동작에 따라 발생되는 소리 및 물체에 대한 파지 중 적어도 하나를 감지하면 필기동작이 개시된 것으로 판단할 수 있다. 여기서 사용자가 필기 중이 아니라고 판단되면, 모션 인식 장치는 필기동작이 개시될 때까지 대기할 수 있다.
그리고 단계(451)에서 모션 인식 장치는 사용자가 물체를 파지한 힘의 세기를 측정할 수 있다. 모션 인식 장치는 손목과 연관된 인체 부위의 관절동작으로부터 사용자가 물체를 파지한 힘의 세기를 추정할 수 있다. 예를 들면, 사용자가 물체를 쥐기 위해 손가락을 구부릴 때 발생하는 근육의 근전도 신호를 감지하여, 근전도 신호의 세기로부터 사용자가 물체를 파지한 힘의 세기를 추정할 수 있다.
이어서 단계(452)에서 모션 인식 장치는 굵기를 설정할 수 있다. 여기서 굵기는 사용자가 필기한 내용의 글자의 굵기, 선의 굵기, 지우개로 지우는 범위 및 필기수정도구가 미치는 효과의 범위를 포함할 수 있다. 구체적으로 모션 인식 장치는 단계(451)에서 추정된 힘의 세기에 대응하는 굵기를 설정하여 상술한 글자, 선, 범위 등에 적용할 수 있다. 예를 들면, 힘의 세기가 크게 추정될 수록, 굵기는 힘의 세기에 비례하여 크게 설정될 수 있다. 필기수정도구는 필기한 내용을 지우는 지우개, 브러시 효과를 주는 브러시 등을 포함할 수 있다.
그리고 단계(453)에서 모션 인식 장치는 사용자에 의해 파지된 물체의 종류를 식별할 수 있다. 여기서 모션 인식 장치는 사용자가 물체를 파지한 자세 및 필기동작에 따른 소리 중 적어도 하나를 이용하여 물체의 종류를 식별할 수 있다. 물체의 종류를 식별하는 구체적인 방법은 하기에서 상세히 설명한다.
일 실시예에 따르면 모션 인식 장치는 사용자가 물체를 파지한 자세를 이용하여 물체의 종류를 식별할 수 있다. 예를 들면, 사용자가 물체를 파지한 자세가 펜과 같이 긴 모양의 물체를 파지한 자세면, 모션 인식 장치는 사용자에 의해 파지된 물체를 필기를 위한 도구라고 식별할 수 있다. 또한, 지우개와 같이 굵은 모양의 물체를 파지한 자세면, 모션 인식 장치는 사용자에 의해 파지된 물체를 필기를 지우는 도구라고 식별할 수 있다. 다만, 이에 한정하는 것은 아니고, 모션 인식 장치는 사용자에 의해 파지된 물체의 종류를 각 물체의 고유한 모양에 따라 사용자가 취하는 자세에 대응하는 도구로 식별할 수 있다.
다른 일 실시예에 따르면 모션 인식 장치는 필기동작에 따른 소리를 이용하여 사용자에 의해 파지된 물체의 종류를 식별할 수 있다. 여기서 필기동작에 따른 소리는 물체와 물체의 접촉면(예를 들면, 지면, 종이면 등) 사이의 마찰음을 포함할 수 있다. 예를 들면, 모션 인식 장치는 물체와 접촉면 사이의 마찰음이 빈번하고 빠르게 발생하면 파지된 물체를 지우는 도구로 식별하고, 마찰음이 드물고 느리게 발생하면 파지된 물체를 필기 도구로 식별할 수 있다.
다른 예를 들면, 모션 인식 장치는 물체와 접촉면 사이의 마찰음의 소리 파형을 측정하여, 소리 파형에 대응하는 도구가 사용자에 의해 파지되었다고 식별할 수 있다. 이를테면, 모션 인식 장치는 필기 도구와 종이면 사이의 마찰음에 대한 소리 파형 및 지우개와 종이면 사이의 마찰음에 대한 소리 파형을 미리 저장할 수 있다. 모션 인식 장치는 물체와 종이면 사이의 마찰음을 미리 저장된 소리 파형과 비교하여 파지된 물체의 종류를 식별할 수 있다.
또 다른 예를 들면, 모션 인식 장치는 사용자의 음성을 인식하여 파지된 물체의 종류를 식별할 수 있다. 예를 들면, 사용자가 "붉은색(red)"이라고 말한 경우, 모션 인식 장치는 사용자의 음성을 인식하여, 파지된 물건을 "붉은색 펜(red pen)"으로 식별할 수 있다. 다만, 파지된 물체가 반드시 음성 인식된 결과와 동일하지 않을 수 있다. 이를테면, 사용자는 검정색 펜으로 필기하면서도, 상술한 바와 같이 색상을 음성으로 인식시킴으로써, 색상 등을 자유로이 변경하면서 필기할 수 있다.
이어서 단계(454)에서 모션 인식 장치는, 사용자에 의해 파지된 물체를 연필과 같은 필기 도구로 판단한 경우, 필기를 생성할 수 있다. 모션 인식 장치는 상술한 도 3에 도시된 바와 유사하게 파지된 물체의 상태를 연속적으로 추적하여, 필기를 생성할 수 있다. 여기서 모션 인식 장치는 단계(452)에서 설정된 굵기로 필기를 생성할 수 있다.
그리고 단계(455)에서 모션 인식 장치는, 사용자에 의해 파지된 물체를 지우개와 같은 필기수정도구로 판단한 경우, 필기를 수정할 수 있다. 모션 인식 장치는, 상술한 도 3에 도시된 바와 유사하게 파지된 물체의 상태를 연속적으로 추적하여, 필기를 수정할 수 있다. 여기서 모션 인식 장치는 단계(452)에서 설정된 굵기로 필기를 수정하는 효과를 적용할 수 있다.
이어서 단계(456)에서 모션 인식 장치는 식별된 물체의 종류에 따른 동작을 수행하여 사용자가 필기한 내용에 대응하는 형태를 생성할 수 있다. 구체적으로는, 상술한 단계(452), 단계(454) 및 단계(455)에 따라 생성 및 수정된 필기에 기초하여 형태를 생성할 수 있다. 예를 들면, 물체를 파지한 세기에 따라 선 굵기를 달리하면서, 음성으로 인식된 색상으로 필기한 내용에 대응하는 형태를 생성할 수 있다.
그리고 단계(457)에서 모션 인식 장치는 사용자가 필기동작을 종료했는지 여부를 판단할 수 있다. 예를 들면, 사용자가 물체를 더 이상 파지하지 않는 경우, 물체를 파지한 자세가 필기하기 위한 자세가 아닌 경우, 일정 시간 이상 물체와 접촉면 사이의 마찰음이 감지되지 않는 경우 등에 있어서, 필기동작이 종료된 것으로 판단할 수 있다. 일 실시예에 따르면, 필기동작이 종료된 것으로 판단된 경우에는 모션 인식을 종료할 수 있고, 필기동작이 종료되지 않은 것으로 판단된 경우에는 상술한 단계(410)로 되돌아갈 수 있다.
도 5는 일 실시예에 따라 파지된 물체(580)를 이용한 모션을 인식하는 장치(510)가 인식 결과를 저장하는 모습을 도시한 도면이다. 도 5에 도시된 바와 같이, 사용자(590)가 특정 내용을 필기하면, 모션 인식 장치(510)는 물체(580)의 상태를 연속적으로 추적하여 생성한 형태를 저장할 수 있다.
일 실시예에 따르면 모션 인식 장치(510)는 생성된 형태를 통신망, 클라우드 서비스 등을 사용하여 저장 장치에 저장할 수 있다. 여기서 저장 장치는 서버를 포함할 수 있다.
도 6은 일 실시예에 따라 파지된 물체(680)를 이용한 모션을 인식하는 장치(610)가 외부기기(640)를 제어하는 모습을 도시한 도면이다. 모션 인식 장치(610)는 물체(680)의 상태를 연속적으로 추적하여 생성한, 외부기기(640)를 제어하기 위한 제어 신호를 전송할 수 있다. 제어 신호를 수신하면 외부기기(640)는 미리 정한 동작(predetermined operation)을 수행할 수 있다.
예를 들면, 모션 인식 장치(610)를 착용한 사용자(690)가 파지한 물체(680)를 이용하여 도시된 바와 같이 전화번호(예를 들면, 123-456-7890) 및 "call"이라는 내용을 필기할 수 있다. 모션 인식 장치(610)는 필기된 전화번호로 전화하라는 명령을 포함하는 제어 신호를, 미리 연결된 외부기기(640)(예를 들면, 스마트폰)에 대해 무선으로 전송할 수 있다. 외부기기(640)는 상술한 제어 신호를 수신하면 대응하는 전화번호로 전화할 수 있다.
다른 예를 들면, 모션 인식 장치(610)는 물체(680)의 상태를 연속적으로 추적하여 생성한 형태를 입출력 장치에 무선 또는 유선으로 단순히 전달할 수 있다. 입출력 장치는 전달된 형태를 디스플레이할 수 있다.
도 7은 다른 일 실시예에 따라 파지된 물체(780)를 이용한 모션을 인식하는 장치(710)가 외부기기(740)를 제어하는 모습을 도시한 도면이다. 모션 인식 장치(710)는 물체(780)의 상태를 연속적으로 추적한 형태에 대응하는 외부기기(740)를 선택하고, 선택된 외부기기(740)를 제어하기 위한 신호를 제어 신호로 생성할 수 있다. 여기서 물체(780)의 상태를 연속적으로 추적한 형태는 외부기기(740)의 명칭, 형상 등을 포함할 수 있다.
예를 들면, 모션 인식 장치(710)를 착용한 사용자(790)가 파지한 물체(780)를 이용하여 도시된 바와 같이 외부기기(740)의 명칭(예를 들면, "에어컨")을 필기하고, 리모컨 버튼을 그릴 수 있다. 모션 인식 장치(710)는 필기된 명칭에 대응하는 외부기기(740)를 선택하여, 선택된 외부기기(740)를 제어할 수 있다. 여기서 모션 인식 장치(710)는 도 7에 도시된 바와 같이 "에어컨"의 리모컨이 필기된 것을 인식하여, 에어컨의 냉방 온도를 조절할 수 있다. 일 실시예에 따르면, 사용자(790)가 리모컨의 버튼에 대응하는 부분을 탭(tap)하면, 모션 인식 장치(710)가 탭하는 사용자동작을 감지하여 외부기기(740)인 "에어컨"의 냉방 온도를 조절하라는 제어 신호를 생성할 수 있다.
도 8은 또 다른 일 실시예에 따라 파지된 물체를 이용한 모션을 인식하는 장치가 외부기기(840)를 제어하는 모습을 도시한 도면이다. 모션 인식 장치(810)는 물체의 상태를 연속적으로 추적한 형태에 대응하는 외부기기(840)를 제어하기 위한 제어 신호를 생성할 수 있다. 일 실시예에 따르면 제어 신호는 연속적으로 추적된 형태에서 미리 정한 부분(801)을 활성화하는 사용자동작을 감지하면 외부기기(840)가 미리 정한 부분(801)에 대응하는 동작을 수행하도록 하는 제어명령을 포함할 수 있다. 여기서 미리 정한 부분(801)은 생성된 형태에서 특정 좌표에 대응하는 지점을 포함할 수 있다.
예를 들면, 모션 인식 장치(810)를 착용한 사용자(890)가 파지한 물체를 이용하여 도시된 바와 같이 외부기기(840)에 대응하는 형태를 필기할 수 있다. 모션 인식 장치(810)는 필기된 형태에서 미리 정한 부분(예를 들면, 셔터)(801)을 활성화하는 사용자동작(예를 들면, 탭하는 사용자동작)을 감지하면 대응하는 동작(예를 들면, 촬영)을 수행하도록 하는 제어명령을 포함하는 제어 신호를 생성할 수 있다. 외부기기(예를 들면, 카메라)는 제어 신호를 수신하면 미리 정한 동작(예를 들면, 촬영)을 수행할 수 있다.
도 9는 일 실시예에 따라 파지된 물체를 이용한 모션을 인식하는 장치(910)가 감지할 수 있는 공간적 움직임의 예를 도시한 도면이다. 여기서 사용자(990)가 착용한 모션 인식 장치(910)는 가속도감지부를 통해 감지한 가속도 신호를 이용하여 손목의 공간적 움직임을 포함하는 손목의 상태를 추정할 수 있다. 예를 들면, 모션 인식 장치(910)는 도 9a에 도시된 바와 같은 팔꿈치 관절의 동작에 따른 손목의 위치 변화, 도 9b에 도시된 바와 같은 어깨 관절의 동작에 따른 손목의 위치 변화 등을 추정할 수 있다.
일 실시예에 따라 모션 인식 장치(910)가 6축에 대한 가속도감지부를 포함하는 경우, 모션 인식 장치(910)는 6축에 대한 가속도 신호로부터 손목의 회전 각도 및 회전 방향 등도 추정할 수 있다.
도 10은 일 실시예에 따라 파지된 물체를 이용한 모션을 인식하는 장치(1010)가 감지할 수 있는 관절 동작의 예를 도시한 도면이다. 여기서 모션 인식 장치(1010)는 근전도감지부를 통해 감지한 근전도 신호를 이용하여 손목과 연관된 부위의 관절운동을 추정할 수 있다.
예를 들면, 모션 인식 장치(1010)는 도 10a에 도시된 바와 같은 위아래 방향에 대한 손목의 꺾임, 도 10b에 도시된 바와 같은 좌우 방향에 대한 손목의 꺾임의 정도 및 꺾임 방향 등을 추정할 수 있다. 또한 모션 인식 장치(1010)는 도 10c에 도시된 바와 같은 손목의 회전 방향, 회전 각도, 회전 세기 등을 추정할 수 있다.
다른 예를 들면, 모션 인식 장치(1010)는 도 10d 및 도 10e에 도시된 바와 같은 손가락의 꺾임 정도 및 꺾임 방향 등을 추정할 수 있다. 도 10f에 도시된 바와 같이 사용자가 손가락을 꺾지 않고 힘을 주는 사용자동작(예를 들면, 탭)을 취한 경우도 추정할 수 있다.
일 실시예에 따르면, 모션 인식 장치(1010)는 도 9 및 도 10에 도시된 바와 같이 손목과 연관된 부위의 관절동작(예를 들면, 손가락 굽힘, 손목 꺾임 등)에 기초하여 사용자가 물체를 파지한 자세를 추정하고, 물체가 파지된 자세 및 손목의 위치로부터 물체의 상태를 추정할 수 있다.
도 11은 일 실시예에 따라 파지된 물체를 이용한 모션을 인식하는 장치(1100)의 세부적인 구성을 도시한 도면이다. 여기서 모션 인식 장치(1100)는 동작개시감지부(1110), 손목상태추정부(1120), 관절동작추정부(1130), 물체상태추정부(1140) 및 신호생성부(1150)를 포함할 수 있다.
동작개시감지부(1110)는 파지된 물체를 이용한 필기동작의 개시를 감지할 수 있다. 동작개시감지부(1110)는, 필기동작에 따라 발생되는 소리를 감지하는 소리감지부와, 소리 및 물체에 대한 파지 중 적어도 하나를 감지하면 필기동작이 개시되었다고 판단하는 동작개시판단부를 포함할 수 있다. 여기서 필기동작에 따라 발생되는 소리는 물체와 접촉면 사이의 마찰음을 포함할 수 있다.
손목상태추정부(1120)는 파지된 물체를 이용한 필기동작에 따른 사용자의 손목의 상태를 추정할 수 있다. 손목상태추정부(1120)는, 파지된 물체를 이용한 필기동작에 따라 6축에 대한 가속도를 감지하는 가속도감지부를 포함하고, 가속도에 따라 손목의 위치 변화 및 손목의 회전 중 적어도 하나를 포함하는 손목의 상태를 추정할 수 있다.
관절동작추정부(1130)는 필기동작에 따라, 손목과 연관된 인체 부위의 관절동작을 추정할 수 있다. 관절동작추정부(1130)는, 필기동작에 따라 손목과 연관된 인체 부위에서 발생하는 근전도를 감지하는 근전도감지부를 포함하고, 감지된 근전도에 따라 관절동작을 추정할 수 있다. 관절동작추정부(1130)는, 사용자가 물체를 파지한 힘의 세기를 추정하는 파지세기추정부를 포함할 수 있고, 추정된 힘의 세기는 필기생성부에서 사용될 수 있다.
물체상태추정부(1140)는 파지된 물체의 상태를 손목의 상태 및 관절동작에 따라 추정할 수 있다. 물체상태추정부(1140)는, 물체에서 지면과 접촉하는 부분의 위치를 손목의 상태 및 관절동작에 따라 추정하는 지면접촉추정부를 포함할 수 있다.
신호생성부(1150)는 물체의 상태를 연속적으로 추적하여 외부기기를 제어하기 위한 제어 신호를 생성할 수 있다. 신호생성부(1150)는 물체의 상태를 연속적으로 추적하여 형태를 생성하는 필기생성부를 포함할 수 있다. 필기생성부는, 물체의 상태를 연속적으로 추적하여, 힘의 세기에 대응하는 굵기로 형태를 생성할 수 있다. 필기생성부는, 물체를 파지한 자세, 필기동작에 따른 소리 및 사용자의 음성 중 적어도 하나를 이용하여 물체의 종류를 식별하는 물체식별부를 포함하고, 물체의 종류에 따른 동작(operation)을 수행하여 형태를 생성할 수 있다. 예를 들면, 물체의 종류에 따른 동작은 글자 및 문장을 생성하는 동작 및 그림을 생성하거나 수정하는 동작을 포함할 수 있다.
여기서 신호생성부(1150)는 생성된 제어 신호를 통신부를 통해 외부기기, 입출력장치 및 저장 장치 중 적어도 하나로 전송할 수 있다. 예를 들면, 통신부는 유선 또는 무선(예를 들면, 블루투스, Wi-Fi, 지그비 등)으로 다른 장치들과 통신할 수 있다.
일 실시예에 따르면 모션 인식 장치(1100)는 사용자의 생체 신호를 감지하는 생체신호감지부 및 추정된 물체의 상태를 감지된 생체 신호에 따른 동잡음을 이용하여 보정하는 물체상태보정부를 포함할 수 있다. 여기서 모션 인식 장치는 생체신호감지부를 부착한 사용자의 움직임에 따라 발생하는 동잡음을 생체 신호로부터 추출하여, 동잡음으로부터 사용자의 움직임을 역추적할 수 있다. 물체상태보정부는 역추적한 사용자 움직임에 기초하여, 물체상태추정부에서 추정한 물체의 상태를 보정할 수 있다.
예를 들면, 생체 신호는 심전도(ECG, electrocardiogram), 안전도(EOG, electrooculogram), 근전도(EMG, electromyogram), 뇌전도(EEG, electroencephalogram) 등을 포함할 수 있다. 여기서 모션 인식 장치(1100)는 생체 신호로부터 추출한 동잡음에 기초하여 사용자동작을 추정할 수 있다.
도 12는 다른 일 실시예에 따라 파지된 물체를 이용한 모션을 인식하는 장치(1200)의 세부적인 구성을 도시한 도면이다. 모션 인식 장치(1200)는 감지부(1210), 처리부(1220), 저장부(1230) 및 통신부(1240)를 포함할 수 있다.
감지부(1210)는 생체 신호, 소리 신호, 가속도 신호 등을 감지할 수 있다. 예를 들면, 감지부(1210)는 근전도 센서, 소리 센서, 심전도 센서, 광혈류 측정기(PPG, Photoplethysmography), 임피던스 센서를 포함할 수 있다.
여기서 생체 신호는 심전도, 안전도, 근전도 및 뇌전도를 포함할 수 있다. 소리 신호는 모션 인식 장치(1200) 주변의 소리 및 사용자의 음성 등을 포함할 수 있다. 가속도 신호는 직선 운동에 대한 3축의 가속도 신호 및 각 축을 기준으로 하는 회전 운동에 대한 3축의 가속도 신호를 포함할 수 있다.
처리부(1220)는 일 실시예에 따라 파지된 물체를 이용한 모션을 인식하는 방법을 수행할 수 있다. 감지부(1210)에서 감지된 생체 신호, 가속도 신호 및 소리 신호를 이용하여 사용자에 의해 파지된 물체의 상태를 추정하고, 물체의 상태를 연속적으로 추적하여 외부기기를 제어하기 위한 제어 신호를 생성할 수 있다. 예를 들면, 근전도 신호로부터 손목과 연관된 인체 부위의 관절동작을 추정하고, 가속도 신호로부터 손목의 상태를 추정하며, 추정된 손목의 상태 및 관절동작으로부터 물체의 상태를 추정할 수 있다. 구체적으로는 상술한 도 3 및 도 4에 도시된 방법과 유사하게 물체의 상태를 추정할 수 있다.
저장부(1230)는 상술한 도 3 및 도 4에 도시된 방법을 수행하도록 하는 명령어들을 포함하는 하나 이상의 프로그램을 저장할 수 있다. 일 실시예에 따르면, 저장부(1230)는 물체의 상태를 연속적으로 추적하여 생성된 형태를 저장할 수 있다.
통신부(1240)는 처리부(1220)에서 생성한 제어 신호를 외부기기로 전달할 수 있다. 여기서 통신부(1240)는 유선 또는 무선으로 외부기기, 저장 장치 및 입출력 장치와 통신할 수 있다. 예를 들면, 통신부(1240)는 무선으로 모션 인식 장치(1200)가 사용 가능한 외부기기, 저장 장치 및 입출력 장치를 검색할 수 있다.
일 실시예에 따른 모션 인식 장치는 노트 필기 및 그리기와 같은 사용자동작을 정밀하게 인식할 수 있는 사용자 인터페이스(UI, User Interface)를 제공할 수 있다. 이러한 사용자 인터페이스는 별도의 입출력 장치가 불필요한, 새로운 형태의 직관적이고 자연스러운 사용자 인터페이스일 수 있다.
일 실시예에 따르면 모션 인식 장치는 생체신호감지부, 가속도감지부 등을 사용하여 손의 움직임을 정밀하게 추정하고, 이를 기초로 하여 노트 필기형의 직관적인 사용자인터페이스(UI, User Interface)를 제공할 수 있다.
일 실시예에 따르면 모션 인식 장치는 가속도감지부를 사용하여 사용자의 손을 포함한 팔의 큰 움직임을 파악하고, 근전도 센서를 사용하여 개별 손가락의 쥐고 펴는 사용자 동작, 손목의 움직임 등을 추정할 수 있다.
일 실시예에 따르면 손목형 웨어러블 장치를 착용한 사용자가 임의의 필기 도구로 임의의 종이에 필기하거나 그림을 그리면, 모션 인식 장치가 해당 사용자동작을 인식할 수 있다. 모션 인식 장치는 미리 정한 입출력 장치나 저장 장치에 해당 사용자동작과 관련된 정보를 전송하여 사용자에게 피드백(Feedback)을 줄 수 있다. 예를 들면, 사용자가 필기 중인 글자, 문장 내지 그림을 입출력 장치에서 디스플레이할 수 있다.
일 실시예에 따르면 모션 인식 장치는 직관적이고 자연스러운 필기형 사용자 인터페이스를 제공할 수 있다. 예를 들면, 모션 인식 장치는 제어하고자 하는 외부기기를 제어하기 위한 디스플레이가 필요하지 않을 수 있다. 다른 예를 들면, 데이터를 입력하기 위한 모션 인식 장치 이외의 별도 장비가 필요하지 않을 수 있다. 사용자는 이러한 모션 인식 장치를 통해 직관적으로 외부기기를 제어할 수 있다.
일 실시예에 따르면 모션 인식 장치는 노트 필기된 데이터 입력을 무선으로 클라우드 서버 등에 편리하게 전송할 수 있다. 또한, 외부 기기를 제어하기 위한 아이콘을 종이에 그리고, 필기 도구 등으로 포인팅(Pointing)하여 외부 기기를 제어할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
110: 모션 인식 장치
180: 물체
190: 사용자

Claims (25)

  1. 파지된 물체를 이용한 필기동작(writing action)에 따른 사용자의 손목의 상태를 추정하는 단계;
    상기 필기동작에 따라, 상기 손목과 연관된 인체 부위의 관절동작(joint motion)을 추정하는 단계; 및
    파지된 상기 물체의 상태를 상기 손목의 상태 및 상기 관절동작에 따라 추정하는 단계
    를 포함하고,
    상기 필기동작에 따라, 상기 손목과 연관된 인체 부위의 관절동작을 추정하는 단계는,
    상기 사용자가 상기 물체를 파지한 힘의 세기를 추정하는 단계
    를 포함하고,
    상기 파지된 상기 물체의 상태를 상기 손목의 상태 및 상기 관절동작에 따라 추정하는 단계는,
    상기 물체의 상태를 연속적으로 추적하여, 상기 힘의 세기에 대응하는 굵기로 상기 필기동작에 대응하는 형태를 생성하는 단계
    를 더 포함하는 파지된 물체를 이용한 모션을 인식하는 방법.
  2. 제1항에 있어서,
    상기 물체의 상태를 연속적으로 추적하여 외부기기를 제어하기 위한 제어 신호를 생성하는 단계
    를 더 포함하는 파지된 물체를 이용한 모션을 인식하는 방법.
  3. 제1항에 있어서,
    상기 파지된 물체를 이용한 상기 사용자의 상기 필기동작의 개시를 감지하는 단계
    를 더 포함하는 파지된 물체를 이용한 모션을 인식하는 방법.
  4. 제3항에 있어서,
    상기 파지된 물체를 이용한 상기 사용자의 상기 필기동작의 개시를 감지하는 단계는,
    상기 필기동작에 따라 발생되는 소리 및 상기 물체에 대한 파지 중 적어도 하나를 감지하면 상기 필기동작이 개시되었다고 판단하는 단계
    를 포함하는 파지된 물체를 이용한 모션을 인식하는 방법.
  5. 제1항에 있어서,
    상기 파지된 상기 물체의 상태를 상기 손목의 상태 및 상기 관절동작에 따라 추정하는 단계는,
    상기 물체에서 지면과 접촉하는 부분의 위치를 상기 손목의 상태 및 상기 관절동작에 따라 추정하는 단계
    를 포함하는 파지된 물체를 이용한 모션을 인식하는 방법.
  6. 제1항에 있어서,
    상기 파지된 물체를 이용한 필기동작에 따른 사용자의 손목의 상태를 추정하는 단계는,
    상기 파지된 물체를 이용한 상기 필기동작에 따른 가속도를 감지하는 단계; 및
    상기 가속도에 따라 상기 손목의 상태를 추정하는 단계
    를 포함하는 파지된 물체를 이용한 모션을 인식하는 방법.
  7. 제1항에 있어서,
    상기 필기동작에 따라, 상기 손목과 연관된 인체 부위의 관절동작을 추정하는 단계는,
    상기 필기동작에 따른 상기 손목과 연관된 인체 부위의 근전도를 감지하는 단계; 및
    상기 근전도에 따라 상기 관절동작을 추정하는 단계
    를 포함하는 파지된 물체를 이용한 모션을 인식하는 방법.
  8. 제1항에 있어서,
    상기 사용자의 생체 신호를 감지하는 단계; 및
    상기 생체 신호에 따른 동잡음을 이용하여, 추정된 상기 물체의 상태를 보정하는 단계
    를 더 포함하는 파지된 물체를 이용한 모션을 인식하는 방법.
  9. 제1항에 있어서,
    상기 물체의 상태를 연속적으로 추적하여 생성된 형태를 저장하는 단계
    를 더 포함하는 파지된 물체를 이용한 모션을 인식하는 방법.
  10. 삭제
  11. 제1항에 있어서,
    상기 파지된 물체의 종류를 식별하는 단계; 및
    상기 물체의 상태를 연속적으로 추적하여, 상기 물체의 종류에 따른 동작을 수행하는 단계
    를 더 포함하는 파지된 물체를 이용한 모션을 인식하는 방법.
  12. 파지된 물체를 이용한 필기동작에 따른 사용자의 손목의 상태를 추정하는 손목상태추정부;
    상기 필기동작에 따라, 상기 손목과 연관된 인체 부위의 관절동작을 추정하는 관절동작추정부;
    파지된 상기 물체의 상태를 상기 손목의 상태 및 상기 관절동작에 따라 추정하는 물체상태추정부; 및
    상기 물체의 상태를 연속적으로 추적하여 형태를 생성하는 필기생성부
    를 포함하고,
    상기 관절동작추정부는,
    상기 사용자가 상기 물체를 파지한 힘의 세기를 추정하는 파지세기추정부
    를 포함하며,
    상기 필기생성부는,
    상기 물체의 상태를 연속적으로 추적하여, 상기 힘의 세기에 대응하는 굵기로 상기 필기동작에 대응하는 형태를 생성하는,
    파지된 물체를 이용한 모션을 인식하는 장치.
  13. 제12항에 있어서,
    상기 물체의 상태를 연속적으로 추적하여 외부기기를 제어하기 위한 제어 신호를 생성하는 신호생성부
    를 더 포함하는 파지된 물체를 이용한 모션을 인식하는 장치.
  14. 제12항에 있어서,
    상기 파지된 물체를 이용한 상기 필기동작의 개시를 감지하는 동작개시감지부
    를 더 포함하는 파지된 물체를 이용한 모션을 인식하는 장치.
  15. 제14항에 있어서,
    상기 동작개시감지부는,
    상기 필기동작에 따라 발생되는 소리를 감지하는 소리감지부; 및
    상기 소리 및 상기 물체에 대한 파지 중 적어도 하나를 감지하면 상기 필기동작이 개시되었다고 판단하는 동작개시판단부
    를 포함하는 파지된 물체를 이용한 모션을 인식하는 장치.
  16. 제12항에 있어서,
    상기 물체상태추정부는,
    상기 물체에서 지면과 접촉하는 부분의 위치를 상기 손목의 상태 및 상기 관절동작에 따라 추정하는 지면접촉추정부
    를 포함하는 파지된 물체를 이용한 모션을 인식하는 장치.
  17. 제12항에 있어서,
    상기 손목상태추정부는,
    상기 파지된 물체를 이용한 필기동작에 따라, 6축에 대한 가속도를 감지하는 가속도감지부
    를 포함하고,
    상기 가속도에 따라 상기 손목의 위치 변화 및 상기 손목의 회전 중 적어도 하나를 포함하는 상기 손목의 상태를 추정하는,
    파지된 물체를 이용한 모션을 인식하는 장치.
  18. 제12항에 있어서,
    상기 관절동작추정부는,
    상기 필기동작에 따라 상기 손목과 연관된 인체 부위에서 발생하는 근전도를 감지하는 근전도감지부
    를 포함하고,
    상기 근전도에 따라 상기 관절동작을 추정하는,
    파지된 물체를 이용한 모션을 인식하는 장치.
  19. 제12항에 있어서,
    상기 사용자의 생체 신호를 감지하는 생체신호감지부; 및
    상기 추정된 물체의 상태를 상기 생체 신호에 따른 동잡음을 이용하여 보정하는 물체상태보정부
    를 더 포함하는 파지된 물체를 이용한 모션을 인식하는 장치.
  20. 삭제
  21. 삭제
  22. 제12항에 있어서,
    상기 필기생성부는,
    상기 물체를 파지한 자세, 필기동작에 따른 소리 및 사용자의 음성 중 적어도 하나를 이용하여 상기 물체의 종류를 식별하는 물체식별부
    를 포함하고,
    상기 물체의 종류에 따른 동작을 수행하여 상기 형태를 생성하는,
    파지된 물체를 이용한 모션을 인식하는 장치.
  23. 사용자의 손목의 상태 및 상기 손목과 연관된 인체 부위의 관절동작에 따라 파지된 물체의 상태를 추정하고, 상기 물체의 상태를 연속적으로 추적하여 생성한 외부기기를 제어하기 위한 제어 신호를 전송하는 모션인식장치; 및
    상기 제어 신호를 수신하면, 상기 제어 신호에 대응하는 미리 정한 동작(predetermined operation)을 수행하는 외부기기
    를 포함하고,
    상기 모션인식장치는,
    상기 사용자가 상기 물체를 파지한 힘의 세기를 추정하고, 상기 물체의 상태를 연속적으로 추적하여, 상기 힘의 세기에 대응하는 굵기로 형태를 생성하는,
    파지된 물체를 이용한 모션을 인식하는 시스템.
  24. 제23항에 있어서,
    상기 모션인식장치는,
    상기 물체의 상태를 연속적으로 추적한 형태에 대응하는 외부기기를 선택하고, 상기 선택된 외부기기를 제어하기 위한 신호를 상기 제어 신호로 생성하는
    파지된 물체를 이용한 모션을 인식하는 시스템.
  25. 제24항에 있어서,
    상기 제어 신호는,
    상기 모션인식장치가 상기 형태에서 미리 정한 부분을 활성화하는 사용자동작(user action)을 감지하면 상기 외부기기가 상기 부분에 대응하는 동작을 수행하도록 하는 제어명령
    을 포함하는 파지된 물체를 이용한 모션을 인식하는 시스템.
KR1020130068870A 2013-06-17 2013-06-17 파지된 물체를 이용한 모션을 인식하는 장치 및 방법, 시스템 Active KR102170321B1 (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
KR1020130068870A KR102170321B1 (ko) 2013-06-17 2013-06-17 파지된 물체를 이용한 모션을 인식하는 장치 및 방법, 시스템
US14/172,481 US10019078B2 (en) 2013-06-17 2014-02-04 Device, method, and system to recognize motion using gripped object
JP2014023149A JP6527307B2 (ja) 2013-06-17 2014-02-10 把持された物体を用いたモーション認識方法及びその装置並びにシステム
EP14160869.5A EP2815699A1 (en) 2013-06-17 2014-03-20 Device, method, and system to recognize motion using gripped object
CN201410141577.4A CN104238736B (zh) 2013-06-17 2014-04-09 利用抓握对象识别运动的装置、方法和系统
US16/001,114 US10649549B2 (en) 2013-06-17 2018-06-06 Device, method, and system to recognize motion using gripped object
JP2019006957A JP2019075169A (ja) 2013-06-17 2019-01-18 把持された物体を用いたモーション認識方法及びその装置並びにシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130068870A KR102170321B1 (ko) 2013-06-17 2013-06-17 파지된 물체를 이용한 모션을 인식하는 장치 및 방법, 시스템

Publications (2)

Publication Number Publication Date
KR20140146346A KR20140146346A (ko) 2014-12-26
KR102170321B1 true KR102170321B1 (ko) 2020-10-26

Family

ID=50473019

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130068870A Active KR102170321B1 (ko) 2013-06-17 2013-06-17 파지된 물체를 이용한 모션을 인식하는 장치 및 방법, 시스템

Country Status (5)

Country Link
US (2) US10019078B2 (ko)
EP (1) EP2815699A1 (ko)
JP (2) JP6527307B2 (ko)
KR (1) KR102170321B1 (ko)
CN (1) CN104238736B (ko)

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102170321B1 (ko) * 2013-06-17 2020-10-26 삼성전자주식회사 파지된 물체를 이용한 모션을 인식하는 장치 및 방법, 시스템
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
US20150124566A1 (en) 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
US10188309B2 (en) 2013-11-27 2019-01-29 North Inc. Systems, articles, and methods for electromyography sensors
US20150253859A1 (en) * 2014-03-05 2015-09-10 Google Inc. System and method for physical manipulation of object and type of object as input
CN104571517A (zh) * 2014-12-31 2015-04-29 杨皓 一种人体动作对电子设备进行输入及控制的方法
CN104615248B (zh) * 2015-02-10 2018-07-31 北京智谷睿拓技术服务有限公司 确定输入信息的方法和设备
CN104656896B (zh) * 2015-02-10 2018-09-18 北京智谷睿拓技术服务有限公司 确定输入信息的方法和设备
US10285627B2 (en) * 2015-04-15 2019-05-14 Pixart Imaging Inc. Action recognition system and method thereof
CN106200887A (zh) * 2015-05-04 2016-12-07 原相科技股份有限公司 动作辨识系统及其方法
CN106293048B (zh) * 2015-07-31 2019-05-07 北京智谷睿拓技术服务有限公司 输入信息确定方法和设备
CN106371564B (zh) * 2015-08-28 2020-06-23 北京智谷睿拓技术服务有限公司 输入信息确定方法和设备
CN106249853B (zh) * 2015-09-15 2019-03-19 北京智谷睿拓技术服务有限公司 交互方法和设备
KR102343616B1 (ko) 2015-11-16 2021-12-28 삼성전자주식회사 전자 장치 및 그 제어 방법
KR102570068B1 (ko) * 2015-11-20 2023-08-23 삼성전자주식회사 동작 인식 방법, 동작 인식 장치 및 웨어러블 장치
KR102466995B1 (ko) * 2015-12-21 2022-11-14 삼성전자주식회사 사용자 인증 장치 및 방법
CN107153470A (zh) * 2016-03-02 2017-09-12 中国科学院软件研究所 一种多通道健康鼠标系统及健康状况监测方法
KR101775080B1 (ko) * 2016-06-07 2017-09-05 동국대학교 산학협력단 Ｎｕｉ／ｎｕｘ에 기반하여 드로잉 영상을 처리하는 장치 및 방법
WO2018022602A1 (en) * 2016-07-25 2018-02-01 Ctrl-Labs Corporation Methods and apparatus for predicting musculo-skeletal position information using wearable autonomous sensors
KR102619443B1 (ko) 2016-09-30 2023-12-28 삼성전자주식회사 손목 온도 리듬 획득 장치 및 방법, 심부 체온 리듬 획득 장치 및 방법과, 웨어러블 디바이스
KR102655584B1 (ko) * 2017-01-02 2024-04-08 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 제어 방법
KR102329761B1 (ko) * 2017-05-26 2021-11-22 삼성전자주식회사 외부 장치의 선택 및 제어를 위한 전자 장치와 그의 동작 방법
EP3435202A1 (de) * 2017-07-25 2019-01-30 Siemens Healthcare GmbH Zuordnen eines werkzeuges zu einer greifgeste
JP7071717B2 (ja) * 2017-09-05 2022-05-19 株式会社国際電気通信基礎技術研究所 イベント系列抽出装置、イベント系列抽出方法およびイベント抽出プログラム
CN112040858B (zh) 2017-10-19 2024-06-07 元平台技术有限公司 用于识别与神经肌肉源信号相关的生物结构的系统和方法
EP3710918A4 (en) * 2017-11-14 2021-08-18 Biointeractive Technologies, Inc. APPARATUS AND METHODS FOR DETECTING, QUANTIFYING AND PROVIDING FEEDBACK ON USER ACTIONS
WO2019134141A1 (zh) * 2018-01-05 2019-07-11 深圳市汇顶科技股份有限公司 主动笔的压力检测方法、装置和主动笔
US11150730B1 (en) 2019-04-30 2021-10-19 Facebook Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
WO2020061451A1 (en) * 2018-09-20 2020-03-26 Ctrl-Labs Corporation Neuromuscular text entry, writing and drawing in augmented reality systems
CN109291696B (zh) * 2018-09-29 2024-06-04 上海掌门科技有限公司 一种通过书写装置采集心电信号的方法与设备
CN113423341B (zh) 2018-11-27 2024-12-03 元平台技术有限公司 用于可穿戴电极传感器系统的自动校准的方法和装置
CN109960404B (zh) * 2019-02-15 2020-12-18 联想(北京)有限公司 一种数据处理方法及装置
DE102019204714A1 (de) * 2019-04-03 2020-10-08 Technische Hochschule Lübeck Verfahren und Stift zur Personenidentifikation und Schrifterkennung
CN110658889A (zh) * 2019-09-23 2020-01-07 上海闻泰信息技术有限公司 可穿戴设备控制方法、装置、设备及存储介质
CN110664404B (zh) * 2019-09-30 2021-10-26 华南理工大学 一种基于表面肌电信号的躯干代偿检测和消除系统
CN110827987B (zh) * 2019-11-06 2021-03-23 西安交通大学 一种多抓取模式下腕关节力矩的肌电连续预测方法及系统
JP6747704B1 (ja) * 2020-04-07 2020-08-26 ポジティブワン株式会社 割当制御装置、割当制御システム、及び割当制御方法
US11842557B2 (en) 2019-11-18 2023-12-12 Positive One Corporation Assignment control apparatus, assignment control system, and assignment control method
CN111288986B (zh) * 2019-12-31 2022-04-12 中科彭州智慧产业创新中心有限公司 一种运动识别方法及运动识别装置
JP7547875B2 (ja) 2020-09-02 2024-09-10 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
CN112687085B (zh) * 2020-12-23 2021-10-26 邢台职业技术学院 一种幼升小阶段学生“三姿”培养的智能辅助工具
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof
US12115612B2 (en) 2021-05-21 2024-10-15 Gryp Technologies Inc. Method and system for cueing a user of a tool
CN113332723B (zh) * 2021-05-26 2024-06-25 网易（杭州）网络有限公司 一种游戏中的音效处理方法及装置
CN115251902B (zh) * 2022-07-05 2025-02-28 上海格润科技有限公司 训练动作识别方法、装置、设备及介质
WO2024171759A1 (ja) * 2023-02-13 2024-08-22 ソニーグループ株式会社 情報処理装置及び情報処理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090267896A1 (en) * 2008-04-28 2009-10-29 Ryosuke Hiramatsu Input device
US20110298709A1 (en) * 2010-06-01 2011-12-08 Vladimir Vaganov System and method for digital recording of handpainted, handdrawn and handwritten information
JP2012073830A (ja) * 2010-09-29 2012-04-12 Pioneer Electronic Corp インターフェース装置

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6133144U (ja) * 1984-07-31 1986-02-28 カシオ計算機株式会社 ペン型手書き入力装置
JPH0195319A (ja) * 1987-10-08 1989-04-13 Mitsubishi Electric Corp グラッフィク・ディスプレイ
JP2659653B2 (ja) 1992-07-27 1997-09-30 日本電信電話株式会社 ロボットハンド制御装置
JP3310398B2 (ja) 1993-07-12 2002-08-05 株式会社日立製作所 筆記データ入力装置およびそれを用いた筆記データ認識システム
JP2698320B2 (ja) 1993-08-31 1998-01-19 日本電信電話株式会社 常装着型入力システム、常装着型意図伝達システム、常装着型音楽用キーボードシステム及び常装着型点字入出力システム
JPH07239745A (ja) * 1994-02-28 1995-09-12 Toshiba Corp 情報入力装置及び情報入力における位置認識システム
JPH07271506A (ja) * 1994-03-30 1995-10-20 Nippon Telegr & Teleph Corp <Ntt> 書き込み指輪
JPH10301702A (ja) * 1997-04-30 1998-11-13 Ricoh Co Ltd ペン型入力装置及びそのパタ−ン認識方法
JP3677149B2 (ja) 1998-05-26 2005-07-27 日本電信電話株式会社 手首装着型入力装置
JP2000222522A (ja) * 1999-02-04 2000-08-11 Matsushita Electric Ind Co Ltd 認識処理装置
US6831632B2 (en) 2001-04-09 2004-12-14 I. C. + Technologies Ltd. Apparatus and methods for hand motion tracking and handwriting recognition
JP2002358149A (ja) 2001-06-01 2002-12-13 Sony Corp ユーザ入力装置
JP4078419B2 (ja) * 2003-06-18 2008-04-23 独立行政法人産業技術総合研究所 ポインティングデバイス
JP4379214B2 (ja) 2004-06-10 2009-12-09 日本電気株式会社 携帯端末装置
KR100650041B1 (ko) * 2004-10-12 2006-11-28 학교법인연세대학교 가속도 센서를 이용한 동잡음 제거수단을 구비하는오실로메트릭 방식 혈압계
KR100680023B1 (ko) 2004-12-06 2007-02-07 한국전자통신연구원 생체신호를 이용한 착용형 휴대폰 입력 장치 및 그 제어방법
US9155487B2 (en) * 2005-12-21 2015-10-13 Michael Linderman Method and apparatus for biometric analysis using EEG and EMG signals
TWI301590B (en) 2005-12-30 2008-10-01 Ibm Handwriting input method, apparatus, system and computer recording medium with a program recorded thereon of capturing video data of real-time handwriting strokes for recognition
KR100793079B1 (ko) 2006-12-08 2008-01-10 한국전자통신연구원 손목착용형 사용자 명령 입력 장치 및 그 방법
JP2008305199A (ja) 2007-06-07 2008-12-18 Fujitsu Component Ltd 入力システム及びプログラム
JP4927009B2 (ja) 2008-03-12 2012-05-09 ヤフー株式会社 手書き文字認識装置
ATE541512T1 (de) * 2008-03-14 2012-02-15 Koninkl Philips Electronics Nv Gegen durch externe bewegungsfaktoren herbeigeführte beschleunigungen unempfindliches aktivitätsüberwachungssystem
WO2009137119A1 (en) * 2008-05-09 2009-11-12 Medtronic, Inc. Peripheral nerve field stimulation control
US8764850B2 (en) * 2008-07-31 2014-07-01 Northwestern University Bi-modal ankle-foot device
US8776264B2 (en) * 2009-04-03 2014-07-15 Ware Llc Garments for providing access for sensors to contact skin
JP4988016B2 (ja) 2009-08-27 2012-08-01 韓國電子通信研究院 指の動き検出装置およびその方法
KR101234111B1 (ko) * 2009-10-13 2013-02-19 한국전자통신연구원 비접촉 입력 인터페이싱 장치 및 이를 이용한 비접촉 입력 인터페이싱 방법
US20140194726A1 (en) * 2013-01-04 2014-07-10 Neurotrek, Inc. Ultrasound Neuromodulation for Cognitive Enhancement
TWI393579B (zh) * 2009-11-13 2013-04-21 Inst Information Industry The state of the muscle movement state analysis system, methods and computer program products
KR20110137587A (ko) 2010-06-17 2011-12-23 한국전자통신연구원 공간 입출력 인터페이싱 장치 및 방법
JP5621464B2 (ja) * 2010-09-24 2014-11-12 富士ゼロックス株式会社 動作検出装置、記録システム及びプログラム
US20130045774A1 (en) * 2010-12-07 2013-02-21 Sigza Authentication Systems Smart Phone Writing Method and Apparatus
KR101159475B1 (ko) 2010-12-10 2012-06-25 숭실대학교산학협력단 근전도 센서와 가속도 센서를 이용한 로봇 이동 제어 장치 및 방법
KR101800182B1 (ko) 2011-03-16 2017-11-23 삼성전자주식회사 가상 객체 제어 장치 및 방법
WO2012161657A1 (en) * 2011-05-20 2012-11-29 Nanyang Technological University Systems, apparatuses, devices, and processes for synergistic neuro-physiological rehabilitation and/or functional development
KR20120133351A (ko) 2011-05-31 2012-12-10 주식회사 네오펙트 모바일 연동 장갑형 데이터 입력장치
US9218058B2 (en) 2011-06-16 2015-12-22 Daniel Bress Wearable digital input device for multipoint free space data collection and analysis
JP5533837B2 (ja) * 2011-11-02 2014-06-25 コニカミノルタ株式会社 手書き入力装置及び手書き入力制御プログラム
WO2014144015A2 (en) * 2013-03-15 2014-09-18 Keller Eric Jeffrey Computing interface system
KR102170321B1 (ko) * 2013-06-17 2020-10-26 삼성전자주식회사 파지된 물체를 이용한 모션을 인식하는 장치 및 방법, 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090267896A1 (en) * 2008-04-28 2009-10-29 Ryosuke Hiramatsu Input device
US20110298709A1 (en) * 2010-06-01 2011-12-08 Vladimir Vaganov System and method for digital recording of handpainted, handdrawn and handwritten information
JP2012073830A (ja) * 2010-09-29 2012-04-12 Pioneer Electronic Corp インターフェース装置

Also Published As

Publication number Publication date
JP2019075169A (ja) 2019-05-16
US20180284912A1 (en) 2018-10-04
US10019078B2 (en) 2018-07-10
EP2815699A1 (en) 2014-12-24
CN104238736A (zh) 2014-12-24
US20140368474A1 (en) 2014-12-18
JP6527307B2 (ja) 2019-06-05
CN104238736B (zh) 2019-02-15
JP2015001978A (ja) 2015-01-05
KR20140146346A (ko) 2014-12-26
US10649549B2 (en) 2020-05-12

Similar Documents

Publication Publication Date Title
KR102170321B1 (ko) 파지된 물체를 이용한 모션을 인식하는 장치 및 방법, 시스템
US11567573B2 (en) Neuromuscular text entry, writing and drawing in augmented reality systems
US11009951B2 (en) Wearable muscle interface systems, devices and methods that interact with content displayed on an electronic display
Whitmire et al. Digitouch: Reconfigurable thumb-to-finger input and text entry on head-mounted displays
US10970936B2 (en) Use of neuromuscular signals to provide enhanced interactions with physical objects in an augmented reality environment
Gong et al. Wristwhirl: One-handed continuous smartwatch input using wrist gestures
US9367139B2 (en) Systems, articles, and methods for gesture identification in wearable electromyography devices
US20200097081A1 (en) Neuromuscular control of an augmented reality system
JP6542262B2 (ja) ペンおよびコンピューティングデバイスのインタラクションのためのマルチデバイスマルチユーザセンサ相関
CN106462341B (zh) 用于笔和触敏计算设备交互的传感器相关
US20150323998A1 (en) Enhanced user interface for a wearable electronic device
JP2010108500A (ja) 着用型コンピューティング環境基盤のユーザインターフェース装置およびその方法
US20120268359A1 (en) Control of electronic device using nerve analysis
KR102297473B1 (ko) 신체를 이용하여 터치 입력을 제공하는 장치 및 방법
Liang et al. Drg-keyboard: Enabling subtle gesture typing on the fingertip with dual imu rings
Lang et al. A multimodal smartwatch-based interaction concept for immersive environments
US10296097B2 (en) Controlling a computer system using epidermal electronic devices
JP2010086367A (ja) 位置情報入力装置、位置情報入力方法、プログラム、情報処理システム、及び電子装置
KR101337429B1 (ko) 입력 장치
Kim et al. Swipe-it!: One-handed Thumb-tip Interaction for Text Editing in AR
JP2019003366A (ja) 情報入力装置、情報入力方法および情報入力システム
Yeo Enabling single-handed interaction in mobile and wearable computing
CN119165952A (zh) 一种面向xr交互场景的智能指环系统及交互方法

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20130617

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20180612

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20130617

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20200210

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20200720

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20201020

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20201021

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20230914

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20240912

Start annual number: 5

End annual number: 5