KR101731188B1 - Motions estimation apparatus and method thereof - Google Patents
Motions estimation apparatus and method thereof Download PDFInfo
- Publication number
- KR101731188B1 KR101731188B1 KR1020150161115A KR20150161115A KR101731188B1 KR 101731188 B1 KR101731188 B1 KR 101731188B1 KR 1020150161115 A KR1020150161115 A KR 1020150161115A KR 20150161115 A KR20150161115 A KR 20150161115A KR 101731188 B1 KR101731188 B1 KR 101731188B1
- Authority
- KR
- South Korea
- Prior art keywords
- sensor
- motion
- user
- measurement data
- attached
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 128
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000005259 measurement Methods 0.000 claims abstract description 53
- 230000001133 acceleration Effects 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 abstract description 3
- 210000000245 forearm Anatomy 0.000 description 30
- 230000036544 posture Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 10
- 238000007796 conventional method Methods 0.000 description 2
- 210000002414 leg Anatomy 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 244000309466 calf Species 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000323 shoulder joint Anatomy 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G06K9/00382—
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Dermatology (AREA)
- Neurosurgery (AREA)
- Neurology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
본 발명은 동작 추정 장치 및 그 방법에 관한 것이다.
본 발명에 따른 동작 추정 방법에 따르면, 동작 추정 장치를 이용한 동작 추정 방법에 있어서, 사용자의 신체 부위 중 적어도 어느 하나에 부착된 센서를 통해 측정된 상기 센서가 부착된 신체 부위의 동작에 대한 모션 측정 데이터를 입력받는 단계, 신체 부위들 사이의 움직임간 상관 관계에 대한 베이지안 확률 값이 저장된 데이터베이스, 상기 모션 측정 데이터 그리고 현재 모션 측정 데이터를 비교하여 상기 센서가 미부착된 신체 부위의 동작을 추정하는 단계, 그리고 상기 추정된 사용자의 신체 부위의 동작 및 상기 모션 측정 데이터에 대응하는 상기 사용자의 자세를 추정하는 단계를 포함한다.
이와 같이 본 발명에 따르면, 종래의 동작 추정 방법들에 비해 적은 수의 센서를 이용하더라도 사용자의 자세를 정확하게 추정할 수 있어 경제적이며, 적은 양의 데이터 전송만으로도 사용자의 자세를 추정할 수 있으므로 실시간 게임이나 교육용 컨텐츠 재생등에 유용하게 이용될 수 있다.The present invention relates to a motion estimation apparatus and a method thereof.
According to an operation estimating method according to the present invention, an operation estimating method using an operation estimating apparatus includes a motion estimating step of estimating an operation of an operation part of a body part attached with a sensor measured through a sensor attached to at least one of the body parts of a user Estimating an operation of the body part to which the sensor is not attached by comparing the motion measurement data and the current motion measurement data with a database storing a Bayesian probability value of a correlation between movements between body parts, And estimating an operation of the estimated body part of the user and a posture of the user corresponding to the motion measurement data.
As described above, according to the present invention, since the posture of the user can be accurately estimated even if a small number of sensors are used as compared with the conventional motion estimation methods, the posture of the user can be estimated with only a small amount of data transmission, And can be usefully used for the reproduction of educational contents.
Description
본 발명은 동작 추정 장치 및 그 방법에 관한 것으로서, 더욱 상세하게는 최소한의 신체 측정 센서를 이용하여 사용자의 팔 동작을 추정하기 위한 동작 추정 장치 및 그 방법에 관한 것이다.The present invention relates to a motion estimation apparatus and method thereof, and more particularly, to an motion estimation apparatus and a method thereof for estimating an arm motion of a user using a minimum body measurement sensor.
최근 유비쿼터스 컴퓨터 환경 분야에서 사용자간 상호작용의 중요성이 점점 강조되고 있으며, NUI(Natural User Interface)/NUX(Natural User Experience)에 대한 연구는 그러한 중요성을 반영하고 있다. 또한, 다양한 종류의 웨어러블 기기가 출시됨에 따라, 웨어러블 장치를 유비쿼터스 컴퓨터 환경에 적용하기 위한 연구도 활발히 진행되고 있다.In recent years, the importance of user interaction has been increasingly emphasized in the ubiquitous computing environment, and the study of NUI (Natural User Interface) / NUX (Natural User Experience) reflects such importance. In addition, as wearable devices of various types are being released, studies for applying wearable devices to ubiquitous computer environments are actively under way.
특히, 사람의 신체에 부착되는 센서를 이용하여 손가락의 움직임을 인지한다거나, 동작이나 근육의 움직임을 인지하여 이를 컴퓨터 환경에 접목하는 연구등이 다양하게 진행되고 있다.Particularly, various studies have been carried out to recognize the movement of a finger by using a sensor attached to a human body, to recognize movement of a motion or a muscle, and to apply it to a computer environment.
그러나 센서는 몸의 일부에 부착되어 동작 등을 측정하므로, 다수의 센서를 신체에 부착하지 않으면 사람의 전체 동작을 정확히 측정할 수 없다. 예를 들어, 근육 감지 센서가 전완에만 부착되었을 때, 상완의 움직임을 측정하기가 매우 어렵다. 그리고 다수의 센서를 사용한다고 하더라고 처리해야 할 데이터 용량이 크게 늘어나게 되며 비용적 측면에서도 비경제적이다.However, since the sensor is attached to a part of the body to measure the operation light, the entire operation of the person can not be accurately measured unless a plurality of sensors are attached to the body. For example, it is very difficult to measure the movement of the upper arm when the muscle sensor is attached only to the forearm. Even if a large number of sensors are used, the amount of data to be processed is greatly increased and the cost is also uneconomical.
본 발명의 배경이 되는 기술은 한국공개특허 제10-2015-0089371호(2012.08.05공고)에 개시되어 있다.The technology of the background of the present invention is disclosed in Korean Patent Laid-Open No. 10-2015-0089371 (Announcement of Aug. 20, 2012).
본 발명이 이루고자 하는 기술적 과제는 최소한의 신체 측정 센서를 이용하여 사용자의 팔 동작을 추정하기 위한 동작 추정 장치 및 그 방법을 제공하기 위한 것이다.SUMMARY OF THE INVENTION It is an object of the present invention to provide an apparatus and method for estimating an arm motion of a user using a minimum body measurement sensor.
이러한 기술적 과제를 이루기 위한 본 발명의 실시예에 따르면 동작 추정 방법은, 동작 추정 장치를 이용한 동작 추정 방법에 있어서, 사용자의 신체 부위 중 적어도 어느 하나에 부착된 센서를 통해 측정된 상기 센서가 부착된 신체 부위의 동작에 대한 모션 측정 데이터를 입력받는 단계, 신체 부위들 사이의 움직임간 상관 관계에 대한 베이지안 확률 값이 저장된 데이터베이스, 상기 모션 측정 데이터 그리고 현재 모션 측정 데이터를 비교하여 상기 센서가 미부착된 신체 부위의 동작을 추정하는 단계, 그리고 상기 추정된 사용자의 신체 부위의 동작 및 상기 모션 측정 데이터에 대응하는 상기 사용자의 자세를 추정하는 단계를 포함한다.According to an aspect of the present invention, there is provided a motion estimation method using an operation estimation device, the motion estimation method comprising: Receiving a motion measurement data for an operation of a body part, a database storing a Bayesian probability value for a correlation between movements between body parts, comparing the motion measurement data and current motion measurement data, Estimating the motion of the body part of the estimated user, and estimating the motion of the body part of the estimated user and the posture of the user corresponding to the motion measurement data.
상기 데이터베이스는, 복수의 대상자들의 신체 부위 중 적어도 두 개 이상의 부위에 부착된 센서를 통해 측정된 상기 복수의 대상자들의 동작 정보에 대한 데이터들을 기 설정된 간격에 따라 그룹화하여 상기 동작 정보의 베이지안 확률 값을 저장할 수 있다.Wherein the database is configured to group data on operation information of the plurality of subjects measured through a sensor attached to at least two of the body parts of a plurality of subjects according to a predetermined interval to calculate a Bayesian probability value of the operation information Can be stored.
상기 센서는, 근전도 측정 센서, 가속도 측정 센서, 회전 속도 측정 센서 및 방향 측정 센서 중 적어도 어느 하나를 포함할 수 있다.The sensor may include at least one of an electromyogram measuring sensor, an acceleration measuring sensor, a rotational speed measuring sensor, and a direction measuring sensor.
상기 센서가 미부착된 신체 부위에 대한 동작을 추정하는 단계는, 상기 모션 측정 데이터에 대응하는 상기 데이터베이스의 범위들 중 상기 베이지안 확률 값이 가장 큰 범위를 상기 센서가 미부착된 신체 부위의 동작으로 추정할 수 있다.The step of estimating an operation on the unattached body part may include estimating an operation of the body part to which the sensor is not attached by a range in which the Bayesian probability value is the largest among the ranges of the database corresponding to the motion measurement data .
본 발명의 다른 실시예에 따른 동작 추정 장치는 사용자의 신체 부위 중 적어도 어느 하나에 부착된 센서를 통해 측정된 상기 센서가 부착된 신체 부위의 동작에 대한 모션 측정 데이터를 입력받는 입력부, 신체 부위들 사이의 움직임간 상관 관계에 대한 베이지안 확률 값이 저장된 데이터베이스, 상기 모션 측정 데이터 그리고 현재 모션 측정 데이터를 비교하여 상기 센서가 미부착된 신체 부위의 동작을 추정하는 움직임 추정부, 그리고 상기 추정된 사용자의 신체 부위의 동작 및 상기 모션 측정 데이터에 대응하는 상기 사용자의 팔 동작을 추정하는 팔동작 추정부를 포함한다.An operation estimating apparatus according to another embodiment of the present invention includes an input unit for receiving motion measurement data on motion of a body part to which the sensor is attached, measured through a sensor attached to at least one of the body parts of the user, A motion estimation unit that compares the motion measurement data and the current motion measurement data to estimate an operation of a body part to which the sensor is not attached, And an arm motion estimating unit estimating an arm motion of the user corresponding to the motion measurement data.
이와 같이 본 발명에 따르면, 종래의 동작 추정 방법들에 비해 적은 수의 센서를 이용하더라도 사용자의 자세를 정확하게 추정할 수 있어 경제적이며, 적은 양의 데이터 전송만으로도 사용자의 자세를 추정할 수 있으므로 실시간 게임이나 교육용 컨텐츠 재생등에 유용하게 이용될 수 있다.As described above, according to the present invention, since the posture of the user can be accurately estimated even if a small number of sensors are used as compared with the conventional motion estimation methods, the posture of the user can be estimated with only a small amount of data transmission, And can be usefully used for the reproduction of educational contents.
도 1은 본 발명의 실시예에 따른 동작 추정 장치의 구성도이다.
도 2는 본 발명의 실시예에 따른 동작 추정 방법의 순서도이다.
도 3은 본 발명의 실시예에 따른 센서의 부착 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 동작 추정 장치가 입력받은 모션 측정 데이터를 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 데이터베이스의 구조를 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 모션 측정 데이터와 이를 이용한 사용자의 동작 추정 결과를 나타낸 도면이다.
도 7은 본 발명의 실시예에 따른 추정된 팔 동작의 결과를 나타낸 도면이다.1 is a configuration diagram of an operation estimating apparatus according to an embodiment of the present invention.
2 is a flowchart of an operation estimation method according to an embodiment of the present invention.
3 is a view for explaining a method of attaching a sensor according to an embodiment of the present invention.
4 is a diagram for explaining motion measurement data input by the motion estimation apparatus according to the embodiment of the present invention.
5 is a diagram for explaining the structure of a database according to an embodiment of the present invention.
FIG. 6 is a diagram illustrating motion measurement data and a motion estimation result of a user using the motion measurement data according to an embodiment of the present invention. Referring to FIG.
7 is a diagram illustrating a result of an estimated arm operation according to an embodiment of the present invention.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.Throughout the specification, when an element is referred to as "comprising ", it means that it can include other elements as well, without excluding other elements unless specifically stated otherwise.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention.
먼저, 도 1을 통해 본 발명의 실시예에 따른 동작 추정 장치(100)의 구성에 대하여 살펴본다. 도 1은 본 발명의 실시예에 따른 동작 추정 장치의 구성도이다.First, a configuration of an
도 1에서 나타난 바와 같이, 동작 추정 장치(100)는 입력부(110), 동작 추정부(120), 자세 추정부(130)를 포함한다.As shown in FIG. 1, the
우선, 입력부(110)는 사용자의 신체 부위 중 적어도 어느 하나에 부착된 센서를 통해 측정된 센서가 부착된 신체 부위의 동작에 대한 모션 측정 데이터를 입력받는다. 여기서 센서는, 근전도 측정 센서, 가속도 측정 센서, 회전 속도 측정 센서 및 방향 측정 센서 중 적어도 어느 하나를 포함할 수 있다.First, the
이때, 입력부(110)는 센서로부터 모션 측정 데이터를 입력받을 수 있을 뿐만 아니라, 중계 서버나 중계 단말로부터 입력받을 수도 있다.At this time, the
그리고, 동작 추정부(120)는 신체 부위들 사이의 움직임간 상관 관계에 대한 베이지안 확률 값이 저장된 데이터베이스와 사용자의 모션 측정 데이터를 비교하여 센서가 미부착된 신체 부위의 동작을 추정한다.The
구체적으로 동작 추정부(120)는 모션 측정 데이터에 대응하는 데이터베이스의 범위들 중 확률 값이 가장 높은 범위를 센서가 미부착된 신체 부위의 동작으로 추정할 수 있다.Specifically, the
이때, 데이터베이스는 복수의 대상자들의 신체 부위 중 적어도 두 개 이상의 부위에 부착된 센서를 통해 측정된 복수의 대상자들의 동작 정보에 대한 데이터를 이용하여 생성될 수 있다. 구체적으로 데이터베이스는 동작 정보에 대한 데이터를 기 설정된 간격에 따라 그룹화여 각 동작 정보에 대한 베이지안 확률 값을 저장한다. At this time, the database may be generated using data on the motion information of the plurality of subjects measured through the sensors attached to at least two of the body parts of the plurality of subjects. Specifically, the database groups the operation information data according to predetermined intervals, and stores the Bayesian probability values for each operation information.
그러면, 자세 추정부(130)는 추정된 사용자의 신체 부위의 동작 및 모션 측정 데이터에 대응하는 사용자의 자세를 추정한다.Then, the
이하에서는 도 2 내지 도 7을 통해 본 발명의 실시예에 따른 동작 추정 장치(100)를 이용한 동작 추정 방법에 대하여 살펴보는바, 통상의 기술자가 쉽게 이해할 수 있도록 사용자의 팔에 한정한 실시예를 통해 설명하도록 한다. 도 2는 본 발명의 실시예에 따른 동작 추정 방법의 순서도이다.Hereinafter, an operation estimation method using the
먼저, 사용자의 전완 또는 상완에 부착된 센서는 사용자의 자세를 측정한다(S210). 도 3은 본 발명의 실시예에 따른 센서의 부착 방법을 설명하기 위한 도면으로 도 3을 통해 사용자 자세 측정을 위한 종래의 방식과 본 발명의 방식을 비교해 보도록 한다.First, a sensor attached to the user's forearm or upper arm measures a user's attitude (S210). FIG. 3 is a view for explaining a method of attaching a sensor according to an embodiment of the present invention. Referring to FIG. 3, a conventional method for measuring a user's position is compared with a method of the present invention.
도 3의 (a)는 종래 사용자의 팔 동작을 측정하기 위한 센서의 부착 방법이고 도 3의 (b)는 본 발명의 팔 동작을 측정하기 위한 센서의 부착 방법을 나타낸다.FIG. 3 (a) shows a method of attaching a sensor for measuring an arm motion of a conventional user, and FIG. 3 (b) shows a method of attaching a sensor for measuring an arm motion of the present invention.
종래에는 도 3의 (a)와 같이 팔꿈지 관절을 기준으로 전완과 상완에 각각 사용자의 자세를 측정하기 위한 센서를 부착하여 사용자의 자세를 측정하였다. Conventionally, as shown in (a) of FIG. 3, a sensor for measuring a user's posture is attached to the forearm and the upper arm based on the arm's shoulder joint, and the user's posture is measured.
하지만 본 발명에 따르면 도 3의 (b)와 같이 전완에만 센서를 부착하거나 상완에만 센서를 부착하여 사용자의 자세를 측정한다. 그러므로 종래 발명이 양 팔의 동작을 측정하기 위해 4개의 센서를 사용하였다면, 본 발명은 2개의 센서만을 사용하므로 경제적이다.However, according to the present invention, the posture of the user is measured by attaching a sensor only to the forearm or attaching a sensor to only the upper arm as shown in FIG. 3 (b). Therefore, if the conventional invention uses four sensors to measure the operation of both arms, the present invention is economical because it uses only two sensors.
그리고, 센서는 사용자의 자세를 측정한 결과 값, 즉 전완 또는 상완에 대한 모션 측정 데이터를 생성하여 동작 추정 장치(100)로 전송하고, 동작 추정 장치(100)는 사용자의 모션 측정 데이터를 입력받는다(S220). The sensor generates motion measurement data for the user's posture, that is, motion measurement data for the forearm or upper arm, and transmits the motion measurement data to the
상기에서 살펴본 바와 같이, 센서는 근전도 측정 센서, 가속도 측정 센서, 회전 속도 측정 센서 및 방향 측정 센서 중 적어도 어느 하나를 포함하므로, 센서로부터 입력받은 모션 측정 데이터는 사용자 팔의 회전 속도, 가속도, 방향 및 근전도 중 적어도 어느 하나의 정보를 포함한다.As described above, since the sensor includes at least one of the electromyogram measuring sensor, the acceleration measuring sensor, the rotation speed measuring sensor, and the direction measuring sensor, the motion measurement data input from the sensor includes the rotation speed, And an electromyogram.
그러면 도 4를 통해 모션 측정 데이터에 대해 구체적으로 살펴본다. 도 4는 본 발명의 실시예에 따른 동작 추정 장치가 입력받은 모션 측정 데이터를 설명하기 위한 도면이다.The motion measurement data will be described in detail with reference to FIG. 4 is a diagram for explaining motion measurement data input by the motion estimation apparatus according to the embodiment of the present invention.
도 4는 모션 측정 데이터의 종류 및 구성을 나타내고 있다. 먼저, Gyroscope는 팔의 회전 속도에 대한 데이터를 의미하며, 3차원 축인 x, y, z방향 각각에 대한 팔의 회전 속도 값으로 구성된다. 다음으로, Acceleration은 팔의 가속도에 대한 데이터를 의미하며, 3차원 축인 x, y, z방향 각각에 대한 팔의 가속도 값으로 구성된다.Fig. 4 shows the types and configuration of motion measurement data. First, the gyroscope is data on the rotational speed of the arm, and it is composed of the rotational speed values of the arms in the x, y, and z directions of the three-dimensional axis. Next, Acceleration refers to the data on the acceleration of the arm, and it consists of the acceleration values of the arms in the x, y, and z directions, respectively, of the three-dimensional axis.
그리고, Orientation은 팔의 방향에 대한 데이터를 의미하며, 3차원 축인 x, y, z방향 각각에 대한 팔의 각도 값 및 각속도 값으로 구성된다. 다음으로 EMG는 팔의 근전도에 대한 데이터를 의미하며, 복수의 근전도 신호 값으로 구성된다.Orientation means data on the direction of the arm, and it is composed of angular values and angular velocity values of the arms in the three dimensional directions x, y, and z, respectively. Next, the EMG is data on the electromyogram of the arm and is composed of a plurality of electromyogram signal values.
다음으로, 동작 추정 장치(100)는 데이터베이스와 모션 측정 데이터를 비교한다(S230). 구체적으로, 동작 추정 장치(100)는 모션 측정 데이터가 가지는 수치와 데이터베이스의 범위 값을 비교하게 된다. Next, the
그러면 도 5를 통해 데이터베이스의 구조에 대해 구체적으로 살펴본다. 도 5는 본 발명의 실시예에 따른 데이터베이스의 구조를 설명하기 위한 도면이다.The structure of the database will now be described in detail with reference to FIG. 5 is a diagram for explaining the structure of a database according to an embodiment of the present invention.
구체적으로, 데이터베이스는 대상자의 전완 및 상완에 부착된 센서를 통해 대상자의 동작 정보에 대한 데이터들을 이용하여 생성된다. 그러므로, 데이터베이스에는 도 5에서 보는 바와 같이 전완 및 상완의 움직임간 상관 관계에 대한 베이지안 확률 값, 즉 전완 및 상완에 부착된 2개의 센싱 값의 상관 관계에 대한 베이지안 확률 값이 저장된다.Specifically, the database is generated using data on the subject's movement information through sensors attached to the forearm and upper arm of the subject. Therefore, as shown in FIG. 5, the database stores the Bayesian probability values for the correlation between the forearm and the upper arm motion, that is, the correlation between the two sensed values attached to the forearm and the upper arm.
이때, 측정된 동작 정보의 데이터들은 매우 다양한 숫자로 표시될 수 있으므로, 이에 대한 베이지안 확률 값을 생성하기 어렵다. 그러므로 데이터베이스는 각 데이터들을 기 설정된 간격에 따라 그룹화한 후, 동작 정보의 베이지안 확률 값을 저장하며, 이는 수학식 1과 같이 나타낼 수 있다At this time, since the data of the measured operation information can be displayed in a very diverse number, it is difficult to generate a Bayesian probability value for the data. Therefore, the database groups each data according to predetermined intervals, and then stores Bayesian probability values of the operation information, which can be expressed by
여기서, i는 사용자의 자세에 대한 인덱스 번호이고, k는 데이터의 종류를 의미하고, t는 사용자의 자세의 측정 시간을 의미하고, δk는 데이터간의 간격을 조절하기 위한 계수를 의미한다.Here, i is an index number of the attitude of the user, k is a kind of data, t is a measurement time of the user's attitude, and δ k is a coefficient for adjusting the interval between data.
데이터베이스의 생성 과정에 대하여 예를 들어 살펴 보면, 대상자가 A라는 자세를 취한 경우 팔의 방향에 관한 x축 데이터 값이 전완 45°, 상완 95°로 측정되었으며, 팔의 방향에 관한 x축 데이터베이스(xi,ox,t)의 범위는 도 5와 같이 -180°에서 180°까지 30° 간격으로 그룹화한다고 가정한다. 그러면, A라는 자세에 대한 측정 값은 팔의 방향에 관한 x축 데이터베이스(xi,ox,t)의 전완 -60° ~ -30°, 상완 90° ~ 120°의 범위에 카운팅되어 베이지안 확률 값으로 1이 추가된다. For example, if the subject is in the A position, the x-axis data about the arm's direction is measured at 45 ° for the forearm and 95 ° for the upper arm, and the x-axis database about the arm's direction x i, ox, t ) are grouped at intervals of 30 ° from -180 ° to 180 ° as shown in FIG. The measured values for the posture A are then counted in the range of -60 ° to -30 ° in the forearm and 90 ° to 120 ° in the upper arm of the x-axis database (x i, ox, t ) 1 is added.
도 5는 대상자가 특정한 3개의 자세에 대하여 30회를 반복하여 얻은 모션 측정 데이터들을 이용하여 생성된 데이터베이스로서, x축, y축, z축 및 각속도에 대한 데이터베이스에는 각각 90개의 데이터가 카운팅되어 저장되어 있다.FIG. 5 is a database generated using motion measurement data obtained by repeating 30 times for three specific attitudes of a subject. In the database for the x-axis, y-axis, z-axis and angular velocity, 90 data are counted and stored .
그리고 데이터베이스는 한 명의 대상자로부터 측정된 데이터들을 이용하여 생성될 수도 있으나, 복수의 대상자들의 전완 및 상완에 부착된 센서를 통해 복수의 대상자들의 복수의 자세들이 측정된 데이터들을 이용하여 생성될 수도 있으며, 이 경우 데이터베이스는 전자의 경우보다 일반화된 베이지안 확률 값을 저장할 수 있다.The database may be generated using data measured from one subject, but a plurality of postures of a plurality of subjects may be generated using measured data via sensors attached to the forearm and upper arm of a plurality of subjects, In this case, the database can store a more generalized Bayesian probability value than in the former case.
그러면, 동작 추정 장치(100)는 S230의 비교 결과를 이용하여 사용자의 상완 또는 전완의 움직임을 추정한다(S240). 즉, 동작 추정 장치(100)는 전완에 대한 모션 측정 데이터가 입력된 경우 상완의 움직임을 추정하며, 상완에 대한 모션 측정 데이터가 입력된 경우 전완에 대한 움직임을 추정하게 된다.Then, the
구체적으로, 동작 추정 장치(100)는 S230단계에서 비교를 통해 선택된 데이터베이스의 범위 중 확률 값이 가장 높은 범위를 사용자의 상완 또는 전완의 움직임으로 추정한다. 도 6은 본 발명의 실시예에 따른 모션 측정 데이터와 이를 이용한 사용자의 동작 추정 결과를 나타낸 도면이다.Specifically, the
예를 들어, 동작 추정 장치(100)가 도 6에서 보는 바와 같이 전완의 방향 값에 대한 모션 측정 데이터를 입력받았으며, 데이터베이스는 도 5와 같다고 가정한다.For example, it is assumed that the
그러면, Hold/Stanby 자세에서는 전완의 x축 값인 87.35°가 포함된 60° ~ 90°, y축 값인 110.59°가 포함된 90° ~ 120°, z축 값인 58.73°이 포함된 30° ~ 60°, 각속도 값인 -95.31°이 포함된 -102° ~ -90°의 범위가 선택된다. Then, in the Hold / Stanby position, 60 ° ~ 90 ° including the x-axis value of the forearm of 87.35 °, 90 ° ~ 120 ° including the y-axis value of 110.59 °, and 30 ° ~ 60 ° including 58.73 ° of the z- , And a range of -102 ° to -90 ° inclusive of the angular velocity value of -95.31 ° is selected.
그 후, 동작 추정 장치(100)는 선택된 각 전완의 범위에서 베이지안 확률 값이 가장 높은 상완의 범위를 선택하게 되는데, x축의 범위로 -60° ~ -30°, y축의 범위로 -120° ~ -90°, 각속도의 범위로 60° ~ 90°을 선택하게 된다. Thereafter, the
이때, 전완 z축의 범위(-102° ~ -90°)에는 베이지안 확률 값이 모두 0이므로, 베이지안 확률 값이 존재하는 해당 전완의 범위와 가장 가까운 곳에 위치한 전완의 범위(-60° ~ -30°)에서 베이지안 확률 값이 가장 높은 상완의 범위를 선택하게 되므로, z축의 범위로 60° ~ 90°이 선택된다.In this case, since the Bayesian probability values are all 0 in the range of the z-axis of the forearm (-102 ° to -90 °), the range of the forearm located closest to the range of the corresponding forearm in which the Bayesian probability exists is -60 ° to -30 ° ), The range of the upper arm that has the highest Bayesian probability value is selected, so that the range of the z-axis is 60 ° to 90 °.
그리고 각 상완의 범위 값 중 어느 하나를 선택하여 상완의 동작을 추정하게 되는데, 도 6에서는 가장 높은 수치인 -30°, -90°, 90°, 90°을 각각 상완의 동작으로 추정하였다. 6, the highest values of -30 °, -90 °, 90 °, and 90 ° are estimated by the motion of the upper arm, respectively.
여기서 상완의 범위 값 중 어느 하나를 선택하는 방법으로 전완의 측정 값이 해당 범위의 어느 정도에 위치하는지를 이용할 수 있다. 예를 들어, y축은 110.59°로 90° ~ 120° 범위 중 2/3 정도에 위치하고 있으므로, 상완 범위(-120° ~ -90°)의 2/3 지점인 -100°을 상완의 동작으로 추정할 수 있다.Here, as a method of selecting any of the range values of the upper arm, it is possible to use the degree to which the measured value of the forearm is located in the corresponding range. For example, the y-axis is 110.59 °, which is about two-thirds of the 90 ° to 120 ° range, so we estimate -100 °, which is 2/3 of the upper arm range (-120 ° to -90 °) can do.
전완 또는 상완의 동작 추정은 아래의 수학식 2로 표현될 수 있다.The motion estimation of the forearm or upper arm may be expressed by the following equation (2).
여기서, pi*, k,t는 데이터베이스의 베이지안 확률 값들을 의미하고 xi,k,t는 추정된 동작을 의미한다.Here, p i *, k, t mean the Bayesian probability values of the database, and x i, k, t represent estimated operations.
그러면, 동작 추정 장치(100)는 추정된 상완 또는 전완의 동작과 모션 측정 데이터에 대응하는 사용자의 팔 동작, 즉 팔의 자세를 추정한다(S250). 즉, 상완 또는 전완에 대한 모션 측정 데이터에는 상완 또는 전완의 동작에 대한 정보가 포함되어 있으므로, S240단계에서 추정된 전완 또는 상완의 동작과 결합하여 사용자의 전체 팔 동작을 추정하게 된다. Then, the
도 6을 예로 들어 살펴보면, Place yourself 동작에서는 전완에 대한 모션 측정 데이터(xi,ox,t:14.31°, xi,oy,t:-92.40°, xi,oz,t:-2.18°, xi,ow,t:-153.79°)와 추정된 상완의 동작(xi,ox,t:-30°, xi,oy,t:120°, xi,oz,t:90°, xi,ow,t:90°)을 통해 사용자의 팔의 자세를 추정하게 된다.6, the motion estimation data (x i, ox, t : 14.31 °, x i, oy, t : -92.40 °, x i, oz, t : -2.18 °, (x i, ow, t : -153.79 °) and the estimated motion of the upper arm (x i, ox, t : -30 °, x i, oy, t : 120 °, x i, oz, i, ow, t : 90 °).
도 7은 본 발명의 실시예에 따른 추정된 팔 동작의 결과를 나타낸 도면이다. 도 7의 (가)는 사용자가 취한 행동을 나타내고 (나) 및 (다)는 종래의 동작 추정 방식에 따르되, 전완에만 센서를 부착한 경우 생성된 팔 동작의 추정 결과를 나타내며, (라)는 본 발명에 따른 팔 동작의 추정 결과를 나타낸다.7 is a diagram illustrating a result of an estimated arm operation according to an embodiment of the present invention. 7A shows the behavior taken by the user and FIGS. 7B and 7C show estimation results of the arm motion generated when the sensors are attached only to the forearm according to the conventional motion estimation method, and FIGS. The results of estimation of the arm motion according to the present invention are shown.
도 7의 (나) 및 (다)에 나타난 바와 같이, 사용자의 전완에만 센서를 부착하여 종래의 방식에 따라 팔 동작을 추정하는 경우 (나)처럼 상완이 고정된 형태로 팔 동작을 추정하거나, (다)처럼 팔꿈치가 고정된 형태로 팔 동작을 추정하게 되며, 이 경우 사용자의 동작 추정의 정확도가 떨어지게 된다. As shown in FIGS. 7 (B) and 7 (C), when the arm is estimated according to the conventional method by attaching a sensor to only the forearm of the user, arm motion is estimated in a fixed form, (C), the arm motion is estimated as a fixed form of the elbow. In this case, the accuracy of the motion estimation of the user is deteriorated.
하지만, 본 발명의 동작 추정 방식에 따른 경우 (라)와 같이 사용자가 실제 자세와 유사한 형태의 팔 동작이 추정된다.However, according to the motion estimation method of the present invention, as shown in Fig.
상기에서는 팔에 한정하여 동작 추정 방법을 설명하였으나, 이는 사용자의 다리, 몸, 손가락 등 신체의 다른 부위에도 적용이 가능하며, 신체 전부에 대해서도 적용이 가능하다. 예를 들어 사용자의 종아리에 센서를 부착하여 동작을 측정함으로써 사용자의 다리 자세를 추정할 수 있으며, 사용자의 전완 및 허벅지에 센서를 부착하여 동작을 측정함으로써 사용자의 신체 전부에 대한 자세를 추정할 수도 있다. In the above description, the operation estimation method is limited to the arms. However, the present invention can be applied to other parts of the user's body such as the user's legs, body, fingers, and the like. For example, the leg posture of a user can be estimated by attaching a sensor to a calf of a user and measuring the movement of the user. By measuring a motion by attaching a sensor to a user's forearm and thighs, have.
본 발명에 따르면, 종래의 동작 추정 방법들에 비해 적은 수의 센서를 이용하더라도 사용자의 자세를 정확하게 추정할 수 있어 경제적이며, 적은 양의 데이터 전송만으로도 사용자의 자세를 추정할 수 있으므로 실시간 게임이나 교육용 컨텐츠 재생 등에 유용하게 이용될 수 있다.According to the present invention, the user's posture can be accurately estimated even when a small number of sensors are used, which is more economical than the conventional motion estimation methods, and the posture of the user can be estimated with only a small amount of data transmission. It can be usefully used for content reproduction and the like.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.While the present invention has been described with reference to exemplary embodiments, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the appended claims. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.
100 : 동작 추정 장치 110 : 입력부
120 : 동작 추정부 130 : 자세 추정부100: motion estimation apparatus 110: input unit
120: motion estimation unit 130:
Claims (8)
사용자의 신체 부위 중 적어도 어느 하나에 부착된 센서를 통해 측정된 상기 센서가 부착된 신체 부위의 동작에 대한 모션 측정 데이터를 입력받는 단계,
신체 부위들 사이의 움직임간 상관 관계에 대한 베이지안 확률 값이 저장된 데이터베이스와 상기 모션 측정 데이터를 비교하여 상기 센서가 미부착된 신체 부위의 동작을 추정하는 단계, 그리고
상기 추정된 사용자의 신체 부위의 동작 및 상기 모션 측정 데이터에 대응하는 상기 사용자의 자세를 추정하는 단계를 포함하며,
상기 데이터베이스는,
복수의 대상자들의 신체 부위 중 적어도 두 개 이상의 부위에 부착된 센서를 통해 측정된 상기 복수의 대상자들의 동작 정보에 대한 데이터들을 기 설정된 간격에 따라 그룹화하여 상기 동작 정보의 베이지안 확률 값을 저장하고,
상기 센서가 미부착된 신체 부위에 대한 동작을 추정하는 단계는,
상기 모션 측정 데이터에 대응하는 상기 데이터베이스의 범위들 중 상기 베이지안 확률 값이 가장 큰 범위를 상기 센서가 미부착된 신체 부위의 동작으로 추정하는 동작 추정 방법.A motion estimation method using motion estimation apparatus,
Receiving motion measurement data for motion of the body part to which the sensor is attached, measured through a sensor attached to at least one of the body parts of the user,
Comparing the motion measurement data with a database storing a Bayesian probability value for a correlation between movements between body parts to estimate motion of the body part to which the sensor is not attached,
Estimating an operation of the estimated body part of the user and a posture of the user corresponding to the motion measurement data,
The database includes:
The method of claim 1, wherein the Bayesian probability value of the operation information is stored by grouping data on operation information of the plurality of subjects measured through a sensor attached to at least two of the body parts of the plurality of subjects,
Wherein the step of estimating an operation on an unattached body part comprises:
Estimating a range of the Bayesian probability value among the ranges of the database corresponding to the motion measurement data as an operation of a body part to which the sensor is not attached.
상기 센서는,
근전도 측정 센서, 가속도 측정 센서, 회전 속도 측정 센서 및 방향 측정 센서 중 적어도 어느 하나를 포함하는 동작 추정 방법.The method according to claim 1,
The sensor includes:
An electromyogram measuring sensor, an acceleration measuring sensor, a rotational speed measuring sensor, and a direction measuring sensor.
신체 부위들 사이의 움직임간 상관 관계에 대한 베이지안 확률 값이 저장된 데이터베이스와 상기 모션 측정 데이터를 비교하여 상기 센서가 미부착된 신체 부위의 동작을 추정하는 동작 추정부, 그리고
상기 추정된 사용자의 신체 부위의 동작 및 상기 모션 측정 데이터에 대응하는 상기 사용자의 자세를 추정하는 자세 추정부를 포함하며,
상기 데이터베이스는,
복수의 대상자들의 신체 부위 중 적어도 두 개 이상의 부위에 부착된 센서를 통해 측정된 상기 복수의 대상자들의 동작 정보에 대한 데이터들을 기 설정된 간격에 따라 그룹화하여 상기 동작 정보의 베이지안 확률 값을 저장하고,
상기 동작 추정부는,
상기 모션 측정 데이터에 대응하는 상기 데이터베이스의 범위들 중 상기 베이지안 확률 값이 가장 큰 범위를 상기 센서가 미부착된 신체 부위의 동작으로 추정하는 동작 추정 장치.An input unit for receiving motion measurement data on the motion of the body part to which the sensor is attached, measured through a sensor attached to at least one of the body parts of the user,
An operation estimating unit that compares the motion measurement data with a database storing a Bayesian probability value of a correlation between movements between body parts to estimate an operation of a body part to which the sensor is not attached,
And an attitude estimation unit for estimating an operation of the estimated body part of the user and the attitude of the user corresponding to the motion measurement data,
The database includes:
The method of claim 1, wherein the Bayesian probability value of the operation information is stored by grouping data on operation information of the plurality of subjects measured through a sensor attached to at least two of the body parts of the plurality of subjects,
Wherein the operation estimating unit includes:
And estimates the largest range of the Bayesian probability value among the ranges of the database corresponding to the motion measurement data as an operation of a body part to which the sensor is not attached.
상기 센서는,
근전도 측정 센서, 가속도 측정 센서, 회전 속도 측정 센서 및 방향 측정 센서 중 적어도 어느 하나를 포함하는 동작 추정 장치.6. The method of claim 5,
The sensor includes:
An electromyographic measurement sensor, an acceleration measurement sensor, a rotation speed measurement sensor, and a direction measurement sensor.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150161115A KR101731188B1 (en) | 2015-11-17 | 2015-11-17 | Motions estimation apparatus and method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150161115A KR101731188B1 (en) | 2015-11-17 | 2015-11-17 | Motions estimation apparatus and method thereof |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101731188B1 true KR101731188B1 (en) | 2017-04-27 |
Family
ID=58702529
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150161115A Expired - Fee Related KR101731188B1 (en) | 2015-11-17 | 2015-11-17 | Motions estimation apparatus and method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101731188B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102182413B1 (en) * | 2019-11-28 | 2020-11-25 | 한국전자기술연구원 | Apparatus for Behavior Recognition using Virtual Motion Generation and Method Therefor |
-
2015
- 2015-11-17 KR KR1020150161115A patent/KR101731188B1/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102182413B1 (en) * | 2019-11-28 | 2020-11-25 | 한국전자기술연구원 | Apparatus for Behavior Recognition using Virtual Motion Generation and Method Therefor |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112041785B (en) | Method for tracking hand gesture and electronic device thereof | |
| US10860091B2 (en) | Motion predictions of overlapping kinematic chains of a skeleton model used to control a computer system | |
| EP2418562B1 (en) | Modelling of hand and arm position and orientation | |
| Fang et al. | Development of a wearable device for motion capturing based on magnetic and inertial measurement units | |
| US20220155866A1 (en) | Ring device having an antenna, a touch pad, and/or a charging pad to control a computing device based on user motions | |
| CN103370672A (en) | Method and apparatus for tracking orientation of a user | |
| JP2010014712A (en) | Motion capture device and motion capture method | |
| Choi et al. | Development of a low-cost wearable sensing glove with multiple inertial sensors and a light and fast orientation estimation algorithm | |
| WO2020009715A2 (en) | Tracking user movements to control a skeleton model in a computer system | |
| Mohammadi et al. | Fingertip force estimation via inertial and magnetic sensors in deformable object manipulation | |
| CN110609621A (en) | Posture calibration method and human motion capture system based on micro-sensor | |
| Truppa et al. | An innovative sensor fusion algorithm for motion tracking with on-line bias compensation: Application to joint angles estimation in yoga | |
| Callejas-Cuervo et al. | Capture and analysis of biomechanical signals with inertial and magnetic sensors as support in physical rehabilitation processes | |
| CN115919250B (en) | A human body dynamic joint angle measurement system | |
| KR101731188B1 (en) | Motions estimation apparatus and method thereof | |
| Caputo et al. | A human postures inertial tracking system for ergonomic assessments | |
| JP2017120575A (en) | Posture operation detector | |
| Yang et al. | Improvement of optical tracking-based orientation estimation by fusing gyroscope information | |
| CN108628452B (en) | Virtual reality equipment, display control method and device based on virtual reality equipment | |
| JP2001344053A (en) | Operation input device | |
| JP2016206081A (en) | Operation inference device and operation inference method | |
| Oh | A Study on MTL Device Design and Motion Tracking in Virtual Reality Environments. | |
| O-larnnithipong et al. | Real-time implementation of orientation correction algorithm for 3D hand motion tracking interface | |
| CN111221407A (en) | Motion capture method and device for multiple fingers | |
| JP6499900B2 (en) | Haptic control device and haptic presentation device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20151117 |
|
| PA0201 | Request for examination | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20161025 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20170418 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20170421 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20170421 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee |
Payment date: 20210412 Start annual number: 5 End annual number: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20220413 Start annual number: 6 End annual number: 6 |
|
| PR1001 | Payment of annual fee |
Payment date: 20230328 Start annual number: 7 End annual number: 7 |
|
| PC1903 | Unpaid annual fee |
Termination category: Default of registration fee Termination date: 20250202 |