[go: up one dir, main page]

KR101950359B1 - 하이브리드 모션캡쳐 시스템의 위치 추정 방법 - Google Patents

하이브리드 모션캡쳐 시스템의 위치 추정 방법 Download PDF

Info

Publication number
KR101950359B1
KR101950359B1 KR1020160162077A KR20160162077A KR101950359B1 KR 101950359 B1 KR101950359 B1 KR 101950359B1 KR 1020160162077 A KR1020160162077 A KR 1020160162077A KR 20160162077 A KR20160162077 A KR 20160162077A KR 101950359 B1 KR101950359 B1 KR 101950359B1
Authority
KR
South Korea
Prior art keywords
capture system
motion capture
rigid body
error
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020160162077A
Other languages
English (en)
Other versions
KR20180062137A (ko
Inventor
김민경
박진하
정하형
Original Assignee
(주)코어센스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)코어센스 filed Critical (주)코어센스
Priority to KR1020160162077A priority Critical patent/KR101950359B1/ko
Publication of KR20180062137A publication Critical patent/KR20180062137A/ko
Application granted granted Critical
Publication of KR101950359B1 publication Critical patent/KR101950359B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/514—Depth or shape recovery from specularities
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G01P15/003—Kinematic accelerometers, i.e. measuring acceleration in relation to an external reference frame, e.g. Ferratis accelerometers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G01P15/14—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration by making use of gyroscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20044—Skeletonization; Medial axis transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Gyroscopes (AREA)

Abstract

본 발명은 광학식 모션캡쳐 시스템과 센서식 모션캡쳐 시스템이 융합된 하이브리드 모션캡쳐 시스템에서 센서식 모션캡쳐 시스템의 구성요소인 모션센서가 추정한 위치에 대한 오차를 광학식 모션캡쳐 시스템에서 보상할 수 있도록 하는 하이브리드 모션캡쳐 시스템의 위치 추정 방법에 관한 것이다.
본 발명에 따른 하이브리드 모션캡쳐 시스템의 위치 추정 방법은 센서식 모션캡쳐 시스템과 광학식 모션캡쳐 시스템의 강체(rigid body) 위치 추정 정보를 융합하여 강체의 위치를 추정하는 하이브리드 모션캡쳐 시스템의 위치 추정 방법으로서, 상기 센서식 모션캡쳐 시스템에서 가속도센서와 자이로센서가 구비된 모션센서를 통하여 강체의 움직임을 측정하여 강체의 위치와 속도 및 자세를 추정하는 단계와; 상기 광학식 모션캡쳐 시스템에서 광학식 카메라를 통하여 강체에 부착된 마커를 촬영하여 강체의 이동을 측정하여 강체의 위치 및 속도를 추정하는 단계와; 통합 칼만필터에서 상기 광학식 모션캡쳐 시스템과 센서식 모션캡쳐 시스템의 강체 위치 및 속도 추정 차이값을 입력받아, 현재 입력되는 차이값과 이전 시간에 입력된 차이값과 비교하여 추정 오차를 산출하고, 산출된 추정 오차를 통하여 최종 추정값을 계산하여 강체의 현재 위치를 추정하는 것을 특징으로 한다.

Description

하이브리드 모션캡쳐 시스템의 위치 추정 방법 {METHOD FOR POSITION ESTIMATION OF HYBIRD MOTION CAPTURE SYSTEM}
본 발명은 강체의 위치 추정 방법에 관한 것으로, 특히 광학식 모션캡쳐 시스템과 센서식 모션캡쳐 시스템이 융합된 하이브리드 모션캡쳐 시스템에서 센서식 모션캡쳐 시스템의 구성요소인 모션센서가 추정한 위치에 대한 오차를 광학식 모션캡쳐 시스템에서 보상할 수 있도록 하는 하이브리드 모션캡쳐 시스템의 위치 추정 방법에 관한 것이다.
모션 캡쳐(Motion Cature)란 인체 또는 사물 등(이하, 강체로 총칭한다)에 센서를 부착시키거나, 적외선 카메라 등을 이용하는 방법으로 강체의 움직임을 파악하여 디지털 형태로 기록하는 작업을 말한다. 이러한 모션 캡쳐를 통해 얻어지는 모션 캡쳐 데이터는 디지털 콘텐츠로서, 애니메이션이나 영화 게임, 동작분석, 재활 등 다양하게 활용된다.
종래 모션 캡쳐 시스템으로는 여러 대의 카메라를 통해서 반사 마커의 위치를 추적함으로서 강체의 모션 캡쳐를 수행하는 광학식 모션캡쳐 시스템(Optical Position System)이 있는데, 이러한 광학식 모션캡쳐 방식은 마커가 관찰 가능할 때 정밀한 위치정보를 제공해 줄 수 있다. 하지만, 이러한 광학식 모션캡쳐 시스템은 반사 마커를 촬영하는 가시카메라의 수와 빛 반사 등의 외부 교란 신호, 반사 마커의 가림에 의해 정상 동작이 불가능해지는 경우가 발생하는 단점이 있다.
다른 방식으로 인체나 사물에 모션센서를 부착하고 이 모션센서의 움직임을 파악하여 모션 캡쳐를 수행하는 센서식 모션캡쳐 시스템이 이용되기도 하는데, 이 방식은 모션센서를 부착하는 방식이기 때문에 광학식에 비하면 사용자의 착용이 수월한 편이다. 이러한 센서식 모션캡쳐 방식은 광학식 모션캡쳐 방식에 비해 외부 환경의 영향을 덜 받지만, 센서의 바이어스 오차, 환산계수 오차, 비정렬 오차, 초기정렬 오차 등의 요인으로 오차가 급격히 증가하는 문제점이 있었다.
대한민국 등록특허공보 제10-1483713호 (2015.01.12)
본 발명은 상기 종래 광학식 또는 센서식 모션캡쳐 시스템에서 발생하는 문제점을 해결하기 위하여 제안된 것으로서, 본 발명의 목적은 광학식 모션캡쳐 시스템과 센서식 모션캡쳐 시스템을 융합하여 서로의 단점을 보완하는 하이브리드 모션캡쳐 시스템을 제공하되, 하이브리드 모션캡쳐 과정에서 발생하는 오차를 보상하여 강체의 정확한 위치 추정이 가능하도록 하는 하이브리드 모션캡쳐 시스템의 위치 추정 방법을 제공하는 데 있다.
상기 목적을 달성하기 위한 본 발명에 따른 하이브리드 모션캡쳐 시스템의 위치 추정 방법은 센서식 모션캡쳐 시스템과 광학식 모션캡쳐 시스템의 강체(rigid body) 위치 추정 정보를 융합하여 강체의 위치를 추정하는 하이브리드 모션캡쳐 시스템의 위치 추정 방법으로서, 상기 센서식 모션캡쳐 시스템에서 가속도센서와 자이로센서가 구비된 모션센서를 통하여 강체의 움직임을 측정하여 강체의 위치와 속도 및 자세를 추정하는 단계와; 상기 광학식 모션캡쳐 시스템에서 광학식 카메라를 통하여 강체에 부착된 마커를 촬영하여 강체의 이동을 측정하여 강체의 위치 및 속도를 추정하는 단계와; 통합 칼만필터에서 상기 광학식 모션캡쳐 시스템과 센서식 모션캡쳐 시스템의 강체 위치 및 속도 추정 차이값을 입력받아, 현재 입력되는 차이값과 이전 시간에 입력된 차이값과 비교하여 추정 오차를 산출하고, 산출된 추정 오차를 통하여 최종 추정값을 계산하여 강체의 현재 위치를 추정하게 된다.
여기에서, 상기 칼만필터는 강체 위치에 대한 최종 추정값을 센서식 모션캡쳐 시스템에 피드백하여, 상기 센서식 모션캡쳐 시스템의 모션센서 오차 누적을 보상하도록 한다.
상기 통합 칼만필터는 이전 시간에서의 상기 광학식 모션캡쳐 시스템과 센서식 모션센서 시스템의 출력값 차이와 센서식 모션캡쳐 시스템의 모션센서 출력값 센서오차를 이용하여 예측값을 계산하고, 상기 센서식 모션캡쳐 시스템의 모션센서에서 추정한 강체의 속도와 상기 두 시스템의 위치 차이를 이용하여 측정값을 계산하며, 상기 구해진 측정값에서 예측값을 빼줌으로서 오차 값(
Figure 112016117746254-pat00001
)을 계산하고, 상기 계산된 오차 값에 칼만이득(Kk)을 곱한 값과 이전 추정값을 더함으로서 최종 추정값(
Figure 112016117746254-pat00002
)을 산출하게 된다.
상기 통합 칼만필터의 상태모델은 다음의 수학식과 같이 나타낸다.
[수학식]
Figure 112016117746254-pat00003
(여기서, x는 광학식 모션캡쳐 시스템과 센서식 모션센서 시스템의 출력값 차이와 모션센서 출력값의 센서오차를 원소로 하는 입력값이고, F는 시간(t)에 따라 에러를 전달하는 다이나믹 행렬로 위치 오차, 속도 오차, 자세 오차, 자이로센서 오차, 가속도센서 오차를 포함하며, Gw(t)는 노이즈를 나타낸다)
또한, 상기 통합 칼만필터의 업데이트 단계를 위한 측정 상태모델은 다음의 수학식과 같이 나타낸다.
[수학식]
Figure 112016117746254-pat00004
(여기서,
Figure 112016117746254-pat00005
은 모션센서에서 추정한 속도를 나타내고,
Figure 112016117746254-pat00006
은 속도의 초기값을 나타내며,
Figure 112016117746254-pat00007
은 초기속도의 불확실성을 표현한 것이다. 또한,
Figure 112016117746254-pat00008
는 광학식에서 추적한 위치값이고,
Figure 112016117746254-pat00009
는 모션센서에서 추정한 위치값이며,
Figure 112016117746254-pat00010
는 측정한 위치의 불확실성을 나타낸다)
본 발명에 따른 하이브리드 모션캡쳐 시스템의 위치 추정 방법은 센서식 모션센서 시스템과 광학식 모션센서 시스템의 단점을 서로 보완하기 위해, 광학식 모션캡쳐 시스템에서 추정한 오차와 센서식 모션캡쳐 시스템에서 추정한 오차를 통합칼만필터를 통해서 융합하고, 통합칼만필터에서 추정한 오차를 모션센서로 피드백하는 방식으로 오차를 보정함으로써 보다 정확한 위치 추정이 가능한 효과가 있다.
도 1은 본 발명에 따른 하이브리드 모션캡쳐 시스템의 개념도,
도 2는 본 발명에 따른 하이브리드 모션캡쳐 시스템에서 광학식 모션캡쳐 시스템과 센서식 모션캡쳐 시스템의 융합 방식을 나타낸 개념도,
도 3은 본 발명에 따른 하이브리드 모션캡쳐 시스템의 하드웨어 구성도,
도 4는 본 발명에 따른 하이브리드 모션캡쳐 시스템의 위치 추정 방법을 나타낸 개념도,
도 5는 본 발명에 따른 하이브리드 모션캡쳐 시스템의 위치추정 알고리즘의 처리 흐름도,
도 6은 본 발명에 따른 센서식 모션캡쳐 시스템에서 강체의 속도, 위치, 자세를 추정하는 과정을 나타낸 처리 흐름도,
도 7은 본 발명에 따른 광학식 모션캡쳐 시스템에서 반사 마커의 위치와 속도를 추적하는 과정을 나타낸 처리 흐름도,
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 하이브리드 모션캡쳐 시스템의 개념도이고, 도 2는 하이브리드 모션캡쳐 시스템에서 광학식 모션캡쳐 시스템과 센서식 모션캡쳐 시스템의 융합 방식을 나타낸 개념도이다.
도 1과 도 2에 도시된 바와 같이, 본 발명에 따른 하이브리드 모션캡쳐 시스템은 강체(인체 또는 사물)에 부착된 센서식 모션센서 시스템의 신호를 분석하여 인체의 3차원 움직임을 파악하고, 광학식 모션캡쳐 시스템을 통하여 강체에 부착된 반사 마커의 이동을 촬영하고 분석하여 위치 이동을 파악하며, 이러한 인체의 3차원 움직임 정보와 인체의 위치 이동 정보를 융합하여 강체의 고정밀 위치 추정을 수행하는 시스템이다. 즉, 자세측정센서 기반의 모션센서는 롤, 피치, 요의 자세정보만을 제공하기 때문에 강체의 움직임은 표현하지만 공간상에서의 이동정보는 표현할 수 없는데, 여기에 카메라 기반의 광학식 위치측정 시스템을 결합하여 모션캡쳐시 자세정보뿐만 아니라 이동 정보를 제공할 수 있게 된다.
도 3은 본 발명의 실시예에 따른 하이브리드 모션캡쳐 시스템의 하드웨어 구성도를 나타낸 것이고, 도 4는 하이브리드 모션캡쳐 시스템의 위치 추정 방법을 나타낸 개념도이다.
도 3과 도 4에 도시된 바와 같이, 본 발명에 따른 하이브리드 모션캡쳐 시스템은 센서식 모션캡쳐 시스템과 광학식 모션캡쳐 시스템 및 하이브리드 위치추정 융합 시스템을 포함한다.
상기 센서식 모션캡쳐 시스템은 속도와 위치 추정을 위한 가속도센서(Accelerometer)와, 자세 추정을 위한 자이로센서(Gyroscope)와, 상기 가속도센서와 자이로센서 신호를 분석하여 강체의 움직임을 추청하는 마이크로프로세서와, 외부 장치와 무선통신을 수행하는 무선통신모듈을 포함한다.
상기 광학식 모션캡쳐 시스템은 강체(Rigid Body)가 부착되는 반사 마커와, 반사 마커 촬영을 통하여 강체를 추적(tracking)하여 강체의 위치와 속도를 추정하는 광학식 카메라를 포함하는데, 본 발명의 실시예에서 상기 반사 마커는 강체에 3개가 부착된다.
상기 하이브리드 위치추정 융합 시스템은 센서식 모션캡쳐 시스템과 광학식 모션캡쳐 시스템의 위치 추정 정보를 융합하여 보다 정밀하게 강체의 위치를 추정하게 되는데, 이러한 위치 추정 정보의 융합은 하이브리드 위치추정 융합 시스템에 탑재된 위치추정 융합 알고리즘에 의해 수행된다. 상기 위치추정 융합 알고리즘은 광학식 모션캡쳐 시스템을 통하여 추정되는 마커 위치 및 속도 정보와, 센서식 모션캡쳐 시스템을 통하여 추정되는 센서 위치와 속도 및 자세 정보의 오차값을 통합 칼만필터를 통하여 융합하여 강체의 통합위치, 속도, 자세 추정값을 산출함으로써 강체의 위치를 추정하게 된다.
이하에서는 상기 하이브리드 위치추정 알고리즘을 통하여 강체의 위치가 추정되는 과정에 대하여 상세히 설명하기로 한다.
도 5는 본 발명의 실시예에 따른 하이브리드 모션캡쳐 시스템의 위치추정 알고리즘의 처리 흐름도를 나타낸 것이다. 도 5에 따른 위치추정 알고리즘의 동작 설명은 (a) 센서식 모션캡쳐 시스템의 위치 추정 과정, (b) 광학식 모션캡쳐 시스템의 위치 추정 과정, (c) 센서식 모션캡쳐 시스템 및 광학식 모션캡쳐 시스템의 위치 추적 융합 과정으로 나누어 설명하기로 한다.
(a) 센서식 모션캡쳐 시스템의 위치 추정
먼저, 센서식 모션캡쳐 시스템의 모션센서에서 자이로센서와 가속도센서의 출력값을 통하여 강체의 자세와 위치를 추정하게 된다. 도 5에서
Figure 112016117746254-pat00011
는 3차원 각 축의 가속도를 나타내고,
Figure 112016117746254-pat00012
는 3차원 각 축의 각속도를 나타내며,
Figure 112016117746254-pat00013
는 3차원 자세인 롤(roll), 피치(pitch), 요(yaw)의 초기값을 나타낸다. 상기
Figure 112016117746254-pat00014
와
Figure 112016117746254-pat00015
로 속도, 위치, 자세를 추정하는 과정은 도 6에 도시되어 있다.
상기 도 6에서, 자세추정계산은 다음의 수학식 1을 사용한다.
Figure 112016117746254-pat00016
수학식 1의 최종 추정값인
Figure 112016117746254-pat00017
은 모션센서에서 계산한 3차원 위치를 나타내며,
Figure 112016117746254-pat00018
은 모션센서의 자세를 나타낸다.
(b) 광학식 모션캡쳐 시스템의 위치 추정
광학식 모션캡쳐 시스템의 광학식 카메라에서 반사 마커의 위치를 추적하여 속도와 3차원상의 절대위치를 출력하게 되는데, 도 7은 광학식 카메라에서 반사 마커의 위치와 속도를 추적하는 과정을 나타낸 처리 흐름도이다.
도 7에서,
Figure 112016117746254-pat00019
는 카메라로 촬영한 2차원 이미지 내의 마커 위치를 나타낸다. 또한, n은 다중 카메라의 수, j는 마커의 수를 나타낸다. 2차원 위치 행렬과 카메라 투영행렬
Figure 112016117746254-pat00020
로 다음의 수학식 2를 이용하여 3차원 위치를 계산한다.
Figure 112016117746254-pat00021
상기 수학식 2에서, 최종 출력값인
Figure 112016117746254-pat00022
은 마커가 구성하는 강체(rigid body)의 위치값을 추적한 결과이며, 그 위치값을 적분하여 강체의 속도
Figure 112016117746254-pat00023
를 구한다. 속도의 e,n,u는 east(동쪽), north(북쪽), up(상) 방향의 속도를 나타낸다.
(c) 센서식 모션캡쳐 시스템 및 광학식 모션캡쳐 시스템의 위치 추정 융합
상기 도 5에 도시된 바와 같이, 본 발명에서는 상기 센서식 모션캡쳐 시스템과 광학식 모션캡쳐 시스템을 융합하여 위치를 추정하기 위한 방법으로 통합 칼만필터를 설계하여 사용한다.
본 발명에 따른 하이브리드 모션캡쳐 시스템의 칼만필터 상태모델(System Equation)은 노이즈
Figure 112016117746254-pat00024
를 포함하여 다음의 수학식 3과 같이 나타낼 수 있다.
Figure 112016117746254-pat00025
위 상태모델의 입력값인 x는 다음의 수학식 4와 같이 두 시스템의 출력값의 차이와 모션센서 출력값의 센서오차를 원소로 가진다.
Figure 112016117746254-pat00026
여기서,
Figure 112016117746254-pat00027
는 위치 오차를 나타내는 벡터이고,
Figure 112016117746254-pat00028
는 속도 오차 벡터이며,
Figure 112016117746254-pat00029
는 자세 오차 벡터이고,
Figure 112016117746254-pat00030
는 드리프트(오차누적)가 포함된 자이로센서 오차 벡터이며,
Figure 112016117746254-pat00031
는 바이어스를 포함한 가속도센서의 오차 벡터를 나타낸다.
상기 수학식 3의 상태모델에서 시간에 따라 에러를 전달하는 다이나믹 행렬인 F는 다음의 수학식 5와 같이 표현한다.
Figure 112016117746254-pat00032
상기 다이나믹 행렬 F의 각 요소 중, l은 지역좌표계(Local-Level frame), e는 지구중심고정좌표계(Earth Centered Earth Fixed frame), i는 관성좌표계(Inertial-Level frame), b는 동체좌표계(Body-Level frame)를 나타낸다.
여기에서, 위치 오차를 계산하는
Figure 112016117746254-pat00033
는 다음의 수학식 6과 같이 표현된다.
Figure 112016117746254-pat00034
여기서, h는 수직방향의 높이(height),
Figure 112016117746254-pat00035
은 자오선 동서권 중심의 지구 반지름을 나타내고, φ는 강체의 앞/뒤 이동을 나타낸다.
또한, 상기 수학식 5에서 속도 오차를 계산하는
Figure 112016117746254-pat00036
의 각 항은 다음의 수학식들과 같은데, 속도 오차 계산에서 3, 4, 5항은 1, 2항에 비해 매우 작은 값으로 무시할 수 있다.
먼저, 1항은 다음의 수학식 7과 같다.
Figure 112016117746254-pat00037
여기서, 가속도 f의 e,n,u는 east(동쪽), north(북쪽), up(상) 방향의 속도를 나타낸다.
2항은 다음의 수학식 8과 같다.
Figure 112016117746254-pat00038
여기서,
Figure 112016117746254-pat00039
은 동체좌표계에서 지역좌표계로의 변환 행렬로, 다음의 수학식 9와과 같이 표현된다.
Figure 112016117746254-pat00040
또한, 3항과 4항 및 5항은 다음의 수학식 10과 수학식 11 및 수학식 12와 같다.
Figure 112016117746254-pat00041
Figure 112016117746254-pat00042
Figure 112016117746254-pat00043
한편, 상기 수학식 5에서 자세 오차를 계산하는
Figure 112016117746254-pat00044
는
Figure 112016117746254-pat00045
로 표현되며, 각 항은 다음의 수학식 13 내지 15와 같이 표현한다.
Figure 112016117746254-pat00046
Figure 112016117746254-pat00047
Figure 112016117746254-pat00048
여기서, R 행렬은 위의
Figure 112016117746254-pat00049
와 동일하다.
한편, 상기 수학식 5에서 관성센서 오차를 계산하는 4행과 5행은 각각 자이로센서와 가속도센서의 오차를 계산하며, 다음의 수학식들과 같이 표현될 수 있다. 먼저, 자이로센서 오차식은 다음의 수학식 16과 같다.
Figure 112016117746254-pat00050
여기서,
Figure 112016117746254-pat00051
는
Figure 112016117746254-pat00052
의 자기상관배열이고,
Figure 112016117746254-pat00053
는 센서자체의 오차이며, ω는 가우시간 노이즈를 나타낸다.
다음으로 가속도센서의 오차식은 다음의 수학식 17과 같다.
Figure 112016117746254-pat00054
여기서,
Figure 112016117746254-pat00055
는
Figure 112016117746254-pat00056
의 자기상관배열이고,
Figure 112016117746254-pat00057
는 센서자체 오차이며, ω는 가우시간 노이즈를 나타낸다.
한편, 칼만필터의 업데이트 단계를 위한 측정 상태모델은 다음의 수학식 18과 같이 표현할 수 있다.
Figure 112016117746254-pat00058
여기에서, z와 x는 동일한 값이므로, H는 다음의 수학식 19와 같이 표현된다.
Figure 112016117746254-pat00059
따라서, 상기 측정 상태모델 z는 다음의 수학식 20과 같이 표현할 수 있다.
Figure 112016117746254-pat00060
여기서,
Figure 112016117746254-pat00061
은 모션센서에서 추정한 속도를 나타내고,
Figure 112016117746254-pat00062
은 속도의 초기값을 나타내며,
Figure 112016117746254-pat00063
은 초기속도의 불확실성을 표현한 것이다. 또한,
Figure 112016117746254-pat00064
는 광학식에서 추적한 위치값이고,
Figure 112016117746254-pat00065
는 모션센서에서 추정한 위치값이며,
Figure 112016117746254-pat00066
는 측정한 위치의 불확실성을 나타낸다.
본 발명에서는 이러한 상태모델을 이용하여 칼만필터를 설계하는데, 도 8은 본 발명의 실시예에 따른 상태모델을 이용하여 칼만필터가 설계되는 과정을 나타낸 처리 흐름도이다.
도 8에서, Q는 공정 잡음인 시스템 잡음 공분산 행렬이고, R은 측정 잡음 공분산 행렬을 나타낸다.
시간 갱신(Time Update)에서는 이전 시간에서의 x와, 두 시스템(광학식 모션캡쳐 시스템 및 센서식 모션캡쳐 시스템)의 출력값의 차이와, 센서식 모션캡쳐 시스템의 모션센서 출력값의 센서오차로 미분된 예측값을 구한다. 그리고, 모션센서에서 추정한 속도와 두 시스템의 위치 차이를 이용하여 측정치 갱신(Measurement Update)에서 측정값을 구한다.
이렇게 구한 측정값에서 예측값을 빼줌으로서 오차
Figure 112016117746254-pat00067
를 구하고, 이 값에 칼만이득(Kk)을 곱한 값과 이전 추정값을 더함으로서 최종 추정값
Figure 112016117746254-pat00068
를 구하게 된다. 또한,
Figure 112016117746254-pat00069
는 오차공분산으로 이 역시 업데이트되어 예측치 계산에 사용되게 된다.
이와 같이 본 발명에서는 광학식 모션캡쳐 시스템에서 추정한 위치와 센서식 모션캡쳐 시스템에서 추정한 위치의 오차를 통합 칼만필터를 통해서 융합하고, 통합 칼만필터에서 추정한 오차를 모션센서로 피드백하여 모션센서의 오차를 보정함으로써 정확한 강체의 위치 추정이 가능해진다. 즉, 센서식 모션캡쳐 시스템에서 추정한 속도와 위치의 오차누적을 광학식 모션캡쳐 시스템에서 추적한 마커의 위치와 속도로 보상함으로써 정확한 모션측정이 가능해진다.
본 발명은 광학식 모션캡쳐 시스템과 센서식 모션캡쳐 시스템의 출력값이 아닌, 두 시스템의 오차를 칼만필터의 입력값으로 가지는 오차모델을 설계하여 모션센서에서 나오는 출력값에 되먹임(feedback)함으로써 오차누적을 효과적으로 보상할 수 있다. 또한, 두 시스템의 최종 출력값을 보상할 뿐만 아니라, 모션센서의 센서 오차(자이로센서, 가속도센서 오차) 또한 칼만필터의 상태변수로 설계함으로써 시간갱신(Time Update) 단계에서 정확한 예측값을 추정할 수 있게 된다.
이러한 본 발명은 상술한 실시예에 한정되는 것은 아니며 본 발명이 속하는 기술 분야에서 통상의 지식을 갖는 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구 범위의 균등범위 내에서 다양한 수정 및 변형이 이루어질 수 있음은 물론이다.

Claims (5)

  1. 센서식 모션캡쳐 시스템에서 가속도센서와 자이로센서가 구비된 모션센서를 통하여 강체(rigid body)의 움직임을 측정하여 강체의 위치와 속도 및 자세를 추정하는 단계(a)와, 광학식 모션캡쳐 시스템에서 광학식 카메라를 통하여 강체에 부착된 마커를 촬영하여 강체의 이동을 측정하여 강체의 위치 및 속도를 추정하는 단계와(b)와, 통합 칼만필터에서 상기 광학식 모션캡쳐 시스템과 센서식 모션캡쳐 시스템의 강체 위치 및 속도 추정 차이값을 입력받아 현재 입력되는 차이값과 이전 시간에 입력된 차이값과 비교하여 추정 오차를 산출하고 산출된 추정 오차를 통하여 최종 추정값을 계산하여 강체의 현재 위치를 추정하는 단계((c);를 포함하는 하이브리드 모션캡쳐 시스템의 위치 추정 방법으로서,
    상기 통합 칼만필터는 강체 위치에 대한 최종 추정값을 센서식 모션캡쳐 시스템에 피드백하여, 상기 센서식 모션캡쳐 시스템의 모션센서 오차 누적을 보상하되,
    상기 통합 칼만필터는 이전 시간에서의 상기 광학식 모션캡쳐 시스템과 센서식 모션센서 시스템의 출력값 차이와 센서식 모션캡쳐 시스템의 모션센서 출력값 센서오차를 이용하여 예측값을 계산하고, 상기 센서식 모션캡쳐 시스템의 모션센서에서 추정한 강체의 속도와 상기 두 시스템의 위치 차이를 이용하여 측정값을 계산하며, 상기 구해진 측정값에서 예측값을 빼줌으로서 오차 값(
    Figure 112018065116158-pat00088
    )을 계산하고, 상기 계산된 오차 값에 칼만이득(Kk)을 곱한 값과 이전 추정값을 더함으로서 최종 추정값(
    Figure 112018065116158-pat00089
    )을 산출하며,
    상기 통합 칼만필터의 상태모델은 다으의 수학식과 같이 나타내는 것을 특징으로 하는 하이브리드 모션캡쳐 시스템의 위치 추정 방법.
    Figure 112018065116158-pat00090

    (여기서, x는 광학식 모션캡쳐 시스템과 센서식 모션센서 시스템의 출력값 차이와 모션센서 출력값의 센서오차를 원소로 하는 입력값이고, F는 시간(t)에 따라 에러를 전달하는 다이나믹 행렬로 위치 오차, 속도 오차, 자세 오차, 자이로센서 오차, 가속도센서 오차를 포함하며, Gw(t)는 노이즈를 나타낸다)
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제 1항에 있어서,
    상기 통합 칼만필터의 업데이트 단계를 위한 측정 상태모델은 다음의 수학식과 같이 나타내는 것을 특징으로 하는 하이브리드 모션캡쳐 시스템의 위치 추정 방법.
    [수학식]
    Figure 112018065116158-pat00073

    (여기서,
    Figure 112018065116158-pat00074
    은 모션센서에서 추정한 속도를 나타내고,
    Figure 112018065116158-pat00075
    은 속도의 초기값을 나타내며,
    Figure 112018065116158-pat00076
    은 초기속도의 불확실성을 표현한 것이다. 또한,
    Figure 112018065116158-pat00077
    는 광학식에서 추적한 위치값이고,
    Figure 112018065116158-pat00078
    는 모션센서에서 추정한 위치값이며,
    Figure 112018065116158-pat00079
    는 측정한 위치의 불확실성을 나타낸다)
KR1020160162077A 2016-11-30 2016-11-30 하이브리드 모션캡쳐 시스템의 위치 추정 방법 Active KR101950359B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160162077A KR101950359B1 (ko) 2016-11-30 2016-11-30 하이브리드 모션캡쳐 시스템의 위치 추정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160162077A KR101950359B1 (ko) 2016-11-30 2016-11-30 하이브리드 모션캡쳐 시스템의 위치 추정 방법

Publications (2)

Publication Number Publication Date
KR20180062137A KR20180062137A (ko) 2018-06-08
KR101950359B1 true KR101950359B1 (ko) 2019-02-20

Family

ID=62600579

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160162077A Active KR101950359B1 (ko) 2016-11-30 2016-11-30 하이브리드 모션캡쳐 시스템의 위치 추정 방법

Country Status (1)

Country Link
KR (1) KR101950359B1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112513597A (zh) * 2018-08-28 2021-03-16 东京电力控股株式会社 空间温度扫描器和空间温度的显示方法
CN110741413B (zh) * 2018-11-29 2023-06-06 深圳市瑞立视多媒体科技有限公司 一种刚体配置方法及光学动作捕捉方法
KR102262003B1 (ko) * 2018-12-06 2021-06-09 (주)코어센스 융합형 모션 캡쳐 시스템 기반의 모션 구현 장치 및 그 방법
KR102172362B1 (ko) * 2018-12-06 2020-10-30 (주)코어센스 인체 무게 중심의 이동을 이용한 모션 캡쳐 장치 및 그 방법
WO2020116837A1 (ko) * 2018-12-06 2020-06-11 (주)코어센스 융합형 모션 캡쳐 시스템 기반의 모션 구현 장치 및 그 방법
KR102376973B1 (ko) * 2020-03-25 2022-03-21 주식회사 아이팝 접선 속도 벡터를 이용한 휴먼 모션 구현의 오차 제거 방법
KR102472579B1 (ko) * 2020-07-16 2022-11-30 주식회사 아이팝 가상 소방 훈련을 위한 모션 캡쳐 시스템 및 이를 이용한 모션 캡쳐 방법
KR102478415B1 (ko) * 2020-07-17 2022-12-19 주식회사 아이팝 교차 공분산을 이용한 3차원 좌표 추정 방법
KR102427073B1 (ko) * 2020-12-22 2022-07-29 주식회사 뉴메틱 3차원 애니메이션의 모션 보정 방법 및 서버
KR102590257B1 (ko) * 2023-05-03 2023-10-19 (주)한성컴퓨터 와이-파이 위치 추적 기술을 이용한 스마트 인터랙티브 화이트보드 장치 및 그 제어방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100761011B1 (ko) * 2006-05-30 2007-09-21 학교법인 인하학원 카메라형 태양센서를 이용한 관성항법시스템의자세보정장치 및 방법
KR101080078B1 (ko) * 2009-12-08 2011-11-04 숭실대학교산학협력단 통합센서 기반의 모션 캡쳐 시스템

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101483713B1 (ko) 2008-06-30 2015-01-16 삼성전자 주식회사 모션 캡쳐 장치 및 모션 캡쳐 방법
KR20130049610A (ko) * 2011-11-04 2013-05-14 삼성전자주식회사 이동 기기 및 보행 로봇

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100761011B1 (ko) * 2006-05-30 2007-09-21 학교법인 인하학원 카메라형 태양센서를 이용한 관성항법시스템의자세보정장치 및 방법
KR101080078B1 (ko) * 2009-12-08 2011-11-04 숭실대학교산학협력단 통합센서 기반의 모션 캡쳐 시스템

Also Published As

Publication number Publication date
KR20180062137A (ko) 2018-06-08

Similar Documents

Publication Publication Date Title
KR101950359B1 (ko) 하이브리드 모션캡쳐 시스템의 위치 추정 방법
US8761439B1 (en) Method and apparatus for generating three-dimensional pose using monocular visual sensor and inertial measurement unit
EP3679549B1 (en) Visual-inertial odometry with an event camera
US20210012520A1 (en) Distance measuring method and device
US11132810B2 (en) Three-dimensional measurement apparatus
KR101725060B1 (ko) 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
JP4989660B2 (ja) モーションキャプチャー装置およびそれに係る方法
JP5992184B2 (ja) 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム
US8494225B2 (en) Navigation method and aparatus
US10322819B2 (en) Autonomous system for taking moving images from a drone, with target tracking and improved target location
US7467061B2 (en) Information processing method and apparatus for finding position and orientation of targeted object
KR101776621B1 (ko) 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
JP5027747B2 (ja) 位置測定方法、位置測定装置、およびプログラム
US20180075609A1 (en) Method of Estimating Relative Motion Using a Visual-Inertial Sensor
US20180075614A1 (en) Method of Depth Estimation Using a Camera and Inertial Sensor
US20180113469A1 (en) Vision-Aided Inertial Navigation with Loop Closure
CN111723624B (zh) 一种头部运动跟踪方法和系统
EP2917693A1 (en) Method to determine a direction and amplitude of a current velocity estimate of a moving device
CN114719848A (zh) 基于视觉与惯性导航信息融合神经网络的无人机高度估算方法
KR101737950B1 (ko) 지형참조항법에서 영상 기반 항법해 추정 시스템 및 방법
CN113587934A (zh) 一种机器人、室内定位方法、装置和可读存储介质
EP3614341A1 (en) Apparatus, method and computer program for detecting the form of a deformable object
JP2005062083A (ja) 位置誤差補正機能を持つ測量システム
JP5267100B2 (ja) 運動推定装置及びプログラム
Qian et al. Optical flow based step length estimation for indoor pedestrian navigation on a smartphone

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20161130

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20180102

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20181119

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20190214

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20190214

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20220110

Start annual number: 4

End annual number: 4

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20230911

PR0401 Registration of restoration

Patent event code: PR04011E01D

Patent event date: 20230911

Comment text: Registration of Restoration

PR1001 Payment of annual fee

Payment date: 20230911

Start annual number: 5

End annual number: 5

R401 Registration of restoration
PR1001 Payment of annual fee

Payment date: 20231219

Start annual number: 6

End annual number: 6