KR100507780B1

KR100507780B1 - 고속 마커프리 모션 캡쳐 장치 및 방법

Info

Publication number: KR100507780B1
Application number: KR10-2002-0081954A
Authority: KR
Inventors: 박창준; 이지형; 김도형; 남승우; 백성민; 이인호; 김성은
Original assignee: 한국전자통신연구원
Priority date: 2002-12-20
Filing date: 2002-12-20
Publication date: 2005-08-17
Anticipated expiration: 2022-12-20
Also published as: US7239718B2; KR20040055310A; US20040119716A1

Abstract

본 발명은 고속 마커프리 모션 캡쳐 장치 및 방법에 관한 것이다.

본 발명은 조명 변화나 배경 또는 카메라의 잡음, 동작자의 여러 동작에 대해 강건하게 머리, 손, 발, 몸통, 팔, 다리 등과 같은 신체의 특정 끝 부분(End-effector)에 대응하는 신체 특징점을 고속 검출(detection)할 수 있고, 추출된 신체 특징점을 3차원 공간상에서 안정적으로 직접 추적(tracking)할 수 있으며, 조명 조건의 변화나 그림자로 인한 특징점의 위치 오차를 자동으로 보정하고, 특징들간의 겹침이나 특징의 사라짐에 대해서도 안정적으로 특징점을 추적할 수 있으며, 추출된 신체 특징점의 3차원 좌표를 이용하여 중간 관절 좌표를 추정할 때에, 모션 데이터베이스의 활용 없이도 동작자의 중간 관절 위치를 사실성 높게 추정하여 인체 모델로 복원(restoration)하도록 되어 있으며,

이에 따라서, 모션 캡쳐에서 필요로 하는 3D 모션 데이터의 안정성과 사실성을 확보할 수 있다.

Description

고속 마커프리 모션 캡쳐 장치 및 방법 {Apparatus and method for high-speed marker-free motion capture}

본 발명은 애니메이션, 영화, 방송물, 게임 등과 같은 3D 영상컨텐츠 제작 분야에서 사용되는 모션 캡쳐 장치 및 방법에 관한 것이며, 보다 상세히는 고속 마커프리 모션 캡쳐 장치 및 방법에 관한 것이다.

공지된 바와 같이, 모션 캡쳐 기술은 애니메이션, 영화, 방송물, 게임 등과 같은 3D 영상컨텐츠 제작 분야에서 캐릭터의 자연스럽고 사실성 높은 애니메이션을 생성하기 위해 폭 넓게 사용되고 있다.

이와 같은 종래의 모션 캡쳐 기술은 연기자의 관절에 부착하는 센서의 종류에 따라, 자기장의 변화량을 이용하여 위치를 측정하는 자기식, 관절의 구부러짐을 기계적인 방법으로 직접 측정하는 기계식, 카메라로 획득한 수동(적외선) 또는 능동(LED, 컬러) 마커들의 영상을 이용하는 광학식, 관절의 구부러짐의 정도에 따른 빛의 전달량 변화를 이용하는 광섬유 방식 등으로 구분된다.

그러나, 이러한 종래의 모션 캡쳐 기술은 동작자의 옷이나 몸에 센서 혹은 마커를 붙이고, 제한된 공간과 조명 조건에서 동작하여야 하는 단점이 있다.

한편, 상기와 같은 종래의 모션 캡쳐 기술에서는 머리, 손, 발과 같은 인체 특정 부위를 검출하기 위하여 해당되는 화소들을 덩어리(blob) 모델로 만들어 영상에서 유사한 속성을 가지는 인접 화소들을 모델과 비교하는 방법을 사용하거나 윤곽선에 기반하여 윤곽선의 형태와 세기 등을 이용하여 검출하는 방법들을 사용하였는데, 화소들의 덩어리 모델을 만드는 경우에는 유사한 속성을 가지는 화소들을 덩어리로 만드는 과정이 복잡하고, 잡음이 많은 경우에는 덩어리로 만들기가 어렵고, 3차원적인 동작에 따라 덩어리의 형태가 많이 변하기 때문에 여러 각도에 대한 덩어리 모델을 모두 만들지 못하여 안정적으로 고속 검출하는 데에 어려운 점이 있다.

실제로, 종래의 모션 캡쳐 기술에서 윤곽선에 기반하여 신체 끝 부분을 검출하는 경우에는 검출하지 못하는 동작 유형이 있다.

예컨대, 손을 머리 위로 들어 손이 머리를 가리게 되는 경우에는 머리에 형성되던 윤곽선이 생기지 않게 되어 머리를 검출할 수 없거나, 윤곽선이 형성되더라도 일반적인 머리의 윤곽선과 모양이 많이 다르게 되므로 안정적으로 머리를 검출하기가 어려웠다. 또한, 손이 몸통 앞으로 위치하게 되면 손 부분에서의 윤곽선이 사라져서 손 검출이 불가능하게 되고, 발을 검출하는 경우에는 지면에 발이 붙어 있으면 윤곽선의 형태나 강도와 같은 속성의 변화 없이 안정적으로 검출되지만, 발을 드는 경우에는 조명 조건 변화, 촬상 소자에 맺히는 상의 크기 변화 등으로 인해 발의 실제 위치를 정확히 찾기가 어렵게 된다.

상기와 같은 모션 캡쳐 기술에서 신체 특정 부위를 3차원 공간상에서 추적하는 방법은 3차원 공간 정보를 획득한 카메라의 영상을 2차원 평면상에서 추적을 시도하므로 깊이 정보와 같은 3차원 공간상의 많은 정보를 취급하지 못하는 단점을 내포하거나, 또는 동작자의 윤곽선 모델을 사용하여 신체 특징을 구별함으로 인해 머리, 손, 발과 같은 특징점의 정확한 위치를 추출하기 힘들고, 특징점간의 겹침이나 사라짐에 대한 현상을 처리하지 못하는 단점이 있었다.

특히, 종래의 모션 캡쳐 기술에서 머리, 손, 발과 같은 신체 끝 부분 특징점을 이용하여 동작자의 중간 관절 위치를 추정하기 위한 방법으로서, 4개의 마그네틱 센서를 동작자의 양손과 허리, 머리에 부착하여 위치정보를 캡쳐한 후, 이 정보를 이용하여 신체 상체의 중간관절의 위치를 생성하도록 된 N.Badler, M.Hollick 와 J.Granieri의 논문(Real-time Control of a Virtual Human Using Minimal Sensors., Presence, 2(1):82-86, 1993)과, 6대 카메라로부터 동작자의 움직임 영상을 캡쳐하여 영상으로부터 추출되는 실루엣 정보를 이용하여 신체 특징점의 위치를 추출하고, 이들을 이용하여 중간 관절의 3차원 좌표를 계산하여 구한 중간 관절 좌표와 캡쳐된 특징점 위치를 이용하여 미리 제공되는 데이터베이스에서 유사한 움직임을 선택하여 적용하도록 된 Ryuya Hoshino, Satoshi Yonemoto, Daisaku Arita와 Rin-ichiro Taniguchi의 논문(Real-time Motion Capture System Based on Silhouette Contour Analysis and Inverse Kinematics, FCV2001, 2001, p157-163)이 발표된 바 있으나, 전자의 논문에 개시된 방법은 상체의 움직임만으로 제한되어 있으며, 주변 환경 변화에 민감한 센서로 인해 캡쳐되는 위치 정보에 노이즈가 포함되고, 마그네틱 센서의 부착으로 인하여 동작에 많은 제한을 받게 되는 단점이 있으며, 후자의 논문에 개시된 방법은 많은 상황에 대한 별도의 데이터베이스를 구축하여야 하며, 또한 데이터베이스에서 어떤 움직임을 선택하여야 하는지에 대한 수많은 고려가 필요하다는 문제점이 있다.

따라서, 본 발명은 상술한 종래의 문제점을 극복하기 위한 것으로서, 본 발명의 목적은 조명 변화나 배경 또는 카메라의 잡음, 동작자의 여러 동작에 대해 강건하게 머리, 손, 발, 몸통, 팔, 다리 등과 같은 신체의 특정 끝 부분(End-effector)에 대응하는 신체 특징점을 고속 검출(detection)할 수 있고, 추출된 신체 특징점을 3차원 공간상에서 안정적으로 직접 추적(tracking)할 수 있으며, 조명 조건의 변화나 그림자로 인한 특징점의 위치 오차를 자동으로 보정하고, 특징들간의 겹침이나 특징의 사라짐에 대해서도 안정적으로 특징점을 추적할 수 있으며, 추출된 신체 특징점의 3차원 좌표를 이용하여 중간 관절 좌표를 추정할 때에, 모션 데이터베이스의 활용 없이도 동작자의 중간 관절 위치를 사실성 높게 추정하여 인체 모델로 복원(restoration)하도록 된 고속 마커프리(Marker-free) 모션 캡쳐 장치 및 방법을 제공하는데 있다.

상기 본 발명의 목적을 달성하기 위한 고속 마커프리 모션 캡쳐 장치는, 시야각이 다른 복수의 카메라를 이용하여 동작자가 없는 배경에 대해 영상을 먼저 취득하여 색의 차이를 용이하게 강조할 수 있는 특성을 가진 RGB컬러 공간과 색의 유사도를 용이하게 강조할 수 있는 특성을 가진 HSI 컬러 공간으로 저장한 다음, 동작자의 초기 자세에 대해 영상을 취득하여 머리, 손, 발, 몸통, 팔, 다리에 대한 덩어리 모델을 만들고 그들 간의 인접 연결 관계를 추출하여 저장한 후, 동작자의 움직임을 촬영한 영상을 입력받아 배경 영상과 색 차이가 있는 화소들을 추출하고, 저장된 신체 각 부위에 대한 덩어리 모델과 유사한 컬러와 형태를 가지는 화소들을 검출하여 덩어리로 만든 다음, 검출된 덩어리들에 대해 인접한 덩어리들의 상관 관계로부터 신체 부위에 해당되는 덩어리를 구별하여 2차원 신체 특징점으로 판별하는 2차원 특징점 추출 모듈과; 상기 2차원 특징점 추출 모듈에 의해 추출된 신체 끝 부위에 해당되는 2차원 특징점들에 대해 3차원 정합을 하여 3차원 좌표를 복원한 후, 특징점 형상 변형을 예측하고 몸의 무게 중심을 예측하며 추적하는 3차원 특징점 추적 모듈; 및 상기 3차원 특징점 추적 모듈에 의해 추적된 2차원 특징점의 3차원 좌표를 이용하여 중간관절 위치를 추정하여 3차원 모션 데이터를 생성하고 이 3차원 모션 데이터를 인체모델로 복원하는 3차원 모션 복원 모듈로 구성된다.

상기 본 발명의 목적을 달성하기 위한 고속 마커프리 모션 캡쳐 방법은, 2차원 특징점 추출 모듈이 시야각이 다른 복수의 카메라를 이용하여 동작자가 없는 배경에 대해 영상을 취득하여 특성이 다른 두 가지 컬러 공간으로 저장하는 단계와; 상기 2차원 특징점 추출 모듈이 카메라를 이용하여 동작자의 초기 자세에 대해 영상을 취득하여 머리, 손, 발, 몸통, 팔, 다리에 대한 덩어리 모델을 만들고 그들 간의 인접 연결 관계를 추출하여 저장하는 단계; 상기 2차원 특징점 추출 모듈이 카메라로 동작자의 움직임을 촬영한 영상을 입력받아 배경 영상과 색 차이가 있는 화소들을 추출한 후, 저장된 신체 각 부위에 대한 덩어리 모델과 유사한 컬러와 형태를 가지는 화소들을 검출하여 덩어리로 만드는 단계; 상기 2차원 특징점 추출 모듈이 검출된 덩어리들에 대해 인접한 덩어리들의 상관 관계로부터 신체 부위에 해당되는 덩어리를 구별하여 2차원 신체 특징점으로 판별하는 단계; 3차원 특징점 추적 모듈이 상기 2차원 특징점 추출 모듈에 의해 추출된 신체 끝 부위에 해당되는 2차원 특징점들에 대해 3차원 정합을 하여 3차원 좌표를 복원한 후, 특징점 형상 변형을 예측하고 몸의 무게 중심을 예측하여 3차원 특징점을 추적하는 단계; 및 3차원 모션 복원 모듈이 상기 3차원 특징점 추적 모듈에 의해 추적된 2차원 특징점의 3차원 좌표를 이용하여 중간관절 위치를 추정하여 3차원 모션 데이터를 생성하고 이 3차원 모션 데이터를 인체모델로 복원하는 단계로 이루어진다.

이하, 본 발명에 따른 실시예를 첨부한 도면을 참조하여 상세히 설명하기로 한다.

도 1을 참조하면, 2차원 특징점 추출 모듈(10)은 시야각이 다른 복수의 카메라(11,12)를 이용하여 동작자가 없는 배경에 대해 영상을 먼저 취득하여 색의 차이를 용이하게 강조할 수 있는 특성을 가진 RGB컬러 공간과 색의 유사도를 용이하게 강조할 수 있는 특성을 가진 HSI 컬러 공간으로 저장한 다음, 동작자의 초기 자세에 대해 영상을 취득하여 머리, 손, 발, 몸통, 팔, 다리에 대한 덩어리 모델을 만들고 그들 간의 인접 연결 관계를 추출하여 저장한다.

상기 2차원 특징점 추출 모듈(10)은 색의 유사도를 용이하게 강조할 수 있는 특성을 가진 HSI 컬러 공간에서의 색 요소 정보와 신체의 각 부위에 대한 크기와 형태 정보로 머리, 손, 발, 몸통, 팔, 다리에 대한 덩어리 모델을 구성한다.

상기 2차원 특징점 추출 모듈(10)은 동작자의 움직임을 촬영한 영상을 입력받아 배경 영상과 색 차이가 있는 화소들을 추출하고, 저장된 신체 각 부위에 대한 덩어리 모델과 유사한 컬러와 형태를 가지는 화소들을 검출하여 덩어리로 만든 다음, 검출된 덩어리들에 대해 인접한 덩어리들의 상관 관계로부터 신체 부위에 해당되는 덩어리를 구별하여 2차원 신체 특징점(13)으로 판별한다.

상기 2차원 특징점 추출 모듈(10)은 동작자의 움직임을 촬영한 영상을 입력받아 배경 영상과 색 차이가 있는 화소들을 추출할 때, 색의 차이를 용이하게 강조할 수 있는 특성을 가진 RGB컬러 공간에서의 색 요소 비교를 통해 배경 영상과 색 차이가 있는 입력 영상의 후보 화소들을 추출한다.

상기 2차원 특징점 추출 모듈(10)은 색의 유사도를 용이하게 강조할 수 있는 특성을 가진 HSI 컬러 공간을 사용하여 저장된 신체 각 부위에 대한 덩어리 모델과 유사한 컬러와 형태를 가지는 화소들을 검출하여 덩어리로 만든다.

상기 2차원 특징점 추출 모듈(10)은 화소 색의 비교 순서를 색의 차이를 용이하게 강조할 수 있는 RGB컬러 공간에 대해 먼저 시행하여 후보 화소를 선별한 후, 이들을 색의 유사도를 용이하게 강조할 수 있는 HSI컬러 공간으로 변환하여 신체 부위별 모델과 유사한 색의 화소를 찾음으로써, 연산량이 적은 과정을 선처리로 하여 후보 화소를 검출한 후에 연산량이 많은 과정을 한정된 후보 화소에 대해서만 적용하게 되어 색 화소를 찾는 작업이 고속으로 처리될 수 있다.

상기 2차원 특징점 추출 모듈(10)은 색의 차이가 있는 화소들을 선별하여 동작자를 배경으로부터 분리한 후, 신체 각 부위별 모델과 유사한 화소들을 검색함으로써 그림자를 효율적으로 제거할 수 있게 된다.

상기 2차원 특징점 추출 모듈(10)은 손과 팔은 항상 인접하고, 발과 다리는 항상 인접하며, 머리는 몸통에 필히 붙어 있으나 동작에 따라서는 팔이나 다리, 손이나 발에도 붙을 수 있다는 상관 관계로부터 신체 부위에 해당되는 덩어리를 구별하여 2차원 신체 특징점(13)으로 판별한다.

3차원 특징점 추적 모듈(20)은 상기 2차원 특징점 추출 모듈(10)에 의해 추출된 신체 끝 부위에 해당되는 2차원 특징점(13)들에 대해 3차원 정합을 하여 3차원 좌표를 복원한 후, 특징점 형상 변형을 예측하고 몸의 무게 중심을 예측하며 추적한다.

상기 3차원 특징점 추적 모듈(20)은 형상 변형 예측 필터(21)를 이용하여 3차원 정합된 특징점 영역을 둘러싸는 최소외접사각형의 길이, 너비, 회전각 변화를 연속된 프레임에 대한 정보를 이용해 다음 프레임에 입력될 형상정보로 예상하여 3차원 좌표를 복원한다.

상기 3차원 특징점 추적 모듈(20)은 이전 프레임까지의 움직임에서 무게 중심의 이동을 예측, 계산하고, 무게 중심이 실린 쪽의 발의 움직임을 제한하는 몸의 무게 중심 예측 기법을 사용하여 정확하게 발을 추적함으로써 특징점 형상 변형을 예측하고 몸의 무게 중심을 예측하며 추적한다.

3차원 모션 복원 모듈(30)은 상기 3차원 특징점 추적 모듈에 의해 추적된 2차원 특징점의 3차원 좌표를 이용하여 중간관절 위치를 추정하여 3차원 모션 데이터를 생성하고 이 3차원 모션 데이터를 인체모델로 복원한다.

삭제

상기와 같이 구성되는 본 발명에 따른 고속 마커프리 모션 캡쳐 장치는 다음과 같이 작동한다.

도 2를 참조하면, 초기에 상기 2차원 특징점 추출 모듈(10)은 시야각이 다른 최소 2대 이상의 카메라(11,12)를 이용하여 동작자가 없는 배경에 대해 영상을 취득하여 특성이 다른 두 가지 컬러 공간으로 저장한다(S10).

이때, 상기 두 가지 컬러 공간은 색의 차이를 용이하게 강조할 수 있는 특성을 가진 RGB컬러 공간과 색의 유사도를 용이하게 강조할 수 있는 특성을 가진 HSI 컬러 공간으로 정의된다.

다음으로, 상기 2차원 특징점 추출 모듈(10)은 카메라(11,12)를 이용하여 동작자의 초기 자세에 대해 영상을 취득하여 머리, 손, 발, 몸통, 팔, 다리에 대한 덩어리 모델을 만들고 그들 간의 인접 연결 관계를 추출하여 저장한다(S20).

이때, 상기 2차원 특징점 추출 모듈(10)은 동작자의 초기 자세에서 머리, 손, 발, 몸통, 팔, 다리를 컬러에 기반하여 분할한 후 그들 각각의 HSI 컬러와 형태 정보로 덩어리 모델을 만들고, 각 신체 부위에 대한 덩어리 모델들의 인접 연결 관계를 추출하여 저장한다.

이어서, 상기 2차원 특징점 추출 모듈(10)은 카메라(11,12)로 동작자의 움직임을 촬영한 영상을 입력받아 배경 영상과 색 차이가 있는 화소들을 추출한 후(S30), 저장된 신체 각 부위에 대한 덩어리 모델과 유사한 컬러와 형태를 가지는 화소들을 검출하여 덩어리로 만든 다음(S40), 검출된 덩어리들에 대해 인접한 덩어리들의 상관 관계로부터 신체 부위에 해당되는 덩어리를 구별하여 2차원 신체 특징점(13)으로 판별한다(S50).

이때, 상기 2차원 특징점 추출 모듈(10)은 동작자를 카메라(11,12)로 캡쳐하여 신체 특정 부위를 검출하게 되는데, 먼저,RGB 컬러의 배경과 입력된 영상의 RGB 값을 비교하여 색상 요소 값의 차이가 있는 부분, 즉 후보 화소를 검출하여 HSI 공간으로 컬러 변환을 한 다음, 변환된 컬러에 대해 각 덩어리 모델들의 HSI 컬러 값과 유사한 화소들을 검색하여 저장하고, 저장된 화소들에 대해 배경의 HSI 값과 비교하여 유사한 화소들은 삭제한다. 이렇게 하게 되면, 조명의 변화나 동작자의 움직임에 따라 형성되는 그림자를 제거할 수 있으며 인체 부위에 해당되는 덩어리 영상만을 배경으로부터 검출할 수 있다.

실제로, 상기 RGB 컬러 공간은 색의 차이를 용이하게 강조할 수 있는 공간이며, HSI 컬러 공간은 색의 유사도를 용이하게 강조할 수 있는 공간이므로, 상기 2차원 특징점 추출 모듈(10)이 동작자의 캡쳐 영상으로부터 특정 신체 부위를 검출하기 위하여 상기 후보 화소를 RGB 컬러 공간에서 HSI 컬러 공간으로 변환하는 과정은 시간을 많이 요구하는 과정이다. 따라서, 상기 2차원 특징점 추출 모듈(10)은 RGB 공간에서 배경과 차이나는 부분을 먼저 검색하여 배경과 다른 부분, 즉, 인체 부분일 가능성이 높은 화소들을 가려내고, 이 부분 화소들만을 RGB 컬러 공간에서 HSI 컬러 공간으로 변환한 후 배경과 유사한 컬러는 삭제하고, 모델과 유사한 컬러만을 가려냄으로써 각각의 신체 부위에 해당되는 덩어리를 그림자의 영향을 거의 받지 않으며 고속으로 검출할 수 있다.

이러한 과정 중에서 동작자에 의해 쉽게 형성되는 바닥의 그림자도 자연스럽게 제거되어 발을 정확하게 검출할 수 있게 될 뿐만 아니라, 추출된 덩어리들의 위치 상관 관계를 통해 배경이나 카메라의 잡음의 영향을 받지 않으며 높은 신뢰도로 신체 부위를 구분하며 검출할 수 있게 된다.

즉, 초기에 동작자의 신체 부위별로 덩어리 모델을 만들 때에 각 덩어리 모델들간의 인접 정보도 저장하였으므로, 이러한 인접 정보로 손은 팔에 필히 붙어 있으며, 발은 다리에 필히 붙어 있으며, 머리는 몸통에 필히 붙어 있으나 동작에 따라서는 팔이나 다리, 발에도 붙을 수 있다는 상관 관계를 적용하여 배경이나 카메라(11,12)에 의해 생기는 잡음으로 인한 색 변조로 만들어지는 유사 덩어리를 삭제할 수 있다. 따라서, 본 발명은 잡음에 대해서도 강건하며 기존 단순 덩어리 모델만을 적용할 때보다 더욱 더 안정적이며, 윤곽선에 기반한 방법을 적용할 때 보다 더 다양한 동작에서 신체 특정 부위들을 검출할 수 있게 된다.

상기와 같이 2차원 특징점 추출 모듈(10)이 검출된 덩어리들에 대해 인접한 덩어리들의 상관 관계로부터 신체 부위에 해당되는 덩어리를 구별하여 2차원 신체 특징점(13)으로 판별함으로써 2차원 특징점(13)을 추출하고 나면, 상기 3차원 특징점 추적 모듈(20)은 2차원 특징점 추출 모듈(10)에 의해 추출된 신체 끝 부위에 해당되는 2차원 특징점(13)들에 대해 3차원 정합을 하여 3차원 좌표를 복원한 후(S60), 특징점 형상 변형을 예측하고 몸의 무게 중심을 예측하며 추적한다(S70).

이때, 상기 3차원 특징점 추적 모듈(20)은 3차원 공간상에서의 특징점을 추적하기 위하여, 먼저 카메라 캘리브레이션 과정을 통해 얻어지는 카메라(11,12)의 내/외부인자를 이용해 2차원 특징점(13)들을 3차원 공간상의 점으로 변환시키며, 이에 따라서 추적하고자 하는 올바른 특징점(13)과 잘못된 정보를 가진 많은 특징점(고스트)들이 발생한다.

이어서, 상기 3차원 특징점 추적 모듈(20)은 프레임간의 시간적 조건과 특징점들이 위치할 수 있는 공간적 조건에 대해 확률적 계산을 통해 많은 수의 특징점(13) 후보들 중에서 올바른 특징점(13)을 추적하여 구한다.

상기 시간적 조건은 연속된 시간의 흐름에 대해 특징점(13)들의 움직임을 동시에 예측할 수 있는 알고리즘을 적용하는 것으로서, 움직임의 예측은 확률적인 접근으로 가능하며, 이전 프레임까지의 이동 패턴을 알면 다음 프레임의 이동 정보를 예측할 수 있다. 일반적으로, 특징점(13)들의 짝을 맺어줄 경우 입력 특징점(13)들 중에서 예측된 위치와 가장 가까이 존재하는 특징점(13)을 선택하면 된다. 그러나, 신체 특징은 3차원 공간을 자유롭게 움직이기 때문에 특징점(13)들 간의 겹침이나 사라짐, 배경 속에 신체 특징과 흡사한 영역의 예상치 못했던 출현에 대한 처리도 같이 이루어져야 하므로, 이러한 처리는 시간적 조건 내에 공간적 조건을 추가함으로써 해결이 가능하다.

상기 공간적 조건은 현재 프레임에서 얻어진 특징점(13)들의 공간적 위치 정보를 검사하는 조건이다. 특징의 형상은 동작에 따라 쉽게 변하기 때문에 특징의 올바른 위치와 크기를 계산하기 위해 상기 3차원 특징점 추적 모듈(20)은 형상 변형 예측 필터(21)에 의한 자동 오차 보정 기법을 적용해 조명 조건이나 형상 변형에 따른 위치 정보 오차를 보정해준다. 그리고, 신체의 구조를 바탕으로 각 특징점(13)이 움직일 수 있는 조건을 구성한다. 팔이 뒤로 굽어질 수 없듯이 신체 관절은 회전이나 이동에 제약을 가진다. 몸의 중심으로부터 신체 특징이 위치할 수 있는 최대 거리 내에 특징점(13)은 존재해야 한다. 또한, 동작 시 무게 중심이 실리는 부분과 그렇지 않은 부분의 움직임 정도에는 차이가 있기 때문에 이러한 조건을 고려한 몸의 무게 중심 예측 기법을 통해 특징점(13)들의 올바른 매칭이 가능해진다.

도 3을 참조하면, 상기 3차원 특징점 추적 모듈(20)의 형상 변형 예측 필터(21)에 의한 자동 오차 보정 기법은 영상에서 특징점 영역을 추출할 때 조명에 의한 반사나 그림자, 노이즈로 인해 정보를 읽고 올바르게 추출되지 않는 특징점 영역(23)을 보정하는 기술이다. 이것은 특징점 영역을 둘러싸는 최소외접사각형의 길이, 너비, 회전각 변화를 연속된 프레임에 대한 정보(22)를 이용해 다음 프레임에 입력될 형상정보(24)로 예상하여 3차원 좌표를 복원하는 기법이다.

예컨대, 손과 같은 특징점은 형상의 변화가 매우 자유롭기 때문에, 다음 시간에 입력될 최소외접사각형의 예측된 정보와 실제 입력될 정보의 오차가 크게 발생할 수 있다. 그러나, 손의 형상 정보는 어떠한 형태를 가지더라도, 근사화된 타원의 형태로 모델링이 가능하기 때문에, 이 모델링 정보를 추가적으로 이용해 형상의 변형을 작은 오차 범위 안에서 예측할 수 있다.

또한, 몸의 무게 중심 예측 기법은 두 발로 서있는 인간은 몸의 이동 시 먼저 무게 중심의 축을 한쪽 발로 이동시킨다는 사실을 바탕으로 하고 있다. 발은 좁은 영역 안에서 두 발이 근접해서 움직이기 때문에, 겹침과 사라짐의 현상이 아주 빈번히 발생한다. 또한, 한번 겹쳐지거나 사라진 발은 오랜 시간이 지난 후 분리되거나 다시 나타나는 경우도 빈번히 발생하기 때문에 발의 이동 방향과 속도를 고려한 추적기법만으로는 추적에 한계가 있다. 따라서, 본 발명에서는 도 4에 도시된 바와 같이, 이전 프레임까지의 움직임에서 무게 중심의 이동(42)을 예측, 계산하고, 무게 중심이 실린 쪽(41)의 발의 움직임을 제한함으로써 발의 추적을 강인하게 한다.

상기와 같이 3차원 특징점 추적 모듈(20)이 2차원 특징점(13)들에 대해 3차원 정합을 하여 3차원 좌표를 복원한 후, 특징점 형상 변형을 예측하고 몸의 무게 중심을 예측하며 추적하고 나면, 마지막으로 상기 3차원 모션 복원 모듈(30)은 3차원 특징점 추적 모듈(20)에 의해 추적된 2차원 특징점의 3차원 좌표를 이용하여 중간관절 위치를 추정하여 3차원 모션 데이터를 생성하고 이 3차원 모션 데이터를 인체모델로 복원한다(S80).

삭제

상기와 같은 모든 과정을 거쳐 입력된 영상으로부터 인체의 모든 관절의 위치 정보가 복원되면 상기 3차원 모션 복원 모듈(30)은 3차원 모션 데이터를 생성하고 이 3차원 모션 데이터를 인체모델로 복원한다.

상술한 바와 같이 본 발명에 따른 고속 마커프리 모션 캡쳐 장치 및 방법은 동작자의 동작에 따라 필연적으로 형성되어 추출 대상이 되는 신체 부위의 색 변화를 일으키는 그림자의 영향을 받지 않고, 동작에 따른 조명 변화로 인한 색조 변화에도 영향을 적게 받으면서 신체 부위들을 안정적으로 검출할 수 있다는 장점이 있으며, 두 가지 컬러 공간(RGB, HSI)의 장점을 계산량이 적은 순으로 이용함으로써 고속으로 그림자 영향을 제거할 수 있다.

본 발명에 따른 고속 마커프리 모션 캡쳐 장치 및 방법은 덩어리 모델들의 인접 연결 정보를 이용함으로써 배경 또는 카메라에 의해 형성되는 잡음에 대해서도 영향을 받지 않으면서 신체 부위를 검출할 수 있다.

본 발명에 따른 고속 마커프리 모션 캡쳐 장치 및 방법은 형상 변형 예측에 의한 자동 오차 보정 기법을 사용하여 조명에 의한 반사나 그림자, 잡음에 대한 특징점의 변화를 예측하고 특징점의 형상정보를 보정함으로써 3차원 공간상의 특징점의 위치 오차를 최대한 줄이는 효과를 얻을 수 있다.

본 발명에 따른 고속 마커프리 모션 캡쳐 장치 및 방법은 몸의 무게 중심 예측 기법을 이용하여 동작자의 움직임의 축이 되는 발의 운동을 제한함으로써 3차원 공간상에서 추적이 어려운 발의 추적을 좀 더 정확하고 안정적으로 할 수 있게 된다.

본 발명에 따른 고속 마커프리 모션 캡쳐 장치 및 방법은 신체 형상 정보와 이전 프레임까지의 중간 관절 위치의 변화 추이를 중간 관절 좌표 추정에 동시에 이용함으로써 모션 데이터베이스의 활용 없이도 동작자의 중간 관절 위치를 사실성 높게 추정할 수 있다.

본 발명에 따른 고속 마커프리 모션 캡쳐 장치 및 방법은 각 단계별로 잡음의 영향을 억제하고 안정적으로 처리함으로써 모션 캡쳐에서 필요로 하는 3D 모션 데이터의 안정성과 사실성을 확보할 수 있다.

이상에서 설명한 것은 본 발명에 따른 고속 마커프리 모션 캡쳐 장치 및 방법을 실시하기 위한 하나의 실시예에 불과한 것으로서, 본 발명은 상기한 실시예에 한정되지 않고, 이하의 특허청구의 범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.

도 1은 본 발명에 따른 고속 마커프리 모션 캡쳐 장치를 도시한 구성도,

도 2는 본 발명에 따른 고속 마커프리 모션 캡쳐 방법을 도시한 흐름도,

도 3은 자동 오차 보정 방법을 실행하는 형상 변형 예측 필터의 작동 상태를 도시한 구성도,

도 4는 몸의 무게 중심 예측 기법을 적용하기 위한 움직이는 인간 모델을 도시한 실시예,

도 5는 신체에 대한 경계치를 도시한 실시예이다.

<도면의 주요부분에 대한 부호의 설명>

10: 2차원 특징점 추출 모듈

20: 3차원 특징점 추적 모듈

30: 3차원 모션 복원 모듈

Claims

시야각이 다른 복수의 카메라를 이용하여 동작자가 없는 배경에 대해 영상을 먼저 취득하여 색의 차이를 용이하게 강조할 수 있는 특성을 가진 RGB컬러 공간과 색의 유사도를 용이하게 강조할 수 있는 특성을 가진 HSI 컬러 공간으로 저장한 다음, 동작자의 초기 자세에 대해 영상을 취득하여 머리, 손, 발, 몸통, 팔, 다리에 대한 덩어리 모델을 만들고 그들 간의 인접 연결 관계를 추출하여 저장한 후, 동작자의 움직임을 촬영한 영상을 입력받아 배경 영상과 색 차이가 있는 화소들을 추출하고, 저장된 신체 각 부위에 대한 덩어리 모델과 유사한 컬러와 형태를 가지는 화소들을 검출하여 덩어리로 만든 다음, 검출된 덩어리들에 대해 인접한 덩어리들의 상관 관계로부터 신체 부위에 해당되는 덩어리를 구별하여 2차원 신체 특징점으로 판별하는 2차원 특징점 추출 모듈과;

상기 2차원 특징점 추출 모듈에 의해 추출된 신체 끝 부위에 해당되는 2차원 특징점들에 대해 3차원 정합을 하여 3차원 좌표를 복원한 후, 특징점 형상 변형을 예측하고 몸의 무게 중심을 예측하며 추적하는 3차원 특징점 추적 모듈; 및

상기 3차원 특징점 추적 모듈에 의해 추적된 2차원 특징점의 3차원 좌표를 이용하여 중간관절 위치를 추정하여 3차원 모션 데이터를 생성하고 이 3차원 모션 데이터를 인체모델로 복원하는 3차원 모션 복원 모듈

로 구성되는 것을 특징으로 하는 고속 마커프리 모션 캡쳐 장치.
제 1 항에 있어서, 상기 2차원 특징점 추출 모듈은

색의 유사도를 용이하게 강조할 수 있는 특성을 가진 HSI 컬러 공간에서의 색 요소 정보와 신체의 각 부위에 대한 크기와 형태 정보로 머리, 손, 발, 몸통, 팔, 다리에 대한 덩어리 모델을 구성하는 것을 특징으로 하는 고속 마커프리 모션 캡쳐 장치.
제 1 항에 있어서, 상기 2차원 특징점 추출 모듈은

동작자의 움직임을 촬영한 영상을 입력받아 배경 영상과 색 차이가 있는 화소들을 추출할 때, 색의 차이를 용이하게 강조할 수 있는 특성을 가진 RGB컬러 공간에서의 색 요소 비교를 통해 배경 영상과 색 차이가 있는 입력 영상의 후보 화소들을 추출하는 것을 특징으로 하는 고속 마커프리 모션 캡쳐 장치.
제 1 항에 있어서, 상기 2차원 특징점 추출 모듈은

색의 유사도를 용이하게 강조할 수 있는 특성을 가진 HSI 컬러 공간을 사용하여 저장된 신체 각 부위에 대한 덩어리 모델과 유사한 컬러와 형태를 가지는 화소들을 검출하여 덩어리로 만드는 것을 특징으로 하는 고속 마커프리 모션 캡쳐 장치.
제 3 항 또는 제 4 항에 있어서, 상기 2차원 특징점 추출 모듈은

화소 색의 비교 순서를 색의 차이를 용이하게 강조할 수 있는 RGB컬러 공간에 대해 먼저 시행하여 후보 화소를 선별한 후, 이들을 색의 유사도를 용이하게 강조할 수 있는 HSI컬러 공간으로 변환하여 신체 부위별 모델과 유사한 색의 화소를 찾는 것을 특징으로 하는 고속 마커프리 모션 캡쳐 장치.
제 5 항에 있어서, 상기 2차원 특징점 추출 모듈은

색의 차이가 있는 화소들을 선별하여 동작자를 배경으로부터 분리한 후, 신체 각 부위별 모델과 유사한 화소들을 검색하는 것을 특징으로 하는 고속 마커프리 모션 캡쳐 장치.
제 1 항에 있어서, 상기 2차원 특징점 추출 모듈은

손과 팔은 항상 인접하고, 발과 다리는 항상 인정하며, 머리는 몸통에 필히 붙어 있으나 동작에 따라서는 팔이나 다리, 손이나 발에도 붙을 수 있다는 상관 관계로부터 신체 부위에 해당되는 덩어리를 구별하여 2차원 신체 특징점으로 판별하는 것을 특징으로 하는 고속 마커프리 모션 캡쳐 장치.
제 1 항에 있어서, 상기 3차원 특징점 추적 모듈은

형상 변형 예측 필터를 이용하여 3차원 정합된 특징점 영역을 둘러싸는 최소외접사각형의 길이, 너비, 회전각 변화를 연속된 프레임에 대한 정보를 이용해 다음 프레임에 입력될 형상정보로 예상하여 3차원 좌표를 복원하는 것을 특징으로 하는 고속 마커프리 모션 캡쳐 장치.
제 1 항에 있어서, 상기 3차원 특징점 추적 모듈은

이전 프레임까지의 움직임에서 무게 중심의 이동을 예측, 계산하고, 무게 중심이 실린 쪽의 발의 움직임을 제한하는 몸의 무게 중심 예측 기법을 사용하여 정확하게 발을 추적함으로써 특징점 형상 변형을 예측하고 몸의 무게 중심을 예측하며 추적하는 것을 특징으로 하는 고속 마커프리 모션 캡쳐 장치.
삭제
2차원 특징점 추출 모듈이 시야각이 다른 복수의 카메라를 이용하여 동작자가 없는 배경에 대해 영상을 취득하여 특성이 다른 두 가지 컬러 공간으로 저장하는 단계와;

상기 2차원 특징점 추출 모듈이 카메라를 이용하여 동작자의 초기 자세에 대해 영상을 취득하여 머리, 손, 발, 몸통, 팔, 다리에 대한 덩어리 모델을 만들고 그들 간의 인접 연결 관계를 추출하여 저장하는 단계;

상기 2차원 특징점 추출 모듈이 카메라로 동작자의 움직임을 촬영한 영상을 입력받아 배경 영상과 색 차이가 있는 화소들을 추출한 후, 저장된 신체 각 부위에 대한 덩어리 모델과 유사한 컬러와 형태를 가지는 화소들을 검출하여 덩어리로 만드는 단계;

상기 2차원 특징점 추출 모듈이 검출된 덩어리들에 대해 인접한 덩어리들의 상관 관계로부터 신체 부위에 해당되는 덩어리를 구별하여 2차원 신체 특징점으로 판별하는 단계;

3차원 특징점 추적 모듈이 상기 2차원 특징점 추출 모듈에 의해 추출된 신체 끝 부위에 해당되는 2차원 특징점들에 대해 3차원 정합을 하여 3차원 좌표를 복원한 후, 특징점 형상 변형을 예측하고 몸의 무게 중심을 예측하며 추적하는 단계; 및

3차원 모션 복원 모듈이 상기 3차원 특징점 추적 모듈에 의해 추적된 2차원 특징점의 3차원 좌표를 이용하여 중간관절 위치를 추정하여 3차원 모션 데이터를 생성하고 이 3차원 모션 데이터를 인체모델로 복원하는 단계

로 이루어지는 것을 특징으로 하는 고속 마커프리 모션 캡쳐 방법.