KR101586007B1

KR101586007B1 - 데이터 처리 장치 및 방법

Info

Publication number: KR101586007B1
Application number: KR1020090057289A
Authority: KR
Inventors: 하인우; 이제희; 안정환; 김종민
Original assignee: 삼성전자주식회사; 서울대학교산학협력단
Priority date: 2009-06-25
Filing date: 2009-06-25
Publication date: 2016-01-21
Anticipated expiration: 2029-06-25
Also published as: US9047676B2; US20100332427A1; KR20100138658A

Abstract

데이터 처리 장치가 제공된다. 상기 데이터 처리 장치는 모션 센싱에 의해 획득되는 복수 개의 학습 데이터를 저장하는 저장부, 상기 복수 개의 학습 데이터에 회귀 분석을 수행하여 제1 변환 행렬을 계산하는 제1 계산부, 및 제1 입력 데이터에 상기 제1 변환 행렬을 적용하여, 제1 출력 데이터를 계산하는 제2 계산부를 포함할 수 있다.

동작 센싱, 동작 추정, 정준상관분석, Motion sensing, CCA, Regression Analysis

Description

데이터 처리 장치 및 방법{DATA PROCESSING APPARATUS AND METHOD}

본 발명의 일부 실시예들은 모션 센싱에 의해 축적된 학습 데이터를 분석하는 데이터 처리 장치 및 방법에 관한 것이다. 보다 특정하게는, 모션 센싱이 있는 경우, 상기 학습 데이터의 분석을 통해 아바타(Avatar) 등 3D 모델의 동작을 추정하고 생성하는 데이터 처리 장치 및 방법에 연관된다.

최근 비디오 게임, 가상 세계(virtual world), 영화 컴퓨터 그래픽(computer graphic, CG) 등 실제 공간에서의 타깃 오브젝트(이를 테면, 사람(human body))의 동작을 센싱하고, 이를 3-Dimensional(3D) 공간 내에서 구현하는 기술에 관한 관심이 증가하고 있다.

동작 추정 또는 동작 캡쳐 등 다양한 명칭으로 불릴 수 있는 이러한 기술에 있어서, 동작의 센싱으로부터 동작 캡쳐 결과 도출까지 이르는 계산 시간이 길다는 점은 단점으로 작용한다.

사람의 동작을 센싱하고 이를 캡쳐하는 경우에, 사람의 몸에 부착된 센서의 수가 많을수록 결과 값은 정밀할 것으로 예상되나, 이는 센싱을 위한 과정이 번거롭고 많은 제약을 받음을 의미한다. 즉, 많은 센서를 부착한 인체의 움직임이 제한되고, 센서를 부착하거나 제거하기가 번거로운 등의 어려움이 있다.

따라서, 비교적 작은 수의 센서만을 부착하여, 움직임을 센싱하고 이를 통해 동작 캡쳐를 수행 할 수 있는 방법이 제안될 필요가 있다.

본 발명의 일부 실시예는, 동작 캡쳐에 있어서, 비교적 작은 수의 포인트의 움직임만을 센싱함으로써, 전체의 동작을 계산하는 데이터 처리 장치 및 방법을 제공하기 위한 것이다.

또한 본 발명의 일부 실시예는, 모션 캡쳐를 위한 계산 모델을 보다 효율적이고 정확하게 확립하기 위한 것이다.

본 발명의 일 실시예에 따르면, 모션 센싱에 의해 획득되는 복수 개의 학습 데이터를 저장하는 저장부, 상기 복수 개의 학습 데이터에 회귀 분석(Regression Analysis)을 수행하여 제1 변환 행렬을 계산하는 제1 계산부, 및 제1 입력 데이터에 상기 제1 변환 행렬을 적용하여, 제1 출력 데이터를 계산하는 제2 계산부를 포함하는 데이터 처리 장치가 제공된다.

여기서, 상기 복수 개의 학습 데이터의 각각은 모션 센싱의 한 프레임에서 감지되는 n 개(n은 자연수)의 포인트의 물리적 정보와, 상기 n 개의 포인트 중 n1 개(n1은 자연수)의 특징 포인트(feature point)의 물리적 정보를 포함할 수 있다.

이 경우, 상기 제1 입력 데이터는 n1 개의 특징 포인트에 관한 물리적 정 보를 포함하며, 상기 제1 출력 데이터는 n 개의 포인트에 관한 물리적 정보를 포함한다.

한편, 상기 n1 개의 특징 포인트에 관한 물리적 정보는, 상기 n1 개의 포인트의 좌표 값, 각도, 각속도, 및 각가속도 중 적어도 하나를 포함할 수 있다. 그리고, 상기 n1 개의 포인트의 좌표 값은 모션 센서 및 깊이 카메라 중 적어도 하나를 이용하여 획득될 수 있다.

한편, 상기 회귀 분석은, KCCA(Kernel Canonical Correlation Analysis)에 기초한 비선형 분석이다. 그러나, 본 발명의 다른 일부 실시예에 따르면, 상기 회귀 분석은, CCA(Canonical Correlation Analysis)에 기초한 선형 분석이다.

본 발명의 다른 일 실시예에 따르면, 모션 센싱에 의해 획득되는 복수 개의 학습 데이터를 k 개(단, k는 자연수)의 그룹으로 나누는 처리부, 상기 k 개의 그룹의 각각을 저장하는 k 개의 클러스터를 포함하는 저장부, 회귀분석을 이용하여 상기 k 개의 클러스터의 각각에 대응하는 k 개의 변환 행렬을 계산하는 제1 계산부, 및 제1 입력 데이터가 입력되는 경우, 상기 k 개의 변환 행렬 중 선택되는 l 개(단, l은 자연수이며, l≤k)의 변환 행렬을 이용하여 제1 출력 데이터를 계산하는 제2 계산부를 포함하는 데이터 처리 장치가 제공된다.

이 경우, 상기 제2 계산부는, 상기 선택된 l 개의 변환 행렬을 상기 제1 입력 데이터에 적용한 결과 값들에, 상기 제1 입력 데이터와 상기 l 개의 변환 행렬 각각의 상관도에 비례한 가중치를 적용하고, 상기 가중치가 적용된 상기 결과 값들의 선형 합으로서 상기 제1 출력 데이터를 계산할 수 있다.

그리고, 상기 복수 개의 학습 데이터의 각각은 모션 센싱의 한 프레임에서 감지되는 n 개(n은 자연수)의 포인트의 물리적 정보와, 상기 n 개의 포인트 중 n1 개(n1은 자연수)의 특징 포인트(feature point)의 물리적 정보를 포함할 수 있다.

이 경우, 상기 제1 입력 데이터는 n1 개의 특징 포인트에 관한 물리적 정보를 포함하며, 상기 제1 출력 데이터는 n 개의 포인트에 관한 물리적 정보를 포함할 수 있다.

본 발명의 또 다른 일 실시예에 따르면, 복수 개의 학습 데이터를 입력 받는 단계, 상기 복수 개의 학습 데이터에 회귀 분석을 수행하여 제1 변환 행렬을 계산하는 단계, 및 제1 입력 데이터가 입력되는 경우, 상기 제1 입력 데이터에 상기 제1 변환 행렬을 적용하여, 제1 출력 데이터를 계산하는 단계를 포함하는 데이터 처리 방법이 제공된다.

한편, 상기 복수 개의 학습 데이터의 각각은 모션 센싱의 한 프레임에서 감지되는 n 개(n은 자연수)의 포인트의 물리적 정보와, 상기 n 개의 포인트 중 n1 개(n1은 자연수)의 특징 포인트(feature point)의 물리적 정보를 포함할 수 있다.

이 경우, 상기 제1 입력 데이터는 n1 개의 특징 포인트에 관한 물리적 정보를 포함하며, 상기 제1 출력 데이터는 n 개의 포인트에 관한 물리적 정보를 포함한다.

한편, 상기 회귀 분석은, KCCA(Kernel Canonical Correlation Analysis)에 기초한 비선형 분석일 수 있다. 그러나, 다른 실시예에 따르면, 상기 회귀 분석은, CCA(Canonical Correlation Analysis)에 기초한 선형 분석일 수도 있다.

본 발명의 또 다른 일 실시예에 따르면, 모션 센싱에 의해 획득되는 복수 개의 학습 데이터를 k 개(단, k는 자연수)의 그룹으로 나누어 저장하는 단계, 회귀분석을 이용하여 상기 k 개의 클러스터의 각각에 대응하는 k 개의 변환 행렬을 계산하는 단계, 및 제1 입력 데이터가 입력되는 경우, 상기 k 개의 변환 행렬 중 선택되는 l 개(단, l은 자연수이며, l≤k)의 변환 행렬을 이용하여 제1 출력 데이터를 계산하는 단계를 포함하는 데이터 처리 방법이 제공된다.

본 발명의 일부 실시예에 따르면, 동작 캡쳐에 있어서, 비교적 작은 수의 포인트의 움직임만을 센싱함으로써, 전체의 동작을 계산할 수 있으므로, 구현이 용이하다.

또한 본 발명의 일부 실시예에 따르면, 모션 캡쳐를 위한 계산 모델이 보다 효율적이고 정확하게 확립된다.

이하에서, 본 발명의 일부 실시예를, 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

도 1은 본 발명의 일 실시예에 따른 데이터 처리 장치(100)를 도시한다.

본 발명의 일 실시예에 따르면, 데이터 처리 장치(100)는 I/O 인터페이스(110), 처리부(120), 저장부(130), 제1 계산부(140) 및 제2 계산부(150)을 포함한다.

모션 센싱에 의해 획득되는 복수 개의 학습 데이터가 I/O 인터페이스(110)를 통해 데이터 처리 장치(100)에 입력된다. 그리고, 상기 복수 개의 학습 데이터는 저장부(130)에 저장된다.

한편, 상기 I/O(Input Output) 인터페이스는, 외부 기기와의 사이에서 데이터를 주고 받는 수단이며, 이를테면, USB(Universal Serial Bus), SATA(Serial-ATA), PATA(Parallel-ATA), LAN, PCI 슬롯, PCI Express 슬롯, IEEE-1394, HDMI, 등의 유선 타입(또는 접촉식)을 위한 것일 수도 있고, 또는 무선 랜(이를 테면 IEEE 802.11), 블루투스(Bluetooth), CDMA, WCDMA 등의 무선 타입(또는 비접촉식)을 위한 것일 수도 있다.

따라서 본 발명의 I/O 인터페이스(101)는 일부 실시예에 국한되지 않으며, 데이터 처리 장치(100)가 외부의 모션 센서 세트(101) 및/또는 깊이 카메라(102)로부터 모션 센싱 정보를 획득하고, 처리된 데이터를 외부 시스템(103)에 제공하기 위한 어떠한 방식의 데이터 송수신을 위한 것일 수 있다.

본 발명의 일부 실시예에서는, 모션 센싱을 통해, 일부 특징 포인트(feature points)에 대한 물리적 정보(이를테면, 좌표 값, 각도(방향), 각속도, 각가속도 등)을 획득하여, 상기 일부 특징 포인트를 포함한 전체 포인트들에 대한 물리적 정보를 계산함으로써 객체(object)의 동작을 추정한다.

상기 계산을 위해 이용되는 변환 함수(경우에 따라서는 변환 행렬일 수 있으며, 이하에서는 "변환 행렬"이라고 함)를 구하는 과정에 있어서, 본 발명의 일부 실시예는 회귀적 분석(regression analysis)을 사용한다.

회귀분석의 상세한 내용은 도 3 내지 도 4 등을 참조하여 보다 상세히 후술한다.

제1 계산부(140)는, 상기 저장부(130)에 저장된 복수 개의 학습 데이터에 회귀 분석을 수행하여 제1 변환 행렬을 계산한다.

상기 특징 포인트는, 객체(이를 테면, 사람)의 동작을 추정하기 위해 이용되는 공간 좌표상의 복수 개의 포인트 중, 일부 포인트이다.

제1 계산부(140)가 상기 제1 변환 행렬을 계산하는 보다 상세한 과정은, 도 3 내지 도 5를 참조하여 보다 상세히 후술한다.

상기 I/O 인터페이스(110)를 통해 제1 입력 데이터가 입력된다.

제1 입력 데이터는 동작 추정을 위해 물리적 정보가 주어져야 할 n 개의 전체 포인트 중, 모션 센서 세트(101) 및/또는 깊이 카메라(102)에 의해 측정된 일부인, n1 개의 특징 포인트에 관한 물리적 정보를 포함한다.

상기 n1 개의 특징 포인트에 관한 물리적 정보가 제1 입력 데이터로서 데이터 처리 장치(100)에 입력되는 경우, 제2 계산부(150)는 상기 제1 계산부(140)에 의해 계산된 제1 변환 행렬을 상기 제1 입력 데이터에 적용하여 제1 출력 데이터를 계산한다.

이 경우, 상기 제1 출력 데이터는 동작 추정에 이용되는 전체 n 개의 포인트에 관한 물리적 정보를 포함하게 된다.

한편, 상기 n1 개의 특징 포인트에 관한 물리적 정보는, 상기 n1 개의 포인트의 좌표 값, 각도, 각속도, 및 각가속도 중 적어도 하나를 포함할 수 있다. 그리고, 상술한 바와 같이 상기 n1 개의 포인트의 좌표 값은 모션 센서 세트(101) 및/또는 깊이 카메라(102)에 의해 획득될 수 있다.

도 2는 종래의 Inverse Kinematics 방법을 설명하기 위한 개념도이다.

종래에는 동작의 추정을 위해 Inverse Kinematics 방법이 사용되기도 하였다. 이를 간단히 설명하기 위해, 2차원 공간에서 복수 개의 포인트들(210, 220, 221, 및 222)의 움직임을 추정하는 과정을 설명한다.

루트(root) 포인트(210), 리프(leaf) 포인트(220) 및 그 사이의 포인트(221, 222) 중 이웃하는 두 포인트 간의 위치는 서로 연관되어 있다.

이를 테면, 포인트(210)과 포인트(221)의 위치는, 서로 거리는 일정하고 상대적 위치(각도)만 바뀔 뿐이다. 포인트(221)과 포인트(222), 또는 포인트(222)와 포인트(220) 역시 마찬가지이다.

따라서, 2차원 공간만을 가정할 때, 루트 포인트(210)의 위치와, 상기 포인트들 중 이웃하는 포인트 간의 거리가 미리 알려져 있다면, 포인트(221), 포인트(222) 및 포인트(220)의 위치는 세 개의 각도만이 주어지면 알 수 있다.

한편, 포인트(220)의 위치가 주어졌을 때, 포인트(221) 및 포인트(222)를 구할 수도 있다. 보다 상세한 내용이 도 3을 참조하여 후술된다.

도 3은 도 2의 Inverse Kinematics 방법에 의한 동작 추정을 도시한다.

루트 포인트(310)과 포인트(321) 사이의 거리는 l₁, 포인트(321)와 포인트(322) 사이의 거리는 l₂, 포인트(322)와 포인트(320) 사이의 거리는(320)으로 고정된다.

이 경우, l₁, l₂, 및 l₃는 상수(constant)이고, 루트 포인트(310)을 원점으로 가정하면, 포인트(320)의 좌표 (x, y)는 아래 수학식과 같다.

[수학식 1]

여기서 추가적인 정보(이를 테면, x>0, y>0, θ₁>0, θ₂<0, θ₃>0 )가 존재한다면, (x, y)가 주어지는 경우, θ₁, θ₂, 및 θ₃의 위치를 유일해로서 구할 수 있고, 따라서 포인트(321)과 포인트(322)의 위치도 특정할 수 있다.

즉, 루트 포인트(310)에 대한 포인트(320)의 상대적 좌표만 알아도 나머지 포인트(321 및 322)의 위치를 계산할 수 있다. 이러한 과정을 Inverse Kinematics라 한다. 상기 예에서, Inverse Kinematics 방법에 의해 (루트 포인트(310)을 제외한) 한 개의 포인트(320)의 물리적 정보(상대적 좌표(x, y))를 이용하여, 포인 트(321) 포인트(322)의 물리적 정보(좌표)를 구할 수 있었다.

그런데, 2차원에서의 단순한 분석의 경우, 이러한 Inverse Kinematics 방법이 적용될 수 있으나, 차원(dimension)이 높아지고 입력되는 데이터의 양이 많아질수록 이러한 Inverse Kinematics 방법은 한계에 봉착한다.

따라서, 본 발명의 일 실시예에 따르면, 선형(linear) 데이터에 관한 CCA(Canonical Correlation Analysis)에 기초한 회귀 분석(Regression Analysis), 또는 비선형(non-linear) 데이터에 관한 KCCA(Kernel Canonical Correlation Analysis)에 기초한 회귀 분석에 의해, 학습 데이터(training data)를 이용하여 작은 수의 포인트의 물리적 정보로부터 많은 수의 포인트의 물리적 정보를 추정하는 변환 행렬을 구한다. 보다 상세한 내용은 도 4 이하에서 후술한다.

도 4는 본 발명의 일 실시예에 따라 처리되는 모션 센싱에 의해 입력되는 한 개의 프레임의 데이터에 포함되는 복수 개의 포인트를 도시한다.

본 발명의 일 실시예에 따르면, 한 개의 프레임(frame)에서, 사람의 주요 관절에 위치한 15개 포인트에서의 물리적 정보가 센싱되어 입력된다. 다만, 본 발명은 이에 한정되지 않으며, 상기 프레임 당 포인트의 수는 실시예에 따라 얼마든지 변형될 수 있다.

본 실시예에서 한 개의 프레임에 포함되는 포인트들은 루트 포인트(400)에 연관된다.

포인트(411), 포인트(441) 및 포인트(451)은 각각 루트 포인트(400)에 연관된다. 또한, 포인트(410), 포인트(421) 및 포인트(431)은 포인트(411)에 연관되 고, 포인트(442)는 포인트(441)에, 그리고 포인트(452)는 포인트(451)에 각각 연관된다.

나아가, 포인트(420)은 포인트(422)에, 포인트(430)은 포인트(432)에, 포인트(440)은 포인트(442)에, 그리고 포인트(450)은 포인트(452)에 각각 연관된다.

상기 연관된 포인트들 간의 관계는, 루트 포인트(400)를 상위 노드(parent node)로 하는 계층 관계(hierarchical relationship)로 생각할 수 있다. 이 경우, 상기 복수 개의 포인트 중, 일부의 포인트(410, 420, 430, 440, 및 450)는 특징점 포인트(feature point)로 지정될 수 있다.

상기 특징점 포인트들과 전체 포인트들 사이의 물리적 정보의 상관 관계가 학습되면, 나중에 상기 특징점 포인트들의 물리적 정보만 센싱되어 입력되는 경우에, 전체 포인트들의 물리적 정보를 계산할 수 있다.

본 발명의 일부 실시예들에 따르면, 상기 상관 관계 학습을 통해, 특징점 포인트들의 물리적 정보와 전체 포인트 들의 물리적 정보 사이의 변환 행렬을 생성한다.

한편, 상기 각 포인트의 물리적 정보는, 위치, 속도, 가속도, 방향(각도), 각속도, 각가속도 등을 포함할 수 있다.

실시예에 따라서는, 상기 물리적 정보들 중 일부만을 포함하는 것이 가능하며, 상기 물리적 정보는 상위 포인트에 대한 방향(각도), 각속도, 및 각가속도만을 포함할 수 있다.

본 발명의 일 실시예에 따르면, 상기 각 포인트 간의 관계가 학습된다. 도 1의 데이터 처리 장치(100)에, 도 4에서 도시된 한 개의 프레임 데이터가 입력되는 경우, 처리부(120)는 상기 한 개의 프레임 데이터(이하에서는 단순히 "데이터"라고 함)를 저장부(130)에 저장한다.

이러한 프레임 데이터가 복수 개 입력되는 경우, 처리부(120)는 입력되는 복수 개의 프레임 데이터를 저장부(130)에 저장한다.

상기한 바와 같이, 상기 변환 행렬은 한 프레임의 동작 캡쳐를 위해 요구되는 전체 포인트 중, 일부의 특징 포인트만 입력될 때, 이를 이용하여 전체 포인트를 추정할 수 있도록 하는 연산자(operator) 또는 함수(function)이다.

이하에서는 회귀 분석, 특히 CCA 또는 KCCA에 기초한 회귀 분석을 이용하여, 상기 각 클러스터에 해당하는 상기 k 개의 변환 행렬 중 어느 하나를 구하는 과정을 수학식들을 참조하여 서술한다.

(1) CCA에 기초한 회귀 분석(CCA Based Regression)

CCA(Canonical Correlation Analysis)는 입력 값과 출력 값의 쌍으로 이루어진 학습 데이터 간의 상관 관계를 최대로 하는 기계학습 알고리즘 중 하나이다. 이를 위해 입력 값과 출력 값의 차원을 줄여, 변환된 입력과 출력 사이의 상관 관계(correlation)를 최대로 한다.

CCA를 사용하는 이유는, CCA를 통해 차원이 줄어든 입력과 출력의 상관관계가 최대가 되었기 때문에 CCA를 통해 차원이 줄어든 입력 과 출력의 관계에 대해 회귀 분석을 했을 때, 원래의 입력과 출력 관계에 대한 회귀분석 보다 overfitting를 피할 수 있기 때문이다.

본 발명의 일 실시예에 따르면, 상기 학습 데이터의 입력 값(일부 특징 포인트 정보)과 출력 값(전체 포인트 정보)이 비선형 관계에 있기 때문에, CCA에 Kernel Trick을 적용하여 비선형 공간에서 문제로 재구성할 수 있다.

(2) 커널 방법(Kernel Method)

3D모션 센싱에 의해 입력되는 입력 데이터(일부 특징 포인트 정보)와 모션 캡쳐 데이터(전체 포인트 정보)간의 관계에 대한 행렬식을 저장하는 학습단계에 있어서, 이 두 데이터가 비선형의 관계를 갖고 있는 실시예에서는 선형 관계를 학습하는 CCA방법의 적용은 제한된다. 따라서 비선형 관계를 학습하는 KCCA(Kernel CCA)를 이용한다.

다음은 입력 데이터

를 입력 데이터 보다 더 높은 차원인 feature space로 변환하는 매핑(mapping)을 나타내는 식이다.

[수학식 2]

CCA와 Kernel CCA의 차이점은, CCA는 학습 데이터 원래의 차원에서 문제를 생각하고 Kernel CCA는 더 높은 차원인 feature space에서 문제를 생각한다는 것이다.

입력 데이터를 더 높은 차원으로 변환시켜주는 것을 피하기 위해 원래 문제를 두 벡터 내적의 곱으로 문제를 만든다. 이때, 커널 함수를 사용한다.

커널 함수

는 feature space에 존재하는 두 벡터의 내적,

이다. 예를 들면 입력데이터

가 주어져 있을 때, 입력 데이터를 2차 monomial 형태로 변환하면

이 된다. 이때 커널 함수는 다음과 같이 나타낼 수 있다.

[수학식 3]

(3) KCCA(Kernel CCA)

개의 입력 데이터 쌍을

라 하고, 여기서

,

이며,

는 i 번째 학습의 입력 값,

는 i 번째 학습의 출력 값이다. 학습의 입력, 출력 값을 다음과 같은 행렬의 형태로 나타내자.

[수학식 4]

선형 관계를 학습하는 CCA에서는 두 데이터의 상관관계(correlation)

를 최대로 하는 식은 다음과 같이 나타낼 수 있다.

[수학식 5]

상기 수학식 5에서,

,

이고,

이다.

그런데 차원을 높인 Kernel CCA에서는 상호 상관 정도를 나타내는

,

를 다음과 같이 나타낼 수 있다.

[수학식 6]

또한

,

가 비선형 변환이 된 더 높은 차원에서 기저(basis) 쌍인

,

는,

와

가 이루는 공간에 존재하기 때문에,

,

로 나타낼 수 있다.

이 경우, Kernel CCA에서 두 데이터의 상관관계

를 최대로 하는 식은 다음과 같이 나타낼 수 있다.

[수학식 7]

여기서,

이고,

이다.

이 경우, i 번째

은, SVD(singular value decomposition)를 통해서 다음과 같이 구할 수가 있다.

[수학식 8]

[수학식 9]

여기서

,

는 각각

번째의

,

열 벡터(column vector)이다. 위와 같은 방법으로

,

의 쌍을 여러 개 얻을 수가 있는데, 최대

개를 얻을 수 있다.

여기서 입력데이터의 차원을 줄이기 위해서 입력데이터 차원보다 작은

개의

,

를 추출한다. 추출한

,

들을 행렬 형태로 나타내면 아래와 같다.

[수학식 10]

그리고, 입력 값

를 basis

에 사영(projection) 한다.

[수학식 11]

따라서 차원이 축소된 입력데이터

는 다음과 같이 계산된다.

[수학식 12]

이 경운,

는 커널 함수들로 이루어진 벡터로 이 벡터의

번째 원소는

이다.

(4) Regression

본 발명의 실시예에 따름 Regression은 크게 3가지 단계를 포함할 수 있다.

먼저,

개의 입력 쌍

가 있을 때, Kernel CCA 방법으로

개의 기저들을 얻어낸다.

그리고,

,

에서

,

로 mapping 하는 행렬

를 상기 최소자승법을 통해서 구하게 된다.

[수학식 13]

여기까지가 축소된 차원에서의 변환행렬을 구한 것이라면, 다음은 축소된 차원에서 출력 값으로 변환하는 행렬

를 구한다. 이 경우는 전 단계와 마찬가지로 최소자승법으로 구한다.

[수학식 14]

이렇게 구해진

,

는 연속적인 선형 mapping이므로, 하나의 연산자

로 만들 수 있다.

따라서 새로운 입력 값

가 있다면 원하는 출력 값

는 아래 수학식에 의해 계산될 수 있다.

[수학식 15]

여기서 구해지는

연산자가 상기한 변환 행렬이다.

본 발명의 일 실시예에 따르면, 도 1의 제1 계산부(140)는 상기한 방법에 의하여 저장부(130) 내에 저장된 복수 개의 학습 데이터를 이용하여 변환 행렬을 계산한다.

본 발명의 다른 일부 실시예에 따르면, 상기 복수 개의 학습 데이터는, 유형에 따라 복수 개의 그룹으로 나누어져 관리될 수도 있다.

학습 데이터들을 이용하여 일부 특징 포인트들과 전체 포인트 사이의 상관 관계인 변환 행렬을 계산하는데, 학습 데이터들 사이에 상관도가 높을수록 상기 변환 행렬에 따른 계산 결과가 정확할 수 있기 때문이다.

이를 테면, 복수 개의 학습 데이터들이, 객체인 사람의 운동 중에 모션 센싱을 하여 획득된 것이라면, 제1 운동 중에 획득되는 학습 데이터들은 제1 그룹으로, 다른 제2 운동 중에 획득되는 학습 데이터들은 제2 그룹으로 분류되어 관리된 다.

그리고, 제1 계산부(140)가 제1 그룹의 학습 데이터들을 이용하여 제1 변환 행렬을 계산하고, 제2 그룹의 학습 데이터들을 이용하여 제2 변환 행렬을 계산한다. 그리고, 처리부(120)가 상기 입력되는 제1 입력 데이터가 상기 제1 운동에 가까운지, 그렇지 않으면 제2 운동에 가까운지 판단하여, 상기 제1 변환 행렬 또는 제2 변환 행렬 중 적용될 변환 행렬을 선택하고, 선택된 변환 행렬을 이용하여 제2 계산부(150)가 제1 출력 데이터를 계산할 수 있다.

또한, 상기 제1 입력 데이터가 상기 제1 운동과 상기 제2 운동에 가까운 정도에 따라 가중치를 주어, 상기 제1 변환 행렬을 이용하여 계산한 값과 상기 제2 변환 행렬을 이용하여 계산한 값의 선형 합을 구해, 이를 제1 결과 데이터로 출력할 수도 있다.

이렇게 학습 데이터가 복수 개의 그룹(클러스터)로 나누어져 관리되는 실시예가 하기 도 5를 참조하여 보다 상세히 후술된다.

도 5는 본 발명의 일 실시예에 따라, 복수 개의 클러스터에 할당되는 입력 데이터를 설명하기 위한 개념도이다.

모션 센싱에 의해 입력되는 학습 데이터(510 내지 560)은 사람의 여러 가지 동작을 센싱한 것이다.

학습 데이터(510)과 학습 데이터(520)은 서로 유사한 제1 행동(이를 테면, 권투 경기) 중에 획득된 것이다. 그리고, 학습 데이터(530)과 학습 데이터(540)는 서로 유사한 제2 행동(이를 테면, 스노우 보딩) 중에 획득된 것이다. 또한, 학습 데이터(550)과 학습 데이터(560)는 서로 유사한 제3 행동(이를 테면, 수영) 중에 획득된 것이다.

상기한 바와 같이, 본 발명의 일부 실시예에서는, 학습 데이터(510) 내지 학습 데이터(560) 등의 전체 학습 데이터를 통하여 하나의 변환 행렬을 구하지 않고, 이를 복수 개의 클러스터로 나누어 각각의 변환행렬을 계산한다.

이를 테면, 학습 데이터(510)과 학습 데이터(520) 등 상기 제1 행동으로 추정되는 학습 데이터들을 제1 클러스터로, 학습 데이터(530)과 학습 데이터(540) 등 상기 제2 행동으로 추정되는 학습 데이터들을 제2 클러스터로, 또한 학습 데이터(550)과 학습 데이터(560) 등 상기 제3 행동으로 추정되는 학습 데이터들을 제3 클러스터로 할당하는 것이다.

본 발명의 일 실시예에 따르면, 상기 입력된 복수 개의 학습 데이터들 상호간을 비교하여 유사한 것끼리 클러스터링을 수행하고, 각 클러스터 마다의 변환 행렬을 계산한다.

본 실시예에서, 도 5의 학습 데이터(510) 및 학습 데이터(520)은 제1 클러스터에, 학습 데이터(530) 및 학습 데이터(540)은 제2 클러스터에, 그리고 학습 데이터(550) 및 학습 데이터(560)은 k 번째 클러스터에 할당된다.

그리고 제1 계산부(140)가 상기 제1 클러스터와 상기 제2 클러스터 등 k 개의 클러스터에 대해 각각의 변환 행렬을 구한다.

도 6은 본 발명의 일 실시예에 따라, 모션 센싱에 의해 복수 개의 포인트의 물리적 정보를 포함하는 데이터를 획득하는 과정을 도시한다.

이상에서 k 개의 클러스터링과 변환 행렬이 모두 구해지는 경우, 도 6과 같은 예시적 구성에서 일부 특징적 포인트에 대한 센싱을 수행할 수 있다.

센서(601)는, 사람(602)의 특징적 포인트(610 내지 650)의 물리적 정보를 분석한다. 이를테면, 방향, 각속도, 각가속도 등이다.

그러면, 도 1의 처리부(120)는 상기 5 개의 포인트(610 내지 650) 정보를 포함하는 데이터를 위해, 상기 k 개의 클러스터 중 유사도가 높은 어느 하나의 클러스터의 변환 행렬을 선택한다(물론, 본 발명의 다른 실시예에서 복수 개의 학습 데이터가 하나로 관리되고, 따라서 하나의 변환 행렬만 계산된 경우는, 상기 선택은 요구되지 않음, 이하 같음).

그리고, 제2 계산부(150)는, 상기 데이터에 상기 선택된 변환 행렬을 적용하여, 전체 포인트(이를 테면 15개)의 동작을 추정한 값을 계산한다.

이를 테면, 상기 5 개의 포인트(610 내지 650) 정보를 포함하는 데이터가 입력되는 경우, 도 4의 전체 포인트 정보가 계산될 수 있다.

본 발명의 일부 실시예에서는, 상기 k 개의 클러스터 중 유사도가 가장 높은 하나의 클러스터를 선택하여, 상기 클러스터에 대한 변환 행렬만 적용한다.

그러나, 본 발명은 이에 한정되지 않으며, 상기 k 개의 클러스터 중 두 개 이상의 클러스터를 선택하고, 선택된 각 클러스터의 변환 행렬을 상기 데이터에 적용한 후, 유사도에 따른 가중치를 곱해 선형 합을 구함으로써, 전체 포인트 정보를 계산할 수도 있다.

도 7은, 상기 일부 실시예에서, 학습 데이터가 k 개의 클러스터로 나누어져 관리되는 경우(따라서, 제1 계산부(140)가 k 개의 변환 행렬을 계산하는 경우)의 도 1의 저장부(130)의 구조를 나타낸다.

본 실시예에서 저장부(130)은 내부에 물리적으로 및/또는 논리적으로 분할된 복수 개의 클러스터(710 내지 730)를 포함한다.

그리고, 상기 복수 개의 클러스터(710 내지 730)는 각각 복수 개의 학습 데이터를 저장할 수 있다.

도 8은 본 발명의 일 실시예에 따른 데이터 처리 방법을 도시한다.

단계(S810)에서 복수 개의 학습 데이터가 입력된다.

상기 학습 데이터들이 포함하는 물리적 정보의 형태는 도1을 참조하여 전술한 바와 같다.

그리고 단계(S820)에서, 도 1의 제1 계산부(140)가 회귀분석 기법(이를테면, 상기 KCCA 등)을 이용하여 제1 변환 행렬을 계산한다.

상기 계산 과정은 도 3 내지 도5를 참조하여 상술한 바와 같다.

본 발명의 일부 실시예에서는 상기 학습 데이터에 대한 그룹핑 없이 전체 학습 데이터에 대해 하나의 변환 행렬을 계산한다.

그러나 본 발명은 이에 한정되지 않으며, 상기 입력된 학습 데이터를 복수 개의 클러스터로 그룹핑 하고, 각 클러스터 마다 회귀 분석(이를 테면, 상기 KCCA 등)을 이용하여 변환 행렬을 계산할 수도 있음은, 상기한 바와 같다.

단계(S830)에서, 일부 특징 포인트에 대한 물리적 정보를 포함하는 제1 입력 데이터가 수신된다. 상기 제1 입력 데이터는 도 1에 도시된 외부 모션 센서 세 트(101) 및/또는 깊이 카메라(102)에 의해 획득되어 제공된 것일 수 있다.

그러면, 단계(S840)에서 제2 계산부(150)이 상기 계산된 제1 변환 행렬을 상기 제1 입력 데이터에 적용하여, 상기 특징 포인트를 포함한 전체 포인트의 물리적 정보를 계산한 제1 결과 데이터를 계산하고, 이는 동작 추정에 활용될 수 있다.

물론, 상기 본 발명의 일부 실시예에서, 학습 데이터가 복수 개의 클러스터로 나누어 관리되는 경우에는, 처리부(120)의 선택에 따라, 복수 개의 클러스터에 대한 복수 개의 변환 행렬 중, 하나 또는 그 이상의 변환 행렬이 선택되고, 선택된 변환 행렬이 제2 계산부(150)에 의해 활용된다.

이 경우, 두 개 이상의 변환 행렬이 선택된다면, 상기 제1 입력 데이터와 각 클러스터의 학습 데이터 간 유사도에 의한 가중치가 곱해져서, 선형합을 제1 결과 데이터로 제공할 수도 있다.

도 9는 본 발명의 일 실시예에 따라, 학습 데이터가 복수 개의 클러스터로 나누어 관리되는 경우에 제2 계산부(150)가 제1 결과 데이터를 계산하는 과정을 도시한다.

단계(S910)에서 제1 입력 데이터가 수신된다.

이 경우, 도 1의 제2 계산부(150)는 병렬적으로 (또는 직렬적으로), 상기 제1 입력 데이터에 복수 개의 변환 행렬을 적용한다.

이를 테면, 처리부(120)가 k의 변환 행렬을 선택한 경우에, 제2 계산부(150)는 상기 제1 입력 데이터에 제1 변환 행렬을 적용한다(S920). 그러면, 제1 중간 값이 계산된다.

그리고, 상기 제2 계산부(150)는 상기 제1 입력 데이터에 제2 변환 행렬을 적용하여 제2 중간 값을 계산하고(S930), 나아가 제1 입력 데이터에 k 번째의 변환 행렬까지 적용하여 k 번째의 중간 값을 계산한다(S940).

그리고, 상기 계산된 k 개의 중간 값들에 대해, 각 클러스터의 학습 데이터들과 상기 제1 입력 데이터 사이의 유사도에 따라, 선형적으로(또는 비선형적으로) 가중치를 부여한다. 상기 부여되는 가중치의 합은 1일 수 있다.

그리고, 단계(S950)에서 상기 가중치가 곱해진 k 개의 중간 값들의 합이 계산되며, 이것이 제1 결과 데이터로서 제공된다.

상기 제1 결과 데이터는 일부 특징 포인트를 포함한 전체 포인트들의 물리적 정보를 포함하며, 이는 동작 추정을 위해 활용된다.

본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

도 1은 본 발명의 일 실시예에 따른 데이터 처리 장치를 도시한다.

도 4는 본 발명의 일 실시예에 따라 처리되는 모션 센싱에 의한 입력 데이터에 포함되는 복수 개의 포인트의 물리적 정보를 도시한다.

도 7은 본 발명의 일 실시예에 따른 데이터 처리 장치의 저장부를 도시한다.

도 9은 본 발명의 일 실시예에 따른 데이터 처리 방법을 도시한다.

Claims

모션 센싱에 의해 획득되는 복수 개의 학습 데이터를 저장하는 저장부;

상기 복수 개의 학습 데이터에 회귀 분석(Regression Analysis)을 수행하여 제1 변환 행렬을 계산하는 제1 계산부; 및

제1 입력 데이터에 상기 제1 변환 행렬을 적용하여, 제1 출력 데이터를 계산하는 제2 계산부

를 포함하고,

상기 복수 개의 학습 데이터의 각각은 모션 센싱의 한 프레임에서 감지되는 n 개(n은 자연수)의 포인트의 물리적 정보와, 상기 n 개의 포인트 중 n1 개(n1은 자연수)의 특징 포인트(feature point)의 물리적 정보를 포함하고,

상기 제1 입력 데이터는 n1 개의 특징 포인트에 관한 물리적 정보를 포함하며, 상기 제1 출력 데이터는 n 개의 포인트에 관한 물리적 정보를 포함하고,

상기 n1 개의 특징 포인트에 관한 물리적 정보는, 상기 n1 개의 포인트의 좌표 값, 각도, 각속도, 및 각가속도 중 적어도 하나를 포함하는 데이터 처리 장치.
삭제
삭제
제1항에 있어서,

상기 n1 개의 포인트의 좌표 값은 모션 센서 및 깊이 카메라 중 적어도 하나를 이용하여 획득되는, 데이터 처리 장치.
제1항에 있어서,

상기 회귀 분석은, KCCA(Kernel Canonical Correlation Analysis)에 기초한 비선형 분석인, 데이터 처리 장치.
제1항에 있어서,

상기 회귀 분석은, CCA(Canonical Correlation Analysis)에 기초한 선형 분석인, 데이터 처리 장치.
모션 센싱에 의해 획득되는 복수 개의 학습 데이터를 k 개(단, k는 자연수)의 그룹으로 나누는 처리부;

상기 k 개의 그룹의 각각을 저장하는 k 개의 클러스터를 포함하는 저장부;

회귀분석을 이용하여 상기 k 개의 클러스터의 각각에 대응하는 k 개의 변환 행렬을 계산하는 제1 계산부; 및

제1 입력 데이터가 입력되는 경우, 상기 k 개의 변환 행렬 중 선택되는 l 개(단, l은 자연수이며, l≤k)의 변환 행렬을 이용하여 제1 출력 데이터를 계산하는 제2 계산부

를 포함하고,

상기 복수 개의 학습 데이터의 각각은 모션 센싱의 한 프레임에서 감지되는 n 개(n은 자연수)의 포인트의 물리적 정보와, 상기 n 개의 포인트 중 n1 개(n1은 자연수)의 특징 포인트(feature point)의 물리적 정보를 포함하고,

상기 제1 입력 데이터는 n1 개의 특징 포인트에 관한 물리적 정보를 포함하며, 상기 제1 출력 데이터는 n 개의 포인트에 관한 물리적 정보를 포함하고,

상기 n1 개의 특징 포인트에 관한 물리적 정보는, 상기 n1 개의 포인트의 좌표 값, 각도, 각속도, 및 각가속도 중 적어도 하나를 포함하는

데이터 처리 장치.
제7항에 있어서,

상기 제2 계산부는, 상기 선택된 l 개의 변환 행렬을 상기 제1 입력 데이터에 적용한 결과 값들에, 상기 제1 입력 데이터와 상기 l 개의 변환 행렬 각각의 상관도에 비례한 가중치를 적용하고, 상기 가중치가 적용된 상기 결과 값들의 선형 합으로서 상기 제1 출력 데이터를 계산하는, 데이터 처리 장치.
삭제
제7항에 있어서,

상기 회귀 분석은, KCCA(Kernel Canonical Correlation Analysis)에 기초한 비선형 분석인, 데이터 처리 장치.
제7항에 있어서,

상기 회귀 분석은, CCA(Canonical Correlation Analysis)에 기초한 선형 분석인, 데이터 처리 장치.
복수 개의 학습 데이터를 입력 받는 단계;

상기 복수 개의 학습 데이터에 회귀 분석을 수행하여 제1 변환 행렬을 계산하는 단계; 및

제1 입력 데이터가 입력되는 경우, 상기 제1 입력 데이터에 상기 제1 변환 행렬을 적용하여, 제1 출력 데이터를 계산하는 단계

를 포함하고,

상기 복수 개의 학습 데이터의 각각은 모션 센싱의 한 프레임에서 감지되는 n 개(n은 자연수)의 포인트의 물리적 정보와, 상기 n 개의 포인트 중 n1 개(n1은 자연수)의 특징 포인트(feature point)의 물리적 정보를 포함하고,

상기 제1 입력 데이터는 n1 개의 특징 포인트에 관한 물리적 정보를 포함하며, 상기 제1 출력 데이터는 n 개의 포인트에 관한 물리적 정보를 포함하고,

상기 n1 개의 특징 포인트에 관한 물리적 정보는, 상기 n1 개의 포인트의 좌표 값, 각도, 각속도, 및 각가속도 중 적어도 하나를 포함하는

데이터 처리 방법.
삭제
삭제
제12항에 있어서,

상기 n1 개의 포인트의 좌표 값은 모션 센서 및 깊이 카메라 중 적어도 하나를 이용하여 획득되는, 데이터 처리 방법.
제12항에 있어서,

상기 회귀 분석은, KCCA(Kernel Canonical Correlation Analysis)에 기초한 비선형 분석인, 데이터 처리 방법.
제12항에 있어서,

상기 회귀 분석은, CCA(Canonical Correlation Analysis)에 기초한 선형 분석인, 데이터 처리 방법.
모션 센싱에 의해 획득되는 복수 개의 학습 데이터를 k 개(단, k는 자연수)의 그룹으로 나누어 저장하는 단계;

회귀분석을 이용하여 상기 k 개의 클러스터의 각각에 대응하는 k 개의 변환 행렬을 계산하는 단계; 및

제1 입력 데이터가 입력되는 경우, 상기 k 개의 변환 행렬 중 선택되는 l 개(단, l은 자연수이며, l≤k)의 변환 행렬을 이용하여 제1 출력 데이터를 계산하는 단계

를 포함하고,

상기 복수 개의 학습 데이터의 각각은 모션 센싱의 한 프레임에서 감지되는 n 개(n은 자연수)의 포인트의 물리적 정보와, 상기 n 개의 포인트 중 n1 개(n1은 자연수)의 특징 포인트(feature point)의 물리적 정보를 포함하고,

상기 제1 입력 데이터는 n1 개의 특징 포인트에 관한 물리적 정보를 포함하며, 상기 제1 출력 데이터는 n 개의 포인트에 관한 물리적 정보를 포함하고,

상기 n1 개의 특징 포인트에 관한 물리적 정보는, 상기 n1 개의 포인트의 좌표 값, 각도, 각속도, 및 각가속도 중 적어도 하나를 포함하는

데이터 처리 방법.
제12항 및 제15항 내지 제18항 중 어느 한 항에 있어서,

상기 데이터 처리 방법을 수행하기 위한 명령어를 수록한 컴퓨터 판독 가능 기록 매체.