KR100292811B1 - 광류에 기반한 얼굴 움직임 검출 방법 및 그 기록매체 - Google Patents

Abstract

본 발명은 영상 해석분야에 있어서 얼굴 움직임 검출 방법 및 그 기록매체에 관한 것이며, 특히 광류(optical flow)을 이용하여 실시간에 얼굴 표정의 움직임을 분석하고, 분석된 움직임을 얼굴 모델의 애니메이션에 직접 적용시킴으로써 미세하고 정확한 얼굴 표정의 제어가 가능하도록 하는 얼굴 움직임 검출 방법 및 그 기록매체에 관한 것이다.

또한, 본 발명에 따르면, 얼굴 영역을 분할하여 얼굴 영상과 3차원 메쉬 모델과의 정합을 수행하는 제 1 단계; 광류를 추출하는 제 2 단계; 및 추출된 모션 파라미터를 이용하여 3차원 얼굴 모델을 변형하는 제 3 단계를 포함하여 이루어진 광류에 기반한 얼굴 움직임 검출 방법이 제공된다.

Description

광류에 기반한 얼굴 움직임 검출 방법 및 그 기록매체{A real time face expression analysis and animation method based on optical flow technique}

본 발명은 영상 해석분야에 있어서 얼굴 움직임 검출 방법 및 그 기록매체에 관한 것이며, 특히 광류(optical flow)을 이용하여 실시간에 얼굴 표정의 움직임을 분석하고, 분석된 움직임을 얼굴 모델의 애니메이션에 직접 적용시킴으로써 미세하고 정확한 얼굴 표정의 제어가 가능하도록 하는 얼굴 움직임 검출 방법 및 그 기록매체에 관한 것이다.

얼굴 표정의 움직임을 분석하는 것은 얼굴 표정 애니메이션 제어에 매우 중요한 역할을 한다.

그 이유는 제어 파라미터를 자동적으로 추출할 수 있다는 점과 생성된 얼굴의 움직임을 검증할 수 있는 수단을 제공한다는 점 때문이다.

지금까지의 얼굴 애니메이션 제어는 애니메이터에 의해 손으로 일일이 프레임을 생성하는 것이 보통이었다.

하지만 이 작업은 매우 시간이 많이 들고 지루한 작업이기 때문에 얼굴 파라미터 추출을 자동화하는 것은 매우 필수 불가결한 일이라 할 수 있다.

이를 위해 모션 캡춰 장비나 6DOF 장치처럼 머리에 착용을 해서 파라미터를 추출하거나, 컴퓨터 비젼 방법을 이용하여 자연스럽게 얼굴의 근육의 움직임을 추출하여 애니메이션에 필요한 파라미터를 추출하는 방법이 필요로 하게 되었다.

여기에서, 얼굴의 움직임을 추출하기 위해서 얼굴의 근육의 움직임을 추출하는 것은 인간 얼굴의 표정이 근육의 움직임에 기인하기 때문이다.

종래의 얼굴의 표정을 검출하거나 인식하는 방법으로는 한 장의 스냅샷 영상으로부터 얼굴의 표정을 검출하거나 인식하는 방법이 있었는데, 이럴 경우에 시간에 따른 표정의 미세한 변화 등은 검출할 수가 없기 때문에 움직임 분석에 대한 필요성이 대두되었다.

그리고, 근육의 움직임을 검출하고 인식하기 위한 방법은 기본적으로 머리와 얼굴을 검출하고, 검출된 얼굴 영역 안에서 입, 눈, 코 등의 얼굴 각 부분의 움직임이나 변형을 검출하고, 추척해야 한다.

얼굴의 움직임을 검출하고 추척하는 종래 기술에 따른 분석기법은 다음과 같이 분류할 수 있다.

(1) 특징 추적(feature tracking)

움직임 분석을 위한 특징 추적에서는 영상에서 검출이 용이한 특징(prominent feature)의 집합을 정의하고 이를 추정하게 된다.

분석은 보통 두 단계로 나뉘는데, 먼저 영상 시퀀스로부터 점, 에지, 코너 등과 같은 특징을 추출하고, 다음 영상과의 매칭을 통해 모션 파라미터를 추정한다.

하지만 움직임 벡터가 영상의 모든 점에 대해서 추출되지 않기 때문에 얼굴의 표정의 검출 및 추정에 적용시 얼굴의 모든 부분에 대해 움직임 벡터를 검출할 수 없게 된다는 문제점이 있었다.

(2)패턴 추적(pattern tracking)

패턴 추적은 각 영상 프레임에서 패턴의 위치를 검출하고 이를 다음 패턴과 매칭 함으로써 움직임을 추정한다는 점에서는 특징 추적과 비슷하지만, 포인트, 에지, 점과 같은 저수준(low level)의 일반적인 특징이 아닌 물체를 정확히 표현하는 고수준(high level)의 패턴을 추적한다는 점에서 구별된다.

얼굴 추적의 경우에는 얼굴템플릿을 이용하여 얼굴 영역이나 눈과 같은 얼굴의 특정 부위를 찾는 것을 의미한다.

패턴의 추적의 장점은 얼굴 영역과 같이 관심 있는 영역에 대해서만 추적을 수행함으로 움직임 계산을 효율적으로 할 수 있다.

그러나 상기 방법은 배경이 복잡할 경우나 얼굴 영역이 배경과 구별이 안될 경우에 많은 계산량이 필요하다는 문제점이 있었다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로써, 얼굴의 표정 애니메이션을 제어하기 위하여 손으로 일일이 제어 포인트를 설정하고 이 제어 포인트가 움직이는 방향과 크기를 정해 주어야 하는 종래 기술과는 달리 광류(optical flow)를 이용하여 실시간에 얼굴 표정의 움직임을 분석하고, 분석된 움직임을 얼굴 모델의 애니메이션에 직접 적용시킴으로써 미세하고 정확한 얼굴 표정의 제어가 가능하도록 하는 광류에 기반한 얼굴 움직임 검출 방법 및 그 기록매체를 제공하는 것을 목적으로 한다.

도 1은 본 발명의 일실시예에 따른 광류에 기반한 얼굴 움직임 검출 방법의 흐름도이고,

도 2는 도 1의 얼굴 영역 영상 분할 과정에 대한 흐름도이고,

도 3은 도 1의 얼굴 영상과 3차원 메쉬 모델과의 정합 과정의 흐름도이고,

도 4는 얼굴 영상과 3차원 얼굴 메쉬 모델과의 정합된 형태를 나타낸 도면이고,

도 5는 도 1의 광류 추출 과정의 흐름도이고,

도 6은 도 1의 추출된 모션 파라이터를 이용하여 3차원 얼굴 모델을 변형하는 과정의 흐름도이고,

도 7은 얼굴 모델의 일부분을 도시한 도면.

앞서 설명한 바와 같은 목적을 달성하기 위한 본 발명에 따르면, 얼굴 영역을 분할하여 얼굴 영상과 3차원 메쉬 모델과의 정합을 수행하는 제 1 단계; 광류를 추출하는 제 2 단계; 및 추출된 모션 파라미터를 이용하여 3차원 얼굴 모델을 변형하는 제 3 단계를 포함하여 이루어진 광류에 기반한 얼굴 움직임 검출 방법이 제공된다.

또한, 본 발명에 따르면, 컴퓨터에, 얼굴 영역을 분할하여 얼굴 영상과 3차원 메쉬 모델과의 정합을 수행하는 제 1 단계; 광류를 추출하는 제 2 단계; 및 추출된 모션 파라미터를 이용하여 3차원 얼굴 모델을 변형하는 제 3 단계를 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공된다.

아래에서, 본 발명에 의한 광류에 기반한 얼굴 움직임 검출 방법 및 그 기록매체의 바람직한 일실시예를 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다.

도면에서, 도 1은 본 발명의 일실시예에 따른 광류에 기반한 얼굴 움직임 검출 방법의 흐름도이다.

도면에 도시된 바와 같이, 본 발명의 일실시예에 따른 광류에 기반한 얼굴 움직임 검출 방법은, 먼저 단계 S11 에서 영상 시퀀스가 입력되면 컬러 영상 기법과 타원체 근사 기법을 이용하여 얼굴 영역을 분할한다.

이러한 얼굴 영역 분할이 필요한 이유는 다음 단계인 얼굴 영상과 3차원 메쉬 모델과의 정확한 정합을 위해서이다.

또한, 광류(optical fiow)을 이용하여 얼굴 각 부분의 움직임을 추출할 때 전 영상에 대해 구하는 것이 아니라 얼굴 영역에 대해서만 광류을 구함으로써 실시간 제한 조건에 따른 계산량 감소 효과를 노릴 수 있기 때문이다.

이후에, 단계 S12에서는 얼굴 영상을 3차원 메쉬 모델에 정합시키며, 이러한 정합은 얼굴 각 부분의 움직임을 추출한 뒤 그 움직임 벡터를 그래픽 모델에 매핑시에 영상 도메인에서의 위치와 그래픽 도메인에서의 위치를 서로 조정하는 과정이다.

그리고, 상기 과정은 주로 스케일을 조정하는 수준에서 정합이 이루어진다.

다음에, 단계 S13에서는 광류을 추출하여 얼굴 각 부분의 움직임을 구한다.

그리고, 실제 광류의 추출은 영상에서 모든 픽셀에 대해서 구하는 것이므로 많은 계산량이 필요한 과정이며, 이 계산량을 줄이기 위하여 전 영상에 대해 광류을 구하는 것이 아니라 앞에서 컬러 영상 분할을 통해 얼굴 영역을 분할했으므로 이 얼굴 영역에 대해서만 광류을 구하도록 한다.

또한, 광류을 추출하는데 있어서 국부 평활화(local smoothness) 조건이나 광역 평활화(global smoothness) 조건을 이용하여 전체 속도(full velocity)를 구하지 않고 spatio-temporal intensity derivative만으로 구한 수직방향의 속도(normal velocity)로도 움직임을 검출할 수 있음을 실험을 통해 알 수 있었다.

따라서 실시간 제한 조건을 만족하기 위해 수직방향의 속도(normal velocity)를 얼굴의 3차원 모델에 적용하였다.

그리고, 단계 S14에서는 추출된 모션 파라미터를 이용한 3차원 얼굴 모델을 변형한다.

도면에서, 도 2는 도 1의 얼굴 영역 영상 분할 과정에 대한 흐름도이다.

도면에 도시된 바와 같이, 도 1의 얼굴 영역 영상 분할 과정은, 먼저, 단계 S21에서 학습에 의한 참조맵을 형성한 후에, 단계 S22에서 형성된 참조맵을 사용하여 영상을 분할한다.

상기 참조맵은 픽셀들의 집합에서 피부 컬러와 피부가 아닌 컬러를 분류하기 위해 사용하는데 YCrCb 컬러 형식에서 Cr과 Cb의 분포에 의해 결정된다.

피부 컬러에 해당하는 Cr과 Cb의 범위는 RCr, RCb라 정의하면 이 RCr, RCb가 참조맵이 된다.

그리고, 영상을 분할하는 과정은 앞서 결정된 참조맵을 이용하여 수행되며, 분할된 영상의 Cr과 Cb의 범위가 참조맵에서 정의된 범위에 속하는지 여부로 판단한다.

즉, 분할된 영상이 참조맵 상에서 범위 안의 픽셀이면 1, 그 외의 픽셀이면 0으로 지정하게 된다.

다음에, 단계 S23에서는 특징을 추출하고 잡음을 제거하며, 단계 S24에서는 타원체 근사를 수행하여, 단계 S25에서 얼굴 영역 영상을 분할한다.

도면에서, 도 3은 도 1의 얼굴 영상과 3차원 메쉬 모델과의 정합 과정의 흐름도이다.

영상에서의 얼굴 각 부위의 움직임을 3차원 그래픽 모델의 움직임으로 매핑하기 위해서는 먼저 영상에서의 얼굴의 각 부위와 그래픽 모델에서의 각 부위를 서로 정합시킬 필요가 있다.

이렇게 하는 이유는 사람마다 얼굴의 크기나 얼굴 각 부위의 위치 등이 서로 다르기 때문이다.

그래서 그래픽 얼굴 모델은 일반적인 일반적 메쉬 모델(generic mesh model)만을 준비한 뒤 얼굴 영상이 입력되면 얼굴 영상을 분석하여 그 얼굴에 적합한 특성 메쉬 모델(specific mesh model)을 생성하여야 한다.

그리고, 그 과정을 상세히 설명하면 다음과 같다.

먼저, 단계 S31에서는 배경과 분할된 얼굴 영역으로부터 가장 특징이 되는 특징점을 추출하며, 여기에서는 두 눈의 위치와 입의 위치를 특징점으로 설정하였다.

다음에, 단계 S32에서는 영상에서 두 눈과 입에 해당하는 노드(node)를 움직여 일반 메쉬 모델에서의 위치와 정합을 시킨다. 그러면 세 점에 대하여는 이제 영상에서의 위치와 일반 메쉬 모델에서의 위치는 같게 되지만 나머지 부분에 대하여서는 서로 매칭이 되지 않는 채로 남아있게 된다.

이후에, 단계 S33에서는 선형 보간(linear interpolation)을 이용하여 얼굴 메쉬 모델 상에서의 노드들을 움직여서 영상에서의 얼굴의 각 부위와 정합을 수행하여, 특성 메쉬 모델을 형성함으로써, 얼굴 영상을 3차원 얼굴 메쉬 모델과 정합시키는 과정을 종료한다.

한편, 특징점을 많이 추출하면 정확히 정합을 수행할 수 있지만, 얼굴 영상에서 자동으로 추출할 수 있는 특징점을 많이 설정하기가 어렵고, 또 실시간으로 추출해야 한다는 점 때문에 3개의 특징점만으로 정합을 시도하였다.

도면에서, 도 4는 얼굴 영상과 3차원 얼굴 메쉬 모델과의 정합된 형태를 나타낸 도면이다.

도면에서, 도 5는 도 1의 광류 추출 과정의 흐름도이다.

도면에 도시된 바와 같이, 도 1의 광류 추출 과정은, 먼저 단계 S51에서 전처리를 수행하고, 단계 S52에서 시공간 미분을 수행하여 광류를 구한 후에, 단계 S53에서 후처리를 수행한다.

그리고, 광류(Optical Flow)는 영상에서의 속도(image velocity)를 의미하는데, 영상 시퀀스의 2차원 모션 필드를 의미한다.

2차원 영상 모션은 3차원상에서 3차원 속도가 영상 플레인(2D)에 프로젝션된 것을 의미하는데 실제 환경에서 물체의 상대적인 속도를 나타낸다.

광류를 구하는 방법으로는 다음과 같이 세 가지로 분류할 수 있는데 여기에서는 미분에 의한 방법을 이용하였다.

1. 미분에 의한 방법(Differential Method) : 이 방법은 영상에서의 강도(intensity)를 시공간(spatio-temporal)에 대해 미분함으로써 영상에서의 속도(image velocity)를 구하게 된다.

2. 주파수 변환에 의한 방법(Frequency-based method): 이 방법은 주파수 영역에서 에너지 정보나 위상 정보를 이용하여 영상에서의 속도(image velocity)를 구하게 된다.

3. 정합에 의한 방법(Matching method): 이 방법은 영상에서 다양한 특징을 추출하여 이것을 정합함으로써 영상의 이동(displacement)을 구하는 방법이다.

그러면 미분에 의한 방법을 자세히 설명하기로 한다.

일반적으로 연속적인 프레임에 대해 영상 변이(image translation)은 다음 (수학식 1)로 표현된다.

상기 (수학식 1)에서 ＆v＆는 ＆v =＆ (＆u, v ＆)＆^T＆로써 구하고자 하는 속도를 나타내며, I는 강도를 의미하고, ＆x = ＆(＆x, y＆)는 영상의 한점을 의미한다.

상기 (수학식 1)에서 ＆v＆를 구하기 위해서는 1차 미분을 이용하면 된다.

강도(intensity)는 시간 t에 의해서 변하는 않는다는 조건 을 가정하면, 상기 (수학식 1)을 다음 (수학식 2)와 같이 테일러(Taylor) 급수 전개된다.

여기에서 ΔI(＆x＆, t)는 공간에 의한 미분값(spatial intensity gradient)을 의미한다.

상기 (수학식 2)를 다시 정리하면 우리가 구하고자 하는 영상에서의 속도(image velocity)는 다음 (수학식 3)과 같이 표현된다.

상기 (수학식 3)에서 구한 ＆v＆는 애퍼쳐 문제(aperture prooblom) 때문에 수직 방향 속도(normal velocity)를 의미한다.

정밀한 광류를 구하기 위해서는 여기에 평활화 조건(smooth constraint) 등을 이용하여 완전한 속도(full velocity)를 구해야 한다.

하지만 여기에서는 실시간에 적용을 해야 하는데 완전한 속도(full velocity)를 구하는데 시간이 많이 걸리므로 적합하지 않다.

또한, 수직 방향 속도(normal velocity)만으로도 충분히 정확한 영상에서의 속도를 구할 수 있기 때문에 수직 방향 속도를 이용하였다.

그리고, 단계 S53에서는 더 정밀한 광류를 얻기 위하여 여러 가지 제약 조건등을 가하여 완전한 속도를 구한다.

마지막으로 3차원 얼굴 모델의 각 노드에 적용할 특징 벡터를 구하는 방법에 대하여 설명한다.

도면에서, 도 6은 도 1의 추출된 모션 파라이터를 이용하여 3차원 얼굴 모델을 변형하는 과정의 흐름도이다.

도면에 도시된 바와 같이, 추출된 모션 파라미터를 이용하여 3차원 얼굴 모델을 변형하는 과정은, 단계 S61에서 얼굴 모델의 삼각형 패치에 무게 중심을 설정한 후에, 단계 S62에서 설정된 무게 중심을 연결하여 가상 패치를 형성한다.

그 후에, 단계 S63에서 각각의 가상 패치 영역에 대해 특징 벡터를 추출하고, 단계 S64에서 추출된 특징 벡터를 이용하여 3차원 얼굴 모델을 변형한다.

각각의 노드에 적용할 특징 벡터는 다음 (수학식 4)와 같이 표현된다.

상기 (수학식 4)에서 S_i는 가상 패치의 크기를 의미하고, i는 각각의 가상 패치를 나타낸다.

도면에서, 도 7은 얼굴 모델의 일부분을 도시한 도면이다.

앞서 상세히 설명한 바와 같이 본 발명의 광류에 기반한 얼굴 움직임 검출 방법 및 그 기록매체는 광류를 이용하여 실시간에 얼굴 표정의 움직임을 분석하고, 이 움직임을 얼굴 모델의 애니메이션에 직접 적용시킴으로써 미세하고 정확한 얼굴 표정의 제어가 가능하도록 하는 효과가 있다.

또한, 본 발명의 광류에 기반한 얼굴 움직임 검출 방법 및 그 기록매체는 종래에 얼굴의 표정 애니메이션을 제어하기 위해서는 손으로 일일이 제어 포인트를 설정하고 이 제어 포인트가 움직이는 방향과 크기를 정해주어야 하는데, 이를 컴퓨터 비젼 기술을 이용하여 실시간에 자동적으로 가능하도록 하는 효과가 있다.

또한, 본 발명의 광류에 기반한 얼굴 움직임 검출 방법 및 그 기록매체는 HCI 등에 많은 응용이 가능하다.

Claims (11)

1. 얼굴 영역을 분할하여 얼굴 영상과 3차원 메쉬 모델과의 정합을 수행하는 제 1 단계;

   광류를 추출하는 제 2 단계; 및

   추출된 모션 파라미터를 이용하여 3차원 얼굴 모델을 변형하는 제 3 단계를 포함하여 이루어진 광류에 기반한 얼굴 움직임 검출 방법.
2. 제 1 항에 있어서,

   상기 제 1 단계의 얼굴 영역을 분할하는 과정은,

   학습에 의한 참조 맵을 결정하는 제 4 단계;

   참조맵을 이용하여 영상을 분할하는 제 5 단계;

   특징을 추출하여 잡음을 제거하는 제 6 단계; 및

   타원체 근사를 수행하여 얼굴 영역 영상을 분할하는 제 7 단계를 포함하여 이루어진 광류에 기반한 얼굴 움직임 검출 방법.
3. 제 2 항에 있어서,

   상기 제 1 단계의 얼굴 영상과 3차원 메쉬 모델과의 정합을 수행하는 과정은,

   영상으로부터 특징점을 추출하는 제 8 단계;

   일반 메쉬 모델에 특징점의 위치를 정합하는 제 9 단계; 및

   선형 보간을 이용하여 일반 메쉬 모델의 노드를 움직여 각 부위의 정합을 수행하는 제 10 단계를 포함하여 이루어진 광류에 기반한 얼굴 움직임 검출 방법.
4. 제 1 항 내지 제 3 항중 어느 한 항에 있어서,

   상기 제 2 단계는,

   미분에 의한 방법으로 광류를 구하는 것을 특징으로 하는 광류에 기반한 얼굴 움직임 검출 방법.
5. 제 4 항에 있어서,

   상기 제 2 단계의 미분에 의한 방법으로 구한 광류는,

   영상에서의 속도로서 수직 방향 속도만을 이용하는 것을 특징으로 하는 광류에 기반한 얼굴 움직임 검출 방법.
6. 제 5 항에 있어서,

   상기 제 3 단계는,

   얼굴 모델의 삼각형 패치에 무게 중심을 설정하는 제 11 단계;

   설정된 무게 중심을 연결하여 가상 패치를 형성하는 제 12 단계;

   각각의 가상 패치 영역에 대해 특징 벡터를 추출하는 제 13 단계; 및

   추출된 특징 벡터를 이용하여 3차원 얼굴 모델 변형을 수행하는 제 14 단계를 포함하여 이루어진 광류에 기반한 얼굴 움직임 검출 방법.
7. 제 1 항 내지 제 3 항중 어느 한 항에 있어서,

   상기 제 2 단계는,

   주파수 변환에 의한 방법을 이용하여 광류를 구하는 것을 특징으로 하는 광류에 기반한 얼굴 움직임 검출 방법.
8. 제 7 항에 있어서,

   상기 제 3 단계는,

   얼굴 모델의 삼각형 패치에 무게 중심을 설정하는 제 11 단계;

   설정된 무게 중심을 연결하여 가상 패치를 형성하는 제 12 단계;

   각각의 가상 패치 영역에 대해 특징 벡터를 추출하는 제 13 단계; 및

   추출된 특징 벡터를 이용하여 3차원 얼굴 모델 변형을 수행하는 제 14 단계를 포함하여 이루어진 광류에 기반한 얼굴 움직임 검출 방법.
9. 제 1 항 내지 제 3 항중 어느 한 항에 있어서,

   상기 제 2 단계는,

   정합에 의한 방법으로 광류를 구하는 것을 특징으로 하는 광류에 기반한 얼굴 움직임 검출 방법.
10. 제 9 항에 있어서,

    상기 제 3 단계는,

    얼굴 모델의 삼각형 패치에 무게 중심을 설정하는 제 11 단계;

    설정된 무게 중심을 연결하여 가상 패치를 형성하는 제 12 단계;

    각각의 가상 패치 영역에 대해 특징 벡터를 추출하는 제 13 단계; 및

    추출된 특징 벡터를 이용하여 3차원 얼굴 모델 변형을 수행하는 제 14 단계를 포함하여 이루어진 광류에 기반한 얼굴 움직임 검출 방법.
11. 컴퓨터에,

    얼굴 영역을 분할하여 얼굴 영상과 3차원 메쉬 모델과의 정합을 수행하는 제 1 단계;

    광류를 추출하는 제 2 단계; 및

    추출된 모션 파라미터를 이용하여 3차원 얼굴 모델을 변형하는 제 3 단계를 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.