KR101521136B1

KR101521136B1 - 얼굴 인식 방법 및 얼굴 인식 장치

Info

Publication number: KR101521136B1
Application number: KR1020130156639A
Authority: KR
Inventors: 박혜영; 서정인
Original assignee: 경북대학교 산학협력단
Priority date: 2013-12-16
Filing date: 2013-12-16
Publication date: 2015-05-20
Anticipated expiration: 2033-12-16

Abstract

영상 인식 방법이 개시된다. 본 방법은 테스트 영상이 입력되면, 테스트 영상을 복수의 블록으로 분할하고, 분할된 각 블록 별로 복수의 지역적 특징 기술자를 획득하는 단계, 객체 확률 모델을 이용하여, 테스트 영상의 각 블록 당 하나의 지역적 특징 기술자를 선택하는 단계, 테스트 영상의 각 블록 당 가중치를 계산하는 단계, 복수의 기준 영상과 테스트 영상을 순차적으로 비교하면서, 선택된 지역적 특징 기술자 및 가중치를 이용하여 서로 매칭되는 블록 간의 유사도 거리 값들을 산출하는 단계, 산출된 유사도 거리 값들을 비교하여, 복수의 기준 영상 중 테스트 영상에 대응되는 영상을 인식하는 단계를 포함한다.

Description

얼굴 인식 방법 및 얼굴 인식 장치{METHOD OF RECOGNIZING FACE AND FACE RECOGNITION APPARATUS}

본 발명은 얼굴 인식 방법 및 얼굴 인식 장치에 대한 것으로, 보다 상세하게는 다양한 환경에서 획득된 얼굴 이미지에 대해서도 강건한 인식 성능을 나타내는 얼굴 인식 방법 및 얼굴 인식 장치에 대한 것이다.

인식은 최근 수십 년 동안 컴퓨터 비전과 기계 학습 분야에서 오랫동안 연구가 진행된 주제이다. 그간 영상 인식에 대해 가졌던 지대한 관심에도 불구하고, 기존의 영상 인식 연구들은 제한된 환경에서 획득한 영상을 통한 실험을 통하여 연구 성과를 증명해 보인 것이 대부분이었다.

특히 얼굴 인식에 있어서, 일반적인 환경에서 획득된 이미지들에는 조명, 표정 뿐만 아니라 폐색, 이동, 회전 등의 변형이 존재한다. 이는 얼굴 영상을 이용한 얼굴 인증 시스템의 성능을 크게 저하시키는 요인이 되어 왔다.

따라서, 실시간 환경에서 검출된 여러 가지 변형이 존재하는 영상에 대해서도 강건한 영상 인식 성능을 유지할 수 있는 장치에 대한 필요성이 증대되었다.

본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은 다양한 환경에서 획득된 영상에 대해서도 강건한 인식 성능을 나타내는 영상 인식 방법 및 영상 인식 장치를 제공함에 있다.

이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 영상 인식 방법은, 테스트 영상이 입력되면, 상기 테스트 영상을 복수의 블록으로 분할하고, 분할된 각 블록 별로 복수의 지역적 특징 기술자를 획득하는 단계, 복수의 기준 영상에 기초하여 추정된 객체 확률 모델을 이용하여, 상기 테스트 영상의 각 블록 당 하나의 지역적 특징 기술자를 선택하는 단계, 상기 객체 확률 모델을 이용하여, 상기 테스트 영상의 각 블록 당 가중치를 계산하는 단계, 상기 복수의 기준 영상과 상기 테스트 영상을 순차적으로 비교하면서, 상기 선택된 지역적 특징 기술자 및 상기 가중치를 이용하여 서로 매칭되는 블록 간의 유사도 거리 값들을 산출하는 단계, 및 산출된 상기 유사도 거리 값들을 비교하여, 상기 복수의 기준 영상 중 상기 테스트 영상에 대응되는 영상을 인식하는 단계를 포함한다.

이 경우, 본 발명의 일 실시 예에 따른 영상 인식 방법은 기 복수의 기준 영상을 각각 복수의 블록으로 분할하고, 각 블록 당 하나의 지역적 특징 기술자를 획득하는 단계, 상기 획득된 지역적 특징 기술자를 이용하여 상기 객체 확률 모델을 추정하여 저장하는 단계를 더 포함할 수 있다.

한편, 상기 획득된 복수의 지역적 특징 기술자는 서로 다른 방향 속성을 가지며, 상기 선택하는 단계는, 상기 테스트 영상의 블록마다, 상기 획득된 복수의 지역적 특징 기술자 중, 상기 테스트 영상의 방향성에 대응되는 하나의 지역적 특징 기술자를 선택할 수 있다.

이 경우, 상기 선택하는 단계는,

와 같은 수학식에 따라 상기 하나의 지역적 특징 기술자를 선택하며, 여기서, m은 각 블록의 인덱스,

는 테스트 영상의 m 블록의 k방향 지역적 특징 기술자(k=0,...,8), p_m은 객체 확률 모델,

는 테스트 영상의 m 블록의 지역적 특징 기술자(m=1,...,M), I^tst는 테스트 영상일 수 있다.

한편, 본 발명의 일 실시 예에 따른 영상 인식 방법은 상기 각 블록 당 선택된 상기 하나의 지역적 특징 기술자, 상기 각 블록 당 가중치를 이용하여, 상기 테스트 영상에 대한 인식을 거절할지 여부를 판단하는 판단 단계를 더 포함하며, 상기 유사도 거리 값들을 산출하는 단계 및 상기 영상을 인식하는 단계는 상기 판단 단계의 판단 결과에 따라 선택적으로 수행될 수 있다.

이 경우, 상기 판단 단계는, 상기 객체 확률 모델에 상기 선택된 지역적 특징 기술자를 적용하여 계산된 값이 제1 임계값 미만이면, 상기 테스트 영상에 대한 인식을 거절할 수 있다.

한편, 상기 판단 단계는 상기 복수의 기준 영상 중 상기 테스트 영상과 유사도 거리 값이 가장 작은 영상을 선택하고, 상기 선택된 영상과 상기 테스트 영상 간의 유사도 거리 값이 제2 임계값보다 크면, 상기 테스트 영상에 대한 인식을 거절할 수 있다.

한편, 상기 유사도 거리 값들을 산출하는 단계는,

와 같은 수학식에 따라 상기 유사도 거리 값들을 산출하며, 여기서

은 i번째 기준 영상의 m 블록의 지역적 특징 기술자, d()는 유사도 거리계산 함수,

는 테스트 영상의 m 블록에 대한 가중치, Iⁱ는 i번째 기준 영상일 수 있다.

한편 본 발명의 일 실시 예에 따른 영상 인식 장치는, 복수의 기준 영상 각각을 구성하는 복수의 블록에 대한 지역적 특징 기술자를 이용하여 추정한 객체 확률 모델을 저장하는 저장부, 테스트 영상을 입력 받기 위한 입력부, 상기 테스트 영상을 복수의 블록으로 분할하고, 분할된 각 블록 별로 복수의 지역적 특징 기술자를 획득하며, 상기 객체 확률 모델을 이용하여, 상기 테스트 영상의 각 블록 당 하나의 지역적 특징 기술자를 검출하는 검출부, 상기 객체 확률 모델을 이용하여, 상기 테스트 영상의 각 블록 당 가중치를 계산하는 산출부 및 상기 복수의 기준 영상과 상기 테스트 영상을 순차적으로 비교하면서, 상기 선택된 지역적 특징 기술자 및 상기 가중치를 이용하여 서로 매칭되는 블록 간의 유사도 거리 값들을 산출하고, 산출된 상기 유사도 거리 값들을 비교하여, 상기 복수의 기준 영상 중 상기 테스트 영상에 대응되는 영상을 인식하는 영상 인식부를 포함한다.

이 경우, 상기 획득된 복수의 지역적 특징 기술자는 서로 다른 방향 속성을 가지며, 상기 검출부는, 상기 테스트 영상의 블록마다, 상기 획득된 복수의 지역적 특징 기술자 중, 상기 테스트 영상의 방향성에 대응되는 하나의 지역적 특징 기술자를 검출할 수 있다.

이 경우, 상기 검출부는,

와 같은 수학식에 따라 상기 하나의 지역적 특징 기술자를 검출하며, 여기서, m은 각 블록의 인덱스,

테스트 영상의 m 블록의 k방향 지역적 특징 기술자(k=0,...,8), p_m은 객체 확률 모델,

는 테스트 영상의 m 블록의 지역적 특징 기술자(m=1,...,M),I^tst는 테스트 영상일 수 있다.

한편, 본 발명의 일 실시 예에 따른 영상 인식 장치는 상기 테스트 영상에 대한 인식을 거절할지 여부를 판단하는 판단부를 더 포함하며, 상기 영상 인식부는, 상기 판단부의 판단 결과에 따라 선택적으로 동작할 수 있다.

이 경우, 상기 판단부는, 상기 객체 확률 모델에 상기 검출된 지역적 특징 기술자를 적용하여 계산된 값이 제1 임계값 미만이면, 상기 테스트 영상에 대한 인식을 거절할 수 있다.

한편, 상기 판단부는, 상기 복수의 기준 영상 중 상기 테스트 영상과 유사도 거리 값이 가장 작은 영상을 선택하고, 상기 선택된 영상과 상기 테스트 영상 간의 유사도 거리 값이 제2 임계값보다 크면, 상기 테스트 영상을 거절할 수 있다.

한편, 상기 영상 인식부는,

상기와 같은 다양한 실시 예에 의하면, 입력 영상에 포함된 다양한 변수가 고려되어 영상 인식이 수행될 수 있으므로, 우수한 인식 성능을 기대할 수 있다.

도 1은 본 발명의 일 실시 예에 따른 객체 확률 모델의 추정 방법을 설명하기 위한 도면,
도 2는 및 도 4는 본 발명의 다양한 실시 예에 따른 영상 인식 방법을 설명하기 위한 흐름도,
도 3은 본 발명의 일 실시 예에 따른 특징 선택을 설명하기 위한 도면,
도 5는 본 발명의 일 실시 예에 따른 영상 인식 장치를 개략적으로 나타낸 블록도, 그리고
도 6은 내지 도 8은 본 발명이 적용된 다양한 실험 예를 보여주는 도면이다.

이하 첨부된 도면을 참고하여, 본 발명에 따른 영상 인식 방법 및 영상 인식 장치에 대해 더욱 상세히 설명하도록 한다.

본 영상 인식 방법에 따르면, 테스트 영상 방향의 이동에도 불구하고, 복수의 기준 영상에 기초하여 생성된 객체 확률 모델을 이용하여, 복수의 기준 영상 중 테스트 이미지에 가장 유사한 영상을 검출하여 효과적으로 객체를 인식할 수 있다.

복수의 기준 영상은 임의의 객체가 촬영된 것으로, 객체 확률 모델을 추정하기 위해 학습의 대상이 되는 영상을 의미한다. 그리고 테스트 영상이란, 인식하고자 하는 대상을 의미한다.

본 영상 인식 방법은 크게 학습 단계와 인식 단계로 구분될 수 있다. 학습 단계에선 복수의 기준 영상을 학습하여 객체 확률 모델을 추정하고, 인식 단계에선 테스트 영상에 대한 특징 선택이 수행된다. 먼저, 학습 단계에서의 객체 확률 모델의 추정 방법에 대해 도 1을 참고하여 설명한다.

먼저, 도 1와 같은 임의의 하나의 기준 영상인, 객체 이미지(1)를 복수의 블록(M개)으로 분할한다. 예를 들어 인식 대상 객체가 얼굴인 경우, 본 발명의 일 실시 예에 따른 영상 인식은, 얼굴 이미지 전체를 사용한다. 따라서, 객체 이미지(1)의 특정 부분(눈, 코, 입 등)이 아닌 모든 부분에 대하여 동일한 크기의 블록으로 구획한다. 이때 블록은 격자 패턴으로 분할될 수 있다. 이렇게 분할된 각 블록을 이하에선 P1~PM으로 명명한다.

그 다음으로, 다수 개로 분할된 각 블록(P1~PM)당 하나의 지역적 기술자를 획득한다. 예를 들어 SIFT, HOG 및 LBP 등을 통해 지역적 특징 기술자를 획득할 수 있다. 여기서 SIFT, HOG 및 LBP는 당해 기술분야에서 널리 알려진 기술로서 구체적인 설명은 생략하기로 한다.

지역적 특징 기술자를 획득하기 위하여 SIFT(Scalar Invariant Feature Transform)을 이용한 경우를 예를 들어 설명하기로 한다. 지역적 특징 기술자를 획득하는 과정은 하기와 같다.

SIFT는 객체 이미지(1) 특징들의 세트(set of image features)를 생성하기 위해 2가지 계산 단계를 거친다. 1 단계는 기준 영상(1)으로부터 중요 픽셀을 어떻게 선택할 것인지를 결정한다. 여기서, 선택된 중요 픽셀을 '키포인트(keypoint)'라 한다. 2 단계는 기준 영상(1)의 의미 있는 지역적 속성들(local properties)을 나타낼 수 있도록 상기 선택된 키포인트들에 대한 적절한 기술자(descriptor)를 정의한다. 여기서, 기술자는 '지역적 특징 기술자'라 한다. 이와 같이 하나의 객체 이미지(1)는 각각의 블록(P1~PM)의 지역적 특징 기술자로 표현될 수 있다.

SIFT는 각 이미지 내에서 복수의 키포인트를 검출하기 위해 스케일-공간 DOG(scale-space Difference-Of-Gaussian) 함수를 이용한다. 입력된 하나의 객체 이미지 I(x,y)에 대하여, 스케일-공간은 얼굴 이미지를 갖는 가변스케일 가우시안 G(x,y,σ)의 합성곱(convolution)으로부터 제공되는 함수 L(x,y,σ)로 정의된다. 이에 따라, 상기 DOG 함수는 수학식 1과 같이 정의된다.

[수학식 1]

여기서, x는 x축 좌표, y는 y축 좌표, σ는 스케일(scale), k는 증배율(multiplicative factor)을 나타낸다. 이 경우, D(x,y,σ) 함수의 지역적 최대값 및 최소값은 객체 이미지(1)내에서 하나의 블록을 둘러싸는 8개의 주변 블록을 기반으로 한다.

한편, 얼굴인식의 경우, 얼굴이미지의 텍스쳐(texture)가 부족하기 때문에 매우 적은 수의 키포인트 들이 추출될 수 있는데, 이 경우 SIFT 대신에 또 다른 지역적 특징자 추출방법인 Dense-SIFT 추출 방법을 적용하여 상기 문제를 해결할 수 있다.

SIFT 추출방법을 통해 추출된 각 지역적 특징 기술자는 4개 부분으로 이루어진 128 차원 벡터인 기술자(128 dimensional vecter descriptor)로 대표된다. 여기서 4개 부분은 특징이 선택된 위치를 나타내는 로커스(locus), 스케일(scale)(σ), 방향 및 기울기이다. 이 경우, 각 분할 이미지에 대한 2차원 좌표 (x,y)에 위치한 각 키포인트에 대한 기울기 정도(m(x,y)) 및 방향(θ(x,y))은 하기의 수학식 2 및 수학식 3을 통해 얻어진다.

[수학식 2]

[수학식 3]

이어서, 객체 이미지(1)를 나타내는데 SIFT 추출방법을 적용하기 위해서, 먼저 M개의 지역적 특징 기술자 및 일반적인 격자(regular grid) 상에 상기 지역적 특징 기술자들의 위치를 확정한다. 여기서, 각 지역적 특징 기술자는 기술자 벡터(y_m)에 의해 나타나므로, 하나의 얼굴 이미지(I)는 M개의 기술자 벡터의 세트에 의해 나타날 수 있다. 이 경우 얼굴 이미지(I)는 하기 수학식 4와 같이 나타낼 수 있다.

[수학식 4]

복수의 기준 영상이 각각 {I ⁱ } _i _=1,…, _N 로 주어질 때, 전체 복수의 기준 영상 세트(T)는 하기 수학식 5와 같이 나타낼 수 있다.

[수학식 5]

이어서, 기준 영상 세트(T)를 이용하여 '객체 확률 모델'을 도출할 수 있는데, 예를 들어, 기준 영상이 얼굴 이미지인 경우, 일반적인 얼굴(Normal face)의 확률 모델을 도출할 수 있다. 객체 확률 모델을 얻기 위해 먼저, 기준 영상 세트(T)를 키포인트의 위치에 따라 하기의 수학식 6과 같이 M개의 서브 세트로 구분한다. 여기서, m은 각 블록의 인덱스이다.

[수학식 6]

각각의 서브세트 T_m을 이용하여, m 블록에 대응되는 지역적 특징에 대한 객체 확률 모델(p_m)을 하기의 수학식 7과 같이 단순 가우시안 추정을 이용하여 추정할 수 있다.

[수학식 7]

수학식 7에서 Z는 normalization factor이다. 그리고 2개 모델 파라미터인 평균(μ_m) 및 공분산 행렬(Σ_m)은 각각 서브 세트(T_m)의 단순 평균 및 단순 공분산 행렬에 의해 추산될 수 있다.

상술한 바와 같이 추정된 객체 확률 모델을 이용하면, 입력된 테스트 영상의 특정한 위치에서 각 지역적 특징 기술자가 발견되는 확률을 계산할 수 있다.

이하 도 2의 흐름도를 통해 객체 확률 모델을 이용해 테스트 이미지를 인식하는 단계에 대해 설명한다.

도 2를 참고하면 먼저, 테스트 영상을 입력한다(S210). 테스트 영상은 기준 영상과 비교될 영상이다.

그리고 입력된 테스트 영상을 기준 영상의 블록과 대응되도록 복수의 블록으로 분할한다(S220). 예컨대 기준 영상을 상술하였듯이 M개의 블록으로 분할하였다면, 테스트 영상도 마찬가지로 M개의 동일한 구획으로 분할한다.

그리고 분할된 테스트 영상의 각 블록별로 복수의 지역적 특징 기술자를 획득한다(S230). 블록별로 복수의 지역적 특징을 추출하므로, 기준 영상에서 추출된 특징보다 더 많은 특징이 추출된다. 구체적으로, 테스트 영상에선 기준 영상보다 키포인트 간격을 줄여 더 많은 특징을 추출한다. 따라서 기준 영상의 각 블록 간에는 겹침이 존재하지 않지만, 테스트 영상에서는 인접한 두 부분 영역 간에 50%의 겹침이 존재한다. 예컨대 도 3에 나타난 바와 같이, 복수의 기준 영상으로부터 추정된 일반적 얼굴 모델(a)과 테스트 영상(b)의 비교에 있어서, 서로 대응되는 m 블록에서, 지역적 특징 기술자가 테스트 영상(b)의 경우가 더 많은 것을 알 수 있다. 테스트 영상의 m 블록의 복수의 지역적 특징 기술자(

)는 하기 수학식 8로 나타낼 수 있다.

[수학식 8]

그 다음으로, 테스트 영상의 각 블록당 하나의 지역적 특징 기술자를 선택한다(S240). 즉, m 블록의 복수의 지역적 특징 기술자(

) 후보(c) 중에서 선택된 하나의 지역적 특징 기술자가 m 블록을 대표하는 지역적 특징 기술자(

)가 된다. 본 발명의 일 실시 예에 따르면, m 블록의 복수의 지역적 특징 기술자 후보(c)는 서로 다른 방향 속성을 가지는데, 예컨대 도 3에서와 같이, 일반적 얼굴 모델(a)의 키 포인트에 대응되는 위치의 지역적 특징 기술자인

를 포함하여, 이를 둘러싸는 8개의 지역적 특징 기술자들(

,...,,

) 각각은 서로 다른 방향 속성을 가진다. 복수의 지역적 특징 기술자 후보는 객체 확률 모델에 적용되고, 모든 블록에 이 과정이 반복 수행되면, 가장 높은 확률 값이 얻어지는 k_max를 얻을 수 있다. 이는 하기 [수학식 9]를 통해 얻어진다.

[수학식 9]

여기서,

는 테스트 영상의 m 블록의 k방향 지역적 특징 기술자(k=0,...,8)이다.

예를 들어 수학식 9를 통해 도 3에서 선택된 지역적 특징 기술자가 η₅라면, 이는 테스트 영상(b)이 아래의 방향성을 가진다는 의미가 될 것이다. 실제로 도 3의 테스트 영상(b)은 일반적 얼굴 모델(a)과 비교하였을 때, 아랫입술부분이 잘린 것으로 보아 그 방향성이 아래임을 알 수 있다.

상술한 실시 예에 따르면, 테스트 영상이 일반적인 얼굴 영상을 기준으로 어느 방향으로 이동 변형이 일어났는지를 알 수 있으며, 그 방향의 특징을 선택함으로써 이동 변형에 대한 얼굴 인식 성능을 높일 수 있다.

수학식 9를 통해 얻어진 k_max를 이용하여, 수학식 10과 같이 테스트 영상(I^tst)의 지역적 특징 기술자를 획득할 수 있게 된다. 예를 들어, η₅가 선택된 경우, 각각의 테스트 영상의 블록에 대한 η₅에 대응되는 방향성을 갖는 지역적 특징 기술자들이 각각 테스트 영상의 블록에 대하여 선택되므로, 테스트 영상을 아래 수학식 10과 같은 집합으로 표현할 수 있을 것이다. 이 경우, k_max는 5가 된다.

[수학식 10]

여기서

는 테스트 영상의 m 블록의 지역적 특징 기술자(m=1,...,M)이다.

그 다음 단계로, 객체 확률 모델을 이용하여 테스트 영상의 각 블록당 가중치를 계산한다(S250). 구체적으로, 수학식 10과 같이 획득된 테스트 영상에 대한 지역적 특징 기술자들을 객체 확률 모델에 적용하여, 테스트 영상의 각 블록의 가중치를 계산한다. 여기서 가중치 w_m는 하기 수학식 11과 같이 나타낼 수 있다.

[수학식 11]

예컨대, 테스트 영상에 가려짐과 같은 폐색 부분이 있는 경우, 그에 해당하는 블록에 대한 가중치는 낮게 측정될 것이다.

이어서, 수학식 10과 같이 획득된 테스트 영상 I^tst 와 복수의 기준 영상 Iⁱ 을 순차적으로 비교하여, 서로 매칭되는 블록간 유사도 거리 값을 산출한다(S270). 이 경우 유사도 거리 값은, 그 값이 낮을 수록, 기준 영상과 테스트 영상 간의 유사도가 높다는 것을 의미한다. 유사도 거리 값은 하기 수학식 12를 사용하여 계산될 수 있다.

[수학식 12]

여기서

은 i번째 기준 영상의 m 블록의 지역적 특징 기술자, d(·,·)는 유사도 거리계산 함수,

는 테스트 영상의 m 블록에 대한 가중치, Iⁱ는 i번째 기준 영상이다.

최종적으로, 산출된 유사도 거리 값들을 비교하여, 복수의 기준 영상 중 테스트 영상에 대응되는 영상, 즉 테스트 영상과 가장 유사한 영상을 인식한다(S270).

도 4는 본 발명의 또 다른 실시 예에 따른 영상 인식 방법을 설명하기 위한 흐름도이다. 이하에선, 기준 영상과 지나치게 비유사한 테스트 영상은 사전에 거절하여, 영상 인식의 신뢰성을 높일 수 있는 방법에 대해 설명한다. 이하에서 설명할 실시 예는 상술한 실시 예에 영상 거절 단계가 더 포함된 것이다.

도 4를 참고하면, 본 실시 예에 따른 영상 인식 방법은 크게 학습 과정과 인식 과정으로 나뉠 수 있다. 도 4에서 실선으로 표시한 부분은 학습 과정을 나타내고, 점선으로 표시한 부분은 인식 과정을 나타낸 것이다.

먼저, 복수의 기준 영상을 저장한다(S410). 그리고, 복수의 기준 영상 각각을 복수의 블록으로 분할하고, 분할된 각 블록 별로 지역적 특징 기술자를 획득한다(S412). 그리고 획득된 지역적 특징 기술자를 이용하여 객체 확률 모델을 추정 한다(S414). 그리고 테스트 영상을 입력 받고(S420), 상술한 바와 마찬가지로 테스트 영상의 분할된 각 블록별 복수의 지역적 특징 기술자를 획득한다(S422).

그리고, 테스트 영상의 방향성을 고려하여, 획득된 지역적 특징 기술자 중 일부를 선택(S424)하여, 이를 테스트 영상을 나타내는 지역적 특징 기술자로 규정한다(S424). 이상의 단계에 대해선 상술하였는바, 자세한 중복 설명은 하지 않는다.

다음 단계로, 추정된 객체 확률 모델을 이용하여, 테스트 영상을 거절할지 여부를 판단한다(S426). 이 단계에서 테스트 영상이 거절되면, 더 이상 영상 인식이 수행되지 않는다. 일 실시 예에 따르면, 영상의 거절 여부는 하기의 수학식 13에 의한 판단을 통해 결정될 수 있다. 이 단계를 제1 영상 거절이라 명명한다.

[수학식 13]

만약

이면, 테스트 영상(I^tst)을 거절한다.

여기서, θ는 임의로 설정한 제1 임계값이다.

한편, 상술한 영상 거절 방법에, 추가적으로 혹은 독립적으로 또 다른 실시 예에 따른 영상 거절 방법이 고려될 수 있다. 이를 제2 영상 거절이라 명명한다. 구체적으로, 영상의 거절 여부는 복수의 기준 영상 중 테스트 영상과 유사도 거리 값이 가장 작은 영상을 선택하고, 선택된 영상과 테스트 영상 간의 유사도 거리 값이 제2 임계값보다 크면, 테스트 영상을 거절한다. 예컨대, K-근접이웃 분류기를 이용하여 복수의 기준 영상을 분류하고, 그 중 가장 근접한(the nearest) 기준 영상(I^nrst)을 검출한다. I^nrst의 검출은 하기 수학식 14를 이용한다.

[수학식 14]

검출된 I^nrst를 적용한 유사도 거리 값이 임의로 설정한 제2 임계값 보다 큰 경우, 테스트 영상을 거절한다.

영상이 거절되지 않은 경우, 다음 단계로 진행하여, 복수의 기준 영상과 테스트 영상 간의 유사도 거리 값을 산출(S430)한다. 한편 상술한 제2 영상 거절 단계도 유사도 거리 값 산출을 통해 수행되므로, 도 4의 유사도 거리 값 산출 단계(S430)에서 동시에 수행될 수 있다.

그 다음 단계로, S430단계에서 산출된 값들을 비교하여 최종적으로 영상을 인식한다(S432).

상술한 것과 같은 영상 거절 단계를 이용하면, 객체 검출기, 예를 들어 얼굴을 검출하는 검출기에서 얼굴이 아닌 다른 부분이 잘못 검출된 영상들을 효과적으로 처리할 수 있다는 장점이 있다.

이상과 같은 영상 인식 방법은 영상 인식 장치에서 구현될 수 있다. 도 5는 본 발명의 일 실시 예에 따른 영상 인식 장치의 구성을 개략적으로 나타낸 블록도 이다.

도 5를 참고하면, 본 영상 인식 장치(100)는 저장부(110), 입력부(120), 제어부(130)를 포함한다. 한편 영상 인식 장치(100)는 다양한 전자 장치, 예컨대 스마트 폰, 태블릿 PC, 데스탑 PC 등과 같은 다양한 전자장치로 구현될 수 있다.

저장부(110)는 영상 인식 장치(100)에서 사용되는 각종 프로그램이나 데이터 등을 저장하기 위한 구성이다. 특히 저장부(110)에는 객체 확률 모델을 생성하기 위해 학습할 복수의 기준 영상이 저장되어 있을 수 있다. 기준 영상은 본 영상 인식 장치(100)에 기 저장된 것이거나, 통신부(140)를 통해 외부장치로부터 전송받은 것일 수 있다. 또한 저장부(110)에는 복수의 기준 영상의 학습을 통해 추정된 객체 확률 모델이 저장된다.

입력부(120)는 영상 인식 장치(100)에 테스트 영상을 입력하기 위한 구성이다. 예를 들어 입력부(120)는 객체를 촬영하는 촬영장치, 또는 인터페이스로서 테스트 영상을 수신받는 구성 등일 수 있다.

제어부(130)는 영상 인식 장치(100)를 전반적인 동작을 제어할 수 있는 구성이다. 특히 제어부(130)는 검출부(131), 산출부(132), 영상 인식부(133)를 포함할 수 있다.

검출부(131)는 테스트 영상을 복수의 블록으로 분할하고, 분할된 각 블록 별로 복수의 지역적 특징 기술자를 획득하며, 객체 확률 모델을 이용하여, 테스트 영상의 각 블록 당 하나의 지역적 특징 기술자를 검출한다. 또한 검출부(131)는 기준 영상에 대해서도 마찬가지로 지역적 특징 기술자를 검출한다.

본 발명의 일 실시 예에 따르면, 검출부(131)는 테스트 영상에 대해 기준 영상보다 더 많은 지역적 특징 기술자를 검출하고, 그 중에서 블록 당 하나의 지역적 특징 기술자를 선택하는 특징 선택이 수행될 수 있다. 구체적으로, 객체 확률 모델을 이용하여 테스트 영상의 방향성을 고려할 수 있고, 그 방향성에 따라 검출부(131)는 검출된 지역적 특징 기술자를 중에서 특정 지역적 특징 기술자를 '선택'한다. 따라서 테스트 영상의 이동 변화에도 인식 성능이 높아질 수 있다.

산출부(132)는 테스트 영상의 각 블록 당 가중치를 계산하는 구성이다. 예를 들어 테스트 영상이 얼굴 이미지인 경우, 얼굴 이미지의 블록 중에는 외부 물체에 의한 얼굴 가려짐 등의 폐색 영역이 존재할 수 있다. 그러한 영역에 대하여, 산출부(132)는 가중치를 낮게 계산한다. 따라서 폐색 영역에도 불구하고 강건한 인식 결과를 얻을 수 있게 된다.

영상 인식부(133)는 복수의 기준 영상과 테스트 영상을 순차적으로 비교하면서, 선택된 지역적 특징 기술자 및 가중치를 이용하여 서로 매칭되는 블록 간의 유사도 거리 값들을 산출하고, 산출된 유사도 거리 값들을 비교하여, 복수의 기준 영상 중 상기 테스트 영상에 대응되는 영상을 인식하는 구성이다. 영상 인식부(133)는 산출된 유사도 거리 값이 가장 작은 기준 영상을 테스트 영상에 매칭되는 영상으로 인식할 수 있다. 또는, 유사도 거리 값이 가장 작더라도, 기 설정된 임계치 이상이면 영상 인식부(133)는 영상이 인식되지 않은 것으로 판단할 수 있다.

본 영상 인식 장치(100)에 포한된 구성들의 구체적인 동작은, 상술한 개체 인식 방법에 대한 설명과 중복되는바, 반복 설명은 하지 않는다.

본 발명의 또 다른 실시 예에 따르면 제어부(130)는 테스트 영상을 거절할지 여부를 판단하는 판단부(134)를 포함할 수 있다.

판단부(134)의 판단 결과에 따라 영상 인식부(133)의 인식 수행 여부가 결정될 수 있다. 예를 들어, 본 영상 인식 장치(100)로 얼굴을 인식하고자 하는 경우, 입력된 테스트 영상이 얼굴 이미지가 아닌, 풍경 이미지 등이면, 기준 영상과의 유사도 계산이 무의미하다. 이런 경우엔 사전에 그 테스트 영상을 거절함으로써 영상 인식 장치(100)의 효율을 높일 수 있다.

본 발명의 일 실시 예에 따르면, 판단부(134)는 객체 확률 모델에 검출된 지역적 특징 기술자를 적용하여 계산된 값이 제1 임계값 미만이면, 테스트 영상을 거절한다. 또 다른 실시 예에 따르면 판단부(134)는 복수의 기준 영상 중 테스트 영상과 유사도 거리 값이 가장 작은 영상을 선택하고, 선택된 영상과 테스트 영상 간의 유사도 거리 값이 제2 임계값보다 크면, 테스트 영상을 거절한다. 상술한 판단부(134)의 다양한 실시예는 본 영상 인식 장치(100)에 독립적으로 적용될 수 있고, 또는 동시에 적용되어 시너지 효과를 나타낼 수 있다. 판단부(134)의 영상 거절 방식에 대해선 상술하였는바, 자세한 중복 설명은 하지 않는다.

도 6는 본 발명의 일 실시 예에 따른 영상 인식 방법 또는 영상 인식 장치에 사용되는 영상들의 예시를 보여준다.

도 6의 (a)에선, 사용자 A(610), 사용자 B(620), 사용자 C(630) 3명의 테스트 영상이 입력되는 경우를 예로 든다.

일 예로 사용자 A(610)에 대한 테스트 영상들을 살펴보면, 8 방향으로 임의의 이동 변형이 가해진 영상들이 포함될 수 있다. 구체적으로, 왼쪽 아래로 이동 변형된 영상(611), 왼쪽으로 이동 변형된 영상(612), 왼쪽 위로 이동 변형된 영상(613), 위로 이동 변형된 영상(614), 오른쪽 위로 이동 변형된 영상(615), 오른쪽으로 이동 변형된 영상(616), 오른쪽 아래로 이동 변형된 영상(617) 및 아래로 이동 변형된 영상(618)을 포함할 수 있다.

우수한 성능을 자랑하는 얼굴 검출기라도, 항상 이와 같은 이동 변형이 가해진 얼굴 이미지를 검출하는 것이 일반적이다. 상술한 다양한 실시 예들에 의하면, 테스트 영상의 이동 변형에 의한 방향성까지도 고려 가능하므로, 방향성이 고려되지 않은 경우보다 더욱 좋은 인식 결과를 제공한다. 도 7을 참고하면, 블록당 가중치의 고려(weighted distance)된 것에, 이동 변형이 고려되어 지역적 특징 기술자가 선택(feature selection)되는 단계가 추가된 경우의 그래프(710)가 보여주는 인식 정확도가 추가되지 않은 그렇지 않은 경우의 그래프(720)에 비하여 더 높음을 알 수 있다. 도 7의 표에서 x축은 테스트 영상의 이동 변형 정도를 나타내고, y축은 인식 정확도를 나타낸다.

도 6의 (b)에선 실제 상황에서 얻어질 수 있는 변형이 반영된 영상들을 포함한다. 구체적으로, (b)의 테스트 영상들에는 (a)에서와 마찬가지로 이동 변형이 포함되어 있고, 부분 폐색도 포함되어 있다. (b)의 테스트 영상들을 포함하여 실험한 결과는 도 8을 통해 확인할 수 있다. 도 8에선 L₁ norm과 같은 거리계산함수를 이용한 비교예 1(810), SIFT와 가중치가 고려된 비교예 2(820) 및 SIFT, 가중치 및 특징 선택(feature selection)이 고려된 실험 예(830)을 비교하였다. 예상대로 실험예(830)에서 더 높은 정확성을 보인다는 것을 알 수 있다.

도 6의 (c)의 테스트 영상들은 얼굴 이미지 영상(640)과 얼굴 이미지가 아닌 영상들(650)을 포함한다. 이와 같은 테스트 영상들을 이용하여, 본 발명의 일 실시 예에 따른 판단부(134)를 통해 영상 거절을 실시하였다. 그 결과, 얼굴 이미지가 아닌 영상들(650)은 효과적으로 거절됨을 알 수 있었고, 그에 따라 얼굴 인식의 신뢰성이 높아지는 결과를 얻을 수 있었다. 그에 대한 결과는 아래 표 1과 같았다.

[표 1]

여기서 No rejection은 영상 거절이 도입되지 않은 경우로, 비교 예에 해당하고, Single rejection은 상술한 제1 영상 거절이 도입된 경우, Dual rejection은 상술한 제1 영상 거절 및 제2 영상 거절이 동시에 도입된 경우이다. 표에 나타난 것과 같이, 영상 거절이 도입된 실시 예의 경우의 영상 인식 신뢰도가 배 이상 증가함을 알 수 있다.

한편, 상술한 다양한 실시 예들에 따른 영상 인식 방법은 소프트웨어로 코딩되어 비일시적 판독 가능 매체(non-transitory readable medium) 에 저장될 수 있다. 이러한 비일시적 판독 가능 매체는 다양한 장치에 탑재되어 사용될 수 있다.

비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해돼서는 안 될 것이다.

100: 영상 인식 장치 110: 저장부
120: 입력부 130: 제어부

Claims

영상 인식 방법에 있어서,
테스트 영상이 입력되면, 상기 테스트 영상을 복수의 블록으로 분할하고, 분할된 각 블록 별로 복수의 지역적 특징 기술자를 획득하는 단계;
복수의 기준 영상에 기초하여 추정된 객체 확률 모델을 이용하여, 상기 테스트 영상의 각 블록 당 하나의 지역적 특징 기술자를 선택하는 단계;
상기 객체 확률 모델을 이용하여, 상기 테스트 영상의 각 블록 당 가중치를 계산하는 단계;
상기 복수의 기준 영상과 상기 테스트 영상을 순차적으로 비교하면서, 상기 선택된 지역적 특징 기술자 및 상기 가중치를 이용하여 서로 매칭되는 블록 간의 유사도 거리 값들을 산출하는 단계; 및
산출된 상기 유사도 거리 값들을 비교하여, 상기 복수의 기준 영상 중 상기 테스트 영상에 대응되는 영상을 인식하는 단계;를 포함하는 영상 인식 방법.
제1항에 있어서,
테스트 영상이 입력되기 전에, 상기 복수의 기준 영상을 각각 복수의 블록으로 분할하고, 각 블록 당 하나의 지역적 특징 기술자를 획득하는 단계;
상기 지역적 특징 기술자를 획득하면, 상기 획득된 복수의 기준 영상의 지역적 특징 기술자를 이용하여 상기 객체 확률 모델을 추정하여 저장하는 단계;를 더 포함하는 것을 특징으로 하는 영상 인식 방법.
제1항에 있어서,
상기 획득된 복수의 지역적 특징 기술자는 서로 다른 방향 속성을 가지며,
상기 선택하는 단계는,
상기 테스트 영상의 블록마다, 상기 획득된 복수의 지역적 특징 기술자 중, 상기 테스트 영상의 방향성에 대응되는 하나의 지역적 특징 기술자를 선택하는 것을 특징으로 하는 영상 인식 방법.
제3항에 있어서,
상기 선택하는 단계는,

와 같은 수학식에 따라 상기 하나의 지역적 특징 기술자를 선택하며,
여기서, m은 각 블록의 인덱스,

는 테스트 영상의 m 블록의 k방향 지역적 특징 기술자(k=0,...,8),
p_m은 객체 확률 모델,

는 테스트 영상의 m 블록의 지역적 특징 기술자(m=1,...,M),
I^tst는 테스트 영상인 것을 특징으로 하는 영상 인식 방법.
제1항에 있어서,
상기 지역적 특징 기술자가 선택되고, 상기 가중치가 계산되면, 상기 각 블록 당 선택된 상기 하나의 지역적 특징 기술자 및 상기 계산된 각 블록 당 가중치를 이용하여, 상기 테스트 영상에 대한 인식을 거절할지 여부를 판단하는 판단 단계;를 더 포함하며,
상기 유사도 거리 값들을 산출하는 단계 및 상기 영상을 인식하는 단계는 상기 판단 단계의 판단 결과에 따라 선택적으로 수행되는 것을 특징으로 하는 영상 인식 방법.
제5항에 있어서,
상기 판단 단계는,
상기 객체 확률 모델에 상기 선택된 지역적 특징 기술자를 적용하여 계산된 값이 제1 임계값 미만이면, 상기 테스트 영상에 대한 인식을 거절하는 것을 특징으로 하는 영상 인식 방법.
제5항에 있어서,
상기 판단 단계는,
상기 복수의 기준 영상 중 상기 테스트 영상과 유사도 거리 값이 가장 작은 영상을 선택하고, 상기 선택된 영상과 상기 테스트 영상 간의 유사도 거리 값이 제2 임계값보다 크면, 상기 테스트 영상에 대한 인식을 거절하는 것을 특징으로 하는 영상 인식 방법.
제2항에 있어서,
상기 유사도 거리 값들을 산출하는 단계는,

와 같은 수학식에 따라 상기 유사도 거리 값들을 산출하며,
여기서
은 i번째 기준 영상의 m 블록의 지역적 특징 기술자,
d()는 유사도 거리계산 함수,

는 테스트 영상의 m 블록에 대한 가중치,
Iⁱ는 i번째 기준 영상인 것을 특징으로 하는 영상 인식 방법.
영상 인식 장치에 있어서,
복수의 기준 영상 각각을 구성하는 복수의 블록에 대한 지역적 특징 기술자를 이용하여 추정한 객체 확률 모델을 저장하는 저장부;
테스트 영상을 입력 받기 위한 입력부;
상기 테스트 영상을 복수의 블록으로 분할하고, 분할된 각 블록 별로 복수의 지역적 특징 기술자를 획득하며, 상기 객체 확률 모델을 이용하여, 상기 테스트 영상의 각 블록 당 하나의 지역적 특징 기술자를 검출하는 검출부;
상기 객체 확률 모델을 이용하여, 상기 테스트 영상의 각 블록 당 가중치를 계산하는 산출부; 및
상기 복수의 기준 영상과 상기 테스트 영상을 순차적으로 비교하면서, 상기 검출된 지역적 특징 기술자 및 상기 가중치를 이용하여 서로 매칭되는 블록 간의 유사도 거리 값들을 산출하고, 산출된 상기 유사도 거리 값들을 비교하여, 상기 복수의 기준 영상 중 상기 테스트 영상에 대응되는 영상을 인식하는 영상 인식부;를 포함하는 영상 인식 장치.
제9항에 있어서,
상기 획득된 복수의 지역적 특징 기술자는 서로 다른 방향 속성을 가지며,
상기 검출부는,
상기 테스트 영상의 블록마다, 상기 획득된 복수의 지역적 특징 기술자 중, 상기 테스트 영상의 방향성에 대응되는 하나의 지역적 특징 기술자를 검출하는 것을 특징으로 하는 영상 인식 장치.
제10항에 있어서,
상기 검출부는,

와 같은 수학식에 따라 상기 하나의 지역적 특징 기술자를 검출하며,
여기서, m은 각 블록의 인덱스,

테스트 영상의 m 블록의 k방향 지역적 특징 기술자(k=0,...,8),
p_m은 객체 확률 모델,

는 테스트 영상의 m 블록의 지역적 특징 기술자(m=1,...,M),
I^tst는 테스트 영상인 것을 특징으로 하는 영상 인식 장치.
제9항에 있어서,
상기 테스트 영상에 대한 인식을 거절할지 여부를 판단하는 판단부;를 더 포함하며,
상기 영상 인식부는, 상기 판단부의 판단 결과에 따라 선택적으로 동작하는 것을 특징으로 하는 영상 인식 장치.
제12항에 있어서,
상기 판단부는,
상기 객체 확률 모델에 상기 검출된 지역적 특징 기술자를 적용하여 계산된 값이 제1 임계값 미만이면, 상기 테스트 영상에 대한 인식을 거절하는 것을 특징으로 하는 영상 인식 장치.
제12항에 있어서,
상기 판단부는,
상기 복수의 기준 영상 중 상기 테스트 영상과 유사도 거리 값이 가장 작은 영상을 선택하고,
상기 선택된 영상과 상기 테스트 영상 간의 유사도 거리 값이 제2 임계값보다 크면, 상기 테스트 영상에 대한 인식을 거절하는 것을 특징으로 하는 영상 인식 장치.
제9항에 있어서,
상기 영상 인식부는,

와 같은 수학식에 따라 상기 유사도 거리 값들을 산출하며,
여기서
은 i번째 기준 영상의 m 블록의 지역적 특징 기술자,
d()는 유사도 거리계산 함수,

는 테스트 영상의 m 블록에 대한 가중치,
Iⁱ는 i번째 기준 영상인 것을 특징으로 하는 영상 인식 장치.