KR100439377B1

KR100439377B1 - 이동 통신 환경에서의 사람 영역 추출방법

Info

Publication number: KR100439377B1
Application number: KR10-2002-0002842A
Authority: KR
Inventors: 이진수
Original assignee: 엘지전자 주식회사
Priority date: 2002-01-17
Filing date: 2002-01-17
Publication date: 2004-07-09
Anticipated expiration: 2022-01-17
Also published as: KR20030062586A

Abstract

본 발명은 이동 통신 환경에서, 이미지에서 객체 특히 사람의 얼굴이나, 얼굴과 머리 및 몸을 포함하는 사람 영역을 자동으로 검출하는 방법에 관한 것이다.

본 발명은 살색 칼라 및 살색 칼라 그룹화를 기반으로 하여 얼굴 영역을 검출 및 확인하고, 검출된 얼굴 영역을 기준으로 하여 머리 참조 영역을 정의하고, 머리 참조 영역에서 취한 머리 참조 색을 기반으로 하여 머리 영역을 검출하고, 검출된 얼굴 영역을 기준으로 하여 몸 참조 영역을 정의하고, 몸 참조 영역에서 취한 몸 참조 색을 기반으로 하여 몸 영역을 검출하고, 상기 검출된 얼굴영역과 머리 영역 및 몸 영역을 합하여 사람 영역으로 정의하는 방법으로 영상에서 사람 영역을 검출함을 특징으로 한다.

Description

이동 통신 환경에서의 사람 영역 추출방법{HUMAN AREA DETECTION FOR MOBILE VIDEO TELECOMMUNICATION SYSTEM}

본 발명은 이미지에서 얼굴 영역을 검출하는 방법, 상기 검출된 얼굴 영역을 기반으로 하여 머리와 몸 영역을 검출함으로써 이미지에서 사람 영역을 검출하는 방법에 관한 것이다.

화상 통신 및 멀티미디어 서비스가 가능한 이동 단말기 환경에서는 방대한 양의 데이터를 제한된 네트워크 환경을 통하여 실시간으로 전송해야 하는 어려움이 있다. 전송할 화상 데이터의 질과 데이터의 양은 서로 비례하므로 높은 화질을 보장하기 위해서는 높은 데이터 전송율이 동시에 보장되어야 한다. 화상 통신에서 사용자가 느끼는 화질의 차이는 통신 영상 전체 프레임 영역보다는 사용자 영역에서 더욱 심하게 나타난다. 이 것은 화상 통신의 특성상 통화자(사용자)에게 시선이 집중되고 또 통화자의 얼굴 등의 모습이 주된 관심 있는 영역이기 때문이다. 따라서,사용자 영역만을 보다 높은 화질로 전송하면 낮은 데이터 양을 가지고 높은 체감 화질을 구현할 수 있다.

이러한 기능을 위해서는 사용자와 배경을 자동으로 분리하는 기술이 요구된다. 사용자와 배경을 자동으로 분리하는 기술은 화상 통신뿐만 아니라, 비디오 메일과 같이 오프라인 편집이 가능할 경우에는 얼굴 이외의 배경을 재미있는 다른 템플리트로 전환하거나, 경우에 따라서는 복장이나 헤어 스타일 등을 편집하여 전송하는 기법도 가능하게 한다.

이와 같은 서비스를 위해서는 화상 통신 영상에서 사용자와 배경, 또는 사용자 얼굴과 배경을 분리하는 기술이 요구되며 특히, 제한된 네트워크 환경을 고려할 때 화질의 문제는 물론 실시간 처리를 가능하게 하는가의 여부도 중요한 문제가 된다.

영상 프레임에서 특정 객체를 분리하는 기술은 대부분 실시간 처리가 어렵거나 다양한 데이터에 대해 만족할 만한 결과를 주지 못하고 있다. 특히 이동 카메라 환경, 즉 움직이는 배경에서 사람과 같은 객체를 분리하는 것은 더욱 어렵다.

종래에 객체를 분리하는 기술로는 차영상과 에지 영상을 이용하여 객체를 분리하는 방법이 있다. 이 방법은 사용하는 특징정보가 단순하여 빠른 처리는 가능하지만 복잡한 화면에서는 분리가 어렵고, 배경은 정지되어 있고 움직이는 물체가 객체라는 전제 하에 분리를 행하므로 이동 카메라 환경에는 적용하기 어렵다. 종래에 객체를 분리하는 또 다른 기술로는 영상 프레임에서 칼라 정보를 기반으로 하여 특정 객체를 분리하는 기법이 있다. 이 기법은 칼라가 일정한 영역을 분리한 후 이를 이용하는데 상당한 처리 시간이 걸리기 때문에 실시간 처리를 요하는 이동 통신 환경에는 역시 적용하기 어려운 문제가 있다.

칼라 정보를 기반으로 하여 객체를 분리하는 기술 중에서 얼굴 영역을 추출하는 방법이 있다. 이 방법은 색공간 내에서 살색에 해당하는 범위를 사전에 정의하여 해당 범위에 속한 픽셀, 즉 살색을 갖는 픽셀들만을 사용하여 얼굴 영역을 지정하는 방법이다. 살색을 기반으로 얼굴 영역을 검출하는 방법으로는 RGB 색좌표를 YIQ 좌표로 변환한 후, 살색 칼라 범위를 YIQ 색좌표에서 지정하여 살색 영역을 추출하는 방법이나, 학습 데이터의 집합으로부터 L*a*b 색좌표에서 표현되는 살색 칼라 범위를 다시 PCA(Principle Component Analysis)을 이용하여 보다 적은 정보량으로 효과적인 살색 칼라 범위를 표현할 수 있도록 변환한 후, 이를 이용하여 얼굴 영역을 추출하는 방법, 또는 퍼지 집합(Fuzzy Set)을 이용하여 특정한 칼라가 살색 칼라일 확률을 계산하는 개념을 이용하는 방법이 있다.

상기 기술한 칼라 기반의 얼굴영역 추출은 모두 사전에 스킨 칼라의 범위를 정의하여 이를 이용하는데, 이 방법은 빠른 프로세싱 시간을 요하는 장점을 가지고 있는 반면, 다음과 같은 이유로 실제 적용하기에 적합하지 않다.

같은 사람의 얼굴을 다양한 장소와 다양한 촬영장치를 사용하여 취득한 영상에서 살색 영역에 대한 색상을 분석하면 각 영상마다 색상이 매우 다양하게 나타난다. 즉, 살색 영역이 색상에 따라 색좌표 상에서 매우 다양하게 나타나므로, 사전에 모든 가능한 살색 범위를 지정할 경우 그 범위가 너무 광범위하게 되어 한 영상에서 살색 이외의 영역을 포함하는 경우가 많아진다. 이러한 원인은 크게 조명에 따라 색이 왜곡되는 조명에 의한 색상 왜곡과, 영상을 취득하는 장치에 의존적인 영상 취득장치에 의한 색상 왜곡, 그리고 영상의 재생장치에 의존적인 재생장치에 의한 색상 왜곡 등이 있다. 상기 기술한 두번째와 세번째의 경우는 영상 취득 및 재생 기술이 자연 영상의 칼라를 그대로 반영시킬 수 있는 수준에 다다르지 못하는 이유와 이를 보정하기 위하여 자체적인 색상 필터 등을 적용하기 때문에 야기된다.

상기 기술한 문제점 때문에 칼라 이외의 정보를 사용한 얼굴 영역 추출방법으로 탬플리트 매칭을 이용한 방법도 제안되고 있다. 이 방법은 사람 얼굴의 탬플리트를 구성하고 구성된 탬플리트를 이미지 전 영역에 대해서 최소 사이즈에서 출발하여 최대 사이즈까지 크기를 조절해 가면서 스캔 및 매칭해 나가는 방법이다.

그러나 이 방법은 탬플리트 매칭 회수가 매우 많기 때문에 탬플리트 크기가 작아도 프로세싱 시간이 매우 길다는 문제점이 따른다.

또 다른 종래의 기술로는 상기 살색 영역을 이용하는 방법과 탬플리트를 이용하는 방법을 조합하여 얼굴을 검출하는 방법이 있다.

지금까지 기술한 종래의 객체 분리 기술은 정지 영상만을 이용하기 때문에 동영상에 비해 적은 정보만을 사용하여 그 만큼 정확성이 떨어진다. 또한 처리 시간의 문제나 정확성의 문제는 이동 카메라 환경에서 적용하기 곤란한 제약으로 작용한다.

본 발명은 화상 통신을 위한 영상 프레임에서 사람 영역을 실시간 분리하여객체 기반의 비트율 조절이나, 비디오 편집 등에 응용할 수 있도록 한 사람 영역 검출방법을 제공하는 것을 그 목적으로 한다.

또한 본 발명은 화상 통신을 위한 영상 프레임에서 얼굴 영역을 실시간으로 정확하게 분리하여 응용에 사용할 수 있도록 한 얼굴 검출방법을 제공함을 목적으로 한다.

상기 목적을 달성하기 위하여 본 발명은입력된 영상을 설정된 크기로 축소하는 단계, 상기 축소된영상에서 얼굴 영역을 추출하는 단계, 상기 추출된 얼굴 영역을 기반으로 머리 영역을 추출하는 단계, 상기 추출된 얼굴 영역을 기반으로 몸 영역을 추출하는 단계, 상기 추출된 얼굴영역, 머리 영역, 몸 영역을 합하여 사람 영역으로 지정하는 단계,상기 사람 영역이 추출된 영상을 상기 축소 전 크기로 복원하는 단계를 포함하여 이루어지는 것을 특징으로 하는 사람 영역 추출방법을 제공한다.

또한 상기 목적을 달성하기 위하여 본 발명은 영상에서 얼굴 영역을 추출하는 단계, 상기 추출된 얼굴 영역을 기반으로 머리 참조 영역을 설정하는 단계, 상기 설정된 머리 참조 영역에서 머리 참조 색을 구하는 단계, 상기 구해진 머리 참조 색과 유사한 색을 갖는 영역을 구하는 단계, 상기 구해진 머리 참조 색과 유사한 색을 갖는 영역 중에서 에지가 발생한 영역을 제외시키는 단계, 상기 에지 발생 영역이 제외된 나머지 영역들 중에서 얼굴과 인접한 영역을 머리 영역으로 지정하는 단계; 를 포함하여 이루어지는 것을 특징으로 하는 머리 영역 추출방법을 제공한다.

또한 상기 목적을 달성하기 위하여 본 발명은 영상에서 얼굴 영역을 추출하는 단계, 상기 추출된 얼굴 영역을 기반으로 몸 틀을 지정하는 단계, 상기 추출된얼굴 영역을 기반으로 몸 참조 영역을 설정하는 단계, 상기 몸 참조 영역에서 몸 참조 색을 구하는 단계, 상기 지정된 몸 틀 내부를 대상으로, 상기 몸 참조 색과 유사한 색을 갖는 영역을 구하는 단계, 상기 몸 틀 내부 중에서 살색을 갖는 영역을 구하는 단계; 를 포함하여 이루어지는 것을 특징으로 하는 몸 영역 추출방법을 제공한다.

또한 상기 목적을 달성하기 위하여 본 발명은 영상에서 살색 영역에 해당하는 픽셀들 만을 대상으로 칼라 히스토그램(hist)을 구성하는 단계, 상기 칼라 히스토그램 구성시 영상의 중앙을 중심으로 일부 부분 영역을 대상으로만 살색 칼라 영역에 해당하는 픽섹들을 대상으로 중앙 칼라 히스토그램(center_hist)을 구성하는 단계, 상기 칼라 히스토그램(hist, center_hist)을 사용하여 살색 칼라 그룹을 구성하는 단계, 상기 살색 그룹별로 영상의 영역을 분리하여 얼굴 영역을 지정하는 단계; 를 포함하여 이루어지는 것을 특징으로 하는 얼굴 영역 추출방법을 제공한다.

또한 상기 목적을 달성하기 위하여 본 발명은 영상을 44*36으로 축소하는 단계, 상기 축소된 영상에서 살색 범위에 해당하는 픽셀의 색 공간상에서의 분포를 분석하여 살색 칼라 그룹화를 통한 얼굴 영역 추출을 수행하는 단계, 상기 추출된 얼굴 영역을 기반으로 머리 참조 영역을 지정하고 그 머리 참조 영역 안에서 머리 참조 색을 확인하여 머리 영역을 추출하는 단계, 상기 추출된 얼굴 영역을 기반으로 몸 참조 영역을 지정하고 그 몸 참조 영역 안에서 몸 참조 색을 확인하여 몸 영역을 추출하는 단계, 상기 추출된 얼굴영역, 머리 영역, 몸 영역을 합하여 사람 영역을 지정한 후 이를 원 영상 크기로 복원하는 단계; 를 포함하여 이루어지는 것을 특징으로 하는 사람 영역 추출방법을 제공한다.

도1은 객체 기반 비트율 조절을 설명하기 위한 이미지의 예를 나타낸 도면

도2는 영상의 배경을 전환시킨 예를 나타낸 도면

도3은 본 발명의 사람 영역 검출방법의 전체적인 과정을 나타낸 플로우차트

도4는 본 발명에서 얼굴 영역 검출과정을 나타낸 플로우차트

도5는 얼굴 검출을 위한 얼굴 모델과 MBR을 설명하기 위한 도면

도6은 본 발명에서 칼라 그룹화를 설명하기 위한 도면

도7은 본 발명에서 머리 참조 영역을 설명하기 위한 도면

도8은 본 발명에서 머리 영역 검출방법을 설명하기 위한 도면

도9는 본 발명에서 머리 영역 추출을 위한 모양틀을 설명하기 위한 도면

도10은 본 발명에서 머리 영역 추출과정을 나타낸 플로우차트

도11은 본 발명에서 몸 참조 영역을 설명하기 위한 도면

도12는 본 발명에서 몸틀을 설명하기 위한 도면

도13은 본 발명에서 몸 영역 추출과정을 나타낸 플로우차트

도14는 본 발명에 의하여 추출된 사람 영역의 예를 나타낸 도면

도15는 본 발명의 얼굴 검출방법의 실시예를 설명하기 위한 플로우차트

도16은 도15의 얼굴 검출방법에 적용되는 중심영역을 설명하기 위한 도면

도17은 도15에서 칼라 그룹화 과정을 나타낸 플로우차트

도18은 HMMD 색공간을 나타낸 도면

도19는 HMMD 색공간에서 양자화를 설명하기 위한 도면

도20은 칼라 그룹화 방법에 의하여 여러 칼라로 구성된 얼굴 영역이 하나의 칼라 그룹으로 정의됨을 설명하기 위한 도면

도21은 얼굴 이외의 영역이 살색을 띄었을 때에도 효과적으로 얼굴 영역만을 분리하는 예를 설명하기 위한 도면

화상 통신을 위한 사람 영역의 분리 기술의 응용은 앞서 언급한 바와 같이 낮은 네트워크 환경에서도 일정한 화질을 보장하기 위한 비트율 조절과, 동영상 편집 등을 들 수 있는데, 먼저 이에 대하여 살펴보기로 한다.

[객체 기반 비트율 조절(Bit-rate control)]

이 기술은 화면의 중요한 영역에 따라 할당 비트 수를 다르게 하여 중요한 영역은 고화질을 유지하고 그렇지 않은 영역에 대해서는 화질을 떨어뜨리는 기술이다. 이를 위해서는 주요 영역(ROI: Region Of Interest) 자동 분리가 이루어져야 한다. 화상 통신의 경우는 사람 영역이 주요 영역이 될 것이고, 배경은 중요하지 않은 영역으로 될 것이다. 또한 사람 영역 중에서도 얼굴 영역이 상대적으로 더 중요한 영역이 되며, 얼굴 영역 내에서는 눈과 입을 더 중요한 영역으로 볼 수 있다.

이와 같이 다단계의 ROI를 정의함으로써, 네트워크 환경에 따라 최적의 화질을 유지할 수 있다. 또한, 비디오 메일의 경우 처음부터 중요하지 않은 영역을 낮은 비트로 할당함으로써 보다 적은 사이즈의 동영상으로 인코딩할 수 있는데, 이는 통신 선로 점유의 문제는 물론 통신 서비스 요금과 직접적으로 관계가 있어서 매우 중요한 부분이다. 즉, 영상의 크기가 커지면 사용자의 요금도 증가하므로 적은 크기의 영상으로 인코딩하는 것은 사용자 입장에서 매우 경제적이다.

도1의 (a)는 원래의 프레임 영상을 나타내고, 도2의 (b)는 (a)의 영상에서ROI(이 경우는 사람 영역)를 분리한 후, 사람 영역은 원래의 칼라 정보를 모두 표현하고 배경 영역은 칼라 정보를 제외한 밝기 정보만을 나타내어 데이터의 크기를 줄인 예이다.

도1의 (c)는 사람 영역을 배경 영역보다 너 높은 비트 수로 표현한 경우이고, (d)는 화면 전체를 낮은 비트 수로 표현한 예이다. (d) 경우는 화질의 저하를 쉽게 느낄 수 있지만, (b)와 (c)의 경우는 많은 양의 데이터가 줄었음에도 불구하고 사용자에게 화질의 큰 저하를 느낄만큼 불편을 주지 않는다. 이 것은 사용자에게 있어서 중요한 영역인 사람 영역이 화질을 느끼는데 큰 영향을 준다는 점을 고려하면 쉽게 이해가 될 것이다. 실제 통신환경에서는 이러한 화질 저하가 프레임의 끊김 현상이나 블록킹 현상으로 나타나기도 한다.

[비디오 메일 편집기]

카메라를 장착한 이동 단말기의 출현은 비디오 메일 서비스도 가능하게 한다. 비디오 메일의 경우에도 상기한 중요 영역의 분리 기술을 사용해서 보다 적은 사이즈의 영상으로 압축 전송할 수 있다. 사용자는 통신 요금과 화질 중에서 어느 한쪽을 포기해야 하는 기존의 선택 대신, 어느 정도의 화질을 유지하면서도 저렴한 통신 요금을 선택할 수 있는 장점이 있다. 이외에도 얼굴 영역과 눈 영역의 분리 기술을 이용하여 다양한 비디오 메일 편집을 행할 수 있다. 도2는 원 영상에서 사람 영역과 배경 영역을 분리하고, 분리된 사람 영역에 다른 배경을 합성하여 배경을 전환한 예를 보여준다. 도2의 (a)는 원 영상이고, (b)는 배경 전환된 영상이다.

본 발명에 따른 사람 영역 추출방법은, 얼굴 영역을 추출하는 단계, 머리 영역을 추출하는 단계, 몸 영역을 추출하는 단계로 이루어진다.

도3은 사람 영역을 추출하기 위한 본 발명의 사람 영역 검출방법의 전체 프로세스를 보여준다. 먼저, 영상이 CIF나 QCIF로 입력되면 입력된 영상을 44*36 픽셀 크기로 줄이는 리사이징(resizing)을 수행한다(S11,S12). 이러한 리사이징은 이 정도의 크기의 이미지를 처리하게 되면 전체적인 성능에는 영향을 주지 않으면서도 매우 빠른 처리가 가능하기 때문이다.

다음에는 줄여진 영상에서 먼저 얼굴 영역을 추출한다(S13,S14). 얼굴 영역의 추출은 살색을 기반으로 한 얼굴 후보 영역을 추출하는 과정(S13)과, 얼굴 영역을 확인하는 과정(S14)을 통해서 수행된다. 얼굴 영역의 추출이 이루어진 후에는 추출된 얼굴 영역을 기반으로 머리 영역을 추출하고(S15), 또한 상기 추출된 얼굴 영역을 기반으로 하여 몸 영역을 추출한다(S16). 여기서 머리 영역의 추출과 몸 영역의 추출 순서는 바뀔 수도 있다.

다음에는 상기 추출된 얼굴과 머리, 몸 영역을 합쳐서 사람 영역으로 하고, 후처리 과정(S17)(이 과정은 후에 상세하게 설명하기로 한다)을 거치고, 다시 원래의 영상 크기로 확대(resizing)하는 과정(S18)을 통해 사람 영역의 추출이 끝나게 된다.

지금까지 설명한 사람 영역 추출 과정을 얼굴 영역 추출방법, 머리 영역 추출방법, 몸 영역 추출방법으로 각각 나누어 더욱 상세히 설명한다.

1. 얼굴 영역 추출방법

얼굴 영역의 추출은 살색 영역 추출을 기반으로 한다. 살색 영역이란 영상의각 픽셀이 가지는 칼라 값이 사람의 살색 범위에 해당하는지를 조사하여 이를 이용하는 방법이다. 이 방법은 처리 속도는 빠르지만 조명이나 영상 취득 장치에 따라 다양하게 변조되는 색상의 다양성으로 인하여 살색의 범위가 너무 광범위한 문제가 있다. 즉, 살색 범위에 속하는 픽셀을 취하더라도 사람의 피부 이외의 영역도 살색으로 오인되어 추출되는 문제가 일반적으로 나타난다. 이를 해결하기 위해서 본 발명에서는 살색 영역에 속한 픽셀들 중에서 서로 유사한 칼라 그룹이 모여 있을 경우 이를 하나의 칼라 그룹(color group)으로 보고, 칼라 그룹별로 얼굴 후보 영역을 추출하여 최종적인 얼굴 영역을 추출하는 방법을 취하였다.

이러한 방법을 통해 광범위한 살색 범위로 인하여 살색으로 오인되는 배경이 있더라도 실제 얼굴 영역과 구분할 수 있게 된다. 그러나 이 방법을 사용해도 그림자 등 다양한 색상 왜곡에 의해 모든 얼굴 영역 내부의 픽셀이 살색 픽셀로 추출되지 않는 경우가 발생한다. 이러한 이유로 인하여 살색 영역을 바탕으로 얼굴 영역을 추출하더라도, 최종적으로 추출된 살색 칼라 영역이 진짜 얼굴 영역인지 확인하는 과정이 필요하다.

얼굴 영역을 확인하는 방법의 대표적인 예는 얼굴 템플리트를 사전에 작성하여 이와 비교한 후, 비슷한 영역을 얼굴 영역으로 확인하는 방법이 있다. 일반적으로 얼굴 영역을 확인하는 작업은, 살색 영역이 정확하게 얼굴 영역을 가리키지 못할 경우 비교적 많은 시간을 요구하기 때문에 초기 영역을 정확하게 추출할 때 사용하고, 이후 연속된 프레임에서의 얼굴 영역 추출 시에는 확인 과정이 생략되거나, 또는 이전 영역 주변만을 검사하는 등 제약적인 방법을 사용하게 된다.

이와 같은 얼굴 추출의 과정을 도4에 나타내었다.

먼저, 입력 영상에서 살색을 갖는 픽셀을 추출한 후 이들을 대상으로 칼라 히스토그램(color histogram)을 구하여 칼라 그룹화를 한다(S21,S22,S23). 칼라 그룹화란 히스토그램 상에서 서로 모여 있는 주요 칼라들을 하나의 그룹으로 만드는 것을 의미한다. 도6에 칼라 그룹화의 예를 나타내었다. 도6에서 칼라 히스토그램이 나타내는 분포를 사용하여 모여 있는 유사 칼라를 하나의 그룹으로 지정하였다. 다음 단계(S24)에서는 상기 각 칼라 그룹에 속한 픽셀들로 구성된 영역들을 얼굴 후보 영역이라 지정하고, 상기 기술한 얼굴 영역 확인 과정(S25,S26)을 거쳐 얼굴 영역을 추출하게 된다.

얼굴 영역의 추출 결과를 사용해서 머리 영역과 몸 영역을 추출하므로 얼굴 영역의 추출은 매우 중요하다. 특히, 머리 영역은 얼굴 영역과 이웃한 머리 후보 영역들을 모아 머리 영역으로 인지하므로 얼굴 영역과 적절하게 이웃하려면 얼굴 영역의 모양이 중요하다. 사람에 따라 다양하게 나타나는 얼굴 모양을 단지 살색 영역에 의지할 경우 잡음 등에 의해서 왜곡되는 문제가 있다. 따라서, 사전에 정의한 얼굴 모양의 모델을 사용하게 되는데, 본 발명에서는 머리 영역 추출에 적합하도록 도5와 같은 얼굴 영역 모델(face model)을 적용하였다. 즉, 얼굴 영역이 도5의 (b)와 같이 사각형으로 잡히게 되면 머리와 몸 영역 추출에 사용되는 얼굴 영역은 도5의 (a)에 나타낸 모델에 의해서 도5의 (b)에서와 같이 추출되게 된다. 이와 같이 도4에서도 추출된 얼굴 영역은 먼저 얼굴을 포함하는 최소한의 사각형(MBR: Minimum Boundary Rectangle)으로 표현 된 후, 사전 정의된 얼굴 모델로변환된다(S25,S26).

도15는 본 발명의 얼굴 영역 검출방법의 다른 실시예를 보여준다. 도15의 얼굴 검출방법은 주어인 영상 프레임에서 사전에 정의된 살색 범위의 칼라를 갖는 픽셀들만을 대상으로 칼라 분포를 분석하여, 주된 살색 칼라 그룹을 구한 후, 중요도가 높은 칼라 그룹 순으로 얼굴 영역 후보로 지정함으로써, 영상에 의존적인 살색 범위를 적응적으로 적용하여 빠르고 효과적인 얼굴 영역 추출이 가능한 방법이다.

먼저, 영상이 입력되면 모든 픽셀에 대하여 각 픽셀의 칼라가 살색 영역에 속하는지를 비교 판단한다(S51). 살색 영역에 대한 판단 조건은 HMMD 색공간에서 Hue(h), Sum(s), Diff(d)의 세 축을 이용하여 다음과 같이 정의되었다.

HMMD 색공간에서 살색 영역 조건:

if(((h>300&&h<360)∥(h<60&&h>0))&&s>100&&s<480&&d>5&&d<100)

살색;

else

살색 아님;

이와 같이 정의한 조건을 만족하는 칼라는 살색이라고 정의한다. HMMD 색공간은 RGB, YCrCb 등과 같은 색공간 중 하나로서, 색공간 내에서의 거리가 눈으로 보이는 색의 차이를 잘 반영하는 성질을 갖는 색공간이다. 색공간의 모양은 도18의 (a)에 나타낸 바와 같이 더블 콘(double cone) 모양으로서, 세로축은 밝기를 나타내는 sum이고, 중심에서 바깥 가장자리로의 축은 색의 순도를 나타내는 Diff, 그리고 더블 콘의 단면인 원에서 표현되는 각도는 색상을 나타내는 hue를 의미한다.도18의 (b)는 이 색공간의 단면을 보여준다. RGB 색공간으로부터 HMMD 색공간으로의 변환은 다음과 같이 이루어진다.

max = MAX(R,G,B)

min = MIN(R,G,B)

if(max-min)>0)

｛

//HUE를 구함

if(R==max)H=((G-B)/(max-min));

else

｛

if(G==max)H=(2.0+(B-R)/(max-min));

else

｛

if(B==max)H=(4.0+(R-G)/(max-min));

｝

H*=60;

if(H<0.0)H+=360;

｝

else

H = -1;

hue = H;

sum = max + min;

diff = max-min;

RGB 색공간은 색공간 내에서의 거리가 눈으로 보이는 색의 차이를 반영하지 못하는 특성이 있으므로 우선 색공간에서의 거리가 실제 색의 차이를 반영하는 HMMD 색공간에서 상기와 같이 살색 조건 정의를 한 후, 같은 조건이 되도록 다시 RGB 색공간에서 판단 조건을 정의하였다.

이와 같이 RGB 색공간에서 동일한 조건을 다시 만드는 이유는 입력 영상이 컴퓨터로 입력된 영상이므로 기본적으로 RGB 색공간으로 표현되어 있기 때문에, 다른 색공간으로 변환하지 않고 바로 판단할 수 있도록 하기 위함이다.

하지만, RGB 색공간에서 바로 살색 범위를 정의하려면 앞에서 기술한 RGB 색공간의 특성 때문에 정확한 범위를 설정하기 어려우므로 우선 HMMD 색공간에서 범위를 설정한 후, 같은 조건이 되도록 RGB 색공간에서의 조건으로 변환하는 것이다.

HMMD 색공간은 RGB 색공간과 1:1 양방향 매핑이 가능하므로 이와 같이 같은 조건을 같도록 변환 가능하며, 상기 HMMD 색공간에서의 살색 조건 정의를 변환된 RGB 색공간에서 고려하면 다음과 같이 표현될 수 있다.

RGB 색공간에서 정의한 살색 영역 조건

if(r>b&&r>g)

｛

if(b>g)

if(r+g>100&&r+g<480&&g-g>5&&r-g<100)

살색;

else

살색 아님;

else

if(r+b>100&&r+b<480&&r-b>5&r-b<100)

살색;

else

살색 아님;

｝

else

살색 아님;

이와 같은 조건을 적용하여 살색 영역으로 판단된 픽셀들에 대해서 칼라 히스토그램(hist)을 구성한다(S52). 칼라 히스토그램을 구성하기 위해서는 색공간을 양자화해야 하는데, HMMD 색공간을 다음과 같이 72가지 레벨로 양자화 하였다.

먼저, hue축으로 6등분한 후, 등분된 6개의 부분 영역을 다시 Diff축으로 4등분하고, 등분된 각 영역들을 다시 sum축으로 3등분하였다. 도19의 (a)는 Hue축으로 6등분함을 보이고, (b)는 Diff와 Sum 축으로 각각 4등분, 3등분 함을 보이고 있다. 이와 같이 양자화하는 근거는 실험에 의하여 hue, sum, diff 각각의 요소별로하나의 얼굴을 구성하는 값의 분포를 구한 후, 이를 기반으로 등분하는 정도를 정하였다. 예를 들어 sum은 조명에 의해 하나의 얼굴이라도 그 범위가 넓게 분포되므로 구분 능력이 상대적으로 낮아 3등분한 반면, hue는 한 얼굴 내에서는 좁은 분포를 가지므로 6등분하였다.

앞에서 기술하였듯이 입력 영상에서 살색이라고 판단되는 모든 영역에 대해서 히스토그램을 추출하고 나면 영상의 중심 영역만을 대상으로 히스토그램(cneter_hist)을 추출한다. 중심 영역은 도16에 나타낸 바와 같이 중심으로부터 일정한 영역을 의미하며, 예를 들면 세로축에 대해서는 전체 이미지 세로 길이의 66%, 가로축에 대해서는 전체 이미지 가로 길이의 42%에 해당하는 길이를 갖는 부분 영역을 중심을 기준으로 지정하였다. 이와 같이 중심 영역에서 히스토그램을 따로 구성하는 이유는 이후에서 기술될 칼라 그룹화 단계 시, 칼라 분포가 가장 큰 칼라라고 하더라도 중심에 모여있는 칼라가 아니면 우선 순위를 중심에 모여 있는 칼라보다 뒤로 하기 위함이다. 이는 칼라 그룹시에 중심에 모여있는 칼라 그룹을 먼저 생성함으로써 얼굴 영역에 있는 유사한 칼라들을 하나로 모두 묶는데 효과적일 뿐 아니라, 추출된 칼라 그룹 중 가장 얼굴 영역일 확률이 높은 칼라 그룹을 지정할 수 있게 한다.

이러한 이유로 만일 이전 프레임에서 추출된 얼굴 영역 정보가 있을 경우 중심의 부분 영역 대신 이전에 추출된 얼굴 영역을 대상으로 중앙 히스토그램을 추출할 수도 있다.

지금까지 설명한 바와 같이 히스토그램(hist)과 중앙히스토그램(center_hist)이 모두 구해지고 나면, 이 두 히스토그램을 가지고 칼라 그룹화를 시행한다(S54). 그룹화하는 구체적인 예는 다음에 자세히 설명된다.

상기 72개의 살색 칼라들은 칼라 그룹화에 의해 보통 2 내지 3개의 칼라 그룹으로 묶여진다. 이들 2 내지 3개의 칼라 그룹 중에서 중요도가 높은 하나의 칼라 그룹을 우선 얼굴 영역 후보로 지정하고(S55), 탬플리트 매칭 등의 얼굴 확인 작업을 통해 최종적으로 얼굴 영역을 추출할 수 있다. 만약 첫번째 중요도를 갖는 칼라 그룹에 속한 영역에서 매칭되는 얼굴이 없는 경우에는 다음 순위의 중요도를 갖는 칼라 그룹에 속한 영역에서 탬플리트 매칭을 시도한다. 그러나 대부분의 경우는 첫번째 중요도를 갖는 칼라 그룹에 속한 영역에서의 탬플리트 매칭에 의해서 얼굴 영역이 검출된다.

상기 두개의 히스토그램(hist, center_hist)을 가지고 수행되는 칼라 그룹화 과정(S54)을 도17에 상세하게 나타내었다.

먼저, 칼라 그룹화를 처음 시도하는가를 판단한다(S61). 처음 시도하는 경우에는 중앙 히스토그램(center_hist)에서 가장 큰 빈값을 갖는 bin_max를 구한다(S62).

만일 bin_max의 값(V(bin_max))이 일정 임계치(Th1) 보다 크면 bin_max의 칼라(C(bin_max))와 유사한 칼라를 갖는 빈들을 구하여 집합A로 세팅하고(S63,S64,S65), 그렇지 않으면 종료한다.

다음 단계(S66)에서는 히스토그램(hist)에서 집합A에 속한 빈(bin) 값들을모두 더하고, 값을 임계치(Th2)와 비교한다(S67). 히스토그램(hist)에서 집합A에 속한 빈 값을 모두 더한 값(Portion)이 임계치(Th2) 보다 크면 집합A에 속한 빈들을 모두 하나의 칼라 그룹에 해당하도록 설정하고 이를 중요도1의 칼라 그룹으로 정한다(S68). 그런 다음 히스토그램(hist)에서 집합A에 속한 빈들을 모두 제외한다(S69). 만일 히스토그램(hist)에서 집합A에 속한 빈 값을 모두 더한 값(Portion)이 임계치(Th2) 보다 작으면 히스토그램에서 bin_max만을 제외하고 처음 단계(S61)로 이동한다.

상기 과정이 한 번 실행되면 이후부터는 단계(S63)부터 실행하여 히스토그램(hist)에서 가장 큰 빈 값 bin_max을 찾아 그 이하의 과정(S64-S69)을 반복한다.

도20은 제안된 칼라 그룹화 방법에 의하여 여러 칼라로 구성된 얼굴 영역이 하나의 칼라 그룹으로 정의됨을 보여주고 있다. 도20의 (a)는 원래의 영상이고, (b)는 기존과 같이 전체 살색 범위를 사용하여 얼굴 영역을 추출한 예이다. 본 예에서는 얼굴 이외의 영역에는 살색 영역이 존재하지 않아 비교적 정확히 얼굴 영역이 추출되었다. 그렇지만 살색 범위를 72가지 색으로 양자화했기 때문에 (c)와 같이 같은 얼굴 영역이 몇 가지의 살색으로 구성됨을 알 수 있다. 그러나 (d)에서는 칼라 그룹화 과정을 거쳐서 한 얼굴을 하나의 살색 그룹으로 표현하여 쉽게 얼굴 영역을 추출함을 보여준다.

도21은 제안된 방법에 의하여 얼굴 이외의 영역이 살색을 띄었을 때에도 효과적으로 얼굴 영역만을 분리하는 예를 보여준다. (a)는 원래의 영상이고, (b)는 기존과 같이 전체 살색 범위를 사용하여 얼굴 영역을 추출한 예이다. 도면에서 알 수 있듯이 얼굴에 인접한 넓은 다른 영역이 살색으로 분류되어 얼굴 영역 추출이 어려움을 알 수 있다. (c)와 (d)는 본 발명에 의하여 얼굴 영역과 배경 영역을 같은 살색 범위에 속함에도 불구하고 정확히 추출함을 보여주고 있다.

도20 및 도21에서 알 수 있듯이 눈으로 볼 때, 비교적 정확한 얼굴 영역이 살색 그룹 영역을 사용하여 추출되었음을 알 수 있다. 하지만 도면에서 얼굴 영역 주변에 잡힌 작은 잡음들은 사람이 볼 때에는 문제가 되지 않지만 컴퓨터로 처리할 때에는 이러한 잡음을 제거해야만 정확한 영역을 잡을 수 있다. 본 발명에서는 살색 그룹 영역을 나타낸 이미지를 N*M개의 그리드(grid)로 구성된 그리드 이미지로 변환한 후, 살색 그룹 영역을 연결요소(connected component)로 연결하여 가장 큰 요소만 남김으로써 자연스럽게 잡음 영역을 제거하는 방법을 사용하였다.

이와 같이 원 영상 이미지를 N*M개의 그리드로 구성하기 위해 원 영상의 크기가 CIF(352*288)일 경우에는 8*8 크기의 그리드로 이미지를 블록화 하였으며, 원 영상의 크기가 QCIF(176*144)일 경우에는 4*4 크기의 그리드로 이미지를 블록화 하였다. 각 그리드 안에 속한 살색 픽셀의 밀집도가 일정 임계치를 넘을 경우에는 해당 그리드를 살색 그리드로 정의함으로써, 실질적인 처리는 이미지 크기와 관계없이 44*36 크기의 이미지 처리와 같은 처리 속도를 나타내게 하였다.

지금까지 기술한 방법은 원 영상에서 살색 그룹화를 거친 이후, 그 결과를 이용하여 얼굴 영역을 추출하기 위해 원 영상을 블록화하여 연결 요소를 구하는 방법을 소개하였다. 그렇지만 다른 실시예로서, 원 영상을 먼저 44*36 크기로 축소한 후, 축소된 이미지를 사용하여 살색 그룹화를 수행한 후, 그 결과에 대하여 바로 연결 요소를 구하는 방법을 사용할 수도 있다. 두 가지 방법의 결과는 약간 다를 수 있지만 영상 전체에 주로 큰 크기로 얼굴이 나타나는 화상 통신 환경에서는 두 방법 모두 적절한 성능을 나타낸다. 다만, 처리 속도의 측면에서는 후자의 방법이 유리하다고 할 수 있다.

2. 머리 영역 추출방법

상기 추출된 얼굴 영역을 이용해서 사람의 머리 영역을 추출한다. 머리 영역의 추출은 크게 칼라, 에지, 모양 등 3가지 정보를 사용하며, 각 정보를 사용하는 방법과 그 이유를 함께 살펴보면 다음과 같다.

2.1. 칼라 정보

사람의 머리색은 인종뿐만 아니라 개인의 특성과 기호에 따라서도 매우 다양하다. 따라서 특정한 색을 머리색으로 지정하여 머리 영역을 추출할 수 없다. 또한, 머리 모양도 다양하므로 얼굴 영역을 기준으로 특정한 영역을 강제로 분리하여 머리 영역이라고 칭할 수도 없다. 본 발명에서는 얼굴 영역을 기준으로 머리 영역일 확률이 높은 일부 영역(머리 참조 영역(hair reference region)이라고 함)에서 평균 칼라를 취하여 이를 머리 참조 칼라로 지정한 후, 이와 동일한 칼라를 지닌 영역들을 구하여 머리 영역의 후보로 지정하는 방법을 사용한다. 이렇게 함으로써 다양한 머리색을 포함한 문제들을 해결할 수 있다.

얼굴 영역이 주어졌을 때 머리 참조 영역은 도7에 나타낸 바와 같이 정의된다. 도7의 (a)에서 얼굴 영역의 상단 중 양쪽 일부분을 머리 참조영역으로 하여 평균 칼라를 취하였다. 이와 같이 양쪽을 모두 머리 참조영역으로 취함으로써, 잡음으로 인한 잘못된 머리 참조 칼라를 구하는 문제점을 줄일 수 있다. 만일 얼굴의 상단이 화면 끝에 붙어 있을 경우는 머리 참조 영역의 대부분이 화면 바깥쪽에 위치하여 도7의 (a)와 같이 머리 참조 칼라를 구할 수 없다. 이러한 경우는 도7의 (b)에 나타낸 바와 같이 얼굴 영역의 양쪽 끝에서 머리 참조 영역을 구하게 된다. 얼굴 상단이 화면의 끝에 붙어 있는지의 여부는 얼굴 영역의 좌표를 통해서 쉽게 판단할 수 있다.

상기한 취한 머리 참조 영역의 평균 칼라 정보를 사용할 때 주어진 색공간에 따라 성능이 달라진다. 본 발명에서는 앞서 기술한 바와 같이 Hue, Sum, Diff를 표현할 수 있는 HMMD 색공간을 사용하였다.

HMMD 칼라공간에서 주어진 영상의 픽셀값을 표현하였을 때, 사전에 정의된 광범위한 머리색은, 머리색 = (sum < 150.AND.diff<30).OR.(sum<230&&diff<15) 와 같이 정의하였다. HMMD 색공간에서 sum은 밝기를 나타내고, diff는 색의 순도를 나타낸다. 순도가 낮을 때, 즉 회색과 같은 경우 밝기가 상당히 밝더라도 머리일 확률이 높다. 이는 머리가 조명에 의해 밝게 빛날 수 있음을 의미한다. 따라서 순도를 나타내는 diff가 15이하일 때에는 밝기를 나타내는 sum이 230 이하이면 모두 머리색으로 지정하였다. 반면에 diff가 15보다는 높으나 30보다 낮을 경우 sum이 150이하일 때에만 머리색으로 지정하였다. 이는 순도가 어느 정도 높을 경우 밝기가 높으면 회색보다는 칼라가 강하게 느껴지므로 머리가 아닐 확률이 높기 때문이다.상기 머리색의 정의에 기술한 바와 같이 광범위한 머리색은 색상을 나타내는 hue에 의해 제한되지 않는다. 이는 산뜻한 칼라가 아닌 경우 칼라 값에 관계없이 머리색의 후보로 보기 위함이다. 또한 RGB로 표현되는 입력 영상을 HMMD로 변환시 제일 시간이 오래 걸리는 hue를 구할 필요가 없으므로 처리 시간 또한 빠르게 한다.

상기 기술한 방법은 대부분 좋은 결과를 나타낼 수 있지만, 얼굴 영역이 정확하지 않거나 대머리 등의 예외적인 경우가 발생할 경우 머리 참조 영역이 실제 머리가 아닌 영역을 포함할 수 있어 잘못된 후보 영역을 추출하는 경우도 있을 수 있다. 이러한 문제점을 해결하기 위해, 일반적인 경우 보다 높은 정확성을 갖도록 머리색 범위를 사용하였다. 즉, 광범위한 머리색 범위를 사전에 지정하여 머리 참조영역에 포함된 픽셀이 머리색 범위에 속했을 때에만 평균 칼라에 참여하도록 하는 것이다. 이러한 방법은 예외적인 머리색을 지닌 경우 해결하지 못하는 문제점이 있으나, 범위가 광범위하여 대부분의 문제에 적합하고, 예외적인 경우에는 머리색 범위를 사용하지 않을 수도 있기 때문에 선택적인 적용이 가능하다. 즉, 일반적인 경우 보다 높은 정확성을 갖고, 예외적인 경우 덜 정확하더라도 해결할 수 있도록 선택적 사용을 가능하게 하였다.

2.2. 에지(edge) 정보

이동 통신 환경에서는 야외에서 영상을 취득하는 경우가 많다. 야외 배경의 경우 숲이나 나무 같은 배경이 머리 뒤에 위치할 경우 같은 머리색으로 구분되지 않을 경우가 많다. 이러한 경우 머리 영역과 배경 영역을 구분하기 위해 에지 정보를 사용한다. 상기 구해진 머리 후보 영역에서 에지가 검출된 픽셀은 제외시킨다.일반적으로 머리 영역에는 에지가 생성되지 않으며 머리 영역과 배경 영역과의 경계나 배경 중에는 에지가 검출된다. 따라서 에지가 검출된 픽셀을 제외시킬 경우 머리색으로 오인된 배경 중 일부가 제외됨과 동시에, 머리 영역과 배경 영역과의 경계 부분이 대부분 제외된다.

다음에는, 남은 영역들을 연결된 픽셀들을 하나의 영역으로 묶는 연결요소(connected component)를 구한다. 이 경우 머리 영역과 배경 영역과의 경계 부분이 에지로 인하여 지워졌기 때문에 머리 영역과 배경 영역은 서로 다른 영역으로 레이블링된다. 따라서 추출된 얼굴과 붙어 있는 연결요소만을 머리 영역으로 판단하면 대부분의 배경 영역이 지워지게 된다. 이러한 과정의 예가 도8에 나타나 있다.

도8에서 얼굴 주변에 회색(81)과 이 보다 짙은 색(82)의 연결요소들이 추출되어져 있다. 도8에서 회색 영역(81)은 배경이나 유사한 머리색으로 인하여 머리영역으로 오인된 영역이고 이 보다 짙은 색 영역(82)은 실제 머리 영역이다. 에지 픽셀의 제거로 인하여 도8에서 처럼 대부분의 머리 영역과 배경 영역의 경계 영역이 떨어져 있다. 머리 좌측 상단에 표기된 영역(83)과 같이 예외적으로 붙어 있는 픽셀이 소수 남아 있을 수도 있으나, 이러한 잡음은 오프닝(Opening)과 같은 모폴로지 기법으로 지워질 수 있다.

모폴로지는 이미지 프로세싱이 많이 사용되는 일반적인 방법으로서 후에 간략하게 기술하겠다.

도8에서 얼굴 영역과 인접한 연결요소만을 남기고 지우게 되면 실제 머리 영역만이 추출되고, 잘못 추출된 배경은 제외된다.

상기 에지를 구하는데 사용되는 필터는 여러 가지가 있으나 본 발명에서는 2*2 Roberts 필터를 사용하였다. Roberts 필터는 다음의 수학식1에 기술되어 있으며, 이 필터를 그레이(gray)로 바뀐 영상에 적용시킨 후 임계치인 25보다 큰 값일 경우만을 에지가 있다고 판단하였다.

2.3. 모양정보

상기 설명한 머리 영역 추출방법은 모두 얼굴 영역을 중심으로 사전에 정의된 모양틀 내부에서 이루어진다. 모양틀의 예를 도9에 나타내었다. 얼굴 영역이 추출되면 해당하는 크기와 가로 세로 비율로 모양틀은 재구성되며, 재구성된 모양틀 내부에서 상기한 머리 영역 추출 과정이 수행된다. 이는 처리의 오류로 인해 배경 영역 머리 영역으로 잘못 오인되는 경우라도 강제로 머리보다 떨어진 영역을 제한함으로써 최악의 경우를 방지하는 효과가 있다. 또한 제한된 영역에서만 처리가 이루어지므로 불필요한 처리 시간을 줄일 수 있는 효과도 있다. 모양틀은 일반적인 머리 영역에 비해 훨씬 크게 정의함으로써 실제 머리 영역이 모양틀로 인해 제외되는 경우를 방지하였다.

지금까지 칼라, 에지, 모양 정보를 사용하여 머리 영역을 추출하는 각각의 방법에 대하여 설명하였다.

도10은 지금까지 설명한 과정을 종합하여 머리 영역을 추출하는 전체 프로세스를 보여준다. 입력으로 사용되는 영상은 앞서 기술한 전체 프로세스에서 이미 리사이징을 거친 영상이므로 44*36(CFI/8 = 44*36) 영상이고, 얼굴 영역도 이미 추출된 상태이다.

먼저, 앞서 추출된 얼굴 영역을 사용하여 머리 후보 영역을 머리틀을 사용하여 정의한다(S31). 다음 단계(S32)부터 모든 과정은 머리틀에 의해 제한된 후보 영역을 대상으로 이루어진다. 다음 대상 픽셀들 중에서 사전에 정의된 머리 색 범위에 해당하는 픽셀을 구하여 이를 집합 H(set H)라고 한다(S32). 다음 Roberts 필터를 사용하여 에지가 발생한 픽셀을 구하여 이를 집합 E(set E)라고 한다(S33). 이 두 집합(set H, set E)을 사용하여 에지가 없으면서 머리색을 지니는 픽셀들의 집합 A(= H ∩E^c)를 구한다(S34). 다음, 앞에서 구해진 얼굴 영역을 이용하여 머리 참조 영역을 구하고(S35), 머리 참조 영역에서 머리색에 해당하는 픽셀 칼라들을 평균하여 머리 참조 칼라를 구한다(S36). 그리고, 상기 집합A(set A)에서 머리 참조 칼라와 유사한 칼라만을 남기고 이를 집합 Hair(set Hair)라고 한다(S37). 다음에는 집합 Hair에서 연결요소를 구한 후, 얼굴 영역과 인접한 연결요소만을 머리 영역이라고 판단함으로써 본 과정이 끝나게 된다(S38,S39). 상기 기술한 과정에서 각 단계의 순서는 편의에 따라 바뀔 수 있다.

3. 몸 영역 추출방법

지금까지 설명한 방법으로 얼굴과 머리 영역이 추출되고 나면 추출된 얼굴영역을 기준으로 몸 영역을 추출하게 된다. 몸 영역은 다른 영역과 달리 사람이 착용하는 옷의 종류와 모양이 다양하여 정확히 몸 영역을 추출하기 힘들다. 본 발명에서는 실제 응용을 위한 실용적인 기술제안이 목적이므로 주어진 문제에서 자동으로 몸 영역을 추출할 수 있을 경우에는 최대한 몸 영역을 추출하고, 그렇지 못할 경우에는 사전에 정의된 몸틀을 사용하여 강제로 추출하게 된다. 몸 영역의 추출은 상기 기술한 비트율 조절에 사용되므로 정확한 영역을 추출하지 못하더라도 큰 문제는 없고, 이동 통신 환경에서 몸이 화면에 잡히는 경우는 드물기 때문에 실제 적용 시 큰 문제가 되지는 않는다.

몸 영역의 추출은 크게 나누어 칼라 정보를 이용하는 방법과 모양 정보를 이용하는 방법이 있다.

3.1. 칼라정보를 이용하는 몸 영역 추출방법

추출된 얼굴 영역을 기준으로 몸 참조 영역(Reference Body Region)을 지정한다. 몸 참조 영역은 사용자의 옷에 해당하는 영역일 확률이 높은 곳을 지정하는 것으로서 도11과 같이 얼굴 영역의 양쪽 끝을 화면의 맨 밑으로 연결했을 때 접하는 좌우 두개의 영역을 취하게 된다. 다음, 머리 영역 추출에서와 마찬가지로 몸 참조 영역에서 평균 칼라 값을 취하여 이를 몸 참조 칼라로 지정하고, 이후에는 몸 참조 칼라와 유사한 칼라를 갖는 픽셀들로 구성된 영역을 몸 영역으로 지정한다.

3.2. 모양정보를 이용하는 몸 영역 추출방법

얼굴 영역이 정해지면 사람의 몸에 해당하는 대략의 영역을 예측할 수 있다. 이러한 대략의 영역보다 넓게 후보 영역을 지정한 것이 몸틀이다. 몸틀은 도12에나타낸 바와 같이 지정된다. 즉, 얼굴 영역이 주어지면 얼굴 크기에 맞게 틀의 크기도 맞추어지고 얼굴의 하단에 틀이 위치하게 된다. 이 틀로 제한된 몸 영역을 몸의 후보 영역으로 하여 상기 기술한 칼라 기반의 처리가 이루어지게 된다. 몸틀로 제한된 영역에 대한 칼라 기반 처리를 하기 때문에 사용자의 옷 색과 유사한 색을 가지는 배경을 포함하더라도 이러한 틀에 의해 그 영역은 제외될 수 있다.

몸 영역에는 사용자의 옷 이외에도 목, 팔과 같은 사용자의 몸이지만 실제 피부가 드러난 곳을 포함하게 된다. 따라서, 상기 몸 참조 칼라만으로 몸 영역을 추출했을 경우 이러한 목이나 팔이 제외될 수 있다. 그러므로 몸 틀 내부에서 몸 참조 칼라와 유사한 칼라를 지닌 영역 뿐 아니라 살색을 갖는 영역도 몸 영역에 포함되어야 한다. 즉, 몸틀 내부에서 몸 참조 칼라와 유사한 칼라나 살색을 갖는 영역을 몸 영역으로 지정함으로써 몸 영역을 추출하는 것이다.

몸 영역은 다양한 옷을 사용자가 취할 수 있으므로 몸 참조 칼라와 유사한 칼라만으로 몸 영역을 취했을 경우 실제 몸 영역을 추출하지 못할 수도 있다. 예를 들어 단색의 옷을 착용한 경우는 적절하게 몸 영역을 취할 수 있으나, 머리칼이 몸 영역까지 늘어지거나 다양한 색으로 구성된 옷을 착용하였을 경우에는 적절한 영역을 취할 수 없다. 그러므로 만일 몸 참조 영역에 일정한 색이 아닌 다양한 색이 포함되었을 경우에는 상기 기술한 방법으로 몸 영역을 취할 수 없다고 여기고 몸 틀에 의해 정의된 영역을 강제로 분리하여 몸 영역으로 지정한다.

도13은 지금까지 설명한 몸 영역 추출과정을 보여준다. 먼저 도11에서 기술한 몸 참조 영역을 추출된 얼굴 영역을 이용하여 지정하고(S41), 지정된 영역에서평균 칼라값을 취하여 몸 참조 칼라를 구한다(S42). 다음, 도12에서 기술한 몸 틀을 추출된 얼굴 영역을 사용하여 지정하고(S43), 지정된 몸 틀 영역 내부에서 몸 참조 칼라와 유사한 픽셀을 취하여 이를 집합 Body(set Body)라고 한다(S44). 다음 몸 틀 영역 내부에서 살색 칼라를 갖는 픽셀 값을 취하여 이를 집합 Skin(set Skin)이라고 한다(S45). 다음, 두 집합 Body와 Skin을 합한 영역을 몸 영역으로 지정함으로써 몸 영역 추출과정이 끝나게 된다(S46).

4. 후처리(Post processing)

상기 기술한 얼굴 영역 추출과 머리 영역 추출, 그리고 몸 영역 추출을 행하고 나면 후처리를 통하여 전체 몸 영역을 추출하게 된다. 후처리는 크게 잡음이 일어난 가장자리 영역을 다듬는 단계와, 추출된 몸 영역에 발생한 홀(hall)을 제거하는 홀 메움 과정으로 구성된다.

상기 추출한 사람영역의 경우는 픽셀 단위로 구성되므로 추출된 영역의 가장자리는 매끄럽지 못하고 작은 가지가 돌출되거나 들어가는 등의 잡음이 있을 수 있다. 이러한 잡음을 제거하기 위해서 간단한 모폴로지를 행한다. 먼저, 크기A의 엘리먼트를 이용한 다일레이션(dilation)을 행한다. 크기A의 엘리먼트를 이용한 다일레이션(dilation)을 행하면 A보다 작은 크기의 홈들이 메워지고 매끄럽게 된다. 다음, 크기B의 엘리먼트를 이용한 이로우젼(erosion)을 행한다. 그러면 B보다 작은 크기의 돌출된 잔가지들이 제거된다. 본 발명에서 크기A는 크기B 보다 약간 크게 설정하였다. 다일레이션(dilation)은 영역 확장을 이용한 잡음 제거이고, 이로우젼(erosion)은 영역 축소를 이용한 잡음 제거이므로, 두개의 모폴로지 과정을 행하면 원래 추출된 영역보다 크게 영역이 정의된다. 이는 비트율 조절이라는 응용에서 중요 영역이 오인되어 배경으로 인식되는 경우가 배경이 중요 영역으로 오인되는 경우보다 중요한 오류로 작용하기 때문에 원래 추출된 영역보다 크게 영역을 설정하는 것이다. 두개의 모폴로지 과정이 끝나면 추출된 영역에 발생한 홀을 제거하는 과정을 거친다.

[처리 속도의 개선]

지금까지 설명한 사람 영역 추출방법은 영상이 입력되면 44*36크기로 줄인 후, 처리를 행하므로 빠른 시간 처리가 가능하다. 일반적으로 화상 통신 데이터는 CIF(352*288)이나 QCIF(176*144) 크기의 화면을 갖는데 본 발명에서는 모두 44*36크기로 줄이므로 CIF의 경우 가로 세로 1/8로 축소하게 되고, QCIF의 경우 1/4로 축소하게 된다. 처리 시간과 알고리즘의 정확성 측면에서의 성능은 일반적으로 서로 상반 관계를 갖는다. 따라서 두 가지 측면을 모두 만족시키기가 어렵기 때문에 주어진 문제의 특성을 파악하여 어느 한쪽을 중요시하게 된다. 본 발명에서는 두 가지 측면을 모두 어느 정도 만족시키되, 영역을 축소함으로써 발생하는 각 과정별 성능의 저하 정도와 속도 개선 정도를 측정하여 전체적인 조화를 이루도록 하였다.

본 발명에서 주요한 과정인 얼굴 영역 추출과정, 머리 영역 추출과정, 그리고 몸 영역 추출과정에서 사용되는 기본 단위 알고리즘에는 모폴로지 적용 부분과 살색 영역 추출과 같은 칼라 기반 알고리즘, 그리고 에지 기반 알고리즘 등이 주로 많은 처리 시간을 요구하고 있다. 특히 이 중에서 처리 시간을 많이 요구하는 정보를 비교해 보면 모폴로지 알고리즘 > 에지 기반 알고리즘 > 칼라 기반 알고리즘이다.

이들의 처리 시간을 줄이기 위해서 다음과 같은 세 단계의 처리 방법을 고려할 수 있다.

첫 번째는 원 영상을 그대로 이용하는 방법이다. 이 방법은 원 이미지 크기에서 픽셀 단위로 처리하는 방법으로 처리 시간이 너무 걸리므로 바람직하지 않다.

두 번째는 그리드를 사용하는 방법이다. 즉, 주어진 영상을 n*m개의 그리드(grid)로 구분하여 각 그리드별로 에지나 살색 칼라 등을 구한 후, 각 그리드가 평균적으로 칼라와 에지가 어떠한지를 보는 방법이다. 이 경우 기본적인 칼라 픽셀이나 에지 픽셀의 추출은 원 영상에서 이루어지되, 구해진 칼라 픽셀과 에지 픽셀을 사용하여 적용하고 판단하는 과정은 그리드 단위로 이루어지므로 이미지를 축소하여 처리하는 것과 같은 처리시간을 갖는다. 즉, 가장 많은 시간을 요하는 포폴로지 알고리즘이 그리드를 이용하게 되므로 이 부분에서 많은 시간을 절약할 수 있다. 그렇지만 이 방법은 칼라나 에지 기반의 알고리즘에서는 원래의 처리 시간이 그대로 요구된다.

세 번째는 영상을 축소하여 처리한 후 다시 확대하는 방법이다. 즉, 주어진 영상을 n*m으로 축소한 후, 축소된 영상을 이용하여 처리하는 경우이다. 이 경우 모든 알고리즘이 축소된 영상을 사용하므로 빠른 처리 시간이 가능하다. 그렇지만 작은 크기인 만큼 한 픽셀의 오차가 이미지 전체에 미치는 영향이 커진다. 그렇기 때문에 잡음이 민감한 단점이 있다. 따라서, 어느 정도 크기까지 축소가 가능한지가 관건이고, 이미지 축소에 따른 영향 정도도 각 단위 알고리즘마다 다를 수 있다.

이들 세 알고리즘의 각각의 역할을 볼 때 상기 기술한 그리드 방법 대신 영상을 축소해서 처리했을 때의 성능이 저하되는 정도와 속도가 개선되는 정도를 살펴보면, 모폴로지 알고리즘의 경우 성능 저하 정도는 1%, 속도 개선 정도는 150%이고, 칼라 기반 알고리즘의 경우 성능 저하 정도는 1%, 속도 개선 정도는 50%이고, 에지 기반 알고리즘의 경우는 성능 저하 정도가 2%, 속도 개선 정도는 100%로 나타났다.

여기서 알 수 있듯이 세 가지 알고리즘 각각의 속도 개선 정도는 매우 커지지만 성능 저하 정도는 매우 미미함을 알 수 있다. 상대적으로 에지 기반 알고리즘이 영상을 축소했을 때 잡음으로 인해 성능이 저하되는 정도가 컸지만 절대적인 저하치는 그리 크지 않음을 알 수 있다. 특히 비트율 조절이라는 응용 측면에서 1내지 2%의 오류는 처리시간에 비해 중요한 포인트가 아니므로 본 발명에서는 영상을 축소하여 처리하는 방법을 사용하였다.

축소하는 정도는 실험에 의해 44*36 정도의 크기가 4배수이면서 화상 통신 데이터를 처리하는데 문제가 없는 최소 크기임을 발견하여 선택하였다. 크기가 4의 배수가 되도록 하는 것은 레지스터 등을 이용하는 실제 처리 과정에서 최적화를 위한 것이다.

지금까지 기술한 사람 영역 추출방법을 사용하여 추출한 결과의 예를 도14의 (a) 내지 (e)에 나타내었다. 도14의 각 예에서 좌측 영상은 원 영상이며 원 영상 위에 표기된 사각형은 자동 추출한 얼굴 영역의 MBR을 나타낸다. 도14의 예에서 우측 영상은 추출된 사람 몸 영상이며, 추출된 영역이 블록단위로 표기된 것은 44*36으로 축소하여 처리한 것을 다시 확대하였기 때문이다.

도17의 (a)는 얼굴 색과 유사한 배경이 있는 예이며, (b)는 머리 색과 유사한 배경이 있는 예이며, (c)는 몸에 옷 이외에 팔이 포함된 예이며, (d)는 저화질 영상을 처리한 예이며, (e)는 몸 참조 영역에 머리가 포함되어 잘못 분리된 예를 보여주고 있다.

본 발명은 이동 카메라 환경에서의 화상 통신에서 배경과 사용자를 자동 분리하는 방법을 제공한다. 본 발명은 실시간 처리가 가능할 정도의 빠른 처리 시간으로 사용자 영역을 분리하는 방법을 제공함으로써, 객체 기반의 화상 통신 데이터 응용을 가능하게 한다.

특히 본 발명은 네트워크 부하에 적응적으로 적용되는 비트율 조절이나, 자동 비디오 메일 편집과 같이 이동 통신에 유용하게 사용될 수 있는 핵심 기술로 적용될 수 있으며, 시간과 성능 측면에서의 두 가지 문제점을 모두 해결하여 실제 적용이 가능하게 하였다.

본 발명은 정확한 얼굴 영역 추출과 비교적 정확한 머리 영역의 추출, 그리고 대략적인 몸 영역 추출방법을 사용하여 응용 종류에 따라 적절하게 분리된 영역을 사용할 수 있게 하였다. 특히 이러한 접근 방법은 얼굴 영역이 대부분인 화상 통신 데이터에 적절하게 이용될 수 있다.

본 발명은 객체 분리의 단위가 CIF 영상의 경우 8*8 크기의 블록 단위로 이루어지고 QCIF의 경우 4*4 크기의 블록 단위로 이루어져 있으므로, 16*16 크기인 매크로 블록 단위의 비트율 조절이나 객체 기반 코딩에 적절하게 사용될 수 있다.

또한 본 발명은 칼라 기반으로 얼굴 영역을 추출하되, 주어진 영상에서 살색 후보 영역을 정확히 실제 사람의 영역과 배경이면서 살색과 유사한 색을 지닌 영역을 분리함으로써, 영상마다 다양하게 나타나는 살색의 다양성 문제를 해결함과 동시에 하나의 이미지 내에 나타난 살색 영역을 오브젝트에 따라 분리해 준다. 또한 화상 통신에서 얼굴 영역을 정확히 추출하기 위하여 복수개의 살색 영역이 등장할 경우 얼굴이 등장할 확률이 높은 위치에 존재하는 살색을 기준으로 먼저 영역을 분리함으로써 배경 부분보다 작은 얼굴도 칼라 기반으로 정확히 추출할 수 있다.

Claims

입력된 영상을 설정된 크기로 축소하는 단계, 상기 축소된영상에서 얼굴 영역을 추출하는 단계, 상기 추출된 얼굴 영역을 기반으로 머리 영역을 추출하는 단계, 상기 추출된 얼굴 영역을 기반으로 몸 영역을 추출하는 단계, 상기 추출된 얼굴영역, 머리 영역, 몸 영역을 합하여 사람 영역으로 지정하는 단계,상기 사람 영역이 추출된 영상을 상기 축소 전 크기로 복원하는 단계를 포함하여 이루어지는 것을 특징으로 하는 사람 영역 추출방법.
제 1 항에 있어서,입력된 영상을 설정된 크기로 축소함에 있어, 영상의 크기를 44*36 픽셀 크기로 축소하는 것을 특징으로 하는 것을 특징으로 하는 사람 영역 추출방법.
제 1 항에 있어서, 상기 얼굴 영역 추출은, 영상에서 살색 범위에 해당하는 픽셀을 구하는 단계, 상기 살색 픽셀들의 칼라 공간상에서의 분포를 분석하여 살색 칼라를 그룹화하는 단계, 상기 각 살색 칼라 그룹별로 구성된 영상이 얼굴 영역인지 확인하는 단계, 상기 확인된 얼굴 영역을 사전 정의된 얼굴 모델로 표현하는 단계; 에 의하여 이루어지는 것을 특징으로 하는 사람 영역 추출방법.
제 1 항에 있어서, 모폴로지 처리와 홀(hall) 지움 처리를 포함하는 후처리 단계를 더 포함하는 것을 특징으로 하는 사람 영역 추출방법.
영상에서 얼굴 영역을 추출하는 단계, 상기 추출된 얼굴 영역을 기반으로 머리 참조 영역을 설정하는 단계, 상기 설정된 머리 참조 영역에서 머리 참조 색을 구하는 단계, 상기 구해진 머리 참조 색과 유사한 색을 갖는 영역을 구하는 단계, 상기 구해진 머리 참조 색과 유사한 색을 갖는 영역 중에서 에지가 발생한 영역을 제외시키는 단계, 상기 에지 발생 영역이 제외된 나머지 영역들 중에서 얼굴과 인접한 영역을 머리 영역으로 지정하는 단계; 를 포함하여 이루어지는 것을 특징으로 하는 머리 영역 추출방법.
제 5 항에 있어서, 상기 머리 참조 영역에 포함된 픽셀들 중에서 사전에 정의된 머리 색 범위에 해당하는 픽셀들 만을 대상으로 칼라의 평균값을 사용하여 머리 참조 색을 구하는 것을 특징으로 하는 머리 영역 추출방법.
제 5 항에 있어서, 상기 머리 참조 영역은, 상기 추출된 얼굴 영역을 기준으로 얼굴 영역의 상단 좌우 일부 영역이나, 얼굴 영역 좌우 끝에서부터 상단 일부 영역으로 지정되는 것을 특징으로 하는 머리 영역 추출방법.
제 5 항에 있어서, 상기 머리 영역을 지정하는 단계는, 남은 픽셀을 대상으로 연결요소(connected component)를 구한 후 얼굴과 인접한 요소만을 머리 영역으로 지정하는 것을 특징으로 하는 머리 영역 추출방법.
제 8 항에 있어서, 상기 얼굴과 인접한 요소만을 머리 영역으로 지정하기 전에, 잡음으로 인해 머리 이외의 영역이 머리와 연결되는 문제를 해결하기 위한 모폴로지 처리를 우선 행하는 것을 특징으로 하는 머리 영역 추출방법.
제 5 항에 있어서, 상기 추출된 얼굴 영역을 기준으로 머리 틀을 지정하는 단계가 더 포함되고, 상기 모든 처리는 머리 틀에 포함된 픽셀에 한정하는 것을 특징으로 하는 머리 영역 추출방법.
제 5 항에 있어서, 상기 얼굴 영역의 추출은, 얼굴을 포함하는 MBR을 구하는 단계와, MBR에 맞는 크기와 비율을 갖는 얼굴 모델로 표현하는 것을 특징으로 하는 머리 영역 추출방법.
영상에서 얼굴 영역을 추출하는 단계, 상기 추출된 얼굴 영역을 기반으로 몸 틀을 지정하는 단계, 상기 추출된 얼굴 영역을 기반으로 몸 참조 영역을 설정하는 단계, 상기 몸 참조 영역에서 몸 참조 색을 구하는 단계, 상기 지정된 몸 틀 내부를 대상으로, 상기 몸 참조 색과 유사한 색을 갖는 영역을 구하는 단계, 상기 몸 틀 내부 중에서 살색을 갖는 영역을 구하는 단계; 를 포함하여 이루어지는 것을 특징으로 하는 몸 영역 추출방법.
제 12 항에 있어서, 상기 몸 틀은 얼굴 영역이 주어졌을 때 일반적인 경우보다 크게 몸의 영역을 정의한 몸에 대한 모양 모델이고, 얼굴 영역이 추출되면 그 크기와 위치에 비례하여 상기 몸 틀을 확장 또는 축소한 후 적절한 위치에 위치시키는 것을 특징으로 하는 몸 영역 추출방법.
제 12 항에 있어서, 상기 몸 참조 영역의 설정은, 가로 축 좌표를 기준으로 얼굴 영역의 좌우 끝 좌표에서 각각 바깥쪽으로 얼굴 영역 크기에 비례하는 만큼의 일정 영역과, 세로 축 좌표를 기준으로 얼굴 영역 하단 좌표보다 일정 부분 아래 좌표에서부터 화면 맨 아래까지의 일정 영역으로 설정되는 것을 특징으로 하는 몸 영역 추출방법.
제 12 항에 있어서, 상기 몸 참조 영역 내에 칼라 분포가 일정하지 않을 경우 상기 몸 틀을 이용하여 강제로 몸 영역을 분리하는 것을 특징으로 하는 몸 영역 추출방법.
영상에서 살색 영역에 해당하는 픽셀들 만을 대상으로 칼라 히스토그램(hist)을 구성하는 단계, 상기 칼라 히스토그램 구성시 일부 부분 영역을 대상으로만 살색 칼라 영역에 해당하는 픽섹들을 대상으로 중앙 칼라 히스토그램(center_hist)을 구성하는 단계, 상기 칼라 히스토그램(hist, center_hist)을 사용하여 살색 칼라 그룹을 구성하는 단계, 상기 살색 그룹별로 영상의 영역을 분리하여 얼굴 영역을 지정하는 단계; 를 포함하여 이루어지는 것을 특징으로 하는 얼굴 영역 추출방법.
제 16 항에 있어서, 상기 부분 영역은 영상의 중앙을 중심으로 하는 원래의 영상 크기 보다 작은 사각형으로 정의하고, 원래의 영상의 가로/세로 길이를 각각 width, height라고 했을 때, 부분 영역을 위해 정의된 사각형의 가로/세로 길이는 각각 width * a, height * b (a < b < 1)를 만족하는 것을 특징으로 하는 얼굴 영역 추출방법.
제 16 항에 있어서, 상기 부분 영역은 이전 프레임에서의 얼굴 영역으로 정의하는 것을 특징으로 하는 얼굴 영역 추출방법.
제 16 항에 있어서, 상기 살색 칼라 그룹화는, 칼라 히스토그램의 빈(bin) 값 들 중에서 최대 값을 갖는 빈 bin_max을 정하는 단계, 상기 bin_max의 대표 칼라 값과 다른 각 빈의 대표 칼라 값의 유사도를 측정하는 단계, 상기 측정된 유사도가 일정 임계치 이하인 빈들과 bin_max를 하나의 그룹으로 묶는 단계와, 상기 그룹에 포함된 모든 빈 값의 합이 일정 임계치 이상이면 해당 빈들을 하나의 그룹으로 최종 결정하는 단계와, 상기 하나의 칼라 그룹을 구성한 이후, 해당 칼라 그룹에 포함된 빈들을 제외한 나머지 빈들을 대상으로 상기 그룹화를 반복하는 단계; 로 이루어지는 것을 특징으로 하는 얼굴 영역 추출방법.
제 16 항에 있어서, 상기 살색 칼라 그룹화는, 첫번째 칼라 그룹을 구성하는 경우에는 중앙 칼라 히스토그램(center_hist)의 빈 값들 중에서 최대값을 갖는 빈 bin_max를 정하고, 두번째 이후 칼라 그룹을 구성하는 경우에는 칼라 히스토그램(hist)의 빈 값들 중에서 최대값을 갖는 빈 bin_max를 정한 후, 이후에는 칼라 히스토그램(hist)에서 bin_max의 대표 칼라값과 다른 각 빈의 대표 칼라값의 유사도를 측정하는 단계와, 측정된 유사도가 일정 임계치 이하인 빈들과 bin_max를 하나의 그룹으로 그룹화 하는 단계와, 그룹에 포함된 모든 빈값의 합이 일정 임계치 이상이면 해당 빈들을 하나의 그룹으로 최종 결정하는 단계와, 상기 하나의 칼라 그룹을 구성한 이후, 해당 칼라 그룹에 포함된 빈들을 제외한 나머지 빈들을 대상으로 하여 상기 두번째 이후 칼라 그룹을 구성하는 과정을 반복하는 단계; 로 이루어지는 것을 특징으로 하는 얼굴 영역 추출방법.
제 16 항에 있어서, 상기 그룹화된 살색 그룹 중에서 첫번째 살색 그룹에 해당하는 픽셀들로 이루어진 영역에 얼굴 영역이 포함되는지를 확인하여 얼굴 영역이면 종료하고, 그렇지 않으면 다음 살색 그룹에 해당하는 픽셀들로 이루어진 영역을 대상으로 하는 얼굴 영역 추출과정을 수행하는 것을 특징으로 하는 얼굴 영역 추출방법.
제 16 항에 있어서, 상기 각 살색 그룹별로 영상의 영역을 분리하는 단계는, 각 살색 그룹이 명시된 영상을 N*M 크기의 블록(그리드)으로 블록화하는 단계와, 각 블록 내에 속한 해당 살색 그룹에 해당하는 픽셀의 빈도가 일정 임계치 이상인 블록을 살색 블록으로 세팅하는 단계와, 이웃한 살색 블록을 연결하는 연결 요소(connected component)를 구하여 이 중에서 가장 큰 연결 요소를 얼굴 영역으로 지정하는 단계; 로 이루어지는 것을 특징으로 하는 얼굴 영역 추출방법.
제 16 항에 있어서, 상기 얼굴 영역 추출과정 이전에 원 영상을 축소하는 단계를 더 포함하고, 축소된 영상을 이용하여 얼굴 영역 추출을 수행한 이후에 원 영상 크기로 복원하는 단계; 를 더 포함하는 것을 특징으로 하는 얼굴 영역 추출방법.
영상을 44*36으로 축소하는 단계, 상기 축소된 영상에서 살색 범위에 해당하는 픽셀의 색 공간상에서의 분포를 분석하여 살색 칼라 그룹화를 통한 얼굴 영역 추출을 수행하는 단계, 상기 추출된 얼굴 영역을 기반으로 머리 참조 영역을 지정하고 그 머리 참조 영역 안에서 머리 참조 색을 확인하여 머리 영역을 추출하는 단계, 상기 추출된 얼굴 영역을 기반으로 몸 참조 영역을 지정하고 그 몸 참조 영역 안에서 몸 참조 색을 확인하여 몸 영역을 추출하는 단계, 상기 추출된 얼굴영역, 머리 영역, 몸 영역을 합하여 사람 영역을 지정한 후 이를 원 영상 크기로 복원하는 단계; 를 포함하여 이루어지는 것을 특징으로 하는 사람 영역 추출방법.
제 3 항 또는 제 24 항에 있어서, 상기 살색 범위는 RGB 색공간에서 다음의 조건;

if(r>b&&r>g)

｛

if(b>g)

if(r+g>100&&r+g<480&&g-g>5&&r-g<100)

살색;

else

살색 아님;

else

if(r+b>100&&r+b<480&&r-b>5&r-b<100)

살색;

else

살색 아님;

｝

else

살색 아님;

; 에 따라 살색 범위를 정의하는 것을 특징으로 하는 사람 영역 추출방법.
제 3 항 또는 제 24 항에 있어서, 상기 살색 범위는 HMMD 색공간에서 다음의 조건;

if(((h>300&&h<360)∥(h<60&&h>0))&&s>100&&s<480&&d>5&&d<100)

살색;

else

살색 아님;

; 에 따라 살색 범위를 정의하는 것을 특징으로 하는 사람 영역 추출방법.
제 3 항 또는 제 24 항에 있어서, 상기 살색 영역 추출을 위한 색공간은 HMMD 색공간이며, Hue, Diff, Sum 축에서의 살색 범위 구간을 각각 M/N/K(M>N>K)로 등분하여 양자화하는 것을 특징으로 하는 사람 영역 추출방법.
제 24 항에 있어서, 상기 머리 참조 영역에서 머리 참조 색으로 정의되는 머리 색의 범위는 HMMD 색공간에서 Diff가 30 보다 작고 Sum이 150 보다 작거나, Diff가 15보다 작고 Sum이 230보다 작은 경우인 것을 특징으로 하는 사람 영역 추출방법.
제 24 항에 있어서, 상기 몸 참조 영역에서 몸 참조 색과 유사한 색을 갖는 영역을 HMMD 색공간에서의 유사도 계산을 통하여 구하는 것을 특징으로 하는 사람 영역 추출방법.