KR100980915B1

KR100980915B1 - 화상 처리 장치 및 처리 방법 및 촬영 장치

Info

Publication number: KR100980915B1
Application number: KR1020047006362A
Authority: KR
Inventors: 도시아끼 나까니시; 미찌따다 우에다; 히로아끼 다까노
Original assignee: 소니 주식회사
Priority date: 2002-08-30
Filing date: 2003-08-28
Publication date: 2010-09-07
Also published as: US8098293B2; KR20050033537A; EP1558015A1; DE60329620D1; EP1558015A4; EP1558015B1; US20050013599A1; WO2004036900A1

Abstract

본 발명은 촬영된 인물 화상을 트리밍에 의해 자동적으로 보기 좋은 사진으로 마무리하는 화상 추출 장치로, 인물이 촬영된 컬러 화상이 입력되어 디지털 데이터로서 출력하는 화상 입력부(101)와, 화상 데이터가 입력되어 살색 영역을 검출하는 살색 영역 추출부(200)와, 검출된 살색 영역으로부터 피사체의 검출을 행하는 피사체 검출부(300)와, 검출된 피사체의 트리밍을 행하는 트리밍부(400)를 구비한다. 트리밍부(400)는 증명 사진(600)의 최상단부(600a)로부터 인물(601)의 정수리부(TOH)까지를 상부 여백부(A), 정수리부(TOH)로부터 턱(HOC)까지를 얼굴부(B), 인물의 턱(HOC)으로부터 증명 사진의 최하단부(600b)까지를 흉부(C)라 하였을 때, 각부의 치수 비율을 얼굴부(A) : 흉부(B) : 상부 여백부(C) ＝ 1 : 0.4 내지 0.8 : 0.1 내지 0.26이 되도록 화상을 트리밍한다.

화상 입력부, 트리밍부, 촬영실, 조명 기구, CPU

Description

화상 처리 장치 및 처리 방법 및 촬영 장치 {Image Processing Apparatus and Method, and Photographic Apparatus}

본 발명은 화상의 트리밍을 행하는 화상 추출 장치 및 방법, 화상 처리 장치 및 처리 방법 및 촬영 장치에 관한 것이다.

본 출원은 일본에서 2002년 8월 30일에 출원된 일본 특허 출원 번호 제2002-255864호, 일본 특허 출원 번호 제2002-255865호를 기초로 하여 우선권을 주장하는 것으로, 본 출원은 참조함으로써 본 출원에 원용된다.

종래, 증명 사진을 찍는 촬영 장치로서 도1에 도시한 바와 같이 구성된 것이 있다. 도1에 도시하는 촬영 장치(800)는 대략 직사각형의 하우징(810)을 갖고, 이 하우징(801)의 내부에 촬영실(802)이 설치되어 있다. 이 하우징(801)에는 촬영실(802)에 들어간 피사체가 되는 인물의 얼굴을 촬영하는 촬영부(803)와, 촬영부(803)가 촬영한 화상을 인쇄하는 프린터(804)가 내장되어 있다. 하우징(801)에는 촬영실(802)에 들어가기 위한 입구(805)가 설치되어 있고, 입구(805)에는 차광 커튼(806)이 부착되어 있다. 촬영실(802)에는 피사체가 되는 인물이 착좌하는 의자(807)가 설치되어 있다. 또한, 촬영 장치(800)에는 피사체를 조사하는 조명 기구(809)가 설치되어 있는 외에, 도시하지 않은 코인 투입구나 금고 등이 설치되어 있다.

이러한 촬영 장치(800)는, 입구(805)로부터 피사체가 되는 인물이 촬영실(802)에 들어가 의자(806)에 착좌하면 촬영 준비가 완료된 상태가 된다. 이 촬영 장치(800)는 의자(807)에 앉아 있는 피사체를 플래시 촬영하고, 이 촬영 데이터를 가시 화상으로서 프린터(804)로부터 출력한다.

종래의 촬영 장치(800)에 있어서는 얼굴이 규정된 위치에 찍히도록, 구체적으로는 정면의 미러(촬영부)에 정수리부를 맞추는 마크(도시하지 않음)가 표시되어 있어 이 마크의 위치에 정수리부가 일치하도록 의자(807)를 회전시키고, 그 높이를 수동으로 상하 이동시켜 정수리부의 위치를 맞출 필요가 있다.

또한, 예를 들어 점포 등의 간이 스튜디오에서는, 카메라의 각도 등을 바꿈으로써 얼굴의 위치를 정해진 위치가 되도록 맞추고 있었다. 이와 같이 얼굴의 위치를 수동으로 맞추면, 완성된 사진은 얼굴의 위치가 상하로 변동되는 일이 많다는 문제점이 있다. 또한, 사진의 최상부로부터 정수리부까지의 상부 여백부가 넓으면 균형적이지 않은 사진이 되고, 한편 상부 여백부가 좁으면 답답하고 보기 흉한 사진이 되어 버린다는 문제점이 있다.

일반적인 사진에 있어서도, 주역이 되는 피사체를 화면의 중심부에 배치하는 경향이 있다. 이로 인해, 불필요하게 상부 여백부의 면적이 커지는 경향이 있다. 기념 사진 또는 초상화에서는, 얼굴부를 화면 중심에 배치함으로써 상부 여백부가 넓어져 균형적이지 않은 사진으로 마무리되어 버린다. 또한, 풍경 사진에서는 빈 부분이 많아져 주역인 피사체가 솜씨 좋게 표현되지 않는다고 하는 문제점도 있다.

본 발명의 목적은, 상술한 바와 같은 종래의 기술이 갖는 문제점을 해소할 수 있는 새로운 화상 추출 장치 및 방법, 화상 처리 장치 및 처리 방법 및 촬영 장치를 제공하는 데 있다.

본 발명의 다른 목적은, 촬영된 인물 화상을 트리밍에 의해 자동적으로 보기 좋은 사진으로 마무리할 수 있는 화상 추출 장치 및 방법, 화상 처리 장치 및 처리 방법 및 촬영 장치를 제공하는 데 있다.

본 발명에 관한 화상 처리 장치는, 인물의 화상으로부터 얼굴 영역을 추출하는 얼굴 영역 추출 수단과, 얼굴 영역 추출 수단에 의해 추출된 얼굴 영역을 기초로 하여 결정된 트리밍 범위에서 인물 화상의 트리밍을 행하는 트리밍 수단을 구비한다.

본 발명에 관한 화상 처리 방법은, 인물의 화상으로부터 얼굴 영역을 추출하는 얼굴 영역 추출 공정과 얼굴 영역 추출 수단에 의해 추출된 얼굴 영역을 기초로 하여 결정된 트리밍 범위에서 인물 화상의 트리밍을 행하는 트리밍 공정을 구비한다.

본 발명에 관한 촬영 장치는 인물을 촬영하는 촬영 수단과, 촬영된 화상으로부터 인물의 얼굴 영역을 추출하는 얼굴 영역 추출 수단과, 얼굴 영역 추출 수단에 의해 추출된 얼굴 영역이 인화지 내에서 소정 위치가 되도록 추출된 얼굴 영역을 기초로 하여 결정된 트리밍 범위에서 트리밍을 행하는 트리밍 수단을 갖는 화상 추출 수단을 구비한다.

본 발명에 관한 화상 처리 장치는, 인물의 화상으로부터 얼굴 영역을 추출하는 얼굴 영역 추출 수단과 얼굴 영역 추출 수단에 의해 추출된 얼굴 영역을 기초로 하여 결정된 트리밍 범위에서 인물 화상의 트리밍을 행하는 트리밍 수단을 구비한다.

본 발명에 관한 촬영 장치는 인물을 촬영하는 촬영 수단과, 촬영 수단에 의해 촬영된 인물의 화상으로부터 얼굴 영역을 추출하는 얼굴 영역 추출 수단과, 얼굴 영역 추출 수단에 의해 추출된 얼굴 영역을 기초로 하여 결정된 트리밍 범위에서 인물 화상의 트리밍을 행하는 트리밍 수단을 구비한다.

본 발명에 관한 화상 추출 장치 및 방법, 화상 처리 장치 및 처리 방법 및 촬영 장치에 있어서는, 촬영자는 카메라 위치를 바꾸는 일 없이, 또한 사진 부스에서는 피사체가 되는 사용자가 의자의 높이를 조정하는 일 없이 자동적으로 얼굴의 크기 및 위치가 최적으로 배치된 보기 좋은 사진을 얻을 수 있다.

본 발명의 또 다른 목적 및 본 발명에 의해 얻을 수 있는 구체적인 이점은, 이하에 있어서 도면을 참조하여 설명되는 실시 형태의 설명으로부터 한층 명백해질 것이다.

도1은 종래의 촬영 장치를 도시하는 측면도이다.

도2는 증명 사진에 있어서의 인물의 배치를 도시하는 개략도이다.

도3은 본 발명에 관한 촬영 장치를 정면측으로부터 본 사시도이다.

도4는 촬영 장치를 배면측으로부터 본 사시도이다.

도5는 촬영 장치의 내부를 투시하여 도시하는 평면도이다.

도6은 촬영실에 설치된 좌우 한 쌍의 조명 기구의 배치 상태를 도시하는 평면도이다.

도7은 촬영 장치를 정면측으로부터 본 도면이며, 커튼을 닫은 상태를 도시하는 정면도이다.

도8은 촬영 장치의 제어 회로를 나타내는 블럭 회로도이다.

도9는 제어 회로의 동작을 설명하는 흐름도이다.

도10은 본 발명에 관한 화상 추출 장치를 나타내는 블럭 회로도이다.

도11은 본 발명에 관한 화상 추출 장치를 구성하는 살색 영역 추출부를 나타내는 블럭 회로도이다.

도12는 본 발명에 관한 화상 추출 장치를 구성하는 얼굴 영역 추출부를 나타내는 블럭 회로도이다.

도13은 횡축에 좌표를 취하고 종축에 출현 빈도를 취하여, 출현 빈도를 나타내는 히스토그램과 클러스터와의 관계를 개략적으로 나타내는 그래프이다.

도14에서 (a)는 입력 화상을 나타내고, (b)는 클러스터 맵(C)을 나타내고, (c)는 영역 맵(R)을 나타내는 개략도이다.

도15는 본 발명에 관한 화상 추출부를 구성하는 살색 영역 추출부에 있어서 작성된 영역 맵(R)을 나타내는 도면이다.

도16은 살색 영역 추출부에 있어서 추출되는 직사각형 영역을 나타내는 도면이다.

도17은 살색 영역 추출부의 영역 분할부에서 분할되는 직사각형 영역을 나타내는 도면이다.

도18은 컬러 화상에 있어서의 인물의 정수리부를 검색할 때의 검색 범위를 도시하는 도면이다.

도19는 직사각형 영역의 수평 방향의 붉은 빛의 강도가 누적되어 생성된 히스토그램(Hrdsh)과 직사각형 영역과의 관계를 나타내는 도면이다.

도20은 인물의 눈, 입 및 턱의 위치 관계를 도시하는 정면도이다.

도21은 엣지를 구성하는 화소가 수평 방향으로 누적되어 생성된 히스토그램[ Hedge(y)]과 살색 영역에 대응하는 직사각형 영역과의 관계를 나타내는 도면이다.

도22는 살색 영역에 대응하는 직사각형 영역에 있어서의 입의 높이(HOM) 및 검색 범위(mtop, mbtm)를 나타내는 도면이다.

도23는 수정 후의 직사각형 영역의 꼭지점 좌표{(stx, sty), (edx, edy)}를 나타내는 도면이다.

도24의 (a) 내지 도24의 (c)는 증명 사진에 있어서 얼굴부(B)에 대한 상부 여백부(A) 및 흉부(C)의 치수 비율을 바꾸었을 때의 증명 사진을 도시하는 개략도 로서, 도24의 (b)는 본 발명의 실시예를 도시하는 도면이며, 도24의 (a) 및 도24의 (c)는 각각 제1 비교예 및 제2 비교예를 도시하는 도면이다.

도25의 (a) 및 도25의 (b)는 얼굴부(B)의 화상이 각각 작은 예 및 큰 예의 증명 사진을 도시하는 도면이다.

도26은 본 발명에 관한 화상 추출 장치의 트리밍부가 입력 컬러 화상으로부터 잘라내어지는 부분 화상을 도시하는 도면이다.

도27는 본 발명에 관한 화상 추출 방법을 나타내는 흐름도이다.

도28은 본 발명에 관한 화상 추출 방법의 각 공정을 도시하는 개략도이다.

도29는 본 발명에 관한 화상 추출 장치의 피사체 검출 방법을 나타내는 흐름도이다.

도30은 증명 사진에 있어서의 인물의 배치를 도시하는 도면이다.

도31는 본 발명에 관한 화상 처리 장치의 트리밍부에 의한 트리밍 범위와 화상 데이터와의 관계를 나타내는 도면이다.

도32는 화상 데이터에 인물이 2명 찍혀 있는 경우의 트리밍 범위를 설명하는 도면이다.

도33은 정수리부를 검출할 수 없었던 경우를 설명하는 도면이다.

도34는 본 발명에 관한 화상 처리 장치의 트리밍부의 처리의 흐름을 나타내는 흐름도이다.

도35는 본 발명에 관한 화상 처리 장치의 트리밍부의 처리의 흐름을 나타내는 도면이며, 도34에 이어지는 흐름도이다.

도36은 본 발명에 관한 화상 처리 장치의 트리밍부의 처리의 흐름을 나타내는 흐름도이다.

도37은 화상 데이터의 유효 영역을 설명하기 위한 도면이다.

이하, 본 발명을 적용한 구체적인 실시 형태에 대해 도면을 참조하면서 상세하게 설명한다. 본 실시 형태는 촬영된 화상으로부터 인물의 얼굴 영역인 얼굴부를 자동 검출하여 오토 트리밍하는 화상 추출 장치이며, 얼굴부, 흉부 및 상부 여백부의 비율을 규정함으로써 인물 화상을 균형있게 자동 배치하여, 자동적으로 보기 좋은 사진으로 마무리하기 위한 화상 추출 장치에 적용한 것이다.

도2는 증명 사진에 있어서의 인물의 배치를 도시하는 개략도이다. 도2에 도시한 바와 같이, 증명 사진(600)에 있어서 증명 사진의 최상단부(600a)로부터 인물 화상(601)의 정수리부(TOH)까지의 수직 방향의 길이(A)가 상부 여백부 치수를 나타낸다. 또한, 인물 화상(601)의 정수리부(TOH)로부터 턱(HOC)까지의 수직 방향의 길이(B)가 얼굴부 치수를 나타낸다. 또한, 인물 화상(601)의 턱(HOC)으로부터 증명 사진의 최하단부(600b)까지의 길이(C)가 흉부 치수를 나타낸다. 여기서 D(D ＝ A + B + C)는, 인화지에 있어서 증명 사진(600)이 인쇄된 영역(이하, 유효 영역이라 함)의 수직 방향의 길이를 나타낸다. 또한 E는, 유효 영역의 수평 방향의 길이를 나타낸다. 여기서 이 유효 영역(D × E)은, 인화지에 증명 사진이 인쇄되어 있지 않은 여백을 포함하는 경우, 이 여백을 제외한 영역을 나타낸다.

본 발명에 관한 화상 추출 장치는, 피사체의 얼굴 영역이 인화지에 있어서 본 발명 범위, 즉 얼굴부(B)의 치수를 기준으로 한 경우, 각부의 비율을

얼굴부(B) : 흉부(C) : 상부 여백부(A) ＝ 1 : 0.4 내지 0.8 : 0.1 내지 0.2

의 범위가 되도록 트리밍을 행하는 것이다.

여기서 본 발명에 관한 화상 추출 장치는, 증명 사진 장치 등의 사진 부스에 있어서 화상 처리로 얼굴부를 검출하여 오토 트리밍할 때에 사용된다. 여기서는, 우선 본 발명에 관한 화상 추출 장치를 이용한 사진 부스에 대해 설명한다.

본 발명에 관한 촬영 장치는, 도3 내지 도5에 도시한 바와 같이 병원 등에 설치되어 환자 등의 얼굴 사진을 촬영하기 위해 이용되는 사진 부스를 구성하는 것으로, 본체부를 구성하는 하우징(11)을 갖는다. 하우징(11)은 배면부(12)와, 이 배면부(12)의 양측에 위치하여 서로 대향하여 설치되는 한 쌍의 측벽(13, 14)과, 이들 측벽(13, 14) 사이의 상방측을 폐색하여 천정을 구성하는 천정판(15)을 갖고, 배면부(12)와 한 쌍의 측벽(13, 14)과 천정판(15)으로 구성되는 공간부를 촬영실(16)로 하고 있다.

피사체가 되는 인물이 촬영실(16)에 들어갔을 때, 인물이 바라보는 배면부(12)에는 그 내부에 피사체를 촬영하기 위한 촬영부(17), 촬영부(17)가 촬영한 화상을 인쇄하는 프린터(18, 19), 촬영부(17)의 출력인 화상 신호를 아날로그 신호로부터 디지털 신호로 변환하는 등의 화상 처리를 행하는 화상 처리 회로, 전체의 동작을 제어하는 제어 회로 등의 다양한 전기 회로가 조립된 메인 기판(21) 등이 내장되어 있다. 촬영부(17)는, CCD(Charge - Coupled Device) 또는 CMOS(Complementary Metal - Oxide Semiconductor device) 등의 촬영 소자를 갖는 화상 입력부(17a)와, 촬영실(16)의 피사체가 되는 인물과 마주보는 면에 설치되는 하프 미러(17b)와, 하프 미러(17b)를 투과한 빛을 반사하는 반사판(17c)을 갖는다. 하프 미러(17b)는, 피사체를 촬영할 때 하프 미러(17b)에서 피사체로부터의 빛을 소정량 반사시킴으로써 피사체가 되는 인물이 자신의 얼굴을 볼 수 있도록 하는 동시에, 나머지 빛을 투과시켜 화상 입력부(17a)가 피사체를 취입할 수 있도록 한다. 하프 미러(17b)를 투과한 빛은, 반사판(17c)에서 반사되어 화상 입력부(17a)로 유도되고, 이에 의해 화상 입력부(17a)는 피사체를 촬영한다. 화상 입력부(17a)로부터의 출력은, 메인 기판(21)의 화상 처리 회로에 출력되어 디지털 처리가 이루어지고, 이를 프린터(18 혹은 19)로 출력한다.

제1 프린터(18)는 통상 사용하는 메인 프린터이고, 제2 프린터(19)는 제1 프린터(18)가 고장났을 때 등에 사용되는 보조 프린터이다. 디지털 신호로 변환된 화상 데이터는, 제1 프린터(18) 혹은 제2 프린터(19)에 출력되고 프린터(18, 19)에 의해 인화지에 인쇄된다. 그 외에, 하우징(11)을 구성하는 배면부(12)에는 전원 스위치(20a), 금고(20b) 등이 내장되어 있다.

한 쌍의 측벽(13, 14)은 배면부(12)에 일체적으로 부착되어, 배면부(12)의 양측에 서로 대략 평행하게 설치되어 있다. 배면부(12)를 구성하는 외벽 및 한 쌍의 측벽(13, 14)은, 철판 등 비교적 비중이 무거운 재료로 형성함으로써 하우징(11)의 하측을 무겁게 하여, 안정적으로 설치면(2)에 설치할 수 있도록 형성되어 있다. 한 쪽 측벽(13)은 다른 쪽 측벽(14)의 폭보다 폭 좁게 형성되어 있다. 하우징(11)은 폭이 넓은 다른 쪽 측벽(14)이 벽에 따르도록 설치된다. 폭이 좁은 측이 되는 한 쪽 측벽(13)에는, 설치면(2)에 고정하기 위한 구름 이동 방지 부재(22)가 부착되어 있다. 구름 이동 방지 부재(22)는 한 쪽 측벽(13)을 설치면(2)에 나사 고정 등 함으로써, 하우징(11)이 한 쪽 측벽(13)으로부터 압박되었을 때에도 쓰러지지 않도록 되어 있다. 다른 쪽 측벽(14)은 한 쪽 측벽(13)보다 폭 넓게 형성됨으로써, 한 쪽 측벽(13)측으로부터 힘이 가해졌을 때에도 하우징(11)을 충분히 지지할 수 있다.

한 쌍의 측벽(13, 14) 사이에 부착되는 천정판(15)은 촬영실(16)의 천정을 구성하는 것으로, 길이 방향의 길이가 폭이 넓은 다른 쪽 측벽(14)의 폭과 대략 동일하거나 혹은 다른 쪽 측벽(14)의 폭보다 약간 길게 형성되어 있다. 여기서 천정판(15)은, 폴리프로필렌 등의 수지 재료(14)로 형성되어 있다. 즉, 천정판(15)은 측벽(13, 14)에 비해 비중이 가벼운 재료로 형성되어 있다. 하우징(11)은 측벽(13, 14)을 포함하는 주위면을 철판 등의 비교적 비중이 무거운 재료로 형성하고, 상측에 위치하는 천정판(15)을 비중이 비교적 가벼운 재료로 형성하여 하측이 무거워지도록 형성함으로써, 안정적으로 설치면(2)에 설치할 수 있다.

촬영실(16)은 이상과 같은 배면부(12)와 일체적으로 형성되는 한 쌍의 측벽(13, 14)과 천정판(15)으로 구성되고, 한 쪽 측벽(13)의 단부와 다른 쪽 측벽(14)의 단부 사이가 촬영실(16)의 입구(23)로 되어 있다. 즉, 피사체가 되는 인물은 하우징(11)의 전방면측으로부터 한 쪽 측벽(13)에 걸친 영역으로부터 촬영실(16)로 들어갈 수 있다. 하우징(11)은 바닥판이 설치되어 있지 않으므로, 설치면(2)이 직접 촬영실(16)의 바닥으로 되어 있고, 촬영실의 바닥은 설치면(2)과 동 일면으로 되어 있다. 따라서, 종래와 같이 촬영실(16)의 입구(23)에는 단차가 없어, 휠체어 등을 탄 환자도 휠체어 등을 탄 채로 촬영실(16)에 들어갈 수 있다.

여기서 촬영실(16)을 상세하게 설명하면, 촬영실(16)에는 도3에 도시한 바와 같이 폭이 넓은 측의 다른 쪽 측벽(14)에 회전 지지된 의자(24)가 설치되어 있다. 의자(24)에는 피사체가 되는 인물이 앉는다. 촬영실(16)에는 휠체어 등을 탄 환자도 입구(23)로 들어오는 경우가 있는데, 이 경우는 의자(24)가 방해가 된다. 그래서 의자(24)는, 폭이 넓은 측인 다른 쪽 측벽(14)을 따라 누일 수 있어, 촬영실(16)로부터 대피시킴으로써 휠체어의 환자가 촬영실(16)로 들어가는 것이 가능해진다. 의자(24)의 높이는, 휠체어의 앉는 부분과 거의 동일한 높이로 되어 있다. 촬영부(17)는 기구를 간소화하기 위해, 위치를 바꿀 수는 없게 고정되어 있다. 피사체가 되는 인물로는 휠체어를 탄 사람과 타고 있지 않은 사람이 있고, 그에 따라 얼굴의 높이는 다르다. 그래서 의자(24)는, 휠체어의 높이와 거의 동일하게 함으로써, 휠체어를 타고 있지 않은 사람이 의자(24)에 앉았을 때의 얼굴의 높이와 휠체어를 탄 사람의 얼굴의 높이가 대략 동일해지도록 하여, 촬영부(17)가 고정되어도 피사체가 되는 인물의 얼굴을 확실하게 촬영할 수 있도록 되어 있다. 또 의자(24)의 주변에는 받침대(25)가 설치되어 있어, 피사체가 되는 인물이 가방 등을 올려 둘 수 있다.

의자(24)에 앉거나 혹은 촬영실(16)에 들어간 휠체어를 탄 환자와 대향하는 제1 면(16a)은, 촬영부(17)를 구성하는 화상 입력부(17a)의 광축과 수직이 되도록 형성되어 있고, 이 면의 피사체가 되는 인물의 얼굴과 대향하는 위치에는 촬영부(17)를 구성하는 대략 직사각형의 하프 미러(17b)가 설치되어 있다. 하프 미러(17b)는, 의자(24)에 앉거나 혹은 휠체어에 앉아 있는 환자가 하프 미러(17b)로 자신의 얼굴을 보면서 촬영을 행할 수 있도록 배치되어 있다.

하프 미러(17b)가 설치된 제1 면(16a)과 좌우에 인접하는 제2 및 제3 면(16b, 16c)은, 서로 마주보는 방향으로 제1 면(16a)에 대해 경사지도록 설치되어 있다. 이들 제2 및 제3 면(16b, 16c)에는, 피사체가 되는 인물을 비추는 조명 기구(26, 27)가 설치되어 있다. 조명 기구(26, 27)는 발광체가 내장되어 있어, 촬영시에 점등됨으로써 플래시 촬영을 행할 수 있다. 조명 기구(26, 27)는, 종래 피사체의 정면 상방으로부터 빛을 조사하고 있었던 데 반해, 피사체의 좌우 경사 전방으로부터 빛을 피사체에 조사하도록 하여, 피사체 얼굴의 이마와 턱 사이, 즉 얼굴의 상하에서 조명차가 발생하지 않도록 하고, 또한 얼굴의 주름에 그림자가 발생하는 것을 방지하여 주름이 눈에 띄지 않도록 하고 있다.

그런데, 제2 면(16b)에 설치된 조명 기구(26)와 제3 면(16c)에 설치된 조명 기구(27)는, 도6에 도시한 바와 같이 화상 입력부(17a)의 광축(L)과 의자의 센터(O₁)를 연결하는 선과 조명 기구(26, 27)의 센터(O₂, O₃)와 의자(24)의 센터(O₁)를 연결하는 선이 이루는 각(θ₁, θ₂)을 갖도록 설치되어 있다. θ₁, θ₂는, 촬영시에 얼굴에 매끄러운 그림자가 생겨 안경에 조명의 반사가 없고 배경에 그림자가 나오기 어려운 각도로 설정되어, 예를 들어 30 °내지 70 °, 바람직하게는 50 °가 된다.

또한, 사진에 찍혀 나온 얼굴은 일반적으로 좌우에서 조명차가 있었던 쪽이 보는 사람에게 잘 보이는 것이다. 그래서, 조명 장치(26, 27)는 조명차가 발생되도록 피사체를 조사하도록 하고 있다. 예를 들어, 조명 기구(26, 27)는 조명차가 예를 들어 1 : 1.5 내지 1 : 3, 바람직하게는 1 : 2가 되도록 피사체를 조사한다. 또, 빛을 강하게 하는 쪽의 조명 기구는 어느 것이라도 좋다. 이에 의해, 사진은 부드러운 그림자가 형성되어, 평면적이지 않고 입체적으로 피사체를 찍어 낼 수 있다. 또 본 촬영 장치(1)에서는, 촬영부(17)의 화상 입력부(17a)에 CCD를 이용하고 있다. CCD는, 은염 필름을 이용하는 카메라(은염 카메라)에 비해 래티튜드(latitude)가 좁다. 그래서, 이 조명차는 은염 카메라에 비해 비가 작아지도록 설정된다.

또한, 촬영실(16)에는 조명 기구(26, 27) 외에, 피사체를 하측으로부터 조사하는 조명 기구(28)가 설치되어 있다. 이 조명 기구(28)는, 제1 면(16a)이며 하프 미러(17b)의 하측에 촬영실(16)측으로 돌출하여 형성된 돌출부(28a)의 상측의 면(28b)에 설치되고, 조사 방향이 경사 상방이 되도록 설치되어 있다.

또한 촬영실(16)에는. 도3 내지 도5에 도시한 바와 같이 파사체의 정면측이며, 한 쪽 측벽(13)측에 조작부를 구성하는 요금 투입부(29)가 설치되어 있다. 요금 투입부(29)는, 코인을 투구하는 코인 투입부(29a)와 지폐를 투입하는 지폐 투입부(29b)로 이루어지고, 이들 투입부(29a, 29b)는 사람이 의자(24)에 앉았을 때 손으로 요금을 투입하기 쉬운 높이에 설치되어 있다. 의자(24)는, 상술한 바와 같이 휠체어의 높이에 맞추어 설치되어 있으므로, 휠체어를 탄 사람도 쉽게 요금 투입부(29)에 요금을 투입할 수 있다. 또, 본 예에서는 조작부로서 요금 투입부(29)가 설치될 뿐이지만, 그 외에 촬영을 개시하는 촬영 개시 버튼, 촬영한 화상을 프린터(18, 19)로 인쇄하기 전에 확인하는 확인 버튼 등을 설치하도록 해도 좋고, 이 경우 이들 버튼도 피사체의 정면측이며 한 쪽 측벽(13)측에 설치된다.

돌출부(28a)의 하측에는, 피사체가 되는 사람의 촬영 위치를 위치 결정하기 위한 위치 결정 오목부(31)가 마련되어 있다. 이 위치 결정 오목부(31)가 마련되는 위치는, 의자(24) 또는 휠체어에 앉은 사람의 무릎을 받칠 수 있는 높이에 설치되어 있다. 촬영을 할 때, 피사체가 되는 사람은 의자(24)에 앉거나 또는 촬영실(16)에 휠체어로 입구(23)로부터 들어와, 무릎을 위치 결정 오목부(31)에 결합시킴으로써 쉽게 촬영 위치를 위치 결정할 수 있다. 즉 피사체가 되는 사람은, 무릎을 위치 결정 오목부(31)에 결합시킴으로써 하프 미러(17b)에 대해 정면을 향하게 된다.

촬영실(16)에는, 이 촬영실(16)에 피사체가 들어갔는지 여부를 검출하는 피사체 검출부(32)가 설치되어 있다. 피사체 검출부(32)는, 천정판(15)의 의자(24) 상에 설치되어 피사체가 촬영 위치에 있는 것을 검출할 수 있게 되어 있다. 피사체 검출부(32)는, 피사체를 검출하면 이 검출 신호를 메인 기판(21)의 제어 회로에 출력하여, 대기 모드로부터 사진 촬영 모드로 절환한다.

피사체 검출부(32)는, 상술한 위치 결정 오목부(31) 내에 설치하도록 해도 좋다. 천정판(15)에 피사체 검출부(32)를 설치하였을 때에는, 예를 들어 피사체가 되는 사람이 촬영실(16) 내에 서있을 때 등 실제로는 촬영 위치에 있지 않을 때에 도 피사체를 검출해 버리지만, 피사체 검출부(32)를 위치 결정 오목부(31) 내에 설치하였을 때에는, 무릎이 위치 결정 오목부(31)에 결합하지 않는 한 피사체를 검출할 수 없으므로, 확실하게 촬영 위치에 있는 피사체를 검출할 수 있다.

천정판(15)의 입구(23)측에 위치하는 부분에는 도시하지 않은 커튼 레일이나 훅이 설치되어 있고, 이 커튼 레일이나 훅에는 차광 부재가 되는 커튼(33)이 늘어뜨려져 있어 입구(23)를 개폐 가능하게 하고 있다. 이 커튼(33)은 차광성의 것으로, 촬영시에 외광이 촬영실(16) 내에 들어가지 않도록 하고 있다. 이 커튼(33)은, 도7에 도시한 바와 같이 촬영실(16)로 출입할 때에는 간단히 이동시켜 쉽게 들어갈 수 있다. 커튼(33)을 훅에 고정시켰을 때에는, 정면 입구의 커튼(33)에 슬릿(33a)을 설치함으로써 들어가기 쉬워진다. 커튼(33)의 촬영실(16)측의 면이며 피사체의 배후가 되는 영역은, 사진의 배경이 되는 영역이다. 이로 인해, 슬릿(33a)은 사진의 배경이 되는 영역을 제외한 영역에 설치되어 있다.

또, 차광 부재로서 커튼(33) 외에 플레이트 등을 이용하도록 해도 좋다.

입구(23)를 구성하는 폭이 좁은 측의 측벽(13)의 단부의 대략 중앙 영역에는, 도3에 도시한 바와 같이 수직 방향으로 제1 난간(34)이 설치되어 있고, 목발을 짚은 환자나, 휠체어를 탄 환자 등의 신체 장애자가 입구(23)로부터 촬영실(16) 내로 들어가기 쉽도록 구성되어 있다. 또한, 입구(23)를 구성하는 폭이 넓은 측의 다른 쪽 측벽(14)의 단부 상방에는 수직 방향으로 제2 난간(35)이 설치되어, 예를 들어 목발을 짚은 환자가 입구(23)로부터 촬영실(16) 내로 들어가기 쉽게 되어 있다. 또한, 다른 쪽 측벽(14)이며 조작부를 구성하는 요금 투입부(29)와 대략 동일 한 높이에는 수평 방향으로 제3 난간(36)이 설치되어, 예를 들어 의자에 앉은 피사체가 되는 사람이나 휠체어를 탄 사람이 촬영 위치의 조정을 쉽게 행할 수 있도록 구성되어 있다.

또, 폭이 좁은 측의 한 쪽 측벽(13)에는 외면측에 프린터(18, 19)로 인쇄된 사진이 배출되는 사진 배출구(38)가 설치되어 있다.

다음에, 배면부(12)에 내장된 메인 기판(21) 등에 조립된 제어 회로에 대해 도8을 참조하여 설명하면, 이 제어 회로(70)는 장치의 동작에 필요한 프로그램이 기억되는 ROM(Read - 0nly Memory)(71)과, 장치의 동작에 필요한 어플리케이션 프로그램 및 후술하는 화상 추출 처리를 행하는 프로그램 등이 기억되는 하드 디스크 등으로 이루어지는 프로그램 기억부(72)와, ROM(71)이나 프로그램 기억부(72)에 보존되어 있는 프로그램이 로드되는 RAM(Random - Access Memory)(73)과, 요금 투입부(29)로부터 투입된 금액 등을 판단하여 과금 처리를 행하는 과금 처리부(74)와, 음성을 출력하는 음성 출력부(75)와, 음성 데이터를 가청음으로서 출력하는 스피커(76)와, 외부 기억 장치가 장착되는 드라이브(77)와, 전체의 동작을 제어하는 CPU(Central Processing Unit)(78)를 구비하고, 이들은 버스(79)를 거쳐서 접속되어 있다. 또한, 이 버스(79)에는 촬영부(17)를 구성하는 화상 입력부(17a), 조명 기구(26, 27, 28), 촬영실(16)에 피사체가 들어갔는지 여부를 검출하는 피사체 검출부(32), 의자(24)가 대기 위치에 있는 것을 검출하는 검출부(59) 등이 접속되어 있다.

다음에, 도9를 참조하여 촬영 장치(1)의 동작을 설명한다. 스텝 S1에 있어 서 CPU(78)는, 의자(24)가 대피 위치에 있는지 여부, 즉 의자(24)가 다른 쪽 측벽(14)과 대략 평행한 상태가 되어 있어 휠체어가 촬영실(16)로 진입 가능한 상태에 있는지 여부를 판단한다. CPU(78)는 의자(24)가 대피 위치에 없다고, 즉 촬영실(16)에 설치된 상태에 있다고 판단하였을 때 스텝 S2로 진행하여 통상 모드, 즉 피사체가 되는 사람이 의자(24)에 앉아 촬영하는 모드로 옮긴다. 또한, CPU(78)는 의자(24)가 대피 위치에 있다고 판단하였을 때 스텝 S9로 진행하여, 휠체어 전용 모드로 옮긴다. 휠체어 전용 모드는, 휠체어를 탄 사람은 휠체어를 타고 있지 않은 사람에 비해 촬영 위치의 위치 결정 등에 시간이 걸리므로, 촬영까지의 시간이 길어진다.

통상의 모드일 때, 스텝 S2에 있어서 CPU(78)는 사용자가 촬영 위치에 도착하였는지 여부를 판단한다. 즉, 피사체 검출부(32)는 적외선 센서 등으로 구성되어 있어, 피사체가 되는 사람이 의자(24)에 앉아 무릎을 위치 결정 오목부(31)에 결합된 촬영 위치에 붙이고 있는지를 검출한다. CPU(78)는 피사체 검출부(32)가 촬영 위치에 앉아 있는 것을 검출하였을 때 스텝 S3으로 진행하고, 검출하지 못했을 때 스텝 S2를 반복한다.

스텝 S3에 있어서, CPU(78)는 음성 출력부(75)를 거쳐서 요금을 요금 투입부(29)에 투입하도록 방송한다. 즉, 음성 출력부(75)는 「요금을 넣어 주세요. 」 등의 메시지를 스피커(76)에서 가청음으로 출력한다.

이를 받아 피사체가 되는 사람은, 요금 투입부(29)로 필요한 판금을 투입한다. 이 때, 요금 투입부(29)는 비교적 손에 닿기 쉬운 위치에 설치되어 있으므로, 피사체가 되는 사람은 의자(24) 혹은 휠체어에 앉은 상태에서 쉽게 요금을 요금 투입부(29)에 투입할 수 있다. 또한, 요금 투입부(29)는 한 쪽 측벽(13)측에 설치되어 있으므로, 보호자도 입구(23)로부터 손을 뻗어 쉽게 요금 투입부(29)에 요금을 투입할 수 있다.

스텝 S4에 있어서, CPU(78)는 요금 투입부(29)로부터 소정 금액이 투입되었는지 여부를 판단한다. 구체적으로, 과금 처리부(74)는 요금 투입부(29)에 투입된 금액을 판단하여, 부족할 때에는 금액의 추가를 요구하고, 많을 때에는 거스름돈을 산출하여 반환한다. 과금 처리부(74)는, 과금이 완료된 것을 CPU(78)에 출력하고, 이에 의해 CPU(78)는 과금 처리가 종료되었는지 여부를 판단한다. CPU(78)는 과금 처리가 종료되지 않았을 때 스텝 S3으로 되돌아가, 다시 요금을 투입하도록 재방송한다.

스텝 S5에 있어서, CPU(78)는 음성 출력부(75)를 거쳐서 사진 촬영을 개시하는 취지를 방송한다. 예를 들어, 음성 출력부(75)는 「지금부터 사진 촬영을 시작하겠습니다.」 등의 메시지를 스피커(76)에서 가청음으로 출력한다.

소정 시간이 경과하면, CPU(78)는 스텝 S6에 있어서 피사체의 촬영을 행한다. CPU(78)는, 화상 입력부(17a)를 구동하면 이 화상 입력부(17a)는 취입한 빛을 광전 변환하여 출력한다. 이 때, 조명 기구(26, 27, 28)는 발광체를 발광한다. 조명 기구(26, 27)는, 피사체의 좌우 경사 전방으로부터 피사체에 빛을 조사하도록 함으로써 피사체 얼굴의 이마와 턱 사이, 즉 얼굴의 상하에서 조명차가 발생하지 않도록 하여, 또한 얼굴의 주름에 그림자가 발생하지 않도록 사진을 찍는 것이 가 능해진다. 또, 조명 기구(26, 27)는 좌우에서 조명차를 발생시켜 발광하므로, 원만한 그림자를 갖는 입체적인 사진을 찍는 것이 가능해진다.

스텝 S7에 있어서, CPU(78)는 음성 출력부(75)를 거쳐서 사진 촬영이 종료된 취지를 방송한다. 예를 들어, 음성 출력부(75)는 「사진 촬영을 종료하였습니다.」 등의 메시지를 스피커(76)에서 가청음으로 출력한다.

스텝 S8에 있어서, CPU(78)는 화상 입력부(17a)의 데이터를 제1 프린터(18) 또는 제2 프린터(19)에 출력하고, 제1 프린터(18) 또는 제2 프린터(19)는 입력된 데이터를 기초로 하여 인화지에 인쇄를 한다. 그리고, 제1 프린터(18) 또는 제2 프린터(19)는 화상을 인쇄한 인화지를 사진 배출구(38)로 배출한다.

또 CPU(78)는, 스텝 S1에 있어서 의자(24)가 대피 위치에 있다고 판단하였을 때, 휠체어 전용 모드가 되어 스텝 S9로부터 스텝 S14까지의 처리를 행한다. 스텝 S9로부터 스텝 S14까지의 처리는, 상술한 스텝 S2로부터 스텝 S6까지의 처리와 대략 동일하므로 생략한다. 단, 스텝 S13은 스텝 S12의 촬영 개시의 방송으로부터 사진 촬영을 개시할 때까지의 시간이 스텝 S6의 경우보다 길어진다. 이는, 휠체어를 탄 사람은 휠체어를 타고 있지 않은 사람과 비교하여 사진 촬영의 준비에 시간을 필요로 하기 때문이다.

또한, 스텝 S1에 있어서 의자(24)가 사용되어 대피 위치에 없는 경우, 즉 의자(24)가 촬영실(16)에 펼펴져 있는 경우, 의자 부착 부재(41)와 의자 지지 부재(44)를 접속하는 링크 부재(도시하지 않음)는, 설치면(2)에 대해 대략 수직인 상태로 되어 있어 의자(24)를 지지한 상태에 있다. 이러한 경우에, 촬영실(16)에 휠체어를 탄 환자 등이 들어가기 위해 의자(24)를 치울 필요가 있을 때에는, 환자가 손잡이(24a)를 사용하여 의자(24)가 회전 조작된다. 의자(24)를 다른 쪽 측벽(14)측으로 회전 조작하면, 지지축(도시하지 않음)을 거쳐서 의자 부착 부재(41)와 회전 가능하게 부착되어 있는 의자 지지 부재(44)가 회전한다. 그리고, 의자(24)를 다른 쪽 측벽(14)과 대략 평행하게 이루어질 때까지 회전 조작하면, 의자(24)는 다른 쪽 측벽(14)에 설치된 대피 위치에 의자(24)를 보유 유지하기 위한 보유 지지 기구(도시하지 않음)에 의해 보유 지지된다. 이에 의해, 의자(24)는 다른 쪽 측벽(14)과 대략 평행한 대피 위치에 보유 지지된다.

보유 지지 기구는 다른 쪽 측벽(14)에 일체적으로 설치된 지지 부재에 보유 지지 부재가 부착되고, 이 유지 부재는 중도부에서 지지축에 의해 지지 부재에 회전 가능하게 지지되어 있다. 그리고, 보유 지지 부재의 일단부측에 의자(24)를 계지하는 계지 돌기부가 설치되고, 타단부측에 의자(24)가 대기 위치에 있는 것을 검출하는 도7에 도시하는 검출부(59)를 압박하는 압박부가 설치되어 있고, 보유 지지 부재의 압박부가 검출부(59)를 가압함으로써, 검출부(59)는 의자(24)가 대피 위치에 있는 것을 검출할 수 있다.

또한, 드라이브(77)에는 기록 가능한 추기형 혹은 재기록형의 광디스크, 광자기 디스크, 자기 디스크, IC 카드 등의 림벌 기록 매체(80)를 장착할 수 있다. 이들 림벌 기록 매체(80)에는, 예를 들어 촬영부(17)에서 촬영한 피사체의 화상 데이터가 보존된다. 림벌 기록 매체(80)에 보존된 화상 데이터는, 예를 들어 다른 정보 처리 장치를 이용하여 판독하고, 전자 카르테 등의 환자의 얼굴 사진으로서 이용할 수 있다. 이 환자의 화상 데이터는, 림벌 기록 매체(80)를 이용하는 것 외에 LAN(Local Area Network) 등의 네트워크에 접속된 송수신부를 거쳐서 다른 정보 처리 장치에 송신하도록 해도 좋다. 또한, 이 드라이브(77)는 ROM형의 광디스크 등의 림벌 기록 매체(80)를 장착하여, 본 발명에 관한 촬영 장치(1)를 동작시키는 데 필요한 어플리케이션 프로그램 기억부(72)에 인스톨하는 데 이용하도록 해도 좋다. 물론, 프로그램 기억부(72) 등에 인스톨하는 프로그램은, 송수신부를 거쳐서 다운로드하여 인스톨하도록 해도 좋다.

이상과 같이 구성된 본 발명에 관한 촬영 장치(1)는, 촬영실의 바닥이 설치면(2)과 동일면으로 되어 있으므로 단차가 없어, 휠체어 등을 탄 환자도 휠체어 등을 탄 상태에서 촬영실(16)에 들어갈 수 있다. 이 촬영 장치(1)는 병원 등에 설치되는 것으로, 건강한 사람뿐만 아니라 휠체어를 탄 사람이나 목발을 짚은 사람이 이용하기 때문에, 예를 들어 입구(23)로부터 촬영실(16)로 들어갈 때에 한 쪽 측벽(13) 등에 닿아 버리는 경우가 있지만, 이 촬영 장치(1)는 다른 쪽 측벽(14)을 한 쪽 측벽(13)보다 길게 형성하여 한 쪽 측벽(13)을 전도 방지 부재(22)로 설치면(2)에 고정하고, 또는 천정판(15)을 측벽(13, 14)보다 비중이 가벼운 재료로 형성하여 무게 중심이 하방에 오도록 조립되어 있으므로, 이용자가 촬영실(16)에 들어갈 때에 부딪혀 충격이 가해졌을 때에도 설치 위치가 어긋나거나 전도되는 것을 확실하게 방지할 수 있다. 또한, 촬영실(16)에 들어갈 때에는 제1 내지 제3 난간(34 내지 36)을 사용할 수 있으므로, 촬영실(16)에 들어가는 작업을 쉽게 행할 수 있는 동시에 촬영 위치의 위치 결정도 쉽게 행할 수 있다.

이 촬영 장치(1)에서는 의자(24)를 촬영실(16)로부터 대피시킬 수 있다. 따라서, 휠체어를 탄 환자는 의자(24)를 절첩함으로써 휠체어를 탄 상태에서 촬영실(16)로 들어갈 수 있다. 이 의자(24)는, 촬영실(16)에 설치되어 있을 때 의자 지지 부재(44)로 확실하게 지지되어, 환자 등의 피사체는 안정된 상태로 의자(24)에 앉을 수 있다. 또한 이 의자는, 절첩할 때 손잡이(24a)가 짧은 측의 한 쪽 측벽(13)측에 설치됨으로써 손잡이(24a)가 입구(23)측에 위치하여, 휠체어를 탄 환자나 이를 보호하는 보호자가 쉽게 의자(24)를 회전 조작하여 절첩할 수 있다. 또, 요금을 지불할 때에 있어서, 요금 투입부(29)는 한 쪽 측벽(13)측, 즉 입구(23) 근처에 설치되어 있으므로, 보호자가 손을 뻗는 것만으로 쉽게 요금을 요금 투입부(29)에 투입할 수 있다.

또 촬영시에 있어서, 촬영 장치(1)는 조명 기구(26, 27)가 피사체의 좌우 경사 전방으로부터 빛을 피사체에 조사함으로써, 피사체의 얼굴의 이마와 턱 사이, 즉 얼굴의 상하에서 조명차가 발생하지 않도록 하여, 또한 조명 기구(26, 27)는 얼굴의 주름에 그림자를 생기기 어렵게 할 수 있다. 또한, 좌우 조명에 조명차를 생기게 함으로써, 사진에 원만한 그림자를 형성하여 입체적으로 피사체를 찍어낼 수 있다.

또한 촬영 장치(1)는, 의자(24)가 회전 조작되어 다른 쪽 측벽(14)과 대략 평행한 상태가 되어 촬영실(16)로부터 대피시킬 수 있음으로써, 휠체어 전용 모드가 되어 촬영 개시의 방송으로부터 촬영까지의 시간을 길게 한다. 이에 의해 휠체어를 탄 사람은, 통상 휠체어를 타고 있지 않은 사람에 비해 사진 촬영의 준비에 시간을 요하지만, 여유를 갖고 사진 촬영의 준비를 할 수 있다.

다음에, 상술한 촬영 장치에 설치되는 화상 추출 장치에 대해 설명한다.

본 발명에 관한 화상 추출 장치는, 상술한 제어 회로(70) 내의 프로그램 기억부(72)에 기억된 프로그램에 의해, 촬영된 입력 화상으로부터 인물의 얼굴 영역을 추출하여 트리밍을 행하는 처리를 실행하는 것이다. 도10은 본 발명에 관한 화상 추출 장치를 나타내는 블럭도이다.

도10에 나타낸 바와 같이, 화상 추출 장치(100)는 상술한 촬영부(17)로부터 인물이 촬영된 컬러 화상이 입력되어 디지털 데이터로서 출력하는 화상 입력부(101)와, 화상 데이터가 입력되어 살색 영역을 검출하는 살색 영역 추출부(200)와, 검출된 살색 영역으로부터 피사체의 검출을 행하는 피사체 검출부(300)와, 검출된 피사체의 트리밍을 행하는 트리밍부(400)로 구성된다. 살색 영역 추출부(200) 및 피사체 검출부(300)는, 입력 화상으로부터 인물의 얼굴 영역을 추출하는 얼굴 영역 추출 수단을 구성하고 있다.

살색 영역 추출부(200)는, 도11에 도시한 바와 같이 화상 입력부(101)로부터의 컬러 화상의 각 화소치를 색 공간 상의 좌표값으로 변환하는 색 변환부인 표색계 변환부(212)와, 이 색 공간 상에 변환된 좌표치의 출현 빈도를 나타내는 히스토그램을 생성하는 히스토그램 생성부(213)와, 이 히스토그램에 있어서의 출현 빈도의 극대점 및 그 근방의 화소를 초기 클러스터로서 추출하는 초기 클러스터 추출부(214)와, 초기 클러스터 추출부(214)에서 추출된 초기 클러스터 및 화상 입력부(101)로부터 보내지는 컬러 화상으로부터 상기 초기 클러스터를 포함하는 폐쇄 영역을 추출하는 초기 영역 추출부(215)와, 이 초기 영역 내에 복수의 초기 클러스터가 추출되어 있는 경우에 초기 클러스터를 하나의 클러스터로서 통합하는 클러스터 통합부(216)와, 이 초기 영역 내의 화소의 분포 상태에 따라서 이 초기 영역을 복수의 영역으로 분할하는 영역 분할부(217)와, 인간의 피부색에 대응하는 클러스터에 속하는 화소가 포함되는 영역을 추출하는 영역 추출부(218)로 구성되어, 추출한 살색 영역을 피사체 검출부(300)에 공급한다.

피사체 검출부(300)는, 도12에 도시한 바와 같이 화상 입력부(101) 및 살색 영역 추출부(200)로부터 각각 컬러 화상 및 살색 영역이 입력되어 인물의 정수리부를 검출하는 정수리부 검출부(313)와, 살색 영역 및 컬러 화상이 입력되어 인물의 입을 검출하는 입 검출부(314)와, 컬러 화상, 살색 영역 및 정수리부 및 입의 데이터가 입력되어 인물의 눈을 검출하는 눈 검출부(315)와, 눈 및 입의 데이터로부터 인물의 턱 위치를 산출하는 턱 검출부(316)와, 컬러 화상 및 입 및 눈의 데이터가 입력되어 인물의 얼굴의 중심선을 검출하는 중심선 검출부(317)와, 정수리부, 눈, 턱 및 얼굴의 중심선의 데이터가 입력되어 얼굴 영역을 수정하는 영역 수정부(318)와, 컬러 화상과 살색 영역, 눈, 입 및 영역 수정부(318)로부터의 수정 데이터가 입력되어 추출된 살색 영역(V)이 인물의 얼굴인지 여부를 판정하는 판정부(319)로 구성되고, 얼굴이라 판정된 살색 영역을 트리밍부(400)에 공급한다.

또, 살색 영역 추출부(200) 및 피사체 검출부(300)에 있어서 복수의 영역이 얼굴이라 판정된 경우, 이들 중으로부터 대상이 되는 영역을 1개 선택해도 좋다. 예를 들어, 촬영된 화상에 복수의 인물이 존재하고 있을 가능성이 있는 경우, 촬영시의 지시 등에 의해 입력 화상에 있어서 트리밍의 대상이 되는 인물의 얼굴이 가장 화상 중앙에 가까운 위치에 존재하는 것을 기대할 수 있는 경우에는, 추출된 얼굴 영역의 중심이 화상 중앙에 가장 가까운 것을 선택한다. 또, 예를 들어 아이의 얼굴을 촬영하기 위해 부모가 그 아이를 안아 촬영한 경우, 트리밍의 대상이 되는 아이의 얼굴 영역은 추출된 얼굴의 영역 중에서 가장 하부에 위치할 것이라 생각되므로, 얼굴 영역 중 중심이 가장 하부에 위치하는 것을 선택하도록 할 수 있다.

이들 대상 영역 선택의 방법은, 이용 형태를 고려하여 미리 설정해 두는 것 외에, 예를 들어 인터페이스(도시하지 않음)를 설치함으로써 촬영자 또는 피촬영자를 수동으로 설정할 수 있도록 하는 것 등도 가능하다.

트리밍부(400)는 피사체 검출부(300)로부터 공급되는 피사체의 얼굴 영역(얼굴부)이 인화지에 있어서의 사진이 인쇄되는 영역인 유효 영역에 있어서, 본 발명의 범위가 되도록 트리밍을 행한다. 상술한 바와 같은 사진 부스에 있어서, 화상 처리로 얼굴부를 검출하여 오토 트리밍할 때, 인화지에 어떻게 인물 화상을 배치할지가 중요해진다. 즉, 화면(인화지의 유효 영역) 최상단부로부터 인물의 정수리부까지를 상부 여백부, 인물의 정수리부로부터 턱까지를 얼굴부, 인물의 턱으로부터 화면(인화지의 유효 영역) 최하단부까지를 흉부라 하였을 때, 이들 상부 여백부, 얼굴부 및 흉부의 치수 비율을 본 발명 범위, 즉 얼굴부 : 흉부 : 상부 여백부 ＝ 1 : 0.4 내지 0.8 : 0.1 내지 0.26이 되도록 화상을 트리밍함으로써, 보기 좋고 안정된 증명 사진을 얻을 수 있다.

이하, 본 발명에 관한 화상 추출 장치의 각부에 대해 상세하게 설명한다.

(1) 살색 영역 추출부

살색 영역 추출부(200)에 있어서는, 우선 입력된 컬러 화상의 표색계를 변환하여 색 공간 상의 좌표값으로 변환한다(색 변환 공정). 다음에, 이 색 공간 상의 좌표치의 출현 빈도를 나타내는 히스토그램을 생성한다(히스토그램 생성 공정). 이 히스토그램에 있어서의 출현 빈도의 극대점 및 그 극대점 근방의 화소를 초기 클러스터로서 추출하여, 이 초기 클러스터의 색 공간 상의 분포를 나타내는 클러스터 맵(C)을 생성한다(초기 클러스터 추출 공정). 각 초기 클러스터에는, 이들을 식별하는 클러스터 번호(n)가 설정된다. 계속해서, 클러스터 맵(C) 상의 각 초기 클러스터를 다시, 원래의 컬러 화상 상의 좌표치로 변환한 영역 맵(R)을 형성한다. 영역 맵(R) 상의 각 화소는, 좌표치와 함께 클러스터 번호(n)를 갖는다. 이 영역 맵(R) 상에서 동일한 초기 클러스터에 속하는 화소, 즉 동일한 클러스터 번호(n)를 갖는 화소의 밀도 분포가 소정의 임계치 이상인 직사각형의 폐쇄 영역을 초기 영역으로서 추출한다(초기 영역 추출 공정). 다음에, 임의의 2개의 초기 클러스터를 선택하여 이 2개의 초기 클러스터가 클러스터 맵(C) 상에 있어서 근접하고, 또한 영역 맵(R) 상에 있어서 근접하는 직사각형 영역에 속하는 것인 경우, 이 2개의 초기 클러스터를 통합한다(클러스터 통합 공정). 초기 클러스터를 통합한 통합 클러스터를 기초로 하여 영역 맵(R)을 갱신하고, 이 갱신한 영역 맵을 기초로 하여 직사각형 영역도 재설정한다. 다음에, 재설정한 직사각형 영역 내에 있어서의 동일한 클러스터 번호(n)를 갖는 화소의 밀도 분포를 산출하여, 이 밀도 분포를 기초로 하여 필요에 따라서 직사각형 영역을 분할한다(영역 분할 공정). 이렇게 하여, 입 력 컬러 화상에 있어서 동일한 색을 갖는 복수의 직사각형 영역이 설정된다. 이들 직사각형 영역으로부터 특정한 색, 즉 본 발명에 있어서는 살색을 갖는 직사각형 영역을 추출한다. 이하, 각 공정에 대해 설명한다.

(1 - 1) 색 변환 공정

색 변환 공정에서는, 표색계 변환부(212)에 의해 화상 입력부(101)에서 얻어진 화상 데이터를 원하는 영역을 추출하기 위해 적절한 표색계로 변환한다. 과검출을 가능한 한 경감하기 위해서는, 변환 후의 표색계는 그 표색계에 의한 색 공간에 있어서 추출해야 할 영역의 색이 가능한 한 좁은 범위에 분포하는 것을 선택하는 것이 바람직하다. 이는, 추출해야 할 영역의 성질에 의존하지만, 예를 들어 본 실시 형태와 같이 인물의 얼굴 영역을 추출 대상으로 하는 경우에 효과적인 표색계의 하나로서, 하기 수학식 1에 나타내는 r - g 표색계가 알려져 있다.

여기서 R, G, B는 RGB 표색계의 각 좌표치를 나타내고 있다. 따라서, 화상 입력부(101)의 출력 화상이 RGB 표색계에서 나타나 있는 경우, 표색계 변환부(212)에서는 각 화소마다 상기 수학식 1의 연산이 행해져 좌표치(r, g)의 값이 산출된다. 이리하여 표색계가 변환된 화상 데이터는, 히스토그램 생성부(213)로 보내진 다.

또 이하의 설명에서는, 이 r - g 표색계를 영역 추출에 이용하는 경우를 예로 들어 설명을 행한다. 또한, 특히 입력 컬러 화상 상의 위치(좌표)(x, y)에 있어서의 값을 나타내는 경우에는, {r(x, y), g(x, y)}라 표현한다.

(1 - 2) 히스토그램 생성 공정

히스토그램 생성 공정에서는, 히스토그램 생성부(213)에 의해 표색계 변환부(12)에 의해 표색계가 변환된 데이터{r(x, y), g(x, y)}의 색 공간 상에 있어서의 출현 빈도를 나타내는 2차원 히스토그램을 생성한다. 히스토그램의 생성은, 추출해야 할 영역의 색이 충분히 포함되는 색의 범위에 대해서만 행해진다. 이러한 색의 범위는, 예를 들어 r 및 g의 각 값에 대한 하한치 및 상한치를 정함으로써 하기 수학식 2와 같이 나타낼 수 있다.

여기서, r min 및 r max는 각각 r의 하한치 및 상한치, g min 및 g max는 각각 g의 하한치 및 상한치를 나타낸다.

화상 상의 위치(x, y)에 있어서의 {r(x, y), g(x, y)}가 상기 수학식 2의 조건을 만족하는 경우, 우선 이들 값이 하기 수학식 3에 의해 양자화되어 히스토그램 상의 좌표(ir, ig)로 변환된다.

여기서, r step 및 g step은 각각 r 및 g에 대한 양자화 스텝이고, int는 괄호 내의 수치의 소수점 이하를 끊어 버리는 연산을 나타낸다.

다음에, 산출된 좌표치에 대응하는 히스토그램의 값을 하기 수학식 4에 의해 인크리먼트함으로써, 좌표치의 출현 빈도를 나타내는 2차원 히스토그램(H)이 생성된다.

도13은 간단하므로, 본래 2차원인 히스토그램을 1차원으로 한 히스토그램과 추출된 초기 클러스터와의 관계를 모식적으로 나타내는 것이다. 도13에 나타낸 바와 같이, 출현 빈도는 컬러 화상 상의 예를 들어 살색 등의 각 색 영역의 크기에 따라서 크기가 다른 복수개의 극대치를 갖는다.

생성된 히스토그램(H)은, 예를 들어 노이즈를 제거하고 오검출을 방지하기 위해 필요에 따라서 로우패스 필터에 의해 평활화된 후, 초기 클러스터 추출부(214)로 보내진다.

(1 - 3) 초기 클러스터 생성 공정

초기 클러스터 생성 공정에서는, 초기 클러스터 추출부(214)에 의해 히스토그램 생성부(213)에 의해 생성된 각 좌표치의 출현 빈도를 나타내는 2차원 히스토그램(H)으로부터 분포가 집중되어 있는 색의 좌표의 집합을 초기 클러스터로서 추출한다. 구체적으로는, 상술한 r - g 표색계의 좌표치에 있어서의 출현 빈도의 극대치 및 그 근방에 존재하는 화소군을 하나의 초기 클러스터로서 추출한다. 즉, 각 극대점을 구성 요소가 하나인 초기 클러스터로 간주하여, 이들을 시점으로 하여 인접하는 좌표를 병합함으로써 초기 클러스터의 성장을 행한다. 초기 클러스터의 성장은, 이미 생성되어 있는 클러스터 맵을 C라 하면, 이 클러스터 맵(C) 상의 각 좌표를 주사하여 새롭게 병합해야 할 좌표를 검출함으로써 행해진다.

예를 들어, 도13에 있어서는 극대점(M₁ 내지 M₃)에 대해, 이 극대점(M₁내지 M₃)을 시점으로 하여 이 극대점(M₁내지 M₃) 근방의 좌표의 화소군이 병합되고, 각각 초기 클러스터(271₁내지 271₃)로서 추출된다. 여기서, 도13에 나타내는 히스토그램에 있어서의 출현 빈도(H)(ir, ig)의 극대치를 시점으로 하여, 이 시점에 인접하는 좌표의 화소로부터 출현 빈도(H)(ir, ig)가 임계치(T)에 이르는 좌표(임계치(T) 이하가 되기 전의 좌표)의 화소까지 순차 병합하지만, 그 때 좌표 (ir, ig)가 어떠한 클러스터에도 병합되어 있지 않아 그 출현 빈도가 임계치(T)보다도 크고, 또한 그 인접 좌표 (ir + dr, ig + dg) 중 어느 하나에 있어서, 이미 어느 하나의 초기 클러스터에 병합된 것이 있고, 그 인접 좌표에 있어서의 출현 빈도가 자신의 출현 빈도보다도 큰 경우에, 좌표 (ir, ig)를 이미 병합되어 있는 인접 좌표와 동일한 초기 클러스터에 병합해야 할 좌표로서 검출한다. 이와 같이, 출현 빈도의 임계치(T)를 마련함으로써, 출현 빈도가 작은 좌표 영역에 있어서의 좌표를 갖는 화소의 추출을 방지한다. 초기 클러스터는 2차원 히스토그램(H)의 극대점의 개수에 따라서 1개 이상의 초기 클러스터가 추출되지만, 각 초기 클러스터에는 고유의 번호가 할당되어 식별된다. 이리하여 추출된 복수의 초기 클러스터는 2차원 배열인 클러스터 맵(C)(ir, ig) 상에 다중치 화상으로서 하기 수학식 5와 같이 나타낸다.

즉, 상기 수학식 5는 색의 좌표 (ir, ig)가 초기 클러스터(n)에 포함되어 있는 것을 나타낸다. 도14의 (a) 및 도14의 (b)는, 각각 입력 화상 및 클러스트 맵(C)을 나타내는 개략도이다. 도14의 (a)에 나타낸 바와 같이, 입력 컬러 화상(201)에 있어서의 예를 들어 (x1, yl), (x2, y2) 등의 각 화소치는, 표색 변환부(212)에서 색 좌표 (ir1, ig1), (ir2, ig2)로 변환되고, 그 출현 빈도로부터 2차원 히스토그램이 생성되어 이 2차원 히스토그램을 기초로 하여 추출된 초기 클러스터가 도14의 (b)에 나타내는 횡축에 ir, 종축에 ig를 취한 2차원 배열인 클러스터 맵(C) 상에 초기 클러스터(272, 273)로서 나타낸다. 추출된 초기 클러스터는 도14 의 (b)에 나타내는 클러스터 맵(C)으로서, 초기 영역 추출부(215) 및 클러스터 통합부(216)로 보내진다.

(1 - 4) 초기 영역 추출 공정

초기 영역 추출부(215)에서는 초기 클러스터 추출부(214)에 있어서 얻어진, 예를 들어 도14의 (b)에 나타내는 초기 클러스터(272, 273) 등의 초기 클러스터에 포함되는 색을 갖는 화소 중, 동일 초기 클러스터에 속하는 화소가 컬러 화상 상에서 집중되는 직사각형의 영역을 초기 영역으로서 추출한다. 도14의 (c)는, 영역 맵(R)을 나타내는 개략도이다. 초기 클러스터 추출부(214)에서 성장되어 생성된 각 초기 클러스터로부터 추출된 화소는, 도14의 (c)에 나타내는 2차원 배열인 영역 맵(R)(x, y) 상에 클러스터를 식별하는 n을 갖는 다중치 화상으로서 표현된다. 여기서, 도14의 (a)에 나타내는 입력 컬러 화상의 위치 (x1, y1), (x2, y2)에 있어서의 화소가 도13b에 나타내는 각각 초기 클러스터(272, 273)에 포함되는 것으로, 초기 클러스터(272, 273)의 클러스터 번호 n을 1, 2라 하였을 때, 영역 맵(R)에 있어서의 좌표 (x1, y1), (x2, y2)는 그 클러스터 번호 1, 2를 갖는 것이 된다. 즉, 화상 상의 위치 (x, y)의 화소의 색이 클러스터(n)에 포함되어 있는 경우, 하기 수학식 6과 같이 나타낸다.

그리고, 도15에 나타내는 영역 맵(R)에 있어서 추출 화소(276)의 분포가 집 중되는 영역을 둘러싸는 직사각형 영역(277)을 산출한다. 각 초기 클러스터에 대응하여 얻어진 직사각형 영역은, 도16에 나타낸 바와 같이 1개의 대각선 상에서 서로 대향하는 2개의 꼭지점의 좌표 (srx, sty), (edx, edy)로 표현되어, 1차원 배열인 꼭지점 리스트 V1에 저장된다. 즉, 클러스터(n)에 대응하여 얻어진 직사각형 영역(277)의 2개의 꼭지점 좌표가 (stx, sty), (edx, edy)인 경우, 이들 좌표는 꼭지점 좌표 V1(n)에 하기 수학식 7과 같이 저장되는 것으로 한다.

각 초기 클러스터에 대응하여 얻어진 추출 화소 및 직사각형 영역은, 각각 영역 맵(R) 및 꼭지점 리스트 V1로서 클러스터 통합부(216)로 보내진다.

(1 - 5) 클러스터 통합 공정

클러스터 통합 공정에서는, 클러스터 통합부(216)에 의해 초기 클러스터 추출부(214)에서 얻어진 클러스터 맵(C) 및 초기 영역 추출부(215)에서 얻어진 영역 맵(R) 및 꼭지점 리스트 V1을 사용하여 본래 1개의 영역에 포함되는 색이면서 다른 초기 클러스터로서 추출된 복수의 초기 클러스터를 통합한다.

즉, 클러스터 통합부(216)는 초기 클러스터 추출부(214)에서 생성된 클러스터 맵(C)이 입력되면, 우선 임의의 2개의 초기 클러스터(m) 및 초기 클러스터(n)의 조합을 발생시킨다. 그리고, 발생시킨 초기 클러스터(m, n)와 클러스터 맵(C)으로부터 초기 클러스터(m)와 초기 클러스터(n)와의 색차가 산출된다. 또한, 초기 클러스터(m, n) 및 초기 영역 추출부(215)에서 생성된 영역 맵(R) 및 꼭지점 리스트 V1로부터 초기 클러스터(m)와 초기 클러스터(n)와의 중첩도가 산출된다. 그리고, 초기 클러스터(m, n), 영역 맵(R) 및 꼭지점 리스트 V1, 색차 및 중첩도로부터, 초기 클러스터(m, n)를 통합하는지 여부의 판정이 행해져 색차가 작고, 초기 클러스터(m, n)가 화상 상에서 크게 중합되어 분포하고 있는 경우에 이들 클러스터를 통합한다.

초기 클러스터의 통합에 따라서 영역 맵(R) 및 꼭지점 리스트(V1)가 수정되고, 각각 영역 맵(R2) 및 꼭지점 리스트(V2)로서 영역 분할부(217)로 보내진다. 수정된 영역 맵(R2)은 영역 추출부(218)로도 보내진다.

(1 - 6) 영역 분할 공정

영역 분할 공정에서는, 영역 분할부(217)에 의해 클러스터 통합부(216)에 있어서 수정된 영역 맵(R2) 및 꼭지점 리스트(V2)를 이용하여 동일한 클러스터, 즉 초기 클러스터 또는 초기 클러스터가 통합된 통합 클러스터(이하, 단순히 클러스터라 함)에 의해 추출된 추출 화소의 분포에 따라서, 꼭지점 리스트(V2)에 저장되어 있는 꼭지점 좌표[V2(n)]가 나타내는 직사각형 영역을 분할한다. 즉, 클러스터 통합부(216)에 의해 얻어진 새로운 영역 맵(R2) 및 꼭지점 리스트[V2(n)]가 입력되면, 꼭지점 리스트[V2(n)]가 나타내는 직사각형 영역을 수평 또는 수직으로 2분할하는 주분할점이 검출되고, 직사각형 영역이 수직으로 2분할된 경우는 영역 맵(R2) 및 분할된 2개의 수직 분할 직사각형 영역의 꼭지점 리스트를 사용하여 각 수직 분할 직사각형 영역이 수평으로 분할된다. 직사각형 영역이 수평으로 2분할된 경우는, 영역 맵(R2) 및 분할된 2개의 수평 분할 직사각형 영역의 꼭지점 리스트를 사용하여 각 수평 분할 직사각형 영역이 수직으로 분할된다. 영역의 분할에는, 예를 들어 꼭지점 리스트(V2)으로 나타내는 직사각형 영역 내에 있어서, 클러스터(n)에 의해 추출된 화소의 수를 수평 방향 및 수직 방향으로 누적한 각각의 히스토그램(HH 및 HV)을 사용하고, 이 히스토그램의 최소점이 되는 점을 검출하여, 이것이 미리 설정된 임계치보다도 작은 경우에 분할한다. 그리고, 영역 맵(R2) 및 이와 같이 분할된 직사각형 영역의 꼭지점 리스트를 사용하여, 직사각형 영역을 수정한다.

예를 들어, 도17에 도시한 바와 같이 화상 상에서 동일한 클러스터에 의해 추출된 추출 화소가 이 클러스터에 대응하여 얻어진 직사각형 영역(295)에 있어서 복수의 덩어리(296a, 296b)를 구성하고 있는 경우, 각 덩어리(296a, 296b)를 다른 영역으로 간주하여 직사각형 영역(295)의 분할을 행한다. 이 결과, 1개의 초기 클러스터에 속하는 직사각형 영역(295) 내에, 예를 들어 덩어리(296a, 296b) 등의 복수의 화소의 덩어리가 대응하게 되어 각 화소의 덩어리(296a, 296b)를 둘러싸는 분할 직사각형 영역(297a, 297b)을 산출할 수 있다.

분할 직사각형 영역(297a, 297b)은 초기 영역 추출부(215)와 마찬가지로, 도16에 도시한 바와 같이 1개의 대각선 상에서 서로 대향하는 2개의 꼭지점 좌표로 나타내고, 새로운 꼭지점 리스트[V3(n, m)]에 저장된다. 즉, 클러스터(n)에 대응하 는 m번째의 직사각형 영역이 {(V3(n, m).stx, V3(n, m).sty), (V3(n, m).edx, V3(n, m).edy)}라 표시되는 경우, 이러한 좌표는 새로운 꼭지점 리스트[V3(n, m)]에 하기 수학식 8과 같이 저장되는 것으로 한다. 새로운 꼭지점 리스트[V3(n, m)]는 영역 추출부(218)로 보내진다.

(1 - 7) 영역 추출 공정

영역 추출부(218)에서는, 클러스터 통합부(216)에 있어서 수정된 영역 맵(R2)과, 영역 분할부(217)에 있어서 얻어진 새로운 꼭지점 리스트(V3)을 이용하여 하기 수학식 9의 조건을 충족시키는 화소의 집합 Snm을 추출한다.

즉, 동일한 클러스터로부터 추출된 화소라도 영역 분할부(217)에서 직사각형 영역이 분할된 경우, 예를 들어 도17에 도시하는 직사각형 영역(297a, 297b) 등과 같은 분할된 직사각형 영역을 하나의 집합으로 간주하여 추출한다. 여기서 추출된 복수의 영역은 도시하지 않은 판별 처리부로 보내져, 원하는 영역인지 여부의 판별이 행해진다.

이와 같이 살색 영역 추출부(200)에서는, 클러스터 통합부(216)에 의해 1개의 물체에 대응하는 영역이 유사한 복수의 색으로 구성되어 있는 경우, 이들의 색을 통합하여 하나의 영역으로서 취급할 수 있어, 또한 영역 분할부(217)에 의해 동일한 색을 갖는 물체가 복수 존재하는 경우 이들을 분리하여 취급하는 것이 가능해진다. 또, 클러스터를 추출하여 이를 통합하고, 또한 화소 밀도 분포에 의해 추출 영역을 분할함으로써 살색 영역을 매우 정확하게 추출할 수 있다.

(2) 피사체 검출부

피사체 검출부에서는, 살색 영역 추출부(200)에 의해 추출된 각 살색 영역을 얼굴 영역이라 가정하고, 이 살색 영역에 대응하는 꼭지점 좌표[V3(n)]가 나타내는 직사각형 영역으로부터 특징점 검출부에 의해 각 특징점이 검출된다. 특징점 검출부는 인물의 정수리부의 위치를 검출하는 정수리부 검출부(313)와, 살색 영역 내의 붉은 강도를 기초로 하여 인물의 입의 위치를 검출하는 입 검출부(314)와, 정수리부 및 입의 위치를 기초로 하여 검색 범위를 설정하고 눈을 검출하는 눈 검출부(315)와, 눈 및 입의 위치로부터 턱의 위치를 산출하는 턱 검출부(316)와, 입의 위치로부터 입 영역을 설정하여 이 입 영역 내의 붉은 강도를 기초로 하여 얼굴의 중심선을 검출하는 중심선 검출부(317)와, 정수리부, 턱 및 얼굴 중심선의 위치로부터 살색 영역 추출부(200)에서 산출된 꼭지점 좌표[V3(n)]를 수정하는 영역 수정부(318)로 구성된다. 이하, 각 검출부에 대해 더욱 상세하게 설명한다.

(2 - 1) 인물의 정수리부의 검출

정수리부 검출부(313)는, 살색 영역을 얼굴로서 갖는 인물의 정수리부를 검출한다. 정수리부의 검출은, 예를 들어 인물 이외의 배경 영역은 단일색인 것 및 인물의 상측, 즉 수직 좌표가 작은 측에는 배경 영역만이 존재할 수 있는 것을 가정하여, 배경색과는 다른 색을 갖는 화소 중에서 수직 좌표가 가장 작은 위치를 검출한다. 이하, 정수리부의 위치에 있어서의 수직 방향의 좌표를 정수리부의 높이라 한다.

구체적으로는, 도18에 도시한 바와 같이 화상 입력부(101)로부터 보내진 입력 컬러 화상(360)에 있어서 주목되는 살색 영역(361)에 대응하는 직사각형 영역(362)의 도면 중 상측의 영역, 즉 직사각형 영역(362)보다도 수직 좌표가 작은 영역이며, V3(n).stx ≤ 수평 좌표(x 좌표) ≤ V3(n).edx의 범위로 설정한 정수리부 탐색 범위(363)를 도면 중 상측으로부터 주사하여, 각 화소의 값과 배경 영역(364)의 배경색과의 차(d)를 하기 수학식 10에 의해 산출한다.

여기서, R(x, y), G(x, y), B(x, y)는 컬러 화상 상의 좌표(x, y)에 있어서의 화소의 R, G, B의 값이며, Rbg, Gbg, Bbg는 배경색의 R, G, B의 값이다. 이 배경색으로서는 현재의 주목 화소보다도 상방, 즉 수직 좌표(y 좌표)가 작은 영역에 있어서의 화소의 평균치, 예를 들어 화상(360)의 최상단부(360a)로부터 10라인째까지의 평균치를 사용할 수 있다.

상기 수학식 10의 색의 차(d)를 산출하여, 이 값이 소정의 임계치(T)보다도 큰 화소가 출현한 시점에서 그 수직 좌표 y를 정수리부의 높이(TOH)라 한다. 검출된 정수리부의 높이(TOH)는 눈 검출부(315) 및 영역 수정부(318)로 보내진다.

(2 - 2) 인물의 입 검출

다음에, 입 검출부(314)는 살색 영역 추출부(200)에 의해 추출된 각 살색 영역에 대해 입의 높이를 검출한다. 우선, 꼭지점 리스트[V3(n)]에 의해 나타내는 직사각형 영역 내에 있어서, 살색 영역으로서는 추출되어 있지 않은 각 화소(x, y)에 대해, 붉은 강도를 나타내는 하기 수학식 11의 값[rdsh(x, y)]을 산출한다.

산출된 값[rdsh(x, y)]은, 도19에 도시한 바와 같이 수평 방향(x 축 방향)으로 누적되어, 하기 수학식 12에 나타내는 히스토그램[Hrdsh(y)]이 생성된다.

여기서, V3(n) 및 R(x, y)는 모두 살색 영역 추출부(200)로부터 보내진 데이터이며, 각각 살색 영역(n)에 대응하는 직사각형 영역의 꼭지점 좌표 및 영역 맵을 나타낸다.

다음에, 히스토그램[Hrdsh(y)]은 노이즈 등을 제거하기 위해, 필요에 따라서 1차원 로우패스 필터에 의해 평활화된 후, 히스토그램[Hrdsh(y)]의 최대치에 있어서의 수직 좌표(y)가 입의 높이(HOM)로서 검출된다. 검출된 입의 높이(HOM)는 눈 검출부(315), 턱 검출부(316), 중심선 검출부(317) 및 판정부(319)로 보내진다.

(2 - 3) 인물의 눈 검출

다음에, 눈 검출부(315)는 살색 영역 추출부(200)에서 추출된 각 살색 영역에 대해 눈의 높이를 검출한다. 우선, 정수리부 검출부(313)에 의해 검출된 정수리부의 높이(TOH)와 입 검출부(314)에 의해 검출된 입의 높이(HOM)로부터, 수직 방향(y 축 방향)의 눈의 탐색 범위를 예를 들어 하기 수학식 13에 의해 산출한다.

단,

e1 ＜ e2

0.0 ＜ e1, e2 ＜ 1.0

여기서, e1 및 e2는 미리 설정된 계수이다. etop 및 ebtm은, 각각 검색 범위의 수직 좌표에 있어서의 하한치 및 상한치이다. 그리고, 이들 수직 좌표에 있어서의 하한치 및 상한치 사이에 두고, 또한 주목되는 살색 영역에 대응하는 직사각형 영역 내에 존재하는 화소에 대해 수평 방향의 엣지(이하, 수평 엣지라 함)의 강도[edge(x, y)]를 검출한다.

입력 컬러 화상의 각 좌표에 있어서 산출된 수평 엣지의 강도[edge(x, y)]는 수평 방향(x축 방향)으로 누적되어, 직사각형 영역 내에 있어서의 수직 방향의 수평 엣지를 나타내는 히스토그램[Hedge(y)]이 하기 수학식 14에 의해 산출된다.

여기서, V3(n)은 살색 영역 추출부(200)에서 얻어진 살색 영역(n)에 대응하는 직사각형 영역의 꼭지점 좌표이다. 도20은 생성된 히스토그램[Hedge(y)]을 나타내는 개략도이다. 히스토그램[Hedge(y)]은 노이즈 등을 제거하기 위해, 필요에 따라서 1차원 로우패스 필터에 의해 평활화된 후, 그 최대치에 대응하는 수직 좌표(y)가 눈의 높이(HOE)로서 검출된다.

또한, 상기 수학식 13에 의해 산출되는 ebtm이 살색 영역을 둘러싸는 직사각형 영역의 꼭지점 좌표인 [V3(n).sty]보다 작은 경우, 정수리부의 높이(TOH) 또는 입의 높이(H0M)의 검출이 적절하게 행해지고 있지 않을 가능성이 높다. 그래서 이 러한 경우에는, 대응하는 직사각형 영역의 꼭지점 좌표[V3(n)]에 위치 좌표로서는 무효한 값인 예를 들어 - 1을 저장하여 꼭지점 리스트(V)를 수정할 수 있다.

검출된 눈의 높이(HOE)는 턱 검출부(316) 및 판정부(319)로 보내진다. 또한, 수정된 꼭지점 리스트(V)는 턱 검출부(316), 중심선 검출부(317) 및 영역 수정부(318)로 보내진다.

(2 - 4) 인물의 턱 검출

턱 검출부(316)에서는, 눈 검출부(315)에 있어서 수정된 꼭지점 리스트(V3)에 무효가 아닌 꼭지점 좌표를 갖는 각 살색 영역에 대해 턱의 높이를 검출한다. 턱의 높이 검출은, 예를 들어 도21에 나타낸 바와 같이 인물의 얼굴(380)에 있어서는 턱과 입 사이의 거리(381)와, 눈과 입 사이의 거리(382)의 비가 거의 일정하다고 가정하여, 하기 수학식 15에 의해 추정할 수 있다.

여기서 c는 미리 설정된 계수이고, HOC는 턱의 높이를 나타낸다. 산출된 턱의 높이(HOC)는 영역 수정부(318)로 보내진다.

(2 - 5) 인물의 얼굴의 중심선 검출

다음에, 얼굴의 중심선 검출부(317)는 눈 검출부(315)에 있어서 수정된 꼭지점 리스트(V3)에 무효가 아닌 꼭지점 좌표를 갖는 각 살색 영역에 대해, 얼굴을 좌 우로 분할하는 중심선의 위치를 검출한다.

여기서는, 처음에 입 검출부(314)에서 검출된 입의 높이(HOM)을 중심으로 하여 수직 방향의 좌표에 있어서의 입 탐색 범위를 설정한다. 이 탐색 범위는, 예를 들어 대응하는 직사각형 영역의 수직 방향에 있어서의 폭으로부터 하기 수학식 16에 의해 산출할 수 있다.

여기서 m은 이미 설정된 계수이고, V3(n)은 살색 영역(n)에 대응하는 직사각형 영역의 꼭지점 좌표이다. 상기 수학식 16에 의해 산출된 각각의 mtop 및 mbtm을 탐색 범위의 y 좌표의 각각 하한치 및 상한치로 한다. 또한, 수평 방향의 탐색 범위는 직사각형 영역의 수평 방향의 폭이라 할 수 있다. 즉, x 좌표의 상한 및 하한은, 직사각형 영역의 각각 좌단부 [V3(n).stx] 및 우단부 [V3(n).edx]라 할 수 있다. 도22는, 살색 영역(391)에 대응하는 직사각형 영역(392)에 있어서의 입의 높이(HOM) 및 검색 범위(mtop, mbtm)를 나타내는 개략도이다.

다음에, 설정된 탐색 범위에 존재하고, 또한 살색 영역에 포함되지 않는 화소에 대해 상기 수학식 11에 의해 붉은 강도을 산출하여, 도22에 도시한 바와 같이 붉은 강도의 값이 임계치보다도 커지는 화소의 수평 좌표의 평균치를 중심선의 수평 좌표 위치(COH)로서 검출한다. 붉은 강도를 산출할 때에, 살색 영역에 속하는 화소를 제외함으로써 살색 영역에 속하는 화소의 영향을 배제할 수 있어, 매우 고정밀도로 얼굴의 중심선을 검출할 수 있다. 이리하여, 검출된 얼굴 중심선의 위치(COH)는 영역 수정부(318) 및 판정부(319)로 보내진다.

또한, 얼굴의 중심선은 살색 영역에 있어서의 살색 화소 분포의 평균 위치를 검출하여, 이를 통과하는 직선을 얼굴의 중심선으로 할 수도 있다.

(2 - 6) 직사각형 영역의 수정

영역 수정부(318)는, 눈 검출부(315)에 있어서 수정된 꼭지점 리스트(V3)에 무효가 아닌 꼭지점 좌표를 갖는 각 살색 영역에 대해, 직사각형 영역을 새롭게 산출하여 꼭지점 리스트(V)의 수정을 행한다. 예를 들어, 정수리부 검출부(313)에서 얻어진 정수리부의 높이(TOH), 턱 검출부(316)에서 얻어진 턱의 높이(HOC) 및 중심선 검출에서 얻어진 중심선의 위치(COH)를 사용하여, 도23에 도시한 바와 같이 직사각형 영역(500)을 설정할 수 있다. 즉, 수정 후의 직사각형 영역(500)을 나타내는 꼭지점 좌표 {(stx, sty), (edx, edy)}는 하기 수학식 17에 의해 산출할 수 있다.

여기서, asp는 인물의 얼굴의 폭에 대한 높이의 비를 나타내는 계수이며, 적당한 값이 미리 설정되어 있는 것으로 한다.

살색 영역(n)에 대해 새롭게 산출된 꼭지점 좌표는, 꼭지점 리스트(V)에 오버라이트되어 판정부(319)로 보내진다.

(2 - 7) 얼굴 판정

판정부(319)는 영역 수정부(318)에 있어서 수정된 꼭지점 리스트(V3)에 무효가 아닌 꼭지점 좌표를 갖는 각 살색 영역에 대해, 그 살색 영역이 얼굴 영역인지 여부의 판정을 행한다. 얼굴 영역의 판정은, 예를 들어 인물의 얼굴 영역에서는 눈 부분 및 입 부분에 수평 엣지가 많이 분포하는 것, 또한 입술의 색이 다른 부분에 비해 붉은 빛이 강한 것을 이용하고, 이들 조건이 입 검출부(314)에서 검출된 입의 높이(HOM) 및 눈 검출부(315)에서 검출된 눈의 높이(HOE)에 있어서 성립하고 있는지 여부를 검증함으로써 행할 수 있다. 판정 결과는, 얼굴 영역인지 여부를 나타내는 2값의 플래그(face flag)로서 출력된다.

이와 같이, 피사체 검출부(300)에 있어서는 추출된 살색 영역에 대해 정수리부 및 입의 위치를 검출하고, 이들 위치로부터 눈의 검색 범위를 설정하여 눈의 위치를 검출하므로, 매우 고정밀도로 눈의 위치를 검출할 수 있다. 또한, 턱의 위치는 눈과 입의 위치로부터 산출함으로써 얼굴과 목과의 휘도 및 색의 차가 작아, 고정밀도로 검출하는 것이 어려운 경우에도 턱의 위치의 검출을 정확하게 행할 수 있다. 또한, 얼굴의 중심선은 입의 붉은 빛이 강한 것을 기초로 하여 검출되므로, 매우 고정밀도로 얼굴 중심선을 검출할 수 있다. 게다가 또한, 얼굴 판정부에 있 어서 눈 패턴 모양 및 입 패턴 모양을 판정하고, 이 판정 결과를 기초로 하여 얼굴인지 여부의 종합 판정을 하기 때문에, 복수의 얼굴이 포함되어 있는 경우라도 얼굴인지 여부의 판정 결과의 신뢰성이 높다.

판정부(319)에 의해 얼굴이라 판정되는 살색 영역이 복수 존재하는 경우에, 복수의 얼굴 영역으로부터, 예를 들어 그 얼굴 영역의 위치를 기초로 하여 하나의 얼굴 영역을 선택하는 선택부(도시하지 않음)을 설치할 수도 있다. 이에 의해, 예를 들어 복수의 얼굴 영역이 존재하는 화상으로부터 1개의 얼굴 영역을 추출하여, 트리밍부(400)에서 트리밍 처리를 실시할 수 있다. 또, 판정부(319)에 얼굴 영역을 선택하는 기능을 갖게 하도록 해도 좋다.

(3) 트리밍부

트리밍부(400)는, 상술한 바와 같이 추출한 인물의 얼굴 영역을 인화지의 유효 영역에 배치할 때, 상부 여백부, 얼굴부 및 흉부의 치수 비율을 소정비가 되도록 트리밍한다. 인화지에 있어서 화상이 인쇄되는 유효 영역 내의 피사체에 있어서의 상부 여백부, 얼굴부, 흉부의 각부의 크기, 즉 치수비를 규정함으로써 보기 좋고 안정된 증명 사진을 얻을 수 있다.

증명 사진을 오토 트리밍할 때에는, 인화지의 유효 영역 내에 얼굴부를 어떻게 배치하는지에 따라 증명 사진의 솜씨가 바뀐다.

따라서, 도2에 도시한 바와 같이 상부 여백부(A), 얼굴부(B) 및 흉부(C)의 각부에 있어서, 얼굴부(B)의 치수를 기준으로 한 경우

얼굴부(B) : 흉부(C) : 상부 여백부(A) ＝ 1 : 0.6 : 0.15

가 되도록 각부의 치수를 설정하는 것이 바람직하고,

얼굴부(B) : 흉부(C) : 상부 여백부(A) ＝ 1 : 0.4 내지 0.8 : 0.1 내지 0.2의 범위이면, 보기 좋게 균형이 잡힌 사진을 얻을 수 있다.

도24의 (a) 내지 도24의 (c)는, 증명 사진에 있어서 얼굴부(B)에 대한 상부 여백부(A) 및 흉부(C)의 치수 비율을 바꾸었을 때의 증명 사진을 도시하는 개략도이다. 도24의 (b)는, 본 발명의 실시예를 도시하는 도면으로, 상부 여백부(A), 얼굴부(B) 및 흉부(C)의 치수 비율이 적절하므로, 매우 보기 좋은 증명 사진이 되어 있다. 본 실시예에 있어서의 상부 여백부(A)의 비율은, 얼굴부(B)에 대해 0.15이다.

한편, 도24의 (a) 및 도24의 (c)는 상기한 치수 비율로부터 벗어난 각각의 제1 비교예 및 제2 비교예를 도시하는 도면이다. 도24의 (a)에 도시하는 제1 비교예는 상부 여백부(A)의 치수 비율이 얼굴부(B)에 대해 0.42로 큰 경우이다. 증명 사진은 얼굴부(B)를 중심으로 촬영하면, 이러한 제1 비교예에 도시하는 증명 사진이 되는 경우가 많다. 이와 같이, 상부 여백부(A)의 치수가 얼굴부(B)에 비해 본 발명의 범위보다 크기 때문에, 불균형적인 증명 사진이 되어 있다.

도24의 (c)에 도시하는 제2 비교예는, 상부 여백부(A)의 치수 비율이 얼굴부(B)에 대해 0.04로 작은 경우이다. 이와 같이, 상부 여백부(A)의 치수 비율이 작으면 압박감이 있는 사진이 되어 버린다.

도25의 (a) 및 도25의 (b)는, 얼굴부(B)의 크기가 유효 영역에 대해 각각 작은 예 및 큰 예의 증명 사진을 도시하는 개략도이다. 도25의 (a)에 도시하는 예에 서는, 얼굴부(B)에 대해 상부 여백부(A) 및 흉부(C)가 현저하게 크고, 도25의 (b)에 도시하는 예에서는 얼굴부(B)에 대해 상부 여백부(A) 및 흉부(C)의 크기가 작으므로, 어느 쪽의 사진도 증명 사진으로서는 적합하지 않다.

또한, 얼굴의 중심 위치가 인화지의 유효 영역 내의 중심으로부터 좌우 어느 쪽으로 어긋나도, 증명 사진으로서는 바람직하지 않다. 따라서, 상술한 중심선 검출부(317)에 의해 검출된 얼굴 중심선(COH)을 사용하여 얼굴부가 인화지의 중심 위치이며, 또한 소정의 치수비가 되도록 트리밍하는 것이 바람직하다.

이러한 트리밍을 행하는 트리밍부(400)에 있어서는, 우선 보내져 온 꼭지점 리스트(V3)에 포함되는 유효한 직사각형 영역[V3(n)]에 대응하여, 잘라낼 부분 화상의 위치를 결정한다. 도26은 트리밍부(400)가 입력 컬러 화상(510)으로부터 잘라낼 부분 화상을 도시하는 개략도이다. 도26에 도시한 바와 같이, 예를 들어 꼭지점 리스트(V3)에 의해 표시되는 직사각형 영역(511)의 중심 위치(x0, y0)가 미리 설정된 트리밍 후의 유효 영역의 소정의 위치(tx0, tyO)와 일치하도록, 하기 수학식 18에 나타내는 2개의 꼭지점 좌표로 표시되는 직사각형 영역(512)을 부분 화상으로서 잘라낸다.

여기서 twdt, thgt는, 상부 여백부(A), 얼굴부(B) 및 흉부(C)가 상술한 치수 비가 되도록 설정된 트리밍 후의 화상, 즉 인화지에 인쇄되는 유효 영역의 폭과 높이를 나타내고 있다.

트리밍된 화상은, 상술한 프린터 및 모니터 등의 화상 표시 장치 또는 화상 기억 장치 등에 출력된다.

또, 트리밍부(400)에 있어서 꼭지점 리스트(V3)로 표시되는 직사각형 영역(511)에 대해 상부 여백부(A), 얼굴부(B) 및 흉부(C)가 상술한 치수비가 되도록 설정한 트리밍 후의 화상의 크기가 지나치게 큰 경우, 또는 지나치게 작은 경우에는 적절하게 축소 또는 확대 처리를 하면 좋다.

또한, 살색 영역 추출부(200) 또는 피사체 검출부(300)에 있어서 복수의 영역이 얼굴이라 판정된 경우, 이들 모두를 트리밍의 대상으로서 선택하도록 할 수도 있다. 이 경우, 트리밍부(400)에서는 얼굴이라 판정된 복수의 영역을 모두 포함하는 부분 화상을 잘라내고, 필요에 따라서 확대 또는 축소 처리를 실시하여 소정 크기의 화상을 얻는다.

또, 트리밍부(400)에 있어서의 트리밍 처리는, 꼭지점 리스트(V3) 외에 각 얼굴 영역에 대해 산출된 눈의 높이(HOE) 및 중심선 위치(COH) 등을 사용하여, 눈의 높이와 중심선이 트리밍된 화상 상에 있어서 소정의 위치가 되도록 부분 화상의 잘라냄을 행하도록 해도 좋다.

다음에, 화상 추출 장치의 동작에 대해 설명한다. 도27은 화상 추출 방법을 나타내는 흐름도이다. 또한 도28의 (a) 내지 도28의 (f)는, 화상 추출의 각 공정을 나타내는 개략도이다. 도27 및 도28에 나타낸 바와 같이, 우선 화상 입력부(101)에 있어서 도28의 (a)에 나타낸 바와 같이 촬영된 원화상(700)을 다운 샘플링하여, 도27b에 나타내는 다운 샘플링 화상 데이터(701)를 얻는다(스텝 S21). 다음에, 화상 데이터(701)로부터 살색 영역 추출부(200)에서 살색 영역을 추출한다(스텝 S22). 다음에, 추출된 살색 영역으로부터 피사체의 검출을 행한다(스텝 S23).

이 때, 도28의 (c)에 나타낸 바와 같이 다운 샘플링 화상 데이터(701)에는, 복수의 살색 영역(702a 내지 702c)이 추출되는 경우가 있다. 피사체 검출은 이들 살색 영역(702a 내지 702c) 전부, 또는 특정한 살색 영역을 선택하여 행한다. 병원 등의 사진 부스에 있어서, 예를 들어 부모가 아이를 안고 사진을 찍는 경우 등이 있는데, 그와 같은 경우는 복수의 살색 영역이 추출된다. 여기서, 복수의 살색 영역으로부터 특정한 살색 영역을 선택할 때, 예를 들어 가장 추출 면적이 큰 것을 선택하도록 해 둠으로써 부모의 얼굴을 나타내는 살색 영역을 추출할 수 있다. 또한, 통상 사용자의 살색 영역은 중앙보다 상방에 위치하므로, 중앙에 위치하는 살색 영역을 추출하면 부모의 얼굴을 나타내는 살색 영역보다 하방에 있는 살색 영역을 아이의 얼굴을 나타내는 살색 영역으로서 추출할 수 있다. 여기서는 도28의 (d)에 나타낸 바와 같이, 예를 들어 가장 중앙에 위치하고 또한 면적이 큰 살색 영역(702a)을 선택하고, 이 살색 영역(702a)을 사용하여 피사체 검출부(300)에 의해 피사체를 검출하는 경우에 대해 설명한다. 피사체 검출부(300)에 의해 살색 영역(702a)에 있어서 피사체가 검출된 경우, 즉 살색 영역이 얼굴이라 판정된 경우는 이 데이터가 트리밍부(400)에 공급되어 트리밍부(400)에서 트리밍 처리가 실시 된다. 즉, 원화상(700)에 있어서 피사체를 나타내는 살색 영역(702a)의 얼굴부(B)에 대해 상부 여백부(A) 및 흉부(C)가 상술한 치수비가 되도록 유효 영역(트리밍 영역)(711)이 산출되고, 도28의 (f)에 나타낸 바와 같이 소정의 치수비가 되도록 절취된 이 유효 영역(711)이 프린터(18, 19) 등에 출력된다(스텝 S24).

다음에, 스텝 S23의 피사체의 검출 방법에 대해 더욱 상세하게 설명한다. 도29는 피사체 검출부(300)의 검출 방법을 나타내는 흐름도이다. 피사체 검출부(300)에 있어서는, 우선 정수리부 검출부(313)에서 정수리부(TOH)를 검출한다(스텝 S31). 정수리부(TOH)의 검출은, 상술한 바와 같이 예를 들어 입력 화상에 있어서 상부로부터 10 라인째까지를 배경으로 하고, 이 배경과 살색 영역의 상부의 화소를 비교하여 그 변화가 커진 위치를 정수리부(TOH)로서 검출한다. 다음에, 살색 영역에 있어서의 살색 화소의 분포의 평균 위치를 지나는 선분을 얼굴 중심선(COH)으로서 검출한다(스텝 S32). 또, 상술한 바와 같이 입, 또는 눈의 검출 결과를 사용하여, 중심선 검출부(317)에 의해 얼굴의 중심선(COH)을 검출해도 좋다. 다음에, 입 검출부(314)에 의해, 살색 영역 내에서 붉은 빛을 이용하여 입의 위치(MOH)를 검출하고(스텝 S33), 눈 검출부(315)에 의해 살색 영역 내에서 엣지 밀도가 높은 것을 이용하여 눈의 위치(EOH)를 검출하고(스텝 S34), 또한 이러한 입 및 눈의 검출 결과를 사용하여 턱부의 위치(HOC)를 산출한다(스텝 S35). 여기서, 판정부(319)에 의해 입 및 눈의 검출 결과로부터 스텝 S31에서 검출된 정수리부(TOH)의 위치의 타당성을 판정하여 검출된 정수리부(TOH)의 위치가 타당하지 않다고 판정된 경우는, 입 및 눈의 검출 결과로부터 정수리부(TOH)의 위치를 산출한 다(스텝 S36). 이와 같이 정수리부(TOH)의 위치의 타당성을 판정함으로써, 예를 들어 사진 부스가 병원 등에 설치되는 경우, 피사체가 되는 사용자 중에는 얼굴 또는 머리 부분 등에 붕대를 감고 있는 경우 등이 있지만, 그러한 경우에 있어서도 오검출을 방지할 수 있다. 다음에, 영역 수정부(318)에서 살색 영역을 둘러싸는 직사각형 영역을 계산하고(스텝 S37), 판정부(319)에서 눈 및 입에 있어서의 엣지 밀도가 소정의 임계치 이상이며, 또한 입의 붉은 빛이 소정의 임계치 이상인 것 등의 조건을 이용하여 얼굴인지 여부의 판정을 행하고(스텝 S38), 마지막으로 복수 얼굴이 검출된 경우에 얼굴 추출 영역을 선택하여(스텝 S39) 이 얼굴 영역을 트리밍부(400)에 공급한다.

본 발명에 있어서는 화상 추출 장치가, 촬영한 입력 화상으로부터 얼굴 영역을 검출하여 오토 트리밍하기 때문에, 피촬영자는 촬영 장치의 의자에 앉는 것만으로 도24의 (b)에 나타낸 바와 같은 균형이 잡힌 증명 사진을 항상 얻을 수 있다.

이상, 병원 등에 설치되는 사진 부스를 예로 들어 설명하였지만, 본 발명은 이에 한정되는 것은 아니며, 예를 들어 길목 등에 설치되는 증명 사진 장치나 게임 센터 등에 설치되는 장치에 적용할 수도 있다. 이에 의해, 길목나 게임 센터 등에 설치된 장치도 신체 장애자에게 있어서 사용하기 쉬운 것이 된다.

또한, 상술한 예에서는 하드웨어의 구성으로서 설명하였지만 이에 한정되는 것은 아니며, 임의의 처리를 CPU에 컴퓨터 프로그램을 실행시킴으로써 실현하는 것도 가능하다. 이 경우, 컴퓨터 프로그램은 기록 매체에 기록되어 제공하는 것도 가능하고, 또한 인터넷 외의 전송 매체를 거쳐서 전송함으로써 제공하는 것도 가능 하다.

계속해서, 본 발명의 다른 예를 들어 설명한다. 또, 상술한 예와 동일한 구성에 대해서는 동일한 도면을 이용하여 설명한다.

도30은 증명 사진에 있어서의 인물의 배치를 도시하는 개략도이다. 도30에 도시한 바와 같이, 증명 사진(600)에 있어서 증명 사진의 최상단부(600a)로부터 인물 화상(601)의 정수리부(TOH)까지의 수직 방향의 길이(A)가 상부 여백부 치수를 나타낸다. 또한, 인물 화상(601)의 정수리부(TOH)로부터 입(HOM)까지의 수직 방향의 길이(B)가 얼굴부 치수를 나타낸다. 또한, 인물 화상(601)의 입(HOM)으로부터 증명 사진의 최하단부(600b)까지의 길이(C)가 흉부 치수를 나타낸다. 여기서 D(D＝ A + B + C)는, 인화지에 있어서 증명 사진(600)이 인쇄된 영역(이하, 유효 영역이라 함)의 수직 방향의 길이를 나타낸다. 여기서 이 유효 영역은, 인화지에 있어서 증명 사진이 인쇄되어 있지 않은 여백을 포함하는 경우, 이 여백을 제외한 영역을 나타낸다. 또한 E는, 유효 영역의 수평 방향의 길이를 나타낸다. 또 COH는, 얼굴을 좌우로 등분하는 E의 중간을 나타내는 선, 이른바 얼굴의 중심선이다. 여기서, 이 유효 영역(D × E)은 인화지에 증명 사진이 인쇄되어 있지 않은 여백을 포함하는 경우, 이 여백을 제외한 영역을 나타낸다.

본 예의 화상 처리 장치는, 피사체의 얼굴 영역이 인화지에 있어서 본 발명의 범위, 즉 얼굴부(B)의 치수를 기준으로 한 경우, 각부의 비율을 얼굴부(B) : 흉부(C) : 상부 여백부(A) ＝ 1 : 0.6 내지 1.0 : 0.2 내지 0.3의 범위가 되도록 트리밍을 행하는 것이다.

트리밍부(400)는, 피사체 검출부(300)로부터 공급되는 피사체의 얼굴 영역(얼굴부)이 인화지에 있어서의 사진이 인쇄되는 영역인 유효 영역에 있어서, 본 발명 범위가 되도록 트리밍을 행한다. 상술한 바와 같은 사진 부스에 있어서, 화상 처리로 얼굴부를 검출하여 오토 트리밍할 때, 인화지에 어떻게 인물 화상을 배치하는지가 중요해진다. 즉, 화면(인화지의 유효 영역) 최상단부로부터 인물의 정수리부까지를 상부 여백부, 인물의 정수리부로부터 입까지를 얼굴부, 인물의 입으로부터 화면(인화지의 유효 영역) 최하단부까지를 흉부라 하였을 때, 이들 상부 여백부, 얼굴부 및 흉부의 치수 비율을 본 발명의 범위, 즉 얼굴부 : 흉부 : 상부 여백부 ＝ 1 : 0.6 내지 1.0 : 0.2 내지 0.3이 되도록 트리밍 범위를 결정하여 화상을 트리밍함으로써, 보기 좋고 안정된 증명 사진을 얻을 수 있다.

전술한 바와 같이 도24의 (a) 내지 도24의 (c)는, 증명 사진에 있어서 얼굴부(B)에 대한 상부 여백부(A) 및 흉부(C)의 치수 비율을 바꾸었을 때의 증명 사진을 도시하는 개략도이다. 도24의 (b)는 본 실시예에 의해 얻어지는 화상을 도시한 도면으로, 상부 여백부(A), 얼굴부(B) 및 흉부(C)의 치수 비율이 적절하므로 매우 보기 좋은 증명 사진이 되어 있다. 본 실시예에 있어서의 상부 여백부(A)의 비율은, 얼굴부(B)에 대해 0.25이다.

한편, 도24의 (a) 및 도24의 (c)는 상기한 치수 비율로부터 벗어난 각각 제1 비교예 및 제2 비교예를 도시하는 도면이다. 도24의 (a)에 도시한 제1 비교예는, 상부 여백부(A)의 치수 비율이 얼굴부(B)에 대해 0.42로 큰 경우이다. 증명 사진은 얼굴부(B)를 중심으로 촬영하면, 이와 같은 제1 비교예에 도시하는 증명 사진이 되는 경우가 많다. 이와 같이, 상부 여백부(A)의 치수가 얼굴부(B)에 비해 본 발명 범위보다 크기 때문에, 불균형적인 증명 사진이 되어 있다.

또한, 도24의 (c)에 도시한 제2 비교예는 상부 여백부(A)의 치수 비율이 얼굴부(B)에 대해 0.04로 작은 경우이다. 이와 같이, 상부 여백부(A)의 치수 비율이 작으면, 압박감이 있는 사진이 되어 버린다.

도25의 (a) 및 도25의 (b)는, 상술한 바와 같이 얼굴부(B)의 화상이 각각 작은 예 및 큰 예의 증명 사진을 도시하는 개략도이다. 도25의 (a)에 도시한 예에서는, 얼굴부(B)에 대해 상부 여백부(A) 및 흉부(C)가 현저히 크고, 또한 도25의 (b)에 도시한 예에서는 얼굴부(B)에 대해 상부 여백부(A) 및 흉부(C)가 작기 때문에, 어느 쪽의 사진도 증명 사진으로서는 적합하지 않다.

또한, 얼굴의 중심 위치가 인화지의 유효 영역 내의 중심으로부터 좌우 어느 쪽으로 벗어나도, 증명 사진으로서는 바람직하지 않다. 따라서, 상술한 중심선 검출부(317)에 의해 검출한 얼굴 중심선(COH)을 사용하여 얼굴부가 인화지의 중심 위치이며, 또한 소정의 치수비가 되도록 트리밍하는 것이 바람직하다.

이와 같이 화상을 트리밍하는 트리밍부(400)에 있어서는, 제어 회로(70)의 CPU(78)에 의해 실행되는 프로그램에 의해 트리밍 범위를 산출하고 있다.

이상과 같이 구성된 화상 처리 장치는, 촬영한 화상 데이터로부터 인물의 얼굴이 적절한 균형이 잡히도록 배치된 화상을 트리밍하여, 보기 좋고 안정된 화상을 얻을 수 있다.

또, 상술한 바와 같이 화상 처리 장치에 있어서는, 병원 내 등에서 사용되는 촬영 장치(1)에 구비되는 것으로, 사진 촬영을 하는 사람이 휠체어를 타고 있거나 목발을 짚고 있거나, 아이를 안고 있는 경우 등을 생각할 수 있으므로 촬영한 화상 데이터의 중심에 항상 얼굴이 위치하고 있는 것은 아니지만, 그와 같은 경우라도 자동적으로 화상을 트리밍하여, 보기 좋고 안정적인 화상을 얻을 수 있다.

다음에, 화상 처리 장치의 각부의 동작에 대해 설명한다.

도27 및 도28에 도시한 바와 같이, 우선 스텝 S21에 있어서 화상 입력부(101)는 도28의 (a)에 도시한 바와 같은 촬영된 본래 화상(700)을 다운 샘플링하여, 도28의 (b)에 도시하는 다운 샘플링 화상 데이터(701)를 얻는다.

다음에, 스텝 S22에 있어서 살색 영역 추출부(200)는 화상 데이터(701)로부터 살색 영역을 추출한다.

다음에, 스텝 S23에 있어서 피사체 검출부(300)는 피사체의 검출을 행한다. 이 때, 도28의 (c)에 도시한 바와 같이 다운 샘플링 화상 데이터(701)에는, 복수의 살색 영역(702a 내지 702c)이 추출되는 경우가 있다. 피사체의 검출은, 이러한 살색 영역(702a 내지 702c) 전부, 또는 특정적으로 살색 영역을 선택하여 행한다. 여기서는, 도28의 (d)에 도시한 바와 같이 예를 들어 가장 중앙에 위치하는 살색 영역(702a)을 선택하여 이 살색 영역(702a)을 사용하고, 피사체 검출부(300)에 의해 피사체를 검출하는 경우에 대해 설명한다.

다음에, 스텝 S24에 있어서 피사체 검출부(300)에 의해 살색 영역(702a)에 있어서 피사체가 검출된 경우, 즉 살색 영역(702a)이 얼굴이라 판정된 경우는 이 데이터가 트리밍부(400)에 공급되어, 트리밍부(400)에서 트리밍 처리가 실시된다. 즉, 원화상(700)에 있어서 피사체를 나타내는 살색 영역(702a)의 얼굴부(B)에 대해 상부 여백부(A) 및 흉부(C)가 상술한 치수비가 되도록 유효 영역(트리밍 영역)(711)이 산출되고, 도28의 (f)에 도시한 바와 같이 소정의 치수비가 되도록 절취된 이 유효 영역(711)이 프린터(18 또는 19) 등에 출력된다.

다음에, 스텝 S23의 피사체의 검출 방법에 대해 더욱 상세하게 설명한다. 도29는 피사체 검출부(300)의 피사체의 검출 방법을 나타내는 흐름도이다.

우선, 스텝 S31에 있어서 정수리부 검출부(313)는 정수리부를 검출한다. 정수리부의 검출은, 상술한 바와 같이 예를 들어 입력 화상에 있어서 위로부터 10 라인째까지를 배경으로 하고, 이 배경과 살색 영역의 상부의 화소를 비교하여 그 변화가 커진 위치를 정수리부(TOH)로서 검출한다.

다음에, 스텝 S32에 있어서 중심선 검출부(317)는 살색 영역에 있어서의 살색 화소의 분포의 평균 위치를 지나는 선분을 얼굴의 중심선(COH)으로서 검출한다. 상술한 바와 같이, 입, 또는 눈의 검출 결과를 사용하여 얼굴의 중심선을 검출해도 좋다.

다음에, 스텝 S33에 있어서 입 검출부(314)는 살색 영역 내에서 붉은 빛을 이용하여 입의 위치(MOH)를 검출한다.

다음에, 스텝 S34에 있어서 눈 검출부(315)는 살색 영역 내에서 엣지 밀도가 높은 것을 이용하여 눈의 위치(EOH)를 검출한다.

다음에, 스텝 S35에 있어서 턱 검출부(316)는 입 및 눈의 위치의 검출 결과를 사용하여 턱부의 위치를 산출한다.

다음에, 스텝 S36에 있어서 판정부(319)는 입 및 눈의 위치의 검출 결과로부터 스텝 S31에서 검출된 정수리부의 위치의 타당성을 판정하여, 검출된 정수리부의 위치가 타당하지 않다고 판정된 경우는 입 및 눈의 검출 결과로부터 정수리부의 위치를 산출한다. 이와 같이, 정수리부의 위치를 체크함으로써 오검출을 방지한다.

다음에, 스텝 S37에 있어서 영역 수정부(318)는 살색 영역을 둘러싸는 직사각형 영역을 계산한다.

다음에, 스텝 S38에 있어서 판정부(319)는 눈 및 입에 있어서의 엣지 밀도가 소정의 임계치 이상이며, 또한 입의 붉은 빛이 소정의 임계치 이상인 것 등의 조건을 이용하여 얼굴인지 여부의 판정을 행한다.

마지막으로, 스텝 S39에 있어서 복수 얼굴이 검출된 경우에 얼굴 추출 영역을 선택하여, 이 얼굴 영역을 트리밍부(400)에 공급한다.

또, 판정부(319)에 의해 상술한 바와 같은 얼굴 판정을 행하여 얼굴 영역을 선택하는 것은, 예를 들어 촬영된 화상 데이터 내에 아이를 안은 부모가 함께 찍혀 있는 경우에, 얼굴 영역이 복수 검출되어 아이의 얼굴 영역을 잘 추출할 수 없게 되어 버리는 것을 방지하기 위함이다. 예를 들어, 판정부(319)에서는 촬영된 화상 데이터 전체의 중심에 가까운 얼굴 영역을 선택한다.

트리밍부(400)는, CPU(78)의 계산에 의해 도31에 도시한 바와 같이 입력된 얼굴 영역을 기초로 하여, 원화상 데이터(901) 내의 인물(902)이 균형적으로 배치되도록 트리밍 영역(903)을 산출하여 트리밍을 행한다. 또한 트리밍부(400)는, CPU(78)에 의해 도32에 도시한 바와 같이 입력된 얼굴 영역을 기초로 하여, 원화상 데이터(904) 내에 인물(905 및 906) 중 2명이 배치되어 있는 경우, 보다 중앙에 가까운 인물(905)을 기준으로 트리밍 범위(907)를 산출하여 트리밍을 행한다. 또한 트리밍부(400)는, CPU(78)의 계산에 의해 도33에 도시한 바와 같이 입력된 얼굴 영역을 기초로 하여, 원화상 데이터(908) 내의 인물의 눈이나 입의 위치를 특정할 수 없는 경우, 정수리부의 위치를 기준으로 추정 피사체 영역(909)을 산출하여, 원화상 데이터(908) 내의 유효 영역을 트리밍 영역(910)으로 한다.

이하에서는, 원화상 데이터(901, 904, 908)의 화상 사이즈를 폭 × 높이가 960 ×1280 화소라 하고, 얼굴 영역이 공급된 후의 트리밍부(400)의 화상 처리의 동작을 도34 및 도35를 기초로 하여 설명한다. 도34 및 도35는, 트리밍부(400)의 트리밍 방법을 나타내는 흐름도이다. 또한, 이하에서는 상술한 피사체 검출부(300)의 각부에서 검출한 정수리부, 눈 및 입의 위치와 얼굴의 중심선이 RAM(73)에 기억되어 있는 것으로서 설명한다.

우선, 도34에 도시한 바와 같이 스텝 S41에 있어서 CPU(78)는 정수리부 검출부(313)에 의해 검출된 정수리부(toh)의 위치를 RAM(73)으로부터 판독한다. 이하에서는, RAM(73)으로부터 판독한 정수리부의 위치를 toh라 한다.

다음에 CPU(78)는, 스텝 S42에 있어서 입 검출부(314)에 의해 검출된 입의 위치를 RAM(73)으로부터 판독한다. 이하에서는, RAM(73)으로부터 판독한 입의 위치를 mouth라 한다.

다음에 스텝 S43에 있어서, CPU(78)는 정수리부로부터 입까지의 길이를 toh_mouth로서 산출한다. 즉 CPU(78)는, toh_mouth ＝ mouth-toh라 하는 계산을 행한다.

다음에 스텝 S44에 있어서, CPU(78)는 두상 마진, 즉 상부 여백부(A)의 길이를 정수리부(toh)로부터 입(mouth)까지의 길이의 1/4이라 하여, 상부 여백부(A) ＝ (toh_mouth × 1/4)라 하는 계산을 행한다.

다음에 스텝 S45에 있어서, CPU(78)는 트리밍 영역(903)의 상부 개시 위치를 정수리부(toh)의 위치로부터 상부 여백부(A)의 길이만큼 상방으로 하여, 상부 개시 위치(sty1) ＝ toh - (toh_mouth × 1/4)라 하는 계산을 행한다.

다음에 스텝 S46에 있어서, CPU(78)는 상부 개시 위치(sty1)가 원화상 데이터(901)로부터 상방으로 비어져 나온 위치에 있는지 여부를 판단한다. 즉 CPU(78)는, 상부 개시 위치(sty1) ＜ 0인지를 판단하여 상부 개시 위치(sty1) ＜ 0인 경우에 처리를 스텝 S47로 진행시키고, 상부 개시 위치(Sty1) ≥ 0인 경우에 처리를 스텝 S48로 진행시킨다.

스텝 S47에 있어서, CPU(78)는 상부 개시 위치(Sty1)가 원화상 데이터(901)로부터 상측으로 비어져 나온 위치에 있는 경우, 상부 개시 위치(sty1)를 원화상 데이터(901)의 상단부라 하는, 즉 상부 개시 위치 ＝ 0이라 하는 계산을 행한다. 그리고 CPU(78)는, 스텝 S48로 처리를 진행시킨다.

다음에 스텝 S48에 있어서, CPU(78)는 입의 위치(mouth)로부터 하부 종료 위치까지의 거리가 정수리부(toh)로부터 입까지의 거리와 동일하다고 하여, 하부 종료 위치(edy1) ＝ mouth + (toh_mouth × 1/1)이라 하는 계산을 행한다.

다음에 스텝 S49에 있어서, CPU(78)는 하부 종료 위치(edy1)가 원화상 데이 터(901)로부터 하방으로 비어져 나온 위치에 있는지 여부를 판단하는, 즉 하부 종료 위치(edy1) ＞ 1279인지를 판단하여 하부 종료 위치(edy1) ＞ 1279인 경우에 처리를 스텝 50으로 진행시키고, 하부 종료 위치(edy1) ≤ 1279인 경우에 처리를 스텝 S51로 진행시킨다.

스텝 S50에 있어서, CPU(78)는 하부 종료 위치(edy1)가 원화상 데이터(901)로부터 하방으로 비어져 나온 위치에 있는 경우, 하부 종료 위치(edy1)를 원화상 데이터(901)의 하단부라 하는, 즉 하부 종료 위치(edy1) ＝ 1279라 하는 계산을 행하여 처리를 스텝 S51로 진행시킨다.

스텝 S51에 있어서, CPU(78)는 트리밍 영역(903)의 종방향의 높이를 화상 높이(Y)라 하고, 화상 높이(Y) ＝ 하부 종료 위치(edy1) - 상부 개시 위치(sty1)라 하는 계산을 행한다.

다음에 도35에 도시한 바와 같이, 스텝 S52에 있어서 CPU(78)는 화상 높이(Y)와 원화상 데이터(901)의 높이를 비교하여, 화상 높이(Y)가 원화상 데이터(901)의 높이보다도 작은 경우에 처리를 스텝 S60으로 진행시키고, 화상 높이(Y)가 원화상 데이터(901)의 높이보다도 큰 경우에 처리를 스텝 S53으로 진행시킨다.

스텝 S53에 있어서, CPU(78)는 눈의 위치를 RAM(73)으로부터 판독한다. 이하에서는, RAM(73)으로부터 판독한 눈의 위치를 EYE라 한다.

다음에 스텝 S54에 있어서, CPU(78)는 눈으로부터 입까지의 길이를 eye_mouth라 하고, toh_mouth ＝ mouth-toh라 하는 계산을 행한다.

다음에 스텝 S55에 있어서, CPU(78)는 eye_mouth와 입으로부터 하부 종료 위치(edy2)까지의 길이와의 비가 1 : 2가 되도록 하부 종료 위치(edy2)를 산출한다. 즉 CPU(78)는, edy2 ＝ mouth + (eye_mouth × 2/1)이라 하는 계산을 행한다.

다음에 스텝 S56에 있어서, CPU(78)는 하부 종료 위치(edy2)가 원화상 데이터(901)로부터 하방으로 비어져 나온 위치에 있는지 여부를 판단한다, 즉, 하부 종료 위치(edy2) ＞ 1279인지를 판단하여 하부 종료 위치(edy2) ＞ 1279인 경우에 처리를 스텝 S57로 진행시키고, 하부 종료 위치(edy1) ≤ 1279인 경우에 처리를 스텝 S58로 진행시킨다.

스텝 S57에 있어서, CPU(78)는 하부 종료 위치(edy2)가 원화상 데이터(901)로부터 하방으로 비어져 나온 위치에 있는 경우, 하부 종료 위치(edy2)를 원화상 데이터(901)의 하단부라 하는, 즉 하부 종료 위치(edy2) ＝ 1279라 하는 계산을 행하여, 처리를 스텝 S58로 진행시킨다.

스텝 S58에 있어서, CPU(78)는 edy1과 edy2의 크기의 비교를 행하여 edy1 ＞ edy2인 경우 처리를 스텝 S59로 진행시키고, edy1 ≤ edy2인 경우 처리를 스텝 S60으로 진행시킨다.

스텝 S59에 있어서, CPU(78)는 트리밍 영역(903)의 종방향의 높이를 화상 높이(Y)라 하고, 화상 높이(Y) ＝ 하부 종료 위치(edy2) - 상부 개시 위치(sty1)라 하는 계산을 행하여 처리를 스텝 S60으로 진행시킨다.

스텝 S60에 있어서, CPU(78)는 트리밍 영역(903)의 횡방향의 폭을 화상폭(X)이라 하고, 화상폭(X) 및 화상 높이(Y)의 종횡비가 1.42이므로, 화상폭(X) ＝ 화상 높이(Y)/1.42라 하는 계산을 행한다.

다음에 스텝 S61에 있어서, CPU(78)는 중앙선 검출부(317)에 의해 검출된 정수리부의 위치를 RAM(73)으로부터 판독한다. 이하에서는, RAM(73)으로부터 판독한 중앙선의 위치를 COH라 한다.

다음에 스텝 S62에 있어서, CPU(78)는 중앙선의 위치(COH)를 중심으로 화상폭(X)이 되도록 트리밍 범위의 최좌단부를 좌단부 개시 위치(stx1), 최우단부를 우단부 종료 위치(edx1)로 하여 이들 stx1 및 edx1을 산출한다.

다음에 스텝 S63에 있어서, CPU(78)는 좌측부 개시 위치(stx1)가 원화상 데이터(901)로부터 좌측으로 비어져 나온 위치에 있는지 여부를 판단한다. 즉, 좌측부 개시 위치(stx1) ＜ 0인지를 판단하여 좌측부 개시 위치(stx1) ＜ O인 경우에 처리를 스텝 S64로 진행시킨다. 또 스텝 S63에 있어서 CPU(78)는, 우측부 종료 위치(edx1)가 원화상 데이터(901)로부터 우측으로 비어져 나온 위치에 있는지 여부를 판단하는, 즉 우측부 종료 위치(edx1) ＞ 959인지를 판단하여 우측부 종료 위치(edx1) ＞ 959인 경우에 처리를 스텝 S64로 진행시킨다. 또 스텝 S63에 있어서 CPU(78)는, 좌측부 개시 위치(stx1) ≥ 0인 경우에 또한 우측부 종료 위치(edx) ≤ 959인 경우에 처리를 스텝 S65로 진행시킨다.

스텝 S64에 있어서 CPU(78)는, 원화상 데이터(901)로부터 비어져 나온 부분에 백지 영역을 추가하기 위해, 원화상 데이터(901)에 화상 데이터를 가하여 처리를 스텝 S65로 진행시킨다.

스텝 S65에 있어서 CPU(78)는, sty1, edy1(edy2), stx1, edx1을 기초로 하여 트리밍 범위(903)를 결정하여 원화상 데이터(901)로부터 트리밍을 행한다.

이상과 같은 처리에 의해 트리밍부(400)는, 원화상 데이터(901)로부터 트리밍 범위(903)를 트리밍한다.

트리밍부(400)는, 이러한 처리에 의해 얼굴부 : 흉부 : 상부 여백부의 치수 비율이 1 : 1 : 0.25가 되도록 트리밍 범위(903)를 결정할 수 있는 동시에, 얼굴의 위치가 좌우 중 어느 쪽인지에 따라 폐쇄된 경우도 공백 영역을 원화상 데이터(901)에 부가함으로써 얼굴의 위치가 중심이 되도록 트리밍 범위(903)를 결정할 수 있다.

또한, 트리밍부(400)는 인화지의 종횡비가 결정되어 있으므로, 화상 높이를 산출한 후에 화상폭을 쉽게 산출할 수 있다.

여기서, 피사체 검출부(300)의 각부가 위치 검출에 실패한 경우의 트리밍부(400)의 화상 처리의 동작을 도36을 기초로 하여 설명한다. 도36은, 트리밍부(400)의 트리밍 방법을 나타내는 흐름도이다.

우선, 스텝 S71에 있어서 CPU(78)는 정수리부 검출부(313)에 의해 정수리부의 위치가 검출되어 있는지를 판단하여 검출되어 있지 않으면 처리를 스텝 S73으로 진행시키고, 검출되어 있으면 처리를 스텝 S72로 진행시킨다.

스텝 S72에 있어서 CPU(78)는, 정수리부 검출부(313)에 의해 검출된 정수리부의 위치를 RAM(73)으로부터 판독한다. 이하에서는, RAM(73)으로부터 판독한 정수리부의 위치를 TOH라 한다.

다음에 스텝 S74에 있어서, CPU(78)는 트리밍 영역(910)의 최상단부로부터 원화상 데이터(908)의 높이의 1/10의 위치가 되도록 상부 개시 위치(sty1)를 산출한다. 즉, CPU(78)는 상부 개시 위치(sty1) ＝ toh - (1280/10)이 되는 계산을 행하여, 처리를 스텝 S75로 진행시킨다.

한편, 스텝 S71에 있어서, 정수리부가 검출되어 있지 않다고 판단된 경우, 스텝 S73에 있어서 CPU(78)는 트리밍 영역(910)의 상단부를 원화상 데이터(908)의 상단부로서 상부 개시 위치(Sty1)를 산출한다. 즉 CPU(78)는, 상부 개시 위치(Sty1) ＝ 0이 되는 계산을 행하여 처리를 스텝 S75로 진행시킨다.

스텝 S75에 있어서, CPU(78)는 트리밍 영역(910)의 최하단부를 원화상 데이터(908)의 최하단부로 하여 하부 종료 위치(edy1)를 산출한다. 즉, CPU(78)는 하부 종료 위치(edy1) ＝ 1279가 되는 계산을 행한다.

다음에 스텝 S76에 있어서, CPU(78)는 트리밍 영역(910)의 종방향의 높이를 화상 높이(Y)라 하고, 화상 높이(Y) ＝ 하부 종료 위치(edy1) - 상부 개시 위치 (sty1)라 하는 계산을 행한다.

다음에 스텝 S77에 있어서, CPU(78)는 트리밍 영역(910)의 횡방향의 폭을 화상폭(X)이라 하고, 화상폭(X) 및 화상 높이(Y)의 종횡비가 1.42이므로 화상폭(X) ＝ 화상 높이(Y)/1.42라 하는 계산을 행한다.

다음에 스텝 S78에 있어서, CPU(78)는 중앙선의 위치(COH)를 중심으로 화상폭(X)이 되도록 트리밍 범위의 최좌단부를 좌단부 개시 위치(stx1), 최우단부를 우단부 종료 위치(edx1)로 하여 이들 stx1 및 edx1을 산출한다. 또, 중앙선의 위치(COH)가 검출되어 있지 않은 경우는, 원화상 데이터(908)의 유효 영역 전체의 폭의 중심을 COH로 바꾸어 이용해도 좋다.

다음에 스텝 S79에 있어서, CPU(78)는 sty1, edy1, stx1, edx1을 기초로 하여 트리밍 범위(910)를 결정하여 원화상 데이터(908)로부터 트리밍을 행한다.

이상과 같은 처리에 의해 트리밍부(400)는, 원화상 데이터(908)로부터 트리밍 범위(910)를 트리밍한다.

트리밍부(400)는, 피사체 검출부(300)가 정수리부나 입의 위치를 검출할 수 없었던 경우라도, 트리밍 범위(903)를 적절하게 결정할 수 있다. 여기서, 피사체 검출부(300)가 정수리부나 입의 위치를 검출할 수 없었던 경우라 함은, 촬영 장치(1)를 설치할 장소가 병원이라고 하는 것이므로, 예를 들어 붕대를 감고 있는 경우, 안경을 쓰고 있는 경우, 마스크를 하고 있는 경우 등을 생각할 수 있다. 트리밍부(400)는, 사진 촬영을 하는 사람이 그와 같은 상태라도 적절히 트리밍을 행할 수 있다.

또, 피사체 검출부(300)에 있어서 정수리부, 눈 및 입을 검출할 수 없었던 경우, 트리밍부(400)는 도37에 도시한 바와 같이 전화상 데이터(900) 내에 인물(902)이 찍힌 영역인 유효 영역(901)의 화상폭을 기초로 하여, 종횡비로부터 화상 높이를 산출하도록 해도 좋다. 여기서, 도37에 도시하는 인물(902)이 찍힌 영역 이외의 띠부(B1과 B2)는, 촬영 장치(1)의 구조에 의해 찍히는 그림자로, 아무것도 찍혀 있지 않은 부분이다. 이 띠부(B1과 B2)는 촬영 장치(1)에 있어서 종방향으로 슬릿이 마련되고, 이 슬릿을 거쳐서 촬영부(17)가 촬영을 행하기 위해 발생한다. 트리밍부(400)는 이 띠부(B1과 B2)가 서로 평행하므로, 전화상 데이터(900)로부터 유효 영역(901) 절출시에 이들 사이를 화상폭이 되도록 트리밍을 행한다.

본 발명에 관한 화상 처리 장치가 촬영한 입력 화상으로부터 얼굴 영역을 검출하여 오토 트리밍하기 위해, 피촬영자는 촬영 장치의 의자에 앉는 것만으로 상술한 도24의 (b)에 도시한 바와 같은 균형적인 증명 사진을 항상 얻을 수 있다. 이러한 화상 처리 장치를 촬영 장치(1)가 구비함으로써, 사진 촬영을 하는 사람이 의자의 높이를 조절할 필요가 없어져 사용자에의 편리성이 향상된다.

또한, 본 발명에 관한 화상 처리 장치는 병원 내 등에서 사용되는 촬영 장치(1)에 구비되는 것으로, 사진 촬영을 하는 사람이 휠체어를 타고 있거나 목발을 짚고 있거나 부모가 아이를 안고 있는 경우 등을 생각할 수 있으므로, 촬영한 화상 데이터의 중심에 항상 얼굴이 위치하는 것은 아니지만, 그러한 경우라도 자동적으로 화상을 트리밍하여 얼굴이 균형적으로 배치된 화상을 얻을 수 있다.

또한, 본 발명에 관한 화상 처리 장치는 병원 내 등에서 사용되는 촬영 장치(1)에 구비되는 것으로, 사진 촬영을 하는 사람이 얼굴에 붕대를 감고 있거나, 안경을 끼고 있거나, 마스크를 하고 있는 경우 등을 생각할 수 있으므로 정수리부, 눈 및 입의 검출에 실패하는 경우가 있지만, 그러한 경우라도 자동적으로 화상을 트리밍하여 얼굴이 균형적으로 배치된 화상을 얻을 수 있다.

이상, 병원 등에 설치되는 사진 부스를 예로 들어 설명하였지만, 본 발명은 이에 한정되는 것은 아니며, 예를 들어 길목 등에 설치되는 증명 사진 장치나 게임 센터 등에 설치되는 장치에 적용할 수도 있다. 이에 의해, 길목이나 게임 센터 등에 설치된 장치도 신체 장애자에게 있어서 사용하기 쉬운 것이 된다.

또한, 상술한 설명에서는 트리밍부(400) 이외에 대해 하드웨어의 구성으로서 설명하였지만, 이에 한정되는 것은 아니며 임의의 처리를 트리밍부(400)와 마찬가지로 CPU(78)에 컴퓨터 프로그램을 실행시킴으로써 실현하는 것도 가능하다. 이 경우, 컴퓨터 프로그램은 기록 매체에 기록하고 제공하는 것도 가능하고, 또한 인터넷 외의 전송 매체를 거쳐서 전송함으로써 제공하는 것도 가능하다.

또 본 발명은, 상술한 예에 한정되는 것은 아니며 첨부한 청구의 범위 및 그 주지를 일탈하는 일 없이 다양한 변경 및 치환 또는 그 동등한 것을 행할 수 있는 것은 당업자에 있어서 명백하다.

본 발명은, 증명 사진 등의 인물이 촬영된 화상에 있어서의 인물 화상이 인화지 내에서 소정 위치가 되도록 트리밍하는 화상 추출 장치, 화상 추출 방법, 화상 처리 장치, 화상 처리 방법 및 촬영 장치에 이용할 수 있다.

Claims

삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
인물의 화상으로부터 얼굴 영역을 추출하는 얼굴 영역 추출 수단과,

상기 얼굴 영역 추출 수단에 의해 추출된 얼굴 영역을 기초로 하여 결정된 트리밍 범위에서 상기 인물 화상의 트리밍을 행하는 트리밍 수단과,

상기 얼굴 영역 추출 수단에 의해 추출된 얼굴 영역으로부터 상기 인물의 화상의 정수리부, 입 및 눈의 위치를 검출하는 위치 검출 수단과,

상기 위치 검출 수단에 의해 검출된 상기 인물의 정수리부의 위치 및 입의 위치로부터 상기 인물의 정수리부로부터 입까지의 거리를 산출하는 동시에, 상기 위치 검출 수단에 의해 검출된 상기 인물의 정수리부, 입 및 눈의 위치 중 적어도 하나로부터 상기 인물의 얼굴을 좌우로 등분하는 중심선을 산출하는 산출 수단을 구비하고,

상기 트리밍 수단은 상기 위치 검출 수단에 의해 검출된 상기 인물의 정수리부와, 상기 산출 수단에 의해 산출된 상기 인물의 정수리부로부터 입까지의 거리와, 상기 산출 수단에 의해 산출된 상기 인물의 얼굴을 좌우로 등분하는 중심선을 기초로 하여 트리밍 범위를 결정하고 트리밍을 행하고,

상기 트리밍 수단은 상기 위치 검출 수단이 상기 인물의 입의 위치를 검출할 수 없었을 때, 상기 화상의 최상단부를 상기 트리밍 범위의 최상단부로 하는 동시에, 상기 화상의 최상단부로부터 상기 위치 검출 수단이 검출한 상기 인물의 정수리부까지를 상부 여백부라 하고, 상기 상부 여백부의 치수와 상기 위치 검출 수단이 검출한 상기 인물의 정수리부의 위치와 상기 화상 내에 인물이 유효하게 배치되는 유효 영역의 폭을 기초로 하여 상기 트리밍 범위의 최하단부를 결정하여 트리밍을 행하는 것을 특징으로 하는 화상 처리 장치.
삭제
제15항에 있어서, 상기 트리밍 수단은 상기 위치 검출 수단에 의해 검출된 상기 인물의 정수리부의 위치로부터 상기 인물의 입의 위치까지를 얼굴부, 상기 위치 검출 수단에 의해 검출된 상기 인물의 입의 위치로부터 트리밍 범위의 최하단부까지를 흉부, 상기 트리밍 범위의 최상단부로부터 상기 위치 검출 수단에 의해 검출된 상기 인물의 정수리부까지를 상부 여백부라 하고, 얼굴부, 흉부 및 상부 여백부의 치수 비율이 1 : 0.6 내지 1 : 0.2 내지 0.3이 되도록 상기 트리밍 범위의 최상단부 및 최하단부를 결정하여 트리밍을 행하는 것을 특징으로 하는 화상 처리 장치.
제17항에 있어서, 상기 트리밍 수단은 결정된 상기 트리밍 범위의 최상단부로부터 최하단부까지의 거리로부터 종횡비가 1.42가 되도록 상기 트리밍 범위의 횡방향의 폭을 결정하고, 상기 산출 수단에 의해 산출된 상기 인물의 얼굴을 좌우로 등분하는 중심선을 기초로 하여 상기 트리밍 범위의 최좌단부 및 최우단부를 결정하여 트리밍을 행하는 것을 특징으로 하는 화상 처리 장치.
삭제
제15항에 있어서, 상기 트리밍 수단은 상기 위치 검출 수단이 상기 인물의 정수리부 및 입의 위치를 검출할 수 없었을 때, 상기 화상 내에 인물이 유효하게 배치되는 유효 영역의 전체를 상기 트리밍 범위로 하여 트리밍을 행하는 것을 특징으로 하는 화상 처리 장치.
인물의 화상으로부터 얼굴 영역을 추출하는 얼굴 영역 추출 공정과,

상기 얼굴 영역 추출 공정에 의해 추출된 얼굴 영역을 기초로 하여 결정된 트리밍 범위에서 상기 인물 화상의 트리밍을 행하는 트리밍 공정과,

상기 얼굴 영역 추출 공정에 의해 추출된 얼굴 영역으로부터 상기 인물의 화상의 정수리부, 입 및 눈의 위치를 검출하는 위치 검출 공정과,

상기 위치 검출 공정에 의해 검출된 상기 인물의 정수리부의 위치 및 입의 위치로부터 상기 인물의 정수리부로부터 입까지의 거리를 산출하는 동시에, 상기 위치 검출 공정에 의해 검출된 상기 인물의 정수리부, 입 및 눈의 위치 중 적어도 하나로부터 상기 인물의 얼굴을 좌우로 등분하는 중심선을 산출하는 산출 공정을 갖고,

상기 트리밍 공정에서는 상기 위치 검출 공정에 의해 검출된 상기 인물의 정수리부와, 상기 산출 공정에 의해 산출된 상기 인물의 정수리부로부터 입까지의 거리와, 상기 산출 공정에 의해 산출된 상기 인물의 얼굴을 좌우로 등분하는 중심선을 기초로 하여 트리밍 범위를 결정하여 트리밍을 행하고,

상기 트리밍 공정에서는 상기 위치 검출 공정이 상기 인물의 입의 위치를 검출할 수 없었을 때, 상기 화상의 최상단부를 상기 트리밍 범위의 최상단부로 하는 동시에, 상기 화상의 최상단부로부터 상기 위치 검출 공정이 검출한 상기 인물의 정수리부까지를 상부 여백부라 하고, 상기 상부 여백부의 치수와 상기 위치 검출 공정이 검출한 상기 인물의 정수리부의 위치와 상기 화상 내에 인물이 유효하게 배치되는 유효 영역의 폭을 기초로 하여 상기 트리밍 범위의 최하단부를 결정하여 트리밍을 행하는 것을 특징으로 하는 화상 처리 방법.
삭제
제21항에 있어서, 상기 트리밍 공정에서는 상기 위치 검출 공정에 의해 검출된 상기 인물의 정수리부의 위치로부터 상기 인물의 입의 위치까지를 얼굴부, 상기 위치 검출 공정에 의해 검출된 상기 인물의 입의 위치로부터 트리밍 범위의 최하단부까지를 흉부, 상기 트리밍 범위의 최상단부로부터 상기 위치 검출 공정에 의해 검출된 상기 인물의 정수리부까지를 상부 여백부라 하고, 얼굴부, 흉부 및 상부 여백부의 치수 비율이 1 : 0.6 내지 1 : 0.2 내지 0.3이 되도록 상기 트리밍 범위의 최상단부 및 최하단부를 결정하여 트리밍을 행하는 것을 특징으로 하는 화상 처리 방법.
제23항에 있어서, 상기 트리밍 공정에서는 결정된 상기 트리밍 범위의 최상단부로부터 최하단부까지의 거리로부터 종횡비가 1.42가 되도록 상기 트리밍 범위의 횡방향의 폭을 결정하고, 상기 산출 공정에 의해 산출된 상기 인물의 얼굴을 좌우로 등분하는 중심선을 기초로 하여 상기 트리밍 범위의 최좌단부 및 최우단부를 결정하여 트리밍을 행하는 것을 특징으로 하는 화상 처리 방법.
삭제
제21항에 있어서, 상기 트리밍 공정에서는 상기 위치 검출 공정이 상기 인물의 정수리부 및 입의 위치를 검출할 수 없었을 때, 상기 화상 내에 인물이 유효하게 배치되는 유효 영역의 전체를 상기 트리밍 범위로 하여 트리밍을 행하는 것을 특징으로 하는 화상 처리 방법.
인물을 촬영하는 촬영 수단과,

제15항, 제17항, 제18항 및 제20항 중 어느 한 항에 기재된 화상 처리 장치를 포함하는 것을 특징으로 하는 촬영 장치.
삭제
삭제
삭제
삭제
삭제
삭제