KR20130106256A

KR20130106256A - 생체 정보 처리 장치

Info

Publication number: KR20130106256A
Application number: KR1020120101330A
Authority: KR
Inventors: 히로오 사이토; 히로시 스케가와
Original assignee: 가부시끼가이샤 도시바
Priority date: 2012-03-19
Filing date: 2012-09-13
Publication date: 2013-09-27
Anticipated expiration: 2032-09-13
Also published as: US20130243278A1; JP6026119B2; US9684850B2; JP2013196295A; KR101381455B1; MX2012010637A

Abstract

대조의 정밀도를 높인다.
실시 형태의 생체 정보 처리 장치는, 영역 검출 수단과, 특징 추출 수단과, 판정 수단을 구비한다. 영역 검출 수단은 화상 정보로부터, 인물이 표시되어 있는 영역을 검출한다. 특징 추출 수단은 화상 정보로부터, 영역 검출 수단으로 검출된 영역으로부터 인물의 특징적인 부위에 기초한 특징 정보를 추출한다. 판정 수단은 특징 추출 수단으로 추출된 특징 정보에 대하여, 인물의 특징적인 부위를 추출할 수 있었는지 여부를 나타낸 추출 정밀도를 특징적인 부위의 위치에 기초하여 판정한다.

Description

생체 정보 처리 장치{BIOMETRIC INFORMATION PROCESSING DEVICE}

본 발명의 실시 형태는 생체 정보 처리 장치에 관한 것이다.

종래부터, 피인증자의 생체 정보(예를 들어, 얼굴, 손의 상태)의 특징이나 상태에 기초하여 인물의 대조를 행하는 기술이 개발되어 있다. 인증을 행하기 위해서, 피인증자의 생체 정보가 찍힌 화상 데이터로부터 특징점 검출이 적절하게 행해지지 않으면, 대조 정밀도에 악영향을 미칠 가능성이 있다.

이로 인해, 최근 들어, 특징점의 추출 정밀도를 향상시키기 위한 기술이 제안되고 있다.

일본 특허 공개 평05-225344호 공보

그러나, 종래 기술에서 추출 정밀도가 향상되었다고 해도, 특징점의 검출에서 오류가 발생할 가능성은 존재한다. 따라서, 특징점의 검출이 적절한지를 체크하고, 대조 처리에 적합한 품질인지의 여부를 확인하는 것이 바람직하다.

실시 형태의 생체 정보 처리 장치는, 영역 검출 수단과, 특징 추출 수단과, 판정 수단을 구비한다. 영역 검출 수단은 화상 정보로부터, 인물이 표시되어 있는 영역을 검출한다. 특징 추출 수단은 화상 정보로부터, 영역 검출 수단으로 검출된 영역으로부터 인물의 특징적인 부위에 기초한 특징 정보를 추출한다. 판정 수단은 특징 추출 수단으로 추출된 특징 정보에 대하여, 인물의 특징적인 부위를 추출할 수 있었는지 여부를 나타낸 추출 정밀도를 특징적인 부위의 위치에 기초하여 판정한다.

도 1은 제1 실시 형태에 따른 생체 정보 처리 장치의 구성을 도시하는 블록도이다.
도 2는 제1 실시 형태에 따른 생체 정보 처리 장치에 있어서의, 얼굴 검출 처리의 수순을 도시하는 흐름도이다.
도 3은 제1 실시 형태에 따른 특징 정보 판정부에 있어서의, 평가값의 산출 처리의 수순을 도시하는 흐름도이다.
도 4는 얼굴 검출의 위치 어긋남을 도시한 도면이다.
도 5는 검출된 양눈의 특징점이 위치 어긋남을 발생하고 있는 예를 도시한 도면이다.
도 6은 제1 실시 형태에 따른 수정부에 있어서의, 수정 처리의 수순을 도시하는 흐름도이다.
도 7은 검출 결과를 수정하기 위한 인터페이스 화면의 예를 도시한 도면이다.
도 8은 변형예에 따른 얼굴 특징 정보 추출부의 특징점의 추출 방법을 도시한 도면이다.
도 9는 제2 실시 형태에 따른 생체 정보 처리 장치의 구성을 도시하는 블록도이다.
도 10은 제2 실시 형태에 따른 특징점 섭동부에 의한 특징점의 섭동을 도시한 도면이다.
도 11은 제2 실시 형태에 따른 생체 정보 처리 장치에 있어서의, 특징 정보간의 유사도 판정 처리의 수순을 도시하는 흐름도이다.
도 12는 제3 실시 형태에 따른 생체 정보 처리 장치의 구성을 도시하는 블록도이다.
도 13은 제3 실시 형태에 따른 생체 정보 처리 장치에 있어서의, 특징 정보의 추출 정밀도의 판정 처리의 수순을 도시하는 흐름도이다.
도 14는 제4 실시 형태에 따른 생체 정보 처리 장치의 구성을 도시하는 블록도이다.
도 15는 제4 실시 형태에 따른 생체 정보 처리 장치에 있어서의, 특징 정보의 추출 정밀도의 판정 처리의 수순을 도시하는 흐름도이다.
도 16은 제1 내지 제4 실시 형태에 따른 생체 정보 처리 장치의 하드웨어 구성을 도시한 도면이다.

(제1 실시 형태)

도 1은 제1 실시 형태에 따른 생체 정보 처리 장치의 구성을 도시하는 블록도이다. 본 실시 형태에 따른 생체 정보 처리 장치(100)는 입력부(101)와, 파라미터 설정부(102)와, 얼굴 검출부(103)와, 얼굴 특징 정보 추출부(104)와, 특징 정보 판정부(105)와, 수정부(106)와, 출력부(107)와, 유사도 판정부(108)를 구비함과 함께, 카메라(150)와 접속되어 있다. 카메라가 촬상하는 화상 데이터는 동화상 데이터이거나 정지 화상 데이터여도 된다.

본 실시 형태에 따른 생체 정보 처리 장치(100)는 카메라(150)로부터 입력된 화상 데이터로부터 얼굴의 특징 정보를 추출하고, 대조용으로 사용하는 대조용 얼굴 정보 데이터베이스에 등록한다. 또한, 본 실시 형태는 얼굴로부터 특징 정보를 추출하는 예에 대하여 설명하지만, 얼굴로부터 특징 정보를 추출하는 것에 제한하는 것이 아니고, 얼굴 이외의 생체 정보가 찍힌 화상 데이터에 대하여 적용해도 된다. 적용 대상으로 되는 생체 정보로서는, 예를 들어, 홍채, 망막, 손이나 손가락의 정맥 패턴, 지문 패턴, 눈이나 귀나 입의 상태 등이 있다. 이것들을 복수 사용해도 되고, 어느 하나 사용하여 인증을 행해도 된다.

본 실시 형태에 따른 생체 정보 처리 장치(100)는 예를 들어, 대조용 얼굴 정보 데이터베이스에 기억된 대량의 인물 화상 데이터로부터 특정한 인물을 검색하고자 하는 경우에 적용하는 것이 생각된다. 예를 들어, 생체 정보 처리 장치(100)가 카메라(150)가 촬상한 감시 영상으로부터 수집한 대량의 얼굴 화상 데이터에 기초하는 특징 정보를 대조용 얼굴 정보 데이터베이스에 등록함으로써, 상기 대조용 얼굴 정보 데이터베이스를 사용한 특정한 인물을 대조, 검색을 가능하게 한다.

그런데, 감시 영상에 포함되어 있는 화상 데이터로부터 얼굴의 특징 정보로서, 특징점을 검출할 때에, 처리에서 특징점이 어긋나거나, 검출할 수 없거나 하는 경우가 있다. 이러한 특징 정보를 그대로 등록하면, 대조 시에 오류가 발생할 가능성이 있다. 그로 인해, 등록할 때에 특징점의 검출의 타당성을 확인하고, 필요에 따라 수정하는 것이 바람직한데, 수동이라면 부담이 크다. 따라서, 본 실시 형태에 따른 생체 정보 처리 장치(100)는 타당성의 확인과, 필요에 따른 수정을 실행한다.

입력부(101)는 카메라(150) 등의 촬영 수단으로부터 인물의 얼굴을 포함하는 화상 데이터를 입력 처리한다. 본 실시 형태에서는 카메라(150)로부터 입력된 예에 대하여 설명하는데, 카메라(150)에 제한하는 것이 아니라, 예를 들어, 스캐너 등이어도 된다. 그리고, 입력부(101)가 입력 처리한 화상 데이터는 (도시 생략된) A/D 변환기에 의해 디지털화된 후, 얼굴 검출부(103), 얼굴 특징 정보 추출부(104)에 출력된다.

파라미터 설정부(102)는 후술하는 얼굴 검출부(103)가 얼굴의 영역을 검출하기 위한 파라미터를 설정한다.

또한, 파라미터 설정부(102)는 후술하는 얼굴 특징 정보 추출부(104)가 얼굴의 특징점을 검출하기 위한 파라미터를 설정한다. 본 실시 형태에서는 하나의 얼굴에 대하여 얼굴의 특징점을 복수 검출한다(예를 들어, 14개).

본 실시 형태에서는 얼굴 검출부(103) 및 얼굴 특징 정보 추출부(104)에 대하여 조건을 상이하게 한 복수 종류의 파라미터를 설정한다. 이에 의해, 복수 종류의 얼굴의 특징 정보가 추출된다. 그리고, 본 실시 형태에서는 추출된 복수의 얼굴의 특징 정보 중, 가장 추출 정밀도가 높다고 판정된 특징 정보가 등록 등의 대상으로 된다.

본 실시 형태에서는 설정하는 복수 종류의 파라미터로서, 얼굴의 부위의 위치를 탐색하는 처리의 반복수, 화상의 확대율, 부품 검출의 사전, 필터 크기, 및 얼굴 방향마다의 배치 모델 중 적어도 1개 이상을 사용한다. 그리고, 이들 파라미터에 대하여 여러가지 값을 설정한 조합 φ1, ……, φN으로 한다. 그리고, 파라미터 설정부(102)가 φ1, ……, φN을, 얼굴 검출부(103) 및 얼굴 특징 정보 추출부(104)에 설정함으로써, N 종류의 얼굴의 특징 정보가 생성된다. 또한, 설정하는 파라미터는 예로서 나타낸 것이며, 다른 파라미터를 사용해도 된다.

또한, 파라미터 설정부(102)는 특징 정보 판정부(105)가 얼굴의 특징 정보를 판정하기 위한 임계값을 설정한다. 설정되는 임계값은 2종류(자동 설정용 임계값, 수동 설정용 임계값) 설정해도 된다. 또한, 자동 설정용 임계값 θ1> 수동 설정용 임계값 θ2로 한다. 2종류의 임계값을 설정한 경우, 판정 결과가 자동 설정용 임계값 θ1을 초과한 때에, 출력부(107)로부터 출력되어, 자동으로 대조용 얼굴 정보 데이터베이스(160)에 등록된다. 판정 결과가 자동 설정용 임계값 θ1 이하이고 또한 수동 설정용 임계값 θ2를 초과한 경우에는, 사람이 육안으로 확인한 후에 따른 수동의 대조용 얼굴 정보 데이터베이스(160)에의 등록이나, 얼굴의 특징 정보의 재차의 검출 등을 행한다. 자동 설정용 임계값 θ1의 이외에, 수동 설정용 임계값 θ2를 설정함으로써, 얼굴의 미검출을 억제한다.

얼굴 검출부(103)는 입력된 화상 데이터로부터 인물의 얼굴이 표시되어 있는 영역을 검출한다. 본 실시 형태에 따른 얼굴 검출부(103)는 입력된 화상 데이터로부터 1개 또는 복수의 얼굴의 영역을 검출한다.

본 실시 형태에 따른 얼굴 검출부(103)는 얼굴을 검출하기 위한 템플릿을, 도시하지 않은 기억부에 미리 기억해 둔다. 그리고, 얼굴 검출부(103)는 미리 준비한 템플릿을 입력된 화상 데이터 내에서 이동시키면서, 상관값을 산출하고, 산출된 상관값에 기초하여 얼굴의 영역을 검출한다. 본 실시 형태에 따른 검출 방법으로서는, 본 실시 형태에서는 상관값이 국소 최대값이 되는 위치를 특징점으로서 검출한다. 또한, 얼굴 영역의 검출 방법을 제한하는 것이 아니라, 예를 들어, 고유 공간법이나 부분 공간법을 사용하여 검출을 행해도 된다.

얼굴 특징 정보 추출부(104)는 얼굴 검출부(103)에서 검출된 영역으로부터 인물의 특징적인 부위에 기초한 특징 정보를 추출한다. 본 실시 형태에 따른 얼굴 특징 정보 추출부(104)는 얼굴의 특징 정보로서, 눈코 등의 얼굴의 부위의 위치를 추출한다.

본 실시 형태에 따른 얼굴 특징 정보 추출부(104)는 검출된 얼굴의 영역으로부터 눈, 코 등의 얼굴 부위의 위치를 추출한다. 검출 방법으로서는 어떤 방법을 사용해도 되지만, 예를 들어, 문헌(후쿠이 가즈히로, 야마구치 오사무: 「형상 추출과 패턴 대조의 조합에 의한 얼굴 특징점 추출」, 전자 정보 통신 학회 논문지(D), vol.J80-D-II, No.8, pp2170--2177(1997))에서 제안된 방법을 사용해도 된다.

본 실시 형태에서는 얼굴의 영역의 특징을 이용하는 예로 하지만, 다른 생체의 특징을 이용해도 된다. 예를 들어, 홍채·망막·눈의 화상을 특징 정보로서 추출해도 된다. 이러한 경우, 상기 처리에서 검출된 눈의 영역에 대하여 카메라를 줌함으로써 특징 정보의 검출이 가능하게 된다.

본 실시 형태에 따른 얼굴 특징 정보 추출부(104)는 검출된 얼굴의 영역으로부터 입의 영역(위치)도 추출한다. 입의 영역(위치)의 추출 방법으로서는, 예를 들어, 문헌(유아사 마유미, 나카지마 아키코: 「고정밀도 얼굴 특징점 검출에 기초하는 디지털 메이크 시스템」 제10회 화상 센싱 심포지엄 예고집, pp219-224(2004))를 사용해도 된다.

특징이 되는 부위의 검출 방법으로서, 상술한 어느 경우에도, 이차원 배열 형상의 화상 데이터로부터 생체적인 특징이 나타난 영역을 추출할 수 있다.

본 실시 형태와 상이하지만, 얼굴 특징 정보 추출부(104)가 1매의 화상 데이터로부터 1개의 생체적인 특징이 나타난 영역만을 추출하는 경우, 상기 화상 데이터의 전체 영역에 대하여 미리 준비된 템플릿과의 상관값을 구하고, 상기 상관값이 최대가 되는 위치와 크기의 영역을 추출하면 된다. 또한, 생체적인 특징을 복수 추출하는 경우, 화상 데이터의 전체 영역에 대해서 상관값의 국소 최대값을 구하고, 1매의 화상 내에서의 겹침을 고려하여 얼굴의 후보 위치를 좁힌다. 그때에, 시간 계열에서 연속하고 있는 다른 화상 데이터와의 관계성(시간적인 추이)도 고려하여, 복수의 생체적인 특징을 추출할 수도 있다. 특히 복수의 생체적인 특징이 동시에 검출된 경우에 효과가 나타나기 쉽다.

얼굴 특징 정보 추출부(104)가 추출된 생태적인 특징의 위치를 바탕으로, 얼굴 영역을 일정한 크기, 형상으로 잘라내고, 그 농담 정보를 특징 정보로서 사용한다. 본 실시 형태에서는 m 픽셀×n 픽셀의 영역의 농담값을 특징 정보로서 사용한다. 구체적으로는, m×n차원의 정보를 특징 벡터로서 사용한다. 예를 들어, 방법으로서 단순 유사도법을 사용하는 경우, 벡터와 벡터의 길이를 각각 1로 하도록 정규화를 행하고, 내적을 계산함으로써 특징 벡터 간의 유사성이 나타난 유사도가 산출된다.

1매의 화상으로부터의 인식 결과로 충분하다면, 이것으로 특징 추출은 완료되지만, 연속한 복수의 화상을 이용한 동화상으로부터 산출하면 정밀도가 높은 인식 처리를 행할 수 있다. 이로 인해, 본 실시 형태에서는 또한, 이하에 나타내는 처리를 행한다.

본 실시 형태에 따른 얼굴 특징 정보 추출부(104)는 입력부(101)로부터 연속하여 얻어진 화상 데이터로부터 상술한 방법에 의해 m×n 픽셀의 화상을 잘라낸 후, 이들 데이터를 특징 벡터의 상관 행렬을 구하고, K-L 전개에 의한 정규 직교 벡터를 구한다. 이에 의해, 얼굴 특징 정보 추출부(104)는 연속한 화상 데이터로부터 얻어지는 얼굴의 특징을 나타내는 부분 공간을 산출한다. 부분 공간의 산출법은 특징 벡터의 상관 행렬(또는 공분산 행렬)을 구하고, 그의 K-L 전개에 의한 정규 직교 벡터(고유 벡터)를 구한다. 이에 의해, 부분 공간을 산출한다. 부분 공간은 고유값에 대응하는 고유 벡터를 고유값이 큰 순서대로 k개 선정하고, 그 고유 벡터 집합을 사용하여 표현한다. 본 실시 형태에서는 상관 행렬 Cd를 특징 벡터로부터 산출하고, 상관 행렬 Cd=Φd Λd Φd T를 대각화하고, 고유 벡터의 행렬 Φ를 구한다. 이 행렬 Φ가 현재 인식 대상으로 하고 있는 인물의 얼굴의 특징을 나타내는 부분 공간이 된다.

복수의 얼굴이 검출된 경우에는, 예를 들어 4명의 보행자 각각 A 내지 D의 인물에 대하여 마찬가지의 처리를 반복하여 부분 공간 A 내지 부분 공간 D를 산출하면 된다. 산출된 부분 공간 A 내지 부분 공간 D를 얼굴의 특징 정보로 하여, 대조용 얼굴 정보 데이터베이스(160)에 등록해도 된다.

본 실시 형태에 따른 얼굴 특징 정보 추출부(104)는 상술한 방법으로 인물의 특징적인 부위에 기초한 특징 정보를 추출하는데, 다른 방법을 사용해도 된다.

본 실시 형태에 따른 얼굴 특징 정보 추출부(104)는 파라미터 설정부(102)에 의해 설정된 파라미터에 따라, 화상 데이터로부터 검출된 인물마다 N 종류의 특징 정보(특징 정보마다, 입, 코, 및 눈 등의 복수의 특징점을 포함함)를 추출한다.

특징 정보 판정부(105)는 얼굴 특징 정보 추출부(104)에 의해 추출된 특징 정보의 추출 정밀도를 인물의 특징적인 부위가 검출된 위치에 기초하여 판정한다. 이와 같이하여, 본 실시 형태에서는 특징 정보의 품질을 평가한다. 또한, 추출 정밀도는 상기 특징 정보에 인물의 특징적인 부위를 검출할 수 있었는지의 여부의 정도를 나타내고 있다.

본 실시 형태에 따른 특징 정보 판정부(105)는 인물마다 추출된 N 종류의 특징 정보 각각에 대하여 추출 정밀도의 판정을 행한다. 이에 의해, 가장 추출 정밀도가 높은 특징 정보를 특정할 수 있다. 본 실시 형태에서는 추출 정밀도가 가장 높았던 특징 정보가 대조용 얼굴 정보 데이터베이스(160)의 등록 대상으로 된다.

수정부(106)에서는 특징 정보 판정부(105)에 있어서 추출 정밀도가 부적절하다고 판단된 경우에, 화상 데이터, 얼굴의 영역 및 특징 정보 중 적어도 1개 이상을 수정한다.

출력부(107)는 얼굴 특징 정보 추출부(104)에서 추출된 얼굴의 특징 정보와, 추출원의 화상 데이터를 대응짓고, 대조용 얼굴 정보 데이터베이스(160)에 출력한다. 또한, 출력부(107)는 특징 정보의 추출원의 화상 데이터를 일람으로서 표시해도 된다. 그때에, 특징 정보 판정부(105)에 의한 판정 결과에 기초하여, 등록 성공 또는 실패의 후보자를 일람 표시해도 된다. 또한, 출력부(107)는 추출 정밀도를 나타내는 값의 표시, 수정 작업의 로그 표시, 이웃 또는 원격지에 설치된 기기에서의 영상 출력이나 음성 출력 등을 행해도 된다.

대조용 얼굴 정보 데이터베이스(160)는 인물을 동정하기 위하여 입력되는 특징 정보와 동일한 정보를, 특징 정보의 추출원의 화상 데이터와 대응지어서 기억한다. 본 실시 형태에 따른 대조용 얼굴 정보 데이터베이스(160)는 특징 정보로서, m×n의 특징 벡터를 기억하는데, 특징 추출을 하기 전의 얼굴 영역의 화상 데이터여도 되고, 이용하는 부분 공간이나 K-L 전개를 행하기 직전의 상관 행렬이어도 된다.

그리고, 대조용 얼굴 정보 데이터베이스(160)는 특징 정보 및 화상 데이터를 개인 식별 ID와 대응지어서 기억한다. 이에 의해, 개인 식별 ID를 키로 하여 특징 정보 및 화상 데이터를 검색할 수 있다. 대조용 얼굴 정보 데이터베이스(160)가 기억하는 얼굴의 특징 정보는 한명당 1개여도 되고, 복수의 특징 정보를 기억해도 된다. 복수의 특징 정보를 기억한 경우에, 상황(예를 들어 인물의 이동)에 따른 카메라 등의 전환과 동시에 동일 인물의 인식이 가능하게 된다.

본 실시 형태에서는 등록 조건이 컨트롤하기 어렵고, 각각 상이한 조건 일수록 효과가 나타나기 쉽기 때문에, 이용자마다 1개의 특징 정보를 관리하는 예로 설명한다. 그러나, 본 실시 형태는 1명당 복수의 특징 정보를 기억하는 것에 제한을 가하는 것이 아니고, 1명당 복수의 특징 정보를 기억한 경우에, 보행자가 우르르 걸어오는 얼굴 화상의 인증에 유용한 것으로부터도 명확하다.

등록 방법은 어떤 방법이어도 된다. 예를 들어, 출력부(107)가 각 감시 에리어에서 촬영된 얼굴 특징 정보와, 얼굴의 화상 데이터를 대응짓기하여 이력의 일람을 표시하고, 유저로부터, 일람으로부터 등록하고 싶은 인물의 선택을 접수한 경우에, 대조용 얼굴 정보 데이터베이스(160)에 등록하는 등이 생각된다.

유사도 판정부(108)는 카메라(150)로 촬영된 화상 데이터에 찍혀 있는 인물이, 대조용 얼굴 정보 데이터베이스(160)에 등록되어 있는 인물과 유사한지 여부를 판정한다.

예를 들어, 본 실시 형태에 따른 유사도 판정부(108)는 얼굴 검출부(103)에서 얻어진 입력 부분 공간과, 대조용 얼굴 정보 데이터베이스(160)에 등록된 적어도 하나의 복수의 부분 공간과의 유사도를 비교함으로써, 미리 등록된 인물이 현재의 화상 중에 있는지 여부의 판정을 행할 수 있다. 복수의 인물이 존재한 경우, 유사도 판정부(108)는 상기 처리를 검출된 인원수 만큼 반복함으로써 화면 내에 존재하는 인물 전원을 인식할 수 있다.

부분 공간끼리의 유사성을 구하는 계산 방법은, 부분 공간법이나 복합 유사도법 등의 방법을 사용하면 된다. 본 실시예에서의 인식 방법은, 문헌(후쿠이 가즈히로, 야마구치 오사무, 마에다 겐이치: 「동화상을 사용한 얼굴 인식 시스템」 전자 정보 통신 학회 연구 보고 PRMU, vol97, No.113, pp17-24(1997), 마에다 겐이치, 와타나베 사다카즈: 「국소적 구조를 도입한 패턴·매칭법」, 전자 정보 통신 학회 논문지(D), vol.J68-D, No.3, pp345--352(1985))에 있는 상호 부분 공간법을 사용한다.

상기 방법에서는 미리 축적된 등록 정보 중 인식 데이터도, 입력되는 데이터도 복수의 화상으로부터 계산되는 부분 공간으로서 표현되고, 2개의 부분 공간이 이루는 「각도」를 유사도로서 정의한다. 또한, 입력되는 부분 공간을 입력 수단분 공간이라고 칭한다. 입력 데이터 열에 대하여 마찬가지로 상관 행렬 Cin을 구하고, Cin=ΦinΛinΦinT로 대각화하고, 고유 벡터 Φin을 구한다. 2개의 Φin, Φd로 나타내어지는 부분 공간의 부분 공간간 유사도(0.0 내지 1.0)를 구하고, 이것을 인식하기 위한 유사도로 한다. 복수의 얼굴이 화상 내에 존재하는 경우에는 각각 순서대로 등록 얼굴 특징 관리 수단에 보존된 얼굴 화상과의 유사도 계산을 전수 적용 방식으로 계산하면 모든 인물에 대한 결과가 얻어진다.

예를 들어 X명의 인물이 걸어 왔을 때에 Y명분이 대조용 얼굴 정보 데이터베이스(160)에 등록되어 있는 경우, 유사도 판정부(108)는 X*Y회의 유사도 연산을 행함으로써, X명 전원의 결과를 출력할 수 있다. 또한, m매의 화상 데이터가 입력된 계산 결과에서 인식 결과를 출력할 수 없는 경우(등록자의 누구라고도 판정되지 않고 다음 프레임을 취득하여 계산하는 경우), 유사도 판정부(108)는 상기 부분 공간에 입력되는 상관 행렬을 그의 프레임의 1개분을 과거의 복수의 프레임에서 작성된 상관 행렬의 합에 추가하고, 다시 고유 벡터 계산, 부분 공간 작성을 행하여 입력측의 부분 공간의 갱신을 가능하게 한다. 즉, 보행자의 얼굴 화상을 연속하여 촬영하여 대조를 행하는 경우, 화상 데이터를 1매씩 취득하여 부분 공간을 갱신하면서 대조 계산함으로써, 서서히 정밀도가 높아지는 계산도 가능하게 된다.

본 실시 형태에서는 입력이 복수매의 화상 데이터인 것을 전제로 설명을 행했지만, 문헌(도시바(고자카야 다쓰오): 「화상 인식 장치, 방법 및 프로그램」 특허 공보 일본 특허 공개 제2007-4767)에 있는 바와 같이 1매의 얼굴 화상 데이터에 대하여 모델을 이용하여 얼굴의 방향이나 상태를 의도적으로 변동시킨 화상 데이터를 작성함으로써, 제1 대조 방식에서 이용한 상호 부분 공간법과 동일한 처리를 행할 수 있다.

이어서, 본 실시 형태에 따른 생체 정보 처리 장치(100)에 있어서의, 얼굴 검출 처리에 대하여 설명한다. 도 2는 본 실시 형태에 따른 생체 정보 처리 장치(100)에 있어서의 상술한 처리의 수순을 도시하는 흐름도이다.

우선, 입력부(101)가 카메라(150)로 촬상된 화상 데이터를 입력 처리한다(스텝 S201).

또한, 변수 i에는, 초기값으로서 '1'이 설정되어 있다. 그리고, 파라미터 설정부(102)는 변수 i가 파라미터 후보수 'N' 이하인지 판정한다(스텝 S202).

그리고, 파라미터 설정부(102)가, 변수 i가 파라미터 후보수 'N' 이하라고 판정한 경우(스텝 S202: "예"), 변수 i에 대응한 검출 파라미터를 얼굴 검출부(103) 및 얼굴 특징 정보 추출부(104)에 대하여 설정한다(스텝 S203).

그 후, 얼굴 검출부(103)는 설정된 검출 파라미터에 기초하여, 화상 데이터로부터 얼굴의 영역을 검출한다(스텝 S204).

이어서, 얼굴 특징 정보 추출부(104)가 화상 데이터로부터 얼굴의 특징 정보를 추출한다(스텝 S205). 그 후, 특징 정보 판정부(105)가 추출된 특징 정보에 대하여 추출 정밀도를 판정한다(스텝 S206). 본 실시 형태에서는 요소마다 추출 정밀도를 나타낸 평가값을 산출한다. 평가값에 대해서는, 예를 들어, 특징점 좌표의 분산 등을 사용할 수도 있다. 또한, 구체적인 판정 방법은 후술한다.

그 후, 변수 i에 '1'을 가산한 후, 스텝 S202의 처리로 복귀한다. 그리고, 스텝 S202에서, 변수 i가 파라미터 후보수 'N'보다 크다고 판정된 경우(스텝 S202: "아니오"), 특징 정보 판정부(105)가 N 종류의 특징 정보의 판정 결과를 비교한다(스텝 S207).

그 후, 특징 정보 판정부(105)가 N 종류의 특징 정보 중, 판정 결과가 가장 높았던 특징 정보를 선택한다(스텝 S208).

그리고, 특징 정보 판정부(105)가 선택한 특징 정보의 평가값의 각각 모두가 미리 정해진 임계값 'B' 이상인지의 여부를 판정한다(스텝 S209). 또한, 임계값 'B'는 실시 형태에 따라서 적절한 값이 설정되어 있는 것으로서, 설명을 생략한다. 미리 정해진 임계값 'B' 이하의 평가값이 1개도 없는 경우(스텝 S209: "예"), 스텝 S211로 진행한다.

미리 정해진 임계값 'B' 이하의 평가값이 1개라도 있었던 경우(스텝 S209: "아니오"), 수정부(106)가 판정값을 높게 하기 위한 수정을 행한다(스텝 S210).

그 후, 출력부(107)가 특징 정보를 화상 데이터와 대응짓고, 대조용 얼굴 정보 데이터베이스에 등록한다(스텝 S211).

이어서, 본 실시 형태에 따른 특징 정보 판정부(105)에 있어서의, 평가값의 산출 처리에 대하여 설명한다. 도 3은 본 실시 형태에 따른 특징 정보 판정부(105)에 있어서의 상술한 처리의 수순을 도시하는 흐름도이다.

우선, 특징 정보 판정부(105)는 얼굴 특징 정보 추출부(104)로부터, 얼굴의 특징 정보와, 상기 특징 정보의 추출원의 화상 데이터를 입력 처리한다(스텝 S301). 또한, 입력 처리된 화상 데이터 중, 얼굴 검출부(103)에 의해 검출된 얼굴의 영역도 입력 처리한다.

그리고, 특징 정보 판정부(105)는 화상 데이터에 대하여 화질 평가값을 산출한다(스텝 S302). 본 실시 형태에서는 화질 평가값을 산출하기 위한 평가 기준으로서 콘트라스트, 색의 분포를 사용한다. 예를 들어, 특징 정보 판정부(105)는 콘트라스트의 평가를 위해서, 콘트라스트비가 이하에 나타내는 수학식 1을 만족하는지의 여부를 판정한다.

또한, Lmax는 얼굴의 영역에 포함되어 있는 최대 휘도값이며, Lmin은 얼굴의 영역에 포함되어 있는 최소 휘도값으로 한다. θ_cont1, θ_cont2는 미리 정한 임계값으로 한다.

화질을 평가하는 다른 예로서는, 특징 정보 판정부(105)가 얼굴의 영역의 색의 빈도를 추출하고, 평균이나 분산이 있는 임계값의 범위를 만족하는지의 여부의 판정을 행한다. 나아가, 조도가 극단적으로 불충분하기 때문에 화면 전체가 검은지 여부를 판정해도 된다. 그리고, 특징 정보 판정부(105)가 이들 판정 결과를 화질 평가값으로서 출력한다.

이어서, 특징 정보 판정부(105)가 얼굴 검출 평가값을 산출한다(스텝 S303). 본 실시 형태에서는 얼굴 검출 평가로서, 얼굴 검출의 위치 어긋남이 발생하지 않았는지 여부를 판정한다. 도 4는 얼굴 검출의 위치 어긋남을 도시한 도면이다. 도 4에 도시하는 예에서는 영역(401)이 얼굴의 영역으로서 오검출된 것으로 한다.

따라서, 본 실시 형태에서는 특징 정보 판정부(105)는 얼굴 특징 정보 추출부(104)가 추출한 얼굴의 특징적인 부위의 위치(특징점)가 얼굴 검출부(103)가 검출한 얼굴의 영역에 포함되어 있는지의 여부에 기초하여 판정한다. 검출된 특징점의 수가 임계값보다도 많은 경우에, 얼굴의 영역으로서 검출된 위치가 어긋나 있다고 판정한다. 그리고, 특징 정보 판정부(105)는 상기 판정 결과를 얼굴 검출 평가값으로서 출력한다.

또한, 특징 정보 판정부(105)는 좌우 대칭성 평가값 및 위치 정합성 평가값을 산출한다(스텝 S304).

좌우 대칭성 평가값이란 양눈과 같이 좌우 대칭인 것이 얼굴 특징 정보 추출부(104)에 의해 적절하게 좌우 대칭으로 추출되어 있는지의 여부를 판정한 값으로 한다. 도 5는 검출된 양눈의 특징점이 위치 어긋남을 발생하고 있는 예를 도시한 도면이다. 본 실시 형태에서는 특징 정보 판정부(105)는 얼굴 검출 프레임의 중심을 통과하는 직선(503)을 기준으로 하여, 좌우의 부품이 선 대칭으로 배치되어 있는지의 여부를 확인한다. 도 5에 도시하는 예에서는 우안의 특징점(501)이며, 좌안의 특징점(502)이며, 직선(503)으로부터의 거리가 상이한 것을 확인할 수 있다. 구체적으로는, 특징 정보 판정부(105)는 이하의 수학식 2를 사용하여 판정한다. 또한, 변수 n은 얼굴로부터 검출된 얼굴 특징점의 개수로 한다. w_1, ……, w_n은, 가중치 파라미터로 한다.

x_1, ……, x_n은, 상기의 직선(503)으로 얼굴을 2분 했을 때에 제1 편측(예를 들어 좌측)에 있는 특징점의 좌표로 한다. y_1, ……, y_n은 상기의 직선(503)으로 얼굴을 2분 했을 때에 제2 한쪽측(예를 들어 우측)에 있는 특징점의 좌표를, 직선(503)을 기준으로 제1 편측에 경영(鏡映)시킨 좌표로 한다. 즉, 좌우의 특징점이, 좌우 대칭으로 배치되어 있는 경우, 예를 들어 x_1-y_1='0'이 된다. θmirr는 미리 정해진 임계값으로 한다.

또한, 좌표의 어긋남은 유클리드 거리로 측정해도 되고, 다른 1 놈(norm) 등의 거리로 측정해도 된다. 가중치 파라미터는 검출하기 쉬운 부품(예를 들어, 눈)에만 값을 설정해도 된다. 이와 같이, 적절한 가중치 부여를 행함으로써, 판정 정밀도를 향상시킬 수 있다.

또한, 특징 정보 판정부(105)는 화상 데이터에 있어서의 각 특징점의 위치의 평균값 m을 사용하여, 각 특징점이 평균값으로부터 어긋남이 임계값 내인지의 여부의 정합성을 확인해도 된다. 평균값 m은 이하에 나타내는 수학식 3으로부터 산출된다.

그리고, 특징 정보 판정부(105)는 이하에 나타내는 수학식 4로, 평균으로부터의 어긋남이 있는 임계값 내인지의 여부의 정합성을 확인한다.

또한, 특징 정보 판정부(105)는 각 특징점의 상대적인 위치 관계로부터 정합성을 확인해도 된다. n개의 특징점으로부터 k개(k=1, ……, n)의 특징점을 선택하고(또한, 설명을 용이하게 하기 위해서, 선택된 k개의 특징점은, x_1 내지 x_k로 함), 이하에 나타내는 수학식 5로 선택된 특징점에 있어서의 모든 조합에 대하여 상대적인 위치 관계를 나타낸 벡터를 산출한다.

수학식 5로 산출된 벡터의 개수는, k(k-1)/2가 된다. 또한, 벡터의 값을 확률 변수로 하는 확률 분포를, 미리 준비된 학습 데이터에 기초하여 추정하고, 상기 추정 결과에 기초하여 임계값 θ_prob을 설정해 두고, 특징 정보 판정부(105)가 이하에 나타내는 수학식 6을 사용하여 부정합이 있는지의 여부를 판정하고, 정합성 평가값으로서 출력한다.

수학식 6에 의해, 특징점의 상대적 위치가 있을 것 같지 않은 배치에 있는 경우, 부정합으로서 판정되어, 상기 판정 결과에 기초하는 평가값이 출력된다.

이어서, 특징 정보 판정부(105)는 평균 얼굴 모델과의 사이의 유사도에 기초한 유사도 평가값을 산출한다(스텝 S305). 본 실시 형태에 따른 유사도의 산출에서는 전형적인 얼굴 화상의 평균 모델(평균 얼굴)을 h개 미리 구해 둔다. 그리고, 특징 정보 판정부(105)는 이들 평균 모델과의 사이의 유사도 s_1, ···, s_h를 산출한다. 그 후, 특징 정보 판정부(105)가 이하에 나타내는 수학식 7의 판정을 행한다.

그리고, 특징 정보 판정부(105)는 수학식 7을 만족한 경우에, 평균적인 얼굴의 어느 것과도 유사하지 않기 때문에, 검출 처리가 옳지 않은 것으로서 유사도 평가값을 출력한다.

본 실시 형태에 따른 특징 정보 판정부(105)는 화질 평가, 얼굴 검출 평가, 좌우 대칭성 평가, 위치 정합성 평가, 상대 위치 정합성 평가, 유사도 평가 각각으로부터 산출된 평가값을 A_1, ……, A_m으로 설정한다. 그리고, 설정된 평가값에 기초하여, 검출 처리가 최종적인 평가값 z를 이하에 나타내는 수학식 8로부터 산출한다.

가중치 c_1, ……, c_m은, 미리 준비한 특징점의 검출이 올바른 얼굴 화상과 검출 결과, 특징점의 검출이 잘못된 얼굴 화상과 검출 결과와 같은 학습 데이터를 바탕으로 회귀 분석 등의 방법으로부터 정해도 된다. 또한, 일부의 항목에만 주목할 경우, 무시하는 항목 i의 값에 대응하는 가중치 c_i에 '0'을 설정해도 된다.

평가값 z는 각각의 항목의 임계값을 만족하지 않는 경우, '-∞'이 설정된다. 그리고, 특징 정보 판정부(105)는 평가값 z가 임계값 θz를 초과하지 않는다고 판정한 경우, 수정부(106)에 대하여 특징점이나 화질 등의 수정을 요구한다.

이어서, 본 실시 형태에 따른 수정부(106)에 있어서의 수정 처리에 대하여 설명한다. 도 6은 본 실시 형태에 따른 수정부(106)에 있어서의 상술한 처리의 수순을 도시하는 흐름도이다. 도 6에 도시하는 처리의 수순에서는 판정 및 수정을 자동으로 행하는 예에 대하여 설명하지만, 판정 및 수정을 수동으로 행해도 된다. 나아가, 얼굴 검출 어긋남의 수정만 수동으로 행하고, 다른 수정은 자동으로 행하는 등도 생각된다. 도 7은 검출 결과를 수정하기 위한 인터페이스 화면의 예를 도시한 도면이다. 도 7에 도시하는 화면을 참조하여 유저가 수정을 행해도 된다. 그때에, 평가값이 낮아진 원인의 특징점을 입력 가이드(701)로서 나타내도 된다. 그리고, 유저가 수정을 행할 때마다, 특징 정보 판정부(105)가 추출 정밀도를 판정하고, 판정 결과를 란(702)에 표시한다. 이에 의해, 수동으로 수정하는 경우, 유저는 마우스나 키보드를 조작하여 수정한 경우에, 화면에 표시되는 판정 결과인 수치를 육안으로 보면서 수정 작업을 행할 수 있다.

도 6으로 돌아가서, 수정부(106)가 자동으로 행하는 예에 대하여 설명한다. 우선, 수정부(106)는 화질 평가값을 임계값 이하인지의 여부를 판정한다(스텝 S601). 임계값보다 큰 경우(스텝 S601: "아니오"), 스텝 S603까지 특히 처리를 행하지 않는다.

그리고, 수정부(106)가 화질 평가값을 임계값 이하라고 판정한 경우(스텝 S601: "예"), 화상 데이터를 수정한다(스텝 S602). 수정 방법으로서는, 화상 데이터의 계조 조정, 콘트라스트 신장, 명도 변경 등이 있다. 다른 화질의 보정으로서는, 회전 보정, 확대 축소 처리도 할 수 있다.

그 후, 수정부(106)가 얼굴 검출 평가값이 임계값 이하인지의 여부를 판정한다(스텝 S603). 임계값보다 크다고 판정된 경우(스텝 S603: "아니오"), 스텝 S605까지 처리를 행하지 않는다.

그리고, 수정부(106)가 얼굴 검출 평가값이 임계값 이하라고 판정한 경우(스텝 S603: "예"), 수정부(106)가 얼굴 영역을 수정한다(스텝 S604).

그 후, 수정부(106)가 좌우 대칭성 평가값, 위치 정합성 평가값 및 유사도 평가값 중 어느 1개 이상이 임계값 이하인지의 여부를 판정한다(스텝 S605). 모두 임계값보다 크다고 판정된 경우(스텝 S605: "아니오"), 처리를 종료한다.

그리고, 수정부(106)가 좌우 대칭성 평가값, 위치 정합성 평가값 및 유사도 평가값 중 어느 1개 이상이 임계값 이하라고 판정한 경우(스텝 S605: "예"), 수정부(106)가 얼굴의 특징점을 수정한다(스텝 S606).

상술한 처리 수순에 의해 각종 수정이 행해진다. 자동 수정 처리에서는 모든 수정이 종료한 후, 특징 정보 판정부(105)에 의해 적절하다고 판단된 경우에는, 대조용 정보 데이터베이스(106)에 등록하고, 적절하지 않다고 판단된 경우, 또한 유저에 의한 수동의 수정 처리를 행한다.

또한, 본 실시 형태에 따른 생체 정보 처리 장치(100)의 출력부(107)는 식별 결과를 육안 판단할 수 있도록, 얼굴 특징 정보에 대하여 촬영된 얼굴의 화상 데이터를 1장 또는 복수매, 또는 동화상을 대응지어서 출력해도 된다.

(제1 실시 형태의 변형예)

본 실시 형태에서는 N 종류의 검출 파라미터를 사용하여, 추출된 특징 정보 중, 가장 평가값이 높은 것을 선택하였다. 그러나, 특징 정보의 추출 방법을 이러한 방법으로 제한하는 것은 아니다. 도 8은 변형예에 따른 얼굴 특징 정보 추출부(104)의 특징점의 추출 방법을 도시한 도면이다.

도 8에 도시한 바와 같이, 얼굴 특징 정보 추출부(104)는 N 종류의 검출 파라미터를 사용하여 추출된 N 종류의 특징 정보를 추출한다. 그 후, 얼굴 특징 정보 추출부(104)는 추출된 N 종류의 특징 정보에 대하여 평균 처리하고, 평균화된 특징 정보를 추출한다.

또한, 본 실시 형태와 부위의 위치의 특정 방법과 다른 방법으로서, 특징점의 일부로부터 얼굴의 부품 모델을 적용하고, 다른 부품 위치를 추정하는 방법을 사용해도 된다.

이상의 설명으로부터, 본 실시 형태에 따른 생체 정보 처리 장치(100)는 얼굴 인증용 화상과 같은 생체 정보에 기초한 특징 정보를 대량으로 데이터베이스에 등록할 때, 특징 정보의 추출 정밀도에 대하여 판정을 해보기 때문에, 양질의 특징 정보를 효율적으로 등록하는 것이 가능하게 되었다. 이에 의해, 등록된 특징 정보에 의한 대조 정밀도의 저하를 경감할 수 있다.

(제2 실시 형태)

제2 실시 형태에서는 테스트용의 얼굴 화상 데이터를 입력하고, 입력된 얼굴 화상 데이터를 사용하여, 대조용 얼굴 정보 데이터베이스의 특징 정보의 검증을 행하는 예로 한다.

도 9는 제2 실시 형태에 따른 생체 정보 처리 장치의 구성을 도시하는 블록도이다. 본 실시 형태에 따른 생체 정보 처리 장치(900)는, 상술한 제1 실시 형태에 따른 생체 정보 처리 장치(100)와는, 테스트 화상 입력부(901)와, 특징점 섭동부(902)가 추가되고, 특징 정보 판정부(105)와는 처리가 상이한 유사도 판정부(905)로 변경되고, 얼굴 검출부(103) 및 얼굴 특징 정보 추출부(104)와 처리가 상이한 얼굴 검출부(903) 및 얼굴 특징 정보 추출부(904)로 변경되어 있는 점에서 상이하다. 이하의 설명에서는 상술한 제1 실시 형태와 동일한 구성 요소에는 동일한 부호를 부여하여 그 설명을 생략하고 있다.

얼굴 검출부(903) 및 얼굴 특징 정보 추출부(904)는 파라미터 설정부(102)에 의한 파라미터의 설정이 없는 점을 제외하고, 제1 실시 형태에 따른 얼굴 검출부(103) 및 얼굴 특징 정보 추출부(104)와 마찬가지로 한다.

즉, 카메라(150)로 촬영된 화상 데이터는, 입력부(101)에서 입력되고, 얼굴 검출부(903)에서 얼굴 영역이 검출되고, 얼굴 특징 정보 추출부(104)에서 특징 정보가 추출되고, 필요에 따라 수정부(106)에 의한 수동 또는 자동에 의한 수정이 행해진 후, 출력부(107)로부터 대조용 얼굴 정보 데이터베이스(160)에 특징 정보와 함께 등록된다.

본 실시 형태에서는 N 종류의 특징 정보를 생성하지 않고, 1종의 특징 정보를 생성하는 예로 한다. 그 대신에, 본 실시 형태에 따른 생체 정보 처리 장치(900)는 테스트용의 얼굴 화상 데이터로부터 일부러 잘못된 특징 정보를 생성하고, 이 특징 정보와, 이미 등록되어 있는 특징 정보를 비교함으로써, 이미 등록되어 있는 특징 정보의 추출 정밀도의 판정을 행하는 예로 한다.

본 실시 형태는 얼굴로부터 특징 정보를 추출하는 예에 대하여 설명하지만, 얼굴에 특화한 처리가 아니라, 다양한 생체 정보가 나타내어진 화상 데이터로부터 인물 검색을 행하는 방법에 적용할 수 있다. 생체 정보로서는, 홍채, 망막, 손이나 손가락의 정맥 패턴, 지문 패턴, 또는 눈이나 귀나 입의 상태 등이 있다. 이후의 실시 형태에 대해서도 마찬가지로 한다.

테스트 화상 입력부(901)가 테스트용의 얼굴 화상 데이터를 입력 처리한다.

특징점 섭동부(902)는 테스트용의 얼굴 화상 데이터로부터 수동 또는 자동으로 검출한 특징점의 위치를 섭동시킨다. 도 10은 특징점 섭동부(902)에 의한 특징점의 섭동을 도시한 도면이다. 도 10에 도시한 바와 같이, 특징점 섭동부(902)는 정확하게 검출된 특징점군(1001)에 기초하여, 상기 위치와 상이한 위치를 특징점으로 한 특징점군을 복수 종류 설정한다(도 10에서 도시하는 예에서는 P 종류).

섭동의 방법으로서는, 입력의 각 특징점 좌표 Xn에 대해서, 가우스 분포 등의 확률 분포에 따르는 확률 변수 En에 의해, Xn+En과 같이 랜덤하게 섭동시키는 것이 생각된다. 또한, 다른 확률 분포여도 되고, 수동으로 섭동시켜도 된다.

얼굴 특징 정보 추출부(904)는 또한, 특징점 섭동부(902)에 의해 섭동된 특징점군마다 특징 정보를 추출한다.

유사도 판정부(905)는 대조용 얼굴 정보 데이터베이스(160)에 등록되어 있는 특징 정보와, 섭동시킨 특징점에 기초하여 생성된 특징 정보를 비교하여, 대조용 얼굴 정보 데이터베이스(160)에 등록되어 있는 특징 정보의 추출 정밀도를 판정한다.

본 실시 형태에 따른 유사도 판정부(905)에서는 대조용 얼굴 정보 데이터베이스(160)에 등록되어 있는 특징 정보에 있어서, 섭동시킨 특징점에 기초한 특징 정보와 비교하여, 유사도가 미리 정해진 임계값 이상인 경우에는, 잘못하여 추출된 특징 정보라고 판정한다. 즉, 잘못된 특징 정보와 유사하므로, 대조용 얼굴 정보 데이터베이스(160)에 등록되어 있는 특징 정보도 동일한 오류가 발생했을 가능성이 높은 것이라고 생각할 수 있다.

그리고, 잘못되었다고 판정된 대조용 얼굴 정보 데이터베이스(160)에 등록되어 있는 특징 정보는 수정부(106)에서 수정을 행한다.

이어서, 본 실시 형태에 따른 생체 정보 처리 장치(900)에 있어서의, 특징 정보 간의 유사도 판정 처리에 대하여 설명한다. 도 11은 본 실시 형태에 따른 생체 정보 처리 장치(900)에 있어서의 상술한 처리의 수순을 도시하는 흐름도이다.

우선, 테스트 화상 입력부(901)가 테스트용의 얼굴 화상 데이터를 입력 처리한다(스텝 S1101). 이어서, 특징점 섭동부(902)가 입력 처리된 테스트용의 얼굴 화상 데이터로부터 검출된 특징점을 섭동한다(스텝 S1102).

그 후, 얼굴 특징 정보 추출부(904)가 섭동된 특징점에 기초한 특징 정보를 생성한다(스텝 S1103).

그리고, 유사도 판정부(905)가, 변수 i가 대조용 얼굴 정보 데이터베이스(160)에 등록되어 있는 인원수 이하인지의 여부를 판정한다(스텝 S1104). 또한, 변수 i의 초기값은 '0'으로 한다.

그리고, 유사도 판정부(905)는 변수 i가 등록되어 있는 인원수 이하라고 판정한 경우(스텝 S1104: "예"), i번째로 등록되어 있는 인물의 특징 정보와, 섭동된 특징점에 기초한 특징 정보의 사이의 유사도를 산출한다(스텝 S1105). 섭동된 특징점에 기초한 특징 정보를 p 종류 생성한 경우에는, 각각에 대하여 유사도를 산출한다.

그 후, 유사도 판정부(905)는 산출한 유사도가 미리 정해진 임계값 A 이하인지의 여부를 판정한다(스텝 S1106). 임계값 A 이하라고 판정한 경우(스텝 S1106: "예"), 다시 스텝 S1104부터 처리를 행한다.

한편, 유사도 판정부(905)가 임계값 A보다 크다고 판정한 경우(스텝 S1106: "아니오"), 수정부(106)에 의한 수정 처리를 행한다(스텝 S1107). 또한, 수정 처리는, 제1 실시 형태와 동일하므로 설명을 생략한다.

스텝 S1104에서, 유사도 판정부(905)는 변수 i가 등록되어 있는 인원수보다 크다고 판정한 경우(스텝 S1104: "아니오"), 출력부(107)가 수정부(106)에 의해 수정된 특징 정보를 사용하여, 대조용 얼굴 정보 데이터베이스(160)를 갱신한다(스텝 S1108).

상술한 처리 수순에 의해, 대조용 얼굴 정보 데이터베이스(160)에 등록되어 있는 특징 정보 중, 추출이 잘못되어 있는 것을 검출하고, 수정하는 것이 가능하게 된다. 이에 의해, 대조 정밀도를 향상시키는 것이 가능하게 되었다.

제1 내지 제2 실시 형태에 의하면, 상술한 구성을 구비함으로써, 얼굴의 특징 정보의 추출 정밀도를 인식할 수 있다. 이에 의해, 추출 정밀도를 높이기 위한 수정 등을 행할 수 있다.

(제3 실시 형태)

도 12는 제3 실시 형태에 따른 생체 정보 처리 장치(1200)의 구성을 도시하는 블록도이다. 본 실시 형태에 따른 생체 정보 처리 장치(1200)는 상술한 제2 실시 형태에 따른 생체 정보 처리 장치(900)와는, 입력부(101), 특징점 섭동부(902), 얼굴 검출부(903), 유사도 판정부(905)가 삭제되고, 대조 이력 판정부(1201)가 추가되는 점에서 상이하다. 이하의 설명에서는 상술한 제2 실시 형태와 동일한 구성 요소에는 동일한 부호를 부여하여 그 설명을 생략하고 있다.

테스트 화상 입력부(901)는 대조 테스트에 사용하는 얼굴 화상 데이터를 입력 처리한다.

대조 이력 판정부(1201)는 검색 순위의 이력에 기초한 특징 정보의 추출 정밀도의 판정을 행한다.

이어서, 본 실시 형태에 따른 생체 정보 처리 장치(1200)에 있어서의 특징 정보의 추출 정밀도의 판정 처리에 대하여 설명한다. 도 13은 본 실시 형태에 따른 생체 정보 처리 장치(1200)에 있어서의 상술한 처리의 수순을 도시하는 흐름도이다. 또한, 대조 횟수 i의 초기값은 '0'으로 한다.

우선, 테스트 화상 입력부(901)가 얼굴 화상 데이터를 입력 처리한다(스텝 S1301). 이어서, 대조 이력 판정부(1201)가 대조 횟수 i가 임계값 이하인지의 여부를 판정한다(스텝 S1302).

대조 이력 판정부(1201)가 대조 횟수 i가 임계값 이하라고 판정한 경우(스텝 S1302: "예"), 얼굴 특징 정보 추출부(904)가 입력 처리된 얼굴 화상 데이터로부터 특징 정보를 추출한다(스텝 S1303).

이어서, 대조 이력 판정부(1201)가 대조용 얼굴 정보 데이터베이스(160)에 등록되어 있는 특징 정보마다, 스텝 S1303에서 추출된 특징 정보와의 유사도를 산출한다(스텝 S1304).

그리고, 대조 이력 판정부(1201)가 산출된 유사도에 따라 대조용 얼굴 정보 데이터베이스(160)에 등록되어 있는 각 특징 정보에 대하여 유사 순위를 특정한다(스텝 S1305).

또한, 대조 이력 판정부(1201)가 소정의 임계값 A 이하의 유사 순위의 특징 정보에 대해서, 상기 유사 순위를 보존한다(스텝 S1306). 그 후, 다시 스텝 S1301로부터 처리를 행한다.

한편, 스텝 S1302에 있어서, 대조 이력 판정부(1201)가 대조 횟수 i를 임계값보다 크다고 판정한 경우(스텝 S1302: "아니오"), 유사 순위의 특정 처리를 종료하고, 스텝 S1307로 진행한다.

그리고, 대조 이력 판정부(1201)는 변수 k가 대조용 얼굴 정보 데이터베이스(160)의 등록수 이하인지의 여부를 판정한다(스텝 S1307). 또한, 변수 k의 초기값은 '0'으로 한다.

대조 이력 판정부(1201)는 변수 k가 대조용 얼굴 정보 데이터베이스(160)의 등록수 이하라고 판정한 경우(스텝 S1307: "예"), 데이터 k에 대하여 대조 순위가 임계값 A 이하인 횟수가, 임계값 B회 이상 있었는지 여부를 판정한다(스텝 S1308). 임계값 B회가 아니라고 판정한 경우(스텝 S1308: "아니오"), 변수 k에 '1' 가산하고, 스텝 S1307로부터 처리를 행한다.

대조 이력 판정부(1201)가 임계값 B회 이상이라고 판정한 경우(스텝 S1308: "예"), 수정부(106)에 의한 수정을 행한다(스텝 S1309).

한편, 대조 이력 판정부(1201)는 변수 k가 대조용 얼굴 정보 데이터베이스(160)의 등록수보다 크다고 판정한 경우(스텝 S1307: "아니오"), 처리를 종료한다.

본 실시 형태에 따른 생체 정보 처리 장치(1200)에서는 상술한 구성을 구비함으로써, 대조용 얼굴 정보 데이터베이스(160)가 이상한 데이터를 검지·수정하여, 대조 정밀도를 높일 수 있다.

(제4 실시 형태)

도 14는 제4 실시 형태에 따른 생체 정보 처리 장치(1400)의 구성을 도시하는 블록도이다. 본 실시 형태에 따른 생체 정보 처리 장치(1400)는, 상술한 제2 실시 형태에 따른 생체 정보 처리 장치(900)와는, 테스트 화상 입력부(901)가 처리가 상이한 특징 정보 입력부(1401)로 변경되고, 대조 이력 판정부(1201)와 처리가 상이한 대조 결과 판정부(1402)로 변경되고, 얼굴 특징 정보 추출부(904)가 삭제되어 있는 점에서 상이하다. 이하의 설명에서는 상술한 제2 실시 형태와 동일한 구성 요소에는 동일한 부호를 부여하여 그의 설명을 생략하고 있다.

본 실시 형태는 대조용 얼굴 정보 데이터베이스(160)에 등록되어 있는 화상 데이터의 특징 정보 사이에서, 유사도에 기초한 판정을 행하는 예로 한다.

특징 정보 입력부(1401)는 대조용 얼굴 정보 데이터베이스(160)로부터 화상 데이터 및 특징 정보를 입력 처리한다.

그리고, 대조 결과 판정부(1402)가 대조용 얼굴 정보 데이터베이스(160)의 화상 데이터의 특징 정보의 사이의 유사도를 산출하고, 상기 유사도에 기초하여, 특징 정보의 추출 정밀도를 판정한다. 또한, 비교 대상으로 되는 것은, 대조용 얼굴 정보 데이터베이스(160) 사이의 모든 또는 일부의 페어로 한다.

이어서, 본 실시 형태에 따른 생체 정보 처리 장치(1400)에 있어서의, 특징 정보의 추출 정밀도의 판정 처리에 대하여 설명한다. 도 15는 본 실시 형태에 따른 생체 정보 처리 장치(1400)에 있어서의 상술한 처리의 수순을 도시하는 흐름도이다. 또한, 대조 횟수 i의 초기값은 '0'으로 한다.

우선, 특징 정보 입력부(1401)가 대조용 얼굴 정보 데이터베이스(160)로부터, 화상 데이터와 상기 화상 데이터와 대응시켜진 특징 정보를 입력 처리한다(스텝 S1501). 또한, 본 실시 형태는 생체 정보 처리 장치(1400)가 대조용 얼굴 정보 데이터베이스(160)를 구비하고 있는 예에 대하여 설명하지만, 대조용 얼굴 정보 데이터베이스(160)가 생체 정보 처리 장치(1400)의 외부에 설치되어 있어도 된다. 또한, 변수 i의 초기값은 '0'으로 한다.

이어서, 대조 결과 판정부(1402)가, 변수 i가 대조용 얼굴 정보 데이터베이스(160)의 등록수 이하인지 여부를 판정한다(스텝 S1502).

대조 결과 판정부(1402)가 변수 i를 대조용 얼굴 정보 데이터베이스(160)의 등록수 이하라고 판정한 경우(스텝 S1502: "예"), 변수 j를 대조용 얼굴 정보 데이터베이스(160)의 등록수 이하인지의 여부를 판정한다(스텝 S1503).

대조 결과 판정부(1402)가 변수 j를 대조용 얼굴 정보 데이터베이스(160)의 등록수 이하라고 판정한 경우(스텝 S1503: "예"), 대조용 얼굴 정보 데이터베이스(160)의 i번째의 화상 데이터의 특징 정보와, 대조용 얼굴 정보 데이터베이스(160)의 j번째의 화상 데이터의 특징 정보의 사이의 유사도를 산출한다(스텝 S1504).

그 후, 대조 결과 판정부(1402)는 산출한 유사도가 미리 정해진 임계값 B 이상인지의 여부를 판정한다(스텝 S1505). 임계값 B보다 작다고 판정한 경우(스텝 S1505: "아니오"), 변수 j에 1 추가하고, 스텝 S1503으로부터 처리를 행한다.

한편, 대조 결과 판정부(1402)는 산출한 유사도가 미리 정해진 임계값 B 이상이라고 판정한 경우(스텝 S1505: "예"), i번째의 화상 데이터의 유사 횟수, 및 j번째의 화상 데이터의 유사 횟수를 1 증가시킨다(스텝 S1506). 그 후, 변수 j에 '1' 추가하고, 스텝 S1503으로부터 처리를 행한다. 또한, 유사 횟수는 화상 데이터마다 유지하고, 초기값을 '0'으로 한다.

그리고, 스텝 S1503에서, 대조 결과 판정부(1402)가 변수 j를 대조용 얼굴 정보 데이터베이스(160)의 등록수보다 크다고 판정한 경우(스텝 S1503: "아니오"), 변수 i에 '1' 추가하고 스텝 S1502로부터 처리를 행한다.

또한, 스텝 S1502에서, 대조 결과 판정부(1402)가 변수 i가 대조용 얼굴 정보 데이터베이스(160)의 등록수보다 크다고 판정한 경우(스텝 S1502: "아니오"), 화상 데이터 각각에 대하여 산출된 유사 횟수를 참조하고, 상기 유사 횟수가 임계값 C 이하인 화상 데이터에 대해서, 수정부(106)에 의한 수정이 행해진다(스텝 S1507).

상술한 처리 수순에 의해, 대조용 얼굴 정보 데이터베이스(160) 내의 이상한 데이터를 검지·수정하여, 대조 정밀도를 높이는 것이 가능하게 된다.

또한, 본 실시 형태에서는 1개의 데이터베이스 내의 특징 정보의 유사를 판정하는 경우에 대하여 설명했지만, 복수의 데이터베이스 상호 간에 특징 정보의 유사를 판정해도 된다.

이상 설명한 바와 같이, 제1부터 제4 실시 형태에 따르면, 얼굴 인증용 화상과 같은 생체 정보를 대량으로 데이터베이스에 등록할 때에 특징 정보의 검출 결과의 확인과 수정을 자동으로 행함으로써, 양질의 데이터베이스를 효율적으로 등록하는 것이 가능하게 되어, 대조 시의 오보를 경감할 수 있다. 또한, 이미 데이터베이스에 등록되어 있는 대량의 생체 정보에 대해서도, 특징 정보의 검출 결과의 확인과 수정을 자동으로 행함으로써, 대조 시의 오보를 경감하는 것이 가능하게 된다.

도 16은 상술한 실시 형태에 따른 생체 정보 처리 장치의 하드웨어 구성을 도시한 도면이다. 도 16에 도시한 바와 같이, 상술한 실시 형태의 생체 정보 처리 장치는, CPU(1601)와, ROM(Read Only Memory)(1602)와, RAM(1603)과, HDD(1604)와, 디스플레이 장치 등의 표시 장치(1605)와, 키보드나 마우스 등의 입력 장치(1606)를 구비하고 있고, 통상의 컴퓨터를 이용한 하드웨어 구성으로 되어 있다.

상술한 실시 형태에 따른 생체 정보 처리 장치에서 실행되는 생체 정보 처리 프로그램은, 인스톨 가능한 형식 또는 실행 가능한 형식의 파일로 CD-ROM, 플렉시블 디스크(FD), CD-R, DVD(Digital Versatile Disk) 등의 컴퓨터에서 판독 가능한 기록 매체에 기록되어서 제공된다.

또한, 상술한 실시 형태의 생체 정보 처리 장치에서 실행되는 생체 정보 처리 프로그램을, 인터넷 등의 네트워크에 접속된 컴퓨터 상에 저장하고, 네트워크 경유로 다운로드시킴으로써 제공하도록 구성해도 된다. 또한, 상술한 실시 형태의 생체 정보 처리 장치에서 실행되는 생체 정보 처리 프로그램을 인터넷 등의 네트워크 경유로 제공 또는 배포하도록 구성해도 된다.

또한, 상술한 실시 형태의 생체 정보 처리 장치에서 실행되는 생체 정보 처리 프로그램을 ROM 등에 미리 내장하여 제공하도록 구성해도 된다.

본 실시 형태가 상술한 실시 형태의 생체 정보 처리 장치에서 실행되는 생체 정보 처리 프로그램은, 상술한 각 부를 포함하는 모듈 구성으로 되어 있고, 실제의 하드웨어로서는 CPU(1601)가 상기 기억 매체로부터 생체 정보 처리 프로그램을 판독하여 실행함으로써 상기 각 부가 주기억 장치 상에 로드되어, 상술한 각 구성이 RAM(1603) 상에 생성되도록 되어 있다.

본 발명의 몇가지의 실시 형태를 설명했지만, 이들 실시 형태는 예로서 제시한 것이며, 발명의 범위를 한정하는 것은 의도하지 않고 있다. 이들 신규의 실시 형태는 그 밖의 다양한 형태로 실시되는 것이 가능하고, 발명의 요지를 일탈하지 않는 범위에서, 다양한 생략, 치환, 변경을 행할 수 있다. 이들 실시 형태나 그의 변형은, 발명의 범위나 요지에 포함됨과 함께, 특허 청구 범위에 기재된 발명과 그 균등한 범위에 포함된다.

(부기 1)

화상 정보로부터, 인물이 표시되어 있는 영역을 검출하는 영역 검출 수단과, 상기 화상 정보로부터, 상기 영역 검출 수단으로 검출된 상기 영역으로부터 인물의 특징적인 부위에 기초한 특징 정보를 추출하는 특징 추출 수단과, 상기 특징 추출 수단으로 추출된 상기 특징 정보에 대하여, 인물의 특징적인 부위를 추출할 수 있었는지 여부를 나타낸 추출 정밀도를 상기 특징적인 부위의 위치에 기초하여 판정하는 판정 수단을 구비한 생체 정보 처리 장치.

(부기 2)

상기 판정 수단은 또한, 상기 인물의 특징적인 부위가 나타내어진 복수의 자리에 대해서, 소정의 기준으로부터의 대칭성을 산출하고, 상기 대칭성에 기초하여, 상기 추출 정밀도를 판정하는, 부기 1에 기재된 생체 정보 처리 장치.

(부기 3)

상기 판정 수단에 의해 판정된 상기 추출 정밀도가 소정의 임계값을 보다 낮은 경우에, 상기 화상 정보를 수정하는 수정 수단을 더 구비하고, 상기 특징 추출 수단은 수정된 상기 화상 정보로부터 특징 정보를 추출하고, 상기 판정 수단은 또한 상기 수정 수단에 의해 수정된 상기 특징 정보에 기초하여 판정을 행하는, 부기 1 또는 2에 기재된 생체 정보 처리 장치.

(부기 4)

상기 수정 수단은, 상기 화상 정보에 대한 콘트라스트 신장, 확대·축소, 또는 회전 보정, 또는 상기 화상 정보에 포함되어 있는 인물의 특징적인 부위의 위치의 수정을 행하는, 부기 3에 기재된 생체 정보 처리 장치.

본 발명의 몇가지의 실시 형태를 설명했지만, 이들 실시 형태는 예로서 제시한 것이며, 발명의 범위를 한정하는 것은 의도하지 않고 있다. 이들 실시 형태는 그 밖의 다양한 형태로 실시되는 것이 가능하고, 발명의 요지를 일탈하지 않는 범위에서, 다양한 생략, 치환, 변경을 행할 수 있다. 이들 실시 형태나 그의 변형은, 발명의 범위나 요지에 포함되는 것과 마찬가지로, 특허 청구 범위에 기재된 발명과 그 균등한 범위에 포함되는 것이다.

100, 900, 1200, 1400: 생체 정보 처리 장치
101: 입력부
102: 파라미터 설정부
103, 903: 얼굴 검출부
104, 904: 얼굴 특징 정보 추출부
105: 특징 정보 판정부
106: 수정부
107: 출력부
108: 유사도 판정부
150: 카메라
160: 대조용 얼굴 정보 데이터베이스
901: 테스트 화상 입력부
902: 특징점 섭동부
905: 유사도 판정부
1201: 대조 이력 판정부
1401: 특징 정보 입력부
1402: 대조 결과 판정부

Claims

화상 정보로부터, 인물이 표시되어 있는 영역을 검출하는 영역 검출 수단과,
상기 화상 정보로부터, 상기 영역 검출 수단으로 검출된 상기 영역으로부터 인물의 특징적인 부위에 기초한 특징 정보를 추출하는 특징 추출 수단과,
상기 특징 추출 수단으로 추출된 상기 특징 정보에 대하여, 인물의 특징적인 부위를 추출할 수 있었는지 여부를 나타낸 추출 정밀도를 상기 특징적인 부위의 위치에 기초하여 판정하는 판정 수단
을 구비한 생체 정보 처리 장치.
제1항에 있어서, 미리 준비된, 인물이 표시된 비교용 화상 정보를 기억하는 인물 화상 기억 수단을 더 구비하고,
상기 판정 수단은, 상기 인물의 특징적인 부위의 위치를 기준으로 하여, 상기 화상 정보로부터 인물이 표시된 영역을 추출한 정규화 화상 정보를 생성하고, 생성된 상기 정규화 화상 정보와, 상기 인물 화상 기억 수단에 기억된 상기 비교용 화상 정보의 비교로부터 상기 추출 정밀도를 판정하는,
생체 정보 처리 장치.
제1항에 있어서, 상기 판정 수단은 또한, 상기 인물의 특징적인 부위의 각 위치에 기초하는 상기 화상 정보의 중심, 및 상기 위치 간의 거리 중 적어도 1개 이상을 산출하고, 산출된 상기 중심 및 상기 거리 중 적어도 1개 이상이 미리 정해진 임계값보다 높은지의 여부에 기초하여 상기 추출 정밀도를 판정하는,
생체 정보 처리 장치.
제1항 내지 제3항 중 어느 한 항에 있어서, 상기 판정 수단은 상기 특징 추출 수단으로 추출된 상기 특징 정보의 추출 정밀도를 상기 특징적인 부위가 검출된 위치와 상이한 위치를 특징으로 하여 생성된 비교용 특징 정보와의 비교로 판정하는,
생체 정보 처리 장치.
제1항 내지 제3항 중 어느 한 항에 있어서, 상기 특징 추출 수단은 상기 영역 검출 수단으로 검출된 상기 영역에 포함되어 있는, 상기 인물의 얼굴, 입, 홍채, 망막, 귀, 인체의 일부의 정맥 형상, 지문 또는 장문(掌紋)이 나타내어진 위치에 기초한 특징 정보를 추출하는,
생체 정보 처리 장치.
제1항 내지 제3항 중 어느 한 항에 있어서, 상기 영역 검출 수단이 검출 대상으로 하는 상기 화상 정보는, 촬상 수단에 의해 촬상된 화상 정보, 또는 인물의 인증에 사용하는 기억 수단에 기억되어 있었던 상기 화상 정보인,
생체 정보 처리 장치.
미리 준비된 화상 정보로부터 추출된, 인물의 특징적인 부분이 나타내어진 위치에 기초한 인증용 특징 정보를 기억하는 기억 수단과,
화상 정보에 포함되어 있는 인물의 특징적인 부분이 나타내어진 위치에 기초한 특징 정보와, 상기 기억 수단에 기억된 상기 인증용 특징 정보와의 유사도를 산출하고, 상기 유사도로부터 상기 인증용 특징 정보의 추출 정밀도를 판정하는 유사도 판정 수단
을 구비하는 생체 정보 처리 장치.
제7항에 있어서, 입력된 상기 화상 정보에 포함되어 있는 인물의 특징적인 부분이 나타내어진 위치에 기초한 특징 정보를 추출하는 특징 추출 수단을 더 구비하고,
상기 유사도 판정 수단은 상기 특징 추출 수단에 의해 추출된 상기 특징 정보와, 상기 기억 수단에 기억된 상기 인증용 특징 정보와의 유사도를 산출하는,
생체 정보 처리 장치.
제7항 또는 제8항에 있어서, 상기 유사도 판정 수단은, 상기 기억 수단에 기억된 상기 인증용 특징 정보의 각각과, 상기 특징 추출 수단에 의해 추출된 상기 특징 정보와의 유사도를 산출하고, 산출한 유사도로부터 상기 기억 수단에 기억되어 있는 상기 인증용 특징 정보의, 추출된 상기 특징 정보 사이의 유사순을 특정하고, 상기 유사순으로부터 상기 인증용 특징 정보의 추출 정밀도를 판정하는,
생체 정보 처리 장치.
제7항에 있어서, 상기 유사도 판정 수단은, 상기 기억 수단에 기억된 상기 인증용 특징 정보와, 상기 기억 수단에 기억된 상기 인증용 특징 정보와의 유사도를 산출하고, 상기 유사도로부터 상기 인증용 특징 정보의 추출 정밀도를 판정하는,
생체 정보 처리 장치.