[go: up one dir, main page]

KR20140053647A - 3차원 얼굴 인식 시스템 및 그의 얼굴 인식 방법 - Google Patents

3차원 얼굴 인식 시스템 및 그의 얼굴 인식 방법 Download PDF

Info

Publication number
KR20140053647A
KR20140053647A KR1020120119838A KR20120119838A KR20140053647A KR 20140053647 A KR20140053647 A KR 20140053647A KR 1020120119838 A KR1020120119838 A KR 1020120119838A KR 20120119838 A KR20120119838 A KR 20120119838A KR 20140053647 A KR20140053647 A KR 20140053647A
Authority
KR
South Korea
Prior art keywords
image
camera
face recognition
matching
visible light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020120119838A
Other languages
English (en)
Other versions
KR101444538B1 (ko
Inventor
조현수
Original Assignee
주식회사 에스원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에스원 filed Critical 주식회사 에스원
Priority to KR1020120119838A priority Critical patent/KR101444538B1/ko
Publication of KR20140053647A publication Critical patent/KR20140053647A/ko
Application granted granted Critical
Publication of KR101444538B1 publication Critical patent/KR101444538B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Collating Specific Patterns (AREA)

Abstract

본 발명은 두 대의 카메라를 중첩시켜 3차원 얼굴 영상을 획득할 수 있는 3차원 얼굴 인식 시스템 및 그의 얼굴 인식 방법에 관한 것이다.
일례로, 얼굴 인식 대상의 가시광선 영상을 촬영하는 제 1 카메라; 상기 얼굴 인식 대상에 적외선 패턴광을 조사하는 적외선 패턴광 장치; 상기 얼굴 인식 대상에 조사된 패턴의 적외선 영상을 촬영하는 제 2 카메라; 상기 제 1 카메라와 제 2 카메라의 광축을 일치시키는 미러; 및 상기 제 1 카메라 및 제 2 카메라로부터 가시광선 영상과 적외선 영상이 픽셀 단위로 정합된 칼라 이미지와 깊이 정보를 취하여, 상기 얼굴 인식 대상의 3차원 얼굴 영상을 생성하는 제어부를 포함하는 3차원 얼굴 인식 시스템을 개시한다.

Description

3차원 얼굴 인식 시스템 및 그의 얼굴 인식 방법{3D FACE RECOGNITION SYSTEM AND METHOD FOR FACE RECOGNITION OF THTEROF}
본 발명은 3차원 얼굴 인식 시스템 및 그의 얼굴 인식 방법에 관한 것이다.
일반적으로 가정이나 회사에서 보안상의 문제로 지문 인식, 홍채 인식, 얼굴 인식 등과 같은 인증 시스템을 도입하고 있다. 그 중에서도 얼굴인식은 2D 얼굴 영상에서 특징점을 추출한 후에 그 특징점을 등록영상과 비교하는 방식으로 인증을 한다. 하지만 등록영상과는 다른 각도와 다른 방향의 조명에서 취득된 영상에서는 그 인식률이 현저히 떨어진다. 이를 해결하기 위해 3D 얼굴인식이 개발되고 있다. 기존 3D 얼굴 인식 시스템은 2차원 얼굴 영상에서 특징점을 추출한 후에 그 특징점의 위치를 기반으로 3차원 평균 얼굴 모델 위에 2차원 영상을 덧씌우는 방법을 사용한다. 그러나, 이러한 방법은 실제 인증 대상의 얼굴 형태에 대한 정보를 얻지 않기 때문에 3차원 얼굴의 정확도가 떨어지는 단점이 있다. 또한, 깊이 카메라와 칼라 카메라를 같은 수평축에 위치시켜 촬영한 후, 두 영상을 정합하여 3차원 영상을 획득하는 방법도 있지만, 정합의 정확도를 확보하기 어려우며 정합을 위한 영상처리에서 많은 시간과 노력이 필요하다. 따라서, 간단하면서도 얼굴 인식률을 높일 수 있는 3차원 얼굴 인식 시스템이 요구된다.
본 발명은 두 대의 카메라를 중첩시켜 3차원 얼굴 영상을 획득할 수 있는 3차원 얼굴 인식 시스템 및 그의 얼굴 인식 방법을 제공한다.
본 발명에 의한 3차원 얼굴 인식 시스템은 얼굴 인식 대상의 가시광선 영상을 촬영하는 제 1 카메라; 상기 얼굴 인식 대상에 적외선 패턴광을 조사하는 적외선 패턴광 장치; 상기 얼굴 인식 대상에 조사된 패턴의 적외선 영상을 촬영하는 제 2 카메라; 상기 제 1 카메라와 제 2 카메라의 광축을 일치시키는 미러; 및 상기 제 1 카메라 및 제 2 카메라로부터 가시광선 영상과 적외선 영상이 픽셀 단위로 정합된 칼라 이미지와 깊이 정보를 취하여, 상기 얼굴 인식 대상의 3차원 얼굴 영상을 생성하는 제어부를 포함한다.
또한, 상기 미러는 상기 제 1 카메라의 중심축과 상기 제 2 카메라의 중심축이 수직으로 교차하는 지점에서 45도 경사진 각도로 위치하며, 상기 제 1 카메라의 가시광선은 반사시키고 상기 제 2 카메라의 적외선은 투과시키는 콜드 미러일 수 있다.
또한, 상기 미러는 상기 제 1 카메라의 중심축과 상기 제 2 카메라의 중심축이 수직으로 교차하는 지점에서 45도 경사진 각도로 위치하며, 상기 제 1 카메라의 가시광선은 투과시키고 상기 제 2 카메라의 적외선은 반사시키는 핫 미러일 수 있다.
또한, 상기 제 1 카메라로부터 상기 미러까지의 거리와 상기 제 2 카메라로부터 상기 미러까지의 거리는 동일할 수 있다.
또한, 상기 제 1 카메라와 상기 제 2 카메라는 동일한 기종의 카메라이며, 상기 제 1 카메라에는 적외선 차단 필터가 장착되어 있으며, 상기 제 2 카메라에는 가시광선 차단 필터가 장착될 수 있다.
또한, 상기 얼굴 인식 대상의 등록 영상이 저장된 저장부를 더 포함할 수 있다.
또한, 상기 제어부는 상기 얼굴 인식 대상의 현재 3차원 영상과 상기 저장부에 저장된 등록 영상 사이의 정합도를 판단하여 본인 인증 여부를 결정할 수 있다.
또한, 상기 제어부는 현재 3차원 영상의 특징점의 위치와 등록 영상의 특징점의 위치 사이의 정합도를 판단할 수 있다.
또한, 상기 제어부는 현재 3차원 영상의 가시광선 영상 및 적외선 영상의 각각의 특징과 등록 영상의 가시광선 영상 및 적외선 영상의 각각의 특징 사이의 정합도를 판단할 수 있다.
또한, 상기 제어부는 현재 3차원 영상의 N장의 2차원 영상과 등록영상의 N장의 2차원 영상 사이의 정합도를 판단할 수 있다.
또한, 본 발명에 의한 3차원 얼굴 인식 시스템의 얼굴 인식 방법은 제 1 카메라로부터 가시광선 영상을 취득하고 제 2 카메라로부터 적외선 영상을 취득하는 영상 취득 단계; 상기 영상 취득 단계에서 취득한 영상의 특징을 추출하는 특징 추출 단계; 상기 특징 추출 단계에서 추출된 특징과 저장된 등록 영상의 특징 사이의 정합도를 판단하는 정합도 판단 단계; 및 상기 정합도 판단 단계에서 판단된 정합도에 따라 인증결과를 나타내는 인증 단계를 포함한다.
또한, 상기 특징 추출 단계는 상기 가시광선 영상과 적외선 영상으로부터 특징점의 위치를 추출할 수 있다. 상기 정합도 판단 단계는 상기 특징 추출 단계에서 추출된 특징점의 위치와 저장된 등록 영상의 특징점의 위치 사이의 정합도를 판단할 수 있다.
또한, 상기 특징 추출 단계는 상기 가시광선 영상의 특징과 적외선 영상의 특징을 각각 추출할 수 있다. 상기 정합도 판단 단계는 상기 특징 추출 단계에서 추출된 가시광선 영상의 특징 및 적외선 영상의 특징과 저장된 등록 영상의 가시광선 영상의 특징 및 적외선 영상의 특징 사이의 정합도를 판단할 수 있다.
또한, 상기 특징 추출 단계는 상기 가시광선 영상과 적외선 영상으로부터 3차원 얼굴 영상을 생성하고, 상기 3차원 얼굴 영상을 N개의 각도로 회전시켜 N장의 2차원 얼굴 영상을 생성할 수 있다. 상기 정합도 판단 단계는 상기 특징 추출 단계에서 추출된 N장의 2차원 얼굴 영상과 저장된 등록 영상의 N장의 2차원 얼굴 영상 사이의 정합도를 판단할 수 있다.
본 발명의 일 실시예에 따른 3차원 얼굴 인식 시스템 및 그의 얼굴 인식 방법은 가시광선 영상을 촬영하는 제 1 카메라와 적외선 영상을 촬영하는 제 2 카메라를 중첩시켜 칼라 이미지와 깊이 정보를 동시에 얻음으로써, 3차원 얼굴 영상을 획득할 수 있다.
또한, 본 발명의 일 실시예에 따른 3차원 얼굴 인식 시스템 및 그의 얼굴 인식 방법은 3차원 얼굴 영상의 특징 정보를 사용하므로, 얼굴 인식률을 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 3차원 얼굴 인식 시스템을 도시한 블럭도이다.
도 2는 도 1에 도시된 적외선 패턴광 장치를 도시한 도면이다.
도 3a 및 도 3b는 도 1에 도시된 제 1 카메라와 제 2 카메라의 광축을 일치시키는 구조를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 3차원 얼굴 인식 시스템의 얼굴 인식 방법을 도시한 순서도이다.
도 5는 본 발명의 다른 실시예에 따른 3차원 얼굴 인식 시스템의 얼굴 인식 방법을 도시한 순서도이다.
도 6은 본 발명의 또다른 실시예에 따른 3차원 얼굴 인식 시스템의 얼굴 인식 방법을 도시한 순서도이다.
본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 정도로 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명하면 다음과 같다.
도 1은 본 발명의 일 실시예에 따른 3차원 얼굴 인식 시스템을 도시한 블럭도이다. 도 2는 도 1에 도시된 적외선 패턴광 장치를 도시한 도면이다. 도 3a 및 도 3b는 도 1에 도시된 제 1 카메라와 제 2 카메라의 광축을 일치시키는 구조를 나타낸 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 3차원 얼굴 인식 시스템(100)은 제 1 카메라(110), 적외선 패턴광 장치(120), 제 2 카메라(130), 미러(140), 제어부(150) 및 저장부(160)를 포함한다.
상기 제 1 카메라(110)는 얼굴 인식 대상(10)의 가시광선 영상을 촬영한다. 상기 제 1 카메라(110)에서 촬영된 가시광선 영상을 통해 얼굴 인식 대상(10)의 칼라 이미지를 획득할 수 있다. 즉, 상기 제 1 카메라(110)를 통해 획득한 칼라 이미지는 2차원적인 얼굴 영상이다. 상기 제 1 카메라(110)는 상기 미러(140)를 투과하여 얼굴 인식 대상(10)의 가시광선 영상을 촬영할 수 있다. 또한, 상기 제 1 카메라(110)는 상기 미러(140)에 반사되어 얼굴 인식 대상(10)의 가시광선 영상을 촬영할 수 있다. 이러한 제 1 카메라(110)는 가시광선 카메라 또는 일반적인 카메라에 적외선 차단 필터를 장착하여 사용할 수 있다.
상기 적외선 패턴광 장치(120)는 얼굴 인식 대상(10)에 적외선 패턴광을 조사한다. 도 2에 도시된 바와 같이, 상기 적외선 패턴광 장치(120)에서 조사한 적외선 패턴광은 얼굴 인식 대상(10)의 정면에 조사된다. 여기서, 적외선 패턴광은 등 간격의 가로줄 무늬, 세로줄 무늬, 격자형 무늬 등이 사용될 수 있다. 상기 적외선 패턴광이 얼굴 인식 대상(10)에 조사되면, 얼굴의 굴곡에 따라 패턴의 간격, 굵기 및 밝기가 다르게 나타난다. 또한, 상기 적외선 패턴광 장치(120)에서 조사된 적외선 패턴광은 제 2 카메라(130)를 통해서 촬영된다.
상기 제 2 카메라(130)는 얼굴 인식 대상(10)의 적외선 영상을 촬영한다. 여기서, 상기 제 2 카메라(130)는 상기 적외선 패턴광 장치(120)에서 상기 얼굴 인식 대상(10)에 조사된 패턴의 적외선 영상을 촬영한다. 상기 제 2 카메라(130)를 통해서 촬영된 적외선 영상에는 얼굴 인식 대상(10)의 얼굴 형태에 따른 패턴 분포와 밝기 등의 정보가 담겨있다. 이때, 패턴의 간격과 굵기는 거리에 반비례하기 때문에 다음과 같은 수학식을 통해 상기 적외선 패턴광 장치(120)로부터 얼굴 인식 대상(10)의 각 부분에 대한 거리(d)를 측정할 수 있다.
[수학식]
d = 1 / ( am + b )
여기서, m은 패턴의 간격 또는 굵기를 나타내고, a와 b는 계수를 나타낸다. 이와 같이, 상기 제 2 카메라(130)에서 촬영된 적외선 영상을 통해 얼굴 인식 대상(10)의 깊이 정보를 획득할 수 있다. 상기 제 2 카메라(130)는 상기 미러(140)를 투과하여 얼굴 인식 대상(10)의 적외선 영상을 촬영할 수 있다. 또한, 상기 제 2 카메라(130)는 상기 미러(140)에 반사되어 얼굴 인식 대상(10)의 적외선 영상을 촬영할 수 있다. 이러한, 제 2 카메라(130)는 적외선 카메라 또는 일반적인 카메라에 가시광선 차단 필터를 장착하여 사용할 수 있다.
상기 미러(140)는 상기 제 1 카메라(110)와 제 2 카메라(130)의 광축을 일치시키는 역할을 한다. 상기 미러(140)는 상기 제 1 카메라(110)의 중심축과 상기 제 2 카메라(130)의 중심축이 수직으로 교차하는 지점에서 45도 경사진 각도로 위치한다. 또한, 상기 미러(140)에서 제 1 카메라(110)까지의 거리(D1)와 제 2 카메라(130)까지의 거리(D2)는 동일하다(D1=D2).
도 3a를 참조하여, 상기 미러(140)가 제 1 카메라(110)와 제 2 카메라(130)의 광축을 일치시키는 방법에 대해서 설명하기로 한다.
먼저, 도 3a에 도시된 바와 같이, 얼굴 인식 대상(10)의 정면에 제 2 카메라(130)를 위치시키고, 상기 제 2 카메라(130)와 얼굴 인식 대상(10) 사이에 미러(140)를 45도 경사진 각도로 위치시킨다. 다음으로, 상기 미러(140)의 하부에 제 1 카메라(110)를 위치시킨다. 여기서, 상기 미러(140)는 적외선은 투과시키고 가시광선은 반사시키는 콜드 미러일 수 있다. 따라서, 상기 콜드 미러(140)는 수평하게 배치된 제 2 카메라(130)의 적외선은 투과시키고, 수직하게 배치된 제 1 카메라(110)의 가시광선은 반사시킴으로써, 제 1 카메라(110) 및 제 2 카메라(130)의 광축을 일치시킬 수 있다. 더불어, 상기 제 1 카메라(110)와 제 2 카메라(130)는 동일한 기종의 카메라를 사용하되, 제 1 카메라(110)에는 적외선 차단필터를 장착하고 제 2 카메라(130)에는 가시광선 차단필터를 장착함으로써, 제 1 카메라(110)와 제 2 카메라(130)는 같은 해상도를 같은 화각을 가질 수 있다.
또한, 도 3b에 도시된 바와 같이, 상기 콜드 미러(140) 대신 적외선은 반사시키고 가시광선은 투과시키는 핫 미러(140’)를 사용할 수도 있다. 이 경우에는 제 1 카메라(110)와 제 2 카메라(130)의 위치를 바꿔야 한다. 즉, 상기 제 1 카메라(110)를 얼굴 인식 대상(10)의 정면에 위치시키고, 상기 핫 미러(140’)를 제 1 카메라(110)와 얼굴 인식 대상(10)의 사이에 위치시키며, 상기 핫 미러(140’)의 하부에 제 2 카메라(130)를 위치시킨다. 따라서, 상기 핫 미러(140’)는 수평하게 배치된 제 1 카메라(110)의 가시광선은 투과시키고, 수직하게 배치된 제 2 카메라(130)의 적외선은 반사시킴으로써, 제 1 카메라(110)와 제 2 카메라(130)의 광축을 일치시킬 수 있다.
상기 제어부(150)는 상기 제 1 카메라(110) 및 제 2 카메라(130)로부터 촬영된 가시광선 영상과 적외선 영상을 취합하여, 얼굴 인식 대상(10)의 3차원 얼굴 영상을 생성한다. 여기서, 상기 가시광선 영상과 적외선 영상은 픽셀 단위로 정합되어 있다. 상기 제어부(150)는 상기 제 1 카메라(110)로부터 촬영된 가시광선 영상을 통해 칼라이미지를 얻을 수 있으며, 상기 제 2 카메라(130)로부터 촬영된 적외선 영상을 통해 깊이 정보를 얻을 수 있다. 즉, 상기 제어부(150)는 상기 제 1 카메라(110) 및 제 2 카메라(130)로부터 가시광선 영상과 적외선 영상이 픽셀 단위로 정합된 칼라 이미지와 깊이 정보를 취하여, 얼굴 인식 대상(10)의 3차원 얼굴 영상을 생성할 수 있다.
더불어, 상기 제어부(150)는 현재 생성된 3차원 얼굴 영상과 저장된 등록 영상 사이의 정합도를 판단하여 본인 인증 여부를 결정한다. 이하에서는, 현재 생성된 3차원 얼굴 영상을 현재 영상이라고 하기로 한다. 상기 제어부(150)는 현재 영상의 특징점의 위치와 등록 영상의 특징점의 위치 사이의 정합도를 판단하여 본인 인증 여부를 결정할 수 있다. 여기서, 특징점이란 눈, 코, 입, 귀 등과 같은 특정 부위를 말한다. 또한, 상기 제어부(150)는 현재 영상에서 가시광선 영상 및 적외선 영상의 각각의 특징과 등록 영상에서 가시광선 영상 및 적외선 영상의 각각의 특징 사이의 정합도를 판단하여 본인 인증 여부를 결정할 수 있다. 또한, 상기 제어부(150)는 현재 영상과 등록 영상을 N개의 각도로 동일하게 회전시켜 N장의 2차원 영상으로 만들어서, 현재 영상의 N장의 2차원 영상과 등록 영상의 N장의 2차원 영상 사이의 정합도를 판단하여 본인 인증 여부를 결정할 수 있다.(N은 상수)
상기 저장부(160)는 얼굴 인식 대상(10)의 등록 영상을 저장한다. 즉, 상기 저장부(160)는 다수의 얼굴 인식 대상(10)의 영상을 사전에 미리 등록하여 저장해둔다. 또한, 상기 저장부(160)에는 등록 영상의 특징점의 위치, 가시광선 영상 및 적외선 영상의 각각의 특징 및 N장의 2차원 영상이 저장되어 있다.
이와 같이, 본 발명의 일 실시예에 따른 3차원 얼굴 인식 시스템(100)은 가시광선 영상을 촬영하는 제 1 카메라(110)와 적외선 영상을 촬영하는 제 2 카메라(130)를 중첩시켜 칼라 이미지와 깊이 정보를 동시에 얻음으로써, 3차원 얼굴 영상을 획득할 수 있다.
다음으로, 상기와 같은 3차원 얼굴 인식 시스템의 얼굴 인식 방법에 대해서 살펴보기로 한다.
도 4는 본 발명의 일 실시예에 따른 3차원 얼굴 인식 시스템의 얼굴 인식 방법을 도시한 순서도이다.
도 4를 참조하면, 3차원 얼굴 인식 시스템의 얼굴 인식 방법은 영상 취득 단계(S10), 특징 추출 단계(S20), 정합도 판단 단계(S30) 및 인증 단계(S40)를 포함한다.
상기 영상 취득 단계(S10)는 제 1 카메라(110) 및 제 2 카메라(130)로부터 촬영된 얼굴 인식 대상(10)의 가시광선 영상과 적외선 영상을 취득하는 단계이다. 상기 영상 취득 단계(S10)에서 제어부(150)는 상기 제 1 카메라(110)로부터 가시광선 영상을 취득하고(S11), 상기 제 2 카메라(130)로부터 적외선 영상을 취득한다(S12). 이때, 상기 제어부(150)는 상기 적외선 영상으로부터 깊이 정보를 추출할 수 있다(S13).
상기 특징 추출 단계(S20)는 상기 영상 취득 단계(S10)에서 취득한 가시광선 영상과 적외선 영상으로부터 특징점의 위치를 추출하는 단계이다. 상기 특징 추출 단계(S20)에서 상기 제어부(150)는 눈, 코, 입, 귀 등과 같은 특징점을 추출한 뒤(S21), 크기와 각도, 깊이 정보 등을 이용하여 3차원 위치로 정규화한다(S22). 이에 따라, 상기 특징 추출 단계(S20)에서는 특징점의 3차원 위치를 추출할 수 있다.
상기 정합도 판단 단계(S30)는 상기 특징 추출 단계(S20)에서 추출된 특징과 저장된 등록 영상의 특징 사이의 정합도를 판단하는 단계이다. 상기 정합도 판단 단계(S30)에서 상기 제어부(150)는 상기 특징 추출 단계(S20)에서 추출한 특징점의 위치와 저장부(160)에 저장된 등록 영상의 특징점의 위치가 얼마나 일치하는지를 판단한다. 여기서, 상기 저장부(160)에는 다수의 얼굴 인식 대상(10)의 3차원 등록 영상이 저장되어 있다.
상기 인증 단계(S40)는 상기 정합도 판단 단계(S30)에서 판단된 정합도에 따라 인증결과를 나타내는 단계이다. 상기 인증 단계(S40)에서 상기 제어부(150)는 정합도가 기준값 이상이면 인증 성공, 즉 본인임을 알려주고, 기준값 미만이면 인증 실패임을 알려준다.
이와 같이, 본 발명의 일 실시예에 따른 3차원 얼굴 인식 시스템의 얼굴 인식 방법은 3차원 얼굴 영상의 특징 정보를 사용하므로, 얼굴 인식률을 향상시킬 수 있다.
또한, 본 발명의 일 실시예에 따른 3차원 얼굴 인식 시스템의 얼굴 인식 방법은 제 1 카메라(110)와 제 2 카메라(130)를 통해서 가시광선 영상과 적외선 영상을 동시에 취득하므로, 사진, 동영상 등과 같은 위조 얼굴을 용이하게 판단할 수 있다.
도 5는 본 발명의 다른 실시예에 따른 3차원 얼굴 인식 시스템의 얼굴 인식 방법을 도시한 순서도이다.
도 5를 참조하면, 3차원 얼굴 인식 시스템의 얼굴 인식 방법은 영상 취득 단계(S10), 특징 추출 단계(S120), 정합도 판단 단계(S130) 및 인증 단계(S40)를 포함한다. 도 5에 도시된 얼굴 인식 방법은 도 4에 도시된 얼굴 인식 방법과 비교하여 특징 추출 단계(S120)와 정합도 판단 단계(S130)만 다르고 나머지 단계는 모두 동일하다. 따라서, 이하에서는 특징 추출 단계(S120)와 정합도 판단 단계(S130)에 대해서만 설명하기로 한다.
상기 특징 추출 단계(S120)는 상기 영상 취득 단계(S10)에서 취득한 가시광선 영상과 적외선 영상의 각각의 특징을 추출하는 단계이다. 상기 특징 추출 단계(S120)에서 상기 제어부(150)는 가시광선 영상의 특징을 추출하고(S121), 적외선 영상의 특징을 추출한다(S122). 그리고 난 뒤, 상기 제어부(150)는 각각의 특징을 서로 융합한다(S123).
상기 정합도 판단 단계(S130)는 상기 특징 추출 단계(S120)에서 추출된 특징과 저장된 등록 영상의 특징 사이의 정합도를 판단하는 단계이다. 상기 정합도 판단 단계(S130)에서 상기 제어부(150)는 상기 특징 추출 단계(S120)에서 추출한 가시광선 영상의 특징 및 적외선 영상의 특징이 저장부(160)에 저장된 등록 영상의 가시광선 영상의 특징 및 적외선 영상의 특징과 얼마나 일치하는지를 판단한다.
도 6은 본 발명의 또다른 실시예에 따른 3차원 얼굴 인식 시스템의 얼굴 인식 방법을 도시한 순서도이다.
도 6을 참조하면, 3차원 얼굴 인식 시스템의 얼굴 인식 방법은 영상 취득 단계(S10), 특징 추출 단계(S220), 정합도 판단 단계(S230) 및 인증 단계(S40)를 포함한다. 도 6에 도시된 얼굴 인식 방법은 도 4에 도시된 얼굴 인식 방법과 비교하여 특징 추출 단계(S220)와 정합도 판단 단계(S230)만 다르고 나머지 단계는 모두 동일하다. 따라서, 이하에서는 특징 추출 단계(S220)와 정합도 판단 단계(S230)에 대해서만 설명하기로 한다.
상기 특징 추출 단계(S220)는 상기 영상 취득 단계(S10)에서 취득한 가시광선 영상과 적외선 영상으로부터 3차원 얼굴 영상을 생성하고, 이를 다시 N장의 2차원 얼굴 영상으로 생성하는 단계이다. 상기 특징 추출 단계(S220)에서 상기 제어부(150)는 가시광선 영상과 적외선 영상으로부터 3차원 얼굴 영상을 생성한 뒤(S221), 상기 3차원 얼굴 영상을 N개의 각도로 회전시켜 N장의 2차원 얼굴 영상으로 생성한다(S222).
상기 정합도 판단 단계(S230)는 상기 특징 추출 단계(S220)에서 추출된 특징과 저장된 등록 영상의 특징 사이의 정합도를 판단하는 단계이다. 상기 정합도 판단 단계(S230)에서 상기 제어부(150)는 상기 특징 추출 단계(S220)에서 추출한 N장의 2차원 얼굴 영상이 저장부(160)에 저장된 등록 영상의 N장의 2차원 얼굴 영상과 얼마나 일치하는지를 판단한다.
이상에서 설명한 것은 본 발명에 의한 3차원 얼굴 인식 시스템 및 그의 얼굴 인식 방법을 실시하기 위한 하나의 실시예에 불과한 것으로서, 본 발명은 상기한 실시예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 바와 같이 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.
100: 3차원 얼굴 인식 시스템 110: 제 1 카메라
120: 적외선 패턴광 장치 130: 제 2 카메라
140: 미러 150: 제어부

Claims (17)

  1. 얼굴 인식 대상의 가시광선 영상을 촬영하는 제 1 카메라;
    상기 얼굴 인식 대상에 적외선 패턴광을 조사하는 적외선 패턴광 장치;
    상기 얼굴 인식 대상에 조사된 패턴의 적외선 영상을 촬영하는 제 2 카메라;
    상기 제 1 카메라와 제 2 카메라의 광축을 일치시키는 미러; 및
    상기 제 1 카메라 및 제 2 카메라로부터 가시광선 영상과 적외선 영상이 픽셀 단위로 정합된 칼라 이미지와 깊이 정보를 취하여, 상기 얼굴 인식 대상의 3차원 얼굴 영상을 생성하는 제어부를 포함하는 것을 특징으로 하는 3차원 얼굴 인식 시스템.
  2. 제 1 항에 있어서,
    상기 미러는 상기 제 1 카메라의 중심축과 상기 제 2 카메라의 중심축이 수직으로 교차하는 지점에서 45도 경사진 각도로 위치하며, 상기 제 1 카메라의 가시광선은 반사시키고 상기 제 2 카메라의 적외선은 투과시키는 콜드 미러인 것을 특징으로 하는 3차원 얼굴 인식 시스템.
  3. 제 1 항에 있어서,
    상기 미러는 상기 제 1 카메라의 중심축과 상기 제 2 카메라의 중심축이 수직으로 교차하는 지점에서 45도 경사진 각도로 위치하며, 상기 제 1 카메라의 가시광선은 투과시키고 상기 제 2 카메라의 적외선은 반사시키는 핫 미러인 것을 특징으로 하는 3차원 얼굴 인식 시스템.
  4. 제 1 항에 있어서,
    상기 제 1 카메라로부터 상기 미러까지의 거리와 상기 제 2 카메라로부터 상기 미러까지의 거리는 동일한 것을 특징으로 하는 3차원 얼굴 인식 시스템.
  5. 제 1 항에 있어서,
    상기 제 1 카메라와 상기 제 2 카메라는 동일한 기종의 카메라이며,
    상기 제 1 카메라에는 적외선 차단 필터가 장착되어 있으며,
    상기 제 2 카메라에는 가시광선 차단 필터가 장착되어 있는 것을 특징으로 하는 3차원 얼굴 인식 시스템.
  6. 제 1 항에 있어서,
    상기 얼굴 인식 대상의 등록 영상이 저장된 저장부를 더 포함하는 것을 특징으로 하는 3차원 얼굴 인식 시스템.
  7. 제 6 항에 있어서,
    상기 제어부는 상기 얼굴 인식 대상의 현재 3차원 영상과 상기 저장부에 저장된 등록 영상 사이의 정합도를 판단하여 본인 인증 여부를 결정하는 것을 특징으로 하는 3차원 얼굴 인식 시스템.
  8. 제 7 항에 있어서,
    상기 제어부는 현재 3차원 영상의 특징점의 위치와 등록 영상의 특징점의 위치 사이의 정합도를 판단하는 것을 특징으로 하는 3차원 얼굴 인식 시스템.
  9. 제 7 항에 있어서,
    상기 제어부는 현재 3차원 영상의 가시광선 영상 및 적외선 영상의 각각의 특징과 등록 영상의 가시광선 영상 및 적외선 영상의 각각의 특징 사이의 정합도를 판단하는 것을 특징으로 하는 3차원 얼굴 인식 시스템.
  10. 제 7 항에 있어서,
    상기 제어부는 현재 3차원 영상의 N장의 2차원 영상과 등록영상의 N장의 2차원 영상 사이의 정합도를 판단하는 것을 특징으로 하는 3차원 얼굴 인식 시스템.
  11. 제 1 카메라로부터 가시광선 영상을 취득하고 제 2 카메라로부터 적외선 영상을 취득하는 영상 취득 단계;
    상기 영상 취득 단계에서 취득한 영상의 특징을 추출하는 특징 추출 단계;
    상기 특징 추출 단계에서 추출된 특징과 저장된 등록 영상의 특징 사이의 정합도를 판단하는 정합도 판단 단계; 및
    상기 정합도 판단 단계에서 판단된 정합도에 따라 인증결과를 나타내는 인증 단계를 포함하는 것을 특징으로 하는 3차원 얼굴 인식 시스템의 얼굴 인식 방법.
  12. 제 11 항에 있어서,
    상기 특징 추출 단계는 상기 가시광선 영상과 적외선 영상으로부터 특징점의 위치를 추출하는 것을 특징으로 하는 3차원 얼굴 인식 시스템의 얼굴 인식 방법.
  13. 제 12 항에 있어서,
    상기 정합도 판단 단계는 상기 특징 추출 단계에서 추출된 특징점의 위치와 저장된 등록 영상의 특징점의 위치 사이의 정합도를 판단하는 것을 특징으로 하는 3차원 얼굴 인식 시스템의 얼굴 인식 방법.
  14. 제 11 항에 있어서,
    상기 특징 추출 단계는 상기 가시광선 영상의 특징과 적외선 영상의 특징을 각각 추출하는 것을 특징으로 하는 3차원 얼굴 인식 시스템의 얼굴 인식 방법.
  15. 제 14 항에 있어서,
    상기 정합도 판단 단계는 상기 특징 추출 단계에서 추출된 가시광선 영상의 특징 및 적외선 영상의 특징과 저장된 등록 영상의 가시광선 영상의 특징 및 적외선 영상의 특징 사이의 정합도를 판단하는 것을 특징으로 하는 3차원 얼굴 인식 시스템의 얼굴 인식 방법.
  16. 제 11 항에 있어서,
    상기 특징 추출 단계는 상기 가시광선 영상과 적외선 영상으로부터 3차원 얼굴 영상을 생성하고, 상기 3차원 얼굴 영상을 N개의 각도로 회전시켜 N장의 2차원 얼굴 영상을 생성하는 것을 특징으로 하는 3차원 얼굴 인식 시스템의 얼굴 인식 방법.
  17. 제 16 항에 있어서,
    상기 정합도 판단 단계는 상기 특징 추출 단계에서 추출된 N장의 2차원 얼굴 영상과 저장된 등록 영상의 N장의 2차원 얼굴 영상 사이의 정합도를 판단하는 것을 특징으로 하는 3차원 얼굴 인식 시스템의 얼굴 인식 방법.
KR1020120119838A 2012-10-26 2012-10-26 3차원 얼굴 인식 시스템 및 그의 얼굴 인식 방법 Active KR101444538B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120119838A KR101444538B1 (ko) 2012-10-26 2012-10-26 3차원 얼굴 인식 시스템 및 그의 얼굴 인식 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120119838A KR101444538B1 (ko) 2012-10-26 2012-10-26 3차원 얼굴 인식 시스템 및 그의 얼굴 인식 방법

Publications (2)

Publication Number Publication Date
KR20140053647A true KR20140053647A (ko) 2014-05-08
KR101444538B1 KR101444538B1 (ko) 2014-09-24

Family

ID=50886217

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120119838A Active KR101444538B1 (ko) 2012-10-26 2012-10-26 3차원 얼굴 인식 시스템 및 그의 얼굴 인식 방법

Country Status (1)

Country Link
KR (1) KR101444538B1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016043704A1 (en) * 2014-09-15 2016-03-24 Hewlett-Packard Development Company, L.P. Digital light projector having invisible light channel
KR20180134280A (ko) * 2017-06-08 2018-12-18 (주)이더블유비엠 3차원 깊이정보 및 적외선정보에 기반하여 생체여부의 확인을 행하는 얼굴인식 장치 및 방법
KR20190009459A (ko) * 2017-07-18 2019-01-29 광운대학교 산학협력단 3d 구조물 인식을 위한 줄무늬 패턴 조명생성장치 및 이를 이용한 얼굴 인식장치
KR102085070B1 (ko) * 2019-06-10 2020-03-05 한국씨텍(주) 딥러닝 기반 영상 정합 장치 및 방법
WO2020045849A1 (ko) * 2018-08-31 2020-03-05 주식회사 더메이크 트루뎁스 카메라를 이용하여 아이웨어 시착 및 추천 서비스를 제공하는 시스템 및 방법
JP2020522764A (ja) * 2018-05-10 2020-07-30 ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド 生体検知方法および装置、システム、電子機器、記憶媒体
CN111684394A (zh) * 2018-03-15 2020-09-18 欧姆龙株式会社 视线检测装置、所述视线检测装置的控制方法、角膜反射像位置的检测方法、计算机程序以及存储介质
US10930010B2 (en) 2018-05-10 2021-02-23 Beijing Sensetime Technology Development Co., Ltd Method and apparatus for detecting living body, system, electronic device, and storage medium
WO2022045497A1 (ko) * 2020-08-28 2022-03-03 엘지전자 주식회사 사용자 인증장치 및 그 제어방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001242417A (ja) 2000-02-28 2001-09-07 Mixed Reality Systems Laboratory Inc 瞳孔位置検出装置及びそれを用いた画像表示装置
JP4981700B2 (ja) 2008-01-29 2012-07-25 パナソニック株式会社 顔認証装置
KR20110013916A (ko) * 2009-08-04 2011-02-10 이상화 이종 영상 촬영장치를 이용한 실물 인식 시스템 및 실물 인식 방법
KR20120009048A (ko) * 2010-07-22 2012-02-01 재단법인대구경북과학기술원 거리정보를 추출하는 방법, 장치 및 시스템

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016043704A1 (en) * 2014-09-15 2016-03-24 Hewlett-Packard Development Company, L.P. Digital light projector having invisible light channel
US10216075B2 (en) 2014-09-15 2019-02-26 Hewlett-Packard Development Company, L.P. Digital light projector having invisible light channel
KR20180134280A (ko) * 2017-06-08 2018-12-18 (주)이더블유비엠 3차원 깊이정보 및 적외선정보에 기반하여 생체여부의 확인을 행하는 얼굴인식 장치 및 방법
KR20190009459A (ko) * 2017-07-18 2019-01-29 광운대학교 산학협력단 3d 구조물 인식을 위한 줄무늬 패턴 조명생성장치 및 이를 이용한 얼굴 인식장치
CN111684394A (zh) * 2018-03-15 2020-09-18 欧姆龙株式会社 视线检测装置、所述视线检测装置的控制方法、角膜反射像位置的检测方法、计算机程序以及存储介质
JP2020522764A (ja) * 2018-05-10 2020-07-30 ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド 生体検知方法および装置、システム、電子機器、記憶媒体
US10930010B2 (en) 2018-05-10 2021-02-23 Beijing Sensetime Technology Development Co., Ltd Method and apparatus for detecting living body, system, electronic device, and storage medium
WO2020045849A1 (ko) * 2018-08-31 2020-03-05 주식회사 더메이크 트루뎁스 카메라를 이용하여 아이웨어 시착 및 추천 서비스를 제공하는 시스템 및 방법
KR20200025652A (ko) * 2018-08-31 2020-03-10 주식회사 더메이크 트루뎁스 카메라를 이용하여 아이웨어 시착 및 추천 서비스를 제공하는 시스템 및 방법
US11475648B2 (en) 2018-08-31 2022-10-18 Coptiq Co., Ltd. System and method for providing eyewear try-on and recommendation services using truedepth camera
KR102085070B1 (ko) * 2019-06-10 2020-03-05 한국씨텍(주) 딥러닝 기반 영상 정합 장치 및 방법
WO2022045497A1 (ko) * 2020-08-28 2022-03-03 엘지전자 주식회사 사용자 인증장치 및 그 제어방법

Also Published As

Publication number Publication date
KR101444538B1 (ko) 2014-09-24

Similar Documents

Publication Publication Date Title
KR101444538B1 (ko) 3차원 얼굴 인식 시스템 및 그의 얼굴 인식 방법
CN107368730B (zh) 解锁验证方法和装置
CN108549867B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
US11256903B2 (en) Image processing method, image processing device, computer readable storage medium and electronic device
WO2019205742A1 (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN107563304B (zh) 终端设备解锁方法及装置、终端设备
CN106937532B (zh) 用于检测真正用户的系统和方法
JP7157303B2 (ja) 認証装置
US10521650B2 (en) 3D imaging recognition by stereo matching of RGB and infrared images
CN108804895A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN107277053A (zh) 身份验证方法、装置及移动终端
CN107451561A (zh) 虹膜识别补光方法和装置
WO2019206020A1 (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN108805024A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN107483428A (zh) 身份验证方法、装置和终端设备
WO2017113286A1 (zh) 一种认证方法及装置
US20210256244A1 (en) Method for authentication or identification of an individual
CN108711054A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
KR101053253B1 (ko) 3차원 정보를 이용한 얼굴 인식 장치 및 방법
JP2010045501A (ja) 画像監視装置
US8682041B2 (en) Rendering-based landmark localization from 3D range images
CN107392545A (zh) 收取快递的身份验证方法和装置
US8780116B2 (en) Object-shape generation method, object-shape generation apparatus, and program
JP2004126738A (ja) ３次元計測を用いた個人認証装置および認証方法
KR20210123385A (ko) 비접촉 지문 획득 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20121026

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20130823

Patent event code: PE09021S01D

E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

Comment text: Final Notice of Reason for Refusal

Patent event date: 20140213

Patent event code: PE09021S02D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20140717

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20140918

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20140918

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20170908

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20170908

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20180905

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20180905

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20190906

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20190906

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20200901

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20210901

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20220901

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20230906

Start annual number: 10

End annual number: 10

PR1001 Payment of annual fee

Payment date: 20240902

Start annual number: 11

End annual number: 11