KR20170109007A

KR20170109007A - 얼굴 생체 내 검출 방법 및 장치

Info

Publication number: KR20170109007A
Application number: KR1020177023967A
Authority: KR
Inventors: 펭 리
Original assignee: 알리바바 그룹 홀딩 리미티드
Priority date: 2015-01-26
Filing date: 2016-01-25
Publication date: 2017-09-27
Also published as: US9824280B2; WO2016123008A1; TWI686774B; KR102122348B1; EP3251056A4; JP2018508875A; TW201627917A; CN105893920A; US20160217338A1; CN105893920B; EP3251056B1; SG11201706036WA; EP3251056A1; KR20200057099A

Abstract

얼굴 검출 방법은 비디오 영상 시퀀스 취득, 비디오 영상 시퀀스에 대해 비디오 샷 경계 검출 프로세스를 수행하여, 비디오 영상 시퀀스 내에 샷 변화가 존재하는지 판단하여 제1 판정 결과 획득, 및 제1 판정 결과가 비디오 영상 시퀀스 내에 샷 변화가 존재함을 나타낼 때, 얼굴 검출 실패로 판단을 포함한다. 본 개시는 또한 비디오 영상 시퀀스를 취득하도록 구성되는 취득 유닛, 비디오 영상 시퀀스에 대해 비디오 샷 경계 검출 프로세스를 수행하여 비디오 영상 시퀀스 내에 샷 변화가 존재하는지 판단하여 제1 판정 결과를 획득하도록 구성되는 제1 검출 유닛, 및 제1 판정 결과가 비디오 영상 시퀀스 내에 샷 변화가 존재함을 나타낼 때, 얼굴 검출 실패로 판단하도록 구성되는 판단 유닛을 포함하는 얼굴 검출 장치를 제공한다.

Description

얼굴 생체 내 검출 방법 및 장치

연관된 출원에 대한 상호참조

이 출원은 2015년 1월 26일에 출원된 중국 출원 제201510038591.6호에 기반하여 우선권의 이익을 주장하며, 그 전체 내용은 여기에서 참조로서 포함된다.

기술분야

본 발명은 데이터 처리 기술 분야에 관한 것이며, 구체적으로 얼굴 생체 내(in-vivo) 검출 방법 및 장치에 관한 것이다.

효과적인 신원 인증 및 인식 기술로서의 얼굴 인식이 편리성, 사용자 편의성, 비접촉성 등을 위하여 널리 이용되어 왔다. 그러나 얼굴 인식 시스템은 또한 불법적인 사용자의 공격을 받기 쉽다. 얼굴 인식 시스템의 보안은 실질적인 관심사가 된다.

얼굴 인식 시스템에 대한 공격은 사진 공격, 비디오 공격 및 3D 모델 공격의 3가지 유형을 주로 포함한다. 유효한 사용자의 사진이나 비디오를 얻은 후, 위법자 또는 가짜 사용자는 유효한 사용자의 사진이나 비디오를 위조된 얼굴로 사용하여 시스템 사기(fraud)를 시도할 수 있다. 실제 얼굴을 사진 및 비디오와 구별하고 얼굴 인식 시스템에 대한 가능한 공격에 대한 예방 조치를 취하기 위하여, 종래 기술에서는 주로 3가지 검출 방법이 있다: (1) 영상 분류 방법을 사용하여 실제 얼굴 영상화를 사진 또는 비디오 재영상화와 구별; (2) 비디오 추적 기술로 정적인 사진 또는 3D 모델이 아닌 실제 얼굴임을 판단; 및 (3) 사용자 상호작용 기술에 의해 사용자가 임의로 어떤 동작을 수행하게 하고, 컴퓨터 비전 기술에 의해 사용자의 행동이 올바른지 판정하여, 수집된 정보가 위조된 사진, 비디오 또는 3D 모델이 아닌 살아있는 얼굴인지 판정.

이미지 분류에 기반한 방법은 정확도가 낮고, 오판율이 높으며, 보안성이 낮다. 비디오 추적 기술은 얼굴 검출의 정밀도가 높지만, 많은 계산량을 요구하고 상이한 단말 장치에서 실시간 처리를 실현하기 어렵다. 세 번째 방법은 처리 속도가 빠르며 상이한 단말 장치에서 실시간 처리를 구현할 수 있지만, 정확도가 비교적 낮기 때문에, 일부 고의적인 공격을 막을 수 없다. 따라서, 고의적인 공격을 방어하고 얼굴 검출 시스템의 보안을 향상시킬 수 있는 얼굴 생체 내 검출 방법 및 시스템이 필요하다.

본 개시는 얼굴 검출 방법을 제공한다. 일부 실시예에 부합하여, 방법은 비디오 영상 시퀀스 취득, 비디오 영상 시퀀스에 대해 비디오 샷 경계 검출 프로세스를 수행하여 비디오 영상 시퀀스 내에 샷 변화가 존재하는지 판단하여 제1 판정 결과 획득, 및 제1 판정 결과가 비디오 영상 시퀀스 내에 샷 변화가 존재함을 나타낼 때, 얼굴 검출 실패로 판단을 포함한다.

일부 실시예에 따르면, 비디오 샷 경계 검출 프로세스는 영상 특징 추출 영역에서 비디오 영상 시퀀스에 대해 영상 특징 추출을 수행하여 영상 특징 벡터 획득, 두 영상 프레임의 영상 특징 벡터로 계산하여, 두 영상 프레임 사이의 유사도 값을 획득하여 두 영상 프레임의 내용 연속성 판단, 및 유사도 값에 따라 두 영상 프레임이 내용상 불연속으로 판단될 때, 비디오 영상 시퀀스 내에 샷 변화가 존재한다고 판단을 포함한다. 영상 특징 추출 영역은 단일 화소 특징 추출 영역, 화소 블록 특징 추출 영역, 또는 전체 프레임 영상 특징 추출 영역을 포함할 수 있다. 일부 실시예에 따르면, 두 영상 프레임은 i번째 영상 프레임 및 j번째 영상 프레임이며, 여기에서 j=i+n(n≥1), i≥1이다.

일부 실시예에서, 비디오 샷 경계 검출 프로세스는 비디오 샷 컷 검출 프로세스를 포함한다. 두 영상 프레임 사이의 유사도 값이 제1 임계치보다 작을 때, 두 영상 프레임 사이에 컷 변화가 존재하며 비디오 영상 시퀀스 내에 샷 변화가 존재한다고 판단할 수 있다.

일부 다른 실시예에 따르면, 비디오 샷 경계 검출 프로세스는 비디오 샷 점진적 변화 검출 프로세스를 포함한다. 두 영상 프레임 사이의 유사도 값에 따라 두 영상 프레임이 내용상 불연속으로 판단될 때, 비디오 영상 시퀀스 내에 샷 변화가 존재한다고 판단은, 두 영상 프레임 사이의 유사도 값이 제3 임계치보다 크고 제4 임계치보다 작다고 판단될 때, 두 영상 프레임의 후속 영상 프레임 획득, 쌍 영상 프레임 사이의 유사도 값이 제4 임계치보다 커질 때까지 후속 영상 프레임의 쌍 영상 프레임 사이의 유사도 값 계산, 획득된 영상 프레임의 유사도 값의 합 계산, 및 유사도 값의 합이 제5 임계치보다 작을 때, 비디오 영상 시퀀스 내에 점진적 변화가 존재하고 비디오 영상 시퀀스 내에 샷 변화가 존재한다고 판단을 포함할 수 있다.

일부 다른 실시예에 따르면, 방법은 얼굴 특징점 검출 프로세스에 기반하여 얼굴 검출을 수행하여 제2 판정 결과 획득, 및 제2 판정 결과가 얼굴 검출 조건을 만족하는 것을 나타내고 제1 판정 결과가 비디오 영상 시퀀스 내에 샷 변화가 존재하지 않음을 나타낼 때, 얼굴 검출이 통과한 것으로 판단을 더 포함할 수 있다.

본 개시의 일부 다른 실시예에 부합하여, 비디오 샷 경계 검출 프로세스는 영상 특징 추출 영역에서 비디오 영상 시퀀스에 대해 영상 특징 추출을 수행하여 영상 특징 벡터 획득, 두 영상 프레임의 영상 특징 벡터로 계산하여, 두 영상 프레임 사이의 프레임 차이 값을 획득하여 두 영상 프레임의 내용 연속성 판단, 및 계산된 두 영상 프레임 사이의 프레임 차이 값에 따라 두 영상 프레임이 내용상 불연속으로 판단될 때, 비디오 영상 시퀀스 내에 샷 변화가 존재한다고 판단을 포함할 수 있다.

일부 실시예에 따르면, 비디오 샷 경계 검출 프로세스는 비디오 샷 컷 검출 프로세스를 포함할 수 있다. 두 영상 프레임 사이의 프레임 차이 값에 따라 두 영상 프레임이 내용상 불연속으로 판단될 때, 비디오 영상 시퀀스 내에 샷 변화가 존재한다고 판단은, 두 영상 프레임 사이의 프레임 차이 값이 제2 임계치보다 클 때, 두 영상 프레임 사이에 컷 변화가 존재하며 비디오 영상 시퀀스 내에 샷 변화가 존재한다고 판단을 포함할 수 있다.

일부 다른 실시예에 따르면, 비디오 샷 경계 검출 프로세스는 비디오 샷 점진적 변화 검출 프로세스를 포함할 수 있다. 두 영상 프레임 사이의 프레임 차이 값에 따라 두 영상 프레임이 내용상 불연속으로 판단될 때, 비디오 영상 시퀀스 내에 샷 변화가 존재한다고 판단은, 두 영상 프레임 사이의 프레임 차이 값이 제6 임계치보다 크고 제7 임계치보다 작다고 판단될 때, 두 영상 프레임의 후속 영상 프레임 획득, 쌍 영상 프레임 사이의 프레임 차이 값이 제6 임계치보다 작아질 때까지 후속 영상 프레임의 쌍 영상 프레임 사이의 프레임 차이 값 계산, 프레임 차이 값의 합 계산, 및 합이 제7 임계치보다 클 때, 비디오 영상 시퀀스 내에 점진적 변화가 존재하고 비디오 영상 시퀀스 내에 샷 변화가 존재한다고 판단을 포함할 수 있다.

본 개시는 또한 얼굴 검출 장치를 제공한다. 일부 실시예에 부합하여, 장치는 비디오 영상 시퀀스를 취득하도록 구성되는 취득 유닛, 비디오 영상 시퀀스에 대해 비디오 샷 경계 검출 프로세스를 수행하여 비디오 영상 시퀀스 내에 샷 변화가 존재하는지 판단하여 제1 판정 결과를 획득하도록 구성되는 제1 검출 유닛, 및 제1 판정 결과가 비디오 영상 시퀀스 내에 샷 변화가 존재함을 나타낼 때, 얼굴 검출 실패로 판단하도록 구성되는 판단 유닛을 포함한다.

일부 실시예에서, 제1 검출 유닛은 영상 특징 추출 영역에서 비디오 영상 시퀀스에 대해 영상 특징 추출을 수행하여 영상 특징 벡터를 획득하고, 두 영상 프레임의 영상 특징 벡터에 기반하여 유사도 또는 프레임 차이 값을 계산하여 두 영상 프레임의 내용 연속성을 판단하고, 및 유사도 또는 프레임 차이 값에 따라 두 영상 프레임이 내용상 불연속으로 판단될 때, 비디오 영상 시퀀스 내에 샷 변화가 존재한다고 판단하도록 더 구성될 수 있다.

일부 실시예에서, 얼굴 검출 장치는 얼굴 특징점 검출 프로세스를 수행하여 제2 판정 결과를 획득하는 제2 검출 유닛을 더 포함할 수 있다. 판단 유닛은, 제2 판정 결과가 얼굴 검출 조건을 만족하는 것을 나타내고 제1 판정 결과가 비디오 영상 시퀀스 내에 샷 변화가 존재하지 않음을 나타낼 때, 얼굴 검출이 통과된 것으로 판단하도록 구성될 수 있다.

본 명세서에 통합되고 그 일부를 구성하는 첨부 도면은 본 발명에 부합하는 실시예를 도시하며, 설명과 함께, 발명의 원리를 설명하는 역할을 한다.
도 1a는 본 개시의 일부 실시예에 따른 얼굴 생체 내 검출 방법의 흐름도이다.
도 1b는 본 개시의 하나의 예시적인 실시예에 따른 얼굴 생체 내 검출 방법의 흐름도이다.
도 1c는 본 개시의 하나의 예시적인 실시예에 따른 얼굴 생체 내 검출 방법의 흐름도이다.
도 2는 본 개시의 일부 다른 실시예에 따른 얼굴 생체 내 검출 방법의 흐름도이다.
도 3은 본 개시의 일부 실시예에 따른 얼굴 생체 내 검출 장치의 블록도이다.

이제, 예시적인 실시예를 상세히 참조하며, 그 예들은 첨부된 도면에 도시되어 있다. 다음의 설명은 달리 표현되지 않는 한, 상이한 도면에서 동일한 번호가 동일하거나 유사한 요소를 나타내는 첨부된 도면을 참조한다. 예시적인 실시예에 대한 이하의 설명에서 제시된 구현은 본 발명과 부합하는 모든 구현을 나타내지는 않는다. 대신, 이들은 단지 첨부된 청구범위에 열거된 발명과 관련된 양상과 부합하는 장치 및 방법의 예일 뿐이다.

이 개시의 일부 실시예에 부합하여, 얼굴 생체 내 검출을 위한 방법 및 기구가 제공된다. 본 출원에 의해 제공되는 방법은 다양한 전자 장비에 적용 가능한 얼굴 인식 검출 장치에 적용될 수 있다. 전자 장비는 데스크톱 컴퓨터, 랩톱 컴퓨터, 모바일 장치(스마트폰, 비-스마트폰, 태블릿 컴퓨터 포함) 등을 포함하되 이에 한정되지 않고, 현재 사용 가능하거나, 개발 중이거나 향후 개발될 전자 장비일 수 있다. 전자 장비에는 카메라와 같은 영상 캡처 장치가 제공될 수 있다. 대안적으로, 얼굴 인식 검출 장치가 영상 캡처 장치를 포함할 수 있다. 영상 캡처 장치는 비디오 영상 시퀀스를 캡처하는 데 사용된다.

도 1a는 본 출원의 실시예에 의해 제공되는 얼굴 생체 내 검출 방법의 개략적인 흐름도이다. 방법은 다음의 단계를 포함할 수 있다.

S101, 처리될 비디오 영상 시퀀스 취득.

얼굴 생체 내 검출 장치는 카메라와 같은 영상 캡처 장치를 통해 일련의 비디오 프레임일 수 있는 비디오 영상을 캡처한다. 영상 캡처 장치는 얼굴 생체 내 검출 장치에 내장되거나 외부 장비 상에 제공될 수 있다.

S102, 처리될 비디오 영상 시퀀스에 대해 비디오 샷 경계 검출 프로세스를 수행하여 비디오 영상 시퀀스 내에 샷 변화가 존재하는지 판단하여 제1 판정 결과 획득.

캡처된 비디오 영상 시퀀스가 실제 얼굴에 의해 형성된 영상을 포함하면, 분명한 샷 변화가 없어야 한다. 제3자가 얼굴 검출 시스템을 공격하면, 예를 들면, 허위 사용자가 얼굴 생체 내 검출 장치를 속이거나 공격하고자 하는 시도로 카메라 앞에서 유효한 사용자의 실제 사진을 흔들거나 비틀거나 접어서 유효한 사용자가 수행하는 동작을 위조하면, 캡처된 비디오 영상 시퀀스 내에 샷 변화가 존재할 수 있다. 본 출원의 일부 실시예에서, 처리될 비디오 영상 시퀀스에 대해 비디오 샷 경계 검출 프로세스가 수행되어, 비디오 영상 시퀀스 내에 샷 변화가 존재하는지 판단하고, 이에 따라 공격 또는 사기가 있는지 판단한다. 비디오 샷 경계 검출 프로세스는:

처리될 비디오 영상 시퀀스에 대해 비디오 샷 경계 컷 검출을 수행하여 비디오 영상 시퀀스 내에 샷 변화가 존재하는지 판단; 및/또는

처리될 비디오 영상 시퀀스에 대해 비디오 샷 경계 점진적 변화 검출을 수행하여 비디오 영상 시퀀스 내에 샷 변화가 존재하는지 판단을 포함할 수 있다.

비디오 샷 경계 컷은 빠른 샷 컷(shot cut)을 지칭하며, 이는 종종 두 개의 인접한 비디오 프레임에서 완료된다. 비디오 샷 경계 점진적 변화는 점진적이며 느린 샷 변화를 지칭하며, 이는 일반적으로 비디오 시퀀스의 점진적 변화 과정이다.

비디오 샷 경계 컷 변화 검출 및 비디오 샷 경계 점진적 변화 검출은 모두 두 개의 비디오 프레임의 화소 변화의 강도를 비교하여 샷 변화가 존재하는지 판단할 수 있다. 예를 들면, 비디오 샷 경계 검출 프로세스는 다음의 단계를 포함할 수 있다.

S102A, 도 1b 및 1c에 나타난 바와 같이, 영상의 특징 추출 영역에서, 비디오 영상 시퀀스로부터 특징을 추출하여 영상 특징 벡터 획득.

특징 추출 영역은 사전 설정된 영역일 수 있다. 본 출원의 실시예에서, 상이한 유형의 특징 추출 영역이 채용될 수 있다. 예를 들면, 특징 추출 영역은 단일 화소, 화소 블록, 또는 전체 프레임 영상을 포함할 수 있다. 각 특징 추출 영역은 각각의 이점을 가지며, 원하는 바에 따라 상이한 영상 특징 영역이 선택될 수 있다.

영상 특징 추출 영역이 선택된 후에, 단일 화소 특징 추출 영역에 대하여, 영상 특징 추출은 화소 단위로 수행될 수 있다. 화소 블록 특징 추출 영역에 대하여, 영상 특징은, 예를 들면, 구분된 직사각형 블록의 단위로 추출될 수 있다. 전체 프레임 영상 특징 추출 영역에 대하여, 영상 특징은 전체 프레임 영상을 단위로 추출된다.

영상 특징은 유연하고 다양한 방법으로 추출될 수 있다. 본 출원의 일부 실시예에 따르면, 영상 특징 추출은 다음 중 적어도 하나를 포함할 수 있다:

(1) 선택된 색상 영역에서, 비디오 영상 시퀀스의 하나 이상의 비디오 프레임의 화소 회색조(gray level) 통계 또는 화소 색상 통계 획득, 및 획득된 화소 회색조 통계 또는 화소 색상 통계로 영상 특징 벡터 구성.

색상 영역은 적, 녹, 청(RGB) 색상 영역일 수 있으며, 또한 색상 채도 명도(Hue Saturation Value, HSV) 색상 영역일 수 있고, 다른 색상 영역이 또한 선택될 수 있다.

일부 실시예에 따르면, 조명 변화의 영향을 제거하기 위하여, 다수의 통계가 적절한 색상 영역에 선택될 수 있다. 예를 들면, 통계는 최대, 최소, 또는 중간 값일 수 있다. 획득된 화소 회색조 통계 또는 화소 색상 통계는 영상 특징 벡터를 구성하기 위해 사용된다.

(2) 비디오 영상 시퀀스의 하나 이상의 비디오 프레임의 회색조 히스토그램 또는 색상 히스토그램 획득.

두 인접한 영상 프레임이 경계에 있고 두 개의 상이한 샷에 속하면 인접한 영상 프레임의 히스토그램이 실질적으로 변화하는 반면, 동일한 샷 내의 두 인접한 영상 프레임에 대해서는, 그 히스토그램이 약간 변화한다. 두 영상 프레임의 내용이 매우 다르지만 히스토그램이 비슷할 확률은 매우 낮다. 따라서, 회색조 히스토그램 또는 색상 히스토그램을 이용하여 비디오 샷 경계 검출을 수행할 수 있다. 히스토그램은 일반적으로 색상 분포를 보여주기 위해 사용되며, 유사한 사진의 회색조 또는 색상 히스토그램은 매우 유사한 반면, 경계 변화가 일어나는 두 영상 프레임의 회색조 또는 색상 히스토그램은 일반적으로 매우 다르다. 회색조 히스토그램 및 색상 히스토그램을 획득하기 위한 종래 기술의 기존 방법이 이 개시의 실시예에서 사용될 수 있으며, 이들은 설명되지 않는다.

(3) 비디오 영상 시퀀스의 하나 이상의 비디오 영상 프레임의 영상 경계 특징 획득; 및

영상 경계는 종종 실질적인 화소 변화를 갖는 점으로 이루어진다. 샷 경계는 샷 컷에 의해 획득된 경계의 상이한 모드의 특징을 이용하여 검출될 수 있다. 경계 특징 추출 방법은 캐니(Canny), 소벨(Sobel) 등과 같은 방법을 포함할 수 있다.

(4) 압축 도메인에 의해 원본 영상을 다른 특징 영역으로 변환하여 대응하는 영상 특징 벡터 획득.

일부 실시예에서, 압축 도메인이 영상의 고유 특징을 설명하기 위해 사용될 수 있어, 샷 경계 및 비경계의 상이한 모드를 구분할 수 있다. 압축 도메인은 웨이블릿 변환(Wavelet transformation)과 같은 모드를 포함할 수 있지만, 이에 제한되지 않는다. 영상 특징을 구분할 수 있기만 하면 임의의 방법을 적용할 수 있다.

영상 특징 추출을 위한 위의 방법은 예시적인 목적으로만 기술되었으며, 단독으로 또는 조합으로 사용될 수 있다. 이 분야의 기술자에 의하여 발명적 노력을 수반하지 않고 얻어지는 다른 구현 모드는 본 출원의 보호 범위 내에 있다.

S102B1, 도 1b에 나타난 바와 같이, 두 영상 프레임의 결정된 영상 특징 벡터에 기반하여 두 영상 프레임 사이의 유사도 값 계산. 두 영상 프레임의 유사도 값은 두 영상 프레임의 내용 연속성을 판단하는 데 사용된다.

특징 영역 및 추출될 영상 특징이 결정된 후에, 비디오 내의 임의의 영상 프레임에 대해 특징 벡터가 추출될 수 있다. 그러면, 연속되는 프레임 사이의 내용 연속성이 유사도 계산에 의해 측정된다. 두 영상 프레임 사이의 유사도는 다양한 방법을 통해 계산될 수 있으며, 두 영상 프레임의 추출된 영상 특징 벡터에 기반하여 획득될 수 있다. 두 영상 프레임 사이의 유사도는 또한 다른 방법을 채택하여 계산될 수 있음을 이 분야의 기술자는 이해할 것이다. 예를 들면, 유사도가 두 영상 프레임의 영상 특징 벡터의 비를 계산하는 방법에 의해 측정되고, 비가 1에 가까울수록 유사도가 더 높은 방법을 포함한다. 이하에서는 두 영상 프레임 사이의 프레임 차이에 기반하여 두 영상 프레임 사이의 유사도 값을 획득하는 방법을 예로 들어 설명한다. 일부 실시예에 따르면, 차이는 다음과 같이 계산될 수 있다.

다음의 식에서, f(i)는 i번째 프레임의 영상 특징 벡터를 나타내고 f(j)는 j번째 프레임의 영상 특징 벡터를 나타낸다. 인접 프레임 사이의 프레임 차이 D(i, j) 는 다음과 같이 나타난다:

D(i, j)=| f(j)-f(i) | (1)

여기에서, j=i+n(n≥1), i≥1이다.

유사도 계산 동안, 일반적으로 j=i+1이다. 그러면 비디오 내의 임의의 두 인접 프레임이 처리될 것이다. 처리 속도를 개선하고 계산량을 줄이기 위하여, 일부 방법은 j=i+n(n>1)로 설정할 수 있다. n 값의 범위는 경험 및 사용자 요구에 따라 설정되어 n 프레임만큼 떨어진 두 영상 프레임 사이의 변화가 캡처될 수 있으며, 계산량이 줄어들고 처리 속도가 개선된다.

일반적으로, 프레임 차이가 클수록 유사도는 낮아지고, 프레임 차이가 작을수록 유사도는 커진다. 통상, 두 영상 프레임이 동일한 샷 내에 위치하면, 유사도가 더 크고, 두 영상 프레임이 샷 경계에 위치하면, 두 프레임 사이의 유사도는 더 작다. 따라서, 유사도 값이 프레임 차이에 기반하여 획득될 수 있다. 두 영상 프레임 사이의 프레임 차이는 두 영상 프레임 사이의 유사도 값에 반비례한다. 예를 들면, 획득된 프레임 차이 D(i, j)의 역수가 유사도 값 S(i, j)로 사용될 수 있다. 일부 다른 실시예에서, 유사도 값은 또한 선형 비례 관계에 기반한 프레임 차이를 이용하여 다른 계산 방법을 통해 획득될 수 있다.

일부 다른 실시예에서, 내용 연속성이 또한 두 영상 프레임 사이의 프레임 차이 값의 계산에 의하여 직접 결정될 수 있다. 이러한 방법은 다음을 포함할 수 있다:

S102B2: 도 1c에 나타난 바와 같이, 두 영상 프레임의 결정된 영상 특징 벡터에 기반하여 두 영상 프레임 사이의 프레임 차이 값 계산. 두 영상 프레임 사이의 프레임 차이 값은 두 영상 프레임의 내용 연속성을 판단하는 데 사용된다.

두 영상 프레임 사이의 프레임 차이 값의 계산은 식 (1)에 나타난 방법으로 수행될 수 있다. 두 영상 프레임은 임의의 두 인접한 영상 프레임이거나 n 프레임만큼 떨어진 영상 프레임일 수 있다. n 값의 범위는 경험 및 사용자 요구에 따라 설정되어, n 프레임만큼 떨어진 두 영상 프레임 사이의 변화가 캡처될 수 있으며, 계산량이 줄어들고 처리 속도가 개선될 수 있다.

S102B1에서 두 영상 프레임이 연속적인지 측정하기 위하여 유사도 값이 사용될 때, 유사도 값은 비디오 영상 시퀀스 내에 샷 변화가 존재하는지 판단하는 데 사용될 수 있다. 이러한 방법은 다음을 포함할 수 있다:

S102C1, 도 1b에 나타난 바와 같이, 두 영상 프레임 사이의 계산된 유사도 값에 따라 두 영상 프레임이 내용상 불연속으로 판단될 때, 비디오 영상 시퀀스 내에 샷 변화가 존재한다고 판단.

이 분야의 기술자는 S102C1이 비디오 샷 컷 변화 검출 및 비디오 샷 점진적 변화 검출에 대해 다른 구현 모드를 가질 수 있음을 이해해야 한다. 예를 들면, 비디오 샷 경계 검출 프로세스가 비디오 샷 경계 컷 검출 프로세스를 포함할 때, 두 영상 프레임 사이의 계산된 유사도 값에 따라 두 영상 프레임이 내용상 불연속으로 판단될 때, 비디오 영상 시퀀스 내에 샷 변화가 존재한다고 판단은: 두 영상 프레임 사이의 유사도 값이 제1 임계치보다 작을 때, 두 영상 프레임 사이에 컷 변화가 존재하고 비디오 영상 시퀀스 내에 샷 변화가 존재한다고 판단을 포함할 수 있다. 제1 임계치는 사용자에 의해 사전 설정될 수 있다.

예시적인 구현에서, 다음의 분류 함수가 사용될 수 있다:

(2)

여기에서, T는 제1 임계치이고,

는 유사도 값을 나타내고, L은 분류 결과를 나타낸다.

이 T보다 크면, 유사도 값은 상대적으로 높고, 두 영상 프레임이 동일 샷 내의 인접한 프레임인 것을 나타낸다. 그렇지 않으면, 두 영상 프레임 사이의 샷 변화를 나타낸다.

는 식 (1)의 D(i, j)에 의해 획득될 수 있다. 예를 들면, 획득된 프레임 차이 D(i, j)의 역수가 유사도 값

으로 사용될 수 있다.

일부 다른 실시예에 따르면, 비디오 샷 경계 검출이 비디오 샷 컷 검출을 포함할 때, 두 영상 프레임 사이의 계산된 유사도 값에 따라 두 영상 프레임이 내용상 불연속으로 판단될 때, 비디오 영상 시퀀스 내에 샷 변화가 존재한다고 판단은: k-최근접 이웃(k-Nearest Neighbor, KNN) 분류기, 결정 트리 또는 서포트 벡터 머신(support vector machine, SVM)에 기반하여 두 영상 프레임 사이의 유사도 값 판정; 및 판정 결과가 두 영상 프레임 사이에 컷 변화가 존재함을 나타날 때, 비디오 영상 시퀀스 내에 샷 변화가 존재한다고 판단을 포함할 수 있다. 예시적인 구현에서, 샷 경계 검출은 패턴 인식의 분류 문제로 간주될 수 있다. KNN, 결정 트리, 및 SVM을 포함하지만 이에 제한되지 않는, 판정을 위한 많은 분류 알고리즘이 이 문제에 적용될 수 있다. 일 실시예에 따르면, 취득된 영상 특징 벡터가 상술한 알고리즘을 채용하는 기계 학습 모델에 입력되어 대응하는 판정 결과가 획득될 것이다.

다른 예시적인 구현에서, 비디오 샷 경계 검출 프로세스가 비디오 샷 점진적 변화 검출 프로세스를 포함할 때, 두 영상 프레임 사이의 계산된 유사도에 따라 두 영상 프레임이 내용상 불연속으로 판단될 때, 비디오 영상 시퀀스 내에 샷 변화가 존재한다고 판단은:

두 영상 프레임 사이의 유사도 값이 제3 임계치보다 크고 제4 임계치보다 작다고 판단될 때, 두 영상 프레임의 후속 영상 프레임 획득;

쌍 영상 프레임 사이의 유사도 값이 제4 사전 설정된 임계치보다 커질 때까지 후속 영상 프레임의 쌍 영상 프레임 사이의 유사도 값 계산; 및

다양한 영상 프레임의 누적된 유사도 값 계산, 및 누적된 유사도 값이 제5 임계치보다 작을 때, 비디오 영상 시퀀스 내에 점진적 변화가 존재하고 비디오 영상 시퀀스 내에 샷 변화가 존재한다고 판단을 포함할 수 있다. 다양한 영상 프레임은 두 영상 프레임의 제1 영상 프레임으로부터 쌍 영상 프레임 사이의 유사도가 제4 사전 설정된 임계치보다 큰 것까지 획득된 것이다. 특히, 다양한 영상 프레임의 누적된 유사도 값은 다양한 영상 프레임의 쌍 영상 프레임 사이의 유사도 값의 합이다.

제3 사전 설정된 임계치, 제4 사전 설정된 임계치, 및 제5 사전 설정된 임계치는 경험 및 사용자 요구에 따라 사용자에 의해 사전 설정될 수 있다. 후속 영상 프레임 취득은 다음 영상 프레임 및 다음 영상 프레임 이후의 영상 프레임을 연속적으로 취득하는 것을 포함할 수 있다. 예를 들면, 제1 쌍이 제1 및 제2 영상 프레임을 포함한다고 가정한다. 후속 영상 프레임(즉, 다음 쌍)은 제2 및 제3 영상 프레임을 포함할 수 있다. 또는, 위에서 논의한 바와 같이, 쌍이 i번째 및 j번째 영상 프레임을 포함할 수 있고, 여기에서 j=i+n(n≥1), i≥1이다. 다음 쌍은 j번째 및 (j+n)번째 영상 프레임을 포함할 수 있다.

다른 예시적인 구현에서, S102B2에서 프레임 차이 값에 의하여 두 영상 프레임이 내용상 불연속이라고 판정하는 것에 대응하여, 방법은 다음을 더 포함할 수 있다:

S102C2: 도 1c에 나타난 바와 같이, 두 영상 프레임 사이의 프레임 차이 값에 따라 두 영상 프레임이 내용상 불연속으로 판단될 때, 비디오 영상 시퀀스 내에 샷 변화가 존재한다고 판단.

비디오 샷 경계 검출 프로세스가 비디오 샷 컷 검출 프로세스를 포함할 때, 두 영상 프레임 사이의 프레임 차이에 따라 두 영상 프레임이 내용상 불연속으로 판단될 때, 비디오 영상 시퀀스 내에 샷 변화가 존재한다고 판단은: 두 영상 프레임 사이의 프레임 차이 값이 제2 임계치보다 클 때, 두 영상 프레임 사이에 컷 변화가 존재하고 비디오 영상 시퀀스 내에 샷 변화가 존재한다고 판단을 포함한다. 제2 임계치는 사용자에 의해 사전 설정될 수 있다.

다른 예시적인 구현에서, 비디오 샷 경계 검출 프로세스가 비디오 샷 컷 검출 프로세스를 포함할 때, 두 영상 프레임 사이의 프레임 차이에 따라 두 영상 프레임이 내용상 불연속으로 판단될 때, 비디오 영상 시퀀스 내에 샷 변화가 존재한다고 판단은: KNN 분류기, 결정 트리 또는 SVM에 기반하여 두 영상 프레임 사이의 프레임 차이 값 판정; 및 판정 결과가 두 영상 프레임 사이에 컷 변화가 존재함을 나타날 때, 비디오 영상 시퀀스 내에 샷 변화가 존재한다고 판단을 포함할 수 있다.

비디오 샷이 점진적 변화를 갖는다는 상술한 판정은 또한 위에서 논의된 방법을 사용하여 프레임 차이 값을 계산하여 획득될 수도 있다.

또 다른 예시적인 구현에서, 비디오 샷 경계 검출 프로세스가 비디오 샷 점진적 변화 검출 프로세스를 포함할 때, 두 영상 프레임 사이의 프레임 차이 값에 따라 두 영상 프레임이 내용상 불연속으로 판단될 때, 비디오 영상 시퀀스 내에 샷 변화가 존재한다고 판단은:

두 영상 프레임 사이의 프레임 차이 값이 제6 임계치보다 크고 제7 임계치보다 작다고 판단될 때, 두 영상 프레임의 후속 영상 프레임 획득;

쌍 영상 프레임 사이의 프레임 차이가 제6 사전 설정된 임계치보다 작아질 때까지 후속 영상 프레임의 쌍 영상 프레임 사이의 프레임 차이 계산; 및

다양한 획득된 프레임 차이의 합 계산, 및 합이 제7 사전 설정된 임계치보다 클 때, 비디오 영상 시퀀스 내에 점진적 변화가 존재하고 비디오 영상 시퀀스 내에 샷 변화가 존재한다고 판단을 포함한다.

제6 및 제7 임계치는 사용자에 의해 사전 설정될 수 있다. 후속 영상 프레임은 S102C1에 대해 위에서 논의한 바에 따라 획득될 수 있다. 두 영상 프레임 사이의 프레임 차이 값은 위에서 논의한 두 영상 프레임의 영상 특징 벡터를 통해 획득될 수 있다. 구체적으로, 식 (1)에 나타난 방법이 사용될 수 있다.

위에서 논의한 바와 같이, 점진적 변화 검출을 위해 이중-임계 비교 방법이 사용될 수 있다. 방법은: 두 임계, 즉 제6 임계치 T_l(더 작은 임계) 및 제7 임계치 T_h(더 큰 임계) 설정; 두 인접한 영상 프레임 사이의 차이가 T_h를 넘을 때, 급격한 변화가 일어난 것으로 판정을 포함하며, 여기에서 T_h가 위의 식 (2)의 T와 유사한 역할을 한다. 두 인접한 영상 프레임 사이의 차이가 T_h를 넘지 않지만 T_l을 넘으면, 두 인접한 프레임 중 나중의 프레임을 가능한 점진적 변화의 시작 프레임으로 결정하고, 후속하는 각 프레임의 확인을 계속한다. 프레임 차이가 여전히 T_l을 넘으면, 두 인접한 프레임 사이의 차이가 T_l보다 작아질 때까지 프레임 차이를 누적한다. 그때까지 누적된 프레임 차이가 T_h 를 넘으면, 프레임을 점진적 변화 종료 프레임으로 결정하고, 누적된 프레임 차이가 T_h 를 넘지 않으면, 이는 점진적 변화 대신 다른 이유로 인해 일어난 점진적 변화로 간주될 것이다.

위의 방법은 예시적인 목적이며, 본 발명을 제한하기 위하여 채택된 것이 아니고, 배경 모델링에 기반한 방법과 같은 다른 방법이 또한 비디오 샷 경계 검출을 수행하기 위해 채택될 수 있음을 유의하여야 한다.

얼굴 생체 내 검출 방법은 제1 판정 결과가 비디오 영상 시퀀스 내에 샷 변화가 존재함을 나타낼 때, 얼굴 생체 내 검출이 실패인 것으로 판단하는 S103을 더 포함할 수 있다. 비디오 영상 시퀀스 내에 샷 변화가 존재한다고 판정될 때, 얼굴 생체 내 검출이 실패한 것으로 간주된다. 도 1a-1c에 나타나고 위에서 설명된 방법은 하나 이상의 프로세서와 메모리를 갖는 컴퓨터 시스템 또는 서버에 의해 구현될 수 있다. 메모리는 프로세서에 의해 실행될 때, 컴퓨터 시스템 또는 서버가 방법 내의 단계를 수행하도록 하는 명령을 저장하는 비일시적 컴퓨터 판독가능 매체일 수 있다.

이 실시예에서, 비디오 샷 경계 검출 프로세스는 처리될 비디오 영상 시퀀스에 수행되어 비디오 영상 시퀀스 내에 샷 변화가 존재하는지 판단하고; 비디오 영상 시퀀스 내에 샷 변화가 존재한다고 판단될 때, 얼굴 생체 내 검출 시스템이 공격 또는 사기를 당한 것으로 판단하고, 따라서 얼굴 생체 내 검출이 실패한 것으로 판단한다. 본 출원에 의해 제공되는 방법은 비디오 샷 경계 검출 프로세스를 통해 사진 또는 비디오로부터 실제 얼굴을 효과적으로 구별할 수 있어, 얼굴 생체 내 검출 시스템에 대해 사진 및 비디오를 사용한 가능한 공격을 방지할 수 있으며, 검출의 정확성 및 보안을 개선한다.

일부 실시예에서, 상술한 바와 같은 샷 변화가 존재하는지에 대한 판정 결과가 제1 판정 결과로 간주될 수 있다. 얼굴 생체 내 검출 방법은 제1 판정을 더 확인하기 위하여 제2 판정을 사용할 수 있다. 얼굴 생체 내 검출 방법은 다음을 더 포함할 수 있다:

얼굴 특징점 위치에 기반하여 얼굴 생체 내 검출을 수행하여 제2 판정 결과 획득; 및 제2 판정 결과가 얼굴 생체 내 검출이 특정한 요구사항(후술함)을 만족하는 것을 나타내고 제1 판정 결과가 비디오 영상 시퀀스 내에 샷 변화가 존재하지 않음을 나타낼 때, 얼굴 생체 내 검출이 통과한 것으로 판단.

예시적인 구현에서, 제2 판정 결과를 획득하기 위한 얼굴 특징점 위치에 기반한 얼굴 생체 내 검출은: 처리될 비디오 영상 시퀀스 획득, 및 비디오 영상 시퀀스 내에 얼굴이 나타나는지 검출; 그러하면, 얼굴의 크기 및 위치 정보 획득; 획득된 얼굴의 크기 및 위치 정보에 따라 검출된 얼굴의 얼굴 핵심지점 결정; 얼굴 핵심지점의 위치에 기반하여 캡처된 사용자 동작이 소정 조건을 만족하는지 검출하여 제2 판정 결과 획득; 제2 판정 결과가 사용자 동작이 소정 조건을 만족하는 것을 나타낼 때, 생체 내 얼굴이 검출된 것으로 판단; 및 제2 판정 결과가 사용자 동작이 소정 조건을 만족하지 않는 것을 나타낼 때, 생체 내 얼굴이 검출되지 않은 것으로 판단을 포함한다. 소정 조건은 사용자 동작이 임의의 프롬프트 명령에 따르는지, 및/또는 사용자 동작의 수가 소정 수를 만족하는지 여부일 수 있다.

도 2는 본 출원의 일부 실시예에 부합하여, 얼굴 생체 내 검출 방법의 흐름도를 나타낸다. 도 2에 나타난 방법에서, 얼굴 생체 내 검출은 얼굴 특징점 검출 및 비디오 샷 경계 검출의 조합에 기반하여 수행된다. 조합 때문에, 얼굴 검출의 정확도가 개선된다. 방법은 넓은 응용 범위를 갖는다. 이는 PC, 휴대전화, 및 태블릿 장치에 적용할 수 있다.

사용자는 생체 내 얼굴 검출을 위해 자신의 얼굴을 비디오 카메라를 사용해 녹화할 수 있다. 얼굴 검출 프로세스는 도 2의 흐름도에 나타난 바와 같이 비디오 프레임 입력으로 시작될 수 있다. 얼굴 검출 프로세스는 처리를 위한 두 개의 메인 라인으로 분기될 수 있다. 두 개의 메인 라인은 각각 얼굴 특징점 검출에 기반을 둔 것과 비디오 샷 경계 검출에 기반을 둔 것의 두 프로세스를 나타낸다. 도 2에서, S201 내지 S205는 비디오 샷 경계 검출의 처리 흐름을 나타내고, S206 내지 S210은 얼굴 특징점 검출의 처리 흐름을 나타낸다. 두 흐름은 처리 효율을 향상시키기 위해 동시에 실행될 수 있어, 더욱 정확한 판정 결과를 얻을 수 있다. 두 흐름이 또한 다른 시간에 실행될 수도 있다. 예를 들면, 먼저 비디오 샷 경계 검출의 처리 흐름을 실행하고, 샷 변화가 존재하지 않는 것으로 판정된 후, 얼굴 특징점 검출의 처리 흐름을 실행할 수 있다. 또는, 얼굴 특징점 검출에 기반한 얼굴 생체 내 검출 처리가 먼저 수행되고, 또한, 얼굴 생체 내 검출 조건을 만족한다고 판단된 후, 이어서 샷 변화가 존재하는지 판정된다. 특정 구현은 유연할 수 있으며 원하는 바에 따라 조정될 수 있다. 도 2에 도시된 방법은 하나 이상의 프로세서 및 메모리를 갖는 컴퓨터 시스템 또는 서버에 의해 구현될 수 있다. 메모리는 프로세서에 의해 실행될 때 컴퓨터 시스템 또는 서버로 하여금 방법의 단계를 수행하게 하는 명령을 저장하는 비일시적 컴퓨터 판독가능 저장 매체일 수 있다. 예를 들면, 다음의 설명은 방법을 구현하는 시스템으로서 컴퓨터 시스템을 사용한다. 컴퓨터 시스템은 명령, 영상 및 비디오를 저장하는 메모리를 포함할 수 있다. 컴퓨터 시스템은 프로세스의 부분을 수행하기 위한 서브시스템을 포함할 수 있다. 컴퓨터 시스템은, 개시될 때, 프로세스의 전체 또는 일부를 수행하는 소프트웨어 애플리케이션을 포함할 수 있다.

도 2에 나타난 바와 같이, 프로세스는 다음을 포함할 수 있다.

S201, 처리될 비디오 프레임 획득.

S202, 비디오 샷 컷 모델을 로드하기 위한 서브애플리케이션 시작.

이 단계에서, 비디오 샷 경계 검출 서브애플리케이션의 파라미터가 초기화되고, 비디오 샷 컷 모델이 메모리로 로드된다.

S203, 비디오 샷 경계 컷 변화 검출 수행. 자세한 구현은 도 1a-1c와 관련하여 위에서 설명된다.

S204, 비디오 샷 경계 점진적 변화 검출 수행. 자세한 구현은 도 1a-1c와 관련하여 위에서 설명된다.

S203과 S204 사이에 특정한 실행 순서는 없다. 어떤 단계가 먼저 수행되어도 되며, 두 단계가 동시에 수행될 수도 있다.

S205, 비디오 샷 경계 컷 검출 프로세스의 결과 및 비디오 샷 경계 점진적 변화 검출 프로세스의 결과에 따라 샷 변화가 존재하는지 판단. 일부 실시예에서, S203 및 S204 중 하나가 얼굴 생체 내 검출 프로세스에서 생략될 수 있다.

비디오 샷 경계 컷 검출 프로세스의 결과 및 비디오 샷 경계 점진적 변화 검출 프로세스의 결과에 따라 샷 컷 또는 점진적 샷 변화의 존재가 결정될 때, 샷 변화가 존재하는 것으로 판단된다.

샷 변화가 존재하는 것으로 판단되면, 얼굴 생체 내 검출이 실패한 것으로 판단되고; 애플리케이션을 종료한다.

샷 변화가 존재하지 않는 것으로 판단되면, S211로 진행한다.

S206, 얼굴 특징점 검출 모델을 로드하기 위한 서브애플리케이션 시작.

얼굴 특징점 검출 모델 기반 서브-애플리케이션의 파라미터와 사용자 상호작용이 초기화되고, 얼굴 특징점 검출 모델 파일이 메모리로 로드된다.

S207, 비디오 프레임 내에 얼굴이 나타나는지 검출; 그러하면, 얼굴의 크기 및 위치 리턴. 예시적인 구현에서, 얼굴 검출기로서 하르(Haar) 특징에 기반한 아다부스트(Adaboost) 분류기가 사용될 수 있다.

S208, 얼굴 특징점 검출 수행.

예시적인 구현에서, 얼굴 내의 핵심지점의 위치가 검출되고, 이들 핵심지점의 정보가 후속 동작 검출을 위해 사용될 수 있다. 핵심지점의 수는 실제 필요에 따라 선택될 수 있다. 예를 들면, 눈, 코, 그리고 입의 코너를 포함하는 5개의 점만이 사용될 수 있다. 다른 예로서, 전체 얼굴을 커버하는 68개의 점이 사용될 수 있다. 일부 실시예에 따르면, 얼굴 특징점 검출은 지도 하강법(Supervised Descent Method, SDM) 알고리즘을 사용할 수 있다. 이 알고리즘은 기계 학습 알고리즘을 통해 얼굴 국소 특징과 얼굴 핵심지점 위치 사이의 관계에 대한 최적화 회귀를 수행하는 방법이다. 얼굴 특징점 검출 방법이 또한 다른 방법 또는 알고리즘, 예컨대 액티브 피상 모델(Active Apparent Model, AAM)에 기반한 방법, 무작위 포레스트 회귀(Random Forrest Regression)에 기반한 방법, 또는 변형가능 부분 모델(Deformable Part Model, DPM)에 기반한 방법을 사용할 수 있음을 유의하여야 한다. 이 분야의 기술자는 얼굴 특징점 검출을 위해 다른 방법 또는 알고리즘이 사용될 수 있다는 것을 이해할 것이다. 이러한 방법 및 알고리즘은 기계 학습 알고리즘을 채택할 수 있다. 위에서 언급한 방법/알고리즘은 얼굴 특징점의 모델을 사용하고, 훈련 데이터로 이들 모델의 파라미터를 학습하고, 미래의 시간에 얼굴 특징점의 위치를 예측할 수 있다.

S209, 얼굴 동작 검출 수행.

동작은, 머리를 흔드는 것, 고개를 끄덕이는 것, 입을 여는 것, 및 눈을 감는 것과 같은 얼굴의 변화를 통해 표현될 수 있는 동작을 포함하지만 이에 제한되지 않는다. 위에서 논의된 바와 같이, 일부 인접하는 비디오 프레임 내의 얼굴 특징점 위치 정보에 따라 규칙 및 기계 학습 알고리즘을 통해, 동작 변화를 예측하고 추정할 수 있다. 여기에 설명된 규칙은 데이터 분석을 통해 인위적으로 결정된 동작 변화 표준이다. 기술된 기계 학습 알고리즘은 많은 양의 표시된 얼굴 특징점 데이터와 얼굴 동작 사이의 관계에 대응하는 데이터를 수집하고 분석하는 것을 지칭하며, 컴퓨터 시스템이 새로운 얼굴 특징점 데이터를 수신할 때, 수집하고 분석한 데이터 모델에 기반하여 대응하는 얼굴 동작을 결정할 수 있도록 한다

S210, 임의의 프롬프트에 따라 사용자에 의해 이루어진 동작의 수가 3보다 큰지 판단. 그렇지 않으면, 다음 동작 프롬프트로 진행; 그러하면, 및 사용자가 동작을 완료하도록 협조하고 검출이 성공적이면, 판정을 위한 다음 단계로 진행. 숫자 "3"은 단순한 예이다. 이는 동작 검출이 세 번 수행되었음을 판단하는데 사용된다. 사용자는 예를 들면, 1 이상의 다른 수를 설정할 수 있다. 다른 예로서, 이 단계는 생략될 수 있다. 달리 말하자면, 단계 S209 이후에, 판단이 정확하면, 프로세스는 단계 S211로 계속될 수 있다.

S211, 얼굴 특징점 검출에 기반하여 얼굴 생체 내 검출이 성공적이며 샷 변화가 존재하지 않는다고 판단될 때, 얼굴 생체 내 검출이 통과된다.

이 실시예에서, 얼굴의 존재가 얼굴 특징점 검출에 기반한 얼굴 생체 내 검출 수행에 의해 판단될 때, 샷 변화 존재 여부가 비디오 샷 경계 검출을 통해 더 판단되며, 샷 변화가 존재하지 않을 때, 검출이 통과한 것으로 판단된다. 얼굴 생체 내 검출 조건을 만족하지 않거나 비디오 시퀀스 내에 샷 변화가 존재하는 것으로 판정되는 둘 중 어느 경우에도, 검출은 실패로 간주된다. 그러므로, 얼굴 특징점 검출 및 샷 경계 검출에 기반한 얼굴 생체 내 검출의 이점이 조합되고, 따라서 얼굴 생체 내 검출의 정확성이 향상될 뿐 아니라, 시스템 보안이 개선된다.

도 3은 본 출원의 실시예에 의해 제공되는 얼굴 생체 내 검출 장치의 개략도를 나타낸다. 도 3에 나타난 바와 같이, 얼굴 생체 내 검출 장치(300)는 처리될 비디오 영상 시퀀스를 취득하도록 구성되는 취득 유닛(301), 비디오 영상 시퀀스에 대해 비디오 샷 경계 검출 프로세스를 수행하여 비디오 영상 시퀀스 내에 샷 변화가 존재하는지 판단하여 제1 판정 결과를 획득하도록 구성되는 제1 검출 유닛(302), 및 제1 판정 결과가 비디오 영상 시퀀스 내에 샷 변화가 존재하는 것을 나타낼 때, 얼굴 생체 내 검출이 통과된 것으로 판단하도록 구성되는 판단 유닛(303)을 포함한다.

일부 실시예에서, 제1 검출 유닛(302)은 특징 추출 유닛, 유사도 또는 프레임 차이 계산 유닛, 및 판정 유닛을 포함할 수 있다. 특징 추출 유닛은 사전 설정된 영상 특징 추출 영역에서 비디오 영상 시퀀스에 대해 영상 특징 추출을 수행하여 영상 특징 벡터를 획득하도록 구성된다. 유사도 또는 프레임 차이 계산 유닛은, 두 영상 프레임의 영상 특징 벡터로 계산하여 두 영상 프레임 사이의 유사도 또는 프레임 차이 값을 획득하도록 구성된다. 두 영상 프레임은 i번째 프레임 및 j번째 프레임일 수 있으며, 여기에서 j=i+n(n≥1), i≥1이다.

두 영상 프레임 사이의 유사도 또는 프레임 차이 값은 두 영상 프레임의 내용 연속성 판단에 사용된다. 판정 유닛은 두 영상 프레임 사이의 계산된 유사도 또는 프레임 차이 값에 따라 두 영상 프레임이 내용상 불연속으로 판단될 때, 비디오 영상 시퀀스 내에 샷 변화가 존재한다고 판단하도록 구성된다.

특징 추출 유닛에 의해 설정되는 영상 특징 추출 영역은 단일 화소 특징 추출 영역, 화소 블록 특징 추출 영역, 또는 전체 영상 프레임 특징 추출 영역을 포함할 수 있다.

특징 추출 유닛은 다음 서브유닛 중 적어도 하나를 포함할 수 있다:

선택된 색상 영역에서, 비디오 영상 시퀀스의 하나 이상의 비디오 프레임의 화소 회색조 통계 또는 화소 색상 통계를 획득하고, 및 획득된 화소 회색조 통계 또는 화소 색상 통계로 영상 특징 벡터를 구성하도록 구성되는 컬러 통계 서브유닛;

비디오 영상 시퀀스의 하나 이상의 비디오 프레임의 회색조 히스토그램 또는 색상 히스토그램을 획득하도록 구성되는 색상 히스토그램 획득 서브유닛;

비디오 영상 시퀀스의 하나 이상의 비디오 프레임의 영상 에지 특징을 획득하도록 구성되는 에지 특징 획득 서브유닛; 및

압축 도메인에 의해 원본 영상을 다른 특징 영역으로 변환하여 대응하는 영상 특징 벡터를 획득하도록 구성되는 압축 도메인 서브유닛.

제1 검출 유닛(302)은 비디오 샷 컷 검출 및/또는 비디오 샷 점진적 변화 검출을 수행하도록 구성될 수 있다. 제1 검출 유닛(302)이 비디오 샷 컷 검출 프로세스를 수행하도록 구성될 때, 판단 유닛(303)은 두 영상 프레임 사이의 유사도 값이 제1 임계치보다 작을 때, 두 영상 프레임 사이에 컷 변화가 존재하고 비디오 영상 시퀀스 내에 샷 변화가 존재한다고 판단하도록 구성될 수 있다. 또는 판단 유닛(303)은 두 영상 프레임 사이의 프레임 차이가 제2 임계치보다 클 때, 두 영상 프레임 사이에 컷 변화가 존재하고 비디오 영상 시퀀스 내에 샷 변화가 존재한다고 판단하도록 구성될 수 있다. 임계치는 사용자에 의해 사전 설정될 수 있다.

제1 검출 유닛(302)이 비디오 샷 컷 검출 프로세스를 수행하도록 구성될 때, 판단 유닛(303)은:

k 최근접 이웃 알고리즘 KNN 분류기, 결정 트리 또는 서포트 벡터 머신 SVM에 기반하여 두 영상 프레임 사이의 유사도 또는 프레임 차이 값을 판단하고, 판정 결과가 두 영상 프레임 사이에 샷 컷 변화가 존재함을 나타날 때, 비디오 영상 시퀀스 내에 샷 변화가 존재한다고 판단하도록 구성될 수 있다.

제1 검출 유닛(302)이 비디오 샷 점진적 변화 검출 프로세스를 수행하도록 구성될 때, 판단 유닛(303)은:

두 영상 프레임 사이의 유사도 값이 제3 사전 설정된 임계치보다 크고 제4 사전 설정된 임계치보다 작다고 판단될 때, 두 영상 프레임의 후속 영상 프레임을 획득하고, 쌍 영상 프레임 사이의 유사도 값이 제4 사전 설정된 임계치보다 커질 때까지 후속 영상 프레임의 쌍 영상 프레임 사이의 유사도 값을 계산하며; 다양한 영상 프레임의 누적된 유사도 값을 계산하며, 및 누적된 유사도 값이 제5 사전 설정된 임계치보다 작을 때, 비디오 영상 시퀀스 내에 점진적 변화가 존재하고 비디오 영상 시퀀스 내에 샷 변화가 존재한다고 판단하도록 구성된다.

두 영상 프레임 사이의 프레임 차이 값이 제6 사전 설정된 임계치보다 크고 제7 사전 설정된 임계치보다 작다고 판단될 때, 두 영상 프레임의 후속 영상 프레임을 획득하고; 쌍 영상 프레임 사이의 프레임 차이가 제6 사전 설정된 임계치보다 작아질 때까지 후속 영상 프레임의 쌍 영상 프레임 사이의 프레임 차이 값을 계산하고; 및 각 획득된 프레임 차이 값의 합을 계산하고, 및 합이 제7 사전 설정된 임계치보다 클 때, 비디오 영상 시퀀스 내에 점진적 변화가 존재하고 비디오 영상 시퀀스 내에 샷 변화가 존재한다고 판단하도록 구성된다.

일부 실시예에 따르면, 얼굴 검출 장치는:

얼굴 특징점 검출에 기반하여 얼굴 생체 내 검출을 수행하여 제2 판정 결과를 획득하도록 구성되는 제2 검출 유닛을 더 포함할 수 있다. 판정 유닛(303)은 제2 판정 결과가 얼굴 생체 내 검출 조건을 만족하는 것을 나타내고 제1 판정 결과가 비디오 영상 시퀀스 내에 샷 변화가 존재하지 않음을 나타낼 때, 얼굴 생체 내 검출이 통과한 것으로 판단하도록 더 구성될 수 있다.

상기한 유닛의 기능은 도 1 및 도 2와 대응하는 설명에 예시된 상기한 방법의 처리 단계에 대응할 수 있다. 이들 자세한 단계는 되풀이되지 않는다. 방법 실시예가 자세히 설명되고 장치 실시예가 상대적으로 단순하게 설명되었으나, 이 분야의 기술자는 본 출원의 장치 실시예가 방법 실시예를 참조하여 구성될 수 있음을 이해할 수 있음을 유의한다. 이 분야의 기술자가 발명적 노력의 개입 없이 얻을 수 있는 다른 구현 모드는 모두 본 출원의 보호 범위 내에 포함된다.

명세서는 얼굴 생체 내 검출을 위한 방법, 기구 및 시스템을 설명하였다. 예시된 단계들은 도시된 예시적인 실시예들을 설명하기 위해 제시되며, 진행중인 기술 개발이 특정 기능들이 수행되는 방식을 변화시킬 것을 예상하여야 한다. 따라서, 이들 실시예는 설명의 목적으로 여기에서 제시된 것이며, 제한하는 것이 아니다. 예를 들면, 개시된 실시예와 부합하여, 여기에서 개시된 단계 또는 프로세스는 설명된 순서로 수행되는 것으로 제한되지 않고, 임의의 순서로 수행될 수 있으며, 일부 단계는 생략될 수 있다. 또한, 기능적 빌딩 블록의 경계는 설명의 편의를 위하여 여기에서 임의로 정의되었다. 지정된 기능과 그 관계가 적절하게 수행되는 한 대안적인 경계가 정의될 수 있다. 여기에서 포함된 교시에 기반하여 대안(여기에 기술된 것들의 균등물, 확장, 변형, 편차 등을 포함)이 이 분야의 기술자에게 명백할 것이다. 이러한 대안은 개시된 실시예의 범위 및 사상 내에 있다.

개시된 원리의 예 및 특징이 여기에서 설명되었지만, 개시된 실시예의 사상 및 범위를 벗어나지 않고 수정, 적응 및 다른 구현이 가능하다. 또한, "포함하는(comprising)", "갖는("having)", "포함하는(containing)" 및 "포함하는(including)" 및 다른 유사한 형태의 단어는 의미가 동일하며 이들 단어 중 어느 하나를 따르는 항목 또는 항목들이 그러한 항목 또는 항목들의 철저한 목록이거나, 나열된 항목 또는 항목들에만 한정되는 것을 의미하지 않는 열린 형태(open ended)인 것을 의도한다. 또한 본 명세서 및 첨부된 청구범위에서 사용되는 단수 형태 "하나의(a, an)" 및 "상기(the)"는 문맥상 명확하게 달리 지시하지 않는 한 복수의 참조를 포함하는 점을 유의하여야 한다.

또한, 하나 이상의 컴퓨터 판독가능 저장 매체가 본 개시에 부합하는 실시예의 구현에 사용될 수 있다. 컴퓨터 판독가능 저장 매체는 프로세서에 의해 판독될 수 있는 정보 또는 데이터가 저장된 임의의 유형의 물리적 메모리를 지칭한다. 따라서, 컴퓨터 판독가능 저장 매체는 여기에서 기술된 실시예에 부합하는 단계 또는 스테이지를 수행하도록 하는 명령을 포함하여 하나 이상의 프로세서에 의해 실행되는 명령을 저장할 수 있다. 용어 "컴퓨터 판독가능 저장 매체"는 유형의 물품을 포함하는 것으로 이해되어야 하며, 반송파 및 과도 신호를 제외하고, 즉 비일시적이어야 한다. 예로는 RAM, ROM, 휘발성 메모리, 비휘발성 메모리, 하드 드라이브, CD ROM, DVD, 플래시 드라이브, 디스크 및 임의의 다른 공지의 물리적 저장 매체를 포함한다. 전술한 유닛, 시스템 및 장치는 소프트웨어, 하드웨어, 펌웨어 또는 소프트웨어, 하드웨어 및 펌웨어의 임의의 조합의 형태로 구현될 수 있다. 예를 들면, 유닛, 시스템, 서브시스템 및 장치는 컴퓨터 판독가능 메모리에 저장된 소프트웨어 명령을 실행하는 프로세서를 포함하거나 이에 의해 구현될 수 있다.

본 발명은 위에서 설명되고 첨부된 도면에 도시된 정확한 구성에 한정되지 않으며, 다양한 수정 및 변경이 본 발명의 범위를 벗어나지 않고 이루어질 수 있음을 이해할 것이다. 발명의 범위는 첨부된 청구범위에 의해서만 제한되어야 하는 것으로 의도된다.

Claims

비디오 영상 시퀀스 취득;
상기 비디오 영상 시퀀스에 대해 비디오 샷 경계 검출 프로세스를 수행하여, 상기 비디오 영상 시퀀스 내에 샷 변화가 존재하는지 판단하여 제1 판정 결과 획득; 및
상기 제1 판정 결과가 상기 비디오 영상 시퀀스 내에 샷 변화가 존재함을 나타낼 때, 얼굴 검출 실패로 판단을 포함하는 얼굴 검출 방법.
제1항에 있어서, 상기 비디오 영상 시퀀스에 대해 비디오 샷 경계 검출 프로세스를 수행하여, 상기 비디오 영상 시퀀스 내에 샷 변화가 존재하는지 판단은:
영상 특징 추출 영역에서 상기 비디오 영상 시퀀스에 대해 영상 특징 추출을 수행하여 영상 특징 벡터 획득;
두 영상 프레임의 상기 영상 특징 벡터로 계산하여, 상기 두 영상 프레임 사이의 유사도 값을 획득하여 상기 두 영상 프레임의 내용 연속성 판단; 및
상기 유사도 값에 따라 상기 두 영상 프레임이 내용상 불연속으로 판단될 때, 상기 비디오 영상 시퀀스 내에 샷 변화가 존재한다고 판단을 포함하는 얼굴 검출 방법.
제2항에 있어서, 상기 영상 특징 추출 영역은 단일 화소 특징 추출 영역, 화소 블록 특징 추출 영역, 또는 전체 프레임 영상 특징 추출 영역 중 임의의 하나를 포함하는 얼굴 검출 방법.
제2항에 있어서, 상기 비디오 영상 시퀀스에 대해 영상 특징 추출을 수행하여 영상 특징 벡터 획득은:
선택된 색상 영역에서, 상기 비디오 영상 시퀀스의 영상 프레임의 화소 회색조(gray level) 통계 또는 화소 색상 통계 획득, 및 상기 획득된 화소 회색조 통계 또는 화소 색상 통계로 상기 영상 특징 벡터 구성;
상기 비디오 영상 시퀀스의 영상 프레임의 회색조 히스토그램 또는 색상 히스토그램 획득;
상기 비디오 영상 시퀀스의 영상 프레임의 영상 에지 특징 획득; 및
압축 도메인에 의해 원본 영상을 다른 특징 영역으로 변환하여 대응하는 영상 특징 벡터 획득 중 적어도 하나를 포함하는 얼굴 검출 방법.
제2항에 있어서, 상기 두 영상 프레임은 i번째 영상 프레임 및 j번째 영상 프레임이며, j=i+n(n≥1), i≥1인 얼굴 검출 방법.
제2항에 있어서, 상기 비디오 샷 경계 검출 프로세스는 비디오 샷 컷 검출 프로세스를 포함하는 얼굴 검출 방법.
제6항에 있어서, 상기 두 영상 프레임 사이의 상기 유사도 값에 따라 상기 두 영상 프레임이 내용상 불연속으로 판단될 때, 상기 비디오 영상 시퀀스 내에 샷 변화가 존재한다고 판단은:
상기 두 영상 프레임 사이의 상기 유사도 값이 제1 임계치보다 작을 때, 상기 두 영상 프레임 사이에 컷 변화가 존재하며 상기 비디오 영상 시퀀스 내에 샷 변화가 존재한다고 판단을 포함하는 얼굴 검출 방법.
제6항에 있어서, 상기 두 영상 프레임 사이의 상기 유사도 값에 따라 상기 두 영상 프레임이 내용상 불연속으로 판단될 때, 상기 비디오 영상 시퀀스 내에 샷 변화가 존재한다고 판단은:
이웃 알고리즘 k-최근접 이웃(k-Nearest Neighbor, KNN) 분류기, 결정 트리(decision tree) 또는 서포트 벡터 머신(support vector machine, SVM)에 기반하여 상기 두 영상 프레임 사이의 유사도 값 판정, 및 상기 판정 결과가 상기 두 영상 프레임 사이에 컷 변화가 존재함을 나타날 때, 상기 비디오 영상 시퀀스 내에 샷 변화가 존재한다고 판단을 포함하는 얼굴 검출 방법.
제2항에 있어서, 상기 비디오 샷 경계 검출 프로세스는 비디오 샷 점진적 변화 검출 프로세스를 포함하고, 상기 두 영상 프레임 사이의 상기 유사도 값에 따라 상기 두 영상 프레임이 내용상 불연속으로 판단될 때, 상기 비디오 영상 시퀀스 내에 샷 변화가 존재한다고 판단은:
상기 두 영상 프레임 사이의 상기 유사도 값이 제3 임계치보다 크고 제4 임계치보다 작다고 판단될 때, 상기 두 영상 프레임의 후속 영상 프레임 획득;
쌍 영상 프레임 사이의 유사도 값이 상기 제4 임계치보다 커질 때까지 상기 후속 영상 프레임의 쌍 영상 프레임 사이의 유사도 값 계산; 및
획득된 영상 프레임의 유사도 값의 합 계산, 및 상기 유사도 값의 합이 제5 임계치보다 작을 때, 상기 비디오 영상 시퀀스 내에 점진적 변화가 존재하고 상기 비디오 영상 시퀀스 내에 샷 변화가 존재한다고 판단을 포함하는 얼굴 검출 방법.
제1항에 있어서,
얼굴 특징점 검출 프로세스에 기반하여 얼굴 검출을 수행하여 제2 판정 결과 획득; 및
상기 제2 판정 결과가 얼굴 검출 조건을 만족하는 것을 나타내고 상기 제1 판정 결과가 상기 비디오 영상 시퀀스 내에 샷 변화가 존재하지 않음을 나타낼 때, 상기 얼굴 검출이 통과한 것으로 판단을 더 포함하는 얼굴 검출 방법.
제1항에 있어서, 상기 비디오 영상 시퀀스에 대해 비디오 샷 경계 검출 프로세스를 수행하여, 상기 비디오 영상 시퀀스 내에 샷 변화가 존재하는지 판단은:
영상 특징 추출 영역에서 상기 비디오 영상 시퀀스에 대해 영상 특징 추출을 수행하여 영상 특징 벡터 획득;
두 영상 프레임의 상기 영상 특징 벡터로 계산하여, 상기 두 영상 프레임 사이의 프레임 차이 값을 획득하여 상기 두 영상 프레임의 내용 연속성 판단; 및
상기 두 영상 프레임 사이의 상기 계산된 프레임 차이 값에 따라 상기 두 영상 프레임이 내용상 불연속으로 판단될 때, 상기 비디오 영상 시퀀스 내에 샷 변화가 존재한다고 판단을 포함하는 얼굴 검출 방법.
제11항에 있어서, 상기 영상 특징 추출 영역은 단일 화소 특징 추출 영역, 화소 블록 특징 추출 영역, 또는 전체 프레임 영상 특징 추출 영역 중 임의의 하나를 포함하는 얼굴 검출 방법.
제11항에 있어서, 상기 비디오 영상 시퀀스에 대해 영상 특징 추출을 수행하여 영상 특징 벡터 획득은:
선택된 색상 영역에서, 상기 비디오 영상 시퀀스의 영상 프레임의 화소 회색조 통계 또는 화소 색상 통계 획득, 및 상기 획득된 화소 회색조 통계 또는 화소 색상 통계로 상기 영상 특징 벡터 구성;
상기 비디오 영상 시퀀스의 영상 프레임의 회색조 히스토그램 또는 색상 히스토그램 획득;
상기 비디오 영상 시퀀스의 영상 프레임의 영상 에지 특징 획득; 및
압축 도메인에 의해 원본 영상을 다른 특징 영역으로 변환하여 대응하는 영상 특징 벡터 획득 중 적어도 하나를 포함하는 얼굴 검출 방법.
제11항에 있어서, 상기 비디오 샷 경계 검출 프로세스는 비디오 샷 컷 검출 프로세스를 포함하는 얼굴 검출 방법.
제14항에 있어서, 상기 두 영상 프레임 사이의 상기 프레임 차이 값에 따라 상기 두 영상 프레임이 내용상 불연속으로 판단될 때, 상기 비디오 영상 시퀀스 내에 샷 변화가 존재한다고 판단은:
상기 두 영상 프레임 사이의 상기 프레임 차이 값이 제2 임계치보다 클 때, 상기 두 영상 프레임 사이에 컷 변화가 존재하며 상기 비디오 영상 시퀀스 내에 샷 변화가 존재한다고 판단을 포함하는 얼굴 검출 방법.
제14항에 있어서, 상기 두 영상 프레임 사이의 상기 유사도 값에 따라 상기 두 영상 프레임이 내용상 불연속으로 판단될 때, 상기 비디오 영상 시퀀스 내에 샷 변화가 존재한다고 판단은:
이웃 알고리즘 k-최근접 이웃(KNN) 분류기, 결정 트리 또는 서포트 벡터 머신(SVM)에 기반하여 상기 두 영상 프레임 사이의 프레임 차이 값 판정, 및 상기 판정 결과가 상기 두 영상 프레임 사이에 컷 변화가 존재함을 나타날 때, 상기 비디오 영상 시퀀스 내에 샷 변화가 존재한다고 판단을 포함하는 얼굴 검출 방법.
제11항에 있어서, 상기 비디오 샷 경계 검출 프로세스는 비디오 샷 점진적 변화 검출 프로세스를 포함하고, 상기 두 영상 프레임 사이의 상기 프레임 차이 값에 따라 상기 두 영상 프레임이 내용상 불연속으로 판단될 때, 상기 비디오 영상 시퀀스 내에 샷 변화가 존재한다고 판단은:
상기 두 영상 프레임 사이의 상기 프레임 차이 값이 제6 임계치보다 크고 제7 임계치보다 작다고 판단될 때, 상기 두 영상 프레임의 후속 영상 프레임 획득;
쌍 영상 프레임 사이의 상기 프레임 차이 값이 상기 제6 임계치보다 작아질 때까지 상기 후속 영상 프레임의 쌍 영상 프레임 사이의 상기 프레임 차이 값 계산; 및
상기 프레임 차이 값의 합 계산, 및 상기 합이 상기 제7 임계치보다 클 때, 상기 비디오 영상 시퀀스 내에 점진적 변화가 존재하고 상기 비디오 영상 시퀀스 내에 샷 변화가 존재한다고 판단을 포함하는 얼굴 검출 방법.
비디오 영상 시퀀스를 취득하도록 구성되는 취득 유닛;
상기 비디오 영상 시퀀스에 대해 비디오 샷 경계 검출 프로세스를 수행하여, 상기 비디오 영상 시퀀스 내에 샷 변화가 존재하는지 판단하여 제1 판정 결과를 획득하도록 구성되는 제1 검출 유닛; 및
상기 제1 판정 결과가 상기 비디오 영상 시퀀스 내에 샷 변화가 존재함을 나타낼 때, 얼굴 검출 실패로 판단하도록 구성되는 판단 유닛을 포함하는 얼굴 검출 장치.
제18항에 있어서, 상기 제1 검출 유닛은:
영상 특징 추출 영역에서 상기 비디오 영상 시퀀스에 대해 영상 특징 추출을 수행하여 영상 특징 벡터를 획득하고;
두 영상 프레임의 상기 영상 특징 벡터에 기반하여 유사도 또는 프레임 차이 값을 계산하여 상기 두 영상 프레임의 내용 연속성을 판단하며;
상기 유사도 또는 프레임 차이 값에 따라 상기 두 영상 프레임이 내용상 불연속으로 판단될 때, 상기 비디오 영상 시퀀스 내에 샷 변화가 존재한다고 판단하도록 더 구성되는 얼굴 검출 장치.
제19항에 있어서, 상기 영상 특징 추출 영역은 단일 화소 특징 추출 영역, 화소 블록 특징 추출 영역, 또는 전체 프레임 영상 특징 추출 영역 중 임의의 하나를 포함하는 얼굴 검출 장치.