[go: up one dir, main page]

KR102641115B1 - 객체 검출을 위한 영상 처리 방법 및 장치 - Google Patents

객체 검출을 위한 영상 처리 방법 및 장치 Download PDF

Info

Publication number
KR102641115B1
KR102641115B1 KR1020180000698A KR20180000698A KR102641115B1 KR 102641115 B1 KR102641115 B1 KR 102641115B1 KR 1020180000698 A KR1020180000698 A KR 1020180000698A KR 20180000698 A KR20180000698 A KR 20180000698A KR 102641115 B1 KR102641115 B1 KR 102641115B1
Authority
KR
South Korea
Prior art keywords
image
target
target area
evaluation score
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020180000698A
Other languages
English (en)
Other versions
KR20180109665A (ko
Inventor
한재준
최창규
차오 장
징타오 수
얀후 산
야오주 안
하오 펑
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US15/926,161 priority Critical patent/US10977509B2/en
Publication of KR20180109665A publication Critical patent/KR20180109665A/ko
Priority to US17/227,704 priority patent/US11908117B2/en
Application granted granted Critical
Publication of KR102641115B1 publication Critical patent/KR102641115B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/179—Human faces, e.g. facial parts, sketches or expressions metadata assisted face recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

객체 검출을 위한 영상 처리 방법 및 장치가 개시된다. 일 실시예 따른 일 실시예에 따른 이미지 처리 방법은, 이미지를 수신하는 단계와, 상기 이미지로부터 객체(object)를 포함하는 목표 이미지(target image)를 획득하는 단계와, 상기 목표 이미지의 품질(quality)을 평가하여 평가 점수(evaluation score)를 계산하는 단계와, 상기 평가 점수에 기초하여 상기 목표 이미지로부터 상기 객체를 검출하는 단계를 포함한다.

Description

객체 검출을 위한 영상 처리 방법 및 장치{A METHOD AND APPARATUS OF IMAGE PROCESSING FOR OBJECT DETECTION}
아래 실시예들은 객체의 인식을 위한 영상 처리 방법 및 장치에 관한 것이다.
종래의 영상 처리 방법은 다양한 업종에서 광범위하게 사용되고 있다. 일반적으로 영상 처리 기술은 사용자가 기대한 목표물을 검출하는데 사용되며, 컴퓨터를 이용하여 영상처리와 검출을 수행한다.
이 때, 제공된 영상을 분석하여 제공된 영상에서 검출하고자 하는 목표물을 추출한다. 영상 처리 기술은 비디오, 인식, 인터페이스 영상검색, 감시 시스템 등 여러 영역에 광범위하게 사용된다.
종래의 영상 처리 방법은 비접촉식 방법을 사용하여 목표물을 인식하기 때문에, 영상의 촬영 환경 또는 촬영 장비 등에 의하여 흐림, 저조도, 역광 등의 영상의 품질 저하를 발생시킬 수 있다.
영상의 품질 저하는 기존의 영상품질평가방법을 통하여 선별 인식할 수 있는 반면, 알고리즘 실패로 초래된 영상 내용의 손상(damage), 얼굴 인식 시 얼굴 각도가 너무 큰 경우와 같은 영상 내용의 품질 저하는 기존의 영상품질평가방법으로 선별 인식할 수 없다.
영상 내용의 품질이 저하된 영상에 대하여 선별 인식할 때, 종래의 영상 처리 방법은 인식에 어려움이 있고, 많은 시간을 소비하여 선별 인식할 뿐만 아니라 인식의 정확도가 낮아 잘못된 매칭 결과를 초래할 수 있다.
일 실시예에 따른 이미지 처리 방법은, 이미지를 수신하는 단계와, 상기 이미지로부터 객체(object)를 포함하는 목표 이미지(target image)를 획득하는 단계와, 상기 목표 이미지의 품질(quality)을 평가하여 평가 점수(evaluation score)를 계산하는 단계와, 상기 평가 점수에 기초하여 상기 목표 이미지로부터 상기 객체를 검출하는 단계를 포함한다.
상기 획득하는 단계는, 상기 이미지로부터 상기 객체를 포함하는 목표 영역을 획득하는 단계와, 상기 목표 영역으로부터 상기 객체의 특징과 관련된 정보를 추출하는 단계와, 상기 정보에 기초하여 상기 목표 영역을 정규화(normalization)하여 상기 목표 이미지를 획득하는 단계를 포함할 수 있다.
상기 목표 영역을 획득하는 단계는, 상기 이미지에 포함된 상기 객체를 검출하는 단계와, 상기 객체로부터 상기 객체의 특징을 검출하여 상기 목표 영역을 획득하는 단계를 포함할 수 있다.
상기 정보는, 상기 객체의 특징 자체, 상기 객체의 특징의 윤곽선, 상기 객체의 특징이 상기 목표 영역에서 가지는 상대적 위치 및 상기 객체의 특징이 상기 목표 영역에서 차지하는 면적 중 적어도 하나를 포함할 수 있다.
상기 목표 영역을 정규화하여 상기 목표 이미지를 획득하는 단계는, 상기 목표 영역을 확대 또는 축소하여 근사 처리 하는 단계와, 상기 정보를 이용하여 근사 처리된 목표 영역을 척도 정규화(scale normalization)하는 단계와, 척도 정규화된 근사 처리된 목표 영역을 조도 정규화(illumination normalization)하여 상기 목표 이미지를 획득하는 단계를 포함할 수 있다.
상기 척도 정규화하는 단계는, 상기 근사 처리된 목표 영역에 대하여 상기 객체의 특징의 크기 및 각도를 보정하는 단계를 포함할 수 있다.
상기 검출하는 단계는, 상기 평가 점수와 검출 기준 점수를 비교하는 단계와, 비교 결과에 기초하여 상기 객체의 검출을 수행할지 여부를 결정하는 단계를 포함할 수 있다.
상기 결정하는 단계는, 상기 비교 결과에서 상기 평가 점수가 상기 검출 기준 점수 미만인 경우, 상기 객체의 검출을 중단하는 단계와, 상기 비교 결과에서 상기 평가 점수가 상기 검출 기준 점수 이상인 경우, 상기 객체의 검출을 수행하는 단계를 포함할 수 있다.
상기 결정하는 단계는, 상기 비교 결과에서 상기 평가 점수가 상기 검출 기준 점수 미만인 경우, 다음 프레임에 포함된 객체의 평가 점수에 기초하여 상기 다음 프레임에 포함된 객체의 검출을 수행할지 여부를 결정하는 단계를 더 포함할 수 있다.
상기 객체를 검출하는 단계는, 에이다부스트(Adaboost) 알고리즘을 이용하여 상기 객체를 검출하는 단계를 포함할 수 있다.
일 실시예에 따른 이미지 처리 장치는, 이미지를 수신하는 수신기와, 상기 이미지의 품질을 평가함으로써 상기 이미지에 포함된 객체(object)를 검출하는 컨트롤러를 포함하고, 상기 컨트롤러는, 상기 이미지로부터 상기 객체를 포함하는 목표 이미지(target image)를 획득하는 목표 이미지 획득기(target image acquirer)와, 상기 목표 이미지의 품질을 평가하여 평가 점수(evaluation score)를 계산하는 품질 평가기(quality evaluator)와, 상기 평가 점수에 기초하여 상기 목표 이미지로부터 상기 객체를 검출하는 객체 검출기(object detector)를 포함한다.
상기 목표 이미지 획득기는, 상기 이미지로부터 상기 객체를 포함하는 목표 영역을 획득하는 목표 영역 획득기(target area acquirer)와, 상기 목표 영역으로부터 상기 객체의 특징과 관련된 정보를 추출하는 정보 추출기(information extractor)와, 상기 정보에 기초하여 상기 목표 영역을 정규화하여 상기 목표 이미지를 획득하는 정규화기(normalizator)를 포함할 수 있다.
상기 목표 영역을 획득기는, 상기 이미지에 포함된 상기 객체를 검출하고, 상기 객체로부터 상기 객체의 특징을 검출하여 상기 목표 영역을 획득할 수 있다.
상기 정보는, 상기 객체의 특징 자체, 상기 객체의 특징의 윤곽선, 상기 객체의 특징이 상기 목표 영역에서 가지는 상대적 위치 및 상기 객체의 특징이 상기 목표 영역에서 차지하는 면적 중 적어도 하나를 포함할 수 있다.
상기 정규화기는, 상기 목표 영역을 확대 또는 축소하여 근사 처리 하고, 상기 정보를 이용하여 근사 처리된 목표 영역을 척도 정규화하고, 척도 정규화된 근사 처리된 목표 영역을 조도 정규화하여 상기 목표 이미지를 획득할 수 있다.
상기 정규화기는, 상기 근사 처리된 목표 영역에 대하여 상기 객체의 특징의 크기 및 각도를 보정할 수 있다.
상기 객체 검출기는, 상기 평가 점수와 검출 기준 점수를 비교하고, 비교 결과에 기초하여 상기 객체의 검출을 수행할지 여부를 결정할 수 있다.
상기 객체 검출기는, 상기 비교 결과에서 상기 평가 점수가 상기 검출 기준 점수 미만인 경우, 상기 객체의 검출을 중단하고, 상기 비교 결과에서 상기 평가 점수가 상기 검출 기준 점수 이상인 경우, 상기 객체의 검출을 수행할 수 있다.
상기 객체 검출기는, 상기 비교 결과에서 상기 평가 점수가 상기 검출 기준 점수 미만인 경우, 다음 프레임에 포함된 객체의 평가 점수에 기초하여 상기 다음 프레임에 포함된 객체의 검출을 수행할지 여부를 결정할 수 있다.
상기 객체 검출기는, 에이다부스트(Adaboost) 알고리즘을 이용하여 상기 객체를 검출할 수 있다.
도 1은 일 실시예에 따른 이미지 처리 장치의 개략적인 블록도를 나타낸다.
도 2는 도 1에 도시된 컨트롤러의 개략적인 블록도를 나타낸다.
도 3은 도 2에 도시된 목표 이미지 획득기의 개략적인 블록도를 나타낸다.
도 4는 도 1의 이미지 처리 장치의 동작의 예를 나타낸다.
도 5는 일 실시예에 따른 MB-LBP(Multi-scale Block Local Binary Patterns)의 그리드를 나타낸다.
도 6은 일 실시예에 따른 이미지 처리 방법의 동작의 순서도를 나타낸다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일 실시예에 따른 이미지 처리 장치의 개략적인 블록도를 나타낸다.
도 1을 참조하면, 이미지 처리 장치(10)는 이미지의 품질을 평가하여 효율적으로 객체를 검출할 수 있는 이미지 처리 방법을 제공할 수 있다. 이미지 처리 장치(10)는 객체를 검출하기 전에 품질이 낮은 이미지에 대해서는 객체의 검출을 수행하지 않는 방법으로, 객체 인식의 정확도를 향상시키고, 빠른 속도로 객체를 검출할 수 있다.
이미지 처리 장치(10)는 품질이 낮은 이미지에 대한 검출 수행함으로써 소모되는 시간을 제거함으로써, 객체 검출의 정확도와 속도를 향상시킬 수 있다. 객체에 대한 검출은 객체에 대한 인식을 포함할 수 있다.
이미지 처리 장치(10)는 이미지를 수신하여 목표 이미지를 획득하고, 획득한 목표 이미지에 대하여 품질 평가를 수행하여 평가 점수를 계산할 수 있다. 이미지 처리 장치(10)는 평가 점수와 검출 기준 점수를 비교하여 객체를 검출할지 여부를 결정할 수 있다.
이미지 처리 장치(10)는 평가 점수가 검출 기준 점수 미만인 경우 수신한 이미지에 대해서는 객체에 대한 검출을 수행하지 않을 수 있다. 이를 통해, 이미지 처리 장치(10)는 이미지 처리 속도를 향상시킬 수 있고, 이미지 처리 시간을 크게 감소시킬 수 있으며, 객체에 대한 검출율을 향상시킬 수 있다.
또한, 이미지 처리 장치(10)는 객체 검출의 정확도를 높이고, 객체의 검출 속도를 향상시킬 수 있다.
이미지 처리 장치(10)는 객체의 검출을 수행하는 과정에 품질 평가 단계를 결합시킴으써, 불량한 이미지에 의한 검출율의 감소를 방지할 수 있다. 예를 들어, 이미지 처리 장치(10)를 통해 사람의 얼굴을 인식할 경우, 얼굴의 변형, 사람의 얼굴이 아닌 경우, 얼굴의 각도가 큰 경우 등 이미지의 품질이 낮아지는 경우에 얼굴 검출과정을 수행하지 않을 수 있다.
이미지 처리 장치(10)는 객체에 대한 검출을 수행하기 위한 이미지의 전처리를 수행할 수 있다. 이미지 처리 장치(10)는 이미지를 촬영한 장비, 촬영 환경 및 촬영 내용이 객체의 검출에 미치는 영향을 감소시킴으로써, 객체에 대한 검출 정확도를 향상시킬 수 있다. 예를 들어, 이미지 처리 장치(10)는 감시, 질의, 보안, 인간-기계 간의 상호 작용(man-machine interaction)에 사용되는 얼굴 인식을 효과적으로 수행할 수 있다.
이미지 처리 장치(10)는 수신기(100) 및 컨트롤러(200)를 포함한다.
수신기(100)는 이미지를 수신할 수 있다. 수신기(100)가 수신하는 이미지는 객체가 나타난 정적 사진 및 영상을 포함할 수 있다. 이미지는 복수의 프레임을 포함할 수 있다.
수신기는 수신기(100)는 복수의 촬영 장치 또는 단말을 포함할 수 있다. 단말은 컴퓨터, 서버 등을 포함할 수 있다. 수신기(100)는 복수의 촬영 장치를 이용하여 복수의 영상을 수신할 수 있다. 수신기(100)는 단말로부터 이미지를 수신할 수 있다.
수신기(100)는 수신한 이미지를 컨트롤러(200)로 출력할 수 있다.
컨트롤러(200)는 수신한 이미지의 품질을 평가함으로써 이미지에 포함된 객체(object)를 검출할 수 있다. 컨트롤러(200)는 기계학습 알고리즘을 이용하여 이미지에 포함된 객체를 검출할 수 있다.
객체는 이미지 처리를 통해서 검출하고자 하는 이미지 상의 모든 대상을 포함할 수 있다. 객체는 이미지에 포함된 특정 영역을 의미할 수 있다. 예를 들어, 객체는 사람의 얼굴을 포함할 수 있다.
도 2는 도 1에 도시된 컨트롤러의 개략적인 블록도를 나타낸다.
도 2를 참조하면, 컨트롤러(200)는, 목표 이미지 획득기(target image acquirer, 210), 품질 평가기(quality evaluator, 230) 및 객체 검출기(object detector, 250)를 포함할 수 있다.
목표 이미지 획득기(210)는 수신한 이미지로부터 객체(100)를 포함하는 목표 이미지(target image)를 획득할 수 있다. 예를 들어, 목표 이미지 획득기(210)는 제1 목표 모델을 이용하여 목표 이미지를 획득할 수 있다. 목표 모델은 에이다부스트 적응형 알고리즘 분류기(adaptive algorithm classifier)를 포함할 수 있다.
목표 이미지 획득기(210)는 목표 모델(또는 구조 모델)에 기초하여 목표 영역을 획득할 수 있다. 목표 모델(또는 구조 모델)은 서로 다른 형태의 객체를 포함하는 형태 모델의 집합을 포함할 수 있다. 목표 모델(또는 구조 모델)은 서로 다른 각도를 가지는 동일한 유형의 객체를 포함할 수 있다.
예를 들어, 목표 모델(또는 구조 모델)이 얼굴 모델인 경우, 얼굴 모델은 서로 다른 얼굴 형태와, 서로 다른 각도의 얼굴 형태를 포함할 수 있다.
목표 모델(또는 구조 모델)은 통계학, 동일한 유형의 객체 속성의 원리를 결합하여 수립된 수학 모델을 포함할 수 있다. 수학 모델은 생물 통계학 원리와 결합된 수학 모델을 포함할 수 있다.
목표 이미지 획득기(210)는 목표 이미지에 대한 전처리를 수행하여, 후속 처리 과정에서 객체에 대한 검출의 정확도를 향상시킬 수 있다. 예를 들어, 객체가 얼굴인 경우, 목표 이미지 획득기(210)는 얼굴을 포함하는 목표 이미지에 대하여 전처리를 수행할 수 있다.
목표 이미지 획득기(210)는 에이다부스트 알고리즘의 학습 분류기를 사용하여 목표 이미지를 획득할 수 있다. 목표 이미지 획득기(210)는 획득한 목표 이미지를 품질 평가기(230)로 출력할 수 있다.
품질 평가기(230)는 목표 이미지의 품질을 평가하여 평가 점수를 계산할 수하는 있다. 품질 평가기(230)는 목표 이미지의 품질이 높을수록 높은 평가 점수를 부여할 수 있고, 목표 이미지의 품질이 낮을수록 낮은 평가 점수를 부여할 수 있다.
품질 평가기(230)는 목표 이미지가 검출하고자 하는 객체에 부합하는 부분을 포함하고 있을 경우에, 그 부합 정도에 따라 목표 이미지에 대한 평가 점수를 계산할 수 있다. 예를 들어, 얼굴 인식의 경우에, 품질 평가기(230)는 목표 이미지가 얼굴 특성에 잘 부합하는 경우에 높은 평가 점수를 부여할 수 있고, 목표 이미지가 얼굴 특성에 잘 부합하지 않는 경우, 낮은 평가 점수를 부여할 수 있다.
품질 평가기(230)는 객체 검출기(250)와 동일한 기계 학습 알고리즘을 사용하여 목표 이미지의 품질을 평가할 수 있다. 품질 평가기(230)는 객체 검출기(250)와 동일한 알고리즘을 사용함으로써, 이미지 처리 장치(10)의 제작 단가를 감소시킬 수 있다. 예를 들어, 품질 평가기(230)는 에이다부스트 알고리즘을 이용하여 목표 이미지의 품질을 평가할 수 있다.
품질 평가기(230)는 목표 이미지로부터 목표 모델을 구축하여 품질을 평가할 수 있다. 품질 평가기(230)는 제2 목표 모델을 이용하여 목표 이미지의 품질을 평가할 수 있다. 목표 모델은 에이다부스트 알고리즘을 통해 구축될 수 있다.
제1 목표 모델과 제2 목표 모델은 동일한 모델일 수 있다. 제1 모델 및 제2 모델은 모두 에이다부스트 적응형 알고리즘 분류기를 포함할 수 있다.
목표 모델은 동일한 유형의 다른 형태의 객체를 포함할 수 있다. 예를 들어, 객체가 얼굴인 경우, 목표 모델은 얼굴 모델일 수 있다. 얼굴 모델은 다른 형태 또는 각도를 가지는 동일한 얼굴을 포함할 수 있다.
품질 평가기(230)는 목표 모델과 목표 이미지를 매칭함으로써, 목표 이미지의 품질을 평가할 수 있다. 품질 평가기(230)는 목표 모델과 목표 이미지가 잘 매칭되지 않는 경우 목표 이미지의 평가 점수를 낮출 수 있다.
낮은 평가 점수를 가지는 목표 이미지는 객체에 대한 검출의 실패로 이어질 수 있다. 예를 들어, 객체가 얼굴인 경우, 손상된(damaged) 얼굴 이미지를 사용한 경우 객체 검출기(250)가 얼굴을 제대로 검출하지 못할 수 있다. 손상된 얼굴 이미지는 대각 방향 얼굴, 변형된 얼굴, 얼굴이 아닌 경우, 이미지가 트위스트된 경우, 자세가 이상한 경우, 이미지의 조도가 낮은 경우, 이미지가 흐릿한 경우 등을 포함할 수 있다.
품질 평가기(230)는 통계학을 기초로 구축된 수학 모델을 이용하여 평가 점수를 계산할 수 있다. 예를 들어, 수학 모델은 에이다부스트 알고리즘을 이용하여 구축될 수 있다.
객체 검출기(250)는 평가 점수에 기초하여 목표 이미지로부터 객체를 검출할 수 있다. 객체 검출기(250)는 평가 점수와 검출 기준 점수를 비교하고, 비교 결과에 기초하여 객체의 검출을 수행할지 여부를 결정할 수 있다.
객체 검출기(250)는 비교 결과에서 평가 점수가 검출 기준 점수 미만인 경우, 상기 객체의 검출을 중단할 수 있다. 객체 검출기(250)는 비교 결과에서 평가 점수가 검출 기준 점수 이상인 경우, 객체의 검출을 수행할 수 있다.
객체 검출기(250)는 목표 이미지의 평가 점수가 검출 기준 점수 이상인 경우, 미리 저장된 목표 이미지와 동일한 유형의 객체를 포함하는 데이터와 비교할 수 있다. 객체 검출기(250)는 객체 검출 결과를 결정하기 위해서 객체를 식별(identify)할 수 있다.
예를 들어, 객체가 얼굴이고, 목표 이미지의 평가 점수가 검출 기준 점수 이상인 경우, 객체 검출기(250)는 목표 이미지와 얼굴 이미지가 저장된 빅데이터를 비교하여 목표 이미지의 검출 결과를 획득할 수 있다.
객체 검출기(250)는 보안 영역에서 촬영된 사람의 얼굴 이미지의 평가 점수가 검출 기준 점수 이상인 경우, 얼굴 이미지를 미리 저장된 얼굴 이미지 데이터와 비교하여 촬영된 사람의 인물 정보를 획득하고, 촬영된 사람에 대한 진입의 허용 여부를 결정할 수 있다.
객체 검출기(250)는 평가 점수가 검출 기준 점수 미만인 경우, 목표 이미지에 대하여 객체의 검출을 중단함으로써, 이미지 처리 시간을 단축시킬 수 있다. 객체 검출기(250)는 현재 프레임에 대한 객체의 검출을 중단한 후, 다음 프레임에 포함된 객체의 검출을 수행할지 여부를 결정할 수 있다.
객체 검출기(250)는 비교 결과에서 상기 평가 점수가 검출 기준 점수 미만인 경우, 다음 프레임에 포함된 객체의 평가 점수에 기초하여 다음 프레임에 포함된 객체의 검출을 수행할지 여부를 결정할 수 있다.
이미지의 다음 프레임은 동일한 객체가 포함된 복수의 이미지를 연속적으로 촬영하여 획득될 수 있다. 다음 프레임은 동일한 객체에 대해 여러 번 촬영된 상이한 프레임들을 규칙적으로 분류된 프레임들 중에서 다음 프레임을 의미할 수 있고, 동일 유형의 객체를 포함하는 프레임을 의미할 수 있다.
예를 들어, 객체가 사람의 얼굴인 경우, 얼굴을 포함하는 목표 이미지의 평가 점수가 검출 기준 점수 미만인 경우, 얼굴에 대한 검출을 중단하고, 다음 프레임의 얼굴에 대한 검출을 수행할 수 있다.
다음 프레임은 동일한 촬영자가 연속적으로 촬영한 복수의 프레임 중에서 프레임 순서에 따른 다음 프레임을 의미할 수 있고, 동일한 촬영자가 서로 다른 프레임들을 규칙적으로 분류한 프레임 중에서 다음 프레임을 의미할 수 있고, 또는 상이한 촬영자가 촬영한 프레임을 의미할 수 있다.
객체 검출기(250)는 기계 학습 알고리즘을 이용하여 객체를 검출할 수 있다. 예를 들어, 객체 검출기(250)는 에이다부스트(Adaboost) 알고리즘을 이용하여 객체를 검출할 수 있다.
객체 검출기(250)는 객체 관한 학습 모델을 채택하여 객체에 대한 검출 속도를 향상시킬 수 있다. 이를 통해 객체 검출기(250)는 검출 속도를 향상시킬 수 있을 뿐만 아니라, 객체의 검출에 대한 품질을 반영할 수 있다. 예를 들어, 객체 검출기(250)는 에이다부스트 학습 모델을 이용하여 얼굴 검출을 수행할 수 있다.
도 3은 도 2에 도시된 목표 이미지 획득기의 개략적인 블록도를 나타낸다.
도 3을 참조하면, 목표 이미지 획득기(210)는 목표 영역 획득기(target area acquirer, 211), 정보 추출기(information extractor, 213) 및 정규화기(normalizator, 215)를 포함할 수 있다.
목표 영역 획득기(211)는 이미지로부터 객체를 포함하는 목표 영역을 획득할 수 있다. 목표 영역 획득기(211)는 이미지에 포함된 객체를 검출하고, 객체로부터 객체의 특징을 검출하여 목표 영역을 획득할 수 있다.
목표 영역 획득기(211)는 목표 모델을 이용하여 이미지에 포함된 객체를 검출하고, 객체로부터 객체의 특징을 검출하여 목표 영역을 획득할 수 있다. 예를 들어, 객체가 사람의 얼굴인 경우, 목표 영역 획득기(211)는 이미지에 포함된 얼굴을 검출하고, 얼굴의 특징을 검출하고, 얼굴 영역을 획득할 수 있다.
목표 영역 획득기(211)는 제1 목표 모델을 이용하여 목표 영역을 획득할 수 있다. 또한, 목표 영역 획득기(211)는 에이다부스트 알고리즘을 이용하여 목표 영역을 분리할 수 있다.
정보 추출기(213)는 목표 영역으로부터 객체의 특징과 관련된 정보를 추출할 수 있다. 객체의 특징과 관련된 정보는 객체의 특징 자체, 객체의 특징의 윤곽선, 객체의 특징이 상기 목표 영역에서 가지는 상대적 위치 및 객체의 특징이 목표 영역에서 차지하는 면적 중 적어도 하나를 포함할 수 있다.
객체의 특징은 객체를 다른 대상과 차별화시킬 수 있는 객체의 일부를 의미할 수 있다. 예를 들어, 객체가 사람의 얼굴인 경우, 객체의 특징은 사람의 눈, 코, 입 등을 포함할 수 있다.
객체가 사람의 얼굴인 경우, 목표 영역은 얼굴 영역을 의미할 수 있고, 객체의 특징과 관련된 정보는 눈, 코, 윤곽, 입술 및 눈썹과 그들의 형태를 포함할 수 있다.
객체의 특징과 관련된 정보는 복수의 특징에 대한 정보를 포함할 수 있다.
객체의 특징과 관련된 정보는 얼굴의 각 특징이 얼굴 영역에서 차지하는 면적 및 각 특징들 사이의 상대 위치를 포함할 수 있다.
정보 추출기(213)는 SDM(Supervised Descent Method)를 사용하여 객체의 특징과 관련된 정보를 획득할 수 있다. SDM은 주로 비선형 최소 제곱 함수(nonlinear least squares function)를 최소화 하기 위하여 사용될 수 있다. 정보 추출기(213)는 객체의 특징을 검출하는 목표 함수(objective function)의 최적화, 즉, 객체의 특징과 관련된 정보의 해를 최적화할 수 있다.
정보 추출기(213)는 에이다부스트 알고리즘을 이용하여 객체의 특징과 관련된 정보를 추출할 수 있다. 예를 들어, 객체가 얼굴인 경우, 정보 추출기(213)는 에이다부스트 알고리즘을 이용하여 얼굴의 특징과 관련된 정보를 추출할 수 있다.
정규화기(215)는 객체의 특징과 관련된 정보에 기초하여 목표 영역을 정규화하여 목표 이미지를 획득할 수 있다. 정규화기(215)는 목표 영역을 확대 또는 축소하여 근사 처리할 수 있다.
정규화기(215)는 예정된 정규화 범위 내의 초기 처리된 목표 이미지를 획득할 수 있다. 일반적인 객체의 인식은 범위를 설정하므로, 이미지의 크기가 설정된 범위 내에서만 객체를 인식할 수 있다.
예를 들어, 수신한 이미지가 비교적 큰 경우, 축소/확대 공식 등에 따라 목표 영역 및 객체와 관련된 특징에 대하여 계산할 수 있다. 정규화기(215)는 객체의 특징, 형태, 크기 및 목표 영역 내에서 객체의 특징이 차지하는 면적이 비례하여 축소/확대시켜 정규화된 크기의 범위 내인 목표 이미지를 획득할 수 있다. 이를 통해, 정규화기(215)는 품질 평가 및 객체의 검출을 용이하게 만들 수 있다.
목표 이미지의 소스매핑 좌표가 정수가 아닐 경우, 대응 픽셀 위치를 찾지 못하기 때문에, 정규화기(215)는 목표 이미지의 소스매핑 좌표를 정수로 만들기 위해 목표 영역을 근사 처리할 수 있다.
근사 처리는 최근접 보간(nearest neighbor interpolation), 이중 선형 보간(bilinear interpolation), 하이오더 보간(high-order interpolation), 라그랑즈 보간(Lagrange interpolation) 및 뉴튼(Newton) 보간을 포함할 수 있다.
예를 들어, 정규화기(215)는 객체가 사람의 얼굴인 경우, 얼굴 영역에서 추출한 얼굴의 특징과 관련된 정보에 따라 얼굴 영역의 이미지에 대하여 확대 또는 축소하여 근사처리를 수행할 수 있다. 정규화기(215)는 축소/확대 공식을 이용하여 얼굴 영역과 얼굴의 특징 등에 대하여 확대 또는 축소를 수행할 수 있다
정규화기(215)는 얼굴의 특징에 포함되는 눈, 코, 윤곽, 입술, 눈썹 및 그들의 형태, 크기 및 목표 영역 내에서 얼굴의 특징이 차지하는 면적에 비례하여 확대 또는 축소시켜 정규화된 범위 내의 목표 이미지를 획득할 수 있다.
정규화기(215)는 객체의 특징과 관련된 정보를 이용하여 근사 처리된 목표 영역을 척도 정규화할 수 있다. 정규화기(215)는 척도 정규화된 근사 처리된 목표 영역을 조도 정규화하여 목표 이미지를 획득할 수 있다.
정규화기(215)는 근사 처리된 목표 영역에 대하여 객체의 특징의 크기 및 각도를 보정할 수 있다. 예를 들어, 객체가 얼굴인 경우, 정규화기(215)는 얼굴의 특징에 포함되는 눈, 코, 윤곽, 입술, 눈썹 및 그들의 형태가 차지하는 면적 및 각 얼굴의 특징들의 상대위치 등의 얼굴 영역에 대하여 크기 및 회전 각도를 교정(correct)할 수 있다.
각도의 교정은 원점을 둘러싼 회전, 임의의 포인트를 중심으로 하는 이미지의 회전을 포함할 수 있다. 근사 처리된 목표 영역이 회전하는 경우 이미지의 픽셀이 증가할 수 있다. 이 경우 정규화기(215)는 규정된 범위를 초과하는 이미지를 클리핑(clipping)하여 규정된 범위 내에 이미지가 존재하도록 할 수 있다.
예를 들어, 정규화기(215)는 얼굴 영역의 각도가 정규화 범위 내에 없으면 얼굴 영역에 대한 회전을 수행할 수 있다. 이 때, 정규화기(215)는 원점 또는 임의의 점을 중심으로 얼굴 영역을 회전 시킬 수 있다.
정규화기(215)는 얼굴 영역을 정규화하기 위해서 얼굴의 특징의 회전 각도, 얼굴의 회전 각도 및 얼굴 영역의 조도를 획득할 수 있다. 교정 방법은 목표 영역을 계산하기 위한 감마 변환(gamma transform), 가우시안 미분 필터링(Gaussian differential filter) 및 이미지의 명암 균등화(contrast equalization)를 포함할 수 있다.
정규화기(215)는 목표 이미지의 인식을 편리하게 하기 위하여, 저조도 등을 개선하는 조도 정규화를 수행할 수 있다. 감마 변환은 그레이 스케일(gray scale) 내의 비선형 변환일 수 있다. 정규화기(215)는 상이한 감마 파라미터들을 변화시킴으로써 그레이 스케일 범위의 낮은 밝기를 가지는 영역, 그레이 스케일 압축 범위의 높은 세기의 위상을 가지는 영역을 효과적으로 강화시키고, 전체적인 이미지의 밝기를 조절할 수 있다.
정규화기(215)는 물체에 따른 반사광과 입사광의 세기와 표면의 반사계수에 의하여 조도 정규화를 수행할 수 있다. 반사 계수는 대상의 구조 정보를 포함할 수 있다. 정규화기(215)는 이미지에 대하여 대수 변환을 통해 조도에 무관한 대상 구조 정보를 획득할 수 있다.
가우시안 미분 필터링은 밴드패스 필터링 효과를 획득할 수 있다. 가우시안미분 필터링은 가우시안 함수의 2차 미분과 유사하고, 중심과 주변 구의 두 개의 가우시안 함수 응답의 차이를 이용하여 가우시안 스무스(smooth) 및 스무스 후의 결과에 대한 2차 미분을 처리하여 이미지의 가장자리를 검출하고 포지셔닝을 기능을 가질 수 있다.
가우시안 미분 필터링은 이미지의 노이즈에 의한 왜곡과 품질 감소를 제거하거나 감소할 수 있어서, 이미지의 품질을 개선하여 객체의 검출율을 향상시킬 수 있다. 대표 균등화의 목적은 전체 영상의 그레이 레벨을 재조정하여 전체 영상의 밝기가 표준에 도달하게 할 수 있다.
얼굴 이미지는 광원의 색상, 이미지 수집 장비의 색상 편차에 쉽게 영향을 받을 수 있다. 얼굴 이미지는 이미지 색상의 따뜻함, 차가움, 파랑, 노랑 등에 치우칠 수 있고, 컴퓨터에 저장, 전송 처리되는 과정에서도 색상의 왜곡이 생길 수 있고, 이는 이미지의 그레이 값 및 명암에도 영향을 미칠 수 있다.
얼굴 이미지의 왜곡들은 얼굴을 검출하는데 영향을 주기 때문에 정규화기(215)는 조도 정규화를 수행하여 조도를 균일하게 만들 수 있다. 정규화기(215)는 가우시안 미분 필터링과 명암 균등화를 수행하여 광원의 색상, 이미지 수집 장치의 색상 편차에 의한 영향을 감소시켜 객체를 검출하는데 필요한 시각 요소를 획득할 수 있다.
정규화기(215)는 객체의 특징과 관련된 정보를 보정할 수 있다. 보정은 크기 및 각도의 보정을 포함할 수 있다. 정규화기(215)는 크기 및 각도를 교정함으로써 목표 이미지가 정규화 범위 내의 표준 이미지가 되도록 할 수 있다. 예를 들어, 정규화기(2150는 얼굴 이미지를 얼굴의 정면 이미지가 되도록 할 수 있다.
정규화기(215)는 목표 이미지의 픽셀 값을 미리 설정할 수 있다. 픽셀 값은 미리 정해진 값일 수 있고, 정해진 범위일 수도 있다. 예를 들어, 정규화기(215)는 얼굴 영상의 픽셀 값을 예정된 픽셀 값 또는 예정된 픽셀 값 범위 내로 조정할 수 있다.
정규화기(215)는 목표 이미지를 품질 평가기(230)로 출력할 수 있다.
도 4는 도 1의 이미지 처리 장치의 동작의 예를 나타내고, 도 5는 일 실시예에 따른 MB-LBP(Multi-scale Block Local Binary Patterns)의 그리드를 나타낸다.
도 4 및 도 5를 참조하면, 이미지 처리 장치(10)는 이미지를 수신하고, 이미지를 처리함으로써, 객체를 검출할 수 있다. 이미지 처리 장치(10)는 복수의 분류기를 포함할 수 있다.
이미지 처리 장치(10)는 에이다부스트 알고리즘을 이용하여 이미지 처리를 수행할 수 있다. 에이다부스트 알고리즘은 다수의 약 분류기(weak classifier)를 결합하여 하나의 강 분류기(strong classifier)를 형성하는 반복 알고리즘일 수 있다. 에이다부스트 알고리즘은 후보 약 분류기에서 하나의 약 분류기를 선택하고, 선택된 약 분류기의 분류 오차 함수(classification error function)를 가장 작게 만드는 것일 수 있다.
특정 샘플 포인트가 정확하게 분류되면 다음 학습을 수행할 집합을 구축하고, 가중치는 감소될 수 있다. 특정 샘플 포인트가 정확하게 분류되지 않으면, 가중치는 증가될 수 있다.
업데이트된 샘플의 집합들은 다음 약 분류기를 학습시키는데 사용될 수 있고, 전체 학습 과정은 반복적으로 이루어질 수 있다.
오차 함수는 아래의 수학식 1과 같이 나타낼 수 있다.
여기서, Jwse는 평가 점수를 의미하고, N은 샘플의 수량을 의미하고, wi는 샘플의 가중치(weight)를 의미하고, yi는 샘플의 라벨을 의미하고, fm은 약 분류기를 의미하고, xi는 샘플의 특징을 의미할 수 있다.
최종적으로 결정되는 강 분류기는 수학식 2와 같이 나타낼 수 있다.
강 분류기가 샘플 집합을 테스트한 검출율과 정확도가 주어진 임계값에 도달하거나, 모든 약 분류기가 사용되면 학습이 정지될 수 있다. 강 분류기는 배경과 객체를 구별하는 점수를 의미할 수 있다. 강 분류기는 객체와 목표 모델 간의 유사도 점수를 의미할 수 있다. 예를 들어, 강 분류기는 배경과 얼굴을 나누는 점수를 의미할 수 있고, 사람의 얼굴과 이미지 간의 유사도 점수를 의미할 수 있다.
객체가 사람의 얼굴인 경우에, 목표 이미지 획득기(210)는 얼굴 이미지를 획득하고, 품질 평가기(230)는 얼굴 이미지의 품질을 평가할 수 있다.
품질 평가기(230)는 얼굴 검출 학습 모델을 직접 사용하여 에이다부스트가 출력한 점수를 이미지와 얼굴 모델의 유사점수로 사용할 수 있다.
객체 검출기(250)는 얼굴 이미지에 대한 평가 점수가 검출 기준 점수보다 낮을 때 얼굴 검출을 수행하지 않고, 평가 점수가 검출 기준 점수보다 크거나 같을 때, 얼굴 검출을 수행할 수 있다. 예를 들어, 검출 기준 점수는 450일 수 있다. 검출 기준 점수는 실험에 따라 변경될 수 있다.
도 5에서와 같이 에이다 부스트 알고리즘 MB-LBP(Multi-scale Block Local Binary Patterns)를 이용하여 로컬 2차원 패턴에 기초한 이미지와 목표 이미지와 객체의 특징과 관련된 정보를 추출할 수 있다. MB-LBP의 특징은 약 분류기로 입력될 수 있다. MB-LBP는 3×3 그리드 영역일 수 있다. 그리드 영역은 이미지의 임의의 위치에 놓일 수 있다.
MB-LBP는 그리드 내의 각각의 영역 픽셀의 평균 값을 계산하고, 주위의 그리드 픽셀의 평균 값과 중심 그리드 픽셀의 평균값을 비교할 수 있다. MB-LBP는 이진법 코딩을 이용하여 픽셀 값을 비교할 수 있다.
MB-LBP는 0부터 255 사이의 숫자일 수 있고, 수학식 3과 같이 나타낼 수 있다.
여기서 gi는 각 그리드 영역의 픽셀 값을 의미할 수 있다. 에이다부스트 분류기는 멀티플 브랜치 트리(multiple branch tree)를 약 분류기로 사용할 수 있다. 멀티플 브랜치 트리는 수학식 4와 같이 정의될 수 있다.
여기서 xk는 MB-LBP의 특징 값을 의미하고, aj(j=0, ..., 255)는 분류기 파라미터를 의미할 수 있다. 분류기 파라미터는 수학식 5를 이용하여 계산될 수 있다.
여기서 wi는 샘플 i의 가중치를 의미하고, xi는 샘플 i의 MB-LBP 특징 값을 의미하고, yi는 샘플 i의 라벨을 의미할 수 있다.
도 6은 일 실시예에 따른 이미지 처리 방법의 동작의 순서도를 나타낸다.
도 6을 참조하면, 목표 이미지 획득기(210)는 이미지로부터 객체를 포함하는 목표 이미지를 획득할 수 있다(S610). 예를 들어, 목표 이미지 획득기(210)는 제1 목표 모델을 이용하여 목표 이미지를 획득할 수 있다. 목표 모델은 에이다부스트 적응형 알고리즘 분류기(adaptive algorithm classifier)를 포함할 수 있다.
품질 평가기(230)는 목표 이미지의 품질을 평가하여 평가 점수를 계산할 수 있다(S630). 품질 평가기(230)는 목표 이미지의 품질이 높을수록 높은 평가 점수를 부여할 수 있고, 목표 이미지의 품질이 낮을수록 낮은 평가 점수를 부여할 수 있다. 품질 평가기(230)는 객체 검출기(250)와 동일한 기계 학습 알고리즘을 사용하여 목표 이미지의 품질을 평가할 수 있다.
품질 평가기(230)는 목표 이미지로부터 목표 모델을 구축하여 품질을 평가할 수 있다. 품질 평가기(230)는 제2 목표 모델을 이용하여 목표 이미지의 품질을 평가할 수 있다. 목표 모델은 에이다부스트 알고리즘을 통해 구축될 수 있다.
객체 검출기(250)는 평가 점수에 기초하여 목표 이미지로부터 객체를 검출할 수 있다(S650). 객체 검출기(250)는 평가 점수와 검출 기준 점수를 비교하고, 비교 결과에 기초하여 객체의 검출을 수행할지 여부를 결정할 수 있다.
객체 검출기(250)는 비교 결과에서 평가 점수가 검출 기준 점수 미만인 경우, 상기 객체의 검출을 중단할 수 있다. 객체 검출기(250)는 비교 결과에서 평가 점수가 검출 기준 점수 이상인 경우, 객체의 검출을 수행할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (20)

  1. 이미지를 수신하는 단계;
    상기 이미지로부터 객체(object)를 포함하는 목표 이미지(target image)를 획득하는 단계;
    상기 목표 이미지의 품질(quality)을 평가하여 평가 점수(evaluation score)를 계산하는 단계; 및
    상기 평가 점수에 기초하여 상기 목표 이미지로부터 상기 객체를 검출하는 단계
    를 포함하고,
    상기 획득하는 단계는,
    상기 이미지로부터 상기 객체를 포함하는 목표 영역을 획득하는 단계;
    상기 목표 영역으로부터 상기 객체의 특징과 관련된 정보를 추출하는 단계; 및
    상기 정보에 기초하여 상기 목표 영역을 정규화(normalization)하여 상기 목표 이미지를 획득하는 단계
    를 포함하고,
    상기 목표 영역을 정규화하여 상기 목표 이미지를 획득하는 단계는,
    상기 목표 영역을 확대 또는 축소하여 근사 처리함으로써 상기 목표 이미지의 소스매핑 좌표를 정수로 변경하는 단계;
    상기 정보를 이용하여 근사 처리된 목표 영역을 척도 정규화(scale normalization)하는 단계; 및
    척도 정규화된 근사 처리된 목표 영역을 조도 정규화(illumination normalization)하여 상기 목표 이미지를 획득하는 단계
    를 포함하고,
    상기 척도 정규화하는 단계는,
    상기 근사 처리된 목표 영역에 대하여 상기 객체의 특징의 크기 및 각도를 보정하는 단계
    를 포함하고,
    상기 평가 점수를 계산하는 단계는,
    상기 목표 이미지를 목표 모델에 매칭시킴으로써, 상기 평가 점수를 계산하는 단계
    를 포함하고,
    상기 목표 모델은,
    상기 객체의 서로 다른 각도들의 형태들
    을 포함하는, 이미지 처리 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 목표 영역을 획득하는 단계는,
    상기 이미지에 포함된 상기 객체를 검출하는 단계; 및
    상기 객체로부터 상기 객체의 특징을 검출하여 상기 목표 영역을 획득하는 단계
    를 포함하는 이미지 처리 방법.
  4. 제1항에 있어서,
    상기 정보는,
    상기 객체의 특징 자체, 상기 객체의 특징의 윤곽선, 상기 객체의 특징이 상기 목표 영역에서 가지는 상대적 위치 및 상기 객체의 특징이 상기 목표 영역에서 차지하는 면적
    중 적어도 하나를 포함하는 이미지 처리 방법.
  5. 삭제
  6. 삭제
  7. 제1항에 있어서,
    상기 검출하는 단계는,
    상기 평가 점수와 검출 기준 점수를 비교하는 단계; 및
    비교 결과에 기초하여 상기 객체의 검출을 수행할지 여부를 결정하는 단계
    를 포함하는 이미지 처리 방법.
  8. 제7항에 있어서,
    상기 결정하는 단계는,
    상기 비교 결과에서 상기 평가 점수가 상기 검출 기준 점수 미만인 경우, 상기 객체의 검출을 중단하는 단계; 및
    상기 비교 결과에서 상기 평가 점수가 상기 검출 기준 점수 이상인 경우, 상기 객체의 검출을 수행하는 단계
    를 포함하는 이미지 처리 방법.
  9. 제8항에 있어서,
    상기 결정하는 단계는,
    상기 비교 결과에서 상기 평가 점수가 상기 검출 기준 점수 미만인 경우, 다음 프레임에 포함된 객체의 평가 점수에 기초하여 상기 다음 프레임에 포함된 객체의 검출을 수행할지 여부를 결정하는 단계
    를 더 포함하는 이미지 처리 방법.
  10. 제1항에 있어서,
    상기 객체를 검출하는 단계는,
    에이다부스트(Adaboost) 알고리즘을 이용하여 상기 객체를 검출하는 단계
    를 포함하는 이미지 처리 방법.
  11. 이미지를 수신하는 수신기; 및
    상기 이미지의 품질을 평가함으로써 상기 이미지에 포함된 객체(object)를 검출하는 컨트롤러
    를 포함하고,
    상기 컨트롤러는,
    상기 이미지로부터 상기 객체를 포함하는 목표 이미지(target image)를 획득하는 목표 이미지 획득기(target image acquirer);
    상기 목표 이미지의 품질을 평가하여 평가 점수(evaluation score)를 계산하는 품질 평가기(quality evaluator); 및
    상기 평가 점수에 기초하여 상기 목표 이미지로부터 상기 객체를 검출하는 객체 검출기(object detector)
    를 포함하고,
    상기 목표 이미지 획득기는,
    상기 이미지로부터 상기 객체를 포함하는 목표 영역을 획득하는 목표 영역 획득기(target area acquirer);
    상기 목표 영역으로부터 상기 객체의 특징과 관련된 정보를 추출하는 정보 추출기(information extractor); 및
    상기 정보에 기초하여 상기 목표 영역을 정규화하여 상기 목표 이미지를 획득하는 정규화기(normalizator)
    를 포함하고,
    상기 정규화기는,
    상기 목표 영역을 확대 또는 축소하여 근사 처리함으로써 상기 목표 이미지의 소스매핑 좌표를 정수로 변경하고, 상기 정보를 이용하여 근사 처리된 목표 영역을 척도 정규화하고, 척도 정규화된 근사 처리된 목표 영역을 조도 정규화하여 상기 목표 이미지를 획득하고
    상기 정규화기는,
    상기 근사 처리된 목표 영역에 대하여 상기 객체의 특징의 크기 및 각도를 보정하고,
    상기 품질 평가기는,
    상기 목표 이미지를 목표 모델에 매칭시킴으로써, 상기 평가 점수를 계산하고,
    상기 목표 모델은,
    상기 객체의 서로 다른 각도들의 형태들
    을 포함하는 이미지 처리 장치.
  12. 삭제
  13. 제11항에 있어서,
    상기 목표 영역을 획득기는,
    상기 이미지에 포함된 상기 객체를 검출하고, 상기 객체로부터 상기 객체의 특징을 검출하여 상기 목표 영역을 획득하는
    이미지 처리 장치.
  14. 제11항에 있어서,
    상기 정보는,
    상기 객체의 특징 자체, 상기 객체의 특징의 윤곽선, 상기 객체의 특징이 상기 목표 영역에서 가지는 상대적 위치 및 상기 객체의 특징이 상기 목표 영역에서 차지하는 면적
    중 적어도 하나를 포함하는 이미지 처리 장치.
  15. 삭제
  16. 삭제
  17. 제11항에 있어서,
    상기 객체 검출기는,
    상기 평가 점수와 검출 기준 점수를 비교하고, 비교 결과에 기초하여 상기 객체의 검출을 수행할지 여부를 결정하는
    이미지 처리 장치.
  18. 제17항에 있어서,
    상기 객체 검출기는,
    상기 비교 결과에서 상기 평가 점수가 상기 검출 기준 점수 미만인 경우, 상기 객체의 검출을 중단하고, 상기 비교 결과에서 상기 평가 점수가 상기 검출 기준 점수 이상인 경우, 상기 객체의 검출을 수행하는
    이미지 처리 장치.
  19. 제18항에 있어서,
    상기 객체 검출기는,
    상기 비교 결과에서 상기 평가 점수가 상기 검출 기준 점수 미만인 경우, 다음 프레임에 포함된 객체의 평가 점수에 기초하여 상기 다음 프레임에 포함된 객체의 검출을 수행할지 여부를 결정하는
    이미지 처리 장치.
  20. 제11항에 있어서,
    상기 객체 검출기는,
    에이다부스트(Adaboost) 알고리즘을 이용하여 상기 객체를 검출하는
    이미지 처리 장치.
KR1020180000698A 2017-03-27 2018-01-03 객체 검출을 위한 영상 처리 방법 및 장치 Active KR102641115B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/926,161 US10977509B2 (en) 2017-03-27 2018-03-20 Image processing method and apparatus for object detection
US17/227,704 US11908117B2 (en) 2017-03-27 2021-04-12 Image processing method and apparatus for object detection

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710188186.1 2017-03-27
CN201710188186.1A CN108664840A (zh) 2017-03-27 2017-03-27 图像识别方法及装置

Publications (2)

Publication Number Publication Date
KR20180109665A KR20180109665A (ko) 2018-10-08
KR102641115B1 true KR102641115B1 (ko) 2024-02-27

Family

ID=63785471

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180000698A Active KR102641115B1 (ko) 2017-03-27 2018-01-03 객체 검출을 위한 영상 처리 방법 및 장치

Country Status (2)

Country Link
KR (1) KR102641115B1 (ko)
CN (1) CN108664840A (ko)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109635142B (zh) * 2018-11-15 2022-05-03 北京市商汤科技开发有限公司 图像选择方法及装置、电子设备和存储介质
CN109784274B (zh) * 2018-12-29 2021-09-14 杭州励飞软件技术有限公司 识别尾随的方法及相关产品
KR102696019B1 (ko) * 2019-01-30 2024-08-19 삼성전자주식회사 영상 처리 장치 및 방법과 서비스 로봇
CN111626973A (zh) * 2019-02-27 2020-09-04 通用电气精准医疗有限责任公司 医学成像设备的图像质量检测方法及系统、存储介质
CN110189300B (zh) * 2019-04-22 2021-03-09 中国科学院微电子研究所 孔型结构工艺质量的检测方法、检测装置、存储介质和处理器
KR102708717B1 (ko) 2019-05-17 2024-09-23 삼성전자주식회사 특정 순간에 관한 사진 또는 동영상을 자동으로 촬영하는 디바이스 및 그 동작 방법
CN110473181A (zh) * 2019-07-31 2019-11-19 天津大学 基于边缘特征信息的屏幕内容图像的无参质量评价方法
CN110837821A (zh) * 2019-12-05 2020-02-25 深圳市亚略特生物识别科技有限公司 基于生物特征的身份识别的方法、设备及电子系统
CN112307262A (zh) * 2020-02-28 2021-02-02 钱秀华 一种图像识别方法和服务器
KR102386150B1 (ko) * 2020-03-25 2022-04-12 경일대학교산학협력단 모니터링 장치 및 모니터링 방법
CN111340140A (zh) * 2020-03-30 2020-06-26 北京金山云网络技术有限公司 图像数据集的获取方法、装置、电子设备及存储介质
CN111462069B (zh) * 2020-03-30 2023-09-01 北京金山云网络技术有限公司 目标对象检测模型训练方法、装置、电子设备及存储介质
KR102246471B1 (ko) 2020-05-13 2021-04-30 주식회사 파이리코 이미지 내 동물의 코 영역을 검출하는 방법 및 장치
KR102243466B1 (ko) 2020-05-13 2021-04-22 주식회사 파이리코 이미지 내 동물의 눈 영역을 검출하는 방법 및 장치
CN112101448B (zh) * 2020-09-10 2021-09-21 敬科(深圳)机器人科技有限公司 一种屏幕图像识别方法、设备、系统和可读存储介质
CN114693962A (zh) * 2020-12-25 2022-07-01 北京灵汐科技有限公司 图像检测方法、处理核、电子设备和计算机可读介质
CN112308055B (zh) * 2020-12-30 2021-11-02 北京沃东天骏信息技术有限公司 人脸检索系统的评价方法、装置、电子设备和存储介质
CN112613492B (zh) * 2021-01-08 2022-02-11 哈尔滨师范大学 一种数据处理方法及装置
CN112967467B (zh) * 2021-02-24 2022-07-29 九江学院 文物防盗方法、系统、移动终端及存储介质
CN113933294B (zh) * 2021-11-08 2023-07-18 中国联合网络通信集团有限公司 浓度检测方法及装置
KR102649806B1 (ko) * 2021-12-01 2024-03-21 주식회사 포딕스시스템 객체 이미지 표준화 장치 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014505952A (ja) * 2011-02-18 2014-03-06 ナショナル・アイシーティ・オーストラリア・リミテッド 画像品質の評価

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8270695B2 (en) * 2008-10-07 2012-09-18 Carestream Health, Inc. Diagnostic image processing with automatic self image quality validation
CN101661557B (zh) * 2009-09-22 2012-05-02 中国科学院上海应用物理研究所 一种基于智能卡的人脸识别系统及其方法
KR20140055819A (ko) * 2012-11-01 2014-05-09 삼성전자주식회사 얼굴인식장치 및 그 제어방법
CN104978550B (zh) * 2014-04-08 2018-09-18 上海骏聿数码科技有限公司 基于大规模人脸数据库的人脸识别方法及系统
KR101621157B1 (ko) * 2014-08-20 2016-05-13 세종대학교산학협력단 Mct를 이용한 얼굴 인식 장치 및 그 방법
CN105139003B (zh) * 2015-09-17 2018-07-06 桂林远望智能通信科技有限公司 一种动态人脸识别系统及方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014505952A (ja) * 2011-02-18 2014-03-06 ナショナル・アイシーティ・オーストラリア・リミテッド 画像品質の評価

Also Published As

Publication number Publication date
CN108664840A (zh) 2018-10-16
KR20180109665A (ko) 2018-10-08

Similar Documents

Publication Publication Date Title
KR102641115B1 (ko) 객체 검출을 위한 영상 처리 방법 및 장치
US12198469B2 (en) System and method for scalable cloud-based recognition and analysis
KR101808467B1 (ko) 생체 인식 인증을 위한 특징 추출 및 정합과 템플릿 갱신
CN113011385B (zh) 人脸静默活体检测方法、装置、计算机设备及存储介质
CN107066938B (zh) 视频分析设备、方法和计算机程序产品
US11908117B2 (en) Image processing method and apparatus for object detection
CN106557726B (zh) 一种带静默式活体检测的人脸身份认证系统及其方法
Nishiyama et al. Facial deblur inference using subspace analysis for recognition of blurred faces
CN103914676B (zh) 一种在人脸识别中使用的方法和装置
CN103093212B (zh) 基于人脸检测和跟踪截取人脸图像的方法和装置
US20160140399A1 (en) Object detection apparatus and method therefor, and image recognition apparatus and method therefor
WO2020029874A1 (zh) 对象跟踪方法及装置、电子设备及存储介质
WO2020244071A1 (zh) 基于神经网络的手势识别方法、装置、存储介质及设备
JP2017531883A (ja) 画像の主要被写体を抽出する方法とシステム
US9245198B2 (en) Object recognition by comparison of patterns against map of image
CN105512683A (zh) 基于卷积神经网络的目标定位方法及装置
US20160078319A1 (en) Method, Apparatus and Computer Readable Recording Medium for Detecting a Location of a Face Feature Point Using an Adaboost Learning Algorithm
KR20180109658A (ko) 영상 처리 방법과 장치
CN112784712B (zh) 一种基于实时监控的失踪儿童预警实现方法、装置
KR101084594B1 (ko) 영상 인식 시스템 및 그 방법
CN110458064B (zh) 结合数据驱动型和知识驱动型的低空目标检测与识别方法
CN111914627A (zh) 一种车辆识别与追踪方法及装置
US7643674B2 (en) Classification methods, classifier determination methods, classifiers, classifier determination devices, and articles of manufacture
CN118609061A (zh) 基于ai识别的安检设备控制方法、装置、设备及存储介质
WO2021056531A1 (zh) 人脸性别识别方法、人脸性别分类器的训练方法及装置

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20180103

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20201231

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20180103

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20230213

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20230830

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20230213

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

X091 Application refused [patent]
AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20230830

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20230310

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20231127

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20231017

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20230830

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20230310

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20240222

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20240223

End annual number: 3

Start annual number: 1

PG1601 Publication of registration