[go: up one dir, main page]

KR20120077422A - Apparatus and method for determining symmetry of face - Google Patents

Apparatus and method for determining symmetry of face Download PDF

Info

Publication number
KR20120077422A
KR20120077422A KR1020100139367A KR20100139367A KR20120077422A KR 20120077422 A KR20120077422 A KR 20120077422A KR 1020100139367 A KR1020100139367 A KR 1020100139367A KR 20100139367 A KR20100139367 A KR 20100139367A KR 20120077422 A KR20120077422 A KR 20120077422A
Authority
KR
South Korea
Prior art keywords
image
symmetry
face
roi
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020100139367A
Other languages
Korean (ko)
Other versions
KR101223857B1 (en
Inventor
박원우
Original Assignee
주식회사 포스코아이씨티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 포스코아이씨티 filed Critical 주식회사 포스코아이씨티
Priority to KR1020100139367A priority Critical patent/KR101223857B1/en
Publication of KR20120077422A publication Critical patent/KR20120077422A/en
Application granted granted Critical
Publication of KR101223857B1 publication Critical patent/KR101223857B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/68Analysis of geometric attributes of symmetry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

얼굴을 포함하는 영상으로부터 얼굴을 검출하여 얼굴의 좌우 대칭도를 산출할 수 있는 본 발명의 일 측면에 따른 얼굴의 좌우 대칭도 산출 방법은, 얼굴 영역이 포함된 ROI(Region of Interest) 영상을 축소시켜 제1 축소 영상을 생성하는 단계; 상기 제1 축소 영상의 얼굴 영역에 대해 미리 설정된 대칭축을 기준으로 좌측 영역과 우측 영역간의 대칭도를 산출하는 단계; 상기 제1 축소 영상이 미리 정해진 값만큼 회전 또는 이동된 제2 축소 영상의 얼굴 영역에 대해 상기 대칭축을 기준으로 상기 대칭도를 재산출하는 단계; 및 상기 재산출된 대칭도가 이전에 산출된 대칭도 보다 크면 상기 이전에 산출된 대칭도를 상기 재산출된 대칭도로 갱신하여 얼굴의 좌우 대칭도를 결정하는 단계를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, a method for calculating a left-right symmetry of a face by detecting a face from an image including a face includes reducing a region of interest (ROI) image including a face area. Generating a first reduced image; Calculating a symmetry degree between a left region and a right region on the basis of a preset symmetry axis for the face region of the first reduced image; Recalculating the symmetry with respect to the face region of the second reduced image in which the first reduced image is rotated or moved by a predetermined value based on the symmetry axis; And determining the left and right symmetry of the face by updating the previously calculated symmetry to the recalculated symmetry if the recalculated symmetry is greater than the previously calculated symmetry.

Description

얼굴의 좌우 대칭도 산출 방법 및 장치{Apparatus and Method for Determining Symmetry of Face}Apparatus and Method for Determining Symmetry of Face}

본 발명은 얼굴 인식에 관한 것으로, 보다 구체적으로 얼굴의 좌우 대칭도를 산출할 수 있는 방법 및 장치에 관한 것이다.The present invention relates to face recognition, and more particularly, to a method and an apparatus capable of calculating the symmetry of a face.

카메라(PC카메라, 휴대폰 카메라, 및 CCD 카메라 등) 및 영상처리 기술의 급진적인 발전에 따라 카메라로부터 입력되는 영상에서 얼굴을 검출하고, 검출된 얼굴을 이용하여 게임이나 보안 시스템 등에 이용할 수 있도록 하는 프로그램들이 계발되고 있다.Cameras (PC cameras, mobile phone cameras, CCD cameras, etc.) and the development of image processing technology in accordance with the radical development of the detection of the face from the image input from the camera, the program to be used for games or security systems using the detected face Are being developed.

특히, 최근에는 스마트폰이나 테블릿 PC 등과 같이 고성능의 카메라가 장착된 휴대 단말기가 등장함에 따라 휴대 단말기를 이용하여 영상을 촬영하고, 촬영된 영상으로부터 검출되는 얼굴을 이용하여 다양한 기능을 수행할 수 있는 어플리케이션들도 계발되고 있다.In particular, as a mobile terminal equipped with a high-performance camera such as a smartphone or a tablet PC has recently appeared, images can be taken using the portable terminal, and various functions can be performed using a face detected from the captured image. Some applications are being developed.

한편, 최근 미용에 대한 관심이 급증하면서 얼굴의 좌우 대칭도(미인도)에 대한 관심이 증가되고 있지만, 상술한 바와 같은 기존의 프로그램이나 어플리케이션들은 얼굴을 인식하는 것에 주로 초점이 맞추어져 있었을 뿐, 인식된 얼굴을 이용하여 얼굴의 좌우 대칭도를 판단할 수는 없었다.Meanwhile, as interest in beauty has increased recently, interest in the symmetry of the face (india) has increased, but the existing programs and applications described above were mainly focused on face recognition. The symmetry of the face could not be determined using the face.

따라서, 종래에는, 얼굴의 좌우 대칭을 판단할 수 있도록 눈금이 매겨진 곡선형 특수자를 판단 대상이 되는 실제 얼굴에 위치시켜 눈, 코, 입, 또는 눈썹 등과 같은 얼굴 주요부위의 위치 및 크기 등을 측정함으로써 얼굴의 좌우 대칭도를 산출할 수 밖에 없었다.Therefore, conventionally, the position and size of major parts of the face, such as eyes, nose, mouth, or eyebrows, are measured by placing the curved special person, which is scaled to determine the symmetry of the face, on the actual face to be judged. By doing so, the left and right symmetry of the face was inevitably calculated.

이와 같이, 종래에는 얼굴의 좌우 대칭도를 판단함에 있어서, 특수자의 물리적인 접촉위치와 시각적인 측정오차에 따라 얼굴의 좌우 대칭도가 달라질 수 있기 때문에 산출된 얼굴의 좌우 대칭도에 대한 정확성을 담보할 수 없다는 문제점이 있다.As described above, in determining the left and right symmetry of the face, since the right and left symmetry of the face may vary according to the physical contact position of the special person and the visual measurement error, the accuracy of the calculated left and right symmetry is guaranteed. The problem is that you can't.

본 발명은 상술한 문제점을 해결하기 위한 것으로서, 얼굴을 포함하는 영상으로부터 얼굴을 검출하여 얼굴의 좌우 대칭도를 산출할 수 있는 얼굴의 좌우 대칭도 산출 방법 및 장치를 제공하는 것을 그 기술적 과제로 한다.Disclosure of Invention The present invention has been made in view of the above-described problems, and it is an object of the present invention to provide a method and apparatus for calculating a left-right symmetry of a face that can detect a face from an image including the face and calculate a left-right symmetry of the face. .

또한, 본 발명은 대칭축을 기준으로 정렬되어 있지 않은 영상에 포함되어 있는 얼굴의 좌우 대칭도를 산출할 수 있는 얼굴의 좌우 대칭도 산출 방법 및 장치를 제공하는 것을 다른 기술적 과제로 한다.Another object of the present invention is to provide a method and apparatus for calculating a left and right symmetry of a face capable of calculating the left and right symmetry of a face included in an image that is not aligned based on the symmetry axis.

상술한 목적을 달성하기 위한 본 발명의 일 측면에 따른 얼굴의 좌우 대칭도 산출 방법은, 얼굴 영역이 포함된 ROI(Region of Interest) 영상을 축소시켜 제1 축소 영상을 생성하는 단계; 상기 제1 축소 영상의 얼굴 영역에 대해 미리 설정된 대칭축을 기준으로 좌측 영역과 우측 영역간의 대칭도를 산출하는 단계; 상기 제1 축소 영상이 미리 정해진 값만큼 회전 또는 이동된 제2 축소 영상의 얼굴 영역에 대해 상기 대칭축을 기준으로 상기 대칭도를 재산출하는 단계; 및 상기 재산출된 대칭도가 이전에 산출된 대칭도 보다 크면 상기 이전에 산출된 대칭도를 상기 재산출된 대칭도로 갱신하여 얼굴의 좌우 대칭도를 결정하는 단계를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a method of calculating a left and right symmetry of a face, the method including: generating a first reduced image by reducing a region of interest (ROI) image including a face region; Calculating a symmetry degree between a left region and a right region on the basis of a preset symmetry axis for the face region of the first reduced image; Recalculating the symmetry with respect to the face region of the second reduced image in which the first reduced image is rotated or moved by a predetermined value based on the symmetry axis; And determining the left and right symmetry of the face by updating the previously calculated symmetry to the recalculated symmetry if the recalculated symmetry is greater than the previously calculated symmetry.

상술한 목적을 달성하기 위한 본 발명의 다른 측면에 따른 얼굴의 좌우 대칭도 산출 방법은, 얼굴 영역이 포함된 ROI 영상을 축소시켜 제1 축소 영상을 생성하는 단계; 및 상기 제1 축소 영상이 미리 정해진 값만큼 회전 또는 이동된 제2 축소 영상의 얼굴 영역에 대해 미리 설정된 대칭축을 기준으로 좌측 영역과 우측 영역간의 대칭도를 산출하고, 산출된 대칭도를 얼굴의 좌우 대칭도로 결정하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a method of calculating a symmetry of a face, the method including: generating a first reduced image by reducing an ROI image including a face region; And calculating a symmetry degree between a left region and a right region based on a symmetry axis preset for a face region of the second reduced image in which the first reduced image is rotated or moved by a predetermined value, and calculates the symmetry degree based on the left and right sides of the face. Determining the degree of symmetry.

상술한 목적을 달성하기 위한 본 발명의 또 다른 측면에 따른 얼굴의 좌우 대칭도 산출 장치는, 정지 영상을 전처리하는 영상 전처리부; 상기 전처리된 정지 영상으로부터 얼굴 영역을 포함하는 ROI 영상을 생성하는 ROI 영상 생성부; 가우시안 피라미드 해상도 축소법을 이용하여 상기 ROI 영상을 축소시킴으로써 제1 축소 영상을 생성하고, 상기 ROI 영상을 미리 정해진 값만큼 회전 또는 이동시켜 축소시킴으로써 제2 축소 영상을 생성하는 영상 변환부; 및 상기 제1 축소 영상의 얼굴 영역에 대해 미리 정해진 대칭축을 기준으로 좌측 영역과 우측 영역 간의 대칭도를 산출하고, 이후 제2 축소 영상의 얼굴 영역에 대해 상기 대칭축을 기준으로 상기 대칭도를 재산출하여 재산출된 대칭도가 이전에 산출된 대칭도 보다 크면 상기 이전에 산출된 대칭도를 상기 재산출된 대칭도로 갱신하는 대칭도 산출부를 포함하는 것을 특징으로 한다. According to still another aspect of the present invention, there is provided an apparatus for calculating left and right symmetry of a face, including: an image preprocessor configured to preprocess a still image; A ROI image generator configured to generate a ROI image including a face region from the preprocessed still image; An image converter for generating a first reduced image by reducing the ROI image by using a Gaussian pyramid resolution reduction method and generating a second reduced image by rotating or moving the ROI image by a predetermined value; And calculating a symmetry degree between a left region and a right region based on a predetermined symmetry axis with respect to the face region of the first reduced image, and then regenerating the symmetry degree based on the symmetry axis with respect to the face region of the second reduced image. If the recalculated symmetry is greater than the previously calculated symmetry, characterized in that it comprises a symmetry calculator for updating the previously calculated symmetry to the recalculated symmetry.

본 발명에 따르면, 정지 영상에서 검출되는 얼굴에서 영상 처리 기법을 이용하여 얼굴의 좌우 대칭도를 산출하기 때문에 보다 대칭도의 정확성을 향상시킬 수 있다는 효과가 있다.According to the present invention, since the left and right symmetry of the face is calculated using the image processing technique in the face detected in the still image, the accuracy of the symmetry can be improved.

또한, 본 발명은 얼굴이 포함된 영상을 회전 또는 이동시켜가면서 얼굴의 좌우 대칭도를 산출하기 때문에 판별 대상이 되는 영상이 대칭축을 기준으로 정렬되어 있지 않더라도 정확한 대칭도를 산출할 수 있다는 효과가 있다.In addition, the present invention calculates the symmetry of the face while rotating or moving the image including the face, so that the accurate symmetry can be calculated even if the image to be discriminated is not aligned with respect to the symmetry axis. .

도 1은 본 발명의 일 실시예에 따른 얼굴의 좌우 대칭도 산출 장치의 구성을 개략적으로 보여주는 도면.
도 2는 도 1에 도시된 언샤프 마스킹 처리부에 의해 수행되는 언샤프 마스킹 처리 과정을 보여주는 도면.
도 3은 언샤프 마스킹 처리 과정에 이용되는 마스크의 예를 보여주는 도면.
도 4는 정지 영상으로부터 검출된 얼굴 영역을 보여주는 도면.
도 5는 얼굴 영역을 포함하는 ROI 영상을 보여주는 도면.
도 6은 가우시안 피라미드 해상도 축소법의 개념을 개략적으로 보여주는 도면.
도 7은 얼굴 영역을 포함하는 축소 영상에서 대칭도를 산출하는 방법을 개략적으로 보여주는 도면.
도 8은 본 발명의 일 실시예에 따른 얼굴의 좌우 대칭도 산출 방법을 보여주는 플로우차트.
도 9는 도 8에 도시된 영상 전처리 과정을 보여주는 플로우차트.
1 is a view schematically showing the configuration of the device for calculating the left and right symmetry of the face according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating an unsharp masking process performed by the unsharp masking processor shown in FIG. 1. FIG.
3 shows an example of a mask used in an unsharp masking process;
4 is a diagram showing a face region detected from a still image.
5 illustrates an ROI image including a face region.
6 schematically illustrates the concept of Gaussian pyramid resolution reduction.
7 is a diagram schematically illustrating a method of calculating symmetry in a reduced image including a face region.
8 is a flowchart illustrating a method for calculating left and right symmetry of a face according to an embodiment of the present invention.
9 is a flowchart showing an image preprocessing process illustrated in FIG. 8.

이하, 첨부되는 도면을 참고하여 본 발명의 실시예들에 대해 상세히 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 얼굴의 좌우 대칭도 산출 장치의 구성을 개략적으로 보여주는 도면이다.1 is a view schematically showing the configuration of the device for calculating the left and right symmetry of the face according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 얼굴의 좌우 대칭도 산출 장치(100)는, 영상 전처리부(110), ROI 영상 생성부(120), 영상 변환부(130), 및 대칭도 산출부(140)를 포함한다.As shown in FIG. 1, the apparatus 100 for calculating left and right symmetry of a face according to an embodiment of the present invention may include an image preprocessor 110, an ROI image generator 120, an image converter 130, And a symmetry calculator 140.

영상 전처리부(110)는 정지 영상에 대하여 영상조명 및 영상 잡음 등의 영향을 경감시키기 위해 전처리(Preprocessing)를 수행하는 것으로서, 도 1에 도시된 바와 같이 영상 리사이징부(112), 히스토그램 균등화부(114), 및 언샤프 마스킹 처리부(116)를 포함한다.The image preprocessor 110 performs preprocessing to reduce the effects of image illumination, image noise, and the like on the still image. As shown in FIG. 114, and an unsharp masking processing unit 116.

먼저, 영상 리사이징부(112)는, 보간 알고리즘(Interpolation)을 이용하여 정지 영상의 해상도를 조절한다. 일 실시예에 있어서, 영사 리사이징부(112)는 정지 영상을 640*640 크기의 해상도로 리사이징 할 수 있다.First, the image resizing unit 112 adjusts the resolution of a still image using an interpolation algorithm (Interpolation). In one embodiment, the projection resizing unit 112 may resize the still image to a resolution of 640 * 640 size.

한편, 영상 리사이징부(112)는 리사이징 대상이 되는 영상을 카메라(미도시)로부터 직접 획득할 수 있다.The image resizing unit 112 may directly acquire an image, which is a resizing target, from a camera (not shown).

다음으로, 히스토그램 균등화부(114)는 리사이징된 정지 영상의 콘트라스트(Contrast)를 향상시키기 위해 리사이징된 정지 영상의 히스토그램을 균등화한다.Next, the histogram equalizer 114 equalizes the histogram of the resized still image in order to improve the contrast of the resized still image.

구체적으로, 히스토그램 균등화부(114)는 리사이징된 정지 영상의 픽셀값들 중 최대값과 최소값을 산출하고, 리사이징된 정지 영상의 각 픽셀의 픽셀값이 특정값 이내의 값이 되도록 최대값과 최소값을 이용하여 비선형 매핑(Mapping)을 수행함으로써 리사이징된 정지 영상의 히스토그램을 균등화한다. 이를 통해 리사이징된 정지 영상의 콘트라스트가 향상된다.Specifically, the histogram equalizer 114 calculates a maximum value and a minimum value among pixel values of the resized still image, and sets the maximum value and the minimum value such that the pixel value of each pixel of the resized still image is within a specific value. By performing nonlinear mapping, the histogram of the resized still image is equalized. This improves the contrast of the resized still image.

다음으로, 언샤프 마스킹 처리부(116)는, 히스토그램 균등화된 정지 영상을 보존하면서 윤곽선을 강조한 영상을 획득하기 위해, 히스토그램 균등화된 정지 영상을 언샤프 마스킹(Unsharp Masking) 처리한다.Next, the unsharp masking processing unit 116 performs unsharp masking on the histogram equalized still image in order to obtain an image with emphasis on the contour while preserving the histogram equalized still image.

구체적으로, 언샤프 마스킹 처리부(116)는, 도 2에 도시된 바와 같이 히스토그램 균등화된 정지 영상을 3개(이하, '제1 내지 제3 정지 영상'이라 함)로 복제하고, 그 중 제2 정지 영상을 도 3에 도시된 바와 같은 3*3 라플라시안 콘볼루션 마스크를 이용하여 스무딩(Smoothing) 처리 한다. 여기서, 스무딩은 블러링(Blurring)과 노이즈의 제거를 위해 사용되는 영상 처리기법을 의미한다.Specifically, the unsharp masking processing unit 116 duplicates the histogram equalized still images into three (hereinafter, referred to as 'first to third still images') as shown in FIG. The still image is smoothed using a 3 * 3 Laplacian convolution mask as shown in FIG. 3. Here, smoothing means an image processing technique used for blurring and noise removal.

다음으로, 언샤프 마스킹 처리부(116)는, 스무딩 처리된 제2 정지 영상과 제3 정지 영상의 차영상을 산출하고, 이후 차영상과 제1 영상을 합산함으로써 윤곽선이 강조된 정지 영상을 생성한다.Next, the unsharp masking processing unit 116 calculates a difference image between the smoothed second still image and the third still image, and then generates a still image with an outline highlighted by summing the difference image and the first image.

다시 도 1을 참조하면, ROI 영상 생성부(120)는 영상 전처리부(110)에 의해 전처리된 정지 영상으로부터 얼굴 영역을 포함하는 ROI(Region Of Interest) 영상을 생성한다. 이러한 ROI 영상 생성부(120)는 도 1에 도시된 바와 같이, 얼굴 영역 검출부(122) 및 얼굴 영역 분리부(124)를 포함한다.Referring back to FIG. 1, the ROI image generator 120 generates a region of interest (ROI) image including a face region from a still image preprocessed by the image preprocessor 110. As illustrated in FIG. 1, the ROI image generator 120 includes a face region detector 122 and a face region separator 124.

먼저, 얼굴 영역 검출부(122)는, 영상 전치리부(110)에 의해 전처리된 정지 영상으로부터 얼굴 영역을 검출한다. 일 실시예에 있어서, 얼굴 영역 검출부(122)는 OpenCV와 같은 오픈소스 컴퓨터 버전 라이브러리를 이용하여 전처리된 정지 영상으로부터 얼굴 영역을 검출한다. 이때, 얼굴 영역 검출부(122)는 검출된 얼굴 영역을 정지 영상 상에서 도 4에 도시된 바와 같은 사각형(300)으로 표현할 수 있다.First, the face region detector 122 detects a face region from the still image preprocessed by the image pretreatment 110. In one embodiment, the face region detector 122 detects a face region from a preprocessed still image using an open source computer version library such as OpenCV. In this case, the face area detector 122 may express the detected face area as a quadrangle 300 as shown in FIG. 4 on a still image.

다음으로, 얼굴 영역 분리부(124)는, 정지 영상으로부터 미리 정해진 크기의 마스크를 이용하여 얼굴 영역을 분리하여 얼굴 영역을 포함하는 ROI 영상을 생성한다.Next, the face region separator 124 separates the face region from the still image using a mask having a predetermined size to generate an ROI image including the face region.

구체적으로, 얼굴 영역 분리부(124)는, 정지 영상에서 사각형(300) 크기의 영상을 분리해 낸 후, 도 5에 도시된 바와 같이 사각형(300) 보다 미리 정해진 크기만큼 작은 사각형(500)에 내접하는 타원형의 마스크(510) 외부 영역에 포함된 픽셀들의 픽셀값을 일정한 값(예컨대, 모두 0)으로 변경시킴으로써 얼굴 영역(530)과 얼굴 영역(530)을 제외한 영역이 구분되어 있는 ROI 영상(520)을 생성한다.In detail, the face region separator 124 separates the image having the size of the rectangle 300 from the still image, and then, in the rectangle 500 smaller than the rectangle 300 by a predetermined size, as shown in FIG. 5. By changing the pixel values of the pixels included in the outer region of the inscribed oval mask 510 to a constant value (for example, all zeros), ROI images in which regions except for the face region 530 and the face region 530 are divided ( 520).

다시 도 1을 참조하면, 영상 변환부(130)는, ROI 영상(520)을 축소시킨 제1 축소 영상을 생성하거나, ROI 영상(520)을 미리 정해진 값만큼 회전 또는 이동시킨 후 축소 시킨 제2 축소 영상을 생성한다. 일 실시예에 있어서, 상기 영상 변환부는, 미리 정해진 값을 순차적으로 변경시켜 가면서 ROI 영상(520)을 회전 또는 이동 시킴으로써 서로 다른 제2축소 영상을 생성할 수 있다.Referring back to FIG. 1, the image converting unit 130 generates a first reduced image obtained by reducing the ROI image 520 or rotates the ROI image 520 by a predetermined value and then reduces the second image. Create a reduced image. According to an embodiment, the image converter may generate different second reduced images by rotating or moving the ROI image 520 while sequentially changing a predetermined value.

이때, 영상 변환부(130)는 도 6과 같이 영상을 단계적으로 축소시킬 수 있는 가우시안 피라미드 해상도 축소법을 이용하여 ROI 영상(520)을 축소시킬 수 있다. 이를 위해, 영상 변환부(130)는 영상 이동부(132), 영상 축소부(134), 및 영상 복원부(136)를 포함한다.In this case, the image converter 130 may reduce the ROI image 520 by using a Gaussian pyramid resolution reduction method capable of gradually reducing the image as illustrated in FIG. 6. To this end, the image converter 130 includes an image moving unit 132, an image reduction unit 134, and an image restoration unit 136.

먼저, 영상 이동부(132)는 대칭도 산출부(140)가 다양한 위치에서의 ROI 영상(520)에 대해 대칭도를 산출할 수 있도록 하기 위해 ROI 영상(520)을 미리 정해진 값만큼 회전 또는 이동시킨다. 이때, 미리 정해진 값은 랜덤하게 설정되거나, 대칭도 산출부(140)에 의해 산출된 대칭도에 따라 결정될 수 있다.First, the image moving unit 132 rotates or moves the ROI image 520 by a predetermined value so that the symmetry calculator 140 can calculate the symmetry with respect to the ROI image 520 at various positions. Let's do it. In this case, the predetermined value may be randomly set or determined according to the symmetry calculated by the symmetry calculator 140.

예컨대, 제1 위치에서의 ROI 영상에 대해 산출된 제1 대칭도와, ROI 영상을 제1 위치를 기준으로 왼쪽으로 제1 각도만큼 회전시킨 제2 위치에서의 ROI 영상에 대해 산출된 제2 대칭도를 비교한 결과 제2 대칭도가 더 큰 경우, ROI 영상을 왼쪽으로 회전시킬수록 대칭도가 증가한다는 것을 나타낸다.For example, a first symmetry degree calculated for the ROI image at the first position and a second symmetry degree calculated for the ROI image at the second position in which the ROI image is rotated by the first angle to the left with respect to the first position. As a result, when the second symmetry is larger, the symmetry is increased as the ROI image is rotated to the left.

따라서, 영상 이동부(132)는, 제1 위치를 기준으로 상기 제1 각도와 상기 제1 각도의 절반에 해당하는 값을 합한 제2 각도만큼 ROI 영상을 다시 회전시킨 제3 위치에서의 ROI 영상을 생성할 수 있다.Accordingly, the image moving unit 132 rotates the ROI image at a third position again by rotating the ROI image by a second angle obtained by adding up the first angle and a value corresponding to half of the first angle based on the first position. Can be generated.

다음으로, 영상 축소부(134)는, ROI 영상(520)을 가우시안 콘볼루션 마스크를 이용하여 저역 통과 필터링한 후 1/n로 서브 샘플링함으로써 제1 축소 영상을 생성한다. 또한, 영상 축소부(134)는 ROI 영상(520)을 미리 정해진 값만큼 회전 또는 이동시킨 후 가우시안 콘볼루션 마스크를 이용하여 저역 통과 필터링 및 1/n 서브 샘플링을 수행함으로써 제2 축소 영상을 생성한다.Next, the image reduction unit 134 generates a first reduced image by subsampling the ROI image 520 using a Gaussian convolution mask and subsampling at 1 / n. In addition, the image reduction unit 134 rotates or moves the ROI image 520 by a predetermined value and then generates a second reduced image by performing low pass filtering and 1 / n subsampling using a Gaussian convolution mask. .

이때, 영상 축소부(134)는 영상의 이동 및 회전을 위한 영상 복원 작업을 위해 저역 통과 필터링된 영상을 메모리(미도시)에 저장할 수 있다.In this case, the image reduction unit 134 may store the low pass filtered image in a memory (not shown) for image restoration work for moving and rotating the image.

이와 같이, 본 발명이 가우시안 피라미드 해상도 축소법을 이용하여 ROI 영상(520)을 축소시키는 것은 대칭도 산출부(140)의한 대칭도 산출시 연산 과정을 줄이고, ROI 영상(520)에 포함되어 있는 영상 잡음이 대칭도 산출시 반영되는 것을 최소화하기 위한 것이다.As described above, in the present invention, reducing the ROI image 520 by using the Gaussian pyramid resolution reduction method reduces an operation process when calculating the symmetry by the symmetry calculator 140, and includes the image included in the ROI image 520. This is to minimize noise reflected in the symmetry calculation.

다음으로, 영상 복원부(136)는 대칭도 산출부(140)에 의해 대칭도가 산출되면, 라플라시안 콘볼루션 마스크를 통해 ROI 영상(520)을 고역 통과 필터링한 영상과 영상 축소부(134)에 의해 저역 통과 필터링된 영상을 합성하여 ROI 영상을 복원한다.Next, when the symmetry is calculated by the symmetry calculator 140, the image reconstructor 136 performs high pass filtering on the ROI image 520 through the Laplacian convolution mask and the image reduction unit 134. The ROI image is reconstructed by synthesizing the low pass filtered image.

이를 위해 영상 복원부(136)는, 영상 축소부(134)에 의한 제1 축소 영상 및 제2 축소 영상 생성 시, 라플라시안 콘볼루션 마스크를 통해 ROI 영상을 고역 통과 필터링하고, 고역 통과 필터링된 영상을 메모리에 저장할 수 있다.To this end, the image reconstructor 136 performs high pass filtering on the ROI image through the Laplacian convolution mask and generates the high pass filtered image when the first and second reduced images are generated by the image reduction unit 134. Can be stored in memory.

본 발명에서 대칭도 산출부(140)에 의한 대칭도 산출 이후에, 제1 축소 영상 또는 제2 축소 영상으로부터 ROI 영상(520)을 다시 복원하는 것은, 제1 축소 영상 및 제2 축소 영상과 같이 해상도가 낮은 영상을 회전 또는 이동시키게 되면 영상이 손상될 수 있기 때문이다.In the present invention, after the symmetry calculation by the symmetry calculator 140, reconstructing the ROI image 520 from the first reduced image or the second reduced image is performed like the first reduced image and the second reduced image. Rotating or moving an image with a low resolution may damage the image.

상술한 실시예에 있어서는 영상 변환부(130)가 축소 영상의 복원을 위해 영상 복원부(136)를 포함하는 것으로 기재하였지만, 변형된 실시예에 있어서는 ROI 영상(520)을 메모리에 기록하고, ROI 영상(520)의 회전 또는 이동을 위해 ROI 영상을 복원하지 않고 메모리에 기록되어 있는 ROI 영상을 직접 이용하여 회전 또는 이동시킬 수도 있을 것이다. 따라서, 이러한 경우 영상 복원부(136)는 필요하지 않기 때문에 이러한 영상 복원부(136)는 선택적으로 포함될 수 있다.In the above-described embodiment, the image converter 130 is described as including the image restorer 136 to restore the reduced image. However, in the modified embodiment, the ROI image 520 is recorded in the memory and the ROI is modified. The ROI image recorded in the memory may be directly rotated or moved without restoring the ROI image to rotate or move the image 520. Therefore, in this case, since the image restoration unit 136 is not necessary, the image restoration unit 136 may be selectively included.

다음으로 대칭도 산출부(140)는, 영상 변환부(130)에 의해 생성된 제1 축소 영상의 얼굴 영역에 대해 미리 정해진 대칭축을 기준으로 좌측 영역과 우측 영역 간의 대칭도를 산출하여 메모리에 기록한다.Next, the symmetry calculator 140 calculates the symmetry between the left and right regions based on a predetermined symmetry axis with respect to the face region of the first reduced image generated by the image converter 130, and records the symmetry between the left and right regions. do.

이후, 대칭도 산출부(140)는, 제1 축소 영상으로부터 미리 정해진 값만큼 회전 또는 이동된 제2 축소 영상의 얼굴 영역에 대해 대칭도를 다시 산출하고, 제1 축소 영상의 얼굴 영역에 대해 산출된 대칭도보다 제2 축소 영상의 얼굴 영역에 대해 산출된 대칭도가 더 크면 메모리에 기록되어 있는 이전 대칭도를 제2 축소 영상의 얼굴 영역에 대한 대칭도로 갱신한다.Subsequently, the symmetry calculator 140 calculates the symmetry of the face area of the second reduced image rotated or moved by a predetermined value from the first reduced image, and calculates the face area of the first reduced image. If the calculated symmetry for the face area of the second reduced image is greater than the calculated symmetry, the previous symmetry recorded in the memory is updated to the symmetry of the face area of the second reduced image.

대칭도 산출부(140)는, 이후 영상 변환부(130)에 생성된 서로 다른 제2 축소 영상 각각에 대해 순차적으로 대칭도를 산출하여 미리 정해진 횟수만큼 상술한 과정을 반복함으로써 최종 갱신되는 대칭도를 얼굴의 좌우 대칭도로 결정한다.The symmetry degree calculator 140 subsequently calculates a symmetry degree sequentially for each of the second different reduced images generated by the image converter 130, and repeats the above-described process by a predetermined number of times, thereby updating the symmetry degree. Determine the left and right symmetry of the face.

이를 위해 대칭도 산출부(140)는, 포맷 변환부(142) 및 연산부(144)를 포함할 수 있다.To this end, the symmetry calculator 140 may include a format converter 142 and a calculator 144.

먼저, 포맷 변환부(142)는, 도 7에 도시된 바와 같이 ROI 영상(520)에서 미리결정된 대칭축(700)을 기준으로 얼굴 영역(530)의 좌측 영역(710) 및 우측 영역(720) 내에 존재하는 픽셀들의 RGB(Red, Green, Blue) 값을 HSV(Hue, Saturation, Value) 값으로 변환한다.First, as illustrated in FIG. 7, the format converter 142 may be disposed in the left region 710 and the right region 720 of the face region 530 based on a predetermined symmetry axis 700 in the ROI image 520. The RGB (Red, Green, Blue) values of the existing pixels are converted into HSV (Hue, Saturation, Value) values.

이와 같이 포맷 변환부(142)가 픽셀들의 RGB값을 HSV값으로 변환하는 이유는 사람의 피부색에 대해서는 RGB값보다는 HSV값을 이용하여 대칭도를 산출하는 것이 더욱 정확할 수 있기 때문이다.The reason why the format converter 142 converts the RGB values of the pixels into the HSV values is that it is more accurate to calculate the symmetry using the HSV values than the RGB values for the human skin color.

다음으로, 연산부(144)는, 도 7에 도시된 바와 같이, 대칭축(700)을 기준으로 좌측 영역(710) 및 우측 영역(720) 내에서 서로 대응되는 위치에 존재하는 픽셀간의 H에 대한 차이값들의 합, S에 대한 차이값들의 합, 및 V에 대한 차이값을 산술 평균함으로써 대칭도를 산출한다. 이를 각각 수학식으로 표현하면 아래의 수학식 1 내지 4와 같다.Next, as illustrated in FIG. 7, the operation unit 144 may have a difference in H between pixels existing at positions corresponding to each other in the left region 710 and the right region 720 based on the symmetry axis 700. The symmetry is calculated by arithmetically averaging the sum of the values, the sum of the differences for S, and the difference for V. When each of these is expressed as an equation, the following Equations 1 to 4 are given.

Figure pat00001
Figure pat00001

Figure pat00002
Figure pat00002

Figure pat00003
Figure pat00003

Figure pat00004
Figure pat00004

수학식 1 내지 4에서

Figure pat00005
는 각 픽셀의 H에 대한 차이값들의 합을 나타내고,
Figure pat00006
는 각 픽셀들의 S에 대한 차이값을 나타내며,
Figure pat00007
는 각 픽셀의 V에 대한 차이값들의 합을 나타낸다. 또한,
Figure pat00008
는 좌측 영역에 포함된 i,j번째 픽셀의 H값을 나타내고,
Figure pat00009
는 좌측 영역에 포함된 i,j번째 픽셀의 S값을 나타내며,
Figure pat00010
는 좌측 영역에 포함된 i,j번째 픽셀의 H값을 나타낸다. 또한,
Figure pat00011
는 우측영역에 포함된 i,j번째 픽셀의 H값을 나타내고,
Figure pat00012
는 우측영역에 포함된 i,j번째 픽셀의 S값을 나타내며,
Figure pat00013
는 우측영역에 포함된 i,j번째 픽셀의 H값을 나타낸다. 그리고,
Figure pat00014
은 좌측 영역과 우측 영역간의 대칭도를 나타낸다.In Equations 1 to 4
Figure pat00005
Represents the sum of the difference values for H of each pixel,
Figure pat00006
Denotes the difference of S for each pixel,
Figure pat00007
Denotes the sum of difference values for V of each pixel. Also,
Figure pat00008
Denotes the H value of the i, j th pixel included in the left region,
Figure pat00009
Represents the S value of the i, j th pixel included in the left region.
Figure pat00010
Denotes the H value of the i, j th pixel included in the left region. Also,
Figure pat00011
Denotes the H value of the i, j th pixel included in the right region,
Figure pat00012
Denotes the S value of the i, j th pixel included in the right region.
Figure pat00013
Denotes the H value of the i, j th pixel included in the right region. And,
Figure pat00014
Represents the degree of symmetry between the left region and the right region.

이와 같이, 본 발명은 영상 변환부(130) 및 대칭도 산출부(140)를 통해 얼굴 영역이 포함된 ROI 영상을 회전 또는 이동시켜 가면서 얼굴의 좌우 대칭도를 산출하기 때문에 판별 대상이 되는 ROI 영상이 대칭축을 기준으로 정렬되어 있지 않더라도 정확한 대칭도를 산출할 수 있다.As described above, the present invention calculates the left and right symmetry of the face while rotating or moving the ROI image including the face region through the image converter 130 and the symmetry calculator 140, thereby determining the ROI image to be discriminated. Accurate degrees of symmetry can be calculated even if they are not aligned with respect to this axis of symmetry.

상술한 바와 같은 얼굴 좌우 대칭도 산출 장치(100)는, 카메라가 장착되어 있는 핸드폰, 스마트폰, 테블릿 PC, 노트북 등과 같은 휴대 단말기 내에 프로그램이나 어플리케이션 형태로 탑재되어 구동될 수 있다.As described above, the apparatus for calculating the left and right symmetry of the face 100 may be mounted and driven in the form of a program or an application in a portable terminal such as a mobile phone, a smartphone, a tablet PC, a notebook, or the like, on which a camera is mounted.

이하에서는, 도 8 및 도 9를 참조하여 본 발명에 따른 얼굴 좌우 대칭도 산출 방법에 대해 구체적으로 설명한다.Hereinafter, a method of calculating the lateral symmetry of the face according to the present invention will be described in detail with reference to FIGS. 8 and 9.

도 8은 본 발명의 일 실시예에 따른 얼굴 좌우 대칭도 산출 방법을 보여주는 플로우차트이다.8 is a flowchart showing a method of calculating a face left and right symmetry according to an embodiment of the present invention.

먼저, 카메라와 같은 장치로부터 정지 영상을 수신하고(S800), 수신된 정지 영상을 전처리 한다(S810). 정지 영상의 전치리 과정을 도 9를 참조하여 보다 구체적으로 설명한다.First, a still image is received from a device such as a camera (S800), and the received still image is preprocessed (S810). The pretreatment process of the still image will be described in more detail with reference to FIG. 9.

도 9는 본 발명의 일 실시예에 따른 정지 영상의 전처리 과정을 보여주는 플로우차트이다. 도시된 바와 같이, 먼저, 보간 알고리즘(Interpolation)을 이용하여 정지 영상을 해상도를 리사이징한다(S900). 일 실시예에 있어서, 정지 영상을 640*640 크기의 해상도로 리사이징 한다.9 is a flowchart illustrating a preprocessing process of a still image according to an embodiment of the present invention. As shown, first, the resolution of the still image is resized using an interpolation algorithm (S900). In one embodiment, the still image is resized to a resolution of 640 * 640 size.

다음으로, 리사이징된 정지 영상의 픽셀값들 중 최대값과 최소값을 산출하고(S910), 리사이징된 정지 영상의 각 픽셀의 픽셀값이 특정값 이내의 값이 되도록 최대값과 최소값을 이용하여 비선형 매핑을 수행함으로써 리사이징된 정지 영상의 히스토그램을 균등화한다(S920). 이를 통해 리사이징된 정지 영상의 콘트라스트가 향상된다.Next, a maximum value and a minimum value of pixel values of the resized still image are calculated (S910), and nonlinear mapping is performed using the maximum value and the minimum value such that the pixel value of each pixel of the resized still image is within a specific value. By performing the operation, the histogram of the resized still image is equalized (S920). This improves the contrast of the resized still image.

다음으로, 히스토그램 균등화된 정지 영상을 제1 내지 제3 정지 영상으로 복제하고(S930), 그 중 제2 정지 영상을 3*3 라플라시안 콘볼루션 마스크를 이용하여 스무딩(Smoothing) 처리 한다(S940). 여기서, 스무딩은 블러링(Blurring)과 노이즈의 제거를 위해 사용되는 영상 처리기법을 의미한다.Next, the histogram equalized still image is copied to the first to third still images (S930), and the second still image is smoothed using a 3 * 3 Laplacian convolution mask (S940). Here, smoothing means an image processing technique used for blurring and noise removal.

다음으로, 스무딩 처리된 제2 정지 영상과 제3 정지 영상의 차영상을 산출하고(S950), 이후 차영상과 제1 영상을 합산함으로써 윤곽선이 강조된 정지 영상을 생성한다(S960).Next, a difference image between the smoothed second still image and the third still image is calculated (S950), and then, the sum image and the first image are summed to generate a still image with an outline highlighted (S960).

이러한 전처리 과정을 통해 콘트라스트가 향상되고 윤곽선이 강조된 정지 영상을 획득할 수 있다.Through this preprocessing, it is possible to obtain still images with enhanced contrast and emphasis on outlines.

다시 도 8을 참조하면, 전처리된 정지 영상으로부터 얼굴 영역을 검출한다(S820). 일 실시예에 있어서, 얼굴 영역은 OpenCV와 같은 오픈 소스 컴퓨터 버전 라이브러리를 이용하여 검출할 수 있다. 이때, 검출된 얼굴 영역은 정지 영상 상에서 도 3에 도시된 바와 같은 사각형(300)으로 표현될 수 있다.Referring back to FIG. 8, a face region is detected from the preprocessed still image (S820). In one embodiment, the facial region may be detected using an open source computer version library such as OpenCV. In this case, the detected face region may be represented by the rectangle 300 as shown in FIG. 3 on the still image.

다음으로, 정지 영상으로부터 미리 정해진 크기의 마스크를 이용하여 얼굴 영역을 분리하여 얼굴 영역을 포함하는 ROI 영상을 생성한다(S830).Next, a face region is separated from the still image using a mask having a predetermined size to generate an ROI image including the face region (S830).

구체적으로, 상술한 도 5에 도시된 바와 같이, 정지 영상에서 사각형(300) 크기의 영상을 분리해 낸 후, 사각형(300) 보다 미리 정해진 크기만큼 작은 사각형(500)에 내접하는 타원형의 마스크(510)를 이용하여, 마스크(510)의 외부 영역에 포함된 픽셀들의 픽셀값을 일정한 값(예컨대, 모두 0)으로 변경시킴으로써 얼굴 영역과 얼굴 영역을 제외한 영역이 구분되어 있는 ROI 영상을 생성할 수 있다.Specifically, as shown in FIG. 5, an elliptical mask in which an image having a size of a square 300 is separated from a still image, and then inscribed into the square 500 smaller than the square 300 by a predetermined size ( By using the 510, a pixel value of pixels included in an external area of the mask 510 is changed to a constant value (for example, all zeros) to generate an ROI image in which a face area and an area except the face area are divided. have.

다음으로, ROI 영상을 축소시켜 제1 축소 영상을 생성한다(S840). 일 실시예에 있어서, 제1 축소 영상은 가우시안 피라미드 해상도 축소 방법을 이용하여 생성될 수 있다.Next, the ROI image is reduced to generate a first reduced image (S840). In one embodiment, the first reduced image may be generated using a Gaussian pyramid resolution reduction method.

구체적으로, 먼저 ROI 영상을 가우시안 콘볼루션 마스크를 이용하여 저역 통과 필터링하고, 저역 통과 필터링된 ROI 영상을 1/n로 서브 샘플링함으로써 제1 축소 영상을 생성할 수 있다.Specifically, the first reduced image may be generated by first performing low pass filtering on the ROI image using a Gaussian convolution mask and subsampling the low pass filtered ROI image at 1 / n.

다음으로, 제1 축소 영상의 얼굴 영역에 대해 미리 설정된 대칭축을 기준으로 좌측 영역과 우측 영역간의 대칭도를 산출한다(S850). 일 실시예에 있어서, 대칭도는, 상술한 수학식 1 내지 4에 기재된 바와 같이, 대칭축을 기준으로 좌측 영역 및 우측 영역 내에서 서로 대응되는 위치에 존재하는 픽셀간의 H에 대한 차이값들의 합, S에 대한 차이값들의 합, 및 V에 대한 차이값들을 산술 평균함으로써 산출된다.Next, the degree of symmetry between the left region and the right region is calculated based on the symmetry axis preset for the face region of the first reduced image (S850). In one embodiment, the degree of symmetry is a sum of difference values for H between pixels existing at positions corresponding to each other in the left region and the right region with respect to the axis of symmetry, as described in Equations 1 to 4 above, The sum of the differences for S, and the arithmetic mean of the differences for V are calculated.

이를 위해, 각 픽셀들의 RGB값을 HSV값으로 변환하는 과정이 더 포함될 수 있다.To this end, the process of converting the RGB value of each pixel to the HSV value may be further included.

다음으로, 제1 축소 영상이 미리 정해진 값만큼 회전 또는 이동된 제2 축소 영상을 생성한다(S860). 일 실시예에 있어서, 제2 축소 영상은 ROI 영상을 미리 정해진 값만큼 회전 또는 이동 시켜 축소시킴으로써 생성될 수 있다. 이때, 회전 또는 이동 대상이 되는 ROI 영상은 S830에서 생성된 ROI 영상일 수 있지만, 제1 축소 영상으로부터 복원된 ROI 영상일 수 있다.Next, a second reduced image in which the first reduced image is rotated or moved by a predetermined value is generated (S860). In one embodiment, the second reduced image may be generated by rotating or moving the ROI image by a predetermined value to reduce the size. In this case, the ROI image to be rotated or moved may be the ROI image generated in S830 but may be a ROI image reconstructed from the first reduced image.

구체적으로, ROI 영상은, 제1 축소 영상 생성 과정에서 가우시안 콘볼루션 마스크를 통해 생성되는 ROI 영상의 저역 통과 필터링 영상과 라플라시안 콘볼루션 마스크를 통해 생성되는 ROI 영상의 고역 통과 필터링 영상을 합성함으로써 복원될 수 있다.In detail, the ROI image may be reconstructed by synthesizing the low pass filtering image of the ROI image generated through the Gaussian convolution mask and the high pass filtering image of the ROI image generated through the Laplacian convolution mask in the process of generating the first reduced image. Can be.

이와 같이, 축소 영상을 회전 또는 이동 시키지 않고 ROI 영상을 회전 또는 이동시킨 후 이를 기초로 다시 축소 영상을 생성하는 것은 축소 영상과 같이 해상도가 낮은 영상을 회전 또는 이동시키게 되면 영상이 손상될 수 있기 때문이다.As described above, rotating or moving the ROI image without rotating or moving the scaled down image and generating the scaled down image again based on this may cause damage to the image when the lower resolution image is rotated or moved. to be.

이후, 제2 축소 영상의 얼굴 영역에 대해 상기 대칭축을 기준으로 좌측 영역과 우측 영역간의 대칭도를 재산출한다(S870). 대칭도를 산출하는 방법은 상술한 제1 축소 영상의 얼굴 영역에 대한 대칭도 산출과 동일하므로 상세한 설명은 생략한다.Thereafter, the degree of symmetry between the left region and the right region is recalculated with respect to the face region of the second reduced image based on the axis of symmetry (S870). Since the method of calculating the symmetry is the same as calculating the symmetry of the face region of the first reduced image, detailed description thereof will be omitted.

다음으로, 재산출된 대칭도가 이전에 산출된 대칭도 보다 큰지 여부를 판단하여(S875) 재산출된 대칭도가 더 크면 이전에 산출된 대칭도를 재산출된 대칭도로 갱신한다(S880).Next, it is determined whether the recalculated symmetry is greater than the previously calculated symmetry (S875). If the recalculated symmetry is larger, the previously calculated symmetry is updated to the recalculated symmetry (S880).

다음으로, 미리 정해진 반복 회수가 되었는지 여부를 판단하여(S890), 미리 정해진 반복 횟수가 되었으면 최종 갱신된 대칭도를 얼굴 좌우 대칭도로 결정하고(S895), 미리 정해진 반복 횟수가 되지 않았으면 미리 정해진 값을 변경시킨 후(S897), 상기 S860 내지 S890과정을 되풀이한다.Next, it is determined whether a predetermined number of repetitions has been performed (S890), and when a predetermined number of repetitions has been reached, the final updated symmetry is determined as face symmetry (S895). After changing (S897), the process of S860 to S890 is repeated.

한편, S875에서 재산출된 대칭도가 이전에 산출된 대칭도보다 크지 않은 경우 S890으로 분기하여 이후의 과정을 수행한다.On the other hand, if the symmetry degree recalculated in S875 is not greater than the symmetry degree previously calculated, the process branches to S890 to perform the subsequent process.

상술한 얼굴 좌우 대칭도 산출 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터로 판독 가능한 기록 매체에 기록될 수 있다. 이때, 컴퓨터로 판독 가능한 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 한편, 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.The above-described method for calculating the left and right symmetry of the face may be implemented in the form of program instructions that can be executed by various computer means, and recorded on a computer-readable recording medium. In this case, the computer-readable recording medium may include program instructions, data files, data structures, and the like, alone or in combination. On the other hand, the program instructions recorded on the recording medium may be those specially designed and configured for the present invention or may be available to those skilled in the art of computer software.

본 발명이 속하는 기술분야의 당업자는 상술한 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.Those skilled in the art to which the present invention pertains will understand that the above-described present invention can be implemented in other specific forms without changing the technical spirit or essential features.

그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.Therefore, it is to be understood that the embodiments described above are exemplary in all respects and not restrictive. The scope of the present invention is defined by the appended claims rather than the detailed description and all changes or modifications derived from the meaning and scope of the claims and their equivalents are to be construed as being included within the scope of the present invention do.

100: 얼굴의 좌우 대칭도 산출 장치 110: 영상 전처리부
112: 영상 리사이징부 114: 히스토그램 균등화부
116: 언샤프 마스킹 처리부 120: ROI 영상 생성부
122: 얼굴 영역 검출부 124: 얼굴 영역 분리부
130: 영상 변환부 132: 영상 이동부
134: 영상 축소부 136: 영상 복원부
140: 대칭도 산출부 142: 포맷 변환부
144: 연산부
100: left and right symmetry calculator 110: image pre-processing unit
112: image resizing unit 114: histogram equalization unit
116: unsharp masking processing unit 120: ROI image generating unit
122: face region detector 124: face region separator
130: image conversion unit 132: image moving unit
134: image reduction unit 136: image restoration unit
140: symmetry calculation unit 142: format conversion unit
144: arithmetic unit

Claims (16)

얼굴 영역이 포함된 ROI(Region of Interest) 영상을 축소시켜 제1 축소 영상을 생성하는 단계;
상기 제1 축소 영상의 얼굴 영역에 대해 미리 설정된 대칭축을 기준으로 좌측 영역과 우측 영역간의 대칭도를 산출하는 단계;
상기 제1 축소 영상이 미리 정해진 값만큼 회전 또는 이동된 제2 축소 영상의 얼굴 영역에 대해 상기 대칭축을 기준으로 상기 대칭도를 재산출하는 단계; 및
상기 재산출된 대칭도가 이전에 산출된 대칭도 보다 크면 상기 이전에 산출된 대칭도를 상기 재산출된 대칭도로 갱신하여 얼굴의 좌우 대칭도를 결정하는 단계를 포함하는 것을 특징으로 하는 얼굴의 좌우 대칭도 산출 방법.
Generating a first reduced image by reducing a region of interest (ROI) image including a face region;
Calculating a symmetry degree between a left region and a right region on the basis of a preset symmetry axis for the face region of the first reduced image;
Recalculating the symmetry with respect to the face region of the second reduced image in which the first reduced image is rotated or moved by a predetermined value based on the symmetry axis; And
Determining the left and right symmetry of the face by updating the previously calculated symmetry to the recalculated symmetry if the recalculated symmetry is greater than the previously calculated symmetry. Symmetry calculation method.
제1항에 있어서,
상기 미리 정해진 값을 변경시켜 가면서 상기 재산출하는 단계와 상기 결정하는 단계를 소정 횟수 반복하여 최종 갱신되는 대칭도를 상기 얼굴의 좌우 대칭도로 결정하는 것을 특징으로 하는 얼굴의 좌우 대칭도 산출 방법.
The method of claim 1,
And repeating the recalculation step and the determining step a predetermined number of times while changing the predetermined value to determine the last updated symmetry degree as the left and right symmetry degree of the face.
제1항에 있어서,
상기 재산출하는 단계에서, 상기 제2 축소 영상은 상기 ROI 영상을 상기 미리 정해진 값만큼 회전 또는 이동 시켜 축소시킴으로써 생성되는 것을 특징으로 하는 얼굴의 좌우 대칭도 산출 방법.
The method of claim 1,
In the recalculating step, the second reduced image is generated by rotating or moving the ROI image by the predetermined value to reduce the left and right symmetry.
제1항에 있어서, 상기 재산출하는 단계는,
상기 제1 축소 영상로부터 상기 ROI 영상을 복원하는 단계;
상기 복원된 ROI 영상을 상기 미리 정해진 값만큼 회전 또는 이동시켜 축소시킴으로써 상기 제2 축소 영상을 생성하는 단계; 및
상기 제2 축소 영상의 얼굴 영역에 대해 상기 대칭축을 기준으로 상기 대칭도를 재산출하는 단계를 포함하는 것을 특징으로 하는 얼굴의 좌우 대칭도 산출 방법.
The method of claim 1, wherein the retrieving step includes:
Restoring the ROI image from the first reduced image;
Generating the second reduced image by rotating or moving the reconstructed ROI image by the predetermined value to reduce the reconstructed ROI image; And
And recalculating the symmetry degree with respect to the face area of the second reduced image based on the symmetry axis.
제4항에 있어서,
상기 제1 축소 영상을 상기 ROI 영상으로 복원하는 단계에서, 상기 제1 축소영상 생성 과정에서 가우시안 콘볼루션 마스크를 통해 생성되는 상기 ROI 영상의 저역 통과 필터링 영상과 라플라시안 콘볼루션 마스크를 통해 생성되는 상기 ROI 영상의 고역 통과 필터링 영상을 합성하여 상기 ROI 영상을 복원하는 것을 특징으로 하는 얼굴의 좌우 대칭도 산출 방법.
The method of claim 4, wherein
In the step of restoring the first reduced image to the ROI image, the ROI generated by the low pass filtering image and the Laplacian convolution mask of the ROI image generated by the Gaussian convolution mask in the process of generating the first reduced image. And a high pass filtering image of the image to restore the ROI image.
제1항에 있어서,
제1 축소 영상을 생성하는 단계에서, 상기 ROI 영상을 가우시안 콘볼루션 마스크를 이용하여 저역 통과 필터링하고, 상기 저역 통과 필터링된 ROI 영상을 서브 샘플링함으로써 상기 제1 축소 영상을 생성하는 것을 특징으로 하는 얼굴의 좌우 대칭도 산출 방법.
The method of claim 1,
In the generating of the first reduced image, the ROI image is low pass filtered using a Gaussian convolution mask and the first reduced image is generated by subsampling the low pass filtered ROI image. Method of calculating the left and right symmetry.
제1항에 있어서,
상기 대칭도는, 상기 대칭축을 기준으로 상기 좌측 영역 및 우측 영역 내에서 서로 대응되는 위치에 존재하는 픽셀간의 H에 대한 차이값들의 합, S에 대한 차이값들의 합, 및 V에 대한 차이값들을 산술 평균함으로써 산출되는 것을 특징으로 하는 얼굴의 좌우 대칭도 산출 방법.
The method of claim 1,
The degree of symmetry may include a sum of difference values for H, a sum of difference values for S, and a difference value for V between pixels existing at positions corresponding to each other in the left and right regions based on the symmetry axis. A method for calculating the left and right symmetry of a face, which is calculated by performing an arithmetic mean.
제1항에 있어서,
정지 영상의 리사이징(Resizing), 히스토그램 균등화, 및 언샤프 마스킹을 통해 상기 정지 영상을 전처리 하는 단계; 및
상기 전처리된 영상으로부터 상기 얼굴 영역을 검출하고, 상기 얼굴 영역을 포함하는 상기 ROI 영상을 생성하는 단계를 포함하고,
상기 ROI 영상을 생성하는 단계에서, 미리 정해진 형상의 마스크를 이용하여 상기 ROI 영상에서 상기 얼굴 영역과 상기 얼굴 영역을 제외한 영역을 구분하는 것을 특징으로 하는 얼굴의 좌우 대칭도 산출 방법.
The method of claim 1,
Preprocessing the still image through resizing, histogram equalization, and unsharp masking of the still image; And
Detecting the face region from the preprocessed image and generating the ROI image including the face region,
In the generating of the ROI image, a method of calculating left and right symmetry of a face, characterized in that the ROI image is divided into regions excluding the face region and the face region using a mask having a predetermined shape.
얼굴 영역이 포함된 ROI 영상을 축소시켜 제1 축소 영상을 생성하는 단계; 및
상기 제1 축소 영상이 미리 정해진 값만큼 회전 또는 이동된 제2 축소 영상의 얼굴 영역에 대해 미리 설정된 대칭축을 기준으로 좌측 영역과 우측 영역간의 대칭도를 산출하고, 산출된 대칭도를 얼굴의 좌우 대칭도로 결정하는 단계를 포함하는 것을 특징으로 하는 얼굴의 좌우 대칭도 산출 방법.
Generating a first reduced image by reducing an ROI image including a face region; And
Based on a symmetry axis preset for the face area of the second reduced image in which the first reduced image is rotated or moved by a predetermined value, a symmetry degree between the left area and the right area is calculated, and the calculated symmetry is based on left and right symmetry of the face. And a road determining step.
제1항 내지 제9항 중 어느 하나의 항에 기재된 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.A computer-readable recording medium having recorded thereon a program for performing the method according to any one of claims 1 to 9. 정지 영상을 전처리하는 영상 전처리부;
상기 전처리된 정지 영상으로부터 얼굴 영역을 포함하는 ROI 영상을 생성하는 ROI 영상 생성부;
가우시안 피라미드 해상도 축소법을 이용하여 상기 ROI 영상을 축소시킴으로써 제1 축소 영상을 생성하고, 상기 ROI 영상을 미리 정해진 값만큼 회전 또는 이동시켜 축소시킴으로써 제2 축소 영상을 생성하는 영상 변환부; 및
상기 제1 축소 영상의 얼굴 영역에 대해 미리 정해진 대칭축을 기준으로 좌측 영역과 우측 영역 간의 대칭도를 산출하고, 이후 제2 축소 영상의 얼굴 영역에 대해 상기 대칭축을 기준으로 상기 대칭도를 재산출하여 재산출된 대칭도가 이전에 산출된 대칭도 보다 크면 상기 이전에 산출된 대칭도를 상기 재산출된 대칭도로 갱신하는 대칭도 산출부를 포함하는 것을 특징으로 하는 얼굴의 좌우 대칭도 산출 장치.
An image preprocessor configured to preprocess still images;
A ROI image generator configured to generate a ROI image including a face region from the preprocessed still image;
An image converter for generating a first reduced image by reducing the ROI image by using a Gaussian pyramid resolution reduction method and generating a second reduced image by rotating or moving the ROI image by a predetermined value; And
The symmetry degree between the left region and the right region is calculated based on a predetermined symmetry axis with respect to the face region of the first reduced image, and then the symmetry degree is recalculated based on the symmetry axis with respect to the face region of the second reduced image. And a symmetry calculator for updating the previously calculated symmetry degree to the recalculated symmetry if the recalculated symmetry is greater than the previously calculated symmetry.
제11항에 있어서,
상기 영상 변환부는, 상기 미리 정해진 값을 변경시켜 가면서 서로 다른 제2축소 영상을 순차적으로 생성하고,
상기 대칭도 산출부는, 상기 서로 다른 제2 축소 영상 각각에 대해 순차적으로 대칭도를 재산출하여 이전에 산출된 대칭도보다 더 큰 대칭도로 갱신함으로써 최종 갱신되는 대칭도를 상기 얼굴의 좌우 대칭도로 결정하는 것을 특징으로 하는 얼굴의 좌우 대칭도 산출 장치.
The method of claim 11,
The image converting unit sequentially generates different second reduced images while changing the predetermined value,
The symmetry calculator calculates a symmetry degree sequentially for each of the different second reduced images, and updates the symmetry degree that is greater than the previously calculated symmetry degree to determine the last updated symmetry degree as the left and right symmetry degree. A device for calculating left and right symmetry of a face, characterized in that
제11항에 있어서, 상기 영상 변환부는,
상기 ROI 영상을 미리 정해진 값만큼 회전 또는 이동 시키는 영상 이동부;
상기 ROI 영상 또는 상기 미리 정해진 값만큼 회전 또는 이동된 ROI 영상이 가우시안 콘볼루션 마스크를 통해 저역 통과 필터링된 영상을 서브 샘플링하여 상기 제1 또는 제2 축소 영상을 생성하는 영상 축소부; 및
라플라시안 콘볼루션 마스크를 통해 상기 ROI 영상이 고역 통과 필터링된 영상과 상기 저역 통과 필터링된 영상을 합성하여 상기 ROI 영상을 복원하는 영상 복원부를 포함하는 것을 특징으로 하는 얼굴의 좌우 대칭도 산출 장치.
The method of claim 11, wherein the image converter,
An image moving unit which rotates or moves the ROI image by a predetermined value;
An image reduction unit generating the first or second reduced image by subsampling the ROI image or the ROI image rotated or shifted by the predetermined value by using a Gaussian convolution mask to subsample the image; And
And an image reconstructor configured to reconstruct the ROI image by synthesizing the high pass filtered image and the low pass filtered image through the Laplacian convolution mask.
제11항에 있어서, 상기 대칭도 산출부는,
상기 좌측 영역 및 우측 영역 내에 존재하는 픽셀들의 RGB 값을 HSV로 변환하는 포맷 변환부; 및
상기 대칭축을 기준으로 상기 좌측 영역 및 우측 영역 내에서 서로 대응되는 위치에 존재하는 픽셀간의 H에 대한 차이값들의 합, S에 대한 차이값들의 합, 및 V에 대한 차이값을 산술 평균함으로써 상기 대칭도를 산출하는 연산부를 포함하는 것을 특징으로 하는 얼굴의 좌우 대칭도 산출 장치.
The method of claim 11, wherein the symmetry calculation unit,
A format converter for converting RGB values of pixels existing in the left region and the right region into HSV; And
The symmetry by arithmetically averaging the sum of difference values for H, the sum of difference values for S, and the difference values for V between pixels existing at positions corresponding to each other in the left and right regions with respect to the symmetry axis. A device for calculating the left and right symmetry of a face, characterized in that it comprises a calculation unit for calculating a degree.
제11항에 있어서,
상기 영상 전처리부는, 상기 정지 영상의 해상도를 조절하는 영상 리사이징부;
상기 리사이징된 정지 영상의 히스토그램을 균등화하여 상기 리사이징된 정지영상의 콘트라스트를 향상시키는 히스토그램 균등화부; 및
상기 히스토그램 균등화된 정지 영상을 언샤프 마스킹(Unsharp Masking) 처리하여 윤곽선을 강조하는 것을 언샤프 마스킹 처리부를 포함하는 것을 특징으로 하는 얼굴의 좌우 대칭도 산출 장치.
The method of claim 11,
The image preprocessor includes: an image resizing unit configured to adjust the resolution of the still image;
A histogram equalizer which equalizes the histogram of the resized still image to improve contrast of the resized still image; And
And an unsharp masking processing unit for unsharp masking to emphasize the contour by unsharp masking the histogram equalized still image.
제11항에 있어서, 상기 ROI 영상 생성부는,
상기 전처리된 영상으로부터 상기 얼굴 영역을 검출하는 얼굴 영역 검출부; 및
미리 정해진 형상의 마스크를 이용하여 상기 정지 영상으로부터 상기 얼굴 영역을 분리하여 상기 얼굴 영역을 포함하는 ROI 영상을 생성하는 얼굴 영역 분리부를 포함하며,
상기 얼굴 영역 분리부는, 상기 마스크 외부의 영역에 포함된 픽셀들의 픽셀값을 미리 정해진 값으로 변경시킴으로써 상기 얼굴 영역과 얼굴 영역을 제외한 영역을 구분하는 것을 특징으로 하는 얼굴의 좌우 대칭도 산출 장치.
The method of claim 11, wherein the ROI image generating unit,
A face region detector detecting the face region from the preprocessed image; And
A face region separator configured to separate the face region from the still image by using a mask having a predetermined shape to generate a ROI image including the face region,
And the face region separating unit divides the face region and the region excluding the face region by changing pixel values of pixels included in an area outside the mask to a predetermined value.
KR1020100139367A 2010-12-30 2010-12-30 Apparatus and Method for Determining Symmetry of Face Active KR101223857B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100139367A KR101223857B1 (en) 2010-12-30 2010-12-30 Apparatus and Method for Determining Symmetry of Face

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100139367A KR101223857B1 (en) 2010-12-30 2010-12-30 Apparatus and Method for Determining Symmetry of Face

Publications (2)

Publication Number Publication Date
KR20120077422A true KR20120077422A (en) 2012-07-10
KR101223857B1 KR101223857B1 (en) 2013-01-17

Family

ID=46710911

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100139367A Active KR101223857B1 (en) 2010-12-30 2010-12-30 Apparatus and Method for Determining Symmetry of Face

Country Status (1)

Country Link
KR (1) KR101223857B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114283156A (en) * 2021-12-02 2022-04-05 珠海移科智能科技有限公司 Method and device for removing document image color and handwriting

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102023492B1 (en) * 2018-05-30 2019-09-20 비앤피이노베이션 주식회사 Smart helmet and method for image processing and transmitting for protecting privacy

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100464079B1 (en) * 2002-01-16 2004-12-30 엘지전자 주식회사 Face detection and tracking of video communication system
KR100559471B1 (en) * 2003-12-17 2006-03-10 한국전자통신연구원 Face Detection System and Method Using Symmetry Axis

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114283156A (en) * 2021-12-02 2022-04-05 珠海移科智能科技有限公司 Method and device for removing document image color and handwriting
CN114283156B (en) * 2021-12-02 2024-03-05 珠海移科智能科技有限公司 Method and device for removing document image color and handwriting

Also Published As

Publication number Publication date
KR101223857B1 (en) 2013-01-17

Similar Documents

Publication Publication Date Title
CN108604293B (en) Apparatus and method for improving image quality
Yang et al. Fast image super-resolution based on in-place example regression
CN111199197B (en) Image extraction method and processing equipment for face recognition
US7747045B2 (en) Method and apparatus for diffusion based illumination normalization
KR102805539B1 (en) Apparatus and method for extracting regioin of persion in image and system using the method
US20140079319A1 (en) Methods for enhancing images and apparatuses using the same
KR20150117646A (en) Method and apparatus for image enhancement and edge verification using at least one additional image
EP3644599B1 (en) Video processing method and apparatus, electronic device, and storage medium
WO2016101883A1 (en) Method for face beautification in real-time video and electronic equipment
AU2013206597A1 (en) Depth constrained superpixel-based depth map refinement
Xie et al. Single depth image super resolution and denoising via coupled dictionary learning with local constraints and shock filtering
EP2984621A1 (en) Near infrared guided image denoising
JP4480958B2 (en) Digital image creation method
JP2008181520A (en) System and method for reconstructing restored facial image from video
Luo et al. Time-travel rephotography
US11798227B2 (en) Image processing apparatus and image processing method
US12198306B2 (en) Content based image processing
US11238302B2 (en) Method and an apparatus for performing object illumination manipulation on an image
CN107564085B (en) Image warping processing method, device, computing device and computer storage medium
JP6068895B2 (en) Image processing apparatus and program
KR101223857B1 (en) Apparatus and Method for Determining Symmetry of Face
JP6068896B2 (en) Image processing apparatus and program
CN113239867B (en) A Face Recognition Method Based on Mask Area Adaptive Enhancement for Illumination Changes
WO2022258013A1 (en) Image processing method and apparatus, electronic device and readable storage medium
CN114898128A (en) Image similarity comparison method, storage medium and computer

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20101230

PA0201 Request for examination
PG1501 Laying open of application
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20120730

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20121031

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20130111

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20130111

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20160112

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20160112

Start annual number: 4

End annual number: 4

LAPS Lapse due to unpaid annual fee