KR20120077422A - Apparatus and method for determining symmetry of face - Google Patents
Apparatus and method for determining symmetry of face Download PDFInfo
- Publication number
- KR20120077422A KR20120077422A KR1020100139367A KR20100139367A KR20120077422A KR 20120077422 A KR20120077422 A KR 20120077422A KR 1020100139367 A KR1020100139367 A KR 1020100139367A KR 20100139367 A KR20100139367 A KR 20100139367A KR 20120077422 A KR20120077422 A KR 20120077422A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- symmetry
- face
- roi
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000000873 masking effect Effects 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000003796 beauty Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/68—Analysis of geometric attributes of symmetry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
얼굴을 포함하는 영상으로부터 얼굴을 검출하여 얼굴의 좌우 대칭도를 산출할 수 있는 본 발명의 일 측면에 따른 얼굴의 좌우 대칭도 산출 방법은, 얼굴 영역이 포함된 ROI(Region of Interest) 영상을 축소시켜 제1 축소 영상을 생성하는 단계; 상기 제1 축소 영상의 얼굴 영역에 대해 미리 설정된 대칭축을 기준으로 좌측 영역과 우측 영역간의 대칭도를 산출하는 단계; 상기 제1 축소 영상이 미리 정해진 값만큼 회전 또는 이동된 제2 축소 영상의 얼굴 영역에 대해 상기 대칭축을 기준으로 상기 대칭도를 재산출하는 단계; 및 상기 재산출된 대칭도가 이전에 산출된 대칭도 보다 크면 상기 이전에 산출된 대칭도를 상기 재산출된 대칭도로 갱신하여 얼굴의 좌우 대칭도를 결정하는 단계를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, a method for calculating a left-right symmetry of a face by detecting a face from an image including a face includes reducing a region of interest (ROI) image including a face area. Generating a first reduced image; Calculating a symmetry degree between a left region and a right region on the basis of a preset symmetry axis for the face region of the first reduced image; Recalculating the symmetry with respect to the face region of the second reduced image in which the first reduced image is rotated or moved by a predetermined value based on the symmetry axis; And determining the left and right symmetry of the face by updating the previously calculated symmetry to the recalculated symmetry if the recalculated symmetry is greater than the previously calculated symmetry.
Description
본 발명은 얼굴 인식에 관한 것으로, 보다 구체적으로 얼굴의 좌우 대칭도를 산출할 수 있는 방법 및 장치에 관한 것이다.The present invention relates to face recognition, and more particularly, to a method and an apparatus capable of calculating the symmetry of a face.
카메라(PC카메라, 휴대폰 카메라, 및 CCD 카메라 등) 및 영상처리 기술의 급진적인 발전에 따라 카메라로부터 입력되는 영상에서 얼굴을 검출하고, 검출된 얼굴을 이용하여 게임이나 보안 시스템 등에 이용할 수 있도록 하는 프로그램들이 계발되고 있다.Cameras (PC cameras, mobile phone cameras, CCD cameras, etc.) and the development of image processing technology in accordance with the radical development of the detection of the face from the image input from the camera, the program to be used for games or security systems using the detected face Are being developed.
특히, 최근에는 스마트폰이나 테블릿 PC 등과 같이 고성능의 카메라가 장착된 휴대 단말기가 등장함에 따라 휴대 단말기를 이용하여 영상을 촬영하고, 촬영된 영상으로부터 검출되는 얼굴을 이용하여 다양한 기능을 수행할 수 있는 어플리케이션들도 계발되고 있다.In particular, as a mobile terminal equipped with a high-performance camera such as a smartphone or a tablet PC has recently appeared, images can be taken using the portable terminal, and various functions can be performed using a face detected from the captured image. Some applications are being developed.
한편, 최근 미용에 대한 관심이 급증하면서 얼굴의 좌우 대칭도(미인도)에 대한 관심이 증가되고 있지만, 상술한 바와 같은 기존의 프로그램이나 어플리케이션들은 얼굴을 인식하는 것에 주로 초점이 맞추어져 있었을 뿐, 인식된 얼굴을 이용하여 얼굴의 좌우 대칭도를 판단할 수는 없었다.Meanwhile, as interest in beauty has increased recently, interest in the symmetry of the face (india) has increased, but the existing programs and applications described above were mainly focused on face recognition. The symmetry of the face could not be determined using the face.
따라서, 종래에는, 얼굴의 좌우 대칭을 판단할 수 있도록 눈금이 매겨진 곡선형 특수자를 판단 대상이 되는 실제 얼굴에 위치시켜 눈, 코, 입, 또는 눈썹 등과 같은 얼굴 주요부위의 위치 및 크기 등을 측정함으로써 얼굴의 좌우 대칭도를 산출할 수 밖에 없었다.Therefore, conventionally, the position and size of major parts of the face, such as eyes, nose, mouth, or eyebrows, are measured by placing the curved special person, which is scaled to determine the symmetry of the face, on the actual face to be judged. By doing so, the left and right symmetry of the face was inevitably calculated.
이와 같이, 종래에는 얼굴의 좌우 대칭도를 판단함에 있어서, 특수자의 물리적인 접촉위치와 시각적인 측정오차에 따라 얼굴의 좌우 대칭도가 달라질 수 있기 때문에 산출된 얼굴의 좌우 대칭도에 대한 정확성을 담보할 수 없다는 문제점이 있다.As described above, in determining the left and right symmetry of the face, since the right and left symmetry of the face may vary according to the physical contact position of the special person and the visual measurement error, the accuracy of the calculated left and right symmetry is guaranteed. The problem is that you can't.
본 발명은 상술한 문제점을 해결하기 위한 것으로서, 얼굴을 포함하는 영상으로부터 얼굴을 검출하여 얼굴의 좌우 대칭도를 산출할 수 있는 얼굴의 좌우 대칭도 산출 방법 및 장치를 제공하는 것을 그 기술적 과제로 한다.Disclosure of Invention The present invention has been made in view of the above-described problems, and it is an object of the present invention to provide a method and apparatus for calculating a left-right symmetry of a face that can detect a face from an image including the face and calculate a left-right symmetry of the face. .
또한, 본 발명은 대칭축을 기준으로 정렬되어 있지 않은 영상에 포함되어 있는 얼굴의 좌우 대칭도를 산출할 수 있는 얼굴의 좌우 대칭도 산출 방법 및 장치를 제공하는 것을 다른 기술적 과제로 한다.Another object of the present invention is to provide a method and apparatus for calculating a left and right symmetry of a face capable of calculating the left and right symmetry of a face included in an image that is not aligned based on the symmetry axis.
상술한 목적을 달성하기 위한 본 발명의 일 측면에 따른 얼굴의 좌우 대칭도 산출 방법은, 얼굴 영역이 포함된 ROI(Region of Interest) 영상을 축소시켜 제1 축소 영상을 생성하는 단계; 상기 제1 축소 영상의 얼굴 영역에 대해 미리 설정된 대칭축을 기준으로 좌측 영역과 우측 영역간의 대칭도를 산출하는 단계; 상기 제1 축소 영상이 미리 정해진 값만큼 회전 또는 이동된 제2 축소 영상의 얼굴 영역에 대해 상기 대칭축을 기준으로 상기 대칭도를 재산출하는 단계; 및 상기 재산출된 대칭도가 이전에 산출된 대칭도 보다 크면 상기 이전에 산출된 대칭도를 상기 재산출된 대칭도로 갱신하여 얼굴의 좌우 대칭도를 결정하는 단계를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a method of calculating a left and right symmetry of a face, the method including: generating a first reduced image by reducing a region of interest (ROI) image including a face region; Calculating a symmetry degree between a left region and a right region on the basis of a preset symmetry axis for the face region of the first reduced image; Recalculating the symmetry with respect to the face region of the second reduced image in which the first reduced image is rotated or moved by a predetermined value based on the symmetry axis; And determining the left and right symmetry of the face by updating the previously calculated symmetry to the recalculated symmetry if the recalculated symmetry is greater than the previously calculated symmetry.
상술한 목적을 달성하기 위한 본 발명의 다른 측면에 따른 얼굴의 좌우 대칭도 산출 방법은, 얼굴 영역이 포함된 ROI 영상을 축소시켜 제1 축소 영상을 생성하는 단계; 및 상기 제1 축소 영상이 미리 정해진 값만큼 회전 또는 이동된 제2 축소 영상의 얼굴 영역에 대해 미리 설정된 대칭축을 기준으로 좌측 영역과 우측 영역간의 대칭도를 산출하고, 산출된 대칭도를 얼굴의 좌우 대칭도로 결정하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a method of calculating a symmetry of a face, the method including: generating a first reduced image by reducing an ROI image including a face region; And calculating a symmetry degree between a left region and a right region based on a symmetry axis preset for a face region of the second reduced image in which the first reduced image is rotated or moved by a predetermined value, and calculates the symmetry degree based on the left and right sides of the face. Determining the degree of symmetry.
상술한 목적을 달성하기 위한 본 발명의 또 다른 측면에 따른 얼굴의 좌우 대칭도 산출 장치는, 정지 영상을 전처리하는 영상 전처리부; 상기 전처리된 정지 영상으로부터 얼굴 영역을 포함하는 ROI 영상을 생성하는 ROI 영상 생성부; 가우시안 피라미드 해상도 축소법을 이용하여 상기 ROI 영상을 축소시킴으로써 제1 축소 영상을 생성하고, 상기 ROI 영상을 미리 정해진 값만큼 회전 또는 이동시켜 축소시킴으로써 제2 축소 영상을 생성하는 영상 변환부; 및 상기 제1 축소 영상의 얼굴 영역에 대해 미리 정해진 대칭축을 기준으로 좌측 영역과 우측 영역 간의 대칭도를 산출하고, 이후 제2 축소 영상의 얼굴 영역에 대해 상기 대칭축을 기준으로 상기 대칭도를 재산출하여 재산출된 대칭도가 이전에 산출된 대칭도 보다 크면 상기 이전에 산출된 대칭도를 상기 재산출된 대칭도로 갱신하는 대칭도 산출부를 포함하는 것을 특징으로 한다. According to still another aspect of the present invention, there is provided an apparatus for calculating left and right symmetry of a face, including: an image preprocessor configured to preprocess a still image; A ROI image generator configured to generate a ROI image including a face region from the preprocessed still image; An image converter for generating a first reduced image by reducing the ROI image by using a Gaussian pyramid resolution reduction method and generating a second reduced image by rotating or moving the ROI image by a predetermined value; And calculating a symmetry degree between a left region and a right region based on a predetermined symmetry axis with respect to the face region of the first reduced image, and then regenerating the symmetry degree based on the symmetry axis with respect to the face region of the second reduced image. If the recalculated symmetry is greater than the previously calculated symmetry, characterized in that it comprises a symmetry calculator for updating the previously calculated symmetry to the recalculated symmetry.
본 발명에 따르면, 정지 영상에서 검출되는 얼굴에서 영상 처리 기법을 이용하여 얼굴의 좌우 대칭도를 산출하기 때문에 보다 대칭도의 정확성을 향상시킬 수 있다는 효과가 있다.According to the present invention, since the left and right symmetry of the face is calculated using the image processing technique in the face detected in the still image, the accuracy of the symmetry can be improved.
또한, 본 발명은 얼굴이 포함된 영상을 회전 또는 이동시켜가면서 얼굴의 좌우 대칭도를 산출하기 때문에 판별 대상이 되는 영상이 대칭축을 기준으로 정렬되어 있지 않더라도 정확한 대칭도를 산출할 수 있다는 효과가 있다.In addition, the present invention calculates the symmetry of the face while rotating or moving the image including the face, so that the accurate symmetry can be calculated even if the image to be discriminated is not aligned with respect to the symmetry axis. .
도 1은 본 발명의 일 실시예에 따른 얼굴의 좌우 대칭도 산출 장치의 구성을 개략적으로 보여주는 도면.
도 2는 도 1에 도시된 언샤프 마스킹 처리부에 의해 수행되는 언샤프 마스킹 처리 과정을 보여주는 도면.
도 3은 언샤프 마스킹 처리 과정에 이용되는 마스크의 예를 보여주는 도면.
도 4는 정지 영상으로부터 검출된 얼굴 영역을 보여주는 도면.
도 5는 얼굴 영역을 포함하는 ROI 영상을 보여주는 도면.
도 6은 가우시안 피라미드 해상도 축소법의 개념을 개략적으로 보여주는 도면.
도 7은 얼굴 영역을 포함하는 축소 영상에서 대칭도를 산출하는 방법을 개략적으로 보여주는 도면.
도 8은 본 발명의 일 실시예에 따른 얼굴의 좌우 대칭도 산출 방법을 보여주는 플로우차트.
도 9는 도 8에 도시된 영상 전처리 과정을 보여주는 플로우차트.1 is a view schematically showing the configuration of the device for calculating the left and right symmetry of the face according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating an unsharp masking process performed by the unsharp masking processor shown in FIG. 1. FIG.
3 shows an example of a mask used in an unsharp masking process;
4 is a diagram showing a face region detected from a still image.
5 illustrates an ROI image including a face region.
6 schematically illustrates the concept of Gaussian pyramid resolution reduction.
7 is a diagram schematically illustrating a method of calculating symmetry in a reduced image including a face region.
8 is a flowchart illustrating a method for calculating left and right symmetry of a face according to an embodiment of the present invention.
9 is a flowchart showing an image preprocessing process illustrated in FIG. 8.
이하, 첨부되는 도면을 참고하여 본 발명의 실시예들에 대해 상세히 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 얼굴의 좌우 대칭도 산출 장치의 구성을 개략적으로 보여주는 도면이다.1 is a view schematically showing the configuration of the device for calculating the left and right symmetry of the face according to an embodiment of the present invention.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 얼굴의 좌우 대칭도 산출 장치(100)는, 영상 전처리부(110), ROI 영상 생성부(120), 영상 변환부(130), 및 대칭도 산출부(140)를 포함한다.As shown in FIG. 1, the
영상 전처리부(110)는 정지 영상에 대하여 영상조명 및 영상 잡음 등의 영향을 경감시키기 위해 전처리(Preprocessing)를 수행하는 것으로서, 도 1에 도시된 바와 같이 영상 리사이징부(112), 히스토그램 균등화부(114), 및 언샤프 마스킹 처리부(116)를 포함한다.The
먼저, 영상 리사이징부(112)는, 보간 알고리즘(Interpolation)을 이용하여 정지 영상의 해상도를 조절한다. 일 실시예에 있어서, 영사 리사이징부(112)는 정지 영상을 640*640 크기의 해상도로 리사이징 할 수 있다.First, the
한편, 영상 리사이징부(112)는 리사이징 대상이 되는 영상을 카메라(미도시)로부터 직접 획득할 수 있다.The
다음으로, 히스토그램 균등화부(114)는 리사이징된 정지 영상의 콘트라스트(Contrast)를 향상시키기 위해 리사이징된 정지 영상의 히스토그램을 균등화한다.Next, the
구체적으로, 히스토그램 균등화부(114)는 리사이징된 정지 영상의 픽셀값들 중 최대값과 최소값을 산출하고, 리사이징된 정지 영상의 각 픽셀의 픽셀값이 특정값 이내의 값이 되도록 최대값과 최소값을 이용하여 비선형 매핑(Mapping)을 수행함으로써 리사이징된 정지 영상의 히스토그램을 균등화한다. 이를 통해 리사이징된 정지 영상의 콘트라스트가 향상된다.Specifically, the
다음으로, 언샤프 마스킹 처리부(116)는, 히스토그램 균등화된 정지 영상을 보존하면서 윤곽선을 강조한 영상을 획득하기 위해, 히스토그램 균등화된 정지 영상을 언샤프 마스킹(Unsharp Masking) 처리한다.Next, the unsharp
구체적으로, 언샤프 마스킹 처리부(116)는, 도 2에 도시된 바와 같이 히스토그램 균등화된 정지 영상을 3개(이하, '제1 내지 제3 정지 영상'이라 함)로 복제하고, 그 중 제2 정지 영상을 도 3에 도시된 바와 같은 3*3 라플라시안 콘볼루션 마스크를 이용하여 스무딩(Smoothing) 처리 한다. 여기서, 스무딩은 블러링(Blurring)과 노이즈의 제거를 위해 사용되는 영상 처리기법을 의미한다.Specifically, the unsharp
다음으로, 언샤프 마스킹 처리부(116)는, 스무딩 처리된 제2 정지 영상과 제3 정지 영상의 차영상을 산출하고, 이후 차영상과 제1 영상을 합산함으로써 윤곽선이 강조된 정지 영상을 생성한다.Next, the unsharp
다시 도 1을 참조하면, ROI 영상 생성부(120)는 영상 전처리부(110)에 의해 전처리된 정지 영상으로부터 얼굴 영역을 포함하는 ROI(Region Of Interest) 영상을 생성한다. 이러한 ROI 영상 생성부(120)는 도 1에 도시된 바와 같이, 얼굴 영역 검출부(122) 및 얼굴 영역 분리부(124)를 포함한다.Referring back to FIG. 1, the
먼저, 얼굴 영역 검출부(122)는, 영상 전치리부(110)에 의해 전처리된 정지 영상으로부터 얼굴 영역을 검출한다. 일 실시예에 있어서, 얼굴 영역 검출부(122)는 OpenCV와 같은 오픈소스 컴퓨터 버전 라이브러리를 이용하여 전처리된 정지 영상으로부터 얼굴 영역을 검출한다. 이때, 얼굴 영역 검출부(122)는 검출된 얼굴 영역을 정지 영상 상에서 도 4에 도시된 바와 같은 사각형(300)으로 표현할 수 있다.First, the
다음으로, 얼굴 영역 분리부(124)는, 정지 영상으로부터 미리 정해진 크기의 마스크를 이용하여 얼굴 영역을 분리하여 얼굴 영역을 포함하는 ROI 영상을 생성한다.Next, the
구체적으로, 얼굴 영역 분리부(124)는, 정지 영상에서 사각형(300) 크기의 영상을 분리해 낸 후, 도 5에 도시된 바와 같이 사각형(300) 보다 미리 정해진 크기만큼 작은 사각형(500)에 내접하는 타원형의 마스크(510) 외부 영역에 포함된 픽셀들의 픽셀값을 일정한 값(예컨대, 모두 0)으로 변경시킴으로써 얼굴 영역(530)과 얼굴 영역(530)을 제외한 영역이 구분되어 있는 ROI 영상(520)을 생성한다.In detail, the
다시 도 1을 참조하면, 영상 변환부(130)는, ROI 영상(520)을 축소시킨 제1 축소 영상을 생성하거나, ROI 영상(520)을 미리 정해진 값만큼 회전 또는 이동시킨 후 축소 시킨 제2 축소 영상을 생성한다. 일 실시예에 있어서, 상기 영상 변환부는, 미리 정해진 값을 순차적으로 변경시켜 가면서 ROI 영상(520)을 회전 또는 이동 시킴으로써 서로 다른 제2축소 영상을 생성할 수 있다.Referring back to FIG. 1, the
이때, 영상 변환부(130)는 도 6과 같이 영상을 단계적으로 축소시킬 수 있는 가우시안 피라미드 해상도 축소법을 이용하여 ROI 영상(520)을 축소시킬 수 있다. 이를 위해, 영상 변환부(130)는 영상 이동부(132), 영상 축소부(134), 및 영상 복원부(136)를 포함한다.In this case, the
먼저, 영상 이동부(132)는 대칭도 산출부(140)가 다양한 위치에서의 ROI 영상(520)에 대해 대칭도를 산출할 수 있도록 하기 위해 ROI 영상(520)을 미리 정해진 값만큼 회전 또는 이동시킨다. 이때, 미리 정해진 값은 랜덤하게 설정되거나, 대칭도 산출부(140)에 의해 산출된 대칭도에 따라 결정될 수 있다.First, the
예컨대, 제1 위치에서의 ROI 영상에 대해 산출된 제1 대칭도와, ROI 영상을 제1 위치를 기준으로 왼쪽으로 제1 각도만큼 회전시킨 제2 위치에서의 ROI 영상에 대해 산출된 제2 대칭도를 비교한 결과 제2 대칭도가 더 큰 경우, ROI 영상을 왼쪽으로 회전시킬수록 대칭도가 증가한다는 것을 나타낸다.For example, a first symmetry degree calculated for the ROI image at the first position and a second symmetry degree calculated for the ROI image at the second position in which the ROI image is rotated by the first angle to the left with respect to the first position. As a result, when the second symmetry is larger, the symmetry is increased as the ROI image is rotated to the left.
따라서, 영상 이동부(132)는, 제1 위치를 기준으로 상기 제1 각도와 상기 제1 각도의 절반에 해당하는 값을 합한 제2 각도만큼 ROI 영상을 다시 회전시킨 제3 위치에서의 ROI 영상을 생성할 수 있다.Accordingly, the
다음으로, 영상 축소부(134)는, ROI 영상(520)을 가우시안 콘볼루션 마스크를 이용하여 저역 통과 필터링한 후 1/n로 서브 샘플링함으로써 제1 축소 영상을 생성한다. 또한, 영상 축소부(134)는 ROI 영상(520)을 미리 정해진 값만큼 회전 또는 이동시킨 후 가우시안 콘볼루션 마스크를 이용하여 저역 통과 필터링 및 1/n 서브 샘플링을 수행함으로써 제2 축소 영상을 생성한다.Next, the
이때, 영상 축소부(134)는 영상의 이동 및 회전을 위한 영상 복원 작업을 위해 저역 통과 필터링된 영상을 메모리(미도시)에 저장할 수 있다.In this case, the
이와 같이, 본 발명이 가우시안 피라미드 해상도 축소법을 이용하여 ROI 영상(520)을 축소시키는 것은 대칭도 산출부(140)의한 대칭도 산출시 연산 과정을 줄이고, ROI 영상(520)에 포함되어 있는 영상 잡음이 대칭도 산출시 반영되는 것을 최소화하기 위한 것이다.As described above, in the present invention, reducing the
다음으로, 영상 복원부(136)는 대칭도 산출부(140)에 의해 대칭도가 산출되면, 라플라시안 콘볼루션 마스크를 통해 ROI 영상(520)을 고역 통과 필터링한 영상과 영상 축소부(134)에 의해 저역 통과 필터링된 영상을 합성하여 ROI 영상을 복원한다.Next, when the symmetry is calculated by the
이를 위해 영상 복원부(136)는, 영상 축소부(134)에 의한 제1 축소 영상 및 제2 축소 영상 생성 시, 라플라시안 콘볼루션 마스크를 통해 ROI 영상을 고역 통과 필터링하고, 고역 통과 필터링된 영상을 메모리에 저장할 수 있다.To this end, the
본 발명에서 대칭도 산출부(140)에 의한 대칭도 산출 이후에, 제1 축소 영상 또는 제2 축소 영상으로부터 ROI 영상(520)을 다시 복원하는 것은, 제1 축소 영상 및 제2 축소 영상과 같이 해상도가 낮은 영상을 회전 또는 이동시키게 되면 영상이 손상될 수 있기 때문이다.In the present invention, after the symmetry calculation by the
상술한 실시예에 있어서는 영상 변환부(130)가 축소 영상의 복원을 위해 영상 복원부(136)를 포함하는 것으로 기재하였지만, 변형된 실시예에 있어서는 ROI 영상(520)을 메모리에 기록하고, ROI 영상(520)의 회전 또는 이동을 위해 ROI 영상을 복원하지 않고 메모리에 기록되어 있는 ROI 영상을 직접 이용하여 회전 또는 이동시킬 수도 있을 것이다. 따라서, 이러한 경우 영상 복원부(136)는 필요하지 않기 때문에 이러한 영상 복원부(136)는 선택적으로 포함될 수 있다.In the above-described embodiment, the
다음으로 대칭도 산출부(140)는, 영상 변환부(130)에 의해 생성된 제1 축소 영상의 얼굴 영역에 대해 미리 정해진 대칭축을 기준으로 좌측 영역과 우측 영역 간의 대칭도를 산출하여 메모리에 기록한다.Next, the
이후, 대칭도 산출부(140)는, 제1 축소 영상으로부터 미리 정해진 값만큼 회전 또는 이동된 제2 축소 영상의 얼굴 영역에 대해 대칭도를 다시 산출하고, 제1 축소 영상의 얼굴 영역에 대해 산출된 대칭도보다 제2 축소 영상의 얼굴 영역에 대해 산출된 대칭도가 더 크면 메모리에 기록되어 있는 이전 대칭도를 제2 축소 영상의 얼굴 영역에 대한 대칭도로 갱신한다.Subsequently, the
대칭도 산출부(140)는, 이후 영상 변환부(130)에 생성된 서로 다른 제2 축소 영상 각각에 대해 순차적으로 대칭도를 산출하여 미리 정해진 횟수만큼 상술한 과정을 반복함으로써 최종 갱신되는 대칭도를 얼굴의 좌우 대칭도로 결정한다.The
이를 위해 대칭도 산출부(140)는, 포맷 변환부(142) 및 연산부(144)를 포함할 수 있다.To this end, the
먼저, 포맷 변환부(142)는, 도 7에 도시된 바와 같이 ROI 영상(520)에서 미리결정된 대칭축(700)을 기준으로 얼굴 영역(530)의 좌측 영역(710) 및 우측 영역(720) 내에 존재하는 픽셀들의 RGB(Red, Green, Blue) 값을 HSV(Hue, Saturation, Value) 값으로 변환한다.First, as illustrated in FIG. 7, the
이와 같이 포맷 변환부(142)가 픽셀들의 RGB값을 HSV값으로 변환하는 이유는 사람의 피부색에 대해서는 RGB값보다는 HSV값을 이용하여 대칭도를 산출하는 것이 더욱 정확할 수 있기 때문이다.The reason why the
다음으로, 연산부(144)는, 도 7에 도시된 바와 같이, 대칭축(700)을 기준으로 좌측 영역(710) 및 우측 영역(720) 내에서 서로 대응되는 위치에 존재하는 픽셀간의 H에 대한 차이값들의 합, S에 대한 차이값들의 합, 및 V에 대한 차이값을 산술 평균함으로써 대칭도를 산출한다. 이를 각각 수학식으로 표현하면 아래의 수학식 1 내지 4와 같다.Next, as illustrated in FIG. 7, the
수학식 1 내지 4에서 는 각 픽셀의 H에 대한 차이값들의 합을 나타내고, 는 각 픽셀들의 S에 대한 차이값을 나타내며, 는 각 픽셀의 V에 대한 차이값들의 합을 나타낸다. 또한, 는 좌측 영역에 포함된 i,j번째 픽셀의 H값을 나타내고, 는 좌측 영역에 포함된 i,j번째 픽셀의 S값을 나타내며, 는 좌측 영역에 포함된 i,j번째 픽셀의 H값을 나타낸다. 또한, 는 우측영역에 포함된 i,j번째 픽셀의 H값을 나타내고, 는 우측영역에 포함된 i,j번째 픽셀의 S값을 나타내며, 는 우측영역에 포함된 i,j번째 픽셀의 H값을 나타낸다. 그리고, 은 좌측 영역과 우측 영역간의 대칭도를 나타낸다.In
이와 같이, 본 발명은 영상 변환부(130) 및 대칭도 산출부(140)를 통해 얼굴 영역이 포함된 ROI 영상을 회전 또는 이동시켜 가면서 얼굴의 좌우 대칭도를 산출하기 때문에 판별 대상이 되는 ROI 영상이 대칭축을 기준으로 정렬되어 있지 않더라도 정확한 대칭도를 산출할 수 있다.As described above, the present invention calculates the left and right symmetry of the face while rotating or moving the ROI image including the face region through the
상술한 바와 같은 얼굴 좌우 대칭도 산출 장치(100)는, 카메라가 장착되어 있는 핸드폰, 스마트폰, 테블릿 PC, 노트북 등과 같은 휴대 단말기 내에 프로그램이나 어플리케이션 형태로 탑재되어 구동될 수 있다.As described above, the apparatus for calculating the left and right symmetry of the
이하에서는, 도 8 및 도 9를 참조하여 본 발명에 따른 얼굴 좌우 대칭도 산출 방법에 대해 구체적으로 설명한다.Hereinafter, a method of calculating the lateral symmetry of the face according to the present invention will be described in detail with reference to FIGS. 8 and 9.
도 8은 본 발명의 일 실시예에 따른 얼굴 좌우 대칭도 산출 방법을 보여주는 플로우차트이다.8 is a flowchart showing a method of calculating a face left and right symmetry according to an embodiment of the present invention.
먼저, 카메라와 같은 장치로부터 정지 영상을 수신하고(S800), 수신된 정지 영상을 전처리 한다(S810). 정지 영상의 전치리 과정을 도 9를 참조하여 보다 구체적으로 설명한다.First, a still image is received from a device such as a camera (S800), and the received still image is preprocessed (S810). The pretreatment process of the still image will be described in more detail with reference to FIG. 9.
도 9는 본 발명의 일 실시예에 따른 정지 영상의 전처리 과정을 보여주는 플로우차트이다. 도시된 바와 같이, 먼저, 보간 알고리즘(Interpolation)을 이용하여 정지 영상을 해상도를 리사이징한다(S900). 일 실시예에 있어서, 정지 영상을 640*640 크기의 해상도로 리사이징 한다.9 is a flowchart illustrating a preprocessing process of a still image according to an embodiment of the present invention. As shown, first, the resolution of the still image is resized using an interpolation algorithm (S900). In one embodiment, the still image is resized to a resolution of 640 * 640 size.
다음으로, 리사이징된 정지 영상의 픽셀값들 중 최대값과 최소값을 산출하고(S910), 리사이징된 정지 영상의 각 픽셀의 픽셀값이 특정값 이내의 값이 되도록 최대값과 최소값을 이용하여 비선형 매핑을 수행함으로써 리사이징된 정지 영상의 히스토그램을 균등화한다(S920). 이를 통해 리사이징된 정지 영상의 콘트라스트가 향상된다.Next, a maximum value and a minimum value of pixel values of the resized still image are calculated (S910), and nonlinear mapping is performed using the maximum value and the minimum value such that the pixel value of each pixel of the resized still image is within a specific value. By performing the operation, the histogram of the resized still image is equalized (S920). This improves the contrast of the resized still image.
다음으로, 히스토그램 균등화된 정지 영상을 제1 내지 제3 정지 영상으로 복제하고(S930), 그 중 제2 정지 영상을 3*3 라플라시안 콘볼루션 마스크를 이용하여 스무딩(Smoothing) 처리 한다(S940). 여기서, 스무딩은 블러링(Blurring)과 노이즈의 제거를 위해 사용되는 영상 처리기법을 의미한다.Next, the histogram equalized still image is copied to the first to third still images (S930), and the second still image is smoothed using a 3 * 3 Laplacian convolution mask (S940). Here, smoothing means an image processing technique used for blurring and noise removal.
다음으로, 스무딩 처리된 제2 정지 영상과 제3 정지 영상의 차영상을 산출하고(S950), 이후 차영상과 제1 영상을 합산함으로써 윤곽선이 강조된 정지 영상을 생성한다(S960).Next, a difference image between the smoothed second still image and the third still image is calculated (S950), and then, the sum image and the first image are summed to generate a still image with an outline highlighted (S960).
이러한 전처리 과정을 통해 콘트라스트가 향상되고 윤곽선이 강조된 정지 영상을 획득할 수 있다.Through this preprocessing, it is possible to obtain still images with enhanced contrast and emphasis on outlines.
다시 도 8을 참조하면, 전처리된 정지 영상으로부터 얼굴 영역을 검출한다(S820). 일 실시예에 있어서, 얼굴 영역은 OpenCV와 같은 오픈 소스 컴퓨터 버전 라이브러리를 이용하여 검출할 수 있다. 이때, 검출된 얼굴 영역은 정지 영상 상에서 도 3에 도시된 바와 같은 사각형(300)으로 표현될 수 있다.Referring back to FIG. 8, a face region is detected from the preprocessed still image (S820). In one embodiment, the facial region may be detected using an open source computer version library such as OpenCV. In this case, the detected face region may be represented by the
다음으로, 정지 영상으로부터 미리 정해진 크기의 마스크를 이용하여 얼굴 영역을 분리하여 얼굴 영역을 포함하는 ROI 영상을 생성한다(S830).Next, a face region is separated from the still image using a mask having a predetermined size to generate an ROI image including the face region (S830).
구체적으로, 상술한 도 5에 도시된 바와 같이, 정지 영상에서 사각형(300) 크기의 영상을 분리해 낸 후, 사각형(300) 보다 미리 정해진 크기만큼 작은 사각형(500)에 내접하는 타원형의 마스크(510)를 이용하여, 마스크(510)의 외부 영역에 포함된 픽셀들의 픽셀값을 일정한 값(예컨대, 모두 0)으로 변경시킴으로써 얼굴 영역과 얼굴 영역을 제외한 영역이 구분되어 있는 ROI 영상을 생성할 수 있다.Specifically, as shown in FIG. 5, an elliptical mask in which an image having a size of a square 300 is separated from a still image, and then inscribed into the square 500 smaller than the square 300 by a predetermined size ( By using the 510, a pixel value of pixels included in an external area of the
다음으로, ROI 영상을 축소시켜 제1 축소 영상을 생성한다(S840). 일 실시예에 있어서, 제1 축소 영상은 가우시안 피라미드 해상도 축소 방법을 이용하여 생성될 수 있다.Next, the ROI image is reduced to generate a first reduced image (S840). In one embodiment, the first reduced image may be generated using a Gaussian pyramid resolution reduction method.
구체적으로, 먼저 ROI 영상을 가우시안 콘볼루션 마스크를 이용하여 저역 통과 필터링하고, 저역 통과 필터링된 ROI 영상을 1/n로 서브 샘플링함으로써 제1 축소 영상을 생성할 수 있다.Specifically, the first reduced image may be generated by first performing low pass filtering on the ROI image using a Gaussian convolution mask and subsampling the low pass filtered ROI image at 1 / n.
다음으로, 제1 축소 영상의 얼굴 영역에 대해 미리 설정된 대칭축을 기준으로 좌측 영역과 우측 영역간의 대칭도를 산출한다(S850). 일 실시예에 있어서, 대칭도는, 상술한 수학식 1 내지 4에 기재된 바와 같이, 대칭축을 기준으로 좌측 영역 및 우측 영역 내에서 서로 대응되는 위치에 존재하는 픽셀간의 H에 대한 차이값들의 합, S에 대한 차이값들의 합, 및 V에 대한 차이값들을 산술 평균함으로써 산출된다.Next, the degree of symmetry between the left region and the right region is calculated based on the symmetry axis preset for the face region of the first reduced image (S850). In one embodiment, the degree of symmetry is a sum of difference values for H between pixels existing at positions corresponding to each other in the left region and the right region with respect to the axis of symmetry, as described in
이를 위해, 각 픽셀들의 RGB값을 HSV값으로 변환하는 과정이 더 포함될 수 있다.To this end, the process of converting the RGB value of each pixel to the HSV value may be further included.
다음으로, 제1 축소 영상이 미리 정해진 값만큼 회전 또는 이동된 제2 축소 영상을 생성한다(S860). 일 실시예에 있어서, 제2 축소 영상은 ROI 영상을 미리 정해진 값만큼 회전 또는 이동 시켜 축소시킴으로써 생성될 수 있다. 이때, 회전 또는 이동 대상이 되는 ROI 영상은 S830에서 생성된 ROI 영상일 수 있지만, 제1 축소 영상으로부터 복원된 ROI 영상일 수 있다.Next, a second reduced image in which the first reduced image is rotated or moved by a predetermined value is generated (S860). In one embodiment, the second reduced image may be generated by rotating or moving the ROI image by a predetermined value to reduce the size. In this case, the ROI image to be rotated or moved may be the ROI image generated in S830 but may be a ROI image reconstructed from the first reduced image.
구체적으로, ROI 영상은, 제1 축소 영상 생성 과정에서 가우시안 콘볼루션 마스크를 통해 생성되는 ROI 영상의 저역 통과 필터링 영상과 라플라시안 콘볼루션 마스크를 통해 생성되는 ROI 영상의 고역 통과 필터링 영상을 합성함으로써 복원될 수 있다.In detail, the ROI image may be reconstructed by synthesizing the low pass filtering image of the ROI image generated through the Gaussian convolution mask and the high pass filtering image of the ROI image generated through the Laplacian convolution mask in the process of generating the first reduced image. Can be.
이와 같이, 축소 영상을 회전 또는 이동 시키지 않고 ROI 영상을 회전 또는 이동시킨 후 이를 기초로 다시 축소 영상을 생성하는 것은 축소 영상과 같이 해상도가 낮은 영상을 회전 또는 이동시키게 되면 영상이 손상될 수 있기 때문이다.As described above, rotating or moving the ROI image without rotating or moving the scaled down image and generating the scaled down image again based on this may cause damage to the image when the lower resolution image is rotated or moved. to be.
이후, 제2 축소 영상의 얼굴 영역에 대해 상기 대칭축을 기준으로 좌측 영역과 우측 영역간의 대칭도를 재산출한다(S870). 대칭도를 산출하는 방법은 상술한 제1 축소 영상의 얼굴 영역에 대한 대칭도 산출과 동일하므로 상세한 설명은 생략한다.Thereafter, the degree of symmetry between the left region and the right region is recalculated with respect to the face region of the second reduced image based on the axis of symmetry (S870). Since the method of calculating the symmetry is the same as calculating the symmetry of the face region of the first reduced image, detailed description thereof will be omitted.
다음으로, 재산출된 대칭도가 이전에 산출된 대칭도 보다 큰지 여부를 판단하여(S875) 재산출된 대칭도가 더 크면 이전에 산출된 대칭도를 재산출된 대칭도로 갱신한다(S880).Next, it is determined whether the recalculated symmetry is greater than the previously calculated symmetry (S875). If the recalculated symmetry is larger, the previously calculated symmetry is updated to the recalculated symmetry (S880).
다음으로, 미리 정해진 반복 회수가 되었는지 여부를 판단하여(S890), 미리 정해진 반복 횟수가 되었으면 최종 갱신된 대칭도를 얼굴 좌우 대칭도로 결정하고(S895), 미리 정해진 반복 횟수가 되지 않았으면 미리 정해진 값을 변경시킨 후(S897), 상기 S860 내지 S890과정을 되풀이한다.Next, it is determined whether a predetermined number of repetitions has been performed (S890), and when a predetermined number of repetitions has been reached, the final updated symmetry is determined as face symmetry (S895). After changing (S897), the process of S860 to S890 is repeated.
한편, S875에서 재산출된 대칭도가 이전에 산출된 대칭도보다 크지 않은 경우 S890으로 분기하여 이후의 과정을 수행한다.On the other hand, if the symmetry degree recalculated in S875 is not greater than the symmetry degree previously calculated, the process branches to S890 to perform the subsequent process.
상술한 얼굴 좌우 대칭도 산출 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터로 판독 가능한 기록 매체에 기록될 수 있다. 이때, 컴퓨터로 판독 가능한 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 한편, 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.The above-described method for calculating the left and right symmetry of the face may be implemented in the form of program instructions that can be executed by various computer means, and recorded on a computer-readable recording medium. In this case, the computer-readable recording medium may include program instructions, data files, data structures, and the like, alone or in combination. On the other hand, the program instructions recorded on the recording medium may be those specially designed and configured for the present invention or may be available to those skilled in the art of computer software.
본 발명이 속하는 기술분야의 당업자는 상술한 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.Those skilled in the art to which the present invention pertains will understand that the above-described present invention can be implemented in other specific forms without changing the technical spirit or essential features.
그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.Therefore, it is to be understood that the embodiments described above are exemplary in all respects and not restrictive. The scope of the present invention is defined by the appended claims rather than the detailed description and all changes or modifications derived from the meaning and scope of the claims and their equivalents are to be construed as being included within the scope of the present invention do.
100: 얼굴의 좌우 대칭도 산출 장치 110: 영상 전처리부
112: 영상 리사이징부 114: 히스토그램 균등화부
116: 언샤프 마스킹 처리부 120: ROI 영상 생성부
122: 얼굴 영역 검출부 124: 얼굴 영역 분리부
130: 영상 변환부 132: 영상 이동부
134: 영상 축소부 136: 영상 복원부
140: 대칭도 산출부 142: 포맷 변환부
144: 연산부 100: left and right symmetry calculator 110: image pre-processing unit
112: image resizing unit 114: histogram equalization unit
116: unsharp masking processing unit 120: ROI image generating unit
122: face region detector 124: face region separator
130: image conversion unit 132: image moving unit
134: image reduction unit 136: image restoration unit
140: symmetry calculation unit 142: format conversion unit
144: arithmetic unit
Claims (16)
상기 제1 축소 영상의 얼굴 영역에 대해 미리 설정된 대칭축을 기준으로 좌측 영역과 우측 영역간의 대칭도를 산출하는 단계;
상기 제1 축소 영상이 미리 정해진 값만큼 회전 또는 이동된 제2 축소 영상의 얼굴 영역에 대해 상기 대칭축을 기준으로 상기 대칭도를 재산출하는 단계; 및
상기 재산출된 대칭도가 이전에 산출된 대칭도 보다 크면 상기 이전에 산출된 대칭도를 상기 재산출된 대칭도로 갱신하여 얼굴의 좌우 대칭도를 결정하는 단계를 포함하는 것을 특징으로 하는 얼굴의 좌우 대칭도 산출 방법.Generating a first reduced image by reducing a region of interest (ROI) image including a face region;
Calculating a symmetry degree between a left region and a right region on the basis of a preset symmetry axis for the face region of the first reduced image;
Recalculating the symmetry with respect to the face region of the second reduced image in which the first reduced image is rotated or moved by a predetermined value based on the symmetry axis; And
Determining the left and right symmetry of the face by updating the previously calculated symmetry to the recalculated symmetry if the recalculated symmetry is greater than the previously calculated symmetry. Symmetry calculation method.
상기 미리 정해진 값을 변경시켜 가면서 상기 재산출하는 단계와 상기 결정하는 단계를 소정 횟수 반복하여 최종 갱신되는 대칭도를 상기 얼굴의 좌우 대칭도로 결정하는 것을 특징으로 하는 얼굴의 좌우 대칭도 산출 방법.The method of claim 1,
And repeating the recalculation step and the determining step a predetermined number of times while changing the predetermined value to determine the last updated symmetry degree as the left and right symmetry degree of the face.
상기 재산출하는 단계에서, 상기 제2 축소 영상은 상기 ROI 영상을 상기 미리 정해진 값만큼 회전 또는 이동 시켜 축소시킴으로써 생성되는 것을 특징으로 하는 얼굴의 좌우 대칭도 산출 방법.The method of claim 1,
In the recalculating step, the second reduced image is generated by rotating or moving the ROI image by the predetermined value to reduce the left and right symmetry.
상기 제1 축소 영상로부터 상기 ROI 영상을 복원하는 단계;
상기 복원된 ROI 영상을 상기 미리 정해진 값만큼 회전 또는 이동시켜 축소시킴으로써 상기 제2 축소 영상을 생성하는 단계; 및
상기 제2 축소 영상의 얼굴 영역에 대해 상기 대칭축을 기준으로 상기 대칭도를 재산출하는 단계를 포함하는 것을 특징으로 하는 얼굴의 좌우 대칭도 산출 방법.The method of claim 1, wherein the retrieving step includes:
Restoring the ROI image from the first reduced image;
Generating the second reduced image by rotating or moving the reconstructed ROI image by the predetermined value to reduce the reconstructed ROI image; And
And recalculating the symmetry degree with respect to the face area of the second reduced image based on the symmetry axis.
상기 제1 축소 영상을 상기 ROI 영상으로 복원하는 단계에서, 상기 제1 축소영상 생성 과정에서 가우시안 콘볼루션 마스크를 통해 생성되는 상기 ROI 영상의 저역 통과 필터링 영상과 라플라시안 콘볼루션 마스크를 통해 생성되는 상기 ROI 영상의 고역 통과 필터링 영상을 합성하여 상기 ROI 영상을 복원하는 것을 특징으로 하는 얼굴의 좌우 대칭도 산출 방법.The method of claim 4, wherein
In the step of restoring the first reduced image to the ROI image, the ROI generated by the low pass filtering image and the Laplacian convolution mask of the ROI image generated by the Gaussian convolution mask in the process of generating the first reduced image. And a high pass filtering image of the image to restore the ROI image.
제1 축소 영상을 생성하는 단계에서, 상기 ROI 영상을 가우시안 콘볼루션 마스크를 이용하여 저역 통과 필터링하고, 상기 저역 통과 필터링된 ROI 영상을 서브 샘플링함으로써 상기 제1 축소 영상을 생성하는 것을 특징으로 하는 얼굴의 좌우 대칭도 산출 방법.The method of claim 1,
In the generating of the first reduced image, the ROI image is low pass filtered using a Gaussian convolution mask and the first reduced image is generated by subsampling the low pass filtered ROI image. Method of calculating the left and right symmetry.
상기 대칭도는, 상기 대칭축을 기준으로 상기 좌측 영역 및 우측 영역 내에서 서로 대응되는 위치에 존재하는 픽셀간의 H에 대한 차이값들의 합, S에 대한 차이값들의 합, 및 V에 대한 차이값들을 산술 평균함으로써 산출되는 것을 특징으로 하는 얼굴의 좌우 대칭도 산출 방법.The method of claim 1,
The degree of symmetry may include a sum of difference values for H, a sum of difference values for S, and a difference value for V between pixels existing at positions corresponding to each other in the left and right regions based on the symmetry axis. A method for calculating the left and right symmetry of a face, which is calculated by performing an arithmetic mean.
정지 영상의 리사이징(Resizing), 히스토그램 균등화, 및 언샤프 마스킹을 통해 상기 정지 영상을 전처리 하는 단계; 및
상기 전처리된 영상으로부터 상기 얼굴 영역을 검출하고, 상기 얼굴 영역을 포함하는 상기 ROI 영상을 생성하는 단계를 포함하고,
상기 ROI 영상을 생성하는 단계에서, 미리 정해진 형상의 마스크를 이용하여 상기 ROI 영상에서 상기 얼굴 영역과 상기 얼굴 영역을 제외한 영역을 구분하는 것을 특징으로 하는 얼굴의 좌우 대칭도 산출 방법.The method of claim 1,
Preprocessing the still image through resizing, histogram equalization, and unsharp masking of the still image; And
Detecting the face region from the preprocessed image and generating the ROI image including the face region,
In the generating of the ROI image, a method of calculating left and right symmetry of a face, characterized in that the ROI image is divided into regions excluding the face region and the face region using a mask having a predetermined shape.
상기 제1 축소 영상이 미리 정해진 값만큼 회전 또는 이동된 제2 축소 영상의 얼굴 영역에 대해 미리 설정된 대칭축을 기준으로 좌측 영역과 우측 영역간의 대칭도를 산출하고, 산출된 대칭도를 얼굴의 좌우 대칭도로 결정하는 단계를 포함하는 것을 특징으로 하는 얼굴의 좌우 대칭도 산출 방법.Generating a first reduced image by reducing an ROI image including a face region; And
Based on a symmetry axis preset for the face area of the second reduced image in which the first reduced image is rotated or moved by a predetermined value, a symmetry degree between the left area and the right area is calculated, and the calculated symmetry is based on left and right symmetry of the face. And a road determining step.
상기 전처리된 정지 영상으로부터 얼굴 영역을 포함하는 ROI 영상을 생성하는 ROI 영상 생성부;
가우시안 피라미드 해상도 축소법을 이용하여 상기 ROI 영상을 축소시킴으로써 제1 축소 영상을 생성하고, 상기 ROI 영상을 미리 정해진 값만큼 회전 또는 이동시켜 축소시킴으로써 제2 축소 영상을 생성하는 영상 변환부; 및
상기 제1 축소 영상의 얼굴 영역에 대해 미리 정해진 대칭축을 기준으로 좌측 영역과 우측 영역 간의 대칭도를 산출하고, 이후 제2 축소 영상의 얼굴 영역에 대해 상기 대칭축을 기준으로 상기 대칭도를 재산출하여 재산출된 대칭도가 이전에 산출된 대칭도 보다 크면 상기 이전에 산출된 대칭도를 상기 재산출된 대칭도로 갱신하는 대칭도 산출부를 포함하는 것을 특징으로 하는 얼굴의 좌우 대칭도 산출 장치.An image preprocessor configured to preprocess still images;
A ROI image generator configured to generate a ROI image including a face region from the preprocessed still image;
An image converter for generating a first reduced image by reducing the ROI image by using a Gaussian pyramid resolution reduction method and generating a second reduced image by rotating or moving the ROI image by a predetermined value; And
The symmetry degree between the left region and the right region is calculated based on a predetermined symmetry axis with respect to the face region of the first reduced image, and then the symmetry degree is recalculated based on the symmetry axis with respect to the face region of the second reduced image. And a symmetry calculator for updating the previously calculated symmetry degree to the recalculated symmetry if the recalculated symmetry is greater than the previously calculated symmetry.
상기 영상 변환부는, 상기 미리 정해진 값을 변경시켜 가면서 서로 다른 제2축소 영상을 순차적으로 생성하고,
상기 대칭도 산출부는, 상기 서로 다른 제2 축소 영상 각각에 대해 순차적으로 대칭도를 재산출하여 이전에 산출된 대칭도보다 더 큰 대칭도로 갱신함으로써 최종 갱신되는 대칭도를 상기 얼굴의 좌우 대칭도로 결정하는 것을 특징으로 하는 얼굴의 좌우 대칭도 산출 장치.The method of claim 11,
The image converting unit sequentially generates different second reduced images while changing the predetermined value,
The symmetry calculator calculates a symmetry degree sequentially for each of the different second reduced images, and updates the symmetry degree that is greater than the previously calculated symmetry degree to determine the last updated symmetry degree as the left and right symmetry degree. A device for calculating left and right symmetry of a face, characterized in that
상기 ROI 영상을 미리 정해진 값만큼 회전 또는 이동 시키는 영상 이동부;
상기 ROI 영상 또는 상기 미리 정해진 값만큼 회전 또는 이동된 ROI 영상이 가우시안 콘볼루션 마스크를 통해 저역 통과 필터링된 영상을 서브 샘플링하여 상기 제1 또는 제2 축소 영상을 생성하는 영상 축소부; 및
라플라시안 콘볼루션 마스크를 통해 상기 ROI 영상이 고역 통과 필터링된 영상과 상기 저역 통과 필터링된 영상을 합성하여 상기 ROI 영상을 복원하는 영상 복원부를 포함하는 것을 특징으로 하는 얼굴의 좌우 대칭도 산출 장치.The method of claim 11, wherein the image converter,
An image moving unit which rotates or moves the ROI image by a predetermined value;
An image reduction unit generating the first or second reduced image by subsampling the ROI image or the ROI image rotated or shifted by the predetermined value by using a Gaussian convolution mask to subsample the image; And
And an image reconstructor configured to reconstruct the ROI image by synthesizing the high pass filtered image and the low pass filtered image through the Laplacian convolution mask.
상기 좌측 영역 및 우측 영역 내에 존재하는 픽셀들의 RGB 값을 HSV로 변환하는 포맷 변환부; 및
상기 대칭축을 기준으로 상기 좌측 영역 및 우측 영역 내에서 서로 대응되는 위치에 존재하는 픽셀간의 H에 대한 차이값들의 합, S에 대한 차이값들의 합, 및 V에 대한 차이값을 산술 평균함으로써 상기 대칭도를 산출하는 연산부를 포함하는 것을 특징으로 하는 얼굴의 좌우 대칭도 산출 장치.The method of claim 11, wherein the symmetry calculation unit,
A format converter for converting RGB values of pixels existing in the left region and the right region into HSV; And
The symmetry by arithmetically averaging the sum of difference values for H, the sum of difference values for S, and the difference values for V between pixels existing at positions corresponding to each other in the left and right regions with respect to the symmetry axis. A device for calculating the left and right symmetry of a face, characterized in that it comprises a calculation unit for calculating a degree.
상기 영상 전처리부는, 상기 정지 영상의 해상도를 조절하는 영상 리사이징부;
상기 리사이징된 정지 영상의 히스토그램을 균등화하여 상기 리사이징된 정지영상의 콘트라스트를 향상시키는 히스토그램 균등화부; 및
상기 히스토그램 균등화된 정지 영상을 언샤프 마스킹(Unsharp Masking) 처리하여 윤곽선을 강조하는 것을 언샤프 마스킹 처리부를 포함하는 것을 특징으로 하는 얼굴의 좌우 대칭도 산출 장치.The method of claim 11,
The image preprocessor includes: an image resizing unit configured to adjust the resolution of the still image;
A histogram equalizer which equalizes the histogram of the resized still image to improve contrast of the resized still image; And
And an unsharp masking processing unit for unsharp masking to emphasize the contour by unsharp masking the histogram equalized still image.
상기 전처리된 영상으로부터 상기 얼굴 영역을 검출하는 얼굴 영역 검출부; 및
미리 정해진 형상의 마스크를 이용하여 상기 정지 영상으로부터 상기 얼굴 영역을 분리하여 상기 얼굴 영역을 포함하는 ROI 영상을 생성하는 얼굴 영역 분리부를 포함하며,
상기 얼굴 영역 분리부는, 상기 마스크 외부의 영역에 포함된 픽셀들의 픽셀값을 미리 정해진 값으로 변경시킴으로써 상기 얼굴 영역과 얼굴 영역을 제외한 영역을 구분하는 것을 특징으로 하는 얼굴의 좌우 대칭도 산출 장치.The method of claim 11, wherein the ROI image generating unit,
A face region detector detecting the face region from the preprocessed image; And
A face region separator configured to separate the face region from the still image by using a mask having a predetermined shape to generate a ROI image including the face region,
And the face region separating unit divides the face region and the region excluding the face region by changing pixel values of pixels included in an area outside the mask to a predetermined value.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100139367A KR101223857B1 (en) | 2010-12-30 | 2010-12-30 | Apparatus and Method for Determining Symmetry of Face |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100139367A KR101223857B1 (en) | 2010-12-30 | 2010-12-30 | Apparatus and Method for Determining Symmetry of Face |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20120077422A true KR20120077422A (en) | 2012-07-10 |
KR101223857B1 KR101223857B1 (en) | 2013-01-17 |
Family
ID=46710911
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020100139367A Active KR101223857B1 (en) | 2010-12-30 | 2010-12-30 | Apparatus and Method for Determining Symmetry of Face |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101223857B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114283156A (en) * | 2021-12-02 | 2022-04-05 | 珠海移科智能科技有限公司 | Method and device for removing document image color and handwriting |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102023492B1 (en) * | 2018-05-30 | 2019-09-20 | 비앤피이노베이션 주식회사 | Smart helmet and method for image processing and transmitting for protecting privacy |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100464079B1 (en) * | 2002-01-16 | 2004-12-30 | 엘지전자 주식회사 | Face detection and tracking of video communication system |
KR100559471B1 (en) * | 2003-12-17 | 2006-03-10 | 한국전자통신연구원 | Face Detection System and Method Using Symmetry Axis |
-
2010
- 2010-12-30 KR KR1020100139367A patent/KR101223857B1/en active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114283156A (en) * | 2021-12-02 | 2022-04-05 | 珠海移科智能科技有限公司 | Method and device for removing document image color and handwriting |
CN114283156B (en) * | 2021-12-02 | 2024-03-05 | 珠海移科智能科技有限公司 | Method and device for removing document image color and handwriting |
Also Published As
Publication number | Publication date |
---|---|
KR101223857B1 (en) | 2013-01-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108604293B (en) | Apparatus and method for improving image quality | |
Yang et al. | Fast image super-resolution based on in-place example regression | |
CN111199197B (en) | Image extraction method and processing equipment for face recognition | |
US7747045B2 (en) | Method and apparatus for diffusion based illumination normalization | |
KR102805539B1 (en) | Apparatus and method for extracting regioin of persion in image and system using the method | |
US20140079319A1 (en) | Methods for enhancing images and apparatuses using the same | |
KR20150117646A (en) | Method and apparatus for image enhancement and edge verification using at least one additional image | |
EP3644599B1 (en) | Video processing method and apparatus, electronic device, and storage medium | |
WO2016101883A1 (en) | Method for face beautification in real-time video and electronic equipment | |
AU2013206597A1 (en) | Depth constrained superpixel-based depth map refinement | |
Xie et al. | Single depth image super resolution and denoising via coupled dictionary learning with local constraints and shock filtering | |
EP2984621A1 (en) | Near infrared guided image denoising | |
JP4480958B2 (en) | Digital image creation method | |
JP2008181520A (en) | System and method for reconstructing restored facial image from video | |
Luo et al. | Time-travel rephotography | |
US11798227B2 (en) | Image processing apparatus and image processing method | |
US12198306B2 (en) | Content based image processing | |
US11238302B2 (en) | Method and an apparatus for performing object illumination manipulation on an image | |
CN107564085B (en) | Image warping processing method, device, computing device and computer storage medium | |
JP6068895B2 (en) | Image processing apparatus and program | |
KR101223857B1 (en) | Apparatus and Method for Determining Symmetry of Face | |
JP6068896B2 (en) | Image processing apparatus and program | |
CN113239867B (en) | A Face Recognition Method Based on Mask Area Adaptive Enhancement for Illumination Changes | |
WO2022258013A1 (en) | Image processing method and apparatus, electronic device and readable storage medium | |
CN114898128A (en) | Image similarity comparison method, storage medium and computer |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20101230 |
|
PA0201 | Request for examination | ||
PG1501 | Laying open of application | ||
PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20120730 Patent event code: PE09021S01D |
|
E701 | Decision to grant or registration of patent right | ||
PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20121031 |
|
GRNT | Written decision to grant | ||
PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20130111 Patent event code: PR07011E01D |
|
PR1002 | Payment of registration fee |
Payment date: 20130111 End annual number: 3 Start annual number: 1 |
|
PG1601 | Publication of registration | ||
FPAY | Annual fee payment |
Payment date: 20160112 Year of fee payment: 4 |
|
PR1001 | Payment of annual fee |
Payment date: 20160112 Start annual number: 4 End annual number: 4 |
|
LAPS | Lapse due to unpaid annual fee |