KR102013928B1

KR102013928B1 - Image transformation apparatus and the method

Info

Publication number: KR102013928B1
Application number: KR1020120156999A
Authority: KR
Inventors: 김도완; 알렉산더 리모노프; 이진성; 정길수
Original assignee: 삼성전자주식회사
Priority date: 2012-12-28
Filing date: 2012-12-28
Publication date: 2019-08-23
Anticipated expiration: 2032-12-28
Also published as: CN103916588A; EP2750100A3; KR20140086463A; CN103916588B; EP2750100A2; US9195881B2; US20140185939A1; WO2014104521A1

Abstract

영상 변형 장치가 개시된다. 본 영상 변형 장치는 사용자 이미지 및 레퍼런스 이미지로부터 얼굴 영역의 특징점 및 얼굴의 각도 정보를 검출하는 검출부, 검출된 각도 정보를 이용하여 사용자 이미지 또는 레퍼런스 이미지의 특징점을 보정하는 특징점 보정부, 보정된 특징점을 이용하여 사용자 이미지 및 레퍼런스 이미지에 포함된 얼굴 특징을 비교하는 얼굴 분석부 및 얼굴 특징에 대한 비교 결과를 이용하여 사용자 이미지를 변형하는 영상 변형부를 포함한다.An image transformation apparatus is disclosed. The image deforming device includes a detector for detecting feature points of a face region and angle information of a face from a user image and a reference image, a feature point corrector for correcting a feature point of a user image or a reference image using the detected angle information, and a corrected feature point. And a face analyzer configured to compare face features included in the user image and the reference image, and an image deformer configured to deform the user image using a comparison result of the face features.

Description

Image transforming apparatus and its method {IMAGE TRANSFORMATION APPARATUS AND THE METHOD}

본 발명은 영상 변형 장치 및 그 방법에 관한 것으로, 보다 상세하게는 사용자 이미지를 변형시키는 영상 변형 장치 및 그 방법에 관한 것이다.The present invention relates to an image transformation apparatus and a method thereof, and more particularly, to an image transformation apparatus and method for transforming a user image.

최근 SNS(Social Network Service) 등 인터넷을 통한 커뮤니티가 급속도로 발전하는 추세에 있다. 사용자들이 SNS에 자신 또는 친구들의 사진을 업로드 할 때 보다 예쁘게 보이기 위하여 업로드할 이미지를 변형하는 경우가 많다. Recently, the community through the Internet such as SNS (Social Network Service) is rapidly developing. When users upload photos of themselves or their friends on SNS, they often modify the images to upload in order to look more beautiful.

기존의 영상 변형 방법은 사용자가 직접 입력하여 이미지에 변형을 가하거나, 얼굴의 각 부위별로 변형하는 등 사용자에게 많은 조작을 요구하고 있다. 그러나, 영상 변형이 익숙하지 않은 일반적인 사용자는 변형할 포인트와 변형 정도를 결정하는데 어려움을 겪을 수 있다. 이에 따라, 사용자가 보다 쉽게 영상을 변형할 수 있는 방안이 요청된다.Existing image transformation methods require a lot of manipulation from the user, such as directly modifying the image by directly inputting the image or modifying each portion of the face. However, a general user who is not familiar with image deformation may have difficulty determining points and degree of deformation. Accordingly, a method for more easily transforming an image by a user is required.

본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은 영상 변형이 익숙하지 않은 일반적인 사용자가 쉽게 영상 변형을 수행할 수 있도록 레퍼런스 이미지를 이용하는 영상 변형 장치 및 그 방법을 제공함에 있다.SUMMARY OF THE INVENTION The present invention is directed to the above-described needs, and an object of the present invention is to provide an image transformation apparatus and method using a reference image so that a general user who is not familiar with image transformation can easily perform image transformation.

이상의 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 영상 변형 장치는, 사용자 이미지 및 레퍼런스 이미지로부터 얼굴 영역의 특징점 및 얼굴의 각도 정보를 검출하는 검출부, 상기 검출된 각도 정보를 이용하여 상기 사용자 이미지 또는 레퍼런스 이미지의 특징점을 보정하는 특징점 보정부, 상기 보정된 특징점을 이용하여 상기 사용자 이미지 및 상기 레퍼런스 이미지에 포함된 얼굴 특징을 비교하는 얼굴 분석부 및 상기 얼굴 특징에 대한 비교 결과를 이용하여 상기 사용자 이미지를 변형하는 영상 변형부를 포함한다.According to an embodiment of the present invention, an image transformation apparatus includes: a detector configured to detect feature points of a face region and angle information of a face from a user image and a reference image, and the user image using the detected angle information. Or a feature point corrector to correct a feature point of a reference image, a face analyzer to compare face features included in the user image and the reference image using the corrected feature point, and the user using a comparison result of the face feature. It includes an image transformation unit for deforming the image.

여기서, 상기 특징점 보정부는, 상기 사용자 이미지 및 상기 레퍼런스 이미지의 얼굴 각도가 서로 일치되도록 상기 사용자 이미지 또는 레퍼런스 이미지의 특징점을 보정할 수 있다.The feature point corrector may correct the feature point of the user image or the reference image such that the face angles of the user image and the reference image coincide with each other.

또한, 상기 얼굴 분석부는, 상기 사용자 이미지에 포함된 특징점 간의 거리 및 상기 레퍼런스 이미지에 포함된 특징점 간의 거리를 비교하여 차이를 산출할 수 있으며, 상기 영상 변형부는, 상기 산출된 상대적 거리의 차이에 기초하여 상기 사용자 이미지의 특징점을 변형할 수 있다.The face analyzer may calculate a difference by comparing a distance between feature points included in the user image and a distance between feature points included in the reference image, and the image transformation unit is based on the calculated difference of relative distances. The feature point of the user image may be modified.

그리고, 상기 얼굴 특징은, 눈 형태, 코 형태, 입 형태 및 턱선 형태 중 적어도 하나를 포함할 수 있다.The facial feature may include at least one of an eye shape, a nose shape, a mouth shape, and a jawline shape.

그리고, 상기 영상 변형 장치는 사용자 정보에 기초하여 적어도 하나의 레퍼런스 이미지를 추천하는 이미지 추천부 및 상기 추천된 레퍼런스 이미지 중 적어도 하나를 선택하기 위한 사용자 명령을 입력받는 입력부를 더 포함할 수 있다.The image transformation apparatus may further include an image recommending unit recommending at least one reference image and an input unit receiving a user command for selecting at least one of the recommended reference images based on user information.

여기서, 상기 이미지 추천부는, 사용자의 성별, 연령, 사용자 이미지 분석 결과, 사용자의 일정, 사용자의 이미지 변형 의도 및 사용자의 현재 위치 중 적어도 하나에 기초하여 상기 레퍼런스 이미지를 추천할 수 있다.Here, the image recommendation unit may recommend the reference image based on at least one of a gender, an age, a user image analysis result, a schedule of the user, an image transformation intention of the user, and a current location of the user.

그리고, 상기 사용자 이미지 및 상기 레퍼런스 이미지는 2D 이미지일 수 있다.The user image and the reference image may be 2D images.

한편, 본 발명의 일 실시 예에 따른 영상 변형 방법은, 사용자 이미지 및 레퍼런스 이미지로부터 얼굴 영역의 특징점 및 얼굴의 각도 정보를 검출하는 단계, 상기 검출된 각도 정보를 이용하여 상기 사용자 이미지 또는 레퍼런스 이미지의 특징점을 보정하는 단계, 상기 보정된 특징점을 이용하여 상기 사용자 이미지 및 상기 레퍼런스 이미지에 포함된 얼굴 특징을 비교하는 단계 및 상기 얼굴 특징에 대한 비교 결과를 이용하여 상기 사용자 이미지를 변형하는 단계를 포함할 수 있다.On the other hand, the image transformation method according to an embodiment of the present invention, detecting the feature point of the facial region and the angle information of the face from the user image and the reference image, by using the detected angle information of the user image or reference image Correcting a feature point, comparing a face feature included in the user image and the reference image using the corrected feature point, and modifying the user image using a comparison result of the face feature. Can be.

여기서, 상기 특징점을 보정하는 단계는, 상기 사용자 이미지 및 상기 레퍼런스 이미지의 얼굴 각도가 서로 일치되도록 상기 사용자 이미지 또는 레퍼런스 이미지의 특징점을 보정할 수 있다.Here, in the correcting of the feature point, the feature point of the user image or the reference image may be corrected such that the face angles of the user image and the reference image coincide with each other.

또한, 상기 얼굴 특징을 비교하는 단계는, 상기 사용자 이미지에 포함된 특징점 간의 거리 및 상기 레퍼런스 이미지에 포함된 특징점 간의 거리를 비교하여 차이를 산출하는 단계를 포함할 수 있으며, 상기 사용자 이미지를 변형하는 단계는, 상기 산출된 상대적 거리의 차이에 기초하여 상기 사용자 이미지의 특징점을 변형하는 단계를 포함할 수 있다.The comparing of the facial features may include calculating a difference by comparing a distance between feature points included in the user image and a distance between feature points included in the reference image, and deforming the user image. The method may include modifying a feature point of the user image based on the calculated difference of relative distances.

그리고, 상기 영상 변형 방법은 사용자 정보에 기초하여 적어도 하나의 레퍼런스 이미지를 추천하는 단계 및 상기 추천된 레퍼런스 이미지 중 적어도 하나를 선택하기 위한 사용자 명령을 입력받는 단계를 더 포함할 수 있다.The image transformation method may further include recommending at least one reference image based on user information, and receiving a user command for selecting at least one of the recommended reference images.

여기서, 상기 이미지를 추천하는 단계는, 사용자의 성별, 연령, 사용자 이미지 분석 결과, 사용자의 일정, 사용자의 이미지 변형 의도 및 사용자의 현재 위치 중 적어도 하나에 기초하여 상기 레퍼런스 이미지를 추천할 수 있다.The recommending of the image may include recommending the reference image based on at least one of a gender, an age of the user, a result of analyzing the user image, a schedule of the user, an intention of modifying the image of the user, and a current location of the user.

여기서, 상기 사용자 이미지 및 상기 레퍼런스 이미지는 2D 이미지일 수 있다.Here, the user image and the reference image may be a 2D image.

이상과 같은 본 발명의 다양한 실시 예에 따르면, 영상 변형 장치의 사용자는 영상 변형에 특별한 지식이 없더라도 쉽게 영상 변형을 수행할 수 있게 된다.According to various embodiments of the present disclosure as described above, a user of an image transformation apparatus may easily perform image transformation even without special knowledge on image transformation.

도 1은 본 발명의 일 실시 예에 따른 영상 변형 장치의 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시 예에 따른 특징점 검출 결과를 나타내는 도면이다.
도 3은 본 발명의 일 실시 예에 따른 얼굴 분석부의 구체적인 동작을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시 예에 따른 얼굴 변형과정을 설명하기 위한 도면이다.
도 5는 본 발명의 다른 실시 예에 따른 영상 변형 장치의 구성을 나타내는 블럭도이다.
도 6은 본 발명의 일 실시 예에 따른 영상 변형 방법을 설명하기 위한 흐름도이다.1 is a diagram illustrating a configuration of an image transformation apparatus according to an exemplary embodiment.
2 is a diagram illustrating a feature point detection result according to an exemplary embodiment.
3 is a view for explaining a detailed operation of the face analyzer according to an embodiment of the present invention.
4 is a view for explaining a face deformation process according to an embodiment of the present invention.
5 is a block diagram illustrating a configuration of an image transformation apparatus according to another exemplary embodiment.
6 is a flowchart illustrating an image transformation method according to an exemplary embodiment.

이하에서, 첨부된 도면을 참조하여 본 발명에 대해 구체적으로 설명한다.Hereinafter, with reference to the accompanying drawings will be described in detail with respect to the present invention.

도 1은 본 발명의 일 실시 예에 따른 영상 변형 장치의 구성을 나타내는 도면이다. 도 1에 따르면 영상 변형 장치(100)는 검출부(110), 특징점 보정부(120), 얼굴 분석부(130) 및 영상 변형부(140)를 포함한다. 이러한 영상 변형 장치는 스마트 폰, TV, 노트북 PC, 테블릿 PC, 전자 책, 전자 액자, 키오스크 등과 같은 다양한 장치로 구현될 수 있다.1 is a diagram illustrating a configuration of an image transformation apparatus according to an exemplary embodiment. According to FIG. 1, the image transformation apparatus 100 includes a detector 110, a feature point corrector 120, a face analyzer 130, and an image deformer 140. The image transformation apparatus may be implemented by various devices such as a smart phone, a TV, a notebook PC, a tablet PC, an e-book, an electronic picture frame, a kiosk, and the like.

검출부(110)는 사용자 이미지 및 레퍼런스 이미지로부터 얼굴 영역의 특징점 및 얼굴의 각도 정보를 검출한다. 여기서, 사용자 이미지 및 레퍼런스 이미지는 모두 얼굴 영역을 포함하며, 사용자 이미지는 변형될 얼굴을 포함하는 이미지이며, 레퍼런스 이미지는 사용자 이미지의 얼굴 변형시 참조하기 위한 이미지이다. 사용자 이미지 및 레퍼런스 이미지는 2D 및 3D 이미지일 수 있으며, 바람직하게는 2D 이미지일 수 있다.The detector 110 detects feature points of the face region and angle information of the face from the user image and the reference image. Here, both the user image and the reference image includes a face area, the user image is an image including a face to be deformed, and the reference image is an image for reference when deforming the face of the user image. The user image and the reference image may be 2D and 3D images, preferably 2D images.

도 2는 본 발명의 일 실시 예에 따른 특징점 검출 결과를 나타내는 도면이다. 도 2와 같이 검출부(110)는 미리 학습된 알고리즘에 따라 얼굴 영역의 특징점을 검출할 수 있다. 특히, 검출부는 AAM(Active Appearance Model) 기법 등을 이용하여 얼굴 패턴을 미리 학습하여 특징점 위치를 자동적으로 검출할 수 있다. 또한, 검출부(100)는 검출된 특징점의 위치를 이용하여 머리 회전각에 기초한 얼굴 각도를 검출할 수 있다. 이하에서, 얼굴 각도 정보를 검출하는 과정에 대해 구체적으로 설명한다. 검출부(110)는 특징점 위치를 이용하여 얼굴의 좌측 면적과 우측 면적을 구할 수 있다. 이 때, 검출부(110)는 얼굴 미간의 중간에 위치한 특징점 위치, 얼굴의 윤곽을 나타내는 특징점 위치, 코 끝에 대응하는 특징점 위치, 입술 주위에 위치한 특징점 위치와 같은 대표 특징점들의 위치를 이용하여 얼굴의 좌측 면적과 우측 면적을 구할 수 있다.2 is a diagram illustrating a feature point detection result according to an exemplary embodiment. As illustrated in FIG. 2, the detector 110 may detect a feature point of the face region according to a previously learned algorithm. In particular, the detection unit may automatically detect a feature point position by learning a face pattern in advance using an AAM (Active Appearance Model) technique. In addition, the detector 100 may detect a face angle based on the head rotation angle using the detected position of the feature point. Hereinafter, a process of detecting face angle information will be described in detail. The detector 110 may obtain a left area and a right area of the face by using the feature point position. At this time, the detection unit 110 uses the positions of the representative feature points such as the feature point position located in the middle of the facial brow, the feature point position representing the contour of the face, the feature point position corresponding to the tip of the nose, and the feature point position around the lips. The area and the right side area can be found.

구체적으로, 검출부(110)는 대표 특정점들의 위치를 기초로 삼각형을 만들고, 삼각형 면적의 합을 계산하여 얼굴의 좌측 면적과 우측 면적을 구할 수 있다. 이후, 검출부(110)는 얼굴의 좌측 면적과 우측 면적의 비율로부터 얼굴의 각도 정보를 검출할 수 있다. 사용자의 머리가 오른쪽으로 회전하면 머리 회전각은 양의 값을 가지고, 사용자의 머리가 왼쪽으로 회전하면 머리 회전각은 음의 값을 가진다고 가정한다. 이 때, 사용자의 머리가 오른쪽으로 회전한 경우, 머리 회전각의 범위를 0°≤θ≤45°로 가정한다. 이 때, 얼굴의 좌측 면적(LHP)은 하기 수학식 1로 표현되고, 얼굴의 우측 면적(RHP)은 하기 수학식 2로 표현될 수 있다.Specifically, the detector 110 may make a triangle based on the positions of the representative specific points, and calculate the sum of the triangle areas to obtain the left area and the right area of the face. Thereafter, the detector 110 may detect angle information of the face from the ratio of the left area and the right area of the face. It is assumed that the head rotation angle has a positive value when the user's head is rotated to the right, and the head rotation angle has a negative value when the user's head is rotated to the left. At this time, when the user's head is rotated to the right, it is assumed that the range of the head rotation angle is 0 ° ≤ θ ≤ 45 °. In this case, the left area LHP of the face may be represented by Equation 1 below, and the right area RHP of the face may be expressed by Equation 2 below.

여기서, θ는 머리 회전각을 의미한다. 그리고, w1은 얼굴의 좌측 폭, w2는 얼굴의 우측 폭, h1은 얼굴의 볼에 대응하는 길이, h2은 얼굴의 턱에 대응하는 길이를 의미한다. 또한, r은 머리의 중심으로부터 머리의 외각선까지의 거리를 의미한다.Here, θ means the head rotation angle. W1 is the left width of the face, w2 is the right width of the face, h1 is the length corresponding to the cheek of the face, and h2 is the length corresponding to the chin of the face. In addition, r means the distance from the center of the head to the outline of the head.

그러면, 얼굴의 좌측 면적과 우측 면적의 비율은 하기 수학식 3에 따라 결정되고, 머리 회전각은 하기 수학식 4에 따라 추정될 수 있다.Then, the ratio of the left area and the right area of the face may be determined according to Equation 3 below, and the head rotation angle may be estimated according to Equation 4 below.

반대로, 사용자의 머리가 왼쪽으로 회전한 경우, 머리 회전각의 범위를 -45°≤θ≤0로 가정한다. 이 때, 얼굴의 좌측 면적(LHP)은 하기 수학식 5로 표현되고, 얼굴의 우측 면적(RHP)은 하기 수학식 6으로 표현될 수 있다.In contrast, when the user's head is rotated to the left, the range of the head rotation angle is assumed to be -45 ° ≤θ≤0. In this case, the left area LHP of the face may be expressed by Equation 5 below, and the right area RHP of the face may be expressed by Equation 6 below.

여기서, θ는 머리 회전각을 의미한다. 그리고, w1은 얼굴의 좌측 폭, w2은 얼굴의 우측 폭, h1은 얼굴의 볼에 대응하는 길이, h2은 얼굴의 턱에 대응하는 길이를 의미한다. 또한, r은 머리의 중심으로부터 머리의 외각선까지의 거리를 의미한다.Here, θ means the head rotation angle. W1 is the left width of the face, w2 is the right width of the face, h1 is the length corresponding to the cheek of the face, and h2 is the length corresponding to the chin of the face. In addition, r means the distance from the center of the head to the outline of the head.

그러면, 얼굴의 좌측 면적과 우측 면적의 비율은 하기 수학식 7에 따라 결정되고, 머리 회전각은 하기 수학식 8에 따라 추정될 수 있다.Then, the ratio of the left area and the right area of the face is determined according to Equation 7, and the head rotation angle can be estimated according to Equation 8.

이와 같은 방법을 통해 검출부(110)는 yaw, pitch, roll 방향의 얼굴 각도 정보를 검출할 수 있다. roll, pitch, yaw 방향의 각도 정보는 x, y, z 축에 대한 회전 각도에 대응될 수 있다.Through the above method, the detector 110 may detect face angle information in the yaw, pitch, and roll directions. The angle information in the roll, pitch, and yaw directions may correspond to rotation angles about the x, y, and z axes.

특징점 보정부(120)는 검출부(110)에서 검출된 각도 정보를 이용하여 사용자 이미지 또는 레퍼런스 이미지의 특징점을 보정한다. 구체적으로, 특징점 보정부(120)는 사용자 이미지에서 검출한 각도 정보와 레퍼런스 이미지에서 검출한 얼굴의 각도 정보가 상이한 경우 얼굴 각도가 일치되도록 사용자 이미지 또는 레퍼런스 이미지의 특징점을 보정할 수 있다. 특히, 사용자 이미지에 대해 영상 변형이 수행되므로 사용자 이미지의 얼굴 각도를 변경하지 않고, 레퍼런스 이미지의 얼굴 각도를 사용자 이미지와 일치되도록 보정하는 것이 바람직하다. 다만, 사용자 이미지의 얼굴 각도를 레퍼런스 이미지와 일치되록 보정하는 것도 가능하며, 사용자 이미지 및 레퍼런스 이미지의 얼굴 각도를 모두 정면으로 보정하는 것과 같이 사용자 이미지 및 레퍼런스 이미지 모두를 보정하는 것도 가능하다.The feature point corrector 120 corrects the feature point of the user image or the reference image by using the angle information detected by the detector 110. In detail, when the angle information detected from the user image and the angle information of the face detected from the reference image are different from each other, the feature point corrector 120 may correct the feature point of the user image or the reference image to match the face angle. In particular, since image transformation is performed on the user image, it is preferable to correct the face angle of the reference image to match the user image without changing the face angle of the user image. However, it is possible to correct the face angle of the user image to match the reference image, and to correct both the user image and the reference image, such as correcting the face angles of both the user image and the reference image in front.

한편, 특징점 보정부(120)는 사용자 이미지 및 레퍼런스 이미지에 포함된 얼굴의 크기가 차이가 있는 경우 사용자 이미지 또는 레퍼런스 이미지에 스케일링으 수행하여 사이즈를 일치시킬 수 있다. Meanwhile, if the size of the face included in the user image and the reference image is different, the feature point corrector 120 may scale the user image or the reference image to match the size.

얼굴 분석부(130)는 보정된 특징점을 이용하여 사용자 이미지 및 레퍼런스 이미지에 포함된 얼굴 특징을 비교한다. 여기서, 얼굴 특징이란 눈, 코, 입, 턱선, 얼굴 비율 등 얼굴을 구성하는 주요 요소들의 형태를 의미한다. 구체적으로, 얼굴 분석부(130)는 사용자 이미지에 포함된 특징점 간의 상대적 거리 및 레퍼런스 이미지에 포함된 특징점 간의 거리를 비교하여 차이를 산출할 수 있다. 특히, 얼굴 특징에 대응되는 특징점 간의 상대적 거리를 비교할 수 있다. 도 2를 참조하여 얼굴 분석부(130)에 대해 보다 구체적으로 설명한다.The face analyzer 130 compares the facial features included in the user image and the reference image by using the corrected feature points. Here, the facial feature refers to the shape of the main elements constituting the face, such as eyes, nose, mouth, jawline, face ratio. In detail, the face analyzer 130 may calculate a difference by comparing the distance between the feature points included in the user image and the distance between the feature points included in the reference image. In particular, it is possible to compare relative distances between feature points corresponding to facial features. The face analyzer 130 will be described in more detail with reference to FIG. 2.

도 3은 본 발명의 일 실시 예에 따른 얼굴 분석부의 구체적인 동작을 설명하기 위한 도면이다. 특히, 도 3은 사용자 이미지 및 레퍼런스 이미지에서 턱선을 비교하는 동작을 설명하기 위한 도면이다. 도 3에서와 같이 얼굴 분석부(130)는 사용지 이미지 및 레퍼런스 이미지의 얼굴의 턱선을 구성하는 특징점들 간의 길이를 산출할 수 있다. 이 때, 턱선을 구성하는 모든 특징점들 간의 거리를 구할 필요는 없으며 얼굴 특성을 결정하는데 필요한 일부 특징점들 간의 거리만을 산출할 수도 있다. 도 3에서는 참조하면 사용자 이미지 및 레퍼런스 이미지의 얼굴의 턱선을 구성하는 특징점들로부터 r1 내지 r7, d1 내지 d8 및 r1' 내지 r7', d1' 내지 d8'의 거리를 산출하였다. 다만, 이에 한정되는 것은 아니며 필요에 따라 다양한 특징점들 간의 거리를 산출할 수 있다.3 is a view for explaining a detailed operation of the face analyzer according to an embodiment of the present invention. In particular, FIG. 3 is a diagram for describing an operation of comparing jaw lines in a user image and a reference image. As shown in FIG. 3, the face analyzer 130 may calculate a length between feature points constituting the jaw line of the face of the used image and the reference image. In this case, the distance between all the feature points constituting the jaw line need not be calculated, and only the distance between some feature points necessary for determining the facial feature may be calculated. In FIG. 3, distances of r1 to r7, d1 to d8 and r1 'to r7', d1 'to d8' are calculated from feature points constituting the jaw line of the face of the user image and the reference image. However, the present invention is not limited thereto, and distances between various feature points may be calculated as necessary.

이후, 얼굴 분석부(130)는 산출된 특징점들 간의 거리에 기초하여 사용자 이미지 및 레퍼런스 이미지에서 각각 대응되는 특징점들 간의 거리의 차이를 분석한다. 예를 들어, 도 3에서 r1과 r1', r2와 r2', d1과 d2 등 대응되는 특징점들 간의 거리를 각각 비교할 수 있다. Thereafter, the face analyzer 130 analyzes the difference between the distances between the corresponding feature points in the user image and the reference image, based on the calculated distances between the feature points. For example, in FIG. 3, distances between corresponding feature points such as r1 and r1 ', r2 and r2', and d1 and d2 may be compared.

한편, 도 3에서는 턱선에 대한 비교 과정만을 설명하였으나, 다른 얼굴 특징에 대해서도 동일한 방법으로 비교할 수 있다. 특히, 눈, 코, 입 등 주요 얼굴 특징을 비교할 수 있다. 한편, 얼굴 분석부(130)는 얼굴 전체, 눈, 코, 입 등의 가로 길이 및 세로 길이의 비율 등을 비교할 수도 있다.Meanwhile, in FIG. 3, only the comparison process for the jawline has been described, but other facial features may be compared in the same manner. In particular, you can compare key facial features such as eyes, nose and mouth. Meanwhile, the face analyzer 130 may compare the ratio of the horizontal length and the vertical length of the entire face, eyes, nose, mouth, and the like.

영상 변형부(140)는 얼굴 분석부(130)의 얼굴 특징에 대한 비교 결과를 이용하여 사용자 이미지를 변형할 수 있다. 특히, 영상 변형부(140)는 얼굴 분석부(130)에서 산출된 특징점들 간의 거리의 차이에 기초하여 사용자 이미지의 특징점들을 변형함으로써 사용자 이미지를 변형할 수 있다. 사용자 이미지 및 레퍼런스 이미지는 동일한 개수의 특징점을 가지며 각각의 특징점은 1:1로 대응될 수 있다. The image deformer 140 may deform the user image by using a comparison result of the facial features of the face analyzer 130. In particular, the image deformer 140 may deform the user image by modifying the feature points of the user image based on the difference in the distance between the feature points calculated by the face analyzer 130. The user image and the reference image have the same number of feature points, and each feature point may correspond to 1: 1.

사용자 이미지를 어느 정도 변형할지 여부는 다양하게 설정될 수 있다. 영상 변형 장치(100)는 사용자에게 어느 정도의 변형을 가할지 여부를 문의하여 사용자 입력에 따라 변형 정도를 결정할 수 있다. 또는, 기 설정된 비율에 따라 자동적으로 변형될 수 있다. 이에 대해, 도 4를 참조하여 보다 구체적으로 설명한다.The degree of deformation of the user image may be variously set. The image transformation apparatus 100 may inquire the user of how much deformation to apply, and determine the degree of deformation according to the user input. Alternatively, the deformation may be automatically performed according to a preset ratio. This will be described in more detail with reference to FIG. 4.

도 4는 본 발명의 일 실시 예에 따른 얼굴 변형과정을 설명하기 위한 도면이다. 특히, 도 4는 사용자 이미지 및 레퍼런스 이미지의 턱선을 비교한 도면이다. 영상 변형부(140)는 얼굴 분석부(130)의 비교 결과에 따라 도 4에서 보는 바와 같이 사용자 이미지의 턱선 및 레퍼런스 이미지의 턱선의 차이를 알 수 있다. 여기서, 사용자 이미지의 특징점을 대응되는 레퍼런스 이미지의 특징점과 동일하게 변형하는 경우를 1로 가정하면 0.2, 0.5 또는 0.8 등 기 설정된 비율에 따라 사용자 이미지의 특징점을 변형할 수 있다.4 is a view for explaining a face deformation process according to an embodiment of the present invention. In particular, Figure 4 is a view comparing the jawline of the user image and the reference image. As shown in FIG. 4, the image deforming unit 140 may recognize a difference between the jaw line of the user image and the jaw line of the reference image, as shown in FIG. 4. Herein, assuming that the feature point of the user image is modified to be the same as the feature point of the corresponding reference image, the feature point of the user image may be modified according to a preset ratio such as 0.2, 0.5, or 0.8.

또한, 영상 변형부(140)는 얼굴 분석부(130)에서 비교된 특징점들 간의 거리, 비율 등을 이용하여 사용자 이미지를 어느 정보 변형할 것인가를 자동적으로 결정할 수 있다. 예를 들어, 사용자 이미지와 레퍼런스 이미지의 차이가 크지 않은 경우에는 0.5, 0.7 등 높은 비율로 변형하고, 사용자 이미지와 레퍼런스 이미지의 차이가 큰 경우에는 과도한 변형을 방지하기 위해 0.2, 0.3 등 낮은 비율로 변형할 수 있다.In addition, the image transformation unit 140 may automatically determine which information is to be transformed using the distance and the ratio between the feature points compared by the face analyzer 130. For example, if the difference between the user image and the reference image is not large, it is transformed at a high ratio such as 0.5 and 0.7. If the difference between the user image and the reference image is large, it is used at a low ratio such as 0.2 and 0.3 to prevent excessive deformation. It can be modified.

한편, 얼굴의 모든 특징점을 일괄적인 비율로 변형하는 경우 변형 결과가 부자연스럽게 나타나는 경우가 있을 수 있다. 이러한 경우, 영상 변형부(140)는 특징점들 간의 거리, 비율 등에 기초하여 얼굴의 각 영역별로 변화 비율을 상이하게 설정할 수 있다. 예를 들어, 도 4에서 A, B, C 부분을 비교해보면, 사용자 이미지 및 레퍼런스 이미지는 차이는 B > A > C 순으로 크다. 이 때, B는 0.5 비율로, A는 0.3 비율로, C는 0.2 비율로 변화 비율을 상이하게 설정할 수 있다. 또한, 영상 변형부(140)는 가로와 세로의 비율을 고려하여 보다 자연스럽게 보여지는 비율을 결정할 수 있다.On the other hand, when all the feature points of the face are deformed in a batch ratio, the deformation result may appear unnatural. In this case, the image transformation unit 140 may set the change rate differently for each area of the face based on the distance, the ratio, etc. between the feature points. For example, when comparing the portions A, B, and C in FIG. 4, the difference between the user image and the reference image is B> A> C. In this case, B may be set differently at a rate of 0.5, A at a rate of 0.3, and C at a rate of 0.2. In addition, the image transformation unit 140 may determine the ratio that is more naturally seen in consideration of the ratio between the width and the length.

도 5는 본 발명의 다른 실시 예에 따른 영상 변형 장치의 구성을 나타내는 블럭도이다. 도 5에 따르면 영상 변형 장치(100)는 검출부(110), 특징점 보정부(120), 얼굴 분석부(130) 및 영상 변형부(140) 뿐만 아니라 이미지 추천부(150), 입력부(160), 디스플레이부(170), 촬상부(180), 통신부(185), 저장부(190) 및 제어부(195)를 더 포함할 수 있다.5 is a block diagram illustrating a configuration of an image transformation apparatus according to another exemplary embodiment. According to FIG. 5, the image transformation apparatus 100 may include the image detector 150, the inputter 160, as well as the detector 110, the feature point corrector 120, the face analyzer 130, and the image deformer 140. The apparatus may further include a display unit 170, an imaging unit 180, a communication unit 185, a storage unit 190, and a controller 195.

이미지 추천부(150)는 사용자 정보에 기초하여 레퍼런스 이미지를 추천할 수 있다. 본 발명에 따른 영상 변형 장치(100)는 사용자 이미지의 변형을 위해 레퍼런스 이미지가 필요하다. 사용자 이미지 및 레퍼런스 이미지는 입력부(160)를 통해 사용자가 선택할 수 있다. 그러나, 저장부(190)에 사용자가 참조하고자 하는 레퍼런스 이미지가 저장되어 있지 않아 사용자가 직접 레퍼런스 이미지를 검색해야 하는 경우에는 사용자 불편이 있을 수 있다. 이에 따라, 영상 변형 장치(100)는 여러가지 사용자 정보를 이용하여 레퍼런스 이미지를 자동적으로 검색하여 추천할 수 있다. 사용자 정보는 사용자의 성별, 연령, 사용자 이미지 분석 결과, 사용자의 일정, 사용자의 이미지 변형 의도 및 사용자의 현재 위치 중 적어도 하나를 포함할 수 있다. 사용자의 이미지 변형 의도란 예를 들어, 사용자 이미지를 청순하게 또는 섹시하게 변형하고자 하는 사용자 의도를 말한다. The image recommender 150 may recommend a reference image based on the user information. The image transformation apparatus 100 according to the present invention requires a reference image for deformation of a user image. The user image and the reference image may be selected by the user through the input unit 160. However, when the reference image to be referred to by the user is not stored in the storage 190, the user may need to search for the reference image directly. Accordingly, the image transformation apparatus 100 may automatically search for and recommend a reference image using various user information. The user information may include at least one of a user's gender, age, a user image analysis result, a user's schedule, a user's image transformation intention, and a user's current location. The user's intention to modify the image refers to, for example, a user's intention to deform the user's image in an innocent or sexy manner.

사용자의 성별, 연령 사용자의 이미지 변형 의도는 입력부(160)를 통해 입력받을 수 있다. 사용자의 일정은 일정 관리 어플리케이션 등과 연동되어 사용자 일정에 대한 정보를 얻을 수 있으며, 사용자의 현재 위치는 영상 변형 장치(100) 내에 포함된 GPS(Global Positioning System) 또는 Wifi 등으로부터 얻을 수 있다. 그리고, 사용자 이미지 분석 결과는 검출부(110)로부터 얻을 수 있다. The user's gender and age may be input through the input unit 160. The user's schedule may be linked with a schedule management application to obtain information on the user's schedule, and the current position of the user may be obtained from a GPS (Global Positioning System) or Wifi included in the image transformation apparatus 100. The user image analysis result may be obtained from the detector 110.

이미지 추천부(150)는 상술한 사용자 정보를 이용하여 저장부(190) 내에 저장된 이미지 또는 인터넷, 외부 서버 등으로부터 검색한 이미지 등을 레퍼런스 이미지로 추천할 수 있다. 한편, 레퍼런스 이미지에 대한 정보(예를 들어, 성별, 연령)는 인덱스 처리되어 저장부(190) 또는 외부 서버에 저장될 수 있다. 이에 따라 이미지 추천부(150)는 사용자의 성별, 연령과 유사한 이미지를 검색할 수 있으며, 레퍼런스 이미지의 분석 결과를 사용자 이미지 분석 결과와 비교하여 변형에 적합한 레퍼런스 이미지를 추천할 수 있다. 또한, 사용자의 이미지 변형 의도가 입력된 경우 섹시한 이미지, 지적인 이미지 또는 청순한 이미지 등 특정 의도에 맞는 레퍼런스 이미지를 추천할 수 있다. 사용자의 일정 또는 현재 위치는 특정 장소 또는 상황에 맞는 이미지를 추천하기 위해 이용될 수 있다. 예를 들어, 사용자의 일정이 공부, 현재 위치가 학교로 파악된 경우 지적인 이미지를 가지는 레퍼런스 이미지가 추천될 수 있다. The image recommender 150 may recommend an image stored in the storage 190 or an image retrieved from the Internet, an external server, or the like as the reference image using the above-described user information. On the other hand, information (eg, gender, age) about the reference image may be indexed and stored in the storage 190 or an external server. Accordingly, the image recommendation unit 150 may search for an image similar to the gender and age of the user, and recommend a reference image suitable for deformation by comparing the analysis result of the reference image with the user image analysis result. In addition, when a user intends to modify an image, a reference image suitable for a specific intention, such as a sexy image, an intelligent image, or an innocent image, may be recommended. The user's schedule or current location may be used to recommend images suitable for a particular place or situation. For example, when a user's schedule is studied and the current location is identified as a school, a reference image having an intelligent image may be recommended.

입력부(160)는 사용자 명령을 입력받는다. 특히, 입력부(160)는 사용자 이미지 및 레퍼런스 이미지를 선택하기 위한 사용자 명령을 입력받을 수 있으며, 사용자의 성별, 연령 등 사용자 정보를 입력받을 수 있다. 또한, 레퍼런스 이미지가 추천된 경우 추천된 레퍼런스 이미지 중 적어도 하나를 선택하기 위한 사용자 명령을 입력받을 수 있다. 한편, 입력부(160)는 마우스, 키보드, 터치패드, 터치 스크린, 모션 센서 등 다양한 유형의 입력 장치로 구현될 수 있다. The input unit 160 receives a user command. In particular, the input unit 160 may receive a user command for selecting a user image and a reference image, and may receive user information such as gender and age of the user. In addition, when the reference image is recommended, a user command for selecting at least one of the recommended reference images may be input. The input unit 160 may be implemented as various types of input devices such as a mouse, a keyboard, a touch pad, a touch screen, a motion sensor, and the like.

디스플레이부(170)는 이미지를 디스플레이한다. 구체적으로, 영상 변형부(140)에 의해 변형된 사용자 이미지를 디스플레이할 수 있다. 이러한 디스플레이부(170)는 CRT(Cathod Ray Tube), LCD(Liquid Criystal Display), PDP(Plasma Display Panel), OLED(Organic Light Emitting Diode) 등과 같은 다양한 디스플레이 패널로 구현될 수 있다.The display unit 170 displays an image. In detail, the user image modified by the image transformation unit 140 may be displayed. The display unit 170 may be implemented as various display panels such as a cathode ray tube (CRT), a liquid crystal display (LCD), a plasma display panel (PDP), and an organic light emitting diode (OLED).

촬상부(180)는 사용자 이미지를 촬상한다. 구체적으로, 촬상부(180)는 사용자의 얼굴 영역이 포함된 사용자 이미지를 촬상할 수 있다. 즉, 영상 변형 장치(100)의 사용자는 저장부(190)에 저장된 이미지뿐만 아니라 촬상부(180)를 통해 직접 촬상한 이미지를 사용자 이미지로 선택할 수도 있다. 이를 위해, 촬상부(180)는 카메라로 구현될 수 있다. 촬상부(180)는 영상 변형 장치(100)에 내장될 수도 있으며, 영상 변형 장치(100)와 유, 무선으로 연결된 외부 장치로 구현될 수도 있다.The imaging unit 180 captures a user image. In detail, the imaging unit 180 may capture a user image including a face area of the user. That is, the user of the image transformation apparatus 100 may select not only an image stored in the storage 190 but also an image directly captured by the image capturer 180 as a user image. To this end, the imaging unit 180 may be implemented as a camera. The imaging unit 180 may be built in the image transformation apparatus 100 or may be implemented as an external device that is connected to the image transformation apparatus 100 by wire or wirelessly.

통신부(185)는 외부 장치와 통신한다. 특히, 통신부(185)는 인터넷 또는 외부 서버로부터 레퍼런스 이미지를 수신할 수 있으며, 변형된 사용자 이미지를 외부 장치로 전송할 수 있다. 통신부(180)는 근거리 무선 통신 모듈(미도시), 무선 통신 모듈(미도시), GPS 모듈 등과 같은 다양한 통신 모듈을 포함할 수 있다. 여기에서, 근거리 무선 통신 모듈이란 블루투스, 지그비 방식 등과 같은 근거리 무선 통신 방식에 따라, 근거리에 위치한 외부 기기와 통신을 수행하기 위한 모듈이다. 또한, 무선 통신 모듈이란 WiFi, IEEE 등과 같은 무선 통신 프로토콜에 따라 외부 네트워크에 연결되어 통신을 수행하는 모듈이다. 이 밖에 무선 통신 모듈은 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 이동 통신 규격에 따라 이동 통신 망에 접속하여 통신을 수행하는 이동 통신 모듈을 포함할 수도 있다.The communication unit 185 communicates with an external device. In particular, the communication unit 185 may receive a reference image from the Internet or an external server, and transmit the modified user image to the external device. The communicator 180 may include various communication modules such as a short range wireless communication module (not shown), a wireless communication module (not shown), a GPS module, and the like. Here, the short range wireless communication module is a module for performing communication with an external device located in a short range according to a short range wireless communication scheme such as Bluetooth, ZigBee. In addition, the wireless communication module is a module connected to an external network and performing communication according to a wireless communication protocol such as WiFi or IEEE. In addition, the wireless communication module may include a mobile communication module for accessing and communicating with a mobile communication network according to various mobile communication standards such as 3rd generation (3G), 3rd generation partnership project (3GPP), long term evolution (LTE), and the like. It may be.

저장부(190)는 사용자 이미지, 레퍼런스 이미지 및 변형된 사용자 이미지를 저장할 수 있다. 또한, 사용자에 의해 입력된 성별, 연령 등의 사용자 정보를 저장할 수 있다. The storage 190 may store a user image, a reference image, and a modified user image. In addition, user information such as gender and age input by the user may be stored.

제어부(195)는 영상 변형 장치(100)의 전반적인 동작을 제어한다. 구체적으로, 제어부(195)는 검출부(110), 특징점 보정부(120), 얼굴 분석부(130), 영상 변형부(140), 이미지 추천부(150), 입력부(160), 디스플레이부(170), 촬상부(180), 통신부(185), 저장부(190) 각각을 제어하여 사용자 이미지를 변형하도록 제어할 수 있다. The controller 195 controls the overall operation of the image transformation apparatus 100. In detail, the controller 195 may include the detector 110, the feature point corrector 120, the face analyzer 130, the image deformer 140, the image recommender 150, the inputter 160, and the display 170. ), The image capturing unit 180, the communication unit 185, and the storage unit 190 may be controlled to deform the user image.

도 6은 본 발명의 일 실시 예에 따른 영상 변형 방법을 설명하기 위한 흐름도이다. 도 6에 따르면 먼저 사용자 이미지 및 레퍼런스 이미지로부터 특징점 및 각도 정보를 검출한다(S610). 여기서, 사용자 이미지 및 레퍼런스 이미지는 사용자 명령에 의해 선택될 수 있다. 사용자 이미지는 촬상부에 의해 촬상되거나 저장부에 저장된 이미지가 사용될 수 있다. 한편, 사용자 이미지가 선택되면 영상 변형 장치(100)는 사용자 정보에 기초하여 적어도 하나의 레퍼런스 이미지를 추천할 수 있다. 레퍼런스 이미지는 사용자의 성별, 연령, 사용자의 일정, 사용자 이미지 분석 결과, 사용자의 이미지 변형 의도 및 사용자의 현재 위치 중 적어도 하나에 기초하여 추천될 수 있다. 이후, 추천된 레퍼런스 이미지 중 적어도 하나를 선택하기 위한 사용자 명령을 입력될 수 있다. 그리고, 선택된 사용자 이미지 및 레퍼런스 이미지로부터 얼굴 영역의 특징점 및 얼굴의 각도 정보를 검출할 수 있다. 특히, AAM(Active Appearance Model) 기법 등을 이용하여 얼굴 패턴을 미리 학습하여 특징점 위치를 자동적으로 검출할 수 있다. 이에 대해서는 도 2를 참조하여 구체적으로 설명하였으므로 구체적인 생략은 생략하기로 한다.6 is a flowchart illustrating an image transformation method according to an exemplary embodiment. Referring to FIG. 6, first, feature points and angle information are detected from a user image and a reference image (S610). Here, the user image and the reference image may be selected by a user command. The user image may be an image captured by the image pickup unit or an image stored in the storage unit. When the user image is selected, the image transformation apparatus 100 may recommend at least one reference image based on the user information. The reference image may be recommended based on at least one of the gender, age of the user, the schedule of the user, the analysis result of the user image, the intention of the user to modify the image, and the current location of the user. Thereafter, a user command for selecting at least one of the recommended reference images may be input. Then, feature points of the face region and angle information of the face may be detected from the selected user image and the reference image. In particular, by using the AAM (Active Appearance Model) technique, the facial pattern can be learned in advance to automatically detect the feature point position. Since this has been described in detail with reference to FIG. 2, a detailed description thereof will be omitted.

이후, 검출된 각도 정보를 이용하여 사용자 이미지 또는 레퍼런스 이미지의 특징점을 보정한다. 구체적으로, 사용자 이미지 및 레퍼런스 이미지의 얼굴 각도가 상이한 경우 서로 일치되도록 사용자 이미지 또는 레퍼런스 이미지의 특징점을 보정할 수 있다. Then, the feature point of the user image or the reference image is corrected using the detected angle information. In detail, when face angles of the user image and the reference image are different, the feature points of the user image or the reference image may be corrected to match each other.

그리고, 보정된 특징점을 이용하여 사용자 이미지 및 레퍼런스 이미지에 포함된 얼굴 특징을 비교한다(S630). 얼굴 특징은 눈 형태, 코 형태, 입형태 및 턱성 형태 중 적어도 하나를 포함할 수 있다. 구체적으로, 사용자 이미지에 포함된 특징점 간의 상대적 거리 및 레퍼런스 이미지에 포함된 특징점 간의 거리를 비교하여 차이를 산출할 수 있다. 또한, 얼굴 전체, 눈, 코, 입 등의 얼굴 특징에 대해서는 가로 및 세로의 비율 등이 비교될 수도 있다. 얼굴 특징을 비교하는 과정에 대해서는 도 3을 참조하여 구체적으로 설명하였으므로 구체적인 설명은 생략한다.The facial features included in the user image and the reference image are compared using the corrected feature points (S630). Facial features may include at least one of eye shape, nose shape, mouth shape and jaw shape. In detail, the difference may be calculated by comparing the distance between the feature points included in the user image and the distance between the feature points included in the reference image. In addition, the aspect ratio of the entire face, eyes, nose, mouth and the like may be compared with the ratio of the horizontal and vertical. Since the process of comparing facial features has been described in detail with reference to FIG. 3, a detailed description thereof will be omitted.

그리고, 얼굴 특징에 대한 비교 결과를 이용하여 사용자 이미지를 변형한다(S640). 구체적으로, 사용자 이미지의 특징점을 변형함으로써 사용자 이미지를 변형할 수 있다. In operation S640, the user image is modified by using a comparison result with respect to facial features. Specifically, the user image may be modified by modifying the feature points of the user image.

한편, 상술한 본 발명의 다양한 실시 예들에 따른 얼굴 변형 방법은 단말 장치에서 실행 가능한 프로그램으로 구현될 수 있다. 그리고, 이러한 프로그램은 다양한 유형의 기록 매체에 저장되어 사용될 수 있다. Meanwhile, the face transformation method according to the various embodiments of the present disclosure described above may be implemented as a program executable in the terminal device. Such a program can be stored and used in various types of recording media.

구체적으로는, 상술한 방법들을 수행하기 위한 코드는, 플레시메모리, ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electronically Erasable and Programmable ROM), 하드디스크, 리무버블 디스크, 메모리 카드, USB 메모리, CD-ROM 등과 같이, 다양한 유형의 비휘발성 기록 매체에 저장되어 있을 수 있다. Specifically, the code for performing the above-described methods may include a flash memory, a read only memory (ROM), an erasable programmable ROM (EPROM), an electronically erasable and programmable ROM (EPEROM), a hard disk, a removable disk, a memory card, It may be stored in various types of nonvolatile recording media, such as USB memory, CD-ROM, and the like.

이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
While the above has been shown and described with respect to preferred embodiments of the present invention, the present invention is not limited to the specific embodiments described above, it is usually in the technical field to which the invention belongs without departing from the spirit of the invention claimed in the claims. Various modifications can be made by those skilled in the art, and these modifications should not be individually understood from the technical spirit or the prospect of the present invention.

100 : 얼굴 변형 장치 110 : 검출부
120 : 특징점 보정부 130 : 얼굴 분석부
140 : 영상 변형부100: facial deformation device 110: detection unit
120: feature point correction unit 130: face analysis unit
140: image transformation unit

Claims

A detector for detecting feature points of the face region and angle information of the face from the user image and the reference image;
A feature point corrector for correcting a feature point of the user image or the reference image by using the detected angle information;
A face analyzer which compares facial features included in the user image and the reference image by using the corrected feature points; And
And an image deformer configured to deform the user image by using a comparison result of the facial features.
If the face angle information of the user image is different from the face angle information of the reference image, the feature point of the reference image is corrected so that the face angle information of the reference image matches the face angle information of the user image,
The feature point of the user image is corrected such that the face angle information of the user image matches the face angle information of the reference image,
The face analyzer,
Calculating a difference by comparing a distance between feature points included in the user image and a distance between feature points included in the reference image,
The image transformation unit,
And a different ratio of deformation of feature points of the user image based on the calculated difference in distance.

delete

The method of claim 1,
The facial feature,
And an eye shape, a nose shape, a mouth shape, and a jawline shape.

The method of claim 1,
An image recommending unit recommending at least one reference image based on user information; And
And an input unit configured to receive a user command for selecting at least one of the recommended reference images.

The method of claim 5,
The image recommendation unit,
And recommending the reference image based on at least one of a user's gender, age, a user image analysis result, a user's schedule, a user's image transformation intention, and a user's current location.

The method of claim 1,
And the user image and the reference image are 2D images.

Detecting feature points of the face region and angle information of the face from the user image and the reference image;
Correcting a feature point of the user image or the reference image by using the detected angle information;
Comparing facial features included in the user image and the reference image using the corrected feature points; And
And modifying the user image by using the comparison result with respect to the facial feature.
If the face angle information of the user image is different from the face angle information of the reference image, the feature point of the reference image is corrected so that the face angle information of the reference image matches the face angle information of the user image,
The feature point of the user image is corrected such that the face angle information of the user image matches the face angle information of the reference image,
Comparing the facial features,
Calculating a difference by comparing a distance between feature points included in the user image and a distance between feature points included in the reference image,
Deforming the user image,
And a distortion ratio of the feature points of the user image is differently adjusted based on the calculated distance difference.

delete

The method of claim 8,
The facial feature,
And at least one of an eye shape, a nose shape, a mouth shape, and a jawline shape.

The method of claim 8,
Recommending at least one reference image based on the user information; And
And receiving a user command for selecting at least one of the recommended reference images.

The method of claim 12,
Recommend the image,
And recommending the reference image based on at least one of a user's gender, age, a user image analysis result, a user's schedule, a user's image transformation intention, and a user's current location.

The method of claim 8,
And the user image and the reference image are 2D images.