CN107316333A - 一种自动生成日漫肖像的方法 - Google Patents
一种自动生成日漫肖像的方法 Download PDFInfo
- Publication number
- CN107316333A CN107316333A CN201710550145.2A CN201710550145A CN107316333A CN 107316333 A CN107316333 A CN 107316333A CN 201710550145 A CN201710550145 A CN 201710550145A CN 107316333 A CN107316333 A CN 107316333A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- face
- hair
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
- G06T11/203—Drawing of straight lines or curves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Ophthalmology & Optometry (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种自动生成日漫肖像的方法，包括步骤：1、人脸检测和人脸特征点的检测及人脸部位的分割；2、将日漫中辨识度比较高的人脸区域与数据集中对应的人脸区域进行匹配，数据集中每个人脸区域都有其对应的漫画人脸区域；3、利用特征点和日漫的特征生成其他部位的漫画笔画；4、最后将生成的各个部位根据人脸各部位的几何关系合成人脸漫画。通过本发明方法可以根据真实人脸生成日漫这种广受欢迎的二次元漫画形象，具有很高的娱乐性和应用价值。
Description
技术领域
本发明涉及图像处理的技术领域，尤其是指一种自动生成日漫肖像的方法。
背景技术
近年来，随着数字媒体和媒介，日本漫画和动漫越来越广泛地为中国大众接触，也越来越受中国大众尤其是年轻人的喜欢和追捧，“二次元”文化蓬勃发展，其中一个重要的原因就是日本漫画不同于欧美风和中国风的漫画风格和技巧。但是，日漫的绘画需要一定的绘画天分和绘画技巧，没有绘画基础的人想画出满意的日漫往往需要耗费大量时间。除此之外，在移动终端照片美化和各色娱乐应用琳琅满目的今天，人脸的卡通化、素描化越来越受用户的喜欢，相关技术的研究也越来越多。
相关研究工作中，专利CN104077742A中将待合成人脸照片和素描样本划分为互不重叠的像素块，然后提取人脸各个部位的Gabor特征，计算像素块的Stein散度，采用最优权值的的方法合成各个素描像素块；专利CN104123741A中，通过计算二值边缘图像中的非边缘像素点到边缘像素点的距离变换值，来计算训练库中人脸图像和待生成素描人脸图像同一面部器官的距离变换，衡量他们之间的相似度，从而每个部位的人脸素描器官合成素描图像；但是以上方法往往保留了人脸的局部特征，而丢失了人脸全局关系，而且生成的都是素描效果或类似卡通的人脸素描，风格比较单一。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提供了一种自动生成日漫肖像的方法，可以根据真实人脸生成日漫这种广受欢迎的二次元漫画形象，具有很高的娱乐性和应用价值。
为实现上述目的，本发明所提供的技术方案为：一种自动生成日漫肖像的方法，包括以下步骤：
S1、人脸和人脸特征点的检测及人脸部位的分割，步骤如下：
S1.1、利用基于haar特征训练得到的人脸分类器，对待生成日漫肖像的图片进行人脸检测；
S1.2、对S1.1中检测得到的人脸区域进行人脸特征点检测，得到包括左眼右眼各6个点，左眉右眉各5个点，鼻子9个点，嘴巴20个点，人脸轮廓17个点；
S1.3、用S1.2中得到的特征点，将左眼和右眼区域截取出来，获得人脸眼睛区域，将左眉和右眉区域截取出来，获得人脸眉毛区域；
S1.4、将S1.1中检测得到的人脸区域范围扩大到包括头发的区域，先做头发长短的判断，根据下颚以下是否有头发来判断是长发还是短发；
S1.5、在S1.4中判断出长短发的基础上，构造能量函数，使用图割法优化能量函数进行头发区域的分割定位；
S1.6、根据S1.2得到的左右两眼的特征点，找出两眼的中心位置，通过中心位置垂直方向的梯度变化来判断该人脸是否带眼镜；
S2、将日漫中辨识度达到要求的人脸区域，包括眼镜和头发，与数据集中对应的人脸区域进行匹配，数据集中每个人脸区域都有其对应的漫画人脸区域，步骤如下：
S2.1、对S1.3中得到的人眼区域，统计图像的梯度方向局部特征值，提取出图像的Hog特征作为模板，再提取数据库中的候选人眼图像的Hog特征，一一进行距离计算，找出距离最小的候选人眼图像，候选人眼图像对应的漫画人眼就是匹配得到的漫画图像；
S2.2、对S1.5中分割出来的头发掩模，及数据集中的头发漫画的掩模，一一计算图像的二阶和三阶矩，然后构造7维的hu矩特征向量，再计算它们之间的欧式距离，距离最小者为匹配结果；
S3、人脸其他部位漫画笔画的生成，步骤如下：
S3.1、用S1.2中得到的眉毛区域，计算图像垂直方向的梯度，浓密眉毛的垂直梯度总能量大于细眉毛的垂直梯度总能量，由此来区分浓眉和细眉，然后通过B样条曲线连接眉毛特征点来连接特征点得到眉毛的笔画；
S3.2、根据S1.2中得到的鼻子的位置，取其中两个点位置画一条短直线即可得到鼻子；
S3.3、通过嘴巴的特征点之前的对应关系，判断嘴巴的张闭状态，然后生成嘴巴漫画；
S3.4、根据S1.2中得到脸颊轮廓的特征点，将下巴最底端两边各两个特征点舍弃，用B样条曲线拟合剩余的点，使得连接得到的漫画脸颊轮廓下巴更加尖锐；
S4、根据原来人脸的各个部位之间对应的几何关系，将S2和S3中匹配得到和生成的漫画进行组合，得到最终的日漫风格的人脸漫画。
在S1.4中，所述先做发型的判断，根据下颚以下是否有头发来判断是长发还是短发，具体如下：
对测试的人脸图像，利用S1.2中得到的人脸特征点，找出人脸区域中的三个点，分别为脖颈两侧与人脸的交界点和下颚底端，三个点的坐标为：P1(x1,y1),P2(x2,y2),P3(x3,y3)，其中，x1,x2,x3为横坐标，y1,y2,y3为纵坐标；
将测试的人脸图像转化为灰度图像，因为头发的颜色相对皮肤和背景通常都是颜色较深的部分，所以利用训练数据通过大量实验，能够确定一个灰度阈值t，利用此阈值做图像二值化，小于t取0，大于t取1，得到的二值化图像，能够将头发这种灰度值达不到要求的区域与其他区域区分开；
统计每一行值为0的像素个数，从而得到每一行值为0的像素点个数，得到头发统计直方图histv，通过判断下颚底端及下颚底端设定距离中每一行是否存在像素为0的点，即下颚底端及下颚底端设定距离的histv是否大于0来判断下颚底端和下颚底端设定距离中是否存在头发，从而判断头发的长短。
在S1.5中，所述在S1.4中判断长短发的基础上，构造能量函数，使用图割法进行头发区域的定位，具体如下：
首先在已经标注好头发区域的训练集中，将训练数据分为长发和短发两种类型的图片，对长发和短发，分别统计人脸图像头发位置的先验分布，对于像素i对应的标记结果，用P(li)表示，li为标签，假设整幅图像的标签为L＝{l1,l2,...,li,...,lN},li为0表示头发区域，1表示非头发区域，P(li)能够通过计算训练图像中该像素位置属于头发区域的次数和训练图像数量之间的比值得到；
接着，要构造图割法的能量函数，图割法的能量函数主要由两部分组成，一部分为区域项R(L)，一部分为边界项B(L)：
E(L)＝aR(L)+B(L)
其中，
其中，区域项R(L)利用训练集中的先验分布计算，P(li)为像素i分配标签li的概率，为图像中每个像素x分配使其概率最大的标签，为使能量最小，所以取负数；而在边界项B(L)中，p和q为邻域像素,Ip和Iq分别为p和q的像素值，N为图像所有像素集合，δ(lp,lq)为示性函数，lp和lq为像素p和q的标签，B＜p,q＞用来衡量像素p和q之间的相似性，σ2为像素的方差，B＜p,q＞越小表示像素p和q差别越大；
对于图割法的能量函数E(L)，使用最大流法对能量函数进行优化，得到最终整幅图像的标签结果，从而得到分割出来的头发区域。
在S1.6中，所述找出两眼的中心位置，通过中心位置垂直方向的梯度变化来判断该人脸是否带眼镜，具体如下：
利用S1.2中得到的人眼特征点的位置，计算出两只眼镜的正中心位置，在正中心位置，取一块矩形区域，因为当存在眼镜的时候，眼镜正中间的镜框因为颜色相对皮肤都比较深，因此，镜框所在位置一整条横线的梯度都会比较大；
对这个矩形区域，转化为灰度图像，计算整幅图像在垂直方向上的梯度，然后获取这个矩形区域每一列上梯度最大的两个值，并且将最大值和第二大值的纵坐标分别记为ai∈A,bi＝B,i＝1,2,...,n，其中n为图像列数，A和B为坐标集合，A和B集合的均值分别为μA和μB，接着分别计算像素纵坐标A和B的方差var(A)、var(B)：
若存在眼镜，眼镜正中间镜框处的梯度变化主要集中在同一个竖直坐标附近，所以这个竖直坐标的大小会比较集中，所以当竖直坐标集合A和B的方差var(A)、var(B)都小于设定的阈值的话，即可判定该人脸存在眼镜。
在S3.1中，所述用S1.2中得到的眉毛区域，计算图像垂直方向的梯度，浓密眉毛的垂直梯度总能量大于细眉毛的垂直梯度总能量，由此来区分浓眉和细眉，通过B样条曲线连接特征点来得到眉毛的笔画，而生成的浓眉和细眉的曲线具体如下：
对于细眉，直接通过B样条曲线连接S1.2中得到的眉毛的五个点；
对于浓眉，首先通过B样条曲线拟合S1.2中得到的眉毛的五个点，然后再连接第一个点和第五个点。
在S3.4中，所述根据S1.2中得到脸颊轮廓的特征点，将下巴两边的部分特征点舍弃，使得连接得到的漫画脸颊轮廓下巴更加尖锐，具体如下：
对检测到的特征点，舍弃下巴最底端两边各两个点，用B样条曲线拟合剩余的点，即可得到日漫中人物下巴比较尖锐的效果。
本发明与现有技术相比，具有如下优点与有益效果：
1、与现有的生成卡通人脸具有明显的不同，本发明生成的是日漫风格的人脸漫画，日漫是现在最受欢迎的漫画风格，日漫风格人脸的生成娱乐性更高。
2、为生成的动漫肖像增加了头发区域，使生成的效果更栩栩如生。
3、简化了一些区分性并不明显的特征，处理特点最为突出的人脸部位，简化了算法整体结构。
附图说明
图1为本发明方法流程图。
图2为本发明步骤S1.6中所述的检测人脸是否带有眼镜的方法中所提及的示意图。
图3a为本发明步骤S3.1中所述的得到细眉漫画笔画的示意图。
图3b为本发明步骤S3.1中所述的得到浓眉漫画笔画的示意图。
图4为本发明步骤S3.4中所述的绘画人脸脸颊轮廓方法的示意图。
具体实施方式
下面结合具体实施例对本发明作进一步说明。
如图1所示，本实施例所提供的自动生成日漫肖像的方法，可以使用软件编程技术自动实现人脸漫画生成的步骤，对输入的一张待生成漫画的人脸照片，具体步骤如下：
S1、人脸检测、人脸特征点检测和人脸部位分割：
S1.1、用基于haar特征的分类器，对输入的人脸照片进行人脸检测，找出照片中人脸的位置。
S1.2、对S1.1中检测得到的人脸区域，使用回归的局部二值特征的方法进行人脸特征点检测，得到68各特征点，包括左眼右眼各6个点，左眉右眉各5个点，鼻子9个点，嘴巴20个点，人脸轮廓17个点。
S1.3、用S1.2中得到的特征点，确定眼睛区域的位置，将左眼和右眼区域截取出来，获得人脸眼睛区域；确定眼睛区域的位置，将左眉和右眉区域截取出来，获得人脸眉毛区域。
S1.4、对S1.1中检测得到的人脸区域，扩展到包括头发的区域，先做发型的估计，根据下颚以下是否有头发来判断是长发还是短发，对测试的人脸图像，利用S1.2中得到的人脸特征点，找出人脸区域中的三个点，如图2所示，分别为脖颈两侧与人脸的交界点和下颚底端，三个点的坐标为P1(x1,y1),P2(x2,y2),P3(x3,y3),其中,x1,x2,x3为横坐标,y1,y2,y3为纵坐标；接着将测试的人脸图像转化为灰度图像，因为头发的颜色相对皮肤和背景一般都是颜色较深的部分，所以利用训练数据通过大量实验，本方法可以确定一个灰度阈值t，利用此阈值做图像二值化，小于t取0，大于t取1，得到的二值化图像，可以基本将头发这种暗色的区域与其他区域大致区分开。然后统计每一行值为0的像素个数，从而得到每一行值为0的像素点个数，得到头发统计直方图histv,通过判断下颚底端及下颚底端一段距离中每一行是否存在像素为0的点,即判断下颚底端及下颚底端一段距离中每一行距离的histv是否大于0来判断下颚底端和下颚底端一段距离中是否存在头发，从而判断头发的长短。
S1.5、在S1.4中判断长短发的基础上，构造能量函数，使用图割法进行头发区域的分割定位：
首先在已经标注好头发区域的训练集中，将训练数据分为长发和短发两种类型的图片，对长发和短发，分别统计人脸图像头发位置的先验分布，对于像素i对应的标记结果，用P(li)表示，li为标签，假设整幅图像的标签为L＝{l1,l2,...,li,...,lN},li为0表示头发区域，1表示非头发区域，P(li)可以通过计算训练图像中该像素位置属于头发区域的次数和训练图像数量之间的比值得到；
接着，要构造图割法的能量函数，图割法的能量函数主要由两部分组成，一部分为区域项R(L)，一部分为边界项B(L)：
E(L)＝aR(L)+B(L)
其中，
其中，区域项R(L)利用训练集中的先验分布计算，P(li)为像素i分配标签li的概率，我们希望图像中每个像素x分配为其概率最大的标签，为使能量最小，所以取负数。
而在边界项B(L)中，p和q为邻域像素,Ip和Iq为像素值，N为图像所有像素集合，δ(lp,lq)为示性函数，lp和lq为像素p和q的标签，B＜p,q＞用来衡量像素p和q之间的相似性，σ2为像素的方差，B＜p,q＞越小表示像素p和q差别越大。边界项B(L)表示如果两邻域像素差别很小，那么它属于同一个目标或者同一背景的可能性就很大，如果它们的差别很大，那说明这两个像素很有可能处于目标和背景的边缘部分，则被分割开的可能性比较大。
然后对于图割法的能量函数E(L)，可以使用最大流法对能量函数进行优化，得到最终整幅图像的标签结果，从而得到分割出来的头发区域。
S1.6、根据S1.2得到的左右两眼的特征点，由左右两只眼睛的特征点计算两眼的中心位置，取一块如图2中所示10×30大小的矩形区域，参见图2可以看出，当存在眼镜的时候，眼镜正中间的镜框因为颜色一般相对皮肤都比较深，因此，镜框所在位置一整条横线的梯度都会比较大。
提取出这个矩形区域，转化为灰度图像，计算整个矩形图像在垂直方向上的梯度值，然后获取这个矩形区域每一列上梯度最大的两个值，并且将最大值和第二大值的纵坐标分别记为,ai∈A,bi＝B,i＝1,2,...,n,n为图像列数，接着分别计算像素纵坐标A和B的方差var(A)、var(B)：
假如存在眼镜的话，眼镜正中间镜框处的梯度变化主要集中在同一个竖直坐标附近，所以这个竖直坐标的大小会比较集中，所以当竖直坐标集合A和B的方差var(A)、var(B)小于设定的阈值的话，可以判定该人脸存在眼镜。
S2、将日漫中辨识度比较高的人脸区域与数据集中对应的人脸区域进行匹配，数据集中每个人脸区域都有其对应的漫画人脸区域，具体步骤为：
S2.1、对S1.3中得到的人眼区域，统计图像的梯度方向局部特征值，提取出图像的Hog特征作为模板，再提取数据库中的候选人眼图像的Hog特征，一一进行欧式距离计算，找出距离最小的候选人眼图像，候选人眼图像对应的漫画人眼就是匹配得到的人眼漫画图像。
S2.2、对S1.5中分割出来的头发掩模，由图像的二阶和三阶归一化中心矩构造7个不变矩，由这7个不变矩构造7维的形状特征向量，对数据集中的每一个头发，同样计算对应的hu矩构造7维特征向量，然后将分割出来的头发掩模和数据集中的头发漫画的掩模一一计算特征向量的欧式距离，距离最小者为匹配结果。
S3、人脸其他部位漫画笔画的生成：
S3.1、计算图像垂直方向的梯度，浓密眉毛的垂直梯度总能量大于细眉毛的垂直梯度总能量，由此来区分浓眉和细眉，通过B样条曲线连接特征点来连接特征点得到眉毛的笔画，生成的浓眉和细眉的曲线的具体为：
对于细眉，直接通过B样条曲线连接S1.2中得到的眉毛的五个点，如图3a所示；
对于浓眉，首先通过B样条曲线拟合S1.2中得到的眉毛的五个点，然后再连接第一个点和第五个点，如图3b所示。
S3.2、由于日漫中的鼻子比较简单，基本都是由简单的短斜线作为表示，因此根据S1.2中得到的鼻子的位置，取鼻子正中心的一个点和其旁边的一个点，连接两个点画一条短直线就可以得到鼻子。
S3.3、嘴巴漫画的生成首先要判断嘴巴是闭上的还是张开的，本发明通过闭嘴和张嘴时候嘴角和中间嘴唇的关系来判断嘴巴状态，对张嘴的，通过连接上嘴唇和下嘴唇的特征点来得到漫画嘴巴，对于闭嘴的，上下嘴唇重合，因此只连接上嘴唇的特征点。
S3.4、脸颊轮廓线的生成也要考虑日漫特有的风格，根据S1.2中得到脸颊轮廓的特征点，如图4所示，对检测到的特征点，舍弃下巴最底端两边各两个点，用B样条曲线拟合剩余的点，可以得到日漫中人物下巴比较尖锐的效果，这样做可以使得连接得到的漫画脸颊轮廓下巴更加尖锐，更像日漫人物连接轮廓的特征，同时保留了原来人脸的基本脸型姿态特征。
S4、根据原来人脸的各个部位之间的关系，将S2和S3中匹配得到和生成的漫画按照原来人脸各个区域之间的位置关系进行组合，得到最终的日漫风格的人脸漫画。
以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。
Claims (6)
1.一种自动生成日漫肖像的方法，其特征在于，包括以下步骤：
S1、人脸和人脸特征点的检测及人脸部位的分割，步骤如下：
S1.1、利用基于haar特征训练得到的人脸分类器，对待生成日漫肖像的图片进行人脸检测；
S1.2、对S1.1中检测得到的人脸区域进行人脸特征点检测，得到包括左眼右眼各6个点，左眉右眉各5个点，鼻子9个点，嘴巴20个点，人脸轮廓17个点；
S1.3、用S1.2中得到的特征点，将左眼和右眼区域截取出来，获得人脸眼睛区域，并将左眉和右眉区域截取出来，获得人脸眉毛区域；
S1.4、将S1.1中检测得到的人脸区域范围扩大到包括头发的区域，先做头发长短的判断，根据下颚以下是否有头发来判断是长发还是短发；
S1.5、在S1.4中判断出长短发的基础上，构造能量函数，使用图割法优化能量函数进行头发区域的分割定位；
S1.6、根据S1.2得到的左右两眼的特征点，得到两眼的中心位置，通过中心位置垂直方向的梯度变化来判断该人脸是否带眼镜；
S2、将日漫中辨识度达到要求的人脸区域，包括眼镜和头发，与数据集中对应的人脸区域进行匹配，并且数据集中每个人脸区域都有其对应的漫画人脸区域，步骤如下：
S2.1、对S1.3中得到的人眼区域，统计图像的梯度方向局部特征值，提取出图像的Hog特征作为模板，再提取数据库中的候选人眼图像的Hog特征，一一进行欧式距离计算，找出距离最小的候选人眼图像，候选人眼图像对应的漫画人眼就是匹配得到的漫画图像；
S2.2、将S1.5中分割出来的头发掩模与数据集中的头发漫画的掩模，一一计算图像的二阶和三阶矩，然后构造7维的hu矩特征向量，再计算它们之间的欧式距离，距离最小者为匹配结果；
S3、人脸其他部位漫画笔画的生成，步骤如下：
S3.1、用S1.2中得到的眉毛区域，计算图像垂直方向的梯度来判断眉毛是浓眉还是细眉，浓密眉毛的垂直梯度总能量大于细眉毛的垂直梯度总能量，由此来区分浓眉和细眉，然后通过B样条曲线连接眉毛特征点来连接特征点得到眉毛的笔画；
S3.2、根据S1.2中得到的鼻子的位置，取其中两个点位置画一条短直线即可得到鼻子；
S3.3、通过嘴巴的特征点之前的对应关系，判断嘴巴的张闭状态，然后生成嘴巴的漫画图像；
S3.4、根据S1.2中得到脸颊轮廓的特征点，将下巴最底端位置特征点的两边各两个特征点舍弃，用B样条曲线拟合剩余的点，使得连接得到的漫画脸颊轮廓下巴有尖锐的效果；
S4、根据原来人脸的各个部位之间具有的几何关系，将S2和S3中匹配得到的漫画和生成得到的漫画进行组合，得到最终的日漫风格的人脸漫画。
2.根据权利要求1所述的一种自动生成日漫肖像的方法，其特征在于：在S1.4中，所述先做发型的判断，根据下颚以下是否有头发来判断是长发还是短发，具体如下：
对测试的人脸图像，利用S1.2中得到的人脸特征点，找出人脸区域中的三个点，分别为脖颈两侧与人脸的交界点和下颚底端，三个点的坐标为P1(x1,y1),P2(x2,y2),P3(x3,y3)，其中，x1,x2,x3为横坐标，y1,y2,y3为纵坐标；
将测试的人脸图像转化为灰度图像，因为头发的灰度值对比皮肤和背景是灰度值最小的部分，所以利用训练数据通过大量实验，能够确定一个灰度阈值t，利用此阈值做图像二值化，小于t取0，大于t取1，得到二值化图像，从而能够将头发这种灰度值达不到阈值的区域与其他区域区分开；
统计每一行值为0的像素个数，从而得到每一行值为0的像素点个数，得到头发统计直方图histv，通过判断下颚底端及下颚底端固定距离中每一行是否存在像素为0的点，即下颚底端及下颚底端固定距离的histv是否大于0来判断下颚底端和下颚底端固定距离中是否存在头发，从而判断头发的长短。
3.根据权利要求1所述的一种自动生成日漫肖像的方法，其特征在于：在S1.5中，所述在S1.4中判断长短发的基础上，构造能量函数，使用图割法进行头发区域的定位，具体如下：
首先在已经标注好头发区域的训练集中，将训练数据分为长发和短发两种类型的图片，对长发和短发，分别统计人脸图像头发位置的先验分布，对于像素i对应的标记结果，用P(li)表示，li为标签，假设整幅图像的标签为L＝{l1,l2,...,li,...,lN},li为0表示头发区域，1表示非头发区域，P(li)能够通过计算训练图像中该像素位置属于头发区域的次数和训练图像数量之间的比值得到；
接着，要构造图割法的能量函数，图割法的能量函数主要由两部分组成，一部分为区域项R(L)，一部分为边界项B(L)：
E(L)＝aR(L)+B(L)
<mrow>
<mi>R</mi>
<mrow>
<mo>(</mo>
<mi>L</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mo>-</mo>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>&Element;</mo>
<mi>N</mi>
</mrow>
</munder>
<mi>log</mi>
<mi> </mi>
<mi>P</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>l</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>B</mi>
<mrow>
<mo>(</mo>
<mi>L</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mo>{</mo>
<mi>p</mi>
<mo>,</mo>
<mi>q</mi>
<mo>}</mo>
<mo>&Element;</mo>
<mi>N</mi>
</mrow>
</munder>
<msub>
<mi>B</mi>
<mrow>
<mo><</mo>
<mi>p</mi>
<mo>,</mo>
<mi>q</mi>
<mo>></mo>
</mrow>
</msub>
<mo>&CenterDot;</mo>
<mi>&delta;</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>l</mi>
<mi>p</mi>
</msub>
<mo>,</mo>
<msub>
<mi>l</mi>
<mi>q</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
其中，
<mrow>
<mi>&delta;</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>l</mi>
<mi>p</mi>
</msub>
<mo>,</mo>
<msub>
<mi>l</mi>
<mi>q</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "}">
<mtable>
<mtr>
<mtd>
<mrow>
<mn>0</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>i</mi>
<mi>f</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>l</mi>
<mi>p</mi>
</msub>
<mo>=</mo>
<msub>
<mi>l</mi>
<mi>q</mi>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>1</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>i</mi>
<mi>f</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>l</mi>
<mi>p</mi>
</msub>
<mo>&NotEqual;</mo>
<msub>
<mi>l</mi>
<mi>q</mi>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
<mrow>
<msub>
<mi>B</mi>
<mrow>
<mo><</mo>
<mi>p</mi>
<mo>,</mo>
<mi>q</mi>
<mo>></mo>
</mrow>
</msub>
<mo>=</mo>
<mi>exp</mi>
<mrow>
<mo>(</mo>
<mo>-</mo>
<mfrac>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>I</mi>
<mi>p</mi>
</msub>
<mo>-</mo>
<msub>
<mi>I</mi>
<mi>q</mi>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mrow>
<mn>2</mn>
<msup>
<mi>&sigma;</mi>
<mn>2</mn>
</msup>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
</mrow>
其中，区域项R(L)利用训练集中的先验分布计算，P(li)为像素i分配标签li的概率，图像中每个像素x分配为使其概率最大的标签，以此构造能量函数，为使能量最小，所以取负数；而在边界项B(L)中，p和q为邻域像素,Ip和Iq为像素值，N为图像所有像素集合，δ(lp,lq)为示性函数，lp和lq为像素p和q的标签，B＜p,q＞用来衡量像素p和q之间的相似性，σ2为像素的方差，B＜p,q＞越小表示像素p和q差别越大；
对于图割法的能量函数E(L)，使用最大流法对能量函数进行优化，得到最终整幅图像的标签结果，从而得到分割出来的头发区域。
4.根据权利要求1所述的一种自动生成日漫肖像的方法，其特征在于：在S1.6中所述找出两眼的中心位置，通过中心位置垂直方向的梯度变化来判断该人脸是否带眼镜，具体如下：
利用S1.2中得到的人眼特征点的位置，计算出两只眼镜的正中心位置，在正中心位置，取一块矩形区域，因为当存在眼镜的时候，眼镜正中间的镜框因为灰度值比皮肤的灰度值小，因此，镜框所在位置一整条横线的梯度值比其他位置的梯度值大；
对这个矩形区域，转化为灰度图像，计算整幅图像在垂直方向上的梯度，然后获取这个矩形区域每一列上梯度最大的两个值，并且将最大值和第二大值的纵坐标分别记为ai∈A,bi＝B,i＝1,2,...,n，其中n为图像列数，A和B为坐标集合，A和B集合的均值分别为μA和μB，接着分别计算像素纵坐标A和B的方差var(A)、var(B)：
<mrow>
<mi>var</mi>
<mrow>
<mo>(</mo>
<mi>A</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mi>n</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>a</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mi>&mu;</mi>
<mi>A</mi>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
<mrow>
<mi>var</mi>
<mrow>
<mo>(</mo>
<mi>B</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mi>n</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>b</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mi>&mu;</mi>
<mi>B</mi>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
若存在眼镜，眼镜正中间镜框处的梯度变化主要集中在同一个竖直坐标附近，所以这个竖直坐标的大小会比较集中，所以当竖直坐标集合A和B的方差var(A)、var(B)都小于设定的阈值的话，即可判定该人脸存在眼镜。
5.根据权利要求1所述的一种自动生成日漫肖像的方法，其特征在于：在S3.1中，所述用S1.2中得到的眉毛区域，计算图像垂直方向的梯度，浓密眉毛的垂直梯度总能量大于细眉毛的垂直梯度总能量，由此来区分浓眉和细眉，通过B样条曲线连接特征点来得到眉毛的笔画，而生成的浓眉和细眉的曲线具体如下：
对于细眉，直接通过B样条曲线连接S1.2中得到的眉毛的五个点；
对于浓眉，首先通过B样条曲线拟合S1.2中得到的眉毛的五个点，然后再连接第一个点和第五个点。
6.根据权利要求1所述的一种自动生成日漫肖像的方法，其特征在于：在S3.4中，所述根据S1.2中得到脸颊轮廓的特征点，将下巴最底端位置特征点的两边各两个特征点舍弃，使得连接得到的漫画脸颊轮廓下巴有尖锐的效果，具体如下：
对检测到的特征点，舍弃下巴最底端两边各两个点，用B样条曲线拟合剩余的点，即可得到日漫中人物下巴尖锐的效果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710550145.2A CN107316333B (zh) | 2017-07-07 | 2017-07-07 | 一种自动生成日漫肖像的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710550145.2A CN107316333B (zh) | 2017-07-07 | 2017-07-07 | 一种自动生成日漫肖像的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107316333A true CN107316333A (zh) | 2017-11-03 |
| CN107316333B CN107316333B (zh) | 2019-10-18 |
Family
ID=60178469
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710550145.2A Expired - Fee Related CN107316333B (zh) | 2017-07-07 | 2017-07-07 | 一种自动生成日漫肖像的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107316333B (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107945244A (zh) * | 2017-12-29 | 2018-04-20 | 哈尔滨拓思科技有限公司 | 一种基于人脸照片的简笔画生成方法 |
| CN108009470A (zh) * | 2017-10-20 | 2018-05-08 | 深圳市朗形网络科技有限公司 | 一种图像提取的方法和装置 |
| CN108109115A (zh) * | 2017-12-07 | 2018-06-01 | 深圳大学 | 人物图像的增强方法、装置、设备及存储介质 |
| CN108596839A (zh) * | 2018-03-22 | 2018-09-28 | 中山大学 | 一种基于深度学习的人脸漫画生成方法及其装置 |
| CN109829486A (zh) * | 2019-01-11 | 2019-05-31 | 新华三技术有限公司 | 图像处理方法和装置 |
| CN109902635A (zh) * | 2019-03-04 | 2019-06-18 | 司法鉴定科学研究院 | 一种基于示例图形的人像特征标识方法 |
| CN109919081A (zh) * | 2019-03-04 | 2019-06-21 | 司法鉴定科学研究院 | 一种自动化辅助人像特征标识方法 |
| CN110276809A (zh) * | 2018-03-15 | 2019-09-24 | 深圳市紫石文化传播有限公司 | 用于人脸图像处理的方法和装置 |
| CN110414345A (zh) * | 2019-06-25 | 2019-11-05 | 北京汉迪移动互联网科技股份有限公司 | 卡通图像生成方法、装置、设备及存储介质 |
| CN112489173A (zh) * | 2020-12-11 | 2021-03-12 | 杭州格像科技有限公司 | 人像照片漫画生成的方法和系统 |
| CN112907569A (zh) * | 2021-03-24 | 2021-06-04 | 北京房江湖科技有限公司 | 头部图像区域的分割方法、装置、电子设备和存储介质 |
| CN113537259A (zh) * | 2020-04-17 | 2021-10-22 | 阿里巴巴集团控股有限公司 | 物体简笔画的自动生成方法及装置 |
| CN114219704A (zh) * | 2021-12-16 | 2022-03-22 | 上海幻电信息科技有限公司 | 动漫形象生成方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101477696A (zh) * | 2009-01-09 | 2009-07-08 | 彭振云 | 一种人物漫画图像生成方法及装置 |
| CN101527049A (zh) * | 2009-03-31 | 2009-09-09 | 西安交通大学 | 一种基于样本学习的多风格人脸卡通画生成方法 |
| CN103218838A (zh) * | 2013-05-11 | 2013-07-24 | 苏州华漫信息服务有限公司 | 一种用于人脸卡通化的自动头发绘制方法 |
| CN103456010A (zh) * | 2013-09-02 | 2013-12-18 | 电子科技大学 | 一种基于特征点定位的人脸卡通画生成方法 |
-
2017
- 2017-07-07 CN CN201710550145.2A patent/CN107316333B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101477696A (zh) * | 2009-01-09 | 2009-07-08 | 彭振云 | 一种人物漫画图像生成方法及装置 |
| CN101527049A (zh) * | 2009-03-31 | 2009-09-09 | 西安交通大学 | 一种基于样本学习的多风格人脸卡通画生成方法 |
| CN103218838A (zh) * | 2013-05-11 | 2013-07-24 | 苏州华漫信息服务有限公司 | 一种用于人脸卡通化的自动头发绘制方法 |
| CN103456010A (zh) * | 2013-09-02 | 2013-12-18 | 电子科技大学 | 一种基于特征点定位的人脸卡通画生成方法 |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108009470B (zh) * | 2017-10-20 | 2020-06-16 | 深圳市朗形网络科技有限公司 | 一种图像提取的方法和装置 |
| CN108009470A (zh) * | 2017-10-20 | 2018-05-08 | 深圳市朗形网络科技有限公司 | 一种图像提取的方法和装置 |
| CN108109115A (zh) * | 2017-12-07 | 2018-06-01 | 深圳大学 | 人物图像的增强方法、装置、设备及存储介质 |
| CN107945244A (zh) * | 2017-12-29 | 2018-04-20 | 哈尔滨拓思科技有限公司 | 一种基于人脸照片的简笔画生成方法 |
| CN110276809A (zh) * | 2018-03-15 | 2019-09-24 | 深圳市紫石文化传播有限公司 | 用于人脸图像处理的方法和装置 |
| CN108596839A (zh) * | 2018-03-22 | 2018-09-28 | 中山大学 | 一种基于深度学习的人脸漫画生成方法及其装置 |
| CN109829486A (zh) * | 2019-01-11 | 2019-05-31 | 新华三技术有限公司 | 图像处理方法和装置 |
| CN109902635A (zh) * | 2019-03-04 | 2019-06-18 | 司法鉴定科学研究院 | 一种基于示例图形的人像特征标识方法 |
| CN109919081A (zh) * | 2019-03-04 | 2019-06-21 | 司法鉴定科学研究院 | 一种自动化辅助人像特征标识方法 |
| CN110414345A (zh) * | 2019-06-25 | 2019-11-05 | 北京汉迪移动互联网科技股份有限公司 | 卡通图像生成方法、装置、设备及存储介质 |
| CN113537259A (zh) * | 2020-04-17 | 2021-10-22 | 阿里巴巴集团控股有限公司 | 物体简笔画的自动生成方法及装置 |
| CN112489173A (zh) * | 2020-12-11 | 2021-03-12 | 杭州格像科技有限公司 | 人像照片漫画生成的方法和系统 |
| CN112489173B (zh) * | 2020-12-11 | 2025-03-28 | 杭州格像科技有限公司 | 人像照片漫画生成的方法和系统 |
| CN112907569A (zh) * | 2021-03-24 | 2021-06-04 | 北京房江湖科技有限公司 | 头部图像区域的分割方法、装置、电子设备和存储介质 |
| CN112907569B (zh) * | 2021-03-24 | 2024-03-15 | 贝壳找房(北京)科技有限公司 | 头部图像区域的分割方法、装置、电子设备和存储介质 |
| CN114219704A (zh) * | 2021-12-16 | 2022-03-22 | 上海幻电信息科技有限公司 | 动漫形象生成方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107316333B (zh) | 2019-10-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107316333B (zh) | 一种自动生成日漫肖像的方法 | |
| CN104834898B (zh) | 一种人物摄影图像的质量分类方法 | |
| CN102332095B (zh) | 一种人脸运动跟踪方法和系统以及一种增强现实方法 | |
| CN104850825B (zh) | 一种基于卷积神经网络的人脸图像颜值计算方法 | |
| CN103810490B (zh) | 一种确定人脸图像的属性的方法和设备 | |
| Lin | Face detection in complicated backgrounds and different illumination conditions by using YCbCr color space and neural network | |
| CN108629336B (zh) | 基于人脸特征点识别的颜值计算方法 | |
| WO2017107957A1 (zh) | 人脸图像的检索方法及装置 | |
| CN102436636B (zh) | 自动分割头发的方法及其系统 | |
| CN102436637B (zh) | 从头部图像中自动分割头发的方法及其系统 | |
| CN102013011B (zh) | 基于正脸补偿算子的多姿态人脸识别方法 | |
| CN106778506A (zh) | 一种融合深度图像和多通道特征的表情识别方法 | |
| CN102194108B (zh) | 一种聚类线性鉴别分析特征选择的笑脸表情识别方法 | |
| CN104794693B (zh) | 一种人脸关键区域自动检测蒙版的人像优化方法 | |
| CN105160317A (zh) | 一种基于区域分块行人性别识别方法 | |
| CN109034099A (zh) | 一种表情识别方法及装置 | |
| CN105512638A (zh) | 一种基于融合特征的人脸检测与对齐方法 | |
| CN108510500B (zh) | 一种基于人脸肤色检测的虚拟人物形象的头发图层处理方法及系统 | |
| CN104331683B (zh) | 一种具有噪声鲁棒性的人脸表情识别方法 | |
| CN103310194A (zh) | 视频中基于头顶像素点梯度方向的行人头肩部检测方法 | |
| CN110598030A (zh) | 一种基于局部cnn框架的甲骨拓片分类方法 | |
| CN103093470A (zh) | 一种具有尺度无关特性的快速多模态图像协同分割方法 | |
| CN106203329A (zh) | 一种基于眉毛建立身份标识模板及进行身份识别的方法 | |
| CN104794449A (zh) | 基于人体hog特征的步态能量图获取及身份识别方法 | |
| CN111274883A (zh) | 基于多尺度hog特征和深层特征的合成素描人脸识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20191018 |