CN105608699B - 一种图像处理方法及电子设备 - Google Patents
一种图像处理方法及电子设备 Download PDFInfo
- Publication number
- CN105608699B CN105608699B CN201510997367.XA CN201510997367A CN105608699B CN 105608699 B CN105608699 B CN 105608699B CN 201510997367 A CN201510997367 A CN 201510997367A CN 105608699 B CN105608699 B CN 105608699B
- Authority
- CN
- China
- Prior art keywords
- image
- subgraph
- area
- pixel point
- personage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种图像处理方法,用于提供一种较好的对图像中的人物进行抠图的方法。所述方法包括:获取第一人物在第一图像中的人脸图像;根据所述人脸图像在所述第一图像中确定第一区域;所述第一区域用于指示所述第一人物的子图像在所述第一图像中的轮廓;根据所述第一人物的子图像在所述第一图像中的轮廓,确定所述第一图像的第二区域中包括的每个像素点是前景像素点或背景像素点;根据确定的所述前景像素点、所述背景像素点、以及所述第一图像的深度信息,从所述第一图像中获取所述第一人物对应的子图像。本发明还公开了相应的电子设备。
Description
技术领域
本发明涉及图像处理技术领域,特别涉及一种图像处理方法及电子设备。
背景技术
随着科学技术的不断发展,电子技术也得到了飞速的发展,电子产品的种类也越来越多,人们也享受到了科技发展带来的各种便利。比如,PC(个人计算机)、PAD(平板电脑)手机等电子设备已经成为人们生活中一个不可或缺的部分,而应用在这些电子设备上的图像处理技术也得到了飞速发展。
现有技术中,用户若想要对一张图像中的人物进行抠图,可能需要用户与电子设备进行交互,将目标人物从图像中选择出来,比如,将目标人物的轮廓勾勒出来,再对用户选择的部分图像进行抠图,从而获取人物图像。这样的方式较为依赖于用户的操作,需要用户执行的步骤较为繁琐,电子设备需要多次响应用户的操作,增加了电子设备的负担,且由于用户操作可能会不太准确,从而导致抠图的效果不理想。
可见,现有技术中尚无较好的对图像中的人物进行抠图的方法。
发明内容
本申请提供一种图像处理方法及电子设备,用于提供一种较好的对图像中的人物进行抠图的方法。
第一方面,提供一种图像处理方法,包括:
获取第一人物在第一图像中的人脸图像;
根据所述人脸图像在所述第一图像中确定第一区域;所述第一区域用于指示所述第一人物的子图像在所述第一图像中的轮廓;
根据所述第一人物的子图像在所述第一图像中的轮廓,确定所述第一图像的第二区域中包括的每个像素点是前景像素点或背景像素点;其中,所述第二区域包括所述第一区域中的部分像素点,及包括所述第一图像中除所述第一区域之外的剩余区域中的部分像素点;
根据确定的所述前景像素点、所述背景像素点、以及所述第一图像的深度信息,从所述第一图像中获取所述第一人物对应的子图像。
可选的,根据所述人脸图像在所述第一图像中确定第一区域,包括:
确定所述第一图像中包括所述人脸图像的第三区域,确定所述第三区域的外接圆;
在所述第一图像中,做两条平行线,获取所述两条平行线与所述外接圆形成的两个交点;所述两条平行线之间的间距为所述人脸图像包括的两个人眼图像之间的距离,所述两条平行线均垂直于所述两个人眼图像之间的连线,所述两个交点位于由所述两个人眼图像指向的第一方向,所述第一方向为所述第一图像中由所述人脸图像指向身体图像的方向;
以所述外接圆的直径为半径画圆,以得到第一圆;其中,所述两个交点位于所述第一圆的圆周上,所述第一圆的圆心位于所述第一方向上;
确定所述外接圆以及所述第一圆所包括的全部区域为所述第一区域。
可选的,根据所述第一人物的子图像在所述第一图像中的轮廓,确定所述第一图像的第二区域中包括的每个像素点是前景像素点或背景像素点,包括:
根据所述轮廓,在所述第一图像中确定所述第二区域;
根据已知的前景像素点以及已知的背景像素点,对所述第二区域包括的像素点进行高斯混合模型GMM处理,以确定所述第二区域中的像素点为前景像素点或背景像素点;其中,确定位于所述第一区域内且不属于所述第二区域的像素点为所述已知的前景像素点,确定位于所述第一区域外且不属于所述第二区域的像素点作为所述已知的背景像素点。
可选的,所述方法还包括:
对所述第一图像对应的深度图像进行过分割,以确定所述深度图像所包括的至少两个子图像;
将所述至少两个子图像划分为第一类子图像和第二类子图像;其中,所述第一类子图像包括的全部像素点的平均深度值大于所述第二类子图像包括的全部像素点的平均深度值;
根据确定结果以及所述第一图像的深度信息,从所述第一图像中获取所述第一人物对应的子图像,包括:
根据所述确定结果、所述第一类子图像和所述第二类子图像,在所述第一图像中确定前景子图像及背景子图像;
确定所述前景子图像为所述第一人物的子图像。
可选的,在确定所述前景子图像为所述第一人物对应的子图像之前,还包括:
确定所述前景子图像的边缘的像素点的透明度;
根据所述透明度,对所述边缘的像素点进行平滑处理。
第二方面,提供一种电子设备,包括:
存储器,用于存储指令;
处理器,用于执行所述指令:
获取第一人物在第一图像中的人脸图像;
根据所述人脸图像在所述第一图像中确定第一区域;所述第一区域用于指示所述第一人物的子图像在所述第一图像中的轮廓;
根据所述第一人物的子图像在所述第一图像中的轮廓,确定所述第一图像的第二区域中包括的每个像素点是前景像素点或背景像素点;其中,所述第二区域包括所述第一区域中的部分像素点,及包括所述第一图像中除所述第一区域之外的剩余区域中的部分像素点;
根据确定的所述前景像素点、所述背景像素点、以及所述第一图像的深度信息,从所述第一图像中获取所述第一人物对应的子图像。
可选的,所述处理器用于:
确定所述第一图像中包括所述人脸图像的第三区域,确定所述第三区域的外接圆;
在所述第一图像中,做两条平行线,获取所述两条平行线与所述第三区域的边界形成的两个交点;所述两条平行线之间的间距为所述人脸图像包括的两个人眼图像之间的距离,所述两条平行线均垂直于所述两个人眼图像之间的连线,所述两个交点位于由所述两个人眼图像指向的第一方向,所述第一方向为所述第一图像中由所述人脸图像指向身体图像的方向;
以所述外接圆的直径为半径画圆,以得到第一圆;其中,所述两个交点位于所述第一圆的圆周上,所述第一圆的圆心位于所述第一方向上;
确定所述外接圆以及所述第一圆所包括的全部区域为所述第一区域。
可选的,所述处理器用于:
根据所述轮廓,在所述第一图像中确定所述第二区域;
根据已知的前景像素点以及已知的背景像素点,对所述第二区域包括的像素点进行高斯混合模型GMM处理,以确定所述第二区域中的像素点为前景像素点或背景像素点;其中,确定位于所述第一区域内且不属于所述第二区域的像素点为所述已知的前景像素点,确定位于所述第一区域外且不属于所述第二区域的像素点作为所述已知的背景像素点。
可选的,所述处理器还用于:
对所述第一图像对应的深度图像进行过分割,以确定所述深度图像所包括的至少两个子图像;
将所述至少两个子图像划分为第一类子图像和第二类子图像;其中,所述第一类子图像包括的全部像素点的平均深度值大于所述第二类子图像包括的全部像素点的平均深度值;
根据确定的所述前景像素点、所述背景像素点、以及所述第一图像的深度信息,从所述第一图像中获取所述第一人物对应的子图像,包括:
根据所述前景像素点、所述背景像素点、所述第一类子图像、及所述第二类子图像,在所述第一图像中确定前景子图像及背景子图像;
确定所述前景子图像为所述第一人物的子图像。
可选的,所述处理器还用于:
确定所述前景子图像的边缘的像素点的透明度;
根据所述透明度,对所述边缘的像素点进行平滑处理。
第三方面,提供一种电子设备,包括:
第一获取模块,用于获取第一人物在第一图像中的人脸图像;
第一确定模块,用于根据所述人脸图像在所述第一图像中确定第一区域;所述第一区域用于指示所述第一人物的子图像在所述第一图像中的轮廓;
第二确定模块,用于根据所述第一人物的子图像在所述第一图像中的轮廓,确定所述第一图像的第二区域中包括的每个像素点是前景像素点或背景像素点;其中,所述第二区域包括所述第一区域中的部分像素点,及包括所述第一图像中除所述第一区域之外的剩余区域中的部分像素点;
第二获取模块,用于根据确定的所述前景像素点、所述背景像素点、以及所述第一图像的深度信息,从所述第一图像中获取所述第一人物对应的子图像。
本申请中,可以根据第一人物的人脸图像确定第一人物的子图像的轮廓,再结合第二区域中的像素点以及第一图像的深度信息获取第一人物的子图像,通过这样的方式,可以较为准确、方便地从第一图像中获取第一人物对应的子图像,且整个过程可以由电子设备自动完成,需要用户执行的步骤较少,因此电子设备也无需多次响应用户的操作,减少了电子设备的负担,同时也提升了电子设备的图像处理能力。
附图说明
图1为本发明实施例中图像处理方法的流程图;
图2为本发明实施例中第一区域的示意图;
图3为本发明实施例中第二区域的示意图;
图4为本发明实施例中电子设备的结构示意图;
图5为本发明实施例中电子设备的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例中的电子设备可以是PC、PAD、手机等等不同的电子设备,本发明实施例对此不作限制。
请参见图1,本发明实施例提供一种图像处理方法,该方法可以应用于电子设备,该方法的流程描述如下。
步骤101:获取第一人物在第一图像中的人脸图像;
步骤102:根据人脸图像在第一图像中确定第一区域;第一区域用于指示第一人物的子图像在第一图像中的轮廓;
步骤103:根据第一人物的子图像在第一图像中的轮廓,确定第一图像的第二区域中包括的每个像素点是前景像素点或背景像素点;其中,第二区域包括第一区域中的部分像素点,及包括第一图像中除第一区域之外的剩余区域中的部分像素点;
步骤104:根据确定的前景像素点、背景像素点、以及第一图像的深度信息,从第一图像中获取第一人物对应的子图像。
本发明实施例中,第一图像可以是任意格式的图像,例如可以是JPEG(JointPhotographic Experts Group,联合图像专家小组)格式、或BMP(Bitmap,位图)格式等等。
本发明实施例中,第一图像中可以包含人物的图像,当然,除了人物以外,第一图像还可以包括其他的内容,例如,景物、动物等等。
在第一图像所包括的内容中,如果只有一个人物,那么这个人物可以是本发明实施例中的第一人物,如果第一图像包括多个人物,那么第一人物可以是这多个人物中的任一个人物,对于具体为哪个人物,可以由用户选择,或者也可以由电子设备确定,比如电子设备可以将占据面积最大的人物确定为第一人物,等等,本发明实施例对此不作限定。
可选的,对于根据第一人物的人脸图像在第一图像中确定第一区域的方式,比如可以首先确定第一图像中包括人脸图像的第三区域,确定第三区域的外接圆,然后在第一图像中,做两条平行线,获取两条平行线与第三区域的边界形成的两个交点,这两条平行线之间的间距可以是人脸图像包括的两个人眼图像之间的距离,两条平行线可以均垂直于两个人眼图像之间的连线,两个交点可以位于由两个人眼图像指向的第一方向,第一方向为第一图像中由人脸图像指向身体图像的方向,再然后以外接圆的直径为半径画圆,以得到第一圆,两个交点位于第一圆的圆周上,第一圆的圆心位于第一方向上,最后确定外接圆以及第一圆所包括的全部区域为第一区域。
例如,如图2所示,电子设备首先可以通过人脸识别技术(Face Recognition)在第一图像中识别出包括人脸图像的第三区域,比如图2中的第三区域为包含第一人物的人脸图像的矩形区域,并确定第三区域的外接圆,然后可以从第一人物的眼睛处做两条平行线,这两条平行线与第三区域的边界,也就是图2中的矩形区域的边界形成两个交点,即图2中的点A和点B,再以第三区域的外接圆的直径为半径画圆(即第一圆),点A和点B位于该圆的圆周上,可以确定外接圆以及第一圆包括的全部区域为第一区域。这样,通过识别人脸就能自动确定用于表征人物轮廓的第一区域,以便进行下一步处理得到最终需要的第一人物对应的子图像,整个过程无需用户手动操作便能够自动完成抠图,处理过程简单,快捷,电子设备的图像处理能力较强。
可选的,在第一区域确定了之后,可以根据轮廓,在第一图像中确定第二区域,根据已知的前景像素点以及已知的背景像素点,对第二区域包括的像素点进行GMM(GaussianMixture Model,高斯混合模型)处理,以确定第二区域中的像素点为前景像素点或背景像素点,确定位于第一区域内且不属于第二区域的像素点为已知的前景像素点,确定位于第一区域外且不属于第二区域的像素点作为已知的背景像素点。
可选的,第二区域可以包括第一区域中的部分像素点,以及可以包括第一图像中除第一区域之外的剩余区域中的部分像素点,对于第二区域包括第一区域的哪一部分像素点,以及第二区域包括除第一区域以外的剩余区域中的哪一部分像素点,本发明实施例不作限定。例如,如图3所示,由实线内部的像素点组成的区域比如为第一区域,可以将第一区域的边界作为基准,向第一区域内部扩张一部分区域,再向第一区域外部扩张一部分区域,比如形成了图3中的阴影部分的区域,则第二区域可以是阴影部分的区域。
第一区域可能只是较为粗略地表征第一人物的轮廓,尤其是边界部分可能不是很准确,因此,在划分出第二区域后,可以确定第二区域内的像素点是属于第一人物的,还是属于背景的,也就是确定第二区域中的每一个像素点是前景像素点还是背景像素点(本发明实施例中认为属于第一人物的像素点为前景像素点,不属于第一人物的像素点为背景像素点),对于确定第二区域中的每一个像素点是前景像素点还是背景像素点的方式,本发明实施例不作限定,例如,可以通过对第二区域包括的像素点进行GMM处理来进行确定,其中,GMM处理方式,是一种根据已确定为前景像素点或背景像素点的像素点估计未知区域包括的像素点是前景像素点或背景像素点的概率的处理方式。
例如,请继续参见图3,可以将第二区域作为进行GMM处理的未知区域,将位于第一区域内且不属于第二区域的像素点作为已知的前景像素点,比如图3中的区域B和区域C所包括的像素点为已知的前景像素点,将位于第一区域外且不属于第二区域的像素点作为已知的背景像素点,比如图3中的区域A所包括的像素点为已知的背景像素点。
通过GMM处理,第二区域中包括的每一个像素点都对应一个概率值,这个概率值可以用于进一步确认对应的像素点是前景像素点或背景像素点。比如,可以根据概率值的大小来确认对应的像素点是前景像素点还是背景像素点,也就是确定一个像素点是属于前景像素点的概率大,还是属于背景像素点的概率大。
例如,可以预先设定前景像素点的概率值为1,及背景像素点的概率值为0。通过GMM处理得到了第二区域中包括的五个像素点的概率值,分别是0.1、0.3、0.7、0.9、及0.5,那么,因0.1与0.3都更靠近0(即0.1与0的差值小于0.1与1的差值,0.3与0的差值小于0.3与1的差值),可将概率值为0.1和0.3的两个像素点确定为背景像素点,因0.7和0.9更靠近1(即0.7与1的差值小于0.7与0的差值,0.9与1的差值小于0.9与0的差值),可将概率值为0.7和0.9的两个像素点确定为前景像素点,因0.5处于0和1中间(即0.5与1的差值等于0.5与0的差值),可将概率值为0.5的像素点确定为前景像素点或背景像素点。当然这里只是给出一种例子解释确定方式,在实际应用时也可以采用其他方式来确定未知子区域中的像素点是前景像素点还是背景像素点。例如,在得到未知子区域中每个像素点的概率值之后,也可以由用户选择将相应的像素点具体作为前景像素点还是背景像素点。
通过以上的方式,可以进一步确定第二区域中属于第一人物的子图像的像素点,进而可以得到更加准确的第一人物的轮廓,电子设备的图像处理能力较强。
可选的,还可以对第一图像对应的深度图像进行过分割(over segmentation),以确定深度图像所包括的至少两个子图像,将至少两个子图像划分为第一类子图像和第二类子图像,第一类子图像包括的全部像素点的平均深度值大于第二类子图像包括的全部像素点的平均深度值,再根据确定结果、第一类子图像和第二类子图像,在第一图像中确定前景子图像及背景子图像,可确定前景子图像为第一人物的子图像。
可以根据每一个像素点的深度值,对第一图像对应的深度图像进行过分割,比如可以将第一图像分割成至少两个子图像,过分割之后的同一个子图像中的像素点具有属于同一范围的深度值。
在确定了至少两个子图像之后,可以将至少两个子图像划分为平均深度值不同的两类,对于划分的方式,本发明实施例不作限定,例如,可以通过图割算法(GraphCuts)将至少两个子图像划分为平均深度值较大的第一类子图像以及平均深度值较小的第二类子图像。
可以综合前述的GMM处理的结果,以及分类得到的第一类子图像和第二类子图像,在第一图像中确定前景子图像及背景子图像,并将前景子图像作为第一人物的子图像。
例如,可以预先设定前景像素点的值为1,背景像素点的值为0,根据前述的GMM处理之后,可以得到第一图像所包括的每一个像素是前景像素点还是背景像素点,也就是可以得到每一个像素点的值为1或0。由于根据深度图像分类得到的第一类子图像包括的全部像素点的平均深度值大于第二类子图像包括的全部像素点的平均深度值,可以将第一类子图像包括的全部像素点认为是背景像素点,即值为0,将第二类子图像包括的全部像素点认为是前景像素点,即值为1。可见,通过GMM处理可以得到二值图像,通过对深度图像的处理也可以得到另一个二值图像,那么可以将这两个二值图像同一位置的像素点的值进行逻辑与运算,比如,1与1得到1,0与1得到0,0与0得到0。可以得到第一图像最终的二值图像,可以将值为1的全部像素点组成的子图像作为前景子图像,将值为0的全部像素点组成的子图像作为背景子图像。将前景子图像确定为第一人物的子图像。
通过以上的方式,可以综合GMM处理以及对深度图像的处理共同确定第一人物的子图像,可以获得较为准确的第一人物的子图像,抠图效果较好。
可选的,在确定前景子图像为第一人物对应的子图像之前,还可以确定前景子图像的边缘的像素点的透明度,根据透明度,对边缘的像素点进行平滑处理。
可以通过图像平滑(image smoothing)方法对图像的边缘进行处理,最终使得边缘的像素点与像素点之间透明度的过渡较为自然。
通过这样的方式,可以使得用户最终得到的第一人物对应的子图像的边缘较为平整,像素点与像素点之间过渡较为平滑,图像更为美观。
同时,在确定了前景子图像的边缘的像素点的透明度之后,还可以将透明度记录到图像信息中,因此,用户得到的是包含有透明度信息的第一人物对应的子图像,在用户使用第一人物对应的子图像与其他图像进行合成时,可以根据已知的透明度来对其他图像进行匹配的处理,可以使得合成的图像更为自然、逼真。
请参见图4,基于同一发明构思,本发明实施例提供一种电子设备,该电子设备可以包括:
存储器401,用于存储指令;
处理器402,用于执行指令:
获取第一人物在第一图像中的人脸图像;
根据人脸图像在第一图像中确定第一区域;第一区域用于指示第一人物的子图像在第一图像中的轮廓;
根据第一人物的子图像在第一图像中的轮廓,确定第一图像的第二区域中包括的每个像素点是前景像素点或背景像素点;其中,第二区域包括第一区域中的部分像素点,及包括第一图像中除第一区域之外的剩余区域中的部分像素点;
根据确定的前景像素点、背景像素点、以及第一图像的深度信息,从第一图像中获取第一人物对应的子图像。
可选的,处理器402用于:
确定第一图像中包括人脸图像的第三区域,确定第三区域的外接圆;
在第一图像中,做两条平行线,获取两条平行线与第三区域的边界形成的两个交点;两条平行线之间的间距为人脸图像包括的两个人眼图像之间的距离,两条平行线均垂直于两个人眼图像之间的连线,两个交点位于由两个人眼图像指向的第一方向,第一方向为第一图像中由人脸图像指向身体图像的方向;
以外接圆的直径为半径画圆,以得到第一圆;其中,两个交点位于第一圆的圆周上,第一圆的圆心位于第一方向上;
确定外接圆以及第一圆所包括的全部区域为第一区域。
可选的,处理器402用于:
根据轮廓,在第一图像中确定第二区域;
根据已知的前景像素点以及已知的背景像素点,对第二区域包括的像素点进行高斯混合模型GMM处理,以确定第二区域中的像素点为前景像素点或背景像素点;其中,确定位于第一区域内且不属于第二区域的像素点为已知的前景像素点,确定位于第一区域外且不属于第二区域的像素点作为已知的背景像素点。
可选的,处理器402还用于:
对第一图像对应的深度图像进行过分割,以确定深度图像所包括的至少两个子图像;
将至少两个子图像划分为第一类子图像和第二类子图像;其中,第一类子图像包括的全部像素点的平均深度值大于第二类子图像包括的全部像素点的平均深度值;
根据确定的前景像素点、背景像素点、以及第一图像的深度信息,从第一图像中获取第一人物对应的子图像,包括:
根据前景像素点、背景像素点、第一类子图像、及第二类子图像,在第一图像中确定前景子图像及背景子图像;
确定前景子图像为第一人物的子图像。
可选的,处理器402还用于:
确定前景子图像的边缘的像素点的透明度;
根据透明度,对边缘的像素点进行平滑处理。
请参见图5,基于同一发明构思,本发明实施例提供另一种电子设备,该电子设备可以包括:
第一获取模块501,用于获取第一人物在第一图像中的人脸图像;
第一确定模块502,用于根据人脸图像在第一图像中确定第一区域;第一区域用于指示第一人物的子图像在第一图像中的轮廓;
第二确定模块503,用于根据第一人物的子图像在第一图像中的轮廓,确定第一图像的第二区域中包括的每个像素点是前景像素点或背景像素点;其中,第二区域包括第一区域中的部分像素点,及包括第一图像中除第一区域之外的剩余区域中的部分像素点;
第二获取模块504,用于根据确定的前景像素点、背景像素点、以及第一图像的深度信息,从第一图像中获取第一人物对应的子图像。
可选的,第一确定模块502用于:
确定第一图像中包括人脸图像的第三区域,确定第三区域的外接圆;
在第一图像中,做两条平行线,获取两条平行线与第三区域的边界形成的两个交点;两条平行线之间的间距为人脸图像包括的两个人眼图像之间的距离,两条平行线均垂直于两个人眼图像之间的连线,两个交点位于由两个人眼图像指向的第一方向,第一方向为第一图像中由人脸图像指向身体图像的方向;
以外接圆的直径为半径画圆,以得到第一圆;其中,两个交点位于第一圆的圆周上,第一圆的圆心位于第一方向上;
确定外接圆以及第一圆所包括的全部区域为第一区域。
可选的,第二确定模块503用于:
根据所述轮廓,在所述第一图像中确定所述第二区域;
根据已知的前景像素点以及已知的背景像素点,对所述第二区域包括的像素点进行高斯混合模型GMM处理,以确定所述第二区域中的像素点为前景像素点或背景像素点;其中,确定位于所述第一区域内且不属于所述第二区域的像素点为所述已知的前景像素点,确定位于所述第一区域外且不属于所述第二区域的像素点作为所述已知的背景像素点。
可选的,电子设备还包括:
过分割模块,用于对所述第一图像对应的深度图像进行过分割,以确定所述深度图像所包括的至少两个子图像;
划分模块,用于将所述至少两个子图像划分为第一类子图像和第二类子图像;其中,所述第一类子图像包括的全部像素点的平均深度值大于所述第二类子图像包括的全部像素点的平均深度值;
第二获取模块504用于:
根据所述前景像素点、所述背景像素点、所述第一类子图像、及所述第二类子图像,在所述第一图像中确定前景子图像及背景子图像;
确定所述前景子图像为所述第一人物的子图像。
可选的,电子设备还包括:
第三确定模块,用于确定所述前景子图像的边缘的像素点的透明度;
平滑处理模块,用于根据所述透明度,对所述边缘的像素点进行平滑处理。
本发明实施例中,根据第一人物的人脸图像确定第一人物的子图像的轮廓,再结合第二区域中的像素点以及第一图像的深度信息获取第一人物的子图像,通过这样的方式,可以较为准确、方便地从第一图像中获取第一人物对应的子图像,且整个过程可以由电子设备自动完成,需要用户执行的步骤较少,因此电子设备也无需多次响应用户的操作,减少了电子设备的负担,同时也提升了电子设备的图像处理能力。
在本发明所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM(Read-Only Memory,只读存储器)、RAM(Random Access Memory,随机存取存储器)、磁碟或者光盘等各种可以存储程序代码的介质。
具体来讲,本发明实施例中的一种图像处理方法对应的计算机程序指令可以被存储在光盘,硬盘,U盘等存储介质上,当存储介质中的与一种图像处理方法对应的计算机程序指令被一电子设备读取或被执行时,包括如下步骤:
获取第一人物在第一图像中的人脸图像;
根据所述人脸图像在所述第一图像中确定第一区域;所述第一区域用于指示所述第一人物的子图像在所述第一图像中的轮廓;
根据所述第一人物的子图像在所述第一图像中的轮廓,确定所述第一图像的第二区域中包括的每个像素点是前景像素点或背景像素点;其中,所述第二区域包括所述第一区域中的部分像素点,及包括所述第一图像中除所述第一区域之外的剩余区域中的部分像素点;
根据确定的所述前景像素点、所述背景像素点、以及所述第一图像的深度信息,从所述第一图像中获取所述第一人物对应的子图像。
可选的,所述存储介质中存储的与步骤:根据所述人脸图像在所述第一图像中确定第一区域,对应的计算机指令在被执行过程中,包括:
确定所述第一图像中包括所述人脸图像的第三区域,确定所述第三区域的外接圆;
在所述第一图像中,做两条平行线,获取所述两条平行线与所述第三区域的边界形成的两个交点;所述两条平行线之间的间距为所述人脸图像包括的两个人眼图像之间的距离,所述两条平行线均垂直于所述两个人眼图像之间的连线,所述两个交点位于由所述两个人眼图像指向的第一方向,所述第一方向为所述第一图像中由所述人脸图像指向身体图像的方向;
以所述外接圆的直径为半径画圆,以得到第一圆;其中,所述两个交点位于所述第一圆的圆周上,所述第一圆的圆心位于所述第一方向上;
确定所述外接圆以及所述第一圆所包括的全部区域为所述第一区域。
可选的,所述存储介质中存储的与步骤:根据所述第一人物的子图像在所述第一图像中的轮廓,确定所述第一图像的第二区域中包括的每个像素点是前景像素点或背景像素点,对应的计算机指令在被执行过程中,包括:
根据所述轮廓,在所述第一图像中确定所述第二区域;
根据已知的前景像素点以及已知的背景像素点,对所述第二区域包括的像素点进行高斯混合模型GMM处理,以确定所述第二区域中的像素点为前景像素点或背景像素点;其中,确定位于所述第一区域内且不属于所述第二区域的像素点为所述已知的前景像素点,确定位于所述第一区域外且不属于所述第二区域的像素点作为所述已知的背景像素点。
可选的,所述存储介质中还存储另外一些计算机指令,该另外一些计算机指令在被执行过程中,包括:
对所述第一图像对应的深度图像进行过分割,以确定所述深度图像所包括的至少两个子图像;
将所述至少两个子图像划分为第一类子图像和第二类子图像;其中,所述第一类子图像包括的全部像素点的平均深度值大于所述第二类子图像包括的全部像素点的平均深度值;
根据确定的所述前景像素点、所述背景像素点、以及所述第一图像的深度信息,从所述第一图像中获取所述第一人物对应的子图像,包括:
根据所述前景像素点、所述背景像素点、所述第一类子图像、及所述第二类子图像,在所述第一图像中确定前景子图像及背景子图像;
确定所述前景子图像为所述第一人物的子图像。
可选的,所述存储介质中存储的与步骤:确定所述前景子图像为所述第一人物对应的子图像,对应的计算机指令在被执行过程之前,还包括:
确定所述前景子图像的边缘的像素点的透明度;
根据所述透明度,对所述边缘的像素点进行平滑处理。
以上所述,以上实施例仅用以对本发明的技术方案进行了详细介绍,但以上实施例的说明只是用于帮助理解本发明的方法及其核心思想,不应理解为对本发明的限制。本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。
Claims (9)
1.一种图像处理方法,包括:
获取第一人物在第一图像中的人脸图像;
根据所述人脸图像在所述第一图像中确定第一区域;所述第一区域用于指示所述第一人物的子图像在所述第一图像中的轮廓;
根据所述人脸图像在所述第一图像中确定第一区域,包括:
确定所述第一图像中包括所述人脸图像的第三区域,确定所述第三区域的外接圆;
在所述第一图像中,做两条平行线,获取所述两条平行线与所述第三区域的边界形成的两个交点;所述两条平行线之间的间距为所述人脸图像包括的两个人眼图像之间的距离,所述两条平行线均垂直于所述两个人眼图像之间的连线,所述两个交点位于由所述两个人眼图像指向的第一方向,所述第一方向为所述第一图像中由所述人脸图像指向身体图像的方向;
以所述外接圆的直径为半径画圆,以得到第一圆;其中,所述两个交点位于所述第一圆的圆周上,所述第一圆的圆心位于所述第一方向上;
确定所述外接圆以及所述第一圆所包括的全部区域为所述第一区域;
根据所述第一人物的子图像在所述第一图像中的轮廓,确定所述第一图像的第二区域中包括的每个像素点是前景像素点或背景像素点;其中,所述第二区域包括所述第一区域中的部分像素点,及包括所述第一图像中除所述第一区域之外的剩余区域中的部分像素点;
根据确定的所述前景像素点、所述背景像素点、以及所述第一图像的深度信息,从所述第一图像中获取所述第一人物对应的子图像。
2.如权利要求1所述的方法,其特征在于,根据所述第一人物的子图像在所述第一图像中的轮廓,确定所述第一图像的第二区域中包括的每个像素点是前景像素点或背景像素点,包括:
根据所述轮廓,在所述第一图像中确定所述第二区域;
根据已知的前景像素点以及已知的背景像素点,对所述第二区域包括的像素点进行高斯混合模型GMM处理,以确定所述第二区域中的像素点为前景像素点或背景像素点;其中,确定位于所述第一区域内且不属于所述第二区域的像素点为所述已知的前景像素点,确定位于所述第一区域外且不属于所述第二区域的像素点作为所述已知的背景像素点。
3.如权利要求2所述的方法,其特征在于,所述方法还包括:
对所述第一图像对应的深度图像进行过分割,以确定所述深度图像所包括的至少两个子图像;
将所述至少两个子图像划分为第一类子图像和第二类子图像;其中,所述第一类子图像包括的全部像素点的平均深度值大于所述第二类子图像包括的全部像素点的平均深度值;
根据确定的所述前景像素点、所述背景像素点、以及所述第一图像的深度信息,从所述第一图像中获取所述第一人物对应的子图像,包括:
根据所述前景像素点、所述背景像素点、所述第一类子图像、及所述第二类子图像,在所述第一图像中确定前景子图像及背景子图像;
确定所述前景子图像为所述第一人物的子图像。
4.如权利要求1-3任一所述的方法,其特征在于,在确定所述前景子图像为所述第一人物对应的子图像之前,还包括:
确定所述前景子图像的边缘的像素点的透明度;
根据所述透明度,对所述边缘的像素点进行平滑处理。
5.一种电子设备,包括:
存储器,用于存储指令;
处理器,用于执行所述指令:
获取第一人物在第一图像中的人脸图像;
根据所述人脸图像在所述第一图像中确定第一区域;所述第一区域用于指示所述第一人物的子图像在所述第一图像中的轮廓;
所述处理器用于:
确定所述第一图像中包括所述人脸图像的第三区域,确定所述第三区域的外接圆;
在所述第一图像中,做两条平行线,获取所述两条平行线与所述第三区域的边界形成的两个交点;所述两条平行线之间的间距为所述人脸图像包括的两个人眼图像之间的距离,所述两条平行线均垂直于所述两个人眼图像之间的连线,所述两个交点位于由所述两个人眼图像指向的第一方向,所述第一方向为所述第一图像中由所述人脸图像指向身体图像的方向;
以所述外接圆的直径为半径画圆,以得到第一圆;其中,所述两个交点位于所述第一圆的圆周上,所述第一圆的圆心位于所述第一方向上;
确定所述外接圆以及所述第一圆所包括的全部区域为所述第一区域;
根据所述第一人物的子图像在所述第一图像中的轮廓,确定所述第一图像的第二区域中包括的每个像素点是前景像素点或背景像素点;其中,所述第二区域包括所述第一区域中的部分像素点,及包括所述第一图像中除所述第一区域之外的剩余区域中的部分像素点;
根据确定的所述前景像素点、所述背景像素点、以及所述第一图像的深度信息,从所述第一图像中获取所述第一人物对应的子图像。
6.如权利要求5所述的电子设备,其特征在于,所述处理器用于:
根据所述轮廓,在所述第一图像中确定所述第二区域;
根据已知的前景像素点以及已知的背景像素点,对所述第二区域包括的像素点进行高斯混合模型GMM处理,以确定所述第二区域中的像素点为前景像素点或背景像素点;其中,确定位于所述第一区域内且不属于所述第二区域的像素点为所述已知的前景像素点,确定位于所述第一区域外且不属于所述第二区域的像素点作为所述已知的背景像素点。
7.如权利要求6所述的电子设备,其特征在于,所述处理器还用于:
对所述第一图像对应的深度图像进行过分割,以确定所述深度图像所包括的至少两个子图像;
将所述至少两个子图像划分为第一类子图像和第二类子图像;其中,所述第一类子图像包括的全部像素点的平均深度值大于所述第二类子图像包括的全部像素点的平均深度值;
根据确定的所述前景像素点、所述背景像素点、以及所述第一图像的深度信息,从所述第一图像中获取所述第一人物对应的子图像,包括:
根据所述前景像素点、所述背景像素点、所述第一类子图像、及所述第二类子图像,在所述第一图像中确定前景子图像及背景子图像;
确定所述前景子图像为所述第一人物的子图像。
8.如权利要求5-7任一所述的电子设备,其特征在于,所述处理器还用于:
确定所述前景子图像的边缘的像素点的透明度;
根据所述透明度,对所述边缘的像素点进行平滑处理。
9.一种电子设备,包括:
第一获取模块,用于获取第一人物在第一图像中的人脸图像;
第一确定模块,用于根据所述人脸图像在所述第一图像中确定第一区域;所述第一区域用于指示所述第一人物的子图像在所述第一图像中的轮廓;
根据所述人脸图像在所述第一图像中确定第一区域,包括:
确定所述第一图像中包括所述人脸图像的第三区域,确定所述第三区域的外接圆;
在所述第一图像中,做两条平行线,获取所述两条平行线与所述第三区域的边界形成的两个交点;所述两条平行线之间的间距为所述人脸图像包括的两个人眼图像之间的距离,所述两条平行线均垂直于所述两个人眼图像之间的连线,所述两个交点位于由所述两个人眼图像指向的第一方向,所述第一方向为所述第一图像中由所述人脸图像指向身体图像的方向;
以所述外接圆的直径为半径画圆,以得到第一圆;其中,所述两个交点位于所述第一圆的圆周上,所述第一圆的圆心位于所述第一方向上;
确定所述外接圆以及所述第一圆所包括的全部区域为所述第一区域;
第二确定模块,用于根据所述第一人物的子图像在所述第一图像中的轮廓,确定所述第一图像的第二区域中包括的每个像素点是前景像素点或背景像素点;其中,所述第二区域包括所述第一区域中的部分像素点,及包括所述第一图像中除所述第一区域之外的剩余区域中的部分像素点;
第二获取模块,用于根据确定的所述前景像素点、所述背景像素点、以及所述第一图像的深度信息,从所述第一图像中获取所述第一人物对应的子图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510997367.XA CN105608699B (zh) | 2015-12-25 | 2015-12-25 | 一种图像处理方法及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510997367.XA CN105608699B (zh) | 2015-12-25 | 2015-12-25 | 一种图像处理方法及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105608699A CN105608699A (zh) | 2016-05-25 |
CN105608699B true CN105608699B (zh) | 2019-03-29 |
Family
ID=55988615
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510997367.XA Active CN105608699B (zh) | 2015-12-25 | 2015-12-25 | 一种图像处理方法及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105608699B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106686296A (zh) * | 2016-11-28 | 2017-05-17 | 努比亚技术有限公司 | 一种实现光绘摄影的方法、装置及拍摄设备 |
CN106991688A (zh) * | 2017-03-09 | 2017-07-28 | 广东欧珀移动通信有限公司 | 人体跟踪方法、人体跟踪装置和电子装置 |
CN106997457B (zh) * | 2017-03-09 | 2020-09-11 | Oppo广东移动通信有限公司 | 人物肢体识别方法、人物肢体识别装置及电子装置 |
CN107016348B (zh) * | 2017-03-09 | 2022-11-22 | Oppo广东移动通信有限公司 | 结合深度信息的人脸检测方法、检测装置和电子装置 |
CN107231529A (zh) * | 2017-06-30 | 2017-10-03 | 努比亚技术有限公司 | 图像处理方法、移动终端及存储介质 |
CN107707839A (zh) * | 2017-09-11 | 2018-02-16 | 广东欧珀移动通信有限公司 | 图像处理方法及装置 |
CN107767333B (zh) * | 2017-10-27 | 2021-08-10 | 努比亚技术有限公司 | 美颜拍照的方法、设备及计算机可存储介质 |
CN110378276B (zh) * | 2019-07-16 | 2021-11-30 | 顺丰科技有限公司 | 车辆状态获取方法、装置、设备、及存储介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1734499A (zh) * | 2004-08-09 | 2006-02-15 | 微软公司 | 通过动态规划进行修边 |
CN1926851A (zh) * | 2004-01-16 | 2007-03-07 | 索尼电脑娱乐公司 | 通过深度信息优化捕获装置设置的方法和设备 |
CN101673400A (zh) * | 2008-09-08 | 2010-03-17 | 索尼株式会社 | 图像处理设备、方法和程序 |
WO2010030712A1 (en) * | 2008-09-09 | 2010-03-18 | Citrix Systems, Inc. | Methods and systems for per pixel alpha-blending of a parent window and a portion of a background image |
CN101777180A (zh) * | 2009-12-23 | 2010-07-14 | 中国科学院自动化研究所 | 基于背景建模和能量最小化的复杂背景实时替换方法 |
CN102113015A (zh) * | 2008-07-28 | 2011-06-29 | 皇家飞利浦电子股份有限公司 | 使用修补技术进行图像校正 |
CN103581640A (zh) * | 2012-07-31 | 2014-02-12 | 乐金显示有限公司 | 图像数据处理方法以及使用其的立体图像显示器 |
CN103856617A (zh) * | 2012-12-03 | 2014-06-11 | 联想(北京)有限公司 | 一种拍照方法和用户终端 |
CN103871014A (zh) * | 2012-12-17 | 2014-06-18 | 联想(北京)有限公司 | 改变图像颜色的方法及装置 |
CN103873834A (zh) * | 2012-12-10 | 2014-06-18 | 联想(北京)有限公司 | 图像采集方法及相应图像采集单元 |
CN103973977A (zh) * | 2014-04-15 | 2014-08-06 | 联想(北京)有限公司 | 一种预览界面的虚化处理方法、装置及电子设备 |
-
2015
- 2015-12-25 CN CN201510997367.XA patent/CN105608699B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1926851A (zh) * | 2004-01-16 | 2007-03-07 | 索尼电脑娱乐公司 | 通过深度信息优化捕获装置设置的方法和设备 |
CN1734499A (zh) * | 2004-08-09 | 2006-02-15 | 微软公司 | 通过动态规划进行修边 |
CN102113015A (zh) * | 2008-07-28 | 2011-06-29 | 皇家飞利浦电子股份有限公司 | 使用修补技术进行图像校正 |
CN101673400A (zh) * | 2008-09-08 | 2010-03-17 | 索尼株式会社 | 图像处理设备、方法和程序 |
WO2010030712A1 (en) * | 2008-09-09 | 2010-03-18 | Citrix Systems, Inc. | Methods and systems for per pixel alpha-blending of a parent window and a portion of a background image |
CN101777180A (zh) * | 2009-12-23 | 2010-07-14 | 中国科学院自动化研究所 | 基于背景建模和能量最小化的复杂背景实时替换方法 |
CN103581640A (zh) * | 2012-07-31 | 2014-02-12 | 乐金显示有限公司 | 图像数据处理方法以及使用其的立体图像显示器 |
CN103856617A (zh) * | 2012-12-03 | 2014-06-11 | 联想(北京)有限公司 | 一种拍照方法和用户终端 |
CN103873834A (zh) * | 2012-12-10 | 2014-06-18 | 联想(北京)有限公司 | 图像采集方法及相应图像采集单元 |
CN103871014A (zh) * | 2012-12-17 | 2014-06-18 | 联想(北京)有限公司 | 改变图像颜色的方法及装置 |
CN103973977A (zh) * | 2014-04-15 | 2014-08-06 | 联想(北京)有限公司 | 一种预览界面的虚化处理方法、装置及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN105608699A (zh) | 2016-05-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105608699B (zh) | 一种图像处理方法及电子设备 | |
JP6956252B2 (ja) | 顔表情合成方法、装置、電子機器及びコンピュータプログラム | |
CN108009465B (zh) | 一种人脸识别方法及装置 | |
AU2015402322B2 (en) | System and method for virtual clothes fitting based on video augmented reality in mobile phone | |
CN108830892B (zh) | 人脸图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN109035246B (zh) | 一种人脸的图像选择方法及装置 | |
CN110874594A (zh) | 基于语义分割网络的人体外表损伤检测方法及相关设备 | |
US20150169942A1 (en) | Terminal configuration method and terminal | |
CN105095882B (zh) | 手势识别的识别方法和装置 | |
CN109635783A (zh) | 视频监控方法、装置、终端和介质 | |
BR112016017262B1 (pt) | Método para busca de objeto e terminal acoplado de forma comunicativa a um servidor. | |
CN104850848A (zh) | 照片分类方法及装置 | |
CN107610149B (zh) | 图像分割结果边缘优化处理方法、装置及计算设备 | |
US20170185827A1 (en) | Emotion estimation apparatus using facial images of target individual, emotion estimation method, and non-transitory computer readable medium | |
CN109325903A (zh) | 图像风格化重建的方法及装置 | |
CN105404878A (zh) | 一种照片分类方法和装置 | |
CN103716539A (zh) | 一种拍照方法和设备 | |
CN112241667A (zh) | 图像检测方法、装置、设备及存储介质 | |
CN107622243A (zh) | 解锁控制方法及相关产品 | |
KR20210049648A (ko) | 객체와 배경 이미지를 합성하여 실감형 포토 영상을 제공하는 영상 처리 시스템 및 방법 | |
US11468658B2 (en) | Systems and methods for generating typographical images or videos | |
CN107291238A (zh) | 一种数据处理方法与装置 | |
CN104952093B (zh) | 虚拟染发方法和装置 | |
CN107808372B (zh) | 图像穿越处理方法、装置、计算设备及计算机存储介质 | |
Song et al. | Depth-aware saliency detection using discriminative saliency fusion |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |