CN109937434B - 图像处理方法、装置、终端和存储介质 - Google Patents

Abstract

本发明实施例提供了一种图像处理方法，包括：从源图像中识别源对象，根据源对象的特征点识别出源对象在源图像中成像的姿态和尺寸；根据源对象在源图像中成像的姿态和尺寸、与目标对象在目标图像中成像的姿态和尺寸的匹配关系，调整源对象在源图像中成像的姿态和尺寸；调整源对象在源图像中成像的形状，以及目标对象在目标图像中成像的形状；根据对齐源对象和目标对象所成像的形状的方式，对源图像以及目标图像进行融合。本发明实施例还提供了一种图像处理装置、终端以及存储介质。

Description

图像处理方法、装置、终端和存储介质

技术领域

本发明涉及图像处理技术，尤其涉及一种图像处理方法、装置、终端和存储介质。

背景技术

随着智能手机等终端的普及，自拍已经成为人们生活中越来越常见的需求。伴随着互联网基建的升级，带宽的增长，将视频和图像通过社交平台进行分享是目前普遍使用的场景。

融合图像是指，将视频的图像帧中的对象或者照片中的对象，与素材图像中的对象进行融合，使得视频的图像帧中的对象或者照片中的对象具有素材图像中的对象的特征；以对象为人脸为例，通过将视频中各图像帧的人脸与素材图像中的人脸进行融合，那么，视频图像帧中的人脸将具有素材图像中人脸的五官特征。

目前，视频图像帧或者照片中对象成像与素材图像中对象成像融合时，存在融合精度无法满足使用需求的问题。

发明内容

有鉴于此，本发明实施例期望提供一种图像处理方法、装置、终端和存储介质，实现融合图像中对象的精确融合。

为达到上述目的，本发明实施例的技术方案是这样实现的：

一方面，本发明实施例提供一种图像处理方法，包括：

从源图像中识别源对象，根据所述源对象的特征点识别出所述源对象在所述源图像中成像的姿态和尺寸；

根据所述源对象在所述源图像中成像的姿态和尺寸、与目标对象在目标图像中成像的姿态和尺寸的匹配关系，调整所述源对象在所述源图像中成像的姿态和尺寸；

调整所述源对象在所述源图像中成像的形状，以及所述目标对象在所述目标图像中成像的形状；

根据对齐所述源对象和所述目标对象所成像的形状的方式，对所述源图像以及所述目标图像进行融合。

另一方面，本发明实施例还提供一种图像处理装置，包括：

识别单元，配置为从源图像中识别源对象，根据所述源对象的特征点识别出所述源对象在所述源图像中成像的姿态和尺寸；

调整单元，配置为根据所述源对象在所述源图像中成像的姿态和尺寸、与目标对象在目标图像中成像的姿态和尺寸的匹配关系，调整所述源对象在所述源图像中成像的姿态和尺寸；

所述调整单元，还配置为调整所述源对象在所述源图像中成像的形状，以及所述目标对象在所述目标图像中成像的形状；

融合单元，配置为根据对齐所述源对象和所述目标对象所成像的形状的方式，对所述源图像以及所述目标图像进行融合。

本发明实施例还提供一种存储介质，存储有可执行程序，所述可执行程序被处理器执行时，实现本发明实施例提供的图像处理方法。

本发明实施例还提供一种图像处理装置，所述装置包括：

存储器，配置为存储可执行程序；

处理器，配置为执行所述存储器中存储的可执行程序时，实现本发明实施例提供的图像处理方法。

本发明实施例还提供一种终端，所述终端包括：

存储器，配置为存储可执行程序；

处理器，配置为执行所述存储器中存储的可执行程序时，实现本发明实施例提供的图像处理方法。

在对用户图像中的对象和素材图像中的对象进行融合之前，调整用户对象在用户图像中成像的姿态、尺寸以及形状，使得用户图像中对象的特征点与素材图像中对象的特征点尽量拟合，有效减小了用户图像中对象成像与素材图像中对象成像之间存在的差异，确保了图像的融合精度能够满足使用需求，且达到了实时融合的效果，提升操作效率；

另一方面，根据用户对象在图像中成像的姿态，对用户对象进行旋转操作，在进行图像融合的过程中，能够保证用户图像与素材图像中对象的角度一致，使得用户对象处于非正面朝向时也可以获得良好的融合效果，能够提高图像融合的精度。

附图说明

图1A为本发明实施例提供的人脸在图像中成像为侧脸图像时相对于正向人脸所形成的三种角度示意图；

图1B为本发明实施例提供的根据正面人脸朝向建立的参考坐标系示意图；

图2为本发明实施例提供的图像处理装置的一个可选的硬件结构示意图；

图3为本发明实施例提供的终端的一个可选的硬件结构示意图；

图4A为本发明实施例提供的图像处理方法的一个可选的应用场景示意图；

图4B为本发明实施例提供的图像处理方法的另一个可选的应用场景示意图；

图5为本发明实施例提供的图像处理方法的一个可选的示意图；

图6为本发明实施例提供的从源图像中识别源对象的方法的一个可选的示意图；

图7为本发明实施例提供的从图像中识别人脸姿态的处理过程的一个可选的示意图；

图8为本发明实施例提供的五官定位基准点的示意图；

图9为本发明实施例提供的对源图像中各像素点的颜色值进行均衡化处理的方法的一个可选的示意图；

图10A为本发明实施例提供的处于背景图像中的人脸区域示意图；

图10B为本发明实施例提供的仅显示人脸区域的示意图；

图10C为本发明实施例提供的处于背景图像中的人脸侧视示意图；

图11为本发明实施例提供的人脸网格结构示意图；

图12为本发明实施例提供的获取平均脸特征点的方法的一个可选的示意图；

图13为本发明实施例提供的选取的目标图像的示意图；

图14为本发明实施例提供的对目标图像进行三角形分割的效果图；

图15为本发明实施例提供的融合图像示意图；

图16为本发明实施例提供的图像处理装置的一个可选的功能结构示意图。

具体实施方式

以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所提供的实施例仅仅用以解释本发明，并不用于限定本发明。另外，以下所提供的实施例是用于实施本发明的部分实施例，而非提供实施本发明的全部实施例，在不冲突的情况下，本发明实施例记载的技术方案可以任意组合的方式实施。

对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。

1)源图像和目标图像，需要针对所包括的对象进行融合的图像，包括需要处理的对象(即源对象)的图像为源图像，包括用于进行融合的素材对象(即目标对象)的图像为目标图像。

以对象为人脸为例(当然，对象可以为在图像中能够成像的任意元素，如物体、人体和人体特定部位等)，目标图像中的人脸用于作为素材，与源图像中的人脸进行融合，使得源图像中的人脸具有目标图像中人脸的五官特征；可以理解，源图像与目标图像为相对的概念，在一个融合操作中作为源图像的图像，在另一个融合操作中可以作为目标图像。

2)融合，将源图像中的对象成像时具有的特征，与目标图像中的对象(可以与源图像中的对象为同一个或同一类型的对象，也可以为不同类型的对象)成像时具有的特征进行合并，使源图像中对象的特征与目标图像中对象的特征融合在一起。

3)特征点，在图像中能够反映对象的局部特征(如颜色特征、形状特征和纹理特征)的点，一般为多个像素点的集合，以人脸图像为例，特征点可以是眼睛特征点、嘴巴特征点或鼻子特征点等。

4)姿态，对象在图像中成像时在三维空间中所形成的角度，以对象为人脸为例，参见图1A，图1A为本发明实施例提供的人脸在图像中成像为侧脸图像时相对于正向人脸所形成的三种角度示意图，分别记为转动(Pitch)角、平动(Yaw)角和滚动(Roll)角，对应代表上下翻转、左右翻转和平面内旋转的角度，即欧拉旋转角(以下简称为欧拉角)，欧拉角采用这样的方式表示：

4.1)以特定特征点(如鼻尖特征点)为原点，根据人脸的特定朝向而建立刚体坐标系(刚体坐标系根据对象的特定朝向而改变)，例如，在图1A中，以鼻尖至正前方的方向为X轴正方向，以鼻尖至头顶的方向为Z轴正方向，以鼻尖至左耳的方向为Y轴正方向；

4.2)建立固定不变的参考坐标系，例如，参见图1B，图1B为本发明实施例提供的根据正面人脸朝向建立的参考坐标系示意图，在图1B中，仍然以鼻尖至正前方的方向为x轴正方向，以鼻尖至左耳的方向为y轴正方向，以鼻尖至头顶的方向为z轴正方向。需要指出的是，在图1B中，即使人脸的朝向发生改变，参考坐标系的方向也不会发生改变；

4.3)欧拉角，表示为刚体坐标系与参考坐标系之间重合时，刚体坐标系在三维空间需要(根据x、y、z轴旋转)旋转的角度(即欧拉旋转角，本文中简称为欧拉角)。

5)尺寸，对象在图像中成像区域的分布的度量，以人脸为例，尺寸包括可以表示为人脸在二维平面的宽度和高度。

6)平均形状，在源图像中需要进行融合处理的对象(即源对象)成像的形状、与在目标图像中作为融合处理的素材对象(即目标对象)成像的形状的平均；同一类型特征点在源图像中的位置、以及在目标图像中的位置的均值可用平均位置来表示。

以对象为人脸为例，将源图像中鼻尖特征点的位置与目标图像中鼻尖特征点的位置求取均值，作为平均形状中鼻尖特征点的平均位置，其他特征点以此类推，将所得到的不同类型特征点的平均位置来表示平均形状。

现在将参考附图描述实现本发明实施例的图像处理装置，图像处理装置可以以各种形式例如服务器、终端(如台式机电脑、笔记本电脑或智能手机)等各种类型的计算机设备来实施。下面对本发明实施例的图像处理装置的硬件结构做进一步说明，可以理解，图2仅仅示出了图像处理装置的示例性结构而非全部结构，根据需要可以实施图2示出的部分结构或全部结构。

参见图2，图2为本发明实施例提供的图像处理装置的一个可选的硬件结构示意图，实际应用中可以应用于前述运行应用程序的服务器或各种终端，图2所示的图像处理装置200包括：至少一个处理器201、存储器202、用户接口203和至少一个网络接口204。图像处理装置200中的各个组件通过总线系统205耦合在一起。可以理解，总线系统205用于实现这些组件之间的连接通信。总线系统205除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统205。

其中，用户接口203可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。

可以理解，存储器202可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。

本发明实施例中的存储器202用于存储各种类型的数据以支持图像处理装置200的操作。这些数据的示例包括：用于在图像处理装置200上操作的任何计算机程序，如可执行程序2021和操作系统2022，实现本发明实施例的图像处理方法的程序可以包含在可执行程序2021中。

本发明实施例揭示的图像处理方法可以应用于处理器201中，或者由处理器201实现。处理器201可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，图像处理方法的各步骤可以通过处理器201中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器201可以是通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器201可以实现或者执行本发明实施例中的提供的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所提供的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器202，处理器201读取存储器202中的信息，结合其硬件完成本发明实施例提供的图像处理方法的步骤。

图3为本发明实施例提供的终端300的一个可选的硬件结构示意图，如图3所示，终端300可以包括无线通信单元310、音频/视频(A/V，Audio/Video)输入单元320、用户输入单元330、感测单元340、输出单元350、存储器360、接口单元370、控制器380和电源单元390等等。图3示出了具有各种组件的终端300，但应理解的是，并不要求实施所有示出的组件，可以替代地实施更多或更少的组件。将在下面简单描述终端300的组件。

无线通信单元310通常包括一个或多个组件，其允许终端300与无线通信系统或网络之间的无线电通信。例如，无线通信单元310可以包括广播接收模块311、移动通信模块312、无线互联网模块313、短程通信模块314和位置信息模块315中的至少一个。

A/V输入单元320用于接收音频或视频信号。A/V输入单元320可以包括照相机321和麦克风322。

用户输入单元330可以根据用户输入的命令生成键输入数据以控制终端300的各种操作。用户输入单元330允许用户输入各种类型的信息，并且可以包括键盘、触摸板(例如，检测由于被接触而导致的电阻、压力、电容等等变化的触敏组件)、滚轮、摇杆等等。特别地，当触摸板以层的形式叠加在显示单元351上时，可以形成触摸屏。

感测单元340检测终端300的当前状态，(例如，终端300的打开或关闭状态)、终端300的位置、用户对于终端300的接触(即，触摸输入)的有无、终端300的取向、终端300的加速或减速移动和方向等等，并且生成用于控制终端300的操作的命令或信号。

接口单元370用作至少一个外部装置与终端300连接可以通过的接口。

接口单元370可以用于接收来自外部装置的输入(例如，数据信息、电力等等)，并且将接收到的输入传输到终端300内的一个或多个元件，或者可以用于在终端300和外部装置之间传输数据。

输出单元350被构造为以视觉、音频和/或触觉方式提供输出信号(例如，音频信号、视频信号、警报信号、振动信号等等)。输出单元350可以包括显示单元351、音频输出模块352和警报单元353等等。

存储器360可以存储由控制器380执行的处理和控制操作的软件程序等等，或者可以暂时地存储已经输出或将要输出的数据(例如，电话簿、消息、静态图像、视频等等)。而且，存储器360可以存储关于当触摸施加到触摸屏时，输出的各种方式的振动和音频信号的数据。

存储器360可以包括至少一种类型的存储介质，所述存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等等)、磁性存储器、磁盘、光盘等等。而且，终端300可以与通过网络连接执行存储器360的存储功能的网络存储装置协作；存储器360的数量可以为一个或一个以上，存储有一个或一个以上的程序，所述程序可以包括一个或一个以上的每一个对应于一组指令的单元，所述一个或多个处理器被用于执行本发明实施例提供的图像处理方法的可执行指令。

控制器380通常控制终端300的总体操作。例如，控制器380执行与语音通话、数据通信、视频通话等等相关的控制和处理。另外，控制器380可以包括用于再现或回放多媒体数据的多媒体模块381，多媒体模块381可以构造在控制器380内，或者可以构造为与控制器380分离。控制器380可以执行模式识别处理，以将在触摸屏上执行的手写输入或者图片绘制输入识别为字符或图像。

电源单元390在控制器380的控制下接收外部电力或内部电力并且提供操作各元件和组件所需的适当的电力。

至此，已经按照功能描述了本发明实施例中涉及的图像处理装置和终端，基于上述图像处理装置和终端的可选硬件结构示意图，下面对实现本发明实施例的图像处理方法的应用场景进行说明。

在本发明实施例提供的图像处理方法的一个可选的应用场景中，客户端根据需要向服务器请求进行融合图像的处理，参见图4A，图4A为本发明实施例提供的图像处理方法的一个可选的应用场景示意图，客户端拍摄特定对象(对于源对象，如人脸，当然，源对象还可以为动物头部等其他形式的对象)的源图像，如照片或者视频，通过网络向服务器请求进行图像融合的处理，并根据服务器返回的融合图像进行对应显示。这里，当用户对客户端拍摄的源图像如照片或视频的分辨率要求较高时，可以采用向服务器提交图像融合的请求的方式实施。

作为示例，客户端可以根据需要向服务器发送源图像，而作为融合素材的目标图像可以是用户在服务器中预先设定的，也可以是服务器根据用户偏好或融合图像的使用记录决策的，当然也可以是服务器随机选择的；或者，客户端可以向服务器同时发送源图像和目标图像，此时，目标图像可以是用户在客户端给出的素材主题(如电影主题或动画主题)中选择的图像，也可以是用户拍摄的照片或者视频，以从服务器获得图像融合的结果。

就客户端向服务器同时发送源图像和目标图像来说，图像融合的处理过程为：首先，客户端将源图像和目标图像同时发送并保存至服务器；之后，需要进行图像融合时，客户端向服务器请求融合的图像并发送图像获取请求；然后，服务器解析图像获取请求，向客户端发送待处理的源图像和目标图像；最后，客户端对接收的源图像和目标图像中的对象进行融合处理，并将融合后的图像实时传送给服务器。

举例来说，在即时通信如QQ场景下，用户A和用户B进行视频聊天的过程中，想要将用户A中的源图像和用户B中的目标图像进行融合，此时，就可以采用上述图像融合的处理过程进行实施。

在本发明实施例提供的图像处理方法的另一个可选的应用场景中，参见图4B，图4B为本发明实施例提供的图像处理方法的另一个可选的应用场景示意图，客户端根据拍摄特定对象的照片或者视频形式的源图像，以及用户提供的目标图像，或者在客户端给出的候选目标图像中选中的目标图像，例如客户端给出不同主题如主题1至主题4的图像，通过操作a选中相应主题如主题3的图像，那么，将被选中的主题3的图像作为目标图像，并将该目标图像与源图像进行融合处理。这里，当用户对客户端拍摄特定对象的照片或者视频的分辨率要求较低时，可以采用客户端本地融合的方式实施。

下面以一个具体实施例对上述本发明实施例图像融合处理的整体实现过程做进一步地详细说明。

参见图5，图5为本发明实施例提供的图像处理方法的一个可选的示意图，图像处理方法可以应用于服务器或终端，在此不做限定；在本发明实施例中，服务器可以包括但不限于云端服务器，终端可以包括但不限于智能手机、平板电脑、掌上电脑等电子设备。本发明实施例中的图像处理方法具体是指将源图像和目标图像进行融合，主要包括位置对齐和图像中成像的形状调整。位置对齐和成像的形状调整时间不分前后。图5以位置对齐在前、成像的形状调整在后为例进行说明。本发明实施例中图像处理方法的实现流程，包括以下步骤：

步骤501，从源图像中识别源对象，根据源对象的特征点识别出源对象在源图像中成像的姿态和尺寸。

在本发明可选实施例中，从源图像中识别的源对象为符合预定特征的源对象，对于不符合预定特征的源对象，本发明实施例在此不做处理；从源图像中识别源对象，可以采用如下方式实现：从源图像中提取至少一个维度的特征，利用所提取的特征与对象特征模板进行匹配，获得所提取的特征与对象特征模板的相似度；当相似度超过对象特征相似度阈值时，就可以确定源图像中存在符合对象特征模板的源对象。

下面以源对象为人脸为例，对上述本发明实施例从源图像中识别源对象的方法做进一步详细说明(当然，本发明实施例中的从源图像中识别源对象的方法还可以适用于源对象为其他类型的对象的情况)。

参见图6，图6为本发明实施例提供的从源图像中识别源对象的方法的一个可选的示意图，包括以下步骤：

步骤5011，采集及检测人脸图像。

对于人脸图像采集而言，不同的人脸图像都能通过终端设备如手机的摄像镜头进行采集，比如可以采集得到静态人脸图像、动态人脸图像、处于不同的位置或不同表情的人脸图像。当用户在采集设备的拍摄范围内时，采集设备会自动搜索并拍摄用户的人脸图像。

对于人脸图像检测而言，在实际应用中，人脸图像检测主要用于后续人脸识别的预处理输入，即在图像中准确标定出人脸(即人脸所成像)的位置和尺寸；图像中的人脸包括的模式特征十分丰富，如直方图特征、颜色特征、模板特征和结构特征等；人脸图像检测，就是将图像中有用的特征提取出来，并利用这些特征来标定人脸。

目前，人脸图像检测的主流方法是基于以上特征采用Adaboost的机器学习算法来标定人脸；Adaboost算法是一种用来分类的迭代算法。在实现人脸图像检测的过程中，使用Adaboost算法先挑选出一些最能代表人脸的矩形特征(通过弱分类器实现)，然后按照加权投票的方式将弱分类器构造为一个强分类器，再将训练得到的若干强分类器串联组成一个级联结构的层叠分类器，有效地提高分类器检测人脸的速度。

步骤5012，对采集及检测到的人脸图像进行预处理。

在本发明可选实施例中，对于人脸图像的预处理操作是基于人脸检测结果实现的(即获得的图像中人脸的位置和尺寸)，对人脸图像进行预处理并最终服务于后续的人脸图像特征提取步骤；由于图像受到各种条件的限制和随机干扰，往往不能直接使用，需在图像处理的早期阶段对图像进行灰度校正、噪声过滤等图像预处理；这里，对于人脸图像而言，预处理过程主要包括：人脸图像的光线补偿、灰度变换、直方图均衡化、归一化、几何校正、滤波以及锐化等操作。

步骤5013，提取人脸图像特征。

举例来说，可提取的人脸图像特征通常分为视觉特征、像素统计特征、人脸图像变换系数特征、人脸图像代数特征等；可将提取人脸图像特征的方法归纳为两大类：一种是基于知识的表征方法，另一种是基于代数特征或统计学习的表征方法。

其中，基于知识的表征方法，主要是根据人脸器官的形状描述以及各人脸器官之间的距离特性，来获得有助于人脸分类的特征数据，其特征分量通常包括特征点间的欧氏距离、曲率和角度等；人脸由眼睛、鼻子、嘴和下巴等局部特征构成，对这些局部特征以及局部特征之间的结构关系的几何描述，可作为识别人脸的重要特征，并将这些特征称为几何特征。

步骤5014，对提取的人脸图像特征进行匹配与识别。

举例来说，预先设置一个针对人脸图像特征的相似度阈值，然后将提取的人脸图像的特征数据与数据库中预先存储的人脸特征模板(人脸特征模板中包括一系列的特征点)进行搜索匹配，当匹配的相似度超过预设的人脸图像特征相似度阈值时，则可以判定源图像中存在与人脸特征模板相对应的人脸图像特征，并将匹配得到的结果输出。

在本发明可选实施例中，源图像可为视频图像帧中的一帧，也可为一个图片或一张照片，在此不做限定。

在本发明可选实施例中，根据源对象的特征点识别出源对象在源图像中成像的姿态，可以采用如下方式实现：根据源对象的特征点与不同姿态模板包括的特征点进行匹配，获得匹配的相似度；当匹配的相似度超过形状相似度阈值时，确定源对象具有相应的姿态模板包括的姿态。

这里，对象在图像中成像的姿态可以使用三种角度参数构成的向量-欧拉角来表示，以对象为人脸为例，那么，参见图7，图7为本发明实施例提供的从图像中识别人脸姿态的处理过程的一个可选的示意图，在图7中，人脸姿态识别通过从图像空间到特征空间，再从特征空间到三维姿态空间的映射，从而实现基于图像的人脸姿态识别。

需要特别强调的是，虽然脸部朝向是对人脸姿态的最直接和自然的表达，但本发明实施例之所以选择欧拉角对人脸姿态进行识别，主要是因为脸部朝向并不是人脸姿态的完整表达，不能唯一表达人脸姿态的所有状态，而欧拉角能精确表达所有状态下的人脸姿态，是用来描述刚体在三维空间取向的一组三维角参量。

其中，欧拉角一般涉及两个坐标系：参考坐标系和刚体坐标系。参考坐标系可以是三维空间中的任意坐标系，参考坐标系本身是静止不动的，不随刚体的旋转而改变自身位置，而刚体坐标系则固定于刚体上，则随着刚体的旋转而自动旋转。

仍以对象为人脸为例，当然不排除适用于其他类型的对象姿态的识别，包括人脸的特征点的特征空间可以是如下几种情况：人脸关键特征点的几何关系；形状模板；人脸局部约束模型等。

对于人脸姿态的识别，可以采用基于人脸关键特征点的几何关系识别、基于形状模板的识别、基于机器学习模型中的人脸局部约束模型的识别等等方法来实现。下面对基于人脸关键特征点的几何关系识别和基于形状模板的识别，分别做如下简要说明：

1)就基于人脸关键特征点的几何关系识别来说，针对不同人脸的不同姿态记录关键特征点的几何关系模板，在几何关系模板中描述人脸的各关键特征点之间的几何关系，之后将图像中识别出的关键特征点的几何关系与几何关系模板进行匹配，其中，匹配程度最高的几何关系模板包括的姿态，即为图像中人脸的姿态的识别结果；

2)就基于形状模板的识别来说，将人脸的不同姿态的空间量化为离散的像素点，并将为每个姿态构造量化的像素点构成图像模板，将采集的人脸图像与不同姿态的图像模板进行匹配，其中，匹配程度最高的图像模板包括的姿态，即为图像中人脸的姿态的识别结果。

需要说明的是，在人脸姿态识别的过程中，上述识别方式可以择一使用或结合使用，这里不做限定。

这里，对于源对象在源图像中成像的尺寸而言，在识别出源对象的特征点之后，通过计算边缘部位的特征点之间的距离，可以得到源对象在不同维度(即不同方向)的尺寸，如从眉部到下巴的距离，从左耳到右耳的距离。

需要说明的是，通过对比所有与对象检测、对象姿态识别相关的开放软件开发工具包(SDK，Software Development Kit)的性能，为保证检测的准确性，本发明实施例选用人脸识别SDK。以对象为人脸为例，利用该SDK可以获得如图8所示的本发明实施例提供的五官定位基准点的示意图，参见图8，从图8中可以获得人脸上的83个特征点。这些特征点分别为眉毛特征点、眼睛特征点、鼻子特征点、嘴巴特征点以及脸部轮廓特征点等。

步骤502，从目标图像中识别目标对象，根据目标对象的特征点识别出目标对象在目标图像中成像的姿态和尺寸。

在本发明可选实施例中，目标图像可为视频图像帧中的一帧，也可为一个图片或一张照片，在此不做限定。

在本发明可选实施例中，还可以在识别源对象之前，事先从目标图像中识别目标对象，然后再根据目标对象的特征点识别出目标对象在目标图像中成像的姿态和尺寸；也就是说，本发明实施例对步骤501和步骤502的顺序不做任何限定。

需要说明的是，可以采用与上述步骤501中相类似的识别源对象的方法(见图6所示的方法)，以及识别源对象在源图像中成像的姿态和尺寸的方法，从目标图像中识别目标对象，并根据目标对象的特征点识别出目标对象在目标图像中成像的姿态和尺寸，在此不再一一赘述。从目标图像中识别的目标对象为符合预定特征的目标对象，对于不符合预定特征的目标对象，本发明实施例在此不做处理。

步骤503，根据源对象在源图像中成像的姿态和尺寸、与目标对象在目标图像中成像的姿态和尺寸的匹配关系，调整源对象在源图像中成像的姿态和尺寸，以使得目标对象和调整后的源对象中相同类型特征点的位置对齐。

在本发明可选实施例中，可以采用如下方式实现上述步骤503：根据源对象在源图像中成像的欧拉角，对源对象在源图像中的成像进行旋转操作，直至与目标对象在目标图像中成像的欧拉角一致；以及根据源对象在源图像中成像的尺寸，对源对象在源图像中的成像进行缩小或放大操作，直至与目标对象在目标图像中成像的尺寸一致。

这里，目标物体在摄像机中所呈现的图像受姿态的影响较大，同一物体在不同姿态下所呈现图像的颜色、形状、纹理等信息都不尽相同。以源对象和目标对象均为人脸为例，人脸姿势有两种表达方式：脸部朝向和欧拉角。本发明实施例采用人脸在图像中成像为侧脸图像时相对于正向人脸所形成的三种角度即欧拉角表示，参见图1A，分别用Pitch、Yaw和Roll对应代表对人脸进行上下翻转、左右翻转和平面内旋转三个方向的姿态角度。

举例来说，为了保证源图像和目标图像中人脸的角度一致，通常需要采集源图像中人脸成像(相对于参考坐标系)的角度，然后对源图像中人脸的角度与目标图像中人脸的角度作差，之后，利用所计算得到的差值对源图像中的人脸成像进行旋转操作，直至与目标图像中人脸成像的角度一致。同时，由于源图像中人脸成像的尺寸与目标图像中人脸成像的尺寸之间存在差异，有可能会影响到融合的效果，因此，本发明实施例根据源图像中人脸成像的尺寸，对源图像中人脸的成像进行缩小或放大操作，直至与目标图像中人脸成像的尺寸一致。

同样，源图像和目标图像可为视频图像帧中的一帧，也可为一个图片或一张照片，在此不做限定。

步骤504，在调整好源对象在源图像中成像的姿态和尺寸后，根据源图像的平均颜色值与各待补偿的像素点的颜色值的比较结果，确定相应像素点的补偿值。

在本发明可选实施例中，可以采用如下方式实现上述步骤504：当待补偿的像素点的颜色值大于源图像的平均颜色值时，确定待补偿的像素点的补偿值为参考值与第一补偿系数的乘积；当待补偿的像素点的颜色值小于或等于源图像的平均颜色值时，确定待补偿的像素点的补偿值为参考值与第二补偿系数的乘积；

其中，第一补偿系数、第二补偿系数为根据原始颜色值与源图像的平均颜色值的比值确定；参考值为根据源图像的平均颜色值与目标图像的平均颜色值的差值确定。

步骤505，根据补偿值对源图像中各像素点的颜色值进行均衡化处理。

在实际应用中，为了使得源图像中的源对象与目标图像中的目标对象在进行融合的过程中，两者的颜色能够最大限度地接近，以保证融合的效果，此时需要对源图像中各像素点的颜色值进行均衡化处理。

下面结合上述步骤504和步骤505，以对象为人脸为例，对源图像中各像素点的颜色值进行均衡化处理的过程进行详细说明。

参见图9，图9为本发明实施例提供的对源图像中各像素点的颜色值进行均衡化处理的方法的一个可选的示意图，包括以下步骤：

步骤5051，利用肤色检测器对人脸区域进行肤色检测。

在本发明可选实施例中，可采用各种已有的或新的肤色检测方法，利用人脸区域在三通道的先验的特征，利用肤色检测器检测人脸区域中的颜色值，在此不做限定；三通道分别为R、G、B三通道，且R、G、B分别对应红、绿、蓝三种颜色。例如，将检测到满足以下颜色条件的区域作为人脸区域：R>95 And G>40 And B>20 And R>G And R>B And Max(R，G，B)-Min(R，G，B)>15 And Abs(R-G)>15。参见图10A，图10A为本发明实施例提供的处于背景图像中的人脸区域示意图，经过对处于背景图像中的人脸区域进行肤色检测，可以得到如图10B所示的本发明实施例提供的仅显示人脸区域的示意图，从图10B中可见，示意图中的人脸区域未处于背景图像中。当图10A中的处于背景图像中的人脸在图像中成像为侧脸图像时，可以得到如图10C所示的本发明实施例提供的处于背景图像中的人脸侧视示意图。

步骤5052，计算源图像和目标图像中人脸区域的平均颜色值。

举例来说，从R、G、B三通道分别计算源图像中人脸区域的平均颜色值，将其记为userRGB，以及目标图像中人脸区域的平均颜色值，将其记为modelRGB；之后，根据源图像中人脸区域的平均颜色值userRGB和目标图像中人脸区域的平均颜色值modelRGB，可以得到一经验值，作为对源图像中各像素点的颜色值进行均衡化处理的参考值，例如，可对源图像中人脸区域的平均颜色值userRGB与目标图像中人脸区域的平均颜色值modelRGB作差，记为：diffRGB＝userRGB-modelRGB，并将所计算得到的差值作为参考值。当然，还有一些其他方式的变换，比如：diffRGB＝(userRGB-modelRGB)*a或diffRGB＝userRGB*a-modelRGB，其中，a为小于1的任意系数，对于采用哪种表达方式，本发明在此不做限定。

步骤5053，对源图像中人脸区域的平均颜色值与待补偿的像素点的颜色值进行比较，根据比较结果确定相应像素点的补偿值。

举例来说，将待补偿的像素点的颜色值记为pixel，当待补偿的像素点的颜色值大于源图像中人脸区域的平均颜色值，即pixel大于userRGB时，确定待补偿的像素点的补偿值为参考值diffRGB与第一补偿系数a1的乘积；

当待补偿的像素点的颜色值小于或等于源图像中人脸区域的平均颜色值，即pixel小于或等于userRGB时，确定待补偿的像素点的补偿值为参考值diffRGB与第二补偿系数a2的乘积；

其中，a1、a2为根据原始颜色值color与源图像的平均颜色值的比值确定。

步骤5054，根据确定的补偿值对源图像中人脸区域各像素点的颜色值进行均衡化处理。

这里，在对源图像中人脸区域各像素点的颜色值进行均衡化处理的过程中，可做如下操作：

当pixel大于userRGB时，则颜色均衡化的结果表示为result＝color+diffRGB*a1，其中，a1＝((1.0-color)/(1.0-userRGB))；

当pixel小于或等于userRGB时，则颜色均衡化的结果表示为result＝color+diffRGB*a2，其中，a2＝(color/userRGB)。

当然，根据实际情况的需要，可对第一补偿系数a1和第二补偿系数a2做适应调整，并不仅限于上述表示方式。

步骤506，在进行均衡化处理后，根据目标对象的成像与调整后的源对象的成像的平均形状，调整源对象在源图像中成像的形状，以及目标对象在目标图像中成像的形状。

在本发明可选实施例中，可以采用如下方式实现上述步骤506：计算调整后的源对象在源图像中、以及目标对象在目标图像中相同类型的特征点的平均位置；调整源对象在源图像中特征点的位置、以及目标对象在目标图像中特征点的位置与平均位置匹配。

以源对象和目标对象均为人脸为例，比如，源对象在源图像中、以及目标对象在目标图像中相同类型的特征点，可以为源图像中的鼻子特征点与目标图像中的鼻子特征点，当然还可以是其它类型能够表征人脸的特征点，在此不做限定。

需要说明的是，本发明实施例用相同类型的特征点的平均位置来表示人脸的平均区域。这里，判定源对象在源图像中特征点的位置、以及目标对象在目标图像中特征点的位置，是否与平均位置匹配，可以采用位置一致或阈值比较的判定方法。

举例来说，可以将源对象在源图像中特征点的位置与平均位置进行比较，以及将目标对象在目标图像中特征点的位置与平均位置进行比较，当两次比较的位置都一致时，则可以确定匹配成功；还可以将源对象在源图像中特征点的位置与平均位置之间的欧式距离和预先设置的距离阈值进行比较，若欧式距离小于距离阈值，则可以确定匹配成功，同理，对于目标对象在目标图像中特征点的位置与平均位置是否匹配，也可以采用同样的阈值比较判定方法来确定匹配是否成功。

这里，对于调整源对象在源图像中特征点的位置、以及目标对象在目标图像中特征点的位置均与平均位置匹配的步骤实现，可以包括以下三种不同的方式：

方式1)：根据源对象在源图像中特征点的位置、以及目标对象在目标图像中特征点的位置构造多边形，调整所构造的多边形匹配。

举例来说，对于上述方式1)，根据各特征点的平均位置连接形成平均多边形；根据源对象在源图像中的特征点连接形成多边形，根据目标对象在目标图像中的特征点连接形成多边形；调整所连接形成的多边形的形状与平均多边形的形状一致。

为了描述方便起见，本发明实施例以所形成的平均多边形和多边形均为三角形为例，以源对象和目标对象均为人脸为例，将人脸的特征点作为三角形的顶点，连接三角形的各顶点构成三角形，这样，就可以将源图像中的人脸和目标图像中的人脸均分割成若干个小的三角形。

同理，将源图像中的人脸和目标图像中的人脸具有相同类型的特征点的位置进行平均，可得到位置的平均值，例如，将源图像中的鼻尖特征点的位置与目标图像中的鼻尖特征点的位置求取平均值，作为平均三角形中鼻尖特征点的平均位置；将源图像中的左眼睛特征点的位置与目标图像中的左眼睛特征点的位置求取平均值，作为平均三角形中左眼睛特征点的平均位置，其他特征点以此类推，可以得到不同类型特征点的平均位置来表示平均三角形。之后，判断构造的平均三角形的形状与连接形成的三角形的形状是否一致，若两者的形状之间存在差异，则调整所连接形成的三角形与平均三角形的形状一致。

参见图11，图11为本发明实施例提供的人脸网格结构示意图，可见，将人脸分割成若干个小的三角形。举例来说，以平均三角形的平均位置为鼻尖特征点的平均位置为例，选取其中的一个三角形为例，比如图11中的三角形1，那么，为了保持源图像中的鼻尖特征点连接形成的三角形如图11中的三角形2的形状，以及目标图像中的鼻尖特征点连接形成的三角形如图11中的三角形3的形状，均与三角形1的形状一致，可以对源图像中的鼻尖特征点连接形成的三角形2的各个角和目标图像中的鼻尖特征点连接形成的三角形3的各个角进行相应的角度调整操作。

为了提高人脸融合的效果，在对源图像中的人脸进行肤色均衡后，需要将源图像中的人脸和目标图像中的人脸进行平均、变形操作，主要包括以下两个步骤：

步骤(1)，对源图像中的人脸进行大小的缩放、旋转、以及位移；

步骤(2)，人脸网格化。

平均脸技术，指的是对两个不同人脸的特征点坐标进行平均，为了保证源图像中的人脸和目标图像中的人脸的特征点在计算平均值时的正确性，这里需要根据目标图像中的人脸的大小，角度，鼻尖位置，对源图像中的人脸进行大小的缩放、旋转、以及位移操作。采用如下策略可以得到用来与目标图像中的人脸做平均的源图像中的人脸特征点集合A3：

(1)假设源图像中的人脸特征点为集合A，目标图像中的人脸特征点为集合B，源图像中的人脸宽度为w1，目标图像中的人脸宽度为w2；

(2)计算偏转角α，偏转角α＝目标图像中人脸的角度-源图像中人脸的角度，将A旋转α，可以得到集合A1；

(3)对A1进行移位：

X轴偏移offsetX＝源图像中人脸鼻尖点x-目标图像中人脸鼻尖点x；Y轴偏移offsetY＝源图像中人脸鼻尖点y-目标图像中人脸鼻尖点y。

对集合A1做偏移(offsetX，offsetY)，可以得到集合A2；

(4)对A2进行缩放得到A3，其中，缩放比例scale＝w2/w1。

在得到A3之后，将A3和集合B中具有相同类型的特征点的位置进行平均，就得到了平均脸坐标。在得到平均脸坐标后，以平均脸作为参考，调整源图像中的人脸和目标图像中的人脸，使其均与平均脸的形状一致。这里，可以采用网格拉伸的方法对源图像中的人脸和目标图像中的人脸进行变形处理。具体是根据人脸的83个特征点，利用德劳内三角化算法，将人脸分割成若干个小的三角形，如图11所示的本发明实施例提供的人脸网格结构示意图，通过改变源图像中的人脸和目标图像中的人脸所构成的三角形顶点位置，达到与平均脸的形状一致的效果。

下面对本发明实施例获取平均脸特征点的方法的实现过程做进一步详细说明。

参见图12，图12为本发明实施例提供的获取平均脸特征点的方法的一个可选的示意图，包括以下步骤：

步骤5061，获取源图像中的人脸特征点。

步骤5062，根据源图像中人脸成像的欧拉角和目标图像中的人脸角度，对源图像中的人脸进行旋转，直至源图像中人脸的角度与目标图像中人脸的角度相同。

步骤5063，以目标图像中人脸鼻尖为中心，对源图像中的人脸特征点做偏移。

步骤5064，根据目标图像中人脸的大小，对源图像中的人脸特征点进行缩放操作。

步骤5065，对源图像中人脸特征点的位置坐标和目标图像中同一类型的人脸特征点的位置坐标进行平均，得到平均脸特征点的坐标。

方式2)：对源对象在源图像中特征点的位置、以及目标对象在目标图像中特征点的位置进行仿射变换，直至与平均位置匹配；

对于上述方式2)，根据平均形状包括的特征点的位置、与源对象在源图像中的相应特征点的位置关系，对源对象在源图像中的成像进行仿射变换；

根据平均形状包括的特征点的位置、与目标对象在目标图像中的相应特征点的位置关系，对目标对象在目标图像中的成像进行仿射变换。

在本发明可选实施例中，可采用各种已有的或新的仿射变换方法，对源对象在源图像中的成像进行仿射变换，以及对目标对象在目标图像中的成像进行仿射变换，在此不再一一赘述。

方式3)：对源对象在源图像中特征点的位置、以及目标对象在目标图像中特征点的位置进行基于特征点的图像扭曲操作，直至与平均位置匹配。

对于上述方式3)，可以采用各种已有的或新的图像扭曲算法来对源对象在源图像中特征点的位置、以及目标对象在目标图像中特征点的位置，进行基于特征点的图像扭曲操作，在此不再一一赘述。

步骤507，根据对齐源对象和目标对象所成像的形状的方式，对源图像以及目标图像进行融合。

在本发明可选实施例中，可以采用如下方式实现上述步骤507：将源对象在源图像的图层中的形状、以及目标对象在目标图像的图层中的形状以对齐的方式叠加。

举例来说，调整源对象在源图像中成像的形状后，生成源图像的灰度图；

将源对象在灰度图的图层中的形状、源对象在源图像的图层中的形状、以及目标对象在目标图像的图层中的形状以对齐的方式叠加。

其中，叠加图层中不同位置的像素点的颜色值，为叠加的图层中相应位置的像素点的最小颜色值，表示如下：reusltColor＝mix(userColor，modelColor，grayColor.a)；也就是说，最小颜色值为源图像中图层的像素点的颜色值、目标图像中图层的像素点的颜色值、以及灰度图的图层的像素点的颜色值中的最小值；其中，a为一系数，可为任意取值。

需要说明的是，源对象在源图像的图层中的形状，即为源对象在源图像中向平均形状调整后的形状。

为了保证人脸融合的效果，本发明实施例使用一个脸部灰度mask图片，使得人脸外围轮廓的地方能够平滑的过渡，从而得到最终的融合人脸图。

对于脸部灰度mask图片而言，选取的是一张标准的人脸，其中，人脸区域变为黑色，背景区域变为白色，人脸区域与背景区域之间的边缘区域为黑白过渡。由于标准人脸和用户平均脸之间存在大小和角度的不一致，因此，需要对标准人脸的脸部灰度mask图片上的人脸特征点进行与前述相类似的缩放、旋转、位移操作，使得标准人脸的脸部灰度mask图片与用户平均脸的大小一致。

为了更清楚地表明图像融合的技术效果，下面以图示来说明图像处理的完整过程，参见图13，图13为本发明实施例提供的选取的目标图像的示意图，将图10A作为待处理的图像，即为源图像，对目标图像进行三角形分割处理，得到如图14所示的对目标图像进行三角形分割的效果图；将源图像与目标图像进行图像融合，得到如图15所示的融合图像示意图。

本发明实施例还提供了一种图像处理装置，参见图16，图16为本发明实施例提供的图像处理装置16的一个可选的功能结构示意图，图像处理装置16包括识别单元161、调整单元162、融合单元163和均衡单元164，下面对各单元的功能进行说明。

识别单元161，配置为从源图像中识别源对象，根据源对象的特征点识别出源对象在源图像中成像的姿态和尺寸；

就识别单元161从源图像中识别源对象来说，可以采用以下方式实现：从源图像中提取至少一个维度的特征，利用所提取的特征与对象特征模板进行匹配，获得所提取的特征与对象特征模板的相似度；当相似度超过对象特征相似度阈值时，确定源图像中存在符合对象特征模板的源对象。

就识别单元161根据源对象的特征点识别出源对象在源图像中成像的姿态来说，可以采用以下方式实现：根据源对象的特征点与不同姿态模板包括的特征点进行匹配，获得匹配的相似度；当匹配的相似度超过形状相似度阈值时，确定源对象具有相应的姿态模板包括的姿态。

调整单元162，配置为根据源对象在源图像中成像的姿态和尺寸、与目标对象在目标图像中成像的姿态和尺寸的匹配关系，调整源对象在源图像中成像的姿态和尺寸；

调整单元162，还配置为调整源对象在源图像中成像的形状，以及目标对象在目标图像中成像的形状；

就调整单元162根据源对象在源图像中成像的姿态和尺寸、与目标对象在目标图像中成像的姿态和尺寸的匹配关系，调整源对象在源图像中成像的姿态和尺寸来说，可以采用以下方式实现：

根据源对象在源图像中成像的欧拉角，对源对象在源图像中的成像进行旋转操作，直至与目标对象在目标图像中成像的欧拉角一致；

根据源对象在源图像中成像的尺寸，对源对象在源图像中的成像进行缩小或放大操作，直至与目标对象在目标图像中成像的尺寸一致。

就调整单元162调整源对象在源图像中成像的形状，以及目标对象在目标图像中成像的形状来说，可以采用以下方式实现：确定目标对象的成像与调整后的源对象的成像的平均形状；根据平均形状，调整源对象在源图像中成像的形状，以及目标对象在目标图像中成像的形状。具体地，计算源对象在源图像中、以及目标对象在目标图像中相同类型的特征点的平均位置；调整源对象在源图像中特征点的位置、以及目标对象在目标图像中特征点的位置与平均位置匹配。

例如，调整单元162根据源对象在源图像中特征点的位置、以及目标对象在目标图像中特征点的位置构造多边形，调整所构造的多边形匹配；

举例来说，可以先根据各特征点的平均位置连接形成平均多边形；然后，根据源对象在源图像中的特征点连接形成多边形，以及根据目标对象在目标图像中的特征点连接形成多边形；之后，调整所连接形成的多边形的形状与平均多边形的形状一致，以达到根据对象构造的多边形与平均多边形匹配的效果。

又例如，调整单元162对源对象在源图像中特征点的位置、以及目标对象在目标图像中特征点的位置进行仿射变换，直至与平均位置匹配；

举例来说，调整单元162根据平均形状包括的特征点的位置、与源对象在源图像中的相应特征点的位置关系，对源对象在源图像中的成像进行仿射变换；以及根据平均形状包括的特征点的位置、与目标对象在目标图像中的相应特征点的位置关系，对目标对象在目标图像中的成像进行仿射变换。

再例如，调整单元162对源对象在源图像中特征点的位置、以及目标对象在目标图像中特征点的位置进行基于特征点的图像扭曲操作，直至与平均位置匹配。

融合单元163，配置为根据对齐所述源对象和所述目标对象所成像的形状的方式，对源图像以及目标图像进行融合。

就融合单元163根据对齐所述源对象和所述目标对象所成像的形状的方式，对源图像以及目标图像进行融合来说，可以采用以下方式实现：将源对象在源图像的图层中的形状、以及目标对象在目标图像的图层中的形状以对齐的方式叠加；

其中，叠加图层中不同位置的像素点的颜色值，为叠加的图层中相应位置的像素点的最小颜色值。

举例来说，融合单元163调整源对象在源图像中成像的形状后，生成源图像的灰度图；之后将源对象在灰度图的图层中的形状、源对象在源图像的图层中的形状、以及目标对象在目标图像的图层中的形状以对齐的方式叠加。

均衡单元164，配置为根据源图像的平均颜色值与各待补偿的像素点的颜色值的比较结果，确定相应像素点的补偿值；根据补偿值对源图像中各像素点的颜色值进行均衡化处理。

就均衡单元164根据源图像的平均颜色值与各待补偿的像素点的颜色值的比较结果，确定相应像素点的补偿值来说，可以采用以下方式实现：当待补偿的像素点的颜色值大于源图像的平均颜色值时，确定待补偿的像素点的补偿值为参考值与第一补偿系数的乘积；当待补偿的像素点的颜色值小于或等于源图像的平均颜色值时，确定待补偿的像素点的补偿值为参考值与第二补偿系数的乘积；

其中，第一补偿系数、第二补偿系数为根据原始颜色值与源图像的平均颜色值的比值确定；参考值为根据源图像的平均颜色值与目标图像的平均颜色值的差值确定。

在实际应用中，上述单元可由中央处理器(CPU，Central Processing Unit)、微处理器(MPU，Micro Processor Unit)、DSP、或现场可编程门阵列(FPGA，Field ProgrammableGate Array)等实现。

需要说明的是：本发明实施例提供的图像处理装置在进行图像处理时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。

在示例性实施例中，本发明实施例还提供了一种存储介质，存储有可执行程序，可执行程序被处理器执行时，实现本发明实施例提供的图像处理方法，例如图5示出的图像处理方法。本发明实施例提供的存储介质可为光盘、闪存或磁盘等存储介质，可选为非瞬间存储介质。

综上所述，本发明实施例可实现以下有益效果：

1)在对用户图像中的对象和素材图像中的对象进行融合之前，调整用户对象在用户图像中成像的姿态、尺寸以及形状，使得用户图像中对象的特征点与素材图像中对象的特征点尽量拟合，有效减小了用户图像中对象成像与素材图像中对象成像之间存在的差异，因此确保了图像的融合精度能够满足使用需求，且达到了实时融合的效果，提升操作效率。

2)根据用户对象在用户图像中成像的姿态，对用户对象进行旋转操作，这样，在进行图像融合的过程中，能够保证用户图像与素材图像中对象的角度一致，使得用户对象处于非正面朝向时也可以获得良好的融合效果，进而能够提高图像融合的效果。

3)利用欧拉角对人脸姿态进行识别，能够精确表达所有状态下的人脸姿态。

4)对源图像中各像素点的颜色值进行均衡化处理，可以使得源图像中的源对象与目标图像中的目标对象在进行融合的过程中，两者的颜色能够最大限度地接近，以保证融合的效果。

5)为保证人脸融合的效果，采用脸部灰度mask图片，使得人脸外围轮廓的地方能够平滑的过渡，从而得到最终的融合人脸图。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (25)

1.一种图像处理方法，包括：

获取被拍摄的包括源对象的源图像；

从所述源图像中识别所述源对象，根据所述源对象的特征点识别出所述源对象在所述源图像中成像的姿态和尺寸；

其中，所述姿态包括所述源对象在所述源图像中成像时在三维空间所形成的欧拉角；

根据所述源对象在所述源图像中成像的姿态和尺寸、与目标对象在目标图像中成像的姿态和尺寸的匹配关系，调整所述源对象在所述源图像中成像的姿态和尺寸；

调整所述源对象在所述源图像中成像的形状，以及所述目标对象在所述目标图像中成像的形状；

根据对齐所述源对象和所述目标对象所成像的形状的方式，对所述源图像以及所述目标图像进行融合，得到融合图像；

显示所述融合图像。

2.如权利要求1所述的方法，其中，所述从所述源图像中识别所述源对象，包括：

从所述源图像中提取至少一个维度的特征，利用所提取的特征与对象特征模板进行匹配，获得所述所提取的特征与对象特征模板的相似度；

当所述相似度超过对象特征相似度阈值时，确定所述源图像中存在符合所述对象特征模板的源对象。

3.如权利要求1所述的方法，其中，所述根据所述源对象在所述源图像中成像的姿态和尺寸、与目标对象在目标图像中成像的姿态和尺寸的匹配关系，调整所述源对象在所述源图像中成像的姿态和尺寸，包括：

根据所述源对象在所述源图像中成像的所述欧拉角，对所述源对象在所述源图像中的成像进行旋转操作，直至与所述目标对象在所述目标图像中成像的欧拉角一致；

根据所述源对象在所述源图像中成像的尺寸，对所述源对象在所述源图像中的成像进行缩小或放大操作，直至与所述目标对象在所述目标图像中成像的尺寸一致。

4.如权利要求1所述的方法，其中，所述调整所述源对象在所述源图像中成像的形状，以及所述目标对象在所述目标图像中成像的形状，包括：

确定所述目标对象的成像与调整后的所述源对象的成像的平均形状；

根据所述平均形状，调整所述源对象在所述源图像中成像的形状，以及所述目标对象在所述目标图像中成像的形状。

5.如权利要求4所述的方法，其中，所述根据所述平均形状，调整所述源对象在所述源图像中成像的形状，以及所述目标对象在所述目标图像中成像的形状，包括：

计算调整后的所述源对象在所述源图像中、以及所述目标对象在所述目标图像中相同类型的特征点的平均位置；

调整所述源对象在所述源图像中特征点的位置、以及所述目标对象在所述目标图像中特征点的位置与所述平均位置匹配。

6.如权利要求5所述的方法，其中，所述调整所述源对象在所述源图像中特征点的位置、以及所述目标对象在所述目标图像中特征点的位置与所述平均位置匹配，包括：

根据所述源对象在所述源图像中特征点的位置、以及所述目标对象在所述目标图像中特征点的位置构造多边形，调整所构造的多边形匹配。

7.如权利要求6所述的方法，其中，所述根据所述源对象在所述源图像中特征点的位置、以及所述目标对象在所述目标图像中特征点的位置构造多边形，调整所构造的多边形匹配，包括：

根据各所述特征点的平均位置连接形成平均多边形；

根据所述源对象在所述源图像中的特征点连接形成多边形，根据所述目标对象在所述目标图像中的特征点连接形成多边形；

调整所连接形成的多边形的形状与所述平均多边形的形状一致。

8.如权利要求1所述的方法，其中，所述根据对齐所述源对象和所述目标对象所成像的形状的方式，对所述源图像以及所述目标图像进行融合，包括：

将所述源对象在所述源图像的图层中的形状、以及所述目标对象在所述目标图像的图层中的形状以对齐的方式叠加；

其中，叠加图层中不同位置的像素点的颜色值，为叠加的图层中相应位置的像素点的最小颜色值。

9.如权利要求8所述的方法，其中，所述将所述源对象在所述源图像的图层中的形状、以及所述目标对象在所述目标图像的图层中的形状以对齐的方式叠加，包括：

调整所述源对象在所述源图像中成像的形状后，生成所述源图像的灰度图；

将所述源对象在所述灰度图的图层中的形状、所述源对象在所述源图像的图层中的形状、以及所述目标对象在所述目标图像的图层中的形状以对齐的方式叠加。

10.如权利要求1所述的方法，其中，还包括：

根据所述源图像的平均颜色值与各待补偿的像素点的颜色值的比较结果，确定相应像素点的补偿值；

根据所述补偿值对所述源图像中各像素点的颜色值进行均衡化处理。

11.如权利要求10所述的方法，其中，所述根据所述源图像的平均颜色值与各待补偿的像素点的颜色值的比较结果，确定相应像素点的补偿值，包括：

当所述待补偿的像素点的颜色值大于所述源图像的平均颜色值时，确定所述待补偿的像素点的补偿值为参考值与第一补偿系数的乘积；

当所述待补偿的像素点的颜色值小于或等于所述源图像的平均颜色值时，确定所述待补偿的像素点的补偿值为所述参考值与第二补偿系数的乘积。

12.一种图像处理装置，包括：

识别单元，配置为获取被拍摄的包括源对象的源图像；从所述源图像中识别所述源对象，根据所述源对象的特征点识别出所述源对象在所述源图像中成像的姿态和尺寸；

其中，所述姿态包括所述源对象在所述源图像中成像时在三维空间所形成的欧拉角；

调整单元，配置为根据所述源对象在所述源图像中成像的姿态和尺寸、与目标对象在目标图像中成像的姿态和尺寸的匹配关系，调整所述源对象在所述源图像中成像的姿态和尺寸；

所述调整单元，还配置为调整所述源对象在所述源图像中成像的形状，以及所述目标对象在所述目标图像中成像的形状；

融合单元，配置为根据对齐所述源对象和所述目标对象所成像的形状的方式，对所述源图像以及所述目标图像进行融合，得到融合图像；显示所述融合图像。

13.如权利要求12所述的装置，其中，所述识别单元，具体配置为：

从所述源图像中提取至少一个维度的特征，利用所提取的特征与对象特征模板进行匹配，获得所述所提取的特征与对象特征模板的相似度；

当所述相似度超过对象特征相似度阈值时，确定所述源图像中存在符合所述对象特征模板的源对象。

14.如权利要求12所述的装置，其中，所述调整单元，具体配置为：

根据所述源对象在所述源图像中成像的所述欧拉角，对所述源对象在所述源图像中的成像进行旋转操作，直至与所述目标对象在所述目标图像中成像的欧拉角一致；

根据所述源对象在所述源图像中成像的尺寸，对所述源对象在所述源图像中的成像进行缩小或放大操作，直至与所述目标对象在所述目标图像中成像的尺寸一致。

15.如权利要求12所述的装置，其中，所述调整单元，具体配置为：

确定所述目标对象的成像与调整后的所述源对象的成像的平均形状；

根据所述平均形状，调整所述源对象在所述源图像中成像的形状，以及所述目标对象在所述目标图像中成像的形状。

16.如权利要求15所述的装置，其中，所述调整单元，具体配置为：

计算调整后的所述源对象在所述源图像中、以及所述目标对象在所述目标图像中相同类型的特征点的平均位置；

调整所述源对象在所述源图像中特征点的位置、以及所述目标对象在所述目标图像中特征点的位置与所述平均位置匹配。

17.如权利要求16所述的装置，其中，所述调整单元，具体配置为：

根据所述源对象在所述源图像中特征点的位置、以及所述目标对象在所述目标图像中特征点的位置构造多边形，调整所构造的多边形匹配。

18.如权利要求17所述的装置，其中，所述调整单元，具体配置为：

根据各所述特征点的平均位置连接形成平均多边形；

根据所述源对象在所述源图像中的特征点连接形成多边形，根据所述目标对象在所述目标图像中的特征点连接形成多边形；

调整所连接形成的多边形的形状与所述平均多边形的形状一致。

19.如权利要求12所述的装置，其中，所述融合单元，具体配置为：

将所述源对象在所述源图像的图层中的形状、以及所述目标对象在所述目标图像的图层中的形状以对齐的方式叠加；

其中，叠加图层中不同位置的像素点的颜色值，为叠加的图层中相应位置的像素点的最小颜色值。

20.如权利要求19所述的装置，其中，所述融合单元，具体配置为：

调整所述源对象在所述源图像中成像的形状后，生成所述源图像的灰度图；

将所述源对象在所述灰度图的图层中的形状、所述源对象在所述源图像的图层中的形状、以及所述目标对象在所述目标图像的图层中的形状以对齐的方式叠加。

21.如权利要求12所述的装置，其中，还包括：

均衡单元，配置为根据所述源图像的平均颜色值与各待补偿的像素点的颜色值的比较结果，确定相应像素点的补偿值；

根据所述补偿值对所述源图像中各像素点的颜色值进行均衡化处理。

22.如权利要求21所述的装置，其中，所述均衡单元，具体配置为：

当所述待补偿的像素点的颜色值大于所述源图像的平均颜色值时，确定所述待补偿的像素点的补偿值为参考值与第一补偿系数的乘积；

当所述待补偿的像素点的颜色值小于或等于所述源图像的平均颜色值时，确定所述待补偿的像素点的补偿值为所述参考值与第二补偿系数的乘积。

23.一种存储介质，存储有可执行程序，所述可执行程序被处理器执行时，实现如权利要求1至11任一项所述的图像处理方法。

24.一种图像处理装置，包括：

存储器，配置为存储可执行程序；

处理器，配置为执行所述存储器中存储的可执行程序时，实现如权利要求1至11任一项所述的图像处理方法。

25.一种终端，包括：

存储器，配置为存储可执行程序；

处理器，配置为执行所述存储器中存储的可执行程序时，实现如权利要求1至11任一项所述的图像处理方法。

Images