CN110675420B - 一种图像处理方法和电子设备 - Google Patents

Abstract

本申请实施例公开了一种图像处理方法和电子设备，用于提高前景图像处理后的图像合成效果。本申请实施例提供一种图像处理方法包括：显示从序列帧视频流中获取到的第一关键帧图像；获取对第一关键帧图像进行前景背景分离处理后得到的第一前景图像和第一背景图像；获取对第一前景图像上的第一目标对象进行前景图像处理后得到的第二前景图像；获取通过第二背景图像对第一背景图像进行背景修复处理后得到的第三背景图像，第二背景图像是第二关键帧图像上包括的背景图像，第二关键帧图像在获取第一关键帧图像之前通过摄像头拍摄目标场景得到；获取对第二前景图像和第三背景图像进行前景背景合成处理后得到的前景背景合成处理后的第一关键帧图像。

Description

一种图像处理方法和电子设备

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像处理方法和电子设备。

背景技术

人们可以通过手机、平板或笔记本电脑等移动终端设备的摄像头对目标区域(例如人脸)进行实时拍摄和处理，达到目标区域实时处理的效果。这些功能有效帮助用户生成较满意效果的图像。

但是在该功能应用中，目标区域(例如人脸)可以是整个图像中的前景区域，该前景区域的面积在图像中所占比例较大，处理后前景区域通常会发生形变；直接将变形后的前景区域拼接回原图像的话，会造成前景区域与背景图像区域(即原图中除目标区域外的其他区域)拼接不吻合问题。因此，在对前景区域进行处理并发生变形时，亟需对背景图像区域进行处理，以解决前景与背景不吻合的现象。

目前，存在一种基于图像仿射变换的背景融合技术，即通过变形前后的前景对应关系将背景图像区域进行拉伸变形，使得背景图像区域拉伸扭曲至恰好与变形后前景边缘区域吻合，以消除前景和背景拼接时的不吻合问题。例如，在美颜瘦脸时对背景图像区域进行拉伸变形，以解决前景和背景拼接时存在的不吻合问题。但是这种对背景图像区域进行拉伸变形后，会存在处理痕迹明显的问题，整个图像的真实感受破坏，存在前景图像处理后导致的图像合成效果差的问题。

发明内容

本申请实施例提供了一种图像处理方法和电子设备，用于提高前景图像处理后的图像合成效果。

为解决上述技术问题，本申请实施例提供以下技术方案：

第一方面，本申请实施例提供一种图像处理方法，应用于具有摄像头的电子设备，其特征在于，所述方法包括：显示从序列帧视频流中获取到的第一关键帧图像，所述序列帧视频流由所述摄像头对包括第一目标对象在内的目标场景进行拍摄得到；获取对所述第一关键帧图像进行前景背景分离处理后得到的第一前景图像和第一背景图像，所述第一前景图像包括所述第一目标对象；获取对所述第一前景图像上的所述第一目标对象进行前景图像处理后得到的第二前景图像，所述第二前景图像包括：前景图像处理后的第一目标对象；获取通过第二背景图像对所述第一背景图像进行背景修复处理后得到的第三背景图像，所述第二背景图像是第二关键帧图像上包括的背景图像，所述第二关键帧图像在获取所述第一关键帧图像之前通过所述摄像头拍摄所述目标场景得到；获取对所述第二前景图像和所述第三背景图像进行前景背景合成处理后得到的前景背景合成处理后的第一关键帧图像。在该方案中，在获取第一关键帧图像之前可以获取到第二背景图像，使用该第二背景图像可以对第一背景图像进行背景修复处理，因此得到的第三背景图像可以包含尽可能全面的背景图像信息，以此修补生成第二前景图像时造成的空白无纹理区域，提高前景图像处理后的图像合成效果。

在一种可能的实现方式中，所述显示从序列帧视频流中获取到的第一关键帧图像之前，所述方法还包括：显示从预览视频流中获取到的第二关键帧图像，所述预览视频流是在所述摄像头生成所述序列帧视频流之前对所述目标场景进行预览拍摄得到；获取从所述第二关键帧图像中分离出的所述第二背景图像。在该方案中，在摄像头生成序列帧视频流之前对目标场景进行预览拍摄得到预览视频流，从预览视频流中获取第二关键帧图像，此时由于摄像头只拍摄了目标场景，因此从第二关键帧图像中分离出背景图像，将分离出的背景图像作为第二背景图像。

在一种可能的实现方式中，所述获取通过第二背景图像对所述第一背景图像进行背景修复处理之前，所述方法还包括：显示从所述序列帧视频流中获取到的所述第二关键帧图像；获取对所述第二关键帧图像进行前景背景分离处理后得到的第四背景图像；获取通过第五背景图像对所述第四背景图像进行者背景修复处理后得到的所述第二背景图像，所述第五背景图像从预览视频流中的第三关键帧图像中分离出，所述预览视频流在所述摄像头生成所述序列帧视频流之前对所述目标场景进行预览拍摄得到。在该方案中，在摄像头生成序列帧视频流之前对目标场景进行预览拍摄得到预览视频流，从预览视频流中获取第三关键帧图像，此时由于摄像头只拍摄了目标场景，因此从第三关键帧图像中分离出背景图像，将分离出的背景图像作为第五背景图像，第五背景图像可以用于对第四背景图像的背景图像修复处理。

在一种可能的实现方式中，所述显示从序列帧视频流中获取到的第一关键帧图像之前，所述方法还包括：在所述摄像头生成所述序列帧视频流之前，通过所述摄像头对所述目标场景进行连续拍摄，得到多个连续的背景图像；获取对所述多个连续的背景图像进行累积叠加处理后得到的所述第二背景图像。在该方案中，在摄像头固定、拍摄环境不变的场景下，通过摄像头对目标场景进行连续拍摄，可以对多个连续的背景图像进行累积叠加，获取更全面的背景图像，该更全面的背景图像可以作为第二背景图像，第二背景图像可以用于对第一背景图像的背景图像修复处理。

在一种可能的实现方式中，所述显示从序列帧视频流中获取到的第一关键帧图像，包括：显示从序列帧视频流中获取到的n个序列帧图像，所述n为大于或等于2的正整数；获取从所述n个序列帧图像中确定出的1个原始关键帧图像和n-1个相关帧图像；使用所述n-1个相关帧图像的像素信息对所述原始关键帧图像进行清晰度增强处理，确定清晰度增强处理后的原始关键帧图像作为所述第一关键帧图像。在该方案中，可以对关键帧图像进行清晰度增强，从n个序列帧图像中确定出1个原始关键帧图像和n-1个相关帧图像，以原始关键帧图像为主图，相关帧图像是指n帧图像中除去当前作为原始关键帧图像的其他n-1帧图像。获取n-1个相关帧图像的像素信息，相关帧图像的像素信息可以是该相关帧图像的每个像素点的能量值，基于n-1个相关帧图像的像素信息对原始关键帧图像进行清晰度增强处理，将清晰度增强处理后的原始关键帧图像作为第一关键帧图像，使用清晰度更高的第一关键帧图像，可以进一步的提高图像合成的效果。

在一种可能的实现方式中，所述使用所述n-1个相关帧图像的像素信息对所述原始关键帧图像进行清晰度增强处理，包括：获取所述原始关键帧图像的图像点原始能量值；从所述n-1个相关帧图像中获取位于所述原始关键帧图像的前后各k个相关帧图像，所述k的取值小于或等于(n-1)÷2；获取通过所述原始关键帧图像的前后各k个相关帧图像的图像点能量值对所述原始关键帧图像的图像点原始能量值进行优化处理后得到的所述原始关键帧图像的图像点优化后能量值。在该方案中，可以对关键帧图像进行清晰度增强，以原始关键帧图像为主图，确定前后各k(例如：k＝1,2,3)张相关帧图像，基于能量方式对原始关键帧图像的能量值进行最优化处理，以增强原始关键帧的图像清晰度。

在一种可能的实现方式中，所述获取对所述第二前景图像和所述第三背景图像进行前景背景合成处理后得到的前景背景合成处理后的第一关键帧图像之后，所述方法还包括：获取对所述前景背景合成处理后的第一关键帧图像进行前景边缘融合处理后得到的前景边缘融合处理后的第一关键帧图像；输出所述前景边缘融合处理后的第一关键帧图像。在该方案中，处理前景图像边缘区域，减少边缘因为突变造成图像过渡不自然问题，例如边缘的处理可有通过羽化处理来实现。根据关键帧视频流，对视频进行插帧处理，以实现处理结果图像视频流畅输出。

在一种可能的实现方式中，所述通过第二背景图像对所述第一背景图像进行背景修复处理，包括：根据所述第一背景图像和所述第二背景图像之间的特征点对应关系，获取所述第一背景图像和所述第二背景图像之间的帧间变化位置关系；获取根据所述帧间变化位置关系对所述第二背景图像进行透视变换后得到的变换后的第二背景图像；将所述变换后的第二背景图像拼接到所述第一背景图像上，得到所述第三背景图像。在该方案中，第一背景图像和第二背景图像之间的特征点对应关系是指相同的特征点在两个背景图像中的对应关系，根据特征点对应关系可以获取第一背景图像和第二背景图像之间的帧间变化位置关系，其中，帧间变化位置关系可以是从第二背景图像变化至第一背景图像时的帧间位置关系，例如帧间变化位置关系可以是第二背景图像与第一背景图像之间的姿态变化关系。接下来根据帧间变化位置关系对第二背景图像进行透视变换，得到变换后的第二背景图像。最后将变换后的第二背景图像拼接到第一背景图像上，从而可以修补当前帧背景图像存在的空白无纹理区域，第一背景图像上拼接有透视变换后的第二背景图像后，可以输出第三背景图像，该第三背景图像可用于前景背景图像的合成，由于第三背景图像上已经补了空白无纹理区域，因此可以提高图像合成的效果。

在一种可能的实现方式中，所述根据所述第一背景图像和所述第二背景图像之间的特征点对应关系，获取所述第一背景图像和所述第二背景图像之间的帧间变化位置关系，包括：获取所述第一背景图像对应的当前帧姿态参数；根据所述第二背景图像对应的上一帧姿态参数和所述当前帧姿态参数，获取所述第一背景图像和所述第二背景图像之间的帧间初始位置关系；获取对所述第一背景图像和所述第二背景图像进行特征提取和特征匹配后得到的特征点对应关系；使用所述特征点对应关系对所述帧间初始位置关系进行优化，得到所述第一背景图像和所述第二背景图像之间的帧间变化位置关系。在该方案中，第一背景图像对应的当前帧姿态参数可以通过电子设备的IMU来完成，第二背景图像对应的上一帧姿态参数可以通过预先存储的姿态参数得到，使用上一帧姿态参数和当前帧姿态参数计算出第一背景图像和第二背景图像之间的帧间初始位置关系，接下来对第一背景图像和第二背景图像进行特征提取和特征匹配，得到特征点对应关系，提取的特征可以是DAISY特征，最后使用特征点对应关系对帧间初始位置关系进行优化，得到第一背景图像和第二背景图像之间的帧间变化位置关系。

在一种可能的实现方式中，所述根据所述帧间变化位置关系对所述第二背景图像进行透视变换，包括：使用所述帧间变化位置关系获取所述第一背景图像和所述第二背景图像之间的透视变换矩阵；获取使用所述透视变换矩阵对所述第二背景图像进行透视变换后得到的变换后的第二背景图像。在该方案中，通过优化后的帧间变化位置关系计算当前帧图像与上一帧图像之间的透视变换矩阵，根据透视变换矩阵对上一帧背景图像进行透视变换，将变换后的图像拼接至当前帧的背景图像，修补当前帧的背景图像存在的空白无纹理区域；最后，将修补后的背景图像和当前帧的姿态参数作为上一帧的背景图像和上一帧的姿态参数输出参与到下一帧循环中去，同时将修补后的背景图像进行输出。

在一种可能的实现方式中，所述通过第二背景图像对所述第一背景图像进行背景修复处理，包括：从所述第二背景图像中分割出背景对象图像；当所述背景对象图像进入所述第一背景图像上的前景缺失区域时，使用所述背景对象图像对所述第一背景图像进行背景修补处理。在该方案中，在摄像头固定、拍摄环境局部改变的场景下，例如拍摄背景中有人物走动的情况，首先通过帧间差分法分割各关键帧背景中的人物目标区域，作为待匹配目标保存；其次通过目标跟踪算法判断待匹配目标进入当前关键帧的前景缺失区域时，从待匹配目标中搜索轮廓相似度较高的目标图像对前景缺失区域进行修补。

第二方面，本申请实施例还提供了一种电子设备，该电子设备具有实现上述方面及上述方面的可能实现方式中电子设备行为的功能。功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块或单元。例如，摄像头、一个或多个处理器、存储器、多个应用程序；以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述电子设备执行时，使得所述电子设备执行以下步骤:显示从序列帧视频流中获取到的第一关键帧图像，所述序列帧视频流由所述摄像头对包括第一目标对象在内的目标场景进行拍摄得到；获取对所述第一关键帧图像进行前景背景分离处理后得到的第一前景图像和第一背景图像，所述第一前景图像包括所述第一目标对象；获取对所述第一前景图像上的所述第一目标对象进行前景图像处理后得到的第二前景图像，所述第二前景图像包括：前景图像处理后的第一目标对象；获取通过第二背景图像对所述第一背景图像进行背景修复处理后得到的第三背景图像，所述第二背景图像是第二关键帧图像上包括的背景图像，所述第二关键帧图像在获取所述第一关键帧图像之前通过所述摄像头拍摄所述目标场景得到；获取对所述第二前景图像和所述第三背景图像进行前景背景合成处理后得到的前景背景合成处理后的第一关键帧图像。

在一种可能的实现方式中，当所述指令被所述电子设备执行时，使得所述电子设备具体执行以下步骤：显示从序列帧视频流中获取到的第一关键帧图像之前，显示从预览视频流中获取到的第二关键帧图像，所述预览视频流是在所述摄像头生成所述序列帧视频流之前对所述目标场景进行预览拍摄得到；获取从所述第二关键帧图像中分离出的所述第二背景图像。

在一种可能的实现方式中，当所述指令被所述电子设备执行时，使得所述电子设备具体执行以下步骤：获取通过第二背景图像对所述第一背景图像进行背景修复处理之前，显示从所述序列帧视频流中获取到的所述第二关键帧图像；获取对所述第二关键帧图像进行前景背景分离处理后得到的第四背景图像；获取通过第五背景图像对所述第四背景图像进行者背景修复处理后得到的所述第二背景图像，所述第五背景图像从预览视频流中的第三关键帧图像中分离出，所述预览视频流在所述摄像头生成所述序列帧视频流之前对所述目标场景进行预览拍摄得到。

在一种可能的实现方式中，当所述指令被所述电子设备执行时，使得所述电子设备具体执行以下步骤：显示从序列帧视频流中获取到的第一关键帧图像之前，在所述摄像头生成所述序列帧视频流之前，通过所述摄像头对所述目标场景进行连续拍摄，得到多个连续的背景图像；获取对所述多个连续的背景图像进行累积叠加处理后得到的所述第二背景图像。

在一种可能的实现方式中，当所述指令被所述电子设备执行时，使得所述电子设备具体执行以下步骤：显示从序列帧视频流中获取到的n个序列帧图像，所述n为大于或等于 2的正整数；获取从所述n个序列帧图像中确定出的1个原始关键帧图像和n-1个相关帧图像；使用所述n-1个相关帧图像的像素信息对所述原始关键帧图像进行清晰度增强处理，确定清晰度增强处理后的原始关键帧图像作为所述第一关键帧图像。

在一种可能的实现方式中，当所述指令被所述电子设备执行时，使得所述电子设备具体执行以下步骤：获取所述原始关键帧图像的图像点原始能量值；从所述n-1个相关帧图像中获取位于所述原始关键帧图像的前后各k个相关帧图像，所述k的取值小于或等于(n-1)÷2；获取通过所述原始关键帧图像的前后各k个相关帧图像的图像点能量值对所述原始关键帧图像的图像点原始能量值进行优化处理后得到的所述原始关键帧图像的图像点优化后能量值。

在一种可能的实现方式中，当所述指令被所述电子设备执行时，使得所述电子设备具体执行以下步骤：获取对所述前景背景合成处理后的第一关键帧图像进行前景边缘融合处理后得到的前景边缘融合处理后的第一关键帧图像；输出所述前景边缘融合处理后的第一关键帧图像。

在一种可能的实现方式中，当所述指令被所述电子设备执行时，使得所述电子设备具体执行以下步骤：根据所述第一背景图像和所述第二背景图像之间的特征点对应关系，获取所述第一背景图像和所述第二背景图像之间的帧间变化位置关系；获取根据所述帧间变化位置关系对所述第二背景图像进行透视变换后得到的变换后的第二背景图像；将所述变换后的第二背景图像拼接到所述第一背景图像上，得到所述第三背景图像。

在一种可能的实现方式中，当所述指令被所述电子设备执行时，使得所述电子设备具体执行以下步骤：获取所述第一背景图像对应的当前帧姿态参数；根据所述第二背景图像对应的上一帧姿态参数和所述当前帧姿态参数，获取所述第一背景图像和所述第二背景图像之间的帧间初始位置关系；获取对所述第一背景图像和所述第二背景图像进行特征提取和特征匹配后得到的特征点对应关系；使用所述特征点对应关系对所述帧间初始位置关系进行优化，得到所述第一背景图像和所述第二背景图像之间的帧间变化位置关系。

在一种可能的实现方式中，当所述指令被所述电子设备执行时，使得所述电子设备具体执行以下步骤：使用所述帧间变化位置关系获取所述第一背景图像和所述第二背景图像之间的透视变换矩阵；获取使用所述透视变换矩阵对所述第二背景图像进行透视变换后得到的变换后的第二背景图像。

在一种可能的实现方式中，当所述指令被所述电子设备执行时，使得所述电子设备具体执行以下步骤：从所述第二背景图像中分割出背景对象图像；当所述背景对象图像进入所述第一背景图像上的前景缺失区域时，使用所述背景对象图像对所述第一背景图像进行背景修补处理。

在本申请的第二方面中，电子设备的组成模块还可以执行前述第一方面以及各种可能的实现方式中所描述的步骤，详见前述对第一方面以及各种可能的实现方式中的说明。

第三方面，本申请实施例还提供了一种电子设备，包括:摄像头；一个或多个处理器；存储器；多个应用程序；以及一个或多个计算机程序。其中，一个或多个计算机程序被存储在存储器中，一个或多个计算机程序包括指令。当指令被电子设备执行时，使得电子设备执行上述任一方面任一项可能的实现中的图像处理方法。

第四方面，本申请实施例还提供了一种电子设备，包括一个或多个处理器和一个或多个存储器。该一个或多个存储器与一个或多个处理器藕合，一个或多个存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当一个或多个处理器执行计算机指令时，使得电子设备执行上述任一方面任一项可能的实现中的图像处理方法。

第五方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第一方面所述的方法。

第六方面，本申请实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面所述的方法。

第七方面，本申请提供了一种芯片系统，该芯片系统包括处理器，用于支持电子设备实现上述方面中所涉及的功能，例如，发送或处理上述方法中所涉及的数据和/或信息。在一种可能的设计中，所述芯片系统还包括存储器，所述存储器，用于保存电子设备必要的程序指令和数据。该芯片系统，可以由芯片构成，也可以包括芯片和其他分立器件。

附图说明

图1为本申请实施例提供的一种电子设备的组成结构示意图；

图2a为本申请实施例提供的电子设备显示图像的示意图；

图2b为本申请实施例提供的一种视频场景示意图；

图2c为本申请实施例提供的另一种视频场景示意图；

图3为本申请实施例提供的一种图像处理方法流程图；

图4为本申请实施例提供的一种图像处理方法流程图；

图5为本申请实施例提供的关键帧生成示意图；

图6为本申请实施例提供的前景背景分离处理示意图；

图7为本申请实施例提供的背景图像拼接处理示意图；

图8为本申请实施例提供的背景图像拼接处理流程示意图；

图9为本申请实施例提供的摄像头校准流程图；

图10a为本申请实施例提供的第n-1帧的背景图像的示意图；

图10b为本申请实施例提供的第n帧的背景图像的示意图；

图10c为本申请实施例提供的在第n帧的背景图像中分离出背景对象的示意图；

图10d为本申请实施例提供的第n+1帧的背景图像的示意图；

图10e为本申请实施例提供的背景修复后的第n+1帧的背景图像的示意图；

图11为本申请实施例提供的一种图像处理方法流程图；

图12为本申请实施例提供的一种图像处理方法流程图；

图13为本申请实施例提供的一种电子设备的组成结构示意图；

图14为本申请实施例提供的一种电子设备的组成结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。其中，在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或 B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示:单独存在A，同时存在A和B，单独存在B这三种情况。另外，在本申请实施例的描述中，‘多个’，是指两个或多于两个。

以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。

本申请实施例提供了一种图像处理方法，可以应用于电子设备，在获取第一关键帧图像之前可以获取到第二背景图像，第二背景图像是第二关键帧图像上包括的背景图像，第二关键帧图像在获取第一关键帧图像之前通过摄像头拍摄目标场景得到，从第一关键帧图像中可以通过前景背景分离处理得到第一前景图像和第一背景图像，使用该第二背景图像可以对第一背景图像进行背景修复处理以得到第三背景图像，因此得到的第三背景图像可以包含尽可能全面的背景图像信息，第三背景图像和第二前景图像进行前景背景合成处理，该第二前景图像是对第一前景图像进行前景图像处理后得到，以此修补生成第二前景图像时造成的空白无纹理区域，提高前景图像处理后的图像合成效果。

其中，目标对象可以有多种，例如可以有人物、车辆、花、动物、建筑、地面、天空等等。一种目标对象可以包括该种目标对象的多个物体。本申请实施例中一个完整的图像可以分割为两个部分：前景图像和背景图像，目标对象所在的区域是指属于该目标对象的物体所在的前景图像。特定的一个或多个物体是指，用户指定的一个或多个物体，或电子设备预设的一个或多个物体。或者，特定的一个或多个物体是指，用户指定的一个或多个物体类型包括的物体，或电子设备预设的一个或多个物体类型包括的物体，物体的位置和尺寸等确定的一个或多个物体类型包括的物体。

图像分割也可以称为语义分割，是指把图像分成若干个特定的、具有特殊性质的区域并提出感兴趣目标的技术和过程，例如将一个完整的图像分割为前景图像和背景图像。图像分割方法可以有多种，例如，通过人脸识别方式检测人脸区域并估计身体区域，利用图割法从完整图像上对前景图像区域进行分割，并与背景图像区域进行分离，然后使用帧间差分算法或光流跟踪算法对前景图像区域进行跟踪分割，同时获取背景图像区域。

本申请实施例提供了一种图像处理方法，可以应用于手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality,VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、个人数字助理(personal digital assistant,PDA)、智能终端、视频会议终端、图像拍摄终端等电子设备上，本申请实施例对电子设备的具体类型不作任何限制。其操作系统可以是Android、iOS、Windows Phone、BlackBerry OS等系统，具体本申请实施例不作限定。

以终端100为手机为例，图1示出的是与本申请实施例相关的手机100的部分结构的框图。参考图1，手机100包括、RF(Radio Frequency，射频)电路110、存储器120、其他输入设备130、显示屏140、传感器150、音频电路160、I/O子系统170、处理器180、以及摄像头190等部件。本领域技术人员可以理解，图1中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。本领领域技术人员可以理解显示屏140属于用户界面(UI，User Interface)，且手机100可以包括比图示或者更少的用户界面。

下面结合图1对手机100的各个构成部件进行具体的介绍：

RF电路110可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器180处理；另外，将设计上行的数据发送给基站。通常，RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low NoiseAmplifier，LNA)、双工器等。此外，RF电路110还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统 (GlobalSystem of Mobile communication，GSM)、通用分组无线服务(General Packet RadioService，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code Division Multiple Access，WCDMA)、长期演进(Long Term Evolution，LTE)、电子邮件、短消息服务(Short Messaging Service，SMS)等。

存储器120可用于存储软件程序以及模块，处理器180通过运行存储在存储器120的软件程序以及模块，从而执行手机100的各种功能应用以及数据处理。存储器120可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像 播放功能等)等；存储数据区可存储根据手机100的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

其他输入设备130可用于接收输入的数字或字符信息，以及产生与手机100的用户设置以及功能控制有关的键信号输入。具体地，其他输入设备130可包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆、光鼠(光鼠是不显示可视输出的触摸敏感表面，或者是由触摸屏形成的触摸敏感表面的延伸)等中的一种或多种。其他输入设备130与I/O子系统170的其他输入设备控制器171相连接，在其他设备输入控制器171的控制下与处理器180进行信号交互。

显示屏140可用于显示由用户输入的信息或提供给用户的信息以及手机100的各种菜单，还可以接受用户输入。具体的显示屏140可包括显示面板141，以及触控面板142。其中显示面板141可以采用LCD(Liquid Crystal Display，液晶显示器)、OLED(OrganicLight-Emitting Diode,有机发光二极管)等形式来配置显示面板141。触控面板142，也称为触摸屏、触敏屏等，可收集用户在其上或附近的接触或者非接触操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板142上或在触控面板142附近的操作，也可以包括体感操作；该操作包括单点控制操作、多点控制操作等操作类型。)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板142可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位、姿势，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成处理器能够处理的信息，再送给处理器180，并能接收处理器180发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板142，也可以采用未来发展的任何技术实现触控面板142。进一步的，触控面板142可覆盖显示面板141，用户可以根据显示面板141显示的内容(该显示内容包括但不限于，软键盘、虚拟鼠标、虚拟按键、图标等等)，在显示面板141上覆盖的当触控面板142上或者附近进行操作，触控面板142检测到在其上或附近的触摸操作后，通过I/O子系统170传送给处理器180以确定触摸应用的类型以确定用户输入，随后处理器180根据触摸应用的类型在显示面板根据用户输入通过I/O子系统170在显示面板141上提供相应的视觉输出。虽然在图1中，触控面板142与显示面板141是作为两个独立的部件来实现手机100的输入和输入功能，但是在某些实施例中，可以将触控面板142与显示面板141集成而实现手机 100的输入和输出功能。

手机100还可包括至少一种传感器150，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板141的亮度，接近传感器可在手机100移动到耳边时，关闭显示面板141和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击) 等；至于手机100还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

音频电路160、扬声器161，麦克风162可提供用户与手机100之间的音频接口。音频电路160可将接收到的音频数据转换后的信号，传输到扬声器161，由扬声器161转换为声音信号输出；另一方面，麦克风162将收集的声音信号转换为信号，由音频电路160 接收后转换为音频数据，再将音频数据输出至RF电路108以发送给比如另一手机，或者将音频数据输出至存储器120以便进一步处理。

I/O子系统170用来控制输入输出的外部设备，可以包括其他设备输入控制器171、传感器控制器172、显示控制器173。可选的，一个或多个其他输入控制设备控制器171 从其他输入设备130接收信号和/或者向其他输入设备130发送信号，其他输入设备130 可以包括物理按钮(按压按钮、摇臂按钮等)、拨号盘、滑动开关、操纵杆、点击滚轮、光鼠(光鼠是不显示可视输出的触摸敏感表面，或者是由触摸屏形成的触摸敏感表面的延伸)。值得说明的是，其他输入控制设备控制器171可以与任一个或者多个上述设备连接。所述I/O子系统170中的显示控制器173从显示屏140接收信号和/或者向显示屏140发送信号。显示屏140检测到用户输入后，显示控制器173将检测到的用户输入转换为与显示在显示屏140上的用户界面对象的交互，即实现人机交互。传感器控制器172可以从一个或者多个传感器150接收信号和/或者向一个或者多个传感器150发送信号。

处理器180是手机100的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器120内的软件程序和/或模块，以及调用存储在存储器120内的数据，执行手机100的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器180可包括一个或多个处理单元；优选的，处理器180可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器180中。

手机100还可以包括摄像头190。例如手机100中可以包括一个或者多个摄像头，本申请实施例中用户可以操作摄像头对用户的人脸进行拍摄以生成序列帧视频流，在用户预览调整摄像头的同时，电子设备可以通过摄像头预览拍摄，以生成预览视频流，作为背景处理的待使用图像。举例说明如下，在使用电子设备的摄像头进行拍摄时，考虑到用户打开摄像头首先进行预览，并根据预览拍摄效果对摄像机或目标进行角度或姿态调整，例如，用户拿着手机拍摄预览时，不断调整手机位置和角度，自己也变换姿势和脸的角度，达到拍摄较好效果，又如，用户在使用笔记本的摄像头之前，也会调整自身位置达到拍摄较好效果，故而可利用用户在预览阶段提前打开摄像头，提前对背景信息进行收集，以获取到尽可能全面的背景信息。

尽管未示出，手机100还可以包括给各个部件供电的电源(比如电池)，可选的，电源可以通过电源管理系统与处理器180逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗等功能。又如，手机100还可以包括蓝牙模块等，在此不再赘述。

为了便于理解，本申请以下实施例将以具有图1所示结构的手机为例，结合附图对本申请实施例提供的拍图像处理方法进行具体阐述。

图2a示出了手机的一种图形用户界面(graphical user interface,GUI),该GUI为手机的桌面。当手机检测到用户点击桌面上的相机应用(application，APP)的图标的操作后，可以启动相机应用，在拍摄界面上显示摄像头采集到的完整图像。在预览状态下，拍摄界面内可以实时显示预览图像。可以理解的是，在拍照模式和录像模式(即视频拍摄模式)下，拍摄界面的大小可以不同。在拍照模式下，当手机检测到用户执行拍照或者录制视频的操作后，手机执行拍照操作或者视频录制操作。例如图2a所示的完整图像可以分割为前景图像和背景图像，例如可以使用帧间差分算法或光流跟踪算法对前景图像进行跟踪分割，同时获取背景图像。图2a所示的人脸以及身体部分构成前景图像，在整个图像中除了前景图像之外的其它图像区域构成背景图像，对于图2a所示的前景图像和背景图像只是一种示例情况，在实际应用中本申请实施例还可以采用其它的图像内容，并且图像的色彩也不做限定。本申请实施例中，通过对当前帧的背景图像结合预先采集的背景图像进行修补或者拼接，使得在前景图像被拉伸处理后，通过本申请实施例处理后的背景图像能够更好的与前景图像结合，从而消除前景图像处理后导致的图像合成效果差的问题。

图2b为本申请实施例提供的一种视频场景示意图，在图2b中电子设备可以是笔记本，该笔记本的键盘上设置有摄像头，该摄像头和显示屏不在同一个平面上。同样的，图2c为本申请实施例提供的另一种视频场景示意图，在图2c中电子设备可以是台式电脑，该台式电脑的显示屏下方设置有摄像头，该摄像头和显示屏不在同一个平面上。电子设备通过自身的摄像头可以采集到关键帧图像。在该电子设备的摄像头和显示屏之间存在以下至少一种关系：摄像头与其包括的显示屏之间存在距离，摄像头的朝向与其包括的显示屏的朝向不同时，在用户使用该电子设备与其他用户进行视频聊天或视频会议的过程中，如果用户的面部并未朝向摄像头，而是朝向其他地方，如朝向显示屏时，该电子设备通过摄像头采集到的图像序列中，便会存在人脸面部的朝向与电子设备的显示屏的垂线不平行的图像，在这种情况下，需要通过本申请实施例对前景图像进行人脸校准。

如图3所示，为本申请实施例提供的一种图像处理方法流程图。在图3左侧部分中，箭头从上至下表示了对视频流的多个处理过程，分别为：打开摄像头，生成关键帧图像，前景背景分离，针对前景背景分别处理，前景背景合成。在使用电子设备的摄像头进行拍摄时，考虑到用户打开摄像头首先进行预览，并根据预览拍摄效果对摄像机或目标进行角度或姿态调整，故而可利用用户在预览阶段提前对背景信息进行收集，以弥补后期对前景图像区域进行处理发生形状变化时留下的空白无纹理区域，其中空白无纹理区域指的是由于前景图像的处理发生形状变化，基于处理后的前景图像和原始的背景图像进行合成时存在的没有纹理的图像区域，例如对于前景图像上的目标对象的人脸进行瘦脸美化操作，将导致瘦掉的人脸部分和原始的背景图像进行合成时存在空白无纹理区域。

本申请实施例中，可以捕获预览阶段的序列帧图像(例如共捕获到n×m帧的图像)，每n帧序列图像可以生成1帧关键帧图像，则从n×m帧图像中检测生成m个关键帧图像；对关键帧图像进行前景背景分离以得到m个前景图像和相应的m个背景图像。对m个背景图像以前后相邻背景进行背景修复处理，获取尽可能全面的背景图像信息。例如，m个背景图像采用如下的方式进行背景修复处理，按照图像先后顺序进行拼接，比如第一帧背景图像和第二帧背景图像进行拼接，拼接后图像作为第二帧背景图像，再将第二帧背景图像和第三帧背景图像进行拼接，拼接后图像作为第三帧图像，依次类推拼接下去，每次都是两帧图像进行拼接，从而可以完成对背景图像的修复处理，以此修复前景图像变形后造成前景背景合成时存在的空白无纹理区域。

本申请实施例中，可以对当前帧的背景图像与预采集的背景图像进行拼接或者修补，本申请实施例中拼接或者修补后的背景图像包括有更全面的背景信息，因此基于本申请实施例拼接修补后的背景图像与前景图像处理后的前景图像进行合成时，能够填补存在的空白无纹理区域，本申请实施例中不会导致背景失真，且前景图像和背景图像合成后的图像效果真实自然。

本申请实施例的应用场景为使用手机、平板、笔记本电脑或其他具备拍摄功能的电子设备对目标对象进行拍摄与处理，且处理时目标区域发生明显形变，导致变形后与原背景图像难以无缝拼接的场景。本申请实施例的具体应用场景包括但不局限于美颜、摄像头校准等前景区域面积在整幅图像中占比较大且处理时前景区域发生明显形变的场景。

例如，在美颜应用场景下，可以在2D、3D美颜中，处理2D、3D瘦脸等形变下前景和背景的自然无缝拼接。在笔记本的摄像头校准场景下，可以处理人脸角度校正后前景和背景的自然无缝拼接。

如图3所示，接下来对本申请实施例提供的图像处理方法进行举例说明：

1、获取预览图像。

打开摄像头，进行预览，并根据预览拍摄效果，采集目标背景图像作为预览图像。

2、生成关键帧图像。

从摄像头获取每一帧图像数据作为序列帧视频流，其中，序列帧视频流是指包括多个序列帧图像组成的视频数据流，根据获取的每n个序列帧图像生成1个关键帧图像，依次循环在序列帧视频流中每间隔n帧图像输出1个关键帧图像，形成关键帧图像视频流。其中，从序列帧视频流中获取关键帧图像，针对关键帧图像按照本申请实施例进行后续处理，可以减少数据计算量，还可以去除连续几帧图像基本一样的重复情况，避免重复处理。

在另一实施例中，在关键帧图像生成阶段，为了能够生成更为清晰的关键帧图像，首先从n个序列帧图像中确定出一个原始关键帧图像，再以该原始关键帧图像作为中心，从n个序列帧图像中获取n-1个相关帧图像，其中，相关帧是指n个序列帧图像中除去当前作为关键帧图像的其他n-1帧图像，通过相关帧图像的能量值对原始关键帧图像进行图像融合，生成更为清晰的关键帧图像，从而可以解决生成更清晰关键帧图像的问题。

3、前景背景分离为两路视频流。

接收关键帧视频流，对关键帧的每张图像进行前景分割，并将分割后的前景图像和背景图像分离，生成两路视频流，分别为：前景图像视频流和背景图像视频流。

本申请实施例中，前景背景分离处理是指对关键帧图像中的前景部分和背景部分进行前景分割，从而将分割后的前景和背景的图像分离为两张单独的图像，通过前景背景分离处理可以生成两张图像：前景图像和背景图像。

4、前景背景分别处理。

读取步骤3输出的前景图像视频流和背景图像视频流，对分割后的前景图像视频流和背景图像视频流分别按照各自不同处理方式进行处理。具体的，可以对前景图像进行变形处理，对背景图像进行拼接修补处理，并将处理后的前景图像视频流和背景图像视频流作为两路视频流输出。

接下来说明对当前帧的背景图像的背景修复处理，背景修复处理可以有多种实现方式。例如，对当前帧的背景图像、前一帧(也可以称为上一帧)的背景图像进行拼接。前一帧的背景图像具有两种实现方式，一种是前一帧的背景图像为序列帧视频流中的当前帧的前一帧的关键帧图像对应的背景图像。另一种是前一帧的背景图像为预览阶段通过摄像头采集到的预览视频流中的预览图像对应的背景图像。

在对当前帧的背景图像、前一帧的背景图像进行拼接时，可以对前一帧的背景图像进行透视变换，使得前一帧的背景图像与当前帧的背景图像进行纹理对齐。在没有前景图像的情况下尽可能填满所有的背景图像信息，比如在理想情况下拍用户的人像的时候，即使把人像从关键帧图像中抠除，通过背景拼接修补，图像仍然是完整的背景图像。

在另一实施例中，对前一帧的背景图像进行透视变换，需要首先计算透视变换矩阵。透视变换矩阵的计算有两种方式：一种方式是通过前后两帧背景图像的姿态参数生成帧间变化位置关系，通过帧间变化位置关系计算出透视变换矩阵，每帧背景图像的姿态参数可以通过惯性测量单元(inertial measurement unit，IMU)来完成。另一种是不使用姿态参数，而是使用前后两帧背景图像的特征点对齐来估计出帧间变化位置关系，通过帧间变化位置关系计算出透视变换矩阵，例如本申请实施例中可以计算背景图像的特征可以是DAISY特征。不限定的是，本申请实施例中还可以采用其它的特征点采集方式，此处不做限定。

需要说明的是，本申请实施例中需要对序列帧视频流中的多个关键帧图像进行背景修复处理，因此本申请实施例中对多个关键帧图像是循环处理关系，当前帧的背景图像的数据要保存下来，以用作下一帧中的“前一帧的背景图像”。

在另一些实施例中，背景修复处理可以有其它实现方式，例如，对当前帧的背景图像进行背景图像修复，针对不同情况进行背景修复，本申请实施例中可以至少包括如下三种背景图像修复的方式：一种是摄像头固定、拍摄环境不变的场景，在这种情况下，可以对背景图像区域进行累积叠加，获取更全面的背景图像。另一种是摄像头移动、拍摄环境不变的场景，在这种情况下可以基于前述的背景图像拼接处理方式，其中，在估算上一帧背景图像与当前帧背景图像之间的姿态变化关系时，若无法采集姿态参数，则可以直接通过特征匹配估算上一帧与当前帧的帧间位置变化关系。第三种是摄像头固定、拍摄环境局部改变的场景，例如拍摄背景中有人物走动的情况，首先通过帧间差分法分割各关键帧背景中的人物目标区域，作为待匹配目标保存，其次通过目标跟踪算法判断待匹配目标进入当前关键帧的前景缺失区域时，从待匹配目标中搜索轮廓相似度较高的目标图像对前景缺失区域进行修补。

通过上一帧的背景图像与当前帧的背景图像进行拼接，从而扩展当前帧的背景图像区域面积，或修补前景分割留下的空白无纹理区域，从而保证处理后的前景图像能够和背景修复后的背景图像进行合成。

5、前景背景合成。

对每一次输出处理后属于同一关键帧的前景图像和背景图像进行合成，保留前景图像的有效区域纹理，并对前景图像区域与背景图像区域交接的边缘区域进行融合处理，并将合成结果作为视频流输出。

在前景背景合成后，因为在上一步对当前帧的背景图像进行拼接修补，已经尽可能的把背景图像信息填满，即通过其他角度获取的背景图像信息通过步骤4的处理，可以填补原来由于前景图像变化形成的空白无纹理区域。

6、输出显示。

读取步骤5输出的每一帧图像作为结果输出显示。

接下来以下以美颜应用为例说明本申请实施例的具体实施过程。在美颜瘦脸时，由于人脸面部面积发生变化，导致美颜后的人脸与背景拼接不吻合的问题。本实施例利用预览时搜集更多的背景信息，将美颜后人脸与背景图像区域之间存在的空白无纹理区域进行修补，使得在美颜的同时，使用真实的背景图像进行前景背景的合成处理。

如图4所示，为本申请实施例提供的一种图像处理方法流程图。以美颜应用为例，在美颜应用中的处理流程主要包括如下过程：

步骤S01：打开摄像头获取预览阶段的序列帧图像，输出预览视频流。然后生成关键帧图像，例如将生成的多个关键帧图像形成关键帧视频流。

首先进行关键帧图像的检测，对每n(如：n＝3,4,5,6,7)个序列帧图像进行关键帧图像检测。关键帧图像检测方法包括但不局限于：基于镜头的方法、帧平均法、直方图平均法、基于运动的分析法方法以及基于聚类的方法等。

接下来，本申请实施例可以对关键帧图像进行清晰度增强，以原始关键帧图像为主图，确定前后各k(如：k＝1,2,3)张相关帧图像，其中，每n个序列帧图像生成一帧关键帧图像，相关帧图像是指n帧图像中除去当前作为原始关键帧图像的其他n-1帧图像。基于能量方式对原始关键帧图像的能量值进行最优化处理，以增强原始关键帧的图像清晰度。其中，能量公式如下：

其中，pi是指图像中的第i个图像点p，E(pi)是指在图像点pi处的能量值，I是指图像，泛指n帧图像中的任意一张图像。E(p)是泛指任意一个图像点的能量值，Ik(qi)指 n帧图像中第k帧图像的图像点qi的像素值，I(qi)是指生成的关键帧图像在图像点qi修改后的像素值，B(p)是指以图像I中的任意一个图像点p为中心，建立一个5×5个图像块。

如图5所示，为本申请实施例提供的关键帧生成示意图。例如，序列帧视频流中共有 n×m帧图像，从而可以生成m帧关键帧图像，图5中的2k+1等于n，即每2k+1帧图像生成1帧关键帧图像，因此视频流里有m个2k+1帧图像组成，通过上述的图像融合处理，可以生成清晰度高的m帧关键帧图像。

在关键帧图像生成之后，将生成的m个关键帧图像以视频流形式输出。

步骤S02：进行前景背景分离。

如图6所示，为本申请实施例提供的前景背景分离处理示意图。对读取的每一张关键帧图像进行前景分割，以实现前景背景分离，其中前景分割的方法有多种，例如可以是：a、基于人脸识别算法检测人脸区域并估计身体区域，利用图割(GrabCut)算法分割人体区域；b、当存在先验信息(如已有前一关键帧分割结果)时，可使用帧间差分算法或光流跟踪算法对前景区域进行跟踪分割，同时获取背景图像区域，并输出前景图像和背景图像两个视频流。对于图6所示的前景图像和背景图像只是一种示例情况，在实际应用中本申请实施例还可以采用其它的图像内容，并且图像的色彩也不做限定。

步骤S03：前景美颜处理。

读取前景视频流的每一帧图像，采用美颜算法处理前景图像，如2D美颜算法、3D几何美化算法，并输出处理后的前景视频流。

步骤S04：背景图像拼接。

读取背景视频流的每一帧图像，对分割后的背景分别进行背景拼接处理。

例如，对当前关键帧背景图像及前一关键帧背景图像进行背景拼接修补，具体拼接方法如下：将上一关键帧背景图像进行透视变换，使其与当前关键帧背景图像进行纹理对齐，然后与当前关键帧背景图像进行拼接，扩展当前背景图像区域面积或修补前景图像分割留下的无纹理区域，根据图像之间角度不同，图像拼接修补的结果可以是扩展背景图像区域，或修补前景图扣除后留下的空白区域，或扩展背景图像区域和修补前景图像扣除后留下的空白区域。

如图7所示，为本申请实施例提供的背景图像拼接处理示意图。例如，上一帧的背景图像靠左，当前帧的背景图像靠右，把上一帧的背景图像拼接到当前的背景图像中，在图7右边所示的拼接修补后的背景图像中，拼接后的当前帧的背景图像背景信息就会由于上一帧的背景图像的补充而向左边扩展。

又如，对上一帧的背景图像进行透视变换后，与当前帧的背景图像进行合并。当前图像人像扣除后留下空白区域，上一帧的背景图像从另外一个角度拍摄，可以拍到空白区域的背景图像信息，将该上一帧的背景图像进行透视变换并修补到当前空白区域，即形成前景背后区域的背景修补。

最后将处理后的背景结果分两路输出：一路结合当前姿态参数循环作为上一帧背景图像和上一帧图像的姿态参数输出，以用于下一帧背景图像的拼接；另一路作为待拼接背景输出到下一步中使用。

其中，透视变换矩阵可根据IMU获取当前姿态参数进行初始化，然后通过两帧图像的 DAISY特征匹配优化得到。

如图8所示，为本申请实施例提供的背景图像拼接处理流程示意图，主要包括如下流程：

S041、获取关键帧视频流。

S042、对关键帧图像进行前景背景分割，得到分割后的背景图像。

S043、通过IMU获取当前帧姿态参数。

S044、获取已存储的上一帧姿态参数。

S045、根据当前帧姿态参数和上一帧姿态参数，获取帧间初始位置关系。

S046、获取上一帧背景图像。

S047、根据分割后的背景图像和上一帧背景图像，对帧间初始位置关系进行优化，得到帧间变化位置关系。

S048、使用帧间变化位置关系进行背景拼接修补。

S049、输出拼接修补后的当前帧的背景图像。

在图8中，通过IMU获取当前拍摄时的姿态参数，与上一帧的姿态参数进行计算得到当前帧与上一帧之间的帧间初始位置关系；其次，对步骤S03输出的当前帧背景图像和上一帧背景图像进行DAISY特征提取和匹配，通过特征点对应关系优化当前帧与上一帧之间的帧间初始位置关系，得到帧间变化位置关系；然后，通过优化后的帧间变化位置关系计算当前帧图像与上一帧图像之间的透视变换矩阵，根据透视变换矩阵对上一帧背景图像进行透视变换，将变换后的图像拼接至当前帧的背景图像，修补当前帧的背景图像存在的空白无纹理区域；最后，将修补后的背景图像和当前帧的姿态参数作为上一帧的背景图像和上一帧的姿态参数输出参与到下一帧循环中去，同时将修补后的背景图像作为步骤S05的输入数据进行输出。

需要说明的是，当前帧的姿态参数和当前帧对应，当前帧变为上一帧的同时，当前帧的姿态参数变为上一帧图像的姿态参数，而下一帧图像变为当前帧图像的同时，拍摄下一帧时的姿态参数变为当前帧的姿态参数。

步骤S05：前景背景合成。

将处理后的前景图像和拼接后的背景图像进行合成，保留前景图像有效区域，无效区域通过背景进行补充，作为合成后的关键帧视频流输出。基于步骤S04可知，提供背景图像拼接修补，如果角度够大，背景图像信息比较全，会形成一张全背景图像，将当前图像中扣除前景区域的空白部分全部进行填补，因此当前景发生变形、移动甚至消失，背景图像都是完整的，因此可以用拼接完整背景的图像填充前景变化后留下的无效区域(即空白无纹理区域)。

步骤S06：边缘融合处理。

处理前景图像边缘区域，减少边缘因为突变造成图像过渡不自然问题，例如边缘的处理可有通过羽化处理来实现。

步骤S07：输出显示。

根据关键帧视频流，对视频进行插帧处理，以实现处理结果图像视频流畅输出。关键帧之间通过插帧技术生成序列帧，使得视频平滑流畅性较好，插帧算法不做限定。

本申请实施例中，通过用户在美颜自拍前预览阶段获取更多背景图像信息，解决由于瘦脸等处理造成的无纹理缝隙区域修补，可便捷地应用于手机和平板等移动终端设备上，实现在美颜的同时对背景信息的保护。

相较于当前美颜瘦脸时对背景进行拉伸调整的技术，本申请实施例技术通过多帧学习的方法较好的获得更全面的背景信息，有效补充了前背景拼接时的空隙，无背景失真，效果真实自然。

接下来，以下通过摄像头校准应用实施例，说明基于本申请实施例的另一个应用解决方案的实现流程。用户在使用连接笔记本电脑的内置摄像头或外置摄像头时，由于摄像头位置与屏幕存在一定距离和角度，使得需要对人脸区域进行调整，调整后包含人脸的前景区域与背景同样存在拼接不吻合的问题，为修补前景背景合成时存在的无纹理空白区域，同样需要本专利技术进行处理。

如图9所示，为本申请实施例提供的摄像头校准流程图。本申请实施例在摄像头校准应用的系统流程，分步说明如下：

步骤S11：可以参照前述实施例中的步骤S01，此处不再赘述。

步骤S12：可以参照前述实施例中的步骤S02，此处不再赘述。

步骤S13：前景人脸校准。

前景人脸校准主要处理方式：对前景区域进行三维重建，并对三维人脸进行角度调整，后映射生成2D图像。

步骤S14：背景图像修复，针对不同情况分别进行背景修复，例如：

一种是摄像头固定、拍摄环境不变的场景，在这种情况下，可以对背景图像区域进行累积叠加，获取更全面的背景图像。

另一种是摄像头移动、拍摄环境不变的场景，在这种情况下可以基于前述步骤S04的背景图像拼接处理方式，其中，在估算上一帧背景图像与当前帧背景图像之间的姿态变化关系时，如无法采集姿态参数，直接通过DAISY特征匹配估算上一帧与当前帧的帧间位置变化关系。

第三种是摄像头固定、拍摄环境局部改变的场景，例如拍摄背景中有人物走动的情况，首先通过帧间差分法分割各关键帧背景中的人物目标区域，作为待匹配目标保存；其次通过目标跟踪算法判断待匹配目标进入当前关键帧的前景缺失区域时，从待匹配目标中搜索轮廓相似度较高的目标图像对前景缺失区域进行修补。

如图10a所示，为本申请实施例提供的第n-1帧的背景图像的示意图，图10b所示，为本申请实施例提供的第n帧的背景图像的示意图，则通过第n帧的背景图像和第n-1帧的背景图像的比较可知，在第n帧的背景图像中可以分离出图10c所示的背景对象。图10d 所示，为本申请实施例提供的第n+1帧的背景图像的示意图，使用图10c所示的背景对象和第n+1帧的背景图像中进行背景修复，前景图像在第n帧移动到第n+1帧时出现移动，会导致前景图像出现前景缺失区域，图10e为本申请实施例提供的背景修复后的第n+1帧的背景图像的示意图，图10c所示的背景对象可以和图10d所示的第n+1帧的背景图像进行合成，从而实现背景图是动态图时的背景修补。具体的，图10b中有人物走动，在图10a 所示的第n-1帧时人物未进入背景，在第n帧时人物进入背景，用第n帧图像减去第n-1 帧图像可以得到图10c所示的背景人物图像，图10d中在第n+1帧时人物走到前景图像区域，这时作为走动的背景人物部分区域会被扣除掉的前景人物(即图10d中的白色区域) 遮挡。为补充被遮挡的背景人物区域，通过前面获取的背景人物图像将背景图像中被前景遮挡的背景人物区域补全，达到背景中有人物走动情况下对背景人物的修补效果。

步骤S14的执行设备可以是笔记本电脑。在步骤S14的背景处理过程中，在前述步骤 S04的背景处理技术基础上，增加了背景修复的多种实现场景，例如可以针对局部变化的背景进行处理，这点区别于前述步骤S04中的背景拼接方式。

步骤S15：可以参照前述实施例中的步骤S05，此处不再赘述。

步骤S16：可以参照前述实施例中的步骤S06，此处不再赘述。

步骤S17：可以参照前述实施例中的步骤S07，此处不再赘述。

通过前述的举例说明可知，用户在使用笔记本电脑的内置摄像头或外置摄像头时，通过在预览阶段搜集更多背景图像信息，解决由于面部校正或姿态调整造成的前景背景合成不吻合问题，实现在人脸校准的同时对背景信息的保护。

需要说明的是，本申请实施例可扩展至其他涉及需要对前景分割后进行变形或移动处理并需要保护背景信息的场景，在存在可以提前获取背景图像的情况下，其场景包括但不局限于：通过摄像头捕捉人体实现游戏交互，在对分割后的人体图像进行处理变形的同时，修补由于人体变化留下的空白区域纹理，使得游戏更真实；增强现实技术，对拍摄场景中的目标物体(如沙发、桌子、气球等)进行虚拟移动或变形，修补物体变化后留下的无纹理区域，使得交互效果更真实。

结合上述实施例及相关附图，本申请实施例提供了一种图像处理方法，该方法可以在如图1所示的具有摄像头的电子设备(例如手机、平板电脑等)中实现。如图11所示，一种图像处理方法，应用于具有摄像头的电子设备，该方法可以包括以下步骤:

1101、显示从序列帧视频流中获取到的第一关键帧图像，序列帧视频流由摄像头对包括第一目标对象在内的目标场景进行拍摄得到。

示例性的，摄像头对包括第一目标对象在内的目标场景进行拍摄得到，从而可以生成序列帧视频流，其中，序列帧视频流是指摄像头拍摄到的多个序列帧图像组成的视频数据流，第一目标对象可以是控制电子设备的用户的头像，目标场景可以是指包括用户的头像在内的拍摄环境场景，例如目标场景可以是一个拍摄背景，在该目标场景内除了用户的头像之外，还有背景图像。例如目标场景可以是用户在进行视频会议时拍摄的会议场景。

在一个示例中，第一关键帧图像可以是序列帧视频流中的某一个关键帧图像，例如第一关键帧图像可以是前述图4所示的步骤S01或图9中所示的步骤S11中的当前关键帧图像。

在本申请的一些实施例中，步骤1101显示从序列帧视频流中获取到的第一关键帧图像之前，本申请实施例提供的方法还包括如下步骤：

显示从预览视频流中获取到的第二关键帧图像，预览视频流是在摄像头生成序列帧视频流之前对目标场景进行预览拍摄得到；

获取从第二关键帧图像中分离出的第二背景图像。

其中，第一关键帧图像可以是从序列帧视频流中提取出的第一个图像，在摄像头生成序列帧视频流之前对目标场景进行预览拍摄得到预览视频流，从预览视频流中获取第二关键帧图像，此时由于摄像头只拍摄了目标场景，因此从第二关键帧图像中分离出背景图像，将分离出的背景图像作为第二背景图像，第二背景图像可以用于对第一背景图像的背景图像修复处理，详见后续实施例中的描述。

举例说明如下，在使用电子设备的摄像头进行拍摄时，考虑到用户打开摄像头首先进行预览，并根据预览拍摄效果对摄像机或目标进行角度或姿态调整，故而可利用用户在预览阶段提前对背景图像进行收集，以弥补后期对前景图像进行处理发生形状变化时留下的空白无纹理区域。

在本申请的另一些实施例中，步骤1101显示从序列帧视频流中获取到的第一关键帧图像之前，本申请实施例提供的方法还包括如下步骤：

在摄像头生成序列帧视频流之前，通过摄像头对目标场景进行连续拍摄，得到多个连续的背景图像；

获取对多个连续的背景图像进行累积叠加处理后得到的第二背景图像。

例如，在摄像头固定、拍摄环境不变的场景下，通过摄像头对目标场景进行连续拍摄，可以对多个连续的背景图像进行累积叠加，获取更全面的背景图像，该更全面的背景图像可以作为第二背景图像，第二背景图像可以用于对第一背景图像的背景图像修复处理，详见后续实施例中的描述。

在本申请的一些实施例中，步骤1101显示从序列帧视频流中获取到的第一关键帧图像，包括：

显示从序列帧视频流中获取到的n个序列帧图像，n为大于或等于2的正整数；

获取从n个序列帧图像中确定出的1个原始关键帧图像和n-1个相关帧图像；

使用n-1个相关帧图像的像素信息对原始关键帧图像进行清晰度增强处理，确定清晰度增强处理后的原始关键帧图像作为第一关键帧图像。

其中，本申请实施例可以对关键帧图像进行清晰度增强，从n个序列帧图像中确定出 1个原始关键帧图像和n-1个相关帧图像，以原始关键帧图像为主图，相关帧图像是指n帧图像中除去当前作为原始关键帧图像的其他n-1帧图像。获取n-1个相关帧图像的像素信息，相关帧图像的像素信息可以是该相关帧图像的每个像素点的能量值，基于n-1个相关帧图像的像素信息对原始关键帧图像进行清晰度增强处理，将清晰度增强处理后的原始关键帧图像作为第一关键帧图像，使用清晰度更高的第一关键帧图像，可以进一步的提高图像合成的效果。

进一步的，在本申请的一些实施例中，使用n-1个相关帧图像的像素信息对原始关键帧图像进行清晰度增强处理，包括：

获取原始关键帧图像的图像点原始能量值；

从n-1个相关帧图像中获取位于原始关键帧图像的前后各k个相关帧图像，k的取值小于或等于(n-1)÷2；

获取通过原始关键帧图像的前后各k个相关帧图像的图像点能量值对原始关键帧图像的图像点原始能量值进行优化处理后得到的原始关键帧图像的图像点优化后能量值。

其中，本申请实施例可以对关键帧图像进行清晰度增强，以原始关键帧图像为主图，确定前后各k(例如：k＝1,2,3)张相关帧图像，基于能量方式对原始关键帧图像的能量值进行最优化处理，以增强原始关键帧的图像清晰度。详见前述实施例中步骤S01中的解释说明。

1102、获取对第一关键帧图像进行前景背景分离处理后得到的第一前景图像和第一背景图像，第一前景图像包括第一目标对象。

示例性的，在获取到第一关键帧图像之后，针对第一关键帧图像进行前景背景分离处理，得到第一前景图像和第一背景图像，结合图2a所示，一个完整的关键帧图像可以被分割为：一个前景图像和一个背景图像。其中，分割出的第一前景图像可以包括第一目标对象，结合图2a所示，第一目标对象可以包括是用户的人脸以及身体部分。

本申请实施例中，前景背景分离处理是指对关键帧图像中的前景部分和背景部分进行前景分割，从而将分割后的前景和背景的图像分离为两张单独的图像，通过前景背景分离处理可以生成两张图像：前景图像和背景图像。

在步骤1102执行完成之后，本申请实施例可以触发执行步骤1103和步骤1104，例如可以先执行步骤1103，再执行步骤1104；或者先执行步骤1104，再执行步骤1103；或者同时执行步骤1103和步骤1104，此处不做限定。

需要说明的是，步骤1102中前景背景分离处理还可以通过深度摄像头实现，例如深度摄像头可以使用飞行时间(time of flight，TOF)算法，从第一关键帧图像中检测出第一前景图像和第一背景图像。

1103、获取对第一前景图像上的第一目标对象进行前景图像处理后得到的第二前景图像，第二前景图像包括：前景图像处理后的第一目标对象。

示例性的，对第一前景图像进行处理时，可以对第一前景图像上的第一目标对象进行前景图像处理，例如可以执行前述图4中的前景美颜处理，也可以执行前述图9中的前景校准处理，此处不做限定。为了便于表示，可以处理后的第一前景图像称为第二前景图像，将该第二前景图像输入至步骤1105。

1104、获取通过第二背景图像对第一背景图像进行背景修复处理后得到的第三背景图像，第二背景图像是第二关键帧图像上包括的背景图像，第二关键帧图像在获取第一关键帧图像之前通过摄像头拍摄目标场景得到。

示例性的，摄像头对目标场景进行拍摄得到第二关键帧图像，例如在预览拍摄阶段只对目标场景进行拍摄，此时可以得到第二关键帧图像。又如，在生成的序列帧视频流中提取出第二关键帧图像，则第二关键帧图像中不仅包括有目标对象，还包括有目标场景。

在一个示例中，第二关键帧图像可以是序列帧视频流中的某一个关键帧图像或者是预览视频流中的关键帧图像，例如第二关键帧图像可以是前述图4所示的步骤S04或图9中所示的步骤S14中的上一帧(即前一帧)的关键帧图像。

在一个示例中，通过第二背景图像对第一背景图像进行背景修复处理，背景修复处理的方式可以包括前述图4所示的步骤S04的背景图像拼接或图9中所示的步骤S14中的背景图像修复。

通过第二背景图像与第一背景图像进行拼接修补，从而扩展第一背景图像的区域面积，或修补第一前景图像分割留下的空白无纹理区域，从而保证处理后的第二前景图像能够和背景修复后的第三背景图像进行合成，以保证图像合成的效果。

在本申请的一些实施例中，步骤1104获取通过第二背景图像对第一背景图像进行背景修复处理之前，本申请实施例提供的方法还包括：

显示从序列帧视频流中获取到的第二关键帧图像；

获取对第二关键帧图像进行前景背景分离处理后得到的第四背景图像；

获取通过第五背景图像对第四背景图像进行者背景修复处理后得到的第二背景图像，第五背景图像从预览视频流中的第三关键帧图像中分离出，预览视频流在摄像头生成序列帧视频流之前对目标场景进行预览拍摄得到。

其中，在摄像头生成序列帧视频流之前对目标场景进行预览拍摄得到预览视频流，从预览视频流中获取第三关键帧图像，此时由于摄像头只拍摄了目标场景，因此从第三关键帧图像中分离出背景图像，将分离出的背景图像作为第五背景图像，第五背景图像可以用于对第四背景图像的背景图像修复处理。

本申请实施例中，可以捕获预览阶段的序列帧图像(例如共捕获到n×m帧的图像)，每n帧序列图像可以生成1帧关键帧图像，则从n×m帧图像中检测生成m个关键帧图像；对关键帧图像进行前景背景分离以得到m个前景图像和背景图像；对m个背景图像以前后相邻背景进行背景修复处理，获取尽可能全面的背景图像信息。例如，m个背景图像采用如下的方式进行背景修复处理，按照图像先后顺序进行拼接，比如先使用预览帧视频流中的关键帧图像对第一帧背景图像进行背景图像修复处理，输出第一帧背景图像，然后将第一帧背景图像和第二帧背景图像进行拼接，拼接后图像作为第二帧背景图像，再和第三帧背景图像进行拼接，拼接后图像作为第三帧图像，依次类推拼接下去，每次都是两帧图像进行拼接，从而可以完成对背景图像的修复处理，以此修复前景图像变形后造成前景背景合成时存在的空白无纹理区域。

在本申请的一些实施例中，步骤1104通过第二背景图像对第一背景图像进行背景修复处理，包括：

根据第一背景图像和第二背景图像之间的特征点对应关系，获取第一背景图像和第二背景图像之间的帧间变化位置关系；

获取根据帧间变化位置关系对第二背景图像进行透视变换后得到的变换后的第二背景图像；

将变换后的第二背景图像拼接到第一背景图像上，得到第三背景图像。

其中，第一背景图像和第二背景图像之间的特征点对应关系是指相同的特征点在两个背景图像中的对应关系，根据特征点对应关系可以获取第一背景图像和第二背景图像之间的帧间变化位置关系，其中，帧间变化位置关系可以是从第二背景图像变化至第一背景图像时的帧间位置关系，例如帧间变化位置关系可以是第二背景图像与第一背景图像之间的姿态变化关系。接下来根据帧间变化位置关系对第二背景图像进行透视变换，得到变换后的第二背景图像。最后将变换后的第二背景图像拼接到第一背景图像上，从而可以修补当前帧背景图像存在的空白无纹理区域，第一背景图像上拼接有透视变换后的第二背景图像后，可以输出第三背景图像，该第三背景图像可用于前景背景图像的合成，由于第三背景图像上已经补了空白无纹理区域，因此可以提高图像合成的效果。

在另一个示例中，根据第一背景图像和第二背景图像之间的特征点对应关系，获取第一背景图像和第二背景图像之间的帧间变化位置关系，包括：

获取第一背景图像对应的当前帧姿态参数；

根据第二背景图像对应的上一帧姿态参数和当前帧姿态参数，获取第一背景图像和第二背景图像之间的帧间初始位置关系；

获取对第一背景图像和第二背景图像进行特征提取和特征匹配后得到的特征点对应关系；

使用特征点对应关系对帧间初始位置关系进行优化，得到第一背景图像和第二背景图像之间的帧间变化位置关系。

其中，第一背景图像对应的当前帧姿态参数可以通过电子设备的IMU来完成，第二背景图像对应的上一帧姿态参数可以通过预先存储的姿态参数得到，使用上一帧姿态参数和当前帧姿态参数计算出第一背景图像和第二背景图像之间的帧间初始位置关系，接下来对第一背景图像和第二背景图像进行特征提取和特征匹配，得到特征点对应关系，提取的特征可以是DAISY特征，最后使用特征点对应关系对帧间初始位置关系进行优化，得到第一背景图像和第二背景图像之间的帧间变化位置关系。举例说明如下，如图8所示，首先通过IMU获取当前拍摄时的姿态参数，与上一帧的姿态参数进行计算得到当前帧与上一帧之间的帧间初始位置关系；其次，对输出的当前帧背景图像和上一帧背景图像进行DAISY特征提取和匹配，通过特征点对应关系优化当前帧与上一帧之间的帧间初始位置关系，得到帧间变化位置关系。

需要说明的是，当前帧的姿态参数和当前帧对应，当前帧变为上一帧的同时，当前帧的姿态参数变为上一帧图像的姿态参数，而下一帧图像变为当前帧图像的同时，拍摄下一帧时的姿态参数变为当前帧的姿态参数。

在另一个示例中，根据帧间变化位置关系对第二背景图像进行透视变换，包括：

使用帧间变化位置关系获取第一背景图像和第二背景图像之间的透视变换矩阵；

获取使用透视变换矩阵对第二背景图像进行透视变换后得到的变换后的第二背景图像。

其中，通过优化后的帧间变化位置关系计算当前帧图像与上一帧图像之间的透视变换矩阵，根据透视变换矩阵对上一帧背景图像进行透视变换，将变换后的图像拼接至当前帧的背景图像，修补当前帧的背景图像存在的空白无纹理区域；最后，将修补后的背景图像和当前帧的姿态参数作为上一帧的背景图像和上一帧的姿态参数输出参与到下一帧循环中去，同时将修补后的背景图像进行输出。

在另一个示例中，通过第二背景图像对第一背景图像进行背景修复处理，包括：

从第二背景图像中分割出背景对象图像；

当背景对象图像进入第一背景图像上的前景缺失区域时，使用背景对象图像对第一背景图像进行背景修补处理。

其中，在摄像头固定、拍摄环境局部改变的场景下，例如拍摄背景中有人物走动的情况，首先通过帧间差分法分割各关键帧背景中的人物目标区域，作为待匹配目标保存；其次通过目标跟踪算法判断待匹配目标进入当前关键帧的前景缺失区域时，从待匹配目标中搜索轮廓相似度较高的目标图像对前景缺失区域进行修补。

如图10a至图10e所示，有人物走动，在第n-1帧时人物未进入背景，在第n帧时人物进入背景，用第n帧图像减去第n-1帧图像可以得到背景人物图像，在第n+1帧时人物走到前景图像区域，这时作为走动的背景人物部分区域会被扣除掉的前景人物(白色区域) 遮挡。为补充被遮挡的背景人物区域，通过前面获取的背景人物图像将背景图像中被前景遮挡的背景人物区域补全，达到背景中有人物走动情况下对背景人物的修补效果。

1105、获取对第二前景图像和第三背景图像进行前景背景合成处理后得到的前景背景合成处理后的第一关键帧图像。

示例性的，对第二前景图像和第三背景图像进行前景背景合成处理，可以包括前述图 4所示的步骤S05或图9中所示的步骤S15中的前景背景合成。

在另一实施例中，参见图12，在上述步骤1105获取对第二前景图像和第三背景图像进行前景背景合成处理后得到的前景背景合成处理后的第一关键帧图像之后，本申请实施例提供的图像处理方法还包括：

1106、获取对前景背景合成处理后的第一关键帧图像进行前景边缘融合处理后得到的前景边缘融合处理后的第一关键帧图像；

1107、输出前景边缘融合处理后的第一关键帧图像。

其中，处理前景图像边缘区域，减少边缘因为突变造成图像过渡不自然问题，例如边缘的处理可有通过羽化处理来实现。根据关键帧视频流，对视频进行插帧处理，以实现处理结果图像视频流畅输出。关键帧之间通过插帧技术生成序列帧，使得视频平滑流畅性较好，插帧算法不做限定。

可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件和/ 或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本实施例可以根据上述方法示例对电子设备进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块可以采用硬件的形式实现。需要说明的是，本实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

在采用对应各个功能划分各个功能模块的情况下，图13示出了上述实施例中涉及的电子设备1300的一种可能的组成示意图，如图13所示，该电子设备1300可以包括:处理单元1301、拍摄单元1302、存储单元1303和输出单元1304。如图14所示，该电子设备 1300还可以包括：IMU1305。

其中，处理单元1301可以用于支持电子设备1300执行上述步骤1101至步骤1105、步骤1106等，和/或用于本文所描述的技术的其他过程。处理单元四用于通过序列帧计算关键帧图像、对关键帧图像的前景区域和背景区域进行分割并分别进行处理的物理单元。

拍摄单元1302可以用于支持电子设备1300对目标对象进行拍摄、对目标场景进行预览拍摄等，和/或用于本文所描述的技术的其他过程。拍摄单元用于拍摄目标图像的物理单元，如镜头、图像传感器、图像信号处理器(image signal processor，ISP)等。

存储单元1303可以用于支持电子设备1300存储上述步骤1101至步骤1107中的产生的数据等，和/或用于本文所描述的技术的其他过程。存储单元指用于存储摄像头输出的序列帧图像、处理单元分割的前景图像和背景图像等信息的物理单元。

输出单元1304指的是输出前景背景区域合成结果等信息呈现给用户的物理单元。

IMU1305，用于采集摄像头在拍摄图像时对应的姿态参数，将该姿态参数发送给处理单元1301。

需要说明的是，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赞述。

本实施例提供的电子设备，用于执行上述图像处理方法，因此可以达到与上述实现方法相同的效果。

在采用集成的单元的情况下，电子设备可以包括处理模块、存储模块和通信模块。

其中，处理模块可以用于对电子设备的动作进行控制管理，例如，可以用于支持电子设备执行上述处理单元1301、拍摄单元1302执行的步骤。存储模块可以用于支持电子设备执行上述存储单元1303执行的步骤，以及存储程序代码和数据等。通信模块，可以用于支持电子设备与其他设备的通信。

其中，处理模块可以是处理器或控制器。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，数字信号处理(digital signal processing,DSP)和微处理器的组合等等。存储模块可以是存储器。通信模块具体可以为射频电路、蓝牙芯片、Wi-Fi芯片等与其他电子设备交互的设备。

在一个实施例中，当处理模块为处理器，存储模块为存储器时，本实施例所涉及的电子设备可以为具有图1所示结构的设备。

本实施例还提供一种计算机存储介质，该计算机存储介质中存储有计算机指令，当该计算机指令在电子设备上运行时，使得电子设备执行上述相关方法步骤实现上述实施例中的图像处理方法。

本实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述相关步骤，以实现上述实施例中的图像处理方法。

另外，本申请的实施例还提供一种装置，这个装置具体可以是芯片，组件或模块，该装置可包括相连的处理器和存储器；其中，存储器用于存储计算机执行指令，当装置运行时，处理器可执行存储器存储的计算机执行指令，以使芯片执行上述各方法实施例中的图像处理方法。

其中，本实施例提供的电子设备、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赞述。

通过以上实施方式的描述，所属领域的技术人员可以了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。

另一点，所显示或讨论的相互之间的藕合或直接藕合或通信连接可以是通过一些接口，装置或单元的间接藕合或通信连接，可以是电性，机械或其它的形式。作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (16)

1.一种图像处理方法，应用于具有摄像头的电子设备，其特征在于，所述方法包括：

显示从序列帧视频流中获取到的第一关键帧图像，所述序列帧视频流由摄像头对包括第一目标对象在内的目标场景进行拍摄得到；其中，所述显示从序列帧视频流中获取到的第一关键帧图像，包括：显示从序列帧视频流中获取到的n个序列帧图像，所述n为大于或等于2的正整数；获取从所述n个序列帧图像中确定出的1个原始关键帧图像和n-1个相关帧图像；获取所述原始关键帧图像的图像点原始能量值；从所述n-1个相关帧图像中获取位于所述原始关键帧图像的前后各k个相关帧图像，所述k的取值小于或等于(n-1)÷2；获取通过所述原始关键帧图像的前后各k个相关帧图像的图像点能量值对所述原始关键帧图像的图像点原始能量值进行优化处理后得到的所述原始关键帧图像的图像点优化后能量值，确定图像点优化处理后的原始关键帧图像作为所述第一关键帧图像；

获取对所述第一关键帧图像进行前景背景分离处理后得到的第一前景图像和第一背景图像，所述第一前景图像包括所述第一目标对象；

获取对所述第一前景图像上的所述第一目标对象进行前景图像处理后得到的第二前景图像，所述第二前景图像包括：前景图像处理后的第一目标对象；

获取通过第二背景图像对所述第一背景图像进行背景修复处理后得到的第三背景图像，所述第二背景图像是第二关键帧图像上包括的背景图像，所述第二关键帧图像在获取所述第一关键帧图像之前通过所述摄像头拍摄所述目标场景得到，所述第三背景图像用于对所述第一目标对象进行前景图像处理时产生的空白无纹理区域进行修补，其中，所述通过第二背景图像对所述第一背景图像进行背景修复处理，包括：根据所述第一背景图像和所述第二背景图像之间的特征点对应关系，获取所述第一背景图像和所述第二背景图像之间的帧间变化位置关系；获取根据所述帧间变化位置关系对所述第二背景图像进行透视变换后得到的变换后的第二背景图像；将所述变换后的第二背景图像拼接到所述第一背景图像上，得到所述第三背景图像；

获取对所述第二前景图像和所述第三背景图像进行前景背景合成处理后得到的前景背景合成处理后的第一关键帧图像。

2.根据权利要求1所述的方法，其特征在于，所述显示从序列帧视频流中获取到的第一关键帧图像之前，所述方法还包括：

显示从预览视频流中获取到的第二关键帧图像，所述预览视频流是在所述摄像头生成所述序列帧视频流之前对所述目标场景进行预览拍摄得到；

获取从所述第二关键帧图像中分离出的所述第二背景图像。

3.根据权利要求1所述的方法，其特征在于，所述获取通过第二背景图像对所述第一背景图像进行背景修复处理之前，所述方法还包括：

显示从所述序列帧视频流中获取到的所述第二关键帧图像；

获取对所述第二关键帧图像进行前景背景分离处理后得到的第四背景图像；

获取通过第五背景图像对所述第四背景图像进行者背景修复处理后得到的所述第二背景图像，所述第五背景图像从预览视频流中的第三关键帧图像中分离出，所述预览视频流在所述摄像头生成所述序列帧视频流之前对所述目标场景进行预览拍摄得到。

4.根据权利要求1所述的方法，其特征在于，所述显示从序列帧视频流中获取到的第一关键帧图像之前，所述方法还包括：

在所述摄像头生成所述序列帧视频流之前，通过所述摄像头对所述目标场景进行连续拍摄，得到多个连续的背景图像；

获取对所述多个连续的背景图像进行累积叠加处理后得到的所述第二背景图像。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述获取对所述第二前景图像和所述第三背景图像进行前景背景合成处理后得到的前景背景合成处理后的第一关键帧图像之后，所述方法还包括：

获取对所述前景背景合成处理后的第一关键帧图像进行前景边缘融合处理后得到的前景边缘融合处理后的第一关键帧图像；

输出所述前景边缘融合处理后的第一关键帧图像。

6.根据权利要求1所述的方法，其特征在于，所述根据所述第一背景图像和所述第二背景图像之间的特征点对应关系，获取所述第一背景图像和所述第二背景图像之间的帧间变化位置关系，包括：

获取所述第一背景图像对应的当前帧姿态参数；

根据所述第二背景图像对应的上一帧姿态参数和所述当前帧姿态参数，获取所述第一背景图像和所述第二背景图像之间的帧间初始位置关系；

获取对所述第一背景图像和所述第二背景图像进行特征提取和特征匹配后得到的特征点对应关系；

使用所述特征点对应关系对所述帧间初始位置关系进行优化，得到所述第一背景图像和所述第二背景图像之间的帧间变化位置关系。

7.根据权利要求1所述的方法，其特征在于，所述根据所述帧间变化位置关系对所述第二背景图像进行透视变换，包括：

使用所述帧间变化位置关系获取所述第一背景图像和所述第二背景图像之间的透视变换矩阵；

获取使用所述透视变换矩阵对所述第二背景图像进行透视变换后得到的变换后的第二背景图像。

8.一种电子设备，其特征在于，包括:

摄像头、一个或多个处理器；存储器；多个应用程序；以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述电子设备执行时，使得所述电子设备执行以下步骤:

显示从序列帧视频流中获取到的第一关键帧图像，所述序列帧视频流由所述摄像头对包括第一目标对象在内的目标场景进行拍摄得到；

获取对所述第一关键帧图像进行前景背景分离处理后得到的第一前景图像和第一背景图像，所述第一前景图像包括所述第一目标对象；

获取对所述第一前景图像上的所述第一目标对象进行前景图像处理后得到的第二前景图像，所述第二前景图像包括：前景图像处理后的第一目标对象；

获取通过第二背景图像对所述第一背景图像进行背景修复处理后得到的第三背景图像，所述第二背景图像是第二关键帧图像上包括的背景图像，所述第二关键帧图像在获取所述第一关键帧图像之前通过所述摄像头拍摄所述目标场景得到，所述第三背景图像用于对所述第一目标对象进行前景图像处理时产生的空白无纹理区域进行修补；

获取对所述第二前景图像和所述第三背景图像进行前景背景合成处理后得到的前景背景合成处理后的第一关键帧图像；

当所述指令被所述电子设备执行时，使得所述电子设备具体执行以下步骤：根据所述第一背景图像和所述第二背景图像之间的特征点对应关系，获取所述第一背景图像和所述第二背景图像之间的帧间变化位置关系；获取根据所述帧间变化位置关系对所述第二背景图像进行透视变换后得到的变换后的第二背景图像；将所述变换后的第二背景图像拼接到所述第一背景图像上，得到所述第三背景图像；

当所述指令被所述电子设备执行时，使得所述电子设备具体执行以下步骤：显示从序列帧视频流中获取到的n个序列帧图像，所述n为大于或等于2的正整数；获取从所述n个序列帧图像中确定出的1个原始关键帧图像和n-1个相关帧图像；获取所述原始关键帧图像的图像点原始能量值；从所述n-1个相关帧图像中获取位于所述原始关键帧图像的前后各k个相关帧图像，所述k的取值小于或等于(n-1)÷2；获取通过所述原始关键帧图像的前后各k个相关帧图像的图像点能量值对所述原始关键帧图像的图像点原始能量值进行优化处理后得到的所述原始关键帧图像的图像点优化后能量值，确定图像点优化处理后的原始关键帧图像作为所述第一关键帧图像。

9.根据权利要求8所述的电子设备，其特征在于，当所述指令被所述电子设备执行时，使得所述电子设备具体执行以下步骤：

显示从序列帧视频流中获取到的第一关键帧图像之前，显示从预览视频流中获取到的第二关键帧图像，所述预览视频流是在所述摄像头生成所述序列帧视频流之前对所述目标场景进行预览拍摄得到；

获取从所述第二关键帧图像中分离出的所述第二背景图像。

10.根据权利要求8所述的电子设备，其特征在于，当所述指令被所述电子设备执行时，使得所述电子设备具体执行以下步骤：

获取通过第二背景图像对所述第一背景图像进行背景修复处理之前，显示从所述序列帧视频流中获取到的所述第二关键帧图像；

获取对所述第二关键帧图像进行前景背景分离处理后得到的第四背景图像；

获取通过第五背景图像对所述第四背景图像进行者背景修复处理后得到的所述第二背景图像，所述第五背景图像从预览视频流中的第三关键帧图像中分离出，所述预览视频流在所述摄像头生成所述序列帧视频流之前对所述目标场景进行预览拍摄得到。

11.根据权利要求8所述的电子设备，其特征在于，当所述指令被所述电子设备执行时，使得所述电子设备具体执行以下步骤：

显示从序列帧视频流中获取到的第一关键帧图像之前，在所述摄像头生成所述序列帧视频流之前，通过所述摄像头对所述目标场景进行连续拍摄，得到多个连续的背景图像；

获取对所述多个连续的背景图像进行累积叠加处理后得到的所述第二背景图像。

12.根据权利要求8至11中任一项所述的电子设备，其特征在于，当所述指令被所述电子设备执行时，使得所述电子设备具体执行以下步骤：

获取对所述前景背景合成处理后的第一关键帧图像进行前景边缘融合处理后得到的前景边缘融合处理后的第一关键帧图像；

输出所述前景边缘融合处理后的第一关键帧图像。

13.根据权利要求8所述的电子设备，其特征在于，当所述指令被所述电子设备执行时，使得所述电子设备具体执行以下步骤：

获取所述第一背景图像对应的当前帧姿态参数；

根据所述第二背景图像对应的上一帧姿态参数和所述当前帧姿态参数，获取所述第一背景图像和所述第二背景图像之间的帧间初始位置关系；

获取对所述第一背景图像和所述第二背景图像进行特征提取和特征匹配后得到的特征点对应关系；

使用所述特征点对应关系对所述帧间初始位置关系进行优化，得到所述第一背景图像和所述第二背景图像之间的帧间变化位置关系。

14.根据权利要求8所述的电子设备，其特征在于，当所述指令被所述电子设备执行时，使得所述电子设备具体执行以下步骤：

使用所述帧间变化位置关系获取所述第一背景图像和所述第二背景图像之间的透视变换矩阵；

获取使用所述透视变换矩阵对所述第二背景图像进行透视变换后得到的变换后的第二背景图像。

15.一种电子设备，包括存储器，一个或多个处理器，多个应用程序，以及一个或多个程序；其中所述一个或多个程序被存储在所述存储器中；其特征在于，所述一个或多个处理器在执行所述一个或多个程序时，使得所述电子设备实现如权利要求1至7中任一项所述的图像处理方法。

16.一种计算机存储介质，其特征在于，包括计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行如权利要求1-7中任一项所述的图像处理方法。

Images