CN107657591A - 一种图像处理方法及移动终端 - Google Patents

Abstract

本发明实施例提供了一种图像处理方法及移动终端，该图像处理方法包括：检测目标帧图像中是否存在花屏区域；若是，则获取与目标帧图像相邻的多帧图像；将多帧图像中的每一帧图像依次与目标帧图像进行相似度匹配；确定多帧图像中相似度大于等于预设阈值的图像为校正图像；检测校正图像中对应于花屏区域的校正区域；提取校正区域中的所有像素点的像素值；依据提取到的像素值，对花屏区域的所有像素点的像素值进行更新。从而保证了视频图像的流畅度与清晰度，有效提升了用户体验。

Description

一种图像处理方法及移动终端

技术领域

本发明实施例涉及通信领域，尤其涉及一种图像处理方法及移动终端。

背景技术

随着智能手机的普及，用户对手机的细节优化和体验要求越来越高。在手机使用过程中，视频功能经常被用户所使用，如视频通话，或在线观影等。

然而在视频播放过程中，由于信号质量等因素的影响，图像中经常会出现花屏，使用户无法完整地观看视频画面，导致用户视频体验不佳。

发明内容

本发明实施例提供一种图像处理方法，以解决用户在使用视频功能时，存在的图像花屏现象，导致用户体验差的问题。

第一方面，提供了一种图像处理方法，应用于移动终端，所述方法包括：

检测目标帧图像中是否存在花屏区域；

若是，则获取与目标帧图像相邻的多帧图像；

将多帧图像中的每一帧图像依次与目标帧图像进行相似度匹配；

确定多帧图像中相似度大于等于预设阈值的图像为校正图像；

检测校正图像中对应于花屏区域的校正区域；

提取校正区域中的所有像素点的像素值；

依据提取到的像素值，对花屏区域的所有像素点的像素值进行更新。

另一方面，本发明实施例还提供了一种移动终端，包括：

第一检测模块，用于检测目标帧图像中是否存在花屏区域；

获取模块，用于若是，则获取与目标帧图像相邻的多帧图像；

相似度匹配模块，用于将多帧图像中的每一帧图像依次与目标帧图像进行相似度匹配；

确定模块，用于确定多帧图像中相似度大于等于预设阈值的图像为校正图像；

第二检测模块，用于检测校正图像中对应于花屏区域的校正区域；

提取模块，用于提取校正区域中的所有像素点的像素值；

更新模块，用于依据提取到的像素值，对花屏区域的所有像素点的像素值进行更新。

本发明实施例还提供了一种移动终端，包括：存储器、处理器及存储在存储器上并可在处理器上运行的图像处理程序，图像处理程序被处理器执行时实现本发明中所示的任意一种图像处理方法的步骤。

本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有图像处理程序，图像处理程序被处理器执行时实现本发明中所示的任意一种图像处理方法的步骤。

这样，本发明实施例中，通过检测目标帧图像中是否存在花屏区域；若是，则获取与目标帧图像相邻的多帧图像；将多帧图像中的每一帧图像依次与目标帧图像进行相似度匹配；确定多帧图像中相似度大于等于预设阈值的图像为校正图像；检测校正图像中对应于花屏区域的校正区域；提取校正区域中的所有像素点的像素值；依据提取到的像素值，对花屏区域的所有像素点的像素值进行更新。从而保证了视频图像的流畅度与清晰度，有效提升了用户体验。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例中的一种图像处理方法的流程图之一；

图2是本发明实施例中的一种图像处理方法的流程图之二；

图3是本发明实施例中的一种图像处理方法的流程图之三；

图4是本发明实施例中的移动终端的框图之一；

图5是本发明实施例中的移动终端的框图之二；

图6是本发明实施例中的移动终端的框图之三；

图7是本发明实施例中的移动终端的框图之四；

图8是本发明实施例中的移动终端的框图之五；

图9是本发明实施例中的移动终端的框图之六；

图10是本发明实施例中的移动终端的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

参照图1，示出了本发明实施例中一种图像处理方法的流程图，具体包括：

步骤101，检测目标帧图像中是否存在花屏区域。

具体的，在本发明的实施例中，移动终端在视频播放过程中，检测目标帧图像中是否存在花屏区域。

在本发明的一个实施例中，目标帧可以为视频播放过程中的当前帧图像，即，移动终端实时对每一帧进行监测。在另一个实施例中，目标帧可以为视频播放过程中的任一帧，即，本发明实施例中的图像处理方法可以应用于视频播放过程中的任一时刻出现花屏的图像中。

步骤102，若是，则获取与目标帧图像相邻的多帧图像。

具体的，在本发明的实施例中，移动终端若检测到目标帧图像中存在花屏区域，则获取与目标帧图像相邻的多帧图像。在一个实施例中，若当前视频图像为视频通话中的图像，则获取目标帧图像之前的N帧图像。在另一个实施例中，若当前视频图像为电影等可缓冲的视频资源，则获取目标帧图像之前与之后各N帧图像。在本发明的实施例中，相邻的多帧图像的个数，即N可以为5。在其他实施例中，获取的相邻图像的个数可依据移动终端的计算能力以及实际需求进行设置，本发明对此不做限定。

步骤103，将多帧图像中的每一帧图像依次与目标帧图像进行相似度匹配。

具体的，在本发明的实施例中，移动终端将获取到的多帧图像中的每帧图像一一与目标帧图像进行相似度匹配。具体匹配过程将在下面的实施例中进行详细说明。

步骤104，确定多帧图像中相似度大于等于预设阈值的图像为校正图像。

具体的，在本发明的实施例中，移动终端依据多帧图像中的每帧图像对应于目标帧图像的相似度，确定相似度匹配成功的图像。在本发明的实施例中，相似度大于等于预设阈值的图像，即可确定为相似度匹配成功的校正图像。其中，预设阈值可以为90％。在其他实施例中，预设阈值还可以根据实际需求进行设置，本发明对此不做限定。

步骤105，检测校正图像中对应于花屏区域的校正区域。

具体的，在本发明的实施例中，移动终端依据目标帧图像中的花屏区域的位置及轮廓等信息，对校正图像进行定位，即，定位校正图像中对应于花屏区域的校正区域。

步骤106，提取校正区域中的所有像素点的像素值。

具体的，在本发明的实施例中，移动终端检测并提取校正图像中的校正区域中的所有像素点对应的像素值。

步骤107，依据提取到的像素值，对花屏区域的所有像素点的像素值进行更新。

具体的，在本发明的实施例中，移动终端依据提取到的像素值，对目标帧图像中的花屏区域中的所有像素点的像素值进行更新。即，将提取的像素值替换花屏区域中对应的像素点的像素值。

综上，本发明实施例中，通过检测目标帧图像中是否存在花屏区域；若是，则获取与目标帧图像相邻的多帧图像；将多帧图像中的每一帧图像依次与目标帧图像进行相似度匹配；确定多帧图像中相似度大于等于预设阈值的图像为校正图像；检测校正图像中对应于花屏区域的校正区域；提取校正区域中的所有像素点的像素值；依据提取到的像素值，对花屏区域的所有像素点的像素值进行更新。从而保证了视频图像的流畅度与清晰度，有效提升了用户体验。

实施例二

参照图2，示出了本发明实施例中一种图像处理方法的流程图，具体包括：

步骤201，检测目标帧图像中是否存在花屏区域。

具体的，在本发明的实施例中，移动终端在视频播放过程中，检测目标帧图像中是否存在花屏区域。

在本发明的一个实施例中，目标帧可以为视频播放过程中的当前帧图像，即，移动终端实时对每一帧进行监测。在另一个实施例中，目标帧可以为视频播放过程中的任一帧，即，本发明实施例中的图像处理方法可以应用于视频播放过程中的任一时刻出现花屏的图像中。

其中，若目标帧图像中存在花屏区域，则进入步骤202，若不存在，则跳过目标帧图像继续检测下一帧图像。

具体的，步骤201具体包括：

子步骤2011，对目标帧图像进行边缘检测处理，以获取目标帧图像中的图像边缘信息。

具体的，在本发明的实施例中，移动终端可通过边缘检测方法检测目标帧图像中的图像边缘信息。该图像边缘信息用于描述图像的图形轮廓。需要说明的是，若存在花屏区域，则图像轮廓中存在多个正方形或类正方形。

子步骤2012，依据图像边缘信息，判断目标帧图像中是否存在相邻的至少一个类正方形区域。

具体的，在本发明的实施例中，移动给终端可依据图像边缘信息，判断出目标帧图像中是否存在堆在一起的多个正方形或类正方形。具体的判断方法可通过现有技术实施例中的8点检测法判断是否存在正方形或类正方形。举例说明：根据边缘检测中检测到的边(即图像边缘信息中的轮廓)，边长从3个像素开始，判断以该边长能否组成正方形或者类正方形，并统计组成的正方形和类正方形的数量和。然后，边长增加一个像素，继续遍历，到33个像素截止，找到组成的正方形和类正方形数量和最大的边长，以该边长组成的一堆正方形以及类正方形就是花屏区域。在其他实施例中，还可以通过其他方法判断是否存在正方形或类正方形，本发明对此不做限定。

子步骤2013，若是，则确定目标帧图像中存在花屏区域。

具体的，在本发明的实施例中，移动终端检测到堆在一起的正方形或类正方形，则可确定目标帧图像中存在花屏区域，并对花屏区域进行准确定位。本发明实施例中通过边缘检测法以及判断正方形或类正方形的方法相结合，从而能够对目标帧图像中的花屏区域进行迅速、精确的定位。

步骤202，获取与目标帧图像相邻的多帧图像。

具体的，在本发明的实施例中，移动终端若检测到目标帧图像中存在花屏区域，则获取与目标帧图像相邻的多帧图像。在一个实施例中，若当前视频图像为视频通话中的图像，则获取目标帧图像之前的N帧图像。在另一个实施例中，若当前视频图像为电影等可缓冲的视频资源，则获取目标帧图像之前与之后各N帧图像。在本发明的实施例中，相邻的多帧图像的个数，即N可以为5。在其他实施例中，获取的相邻图像的个数可依据移动终端的计算能力以及实际需求进行设置，本发明对此不做限定。

步骤203，将多帧图像中的每一帧图像依次与目标帧图像进行相似度匹配。

具体的，步骤203具体包括：

子步骤2031，获取目标帧图像的背景区域，背景区域为除花屏区域外的区域。

具体的，在本发明的实施例中，移动终端获取目标帧图像的背景区域，即，除花屏区域以外的所有区域。在一个实施例中，获取背景区域的方法可以为将目标帧图像直接除去花屏区域。在另一个实施例中，获取区域的方法还可以为将花屏区域的像素值全部置0。

子步骤2032，获取多帧图像中的每帧图像中对应于背景区域的匹配区域。

具体的，在本发明的实施例中，移动终端分别获取与目标帧图像相邻的多帧图像中的每一帧图像的背景区域，即，针对每帧图像，去除对应于目标帧图像中定位出的花屏区域，剩下的区域即为每帧图像的背景区域，即本发明实施例中的匹配区域。

子步骤2033，计算每帧图像中的匹配区域与背景区域的相似度。

具体的，在本发明的实施例中，移动终端分别计算每帧图像的匹配区域与目标帧图像中的背景区域的相似度。具体计算方法可通过现有实施例中的相似度计算方法实现，本发明对此不再赘述。

步骤204，确定多帧图像中相似度大于等于预设阈值的图像为校正图像。

具体的，在本发明的实施例中，移动终端获取到每帧图像与目标帧图像计算的相似度，并与预设阈值进行比较。在本发明的实施例中，预设阈值为90％，即，相似度大于等于90％的图像即为相似度匹配成功的校正图像。反之，则匹配不成功。预设阈值也可根据实际需求进行设置，本发明对此不做限定。本发明实施例中，通过计算多帧图像与目标帧图像的相似度，从而能够快速查找到与目标帧图像相似度最高，可用于后续对目标帧图像进行图像校正的校正图像。较之现有技术，本发明实施例中的计算量显著降低，进而减轻了系统负担，同时，提升了图像校正的处理效率。

在本发明的一个优选的实施例中，若存在至少两帧相似度大于等于预设阈值的图像，则步骤204可以进一步包括：

子步骤2041，检测相似度匹配成功的每帧图像中对应于花屏区域的分辨率。在本发明的实施例中，移动终端可分别检测相似度大于等于预设阈值的每帧图像中对应于花屏区域的分辨率。

子步骤2042，选择分辨率最高的图像为校正图像。

在本发明的实施例中，移动终端可选择对应于花屏区域的分辨率最高，即对应于花屏区域的区域最清晰的图像为校正图像。

步骤205，检测校正图像中对应于花屏区域的校正区域。

具体的，在本发明的实施例中，移动终端依据目标帧图像中的花屏区域的位置及轮廓等信息，对校正图像进行定位，即，定位出校正图像中对应于花屏区域的校正区域。

步骤206，提取校正区域中的所有像素点的像素值。

具体的，在本发明的实施例中，移动终端检测并提取校正区域中的所有像素点对应的像素值。

步骤207，依据提取到的像素值，对花屏区域的所有像素点的像素值进行更新。

具体的，在本发明的实施例中，移动终端依据提取到的像素值，对目标帧图像中的花屏区域中的所有像素点的像素值进行更新。即，将提取的像素值替换花屏区域中对应的像素点的像素值。

综上，本发明实施例中，通过检测目标帧图像中是否存在花屏区域；若是，则获取与目标帧图像相邻的多帧图像；将多帧图像中的每一帧图像依次与目标帧图像进行相似度匹配；确定多帧图像中相似度大于等于预设阈值的图像为校正图像；检测校正图像中对应于花屏区域的校正区域；提取校正区域中的所有像素点的像素值；依据提取到的像素值，对花屏区域的所有像素点的像素值进行更新。从而保证了视频图像的流畅度与清晰度，有效提升了用户体验。

实施例三

参照图3，示出了本发明实施例中一种图像处理方法的流程图，具体包括：

步骤301，检测目标帧图像中是否存在花屏区域。

具体的，在本发明的实施例中，移动终端在视频播放过程中，检测目标帧图像中是否存在花屏区域。

在本发明的一个实施例中，目标帧可以为视频播放过程中的当前帧图像，即，移动终端实时对每一帧进行监测。在另一个实施例中，目标帧可以为视频播放过程中的任一帧，即，本发明实施例中的图像处理方法可以应用于视频播放过程中的任一时刻出现花屏的图像中。

若目标帧图像中存在花屏区域，则进入步骤302，若不存在，则跳过目标帧图像继续检测下一帧图像。

具体的，步骤301具体包括：

子步骤3011，构建卷积神经网络。

子步骤3012，依据数据库中的多个图像，设定卷积神经网络的参数，其中，多个图像中包括至少一个具有花屏区域的图像。

子步骤3013，根据卷积神经网络的参数，对卷积神经网络进行训练，以获取花屏检测分类器。

子步骤3014，通过花屏检测分类器，检测目标帧图像中是否存在花屏区域。

具体的，在本发明的实施例中，移动终端获取数据库中的多个图像，其中，数据库中的多个图像可以为从网络侧获取到的图像、拍摄的图像或本地存储图像。在本发明的实施例中，图像数量可以为3000个。其中，3000个图像中具有花屏图像1500个，非花屏图像1500个。

移动终端构建一个m层卷积神经网络，m可以为5。随后，将获取到的多个图像作为输入数据，设定卷积神经网络的参数。卷积神经网络可依据设定的进行训练，最终获取到能够识别并定位花屏区域的花屏检测分类器。具体细节可参考现有实施例中的卷积神经网络训练方法，本发明不再赘述。

随后，移动终端可通过花屏检测分类器识别目标帧图像中是否存在花屏区域，并对花屏区域进行准确定位。本发明实施例中通过花屏检测器，从而能够对目标帧图像中的花屏区域进行迅速、精确的定位。

步骤302，获取与目标帧图像相邻的多帧图像。

具体的，在本发明的实施例中，移动终端若检测到目标帧图像中存在花屏区域，则获取与目标帧图像相邻的多帧图像。在一个实施例中，若当前视频图像为视频通话中的图像，则获取目标帧图像之前的N帧图像。在另一个实施例中，若当前视频图像为电影等可缓冲的视频资源，则获取目标帧图像之前与之后各N帧图像。在本发明的实施例中，相邻的多帧图像的个数，即N可以为5。在其他实施例中，获取的相邻图像的个数可依据移动终端的计算能力以及实际需求进行设置，本发明对此不做限定。

步骤303，将多帧图像中的每一帧图像依次与目标帧图像进行相似度匹配。

具体的，步骤303具体包括：

子步骤3031，获取目标帧图像的背景区域，背景区域为除花屏区域外的区域。

具体的，在本发明的实施例中，移动终端获取目标帧图像的背景区域，即，除花屏区域以外的所有区域。在一个实施例中，获取背景区域的方法可以为将目标帧图像直接除去花屏区域。在另一个实施例中，获取区域的方法还可以为将花屏区域的像素值全部置0。

子步骤3032，获取多帧图像中的每帧图像中对应于背景区域的匹配区域。

具体的，在本发明的实施例中，移动终端分别获取与目标帧图像相邻的多帧图像中的每一帧图像的背景区域，即，针对每帧图像，去除对应于目标帧图像中定位出的花屏区域，剩下的区域即为每帧图像的背景区域，即本发明实施例中的匹配区域。

子步骤3033，计算每帧图像中的匹配区域与背景区域的相似度。

具体的，在本发明的实施例中，移动终端分别计算每帧图像的匹配区域与目标帧图像中的背景区域的相似度。具体计算方法可通过现有实施例中的相似度计算方法实现，本发明对此不再赘述。

步骤304，确定多帧图像中相似度大于等于预设阈值的图像为校正图像。

具体的，在本发明的实施例中，移动终端获取到每帧图像与目标帧图像计算的相似度，并与预设阈值进行比较。在本发明的实施例中，预设阈值为90％，即，相似度大于等于90％的图像即为相似度匹配成功的校正图像。反之，则匹配不成功。预设阈值也可根据实际需求进行设置，本发明对此不做限定。本发明实施例中，通过计算多帧图像与目标帧图像的相似度，从而能够快速查找到与目标帧图像相似度最高，可用于后续对目标帧图像进行图像校正的校正图像。较之现有技术，本发明实施例中的计算量显著降低，进而减轻了系统负担，同时，提升了图像校正的处理效率。

在本发明的一个优选的实施例中，若存在至少两帧相似度大于等于预设阈值的图像，则步骤304可以进一步包括：

子步骤3041，检测相似度匹配成功的每帧图像中对应于花屏区域的分辨率。在本发明的实施例中，移动终端可分别检测相似度大于等于预设阈值的每帧图像中对应于花屏区域的分辨率。

子步骤3042，选择分辨率最高的图像为校正图像。

在本发明的实施例中，移动终端可选择对应于花屏区域的分辨率最高，即对应于花屏区域的区域最清晰的图像为校正图像。

步骤305，检测校正图像中对应于花屏区域的校正区域。

具体的，在本发明的实施例中，移动终端依据目标帧图像中的花屏区域的位置及轮廓等信息，对校正图像进行定位，即，定位出校正图像中对应于花屏区域的校正区域。

步骤306，提取校正区域中的所有像素点的像素值。

具体的，在本发明的实施例中，移动终端检测并提取校正区域中的所有像素点对应的像素值。

步骤307，依据提取到的像素值，对花屏区域的所有像素点的像素值进行更新。

具体的，在本发明的实施例中，移动终端依据提取到的像素值，对目标帧图像中的花屏区域中的所有像素点的像素值进行更新。即，将提取的像素值替换花屏区域中对应的像素点的像素值。

综上，本发明实施例中，通过检测目标帧图像中是否存在花屏区域；若是，则获取与目标帧图像相邻的多帧图像；将多帧图像中的每一帧图像依次与目标帧图像进行相似度匹配；确定多帧图像中相似度大于等于预设阈值的图像为校正图像；检测校正图像中对应于花屏区域的校正区域；提取校正区域中的所有像素点的像素值；依据提取到的像素值，对花屏区域的所有像素点的像素值进行更新。从而保证了视频图像的流畅度与清晰度，有效提升了用户体验。

实施例四

参照图4，示出了本发明实施例中一种移动终端400的框图。具体包括：

第一检测模块401，用于检测目标帧图像中是否存在花屏区域.

具体的，在本发明的实施例中，移动终端在视频播放过程中，第一获取模块401检测目标帧图像中是否存在花屏区域。

在本发明的一个实施例中，目标帧可以为视频播放过程中的当前帧图像，即，移动终端实时对每一帧进行监测。在另一个实施例中，目标帧可以为视频播放过程中的任一帧，即，本发明实施例中的图像处理方法可以应用于视频播放过程中的任一时刻出现花屏的图像中。

获取模块402，用于若是，则获取与目标帧图像相邻的多帧图像。

具体的，在本发明的实施例中，移动终端若检测到目标帧图像中存在花屏区域，则第一获取模块402获取与目标帧图像相邻的多帧图像。在一个实施例中，若当前视频图像为视频通话中的图像，则获取目标帧图像之前的N帧图像。在另一个实施例中，若当前视频图像为电影等可缓冲的视频资源，则获取目标帧图像之前与之后各N帧图像。在本发明的实施例中，相邻的多帧图像的个数，即N可以为5。在其他实施例中，获取的相邻图像的个数可依据移动终端的计算能力以及实际需求进行设置，本发明对此不做限定。

相似度匹配模块403，用于将多帧图像中的每一帧图像依次与目标帧图像进行相似度匹配。

具体的，在本发明的实施例中，相似度匹配模块403将获取到的多帧图像中的每帧图像一一与目标帧图像进行相似度匹配。

确定模块404，用于确定多帧图像中相似度大于等于预设阈值的图像为校正图像。

具体的，在本发明的实施例中，确定模块404依据多帧图像中的每帧图像对应于目标帧图像的相似度，确定相似度匹配成功的图像。在本发明的实施例中，相似度大于等于预设阈值的图像，即可确定为相似度匹配成功的校正图像。其中，预设阈值可以为90％。在其他实施例中，预设阈值还可以根据实际需求进行设置，本发明对此不做限定。

第二检测模块405，用于检测校正图像中对应于花屏区域的校正区域。

具体的，在本发明的实施例中，移动终端依据目标帧图像中的花屏区域的位置及轮廓等信息，对校正图像进行定位，即，定位出校正图像中对应于花屏区域的校正区域。

提取模块406，用于提取校正区域中的所有像素点的像素值。

更新模块407，用于依据提取到的像素值，对花屏区域的所有像素点的像素值进行更新。

具体的，在本发明的实施例中，更新模块406依据提取到的像素值，对目标帧图像中的花屏区域中的所有像素点的像素值进行更新。即，将提取的像素值替换花屏区域中对应的像素点的像素值。

综上，本发明实施例中的移动终端，通过检测目标帧图像中是否存在花屏区域；若是，则获取与目标帧图像相邻的多帧图像；将多帧图像中的每一帧图像依次与目标帧图像进行相似度匹配；确定多帧图像中相似度大于等于预设阈值的图像为校正图像；检测校正图像中对应于花屏区域的校正区域；提取校正区域中的所有像素点的像素值；依据提取到的像素值，对花屏区域的所有像素点的像素值进行更新。从而保证了视频图像的流畅度与清晰度，有效提升了用户体验。

参照图5，在本发明的一个优选的实施例中，在图4的基础上，第一检测模块401进一步包括：

边缘检测子模块4011，用于对目标帧图像进行边缘检测处理，以获取目标帧图像中的图像边缘信息；

判断子模块4012，用于依据图像边缘信息，判断目标帧图像中是否存在相邻的至少一个类正方形区域；

确定子模块4013，用于若是，则确定目标帧图像中存在花屏区域。

参照图6，在本发明的一个优选的实施例中，在图4的基础上，检测模块401进一步包括：

构建子模块4014，用于构建卷积神经网络；

设定子模块4015，用于依据获取到的多个图像，设定卷积神经网络的参数，其中，多张图像包括至少一个具有花屏区域的图像；

训练子模块4016，用于根据参数，对卷积神经网络进行训练，以获取花屏检测分类器；

第一检测子模块4017，用于通过花屏检测分类器，检测目标帧图像中是否存在花屏区域。

参照图7，在本发明的一个优选的实施例中，在图4的基础上，相似度匹配模块403进一步包括：

第一获取子模块4031，用于获取目标帧图像的背景区域，背景区域为除花屏区域外的区域；

第二获取子模块4032，用于获取多帧图像中的每帧图像中对应于背景区域的匹配区域；

计算子模块4033，用于计算每帧图像中的匹配区域与背景区域的相似度。

参照图8，在本发明的一个优选的实施例中，在图4的基础上，确定模块404进一步包括：

第二检测子模块4041，用于若存在至少两帧相似度大于等于预设阈值的图像，则检测至少两帧图像中的每帧图像中对应于花屏区域的分辨率；

选取子模块4042，用于选择分辨率最高的图像为校正图像。

实施例五

图9是本发明另一个实施例的移动终端的框图。图9所示的移动终端500包括：至少一个处理器501、存储器502、至少一个网络接口504和其他用户接口503。移动终端500中的各个组件通过总线系统505耦合在一起。可理解，总线系统505用于实现这些组件之间的连接通信。总线系统505除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图5中将各种总线都标为总线系统505。

其中，用户接口503可以包括显示器、键盘或者点击设备(例如，鼠标，轨迹球(trackball)、触感板或者触摸屏等。

可以理解，本发明实施例中的存储器502可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-OnlyMemory，ROM)、可编程只读存储器(ProgrammableROM，PROM)、可擦除可编程只读存储器(ErasablePROM，EPROM)、电可擦除可编程只读存储器(ElectricallyEPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(RandomAccessMemory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(StaticRAM，SRAM)、动态随机存取存储器(DynamicRAM，DRAM)、同步动态随机存取存储器(SynchronousDRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(DoubleDataRateSDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(SynchlinkDRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambusRAM，DRRAM)。本发明实施例描述的系统和方法的存储器502旨在包括但不限于这些和任意其它适合类型的存储器。

在一些实施方式中，存储器502存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集：操作系统5021和应用程序5022。

其中，操作系统5021，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序5022，包含各种应用程序，例如媒体播放器(MediaPlayer)、浏览器(Browser)等，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序5022中。

在本发明实施例中，通过调用存储器502存储的程序或指令，具体的，可以是应用程序5022中存储的程序或指令，处理器501用于检测目标帧图像中是否存在花屏区域；若是，则获取与目标帧图像相邻的多帧图像；将多帧图像中的每一帧图像依次与目标帧图像进行相似度匹配；确定多帧图像中相似度大于等于预设阈值的图像为校正图像；检测校正图像中对应于花屏区域的校正区域；提取校正区域中的所有像素点的像素值；依据提取到的像素值，对花屏区域的所有像素点的像素值进行更新。

上述本发明实施例揭示的方法可以应用于处理器501中，或者由处理器501实现。处理器501可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器501中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器501可以是通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecific IntegratedCircuit，ASIC)、现成可编程门阵列(FieldProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器502，处理器501读取存储器502中的信息，结合其硬件完成上述方法的步骤。

可以理解的是，本发明实施例描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ApplicationSpecificIntegratedCircuits，ASIC)、数字信号处理器(DigitalSignalProcessing，DSP)、数字信号处理设备(DSPDevice，DSPD)、可编程逻辑设备(ProgrammableLogicDevice，PLD)、现场可编程门阵列(Field-ProgrammableGateArray，FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。

对于软件实现，可通过执行本发明实施例所述功能的模块(例如过程、函数等)来实现本发明实施例所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。

可选地，处理器501还用于:对目标帧图像进行边缘检测处理，以获取目标帧图像中的图像边缘信息；依据图像边缘信息，判断目标帧图像中是否存在相邻的至少一个类正方形区域；若是，则确定目标帧图像中存在花屏区域。

可选地，处理器501还用于：构建卷积神经网络；依据数据库中的多个图像，设定卷积神经网络的参数，其中，多张图像包括至少一个具有花屏区域的图像；根据卷积神经网络的参数，对卷积神经网络进行训练，以获取花屏检测分类器；通过花屏检测分类器，检测目标帧图像中是否存在花屏区域。

可选地，作为另一个实施例，处理器501还用于：获取目标帧图像的背景区域，背景区域为除花屏区域外的区域；获取多帧图像中的每帧图像中对应于背景区域的匹配区域；计算每帧图像中的匹配区域与背景区域的相似度。

可选地，处理器501还用于：若多帧图像中存在至少两帧相似度大于等于预设阈值的图像，则检测至少两帧图像中的每帧图像中对应于花屏区域的分辨率；选择分辨率最高的图像为校正图像。

移动终端500能够实现前述实施例中移动终端实现的各个过程，为避免重复，这里不再赘述。

综上，本发明实施例中的移动终端，通过检测目标帧图像中是否存在花屏区域；若是，则获取与目标帧图像相邻的多帧图像；将多帧图像中的每一帧图像依次与目标帧图像进行相似度匹配；确定多帧图像中相似度大于等于预设阈值的图像为校正图像；检测校正图像中对应于花屏区域的校正区域；提取校正区域中的所有像素点的像素值；依据提取到的像素值，对花屏区域的所有像素点的像素值进行更新。从而保证了视频图像的流畅度与清晰度，有效提升了用户体验。

实施例六

图10是本发明另一个实施例的移动终端的结构示意图。具体地，图10中的移动终端600可以为手机、平板电脑、个人数字助理(PersonalDigital Assistant，PDA)、或车载电脑等。

图6中的移动终端600包括射频(RadioFrequency，RF)电路610、存储器620、输入单元630、显示单元640、处理器660、音频电路670、WiFi(WirelessFidelity)模块680和电源690。

其中，输入单元630可用于接收用户输入的数字或字符信息，以及产生与移动终端600的用户设置以及功能控制有关的信号输入。具体地，本发明实施例中，该输入单元630可以包括触控面板631。触控面板631，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板631上的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板631可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给该处理器660，并能接收处理器660发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板631。除了触控面板631，输入单元630还可以包括其他输入设备632，其他输入设备632可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

其中，显示单元640可用于显示由用户输入的信息或提供给用户的信息以及移动终端600的各种菜单界面。显示单元640可包括显示面板641，可选的，可以采用LCD或有机发光二极管(OrganicLight-EmittingDiode，OLED)等形式来配置显示面板641。

应注意，触控面板631可以覆盖显示面板641，形成触摸显示屏，当该触摸显示屏检测到在其上或附近的触摸操作后，传送给处理器660以确定触摸事件的类型，随后处理器660根据触摸事件的类型在触摸显示屏上提供相应的视觉输出。

触摸显示屏包括应用程序界面显示区及常用控件显示区。该应用程序界面显示区及该常用控件显示区的排列方式并不限定，可以为上下排列、左右排列等可以区分两个显示区的排列方式。该应用程序界面显示区可以用于显示应用程序的界面。每一个界面可以包含至少一个应用程序的图标和/或widget桌面控件等界面元素。该应用程序界面显示区也可以为不包含任何内容的空界面。该常用控件显示区用于显示使用率较高的控件，例如，设置按钮、界面编号、滚动条、电话本图标等应用程序图标等。

其中处理器660是移动终端600的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在第一存储器621内的软件程序和/或模块，以及调用存储在第二存储器622内的数据，执行移动终端600的各种功能和处理数据，从而对移动终端600进行整体监控。可选的，处理器660可包括一个或多个处理单元。

在本发明实施例中，通过调用存储该第一存储器621内的软件程序和/或模块和/或该第二存储器622内的数据，处理器660用于检测目标帧图像中是否存在花屏区域；若是，则获取与目标帧图像相邻的多帧图像；将多帧图像中的每一帧图像依次与目标帧图像进行相似度匹配；确定多帧图像中相似度大于等于预设阈值的图像为校正图像；检测校正图像中对应于花屏区域的校正区域；提取校正区域中的所有像素点的像素值；依据提取到的像素值，对花屏区域的所有像素点的像素值进行更新。

可选地，处理器660还用于:对目标帧图像进行边缘检测处理，以获取目标帧图像中的图像边缘信息；依据图像边缘信息，判断目标帧图像中是否存在相邻的至少一个类正方形区域；若是，则确定目标帧图像中存在花屏区域。

可选地，处理器660还用于：构建卷积神经网络；依据数据库中的多个图像，设定卷积神经网络的参数，其中，多张图像包括至少一个具有花屏区域的图像；根据卷积神经网络的参数，对卷积神经网络进行训练，以获取花屏检测分类器；通过花屏检测分类器，检测目标帧图像中是否存在花屏区域。

可选地，作为另一个实施例，处理器660还用于：获取目标帧图像的背景区域，背景区域为除花屏区域外的区域；获取多帧图像中的每帧图像中对应于背景区域的匹配区域；计算每帧图像中的匹配区域与背景区域的相似度；确定相似度大于等于预定阈值的图像为相似度匹配成功的图像。

可选地，处理器660还用于：多帧图像中存在至少两帧相似度大于等于预设阈值的图像，则检测至少两帧图像中的每帧图像中对应于花屏区域的分辨率；选择分辨率最高的图像为校正图像。

可见，本发明实施例中的移动终端，通过检测目标帧图像中是否存在花屏区域；若是，则获取与目标帧图像相邻的多帧图像；将多帧图像中的每一帧图像依次与目标帧图像进行相似度匹配；确定多帧图像中相似度大于等于预设阈值的图像为校正图像；检测校正图像中对应于花屏区域的校正区域；提取校正区域中的所有像素点的像素值；依据提取到的像素值，对花屏区域的所有像素点的像素值进行更新。从而保证了视频图像的流畅度与清晰度，有效提升了用户体验。

本发明实施例还提供了一种移动终端，包括：存储器、处理器及存储在存储器上并可在处理器上运行的图像处理程序，图像处理程序被处理器执行时实现本发明中所示的任意一种图像处理方法的步骤。

本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有图像处理程序，图像处理程序被处理器执行时实现本发明中所示的任意一种图像处理方法的步骤。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

在此提供的图像处理方案不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造具有本发明方案的系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的图像处理方案中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (12)

1.一种图像处理方法，应用于移动终端，其特征在于，所述方法包括：

检测目标帧图像中是否存在花屏区域；

若是，则获取与所述目标帧图像相邻的多帧图像；

将所述多帧图像中的每一帧图像依次与所述目标帧图像进行相似度匹配；

确定所述多帧图像中相似度大于等于预设阈值的图像为校正图像；

检测所述校正图像中对应于所述花屏区域的校正区域；

提取所述校正区域中的所有像素点的像素值；

依据提取到的像素值，对所述花屏区域的所有像素点的像素值进行更新。

2.根据权利要求1所述的方法，其特征在于，所述检测目标帧图像中是否存在花屏区域的步骤，具体包括：

对所述目标帧图像进行边缘检测处理，以获取所述目标帧图像中的图像边缘信息；

依据所述图像边缘信息，判断所述目标帧图像中是否存在相邻的至少一个类正方形区域；

若是，则确定所述目标帧图像中存在花屏区域。

3.根据权利要求1所述的方法，其特征在于，所述检测目标帧图像中是否存在花屏区域的步骤，具体包括：

构建卷积神经网络；

依据数据库中的多个图像，设定所述卷积神经网络的参数，其中，所述多个图像包括至少一个具有花屏区域的图像；

根据所述卷积神经网络的参数，对所述卷积神经网络进行训练，以获取花屏检测分类器；

通过所述花屏检测分类器，检测所述目标帧图像中是否存在花屏区域。

4.根据权利要求1所述的方法，其特征在于，所述将所述多帧图像中的每一帧图像依次与所述目标帧图像进行相似度匹配的步骤，具体包括：

获取所述目标帧图像的背景区域，所述背景区域为除所述花屏区域外的区域；

获取所述多帧图像中的每帧图像中对应于所述背景区域的匹配区域；

计算所述每帧图像中的匹配区域与所述背景区域的相似度。

5.根据权利要求1所述的方法，其特征在于，所述确定所述多帧图像中相似度大于等于预设阈值的图像为校正图像的步骤，具体包括：

若所述多帧图像中存在至少两帧相似度大于等于所述预设阈值的图像，则检测至少两帧图像中的每帧图像中对应于所述花屏区域的分辨率；

选择分辨率最高的图像为所述校正图像。

6.一种移动终端，其特征在于，包括：

第一检测模块，用于检测目标帧图像中是否存在花屏区域；

获取模块，用于若是，则获取与所述目标帧图像相邻的多帧图像；

相似度匹配模块，用于将所述多帧图像中的每一帧图像依次与所述目标帧图像进行相似度匹配；

确定模块，用于确定所述多帧图像中相似度大于等于预设阈值的图像为校正图像；

第二检测模块，用于检测所述校正图像中对应于所述花屏区域的校正区域；

提取模块，用于提取所述校正区域中的所有像素点的像素值；

更新模块，用于依据提取到的像素值，对所述花屏区域的所有像素点的像素值进行更新。

7.根据权利要求6所述的移动终端，其特征在于，所述第一检测模块进一步包括：

边缘检测子模块，用于对所述目标帧图像进行边缘检测处理，以获取所述目标帧图像中的图像边缘信息；

判断子模块，用于依据所述图像边缘信息，判断所述目标帧图像中是否存在相邻的至少一个类正方形区域；

确定子模块，用于若是，则确定所述目标帧图像中存在花屏区域。

8.根据权利要求6所述的移动终端，其特征在于，所述第一检测模块进一步包括：

构建子模块，用于构建卷积神经网络；

设定子模块，用于依据数据库中的多个图像，设定所述卷积神经网络的参数，其中，所述多个图像包括至少一个具有花屏区域的图像；

训练子模块，用于根据所述卷积神经网络的参数，对所述卷积神经网络进行训练，以获取花屏检测分类器；

第一检测子模块，用于通过所述花屏检测分类器，检测所述目标帧图像中是否存在花屏区域。

9.根据权利要求6所述的移动终端，其特征在于，所述相似度匹配模块进一步包括：

第一获取子模块，用于获取所述目标帧图像的背景区域，所述背景区域为除所述花屏区域外的区域；

第二获取子模块，用于获取所述多帧图像中的每帧图像中对应于所述背景区域的匹配区域；

计算子模块，用于计算所述每帧图像中的匹配区域与所述背景区域的相似度。

10.根据权利要求6所述的移动终端，其特征在于，所述确定模块进一步包括：

第二检测子模块，用于若所述多帧图像中存在至少两帧相似度大于等于所述预设阈值的图像，则检测至少两帧图像中的每帧图像中对应于所述花屏区域的分辨率；

选取子模块，用于选择分辨率最高的图像为所述校正图像。

11.一种移动终端，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像处理程序，所述图像处理程序被所述处理器执行时实现如权利要求1至5中任一项所述的图像处理方法的步骤。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有图像处理程序，所述图像处理程序被处理器执行时实现如权利要求1至5中任一项所述的图像处理方法的步骤。