CN112989092A - 一种图像处理方法及相关装置 - Google Patents

Abstract

本申请公开了一种图像处理方法，涉及计算机视觉领域，包括：云服务器基于高清图像库中高清图像的变焦倍率对终端发送的低变焦倍率的低清图像进行切块，得到多个图像块。针对每一个图像块，云服务器都可以在高清图像库中进行检索匹配，得到一张或多张高清参考图，再经过基于高清参考图的图像增强网络进行图像质量提升，得到多张高清图像块。最后，云端的服务器再将这多张高清图像块拼接为一张分辨率更大，清晰度更高的超清图像，返回给终端。这样，可以借助云服务器的处理能力，使得终端拍摄照片或视频时的拍摄画面不仅具有较广视场角，还可以兼具高倍变焦时所能拍到的丰富细节纹理以及清晰度。

Description

一种图像处理方法及相关装置

本申请要求于2019年12月13日提交中国专利局、申请号为201911285717.4、申请名称为“一种图像处理方法及相关装置”，以及2020年04月29日提交中国专利局、申请号为202010357077.X、申请名称为“图像处理方法及装置”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本申请涉及计算机视觉领域，尤其涉及一种图像处理的方法及相关装置。

背景技术

智能手机发展至今，拍照已然成为其最为重要的特性之一。无论是基础成像器件还是成像算法，均产生了极大的发展和变化，一次又一次地推动了手机拍照的变革，提升用户拍照体验。然而，在这一次又一次的变革背后，器件的成本也越来越高，成像质量也越来越趋近瓶颈。

现有方案中，为了提升终端拍摄到照片的质量，通常终端在摄像头获取到拍摄画面后，会通过图像处理器(image signal processing，ISP)生成图像数据，并通过预设的算法对该图像数据进行处理优化，以提升图像效果。但是，终端利用固定的算法对图片进行处理，处理后的图像都是同一风格，并且由于终端能力的限制，处理后的图像质量并不高。而且不同的景物，呈现风格是不一样的。例如，北京故宫等名胜古迹呈现的是古风古韵的风格，上海外滩等都市景点，呈现的是大都市风格。同一景物不同的环境下，呈现的风格也是不一样的。例如，夏天的故宫和冬天的故宫，所呈现出的风格也是不一样的。对于摄影师来说，每一种风格都有不同的清晰度、色彩丰富度、对比度、白平衡、细节、纹理等等图像参数。现有方案中终端提升拍摄图片的质量的手段十分有限，成像质量不高。

发明内容

本申请提供了一种图像处理方法及相关装置，实现了通过云端服务器和终端结合，充分利用高质量图片数据和算法，赋能终端拍照成像系统，是终端能够突破终端本身成像质量极限，使得普通摄像头也能拍出媲美专业单反相机的效果，从而，在降低手机成本的同时，极大的提升终端拍摄照片的质量，以及用户拍照体验。

第一方面，本申请提供了一种图像处理方法，所述方法包括：云服务器获取终端发送的低清图像以及拍摄所述低清图像时的拍摄信息，所述拍摄信息包括所述低清图像的变焦倍率；所述云服务器识别所述低清图像的语义信息；所述云服务器基于高清图像库中高清图像的变焦倍率以及所述低清图像的变焦倍率，确定出图像块的数量N，所述N为正整数；所述云服务器基于图像块的数量N将所述低清图像分割成N个图像块，并基于所述低清图像的语义信息标记出所述N个图像块中每个图像块中图像内容的类型；所述云服务器从所述高清图像库中检索出与第一类型的图像块的拍摄内容匹配的T张高清检索图像，所述T为正整数；所述云服务器基于所述T张高清检索图像，对所述第一类型的图像块中的细节进行修复，得到第一类型的高清图像块，所述第一类型的高清图像块的分辨率大于所述第一类型的图像块；所述云服务器基于第一类型的高清图像块替换所述低清图像中的第一类型的图像块，得到高清输出图，并将所述高清输出图发送给所述终端。

在一种可能的实现方式中，所述低清图像的拍摄信息还包括以下一种或多种：地理位置信息、天气信息、季节信息、时间信息、拍摄参数和拍摄姿态信息。

在一种可能的实现方式中，所述云服务器从所述高清图像库中检索出与第一类型的图像块的拍摄内容匹配的T张高清检索图像，具体包括：所述云服务器基于所述低清图像的拍摄信息，从所述高清图像库中确定出至少一个第一匹配图像，其中，所述第一匹配图像的拍摄信息与所述低清图像的拍摄信息之间的匹配度大于第一阈值，所述第一匹配图像的分辨率大于所述低清图像的分辨率；所述云服务器分别获取所述至少一个第一匹配图像中每个第一匹配图像对应的第一特征和所述第一类型的图像块对应的第一特征，其中，一个第一匹配图像对应一个第一特征；所述云服务器基于所述至少一个第一匹配图像中每个第一匹配图像对应的第一特征与所述第一图像块对应的第一特征之间的相似度，从所述至少一个第一匹配图像中确定拍摄内容与所述第一类型的图像块的拍摄内容最相似的T张高清检索图像。

在一种可能的实现方式中，所述云服务器基于所述至少一个第一匹配图像中每个第一匹配图像对应的第一特征与所述第一类型的图像块对应的第一特征之间的相似度，从所述至少一个第一匹配图像中确定拍摄内容与所述第一类型的图像块的拍摄内容最相似的T张高清检索图像，具体包括：所述云服务器基于所述至少一个第一匹配图像中每个第一匹配图像对应的第一特征与所述第一类型的图像块对应的第一特征之间的相似度，确定出在第一特征上与所述第一类型的图像块最相似的至少一张第二匹配图像；所述云服务器分别获取所述至少一个第二匹配图像中每个第二匹配图像对应的第二特征和所述第一类型的图像块对应的第二特征，其中，一个第二匹配图像对应一个第二特征；所述云服务器基于所述至少一个第二匹配图像中每个第二匹配图像对应的第二特征与所述第一类型的图像块对应的第二特征之间的相似度，确定出在第二特征上与所述第一类型的图像块最相似的T张高清检索图像；其中，所述第二特征比所述第一特征更加精细。

在一种可能的实现方式中，所述云服务器利用所述T张高清检索图像，对所述第一类型的图像块中的细节进行修复，得到第一类型的高清图像块，具体包括：所述云服务器获取所述第一类型的图像块与所述T张高清检索图像中每一张高清检索图像的图像空间坐标变换参数；所述云服务器基于所述第一类型的图像块与所述T张高清检索图像中每一张高清检索图像中匹配特征点对的图像空间坐标变换参数，将每一张高清检索图像中与所述第一类型的图像块中相匹配的特征点，调整到与所述第一类型的图像块中相同的位置，得到T张高清配准图像；所述云服务器基于所述T张高清配准图像对所述第一类型的图像块的细节进行修复，得到第一类型的高清图像块。

在一种可能的实现方式中，所述云服务器基于所述T张高清配准图像对所述第一类型的图像块的细节进行修复，得到第一类型的高清图像块，具体包括：所述云服务器基于所述第一类型的图像块与所述T张高清检索图像中每一张高清检索图像中匹配特征点对的图像空间坐标变换参数，从所述T张高清配准图像中确定出匹配特征点对的图像空间位置最相似的L张高清参考图像，L为正整数；所述云服务器基于所述L张高清参考图像对所述第一类型的图像块的细节进行修复，得到所述第一类型的高清图像块。

在一种可能的实现方式中，所述云服务器基于第一类型的高清图像块替换所述低清图像中的第一类型的图像块，得到高清输出图，具体包括：当所述低清图像中只包括第一类型的图像块时，所述云服务器将所述第一类型的高清图像块拼接成所述高清输出图；当所述低清图像中包括第一类型的图像块和第二类型的图像块时，所述云服务器将所述第一类型的高清图像块与所述第二类型的高清图像块拼接成所述高清输出图。

在一种可能的实现方式中，在所述云服务器基于图像块的数量N将所述低清图像分割成N个图像块之前，所述方法还包括：所述云服务器根据所述低清图像的拍摄信息，确定出与所述环境信息对应的第一图像处理模型；所述云服务器通过所述第一处理模型对所述低清图像进行处理。所述云服务器基于图像块的数量N将所述低清图像分割成N个图像块，具体包括：所述云服务器基于图像块的数量N将经过所述第一图像处理模型处理后的所述低清图像分割成所述N个图像块。

在一种可能的实现方式中，所述云服务器通过所述第一处理模型对所述低清图像进行处理，具体包括：所述云服务器通过所述第一图像处理模型对所述低清图像的细节清晰度、和/或动态范围、和/或对比度、和/或噪声、和/或色彩进行处理。

本申请通过提供一种图像处理方法，借助云服务器上的高清图像数据库，将终端上拍摄的低变焦倍率(也即，大视场角)的低清图像，发送给云服务器。云服务器基于高清图像库中高清图像的变焦倍率对低变焦倍率的低清图像进行切块，得到多个图像块。针对每一个图像块，云服务器都可以在高清图像库中进行检索匹配，得到一张或多张高清参考图，再经过基于高清参考图的图像增强网络进行图像质量提升，得到多张高清图像块。最后，云端的服务器再将这多张高清图像块拼接为一张分辨率更大，清晰度更高的超清图像，返回给终端。这样，可以借助云服务器的处理能力，使得终端拍摄照片或视频时的拍摄画面不仅具有较广视场角，还可以兼具高倍变焦时所能拍到的丰富细节纹理以及清晰度。

第二方面，本申请提供了一种图像处理方法，应用于图像处理系统，该图像处理系统包括终端和云服务器，该方法包括：该终端接收用户的第一输入。响应于该第一输入，该终端获取第一图像以及拍摄该第一图像时的第一环境信息。该终端发送该第一环境信息给该云服务器。该云服务器根据该第一环境信息，确定与该环境信息对应的第一图像处理模型；该第一图像处理模型用于提高图像的质量。该云服务器发送该第一图像处理模型至该终端。该终端通过该第一图像处理模型对该第一图像进行处理，得到第二图像。

通过本申请提供一种图像处理方法，可以结合终端和云服务器的处理能力，充分利用云服务器上的高质量图像数据和图像处理算法，赋能终端拍照成像系统。云服务器可以通过终端上传的图像以及图像的环境信息(例如地理位置信息、天气信息、时间信息、拍摄参数、拍摄姿态信息等等)，匹配出适合该图像的图像处理算法以及与该图像拍摄内容相同，拍摄环境相近的高质量图像数据。通过该图像处理算法以及该高质量图像数据，可以增强终端上传图像的质量和效果。这样，可以让不同环境下拍摄的图片，呈现出不同的风格和效果。这样也使终端能够突破终端自身成像质量极限，使得终端上的普通摄像头也能拍出专业单反设备的效果，从而在降低手机成本的同时，极大的提升终端的拍照质量和用户拍照体验。

在一种可能的实现方式中，在该终端接收用户的第一输入之前，该方法还包括：该终端显示拍摄界面，该拍摄界面用于显示预览图像；该拍摄界面包括拍摄控件。其中，该第一输入为用户针对该拍摄控件的操作，该第一图像为拍摄界面中的该预览图像。这样，可以在用户拍照时对终端拍摄的图像，借助云服务器的处理能力进行优化增强，提升终端的拍照时的成像质量。

在一种可能的实现方式中，在该终端接收用户的第一输入之前，该方法还包括：该终端显示图库应用中的云增强界面；该云增强界面显示包括有该第一图像对应的缩略图以及上传控件；其中，该第一输入为用户针对该上传控件的操作。述终端获取第一图像以及该第一图像的第一环境信息，具体包括：该终端从本地存储中获取该第一图像。该终端从该第一图像的可交换图像文件格式Exif数据中获取到该第一环境信息。这样，可以在用户在图库中选中想优化的图片后，借助云服务器的处理能力进行优化增强，提升终端上已保存图片的质量效果。

在一种可能的实现方式中，该方法还包括：该云服务器发送该第一图像给该云服务器。该云服务器根据该第一环境信息，确定出第一高清图像。其中，该第一高清图片的第二环境信息与该第一环境信息的相似度在第一预设范围内，且该第一高清图像中的拍摄内容与该第一图像中的拍摄内容之间的相似度在第二预设范围内。该云服务器将该第一图像和该第一高清图像进行图像配准，得到第二高清图像。该云服务器发送该第二高清图像给该终端。该终端对该第二高清图像和该第二图像进行图像融合，得到第三图像，该第三图像的清晰度高于该第二图像的清晰度。这样，可以针对特定的拍摄环境，使用特定的图像处理模型对第一图像进行优化，提升图像的质量。

在一种可能的实现方式中，该云服务器根据该第一环境信息，确定出第一高清图像，具体包括：该云服务器根据该第一环境信息，从高清图像库中检索出该第一高清图像。其中，该高清图像库中存储有多张高清图像和该多张高清图像各自对应的第二环境信息。

在一种可能的实现方式中，该云服务器根据该第一环境信息，确定出第一高清图像，具体包括：该云服务器根据该第一环境信息，通过渲染引擎从三维世界模型中渲染出该第一高清图像。

在一种可能的实现方式中，该终端对该第二高清图像和该第二图像进行图像融合，得到第三图像，具体包括：该终端提取该第二高清图像的特征信息，融合到该第二图像中，得到该第三图像；其中，该特征信息包括高清晰度的细节、高频信息。

在一种可能的实现方式中，该终端通过该第一图像处理模型对该第一图像的质量进行处理，得到第二图像，具体包括：该终端通过第一图像处理模型对该第一图像的细节清晰度、和/或动态范围、和/或对比度、和/或噪声、和/或色彩进行处理，得到该第二图像。

在一种可能的实现方式中，在该终端得到该第二图像后，该方法还包括：该终端显示该第二图像。

在一种可能的实现方式中，在该终端得到该第三图像后，该方法还包括：该终端显示该第三图像。

在一种可能的实现方式中，该第一环境信息包括以下一种或多种：地理位置信息、天气信息、季节信息、时间信息、拍摄姿态信息、拍摄参数等等。

第三方面，本申请提供了一种图像处理方法，应用于图像处理系统，该图像处理系统包括终端和云服务器。该包括：该终端接收用户的第一输入。响应于该第一输入，该终端获取第一图像以及该第一图像的第一环境信息。该终端发送该第一图像和该第一环境信息给该云服务器。该云服务器根据该第一环境信息和该第一图像，确定出第一高清图像。其中，该第一高清图像的环境信息与该第一环境信息之间的相似度在第一预设范围内，该第一高清图像中的拍摄内容与该第一图像中的拍摄内容之间的相似度在第二预设范围内。该云服务器根据该第一图像对该第一高清图像进行图像配准，得到第二高清图像。该云服务器发送该第二高清图像给该终端。该终端对该第二高清图像和该第一图像进行图像融合，得到第三图像，该第三图像的清晰度高于该第一图像的清晰度。

通过本申请提供一种图像处理方法，可以结合终端和云服务器的处理能力，充分利用云服务器上的高质量图像数据和图像处理算法，赋能终端拍照成像系统。云服务器可以通过终端上传的图像以及图像的环境信息(例如地理位置信息、天气信息、时间信息、拍摄参数、拍摄姿态信息等等)，匹配出适合该图像的图像处理算法以及与该图像拍摄内容相同，拍摄环境相近的高质量图像数据。通过该图像处理算法以及该高质量图像数据，可以增强终端上传图像的质量和效果。这样，可以让不同环境下拍摄的图片，呈现出不同的风格和效果。这样也使终端能够突破终端自身成像质量极限，使得终端上的普通摄像头也能拍出专业单反设备的效果，从而在降低手机成本的同时，极大的提升终端的拍照质量和用户拍照体验。

在一种可能的实现方式中，在该终端接收用户的第一输入之前，该方法还包括：该终端显示拍摄界面，该拍摄界面用于显示预览图像；该拍摄界面包括拍摄控件。其中，该第一输入为用户针对该拍摄控件的操作，该第一图像为拍摄界面中的该预览图像。这样，可以在用户拍照时对终端拍摄的图像，借助云服务器的处理能力进行优化增强，提升终端的拍照时的成像质量。

在一种可能的实现方式中，在该终端接收用户的第一输入之前，该方法还包括：该终端显示图库应用中的云增强界面；该云增强界面显示包括有该第一图像对应的缩略图以及上传控件；其中，该第一输入为用户针对该上传控件的操作。该终端获取第一图像以及该第一图像的第一环境信息，具体包括：该终端从本地存储中获取该第一图像。该终端从该第一图像的可交换图像文件格式Exif数据中获取到该第一环境信息。这样，可以在用户在图库中选中想优化的图片后，借助云服务器的处理能力进行优化增强，提升终端上已保存图片的质量效果。

在一种可能的实现方式中，该方法还包括：在该终端对该第二高清图像和该第一图像进行图像融合，得到第三图像之前，该方法还包括：该云服务器根据该第一环境信息，确定与该第一环境信息对应的第一图像处理模型。该第一图像处理模型用于提高图像的质量。该云服务器发送该第一图像处理模型给该终端。该终端通过该第一图像处理模型对该第一图像进行处理。该终端对该第二高清图像和该第一图像进行图像融合，得到第三图像，具体包括：该终端对该第二高清图像和经过该第一图像处理模型处理后的该第一图像进行图像融合，得到该第三图像。这样，可以通过云服务器上相同拍摄环境下的高清图片，对第一图像进行优化，提升图像的细节清晰度等。

在一种可能的实现方式中，该云服务器根据该第一环境信息，确定出第一高清图像，具体包括：该云服务器根据该第一环境信息，从高清图像库中检索出该第一高清图像。其中，该高清图像库中存储有多张高清图像和该多张高清图像各自对应的第二环境信息。

在一种可能的实现方式中，该云服务器根据该第一环境信息，确定出第一高清图像，具体包括：该云服务器根据该第一环境信息，通过渲染引擎从三维世界模型中渲染出该第一高清图像。

在一种可能的实现方式中，该终端对该第二高清图像和该第二图像进行图像融合，得到第三图像，具体包括：该终端提取该第二高清图像的特征信息，融合到该第二图像中，得到该第三图像。其中，该特征信息包括高清晰度的细节。

在一种可能的实现方式中，该终端通过该第一图像处理模型对该第一图像进行处理，具体包括：该终端通过第一图像处理模型对该第一图像的细节清晰度、和/或动态范围、和/或对比度、和/或噪声、和/或色彩进行处理。

在一种可能的实现方式中，在该终端得到该第三图像后，该方法还包括：该终端显示该第三图像。

在一种可能的实现方式中，该第一环境信息包括以下一种或多种：地理位置信息、天气信息、季节信息、时间信息、拍摄姿态信息、拍摄参数等等。

第四方面，本申请提供了一种图像处理方法，应用于图像处理系统，该图像处理系统包括终端和云服务器。该方法包括：该终端接收用户的第一输入。响应于该第一输入，该终端获取第一图像以及该第一图像的第一环境信息。该终端发送该第一图像和该第一环境信息给该云服务器。该云服务器根据该第一环境信息，确定与该第一环境信息对应的第一图像处理模型。该第一图像处理模型用于提高图像的质量。该云服务器通过该第一图像处理模型对该第一图像的质量进行处理，得到第二图像。该云服务器发送该第二图像给该终端。

在一种可能的实现方式中，该方法还包括：该云服务器根据该第一环境信息，确定出第一高清图像；其中，该第一高清图片的第二环境信息与该第一环境信息在第二预设范围内，且该第一高清图像中的拍摄内容与该第一图像中的拍摄内容之间的相似度在第二预设范围内。该云服务器根据该第一图像对该第一高清图像进行图像配准，得到第二高清图像。该云服务器对该第二高清图像和该第二图像进行图像融合，得到第三图像。该云服务器将该第三图像发送给该终端。

第五方面，本申请提供了一种图像处理方法，应用于图像处理系统，该图像处理系统包括终端和云服务器。该方法包括：该终端接收用户的第一输入。响应于该第一输入，该终端获取第一图像以及该第一图像的第一环境信息。该终端发送该第一图像和该第一环境信息给该云服务器。该云服务器根据该第一环境信息，确定出第一高清图像。其中，该第一高清图像的第二环境信息与该第一环境信息的相似度在第一预设范围内，且该第一高清图像中的拍摄内容与该第一图像中的拍摄内容之间的相似度在第二预设范围内。该云服务器根据该第一图像对该第一高清图像进行图像配准，得到第二高清图像。该云服务器对该第二高清图像和该第一图像进行图像融合，得到第三图像，该第三图像的清晰度高于该第一图像的清晰度。该云服务器发送该第三图像给该终端。

在一种可能的实现方式中，在该服务器对该第二高清图像和该第一图像进行图像融合，得到第三图像之前，该方法还包括：该云服务器根据该第一环境信息，确定与该第一环境信息对应的第一图像处理模型。该第一图像处理模型用于提高图像的质量。该云服务器通过该第一图像处理模型对该第一图像进行处理。

第六方面，本申请实施例提供一种图像处理方法，其中，该方法可以由终端或者云服务器执行，该图像处理方法可以包括：获取终端拍摄的图像A和该图像A的拍摄信息。可选的，若该方法是由云服务器执行，则终端可以将拍摄的图像A和该图像A的拍摄信息发送至云服务器，该云服务器接收图像A和该图像A的拍摄信息。

进一步，根据图像A的拍摄信息，确定至少一个图像B，其中，该至少一个图像B中的每个图像B的拍摄信息与图像A的拍摄信息之间的匹配度大于第一阈值。该至少一个图像B中的每个图像B的分辨率大于图像A的分辨率。例如，该至少一个图像B是高清图像，而图像A是低清图像。

可选的，可以是终端将图像A的拍摄信息发送给云服务器，云服务器从高清图像库中选择该至少一个图像B，并将该至少一个图像B发送给终端，终端从该至少一个图像B中确定拍摄内容与图像A的拍摄内容最相似的参考图像1。

或者，可以是终端将图像A和图像A的拍摄信息发送给云服务器，云服务器从高清图像库中选择该至少一个图像B，并从该至少一个图像B中确定拍摄内容与图像A的拍摄内容最相似的参考图像1。

实施本申请实施例，通过图像A的拍摄信息，确定至少一个图像B，再从至少一个图像B中确定拍摄内容与图像A的拍摄内容最相似的参考图像1，即可以先通过图像A的拍摄信息缩小检索范围，从而提高图像的检索效率。

结合第六方面，在一些实施例中，拍摄信息可以包括以下信息中的一种或者多种：拍摄倍率、拍摄地理位置信息或拍摄天气状况信息等。其中，拍摄倍率可以是放大倍率。拍摄地理位置信息可以是指拍摄该图像A或者图像B时，拍照设备所处的地理位置信息，地理位置信息可以通过全球定位系统(global positioning system，GPS)信息进行定义。拍摄天气状况信息可以是指拍摄该图像A或者图像B时的天气状况，例如，晴天、阴天、雨天等等。

可选的，在拍摄信息包括拍摄地理位置信息时，该至少一个图像B中每个图像B的拍摄地理位置信息与图像A的拍摄地理位置信息之间的匹配度大于第一阈值，通过地理位置信息的匹配，可以保证图像A和该至少一个图像B的拍摄地理位置的一致性。最终从该至少一个图像B中确定拍摄内容与图像A的拍摄内容最相似的参考图像1，该参考图像1不仅拍摄内容与图像A高度相似，而且拍摄角度(即拍摄地理位置信息)与图像A也高度一致。

可选的，在拍摄信息包括拍摄倍率时，该至少一个图像B中每个图像B的拍摄倍率与图像A的拍摄倍率之间的匹配度大于第一阈值，可以保证图像A和该至少一个图像B的放大倍率相差不大。

可选的，在拍摄信息包括拍摄天气状况信息时，该至少一个图像B中每个图像B的拍摄天气状况信息与图像A的拍摄天气状况信息之间的匹配度大于第一阈值，例如，都是晴天拍摄的，或者都是雨天拍摄的，可以保证图像的透明度的一致性。

结合第六方面，在一些实施例中，根据参考图像1，对图像A进行细节恢复处理，获得图像C。其中，所获得的图像C的分辨率大于图像A的分辨率，即图像C的清晰度大于图像A的清晰度。

可选的，可以将参考图像1和图像A输入深度学习神经网络，通过深度学习神经网络提取该参考图像1的高频信息，并通过该高频信息对图像A进行细节恢复，从而得到清晰度更高的图像C。

结合第六方面，在一些实施例中，从至少一个图像B中确定拍摄内容与图像A的拍摄内容最相似的参考图像1，可以包括：可以分别获取该至少一个图像B中每个图像B对应的第一特征和该图像A对应的第一特征，其中，每个图像B对应一个第一特征。

其中，该至少一个图像B中的每个图像B对应的第一特征可以是通过检索网络提取的，该图像A对应的第一特征也可以是通过该检索网络提取的。第一特征包括但不限于CNN特征，相应的，检索网络可以是CNN网络。

计算该至少一个图像B中每个图像B对应的第一特征与图像A对应的第一特征之间的相似度，并从该至少一个图像B中确定拍摄内容与图像A的拍摄内容最相似的M个图像B，M为大于或者等于1的整数。例如，M可以为15，即从该至少一个图像B中选择与图像A的拍摄内容最相似的15个图像B。

其中，可以是将每个图像B对应的第一特征与图像A对应的第一特征之间的相似度进行排序，从而得到与图像A之间相似度最大的M个图像B。

进一步从M个图像B中确定拍摄内容与图像A的拍摄内容最相似的参考图像1，例如可以通过更加细节的特征进行匹配，从而得到参考图像1。

通过实施该实施例，通过逐渐缩减检索范围，得到与图像A的拍摄内容最相似的参考图像1，不仅提高检索效率，还能保证检索得到参考图像1与图像A的拍摄内容的一致性。

结合第六方面，在一些实施例中，从M个图像B中确定拍摄内容与图像A的拍摄内容最相似的参考图像1，包括：分别获取M个图像B中每个图像B对应的第二特征和图像A对应的第二特征，其中，每个图像B对应一个第二特征。

其中，该M个图像B中的每个图像B对应的第二特征可以是通过重排序网络提取的，该图像A对应的第二特征也可以是通过该重排序网络提取的。重排序网络可以是比检索网络更复杂的特征提取网络，通过重排序网络提取的第二特征可以是比检索网络提取的第一特征更加精细的图像特征，例如，第二特征比第一特征更加体现图像的细节特征。

计算该M个图像B中每个图像B对应的第二特征与图像A对应的第二特征之间的相似度，并从该M个图像B中确定拍摄内容与图像A的拍摄内容最相似的图像B，作为参考图像1。

其中，可以是将每个图像B对应的第二特征与图像A对应的第二特征之间的相似度进行排序，从而将相似度最大的图像B作为参考图像1。

可以理解的是，将每个图像B对应的第一特征与图像A对应的第一特征之间的相似度进行排序的排序结果，可能与，将每个图像B对应的第二特征与图像A对应的第二特征之间的相似度进行排序的排序结果不同。

通过实施该实施例，由于检索网络比重排序网络简单，因此，检索效率也更高，本申请实施例中，先通过检索网络提取的第一特征进行匹配，从至少一个图像B中，得到与图像A大致相似的M个图像B，再通过重排序网络提取的第二特征进行匹配，从M个图像B中，得到最相似的参考图像1，可以在保证检索效率的前提下，提高检索的准确度。

结合第六方面，在一些实施例中，根据参考图像1，对图像A进行细节恢复处理之前，还包括：确定该参考图像1的拍摄内容占图像A的拍摄内容的比例，其中，该比例可以反映所检索的参考图像1包含的拍摄内容是否覆盖全图像A所包含的拍摄内容。

若参考图像1的拍摄内容占图像A的拍摄内容的比例小于第二阈值，从该图像A的拍摄内容中去除与参考图像1的拍摄内容匹配的拍摄内容，获得去除后的图像A。其中，该第二阈值可以根据实际需要进行设定，例如，该第二阈值可以设置为80％，若参考图像1的拍摄内容占图像A的拍摄内容的比例小于80％，则说明参考图像1包含的拍摄内容未覆盖全图像A所包含的拍摄内容，可以进一步检索图像A包含的拍摄内容中除参考图像1包含的拍摄内容以外的拍摄内容，即去除后的图像A。

进一步，从至少一个图像B中确定拍摄内容与去除后的图像A的拍摄内容最相似的参考图像2。

其中，从至少一个图像B中确定拍摄内容与去除后的图像A的拍摄内容最相似的参考图像2的确定方法可以参照前述实施例中参考图像1的确定方法，在此不再赘述。

在获得参考图像1和参考图像2后，可以根据参考图像1和参考图像2，对图像A进行细节恢复处理，获得图像C。

可以理解的是，在获得参考图像1和参考图像2后，还可以进一步确定参考图像1的拍摄内容和参考图像2的拍摄内容占图像A的拍摄内容的比例，若该比例仍然小于第二阈值，还可以进一步从该图像A的拍摄内容中去除与参考图像1的拍摄内容以及与参考图像2的拍摄内容匹配的拍摄内容，获得去除后的图像A，再进一步从至少一个图像B中检索得到与该去除后的图像A的拍摄内容最相似的参考图像3。以此循环，直至所获得的至少一个参考图像的拍摄内容占图像A的拍摄内容的比例大于或者等于第二阈值，再根据所获得的至少一个参考图像，对图像A进行细节恢复处理，获得分辨率更高的图像C。

第七方面，本申请实施例提供了一种图像处理装置，包括用于执行第五方面的方法的各个模块或单元。

第八方面，本申请实施例提供一种图像处理系统，所述系统包括终端和云服务器，其中：所述第一终端将拍摄的图像A和图像A的拍摄信息发送给云服务器，云服务器接收该图像A和图像A的拍摄信息，并根据图像A的拍摄信息，确定至少一个图像B，其中，所述图像B的拍摄信息与所述图像A的拍摄信息之间的匹配度大于第一阈值，所述图像B的分辨率大于所述图像A的分辨率。云服务器从所述至少一个图像B中确定拍摄内容与所述图像A的拍摄内容最相似的参考图像1。

可选的，云服务器根据所述参考图像1，对所述图像A进行细节恢复处理，获得图像C，所述图像C的分辨率大于所述图像A的分辨率，并将图像C发送给所述终端。

终端接收该图像C，并显示该图像C。

第九方面，本申请实施例提供一种图像处理系统，所述系统包括终端和云服务器，其中：所述第一终端将拍摄的图像A和图像A的拍摄信息发送给云服务器，云服务器接收该图像A和图像A的拍摄信息，并根据图像A的拍摄信息，确定至少一个图像B，其中，所述图像B的拍摄信息与所述图像A的拍摄信息之间的匹配度大于第一阈值，所述图像B的分辨率大于所述图像A的分辨率。云服务器将所述至少一个图像B发送给终端设备。

终端设备从该至少一个图像B中确定拍摄内容与所述图像A的拍摄内容最相似的参考图像1。

可选的，终端设备根据所述参考图像1，对所述图像A进行细节恢复处理，获得图像C，并输出该图像C，所述图像C的分辨率大于所述图像A的分辨率。

第十方面，本申请提供了一种终端，包括：摄像头、收发器、一个或多个处理器和一个或多个存储器。该一个或多个处理器与该摄像头、该一个或多个存储器以及该收发器耦合，该一个或多个存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当该一个或多个处理器执行该计算机指令时，使得该终端执行上述任一方面任一项可能的实现方式中的图像处理方法。

第十一方面，本申请提供了一种云服务器，收发器、一个或多个处理器和一个或多个存储器。该一个或多个存储器与一个或多个处理器耦合，该一个或多个存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当该一个或多个处理器执行该计算机指令时，使得该云服务器执行上述任一方面任一项可能的实现方式中的图像处理方法。

第十二方面，本申请实施例提供了一种计算机存储介质，包括计算机指令，当计算机指令在终端上运行时，使得终端执行上述任一方面任一项可能的实现方式中的图像处理方法。

第十三方面，本申请实施例提供了一种计算机存储介质，包括计算机指令，当计算机指令在云服务器上运行时，使得云服务器执行上述任一方面任一项可能的实现方式中的图像处理方法。

第十四方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端上运行时，使得终端执行上述任一方面任一项可能的实现方式中的图像处理方法。

第十五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在云服务器上运行时，使得云服务器执行上述任一方面任一项可能的实现方式中的图像处理方法。

附图说明

图1为本申请实施例提供的一种通信系统的架构示意图；

图2A为本申请实施例提供的一种终端的结构示意图；

图2B为本申请实施例提供的一种终端的软件架构示意图；

图3A-图3H为本申请实施例提供的一组用户界面示意图；

图4A-图4F为本申请实施例提供的另一组用户界面示意图；

图4G为本申请实施例提供的一组图片处理效果对比示意图；

图5A-图5G为申请实施例提供的又一组用户界面示意图；

图6A-图6P为申请实施例提供的又一组用户界面示意图；

图7A-图7D为申请实施例提供的又一组用户界面示意图；

图8为本申请实施例提供的一种图像处理方法的流程示意图；

图9为本申请实施例提供的一种图像处理系统的架构示意图；

图10为本申请实施例提供的又一种图像处理系统的架构示意图；

图11为本申请实施例提供的又一种图像处理系统的架构示意图；

图12为本申请实施例提供的又一种图像处理系统的架构示意图；

图13为本申请实施例提供的一种数据构建系统的架构示意图；

图14为本申请实施例提供的一种云服务器的结构示意图；

图15为本申请实施例提供的一种图像处理方法的流程示意图；

图16为本申请实施例提供的另一种图像处理方法的流程示意图；

图17为本申请实施例提供的又一种图像处理方法的流程示意图；

图18为本申请实施例提供的一种图像处理方案的框架图；

图19为本申请实施例提供的一种图像处理装置的结构示意图；

图20为本申请实施例提供的另一种图像处理方法的流程示意图；

图21A为本申请实施例提供的低清图像的示意图；

图21B为本申请实施例提供的低清图像的语义分割mask图；

图21C为本申请实施例提供的针对低清图像的分块示意图；

图21D为本申请实施例提供的图像块的示意图；

图22为本申请实施例提供的图像配准的流程示意图；

图23A为本申请实施例提供的图像细节修复的流程示意图；

图23B为本申请实施例提供的高清参考图像的示意图；

图23C为本申请实施例提供的高清图像块的示意图；

图24为本申请实施例提供的另一种图像处理方法的流程示意图；

图25A为本申请实施例提供的全景高清图像的分块示意图；

图25B为本申请实施例提供的全景高清图像中分割的高清图像示例图；

图25C为本申请实施例提供的另一种全景高清图像的分块示意图；

图25D为本申请实施例提供的全景高清图像中分割的高清图像示例图。

具体实施方式

下面将结合附图对本申请实施例中的技术方案进行清除、详尽地描述。其中，在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；文本中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，另外，在本申请实施例的描述中，“多个”是指两个或多于两个。

以下，术语“第一”、“第二”仅用于描述目的，而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征，在本申请实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。

下面介绍本申请实施例涉及的一种通信系统10。

请参照图1，图1示出了申请实施例涉及的一种通信系统10的架构示意图。该通信系统10可以包括终端100和云服务器200。其中，终端100可以是手机、平板电脑、桌面型计算机、膝上型计算机、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobilepersonal computer，UMPC)、上网本，以及蜂窝电话、个人数字助理(personal digitalassistant，PDA)、增强现实(augmented reality，AR)\虚拟现实(virtual reality，VR)设备等。本申请实施例对该终端100的具体类型不作特殊限制。

终端100可以通过2G网络、3G网络、4G网络、5G网络、无线局域网(wireless localarea network，WLAN)等连接上云服务器200。其中，终端100可以向云服务器200发送图像数据、图像数据的环境信息(例如地理位置信息、拍摄设备拍摄姿态信息、拍摄时间信息、天气信息等等)。云服务器200可以向终端100发送图像处理网络模型、高清图片数据等等。

云服务器200可以与多个终端100建立连接，可以独立处理多个终端100请求的处理任务。其中，云服务器200可以通过终端上用户登录的账户(例如，华为账户)对终端进行区分。

图2A示出了终端100的结构示意图。

下面以终端100为例对实施例进行具体说明。应该理解的是，图2A所示终端100仅是一个范例，并且终端100可以具有比图2A中所示的更多的或者更少的部件，可以组合两个或多个的部件，或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。

终端100可以包括：处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

可以理解的是，本发明实施例示意的结构并不构成对终端100的具体限定。在本申请另一些实施例中，终端100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

其中，控制器可以是终端100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

I2C接口是一种双向同步串行总线，包括一根串行数据线(serial data line，SDA)和一根串行时钟线(derail clock line，SCL)。在一些实施例中，处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K，充电器，闪光灯，摄像头193等。例如：处理器110可以通过I2C接口耦合触摸传感器180K，使处理器110与触摸传感器180K通过I2C总线接口通信，实现终端100的触摸功能。

I2S接口可以用于音频通信。在一些实施例中，处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合，实现处理器110与音频模块170之间的通信。在一些实施例中，音频模块170可以通过I2S接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。

PCM接口也可以用于音频通信，将模拟信号抽样，量化和编码。在一些实施例中，音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中，音频模块170也可以通过PCM接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。

UART接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，UART接口通常被用于连接处理器110与无线通信模块160。例如：处理器110通过UART接口与无线通信模块160中的蓝牙模块通信，实现蓝牙功能。在一些实施例中，音频模块170可以通过UART接口向无线通信模块160传递音频信号，实现通过蓝牙耳机播放音乐的功能。

MIPI接口可以被用于连接处理器110与显示屏194，摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface，CSI)，显示屏串行接口(displayserial interface，DSI)等。在一些实施例中，处理器110和摄像头193通过CSI接口通信，实现终端100的拍摄功能。处理器110和显示屏194通过DSI接口通信，实现终端100的显示功能。

GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，GPIO接口可以用于连接处理器110与摄像头193，显示屏194，无线通信模块160，音频模块170，传感器模块180等。GPIO接口还可以被配置为I2C接口，I2S接口，UART接口，MIPI接口等。

USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口130可以用于连接充电器为终端100充电，也可以用于终端100与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他终端，例如AR设备等。

可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对终端100的结构限定。在本申请另一些实施例中，终端100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过终端100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为终端供电。

电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。

终端100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。终端100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块150可以提供应用在终端100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(lownoise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A，受话器170B等)输出声音信号，或通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。

无线通信模块160可以提供应用在终端100上的包括无线局域网(wireless localarea networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequencymodulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

在一些实施例中，终端100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得终端100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(code divisionmultiple access，CDMA)，宽带码分多址(wideband code division multiple access，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system，GPS)，全球导航卫星系统(globalnavigation satellite system，GLONASS)，北斗卫星导航系统(beidou navigationsatellite system，BDS)，准天顶卫星系统(quasi-zenith satellite system，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)。

终端100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，终端100可以包括1个或N个显示屏194，N为大于1的正整数。

终端100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，终端100可以包括1个或N个摄像头193，N为大于1的正整数。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当终端100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。终端100可以支持一种或多种视频编解码器。这样，终端100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现终端100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展终端100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行终端100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储终端100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。

终端100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。

扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。终端100可以通过扬声器170A收听音乐，或收听免提通话。

受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。当终端100接听电话或语音信息时，可以通过将受话器170B靠近人耳接听语音。

麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170C发声，将声音信号输入到麦克风170C。终端100可以设置至少一个麦克风170C。在另一些实施例中，终端100可以设置两个麦克风170C，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，终端100还可以设置三个，四个或更多麦克风170C，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。

耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130，也可以是3.5mm的开放移动终端平台(open mobile terminal platform，OMTP)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the USA，CTIA)标准接口。

压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A，电极之间的电容改变。终端100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194，终端100根据压力传感器180A检测所述触摸操作强度。终端100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。

陀螺仪传感器180B可以用于确定终端100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180B确定终端100围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器180B检测终端100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消终端100的抖动，实现防抖。陀螺仪传感器180B还可以用于导航，体感游戏场景。

气压传感器180C用于测量气压。在一些实施例中，终端100通过气压传感器180C测得的气压值计算海拔高度，辅助定位和导航。

磁传感器180D包括霍尔传感器。终端100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中，当终端100是翻盖机时，终端100可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态，设置翻盖自动解锁等特性。

加速度传感器180E可检测终端100在各个方向上(一般为三轴)加速度的大小。当终端100静止时可检测出重力的大小及方向。还可以用于识别终端姿态，应用于横竖屏切换，计步器等应用。

距离传感器180F，用于测量距离。终端100可以通过红外或激光测量距离。在一些实施例中，拍摄场景，终端100可以利用距离传感器180F测距以实现快速对焦。

接近光传感器180G可以包括例如发光二极管(LED)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。终端100通过发光二极管向外发射红外光。终端100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定终端100附近有物体。当检测到不充分的反射光时，终端100可以确定终端100附近没有物体。终端100可以利用接近光传感器180G检测用户手持终端100贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式，口袋模式自动解锁与锁屏。

环境光传感器180L用于感知环境光亮度。终端100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合，检测终端100是否在口袋里，以防误触。

指纹传感器180H用于采集指纹。终端100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。

温度传感器180J用于检测温度。在一些实施例中，终端100利用温度传感器180J检测的温度，执行温度处理策略。例如，当温度传感器180J上报的温度超过阈值，终端100执行降低位于温度传感器180J附近的处理器的性能，以便降低功耗实施热保护。在另一些实施例中，当温度低于另一阈值时，终端100对电池142加热，以避免低温导致终端100异常关机。在其他一些实施例中，当温度低于又一阈值时，终端100对电池142的输出电压执行升压，以避免低温导致的异常关机。

触摸传感器180K，也称“触控面板”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于终端100的表面，与显示屏194所处的位置不同。

骨传导传感器180M可以获取振动信号。在一些实施例中，骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏，接收血压跳动信号。在一些实施例中，骨传导传感器180M也可以设置于耳机中，结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号，解析出语音信号，实现语音功能。应用处理器可以基于所述骨传导传感器180M获取的血压跳动信号解析心率信息，实现心率检测功能。

按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。终端100可以接收按键输入，产生与终端100的用户设置以及功能控制有关的键信号输入。

马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作，马达191也可对应不同的振动反馈效果。不同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。

指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。

SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195，或从SIM卡接口195拔出，实现和终端100的接触和分离。终端100可以支持1个或N个SIM卡接口，N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡，Micro SIM卡，SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同，也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。终端100通过SIM卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，终端100采用eSIM，即：嵌入式SIM卡。eSIM卡可以嵌在终端100中，不能和终端100分离。

终端100的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本发明实施例以分层架构的Android系统为例，示例性说明终端100的软件结构。

图2B是本发明实施例的终端100的软件结构框图。

分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(Android runtime)和系统库，以及内核层。

应用程序层可以包括一系列应用程序包。

如图2B所示，应用程序包可以包括相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等应用程序。

应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。

如图2B所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。

内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。

视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。

电话管理器用于提供终端100的通信功能。例如通话状态的管理(包括接通，挂断等)。

资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。

通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，终端振动，指示灯闪烁等。

Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。

核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。

应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(Media Libraries)，三维图形处理库(例如：OpenGL ES)，2D图形引擎(例如：SGL)等。

表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。

媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如:MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。

三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。

2D图形引擎是2D绘图的绘图引擎。

内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。

下面结合捕获拍照场景，示例性说明终端100软件以及硬件的工作流程。

当触摸传感器180K接收到触摸操作，相应的硬件中断被发给内核层。内核层将触摸操作加工成原始输入事件(包括触摸坐标，触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件，识别该输入事件所对应的控件。以该触摸操作是触摸单击操作，该单击操作所对应的控件为相机应用图标的控件为例，相机应用调用应用框架层的接口，启动相机应用，进而通过调用内核层启动摄像头驱动，通过摄像头193捕获静态图像或视频。

本申请提供一种图像处理方法，可以结合终端和云服务器的处理能力，充分利用云服务器上的高质量图像数据和图像处理算法，赋能终端拍照成像系统。云服务器可以通过终端上传的图像以及图像的环境信息(例如地理位置信息、天气信息、时间信息、拍摄参数、拍摄姿态信息等等)，匹配出适合该图像的图像处理算法以及与该图像拍摄内容相同，拍摄环境相近的高质量图像数据。通过该图像处理算法以及该高质量图像数据，可以增强终端上传图像的质量和效果。这样，可以让不同环境下拍摄的图片，呈现出不同的风格和效果。这样也使终端能够突破终端自身成像质量极限，使得终端上的普通摄像头也能拍出专业单反设备的效果，从而在降低手机成本的同时，极大的提升终端的拍照质量和用户拍照体验。

下面结合应用场景，介绍本申请实施例涉及的一种图像处理方法。

在一些应用场景中，用户在使用终端100拍照时，可以选择终端100的相机应用中的不同拍照模式进行拍照。当用户通过终端100在景点、商圈等地方拍摄风景时，用户可以选择相机应用中的“云增强模式”进行拍摄。在“云增强模式”下，终端100可以借助云服务器的处理能力对终端100拍摄到的画面进行增强优化。这样，可以使终端100能够突破终端自身成像质量极限，使得终端上的普通摄像头也能拍出专业单反设备的效果。例如，终端100在拍摄远景时，由于自身成像质量极限的限制，当变焦到一定程度时，终端100拍摄的远景的细节会变得模糊。而当终端100开启“云增强模式”拍摄远景时，终端100可以借助云服务器的处理能力，对终端100拍摄到的远景图像进行优化，使得终端100在拍摄远景时，也能拍出清晰的图片。

如图3A所示，终端100可以显示有主屏幕的界面310，该界面310中显示了一个放置有应用图标的页面，该页面包括多个应用图标(例如，天气应用图标、股票应用图标、计算器应用图标、设置应用图标、邮件应用图标、支付宝应用图标、脸书应用图标、浏览器应用图标、图库应用图标312、音乐应用图标、视频应用图标、微信应用图标等等)。多个应用图标下方还显示包括有页面指示符，以表明当前显示的页面与其他页面的位置关系。页面指示符的下方有多个托盘图标(例如拨号应用图标、信息应用图标、联系人应用图标、相机应用图标313)，托盘图标在页面切换时保持显示。在一些实施例中，上述页面也可以包括多个应用图标和页面指示符，页面指示符可以不是页面的一部分，单独存在，上述图片图标也是可选的，本申请实施例对此不作限制。在该界面310的上方部分区域显示有状态栏311，该状态栏311可以包括：移动通信信号(又可称为蜂窝信号)的一个或多个信号强度指示符，电池状态指示符，时间指示符，Wi-Fi信号指示符等等。

终端100可以接收用户作用于相机应用图标313的输入操作(例如单击)，响应于该输入操作，终端100可以显示如图3B所示的拍摄界面320。

如图3B所示，该拍摄界面320可以显示包括有已拍摄图像回显控件321、拍摄控件322、摄像头转换控件323、摄像头捕捉的画面324、设置控件325、变焦倍率控件326、一个或多个拍摄模式控件(例如，“夜景模式”控件372A、“人像模式”控件372B、“云增强模式”控件372C、“普通拍照模式”控件372D、“录像模式”控件372E、“专业模式”控件372F、更多模式控件327G)。其中，该已拍摄图像回显控件321可用于显示已拍摄的图像。该拍摄控件322用于触发保存摄像头拍摄到的图像。该摄像头转换控件323可用于切换拍照的摄像头。该设置控件325可用于设置拍照功能。该变焦倍率控件326可用于设置摄像头的变焦倍数。该拍摄模式控件可用于触发开启该拍摄模式对应的图像处理流程。例如，“夜景模式”控件372A可用于触发增加拍摄图像中的亮度和色彩丰富度等。“人像模式”控件372B可用于触发对拍摄图像中人物背景的虚化。“云增强模式”控件372C可用于触发借助云服务器的处理能力增强拍摄图像的画面效果。如图3B所示，当前用户选择的拍摄模式为“普通拍照模式”。

终端100可以接收用户作用于“云增强模式”控件327C的输入操作(例如单击)，响应于该输入操作，如图3C所示，终端100可以将当前用户选中的拍摄模式调整为“云增强模式”，并显示出模式详情控件328

如图3C所示，终端100可以接收用户作用于模式详情控件328的输入操作(例如单击)，响应于该输入操作，终端100可以显示如图3D所示的“云增强模式”详情页330。

如图3D所示，该“云增强模式”详情页330可以显示包括有“云增强模式”开启时与未开启时的效果对比图。例如，该“云增强模式”详情页330可以显示有未开启“云增强模式”时拍摄的图像331以及该图像331的细节图332，和开启“云增强模式”时拍摄的图像333以及该图像333的细节图334。该“云增强模式”详情页330还可以显示有关于“云增强模式”的文字说明335(例如，“借助云端能力拍摄高清晰度的照片，突显细节、提升颜色表现，增强图片质量。建议使用该模式拍照时开启数据网络以及定位。”)。

终端100可以接收用户再次作用于模式详情控件328的输入操作(例如单击)，响应于该输入操作，如图3E所示，终端100可以关闭该“云增强模式”详情页330，并返回显示上述拍摄界面320。

如图3E所示，用户当前选择的拍摄模式为“云增强模式”。终端100可以接收用户针对拍摄控件322的输入操作(例如单击)，响应于该输入操作，终端100可以获取摄像头拍摄到的图像以及该图像的环境信息。其中，该环境信息可以包括以下一种或多种：地理位置信息、天气信息、时间信息、拍摄参数、拍摄姿态信息等等。其中，拍摄参数可以包括变焦倍数等等。拍摄姿态信息可以包括拍摄设备的拍摄镜头在拍摄图像时的朝向信息。例如，拍摄镜头的俯仰角以及方向角度等等，或者自然坐标下的三轴旋转角等等。终端100可以将拍摄图像以及该拍摄图像的环境信息发送给云服务器200，借助云服务器200的处理能力对拍摄图像进行增强。其中，终端100借助云服务器200的处理能力对拍摄图像进行增强的过程将在后续实施例中详细介绍，在此不予详述。

在一些实施例中，在终端100借助云服务器200的处理能力对拍摄图像进行增强的过程中，终端100可以显示处理进度提示或倒计时，用于提示用户当前终端100借助云服务器200的处理能力对拍摄图像增强的进度。

示例性的。如图3F所示，终端100可以在拍摄界面320上显示进度提示窗口341，用于提示对拍摄图像增强的进度。例如，该进度提示窗口341中显示有文字提示“正在通过云端优化拍摄的照片，进度10％”。该进度提示窗口341中还可以显示有取消控件342，可用于触发取消对拍摄图像的增强。例如，当终端100接收用户的针对该取消控件342的输入操作(例如单击)，终端100可以向云服务器200发送取消指令，指示云服务200停止对拍摄图像的增强进程。这样，可以在进度较缓慢时或者用户临时不想对拍摄图像增强时，即时取消对拍摄图像的增强。

在一种可能的实现方式中，终端100可以实时显示增强的效果,当用户对中间的某个增强效果已经满意的时候，终端可以提前结束增强,将结束时的中途增强结果作为最终结果保存下来。

在终端100借助云服务器200的处理能力对拍摄图像完成增强后，终端100可以显示完成提示，并保存增强后的图像至本地。该完成提示可用于提示用户当前已对拍摄图像完成增强。

示例性的，如图3G所示，终端100可以在借助云服务器200的处理能力对拍摄图像完成增强后，显示完成提示343。例如，完成提示343可以是文字提示“已完成照片增强，可到图库中查看”。

终端100可以接收用户针对已拍摄图像回显控件321的输入操作(例如单击)，响应于该输入操作，终端100可以显示如图3H所示照片浏览界面350。

如图3H所示，该照片浏览界面350可以显示包括有增强后的图像351、标记352、图像相关信息353、菜单354、图库控件355。其中，该标记352用于提示用户该图像351已借助云服务器200的处理能力进行增强。该图像相关信息353可以包括有该图像351的拍摄时间、拍摄天气、地理位置信息等等。例如，拍摄时间可以为“2019年12月3日8：00AM”，拍摄天气可以为“多云”，拍摄地点可以为“上海·迪士尼”等等。该菜单354可以包括分享按钮、收藏按钮、编辑按钮、删除按钮、更多按钮。分享按钮可用于触发对该图像351的分享。该收藏按钮可用于触发收藏该图像351到图片收藏文件夹。编辑按钮可用于触发对图像351的旋转、修剪、增加滤镜、虚化等编辑功能。删除按钮可用于触发删除该图像351。更多按钮可用于触发打开更多与该图像351相关的功能。该图库控件355可用于触发终端100打开图库应用。

在一些实施例中，由于终端100借助云服务器200的处理能力对图像增强时，需要先将图像和图像的环境信息发送给云服务器200。因此，当终端100打开相机应用开启“云增强”模式后，终端100可以检测当前的网络状态，若当前终端100的网络断开无法连接至云服务器，则终端100可以输出网络断开提示，该网络断开提示可用于提示用户在连接网络后再使用云增强模式进行拍照。

示例性的，如图4A所示，终端100显示有拍摄界面320。其中，针对拍摄界面320的文字描述可以参考前述实施例，在此不再赘述。当终端100检测到网络断开，无法与云服务器200建立连接时，终端100可以显示出提示411，该提示411可用于提示用户当前终端100的网络已经断开。例如，该提示411可以是文字提示“当前网络断开，请先连接网络，再借助云端优化图片”等等。

当终端100打开相机应用开启云增强模式后，终端100的网络状态由断开切换至重新连接时，终端100可以输出网络重连提示，该网络重连提示可用于提示用户当前网络已恢复连接，可正常使用云增强模式拍摄图片。

示例性的，如图4B所示，终端100显示有拍摄界面320。其中，针对拍摄界面320的文字描述可以参考前述实施例，在此不再赘述。当终端100检测到网络由断开切换至恢复连接时，终端100可以显示出提示412，该提示412可用于提示用户当前终端100的网络已经恢复，可以正常使用云增强模式进行拍照。例如，该提示412可以是文字提示“当前网络已连接，您可以使用云增强模式拍摄图片。

在一些实施例中，由于云服务器200可以处理多个终端上传的图片进行增强，云服务器200的对图片增强的任务过多时，云服务器200会对这些任务排队。当终端100请求图片增强任务需要排队时，终端100可以输出排队提示，并在后台保持与云服务器200的通信，监测排队进度。该图片增强任务。该排队提示可用于提示当前的图片增强任务正在排队，需要等待。

示例性的，如图4C所示，终端100显示有拍摄界面320。其中，针对拍摄界面320的文字描述可以参考前述实施例，在此不再赘述。当终端100将拍摄图像和拍摄图像的环境信息发送给云服务器200后，终端100可以周期性从云服务器200上获取增强该拍摄图像的处理进度。当云服务器200上增强图片的任务达到指定数量时，云服务器200可以让来自于终端100的任务请求进行排队，并周期性向终端100发送排队进度。终端100可以输出提示413，该提示413用于提示用户当前终端100请求增强拍摄图像的任务正在排队。例如，该提示413可以文字提示“当前通过云端增强图片的用户角度，已为您排队，可在通知栏查看排队进度”。

当终端100请求增强拍摄图像的任务处于排队时，终端100可以保持与云服务器200的通信，并在后台监测排队进度，并可以在终端100的通知栏中显示排队进度。

示例性的，如图4D所示，终端100显示有拍摄界面320。终端100可以接收用户的输入操作，调出该拍摄界面320上方的状态栏311。终端100可以接收用户针对该状态栏311的输入操作(例如向下滑动)，响应于该输入操作，终端100可以显示如图4E所示的菜单窗口420和通知栏430。

如图4E所示，该菜单窗口420中可以显示有一些功能的开关控件(例如，无线局域网(WLAN)开关控件、蓝牙开关控件、手电筒开关控件、响铃开关控件、自动旋转开关控件、华为分享(Huawei Share)开关控件，等等)。该通知栏430可以显示有排队通知(例如，“借助云端增强图片效果的用户较多，当前正在排队”)，增强拍摄图片的排队时间提示432(例如，“预计等待时间1分钟”)和取消等待控件431。该取消等待控件431可用于触发终端100向云服务器200发送取消请求，该取消请求用于请求云服务器200取消对终端100的上传拍摄图像的增强。

当终端100借助云服务器200的处理能力完成对拍摄图像的增强后，终端100可以显示如图4F所示的完成提示433。该提示433可用于提示用户当前终端100已完成对拍摄图像的增强。终端100可以接收用户针对该提示433的输入操作(例如单击)，响应于该输入操作，终端100可以显示上述图3H所示的照片浏览界面350。针对照片浏览界面350的文字说明可以参考前述实施例，在此不再赘述。

本申请实施例通过提供的一种图像处理方法，可以实现终端100在“云增强模式”下，通过借助云服务器200的处理能力对终端100拍摄到的画面进行增强优化。可以使终端100能够突破终端自身成像质量极限，使得终端上的普通摄像头也能拍出专业单反设备的效果。

如图4G所示，图4G中的(a)示出了终端100借助云服务器200的处理能力增强之前的拍摄图像，图4G中的(b)示出了终端100借助云服务器200的处理能力增强拍摄图像后得到的图像。图4G中的(c)示出了上述图4G的(a)中拍摄图像的局部图，图4G中的(d)示出了上述图4G的(b)中增强后图像的局部图。对比图4G中(a)和(b)，图4G中的(c)和(d)，可以看出，终端100通过借助云服务器200的处理能力对拍摄图像增强之后，提升了图像整体和细节的清晰度，也提升了图像的对比度、动态范围、色彩等等。

在一些应用场景中，终端100本地可以保存有很多图片，这些图片可能是终端100拍摄的，或者其他设备发送过来的，或者是从网络上下载的。其中，部分图片由于拍摄设备本身拍摄能力的限制，无法呈现高质量的图像效果。因此，本申请实施例提供一种图像处理方法，终端100借助云服务器200的处理能力对图库中已存储的图像进行增强，这样，可以提升已拍摄完成的图像的图像效果，也方便用户在拍摄完图像后借助云服务器200的处理能力增强已拍摄图像的效果。

如图5A所示，终端100可以显示有主屏幕的界面510，该界面510中显示了一个放置有应用图标的页面，该页面包括多个应用图标(例如，天气应用图标、股票应用图标、计算器应用图标、设置应用图标、邮件应用图标、支付宝应用图标、脸书应用图标、浏览器应用图标、图库应用图标512、音乐应用图标、视频应用图标、微信应用图标等等)。多个应用图标下方还显示包括有页面指示符，以表明当前显示的页面与其他页面的位置关系。页面指示符的下方有多个托盘图标(例如拨号应用图标、信息应用图标、联系人应用图标、相机应用图标513)，该界面510的上方部分区域显示有状态栏511。其中，由于该界面510与上述图3A所示的界面310相同，因此，针对该界面510的详细的文字描述可以参考前述图3A所示实施例，在此不再赘述。

终端100可以接收用户作用于图库应用图标512的输入操作，响应于该输入操作，终端100可以显示如图5B所示的图库相册界面520。

如图5B所示，该图库相册界面520可以显示包括有一个或多个相册(例如，所有照片相册526、视频相册、相机相册、云增强相册527、微信相册、微博相册等等)。终端100可以在在该图库相册界面520的下方显示有图库菜单521。其中，该图库菜单521中包括有照片控件522、相册控件523、时刻控件524、发现控件525。其中，该照片控件522用于触发终端100以图片缩略图的形式显示本地所有的图片。该相册控件523用于触发终端100显示本地图片归属的相册。如图5B所示，当前相册控件523处于选中状态，终端100显示该图库相册界面520。该时刻控件524可用于触发终端100显示本地存储的精选图片。该发现控件525可用于触发终端100显示图片的分类相册。例如，终端100可以根据人物、地点、景点和商圈对图片进行自动分类。

终端100可以接收用户针对该发现控件525的输入操作(例如单击)，响应于该输入操作，终端100可以显示如图5C所示的图库发现界面530。

如图5C所示，该图库发现界面530中显示有人像分类531、地点分类532、景点和商圈分类533。其中，人像分类531中包括有一个或多个包含有人像内容的图片。地点分类532中包括有一个或多个地点相册(例如“厦门”相册、“上海”相册、“深圳”相册等等)。景点和商圈533中包括有一个或多个景点和商圈相册(例如，“上海·迪士尼”相册、“上海·外滩”相册、“北京·故宫”相册等等)。

终端100可以接收用户针对景点和商圈分类533的输入操作(例如单击)，响应于该输入操作，终端100可以显示如图5D所示的景点和商圈分类界面540。

如图5D所示，该景点和商圈分类界面540显示包括有一个或多个相册(例如，相册541、相册542、相册543、相册544等等)和云增强控件545。其中，每个相册下方都有该相册对应的景点或商圈名称以及该相册中的图片数量。例如，相册541对应的景点或商圈名称为“上海·迪士尼”，该相册541中有3张图片。相册542对应的景点或商圈名称为“上海·外滩”，该相册542中有2张图片。相册543对应的景点或商圈名称为“北京·故宫”，该相册543中有2张图片。该相册544对应的景点或商圈名称为“厦门·鼓浪屿”，相册544中有2张图片。以上示例仅仅用于解释本申请，不应构成限定。

终端100可以接收用户作用于云增强控件545的输入操作(例如单击)，响应于该输入操作，终端100可以显示如图5E所示的云增强界面550。

如图5E所示，该云增强界面550中显示包括有图片添加控件551和了解详情控件552。该图片添加控件551可用于触发终端100选择要借助云服务器200的处理能力进行增强的图片。该了解详情控件552可用于触发终端100显示云增强功能的效果以及相关信息。

终端100可以接收用户针对该了解详情控件552的输入操作(例如单击)，响应于该输入操作，终端100可以显示如图5F所示的云增强详情页560。

如图5F所示，该云增强详情页560中显示有云增强功能的效果对比图。例如，该云增强详情页560可以显示云增强处理之前的图片561以及该图片561的细节图562，和云增强处理之后的图片563以及该图片563的细节图564，和对比结果(例如“增强前细节模糊，增强后细节更清晰”)。其中，该云增强详情页560还可以显示有关于云增强功能的文字说明565(例如，“借助云端能力对照片进行增强处理，可以突显细节、提升清晰度和颜色表现，增强图片的质量”)。该云增强详情页560还可以显示有页面指示符566，该页面指示符566可用于表明当前效果对比图所在页面与其他效果对比图所在页面的位置关系。

终端100可以接收用户针对该云增强详情页560的输入操作(例如向左滑动)，响应于该输入操作，如图5G所示，终端100可以云增强详情页560中切换显示另一组效果对比图。

如图5G所示，终端100可以在云增强页560中显示云增强处理之前的图片571和云增强处理之后的图片572，和对比结果573(例如“增强后的图片的色彩更加丰富均衡，富有质感”)。

终端100在开启增强功能后，可以接收用户的操作，在图库应用中选择图片。终端100可以获取图片以及图片的环境信息(例如地理位置信息、天气信息、时间信息、拍摄参数、拍摄姿态信息等等)，上传给云服务器200，借助云服务器200的处理能力对用户选中的图片进行增强。

如图6A所示，终端100显示有云增强界面550。该云增强界面550中显示包括有图片添加控件551和了解详情控件552。其中，针对该云增强界面550的详细文字描述可以参考前述图5E所示实施例，在此不再赘述。终端100可以接收用户针对图片添加控件551的输入操作(例如单击)，响应于该操作，终端100可以显示如图6B所示的图片选择界面610。

如图6B所示，该图片选择界面610中显示包括有一个或多个的可以进行云增强的相册(例如，“上海·迪士尼”相册、“上海·外滩”相册611、“北京·故宫”相册、“厦门·鼓浪屿”相册等等)。其中，这些相册中的图片的环境信息齐全，可以通过借助云服务器200的处理能力进行增强。图片选择界面610中的每个相册上还可以显示有选择框(例如，“上海·外滩”相册611上显示的选择框612)，该选择框可用于选中该相册中的所有图片。每个相册的下方显示有相册中的图片数量。

终端100可以接收用户作用于该“上海·外滩”相册611的输入操作(例如单击)，响应该输入操作，终端100可以如图6C所示的相册界面620。

如图6C所示，该相册界面620的名称为“上海·外滩”。该相册界面620中显示包括有一张或多张环境信息齐全的图片的缩略图(例如缩略图621)和确定控件623。其中，该相册界面620的每张图片的缩略图上显示有选择框，该选择框可用于选中该图片。如图6C所示，用户已选中缩略图621对应的图片。

终端100可以在用户选中图片后，接收用户针对确定控件623的输入操作(例如单击)，响应于该输入操作，终端100可以返回显示如图6D所示的图片选择界面610，并在该图片选择界面610中显示选中的图片数量，以及确定控件613。

如图6D所示，终端100在该图片选择界面610上显示有已选中的图片数量614(例如“共选中1张图片”)和确定控件613。

终端100可以接收用户针对该确定控件613的输入操作(例如单击)，响应于该输入操作，终端100可以在如图6E所示的云增强界面550上显示出已选中图片的缩略图(例如缩略图631)和上传控件633。其中，已选中图片的缩略图下方显示有删除控件632，该删除控件632可用于触发终端100删除用户选中的图片。该上传控件633上可以显示有文字描述(例如“上传云端增强效果”)。该上传控件633可用于终端100将用户选中的图片以及图片的环境信息上传至云服务器200，借助云服务器200的处理能力增强用户选中图片的效果。

在一些实施例中，由于终端100借助云服务器200的处理能力对用户选中的图片进行增强时，需要先将用户选中的图片和该图片的环境信息发送给云服务器200。因此，在用户触发终端100开始上传已选中图片和该图片的环境信息时，终端100可以检测当前的网络状态，若网络状态断开，无法连接至云服务器200时，终端100可以输出上传失败提示，该上传失败提示可用于提示用户在连接网络后再上传。

示例性的，如图6E，终端100接收用户针对上传控件633的输入操作(例如单击)，响应于该输入操作，终端100可以先检测当前的网络状态。当前终端100若断网，无法连接至云服务器200，则终端100显示如图6F所示上传失败提示634。

如图6F所示，该上传失败提示634显示有文字提示“上传失败，通过云端增强图片效果，需要先联网，请联网后再上传图片至云端增强效果”。

终端100在显示上述上传失败提示后，可以接收用户的输入，连接上网络，与云服务器200进行通信。当终端100连接上网络后，可以再次接收用户针对上传控件633的输入操作，将用户选中的图片和该图片的环境信息发送给云服务器200。

示例性的，如图6F所示，终端100可以接收用户作用于状态栏511的输入操作(例如向下滑动)，响应于该输入操作，终端100可以显示如图6G所示的菜单窗口640。

如图6G所示，该菜单窗口420中可以显示有一些功能的开关控件(例如，无线局域网(WLAN)开关控件641、蓝牙开关控件、手电筒开关控件、响铃开关控件、自动旋转开关控件、华为分享(Huawei Share)开关控件，等等)。其中，当前无线局域网控件641处于关闭状态。

终端100可以接收用户针对该无线局域网控件641的输入操作(例如单击)，响应于该输入操作，终端100可以打开无线局域网开关，并连接可连接的Wi-Fi网络。如图6H所示，终端100在打开无线局域网开关后，连接上了Wi-Fi网络，并在该无线局域网控件641下方显示有连接Wi-Fi网络的名称(例如“HW-ZL”)，以及在状态栏511中显示Wi-Fi信号指示符642。该Wi-Fi信号指示符642，用于指示当前终端100网络状态正常，可以连接至云服务器200。

如图6I所示，终端100在网络连接之后，可以接收用户作用于云增强界面550中上传控件633的输入操作(例如单击)，响应于该输入操作，终端100可以将用户选中的图片以及图片的环境信息上传给云服务器200。

在一些实施例中，由于云服务器200可以处理多个终端上传的图片进行增强，云服务器200的对图片增强的任务过多时，云服务器200会对这些任务排队。当终端100请求图片增强任务需要排队时，终端100可以输出排队提示，并在后台保持与云服务器200的通信，监测排队进度。该图片增强任务。该排队提示可用于提示当前的图片增强任务正在排队，需要等待。

示例性的，如图6J所示，当终端100将已选中的图片和图片的环境信息发送给云服务器200后，终端100可以周期性从云服务器200上获取增强该已选中图片的处理进度。当云服务器200上增强图片的任务达到指定数量时，云服务器200可以让来自于终端100的任务请求进行排队，并周期性向终端100发送排队进度。终端100可以输出进度提示窗口650。其中，进度提示窗口650中显示有当前任务进度缓慢的原因(例如，“借助云端增强图片效果的用户较多，当前正在排队”)，等待时间651(例如，“共1张图，预计等待时间1分钟”)以及取消等待控件652。该取消等待控件652可用于触发终端100云服务器200发送取消请求，该取消请求用于请求云服务器200取消对终端100的上传图片的增强。

当云服务器200开始处理终端100的图片增强任务时，云服务器200可以向终端100发送开始处理响应，终端100接收到该开始处理响应后，可以显示正在处理提示，该正在处理提示可用于提示用户当前云服务器200正在处理图片增强任务。

示例性的，如图6K所示，终端100在云服务器200处理终端100的图片增强任务时，可以显示正在处理提示653。例如，该正在处理提示653可以是文字提示“云端正在处理，请等待，共1张图”等等。示例仅仅用于解释本申请，不应构成限定。

在一些实施例中，若终端100在上传已选中的图片和该图片的环境信息到云服务器200上后，若终端100断开连接与云服务器200断开了网络连接，终端100可以输出网络断开提示，该网络断开提示可用于提示用户当前网络已断开，需将连接上网络，以获取图片增强结果。

示例性的，如图6L所示，当终端100在上传已选中的图片和该图片的环境信息到云服务器200上后，终端100的网络断开，无法连接至云服务器200。终端100可以在状态栏511中显示网络断开标识符643，用于提示用户当前网络断开。终端100还可以显示网络断开提示654。例如，该网络断开提示654可以是文字提示“检测到您当前的网络已经断开，请重新连接网络，以获取云端增强后的图片”。示例仅仅用于解释本申请，不应构成限定。

如图6M所示，当终端100借助云服务器200的处理能力完成对用户选中图片的增强后，终端100可以在云增强界面550上显示增强成功提示窗口660。该增强成功提示窗口660可以显示包括有对已选中图片增强的效果描述661。例如该效果描述661对应的文字内容可以为“您选择的图片地点为‘上海·外滩’，已通过云端使图片中大楼的细节更突出、更清晰，提升图片动态范围以及画面色彩，尽显都市风貌！”。该增强成功提示窗口660中显示包括有增强后的图片对应的缩略图662、查看控件663、下载控件664，全部下载控件665。其中，该查看控件663可用于查看增强后的图片。下载控件664可用于将增强后的图片保存到终端100本地指定存储路径。该全部下载控件665可用于在增强后的图片有多张时，同时保存这多张增强后的图片到终端100本地指定存储路径。

终端100可以接收用户针对该查看控件663的输入操作(例如单击)，响应于该输入操作，终端100可以显示如图6N所示的图片浏览界面670。

如图6N所示，该图片浏览界面670中显示包括有增强后的图片671，标记672，下载控件673，效果对比控件674，图片相关信息675，菜单676。其中，该标记672用于提示用户该图片671已借助云服务器200的处理能力进行增强。该图片相关信息675可以包括有该图片671的拍摄时间、拍摄天气、地理位置信息等等。例如，拍摄时间可以为“2019年12月1日8：00AM”，拍摄天气可以为“多云”，拍摄地点可以为“上海·外滩”等等。该菜单676可以包括分享按钮、收藏按钮、编辑按钮、删除按钮、更多按钮。分享按钮可用于触发对该图片671的分享。该收藏按钮可用于触发收藏该图片671到图片收藏文件夹。编辑按钮可用于触发对图片671的旋转、修剪、增加滤镜、虚化等编辑功能。删除按钮可用于触发删除该图片671。更多按钮可用于触发打开更多与该图片671相关的功能。该效果对比控件674可用于触发在图片671的位置上显示该图片671增强前的图片(即用户选中的图片)。

终端100可以接收用户针对效果对比控件674的输入操作(例如单击)，响应于该输入操作，如图6O所示，终端100可以将用户选中的图片677显示在图片671的显示位置区域。

终端100可以再次接收用户针对效果对比控件674的输入操作(例如单击)，响应于该输入操作，如图6P所示，终端100可以显示增强后的图片671。

如图6P所示，终端100可以接收用户针对下载控件673的输入操作(例如单击)，响应于该输入操作，终端100可以将该增强后的图片671保存至到终端100本地指定存储路径，并在保存完成后显示保存完成提示678，该保存完成提示678用于提示用户已保存该增强后的图片671。

在一些实施例中，终端100在拍照后，可以将拍摄到的图片存到本地。用户可以在终端100的图库应用中查看终端100拍摄的图片以及从其他设备或网络上获取到的图片。终端100可以标记出图库应用中的待增强的图片、已增强过的图片、和增强后的图片。其中，当图片的环境信息(例如，地理位置信息、天气信息、时间信息、拍摄参数、拍摄姿态信息等等)齐全时，且未通过云服务器200增强过，则该图片可以归为上述待增强的图片。这样，可以方便用户快速选择出需要借助云服务器200的处理能力进行增强的图片，节约用户的时间。

示例性的，如图7A所示，终端100可以显示图库相册界面520。其中，该图库相册界面520可以显示包括有一个或多个相册(例如，所有照片相册526、视频相册、相机相册、云增强相册527、微信相册、微博相册等等)。针对该图库相册界面520的详细文字说明可以参考前述图5B所示实施例，在此不再赘述。

终端100可以接收用户作用于所有照片相册526的输入操作(例如单击)，响应于该输入操作，终端100可以显示如图7B所示的所有照片界面710。

如图7B所示，该所有照片界面710显示包括有一张或多张图片的缩略图。其中，终端100可以标记出该一张或多张图片中待增强的图片、已增强过的图片和增强后的图片。例如，缩略图711对应的图片已增强过，终端100借助云服务器200的处理能力对缩略图711对应的图片增强后得到缩略图713对应的图片。缩略图715对应的图片为待增强的图片。终端100可以在缩略图711上显示标记712，该标记712用于提示用户该缩略图711对应的图片已经借助云服务器200的处理能力增强过。终端100可以在缩略图713上显示标记714，该标记714用于提示用户该缩略图713对应的图片为借助云服务器200的处理能力增强后的图片。终端100可以在缩略图715上显示标记716，该标记716用于提示用户该缩略图715对应的图片等待借助云服务器200的处理能力进行增强。上述示例仅仅用于解释本申请，不应构成限定。

终端100可以接收用户作用于缩略图715的输入操作(例如单击)，响应于该输入操作，终端100可以显示如图7C所示的图片浏览界面720。由于缩略图715对应的图片等待借助云服务器200的处理能力进行增强，终端100可以在该图片浏览界面720中显示该缩略图715对应的图片以及云增强控件，该云增强控件用于触发终端100借助云服务器200的处理能力对该缩略图715对应的图片进行增强。

如图7C所示，由于缩略图715对应的图片等待借助云服务器200的处理能力进行增强，图片浏览界面720可以显示包括有该缩略图715对应的图片721，云增强控件722，该图片相关信息723，菜单724。该图片相关信息723可以包括有该图片721的拍摄时间、拍摄天气、地理位置信息等等。例如，拍摄时间可以为“2019年12月1日8：00AM”，拍摄天气可以为“多云”，拍摄地点可以为“上海·外滩”等等。该菜单724可以包括分享按钮、收藏按钮、编辑按钮、删除按钮、更多按钮。分享按钮可用于触发对该图片721的分享。该收藏按钮可用于触发收藏该图片721到图片收藏文件夹。编辑按钮可用于触发对图片721的旋转、修剪、增加滤镜、虚化等编辑功能。删除按钮可用于触发删除该图片721。更多按钮可用于触发打开更多与该图片721相关的功能。该效果对比控件722可用于触发终端100借助云服务器200的处理能力对该图片721进行增强。

终端100可以接收用户针对该云增强控件722的输入操作(例如单击)，响应于该输入操作，终端100可以显示如图7D所示的云增强界面730。

如图7D所示，该云增强界面730可以显示图片添加控件731、已选中图片的缩略图(例如缩略图732)、删除控件733、了解详情控件734、上传控件735。其中，由于云增强界面730的与上述图6E所示的云增强界面550相同，因此，针对该云增强界面730的详细文字描述可以参考前述图6E所示实施例，在此不再赘述。

终端100可以接收用户作用于上传控件735的输入操作，响应于该操作，终端100可以将用户选中的图片以及图片的环境信息上传至云服务器200，借助云服务器200的处理能力增强用户选中图片(即图7C中所示的图片721)的效果。

下面介绍本申请实施例中终端100如何借助云服务器200的处理能力对图片进行增强。

请参考图8，图8示出了本申请实施例提供的一种图像处理方法的流程示意图。如图8所示，该方法包括：

S801、终端100接收用户的第一输入。

S802、终端100响应于第一输入，获取第一图像以及第一图像的第一环境信息。

其中，第一环境信息可以包括地理位置信息、天气信息、季节信息、时间信息、拍摄姿态信息、拍摄参数等等中的一个或多个。其中，拍摄参数可以包括变焦倍数等等。拍摄姿态信息可以包括拍摄设备的拍摄镜头在拍摄图像时的朝向信息。例如，拍摄镜头的俯仰角以及方向角度等等，或者自然坐标下的三轴旋转角等等。

其中，在用户打开终端100的相机应用通过云增强模式进行拍照的场景中，该第一输入可以是上述图3E所示实施例中，用户在拍摄界面320中开启云增强模式后，针对拍摄控件322的输入操作(例如单击)。该第一图像可以是上述图3E中所示的摄像头捕捉的画面324(也即拍摄图像)。终端100可以从一个或多个传感器上以及网络上获取到该第一图像的第一环境信息。

示例性的，当地理位置信息为GPS位置信息时，终端100以通过GPS定位模块获取到拍摄图像的GPS位置信息。当地理位置信息为地理名称时，终端100可以通过GPS定位模块获取到拍摄图像的GPS位置信息后，可以通过离线地图或者网络在线地图，查询到该GPS位置信息对应的地理名称。终端100还可以从网络上，结合拍摄时间和地理位置信息获取到该拍摄图像的天气信息、以及季节信息等。终端100还可以通过陀螺仪和加速传感器等传感器，获取到该拍摄图像的拍摄姿态信息。该拍摄参数可以包括变焦倍率等等，终端100可以通过相机应用获取到用户设置的拍摄参数等等。

在用户打开终端100的图库应用选择图片进行增强的场景中，该第一输入可以是上述图6I所示实施例中，用户在云增强界面550中选择缩略图631对应的图片后，针对上传控件633的输入操作。或者，第一输入可以是上述图7D所示实施例中，用户在云增强界面730中选择缩略图732对应的图片后，针对上传控件735的输入操作。该第一图像可以为上述图6I所示实施例中缩略图631对应的图片或者上述图7D所示实施例中缩略图732对应的图片。

其中，由于拍摄设备(终端100或者其他设备)在拍摄完图片在保存时，可以将该图片的第一环境信息(例如，地理位置信息、天气信息、时间信息、季节信息、拍摄参数、拍摄姿态信息等等)保存至图片的可交换图像文件格式(exchange image file format，Exif)数据中。因此，当上述第一图像为用户选中终端100本地已保存的图片时，终端100可以从用户所选中图片对应的Exif数据中获取到该用户选中图片的第一环境信息。

在一种可能实现中，终端100可以在图库应用中标记出待增强的图片、已增强过的图片和增强后的图片。其中，当图片的第一环境信息齐全时，且未通过云服务器200增强过，则该图片可以归为上述待增强的图片。当图片已经被用户选中借助云服务器200的处理能力进行优化，并生成有对应的高质量图片时，该图片归为上述已增强过的图片。上述增强后的图片可以指用户选中的图片借助云服务器200的处理能力进行优化后生成的高质量图片。这样，可以方便用户快速选择出需要借助云服务器200的处理能力进行增强的图片，节约用户的时间。

S803、终端100发送第一图像以及第一图像的第一环境信息给云服务器200。

其中，在终端100获取到第一图像以及第一环境信息时，终端100可以检测当前的网络状态，若网络状态断开，无法连接至云服务器200时，终端100可以输出提示，以提示用户在连接网络后才能借助云服务器200对第一图像进行增强。具体内容就可以参考前述图4A所示实施例或图6F所示实施例，在此不再赘述。

S804、终端100根据第一环境信息，从图像处理模型库中确定与第一环境信息匹配的第一图像处理模型。

其中，由于在不同拍摄环境下，图像的成像效果以及风格会有不同，因此，可以对针对不同的拍摄环境训练出不同的图像处理模型。这样，可以针对特定的拍摄环境，使用特定的图像处理模型对图像进行优化，提升图像的质量。

该图像处理模型库中存储有训练好的多种拍摄环境对应的图像处理模型。该拍摄环境可以通过地理位置信息、天气信息、季节信息、时间信息等等中的一种或多种进行区分。

示例性的，例如，图像处理模型库中可以根据拍摄地点和拍摄天气，划分有多个图像处理模型。该图像处理模型库中存储的多种拍摄环境对应的图像处理模型可以如下表1所示：

表1

由上表1可以看出，拍摄地点为“上海·外滩”、拍摄天气为“晴天”的拍摄环境对应图像处理模型1。拍摄地点为“上海·外滩”、拍摄天气为“多云”的拍摄环境对应图像处理模型2。拍摄地点为“上海·外滩”、拍摄天气为“其他天气”的拍摄环境对应图像处理模型3。拍摄地点为“北京·故宫”、拍摄天气为“晴天”的拍摄环境对应图像处理模型4。拍摄地点为“北京·故宫”、拍摄天气为“雪天”的拍摄环境对应图像处理模型5。拍摄地点为“北京·故宫”、拍摄天气为“其他天气”的拍摄环境对应图像处理模型6，等等。上述表1所示示例仅仅用于解释本申请，不应构成限定。

例如，结合表1所示的图像处理模型库中包括的多种拍摄环境对应的图像处理模型，当第一图像的第一环境信息中的地理位置信息为“上海·外滩”，天气信息为“多云”时，云服务器200从图像处理模型库中确定出与第一环境信息的第一图像处理模型可以为“图像处理模型2”。示例仅仅用于解释本申请，不应构成限定。

S805、云服务器200将第一图像处理模型发送给终端100。

云服务器200在确定出第一环境信息匹配的第一图像处理模型后，可以将第一图像处理模型发送给终端100。

S806、终端100将根据第一图像处理模型对第一图像进行优化处理，得到第二图像。

其中，终端100在接收到云服务器200发送的第一图像处理模型后，终端100可以将第一图像输入到该第一图像处理模型中，经过第一图像处理模型处理，可以得到第二图像。该第二图像与第一图像相比，第二图像的细节清晰度、动态范围/对比度、噪声和色彩等有所提升。

S807、云服务器200根据第一图像以及第一环境信息，从高清图像库中检索出第一高清图像。其中，第一高清图像的第二环境信息与第一图像的第一环境信息之间的相似度在第一预设范围内，第一高清图像中的拍摄内容与所述第一图像中的拍摄内容之间的相似度在第二预设范围内。

其中，该高清图像库中存储有多张高清图像以及高清图像的第二环境信息。云服务器200在接收到终端100发送的第一图像和第一环境信息后，云服务器200可以根据第一环境信息从高清图像库中先选择出第二环境信息与第一环境信息的相似度在第一预设范围的高清图像。然后，云服务器200可以将第一图像与该拍摄环境相似的高清图像进行对比，从该拍摄环境相似的高清图像中筛选出与第一图像中拍摄内容的相似度在第二预设范围内的第一高清图像。

示例性的，高清图像库中存储的高清图像以及高清图像的第二环境信息可以如图下表2所示：

表2

由上表2可以看出，高清图像库中高清图像1的拍摄地点为“上海·外滩”，天气为“晴”，拍摄时间为“下午”。高清图像2的拍摄地点为“上海·外滩”，天气为“多云”，拍摄时间为“早上”。高清图像3的拍摄地点为“上海·外滩”，天气为“多云”，拍摄时间为“早上”。高清图像4的拍摄地点为“上海·外滩”，天气为“多云”，拍摄时间为“晚上”。高清图像5的拍摄地点为“北京·故宫”，天气为“晴”，拍摄时间为“早上”。高清图像6的拍摄地点为“北京·故宫”，天气为“小雨”，拍摄时间为“下午”。等等。上述表2所示示例仅仅用于解释申请，不应构成限定。

例如，第一图像的第一环境信息中拍摄地点可以为“上海·外滩”，天气可以为“多云”，拍摄时间可以为“早上”。由于上述表2中所示，高清图像2的拍摄地点为“上海·外滩”，天气为“多云”，拍摄时间为“早上”。高清图像3的拍摄地点为“上海·外滩”，天气为“多云”，拍摄时间为“早上”。因此，云服务器200可以确定出与第一图像拍摄环境相同的高清图像有高清图像2和高清图像3。然后，云服务器200可以从高清图像2和高清图像3中筛选出拍摄内容与第一图像中拍摄内容的相似度在预设范围内的第一高清图像。例如，高清图像2中的拍摄内容与第一图像中的拍摄内容相似度为90％，高清图像3中的拍摄内容与第一图像中的拍摄内容相似度为40％，预设范围为80％，因此，云服务器200可以将该高清图像3确定为第一高清图像。上述示例仅仅用于解释申请，不应构成限定。

S808、云服务器200根据第一图像对所述第一高清图像进行图像配准，得到第二高清图像。

其中，云服务器200可以提取第一图像和第一高清图像中匹配的特征点，然后，通过匹配特征点对，得到图像空间坐标变换参数。然后，云服务器200可以根据该图像空间坐标变换参数进行图像配准。

S809、云服务器200可以将第二高清图片发送给终端100。

S810、终端100可以将第二图像与第二高清图像进行图像融合，得到第三图像。

终端100在接收到云服务器200发送的第二高清图像后，可以通过图像融合算法对比第二图像和第二高清图像中的特征信息，并将第二高清图像中的具有一定优势的特征信息融合到第二图像上，得到第三图像(即对第一图像增强后的图像)。例如，可以将第二高清图像中清晰度高的细节、色彩丰富的特征点等等融合到第二图像中，以得到第三图像。这样，可以提升图像的细节清晰度、色彩、白平衡等等。

在一种可能的实现方式中，云服务器200中可以包括有3D世界模型和渲染引擎。云服务器200在接收到终端100发送的第一图像和第一环境信息后，可以根据第一环境信息从3D世界模型中确定出第一图像的拍摄环境，并通过渲染引擎，渲染3D世界模型中与第一图像的拍摄环境相同的高清图像，并将该渲染出的高清图像作为上述第一高清图像，用于后续的图像配准以及图像配准后的图像融合。在另一种可能的实现方式中，云服务器200还可以预先渲染出3D世界模型中每个地理区域中每个拍摄角度的高清图像，当云服务器200接收到终端100发送的第一图像和第一环境信息后，云服务器200可以根据该第一环境信息，从渲染出的多张高清图像中查找到与第一图像拍摄角度一致的高清图像，并将其确定为上述第一高清图像，用于后续的图像配准以及图像配准后的图像融合。

在一些实施例中，在云服务器200根据第一图像的第一环境信息从图像处理模型库中确定出第一图像处理模型后，云服务器200可以不用将第一图像处理模型发送给终端100，而是直接根据第一图片处理模型对高清图像进行优化处理，得到第二图像。在云服务器200根据第一图像以及第一环境信息从高清图像库中检索出第一高清图像，并对第一高清图像进行图像配准，得到第二高清图像后，不用发送第二高清图像给终端100。云服务器200可以将第二图像与第二高清图像进行图像融合，得到第三图像(即对第一图像增强后的图像)后，再将该第三图像发送给终端100。这样，可以极大节约终端100的计算资源，使终端100能够突破终端自身成像质量极限，使得终端上的普通摄像头也能拍出专业单反设备的效果。

在一些实施例中，终端100可以在响应用户的第一输入后，只将第一图像的第一环境信息发送给云服务器200。云服务器200在接收到终端100发送的第一环境信息后，可以从图像处理模型库中确定出与第一环境信息匹配的第一图像处理模型，并将第一图像处理模型发送给终端100。终端100在接收到第一图像处理模型后，可以通过第一图像处理模型对第一图像进行优化处理得到第二图像，作为增强后的图像保存至本地。

在一些实施例中，终端100可以响应用户的第一输入，将第一图像以及第一图像的第一环境信息发送给云服务器200。云服务器200在接收到终端100发送的第一图像以及第一环境信息后，可以从图像处理模型库中确定出与第一环境信息匹配的第一图像处理模型，并通过第一图像处理模型对第一图像进行优化处理，得到第二图像。云服务器200可以将该第二图像发送给终端100，作为增强后的图像保存至终端100本地。

在一些实施例中，终端100可以在响应用户的第一输入后，将第一图像以及第一图像的第一环境信息发送给云服务器200。云服务器200可以根据第一环境信息从高清图像库中检索出与第一高清图像，并将根据第一图像对第一高清图像进行图像配准，得到第二高清图像。云服务200可以将第二高清图像发送至终端100上，由终端100将第二高清和第一图像进行图像融合，得到增强后的图像保存至终端100的本地。在一种可能的实现方式中，云服务器200还可以在得到第二高清图像后，直接与第一图像进行图像融合，并将图像融合后的图像发送给终端100。

通过本申请实施例提供一种图像处理方法，可以结合终端和云服务器的处理能力，充分利用高质量图像数据和图像处理算法，赋能终端拍照成像系统。云服务器可以通过终端上传的图像以及图像的环境信息(例如地理位置信息、天气信息、季节信息、时间信息、拍摄参数、拍摄姿态信息等等)，匹配出适合该图像的图像处理算法以及与该图像拍摄内容相同，拍摄环境相近的高质量图像数据。通过该图像处理算法以及该高质量图像数据，可以增强终端上传图像的质量和效果。这样，可以让不同环境下拍摄的图片，呈现出不同的风格和效果。这样也使终端能够突破终端自身成像质量极限，使得终端上的普通摄像头也能拍出专业单反设备的效果，从而在降低手机成本的同时，极大的提升终端的拍照质量和用户拍照体验。

下面介绍本申请涉及的一种图像处理系统900。

请参考图9，图9示出了本申请实施例中提供的一种图像处理系统900的架构示意图。如图9所示，该图像处理系统900可以包括终端100和云服务器200。

其中，该终端100可以包括摄像头911、图像信号处理器912、同源处理模块913、异源融合模块914。

该摄像头911可用于在用户拍照时，捕获光信号，并将光信号转换为电信号，发送给图像信号处理器912。

该图像信号处理器912可以将摄像头911发送的电信号转换成数字图像信号，也称为第一图像，其中，该第一图像的格式可以是Raw图，YUV图或RGB图等等。该图像信号处理器912还可以从终端100的一个或多个传感器(图中未示出)以及终端100连接的网络上获取到该第一图像的第一环境信息(包括地理位置信息、天气信息、季节信息、时间信息、拍摄参数、拍摄姿态信息等等中的一种或多种)。

该同源处理模块913，可用于根据云服务器200发送的第一图像处理模型对图像处理器912生成的第一图像进行优化处理，得到第二图像。

该异源融合模块914，可用于将同源处理模块913处理得到的第二图像以及云服务器200发送的第二高清图像进行图像融合，得到第三图像。

其中，该云服务器200可以包括图像处理模型库921、模型选择模块922、高清图像库923、图像检索模块924、图像配准模块925。

该图像处理模型库921，可用于存储有根据拍摄环境划分的多个图像处理模型。

该模型选择模块922，可用于根据终端100发送的第一环境信息中的数据1，从图像处理模型库921中确定出与数据1匹配的第一图像处理模型。其中，数据1可以为第一环境信息中的全部或部分信息。例如，当第一环境信息包括有地理位置信息、天气信息、季节信息、时间信息、拍摄参数和拍摄姿态信息时，数据1可以包括有地理位置信息和天气信息。

该高清图像库923，可用于存储多张高清图像以及高清图像的第二环境信息。

该图像检索模块924，可用于根据第一图像和第一环境信息中的数据2，从该高清图像库923中检索出第一高清图像。其中，第一高清图像的拍摄环境与第一图像的拍摄环境相似度在第一预设范围内，第一高清图像中的拍摄内容与所述第一图像中的拍摄内容之间的相似度在第二预设范围内。其中，数据2可以为第一环境信息中的全部或部分信息。例如，当第一环境信息包括有地理位置信息、天气信息、季节信息、时间信息、拍摄参数和拍摄姿态信息时，数据2可以包括有地理位置信息、季节信息、时间信息和拍摄姿态信息。

该图像配准模块925，可用于根据第一图像对所述第一高清图像进行图像配准，得到第二高清图像。云服务器200可以将该第二高清图像发送给终端100。

通过本申请实施例提供一种图像处理系统900，可以结合终端和云服务器的处理能力，充分利用高质量图像数据和图像处理算法，赋能终端拍照成像系统。云服务器可以通过终端上传的图像以及图像的环境信息(例如地理位置信息、天气信息、时间信息、拍摄参数、拍摄姿态信息等等)，匹配出适合该图像的图像处理算法以及与该图像拍摄内容相同，拍摄环境相近的高质量图像数据。通过该图像处理算法以及该高质量图像数据，可以增强终端上传图像的质量和效果。这样，可以让不同环境下拍摄的图片，呈现出不同的风格和效果。这样也使终端能够突破终端自身成像质量极限，使得终端上的普通摄像头也能拍出专业单反设备的效果，从而在降低手机成本的同时，极大的提升终端的拍照质量和用户拍照体验。

下面介绍本申请涉及的一种图像处理系统1000。

请参考图10，图10示出了本申请实施例中提供的一种图像处理系统1000的架构示意图。如图10所示，该图像处理系统1000可以包括终端100和云服务器200。

其中，该终端100可以包括摄像头1011、图像信号处理器1012、同源处理模块1013、异源融合模块1014。

该摄像头1011可用于在用户拍照时，捕获光信号，并将光信号转换为电信号，发送给图像信号处理器1012。

该图像信号处理器1012可以将摄像头1011发送的电信号转换成数字图像信号，也称为第一图像，其中，该第一图像的格式可以是Raw图，YUV图或RGB图等等。该图像信号处理器1012还可以从终端100的一个或多个传感器(图中未示出)以及终端100连接的网络上获取到该第一图像的第一环境信息(包括地理位置信息、天气信息、季节信息、时间信息、拍摄参数、拍摄姿态信息等等中的一种或多种)。

该同源处理模块1013，可用于根据云服务器200发送的第一图像处理模型对图像处理器1012生成的第一图像进行优化处理，得到第二图像。

该异源融合模块1014，可用于将同源处理模块1013处理得到的第二图像以及云服务器200发送的第二高清图像进行图像融合，得到第三图像。

其中，该云服务器200可以包括图像处理模型库1021、模型选择模块1022、3D世界模型1023、渲染引擎1024、图像配准模块1025。

该图像处理模型库1021，可用于存储有根据拍摄环境划分的多个图像处理模型。

该模型选择模块1022，可用于根据终端100发送的第一环境信息的数据1，从图像处理模型库1021中确定出与数据1匹配的第一图像处理模型。其中，数据1可以为第一环境信息中的全部或部分信息。例如，当第一环境信息包括有地理位置信息、天气信息、季节信息、时间信息、拍摄参数和拍摄姿态信息时，数据1可以包括有地理位置信息和天气信息。

该3D世界模型1023，包括有现实世界的3D地图信息。

该渲染引擎1024，可用于根据第一图像的第一环境信息中的数据2，从该3D世界模型1023中渲染出第一高清图像。其中，第一高清图像中的拍摄内容与所述第一图像中的拍摄内容之间的相似度在预设范围内，且第一高清图像的拍摄环境与第一图像的拍摄环境相同。其中，数据2可以为第一环境信息中的全部或部分信息。例如，当第一环境信息包括有地理位置信息、天气信息、季节信息、时间信息、拍摄参数和拍摄姿态信息时，数据2可以包括有地理位置信息、季节信息、时间信息和拍摄姿态信息。

该图像配准模块1025，可用于根据第一图像对所述第一高清图像进行图像配准，得到第二高清图像。云服务器200可以将该第二高清图像发送给终端100。

通过本申请实施例提供一种图像处理系统1000，可以结合终端和云服务器的处理能力，充分利用高质量图像数据和图像处理算法，赋能终端拍照成像系统。云服务器可以通过终端上传的图像以及图像的环境信息(例如地理位置信息、天气信息、时间信息、拍摄参数、拍摄姿态信息等等)，匹配出适合该图像的图像处理算法以及与该图像拍摄内容相同，拍摄环境相近的高质量图像数据。通过该图像处理算法以及该高质量图像数据，可以增强终端上传图像的质量和效果。这样，可以让不同环境下拍摄的图片，呈现出不同的风格和效果。这样也使终端能够突破终端自身成像质量极限，使得终端上的普通摄像头也能拍出专业单反设备的效果，从而在降低手机成本的同时，极大的提升终端的拍照质量和用户拍照体验。

下面介绍本申请涉及的一种图像处理系统1100。

请参考图11，图11示出了本申请实施例中提供的一种图像处理系统1100的架构示意图。如图11所示，该图像处理系统1100可以包括终端100和云服务器200。

其中，该终端100可以包括摄像头1111、图像信号处理器1112。

该摄像头1111可用于在用户拍照时，捕获光信号，并将光信号转换为电信号，发送给图像信号处理器1112。

该图像信号处理器1112可以将摄像头1111发送的电信号转换成数字图像信号，也称为第一图像，其中，该第一图像的格式可以是Raw图，YUV图或RGB图等等。该图像信号处理器1112还可以从终端100的一个或多个传感器(图中未示出)以及终端100连接的网络上获取到该第一图像的第一环境信息(包括地理位置信息、天气信息、季节信息、时间信息、拍摄参数、拍摄姿态信息等等中的一种或多种)。

其中，该云服务器200可以包括图像处理模型库1121、模型选择模块1122、高清图像库1123、图像检索模块1124、图像配准模块1125、同源处理模块1126、异源融合模块1127。

该图像处理模型库1121，可用于存储有根据拍摄环境划分的多个图像处理模型。

该模型选择模块1122，可用于根据终端100发送的第一环境信息中的数据1，从图像处理模型库1121中确定出与数据1匹配的第一图像处理模型。其中，数据1可以为第一环境信息中的全部或部分信息。例如，当第一环境信息包括有地理位置信息、天气信息、季节信息、时间信息、拍摄参数和拍摄姿态信息时，数据1可以包括有地理位置信息和天气信息。

该高清图像库1123，可用于存储多张高清图像以及高清图像的第二环境信息。

该图像检索模块1124，可用于根据第一图像和第一图像的第一环境信息中的数据2，从该高清图像库1123中检索出第一高清图像。其中，第一高清图像的拍摄环境与第一图像的拍摄环境的相似度在第一预设范围内，且第一高清图像中的拍摄内容与所述第一图像中的拍摄内容之间的相似度在预设范围内。其中，数据2可以为第一环境信息中的全部或部分信息。例如，当第一环境信息包括有地理位置信息、天气信息、季节信息、时间信息、拍摄参数和拍摄姿态信息时，数据2可以包括有地理位置信息、季节信息、时间信息和拍摄姿态信息。

该图像配准模块1125，可用于根据第一图像对所述第一高清图像进行图像配准，得到第二高清图像。

该同源处理模块1126，可用于根据模型选择模块1122选择出的第一图像处理模型对终端100发送的第一图像进行优化处理，得到第二图像。

该异源融合模块1127，可用于将同源处理模块1126处理得到的第二图像以及第二高清图像进行图像融合，得到第三图像。云服务器200可以将该第三图像发送给终端100。

通过本申请实施例提供一种图像处理系统1100，可以结合终端和云服务器的处理能力，充分利用高质量图像数据和图像处理算法，赋能终端拍照成像系统。云服务器可以通过终端上传的图像以及图像的环境信息(例如地理位置信息、天气信息、时间信息、拍摄参数、拍摄姿态信息等等)，匹配出适合该图像的图像处理算法以及与该图像拍摄内容相同，拍摄环境相近的高质量图像数据。通过该图像处理算法以及该高质量图像数据，可以增强终端上传图像的质量和效果。这样，可以让不同环境下拍摄的图片，呈现出不同的风格和效果。这样也使终端能够突破终端自身成像质量极限，使得终端上的普通摄像头也能拍出专业单反设备的效果，从而在降低手机成本的同时，极大的提升终端的拍照质量和用户拍照体验。

下面介绍本申请涉及的一种图像处理系统1200。

请参考图12，图12示出了本申请实施例中提供的一种图像处理系统1200的架构示意图。如图12所示，该图像处理系统1200可以包括终端100和云服务器200。

其中，该终端100可以包括摄像头1211、图像信号处理器1212。

该摄像头1211可用于在用户拍照时，捕获光信号，并将光信号转换为电信号，发送给图像信号处理器1212。

该图像信号处理器1212可以将摄像头1211发送的电信号转换成数字图像信号，也称为第一图像，其中，该第一图像的格式可以是Raw图，YUV图或RGB图等等。该图像信号处理器1212还可以从终端100的一个或多个传感器(图中未示出)以及终端100连接的网络上获取到该第一图像的第一环境信息(包括地理位置信息、天气信息、季节信息、时间信息、拍摄参数、拍摄姿态信息等等中的一种或多种)。

其中，该云服务器200可以包括图像处理模型库1221、模型选择模块1222、3D世界模型1223、渲染引擎1224、图像配准模块1225、同源处理模块1226、异源融合模块1227。

该图像处理模型库1221，可用于存储有根据拍摄环境划分的多个图像处理模型。

该模型选择模块1222，可用于根据终端100发送的第一环境信息中的数据1，从图像处理模型库1221中确定出与第一环境信息中的数据1匹配的第一图像处理模型。其中，数据1可以为第一环境信息中的全部或部分信息。例如，当第一环境信息包括有地理位置信息、天气信息、季节信息、时间信息、拍摄参数和拍摄姿态信息时，数据1可以包括有地理位置信息和天气信息。

该3D世界模型1223，包括有现实世界的3D地图信息。

该渲染引擎1224，可用于根据第一图像的第一环境信息的数据2，从该3D世界模型1223中渲染出第一高清图像。其中，第一高清图像中的拍摄内容与所述第一图像中的拍摄内容之间的相似度在预设范围内，且第一高清图像的拍摄环境与第一图像的拍摄环境相同。其中，数据2可以为第一环境信息中的全部或部分信息。例如，当第一环境信息包括有地理位置信息、天气信息、季节信息、时间信息、拍摄参数和拍摄姿态信息时，数据2可以包括有地理位置信息、季节信息、时间信息和拍摄姿态信息。

该图像配准模块1225，可用于根据第一图像对所述第一高清图像进行图像配准，得到第二高清图像。

该同源处理模块1226，可用于根据模型选择模块1222选择出的第一图像处理模型对终端100发送的第一图像进行优化处理，得到第二图像。

该异源融合模块1227，可用于将同源处理模块1226处理得到的第二图像以及第二高清图像进行图像融合，得到第三图像。云服务器200可以将该第三图像发送给终端100。

通过本申请实施例提供一种图像处理系统1200，可以结合终端和云服务器的处理能力，充分利用高质量图像数据和图像处理算法，赋能终端拍照成像系统。云服务器可以通过终端上传的图像以及图像的环境信息(例如地理位置信息、天气信息、时间信息、拍摄参数、拍摄姿态信息等等)，匹配出适合该图像的图像处理算法以及与该图像拍摄内容相同，拍摄环境相近的高质量图像数据。通过该图像处理算法以及该高质量图像数据，可以增强终端上传图像的质量和效果。这样，可以让不同环境下拍摄的图片，呈现出不同的风格和效果。这样也使终端能够突破终端自身成像质量极限，使得终端上的普通摄像头也能拍出专业单反设备的效果，从而在降低手机成本的同时，极大的提升终端的拍照质量和用户拍照体验。

下面介绍本申请实施例中涉及数据构建系统。

请参考图13，图13示出了本申请实施例中提供的一种数据构建系统1300的架构示意图。如图13所示，该数据构建系统1300可以包括数据质量评估模块1301、高清图像库1302、待增强的图像数据库1303、图像检索模块1304、图像配准模块1305、图像配对模块1306、验证模块1307、图像处理模型库1308。

其中，专业摄影师或者摄影爱好者可以上传图像及其环境信息到数据质量评估模块1301。

该数据质量评估模块1301可用于评估专业摄影师或者摄影爱好者上传图像的图像质量，去除掉其中低质量的图像，例如，低清晰度或环境信息不齐全的图像，筛选出高清图像及其环境信息上传到高清图像库1302中。

该待增强的图像数据库1303中可以存储有多张待增强的图像及其环境信息。

图像检索模块1304可用于从待增强的图像数据库1303取出待增强的图像及其环境信息，并从高清图像数据1302中检索出与该待增强的图像环境信息相同，拍摄内容相近的高清图像。

图像检索模块1305，可用于根据待增强的图像对高清图像进行图像配准，得到高清训练图。

图像配对模块1306，可用于将该待增强的图像和高清训练图绑定为训练图像对。

验证模块1307，可用于过滤掉对准度偏差较大的图像对，并将对准度偏差较小的图像对，按照环境信息，分类相应的训练集类别对图像处理模型库1308中的图像处理模型进行训练。

通过本申请实施例提供一种数据构建系统1300，可以实现对云服务器200中的图像处理模型库的优化和更新，提高了图像处理模型的训练效率。

下面介绍本申请实施例涉及的云服务器200的结构示意图。请参阅图14，图14是本申请实施例提供的一种云服务器200的结构示意图。该云服务器200应用于上述图9所描述的图像处理系统900或上述图10所描述的图像处理系统1000或上述图11所描述的图像处理系统1100或上述图12所描述的图像处理系统1200。

如图14所示，该云服务器200包括一个或多个处理器201A、通信接口202A、存储器203A，处理器201A、通信接口202A、存储器203A可通过总线或者其它方式连接，本申请实施例以通过总线204A连接为例。其中：

处理器201A可以由一个或者多个通用处理器构成，例如CPU。处理器201A可用于运行设备控制方法的相关的程序代码。

通信接口202A可以为有线接口(例如以太网接口)或无线接口(例如蜂窝网络接口或使用无线局域网接口)，用于与其他节点进行通信。本申请实施例中，通信接口202A具体可用于与电子设备100进行通信。

存储器203A可以包括易失性存储器(volatile memory)，例如RAM；存储器也可以包括非易失性存储器(non-vlatile memory)，例如ROM、快闪存储器(flash memory)、HDD或固态硬盘SSD；存储器203A还可以包括上述种类的存储器的组合。存储器203A可用于存储一组程序代码，以便于处理器201A调用存储器203A中存储的程序代码以实现本申请实施例的在服务器的实现方法。

需要说明的，图14所示的服务器仅仅是本申请实施例的一种实现方式，实际应用中，服务器还可以包括更多或更少的部件，这里不作限制。

下面结合图15至图17对本申请实施例的图像处理方法进行示例性说明。

请参照图15所示，为本申请实施例提供的图像处理方法的一种示意性流程图，在该实施例中，终端100将图像A和图像A的拍摄信息发送给云服务器200，云服务器200从高清图像库中确定参考图像1，该参考图像1不仅拍摄信息与图像A的拍摄信息相似，拍摄内容也与图像A的拍摄内容一致。云服务器200根据参考图像1对图像A进行细节恢复处理，得到图像C，并向终端100返回该图像C。如图15所示，该图像处理方法包括但不限于以下步骤：

S1501，终端100检测拍照指令。

其中，为了便于终端100获取拍摄的图像A的拍摄信息，可以打开该终端100的GPS，以及将终端100连接网络。

可选的，终端100可安装用于上传图像A和图像A的拍摄信息的应用程序(application，APP)。可选的，该应用程序可以包括但不限于拍照应用、修图应用等等。终端100上的该应用程序还可以登陆账号。

用户可以通过触屏操作发起拍照指令，或者，用户也可以通过按键发起拍照指令。终端100检测拍照指令，并拍摄图像A。终端100还可以通过GPS获取该图像A的拍摄地理位置信息。可选的，终端100还可以通过网络获取该拍摄地理位置信息的天气状况信息，作为该图像A的拍摄天气状况信息。可选的，终端100还可以获取该图像A的拍摄倍率。

S1502，终端100拍摄图像A。

其中，由于成像设备的限制，在高倍率拍摄时，该图像A的分辨率比较低，细节比较模糊。

S1503，终端100将图像A和图像A的拍摄信息发送给云服务器。

在一些实施例中，终端100可以通过拍照应用或者修图应用将图像A和图像A的拍摄信息发送给云服务器，该云服务器与该拍照应用或者修图应用对应。

其中，该云服务器中可以配置高清图像库，该高清图像库中存储多个高清图像、该多个高清图像中每个高清图像的拍摄信息以及该多个高清图像中每个高清图像对应的第一特征和第二特征。其中，第一特征可以是通过检索网络提取的，第二特征可以是通过重排序网络提取的，该重排序网络可以是比检索网络更复杂的特征提取网络，因此通过重排序网络提取的第二特征比通过检索网络提取的第一特征更加精细，即第二特征可以表达图像的更多细节特征。在本申请实施例中，可以通过检索网络提取的第一特征作一个粗略的快速检索，而进一步通过重排序网络提取的第二特征作一个更加精确的检索，以确定拍摄内容最相似的参考图像1，具体请参照后续实施例的描述，暂不赘述。

示例性的，基于多个地理区域，分别利用高清拍照设备采集多个高清图像，从而将所采集的多个高清图像构成高清图像库。地理区域可以是以大的地理区域进行划分，例如，可以将深圳、广州、重庆等作为大的地理区域。

采用检索网络分别提取该多个高清图像中每个高清图像对应的第一特征，例如，可以将该多个高清图像中的每个高清图像分别输入该检索网络，从而分别得到每个高清图像对应的第一特征。

采用重排序网络分别提取该多个高清图像中每个高清图像对应的第二特征，例如，可以将该多个高清图像中的每个高清图像分别输入该重排序网络，从而分别得到每个高清图像对应的第二特征。

根据每个高清图像的拍摄信息(拍摄信息包括但不限于拍摄地理位置信息、拍摄天气状况信息以及拍摄倍率等等)，对该多个高清图像和该多个高清图像分别对应的第一特征和第二特征进行分类存储。其中，拍摄天气状况信息可以包括拍摄该高清图像时是晴天、阴天、雾天或者雨天等等。

其中，为了便于检索，可以根据拍摄各个高清图像的地理区域，将该多个高清图像分为多个大类别，例如，将地理区域属于深圳的所有高清图像划分在一个大类别中，将地理区域属于广州的所有高清图像划分在另一个大类别中，等等。可以理解的是，地理区域的划分还可以是其他，例如，可以根据景点名称划分，本申请实施例不作限定。

按照各个高清图像的拍摄信息，将属于同一个地理区域的所有高清图像进一步分类。例如，可以将拍摄倍率相同或者相近的、GPS信息相同或者相近的以及拍摄时的天气状况信息相同的多个高清图片归为同一个类别。当然，在划分类别时，可以根据实际情况选择参考的拍摄信息，例如，可以将拍摄倍率相同或者相近的、GPS信息相同或者相近的多个高清图片归为同一个类别，而不关注拍摄时的天气状况信息，本申请实施例对此不作限定。

其中，上述拍摄倍率相同或者相近的可以是指，拍摄倍率之差的绝对值小于或者等于设置的倍率阈值。上述GPS信息相同或者相近可以是指，GPS信息所指示的地理位置之间的距离可以小于或者等于设置的距离阈值。

可以理解的是，本申请实施例的GPS信息均是指拍摄图像时，拍照设备(比如终端100或者多个地理区域部署的高清拍照设备)所处地理位置的GPS信息。

云服务器在分类存储各个高清图像时，可以将该高清图像对应的第一特征和第二特征一并存储，便于后续检索使用。需要说明的是，本申请实施例中，高清图像库中存储的高清图像的分辨率大于终端100拍摄的图像A的分辨率。

S1504，云服务器200根据图像A的拍摄信息，确定至少一个图像B。

在一些实施例中，云服务器200接收终端100发送的图像A和该图像A的拍摄信息，并根据图像A的拍摄信息，从高清图像库中确定至少一个图像B。该至少一个图像B中每个图像B的拍摄信息与图像A的拍摄信息之间的匹配度大于第一阈值。

其中，拍摄信息可以包括以下信息中的一种或者多种：拍摄倍率、拍摄地理位置信息或拍摄天气状况信息等。

可选的，在拍摄信息包括拍摄地理位置信息时，该至少一个图像B中每个图像B的拍摄地理位置信息与图像A的拍摄地理位置信息之间的匹配度大于第一阈值，例如，拍摄该图像B的地理位置与拍摄该图像A的地理位置之间的距离小于或者等于距离阈值。通过地理位置信息的匹配，可以保证后续检索得到的与图像A的拍摄内容最相似的参考图像1与图像A的拍摄角度的一致性。

可选的，在拍摄信息包括拍摄倍率时，该至少一个图像B中每个图像B的拍摄倍率与图像A的拍摄倍率之间的匹配度大于第一阈值，例如，拍摄该图像B的拍摄倍率与拍摄该图像A的拍摄倍率之差的绝对值小于或者等于倍率阈值。通过拍摄倍率的匹配，可以保证图像A和该至少一个图像B的放大倍率相差不大，相应的，也能保证后续检索得到的与图像A的拍摄内容最相似的参考图像1与图像A的放大倍率的一致性。

可选的，在拍摄信息包括拍摄天气状况信息时，该至少一个图像B中每个图像B的拍摄天气状况信息与图像A的拍摄天气状况信息之间的匹配度大于第一阈值，例如，都是晴天拍摄的，或者都是雨天拍摄的，或者都是雾天拍摄的。通过天气状况信息的匹配，可以保证图像A和该至少一个图像B的透明度的一致性，相应的，也能保证后续检索得到的与图像A的拍摄内容最相似的参考图像1与图像A的透明度的一致性。

可选的，高清图像库中的高清图像可以是根据拍摄信息进行分类存储的，具体请参照前述实施例的描述，在此不再赘述。云服务器200在根据图像A的拍摄信息，确定至少一个图像B时，可以根据图像A的拍摄信息，确定相应的类别，从而从该确定的类别中获取该至少一个图像B。

例如，图像A的拍摄信息包括拍摄地理位置信息，则根据拍摄地理位置信息，确定该拍摄地理位置信息所属地理区域，再从属于该地理区域的高清图像中，确定拍摄信息高度匹配的至少一个图像B。其中，属于该地理区域的高清图像也可以是根据拍摄信息进行分类存储的，比如，将拍摄倍率相同或者相近的、GPS信息相同或者相近的以及拍摄时的天气状况信息相同的多个高清图片归为同一个类别，并将该拍摄倍率、GPS信息以及天气状况信息作为分类标签，云服务器200在确定至少一个图像B时，可以根据图像A的拍摄信息与各个分类标签之间的匹配，确定对应的类别，从而从该类别中确定该至少一个图像B，以及获取所存储的该至少一个图像B中每个图像B对应的第一特征和第二特征。

S1505，云服务器200从该至少一个图像B中确定拍摄内容与图像A的拍摄内容最相似的参考图像1。

在一些实施例中，云服务器200可以通过检索网络提取该图像A对应的第一特征，并分别计算该图像A对应的第一特征与该至少一个图像B中每个图像B对应的第一特征之间的相似度，得到相似度最大的M个图像B。可以理解的是，每个图像B对应的第一特征可以是预先通过该检索网络提取并存储在高清图像库中的，具体请参照前述实施例的描述，在此不再赘述。

示例性的，云服务器200可以将该图像A对应的第一特征与该至少一个图像B中每个图像B对应的第一特征之间的相似度，按照从大到小的顺序进行排序，并将排序在最前面的M个相似度对应的图像B作为相似度最大的M个图像B。

可以理解的是，通过检索网络提取的第一特征进行相似度的度量，可以得到与图像A的拍摄内容大致相似的M个图像B。

为了更加精准的从该M个图像B中确定拍摄内容与图像A的拍摄内容最相似的图像B，本申请实施例中，云服务器200可以进一步通过重排序网络提取该图像A对应的第二特征，并分别计算该图像A对应的第二特征与该M个图像B中每个图像B对应的第二特征之间的相似度，得到相似度最大的图像B，作为参考图像1。可以理解的是，每个图像B对应的第二特征可以是预先通过该重排序网络提取并存储在高清图像库中的，具体请参照前述实施例的描述，在此不再赘述。

示例性的，云服务器200可以将该图像A对应的第二特征与该M个图像B中每个图像B对应的第二特征之间的相似度，按照从大到小的顺序进行重排序，并将排序在最前面的相似度对应的图像B作为参考图像1。

需要说明的是，由于第二特征比第一特征更加精细，第二特征能表达图像的更多细节特征。因此，根据第一特征进行的相似度排序结果，与根据第二特征进行的相似度排序结果可能不同。可以理解为，可以通过第一特征的相似度匹配，得到大致相似的M个图像B，再通过第二特征的相似度匹配，得到最相似的参考图像1。该参考图像1不仅拍摄信息与图像A的拍摄信息匹配度比较高，而且拍摄内容也非常接近，因此，通过本申请实施例的方法，可以得到拍摄角度、拍摄内容以及图片透明度等非常相似的且分辨率比较高的参考图像1，从而更好的对分辨率较低的图像A进行细节恢复。

S1506，云服务器200根据参考图像1，对图像A进行细节恢复处理，获得图像C。

在一些实施例中，图像A的分辨率比较低，相应的，清晰度比较低。云服务器200在根据参考图像1，对图像A进行细节恢复处理获得图像C，该图像C的分辨率大于图像A的分辨率，相应的，图像C的清晰度大于图像A的清晰度。

可选的，可以将参考图像1和图像A输入深度学习神经网络，通过深度学习神经网络提取该参考图像1的高频信息，并通过该高频信息对图像A进行细节恢复，从而得到清晰度更高的图像C。

示例性的，在根据参考图像1，对图像A进行细节恢复处理之前，还可以确定该参考图像1的拍摄内容占图像A的拍摄内容的比例，其中，该比例可以反映所检索的参考图像1包含的拍摄内容是否覆盖全图像A所包含的拍摄内容。

若参考图像1的拍摄内容占图像A的拍摄内容的比例小于第二阈值，从该图像A的拍摄内容中去除与参考图像1的拍摄内容匹配的拍摄内容，获得去除后的图像A。其中，该第二阈值可以根据实际需要进行设定，例如，该第二阈值可以设置为80％，若参考图像1的拍摄内容占图像A的拍摄内容的比例小于80％，则说明参考图像1包含的拍摄内容未覆盖全图像A所包含的拍摄内容，可以进一步检索图像A包含的拍摄内容中除参考图像1包含的拍摄内容以外的拍摄内容，即去除后的图像A。

进一步，从拍摄信息高度匹配的至少一个图像B中确定拍摄内容与去除后的图像A的拍摄内容最相似的参考图像2。

其中，从至少一个图像B中确定拍摄内容与去除后的图像A的拍摄内容最相似的参考图像2的确定方法可以参照前述实施例中确定参考图像1的确定方法，在此不再赘述。

在获得参考图像1和参考图像2后，可以根据参考图像1和参考图像2，对图像A进行细节恢复处理，获得图像C。

可以理解的是，在获得参考图像1和参考图像2后，还可以进一步确定参考图像1的拍摄内容和参考图像2的拍摄内容占图像A的拍摄内容的比例，若该比例仍然小于第二阈值，还可以进一步从该图像A的拍摄内容中去除与参考图像1的拍摄内容以及与参考图像2的拍摄内容匹配的拍摄内容，获得去除后的图像A，再进一步从至少一个图像B中检索得到与该去除后的图像A的拍摄内容最相似的参考图像3。以此循环，直至所获得的至少一个参考图像的拍摄内容占图像A的拍摄内容的比例大于或者等于第二阈值，再根据所获得的至少一个参考图像，对图像A进行细节恢复处理，获得分辨率更高的图像C。

可以理解的是，上述至少一个参考图像的拍摄内容占图像A的拍摄内容的比例，可以理解为，该至少一个参考图像的拍摄内容与图像A的拍摄内容的交集占该图像A的拍摄内容的比例。

S1507，云服务器200将图像C发送给终端100。

S1508，终端100显示该图像C。

在一些实施例中，终端100接收图像C，并显示该图像C。可选的，为了便于用户比较，终端100可以显示该图像A和图像C，其中，图像C和图像A的拍摄内容相同，但是，图像C的清晰度更高。

通过实施图15所述实施例，终端仅需将拍摄的分辨率比较低的图像A发送给云服务器，由云服务器检索得到拍摄信息高度匹配、且拍摄内容高度相似的参考图像，并由云服务器根据参考图像对图像A进行细节恢复处理，得到图像C，返回至终端，该实施方式中，可以降低对终端的配置要求，兼容性强。

请参照图16所示，为本申请实施例提供的图像处理方法的另一种示意性流程图，在该实施例中，终端100将图像A的拍摄信息发送给云服务器200，云服务器200根据图像A的拍摄信息从高清图像库中确定至少一个图像B，该图像B的拍摄信息与图像A的拍摄信息之间的匹配度大于第一阈值。云服务器200向终端100发送该至少一个图像B，并由终端100从该至少一个图像B中确定拍摄内容与图像A的拍摄内容最相似的参考图像1。如图16所示，该图像处理方法包括但不限于以下步骤：

S1601，终端100检测拍照指令。

S1602，终端100拍摄图像A。

其中，步骤S1601-步骤S1602请参照图15实施例的步骤S1501-S1502，在此不再赘述。

S1603，终端100将图像A的拍摄信息发送给云服务器200。

在一些实施例中，终端100可以通过拍照应用或者修图应用将图像A的拍摄信息发送给云服务器，该云服务器与该拍照应用或者修图应用对应。

其中，该云服务器中可以配置高清图像库，该高清图像库中存储多个高清图像、该多个高清图像中每个高清图像的拍摄信息。示例性的，基于多个地理区域，分别利用高清拍照设备采集多个高清图像，从而将所采集的多个高清图像构成高清图像库。地理区域可以是以大的地理区域进行划分，例如，可以将深圳、广州、重庆等作为大的地理区域。

根据每个高清图像的拍摄信息(拍摄信息包括但不限于拍摄地理位置信息、拍摄天气状况信息以及拍摄倍率等等)，对该多个高清图像进行分类存储。其中，拍摄天气状况信息可以包括拍摄该高清图像时是晴天、阴天、雾天或者雨天等等。

其中，为了便于检索，可以根据拍摄各个高清图像的地理区域，将该多个高清图像分为多个大类别，例如，将地理区域属于深圳的所有高清图像划分在一个大类别中，将地理区域属于广州的所有高清图像划分在另一个大类别中，等等。可以理解的是，地理区域的划分还可以是其他，例如，可以根据景点名称划分，本申请实施例不作限定。

按照各个高清图像的拍摄信息，将属于同一个地理区域的所有高清图像进一步分类。例如，可以将拍摄倍率相同或者相近的、GPS信息相同或者相近的以及拍摄时的天气状况信息相同的多个高清图片归为同一个类别。当然，在划分类别时，可以根据实际情况选择参考的拍摄信息，例如，可以将拍摄倍率相同或者相近的、GPS信息相同或者相近的多个高清图片归为同一个类别，而不关注拍摄时的天气状况信息，本申请实施例对此不作限定。

其中，上述拍摄倍率相同或者相近的可以是指，拍摄倍率之差的绝对值小于或者等于设置的倍率阈值。上述GPS信息相同或者相近可以是指，GPS信息所指示的地理位置之间的距离可以小于或者等于设置的距离阈值。

可以理解的是，本申请实施例的GPS信息均是指拍摄图像时，拍照设备(比如终端100或者多个地理区域部署的高清拍照设备)所处地理位置的GPS信息。

本申请实施例中，高清图像库中存储的高清图像的分辨率大于终端100拍摄的图像A的分辨率。

S1604，云服务器200根据图像A的拍摄信息，确定至少一个图像B。

其中，云服务器200可以确定拍摄信息与图像A的拍摄信息高度匹配的至少一个图像B，具体确定方法可以参照图15实施例的步骤S1504，在此不再赘述。

S1605，云服务器200将该至少一个图像B发送给终端100。

S1606，终端100从至少一个图像B中确定拍摄内容与图像A的拍摄内容最相似的参考图像1。

在一些实施例中，终端100接收云服务器200发送的至少一个图像B。

进一步可选的，终端100可以采用检索网络分别提取该至少一个图像B中每个图像B对应的第一特征以及图像A对应的第一特征，例如，可以将该至少一个图像B中每个图像B分别输入该检索网络，从而分别得到每个图像B对应的第一特征。将该图像A输入该检索网络，从而得到该图像A对应的第一特征。

终端100分别计算该图像A对应的第一特征与该至少一个图像B中每个图像B对应的第一特征之间的相似度，得到相似度最大的M个图像B。

示例性的，云服务器200可以将该图像A对应的第一特征与该至少一个图像B中每个图像B对应的第一特征之间的相似度，按照从大到小的顺序进行排序，并将排序在最前面的M个相似度对应的图像B作为相似度最大的M个图像B。

可以理解的是，通过检索网络提取的第一特征进行相似度的度量，可以得到与图像A的拍摄内容大致相似的M个图像B。

为了更加精准的从该M个图像B中确定拍摄内容与图像A的拍摄内容最相似的图像B，本申请实施例中，终端100可以采用重排序网络分别提取该M个图像B中每个图像B对应的第二特征以及图像A对应的第二特征，例如，可以将该M个图像B中每个图像B分别输入该重排序网络，从而分别得到每个图像B对应的第二特征。将该图像A输入该重排序网络，从而得到该图像A对应的第二特征。

终端100分别计算该图像A对应的第二特征与该M个图像B中每个图像B对应的第二特征之间的相似度，得到相似度最大的图像B，作为参考图像1。

示例性的，云服务器200可以将该图像A对应的第二特征与该M个图像B中每个图像B对应的第二特征之间的相似度，按照从大到小的顺序进行重排序，并将排序在最前面的相似度对应的图像B作为参考图像1。

S1607，终端100根据参考图像1，对图像A进行细节恢复处理，获得图像C。

其中，终端100对图像A进行细节恢复处理的具体步骤可以参照图15实施例中的步骤S1506，在此不再赘述。

S1608，终端100显示图像C。

其中，步骤S1608请参照图15实施例步骤S1608，在此不再赘述。

通过实施图16实施例，云服务器向终端返回拍摄信息高度匹配的至少一个图像B，并由终端根据自身需求提取该至少一个图像B对应的特征以及图像A对应的特征，而不需要将整个高清图像库中的所有图像进行特征提取，避免处理资源的浪费。

请参照图17所示，为本申请实施例提供的图像处理方法的又一种示意性流程图，在该实施例中，终端100将图像A和图像A的拍摄信息发送给云服务器200，云服务器200根据图像A的拍摄信息从高清图像库中确定至少一个图像B，该图像B的拍摄信息与图像A的拍摄信息之间的匹配度大于第一阈值。云服务器200进一步提取图像A对应的第一特征和第二特征，并将图像A对应的第一特征和第二特征和每个图像B对应的第一特征和第二特征发送给终端100，并由终端100从该至少一个图像B中确定拍摄内容与图像A的拍摄内容最相似的参考图像1。如图所示，该图像处理方法包括但不限于以下步骤：

S1701，终端100检测拍照指令。

S1702，终端100拍摄图像A。

S1703，终端100将图像A和图像A的拍摄信息发送给云服务器200。

S1704，云服务器200根据图像A的拍摄信息，确定至少一个图像B。

其中，步骤S1701-步骤S1704请参照图17实施例步骤S1701-步骤S1704，在此不再赘述。

S1705，云服务器将图像A对应的第一特征和第二特征以及每个图像B对应的第一特征和第二特征发送给终端100。

在一些实施例中，云服务器200可以通过检索网络提取该图像A对应的第一特征，以及通过重排序网络提取该图像A对应的第二特征。

云服务器200将图像A对应的第一特征和第二特征，以及高清图像库中存储的该至少一个图像B中每个图像B对应的第一特征和第二特征发送给终端100。

S1706，终端100从至少一个图像B中确定拍摄内容与图像A的拍摄内容最相似的参考图像1。

在一些实施例中，终端100根据接收的图像A对应的第一特征和第二特征以及该至少一个图像B中每个图像B对应的第一特征和第二特征，确定拍摄内容与图像A的拍摄内容最相似的参考图像1。其中，具体确定方法可以参照图15实施例中的步骤S1505，在此不再赘述。

S1707，终端100根据参考图像1，对图像A进行细节恢复处理，获得图像C。

在一些实施例中，终端100根据参考图像1，对图像A进行细节恢复处理的流程可以参照图15实施例的步骤S1506，在此不再赘述。

S1708，终端100显示图像C。

其中，步骤S1708请参照图15实施例的步骤S1508，在此不再赘述。

通过实施图17所述实施例，通过云服务器提取图像对应的特征以及存储图像对应的特征，而由终端根据云服务器返回的图像A对应的特征以及至少一个图像B对应的特征进行匹配，得到参考图像1，可以避免占用终端的大量内存存储图像特征。

请参照图18，是本申请实施例提供的一种图像处理的方案框架图；如图所示，云服务器的高清图像库中的高清图像，通过检索网络离线提取第一特征。

云服务器不仅会通过检索网络在线提取手机拍摄的图像对应的第一特征(即特征向量)，还会根据手机拍摄的图像的拍摄信息(包括实时GPS信息、天气状况信息、拍摄倍率等)，从高清图像库中筛选得到特征向量集合，该特征向量集合中的高清图像的拍摄信息与手机拍摄的图像的拍摄信息之间的匹配度大于第一阈值。其中，在线提取第一特征可以是指手机与云服务器之间网络连接，并通过该网络连接得到手机拍摄的图像，以及提取该图像的第一特征。

进一步根据特征向量集合中的第一特征与手机拍摄的图像对应的第一特征之间进行相似性度量，得到相似度最大的M个图像，例如M为15，即得到相似度最大的15个高清图像。

将该相似度最大的15个高清图像通过重排序网络提取每个高清图像对应的第二特征，以及通过重排序网络提取手机拍摄的图像对应的第二特征。再根据15个高清图像中每个高清图像对应的第二特征与手机拍摄的图像对应的第二特征之间的相似性度量，得到相似度最大的参考图像。该参考图像可以是与手机拍摄的图像拍摄角度高度一致、拍摄倍率相似以及拍摄天气状况信息一致的高清图像。

根据该参考图像对手机拍摄的图像进行细节恢复，从而得到清晰度比手机拍摄的图像更高的图像。

请参照图19，为本申请实施例提供的一种图像处理装置的结构示意图，如图所示，该图像处理装置可以包括获取模块1901、第一确定模块1902以及第二确定模块1903。

获取模块1901，用于获取拍摄的图像A和所述图像A的拍摄信息；

第一确定模块1902，用于根据所述图像A的拍摄信息，确定至少一个图像B，其中，所述图像B的拍摄信息与所述图像A的拍摄信息之间的匹配度大于第一阈值，所述图像B的分辨率大于所述图像A的分辨率；

第二确定模块1903，用于从所述至少一个图像B中确定拍摄内容与所述图像A的拍摄内容最相似的参考图像1。

可选的，所述拍摄信息包括以下信息中的一种或者多种：拍摄倍率、拍摄地理位置信息或拍摄天气状况信息。

可选的，所述图像处理装置还可以包括：

恢复处理模块，用于根据所述参考图像1，对所述图像A进行细节恢复处理，获得图像C，所述图像C的分辨率大于所述图像A的分辨率；

输出模块，用于输出所述图像C。

可选的，所述第二确定模块1903可以包括：

获取单元，用于分别获取所述至少一个图像B中每个图像B对应的第一特征和所述图像A对应的第一特征，其中，一个图像B对应一个第一特征；

第一确定单元，用于根据所述至少一个图像B中每个图像B对应的第一特征与所述图像A对应的第一特征之间的相似度，从所述至少一个图像B中确定拍摄内容与所述图像A的拍摄内容最相似的M个图像B，所述M为大于或者等于1的整数；

第二确定单元，用于从所述M个图像B中确定拍摄内容与所述图像A的拍摄内容最相似的参考图像1。

可选的，所述第二确定单元具体用于：

分别获取所述M个图像B中每个图像B对应的第二特征和所述图像A对应的第二特征，其中，一个图像B对应一个第二特征；

根据所述M个图像B中每个图像B对应的第二特征与所述图像A对应的第二特征之间的相似度，从所述M个图像B中确定拍摄内容与所述图像A的拍摄内容最相似的图像B，作为参考图像1；

其中，所述第二特征比所述第一特征更加精细。

可选的，所述图像处理装置还可以包括：

第三确定模块，用于确定所述参考图像1的拍摄内容占所述图像A的拍摄内容的比例；

去除处理模块，用于若所述比例小于第二阈值，从所述图像A的拍摄内容中去除与所述参考图像1的拍摄内容匹配的拍摄内容，获得去除后的图像A；

第四确定模块，用于从所述至少一个图像B中确定拍摄内容与所述去除后的图像A的拍摄内容最相似的参考图像2；

所述恢复处理模块具体用于根据所述参考图像1和所述参考图像2，对所述图像A进行细节恢复处理，获得图像C。

可以理解的是，上述各个模块和/或单元可以是软件，也可以是硬件，或者是软件和硬件结合。关于各个步骤的具体描述可以参照方法实施例的描述，在此不再赘述。

下面介绍本申请另一实施例提供的一种图像处理方法。

由于目前，终端100在拍照或录视频为了获取较大的视场角(filedofview，FOV)，通常使用较低的变焦倍率进行拍摄，使用的变焦倍率越小，终端100拍摄到画面的视场角越大，画面中包含的图像内容越多。例如，终端100可以用广角镜头或超广角镜头进行拍摄，从而减小变焦倍率，增大拍摄画面的FOV。但是，拍摄画面的视场角与其拍摄画面的画质质量负相关。单独依靠终端100上的摄像器件，无法兼具拍摄画面的大视场角和高清画质。例如，在使用广角摄像头拍摄照片或视频时，拍摄画面的视场角虽然较大，但是其画质较为模糊，所拍摄的物体的细节纹理也不清晰，尤其远景的细节纹理更加模糊。

因此，本申请实施例通过提供一种图像处理方法，借助云服务器200上的高清图像数据库，将终端100上拍摄的低变焦倍率(也即，大视场角)的低清图像，发送给云服务器200。云服务器200基于高清图像库中高清图像的变焦倍率对低变焦倍率的低清图像进行切块，得到多个图像块。针对每一个图像块，云服务器都可以在高清图像库中进行检索匹配，得到一张或多张高清参考图，再经过基于高清参考图的图像增强网络进行图像质量提升，得到多张高清图像块。最后，云端的服务器再将这多张高清图像块拼接为一张分辨率更大，清晰度更高的超清图像，返回给终端100。这样，可以借助云服务器200的处理能力，使得终端100拍摄照片或视频时的拍摄画面不仅具有较广视场角，还可以兼具高倍变焦时所能拍到的丰富细节纹理以及清晰度。

图20示出了本申请实施例中提供的另一种图像处理方法的流程示意图。

如图20所示，该方法可以包括但不限于以下步骤：

S2001、终端100检测到拍照指令。

终端100可安装用于上传低清图像的应用程序(application，APP)。可选的，该应用程序可以包括但不限于拍照应用、修图应用等等。终端100上的该应用程序还可以登陆账号。

用户可以通过触屏操作发起拍照指令，或者，用户也可以通过按键发起拍照指令。终端100检测拍照指令，并拍摄低清图像。

S2002、终端100在检测到拍照指令后，拍摄低清图像并获取低清图像的拍摄信息。

其中，由于终端100上成像装置的限制，在低清图像的分辨率比较低，细节比较模糊。低清图像的拍摄信息包括变焦倍率、以及以下一种或多种：地理位置信息、天气信息、季节信息、时间信息、拍摄参数(例如、光圈、曝光时间等等)和拍摄姿态信息等。例如，终端100可以以1倍变焦倍率拍摄该低清图像。

其中，变焦倍率越小，低清图像的视场角越大，低清图像中的细节越少，低清图像中的画面越模糊。

S2003、终端100将低清图像和低清图像的拍摄信息发送给云服务器200。

其中，终端100可以在拍摄完低清图像后，可以自动传该低清图像和该低清图像的拍摄信息给云服务器200。终端100也可以在拍摄完低清图像后，通过接收用户的操作，将该低清图像上传给云服务器200。

在一种可能的实现方式中，终端100也可以将图库中保存的低清图像上传给云服务器200。

S2004、云服务器200识别出低清图像的语义信息。

云服务器200在接收到终端100发送的低清图像后，通过语义分割模型识别出低清图像中不同类别的图像内容所在的区域，获取到该低清图像的语义分割掩码(mask)图。该语义分割掩码(mask)图可标记出低清图像中不同类别的图像内容所在的区域。其中，云服务器200可以标记出低清图像中图像内容的类别。

示例性的，如图21A所示，低清图像中图像内容的类别可以包括有天空、建筑物、地面等。云服务器200可以通过语义分割模型识别出天空、建筑物和地面分别在低清图像中的区域，得到语义分割mask图。

如图21B所示，该语义分割mask图中包括有区域2101、区域2102、和区域2103。该区域2101用于表示低清图像中天空所在的区域，该区域2102用于表示建筑物在低清图像中所在的区域，该区域2103用于表示地面在低清图像中所在的区域。

S2005、云服务器200基于语义信息以及高清图像库的变焦倍率信息，将低清图像分割成指定放大倍率的N个图像块。

其中，该云服务器200中可以配置高清图像库，该高清图像库中存储有多个高清图像、以及该多个高清图像中每个高清图像的拍摄信息。其中，高清图像的拍摄信息可以包括以下一种或多种：变焦倍率、地理位置信息、天气信息、季节信息、时间信息、拍摄参数(例如、光圈、曝光时间等等)和拍摄姿态信息等。在给云服务器200配置高清图像库时，可以让高清图像库中的高清图像库都在固定变焦倍率(例如，10倍的变焦倍率)。

云服务器200可以基于高清图像库中高清图像的变焦倍率以及低清图像的变焦倍率，确定出图像块的个数。其中，高清图像的变焦倍率大于等于低清图像的变焦倍率，高清图像的变焦倍率与低清图像的变焦倍率相差越大，图像块的个数越多。每个图像块的变焦倍率与高清图像的变焦倍率相应或相近或满足预设比例关系。

示例性的，高清图像的变焦倍率可以为10倍的变焦倍率、低清图像的变焦倍率可以为1倍的变焦倍率，云服务器200可以将低清图像按照10倍变焦倍率的窗口，将低清图像划分成N个图像块，其中，每个图像块的大小和10倍变焦倍率的窗口大小相同。

如图21C所示，低清图像可以划分为N个图像块。图21C中只是示例性的示出了该N个图像块中的部分图像块。其中，图像块2131具体可以如图21D所示。

其中，云服务器200可以将该低清图像的语音分割mask图也用同样的窗口大小进行分割，得到每个图像块对应的mask块。云服务器200可以标记出每个图像块的类别。

S2006、云服务器200基于语义信息，从高清图像库中分被检索出每个图像块的T张高清检索图像，T为正整数。

语义信息可以包括有低清图像中每个图像块的类别。在一些实施例中，云服务器200可以针对不同类别的图像块，采用不同的检索策略。

例如，图像块的类别可以包括有天空、建筑和地面。由于天空区域的纹理、地面区域的纹理相对简单，云服务器200针对类别为“天空”和“地面”的图像块，可以不进行图像检索也不进行细节修复。由于建筑区域的纹理细节丰富，云服务器200可以针对类别为“建筑”的图像块，检索出与该“建筑”类别的图像块对应的高清检索图像。

其中，云服务器200可以根据低清图像的拍摄信息(其他实施例中也可被称为第一环境信息)以及图像块，从高清图像库中检索出该图像块对应的T张高清检索图像。

在一种可能的实现方式中，云服务器200基于低清图像的拍摄信息，从高清图像库中确定出至少一个第一匹配图像，其中，第一匹配图像的拍摄信息与低清图像的拍摄信息之间的匹配度大于第一阈值，第一匹配图像的分辨率大于低清图像的分辨率；云服务器分别获取至少一个第一匹配图像中每个第一匹配图像对应的第一特征和第一类型的图像块对应的第一特征，其中，一个第一匹配图像对应一个第一特征。云服务器基于至少一个第一匹配图像中每个第一匹配图像对应的第一特征与第一图像块对应的第一特征之间的相似度，从至少一个第一匹配图像中确定拍摄内容与第一类型的图像块的拍摄内容最相似的T张高清检索图像。

在一种可能的实现方式中，云服务器基于至少一个第一匹配图像中每个第一匹配图像对应的第一特征与第一类型的图像块对应的第一特征之间的相似度，确定出在第一特征上与第一类型的图像块最相似的至少一张第二匹配图像。云服务器分别获取至少一个第二匹配图像中每个第二匹配图像对应的第二特征和第一类型的图像块对应的第二特征，其中，一个第二匹配图像对应一个第二特征。云服务器基于至少一个第二匹配图像中每个第二匹配图像对应的第二特征与第一类型的图像块对应的第二特征之间的相似度，确定出在第二特征上与第一类型的图像块最相似的T张高清检索图像。其中，第二特征比第一特征更加精细。

具体有关云服务器200针对图像块进行图像检索的过程可以参考前述图18所示实施例，在此不再赘述。

S2007、云服务器200基于语义信息和低清图像，对每个图像块的T张高清检索图像进行匹配配准，得到T张高清配准图像。

在一些实施例中，云服务器200可以基于语义信息作为先验指导信息，针对不同类别的图像块，采用不同的匹配配准策略。

例如，图像块的类别可以包括有天空、建筑和地面。由于天空区域的纹理、地面区域的纹理相对简单，云服务器200针对类别为“天空”和“地面”的图像块，可以不进行图像匹配配准也不进行细节修复。由于建筑区域的纹理细节丰富，针对类别为“建筑”的图像块，云服务器200可以在检索出与该“建筑”类别的图像块对应的T张高清检索图像后，对高清图像进行图像配准，得到T张高清配准图像。

S2008、云服务器200基于语义信息和每个图像块的T张高清配准图像，对每个图像块的细节进行修复，得到N个高清图像块。

其中，云服务器200针对图像块对应的T张高清检索图像进行图像配准的过程可以如下：

如图22所示，云服务器200可以将基于低清图像的语义分割mask图，确定图像块的类别，进而判断该图像块是否需要进行配准。若需要进行图像配准，云服务器200可以利用传统匹配算法获取该图像块与每一张高清检索图像中匹配的特征点。然后，云服务器200可以通过该图像块与每一张高清检索图像之间的匹配特征点对，得到图像块与每一张高清检索图像之间的图像空间坐标变换参数。云服务器200可以根据图像空间坐标变换参数对每个高清检索图像进行图像配准，得到T张高清配准图像。

具体的，云服务器基于图像块与T张高清检索图像中每一张高清检索图像的图像空间坐标变换参数，将每一张高清检索图像中与所述第一类型的图像块中相匹配的特征点，调整到与图像块中相同的位置，得到T张高清配准图像。

其中，传统匹配算法可以包括但不限于如下两类算法中的任一种：基于灰度级模板匹配的算法和基于特征匹配的算法。其中，基于灰度级模板匹配的算法包括平均绝对差算法(mean absolute differences，MAD)、绝对误差和算法(sum of absolutedifferences，SAD)、误差平方和算法(sum of squared differences，SSD)、平均误差平方和算法(mean square differences，MSD)、归一化积相关算法(normalized crosscorrelation，NCC)、序贯相似性检测算法(sequential similiarity detectionalgorithm，SSDA)、hadamard变换算法(sum of absolute transformed difference，SATD)、局部灰度值编码算法等。基于特征匹配的算法可以包括但不限于如下一种或多种：FAST算法、ORB算法、SIFT算法、SURF算法、LBP算法、传统光流方法等。

在一种可能的实现方式中，在得到T张高清配准图像后，云服务器200可以基于选优策略，从T张高清配准图像中，筛选出最优的L张高清参考图像，其中，L为正整数且L小于等于T。

其中，选优策略可以是从T张高清配准图像中选出与图像块的匹配度最高的L张高清参考图像。在一些可能的实现方式中，选优策略可以是选出与图像块与T个高清配准图像中匹配特征点对的图像空间位置最相似的L张高清参考图像。

在一些实施例中，云服务器200可以基于语义信息作为先验指导信息，针对不同类别的图像块，采用不同的细节修复策略。

例如，图像块的类别可以包括有天空、建筑和地面。由于天空区域的纹理、地面区域的纹理相对简单，云服务器200针对类别为“天空”和“地面”的图像块，可以不进行图像匹配配准也不进行细节修复。由于建筑区域的纹理细节丰富，针对类别为“建筑”的图像块，云服务器200可以在获取到图像块的L张高清参考图像后，对图像块进行细节修复。

其中，云服务器200用L张高清配准图像对图像块的细节修复过程可以如下：

如图23A所示，云服务器200可以将基于低清图像的语义分割mask图，确定图像块的类别，进而判断该图像块是否需要进行细节。若需要进行图像细节修复，则云服务器200可以将L张高清参考图像后，可以将L张高清参考图像与图像块输入到超分网络算法模型中，利用L张高清参考图像中的细节纹理信息，修复图像块中细节，提升图像块中的分辨率，得到高清图像块。其中，该超分网络算法模型中可以包括匹配度检测网络、深度配准网络和深度融合网络。该匹配度检测网络可用于检测出高清参考图像中与图像块中内容不一致的区域。该深度配准网络可用于将高清参考图像中与图像块中内容一致的区域进行像素级的配准。该深度融合网络可用于将高清参考图像中的高频细节融合到图像块上，提升图像块的分辨率，得到高清图像块。

示例性的，如图23B所示，云服务器200可以经过上述图22所示的图像配准过程，得到上述图像块2131对应的高清参考图像2331。云服务器200可以将上述图像块2131和该高清参考图像2331输入到超分网络算法模型中，将高清参考图像2331中的高频细节信息，融合到图像块2131中，得到如图23C所示的高清图像块2332。

S2009、云服务器200将N个高清图像块进行拼接，得到高清输出图。

在获取到每个图像块对应的高清图像块后，云服务器200可以将每个图像块对应的高清图像块按照图像块在低清图像中的位置进行拼接，得到高清输出图。

在一些实施例中，一些类别的图像块由于没有进行细节修复，云服务器200可以直接使用未经过细节修复的图像块与其他经过细节修复后得到的高清图像块进行拼接，得到高清输出图。

示例性的，云服务器200没有对低清图像中“天空”类别和“地面”类别的图像块进行细节修复，对低清图像中“建筑物”类别的图像块进行了细节修复。因此，云服务器200可以使用低清图像中“天空”类别和“地面”类别的图像块，与“建筑物”类别的图像块对应的高清图像块进行拼接，得到高清输出图。

S2010、云服务器200将高清输出图发送给终端100。

S2011、终端100显示高清输出图。

其中，该高清输出图在前述实施例中也可被称为第三图像或图像C。

终端100显示该高清输出图的时机以及应用界面可以参考前述界面交互实施例，在此不再赘述。

在一些实施例中，云服务器200在上述步骤S2004之前，可以先利用低清图像(在前述实施例中也可被称为第一图像或图像A)的拍摄信息(在前述实施例中也可被称为第一环境信息)匹配出第一图像处理模型，对该低清图像进行优化处理，并将优化处理后的低清图像依次进行后续步骤S2004至步骤S2009。其中，第一图像处理模型的匹配过程，以及利用第一图像处理模型对该低清图像进行优化处理，可以参考前述图8-图11所示实施例，在此不再赘述。

通过本申请实施例提供的图像处理方法，可以实现通过将较小变焦倍率的图像按照云端高清图像库相近的变焦倍率进行切块，放大到一定的尺度上，在云端高清图像库中进行检索匹配，再经过基于参考图的图像增强网络进行图像质量提升，最终的结果再拼接为一张分辨率更大，清晰度更高的超清图像。这样，在语义信息的帮助下，先局部增强再整体拼接融合，获取到一张更高分辨率的超清图像，有效解决了缺少特征信息区域的误检与错误匹配。

下面介绍本申请另一实施例提供的一种图像处理方法。

图24示出了本申请实施例中提供的一种图像处理方法的流程示意图。

其中，云服务器200上可以布置有高清图像库，其中，该高清图像库中可以存储有多张高清图像以及高清图像的拍摄信息(在上述实施例中也可被称为第二环境信息)，其中，该高清图像的拍摄信息可以包括变焦倍率、以及以下一种或多种：地理位置信息、天气信息、季节信息、时间信息、拍摄参数(例如、光圈、曝光时间等等)和拍摄姿态信息等。在构建该高清图像库时，构建装置可以针对同一地理位置的同一拍摄物体，获取到多张高变焦倍率的高清图像，然后，构建装置可以将多张高变焦倍率的高清图像根据图像内容的关联性拼接成全景高清图。接着，构建装置可以按照在多种变焦倍率对应的切割尺寸大小，分别对全景高清图进行切割，使得全景高清图在每一类变焦倍率下，都被划分割成多张高清图像。其中，变焦倍率越大，切割尺寸越小，切割后得到的高清图像的变焦倍率越大。

示例性的，如图25A所示，构建装置可以通过高变焦倍率的高清图像，拼接成全景高清图2500。其中，构建装置可以将分别在5倍的变焦倍率、10倍的变焦倍率、20倍的变焦倍率等变焦倍率时对全景图像2500进行分割，在每一种变焦倍率下都分割出多张高清图像。如图25A所示，当构建装置在10倍的变焦倍率下对全景高清图进行分割时，分割出的每一张高清图像的尺寸都可以如图25B中的高清图像2511所示。如图25C所示，当构建装置在5倍的变焦倍率下对全景高清图进行分割时，分割出的每一张高清图像的尺寸都可以如图25D中的高清图像2521所示。其中，对全景高清图2500分割时使用的变焦倍率越大，分割得到高清图像的数量越多，每一张高清图像中包括的图像信息越少。上述图25A和图25C都只是示出了对全景图像的切割

如图24所示，该图像处理方法可以包括但不限于以下步骤：

S2401、终端100检测拍照指令。

具体内容，可以参考前述图20所示实施例中的步骤S2001，在此不再赘述。

S2402、终端100在检测到拍照指令后，拍摄低清图像。

具体内容，可以参考前述图20所示实施例中的步骤S2002，在此不再赘述。

S2403、终端100将低清图像和低清图像的拍摄信息发送给云服务器200。

具体内容，可以参考前述图20所示实施例中的步骤S2003，在此不再赘述。

S2404、云服务器200识别出低清图像的语义信息。

具体内容，可以参考前述图20所示实施例中的步骤S2004，在此不再赘述。

S2405、云服务器200基于语义信息，从高清图像库中检索出低清图像的T张高清检索图像。

具体的，云服务器200可以基于低清图像的语义信息，从高清图像库中检索出与低清图像内容相近的T张高清检索图像。

在一些实施例中，云服务器200可以基于低清图像的语义信息以及低清图像的拍摄信息(其他实施例中也可被称为第一环境信息)，从高清图像库中检索出与低清图像的内容相似的T张高清检索图像。具体有关云服务器200针对图像块进行图像检索的过程可以参考前述图18所示实施例，在此不再赘述。

S2406、云服务器200基于语义信息和低清图像，对低清图像的T张高清检索图像进行配准，得到低清图像的T张高清配准图像。

其中，利用T张高清检索图像对低清图像的配准过程，可以参考前述图22所示实施例，在此不再赘述。

S2407、云服务器200基于语义信息和低清图像的T张高清配准图像，对低清图像进行修复，得到高清输出图。

其中，利用T张高清配准图像对低清图像的配准过程，可以参考前述图23A所示实施例，在此不再赘述。

S2408、云服务器200将高清输出图发送给终端100。

S2409、终端100显示高清输出图。

其中，该高清输出图在前述实施例中也可被称为第三图像或图像C。

终端100显示该高清输出图的时机以及应用界面可以参考前述界面交互实施例，在此不再赘述。

在一种可能的实现方式中，云服务器200在基于语义信息和低清图像，对低清图像的T张高清检索图像进行配准，得到低清图像的T张高清配准图像之后，可以将T张高清配准图像发送给终端100。终端100基于低清图像的T张高清配准图像，对低清图像进行修复，得到高清输出图。

通过本申请实施例，可以利用大量的高变焦倍率的高清图像对云服务器200上高清图像库进行全景图的构建拼接，然后，根据不同变焦倍率的图像尺寸对全景图进行切割，得到不同变焦倍率的高清图像。可以让云服务器200在高清图像库中为终端100拍摄到的低清图像检索到变焦倍率相同或相近的高清参考图像，提升了利用高清参考图像对低清图像的细节修复效果。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (11)

1.一种图像处理方法，其特征在于，所述方法包括：

云服务器获取终端发送的低清图像以及拍摄所述低清图像时的拍摄信息，所述拍摄信息包括所述低清图像的变焦倍率；

所述云服务器识别所述低清图像的语义信息；

所述云服务器基于高清图像库中高清图像的变焦倍率以及所述低清图像的变焦倍率，确定出图像块的数量N，所述N为正整数；

所述云服务器基于图像块的数量N将所述低清图像分割成N个图像块，并基于所述低清图像的语义信息标记出所述N个图像块中每个图像块中图像内容的类型；

所述云服务器从所述高清图像库中检索出与第一类型的图像块的拍摄内容匹配的T张高清检索图像，所述T为正整数；

所述云服务器基于所述T张高清检索图像，对所述第一类型的图像块中的细节进行修复，得到第一类型的高清图像块，所述第一类型的高清图像块的分辨率大于所述第一类型的图像块；

所述云服务器基于第一类型的高清图像块替换所述低清图像中的第一类型的图像块，得到高清输出图，并将所述高清输出图发送给所述终端。

2.根据权利要求1所述的方法，其特征在于，所述低清图像的拍摄信息还包括以下一种或多种：地理位置信息、天气信息、季节信息、时间信息、拍摄参数和拍摄姿态信息。

3.根据权利要求1或2所述的方法，其特征在于，所述云服务器从所述高清图像库中检索出与第一类型的图像块的拍摄内容匹配的T张高清检索图像，具体包括：

所述云服务器基于所述低清图像的拍摄信息，从所述高清图像库中确定出至少一个第一匹配图像，其中，所述第一匹配图像的拍摄信息与所述低清图像的拍摄信息之间的匹配度大于第一阈值，所述第一匹配图像的分辨率大于所述低清图像的分辨率；

所述云服务器分别获取所述至少一个第一匹配图像中每个第一匹配图像对应的第一特征和所述第一类型的图像块对应的第一特征，其中，一个第一匹配图像对应一个第一特征；

所述云服务器基于所述至少一个第一匹配图像中每个第一匹配图像对应的第一特征与所述第一图像块对应的第一特征之间的相似度，从所述至少一个第一匹配图像中确定拍摄内容与所述第一类型的图像块的拍摄内容最相似的T张高清检索图像。

4.根据权利要求3所述的方法，其特征在于，所述云服务器基于所述至少一个第一匹配图像中每个第一匹配图像对应的第一特征与所述第一类型的图像块对应的第一特征之间的相似度，从所述至少一个第一匹配图像中确定拍摄内容与所述第一类型的图像块的拍摄内容最相似的T张高清检索图像，具体包括：

所述云服务器基于所述至少一个第一匹配图像中每个第一匹配图像对应的第一特征与所述第一类型的图像块对应的第一特征之间的相似度，确定出在第一特征上与所述第一类型的图像块最相似的至少一张第二匹配图像；

所述云服务器分别获取所述至少一个第二匹配图像中每个第二匹配图像对应的第二特征和所述第一类型的图像块对应的第二特征，其中，一个第二匹配图像对应一个第二特征；

所述云服务器基于所述至少一个第二匹配图像中每个第二匹配图像对应的第二特征与所述第一类型的图像块对应的第二特征之间的相似度，确定出在第二特征上与所述第一类型的图像块最相似的T张高清检索图像；

其中，所述第二特征比所述第一特征更加精细。

5.根据权利要求1或2所述的方法，其特征在于，所述云服务器利用所述T张高清检索图像，对所述第一类型的图像块中的细节进行修复，得到第一类型的高清图像块，具体包括：

所述云服务器获取所述第一类型的图像块与所述T张高清检索图像中每一张高清检索图像的图像空间坐标变换参数；

所述云服务器基于所述第一类型的图像块与所述T张高清检索图像中每一张高清检索图像中匹配特征点对的图像空间坐标变换参数，将每一张高清检索图像中与所述第一类型的图像块中相匹配的特征点，调整到与所述第一类型的图像块中相同的位置，得到T张高清配准图像；

所述云服务器基于所述T张高清配准图像对所述第一类型的图像块的细节进行修复，得到第一类型的高清图像块。

6.根据权利要求5所述的方法，其特征在于，所述云服务器基于所述T张高清配准图像对所述第一类型的图像块的细节进行修复，得到第一类型的高清图像块，具体包括：

所述云服务器基于所述第一类型的图像块与所述T张高清检索图像中每一张高清检索图像中匹配特征点对的图像空间坐标变换参数，从所述T张高清配准图像中确定出匹配特征点对的图像空间位置最相似的L张高清参考图像，L为正整数；

所述云服务器基于所述L张高清参考图像对所述第一类型的图像块的细节进行修复，得到所述第一类型的高清图像块。

7.根据权利要求1所述的方法，其特征在于，所述云服务器基于第一类型的高清图像块替换所述低清图像中的第一类型的图像块，得到高清输出图，具体包括：

当所述低清图像中只包括第一类型的图像块时，所述云服务器将所述第一类型的高清图像块拼接成所述高清输出图；

当所述低清图像中包括第一类型的图像块和第二类型的图像块时，所述云服务器将所述第一类型的高清图像块与所述第二类型的高清图像块拼接成所述高清输出图。

8.根据权利要求1-7中任一项所述的方法，其特征在于，在所述云服务器基于图像块的数量N将所述低清图像分割成N个图像块之前，所述方法还包括：

所述云服务器根据所述低清图像的拍摄信息，确定出与所述环境信息对应的第一图像处理模型；

所述云服务器通过所述第一处理模型对所述低清图像进行处理；

所述云服务器基于图像块的数量N将所述低清图像分割成N个图像块，具体包括：

所述云服务器基于图像块的数量N将经过所述第一图像处理模型处理后的所述低清图像分割成所述N个图像块。

9.根据权利要求8所述的方法，其特征在于，所述云服务器通过所述第一处理模型对所述低清图像进行处理，具体包括：

所述云服务器通过所述第一图像处理模型对所述低清图像的细节清晰度、和/或动态范围、和/或对比度、和/或噪声、和/或色彩进行处理。

10.一种云服务器，其特征在于，包括：收发器、一个或多个处理器和一个或多个存储器；所述一个或多个存储器与一个或多个处理器耦合，所述一个或多个存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当所述一个或多个处理器执行所述计算机指令时，使得所述云服务器执行上述权利要求1-9中的任一项所述的图像处理方法。

11.一种可读存储介质，用于存储有计算机指令，当计算机指令在云服务器上运行时，使得所述云服务器执行上述权利要求1-9中的任一项所述的图像处理方法。

Images