CN113676718A - 图像处理方法、移动终端及可读存储介质 - Google Patents

Abstract

本申请公开了一种图像处理方法、移动终端及可读存储介质，其中，所述图像处理方法包括：获取目标对象的第一图像，根据所述第一图像确定或生成所述目标对象的预设维度的第二图像；对所述第二图像进行细节补充,以得到目标图像。本申请技术方案能够在移动终端上生成自由视角图像，操作简单方便，实用性强。

Description

图像处理方法、移动终端及可读存储介质

技术领域

本申请涉及图像处理技术领域，具体涉及一种图像处理方法、移动终端及可读存储介质。

背景技术

自由视角是指以被拍摄物体/场景为中心，能够让用户通过操控界面，从任意角度自由旋转观看被拍摄物体/场景的业务形态。为实现自由视角，通常是利用多机位或环绕机位向用户提供环绕整个场地的任意角度视频信息，供用户以旋转切换的方式找到最佳的视角和最佳追随观看位置。为了全方位拍摄现场，需要在现场设置数十个，甚至上百个摄像机位，以向用户呈现出围绕中心点平稳旋转的效果。并且，每一个机位都需要精确对准舞台中心位置，然后通过自动校准数台相机的外参和内参，实现拍摄设备数分钟内快速对焦，提升标定效率和视角转动时的平稳度。

在构思及实现本申请过程中，发明人发现现有技术至少存在如下问题：通过在拍摄现场部署多个摄像机位生成自由视角图像的方式无法应用于移动终端，实用性较差。

前面的叙述在于提供一般的背景信息，并不一定构成现有技术。

发明内容

针对上述技术问题，本申请提供一种图像处理方法、移动终端及可读存储介质，以解决生成自由视角图像的方式无法应用于移动终端，实用性较差的问题。

为解决上述技术问题，本申请提供一种图像处理方法，应用于移动终端，包括：

获取目标对象的第一图像，根据所述第一图像确定或生成所述目标对象的预设维度的第二图像；

对所述第二图像进行细节补充,以得到目标图像。

可选地，在所述得到目标图像之后，还包括：输出所述目标图像。

可选地，所述对所述第二图像进行细节补充，以得到目标图像的步骤包括：

获取所述目标对象的至少一个第三图像，可选地，所述第三图像与所述第一图像的视角不同；

对所述第一图像和所述第三图像进行细节特征提取，以得到所述目标对象的细节特征；

将所述细节特征添加至所述第二图像中，以得到所述目标图像。

可选地，获取所述目标对象的至少一个第三图像的步骤包括：

对待处理视频中的各图像帧分别进行视角检测，以确定各所述图像帧的视角；

将与所述第一图像的视角不同的所述图像帧作为所述第三图像，可选地，所述第一图像根据所述待处理视频的图像帧确定得到。

可选地，所述方法还包括：

对所述第一图像和所述第三图像进行背景特征提取，以得到所述目标对象的背景特征；

将所述背景特征添加至所述第二图像或所述目标图像中。

可选地，所述对所述第二图像进行细节补充，以得到目标图像的步骤包括：

获取预设细节特征；

将所述预设细节特征添加至所述第二图像中，以得到目标图像。

可选地，所述根据所述第一图像确定或生成所述目标对象的预设维度的第二图像的步骤包括：

根据所述第一图像确定或生成所述目标对象的预设维度的图像模型；

获取所述目标对象的光影信息、体积信息以及密度信息中的至少一种；

将所述目标对象的光影信息、体积信息以及密度信息中的至少一种填充至所述预设维度的图像模型中，以得到所述第二图像。

可选地，所述方法还包括：

分别获取待处理视频中各图像帧对应的目标图像；

根据各所述图像帧对应的时间信息将各所述图像帧对应的目标图像进行整合，以得到目标视频。

可选地，响应针对所述目标视频的视角转换操作，根据所述视角转换操作确定目标视角，输出所述目标视角下的目标视频。

可选地，所述方法还包括：

对各所述图像帧进行关键点检测，获取各所述图像帧中目标对象的二维关键点信息；

将所述目标对象的二维关键点信息转换至三维空间，以得到所述目标对象的三维关键点信息；

将所述目标对象的三维关键点信息映射至各所述图像帧对应的目标图像中。

可选地，所述方法还包括：

分别获取待处理视频中至少两帧图像帧对应的目标图像，根据所述至少两帧图像帧对应的目标图像形成备选目标视频；

对所述备选目标视频进行插帧处理，以得到所述目标视频。

本申请还提供一种移动终端，包括：存储器、处理器，其中，所述存储器上存储有图像处理程序，所述图像处理程序被所述处理器执行时实现如上述方法的步骤。

本申请还提供一种可读存储介质，所述可读存储介质存储有图像处理程序，所述图像处理程序被处理器执行时实现如上述方法的步骤。

如上所述，本申请的图像处理方法，应用于移动终端，移动终端通过获取目标对象的第一图像，根据第一图像确定或生成目标对象的预设维度的第二图像，然后对第二图像进行细节补充,以得到目标图像。通过上述方式，可以直接在移动终端上生成自由视角图像，操作简单方便，实用性强。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为实现本申请各个实施例的一种移动终端的硬件结构示意图；

图2为本申请实施例提供的一种通信网络系统架构图；

图3是根据第一实施例示出的图像处理方法的流程示意图；

图4是根据第二实施例示出的图像处理方法的流程示意图；

图5是根据第三实施例示出的图像处理方法的流程示意图。

本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素，可选地，本申请不同实施例中具有同样命名的部件、特征、要素可能具有相同含义，也可能具有不同含义，其具体含义需以其在该具体实施例中的解释或者进一步结合该具体实施例中上下文进行确定。

应当理解，尽管在本文可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本文范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语"如果"可以被解释成为"在……时"或"当……时"或"响应于确定"。再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。本申请使用的术语“或”、“和/或”、“包括以下至少一个”等可被解释为包括性的，或意味着任一个或任何组合。例如，“包括以下至少一个：A、B、C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A和B和C”，再如，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A和B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。

应该理解的是，虽然本申请实施例中的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

需要说明的是，在本文中，采用了诸如S10、S20等步骤代号，其目的是为了更清楚简要地表述相应内容，不构成顺序上的实质性限制，本领域技术人员在具体实施时，可能会先执行S20后执行S10等，但这些均应在本申请的保护范围之内。

应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或者“单元”的后缀仅为了有利于本申请的说明，其本身没有特定的意义。因此，“模块”、“部件”或者“单元”可以混合地使用。

移动终端可以以各种形式来实施。例如，本申请中描述的移动终端可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal Digital Assistant，PDA)、便捷式媒体播放器(Portable Media Player，PMP)、导航装置、可穿戴设备、智能手环、计步器等移动终端，以及诸如数字TV、台式计算机等固定终端。

后续描述中将以移动终端为例进行说明，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本申请的实施方式的构造也能够应用于固定类型的终端。

请参阅图1，其为实现本申请各个实施例的一种移动终端的硬件结构示意图，该移动终端100可以包括：RF(Radio Frequency，射频)单元101、WiFi模块102、音频输出单元103、A/V(音频/视频)输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、处理器110、以及电源111等部件。本领域技术人员可以理解，图1中示出的移动终端结构并不构成对移动终端的限定，移动终端可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图1对移动终端的各个部件进行具体的介绍：

射频单元101可用于收发信息或通话过程中，信号的接收和发送，具体的，将基站的下行信息接收后，给处理器110处理；可选地，将上行的数据发送给基站。通常，射频单元101包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。可选地，射频单元101还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于GSM(Global System of Mobile communication，全球移动通讯系统)、GPRS(General Packet Radio Service，通用分组无线服务)、CDMA2000(CodeDivision Multiple Access 2000，码分多址2000)、WCDMA(Wideband Code DivisionMultiple Access,宽带码分多址)、TD-SCDMA(Time Division-Synchronous CodeDivision Multiple Access，时分同步码分多址)、FDD-LTE(Frequency DivisionDuplexing-Long Term Evolution，频分双工长期演进)和TDD-LTE(Time DivisionDuplexing-Long Term Evolution，分时双工长期演进)等。

WiFi属于短距离无线传输技术，移动终端通过WiFi模块102可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图1示出了WiFi模块102，但是可以理解的是，其并不属于移动终端的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

音频输出单元103可以在移动终端100处于呼叫信号接收模式、通话模式、记录模式、语音识别模式、广播接收模式等等模式下时，将射频单元101或WiFi模块102接收的或者在存储器109中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元103还可以提供与移动终端100执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元103可以包括扬声器、蜂鸣器等等。

A/V输入单元104用于接收音频或视频信号。A/V输入单元104可以包括图形处理器(Graphics Processing Unit，GPU)1041和麦克风1042，图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元106上。经图形处理器1041处理后的图像帧可以存储在存储器109(或其它存储介质)中或者经由射频单元101或WiFi模块102进行发送。麦克风1042可以在电话通话模式、记录模式、语音识别模式等等运行模式中经由麦克风1042接收声音(音频数据)，并且能够将这样的声音处理为音频数据。处理后的音频(语音)数据可以在电话通话模式的情况下转换为可经由射频单元101发送到移动通信基站的格式输出。麦克风1042可以实施各种类型的噪声消除(或抑制)算法以消除(或抑制)在接收和发送音频信号的过程中产生的噪声或者干扰。

移动终端100还包括至少一种传感器105，比如光传感器、运动传感器以及其他传感器。可选地，光传感器包括环境光传感器及接近传感器，可选地，环境光传感器可根据环境光线的明暗来调节显示面板1061的亮度，接近传感器可在移动终端100移动到耳边时，关闭显示面板1061和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

显示单元106用于显示由用户输入的信息或提供给用户的信息。显示单元106可包括显示面板1061，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板1061。

用户输入单元107可用于接收输入的数字或字符信息，以及产生与移动终端的用户设置以及功能控制有关的键信号输入。可选地，用户输入单元107可包括触控面板1071以及其他输入设备1072。触控面板1071，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1071上或在触控面板1071附近的操作)，并根据预先设定的程式驱动相应的连接装置。触控面板1071可包括触摸检测装置和触摸控制器两个部分。可选地，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器110，并能接收处理器110发来的命令并加以执行。可选地，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1071。除了触控面板1071，用户输入单元107还可以包括其他输入设备1072。可选地，其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种，具体此处不做限定。

可选地，触控面板1071可覆盖显示面板1061，当触控面板1071检测到在其上或附近的触摸操作后，传送给处理器110以确定触摸事件的类型，随后处理器110根据触摸事件的类型在显示面板1061上提供相应的视觉输出。虽然在图1中，触控面板1071与显示面板1061是作为两个独立的部件来实现移动终端的输入和输出功能，但是在某些实施例中，可以将触控面板1071与显示面板1061集成而实现移动终端的输入和输出功能，具体此处不做限定。

接口单元108用作至少一个外部装置与移动终端100连接可以通过的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元108可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到移动终端100内的一个或多个元件或者可以用于在移动终端100和外部装置之间传输数据。

存储器109可用于存储软件程序以及各种数据。存储器109可主要包括存储程序区和存储数据区，可选地，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。可选地，存储器109可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器110是移动终端的控制中心，利用各种接口和线路连接整个移动终端的各个部分，通过运行或执行存储在存储器109内的软件程序和/或模块，以及调用存储在存储器109内的数据，执行移动终端的各种功能和处理数据，从而对移动终端进行整体监控。处理器110可包括一个或多个处理单元；可选地，处理器110可集成应用处理器和调制解调处理器，可选地，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器110中。

移动终端100还可以包括给各个部件供电的电源111(比如电池)，可选地，电源111可以通过电源管理系统与处理器110逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

尽管图1未示出，移动终端100还可以包括蓝牙模块等，在此不再赘述。

为了便于理解本申请实施例，下面对本申请的移动终端所基于的通信网络系统进行描述。

请参阅图2，图2为本申请实施例提供的一种通信网络系统架构图，该通信网络系统为通用移动通信技术的LTE系统，该LTE系统包括依次通讯连接的UE(User Equipment，用户设备)201，E-UTRAN(Evolved UMTS Terrestrial Radio Access Network，演进式UMTS陆地无线接入网)202，EPC(Evolved Packet Core，演进式分组核心网)203和运营商的IP业务204。

可选地，UE201可以是上述终端100，此处不再赘述。

E-UTRAN202包括eNodeB2021和其它eNodeB2022等。可选地，eNodeB2021可以通过回程(backhaul)(例如X2接口)与其它eNodeB2022连接，eNodeB2021连接到EPC203，eNodeB2021可以提供UE201到EPC203的接入。

EPC203可以包括MME(Mobility Management Entity，移动性管理实体)2031，HSS(Home Subscriber Server，归属用户服务器)2032，其它MME2033，SGW(Serving Gate Way，服务网关)2034，PGW(PDN Gate Way，分组数据网络网关)2035和PCRF(Policy andCharging Rules Function，政策和资费功能实体)2036等。可选地，MME2031是处理UE201和EPC203之间信令的控制节点，提供承载和连接管理。HSS2032用于提供一些寄存器来管理诸如归属位置寄存器(图中未示)之类的功能，并且保存有一些有关服务特征、数据速率等用户专用的信息。所有用户数据都可以通过SGW2034进行发送，PGW2035可以提供UE 201的IP地址分配以及其它功能，PCRF2036是业务数据流和IP承载资源的策略与计费控制策略决策点，它为策略与计费执行功能单元(图中未示)选择及提供可用的策略和计费控制决策。

IP业务204可以包括因特网、内联网、IMS(IP Multimedia Subsystem，IP多媒体子系统)或其它IP业务等。

虽然上述以LTE系统为例进行了介绍，但本领域技术人员应当知晓，本申请不仅仅适用于LTE系统，也可以适用于其他无线通信系统，例如GSM、CDMA2000、WCDMA、TD-SCDMA以及未来新的网络系统等，此处不做限定。

基于上述移动终端硬件结构以及通信网络系统，提出本申请各个实施例。

第一实施例

在本实施例中，执行主体可以是上述实施例中的移动终端，还可以是服务器，本实施例对此不作限定。请参阅图3，图3是根据第一实施例示出的图像处理方法的流程示意图，在第一实施例中，所述图像处理方法包括：

步骤S10，获取目标对象的第一图像，根据所述第一图像确定或生成所述目标对象的预设维度的第二图像；

在本实施例中，移动终端获取目标对象的第一图像。第一图像可以是指包含目标对象的二维图像。可选地，目标对象是指被拍摄的物体或者场景，例如，目标对象可以是人物或者比赛场景，在其他实施例中，目标对象可以根据实际情况确定，本实施例对此不作限定。

在本实施例中，移动终端可以通过摄像头拍摄目标对象的视频得到待处理视频，将待处理视频的任意一图像帧作为目标对象的第一图像；移动终端也可以直接对目标对象拍摄得到目标对象的第一图像。需要说明的是，目标对象的第一图像是单视角的图像，即目标对象的第一图像的视角是固定不变的，用户无法切换第一图像的观看视角。例如，移动终端以人物为目标对象，对人物进行拍摄得到人物的待处理视频，将待处理视频的某一图像帧作为人物的第一图像。

在本实施例中，移动终端获取到目标对象的第一图像后，根据目标对象的第一图像确定或生成目标对象的预设维度的第二图像。可选地，预设维度可以为三维，在其他实施例中，预设维度可以根据实际需要确定，例如四维或者四维以上等，本实施例对此不作限定。需要说明的是，第二图像是自由视角图像，即用户可以任意切换第二图像的观看视角。

在本实施例中，移动终端获取到目标对象的第一图像后，根据获取到的第一图像确定或生成目标对象的图像模型，然后获取目标对象的光影信息、体积信息以及密度信息中的至少一种，并将获取到的目标对象的光影信息、体积信息、密度信息中的至少一种填充至预设维度的图像模型中，以得到第二图像。

下面实施例以预设维度为三维为例进行说明，移动终端根据目标对象的第一图像确定或生成目标对象的三维的第二图像。可选地，第二图像是指目标对象包含深度信息的三维图像，用户可以任意切换该三维图像的观看视角。可选地，移动终端可以采用AI算法模型对第一图像中目标对象的像素进行处理，重构目标对象的三维图像模型。可选地，AI算法模型可选为PIFuHD算法模型，在其他实施例中，AI算法模型也可以是其他可以构建三维图像模型的算法，本实施例对此不作限定。

可选地，移动终端可以基于AI算法模型，使用目标对象的第一图像重构该目标对象的三维图像模型，其主要目标是对目标对象进行高保真三维图像模型重建。移动终端首先将目标对象的第一图像以较低的分辨率(通常通过缩小图像比例实现)对AI算法模型的粗略层进行训练，粗略层通过对目标对象的第一图像进行下采样，并将其输入到AI算法模型中捕获目标对象的三维结构。然后，在目标对象的第一图像的原分辨率上训练AI算法模型的精细层，精细层将粗略层的特征作为三维嵌入，得到目标对象的三维图像模型。

可选地，移动终端获取到目标对象的三维图像模型后，可以根据目标对象的第一图像确定目标对象的光影信息、体积信息以及密度信息中的至少一种，将光影信息、体积信息以及密度信息中的至少一种填充到三维图像模型得到目标对象的第二图像。可选地，移动终端基于AI算法模型，使用人物图像来重构该人物的三维图像模型。移动终端首先将人物图像以较低的分辨率对AI算法模型的粗略层模型进行训练，粗略层通过对人物图像进行下采样，并将其输入到AI算法模型中捕获人物的三维结构。然后，在人物图像的原分辨率上训练AI算法模型的精细层，精细层将粗略层的特征作为三维嵌入，得到人物的三维图像模型。在得到第二图像之前或之后，或者在确定或生成第二图像的同时，可以根据人物图像确定人物的光影信息、体积信息以及密度信息中的至少一种，将人物的光影信息、体积信息以及密度信息中的至少一种填充到人物的三维图像模型得到人物的三维图像。

步骤S20，对所述第二图像进行细节补充,以得到目标图像；

在本实施例中，移动终端获取到目标对象的第二图像后，对第二图像进行细节补充，以得到目标图像。可选地，细节可以是第二图像中目标对象的形态特征、面部特征以及纹理特征中的至少一种，目标对象的形态特征可以是指目标对象的体型以及动作姿态等；目标对象的面部特征可以是指目标对象面部的形状以及表情等；目标对象的纹理特征可以是指目标对象附属物的特征。例如，纹理特征可以是衣服颜色、衣服纹理以及衣服褶皱等。通过对第二图像进行细节补充，可以丰富第二图像中目标对象的细节特征，目标图像是指细节补充后的第二图像。

可选地，所述方法还包括步骤S30，输出所述目标图像。

在本实施例中，移动终端可以在显示界面显示目标图像。可选地，移动终端获取到人物的第二图像后，对第二图像中人物的形态特征、面部特征以及纹理特征的至少一种进行补充得到目标图像，以丰富第二图像中人物的细节，进而输出目标图像。

需要说明的是，目标图像是具有自由视角的三维图像，移动终端输出目标图像后，用户可以通过手势操作切换目标图像的观看视角。可选地，用户可以通过手指在显示屏的各个方向上滑动，以将目标图像的观看视角切换到用户想要的视角。在其他实施例中，用户也可以通过其他方式切换目标图像的观看视角，例如通过语音指令或者在移动终端设置辅助切换按键等方式切换目标图像的观看视角。

本实施例提供的技术方案中，移动终端通过获取目标对象的第一图像，根据第一图像确定或生成目标对象的预设维度的第二图像，然后对第二图像进行细节补充,以得到目标图像。本方案通过上述方式，可以直接在移动终端上生成自由视角图像，操作简单方便，实用性强。

第二实施例

请参阅图4，图4是根据第二实施例示出的图像处理方法的流程示意图，基于上述第一实施例，上述S20的步骤包括：

步骤S21，获取所述目标对象的至少一个第三图像；可选地，所述第三图像与所述第一图像的视角不同；

在本实施例中，移动终端获取到目标对象的第二图像后，获取目标对象的至少一个第三图像，第三图像是与第一图像视角不同的二维图像。

可选地，移动终端对待处理视频中的各图像帧分别进行视角检测，以确定各图像帧的视角，将与第一图像的视角不同的图像帧作为第三图像。可选地，若第一图像是目标对象的正面视角的二维图像，第三图像可以是目标对象的背面视角的二维图像。在其他实施例中，第一图像以及第三图像也可以是目标对象在其他不同视角上的二维图像，本实施例对此不作限定。

步骤S22，对所述第一图像和所述第三图像进行细节特征提取，以得到所述目标对象的细节特征；

在本实施例中，细节特征可以包括目标对象的形态特征、面部特征以及纹理特征等细节特征中的至少一种。移动终端获取到目标对象的第三图像后，分别在第一图像以及第三图像中提取目标对象的形态特征、面部特征以及纹理特征等细节特征中的至少一种。移动终端提取到目标对象的细节特征后，将提取的细节特征添加至第二图像，以丰富第二图像中目标对象的细节特征。例如，移动终端获取到人物正面视角的二维图像以及人物背面视角的二维图像后，根据人物正面视角以及背面视角的二维图像提取人物的形态特征、面部特征，纹理特征等细节中的至少一种，然后将提取的细节添加至人物的第二图像，以丰富人物的细节特征。

步骤S23，将所述细节特征添加至所述第二图像中，以得到所述目标图像。

在本实施例中，移动终端也可以根据用户的需求自定义对目标对象的第二图像进行细节补充。移动终端预设有目标对象的细节特征，通过获取目标对象的预设细节特征，将获取到的预设细节特征添加至目标对象的第二图像。可选地，预设细节特征可以包括目标对象的预设形态特征、预设面部特征以及预设纹理特征中的至少一种。可选地，移动终端中预先存储有人物的虚拟细节特征，用户在得到人物的第二图像后，可以在移动终端中选择符合自己喜好的虚拟细节特征，移动终端将用户选择的虚拟细节特征添加至第二图像中的人物中，以丰富第二图像中的人物的细节特征。

在本实施例中，通过获取目标对象的至少一个第三图像，第三图像与所述第一图像的视角不同，对第一图像和第三图像进行细节特征提取，以得到目标对象的细节特征，将细节特征添加至第二图像中，以得到目标图像。本方案通过对第二图像中目标对象的细节进行补充，可以丰富第二图像中目标对象的细节，提高了图像的真实性。

可选地，移动终端获取到目标对象的第三图像后，还可以对第一图像和第三图像进行背景特征提取，以得到目标对象的背景特征，并背景特征添加至第二图像或目标图像中。可选地，通过对目标对象的第一图像以及第三图像进行特征点检测以及匹配，生成稀疏种子点云，并在此基础上增加生长点以重建目标对象的背景特征，同时可以通过有条件的初值矫正优化等措施提高目标对象的背景特征重建的精确性，降低噪声、空洞等引起的重建错误。移动终端提取到目标对象的背景特征后，将提取的背景特征添加至第二图像或目标图像中。

可选地，移动终端可以先根据目标对象的第一图像以及第三图像对第二图像进行细节补充得到目标图像，再根据第一图像以及第三图像提取目标对象的背景特征，并添加直至目标图像中；移动终端也可以先根据第一图像以及第三图像提取目标对象的背景特征，并添加至目标对象的第二图像中，再根据第一图像以及第三图像对添加背景特征后的第二图像进行细节补充得到目标图像；移动终端还可以采用并行的方式同时对第二图像进行细节补充和背景特征的添加得到目标图像。

可选地，移动终端还可以根据用户的需求自定义对第二图像或者目标图像添加背景特征，移动终端预设有背景特征，移动终端通过获取预设背景特征，将获取到的预设背景特征添加至第二图像或者目标图像。

在本实施例中，通过对第一图像和第三图像进行背景特征提取，以得到目标对象的背景特征，然后将背景特征添加至第二图像或目标图像中。可以赋予图像自由视角的背景，进一步提高了图像的真实性。

第三实施例

请参阅图5，图5是根据第三实施例示出的图像处理方法的流程示意图，基于上述第一实施例以及第二实施例，所述图像处理方法还包括：

步骤S40，分别获取待处理视频中各图像帧对应的目标图像；

步骤S50，根据各所述图像帧对应的时间信息将各所述图像帧对应的目标图像进行整合，以得到目标视频。

在本实施例中，移动终端可以获取目标对象的待处理视频中各图像帧对应的目标图像，移动终端获取目标对象的待处理视频中各图像帧对应的目标图像的具体过程可以参考第一实施例以及第二实施例的内容，在此不再赘述。可选地，可以将待处理视频中的各图像帧作为第一图像，并根据上述任一实施例中的图像处理方法对待处理视频中的各图像帧进行处理，以得到各图像帧对应的目标图像，各图像帧对应的目标图像为自由视角图像。

在本实施例中，移动终端获取到各图像帧对应的目标图像后，获取各图像帧对应的时间信息，根据各图像帧对应的时间信息将各图像帧对应的目标图像进行整合得到目标视频。可选地，将各图像帧对应的目标图像按照时间先后顺序关联得到目标视频，目标视频是指待处理视频对应的自由视角视频。可选地，移动终端得到目标视频后，还可输出该目标视频。

可选地，移动终端输出目标视频后，用户可以通过手势操作切换目标视频的观看视角。可选地，移动终端响应用户针对目标视频的视角转换操作，根据所述视角转换操作确定目标视角，输出目标视角下的目标视频，视角转换操作可以是用户在移动终端显示界面的不同方向上的触发操作，该触发操作可以是点击操作，还可以是滑动操作。可选地，获取目标视频对应的当前视角，根据当前视角和视角转换操作确定目标视角。在其他实施例中，用户也可以通过其他方式切换目标视频的观看视角，例如通过语音指令或者在移动终端设置辅助切换按键等方式切换目标视频的观看视角，本公开对此不做具体限定。

可选地，移动终端在对各图像帧对应的目标图像整合之前，可以对各图像帧进行关键点检测，获取各图像帧中目标对象的二维关键点信息；将目标对象的二维关键点信息转换至三维空间，以得到目标对象的三维关键点信息；并将目标对象的三维关键点信息映射至各图像帧对应的目标图像中。可选地，关键点信息可以反映目标对象的动作变化，二维关键点信息是目标对象的关键点信息在二维图像上的表示，三维关键点信息是目标对象的关键点信息在三维图像上的表示。移动终端可以通过关键点检测技术对目标对象的关键点进行检测，通过对目标对象的关键点进行检测可以捕捉到目标对象的动作变化。

可选地，移动终端可以分别获取待处理视频中至少两帧图像帧对应的目标图像，根据至少两帧图像帧对应的目标图像形成备选目标视频，对备选目标视频进行插帧处理，以得到目标视频。这样，在生成目标视频的过程中可以减少计算量，不需要对每个图像帧都进行处理得到其对应的目标图像，只需要通过待处理视频中的少数图像帧处理得到对应的目标图像，根据待处理视频中的少数图像帧对应的目标图像生成备选目标视频，然后基于视频插帧技术对备选目标视频缺失的图像帧进行补充，得到完整的目标视频。

本实施例提供的技术方案中，通过分别获取待处理视频中各图像帧对应的目标图像，根据各图像帧对应的时间信息将各图像帧对应的目标图像进行整合，以得到目标视频。本方案实现在移动终端上生成自由视角视频，操作简单方便，实用性强。

本申请还提供一种移动终端，移动终端包括存储器、处理器，存储器上存储有图像处理程序，图像处理程序被处理器执行时实现上述任一实施例中的图像处理方法的步骤。

本申请还提供一种可读存储介质，可读存储介质上存储有图像处理程序，图像处理程序被处理器执行时实现上述任一实施例中的图像处理方法的步骤。

在本申请提供的移动终端和可读存储介质的实施例中，可以包含任一上述图像处理方法实施例的全部技术特征，说明书拓展和解释内容与上述方法的各实施例基本相同，在此不做再赘述。

本申请实施例还提供一种计算机程序产品，计算机程序产品包括计算机程序代码，当计算机程序代码在计算机上运行时，使得计算机执行如上各种可能的实施方式中的方法。

本申请实施例还提供一种芯片，包括存储器和处理器，存储器用于存储计算机程序，处理器用于从存储器中调用并运行计算机程序，使得安装有芯片的设备执行如上各种可能的实施方式中的方法。

可以理解，上述场景仅是作为示例，并不构成对于本申请实施例提供的技术方案的应用场景的限定，本申请的技术方案还可应用于其他场景。例如，本领域普通技术人员可知，随着系统架构的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。

本申请实施例设备中的单元可以根据实际需要进行合并、划分和删减。

在本申请中，对于相同或相似的术语概念、技术方案和/或应用场景描述，一般只在第一次出现时进行详细描述，后面再重复出现时，为了简洁，一般未再重复阐述，在理解本申请技术方案等内容时，对于在后未详细描述的相同或相似的术语概念、技术方案和/或应用场景描述等，可以参考其之前的相关详细描述。

在本申请中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本申请技术方案的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本申请记载的范围。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，被控终端，或者网络设备等)执行本申请每个实施例的方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络，或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、存储盘、磁带)、光介质(例如，DVD)，或者半导体介质(例如固态存储盘Solid State Disk(SSD))等。

以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种图像处理方法，其特征在于，所述图像处理方法包括：

获取目标对象的第一图像，根据所述第一图像确定或生成所述目标对象的预设维度的第二图像；

对所述第二图像进行细节补充,以得到目标图像。

2.如权利要求1所述的方法，其特征在于，所述对所述第二图像进行细节补充，以得到目标图像的步骤包括：

获取所述目标对象的至少一个第三图像；

对所述第一图像和所述第三图像进行细节特征提取，以得到所述目标对象的细节特征；

将所述细节特征添加至所述第二图像中，以得到所述目标图像。

3.如权利要求2所述的方法，其特征在于，获取所述目标对象的至少一个第三图像的步骤包括：

对待处理视频中的各图像帧分别进行视角检测，以确定各所述图像帧的视角；

将与所述第一图像的视角不同的所述图像帧作为所述第三图像。

4.如权利要求2所述的方法，其特征在于，所述方法还包括：

对所述第一图像和所述第三图像进行背景特征提取，以得到所述目标对象的背景特征；

将所述背景特征添加至所述第二图像或所述目标图像中。

5.如权利要求1所述的方法，其特征在于，所述根据所述第一图像确定或生成所述目标对象的预设维度的第二图像的步骤包括：

根据所述第一图像确定或生成所述目标对象的预设维度的图像模型；

获取所述目标对象的光影信息、体积信息以及密度信息中的至少一种；

将所述目标对象的光影信息、体积信息以及密度信息中的至少一种填充至所述预设维度的图像模型中，以得到所述第二图像。

6.如权利要求1至5中任一项所述的方法，其特征在于，所述方法还包括：

分别获取待处理视频中各图像帧对应的目标图像；

根据各所述图像帧对应的时间信息将各所述图像帧对应的目标图像进行整合，以得到目标视频。

7.如权利要求6所述的方法，其特征在于，所述方法还包括：

对各所述图像帧进行关键点检测，获取各所述图像帧中目标对象的二维关键点信息；

将所述目标对象的二维关键点信息转换至三维空间，以得到所述目标对象的三维关键点信息；

将所述目标对象的三维关键点信息映射至各所述图像帧对应的目标图像中。

8.如权利要求1至5中任一项所述的方法，其特征在于，所述方法还包括：

分别获取待处理视频中至少两帧图像帧对应的目标图像，根据所述至少两帧图像帧对应的目标图像形成备选目标视频；

对所述备选目标视频进行插帧处理，以得到所述目标视频。

9.一种移动终端，其特征在于，所述移动终端包括：存储器、处理器，其中，所述存储器上存储有图像处理程序，所述图像处理程序被所述处理器执行时实现如权利要求1至8中任一项所述的图像处理方法的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储有图像处理程序，所述图像处理程序被处理器执行时实现如权利要求1至8中任一项所述的图像处理方法的步骤。

Images