CN115147492A - 一种图像处理方法以及相关设备 - Google Patents

Abstract

本申请实施例提供了一种图像处理方法，包括：获取排布在目标区域周围的M个相机采集的M个图像，根据M个图像中目标主体所在的区域，从M个相机中确定1个主相机并根据第一主相机从M个相机中N个辅助相机，1个主相机以及N个辅助相机采集的图像用于生成自由视点视频，且目标主体在自由视点视频中所在的区域与目标主体在主机位采集的图像中的区域相关。本申请根据M个相机采集的图像中每个图像中目标主体所在的区域来选择主相机和辅助相机，因此可以选择出目标主体所在的区域在图像中具有较好显示位置的图像，并将采集该图像的相机作为主相机，根据主相机和辅助相机采集的图像生成自由视点视频，可以提高自由视点视频中目标主体的视频显示效果。

Description

一种图像处理方法以及相关设备

技术领域

本申请涉及图像处理领域，尤其涉及一种图像处理方法以及相关设备。

背景技术

自由视点视频是一种通过多相机视频采集系统同步拍摄、存储、处理、生成可变视点视频的技术。多相机系统按照特定的轨迹部署于舞台赛场的环绕区域，多相机通过同步信号触发快门进行时间同步拍摄，拍摄到的多路视频信号由导播进行选择和剪切，编码成一段视频，例如电影骇客帝国中的子弹时间。近年主要应用在节目特效拍摄、体育赛事直播等场景。除了子弹时间拍摄时间静止的效果外，也可以创新性的可让观众自由选择任意时刻的360度任意观看视角，以区别于传统直播中只能观看统一的导播视角。

在现有的实现中，多个相机的镜头朝向固定，也就是仅针对事先定义好的空间位置聚焦，生成以这一焦点为固定环绕中心的自由视点视频，当主体在环绕中心的时候，自由视点视频的视频效果较好，而当主体偏移环绕中心时会呈现偏轴的旋转效果，自由视点视频的视频效果较差。

发明内容

本申请实施例提供了一种图像处理方法，可以提高自由视点视频中目标主体的视频显示效果。

第一方面，本申请提供了一种图像处理方法，所述方法包括：

确定目标主体；

获取M个图像；其中，所述M个图像为M个相机针对所述目标主体在第一时刻分别采集的一个图像，所述M个相机环绕排布在目标区域周围，且所述M个相机的镜头指向所述目标区域，所述目标主体位于所述目标区域内；在所述M个图像的每个图像中确定所述目标主体所在的区域；在所述M个图像的每个图像中确定所述目标主体所在的区域；

其中，可以通过同步信号来触发M个相机的快门来进行时间上同步的视频采集，M个图像为M个相机在某一个时刻(第一时刻)分别采集的图像，应理解，由于触发信号的传输时延或者相机的信号处理性能的差异，M个图像可以为M个相机在与第一时刻存在一定可接受误差的时间范围内采集的图像。

其中，M个相机可以按照特定的轨迹排布在目标区域的周围的环绕区域，M个相机可以按照圆形、半圆形、椭圆形等轨迹排布，只要可以使得M个相机的视场角可以覆盖目标区域中的被拍摄区域，本申请并不限定M个相机的排布轨迹。M个相机可以位于目标区域之外且距离目标区域一定距离范围内(例如1m、2m)的区域，M个相机也可以位于目标区域的边缘区域，例如摆放在舞台上的边缘区域。

其中，目标区域可以为舞台、球场等被拍摄区域；

其中，所述M个相机的镜头指向所述目标区域，可以理解为M个相机的镜头的主光轴都指向目标区域，也就是M个相机的视场角都覆盖了目标区域或者目标区域中的局部区域。

其中，可以通过对M个相机采集的M个图像中每个图像进行目标主体检测，来确定M个相机采集的图像中每个图像中目标主体的所在的区域。其中，目标主体的区域可以由目标主体的特征点来指示，也就是需要确定多个相机采集的每个图像中目标主体的特征点，其中，特征点可以指示目标主体的所在的区域，特征点可以是二维图像中人体的稳定特征点，例如可以包括如下特征点的至少一种：骨骼点(如肩部骨骼点、胯部骨骼点等等)、头部特征点、手部特征点、脚部特征点、人体服饰特征点或配饰纹理等等。

根据所述每个图像中所述目标主体所在的区域，从所述M个相机中确定1个主相机；所述主相机的位置与所述目标主体在所述目标区域内的位置相关；根据所述主相机从所述M个相机中确定N个辅助相机；

根据所述1个主相机以及所述N个辅助相机在第二时刻采集的图像，生成自由视点视频；其中，所述目标主体在所述自由视点视频中所在的区域与所述目标主体在所述主相机在第二时刻采集的图像中的区域相关。

根据所述1个主相机以及所述N个辅助相机在第二时刻采集的图像，基于一定的图像排布规则在时域上进行排列以生成自由视点视频，上述规则可以为自动生成的或者是通过用户(例如导播)来指定的。

为了保证用于生成自由视点视频的图像中目标主体所处的区域不会出现偏轴、尺寸大小过小等情况，可以根据M个相机采集的图像中每个图像中目标主体所在的区域从M个相机中选择一个主相机，该主相机采集的图像中目标主体的显示质量较高，进而可以基于该主相机来对其他辅助相机采集的图像进行图像变换，提高其他辅助相机采集的图像中目标主体的显示质量。

本申请实施例中，根据M个相机采集的图像中每个图像中目标主体所在的区域来选择主相机和辅助相机，因此可以选择出目标主体所在的区域在图像中具有较好显示位置的图像，并将采集该图像的相机作为主相机，根据主相机和辅助相机采集的图像生成自由视点视频，进而提高了自由视点视频中目标主体的视频效果。

在一种可能的实现中，确定的所述主相机与所述目标主体之间可以满足如下关系的至少一种：

情况1：所述主相机与所述目标主体之间的距离小于预设距离。

由于目标主体为需要在自由视点视频中最需要体现的目标，因此需要选择的主相机采集的图像中目标主体的图像显示质量较高，当主相机与所述目标主体之间小于预设距离时，可以保证主相机采集的图像中目标主体所在的区域在图像中的像素占比较大，进而使得主相机采集的图像中目标主体的图像显示质量较高。预设距离可以与相机的焦距、目标区域的大小有关。

情况2：所述目标主体位于所述主相机的镜头视场角覆盖区域的中心位置。

由于目标主体为需要在自由视点视频中最需要体现的目标，因此需要选择的主相机采集的图像中目标主体的图像显示质量较高，当目标主体在所述目标区域内的位置位于所述主相机的镜头指向的区域的中心位置(也就是主相机的镜头视场角覆盖区域的中心位置)时，可以保证主相机采集的图像中目标主体所在的区域在图像的中心区域，进而使得主相机采集的图像中目标主体的图像显示质量较高。

情况3：所述目标主体在所述主相机采集的图像中被完整成像。

由于目标主体为需要在自由视点视频中最需要体现的目标，因此需要选择的主相机采集的图像中目标主体的图像显示质量较高，当所述主相机的位置与所述目标主体在所述目标区域内的位置之间不存在障碍物时，所述目标主体可以在所述主相机采集的图像中被完整成像，进而可以保证主相机采集的图像中目标主体所在的区域没有被其他障碍物遮挡，进而使得主相机采集的图像中目标主体的图像显示质量较高。

在一种可能的实现中，所述根据所述每个图像中所述目标主体所在的区域，从所述M个相机中确定1个主相机，包括：

根据所述每个图像中所述目标主体所在的区域，从所述M个图像中确定满足第一预设条件的目标图像；将采集所述目标图像的相机作为所述主相机；其中，所述第一预设条件包括如下的至少一种：

条件1：所述M个图像中所述目标主体所在的区域距离图像中心轴最近的图像；

其中，图像中心轴可以理解为经过图像中心点的对称轴，例如可以为图像的中心点所在的纵轴，图像中心轴可以将图像分成两个形状大小一致的图像。

其中，目标主体的中心轴可以理解为目标主体所在的区域在图像中的纵向轴，例如目标主体为人物，目标主体的中心轴可以为图像中人物由头部指向脚部的方向所在的轴。

由于目标主体为需要在自由视点视频中最需要体现的目标，因此需要选择的主相机采集的图像中目标主体所在的区域在图像的中心区域，其中，中心区域为图像中距离图像中心轴的一定范围内的区域，例如可以在距离中心的30％位置内。

条件2：所述M个图像中所述目标主体所在的区域在图像中所占据的像素比例最大的图像；

由于目标主体为需要在自由视点视频中最需要体现的目标，因此需要选择的主相机采集的图像中目标主体所在的区域覆盖面积较大，也就是说主相机采集的图像中目标主体所在的区域在图像中所占据的像素比例是M个图像最大的。

条件3：所述M个图像中所述目标主体所在的区域在图像中的图像纵轴方向的像素长度最大的图像；

由于目标主体为需要在自由视点视频中最需要体现的目标，因此需要选择的主相机采集的图像中目标主体所在的区域在图像中的图像纵轴方向的像素长度大于预设值，以目标主体为人物为例，则图像纵轴方向的像素长度为人物从头部到脚部的像素长度，主相机采集的图像中目标主体所在的区域在图像中的图像纵轴方向的像素长度是M个图像最大的。

应理解，在一种实现中，还可以将确定的主相机采集的相机画面呈现在用户终端，如果用户对此相机被选为主相机不满意，也可以通过手动选择重置主相机。

在一种可能的实现中，所述将采集所述目标图像的相机作为所述主相机，包括：

获取采集所述目标图像的相机对应的目标机位号，并将所述目标机位号对应的相机作为所述主相机。

在一种可能的实现中，所述根据所述主相机从所述M个相机中确定N个辅助相机，包括：

将所述M个相机中位于所述主相机顺时针方向的N1个相机以及位于所述主相机逆时针方向的N2个相机作为辅助相机，其中，所述N1与N2的和为N。机位与所述主相机的机位间隔在预设范围内的N个相机；由于辅助相机采集的图像也可能需要作为生成自由视点视频的依据，则需要保证辅助相机采集的图像的质量较高，由于主相机采集的图像中目标主体的显示质量较高，且用于作为辅助相机进行图像变换的参考，则可以将机位与所述主相机的机位间隔在预设范围内的N个相机作为辅助相机。

在一种可能的实现中，所述1个主相机与所述N个辅助相机为相机号连续的相机，在自由视点视频为静止时刻的环绕视频时，为了保证生成的自由视点视频中各个图像帧之间的过渡平滑，则需要保证采集图像的相机之间的机位彼此相邻，也就是说辅助相机需要从多个相机中选择机位连续的相机，换一种描述方式，选择的每个辅助相机应该与主相机直接相连或间接相连。

在一种可能的实现中，所述N个辅助相机采集的图像中所述目标主体所在的区域距离图像中心轴的距离小于预设值；由于辅助相机采集的图像也可能需要作为生成自由视点视频的依据，则需要保证辅助相机采集的图像的质量较高，具体的，可以采集的图像中所述目标主体所在的区域与图像中心轴之间的距离在预设范围内的多个相机作为辅助相机。

在一种可能的实现中，所述目标主体在所述N个辅助相机采集的图像中被完整成像。由于辅助相机采集的图像也可能需要作为生成自由视点视频的依据，则需要保证辅助相机采集的图像的质量较高，具体的，可以将采集的图像中所述目标主体未被其他障碍物遮挡的N个相机作为辅助相机。

在一种可能的实现中，N1为第一预设值，N2为第二预设值。

在一种可能的实现中，N1＝N2，也就是说，N个辅助相机中的一半相机位于主相机的顺时针方向，另一半位于主相机的逆时针方向。

在一种实现中，可以将多个相机中除去主相机的相机均作为辅助相机。

在一种实现中，可以将以主相机为中间机位，向左右各延伸一定角度相机(如以当前相机朝向的中心点为中心，左右各延伸30度所包含的所有相机为辅助相机)。应理解，用户可以在用户终端对延伸的度数进行选择；

应理解，上述描述的条件之间可以相互组合，这里并不限定。

在一种可能的实现中，所述根据所述1个主相机以及所述N个辅助相机在第二时刻采集的图像，生成自由视点视频，包括：

获取所述1个主相机以及所述N个辅助相机的机位号；

根据所述1个主相机以及所述N个辅助相机的机位号之间的顺序，对所述1个主相机以及所述N个辅助相机在第二时刻采集的N+1个图像进行时域上的排布和主体对齐，以生成自由视点视频。

在一种可能的实现中，所述对所述1个主相机以及所述N个辅助相机在第二时刻采集的N+1个图像进行主体对齐包括如下的至少一种：

对齐方式1：以所述1个主相机在第二时刻采集的图像中所述目标主体所在的区域为参考，对所述N个辅助相机在第二时刻采集的N个图像进行缩放；具体的，可以根据所述1个主相机在第二时刻采集的图像中所述目标主体所在的区域，对所述N个辅助相机在第二时刻采集的N个图像进行缩放，以得到缩放后的N个图像；所述1个主相机采集的图像与所述缩放后的N个图像中所述目标主体所在的区域在图像中的图像纵轴方向的像素长度差异在预设范围内。

由于不同机位的位置与目标主体的距离不同，使得同一时刻不同机位的相机拍摄的图像之间目标对象的尺寸大小不同，为了能够使得自由视点视频中前后帧之间的变化很平滑，不会出现尺寸变化较大情况，需要将不同机位的相机采集的图像进行缩放，使得缩放后的图像与主相机采集的图像中目标主体之间的尺寸差异较小。

对齐方式2：以所述1个主相机在第二时刻采集的图像中所述目标主体所在的区域为参考，对所述N个辅助相机在第二时刻采集的N个图像进行旋转；

根据所述1个主相机在第二时刻采集的图像中所述目标主体所在的区域，对所述N个辅助相机在第二时刻采集的N个图像进行旋转，以得到旋转后的N个图像；所述1个主相机采集的图像与所述旋转后的N个图像中所述目标主体由顶部区域指向底部区域的方向的差异在预设范围内。

由于不同机位的相机姿态可能不同，且可能不处于同一水平线上，使得同一时刻不同机位的相机拍摄的图像之间目标对象在图像中的方向不同，为了能够使得自由视点视频中前后帧之间的变化很平滑，需要辅助相机采集的图像进行旋转，使得旋转后的图像与主相机采集的图像中目标主体之间的姿态差异较小。

对齐方式3：根据所述1个主相机以及N个辅助相机在第二时刻采集的每个图像中所述目标主体所在的区域，对所述1个主相机以及N个辅助相机在第二时刻采集的每个图像进行裁剪。具体的，可以根据所述1个主相机以及N个辅助相机在第二时刻采集的每个图像中所述目标主体所在的区域，对所述1个主相机以及N个辅助相机在第二时刻采集的每个图像进行裁剪，以得到裁剪后的N+1个图像，所述裁剪后的N+1个图像中的所述目标主体位于中心区域，且所述裁剪后的N+1个图像的尺寸大小相同。

为了使得自由视点视频中的各个图像帧中的目标人物都位于中心区域，可以根据主相机以及多个辅助相机中每个相机采集的图像中目标主体所在的区域，并对图像进行裁剪，使得目标主体位于裁剪后的裁剪图像的中心区域。

在一种可能的实现中，所述确定目标主体，包括：

识别出所述目标区域内的至少一个主体；

向终端设备发送所述至少一个主体中每个主体的信息；

通过接收到所述终端设备发送的针对于所述至少一个主体中目标主体的选择指示，确定所述目标主体。

在一种可能的实现中，所述确定目标主体，包括：

通过识别出所述目标区域内的主体仅包括所述目标主体，确定所述目标主体。

本申请实施例中，在目标区域内存在多个主体时，可以基于和用户之间的交互来实现针对于目标主体的选择。

具体的，可以识别出所述目标区域内的至少一个主体，并显示至少一个选项，每个选项用于指示所述至少一个主体中的一个主体，用户可以从至少一个主体中确定需要在自由视点视频中心区域显示的主体，并进行针对于该主体对应的主体的选择，具体的，可以触发针对于目标选项的选择，进而，可以接收到针对于所述至少一个选项中目标选项的选择指示，其中，所述目标选项用于指示所述至少一个主体中的目标主体。

在一种场景中，目标区域内仅仅存在一个主体(即本实施例中的目标主体)，此时可以使能针对于所述目标主体的选择。

具体的，可以识别出所述目标区域内的主体仅包括所述目标主体，进而使能针对于所述目标主体的选择。

在一种可能的实现中，所述目标区域包括第一目标点和第二目标点，所述获取M个图像之前，所述方法还包括：

获取所述目标区域中的所述目标主体的位置；

基于所述目标主体的位置距离所述第一目标点的距离小于距离所述第二目标点的距离，控制所述M个相机的镜头由指向所述第二目标点变为指向所述第一目标点；

所述获取M个图像，包括：

获取M个相机在镜头指向所述第一目标点时采集的M个图像。

通过上述方式，可以获得保留相对较大画幅且自动跟随所选主体为中心轴的环绕视频。

在一种可能的实现中，所述在所述M个图像的每个图像中确定所述目标主体所在的区域，包括：

获取所述目标主体在物理空间中的第一位置以及所述M个相机的内外参；

根据所述第一位置以及所述M个相机的内外参，在所述M个图像的每个图像中确定所述目标主体所在的区域。

在一种可能的实现中，所述第一时刻与所述第二时刻相同，也就是确定主相机和N个辅助相机所使用的图像和生成自由视点视频所使用的图像为主相机和辅助相机在同一时刻采集的；或者，

所述第一时刻与所述第二时刻不同；所述根据所述1个主相机以及所述N个辅助相机在第二时刻采集的图像，生成自由视点视频之前，所述方法还包括：

获取所述1个主相机以及所述N个辅助相机在第二时刻采集的图像。

第二方面，本申请提供了一种主体选择方法，应用于终端设备，所述方法包括：

显示目标界面，所述目标界面包括旋转轴选择控件，所述旋转轴选择控件用于指示进行旋转轴的选择；

其中，在自由视点视频中，可以呈现出对某一个轴进行视角变换拍摄的效果，该轴可以称之为旋转轴；用户可以通过目标界面中的旋转轴选择控件选择用于在生成自由视点视频时作为所述目标旋转轴视角旋转中心的旋转轴，其中，旋转轴可以为目标区域内的一个位置点，例如目标区域内的中心点或者与中心点存在一定距离的其他点，旋转轴也可以为一个主体，例如人物。

接收到针对于目标旋转轴的选择操作；

向服务器发送针对于所述目标旋转轴的选择指示，所述目标旋转轴用于指示生成以所述目标旋转轴为视角旋转中心的自由视点视频。

在一种可能的实现中，所述旋转轴选择控件用于指示从目标区域内的位置点中进行旋转轴的选择。

在一种可能的实现中，所述旋转轴选择控件用于指示从目标区域内的多个主体中进行旋转轴的选择；所述目标旋转轴用于指示目标主体，所述目标主体还用于指示确定主相机，其中所述目标主体在所述自由视点视频中所在的区域与所述目标主体在所述主相机采集的图像中的区域相关。

第三方面，本申请提供了一种图像处理装置，其特征在于，所述装置包括：

确定模块，用于确定目标主体；

获取模块，用于获取M个图像；其中，所述M个图像为M个相机针对所述目标主体在第一时刻分别采集的一个图像，所述M个相机环绕排布在目标区域周围，且所述M个相机的镜头指向所述目标区域，所述目标主体位于所述目标区域内；在所述M个图像的每个图像中确定所述目标主体所在的区域；

相机确定模块，用于根据所述每个图像中所述目标主体所在的区域，从所述M个相机中确定1个主相机；所述主相机的位置与所述目标主体在所述目标区域内的位置相关；根据所述主相机从所述M个相机中确定N个辅助相机；

视频生成模块，用于根据所述1个主相机以及所述N个辅助相机在第二时刻采集的图像，生成自由视点视频；其中，所述目标主体在所述自由视点视频中所在的区域与所述目标主体在所述主相机在第二时刻采集的图像中的区域相关。

在一种可能的实现中，所述相机确定模块，具体用于根据所述每个图像中所述目标主体所在的区域，从所述M个图像中确定满足第一预设条件的目标图像；将采集所述目标图像的相机作为所述主相机；其中，所述第一预设条件包括如下的至少一种：

所述M个图像中所述目标主体所在的区域距离图像中心轴最近的图像；或者，

所述M个图像中所述目标主体所在的区域在图像中所占据的像素比例最大的图像；或者，

所述M个图像中所述目标主体所在的区域在图像中的图像纵轴方向的像素长度最大的图像。

在一种可能的实现中，所述相机确定模块，具体用于获取采集所述目标图像的相机对应的目标机位号，并将所述目标机位号对应的相机作为所述主相机。

在一种可能的实现中，所述主相机与所述目标主体之间的距离小于预设距离；或者，

所述目标主体位于所述主相机的镜头视场角覆盖区域的中心位置；或者，

所述目标主体在所述主相机采集的图像中被完整成像。

在一种可能的实现中，所述相机确定模块，具体用于将所述M个相机中位于所述主相机顺时针方向的N1个相机以及位于所述主相机逆时针方向的N2个相机作为辅助相机，其中，所述N1与N2的和为N。

在一种可能的实现中，所述1个主相机与所述N个辅助相机为相机号连续的相机；或者，

所述N个辅助相机采集的图像中所述目标主体所在的区域距离图像中心轴的距离小于预设值；或者，

所述目标主体在所述N个辅助相机采集的图像中被完整成像，或者，

N1为第一预设值，N2为第二预设值；或者，

N1＝N2。

在一种可能的实现中，所述视频生成模块，具体用于获取所述1个主相机以及所述N个辅助相机的机位号；

根据所述1个主相机以及所述N个辅助相机的机位号之间的顺序，对所述1个主相机以及所述N个辅助相机在第二时刻采集的N+1个图像进行时域上的排布和主体对齐，以生成自由视点视频。

在一种可能的实现中，所述对所述1个主相机以及所述N个辅助相机在第二时刻采集的N+1个图像进行主体对齐包括如下的至少一种：

以所述1个主相机在第二时刻采集的图像中所述目标主体所在的区域为参考，对所述N个辅助相机在第二时刻采集的N个图像进行缩放；或者，

以所述1个主相机在第二时刻采集的图像中所述目标主体所在的区域为参考，对所述N个辅助相机在第二时刻采集的N个图像进行旋转；

根据所述1个主相机以及N个辅助相机在第二时刻采集的每个图像中所述目标主体所在的区域，对所述1个主相机以及N个辅助相机在第二时刻采集的每个图像进行裁剪。

在一种可能的实现中，所述确定模块，用于识别出所述目标区域内的至少一个主体；

向终端设备发送所述至少一个主体中每个主体的信息；

通过接收到所述终端设备发送的针对于所述至少一个主体中目标主体的选择指示，确定所述目标主体。

在一种可能的实现中，所述确定模块，用于

通过识别出所述目标区域内的主体仅包括所述目标主体，确定所述目标主体。

在一种可能的实现中，所述目标区域包括第一目标点和第二目标点，所述获取模块，还用于获取所述目标区域中的所述目标主体的位置；

基于所述目标主体的位置距离所述第一目标点的距离小于距离所述第二目标点的距离，控制所述M个相机的镜头由指向所述第二目标点变为指向所述第一目标点；

获取M个相机在镜头指向所述第一目标点时采集的M个图像。

在一种可能的实现中，所述获取模块，用于获取所述目标主体在物理空间中的第一位置以及所述M个相机的内外参；

根据所述第一位置以及所述M个相机的内外参，在所述M个图像的每个图像中确定所述目标主体所在的区域。

在一种可能的实现中，所述第一时刻与所述第二时刻相同；或者，

所述第一时刻与所述第二时刻不同；所述获取模块，还用于在所述根据所述1个主相机以及所述N个辅助相机在第二时刻采集的图像，生成自由视点视频之前，获取所述1个主相机以及所述N个辅助相机在第二时刻采集的图像。

第四方面，本申请提供了一种主体选择装置，应用于终端设备，所述装置包括：

显示模块，用于显示目标界面，所述目标界面包括旋转轴选择控件，所述旋转轴选择控件用于指示进行旋转轴的选择；

接收模块，用于接收到针对于目标旋转轴的选择操作；

发送模块，用于向服务器发送针对于所述目标旋转轴的选择指示，所述目标旋转轴用于指示生成以所述目标旋转轴为视角旋转中心的自由视点视频。

在一种可能的实现中，所述旋转轴选择控件用于指示从目标区域内的位置点中进行旋转轴的选择。

在一种可能的实现中，所述旋转轴选择控件用于指示从目标区域内的多个主体中进行旋转轴的选择；所述目标旋转轴用于指示目标主体，所述目标主体还用于指示确定主相机，其中所述目标主体在所述自由视点视频中所在的区域与所述目标主体在所述主相机采集的图像中的区域相关。

第五方面，本申请提供了一种服务器，所述服务器包括处理器、存储器和总线，其中：所述处理器和所述存储器通过所述总线连接；所述存储器，用于存放计算机程序；所述处理器，用于控制所述存储器，执行所述存储器上所存放的程序，以实现上述第一方面及第一方面中任一项可能实现方式所述的步骤。

第六方面，本申请提供了一种终端设备，所述终端设备包括处理器、存储器、显示屏和总线，其中：

所述处理器、所述显示屏和所述存储器通过所述总线连接；

所述存储器，用于存放计算机程序；

所述处理器，用于控制所述存储器，执行所述存储器上所存放的程序，还用于控制所述显示屏，以实现上述第二方面及第二方面中任一项可能实现方式所述的步骤。

第七方面，本申请提供了一种计算机存储介质，包括计算机指令，当计算机指令在电子设备或服务器上运行时，执行上述第一方面及第一方面中任一项可能实现方式所述的步骤，以及第二方面及第二方面中任一项可能实现方式所述的步骤。

第八方面，本申请提供了一种计算机程序产品，当计算机程序产品在电子设备或服务器上运行时，执行上述第一方面及第一方面中任一项可能实现方式所述的步骤，以及第二方面及第二方面中任一项可能实现方式所述的步骤。

第九方面，本申请提供了一种芯片系统，该芯片系统包括处理器，用于支持执行设备或训练设备实现上述方面中所涉及的功能，例如，发送或处理上述方法中所涉及的数据；或，信息。在一种可能的设计中，所述芯片系统还包括存储器，所述存储器，用于保存执行设备或训练设备必要的程序指令和数据。该芯片系统，可以由芯片构成，也可以包括芯片和其他分立器件。

本申请实施例提供了一种图像处理方法，所述方法包括：确定目标主体；获取M个图像；其中，所述M个图像为M个相机针对所述目标主体在第一时刻分别采集的一个图像，所述M个相机环绕排布在目标区域周围，且所述M个相机的镜头指向所述目标区域，所述目标主体位于所述目标区域内；在所述M个图像的每个图像中确定所述目标主体所在的区域；在所述M个图像的每个图像中确定所述目标主体所在的区域；根据所述每个图像中所述目标主体所在的区域，从所述M个相机中确定1个主相机；所述主相机的位置与所述目标主体在所述目标区域内的位置相关；根据所述主相机从所述M个相机中确定N个辅助相机；所述主相机的位置与所述目标主体在所述目标区域内的位置相关；根据所述1个主相机以及所述N个辅助相机在第二时刻采集的图像，生成自由视点视频；其中，所述目标主体在所述自由视点视频中所在的区域与所述目标主体在所述主相机采集的图像中的区域相关。通过上述方式，根据M个相机采集的图像中每个图像中目标主体所在的区域来选择主相机和辅助相机，因此可以选择出目标主体所在的区域在图像中具有较好显示位置的图像，并将采集该图像的相机作为主相机，根据主相机和辅助相机采集的图像生成自由视点视频，进而提高了自由视点视频中目标主体的视频效果。

附图说明

图1a为本申请实施例提供的相机排布示意图；

图1b为本申请实施例提供的相机排布示意图；

图1c为本申请实施例中自由实现视频生成系统的架构示意图；

图1d为本申请实施例中自由实现视频生成系统的架构示意图；

图1e为本申请实施例中服务器的架构示意图；

图1f为本申请实施例中自由实现视频生成系统的架构示意图；

图2a为本申请实施例的终端设备的结构示意；

图2b为本申请实施例的终端设备的软件结构框图；

图3为本申请实施例提供的图像处理方法的流程示意；

图4为本申请实施例中的一种拍摄场景示意；

图5为本申请实施例中的一种离线标定流程示意；

图6为本申请实施例中的一种目标主体物理位置的确定示意；

图7a为本申请实施例中的一种主体位置偏移示意；

图7b为本申请实施例中的一种主体位置偏移示意；

图7c为本申请实施例中的一种中间视点示意；

图8为本申请实施例中的一种图像变换示意；

图9为本申请实施例中的一种目标主体在图像中所在区域的确定方法示意；

图10为本申请实施例中的一种虚拟视角变换示意；

图11为本申请实施例中的一种图像裁剪示意；

图12为本申请实施例中的一种图像裁剪示意；

图13为本申请实施例中的一种图像裁剪示意；

图14为本申请实施例中的一种图像裁剪示意；

图15为本申请实施例提供的图像处理方法的流程示意；

图16为本申请实施例提供的多个相机的焦点示意；

图17为本申请实施例提供的多个相机的焦点变换示意；

图18为本申请实施例提供的图像处理方法的流程示意；

图19为本申请实施例提供的图像处理方法的流程示意；

图20a为本申请实施例提供的主体选择方法的流程示意；

图20b为本申请实施例提供的一个界面示意；

图21为本申请实施例提供的一个界面示意；

图22为本申请实施例提供的一个界面示意；

图23为本申请实施例提供的一个界面示意；

图24为本申请实施例提供的图像处理装置的结构示意；

图25为本申请实施例提供的主体选择装置的结构示意；

图26为本申请实施例提供的服务器的结构示意。

具体实施方式

下面结合本发明实施例中的附图对本发明实施例进行描述。本发明的实施方式部分使用的术语仅用于对本发明的具体实施例进行解释，而非旨在限定本发明。

下面结合附图，对本申请的实施例进行描述。本领域普通技术人员可知，随着技术的发展和新场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。

本申请实施例可以应用于自由视点视频生成系统中，其中，自由实现视频生成系统可以包括排布在被拍摄场地周围的多个相机，用于将多个相机采集的图像帧传输至云侧服务器的数据传输系统以及云侧用于进行图像处理的数据处理服务器，图像处理服务器可以将多个相机采集的图像帧处理为自由视点视频，接下来分别进行说明：

本申请实施例中，排布在拍摄场地周围的多个相机可以以被拍摄场地(后续实施例中称之为目标区域)的中心点为中心，将多个相机排布在目标区域周围，多个相机的排布方式可以但不限于为按照圆形或者半圆形的排布方式排布在目标区域周围，其中，多个相机中相邻相机的间隔角度可以小于预设值，例如小于10度，多个相机可以间隔排布，也就是多个相机中任意两个相邻的相机之间的距离相同。在同一时刻，多个相机的镜头中心朝向目标区域的同一点(例如本申请实施例中的第一目标点和第二目标点)。

参照图1a，图1a为本申请实施例中的多相机排布的一个示意，如图1a所示，可以以被拍摄场地(后续实施例中称之为目标区域)的中心点为中心，将多个相机排布在目标区域周围的平地上，多个相机的排布方式可以但不限于为按照圆形或者半圆形的排布方式排布在目标区域周围，其中，多个相机中相邻相机的间隔角度可以小于预设值，例如小于10度，多个相机可以间隔排布，也就是多个相机中任意两个相邻的相机之间的距离相同。在同一时刻，多个相机的镜头中心朝向目标区域的同一点。

参照图1b，图1b为本申请实施例中的多相机排布的一个示意，和图1a不同的是，多个相机中的部分相机可以设置于液压杆上，设置在液压杆上的相机可以随着液压杆的抬升被抬起至空中，例如图1b中以约3度的间隔，等间距排列120台相机，且其中的60个相机被摆放在液压杆上，液压杆可以抬起任意角度，图1b中以30度、45度、60度为例。在液压杆抬起的过程中，液压杆上设置的各个相机的镜头中心朝向目标区域的同一点。

应理解，上述各个相机的镜头中心朝向目标区域的同一点可以理解为，多个相机的镜头的光心朝向目标区域的同一点，即，多个相机的镜头的主光轴可以汇聚在同一个点。

本申请实施例中，参照图1c，多个相机采集的图像帧可以通过数据传输系统传递至云侧的图像处理服务器，由图像处理服务器将多个相机采集的图像帧处理为自由视点视频。具体的，图像处理服务器可以基于本申请实施例提供的图像处理方法将多个相机采集的图像帧处理为自由视点视频。

如图1c所示，服务器还可以与终端通信连接，其中，终端可以参与生成自由视点视频的过程，用户可以通过终端来向图像处理服务器发送指令，进而图像处理服务器可以基于指令所指示的规则来生成自由视点视频。

参照图1d，图1d为一种自由视点视频生成系统的架构示意，如图1d所示，被现场拍摄可以包括多个相机(例如图1d中所示的相机1、相机2、…、相机N)、一层交换机(例如图1d中所示的交换机1、…、交换机M)、采集服务器(例如图1d中所示的采集服务器1、…、采集服务器W)、主交换机、数据推送服务器，在云侧可以包括数据接收服务器。具体的，多个相机可以被同步控制系统触发进行同步拍摄，根据相机的码率、限制带宽等原因设置M个一层交换机负责连接相机，每个一层交换机连接N/M个相机，并连接到主交换机，根据相机的码率、限制带宽等原因配置采集服务器W个，直连到主交换机上，负责发送指令接收相机拍摄的视频。拍摄现场的数据推送服务器负责将来自于采集服务器接收到的视频信号发送给云侧的数据接收服务器，云侧数据接收服务器负责接收数据推送服务器推送的视频信号，并传输至图像处理服务器，图像处理服务器可以提取各个相机的图像帧，并生成自由视点视频。

接下来介绍本申请实施例中的图像处理服务器1300，参照图1e，服务器1300可以包括处理器1310、收发器1320，收发器1320可以与处理器1310连接，如图2b所示。收发器1320可以包括接收器和发送器，可以用于接收或者发送消息或数据，收发器1320可以是网卡。服务器1300还可以包括加速部件(可称为加速器)，当加速部件为网络加速部件时，加速部件可以为网卡。处理器1310可以是服务器1300的控制中心，利用各种接口和线路连接整个服务器1300的各个部分，如收发器1320等。在本发明中，处理器1310可以是中央处理器(Central Processing Unit，CPU)，可选的，处理器1310可以包括一个或多个处理单元。处理器1310还可以是数字信号处理器、专用集成电路、现场可编程门阵列、GPU或者其他可编程逻辑器件等。服务器1300还可以包括存储器1330，存储器1330可用于存储软件程序以及模块，处理器1310通过读取存储在存储器1330的软件代码以及模块，从而执行服务器1300的各种功能应用以及数据处理。具体的，处理器1310通过读取存储在存储器1330的软件代码以及模块，从而执行本申请实施例提供的图像处理方法。

本申请实施例中，图像处理服务器在生成自由视点视频后，可以将自由视点视频传输至端侧的终端设备，终端设备可以播放接收到的自由视点视频。或者，终端可以参与生成自由视点视频的过程，用户可以通过终端来向图像处理服务器发送指令，进而图像处理服务器可以基于指令所指示的规则来生成自由视点视频。

如图1f所示，该系统可以包括终端设备和服务器。其中，终端设备可以是可移动终端、人机交互设备、车载视觉感知设备，如手机、扫地机、智能机器人、无人驾驶车辆、智能监控器、增强现实(Augmented Reality，AR)穿戴设备等。

为便于理解，下面将对本申请实施例提供的终端100的结构进行示例说明。参见图2a，图2a是本申请实施例提供的终端设备的结构示意图。

如图2a所示，终端100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

可以理解的是，本发明实施例示意的结构并不构成对终端100的具体限定。在本申请另一些实施例中，终端100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

I2C接口是一种双向同步串行总线，包括一根串行数据线(serial data line，SDA)和一根串行时钟线(derail clock line，SCL)。在一些实施例中，处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K，充电器，闪光灯，摄像头193等。例如：处理器110可以通过I2C接口耦合触摸传感器180K，使处理器110与触摸传感器180K通过I2C总线接口通信，实现终端100的触摸功能。

I2S接口可以用于音频通信。在一些实施例中，处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合，实现处理器110与音频模块170之间的通信。在一些实施例中，音频模块170可以通过I2S接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。

PCM接口也可以用于音频通信，将模拟信号抽样，量化和编码。在一些实施例中，音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中，音频模块170也可以通过PCM接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。

UART接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，UART接口通常被用于连接处理器110与无线通信模块160。例如：处理器110通过UART接口与无线通信模块160中的蓝牙模块通信，实现蓝牙功能。在一些实施例中，音频模块170可以通过UART接口向无线通信模块160传递音频信号，实现通过蓝牙耳机播放音乐的功能。

MIPI接口可以被用于连接处理器110与显示屏194，摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface，CSI)，显示屏串行接口(displayserial interface，DSI)等。在一些实施例中，处理器110和摄像头193通过CSI接口通信，实现终端100的拍摄功能。处理器110和显示屏194通过DSI接口通信，实现终端100的显示功能。

GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，GPIO接口可以用于连接处理器110与摄像头193，显示屏194，无线通信模块160，音频模块170，传感器模块180等。GPIO接口还可以被配置为I2C接口，I2S接口，UART接口，MIPI接口等。

USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口130可以用于连接充电器为终端100充电，也可以用于终端100与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如AR设备等。

可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对终端100的结构限定。在本申请另一些实施例中，终端100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

充电管理模块140用于从充电器接收充电输入。

电源管理模块141用于连接电池142，充电管理模块140与处理器110。

终端100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。终端100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块150可以提供应用在终端100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(lownoise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A，受话器170B等)输出声音信号，或通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。

无线通信模块160可以提供应用在终端100上的包括无线局域网(wireless localarea networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequencymodulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

在一些实施例中，终端100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得终端100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(code divisionmultiple access，CDMA)，宽带码分多址(wideband code division multiple access，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system，GPS)，全球导航卫星系统(globalnavigation satellite system，GLONASS)，北斗卫星导航系统(beidou navigationsatellite system，BDS)，准天顶卫星系统(quasi-zenith satellite system，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)。

终端100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，终端100可以包括1个或N个显示屏194，N为大于1的正整数。

具体的，显示屏194可以显示本实施例中的目标界面。

终端100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。ISP用于处理摄像头193反馈的数据。摄像头193用于捕获静态图像或视频。

视频编解码器用于对数字视频压缩或解压缩。终端100可以支持一种或多种视频编解码器。这样，终端100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展终端100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储终端100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。处理器110通过运行存储在内部存储器121的指令，和/或存储在设置于处理器中的存储器的指令，执行终端100的各种功能应用以及数据处理。

终端100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。

扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。终端100可以通过扬声器170A收听音乐，或收听免提通话。受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。耳机接口170D用于连接有线耳机。

压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。

陀螺仪传感器180B可以用于确定终端100的运动姿态。

气压传感器180C用于测量气压。

磁传感器180D包括霍尔传感器。

加速度传感器180E可检测终端100在各个方向上(一般为三轴)加速度的大小。

距离传感器180F，用于测量距离。

接近光传感器180G可以包括例如发光二极管(LED)和光检测器，例如光电二极管。

环境光传感器180L用于感知环境光亮度。

指纹传感器180H用于采集指纹。

温度传感器180J用于检测温度。

触摸传感器180K，也称“触控器件”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于终端100的表面，与显示屏194所处的位置不同。

骨传导传感器180M可以获取振动信号。

按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。终端100可以接收按键输入，产生与终端100的用户设置以及功能控制有关的键信号输入。

马达191可以产生振动提示。

指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。

SIM卡接口195用于连接SIM卡。

终端100的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本发明实施例以分层架构的Android系统为例，示例性说明终端100的软件结构。

图2b是本公开实施例的终端100的软件结构框图。

分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(Android runtime)和系统库，以及内核层。

应用程序层可以包括一系列应用程序包。

如图2b所示，应用程序包可以包括相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等应用程序。

应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。

如图2b所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。

内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。

视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。

电话管理器用于提供终端100的通信功能。例如通话状态的管理(包括接通，挂断等)。

资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。

通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，电子设备振动，指示灯闪烁等。

Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。

核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。

应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(Media Libraries)，三维图形处理库(例如：OpenGL ES)，2D图形引擎(例如：SGL)等。

表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。

媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如:MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。

三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。

2D图形引擎是2D绘图的绘图引擎。

内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。

下面结合视频播放场景，示例性说明终端100软件以及硬件的工作流程。

当触摸传感器180K接收到触摸操作，相应的硬件中断被发给内核层。内核层将触摸操作加工成原始输入事件(包括触摸坐标，触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件，识别该输入事件所对应的控件。以该触摸操作是触摸单击操作，以该单击操作所对应的控件为视频播放相关应用图标的控件为例，视频播放应用调用应用框架层的接口，启动视频播放应用，进而通过调用内核层在视频播放应用的视频播放界面播放视频，例如可以播放自由视点视频。

参照图3，图3为本申请实施例提供的一种图像处理方法的流程示意，如图3所示，本申请实施例提供的图像处理方法包括：

301、确定目标主体。

在自由视点视频生成的场景中，M个相机环绕排布在目标区域周围，且所述M个相机的镜头指向所述目标区域，所述目标主体位于所述目标区域内；

其中，可以通过同步信号来触发M个相机的快门来进行时间上同步的视频采集，M个图像为M个相机在某一个时刻(第一时刻)分别采集的图像，应理解，由于触发信号的传输时延或者相机的信号处理性能的差异，M个图像可以为M个相机在与第一时刻存在一定可接受误差的时间范围内采集的图像。

其中，M个相机可以按照特定的轨迹排布在目标区域的周围的环绕区域，M个相机可以按照圆形、半圆形、椭圆形等轨迹排布，只要可以使得M个相机的视场角可以覆盖目标区域中的被拍摄区域，本申请并不限定M个相机的排布轨迹。M个相机可以位于目标区域之外且距离目标区域一定距离范围内(例如1m、2m)的区域，M个相机也可以位于目标区域的边缘区域，例如摆放在舞台上的边缘区域。

其中，目标区域可以为舞台、球场等被拍摄区域；

在一种场景中，目标区域内可以存在多个主体，此时需要使能针对于所述目标主体的选择，也就是使能需要在自由视点视频的中心区域显示的主体的选择。

本申请实施例中，在目标区域内存在多个主体时，可以基于和用户之间的交互来实现针对于目标主体的选择。

具体的，可以识别出所述目标区域内的至少一个主体，并显示至少一个选项，每个选项用于指示所述至少一个主体中的一个主体，用户可以从至少一个主体中确定需要在自由视点视频中心区域显示的主体，并进行针对于该主体对应的主体的选择，具体的，可以触发针对于目标选项的选择，进而，可以接收到针对于所述至少一个选项中目标选项的选择指示，其中，所述目标选项用于指示所述至少一个主体中的目标主体。

在一种场景中，目标区域内仅仅存在一个主体(即本实施例中的目标主体)，此时可以使能针对于所述目标主体的选择。

具体的，可以识别出所述目标区域内的主体仅包括所述目标主体，进而使能针对于所述目标主体的选择。

应理解，目标主体作为自由视点视频中的主要显示对象，例如目标主体为舞台上的舞蹈人员或者是球场上的运动员，以下以目标主体为人物为例进行说明，目标主体还可以是非人的动物、植物或者是无生命的物体，本申请实施例并不限定。

302、获取M个图像；其中，所述M个图像为M个相机针对所述目标主体在第一时刻分别采集的一个图像，所述M个相机环绕排布在目标区域周围，且所述M个相机的镜头指向所述目标区域，所述目标主体位于所述目标区域内；在所述M个图像的每个图像中确定所述目标主体所在的区域；在所述M个图像的每个图像中确定所述目标主体所在的区域。

可以获取到M个相机在同一时刻(第一时刻)分别采集的M个图像，并基于M个图像生成自由视点视频。

当目标主体位于M个相机镜头指向的点附近时，每个相机采集到的图像中，目标主体都位于图像的中心区域，进而可以使得合成的自由视点视频的视频效果较好。然而当目标主体移动到偏离多个相机镜头中心指向的点的位置时，部分相机采集的图像中，人物会位于图像的边缘区域，相当于出现了偏轴的效果(这里所谓的偏轴是指偏离图像的中心轴)，采用这部分图像合成的自由视点视频的视频效果较差。

可以参照图4，图4中人物位于偏离多个相机镜头中心指向的点附近，针对于图4中左上角的相机，其采集的图像中人物位于中心区域，而针对于图4中下方的相机，其采集的图像中人物位于靠左侧的边缘区域，基于这种情况生成的自由视点视频中，若将视点由图4中左上角的相机逐渐切换为图4中下方的相机，则自由视点视频中的人物会从中心区域逐渐偏离至左侧的边缘区域，可见，这种情况下生成的自由视点视频的视频效果较差。

本申请实施例提供的图像处理方法可以在目标主体在位于偏离多个相机镜头中心指向的点时，生成的自由视点视频中目标主体仍然位于中心区域。

为了生成自由视点视频，需要获取到多个相机采集的图像帧序列，并基于自由视点视频的图像帧排列规则，从多个相机采集的图像帧序列中选择组成自由视点视频的图像帧，以及选择的图像帧之间的排列顺序，其中上述选择哪些图像帧以及图像帧的排列顺序，可以由导播或者其他人员来确定。

自由视点视频可以为基于多个相机采集的图像帧生成的一段连贯的视频画面，观众的观感是一个镜头围绕拍摄主体的旋转。

在一种实现中，自由视点视频可以为具有时间静止环绕效果的视频，其中，上述自由视点视频可以为多个相机在同一时刻采集的图像帧，图像帧之间的排列顺序可以是同一时刻多个相机拍摄的多个图像，按照相机位置的顺序排列。

在一种实现中，自由视点视频可以为在时间上连续且具有环绕效果的视频，其中，上述自由视点视频可以为多个相机在不同时刻采集的图像帧，图像帧之间的排列顺序可以是不同时刻同一相机或者不同相机采集的图像，按照相机位置的排布顺序以及采集图像的时间顺序排列。

本申请实施例中，可以获取M个相机采集的图像，其中，M个相机采集的图像为相机采集的原始图像，接下来介绍原始图像的概念：

终端在拍照时可以打开快门，进而光线可以通过镜头被传递到摄像头的感光元件上，摄像头感光元件可以将光信号转换为电信号，并将电信号传递给图像信号处理器(image signal processor，ISP)以及数字信号处理器(digital signal processor，DSP)等处理，可以转化为图像，该图像可以称之为摄像头采集的原始图像。本申请实施例中所描述的多个相机采集的图像可以为上述原始图像。应理解多个相机采集的图像还可以是对ISP以及DSP处理后得到的图像经过尺寸裁剪后得到的图像，上述尺寸裁剪可以是为了适应于终端显示屏大小而进行的裁剪。

在确定所述目标主体之后，可以确定所述多个相机采集的图像中每个图像中目标主体所在的区域。

本申请实施例中，可以通过对M个相机采集的M个图像中每个图像进行目标主体检测，来确定M个相机采集的图像中每个图像中目标主体的所在的区域。其中，目标主体的区域可以由目标主体的特征点来指示，也就是需要确定多个相机采集的每个图像中目标主体的特征点，其中，特征点可以指示目标主体的所在的区域，特征点可以是二维图像中人体的稳定特征点，例如可以包括如下特征点的至少一种：骨骼点(如肩部骨骼点、胯部骨骼点等等)、头部特征点、手部特征点、脚部特征点、人体服饰特征点或配饰纹理等等。

本申请实施例中，可以基于M个相机的内外参来确定多个相机采集的图像中每个图像中目标主体的所在的区域。

在一种可能的实现中，可以获取所述目标主体在物理空间中的第一位置以及所述多个相机的内外参，根据所述第一位置以及所述多个相机的内外参，确定所述多个相机采集的图像中每个图像中目标主体所在的区域。

其中，内外参可以为通过在线或离线标定产生的各个相机的标定结果RT矩阵(离线标定的过程可以参照图5)，具体可以包括但不限于各个相机的内参、各个相机二维图像与三维世界点之间的换算外参RT矩阵。

其中，各个相机的内外参可以通过离线或在线标定的方式获取。具体的，可以参照图5，各个机位的相机可以采集包含被标定标志物的单帧图像，并通过输入各相机拍摄的标定标志物图像和标定标志物的实际坐标位置，通过对标点标志物的识别，计算图像和3D物体之间位置关系，之后可以通过标定塔输入各个机位的图像和标定塔所有二维码按照对应编号的实际三维坐标点，将各个相机进行标定，获得各个相机的内外参。

在一种实现中，可以获取多个相机在同一时刻采集的图像(包括第一图像)，并确定目标主体在多个图像中的二维特征点坐标，之后通过多相机坐标做三角化可以计算出目标主体特征点在物理空间中的第一位置，对第一位置进行平均可以获得该目标主体的3维坐标质心。

具体的，可以先定义场地的空间坐标系，并通过离线标定获得多个相机中各个相机之间的空间位置关系。针对每个相机的图像进行主体分割。参照图6，在分割后的图像中，提取二维图像中目标主体的稳定特征点进行特征点匹配，如a1-a2,b1-b2,c1-c2，利用已知的相机位姿和匹配的二维特征点，做三角化，求得A，B，C的三维世界点位置。之后可以计算三维世界点位置的中心平均，作为旋转轴的三维世界点中心CenterW＝(X，Y，Z)，并增加一个与垂直于场地地面的(0,0,1)向量同方向的一定高度，为CenterW’＝(X，Y，Z+1000)。并以(CenterW，CenterW’)作为目标主体在图像中的主轴，该主轴可以指示所述目标主体在物理空间中的第一位置。

根据第一位置以及各个相机的内外参，分别计算目标主体在物理空间中的第一位置在各个机位上的对应位置，进而得到多个相机采集的图像中每个图像中目标主体所在的区域。

接下来给出一个根据所述第一位置以及所述多个相机的内外参，确定所述多个相机采集的图像中每个图像中目标主体所在的区域的具体示意：

第一位置可以为通过三角化得到的中心轴的三维世界点AB，内外参可以为各个相机的标定结果RT矩阵(该标定结果为原有标定文件，原有标定文件包括：各个相机的内参、各个相机二维图像与三维世界点之间的换算外参RT矩阵)，通过调用原有标定文件并使用如下的公式分别计算3维中心轴AB在各个机位上的对应位置(其中(Xw，Yw，Zw)为世界坐标，其中fx、fy、cx、cy为相机的内参，u，v为世界坐标对应的二维图像坐标)，得到两点在V1、V2相机采集的图像中的二维坐标点(A1，B1)和(A2，B2)。

上述得到的二维坐标点(A1，B1)和(A2，B2)分别指示V1、V2相机采集的图像中目标主体所在的区域。

303、根据所述每个图像中所述目标主体所在的区域，从所述M个相机中确定1个主相机；所述主相机的位置与所述目标主体在所述目标区域内的位置相关；

在得到M个相机采集的图像中每个图像中目标主体所在的区域之后，可以根据所述每个图像中目标主体所在的区域，从所述多个相机中确定主相机。

本申请实施例中，为了保证用于生成自由视点视频的图像中目标主体所处的区域不会出现偏轴、尺寸大小过小等情况，可以根据M个相机采集的图像中每个图像中目标主体所在的区域从多个相机中选择一个主相机，该主相机采集的图像中目标主体的显示质量较高，进而可以基于该主相机来对其他辅助相机采集的图像进行图像变换，提高其他辅助相机采集的图像中目标主体的显示质量。

接下来介绍如何从多个相机中确定主相机：

在一种实现中，可以根据所述每个图像中所述目标主体所在的区域，从所述M个图像中确定满足第一预设条件的目标图像；将采集所述目标图像的相机作为所述主相机；其中，所述第一预设条件包括如下的至少一种：

条件1：所述M个图像中所述目标主体所在的区域距离图像中心轴最近的图像；

由于目标主体为需要在自由视点视频中最需要体现的目标，因此需要选择的主相机采集的图像中目标主体所在的区域在图像的中心区域，其中，中心区域为图像中距离图像中心轴的一定范围内的区域，例如可以在距离中心的30％位置内。

条件2：所述M个图像中所述目标主体所在的区域在图像中所占据的像素比例最大的图像；

由于目标主体为需要在自由视点视频中最需要体现的目标，因此需要选择的主相机采集的图像中目标主体所在的区域覆盖面积较大，也就是说主相机采集的图像中目标主体所在的区域在图像中所占据的像素比例是M个图像最大的。

条件3：所述M个图像中所述目标主体所在的区域在图像中的图像纵轴方向的像素长度最大的图像；

由于目标主体为需要在自由视点视频中最需要体现的目标，因此需要选择的主相机采集的图像中目标主体所在的区域在图像中的图像纵轴方向的像素长度大于预设值，以目标主体为人物为例，则图像纵轴方向的像素长度为人物从头部到脚部的像素长度，主相机采集的图像中目标主体所在的区域在图像中的图像纵轴方向的像素长度是M个图像最大的。

应理解，上述描述的条件之间可以相互组合，本申请并不限定。

应理解，可以基于图像与机位号之间的关系来确定主相机，具体可以从所述M个图像中确定1个满足所述第一预设条件的目标图像，并获取采集所述目标图像的相机对应的目标机位号，并将所述目标机位号对应的相机作为所述主相机。

在一种可能的实现中，确定的所述主相机与所述目标主体之间可以满足如下关系的至少一种：

情况1：所述主相机与所述目标主体之间的距离小于预设距离。

由于目标主体为需要在自由视点视频中最需要体现的目标，因此需要选择的主相机采集的图像中目标主体的图像显示质量较高，当主相机与所述目标主体之间小于预设距离时，可以保证主相机采集的图像中目标主体所在的区域在图像中的像素占比较大，进而使得主相机采集的图像中目标主体的图像显示质量较高。预设距离可以与相机的焦距、目标区域的大小有关。

情况2：所述目标主体位于所述主相机的镜头视场角覆盖区域的中心位置。

由于目标主体为需要在自由视点视频中最需要体现的目标，因此需要选择的主相机采集的图像中目标主体的图像显示质量较高，当目标主体在所述目标区域内的位置位于所述主相机的镜头指向的区域的中心位置(也就是主相机的镜头视场角覆盖区域的中心位置)时，可以保证主相机采集的图像中目标主体所在的区域在图像的中心区域，进而使得主相机采集的图像中目标主体的图像显示质量较高。

情况3：所述目标主体在所述主相机采集的图像中被完整成像。

由于目标主体为需要在自由视点视频中最需要体现的目标，因此需要选择的主相机采集的图像中目标主体的图像显示质量较高，当所述主相机的位置与所述目标主体在所述目标区域内的位置之间不存在障碍物时，所述目标主体可以在所述主相机采集的图像中被完整成像，进而可以保证主相机采集的图像中目标主体所在的区域没有被其他障碍物遮挡，进而使得主相机采集的图像中目标主体的图像显示质量较高。

在一种可能的实现中，可以获取采集所述目标图像的相机对应的目标机位号，并将所述目标机位号对应的相机作为所述主相机。

应理解，在一种实现中，还可以将确定的主相机采集的相机画面呈现在用户终端，如果用户对此相机被选为主相机不满意，也可以通过手动选择重置主相机。

具体的，可以实时获取到各个相机采集的图像中目标主体所在的区域，并对各个相机采集的图像中目标主体所在的区域进行位置判断，参照图7a，当目标主体所在的区域移动到某个机位画面的边缘的一定范围内(例如10％范围)，则可以对主相机进行重新的选择，接下来描述如何重新选择主相机：

在一种实现中，多个相机的位置固定在用户终端界面，可以提醒用户重新选择更靠近画面中心的主体为环绕中心(如果有多个主体的情况下)。如果多个相机采集的图像中只有单个主体，则可以在用户终端提醒更换图像帧，此帧偏离中心严重。或提醒用户弃用某些相机画面(例如主体中心在画面边缘10％的画面)。

在一种实现中，当相机朝向可以转动时，在离线标定过程中，如图8所示，设置一些预定中心点位置，并生成多套离线标定文件。当主相机需要被重新选择时，可以计算目标主体与各个预定的中心点的距离(如图8中dis1<dis2，则选择A为新的朝向位置)，选择更优的相机朝向中心，并通过电动云台精准调整所有相机朝向。之后通过上述基于第一预设条件的主相机选择方法对主相机进行重新选择。

应理解，当用于控制相机朝向的电动云台的精度不足时，可以通过在线标定的方式实现标定。

304、根据所述主相机从所述M个相机中确定N个辅助相机。

在一种实现中，可以将所述M个相机中位于所述主相机顺时针方向的N1个相机以及位于所述主相机逆时针方向的N2个相机作为辅助相机，其中，所述N1与N2的和为N。机位与所述主相机的机位间隔在预设范围内的N个相机；由于辅助相机采集的图像也可能需要作为生成自由视点视频的依据，则需要保证辅助相机采集的图像的质量较高，由于主相机采集的图像中目标主体的显示质量较高，且用于作为辅助相机进行图像变换的参考，则可以将机位与所述主相机的机位间隔在预设范围内的N个相机作为辅助相机。

在一种可能的实现中，N1为第一预设值，N2为第二预设值。

在一种可能的实现中，N1＝N2，也就是说，N个辅助相机中的一半相机位于主相机的顺时针方向，另一半位于主相机的逆时针方向。

在一种可能的实现中，所述1个主相机与所述N个辅助相机为相机号连续的相机，在自由视点视频为静止时刻的环绕视频时，为了保证生成的自由视点视频中各个图像帧之间的过渡平滑，则需要保证采集图像的相机之间的机位彼此相邻，也就是说辅助相机需要从多个相机中选择机位连续的相机，换一种描述方式，选择的每个辅助相机应该与主相机直接相连或间接相连。

在一种可能的实现中，所述N个辅助相机采集的图像中所述目标主体所在的区域距离图像中心轴的距离小于预设值；由于辅助相机采集的图像也可能需要作为生成自由视点视频的依据，则需要保证辅助相机采集的图像的质量较高，具体的，可以采集的图像中所述目标主体所在的区域与图像中心轴之间的距离在预设范围内的多个相机作为辅助相机。

在一种可能的实现中，所述目标主体在所述N个辅助相机采集的图像中被完整成像。由于辅助相机采集的图像也可能需要作为生成自由视点视频的依据，则需要保证辅助相机采集的图像的质量较高，具体的，可以将采集的图像中所述目标主体未被其他障碍物遮挡的N个相机作为辅助相机。

在一种实现中，可以将多个相机中除去主相机的相机均作为辅助相机。

在一种实现中，可以将以主相机为中间机位，向左右各延伸一定角度相机(如以当前相机朝向的中心点为中心，左右各延伸30度所包含的所有相机为辅助相机)。应理解，用户可以在用户终端对延伸的度数进行选择；

应理解，上述描述的条件之间可以相互组合，这里并不限定。

305、根据所述1个主相机以及所述N个辅助相机在第二时刻采集的图像，生成自由视点视频；其中，所述目标主体在所述自由视点视频中所在的区域与所述目标主体在所述主相机在第二时刻采集的图像中的区域相关。

本申请实施例中，在从所述M个相机中确定1个主相机以及N个辅助相机之后，可以根据所述主相机以及N个辅助相机采集的图像，生成自由视点视频。

应理解，在生成自由视点视频时，若自由视点视频为上述时间静止的环绕视频，则可以获取所述1个主相机以及所述N个辅助相机的机位号，并根据所述1个主相机以及所述N个辅助相机的机位号之间的顺序，对所述1个主相机以及所述N个辅助相机在第二时刻采集的N+1个图像进行时域上的排布以及主体对齐，以生成自由视点视频。

本申请实施例中，主相机采集的图像中目标主体的显示质量较高，进而主相机采集的图像可以作为辅助相机进行主体对齐的参考。

在一种可能的实现中，所述对所述1个主相机以及所述N个辅助相机在第二时刻采集的N+1个图像进行主体对齐包括如下的至少一种：

对齐方式1：以所述1个主相机在第二时刻采集的图像中所述目标主体所在的区域为参考，对所述N个辅助相机在第二时刻采集的N个图像进行缩放；具体的，可以根据所述1个主相机在第二时刻采集的图像中所述目标主体所在的区域，对所述N个辅助相机在第二时刻采集的N个图像进行缩放，以得到缩放后的N个图像；所述1个主相机采集的图像与所述缩放后的N个图像中所述目标主体所在的区域在图像中的图像纵轴方向的像素长度差异在预设范围内。

由于不同机位的位置与目标主体的距离不同，使得同一时刻不同机位的相机拍摄的图像之间目标对象的尺寸大小不同，为了能够使得自由视点视频中前后帧之间的变化很平滑，不会出现尺寸变化较大情况，需要将不同机位的相机采集的图像进行缩放，使得缩放后的图像与主相机采集的图像中目标主体之间的尺寸差异较小。

对齐方式2：以所述1个主相机在第二时刻采集的图像中所述目标主体所在的区域为参考，对所述N个辅助相机在第二时刻采集的N个图像进行旋转；

根据所述1个主相机在第二时刻采集的图像中所述目标主体所在的区域，对所述N个辅助相机在第二时刻采集的N个图像进行旋转，以得到旋转后的N个图像；所述1个主相机采集的图像与所述旋转后的N个图像中所述目标主体由顶部区域指向底部区域的方向的差异在预设范围内。

由于不同机位的相机姿态可能不同，且可能不处于同一水平线上，使得同一时刻不同机位的相机拍摄的图像之间目标对象在图像中的方向不同，为了能够使得自由视点视频中前后帧之间的变化很平滑，需要辅助相机采集的图像进行旋转，使得旋转后的图像与主相机采集的图像中目标主体之间的姿态差异较小。

对齐方式3：根据所述1个主相机以及N个辅助相机在第二时刻采集的每个图像中所述目标主体所在的区域，对所述1个主相机以及N个辅助相机在第二时刻采集的每个图像进行裁剪。具体的，可以根据所述1个主相机以及N个辅助相机在第二时刻采集的每个图像中所述目标主体所在的区域，对所述1个主相机以及N个辅助相机在第二时刻采集的每个图像进行裁剪，以得到裁剪后的N+1个图像，所述裁剪后的N+1个图像中的所述目标主体位于中心区域，且所述裁剪后的N+1个图像的尺寸大小相同。

为了使得自由视点视频中的各个图像帧中的目标人物都位于中心区域，可以根据主相机以及多个辅助相机中每个相机采集的图像中目标主体所在的区域，并对图像进行裁剪，使得目标主体位于裁剪后的裁剪图像的中心区域。

接下来以自由视点视频为静止时刻的环绕视频为例，介绍如何对进行主体对齐后的图像进行排布，具体的，所述辅助相机包括与所述主相机在位置上相邻的第一相机，可以获取目标相机采集的第一图像以及第一相机采集的第二图像，其中所述第一相机采集第二图像的时刻与所述主相机采集第一图像的时刻相同，可以确定所述第以图像中所述目标主体所在的区域，根据所述第以图像中所述目标主体所在的区域，对所述第一图像进行裁剪，以获取第一裁剪图像，还可以确定所述第二图像中所述目标主体所在的区域，根据所述第二图像中所述目标主体所在的区域，对所述第二图像进行裁剪，以获取第二裁剪图像，其中所述第二裁剪图像的中心区域包括所述目标主体，所述第一裁剪图像和所述第二裁剪图像用于作为所述自由视点视频中的图像帧，且在所述自由视点视频中，所述第二裁剪图像与所述第一裁剪图像在时域上间隔有M个图像帧，所述M个图像帧为根据所述第一裁剪图像和所述第二裁剪图像进行针对于M个视点进行图像合成后得到的，所述M个视点为所述主相机和所述第一相机之间的视点。

应理解，相机的数量(或者说采集的图像的数量)、相机采集图像的帧率可以决定生成的自由视点视频的长度。

其中，为了使得自由视点视频更为平滑或者为了满足自由视点视频的帧率要求(例如25帧/s、100帧/s、200帧/s等等)，需要根据两个相邻机位的相机采集的图像帧进行图像合成，也就是插帧操作，得到M个图像帧，M个图像帧为根据所述第一裁剪图像和所述第二裁剪图像进行针对于M个视点进行图像合成后得到的，所述M个视点为所述主相机和所述第一相机之间的视点。例如，参照图7c，第三裁剪图像与所述第一裁剪图像在时域上间隔有2个图像帧，所述2个图像帧为根据所述第一裁剪图像和所述第二裁剪图像进行针对于2个视点进行图像合成后得到的，所述2个视点为所述主相机和所述第一相机之间的视点(图7c中的中间视点1和中间视点2)，相当于2个图像帧为等效于从中间视点1和中间视点2采集的图像帧。

其中，所述第二图像中所述目标主体的位置与所述第一图像中所述目标主体的位置不同。具体可以参照图11，由图11可见，第二图像(例如为图11中下方的相机采集的图像)中所述目标主体的位置在中心区域附近，第一图像(例如为图11中左上方的相机采集的图像)中所述目标主体的位置在右侧区域。

接下来描述如何对辅助相机采集的图像进行旋转以及缩放的示意：

本申请实施例中，可以首先计算虚拟视角变换，具体可以通过选择的主相机的目标主体中心轴二维坐标为准，其他所有机位的图片中主体中心轴的二维坐标均通过变换矩阵与被选中的主相机中心轴对齐。并此为生成的各个相机针对被选中心轴为中心的聚焦视角变换矩阵。

参照图8，将通过三角化得到的中心轴的三维世界点AB，并输入离线产生的各个相机的标定结果RT矩阵(该标定结果为原有标定文件，原有标定文件包括：各个相机的内参、各个相机二维图像与三维世界点之间的换算外参RT矩阵)，通过调用原有标定文件分别计算3维中心轴AB在各个机位上的对应位置(其中(Xw，Yw，Zw)为世界坐标，其中fx、fy、cx、cy为相机的内参，u，v为世界坐标对应的二维图像坐标)，得到两点在V1、V2相机画面中的二维坐标点(A1，B1)和(A2，B2)。

假设选中V1(即主相机)为主相机，则V2(即辅助相机)相机画面中的(A2，B2)通过旋转、平移、缩放，使得(A2’，B2’)与(A1，B1)坐标点完全一致，将此旋转、平移、缩放的矩阵与原有标定文件整合，得到更新的V2外参文件(此处外参文件中，包含的是各个相机的内参及以V1为准，其他各个机位与V1画面的如下图旋转、平移、缩放、裁剪后的warp矩阵)。如整个系统中有N个相机，其他相机以此类推，均可以得到每一个相机针对三维世界点AB的外参矩阵，并将N个相机更新得到的图像的公共区域进行剪裁。后续的各个相机的相机画面都可以通过更新后的外参文件，将所拍摄到的原图按照外参文件中的Warp矩阵旋转、平移、缩放、剪裁，得到以AB为三维中心轴、(A1,B1)为二维中心轴旋转的各路相机的图像。参照图9和图10，图9为进行虚拟视点转换前的图像，图10为进行了虚拟视点转换的图像。

此外，可以参照图12，图12为一种裁剪图像的示意，本申请实施例中，为了使得自由视点视频中的各个图像帧中的目标主体都位于中心区域，可以根据所述主相机以及多个辅助相机采集的图像中目标主体所在的区域，对所述主相机以及多个辅助相机采集的图像进行裁剪，使得目标主体位于裁剪后的裁剪图像的中心区域。

应理解，可以在自由视点视频的不同时刻选择不同的主体作为视频中心区域内显示的内容，以在使能针对于目标主体之前使能针对于第一主体(和目标主体不同的主体)为例，可以识别出所述目标区域内的第一主体，所述第一主体与所述目标主体不同，使能针对于所述第一主体的选择，根据所述主相机以及多个辅助相机采集的图像中第一主体所在的区域，对所述主相机以及多个辅助相机采集的图像进行裁剪，使得第一主体位于裁剪后的裁剪图像的中心区域。

参照图13和图14，如图13所示，若使能针对于左侧主体(即本实施例中的第一主体)的选择，则剪裁后的图像的中心区域包括左侧的主体，如图14所示，若使能针对于右侧主体(即本实施例中的目标主体)的选择，则剪裁后的图像的中心区域包括右侧的主体。

应理解，在自由视点视频中，可以由第一主体切换逐渐平滑过渡为目标主体，也就是在变更被选择主体时，逐渐将中心轴平滑变更至第二次选择的主体位置。

在一种可能的实现中，所述第一时刻与所述第二时刻相同，也就是确定主相机和N个辅助相机所使用的图像和生成自由视点视频所使用的图像为主相机和辅助相机在同一时刻采集的。

或者，所述第一时刻与所述第二时刻不同；则还可以获取所述1个主相机以及所述N个辅助相机在第二时刻采集的图像，所述1个主相机以及所述N个辅助相机在第二时刻采集的图像用于生成自由视点视频。

应理解，在生成自由视点视频时，若自由视点视频为上述时间变化的环绕视频，则还可以获取到主相机和N个辅助相机在与第二时刻不同时刻采集的图像，并基于主相机和N个辅助相机在与第二时刻不同时刻采集的图像生成自由视点视频。

具体的，可以参照图15，图15为关于如何基于主相机采集的图像对辅助相机采集的图像进行图像变换的完成过程示意。

在一种可能的实现中，相机的云台可以使用高精度机械云台。在开始拍摄之前，先预先根据场地和主体活动位置，预置几个中心旋转轴，并将所有相机对准几个中心旋转轴，并保存云台的精确方向，并对各个预置中心轴的相机姿态进行离线标定，生成对应各个中心轴的相机外参。在录制过程中，根据画面中主体的位置，若画面中主体位置远远偏离场地画面中心(偏离一定的范围，例如超出某个机位画面中心的1/3画幅，就对其所在位置与预置所有中心轴坐标进行比较，选定与该主体位置最近的中心轴方向)，将云台精准的调整至预置好的某个相机方向后，并调用该方向的相机外参。

具体的，可以参照图18，图18为关于如何基于离线标定结果进行自由视点视频生成的过程示意。

具体的，本申请实施例中，所述目标区域可以包括第一目标点和第二目标点，可以获取所述目标区域中的所述目标主体的位置，基于所述目标主体的位置距离所述第一目标点的距离小于距离所述第二目标点的距离，控制所述多个相机的镜头中心由指向所述第二目标点变为指向所述第一目标点，进而可以获取多个相机在镜头中心指向所述第一目标点时采集的图像(具体可以如图7b所示)。

通过上述方式，可以获得保留相对较大画幅且自动跟随所选主体为中心轴的环绕视频。参照图16和图17，在某一时刻由于目标主体距离位于目标区域中心点较近的第一目标点，则云台可以控制相机使得各个相机的镜头中心指向目标区域中心点附近的第一中心点，当识别出目标主体更靠近离目标区域中心点较远的第二目标点，则云台可以控制相机使得各个相机的镜头中心指向第二目标点。

在一种可能的实现中，在云台位置调整后，可以提供在线标定，来获得各个相机的外参。如图19所示，本实施例添加了在线标定，可以将相机旋转到以所选取主体为中心的方向，并通过无模板在线标定，获得保留最大画幅且自动跟随所选主体为中心轴的环绕视频，本实施例添加了在线无模板标定，以被选定主体为中心，画幅将保留更大，画质更好。

通过上述方式可以得到主相机以及多个辅助相机在各个时刻采集的图像，之后基于一定的规则选择图像并在时域上进行排列以生成自由视点视频，上述规则可以为自动生成的或者是通过用户(例如导播)来指定的。

本实施例中，在生成自由视点视频后，可以将自由视点视频发送至终端设备，由终端设备进行自由视点视频的显示。

本申请实施例提供了一种图像处理方法，所述方法包括：确定目标主体；获取M个图像；其中，所述M个图像为M个相机针对所述目标主体在第一时刻分别采集的一个图像，所述M个相机环绕排布在目标区域周围，且所述M个相机的镜头指向所述目标区域，所述目标主体位于所述目标区域内；在所述M个图像的每个图像中确定所述目标主体所在的区域；在所述M个图像的每个图像中确定所述目标主体所在的区域；根据所述每个图像中所述目标主体所在的区域，从所述M个相机中确定1个主相机；所述主相机的位置与所述目标主体在所述目标区域内的位置相关；根据所述主相机从所述M个相机中确定N个辅助相机；所述主相机的位置与所述目标主体在所述目标区域内的位置相关；根据所述1个主相机以及所述N个辅助相机在第二时刻采集的图像，生成自由视点视频；其中，所述目标主体在所述自由视点视频中所在的区域与所述目标主体在所述主相机采集的图像中的区域相关。通过上述方式，根据M个相机采集的图像中每个图像中目标主体所在的区域来选择主相机和辅助相机，因此可以选择出目标主体所在的区域在图像中具有较好显示位置的图像，并将采集该图像的相机作为主相机，根据主相机和辅助相机采集的图像生成自由视点视频，进而提高了自由视点视频中目标主体的视频效果。

接下来结合和用户的交互，来描述如何使能针对于目标主体的选择：

在一种实现中，该界面可以显示在导播在合成自由视点视频时所使用的终端的终端界面上，也可以使用在观众所使用的终端(例如手机、平板电脑以及手提电脑)的终端界面上。上述终端界面在后续实施例中也可以称之为目标界面。

参照图20a，图20a为本申请实施例提供的一种主体选择方法的流程示意，应用于终端设备，所述方法包括：

2001、显示目标界面，所述目标界面包括旋转轴选择控件，所述旋转轴选择控件用于指示进行旋转轴的选择；

在一种可能的实现中，所述旋转轴选择控件用于指示从目标区域内的位置点中进行旋转轴的选择。

在一种可能的实现中，所述旋转轴选择控件用于指示从目标区域内的多个主体中进行旋转轴的选择。

其中，用户可以通过目标界面中的旋转轴选择控件选择用于在生成自由视点视频时作为所述目标旋转轴视角旋转中心的旋转轴，其中，旋转轴可以为目标区域内的一个位置点，例如目标区域内的中心点或者与中心点存在一定距离的其他点，旋转轴也可以为一个主体，例如人物。

以旋转轴为主体为例，参照图20b，图20b为本申请实施例提供的一种目标界面的示意，其中，图20b所示的界面可以包含三个窗口，分别是2D显示窗口、3D显示窗口(也就是上述旋转轴选择区域)以及选帧窗口。

在一种实现中，所述至少一个选项中的每个选项还用于指示对应的主体在所述目标区域的位置。其中，图20b中右上角的子窗口可以为3D显示窗口，3D显示窗口可以包括环绕的各个机位(例如图20b中的C1-C5)，场地中的圈代表检测出的各个主体的3D中心轴位置，主体的主体呈现可以有多种形式(例如：纸片人、3D-avatar、或者主体头像、名称等)，其中，主体的实际位置可以是服务器经过图3对应的实施例中与主体的物理位置相关的计算得出并传递至终端设备，进而由终端设备实现主体在所述目标区域的位置的显示。

图20b中左上角子窗口为2D显示窗口，用于代表某一个相机的当前视角所采集的图像，图像可以是采集的原始图像，也可以是经过图像变换后的图像，若该相机为主相机，则左上角子窗口显示的为主相机所采集的原始图像，也可以是主相机所采集的原始图像经过裁剪(例如为了去除边缘黑边保留中心区域而进行的裁剪)。

其中，下面的子窗口为选帧窗口，呈现的为各个相机采集的图像帧序列，每一行代表一个机位。这些图像可以是原始拍摄的，也可以是经过图像变换的，当选择不同的主体作为环绕中心的时候，选帧窗口的关键帧图像序列会相应更新。如图21与图22所示，分别为选择了不同主体后的界面，在选择了主体之后选帧窗口为所有机位按照被选择中心轴转变后的图像帧。

2002、接收到针对于目标旋转轴的选择操作。

以旋转轴为主体为例，图23中选帧窗口代表图像序列帧，C1-C5代表多相机视角，此图中以5个相机为例，以三次改变主体进行说明：首先选择C1为主相机、深色主体(图23中靠下面)为被环绕主体对其他机位进行图像变换，则被选择的第一段画面为从第一个相机到最后一个相机，相机机位逐个增加的同时，画面帧也按帧后移。在到达最后一个相机时，选择图23中右下面的主体为被环绕主体。则其他所有相机以最后一个相机为主相机、图23中右下面的主体所在位置为中心轴，对其他相机画面进行图像变换。并从最后一个相机反向旋转回第一个相机，且相机机位逐个递减的同时，画面帧也按帧后移。当返回至C1时，选择以图23中左上面的主体为被环绕主体，其他相机以此主体为中心轴进行图像变换，而后选择的画面帧仍然为相机机位逐个增加，画面帧也按帧后移的重聚焦转换后画面。

本实施例中，在生成自由视点视频时，可以任意选择同一视角下的不同主体，也可以选择同一画面帧下的不同视角图像。

2003、向服务器发送针对于所述目标旋转轴的选择指示，所述目标旋转轴用于指示生成以所述目标旋转轴为视角旋转中心的自由视点视频。

之后终端设备可以将针对于目标旋转轴的选择指示发送至服务器，服务器可以基于针对于目标旋转轴的选择指示，生成以所述目标旋转轴为视角旋转中心的自由视点视频。

在一种实现中，目标旋转轴为目标主体，则所述目标主体还用于指示从所述M个相机中确定主相机，其中所述目标主体在所述自由视点视频中所在的区域与所述目标主体在所述主相机采集的图像中的区域相关。关于如何从所述M个相机中确定主相机可以参照上述图3对应的所实施例中的描述，这里不再赘述。

在一种实现中，还可以接收到所述服务器发送的针对于主相机的选择指示，所述主相机为所述M个相机中的一个，根据所述主相机的选择指示，在所述目标界面上显示所述主相机的被选择提示。3D显示窗口可以包括环绕的各个机位(例如图20b中的C1-C5)，可以将各个机位中主相机的机位进行突出显示，或者是通过文字的方式提示用户主相机是哪一个机位的相机。

参照图24，图24为本申请实施例提供的一种图像处理装置的结构示意，如图24所示，所述装置2400包括：

确定模块2401，用于确定目标主体；

关于确定模块2401的具体描述可以参照步骤301的描述，这里不再赘述。

获取模块2402，用于获取M个图像；其中，所述M个图像为M个相机针对所述目标主体在第一时刻分别采集的一个图像，所述M个相机环绕排布在目标区域周围，且所述M个相机的镜头指向所述目标区域，所述目标主体位于所述目标区域内；在所述M个图像的每个图像中确定所述目标主体所在的区域；

关于获取模块2402的具体描述可以参照步骤302的描述，这里不再赘述。

相机确定模块2403，用于根据所述每个图像中所述目标主体所在的区域，从所述M个相机中确定1个主相机；所述主相机的位置与所述目标主体在所述目标区域内的位置相关；根据所述主相机从所述M个相机中确定N个辅助相机；

关于相机确定模块2403的具体描述可以参照步骤303的描述，这里不再赘述。

视频生成模块2404，用于根据所述1个主相机以及所述N个辅助相机在第二时刻采集的图像，生成自由视点视频；其中，所述目标主体在所述自由视点视频中所在的区域与所述目标主体在所述主相机在第二时刻采集的图像中的区域相关。

关于视频生成模块2404的具体描述可以参照步骤304的描述，这里不再赘述。

在一种可能的实现中，所述相机确定模块，具体用于根据所述每个图像中所述目标主体所在的区域，从所述M个图像中确定满足第一预设条件的目标图像；将采集所述目标图像的相机作为所述主相机；其中，所述第一预设条件包括如下的至少一种：

所述M个图像中所述目标主体所在的区域距离图像中心轴最近的图像；或者，

所述M个图像中所述目标主体所在的区域在图像中所占据的像素比例最大的图像；或者，

所述M个图像中所述目标主体所在的区域在图像中的图像纵轴方向的像素长度最大的图像。

在一种可能的实现中，所述相机确定模块，具体用于获取采集所述目标图像的相机对应的目标机位号，并将所述目标机位号对应的相机作为所述主相机。

在一种可能的实现中，所述主相机与所述目标主体之间的距离小于预设距离；或者，

所述目标主体位于所述主相机的镜头视场角覆盖区域的中心位置；或者，

所述目标主体在所述主相机采集的图像中被完整成像。

在一种可能的实现中，所述相机确定模块，具体用于将所述M个相机中位于所述主相机顺时针方向的N1个相机以及位于所述主相机逆时针方向的N2个相机作为辅助相机，其中，所述N1与N2的和为N。

在一种可能的实现中，所述1个主相机与所述N个辅助相机为相机号连续的相机；或者，

所述N个辅助相机采集的图像中所述目标主体所在的区域距离图像中心轴的距离小于预设值；或者，

所述目标主体在所述N个辅助相机采集的图像中被完整成像，或者，

N1为第一预设值，N2为第二预设值；或者，

N1＝N2。

在一种可能的实现中，所述视频生成模块，具体用于获取所述1个主相机以及所述N个辅助相机的机位号；

根据所述1个主相机以及所述N个辅助相机的机位号之间的顺序，对所述1个主相机以及所述N个辅助相机在第二时刻采集的N+1个图像进行时域上的排布和主体对齐，以生成自由视点视频。

在一种可能的实现中，所述对所述1个主相机以及所述N个辅助相机在第二时刻采集的N+1个图像进行主体对齐包括如下的至少一种：

以所述1个主相机在第二时刻采集的图像中所述目标主体所在的区域为参考，对所述N个辅助相机在第二时刻采集的N个图像进行缩放；或者，

以所述1个主相机在第二时刻采集的图像中所述目标主体所在的区域为参考，对所述N个辅助相机在第二时刻采集的N个图像进行旋转；

根据所述1个主相机以及N个辅助相机在第二时刻采集的每个图像中所述目标主体所在的区域，对所述1个主相机以及N个辅助相机在第二时刻采集的每个图像进行裁剪。

在一种可能的实现中，所述确定模块，用于识别出所述目标区域内的至少一个主体；

向终端设备发送所述至少一个主体中每个主体的信息；

通过接收到所述终端设备发送的针对于所述至少一个主体中目标主体的选择指示，确定所述目标主体。

在一种可能的实现中，所述确定模块，用于

通过识别出所述目标区域内的主体仅包括所述目标主体，确定所述目标主体。

在一种可能的实现中，所述目标区域包括第一目标点和第二目标点，所述获取模块，还用于获取所述目标区域中的所述目标主体的位置；

基于所述目标主体的位置距离所述第一目标点的距离小于距离所述第二目标点的距离，控制所述M个相机的镜头由指向所述第二目标点变为指向所述第一目标点；

获取M个相机在镜头指向所述第一目标点时采集的M个图像。

在一种可能的实现中，所述获取模块，用于获取所述目标主体在物理空间中的第一位置以及所述M个相机的内外参；

根据所述第一位置以及所述M个相机的内外参，在所述M个图像的每个图像中确定所述目标主体所在的区域。

在一种可能的实现中，所述第一时刻与所述第二时刻相同；或者，

所述第一时刻与所述第二时刻不同；所述获取模块，还用于在所述根据所述1个主相机以及所述N个辅助相机在第二时刻采集的图像，生成自由视点视频之前，获取所述1个主相机以及所述N个辅助相机在第二时刻采集的图像。

参照图25，图25为本申请实施例提供的一种主体选择装置的结构示意，如图25所示，所述装置2500包括：

显示模块2501，用于显示目标界面，所述目标界面包括旋转轴选择控件，所述旋转轴选择控件用于指示进行旋转轴的选择；

关于显示模块2501的具体描述可以参照步骤2001的描述，这里不再赘述。

接收模块2502，用于接收到针对于目标旋转轴的选择操作；

关于接收模块2502的具体描述可以参照步骤2002的描述，这里不再赘述。

发送模块2503，用于向服务器发送针对于所述目标旋转轴的选择指示，所述目标旋转轴用于指示生成以所述目标旋转轴为视角旋转中心的自由视点视频。

关于发送模块2503的具体描述可以参照步骤2003的描述，这里不再赘述。

在一种可能的实现中，所述旋转轴选择控件用于指示从目标区域内的位置点中进行旋转轴的选择。

在一种可能的实现中，所述旋转轴选择控件用于指示从目标区域内的多个主体中进行旋转轴的选择；所述目标旋转轴用于指示目标主体，所述目标主体还用于指示确定主相机，其中所述目标主体在所述自由视点视频中所在的区域与所述目标主体在所述主相机采集的图像中的区域相关。

接下来介绍本申请实施例提供的一种服务器，请参阅图26，图26为本申请实施例提供的服务器的一种结构示意图。具体的，服务器2600可以包括：接收器2601、发射器2602、处理器2603和存储器2604(其中服务器2600中的处理器2603的数量可以一个或多个，图11中以一个处理器为例)，其中，处理器2603可以包括应用处理器26031和通信处理器26032。在本申请的一些实施例中，接收器2601、发射器2602、处理器2603和存储器2604可通过总线或其它方式连接。

存储器2604可以包括只读存储器和随机存取存储器，并向处理器2603提供指令和数据。存储器2604的一部分还可以包括非易失性随机存取存储器(non-volatile randomaccess memory，NVRAM)。存储器2604存储有处理器和操作指令、可执行模块或者数据结构，或者它们的子集，或者它们的扩展集，其中，操作指令可包括各种操作指令，用于实现各种操作。

处理器2603控制服务器的操作。具体的应用中，服务器的各个组件通过总线系统耦合在一起，其中总线系统除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图中将各种总线都称为总线系统。

上述本申请实施例揭示的方法可以应用于处理器2603中，或者由处理器2603实现。处理器2603可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器2603中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器2603可以是通用处理器、数字信号处理器(digital signal processing，DSP)、微处理器或微控制器、以及视觉处理器(vision processing unit，VPU)、张量处理器(tensorprocessing unit，TPU)等适用于AI运算的处理器，还可进一步包括专用集成电路(application specific integrated circuit，ASIC)、现场可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。该处理器2603可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器2604，处理器2603读取存储器2604中的信息，结合其硬件完成上述图3对应的实施例中图像处理方法的步骤。

接收器2601可用于接收输入的数字或字符信息，以及产生与服务器的相关设置以及功能控制有关的信号输入。具体的，接收器2601可以接收到来自于多个相机采集的图像。

发射器2602可用于通过第一接口输出数字或字符信息；发射器2602还可用于通过第一接口向磁盘组发送指令，以修改磁盘组中的数据。具体的，发射器2602可以将生成的自由视点视频发送到终端设备。

本申请实施例中还提供一种包括计算机程序产品，当其在计算机上运行时，使得计算机执行图像处理方法的步骤。

本申请实施例中还提供一种计算机可读存储介质，该计算机可读存储介质中存储有用于进行信号处理的程序，当其在计算机上运行时，使得计算机执行如前述实施例描述的方法中的图像处理方法的步骤。

本申请实施例提供的图像显示装置具体可以为芯片，芯片包括：处理单元和通信单元，所述处理单元例如可以是处理器，所述通信单元例如可以是输入/输出接口、管脚或电路等。该处理单元可执行存储单元存储的计算机执行指令，以使服务器内的芯片执行上述实施例描述的数据处理方法，或者，以使训练设备内的芯片执行上述实施例描述的数据处理方法。可选地，所述存储单元为所述芯片内的存储单元，如寄存器、缓存等，所述存储单元还可以是所述无线接入设备端内的位于所述芯片外部的存储单元，如只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)等。

另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本申请提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本申请而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、U盘、移动硬盘、ROM、RAM、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。

所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(Solid State Disk，SSD))等。

Claims (36)

1.一种图像处理方法，其特征在于，所述方法包括：

确定目标主体；

获取M个图像；其中，所述M个图像为M个相机针对所述目标主体在第一时刻分别采集的一个图像，所述M个相机环绕排布在目标区域周围，且所述M个相机的镜头指向所述目标区域，所述目标主体位于所述目标区域内；在所述M个图像的每个图像中确定所述目标主体所在的区域；

根据所述每个图像中所述目标主体所在的区域，从所述M个相机中确定1个主相机；所述主相机的位置与所述目标主体在所述目标区域内的位置相关；

根据所述主相机从所述M个相机中确定N个辅助相机；

根据所述1个主相机以及所述N个辅助相机在第二时刻采集的图像，生成自由视点视频；其中，所述目标主体在所述自由视点视频中所在的区域与所述目标主体在所述主相机在第二时刻采集的图像中的区域相关。

2.根据权利要求1所述的方法，其特征在于，所述根据所述每个图像中所述目标主体所在的区域，从所述M个相机中确定1个主相机，包括：

根据所述每个图像中所述目标主体所在的区域，从所述M个图像中确定满足第一预设条件的目标图像；将采集所述目标图像的相机作为所述主相机；其中，所述第一预设条件包括如下的至少一种：

所述M个图像中所述目标主体所在的区域距离图像中心轴最近的图像；或者，

所述M个图像中所述目标主体所在的区域在图像中所占据的像素比例最大的图像；或者，

所述M个图像中所述目标主体所在的区域在图像中的图像纵轴方向的像素长度最大的图像。

3.根据权利要求2所述的方法，其特征在于，所述将采集所述目标图像的相机作为所述主相机，包括：

获取采集所述目标图像的相机对应的目标机位号，并将所述目标机位号对应的相机作为所述主相机。

4.根据权利要求1至3任一所述的方法，其特征在于，所述主相机与所述目标主体之间的距离小于预设距离；或者，

所述目标主体位于所述主相机的镜头视场角覆盖区域的中心位置；或者，

所述目标主体在所述主相机采集的图像中被完整成像。

5.根据权利要求1至4任一所述的方法，其特征在于，所述根据所述主相机从所述M个相机中确定N个辅助相机，包括：

将所述M个相机中位于所述主相机顺时针方向的N1个相机以及位于所述主相机逆时针方向的N2个相机作为辅助相机，其中，所述N1与N2的和为N。

6.根据权利要求5所述的方法，其特征在于，所述1个主相机与所述N个辅助相机为相机号连续的相机；或者，

所述N个辅助相机采集的图像中所述目标主体所在的区域距离图像中心轴的距离小于预设值；或者，

所述目标主体在所述N个辅助相机采集的图像中被完整成像，或者，

N1为第一预设值，N2为第二预设值；或者，

N1＝N2。

7.根据权利要求1至6任一所述的方法，其特征在于，所述根据所述1个主相机以及所述N个辅助相机在第二时刻采集的图像，生成自由视点视频，包括：

获取所述1个主相机以及所述N个辅助相机的机位号；

根据所述1个主相机以及所述N个辅助相机的机位号之间的顺序，对所述1个主相机以及所述N个辅助相机在第二时刻采集的N+1个图像进行时域上的排布和主体对齐，以生成自由视点视频。

8.根据权利要求7所述的方法，其特征在于，所述对所述1个主相机以及所述N个辅助相机在第二时刻采集的N+1个图像进行主体对齐包括如下的至少一种：

以所述1个主相机在第二时刻采集的图像中所述目标主体所在的区域为参考，对所述N个辅助相机在第二时刻采集的N个图像进行缩放；或者，

以所述1个主相机在第二时刻采集的图像中所述目标主体所在的区域为参考，对所述N个辅助相机在第二时刻采集的N个图像进行旋转；

根据所述1个主相机以及N个辅助相机在第二时刻采集的每个图像中所述目标主体所在的区域，对所述1个主相机以及N个辅助相机在第二时刻采集的每个图像进行裁剪。

9.根据权利要求1至8任一所述的方法，其特征在于，所述确定目标主体，包括：

识别出所述目标区域内的至少一个主体；

向终端设备发送所述至少一个主体中每个主体的信息；

通过接收到所述终端设备发送的针对于所述至少一个主体中目标主体的选择指示，确定所述目标主体。

10.根据权利要求1至8任一所述的方法，其特征在于，所述确定目标主体，包括：

通过识别出所述目标区域内的主体仅包括所述目标主体，确定所述目标主体。

11.根据权利要求1至10任一所述的方法，其特征在于，所述目标区域包括第一目标点和第二目标点，所述获取M个图像之前，所述方法还包括：

获取所述目标区域中的所述目标主体的位置；

基于所述目标主体的位置距离所述第一目标点的距离小于距离所述第二目标点的距离，控制所述M个相机的镜头由指向所述第二目标点变为指向所述第一目标点；

所述获取M个图像，包括：

获取M个相机在镜头指向所述第一目标点时采集的M个图像。

12.根据权利要求1至11任一所述的方法，其特征在于，所述在所述M个图像的每个图像中确定所述目标主体所在的区域，包括：

获取所述目标主体在物理空间中的第一位置以及所述M个相机的内外参；

根据所述第一位置以及所述M个相机的内外参，在所述M个图像的每个图像中确定所述目标主体所在的区域。

13.根据权利要求1至12任一所述的方法，其特征在于，所述第一时刻与所述第二时刻相同；或者，

所述第一时刻与所述第二时刻不同；所述根据所述1个主相机以及所述N个辅助相机在第二时刻采集的图像，生成自由视点视频之前，所述方法还包括：

获取所述1个主相机以及所述N个辅助相机在第二时刻采集的图像。

14.一种主体选择方法，其特征在于，应用于终端设备，所述方法包括：

显示目标界面，所述目标界面包括旋转轴选择控件，所述旋转轴选择控件用于指示进行旋转轴的选择；

接收到针对于目标旋转轴的选择操作；

向服务器发送针对于所述目标旋转轴的选择指示，所述目标旋转轴用于指示生成以所述目标旋转轴为视角旋转中心的自由视点视频。

15.根据权利要求14所述的方法，其特征在于，所述旋转轴选择控件用于指示从目标区域内的位置点中进行旋转轴的选择。

16.根据权利要求14所述的方法，其特征在于，所述旋转轴选择控件用于指示从目标区域内的多个主体中进行旋转轴的选择；所述目标旋转轴用于指示目标主体，所述目标主体还用于指示确定主相机，其中所述目标主体在所述自由视点视频中所在的区域与所述目标主体在所述主相机采集的图像中的区域相关。

17.一种图像处理装置，其特征在于，所述装置包括：

确定模块，用于确定目标主体；

获取模块，用于获取M个图像；其中，所述M个图像为M个相机针对所述目标主体在第一时刻分别采集的一个图像，所述M个相机环绕排布在目标区域周围，且所述M个相机的镜头指向所述目标区域，所述目标主体位于所述目标区域内；在所述M个图像的每个图像中确定所述目标主体所在的区域；

相机确定模块，用于根据所述每个图像中所述目标主体所在的区域，从所述M个相机中确定1个主相机；所述主相机的位置与所述目标主体在所述目标区域内的位置相关；根据所述主相机从所述M个相机中确定N个辅助相机；

视频生成模块，用于根据所述1个主相机以及所述N个辅助相机在第二时刻采集的图像，生成自由视点视频；其中，所述目标主体在所述自由视点视频中所在的区域与所述目标主体在所述主相机在第二时刻采集的图像中的区域相关。

18.根据权利要求17所述的装置，其特征在于，所述相机确定模块，具体用于根据所述每个图像中所述目标主体所在的区域，从所述M个图像中确定满足第一预设条件的目标图像；将采集所述目标图像的相机作为所述主相机；其中，所述第一预设条件包括如下的至少一种：

所述M个图像中所述目标主体所在的区域距离图像中心轴最近的图像；或者，

所述M个图像中所述目标主体所在的区域在图像中所占据的像素比例最大的图像；或者，

所述M个图像中所述目标主体所在的区域在图像中的图像纵轴方向的像素长度最大的图像。

19.根据权利要求18所述的装置，其特征在于，所述相机确定模块，具体用于获取采集所述目标图像的相机对应的目标机位号，并将所述目标机位号对应的相机作为所述主相机。

20.根据权利要求17至19任一所述的装置，其特征在于，所述主相机与所述目标主体之间的距离小于预设距离；或者，

所述目标主体位于所述主相机的镜头视场角覆盖区域的中心位置；或者，

所述目标主体在所述主相机采集的图像中被完整成像。

21.根据权利要求17至20任一所述的装置，其特征在于，所述相机确定模块，具体用于将所述M个相机中位于所述主相机顺时针方向的N1个相机以及位于所述主相机逆时针方向的N2个相机作为辅助相机，其中，所述N1与N2的和为N。

22.根据权利要求21所述的装置，其特征在于，所述1个主相机与所述N个辅助相机为相机号连续的相机；或者，

所述N个辅助相机采集的图像中所述目标主体所在的区域距离图像中心轴的距离小于预设值；或者，

所述目标主体在所述N个辅助相机采集的图像中被完整成像，或者，

N1为第一预设值，N2为第二预设值；或者，

N1＝N2。

23.根据权利要求17至22任一所述的装置，其特征在于，所述视频生成模块，具体用于获取所述1个主相机以及所述N个辅助相机的机位号；

根据所述1个主相机以及所述N个辅助相机的机位号之间的顺序，对所述1个主相机以及所述N个辅助相机在第二时刻采集的N+1个图像进行时域上的排布和主体对齐，以生成自由视点视频。

24.根据权利要求23所述的装置，其特征在于，所述对所述1个主相机以及所述N个辅助相机在第二时刻采集的N+1个图像进行主体对齐包括如下的至少一种：

以所述1个主相机在第二时刻采集的图像中所述目标主体所在的区域为参考，对所述N个辅助相机在第二时刻采集的N个图像进行缩放；或者，

以所述1个主相机在第二时刻采集的图像中所述目标主体所在的区域为参考，对所述N个辅助相机在第二时刻采集的N个图像进行旋转；

根据所述1个主相机以及N个辅助相机在第二时刻采集的每个图像中所述目标主体所在的区域，对所述1个主相机以及N个辅助相机在第二时刻采集的每个图像进行裁剪。

25.根据权利要求17至24任一所述的装置，其特征在于，所述确定模块，用于识别出所述目标区域内的至少一个主体；

向终端设备发送所述至少一个主体中每个主体的信息；

通过接收到所述终端设备发送的针对于所述至少一个主体中目标主体的选择指示，确定所述目标主体。

26.根据权利要求17至24任一所述的装置，其特征在于，所述确定模块，用于通过识别出所述目标区域内的主体仅包括所述目标主体，确定所述目标主体。

27.根据权利要求17至26任一所述的装置，其特征在于，所述目标区域包括第一目标点和第二目标点，所述获取模块，还用于获取所述目标区域中的所述目标主体的位置；

基于所述目标主体的位置距离所述第一目标点的距离小于距离所述第二目标点的距离，控制所述M个相机的镜头由指向所述第二目标点变为指向所述第一目标点；

获取M个相机在镜头指向所述第一目标点时采集的M个图像。

28.根据权利要求17至27任一所述的装置，其特征在于，所述获取模块，用于获取所述目标主体在物理空间中的第一位置以及所述M个相机的内外参；

根据所述第一位置以及所述M个相机的内外参，在所述M个图像的每个图像中确定所述目标主体所在的区域。

29.根据权利要求17至28任一所述的装置，其特征在于，所述第一时刻与所述第二时刻相同；或者，

所述第一时刻与所述第二时刻不同；所述获取模块，还用于在所述根据所述1个主相机以及所述N个辅助相机在第二时刻采集的图像，生成自由视点视频之前，获取所述1个主相机以及所述N个辅助相机在第二时刻采集的图像。

30.一种主体选择装置，其特征在于，应用于终端设备，所述装置包括：

显示模块，用于显示目标界面，所述目标界面包括旋转轴选择控件，所述旋转轴选择控件用于指示进行旋转轴的选择；

接收模块，用于接收到针对于目标旋转轴的选择操作；

发送模块，用于向服务器发送针对于所述目标旋转轴的选择指示，所述目标旋转轴用于指示生成以所述目标旋转轴为视角旋转中心的自由视点视频。

31.根据权利要求30所述的装置，其特征在于，所述旋转轴选择控件用于指示从目标区域内的位置点中进行旋转轴的选择。

32.根据权利要求30或31所述的装置，其特征在于，所述旋转轴选择控件用于指示从目标区域内的多个主体中进行旋转轴的选择；所述目标旋转轴用于指示目标主体，所述目标主体还用于指示确定主相机，其中所述目标主体在所述自由视点视频中所在的区域与所述目标主体在所述主相机采集的图像中的区域相关。

33.一种服务器，其特征在于，所述服务器包括处理器、存储器和总线，其中：

所述处理器和所述存储器通过所述总线连接；

所述存储器，用于存放计算机程序；

所述处理器，用于控制所述存储器，执行所述存储器上所存放的程序，以实现权利要求1-13任一所述的方法步骤。

34.一种终端设备，其特征在于，所述终端设备包括处理器、存储器、显示屏和总线，其中：

所述处理器、所述显示屏和所述存储器通过所述总线连接；

所述存储器，用于存放计算机程序；

所述处理器，用于控制所述存储器，执行所述存储器上所存放的程序，还用于控制所述显示屏，以实现权利要求14-16任一所述的方法步骤。

35.一种计算机可读存储介质，包括程序，当其在计算机上运行时，使得计算机执行如权利要求1至16中任一项所述的方法。

36.一种包含指令的计算机程序产品，其特征在于，当所述计算机程序产品在终端上运行时，使得所述终端执行所述权利要求1-16中任一所述的方法。

Images