CN112104796B - 图像处理方法和装置、电子设备、计算机可读存储介质 - Google Patents

Abstract

本申请涉及一种图像处理方法、装置、电子设备、计算机可读存储介质，包括：通过设置于距离四边形中心的预设范围内的摄像头模组获取第一图像信息，并对第一图像信息进行图像处理输出第一原始图像；通过设置于四边形对角线的顶点所在位置的其余摄像头模组获取第二图像信息，并对第二图像信息进行图像处理输出第二原始图像，第二原始图像为对第一原始图像的拍摄区域的任一四角区域或全部区域进行拍摄所获得的图像；将第一原始图像与第二原始图像进行拼接合成，得到拼接合成后的图像。因为多个摄像头模组排列后构成四边形，再将多个摄像头模组所输出的原始图像进行拼接合成，从而可以提高拼接合成后得到的图像的图像利用率。

Description

图像处理方法和装置、电子设备、计算机可读存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种图像处理方法和装置、电子设备、计算机可读存储介质。

背景技术

随着摄像技术的不断发展，人们对电子设备摄像头的拍照要求日益提高。传统的电子设备从单摄像头发展到后来的双摄像头，拍照质量有了显著的提高。但是人们对电子设备的拍照要求也随之日益提高，如何进一步提高电子设备的拍照质量、满足用户更高的拍照需求，就是一个亟待解决的问题。

发明内容

本申请实施例提供一种图像处理方法、装置、电子设备、计算机可读存储介质，可以提高电子设备的拍照质量、满足更高的拍照需求。

一种图像处理方法，其特征在于，包括：多个摄像头模组，所述多个摄像头模组排列后构成四边形，所述多个摄像头模组中的至少一个摄像头模组，设置于距离所述四边形中心的预设范围内，所述多个摄像头模组中除去所述设置于距离所述四边形中心预设范围内的其余摄像头模组，设置于所述四边形对角线的顶点所在位置；

通过所述设置于距离所述四边形中心的预设范围内的摄像头模组获取第一图像信息，并对所述第一图像信息进行图像处理输出第一原始图像；

通过所述设置于所述四边形对角线的顶点所在位置的其余摄像头模组获取第二图像信息，并对所述第二图像信息进行图像处理输出第二原始图像，所述第二原始图像为对所述第一原始图像的拍摄区域的任一四角区域或全部区域进行拍摄所获得的图像；

将所述第一原始图像与所述第二原始图像进行拼接合成，得到拼接合成后的图像。

一种多摄像头模组，其特征在于，包括多个摄像头模组，所述多个摄像头模组排列后构成四边形，所述多个摄像头模组中的至少一个摄像头模组，设置于距离所述四边形中心的预设范围内，所述多个摄像头模组中除去所述设置于距离所述四边形中心预设范围内的其余摄像头模组，设置于所述四边形对角线的顶点所在位置。

一种图像处理装置，其特征在于，包括：

第一原始图像输出模块，用于通过与所述设置于距离所述四边形中心的预设范围内的摄像头模组获取第一图像信息，并对所述第一图像信息进行图像处理输出第一原始图像，所述多个摄像头模组排列后构成四边形，所述多个摄像头模组中的至少一个摄像头模组，设置于距离所述四边形中心的预设范围内，所述多个摄像头模组中除去所述设置于距离所述四边形中心预设范围内的其余摄像头模组，设置于所述四边形对角线的顶点所在位置；

第二原始图像输出模块，用于通过所述设置于所述四边形对角线的顶点所在位置的其余摄像头模组获取第二图像信息，并对所述第二图像信息进行图像处理输出第二原始图像，所述第二原始图像为对所述第一原始图像的拍摄区域的任一四角区域或全部区域进行拍摄所获得的图像；

拼接合成模块，用于将所述第一原始图像与所述第二原始图像进行拼接合成，得到拼接合成后的图像。

一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上所述方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，其特征在于，计算机程序被处理器执行时实现如上方法的步骤。

上述图像处理方法、装置、电子设备、计算机可读存储介质，包括：通过设置于距离四边形中心的预设范围内的摄像头模组获取第一图像信息，并对第一图像信息进行图像处理输出第一原始图像；通过设置于四边形对角线的顶点所在位置的其余摄像头模组获取第二图像信息，并对第二图像信息进行图像处理输出第二原始图像，第二原始图像为对第一原始图像的拍摄区域的任一四角区域或全部区域进行拍摄所获得的图像；将第一原始图像与第二原始图像进行拼接合成，得到拼接合成后的图像。因为多个摄像头模组排列后构成四边形，再将多个摄像头模组所输出的原始图像进行拼接合成，从而可以提高拼接合成后得到的图像的图像利用率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中图像处理方法的应用环境图；

图2为一个实施例中图像处理方法的流程图；

图3为一个实施例中多个摄像头模组排列后构成四边形的示意图；

图4为一个实施例中多个摄像头模组排列后构成四边形的示意图；

图5为一个实施例中多个摄像头模组排列后构成四边形的示意图；

图6为一个实施例中多个摄像头模组排列后构成四边形的示意图；

图7为一个实施例中原始图像的示意图；

图8为一个实施例中图像处理装置的结构框图；

图9为一个实施例中电子设备的内部结构示意图；

图10为一个实施例中图像处理电路的示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一类摄像头模组称为第二类摄像头模组，且类似地，可将第二类摄像头模组称为第一类摄像头模组。第一类摄像头模组和第二类摄像头模组两者都是摄像头模组，但其不是同一摄像头模组。

图1为一个实施例中图像处理方法的应用环境示意图。如图1所示，该应用环境包括电子设备100。电子设备100包含有至少一个第一类摄像头模组110和至少两个第二类摄像头模组120，其中，第一类摄像头模组110中的镜头的视场角大于第二类摄像头模组中的镜头120的视场角。电子设备100可以通过多个摄像头模组中的镜头分别获取图像信息；将图像信息传输至摄像头模组中与镜头对应设置的图像传感器进行图像处理输出原始图像；将多个摄像头模组输出的原始图像进行拼接合成，得到拼接合成后的图像。可以理解的是，上述电子设备100可以不限于是各种手机、电脑、可携带设备等。

图2为一个实施例中图像处理方法的流程图，如图2所示，图像处理方法包括步骤202至步骤206。该方法中包括多个摄像头模组，多个摄像头模组排列后构成四边形，多个摄像头模组中的至少一个摄像头模组，设置于距离四边形中心的预设范围内，多个摄像头模组中除去设置于距离四边形中心预设范围内的其余摄像头模组，设置于四边形对角线的顶点所在位置。结合图3所示，为一个实施例中摄像头模组排列构成四边形的示意图，该四边形为矩形。图中包括5个摄像头模组，摄像头模组310设置于矩形对角线的中心所在位置，而摄像头模组320、摄像头模组330、摄像头模组340、摄像头模组350分别设置在矩形对角线的顶点所在位置。

具体的，一般的摄像头模组包括镜头、底座、传感器及线路板等。其中，镜头包括多个透镜，传感器包括图像传感器。在本申请实施例中，电子设备上包括多个摄像头模组，每个摄像头模组包括沿光轴方向依次设置的镜头、底座、图像传感器及线路板等。多个摄像头模组排列后构成四边形，即多个摄像头模组中的图像传感器也对应排列后构成四边形。

步骤202，通过设置于距离四边形中心的预设范围内的摄像头模组获取第一图像信息，并对第一图像信息进行图像处理输出第一原始图像。

具体的，电子设备是通过多个摄像头模组中的镜头分别获取图像信息。对于同一拍摄场景，因为每个摄像头模组中的镜头的视场角和焦距不同，所以所拍摄出的图像信息也是不同的。例如，对于同一拍摄场景，由于广角和长焦镜头的视场角和焦距不同，所以广角和长焦镜头所拍摄出的图像信息显然是不同的。采用多个不同的镜头进行采集图像信息，这样就能够保证采集到更多、更全面的图像信息，以使最终所得到的图像更加高清、更加逼真。

通过设置于距离四边形中心的预设范围内的摄像头模组中的镜头获取第一图像信息，并传输至该摄像头模组中的图像传感器中对第一图像信息进行图像处理输出第一原始图像。

具体的，电子设备中的每个摄像头模组将镜头所采集到的图像信息，传输至该摄像头模组中的图像传感器中进行图像处理输出原始图像，图像传感器所输出的原始图像一般为Bayer格式Raw像素模式的图像。一般情况下，一个摄像头模组对应输出一张原始图像，当然，一个摄像头模组也可以对应输出多张原始图像的情况。其中，图像传感器是将其受光面上的光像，分成许多小单元，将其转换成可用的电信号的一种功能器件。图像传感器分为CMOS(Complementary Metal-Oxide Semiconductor，金属氧化物半导体元件)和CCD(Charge Coupled Device，电荷耦合元件)两大类。CCD是应用在摄影摄像方面的高端技术元件，CMOS则应用于较低影像品质的产品中。

步骤204，通过设置于四边形对角线的顶点所在位置的其余摄像头模组获取第二图像信息，并对第二图像信息进行图像处理输出第二原始图像，第二原始图像为对第一原始图像的拍摄区域的任一四角区域或全部区域进行拍摄所获得的图像。

在本实施例中，设置于四边形对角线的顶点所在位置的其余摄像头模组的拍摄区域为设置于距离四边形中心的预设范围内的摄像头模组中的镜头的拍摄区域的任一四角区域或全部区域。通过设置于四边形对角线的顶点所在位置的其余摄像头模组中的镜头获取第二图像信息，并由该摄像头模组中的图像传感器对第二图像信息进行图像处理输出第二原始图像

步骤206，将第一原始图像与第二原始图像进行拼接合成，得到拼接合成后的图像。

在经过上面步骤得到了第一原始图像与第二原始图像之后，将第一原始图像与第二原始图像进行拼接合成，得到拼接合成后的图像。具体的，可以是对多个摄像头模组所输出的Bayer格式的原始图像进行拼接合成。

因为多个摄像头模组排列后构成四边形，当该四边形为矩形时，处于矩形对角线顶点上的摄像头模组距离矩形中心的距离相同，所以这些处于矩形对角线顶点上的摄像头模组所拍摄的图像的外边缘是对齐的。因此，在对多个摄像头模组所输出的原始图像进行拼接合成时，就可以减少因为外边缘不对齐而需要对所输出的原始图像进行裁剪的问题，使得原始图像中尽可能多的区域都能够在拼接合成中进行利用，大大提高了原始图像的图像利用率。

本实施例中的图像处理方法，通过设置于距离四边形中心的预设范围内的摄像头模组获取第一图像信息，并对第一图像信息进行图像处理输出第一原始图像；通过设置于四边形对角线的顶点所在位置的其余摄像头模组获取第二图像信息，并对第二图像信息进行图像处理输出第二原始图像，第二原始图像为对第一原始图像的拍摄区域的任一四角区域或全部区域进行拍摄所获得的图像；将第一原始图像与第二原始图像进行拼接合成，得到拼接合成后的图像。因为多个摄像头模组排列后构成四边形，再将多个摄像头模组所输出的原始图像进行拼接合成，从而可以提高拼接合成后得到的图像的图像利用率。

在一个实施例中，多个摄像头模组的数量为至少三个，多个摄像头模组排列后构成四边形，多个摄像头模组中的至少一个摄像头模组，设置于距离四边形中心的预设范围内，多个摄像头模组中除去设置于距离四边形中心预设范围内的其余摄像头模组，设置于四边形对角线的顶点所在位置。

具体的，电子设备上的多个摄像头模组的数量为至少三个，当然电子设备上可以设置有三个摄像头模组，也可以是设置有四个摄像头模组，也可以是设置有五个摄像头模组或者更多，在此处不做限制。电子设备上的多个摄像头模组排布构成四边形。例如，当电子设备上设置有三个摄像头模组时，则从中任意选择一个摄像头模组设置在四边形对角线的中心所在位置，而把另外两个摄像头模组分别设置于四边形对角线的任意两个顶点所在位置；当电子设备上设置有四个摄像头模组时，则从中任意选择一个摄像头模组设置在四边形对角线的中心所在位置，而把另外三个摄像头模组分别设置于四边形对角线的任意三个顶点所在位置；当电子设备上设置有五个摄像头模组时，则从中任意选择一个摄像头模组设置在四边形对角线的中心所在位置，而把另外四个摄像头模组分别设置于四边形对角线的四个顶点所在位置。

本申请实施例中，电子设备上的摄像头模组数目增加，则相应地就能够采集到更多、更全面的图像信息，以使最终所得到的图像更加高清、更加逼真。且电子设备上的多个摄像头模组排布构成四边形，使得多个摄像头模组输出的原始图像的外边缘对齐，从而可以提高拼接合成后得到的图像的图像利用率。

在一个实施例中，多个摄像头模组包括至少一个第一类摄像头模组和至少两个第二类摄像头模组，其中，第一类摄像头模组中的镜头的视场角大于第二类摄像头模组中的镜头的视场角；

多个摄像头模组排列后构成四边形，多个摄像头模组中的至少一个摄像头模组，设置于距离四边形中心的预设范围内，多个摄像头模组中除去设置于距离四边形中心预设范围内的其余摄像头模组，设置于四边形对角线的顶点所在位置，包括：

将第一类摄像头模组设置于距离四边形中心预设距离的范围内；

将第二类摄像头模组分别设置于四边形对角线的顶点所在位置。具体的，电子设备上的多个摄像头模组可以是至少一个第一类摄像头模组和至少两个第二类摄像头模组的多种组合。例如，可以是一个第一类摄像头模组和至少两个第二类摄像头模组的组合；也可以是两个第一类摄像头模组和至少两个第二类摄像头模组的组合；也可以是三个第一类摄像头模组和至少两个第二类摄像头模组的组合，以此类推。

其中，第一类摄像头模组中的镜头的视场角大于第二类摄像头模组中的镜头的视场角。可以理解为第一类摄像头模组中的镜头相对于第二类摄像头模组中的镜头为广角镜头，则第一类摄像头模组的焦距是比第二类摄像头模组小的，那么第二类摄像头模组相对于第一类摄像头模组就可以称之为长焦摄像头模组。广角摄像头模组包括广角镜头，长焦摄像头模组包括长焦镜头。其中，广角镜头和长焦镜头的区别主要在于焦距不同、取景范围不同和拍摄对象不同。

1、焦距不同。广角镜头是焦距在40mm以下(17mm——35mm)的摄影镜头；长焦镜头是焦距在60mm以上(60mm——400mm)的摄影镜头。

2、取景范围不同。在同一个地点取景，广角镜头的取景范围要比标准镜头多得多，而这就是广角镜头的特点，即其取景的范围可以比人类肉眼所及的范围还要再广；长焦镜头有种类似于望远镜的功能，可以协助拍摄到远方的物体。但是其取景范围远远比肉眼所及范围小(视点小)，方便远距离抓拍。

3、拍摄对象不同。广角镜头焦距很短，视角较宽，而景深却很深，比较适合拍摄较大场景的照片，如建筑、风景等题材。长焦镜头的焦距长，视角小，在底片上成像大。所以在同一距离上能拍出比标准镜头更大的影象。适合于拍摄远处的对象。由于长焦镜头的景深范围比标准镜头小，因此可以更有效地虚化背景突出对焦主体，而且被摄主体与照相机一般相距比较远，在人像的透视方面出现的变形较小，拍出的人像更生动，因此人们常把长焦镜头称为人像镜头。

具体的，如图4所示，多个摄像头模组排列后构成四边形，该四边形可以是矩形，当然还可以是其他类型的四边形。将至少一个第一类摄像头模组设置于距离四边形对角线的中心为预设距离的范围内，在图4中四边形对角线的中心为圆心O，预设距离为半径r，距离矩形对角线的中心O为预设距离r的范围就是圆(圆心O，半径r)所示的范围。那么将第一类摄像头模组设置于距离矩形对角线的中心为预设距离的范围内，即为将第一类摄像头模组设置于该圆内及圆周上。当然，还需要考虑摄像头模组之间的干涉、成像效果等因素进行位置设置。

然后，将第二类摄像头模组分别设置于四边形对角线的顶点所在位置。在图4中，四边形对角线的顶点包括A、B、C、D四个点。当电子设备上设置有两个第二类摄像头模组时，则将这两个第二类摄像头模组分别设置于四边形对角线的任意两个顶点所在位置；当电子设备上设置有三个第二类摄像头模组时，则把这三个第二类摄像头模组分别设置于四边形对角线的任意三个顶点所在位置；当电子设备上设置有四个第二类摄像头模组时，则把这四个第二类摄像头模组分别设置于四边形对角线的四个顶点所在位置。

本申请实施例中，第一类摄像头模组和第二类摄像头模组中的镜头的视场角及焦距不同，那么通过第一类摄像头模组及第二类摄像头模组所采集的图像信息显然也是不同的，则相应地就能够差异化地采集到更多、更全面的图像信息，以使最终所得到的图像更加高清、更加逼真。

且第一类摄像头模组及第二类摄像头模组排布后构成四边形，第一类摄像头模组中的镜头的视场角更大，于是设置在距离四边形对角线的中心为预设距离的范围内。而第二类摄像头模组中的镜头的视场角小但焦距大，可以协助拍摄远方的物体，于是设置在四边形对角线的顶点所在位置。同时，采用这种方式进行排布使得第一类摄像头模组及第二类摄像头模组输出的原始图像的外边缘对齐，减少因为外边缘不对齐而需要对所输出的原始图像进行裁剪的问题，使得原始图像中尽可能多的区域都能够在拼接合成中进行利用，从而可以提高拼接合成后得到的图像利用率。

接前一个实施例，可以再增加至少一个TOF摄像头模组。

一个实施例中，多个摄像头模组还包括至少一个TOF摄像头模组；

多个摄像头模组排列后构成四边形，包括：将第一类摄像头模组设置于距离四边形对角线的中心为预设距离的范围内；将第二类摄像头模组及TOF摄像头模组分别设置于四边形对角线的顶点所在位置。

具体的，TOF是Time of flight的简写，直译为飞行时间的意思。TOF摄像头模组即为飞行时间摄像头模组。TOF摄像头模组是通过给目标连续发送光脉冲，然后用传感器接收从物体返回的光，通过探测光脉冲的飞行(往返)时间来得到目标物距离。通过TOF摄像头模组获取待拍摄图像的深度数据，从待拍摄图像的深度数据中获取拍摄主体到TOF摄像头模组的距离。因为TOF摄像头模组为通过发射红外光同时得到整幅图像的深度数据，速度非常快；且可以再暗光条件下进行准确获取深度数据，所以实现了根据拍摄主体到TOF摄像头模组的距离控制第一类及第二类摄像头模组进行快速精准对焦，且在暗光环境中也可以进行准确对焦。

其中，第一类摄像头模组中的镜头的视场角大于第二类摄像头模组中的镜头的视场角。可以理解为第一类摄像头模组相对于第二类摄像头模组为广角摄像头模组，则第一类摄像头模组的焦距是比第二类摄像头模组小的，那么第二类摄像头模组相对于第一类摄像头模组就可以称之为长焦摄像头模组。

具体的，如图4所示，多个摄像头模组排列后构成四边形，该四边形可以是矩形，当然还可以是其他类型的四边形。将至少一个第一类摄像头模组设置于距离矩形对角线的中心为预设距离的范围内，在图4中矩形对角线的中心为圆心O，预设距离为半径r，距离矩形对角线的中心O为预设距离r的范围就是圆(圆心O，半径r)所示的范围。那么将第一类摄像头模组设置于距离矩形对角线的中心为预设距离的范围内，即为将第一类摄像头模组设置于该圆内及圆周上。当然，还需要考虑摄像头模组之间的干涉、成像效果等因素进行位置设置。

然后，将第二类摄像头模组及TOF摄像头模组分别设置于矩形对角线的顶点所在位置。且第二类摄像头模组的数目为至少两个，TOF摄像头模组的数目为至少一个，那么此时电子设备上就存在至少一个第一类摄像头模组、至少两个第二类摄像头模组和至少一个TOF摄像头模组的组合。

在图4中，矩形对角线的顶点包括A、B、C、D四个点。当电子设备上设置有两个第二类摄像头模组、一个TOF摄像头模组时，则将这三个摄像头模组分别设置于矩形对角线的任意三个顶点所在位置；当电子设备上设置有三个第二类摄像头模组、一个TOF摄像头模组时，则把这四个摄像头模组分别设置于矩形对角线的四个顶点所在位置；当电子设备上设置有两个第二类摄像头模组、两个TOF摄像头模组时，则把这四个摄像头模组分别设置于矩形对角线的四个顶点所在位置。

当然，还存在另一种情况，将第一类摄像头模组及TOF摄像头模组设置于距离矩形对角线的中心为预设距离的范围内；将第二类摄像头模组分别设置于矩形对角线的顶点所在位置。将第一类摄像头模组设置于矩形对角线的中心所在位置，将TOF摄像头模组设置于距离矩形对角线的中心为预设距离的范围内，反之亦可。

本申请实施例中，TOF摄像头模组可以辅助第一类及第二类摄像头模组快速对焦，且在暗光环境中也可以进行准确对焦。第一类摄像头模组和第二类摄像头模组中的镜头的视场角及焦距不同，那么通过第一类摄像头模组及第二类摄像头模组所采集的图像信息显然也是不同的，则相应地就能够差异化地采集到更多、更全面、更清晰的图像信息，以使最终所得到的图像更加高清、更加逼真。

且第一类摄像头模组、第二类摄像头模组及TOF摄像头模组按照矩形对角线方式进行排布，第一类摄像头模组的视场角更大，于是设置在距离矩形对角线的中心为预设距离的范围内。而第二类摄像头模组的视场角小但焦距大，可以协助拍摄远方的物体，于是设置在矩形对角线的顶点所在位置。同时，采用矩形对角线方式进行排布使得第一类摄像头模组及第二类摄像头模组输出的原始图像的外边缘对齐，减少因为外边缘不对齐而需要对所输出的原始图像进行裁剪的问题，使得原始图像中尽可能多的区域都能够在拼接合成中进行利用，从而可以提高拼接合成后得到的图像的图像利用率。

在一个实施例中，将第一类摄像头模组设置于距离四边形对角线的中心为预设距离的范围内，包括：

当第一类摄像头模组的数量为一个时，则将第一类摄像头模组设置于四边形对角线的中心所在位置；

当第一类摄像头模组的数量为两个及以上时，则从第一类摄像头模组中获取一个第一类摄像头模组，将第一类摄像头模组设置于四边形对角线的中心所在位置，获取除去设置于四边形对角线的中心所在位置的第一类摄像头模组之外的其他第一类摄像头模组，将其他第一类摄像头模组设置于距离四边形对角线的中心为预设距离的范围内。

具体的，如图5所示，四边形对角线的中心为圆心O，预设距离为半径r，距离四边形对角线的中心O为预设距离r的范围就是圆(圆心O，半径r)所示的范围。当第一类摄像头模组的数量为一个时，则将第一类摄像头模组设置于四边形对角线的中心O；当第一类摄像头模组的数量为两个时，则从第一类摄像头模组中获取一个第一类摄像头模组，将第一类摄像头模组设置于四边形对角线的中心O，获取另外一个第一类摄像头模组，将该第一类摄像头模组设置于距离四边形对角线的中心为预设距离的范围内，即将该第一类摄像头模组设置于该圆内及圆周上，例如将该第一类摄像头模组设置于圆内的E点。当然，还需要考虑摄像头模组之间的干涉、成像效果等因素进行位置设置。

本申请实施例中，当第一类摄像头模组的数量为一个时，则将第一类摄像头模组设置于四边形对角线的中心所在位置，能够使得第一类摄像头模组所采集的图像范围最大地覆盖其他第二类摄像头模组所采集的图像范围。

当第一类摄像头模组的数量为两个及以上时，其中一个设置于四边形对角线的中心所在位置，其他第一类摄像头模组设置于距离四边形对角线的中心为预设距离的范围内且与设置于四边形对角线中心的第一类摄像头模组不重合。在保证位于四边形对角线中心的第一类摄像头模组所采集的图像范围最大地覆盖其他第二类摄像头模组所采集的图像范围的同时，让其他第一类摄像头模组也尽可能大地覆盖其他第二类摄像头模组所采集的图像范围。这样就采集到更多、更全面、更清晰的图像信息，以使最终所得到的图像更加高清、更加逼真。

在一个实施例中，将第二类摄像头模组分别设置于四边形对角线的顶点所在位置，包括：

当第二类摄像头模组的数量为两个时，则将第二类摄像头模组分别设置于同一条四边形对角线的两个顶点所在位置；

当第二类摄像头模组的数量为两个及以上时，则将第二类摄像头模组分别设置于四边形对角线的顶点所在位置。

如图6所示，多个摄像头模组包括至少一个第一类摄像头模组和至少两个第二类摄像头模组，其中，第一类摄像头模组的视场角大于第二类摄像头模组的视场角。多个摄像头模组中的图像传感器采用四边形对角线的方式排列，若第一类摄像头模组602的数量为一个，则将该第一类摄像头模组602设置在四边形对角线的中心，当第二类摄像头模组的数量为两个时，则将第二类摄像头模组分别设置于同一条四边形对角线的两个顶点所在位置。第二类摄像头模组包括第二类摄像头模组604和第二类摄像头模组606，分别设置于同一条四边形对角线的两个顶点所在位置。

如图3所示，若第一类摄像头模组310的数量为一个，则将该第一类摄像头模组310设置在四边形对角线的中心，当第二类摄像头模组的数量为两个及以上时，则将第二类摄像头模组分别设置于四边形对角线的顶点所在位置。例如，第二类摄像头模组的数量为四个，第二类摄像头模组包括第二类摄像头模组320、第二类摄像头模组330、第二类摄像头模组340、第二类摄像头模组350，那么将这四个第二类摄像头模组分别设置于四边形对角线的顶点所在位置。

本申请实施例中，多个摄像头模组中的图像传感器采用四边形对角线的方式排列，当第二类摄像头模组的数量为两个时，则将第二类摄像头模组分别设置于同一条四边形对角线的两个顶点所在位置。如此，则两个第二类摄像头模组分别设置在四边形中心的两侧，第二类摄像头模组可以采集到更多、更全面的图像信息，以使最终所得到的图像更加高清、更加逼真。

在一个具体的实施例中，以电子设备包含1个第一类摄像头模组310和4个第二类摄像头模组为例进行说明，如图3所示，将该第一类摄像头模组310设置在四边形对角线的中心，第二类摄像头模组包括第二类摄像头模组320、第二类摄像头模组330、第二类摄像头模组340、第二类摄像头模组350，那么将这四个第二类摄像头模组分别设置于四边形对角线的顶点所在位置。

第一类摄像头模组可以是广角摄像头模组，第二类摄像头模组可以是长焦摄像头模组。如图7所示，电子设备可以通过广角摄像头模组拍摄参考图像702，当对焦距离大于或等于预设距离时，即远焦拍摄时，电子设备通过4个长焦摄像头模组进行图像采集，得到对应的4帧远景图像704、706、708和710，重叠区域712为4个长焦摄像头模组的视场角之间的重叠区域。因为第一类及第二类摄像头模组采用四边形对角线的方式排列，使得第一类摄像头模组及第二类摄像头模组输出的原始图像的外边缘对齐，减少因为外边缘不对齐而需要对所输出的原始图像进行裁剪的问题，使得原始图像中尽可能多的区域都能够在拼接合成中进行利用，从而可以提高拼接合成后得到的图像利用率。在图7中，4帧远景图像704、706、708和710的外边缘线条分别横竖对齐，且几乎与参考图像702的外边缘对齐，所以在进行图像拼接合成时，几乎不需要对这5帧图像进行裁剪，提高了这5个摄像头模组所拍摄出的图像的利用率。

广角摄像头模组的拍摄画面近似于4个长焦摄像头模组的总拍摄画面，电子设备可以以参考图像702为基准，将参考图像702和4帧远景图像704、706、708和710拼接合成，以得到拍摄画面大，并且图像细节丰富的目标远景图像。

本申请实施例中，电子设备包括一个第一类摄像头模组和四个第二类摄像头模组，第一类摄像头模组设置在四边形对角线的中心，四个第二类摄像头模组分别设置于四边形对角线的顶点所在位置。因为第一类及第二类摄像头模组中的图像传感器采用四边形对角线的方式排列，使得第一类摄像头模组及第二类摄像头模组输出的原始图像的外边缘对齐，减少因为外边缘不对齐而需要对所输出的原始图像进行裁剪的问题，使得原始图像中尽可能多的区域都能够在拼接合成中进行利用，从而可以提高拼接合成后得到的图像利用率。

在一个实施例中，提供了一种摄像头模组组件，包括多个摄像头模组，摄像头模组包括镜头及与镜头对应设置的图像传感器，多个摄像头模组中的图像传感器采用四边形对角线的方式排列；

多个摄像头模组用于通过镜头分别获取图像信息，将图像信息传输至摄像头模组中与镜头对应设置的图像传感器；

图像传感器接收图像信息进行图像处理输出原始图像，将多个摄像头模组输出的原始图像进行拼接合成，得到拼接合成后的图像。

应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图8所示，提供了一种图像处理装置800，包括：

第一原始图像输出模块820，用于通过与设置于距离四边形中心的预设范围内的摄像头模组获取第一图像信息，并对第一图像信息进行图像处理输出第一原始图像，多个摄像头模组排列后构成四边形，多个摄像头模组中的至少一个摄像头模组，设置于距离四边形中心的预设范围内，多个摄像头模组中除去设置于距离四边形中心预设范围内的其余摄像头模组，设置于四边形对角线的顶点所在位置；

第二原始图像输出模块840，用于通过设置于四边形对角线的顶点所在位置的其余摄像头模组获取第二图像信息，并对第二图像信息进行图像处理输出第二原始图像，第二原始图像为对第一原始图像的拍摄区域的任一四角区域或全部区域进行拍摄所获得的图像；

拼接合成模块860，用于将第一原始图像与第二原始图像进行拼接合成，得到拼接合成后的图像。

上述图像处理装置中各个模块的划分仅用于举例说明，在其他实施例中，可将图像处理装置按照需要划分为不同的模块，以完成上述图像处理装置的全部或部分功能。

图9为一个实施例中电子设备的内部结构示意图。如图9所示，该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种图像处理方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。

本申请实施例中提供的图像处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。

本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图10为一个实施例中图像处理电路的示意图。如图10所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图10所示，图像处理电路包括第一类ISP处理器1030、第二类ISP处理器1040和控制逻辑器1050。第一类摄像头1010包括一个或多个第一类透镜1012和第一类图像传感器1014。第一类图像传感器1014可包括色彩滤镜阵列(如Bayer滤镜)，第一类图像传感器1014可获取用第一类图像传感器1014的每个成像像素捕捉的光强度和波长信息，并提供可由第一类ISP处理器1030处理的一组图像数据。第二类摄像头1020包括一个或多个第二类透镜1022和第二类图像传感器1024。第二类图像传感器1024可包括色彩滤镜阵列(如Bayer滤镜)，第二类图像传感器1024可获取用第二类图像传感器1024的每个成像像素捕捉的光强度和波长信息，并提供可由第二类ISP处理器1040处理的一组图像数据。

第一类摄像头1010采集的第一类图像传输给第一类ISP处理器1030进行处理，第一类ISP处理器1030处理第一类图像后，可将第一类图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器1050，控制逻辑器1050可根据统计数据确定第一类摄像头1010的控制参数，从而第一类摄像头1010可根据控制参数进行自动对焦、自动曝光等操作。第一类图像经过第一类ISP处理器1030进行处理后可存储至图像存储器1060中，第一类ISP处理器1030也可以读取图像存储器1060中存储的图像以对进行处理。另外，第一类图像经过ISP处理器1030进行处理后可直接发送至显示器1070进行显示，显示器1070也可以读取图像存储器1060中的图像以进行显示。

其中，第一类ISP处理器1030按多种格式逐个像素地处理图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，第一类ISP处理器1030可对图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

图像存储器1060可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自第一类图像传感器1014接口时，第一类ISP处理器1030可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器1060，以便在被显示之前进行另外的处理。第一类ISP处理器1030从图像存储器1060接收处理数据，并对处理数据进行RGB和YCbCr颜色空间中的图像数据处理。第一类ISP处理器1030处理后的图像数据可输出给显示器1070，以供用户观看和/或由图形引擎或GPU(Graphics ProcessingUnit，图形处理器)进一步处理。此外，第一类ISP处理器1030的输出还可发送给图像存储器1060，且显示器1070可从图像存储器1060读取图像数据。在一个实施例中，图像存储器1060可被配置为实现一个或多个帧缓冲器。

第一类ISP处理器1030确定的统计数据可发送给控制逻辑器1050。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、第一类透镜1012阴影校正等第一类图像传感器1014统计信息。控制逻辑器1050可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定第一类摄像头1010的控制参数及第一类ISP处理器1030的控制参数。例如，第一类摄像头1010的控制参数可包括增益、曝光控制的积分时间、防抖参数、闪光控制参数、第一类透镜1012控制参数(例如聚焦或变焦用焦距)、或这些参数的组合等。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及第一类透镜1012阴影校正参数。

同样地，第二类摄像头1020采集的第二类图像传输给第二类ISP处理器1040进行处理，第二类ISP处理器1040处理第一类图像后，可将第二类图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器1050，控制逻辑器1050可根据统计数据确定第二类摄像头1020的控制参数，从而第二类摄像头1020可根据控制参数进行自动对焦、自动曝光等操作。第二类图像经过第二类ISP处理器1040进行处理后可存储至图像存储器1060中，第二类ISP处理器1040也可以读取图像存储器1060中存储的图像以对进行处理。另外，第二类图像经过ISP处理器1040进行处理后可直接发送至显示器1070进行显示，显示器1070也可以读取图像存储器1060中的图像以进行显示。第二类摄像头1020和第二类ISP处理器1040也可以实现如第一类摄像头1010和第一类ISP处理器1030所描述的处理过程。

根据本申请实施例提供的图像处理电路可以实现上述图像处理方法。其中，电子设备可以多个摄像头，摄像头包括镜头及与镜头对应设置的图像传感器，多个摄像头中的图像传感器采用四边形对角线的方式排列。电子设备实现该图像处理方法的过程如上述实施例，在此不再赘述。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当计算机可执行指令被一个或多个处理器执行时，使得处理器执行图像处理方法的步骤。

一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图像处理方法。

本申请实施例所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像处理方法，其特征在于，应用于电子设备，所述电子设备包括：五个摄像头模组，所述五个摄像头模组包括一个第一类摄像头模组和四个第二类摄像头模组，其中，所述第一类摄像头模组中的镜头的视场角大于所述第二类摄像头模组中的镜头的视场角；所述五个摄像头模组排列后构成四边形，所述四边形为矩形；所述第一类摄像头模组设置于距离所述四边形中心预设距离的范围内；所述四个第二类摄像头模组分别设置于所述四边形对角线的顶点所在位置；且相邻的所述第二类摄像头模组的排布方向与所述矩形的边平行；所述方法包括：

通过所述设置于距离所述四边形中心预设距离的范围内的所述第一类摄像头模组获取第一图像信息，并对所述第一图像信息进行图像处理输出第一原始图像；

通过所述设置于所述四边形对角线的顶点所在位置的所述四个第二类摄像头模组获取第二图像信息，并对所述第二图像信息进行图像处理输出第二原始图像，所述第二原始图像为对所述第一原始图像的拍摄区域的任一四角区域或全部区域进行拍摄所获得的图像；所述第二原始图像的外边缘线条分别横竖对齐，且所述第二原始图像与所述第一原始图像的外边缘对齐；

将所述第一原始图像与所述第二原始图像进行拼接合成，得到拼接合成后的图像；且在进行拼接合成过程中，不需要对所述第二原始图像相对于所述第一原始图像的外边缘进行裁剪。

2.根据权利要求1所述的方法，其特征在于，所述四个第二类摄像头模组替换为三个第二类摄像头模组及一个TOF摄像头模组。

3.根据权利要求2所述的方法，其特征在于，所述第一类摄像头模组设置于所述四边形对角线的中心所在位置。

4.一种多摄像头模组，其特征在于，包括五个摄像头模组，所述五个摄像头模组包括一个第一类摄像头模组和四个第二类摄像头模组，其中，所述第一类摄像头模组中的镜头的视场角大于所述第二类摄像头模组中的镜头的视场角；所述五个摄像头模组排列后构成四边形，所述四边形为矩形；所述第一类摄像头模组设置于距离所述四边形中心预设距离的范围内；所述四个第二类摄像头模组分别设置于所述四边形对角线的顶点所在位置；且相邻的所述第二类摄像头模组的排布方向与所述矩形的边平行；

所述多摄像头模组，用于通过所述设置于距离所述四边形中心预设距离的范围内的所述第一类摄像头模组获取第一图像信息，并对所述第一图像信息进行图像处理输出第一原始图像；

通过所述设置于所述四边形对角线的顶点所在位置的所述四个第二类摄像头模组获取第二图像信息，并对所述第二图像信息进行图像处理输出第二原始图像，所述第二原始图像为对所述第一原始图像的拍摄区域的任一四角区域或全部区域进行拍摄所获得的图像；所述第二原始图像的外边缘线条分别横竖对齐，且所述第二原始图像与所述第一原始图像的外边缘对齐；

将所述第一原始图像与所述第二原始图像进行拼接合成，得到拼接合成后的图像；且在进行拼接合成过程中，不需要对所述第二原始图像相对于所述第一原始图像的外边缘进行裁剪。

5.根据权利要求4所述的多摄像头模组，其特征在于，所述第一类摄像头模组设置于所述四边形对角线的中心所在位置。

6.一种图像处理装置，其特征在于，应用于电子设备，所述电子设备包括五个摄像头模组，所述五个摄像头模组包括一个第一类摄像头模组和四个第二类摄像头模组；其中，所述第一类摄像头模组中的镜头的视场角大于所述第二类摄像头模组中的镜头的视场角；所述五个摄像头模组排列后构成四边形，所述四边形为矩形；所述第一类摄像头模组设置于距离所述四边形中心预设距离的范围内；所述四个第二类摄像头模组分别设置于所述四边形对角线的顶点所在位置；且相邻的所述第二类摄像头模组的排布方向与所述矩形的边平行；所述装置包括：

第一原始图像输出模块，用于通过与所述设置于距离所述四边形中心预设距离的范围内的所述第一类摄像头模组获取第一图像信息，并对所述第一图像信息进行图像处理输出第一原始图像；

第二原始图像输出模块，用于通过所述设置于所述四边形对角线的顶点所在位置的所述四个第二类摄像头模组获取第二图像信息，并对所述第二图像信息进行图像处理输出第二原始图像，所述第二原始图像为对所述第一原始图像的拍摄区域的任一四角区域或全部区域进行拍摄所获得的图像；所述第二原始图像的外边缘线条分别横竖对齐，且所述第二原始图像与所述第一原始图像的外边缘对齐；

拼接合成模块，用于将所述第一原始图像与所述第二原始图像进行拼接合成，得到拼接合成后的图像；且在进行拼接合成过程中，不需要对所述第二原始图像相对于所述第一原始图像的外边缘进行裁剪。

7.一种电子设备，包括存储器及处理器，其特征在于，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1所述的图像处理方法的步骤。

8.一种电子设备，包括存储器及处理器，其特征在于，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求2至3中任一项所述的图像处理方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求2至3中任一项所述的方法的步骤。