发明内容
本申请提供了一种图像处理的方法及移动终端,本申请还提供一种计算机可读存储介质,以提供一种拍摄图像的合成方式,可以兼顾图像大视野及精细细节的要求,提高用户对拍摄图像的满意度。
第一方面,本申请提供了一种图像处理的方法,包括:
检测用于选取拍摄模式的第一操作;
响应于检测到的第一操作,确定当前拍摄模式;
显示用于选择视场角的显示界面,所述显示界面包括所述至少一个摄像头对应的视场角的选项;
检测用于选择至少两个视场角的选项的第二操作;
响应于检测到的所述第二操作,确定所述当前拍摄模式对应的至少两个视场角,其中,所述至少两个视场角与一个或多个摄像头对应;
检测用于拍摄的第三操作;
响应于检测到的所述第三操作,获取所述至少两个视场角对应的多张图像,其中,所述至少两个视场角中的每一个对应至少一张图像;
将所述多张图像进行合成以形成第一图像,并将所述第一图像进行显示。
其中一种可能的实现方式中,在检测用于选取拍摄模式的第一操作之前,所述方法还包括,启动第一摄像头,显示所述第一摄像头采集的拍摄预览界面;
所述显示用于选择视场角的显示界面中,只包括所述第一摄像头对应的视场角;或
所述显示用于选择视场角的显示界面中,只包括所述第一摄像头对应的视场角,与所述第一摄像头处于所述移动终端同一侧的其他摄像头对应的视场角;或
所述显示用于选择视场角的显示界面中,所述第一摄像头对应的视场角的选项以突出方式显示;或
所述显示用于选择视场角的显示界面中,对应于同一摄像头的视场角以同样的方式显示;或
所述显示用于选择视场角的显示界面中,对应于处于所述移动终端同一侧的摄像头的视场角以同样的方式显示;或
所述显示用于选择视场角的显示界面中,推荐的视场角的组合以突出方式显示。
其中,该第一摄像头可以是位于移动终端一侧的唯一一个摄像头,也可以是位于移动终端一侧的多个摄像头中的一个;该摄像头可以是移动终端的主摄像头。该拍摄预览界面可以是该第一摄像头当前拍摄到的取景框画面。该选择视场角的显示界面可以是供用户选择视场角的菜单显示界面。此外,通过上述突出方式的推荐,可以提高用户对视场角选择的便利性,也可以提高用户拍摄的效率。
其中一种可能的实现方式中,在启动第一摄像头,显示所述第一摄像头采集的拍摄预览界面之后,所述方法还包括,
检测用于切换摄像头的第四操作;
响应于检测到的所述第四操作,启动第二摄像头,显示所述第二摄像头采集的拍摄预览界面;
所述显示用于选择视场角的显示界面中,只包括所述第二摄像头对应的视场角;或
所述显示用于选择视场角的显示界面中,只包括所述第二摄像头对应的视场角,与所述第二摄像头处于所述移动终端同一侧的其他摄像头对应的视场角;或
所述显示用于选择视场角的显示界面中,所述第二摄像头对应的视场角的选项以突出方式显示;或
所述显示用于选择视场角的显示界面中,对应于同二摄像头的视场角以同样的方式显示;或
所述显示用于选择视场角的显示界面中,对应于处于所述移动终端同一侧的摄像头的视场角以同样的方式显示;或
所述显示用于选择视场角的显示界面中,推荐的视场角的组合以突出方式显示。
其中,该第二摄像头可以是和第一摄像头具有同等功能的摄像头,可以是相对于第一摄像头位于移动终端的另一侧,且是另一侧唯一一个摄像头,也可以是相对于第一摄像头位于移动终端的另一侧,且是另一侧中的多个摄像头中的一个。应理解,当摄像头由第一摄像头变更为第二摄像头之后,当前的拍摄预览界面也随着摄像头进行变更,即在第一摄像头场景下,获取的是第一摄像头采集的拍摄预览界面,在第二摄像头场景下,获取的是第二摄像头采集的拍摄预览界面;同样地,在进行摄像头切换后,可能会发生摄像头数目的变更,例如,原来前置摄像头只有一个,摄像头变更后,摄像头数目变为三个,这时选择视场角的显示界面也会随着变更。通过上述方式的摄像头的切换,可以提高用户拍摄的自由度,增加移动终端的应用场景,提升用户体验。
其中一种可能的实现方式中,所述将所述多张图像进行合成包括:
将所述多张图像按照视场角大小进行排序,并按照顺序依次将每张图像进行叠加。
其中,该叠加过程可以包括对图像的放大、缩小、裁剪、填充或覆盖。例如,在两张图像的叠加过程中,可以对其中任意一张图像先进行缩小或放大,然后与另一张图像进行覆盖,在覆盖过程中,可以是将较小的图像覆盖较大的图像的中心部分,也可以是较大的图像填充较小的图像的边缘部分。通过上述方式对多张图像进行合成,可以兼顾大视野及精细细节的要求。
其中一种可能的实现方式中,所述按照顺序依次将每张图像进行叠加包括:
按照视场角由小到大的顺序依次获取每个图像与最小视场角对应的图像Fmin的视场角比值S;
将最小视场角对应的图像Fmin保持不变,依次将其余图像根据对应的视场角比值S进行放大,获得放大图像;
按照视场角由小到大的顺序依次将图像Fmin及所有放大图像进行叠加。
通过对每张图像进行排序,并按照视场角有小到大顺序依次进行叠加,适合兼顾大视野及精细细节的场景,由此提高图像合成的效率。
其中一种可能的实现方式中,所述按照顺序依次将每张图像进行叠加包括:
按照视场角由大到小的顺序依次获取最大视场角对应的图像Fmax与每个图像的视场角比值S;
将最大视场角对应的图像Fmax保持不变,依次将其余图像根据对应的视场角比值S进行缩小,获得缩小图像;
按照视场角由小到大的顺序依次将图像Fmax及所有缩小图像进行叠加。
通过对每张图像进行排序,并按照视场角有大到小顺序依次进行叠加,适合兼顾分辨率及细节清晰的场景,由此提高图像合成的效率。
其中一种可能的实现方式中,所述获取所述至少两个视场角对应的多张图像包括,若所述至少两个视场角与多个摄像头对应,则将每个摄像头对应的原始采集图像进行存储;
所述将所述多张图像进行合成包括,将所述每个摄像头对应的原始采集图像进行合成,并将合成图像与所述每个摄像头对应的原始采集图像进行关联。
其中,若至少两个视场角与多个摄像头对应,则意味着每个摄像头与每个视场角对应,即一个视场角对应一个摄像头,在拍摄过程中,一个摄像头会根据对应的视场角采集一张原始图像,而该合成图像(即第一图像)是在每个摄像头的原始图像进行裁剪及合成后获得的合成图像,该第一图像经合成确定后,分辨率及视场角也随着确定,在现有技术中,如果对该第一图像进行放大或者缩小,只是在尺寸上进行放大和缩小,对于分辨率和视场角是不会变的;而将该第一图像与对应的原始采集图像进行关联并存储,可以在后期放大或缩小时,可以调用对应的原始采集图像,对视场角和分辨率进行自适应调整,由此满足用户放大或缩小时保证视场角和分辨率的要求,提升用户的感受。
其中一种可能的实现方式中,在所述将合成图像进行显示之后,还包括:
检测用于缩放的第五操作;
响应于检测到的第五操作,确定当前缩放模式及当前缩放倍率,其中,所述缩放模式包括第一缩放模式及第二缩放模式;
若所述当前缩放模式为第一缩放模式,则获取与所述合成图像对应的所有原始采集图像,将所述原始图像根据当前缩放倍率进行缩放后进行合成以形成第二图像,并显示所述第二图像;
若所述当前缩放模式为第二缩放模式,则获取与所述合成图像对应的至多两张原始采集图像,将所述原始图像根据当前缩放倍率进行缩放后进行合成以形成第二图像,并显示所述第二图像。
该第五操作可以用于第一图像合成后,还可以继续用于后期处理,该后期处理可以包括放大和缩小。其中,该第一缩放模式可以是缩小,缩小的倍率可以在0.33与1之间,该缩小模式可以改变视场角,但是不改变图像的尺寸,也可以改变视场角的同时改变图像的尺寸;在对图像进行缩小时,该图像可以是该第一图像,由于该第一图像与对应的摄像头的原始采集图像关联,因此可以调用所有对应的摄像头的原始采集图像,例如,通常原始采集图像都包含一张广角原始采集图像、一张标准原始采集图像和一张长焦原始采集图像,然后将上述三张原始采集图像根据当前缩小倍率缩小后再次合成,获得最终的缩小图像(即第二图像),并显示该第二图像,由此达到图像缩小但扩大视野的目的。
此外,该第二缩放模式可以是放大,放大的倍率可以是在1与3.33之间,也可以是大于3.33;若放大倍率在1与3.33之间,则可以调用与该预览图像对应两张原始采集图像,例如,一张标准原始采集图像及一张长焦原始采集图像,在对上述两张原始采集图像进行裁剪及合成后,可以获得最终的放大图像(即第二图像),并显示该第二图像;若放大倍率大于3.33,则可以调用一张广角原始采集图像,对该广角原始采集图像进行上采样放大,然后进行裁剪,可以获得最终的放大图像,并显示该第二图像;由此达到图像放大但是图像清晰的目的。
第二方面,本申请提供一种移动终端,包括:
存储器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括指令,当所述移动终端从所述存储器中读取所述指令,以使得所述移动终端执行以下步骤:
检测用于选取拍摄模式的第一操作;
响应于检测到的第一操作,确定当前拍摄模式;
显示用于选择视场角的显示界面,所述显示界面包括所述至少一个摄像头对应的视场角的选项;
检测用于选择至少两个视场角的选项的第二操作;
响应于检测到的所述第二操作,确定所述当前拍摄模式对应的至少两个视场角,其中,所述至少两个视场角与一个或多个摄像头对应;
检测用于拍摄的第三操作;
响应于检测到的所述第三操作,获取所述至少两个视场角对应的多张图像,其中,所述至少两个视场角中的每一个对应至少一张图像;
将所述多张图像进行合成以形成第一图像,并将所述第一图像进行显示。
其中一种可能的实现方式中,所述指令被所述移动终端执行时,使得所述移动终端执行检测用于选取拍摄模式的第一操作的步骤之前,还执行以下步骤:
启动第一摄像头,显示所述第一摄像头采集的拍摄预览界面;
所述显示用于选择视场角的显示界面中,只包括所述第一摄像头对应的视场角;或
所述显示用于选择视场角的显示界面中,只包括所述第一摄像头对应的视场角,与所述第一摄像头处于所述移动终端同一侧的其他摄像头对应的视场角;或
所述显示用于选择视场角的显示界面中,所述第一摄像头对应的视场角的选项以突出方式显示;或
所述显示用于选择视场角的显示界面中,对应于同一摄像头的视场角以同样的方式显示;或
所述显示用于选择视场角的显示界面中,对应于处于所述移动终端同一侧的摄像头的视场角以同样的方式显示;或
所述显示用于选择视场角的显示界面中,推荐的视场角的组合以突出方式显示。
其中一种可能的实现方式中,所述指令被所述移动终端执行时,使得所述移动终端执行启动第一摄像头,显示所述第一摄像头采集的拍摄预览界面的步骤之后,还执行以下步骤:
检测用于切换摄像头的第四操作;
响应于检测到的所述第四操作,启动第二摄像头,显示所述第二摄像头采集的拍摄预览界面;
所述显示用于选择视场角的显示界面中,只包括所述第二摄像头对应的视场角;或
所述显示用于选择视场角的显示界面中,只包括所述第二摄像头对应的视场角,与所述第二摄像头处于所述移动终端同一侧的其他摄像头对应的视场角;或
所述显示用于选择视场角的显示界面中,所述第二摄像头对应的视场角的选项以突出方式显示;或
所述显示用于选择视场角的显示界面中,对应于同二摄像头的视场角以同样的方式显示;或
所述显示用于选择视场角的显示界面中,对应于处于所述移动终端同一侧的摄像头的视场角以同样的方式显示;或
所述显示用于选择视场角的显示界面中,推荐的视场角的组合以突出方式显示。
其中一种可能的实现方式中,所述指令被所述移动终端执行时,使得所述移动终端执行将所述多张图像进行合成的步骤包括:
将所述多张图像按照视场角大小进行排序,并按照顺序依次将每张图像进行叠加。
其中一种可能的实现方式中,所述指令被所述移动终端执行时,使得所述移动终端执行按照顺序依次将每张图像进行叠加的步骤包括:
按照视场角由小到大的顺序依次获取每个图像与最小视场角对应的图像Fmin的视场角比值S;
将最小视场角对应的图像Fmin保持不变,依次将其余图像根据对应的视场角比值S进行放大,获得放大图像;
按照视场角由小到大的顺序依次将图像Fmin及所有放大图像进行叠加。
其中一种可能的实现方式中,所述指令被所述移动终端执行时,使得所述移动终端执行按照顺序依次将每张图像进行叠加的步骤包括:
按照视场角由大到小的顺序依次获取最大视场角对应的图像Fmax与每个图像的视场角比值S;
将最大视场角对应的图像Fmax保持不变,依次将其余图像根据对应的视场角比值S进行缩小,获得缩小图像;
按照视场角由小到大的顺序依次将图像Fmax及所有缩小图像进行叠加。
其中一种可能的实现方式中,所述指令被所述移动终端执行时,使得所述移动终端执行获取所述至少两个视场角对应的多张图像的步骤包括:
若所述至少两个视场角与多个摄像头对应,则将每个摄像头对应的原始采集图像进行存储;
所述将所述多张图像进行合成包括,将所述每个摄像头对应的原始采集图像进行合成,并将合成图像与所述每个摄像头对应的原始采集图像进行关联。
其中一种可能的实现方式中,所述指令被所述移动终端执行时,使得所述移动终端执行将合成图像进行显示的步骤之后,还执行以下步骤:
检测用于缩放的第五操作;
响应于检测到的第五操作,确定当前缩放模式及当前缩放倍率,其中,所述缩放模式包括第一缩放模式及第二缩放模式;
若所述当前缩放模式为第一缩放模式,则获取与所述合成图像对应的所有原始采集图像,将所述原始图像根据当前缩放倍率进行缩放后进行合成以形成第二图像,并显示所述第二图像;
若所述当前缩放模式为第二缩放模式,则获取与所述合成图像对应的至多两张原始采集图像,将所述原始图像根据当前缩放倍率进行缩放后进行合成以形成第二图像,并显示所述第二图像。
第三方面,本申请提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,当其在计算机上运行时,使得计算机执行如第一方面所述的方法。
第四方面,本申请提供一种计算机程序,当所述计算机程序被计算机执行时,用于执行第一方面所述的方法。
在一种可能的设计中,第四方面中的程序可以全部或者部分存储在与处理器封装在一起的存储介质上,也可以部分或者全部存储在不与处理器封装在一起的存储器上。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。其中,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
目前的移动终端通常都包含摄像头,而随着摄像头变焦能力的增强,用户可以拍摄远处无损的细节信息;但在进行放大变焦成像时,成像的视场角FOV也会同比例减小,在大视场角场景下,用户只能看到一个较小视野中的精细影像。考虑到广角镜头的引入,在大视场角场景下的拍摄有了很大进步,即可以扩大视野,进行超大广角的大范围拍摄,然而此种方式的拍摄也会有如下问题:细节损失比较严重,进行大视场角场景拍摄获得的第一图片,FOV越大,细节越不清晰,在变焦放大后再拍摄的第二图片,FOV随之变小,细节也变得清晰。
同样的问题也出现在拍摄照片的后期处理中,当对拍摄照片进行放大时,细节会变得模糊;而当对拍摄照片进行缩小时,由于缩小的是照片的尺寸,视场角不会变化,因此无法获取当前照片外的信息;同样地,在对拍摄照片进行截屏时,如果对截屏的区域进行放大,在显示时也会变得模糊。
需要说明的是,视场角用于指示摄像头在拍摄图像的过程中,所能拍摄到的最大的角度范围。若待拍摄物体处于这个角度范围内,该待拍摄物体便会被摄像头采集到,进而呈现在预览图像中。若待拍摄物体处于这个角度范围之外,该被拍摄设备便不会被图像捕捉装置采集到,即不会呈现在预览图像中。通常,摄像头的视场角越大,则拍摄范围就越大,焦距就越短。而摄像头的视场角越小,则拍摄范围就越小,焦距就越长。
一般而言,视场角包括水平方向和竖直方向的范围。在本申请中可以用两个视场角来分别表示水平方向和竖直方向的范围,也可以用一个视场角同时表示水平方向和竖直方向的范围。为了便于说明,本申请下文均以一个视场角同时表示水平方向和竖直方向的范围进行举例说明。例如:如图1所示,视场角α为通过大视场角的摄像头捕捉到图像的两条边缘的对角线对应的角度,可以同时表示水平方向和竖直方向的角度。β为小视场角的摄像头捕捉到的图像的两条边缘的对角线对应的角度,可以同时表示水平方向和竖直方向的角宽度。
在本申请中,也可以将“视场角”称为“视场范围”、“视野范围”等词汇。本文对于“视场角”的名称不作限制,只要表达的是如上的概念即可。
而后,将大视场角的图像与小视场角的图像进行合成得到合成图像。此时显示的图像的视场角较大,而在细节处可以呈现较高像素的图片,满足用户在大视场角场景下提升细节质量的要求,提高了照片的成像质量,提升了用户的体验。
本申请实施例提供的技术方案可运用于移动终端,本申请对执行该技术方案的移动终端的具体形式不做特殊限制。
如图2所示,为本申请实施例提供的一种移动终端100的结构示意图。移动终端包括摄像模组110、显示屏120、处理器130、I/O子系统140、存储器150及其它输入设备160。其中,摄像模组110用于采集图像,显示屏120用于显示图像及操作界面。
摄像模组110包含有至少一个摄像头111,其中,若摄像模组仅包含一个摄像头,则摄像头为可变焦摄像头,可变焦摄像头可前置也可后置;若摄像模组包含两个摄像头,且两个摄像头分别位于移动终端的两侧,则至少一个摄像头为可变焦摄像头,若两个摄像头位于移动终端的同一侧,则两个摄像头可以是可变焦或定焦摄像头的任意组合;若摄像模组包括两个以上的摄像头,至少两个摄像头位于移动终端的同一侧,即,摄像模组包括至少两个前置摄像头,或至少两个后置摄像头,其中,位于同一侧的摄像头可以是可变焦或定焦摄像头的任意组合;可变焦摄像头可通过用户设置的多个视场角先后进行拍摄,由此获得与每个视场角对应的一张图像,其中,在拍摄过程中,两张图像之间的拍摄时间间隔应尽可能缩短,用以保证每次拍摄的曝光参数一致,从而获得曝光参数一致的图像,其中,该拍摄时间间隔由硬件或用户设置决定,即由摄像头的规格参数决定,例如,用户可选择连续曝光的参数,该参数可以包含连续曝光的时间间隔;若摄像模组包含两个或更多的定焦摄像头,多个定焦摄像头中有至少一个大视场角的定焦摄像头,和至少一个小视场角的定焦摄像头。其中,至少一个大视场角的摄像头(例如:视场角位于100度至200度之间,分辨率位于视频图形阵列(VGA,Video Graphics Array)到720p之间),例如:摄像头111;至少一个小视场角的摄像头(例如:视场角位于20度至60度之间,分辨率位于720p到2Kp之间),例如:摄像头112。其中,大视场角的摄像头捕获的图像视场角较大,分辨率较低。小视场角的摄像头捕获的图像视场角较小,分辨率较高。至少两个定焦摄像头可同时采集图像。应理解的是,所有定焦摄像头可通过数字变焦改变焦距,该数字变焦的范围都是和具体的定焦摄像头相关的。
显示屏120可用于显示由用户输入的信息或提供给用户的信息以及移动终端100的各种菜单,还可以接受用户输入。具体的显示屏120可包括显示面板121,以及触控面板122。其中显示面板121可以采用液晶显示器(LCD,Liquid Crystal Display)、有机发光二极管(OLED,Organic Light-Emitting Diode)等形式来配置显示面板121。触控面板122,也称为触摸屏、触敏屏等,可收集用户在其上或附近的接触或者非接触操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板122上或在触控面板122附近的操作,也可以包括体感操作;该操作包括单点控制操作、多点控制操作等操作类型),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板122可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位、姿势,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成处理器能够处理的信息,再送给处理器130,并能接收处理器130发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板122,也可以采用未来发展的任何技术实现触控面板122。进一步的,触控面板122可覆盖显示面板121,用户可以根据显示面板121显示的内容(该显示内容包括但不限于,软键盘、虚拟鼠标、虚拟按键、图标等等),在显示面板121上覆盖的触控面板122上或者附近进行操作,触控面板122检测到在其上或附近的操作后,通过I/O子系统140传送给处理器130以确定用户输入,随后处理器130根据用户输入通过I/O子系统140在显示面板121上提供相应的视觉输出。虽然在图3中,触控面板122与显示面板121是作为两个独立的部件来实现移动终端100的输入和输入功能,但是在某些实施例中,可以将触控面板122与显示面板121集成而实现移动终端100的输入和输出功能。
处理器130是移动终端100的控制中心,利用各种接口和线路连接整个移动终端的各个部分,通过运行或执行存储在存储器150内的软件程序和/或模块,以及调用存储在存储器150内的数据,执行移动终端100的各种功能和处理数据,从而对移动终端进行整体监控。可选的,处理器130可包括一个或多个处理单元;优选的,处理器130可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器130中。
I/O子系统140用来控制输入输出的外部设备,可以包括其他设备输入控制器141、显示控制器142。可选的,一个或多个其他输入控制设备控制器141从其他输入设备140接收信号和/或者向其他输入设备140发送信号,其他输入设备140可以包括物理按钮(按压按钮、摇臂按钮等)、拨号盘、滑动开关、操纵杆、点击滚轮、光鼠(光鼠是不显示可视输出的触摸敏感表面,或者是由触摸屏形成的触摸敏感表面的延伸)。值得说明的是,其他输入控制设备控制器141可以与任一个或者多个上述设备连接。所述I/O子系统140中的显示控制器142从显示屏120接收信号和/或者向显示屏120发送信号。显示屏120检测到用户输入后,显示控制器142将检测到的用户输入转换为与显示在显示屏120上的用户界面对象的交互,即实现人机交互。
存储器150可用于存储软件程序以及模块,处理器130通过运行存储在存储器150的软件程序以及模块,从而执行移动终端100的各种功能应用以及数据处理。存储器150可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据移动终端100的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器150可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其他输入设备160可用于接收输入的数字或字符信息,以及产生与移动终端100的用户设置以及功能控制有关的键信号输入。具体地,其他输入设备160可包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆、光鼠(光鼠是不显示可视输出的触摸敏感表面,或者是由触摸屏形成的触摸敏感表面的延伸)等中的一种或多种。其他输入设备160与I/O子系统140的其他输入设备控制器141相连接,在其他设备输入控制器141的控制下与处理器130进行信号交互。
在本申请中,大视场角捕获的图像视场角较大,可以提供更宽更广的视角,作为背景图。而小视场角摄像头捕获的图像分辨率较高,可以为用户提供精细的细节图像。可见,本申请中将大视场角捕获的图像,与小视场角捕获的图像进行合成,可以满足用户在大视场角场景下提升细节质量的要求,提高了照片的成像质量,提升了用户的体验。
需要说明的是,当摄像模组包含多个摄像头时,多个摄像头之间的位置可以任意摆放,例如,摄像头111可以位于摄像头112的左侧或者右侧,摄像头111也可以位于摄像头112的上侧或者下侧。也就是说,本申请不限定摄像模组中任一摄像头与其它摄像头的相对位置关系。
这样,摄像模组110的摄像头捕获的多张图像,经过本申请提供的方法进行处理后,显示在显示器120上,供用户观看,从而满足用户对图像的拍摄和需求。一般而言,无论是移动终端仅包含一个摄像头还是包含多个摄像头,都可以通过拍摄获得多张图像,其中,多张图像对应的曝光参数可以都相同,其中,曝光参数包括焦点、曝光时间和感光度。
现结合图3-图11对本申请提供的图像处理方法进行说明,该方法可以应用于上述移动终端100中。
步骤s1,响应于检测到的拍摄操作,一个或多个摄像头采集多张图像,其中,每张图像对应不同的目标视场角;
可选地,在步骤s1之前,移动终端可以根据检测到的用户输入的相机启动指令,通过显示器向用户展示当前的操作界面。在具体实现中,用户可以通过点击显示屏中的与摄像头应用程序对应的图标,用于启动摄像头的拍摄。相应地,用户启动移动终端的摄像头后,可通过移动终端的显示界面预览摄像头实时获取的图像。
应理解,用户点击图标打开应用程序时,可以是单击,可以是双击,也可以是其它方式,本申请实施例对此不作限定。
在一种可能的实现方式中,在启动该摄像头后,可看到如图3的显示界面,参考图3,移动终端的显示界面300包括拍摄操作区域310、拍摄模式选择区域320、画面预览区域330及模式参数设置区域340;其中,拍摄模式选择区域320包含多种拍摄模式的候选项321,例如,大光圈、夜景、人像、多FOV、录像以及专业模式;拍摄操作区域310包含拍摄按钮311及摄像头切换按钮312。需要注意的是,对于单个摄像头的移动终端,不具有摄像头切换功能,因此没有摄像头切换按钮312,在移动终端包含多个摄像头且摄像头位于移动终端的两侧时,该移动终端具有摄像头切换功能,可以包含摄像头切换按钮312。
具体地,若移动终端包含多个摄像头,且摄像头位于移动终端的两侧,通过点击拍摄操作区域310中的摄像头切换按钮312,可以选择当前的摄像头,即可以选择前置摄像头还是后置摄像头,其中,在当前选择的摄像头中,如果至少一个摄像头具有多FOV拍摄功能,则在拍摄模式选择区域320中的候选项321中就会出现多FOV选项。若移动终端只包含一个摄像头,这时无需进行摄像头的切换,若当前摄像头支持多FOV拍摄功能,则拍摄模式选择区域320中的候选项321中就会出现多FOV选项,否则不出现。当通过点击该FOV选项之后,模式参数设置区域340就会出现对应的模式参数候选项341,例如,闪光灯、FOV组合选项及其它一些曝光参数选项。当点击模式参数候选项341中的FOV组合选项之后,就会在当前界面跳出FOV组合选项区域3410,供用户进行选择,显示界面如图4所示,用户可以通过任意选择FOV组合选项区域3410中的选项,用以确定当前所需的FOV组合。其中,被选中的选项可以通过打勾、颜色变化等方式呈现,本实施例对比不作限定。
需要说明的是,当进行摄像头的切换后,当前的拍摄预览界面可通过切换后的摄像头获得,对应的选择视场角的显示界面也与切换后的摄像头相关联,例如,原来是前置摄像头中的主摄像头采集并显示拍摄预览画面,经过摄像头切换后,变更为后置摄像头中的主摄像头采集并显示拍摄预览画面;由此可以方便的进行摄像头的切换,用户也可以任意的进行前置摄像头拍摄的图像合成或后置摄像头拍摄的图像合成,给用户提升了选择多样性及便利性。
在具体实现时,以单个摄像头的移动终端为例,如图5所示为单个摄像头的FOV组合选项区域3410的呈现形式,FOV组合选项区域3410包括选项框3410a及FOV候选项3410b,用户可以通过点击选项框中的一个或多个,用于确定当前的FOV组合,其中,每个FOV候选项对应一个变焦倍率,例如0.6X、1X、2X、4X、8X、16X,该FOV选项和摄像头的变焦能力相关,结合图5,在1.0X、4.0X和8.0X的选项框上打了勾,意味着用户选择了1.0X、4.0X和8.0X这三个变焦倍率。如图6所示为三个摄像头的FOV组合选项区域3410的呈现形式,FOV组合选项区域3410包括分摄像头选项区域3411,每个分摄像头选项区域3411包括选项框3410a及FOV候选项3410b;其中,每个分摄像头选项区域3411都与移动终端上的一个摄像头对应,在对FOV选项进行选择时,每个分摄像头选项区域3411中只能选择其中一个选项,从而让每个摄像头获取当前的变焦倍率,并让每个摄像头按照当前设置的变焦倍率各拍摄一张图像。
需要说明的是,在图5-图6所示的选择视场角的显示界面中,对于与当前预览画面对应的摄像头,该摄像头的视场角选项可以通过加粗、高亮或者选中等突出方式进行显示,用于向用户推荐该摄像头对应的市场角选项,其中,同一摄像头的视场角选项可以通过同样的方式显示,例如,同一颜色和/或同一字体。进一步地,位于移动终端同一侧的所有摄像头的视场角选择也可以通过同样的方式显示,例如,同一颜色和/或同一字体。更进一步地,在选择视场角的显示界面中,也可以有默认推荐的视场角组合,该组合可以通过突出方式显示,例如加粗、高亮或者选中等方式。通过以上方式,用户可以更方便快捷的选择视场角组合,提高拍摄的效率。
应理解,每个分摄像头选项区域3411对应的可以是可变焦摄像头,也可以是定焦摄像头,若摄像头是可变焦摄像头,则FOV候选项中的变焦倍率为光学变焦,若摄像头为定焦摄像头,则FOV候选项中的变焦倍率为数字变焦。
在用户选取FOV组合之后,可重新点击模式参数候选项341中的FOV组合选项,也可以点击屏幕上的任意位置,以便退出当前FOV组合选项的选择状态,或者在FOV组合选项区域3410中设置确认按钮,用于在用户点击确认按钮后退出当前FOV组合选项的选择状态;当退出当前FOV组合选项的选择状态后,FOV的组合选项及存储在系统中,并返回到如图3所示的多FOV模式下的待拍摄界面。
在具体实现时,若移动终端包含多个摄像头,例如,有双摄像头的移动终端、三摄像头的移动终端;以三个摄像头为例,对于三个摄像头在同一侧的移动终端,则该移动终端可以包含一个广角(例如,广角的焦距为16mm,可以通过数字变焦改变焦距)摄像头、一个标准(例如,标准的焦距为48mm,可以通过数字变焦改变焦距)摄像头及一个长焦(例如,长焦的焦距为160mm,可以通过数字变焦改变焦距)摄像头;当进行拍摄时,三个摄像头同时拍摄一张图像,因此,三个摄像头在同一侧的移动终端可通过多FOV模式同时获得三张图像,即一张广角图像、一张标准图像及一张长焦图像,每张图像都和各自的摄像头对应,也就是和每个摄像头当前设置的FOV对应。
需要说明的是,移动终端在如图5所示的单摄像头的多FOV模式下拍摄时,由于单个摄像头进行拍摄时是先后拍摄获得的多张图像,因此要保证在该多FOV模式下拍摄的多张图像是基于相同的曝光参数,而对于如图6所示的多摄像头的FOV模式下的拍摄,由于多个摄像头是同时拍摄,因此每个摄像头拍摄到的图像对应的曝光参数都是相同的,其中,曝光参数包含焦点、曝光时间和感光度。
可选地,在步骤s1中,在用户启动摄像头后,可以进一步检测用户的操作,当检测到用户的拍摄指令后(例如用户在显示界面300上的拍摄操作区域310按下拍照按钮311),可以指示摄像头进行图像的采集;其中,用户的拍摄指令可以通过用户点击操作界面上的拍摄按钮进行,也可以通过长按的方式,或者通过其它方式,本申请实施例对此不作限定。
步骤s2,将所述图像按所述目标视场角大小进行排序,并按照所述图像的排列顺序依次将每张所述图像进行叠加,获得第一图像;
具体地,当获取到多张不同FOV的图像之后,可先按照FOV值的大小进行排序,所述排序的方式可以是从大到小,也可以是从小到大,由此获得有序的图像。然后依次对有序的每张图像进行叠加,由此获得合成图像,即第一图像;其中,叠加的原则是根据细节精细优先的原则进行,即细节更精细的图像通常覆盖细节欠精细的图。
在一种可能的实现方式中,将所述最小视场角对应的图像保持不变,按照视场角由小到大的顺序依次将每张所述图像进行叠加,获得合成图像;其中,在排序过程中按照视场角由小到大的顺序依次获取当前图像与所述最小视场角对应的图像的视场角比值,根据所述视场角比值对当前图像进行放大,获得放大图像;将所述最小视场角对应的图像与所述放大图像根据中心点进行对应,并进行叠加,获得当前中间合成图像,其中,重叠部分中所述最小视场角对应的图像覆盖所述放大图像;并进行下一个放大图像与所述当前中间合成图像的叠加,以生成下一个中间合成图像,其中,重叠部分中所述当前中间合成图像覆盖所述下一个放大图像,直到所有的图像叠加完成,获得合成图像。
具体地,可在所有图像中找出最小FOV对应的图像,命名为Fmin,并将Fmin图像保持不变;然后按照图像顺序找出比Fmin大的下一张图像F1,计算F1/Fmin的比值,并按照比值通过线性插值或者B样条插值等方法对F1进行上采样扩大,举例来说,假设F1/Fmin的比值为2,则将F1图像上采样扩大2倍,由此使得F1图像的视野和Fmin图像的视野相同。然后将F1图像和Fmin图像进行叠加,获得中间合成图像X1,其中,在叠加过程中,是基于细节精细优先的原则进行;即F1图像在和Fmin图像进行叠加时,由于Fmin图像比F1图像更精细,因此Fmin图像覆盖F1图像;在完成F1图像的叠加之后,继续进行下一个图像的叠加,即找到比F1大的下一个图像F2,计算F2/Fmin的比值,同样按照比值通过线性插值或者B样条插值等方法对F2进行上采样扩大,然后将F2图像与X1图像进行叠加,在叠加过程中同样按照细节精细优先的原则,由于X1图像比F2更精细,因此X1图像覆盖F2图像,由此获得中间合成图像X2,并继续找到下一个图像,以此类推,直到所有的图像都叠加完成。
应理解,在合成过程中,也可以先对除图像Fmin之外的所有图像进行上采样放大,获得对应的放大图像,然后可以从最大FOV对应的图像的放大图像开始,依次进行覆盖,例如,假设Fmin为第一张图像,最大FOV对应的图像为最后一张图像,先将最大FOV对应的图像前面一张图像的放大图像,即最后第二张图像的放大图像覆盖在最后一张图像的放大图像上,然后将最后第三张图像的放大图像覆盖在最后第二张图像的放大图像上,并依次覆盖,直到第一张图像Fmin覆盖在第二张图像的放大图像上,即所有图像都覆盖完,最后合成的效果图如图7所示。
应理解,在图像处理中,上采样(upsampling)是指在原始图像的基础上在像素点之间采用合适的插值算法(例如最近邻插值,双线性插值,均值插值等)插入新的元素,以提高原始图像的分辨率。
结合图7,以三张图像进行合成为例进行说明,根据每张图像的视场角对三张图像进行排序之后,获得最大视场角对应的图像710,对应的变焦倍率为4X,较小视场角对应的图像720,对应的变焦倍率为2X,最小视场角对应的图像730,对应的变焦倍率为1X;然后将最小视场角对应的图像730保持不变,并分别计算图像710和图像720之间的FOV比值S1,计算后获得S1=2,及图像710和图像730之间的FOV比值S2,计算后获得S2=4;先根据S1将图像720进行放大,即将图像720放大2倍,其中,该放大是等比例放大,由此获得图像721,并将图像721与图像730进行合并,在合并过程中,图像730覆盖图像721,并通过中心点对齐的方式进行覆盖,即将图像730与图像721的中心点对齐后再进行覆盖,由此获得中间合成图像731;接着根据S2将图像710进行放大,即将图像710放大4倍,其中,该放大是等比例放大,由此获得图像711,并将图像711与图像731进行合并,在合并过程中,图像731覆盖图像711,并通过中心点对齐的方式进行覆盖,即将图像731与图像711的中心点对齐后再进行覆盖,由此获得最终合成图像740。以两张像素均为3000*3000的照片为例,其中一张变焦倍率为2X,对应的FOV为0.5,另一张变焦倍率为4X,对应的FOV为0.25,可先将4X照片保持不变,2X照片分辨率通过上采样扩大为原有的2倍,即2X照片扩大后像素变为6000*6000,然后将2X照片和4X照片中心对齐后进行叠加,融合成一张像素6000*6000的照片,经过上述操作,照片进行了放大,选取了两张照片中最大的FOV,且在中心区域3000*3000的像素范围内,由于选用了两张照片中FOV更小的那张,因此该中心区域3000*3000的像素范围没有因为照片的放大导致分辨率降低,由此,合成照片可以达到兼顾FOV和精细细节的要求。
应当注意的是,在叠加过程中还可以将待合成的两个图像进行中心对齐后再进行合成,中心对齐的方式可以通过刚体配准的方法,例如基于互信息的刚体配准方法或者基于特征的配准方法进行对齐。
在一种可能的实现方式中,将所述最大视场角对应的图像保持不变,按照视场角由大到小的顺序依次将每张所述图像进行叠加,获得合成图像;其中,在排序过程中按照视场角由大到小的顺序依次获取所述最大视场角对应的图像与当前图像的视场角比值,根据所述视场角比值对当前图像进行缩小,获得缩小图像;将所述最大视场角对应的图像与所述缩小图像根据中心点进行对应,并进行叠加,获得当前中间合成图像,其中,重叠部分中所述缩小图像覆盖所述最大视场角对应的图像;并进行下一个缩小图像与所述当前中间合成图像的叠加,以生成下一个中间合成图像,其中,重叠部分中所述下一个缩小图像覆盖所述当前中间合成图像,直到所有的图像叠加完成,获得合成图像。
具体地,可在所有图像中找出最大FOV对应的图像,命名为Fmax,并将Fmax图像保持不变;然后按照图像顺序找出比Fmax小的下一张图像F1,计算Fmax/F1的比值,并按照比值通过线性插值或者B样条插值等方法对F1进行下采样缩小,举例来说,假设Fmax/F1的比值为2,则将F1图像降采样缩小2倍,由此使得F1图像的视野和Fmax图像的视野相同。然后将F1图像和Fmax图像进行叠加,获得中间合成图像X1,其中,在叠加过程中,是基于细节精细优先的原则进行;即F1图像在和Fmax图像进行叠加时,由于F1图像比Fmax图像更精细,因此F1图像覆盖Fmax图像;在完成F1图像的叠加之后,继续进行下一个图像的叠加,即找到比F1小的下一个图像F2,计算Fmax/F2的比值,同样按照比值通过线性插值或者B样条插值等方法对F2进行下采样缩小,然后将F2图像与X1图像进行叠加,在叠加过程中同样按照细节精细优先的原则,由于F2图像比X1更精细,因此F2图像覆盖X1图像,由此获得中间合成图像X2,并继续找到下一个图像,以此类推,直到所有的图像都叠加完成。
应理解,在合成过程中,也可以先对除图像Fmax之外的所有图像进行下采样缩小,获得对应的缩小图像,然后可以从图像F1开始,依次将缩小图像覆盖在前一张缩小图像上,例如,先将图像F1的缩小图像覆盖在图像Fmax上,然后将F2的缩小图像覆盖在F1的缩小图像上,直到所有图像都覆盖完,最后合成的效果图如图8所示。
应理解,在图像处理中,下采样(subsampled)是指对原始图像进行缩小。例如,对于一幅图像尺寸为M*N,对其进行S倍下采样,即得到(M/S)*(N/S)尺寸的分辨率图像,其中S应该是M和N的公约数。如果是矩阵形式的图像,就是把原始图像S*S窗口内的图像变成一个像素点,这个像素点的值就是窗口内所有像素的均值。
结合图8,以三张图像进行合成为例进行说明,根据每张图像的视场角对三张图像进行排序之后,获得最大视场角对应的图像810,对应的变焦倍率为4X,较小视场角对应的图像820,对应的变焦倍率为2X,最小视场角对应的图像830,对应的变焦倍率为1X;然后将最大视场角对应的图像810保持不变,并分别计算图像810和图像820之间的FOV比值S1,计算后获得S1=2,及图像810和图像830之间的FOV比值S2,计算后获得S2=4;先根据S1将图像820进行缩小,即将图像820缩小2倍,由此获得图像821,并将图像821与图像810进行合并,在合并过程中,图像821覆盖图像810,并通过中心点对齐的方式进行覆盖,即将图像810与图像821的中心点对齐后再进行覆盖,由此获得中间合成图像811;接着根据S2将图像830进行缩小,即将图像830缩小4倍,由此获得图像831,并将图像831与图像811进行合并,在合并过程中,图像831覆盖图像811,并通过中心点对齐的方式进行覆盖,即将图像811与图像831的中心点对齐后再进行覆盖,由此获得最终合成图像840。同样以两张像素均为3000*3000的照片为例,其中一张变焦倍率为2X,对应的FOV为0.5,另一张变焦倍率为4X,对应的FOV为0.25,可先将2X照片保持不变,4X照片分辨率通过下采样缩小2倍,即将4X照片缩小为像素1500*1500,然后将2X照片和4X照片对齐后进行叠加,融合成一张像素3000*3000的照片,由此可以达到兼顾大场景和精细细节的要求。
在一种可能的实现方式中,若通过图6所示的多摄像头模式进行拍摄,则可以同时获得多张图像,其中,每张图像对应一个摄像头。
具体地,在图6所示的多摄像头拍摄模式下,当用户选择了多个视场角,即意味着用户选取了其中任意多个摄像头,其中,每个视场角可以对应一个摄像头,这样,在进行拍摄时,可将选取的每个摄像头采集获得的原始采集图像进行保存,然后可将选取的每个摄像头采集获得的原始采集图像进行合成,并将合成图像与选取的每个摄像头采集获得的原始采集图像进行关联,由此在后续进行缩放时,可以调用对应的原始采集图像,达到兼顾缩放及图像清晰的要求。
需要说明的是,当进入多摄像头的多FOV模式下拍摄时,移动终端的摄像头系统可以同时输出多个不同视场角的数据流,以三个摄像头为例,分别为一个广角摄像头、一个标准摄像头及一个长焦摄像头,三个摄像头的帧同步及3A同步由摄像头系统保证,其中,3A包括自动白平衡(AWB,Automatic white balance)、自动曝光(AE,Automatic Exposure)及自动对焦(AF,Automatic Focus)。当用户启动拍摄后,三个摄像头可以分别根据各自设置的FOV参数进行数据采集,分别获得对应的数据流,其中,广角摄像头的数据流可以对应WData1,标准摄像头的数据流可以对应SDdata1,长焦摄像头的数据流可以对应TDdata1,该数据流可以用于图像的生成,即通过数据流WData1可以生成广角图像W1,通过数据流SData1可以生成标准图像S1,通过数据流TData1可以生成广角图像T1;此外,在数据采集的过程中,还可以通过摄像头系统获得各个摄像头对应的元数据,即数据流WData1、数据流SDdata1及数据流TData1分别有对应的元数据,其中,元数据,主要描述数据属性的信息,用于支持如指示存储位置、历史数据、资源查找、文件记录等功能。
进一步地,在获取到数据流WData1、数据流SDdata1、数据流TData1及分别对应的元数据后,可以以焦点为基准,对图像W1、图像S1及图像T1做拉伸和对齐操作,分别获得图像W2、图像S2及图像T2。
进一步地,在获取到图像W2、图像S2及图像T2后,可根据图7-图8所示的图像合成方法对三张图像进行合成,获得最终的合成图像JPEG。
需要说明的是,图像W2、图像S2及图像T2为原始图像,即图像W2、图像S2及图像T2对应的是摄像头固有参数获取的图像,例如,广角摄像头的固有拍摄角度为120度,经过用户的FOV设置后,当前拍摄的角度为100度,则用于合成的图像为拍摄角度100度的图像。而该合成图像JPEG的数据与原始图像W2的数据、原始图像S2的数据及原始图像T2的数据进行绑定,用于后期的图像处理,例如,放大、缩小等。如图9所示为最终合成图像的保存格式,其中,在合成图像JPEG数据后面关联广角图像数据(W2)、标准图像数据(S2)及长焦图像数据(T2),在进行图像预览的时候,可以调用JPEG图像数据,在进行放大和缩小处理时,可以通过调用关联广角图像数据(W2)、标准图像数据(S2)及长焦图像数据(T2)这三个原始图像,由此实现兼顾放大缩小及图像清晰的目的。
步骤s3,显示所述第一图像。
具体地,当所有图像完成叠加之后,就可通过显示屏显示当前的最终合成图像,即第一图像,所述第一图像也可存储在图库中,以便用户进行浏览及后期处理,以获得第二图像,其中,后期处理包括放大及缩小。
在一种可能的实现方式中,若根据图9所示的方法合成图像,则可按照图10-图11所示方法进行后期处理,该后期处理可以包括放大及缩小。用户可预先设置放大和缩小的倍率,例如,该倍率范围可以为:缩小倍率在0.33与1之间、放大倍率在1-3.33之间及放大倍率在3.33以上。
其中,用户在浏览当前预览图像的过程中,若对当前预览图像开始进行缩放操作,即向移动终端的处理器发出了图像缩放指令,该指令包含了缩放比例。移动终端的处理器接收到该图像缩放指令后可以根据所述指令中的缩放比例来对原始的图像进行合成,以形成第二图像,并通过显示屏进行显示。
需要说明的是,用户对当前预览图像的缩放操作也可以是一个持续的动态操作过程,直到将当前预览图像缩放至预期的图像尺寸,因此在整个缩放操作过程中,可以持续地向移动终端的处理器连续发出一系列图像缩放指令,移动终端的处理器将根据当前接收到的图像缩放指令确定当前的缩放比例。此外,放大的倍率根据硬件摄像头的参数而定,即缩放的比例有一定的范围,不能无限放大及无限缩小。
现结合图10对图像的缩小场景进行说明,其中,JPEG合成图像1010对应的变焦倍率为1,广角图像数据1011的变焦倍率为0.3,标准图像数据1012的变焦倍率为1,长焦图像数据1013的变焦倍率为4;上述四个图像的分辨率均为3000*3000,缩小倍率为0.5。
首先对广角图像数据1011进行上采样,放大为原来的0.5/0.3倍(即放大5/3倍),即放大后获得广角上采样图像1011a,该广角上采样图像1011a分辨率变为5000*5000;接着对标准图像数据1012进行下采样,缩小为原来的1/0.5倍(即缩小2倍),即缩小后获得标准下采样图像1012a,该标准下采样图像1012a分辨率变为1500*1500;然后对长焦图像数据1013进行下采样,缩小为原来的4/0.5倍(即缩小8倍),即缩小后获得长焦下采样图像1013a,该长焦下采样图像1013a分辨率变为375*375;然后,分别将广角上采样图像1011a、标准下采样图像1012a及长焦下采样图像1013a进行融合以得到缩小合成图像1020,并显示该缩小合成图像1020。
需要说明的是,在融合过程中,由于广角上采样图像1011a进行了上采样,图像尺寸已经发生变化,因此需要裁剪,具体地,可将广角上采样图像1011a裁剪至3000*3000的广角裁剪图像1011b,然后依次将标准下采样图像1012a及长焦下采样图像1013a叠加在广角裁剪图像1011b上,由此获得缩小合成图像1020。通过裁剪及叠加以后,原始图像1010的尺寸没有改变,而缩小后原始图像1010的边缘部分可由广角裁剪图像1011b进行填充,扩大了视野;而中心部分可由标准下采样图像1012a及长焦下采样图像1013a进行填充,使得中心区域的细节更加清晰,由此达到兼顾图像缩小及视野扩大的要求。
接着结合图11对图像的放大场景进行说明,其中,JPEG合成图像1010对应的变焦倍率为1,标准图像数据1012的变焦倍率为1,长焦图像数据1013的变焦倍率为4;上述三个图像的分辨率均为3000*3000,放大倍率为2。
首先对标准图像数据1012进行上采样,放大为原来的2/1倍(即放大2倍),即放大后获得标准上采样图像1012b,该标准上采样图像1012b分辨率变为6000*6000;然后对长焦图像数据1013进行下采样,缩小为原来的2/4倍(即缩小2倍),即缩小后获得长焦下采样图像1013b,该长焦下采样图像1013b分辨率变为1500*1500;然后,分别将标准下采样图像1012b及长焦下采样图像1013b进行融合以得到放大合成图像1021,并显示该放大合成图像1021。
需要说明的是,在融合过程中,由于标准上采样图像1012b进行了上采样,图像尺寸已经发生变化,因此需要裁剪,具体地,可将标准上采样图像1012b裁剪至3000*3000的标准裁剪图像1012c,然后将长焦下采样图像1013b叠加在标准裁剪图像1012c上,由此获得放大合成图像1021。通过裁剪及叠加以后,原始图像1010的尺寸没有改变,而中心部分可由长焦下采样图像1013b进行填充,使得中心区域的细节更加清晰,由此达到兼顾图像放大及图像不失真的要求。
在一种可能的实现方式中,还可以通过广角图像数据1011进行放大,如上述放大方法,可先将广角图像数据1012进行上采样放大,然后根据原始图像尺寸进行裁剪,由此获得放大图像,并显示该放大图像。
如图12所示,为本申请实施例提供的移动终端系统架构1200的示意图。该系统结构用于实现上述方法实施例中提供的方法。
相机应用(APP,Application)1210用于获取用户输入的FOV选取指令或拍摄指令。
控制中心1220用于检测用户输入的当前指令,若用户输入的当前指令为FOV选取指令,则将用户选取的FOV组合模式发送给图像信号处理单元(ISP,image signalprocessor)1230;若用户输入的当前指令为拍摄指令,则向处理中心1240请求目标曝光模式。
处理中心1240用于根据控制中心1220的请求,向控制中心1220发送目标曝光参数,目标曝光参数包括焦点、曝光时间及感光度。
控制中心1220还用于在收到目标曝光参数后,向图像信号处理单元1230发送目标曝光参数,并指示图像信号处理单元1230根据FOV组合模式及目标曝光参数采集多张图像。
在一种可能的实现方式中,该控制中心1220例如可以为移动终端的操作系统。
在一种可能的实现方式中,该处理中心1240例如可以为与摄像头配套的后台处理模块。
图像信号处理单元1230用于控制摄像头1250根据FOV组合模式及目标曝光参数采集多个图像,并将采集的多个图像发送至处理中心1240。
控制中心1220还用于将从图像信号处理单元1230获取到的多个采集图像发送给处理中心1040。
图像信号处理单元1230还用于将采集的每个图像与对应的FOV模式相关联或将采集的每个图像与对应的摄像头相关联。
处理中心1240还用于将从控制中心1220或图像信号处理单元1230发过来的采集图像发送至图像编码单元1260。
处理中心1240还用于确定当前的拍摄模式,并指示显示屏1270显示当前的拍摄模式。
处理中心1240还用于根据用户的当前指令,指示显示屏1270显示当前的操作界面。
图像编码单元1260用于对处理中心1240发过来的采集图像进行编码后,发送至显示屏1270,并同时将编码图像存储在图库1280中。
在一种可能的实现方式中,图像编码单元1260还用于存储原始采集图像,并将该原始采集图像与编码图像进行关联。
显示屏1270用于向用户显示图像编码单元1260发来的编码图像。
显示屏1270还用于向用户显示当前的拍摄模式。
显示屏1270还用于根据用户的指令向用户显示当前的操作界面。
处理中心1240还用于对获取到的多个采集图像进行合成处理,以获得第一图像,并将该第一图像向图像编码单元1260发送,通过显示屏1270显示,并存储在图库1280中。
在一种可能的实现方式中,该图库1280还用于接收用户的图像编辑指令,并根据该图像编辑指令指示图像编码单元1260对存储在图像编码单元1260中的原始采集图像进行合成。
图像编码单元1260还用于根据图库1280的指示对存储的原始采集图像进行合成,以获得第二图像,并在合成完毕后指示显示屏1270显示该第二图像。
可以理解的是,本发明实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对移动终端100的结构限定。在本申请另一些实施例中,移动终端100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
可以理解的是,上述终端等为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本申请实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明实施例的范围。
本申请实施例可以根据上述方法示例对上述终端等进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本发明实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请实施例各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器130执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:快闪存储器、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。