CN116723410B - 调节帧间隔的方法和装置 - Google Patents

Abstract

本申请涉及终端拍摄领域，提供了一种调节帧间隔的方法和装置，该方法包括：AE模块获取主摄像头拍摄的第一帧和N个辅摄像头拍摄的N个第二帧，N为正整数；所述AE模块确定所述第一帧的帧间隔与所述N个第二帧的帧间隔是否为环境光亮度变化周期的整数倍；当所述第一帧与所述N个第二帧中的目标帧的帧间隔不是为境光亮度变化周期的整数倍时，所述AE模块确定所述目标帧是否为同步帧；当所述目标帧为非同步帧时，所述AE模块基于抗闪烁算法调节所述目标帧的帧间隔。该方法能够能够避免消除闪烁的功能开启后帧率剧烈变动。

Description

调节帧间隔的方法和装置

技术领域

本申请涉及终端拍摄领域，具体涉及一种调节帧间隔的方法和装置。

背景技术

很多终端设备具有拍摄功能，拍摄功能的基本原理是通过图像传感器记录进入镜头的光子，在屏幕上显示记录的结果(即，图像或视频)。在一些情况下，终端设备所处的环境存在亮暗变化的光源(如使用交流电的灯)，当图像传感器的曝光时间与光源的亮度变化周期不是整数倍关系时，图像不同位置处积累的信号强度不同，导致图像上出现亮暗相间的条纹(banding)。当屏幕显示预览视频时，预览视频还会出现条纹移动现象。这种图像或者视频上出现条纹的现象被称为闪烁(flicker)。

闪烁的本质是像素曝光起始点相对交流电的相位关系在不断变化，一种消除闪烁的方法是开启抗闪烁模式，将帧间隔设置为亮度变化周期的整数倍，这样，每帧图像在曝光时间内积累的光子数相同，视频上的条纹不再移动。

在消除闪烁的过程中，终端设备需要调节摄像头的帧间隔，以使得摄像头的帧间隔为环境光亮度变化周期的整数倍。然而，在一些拍摄模式(如，人像模式和大光圈模式)中，用户开启消除闪烁的功能后，摄像头的帧率会剧烈变化，严重影响拍摄效果。

发明内容

本申请实施例提供了一种调节帧间隔的方法和装置，能够避免消除闪烁的功能开启后帧率剧烈变动。

第一方面，提供了一种调节帧间隔的方法，应用于终端设备，所述终端设备开启抗闪烁模式，所述终端设备包括自动曝光(auto exposure，AE)模块，所述方法包括：所述AE模块获取主摄像头拍摄的第一帧和N个辅摄像头拍摄的N个第二帧，N为正整数；所述AE模块确定所述第一帧的帧间隔与所述N个第二帧的帧间隔是否为环境光亮度变化周期的整数倍；当所述第一帧与所述N个第二帧中的目标帧的帧间隔不是为境光亮度变化周期的整数倍时，所述AE模块确定所述目标帧是否为同步帧；当所述目标帧为非同步帧时，所述AE模块基于抗闪烁算法调节所述目标帧的帧间隔。

当多个摄像头同时工作时，多个摄像头采集的帧需要对齐时间戳。通常做法是在同步帧增大主摄或辅摄的帧长度线(framelengthlines)以便于主摄和辅摄采集的帧对齐时间戳。增大主摄的帧长度线会导致主摄或辅摄的帧间隔发生变化(如，帧率下降)，进而导致主摄或辅摄的帧间隔偏离环境光亮度变化周期的整数倍。在终端设备开启抗闪烁模式的情况下，当AE模块发现主摄或辅摄的帧间隔不是环境光亮度变化周期的整数倍时，会调节主摄或辅摄的帧间隔，以使主摄或辅摄的帧间隔变成环境光亮度变化周期的整数倍，然而，这又会使得主摄和辅摄变得不同步，循环往复，最终导致主摄或辅摄的帧率剧烈变化。

在本申请提供的上述方法中，在终端设备开启抗闪烁模式的情况下，AE模块首先要识别当前帧(第一帧和N个第二帧)是否为环境光亮度变化周期的整数倍，如果是，则不需要调节帧间隔；如果不是，则需要调节帧间隔。当需要调整帧间隔时，再判断目标帧(第一帧与N个第二帧中需要调整帧间隔的帧)是否为同步帧；如果目标帧不是同步帧，使用抗闪烁算法调节帧间隔，这样可以避免两种算法同时调节帧间隔导致主摄或辅摄的帧率剧烈变化。

可选地，所述终端设备还包括传感器模块，所述方法还包括：所述传感器模块确定所述AE模块是否调节了当前帧的帧间隔，所述当前帧为所述第一帧和/或所述N个第二帧；当所述AE模块调节了所述当前帧的帧间隔时，所述传感器模块确定不调节所述主摄像头和所述N个辅摄像头的帧间隔；当所述AE模块未调节所述当前帧的帧间隔时，所述传感器模块调节所述主摄像头和所述N个辅摄像头的帧间隔。

一些情况下，为了降功耗，传感器模块会降低摄像头输出的帧率，例如，主摄和辅摄的帧率均为30fps的情况下，为了降功耗，传感器模块会将主摄和辅摄的帧率降低1.25倍，降至24fps。然而，传感器模块中更新主摄帧率的模块与更新辅摄帧率的模块是两个不同的子模块，更新主摄帧率的模块的输入是AE模块的输出，更新辅摄帧率的模块的输入是图像传感器的输出，因此，若AE模块调节了帧率，传感器模块再次调节帧率会导致主摄和辅摄的帧率不同，进而导致主摄和辅摄不同步。本实施例中，传感器模块在AE模块未调节帧率的情况下调节帧率，这样，更新主摄帧率的模块与更新辅摄帧率的模块的输入量相同(均为图像传感器的输出)，可以在降功耗的同时避免主摄和辅摄不同步。

可选地，所述传感器模块确定所述AE模块是否调节了所述当前帧的帧间隔，包括：所述传感器模块从图像传感器接收所述当前帧的第一帧间隔；所述传感器模块从所述AE模块接收所述当前帧的第二帧间隔；当所述第一帧间隔与所述第二帧间隔相同时，所述传感器模块确定所述AE模块未调节所述当前帧的帧间隔；当所述第一帧间隔与所述第二帧间隔不同时，所述传感器模块确定所述AE模块调节了所述当前帧的帧间隔。

传感器模块可以通过比较从AE模块和图像传感器获得的帧间隔，若两个帧间隔相同，说明AE模块未调节帧率，则传感器模块可以调节帧率。若两个帧间隔不相同，说明AE模块调节了帧率，则传感器模块不再调节帧率。

可选地，所述AE模块确定所述目标帧是否为同步帧之前，所述方法还包括：所述AE模块确定环境光的频率；当所述环境光的频率为预设频率时，所述AE模块确定所述目标帧是否为同步帧。

若环境光频率不是预设频率，AE模块无法执行抗闪烁算法调节目标帧的帧间隔，抗闪烁算法与帧同步算法不会冲突，也就无需判断目标帧是否为同步帧。

可选地，所述AE模块基于抗闪烁算法调节所述目标帧的帧间隔，包括：所述AE模块通过调节所述目标帧对应的摄像头的帧长度线调节所述目标帧的帧间隔，其中，所述主摄像头的调节后的帧间隔与所述N个辅摄像头的调节后的帧间隔相同，并且，所述主摄像头的调节后的帧间隔和所述N个辅摄像头的调节后的帧间隔分别是所述环境光的亮度变化周期的整数倍，所述环境光的亮度变化周期为所述环境光的频率的倒数。

调节非同步帧的帧间隔，使非同步帧的帧间隔达到环境光的亮度变化周期的整数倍，既可以抗闪烁，也能够避免帧率剧烈变化。

可选地，所述方法还包括：当所述环境光的频率为非预设频率时，所述AE模块确定所述环境光的亮度；所述AE模块根据所述环境光的亮度确定曝光量；所述AE模块根据所述曝光量调节所述主摄像头和所述辅摄像头的帧间隔。

若环境光频率不是预设频率，AE模块无法执行抗闪烁算法调节第一帧的帧间隔和所述N个第二帧的帧间隔，可以直接根据曝光量调节所述主摄像头和所述辅摄像头的帧间隔。

可选地，所述方法还包括：当所述第一帧和所述N个第二帧为同步帧时，所述AE模块基于帧同步算法调节所述第一帧或所述N个第二帧的帧间隔。

可选地，所述AE模块确定所述第一帧和所述N个第二帧是否为同步帧，包括：所述AE模块根据所述第一帧的标识和所述N个第二帧的标识确定所述第一帧和所述N个第二帧是否为同步帧，所述标识用于指示所述第一帧是否为同步帧。

可选地，所述AE模块获取主摄像头拍摄的第一帧和N个辅摄像头拍摄的N个第二帧之前，所述方法还包括：所述终端设备的相机APP接收用户操作，所述用户操作用于选择多摄模式，所述多摄模式为所述主摄像头和所述N个辅摄像头共同拍摄的模式；所述相机APP响应于所述用户操作，控制所述主摄像头拍摄所述第一帧，并且，控制所述N个辅摄像头拍摄所述N个第二帧。

第二方面，提供了一种调节帧间隔的装置，包括用于执行第一方面中任一种方法的单元。该装置可以是终端设备，也可以是终端设备内的芯片。该装置可以包括输入单元和处理单元。

当该装置是终端设备时，该处理单元可以是处理器，该输入单元可以是通信接口；该终端设备还可以包括存储器，该存储器用于存储计算机程序代码，当该处理器执行该存储器所存储的计算机程序代码时，使得该终端设备执行第一方面中的任一种方法。

当该装置是终端设备内的芯片时，该处理单元可以是芯片内部的逻辑处理单元，该输入单元可以是输出接口、管脚或电路等；该芯片还可以包括存储器，该存储器可以是该芯片内的存储器(例如，寄存器、缓存等)，也可以是位于该芯片外部的存储器(例如，只读存储器、随机存取存储器等)；该存储器用于存储计算机程序代码，当该处理器执行该存储器所存储的计算机程序代码时，使得该芯片执行第一方面的任一种方法。

第三方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序代码，当所述计算机程序代码被调节帧间隔的装置运行时，使得该装置执行第一方面中的任一种方法。

第四方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序代码，当所述计算机程序代码被调节帧间隔的装置运行时，使得该装置执行第一方面中的任一种方法。

附图说明

图1是一种环境光源的亮度变化的示意图；

图2是一种曝光示意图；

图3是一种闪烁现象的示意图；

图4是一种适用于本申请的终端设备的硬件架构的示意图；

图5是一种适用于本申请的终端设备的软件架构的示意图；

图6是本申请提供的一种主摄模块和辅摄模块的示意图；

图7是本申请提供的一种拍照场景的示意图；

图8是本申请提供的拍照场景对应的数据流的示意图；

图9是本申请提供的一种调节帧间隔的方法的示意图；

图10是本申请提供的一种帧同步方法的示意图；

图11是本申请提供的另一种调节帧间隔的方法的示意图。

具体实施方式

下面将结合附图，对本申请实施例中的技术方案进行描述。

图1是一种环境光源的亮度变化的示意图。

图1的上半部分示出了交流电的波形，交流电的电压的方向和大小随时间周期性变化，表现出正弦波的形式。亮度当环境光源为使用交流电的灯时，灯的亮度也呈周期性变化，如图1的下半部分所示，亮度变化周期为交流电的周期的一般。例如，交流电的周期为1/60s，灯的亮度变化周期则为1/120s。

当交流电的电压为0时，灯的亮度也为0，该时刻为暗时刻。当拍摄环境存在使用交流电的灯时，终端设备在暗时刻的曝光量为0，终端设备在暗时刻之外的时刻的曝光量不为0，因此，终端设备拍摄的图像会出现条纹。

图2是一种曝光示意图。

终端设备所处的环境存在亮暗变化的光源(如使用交流电的灯)，图像传感器的曝光方式是逐行曝光，当图像传感器的曝光时间与光源的亮度变化周期不是整数倍关系时，图像不同位置处积累的信号强度不同，导致图像上出现亮暗相间的条纹(banding)。当屏幕显示预览视频时，预览视频还会出现条纹移动现象。这种图像或者视频上出现条纹的现象被称为闪烁(flicker)，如图3所示。

闪烁的本质是像素曝光起始点相对交流电的相位关系在不断变化，一种消除闪烁的方法是将曝光时间设置为环境光亮度变化周期的整数倍，这样，每行像素在曝光时间内积累的光子数相同，视频上的条纹不再移动。

上述方法需要调节帧间隔，以使得帧间隔变成环境光亮度变化周期的整数倍。对于双摄场景(三摄或更多摄像头的场景也存在下列问题)，为了合成不同摄像头拍摄的图像，终端设备还需要调节帧间隔以使不同摄像头采集的帧同步，这样就会存在两种调节帧间隔的机制，当这两种机制同时生效时，就会导致帧间隔剧烈变动。

首先介绍适用于本申请的终端设备的硬件架构和软件架构。

如图4所示，终端设备可以是手机、可折叠电子设备、平板电脑、桌面型计算机、膝上型计算机、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personalcomputer，UMPC)、上网本、蜂窝电话、个人数字助理(personal digital assistant，PDA)、增强现实(augmented reality，AR)设备、虚拟现实(virtual reality，VR)设备、人工智能(artificial intelligence，AI)设备、可穿戴式设备、车载设备、智能家居设备或智慧城市设备。本申请实施例对该终端设备的具体类型不作特殊限制。

终端设备可以包括处理器110、外部存储器接口120、内部存储器121、通用串行总线(universal serial bus，USB)接口130、充电管理模块140、电源管理模块141、电池142、天线1、天线2、移动通信模块150、无线通信模块160、音频模块170、扬声器170A、受话器170B、麦克风170C、耳机接口170D、传感器模块180、按键190、马达191、指示器192、摄像模组193、显示屏194以及用户标识模块(subscriber identification module，SIM)卡接口195。其中传感器模块180可以包括压力传感器180A、陀螺仪传感器180B、气压传感器180C、磁传感器180D、加速度传感器180E、距离传感器180F、接近光传感器180G、指纹传感器180H、温度传感器180J、触摸传感器180K等。

需要说明的是，图4所示的结构并不构成对终端设备的具体限定。在本申请另一些实施例中，终端设备可以包括比图4所示的部件更多或更少的部件，或者，终端设备可以包括图4所示的部件中某些部件的组合，或者，终端设备可以包括图4所示的部件中某些部件的子部件。图4示的部件可以以硬件、软件、或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元。例如，处理器110可以包括以下处理单元中的至少一个：应用处理器(application processor，AP)、调制解调处理器、图形处理器(graphics processing unit，GPU)、图像信号处理器(image signal processor，ISP)、控制器、视频编解码器、数字信号处理器(digital signal processor，DSP)、基带处理器、神经网络处理器(neural-network processing unit，NPU)。其中，不同的处理单元可以是独立的器件，也可以是集成的器件。

控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

在一些实施例中，处理器110可以包括一个或多个接口。例如，处理器110可以包括以下接口中的至少一个：内部集成电路(inter-integrated circuit，I2C)接口、内部集成电路音频(inter-integrated circuit sound，I2S)接口、脉冲编码调制(pulse codemodulation，PCM)接口、通用异步接收传输器(universal asynchronous receiver/transmitter，UART)接口、移动产业处理器接口(mobile industry processor interface，MIPI)、通用输入输出(general-purpose input/output，GPIO)接口、SIM接口、USB接口。

I2C接口是一种双向同步串行总线，包括一根串行数据线(serial data line，SDA)和一根串行时钟线(derail clock line，SCL)。在一些实施例中，处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K、充电器、闪光灯、摄像模组193等。例如：处理器110可以通过I2C接口耦合触摸传感器180K，使处理器110与触摸传感器180K通过I2C总线接口通信，实现终端设备的触摸功能。

I2S接口可以用于音频通信。在一些实施例中，处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合，实现处理器110与音频模块170之间的通信。在一些实施例中，音频模块170可以通过I2S接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。

PCM接口也可以用于音频通信，将模拟信号抽样、量化和编码。在一些实施例中，音频模块170与无线通信模块160可以通过PCM接口耦合。在一些实施例中，音频模块170也可以通过PCM接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。

UART接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，UART接口通常被用于连接处理器110与无线通信模块160。例如：处理器110通过UART接口与无线通信模块160中的蓝牙模块通信，实现蓝牙功能。在一些实施例中，音频模块170可以通过UART接口向无线通信模块160传递音频信号，实现通过蓝牙耳机播放音乐的功能。

MIPI接口可以被用于连接处理器110与显示屏194和摄像模组193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface，CSI)、显示屏串行接口(display serial interface，DSI)等。在一些实施例中，处理器110和摄像模组193通过CSI接口通信，实现终端设备的拍摄功能。处理器110和显示屏194通过DSI接口通信，实现终端设备的显示功能。

GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号接口，也可被配置为数据信号接口。在一些实施例中，GPIO接口可以用于连接处理器110与摄像模组193，显示屏194、无线通信模块160、音频模块170和传感器模块180。GPIO接口还可以被配置为I2C接口、I2S接口、UART接口或MIPI接口。

图4所示的各模块间的连接关系只是示意性说明，并不构成对终端设备的各模块间的连接关系的限定。可选地，终端设备的各模块可以采用与上述实施例中的连接方式不同的接口连接方式，或者，终端设备的各模块可以采用上述实施例中多种连接方式的组合。

USB接口130是符合USB标准规范的接口，例如可以是迷你(Mini)USB接口、微型(Micro)USB接口或C型USB(USB Type C)接口。USB接口130可以用于连接充电器为终端设备充电，也可以用于终端设备与外围设备之间传输数据，还可以用于连接耳机以通过耳机播放音频。USB接口130还可以用于连接其他装置，例如AR设备。

充电管理模块140用于从充电器接收电力。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过USB接口130接收有线充电器的电流。在一些无线充电的实施例中，充电管理模块140可以通过终端设备的无线充电线圈接收电磁波(电流路径如虚线所示)。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为终端设备供电。

电源管理模块141用于连接电池142、充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110、内部存储器121、显示屏194、摄像模组193和无线通信模块160供电。电源管理模块141还可以用于监测电池容量、电池循环次数和电池健康状态(例如，漏电、阻抗)等参数。可选地，电源管理模块141可以设置于处理器110中，或者，电源管理模块141和充电管理模块140可以设置于同一个器件中。

终端设备的无线通信功能可以通过天线1、天线2、移动通信模块150、无线通信模块160、调制解调处理器以及基带处理器等器件实现。

天线1和天线2用于发射和接收电磁波信号。终端设备中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块150可以提供应用在终端设备上的无线通信的解决方案，例如下列方案中的至少一个：第二代(2^th generation，2G)移动通信解决方案、第三代(3^thgeneration，3G)移动通信解决方案、第四代(4^th generation，5G)移动通信解决方案、第五代(5^th generation，5G)移动通信解决方案。移动通信模块150可以包括至少一个滤波器、开关、功率放大器和低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波和放大等处理，随后传送至调制解调处理器进行解调。移动通信模块150还可以放大经调制解调处理器调制后的信号，放大后的该信号经天线1转变为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(例如，扬声器170A和受话器170B)输出声音信号，或通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。

与移动通信模块150类似，无线通信模块160也可以提供应用在终端设备上的无线通信解决方案，例如下列方案中的至少一个：无线局域网(wireless local areanetworks，WLAN)、蓝牙(bluetooth，BT)、全球导航卫星系统(global navigationsatellite system，GNSS)、调频(frequency modulation，FM)、近场通信(near fieldcommunication，NFC)、红外(infrared，IR)。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，并将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频和放大，该信号经天线2转变为电磁波辐射出去。

在一些实施例中，终端设备的天线1和移动通信模块150耦合，终端设备的天线2和无线通信模块160耦合。

终端设备可以通过GPU、显示屏194以及应用处理器实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194可以用于显示图像或视频。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)、有机发光二极管(organic light-emitting diode，OLED)、有源矩阵有机发光二极体(active-matrix organic light-emitting diode，AMOLED)、柔性发光二极管(flex light-emitting diode，FLED)、迷你发光二极管(mini light-emitting diode，Mini LED)、微型发光二极管(micro light-emitting diode，Micro LED)、微型OLED(Micro OLED)或量子点发光二极管(quantum dotlight emitting diodes，QLED)。在一些实施例中，终端设备可以包括1个或N个显示屏194，N为大于1的正整数。

终端设备可以通过摄像模组193、ISP、DSP、视频编解码器、GPU、显示屏194以及应用处理器等实现拍摄功能。

摄像模组193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管，其中，CCD和CMOS可以称为图像传感器。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的红绿蓝(red green blue，RGB)，YUV等格式的图像信号。在一些实施例中，终端设备可以包括1个或N个摄像模组193，N为大于1的正整数。

摄像模组193还包括闪烁传感器，用于检测环境光的亮度变化周期，以便于终端设备基于环境光的亮度变化周期调节图像传感器的曝光时间。

ISP用于处理摄像模组193反馈的数据。例如，拍摄时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP可以对图像的噪点、亮度和色彩进行算法优化，ISP还可以优化拍摄场景的曝光和色温等参数。在一些实施例中，ISP可以设置在摄像模组193中。

DSP用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当终端设备在频点选择时，DSP用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。终端设备可以支持一种或多种视频编解码器。这样，终端设备可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1、MPEG2、MPEG3和MPEG4。

NPU是一种借鉴生物神经网络结构的处理器，例如借鉴人脑神经元之间传递模式对输入信息快速处理，还可以不断地自学习。通过NPU可以实现终端设备的智能认知等功能，例如：图像识别、人脸识别、语音识别和文本理解。

在一些实施例中，摄像模组193可以由彩色摄像模组和3D感测模组组成。

在一些实施例中，彩色摄像模组的摄像头的感光元件可以是CCD或CMOS光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。

在一些实施例中，3D感测模组可以是飞行时间(time of flight，TOF)3D感测模块或结构光(structured light)3D感测模块。其中，结构光3D感测是一种主动式深度感测技术，结构光3D感测模组的基本零组件可包括IR发射器、IR相机模等。结构光3D感测模组的工作原理是先对被拍摄物体发射特定图案的光斑(pattern)，再接收该物体表面上的光斑图案编码(light coding)，进而比对与原始投射光斑的异同，并利用三角原理计算出物体的三维坐标。该三维坐标中就包括终端设备距离被拍摄物体的距离。其中，TOF 3D感测可以是主动式深度感测技术，TOF 3D感测模组的基本组件可包括IR发射器、IR相机模等。TOF 3D感测模组的工作原理是通过红外线折返的时间去计算TOF 3D感测模组跟被拍摄物体之间的距离(即深度)，以得到3D景深图。

结构光3D感测模组还可应用于人脸识别、体感游戏机、工业用机器视觉检测等领域。TOF 3D感测模组还可应用于游戏机、AR/VR等领域。

在另一些实施例中，摄像模组193还可以由两个或更多个摄像头构成。这两个或更多个摄像头可包括彩色摄像头，彩色摄像头可用于采集被拍摄物体的彩色图像数据。这两个或更多个摄像头可采用立体视觉(stereo vision)技术来采集被拍摄物体的深度数据。立体视觉技术是基于人眼视差的原理，在自然光源下，透过两个或两个以上的摄像头从不同的角度对同一物体拍摄影像，再进行三角测量法等运算来得到终端设备与被拍摄物之间的距离信息，即深度信息。

在一些实施例中，终端设备可以包括1个或多个摄像模组193。例如，终端设备可以包括1个前置摄像模组193以及1个后置摄像模组193。其中，前置摄像模组193通常可用于采集面对显示屏194的拍摄者自己的彩色图像数据以及深度数据，后置摄像模组可用于采集拍摄者所面对的拍摄对象(如人物、风景等)的彩色图像数据以及深度数据。

在一些实施例中，处理器110中的CPU、GPU或NPU可以对摄像模组193所采集的彩色图像数据和深度数据进行处理。在一些实施例中，NPU可以通过骨骼点识别技术所基于的神经网络算法，例如卷积神经网络算法来识别摄像模组193所采集的彩色图像数据，以确定被拍摄人物的骨骼点。CPU或GPU也可来运行神经网络算法以实现根据彩色图像数据确定被拍摄人物的骨骼点。在一些实施例中，CPU、GPU或NPU还可用于根据摄像模组193(可以是3D感测模组)所采集的深度数据和已识别出的骨骼点来确认被拍摄人物的身材(如身体比例、骨骼点之间的身体部位的胖瘦情况)，并可以进一步确定针对该被拍摄人物的身体美化参数，最终根据该身体美化参数对被拍摄人物的拍摄图像进行处理，以使得该拍摄图像中该被拍摄人物的体型被美化。

外部存储器接口120可以用于连接外部存储卡，例如安全数码(secure digital，SD)卡，实现扩展终端设备的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐和视频等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能(例如，声音播放功能和图像播放功能)所需的应用程序。存储数据区可存储终端设备使用过程中所创建的数据(例如，音频数据和电话本)。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如：至少一个磁盘存储器件、闪存器件和通用闪存存储器(universal flash storage，UFS)等。处理器110通过运行存储在内部存储器121的指令和/或存储在设置于处理器中的存储器的指令，执行终端设备的各种处理方法。

终端设备可以通过音频模块170、扬声器170A、受话器170B、麦克风170C、耳机接口170D以及应用处理器等实现音频功能，例如，音乐播放和录音。

音频模块170用于将数字音频信息转换成模拟音频信号输出，也可以用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170或者音频模块170的部分功能模块可以设置于处理器110中。

扬声器170A，也称为喇叭，用于将音频电信号转换为声音信号。终端设备可以通过扬声器170A收听音乐或免提通话。

受话器170B，也称为听筒，用于将音频电信号转换成声音信号。当用户使用终端设备接听电话或语音信息时，可以通过将受话器170B靠近耳朵接听语音。

麦克风170C，也称为话筒或传声器，用于将声音信号转换为电信号。当用户拨打电话或发送语音信息时，可以通过靠近麦克风170C发声将声音信号输入麦克风170C。终端设备可以设置至少一个麦克风170C。在另一些实施例中，终端设备可以设置两个麦克风170C，以实现降噪功能。在另一些实施例中，终端设备还可以设置三个、四个或更多麦克风170C，以实现声音信号采集、降噪、识别声音来源和定向录音等功能。

耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130，也可以是3.5mm的开放移动终端设备平台(open mobile terminal platform，OMTP)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the USA，CTIA)标准接口。

压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多，例如可以是电阻式压力传感器、电感式压力传感器或电容式压力传感器。电容式压力传感器可以是包括至少两个具有导电材料的平行板，当力作用于压力传感器180A，电极之间的电容改变，终端设备根据电容的变化确定压力的强度。当触摸操作作用于显示屏194时，终端设备根据压力传感器180A检测所述触摸操作。终端设备也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令；当触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。

陀螺仪传感器180B可以用于确定终端设备的运动姿态。在一些实施例中，可以通过陀螺仪传感器180B确定终端设备围绕三个轴(即，x轴、y轴和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。例如，当快门被按下时，陀螺仪传感器180B检测终端设备抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消终端设备的抖动，实现防抖。陀螺仪传感器180B还可以用于导航和体感游戏等场景。

气压传感器180C用于测量气压。在一些实施例中，终端设备通过气压传感器180C测得的气压值计算海拔高度，辅助定位和导航。

磁传感器180D包括霍尔传感器。终端设备可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中，当终端设备是翻盖机时，终端设备可以根据磁传感器180D检测翻盖的开合。终端设备可以根据检测到的皮套的开合状态或翻盖的开合状态，设置翻盖自动解锁等特性。

加速度传感器180E可检测终端设备在各个方向上(一般为x轴、y轴和z轴)加速度的大小。当终端设备静止时可检测出重力的大小及方向。加速度传感器180E还可以用于识别终端设备的姿态，作为横竖屏切换和计步器等应用程序的输入参数。

距离传感器180F用于测量距离。终端设备可以通过红外或激光测量距离。在一些实施例中，例如在拍摄场景中，终端设备可以利用距离传感器180F测距以实现快速对焦。

接近光传感器180G可以包括例如发光二极管(light-emitting diode，LED)和光检测器，例如，光电二极管。LED可以是红外LED。终端设备通过LED向外发射红外光。终端设备使用光电二极管检测来自附近物体的红外反射光。当检测到反射光时，终端设备可以确定附近存在物体。当检测不到反射光时，终端设备可以确定附近没有物体。终端设备可以利用接近光传感器180G检测用户是否手持终端设备贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式或口袋模式的自动解锁与自动锁屏。

指纹传感器180H用于采集指纹。终端设备可以利用采集的指纹特性实现解锁、访问应用锁、拍摄和接听来电等功能。

温度传感器180J用于检测温度。在一些实施例中，终端设备利用温度传感器180J检测的温度，执行温度处理策略。例如，当温度传感器180J上报的温度超过阈值，终端设备执行降低位于温度传感器180J附近的处理器的性能，以便降低功耗实施热保护。在另一些实施例中，当温度低于另一阈值时，终端设备对电池142加热，以避免低温导致终端设备异常关机。在其他一些实施例中，当温度低于又一阈值时，终端设备对电池142的输出电压执行升压，以避免低温导致的异常关机。

触摸传感器180K，也称为触控器件。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，触摸屏也称为触控屏。触摸传感器180K用于检测作用于其上或其附近的触摸操作。触摸传感器180K可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于终端设备的表面，并且与显示屏194设置于不同的位置。

按键190包括开机键和音量键。按键190可以是机械按键，也可以是触摸式按键。终端设备可以接收按键输入信号，实现与按键输入信号相关的功能。

马达191可以产生振动。马达191可以用于来电提示，也可以用于触摸反馈。马达191可以对作用于不同应用程序的触摸操作产生不同的振动反馈效果。对于作用于显示屏194的不同区域的触摸操作，马达191也可产生不同的振动反馈效果。不同的应用场景(例如，时间提醒、接收信息、闹钟和游戏)可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。

指示器192可以是指示灯，可以用于指示充电状态和电量变化，也可以用于指示消息、未接来电和通知。

SIM卡接口195用于连接SIM卡。SIM卡可以插入SIM卡接口195实现与终端设备的接触，也可以从SIM卡接口195拔出实现与终端设备的分离。终端设备可以支持1个或N个SIM卡接口，N为大于1的正整数。同一个SIM卡接口195可以同时插入多张卡，所述多张卡的类型可以相同，也可以不同。SIM卡接口195也可以兼容外部存储卡。终端设备通过SIM卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，终端设备采用嵌入式SIM(embedded-SIM，eSIM)卡，eSIM卡可以嵌在终端设备中，不能和终端设备分离。

上文详细描述了终端设备的硬件系统，下面介绍终端设备的软件系统。软件系统可以采用分层架构、事件驱动架构、微核架构、微服务架构或云架构，本申请实施例以分层架构为例，示例性地描述终端设备的软件系统。

如图5所示，采用分层架构的软件系统分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，软件系统可以分为五层，从上至下分别为应用程序层、应用程序框架层、原生(native)层、硬件抽象层(hardware abstractlayer，HAL)以及内核层。

应用程序层可以包括一系列应用程序包。

应用程序包可以包括相机、日历、通话、地图、WLAN、音乐、短信、图库、通话、导航、蓝牙和视频等应用程序(application，APP)。

应用程序框架层为应用程序层的应用程序提供应用程序编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层可以包括一些预定义的函数。

例如，应用程序框架层包括内容提供器、视图系统和管理器，其中，管理器可以包括活动管理器、通知管理器、窗口管理器、输入管理器和资源管理器。

内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频、图像、音频、拨打和接听的电话、浏览历史和书签、以及电话簿。

视图系统包括可视控件，例如显示文字的控件和显示图片的控件。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成，例如，包括短信通知图标的显示界面可以包括显示文字的视图以及显示图片的视图。

活动管理器可以提供活动管理服务(activity manager service，AMS)，AMS可以用于系统组件(例如，活动、服务、内容提供者和广播接收器)的启动、切换、调度以及应用进程的管理和调度工作。

通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于下载完成告知和消息提醒。通知管理器还可以管理以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知。通知管理器还可以管理以对话窗口形式出现在屏幕上的通知，例如在状态栏提示文本信息、发出提示音、电子设备振动以及指示灯闪烁。

窗口管理器提供窗口管理服务(window manager service，WMS)，WMS可以用于窗口管理、窗口动画管理、surface管理以及作为输入系统的中转站。

输入管理器可以提供输入管理服务(input manager service，IMS)，IMS可以用于管理系统的输入，例如，触摸屏输入、按键输入和传感器输入等。IMS从输入设备节点取出事件，通过和WMS的交互，将事件分配至合适的窗口。

资源管理器为应用程序提供各种资源，比如本地化字符串、图标、图片、布局文件和视频文件。

native层又称为系统运行库层，包含原生C/C++库和安卓运行时(Android^TMruntime，ART)。

原生C/C++库可以包括多个功能模块，例如：表面管理器(surface manager)、媒体框架(media framework)、3D图形处理库(例如，嵌入系统开放图形库(open graphicslibrary for embedded system，OpenGL ES))、2D图形引擎(例如，影像图形库(skiagraphics library，SGL))和C标准库(C standard library，libc)。

表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D图层和3D图层的融合。

媒体框架支持多种音频格式的回放和录制、多种视频格式回放和录制以及静态图像文件。媒体框架可以支持多种音视频编码格式，例如:MPEG4、H.264、动态图像专家组音频层面Ⅲ(moving picture experts group audio layerⅢ，MP3)、高级音频编码(advancedaudio coding，AAC)、自适应多速率(adaptive multi-rate，AMR)、联合图像专家组(jointphotographic experts group，JPEG)和便携式网络图形(portable network graphics，PNG)。

SGL是2D绘图的绘图引擎。

OpenGL ES可以用于实现3D图形绘图、图像渲染、合成和图层处理。

libc用于提供基本的C语言函数。

ART主要负责将源代码转换为机器码。ART还具有内存管理和垃圾回收等功能。

ART包括核心库和虚拟机。

核心库主要用于提供基本的Java类库，例如基础数据结构、数学、输入/输出(input/output，I/O)、工具、网络等库。核心库还为开发人员提供了系统API。

虚拟机可以是Dalvik虚拟机或者ART虚拟机，其中，Dalvik虚拟机采用即时(justin time，JIT)编译策略将源代码转换为机器码，ART虚拟机采用提前(ahead or time，AOT)编译策略将源代码转换为机器码。

应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件转换为二进制文件。虚拟机用于执行对象生命周期的管理、堆栈管理、线程管理、安全和异常的管理、以及垃圾回收等功能。

硬件抽象层运行于用户空间(user space)，对内核层驱动进行封装，向上层提供调用接口。硬件抽象层例如包含Chi-cdk、自动曝光(auto exposure，AE)模块、图像传感器模块和闪烁传感器模块。

Chi-cdk主要用于处理一些辅助图像传感器出图的器件(如，闪烁传感器和陀螺仪传感器180B)的数据。

AE模块主要用于控制闪烁传感器和图像传感器(如，摄像模组193中的CMOS)的曝光时间。

图像传感器模块主要用于处理图像传感器采集的数据，以及生效图像传感器的控制数据(如，增益和快门)。

图像传感器模块包括主摄模块和辅摄模块，主摄模块用于处理主摄像头的数据，主摄模块用于处理辅摄像头的数据。

如图6所示，主摄模块包括预传感器更新模块PrepareSensorUpdate，用于更新主摄的曝光和帧率等参数；辅摄模块包括预传感器更新模块PrepareSensorUpdate和帧率匹配曝光信息调整模块AdjustExposureInfoForFPSMatch，PrepareSensorUpdate用于更新主摄的曝光和帧率等参数，AdjustExposureInfoForFPSMatch用于调整辅摄的帧率，以便于辅摄和主摄对齐帧(即，对齐帧的时间戳)。

闪烁传感器模块主要用于处理闪烁传感器采集的数据，以及生效闪烁传感器的控制数据(如，增益和快门)。

内核层是硬件和软件之间的层。内核层例如包含闪烁传感器驱动和图像传感器驱动。

图像传感器驱动主要用于处理图像传感器采集的数据，以及生效图像传感器的控制数据(如，增益和快门)。

闪烁传感器驱动主要用于处理闪烁传感器采集的数据，以及生效闪烁传感器的控制数据(如，增益和快门)。

可以理解的是，图4至图6所示的硬件结构和软件架构仅仅是对终端设备的示例性介绍，不构成对终端设备在硬件和软件上的限制，终端设备还可以具有其他类型的硬件结构和软件架构。

下面结合拍摄场景，示例性说明终端设备的软件系统以及硬件系统的工作流程。

如图7所示，当用户在显示屏194上进行触摸操作时，触摸传感器180K感知到触摸操作，将相应的硬件中断被发送至操作系统层，操作系统层将触摸操作加工成原始输入事件，该原始输入事件例如包括触摸操作的坐标和时间戳等信息。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件，识别该原始输入事件所对应的控件。当上述触摸操作为单击操作、上述控件为相机APP的控件时，上述控件调用应用程序框架层的接口，启动相机APP，进而通过调用内核层启动图像传感器驱动和闪烁传感器驱动，通过摄像模组193捕获图像或视频。

图8是拍摄场景的信息流示意图。

用户点击相机APP的图标后，相机APP生成启动摄像的控制指令，如实线箭头所示，控制指令被依次传递至闪烁传感器和图像传感器等硬件，硬件开始工作。其中，闪烁传感器采集环境光数据，并将环境光数据传递至闪烁传感器驱动。闪烁传感器驱动再将环境光数据传递至AE模块。AE模块还能够通过图像传感器驱动获取图像传感器采集当前帧的帧率。

下面介绍本申请提供的调节摄像头的帧间隔的方法实施例。

如图9所示，该方法包括以下步骤。

S901，AE模块获取主摄像头拍摄的当前帧和N个辅摄像头拍摄的当前帧(即，第一帧和N个第二帧)。

在一些拍摄模式下，终端设备需要使用多个摄像头进行拍摄，并将多个摄像头拍摄的帧进行合成，最后将合成后的帧显示给用户。例如，在人像模式和大光圈模式下，终端设备需要两个摄像头参与拍摄，本申请的方法还可以适用于三个或三个以上的摄像头共同拍摄的场景。

S902，AE模块确定当前帧的帧间隔是否为环境光亮度变化周期的整数倍。

在终端设备开启抗闪烁模式的情况下，AE模块首先要识别当前帧(第一帧和N个第二帧)是否为环境光亮度变化周期的整数倍，如果是，则不需要调节帧间隔，可以返回执行S901，获取下一时刻各个摄像头采集的帧，并确定下一时刻各个摄像头采集的帧的帧间隔是否为环境光亮度变化周期的整数倍；如果不是，则需要调节帧间隔。当需要调整帧间隔时，再判断目标帧(第一帧与N个第二帧中需要调整帧间隔的帧)是否为同步帧，即执行下列步骤。

S903，AE模块确定当前帧中的目标帧是否为同步帧。

如果主摄像头拍摄的当前帧和N个辅摄像头拍摄的当前帧不同步，则AE模块需要做同步处理。然而同步处理需要调节帧间隔，在终端设备开启抗闪烁模式的情况下，AE模块也需要调整帧间隔以使得帧间隔变成环境光亮度变化周期的整数倍，这样就会存在两种调节帧间隔的机制，当这两种机制同时生效时，就会导致帧间隔剧烈变动。因此，当AE模块执行抗闪烁算法需要调整帧间隔时，AE模块不能直接调整帧间隔，而是需要执行S903判断是否能够调整当前帧的帧间隔。

可选地，AE模块根据当前帧的标识确定当前帧是否为同步帧，例如，该标识为0时表示当前帧为非同步帧，该表示为1时表示当前帧为同步帧。

若目标帧是同步帧，则AE模块执行S904；若目标帧不是同步帧，则AE模块执行S905。

S904，AE模块基于帧同步算法调节当前帧的帧间隔。

由于器件工艺的因素，不同摄像头的实际帧率与设定帧率有所差别。例如，传感器驱动设定的帧率为24fps(即，帧间隔为1000/24＝41.66ms)，但是两个摄像头(如，主摄和辅摄)的帧率可能不是标准的24fps，有可能一个摄像头的帧率是23.98fps(帧间隔41.70ms),另一个摄像头的帧率是24.02fps(帧间隔41.63ms)。两个摄像头每次采集帧的时间均有差异，随着时间的推移，差异累计越来越大，最终会严重影响成像质量。

图10示出了这种差异的累计效应。

假设主摄和辅摄的第1帧是同步的，随后，每帧的出帧时间均相差0.07ms，到第5帧时，主摄和辅摄的出帧时间已相差0.35ms，到第100帧时，主摄和辅摄的出帧时间已相差7ms。通常情况下，为了保证成像质量，需要把两个帧的出帧时差控制在1ms以内，因此，需要对主摄和辅摄做同步处理。

在做同步处理时，可以拉长出帧较快的摄像头的帧间隔。例如，主摄的帧率是24.02fps(帧间隔为41.63ms)，辅摄的帧率是23.98fps(帧间隔为41.70ms)，则AE模块可以每5帧做一次同步处理，调节主摄的第6帧的framelengthlines，使得主摄的第6帧的帧间隔拉长为41.98ms(41.63ms+0.35ms)，这样，主摄和辅摄输出的第6帧的出帧时间又变得相同了，即，主摄和辅摄完成同步。

S905，AE模块基于抗闪烁算法调节目标帧的帧间隔。

AE模块有帧间隔监测机制，如果(帧间隔-环境光亮度变化周期)>0.1ms，就认为帧间隔不是环境光亮度变化周期的整数倍，AE模块会对帧间隔向上取整改成环境光亮度变化周期的整数倍，0.1ms是阈值的一个示例而非限定。

例如，环境光亮度变化周期为50ms，主摄的帧间隔为50.05ms，辅摄的帧间隔是50.45ms，50.05-50＝0.05<0.1ms，AE模块确定主摄的帧间隔是50ms，主摄的帧间隔是环境光亮度变化周期的整数倍，无需调整主摄的帧率；50.45-50＝0.45>0.1ms，AE模块确定辅摄的帧间隔不是50ms，辅摄的帧间隔不是环境光亮度变化周期的整数倍，则AE模块将辅摄的帧间隔(即，目标帧的帧间隔)上取整调节为10ms的整数倍，即60ms。

在本申请提供的上述方法中，在终端设备开启抗闪烁模式的情况下，AE模块首先要识别当前帧(主摄输出的第一帧和N个辅摄输出的N个第二帧)是否为环境光亮度变化周期的整数倍，如果是，则不需要调节帧间隔；如果不是，则需要调节帧间隔。当需要调整帧间隔时，再判断目标帧(第一帧与N个第二帧中需要调整帧间隔的帧)是否为同步帧；如果目标帧不是同步帧，使用抗闪烁算法调节帧间隔，这样可以避免两种算法同时调节帧间隔导致主摄或辅摄的帧率剧烈变化。

下面结合示例详细介绍图9所示的方法如何达到上述有益效果。

如图10所示，AE模块通过闪烁传感器检测到环境光的频率为50Hz，AE模块可以把主摄和辅摄的帧率调整到20fps。但是由于器件工艺导致的误差，主摄和辅摄的帧率可能不是20fps，有可能主摄的帧率是19.98fps(50.05ms)，辅摄的帧率是20.02fps(49.95ms)，这样，经过5帧之后主摄和辅摄的出帧时间就会相差0.5ms。到第6帧时，为了同步，出帧快的图像传感器(辅摄的图像传感器)的帧间隔经过时间补偿变成50.45ms，出帧慢的图像传感器(主摄的图像传感器)还是50.05ms。

如果AE模块在同步帧(第6帧)执行抗闪烁算法，则AE模块可以执行下列方法：AE模块基于帧间隔监测机制确定辅摄的帧率不是环境光频率的整数倍(50.45-50＝0.45>0.1ms)，将辅摄的图像传感器的帧间隔调节为60ms。AE模块基于帧间隔监测机制确定主摄的帧率是环境光频率的整数倍(50.05-50＝0.05<0.1ms)，主摄的帧率还是50ms，这样主摄的辅摄的帧就会不同步，导致同步机制失效，随着时间的进展，辅摄的帧间隔越来越大，而主摄的帧间隔不变，最终导致主摄和辅摄输出的帧无法合成。

如果AE模块在同步帧(第6帧)不执行抗闪烁算法，则AE模块可以执行下列方法：等第7帧开始，主摄和辅摄又恢复了原帧率(19.98fps和20.02fps)，如果此时环境光频率还是50Hz的话，AE模块会把主摄和辅摄的帧率调节为20fps(50ms)，由于器件工艺因素，主摄的帧率是19.98fps(50.05ms)，辅摄的帧率是20.02fps(49.95ms)，但是在5帧之内主摄和辅摄的帧间隔的时差还是在1ms以内，主摄和辅摄仍然是同步的。其中，1ms是帧同步的阈值示例，超过该阈值，AE模块会认为主摄和辅摄不同步。

由此可见，应用图9的方法后，AE模块在非同步帧执行抗闪烁算法，既可以抗闪烁，也能够避免帧率剧烈变化。

可选地，图9的方法还包括：传感器模块确定AE模块是否调节了当前帧的帧间隔；当AE模块调节了当前帧的帧间隔时，传感器模块确定不调节主摄像头和N个辅摄像头的帧间隔；当AE模块未调节当前帧的帧间隔时，传感器模块调节主摄像头和N个辅摄像头的帧间隔。

一些情况下，为了降功耗，传感器模块会降低摄像头输出的帧率，例如，主摄和辅摄的帧率均为30fps的情况下，为了降功耗，传感器模块会将主摄和辅摄的帧率降低1.25倍，降至24fps。然而，传感器模块中更新主摄帧率的模块与更新辅摄帧率的模块是两个不同的子模块(如图6所示)，更新主摄帧率的模块的输入是AE模块的输出，更新辅摄帧率的模块的输入是图像传感器的输出，因此，若AE模块调节了帧率，传感器模块再次调节帧率会导致主摄和辅摄的帧率不同，进而导致主摄和辅摄不同步。

可选地，传感器模块可以从图像传感器接收当前帧的第一帧间隔，从AE模块接收当前帧的第二帧间隔；当第一帧间隔与所述第二帧间隔相同时，传感器模块确定AE模块未调节当前帧的帧间隔；当第一帧间隔与第二帧间隔不同时，传感器模块确定AE模块调节了当前帧的帧间隔。

本实施例中，传感器模块在AE模块未调节帧率的情况下调节帧率，这样，更新主摄帧率的模块与更新辅摄帧率的模块的输入量相同(均为图像传感器的输出)，可以在降功耗的同时避免主摄和辅摄不同步。

图11是本申请提供的另一种调节帧间隔的方法。该方法包括以下内容。

S1101，AE模块获取主摄像头拍摄的当前帧和N个辅摄像头拍摄的当前帧。

S1102，AE模块确定当前帧的帧间隔是否为环境光亮度变化周期的整数倍。

S1101与S901相同，S1102与S902相同，具体内容不再赘述。

若当前帧的帧间隔为环境光亮度变化周期的整数倍，则AE模块可以确定环境光的频率，并执行下列步骤。

S1103，AE模块确定环境光的频率是否为预设频率。

抗闪烁算法通常是基于预设频率(如常见的交流电频率50Hz和60Hz)调节目标帧的帧间隔，若环境光频率不是预设频率，AE模块无法执行抗闪烁算法调节目标帧的帧间隔，抗闪烁算法与帧同步算法不会冲突，也就无需判断目标帧是否为同步帧。

若环境光的频率是预设频率，则AE模块执行S1104；若环境光的频率不是预设频率，则AE模块执行S1107。

S1104，AE模块确定当前帧中的目标帧是否为同步帧。

目标帧是当前帧中需要执行抗闪烁算法调整帧间隔的帧。若目标帧是同步帧，则AE模块执行S1105；若目标帧不是同步帧，则AE模块执行S1106。

S1105，AE模块基于帧同步算法调节当前帧的帧间隔。

S1106，AE模块基于抗闪烁算法调节目标帧的帧间隔。

S1104与S903相同，S1105与S904相同，S1106与S905相同，具体内容不再赘述。

S1107，AE模块确定环境光的亮度。

S1108，AE模块根据环境光的亮度确定曝光值。

S1109，AE模块根据曝光值调节当前帧的帧间隔。

若环境光频率不是预设频率，AE模块无法执行抗闪烁算法调节当前帧的帧间隔，可以直接根据曝光量调节所述主摄像头和所述辅摄像头的帧间隔。

例如，当环境光的亮度较大时，AE模块可以基于拍摄模式选择30或者24作为当前帧的帧率，其中，夜景和专业模式可以选择30作为帧率，人像和大光圈可以选择24作为帧率；当环境光的亮度较大时，AE模块可以选择17作为当前帧的帧率。

本申请还提供了一种计算机程序产品，该计算机程序产品被处理器执行时实现本申请中任一方法实施例所述的方法。

该计算机程序产品可以存储在存储器中，经过预处理、编译、汇编和链接等处理过程最终被转换为能够被处理器执行的可执行目标文件。

该计算机程序产品也可以固化在芯片中的代码。本申请对计算机程序产品的具体形式不做限定。

本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被计算机执行时实现本申请中任一方法实施例所述的方法。该计算机程序可以是高级语言程序，也可以是可执行目标程序。

该计算机可读存储介质可以是易失性存储器或非易失性存储器，或者，可以同时包括易失性存储器和非易失性存储器。其中，非易失性存储器可以是只读存储器(read-only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rateSDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(directrambus RAM，DR RAM)。

本领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和设备的具体工作过程以及产生的技术效果，可以参考前述方法实施例中对应的过程和技术效果，在此不再赘述。

在本申请所提供的几个实施例中，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的方法实施例的一些特征可以忽略，或不执行。以上所描述的装置实施例仅仅是示意性的，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，多个单元或组件可以结合或者可以集成到另一个系统。另外，各单元之间的耦合或各个组件之间的耦合可以是直接耦合，也可以是间接耦合，上述耦合包括电的、机械的或其它形式的连接。

应理解，在本申请的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请的实施例的实施过程构成任何限定。

另外，本文中术语“系统”和“网络”在本文中常被可互换使用。本文中的术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

总之，以上所述仅为本申请技术方案的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (11)

1.一种调节帧间隔的方法，其特征在于，应用于终端设备，所述终端设备开启抗闪烁模式，所述终端设备包括AE模块，所述方法包括：

所述AE模块获取主摄像头拍摄的第一帧和N个辅摄像头拍摄的N个第二帧，N为正整数；

所述AE模块确定所述第一帧的帧间隔与所述N个第二帧的帧间隔是否为环境光亮度变化周期的整数倍；

当所述第一帧与所述N个第二帧中的目标帧的帧间隔不是环境光亮度变化周期的整数倍时，所述AE模块确定所述目标帧是否为同步帧，所述目标帧是所述第一帧与所述N个第二帧中需要调整帧间隔的帧；

当所述目标帧为非同步帧时，所述AE模块基于抗闪烁算法调节所述目标帧的帧间隔。

2.根据权利要求1所述的方法，其特征在于，所述终端设备还包括传感器模块，所述方法还包括：

所述传感器模块确定所述AE模块是否调节了当前帧的帧间隔，所述当前帧为所述第一帧和/或所述N个第二帧；

当所述AE模块调节了所述当前帧的帧间隔时，所述传感器模块确定不调节所述主摄像头和所述N个辅摄像头的帧间隔；

当所述AE模块未调节所述当前帧的帧间隔时，所述传感器模块调节所述主摄像头和所述N个辅摄像头的帧间隔。

3.根据权利要求2所述的方法，其特征在于，所述传感器模块确定所述AE模块是否调节了所述当前帧的帧间隔，包括：

所述传感器模块从图像传感器接收所述当前帧的第一帧间隔；

所述传感器模块从所述AE模块接收所述当前帧的第二帧间隔；

当所述第一帧间隔与所述第二帧间隔相同时，所述传感器模块确定所述AE模块未调节所述当前帧的帧间隔；

当所述第一帧间隔与所述第二帧间隔不同时，所述传感器模块确定所述AE模块调节了所述当前帧的帧间隔。

4.根据权利要求1所述的方法，其特征在于，所述AE模块确定所述目标帧是否为同步帧之前，所述方法还包括：

所述AE模块确定环境光的频率；

当所述环境光的频率为预设频率时，所述AE模块确定所述目标帧是否为同步帧。

5.根据权利要求4所述的方法，其特征在于，所述AE模块基于抗闪烁算法调节所述目标帧的帧间隔，包括：

所述AE模块通过调节所述目标帧对应的摄像头的帧长度线调节所述目标帧的帧间隔，其中，所述主摄像头的调节后的帧间隔与所述N个辅摄像头的调节后的帧间隔相同，并且，所述主摄像头的调节后的帧间隔和所述N个辅摄像头的调节后的帧间隔分别是所述环境光的亮度变化周期的整数倍，所述环境光的亮度变化周期为所述环境光的频率的倒数。

6.根据权利要求4所述的方法，其特征在于，所述方法还包括：

当所述环境光的频率为非预设频率时，所述AE模块确定所述环境光的亮度；

所述AE模块根据所述环境光的亮度确定曝光量；

所述AE模块根据所述曝光量调节所述主摄像头和所述辅摄像头的帧间隔。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述方法还包括：

当所述第一帧和所述N个第二帧为同步帧时，所述AE模块基于帧同步算法调节所述第一帧或所述N个第二帧的帧间隔。

8.根据权利要求1至6中任一项所述的方法，其特征在于，所述AE模块确定所述第一帧和所述N个第二帧是否为同步帧，包括：

所述AE模块根据所述第一帧的标识和所述N个第二帧的标识确定所述第一帧和所述N个第二帧是否为同步帧，所述标识用于指示所述第一帧是否为同步帧。

9.根据权利要求1至6中任一项所述的方法，其特征在于，所述AE模块获取主摄像头拍摄的第一帧和N个辅摄像头拍摄的N个第二帧之前，所述方法还包括：

所述终端设备的相机APP接收用户操作，所述用户操作用于选择多摄模式，所述多摄模式为所述主摄像头和所述N个辅摄像头共同拍摄的模式；

所述相机APP响应于所述用户操作，控制所述主摄像头拍摄所述第一帧，并且，控制所述N个辅摄像头拍摄所述N个第二帧。

10.一种调节帧间隔的装置，其特征在于，包括处理器和存储器，所述处理器和所述存储器耦合，所述存储器用于存储计算机程序，当所述计算机程序被所述处理器执行时，使得所述装置执行权利要求1至9中任一项所述的方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时，使得包含所述处理器的装置执行权利要求1至9中任一项所述的方法。