[go: up one dir, main page]

CN115529419B - 一种多人工光源下的拍摄方法及相关装置 - Google Patents

一种多人工光源下的拍摄方法及相关装置 Download PDF

Info

Publication number
CN115529419B
CN115529419B CN202110708031.2A CN202110708031A CN115529419B CN 115529419 B CN115529419 B CN 115529419B CN 202110708031 A CN202110708031 A CN 202110708031A CN 115529419 B CN115529419 B CN 115529419B
Authority
CN
China
Prior art keywords
artificial light
electronic device
period
flicker
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110708031.2A
Other languages
English (en)
Other versions
CN115529419A (zh
Inventor
冯寒予
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202110708031.2A priority Critical patent/CN115529419B/zh
Priority to EP22827260.5A priority patent/EP4243403A4/en
Priority to PCT/CN2022/093644 priority patent/WO2022267762A1/zh
Priority to US18/266,222 priority patent/US20230388658A1/en
Publication of CN115529419A publication Critical patent/CN115529419A/zh
Application granted granted Critical
Publication of CN115529419B publication Critical patent/CN115529419B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/745Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/02Illuminating scene
    • G03B15/03Combinations of cameras with lighting apparatus; Flash units
    • G03B15/035Combinations of cameras with incandescent lamps
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/72Combination of two or more compensation controls
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2215/00Special procedures for taking photographs; Apparatus therefor
    • G03B2215/05Combinations of cameras with electronic flash units
    • G03B2215/0514Separate unit
    • G03B2215/0557Multiple units, e.g. slave-unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)

Abstract

本申请提供了一种多人工光源下的拍摄方法及相关装置。其中,电子设备可以确定多个人工光源的闪烁频率,并选取其中两个,分别记为F1和F2。将F1和F2对应的闪烁周期分别记为T1和T2。若T1的整数倍在第一范围内,将曝光时间调节为T1的整数倍,并根据F2调节帧间隔。若T1的整数倍不在第一范围内,但T2的整数倍在第一范围内,电子设备将曝光时间调节为T2的整数倍,并根据F1调节帧间隔,否则,电子设备仅根据F1调节帧间隔。上述方法可以消除单个人工光源造成的banding现象,并减弱其他人工光源造成的banding现象,使得电子设备上的画面不再出现滚动的明暗条纹。

Description

一种多人工光源下的拍摄方法及相关装置
技术领域
本申请涉及终端技术领域,尤其涉及一种多人工光源下的拍摄方法及相关装置。
背景技术
若拍摄环境中存在人工光源,可能会因为人工光源的频闪现象导致拍摄画面中出现滚动的明暗条纹。一般来说,可以通过将曝光时间调节为人工光源闪烁周期的整数倍来消除画面中的明暗条纹。但是,这种调节曝光时间的方法只适用于存在一种闪烁频率的人工光源的拍摄场景,并不适用于人工多光源的场景。所以,若拍摄环境中存在多个人工光源,拍摄画面中的滚动条纹现象无法解决,非常影响用户体验。
因此,如何在人工多光源的场景下减弱拍摄画面中出现的明暗条纹是目前亟待解决的问题。
发明内容
本申请提供了一种多人工光源下的拍摄方法及相关装置。电子设备可以确定多个人工光源的闪烁频率,并选取其中两个闪烁频率,分别记为F1和F2。电子设备根据这两个闪烁频率来确定电子设备接下来获取图像时采用的曝光时间和帧间隔。该方法可以在消除某个人工光源造成的banding现象的情况下,减弱其他人工光源造成的banding现象,使得电子设备上的画面不再出现滚动的明暗条纹。
第一方面,本申请提供了一种多人工光源下的拍摄方法。该方法可以包括:电子设备可以确定第一闪烁周期和第二闪烁周期;第一闪烁周期可以是拍摄环境中第一人工光源的闪烁周期;第二闪烁周期可以是拍摄环境中第二人工光源的闪烁周期;电子设备可以确定第一曝光时间和第一帧间隔;若第一闪烁周期的k1倍未超出第一范围,第一曝光时间为第一闪烁周期的k1倍,第一帧间隔为第二闪烁周期的k2倍;电子设备可以以第一曝光时间和第一帧间隔拍摄;第一帧间隔为拍摄的过程中,通过摄像头采集的相邻两帧图像的间隔时间。
在本申请提供的方案中,电子设备可以确定拍摄环境中存在的两个的人工光源的闪烁周期——第一闪烁周期和第二闪烁周期,并以第一曝光时间和第一帧间隔拍摄图像。若第一闪烁周期的k1倍未超出第一范围,电子设备第一曝光时间为第一闪烁周期的k1倍,第一帧间隔为第二闪烁周期的k2倍。该方案可以使得由于第一人工光源造成的banding现象得以消除,而由于第二人工光源造成的banding现象得以减弱。也就是说,按照上述方式调整曝光时间和帧间隔后,电子设备显示屏上不再显示因第一人工光源造成的滚动的明暗条纹,也可以使得第二人工光源造成的滚动的明暗条纹不再滚动,提升了用户体验。
结合第一方面,在第一方面的一种可能的实现方式中,第一人工光源的光照强度可以大于第二人工光源的光照强度。
在本申请提供的方案中,第一人工光源的光照强度可以大于第二人工光源的光照强度。也就是说,在条件允许的情况下(第一闪烁周期的k1倍未超出第一范围),可以优先消除因光照强度较大的人工光源造成的banding现象。因为光照强度较大的人工光源造成的banding现象更明显,所以优先消除因光照强度较大的人工光源造成的banding现象,可以使得banding现象最大程度减弱,提升了用户体验。
结合第一方面,在第一方面的一种可能的实现方式中,若第一闪烁周期的k1倍超出第一范围,且第二闪烁周期的k2倍未超出第一范围,第一曝光时间为第二闪烁周期的k2倍,第一帧间隔为所述第一闪烁周期的k1倍。
在本申请提供的方案中,若无法将曝光时间调整为第一闪烁周期的整数倍,可以将曝光时间调整为第二闪烁周期的整数倍,这样至少可以消除一个人工光源造成的明暗条纹,可以尽可能减弱banding现象对画面显示的影响。
结合第一方面,在第一方面的一种可能的实现方式中,若第一闪烁周期的k1倍超出第一范围,且第二闪烁周期的k2倍也超出第一范围,第一帧间隔为第一闪烁周期的k1倍。
在本申请提供的方案中,若无法调整曝光时间使得消除拍摄环境中的一个人工光源造成的明暗条纹,可以只调节帧间隔,这样也可以减弱banding现象。
在一些实施例中,电子设备可以只将帧间隔调节为拍摄环境中的一个人工光源的闪烁周期的整数倍,而继续采用由自动曝光系统调节的曝光时间,或者,也可以直接采用获取最新一帧图像时的曝光时间来获取下一帧图像。可理解,电子设备还可以通过其他方式调整曝光时间,本申请对此不作限制。
结合第一方面,在第一方面的一种可能的实现方式中,电子设备确定第一闪烁周期和第二闪烁周期,具体包括:电子设备可以获取第一时间序列;第一时间序列包括环境亮度信息和时间信息;电子设备可以将第一时间序列转换为第一频谱;电子设备可以根据第一频谱确定第一正弦波的频率为第一闪烁频率,确定第二正弦波的频率为第二闪烁频率;电子设备可以根据第一闪烁频率确定第一闪烁周期,根据第二闪烁频率确定第二闪烁周期;其中,第一正弦波的幅值与第一平均值的差值大于第一预设阈值;第二正弦波的幅值与第二平均值的差值大于第二预设阈值;第一平均值为在第一频谱中的频率查找范围内,除第一正弦波外的其他正弦波的幅值的平均值;第二平均值为在第一频谱中的频率查找范围内,除第一正弦波和第二正弦波外的其他正弦波的幅值的平均值;频率查找范围用于确定查找第一正弦波和第二正弦波的频率范围。
在本申请提供的方案中,电子设备可以通过采集环境亮度信息和时间信息得到时间序列,然后根据傅里叶原理,将时间序列转换为频谱。电子设备可以根据该频谱确定人工光源的闪烁周期。可理解,电子设备确定的是频谱中幅值最大的正弦波和幅值第二大的正弦波的闪烁周期。也就是说,电子设备确定的闪烁周期为拍摄环境中光照强度最大的和第二大的人工光源的闪烁周期。电子设备根据该闪烁周期调节曝光时间和帧间隔后,可以最大程度减弱人工光源造成的banding现象。
结合第一方面,在第一方面的一种可能的实现方式中,拍摄环境中存在两个以上的人工光源;第一人工光源为两个以上的人工光源中光照强度最大的人工光源;第二人工光源为两个以上的人工光源中光照强度第二大的人工光源。
在本申请提供的方案中,电子设备可以根据拍摄环境中光照强度最大的和第二大的人工光源的闪烁周期来调节曝光时间和帧间隔后,可以最大程度减弱人工光源造成的banding现象。
结合第一方面,在第一方面的一种可能的实现方式中,拍摄环境中存在第三人工光源。该方法还可以包括:电子设备确定第三闪烁周期;第三闪烁周期为第三人工光源的闪烁周期;若第一闪烁周期的k1倍超出第一范围,且第二闪烁周期的k2倍未超出第一范围,且第三闪烁周期的k3倍未超出第一范围,第一曝光时间为第三闪烁周期的k3倍,第一帧间隔为第一闪烁周期的k1倍。
在本申请提供的方案中,若拍摄环境中存在两个以上的人工光源,电子设备判断是否可以根据光照较大的人工光源的闪烁周期来调节曝光时间,可以尽可能消除拍摄环境中的一个人工光源造成的明暗条纹。
第二方面,本申请提供一种电子设备。该电子设备包括摄像头、一个或多个存储器、一个或多个处理器,一个或多个处理器与摄像头、一个或多个存储器耦合,一个或多个存储器用于存储计算机程序代码,计算机程序代码包括计算机指令。处理器,可以用于确定第一闪烁周期和第二闪烁周期;第一闪烁周期是拍摄环境中第一人工光源的闪烁周期;第二闪烁周期是拍摄环境中第二人工光源的闪烁周期;处理器,还可以用于确定第一曝光时间和第一帧间隔;若第一闪烁周期的k1倍未超出第一范围,第一曝光时间为第一闪烁周期的k1倍,第一帧间隔为第二闪烁周期的k2倍;k1和k2均为正整数;摄像头,可以用于以第一曝光时间和第一帧间隔拍摄;第一帧间隔为拍摄的过程中,采集相邻两帧图像的间隔时间。
结合第二方面,在第二方面的一种可能的实现方式中,第一人工光源的光照强度大于第二人工光源的光照强度。
结合第二方面,在第二方面的一种可能的实现方式中,若第一闪烁周期的k1倍超出第一范围,且第二闪烁周期的k2倍未超出第一范围,第一曝光时间为第二闪烁周期的k2倍,第一帧间隔为第一闪烁周期的k1倍。
结合第二方面,在第二方面的一种可能的实现方式中,若第一闪烁周期的k1倍超出第一范围,且第二闪烁周期的k2倍也超出第一范围,第一帧间隔为第一闪烁周期的k1倍。
结合第二方面,在第二方面的一种可能的实现方式中,处理器用于确定第一闪烁周期和第二闪烁周期时,具体用于:可以获取第一时间序列;第一时间序列包括环境亮度信息和时间信息;将第一时间序列转换为第一频谱;根据第一频谱确定第一正弦波的频率为第一闪烁频率,确定第二正弦波的频率为第二闪烁频率;根据第一闪烁频率确定第一闪烁周期,根据第二闪烁频率确定第二闪烁周期;其中,第一正弦波的幅值与第一平均值的差值大于第一预设阈值;第二正弦波的幅值与第二平均值的差值大于第二预设阈值;第一平均值为在第一频谱中的频率查找范围内,除第一正弦波外的其他正弦波的幅值的平均值;第二平均值为在第一频谱中的频率查找范围内,除第一正弦波和第二正弦波外的其他正弦波的幅值的平均值;频率查找范围用于确定查找第一正弦波和第二正弦波的频率范围。
结合第二方面,在第二方面的一种可能的实现方式中,拍摄环境中存在两个以上的人工光源;第一人工光源为两个以上的人工光源中光照强度最大的人工光源;第二人工光源为两个以上的人工光源中光照强度第二大的人工光源。
结合第二方面,在第二方面的一种可能的实现方式中,拍摄环境中存在第三人工光源;处理器,还用于:确定第三闪烁周期;第三闪烁周期为第三人工光源的闪烁周期。若第一闪烁周期的k1倍超出第一范围,且第二闪烁周期的k2倍未超出第一范围,且第三闪烁周期的k3倍未超出第一范围,第一曝光时间为第三闪烁周期的k3倍,第一帧间隔为第一闪烁周期的k1倍。
第三方面,本申请提供一种计算机可读存储介质,包括指令,当上述指令在电子设备上运行时,使得上述电子设备执行上述第一方面中任一种可能的实现方式。
第四方面,本申请实施例提供一种芯片,该芯片应用于电子设备,该芯片包括一个或多个处理器,该处理器用于调用计算机指令以使得该电子设备执行上述第一方面中任一种可能的实现方式。
第五方面,本申请实施例提供一种包含指令的计算机程序产品,当上述计算机程序产品在设备上运行时,使得上述电子设备执行上述第一方面中任一种可能的实现方式。
可以理解地,上述第二方面提供的电子设备、第三方面提供的计算机可读存储介质、第四方面提供的芯片、第五方面提供的计算机程序产品均用于执行本申请实施例所提供的方法。因此,其所能达到的有益效果可参考对应方法中的有益效果,此处不再赘述。
附图说明
图1为本申请实施例提供的banding现象的示意图;
图2A为本申请实施例提供的一种交流电的波形图;
图2B为本申请实施例提供的又一种交流电的波形图;
图3A为本申请实施例提供的一种光信号的波形图;
图3B为本申请实施例提供的又一种光信号的波形图;
图4为本申请实施例提供的一种传感器的曝光原理图;
图5为本申请实施例提供的又一种光信号的波形图;
图6为本申请实施例提供的一种人工多光源的场景示意图;
图7为本申请实施例提供的一种电子设备100的硬件结构示意图;
图8为本申请实施例提供的一种电子设备100的软件结构示意图;
图9A-图9D为本申请实施例提供的一组用户界面示意图;
图10为本申请实施例提供的一种频谱图;
图11为本申请实施例提供的一种人工多光源下的拍摄方法的流程图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。其中,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;文本中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况,另外,在本申请实施例的描述中,“多个”是指两个或多于两个。
应当理解,本申请的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本申请所描述的实施例可以与其它实施例相结合。
本申请涉及拍摄领域,为了便于理解本申请提供的方法,下面对拍摄领域的一些术语进行介绍。
1、曝光量
曝光量反映了获取图像时感光元件获取到的光能量的多少,影响最终获取的图像的明暗。其中,拍摄一帧图像的曝光量越大,这一帧图像的亮度越亮。
曝光量由曝光时间、通光面积以及环境光强度这三大因素决定。其中,快门速度决定曝光时间。光圈大小决定通光面积。在胶片时代,用感光度ISO来反映胶片对光线的敏感度,可以认为ISO影响感光元件获取的环境光强度。而数码相机、手机等电子设备的感光元件在封装之后就不变了,对这些电子设备来说,ISO表示的不再是感光元件对光线的敏感度,而是电子信号放大增益值。当ISO增大时,电子信号的放大增益增大,原有信号被放大,图像会变亮。
综上所述,曝光时间、光圈大小和ISO是影响图像亮度的三大因素。
2、曝光强度
在一些实施例中,数码相机、手机等电子设备的光圈大小是固定的,电子设备可以通过调节曝光时间和ISO来调节图像的亮度。为了便于理解和计算,本申请后续实施例中用曝光强度来表征图像亮度。曝光强度越大,图像越亮,曝光强度越小,图像越暗。其中,电子设备可以通过调节曝光时间和ISO来调节曝光强度。具体的,曝光强度、曝光时间和ISO可以具有如下关系:曝光强度=曝光时间*ISO。
3、滚动条纹现象
当拍摄场景中存在人工光源时,拍摄画面可能会出现滚动条纹线条(简称banding现象)。即相机、手机等电子设备上的预览画面可能出现一条条的滚动的明暗条纹。如图1所示,图1为电子设备在拍摄环境中存在人工光源的情况下获取的图像,可见,图1的亮度不均匀,由一条条明暗条纹组成。
下面介绍banding现象的形成原因。
一方面,从人工光源的角度看:
日常生活中的用电一般是正弦波形的交流电。图2B示例性示出了电源的频率为50赫兹(Hz)的交流电的波形图。图2A示例性示出了电源的频率为60Hz的交流电的波形图。
当人工光源接交流电时,人工光源将电信号转换为光信号,由于电信号为一定频率的周期信号,所以转换所得的光信号也为一定频率的周期信号,可以理解为:人工光源发出的光随着时间呈现出一定频率、周期的变化,即出现频闪现象。
可理解,频闪现象是由电源的设计和人工光源本身的特性造成的,因此,没有真正意义上的无频闪。对于很多照明灯具来说,其工作电流必然随着输入电压的波动而波动,直接导致光输出的波动产生频闪。
然而,人工光源发出的光能量没有方向性,所以光信号的波形不再是正弦波形,而是频率为100Hz或120Hz的包络。具体地,如图3B所示,当人工光源接50Hz的交流电时,人工光源转换所得的光信号的波形是频率为100Hz的周期性变化的包络。如图3A所示,当人工光源接60Hz的交流电时,人工光源转换所得的光信号的波形是频率为120Hz的周期性变化的包络。
可以看出,人工光源的闪烁频率通常是该人工光源所接交流电频率的两倍。本申请实施例对人工光源的闪烁频率不作限定。例如,人工光源所接交流电的频率为50Hz或60Hz以外的频率,人工光源的闪烁频率可以为100Hz或120Hz以外的取值。
另一方面,从用于拍摄的电子设备的角度看:
目前,数码相机、手机等电子设备多采用卷帘快门(Rolling Shutter),采用卷帘快门的曝光方式为逐行曝光。
具体地,如图4所示,传感器(例如,CMOS图像传感器)从一帧图像的第一行像素开始曝光,间隔一个行周期后开始曝光第二行像素。以此类推,第N-1行像素开始曝光后,间隔一个行周期第N行像素才开始曝光。也就是说,每一行像素开始曝光的时间与该行的下一行像素开始曝光的时间的时间差为一个行周期。因此,每一行像素开始曝光的时间都不相同。
在本申请中,曝光时间指的是电子设备曝光一帧图像的一行像素所需的时间。一般情况下,同一帧图像不同行像素的曝光时间是相同的。
可理解,行周期可以由传感器的能力确定。不同传感器的行周期可能不同,所以不同电子设备的行周期也可能不相同。本申请实施例对上述行周期的取值不作限定。
可理解,在人工光源转换所得的光信号的示意图(例如,图3A或图3B)中,一段时间内包络与X轴围成的面积(包络对应的函数在这一段时间的定积分)为人工光源在这段时间发出的光能量,即传感器在这一段时间内接收的光能量。
若第N行像素从T1时开始曝光,并在T2时结束曝光,T1-T2这段时间内传感器接收的光能量影响最终显示的图像的第N行像素的亮度。其中,T1-T2内传感器接收的光能量越多,最终显示的图像的第N行像素越亮。T1-T2内传感器接收的光能量越少,最终显示的图像的第N行像素越暗。
下面以拍摄环境中存在接50Hz交流电的人工光源为例进行说明。
如图5所示,当人工光源接50Hz的交流电时,人工光源转换所得的光信号的波形是频率为100Hz的周期性变化的包络。将人工光源的闪烁周期记为T,则有:T=1/100s。此时的曝光时间为t,即T2-T1=t。也就是说,传感器曝光某一帧图像每一行所需的时间都为t。由图5可知,t=T+t1。即t不为闪烁周期T的整数倍,传感器曝光该图像的第i行像素时,该行像素接收的光能量为:S+S1。其中,S可以表示该行像素在时间T内接收的光能量,S1可以表示该行像素在时间t1内接收的光能量。由图5可知,t4+t2+t3=t。传感器曝光该图像的第i+1行像素时,第i+1一行像素接收的光能量为:S2+S3+S4。又因为t1=t2=t3,可得:S1=S3<S4。明显地,S2+S3=S。因此,第i+1行像素接收的光能量比第i行像素要更多一些。也就是说,最终显示的图像的第i行像素和第i+1行像素的亮度是不同的。第i+1行像素较第i行像素要更亮一些。
可理解,由于人工光源转换所得的光信号为周期信号,在任意起始时间点,当T2-T1=M*T(M为正整数)且M相同时,传感器在T1-T2时间内接收的光能量是相同的,最终显示的图像的不同行的亮度是一样。在任意起始时间点,当T2-T1=M*T(M不为正整数)且M相同时,传感器在T1-T2时间内接收的光能量不一定相同(如图5所示),最终显示的图像的不同行的亮度不一定相同。即最终显示的图像可能出现明暗条纹。
综上,若曝光时间满足人工光源闪烁周期的整数倍,电子设备显示的图像不会出现明暗条纹。若曝光时间不满足人工光源闪烁周期的整数倍,电子设备显示的图像则会出现明暗条纹。由于不同图像的明暗条纹的位置可能发生变化,所以电子设备的预览画面或者录像时的画面中可能出现滚动的明暗条纹,即banding现象。
需要说明的是,若不同图像第一行开始曝光的时间所对应的光信号的相位相同,数码相机、手机等电子设备上的预览画面仍会出现明暗条纹。但是由于每一帧图像第一行开始曝光的时间的相位是相同的,这些电子设备中的传感器对图像进行曝光时,每一帧图像的不同行之间接收光能量的大小关系是一样的,所以每一帧图像的第N行接收的光能量可能互不相同。即每一帧图像的第N行的亮度可能互不相同,但是它们相对于图像中其他行的明暗程度是不变的。
若拍摄环境中存在多个人工光源(例如,两个人工光源),且这些人工光源的闪烁频率一致,可以通过将曝光时间调节为这些人工光源闪烁周期的整数倍来避免出现banding现象。然而,若拍摄环境中的多个人工光源(例如,两个人工光源)的闪烁频率不相同,可以将曝光时间调节为其中一个人工光源的闪烁周期的整数倍。在这种情况下,其他人工光源的频闪现象还是会导致banding现象。即拍摄画面上仍会出现滚动的明暗条纹。
示例性的,在如图6所示的拍摄场景下,存在两个人工光源——吊灯和台灯。其中,吊灯接50Hz交流电,其闪烁周期为1/100s;台灯是通过通用串行总线(Universal SerialBus,USB)接口充电,在其充满电的情况下,频率为60Hz,可得:其闪烁周期为1/60s。这两个人工光源的闪烁周期不同,调节曝光时间只能解决其中一个人工光源的频闪所带来的banding现象,另一个人工光源的频闪所带来的banding现象仍然无法解决,所以拍摄画面中还是会出现滚动的明暗条纹。
本申请提供了一种多人工光源下的拍摄方法及相关装置。其中,电子设备可以确定多个人工光源的闪烁频率,并选取其中两个闪烁频率,分别记为F1和F2。将这两个闪烁频率对应的闪烁周期分别记为T1和T2。若在曝光时间满足T1的整数倍的情况下,相应的ISO也在预设范围内,则调节曝光时间,使得曝光时间满足T1的整数倍,并且根据F2调节帧间隔。若在曝光时间满足T1的整数倍的情况下,相应的ISO不在预设范围内,则判断当ISO在预设范围内时,电子设备是否可以将曝光时间调节为T2的整数倍,若可以,则将曝光时间调节为T2的整数倍,并且根据F1调节帧间隔,否则,电子设备不调节曝光时间,仅根据F1调节帧间隔。上述方法可以在消除某个人工光源造成的banding现象的情况下,减弱其他人工光源造成的banding现象,使得电子设备上的画面不再出现滚动的明暗条纹。
下面介绍本申请实施例涉及的装置。
图7为本申请实施例提供的一种电子设备100的硬件结构示意图。
电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(Universal Serial Bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(Subscriber Identification Module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(Application Processor,AP),调制解调处理器,图形处理器(Graphics Processingunit,GPU),图像信号处理器(Image Signal Processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(Digital Signal Processor,DSP),基带处理器,和/或神经网络处理器(Neural-network Processing Unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
可理解,处理器110中还可以包括AE系统。AE系统可以具体设置在ISP中。AE系统可用于实现曝光参数的自动调整。可选的,AE系统还可以集成在其它处理器芯片中。本申请实施例对此不作限定。
在本申请提供的实施例中,电子设备100可以通过处理器110执行所述多人工光源下的拍摄方法。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电,也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备100,例如AR设备等。
充电管理模块140用于从充电器接收充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备100供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193,和无线通信模块160等供电。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(Low Noise Amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(WirelessLocal Area Networks,WLAN)(如无线保真(Wireless Fidelity,Wi-Fi)网络),蓝牙(Bluetooth,BT),全球导航卫星系统(Global Navigation Satellite System,GNSS),调频(Frequency Modulation,FM),近距离无线通信技术(Near Field Communication,NFC),红外技术(Infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(Liquid Crystal Display,LCD),有机发光二极管(Organic Light-EmittingDiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(Active-MatrixOrganic Light Emitting Diode的,AMOLED),柔性发光二极管(Flex Light-EmittingDiode,FLED),Mini LED,Micro LED,Micro-OLED,量子点发光二极管(Quantum Dot LightEmitting Diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现获取功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像或视频。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(Charge Coupled Device,CCD)或互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像或视频信号。ISP将数字图像或视频信号输出到DSP加工处理。DSP将数字图像或视频信号转换成标准的RGB,YUV等格式的图像或视频信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。例如,在一些实施例中,电子设备100可以利用N个摄像头193获取多个曝光系数的图像,进而,在视频后处理中,电子设备100可以根据多个曝光系数的图像,通过HDR技术合成HDR图像。
数字信号处理器用于处理数字信号,除了可以处理数字图像或视频信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(Moving Picture Experts Group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(Neural-Network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像视频播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。电子设备100可以设置至少一个麦克风170C。
耳机接口170D用于连接有线耳机。
传感器模块180可以包括1个或多个传感器,这些传感器可以为相同类型或不同类型。可理解,图7所示的传感器模块180仅为一种示例性的划分方式,还可能有其他划分方式,本申请对此不作限制。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。当有触摸操作作用于显示屏194,电子设备100根据压力传感器180A检测所述触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。
气压传感器180C用于测量气压。在一些实施例中,电子设备100通过气压传感器180C测得的气压值计算海拔高度,辅助定位和导航。
磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备100姿态,应用于横竖屏切换,计步器等应用。
距离传感器180F,用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备100可以利用距离传感器180F测距以实现快速对焦。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备100附近有物体。当检测到不充分的反射光时,电子设备100可以确定电子设备100附近没有物体。
环境光传感器180L用于感知环境光亮度。
指纹传感器180H用于获取指纹。
温度传感器180J用于检测温度。
触摸传感器180K,也称“触控面板”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
在本申请的一个实施例中,用户利用电子设备100进行延时摄影或连拍,需要获取一系列图像。在延时摄像或连拍的场景中,电子设备100可以采取AE模式。即电子设备100自动调整AE值,在预览这一系列图像的过程中,若用户有触摸操作作用于显示屏194,可能触发touchAE模式。在touchAE模式下,电子设备100可以调整用户触摸显示屏的相应位置的亮度,并进行高权重测光。使得计算画面平均亮度的时候,用户触摸区域的权重明显高于其他区域,最终计算所得的画面平均亮度更加靠近用户触摸区域的平均亮度。
骨传导传感器180M可以获取振动信号。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口,N为大于1的正整数。电子设备100通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,电子设备100采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在电子设备100中,不能和电子设备100分离。
图8为本申请实施例提供的一种电子设备100的软件结构示意图。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将系统分为四层,从上至下分别为应用程序层,应用程序框架层,运行时(Runtime)和系统库,以及内核层。
应用程序层可以包括一系列应用程序包。
如图8所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序(也可以称为应用)。
应用程序框架层为应用程序层的应用程序提供应用编程接口(ApplicationProgramming Interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图8所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话界面形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
运行时(Runtime)包括核心库和虚拟机。Runtime负责系统的调度和管理。
核心库包含两部分:一部分是编程语言(例如,java语言)需要调用的功能函数,另一部分是系统的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的编程文件(例如,java文件)执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(Surface Manager),媒体库(Media Libraries),三维图形处理库(例如:OpenGL ES),二维图形引擎(例如:SGL)等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了二维(2-Dimensional,2D)和三维(3-Dimensional,3D)图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现3D图形绘图,图像渲染,合成,和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动,虚拟卡驱动。
下面结合捕获拍照场景,示例性说明电子设备100软件以及硬件的工作流程。
当触摸传感器180K接收到触摸操作,相应的硬件中断被发给内核层。内核层将触摸操作加工成原始输入事件(包括触摸坐标,触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件,识别该输入事件所对应的控件。以该触摸操作是触摸单击操作,该单击操作所对应的控件为相机应用图标的控件为例,相机应用调用应用框架层的接口,启动相机应用,进而通过调用内核层启动摄像头驱动,通过摄像头193捕获静态图像或视频。
下面介绍本申请提供的一些拍摄的场景。
图9A-图9D示例性示出了电子设备100拍摄时的一些用户界面。
本申请的说明书和权利要求书及附图中的术语“用户界面”,是应用程序或操作系统与用户之间进行交互和信息交换的介质接口,它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(graphic user interface,GUI),是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素,其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。
图9A示例性示出了电子设备100上的用户界面910。用户界面910显示了一个录像界面,该界面可包括预览区域911、快门控件912、结束录像控件913、录像时间控件914和暂停录像控件915。其中,预览区域911可用于显示预览图像。该预览图像为电子设备100通过摄像头实时采集的图像。电子设备可以实时刷新预览区域911中的显示内容,以便于用户预览摄像头当前采集的图像。快门控件912可用于触发拍照,即在录像的过程中用户可触发快门控件912来拍照。结束录像控件913可用于结束录制视频。录像时间控件914可以指示当前录制视频的时间长度。暂停录像控件915可用于暂时停止录制视频。
可理解,用户界面910中还可以包含更多或更少的控件,本申请实施例对此不作限定。
如图9A所示,录像时间控件914中显示00:00:01,这表示当前视频已录制1秒(s)。此时,用户界面910中的预览区域911中显示的是图像1,图像1上有明显的明暗条纹。
图9B示例性示出了电子设备100上的用户界面920。用户界面920中的控件与用户界面910中的控件基本一致。图9B中的录像时间控件914中显示00:00:02,这表示当前视频已录制2秒(s)。此时,用户界面920中的预览区域911中显示的是图像2,图像2上有明显的明暗条纹。可理解,图像1和图像2这两帧图像中的明暗条纹的位置发生了变化。也就是说,在录制视频的第1秒-第2秒的过程中,预览区域911中的画面上显示有滚动的明暗条纹。电子设备100可以确定多个人工光源的闪烁频率,并选取其中幅值最大的两个人工光源。将这两个人工光源对应的闪烁频率,分别记为F1和F2。将这两个闪烁频率对应的闪烁周期分别记为T1和T2。若在曝光时间满足T1的整数倍的情况下,相应的ISO也在预设范围内,则调节曝光时间,使得曝光时间满足T1的整数倍,并且根据F2调节帧间隔;若在曝光时间满足T1的整数倍的情况下,相应的ISO不在预设范围内,则判断当ISO在预设范围内时,电子设备是否可以将曝光时间调节为T2的整数倍,若可以,则将曝光时间调节为T2的整数倍,并且根据F1调节帧间隔,否则,电子设备100不调节曝光时间,仅根据F1调节帧间隔。
图9C和图9D示例性示出了电子设备100执行上述操作后所显示的界面。
图9C示例性示出了电子设备100上的用户界面930。用户界面930中的控件与用户界面910中的控件基本一致。图9C中的录像时间控件914中显示00:00:05,这表示当前视频已录制5秒(s)。此时,用户界面930中的预览区域911中显示的是图像3,图像3上有明显的明暗条纹。
图9D示例性示出了电子设备100上的用户界面940。用户界面940中的控件与用户界面910中的控件基本一致。图9D中的录像时间控件914中显示00:00:06,这表示当前视频已录制6秒(s)。此时,用户界面940中的预览区域911中显示的是图像4,图像4上有明显的明暗条纹。
可理解,图像3和图像4这两帧图像中的明暗条纹的位置未发生变化。也就是说,在录制视频的第5秒-第6秒的过程中,预览区域911中的画面上显示的明暗条纹是固定的。
因此,电子设备100按照上述方法调节曝光时间和/或帧间隔后,可以使得明暗条纹固定在画面中,减弱了电子设备100的预览区域911中的banding现象。也就是说,电子设备100的画面中不再出现滚动的明暗条纹,提升了用户的拍摄体验。
下面具体介绍拍摄环境存在人工光源时,根据人工光源的闪烁频率调节帧间隔的方法。
1、获取环境亮度的时间序列
对于电荷耦合元件(Charge Coupled Device,CCD)、金属氧化物半导体元件(Complementary Metal-Oxide Semiconductor,CMOS)等感光传感器来说,其感光面上植入有微小光敏物质,即像素,感光传感器会其感光面上各个像素上的光像转换成电信号。
与上述感光传感器类似,防闪烁传感器(Flicker Sensor)也会将感光面上各个像素上的光像转化为电信号。但是,Flicker Sensor仅有一个像素且没有滤光,所以FlickerSensor输出的电信号即为该仅有像素上的光像转换成的电信号。可理解,可以用FlickerSensor输出的电信号来代表当前环境亮度,也就是说,可以认为Flicker Sensor输出的电信号为当前的环境亮度。
当用户触发电子设备100的拍摄功能后,电子设备100中的Flicker Sensor开始对环境光进行采样,并输出每一次采样的时间和对应的电信号。可理解,Flicker Sensor输出的是环境亮度的时间序列(第一时间序列)。可知,环境亮度的时间序列是一个一维的时间序列。可理解,第一时间序列包括环境亮度信息和时间信息。这里提到的环境亮度信息为上文提到的环境亮度,即每一次采样的环境亮度。这里提到的时间信息为上文提到的每一次采样的时间。
可理解,Flicker Sensor的采样频率可以根据实际需要进行设置,本申请对此不作限制。例如,Flicker Sensor的采样频率为2kHz,即Flicker Sensor每隔0.5毫秒(ms)采样一次。
2、确定多个人工光源的闪烁频率
对环境亮度的时间序列做傅里叶变换或快速傅里叶变换(fast Fouriertransform,FFT),将环境亮度的时间序列从时域转换到频域,可以得到一个频谱,将该频谱记为Spectrum1(第一频谱)。可理解,频谱的横坐标为频率,纵坐标为幅值(信号的振幅强度)。其中,幅值表示的是亮度。
根据傅里叶原理,任何连续测量的时序或信号,都可以表示为不同频率的正弦波信号的无限叠加。在本申请提供的实施例中,将环境亮度的时间序列转换到频域后,得到的频谱(Spectrum1)由多个正弦波组成。而在这多个正弦波中,幅值最大的正弦波所对应的频率为人工光源的频率。其他幅值比较小的正弦波则为拍摄环境中的干扰信号。下面示例性给出确定多个人工光源的闪烁频率的方法。
具体的,电子设备100根据Spectrum1(第一频谱)确定第一正弦波的频率为第一闪烁频率,确定第二正弦波的频率为第二闪烁频率。电子设备根据第一闪烁频率确定第一闪烁周期,根据第二闪烁频率确定第二闪烁周期。其中,第一正弦波的幅值与第一平均值的差值大于第一预设阈值。第二正弦波的幅值与第二平均值的差值大于第二预设阈值。第一平均值为在。第一频谱中的频率查找范围内,除第一正弦波外的其他正弦波的幅值的平均值。第二平均值为在第一频谱中的频率查找范围内,除第一正弦波和第二正弦波外的其他正弦波的幅值的平均值;频率查找范围用于确定查找第一正弦波和第二正弦波的频率范围。
在一些实施例中,第一正弦波对应的是第一人工光源,第二正弦波对应的是第二人工光源。可理解,第一正弦波的幅值大于第二正弦波的幅值。而Spectrum1中幅值表示亮度,可以理解为表示人工光源的光照强度。也就是说,第一人工光源的光照强度大于第二人工光源的光照强度。
电子设备100设置一个频率查找范围,例如,20Hz-2000Hz。在频谱Spectrum1中的频率查找范围内,选取最大的正弦波峰值,并将该正弦波峰值记为A1,将该正弦波对应的频率记为F1,将该正弦波峰值对应的正弦波记为sine wave1。电子设备100还可以计算频谱Spectrum1中除sine wave1外其他正弦波峰值的平均值,将该平均值记为Aavr1。电子设备100计算A1和Aavr1的差值,并将该差值记为B1,即B1=A1-Aavr1。若B1大于第一预设阈值,则电子设备100确定当前拍摄环境中存在人工光源,且该人工光源的闪烁频率为F1;否则,电子设备100确定当前拍摄环境中不存在人工光源。
可理解,电子设备100还可以通过上述方法来确定其他人工光源的闪烁频率。
类似的,在频谱Spectrum1中的频率查找范围内,选取第二大的正弦波峰值,并将该正弦波峰值记为A2,将该正弦波对应的频率记为F2,将该正弦波峰值对应的正弦波记为sine wave2。电子设备100还可以计算频谱Spectrum1中除sine wave1和sine wave2外其他正弦波峰值的平均值,将该平均值记为Aavr2。电子设备100计算A2和Aavr2的差值,并将该差值记为B2,即B2=A2-Aavr2。若B2大于第二预设阈值,则电子设备100确定当前拍摄环境中存在其他的人工光源,且该人工光源的闪烁频率为F2;否则,电子设备100确定当前拍摄环境中只存在闪烁频率为F1的人工光源。
可理解,第一预设阈值和第二预设阈值可以根据实际需要进行设置,本申请对此不作限制。需要说明的是,在本申请的一些实施例中,可以根据同一个预设阈值来确定多个人工光源的闪烁频率。也就是说,第一预设阈值和第二预设阈值可以相同,也可以不同。
示例性的,第一预设阈值和第二预设阈值都为100。如图10所示,图10为本申请实施例提供的一个频谱图,电子设备设置一个频率查找范围,该频率查找范围为20Hz-200Hz。在图10所示的频谱中查找20Hz-200Hz范围内最大和第二大的正弦波峰值,以及它们对应的频率。可得,最大的正弦波峰值为:A1=200,该正弦波峰值对应的频率为:F1=50Hz;第二大的正弦波峰值为:A2=180,该正弦波峰值对应的频率为:F2=75Hz。根据图10还可以得到:所以,A1和Aavr1的差值为:B1=A1-Aavr1=200-69.6=131.4;A2和Aavr2的差值为:B2=A2-Aavr2=180-42=138。明显的,B1大于第一预设阈值,B2大于第二预设阈值,电子设备100确定当前拍摄环境中存在两个人工光源,且这两个人工光源的闪烁频率分别为50Hz和75Hz。
需要说明的是,在上述内容的基础上,还可以根据其他的正弦波峰值来判断是否还存在其他频率的人工光源,判断方法可参考上述内容,在此不再赘述。
3、根据人工光源的频率确定帧间隔
当环境光源存在闪烁时,需要减弱banding现象。电子设备100可以将帧间隔设置为闪烁周期的整数倍,使得传感器开始曝光不同图像的第一行像素时的初始相位一致,从而使得每一帧图像的不同行像素之间接收光能量的大小关系是一样的。
可理解,帧间隔为传感器曝光图像的间隔时间。将开始曝光某一帧图像的第一行像素的时间记为ET1,将开始曝光该帧图像的后面一帧图像的第一行像素的时间记为ET2,帧间隔为:ET2-ET1。
若依据同一帧图像的不同行像素接收的光能量大小由大到小或由小到大进行排序,并将该排序记为X。可将X视为二维数组,其中包含排列的序号和相应的行数。例如,{(1,M1),(2,M2),(3,M3),…,(N,MN)},1-N表示由大到小或由小到大排列的序号,M1-MN表示的是前面的序号对应的像素行数。虽然不同图像的第N行像素接收的光能量可能不同,但是不同图像的X是一致的。
可理解,图像上的不同行像素接收的光能量可以由图像上不同行像素的亮度体现。也就是说,每一帧图像的第N行的亮度可能互不相同,但是它们相对于图像中其他行的明暗程度是不变的。也就是说,电子设备100将帧间隔设置为闪烁周期的整数倍后,可以使得明暗条纹不再滚动。从而减弱banding现象对图像亮度的影响。
在本申请的一个实施例中,可以按照表1设置帧间隔。
表1
闪烁频率 60Hz 80Hz 90Hz 100Hz 120Hz 150Hz
帧间隔 33ms 37ms 33ms 30ms 33ms 33ms
根据上述表1确定帧间隔,不仅可以减弱banding现象,即当拍摄环境中存在人工光源时,电子设备100显示屏上出现的明暗条纹不会滚动,而且还可以满足30FPS的播放需求,即画面每秒传输30帧。
在本申请的一些实施例中,电子设备100可以根据幅值较大的两个正弦波所对应的频率,来调整曝光时间和帧间隔。由上述内容可知,频谱中的纵坐标表示的是幅值,而幅值表示的是亮度。可理解,拍摄环境中亮度较大的人工光源对于banding现象的影响较大。因此,当拍摄环境中存在两个以上的人工光源时,电子设备100可以选取其中幅值最大的以及第二大的人工光源,并根据其频率来调整曝光时间和帧间隔。
下面结合图11具体介绍本申请实施例提供的一种多人工光源下的拍摄方法。
需要说明的是,图11所示的人工多光源下的拍摄方法可以应用于拍摄环境中存在两种闪烁频率的人工光源的场景(如图6所示)。
S1101:电子设备100获取环境亮度的时间序列。
可理解,电子设备100可以通过Flicker Sensor或与其类似的其他传感器获得环境亮度的时间序列。获取环境亮度的时间序列的方法已在上述实施例中说明,在此不再赘述。
S1102:电子设备100将获取的环境亮度的时间序列转化为频谱。
可理解,电子设备100可以通过傅里叶变换或快速傅里叶变换,将环境亮度的时间序列从时域转换到频域,从而得到一个频谱。
S1103:电子设备100确定闪烁频率F1和F2。其中,F1为幅值最大的人工光源所对应的闪烁频率,F2为幅值第二大的人工光源所对应的闪烁频率。
可理解,电子设备100可以确定当前拍摄环境中多个人工光源的闪烁频率,具体方法可参考上述实施例,在此不再赘述。
在本申请的一个实施例中,在频谱Spectrum1中的频率查找范围内,最大的和第二大的正弦波峰值所对应的频率为当前拍摄环境中人工光源的闪烁频率。也就是说,电子设备100可以确定当前拍摄环境中存在两种闪烁频率的人工光源。将这两个闪烁频率分别记为F1和F2。其中,F1为最大的正弦波峰值对应的频率,F2为第二大的正弦波峰值对应的频率。示例性的,F1=100Hz,F2=120Hz。S1104:电子设备100确定曝光时间ET1和ET2。其中,ET1为消除闪烁频率为F1的人工光源造成的banding现象所需的曝光时间,ET2为消除闪烁频率为F2的人工光源造成的banding现象所需的曝光时间。
由于闪烁周期与闪烁频率的乘积为1,电子设备100可以根据步骤S1102中确定的多个人工光源的闪烁频率,来确定多个人工光源的闪烁周期。若曝光时间满足人工光源的闪烁周期的整数倍,则该闪烁周期对应的人工光源不会造成banding现象。
具体地,将闪烁频率分别为F1和F2的人工光源所对应的闪烁周期分别记为t1和t2。其中,t1=1/F1,t2=1/F2。若曝光时间为:ET1=M*t1(M为正整数),闪烁频率为F1的人工光源不会造成banding现象。若曝光时间为:ET2=M*t2(M为正整数),闪烁频率为F2的人工光源不会造成banding现象。也就意味着,ET1为消除闪烁频率为F1的人工光源造成的banding现象所需的曝光时间,ET2为消除闪烁频率为F2的人工光源造成的banding现象所需的曝光时间。
示例性的,F1=100Hz,F2=120Hz。则有: 可理解,若曝光时间为ET1=M*t1=10M毫秒(M为正整数),闪烁频率为100Hz的人工光源不会造成banding现象。若曝光时间为:ET2=M*t2=8.3M毫秒(M为正整数),闪烁频率为120Hz的人工光源不会造成banding现象。
S1105:电子设备100确定ISO1和ISO2。其中,ISO1为曝光时间为ET1时所对应的ISO,ISO2为曝光时间为ET2时所对应的ISO。
具体的,在曝光强度不变的情况下,电子设备100可以根据曝光强度、曝光时间和ISO这三者的关系(曝光强度=曝光时间*ISO),确定曝光时间为ET1和ET2时对应的ISO,即确定ISO1和ISO2。在本申请的一个实施例中,电子设备100可以根据获取的最新一帧图像说采取的曝光强度来确定ISO1和ISO2。也就是说,电子设备100获取最新一帧图像时采取的曝光强度=ET1*ISO1=ET2*ISO2。
示例性的,电子设备100获取最新一帧图像时采取的曝光强度为10。则有:ISO1=10/ET1=1000,ISO2=10/ET2=1200。
可理解,电子设备100可以根据获取最新一帧图像时采取的曝光时间和相应的ISO来确定曝光强度。电子设备获取最新一帧图像时采取的曝光时间和ISO可以在传感器内读取,或者,当曝光时间和ISO等曝光参数存储在指定内存地址中时,电子设备100可以通过访问该指定内存地址以获取曝光时间和ISO。
S1106:电子设备100判断ISO1是否在预设范围内。
根据上述内容,ISO表示的是电子信号的放大增益。增大ISO时,不仅放大了有用信号,也放大了噪声。因此,ISO越高,电子设备100获取的图像的噪点越多,该图像的画质越差。所以在实际拍摄过程中,往往需要对ISO设定一个合理的范围,使得有用信号得以放大,同时,放大的噪声也在电子设备100的降噪能力范围内。
在本申请中,电子设备100可以设置一个预设范围,用来判断采用的ISO是否在合适范围内。例如,电子设备100设置预设范围为ISOmin≤ISO≤ISOmax。其中,ISOmin为电子设备100可以采取的ISO的最小值,ISOmax为电子设备100可以采取的ISO的最大值。当然,电子设备100采取的预设范围还可以有其他形式,本申请对此不做限制。
具体的,电子设备100判断ISO1是否在预设范围内。若ISO1在设置的预设范围内,电子设备100将曝光时间调节为ET1(步骤S1107)。若ISO1不在设置的预设范围内,电子设备100判断ISO2是否在设置的预设范围内(步骤S1109)。
示例性的,ISOmin=400,ISOmax=1000。可得:400≤ISO1≤1000。即ISO1在预设范围内。
S1107:电子设备100将曝光时间调节为ET1。
可理解,若ISO1在设置的预设范围内,电子设备100可以将曝光时间调节为ET1。
S1108:电子设备100将帧间隔设置为F2对应的人工光源的闪烁周期的整数倍。
可理解,电子设备100可以将帧间隔设置为F2对应的人工光源的闪烁周期的整数倍,即将帧间隔设置为t2的整数倍。设置帧间隔的方法已在上述实施例中说明,在此不再赘述。
本申请实施例对上述步骤S1107和步骤S1108的执行顺序不作限定。在一些实施例中,电子设备100可以先根据闪烁频率F2调节帧间隔。在调节帧间隔之后,电子设备100可以进一步将曝光时间调节为ET1。可选的,电子设备100也可以同时调节曝光时间和帧间隔。
示例性的,F2=120Hz,根据表1,可以将帧间隔设置为33ms。
S1109:电子设备100判断ISO2是否在预设范围内。
具体的,电子设备100判断ISO2是否在设置的预设范围内。若ISO2在设置的预设范围内,电子设备100将曝光时间调节为ET2(步骤S1110)。若ISO2不在设置的预设范围内,电子设备100根据闪烁频率F1调节帧间隔(步骤S1111)。
可理解,关于判断ISO2是否在预设范围内的相关描述可以参考步骤S1106,在此不再赘述。
示例性的,ISOmin=400,ISOmax=1000。可得:ISO2>1000。即ISO2不在预设范围内。S1110:电子设备100将曝光时间调节为ET2。
可理解,若ISO1不在设置的预设范围内,而ISO2在设置的预设范围内,电子设备100可以将曝光时间调节为ET2。
S1111:电子设备100将帧间隔设置为F1对应的人工光源的闪烁周期的整数倍。
可理解,电子设备100可以将帧间隔设置为F1对应的人工光源的闪烁周期的整数倍,即将帧间隔设置为t1的整数倍。设置帧间隔的方法已在上述实施例中说明,在此不再赘述。
本申请实施例对上述步骤S1110和步骤S1111的执行顺序不作限定。在一些实施例中,电子设备100可以先根据闪烁频率F1调节帧间隔。在调节帧间隔之后,电子设备100可以进一步将曝光时间调节为ET2。可选的,电子设备100也可以同时调节曝光时间和帧间隔。
示例性的,F1=100Hz,根据表1,可以将帧间隔设置为30ms。
需要说明的是,电子设备100可以将执行上述方法后再拍摄图像时采用的曝光时间和帧间隔记为第一曝光时间和第一帧间隔。一般来说,电子设备100可以采用调整后的曝光时间和帧间隔来进行拍摄。也就是说,电子设备100接下来拍摄相邻图像的间隔时间为调整后的帧间隔(第一帧间隔)。电子设备100接下来拍摄图像时采用的曝光时间为经过上述方法调整后的曝光时间(第一曝光时间)。可理解,电子设备采用该调整后的曝光时间拍摄得到的图像的数量不一定为1,本申请对此不作限制。
在本申请的一些实施例中,电子设备可以直接判断ET1和ET2是否在第一范围内,而不用判断ISO1和ISO2是否在预设范围内。可理解,第一范围可以根据实际需求进行设置,本申请对此不作限制。
在本申请的一些实施例中,电子设备100可以首先调整判断ISO1和ISO2是否在预设范围内的判断顺序。也就是说,电子设备100可以先判断ISO2是否在预设范围内,即电子设备100可以先执行步骤S1109,后执行步骤S1106。
在本申请的一些实施例中,电子设备100还可以同时判断ISO1和ISO2是否在预设范围内,然后根据判断结果来执行后续步骤。
在本申请的一些实施例中,存在2种以上闪烁频率的人工光源,电子设备100可以选取其中幅值最大的人工光源和幅值第二大的人工光源,并执行图11所示的方法。也就是说,电子设备100可以选取光照强度最大的人工光源和光照强度第二大的人工光源,并执行图11所示的方法。若ISO1和ISO2均不在预设范围内,电子设备100可以选取幅值第三大的人工光源,并且可以参考步骤S1104和步骤S1105来确定相应的ET3和ISO3。电子设备100还可以判断ISO3是否在预设范围内(步骤S1106和步骤S1109)。若ISO3在预设范围内,电子设备100将曝光时间调整为ET1。若ISO3不在预设范围内,电子设备100可以选取幅值第四大的人工光源,并执行上述步骤。以此类推,若拍摄环境中存在N个闪烁频率的人工光源,电子设备100可以根据其幅值大小的排序来依次确定相应的曝光时间和ISO,并判断ISO是否在预设范围内,然后根据判断结果来调整曝光时间和帧间隔。
在本申请的一些实施例中,存在2种以上闪烁频率的人工光源,电子设备100也可以直接采取图11所示的拍摄方法。也就是说,电子设备100可以确定幅值最大和第二大的人工光源的闪烁频率,并根据该闪烁频率确定曝光时间和帧间隔。因为幅值较大的人工光源对于banding现象的影响较大,若能消除幅值较大的人工光源造成的banding现象,就可以大幅度降低banding现象对于拍摄的影响。
示例性的,若拍摄环境中存在第三人工光源;电子设备100可以确定第三闪烁周期;第三闪烁周期为第三人工光源的闪烁周期;若第一闪烁周期的k1倍超出第一范围,且第二闪烁周期的k2倍未超出第一范围,且第三闪烁周期的k3倍未超出第一范围,第一曝光时间为第三闪烁周期的k3倍,第一帧间隔为第一闪烁周期的k1倍。
在本申请的一些实施例中,存在超过2种以上闪烁频率的人工光源,电子设备100还可以确定其中任意2种人工光源的闪烁频率,并根据这两种闪烁频率确定曝光时间和帧间隔(可参考图11所示的方法)。
可理解,t1可以为第一闪烁周期,此时t2为第二闪烁周期。或者,t1可以为第二闪烁周期,此时t2为第一闪烁周期。类似的,ET1和ET2可以分别为:ET1=k1*t1(k1为正整数),ET2=k2*t2(k2为正整数)。或者,ET1和ET2可以分别为:ET1=k2*t1(k2为正整数),ET2=k1*t2(k1为正整数)。
需要说明的是,权利要求书中所提及的电子设备可以为本申请实施例中的电子设备100。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (13)

1.一种多人工光源下的拍摄方法,其特征在于,所述方法包括:
电子设备确定第一闪烁周期和第二闪烁周期;所述第一闪烁周期是拍摄环境中第一人工光源的闪烁周期;所述第二闪烁周期是所述拍摄环境中第二人工光源的闪烁周期;
所述电子设备确定第一曝光时间和第一帧间隔;
若所述第一闪烁周期的k1倍未超出第一范围,所述第一曝光时间为所述第一闪烁周期的k1倍,所述第一帧间隔为所述第二闪烁周期的k2倍;所述k1和所述k2均为正整数;
所述电子设备以所述第一曝光时间和所述第一帧间隔拍摄;所述第一帧间隔为所述拍摄的过程中,通过摄像头采集的相邻两帧图像的间隔时间;
所述电子设备确定第一闪烁周期和第二闪烁周期,具体包括:
所述电子设备获取第一时间序列;所述第一时间序列包括环境亮度信息和时间信息;
所述电子设备将所述第一时间序列转换为第一频谱;
所述电子设备根据所述第一频谱确定第一正弦波的频率为第一闪烁频率,确定第二正弦波的频率为第二闪烁频率;
所述电子设备根据所述第一闪烁频率确定所述第一闪烁周期,根据所述第二闪烁频率确定所述第二闪烁周期;
其中,所述第一正弦波的幅值与第一平均值的差值大于第一预设阈值;所述第二正弦波的幅值与第二平均值的差值大于第二预设阈值;所述第一平均值为在所述第一频谱中的频率查找范围内,除所述第一正弦波外的其他正弦波的幅值的平均值;所述第二平均值为在所述第一频谱中的所述频率查找范围内,除所述第一正弦波和所述第二正弦波外的其他正弦波的幅值的平均值;所述频率查找范围用于确定查找所述第一正弦波和所述第二正弦波的频率范围。
2.如权利要求1所述的方法,其特征在于,所述第一人工光源的光照强度大于所述第二人工光源的光照强度。
3.如权利要求1或2所述的方法,其特征在于,若所述第一闪烁周期的k1倍超出所述第一范围,且所述第二闪烁周期的k2倍未超出所述第一范围,所述第一曝光时间为所述第二闪烁周期的k2倍,所述第一帧间隔为所述第一闪烁周期的k1倍。
4.如权利要求1或2所述的方法,其特征在于,若所述第一闪烁周期的k1倍超出所述第一范围,且所述第二闪烁周期的k2倍也超出所述第一范围,所述第一帧间隔为所述第一闪烁周期的k1倍。
5.如权利要求1或2所述的方法,其特征在于,所述拍摄环境中存在两个以上的人工光源;所述第一人工光源为所述两个以上的人工光源中光照强度最大的人工光源;所述第二人工光源为所述两个以上的人工光源中光照强度第二大的人工光源。
6.如权利要求1或2所述的方法,其特征在于,所述拍摄环境中存在第三人工光源;所述方法还包括:
所述电子设备确定第三闪烁周期;所述第三闪烁周期为所述第三人工光源的闪烁周期;
若所述第一闪烁周期的k1倍超出所述第一范围,且所述第二闪烁周期的k2倍未超出所述第一范围,且所述第三闪烁周期的k3倍未超出所述第一范围,所述第一曝光时间为所述第三闪烁周期的k3倍,所述第一帧间隔为所述第一闪烁周期的k1倍。
7.一种电子设备,包括摄像头、一个或多个存储器、一个或多个处理器,其特征在于,所述一个或多个处理器与所述摄像头、所述一个或多个存储器耦合,所述一个或多个存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令;
所述处理器,用于确定第一闪烁周期和第二闪烁周期;所述第一闪烁周期是拍摄环境中第一人工光源的闪烁周期;所述第二闪烁周期是所述拍摄环境中第二人工光源的闪烁周期;
所述处理器,还用于确定第一曝光时间和第一帧间隔;若所述第一闪烁周期的k1倍未超出第一范围,所述第一曝光时间为所述第一闪烁周期的k1倍,所述第一帧间隔为所述第二闪烁周期的k2倍;所述k1和所述k2均为正整数;
所述摄像头,用于以所述第一曝光时间和所述第一帧间隔拍摄;所述第一帧间隔为所述拍摄的过程中,采集相邻两帧图像的间隔时间;
所述处理器用于确定第一闪烁周期和第二闪烁周期时,具体用于:
获取第一时间序列;所述第一时间序列包括环境亮度信息和时间信息;
将所述第一时间序列转换为第一频谱;
根据所述第一频谱确定第一正弦波的频率为第一闪烁频率,确定第二正弦波的频率为第二闪烁频率;
根据所述第一闪烁频率确定所述第一闪烁周期,根据所述第二闪烁频率确定所述第二闪烁周期;
其中,所述第一正弦波的幅值与第一平均值的差值大于第一预设阈值;所述第二正弦波的幅值与第二平均值的差值大于第二预设阈值;所述第一平均值为在所述第一频谱中的频率查找范围内,除所述第一正弦波外的其他正弦波的幅值的平均值;所述第二平均值为在所述第一频谱中的所述频率查找范围内,除所述第一正弦波和所述第二正弦波外的其他正弦波的幅值的平均值;所述频率查找范围用于确定查找所述第一正弦波和所述第二正弦波的频率范围。
8.如权利要求7所述的电子设备,其特征在于,所述第一人工光源的光照强度大于所述第二人工光源的光照强度。
9.如权利要求7或8所述的电子设备,其特征在于,若所述第一闪烁周期的k1倍超出所述第一范围,且所述第二闪烁周期的k2倍未超出所述第一范围,所述第一曝光时间为所述第二闪烁周期的k2倍,所述第一帧间隔为所述第一闪烁周期的k1倍。
10.如权利要求7或8所述的电子设备,其特征在于,若所述第一闪烁周期的k1倍超出所述第一范围,且所述第二闪烁周期的k2倍也超出所述第一范围,所述第一帧间隔为所述第一闪烁周期的k1倍。
11.如权利要求7或8所述的电子设备,其特征在于,所述拍摄环境中存在两个以上的人工光源;所述第一人工光源为所述两个以上的人工光源中光照强度最大的人工光源;所述第二人工光源为所述两个以上的人工光源中光照强度第二大的人工光源。
12.如权利要求7或8所述的电子设备,其特征在于,所述拍摄环境中存在第三人工光源;所述处理器,还用于:确定第三闪烁周期;所述第三闪烁周期为所述第三人工光源的闪烁周期;
若所述第一闪烁周期的k1倍超出所述第一范围,且所述第二闪烁周期的k2倍未超出所述第一范围,且所述第三闪烁周期的k3倍未超出所述第一范围,所述第一曝光时间为所述第三闪烁周期的k3倍,所述第一帧间隔为所述第一闪烁周期的k1倍。
13.一种计算机可读存储介质,其特征在于,包括:计算机指令;当所述计算机指令在电子设备上运行时,使得所述电子设备执行权利要求1-6中任一项所述的方法。
CN202110708031.2A 2021-06-24 2021-06-24 一种多人工光源下的拍摄方法及相关装置 Active CN115529419B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202110708031.2A CN115529419B (zh) 2021-06-24 2021-06-24 一种多人工光源下的拍摄方法及相关装置
EP22827260.5A EP4243403A4 (en) 2021-06-24 2022-05-18 METHOD FOR PHOTOGRAPHING UNDER MULTIPLE ARTIFICIAL LIGHT SOURCES AND ASSOCIATED DEVICE
PCT/CN2022/093644 WO2022267762A1 (zh) 2021-06-24 2022-05-18 一种多人工光源下的拍摄方法及相关装置
US18/266,222 US20230388658A1 (en) 2021-06-24 2022-05-18 Photographing method from plurality of artificial light sources and related apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110708031.2A CN115529419B (zh) 2021-06-24 2021-06-24 一种多人工光源下的拍摄方法及相关装置

Publications (2)

Publication Number Publication Date
CN115529419A CN115529419A (zh) 2022-12-27
CN115529419B true CN115529419B (zh) 2024-04-16

Family

ID=84544087

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110708031.2A Active CN115529419B (zh) 2021-06-24 2021-06-24 一种多人工光源下的拍摄方法及相关装置

Country Status (4)

Country Link
US (1) US20230388658A1 (zh)
EP (1) EP4243403A4 (zh)
CN (1) CN115529419B (zh)
WO (1) WO2022267762A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117714662B (zh) * 2023-05-25 2024-12-06 荣耀终端有限公司 频闪评测装置
US20240406573A1 (en) * 2023-05-30 2024-12-05 Apple Inc. Video camera optimizations based on environmental mapping
CN116996777B (zh) * 2023-09-26 2024-04-05 荣耀终端有限公司 一种拍摄方法、电子设备及存储介质
WO2025071889A1 (en) * 2023-09-28 2025-04-03 Apple Inc. Environment-modeling based camera adaptation for passthrough extended reality systems

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1437389A (zh) * 2001-12-27 2003-08-20 夏普公司 闪烁校正装置、闪烁校正方法及存贮闪烁校正程序的记录介质
CN1863277A (zh) * 2005-05-13 2006-11-15 索尼株式会社 闪烁校正方法和装置及成像装置
CN101394483A (zh) * 2007-09-19 2009-03-25 奥林巴斯映像株式会社 摄像装置、摄像装置的控制方法
CN101567977A (zh) * 2009-06-09 2009-10-28 北京中星微电子有限公司 一种闪烁检测方法及其装置
JP2013238479A (ja) * 2012-05-15 2013-11-28 Seiko Epson Corp 検出装置
JP2015054221A (ja) * 2013-09-13 2015-03-23 学校法人明治大学 周波数検出装置、周波数検出方法およびプログラム
CN108111767A (zh) * 2018-01-24 2018-06-01 努比亚技术有限公司 一种拍摄方法、终端及计算机可读存储介质
CN109151256A (zh) * 2018-08-31 2019-01-04 惠州华阳通用电子有限公司 一种基于传感器检测的摄像头闪烁消除方法及装置
CN110248110A (zh) * 2019-06-28 2019-09-17 Oppo广东移动通信有限公司 拍摄参数设置方法、设置装置、终端设备及可读存储介质
CN110381276A (zh) * 2019-05-06 2019-10-25 华为技术有限公司 一种视频拍摄方法及电子设备
CN111355864A (zh) * 2020-04-16 2020-06-30 浙江大华技术股份有限公司 一种图像闪烁消除方法及装置
JP2020129756A (ja) * 2019-02-08 2020-08-27 ローム株式会社 フリッカ検出装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3370979B2 (ja) * 2000-09-08 2003-01-27 三菱電機株式会社 撮像装置および自動レベル調整方法
JP4106554B2 (ja) * 2003-09-08 2008-06-25 ソニー株式会社 撮影環境判定方法および撮像装置
US8068148B2 (en) * 2006-01-05 2011-11-29 Qualcomm Incorporated Automatic flicker correction in an image capture device
JP4626689B2 (ja) * 2008-08-26 2011-02-09 ソニー株式会社 撮像装置、補正回路および補正方法
JP5581968B2 (ja) * 2010-10-25 2014-09-03 株式会社ニコン 撮像装置
JP5814865B2 (ja) * 2012-06-20 2015-11-17 株式会社 日立産業制御ソリューションズ 撮像装置
US9344640B2 (en) * 2013-06-14 2016-05-17 Panasonic Intellectual Property Corporation Of America Imaging device, integrated circuit, and flicker reduction method
KR20150109177A (ko) * 2014-03-19 2015-10-01 삼성전자주식회사 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 기록매체
JP6300118B2 (ja) * 2015-09-24 2018-03-28 カシオ計算機株式会社 撮像装置、フリッカ検出方法及びプログラム
US11032486B2 (en) * 2019-10-11 2021-06-08 Google Llc Reducing a flicker effect of multiple light sources in an image

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1437389A (zh) * 2001-12-27 2003-08-20 夏普公司 闪烁校正装置、闪烁校正方法及存贮闪烁校正程序的记录介质
CN1863277A (zh) * 2005-05-13 2006-11-15 索尼株式会社 闪烁校正方法和装置及成像装置
CN101394483A (zh) * 2007-09-19 2009-03-25 奥林巴斯映像株式会社 摄像装置、摄像装置的控制方法
CN101567977A (zh) * 2009-06-09 2009-10-28 北京中星微电子有限公司 一种闪烁检测方法及其装置
JP2013238479A (ja) * 2012-05-15 2013-11-28 Seiko Epson Corp 検出装置
JP2015054221A (ja) * 2013-09-13 2015-03-23 学校法人明治大学 周波数検出装置、周波数検出方法およびプログラム
CN108111767A (zh) * 2018-01-24 2018-06-01 努比亚技术有限公司 一种拍摄方法、终端及计算机可读存储介质
CN109151256A (zh) * 2018-08-31 2019-01-04 惠州华阳通用电子有限公司 一种基于传感器检测的摄像头闪烁消除方法及装置
JP2020129756A (ja) * 2019-02-08 2020-08-27 ローム株式会社 フリッカ検出装置
CN110381276A (zh) * 2019-05-06 2019-10-25 华为技术有限公司 一种视频拍摄方法及电子设备
CN110248110A (zh) * 2019-06-28 2019-09-17 Oppo广东移动通信有限公司 拍摄参数设置方法、设置装置、终端设备及可读存储介质
CN111355864A (zh) * 2020-04-16 2020-06-30 浙江大华技术股份有限公司 一种图像闪烁消除方法及装置

Also Published As

Publication number Publication date
EP4243403A1 (en) 2023-09-13
EP4243403A4 (en) 2024-08-28
CN115529419A (zh) 2022-12-27
US20230388658A1 (en) 2023-11-30
WO2022267762A1 (zh) 2022-12-29

Similar Documents

Publication Publication Date Title
KR102577396B1 (ko) 녹화 프레임 레이트 제어 방법 및 관련 장치
CN115529419B (zh) 一种多人工光源下的拍摄方法及相关装置
WO2021052232A1 (zh) 一种延时摄影的拍摄方法及设备
CN113891009B (zh) 曝光调整方法及相关设备
CN113810603B (zh) 点光源图像检测方法和电子设备
EP4221185B1 (en) Photographing method and related apparatus
CN114596819A (zh) 亮度调节方法及相关装置
CN116048831B (zh) 一种目标信号处理方法和电子设备
CN116051351B (zh) 一种特效处理方法和电子设备
WO2022267608A1 (zh) 一种曝光强度调节方法及相关装置
CN116193269A (zh) 一种曝光模式切换方法及相关设备
CN116723382B (zh) 一种拍摄方法及相关设备
CN116723410B (zh) 调节帧间隔的方法和装置
CN113891008B (zh) 一种曝光强度调节方法及相关设备
CN113923372B (zh) 曝光调整方法及相关设备
CN115933952B (zh) 一种触控采样率调节方法及相关装置
US12279047B2 (en) Photographing method and related apparatus
CN116233599B (zh) 一种录像模式推荐方法和电子设备
CN116095512B (zh) 终端设备的拍照方法及相关装置
CN116744118B (zh) 确定拍摄参数的方法和装置
RU2782255C1 (ru) Способ управления частотой кадров записи и соответствующее устройство
CN118524295A (zh) 一种光源颜色的确定方法及电子设备
CN118860621A (zh) 动画渲染方法、终端设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Unit 3401, unit a, building 6, Shenye Zhongcheng, No. 8089, Hongli West Road, Donghai community, Xiangmihu street, Futian District, Shenzhen, Guangdong 518040

Patentee after: Honor Terminal Co.,Ltd.

Country or region after: China

Address before: 3401, unit a, building 6, Shenye Zhongcheng, No. 8089, Hongli West Road, Donghai community, Xiangmihu street, Futian District, Shenzhen, Guangdong

Patentee before: Honor Device Co.,Ltd.

Country or region before: China