CN110213502B - 图像处理方法、装置、存储介质及电子设备 - Google Patents
图像处理方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN110213502B CN110213502B CN201910579967.2A CN201910579967A CN110213502B CN 110213502 B CN110213502 B CN 110213502B CN 201910579967 A CN201910579967 A CN 201910579967A CN 110213502 B CN110213502 B CN 110213502B
- Authority
- CN
- China
- Prior art keywords
- image
- yuv
- target
- exposure value
- exposure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 94
- 238000003672 processing method Methods 0.000 title claims abstract description 48
- 239000002131 composite material Substances 0.000 claims abstract description 79
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 46
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 46
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 45
- 239000000872 buffer Substances 0.000 claims abstract description 27
- 238000000034 method Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 18
- 230000035945 sensitivity Effects 0.000 claims description 17
- 238000005282 brightening Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 230000009467 reduction Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 12
- 238000013507 mapping Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 206010034960 Photophobia Diseases 0.000 description 5
- 208000013469 light sensitivity Diseases 0.000 description 5
- 239000000203 mixture Substances 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 230000003247 decreasing effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种图像处理方法、装置、存储介质及电子设备,其中图像处理方法包括:基于第一曝光值,持续获取目标场景的第一YUV图像;按照曝光的先后顺序将第一YUV图像存储至第一图像缓存队列;当需要进行预览或拍照或录像时,从第一图像缓存队列中获取最新存储的多帧第一YUV图像;对多帧第一YUV图像进行合成处理,得到具有高动态范围的第一合成图像;根据第一合成图像,对目标场景进行预览或拍照或录像操作。本方案中,在需要进行预览或拍照或录像时,直接调取现成的第一YUV图像进行合成处理,可以缩短预览或拍照或录像的操作时间,从而使得本实施例提供的图像处理方案得到的图像能够适用于图像的预览、拍照和录像。
Description
技术领域
本申请属于图像技术领域,尤其涉及一种图像处理方法、装置、存储介质及电子设备。
背景技术
相比于普通的图像,高动态范围图像(High-Dynamic Range,简称HDR)可以提供更多的动态范围和图像细节。比如,电子设备可以获取在同一场景下拍摄的多帧图像,将该多帧图像进行高动态范围合成,得到一帧HDR图像。然而,相关的HDR技术处理得到的图像难以同时适用于预览、拍照和录像。
发明内容
本申请实施例提供一种图像处理方法、装置、存储介质及电子设备,其处理得到的图像能够适用于预览、拍照和录像。
第一方面,本申请实施例提供一种图像处理方法,包括:
基于第一曝光值,持续获取目标场景的第一YUV图像;
按照曝光的先后顺序将所述第一YUV图像存储至第一图像缓存队列;
当需要进行预览或拍照或录像时,从所述第一图像缓存队列中获取最新存储的多帧第一YUV图像;
对所述多帧第一YUV图像进行合成处理,得到具有高动态范围的第一合成图像;
根据所述第一合成图像,对所述目标场景进行预览或拍照或录像操作。
第二方面,本申请实施例提供一种图像处理装置,包括:
第一获取模块,用于基于第一曝光值,持续获取目标场景的第一YUV图像;
存储模块,用于按照曝光的先后顺序将所述第一YUV图像存储至第一图像缓存队列;
第二获取模块,用于当需要进行预览或拍照或录像时,从所述第一图像缓存队列中获取最新存储的多帧第一YUV图像;
合成模块,用于对所述多帧第一YUV图像进行合成处理,得到具有高动态范围的第一合成图像;
处理模块,用于根据所述第一合成图像,对所述目标场景进行预览或拍照或录像操作。
第三方面,本申请实施例提供的存储介质,其上存储有计算机程序,当所述计算机程序在计算机上运行时,使得所述计算机执行如本申请任一实施例提供的图像处理方法。
第四方面,本申请实施例提供的电子设备,包括处理器和存储器,所述存储器有计算机程序,所述处理器通过调用所述计算机程序,用于执行如本申请任一实施例提供的图像处理方法。
本实施例中,在需要预览或拍照或录像时,电子设备可以直接从该第一图像缓存队列中获取最新存储的多帧第一YUV图像进行合成处理,得到具有高动态范围的第一合成图像,然后利用第一合成图像,进行图像的预览或拍照或录像操作,从而缩短预览或拍照或录像的操作时间,使得生成的第一合成图像能够适用于预览、拍照和录像。
附图说明
下面结合附图,通过对本申请的具体实施方式详细描述,将使本申请的技术方案及其有益效果显而易见。
图1是本申请实施例提供的图像处理方法的第一流程示意图。
图2是本申请实施例提供的图像处理方法的第一场景示意图。
图3是本申请实施例提供的图像处理方法的第二场景示意图。
图4是本申请实施例提供的图像处理方法的第三场景示意图。
图5是本申请实施例提供的图像处理方法的第二流程示意图。
图6是本申请实施例提供的图像处理方法的第四场景示意图。
图7是本申请实施例提供的图像处理方法的合成处理示意图。
图8是本申请实施例提供的图像处理方法的第三流程示意图。
图9是本申请实施例提供的图像处理方法的第四流程示意图。
图10是本申请实施例提供的图像处理方法的第五流程示意图。
图11是本申请实施例提供的图像处理装置的第一结构示意图。
图12是本申请实施例提供的图像处理装置的第二结构示意图。
图13是本申请实施例提供的图像处理装置的第三结构示意图。
图14是本申请实施例提供的电子设备的第一结构示意图。
图15是本申请实施例提供的图像处理电路的结构示意图。
图16是本申请实施例提供的电子设备的第二结构示意图。
具体实施方式
以下的说明是基于所例示的本申请具体实施例,其不应被视为限制本申请未在此详述的其它具体实施例。本文所使用的术语「模块」可看做为在该运算系统上执行的软件对象。本文不同模块、引擎及服务可看做为在该运算系统上的实施对象。
本申请实施例提供一种图像处理方法,该图像处理方法的执行主体可以是本申请实施例提供的图像处理装置,或者集成了该图像处理装置的电子设备。其中,电子设备包括摄像头、内存,该电子设备可以是智能手机、平板电脑、掌上电脑(PDA,Personal DigitalAssistant)等。
以下进行具体分析说明。
本申请实施例提供一种图像处理方法,应用于电子设备,该电子设备包括摄像组件,请参阅图1,图1为本申请实施例提供的图像处理方法的第一流程示意图,该图像处理方法可以包括以下步骤:
101、基于第一曝光值,持续获取目标场景的第一YUV图像。
其中,曝光值,又称EV值,是反映进光量多少的一个计量值。一般场景太过暗沉,可通过增加曝光值以进行正补偿;场景太过明亮,可通过减小曝光值以进行负补偿。该曝光值同感光度、光圈、以及曝光时长相关联,电子设备可通过改变感光度、光圈、以及曝光时长中的至少一个参数来改变曝光值。无论感光度、光圈、以及曝光时长如何组合,只要EV值相同,最终都可以得到具有相同曝光量的图像。例如,在感光度不变的情况下,则曝光值是通过不同曝光时长和光圈的组合,此时如果想要减小EV值,可以采取减少曝光时长或者减小光圈系数的手段;此时如果想要增大EV值,可以采取增大曝光时长或者增大光圈系数的手段。
目标场景,是指用户通过摄像组件所要拍摄的场景,该目标场景可以在通过摄像组件获取的图像上呈现。此外,本申请实施例中对该目标场景的内容不作具体限定,如该目标场景可以是人物场景,该目标场景也可以是夜空场景,等等。
YUV图像,是指图像格式为YUV格式的图像。YUV格式,是一种常见的彩色图像记录格式,通常以Y:UV的格式呈现,其中Y代表图像的亮度,用Cr表示;UV代表图像的彩度,用Cb表示。Y的值越高,代表图像的亮度会更大;UV的值越高,代表该图像的颜色会更饱和。
本申请实施例中,电子设备在一定时间段内,曝光值始终保持在某个值不变,且在该时间段内通过摄像组件持续不断地对目标场景进行曝光,得到曝光量相同或相近的第一YUV图像。需要说明的是,因为要利用第一YUV图像进行高动态范围合成处理,所以本申请实施例中基于该第一曝光值得到的第一YUV图像至少包括两帧。
在一些实施例中,基于第一曝光值,持续获取目标场景的第一YUV图像,该第一YUV图像都是亮度较低的短曝图像。
102、按照曝光的先后顺序将第一YUV图像存储至第一图像缓存队列。
本申请实施例中,按照曝光的先后顺序将第一YUV图像存储至第一图像缓存队列,具体可以指:每基于第一曝光值,获取到目标场景的一帧第一YUV图像,立即将该帧第一YUV图像存储至第一图像缓存队列。例如,如图2所示,在Ti时刻生成一帧第一YUV图像,则在Ti时刻立即将该帧第一YUV图像存储至第一图像缓存队列。
其中,电子设备上装配有用于保存图像的专用内存,该专用内存可根据一定的策略划分缓存队列,以对图像进行分类保存。本申请的第一图像缓存队列,可以是定长队列,也可以是不定长队列,本实施例对此不做具体限定。
因为在该电子设备上装配有用于保存图像的专用内存,所以该电子设备在需要预览或拍照或录像之前,能够持续对目标场景进行曝光,得到该目标场景的多帧第一YUV图像,并按照曝光的先后顺序将该多帧第一YUV图像存储在第一图像缓存队列,在需要预览或拍照或录像的时候,直接调用最新存储在该第一图像缓存队列的第一YUV图像即可,从而缩短预览或拍照或录像的操作时间,减缓画面延迟,以保证图像预览和录像的帧率。
103、当需要进行预览或拍照或录像时,从第一图像缓存队列中获取最新存储的多帧第一YUV图像。
104、对多帧第一YUV图像进行合成处理,得到具有高动态范围的第一合成图像。
105、根据第一合成图像,对目标场景进行预览或拍照或录像操作。
当需要进行预览时,从第一图像缓存队列中获取最新存储的多帧第一YUV图像进行合成处理,得到具有高动态范围的第一合成图像,根据第一合成图像,对目标场景进行预览操作。其中,多帧是指至少包括两帧,具体帧数不作具体限定,比如多帧可以是三帧、六帧、九帧等。
例如,如图2所示,当Ti时刻需要进行预览时,从第一图像缓存队列中获取最新存储的3帧第一YUV图像,即Ti时刻存储的图像、Ti-1时刻存储的图像、以及Ti-2时刻存储的图像,对该3帧第一YUV图像进行合成处理,得到具有高动态范围的第一合成图像,根据该第一合成图像,对目标场景进行预览。其中,i为大于0的整数。
在一些实施例中,对于具备实时预览功能的电子设备,如终端等电子设备,则需要不间断地进行预览,即故自电子设备第一次“从第一图像缓存队列中获取最新存储的多帧第一YUV图像,对多帧第一YUV图像进行合成处理,得到具有高动态范围的第一合成图像,根据第一合成图像,对目标场景进行预览操作”后,每当该第一图像缓存队列新存储一帧图像,电子设备就执行一次“从第一图像缓存队列中获取最新存储的多帧第一YUV图像,对多帧第一YUV图像进行合成处理,得到具有高动态范围的第一合成图像,根据第一合成图像,对目标场景进行预览操作”。
当需要进行拍照时,从第一图像缓存队列中获取最新存储的多帧第一YUV图像,对多帧第一YUV图像进行合成处理,得到具有高动态范围的第一合成图像,根据第一合成图像,对目标场景进行拍照操作。
例如,如图3所示,在Ti-1时刻后、在Ti时刻前电子设备接收到拍照指令,此时需要进行拍照,从第一图像缓存队列中获取最新存储的3帧第一YUV图像,即Ti-1时刻存储的图像、Ti-2时刻存储的图像、以及Ti-3时刻存储的图像,对该3帧第一YUV图像进行合成处理,得到具有高动态范围的第一合成图像,输出该第一合成图像以响应该拍照指令。其中,i为大于0的整数。
当需要进行录像时,从第一图像缓存队列中获取最新存储的多帧第一YUV图像,对多帧第一YUV图像进行合成处理,得到具有高动态范围的第一合成图像,根据第一合成图像,对目标场景进行录像操作。
例如,如图4所示,在T3时刻后、在T4时刻前电子设备接收到录像开始指令,在T7时刻后、在T8时刻前电子设备接收到录像结束指令,自接收到录像开始指令的时刻至接收到录像结束指令的时刻,需要不断获取图片进行合成。即i依次为4、5、6、7、或8,在Ti时刻需要进行录像时,从第一图像缓存队列中获取最新存储的3帧第一YUV图像,即Ti-3时刻存储的图像、Ti-2时刻存储的图像、以及Ti-1时刻存储的图像,对该3帧第一YUV图像进行合成处理,得到具有高动态范围的第一合成图像,对该第一合成图像进行视频编码处理,得到目标场景对应的视频。
其中,具有高动态范围的第一合成图像,相比于普通的图像,高动态范围图像可以提供更多的动态范围和图像细节。图像的动态范围是指图像的明暗差别。需要说明的是,得到的第一合成图像也是YUV格式的图像。
在一些实施例中,电子设备可以采用多帧短曝的合成方式,对多帧第一YUV图像进行合成处理,得到具有高动态范围的第一合成图像。其中,多帧短曝的合成方式具体指:将N帧短曝图像进行合成处理得到一帧HDR图像,该帧HDR图像各位置的像素约等于每帧短曝图像对应各位置像素的N倍。比如,电子设备A拍摄的3帧短曝图像包括天空和建筑物,每帧短曝图像中天空像素值为10,建筑物像素值为3,将3帧短曝图像进行合成得到HDR图像,HDR图像中天空像素值约为10+10+10=30,建筑物像素值约为3+3+3=9,从而该HDR图像天空和建筑物间明暗差别更大,即动态范围更高。
具体实施时,本申请不受所描述的各个步骤的执行顺序的限制,在不产生冲突的情况下,某些步骤还可以采用其它顺序进行或者同时进行。例如,按照第一曝光值进行曝光并存储到第一图像缓存队列中和从缓存队列中获取多帧图像进行合成并显示可以是同步进行的。。
由上述可知,本实施例提供的图像处理方法,由于第一图像缓存队列的存在,使得电子设备可以在需要进行预览或拍照或录像时,直接从该第一图像缓存队列中获取最新存储的多帧第一YUV图像进行合成处理,得到具有高动态范围的第一合成图像,然后利用第一合成图像,进行图像的预览或拍照或录像操作,从而不用等待多帧第一YUV图像生成,可以缩短预览或拍照或录像的操作时间,减缓画面延迟,以保证图像预览和录像的帧率。因此,本实施例提供的图像处理方案得到的图像能够适用于预览、拍照和录像。
请参阅图5,图5为本申请实施例提供的图像处理方法的第二流程示意图,下面将进行详细说明。
在一些实施例中,在执行101之前,还包括:
通过图像传感器获取目标场景的一帧第二RAW图像;
获取第二RAW图像的光比;
根据光比确定基准曝光值;
根据基准曝光值,调整曝光时长、光圈、和感光度中的至少一个参数,确定第一曝光值。
其中,光比,是目标场景亮部与暗部的受光比例。曝光时长,是光线照射到底片或图像传感器的时间,通过调节曝光时长可以调整图像传感器的进光量,曝光时长越长,进光量越多;曝光时长越短,进光量越少,即影响曝光值的其他参数不变时,曝光时长与曝光值成正比。光圈是摄像组件的重要元件,通过调节光圈可以调整图像传感器的进光量,光圈越大,进光量越多;光圈越小,进光量越少,即影响曝光值的其他参数不变时,光圈与曝光值成正比。感光度是衡量“底片”对光敏感程度的一个参数,通过调节感光度可以调整图像传感器的进光量,感光度越高,摄像组件的感光能力越强,进光量越多;感光度越低,摄像组件的感光能力越弱,进光量越少,即影响曝光值的其他参数不变时,感光度与曝光值成正比。
基准曝光值,是指电子设备在当前时刻(根据光比确定基准曝光值的时刻)的曝光值设置参数:基准曝光时长、基准光圈、和基准感光度。通过图像传感器获取目标场景的一帧第二RAW图像具体是指:基于该基础曝光值,通过图像传感器获取目标场景的一帧第二RAW图像。因此,第二RAW图像的光比与基准曝光值成反比。
需要说明的是,第一曝光值小于基准曝光值。根据基准曝光值,调整曝光时长、光圈、和感光度中的至少一个参数,确定第一曝光值具体是指:通过减小曝光时长、光圈、和感光度中的至少一个参数,使电子设备的曝光值从基准曝光值降到第一曝光值(如从基准曝光值-1EV降到第一曝光值-3EV)。
具体地,该获取第二RAW图像的光比,可以包括:通过测光表检测第二RAW图像,得到第二RAW图像的亮部数值、以及第二RAW图像的暗部数值;根据亮部数值和暗部数值计算第二RAW图像的光比。
例如,电子设备基于0EV,通过图像传感器获取目标场景的一帧第二RAW图像;获取该第二RAW图像的光比;根据该光比确定基准曝光值0EV(基准曝光值0EV具体设置参数:基准曝光时长、基准光圈、和基准感光度),根据该基准曝光值0EV(基准曝光值0EV具体设置参数:基准曝光时长、基准光圈、和基准感光度),执行如下操作中的至少一项:在该基准曝光时长的基础上减小曝光时长、在该基准光圈的基础上减小光圈、和在该基准感光度的基础上减小感光度,使电子设备的曝光值从基准曝光值0EV降到第一曝光值-2EV。
在一些实施例中,101具体包括:根据第一曝光值,通过图像传感器持续获取目标场景的第一RAW图像;对第一RAW图像进行格式转换,得到第一YUV图像。
需要说明的是,电子设备的摄像组件包括透镜和图像传感器,其中透镜用于采集外部的光源信号提供给图像传感器,图像传感器感应来自于透镜的光源信号,将其转换为数字化的原始图像数据,即RAW图像数据。RAW图像,是未经处理、也未经压缩的格式,可以将其形象地称为“数字底片”。
在一些实施例中,101具体包括:根据第一曝光值,通过图像传感器持续获取目标场景的第一RAW图像;对第一RAW图像进行预设处理,其中,预设处理包括坏点矫正、黑电平矫正、降噪、镜头亮度矫正、以及自动白平衡中的至少一种;对处理后的第一RAW图像进行格式转换,得到第一YUV图像。此时,经过该预设处理得到的第一YUV图像占用内存较多,因此需要适量增大该专用内存,以供该第一YUV图像进行存储。
在一些实施例中,对目标场景进行预览操作之后,还包括:
若接收到拍照指令,则根据第一合成图像响应拍照指令。
在一些实施例中,对目标场景进行预览操作之后,还包括:
若当前处于录像模式,则对第一合成图像进行视频编码处理,得到目标场景对应的视频。
如图6所示,对于具备实时预览功能的电子设备,如终端等电子设备,该电子设备从第一图像缓存队列中获取最新存储的3帧第一YUV图像,即Ti-1时刻存储的图像、Ti-2时刻存储的图像、以及Ti-3时刻存储的图像,对该3帧第一YUV图像进行合成处理,得到具有高动态范围的第一合成图像,i=4、5、6、7、8……,即自该电子设备第一次执行103、104、以及105(根据第一合成图像,对目标场景进行预览操作)后,每当该第一图像缓存队列新存储一帧第一YUV图像,该电子设备就执行一次103、104、以及105(根据第一合成图像,对目标场景进行预览操作)。因此,在Ti-1时刻至Ti时候间的某一时刻接收到拍照指令时,此时不用重复对同样的多帧第一YUV图像:Ti-1时刻存储的图像、Ti-2时刻存储的图像、以及Ti-3时刻存储的图像进行合成处理,可以直接调用进行预览操作的最新第一合成图像去响应该拍照指令;当某一时刻接收到录像开始指令时。
同理,在Ti-1时刻至Ti时候间的某一时刻接收到录像开始指令时,此时也不用重复对同样的多帧第一YUV图像:Ti-1时刻存储的图像、Ti-2时刻存储的图像、以及Ti-3时刻存储的图像进行合成处理,可以直接调用进行预览操作的最新第一合成图像作为视频的首帧,接下来每当该第一图像缓存队列新存储一帧图像,电子设备可以执行103(当需要进行录像时,从第一图像缓存队列中获取最新存储的多帧第一YUV图像)、104、105(根据第一合成图像,对目标场景进行录像操作)来获取该视频首帧以外的其他帧,直至接收到录像的结束指令。
在一些实施例中,可参阅图5,104可以包括:1041和1042:
1041、将第一YUV图像划分为多个目标区域,并确定目标区域的区域信息。
1042、根据目标区域的区域信息,对多帧第一YUV图像进行合成,得到具有高动态范围的第一合成图像。
其中,区域信息包括区域位置信息、区域像素均值、以及目标像素均值。每帧第一YUV图像的目标区域相同,且每个目标区域对应有一个或多个区域位置信息。通过该区域位置信息,电子设备可以在每帧第一YUV图像上确定对应的目标区域。具体地,区域位置信息可以为区域坐标信息,比如,以每帧第一YUV图像的中心为原点建立坐标系,得到该目标区域对应的区域坐标信息。从第一图像缓存队列获取的多帧第一YUV图像,每帧第一YUV图像的目标区域有各自的像素平均值,有可能相同,有可能不相同,对所有该像素平均值进行平均值计算,得到的值为该目标区域的区域像素均值。每个目标区域对应一个目标像素均值,目标像素均值是合成处理后得到的第一合成图片对应目标区域的预计要达到的像素平均值。
在一些实施例中,电子设备可以预先存储第一映射关系,第一映射关系为目标像素均值与目标对象之间的对应关系。具体地,对第一YUV图像进行图像识别,得到第一YUV图像的识别对象;根据识别对象,将第一YUV图像划分为多个目标区域,其中,每个目标区域包括一个识别对象;根据目标区域获取区域位置信息,计算目标区域的区域像素均值,并根据识别对象,从第一映射关系中查找对应目标区域的目标像素均值,得到目标区域的区域信息。
本申请实施例中,在对多帧第一YUV图像进行相同的目标区域划分后,如将第一YUV图像划分成4个目标区域A、B、C、D,以目标区域A为例,根据目标区域A的区域信息,对多帧第一YUV图像的目标区域A进行合成,同理对多帧第一YUV图像的目标区域B、C、D进行合成,最终得到具有高动态范围的第一合成图像。
在一些实施例中,执行1042之前,还可以包括:对多帧第一YUV图像进行降噪处理。
具体地,1042可以包括:
根据区域像素均值和目标像素均值,确定目标区域对应的合成帧数;
基于目标区域的区域位置信息和合成帧数,对多帧第一YUV图像进行合成,得到具有高动态范围的第一合成图像。
其中,该合成帧数是该区域像素均值和该目标像素均值进行整数小波变换后的所得值,比如合成帧数3是区域像素均值2和目标像素均值5进行整数小波变换后的所得值。
需要说明的是,通过先将图像划分成多个目标区域,再对每个目标区域进行合成,相比于对整张图像进行合成,可以更好地控制该第一合成图像的动态范围。比如,电子设备从第一图像缓存队列获取了3帧第一YUV图像,如图7所示,将第一YUV图像划分为包括天空区域和建筑物区域,其中每帧短曝图像中天空区域的区域像素均值为10,建筑物区域的像素均值为3,且天空区域的目标像素均值为30,建筑物区域的目标像素均值为6。①如果是按照目标区域进行合成,如图7所示,根据天空区域的区域像素均值和目标像素均值,确定天空区域的合成帧数30/10=3,对3帧第一YUV图像中的天空区域进行合成,得到第一合成图像的天空区域,同样地,根据建筑物区域的区域像素均值和目标像素均值,确定建筑物区域的合成帧数6/3=2,对2帧第一YUV图像中的建筑物区域进行合成,得到第一合成图像的建筑物区域。此时,第一合成图像中天空区域的像素均值约为10+10+10=30,建筑物区域的像素均值约为3+3=6。其中,“得到第一合成图像的天空区域”的执行不受“得到第一合成图像的建筑物区域”的影响,两者可以同时进行。②如果不按照目标区域进行合成,如对3帧第一YUV图像的整个区域进行合成处理,得到第一合成图像,第一合成图像中天空区域的像素均值约为10+10+10=30,建筑物区域的像素均值约为3+3+3=9,如对2帧第一YUV图像的整个区域进行合成处理,得到第一合成图像,该第一合成图像中天空区域的像素均值约为10+10=20,建筑物区域的像素均值约为3+3=6。可见,通过先将图像划分成多个目标区域,再对每个目标区域进行合成,相比于对整张图像进行合成,得到的合成图像动态范围更好。
由上述可知,先将图像划分成多个目标区域,再对每个目标区域进行合成,相比于对整张图像进行合成,得到的合成图像动态范围更好。
请参阅图8,图8为本申请实施例提供的图像处理方法的第三流程示意图,下面将进行详细说明。
在一些实施例中,该图像处理方法,在104之后,在105之前,还包括:
106、若第一合成图像的亮度小于目标亮度,则对第一合成图像进行增亮处理,以获取具有目标亮度的第一合成图像。
其中,目标亮度为该第一合成图像所要达到的亮度,电子设备可根据该目标亮度对该第一合成图像的亮度进行调整。
在一些实施例中,电子设备可以预先设置第二映射关系,其中第二映射关系可以为目标亮度与其他要素间的对应关系,如其他要素可以为目标纹理,可以为目标色彩,目标对象等等,此处不作具体限定。电子设备可以根据该第一合成图像的纹理或者色彩或者对象,等等,在该第二映射关系中查找与该第一合成图像对应的目标亮度。具体地,目标亮度的值可以用像素值表示,若该第一合成图像的亮度小于目标亮度可以为:该第一合成图像的像素值小于目标亮度的值。需要说明的是,该映射关系可以进行更新和修改。
在对多帧第一YUV图像进行合成处理后,得到具有高动态范围的第一合成图像之后,可能存在第一合成图像的亮度没有达到目标亮度的情况,如将3帧第一YUV图像进行合成得到第一合成图像,但是第一合成图像的亮度可能没有达到目标亮度,此时可以对第一合成图像进行增量处理。
在一些实施方式中,目标亮度可以对应于整帧第一合成图像,若第一合成图像的亮度小于目标亮度,则将整帧第一合成图像的亮度增大至目标亮度。
或者,对第一合成图像进行分区域合成时,可能有部分区域的亮度没有达到目标亮度。例如,该第一合成图像中包括天空区域和建筑物区域,此时可能存在第一合成图像中天空区域亮度达到目标亮度,但是建筑物区域亮度没有达到目标亮度的情况。针对该种情况,本申请在得到具有高动态范围的第一合成图像之后,对第一合成图像亮度小于目标亮度的区域,进行增亮处理。
在另外一些实施方式中,目标亮度也可以是第一合成图像中部分区域对应的目标亮度,此时目标亮度可以为多个,若第一合成图像的亮度小于目标亮度,则进行增亮处理的是第一合成图像中该目标亮度对应的部分区域。例如,对第一合成图像进行图像识别,得到第一合成图像包括天空和建筑物;获取该天空的目标亮度和该建筑物的目标亮度;将第一合成图像中天空亮度与天空的目标亮度进行比较,若第一合成图像中天空亮度小于天空的目标亮度,则对第一合成图像中天空进行增亮处理;将第一合成图像中建筑物亮度与建筑物的目标亮度进行比较,若第一合成图像中建筑物亮度小于建筑物的目标亮度,则对第一合成图像中建筑物进行增亮处理,以获取具有目标亮度的第一合成图像。
其中,增亮处理的方式多种多样,比如,增亮处理可以具体为:通过滤色处理以提高该第一合成图像的亮度,又比如,增亮处理可以具体为:通过色阶调整以提高该第一合成图像的亮度,等等。本申请对增亮处理的方式不作具体限定。
由上述可知,本实施例提供的图像处理方法,可以在第一合成图像的亮度小于目标亮度时,对第一合成图像进行增亮处理,从而提高第一合成图像的亮度。
请参阅图9,图9为本申请实施例提供的图像处理方法的第四流程示意图,下面将进行详细说明。
在一些实施例中,101包括1011:
1011、基于第一曝光值和第二曝光值进行交替曝光,得到目标场景的第一YUV图像,其中,每基于第一曝光值进行连续m次曝光,基于第二曝光值进行一次曝光,且m大于1,第二曝光值大于第一曝光值。
需要说明的是,本申请实施例适用于包括一个摄像头的电子设备。因为第二曝光值大于第一曝光值,所以基于第二曝光值得到的第一YUV图像,相比于基于第一曝光值得到的第一YUV图像,拥有更多的亮部细节。其中,m可以为大于1的任意整数值,如m可以为3,m可以为7,等等。
例如,第一曝光值为-2EV,第二曝光值为1EV,以“-2EV、-2EV、-2EV、1EV、-2EV、-2EV、-2EV、1EV……”形式对该目标场景进行曝光,得到第一YUV图像。
在一些实施例中,103包括1031:
1031、当需要进行预览或拍照或录像时,从第一图像缓存队列中获取最新存储的m+1帧第一YUV图像。
需要说明的是,从第一图像缓存队列中获取最新存储的第一YUV图像,因为原理上必须保证有至少两帧基于第一曝光值得到的第一YUV图像,以及一帧基于第二曝光值得到的第一YUV图像,所以每次从第一图像缓存队列获取的第一YUV图像帧数与每轮交替曝光得到的第一YUV图像帧数相同。
为了保证每次从第一图像缓存队列获取的多帧第一YUV图像中至少包含一帧基于第二曝光值得到的第一YUV图像,本申请每次从第一图像缓存队列获取的第一YUV图像帧数可以大于或等于每轮交替曝光得到的第一YUV图像帧数。例如,假设m等于3,第一图像缓存队列先后存储有基于曝光值“-2EV、-2EV、-2EV、1EV、-2EV、-2EV、-2EV、1EV……”得到的第一YUV图像。如果按照从该第一图像缓存队列中获取最新存储的m+1帧第一YUV图像执行,如获取基于曝光值“-2EV、-2EV、-2EV、1EV”得到的4帧第一YUV图像,获取基于曝光值“-2EV、-2EV、1EV、-2EV”得到的4帧第一YUV图像,获取基于曝光值“-2EV、1EV、-2EV、-2EV”得到的4帧第一YUV图像,获取得“1EV、-2EV、-2EV、-2EV”的4帧第一YUV图像,等等。从而保证每次都能获取三帧基于第一曝光值得到的第一YUV图像,以及一帧基于第二曝光值得到的第一YUV图像。
在一些实施例中,104包括:
1043、对基于第一曝光值得到的m帧第一YUV图像进行合成处理,得到具有高动态范围的第二合成图像。
1044、对基于第二曝光值得到的一帧第一YUV图像,和第二合成图像进行合成处理,得到具有高动态范围的第一合成图像。
本申请实施例中,在从第一图像缓存队列中获取最新存储的m+1帧第一YUV图像后,从获取的m+1帧第一YUV图像中提取基于第一曝光值得到的m帧第一YUV图像,对该m帧第一YUV图像进行合成处理,得到具有高动态范围的第二合成图像。在得到具有高动态范围的第二合成图像后,还可以从获取的m+1帧第一YUV图像中提取基于第二曝光值得到的1帧第一YUV图像,通过对该第二合成图像和该1帧第一YUV图像进行合成处理,得到具有高动态范围的第一合成图像。
比如,从第一图像缓存队列中获取最新存储的3+1帧基于曝光值“-2EV、-2EV、1EV、-2EV”得到的第一YUV图像;从基于曝光值“-2EV、-2EV、1EV、-2EV”得到的第一YUV图像中,提取基于第一曝光值“-2EV”得到的3帧第一YUV图像,提取基于第二曝光值“1EV”得到的1帧第一YUV图像;对该3帧第一YUV图像进行合成处理,得到具有高动态范围的第二合成图像,将该第二合成图像与该1帧第一YUV图像进行合成处理,得到具体高动态范围的第一合成图像。
在一些实施例中,1044可以具体包括:确定第二合成图像的第一像素权重比;确定基于第二曝光值得到的一帧第一YUV图像的第二像素权重比;根据第一像素权重比和第二像素权重比,对第二合成图像和一帧第一YUV图像进行合成处理,得到具有高动态范围的第一合成图像。
在一些实施例中,1044可以具体包括:确定第二合成图像的第一替换区域;根据第一替换区域,获取基于第二曝光值得到的一帧第一YUV图像对应的第二替换区域;利用第二替换区域,替换第二合成图像的第一替换区域,得到具有高动态范围的第一合成图像。
由上述可知,本实施例提供的图像处理方法,还可以通过m帧短曝图像合成处理得到一帧第二合成图像,再将该帧第二合成图像与1帧长曝图像进行合成处理,以此增加第二合成图像的亮部细节,得到效果更佳的第一合成图像。
请参阅图10,图10为本申请实施例提供的图像处理方法的第五流程示意图,下面将进行详细说明。
在一些实施例中,请参阅图10,101包括1012:
1012、基于第一曝光值,通过第一摄像头持续获取目标场景的第一YUV图像,且基于第三曝光值,通过第二摄像头持续获取目标场景的第二YUV图像,其中,第三曝光值大于第一曝光值。
本申请实施例中,该电子设备至少包括第一摄像头和第二摄像头。在获取目标场景的图像时,基于第一曝光值,通过第一摄像头持续获取目标场景的第一YUV图像;以及基于第三曝光值,通过第二摄像头持续获取目标场景的第二YUV图像,其中,第三曝光值大于第一曝光值。
在一些实施例中,该电子设备可以同时通过第一摄像头和第二摄像头对目标场景不断进行曝光,得到基于第一曝光值获取的第一YUV图像和基于第三曝光值获取的第二YUV图像。
例如,电子设备同时利用第一摄像头和第二摄像头对目标场景不断进行曝光,通过第一摄像头得到曝光值依次为“-2EV、-2EV、-2EV、-2EV……”的第一RAW图像,并对该第一RAW图像进行格式转换,得到曝光值依次为“-2EV、-2EV、-2EV、-2EV……”的第一YUV图像,通过第二摄像头得到曝光值依次为“1EV、1EV、1EV、1EV……”的第三RAW图像,并对该第三RAW图像进行格式转换,得到曝光值依次为“1EV、1EV、1EV、1EV……”的第二YUV图像。
在一些实施例中,请参阅10,102包括1021:
1021、按照第一摄像头曝光的先后顺序将第二YUV图像存储至第二图像缓存队列,以及按照第二摄像头曝光的先后顺序将第二YUV图像存储至第二图像缓存队列。
本申请实施例中,在基于第一曝光值,通过第一摄像头持续获取目标场景的第一YUV图像之后,需要按照曝光的先后顺序将获取的第一YUV图像存储至第一图像缓存队列;以及在基于第三曝光值,通过第二摄像头持续获取目标场景的第二YUV图像之后,需要按照曝光的先后顺序将第二YUV图像存储至第二图像缓存队列。
需要说明的是,本申请实施例中,将第一YUV图像和第二YUV图像分开存储,但在某些实施例中,也可以将第一YUV图像和第二YUV图像一起存储。
在一些实施例中,请参阅10,103包括1032:
1032、当需要进行预览或拍照或录像时,从第一图像缓存队列中获取最新存储的多帧第一YUV图像,并从第二图像缓存队列中获取最新存储的一帧第二YUV图像。
本申请实施例中,当需要进行预览或拍照或录像时,需要从该第一图像缓存队列中获取最新存储的多帧第一YUV图像,并从该第二图像缓存队列中获取最新存储的一帧第二YUV图像。需要说明的是,从该第一图像缓存队列中获取最新存储的多帧第一YUV图像可以和从该第二图像缓存队列中获取最新存储的一帧第二YUV图像同时进行,也可以不同时进行:先从该第一图像缓存队列中获取最新存储的多帧第一YUV图像,再从该第二图像缓存队列中获取最新存储的一帧第二YUV图像。
在一些实施例中,请参阅10,104包括1045和1046:
1045、对多帧第一YUV图像进行合成处理,得到具有高动态范围的第三合成图像。
本申请实施例中,在从该第一图像缓存队列中获取最新存储的多帧第一YUV图像之后,需要对多帧第一YUV图像进行合成处理,得到具有高动态范围的第三合成图像。其中,1045,具体实施可以参照上述实施例,此处不再赘述。
1046、对第三合成图像和一帧第二YUV图像进行合成处理,得到具有高动态范围的第一合成图像。
本申请实施例中,在从该第二图像缓存队列中获取最新存储的一帧第二YUV图像、且得到具有高动态范围的第三合成图像之后,通过对该第三合成图像和该1帧第二YUV合成图像进行合成处理,得到具有高动态范围的第一合成图像。
在一些实施例中,1046可以具体包括:确定第三合成图像的第三像素权重比;确定一帧第二YUV图像的第四像素权重比;根据第三像素权重比和第四像素权重比,对一帧第二YUV图像和第三合成图像进行合成处理,得到具有高动态范围的第一合成图像。
在一些实施例中,1046可以具体包括:确定第三合成图像的第三替换区域;根据第三替换区域,获取一帧第二YUV图像对应的第四替换区域;利用第四替换区域,替换第三合成图像的第三替换区域,得到具有高动态范围的第一合成图像。
由上述可知,本实施例提供的图像处理方法,可以通过对多帧短曝图像进行合成处理,得到一帧第三合成图像,再将该帧第三合成图像与一帧长曝图像进行合成处理,以此增加第三合成图像的亮部细节,得到效果更佳的第一合成图像。
为便于更好的实施本申请实施例提供的图像处理方法,本申请实施例还提供一种基于上述图像处理方法的图像处理装置。其中名词的含义与上述图像处理方法中相同,具体实现细节可以参考方法实施例中的说明。
请参阅图11,图11为本申请实施例提供的图像处理装置的第一结构示意图。具体而言,该图像处理装置200,包括:第一获取模块201、存储模块202、第二获取模块203、合成模块204、以及处理模块205。
第一获取模块201,用于基于第一曝光值,持续获取目标场景的第一YUV图像;
存储模块202,用于按照曝光的先后顺序将所述第一YUV图像存储至第一图像缓存队列;
第二获取模块203,用于当需要进行预览或拍照或录像时,从所述第一图像缓存队列中获取最新存储的多帧第一YUV图像;
合成模块204,用于对所述多帧第一YUV图像进行合成处理,得到具有高动态范围的第一合成图像;
处理模块205,用于根据所述第一合成图像,对所述目标场景进行预览或拍照或录像操作。
在一些实施例中,第一获取模块201,具体用于:根据第一曝光值,通过图像传感器持续获取目标场景的第一RAW图像;对所述第一RAW图像进行格式转换,得到所述第一YUV图像。
在一些实施例中,处理模块205,在对所述目标场景进行预览操作之后,还包括:若接收到拍照指令,则根据所述第一合成图像响应所述拍照指令。
在一些实施例中,处理模块205,在对所述目标场景进行预览操作之后,还包括:若当前处于录像模式,则对所述第一合成图像进行视频编码处理,得到所述目标场景对应的视频。
在一些实施例中:
第一获取模块201,还可以用于基于所述第一曝光值和第二曝光值进行交替曝光,得到目标场景的第一YUV图像,其中,每基于所述第一曝光值进行连续m次曝光,基于所述第二曝光值进行一次曝光,且m大于1,所述第二曝光值大于所述第一曝光值。
第二获取模块203,还可以用于当需要进行预览或拍照或录像时,从所述第一图像缓存队列中获取最新存储的m+1帧第一YUV图像。
合成模块204,还可以用于对基于所述第一曝光值得到的m帧第一YUV图像进行合成处理,得到具有高动态范围的第二合成图像;对基于所述第二曝光值得到的一帧第一YUV图像,和所述第二合成图像进行合成处理,得到具有高动态范围的第一合成图像。
在一些实施例中:
第一获取模块201,还可以用于基于第一曝光值,通过第一摄像头持续获取目标场景的第一YUV图像,以及基于第三曝光值,通过第二摄像头持续获取所述目标场景的第二YUV图像,其中,所述第三曝光值大于所述第一曝光值。
存储模块202,还可以用于按照曝光的先后顺序将所述第一YUV图像存储至第一图像缓存队列,以及按照曝光的先后顺序将所述第二YUV图像存储至第二图像缓存队列。
第二获取模块203,还可以用于当需要进行预览或拍照或录像时,从所述第一图像缓存队列中获取最新存储的多帧第一YUV图像,以及从所述第二图像缓存队列中获取最新存储的一帧第二YUV图像。
合成模块204,还可以用于对所述多帧第一YUV图像进行合成处理,得到具有高动态范围的第三合成图像;对所述第三合成图像和所述一帧第二YUV图像进行合成处理,得到具有高动态范围的第一合成图像。
请参阅图12,图12为本申请实施例提供的图像处理装置的第二结构示意图。
在一些实施例中,可参阅图12,合成模块204,可以包括:
划分子模块2041,用于将所述第一YUV图像划分为多个目标区域,并确定所述目标区域的区域信息;
合成子模块2042,用于根据所述目标区域的区域信息,对所述多帧第一YUV图像进行合成,得到具有高动态范围的第一合成图像。
在一些实施例中,所述区域信息包括区域位置信息、区域像素均值、以及目标像素均值,合成子模块2042,可以具体用于根据所述区域像素均值和所述目标像素均值,确定所述目标区域对应的合成帧数;基于所述目标区域的所述区域位置信息和所述合成帧数,对所述多帧第一YUV图像进行合成,得到具有高动态范围的第一合成图像。
请参阅图13,图13为本申请实施例提供的图像处理装置的第三结构示意图。
在一些实施例中,可参阅图13,图像处理装置200,还可以包括:
第三获取模块206,用于通过图像传感器获取目标场景的一帧第二RAW图像;
第四获取模块207,用于获取所述第二RAW图像的光比;
第一确定模块208,用于根据所述光比确定基准曝光值;
第二确定模块209,用于根据所述基准曝光值,调整曝光时长、光圈、和感光度中的至少一个参数,确定所述第一曝光值。
在一些实施例中,可参阅图13,图像处理装置200,还可以包括:
增亮处理模块210,用于若所述第一合成图像的亮度小于目标亮度,则对所述第一合成图像进行增亮处理,以获取具有目标亮度的所述第一合成图像。
由上述可知,本申请实施例提供的图像处理装置,在需要预览或拍照或录像时,第二获取模块直接从第一图像缓存队列中获取最新存储的多帧第一YUV图像,合成模块对该多帧第一YUV图像进行合成处理,可以缩短预览或拍照或录像的操作时间,从而使得本实施例提供的图像处理方案得到的图像能够适用于图像的预览、拍照和录像。此外,在通过多帧短曝的合成方式得到HDR图像后,可以在HDR图像亮度小于目标亮度时对HDR图像进行增亮处理,或者可以将该HDR图像与一帧长曝图像进行合成处理,从而得到亮度效果更佳的图像。
本申请实施例还提供一种电子设备,请参阅图14,图14为本申请实施例提供的电子设备的第一结构示意图。电子设备300包括处理器301、存储器302、以及摄像组件303。其中,处理器301与存储器302、摄像组件303电性连接。
处理器300是电子设备300的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或加载存储在存储器302内的计算机程序,以及调用存储在存储器302内的数据,执行电子设备300的各种功能并处理数据,从而对电子设备300进行整体监控。
存储器302可用于存储软件程序以及模块,处理器301通过运行存储在存储器302的计算机程序以及模块,从而执行各种功能应用以及数据处理。存储器302可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的计算机程序等;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器302可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器302还可以包括存储器控制器,以提供处理器301对存储器302的访问。
摄像组件303可以包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义图像信号处理(Image Signal Processing)管线的各种处理单元。图像处理电路至少可以包括:摄像头、图像信号处理器(Image Signal Processor,ISP处理器)、控制逻辑器、图像存储器以及显示器等。其中摄像头至少可以包括一个或多个透镜和图像传感器。图像传感器可包括色彩滤镜阵列(如Bayer滤镜)。图像传感器可获取用图像传感器的每个成像像素捕捉的光强度和波长信息,并提供可由图像信号处理器处理的一组原始图像数据。
图像信号处理器可以按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,图像信号处理器可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。原始图像数据经过图像信号处理器处理后可存储至图像存储器中。图像信号处理器还可从图像存储器处接收图像数据。
图像存储器可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct Memory Access,直接直接存储器存取)特征。
当接收到来自图像存储器的图像数据时,图像信号处理器可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器,以便在被显示之前进行另外的处理。图像信号处理器还可从图像存储器接收处理数据,并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。处理后的图像数据可输出给显示器,以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit,图形处理器)进一步处理。此外,图像信号处理器的输出还可发送给图像存储器,且显示器可从图像存储器读取图像数据。在一种实施方式中,图像存储器可被配置为实现一个或多个帧缓冲器。
图像信号处理器确定的统计数据可发送给控制逻辑器。例如,统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜阴影校正等图像传感器的统计信息。
控制逻辑器可包括执行一个或多个例程(如固件)的处理器和/或微控制器。一个或多个例程可根据接收的统计数据,确定摄像头的控制参数以及ISP控制参数。例如,摄像头的控制参数可包括照相机闪光控制参数、透镜的控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如,在RGB处理期间)的增益水平和色彩校正矩阵等。
请参阅图15,图15为本实施例中图像处理电路的结构示意图。如图15所示,为便于说明,仅示出与本发明实施例相关的图像处理技术的各个方面。
例如图像处理电路可以包括:摄像头、图像信号处理器、控制逻辑器、图像存储器、显示器。其中,摄像头可以包括一个或多个透镜和图像传感器。在一些实施例中,摄像头可为长焦摄像头或广角摄像头中的任一者。
摄像头采集的第一图像传输给图像信号处理器进行处理。图像信号处理器处理第一图像后,可将第一图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器。控制逻辑器可根据统计数据确定摄像头的控制参数,从而摄像头可根据控制参数进行自动对焦、自动曝光等操作。第一图像经过图像信号处理器进行处理后可存储至图像存储器中。图像信号处理器也可以读取图像存储器中存储的图像以进行处理。另外,第一图像经过图像信号处理器进行处理后可直接发送至显示器进行显示。显示器也可以读取图像存储器中的图像以进行显示。
此外,图中没有展示的,电子设备还可以包括CPU和供电模块。CPU和逻辑控制器、图像信号处理器、图像存储器和显示器均连接,CPU用于实现全局控制。供电模块用于为各个模块供电。
在本申请实施例中,电子设备300中的处理器301会按照如下的步骤,将一个或一个以上的计算机程序的进程对应的指令加载到存储器302中,并由处理器301运行存储在存储器302中的计算机程序,从而实现各种功能,如下:
基于第一曝光值,持续获取目标场景的第一YUV图像;
按照曝光的先后顺序将所述第一YUV图像存储至第一图像缓存队列;
当需要进行预览或拍照或录像时,从所述第一图像缓存队列中获取最新存储的多帧第一YUV图像;
对所述多帧第一YUV图像进行合成处理,得到具有高动态范围的第一合成图像;
根据所述第一合成图像,对所述目标场景进行预览或拍照或录像操作。
在某些实施例中,执行基于第一曝光值,持续获取目标场景的第一YUV图像时,处理器301具体执行:
根据第一曝光值,通过图像传感器持续获取目标场景的第一RAW图像;
对所述第一RAW图像进行格式转换,得到所述第一YUV图像。
在某些实施例中,执行对所述多帧第一YUV图像进行合成处理,得到具有高动态范围的第一合成图像时,处理器301具体执行:
将所述第一YUV图像划分为多个目标区域,并确定所述目标区域的区域信息;
根据所述目标区域的区域信息,对所述多帧第一YUV图像进行合成,得到具有高动态范围的第一合成图像。
在某些实施例中,执行基于第一曝光值,持续获取目标场景的第一YUV图像时,处理器301执行:
基于所述第一曝光值和第二曝光值进行交替曝光,得到目标场景的第一YUV图像,其中,每基于所述第一曝光值进行连续m次曝光,基于所述第二曝光值进行一次曝光,且m大于1,所述第二曝光值大于所述第一曝光值;
执行从所述第一图像缓存队列中获取最新存储的多帧第一YUV图像时,处理器301执行:
从所述第一图像缓存队列中获取最新存储的m+1帧第一YUV图像;
执行对所述多帧第一YUV图像进行合成处理,得到具有高动态范围的第一合成图像时,处理器301执行:
对基于所述第一曝光值得到的m帧第一YUV图像进行合成处理,得到具有高动态范围的第二合成图像;
对基于所述第二曝光值得到的一帧第一YUV图像,和所述第二合成图像进行合成处理,得到具有高动态范围的第一合成图像。
在某些实施例中,执行基于第一曝光值,持续获取目标场景的第一YUV图像时,处理器301执行:
基于第一曝光值,通过第一摄像头持续获取目标场景的第一YUV图像;
执行对所述多帧第一YUV图像进行合成处理,得到具有高动态范围的第一合成图像之前,处理器301执行:
基于第三曝光值,通过第二摄像头持续获取所述目标场景的第二YUV图像,其中,所述第三曝光值大于所述第一曝光值;
按照曝光的先后顺序将所述第二YUV图像存储至第二图像缓存队列;
当需要进行预览或拍照或录像时,从所述第二图像缓存队列中获取最新存储的一帧第二YUV图像;
执行对所述多帧第一YUV图像进行合成处理,得到具有高动态范围的第一合成图像时,处理器301执行:
对所述多帧第一YUV图像进行合成处理,得到具有高动态范围的第三合成图像;
对所述第三合成图像和所述一帧第二YUV图像进行合成处理,得到具有高动态范围的第一合成图像。
请一并参阅图16,图16为本申请实施例提供的电子设备的第二结构示意图。在某些实施方式中,电子设备300还可以包括:显示器304、射频电路305、音频电路306以及电源307。其中,其中,显示器304、射频电路305、音频电路306以及电源307分别与处理器301电性连接。
显示器304可以用于显示由用户输入的信息或提供给用户的信息以及各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。
射频电路305可以用于收发射频信号,以通过无线通信与网络设备或其他电子设备建立无线通讯,与网络设备或其他电子设备之间收发信号。
音频电路306可以用于通过扬声器、传声器提供用户与电子设备之间的音频接口。
电源307可以用于给电子设备300的各个部件供电。在一些实施例中,电源307可以通过电源管理系统与处理器301逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管图16中未示出,电子设备300还可以包括蓝牙模块等,在此不再赘述。
由上述可知,本实施例提供的电子设备,在需要预览或拍照或录像时,电子设备直接从第一图像缓存队列中获取最新存储的多帧第一YUV图像以进行合成处理,可以缩短预览或拍照或录像的操作时间,从而使得本实施例提供的图像处理方案得到的图像能够适用于图像的预览、拍照和录像。此外,在通过多帧短曝的合成方式得到HDR图像后,可以在HDR图像亮度小于目标亮度时对HDR图像进行增亮处理,或者可以将该HDR图像与一帧长曝图像进行合成处理,从而得到亮度效果更佳的图像。
本申请实施例还提供一种存储介质,该存储介质存储有计算机程序,当该计算机程序在计算机上运行时,使得该计算机执行上述任一实施例中的图像处理方法,比如:基于第一曝光值,持续获取目标场景的第一YUV图像;按照曝光的先后顺序将所述第一YUV图像存储至第一图像缓存队列;当需要进行预览或拍照或录像时,从所述第一图像缓存队列中获取最新存储的多帧第一YUV图像;对所述多帧第一YUV图像进行合成处理,得到具有高动态范围的第一合成图像;根据所述第一合成图像,对所述目标场景进行预览或拍照或录像操作。
在本申请实施例中,存储介质可以是磁碟、光盘、只读存储器(Read Only Memory,ROM)、或者随机存取记忆体(Random Access Memory,RAM)等。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
需要说明的是,对本申请实施例的图像处理方法而言,本领域普通测试人员可以理解实现本申请实施例的图像处理方法的全部或部分流程,是可以通过计算机程序来控制相关的硬件来完成,该计算机程序可存储于一计算机可读取存储介质中,如存储在电子设备的存储器中,并被该电子设备内的至少一个处理器执行,在执行过程中可包括如图像处理方法的实施例的流程。其中,存储介质可为磁碟、光盘、只读存储器、随机存取记忆体等。
对本申请实施例的图像处理装置而言,其各功能模块可以集成在一个处理芯片中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。该集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中,该存储介质譬如为只读存储器,磁盘或光盘等。
以上对本申请实施例所提供的一种图像处理方法、装置、存储介质以及电子设备进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (8)
1.一种图像处理方法,其特征在于,包括:
通过图像传感器获取目标场景的一帧第二RAW图像;
获取所述第二RAW图像的光比;
根据所述光比确定基准曝光值,所述光比与所述基准曝光值成反比;
根据所述基准曝光值,调整曝光时长、光圈、和感光度中的至少一个参数,确定第一曝光值,其中,所述第一曝光值小于所述基准曝光值;
基于第一曝光值,通过图像传感器持续获取目标场景的第一RAW图像;对第一RAW图像进行预设处理, 对预处理后的第一RAW图像进行格式转换,得到第一YUV图像;
按照曝光的先后顺序将所述第一YUV图像存储至第一图像缓存队列;
当需要进行预览或拍照或录像时,从所述第一图像缓存队列中获取最新存储的多帧第一YUV图像;
对所述多帧第一YUV图像进行降噪处理;
将所述第一YUV图像划分为多个目标区域,并确定所述目标区域的区域信息,所述区域信息包括区域位置信息、区域像素均值、以及目标像素均值;
根据所述区域像素均值和所述目标像素均值,确定所述目标区域对应的合成帧数;
基于所述目标区域的所述区域位置信息和所述合成帧数,对所述多帧第一YUV图像进行合成,得到具有高动态范围的第一合成图像;
若所述第一合成图像的亮度小于目标亮度,则对所述第一合成图像进行增亮处理,以获取达到目标亮度的所述第一合成图像;
根据所述达到目标亮度的所述第一合成图像,对所述目标场景进行预览或拍照或录像操作。
2.根据权利要求1所述的图像处理方法,其特征在于,所述对所述多帧第一YUV图像进行合成处理,得到具有高动态范围的第一合成图像之后,所述根据所述第一合成图像,对所述目标场景进行预览或拍照或录像操作之前,还包括:
若所第一合成图像的亮度不小于所述目标亮度,则根据所述第一合成图像,对所述目标场景进行预览或拍照或录像操作。
3.根据权利要求1所述的图像处理方法,其特征在于,基于第一曝光值,得到第一YUV图像,包括:
基于所述第一曝光值和第二曝光值进行交替曝光,得到目标场景的第一YUV图像,其中,每基于所述第一曝光值进行连续m次曝光,基于所述第二曝光值进行一次曝光,且m大于1,所述第二曝光值大于所述第一曝光值;
所述从所述第一图像缓存队列中获取最新存储的多帧第一YUV图像,包括:
从所述第一图像缓存队列中获取最新存储的m+1帧第一YUV图像;
所述对所述多帧第一YUV图像进行合成处理,得到具有高动态范围的第一合成图像,包括:
对基于所述第一曝光值得到的m帧第一YUV图像进行合成处理,得到具有高动态范围的第二合成图像;
对基于所述第二曝光值得到的一帧第一YUV图像,和所述第二合成图像进行合成处理,得到具有高动态范围的第一合成图像。
4.根据权利要求1至3任一项所述的图像处理方法,其特征在于,所述对所述目标场景进行预览操作之后,还包括:
若接收到拍照指令,则根据所述第一合成图像响应所述拍照指令。
5.根据权利要求1至3任一项所述的图像处理方法,其特征在于,所述对所述目标场景进行预览操作之后,还包括:
若当前处于录像模式,则对所述第一合成图像进行视频编码处理,得到所述目标场景对应的视频。
6.一种图像处理装置,其特征在于,包括:
第一获取模块,用于通过图像传感器获取目标场景的一帧第二RAW图像;获取所述第二RAW图像的光比;根据所述光比确定基准曝光值,所述光比与所述基准曝光值成反比;根据所述基准曝光值,调整曝光时长、光圈、和感光度中的至少一个参数,确定第一曝光值,其中,所述第一曝光值小于所述基准曝光值;基于第一曝光值,通过图像传感器持续获取目标场景的第一RAW图像;对第一RAW图像进行预设处理, 对预处理后的第一RAW图像进行格式转换,得到第一YUV图像;
存储模块,用于按照曝光的先后顺序将所述第一YUV图像存储至第一图像缓存队列;
第二获取模块,用于当需要进行预览或拍照或录像时,从所述第一图像缓存队列中获取最新存储的多帧第一YUV图像;
合成模块,用于对所述多帧第一YUV图像进行降噪处理,将所述第一YUV图像划分为多个目标区域,并确定所述目标区域的区域信息,所述区域信息包括区域位置信息、区域像素均值、以及目标像素均值;根据所述区域像素均值和所述目标像素均值,确定所述目标区域对应的合成帧数;基于所述目标区域的所述区域位置信息和所述合成帧数,对所述多帧第一YUV图像进行合成,得到具有高动态范围的第一合成图像;若所述第一合成图像的亮度小于目标亮度,则对所述第一合成图像进行增亮处理,以获取达到目标亮度的所述第一合成图像;
处理模块,用于根据所述达到目标亮度的所述第一合成图像,对所述目标场景进行预览或拍照或录像操作。
7.一种存储介质,其上存储有计算机程序,其特征在于,当所述计算机程序在计算机上运行时,使得所述计算机执行如权利要求1至5任一项所述的图像处理方法。
8.一种电子设备,包括处理器和存储器,所述存储器有计算机程序,其特征在于,所述处理器通过调用所述计算机程序,用于执行如权利要求1至5任一项所述的图像处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910579967.2A CN110213502B (zh) | 2019-06-28 | 2019-06-28 | 图像处理方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910579967.2A CN110213502B (zh) | 2019-06-28 | 2019-06-28 | 图像处理方法、装置、存储介质及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110213502A CN110213502A (zh) | 2019-09-06 |
CN110213502B true CN110213502B (zh) | 2022-07-15 |
Family
ID=67795537
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910579967.2A Active CN110213502B (zh) | 2019-06-28 | 2019-06-28 | 图像处理方法、装置、存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110213502B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111028190A (zh) * | 2019-12-09 | 2020-04-17 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
CN113840108A (zh) * | 2020-06-23 | 2021-12-24 | 深圳市万普拉斯科技有限公司 | 录像镜像处理方法、装置、摄像设备及可读存储介质 |
CN113473014B (zh) * | 2021-06-30 | 2022-11-18 | 北京紫光展锐通信技术有限公司 | 一种图像数据处理方法和电子设备 |
CN119299814A (zh) * | 2021-10-09 | 2025-01-10 | 荣耀终端有限公司 | 一种图像处理方法及电子设备 |
CN115967846B (zh) * | 2021-10-09 | 2024-09-17 | 荣耀终端有限公司 | 一种图像处理方法及电子设备 |
CN116701675B (zh) * | 2022-02-25 | 2024-09-24 | 荣耀终端有限公司 | 图像数据的处理方法和电子设备 |
CN116723383B (zh) * | 2022-02-28 | 2024-04-19 | 荣耀终端有限公司 | 一种拍摄方法及相关设备 |
WO2023178588A1 (en) * | 2022-03-24 | 2023-09-28 | Qualcomm Incorporated | Capturing images using variable aperture imaging devices |
CN115484403B (zh) * | 2022-08-08 | 2023-10-24 | 荣耀终端有限公司 | 录像方法和相关装置 |
CN116389898B (zh) * | 2023-02-27 | 2024-03-19 | 荣耀终端有限公司 | 图像处理方法、设备及存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109672819A (zh) * | 2018-12-10 | 2019-04-23 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102009055269B4 (de) * | 2009-12-23 | 2012-12-06 | Robert Bosch Gmbh | Verfahren zur Bestimmung der Relativbewegung mittels einer HDR-Kamera |
JP5136664B2 (ja) * | 2010-07-09 | 2013-02-06 | カシオ計算機株式会社 | 画像処理装置、及びプログラム |
JP5713752B2 (ja) * | 2011-03-28 | 2015-05-07 | キヤノン株式会社 | 画像処理装置、及びその制御方法 |
EP3046319A1 (en) * | 2015-01-19 | 2016-07-20 | Thomson Licensing | Method for generating an HDR image of a scene based on a tradeoff between brightness distribution and motion |
JP6675194B2 (ja) * | 2015-12-15 | 2020-04-01 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム並びに記憶媒体 |
JP6744711B2 (ja) * | 2015-12-15 | 2020-08-19 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム並びに記憶媒体 |
CN106679676B (zh) * | 2017-01-10 | 2019-08-27 | 北京航空航天大学 | 一种单视场多功能光学敏感器及实现方法 |
-
2019
- 2019-06-28 CN CN201910579967.2A patent/CN110213502B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109672819A (zh) * | 2018-12-10 | 2019-04-23 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110213502A (zh) | 2019-09-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110213502B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
JP6911202B2 (ja) | 撮像制御方法および撮像装置 | |
CN110445988B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN109040609B (zh) | 曝光控制方法、装置、电子设备和计算机可读存储介质 | |
CN108322669B (zh) | 图像获取方法及装置、成像装置和可读存储介质 | |
CN109005364B (zh) | 成像控制方法、装置、电子设备以及计算机可读存储介质 | |
CN108989700B (zh) | 成像控制方法、装置、电子设备以及计算机可读存储介质 | |
CN110381263B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
WO2020057199A1 (zh) | 成像方法、装置和电子设备 | |
CN108833802B (zh) | 曝光控制方法、装置和电子设备 | |
CN110012227B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN110266954B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN110198418B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN110430370B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN110445989A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
US20210168273A1 (en) | Control Method and Electronic Device | |
CN109993722A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN108900785A (zh) | 曝光控制方法、装置和电子设备 | |
CN108833803A (zh) | 成像方法、装置和电子设备 | |
CN110290325A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN110581957B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN110278375B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN110572585B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN110266967A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN110278386B (zh) | 图像处理方法、装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |