CN110445989B - 图像处理方法、装置、存储介质及电子设备 - Google Patents
图像处理方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN110445989B CN110445989B CN201910718443.7A CN201910718443A CN110445989B CN 110445989 B CN110445989 B CN 110445989B CN 201910718443 A CN201910718443 A CN 201910718443A CN 110445989 B CN110445989 B CN 110445989B
- Authority
- CN
- China
- Prior art keywords
- image
- images
- dynamic range
- frames
- preview
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 37
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 69
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 69
- 238000012545 processing Methods 0.000 claims abstract description 68
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 40
- 239000000203 mixture Substances 0.000 claims description 82
- 238000004590 computer program Methods 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 4
- 238000000034 method Methods 0.000 description 27
- 230000000694 effects Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 8
- 125000001475 halogen functional group Chemical group 0.000 description 6
- 239000002131 composite material Substances 0.000 description 5
- 239000000872 buffer Substances 0.000 description 4
- 230000003247 decreasing effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000005375 photometry Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
- H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本申请实施例公开了一种图像处理方法、装置、存储介质及电子设备,其中,本申请实施例获取拍摄场景的预览图像;确定预览图像的动态范围分数,以及预览图像中移动区域的比例;根据动态范围分数和移动区域的比例计算图像合成分数;若图像合成分数不大于第一预设阈值、且移动区域的比例不大于第二预设阈值,则按照第一曝光参数获取拍摄场景的m帧第一图像、并按照第二曝光参数获取拍摄场景的n帧第二图像,对第一图像和第二图像合成处理,得到第一高动态范围图像,实现了根据拍摄场景中动态范围分数与移动区域的大小,选择合适的方式进行曝光与图像的合成,得到高动态范围图像。
Description
技术领域
本申请涉及图像处理技术领域,具体涉及一种图像处理方法、装置、存储介质及电子设备。
背景技术
随着智能终端技术的不断发展,电子设备(如智能手机、平板电脑等)的使用越来越普及。绝大多数电子设备都内置有摄像头,并且随着移动终端处理能力的增强以及摄像头技术的发展,用户对拍摄的图像质量的要求也越来越高。
但是由于电子设备本身硬件的限制,在对明暗相差较大的场景进行拍摄时,容易丢失亮处或暗处的细节,只能拍摄亮度范围较小的图像或者视频。
发明内容
本申请实施例提供一种图像处理方法、装置、存储介质及电子设备,能够实现具有高动态范围的图像的拍摄。
第一方面,本申请实施例提供一种图像处理方法,包括:
获取拍摄场景的预览图像;
根据所述预览图像的亮度信息确定所述预览图像的动态范围分数,并确定所述预览图像中移动区域的比例;
根据所述动态范围分数和所述移动区域的比例计算图像合成分数,其中,所述图像合成分数与所述动态范围分数成正比、与所述移动区域的比例成反比;
若所述图像合成分数不大于第一预设阈值、且所述移动区域的比例不大于第二预设阈值,则按照第一曝光参数获取所述拍摄场景的m帧第一图像、并按照第二曝光参数获取所述拍摄场景的n帧第二图像,其中,所述第二图像的曝光程度小于所述第一图像的曝光程度,m>n≥1;
对所述m帧第一图像和所述n帧第二图像合成处理,得到第一高动态范围图像。
第二方面,本申请实施例提供一种图像处理装置,包括:
图像获取模块,用于获取拍摄场景的预览图像;
图像检测模块,用于根据所述预览图像的亮度信息确定所述预览图像的动态范围分数,并确定所述预览图像中移动区域的比例;
参数计算模块,用于根据所述动态范围分数和所述移动区域的比例计算图像合成分数,其中,所述图像合成分数与所述动态范围分数成正比、与所述移动区域的比例成反比;
图像曝光模块,用于若所述图像合成分数不大于第一预设阈值、且所述移动区域的比例不大于第二预设阈值,则按照第一曝光参数获取所述拍摄场景的m帧第一图像、并按照第二曝光参数获取所述拍摄场景的n帧第二图像,其中,所述第二图像的曝光程度小于所述第一图像的曝光程度,m>n≥1;
图像合成模块,用于对所述m帧第一图像和所述n帧第二图像合成处理,得到第一高动态范围图像。
第三方面,本申请实施例提供一种存储介质,其上存储有计算机程序,当所述计算机程序在计算机上运行时,使得所述计算机执行如本申请任一实施例提供的图像处理方法。
第四方面,本申请实施例提供一种电子设备,包括处理器和存储器,所述存储器有计算机程序,所述处理器通过调用所述计算机程序,用于执行如本申请任一实施例提供的图像处理方法。
本申请实施例提供的方案,获取拍摄场景的预览图像,根据预览图像的亮度信息确定预览图像的动态范围分数,并确定预览图像中移动区域的比例,根据动态范围分数和移动区域的比例计算图像合成分数,其中,动态范围分数越大,图像合成分数越大,移动区域的比例越小,图像合成分数越大,当该图像合成分数不大于第一预设阈值,同时移动区域的比例不大于第二预设阈值时,可以判定预览图像具有一定的动态范围,同时具有一定的移动区域范围,此时,可以按照第一曝光参数获取所述拍摄场景的m帧第一图像、同时按照第二曝光参数获取所述拍摄场景的n帧第二图像,将m帧第一图像和n帧第二图像合成处理,得到第一高动态范围图像。通过本申请的方案,不仅能够实现具有高动态范围的图像拍摄,而且可以根据拍摄场景中动态范围分数与移动区域的大小,按照合适的方式进行曝光与图像的合成,得到高动态范围图像。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的图像处理方法的第一种流程示意图。
图2为本申请实施例提供的图像处理方法的第二种流程示意图。
图3为本申请实施例提供的图像处理方法的应用流程示意图。
图4为本申请实施例提供的图像处理方法的第三种流程示意图。
图5为本申请实施例提供的图像处理装置的结构示意图。
图6为本申请实施例提供的电子设备的结构示意图。
图7为本申请实施例提供的电子设备的图像处理电路的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有付出创造性劳动前提下所获得的所有其他实施例,都属于本申请的保护范围。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本申请实施例提供一种图像处理方法,该图像处理方法的执行主体可以是本申请实施例提供的图像处理装置,或者集成了该图像处理装置的电子设备,其中该图像处理装置可以采用硬件或者软件的方式实现。其中,电子设备可以是智能手机、平板电脑、掌上电脑、笔记本电脑、或者台式电脑等设备。
请参照图1,图1为本申请实施例提供的图像处理方法的第一种流程示意图。本申请实施例提供的图像处理方法的具体流程可以如下:
101、获取拍摄场景的预览图像。
电子设备在根据用户启动摄像头进行拍摄时,摄像头对准的场景即为拍摄场景。例如,用户开启电子设备上的相机应用程序,将摄像头对准某一物体进行拍照或者录像,则电子设备的摄像头对准的包含有该物体的场景即为拍摄场景。因此,可以理解的是,拍摄场景并不一定是固定不变的一个特定场景,而是会随着摄像头的移动而变化的场景。
该实施例中,电子设备在启动摄像头后,在用户触发拍摄指令之前,需要在取景框中对拍摄场景进行实时预览显示。此时,电子设备可以按照相机的测光系统确定自动曝光参数,按照该自动曝光参数通过图像传感器进行持续曝光,获取拍摄场景对应的预览图像,其中,拍摄指令可以是拍照指令或录像指令。此外,需要说明的是,在获取预览图像时,可以按照全分辨率获取。
在一些实施例中,电子设备在内存中预先设置有图像缓存队列,将曝光得到的预览图像按照曝光的先后时间顺序,存储在该图像缓存队列中。其中,图像缓存队列可以为定长队列,例如,设定该图像缓存队列能够存储10帧图像,则当图像缓存队列中存储的预览图像的数量达到10帧时,可以将队列中存储时间最早的图像删除。
102、根据预览图像的亮度信息确定预览图像的动态范围分数,并确定预览图像中移动区域的比例。
本申请实施例中,采用预览图像中过曝区域(亮度过高)和欠曝区域(亮度过低)的面积之和,在整个预览图像的面积中所占的比例,来计算该预览图像的动态范围分数,该动态范围分数可以理解为对预览图像的动态范围的一个评分,将该分数作为计算图像合成分数的一个输入数据。其中,过曝区域和欠曝区域在预览图像中所占的比例比较大,则该预览图像的动态范围分数越大,说明该预览图像中有较多的过曝区域和/或过曝区域,预览图像具有较高的动态范围的概率也越大。反之,过曝区域和欠曝区域在预览图像中所占的比例越小,则该预览图像的动态范围分数越小,预览图像具有较高的动态范围的概率也越大。可以获取当前时刻图像缓存队列中最近存储的一帧预览图像,对该预览图像的过曝区域和欠曝区域的大小进行检测。
在对预览图像的动态范围分数进行计算的同时,识别出预览图像移动物体所在的区域,即移动区域,计算移动区域在预览图像中所占的比例。
103、根据动态范围分数和移动区域的比例计算图像合成分数,其中,图像合成分数与动态范围分数成正比、与移动区域的比例成反比。
其中,当动态范围分数相差不大时,移动区域在预览图像中所占的比例越大,则图像合成分数越大。当移动区域在预览图像中所占的比例相差不大时,图像的动态范围分数越大,则图像合成分数越大。
本实施例中,通过计算得到的图像合成分数,以及移动区域在预览图像中所占的比例综合评估预览图像,在图像合成分数和移动区域的比例满足一定条件时,采用第一图像合成模式拍摄HDR(High-Dynamic Range,高动态范围)图像。
由于图像合成分数与动态范围分数成正比、与移动区域的比例成反比,因此,一般情况下,当预览图像中的动态范围分数较小,移动区域的比例较大时,计算得到的图像合成分数会较小;当预览图像中的动态范围分数较大,移动区域的比例较小时,计算得到的图像合成分数会较大。而当图像合成分数小于一定阈值,同时移动区域的比例也小于一定阈值时,预览图像的动态范围分数与移动区域达到了某种相互制衡,此时,预览图像具有一定的动态范围,也有一定的移动区域,为了避免移动区域出现鬼影,需要采用多帧欠曝图像合成得到HDR图像,在这个基础上,考虑到预览图像中也有一定的动态范围分数,为了进一步提升合成图像的动态效果,再采用多帧欠曝图像进行合成的基础上,再额外多拍摄一帧极欠曝图像,来增加合成图像的动态。
若图像合成分数不大于第一预设阈值、且移动区域的比例不大于第二预设阈值,则执行104。
104、按照第一曝光参数获取拍摄场景的m帧第一图像、并按照第二曝光参数获取拍摄场景的n帧第二图像,其中,第二图像的曝光程度小于第一图像的曝光程度,m>n≥1。
105、对m帧第一图像和n帧第二图像合成处理,得到第一高动态范围图像。
该实施例中,曝光参数包括曝光值(Exposure Value,简称EV),曝光值用来表示曝光量的大小,曝光值越大,则说明曝光量越大。EV+表示过曝光,其后的数值越大,则过曝光的程度越高。EV-表示欠曝光,其后的数值越大,则欠曝光的程度越高。
曝光值可以由曝光时长、感光度、光圈三个参数来调整。当本方案应用于手机或者平板电脑等电子设备时,可以通过调节上述三个参数中的曝光时长来设置多个不同的曝光值。例如,保持另外两个参数不变,通过增大曝光时长来增大曝光值,通过减小曝光时长来减小曝光值。在另外一些实施例中,也可以通过上述三个参数中的感光度或光圈来增大或者减小曝光值。
在一些实施例中,可以根据预览图像确定第一曝光参数和第二曝光参数。例如,在根据动态范围分数和移动区域的比例计算图像合成分数之后,该方法还包括:若图像合成分数不大于第一预设阈值,则根据预览图像确定基准曝光参数;按照预设调节参数,减小基准曝光参数,得到第一曝光参数。
由于在获取预览图像时,是根据自动测光系统对拍摄场景进行测光确定的曝光值,也就是说,预览图像的曝光值是正常曝光,因此,可以将预览图像对应的曝光值作为基准曝光值,即EV0,在这个基准曝光值的基础上,按照预设调节参数,较小基准曝光参数,得到第一曝光参数,例如,通过减小曝光时长,确定第一曝光参数为EV-3。
本实施例中,提供第一图像合成模式拍摄HDR照片,其原理如下:获取拍摄场景的多帧欠曝光图像,以及比这多帧欠曝光图像更欠曝光的一帧或者多帧图像。
例如,m=8,n=1;第一曝光参数为EV-3,第二曝光参数为EV-6,也就是说,按照EV-3的曝光值获取拍摄场景的8帧欠曝帧图像,按照EV-6的曝光值获取拍摄场景的1帧欠曝帧图像,使用这9帧图像进行合成。其中,该实施例对具体的合成顺序不作限制,可以先使用8帧欠曝帧图像进行合成,再将合成得到的合成图像与1帧更欠曝帧图像合成。由于这8帧欠曝帧图像(EV-3)的亮度和噪声的表现都相似,在进行图像合成时,能够很好的侦测出移动区域和亮区过度,在合成后能够将光晕和鬼影的副作用减到最小。在第一次合成结果的基础上,再使用一帧更欠曝帧图像(EV-6)与第一次的合成结果进行合成,以进一步增加图像的动态。
在一些实施例中,对m帧第一图像和n帧第二图像合成处理,得到第一高动态范围图像,包括:对m帧第一图像合成处理,得到第四高动态范围图像;对第四高动态范围图像和n帧第二图像合成处理,得到第一高动态范围图像。其中,m为大于1的正整数,n为大于或等于1的正整数。
在一些实施例中,按照第一曝光参数获取拍摄场景的m帧第一图像、并按照第二曝光参数获取拍摄场景的n帧第二图像,包括:控制第一摄像头按照第一曝光参数获取拍摄场景的m帧第一图像,并控制第二摄像头按照第二曝光参数获取拍摄场景的n帧第二图像。即可以同时使用第一摄像头和第二摄像头进行拍摄,提高拍摄速率。
可以理解的是,第一预设阈值、第二预设阈值可以是通过多次测试得到的经验值,例如,在不同场景下拍照并采用第一图像合成模式进行处理,以确定出最合适的第一预设阈值、第二预设阈值,使得在实际应用时,能够通过图像合成分数与该第一预设阈值大小关系,以及预览图像中移动区域的比例与第二预设阈值的大小关系,判断是否选择上述第一图像合成模式进行HDR图像的拍摄。可以理解的是,m=8,n=1只为举例说明,在实际应用时,可以根据对于HDR合成效果的要求不同,设置不同的图像合成帧数。
此外,需要说明的是,该实施例中,对于在图像合成分数大于第一预设阈值,或者图像合成分数不大于第一预设阈值、且移动区域的比例不大于第二预设阈值时,具体采用何种方式拍摄HDR图像没有具体的限制,因此,在这两种情况下,可以采用其他图像合成模式进行HDR图像的拍摄。例如,采用不同的曝光参数获取拍摄场景的多帧图像进行合成处理,得到具有高动态范围的图像等。
以下以一个具体的应用场景为例,对该实施例的应用效果进行说明。例如,用户在使用电子设备拍摄室外的夜景时,此时若拍摄场景中有行人或车辆、有亮灯的广告牌或者建筑楼上的灯光等,这样的拍摄场景下,预览画面中的行人或车俩会产生一定的移动区域,而亮灯的广告牌或者建筑楼上的灯光等导致预览图像具有一定的动态范围分数,在这种场景下如果计算得到图像合成分数小于第一预设阈值,并且移动区域的比例小于第二预设阈值,则满足了使用第一图像合成模式进行拍摄HDR图像的条件。此时,可以按照EV-3拍摄8帧欠曝光图像,按照EV-6的曝光值拍摄1帧极欠曝光图像,先使用8帧欠曝帧图像进行合成,得到第四高动态范围图像,该第四高动态范围图像已经将光晕和鬼影的副作用减到最小,在这个基础上,再将第一高动态范围图像与1帧极欠曝光图像进行合成,进一步增加了合成图像中亮灯的广告牌或者建筑楼上的灯光等较亮区域处的动态,以使这些区域呈现在合成图像上的效果更接近真实的亮度效果。综上,第一高动态范围图像不仅满足了消除鬼影的效果,同时达到了提升动态的效果。
在一些实施例中,n=1,对第四高动态范围图像和n帧第二图像合成处理,得到第一高动态范围图像,包括:
获取任意一帧第一图像;将一帧第二图像与一帧第一图像进行图像相减处理,以确定差异像素点;根据差异像素点以确定第二图像中的非移动区域;将第二图像中的非移动区域与第四高动态范围图像合成处理,得到第二高动态范围图像。
该实施例中,只获取一帧极欠曝光图像,并且在将该极欠曝光图像与第四高动态范围图像进行合成处理时,通过将第二图像与第一图像作图像相减处理,确定第二图像中的移动区域,将第二图像中除移动区域之外的其他区域作为非移动区域,只将极欠曝光图像中的非移动区域合并到第四高动态范围图像中,得到第一高动态范围图像,使得第一高动态范围图像具有较好的消除鬼影效果,同时也具有较好的动态范围分数。
具体实施时,本申请不受所描述的各个步骤的执行顺序的限制,在不产生冲突的情况下,某些步骤还可以采用其它顺序进行或者同时进行。
由上可知,本申请实施例提出的图像处理方法,获取拍摄场景的预览图像,根据预览图像的亮度信息确定预览图像的动态范围分数,并确定预览图像中移动区域的比例,根据动态范围分数和移动区域的比例计算图像合成分数,其中,动态范围分数越大,图像合成分数越大,移动区域的比例越小,图像合成分数越大,当该图像合成分数不大于第一预设阈值,同时移动区域的比例不大于第二预设阈值时,可以判定预览图像具有一定的动态范围,同时具有一定的移动区域范围,此时,可以按照第一曝光参数获取拍摄场景的m帧第一图像、同时按照第二曝光参数获取拍摄场景的n帧第二图像,将m帧第一图像和n帧第二图像合成处理,得到第一高动态范围图像。通过本申请的方案,不仅能够实现具有高动态范围的图像拍摄,而且可以根据拍摄场景中动态范围分数与移动区域的大小,按照合适的方式进行曝光与图像的合成,得到高动态范围图像。
在一些实施例种,电子设备提供多种不同的图像合成模式来拍摄具有HDR效果的图像。例如,在电子设备中设置第一图像合成模式、第二图像合成模式、第三图像合成模式。这三种图像合成模式都能够实现拍摄HDR图像,只是不同的拍摄模式侧重的效果不同。其中,第一图像合成模式的拍摄原理参见上述实施例,在此不再赘述。
使用第二图像合成模式拍摄HDR图像时,按照同一曝光参数获取拍摄场景的多帧第三图像,对多帧第三图像合成处理,得到第三高动态范围图像。例如,在第二图像合成模式下,按照第一曝光参数获取拍摄场景的m帧第三图像,并对m帧第三图像合成处理,得到第二高动态范围图像。使用该模式合成,能够避免出现合成图像中出现重影现象。该图像合成模式为一种多帧欠曝的合成模式,使用多帧具有相同曝光参数的欠曝图像进行合成。例如,使用EV-的曝光值连续多次曝光,得到多帧欠曝图像进行合成处理。例如,使用EV-3的曝光值连续进行8次曝光,得到8帧拍摄场景的欠曝图像,使用这8帧图像进行HDR合成处理,得到具有高动态范围的合成图像。
使用第三图像合成模式拍摄HDR图像时,按照不同曝光参数获取拍摄场景的多帧第一图像,对多帧第一图像合成处理,得到第一高动态范围图像,该模式下合成得到的图像具有更高的动态的范围。例如,在第三图像合成模式下,使用3-7帧横跨EV+、EV0和EV-的图像进行合成,在这种模式下,EV-可以根据需要取到比较低的值,例如,EV-6。比如,使用曝光值分别为EV+3、EV0、EV-3进行曝光,分别得到过曝图像、正常曝光图像和欠曝图像,过曝光的图像保留了拍摄场景中较暗区域的特征,欠曝光的图像保留了拍摄场景中较亮区域的特征,在合成时可以利用过曝光的图像保留的拍摄场景中较暗区域的特征,以及欠曝光的图像保留的拍摄场景中较亮区域的特征,进行合成得到具有高动态范围的合成图像。
基于上述两种图像合成模式的原理不同,第三图像合成模式相对于第二图像合成模式来说,得到的合成图像具有更高的动态范围。而第二图像合成模式相对于第三图像合成模式来说,虽然动态范围相对较差,但是由于采用的是EV-的曝光值,并且多帧图像是相同的曝光值,这些图像的亮度和噪声表现相似,能很好地侦测出图像中的移动区域和亮区过度,合成后对于光晕和鬼影的副作用能减到最小,即如果采用第二图像合成模式进行曝光与合成,可以将合成图像中的光晕和重影的影响降到最低。
而第一图像合成模式相对于上述两种合成模式,能够兼顾消除鬼影和提高动态,实现更好的HDR效果。
由于图像合成分数与动态范围分数成正比、与移动区域的比例成反比,并且,当动态范围分数较大(例如,大于25%)时,预览图像中有较多的过曝区域和/或过曝区域,预览图像具有较高的动态范围的概率也越大,在过曝区域和/或过曝区域处有更多的细节需要体现出来,此时就偏向于采用第三图像合成模式拍摄HDR图像,以保留拍摄场景中暗处和亮处的图像细节,具有更好的动态范围效果。而在移动区域的比例较大(例如,大于10%)时,偏向于采用第一图像合成模式或第二图像合成模式拍摄HDR图像。
基于此,本实施例根据动态范围分数和移动区域的比例计算图像合成分数,通过图像合成分数对三种情况进行制衡,根据图像合成分数和移动区域的比例来选择使用哪种图像合成模式进行拍摄。请参阅图2,图2为本申请实施例提供的图像处理方法的第二种流程示意图。在一些实施例中,根据动态范围分数和移动区域的比例计算图像合成分数之后,还包括:
若图像合成分数不大于第一预设阈值、且移动区域的比例大于第二预设阈值,则执行106,按照第二图像合成模式拍摄HDR图像;若图像合成分数大于第一预设阈值,则执行107。
106、按照第一曝光参数获取拍摄场景的m帧第三图像,并对m帧第三图像合成处理,得到第二高动态范围图像;
107、按照不同曝光参数获取拍摄场景的多帧第四图像,对多帧第四图像合成处理,得到第三高动态范围图像。
其中,当预览图像中的动态范围分数较大,移动区域的比例较小时,计算得到的图像合成分数会较大,若图像合成分数大于第一预设阈值,对应的选择第三图像合成模式进行图像的曝光与合成。当预览图像中的动态范围分数较小,移动区域的比例较大时,计算得到的图像合成分数会较小,此时,若图像合成分数不大于第一预设阈值,再判断移动区域的比例与第二预设阈值之间的大小关系,若移动区域的比例小于第二预设阈值,则采用第一图像合成模式进行图像的曝光与合成。否则,若移动区域的比例不小于第二预设阈值,则采用第二图像合成模式进行图像的曝光与合成。请参阅图3,图3为本申请实施例提供的图像处理方法的应用流程示意图。其中,Sfinal为图像合成分数,为Sd动态范围分数,Sm为移动区域的比例。
此外,可以理解的是,本申请实施例的方案可以应用于预览、拍照或录像。
在拍照或者录像时,需要在取景框中实时显示拍摄场景的预览画面,可以将合成得到的第一高动态范围图像、第二高动态范围图像或第三高动态范围图像显示在取景框中,而非直接显示未合成的预览图像,实现HDR预览效果。
在一些实施例中,电子设备在接收到拍照指令时,按照对应的图像合成模式进行曝光与合成处理,得到具有高动态范围的合成图像,并输出该合成图像,作为响应该拍照指令得到的图像。
在电子设备进行录像时,可以采用与拍照类似的原理,将录像看作是在持续不停的拍照,只是并不直接输出得到的合成图像,而是对合成图像进行视频编码处理,得到当前拍摄场景对应的视频。视频是由连续的多帧图像构成的,其中,可以根据电子设备的硬件配置或者用户设置来决定视频的帧率,最终经过编码得到的视频中,每一帧图像都是具有高动态范围的合成图像。
请参照图4,图4为本申请实施例提供的图像处理方法的第三种流程示意图。
在一些实施例中,“根据预览图像的亮度信息确定预览图像的动态范围分数,并确定预览图像中移动区域的比例”可以包括:
1021、统计预览图像中亮度大于第一亮度阈值的第一区域面积,以及亮度小于第二亮度阈值的第二区域面积,其中,第一亮度阈值大于第二亮度阈值;
1022、计算第一区域面积与第二区域面积之和在预览图像中所占的比例,作为预览图像的动态范围分数;
1023、从至少两帧预览图像中,获取任意连续两帧预览图像;
1024、对两帧预览图像进行图像相减处理,以确定差异像素点;
1025、将差异像素点数量除以预览图像的像素点数量,得到预览图像中移动区域的比例。
该实施例中,通过计算图像中过曝区域和欠曝区域的大小来确定预览图像的动态范围分数。可以从图像缓存队列中获取最近存储的一帧预览图像,计算该预览图像的动态范围分数。
其中,将亮度大于第一亮度阈值的像素点的位置作为过曝区域,可以通过统计亮度大于第一亮度阈值的像素点的数量,来表示过曝区域的面积,即第一区域面积;将亮度小于第二亮度阈值的像素点的位置作为欠曝区域,通过统计亮度小于第二亮度阈值的像素点的数量(即分辨率的大小),来表示欠曝区域的面积,即第二区域面积。将一帧预览图像中的像素点的总数量作为该预览图像的总面积。由于在一次拍照或录像操作时,一般图像分辨率在设置好之后,拍照或者录像的过程中不会再发生变化,例如,用户使用电子设备中1600分辨率的摄像头进行拍照,将拍照尺寸设置为16:9,则图像缓存队列中的预览图像的分辨率均为5312x2988,即预览图像中的总像素点数量为5312x2988。
同时,电子设备可以对预览图像中移动物体进行检测,以识别出移动区域。由于判断一个物体在拍摄场景中是否发生移动,至少需要两帧图像进行对比才能进行判断。故该实施例中,从至少两帧预览图像中选择两帧预览图像进行判断,例如,可以选择最新存储的两帧预览图像,对这两帧预览图像进行相减处理,即在两帧预览图像之间对应像素做减法运算,去定出差异像素点,并判定这些差异像素点的位置即为发生物体运动的移动区域,计算这些差异像素点数量在预览图像中所占的比例,作为在预览图像中移动区域的比例。
在一些实施例中,电子设备可以根据如下公式计算图像合成分数Sfinal:
Sfinal=δ*(1-Sm)*Sd,其中,为Sd动态范围分数,Sm为移动区域的比例,δ为调整系数。
计算得到的Sd为一个属于[0,1]区间的小数,Sm为一个属于[0,1)区间的小数,通过调整系数δ,可以将该小数放大为整数。或者,在一些实施例中,也可以不进行放大处理,Sfinal=(1-Sm)*Sd。
在一些实施例中,“确定预览图像的动态范围分数,以及预览图像中移动区域的比例”之前,还包括:
根据预览图像,识别拍摄场景对应的场景类型;
若场景类型属于第一预设类型,则执行107;
若场景类型属于第二预设类型,则执行106;
若场景类型不属于第一预设类型或第二预设类型,则执行102。
该实施例中,在获取到预览图像后,先通过预览图像识别拍摄场景对应的场景类型,如夜景、室内、室外、风景、人像等场景类型。其中,可以通过设置在电子设备中的分类模式,例如神经网络模型来实现场景类型的识别。
其中,用户可以根据需要将某一特定的场景类型标记为第一预设类型或第二预设类型。第一预设类型可以是对亮度范围要求比较高的场景类型,如人像、风景等;第二预设类型可以是对光晕和重影效果要求比较高(尽量不出现光晕和重影现象)的场景类型,例如,室外、夜景等。
当拍摄场景属于第一预设类型时,采用第三图像合成模式进行曝光与合成,当拍摄场景属于第二预设类型时,采用第二图像合成模式进行曝光与合成。当拍摄场景既不属于第一预设类型,也不属于第二预设类型,则确定预览图像的动态范围分数,以及预览图像中移动区域的比例,并计算图像合成分数,根据图像合成分数来选择图像合成模式。
在一实施例中还提供了一种图像处理装置。请参阅图5,图5为本申请实施例提供的图像处理装置400的结构示意图。其中该图像处理装置200应用于电子设备,该图像处理装置200包括图像获取模块201、图像检测模块202、参数计算模块203以及图像处理模块204,如下:
图像获取模块201,用于获取拍摄场景的预览图像;
图像检测模块202,用于根据所述预览图像的亮度信息确定所述预览图像的动态范围分数,并确定所述预览图像中移动区域的比例;
参数计算模块203,用于根据所述动态范围分数和所述移动区域的比例计算图像合成分数,其中,所述图像合成分数与所述动态范围分数成正比、与所述移动区域的比例成反比;
图像处理模块204,用于若所述图像合成分数不大于第一预设阈值、且所述移动区域的比例不大于第二预设阈值,则按照第一曝光参数获取所述拍摄场景的m帧第一图像、并按照第二曝光参数获取所述拍摄场景的n帧第二图像,其中,所述第二图像的曝光程度小于所述第一图像的曝光程度,m>n≥1;
以及,对所述m帧第一图像和所述n帧第二图像合成处理,得到第一高动态范围图像。
在一些实施例中,参数计算模块203还用于:若所述图像合成分数不大于第一预设阈值,则根据所述预览图像确定基准曝光参数;按照预设调节参数,减小所述基准曝光参数,得到所述第一曝光参数。
在一些实施例中,图像处理模块204还用于:若所述图像合成分数不大于所述第一预设阈值、且所述移动区域的比例大于所述第二预设阈值,则按照第一曝光参数获取所述拍摄场景的m帧第三图像,并对所述m帧第三图像合成处理,得到第二高动态范围图像;
以及,若所述图像合成分数大于所述第一预设阈值,则按照不同曝光参数获取所述拍摄场景的多帧第四图像,对所述多帧第四图像合成处理,得到第三高动态范围图像。
在一些实施例中,图像处理模块204还用于:对所述m帧第一图像合成处理,得到第四高动态范围图像;对所述第四高动态范围图像和所述n帧第二图像合成处理,得到第一高动态范围图像。
在一些实施例中,图像处理模块204还用于:获取任意一帧第一图像;
将所述一帧第二图像与所述一帧第一图像进行图像相减处理,以确定差异像素点;
根据所述差异像素点以确定所述第二图像中的非移动区域;
将所述第二图像中的非移动区域与所述第四高动态范围图像合成处理,得到第二高动态范围图像。
在一些实施例中,图像处理模块204还用于:控制第一摄像头按照第一曝光参数获取所述拍摄场景的m帧第一图像,并控制第二摄像头按照第二曝光参数获取所述拍摄场景的n帧第二图像。
在一些实施例中,图像检测模块202还用于:统计所述预览图像中亮度大于第一亮度阈值的第一区域面积,以及亮度小于第二亮度阈值的第二区域面积,其中,所述第一亮度阈值大于所述第二亮度阈值;
计算所述第一区域面积与所述第二区域面积之和在所述预览图像中所占的比例,作为所述预览图像的动态范围分数。
在一些实施例中,图像检测模块202还用于:
从至少两帧预览图像中,获取任意连续两帧预览图像;
对所述两帧预览图像进行图像相减处理,以确定差异像素点;
将所述差异像素点数量除以所述预览图像的像素点数量,得到所述预览图像中移动区域的比例。
在一些实施例中,参数计算模块203还用于:
根据如下公式计算图像合成分数Sfinal:
Sfinal=δ*(1-Sm)*Sd,其中,Sd为所述动态范围分数,Sm为所述移动区域的比例,δ为调整系数。
在一些实施例中,该图像处理装置200还包括场景识别模块,该场景识别模块还用于:根据所述预览图像,识别所述拍摄场景对应的场景类型;
若所述场景类型属于第一预设类型,则图像检测模块202按照不同曝光参数获取所述拍摄场景的多帧第四图像,对所述多帧第四图像合成处理,得到第三高动态范围图像;
若所述场景类型属于第二预设类型,则图像检测模块202照第一曝光参数获取所述拍摄场景的m帧第三图像,并对所述m帧第三图像合成处理,得到第二高动态范围图像;
若所述场景类型不属于所述第一预设类型或所述第二预设类型,则图像检测模块202根据所述预览图像的亮度信息确定所述预览图像的动态范围分数,并确定所述预览图像中移动区域的比例。
具体实施时,以上各个模块可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个模块的具体实施可参见前面的方法实施例,在此不再赘述。
应当说明的是,本申请实施例提供的图像处理装置与上文实施例中的图像处理方法属于同一构思,在图像处理装置上可以运行图像处理方法实施例中提供的任一方法,其具体实现过程详见图像处理方法实施例,此处不再赘述。
由上可知,本申请实施例提出的图像处理装置,图像获取模块201获取拍摄场景的预览图像,图像检测模块202根据预览图像的亮度信息确定预览图像的动态范围分数,并确定预览图像中移动区域的比例,参数计算模块203根据动态范围分数和移动区域的比例计算图像合成分数,其中,动态范围分数越大,图像合成分数越大,移动区域的比例越小,图像合成分数越大,当该图像合成分数不大于第一预设阈值,同时移动区域的比例不大于第二预设阈值时,可以判定预览图像具有一定的动态范围,同时具有一定的移动区域范围,此时,图像处理模块204可以按照第一曝光参数获取所述拍摄场景的m帧第一图像、同时按照第二曝光参数获取所述拍摄场景的n帧第二图像,将m帧第一图像和n帧第二图像合成处理,得到第一高动态范围图像。通过本申请的方案,不仅能够实现具有高动态范围的图像拍摄,而且可以根据拍摄场景中动态范围分数与移动区域的大小,按照合适的方式进行曝光与图像的合成,得到高动态范围图像。
本申请实施例还提供一种电子设备,该电子设备可以是诸如平板电脑或者智能手机等移动终端。请参阅图6,图6为本申请实施例提供的电子设备的结构示意图。电子设备800可以包括摄像模组801、存储器802、处理器803、触摸显示屏804、扬声器805、麦克风806等部件。
摄像模组801可以包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义图像信号处理(Image Signal Processing)管线的各种处理单元。图像处理电路至少可以包括:摄像头、图像信号处理器(Image Signal Processor,ISP处理器)、控制逻辑器、图像存储器以及显示器等。其中摄像头至少可以包括一个或多个透镜和图像传感器。图像传感器可包括色彩滤镜阵列(如Bayer滤镜)。图像传感器可获取用图像传感器的每个成像像素捕捉的光强度和波长信息,并提供可由图像信号处理器处理的一组原始图像数据。
图像信号处理器可以按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,图像信号处理器可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。原始图像数据经过图像信号处理器处理后可存储至图像存储器中。图像信号处理器还可从图像存储器处接收图像数据。
图像存储器可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct Memory Access,直接直接存储器存取)特征。
当接收到来自图像存储器的图像数据时,图像信号处理器可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器,以便在被显示之前进行另外的处理。图像信号处理器还可从图像存储器接收处理数据,并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。处理后的图像数据可输出给显示器,以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit,图形处理器)进一步处理。此外,图像信号处理器的输出还可发送给图像存储器,且显示器可从图像存储器读取图像数据。在一种实施方式中,图像存储器可被配置为实现一个或多个帧缓冲器。
图像信号处理器确定的统计数据可发送给控制逻辑器。例如,统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜阴影校正等图像传感器的统计信息。
控制逻辑器可包括执行一个或多个例程(如固件)的处理器和/或微控制器。一个或多个例程可根据接收的统计数据,确定摄像头的控制参数以及ISP控制参数。例如,摄像头的控制参数可包括照相机闪光控制参数、透镜的控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如,在RGB处理期间)的增益水平和色彩校正矩阵等。
请参阅图7,图7为本实施例中图像处理电路的结构示意图。为便于说明,仅示出与本发明实施例相关的图像处理技术的各个方面。
例如图像处理电路可以包括:摄像头、图像信号处理器、控制逻辑器、图像存储器、显示器。其中,摄像头可以包括一个或多个透镜和图像传感器。在一些实施例中,摄像头可为长焦摄像头或广角摄像头中的任一者。
摄像头采集的图像传输给图像信号处理器进行处理。图像信号处理器处理图像后,可将图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器。控制逻辑器可根据统计数据确定摄像头的控制参数,从而摄像头可根据控制参数进行自动对焦、自动曝光等操作。图像经过图像信号处理器进行处理后可存储至图像存储器中。图像信号处理器也可以读取图像存储器中存储的图像以进行处理。另外,图像经过图像信号处理器进行处理后可直接发送至显示器进行显示。显示器也可以读取图像存储器中的图像以进行显示。
此外,图中没有展示的,电子设备还可以包括CPU和供电模块。CPU和逻辑控制器、图像信号处理器、图像存储器和显示器均连接,CPU用于实现全局控制。供电模块用于为各个模块供电。
存储器802存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器803通过运行存储在存储器802的应用程序,从而执行各种功能应用以及数据处理。
处理器803是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器802内的应用程序,以及调用存储在存储器802内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。
触摸显示屏804可以用于接收用户对电子设备的触摸控制操作。扬声器805可以播放声音信号。麦克风806可以用于拾取声音信号。
在本实施例中,电子设备中的处理器803会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器802中,并由处理器803来运行存储在存储器802中的应用程序,从而执行:
获取拍摄场景的预览图像;
根据所述预览图像的亮度信息确定所述预览图像的动态范围分数,并确定所述预览图像中移动区域的比例;
根据所述动态范围分数和所述移动区域的比例计算图像合成分数,其中,所述图像合成分数与所述动态范围分数成正比、与所述移动区域的比例成反比;
若所述图像合成分数不大于第一预设阈值、且所述移动区域的比例不大于第二预设阈值,则按照第一曝光参数获取所述拍摄场景的m帧第一图像、并按照第二曝光参数获取所述拍摄场景的n帧第二图像,其中,所述第二图像的曝光程度小于所述第一图像的曝光程度,m>n≥1;
对所述m帧第一图像和所述n帧第二图像合成处理,得到第一高动态范围图像。
在一些实施例中,根据所述动态范围分数和所述移动区域的比例计算图像合成分数之后,处理器803执行:
若所述图像合成分数不大于第一预设阈值,则根据所述预览图像确定基准曝光参数;按照预设调节参数,减小所述基准曝光参数,得到所述第一曝光参数。
在一些实施例中,根据所述动态范围分数和所述移动区域的比例计算图像合成分数之后,处理器803执行:
若所述图像合成分数不大于所述第一预设阈值、且所述移动区域的比例大于所述第二预设阈值,则按照第一曝光参数获取所述拍摄场景的m帧第三图像,并对所述m帧第三图像合成处理,得到第二高动态范围图像;
若所述图像合成分数大于所述第一预设阈值,则按照不同曝光参数获取所述拍摄场景的多帧第四图像,对所述多帧第四图像合成处理,得到第三高动态范围图像。
在一些实施例中,在对所述m帧第一图像和所述n帧第二图像合成处理,得到第一高动态范围图像时,处理器803执行:
对所述m帧第一图像合成处理,得到第四高动态范围图像;
对所述第四高动态范围图像和所述n帧第二图像合成处理,得到第一高动态范围图像。
在一些实施例中,所述n=1,对所述第四高动态范围图像和所述n帧第二图像合成处理,得到第一高动态范围图像时,处理器803执行:
获取任意一帧第一图像;
将所述一帧第二图像与所述一帧第一图像进行图像相减处理,以确定差异像素点;
根据所述差异像素点以确定所述第二图像中的非移动区域;
将所述第二图像中的非移动区域与所述第四高动态范围图像合成处理,得到第二高动态范围图像。
在一些实施例中,按照第一曝光参数获取所述拍摄场景的m帧第一图像、并按照第二曝光参数获取所述拍摄场景的n帧第二图像时,处理器803执行:
控制第一摄像头按照第一曝光参数获取所述拍摄场景的m帧第一图像,并控制第二摄像头按照第二曝光参数获取所述拍摄场景的n帧第二图像。
在一些实施例中,根据所述预览图像的亮度信息确定所述预览图像的动态范围分数时,处理器803执行:
统计所述预览图像中亮度大于第一亮度阈值的第一区域面积,以及亮度小于第二亮度阈值的第二区域面积,其中,所述第一亮度阈值大于所述第二亮度阈值;
计算所述第一区域面积与所述第二区域面积之和在所述预览图像中所占的比例,作为所述预览图像的动态范围分数。
在一些实施例中,所述预览图像至少有两帧;确定所述预览图像中移动区域的比例时,处理器803执行:
从至少两帧预览图像中,获取任意连续两帧预览图像;
对所述两帧预览图像进行图像相减处理,以确定差异像素点;
将所述差异像素点数量除以所述预览图像的像素点数量,得到所述预览图像中移动区域的比例。
在一些实施例中,根据所述动态范围分数和所述移动区域的比例计算图像合成分数时,处理器803执行:
在一些实施例中,处理器803执行:根据如下公式计算图像合成分数Sfinal:
Sfinal=δ*(1-Sm)*Sd,其中,Sd为所述动态范围分数,Sm为所述移动区域的比例,δ为调整系数。
在一些实施例中,根据所述预览图像的亮度信息确定所述预览图像的动态范围分数,并确定所述预览图像中移动区域的比例之前,处理器803执行:根据所述预览图像,识别所述拍摄场景对应的场景类型;
若所述场景类型属于第一预设类型,则按照不同曝光参数获取所述拍摄场景的多帧第四图像,对所述多帧第四图像合成处理,得到第三高动态范围图像;
若所述场景类型属于第二预设类型,则按照第一曝光参数获取所述拍摄场景的m帧第三图像,并对所述m帧第三图像合成处理,得到第二高动态范围图像;
若所述场景类型不属于所述第一预设类型或所述第二预设类型,则执行根据所述预览图像的亮度信息确定所述预览图像的动态范围分数,并确定所述预览图像中移动区域的比例。
由上可知,本申请实施例提供了一种电子设备,所述电子设备获取拍摄场景的预览图像,根据预览图像的亮度信息确定预览图像的动态范围分数,并确定预览图像中移动区域的比例,根据动态范围分数和移动区域的比例计算图像合成分数,其中,动态范围分数越大,图像合成分数越大,移动区域的比例越小,图像合成分数越大,当该图像合成分数不大于第一预设阈值,同时移动区域的比例不大于第二预设阈值时,可以判定预览图像具有一定的动态范围,同时具有一定的移动区域范围,此时,可以按照第一曝光参数获取所述拍摄场景的m帧第一图像、同时按照第二曝光参数获取所述拍摄场景的n帧第二图像,将m帧第一图像和n帧第二图像合成处理,得到第一高动态范围图像。通过本申请的方案,不仅能够实现具有高动态范围的图像拍摄,而且可以根据拍摄场景中动态范围分数与移动区域的大小,按照合适的方式进行曝光与图像的合成,得到高动态范围图像。
本申请实施例还提供一种存储介质,所述存储介质中存储有计算机程序,当所述计算机程序在计算机上运行时,所述计算机执行上述任一实施例所述的图像处理方法。
需要说明的是,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过计算机程序来指令相关的硬件来完成,所述计算机程序可以存储于计算机可读存储介质中,所述存储介质可以包括但不限于:只读存储器(ROM,Read OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁盘或光盘等。
此外,本申请中的术语“第一”、“第二”和“第三”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、系统、产品或设备没有限定于已列出的步骤或模块,而是某些实施例还包括没有列出的步骤或模块,或某些实施例还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。
以上对本申请实施例所提供的图像处理方法、装置、存储介质及电子设备进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (13)
1.一种图像处理方法,其特征在于,包括:
获取拍摄场景的预览图像;
根据所述预览图像的亮度信息确定所述预览图像的动态范围分数,并确定所述预览图像中移动区域的比例;
根据所述动态范围分数和所述移动区域的比例计算图像合成分数,其中,所述图像合成分数与所述动态范围分数成正比、与所述移动区域的比例成反比;
若所述图像合成分数不大于第一预设阈值、且所述移动区域的比例不大于第二预设阈值,则按照第一曝光参数获取所述拍摄场景的m帧第一图像、并按照第二曝光参数获取所述拍摄场景的n帧第二图像,其中,所述第一图像为欠曝光图像,所述第二图像的曝光程度小于所述第一图像的曝光程度,m>n≥1;
对所述m帧第一图像和所述n帧第二图像合成处理,得到第一高动态范围图像;
若所述图像合成分数不大于所述第一预设阈值、且所述移动区域的比例大于所述第二预设阈值,则按照第一曝光参数获取所述拍摄场景的m帧第三图像,并对所述m帧第三图像合成处理,得到第二高动态范围图像,所述第三图像为欠曝光图像。
2.如权利要求1所述的图像处理方法,其特征在于,所述根据所述动态范围分数和所述移动区域的比例计算图像合成分数之后,还包括:
若所述图像合成分数不大于第一预设阈值,则根据所述预览图像确定基准曝光参数;
按照预设调节参数,减小所述基准曝光参数,得到所述第一曝光参数。
3.如权利要求1所述的图像处理方法,其特征在于,所述根据所述动态范围分数和所述移动区域的比例计算图像合成分数之后,还包括:
若所述图像合成分数大于所述第一预设阈值,则按照不同曝光参数获取所述拍摄场景的多帧第四图像,对所述多帧第四图像合成处理,得到第三高动态范围图像。
4.如权利要求1所述的图像处理方法,其特征在于,所述对所述m帧第一图像和所述n帧第二图像合成处理,得到第一高动态范围图像,包括:
对所述m帧第一图像合成处理,得到第四高动态范围图像;
对所述第四高动态范围图像和所述n帧第二图像合成处理,得到第一高动态范围图像。
5.如权利要求4所述的图像处理方法,其特征在于,所述n=1,所述对所述第四高动态范围图像和所述n帧第二图像合成处理,得到第一高动态范围图像,包括:
获取任意一帧第一图像;
将所述一帧第二图像与所述一帧第一图像进行图像相减处理,以确定差异像素点;
根据所述差异像素点以确定所述第二图像中的非移动区域;
将所述第二图像中的非移动区域与所述第四高动态范围图像合成处理,得到第二高动态范围图像。
6.如权利要求1所述的图像处理方法,其特征在于,所述按照第一曝光参数获取所述拍摄场景的m帧第一图像、并按照第二曝光参数获取所述拍摄场景的n帧第二图像,包括:
控制第一摄像头按照第一曝光参数获取所述拍摄场景的m帧第一图像,并控制第二摄像头按照第二曝光参数获取所述拍摄场景的n帧第二图像。
7.如权利要求1所述的图像处理方法,其特征在于,所述根据所述预览图像的亮度信息确定所述预览图像的动态范围分数,包括:
统计所述预览图像中亮度大于第一亮度阈值的第一区域面积,以及亮度小于第二亮度阈值的第二区域面积,其中,所述第一亮度阈值大于所述第二亮度阈值;
计算所述第一区域面积与所述第二区域面积之和在所述预览图像中所占的比例,作为所述预览图像的动态范围分数。
8.如权利要求1所述的图像处理方法,其特征在于,所述预览图像至少有两帧;所述确定所述预览图像中移动区域的比例,包括:
从至少两帧预览图像中,获取任意连续两帧预览图像;
对所述两帧预览图像进行图像相减处理,以确定差异像素点;
将所述差异像素点数量除以所述预览图像的像素点数量,得到所述预览图像中移动区域的比例。
9.如权利要求1所述的图像处理方法,其特征在于,所述根据所述动态范围分数和所述移动区域的比例计算图像合成分数,包括:
根据如下公式计算图像合成分数Sfinal:
Sfinal=δ*(1-Sm)*Sd,其中,Sd为所述动态范围分数,Sm为所述移动区域的比例,δ为调整系数。
10.如权利要求1至9任一项所述的图像处理方法,其特征在于,所述根据所述预览图像的亮度信息确定所述预览图像的动态范围分数,并确定所述预览图像中移动区域的比例之前,还包括:
根据所述预览图像,识别所述拍摄场景对应的场景类型;
若所述场景类型属于第一预设类型,则按照不同曝光参数获取所述拍摄场景的多帧第四图像,对所述多帧第四图像合成处理,得到第三高动态范围图像;
若所述场景类型属于第二预设类型,则按照第一曝光参数获取所述拍摄场景的m帧第三图像,并对所述m帧第三图像合成处理,得到第二高动态范围图像;
若所述场景类型不属于所述第一预设类型或所述第二预设类型,则执行根据所述预览图像的亮度信息确定所述预览图像的动态范围分数,并确定所述预览图像中移动区域的比例。
11.一种图像处理装置,其特征在于,包括:
图像获取模块,用于获取拍摄场景的预览图像;
图像检测模块,用于根据所述预览图像的亮度信息确定所述预览图像的动态范围分数,并确定所述预览图像中移动区域的比例;
参数计算模块,用于根据所述动态范围分数和所述移动区域的比例计算图像合成分数,其中,所述图像合成分数与所述动态范围分数成正比、与所述移动区域的比例成反比;
图像曝光模块,用于若所述图像合成分数不大于第一预设阈值、且所述移动区域的比例不大于第二预设阈值,则按照第一曝光参数获取所述拍摄场景的m帧第一图像、并按照第二曝光参数获取所述拍摄场景的n帧第二图像,其中,所述第一图像为欠曝光图像,所述第二图像的曝光程度小于所述第一图像的曝光程度,m>n≥1;
图像合成模块,用于对所述m帧第一图像和所述n帧第二图像合成处理,得到第一高动态范围图像;
所述图像曝光模块,还用于若所述图像合成分数不大于所述第一预设阈值、且所述移动区域的比例大于所述第二预设阈值,则按照第一曝光参数获取所述拍摄场景的m帧第三图像;
所述图像合成模块,还用于对所述m帧第三图像合成处理,得到第二高动态范围图像,所述第三图像为欠曝光图像。
12.一种存储介质,其上存储有计算机程序,其特征在于,当所述计算机程序在计算机上运行时,使得所述计算机执行如权利要求1至10任一项所述的图像处理方法。
13.一种电子设备,包括处理器和存储器,所述存储器存储有计算机程序,其特征在于,所述处理器通过调用所述计算机程序,用于执行如权利要求1至10任一项所述的图像处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910718443.7A CN110445989B (zh) | 2019-08-05 | 2019-08-05 | 图像处理方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910718443.7A CN110445989B (zh) | 2019-08-05 | 2019-08-05 | 图像处理方法、装置、存储介质及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110445989A CN110445989A (zh) | 2019-11-12 |
CN110445989B true CN110445989B (zh) | 2021-03-23 |
Family
ID=68433242
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910718443.7A Active CN110445989B (zh) | 2019-08-05 | 2019-08-05 | 图像处理方法、装置、存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110445989B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110929615B (zh) * | 2019-11-14 | 2022-10-18 | RealMe重庆移动通信有限公司 | 图像处理方法、图像处理装置、存储介质与终端设备 |
CN113810590A (zh) * | 2020-06-12 | 2021-12-17 | 华为技术有限公司 | 图像处理方法、电子设备、介质和系统 |
CN112839181B (zh) * | 2020-12-30 | 2022-10-11 | 上海掌门科技有限公司 | 一种用于生成高动态范围图像的方法与设备 |
CN113099123A (zh) * | 2021-04-07 | 2021-07-09 | 中煤科工集团重庆研究院有限公司 | 一种高动态范围视频图像采集方法 |
CN113472980B (zh) * | 2021-06-15 | 2022-12-09 | 展讯通信(上海)有限公司 | 一种图像处理方法、装置、设备、介质和芯片 |
CN114531552B (zh) * | 2022-02-16 | 2023-06-27 | 四川创安微电子有限公司 | 一种高动态范围图像合成方法及系统 |
CN118488325A (zh) * | 2022-02-28 | 2024-08-13 | 荣耀终端有限公司 | 一种图像处理方法和电子设备 |
CN115412678B (zh) * | 2022-10-20 | 2023-05-26 | 荣耀终端有限公司 | 曝光处理方法、装置及电子设备 |
CN115767262B (zh) * | 2022-10-31 | 2024-01-16 | 华为技术有限公司 | 拍照方法及电子设备 |
CN117135468B (zh) * | 2023-02-21 | 2024-06-07 | 荣耀终端有限公司 | 图像处理方法及电子设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108391059A (zh) * | 2018-03-23 | 2018-08-10 | 华为技术有限公司 | 一种图像处理的方法和装置 |
CN109286758A (zh) * | 2018-10-15 | 2019-01-29 | Oppo广东移动通信有限公司 | 一种高动态范围图像的生成方法、移动终端及存储介质 |
CN109496425A (zh) * | 2018-03-27 | 2019-03-19 | 华为技术有限公司 | 拍照方法、拍照装置和移动终端 |
CN109510946A (zh) * | 2017-09-15 | 2019-03-22 | 展讯通信(上海)有限公司 | Hdr场景检测方法及系统 |
CN109688322A (zh) * | 2018-11-26 | 2019-04-26 | 维沃移动通信(杭州)有限公司 | 一种生成高动态范围图像的方法、装置及移动终端 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010118177A1 (en) * | 2009-04-08 | 2010-10-14 | Zoran Corporation | Exposure control for high dynamic range image capture |
US8885978B2 (en) * | 2010-07-05 | 2014-11-11 | Apple Inc. | Operating a device to capture high dynamic range images |
CN107566739B (zh) * | 2017-10-18 | 2019-12-06 | 维沃移动通信有限公司 | 一种拍照方法及移动终端 |
CN108833775B (zh) * | 2018-05-22 | 2020-04-03 | 深圳岚锋创视网络科技有限公司 | 一种抗运动鬼影的hdr方法、装置及便携式终端 |
CN109996009B (zh) * | 2019-04-09 | 2021-03-02 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
-
2019
- 2019-08-05 CN CN201910718443.7A patent/CN110445989B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109510946A (zh) * | 2017-09-15 | 2019-03-22 | 展讯通信(上海)有限公司 | Hdr场景检测方法及系统 |
CN108391059A (zh) * | 2018-03-23 | 2018-08-10 | 华为技术有限公司 | 一种图像处理的方法和装置 |
CN109496425A (zh) * | 2018-03-27 | 2019-03-19 | 华为技术有限公司 | 拍照方法、拍照装置和移动终端 |
CN109286758A (zh) * | 2018-10-15 | 2019-01-29 | Oppo广东移动通信有限公司 | 一种高动态范围图像的生成方法、移动终端及存储介质 |
CN109688322A (zh) * | 2018-11-26 | 2019-04-26 | 维沃移动通信(杭州)有限公司 | 一种生成高动态范围图像的方法、装置及移动终端 |
Also Published As
Publication number | Publication date |
---|---|
CN110445989A (zh) | 2019-11-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110445988B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN110445989B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN110072051B (zh) | 基于多帧图像的图像处理方法和装置 | |
CN109040609B (zh) | 曝光控制方法、装置、电子设备和计算机可读存储介质 | |
JP6911202B2 (ja) | 撮像制御方法および撮像装置 | |
CN110072052B (zh) | 基于多帧图像的图像处理方法、装置、电子设备 | |
CN108322646B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN110248106B (zh) | 图像降噪方法、装置、电子设备以及存储介质 | |
CN110381263B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
WO2020034737A1 (zh) | 成像控制方法、装置、电子设备以及计算机可读存储介质 | |
CN110198417A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN110033418B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN110191291B (zh) | 基于多帧图像的图像处理方法和装置 | |
CN111684788A (zh) | 一种图像处理的方法和装置 | |
CN110213502B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
WO2020207261A1 (zh) | 基于多帧图像的图像处理方法、装置、电子设备 | |
CN111028190A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN110266954B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN110198418B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN110012227B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN110430370B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN110572584A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN110740266B (zh) | 图像选帧方法、装置、存储介质及电子设备 | |
CN110198419A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN110290325B (zh) | 图像处理方法、装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |