CN119255115A - 图像生成方法、电子设备以及存储介质 - Google Patents
图像生成方法、电子设备以及存储介质 Download PDFInfo
- Publication number
- CN119255115A CN119255115A CN202411776725.XA CN202411776725A CN119255115A CN 119255115 A CN119255115 A CN 119255115A CN 202411776725 A CN202411776725 A CN 202411776725A CN 119255115 A CN119255115 A CN 119255115A
- Authority
- CN
- China
- Prior art keywords
- image
- yuv
- region
- yuv image
- chromaticity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
Abstract
一种图像生成方法、电子设备以及存储介质,涉及终端技术领域,该方法可以使生成图像的颜色接近被拍摄对象或拍摄环境的实际颜色。具体的,电子设备响应拍摄指令,获取第一YUV图像以及获取第二YUV图像。其中,第一YUV图像是基于ISP算法生成的YUV图像,第二YUV图像是基于AI算法生成的YUV图像。电子设备再按照第二YUV图像对应的调整系数,调整第二YUV图像中各个像素点对应的第二色度值,得到第三YUV图像。其中,针对任意像素点,像素点在第三YUV图像对应的第三色度值比像素点对应的第二色度值更接近于第一色度值,第一色度值是像素点在第一YUV图像对应的色度值。电子设备再基于第三YUV图像,生成拍摄指令对应的图像。
Description
技术领域
本申请实施例涉及终端技术领域,尤其涉及图像生成方法、电子设备以及存储介质。
背景技术
随着科技技术的进步,电子设备在摄影方面的能力不断增强,导致用户对电子设备的拍摄效果的需求也随之提高。为了满足用户需求,在电子设备进行拍摄的过程中,电子设备可以通过人工智能(Artificial Intelligence,AI)算法对图像进行增强处理,从而输出质量更高的图像。增强处理可以包括:降噪处理、暗光增强处理、去雾处理、去雨处理等。
但电子设备通过AI算法增强后的图像存在偏色问题,即,增强后的图像颜色与被拍摄对象或拍摄环境的实际颜色存在偏差。
发明内容
本申请实施例提供一种图像生成方法、电子设备以及存储介质,可以使生成图像的颜色接近被拍摄对象或拍摄环境的实际颜色。
为达到上述目的,本申请的实施例采用如下技术方案:
第一方面,提供了一种图像生成方法,该方法应用于电子设备。电子设备响应拍摄指令,获取第一YUV图像以及获取第二YUV图像。其中,第一YUV图像是基于ISP算法生成的YUV图像,第二YUV图像是基于AI算法生成的YUV图像。电子设备再按照第二YUV图像对应的调整系数,调整第二YUV图像中各个像素点对应的第二色度值,得到第三YUV图像。其中,针对任意像素点,像素点在第三YUV图像对应的第三色度值比像素点对应的第二色度值更接近于第一色度值,第一色度值是像素点在第一YUV图像对应的色度值。电子设备再基于第三YUV图像,生成拍摄指令对应的图像。
在上述方案中,电子设备使用第二YUV图像对应的调整系数,将第二YUV图像整体上进行色度值调整,而并非以像素点为粒度针对单个像素点特定调整处理,因而能够使得第二YUV图像整体上实现色度纠正,即,使得第二YUV图像整体上的色度更加靠近第一YUV图像的整体色度。既实现了对第二YUV图像的色度纠正,又能避免引入噪声。
在第一方面的一种可能的实现方式中,第二YUV图像包括多个区域,每个区域具有各自对应的调整系数。针对每个区域,电子设备按照区域对应的调整系数,调整区域中各个像素点对应的第二色度值,得到第三YUV图像。
在上述方案中,电子设备,电子设备通过调整系数对第二YUV图像中的各个区域进行对应的调整,其中,区域中包括多个像素,因此,在同一个区域中多个像素调整色度值时,使用的是统一的调整系数,而不是将第一YUV图像中的像素点的色度值和第二YUV图像中的像素点的色度值加权融合得到每个像素点的色度值,这样可以避免由于第一YUV图像存在噪声导致加权融合后的目标UV值也不准确的问题,进而避免或者减少最终输出的图像的噪声。
在第一方面的另一种可能的实现方式中,每个区域对应的调整系数包括第一调整系数和第二调整系数,每个像素点对应的第二色度值包括第一数值和第二数值,第一数值是U通道对应的色度值,第二数值是V通道对应的色度值。针对每个区域,电子设备按照区域对应的第一调整系数,调整区域中每个像素点对应的第一数值。针对每个区域,电子设备按照区域对应的第二调整系数,调整区域中每个像素点对应的第二数值。
在上述方案中,对图像进行划块,得到不同的区域,并对不同的区域设置不同的调整系数进行调整,以及对同一区域针对U值和V值调整时也设置不同的调整系数,可以使调整后的U图像和V图像更加接近参考的U图像和V图像,调整过程中的颗粒度越细,调整后的U图像和V图像效果越好。
在第一方面的另一种可能的实现方式中,第一YUV图像包括第一色度图,第二YUV图像包括第二色度图。针对每个区域,电子设备根据区域对应的调整系数,对区域内各像素点在第二色度图对应的第二色度值进行线性变换,得到第三色度图。其中,针对任意像素点,像素点在第三色度图对应的第三色度值比像素点对应的第二色度值,更接近于像素点在第一色度图中对应的第一色度值。电子设备再根据第三色度图和第二YUV图像中的第一亮度图,生成第三YUV图像。
在上述方案中,电子设备在第二色度图的基础上,对第二色度图进行线性变换,得到对应的第三色度图,使得第三色度图对应的第三色度值比像素点对应的第二色度值,更接近于像素点在第一色度图中对应的第一色度值,进而实现使得第三色度图的颜色与第一色度图的颜色接近,即实现第三色度图的颜色与实际拍摄颜色接近,解决图片偏色问题。
在第一方面的另一种可能的实现方式中,针对每个区域,电子设备确定区域对应的第一目标函数,其中,第一目标函数用于表征区域对应的第一色度差,第一色度差是指区域对应的调整后的色度值与第一YUV图像中区域对应的色度值之间的差异,区域对应的调整后的色度值,可以通过待求解的调整系数和第二YUV图像中区域对应的色度值表征。电子设备再获取第一目标函数取最小值时的调整系数。
在上述方案中,电子设备通过第一目标函数的最小值确定调整系数,可以使得通过调整系数得到色度值与第一YUV图像的色度值之间差异最小,进而使得调整后的颜色与第一YUV图像的颜色接近,即实现调整后的颜色与实际拍摄颜色接近,解决图片偏色问题。
在第一方面的另一种可能的实现方式中,区域对应的调整后的色度值,包括区域内各个像素点分别对应的调整后的色度值。区域对应的调整后的色度值,通过待求解的调整系数和区域内各个像素点对应的第二色度值表征。第一色度差基于区域内各个像素点的第二色度差确定,每个像素点的第二色度差是指像素点对应的调整后的色度值与像素点对应的第一色度值的差值。
在上述方案中,第一色度差基于区域内各个像素点的第二色度差确定的,这样可以将区域内各个像素点的色度差皆作为调整系数的参考依据,使得最终得到调整系数更为准确,进而使得调整系数调整后的图像颜色更加接近第一YUV图像的颜色。
在第一方面的另一种可能的实现方式中,电子设备确定第二目标函数,其中,第二目标函数用于表征第三色度差,第三色度差是指第一YUV图像中各个像素点的第四色度差之和,每个像素点的第四色度差是指像素点对应的调整后的色度值与像素点对应的第一色度值之间的差值。像素点对应的调整后的色度值,通过待求解的调整系数和第一YUV图像中像素点对应的第一色度值表征。电子设备再获取第二目标函数取最小值时的调整系数。
在上述方案中,电子设备可以使用相同的调整系数对整个第二YUV图像中像素点的色度值进行调整,其中,该调整系数为第二目标函数取最小值时的值。这样使得通过调整系数得到色度值与第一YUV图像的色度值之间差异最小,进而使得调整后的颜色与第一YUV图像的颜色接近,即实现调整后的颜色与实际拍摄颜色接近,解决图片偏色问题。
在第一方面的另一种可能的实现方式中,第二YUV图像是由第一原始图像生成,第一原始图像是响应拍摄指令采集的多个原始图像中的其中一个。第一YUV图像则是:电子设备获取多个第二原始图像,其中,多个第二原始图像包含于多个原始图像。电子设备再确定多个第二原始图像分别对应的第四YUV图像。电子设备再融合多个第四YUV图像,得到第一YUV图像。
在上述方案中,电子设备将多个第四YUV图像融合,得到第一YUV图像。这样可以使得得到的第一YUV更加准确,以及使得第一YUV图像中的颜色更加接近第一原始图像拍摄时的实际拍摄颜色,便于后续对YUV图像进行更加精准的颜色纠正。
在第一方面的另一种可能的实现方式中,电子设备确定多个第四YUV图像分别对应的权重。其中,各个第四YUV图像对应的时间差与权重大小负相关,时间差是指第一时间和第二时间的差值,第一时间是第四YUV图像对应的第二原始图像的生成时间,第二时间是第一原始图像的生成时间。电子设备再按照各个第四YUV图像分别对应的权重对各个第四YUV图像进行加权融合,得到第一YUV图像。
在上述方案中,在第四YUV图像对应的第二原始图像的生成时间与第一原始图像的生成时间更接近的情况下,其图像的权重越高,电子设备再基于图像权重和图像进行加权融合。这样可以使得得到的第一YUV更加准确,以及使得第一YUV图像中的颜色更加接近第一原始图像拍摄时的实际拍摄颜色,便于后续对YUV图像进行更加精准的颜色纠正。
在第一方面的另一种可能的实现方式中,多个原始图像是在连拍模式下响应于拍摄指令连续采集的原始图像。或者,多个原始图像是在单拍模式下采集的用于进行图像预览的原始图像,多个原始图像的采集时间与接收拍摄指令的时间满足预设接近条件。
在上述方案中,电子设备采集多个原始图像,也可以便于后续基于多个原始图像更加精准得到第一YUV图像。
第二方面,本申请实施例提供一种电子设备,电子设备包括存储器和处理器;存储器与处理器耦合。其中,存储器中存储有计算机程序代码,计算机程序代码包括计算机指令,当计算机指令被处理器执行时,使得电子设备执行第一方面及其任一种可能的实现方式中的方法。
第三方面,本申请实施例提供一种计算机存储介质,该计算机存储介质包括计算机指令,当该计算机指令在电子设备上运行时,使得该电子设备执行如第一方面及其任一种可能的实现方式的方法。
第四方面,本申请实施例提供一种计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行如第一方面及其任一种可能的实现方式的方法。其中,该计算机可以是上述第二方面及其任一种可能的实现方式中的电子设备。
可以理解地,上述提供的第二方面的电子设备,第三方面的计算机存储介质,第四方面的计算机程序产品所能达到的有益效果,可参考如第一方面及其任一种可能的实现方式中的有益效果,此处不再赘述。
附图说明
图1为本申请实施例提供的一种图像比对示意图;
图2为本申请实施例提供的一种图像生成方法的原理示意图;
图3为本申请实施例提供的另一种图像生成方法的原理示意图;
图4为本申请实施例提供的一种图像生成的效果示意图;
图5为本申请实施例提供的一种电子设备的结构示意图;
图6为本申请实施例提供的一种电子设备的系统结构示意图;
图7为本申请实施例提供的另一种电子设备的系统结构示意图;
图8为本申请实施例提供的一种生成第一U图像和第一V图像的原理示意图;
图9为本申请实施例提供的一种确认图像对应权重的原理示意图;
图10为本申请实施例提供的另一种图像生成方法的原理示意图;
图11为本申请实施例提供的另一种图像生成方法的原理示意图;
图12为本申请实施例提供的另一种图像生成方法的原理示意图;
图13为本申请实施例提供的另一种图像生成方法的原理示意图。
具体实施方式
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
在介绍本申请实施例之前,先对本申请实施例涉及的相关专业术语做出如下说明。
1、YUV
YUV是一种颜色编码方法,采用的是明亮度值和色度来指定像素点的颜色。Y 表示明亮度值,而U和V表示色度。其中,U表示蓝色色度信息,V表示红色色度信息。遵循YUV颜色编码方法生成的图像即为YUV图像。
一个YUV图像可以包括Y通道、U通道和V通道分别对应的图像。Y通道对应的图像可以称为Y图像,用于表征各个像素点对应的Y通道的亮度值(即Y值)。U通道对应的图像可以称为U图像,用于表征各个像素点对应的U通道的色度值(即U值)。V通道对应的图像可以称为V图像,用于表征各个像素点对应的V通道的色度值(即V值)。
2、RAW 图像
RAW 图像,也可被称为原始图像,是指图像传感器将捕捉到的光源信号转化为数字信号的原始数据,没有经过相机内部处理的任何修改或压缩。其中,RAW 图像包含了从图像传感器捕获的原始的颜色信息、亮度值信息或其他传感器信息等。
3、RGB
RGB是一种色彩模式,通过对红 (Red)、绿 (Green)、蓝 (Blue)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色。遵循RGB色彩模式生成的图像即为RGB图像,属于彩色图像。
4、图像噪声
图像数据中往往存在不必要的或多余的干扰信息,这些干扰信息可以称为图像噪声。示例性地,图像噪声可以表现为图像亮度值或颜色的随机变化,这些变化并不是被拍摄对象本身所具有的,而是在拍摄或数据传输过程中产生的。
5、色彩噪点
在相机拍摄的图像中随机出现的彩色斑点或杂色块斑。色彩噪点通常为淡红色或蓝色。在低光环境下获取的图像中,色彩噪点更为明显。
6、颜色扩散
颜色扩散是指颜色从一个区域逐渐传播到相邻区域,形成颜色分布的变化。
7、图像信号处理器
图像信号处理器(Image Signal Processor,ISP),负责接收感光元件传递的原始图像数据,并通过一系列算法和处理流程,将这些原始图像数据转换成适合显示、存储或进一步分析的图像信息的硬件组件或软件模块。
8、深度学习(Deep Learning)算法
深度学习(Deep Learning)算法是指基于深层神经网络模型和方法的机器学习算法,是人工智能(Artificial Intelligence,AI)算法中的一种算法。
9、专业模式
专业模式是指一种电子设备在设定的专业拍摄参数下拍摄的拍摄模式。即,专业模式支持用户自定义调整拍摄参数。
电子设备处于专业模式时,对拍摄图像的图像处理流程完全依托于芯片原生的ISP实现。即,在专业模式下,电子设备使用原生的ISP算法对拍摄的原始图像(或称为RAW图像)进行处理,而不会再使用AI算法进行图像增强处理。完全依托于原生的ISP算法进行图像处理的模式并不仅限定于专业模式,也可以是其他的模式,对此不做限定。
应当理解,通过原生的ISP算法得到的图像其颜色和实际拍摄对象和拍摄场景的颜色接近。由于专业模式下是使用ISP算法得到拍摄的图像,并未使用AI算法进行图像增强处理,因而,专业模式下拍摄的图像不存在偏色问题,但是可能存在图像噪声大、暗区较暗等其他问题。
并且,在这种情况下,电子设备难以对ISP算法生成的图像进行降噪处理。具体的,电子设备处理图像噪声过程中难以控制降噪力度。若降噪不足,则通过最终输出得到的图像依旧存在色彩噪点。若降噪太强,对图像造成过度平滑,导致颜色在图像中的像素之间发生不必要的传播和变化,即颜色扩散。
下面再对本申请实施例做出具体的说明。
在电子设备进行拍摄的过程中,拍摄场景可能较为复杂,比如,拍摄场景可能为雨天、雾天,或者拍摄场景中光线较暗等,在这些复杂的拍摄场景下得到的图像质量可能不佳。
为了得到质量更高的图像,在拍摄过程中,电子设备并不会基于采集的原始图像(RAW图像)直接生成拍摄的图像,而是会使用AI算法对原始图像进行增强处理,得到拍摄的图像。但是,电子设备通过AI算法得到的图像存在偏色问题,即,图像中的颜色和实际拍摄场景中颜色存在偏差。
应当理解,使用AI算法对原始图像进行增强处理,也可以简称为AI增强处理。引起偏色问题的AI增强处理可以包括使用AI算法进行降噪处理、暗光增强处理、去雨处理、或者去雾处理等中的至少一种。示例性地,去雨处理可以是使用AI算法对雨天拍摄场景下的图像进行去雨处理,去雾处理可以是使用AI算法对雾天拍摄场景下的图像进行去雾处理。应理解,引起偏色问题的AI增强处理还可以包括其他处理,对此不做限定。
为便于理解偏色问题,下文中,以使用AI算法进行暗光增强处理为例进行示意说明。
电子设备在进行拍摄的过程中,若处于低光环境(例如夜间),则生成的图像的暗部区域存在细节丢失或模糊不清的情况,即,图像的暗部区域存在细节不足的问题。为了解决电子设备在低光环境下拍摄的图像中暗部区域细节不足的问题,电子设备可以通过AI算法(如深度学习算法)对拍摄的原始图像进行处理,使得生成的图像中暗部区域的细节清晰,从而更好的展示图像中的暗部细节。然而,通过AI算法生成的图像存在偏色问题。
电子设备在使用AI算法后输出的图像如图1中的(a)所示,电子设备使用ISP算法输出的图像如图1中的(b)所示。图1中的(a)和图1中的(b)为对同一拍摄对象采用相同或相近的拍摄角度拍摄的图像。如图1中的(a)和图1中的(b)所示,其颜色存在差异。其中,图1中的(a)存在颜色偏差,图1中的(b)与拍摄对象实际颜色相近。
在一些方案中,如图2所示,为了解决AI算法处理后的图像的偏色问题,电子设备可以将RAW图像输入ISP算法和AI算法中,通过ISP算法得到第一YUV图像(即,ISP算法对应的第一YUV图像),以及通过AI算法得到第二YUV图像(即,AI算法对应的第二YUV图像),电子设备再将第一YUV图像和第二YUV图像进行UV融合,从而实现对最终输出的图像的色度调整。例如,电子设备可以通过线性加权的方式对第一YUV图像与第二YUV图像进行UV融合。
下文中,将介绍一些方案中进行UV融合的具体处理。
在一些方案中,电子设备是以像素点为粒度,对第一YUV图像和第二YUV图像进行UV融合。
具体地,电子设备基于第二YUV图像中每个像素点对应的亮度值,确定该像素点在第一YUV图像对应的第一UV权重和该像素点在第二YUV图像对应的第二UV权重。将像素点在第一YUV图像对应的UV值记为UV1,将像素点在第二YUV图像对应的UV值记为UV2。针对第二YUV图像中每个像素点,电子设备基于该像素点对应的第一UV权重和第二UV权重,对该像素点对应的UV1和UV2进行线性加权,将线性加权后的UV值作为该像素点最终对应的纠正后的UV值。
其中,第一UV权重和第二UV权重相加为1。示例性地,加权公式的函数可以为:目标UV=UV1*α+UV2*(1-α) ,UV1表示像素点在第一YUV图像对应的UV值,UV2表示像素点在第二YUV图像对应的UV值,α [0,1],α为第一UV权重,1-α为第二UV权重。
具体的,如图3所示,针对第二YUV图像中每个像素点,根据该像素点在第二YUV图像中对应的亮度值确定第一UV权重和第二UV权重,可以分为以下三种情况讨论。
第一种情况:像素点在第二YUV图像对应的亮度值低于第一阈值的情况下,该像素点对应的第一UV权重为1,且,该像素点对应的第二UV权重为0。因此,UV1*1+UV2*0可以得到该像素点的目标UV值。相当于,针对第二YUV图像中亮度值低于第一阈值的每个像素点,电子设备可以把该像素点在第一YUV图像中对应的UV值(即UV1),作为该像素点的目标UV值(即纠正后的UV值)。
第二种情况:像素点在第二YUV图像对应的亮度值高于第一阈值但低于第二阈值的情况下,该像素点对应的第一UV权重α和第二UV权重1-α皆不为0,并且第一UV权重α和第二UV权重1-α皆不为1,通过UV1*α+UV2*(1-α)得到该像素点对应的目标UV值。相当于,针对第二YUV图像中亮度值高于第一阈值但低于第二阈值的每个像素点,电子设备可以将该像素点对应的UV1和UV2进行线性加权,将线性加权的UV值作为该像素点对应的目标UV值。
例如,假设第一UV权重为0.3,则第二UV权重为0.7,则像素点对应的目标UV值为UV1*0.3+UV2*0.7。
第三种情况,像素点在第二YUV图像的亮度值高于第二阈值的情况下,该像素点对应的第一UV权重为0,该像素点对应的第二UV权重为1。因此,UV1*0+UV2*1可以得到该像素点的目标UV值。相当于,针对第二YUV图像中亮度值高于第二阈值的每个像素点,电子设备可以将该像素点在第二YUV图像中对应的UV值(即UV2),作为该像素点的目标UV值(即纠正后的UV值)。
可以理解的,在此方案中,电子设备是通过加权的方法将第一YUV图像和第二YUV图像进行UV融合,对偏色问题改善程度有限,且在改善偏色问题时还会引入了噪声问题。具体分析如下:
在上述第一种情况下,电子设备把像素点在第一YUV图像中对应的UV值作为目标UV值,但是ISP算法得到的YUV图像存在图像噪声过大问题。因此,在第二YUV图像的亮度值低于第一阈值的情况下,进行颜色纠正后的图像存在噪声问题。
在第二YUV图像的亮度值大于第一阈值,但低于第二阈值的情况(即第二种情况)下,电子设备最终输出的每个像素点上的目标UV值是融合第一YUV图像上的UV值得到的,但是由于第一YUV图像存在噪声问题,即,第一YUV图像中的像素颜色会随机突变,造成第一YUV图像中某些像素点的UV值不准确,进而某些像素点的目标UV值也会存在不准确的问题,且使得最终输出的图像也存在噪声问题。并且,电子设备最终输出的每个像素点上的UV值是基于第二UV图像上的UV值得到的,第二YUV图像存在偏色问题,即,第二YUV图像中像素点的UV值是不准确的,进而根据第二YUV图像中的UV值得到的目标UV值也是不准确的,进而使得电子设备得到目标UV值对应的颜色和实际拍摄环境下的颜色还是存在一定区别,即,偏色问题改善程度有限。
在第二YUV图像的亮度值高于第二阈值的情况(即第三种情况)下,电子设备得到的目标UV值为第二YUV图像上的UV值,但是AI算法得到的YUV图像存在偏色问题,因此,偏色问题还是未解决。
可见,在上述方案中偏色问题不仅不能得到有效解决,还会引入图像噪声问题。
为此,为了解决上述问题,本申请实施例提供一种图像生成方法,该方法由电子设备执行。具体地,电子设备以第一YUV图像的U通道对应的第一U图像和V通道对应的第一V图像为参照,基于第一U图像和第一V图像的颜色(或称色度)分别调整第二YUV图像的U通道对应的第二U图像的颜色和V通道对应的第二V图像的颜色,使得调整后的第三U图像和第三V图像的颜色接近实际拍摄对象和拍摄环境下的颜色。
在一些实施例中,电子设备响应拍摄指令,获取第一YUV图像以及获取第二YUV图像。电子设备按照第二YUV图像对应的调整系数,以调整第二YUV图像中各个像素点对应的第二色度值,得到第三YUV图像。其中,针对任意像素点,像素点在第三YUV图像对应的第三色度值比像素点对应的第二色度值更接近于第一色度值,第一色度值是像素点在第一YUV图像对应的色度值。电子设备再基于第三YUV图像,生成拍摄指令对应的图像。
其中,拍摄指令可以是电子设备在拍照场景下的拍摄指令,也可以是电子设备在录像场景下的拍照指令。若为拍照场景下的拍摄指令,则该拍摄指令可以是单张照片的拍摄场景下(或称单拍模式)的指令,或者该拍摄指令也可以是多个照片的拍摄场景下(或称连拍模式)的指令。
上述实施例中,是使用第二YUV图像对应的调整系数,将第二YUV图像整体上进行色度值调整,而并非以像素点为粒度针对单个像素点特定调整处理,因而能够使得第二YUV图像整体上实现色度纠正,即,使得第二YUV图像整体上的色度更加靠近第一YUV图像的整体色度。既实现了对第二YUV图像的色度纠正,又能避免引入噪声。
在此实施例中,色度值是指U图像中像素点对应的U值或V图像中像素点对应的V值中的至少一种。示例性地,电子设备通过调整系数调整第二U图像中各个像素点的U值,以及第二V图像中各个像素点的V值,使得调整后得到的第三U图像对应的U值与第一U图像对应的U值,以及使得第三V图像对应的V值第一V图像对应的V值接近,进而实现调整后的第三U图像和第三V图像的颜色接近实际拍摄对象和拍摄环境下的颜色。
在一些实施例中,电子设备可以使用相同调整系数对整个第二YUV图像进行调整,电子设备还可以在第二YUV图像中划分不同的区域,每个区域都有对应的调整系数。其中,调整系数可以为一个或多个。例如,每个区域都可以对应一个或多个调整系数。
下面以电子设备对第二YUV图像进行划分,得到不同的区域,并对每个区域设置不同的调整系数,通过调整系数调整各个区域为例,进行具体说明。
具体的,电子设备可以根据第二YUV图像中每个区域各自对应的调整系数对每个区域的色度值进行调整,得到每个区域调整后色度值,并最终得到第三YUV图像。针对第二YUV图像中每个区域,该区域对应的调整系数是根据该区域与对应区域之间的色度差异确定的,其中,对应区域是指该区域在第一YUV图像对应的区域。应当理解,第一YUV图像和第二YUV图像中具有对应关系的两个区域,在图像中的位置和大小相同。
应当理解,在上述进行UV融合的方案中,如果第一YUV图像存在噪声,那么,第一YUV图像中某些像素点的UV值就不够准确。那么,以像素点为粒度,将像素点在第一YUV图像中对应的UV值和在第二YUV图像对应的UV值进行加权融合(即上述UV融合),就会导致UV融合后部分像素点存在噪声。在本申请的实施例中,电子设备通过调整系数对第二YUV图像中的各个区域进行对应的调整,其中,区域中包括多个像素,因此,在同一个区域中多个像素调整色度值时,使用的是统一的调整系数,而不是将第一YUV图像中的像素点的色度值和第二YUV图像中的像素点的色度值加权融合得到每个像素点的色度值,这样可以避免由于第一YUV图像存在噪声导致加权融合后的目标UV值也不准确的问题,进而避免或者减少最终输出的图像的噪声。
并且,在此实施例中,通过调整系数对第二YUV图像的色度值进行调整,使得调整后得到的第三YUV图像的色度值接近第一YUV图像的色度值,即,实现调整后的第三YUV图像的颜色接近实际拍摄对象和拍摄环境下的颜色。
可以理解的,在此实施例中,电子设备结合第一YUV图像和第二YUV图像中的优点,将ISP算法得到的第一YUV图像作为参照图像,对AI算法的第二YUV图像进行颜色纠正,即,电子设备利用调整系数对第二YUV中各个像素点的色度值进行调整,使得调整后的色度值接近第一YUV图像的色度值,进而使得纠正后的U图像和V图像的颜色与被拍摄对象的实际颜色相近,且由于是对各个区域中的像素进行整体的调整也不会带来噪声问题。这可以使得最终得到的图像既保留了AI算法对应图像的噪声小的特点,也解决了AI算法对应图像的偏色问题。电子设备再结合AI算法得到的Y图像和颜色纠正后的第三YUV图像,得到最终的YUV图像,并将该YUV图像转换为RGB图像。
下面以拍照过程中进行图像降噪处理的场景(可简称为“降噪场景”)为例,对图像处理方法进行具体说明。
在降噪场景下,电子设备可以通过AI算法(比如深度学习算法 )对图像进行降噪处理,但是经过AI算法得到的图像容易出现偏色问题,但其图像噪声小。而使用ISP算法处理的图像噪声大,但图像颜色与实际拍摄颜色接近。
具体的,基于ISP算法输出的图像(即ISP算法处理后的图像)可参见图4中的401所示,图像401对应的UV图像(或称为第一色度图),如图4中的402所示。UV图像402中的颜色与被拍摄对象的实际颜色相近,但是其噪声较大,即UV图像402中存在较多的彩色噪点,色块较小。应当理解,UV图像是指结合U通道的U图像和V通道的V图像得到的图像。
基于AI算法输出的图像(即AI算法处理后的图像)可参见图4中的403所示。图像403对应的UV图像(或称为第二色度图),如图4中的404所示。UV图像404中的颜色与被拍摄对象的实际颜色存在偏差,但其噪声较小,即UV图像404中色块较大,随机出现的彩色噪点较少。
电子设备可以按照调整系数对图像404进行调整,得到调整后的图像。图4中的图像405即为调整后的UV图像(或称为第三色度图)。进一步地,电子设备可以将调整后的UV图像和AI算法输出的Y通道的Y图像(即亮度图像)结合,得到目标YUV图像。电子设备再将目标YUV图像转换为RGB图像406。
在此实施例中,电子设备可以通过本申请实施例的图像生成方法,结合AI算法对应图像的噪声小的特点、以及ISP算法对应图像与被拍摄对象的实际颜色相近的特点,得到图像噪声小,且颜色与被拍摄对象的实际颜色相近的图像。
应当理解,通过AI算法进行图像增强所产生的偏色问题,皆可以通过该图像生成方法解决。比如,在多个图像的降噪、图像进行暗光增强、图像进行去雾、图像进行去雨等图像增强场景下,皆可以通过本申请实施例的图像生成方法解决偏色问题。
上述实施例中,仅以降噪场景为例对本申请实施例中的图像生成方法的应用场景进行示意说明,并不应当造成限定。比如,在去雨场景下,电子设备通过AI算法可以得到去雨后的图像,但是去雨后的图像存在偏色问题。在这种情况下,电子设备可以将ISP算法得到的第一U图像和第一V图像作为参照图像,使用本申请实施例中的图像处理方法,对去雨后的第三U图像和第三V图像进行颜色纠正。这样,电子设备就可以最终输出去雨、且颜色与实际拍摄颜色接近的图像。
示例性的,上述电子设备可以是手机、平板电脑、智能遥控器、可穿戴设备(如智能手环、智能手表或者智能眼镜等)、掌上电脑、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备。或者,该手机500还可以是便携式多媒体播放器(PortableMultimedia Player,PMP)、媒体播放器等其他类型的电子设备。本申请实施例对电子设备的具体类型不作任何限制。
图5为本申请实施例提供的一种电子设备的结构示意图。
手机500可以包括处理器510,外部存储器接口520,内部存储器521,通用串行总线(universal serial bus,USB)接口530,充电管理模块540,电源管理模块541,电池542,天线1,天线2,移动通信模块550,无线通信模块560,音频模块570,扬声器570A,受话器570B,麦克风570C,耳机接口570D,传感器模块580,按键590,马达591,指示器592,摄像头1~N593,显示屏1~N 594,以及用户标识模块(subscriber identification module,SIM)卡接口1~N595等。
可以理解的是,本发明实施例示意的结构并不构成对手机500的具体限定。在本申请另一些实施例中,手机500可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器510可以包括一个或多个处理单元,例如:处理器510可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是手机500的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
在一些实施例中,可以在处理器510中执行本申请实施例的图像生成方法,并生成对应的指令。
处理器510中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器510中的存储器为高速缓冲存储器。该存储器可以保存处理器510刚用过或循环使用的指令或数据。如果处理器510需要再次使用该指令或数据,可从存储器中直接调用。避免了重复存取,减少了处理器510的等待时间,因而提高了系统的效率。
在一些实施例中,处理器510可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
手机500通过GPU,显示屏594,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏594和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器510可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏594用于显示图像,视频等。显示屏594包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,手机500可以包括1个或N个显示屏594,N为大于1的正整数。
在本申请的一些实施例中,显示屏594可以显示使用本申请实施例中的图像处理方法生成的图像,该图像即为纠正偏色问题后的质量更佳的图像。
手机500可以通过ISP,摄像头593,视频编解码器,GPU,显示屏594以及应用处理器等实现拍摄、拍照功能。
ISP 用于处理摄像头593反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头593中。示例性地,ISP可以处理摄像头593采集的RAW图像,生成对应的YUV图像。
摄像头593用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,手机500可以包括1个或N个摄像头593,N为大于1的正整数。在一些实施例中,摄像头593可以采集RAW图像。本申请实施例中,ISP算法和AI算法则可以基于摄像头593采集的RAW图像进行图像处理,生成对应的YUV图像,例如,第一YUV图像和第二YUV图像。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当手机500在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。手机500可以支持一种或多种视频编解码器。这样,手机500可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network ,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现手机500的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
在一些实施例中,传感器模块580可以包括触摸传感器(图5中未示出),也称“触控面板”。触摸传感器可以设置于显示屏594,由触摸传感器与显示屏594组成触摸屏,也称“触控屏”。触摸传感器用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏594提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器也可以设置于手机500的表面,与显示屏594所处的位置不同。
在一些实施例中,电子设备通过显示屏594接收用户的触摸操作,该触摸操作用于指示电子设备执行拍摄操作。电子设备响应于用户的触摸操作,获取ISP算法得到的第一YUV图像和AI算法得到的第二YUV图像。电子设备再将第一YUV图像对应的第一U图像和第一V图像作为参照图像,分别对第二YUV图像对应的第二U图像和第二V图像进行颜色纠正,得到颜色纠正后的第三U图像和第三V图像。电子设备再结合第二YUV图像中的Y图像和颜色纠正后的第三U图像和第三V图像,得到最终输出的YUV图像。
图6为本申请实施例提供的一种电子设备的系统结构示意图。
手机500的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本发明实施例以分层架构的Android系统为例,示例性说明手机500的软件结构。
分层架构将系统分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将系统分为五层,从上至下分别为应用层,应用框架层、硬件抽象层、驱动层以及硬件层。
应用层可以包括一系列应用程序包。在本申请实施例中,应用程序包可以包括相机、图库等。
应用框架层为应用层的应用程序提供应用编程接口(application programminginterface,API)和编程框架。应用框架层包括一些预先定义的函数。在本申请实施例中,应用框架层可以包括相机访问接口,其中,相机访问接口可以包括相机管理以及相机设备。相机访问接口用于为相机应用提供应用编程接口和编程框架。
硬件抽象层为位于应用框架层以及驱动层之间的接口层,为操作系统提供虚拟硬件平台。本申请实施例中,硬件抽象层可以包括相机硬件抽象层以及相机算法库。
其中,相机硬件抽象层可以提供相机设备1、相机设备2或更多的相机设备的虚拟硬件。相机算法库可包括实现本申请实施例提供的图像生成方法的运行代码和数据。其中,相机算法库中可以包括ISP算法模块、AI算法模块、偏色纠正模块。示例性地,偏色纠正模块用于执行本申请实施例提供的图像生成方法,通过ISP算法模块生成的YUV图像中的色度值(例如U通道的色度值和V通道的色度值)对AI算法模块生成的YUV图像中的色度值进行偏色纠正。
驱动层为硬件和软件之间的层。驱动层包括各种硬件的驱动。驱动层可以包括相机设备驱动、数字信号处理器驱动以及图形处理器驱动等。
其中,相机设备驱动用于驱动摄像头的图像传感器采集图像。数字信号处理器驱动用于驱动数字信号处理器处理图像。图形处理器驱动用于驱动图形处理器处理图像。应当理解,数字信号处理器和图形处理器用于为相机算法库中的算法运行提供硬件支持。
如图7所示,下面再结合软件系统结构,对本申请实施例中的图像生成方法进行具体描述:
(1)电子设备驱动摄像头采集原始图像。
示例性地,电子设备响应于用户打开相机应用的操作,例如,点击相机应用图标的操作,通过调用应用框架层的相机访问接口,启动相机应用,并进入相机界面,以在屏幕上显示当前的拍摄画面,进而通过调用相机硬件抽象层中的相机设备(相机设备1和/或其他相机设备)的虚拟硬件发送启动摄像头的指令。相机硬件抽象层将该指令发送到内核层的相机设备驱动。该相机设备驱动可以启动相应的摄像头,并通过摄像头采集图像光信号。摄像头可将采集到的图像光信号传输到图像信号处理器进行预处理,得到原始图像(RAW图)。
(2)摄像头将原始图像输入至相机算法库中的ISP算法模块。
(3)电子设备将原始图像输入至相机算法库中的AI算法模块。
摄像头可以将上述原始图像通过相机设备驱动传输至相机硬件抽象层中的相机算法库。相机算法库中存储有实现本申请实施例提供的图像生成方法的程序代码。原始图像可以被分别输入至相机算法库中的ISP算法模块和AI算法模块。
应当理解,上述步骤(2)和步骤(3)仅用于示意摄像头采集的原始图像会被分别输入至ISP算法模块和AI算法模块,并不限定输入的先后顺序。此外,在其他示例中,摄像头也可以直接将原始图像发送给相机算法库,由相机算法库内部将原始图像分别输入至AI算法模块和ISP算法模块进行处理。
(4)ISP算法模块生成第一YUV图像,并输入至相机算法库中的偏色纠正模块。
(5)AI算法模块生成第二YUV图像,并输入至相机算法库中的偏色纠正模块。
示例性地,相机算法库中各个算法模块基于数字信号处理器和图形处理器提供的硬件支持,执行上述图像生成方法。ISP算法模块可以对原始图像进行处理得到第一RGB图像,并将第一RGB图像转换为第一YUV图像。AI算法模块可以对原始图像进行处理得到第二RGB图像,并将第二RGB图像转换为第二YUV图像。
同理,步骤(4)和步骤(5)同样不限定执行的先后顺序。
(6)偏色纠正模块向图库返回颜色纠正后的RGB图像。
示例性地,偏色纠正模块可以将第一YUV图像对应的第一U图像和第一V图像为参照图像,分别对第二YUV图像对应的第二U图像和第二V图像进行颜色纠正,得到颜色纠正后的第三U图像和第三V图像。偏色纠正模块可以再结合第二YUV图像中的Y图像和颜色纠正后的第三U图像和第三V图像,得到最终输出的YUV图像。偏色纠正模块可以将最终得到的YUV图像转换为RGB图像,并返回给图库。
下面通过相关附图,对本申请实施例中的图像处理方法做出具体说明。
如上文所述,电子设备(如电子设备中的偏色纠正模块)是基于第一U图像和第一V图像分别对第二U图像和第二V图像进行颜色纠正的。所以,在电子设备进行颜色纠正前,需先得到第一U图像、第一V图像、第二U图像和第二V图像,即需先获取第一YUV图像和第二YUV图像。下文中,将介绍第一YUV图像和第二YUV图像的两种获取方式。应当理解,还可以有其他获取方式获取第一YUV图像和第二YUV图像,此处仅以下述两种获取方式进行举例说明,不再一一列举所有获取方式。
方式一:通过单个原始图像获取第一YUV图像和第二YUV图像。
在输入单个原始图像的情况下,电子设备将单个原始图像输入ISP算法中,得到ISP输出的RGB图像,以及电子设备将单个原始图像输入AI算法中,得到AI算法输出的RGB图像。电子设备再将ISP输出的RGB图像转换为第一YUV图像,以及将AI输出的RGB图像转换为第二YUV图像。
方式二:通过多个原始图像获取第一YUV图像和第二YUV图像。
在一些实施例中,电子设备接收拍摄指令后,可以采集多个原始图像,并将多个原始图像中的其中一个原始图像输入AI算法,得到第二YUV图像。
在一些实施例中,在电子设备采集多个原始图像的情况下,电子设备将多个原始图像中的多个第二原始图像输入ISP算法中,对应得到多个第四YUV图像。电子设备再融合多个第四YUV图像,得到第一YUV图像。
其中,多个原始图像可以是电子设备在连拍模式下响应于拍摄指令连续采集的原始图像。也可以是电子设备在单拍模式下采集的用于进行图像预览的原始图像,多个原始图像的采集时间与接收拍摄指令的时间满足预设接近条件。示例性地,多个原始图像可以包括在接收拍摄指令前预览过程中采集的多个预览图像和接收拍照指令时采集的图像。
在一些实施例中,电子设备通过加权平均的方式将多个第四YUV图像融合成一个第一YUV图像。
具体的,电子设备确定多个第四YUV图像分别对应的权重。其中,各个第四YUV图像对应的时间差与权重大小负相关,时间差是指第一时间和第二时间的差值,第一时间是第四YUV图像对应的第二原始图像的生成时间,第二时间是第一原始图像的生成时间。电子设备再按照各个第四YUV图像分别对应的权重对各个第四YUV图像进行加权融合,得到第一YUV图像。
具体的,电子设备将ISP算法得到的多个RGB图像转换为多个第四YUV图像,电子设备再确定各个第四YUV图像对应的权重,其中,ISP算法得到的多个图像中,与当前AI算法对应的图像生成时间越接近的图像的权重越大,与当前AI算法对应的图像生成时间越远的图像的权重越小。电子设备再根据各个第四YUV图像的权重对各个第四YUV图像进行加权平均,得到第一YUV图像。
在一些实施例中,电子设备还可以将多个第四YUV图像对应的多个UV图像(即U图像和V图像)融合成一个UV图像。
一示例,电子设备将多个原始图像输入ISP算法中,得到多个RGB图像。电子设备再将多个RGB图像转换为多个YUV图像, 并对多个YUV图像中的U图像和V图像进行加权平均,将加权平均后U图像和V图像作为第一YUV图像中的第一U图像和第一V图像。
具体的,如图8所示,电子设备将AI算法得到的第二RGB图像和ISP算法得到的多个第一RGB图像进行对齐。电子设备再将多个第一RGB图像转换为多个第四YUV图像。例如,第四YUV图像1、第四YUV图像2……第四YUV图像N。每个第四YUV图像对应第四V图像和第四U图像。例如,第四YUV图像1对应第四V图像1和第四U图像1,第四YUV图像2对应第四V图像2和第四U图像2,第四YUV图像N对应第四V图像N和第四U图像N。电子设备对多个第四U图像进行加权平均得到加权平均后的第一U图像,以及对多个第四V图像进行加权平均,得到第一V图像。
在一些实施例中,电子设备分别对多个第四U图像和多个第四V图像进行加权平均的处理过程可以包括:电子设备先确定各个第四U图像和各个第四V图像对应的权重,再将各个第四U图像和各个第四V图像进行加权求和,并进行求平均计算,得到加权平均后的第一U图像和第一V图像。
在一些实施例中,各个第四U图像和各个第四V图像对应的权重,由当前AI算法对应的图像生成时间和ISP算法得到的各个图像生成时间之间的时间差决定。具体的,ISP算法得到的多个图像中,与当前AI算法对应的图像生成时间越接近的图像的权重越大,与当前AI算法对应的图像生成时间越远的图像的权重越小。
如图9所示,Q1为ISP算法得到的图像2对应的权重,Q2为ISP算法得到的图像3对应的权重。由于图像1的生成时间与AI算法对应的图像3的生成时间之间的时间差,小于图像2的生成时间与图像3的生成时间之间的时间差,即(t3-t2)>(t2-t1)所以,Q1>Q2。
下面再以第一种方式得到YUV图像为例,详细描述如何进行颜色纠正。
在一些实施例中,电子设备可以通过滤波的方式,使得第二YUV图像中的颜色接近第一YUV图像中的颜色,进而使得第一YUV图像中的颜色与实际拍摄颜色接近。
具体的,电子设备将RAW图像分别输入至ISP算法及AI算法,可以得到第一YUV图像和第二YUV图像。其中,第一YUV图像包括第一Y图像、第一U图像和第一V图像。第二YUV图像可以包括第二Y图像、第二U图像和第二V图像。如图10所示,电子设备将AI算法得到的第二U图像和第二V图像作为输入图像,以及将ISP算法得到的第一U图像和第一V图像作为参考图像(或称引导图像),通过滤波处理得到第三U图像和第三V图像,使得第三U图像与第一U图像接近,以及使得第三V图像与第一V图像接近。示例性地,在滤波处理的过程中,电子设备可以生成调整系数,然后基于调整系数对第二U图像中各个像素点的U值进行调整得到第三U图像,以及对第二V图像中各个像素点的V值进行调整得到第三V图像。
应当理解,第三U图像与第一U图像接近,是指针对第二U图像中每个像素点,该像素点在第三U图像中对应的U值和该像素点在第一U图像中对应的U值接近。此外,第三V图像与第一V图像接近,是指该像素点在第三U图像中对应的V值和该像素点在第一U图像中对应的V值接近。
电子设备可以将第二YUV图像中的第二Y图像,与滤波后的第三V图像和第三U图像结合,得到颜色纠正后的YUV图像。电子设备再将颜色纠正后的YUV图像转变为RGB图像。
在一些实施例中,电子设备可以通过导向滤波的方式实现滤波处理,还可以通过双边滤波的方式实现滤波处理,以纠正第二YUV图像的颜色,解决偏色问题。在本申请实施例中,不对滤波的方式做出限制。
下面以导向滤波为例,对滤波的处理过程做出更为具体的说明。
在一些实施例中,电子设备通过调整系数对各个区域进行调整的过程可以包括:针对每个区域,电子设备根据该区域对应的调整系数,对区域内各像素点在第二色度图(即第二U图像和第二V图像)对应的第二色度值进行线性变换,得到第三色度图(即第三U图像和第三V图像)。针对任意像素点,像素点在第三色度图对应的第三色度值比像素点对应的第二色度值,更接近于像素点在第一色度图(即第一U图像和第一V图像)中对应的第一色度值。电子设备再根据第三色度图和第二YUV图像中的第一亮度图,生成第三YUV图像。
其中,电子设备可以通过窗口对图像进行划块,得到多个区域。
在一些实施例中,如图11所示,第二U图像的U值和第三U图像的U值之间满足线性关系,第二V图像的V值和第三V图像的V值之间也满足线性关系。线性函数可以是:。
q表征第三U图像中的区域对应的U值时,I表征第二U图像中的区域对应的U值。或者,q表征第三V图像中的区域对应的V值,则I表征第二V图像中的区域对应的V值。针对任意像素点,电子设备通过调整系数(即a和b),使得该像素点在第三U图像中对应的U值和该像素点在第一U图像中对应的U值之间的差值,比该像素点在第二U图像中对应的U值和该像素点在第一U图像中对应的U值之间的差值更小,即,使得q=p-n时,n最小。
在一些实施例中,电子设备再根据调整系数对应第二色度值进行线性变换前,确定调整系数的过程可以包括:针对每个区域,电子设备确定区域对应的第一目标函数。其中,第一目标函数用于表征区域对应的第一色度差,第一色度差是指区域对应的调整后的色度值与第一YUV图像中区域对应的色度值之间的差异,区域对应的调整后的色度值,通过待求解的调整系数和第二YUV图像中区域对应的色度值表征。电子设备再获取第一目标函数取最小值时的调整系数。
示例性地,第一目标函数可以是,用于表征各个区域对应的第一色度差。电子设备可以通过最小距离函数:求解第一目标函数的最小值,并将第一目标函数取最小值时的a和b的值作为各个区域对应的调整系数。
在一些实施例中,区域对应的调整后的色度值,包括区域内各个像素点分别对应的调整后的色度值。区域对应的调整后的色度值,通过待求解的调整系数和区域内各个像素点对应的第二色度值表征。第一色度差基于区域内各个像素点的第二色度差确定,每个像素点的第二色度差是指像素点对应的调整后的色度值与像素点对应的第一色度值的差值。
具体的,电子设备可以通过距离函数:确定第三U图像的区域内各个像素点的U值和第一U图像中对应的像素点的U值之间的最小差值,以及确定第三V图像的区域内各个像素点的V值和第一V图像中对应的像素点的V值之间的最小差值。
其中,第三V图像的区域内各个像素点的V值和第二V图像中对应的像素点的V值之间存在线性关系,第三U图像的区域内各个像素点的U值和第二U图像中对应的像素点的U值之间存在线性关系,其线性函数可以是:。和表征第k个第二区域对应的调整系数,w表示区域,表示第k个区域。在表示第k个第二区域中第i个像素点的U值时,表征第k个第三区域中第i个像素点的U值,在表示第k个第二区域中第i个像素点的V值时,表征第k个第三区域中第i个像素点的V值。电子设备再将线性函数代入上述距离函数,其最小距离函数也可以是:。其中,第二区域是指对第二U图像和第二V图像划块后的区域。第三区域是指电子设备通过调整系数对多个第二区域中的像素点调整后得到的区域,电子设备通过多个第三区域又可以得到第三YUV图像。
在电子设备确定第三U图像的区域内各个像素点的U值和第一U图像中对应的像素点的U值之间的最小差值,以及确定第三V图像的区域内各个像素点的V值和第一V图像中对应的像素点的V值之间的最小差值的情况下,可以得到和的值,即,可以用, 表征。
其中,表征第二区域中像素数量。在表征第k个第二区域中第i个像素点对应的U值时,表征第k个第二区域中U值的均值,表征第k个第一区域中U值的均值,用于表征第k个第二区域中U值的方差。在表征第k个第二区域中第i个像素点对应的V值时,表征第k个第二区域中V值的均值,表征第k个第一区域中V值的均值, 用于表征第k个第二区域中V值的方差。其中,第一区域是指在第一U图像和第一V图像中,与第二区域位置和大小相对应的区域。
为预设的可调整值,用于使第三区域中的U值和V值接近第二区域中的U值和V值,还是使第三区域中的U值和V值接近第一区域中的U值和V值。一示例,若为一个较大的值,则越小,比如接近于0,在这种情况下,第k个第三区域中像素点的U值为第k个第一区域的U值的均值,第k个第三区域中像素点的V值为第k个第一区域的V值的均值,即,约等于。
用于表征第二区域和第一区域之间的协方差,也可以用表征,也可以用于表征第二区域的方差,也可以用表征,即。也可以用表示,即,。
在另一些实施例中,最小距离函数还可以是:,,电子设备求解后的与与上述相同。
在一些实施例中,电子设备第二YUV图像进行划块,得到多个区域,每个区域对应的调整系数包括第一调整系数和第二调整系数。第一调整系数用于调整区域内各个像素点的U值,第二调整系数用于调整区域内各个像素点的V值。每个像素点在第二YUV图像对应的色度值可以记为第二色度值。每个像素点对应的第二色度值可以包括第一数值(或称为U值)和第二数值(或称为V值),第一数值是U通道对应的色度值,第二数值是V通道对应的色度值。电子设备可以针对每个区域,按照区域对应的第一调整系数,调整区域中每个像素点对应的第一数值。电子设备还可以针对每个区域,按照区域对应的第二调整系数,调整区域中每个像素点对应的第二数值。
具体的,电子设备可以通过每个第二区域对应的第一调整系数对第二区域中各个像素点的U值进行调整,以及通过每个第二区域对应的第二调整系数对第二区域中各个像素点的V值进行调整,得到多个调整后的第三区域,第三区域中像素点的U值和V值与第一区域中的U值和V值接近。
可以理解,在此实施例中,对图像进行划块,得到不同的区域,并对不同的区域设置不同的调整系数进行调整,以及对同一区域针对U值和V值调整时也设置不同的调整系数,可以使调整后的U图像和V图像更加接近参考的U图像和V图像,调整过程中的颗粒度越细,调整后的U图像和V图像效果越好。
在一些实施例中,通过上述步骤得到每个区域对应的调整系数后,电子设备可以通过对AI算法得到的第二V图像和第二U图像进行滤波,得到滤波后的第三V图像和第三U图像,即得到颜色纠正后的第三V图像和第三U图像。电子设备再获取第二YUV图像中的Y通道对应第二Y图像,并结合滤波后的第三V图像和第三U图像,得到最终的YUV图像。
在一些实施例中,若为非常小的增量,假设和远远小于,则的值约等于0。在这种情况下,约等于,即,约等于,第k个第三区域中各个像素点的V值约等于第k个第一区域的V值的均值,或者第k个第三区域中各个像素点的U值约等于第k个第一区域的U值的均值。
一示例,图12中(a)为第一YUV图像,图12中(b)为第二YUV图像,图12中(c)为第三YUV图像。其中,第二YUV图像光滑,在这种情况下,远远小于,电子设备可以直接将第一YUV图像的均值作为第二YUV图像调整后的值,即,电子设备可以输出得到图12中(c)。
在一些实施例中,电子设备进行滤波的过程中,还可以对图像的边缘进行保留。其中图像边缘是由于图像中的灰度值的不连续性或突变造成的,即,图像边缘是图像中灰度值变化最显著的区域。一示例,图13中的(a)为滤波前的图像,呈阶梯状,即该图像存在灰度突变。电子设备对图13中的(a)进行滤波后,可以得到图13中的(b),其中,滤波后的图像保留了图像边缘,即,保留了图像的边缘信息。
在一些实施例中,如上文所述,整个第二YUV图像可以对应相同的调整系数,电子设备可以使用相同调整系数,对整个第二YUV图像的色度值进行调整。具体的,电子设备确定第二目标函数,其中,第二目标函数用于表征第三色度差,第三色度差是指第一YUV图像中各个像素点的第四色度差之和,每个像素点的第四色度差是指像素点对应的调整后的色度值与像素点对应的第一色度值之间的差值。像素点对应的调整后的色度值,通过待求解的调整系数和第一YUV图像中像素点对应的第一色度值表征。电子设备再获取第二目标函数取最小值时的调整系数。
在此实施例中,电子设备可以不对第二YUV图像进行划块,通过第三YUV图像中各个像素点的色度值与第一YUV图像中对应像素点的色度值之间的差值,确定调整系数。即,电子设备可以通过第二目标函数,即,通过第二目标函数可以确定第三YUV图像中各个像素点的U值和V值,与第一YUV图像中对应像素点的U值和V值之间的最小差值,并确定最小差值时的调整系数,以对整个第二YUV图像进行调整。
本申请另一些实施例提供了一种电子设备,该电子设备可以包括:存储器和一个或多个处理器。该存储器和处理器耦合。该存储器用于存储计算机程序代码,该计算机程序代码包括计算机指令。当计算机指令被处理器执行时,使得电子设备执行上述方法实施例中的各个功能或者步骤。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质包括计算机指令,当计算机指令在上述电子设备上运行时,使得该电子设备执行上述方法实施例中电子设备执行的各个功能或者步骤。
本申请实施例还提供一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行上述方法实施例中电子设备执行的各个功能或者步骤。
通过以上实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (12)
1.一种图像生成方法,其特征在于,应用于电子设备,包括:
响应拍摄指令,获取第一YUV图像以及获取第二YUV图像;所述第一YUV图像是基于ISP算法生成的YUV图像;所述第二YUV图像是基于AI算法生成的YUV图像;
按照所述第二YUV图像对应的调整系数,调整所述第二YUV图像中各个像素点对应的第二色度值,得到第三YUV图像;其中,针对任意所述像素点,所述像素点在所述第三YUV图像对应的第三色度值比所述像素点对应的第二色度值更接近于第一色度值;所述第一色度值是所述像素点在所述第一YUV图像对应的色度值;
基于所述第三YUV图像,生成所述拍摄指令对应的图像。
2.根据权利要求1所述的方法,其特征在于,所述第二YUV图像包括多个区域;每个区域具有各自对应的调整系数;
所述按照所述第二YUV图像对应的调整系数,调整所述第二YUV图像中各个像素点对应的第二色度值,得到第三YUV图像包括:
针对每个所述区域,按照所述区域对应的调整系数,调整所述区域中各个像素点对应的第二色度值,得到第三YUV图像。
3.根据权利要求2所述的方法,其特征在于,每个所述区域对应的调整系数包括第一调整系数和第二调整系数;每个像素点对应的第二色度值包括第一数值和第二数值;所述第一数值是U通道对应的色度值;所述第二数值是V通道对应的色度值;
所述针对每个所述区域,按照所述区域对应的调整系数,调整所述区域中各个像素点对应的第二色度值,得到第三YUV图像包括:
针对每个所述区域,按照所述区域对应的所述第一调整系数,调整所述区域中每个像素点对应的第一数值;
针对每个所述区域,按照所述区域对应的所述第二调整系数,调整所述区域中每个像素点对应的第二数值。
4.根据权利要求2所述的方法,其特征在于,所述第一YUV图像包括第一色度图;所述第二YUV图像包括第二色度图;
所述针对每个所述区域,按照所述区域对应的调整系数,调整所述区域中各个像素点对应的第二色度值,得到第三YUV图像包括:
针对每个所述区域,根据所述区域对应的调整系数,对所述区域内各像素点在所述第二色度图对应的所述第二色度值进行线性变换,得到第三色度图;针对任意所述像素点,所述像素点在所述第三色度图对应的第三色度值比所述像素点对应的所述第二色度值,更接近于所述像素点在所述第一色度图中对应的第一色度值;
根据所述第三色度图和所述第二YUV图像中的第一亮度图,生成所述第三YUV图像。
5.根据权利要求2所述的方法,其特征在于,在所述针对每个所述区域,按照所述区域对应的调整系数,调整所述区域中各个像素点对应的第二色度值之前,所述方法还包括:
针对每个区域,确定所述区域对应的第一目标函数;所述第一目标函数用于表征所述区域对应的第一色度差;所述第一色度差是指所述区域对应的调整后的色度值与所述第一YUV图像中所述区域对应的色度值之间的差异;所述区域对应的调整后的色度值,通过待求解的调整系数和所述第二YUV图像中所述区域对应的色度值表征;
获取所述第一目标函数取最小值时的调整系数。
6.根据权利要求5所述的方法,其特征在于,所述区域对应的调整后的色度值,包括所述区域内各个像素点分别对应的调整后的色度值;所述区域对应的调整后的色度值,通过待求解的调整系数和所述区域内各个像素点对应的所述第二色度值表征;
所述第一色度差基于所述区域内各个像素点的第二色度差确定;每个像素点的所述第二色度差是指所述像素点对应的调整后的色度值与所述像素点对应的所述第一色度值的差值。
7.根据权利要求1-6中任一项所述的方法,其特征在于,所述第二YUV图像是由第一原始图像生成;所述第一原始图像是响应所述拍摄指令采集的多个原始图像中的其中一个;
所述获取第一YUV图像,包括:
获取多个第二原始图像;所述多个第二原始图像包含于所述多个原始图像;
确定多个所述第二原始图像分别对应的第四YUV图像;
融合多个所述第四YUV图像,得到所述第一YUV图像。
8.根据权利要求7所述的方法,其特征在于,所述融合多个所述第四YUV图像,得到所述第一YUV图像,包括:
确定多个所述第四YUV图像分别对应的权重;各个所述第四YUV图像对应的时间差与权重大小负相关;所述时间差是指第一时间和第二时间的差值;所述第一时间是所述第四YUV图像对应的第二原始图像的生成时间,所述第二时间是所述第一原始图像的生成时间;
按照各个所述第四YUV图像分别对应的权重对各个所述第四YUV图像进行加权融合,得到所述第一YUV图像。
9.根据权利要求7所述的方法,其特征在于,所述多个原始图像是在连拍模式下响应于所述拍摄指令连续采集的原始图像;
或者,
所述多个原始图像是在单拍模式下采集的用于进行图像预览的原始图像;所述多个原始图像的采集时间与接收所述拍摄指令的时间满足预设接近条件。
10.一种电子设备,其特征在于,所述电子设备至少包括:存储器以及一个或多个处理器;所述存储器用于存储计算机指令,当所述一个或多个处理器执行所述计算机指令时,使得所述电子设备执行如权利要求1-9中任一项所述的方法。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括计算机指令,当计算机指令在电子设备上运行时,使得电子设备执行如权利要求1-9中任意一项所述的方法。
12.一种计算机程序产品,其特征在于,当所述计算机程序产品在计算机上运行时,使得所述计算机执行如权利要求1-9中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202411776725.XA CN119255115A (zh) | 2024-12-05 | 2024-12-05 | 图像生成方法、电子设备以及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202411776725.XA CN119255115A (zh) | 2024-12-05 | 2024-12-05 | 图像生成方法、电子设备以及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN119255115A true CN119255115A (zh) | 2025-01-03 |
Family
ID=94032979
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202411776725.XA Pending CN119255115A (zh) | 2024-12-05 | 2024-12-05 | 图像生成方法、电子设备以及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN119255115A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008153834A (ja) * | 2006-12-15 | 2008-07-03 | Konica Minolta Opto Inc | 画像処理装置 |
CN108200347A (zh) * | 2018-01-30 | 2018-06-22 | 努比亚技术有限公司 | 一种图像处理方法、终端和计算机可读存储介质 |
CN114841904A (zh) * | 2022-03-03 | 2022-08-02 | 浙江大华技术股份有限公司 | 图像融合方法、电子设备及存储装置 |
CN116048323A (zh) * | 2022-05-27 | 2023-05-02 | 荣耀终端有限公司 | 图像处理方法及电子设备 |
CN118018792A (zh) * | 2023-12-29 | 2024-05-10 | 上海洛塔信息技术有限公司 | 基于色彩评估的图像色彩增强方法、装置及设备 |
-
2024
- 2024-12-05 CN CN202411776725.XA patent/CN119255115A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008153834A (ja) * | 2006-12-15 | 2008-07-03 | Konica Minolta Opto Inc | 画像処理装置 |
CN108200347A (zh) * | 2018-01-30 | 2018-06-22 | 努比亚技术有限公司 | 一种图像处理方法、终端和计算机可读存储介质 |
CN114841904A (zh) * | 2022-03-03 | 2022-08-02 | 浙江大华技术股份有限公司 | 图像融合方法、电子设备及存储装置 |
CN116048323A (zh) * | 2022-05-27 | 2023-05-02 | 荣耀终端有限公司 | 图像处理方法及电子设备 |
CN118018792A (zh) * | 2023-12-29 | 2024-05-10 | 上海洛塔信息技术有限公司 | 基于色彩评估的图像色彩增强方法、装置及设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112150399B (zh) | 基于宽动态范围的图像增强方法及电子设备 | |
CN112887582A (zh) | 一种图像色彩处理方法、装置及相关设备 | |
CN110033418A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN108111749A (zh) | 图像处理方法和装置 | |
CN110062159A (zh) | 基于多帧图像的图像处理方法、装置、电子设备 | |
US20220329729A1 (en) | Photographing method, storage medium and electronic device | |
CN117201930B (zh) | 一种拍照方法和电子设备 | |
US20170154437A1 (en) | Image processing apparatus for performing smoothing on human face area | |
WO2018076167A1 (zh) | 适用于无人机控制端的屏幕亮度调整方法及无人机控制端 | |
CN111277751B (zh) | 拍照方法、装置、存储介质及电子设备 | |
CN117745620B (zh) | 一种图像处理方法及电子设备 | |
CN112489144B (zh) | 图像处理方法、图像处理装置、终端设备及存储介质 | |
CN116668838A (zh) | 图像处理方法与电子设备 | |
CN108495038B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN116466899A (zh) | 图像处理方法及电子设备 | |
CN113727085A (zh) | 一种白平衡处理方法和电子设备 | |
CN116055895B (zh) | 图像处理方法及其装置、芯片系统和存储介质 | |
CN114945087B (zh) | 基于人脸特征的图像处理方法、装置、设备及存储介质 | |
CN116029951B (zh) | 图像处理方法与电子设备 | |
CN119255115A (zh) | 图像生成方法、电子设备以及存储介质 | |
CN116309224A (zh) | 图像融合方法、装置、终端及计算机可读存储介质 | |
CN115546858A (zh) | 人脸图像处理方法和电子设备 | |
CN116721257A (zh) | 图像处理方法、电子设备和计算机可读存储介质 | |
CN118509715B (zh) | 一种光斑显示方法、装置及电子设备 | |
CN111339330A (zh) | 照片处理方法、装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Country or region after: China Address after: Unit 3401, unit a, building 6, Shenye Zhongcheng, No. 8089, Hongli West Road, Donghai community, Xiangmihu street, Futian District, Shenzhen, Guangdong 518040 Applicant after: Honor Terminal Co.,Ltd. Address before: 3401, unit a, building 6, Shenye Zhongcheng, No. 8089, Hongli West Road, Donghai community, Xiangmihu street, Futian District, Shenzhen, Guangdong Applicant before: Honor Device Co.,Ltd. Country or region before: China |