[go: up one dir, main page]

CN109300186B - 图像处理方法和装置、存储介质、电子设备 - Google Patents

图像处理方法和装置、存储介质、电子设备 Download PDF

Info

Publication number
CN109300186B
CN109300186B CN201811142984.1A CN201811142984A CN109300186B CN 109300186 B CN109300186 B CN 109300186B CN 201811142984 A CN201811142984 A CN 201811142984A CN 109300186 B CN109300186 B CN 109300186B
Authority
CN
China
Prior art keywords
image
face area
average value
component
shadow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811142984.1A
Other languages
English (en)
Other versions
CN109300186A (zh
Inventor
杨涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201811142984.1A priority Critical patent/CN109300186B/zh
Publication of CN109300186A publication Critical patent/CN109300186A/zh
Application granted granted Critical
Publication of CN109300186B publication Critical patent/CN109300186B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/60Shadow generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00Indexing scheme for image rendering
    • G06T2215/12Shadow map, environment map

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种图像处理方法和装置、电子设备、计算机可读存储介质,从待处理图像中抠出人物图像,从人物图像的人脸区域中获取当前光线的方向,根据当前光线的方向为人物图像添加阴影,得到添加阴影后的人物图像。在对抠图出来的人物图像进行添加类似于真实场景中的阴影时,首先从抠图出来的人物图像的人脸区域中获取当前光线的方向,因为人脸区域一般为图像关注的焦点,且人脸区域包含了较多的光线信息,所以仅从人脸区域中就可以直观准确地获取到整张待处理图像上当前光线的方向,提高了获取整张待处理图像上当前光线的方向的效率和准确度。再根据当前光线的方向为人物图像添加阴影,使得最终添加阴影后的人物图像更加符合真实场景。

Description

图像处理方法和装置、存储介质、电子设备
技术领域
本申请涉及计算机技术领域,特别是涉及一种图像处理方法和装置、存储介质、电子设备。
背景技术
随着移动终端的普及和移动互联网的迅速发展,移动终端的用户使用量越来越大。移动终端中的拍照、制作视频的功能已经成为用户常用功能之一。在拍照、制作视频的过程中,用户经常发现在自然光线的场景下,所拍摄或制作的视频的光线效果不能够满足用户的个性化需求。
发明内容
本申请实施例提供一种图像处理方法和装置、存储介质、电子设备,可以对图像添加阴影,以实现不同的光线效果。
一种图像处理方法,包括:
从待处理图像中抠出人物图像;
从所述人物图像的人脸区域中获取当前光线的方向;
根据所述当前光线的方向为所述人物图像添加阴影,得到添加阴影后的人物图像。
一种图像处理装置,所述装置包括:
抠图模块,用于从待处理图像中抠出人物图像;
光线方向获取模块,用于从所述人物图像的人脸区域中获取当前光线的方向;
阴影添加模块,用于根据所述当前光线的方向为所述人物图像添加阴影,得到添加阴影后的人物图像。一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的图像处理方法的步骤。
一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时执行如上所述的图像处理方法的步骤。
上述图像处理方法和装置、存储介质、电子设备,从待处理图像中抠出人物图像,从人物图像的人脸区域中获取当前光线的方向,根据当前光线的方向为人物图像添加阴影,得到添加阴影后的人物图像。本申请实施例中在对抠图出来的人物图像进行添加类似于真实场景中的阴影时,首先从抠图出来的人物图像的人脸区域中获取当前光线的方向,因为人脸区域一般为图像关注的焦点,且人脸区域包含了较多的光线信息,所以仅从人脸区域中就可以直观准确地获取到整张待处理图像上当前光线的方向,提高了获取整张待处理图像上当前光线的方向的效率和准确度。再根据当前光线的方向为人物图像添加阴影,得到添加阴影后的人物图像。使得最终添加阴影后的人物图像更加符合真实场景。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中电子设备的内部结构图;
图2为一个实施例中图像处理方法的流程图;
图3为图2中从人物图像的人脸区域中获取当前光线的方向方法的流程图;
图4为图3中从人物图像的人脸区域对应的HSV图像中获取明度V分量方法的流程图;
图5为一个实施例中对人物图像的人脸区域进行划分的示意图;
图6为另一个实施例中对人物图像的人脸区域进行划分的示意图;
图7为图2中一种根据当前光线的方向为人物图像添加阴影,得到添加阴影后的人物图像方法的流程图;
图8为图2中另一种根据当前光线的方向为人物图像添加阴影,得到添加阴影后的人物图像方法的流程图;
图9为一个实施例中图像处理装置的结构示意图;
图10为一个实施例中图像处理电路的示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
图1为一个实施例中电子设备的内部结构示意图。如图1所示,该电子设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该处理器用于提供计算和控制能力,支撑整个电子设备的运行。存储器用于存储数据、程序等,存储器上存储至少一个计算机程序,该计算机程序可被处理器执行,以实现本申请实施例中提供的适用于电子设备的场景识别方法。存储器可包括磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等非易失性存储介质,或随机存储记忆体(Random-Access-Memory,RAM)等。例如,在一个实施例中,存储器包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行,以用于实现以下各个实施例所提供的一种图像处理方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。网络接口可以是以太网卡或无线网卡等,用于与外部的电子设备进行通信。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。
在一个实施例中,如图2所示,提供了一种图像处理方法,以该方法应用于图1中的电子设备为例进行说明,包括:
步骤220,从待处理图像中抠出人物图像。
待处理图像可以是拍照预览画面,也可以是拍照后保存到电子设备中的照片,或者是从其他地方获取保存至电子设备中的照片。从待处理图像中抠出人物图像,具体地,可以采用多种抠图方法将人物图像从待处理图像中完整地提取出来。
步骤240,从人物图像的人脸区域中获取当前光线的方向。
每张待处理图像中必然存在当前光线的方向,因此,从待处理图像中所抠图出来的人物图像上也体现了待处理图像上的当前光线的方向。人物图像可能包括头部区域(包括人脸区域)及身体区域,从头部区域或身体区域都可以提取出当前光线的方向,具体地,选择从人物图像的人脸区域中获取当前光线的方向。因为人脸区域一般为图像关注的焦点,且人脸区域包含了较多的光线信息,所以仅从人脸区域中就可以直观准确地获取到整张待处理图像上当前光线的方向,提高了获取整张待处理图像上当前光线的方向的效率和准确度。
此处的打光强度指的是将图像的RGB模型转化为HSV模型,HSV模型中的V的值的大小,V值越大则打光强度越大,V值越小则打光强度越小。HSV模型中颜色的参数分别是:色调(H),饱和度(S),明度(V)。其中明度表示颜色明亮的程度,对于光源色,明度值与发光体的光亮度有关;通常取值范围为0%(黑)到100%(白)。
步骤260,根据当前光线的方向为人物图像添加阴影,得到添加阴影后的人物图像。
在从人物图像的人脸区域中获取了当前光线的方向之后,就可以根据当前光线的方向为人物图像添加阴影,得到添加阴影后的人物图像。因为所获取的当前光线的方向与待处理图像中的光线方向是一致的,所以根据当前光线的方向为人物图像添加阴影,所添加的阴影与人物图像可以非常自然地相互融合,更加符合真实场景。
本申请实施例中,从待处理图像中抠出人物图像,从人物图像的人脸区域中获取当前光线的方向,根据当前光线的方向为人物图像添加阴影,得到添加阴影后的人物图像。本申请实施例中在对抠图出来的人物图像进行添加类似于真实场景中的阴影时,首先从抠图出来的人物图像的人脸区域中获取当前光线的方向,因为人脸区域一般为图像关注的焦点,且人脸区域包含了较多的光线信息,所以仅从人脸区域中就可以直观准确地获取到整张待处理图像上当前光线的方向,提高了获取整张待处理图像上当前光线的方向的效率和准确度。再根据当前光线的方向为人物图像添加阴影,得到添加阴影后的人物图像。使得最终添加阴影后的人物图像更加符合真实场景。
在一个实施例中,如图3所示,步骤240,从人物图像的人脸区域中获取当前光线的方向,包括:
步骤242,将人物图像的人脸区域对应的红绿蓝RGB图像由RGB空间转换到色调饱和度明度HSV空间,得到人物图像的人脸区域对应的HSV图像。
这里涉及到图像的RGB色彩模型和HSV色彩模型,以下为对这两个模型的说明。
RGB色彩模型是通过对红(Red,R)、绿(Green,G)、蓝(Blue,B)三个颜色通道的变化以及它们相互之间的叠加来得到各种各样的颜色。RGB色彩模式几乎包括了人类视觉所能感知到的所有颜色,也是目前运用最广的颜色系统之一,人们平时看到或用终端拍摄的图像一般是RGB图像。RGB色彩模式使用RGB模型为图像中的每一个像素的RGB分量分配了一个0~255范围内的强度值。例如:纯蓝色R值为0,G值为0,B值为255;灰色的RGB三个值相等(除了0和255),白色的R、G、B值都是255;黑色的R、G、B都是0。RGB图像只使用三种颜色就可以使他们按照不同的比例混合,在屏幕上出现16777216种颜色。
HSV色彩模型是根据颜色的直观特性而创造的一种颜色空间,这个模型中颜色的参数分别为色调(Hue,H),饱和度(Saturation,S),明度(Value,V)。其中,H用角度度量,取值范围为0°~360°,从红色开始按逆时针方向计算,红色为0°,绿色为120°,蓝色为240°。它们的补色是:黄色为60°,青色为180°,品红为300°;S表示颜色接近光谱色的程度。一种颜色,可以看成是某种光谱色与白色混合的结果。其中光谱色所占的比例愈大,颜色接近光谱色的程度就愈高,颜色的饱和度也就愈高。饱和度高,颜色则深而艳。光谱色的白光成分为0,饱和度达到最高。通常取值范围为0%~100%,值越大,颜色越饱和。明度V表示颜色明亮的程度,对于光源色,明度值与发光体的光亮度有关;对于物体色,此值和物体的透射比或反射比有关。通常取值范围为0%(黑)到100%(白)。
对于一幅RGB图像,可以转换为HSV图像,对于HSV图像也可以转换为RGB图像。在实际实现过程中,可以按照以下步骤将人物图像的人脸区域对应的红绿蓝RGB图像转换为HSV图像:
步骤一,将R、G、B的值的取值范围从0-255修改到0-1。
这里,可以通过以下公式实现:(1-1)(1-2)(1-3)
R'=R/255 (1-1);
其中,在公式(1-1)中,R表示待处理的RGB图像中各个像素的R值,R’表示0-1范围内的R值。
G'=G/255 (1-2);
其中,在公式(1-2)中,G表示待处理的RGB图像中各个像素的G值,G’表示0-1范围内的G值。
B'=B/255 (1-3);
其中,在公式(1-3)中,B表示待处理的RGB图像中各个像素的B值,B’表示0-1范围内的B值。
步骤二,确定转换到0-1范围内的R’,G’,B’中的最大值和最小值,以及最大值和最小值的差值。
这里,按照公式(1-4)确定R’,G’,B’中的最大值:
Cmax=max(R',G',B') (1-4);
其中,在公式(1-4)中,Cmax为R’,G’,B’中的最大值,max()为求最大值函数。
按照公式(1-5)确定R’,G’,B’中的最小值:
Cmin=min(R',G',B') (1-5);
其中,在公式(1-5)中,Cmin为R’,G’,B’中的最小值,min()为求最小值函数。
按照公式(1-6)确定最大值和最小值的差值:
Δ=Cmax-Cmin (1-6);
其中,在公式(1-6)中,Δ为最大值和最小值的差值。
步骤三,按照公式(1-7)计算H值。
Figure BDA0001816215110000071
其中,在公式(1-7)中,H为HSV中的色调H的值,mod为求模函数。
步骤四,按照公式(1-8)计算S值。
Figure BDA0001816215110000072
其中,在公式(1-8)中,S为HSV中饱和度S的值。
步骤五,按照公式(1-9)计算V值。
V=Cmax (1-9);
其中,在公式(1-9)中,V为HSV中明度V的值。
在对人物图像的人脸区域对应的红绿蓝RGB图像,按照上述转换方法计算出了对应的H、S、V值之后,就得到了人物图像的人脸区域对应的HSV图像。
步骤244,从人物图像的人脸区域对应的HSV图像中获取明度V分量。
在得到了人物图像的人脸区域对应的HSV图像之后,就可以得到该HSV图像上的明度V分量对应的数值。
步骤246,根据明度V分量确定当前光线的方向。
HSV色彩模型中颜色的参数分别为色调(Hue,H),饱和度(Saturation,S),明度(Value,V)。其中,H用角度度量,取值范围为0°~360°;S表示颜色接近光谱色的程度,通常取值范围为0%~100%,值越大颜色越饱和。饱和度高,颜色则深而艳。明度V则表示颜色明亮的程度,因此,明度V可以体现光线的方向。具体地,明度不仅由物体照明程度决定,而且由物体表面的反射系数决定。如果人们看到的光线来源于光源,那么明度由光源的强度决定。如果人们看到的是来源于物体表面反射的光线,那么明度由照明的光源的强度和物体表面的反射系数共同决定。
具体地,其中明度表示颜色明亮的程度,对于光源色,明度值与发光体的光亮度有关;通常取值范围为0%(黑)到100%(白)。即V值越大则打光强度越大,V值越小则打光强度越小。所以根据人物图像的人脸区域对应的HSV图像上的明度V分量,就可以确定出当前光线的方向。
本申请实施例中,在获取了人物图像的人脸区域的RGB图像之后,将该RGB图像转换为HSV图像,从而就可以直接从HSV图像中获取到V分量,再根据明度V分量确定当前光线的方向。通过HSV图像中所体现出的V分量来确定当前光线的方向,相比较于其他方法更加准确。
在一个实施例中,如图4所示,步骤244,从人物图像的人脸区域对应的HSV图像中获取明度V分量,包括:
步骤244a,将人物图像的人脸区域对应的HSV图像从中间划分为第一人脸区域和第二人脸区域,将第一人脸区域划分为预设数量个子区域,将第二人脸区域划分为预设数量个子区域。
步骤244b,分别计算预设数量个子区域内V分量的平均值。
具体地,如图5所示,左侧图(a1)和(a2)为同一张人脸,这张人脸是偏向右侧一定角度的。右侧图(b1)和(b2)为同一张人脸,这张人脸是正面朝向纸面外侧的。如图5中(b1)所示,将人物图像的人脸区域对应的HSV图像从中间纵向划分为第一人脸区域501和第二人脸区域502。当然,如图6中(d1)所示,也可以横向进行划分得到第一人脸区域601和第二人脸区域602。这里图5中(b1)的第一人脸区域501和第二人脸区域502、图6中(d1)的第一人脸区域601和第二人脸区域602都是指属于矩形框内的人脸区域部分,不包括属于矩形框内但超出了人脸区域的部分。再分别将第一人脸区域划分为预设数量个子区域,将述第二人脸区域划分为预设数量个子区域。这两个预设数量可以相同,也可以不同。当预设数量相同时,如图5中(b2)所示,对第一人脸区域501横向划分为3个子区域(503、505、507),那么对第二人脸区域502也横向划分为3个子区域(504、506、508)。同理,这里的子区域也是指属于矩形框内的人脸区域部分,不包括属于矩形框内但超出了人脸区域的部分。另外,对于图5中左侧图(a1)和(a2),也是采用相同的方法进行划分,此处不再赘述。对于图6中(d2)所示,对第一人脸区域601纵向划分为2个子区域(603、605),那么对第二人脸区域602也横向划分为2个子区域(604、606)。当然,还可以进行其他方式的划分。在划分了子区域之后,分别计算每一个子区域内V分量的平均值。
本申请实施例中,从人物图像的人脸区域对应的HSV图像中获取明度V分量,可以采用先将该HSV图像划分为预设数量个子区域,从而通过计算每一子区域的明度V分量,最终由每一子区域的明度V分量来对该HSV图像的明度V分量进行体现。这样所得出的每一子区域的明度V分量能够反映该HSV图像中更多的光线信息。以便后续更加明度V分量确定当前光线的方向,提高最终所确定的当前光线的方向的准确性。
在一个实施例中,根据明度V分量确定当前光线的方向,包括:
计算第一人脸区域的V分量的平均值与第二人脸区域的V分量的平均值的比值;
当比值在预设范围内,则确定当前光线的方向为平行光。
在分别计算出每一个子区域内V分量的平均值之后,需要进一步确定人脸区域当前光线的方向。具体地,可以通过计算第一人脸区域501的V分量的平均值、再计算第二人脸区域502的V分量的平均值。例如,通过由上述计算出的第一人脸区域的子区域的V分量的平均值进行平均之后得到第一人脸区域的V分量的平均值,通过由上述计算出的第二人脸区域的子区域的V分量的平均值进行平均之后得到第二人脸区域的V分量的平均值。例如,分别计算出第一人脸区域的子区域(503、505、507)的V分量的平均值,再对这3个子区域的平均值进行平均,将该平均值作为第一人脸区域501的V分量的平均值
Figure BDA0001816215110000091
分别计算出第二人脸区域的子区域(504、506、508)的V分量的平均值,再对这3个子区域的平均值进行平均,将该平均值作为第二人脸区域502的V分量的平均值/>
Figure BDA0001816215110000093
最后将所得到的第一人脸区域501的V分量的平均值/>
Figure BDA0001816215110000092
除以第二人脸区域502的V分量的平均值/>
Figure BDA0001816215110000094
就得到了这两者平均值的比值/>
Figure BDA0001816215110000095
进一步地,判断比值的大小是否落在预设范围内。预设范围可以是根据经验值得到的一个数值区间,例如0.9-1.1。当然,此处的预设范围也可以是其他合理的数值。即人脸区域的V分量的分布比较均匀。当判断出比值在预设范围内,则确定当前光线的方向为平行光。平行光是指光在传播途中其波前始终保持是一个平面的光束。太阳光本来是个点光源,发出的光线是球面光且是朝各个不同方向的,不是平行光的。但是因为太阳光传播的距离非常远了以后,比如传到地球上的时候,光线发散的程度已经很小了,近似的可以认为太阳光的每一个光束都相互平行。即认为太阳光就是一种常见的平行光。
当然,也可以分别计算图5中(b2)中每一横排的子区域的V分量的平均值的比值,例如计算子区域503的V分量的平均值除以子区域504的V分量的平均值,得到第一比值;计算子区域505的V分量的平均值除以子区域506的V分量的平均值,得到第二比值;计算子区域507的V分量的平均值除以子区域508的V分量的平均值,得到第三比值。判断第一比值、第二比值、第三比值这三个比值,是否都在预设范围0.9-1.1之间,若是,则确定当前光线的方向为平行光。
也可以分别计算图6中(d2)中每一纵排的子区域的V分量的平均值的比值,例如计算子区域603的V分量的平均值除以子区域604的V分量的平均值,得到第四比值;计算子区域605的V分量的平均值除以子区域606的V分量的平均值,得到第五比值。判断第四比值、第五比值这两个比值,是否都在预设范围0.9-1.1之间,若是,则确定当前光线的方向为平行光。
本申请实施例中,通过计算子区域内V分量的平均值,再计算出第一人脸区域的V分量的平均值与第二人脸区域的V分量的平均值的比值。进而判断该比值是否在预设范围内,若是则说明当前光线方向为平行光。平行光则不会产生阴影。
在一个实施例中,在计算第一人脸区域的V分量的平均值与第二人脸区域的V分量的平均值的比值之后,包括:
当比值不在预设范围内,则根据第一人脸区域的V分量的平均值与第二人脸区域的V分量的平均值的比值,获取V分量的平均值较大的区域;
从V分量的平均值较大的区域中获取V分量的平均值最大的子区域;
根据子区域的位置确定当前光线的方向。
具体地,当判断出比值不在预设范围内,则根据第一人脸区域的V分量的平均值与第二人脸区域的V分量的平均值的比值,获取V分量的平均值较大的区域。
若是通过由上述计算出的第一人脸区域的子区域的V分量的平均值进行平均之后得到第一人脸区域的V分量的平均值,通过由上述计算出的第二人脸区域的子区域的V分量的平均值进行平均之后得到第二人脸区域的V分量的平均值。则直接获取比值较大的第一人脸区域或第二人脸区域即可。再从该比值较大的区域中获取V分量的平均值最大的子区域。根据子区域的位置确定当前光线的方向。例如,图5中所示,若得到比值较大的是第一人脸区域501,且从第一人脸区域501中获取到子区域503的V分量的平均值最大。则根据子区域503的位置确定当前光线的方向。子区域503位于整个人脸区域的左上方,因此确定当前光线的方向也是从左上方进行打光。后续对人物图像进行打光的时候,就可以从左上方来进行打光,从而使得所形成的阴影更加符合人物图像本来所属的真实场景。此处若对人脸区域划分为六个子区域,则所得出的当前光线的方向对应为六个方向,分别为从左上方位置进行打光、从左中位置进行打光、从左下方位置进行打光、从右下方位置进行打光、从右中位置看下打光、从右上方位置进行打光。若对人脸区域按照其他方法划分为其他数量的子区域,则对应所得到的打光方向也会更加多样化。
若是通过计算每一横排或每一纵排的子区域的V分量的平均值的比值,再判断每一个比值是否在预设范围内。得到只要有任何一个比值不在预设范围内,则此时获取V分量的平均值较大的区域,即第一人脸区域或第二人脸区域。例如,分别计算图5中(b2)中每一横排的子区域的V分量的平均值的比值,例如计算子区域503的V分量的平均值除以子区域504的V分量的平均值,得到第一比值为1.5;计算子区域505的V分量的平均值除以子区域506的V分量的平均值,得到第二比值为1;计算子区域507的V分量的平均值除以子区域508的V分量的平均值,得到第三比值为1.1。则此时根据上述三个比值就得到V分量的平均值较大的区域为第一人脸区域。再从第一人脸区域的子区域中获取到V分量的平均值最大的子区域为503。则根据子区域503的位置确定当前光线的方向。子区域503位于整个人脸区域的左上方,因此确定当前光线的方向也是从左上方进行打光。后续对人物图像进行打光的时候,就可以从左上方来进行打光,从而使得所形成的阴影更加符合人物图像本来所属的真实场景。
本申请实施例中,通过计算子区域内V分量的平均值,再计算出第一人脸区域的V分量的平均值与第二人脸区域的V分量的平均值的比值。进而判断该比值是否在预设范围内,若否则根据该比值获取V分量的平均值较大的区域。进而再从该V分量的平均值较大的区域中获取V分量的平均值最大的子区域,根据子区域的位置确定当前光线的方向。如此确定出人物图像的当前光线的方向的准确度比较高,再根据所得到的当前光线的方向对图像进行处理。使得图像处理之后的效果比较贴近人物图像本来所属的真实场景,不会显得突兀不自然。
在一个实施例中,如图7所示,步骤260,根据当前光线的方向为人物图像添加阴影,得到添加阴影后的人物图像,包括:
步骤262,采用打光模板按照当前光线的方向对人物图像进行打光形成阴影;
步骤264,将阴影与人物图像叠加,生成添加阴影后的人物图像。
本申请实施例中,在经过上述方法得到了人物图像上当前光线的方向之后,将打光模板内打光方向设置为当前光线的方向,采用打光模板按照当前光线的方向对人物图像进行打光形成阴影。再将阴影与人物图像叠加,生成添加阴影后的人物图像。如此所形成的添加阴影后的人物图像,因为阴影也是按照人物图像原来的光线方向形成的,所以为人物图像添加阴影后就会更加符合人物图像本来所属的真实场景,不会显得突兀不自然。打光模板为预先存储在电子设备中以供随时使用。
在一个实施例中,如图8所示,步骤262,采用打光模板按照当前光线的方向对人物图像进行打光形成阴影之后,包括:
步骤266,对阴影按照当前光线的方向偏移,得到渐变的阴影序列;
步骤268,将渐变的阴影序列与人物图像叠加,生成添加阴影后的人物图像。
本申请实施例中,在上述采用打光模板按照当前光线的方向对人物图像进行打光形成阴影之后,还可以对该阴影按照当前光线的方向偏移,得到渐变的阴影序列,即会形成多个阴影。将渐变的阴影序列与人物图像叠加,生成添加阴影后的人物图像。形成动态的光线效果,使得处理之后的图像效果更加多样化、趣味化。
在一个实施例中,步骤266,对阴影按照当前光线的方向偏移,得到渐变的阴影序列,包括:
从待处理图像中提取出RGB-a透明通道;
将阴影通过RGB-a透明通道按照当前光线的方向偏移,得到渐变的阴影序列。
具体地,RGB-a透明通道是一个8位的灰度通道,该通道用256级灰度来记录图像中的透明度信息,定义透明、不透明和半透明区域,其中黑表示全透明,白表示不透明,灰表示半透明。需要解释下的是,这个透明与不透明并非人眼所能看见。利用带有RGB-a通道的素材图像进行合成,直接将素材图像按照一定的层次叠放在一起,素材图像中不需要的部分会自动透明,而显示出其下面图像,即简便而且合成图像的质量效果较好。
从待处理图像中提取出RGB-a透明通道,再将上述采用打光模板按照当前光线的方向对人物图像进行打光所形成的阴影,通过RGB-a透明通道按照当前光线的方向偏移,得到渐变的阴影序列。
本申请实施例中,首先从待处理图像中提取出RGB-a透明通道,因为利用带有RGB-a通道的素材图像进行合成,直接将素材图像按照一定的层次叠放在一起,素材图像中不需要的部分会自动透明,而显示出其下面图像,即简便而且合成图像的质量效果较好。所以将阴影通过RGB-a透明通道按照当前光线的方向偏移,得到渐变的阴影序列,简便易行且所得到的渐变阴影序列更加逼真。
在一个实施例中,如图9所示,提供了一种图像处理装置900包括:抠图模块920、光线方向获取模块940及阴影添加模块960。其中,
抠图模块920,用于从待处理图像中抠出人物图像;
光线方向获取模块940,用于从人物图像的人脸区域中获取当前光线的方向;
阴影添加模块960,用于根据当前光线的方向为人物图像添加阴影,得到添加阴影后的人物图像。
在一个实施例中,光线方向获取模块940,包括HSV图像转换模块,用于将人物图像的人脸区域对应的红绿蓝RGB图像由RGB空间转换到色调饱和度明度HSV空间,得到人物图像的人脸区域对应的HSV图像;
明度V分量获取模块,用于从人物图像的人脸区域对应的HSV图像中获取明度V分量;
光线方向确定模块,用于根据明度V分量确定当前光线的方向。
在一个实施例中,明度V分量获取模块,还用于将人物图像的人脸区域对应的HSV图像从中间划分为第一人脸区域和第二人脸区域,将第一人脸区域划分为预设数量个子区域,将第二人脸区域划分为预设数量个子区域;分别计算预设数量个子区域内V分量的平均值;
光线方向确定模块,还用于计算第一人脸区域的V分量的平均值与第二人脸区域的V分量的平均值的比值;当比值在预设范围内,则确定当前光线的方向为平行光。
在一个实施例中,光线方向确定模块,还用于计算第一人脸区域的V分量的平均值与第二人脸区域的V分量的平均值的比值;当比值不在预设范围内,则根据第一人脸区域的V分量的平均值与第二人脸区域的V分量的平均值的比值,获取V分量的平均值较大的区域;从V分量的平均值较大的区域中获取V分量的平均值最大的子区域;根据子区域的位置确定当前光线的方向。
在一个实施例中,阴影添加模块960,还用于采用打光模板按照当前光线的方向对人物图像进行打光形成阴影;将阴影与人物图像叠加,生成添加阴影后的人物图像。
在一个实施例中,阴影添加模块960,还用于对阴影按照当前光线的方向偏移,得到渐变的阴影序列;将渐变的阴影序列与人物图像叠加,生成添加阴影后的人物图像。
在一个实施例中,阴影添加模块960,还用于从待处理图像中提取出RGB-a透明通道;将阴影通过RGB-a透明通道按照当前光线的方向偏移,得到渐变的阴影序列。
上述图像处理装置中各个模块的划分仅用于举例说明,在其他实施例中,可将图像处理装置按照需要划分为不同的模块,以完成上述图像处理装置的全部或部分功能。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述各实施例所提供的图像处理方法的步骤。
在一个实施例中,提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述各实施例所提供的图像处理方法的步骤。
本申请实施例还提供了一种计算机程序产品,当其在计算机上运行时,使得计算机执行上述各实施例所提供的图像处理方法的步骤。
本申请实施例还提供一种电子设备。该电子设备可以为包括手机、平板电脑、PDA(Personal Digital Assistant,个人数字助理)、POS(Point of Sales,销售终端)、车载电脑、穿戴式设备等任意终端设备,以电子设备为手机为例:上述电子设备中包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义ISP(Image SignalProcessing,图像信号处理)管线的各种处理单元。图10为一个实施例中图像处理电路的示意图。如图10所示,为便于说明,仅示出与本申请实施例相关的图像处理技术的各个方面。
如图10所示,图像处理电路包括第一ISP处理器1030、第二ISP处理器1040和控制逻辑器1050。第一摄像头1010包括一个或多个第一透镜1012和第一图像传感器1014。第一图像传感器1014可包括色彩滤镜阵列(如Bayer滤镜),第一图像传感器1014可获取用第一图像传感器1014的每个成像像素捕捉的光强度和波长信息,并提供可由第一ISP处理器1030处理的一组图像数据。第二摄像头1020包括一个或多个第二透镜1022和第二图像传感器1024。第二图像传感器1024可包括色彩滤镜阵列(如Bayer滤镜),第二图像传感器1024可获取用第二图像传感器1024的每个成像像素捕捉的光强度和波长信息,并提供可由第二ISP处理器1040处理的一组图像数据。
第一摄像头1010采集的第一图像传输给第一ISP处理器1030进行处理,第一ISP处理器1030处理第一图像后,可将第一图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器1050,控制逻辑器1050可根据统计数据确定第一摄像头1010的控制参数,从而第一摄像头1010可根据控制参数进行自动对焦、自动曝光等操作。第一图像经过第一ISP处理器1030进行处理后可存储至图像存储器1060中,第一ISP处理器1030也可以读取图像存储器1060中存储的图像以对进行处理。另外,第一图像经过ISP处理器1030进行处理后可直接发送至显示器1070进行显示,显示器1070也可以读取图像存储器1060中的图像以进行显示。
其中,第一ISP处理器1030按多种格式逐个像素地处理图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,第一ISP处理器1030可对图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度计算精度进行。
图像存储器1060可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct Memory Access,直接直接存储器存取)特征。
当接收到来自第一图像传感器1014接口时,第一ISP处理器1030可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器1060,以便在被显示之前进行另外的处理。第一ISP处理器1030从图像存储器1060接收处理数据,并对处理数据进行RGB和YCbCr颜色空间中的图像数据处理。第一ISP处理器1030处理后的图像数据可输出给显示器1070,以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit,图形处理器)进一步处理。此外,第一ISP处理器1030的输出还可发送给图像存储器1060,且显示器1070可从图像存储器1060读取图像数据。在一个实施例中,图像存储器1060可被配置为实现一个或多个帧缓冲器。
第一ISP处理器1030确定的统计数据可发送给控制逻辑器1050。例如,统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、第一透镜1012阴影校正等第一图像传感器1014统计信息。控制逻辑器1050可包括执行一个或多个例程(如固件)的处理器和/或微控制器,一个或多个例程可根据接收的统计数据,确定第一摄像头1010的控制参数及第一ISP处理器1030的控制参数。例如,第一摄像头1010的控制参数可包括增益、曝光控制的积分时间、防抖参数、闪光控制参数、第一透镜1012控制参数(例如聚焦或变焦用焦距)、或这些参数的组合等。ISP控制参数可包括用于自动白平衡和颜色调整(例如,在RGB处理期间)的增益水平和色彩校正矩阵,以及第一透镜1012阴影校正参数。
同样地,第二摄像头1020采集的第二图像传输给第二ISP处理器1040进行处理,第二ISP处理器1040处理第一图像后,可将第二图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器1050,控制逻辑器1050可根据统计数据确定第二摄像头1020的控制参数,从而第二摄像头1020可根据控制参数进行自动对焦、自动曝光等操作。第二图像经过第二ISP处理器1040进行处理后可存储至图像存储器1060中,第二ISP处理器1040也可以读取图像存储器1060中存储的图像以对进行处理。另外,第二图像经过ISP处理器1040进行处理后可直接发送至显示器1070进行显示,显示器1070也可以读取图像存储器1060中的图像以进行显示。第二摄像头1020和第二ISP处理器1040也可以实现如第一摄像头1010和第一ISP处理器1030所描述的处理过程。
以下为运用图10中图像处理技术实现图像处理方法的步骤。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM),它用作外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像处理方法,其特征在于,包括:
从待处理图像中抠出人物图像;
将所述人物图像的人脸区域对应的红绿蓝RGB图像由RGB空间转换到色调饱和度明度HSV空间,得到所述人物图像的人脸区域对应的HSV图像;
将所述人物图像的人脸区域对应的HSV图像从中间划分为第一人脸区域和第二人脸区域,将所述第一人脸区域划分为预设数量个子区域,将所述第二人脸区域划分为预设数量个子区域;分别计算所述预设数量个子区域内V分量的平均值;
计算所述第一人脸区域的V分量的平均值与所述第二人脸区域的V分量的平均值的比值;当所述比值在预设范围内,则确定当前光线的方向为平行光;
根据所述当前光线的方向为所述人物图像添加阴影,得到添加阴影后的人物图像。
2.根据权利要求1所述的方法,其特征在于,在所述计算所述第一人脸区域的V分量的平均值与所述第二人脸区域的V分量的平均值的比值之后,包括:
当所述比值不在预设范围内,则根据所述第一人脸区域的V分量的平均值与所述第二人脸区域的V分量的平均值的比值,获取V分量的平均值较大的区域;
从所述V分量的平均值较大的区域中获取V分量的平均值最大的子区域;
根据所述子区域的位置确定当前光线的方向。
3.根据权利要求1或2所述的方法,其特征在于,所述根据所述当前光线的方向为所述人物图像添加阴影,得到添加阴影后的人物图像,包括:
采用打光模板按照所述当前光线的方向对所述人物图像进行打光形成阴影;
将所述阴影与所述人物图像叠加,生成添加阴影后的人物图像。
4.根据权利要求3所述的方法,其特征在于,所述采用打光模板按照所述当前光线的方向对所述人物图像进行打光形成阴影之后,包括:
对所述阴影按照所述当前光线的方向偏移,得到渐变的阴影序列;
将所述渐变的阴影序列与所述人物图像叠加,生成添加阴影后的人物图像。
5.根据权利要求4所述的方法,其特征在于,所述对所述阴影按照所述当前光线的方向偏移,得到渐变的阴影序列,包括:
从所述待处理图像中提取出RGB-a透明通道;
将所述阴影通过所述RGB-a透明通道按照所述当前光线的方向偏移,得到渐变的阴影序列。
6.根据权利要求1所述的方法,其特征在于,所述计算所述第一人脸区域的V分量的平均值与所述第二人脸区域的V分量的平均值的比值,包括:
从所述第一人脸区域的子区域、所述第二人脸区域的子区域中分别确定沿第一方向排布的子区域;所述第一方向为横排方向;
计算所述沿第一方向排布的子区域的V分量的平均值的比值,得到所述第一人脸区域的V分量的平均值与所述第二人脸区域的V分量的平均值的比值。
7.根据权利要求1所述的方法,其特征在于,所述计算所述第一人脸区域的V分量的平均值与所述第二人脸区域的V分量的平均值的比值,还包括:
从所述第一人脸区域的子区域、所述第二人脸区域的子区域中分别确定沿第二方向排布的子区域;所述第二方向为纵排方向;
计算所述沿第二方向排布的子区域的V分量的平均值的比值,得到所述第一人脸区域的V分量的平均值与所述第二人脸区域的V分量的平均值的比值。
8.一种图像处理装置,其特征在于,所述装置包括:
抠图模块,用于从待处理图像中抠出人物图像;
光线方向获取模块,用于将所述人物图像的人脸区域对应的红绿蓝RGB图像由RGB空间转换到色调饱和度明度HSV空间,得到所述人物图像的人脸区域对应的HSV图像;将所述人物图像的人脸区域对应的HSV图像从中间划分为第一人脸区域和第二人脸区域,将所述第一人脸区域划分为预设数量个子区域,将所述第二人脸区域划分为预设数量个子区域;分别计算所述预设数量个子区域内V分量的平均值;计算所述第一人脸区域的V分量的平均值与所述第二人脸区域的V分量的平均值的比值;当所述比值在预设范围内,则确定当前光线的方向为平行光;
阴影添加模块,用于根据所述当前光线的方向为所述人物图像添加阴影,得到添加阴影后的人物图像。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的图像处理方法的步骤。
10.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的图像处理方法的步骤。
CN201811142984.1A 2018-09-28 2018-09-28 图像处理方法和装置、存储介质、电子设备 Active CN109300186B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811142984.1A CN109300186B (zh) 2018-09-28 2018-09-28 图像处理方法和装置、存储介质、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811142984.1A CN109300186B (zh) 2018-09-28 2018-09-28 图像处理方法和装置、存储介质、电子设备

Publications (2)

Publication Number Publication Date
CN109300186A CN109300186A (zh) 2019-02-01
CN109300186B true CN109300186B (zh) 2023-03-31

Family

ID=65164902

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811142984.1A Active CN109300186B (zh) 2018-09-28 2018-09-28 图像处理方法和装置、存储介质、电子设备

Country Status (1)

Country Link
CN (1) CN109300186B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109920045B (zh) * 2019-02-02 2023-07-04 珠海金山数字网络科技有限公司 一种场景阴影绘制方法及装置、计算设备及存储介质
CN113592753B (zh) * 2021-07-23 2024-05-07 深圳思谋信息科技有限公司 基于工业相机拍摄的图像的处理方法、装置和计算机设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013042428A (ja) * 2011-08-18 2013-02-28 Fujifilm Corp 撮像装置及び画像処理方法
CN104123743A (zh) * 2014-06-23 2014-10-29 联想(北京)有限公司 图像阴影添加方法及装置
CN107909057A (zh) * 2017-11-30 2018-04-13 广东欧珀移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN108537749A (zh) * 2018-03-29 2018-09-14 广东欧珀移动通信有限公司 图像处理方法、装置、移动终端及计算机可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8290252B2 (en) * 2008-08-28 2012-10-16 Microsoft Corporation Image-based backgrounds for images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013042428A (ja) * 2011-08-18 2013-02-28 Fujifilm Corp 撮像装置及び画像処理方法
CN104123743A (zh) * 2014-06-23 2014-10-29 联想(北京)有限公司 图像阴影添加方法及装置
CN107909057A (zh) * 2017-11-30 2018-04-13 广东欧珀移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN108537749A (zh) * 2018-03-29 2018-09-14 广东欧珀移动通信有限公司 图像处理方法、装置、移动终端及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于移动区域的快速车辆检测;郭娟娟等;《计算机应用》;20080301(第03期);全文 *

Also Published As

Publication number Publication date
CN109300186A (zh) 2019-02-01

Similar Documents

Publication Publication Date Title
CN108734676B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
WO2019085792A1 (en) Image processing method and device, readable storage medium and electronic device
CN107451969B (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
WO2019105154A1 (en) Image processing method, apparatus and device
CN108111749B (zh) 图像处理方法和装置
CN108154514B (zh) 图像处理方法、装置及设备
US10897558B1 (en) Shallow depth of field (SDOF) rendering
CN107800965B (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备
CN108055452A (zh) 图像处理方法、装置及设备
CN108846807A (zh) 光效处理方法、装置、终端及计算机可读存储介质
CN108156369B (zh) 图像处理方法和装置
CN108616700B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN107317967B (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN107872631A (zh) 基于双摄像头的图像拍摄方法、装置及移动终端
CN107911683A (zh) 图像白平衡处理方法、装置、存储介质和电子设备
US20180025476A1 (en) Apparatus and method for processing image, and storage medium
CN107465903A (zh) 图像白平衡方法、装置和计算机可读存储介质
CN107396079A (zh) 白平衡调整方法和装置
CN108322651A (zh) 拍摄方法和装置、电子设备、计算机可读存储介质
CN107517348A (zh) 图像的渲染方法和装置
CN107948617A (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备
CN109325905B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN107635124A (zh) 人脸拍摄的白平衡处理方法、装置及设备
CN109300186B (zh) 图像处理方法和装置、存储介质、电子设备
CN107580205A (zh) 白平衡调整方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant