CN110610176A

CN110610176A - 一种基于人脸亮度的曝光自适应调节方法

Info

Publication number: CN110610176A
Application number: CN201910752128.6A
Authority: CN
Inventors: 杨子江; 陈辰; 黄晁; 史红周; 赵忆; 潘意杰; 查兴兴; 陈春燕; 袁敏杰; 胡波
Original assignee: Ningbo Zhongke Integrated Circuit Design Center Co ltd; Ningbo Institute Of Information Technology Application Cas
Current assignee: Ningbo Zhongke Integrated Circuit Design Center Co ltd; Ningbo Institute Of Information Technology Application Cas
Priority date: 2019-08-08
Filing date: 2019-08-08
Publication date: 2019-12-24

Abstract

本发明公开了一种基于人脸亮度的曝光自适应调节方法，适用于基于人脸识别的智能产品。首先设定一个初始曝光度。当画面内出现人脸时，根据人脸检测的结果定位画面内人脸区域，计算此区域平均亮度并与设定的阈值比较：如果在阈值范围内，则直接使用人脸图像进行识别；否则调整摄像头曝光度，再次进行人脸检测获取人脸图像。当画面内不再存在人脸之后，保持现有曝光度保证后续人脸检测与识别精度。

Description

一种基于人脸亮度的曝光自适应调节方法

技术领域

本发明涉及一种曝光技术，尤其涉及一种基于人脸亮度的曝光自适应调节方法。

背景技术

随着人工智能的高速发展，人脸识别技术作为一种身份认证手段，在考勤系统、门禁系统等应用场景下扮演着愈发重要的角色，因此保证图像质量，尤其是人脸图像的质量，对于这些智能应用有着重要意义。在生产中，大多数厂家都会选择使用宽动态摄像头来保证图像亮度。然而在实际应用场景下，宽动态摄像头虽然能够动态调整曝光度来保证画面的整体亮度，但在背光、逆光和阴影等光线条件下仍无法提供满足识别需求的人脸图像。

因此，研究一种根据人脸亮度自动调节相机曝光度的方法，实现对人脸区域图像质量的优化，能够在相同的硬件和算法基础上得到更高质量的人脸图像以提高人脸的识别率，有利于促进智能产品领域的技术发展。

发明内容

本发明提供了一种基于人脸亮度的曝光自适应调节方法，以解决相机保证整体画面亮度的同时，无法保证人脸区域亮度的问题，主要应用于需要进行人脸识别的智能产品。

本发明解决上述技术问题所采用的技术方案为：一种基于人脸亮度的曝光自适应调节方法，包括以下步骤：

①设定一个初始曝光度E₀；

②对视频流进行人脸检测，当画面内出现人脸时，通过人脸检测算法得到人脸区域(x，y，w，h)，计算人脸区域加权平均亮度B₁，其中x和y分别代表人脸矩形区域左上角的横坐标和纵坐标，w和h分别代表人脸矩形区域的宽度和高度；

③给定亮度阈值T₁和T₂(T₁＜T₂)，如果亮度B₁在阈值范围内，则保存当前曝光参数，进行步骤④；否则调整曝光度，进行步骤②；

④根据人脸图像进行人脸识别，获得结果；

⑤人脸消失后，保持当前曝光度E₁继续进行后续人脸检测。

其中所述步骤②计算人脸区域的加权平均亮度的步骤为：

②-1得到人脸五官点(x_i，y_i)，其中i＝1，2，3，4，5，(x₁，y₁)，(x₂，y₂)为双眼，(x₃，y₃)为鼻尖，(x₄，y₄)，(x₅，y₅)，为左右嘴角，满足条件其中W和H为整体画面的宽和高；

②-2人脸矩形区域的宽度w为两眼之间横向距离l₁乘以一个系数a(a＞1)，其中l₁＝x₂-x₁，则w＝al₁，人脸矩形区域起始横坐标x＝x₁-0.5(a-1)l₁；

②-3人脸矩形区域的高度h为眼睛与嘴角纵向距离的最大值l₂乘以一个系数b(b＞1)，其中l₂＝max(y₄-y₁，y₄-y₂.y₅-y₁，y₅-y₂)，则h＝bl₂，人脸矩形区域起始纵坐标为y＝min(y₁，y₂)-0.5(b-1)l₂；

②-4人脸矩形区域(x，y，w，h)需满足条件其中W和H为整体画面的宽和高，若计算横坐标x时得到x＜0，则取x＝0，若计算纵坐标y时得到y＜0，则取y＝0，若x+w＞W，则减少w使x+w＝W，若y+h＞H，则减少h使y+h＝H。

②-5计算人脸区域平均亮度时赋予五官区域更大的权重；

②-6设定采样步长step，每间隔step个像素点采样一次亮度以减轻计算负担，最终计算得到人脸矩形区域加权平均亮度为B₁。

本发明的优点在于：

1)优化效果显著。目前大多数基于人脸的智能产品已经使用了宽动态摄像头以保证图像亮度，但在实际应用中人脸图像仍然会存在逆光、背光、“阴阳脸”等情况，影响识别的速度和精度。本方法目标性强，在计算人脸区域亮度后动态调整摄像头的曝光度，保证采集的人脸图像亮度在合适的范围内，对人脸特征提取的精度有很大的提升；

2)优化方法简单。常见的人脸识别优化算法大多涉及对图像数据的建模和训练，计算量庞大；而本发明运算简单，仅需计算人脸图像的亮度，计算量较小，对于摄像头曝光度的调节过程也简单明了；

3)延展性强。不仅仅是人脸轨迹匹配，对于其他物体识别、跟踪应用同样适用，如：针对车辆行驶的视频监控，针对野生动物行踪的监测调查等等。

附图说明

图1为本发明方法的流程框图；

图2为人脸区域示意图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明公开了一种基于人脸亮度的曝光自适应调节方法，适用于基于人脸识别的智能产品。首先设定一个初始曝光度。当画面内出现人脸时，根据人脸检测的结果定位画面内人脸区域，计算此区域平均亮度并与设定的阈值比较：如果在阈值范围内，则直接使用人脸图像进行识别；否则调整摄像头曝光度，再次进行人脸检测获取人脸图像。当画面内不再存在人脸之后，保持现有曝光度保证后续人脸检测与识别精度。本实施例在Android 8.1平台上运行，图像格式为YUV420格式，宽动态摄像头提供七个等级的曝光度(-3，-2，-1，0，1，2，3)。

本方法的总体流程框图如图1所示，具体包括以下步骤：

①设定一个初始曝光度E₀，在此实施例中取0级；

②对视频流进行人脸检测，当画面内检测出人脸时，得到人脸五官点(x₁，y₁)，(x₂，y₂)，(x₃，y₃)，(x₄，y₄)，(x₅，y₅)，其中(x₁，y₁)，(x₂，y₂)为双眼，(x₃，y₃)为鼻尖，(x₄，y₄)，(x₅，y₅)，为左右嘴角，由此计算出人脸矩形区域(x，y，w，h)，x和y分别代表人脸矩形区域左上角的横坐标和纵坐标，w和h分别代表人脸矩形区域的宽度和高度，计算人脸区域图像的加权平均亮度B₁，其中五官区域的权重为与其他人脸区域的q倍；

③经实测得到合适的亮度阈值T₁和T₂(T₁＜T₂)，亮度在此区间内的图像能够提供最优的识别效果，比较人脸矩形区域平均亮度B₁，给定亮度阈值T₁和T₂(T₁＜T₂)，如果亮度B₁在阈值范围内，则保存当前曝光参数，进行步骤④；否则调整曝光度，进行步骤②；

④对人脸图像进行识别，获得识别结果；

⑤人脸消失后，保持当前曝光度E₁继续进行后续人脸检测。

所述步骤②中计算人脸矩形区域的详细步骤为：

②-1.得到人脸五官点(x_i，y_i)，其中i＝1，2，3，4，5，(x₁，y₁)，(x₂，y₂)为双眼，(x₃，y₃)为鼻尖，(x₄，y₄)，(x₅，y₅)，为左右嘴角，满足条件其中W和H为整体画面的宽和高；

②-2.人脸矩形区域的宽度w为两眼之间横向距离l₁乘以一个系数a(a＞1)，其中l₁＝x₂-x₁，则w＝al₁，人脸矩形区域起始横坐标x＝x₁-0.5(a-1)l₁。在此实施例中取a＝2，则横坐标x＝x₁-0.5l₁；

②-3.人脸矩形区域的高度h为眼睛与嘴角纵向距离的最大值l₂乘以一个系数b(b＞1)，其中l₂＝max(y₄-y₁，y₄-y₂，y₅-y₁，y₅-y₂)，则h＝bl₂，人脸矩形区域起始纵坐标为y＝min(y₁，y₂)-0.5(b-1)l₂。在此实施例中取b＝2，则纵坐标y＝min(y₁，y₂)-0.5l₂；

②-4.人脸矩形区域(x，y，w，h)需满足条件其中W和H为整体画面的宽和高，若计算横坐标x时得到x＜0，则取x＝0，若计算纵坐标y时得到y＜0，则取y＝0，若x+w＞W，则减少w使x+w＝W，若y+h＞H，则减少h使y+h＝H。

在此实施例中，所述步骤②中的人脸矩形区域有尺寸要求，以避免在人脸过小或者过大的情况下对其进行识别，浪费计算资源。

所述步骤②中的人脸区域加权平均亮度计算的详细步骤为：

②-5.获得图像格式为YUV420格式，对于一个2×2的YUV420图像，其数据存储格式为其中Y即为图像亮度，像素点的个数即为亮度元素的个数，故对于W×H大小的图像，源数据的前W×H个元素即为亮度元素。

②-6.考虑到五官点对于人脸识别的重要性，我们在计算平均亮度的时候赋予五官区域更大的权重。由所述步骤②可知五官区域与其他人脸区域面积比为1∶3，此实施例设权重比为2∶1；

②-7.设采样步长step，每间隔step像素点采样一次亮度以减少计算量。在此实施例中，设采样步长为10，最终计算得到人脸矩形区域加权平均亮度为B₁。

在此实施例中，所述步骤②无需每帧进行，可隔几帧进行一次人脸检测，减少计算负担同时也给摄像头调整曝光参数一定时间缓冲。

所述步骤③中亮度阈值T₁和T₂由实测得，此实施例中取T₁＝120，T₂＝160。在此实施例中摄像头曝光度共有七个等级，将人脸矩形区域平均亮度B₁与亮度阈值比较，若B₁＜T₁，则增加一级曝光度，再次对整体图像进行人脸检测；若亮度B₁＞T₂，则减少一级曝光度，再次对整体图像进行人脸检测；否则保存当前曝光度E₁，对人脸图像进行识别。

所述步骤⑤保持曝光度E₁避免了人脸因光照不均匀导致的无法被检测的情况，能够保证后续的人脸检测率。

为更有力地说明本发明方法的可行性和有效性，我们在不同光照条件下将优化前后的人脸识别方案进行对比，结果如表1所示。

表格1不同光照条件下人脸识别准确率统计结果

	优化前	优化后
			正常光照条件	98.8％	99.1％
背光	93.6％	98.9％
			逆光	95.7％	99.1％
阴阳脸	91.1％	98.5％

上述测试数据中，人脸数目为312个，正常光照条件下测试数量为5000次，背光、逆光、阴阳脸测试共5000次，从结果可以看出此方法的优化效果是显著的。

此外，上述数据为检测到人脸之后识别的准确率，在实际测试中，在背光、逆光、阴阳脸的场景下，未经优化的方案经常存在无法检测到人脸的情况，而优化后的方案基本不存在上述情况，故所述步骤⑤对于整体性能的提升也有重要意义。

Claims

1.一种基于人脸亮度的曝光自适应调节方法，其特征在于包括以下步骤：

设定一个初始曝光度E₀；

对视频流进行人脸检测，当画面内出现人脸时，通过人脸检测算法得到人脸区域(x，y，w，h)，计算人脸区域加权平均亮度B₁，其中x和y分别代表人脸矩形区域左上角的横坐标和纵坐标，w和h分别代表人脸矩形区域的宽度和高度；

给定亮度阈值T₁和T₂(T₁＜T₂)，如果亮度B₁在阈值范围内，则保存当前曝光参数E₁，进行后续人脸识别；否则调整曝光度，重新进行人脸检测。

2.根据权利要求1所述的一种基于人脸亮度的曝光自适应调节方法，其特征还包括：

当画面内没有人脸时，沿用之前人脸识别的曝光度E₁继续进行后续人脸检测与识别。

3.根据权利要求1所述的一种基于人脸亮度的曝光自适应调节方法，其特征在于计算人脸区域的加权平均亮度包括以下步骤：

得到人脸五官点(x_i，y_i)，其中i＝1，2，3，4，5，(x₁，y₁)，(x₂，y₂)为双眼，(x₃，y₃)为鼻尖，(x₄，y₄)，(x₅，y₅)，为左右嘴角，满足条件其中W和H为整体画面的宽和高；

人脸矩形区域的宽度w为两眼之间横向距离l1乘以一个系数a(a＞1)，其中l₁＝x₂-x₁，则w＝al_l，人脸矩形区域起始横坐标x＝x₁-0.5(a-1)l₁；

人脸矩形区域的高度h为眼睛与嘴角纵向距离的最大值l₂乘以一个系数b(b＞1)，其中l₂＝max(y₄-y₁，y₄-y₂.y₅-y₁，y₅-y₂)，则h＝bl₂，人脸矩形区域起始纵坐标为y＝min(y₁，y₂)-0.5(b-1)l₂；

人脸矩形区域(x，y，w，h)需满足条件其中W和H为整体画面的宽和高，若计算横坐标x时得到x＜0，则取x＝0，若计算纵坐标y时得到y＜0，则取y＝0，若x+w＞W，则减少w使x+w＝W，若y+h＞H，则减少h使y+h＝H。

计算人脸区域平均亮度时赋予五官区域更大的权重；

设定采样步长step，每间隔step个像素点采样一次亮度以减轻计算负担，最终计算得到人脸矩形区域加权平均亮度为B₁。