CN108881674B - 图像采集装置和图像处理方法 - Google Patents
图像采集装置和图像处理方法 Download PDFInfo
- Publication number
- CN108881674B CN108881674B CN201710412898.7A CN201710412898A CN108881674B CN 108881674 B CN108881674 B CN 108881674B CN 201710412898 A CN201710412898 A CN 201710412898A CN 108881674 B CN108881674 B CN 108881674B
- Authority
- CN
- China
- Prior art keywords
- image
- living body
- light source
- lights
- controller
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 28
- 238000000034 method Methods 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 11
- 230000008569 process Effects 0.000 claims description 7
- 230000008901 benefit Effects 0.000 abstract description 6
- 238000003384 imaging method Methods 0.000 abstract description 6
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000007794 irritation Effects 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Input (AREA)
Abstract
本发明的实施例提供了一种图像采集装置和图像处理方法。图像处理装置包括光源、控制器、图像传感器和信号处理器,其中,光源用于同时向图像传感器的图像采集区域发射波长不同的多种光;控制器用于开启光源并控制光源在两个或多于两个时段分别发射具有两组或多于两组亮度值的多种光,其中,每组亮度值包括与多种光一一对应的多个亮度值;图像传感器用于针对图像采集区域采集图像;信号处理器用于处理图像传感器在具有两组或多于两组亮度值的多种光的照射下分别采集到的两个或多于两个活体模式图像,以获得用于指示图像采集区域是否存在活体的活体信息。上述装置和方法可以避免现有的交错发光和成像所造成的时间消耗,具有速度快的优点。
Description
技术领域
本发明涉及人工智能领域,更具体地涉及一种人脸识别领域的图像采集装置和图像处理方法。
背景技术
活体识别是指区分人脸和照片/屏幕/面具等非人脸对象(假体)的技术。目前常用的活体识别方法是基于多光谱的方法,该方法通过测量对象在波长不同的光下的反射率来将人脸和非人脸区分开,具有安全性高的特点。然而,现有的基于多光谱的活体识别系统需要在波长不同的光的交错照射下分别成像。例如,假设有A、B、C三个波长不同的光源,进行图像采集时,按以下方式交错进行:光源A开启,光源B、C关闭,获得图像1;光源B开启,光源A、C关闭,获得图像2;光源C开启,光源A、B关闭,获得图像3,然后对图像1至3进行处理以判断进行活体识别的对象是否是活体。由于交错发光和成像,导致现有的活体识别系统要么硬件复杂、昂贵,要么速度慢。
发明内容
考虑到上述问题而提出了本发明。本发明提供了一种图像采集装置和图像处理方法。
根据本发明一方面,提供了一种图像采集装置。该系统包括光源、控制器、图像传感器和信号处理器,其中,所述光源用于同时向所述图像传感器的图像采集区域发射波长不同的多种光;所述控制器用于开启所述光源并控制所述光源在两个或多于两个时段分别发射具有两组或多于两组亮度值的所述多种光,其中,每组亮度值包括与所述多种光一一对应的多个亮度值;所述图像传感器用于针对所述图像采集区域采集图像;所述信号处理器用于处理所述图像传感器在所述具有两组或多于两组亮度值的所述多种光的照射下分别采集到的两个或多于两个活体模式图像,以获得用于指示所述图像采集区域是否存在活体的活体信息。
示例性地,所述控制器还用于关闭所述光源;所述信号处理器还用于将所述图像传感器在所述光源关闭时采集到的非活体模式图像与所述活体信息叠加,以获得叠加图像。
示例性地,所述图像采集装置还包括输出装置,用于输出所述叠加图像。
示例性地,所述光源是近红外光源。
示例性地,所述图像传感器的数目是一个,所述图像采集装置还包括自然光截止滤波片,所述自然光截止滤波片置于所述图像传感器前面,所述控制器还用于在开启所述光源时将所述自然光截止滤波片切换为启用状态,并在关闭所述光源时将所述自然光截止滤波片切换为未启用状态。
示例性地,所述图像传感器的数目是两个,分别用于接收自然光和红外光。
示例性地,所述控制器进一步用于控制所述光源以使得具有每组亮度值的多种光的持续时间小于或等于所述图像传感器的两个相邻的曝光开始时间之间的时间差。
示例性地,所述控制器还用于在接收到所述图像传感器传送的、关于当前曝光开始的曝光信号时,控制所述光源发射具有当前组亮度值的所述多种光。
示例性地,所述控制器还用于在控制所述光源发射具有当前组亮度值的所述多种光时,向所述图像传感器传送关于当前曝光开始的控制信号,以控制所述图像传感器开始曝光。
示例性地,所述控制器进一步用于向所述光源传送脉冲宽度调制信号,以控制所述光源发射具有所述脉冲宽度调制信号所指示的亮度值的所述多种光。
示例性地,所述信号处理器通过以下方式处理所述两个或多于两个活体模式图像:
对于所述两个或多于两个活体模式图像中的、除第一个活体模式图像以外的其余活体模式图像中的每一个,根据以下公式计算该活体模式图像的子活体率:
Mn(x,y)=exp(-an*(Ln(x,y)/L1(x,y)-bn)2);
其中,n≥2,Mn(x,y)是第n个活体模式图像的坐标为(x,y)的像素的子活体率,an是与第n个活体模式图像对应的第一预设参数,bn是与第n个活体模式图像对应的第二预设参数,Ln(x,y)是第n个活体模式图像的坐标为(x,y)的像素的像素值,L1(x,y)是第1个活体模式图像的坐标为(x,y)的像素的像素值;
将所计算的所有子活体率相乘,以获得所述活体信息。
示例性地,控制器进一步用于周期性地开启光源并控制光源在两个或多于两个时段分别发射具有两组或多于两组亮度值的多种光。
示例性地,图像采集装置还包括输出装置,控制器还用于关闭光源;信号处理器还用于对图像传感器在光源关闭时采集到的非活体模式图像进行编码,以获得经编码图像;输出装置用于输出经编码图像。
根据本发明另一方面,提供一种图像处理方法,包括:在两个或多于两个时段分别向图像采集区域发射具有两组或多于两组亮度值的波长不同的多种光,其中,多种光在每个时段同时发射,并且每组亮度值包括与多种光一一对应的多个亮度值;针对图像采集区域采集图像;以及处理在具有两组或多于两组亮度值的多种光的照射下分别采集到的两个或多于两个活体模式图像,以获得用于指示图像采集区域是否存在活体的活体信息。
示例性地,图像处理方法还包括:停止向图像采集区域发射多种光;以及将在多种光未发射时采集到的非活体模式图像与活体信息叠加,以获得叠加图像。
示例性地,图像处理方法还包括:输出叠加图像。
示例性地,处理在具有两组或多于两组亮度值的多种光的照射下分别采集到的两个或多于两个活体模式图像包括:
对于两个或多于两个活体模式图像中的、除第一个活体模式图像以外的其余活体模式图像中的每一个,根据以下公式计算该活体模式图像的子活体率:
Mn(x,y)=exp(-an*(Ln(x,y)/L1(x,y)-bn)2);
其中,n≥2,Mn(x,y)是第n个活体模式图像的坐标为(x,y)的像素的子活体率,an是与第n个活体模式图像对应的第一预设参数,bn是与第n个活体模式图像对应的第二预设参数,Ln(x,y)是第n个活体模式图像的坐标为(x,y)的像素的像素值,L1(x,y)是第1个活体模式图像的坐标为(x,y)的像素的像素值;
将所计算的所有子活体率相乘,以获得活体信息。
根据本发明实施例的图像采集装置和图像处理方法,由于光源同时发射波长不同的多种光,图像传感器在多种光的同时照射下成像,因此根据本发明实施例的图像采集装置和图像处理方法可以避免现有的交错发光和成像所造成的时间消耗,具有速度快的优点。并且,根据本发明实施例的图像采集装置的硬件结构简单,成本低。
附图说明
通过结合附图对本发明实施例进行更详细的描述,本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解,并且构成说明书的一部分,与本发明实施例一起用于解释本发明,并不构成对本发明的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1示出根据本发明一个实施例的图像采集装置的示意性框图;以及
图2示出根据本发明一个实施例的图像处理方法的示意性流程图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显,下面将参照附图详细描述根据本发明的示例实施例。显然,所描述的实施例仅仅是本发明的一部分实施例,而不是本发明的全部实施例,应理解,本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例,本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
为了解决上文所述的问题,本发明实施例提供一种图像采集装置和图像处理方法,该装置和方法在同一时刻发射波长不同的多种光并在多种光的同时照射下成像,避免现有的交错发光和成像所造成的硬件复杂、昂贵等问题。
下面,将参考图1描述根据本发明实施例的图像采集装置。图1示出根据本发明一个实施例的图像采集装置100的示意性框图。如图1所示,图像采集装置100包括光源110、控制器120、图像传感器130和信号处理器140。
光源110用于同时向图像传感器130的图像采集区域发射波长不同的多种光。
示例性地,光源110可以是近红外光源,也就是说,波长不同的多种光可以是近红外光。例如,光源110可以发射波长为750nm、850nm、940nm和1020nm的光中的一种或多种。采用近红外光有以下优点:对人眼的刺激小,并且价格便宜。在一个示例中,光源110可以包括多个激光光源或多个发光二极管(LED)。在另一个示例中,光源110可以是多波长光源。
控制器120用于开启光源110并控制光源110在两个或多于两个时段分别发射具有两组或多于两组亮度值的多种光(即,亮度值的组数与时段的数量一致,在两个时段分别发射具有两组亮度值的多种光,在三个时段分别发射具有三组亮度值的多种光,以此类推),其中,每组亮度值包括与多种光一一对应的多个亮度值。
如图1所示,控制器120与光源110连接,所述连接可以是直接连接,也可以是间接连接。控制器120可以向光源110传送控制信号,以控制光源110的开启和关闭,并且可以通过控制信号控制光源110发射的每种光的亮度。
光源110在开启时,在同一时段内可以发射具有一组亮度值的多种光。可以理解,如果光源发出三种光,则每组亮度值包括三个亮度值,分别与三种光对应。光源110在每一时段发射的每种光的亮度值可以是预先定义好的,并且光源110在每一时段发射的每种光的亮度值可以由控制器120控制。示例性地,控制器120可以通过脉冲宽度调制(PWM)方法来控制每种光的亮度值。控制器120可以进一步用于向光源110传送PWM信号,以控制光源110发射具有PWM信号所指示的亮度值的多种光。可选地,可以采用同一PWM信号控制多种光的亮度值(这样每种光在同一时刻的亮度值是一样的),也可以采用多个PWM信号一一对应地控制多种光的亮度值。当然,采用PWM信号控制多种光的亮度值的方案还可以有其他合适的实现方式,在此不赘述。
图像传感器130用于针对图像采集区域采集图像。
示例性地,在光源110是近红外光源的情况下,图像传感器130可以是具有近红外光接收能力的互补金属氧化物半导体(CMOS)/电荷耦合器件(CCD)图像阵列。
在一个示例中,图像传感器130的数目可以是一个,图像采集装置100还可以包括自然光截止滤波片,自然光截止滤波片置于图像传感器130前面。自然光截止滤波片在启用时可以滤掉自然光,透过红外光,从而仅使得红外光进入图像传感器130。可选地,自然光截止滤波片的启用和关闭可以由控制器120控制。例如,控制器120还可以用于在开启光源110时将自然光截止滤波片切换为启用状态,并在关闭光源110时将自然光截止滤波片切换为未启用状态。也就是说,光源110和滤波片可以是同时工作的。当图像采集装置100工作于非活体模式下时,控制器120控制光源110关闭,此时,可以不启用自然光截止滤波片,图像传感器130可以直接采集自然光照射下的非活体模式图像。当图像采集装置100工作于活体模式下时,控制器120控制光源110开启,此时,可以启用自然光截止滤波片,以滤掉自然光,图像传感器130采集到的是近红外光照射下的活体模式图像。
在另一个示例中,图像传感器130的数目可以是两个,分别用于接收自然光和红外光。
信号处理器140用于处理图像传感器130在具有两组或多于两组亮度值的多种光的照射下分别采集到的两个或多于两个活体模式图像,以获得用于指示图像采集区域是否存在活体的活体信息。
示例性地,图像采集装置100可以工作在活体模式和非活体模式。当图像采集装置100工作在活体模式下时,光源110开启,图像传感器130可以采集到多种光照射下的活体模式图像。当图像采集装置100工作在非活体模式下时,光源110关闭,此时图像传感器130采集到的是自然光照射下的非活体模式图像,图像传感器130的作用与常规的图像传感器相同。可选地,如果光源110是近红外光源,并且图像采集装置100包括上述自然光截止滤波片,则当图像采集装置100工作在活体模式下时,自然光截止滤波片可以切换为启用状态。
如图1所示,信号处理器140与图像传感器130连接,所述连接可以是直接连接,也可以是间接连接。信号处理器140可以接收图像传感器130采集到的图像。信号处理器140主要用于对图像传感器130采集到的活体模式图像进行处理,获得所需的活体信息。示例性而非限制性地,活体信息可以是活体率。下文将描述活体率的计算方式及其意义,此处不赘述。
示例性地,信号处理器140可以是,例如,专用集成电路(ASIC)、现场可编程门阵列(FPGA)、嵌入式处理器(ARM)、数字信号处理器(DSP)、图像信号处理器(ISP)等。
可以理解,虽然图1中示出控制器120与信号处理器140连接,但是这并非对本发明的限制。控制器120可以与信号处理器140通信来传送某些信息。可选地,控制器120和信号处理器140也可以各自独立地工作。
在根据本发明实施例的图像采集装置100中,光源110同时发射波长不同的多种光,图像传感器130可以采集在多种光的同时照射下的活体模式图像,因此在采集到的同一活体模式图像中可以包含进行活体识别的对象对多种光的反射信息。随后可以由信号处理器140进行图像处理,根据活体模式图像判断对象是否是活体(即图像采集区域是否存在活体)。根据本发明实施例的图像采集装置100可以避免现有的交错发光和成像所造成的时间消耗,具有速度快的优点。并且,图像采集装置100的硬件结构简单,成本低。
此外,上述图像采集装置100可以视为一种人脸活体相机,其可以与已有的人脸识别系统集成。现有的基于多光谱的活体识别系统一般需要专用的软件开发工具包(SDK),其与已有的人脸识别系统的集成过程繁琐。而根据本发明实施例的图像采集装置100由于发光和成像过程简化,因此程序设计简单,图像采集装置100可以方便地与已有的人脸识别系统集成。
根据本发明实施例,信号处理器140可以通过以下方式处理两个或多于两个活体模式图像:
对于两个或多于两个活体模式图像中的、除第一个活体模式图像以外的其余活体模式图像中的每一个,根据以下公式计算该活体模式图像的子活体率:
Mn(x,y)=exp(-an*(Ln(x,y)/L1(x,y)-bn)2);
其中,n≥2,Mn(x,y)是第n个活体模式图像的坐标为(x,y)的像素的子活体率,an是与第n个活体模式图像对应的第一预设参数,bn是与第n个活体模式图像对应的第二预设参数,Ln(x,y)是第n个活体模式图像的坐标为(x,y)的像素的像素值,L1(x,y)是第1个活体模式图像的坐标为(x,y)的像素的像素值;
将所计算的所有子活体率相乘,以获得活体信息。
在活体模式下,第一时段内,控制器120可以将光源110发射的各种光的亮度值设置为预定义好的第一组亮度值,图像传感器130此时采集到一帧图像,称为“第一活体模式图像(L1)”。第二时段内,控制器120可以将光源110发射的各种光的亮度值设置为预定义好的第二组亮度值,图像传感器130此时采集到一帧图像,称为“第二活体模式图像(L2)”。可选地,可以采集n个图像,n≥2。
对于L1和L2中的每对对应像素,计算比值S2(x,y):
S2(x,y)=L2(x,y)/L1(x,y)
随后,根据比值计算L2的子活体率M2(x,y):
M2(x,y)=exp(-a2*(S2(x,y)-b2)2)
其中,a2和b2是与L2对应的第一预设参数和第二预设参数。
如果控制器120共设置了两组亮度值,则一共获得两个活体模式图像L1和L2,在这种情况下,计算出的子活体率M2(x,y)即为最终的活体率M(x,y),也就是所需的活体信息。如果控制器120设置了多于两组亮度值,则可以计算每个活体模式图像Ln与第一活体模式图像L1之间的比值,并根据比值计算该活体模式图像Ln的子活体率Mn(x,y)。随后,可以将所有子活体率相乘,获得最终的活体率M(x,y),也就是所需的活体信息。
示例性地,可以预先在波长不同的多种光下采集正常人脸和照片、屏幕或面具等假体的图像。正常人脸的图像为正样本图像,诸如照片、屏幕或面具等假体的图像为负样本图像。可以利用正样本图像和负样本图像训练上述公式,以确定合适的亮度分布系数(即每次设置的各种光的亮度值)以及参数(即第一预设参数an和第二预设参数bn)。
示例性地,活体率M(x,y)还可以采用卷积神经网络的方式计算获得。例如,可以将图像传感器130采集到的所有活体模式图像输入训练好的卷积神经网络,卷积神经网络可以输出所需的活体率M(x,y)。卷积神经网络同样可以利用针对正常人脸采集到的正样本图像和针对照片、屏幕或面具等假体采集到的负样本图像进行训练。本领域技术人员可以理解卷积神经网络的训练方式和应用方式,本文不对此进行赘述。
上述活体信息的形式(以“活体率”表示)及计算方式仅是示例而非对本发明的限制,根据本发明实施例的图像采集装置100可以采用其他合适的方式来表示及确定活体信息。例如,活体信息还可以是诸如“是”/“否”、“1”/“0”、“活体成功通过”/“活体识别失败”等的指示信息。假设活体信息是“1”/“0”,则可以用“1”代表图像采集区域存在活体,“0”代表图像采集区域不存在活体。
根据本发明实施例,控制器120还可以用于关闭光源110,信号处理器140还可以用于将图像传感器130在光源110关闭时采集到的非活体模式图像与活体信息叠加,以获得叠加图像。
如上文所述,当图像采集装置100工作在非活体模式下时,光源110关闭,此时图像传感器130采集到的是自然光照射下的非活体模式图像。将活体信息融合到自然光下采集到的非活体模式图像上,可以更清楚地在非活体模式图像中反映图像采集区域是否存在活体及活体存在的位置这类信息。并且,这种融合有利于与已有的人脸识别系统集成,也就是,可以将图像采集装置100作为普通的图像采集系统(例如相机)的替代无缝地与已有的人脸识别系统集成。
示例性地,上述活体率M(x,y)可以大致表示图像传感器130采集到的图像(包括活体模式图像和非活体模式图像)中的坐标为(x,y)的像素属于活体的置信度。例如,对于图像中存在活体的位置,对应的M(x,y)的值可以接近1,对于图像中不存在活体的位置,对应的M(x,y)的值可以接近0。如果将活体率M(x,y)直接用图像形式表示,则得到的图像大致为黑白图像,白色部分表示存在活体,黑色部分表示不存在活体。示例性地,可以将非活体模式图像的对应像素的像素值与M(x,y)相乘,获得的结果即为叠加图像。可以理解,在叠加图像中,非活体模式图像中的活体所在位置的像素值大致不变,其余位置的像素值接近0。也就是说,在叠加图像中,可以将非活体模式图像中的活体保留下来,其余位置则呈现黑色。应理解,上述M(x,y)的取值方式及与非活体模式图像的叠加方式仅是示例而非对本发明的限制。
示例性地,非活体模式图像的数目可以是一个或多个。在图像传感器130采集获得多个非活体模式图像的情况下,可以将每个非活体模式图像分别与活体率M(x,y)相乘,获得多个叠加图像。
示例性地,可以在采集活体模式图像之前或之后采集非活体模式图像,活体模式图像是连续采集的,这样进行活体识别的对象本身及周围环境等图像采集条件的变化不大,因此图像处理结果更准确。当然,在采集活体模式图像期间间歇性地采集非活体模式图像也是可行的。
根据本发明实施例,图像采集装置100还可以包括输出装置,用于输出叠加图像。示例性地,输出装置可以是输出接口,用于通过有线或无线网络将叠加图像输出到外部设备。输出装置还可以是任何合适的显示装置,诸如阴极射线管显示器(CRT)、等离子显示器(PDP)、液晶显示器(LCD)等。将叠加图像输出,可以方便用户查看活体识别结果,用户可以一目了然地获知是否存在活体、活体的位置、活体的外貌等。
根据本发明实施例,控制器120还可以用于在接收到图像传感器130传送的、关于当前曝光开始的曝光信号时,控制光源110发射具有当前组亮度值的多种光。
示例性地,控制器120可以不控制图像传感器130曝光,其可以接收图像传感器130的曝光信号,获知图像传感器130开始曝光。在控制器120接收到曝光信号的情况下,控制器120可以向光源110传送控制信号,以控制光源110发射具有控制信号所指示的亮度值的多种光。当控制器120接收到图像传感器130传送的下一曝光信号时,控制器120可以控制光源110改变其所发射的每种光的亮度值。
根据本发明实施例,控制器120还可以用于在控制光源110发射具有当前组亮度值的多种光时,向图像传感器130传送关于当前曝光开始的控制信号,以控制图像传感器130开始曝光。
示例性地,控制器120可以同时控制光源110的开关和图像传感器130的曝光。例如,控制器120可以同时向光源110和图像传感器130发出各自对应的控制信号,使得光源110开始发射光时,图像传感器130开始曝光。可以理解,这种方式比较容易协调光源110和图像传感器130的工作。
根据本发明实施例,控制器120可以进一步用于控制光源110以使得具有每组亮度值的多种光的持续时间小于或等于图像传感器130的两个相邻的曝光开始时间之间的时间差。
控制器120可以控制光源110的开启和关闭,也就是说,其可以控制光源110发射的具有每组亮度值的多种光的持续时间。示例性地,当图像传感器130开始当前曝光时,控制器120可以控制光源110开启,在图像传感器130开始下一次曝光之前或开始下一次曝光时,控制器120可以控制光源110关闭。本领域技术人员可以理解,图像传感器在当前曝光结束之后,一般会经过一段时间之后再开始下一次曝光,因此光源110在下一次曝光之前关闭不会影响图像采集效果,并且有可能节省能源。
示例性地,控制器120可以进一步用于周期性地开启光源110并控制光源110在两个或多于两个时段分别发射具有两组或多于两组亮度值的多种光。
可以周期性地发射具有两组或多于两组亮度值的多种光。根据一个示例,在第一秒至第三秒,控制器120控制光源110分别发射具有三组亮度值的多种光,每组亮度值持续一秒,在第四秒和第五秒,控制器120关闭光源110;在第六秒至第八秒,控制器120控制光源110分别发射具有三组亮度值(第六秒的一组亮度值与第一秒的一组亮度值一致、第七秒的一组亮度值与第二秒的一组亮度值一致、第八秒的一组亮度值与第三秒的一组亮度值一致)的多种光,每组亮度值持续一秒,在第九秒和第十秒,控制器120关闭光源110;依此类推。由于图像采集区域的环境和对象可能实时变动,所以可以周期性地更新活体信息,以实现实时的活体检测。
示例性地,图像采集装置100还可以包括输出装置,控制器120还可以用于关闭光源110;信号处理器140还可以用于对图像传感器在光源关闭时采集到的非活体模式图像进行编码,以获得经编码图像;输出装置可以用于输出经编码图像。
如上文所述,图像采集装置100可以工作在非活体模式下。在这种模式下,光源110关闭,图像采集装置100可以当作普通相机使用。图像采集装置100可以在人脸活体相机和普通相机之间自由切换,因此其可以实现双重功能。图像采集装置100可以将采集到的非活体模式图像进行编码之后输出。
示例性地,输出装置可以是输出接口,用于通过有线或无线网络将叠加图像输出到外部设备。输出装置还可以是任何合适的显示装置,诸如阴极射线管显示器(CRT)、等离子显示器(PDP)、液晶显示器(LCD)等。
示例性地而非限制性地,用于输出经编码图像的输出装置与上述用于输出叠加图像的输出装置可以是同一装置。
根据本发明另一方面,提供一种图像处理方法。图2示出根据本发明一个实施例的图像处理方法200的示意性流程图。如图2所示,图像处理方法200包括以下步骤。
在步骤S210,在两个或多于两个时段分别向图像采集区域发射具有两组或多于两组亮度值的波长不同的多种光,其中,多种光在每个时段同时发射,并且每组亮度值包括与多种光一一对应的多个亮度值。
在步骤S220,针对图像采集区域采集图像。
在步骤S230,处理在具有两组或多于两组亮度值的多种光的照射下分别采集到的两个或多于两个活体模式图像,以获得用于指示图像采集区域是否存在活体的活体信息。
如上文所述,控制器120可以开启光源110并控制光源110在两个或多于两个时段分别向图像传感器130的图像采集区域发射具有两组或多于两组亮度值的多种光。同时,可以利用图像传感器130针对图像采集区域采集图像。在采集到两个或多于两个活体模式图像之后,可以利用上述信号处理器140处理采集到的两个或多于两个活体模式图像,以获得所需的活体信息。
示例性地,图像处理方法200还可以包括:停止向图像采集区域发射多种光;以及将在多种光未发射时采集到的非活体模式图像与活体信息叠加,以获得叠加图像。
例如,控制器120可以关闭光源110,从而停止向图像采集区域发射多种光。在光源110关闭的时间段内,采集到的是自然光照射下的非活体模式图像。将活体信息融合到自然光下采集到的非活体模式图像上,可以更清楚地在非活体模式图像中反映图像采集区域是否存在活体及活体存在的位置这类信息。
示例性地,图像处理方法200还可以包括:输出叠加图像。
可选地,可以通过有线或无线网络输出叠加图像,还可以通过显示装置输出叠加图像。输出叠加图像可以方便用户查看活体识别结果。
示例性地,多种光是近红外光。多种光可以由光源发射,光源可以是近红外光源。
示例性地,步骤S220采用图像采集装置的图像传感器实现,图像传感器的数目是一个,图像采集装置还包括自然光截止滤波片,自然光截止滤波片置于图像传感器前面,图像处理方法200还可以包括:在开启光源时将自然光截止滤波片切换为启用状态,并在关闭光源时将自然光截止滤波片切换为未启用状态。
示例性地,步骤S220采用图像采集装置的图像传感器实现,图像传感器的数目是两个,分别用于接收自然光和红外光。步骤S220可以包括:利用用于接收红外光的图像传感器采集两个或多于两个活体模式图像。步骤S220还可以包括:利用用于接收自然光的图像传感器采集非活体模式图像。
示例性地,多种光可以由光源发射,步骤S220采用图像采集装置的图像传感器实现,图像处理方法200还可以包括:控制光源以使得具有每组亮度值的多种光的持续时间小于或等于图像传感器的两个相邻的曝光开始时间之间的时间差。
示例性地,多种光可以由光源发射,步骤S220采用图像采集装置的图像传感器实现,图像处理方法200还可以包括:在接收到图像传感器传送的、关于当前曝光开始的曝光信号时,控制光源发射具有当前组亮度值的多种光。
示例性地,多种光可以由光源发射,步骤S220采用图像采集装置的图像传感器实现,图像处理方法200还可以包括:在控制光源发射具有当前组亮度值的多种光时,向图像传感器传送关于当前曝光开始的控制信号,以控制图像传感器开始曝光。
示例性地,多种光可以由光源发射,步骤S210可以包括:向光源传送脉冲宽度调制信号,以控制光源发射具有脉冲宽度调制信号所指示的亮度值的多种光。示例性地,步骤S230可以包括:
对于两个或多于两个活体模式图像中的、除第一个活体模式图像以外的其余活体模式图像中的每一个,根据以下公式计算该活体模式图像的子活体率:
Mn(x,y)=exp(-an*(Ln(x,y)/L1(x,y)-bn)2);
其中,n≥2,Mn(x,y)是第n个活体模式图像的坐标为(x,y)的像素的子活体率,an是与第n个活体模式图像对应的第一预设参数,bn是与第n个活体模式图像对应的第二预设参数,Ln(x,y)是第n个活体模式图像的坐标为(x,y)的像素的像素值,L1(x,y)是第1个活体模式图像的坐标为(x,y)的像素的像素值;
将所计算的所有子活体率相乘,以获得活体信息。
上文已经描述了根据子活体率计算活体信息的方式,此处不再赘述。可以理解,根据子活体率计算活体信息的方式仅是示例而非限制,可以采用其他合适的方式确定活体信息。
示例性地,多种光可以由光源发射,步骤S210可以包括:周期性地开启光源并控制光源在两个或多于两个时段分别发射具有两组或多于两组亮度值的多种光。
示例性地,图像处理方法200还包括:停止向图像采集区域发射多种光;对在多种光未发射时采集到的非活体模式图像进行编码,以获得经编码图像;以及输出经编码图像。
尽管这里已经参考附图描述了示例实施例,应理解上述示例实施例仅仅是示例性的,并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改,而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。例如,以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个设备,或一些特征可以忽略,或不执行。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本发明并帮助理解各个发明方面中的一个或多个,在对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该本发明的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如相应的权利要求书所反映的那样,其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域的技术人员可以理解,除了特征之间相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的图像采集装置中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述,仅为本发明的具体实施方式或对具体实施方式的说明,本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。
Claims (17)
1.一种图像采集装置,包括光源、控制器、图像传感器和信号处理器,其中,
所述光源用于同时向所述图像传感器的图像采集区域发射波长不同的多种光;
所述控制器用于开启所述光源并控制所述光源在两个或多于两个时段分别发射具有两组或多于两组亮度值的所述多种光,其中,所述光源在开启时在同一时段内发射具有一组亮度值的所述多种光,每组亮度值包括与所述多种光一一对应的多个亮度值;
所述图像传感器用于针对所述图像采集区域采集图像;
所述信号处理器用于处理所述图像传感器在所述具有两组或多于两组亮度值的所述多种光的照射下分别采集到的两个或多于两个活体模式图像,以获得用于指示所述图像采集区域是否存在活体的活体信息。
2.如权利要求1所述的图像采集装置,其中,
所述控制器还用于关闭所述光源;
所述信号处理器还用于将所述图像传感器在所述光源关闭时采集到的非活体模式图像与所述活体信息叠加,以获得叠加图像。
3.如权利要求2所述的图像采集装置,其中,所述图像采集装置还包括输出装置,用于输出所述叠加图像。
4.如权利要求1所述的图像采集装置,其中,所述光源是近红外光源。
5.如权利要求4所述的图像采集装置,其中,所述图像传感器的数目是一个,所述图像采集装置还包括自然光截止滤波片,所述自然光截止滤波片置于所述图像传感器前面,
所述控制器还用于在开启所述光源时将所述自然光截止滤波片切换为启用状态,并在关闭所述光源时将所述自然光截止滤波片切换为未启用状态。
6.如权利要求4所述的图像采集装置,其中,所述图像传感器的数目是两个,分别用于接收自然光和红外光。
7.如权利要求1所述的图像采集装置,其中,所述控制器进一步用于控制所述光源以使得具有每组亮度值的所述多种光的持续时间小于或等于所述图像传感器的两个相邻的曝光开始时间之间的时间差。
8.如权利要求1所述的图像采集装置,其中,所述控制器还用于在接收到所述图像传感器传送的、关于当前曝光开始的曝光信号时,控制所述光源发射具有当前组亮度值的所述多种光。
9.如权利要求1所述的图像采集装置,其中,所述控制器还用于在控制所述光源发射具有当前组亮度值的所述多种光时,向所述图像传感器传送关于当前曝光开始的控制信号,以控制所述图像传感器开始曝光。
10.如权利要求1所述的图像采集装置,其中,所述控制器进一步用于向所述光源传送脉冲宽度调制信号,以控制所述光源发射具有所述脉冲宽度调制信号所指示的亮度值的所述多种光。
11.如权利要求1所述的图像采集装置,其中,所述信号处理器通过以下方式处理所述两个或多于两个活体模式图像:
对于所述两个或多于两个活体模式图像中的、除第一个活体模式图像以外的其余活体模式图像中的每一个,根据以下公式计算该活体模式图像的子活体率:
Mn(x,y)=exp(-an*(Ln(x,y)/L1(x,y)-bn)2);
其中,n≥2,Mn(x,y)是第n个活体模式图像的坐标为(x,y)的像素的子活体率,an是与第n个活体模式图像对应的第一预设参数,bn是与第n个活体模式图像对应的第二预设参数,Ln(x,y)是第n个活体模式图像的坐标为(x,y)的像素的像素值,L1(x,y)是第1个活体模式图像的坐标为(x,y)的像素的像素值;
将所计算的所有子活体率相乘,以获得所述活体信息。
12.如权利要求1所述的图像采集装置,其中,所述控制器进一步用于周期性地开启所述光源并控制所述光源在两个或多于两个时段分别发射具有两组或多于两组亮度值的所述多种光。
13.如权利要求1所述的图像采集装置,其中,所述图像采集装置还包括输出装置,
所述控制器还用于关闭所述光源;
所述信号处理器还用于对所述图像传感器在所述光源关闭时采集到的非活体模式图像进行编码,以获得经编码图像;
所述输出装置用于输出所述经编码图像。
14.一种图像处理方法,包括:
在两个或多于两个时段分别向图像采集区域发射具有两组或多于两组亮度值的波长不同的多种光,其中,所述在两个或多于两个时段分别向图像采集区域发射具有两组或多于两组亮度值的波长不同的多种光包括:在同一时段内发射具有一组亮度值的所述多种光,所述多种光在每个时段同时发射,并且每组亮度值包括与所述多种光一一对应的多个亮度值;
针对所述图像采集区域采集图像;以及
处理在所述具有两组或多于两组亮度值的所述多种光的照射下分别采集到的两个或多于两个活体模式图像,以获得用于指示所述图像采集区域是否存在活体的活体信息。
15.如权利要求14所述的图像处理方法,其中,所述图像处理方法还包括:
停止向所述图像采集区域发射所述多种光;以及
将在所述多种光未发射时采集到的非活体模式图像与所述活体信息叠加,以获得叠加图像。
16.如权利要求15所述的图像处理方法,其中,所述图像处理方法还包括:输出所述叠加图像。
17.如权利要求14所述的图像处理方法,其中,所述处理在所述具有两组或多于两组亮度值的所述多种光的照射下分别采集到的两个或多于两个活体模式图像包括:
对于所述两个或多于两个活体模式图像中的、除第一个活体模式图像以外的其余活体模式图像中的每一个,根据以下公式计算该活体模式图像的子活体率:
Mn(x,y)=exp(-an*(Ln(x,y)/L1(x,y)-bn)2);
其中,n≥2,Mn(x,y)是第n个活体模式图像的坐标为(x,y)的像素的子活体率,an是与第n个活体模式图像对应的第一预设参数,bn是与第n个活体模式图像对应的第二预设参数,Ln(x,y)是第n个活体模式图像的坐标为(x,y)的像素的像素值,L1(x,y)是第1个活体模式图像的坐标为(x,y)的像素的像素值;
将所计算的所有子活体率相乘,以获得所述活体信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710412898.7A CN108881674B (zh) | 2017-06-05 | 2017-06-05 | 图像采集装置和图像处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710412898.7A CN108881674B (zh) | 2017-06-05 | 2017-06-05 | 图像采集装置和图像处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108881674A CN108881674A (zh) | 2018-11-23 |
CN108881674B true CN108881674B (zh) | 2020-09-18 |
Family
ID=64320799
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710412898.7A Active CN108881674B (zh) | 2017-06-05 | 2017-06-05 | 图像采集装置和图像处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108881674B (zh) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100576231C (zh) * | 2007-01-15 | 2009-12-30 | 中国科学院自动化研究所 | 图像采集装置及应用该装置的人脸识别系统和方法 |
CN101493884B (zh) * | 2008-01-24 | 2012-05-23 | 中国科学院自动化研究所 | 多光谱图像采集装置和方法 |
JP5541914B2 (ja) * | 2009-12-28 | 2014-07-09 | オリンパス株式会社 | 画像処理装置、電子機器、プログラム及び内視鏡装置の作動方法 |
CN105518711B (zh) * | 2015-06-29 | 2019-11-29 | 北京旷视科技有限公司 | 活体检测方法、活体检测系统以及计算机程序产品 |
CN105260731A (zh) * | 2015-11-25 | 2016-01-20 | 商汤集团有限公司 | 一种基于光脉冲的人脸活体检测系统及方法 |
CN105447483B (zh) * | 2015-12-31 | 2019-03-22 | 徐州旷视数据科技有限公司 | 活体检测方法及装置 |
CN106529512B (zh) * | 2016-12-15 | 2019-09-10 | 北京旷视科技有限公司 | 活体人脸验证方法及装置 |
-
2017
- 2017-06-05 CN CN201710412898.7A patent/CN108881674B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN108881674A (zh) | 2018-11-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11381753B2 (en) | Adjusting camera exposure for three-dimensional depth sensing and two-dimensional imaging | |
US20200082160A1 (en) | Face recognition module with artificial intelligence models | |
US20160206204A1 (en) | Organ Imaging Device | |
US9898658B2 (en) | Pupil detection light source device, pupil detection device and pupil detection method | |
JP2014017114A (ja) | 照明システム | |
CN102472950B (zh) | 摄像装置以及搭载了该摄像装置的便携式电话机 | |
JP2013005234A5 (zh) | ||
JP6381654B2 (ja) | 視線検出装置 | |
US11904869B2 (en) | Monitoring system and non-transitory storage medium | |
CN108881674B (zh) | 图像采集装置和图像处理方法 | |
JP7013730B2 (ja) | 画像生成制御装置、画像生成制御方法、及び画像生成制御プログラム | |
KR101872165B1 (ko) | 구강카메라 | |
CN108351684B (zh) | 操作检测装置、操作检测方法以及影像显示系统 | |
JP2016051312A (ja) | 視線検出装置 | |
KR20220133607A (ko) | 이종 영상 일체형 카메라 장치 | |
CN110245618B (zh) | 3d识别装置及方法 | |
TWI464527B (zh) | 自動調整攝像亮度值的電子裝置及方法 | |
JP2009042098A (ja) | 画像処理式物体検出装置 | |
CN109426762B (zh) | 一种生物识别系统、方法和生物识别终端 | |
TWI594630B (zh) | Night photography system and its method | |
CN110378207A (zh) | 人脸认证方法、装置、电子设备及可读存储介质 | |
JP7080724B2 (ja) | 配光制御装置、投光システム及び配光制御方法 | |
CN109816662B (zh) | 前景影像提取的影像处理方法与电子装置 | |
JP6742818B2 (ja) | 撮像装置 | |
JP6512806B2 (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |