CN100338628C - 眼睛图像拍摄装置 - Google Patents

Abstract

一种眼睛图像拍摄装置，包括：成像单元(120)，用于拍摄待识别者的眼睛，作为眼睛图像；照明单元(110)，用于照明待识别者的眼睛；眼镜反射检测单元(132)，用于在眼睛图像中检测眼镜反射；和指示单元(140)，用于在眼镜反射检测部(132)检测到眼镜反射的情况下，向待识别者指示成像单元(120)的移动或待识别者的脸部朝向。

Description

眼睛图像拍摄装置

技术领域

本发明涉及可以安装在移动终端中用作虹膜识别装置的眼睛图像拍摄装置。

背景技术

通常，虹膜识别装置通过如下步骤来进行个人识别：利用近红外线照射待识别者的眼睛、利用拍摄元件(camera)拍摄眼睛图像和眼周图像(下面简称为“眼睛图像”)、从所获得的眼睛图像中提取虹膜信息、并将该虹膜信息与已经在虹膜信息数据库中登记的虹膜信息进行比较。在该个人识别中，必须高精度地拍摄良好的眼睛图像，以精确地提取待识别者的虹膜信息。但是，在待识别者佩戴了眼镜的情况下，眼镜反射的光(下面简称为“眼镜反射”)可能与虹膜部分重叠，从而无法提取虹膜信息。

因此，已经提出了一种技术(如，JP-A-10-5195)，其中通过预先设置具有不同入射角的多个照明器并且选择性地仅使用不引起眼镜反射的照明器来拍摄无眼镜反射的眼睛图像，还提出了另一种技术(如，JP-T-2002-501265)，其中通过对在不同的位置存在眼镜反射的多个图像进行合成来获得一个无眼镜反射的图像。

然而，对于这些技术，需要在远离拍摄元件的多个位置设置多个照明器，使这些照明器的光轴相对于拍摄元件的光轴具有不同的角度。当将这些技术应用于希望减小尺寸和重量的移动终端装置(诸如移动电话)时，引起了一个问题，即，不能将照明器设置在远离拍摄元件的位置。另一个问题是需要增加尝试次数来形成多个图像。

发明内容

本发明旨在解决这些问题，并且其目的在于提供一种眼睛图像拍摄装置，即使在待识别者佩戴了眼镜的情况下，其也可以通过更少的尝试次数而获得满意的眼睛图像，而无需在远离拍摄元件的多个位置处设置多个照明器。

为了解决这些问题，本发明的眼睛图像拍摄装置的特征在于，在所拍摄的眼睛图像中检测到眼镜反射的情况下，根据瞳孔位置与眼镜反射位置之间的相对位置，指示成像单元的移动方向或者待识别者的脸部朝向的移动方向，以获得无眼镜反射的眼睛图像。

附图说明

图1是表示根据本发明实施例1的眼睛图像拍摄装置的框图。

图2是表示眼睛图像的一个示例的图。

图3是表示本发明实施例1中的眼睛图像拍摄装置的工作过程的流程图。

图4A是表示眼睛、拍摄元件、近红外照明器与眼镜的相对位置关系的图表。

图4B是表示眼睛图像的一个示例的图。

图4C是表示眼镜反射的相对位置、用于避免眼镜反射的拍摄元件移动方向、以及脸部移动方向的图。

图5是根据本发明实施例2的眼睛图像拍摄装置的框图。

图6是表示本发明实施例2中的眼睛图像拍摄装置的工作过程的流程图。

图7是表示本发明的实施例1或实施例2中的用于对待识别者进行指示的其它手段的图。

具体实施方式

下面参照附图说明根据本发明实施例的眼睛图像拍摄装置。

(实施例1)

图1是表示根据本发明实施例1的眼睛图像拍摄装置的框图。本实施例中的眼睛图像拍摄装置100具有：照明单元110，用于利用近红外线照射待识别者的眼睛；成像单元120，用于对眼睛进行成像；信号处理单元130，用于检测眼镜反射存在与否、反射位置和瞳孔位置，并向虹膜识别装置等输出识别用眼睛图像；指示单元140，用于对待识别者进行指示；以及控制单元150，用于控制各个模块。

照明单元110包括近红外线照明器111和照明控制部112，该照明单元110以具有适于获取眼睛图像的量的近红外线照射待识别者的眼睛。

成像单元120包括：透镜121、可见光滤光器122、成像元件123、图像信号转换部124和引导镜125。在本实施例中，通过使用固定焦点的透镜作为透镜121，实现了光学系统的小型化和低成本。引导镜125通过映出待识别者的眼睛来将眼睛导向正确的成像位置。通过近红外线照明器111来照射待识别者的眼睛，并通过透镜121和可见光滤光器122由成像元件123对眼睛进行成像。图像信号转换部124从成像元件123的输出信号中提取图像信号成分，并在对图像信号成分进行必要的转换(例如增益调节)之后将其输出作为图像信号。下面把该图像信号简称为“眼睛图像”，并把成像单元120输出眼睛图像之前的一系列操作简称为“图像取入”。

信号处理单元130包括图像质量判定部131、眼镜反射检测部132和瞳孔检测部133。图像质量判定部131判定所获得的图像信号的亮度、对比度和对焦(focus)，以判定该图像是否适于虹膜识别。图2是表示眼睛图像的一个示例的图。在下面继续进行的说明中假设眼睛图像不仅包含虹膜11，还包含由眼镜30反射的近红外线照明器111的光，即，眼镜反射50。眼镜反射检测部132对所获取的图像信号进行二值化，以提取高亮度区域。在除了由近红外线照明器111的角膜反射60产生的较小的高亮度区域之外还存在较大的高亮度区域的情况下，将较大的高亮度区域判定为眼镜反射50，并且确定眼镜反射的重心51。瞳孔检测部133对所获取的图像信号进行二值化，以提取低亮度区域，并根据其形状和尺寸判定该区域为瞳孔12，确定瞳孔中心13。

指示单元140包括相对位置判定部141、消息作成部142、扬声器146和液晶显示单元148。在检测到眼镜反射50的情况下，相对位置判定部141确定眼镜反射的重心51对于瞳孔中心13的相对位置。消息作成部142根据从相对位置判定部141输出的信号作成适当的消息，作为用于避免眼镜反射50的指示。通过扬声器146将该消息转换为语音消息，或显示在液晶显示单元148上。

在实施例1中，作为瞳孔检测方法，说明了提取图像信号的低亮度区域的方法。也可以使用另一种方法，例如，利用具有一般瞳孔形状的模板来进行模式(pattern)匹配的方法，或者通过检测近红外线照明器111的照明光在角膜上反射时产生的角膜反射60来进行模式匹配的方法。

下面将说明本发明实施例1中的眼睛图像拍摄装置的工作。在假设在虹膜识别装置中使用该眼睛图像拍摄装置的前提下说明消息示例。

图3是表示本发明实施例1中的眼睛图像拍摄装置的工作过程的流程图。当待识别者进行识别启动操作来开始识别时，消息作成部142作成用于启动识别的消息(如“开始识别”)。将该内容显示在液晶显示单元148上，并通过扬声器146输出为语音消息(S12)。

接下来，成像单元120取入图像(S21)。图像质量判定部131判定所取入的图像是否可用于虹膜识别(S22)。如果为否，则过程返回到步骤S21以再次取入图像。如果为是，则瞳孔检测部133检测瞳孔12和瞳孔中心13，并且眼镜反射检测部132检测眼镜反射50及其重心51(S23)。在瞳孔12和眼镜反射50都未能检测到的情况下(S24)，由于认为没有拍摄到眼睛本身的图像，所以过程返回到步骤S21。

在瞳孔12和眼镜反射50都被检测到的情况下(S25)，相对位置判定部141计算眼镜反射50的重心51对于瞳孔中心13的相对位置关系，并输出一个表示眼镜反射50的相对位置的信号，如[上]或[下](S31)(下面用括号[]表示该信号所表示的内容。例如，表示向上的信号简单地表示为[上]，表示未知的信号简单地表示为[未知])。根据眼镜反射50的重心51的相对位置，消息作成部142作成一个指示拍摄元件在避免眼镜反射50的方向上移动的消息，并将该消息内容显示在液晶显示单元148上，比如在眼镜反射50位于瞳孔12上方的情况下该消息是“眼镜反射！向上移动拍摄元件”。还通过扬声器146将该消息内容输出为语音消息(S32)。然后，过程返回到步骤S21。由于下面将要说明的原因，在该步骤中不必每次都输出语音消息。

在检测到眼镜反射50而未能检测到瞳孔12的情况下(S26)，认为没有捕捉到瞳孔12本身，或者瞳孔12的位置和眼镜反射50的位置重合。在这种情况下，相对位置判定部141不能判定眼镜反射50的相对位置，因此输出[未知]。消息作成部142作成一个指示拍摄元件移动的消息，如“眼镜反射！移动拍摄元件”，并将该内容显示在液晶显示单元148上。还将该消息内容通过扬声器146输出为语音消息(S41)。然后，过程返回到步骤S21。在该阶段也不必每次都输出语音消息。

在检测到瞳孔12而没有检测到眼镜反射50的情况下，认为已经取入了适当的眼睛图像。因此，相对位置判定部141输出信号[OK]，表示已经成功地取入了适当的眼睛图像。消息作成部142可以作成一个表示已经成功取入了适当的眼睛图像的消息，如“取入了图像”，并可以将其内容以图像或语音输出(S13)。然后，结束眼睛图像取入操作。

这里，通常以每秒10到100次的高速进行成像元件的图像取入，语音消息的每次输出通常需要2到3秒。因此不能每次都输出语音消息，而是能以几秒一次或更低的速度输出。此时，可以设置为在前一个语音消息结束的时候输出新的语音消息。但是，更为实用的是，对相对位置判定部141的输出观察预定的一段时间，得知进行了等于或多于预定次数的相同输出后才发出语音消息。语音消息更为有利，在于：既便正在对待识别者进行识别时，也可接收到语音消息而不必移动视线。

在画面显示中发出指示的情况下，可以每次都发出消息。但是，可以像语音消息一样在积攒预定次数之后发出消息。

下面将说明相对位置判定部141的输出与要在消息作成部142中作成的消息内容之间的关系。图4A是表示眼睛10、拍摄元件20、近红外线照明器111与眼镜30之间的相对位置的图，图4B是表示上述相对位置情况下的眼睛图像40的一个示例的图。如图4A所示，为了拍摄眼睛图像40，必须使瞳孔12位于拍摄元件20的光轴上或其附近。此外，为了实现小型结构，近红外线照明器111的光轴不能距离拍摄元件20的光轴太远。另一方面，眼镜30对于近红外线照明器111的反射光(即眼镜反射50)是由眼镜30的反射面形成的照明器的虚像25的位置决定的。如图4B所示，如果当眼镜反射50位于瞳孔12之上时拍摄元件20向上移动，则眼镜反射50进一步向上移动，从而离开眼睛图像40。在相对位置判定部141的输出为[上]的情况下，作成消息“向上移动拍摄元件”。该消息也可以为“脸向下”。此说明也可类似地应用于另一方向。图4C是表示眼镜反射50的相对位置、用于避免眼镜反射的拍摄元件移动方向、以及脸部移动方向的图表。由此，在与眼镜反射50的相对位置相同的方向上移动拍摄元件，而在与眼镜反射50的相对位置相反的方向上移动脸部是所期望的。

本实施例说明了此时输出[上]、[下]、[OK]和[未知]中的任何一个，作为相对位置判定部141的输出。但是，还可以另外输出[右]、[左]和[右上]。更具体地，还可以利用反射光的相对位置矢量来输出(X坐标，Y坐标)。

根据所说明的本发明的实施例1，即使在最初取入的图像中包含眼镜反射的情况下，也可以使用指示单元向待识别者发出应向哪移动拍摄元件或应向哪移动脸部的适当指示，从而以较少的尝试次数进行满意的眼睛图像取入，而无需设置远离拍摄元件的多个照明器。

(实施例2)

图5是根据本发明实施例2的眼睛图像拍摄装置的框图。与实施例1类似，实施例2中的眼睛图像拍摄装置200具有照明单元110、成像单元120、信号处理单元130、指示单元240和控制单元150。与实施例1的不同之处在于指示单元240中设置了存储部243。

将存储部243设计为在过去进行了眼睛图像取入而输出了语音消息的情况下，或者在输出了眼睛图像取入成功的消息的情况下，存储相对位置判定部141的输出。消息作成部242不仅根据相对位置判定部141的输出来作成适当消息，还根据存储部243中存储的过去的消息来作成适当消息。

下面将说明本发明实施例2中的眼睛图像拍摄装置的操作。图6是表示本发明实施例2中的眼睛图像拍摄装置的工作过程的流程图。

当待识别者进行识别启动操作来开始识别时，消息作成部242参照存储在存储部243中的过去的数据选择频度最高的数据(S11)。例如参照最近五次的数据内容，如果按照新旧顺序所存储的内容依次为[OK]、[上]、[OK]、[上]和[上]，则发现在上一次识别时输出了一次诸如“眼镜反射！向上移动拍摄元件”的语音消息，并且在上上次识别中两次或更多次输出了该同一消息。由于在该情况下频度最高的值为[上]，这表示由于待识别者的习惯或缺乏经验，很可能在将要取入的眼睛图像40的瞳孔12上方出现眼镜反射50。因此，作为语音消息，通过扬声器146输出用于避免预期的眼镜反射50的指示内容。语音消息还可以为例如“比平时更为向上地移动拍摄元件，开始识别”。如果待识别者逐渐变得习惯，使得按照新旧顺序的存储内容变为[OK]、[OK]、[OK]、[下]和[OK]，则频度最高的值为[OK]。从而，在这种情况下，消息作成部242和通常一样作成诸如“开始识别”的消息来开始识别。将上述内容显示在液晶显示单元148上，并通过扬声器146输出为语音消息(S12)。

接下来，进行眼睛图像40的取入(S21)、图像质量判定(S22)以及眼镜反射50和瞳孔12的检测(S23)。此时，在瞳孔12和眼镜反射50都未检测到的情况下(S24)，过程返回到步骤S21。

在瞳孔12和眼镜反射50都被检测到的情况下(S25)，判定眼镜反射50的相对位置(S31)，并输出消息(S32)。此时，将相对位置判定部141的输出内容(如[上]、[下]等)写入存储部243中(S33)。然后，过程返回到步骤S11。与实施例1类似，在该步骤中不必每次都输出语音消息。此外，不必每次都进行步骤S33中的写入存储部243的操作，在本实施例中是在输出了语音消息的情况下进行存储部243的写入。

在检测到眼镜反射50而未能检测到瞳孔12的情况下(S26)，相对位置判定部141输出[未知]，并且消息作成部242输出该消息以指示拍摄元件的移动(S41)。将[未知]内容写入存储部243中(S42)。然后，过程返回到步骤S11。此时，既不必每次都输出语音消息，也不必每次在步骤S42中进行存储单元243的写入。在输出了语音消息的情况下，进行存储部243的写入。

在检测到瞳孔位置而没有检测到眼镜反射50的情况下，相对位置判定部141输出表示成功取入了眼睛图像的信号[OK]。消息作成部242输出表示成功取入了眼睛图像的消息(S13)。将[OK]内容写入存储部243中(S42)。然后，结束眼睛图像取入操作。

在实施例2中，当待识别者通过进行识别启动操作来开始识别时，消息作成部242参照存储在存储部243中的过去的数据来选择频度最高的数据，但是也可以使用其它方法来选择数据。例如，消息作成部242可以选择存储在存储部243中的过去的数据中的最新的数据，或者对于过去的数据用较大的加权系数乘以较新的数据，选择具有最大加权系数和的那种数据。

如结合实施例1或实施例2所说明的，由于眼镜反射50的位置是由拍摄元件20与脸部的相对位置而确定的，所以移动拍摄元件20的指示可以作为向待识别者输出的消息，或者该指示可以是移动待识别者的脸部而不是拍摄元件20。因此，也可以由消息“脸向下”来代替消息“向上移动拍摄元件”。

此外，在实施例1和实施例2中，在画面显示部上显示根据相对位置判定部的输出而作成的消息。但是，该消息可以仅为语音，并且画面显示部可以显示成像元件所取入的图像本身，如图4B所示，或者是一种可以实时地观察瞳孔位置和眼镜反射位置的图像。在后一种情况下，可以实时地捕获根据语音消息移动眼睛图像拍摄装置时所拍摄到的眼镜反射的位置移动关系，从而可以直观地感觉到移动的方向和大小，以快速地将拍摄元件移动到最适当的位置。

作为向待识别者指示拍摄元件位置或脸部朝向的手段，可以设想不同于上述手段的各种手段。图7是表示用于指示待识别者的其它手段的图。图7A不仅示出了一个在液晶显示单元148上模仿脸部的显示90，还示出了指示脸部移动方向的箭头70。图7B表示在成像单元120的透镜121周围设置多个指示LED 80、并点亮与脸部移动方向对应的一个指示LED的情况。在识别过程中，待识别者通过引导镜125盯住透镜121。如果布置在该位置的指示LED 80发出指示，则视线几乎不会移动，从而不会妨碍识别。

在上述本发明实施例2中的眼睛图像拍摄装置中，在对佩戴眼镜的待识别者的图像进行取入的情况下，根据存储在存储部中的待识别者的以往的图像取入习惯，通过给出在难以取入眼镜反射的方向上移动拍摄元件的指示的指示单元，可以减小在初期取入的图像中包含眼镜反射的概率。

因此，根据本发明，可以提供一种眼睛图像拍摄装置，其即使在待识别者佩戴了眼镜的情况下，也可以以更少的尝试次数获取无眼镜反射的良好眼睛图像，而无需在远离拍摄元件的位置设置多个照明器。

工业应用性

本发明的眼睛图像拍摄装置即使在待识别者佩戴了眼镜的情况下也可以以更少的尝试次数获得没有眼镜反射的良好眼睛图像，而无需在远离拍摄元件的位置设置多个照明器。因此，该眼睛图像拍摄装置作为在可安装于移动终端中的虹膜识别装置等中使用的眼睛图像拍摄装置是很有用的。

Claims (4)

1、一种眼睛图像拍摄装置，包括：

成像单元，用于拍摄待验证者的眼睛，作为眼睛图像；

照明单元，用于对所述待验证者的眼睛进行照明；

眼镜反射检测单元，用于从所述眼睛图像中检测眼镜反射存在与否及其位置；

瞳孔检测部，用于从所述眼睛图像中检测瞳孔存在与否及其位置；

相对位置判定单元，用于在所述眼镜反射检测单元检测到存在眼镜反射的情况下，判定所述眼镜反射的位置相对于所述瞳孔的位置的相对位置；以及

指示单元，其发出用于使所述成像单元在与所述判定的相对位置相同的方向上移动的指示，以获得无眼镜反射的眼睛图像。

2、根据权利要求1所述的眼睛图像拍摄装置，

还包括存储部，用于存储所述指示单元的指示内容，

其中所述指示单元根据存储在所述存储部中的内容，发出用于使所述成像单元在与所述判定的相对方向相同的所述方向上移动的所述指示。

3、根据权利要求2所述的眼睛图像拍摄装置，

其中所述指示单元指示与所述存储部中存储的内容中频度最高的内容相同的内容。

4、根据权利要求1或2所述的眼睛图像拍摄装置，

其中所述指示单元包括语音输出单元，用于以语音形式发出指示。

Images