JP2010244156A - Image feature amount detection device and gaze direction detection device using the same - Google Patents
Image feature amount detection device and gaze direction detection device using the same Download PDFInfo
- Publication number
- JP2010244156A JP2010244156A JP2009089753A JP2009089753A JP2010244156A JP 2010244156 A JP2010244156 A JP 2010244156A JP 2009089753 A JP2009089753 A JP 2009089753A JP 2009089753 A JP2009089753 A JP 2009089753A JP 2010244156 A JP2010244156 A JP 2010244156A
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- light source
- purkinje
- face image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 60
- 238000012545 processing Methods 0.000 claims abstract description 62
- 238000000034 method Methods 0.000 claims abstract description 37
- 230000008569 process Effects 0.000 claims abstract description 21
- 210000004087 cornea Anatomy 0.000 claims abstract description 5
- 239000011521 glass Substances 0.000 claims description 61
- 238000000926 separation method Methods 0.000 claims description 16
- 230000000295 complement effect Effects 0.000 claims description 2
- 238000012937 correction Methods 0.000 claims description 2
- 238000005286 illumination Methods 0.000 description 141
- 210000000744 eyelid Anatomy 0.000 description 13
- 230000008859 change Effects 0.000 description 12
- 210000001508 eye Anatomy 0.000 description 12
- 230000002093 peripheral effect Effects 0.000 description 7
- 238000000605 extraction Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241001469893 Oxyzygonectes dovii Species 0.000 description 1
- 241001504424 Zosteropidae Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】プルキニエ像を精度良く検出すること。
【解決手段】本発明による画像特徴量検出装置は、光源と、カメラと、前記カメラにより撮像された画像を処理して、人の目の角膜表面における前記光源の反射像（プルキニエ像）を検出する画像処理装置とを備え、前記光源は、互いに異なる方向から人の顔を照明するように配置された第１及び第２の光源を含み、前記画像処理装置は、前記第１の光源を点灯し前記第２の光源を消灯した状態で前記カメラにより撮像された第１の画像と、前記第２の光源を点灯し前記第１の光源を消灯した状態で前記カメラにより撮像された第２の画像とを用いて、前記第１の画像内の所定輝度以上の画素集合と、前記第２の画像内の所定輝度以上の画素集合との位置の差に基づいて、前記プルキニエ像を検出することを特徴とする。
【選択図】図３A Purkinje image is detected with high accuracy.
An image feature detection apparatus according to the present invention processes a light source, a camera, and an image captured by the camera to detect a reflected image (Purkinje image) of the light source on the cornea surface of a human eye. And the light source includes first and second light sources arranged to illuminate a human face from different directions, and the image processing device turns on the first light source. The first image captured by the camera with the second light source turned off, and the second image captured by the camera with the second light source turned on and the first light source turned off. The image is used to detect the Purkinje image based on a position difference between a pixel set having a predetermined luminance or higher in the first image and a pixel set having a predetermined luminance or higher in the second image. It is characterized by.
[Selection] Figure 3
Description
本発明は、プルキニエ像のような画像特徴量を検出する画像特徴量検出装置及びこれを用いた視線方向検出装置に関する。 The present invention relates to an image feature amount detection device that detects an image feature amount such as a Purkinje image, and a gaze direction detection device using the image feature amount detection device.
従来から、光源により人を照明したときの当該人の目の角膜表面における当該光源の反射像（プルキニエ像）の位置を算出し、それに基づいて人の視線方向を検出する技術が知られている（例えば、非特許文献１参照）。 2. Description of the Related Art Conventionally, a technique for calculating the position of a reflected image (Purkinje image) of a light source on the cornea surface of the person's eye when the person is illuminated with a light source and detecting the person's gaze direction based on the position is known. (For example, refer nonpatent literature 1).
また、光源のメガネへの映り込みを低減することを課題とする技術として、左右の照明装置を交互に点灯させ、第１の照明装置のみで照明したときの被写体と、第２の照明装置のみで照明したときの被写体とを撮像し、得られた２つの画像の輝度を比較し、輝度の低い画素を抽出して新しい画像を合成し、該合成した画像に基づいて運転者の視線方向等を検出する技術が知られている（例えば、特許文献１参照）。 In addition, as a technique for reducing the reflection of light source on the glasses, only the second illumination device and the subject when the left and right illumination devices are alternately turned on and illuminated only by the first illumination device. The image of the subject when illuminated with is taken, the luminance of the two obtained images is compared, the pixels with low luminance are extracted and a new image is synthesized, and the driver's line-of-sight direction etc. based on the synthesized image Is known (see, for example, Patent Document 1).
上記特許文献１においては、運転者の視線方向の検出方法の具体例の開示がなく、どのような検出方法を使用しているか不明である。しかしながら、ここでは、上記特許文献１において、上記非特許文献１に記載されるようなプルキニエ像に基づいて運転者の視線方向を検出する場合を想定する。この場合、上記特許文献１においては、輝度の低い画素を抽出して新しい画像を合成するので、輝度の低い画素を抽出する際にプルキニエ像が消失する虞がある。 In Patent Document 1, there is no disclosure of a specific example of a method for detecting the driver's line-of-sight direction, and it is unclear what type of detection method is used. However, here, a case is assumed in which the gaze direction of the driver is detected in Patent Document 1 based on the Purkinje image as described in Non-Patent Document 1. In this case, in Patent Document 1, a pixel with low luminance is extracted and a new image is synthesized. Therefore, there is a possibility that the Purkinje image disappears when extracting a pixel with low luminance.
そこで、本発明は、プルキニエ像を精度良く検出することができる画像特徴量検出装置及びこれを用いた視線方向検出装置の提供を目的とする。 SUMMARY OF THE INVENTION An object of the present invention is to provide an image feature amount detection device capable of accurately detecting a Purkinje image and a gaze direction detection device using the image feature amount detection device.
上記目的を達成するため、本発明の一局面によれば、人の顔を照明するように配置された光源と、
人の顔を撮像するように配置されたカメラと、
前記カメラにより撮像された画像を処理して、人の目の角膜表面における前記光源の反射像（プルキニエ像）を検出する画像処理装置とを備え、
前記光源は、互いに異なる方向から人の顔を照明するように配置された第１及び第２の光源を含み、
前記画像処理装置は、前記第１の光源を点灯し前記第２の光源を消灯した状態で前記カメラにより撮像された第１の画像と、前記第２の光源を点灯し前記第１の光源を消灯した状態で前記カメラにより撮像された第２の画像とを用いて、前記第１の画像内の所定輝度以上の画素集合と、前記第２の画像内の所定輝度以上の画素集合との位置の差に基づいて、前記プルキニエ像を検出することを特徴とする、画像特徴量検出装置が提供される。
In order to achieve the above object, according to one aspect of the present invention, a light source arranged to illuminate a human face;
A camera arranged to image a person's face;
An image processing device that processes an image captured by the camera and detects a reflected image (Purkinje image) of the light source on the cornea surface of a human eye;
The light source includes first and second light sources arranged to illuminate a human face from different directions,
The image processing apparatus turns on the first light source and turns off the second light source, and turns on the first light source by turning on the second light source and the first image captured by the camera. Using the second image captured by the camera in the off state, positions of a pixel set having a predetermined luminance or higher in the first image and a pixel set having a predetermined luminance or higher in the second image An image feature quantity detection device is provided that detects the Purkinje image based on the difference between the two.
本発明によれば、プルキニエ像を精度良く検出することができる画像特徴量検出装置及びこれを用いた視線方向検出装置が得られる。 ADVANTAGE OF THE INVENTION According to this invention, the image feature-value detection apparatus which can detect a Purkinje image accurately, and a gaze direction detection apparatus using the same are obtained.
以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。 The best mode for carrying out the present invention will be described below with reference to the drawings.
図１は、本発明による画像特徴量検出装置１の一実施例の主要構成を示す図である。図１には、人とカメラ２０及び光源２２の位置関係が上面視で模式的に示されている。 FIG. 1 is a diagram showing a main configuration of an embodiment of an image feature amount detection apparatus 1 according to the present invention. FIG. 1 schematically shows the positional relationship between a person, the camera 20, and the light source 22 in a top view.
本実施例の画像特徴量検出装置１は、後述の如く、画像特徴として人の目の角膜表面における光源２２の反射像（プルキニエ像）を検出する。本実施例の画像特徴量検出装置１は、検出したプルキニエ像に基づいて運転者の視線方向を算出する視線方向検出装置としても機能する。 As will be described later, the image feature quantity detection device 1 of the present embodiment detects a reflection image (Purkinje image) of the light source 22 on the cornea surface of the human eye as an image feature. The image feature quantity detection device 1 according to the present embodiment also functions as a gaze direction detection device that calculates the gaze direction of the driver based on the detected Purkinje image.
本実施例の画像特徴量検出装置１は、図１に示すように、画像処理装置１０と、カメラ２０と、光源２２とを含む。 As shown in FIG. 1, the image feature quantity detection device 1 of the present embodiment includes an image processing device 10, a camera 20, and a light source 22.
画像処理装置１０は、デジタル信号プロセッサのような適切なプロセッサ（コンピューター）により構成されてよい。画像処理装置１０による主要な処理内容の詳細については後述する。画像処理装置１０には、カメラ２０及び光源２２が接続される。画像処理装置１０は、カメラ２０に内蔵される処理装置であってもよいし、カメラ２０の外部の処理装置であってもよいし、これらの処理装置の双方により実現されてもよい。画像特徴量検出装置１は、後述の如く光源２２の点灯状態も制御してもよい。但し、この機能は他のＥＣＵ等により実現されてもよい。 The image processing apparatus 10 may be configured by a suitable processor (computer) such as a digital signal processor. Details of main processing contents performed by the image processing apparatus 10 will be described later. A camera 20 and a light source 22 are connected to the image processing apparatus 10. The image processing device 10 may be a processing device built in the camera 20, may be a processing device outside the camera 20, or may be realized by both of these processing devices. The image feature quantity detection device 1 may also control the lighting state of the light source 22 as will be described later. However, this function may be realized by another ECU or the like.
カメラ２０は、例えばＣＣＤ（charge-coupled device）やＣＭＯＳ(complementary metal oxide semiconductor)等を撮像素子としたセンサアレイを備えるカメラであってよい。カメラ２０は、濃淡画像（例えば２５６階調の濃淡画像）を取得するものであってよい。カメラ２０は、正規の姿勢・位置の運転者の前面（例えば運転者の顔部を前方から）を捕捉可能なように、車両の適切な箇所に設けられる。例えば、カメラ２０は、運転者の顔部を上向きの光軸で捕捉するように、ステアリングコラム又はメータ内に配置される。カメラ２０は、車両走行中にリアルタイムに運転者の顔部の画像（以下、「顔画像」という）を取得し、典型的には３０fps (frame per second)のストリーム形式で、画像処理装置１０に供給するものであってよい。 The camera 20 may be a camera provided with a sensor array using, for example, a charge-coupled device (CCD) or a complementary metal oxide semiconductor (CMOS) as an image sensor. The camera 20 may acquire a grayscale image (for example, a grayscale image with 256 gradations). The camera 20 is provided at an appropriate position of the vehicle so as to be able to capture the front face of the driver in a normal posture / position (for example, the driver's face from the front). For example, the camera 20 is arranged in a steering column or meter so as to capture the driver's face with an upward optical axis. The camera 20 acquires an image of the driver's face (hereinafter referred to as a “face image”) in real time while the vehicle is running, and is typically sent to the image processing apparatus 10 in a stream format of 30 fps (frame per second). It may be supplied.
光源２２は、正規の姿勢・位置の運転者を左方向から照明する左側光源２２Ｌと、正規の姿勢・位置の運転者を右方向から照明する右側光源２２Ｒとを含む。左側光源２２Ｌ及び右側光源２２Ｒは、それぞれ、ＬＥＤのような光源であってよい。また、左側光源２２Ｌ及び右側光源２２Ｒは、それぞれ、近赤外光を発生する光源であってよい。また、左側光源２２Ｌ及び右側光源２２Ｒは、それぞれ、点光源であってよいし、或いは、点光源の集合体であってもよい。光源２２は、カメラ２０の両側に一体的に設けられてもよい。 The light source 22 includes a left light source 22L that illuminates a driver in a normal posture / position from the left direction, and a right light source 22R that illuminates a driver in a normal posture / position from the right direction. Each of the left light source 22L and the right light source 22R may be a light source such as an LED. The left light source 22L and the right light source 22R may be light sources that generate near-infrared light, respectively. Further, each of the left light source 22L and the right light source 22R may be a point light source, or may be a collection of point light sources. The light source 22 may be integrally provided on both sides of the camera 20.
尚、図１に示す例では、左側光源２２Ｌ及び右側光源２２Ｒは、図１に示すように人の中心軸Ｙを中心として左右に対称に位置し、人から略同一の距離だけ離れている（即ち光路長が略同一である）。しかしながら、左側光源２２Ｌ及び右側光源２２Ｒは、人の中心軸Ｙを中心として左右に非対称に位置してもよいし、中心軸Ｙに対して左右のいずれか側に双方が配置されてもよい。また、左側光源２２Ｌ及び右側光源２２Ｒは、互いに対して鉛直方向でオフセットしていてもよい。 In the example shown in FIG. 1, the left light source 22L and the right light source 22R are positioned symmetrically about the central axis Y of the person as shown in FIG. 1, and are separated from the person by substantially the same distance ( That is, the optical path length is substantially the same). However, the left light source 22L and the right light source 22R may be positioned asymmetrically left and right with respect to the central axis Y of the person, or both may be disposed on either side of the central axis Y. Further, the left light source 22L and the right light source 22R may be offset in the vertical direction with respect to each other.
図２は、本実施例の画像特徴量検出装置１により実行される主要処理の一例を示すフローチャートである。 FIG. 2 is a flowchart illustrating an example of main processing executed by the image feature amount detection apparatus 1 according to the present embodiment.
ステップ２００では、左側光源２２Ｌが点灯され、右側光源２２Ｒが消灯された状態が形成される。 In step 200, the left light source 22L is turned on and the right light source 22R is turned off.
ステップ２０２では、上記ステップ２００で形成された状態で撮像画像（顔画像）がカメラ２０により取得される。以下、このようにして左側光源２２Ｌが点灯され且つ右側光源２２Ｒが消灯された状態でカメラ２０により撮像された顔画像を、「左照明顔画像」という。このようにしてカメラ２０により取得された左照明顔画像は、画像処理装置１０に入力される。 In step 202, a captured image (face image) is acquired by the camera 20 in the state formed in step 200. Hereinafter, a face image captured by the camera 20 in a state where the left light source 22L is turned on and the right light source 22R is turned off is referred to as a “left illumination face image”. The left illumination face image acquired by the camera 20 in this way is input to the image processing apparatus 10.
ステップ２０４では、左側光源２２Ｌが消灯され、右側光源２２Ｒが点灯された状態が形成される。 In step 204, the left light source 22L is turned off and the right light source 22R is turned on.
ステップ２０６では、上記ステップ２０４で形成された状態で撮像画像（顔画像）がカメラ２０により取得される。以下、このようにして左側光源２２Ｌが消灯され且つ右側光源２２Ｒが点灯された状態でカメラ２０により撮像された顔画像を、「右照明顔画像」という。このようにしてカメラ２０により取得された右照明顔画像は、画像処理装置１０に入力される。 In step 206, a captured image (face image) is acquired by the camera 20 in the state formed in step 204. Hereinafter, the face image captured by the camera 20 in the state where the left light source 22L is turned off and the right light source 22R is turned on is referred to as a “right illumination face image”. The right illumination face image acquired by the camera 20 in this way is input to the image processing apparatus 10.
尚、左照明顔画像と右照明顔画像の取得順序は逆であってもよい。左照明顔画像と右照明顔画像は、好ましくは、可能な限り短時間の間隔をおいて取得される。これは、左照明顔画像の撮像時と右照明顔画像の撮像時の間に、運転者の視線方向や姿勢等が変化すると、精度良くプルキニエ像を検出することができないためである。 Note that the order of obtaining the left illumination face image and the right illumination face image may be reversed. The left illumination face image and the right illumination face image are preferably acquired at intervals as short as possible. This is because a Purkinje image cannot be detected with high accuracy if the driver's line-of-sight direction, posture, or the like changes between when the left illumination face image is captured and when the right illumination face image is captured.
ステップ２０８では、画像処理装置１０において、所定輝度以上の画素集合体が抽出される。所定値は、輝度が高いプルキニエ像を適切に抽出できるような値に設定される。但し、プルキニエ像の輝度は、光源２２の光量やカメラ２０の階調のダイナミックレンジ等に依存し、また、周囲光の影響を受ける場合もあるので、所定値は、試験的に適合された値であってよい。また、所定値は、可変値であってもよい。 In step 208, the image processing apparatus 10 extracts a pixel aggregate having a predetermined luminance or higher. The predetermined value is set to a value that can appropriately extract a Purkinje image having high luminance. However, the luminance of the Purkinje image depends on the light amount of the light source 22, the dynamic range of the gradation of the camera 20, and the like, and may be influenced by ambient light. Therefore, the predetermined value is a value adapted experimentally. It may be. The predetermined value may be a variable value.
ステップ２１０では、画像処理装置１０において、上記ステップ２０８で抽出した所定輝度以上の画素集合体のうちから、プルキニエ像（即ち、プルキニエに係る画素集合体）が特定される。このプルキニエ像検出手法については後述する。 In step 210, the image processing apparatus 10 identifies a Purkinje image (that is, a pixel aggregate related to Purkinje) from among the pixel aggregates of the predetermined luminance or higher extracted in step 208. This Purkinje image detection method will be described later.
ステップ２１２では、画像処理装置１０において、上記ステップ２０８で検出したプルキニエ像に基づいて運転者の視線方向が算出される。このプルキニエ像に基づく視線方向算出方法は、多種多様であり、例えば非特許文献１に記載されるような手法のような、任意の適切な視線方向算出方法が採用されてもよい。例えば、視線方向が変化すると瞳孔中心とプルキニエ像との距離が変化することを利用して、瞳孔中心とプルキニエ像との距離に基づいて、視線方向を算出してもよい。尚、運転者の視線方向の算出には、他のパラメータとして光源２２の位置が用いられるが、この場合、光源２２の位置は、左側光源２２Ｌ及び右側光源２２Ｒのうちの、プルキニエ像を形成した方の光源位置が用いられる。従って、顔画像の左半分と右半分とで左照明顔画像と右照明顔画像を別々に用いて運転者の視線方向を算出する場合、左照明顔画像に対して左側光源２２Ｌの位置を用い、右照明顔画像に対しては右側光源２２Ｒの位置を用いる。 In step 212, the line-of-sight direction of the driver is calculated in the image processing apparatus 10 based on the Purkinje image detected in step 208. There are various gaze direction calculation methods based on this Purkinje image, and any appropriate gaze direction calculation method such as the method described in Non-Patent Document 1 may be employed. For example, the line-of-sight direction may be calculated based on the distance between the pupil center and the Purkinje image using the fact that the distance between the pupil center and the Purkinje image changes when the line-of-sight direction changes. Note that the position of the light source 22 is used as another parameter for calculating the driver's line-of-sight direction. In this case, the position of the light source 22 formed a Purkinje image of the left light source 22L and the right light source 22R. One light source position is used. Accordingly, when the gaze direction of the driver is calculated using the left illumination face image and the right illumination face image separately for the left half and the right half of the face image, the position of the left light source 22L is used with respect to the left illumination face image. For the right illumination face image, the position of the right light source 22R is used.
このようにして算出された視線方向は、任意のアプリケーションに利用されてもよい。例えば、脇見運転を防止するアプリケーションや、視線方向に基づいて運転者の意図する駐車方向や駐車位置を推定するアプリケーション等に利用されてもよい。また、ステップ２１２では、画像処理装置１０において、運転者の開眼状態（上下の瞼間距離等）や顔向きのような、他の特徴量が検出されてもよい。 The line-of-sight direction calculated in this way may be used for any application. For example, the present invention may be used for an application for preventing a sideward driving, an application for estimating a parking direction and a parking position intended by the driver based on the line-of-sight direction, and the like. In step 212, the image processing apparatus 10 may detect other feature quantities such as the driver's eye open state (such as the distance between the upper and lower eyelids) and the face orientation.
次に、上記のステップ２１０において適用されてもよいプルキニエ像検出手法の好ましい例について説明する。 Next, a preferred example of the Purkinje image detection method that may be applied in step 210 will be described.
図３は、上述の如く取得される左照明顔画像と右照明顔画像の一例を示す図であり、図３（Ａ）は左照明顔画像を示し、図３（Ｂ）は右照明顔画像を示す。図３に示す例では、メガネをかけた運転者の各顔画像が示されている。これは、メガネには、光源２２が映り込むので、メガネへの光源２２の映り込み像とプルキニエ像とを識別するのが困難な条件となるためである。 FIG. 3 is a diagram showing an example of the left illumination face image and the right illumination face image acquired as described above, FIG. 3A shows the left illumination face image, and FIG. 3B shows the right illumination face image. Indicates. In the example shown in FIG. 3, each face image of a driver wearing glasses is shown. This is because, since the light source 22 is reflected on the glasses, it is difficult to distinguish between the reflected image of the light source 22 on the glasses and the Purkinje image.
図３に示すように、運転者がメガネをかけている場合、顔画像には、プルキニエ像Ａ１，Ａ３の他、メガネのレンズには光源２２が映り込むことで、メガネへの光源２２の映り込み像Ａ２，Ａ４が発生する。このようなメガネへの光源２２の映り込み像Ａ２，Ａ４は、プルキニエ像Ａ１，Ａ３と同様に高い輝度値を有し、プルキニエ像Ａ１，Ａ３に隣接して発生するので、上述の図２のステップ２０８で所定輝度以上の画素集合体として抽出される可能性が高い。 As shown in FIG. 3, when the driver is wearing glasses, the face image reflects the light source 22 on the glasses by reflecting the Purkinje images A1 and A3 and the light source 22 on the glasses lens. Embedded images A2 and A4 are generated. Such reflection images A2 and A4 of the light source 22 on the glasses have high luminance values similar to the Purkinje images A1 and A3, and are generated adjacent to the Purkinje images A1 and A3. In step 208, there is a high possibility that the pixel aggregate having a predetermined luminance or higher is extracted.
ここで、プルキニエ像Ａ１，Ａ３は、眼球の曲率が一般的に比較的大きいことから、左照明顔画像と右照明顔画像の間で位置変化が比較的小さい。他方、かかるメガネへの光源２２の映り込み像Ａ２，Ａ４は、メガネの曲率が一般的に比較的小さいことから、左照明顔画像と右照明顔画像の間で位置変化が比較的大きい。 Here, since the Purkinje images A1 and A3 generally have a relatively large curvature of the eyeball, the positional change between the left illumination face image and the right illumination face image is relatively small. On the other hand, the reflected images A2 and A4 of the light source 22 on the glasses generally have a relatively large change in position between the left illumination face image and the right illumination face image because the curvature of the glasses is generally relatively small.
図４は、プルキニエ像Ａ１，Ａ３における左照明顔画像と右照明顔画像の間で位置変化と、メガネへの光源２２の映り込み像Ａ２，Ａ４における左照明顔画像と右照明顔画像の間で位置変化とを比較した表図である。 FIG. 4 shows a change in position between the left illumination face image and the right illumination face image in the Purkinje images A1 and A3, and between the left illumination face image and the right illumination face image in the reflected images A2 and A4 of the light source 22 on the glasses. It is the table | surface which compared with the position change by.
図４に示すように、プルキニエ像Ａ１，Ａ３における左照明顔画像と右照明顔画像の間で位置変化（ピクセル差分値）は、それぞれ、１ピクセル及び０ピクセルであるのに対して、メガネへの光源２２の映り込み像Ａ２，Ａ４における左照明顔画像と右照明顔画像の間で位置変化（ピクセル差分値）は、それぞれ、１０ピクセル及び１２ピクセルである。このことから、左照明顔画像と右照明顔画像の間で位置変化（ピクセル差分値）を評価することで、プルキニエ像Ａ１，Ａ３を精度良く検出することができることが分かる。 As shown in FIG. 4, the change in position (pixel difference value) between the left illumination face image and the right illumination face image in the Purkinje images A1 and A3 is 1 pixel and 0 pixel, respectively. The change in position (pixel difference value) between the left illumination face image and the right illumination face image in the reflected images A2 and A4 of the light source 22 is 10 pixels and 12 pixels, respectively. From this, it is understood that the Purkinje images A1 and A3 can be detected with high accuracy by evaluating the position change (pixel difference value) between the left illumination face image and the right illumination face image.
そこで、本実施例によるプルキニエ像検出手法では、プルキニエ像Ａ１，Ａ３は左照明顔画像と右照明顔画像の間で位置変化（ピクセル差分値）が所定閾値Ｔｈ１よりも小さいことを条件（以下、「条件１」という）として、プルキニエ像Ａ１，Ａ３を検出する。所定閾値Ｔｈ１は、他の条件との兼ね合いで適切に決定されるべき閾値であるが、例えば、図４に示すような試験結果に基づく場合、例えば３−７ピクセルの範囲内の任意の値であってよい。 Therefore, in the Purkinje image detection method according to the present embodiment, the conditions (hereinafter referred to as the following) are that the Purkinje images A1 and A3 have a position change (pixel difference value) between the left illumination face image and the right illumination face image smaller than a predetermined threshold Th1. As "Condition 1"), Purkinje images A1 and A3 are detected. The predetermined threshold Th1 is a threshold that should be appropriately determined in consideration of other conditions. For example, when based on the test result shown in FIG. 4, for example, the predetermined threshold Th1 is an arbitrary value within a range of 3-7 pixels. It may be.
具体的には、画像処理装置１０は、上述の図２のステップ２０８で抽出した所定輝度以上の画素集合体のそれぞれについて、左照明顔画像と右照明顔画像の間でピクセル差分値を算出する。そして、画像処理装置１０は、算出したピクセル差分値と所定閾値Ｔｈ１とを比較し、ピクセル差分値が所定閾値Ｔｈ１よりも小さい所定輝度以上の画素集合体を、プルキニエ像として検出する。 Specifically, the image processing apparatus 10 calculates a pixel difference value between the left illumination face image and the right illumination face image for each of the pixel aggregates having a predetermined luminance or higher extracted in step 208 of FIG. . Then, the image processing apparatus 10 compares the calculated pixel difference value with the predetermined threshold value Th1, and detects a pixel aggregate having a pixel difference value equal to or higher than a predetermined luminance smaller than the predetermined threshold value Th1 as a Purkinje image.
尚、ピクセル差分値は、画素集合体の中心又は重心位置にあるピクセル同士の差分値であってもよい。或いは、ピクセル差分値は、左照明顔画像における画素集合体を構成する各ピクセルと、右照明顔画像における画素集合体を構成する各ピクセルとの間で全通りの差分値を算出し、それに基づいて算出されてもよい。例えば、ピクセル差分値は、左照明顔画像における画素集合体を構成する各ピクセルと、右照明顔画像における画素集合体を構成する各ピクセルとの間で全通りの差分値を算出し、その平均値又は中央値として算出されてもよいし、その最大値又は最小値として算出されてもよい。以下では、説明の複雑化を防止するために、画像集合体間のピクセル差分値は、画素集合体の中心又は重心位置にあるピクセル同士の差分値とする。 The pixel difference value may be a difference value between pixels at the center or centroid position of the pixel aggregate. Alternatively, the pixel difference value is calculated based on the difference value between all the pixels constituting the pixel aggregate in the left illumination face image and each pixel constituting the pixel aggregate in the right illumination face image. May be calculated. For example, the pixel difference value is calculated by calculating all the difference values between each pixel constituting the pixel aggregate in the left illumination face image and each pixel constituting the pixel aggregate in the right illumination face image, and calculating the average It may be calculated as a value or a median value, or may be calculated as its maximum value or minimum value. In the following, in order to prevent the description from becoming complicated, the pixel difference value between the image aggregates is a difference value between pixels at the center or the center of gravity position of the pixel aggregate.
このとき、画像処理装置１０は、所定輝度以上の画素集合体の位置が左照明顔画像と右照明顔画像の間で略同一である画像集合体同士のピクセル差分値のみを算出してもよい。この場合、図３に示す例では、左照明顔画像と右照明顔画像のそれぞれにおける４つの画素集合体Ａ１，Ａ２，Ａ３，Ａ４同士のピクセル差分値のみを算出してもよい。或いは、画像処理装置１０は、所定輝度以上の画素集合体のすべてについて左照明顔画像と右照明顔画像の間で全通りピクセル差分値を算出してもよい。この場合、図３に示す例では、例えば左照明顔画像における画素集合体Ａ１について、右照明顔画像における画素集合体Ａ１，Ａ２，Ａ３，Ａ４との４通りの組み合わせでピクセル差分値を算出し、以下同様に、左照明顔画像における残りの画素集合体Ａ２，Ａ３，Ａ４についてそれぞれ４通りの組み合わせでピクセル差分値を算出し、計１６通りの組み合わせでピクセル差分値を算出してもよい。或いは、中間的な方法として、画像処理装置１０は、各顔画像を左半分の領域と右半分の領域に分け、左半分の領域と右半分の領域のそれぞれの領域において、所定輝度以上の画素集合体のすべてについて左照明顔画像と右照明顔画像の間で全通りピクセル差分値を算出してもよい。この場合、図３に示す例では、例えば左照明顔画像における画素集合体Ａ１について、右照明顔画像における画素集合体Ａ１，Ａ２との２通りの組み合わせでピクセル差分値を算出し、左照明顔画像における画素集合体Ａ２について、右照明顔画像における画素集合体Ａ１，Ａ２との２通りの組み合わせでピクセル差分値を算出し、以下同様に右半分の領域でピクセル差分値を算出し、計８通りの組み合わせでピクセル差分値を算出してもよい。何れの方法であっても、上述の条件１を満たすようなピクセル差分値の画素集合体をプルキニエ像として精度良く検出することができる。 At this time, the image processing apparatus 10 may calculate only the pixel difference value between the image aggregates in which the positions of the pixel aggregates having a predetermined luminance or higher are substantially the same between the left illumination face image and the right illumination face image. . In this case, in the example illustrated in FIG. 3, only the pixel difference values of the four pixel aggregates A1, A2, A3, and A4 in the left illumination face image and the right illumination face image may be calculated. Alternatively, the image processing apparatus 10 may calculate pixel difference values for all pixel aggregates having a predetermined luminance or higher between the left illumination face image and the right illumination face image. In this case, in the example illustrated in FIG. 3, for example, for the pixel aggregate A1 in the left illumination face image, the pixel difference value is calculated by four combinations of the pixel aggregates A1, A2, A3, and A4 in the right illumination face image. Similarly, the pixel difference values may be calculated in four combinations for the remaining pixel aggregates A2, A3, and A4 in the left illumination face image, and the pixel difference values may be calculated in a total of 16 combinations. Alternatively, as an intermediate method, the image processing apparatus 10 divides each face image into a left half area and a right half area, and pixels having a predetermined luminance or higher in each of the left half area and the right half area. Pixel difference values may be calculated for all the aggregates between the left illumination face image and the right illumination face image. In this case, in the example shown in FIG. 3, for example, for the pixel aggregate A1 in the left illumination face image, the pixel difference value is calculated by two combinations of the pixel aggregates A1 and A2 in the right illumination face image, and the left illumination face For the pixel aggregate A2 in the image, a pixel difference value is calculated with two combinations of the pixel aggregates A1 and A2 in the right illumination face image, and thereafter, similarly, a pixel difference value is calculated in the right half region, for a total of 8 The pixel difference value may be calculated by a combination of the streets. In any method, it is possible to accurately detect a pixel aggregate having a pixel difference value that satisfies the above-described condition 1 as a Purkinje image.
尚、この条件１は、好ましくは、他の条件とのＡＮＤ条件で使用される。例えば、図３（Ａ）にてＹで示すようなメガネの縁（枠）に光源２２が映り込むことで生ずる像についても、所定輝度以上の画素集合体として抽出されうる。このような画素集合体Ｙは、プルキニエ像Ａ１，Ａ３と同様、左照明顔画像と右照明顔画像の間で位置変化（ピクセル差分値）が小さい場合があるが、プルキニエ像Ａ１，Ａ３とは、画素集合体を構成する画素数やその形状が異なる。より具体的には、メガネの枠に光源２２が映り込むことで生ずる画素集合体Ｙは、画素集合体を構成する画素数が、プルキニエ像Ａ１，Ａ３に係る画素集合体を構成する画素数よりも有意に大きい。また、図３に示すように、メガネの枠に光源２２が映り込むことで生ずる画素集合体Ｙの形状は、線状の形状であり、プルキニエ像Ａ１，Ａ３に係る画素集合体の丸に近い形状と大きく異なる。従って、このような相違点を利用して外乱要素（画素集合体Ｙ）を除外する条件を組み込むことで、プルキニエ像を精度良く検出することとしてもよい。或いは、逆の発想で、上述のステップ２０８において、メガネの枠を検出した後、当該メガネの枠より内側の領域内で所定輝度以上の画素集合体を抽出してもよい。 The condition 1 is preferably used in an AND condition with other conditions. For example, an image generated when the light source 22 is reflected on the edge (frame) of the glasses as indicated by Y in FIG. 3A can also be extracted as a pixel aggregate having a predetermined luminance or higher. Such a pixel assembly Y may have a small positional change (pixel difference value) between the left illumination face image and the right illumination face image, similarly to the Purkinje images A1 and A3. The number of pixels constituting the pixel aggregate and its shape are different. More specifically, the pixel aggregate Y generated when the light source 22 is reflected in the frame of the glasses has the number of pixels constituting the pixel aggregate from the number of pixels constituting the pixel aggregate related to the Purkinje images A1 and A3. Is also significantly larger. Further, as shown in FIG. 3, the shape of the pixel aggregate Y that is generated when the light source 22 is reflected in the frame of the glasses is a linear shape, which is close to the circle of the pixel aggregate related to the Purkinje images A1 and A3. Very different from shape. Therefore, it is possible to detect a Purkinje image with high accuracy by incorporating a condition for excluding a disturbance element (pixel assembly Y) using such a difference. Alternatively, with the reverse idea, in step 208 described above, after detecting the frame of the glasses, a pixel aggregate having a predetermined luminance or more may be extracted in a region inside the frame of the glasses.
また、後述の図５に示すように、左照明顔画像と右照明顔画像におけるプルキニエ像Ａ１，Ａ３の画素数と、左照明顔画像と右照明顔画像におけるメガネへの光源２２の映り込み像Ａ２，Ａ４の画素数とは、有意に相違する。従って、この特性を利用して、上述の条件１に係るピクセル差分値を取る画素集合体の組み合わせを決定してもよい。この場合、図３に示す例では、画素集合体Ａ１，Ａ２，Ａ３，Ａ４間での正しい対応付けが可能となり、例えば各顔画像を左半分の領域と右半分の領域に分ければ、画素集合体Ａ１，Ａ２，Ａ３，Ａ４の合計４通りの組み合わせでピクセル差分値を算出するだけでよくなる。また、同様の観点から、プルキニエ像Ａ１，Ａ３の画素数が左照明顔画像と右照明顔画像の間で大きく変化しないことを利用して、左照明顔画像と右照明顔画像の間で略同一の画素数を持つ画素集合体のみを抽出して、その中からプルキニエ像を上述の条件１により特定することとしてもよい。 Further, as shown in FIG. 5 to be described later, the number of pixels of the Purkinje images A1 and A3 in the left illumination face image and the right illumination face image, and the reflection image of the light source 22 on the glasses in the left illumination face image and the right illumination face image. The number of pixels of A2 and A4 is significantly different. Therefore, using this characteristic, a combination of pixel aggregates that take the pixel difference value according to the above condition 1 may be determined. In this case, in the example shown in FIG. 3, correct association between the pixel aggregates A1, A2, A3, and A4 is possible. For example, if each face image is divided into a left half area and a right half area, the pixel set It is only necessary to calculate the pixel difference value with a total of four combinations of the fields A1, A2, A3, and A4. From the same point of view, the fact that the number of pixels of the Purkinje images A1 and A3 does not change greatly between the left illumination face image and the right illumination face image is used. Only the pixel aggregate having the same number of pixels may be extracted, and the Purkinje image may be specified from the above by Condition 1 described above.
図５は、左照明顔画像と右照明顔画像におけるプルキニエ像Ａ１，Ａ３の画素数と、左照明顔画像と右照明顔画像におけるメガネへの光源２２の映り込み像Ａ２，Ａ４の画素数とを比較した表図である。 FIG. 5 shows the number of pixels of the Purkinje images A1 and A3 in the left illumination face image and the right illumination face image, and the number of pixels of the reflected images A2 and A4 of the light source 22 on the glasses in the left illumination face image and the right illumination face image. FIG.
図５に示すように、左照明顔画像と右照明顔画像におけるプルキニエ像Ａ１の画素数は、それぞれ、３ピクセル及び４ピクセルであり、左照明顔画像と右照明顔画像におけるプルキニエ像Ａ３の画素数は、それぞれ、４ピクセル及び４ピクセルであるのに対して、左照明顔画像と右照明顔画像におけるメガネへの光源２２の映り込み像Ａ２の画素数は、それぞれ、３０ピクセル及び２５ピクセルであり、左照明顔画像と右照明顔画像におけるメガネへの光源２２の映り込み像Ａ４の画素数は、それぞれ、２９ピクセル及び２３ピクセルである。尚、このような有意な差（即ち、左照明顔画像と右照明顔画像におけるプルキニエ像Ａ１，Ａ３の画素数と、左照明顔画像と右照明顔画像におけるメガネへの光源２２の映り込み像Ａ２，Ａ４の画素数との間の相違）は、主に、眼球とメガネの曲率の相違に起因する。図５から、左照明顔画像と右照明顔画像における所定輝度以上の画素集合体の画素数を評価することで、プルキニエ像Ａ１，Ａ３を精度良く検出することができることが分かる。 As shown in FIG. 5, the number of pixels of the Purkinje image A1 in the left illumination face image and the right illumination face image is 3 pixels and 4 pixels, respectively, and the pixels of the Purkinje image A3 in the left illumination face image and the right illumination face image The numbers are 4 pixels and 4 pixels, respectively, whereas the number of pixels of the reflected image A2 of the light source 22 on the glasses in the left illumination face image and the right illumination face image is 30 pixels and 25 pixels, respectively. The number of pixels of the reflected image A4 of the light source 22 on the glasses in the left illumination face image and the right illumination face image is 29 pixels and 23 pixels, respectively. Note that such a significant difference (that is, the number of pixels of the Purkinje images A1 and A3 in the left illumination face image and the right illumination face image, and the reflection image of the light source 22 on the glasses in the left illumination face image and the right illumination face image). The difference between the number of pixels of A2 and A4) is mainly due to the difference in curvature between the eyeball and the glasses. From FIG. 5, it can be seen that the Purkinje images A1 and A3 can be detected with high accuracy by evaluating the number of pixels of the pixel aggregate having a predetermined luminance or higher in the left illumination face image and the right illumination face image.
そこで、本実施例によるプルキニエ像検出手法では、上述の条件１（及び／又は上述の他の条件）に加えて、所定輝度以上の画素集合体の画素数が所定閾値Ｔｈ２よりも小さいことを条件（以下、「条件２」という）として、プルキニエ像Ａ１，Ａ３を検出することとしてもよい。所定閾値Ｔｈ２は、光源２２の大きさ等に依存して適切に決定されるべき値であるが、例えば、図５に示すような試験結果に基づく場合、７−２２ピクセルの範囲内の任意の値であってよい。 Therefore, in the Purkinje image detection method according to the present embodiment, in addition to the above-described condition 1 (and / or other conditions described above), the condition is that the number of pixels of the pixel aggregate having a predetermined luminance or higher is smaller than the predetermined threshold Th2. (Hereinafter referred to as “condition 2”), the Purkinje images A1 and A3 may be detected. The predetermined threshold Th2 is a value that should be appropriately determined depending on the size of the light source 22 and the like. For example, when based on the test result as shown in FIG. 5, any threshold value within a range of 7-22 pixels is used. May be a value.
具体的には、画像処理装置１０は、上述の図２のステップ２０８で抽出した所定輝度以上の画素集合体のそれぞれについて、左照明顔画像と右照明顔画像の少なくともいずれか一方で画素数を算出する。そして、画像処理装置１０は、算出した画素数と所定閾値Ｔｈ２とを比較し、画素数が所定閾値Ｔｈ２よりも小さい所定輝度以上の画素集合体であって、上述の条件１を満たす所定輝度以上の画素集合体を、プルキニエ像として検出する。 Specifically, the image processing apparatus 10 sets the number of pixels in at least one of the left illumination face image and the right illumination face image for each of the pixel aggregates having a predetermined luminance or higher extracted in step 208 of FIG. calculate. Then, the image processing apparatus 10 compares the calculated number of pixels with a predetermined threshold Th2, and is a pixel aggregate having a predetermined luminance or higher that is smaller than the predetermined threshold Th2 and has a predetermined luminance or higher that satisfies the above-described condition 1. Is detected as a Purkinje image.
尚、以上説明したプルキニエ像検出手法は、当然ながら、メガネをかけていない運転者の場合にも適用可能である。この場合は、メガネへの光源２２の映り込み像Ａ２，Ａ４やその他の外乱による像Ｙが存在しないので、プルキニエ像Ａ１，Ａ３に係る画素集合体のみが上記ステップ２０８で抽出されうる。この場合も、当該抽出した画素集合体がプルキニエ像であることを（確認的に）判定又は評価するために、上述の条件１等が利用されればよい。 Note that the Purkinje image detection method described above is naturally applicable to a driver who does not wear glasses. In this case, since the reflected images A2 and A4 of the light source 22 on the glasses and the image Y due to other disturbances do not exist, only the pixel aggregates related to the Purkinje images A1 and A3 can be extracted in the step 208. Also in this case, in order to determine or evaluate (confirmably) that the extracted pixel aggregate is a Purkinje image, the above condition 1 or the like may be used.
次に、図６等を用いて、上述の条件１を利用する別の態様のプルキニエ像検出手法について説明する。 Next, another embodiment of the Purkinje image detection method using the above-described condition 1 will be described with reference to FIG.
図６は、上述の条件１を利用する別の態様のプルキニエ像検出手法の要部を示すフローチャートである。図６に示す処理は、図２に示した処理ルーチンのステップ２１０の処理として実行される。この図６に示すプルキニエ像検出手法は、運転者がメガネをかけている場合に実行される方法に関する。尚、運転者がメガネをかけているか否かは、例えばユーザ情報から判定してもよいし、上述の顔画像に基づく画像認識処理により判定してもよい。 FIG. 6 is a flowchart showing a main part of another embodiment of the Purkinje image detection method using the above-described condition 1. The process shown in FIG. 6 is executed as the process of step 210 of the process routine shown in FIG. The Purkinje image detection method shown in FIG. 6 relates to a method executed when the driver is wearing glasses. Whether or not the driver is wearing glasses may be determined from user information, for example, or may be determined by the image recognition process based on the face image described above.
ステップ６００では、左照明顔画像と右照明顔画像のそれぞれにおける所定領域内に抽出された所定輝度以上の２つの画素集合体が選定（特定）される。所定領域は、理想的には、プルキニエ像のみが含まれる領域であるが、上述の如くプルキニエ像の近傍に出現しうるメガネへの光源２２の映り込み像が含まれうる領域である。所定領域は、好ましくは、上述の顔画像に基づく画像認識処理により検出されたメガネの枠内に設定される。但し、所定領域は、顔画像の左半分の領域と右半分の領域のそれぞれであってもよい。この場合、所定領域内には、図３に示したように、プルキニエ像とメガネへの光源２２の映り込み像以外の像として、例えばメガネの枠への光源２２の映り込み像が抽出されうるので、かかるメガネの枠への光源２２の映り込み像を排除するために、所定の条件で２つの画素集合体（プルキニエ像とメガネへの光源２２の映り込み像）を選定することが望ましい。例えば、上述の如く、所定領域内において、画素集合体を構成する画素数やその形状に基づいて、２つの画素集合体（プルキニエ像とメガネへの光源２２の映り込み像）を選定することとしてもよい。 In step 600, two pixel aggregates having a predetermined luminance or higher extracted in a predetermined region in each of the left illumination face image and the right illumination face image are selected (identified). The predetermined area is ideally an area that includes only the Purkinje image, but as described above, the predetermined area is an area that can include the reflected image of the light source 22 on the glasses that may appear in the vicinity of the Purkinje image. The predetermined area is preferably set within the frame of the glasses detected by the image recognition process based on the face image described above. However, the predetermined area may be each of a left half area and a right half area of the face image. In this case, as shown in FIG. 3, for example, a reflection image of the light source 22 on the frame of the glasses can be extracted as an image other than the Purkinje image and the reflection image of the light source 22 on the glasses. Therefore, in order to eliminate the reflected image of the light source 22 on the frame of the glasses, it is desirable to select two pixel aggregates (Purkinje image and reflected image of the light source 22 on the glasses) under a predetermined condition. For example, as described above, in a predetermined area, two pixel aggregates (Purkinje image and reflection image of the light source 22 on the glasses) are selected based on the number of pixels constituting the pixel aggregate and its shape. Also good.
尚、ステップ６００の処理は、顔画像の左領域と右領域のそれぞれで実行されるが（即ち左眼用の所定領域と右眼用の所定領域内でそれぞれ所定輝度以上の２つの画素集合体が選定されるが）、それぞれの処理内容は実質的に同一であるので、ここでは、一方の領域側（顔画像の左領域側）の処理のみについて代表して説明を続ける。 Note that the processing of step 600 is executed in each of the left region and the right region of the face image (that is, two pixel aggregates each having a predetermined luminance or higher in the left eye predetermined region and the right eye predetermined region). However, since the processing contents are substantially the same, only the processing on one region side (the left region side of the face image) will be representatively described here.
ステップ６０２では、上記ステップ６００で選定された所定輝度以上の２つの画素集合体が左照明顔画像と右照明顔画像の間で対応付けられる。例えば、図３に示した例において、左照明顔画像における画素集合体Ａ１と右照明顔画像における画素集合体Ａ１が対応付けられ、左照明顔画像における画素集合体Ａ２と右照明顔画像における画素集合体Ａ２が対応付けられる。この対応付けには、左照明顔画像及び右照明顔画像のそれぞれにおける画素集合体Ａ１と画素集合体Ａ２の位置、相対位置、画素数の対応関係が考慮されてよい。これは、画素集合体Ａ１と画素集合体Ａ２は、例えば、図３に示したように、左照明顔画像及び右照明顔画像のそれぞれにおいて略同一の位置であり、相対位置関係も略同一である（互いに近接した位置関係である）ためである。また、画素集合体Ａ１と画素集合体Ａ２は、例えば、図５に示したように、画素数が略同一であるためである。従って、画素数の対応関係を考慮する場合、図５に示す例では、左照明顔画像における画素数３ピクセルの画素集合体Ａ１は、右照明顔画像において４ピクセルの画素集合体Ａ１と、右照明顔画像において２５ピクセルの画素集合体Ａ２のうち、画素数が略同一である４ピクセルの画素集合体Ａ１に適切に対応付けられることになる。同様に、左照明顔画像における画素数３０ピクセルの画素集合体Ａ２は、右照明顔画像において４ピクセルの画素集合体Ａ１と、右照明顔画像において２５ピクセルの画素集合体Ａ２のうち、画素数が略同一である２５ピクセルの画素集合体Ａ２に適切に対応付けられることになる。 In step 602, two pixel aggregates having a predetermined luminance or higher selected in step 600 are associated between the left illumination face image and the right illumination face image. For example, in the example shown in FIG. 3, the pixel aggregate A1 in the left illumination face image is associated with the pixel aggregate A1 in the right illumination face image, and the pixel aggregate A2 in the left illumination face image and the pixels in the right illumination face image Aggregate A2 is associated. This association may take into account the correspondence between the positions of the pixel aggregate A1 and the pixel aggregate A2, the relative position, and the number of pixels in the left illumination face image and the right illumination face image. For example, as shown in FIG. 3, the pixel aggregate A1 and the pixel aggregate A2 are substantially the same position in each of the left illumination face image and the right illumination face image, and the relative positional relationship is also substantially the same. This is because they are in a positional relationship close to each other. This is because the pixel aggregate A1 and the pixel aggregate A2 have substantially the same number of pixels as shown in FIG. 5, for example. Therefore, when considering the correspondence of the number of pixels, in the example shown in FIG. 5, the pixel aggregate A1 having 3 pixels in the left illuminated face image is different from the pixel aggregate A1 having 4 pixels in the right illuminated face image. In the illumination face image, the pixel aggregate A2 of 25 pixels is appropriately associated with the pixel aggregate A1 of 4 pixels having substantially the same number of pixels. Similarly, the pixel aggregate A2 having 30 pixels in the left illuminated face image is the number of pixels of the pixel aggregate A1 having 4 pixels in the right illuminated face image and the pixel aggregate A2 having 25 pixels in the right illuminated face image. Are appropriately associated with the 25-pixel pixel aggregate A2.
ステップ６０４では、上記ステップ６０２における対応付け結果に基づいて、対応する画素集合体同士のピクセル差分値が算出される。図３に示した例では、左照明顔画像における画素集合体Ａ１と右照明顔画像における画素集合体Ａ１の間のピクセル差分値（＝１）が算出されると共に、左照明顔画像における画素集合体Ａ２と右照明顔画像における画素集合体Ａ２の間のピクセル差分値（＝１０）が算出される。 In step 604, a pixel difference value between corresponding pixel aggregates is calculated based on the association result in step 602. In the example shown in FIG. 3, the pixel difference value (= 1) between the pixel aggregate A1 in the left illuminated face image and the pixel aggregate A1 in the right illuminated face image is calculated, and the pixel aggregate in the left illuminated face image is calculated. A pixel difference value (= 10) between the body A2 and the pixel aggregate A2 in the right illumination face image is calculated.
ステップ６０６では、上記ステップ６０４で算出されたピクセル差分値に基づいて、ピクセル差分値が小さい方の画素集合体を、プルキニエ像として検出（特定）する。図３に示した例では、画素集合体Ａ１のピクセル差分値の方が、画素集合体Ａ２のピクセル差分値よりも小さいので、画素集合体Ａ１に係るプルキニエ像を精度良く検出することができる。 In step 606, based on the pixel difference value calculated in step 604, the pixel aggregate with the smaller pixel difference value is detected (specified) as a Purkinje image. In the example shown in FIG. 3, the pixel difference value of the pixel aggregate A1 is smaller than the pixel difference value of the pixel aggregate A2, so that the Purkinje image related to the pixel aggregate A1 can be detected with high accuracy.
次に、図７等を用いて、上述のプルキニエ像検出手法において補強的に統計情報を利用する態様について説明する。 Next, an aspect in which statistical information is used in a reinforcing manner in the above-described Purkinje image detection method will be described with reference to FIG.
統計情報は、予め試験により生成されてもよいし、又は、プルキニエ像検出処理と並列してリアルタイムに生成されてもよい。統計情報は、所定のメモリ（例えば画像処理装置１０内の書き換え可能なメモリ）に記憶される。統計情報は、例えば、左照明顔画像及び右照明顔画像における各像（即ちプルキニエ像や、メガネへの光源２２の映り込み像）の位置や、各像の相対位置（即ち、プルキニエ像と、メガネへの光源２２の映り込み像の間の相対位置）に関する統計情報であってよい。また、これらの位置及び相対位置は、運転者の顔向きや光源２２の位置等に応じて異なるので、統計情報は、運転者の顔向きや光源２２の位置等に対応付けて管理されることが望ましい。 The statistical information may be generated in advance by a test, or may be generated in real time in parallel with the Purkinje image detection process. The statistical information is stored in a predetermined memory (for example, a rewritable memory in the image processing apparatus 10). The statistical information is, for example, the position of each image (that is, the Purkinje image or the reflected image of the light source 22 on the glasses) in the left illumination face image and the right illumination face image, and the relative position of each image (that is, the Purkinje image). It may be statistical information regarding the relative position between the reflected images of the light source 22 on the glasses. Further, since these positions and relative positions differ depending on the driver's face orientation, the position of the light source 22, and the like, the statistical information is managed in association with the driver's face orientation, the position of the light source 22, and the like. Is desirable.
図７は、上述のプルキニエ像検出手法において補強的に統計情報を利用する一例を示すフローチャートである。図７に示す処理は、図２に示した処理ルーチンのステップ２１０の処理の一部として実行される。 FIG. 7 is a flowchart showing an example of statistically using statistical information in the above-described Purkinje image detection method. The process shown in FIG. 7 is executed as part of the process in step 210 of the process routine shown in FIG.
ステップ７００では、運転者の顔向きが顔画像に基づいて検出される。顔画像に基づく顔向きの検出方法は多種多様であり、任意の適切な方法が採用されてもよい。 In step 700, the driver's face orientation is detected based on the face image. There are various face orientation detection methods based on the face image, and any appropriate method may be adopted.
ステップ７０２では、上記ステップ７００で検出した運転者の顔向きが所定範囲内であるか否かが判定される。所定範囲は、統計情報が存在する顔向き範囲に対応してよい。 In step 702, it is determined whether or not the driver's face orientation detected in step 700 is within a predetermined range. The predetermined range may correspond to a face direction range in which statistical information exists.
ステップ７０４では、上記ステップ７００で検出した運転者の顔向きに応じた統計情報を補足的に用いて、プルキニエ像が検出される。統計情報の補足的な使用方法は、例えば、上述の如く検出したプルキニエ像の信頼性を確かめるために用いてもよい。具体的には、検出したプルキニエ像の位置と、統計情報に基づくプルキニエ像の位置との照合を行うことで、検出したプルキニエ像の信頼性を検証してもよい。又は、メガネへの光源２２の映り込み像の位置を検出値と統計情報とで照合してもよい。或いは、プルキニエ像とガネへの光源２２の映り込み像の位置関係（相対位置）を検出値と統計情報とで照合してもよい。或いは、統計情報は、プルキニエ像の候補（上述の画素集合体Ａ１−Ａ４）の探索範囲を決定するために使用されてもよい。例えば、統計情報は、上述の図６のステップ６００の所定領域を設定するために使用されてもよい。また、統計情報は、上述の図６のステップ６０２の対応付けの際に使用されてもよい。例えば、統計情報に基づく位置関係等を利用して画素集合体間が対応付けられてもよい。 In step 704, a Purkinje image is detected by supplementarily using statistical information corresponding to the driver's face orientation detected in step 700. The supplementary usage method of the statistical information may be used, for example, to confirm the reliability of the Purkinje image detected as described above. Specifically, the reliability of the detected Purkinje image may be verified by comparing the position of the detected Purkinje image with the position of the Purkinje image based on statistical information. Or you may collate the position of the reflected image of the light source 22 to spectacles with a detected value and statistical information. Alternatively, the positional relationship (relative position) between the Purkinje image and the reflected image of the light source 22 on the screen may be collated with the detected value and the statistical information. Alternatively, the statistical information may be used to determine a search range of Purkinje image candidates (the pixel aggregates A1-A4 described above). For example, the statistical information may be used to set a predetermined area in step 600 of FIG. 6 described above. Further, the statistical information may be used in the association in step 602 of FIG. 6 described above. For example, the pixel aggregates may be associated using a positional relationship based on statistical information.
次に、図８以降を主に参照して、上述のプルキニエ像以外の特徴量を検出する好ましい方法について説明する。 Next, a preferred method for detecting a feature quantity other than the above-described Purkinje image will be described with reference mainly to FIG.
図８は、メガネへの光源２２の映り込み像が存在する状況下で各種特徴量（例えば眼の瞼や白目の位置等）を検出する処理の一例を示すフローチャートである。図８に示す処理は、上述の図２に示した処理ルーチンのステップ２１２の処理の一部として実行されてよい。 FIG. 8 is a flowchart illustrating an example of processing for detecting various feature amounts (for example, eyelids, white eye positions, etc.) in a situation where a reflected image of the light source 22 on the glasses exists. The process shown in FIG. 8 may be executed as part of the process in step 212 of the process routine shown in FIG.
ステップ８００では、左照明顔画像における左半分の領域のプルキニエ像Ａ１とメガネへの光源２２の映り込み像Ａ２の間の離間距離（ピクセル数）が算出されると共に、右照明顔画像における左半分の領域のプルキニエ像Ａ１とメガネへの光源２２の映り込み像Ａ２の間の離間距離が算出される。 In step 800, the separation distance (number of pixels) between the Purkinje image A1 in the left half area of the left illumination face image and the reflected image A2 of the light source 22 on the glasses is calculated, and the left half in the right illumination face image. The separation distance between the Purkinje image A1 in the region and the reflected image A2 of the light source 22 on the glasses is calculated.
ステップ８０２では、左照明顔画像における右半分の領域のプルキニエ像Ａ３とメガネへの光源２２の映り込み像Ａ４の間の離間距離（ピクセル数）が算出されると共に、右照明顔画像における右半分の領域のプルキニエ像Ａ３とメガネへの光源２２の映り込み像Ａ４の間の離間距離が算出される。 In step 802, the separation distance (number of pixels) between the Purkinje image A3 in the right half region of the left illumination face image and the reflected image A4 of the light source 22 on the glasses is calculated, and the right half in the right illumination face image. The separation distance between the Purkinje image A3 in the region and the reflected image A4 of the light source 22 on the glasses is calculated.
ステップ８０４では、左半分の領域と右半分の領域のそれぞれにおいて、左照明顔画像及び左照明顔画像のうちから上記ステップ８００及び８０２で算出した離間距離の大きい方の顔画像が選択され、当該選択された顔画像同士が合成される。 In step 804, the face image with the larger separation distance calculated in steps 800 and 802 is selected from the left illumination face image and the left illumination face image in each of the left half region and the right half region, The selected face images are synthesized.
例えば図９（Ａ）に示すような左照明顔画像において、左半分の領域でのプルキニエ像Ａ１とメガネへの光源２２の映り込み像Ａ２の間の離間距離が、１３ピクセルであり、図９（Ｂ）に示すような右照明顔画像において、左半分の領域でのプルキニエ像Ａ１とメガネへの光源２２の映り込み像Ａ２の間の離間距離が、１５ピクセルである場合、離間距離が大きい方の右照明顔画像が左半分の領域で選択される。また、図９（Ａ）に示すような左照明顔画像において、右半分の領域でのプルキニエ像Ａ３とメガネへの光源２２の映り込み像Ａ４の間の離間距離が、１８ピクセルであり、図９（Ｂ）に示すような右照明顔画像において、右半分の領域でのプルキニエ像Ａ３とメガネへの光源２２の映り込み像Ａ４の間の離間距離が、１６ピクセルである場合、離間距離が大きい方の左照明顔画像が右半分の領域で選択される。この結果、図９（Ｃ）に示すように、右照明顔画像の左半分の領域と左照明顔画像の右半分の領域が合成された合成画像が生成される。 For example, in the left illumination face image as shown in FIG. 9A, the separation distance between the Purkinje image A1 in the left half region and the reflected image A2 of the light source 22 on the glasses is 13 pixels. In the right illumination face image as shown in (B), when the separation distance between the Purkinje image A1 in the left half region and the reflected image A2 of the light source 22 on the glasses is 15 pixels, the separation distance is large. The right illuminated face image is selected in the left half region. In the left illumination face image as shown in FIG. 9A, the separation distance between the Purkinje image A3 in the right half region and the reflected image A4 of the light source 22 on the glasses is 18 pixels. In the right illumination face image as shown in FIG. 9B, when the separation distance between the Purkinje image A3 in the right half region and the reflected image A4 of the light source 22 on the glasses is 16 pixels, the separation distance is The larger left illumination face image is selected in the right half area. As a result, as shown in FIG. 9C, a composite image is generated by combining the left half area of the right illumination face image and the right half area of the left illumination face image.
ステップ８０６では、上記ステップ８０４で生成された合成画像に基づいて、眼の上瞼及び下瞼の位置のような各種の特徴量が検出される。特徴量の検出方法は多種多様であり、任意の適切な方法が採用されてもよい。例えば瞼の場合、Sobelのエッジ検出アルゴリズムを適用してエッジ抽出処理を行い、探索ウインドウ内の横エッジの強度和を算出し、横エッジの強度和が所定値以上となる位置の探索ウインドウ内の横エッジ（白黒エッジ）を、上瞼や下瞼として認識する。或いは、開眼時の上瞼が一般的に円弧形状であるいう形状的特徴を利用して、上瞼を表すエッジを抽出してもよい。尚、上瞼及び下瞼の位置の検出結果は、典型的には、運転者の開眼／閉眼状態（例えば瞬きの頻度や居眠り）を検出するために使用される。 In step 806, various feature amounts such as the positions of the upper eyelid and the lower eyelid of the eye are detected based on the composite image generated in step 804. There are a wide variety of feature amount detection methods, and any appropriate method may be employed. For example, in the case of wrinkles, edge extraction processing is performed by applying the Sobel edge detection algorithm, the sum of strengths of the horizontal edges in the search window is calculated, and the sum of the strengths of the horizontal edges is equal to or greater than a predetermined value in the search window. A horizontal edge (black and white edge) is recognized as an upper eyelid or lower eyelid. Alternatively, an edge representing the upper eyelid may be extracted using a shape feature that the upper eyelid when the eye is opened is generally an arc shape. Note that the detection results of the positions of the upper eyelid and the lower eyelid are typically used for detecting the driver's eye open / closed state (for example, blink frequency or doze).
図８に示す処理によれば、プルキニエ像（及び検出対象の特徴量に関連する像）からメガネへの光源２２の映り込み像までの距離（離間距離）が大きい方の顔画像を選択して各種の特徴量を抽出するので、メガネへの光源２２の映り込み像の影響により特徴量の抽出が困難になるのが防止される。これにより、特徴量の抽出精度が向上する。 According to the processing shown in FIG. 8, the face image having the larger distance (separation distance) from the Purkinje image (and the image related to the feature amount of the detection target) to the reflected image of the light source 22 on the glasses is selected. Since various feature amounts are extracted, it is possible to prevent the feature amount from being difficult to be extracted due to the influence of the reflected image of the light source 22 on the glasses. Thereby, the extraction accuracy of the feature amount is improved.
尚、図８に示す処理では、左半分の領域と右半分の領域のそれぞれにおいて、左照明顔画像及び左照明顔画像のうちから、プルキニエ像からメガネへの光源２２の映り込み像までの距離が大きい方の顔画像を選択し、それらを合成している。しかしながら、例えば画像処理装置１０がカメラ２０に内蔵された処理装置と外部の画像処理ＥＣＵにより協動して実現される場合等、選択した顔画像を合成せずに画像処理ＥＣＵに取得データを送信することで、カメラ２０に内蔵された処理装置の負荷を低減してもよい。この場合、例えば上述の例では、画像処理ＥＣＵは、右眼側の瞼検出時には取得データの右照明顔画像を用い、左眼側の瞼検出時には取得データの左照明顔画像を用いればよい。 In the process shown in FIG. 8, the distance from the Purkinje image to the reflected image of the light source 22 on the glasses from the left illumination face image and the left illumination face image in each of the left half area and the right half area. The face image with the larger is selected and synthesized. However, for example, when the image processing apparatus 10 is realized in cooperation with a processing apparatus built in the camera 20 and an external image processing ECU, the acquired data is transmitted to the image processing ECU without synthesizing the selected face image. By doing so, the load on the processing device built in the camera 20 may be reduced. In this case, for example, in the above-described example, the image processing ECU may use the right illumination face image of the acquired data when detecting eyelids on the right eye side and the left illumination face image of acquisition data when detecting eyelids on the left eye side.
図１０は、メガネへの光源２２の映り込み像が存在する状況下で各種特徴量を検出する処理のその他の一例を示すフローチャートである。図１０に示す処理は、上述の図２に示した処理ルーチンのステップ２１２の処理の一部として実行されてよい。 FIG. 10 is a flowchart showing another example of processing for detecting various feature amounts under the situation where a reflected image of the light source 22 on the glasses exists. The process shown in FIG. 10 may be executed as part of the process in step 212 of the process routine shown in FIG.
ステップ１０００では、メガネへの光源２２の映り込み像の周辺の領域の輝度が算出される。尚、上述の図２に示した処理ルーチンの２１０にてプルキニエ像として検出されなかった画素集合体が、メガネへの光源２２の映り込み像と判断されてよい。メガネへの光源２２の映り込み像の周辺の領域の輝度は、周辺の領域内から適切に選択された１つのピクセルの輝度値であってよいし、周辺の領域内の所定数のピクセルの輝度の平均値であってもよい。 In step 1000, the brightness of the area around the image reflected by the light source 22 on the glasses is calculated. It should be noted that the pixel aggregate that has not been detected as the Purkinje image in the processing routine 210 shown in FIG. 2 may be determined as a reflection image of the light source 22 on the glasses. The brightness of the peripheral area of the image of the light source 22 reflected on the glasses may be a brightness value of one pixel appropriately selected from the peripheral area, or the brightness of a predetermined number of pixels in the peripheral area. May be an average value.
ステップ１００２では、メガネへの光源２２の映り込み像の輝度が、上記ステップ１０００で算出された周辺領域の輝度に基づいて、補正される。具体的には、メガネへの光源２２の映り込み像の輝度が、上記ステップ１０００で算出された周辺領域の輝度により置き換えられる。例えば図１１（Ａ）に示すように、メガネへの光源２２の映り込み像Ａ２，Ａ４は、図１１（Ｂ）に示すように、周辺領域の輝度により置き換えられ、高輝度から周辺の輝度へと補正される。 In step 1002, the brightness of the reflected image of the light source 22 on the glasses is corrected based on the brightness of the peripheral area calculated in step 1000. Specifically, the luminance of the reflected image of the light source 22 on the glasses is replaced with the luminance of the peripheral area calculated in step 1000 above. For example, as shown in FIG. 11A, the reflected images A2 and A4 of the light source 22 on the glasses are replaced with the luminance of the peripheral area as shown in FIG. It is corrected.
ステップ１００４では、上記ステップ１００２で生成された補正画像に基づいて、眼の瞼のような各種の特徴量が検出される。上述の如く特徴量の検出方法は多種多様であり、任意の適切な方法が採用されてもよい。 In step 1004, various feature quantities such as eyelids are detected based on the corrected image generated in step 1002. As described above, there are various feature amount detection methods, and any appropriate method may be employed.
図１０に示す処理によれば、メガネへの光源２２の映り込み像を周辺領域の輝度で補正して各種の特徴量を抽出するので、メガネへの光源２２の映り込み像の影響により特徴量の抽出が困難になるのが防止される（例えば、メガネへの光源２２の映り込み像を白目等に誤検出するようなことが防止される）。これにより、特徴量の抽出精度が向上する。 According to the processing shown in FIG. 10, various feature amounts are extracted by correcting the reflected image of the light source 22 on the glasses with the brightness of the peripheral region. Therefore, the feature amount is affected by the reflected image of the light source 22 on the glasses. Is prevented from becoming difficult (for example, it is prevented that the reflected image of the light source 22 on the glasses is erroneously detected in white eyes or the like). Thereby, the extraction accuracy of the feature amount is improved.
尚、図１０に示す処理は、右照明顔画像及び左照明顔画像のいずれか一方を用いて実行されることができる。この場合、右照明顔画像及び左照明顔画像のいずれかにおいて、所定輝度以上の画素集合体が一定個数以下の画素数である場合は、他方の（即ち高輝度側）の顔画像を使用することが望ましい。 Note that the process shown in FIG. 10 can be executed using either the right illumination face image or the left illumination face image. In this case, in either the right illumination face image or the left illumination face image, when the pixel aggregate having a predetermined luminance or more has a certain number of pixels or less, the other (that is, the high luminance side) face image is used. It is desirable.
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。 The preferred embodiments of the present invention have been described in detail above. However, the present invention is not limited to the above-described embodiments, and various modifications and substitutions can be made to the above-described embodiments without departing from the scope of the present invention. Can be added.
例えば、一般的に運転者監視用の画像処理では、初期発見処理にて顔発見処理をした後、トラッキング処理に移行する手法があるが、本実施例は、その初期発見処理及びトラッキング処理に適用されてもよい。 For example, in general image processing for driver monitoring, there is a method of performing face detection processing in the initial detection processing and then shifting to tracking processing. This embodiment is applied to the initial detection processing and tracking processing. May be.
また、上述した実施例において、画像処理に使用される顔画像は、外乱光の影響の少ない映像を取得するために、光源２２をオンしたときのＯＮ画像とオフしたときのＯＦＦ画像の間の差分画像であってもよい。例えば、左照明顔画像は、左側光源２２Ｌが点灯され且つ右側光源２２Ｒが消灯された状態でカメラ２０により撮像された顔画像（ＯＮ画像）と、左側光源２２Ｌ及び右側光源２２Ｒが消灯された状態でカメラ２０により撮像された顔画像（ＯＦＦ画像）との差分画像であってもよい。同様に、右照明顔画像は、左側光源２２Ｌが消灯され且つ右側光源２２Ｒが点灯された状態でカメラ２０により撮像された顔画像（ＯＮ画像）と、左側光源２２Ｌ及び右側光源２２Ｒが消灯された状態でカメラ２０により撮像された顔画像（ＯＦＦ画像）との差分画像であってもよい。 In the above-described embodiment, the face image used for the image processing is between the ON image when the light source 22 is turned on and the OFF image when the light source 22 is turned off in order to obtain an image with little influence of disturbance light. It may be a difference image. For example, the left illumination face image includes a face image (ON image) captured by the camera 20 with the left light source 22L turned on and the right light source 22R turned off, and the left light source 22L and the right light source 22R turned off. The difference image from the face image (OFF image) captured by the camera 20 may be used. Similarly, the right illumination face image includes a face image (ON image) captured by the camera 20 with the left light source 22L turned off and the right light source 22R turned on, and the left light source 22L and the right light source 22R turned off. It may be a difference image with the face image (OFF image) captured by the camera 20 in the state.
また、上述した実施例では、右照明顔画像及び左照明顔画像がそれぞれ同一（共通）のカメラ２０により取得されているが、右照明顔画像及び左照明顔画像は、それぞれ別々のカメラにより取得されてもよい。この場合、上述のピクセル差分値は、右照明顔画像及び左照明顔画像で共通に存在する所定の基準位置に基づく相対位置に基づいて算出されてもよいし、絶対位置座標に変換してから算出されてもよい。 In the above-described embodiments, the right illumination face image and the left illumination face image are acquired by the same (common) camera 20, but the right illumination face image and the left illumination face image are acquired by separate cameras. May be. In this case, the pixel difference value described above may be calculated based on a relative position based on a predetermined reference position that exists in common in the right illumination face image and the left illumination face image, or after being converted into absolute position coordinates. It may be calculated.
また、上述した実施例では、プルキニエ像の候補となる画素集合体は、周辺領域との輝度差に基づいて抽出されているが、形状の特徴を利用したパターンマッチングにより抽出されてもよいし、左右両側にある対称性を利用して抽出されてもよい。対称性を利用する場合は、運転者の顔向きが略正面であることが前提条件として検出されてもよい。また、プルキニエ像の形状の特徴や左右両側にある対称性は、上述の条件１等に対する付加条件（ＡＮＤ条件）として利用されてもよい。 Further, in the above-described embodiment, the pixel aggregate that is a candidate for the Purkinje image is extracted based on the luminance difference from the surrounding area, but may be extracted by pattern matching using a shape feature, It may be extracted using the symmetry on the left and right sides. When using symmetry, it may be detected as a precondition that the face direction of the driver is substantially frontal. Further, the shape characteristics of the Purkinje image and the symmetry on the left and right sides may be used as an additional condition (AND condition) for the above-described condition 1 and the like.
また、上述した実施例では、左右方向でオフセットした２つの光源（左側光源２２Ｌ及び右側光源２２Ｒ）が使用されているが、本発明はこれに限定されない。例えば、上下方向にオフセットした２つの光源を、左側光源２２Ｌ及び右側光源２２Ｒの代わりに使用することも可能である。 In the embodiment described above, two light sources (left light source 22L and right light source 22R) offset in the left-right direction are used, but the present invention is not limited to this. For example, two light sources offset in the vertical direction can be used instead of the left light source 22L and the right light source 22R.
また、上述した実施例では、運転者を対象としているが、運転者以外の人に対しても適用可能である。 Moreover, in the Example mentioned above, although it aims at a driver | operator, it is applicable also to persons other than a driver | operator.
１ 画像特徴量検出装置
１０ 画像処理装置
２０ カメラ
２２ 光源
２２Ｌ 左側光源
２２Ｒ 右側光源
DESCRIPTION OF SYMBOLS 1 Image feature-value detection apparatus 10 Image processing apparatus 20 Camera 22 Light source 22L Left light source 22R Right light source
Claims (13)
人の顔を撮像するように配置されたカメラと、
前記カメラにより撮像された画像を処理して、人の目の角膜表面における前記光源の反射像（以下、「プルキニエ像」という）を検出する画像処理装置とを備え、
前記光源は、互いに異なる方向から人の顔を照明するように配置された第１及び第２の光源を含み、
前記画像処理装置は、前記第１の光源を点灯し前記第２の光源を消灯した状態で前記カメラにより撮像された第１の画像と、前記第２の光源を点灯し前記第１の光源を消灯した状態で前記カメラにより撮像された第２の画像とを用いて、前記第１の画像内の所定輝度以上の画素集合体と、前記第２の画像内の所定輝度以上の画素集合体との位置の差に基づいて、前記プルキニエ像を検出することを特徴とする、画像特徴量検出装置。 A light source arranged to illuminate a person's face;
A camera arranged to image a person's face;
An image processing device that processes an image captured by the camera and detects a reflected image of the light source on the cornea surface of a human eye (hereinafter referred to as a “Purkinje image”);
The light source includes first and second light sources arranged to illuminate a human face from different directions,
The image processing apparatus turns on the first light source and turns off the second light source, and turns on the first light source by turning on the second light source and the first image captured by the camera. Using a second image captured by the camera in an unlit state, a pixel aggregate having a predetermined luminance or higher in the first image, and a pixel aggregate having a predetermined luminance or higher in the second image, An image feature quantity detection device that detects the Purkinje image based on a difference in position of the image.
前記所定の領域は、前記第１の画像の左側領域と右側領域のそれぞれ１つずつ設定されると共に、前記第２の画像の左側領域と右側領域のそれぞれ１つずつ設定され、
前記第１及び第２の画像のそれぞれにおける左側領域と右側領域のそれぞれにおいて、前記２つの画素集合体が存在する場合、前記画像処理装置は、左側領域と右側領域のそれぞれにおいて、前記第１の画像における前記２つの画素集合体間の離間距離と前記第２の画像における前記２つの画素集合体間の離間距離を比較し、左側領域と右側領域のそれぞれにおいて、前記第１及び第２の画像のうち、前記離間距離の大きい方の画像を用いて、目の特徴量を検出する、請求項７に記載の画像特徴量検出装置。 The camera is arranged to take an image of a human face from the front,
The predetermined area is set for each one of the left area and the right area of the first image, and is set for each of the left area and the right area of the second image,
When the two pixel aggregates exist in each of the left region and the right region in each of the first and second images, the image processing apparatus performs the first processing in each of the left region and the right region. The separation distance between the two pixel aggregates in the image is compared with the separation distance between the two pixel aggregates in the second image, and the first and second images are respectively obtained in the left region and the right region. The image feature amount detection apparatus according to claim 7, wherein an eye feature amount is detected using an image having a larger separation distance.
前記人は、車両の運転者であり、
前記第１の光源は、左方向から運転者の顔を照明するように配置され、前記第２の光源は、右方向から運転者の顔を照明するように配置される、画像特徴量検出装置。 It is an image feature-value detection apparatus of any one of Claims 1-9 mounted in a vehicle,
The person is a driver of the vehicle;
The first light source is arranged to illuminate the driver's face from the left direction, and the second light source is arranged to illuminate the driver's face from the right direction. .
前記画像処理装置は、運転者の顔向きを検出すると共に、該検出結果に応じた前記統計データを補完的に用いて、前記プルキニエ像を検出する、請求項１に記載の画像特徴量検出装置。 Storage means for storing statistical data obtained by trially detecting the position of the Purkinje image and the position of the light source moving into the glasses in the first image and the second image in association with the driver's face orientation. Prepared,
The image feature amount detection device according to claim 1, wherein the image processing device detects a driver's face direction and detects the Purkinje image using the statistical data corresponding to the detection result in a complementary manner. .
前記画像特徴量検出装置により検出されるプルキニエ像に基づいて、運転者の視線方向を算出する、視線方向検出装置。 An image feature quantity detection device according to claim 11;
A gaze direction detection device that calculates a gaze direction of a driver based on a Purkinje image detected by the image feature quantity detection device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009089753A JP2010244156A (en) | 2009-04-02 | 2009-04-02 | Image feature amount detection device and gaze direction detection device using the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009089753A JP2010244156A (en) | 2009-04-02 | 2009-04-02 | Image feature amount detection device and gaze direction detection device using the same |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2010244156A true JP2010244156A (en) | 2010-10-28 |
Family
ID=43097134
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009089753A Pending JP2010244156A (en) | 2009-04-02 | 2009-04-02 | Image feature amount detection device and gaze direction detection device using the same |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2010244156A (en) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015112151A (en) * | 2013-12-09 | 2015-06-22 | 富士通株式会社 | Image processing apparatus, image processing method, and image processing program |
| KR20160042564A (en) * | 2014-10-10 | 2016-04-20 | 현대자동차주식회사 | Apparatus and method for tracking gaze of glasses wearer |
| KR20160055621A (en) * | 2014-11-10 | 2016-05-18 | 현대자동차주식회사 | Gaze tracking apparatus and method for detecting glint thereof |
| KR101742049B1 (en) * | 2015-06-12 | 2017-06-15 | 한림대학교 산학협력단 | Meibomian photographing gland device using infrared ray and meibomian gland photographing method using the same |
| WO2018037685A1 (en) | 2016-08-24 | 2018-03-01 | 株式会社Ｊｖｃケンウッド | Line-of-sight detection device, line-of-sight detection method, and computer program |
| JP2019115037A (en) * | 2017-12-21 | 2019-07-11 | 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． | Apparatus and method for detecting reflection |
| CN111160081A (en) * | 2018-11-07 | 2020-05-15 | 矢崎总业株式会社 | surveillance system |
| CN114428398A (en) * | 2020-10-29 | 2022-05-03 | 北京七鑫易维信息技术有限公司 | Method, device and equipment for matching light spots with light sources and storage medium |
| JP7529826B2 (en) | 2022-04-25 | 2024-08-06 | コンチネンタル・オートモーティヴ・テクノロジーズ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング | Image processing method and system for removing glare spots |
-
2009
- 2009-04-02 JP JP2009089753A patent/JP2010244156A/en active Pending
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015112151A (en) * | 2013-12-09 | 2015-06-22 | 富士通株式会社 | Image processing apparatus, image processing method, and image processing program |
| KR20160042564A (en) * | 2014-10-10 | 2016-04-20 | 현대자동차주식회사 | Apparatus and method for tracking gaze of glasses wearer |
| KR101628493B1 (en) * | 2014-10-10 | 2016-06-21 | 현대자동차주식회사 | Apparatus and method for tracking gaze of glasses wearer |
| US9454226B2 (en) | 2014-10-10 | 2016-09-27 | Hyundai Motor Company | Apparatus and method for tracking gaze of glasses wearer |
| KR20160055621A (en) * | 2014-11-10 | 2016-05-18 | 현대자동차주식회사 | Gaze tracking apparatus and method for detecting glint thereof |
| KR101673694B1 (en) * | 2014-11-10 | 2016-11-07 | 현대자동차주식회사 | Gaze tracking apparatus and method for detecting glint thereof |
| KR101742049B1 (en) * | 2015-06-12 | 2017-06-15 | 한림대학교 산학협력단 | Meibomian photographing gland device using infrared ray and meibomian gland photographing method using the same |
| US10896324B2 (en) | 2016-08-24 | 2021-01-19 | JVC Kenwood Corporation | Line-of-sight detection device and method for detecting line of sight |
| WO2018037685A1 (en) | 2016-08-24 | 2018-03-01 | 株式会社Ｊｖｃケンウッド | Line-of-sight detection device, line-of-sight detection method, and computer program |
| JP2019115037A (en) * | 2017-12-21 | 2019-07-11 | 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． | Apparatus and method for detecting reflection |
| JP7112945B2 (en) | 2017-12-21 | 2022-08-04 | 三星電子株式会社 | Apparatus and method for detecting reflection |
| US11631180B2 (en) | 2017-12-21 | 2023-04-18 | Samsung Electronics Co., Ltd. | Apparatus and method for detecting reflection |
| JP2020075596A (en) * | 2018-11-07 | 2020-05-21 | 矢崎総業株式会社 | Monitoring system |
| CN111160081A (en) * | 2018-11-07 | 2020-05-15 | 矢崎总业株式会社 | surveillance system |
| US10963718B2 (en) | 2018-11-07 | 2021-03-30 | Yazaki Corporation | Monitoring system |
| CN111160081B (en) * | 2018-11-07 | 2023-07-18 | 矢崎总业株式会社 | Monitoring system |
| CN114428398A (en) * | 2020-10-29 | 2022-05-03 | 北京七鑫易维信息技术有限公司 | Method, device and equipment for matching light spots with light sources and storage medium |
| CN114428398B (en) * | 2020-10-29 | 2023-12-26 | 北京七鑫易维信息技术有限公司 | Light spot and light source matching method, device, equipment and storage medium |
| JP7529826B2 (en) | 2022-04-25 | 2024-08-06 | コンチネンタル・オートモーティヴ・テクノロジーズ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング | Image processing method and system for removing glare spots |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2010244156A (en) | Image feature amount detection device and gaze direction detection device using the same | |
| US8435188B2 (en) | Eye opening detection system and method of detecting eye opening | |
| CN105612473B (en) | Operation input device and method | |
| US8678589B2 (en) | Gaze target determination device and gaze target determination method | |
| JP4895797B2 (en) | Wrinkle detection device, wrinkle detection method and program | |
| US8810642B2 (en) | Pupil detection device and pupil detection method | |
| JP4811259B2 (en) | Gaze direction estimation apparatus and gaze direction estimation method | |
| JP6564271B2 (en) | Imaging apparatus, image processing method, program, and storage medium | |
| US20100054548A1 (en) | Apparatus for detecting a pupil, program for the same, and method for detecting a pupil | |
| JP6601351B2 (en) | Eye gaze measurement device | |
| JP5737401B2 (en) | 瞼 Detection device | |
| WO2011158463A1 (en) | External light glare assessment device, line of sight detection device and external light glare assessment method | |
| JP6855872B2 (en) | Face recognition device | |
| JP5429885B2 (en) | Feature point tracking method and feature point tracking device | |
| JP6957048B2 (en) | Eye image processing device | |
| CN111696312B (en) | Passenger observation device | |
| JP6892231B2 (en) | Eyelid opening / closing detection device and eyelid opening / closing detection method | |
| JP6737213B2 (en) | Driver state estimating device and driver state estimating method | |
| JP6762794B2 (en) | Eyelid opening / closing detection device and eyelid opening / closing detection method | |
| CN114004889A (en) | Three-dimensional eyeball movement direction judgment method fusing head postures | |
| JP2022138279A (en) | Eye open/close determination device and eye open/close determination method | |
| WO2019159229A1 (en) | Erroneous detection determination apparatus and erroneous detection determination method | |
| JP2010205076A (en) | Eye detecting device, and method used in the device | |
| US20250086986A1 (en) | Driver monitoring system | |
| JP2006130325A (en) | Personal identification device |