[go: up one dir, main page]

JP2018197910A - Biometric measurement device - Google Patents

Biometric measurement device Download PDF

Info

Publication number
JP2018197910A
JP2018197910A JP2017101644A JP2017101644A JP2018197910A JP 2018197910 A JP2018197910 A JP 2018197910A JP 2017101644 A JP2017101644 A JP 2017101644A JP 2017101644 A JP2017101644 A JP 2017101644A JP 2018197910 A JP2018197910 A JP 2018197910A
Authority
JP
Japan
Prior art keywords
subject
pulse wave
camera
face
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017101644A
Other languages
Japanese (ja)
Other versions
JP6373450B1 (en
Inventor
源 長谷川
Hajime Hasegawa
源 長谷川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2017101644A priority Critical patent/JP6373450B1/en
Application granted granted Critical
Publication of JP6373450B1 publication Critical patent/JP6373450B1/en
Publication of JP2018197910A publication Critical patent/JP2018197910A/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】簡単に被験者の脈波等を検出できるとともに、脈波等を検出する際、被験者の動作を妨げることがない生体測定装置を提供する。【解決手段】発光素子から被験者の顔面に近赤外光を照射し、このときにカメラで撮影された被験者の顔面の画像から被験者の脈波を取得し、この脈波に基づいて被験者の状態を判定する。また、発光素子による近赤外光によりカメラで撮影された被験者の顔面の画像から脈波解析箇所を特定し、この発光素子より光度が高い別の発光素子を異なるタイミングでその脈波解析箇所に近赤外光を照射させることにより、脈波解析箇所の画像から被験者の脈波を取得し、この脈波に基づいて被験者の状態を判定する。【選択図】図1PROBLEM TO BE SOLVED: To provide a biological measuring device which can easily detect a pulse wave or the like of a subject and does not interfere with the movement of the subject when detecting the pulse wave or the like. SOLUTION: A subject's face is irradiated with near-infrared light from a light emitting element, a subject's pulse wave is acquired from an image of the subject's face taken by a camera at this time, and the state of the subject is obtained based on the pulse wave. To judge. In addition, the pulse wave analysis location is identified from the image of the subject's face taken by the camera with the near-infrared light emitted by the light emitting element, and another light emitting element having a higher luminosity than this light emitting element is assigned to the pulse wave analysis location at different timings. By irradiating with near-infrared light, the pulse wave of the subject is acquired from the image of the pulse wave analysis location, and the state of the subject is determined based on this pulse wave. [Selection diagram] Fig. 1

Description

本発明は、被験者としての人間の状態(漫然状態、興奮状態等)を測定する生体測定装置に関するものである。   The present invention relates to a biometric apparatus that measures the state of a human being (subjective state, excitement state, etc.) as a subject.

従来の生体測定装置としては、特許文献1に示す運転支援装置が有る。すなわち、車両1には、運転者の顔を撮影するための運転者カメラが搭載されている。運転者カメラで撮影した画像は制御装置に入力される。運転者の顔の画像を撮影するに際しては、主に近赤外領域の波長の光が用いられる。
さらに、運転者が心電センサーや血圧センサーを装着するようになっており、運転者の心拍数及び血圧などのデータが、無線又は有線で制御装置に入力される。
As a conventional biometric device, there is a driving support device disclosed in Patent Document 1. That is, the vehicle 1 is equipped with a driver camera for photographing the driver's face. Images taken by the driver camera are input to the control device. When taking an image of the driver's face, light having a wavelength in the near infrared region is mainly used.
Furthermore, the driver wears an electrocardiographic sensor and a blood pressure sensor, and data such as the heart rate and blood pressure of the driver are input to the control device wirelessly or by wire.

制御装置は、運転者の顔の画像のデータ、心拍数、及び血圧などのデータに基づいて、運転者の状態を検出する。その結果、例えば運転者が漫然状態にあると判断した場合には、スピーカーから各種の音声や効果音などを出力する。あるいは、運転席のシートに内蔵されたシート振動装置を駆動することによって、運転者に注意喚起を行う。   The control device detects the state of the driver based on data such as the driver's face image data, heart rate, and blood pressure. As a result, for example, when it is determined that the driver is in an ambiguous state, various sounds and sound effects are output from the speaker. Alternatively, the driver is alerted by driving a seat vibration device built in the seat of the driver's seat.

特開2015−153048号公報Japanese Patent Laying-Open No. 2015-153048

上記の特許文献1では、センサー等を被験者に装着して、装着されたセンサー等が被験者の脈波等を検出する。従って、センサー等を被験者に装着する必要があるので、センサー等を装着するための手間が掛かるとともに、被験者の動作が制限される虞がある。例えば、自動車の運転中において、センサー等が被験者(運転者)に装着されることにより、被験者(運転者)が、急ハンドルなどの動作ができない虞がある。
以上のとおり、従来の装置では、例えば、自動車の運転中の被験者(運転者)の脈波等を検出することは、安全な自動車の走行に支障が生じるという課題がある。
In the above-mentioned Patent Document 1, a sensor or the like is attached to a subject, and the attached sensor or the like detects the subject's pulse wave or the like. Therefore, since it is necessary to attach a sensor or the like to the subject, it takes time and effort to attach the sensor or the like, and there is a possibility that the operation of the subject is limited. For example, during driving of a car, the subject (driver) may not be able to operate a sudden handle or the like by attaching a sensor or the like to the subject (driver).
As described above, in the conventional device, for example, detecting a pulse wave of a subject (driver) while driving a vehicle has a problem that a safe driving of the vehicle is hindered.

本発明は、上記の課題を解決するためになされたものであり、簡単に被験者の脈波等を検出できるとともに、脈波等を検出する際、被験者の動作を妨げることがない生体測定装置を提供することを目的とする。   The present invention has been made in order to solve the above-described problems, and provides a biometric device that can easily detect a subject's pulse wave and the like and that does not interfere with the operation of the subject when detecting the pulse wave or the like. The purpose is to provide.

上記の目的を達成する為、本発明では、被験者の顔面を撮影するカメラと、前記カメラが前記被験者の顔面を撮影する際、前記被験者の顔面に近赤外光を照射する発光素子と、前記カメラで撮影された前記被験者の顔面の画像から前記被験者の脈波を取得し、前記脈波に基づいて前記被験者の状態を判定する演算装置と、を備えた生体測定装置が提供される。   In order to achieve the above object, in the present invention, a camera that captures a face of a subject, a light emitting element that irradiates near infrared light on the face of the subject when the camera captures the face of the subject, There is provided a biometric apparatus including an arithmetic device that acquires a pulse wave of the subject from an image of the face of the subject photographed by a camera and determines the state of the subject based on the pulse wave.

また、上記の目的を達成する為、本発明では、被験者の顔面を撮影するカメラと、前記カメラが前記被験者の顔面を撮影する際、前記被験者の顔面に近赤外光を照射する第1の発光素子と、前記第1の発光素子より光度が高い近赤外光を前記被験者の顔面に照射する第2の発光素子と、前記第1の発光素子による近赤外光により前記カメラで撮影された前記被験者の顔面の画像から脈波解析箇所を特定し、前記第1の発光素子とは異なるタイミングで前記第2の発光素子の近赤外光を前記脈波解析箇所に照射させることにより、前記カメラで撮影された前記脈波解析箇所の画像から前記被験者の脈波を取得し、前記脈波に基づいて前記被験者の状態を判定する演算装置と、を備えた生体測定装置が提供される。   In order to achieve the above object, according to the present invention, a camera that shoots the face of the subject and a first infrared light that irradiates the subject's face with near infrared light when the camera shoots the face of the subject. Photographed with the camera by a light emitting element, a second light emitting element that irradiates the face of the subject with near infrared light having a higher luminous intensity than the first light emitting element, and near infrared light by the first light emitting element. By identifying the pulse wave analysis location from the face image of the subject and irradiating the pulse wave analysis location with the near infrared light of the second light emitting element at a timing different from the first light emitting element, There is provided a biometric device comprising: an arithmetic device that acquires the pulse wave of the subject from the image of the pulse wave analysis location photographed by the camera and determines the state of the subject based on the pulse wave. .

本発明によれば、発光素子から被験者の顔面に近赤外光を照射し、このときにカメラで撮影された被験者の顔面の画像から被験者の脈波を取得し、この脈波に基づいて被験者の状態を判定するように構成したので、簡単に運転者等の脈波等を、被験者の動作を妨げずに検出することができる。   According to the present invention, the subject's face is irradiated with near-infrared light from the light emitting element, and the subject's pulse wave is acquired from the image of the subject's face taken by the camera at this time, and the subject is based on the pulse wave. Therefore, it is possible to easily detect a pulse wave of a driver or the like without disturbing the operation of the subject.

本発明の実施の形態1による生体測定装置の実施の形態1の構成を示すブロック図である。It is a block diagram which shows the structure of Embodiment 1 of the biometric apparatus by Embodiment 1 of this invention. 図1に示す生体測定装置の外観構造を示す斜視図である。It is a perspective view which shows the external appearance structure of the biometric apparatus shown in FIG. 図1に示す生体測定装置の概略的な動作を示すフローチャートである。It is a flowchart which shows schematic operation | movement of the biometric apparatus shown in FIG. 図3のフローチャートにおける脈波データの取得方法を示したフローチャートである。It is the flowchart which showed the acquisition method of the pulse wave data in the flowchart of FIG. 本発明の実施の形態2による生体測定装置の構成を示すブロック図である。It is a block diagram which shows the structure of the biometric apparatus by Embodiment 2 of this invention. 図5に示す生体測定装置の外観構造を示す斜視図である。It is a perspective view which shows the external appearance structure of the biometric apparatus shown in FIG. 図5に示す生体測定装置の概略動作を示すフローチャートである。It is a flowchart which shows schematic operation | movement of the biometric apparatus shown in FIG. 図5に示す生体測定装置における撮像素子と近赤外LEDの動作との関係を示すタイミングチャートである。It is a timing chart which shows the relationship between the image pick-up element in the biometric apparatus shown in FIG. 5, and operation | movement of near infrared LED. 図7のフローチャートをより詳細に示したフローチャートである。It is the flowchart which showed the flowchart of FIG. 7 in detail.

以下、本発明に係る生体測定装置の種々の実施の形態を、上記の添付図面を参照して説明する。なお、この生体測定装置は、移動体、例えば、自動車等の車両に搭載されるものとする。従って、被験者は、例えば、車両の運転者である。   Hereinafter, various embodiments of a biometric apparatus according to the present invention will be described with reference to the accompanying drawings. In addition, this biometric apparatus shall be mounted in vehicles, such as a mobile body, for example, a motor vehicle. Accordingly, the subject is, for example, a vehicle driver.

実施の形態1.
図1において、本実施の形態1として示す生体測定装置8は、被験者である運転者の顔写真を撮像するカメラ1と、被験者の顔に近赤外光を照射する近赤外LED4と、被験者の状態測定結果や外部の情報入力を行う外部インタフェース部(I/F)7と、演算装置10とで構成される。
Embodiment 1 FIG.
In FIG. 1, a biometric apparatus 8 shown as the first embodiment includes a camera 1 that captures a face photograph of a driver who is a subject, a near-infrared LED 4 that irradiates the subject's face with near-infrared light, and a subject. The external interface unit (I / F) 7 for inputting the state measurement result and external information and the arithmetic unit 10 are configured.

演算装置10は、さらに、カメラ1のシャッター時間とタイミングを制御するカメラ制御部2と、撮像データを元に脈波を抽出し、波形を解析することで被験者の状態を測定する被験者の状態測定部3と、近赤外LED4の発光時間とタイミングを制御するLED制御部5と、脈波解析のために、取得した脈波データを蓄積する外部記憶装置6とを備えている。   The arithmetic device 10 further includes a camera control unit 2 that controls the shutter time and timing of the camera 1, and extracts a pulse wave based on the imaging data, and measures the state of the subject by analyzing the waveform to measure the state of the subject. Unit 3, LED control unit 5 that controls the emission time and timing of near-infrared LED 4, and external storage device 6 that accumulates acquired pulse wave data for pulse wave analysis.

なお、カメラ1は、レンズと電荷結合素子(CCD)又は相補型MOS(CMOS)などの撮像素子を備えている。また、近赤外光が反射した像を得るために、撮像素子の前に可視光領域である700nm以下の周波数を除去するフィルタ(図示せず)が設けられている。   The camera 1 includes a lens and an image sensor such as a charge coupled device (CCD) or a complementary MOS (CMOS). In addition, in order to obtain an image in which near-infrared light is reflected, a filter (not shown) that removes a frequency of 700 nm or less that is a visible light region is provided in front of the imaging element.

近赤外LED4は、被験者の頬部分に照射されるように設置され、ヘモグロビンの赤外線吸収特性より、近赤外LED4の波長は700nmから900nm付近のものを用いる。
従って、カメラ1は、被験者の頬辺りを撮影するように設置され、画像の輝度の変化により脈波を得る。この輝度の変化は、被験者に照射した近赤外LED4の反射光が血中のヘモグロビンの近赤外線吸収特性で起きる。
Near-infrared LED4 is installed so that it may irradiate a cheek part of a test subject, and the near-infrared LED4 uses the near-infrared LED4 having a wavelength in the vicinity of 700 nm to 900 nm due to the infrared absorption characteristics of hemoglobin.
Therefore, the camera 1 is installed so as to photograph the subject's cheek area, and obtains a pulse wave by a change in luminance of the image. This change in brightness occurs due to the near-infrared absorption characteristics of hemoglobin in the blood reflected by the near-infrared LED 4 irradiated to the subject.

近赤外LED4は被験者に向けて長時間照射するため、例えば、JIS C 6802におけるクラスIなどの安全基準を満たすものを用いる。
カメラ1が撮像するタイミングと、近赤外LED4がONとなるタイミングが同じになるように、被験者の状態測定部3は、図1に示すように、カメラ制御部2及びLED制御部5を制御する。この被験者の状態測定部3は、カメラ1から取得した画像による脈波の抽出と、脈波解析による被験者の状態測定のプログラムを実行する。このプログラムの実行のために、被験者の状態測定部3は、中央演算処理装置(CPU)、マイクロプロセッサ、又はFPGAなどを搭載している。
Since near-infrared LED4 irradiates a test subject for a long time, what meets safety standards, such as class I in JISC6802, is used, for example.
As shown in FIG. 1, the subject state measurement unit 3 controls the camera control unit 2 and the LED control unit 5 so that the timing at which the camera 1 takes an image and the timing at which the near-infrared LED 4 is turned on are the same. To do. The subject state measuring unit 3 executes a program for extracting a pulse wave from an image acquired from the camera 1 and measuring the state of the subject by pulse wave analysis. In order to execute this program, the subject state measurement unit 3 is equipped with a central processing unit (CPU), a microprocessor, or an FPGA.

外部記憶装置6は、例えば揮発性メモリ又は不揮発性メモリを備えており、脈波を解析する最低限の時間分のデータ保存容量を有する。
外部インタフェース部7は、被験者の脈波解析結果を外部に送付し、生体測定装置8の動作命令を受信する手段として、外部の端末に有線又は無線による通信を行う機能を備える。
The external storage device 6 includes, for example, a volatile memory or a nonvolatile memory, and has a data storage capacity for a minimum time for analyzing a pulse wave.
The external interface unit 7 has a function of performing wired or wireless communication with an external terminal as means for sending a pulse wave analysis result of the subject to the outside and receiving an operation command of the biometric device 8.

図1の生体測定装置8の外観が図2に示されている。この生体測定装置8は、1つの基板上に実装されており、カメラ1、カメラ制御部2(図示せず)、被験者の状態測定部3、近赤外LED4、LED制御部5、外部記憶装置6、及び外部インタフェース部7(図示せず)は、図1に示した情報の入出力を電気的接続によって行う。また、近赤外LED4の照射方向とカメラ1の撮像方向が一致するように、それぞれの位置が予め調整されている。   The appearance of the biometric device 8 of FIG. 1 is shown in FIG. The biometric device 8 is mounted on one substrate, and includes a camera 1, a camera control unit 2 (not shown), a subject state measurement unit 3, a near infrared LED 4, an LED control unit 5, and an external storage device. 6 and the external interface unit 7 (not shown) perform input / output of information shown in FIG. 1 by electrical connection. Each position is adjusted in advance so that the irradiation direction of the near-infrared LED 4 and the imaging direction of the camera 1 coincide.

上記の生体測定装置8の動作概要を図3のフローチャートで説明する。
まず、画像を取得するために、被験者の状態測定部3は、被験者に向けて近赤外LED4を発光する(ステップS001)。次に、カメラ1により被験者の顔、特に頬の部分を撮像する(ステップS002)。撮像した画像は被験者の状態測定部3に入力され、脈波データを取得する(ステップS003)。取得した脈波は外部記憶装置6に蓄積され、被験者の状態測定部3により被験者の状態を測定する(ステップS004)。外部インタフェース部7から受ける命令に基づき、運転終了を行うか、測定を継続するかを判断する(ステップS005)。なお、以下、脈波データは単に脈波と称することがある。
An outline of the operation of the biometric apparatus 8 will be described with reference to the flowchart of FIG.
First, in order to acquire an image, the test subject state measurement unit 3 emits the near-infrared LED 4 toward the test subject (step S001). Next, the face of the subject, particularly the cheek part, is imaged by the camera 1 (step S002). The captured image is input to the subject state measurement unit 3 to acquire pulse wave data (step S003). The acquired pulse wave is accumulated in the external storage device 6, and the state of the subject is measured by the state measuring unit 3 of the subject (step S004). Based on the command received from the external interface unit 7, it is determined whether to end the operation or to continue the measurement (step S005). Hereinafter, the pulse wave data may be simply referred to as a pulse wave.

次に、図3のフローチャートにおける脈波データの取得ステップS0003を、図4のフローチャートにて詳しく説明する。   Next, the pulse wave data acquisition step S0003 in the flowchart of FIG. 3 will be described in detail with reference to the flowchart of FIG.

図4において、脈波を取得するためには均等な時間間隔で画像を取得する必要がある。そのため、被験者の状態測定部3に内蔵されているカウンタ(タイマ)30のカウントを最初に開始させる(ステップS019)。
次に、カメラ1により被験者の顔を撮像し(ステップS020)、カウントtのときの画像データとして被験者の状態測定部3が蓄積する(ステップS021)。1カウント前(カウントt−1)の画像があるとき(ステップS022のYes)、カウントt−1とカウントtの両画像データ間の輝度差を被験者の状態測定部3が演算する(ステップS023)。
In FIG. 4, it is necessary to acquire images at equal time intervals in order to acquire a pulse wave. Therefore, the count of the counter (timer) 30 built in the state measurement unit 3 of the subject is first started (step S019).
Next, the subject's face is imaged by the camera 1 (step S020), and the subject's state measuring unit 3 accumulates as image data when the count is t (step S021). When there is an image one count before (count t-1) (Yes in step S022), the subject state measurement unit 3 calculates the luminance difference between the image data of both count t-1 and count t (step S023). .

演算した輝度差は画像データとして外部記憶装置6に保存する(ステップS024)。そして、カウントtの画像データを被験者の状態測定部3のカウントt−1の画像データ保存領域に移行し(ステップS025)、運転を継続する場合は(ステップS026のNo)、カウンタ30が1カウントするまで待機し(S027)、1カウント後に再度被験者の顔を撮像し、脈波データを取得する。   The calculated luminance difference is stored as image data in the external storage device 6 (step S024). Then, the image data of the count t is transferred to the image data storage area of the count t−1 of the subject state measurement unit 3 (step S025), and when the operation is continued (No in step S026), the counter 30 counts by one. (S027) After 1 count, the subject's face is imaged again to obtain pulse wave data.

カウントt−1のときの画像データが無いとき(ステップS022のNo)、カウントtの画像データを被験者の状態測定部3のカウントt−1の画像データ保存領域に移行し(ステップS025)、1カウント待機し(ステップS027)、カウントtのときの画像データを撮像し、脈波データとして取得する(ステップS020〜ステップS024)。   When there is no image data at the time of count t-1 (No in step S022), the image data of count t is transferred to the image data storage area of count t-1 of the subject state measurement unit 3 (step S025), 1 Waiting for counting (step S027), image data at the time of count t is captured and acquired as pulse wave data (steps S020 to S024).

図4に示すように、画像の取得、輝度差の演算、及び脈波データの取得(ステップS020〜ステップS026)を実行する時間は1カウント以内である。そのため、カメラ1のシャッター時間と近赤外LED4の照射時間の上限はこれらを加味した上で予め調節する。   As shown in FIG. 4, the time for executing image acquisition, luminance difference calculation, and pulse wave data acquisition (steps S020 to S026) is within one count. Therefore, the upper limit of the shutter time of the camera 1 and the irradiation time of the near-infrared LED 4 is adjusted in advance in consideration of these.

なお、被験者の状態測定部3は脈波取得後に波形の整形処理を行っても良い。例えば、取得した脈波より外乱のノイズを削除するために0.45Hz以下の周波数のみを通すローパスフィルタ処理を行う。   The state measuring unit 3 of the subject may perform waveform shaping processing after acquiring the pulse wave. For example, in order to remove disturbance noise from the acquired pulse wave, low-pass filter processing that passes only a frequency of 0.45 Hz or less is performed.

また、脈波の解析による被験者の状態の測定方法は公知の技術である。手法としては、脈波の揺らぎを測定する。具体的には、脈波を二階微分し、脈波のピーク間隔を測定し、高速フーリエ変換又は最大エントロピー法による周波数解析等を行う。この周波数特性の低周波域(0.04Hz〜0.15Hz)と高周波域(0.15〜0.45Hz)のスペクトル高さの比の変化を解析することで、被験者の状態を測定する。   A method for measuring the condition of a subject by analyzing a pulse wave is a known technique. As a method, the fluctuation of the pulse wave is measured. Specifically, the pulse wave is second-order differentiated, the peak interval of the pulse wave is measured, and frequency analysis or the like by fast Fourier transform or maximum entropy method is performed. The state of the subject is measured by analyzing the change in the ratio of the spectral height between the low frequency range (0.04 Hz to 0.15 Hz) and the high frequency range (0.15 to 0.45 Hz) of this frequency characteristic.

また、これ以外でも、既に公知技術となっている脈波解析による被験者の状態を測定する方法がある場合は、それらを活用しても構わない。さらに、波形処理方法も所望の周波数を抽出するものであれば、他の手法を用いても構わない。   In addition, when there is a method for measuring the state of a subject by pulse wave analysis that has already been known, these may be utilized. Furthermore, as long as the waveform processing method extracts a desired frequency, other methods may be used.

実施の形態2.
図5に示す本発明の実施の形態2による生体測定装置14は、運転者の顔写真を撮像するカメラ1と、運転者の顔に近赤外光を照射する近赤外LED10a及び10bと、運転者の状態測定結果や外部の情報入力を行う外部インタフェース部7と、運転者の状態より運転に支障があると判断した場合に、報知を行う注意喚起デバイス12と、演算装置20とで構成される。なお、以下の説明では、被験者として運転者を例に挙げて説明する。従って、この場合の生体測定装置14は、運転支援装置でもある。
Embodiment 2. FIG.
The biometric apparatus 14 according to Embodiment 2 of the present invention shown in FIG. 5 includes a camera 1 that captures a driver's face photo, near-infrared LEDs 10a and 10b that irradiate the driver's face with near-infrared light, It comprises an external interface unit 7 for inputting a driver's state measurement result and external information, an alerting device 12 for notifying the driver when the driver's state is determined to hinder driving, and an arithmetic unit 20 Is done. In the following description, a driver will be described as an example of a subject. Therefore, the biometric device 14 in this case is also a driving support device.

演算装置20は、さらに、カメラ1のシャッター時間とタイミングを制御するカメラ制御部2と、脈波解析のために、取得した脈波データを蓄積する外部記憶装置6と、顔を検出し、撮像データを元に脈波を抽出し、波形を解析することで運転者の状態を測定する被験者の状態測定部9と、近赤外LED4の発光強度と発光時間とタイミングを制御するLED出力制御部11と、注意喚起デバイス12の制御を行う注意喚起制御部13とを有する。   The computing device 20 further detects a camera by detecting a face, a camera control unit 2 that controls the shutter time and timing of the camera 1, an external storage device 6 that accumulates acquired pulse wave data for pulse wave analysis, and a face. Extracting pulse wave based on the data and analyzing the waveform of the subject to measure the state of the subject 9, LED output control unit to control the emission intensity, emission time and timing of the near infrared LED 4 11 and an alerting control unit 13 that controls the alerting device 12.

なお、上記の実施の形態1と同様に、カメラ1はレンズと電荷結合素子(CCD)又は相補型MOS(CMOS)などの撮像素子を備えている。
また、近赤外光が反射した像を得るために、撮像素子の前に可視光領域である700nm以下の周波数を除去するフィルタが備えられている。
As in the first embodiment, the camera 1 includes a lens and an image sensor such as a charge coupled device (CCD) or a complementary MOS (CMOS).
In addition, in order to obtain an image in which near-infrared light is reflected, a filter that removes a frequency of 700 nm or less that is a visible light region is provided in front of the imaging device.

また、被験者の状態測定部9は、近赤外LED10a及び10bが、カメラ1により運転者の顔を撮像し、撮像した画像から顔を検出し、検出した顔より頬付近に近赤外光を照射するようにLED出力制御部11を制御する。また、近赤外LED10a及び10bの波長はヘモグロビンの赤外線吸収特性より、700nmから900nm付近を用いる。   In addition, the near-infrared LEDs 10 a and 10 b capture the driver's face with the camera 1, detect the face from the captured image, and detect near-infrared light near the cheek from the detected face. The LED output control unit 11 is controlled to irradiate. The wavelengths of near-infrared LEDs 10a and 10b are in the vicinity of 700 nm to 900 nm due to the infrared absorption characteristics of hemoglobin.

カメラ1は、脈波を測定するときは運転者の頬周辺を撮影し、画像の輝度の変化により、脈波を得る。この輝度の変化は運転者に照射した近赤外LED10a及び10bの反射光が血中のヘモグロビンの近赤外線吸収特性で起きる。頬周辺の撮影は、運転者の顔画像を検出して、撮像素子で頬の反射光が入射する対象領域(ROI)を設定する。また、近赤外LED10a及び10bは、被験者に向けて照射するため、例えばJIS C 6802におけるクラスIなどの安全基準を満たすものを用いる。   When measuring the pulse wave, the camera 1 captures the periphery of the cheek of the driver and obtains the pulse wave by changing the luminance of the image. This change in luminance occurs due to the near-infrared absorption characteristics of hemoglobin in the blood reflected by the near-infrared LEDs 10a and 10b irradiated to the driver. For photographing around the cheek, the driver's face image is detected, and the target region (ROI) where the reflected light of the cheek is incident is set by the image sensor. Moreover, in order to irradiate towards a test subject near infrared LED10a and 10b, what satisfy | fills safety standards, such as class I in JISC6802, is used, for example.

カメラ1が撮像するタイミングと、近赤外LED10a及び10bをONにするタイミングが同時になるように、被験者の状態測定部9は、カメラ制御部2とLED出力制御部11を制御する。
外部記憶装置6は、例えば揮発性メモリ又は不揮発性メモリを備えており、脈波を解析する最低限の時間分と状態異常を検知した結果を保存する容量を有する。
The subject state measurement unit 9 controls the camera control unit 2 and the LED output control unit 11 so that the timing at which the camera 1 captures the image and the timing at which the near-infrared LEDs 10a and 10b are turned on simultaneously.
The external storage device 6 includes, for example, a volatile memory or a nonvolatile memory, and has a capacity for storing a result of detecting a state abnormality and a minimum time for analyzing a pulse wave.

図5に示すように、被験者の状態測定部9はカメラ1から取得した画像により、顔の検出、脈波の抽出及び脈波解析による運転者の状態測定のプログラムを実行する。これらのプログラムの実行のために、被験者の状態測定部9は、中央演算処理装置(CPU)、マイクロプロセッサ、又はFPGAなどを搭載する。
また、図5に示すように、被験者の状態測定部9は、カメラ制御部2とLED出力制御部11と注意喚起制御部13の動作の指令を行う。
As illustrated in FIG. 5, the subject state measurement unit 9 executes a driver state measurement program based on an image acquired from the camera 1 by detecting a face, extracting a pulse wave, and analyzing a pulse wave. In order to execute these programs, the subject state measurement unit 9 is equipped with a central processing unit (CPU), a microprocessor, or an FPGA.
In addition, as shown in FIG. 5, the subject state measurement unit 9 commands the operation of the camera control unit 2, the LED output control unit 11, and the alerting control unit 13.

外部インタフェース部7は、運転者の脈波解析結果を外部に送付し、生体測定装置8の動作命令を受信する手段として、外部の端末に有線又は無線による通信を行う機能を備える。   The external interface unit 7 has a function of performing wired or wireless communication with an external terminal as means for sending a pulse wave analysis result of the driver to the outside and receiving an operation command of the biometric device 8.

この生体測定装置14の外観が、図6に示されており、生体測定装置14は1つの基板17上に実装されており、カメラ1、カメラ制御部2、被験者の状態測定部9、近赤外LED10a及び10b、LED出力制御部11、注意喚起デバイス12(図示せず)、注意喚起制御部13(図示せず)、外部記憶装置6、及び外部インタフェース部7(図示せず)は、図5に示した情報の入出力を電気的接続によって行う。また、近赤外LED10a及び10bの照射方向とカメラ1の撮像方向が一致するように、それぞれの位置を予め調整する。   The appearance of the biometric device 14 is shown in FIG. 6. The biometric device 14 is mounted on a single substrate 17, and includes a camera 1, a camera control unit 2, a subject state measurement unit 9, and a near red color. The external LEDs 10a and 10b, the LED output control unit 11, the alerting device 12 (not shown), the alerting control unit 13 (not shown), the external storage device 6, and the external interface unit 7 (not shown) Input / output of the information shown in 5 is performed by electrical connection. Further, the respective positions are adjusted in advance so that the irradiation directions of the near-infrared LEDs 10a and 10b and the imaging direction of the camera 1 coincide.

近赤外LED10a及び10bは、それぞれ、脈波を取得する際に強い光を照射するために、複数個のLEDを配置しても良い。複数個配置した場合には、近赤外LED10aは顔全体に照射するように配置し、近赤外LED10bは顔下半分を照射するように配置する。また、近赤外LED10bは複数個を想定しているが、放射強度が単体で出力可能であるならば、近赤外LED10aと10bを単体にしても構わない。   Each of the near-infrared LEDs 10a and 10b may be provided with a plurality of LEDs in order to emit strong light when acquiring a pulse wave. When a plurality of LEDs are arranged, the near-infrared LED 10a is arranged to irradiate the entire face, and the near-infrared LED 10b is arranged to irradiate the lower half of the face. Further, although a plurality of near infrared LEDs 10b are assumed, the near infrared LEDs 10a and 10b may be used alone if the radiation intensity can be output alone.

次に、本実施形態2の生体測定装置14の動作を、図7に示すフローチャートを参照して概略的に説明する。   Next, operation | movement of the biometric apparatus 14 of this Embodiment 2 is demonstrated roughly with reference to the flowchart shown in FIG.

まず、画像を取得するために、運転者に向けて近赤外LED10aを発光する(ステップS006)。次に、運転者の顔の撮像を行い(ステップS007)、設定した時間に撮像を止め(ステップS008)、カメラ1の撮像が停止した後に近赤外LED10aの発光を停止させる(ステップS009)。撮像した運転者の画像を被験者の状態測定部9により、顔検出を行い(ステップS010)、ROIを推定する(ステップS011)。   First, in order to acquire an image, near infrared LED10a is light-emitted toward a driver | operator (step S006). Next, the driver's face is imaged (step S007), the imaging is stopped at the set time (step S008), and the light emission of the near infrared LED 10a is stopped after the imaging of the camera 1 is stopped (step S009). The face of the driver's captured image is detected by the subject state measurement unit 9 (step S010), and the ROI is estimated (step S011).

次に、近赤外LED10bを発光させ(ステップS012)、カメラ1により運転者の頬の部分を撮像する(ステップS013)。設定した時間に頬の画像を停止し(ステップS014)、撮像を停止させた後、近赤外LED10bの発光も停止させる(ステップS015)。脈波データは外部記憶装置6に蓄積され、被験者の状態測定部9により運転者の状態を測定する(ステップS016)。状態測定部9は、必要であれば、注意喚起制御部13により、運転者に危険性を報知する(ステップS017)。最後に、運転終了を行うか、測定を継続するかを判断して(ステップS018)、終了する。   Next, the near-infrared LED 10b is caused to emit light (step S012), and the driver's cheek portion is imaged by the camera 1 (step S013). The cheek image is stopped at the set time (step S014), and after the imaging is stopped, the light emission of the near infrared LED 10b is also stopped (step S015). The pulse wave data is accumulated in the external storage device 6, and the state of the driver is measured by the subject state measurement unit 9 (step S016). If necessary, the state measuring unit 9 notifies the driver of the danger by the alerting control unit 13 (step S017). Finally, it is determined whether to end the operation or continue the measurement (step S018), and the process ends.

ここで、図7に示した生体測定装置14の動作を、図8のタイミングチャートによりさらに詳しく説明する。
図8は、近赤外LED10a及び10bのON/OFFタイミングと、カメラ1の撮像素子のON/OFFタイミングとを示しており、図示のように、カメラ1の撮像のタイミングと、近赤外LED10a及び10bの発光タイミングとが同期するように制御を行う。
Here, the operation of the biometric apparatus 14 shown in FIG. 7 will be described in more detail with reference to the timing chart of FIG.
FIG. 8 shows the ON / OFF timing of the near-infrared LEDs 10a and 10b and the ON / OFF timing of the image sensor of the camera 1. As shown in the figure, the timing of the imaging of the camera 1 and the near-infrared LED 10a And 10b are controlled so as to be synchronized with the light emission timing.

また、脈波データの取得は、運転者の顔を近赤外LED10aで撮像するフレーム(一点鎖線Aで示す。)の間で行う。脈波は頬に存在する動脈、例えば眼窩下動脈、頬骨眼窩動脈等の動脈の反射光より測定するため、表皮を透過するように、光の強さを撮像時より高めて測定を行う。   Further, the acquisition of pulse wave data is performed between frames (indicated by a one-dot chain line A) in which the driver's face is imaged by the near-infrared LED 10a. Since the pulse wave is measured from the reflected light of an artery existing on the cheek, for example, an infraorbital artery or zygomatic orbital artery, the intensity of light is increased from that at the time of imaging so as to pass through the epidermis.

なお、図8の点線Bで示すように、脈波の測定には近赤外LED10bから強い光を照射するため、カメラ1の測定上限を超えないようにカメラ制御部2は感度を落とすような制御を行っても良い。   Note that, as indicated by the dotted line B in FIG. 8, the pulse wave is measured by irradiating strong light from the near-infrared LED 10b, so that the camera control unit 2 reduces the sensitivity so as not to exceed the measurement upper limit of the camera 1. Control may be performed.

ここで、図7に示した生体測定装置14の脈波の取得ステップS1013は、上述した実施の形態1においてステップS0003に関して説明した図4のフローチャートと同様に実行することができるので、繰り返しの説明は省略する。   Here, the pulse wave acquisition step S1013 of the biometric device 14 shown in FIG. 7 can be executed in the same manner as the flowchart of FIG. 4 described with respect to step S0003 in the above-described first embodiment. Is omitted.

次に、この生体測定装置14の動作を、図9のフローチャートを参照して詳しく説明する。   Next, the operation of the biometric device 14 will be described in detail with reference to the flowchart of FIG.

まず、顔検出と脈波取得の時間(期間)は任意の均等な時間(期間)で行う必要がある。そのため、被験者の状態測定部9に内蔵されたカウンタ30及びカウンタ31のカウントを開始させる(ステップS028)。   First, the time (period) for face detection and pulse wave acquisition needs to be performed at an arbitrary equal time (period). Therefore, the counter 30 and the counter 31 incorporated in the state measurement unit 9 of the subject are started (step S028).

外部記憶装置6に運転者の脈波比較データが存在している場合(ステップS029のYes)、運転者の顔をカメラ1と近赤外LED10aにより検出し(ステップS030)、運転者の顔が検出できた場合(ステップS031のYes)、運転者の脈波をカメラ1と近赤外LED10bにより取得する(ステップS032)。   When the driver's pulse wave comparison data exists in the external storage device 6 (Yes in step S029), the driver's face is detected by the camera 1 and the near-infrared LED 10a (step S030), and the driver's face is detected. If it can be detected (Yes in step S031), the driver's pulse wave is acquired by the camera 1 and the near-infrared LED 10b (step S032).

脈波比較データが無い場合(ステップS029のNo)、脈波による運転者の状態測定を行う前に比較データを作成する。そのために、運転者の顔をカメラ1と近赤外LED10aにより検出し(ステップS042)、運転者の顔が検出できた場合(ステップS043のYes)、カメラ1と近赤外LED10bにより運転者の脈波を取得する(ステップS044)。なお、この場合の脈波の取得にも図4のステップS023と同様に輝度差を求める場合には、比較すべき対象として予めデフォルト値を用意しておけばよい。   If there is no pulse wave comparison data (No in step S029), comparison data is created before measuring the state of the driver using the pulse wave. Therefore, the driver's face is detected by the camera 1 and the near-infrared LED 10a (step S042). If the driver's face is detected (Yes in step S043), the driver's face is detected by the camera 1 and the near-infrared LED 10b. A pulse wave is acquired (step S044). It should be noted that, in the case of obtaining the pulse wave in this case, when obtaining the luminance difference as in step S023 of FIG. 4, a default value may be prepared in advance as an object to be compared.

脈波比較データの有無に拘わらず、運転者の顔が検知不可能な時、カウンタ31のカウントt2を“1”だけインクリメント(ステップS050、ステップS051)、3秒(カウントt2=90)以上連続して顔検知が出来ない場合(ステップS052のYes)、リスクポイントRを“5”だけインクリメントする(ステップS053)。   When the driver's face cannot be detected regardless of the presence / absence of pulse wave comparison data, the counter t2 of the counter 31 is incremented by “1” (step S050, step S051), and continuously for 3 seconds (count t2 = 90) or more. If the face cannot be detected (Yes in step S052), the risk point R is incremented by “5” (step S053).

脈波の比較データは外部記憶装置6に記憶され(ステップS045)、ここで、顔検出と脈波取得の時間を均等にするために、1カウント迄待機する(ステップS046)。待機後はカウンタ30のカウントt1を“1”だけインクリメントし、カウンタ31のカウントt2はリセットする(ステップS047)。   The pulse wave comparison data is stored in the external storage device 6 (step S045). Here, in order to equalize the time for face detection and pulse wave acquisition, the system waits for one count (step S046). After waiting, the count t1 of the counter 30 is incremented by “1”, and the count t2 of the counter 31 is reset (step S047).

脈波の比較データを得るには、或る程度の時間が必要であり、今回はカウントt1が3分間(t1=5400)以上になるまで脈波を取得する(ステップS048のNo)。カウントt1が3分以上になったとき(ステップS048のYes)、画像比較データが取得されたことから、カウンタ30をリセットして(ステップS049)、ステップS031に進み、運転者の状態測定に移行する。   A certain amount of time is required to obtain the pulse wave comparison data, and this time, the pulse wave is acquired until the count t1 reaches 3 minutes (t1 = 5400) or more (No in step S048). When the count t1 becomes 3 minutes or more (Yes in step S048), the image comparison data is acquired, so the counter 30 is reset (step S049), and the process proceeds to step S031 and shifts to the driver state measurement. To do.

移行後は、運転者の状態を測定するために外部記憶装置6に脈波データを蓄積し(ステップS033)、ここで、顔検出と脈波取得の時間を均等にするために、1カウント迄待機する(ステップS034)。待機後は、カウンタ30のカウントt1を“1”だけインクリメントし、カウンタ31はリセットする(ステップS035)。   After the transition, pulse wave data is accumulated in the external storage device 6 in order to measure the driver's condition (step S033). Here, in order to equalize the time for face detection and pulse wave acquisition, up to 1 count. Wait (step S034). After waiting, the count t1 of the counter 30 is incremented by “1”, and the counter 31 is reset (step S035).

脈波の比較データを得るには、或る程度の時間が必要であり、今回は、カウントt1が10秒(t1=300)以上になるまで脈波を取得する(ステップS036のNo)。カウントt1が10秒以上になったとき(ステップS036のYes)、被験者の状態測定部9により脈波の解析を行う(ステップS036)。   A certain amount of time is required to obtain the pulse wave comparison data. This time, the pulse wave is acquired until the count t1 reaches 10 seconds (t1 = 300) or more (No in step S036). When the count t1 is 10 seconds or longer (Yes in step S036), the subject's state measurement unit 9 analyzes the pulse wave (step S036).

脈波の解析より得られた脈波のピーク間隔の周波数スペクトルから状態のリスクの有無を判定し(ステップS038)、状態のリスクがあり(ステップS038のYes)、感情の高ぶりがあるとき、リスクポイントRを“2”だけインクリメントし(ステップS039)、眠気などの漫然状態のときはリスクポイントRを“3”だけインクリメントする(ステップS040)。状態のリスクが無いとき(ステップS038のNo)、リスクポイントRを“1”だけデクリメントする(ステップS041)。   The presence or absence of a state risk is determined from the frequency spectrum of the pulse wave peak interval obtained from the analysis of the pulse wave (step S038). If there is a state risk (Yes in step S038), the risk is high The point R is incremented by “2” (step S039), and the risk point R is incremented by “3” (step S040) when the state is drowsiness such as sleepiness. When there is no state risk (No in step S038), the risk point R is decremented by “1” (step S041).

このリスクポイントRが「5」を下回っているならば(ステップS054のYes)、運転者に警告はせずに、現在のリスクポイントRと解析に使用した脈波を外部記憶装置6に保存し、外部記憶装置6に保存されている古いデータは保存した脈波のデータ分、古い順から削除する(ステップS055)。   If the risk point R is below “5” (Yes in step S054), the current risk point R and the pulse wave used for the analysis are stored in the external storage device 6 without warning the driver. The old data stored in the external storage device 6 is deleted from the oldest data for the stored pulse wave data (step S055).

リスクポイントRが「5」以上のとき(ステップS054のNo)、注意喚起デバイス12と注意喚起制御部13により、運転者に注意喚起を行う(ステップS056)。
最後に、運転終了を行うか、測定を継続するかを判断し(ステップS057)、運転を継続する場合(ステップS057のNo)、カウンタ30及び31をリセットする(ステップS058)。
When the risk point R is “5” or more (No in step S054), the driver is alerted by the alerting device 12 and the alerting control unit 13 (step S056).
Finally, it is determined whether to end the operation or to continue the measurement (step S057). When the operation is continued (No in step S057), the counters 30 and 31 are reset (step S058).

図9に示す運転支援フローでは、脈波の比較データは外部記憶装置6で蓄積データを呼び出すか、新規で作成するかの何れかであるが、外部インタフェース部7より脈波の比較データを入力しても良い。
また、脈波は個人差が大きいため、運転者の個人認識を行い、外部記憶装置6より特定した個人の脈波データを呼び出しても良い。
In the driving support flow shown in FIG. 9, the pulse wave comparison data is either to call the stored data in the external storage device 6 or to create a new one, but the pulse wave comparison data is input from the external interface unit 7. You may do it.
Further, since the pulse wave has a large individual difference, the driver's personal recognition may be performed and the individual pulse wave data specified from the external storage device 6 may be called.

図9に示すように、運転者の状態検知に10秒間の脈波を取得している(ステップS036)。これは、状態検知方法であるα−index法では低周波側の脈波の周期が10秒程度であるためである。そのため、他の状態検知方法を用いる場合は脈波の取得時間は任意に変更しても構わない。   As shown in FIG. 9, a 10-second pulse wave is acquired for detecting the driver's state (step S036). This is because the period of the pulse wave on the low frequency side is about 10 seconds in the α-index method which is a state detection method. Therefore, when using another state detection method, the pulse wave acquisition time may be arbitrarily changed.

図9に示すように、リスクポイントRは各リスクにおいて固定の任意の値を与えているが、現状の交通環境のリスク優先度から鑑みて設定したものであり、設計者が必要に応じて任意に変更できるものである。   As shown in FIG. 9, the risk point R gives a fixed arbitrary value for each risk. However, the risk point R is set in view of the risk priority of the current traffic environment. It can be changed to.

本発明は、被験者の状態を測定する生体測定装置、及びその生体測定装置を用いた運転支援装置に適している。   INDUSTRIAL APPLICABILITY The present invention is suitable for a biometric device that measures the state of a subject and a driving assistance device that uses the biometric device.

1:カメラ、2:カメラ制御部、3:被験者の状態測定部、4:近赤外LED、5:LED制御部、6:外部記憶装置、7:外部インタフェース部(I/F)、8:生体測定装置、9:被験者の状態測定部、10a,10b:近赤外LED、11:LED出力制御部、12:注意喚起デバイス、13:注意喚起制御部。   1: camera, 2: camera control unit, 3: subject state measurement unit, 4: near infrared LED, 5: LED control unit, 6: external storage device, 7: external interface unit (I / F), 8: Biometric apparatus, 9: test subject state measurement unit, 10a, 10b: near infrared LED, 11: LED output control unit, 12: alerting device, 13: alerting control unit.

また、上記の目的を達成する為、本発明では、被験者の顔面を撮影するカメラと、前記カメラが前記被験者の顔面を撮影する際、前記被験者の顔面に近赤外光を照射する第1の発光素子と、前記第1の発光素子より光度が高い近赤外光を前記被験者の顔面に照射する第2の発光素子と、前記第1の発光素子を発光させて前記第1の発光素子が前記近赤外光を照射している間に前記カメラで前記被験者の顔面を撮影し、撮影された前記被験者の顔面の画像から前記被験者の頬を特定し、前記第1の発光素子の発光を停止させた後、前記第2の発光素子を発光させて前記第2の発光素子が前記近赤外光を照射している間に前記カメラで、特定された前記被験者の頬を撮影し、撮影された前記被験者の頬の画像から前記被験者の脈波を取得し、前記脈波に基づいて前記被験者の状態を判定する演算装置と、を備えた生体測定装置が提供される。 In order to achieve the above object, according to the present invention, a camera that shoots the face of the subject and a first infrared light that irradiates the subject's face with near infrared light when the camera shoots the face of the subject. a light emitting element, the first and the second light-emitting element intensity from the light-emitting element irradiates the high near-infrared light to the face of the subject, the first of said light-emitting element to emit light first light emitting element the near red infrared light captured facial of the subject by the camera while illuminating, identifies cheeks of the subject from the photographed the subject facial image, the light emission of the first light emitting element After stopping, the second light emitting element is caused to emit light, and while the second light emitting element is irradiating the near-infrared light, the cheek of the specified subject is photographed with the camera and photographed. by obtaining the pulse wave of the subject from the subject's cheek in the image, the And determining arithmetic unit the status of the subject based on the wave, the biometric device equipped with is provided.

Claims (10)

被験者の顔面を撮影するカメラと、
前記カメラが前記被験者の顔面を撮影する際、前記被験者の顔面に近赤外光を照射する発光素子と、
前記カメラで撮影された前記被験者の顔面の画像から前記被験者の脈波を取得し、前記脈波に基づいて前記被験者の状態を判定する演算装置と、を備えた
生体測定装置。
A camera that captures the subject's face;
When the camera captures the face of the subject, a light emitting element that irradiates the subject's face with near infrared light; and
A biometric apparatus comprising: an arithmetic device that acquires a pulse wave of the subject from an image of the face of the subject photographed by the camera and determines the state of the subject based on the pulse wave.
被験者の顔面を撮影するカメラと、
前記カメラが前記被験者の顔面を撮影する際、前記被験者の顔面に近赤外光を照射する第1の発光素子と、
前記第1の発光素子より光度が高い近赤外光を前記被験者の顔面に照射する第2の発光素子と、
前記第1の発光素子による近赤外光により前記カメラで撮影された前記被験者の顔面の画像から脈波解析箇所を特定し、前記第1の発光素子とは異なるタイミングで前記第2の発光素子の近赤外光を前記脈波解析箇所に照射させることにより、前記カメラで撮影された前記脈波解析箇所の画像から前記被験者の脈波を取得し、前記脈波に基づいて前記被験者の状態を判定する演算装置と、を備えた
生体測定装置。
A camera that captures the subject's face;
A first light-emitting element that irradiates the subject's face with near-infrared light when the camera images the subject's face;
A second light emitting element that irradiates the subject's face with near infrared light having a higher luminous intensity than the first light emitting element;
The second light emitting element is identified at a timing different from that of the first light emitting element by identifying a pulse wave analysis location from an image of the face of the subject taken by the camera with near infrared light from the first light emitting element. The pulse wave of the subject is obtained from the image of the pulse wave analysis location photographed by the camera by irradiating the pulse wave analysis location with the near infrared light of the subject, and the state of the subject based on the pulse wave A biological measuring device comprising:
前記カメラは、前記被験者の顔面の頬を撮影し、
前記演算装置は、前記カメラで撮影された前記被験者の顔面の頬の画像から前記被験者の脈波を取得する
請求項1に記載の生体測定装置。
The camera photographs the cheek of the subject's face,
The biometric apparatus according to claim 1, wherein the arithmetic device acquires the pulse wave of the subject from an image of a cheek of the face of the subject photographed by the camera.
前記発光素子は、近赤外線発光ダイオードであり、
前記カメラは、前記近赤外線の光の反射像を得るためのフィルタを備える
請求項1又は2に記載の生体測定装置。
The light emitting element is a near infrared light emitting diode,
The biometric apparatus according to claim 1, wherein the camera includes a filter for obtaining a reflected image of the near-infrared light.
前記演算装置は、前記カメラで撮影された前記被験者の画像と比較すべき画像との間の輝度差を求めて前記脈波とする
請求項1又は2に記載の生体測定装置。
The biometric apparatus according to claim 1 or 2, wherein the arithmetic device obtains a luminance difference between an image of the subject photographed by the camera and an image to be compared to obtain the pulse wave.
前記演算装置は、前記カメラで撮影された前記被験者の画像に対して比較すべき脈波が無いとき、設定された時間内において前記被験者の脈波を取得し、前記脈波を比較すべき脈波とし、その後の前記脈波の取得に用いる
請求項2に記載の生体測定装置。
The arithmetic device acquires the pulse wave of the subject within a set time when there is no pulse wave to be compared with the image of the subject photographed by the camera, and the pulse to be compared with the pulse wave. The biometric apparatus according to claim 2, wherein the biometric apparatus is used for acquiring the pulse wave thereafter.
前記演算装置は、前記設定された時間内において前記被験者の脈波を取得できないときは、前記被験者への警報に使用されるリスクポイントを上げる
請求項6に記載の生体測定装置。
The biometric apparatus according to claim 6, wherein the arithmetic device raises a risk point used for an alarm to the subject when the pulse wave of the subject cannot be acquired within the set time.
前記演算装置は、前記カメラで撮影された前記被験者の画像に対して比較すべき脈波が有るとき、前記比較すべき脈波を用いて、設定された時間で取得した前記被験者の脈波に基づき、脈波の解析を行うとともに、状態のリスクに応じてリスクポイントを加減する
請求項6に記載の生体測定装置。
When there is a pulse wave to be compared with the image of the subject photographed by the camera, the arithmetic device uses the pulse wave to be compared to the pulse wave of the subject acquired at a set time. The biometric apparatus according to claim 6, wherein the pulse wave is analyzed based on and the risk points are adjusted according to the risk of the state.
前記演算装置は、前記リスクポイントが閾値を越えたときには、前記被験者へ警報を与える
請求項8に記載の生体測定装置。
The biometric apparatus according to claim 8, wherein the arithmetic device gives an alarm to the subject when the risk point exceeds a threshold value.
前記被験者が車両の運転者である
請求項1から9のいずれか一項に記載の生体測定装置。
The biometric apparatus according to claim 1, wherein the subject is a vehicle driver.
JP2017101644A 2017-05-23 2017-05-23 Biometric device Expired - Fee Related JP6373450B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017101644A JP6373450B1 (en) 2017-05-23 2017-05-23 Biometric device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017101644A JP6373450B1 (en) 2017-05-23 2017-05-23 Biometric device

Publications (2)

Publication Number Publication Date
JP6373450B1 JP6373450B1 (en) 2018-08-15
JP2018197910A true JP2018197910A (en) 2018-12-13

Family

ID=63165823

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017101644A Expired - Fee Related JP6373450B1 (en) 2017-05-23 2017-05-23 Biometric device

Country Status (1)

Country Link
JP (1) JP6373450B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024116255A1 (en) * 2022-11-29 2024-06-06 三菱電機株式会社 Pulse wave estimation device, pulse wave estimation method, state estimation system, and state estimation method

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022201496A1 (en) 2021-03-26 2022-09-29 三菱電機株式会社 Vital sign detection device, vital sign detection method, and automotive device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008284165A (en) * 2007-05-17 2008-11-27 Auto Network Gijutsu Kenkyusho:Kk Biological information acquisition device
JP2012093867A (en) * 2010-10-26 2012-05-17 Denso Corp Notification system
JP2014198201A (en) * 2013-03-29 2014-10-23 富士通株式会社 Pulse wave detection program, pulse wave detection method, and pulse wave detection device
JP2017027180A (en) * 2015-07-17 2017-02-02 日産自動車株式会社 Vehicle control device and vehicle control method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008284165A (en) * 2007-05-17 2008-11-27 Auto Network Gijutsu Kenkyusho:Kk Biological information acquisition device
JP2012093867A (en) * 2010-10-26 2012-05-17 Denso Corp Notification system
JP2014198201A (en) * 2013-03-29 2014-10-23 富士通株式会社 Pulse wave detection program, pulse wave detection method, and pulse wave detection device
JP2017027180A (en) * 2015-07-17 2017-02-02 日産自動車株式会社 Vehicle control device and vehicle control method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
西 拓也: "「長距離・非接触脈波計測を可能とする近赤外光センシングシステム Near-Infrared Light Sensing Syste", ロボティクスメカトロニクス講演会2016講演会論文集, JPN6018003225, 8 June 2016 (2016-06-08), JP, pages 499 - 502, ISSN: 0003730874 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024116255A1 (en) * 2022-11-29 2024-06-06 三菱電機株式会社 Pulse wave estimation device, pulse wave estimation method, state estimation system, and state estimation method

Also Published As

Publication number Publication date
JP6373450B1 (en) 2018-08-15

Similar Documents

Publication Publication Date Title
US12268489B2 (en) Method and system using biological information detection device using second light from target onto which dots formed by first light are projected to detect status of living body
US20210264598A1 (en) Human detection device equipped with light source projecting at least one dot onto living body
JP7088225B2 (en) Biometric device
JP6763719B2 (en) Biometric information measuring device, biometric information measuring method and program
CN106716515B (en) Driver condition assessment device
US20200156648A1 (en) Apparatus and method for measuring physiological information of living subject in vehicle
US10912516B2 (en) Living body information measurement device, living body information measurement method, and storage medium storing program
JP6308161B2 (en) Pulse wave detection device and pulse wave detection program
US7280678B2 (en) Apparatus and method for detecting pupils
US20180206771A1 (en) Eye closure detection using structured illumination
CN107427233B (en) Pulse wave detection device and pulse wave detection program
US20200013819A1 (en) Solid-state imaging device and electronic apparatus
JP2019518547A (en) System and method for vital sign detection
CN102596019A (en) Multimode Laser Speckle Imaging
JP6373450B1 (en) Biometric device
JP6504959B2 (en) Image processing method and program for stress monitoring
CN1739120A (en) Image input device and authentication device using it
JP2006098340A (en) Interior portion detecting device
JP2009219555A (en) Drowsiness detector, driving support apparatus, drowsiness detecting method
CN114648749A (en) Physiological state detection method, device, electronic device and storage medium
JP2020129175A (en) Three-dimensional information generation device, biometric authentication device, and three-dimensional image generation device
JP2009229286A (en) Object detector
Cobos-Torres et al. Simple measurement of pulse oximetry using a standard color camera
JP2005157648A (en) Driver recognition device
US10477119B2 (en) Imaging device

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180619

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180717

R150 Certificate of patent or registration of utility model

Ref document number: 6373450

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees