[go: up one dir, main page]

KR20150012104A - 졸음 상태 판별 장치 및 방법 - Google Patents

졸음 상태 판별 장치 및 방법 Download PDF

Info

Publication number
KR20150012104A
KR20150012104A KR1020130087518A KR20130087518A KR20150012104A KR 20150012104 A KR20150012104 A KR 20150012104A KR 1020130087518 A KR1020130087518 A KR 1020130087518A KR 20130087518 A KR20130087518 A KR 20130087518A KR 20150012104 A KR20150012104 A KR 20150012104A
Authority
KR
South Korea
Prior art keywords
user
state
measured
value
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020130087518A
Other languages
English (en)
Other versions
KR101526672B1 (ko
Inventor
이활리
김진권
황민철
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020130087518A priority Critical patent/KR101526672B1/ko
Priority to US14/060,254 priority patent/US20150032382A1/en
Priority to CN201310573855.9A priority patent/CN104337525A/zh
Publication of KR20150012104A publication Critical patent/KR20150012104A/ko
Application granted granted Critical
Publication of KR101526672B1 publication Critical patent/KR101526672B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • A61B5/024—Measuring pulse rate or heart rate
    • A61B5/02416—Measuring pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
    • A61B5/053—Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0531—Measuring skin impedance
    • A61B5/0533—Measuring galvanic skin response
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Measuring devices for evaluating the respiratory organs
    • A61B5/0816—Measuring devices for examining respiratory frequency
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Social Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Physiology (AREA)
  • Pulmonology (AREA)
  • Dermatology (AREA)
  • Cardiology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Transportation (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

본 발명은 졸음 상태 판별 장치 및 방법에 관한 것으로, 본 발명에 따른 장치는, 사용자의 생체정보를 취득하는 정보 취득부, 사용자의 졸음상태를 판별하기 위해 적용되는 변수에 따라 구분된 모드들 중 동작 모드를 설정하는 모드 설정부, DB에 저장된 기준 테이블 상의 데이터에 근거하여 상기 설정된 모드의 적용 변수에 대한 임계값을 설정하는 임계값 설정부, 상기 정보 취득부에 의해 실시간으로 취득되는 사용자의 상태 정보에 근거하여 상기 적용 변수 각각에 대한 측정값을 산출하는 생체지수 산출부, 및 상기 적용 변수 각각에 대하여 산출된 측정값으로부터 생성된 사용자 테이블과 상기 기준 테이블을 비교하여 상기 사용자의 졸음 상태를 판별하는 상태 판별부를 포함한다.

Description

졸음 상태 판별 장치 및 방법{Apparatus and method for determining drowsy state}
본 발명은 졸음 상태 판정 장치 및 방법에 관한 것으로, 운전자의 생체상태의 변화에 근거하여 졸음 상태를 판별하는 기술에 관한 것이다.
운전자의 졸음 상태를 판별하기 위한 일 예로서 생체신호를 이용한 방법을 들 수 있다.
생체신호를 이용하여 졸음 운전을 판별하는 방법은 생체신호로부터 획득할 수 있는 특정 변수에 대한 정보를 분석하여 졸음상태를 판별하는 것이다. 하지만, 졸음 상태를 판별하기 위해 적용되는 변수는 일부에 한정되어 있기 때문에 사용자의 전체 상황을 고려할 수 없는 한계가 있다.
또한, 졸음 상태를 판별함에 있어서 특정 변수들 각각에 대해 독립적으로 판단하고 통합적으로 고려되지 않으므로 운전자의 졸음 상태를 세부적으로 분석할 수 없다는 문제가 있다.
본 발명의 목적은, 복수 사용자 기반으로 작성된 기준 테이블과 사용자의 생체상태 변화에 따라 작성된 사용자 테이블을 비교하는 것으로서 사용자의 졸음 상태를 실시간으로 판별할 수 있도록 한 졸음 상태 판별 장치 및 방법을 제공함에 있다.
특히, 본 발명의 목적은, 운전 중 사용자로부터 실시간으로 취득되는 생체정보 및 행위정보 등을 토대로 기준 테이블과의 비교를 통해 운전자의 졸음 상태를 간편하고 빠르게 판별할 수 있도록 하는 졸음 상태 판별 장치 및 방법을 제공함에 있다.
또한, 본 발명의 목적은 사용자의 졸음 상태를 판별하기 위해 이용될 수 있는 전체 변수 또는 유효변수들에 대한 상태변화를 통합적으로 고려하기 때문에 사용자의 졸음 상태를 정밀하게 판별할 수 있는 졸음 상태 판별 장치 및 방법을 제공함에 있다.
상기의 목적을 달성하기 위한 본 발명에 따른 졸음 상태 판별 장치는, 사용자의 생체정보를 취득하는 정보 취득부, 사용자의 졸음상태를 판별하기 위해 적용되는 변수에 따라 구분된 모드들 중 동작 모드를 설정하는 모드 설정부, DB에 저장된 기준 테이블 상의 데이터에 근거하여 상기 설정된 모드의 적용 변수에 대한 임계값을 설정하는 임계값 설정부, 상기 정보 취득부에 의해 실시간으로 취득되는 사용자의 상태 정보에 근거하여 상기 적용 변수 각각에 대한 측정값을 산출하는 생체지수 산출부, 상기 적용 변수 각각에 대하여 산출된 측정값으로부터 생성된 사용자 테이블과 상기 기준 테이블을 비교하여 상기 사용자의 졸음 상태를 판별하는 상태 판별부를 포함하는 것을 특징으로 한다.
상기 적용 변수는, 뇌전도(Electroencephalogram, EEG), 맥파(Photoplethysmograph, PPG), 심박변이도(Photoplethysmograph Rate Variability, PRV), 피부전도도(Galvanic skin response, GSR), 피부온도(Skin Temperature, SKT), 안전도(Electrooculography, EOG), 호흡(Respiration, RSP) 중 적어도 하나를 포함하는 것을 특징으로 한다.
상기 기준 테이블은, 사용자의 졸음상태를 판별하기 위해 적용되는 변수들에 대하여 복수 사용자로부터 깨어있는 상태에서 측정된 생체신호값을 기준으로 졸음상태에서 측정된 생체신호값의 변화에 근거하여 생성된 것을 특징으로 한다.
상기 사용자 테이블은, 상기 적용 변수 각각에 대하여 산출된 측정값과 상기 적용 변수 각각에 대한 참조값(refference)을 비교한 결과로부터 생성된 것을 특징으로 한다.
상기 참조값은, 상기 사용자의 생체신호의 측정을 시작한 시각부터 일정시간 동안에 측정된 값의 평균값인 것을 특징으로 한다.
상기 참조값은, 상기 기준 테이블 상의 데이터 중 깨어있는 상태에서 측정된 데이터를 기준으로 설정된 것을 특징으로 한다.
상기 모드 설정부는, 상기 적용 변수들 중 기 설정된 일부 유효변수들로 동작하는 제1 모드 및 상기 적용 변수들 전체로 동작하는 제2 모드 중 어느 하나로 동작 모드를 설정하는 것을 특징으로 한다.
상기 유효변수는, 상기 적용변수들 중 상기 사용자의 깨어있는 상태에서 측정된 생체신호값을 기준으로 졸음상태에서 측정된 생체신호값의 변화가 기준치를 초과하는 변수인 것을 특징으로 한다.
상기 정보 취득부는, 상기 사용자의 행위정보를 함께 취득하는 것을 특징으로 한다.
한편, 상기의 목적을 달성하기 위한 본 발명에 따른 졸음 상태 판별 방법은, 사용자의 생체정보를 취득하는 단계, 사용자의 졸음상태를 판별하기 위해 적용되는 변수에 따라 구분된 모드들 중 동작 모드를 설정하는 단계, DB에 저장된 기준 테이블 상의 데이터에 근거하여 상기 설정된 모드의 적용 변수에 대한 임계값을 설정하는 단계, 상기 사용자로부터 실시간으로 취득되는 생체정보에 근거하여 상기 적용 변수 각각에 대한 측정값을 산출하는 단계, 상기 적용 변수 각각에 대하여 산출된 측정값과 상기 적용 변수 각각에 대한 참조값(refference)을 비교하여 사용자 테이블을 생성하는 단계, 및 상기 DB로부터 기준 테이블을 호출하여 상기 사용자 테이블과 비교한 결과에 따라 상기 사용자의 졸음 상태를 판별하는 단계를 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 졸음 상태 판별 방법은, 상기 사용자의 생체정보를 취득하는 단계 이전에, 사용자의 졸음상태를 판별하기 위해 적용되는 변수들에 대하여 복수 사용자로부터 깨어있는 상태에서 측정된 생체신호값을 기준으로 졸음상태에서 측정된 생체신호값의 변화에 근거하여 기준 테이블을 생성하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명에 따르면, 복수 사용자 기반으로 작성된 기준 테이블과 사용자의 생체상태 변화에 따라 작성된 사용자 테이블을 비교하는 것으로서 사용자의 졸음 상태를 실시간으로 판별할 수 있는 이점이 있다.
또한, 본 발명은 사용자의 졸음 상태를 판별하기 위해 이용될 수 있는 전체 변수 또는 유효변수들에 대한 상태변화를 통합적으로 고려하기 때문에 사용자의 졸음 상태를 정밀하게 판별할 수 있는 이점이 있다.
도 1은 본 발명에 따른 졸음 상태 판별 장치의 구성을 도시한 블록도이다.
도 2는 본 발명에 따른 기준 테이블을 도시한 예시도이다.
도 3은 본 발명에 따른 졸음 상태 판별 장치의 동작을 설명하는데 참조되는 예시도이다.
도 4 및 도 5는 본 발명에 따른 졸은 상태 판별 방법에 대한 동작 흐름을 도시한 순서도이다.
본 발명에 따른 졸음 상태 판별 장치는 차량에 구비되어, 차량을 운전하는 사용자의 생체상태 변화에 따라 실시간으로 졸음 상태를 판별하여 졸음 운전으로 인한 위험 상황의 발생을 미연에 방지하도록 하기 위하여 안출된 것이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 설명하도록 한다.
도 1은 본 발명에 따른 졸음 상태 판별 장치의 구성을 도시한 블록도이다. 도 1을 참조하면, 본 발명에 따른 졸음 상태 판별 장치는 제어부(110), 입력부(120), 출력부(130), 정보 취득부(140), 모드 설정부(150), 임계값 설정부(160), 생체지수 산출부(170), 상태 판별부(180) 및 DB(200)를 포함한다. 여기서, 제어부(110)는 졸음 상태 판별 장치의 각 부의 동작을 제어한다.
입력부(120)는 졸음 상태 판별 장치의 동작을 위한 정보 및 제어 명령 등을 입력하는 수단으로서, 차량의 인스트루먼트 패널(instrument panel)에 구비될 수 있다.
출력부(130)는 졸음 상태 판별 장치의 동작 상태 및 처리 결과 등을 출력할 수 있으며, 졸음 상태 판별 결과에 따른 경보 정보를 출력할 수 있다. 여기서, 출력부(130)는 차량의 인스트루먼트 패널에 구비된 모니터 또는 네비게이션 화면과 같은 디스플레이 수단 일 수 있으며, 스피커 또는 부저 등과 같은 음성 출력수단 일 수 있다.
정보 취득부(140)는 사용자의 생체정보 및 행위정보 등을 취득할 수 있다. 일 예로서, 정보 취득부(140)는 뇌파, 맥파, 심장 및 피부 등으로부터의 신호를 취득할 수 있으며, 운전자의 안구 움직임, 하품 등의 행위정보를 취득할 수 있다.
DB(200)는 졸음 상태 판별 알고리즘이 저장될 수 있다. 또한, DB(200)는 졸음 상태 판별 알고리즘에 적용되는 기준 테이블이 저장될 수 있다. 이때, DB(200)는 졸음 상태 판별 장치 내에 구비될 수 있으며, 졸음 상태 판별 장치의 외부에 구비된 저장수단 일 수 있다.
여기서, 기준 테이블은 복수 사용자로부터 실시간으로 취득된 생체신호를 이용하여 깨어있는 상태에서 측정된 생체신호값을 기준으로 졸음상태에서 측정된 생체신호값의 변화에 근거하여 생성된 것이다. 이때, 기준 테이블은 복수 사용자들의 졸음상태를 판별하기 위해 적용되는 변수들 각각에 대한 생체신호값의 변화를 기록한 것이다.
여기서, 졸음상태를 판별하기 위해 적용되는 변수들은 뇌전도(Electroencephalogram, EEG), 맥파(Photoplethysmograph, PPG), 심박변이도(Photoplethysmograph Rate Variability, PRV), 피부전도도(Galvanic skin response, GSR), 피부온도(Skin Temperature, SKT), 안전도(Electrooculography, EOG), 호흡(Respiration, RSP) 중 적어도 하나가 해당 될 수 있다.
기준 테이블에 대한 구체적인 실시예는 도 2를 참조하도록 한다. 도 2에 도시된 기준 테이블은 31명의 실험자를 대상으로 졸은 운전 실험을 통해 도출된 결과에 근거하여 작성된 테이블이다. 도 2의 기준 테이블에 적용된 변수로는 EEG, PPG, PRV, GSR, SKT, EOG 및 RSP이다. 이때, EEG는 F3, F4, P3, P4, O1 및 O2의 alpha, beta, delta 및 theta의 상태 변화를 측정하였으며, 여기서 alpha는 8 내지 12.9 Hz, beta는 13 내지 29.9 Hz, delta 1 내지 3.9 Hz, theta는 4 내지 7.9 Hz를 적용하였고, PPG는 주파수(frequency) 및 진폭(amplitute)을 적용하였다. 또한, PRV는 VLF(very low frequency)/HF(high frequency) 및 LF(low frequency)/HF를 적용하였다. 여기서, VLF는 0.0033 내지 0.04 Hz, HF는 0.15 내지 0.4 Hz, LF는 0.04 내지 0.08 Hz인 것으로 한다.
또한, GSR 및 SKT는 은 평균값(mean)을 적용하였으며, EOG는 주기(duration), 높이(height), 재개 시간(reopening time)을 적용하였다. 마지막으로 RSP는 RRI(R wave to R wave interval) 및 레이트(rate)를 적용하였다.
여기서, 기준 테이블은 각 실험자들의 실험 초기 단계에서 깨어있는 상태의 생체신호값을 기준값으로 하고, 이후 졸음상태로 변화하는 동안의 생체신호값이 변하는 정도에 따라 증가 또는 감소로 표현하였다.
특히, 본 발명에서는 실험자들의 깨어있는 상태와 졸음 상태에서의 변화가 기준치를 초과하는 변수, 예를 들어, F3(alpha, beta), F4(alpha, beta, delta, theta), P3(alpha, beta, delta, theta), P4(alpha, beta, delta, theta), O1(beta, delta, theta), O2(alpha, beta, delta, theta), PPG frequency, PRV(VLF/HF. LF/HF), SKT 및 EOG(height)를 유효변수('*'로 표시함)로 정의하였다.
모드 설정부(150)는 졸음 상태 판별 장치의 동작 모드를 설정한다. 여기서, 졸음 상태 판별 장치의 동작 모드는 졸음 상태 판별 알고리즘에 적용되는 전체 변수들 중 기 정의된 유효변수들로만 동작하는 제1 모드 및 전체 변수들로 동작하는 제2 모드를 포함한다.
모드 설정부(150)는 초기 설정값에 따라 동작모드를 설정할 수 있고, 관리자 또는 사용자의 요청에 의해 동작 모드를 설정할 수 있다.
임계값 설정부(160)는 모드 설정부(150)에 의해 동작 모드가 설정되면, 설정된 동작 모드에 적용되는 적용 변수들에 대한 기준 테이블 상의 데이터에 근거하여 임계값을 설정한다. 여기서, 임계값 설정부(160)는 모드 설정부(150)에 의해 동작 모드가 제1 모드로 설정된 경우 유효변수들에 대한 기준 테이블 상의 데이터에 근거하여 임계값을 설정한다. 한편, 임계값 설정부(160)는 모드 설정부(150)에 의해 동작 모드가 제2 모드로 설정된 경우에는 전체 변수들에 대한 기준 테이블 상의 데이터에 근거하여 임계값을 설정한다. 임계값을 설정하는 동작에 대한 실시예는 도 3을 참조하여 보다 상세히 설명하도록 한다.
생체지수 산출부(170)는 설정된 동작 모드에 대한 임계값이 설정되면, 정보 취득부(140)에 의해 실시간으로 취득되는 사용자의 생체정보를 분석하여 사용자의 현재 생체지수를 산출한다. 이때, 생체지수 산출부(170)는 사용자의 생체정보로부터 설정된 동작 모드에 적용되는 적용 변수들에 각각에 대하여 생체지수를 산출한다.
일 예로서, 생체지수 산출부(170)는 동작 모드가 제1 모드로 설정된 경우, 유효변수로 설정된 F3(alpha, beta), F4(alpha, beta, delta, theta), P3(alpha, beta, delta, theta), P4(alpha, beta, delta, theta), O1(beta, delta, theta), O2(alpha, beta, delta, theta), PPG frequency, PRV(VLF/HF. LF/HF), SKT 및 EOG(height) 각각에 대하여 생체지수를 실시간으로 산출한다.
상태 판별부(180)는 생체지수 산출부(170)에 의해 산출된 각 변수의 측정값과, 해당 적용 변수에 대한 참조값(reference)을 비교하여 그 상태 변화를 토대로 사용자 테이블을 생성한다. 여기서, 참조값은 사용자의 깨어있는 상태에 대한 기준값으로서, 사용자의 생체신호 측정을 시작한 시각부터 일정시간 동안에 측정된 값의 평균값으로 설정할 수 있다. 일 예로서, 생체신호 측정을 시작한 시각부터 3분동안은 사용자가 깨어있을 것으로 판단하여 초기 3분 동안의 데이터를 토대로 참조값을 설정할 수 있다. 한편, 참조값은 기준 테이블 상의 데이터 중 깨어있는 상태에서 측정된 데이터를 기준으로 설정할 수도 있다.
이때, 상태 판별부(180)는 DB(200)에 저장된 기준 테이블을 호출하여 사용자 테이블과 비교하고, 그 비교 결과에 따라 사용자의 졸음 상태를 판별한다.
여기서, 기준 데이터는 깨어있는 상태를 기준으로 하여 졸음 상태로 변화하는 동안의 상태 변화값을 토대로 생성된 것이기 때문에, 상태 판별부(180)는 사용자 테이블의 데이터가 기준 테이블의 데이터와 일치하는 경우에 사용자가 졸음상태("Drowsy")인 것으로 판단한다. 한편, 상태 판별부(180)는 사용자 테이블의 데이터가 기준 테이블의 데이터와 일치하지 않는 경우에 사용자가 깨어있는 상태("Wake")인 것으로 판단한다.
상태 판별부(180)의 졸음 상태 판별 결과는 출력부(130)를 통해 출력될 수 있으며, 사용자가 졸음 상태인 경우에는 제어부(110)의 제어에 의해 경보음 또는 경보 메시지 등이 출력될 수도 있다.
도 3은 기준 데이터에 근거하여 각 모드의 임계값을 설정하는 동작을 설명하기 위한 예시도이다. 여기서, ■는 전체의 적용 변수에 대한 각 실험자의 데이터이고, ◆는 도 2를 통해 정의된 유효 변수에 대한 각 실험자의 데이터를 나타낸 것으로서, 사용자의 졸음 상태를 판별하기 위한 졸음 상태 판별 알고리즘 구동 시, 각 실험자의 데이터에 근거하여 각 모드별 임계값을 설정한다.
도 3에 도시된 ━는 제2 모드로 동작 시의 임계값을 나타낸 것이고, －는 제1 모드로 동작 시의 임계값을 나타낸 것이다. 다시 말해, 제2 모드로 동작 시에는 전체의 적용 변수에 대한 각 실험자의 데이터를 기준으로 임계값을 산출한다. 도 3의 그래프에서 산출된 제2 모드에서의 임계값은 74.802e-0.002x가 된다. 한편, 졸음 상태 판별 장치가 제1 모드로 동작 시에는 기 정의된 유효변수만이 적용 변수가 되므로, 유효변수에 대한 각 실험자의 데이터를 기준으로 임계값을 산출한다. 도 3의 그래프에서 산출된 제1 모드에서의 임계값은 83.235e-0.002x가 된다.
이에, 본 발명에 따른 졸음 상태 판별 장치에서의 졸음 상태 판별 알고리즘의 동작 순서는 도 4와 같다.
도 4를 참조하면, 본 발명에 따른 졸음 상태 판별 장치는 차량에 탑승한 사용자의 졸음 상태를 판별하기 위한 졸음 상태 판별 알고리즘 실행 시 동작 모드를 선택한다(S100). 이때, 동작 모드는 기 정의된 유효변수들에 대해서만 동작하는 'mode1'과, 전체 변수들에 대해서 동작하는 'mode2'가 선택될 수 있다. 물론 실시 형태에 따라서 동작 모드가 추가될 수 있음은 당연한 것이다.
만일, 'S100' 과정에서 동작 모드가 'mode1'로 선택되면(S110), 졸음 상태 판별 장치는 'S120' 이후 과정을 수행하고, 그렇지 않고 동작 모드가 'mode2'로 선택되면 (A)로 진입하여 'S300' 이후 과정을 수행하도록 한다.
다시 말해, 졸음 상태 판별 장치는 동작 모드가 'mode1'로 선택 시, 기준 테이블 상의 유효변수들에 대한 데이터에 근거하여 생체패턴 임계치를 설정하고(S120), 사용자로부터 취득되는 생체신호에 대한 각각의 유효변수값을 측정한다(S130, S140).
이때, 졸음 상태 판별 장치는 'S140' 과정에서 각 유효변수들에 대해 측정된 측정값과 사용자의 깨어있는 상태에서 측정된 데이터를 기준으로 설정된 참조값을 비교하여(S150), 사용자에 대한 사용자 테이블을 생성한다(S160).
이후, 졸음 상태 판별 장치는 DB로부터 기준 테이블을 추출하여(S170), 'S160' 과정에서 생성된 사용자 테이블과 비교하고(S180), 기준 테이블과 사용자 테이블의 일치 여부에 따라 사용자의 졸음 상태를 판별한다(S190). 물론, 졸음 상태 판별 장치는 측정 오차분을 고려하여 기준 테이블 상의 데이터와 사용자 테이블 상의 데이터가 정확히 일치하지 않더라도 그 차이가 일정 오차범위 내에 포함되는 경우에는 서로 일치하는 것으로 판단할 수 있다.
'S130' 내지 'S190' 과정은 졸음 상태 판별 알고리즘 동작 종료시까지 실시간으로 측정되는 사용자의 생체신호에 대하여 반복해서 수행되며, 동작 종료 명령이 입력되면(S200), 동작을 종료하도록 한다.
한편, 졸음 상태 판별 장치는 동작 모드가 'mode2'로 선택 시, 기준 테이블 상의 전체 변수들에 대한 데이터에 근거하여 생체패턴 임계치를 설정하고(S300), 사용자로부터 취득되는 생체신호에 대하여 전체 변수에 대한 생체신호값을 측정한다(S310, S320).
이때, 졸음 상태 판별 장치는 'S320' 과정에서 각 변수들에 대해 측정된 측정값과 사용자의 깨어있는 상태에서 측정된 데이터를 기준으로 설정된 참조값을 비교하여(S330), 사용자에 대한 사용자 테이블을 생성한다(S340).
이후, 졸음 상태 판별 장치는 DB로부터 기준 테이블을 추출하여(S350), 'S340' 과정에서 생성된 사용자 테이블과 비교하고(S360), 기준 테이블과 사용자 테이블의 일치 여부에 따라 사용자의 졸음 상태를 판별한다(S370). 마찬가지로, 졸음 상태 판별 장치는 측정 오차분을 고려하여 기준 테이블 상의 데이터와 사용자 테이블 상의 데이터가 정확히 일치하지 않더라도 그 차이가 일정 오차범위 내에 포함되는 경우에는 서로 일치하는 것으로 판단할 수 있다.
'S310' 내지 'S370' 과정은 졸음 상태 판별 알고리즘 동작 종료시까지 실시간으로 측정되는 사용자의 생체신호에 대하여 반복해서 수행되며, 동작 종료 명령이 입력되면(S380), 동작을 종료하도록 한다.
이상과 같이 본 발명에 의한 졸음 상태 판별 장치 및 방법은 예시된 도면을 참조로 설명하였으나, 본 명세서에 개시된 실시예와 도면에 의해 본 발명은 한정되지 않고, 기술사상이 보호되는 범위 이내에서 응용될 수 있다.
110: 제어부 120: 입력부
130: 출력부 140: 정보 취득부
150: 모드 설정부 160: 임계값 설정부
170: 생체지수 산출부 180: 상태 판별부
200: DB(Database)

Claims (11)

  1. 사용자의 생체정보를 취득하는 정보 취득부;
    사용자의 졸음상태를 판별하기 위해 적용되는 변수에 따라 구분된 모드들 중 동작 모드를 설정하는 모드 설정부;
    DB에 저장된 기준 테이블 상의 데이터에 근거하여 상기 설정된 모드의 적용 변수에 대한 임계값을 설정하는 임계값 설정부;
    상기 정보 취득부에 의해 실시간으로 취득되는 사용자의 상태 정보에 근거하여 상기 적용 변수 각각에 대한 측정값을 산출하는 생체지수 산출부; 및
    상기 적용 변수 각각에 대하여 산출된 측정값으로부터 생성된 사용자 테이블과 상기 기준 테이블을 비교하여 상기 사용자의 졸음 상태를 판별하는 상태 판별부를 포함하는 것을 특징으로 하는 졸음 상태 판별 장치.
  2. 청구항 1에 있어서,
    상기 적용 변수는,
    뇌전도(Electroencephalogram, EEG), 맥파(Photoplethysmograph, PPG), 심박변이도(Photoplethysmograph Rate Variability, PRV), 피부전도도(Galvanic skin response, GSR), 피부온도(Skin Temperature, SKT), 안전도(Electrooculography, EOG), 호흡(Respiration, RSP) 중 적어도 하나를 포함하는 것을 특징으로 하는 졸음 상태 판별 장치.
  3. 청구항 1에 있어서,
    상기 기준 테이블은,
    사용자의 졸음상태를 판별하기 위해 적용되는 변수들에 대하여 복수 사용자로부터 깨어있는 상태에서 측정된 생체신호값을 기준으로 졸음상태에서 측정된 생체신호값의 변화에 근거하여 생성된 것을 특징으로 하는 졸음 상태 판별 장치.
  4. 청구항 1에 있어서,
    상기 사용자 테이블은,
    상기 적용 변수 각각에 대하여 산출된 측정값과 상기 적용 변수 각각에 대한 참조값(refference)을 비교한 결과로부터 생성된 것을 특징으로 하는 졸음 상태 판별 장치.
  5. 청구항 4에 있어서,
    상기 참조값은,
    상기 사용자의 생체신호의 측정을 시작한 시각부터 일정시간 동안에 측정된 값의 평균값인 것을 특징으로 하는 졸음 상태 판별 장치.
  6. 청구항 4에 있어서,
    상기 참조값은,
    상기 기준 테이블 상의 데이터 중 깨어있는 상태에서 측정된 데이터를 기준으로 설정된 것을 특징으로 하는 졸음 상태 판별 장치.
  7. 청구항 1에 있어서,
    상기 모드 설정부는,
    상기 적용 변수들 중 기 설정된 일부 유효변수들로 동작하는 제1 모드 및 상기 적용 변수들 전체로 동작하는 제2 모드 중 어느 하나로 동작 모드를 설정하는 것을 특징으로 하는 졸음 상태 판별 장치.
  8. 청구항 7에 있어서,
    상기 유효변수는,
    상기 적용변수들 중 상기 사용자의 깨어있는 상태에서 측정된 생체신호값을 기준으로 졸음상태에서 측정된 생체신호값의 변화가 기준치를 초과하는 변수인 것을 특징으로 하는 졸음 상태 판별 장치.
  9. 청구항 1에 있어서,
    상기 정보 취득부는,
    상기 사용자의 행위정보를 함께 취득하는 것을 특징으로 하는 졸음 상태 판별 장치.
  10. 사용자의 생체정보를 취득하는 단계;
    사용자의 졸음상태를 판별하기 위해 적용되는 변수에 따라 구분된 모드들 중 동작 모드를 설정하는 단계;
    DB에 저장된 기준 테이블 상의 데이터에 근거하여 상기 설정된 모드의 적용 변수에 대한 임계값을 설정하는 단계;
    상기 사용자로부터 실시간으로 취득되는 생체정보에 근거하여 상기 적용 변수 각각에 대한 측정값을 산출하는 단계;
    상기 적용 변수 각각에 대하여 산출된 측정값과 상기 적용 변수 각각에 대한 참조값(refference)을 비교하여 사용자 테이블을 생성하는 단계; 및
    상기 DB로부터 기준 테이블을 호출하여 상기 사용자 테이블과 비교한 결과에 따라 상기 사용자의 졸음 상태를 판별하는 단계를 포함하는 것을 특징으로 하는 졸음 상태 판별 방법.
  11. 청구항 10에 있어서,
    상기 사용자의 생체정보를 취득하는 단계 이전에, 사용자의 졸음상태를 판별하기 위해 적용되는 변수들에 대하여 복수 사용자로부터 깨어있는 상태에서 측정된 생체신호값을 기준으로 졸음상태에서 측정된 생체신호값의 변화에 근거하여 기준 테이블을 생성하는 단계를 더 포함하는 것을 특징으로 하는 졸음 상태 판별 방법.
KR1020130087518A 2013-07-24 2013-07-24 졸음 상태 판별 장치 및 방법 Expired - Fee Related KR101526672B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020130087518A KR101526672B1 (ko) 2013-07-24 2013-07-24 졸음 상태 판별 장치 및 방법
US14/060,254 US20150032382A1 (en) 2013-07-24 2013-10-22 Apparatus and method for determining drowsy state
CN201310573855.9A CN104337525A (zh) 2013-07-24 2013-11-15 用于判定困倦状态的设备和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130087518A KR101526672B1 (ko) 2013-07-24 2013-07-24 졸음 상태 판별 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20150012104A true KR20150012104A (ko) 2015-02-03
KR101526672B1 KR101526672B1 (ko) 2015-06-05

Family

ID=52391171

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130087518A Expired - Fee Related KR101526672B1 (ko) 2013-07-24 2013-07-24 졸음 상태 판별 장치 및 방법

Country Status (3)

Country Link
US (1) US20150032382A1 (ko)
KR (1) KR101526672B1 (ko)
CN (1) CN104337525A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160133179A (ko) * 2015-05-12 2016-11-22 자동차부품연구원 통합 hvi기반 운전자 위험상황 판단 방법 및 장치
US10022082B2 (en) 2016-06-27 2018-07-17 Hyundai Motor Company Apparatus and method for detecting a state of a driver based on biometric signals of the driver
CN110840430A (zh) * 2018-08-21 2020-02-28 北京万生人和科技有限公司 腹内压数据筛选方法、计算机可读存储介质、腹内压数据筛选装置
US12150790B2 (en) 2021-02-19 2024-11-26 Samsung Electronics Co., Ltd. Method of obtaining feature for blood pressure estimation, apparatus and method for estimating blood pressure

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11089984B2 (en) * 2013-10-11 2021-08-17 David G. Austin Human performance enhancement method and apparatus using wave of electrical stimuli
FR3033303B1 (fr) * 2015-03-03 2017-02-24 Renault Sas Dispositif et procede de prediction d'un niveau de vigilance chez un conducteur d'un vehicule automobile.
US10379535B2 (en) 2017-10-24 2019-08-13 Lear Corporation Drowsiness sensing system
US11229404B2 (en) * 2017-11-28 2022-01-25 Stmicroelectronics S.R.L. Processing of electrophysiological signals
US10836403B2 (en) 2017-12-04 2020-11-17 Lear Corporation Distractedness sensing system
US10210409B1 (en) * 2018-02-07 2019-02-19 Lear Corporation Seating system with occupant stimulation and sensing
US10867218B2 (en) 2018-04-26 2020-12-15 Lear Corporation Biometric sensor fusion to classify vehicle passenger state
KR102791246B1 (ko) * 2019-05-08 2025-04-08 현대자동차주식회사 차량의 편의기기 제어 장치 및 그 방법
US12059980B2 (en) 2019-06-21 2024-08-13 Lear Corporation Seat system and method of control
US11524691B2 (en) 2019-07-29 2022-12-13 Lear Corporation System and method for controlling an interior environmental condition in a vehicle

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990050659A (ko) * 1997-12-17 1999-07-05 정몽규 졸음운전 경보 시스템의 졸음운전 판단방법
JP2002183900A (ja) * 2000-12-14 2002-06-28 Nissan Motor Co Ltd 居眠り運転警報装置
US7253739B2 (en) * 2005-03-10 2007-08-07 Delphi Technologies, Inc. System and method for determining eye closure state
US8357291B2 (en) * 2008-02-11 2013-01-22 Exxonmobil Upstream Research Company Upgrading bitumen in a paraffinic froth treatment process
JP4820835B2 (ja) * 2008-03-19 2011-11-24 アイシン・エィ・ダブリュ株式会社 運転状態警告システム、運転状態警告方法及びプログラム
US8570176B2 (en) * 2008-05-28 2013-10-29 7352867 Canada Inc. Method and device for the detection of microsleep events
JP5210773B2 (ja) * 2008-09-16 2013-06-12 トヨタ自動車株式会社 眠気判定装置及びプログラム
KR101500010B1 (ko) * 2009-11-27 2015-03-09 현대자동차주식회사 운전자 졸음 및 피로 감지 시스템
JP2011123653A (ja) * 2009-12-10 2011-06-23 Sumitomo Rubber Ind Ltd 運転者覚醒度検査装置
US20120075122A1 (en) * 2010-09-24 2012-03-29 Honeywell International Inc. Alert generation and related aircraft operating methods

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160133179A (ko) * 2015-05-12 2016-11-22 자동차부품연구원 통합 hvi기반 운전자 위험상황 판단 방법 및 장치
US10022082B2 (en) 2016-06-27 2018-07-17 Hyundai Motor Company Apparatus and method for detecting a state of a driver based on biometric signals of the driver
CN110840430A (zh) * 2018-08-21 2020-02-28 北京万生人和科技有限公司 腹内压数据筛选方法、计算机可读存储介质、腹内压数据筛选装置
CN110840430B (zh) * 2018-08-21 2022-09-13 北京万生人和科技有限公司 腹内压数据筛选方法、计算机可读存储介质、腹内压数据筛选装置
US12150790B2 (en) 2021-02-19 2024-11-26 Samsung Electronics Co., Ltd. Method of obtaining feature for blood pressure estimation, apparatus and method for estimating blood pressure

Also Published As

Publication number Publication date
KR101526672B1 (ko) 2015-06-05
CN104337525A (zh) 2015-02-11
US20150032382A1 (en) 2015-01-29

Similar Documents

Publication Publication Date Title
KR101526672B1 (ko) 졸음 상태 판별 장치 및 방법
KR102714622B1 (ko) 졸음 시작 검출 기법
JP4697185B2 (ja) 覚醒度判定装置及び覚醒度判定方法
JP2008125801A (ja) バイオフィードバック装置及びバイオフィードバック方法
JP5155805B2 (ja) 睡眠制御装置
US20080071152A1 (en) Autonomic-nervous state judging device, autonomic-nervous state judging method, and computer program product
JP4910547B2 (ja) 眠気判定装置及び眠気判定プログラム
US8834363B2 (en) Sleep depth determining device, sleep depth maintaining device, and sleep depth determining method
JP2018140162A (ja) 作業適正度判定システム
CN102596303B (zh) 刺激效果预测装置、刺激效果预测方法以及车辆控制装置
KR100956406B1 (ko) 긴장도를 조절하는 드라이빙 시뮬레이션 시스템 및 방법과이에 사용되는 기록매체
CN112617747B (zh) 状态推定装置、状态推定方法以及存储介质
JP7070512B2 (ja) 状態推定装置及び状態推定方法
JP2009018091A (ja) 居眠り検知装置
US12138066B2 (en) Method and system for delivering sensory simulation based on evoked response quantification
JP2008154681A (ja) 睡眠深度判定装置及び睡眠深度判定方法
US10596963B2 (en) Fatigue alarm apparatus and method
US20220050439A1 (en) Device Control Apparatus and Device Control System
KR101693716B1 (ko) 뇌파를 이용한 졸음정도 및 집중정도의 판단 방법 및 이를 이용한 집중력저감 알림 시스템
JP6379656B2 (ja) 眠気検知装置、眠気検知方法および眠気検知プログラム
EP4051087B1 (en) A method for determining the risk of a user waking up in an undesirable state
KR102021932B1 (ko) 운전자 졸음 검출 방법
JP2010012100A (ja) 眠気検出装置
KR100209610B1 (ko) 뇌파계신호를 이용한 졸음방지장치 및 그 제어방법
JP2018191780A (ja) 状態推定装置、情報処理装置、状態推定システム

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20130724

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20140707

Patent event code: PE09021S01D

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20150119

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20150402

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20150601

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20150601

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20180530

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20180530

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20190528

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20190528

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20230525

Start annual number: 9

End annual number: 9

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20250312