[go: up one dir, main page]

KR101078466B1 - 각성 상태 판정 모델 생성 장치, 각성 상태 판정 장치, 경고 장치, 차량, 각성 상태 판정 모델 생성 방법, 각성 상태 판정 방법, 각성 상태 판정 모델 생성 프로그램을 기록한 컴퓨터 판독 가능 기록매체, 및 각성 상태 판정 프로그램을 기록한 컴퓨터 판독 가능 기록매체 - Google Patents

각성 상태 판정 모델 생성 장치, 각성 상태 판정 장치, 경고 장치, 차량, 각성 상태 판정 모델 생성 방법, 각성 상태 판정 방법, 각성 상태 판정 모델 생성 프로그램을 기록한 컴퓨터 판독 가능 기록매체, 및 각성 상태 판정 프로그램을 기록한 컴퓨터 판독 가능 기록매체 Download PDF

Info

Publication number
KR101078466B1
KR101078466B1 KR1020097014860A KR20097014860A KR101078466B1 KR 101078466 B1 KR101078466 B1 KR 101078466B1 KR 1020097014860 A KR1020097014860 A KR 1020097014860A KR 20097014860 A KR20097014860 A KR 20097014860A KR 101078466 B1 KR101078466 B1 KR 101078466B1
Authority
KR
South Korea
Prior art keywords
data
blinking
awakening state
feature variable
waveform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020097014860A
Other languages
English (en)
Other versions
KR20090091335A (ko
Inventor
요시히로 노구치
룬그로즈 놉스완차이
Original Assignee
아사히 가세이 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아사히 가세이 가부시키가이샤 filed Critical 아사히 가세이 가부시키가이샤
Publication of KR20090091335A publication Critical patent/KR20090091335A/ko
Application granted granted Critical
Publication of KR101078466B1 publication Critical patent/KR101078466B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A61B5/1103—Detecting muscular movement of the eye, e.g. eyelid movement
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Pathology (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은, 불특정 대상자에 대해, 정확한 각성 수준의 추정을 행하기에 적합한, 깜빡임 파형에 관련된 데이터에 기초하는, 깜빡임 파형 패턴 모델 및 각성 상태 패턴 모델을 생성하는 각성 상태 판정 모델 생성 장치, 대상자의 각성 상태를 판정하는 각성 상태 판정 장치 및 경고 장치를 제공하는 것을 목적으로 한다. 각성 상태 판정 모델 생성 장치에 있어서, 각 대상자의 깜빡임 시의 적어도 한쪽 눈의 깜빡임 데이터로부터 추출한 제1 특징량 데이터와 깜빡임 파형 식별 정보를 학습 데이터로 하여 통계 모델을 학습시켜, 제1 패턴 모델을 생성한다. 그리고, 분석 구간의 계열에 있어서의 특정 종류의 깜빡임 파형마다의 생기 비율에 관련된 데이터를 포함하는 제2 특징량 데이터와, 분석 구간의 계열마다에 각 대상자의 각성 상태를 나타내는 각성 상태 정보를 부여한 각성 상태 정보 데이터를 학습 데이터로 하여 통계 모델을 학습시켜, 제2 패턴 모델을 생성한다.

Description

각성 상태 판정 모델 생성 장치, 각성 상태 판정 장치, 경고 장치, 차량, 각성 상태 판정 모델 생성 방법, 각성 상태 판정 방법, 각성 상태 판정 모델 생성 프로그램을 기록한 컴퓨터 판독 가능 기록매체, 및 각성 상태 판정 프로그램을 기록한 컴퓨터 판독 가능 기록매체{AWAKE STATE JUDGING MODEL MAKING DEVICE, AWAKE STATE JUDGING DEVICE, WARNING DEVICE, VEHICLE, AWAKE STATE JUDGING MODEL MAKING METHOD, AWAKE STATE JUDGING METHOD, COMPUTER READABLE MEDIUM RECORDING THE AWAKE STATE JUDGING MODEL MAKING METHOD, AND COMPUTER READABLE MEDIUM RECORDING THE AWAKE STATE JUDGING METHOD}
본 발명은, 생리 현상, 특히 눈꺼풀의 개방도의 시간적 변화인 깜빡임 파형에 관련된 데이터에 기초하여, 깜빡임 파형 패턴 모델 및 각성 상태 패턴 모델을 생성하는 각성 상태 판정 모델 생성 장치, 이들이 생성한 패턴 모델을 이용하여 구한 대상자의 분석 구간의 계열에 있어서의 특정 종류의 깜빡임 파형마다의 생기(生起) 비율에 관련된 데이터에 기초하여 대상자의 각성 상태를 판정하는 각성 상태 판정 장치 및 상기 각성 상태의 판정 결과에 기초하여 대상자에게 경고를 부여하는 경고 장치에 관한 것이다.
최근, ITS(고도 도로 교통 시스템)의 실용화를 향한 연구 개발은, 정보 처리기술의 발전 및 고도화에 따라 급속하게 전개되어 오고 있고, 신규 시장으로서 산업계로부터의 주목도도 높아지고 있다.
ITS의 중심적인 역할을 수행하는 것으로서, 운전 지원·네비게이션 시스템 등이 있지만, 도로·교통 상황이나 차의 거동뿐만 아니라, 드라이버의 특성이나 그때마다의 상태에 따른 지원이나 정보 제시가 요구되고 있다. 그 중에서도, 드라이 버의 각성 수준의 평가는, 예로부터의 과제로 되고 있어, 뇌파, 피부 전기 활동, 심박, 깜빡임 등의 생체·생리 반응을 이용한 연구가 다수 행해져 오고 있다.
특히, 깜빡임의 생기 패턴이나 안구 운동을 나타내는 파형의 파라미터는, 피험자의 각성 수준에 따라 변화하는 것이 알려져 있고, 깜빡임의 생기 패턴이나 깜빡임 시의 안구 운동을 나타내는 파형의 파라미터를 이용한 드라이버의 졸음 검출등의 연구가 진행되고 있다.
또한, 깜빡임 시의 안구 운동을 나타내는 파형의 파라미터를 이용하여 각성 상태를 판정하는 기술로서, 특허 문헌 1에 기재한 동작 내용 판정 장치가 있다.
이 동작 내용 판정 장치는, 눈 부분의 복수 프레임의 영상 데이터에 대한 특징량의 입력에 대해 대상자의 깜빡임 파형의 종류에 대한 우도(尤度, likelihood)를 출력하는 눈 상태 판정용 HMM(Hidden Markov Model)을 갖고 있고, 상기 특징량의 입력에 대해 눈 상태 판정용 HMM에서 출력된 우도에 기초하여 대상자의 각성 상태를 판정하는 것이다. 각성 상태에 관련된 깜빡임 파형으로서, 각성 시의 표준적인 안전도(EOG, electro-oculogram) 파형이나 졸음 상태의 대표적인 안전도(EOG) 파형 등이 개시되어 있다.
이 특허 문헌 1의 종래 기술에 있어서는, 눈 상태 판정용 HMM의 생성 시에 있어서, 한 번 한 번의 깜빡임 파형에 있어서의, 깜빡임의 진폭, 지속 시간 및 속도 등의 파라미터에 기초하여 깜빡임 파형의 종류를 판단한다.
그리고, 이 판단 결과에 기초하여, 상기 깜빡임 파형에 대응하는 눈 부분의 복수 프레임의 영상 데이터로부터 추출한 특징량에 대해, 상기 깜빡임 파형의 종류 를 식별하기 위한 식별 정보를 부여한다.
또한, 전술한 바와 같이 하여 식별 정보가 부여된 특징량을 학습 데이터로서 HMM을 학습시킨다.
그리고, 많은 종류의 깜빡임 파형 중 각성 상태를 충분히 판정할 수 있다고 하는 특정 종류의 깜빡임에 대한 HMM을 생성하여, 소정 시간 내에 있어서의 상기 특정 종류의 깜빡임의 생기 빈도의 변화에 기초하여 각성 상태의 판정을 행한다.
구체적으로는, 매회의 깜빡임 파형의 식별 결과를 소정의 시간 구간에서 히스토그램 처리함으로써 깜빡임 패턴의 생기 빈도를 파악하여, 각성 시에 있어서의 표준적인 깜빡임 파형이 아니라고 식별된 깜빡임 파형의 생기 빈도가 높게 된 경우에, 각성 상태가 낮게 되었다고 판단한다.
[특허 문헌 1] WO 2005/114576호 공보
(발명의 개시)
(발명이 해결하고자 하는 과제)
발명자는, 상기 특허 문헌 1에 있어서, 매회의 깜빡임 파형의 식별 결과를 소정의 시간 단위로 히스토그램 처리하여, 각 깜빡임 파형 패턴의 생기 빈도 변화를 구함으로써 각성 상태를 판정하고 있었다.
구체적으로는, 예컨대, 복수의 특정 종류의 깜빡임 파형 패턴의 발생 빈도가 높게 된 경우에, 대상자의 각성 상태가 낮게 되었다고 판정하는 것이 개시되어 있다.
그러나, 생리학적 지견에 기초하여, 각성도의 저하 시에 생기하는 깜빡임 파형 패턴의 발생 빈도가 높게 된다고 하는 단일한 지표를 이용하고 있기 때문에, 각성도가 높은 상태로부터 앉아 조는 상태로 이행할 때까지 생기하는 다종 다양한 각성 수준(상태)을 추정하는 것이 곤란하다.
또한, 각성 수준(상태)을 추정하기 위한 상기 지표는, 대상자마다 그 추정 기준이 상이하고, 또한, 동일한 대상자라도 처한 상황에 따라 그 추정 기준이 상이하다.
따라서, 불특정의 대상자에 대해, 그 처한 상황의 영향을 받지 않는 정확한 각성 수준의 추정이 요구되고 있었다.
그래서, 본 발명은, 이러한 종래의 기술이 갖는 미해결의 과제에 착안하여 이루어진 것으로, 깜빡임 파형에 관련된 데이터에 기초하여, 깜빡임 파형 패턴 모델과 각성 상태 패턴 모델을 생성하는 각성 상태 판정 모델 생성 장치, 상기 생성한 패턴 모델을 이용하여 요구한 대상자의 분석 구간의 계열에 있어서의 특정 종류의 깜빡임 파형마다의 생기 비율에 관련된 데이터에 기초하여 대상자의 각성 상태를 판정하는 각성 상태 판정 장치, 및 상기 각성 상태의 판정 결과에 기초하여 대상자에게 경고를 부여하는 경고 장치를 제공하는 것을 목적으로 한다.
또한, 생리 현상으로서 깜빡임, 생리 상태로서 각성 상태를 예로 들었지만, 여기에 한정되지 않는다.
(과제를 해결하기 위한 수단)
본 발명자는, 상기 특허 문헌 1의 출원 후에, 피험자의 각성 수준을 변화시켜 수집한 깜빡임 파형의 데이터에 대해 해석을 행한 바, 소정의 시간 구간에 있어서의 특정 종류의 깜빡임 파형의 생기 비율이나 생기 횟수의 시간적 변화를 포함하는 데이터가, 각성 수준의 변화에 따라 특징적인 패턴을 갖는 것을 발견하여, 이 지견으로부터 상기 과제를 해결하는 본 발명을 창출하는 것에 이른 것이다.
상기 목적을 달성하기 위해, 본 발명에 따른 청구항 1에 기재한 생리 상태 판정 모델 생성 장치는, 대상자의 생리 상태를 판정하는 패턴 모델을 생성하는 생리 상태 판정 모델 생성 장치로서, 생리 데이터로부터 구한 생리 상태 정보 데이터와, 생리 현상의 분류 항목마다의 생기 비율에 관련된 데이터를 포함하는 생리 현상 특징량 데이터에 기초하여 통계 모델에 의해 모델화된 생리 상태 정보에 대한 우도를 출력하는 생리 상태 패턴 모델을 생성하는 것을 특징으로 한다.
또한, 상기 목적을 달성하기 위해, 청구항 2에 따른 발명은, 대상자의 각성 상태를 판정하는 패턴 모델을 생성하는 각성 상태 판정 모델 생성 장치로서, 생리 데이터로부터 구한 각성 상태 정보 데이터와, 특정 종류의 깜빡임 파형마다의 생기 비율에 관련된 데이터를 포함하는 깜빡임 종류 특징량 데이터에 기초하여 통계 모델에 의해 모델화된 각성 상태 정보에 대한 우도를 출력하는 각성 상태 패턴 모델을 생성하는 것을 특징으로 한다.
상기 목적을 달성하기 위해, 본 발명에 따른 청구항 3에 기재한 각성 상태 판정 모델 생성 장치는, 대상자의 각성 상태를 판정하는 통계 모델을 생성하는 각성 상태 판정 모델 생성 장치로서, 각 대상자의 깜빡임 시의 적어도 한쪽 눈의 깜빡임 데이터로부터 추출된 제1 특징량 데이터와, 상기 깜빡임 데이터의 각 깜빡임에 대해 특정 종류의 깜빡임 파형을 나타내는 깜빡임 파형 식별 정보를 부여한 깜빡임 파형 식별 정보 데이터를 기억하는 학습 데이터 기억 수단과, 상기 학습 데이터 기억 수단에 기억된 상기 제1 특징량 데이터와 상기 깜빡임 파형 식별 정보 데이터를 학습 데이터로서 통계 모델을 학습시켜, 상기 제1 특징량 데이터를 입력으로 하고, 상기 제1 특징량 데이터에 대한 깜빡임 파형 식별 정보에 대한 우도를 출력으로 하는 제1 패턴 모델을 생성하는 깜빡임 파형 패턴 모델 생성 수단과,
상기 학습 데이터 기억 수단에 기억된 상기 깜빡임 파형 식별 정보 데이터에 기초하여, 분석 구간에 있어서의 상기 특정 종류의 깜빡임 파형마다의 생기 비율에 관련된 데이터를 포함하는 제2 특징량 데이터를 생성하는 특징량 데이터 생성 수단과,
상기 특징량 데이터 생성 수단에 의해 생성된 상기 제2 특징량 데이터와, 상기 분석 구간의 계열마다에 상기 각 대상자의 각성 상태를 나타내는 각성 상태 정보를 부여한 각성 상태 정보 데이터를 학습 데이터로서 통계 모델을 학습시키고, 상기 제2 특징량 데이터를 입력으로 하고, 상기 제2 특징량 데이터에 대한 각성 상태 정보에 대한 우도를 출력으로 하는 제2 패턴 모델을 생성하는 각성 상태 패턴 모델 생성 수단을 구비하는 것을 특징으로 한다.
또한, 상기 목적을 달성하기 위해, 청구항 4에 따른 발명은, 청구항 3에 기재한 각성 상태 판정 모델 생성 장치에 있어서,
상기 깜빡임 데이터는, 안전도(EOG) 파형의 데이터 또는 눈의 동(動)화상인 것을 특징으로 한다.
또한, 상기 목적을 달성하기 위해, 청구항 5에 기재한 각성 상태 판정 모델 생성 장치는, 청구항 3 또는 청구항 4 중 어느 한 항에 기재한 각성 상태 판정 모델 생성 장치에 있어서,
상기 생기 비율에 관련된 데이터는, 생기 비율의 시간 변화 또는 생기 횟수의 시간 변화인 것을 특징으로 한다.
또한, 상기 목적을 달성하기 위해, 청구항 6에 기재한 각성 상태 판정 모델 생성 장치는, 청구항 3 내지 청구항 5 중 어느 한 항에 기재한 각성 상태 판정 모델 생성 장치에 있어서,
상기 통계 모델은, HMM(Hidden Markov Model)인 것을 특징으로 한다.
또한, 상기 목적을 달성하기 위해, 청구항 7에 기재한 각성 상태 판정 모델 생성 장치는, 청구항 3 내지 청구항 6 중 어느 한 항에 기재한 각성 상태 판정 모델 생성 장치에 있어서,
상기 각성 상태 판정 모델 생성 장치는,
상기 각 대상자의 깜빡임 시의 적어도 한쪽 눈의 상기 깜빡임 데이터를 기억하는 깜빡임 데이터 기억 수단과,
상기 깜빡임 데이터 기억 수단으로부터 취득한 깜빡임 데이터로부터, 상기 제1 특징량 데이터를 추출하는 특징량 데이터 추출 수단과,
상기 깜빡임 파형 패턴 모델 생성 수단에 의해 생성된 제1 패턴 모델을 기억하는 제1 패턴 모델 기억 수단과,
상기 특징량 데이터 생성 수단에 의해 생성한 상기 제2 특징량 데이터를 기억하는 제2 특징량 데이터 기억 수단과,
상기 각성 상태 패턴 모델 생성 수단에 의해 생성한 제2 패턴 모델을 기억하는 제2 패턴 모델 기억 수단을 더 구비하는 것을 특징으로 한다.
한편, 상기 목적을 달성하기 위해, 청구항 8에 기재한 각성 상태 판정 장치는, 대상자의 각성 상태를 판정하는 각성 상태 판정 장치로서,
상기 대상자의 깜빡임 시의 적어도 한쪽 눈의 깜빡임 데이터를 취득하는 깜빡임 데이터 취득 수단과,
청구항 3 내지 청구항 7 중 어느 한 항에 기재한 각성 상태 판정 모델 생성 장치에 의해 생성된 제1 패턴 모델과,
상기 깜빡임 데이터 취득 수단에 의해 취득한 깜빡임 데이터로부터, 상기 제1 패턴 모델에 대응하는 제1 특징량 데이터를 추출하는 제1 특징량 데이터 추출 수단과,
상기 제1 특징량 데이터 추출 수단으로 추출한 제1 특징량 데이터와, 상기 제1 패턴 모델에 기초하여, 상기 제1 특징량 데이터에 대응한 특정 종류의 깜빡임 파형을 식별하는 깜빡임 파형 식별 수단과,
분석 구간의 계열에 있어서 취득된 상기 대상자의 깜빡임 데이터에 대한 상기 깜빡임 파형 식별 수단의 식별 결과에 기초하여, 상기 특정 종류의 깜빡임 파형마다의 생기 비율에 관련된 데이터를 포함하는 제2 특징량 데이터를 생성하는 제2 특징량 데이터 생성 수단과,
청구항 3 내지 청구항 7 중 어느 한 항에 기재한 각성 상태 판정 모델 생성 장치에 의해 생성된 제2 패턴 모델과,
상기 제2 특징량 데이터 생성 수단에 의해 생성한 제2 특징량 데이터와, 상기 제2 패턴 모델에 기초하여, 상기 대상자의 각성 상태를 판정하는 각성 상태 판정 수단을 구비하는 것을 특징으로 한다.
또한, 상기 목적을 달성하기 위해, 청구항 9에 따른 발명은, 청구항 8에 기재한 각성 상태 생성 장치에 있어서,
상기 깜빡임 데이터는, 안전도(EOG) 파형 또는 눈의 동화상의 데이터인 것을 특징으로 한다.
또한, 상기 목적을 달성하기 위해, 청구항 10에 기재한 각성 상태 판정 장치는, 청구항 8 또는 청구항 9에 기재한 각성 상태 판정 장치에 있어서,
상기 생기 비율에 관련된 데이터는, 생기 비율의 시간 변화 또는 생기 횟수의 시간 변화인 것을 특징으로 한다.
또한, 상기 목적을 달성하기 위해, 청구항 11에 기재한 각성 상태 판정 장치는, 청구항 8 내지 청구항 10 중 어느 한 항에 기재한 각성 상태 판정 장치에 있어서,
상기 통계 모델은, HMM(Hidden Markov Model)인 것을 특징으로 한다.
또한, 상기 목적을 달성하기 위해, 청구항 12에 기재한 경고 장치는,
청구항 8 내지 청구항 11 중 어느 한 항에 기재한 각성 상태 판정 장치와,
상기 각성 상태 판정 장치에 있어서의 상기 각성 상태의 판정 결과에 기초하여, 상기 대상자에게 경고를 부여하는 경고 수단을 구비하는 것을 특징으로 한다.
또한, 상기 목적을 달성하기 위해, 청구항 13에 기재한 차량은, 청구항 12에 기재한 경고 장치를 구비하는 것을 특징으로 한다.
또한, 상기 목적을 달성하기 위해, 청구항 14에 기재한 각성 상태 판정 모델 생성 방법은,
대상자의 각성 상태를 판정하는 통계 모델을 생성하는 각성 상태 판정 모델 생성 방법으로서,
각 대상자의 깜빡임 시의 적어도 한쪽 눈의 깜빡임 데이터로부터 추출된 제1 특징량 데이터와, 상기 깜빡임 데이터의 각 깜빡임에 대해 특정 종류의 깜빡임 파형을 나타내는 깜빡임 파형 식별 정보를 부여한 깜빡임 파형 식별 정보 데이터를 기억하는 학습 데이터 기억 단계와,
상기 학습 데이터 기억 단계에 기억된 상기 제1 특징량 데이터와 상기 깜빡임 파형 식별 정보 데이터를 학습 데이터로서 통계 모델을 학습시켜, 상기 제1 특징량 데이터를 입력으로 하고, 상기 제1 특징량 데이터에 대한 깜빡임 파형 식별 정보에 대한 우도를 출력으로 하는 제1 패턴 모델을 생성하는 깜빡임 파형 패턴 모델 생성 단계와,
상기 학습 데이터 기억 단계에 기억된 상기 깜빡임 파형 식별 정보 데이터에 기초하여, 분석 구간의 계열에 있어서의 상기 특정 종류의 깜빡임 파형마다의 생기 비율에 관련된 데이터를 포함하는 제2 특징량 데이터를 생성하는 특징량 데이터 생성 단계와,
상기 특징량 데이터 생성 단계에서 생성된 상기 제2 특징량 데이터와, 상기 분석 구간의 계열마다에 상기 각 대상자의 각성 상태를 나타내는 각성 상태 정보를 부여한 각성 상태 정보 데이터를 학습 데이터로서 통계 모델을 학습시켜, 상기 제2 특징량 데이터를 입력으로 하고, 상기 제2 특징량 데이터에 대한 각성 상태 정보에 대한 우도를 출력으로 하는 제2 패턴 모델을 생성하는 각성 상태 패턴 모델 생성 단계를 구비하는 것을 특징으로 한다.
또한, 상기 목적을 달성하기 위해, 청구항 15에 기재한 각성 상태 판정 모델 생성 방법은,
청구항 14에 기재한 각성 상태 판정 모델 생성 방법에 있어서,
상기 생기 비율에 관련된 데이터는, 생기 비율의 시간 변화 또는 생기 횟수의 시간 변화인 것을 특징으로 한다.
또한, 상기 목적을 달성하기 위해, 청구항 16에 기재한 각성 상태 판정 모델 생성 방법은,
청구항 14 또는 청구항 15에 기재한 각성 상태 판정 모델 생성 방법에 있어서,
상기 각성 상태 판정 모델 생성 방법은,
상기 각 대상자의 깜빡임 시의 적어도 한쪽 눈의 상기 깜빡임 데이터를 깜빡임 데이터 기억 수단에 기억하는 깜빡임 데이터 기억 단계와,
상기 깜빡임 데이터 기억 수단에 기억된 깜빡임 데이터로부터, 상기 제1 특징량 데이터를 추출하는 특징량 데이터 추출 단계와,
상기 깜빡임 파형 패턴 모델 생성 단계에서 생성된 제1 패턴 모델을 기억하는 제1 패턴 모델 기억 단계와,
상기 특징량 데이터 생성 단계에서 생성한 상기 제2 특징량 데이터를 기억하는 제2 특징량 데이터 기억 단계와,
상기 각성 상태 패턴 모델 생성 단계에서 생성한 제2 패턴 모델을 기억하는 제2 패턴 모델 기억 단계를 더 구비하는 것을 특징으로 한다.
또한, 상기 목적을 달성하기 위해, 청구항 17에 기재한 각성 상태 판정 방법은, 대상자의 각성 상태를 판정하는 각성 상태 판정 방법으로서,
상기 대상자의 깜빡임 시의 적어도 한쪽 눈의 깜빡임 데이터를 취득하는 깜빡임 데이터 취득 단계와,
상기 깜빡임 데이터 취득 단계에서 취득한 깜빡임 데이터로부터, 청구항 14 내지 청구항 16 중 어느 한 항에 기재한 각성 상태 판정 모델 생성 방법에 의해 생성된 제1 패턴 모델에 대응하는 제1 특징량 데이터를 추출하는 제1 특징량 데이터 추출 단계와,
상기 제1 특징량 데이터 추출 단계에서 추출한 제1 특징량 데이터와, 상기 제1 패턴 모델에 기초하여, 상기 제1 특징량 데이터에 대응한 특정 종류의 깜빡임 파형을 식별하는 깜빡임 파형 식별 단계와,
분석 구간의 계열에 있어서 취득된 상기 대상자의 깜빡임 데이터에 대한 상기 깜빡임 파형 식별 단계의 식별 결과에 기초하여, 상기 특정 종류의 깜빡임 파형마다의 생기 비율에 관련된 데이터를 포함하는 제2 특징량 데이터를 생성하는 제2 특징량 데이터 생성 단계와,
상기 제2 특징량 데이터 생성 단계에서 생성한 제2 특징량 데이터와, 청구항 14 내지 청구항 16 중 어느 한 항에 기재한 각성 상태 판정 모델 생성 방법에 의해 생성된 제2 패턴 모델에 기초하여, 상기 대상자의 각성 상태를 판정하는 각성 상태 판정 단계를 구비하는 것을 특징으로 한다.
또한, 상기 목적을 달성하기 위해, 청구항 18에 기재한 각성 상태 판정 방법은, 청구항 17에 기재한 각성 상태 판정 방법에 있어서,
상기 생기 비율에 관련된 데이터는, 생기 비율의 시간 변화 또는 생기 횟수의 시간 변화인 것을 특징으로 한다.
또한, 상기 목적을 달성하기 위해, 청구항 19에 기재한 각성 상태 판정 모델 생성 프로그램은,
대상자의 각성 상태를 판정하는 통계 모델을 생성하는 각성 상태 판정 모델 생성 프로그램으로서,
각 대상자의 깜빡임 시의 적어도 한쪽 눈의 깜빡임 데이터로부터 추출된 제1 특징량 데이터와, 상기 깜빡임 데이터의 각 깜빡임에 대해 특정 종류의 깜빡임 파형을 나타내는 깜빡임 파형 식별 정보를 부여한 깜빡임 파형 식별 정보 데이터를 기억하는 학습 데이터 기억 단계와,
상기 학습 데이터 기억 단계에 기억된 상기 제1 특징량 데이터와, 상기 깜빡임 파형 식별 정보 데이터를 학습 데이터로서 통계 모델을 학습시켜, 상기 제1 특징량 데이터를 입력으로 하고, 상기 제1 특징량 데이터에 대한 깜빡임 파형 식별 정보에 대한 우도를 출력으로 하는 제1 패턴 모델을 생성하는 깜빡임 파형 패턴 모델 생성 단계와,
상기 학습 데이터 기억 단계에 기억된 상기 깜빡임 파형 식별 정보 데이터에 기초하여, 분석 구간의 계열에 있어서의 상기 특정 종류의 깜빡임 파형마다의 생기 비율에 관련된 데이터를 포함하는 제2 특징량 데이터를 생성하는 특징량 데이터 생성 단계와,
상기 특징량 데이터 생성 단계에서 생성된 상기 제2 특징량 데이터와, 상기 분석 구간의 계열마다에 상기 각 대상자의 각성 상태를 나타내는 각성 상태 정보를 부여한 각성 상태 정보 데이터를 학습 데이터로서 통계 모델을 학습시켜, 상기 제2 특징량 데이터를 입력으로 하고, 상기 제2 특징량 데이터에 대한 각성 상태 정보에 대한 우도를 출력으로 하는 제2 패턴 모델을 생성하는 각성 상태 패턴 모델 생성 단계로 이루어지는 처리를 컴퓨터에 실행시키기 위한 프로그램을 포함하는 것을 특징으로 한다.
또한, 상기 목적을 달성하기 위해, 청구항 20에 기재한 각성 상태 판정 모델 생성 프로그램은,
청구항 19에 기재한 각성 상태 판정 모델 생성 프로그램에 있어서,
상기 생기 비율에 관련된 데이터는, 생기 비율의 시간 변화 또는 생기 횟수의 시간 변화인 것을 특징으로 한다.
또한, 상기 목적을 달성하기 위해, 청구항 21에 기재한 각성 상태 판정 모델 생성 프로그램은,
청구항 19 또는 청구항 20 중 어느 한 항에 기재한 각성 상태 판정 모델 생성 프로그램에 있어서,
상기 각성 상태 판정 모델 생성 프로그램은,
상기 각 대상자의 깜빡임 시의 적어도 한쪽 눈의 상기 깜빡임 데이터를 깜빡임 데이터 기억 수단에 기억하는 깜빡임 데이터 기억 단계와,
상기 깜빡임 데이터 기억 수단에 기억된 깜빡임 데이터로부터, 상기 제1 특징량 데이터를 추출하는 특징량 데이터 추출 단계와,
상기 깜빡임 파형 패턴 모델 생성 단계에서 생성된 제1 패턴 모델을 기억하는 제1 패턴 모델 기억 단계와,
상기 특징량 데이터 생성 단계에서 생성한 상기 제2 특징량 데이터를 기억하는 제2 특징량 데이터 기억 단계와,
상기 각성 상태 패턴 모델 생성 단계에서 생성한 제2 패턴 모델을 기억하는 제2 패턴 모델 기억 단계를 더 구비하는 것을 특징으로 한다.
또한, 상기 목적을 달성하기 위해, 청구항 22에 기재한 각성 상태 판정 프로그램은,
대상자의 각성 상태를 판정하는 각성 상태 판정 프로그램으로서,
상기 대상자의 깜빡임 시의 적어도 한쪽 눈의 깜빡임 데이터를 취득하는 깜빡임 데이터 취득 단계와,
상기 깜빡임 데이터 취득 단계에서 취득한 깜빡임 데이터로부터, 청구항 19 내지 청구항 21 중 어느 한 항에 기재한 각성 상태 판정 모델 생성 프로그램에 의해 생성된 제1 패턴 모델에 대응하는 제1 특징량 데이터를 추출하는 제1 특징량 데이터 추출 단계와,
상기 제1 특징량 데이터 추출 단계에서 추출한 제1 특징량 데이터와, 상기 제1 패턴 모델에 기초하여, 상기 제1 특징량 데이터에 대응한 특정 종류의 깜빡임 파형을 식별하는 깜빡임 파형 식별 단계와,
분석 구간의 계열에 있어서 취득된 상기 대상자의 깜빡임 데이터에 대한 상기 깜빡임 파형 식별 단계의 식별 결과에 기초하여, 상기 특정 종류의 깜빡임 파형마다의 생기 비율의 시간적 변화를 포함하는 제2 특징량 데이터를 생성하는 제2 특징량 데이터 생성 단계와,
상기 제2 특징량 데이터 생성 단계에서 생성한 제2 특징량 데이터와, 청구항 19 내지 청구항 21 중 어느 한 항에 기재한 각성 상태 판정 모델 생성 프로그램에 의해 생성된 제2 패턴 모델에 기초하여, 상기 대상자의 각성 상태를 판정하는 각성 상태 판정 단계로 이루어지는 처리를 컴퓨터에 실행시키기 위한 프로그램을 포함하는 것을 특징으로 한다.
또한, 상기 목적을 달성하기 위해, 청구항 23에 기재한 각성 상태 판정 프로그램은, 청구항 22에 기재한 각성 상태 판정 프로그램에 있어서,
상기 생기 비율에 관련된 데이터는, 생기 비율의 시간 변화 또는 생기 횟수의 시간 변화인 것을 특징으로 한다.
[발명의 효과]
이상 설명한 바와 같이, 본 발명에 따른 청구항 1에 기재한 생리 상태 판정 모델 생성 장치에 따르면, 생리 데이터로부터 구한 생리 상태 정보 데이터(각성 상태, 피로도, 긴장 상태 등)과, 생리 현상(뇌파, 피부 전기 활동, 심박, 깜빡임 등)의 각 분류 항목의 생기 비율 데이터에 관련된 데이터를 포함하는 생리 현상 특징량 데이터에 기초하여 통계 모델에 의해 모델화된 생리 상태 패턴 모델을 생성하는 것이 가능해진다. 그리고, 상기 생리 상태 패턴 모델을 이용하여 대상자의 생리 상태를 판정하는 것이 가능해진다.
또한, 본 발명에 따른 청구항 2에 기재한 각성 상태 판정 모델 생성 장치에 따르면, 생리 데이터로부터 구한 각성 상태 정보 데이터와, 깜빡임 파형의 각 분류 항목의 생기 비율 데이터에 관련된 데이터를 포함하는 깜빡임 종류 특징량 데이터에 기초하여 통계 모델에 의해 모델화된 각성 상태 패턴 모델을 생성하는 것이 가능해진다. 그리고, 상기 각성 상태 패턴 모델을 이용하여 대상자의 각성 상태를 판정하는 것이 가능해진다.
또, 본 발명에 따른 청구항 3, 청구항 7에 기재한 각성 상태 판정 모델 생성 장치, 청구항 6에 기재한 각성 상태 판정 장치, 청구항 14, 청구항 16에 기재한 각성 상태 판정 모델 생성 방법, 청구항 15, 청구항 17에 기재한 각성 상태 판정 방법, 청구항 19, 청구항 21에 기재한 각성 상태 판정 모델 생성 프로그램 및 청구항 22에 기재한 각성 상태 판정 프로그램에 따르면, 생리학의 견지에 있어서 각성 상태의 판정에 유효하다고 되어 있는, 특정 종류의 깜빡임의 생기 빈도, 특정 종류의 깜빡임의 군발(群發) 등의 소정 시간 내에 있어서의 특정 종류의 깜빡임의 생기 빈도의 변화에 부가하여, 분석 구간의 계열에 있어서의 각 특정 종류의 깜빡임의 생기 비율에 관련된 데이터에 기초하여, 고정밀도의 각성 상태의 판정을 행하는 것이 가능하다.
제2 특징량 데이터(청구항 7)로부터, 분석 구간의 계열에 있어서의 대상자의 특정 종류의 깜빡임의 생기 비율에 관련된 데이터를 알 수 있기 때문에, 미리 실험 등을 행하여, 예컨대, 특정 종류의 깜빡임의 생기 비율에 관련된 데이터와, 고 각성시로부터 앉아서 졸기로 이행하기까지의 여러 가지 각성 수준(상태)을 대응시킨 각성 상태 정보 데이터를 얻어 둠으로서, 제2 특징량 데이터로부터, 대상자의 여러 가지 각성 수준(상태)을 판단하기 때문에 제2 패턴 모델을 생성할 수 있다고 하는 효과를 얻을 수 있다.
즉, 생체·생리학의 견지에 있어서 각성 상태의 판정에 유효하다고 되어 있는, 특정 종류의 깜빡임의 생기 빈도, 특정 종류의 깜빡임의 군발 등의 소정 시간 내에 있어서의 특정 종류의 깜빡임의 생기 빈도의 변화에 부가하여, 분석 구간의 계열에 있어서의 각 특정 종류의 깜빡임의 생기 비율에 관련된 데이터에 기초하여, 고정밀도의 각성 상태의 판정을 행하는 것이 가능하다.
또한, 본 발명에 따른 청구항 2에 기재한 각성 상태 판정 모델 생성 장치, 및 청구항 7에 기재한 각성 상태 판정 장치에 따르면, 깜빡임 데이터로서 고정밀도로 눈꺼풀의 개방도의 시간 변화를 취득할 수 있는 안전도(EOG)를 이용하기 때문에, 고정밀도인 깜빡임 파형의 종류의 식별을 할 수 있는 패턴 모델을 생성할 수 있다. 또한, 대상자에게 전극을 장착시키지 않고서 깜빡임 데이터를 비접촉으로 취득할 수 있는 눈의 동화상을 이용하기 때문에, 대상자의 편리성을 높이는 것이 가능하다.
또한, 본 발명에 따른 청구항 5에 기재한 각성 상태 판정 모델 생성 장치, 청구항 10에 기재한 각성 상태 판정 장치, 청구항 15에 기재한 각성 상태 판정 모델 생성 방법, 청구항 16에 기재한 각성 상태 판정 방법, 청구항 20에 기재한 각성 상태 판정 모델 생성 프로그램 및 청구항 22에 기재한 각성 상태 판정 프로그램에 따르면, 생기 비율에 관련된 데이터로서 생기 비율의 시간 변화 또는 생기 횟수의 시간 변화를 이용하기 때문에, 분석 구간의 계열에 있어서의 각 특정 종류의 깜빡임의 생기 비율 또는 생기 횟수의 국소적인 시간적 변화에 기초하여, 보다 고정밀도의 각성 상태의 판정을 행하는 것이 가능하다.
또한, 본 발명에 따른 청구항 6에 기재한 각성 상태 판정 모델 생성 장치, 및 청구항 11에 기재한 각성 상태 판정 장치에 따르면, 통계 모델로서 공지의 HMM을 이용하기 때문에, 깜빡임과 같이 시간적 개념을 수반하는 동작 내용에 대해, 깜빡임 파형의 종류의 식별을 행할 수 있는 패턴 모델을 생성할 수 있다고 하는 효과를 얻을 수 있다.
여기서, 상기 「HMM」은, 시계열 신호의 통계 모델이고, 복수의 정상 신호원의 사이를 천이하는 것으로, 비정상인 시계열 신호를 모델화할 수 있다. 예컨대, 음성은, 이야기하는 스피드에 따라 그 시간적 길이가 변하고, 발화 내용에 따라, 주파수 상에서 특징적인 형상(스펙트럼 포락이라고 함)을 나타내지만, 그 형상은 발성하는 사람, 환경, 내용 등에 의존하여, 변동이 생긴다. HMM은 그와 같은 변동을 흡수할 수 있는 통계 모델이다.
또한, 본 발명에 따른 청구항 12에 기재한 경고 장치 및 청구항 13에 기재한 차량에 따르면, 경고 수단에 의해, 상기 각성 상태 판정 장치에 있어서의 상기 각성 상태의 판정 결과에 기초하여, 상기 대상자에게 경고를 부여하는 것이 가능하다.
따라서, 예컨대, 자동차 내의 드라이버의 소정의 시간 단위마다의 상기 특정 종류의 깜빡임 파형마다의 생기 비율이나 생기 횟수의 시간적 변화를 포함하는 제2 특징량 데이터를 리얼 타임으로 생성함으로써, 이 제2 특징량 데이터로부터, 예컨대, 완전히 앉아서 조는 상태가 되기 전의 앉아서 조는 상태로 이행 중인 드라이버의 각성 수준(상태)이나 졸음에 대항하고 있는 각성 수준(상태) 등을 판정할 수 있다.
따라서, 잠에 빠질 것 같은 상태의 대상자에 대해, 경고음이나 빛의 점멸 등에 의한 경고를 부여함으로써, 미연에 사고를 막을 수 있다고 하는 효과를 얻을 수 있다.
도 1은 본 발명에 따른 각성 상태 판정 모델 생성 장치(800)의 개요를 도시하는 블록도이다.
도 2는 본 발명에 따른 각성 상태 판정 모델 생성 장치(100)의 구성을 도시하는 블록도이다.
도 3은 각성 상태 판정 모델 생성 장치(100)의 하드웨어 구성을 도시하는 블록도이다.
도 4는 각성 상태 판정 모델 생성 장치(100)에 있어서의, 제1 패턴 모델 생 성 처리 및 제2 패턴 모델 생성 처리를 도시하는 흐름도이다.
도 5는 안전도(EOG) 파형의 데이터로부터 추출하는 파라미터의 설명도이다.
도 6은 k-평균법을 이용한 클러스터링 수법에 의한, 안전도(EOG) 파형의 분류 결과를 도시하는 도면이다.
도 7은 일정 시간 구간 내의 각 깜빡임의 종류의 생기 빈도가, 시간의 경과와 함께 추이하는 모습을 도시하는 설명도이다.
도 8은 제2 특징량의 설명도이다.
도 9는 각성 상태 정보 데이터의 설명도이다.
도 10은 눈의 동화상으로부터 추출하는 특징량 데이터의 설명도이다.
도 11은 본 발명에 따른 각성 상태 판정 장치(900)의 구성을 도시하는 블록도이다.
도 12는 본 발명에 따른 경고 장치(200)의 구성을 도시하는 블록도이다.
도 13은 경고 장치(200)의 하드웨어 구성을 도시하는 블록도이다.
도 14는 경고 장치(200)에 있어서의, 제1 특징량 데이터의 추출 처리를 도시하는 흐름도이다.
도 15는 경고 장치(200)에 있어서의, 제2 특징량 데이터 생성 처리를 도시하는 흐름도이다.
도 16은 경고 장치(200)에 있어서의, 각성 상태 판정 처리 및 경고 처리를 도시하는 흐름도이다.
도 17은 HMM의 일례를 도시하는 도면이다.
도 18은 경고 장치(200)에 있어서의, 제2 특징량 데이터용의 기억 영역을 도시하는 도면이다.
도 19는 깜빡임 파형 데이터가 안전도(EOG) 파형 데이터이고, 특정 대상자 A의 깜빡임 파형 패턴 모델을 이용한 경우에 있어서의, 일정 시간 구간 내의 각 깜빡임의 종류의 생기 빈도의 일례 및 상기 특정 대상자 A의 각성 상태를 판정한 결과를 도시하는 도면이다.
도 20은 깜빡임 파형 데이터가 눈의 동화상이고, 특정 대상자 A의 깜빡임 파형 패턴 모델을 이용한 경우에 있어서의, 일정 시간 구간 내의 각 깜빡임의 종류의 생기 빈도의 일례 및 상기 특정 대상자 A의 각성 상태를 판정한 결과를 도시하는 도면이다.
도 21은 깜빡임 파형 데이터가 눈의 동화상이고, 불특정 대상자의 깜빡임 파형 패턴 모델을 이용한 경우에 있어서의, 일정 시간 구간 내의 각 깜빡임의 종류의 생기 빈도의 일례 및 대상자 A의 각성 상태를 종래 기술과 본 발명에 의해 판정한 결과를 도시하는 도면이다.
도 22는 깜빡임 파형 데이터가 눈의 동화상이고, 불특정 대상자의 깜빡임 파형 패턴 모델을 이용한 경우에 있어서의, 일정 시간 구간 내의 각 깜빡임의 종류의 생기 빈도의 일례 및 대상자 B의 각성 상태를 종래 기술과 본 발명에 의해 판정한 결과를 도시한 도면이다.
<도면의 주요 부분에 대한 부호의 설명>
100: 각성 상태 판정 모델 생성 장치 200: 경고 장치
10: 깜빡임 데이터 기억부 11: 제1 특징량 데이터 추출부
12: 제1 학습 데이터 기억부
13: 깜빡임 파형 패턴 모델 생성부 14: 제1 패턴 모델 기억부
15: 특징량 데이터 생성부 16: 제2 학습 데이터 기억부
17: 각성 상태 패턴 모델 생성부
18: 각성 상태 패턴 모델 기억부
20: 깜빡임 데이터 취득부
21: 깜빡임 파형 패턴 모델 기억부 22: 특징량 데이터 추출부
23: 깜빡임 종류 식별부 24: 특징량 데이터 생성부
25: 각성 상태 패턴 모델 기억부 26: 각성 상태 판정부
27: 경고부
800: 각성 상태 판정 모델 생성 장치 80: 각성 상태 데이터 기억부
81: 각성 상태 패턴 모델 생성부 900: 각성 상태 판정 장치
90: 깜빡임 종류 취득부 91: 특징량 데이터 생성부
92: 각성 상태 패턴 모델 기억부 93: 각성 상태 판정부
(발명을 실시하기 위한 최선의 형태)
〔제1 실시형태〕
이하, 본 발명의 제1 실시형태를 도면에 기초하여 설명한다. 도 1∼도 10은 본 발명에 따른 각성 상태 판정 모델 생성 장치, 각성 상태 판정 모델 생성 프로그 램 및 각성 상태 판정 모델 생성 방법의 실시형태를 도시하는 도면이다.
우선, 본 발명에 따른 각성 상태 판정 모델 생성 장치의 개요를 도 1에 기초하여 설명한다.
도 1은 본 발명에 따른 각성 상태 판정 모델 생성 장치(800)의 구성의 개요를 도시하는 블록도이다.
각성 상태 데이터 기억부(80)는 각성 상태 정보 데이터와 깜빡임 종류 특징량 데이터를 학습 데이터로서 기억하도록 되어 있다. 이 학습 데이터를 작성하기 위해서는, 예컨대, 우선 복수 대상자에 대해 측정을 행하여, 복수 종류의 깜빡임의 안전도(EOG) 파형 데이터를 수집한다.
또한, 수집한 각 깜빡임에 대해, 깜빡임의 분류 항목을 식별하는 깜빡임 파형 식별 정보를 부여하여, 생리 현상 분류 항목 정보 데이터를 작성한다.
이 생리 현상 분류 항목 정보 데이터에 기초하여, 각 분석 구간에 대해 깜빡임의 분류 항목마다의 생기 비율이나 생기 횟수를 구하여, 생기 비율이나 생기 횟수가 요소로 되는 데이터를 분석 구간마다 작성한다.
연속한 분석 구간의 계열에 대응하는 이 데이터의 계열이 깜빡임 종류 특징량 데이터이다.
또한, 분석 구간의 계열마다에 각 대상자의 각성 상태를 나타내는 생리 상태 정보가 부여된 데이터가 각성 상태 정보 데이터이다. 각 대상자의 각성 상태는, 예컨대, 안전도(EOG) 파형 데이터 수집 시의, 뇌파, 피부 표면 전위, 심박수, 호흡수 등의 생리·생체 데이터로부터의 판단이나, 얼굴 표정으로부터의 판단, 관찰 기록 이나 고찰 등을 이용하여 판정한다.
각성 상태 패턴 모델 생성부(81)에서는, 각성 상태 데이터 기억부(80)에 기억된 깜빡임 종류 특징량 데이터를, 후술하는 기억 장치(40)의 소정 영역에 학습 데이터로서 기억하도록 되어 있다.
또한, 분석 구간의 계열마다에 각 대상자의 각성 상태를 나타내는 생리 상태 정보가 부여된 각성 상태 정보 데이터를, 기억 장치(40)의 소정 영역에 학습 데이터로서 기억하도록 되어 있다.
그리고, 각성 상태 패턴 모델 생성부(81)는, 기억 장치(40)에 기억된 깜빡임 종류 특징량 데이터와 각성 상태 정보 데이터를 학습 데이터로서 통계 모델을 학습하여, 각성 상태용의 패턴 모델(각성 상태 패턴 모델)을 생성하도록 되어 있다.
본 발명에 따른 각성 상태 판정 모델 생성 장치의 구성을 도 2에 기초하여 설명한다.
도 2는 본 발명에 따른 각성 상태 판정 모델 생성 장치(100)의 구성을 도시하는 블록도이다.
깜빡임 데이터 기억부(10)는 복수 대상자에 대해 측정한 복수 종류의 깜빡임의 안전도(EOG) 파형 데이터를, 후술하는 기억 장치(40)의 소정 영역에, 학습 데이터로서 기억하도록 되어 있다.
구체적으로는, 예컨대, 대상자의 왼쪽 눈 또는 오른쪽 눈 중 적어도 한쪽의 깜빡임의 안전도(EOG) 파형 데이터를 기억한다. 또한, 눈꺼풀의 개방도의 시간 변화를 나타내는 깜빡임 데이터는, 깜빡임의 동화상으로 하는 것도 가능하고, 대상자 의 깜빡임 시의 왼쪽 눈 또는 오른쪽 눈 중 적어도 한쪽을 포함하는 동화상 데이터로 구성된다. 또한, 각 깜빡임 파형의 생기 시각도 기억된다.
제1 특징량 데이터 추출부(11)는, 깜빡임 데이터 기억부(10)에 의해 기억된 깜빡임 데이터로부터, 특징량 데이터를 제1 특징량 데이터로서 추출하도록 되어 있다.
본 실시형태에 있어서는, 안전도(EOG) 파형의 피크 높이의 거리 데이터, 깜빡임의 개시로부터 피크 높이에 이르기까지의 시간 데이터, 피크 높이로부터 깜빡임의 종료에 이르기까지의 시간 데이터의 3개의 파라미터로부터 얻어지는 후술의 데이터를 특징량 데이터로 한다.
또, 특징량 데이터로서는, 그 외에도 개시로부터 피크 높이까지의 최대 상승 각도, 피크 높이로부터 종료까지의 최대 하강 각도, 피크 높이의 50% 높이 이상의 지속 시간, 피크 높이의 75% 이상의 지속 시간 등이나, 이들의 조합 등이 있다.
또한, 깜빡임 데이터가 깜빡임의 동화상인 경우에는, 깜빡임의 동화상 데이터의 각 프레임마다, 소정 영역의 각 라인마다의 휘도 합계를 산출하여, 각 깜빡임 영상 데이터의 휘도 합계의 데이터를 특징량 데이터로 한다.
또, 특징량 데이터로서는, 그 외에도 눈 영역 화상을 주파수 변환한 주파수 스펙트럼 성분, 그 주파수 스펙트럼 성분의 전후 프레임과의 프레임간 차분 성분, 눈 영역 화상의 멜켑 스트럼(MFCC) 성분, 눈 영역 화상의 프레임내 모멘트 성분, 프레임간 모멘트 성분 등이나, 이들의 조합 등이 있다.
제1 학습 데이터 기억부(12)는, 제1 특징량 데이터 추출부(11)에서 추출한 제1 특징량 데이터를, 후술하는 기억 장치(40)의 소정 영역에 학습 데이터로서 기억하도록 되어 있다.
또한, 제1 학습 데이터 기억부(12)는, 깜빡임 데이터 기억부(10)에 기억된 안전도(EOG) 파형 데이터 또는 깜빡임의 동화상에 있어서의 각 깜빡임에 대해 깜빡임의 종류를 식별하는 깜빡임 파형 식별 정보가 부여된 깜빡임 파형 식별 정보 데이터를, 후술하는 기억 장치(40)의 소정 영역에 학습 데이터로서 기억하도록 되어 있다.
깜빡임 파형 패턴 모델 생성부(13)는 깜빡임 파형 패턴 모델의 생성 지시에 따라, 제1 학습 데이터 기억부(12)에 기억된 제1 특징량 데이터와 깜빡임 파형 식별 정보 데이터를 학습 데이터로 하여 통계 모델을 학습하여, 깜빡임 파형용의 패턴 모델(깜빡임 파형 패턴 모델)인 제1 패턴 모델을 생성하도록 되어 있다.
또, 본 실시형태에 있어서는, 통계 모델로서 HMM(Hidden Markov Model)을 이용하는 것으로 한다.
깜빡임 파형 패턴 모델 기억부(14)는, 깜빡임 파형 패턴 모델 생성부(13)에서 생성된 제1 패턴 모델을, 후술하는 기억 장치(40)의 소정 영역에 기억하도록 되어 있다.
특징량 데이터 생성부(15)는, 제1 학습 데이터 기억부(12)에 기억된 깜빡임 파형 식별 정보 데이터에 기초하여, 분석 구간의 계열에 있어서의 상기 특정 종류의 깜빡임 파형마다의 생기 비율이나 생기 횟수의 시간적 변화를 포함하는 제2 특징량 데이터를 생성한다.
제2 학습 데이터 기억부(16)는 특징량 데이터 생성부(15)에서 생성된 제2 특징량 데이터를, 후술하는 기억 장치(40)의 소정 영역에 학습 데이터로서 기억하도록 되어 있다.
또한, 제2 학습 데이터 기억부(16)는, 분석 구간의 계열마다에 각 대상자의 각성 상태를 나타내는 각성 상태 정보를 부여한 각성 상태 정보 데이터를, 후술하는 기억 장치(40)의 소정 영역에 학습 데이터로서 기억하도록 되어 있다.
각성 상태 패턴 모델 생성부(17)는 각성 상태 패턴 모델의 생성 지시에 따라, 제2 학습 데이터 기억부(16)에 기억된 제2 특징량 데이터와 각성 상태 정보 데이터를 학습 데이터로 하여 통계 모델을 학습하여, 각성 상태용의 패턴 모델(각성 상태 패턴 모델)인 제2 패턴 모델을 생성하도록 되어 있다.
또, 본 실시형태에 있어서는, 통계 모델로서 HMM(Hidden Markov Model)을 이용하는 것으로 한다.
각성 상태 패턴 모델 기억부(18)는 각성 상태 패턴 모델 생성부(17)에서 생성된 제2 패턴 모델을, 후술하는 기억 장치(40)의 소정 영역에 기억하도록 되어 있다.
또한, 각성 상태 판정 모델 생성 장치(100)는, 상기 각 부의 제어를 소프트웨어 상에서 실현하기 위한 컴퓨터 시스템을 구비하고 있고, 그 하드웨어 구성은, 도 3에 도시하는 바와 같이, 각종 제어나 연산 처리를 담당하는 중앙 연산 처리 장치인 CPU(Central Processing Unit)(30)와, 주기억 장치(Main Storage)를 구성하는 RAM(Random Access Memory)(32)과, 판독 전용의 기억 장치인 ROM(Read Only Memory)(34)과의 사이를 PCI(Peripheral Component Interconnect) 버스나 ISA(Industrial Standard Architecture) 버스 등으로 이루어지는 각종 내외 버스(38)로 접속하고, 이 버스(38)에 입출력 인터페이스(I/F)(36)를 통해, HDD(Hard Disk Drive) 등의 내부 또는 외부 기억 장치(Secondary Storage)(40)나, 인쇄 수단이나 CRT, LCD 모니터 등의 출력 장치(42), 조작 패널이나 마우스, 키보드, 스캐너 등의 입력 장치(44) 및 도시하지 않은 외부 장치 등과 통신하기 위한 네트워크 등을 접속한 것이다.
그리고, 전원을 투입하면, ROM(34) 등에 기억된 BIOS 등의 시스템 프로그램이, ROM(34)에 미리 기억된 각종 전용의 컴퓨터 프로그램, 혹은, CD-ROM이나 DVD-ROM, 플렉서블 디스크(FD) 등의 기억 매체를 통해, 또는 인터넷 등의 통신 네트워크(L)를 통해 기억 장치(40)에 인스톨된 각종 전용의 컴퓨터 프로그램을 RAM(32)에 로드하여, 그 RAM(32)에 로드된 프로그램에 기술된 명령에 따라 CPU(30)가 각종 리소스를 구사하여 소정의 제어 및 연산 처리를 행함으로써 전술한 바와 같은 각 수단의 각 기능을 소프트웨어 상에서 실현할 수 있도록 되어 있다.
(제1 실시형태의 동작)
다음으로, 도 4에 기초하여, 전술한 구성을 갖는 각성 상태 판정 모델 생성 장치(100)에 있어서의, 깜빡임 파형 데이터로부터의 특징량 데이터의 추출 처리의 흐름을 설명한다.
도 4는 각성 상태 판정 모델 생성 장치(100)에 있어서의, 제1 패턴 모델(깜빡임 파형 패턴 모델) 생성 처리 및 제2 패턴 모델(각성 상태 패턴 모델) 생성 처 리를 도시하는 흐름도이다.
제1 패턴 모델 생성 처리 및 제2 패턴 모델 생성 처리는, 도 4의 흐름도에 도시하는 바와 같이, 우선 단계 S100에서, 깜빡임 파형 패턴 모델 생성부(13)에 있어서, 입력 장치(44) 등을 통한 사용자로부터의 깜빡임 파형 패턴 모델의 생성 지시가 있었는지의 여부를 판정하여, 생성 지시가 있었다고 판정된 경우(Yes)에는 단계 S102로 이행하고, 그렇지 않은 경우(No)에는 단계 S108로 이행한다.
단계 S102로 이행한 경우는, 깜빡임 파형 패턴 모델 생성부(13)에 있어서, 제1 학습 데이터 기억부(12)로부터 제1 특징량 데이터와, 깜빡임 파형 식별 정보 데이터를 취득하여 단계 S104로 이행한다.
단계 S104에서는, 깜빡임 파형 패턴 모델 생성부(13)에 있어서, 단계 S102에서 취득한 데이터를 학습 데이터로 하여 통계 모델을 학습시켜, 깜빡임 파형 패턴 모델인 제1 패턴 모델을 생성하여 단계 S106으로 이행한다.
단계 S106에서는, 깜빡임 파형 패턴 모델 생성부(13)에 있어서, 깜빡임 파형 패턴 모델 기억부(14)를 통해 기억 장치(40)의 소정 영역에, 단계 S104에서 생성한 제1 패턴 모델을 기억하여 단계 S108로 이행한다.
단계 S108에서는, 각성 상태 패턴 모델 생성부(17)에 있어서, 입력 장치(44)등을 통한 사용자로부터의 각성 상태 패턴 모델의 생성 지시가 있었는지의 여부를 판정하여, 생성 지시가 있었다고 판정된 경우(Yes)에는 단계 S110으로 이행하고, 그렇지 않은 경우(No)에는 처리를 종료한다.
단계 S110으로 이행한 경우에는, 제1 학습 데이터 기억부(12)로부터 깜빡임 파형 식별 정보 데이터를 취득하여 단계 S112로 이행한다.
단계 S112에서는, 단계 S110에서 취득한 깜빡임 파형 식별 정보 데이터에 기초하여, 분석 구간의 계열에 있어서의 상기 특정 종류의 깜빡임 파형마다의 생기 비율이나 생기 횟수의 시간적 변화를 포함하는 제2 특징량 데이터를 생성하여 단계 S114로 이행한다.
단계 S114에서는, 각성 상태 패턴 모델 생성부(17)에 있어서, 제2 학습 데이터 기억부(16)를 통해 기억 장치(40)의 소정 영역에, 단계 S112에서 생성한 제2 특징량 데이터를 기억하여 단계 S116으로 이행한다.
단계 S116에서는, 각성 상태 패턴 모델 생성부(17)에 있어서, 제2 학습 데이터 기억부(16)로부터 제2 특징량 데이터와, 각성 상태 정보 데이터를 취득하여 단계 S118로 이행한다.
단계 S118에서는, 각성 상태 패턴 모델 생성부(17)에 있어서, 단계 S116에서 취득한 데이터를 학습 데이터로 하여 통계 모델을 학습시켜, 각성 상태용의 패턴 모델인 제2 패턴 모델을 생성하여 단계 S120으로 이행한다.
단계 S120에서는, 각성 상태 패턴 모델 생성부(17)에 있어서, 각성 상태 패턴 모델 기억부(18)를 통해 기억 장치(40)의 소정 영역에, 단계 S118에서 생성한 제2 패턴 모델을 기억하여 처리를 종료한다.
다음으로, 도 5∼도 10에 기초하여, 본 실시형태의 동작을 더욱 구체적으로 설명한다.
각성 상태 판정 모델 생성 장치(100)에 있어서, 전술한 제1 특징량 데이터의 추출 처리, 깜빡임 파형 패턴 모델의 생성 처리를 행하는 데 있어서, 우선, 복수 대상자의 복수 종류의 깜빡임의 안전도(EOG) 파형 데이터(깜빡임 파형 데이터)를 사전에 준비해야 한다.
또한, 전술한 제2 특징량 데이터의 생성 처리, 각성 상태 패턴 모델의 생성 처리를 행할 때에도, 깜빡임 파형 데이터를 사용한다.
본 실시형태에 있어서는, 사전에, 인폼드 컨센트(informed consent)를 얻은 여러 가지 연령의 건장한 남녀 복수명으로 이루어지는 대상자의 고각성 상태로부터 졸음으로의 대항 상태나 저각성 상태를 거쳐 수면에 들기에 이르기까지의 여러 가지 깜빡임의 안전도(EOG) 파형의 측정을 행하여, 깜빡임 파형 데이터를 수집하는 것으로 한다.
또한, 안전도(EOG) 파형(EOG 파형)으로서는, 대상자의 오른쪽 눈꺼풀의 상하에 전극을 장착하여, 생체 계측용 교류 앰프(BIOPAC, 시상수 3.2[sec], GAIN5000 배, 35[Hz] 컷오프 로우패스 필터)를 이용하여, 수직 EOG 파형을 샘플링 주파수 250 Hz에서 계측했다. 그리고, 이 수직 EOG 파형으로부터 깜빡임 부분을 검출한다.
깜빡임 부분의 검출 방법은, 공지의 수법[유즈 히로아키, 타다 히데오키: 깜빡임의 자동 검출과 깜빡임 파형 해석, 인간 공학, vol 30, No5, p.331-337(1994)]과 마찬가지로, EOG 파형의 미분치(1차 차분)를 이용하여, 이 미분치가 미리 설정한 개시 임계치를 넘은 시점을 깜빡임의 개시점으로 하고, 다시 상기 미분치가 미리 설정한 종료 임계치를 넘은 시점을 깜빡임의 종료점으로 하여, 개시점으로부터 종료점까지의 파형을 깜빡임 파형으로서 검출한다.
상기한 바와 같이 하여 수집된 깜빡임 파형 데이터는 깜빡임 데이터 기억부(10)에 기억된다. 또한, 검출된 각 깜빡임 파형의 생기 시각도 깜빡임 데이터 기억부(10)에 기억된다.
다음으로, 제1 특징량 데이터 추출부(11)에 있어서, 제1 특징량 데이터로서 추출되는 특징량 데이터에 대해 설명한다. 상기 취득한 안전도(EOG) 파형의 데이터로부터 추출한 파라미터를 후술과 같이 특징량 데이터로 변환한다.
도 5는 깜빡임 데이터로서 안전도(EOG) 파형의 데이터를 이용하는 경우의 깜빡임 파형 데이터로부터 추출하는 파라미터의 설명도이다.
깜빡임 파형 데이터로부터 파형의 피크점의 높이(거리) 데이터, 깜빡임의 개시점으로부터 피크점까지의 시간 데이터, 피크점으로부터 깜빡임의 종료점까지의 시간 데이터의 3개의 파라미터를 추출한다.
예컨대, 깜빡임 파형 데이터가, 눈을 감는 방향을 상향으로 하는 도 5에 도시하는 바와 같은 파형을 나타내는 경우에, 피크점의 높이 x1를, 깜빡임의 개시점의 레벨(전압 또는 전류)과 파형의 피크점의 레벨과의 차분값으로 한다. 도 5의 예에서는, 파형의 피크가 「x1[mm]」이 되고, 깜빡임의 개시점으로부터 피크점까지의 시간 x2)(이하, 상승 시간 x2)가 28[m sec]이 되며, 피크점으로부터 깜빡임의 종료점까지의 시간 x3(하강 시간 x3)이 52[m sec]가 된다.
본 실시형태에 있어서는, 피크점의 높이(거리)데이터 x1은, 측정한 값을 그대로 이용하고, 상승 및 하강 시간 데이터 x2 및 x3은 대수 변환한 것을 이용한다. 이들 x1, x2 및 x3의 3개의 파라미터를 상기 취득한 깜빡임 파형 데이터로부터 순 차적으로 추출한다.
그리고, 깜빡임 파형 데이터를 수집한 대상자의 측정 데이터마다에, Z 스코어법을 이용하여, 상기 x1∼x3의 3종류의 파라미터로 구성되는 특징 파라미터를 정규화한다.
Z 스코어법에 의한 정규화는, 상기 x1∼x3의 3종류의 특징 파라미터를, 각각의 평균치가 0, 표준 편차가 1이 되도록 분포의 가공을 하는 것으로 행해진다.
구체적으로는, x1∼x3의 각각의 특징 파라미터 중에서의 평균치 μ를 구한다. 또한, 동시에 x1∼x3의 각각의 특징 파라미터 중에서의 표준 분산 σ를 구한다.
여기서, x1∼x3의 각각에 있어서 각 파라미터를 X로 하고, 하기 식(1)에 따라, 파라미터 X를 z로 변환한다.
[수학식 1]
Figure 112009043257318-pct00001
구체적인 수치예를 나타내면, 어떤 대상자의 모든 깜빡임 파형의 x1∼x3의 각각의 평균치가(2.2239, 1.3542, 1.5693)이고, x1∼x3의 각각의 표준 편차가(0.7396, 0.1000, 0.0709)인 경우, z는 하기 식(2)과 같이 산출된다.
[수학식 2]
Figure 112009043257318-pct00002
수집된 깜빡임 파형 데이터마다에 산출된 z가 제1 특징량 데이터로 되고, 깜빡임 데이터 기억부(10)에 기억된 안전도(EOG) 파형 데이터에 있어서의 각 깜빡임에 대해, 이 z가 제1 학습 데이터 기억부(12)에 학습 데이터로서 기억된다.
또한, 제1 학습 데이터 기억부(12)에 학습 데이터로서 기억되는 깜빡임 파형 식별 정보 데이터에 대해 설명한다.
깜빡임 파형 식별 정보 데이터는, 깜빡임 데이터 기억부(10)에 기억된 안전도(EOG) 파형 데이터에 있어서의 각 깜빡임에 대해 깜빡임의 종류를 식별하는 깜빡임 파형 식별 정보가 부여된 데이터이다.
여기에, 깜빡임 파형 식별 정보란, 구체적으로는 예컨대, 후술하는 분류된 깜빡임의 종류를 식별하는 번호이다. 깜빡임 데이터 기억부(10)에 기억된 각 깜빡임은, 깜빡임 파형 식별 정보뿐만 아니라, 그 생기 시각도 특정할 수 있도록 되어 있다.
본 실시형태에 있어서는, 생리학적 지견에 기초하여, 대상자의 각성 수준에 따른 깜빡임의 종류를 이하와 같이 분류했다.
도 6은 어떤 한사람의 대상자의 제1 특징량 데이터(z)에 대해, 공지한 클러스터링 방법인 k-평균법에 의해, 클러스터수를 12로 한 경우의 안전도(EOG) 파형을 분류한 결과를 도시하는 것이다.
이 본 예에 나나태는 바와 같이 일반적으로 알려져 있는 깜빡임 분류수보다도 클러스터수를 많게 함으로써, 깜빡임 EOG 파형 데이터에 혼입한 안구 운동 등의 오검출이나 과검출을 깜빡임과는 별도의 클러스터에 분류하여 배제하는 것이 가능해진다.
Class 1: 고각성 시의 표준 깜빡임
Class 2: 졸음에 의해 눈꺼풀이 감겨와 파고(波高)가 조금 작아진 깜빡임
Class 3: 졸음에 대항하기 위해 의도적으로 분명히 한 큰 깜빡임
Class 4: 저각성 상태에서 생기하는 파고가 매우 작아진 깜빡임
Class 5∼7: 저각성 상태 시의 지속 시간이 긴 깜빡임
Class 8: 저각성 상태로부터 일시적으로 순간 각성할 때의 깜빡임
Class 9: 군발 깜빡임
Class 10∼Class 12: 깜빡임 파형의 검출 시에 오검출이나 과검출된 깜빡임(깜빡임 이외의 안구 운동의 영향을 받은 것, 안구 운동이나 깜빡임의 판단이 어려운 것 등)
전술한 예에서는, 12개의 클러스터가 8개의 깜빡임의 종류로 분류되고, 깜빡임 파형 식별 정보는, 안전도(EOG) 파형 데이터에 있어서의 각 깜빡임이 어떤 깜빡임의 종류로 분류되었는지를 나타낸다.
깜빡임 파형 패턴 모델 생성부(13)는, 깜빡임 파형 패턴 모델의 생성 지시가 주어진 경우(단계 S100의「Yes」의 분기)에, 제1 학습 데이터 기억부(12)를 통해, 기억 장치(40)로부터 제1 특징량 데이터와 깜빡임 파형 식별 정보 데이터를 취득한다(단계 S102).
그리고, 상기 취득한 제1 특징량 데이터와 깜빡임 파형 식별 정보 데이터를 학습 데이터로 하여 통계 모델을 학습시켜, 제1 특징량 데이터를 입력으로 하고, 입력된 제1 특징 데이터에 대한 깜빡임의 종류(8개)에 대한 우도를 출력으로 하는 깜빡임 파형 패턴 모델(제1 패턴 모델)을 생성한다(단계 S104).
본 실시형태에 있어서는, 통계 모델로서 HMM을 이용한다.
HMM은, 시계열 신호의 확률 모델이고, 복수의 정상 신호원 사이를 천이하는 것으로, 비정상인 시계열 신호를 모델화한다.
예컨대, 한 번의 깜빡임의 시간은, 깜빡임의 검출 상황 등에 의해 깜빡임 개시점과 종료점이 다소 각기 다름으로 되는 것 등이 일어날 수 있기 때문에, 이것에 따른 시간 방향의 특징 파라미터도 변화된다.
따라서, HMM의 학습은, 구체적으로, 도 17에 도시하는 바와 같이, 예컨대, 상태수 8의 HMM을 결정하고, 상기 취득한 특징 파라미터로부터 상태의 천이 횟수를 계산하여, 이 계산 결과에 기초하여 어떤 상태로부터 다음 상태로의 천이 확률과, 어떤 상태에서의 특징 파라미터의 출력 확률을 최우(最尤) 추정하는 것으로 행해진다.
그리고, 이 학습에 의해 얻어진 천이 확률 및 출력 확률을 갖는 HMM이 깜빡임 파형 패턴 모델(제1 패턴 모델)로 된다.
상기한 바와 같이 하여 생성된, 깜빡임 파형 패턴 모델(제1 패턴 모델)은, 깜빡임 파형 패턴 모델 기억부(14)를 통해, 기억 장치(40)의 소정 영역에 기억된다(단계 S106).
특징량 데이터 생성부(15)는, 각성 상태 패턴 모델의 생성 지시가 주어진 경우(단계 S108의「Yes」의 분기)에, 제1 학습 데이터 기억부(12)를 통해 기억 장치(40)로부터 깜빡임 파형 식별 정보 데이터를 취득한다(단계 S110).
또한, 깜빡임 데이터 기억부(10)에 기억된 각 깜빡임의 생기 시각도 특정할 수 있도록 된다.
다음으로, 특징량 데이터 생성부(15)에 있어서, 제2 특징량 데이터로서 생성되는 특징량 데이터에 대해 설명한다.
여기서, 도 7은 1명의 대상자로부터 수집한 깜빡임 파형 데이터에 있어서, 일정 시간 구간 내의 각 깜빡임의 종류의 생기 빈도가, 시간의 경과와 함께 추이하는 모습을 도시하는 설명도이다.
깜빡임의 종류마다의 생기 빈도의 경시 변화를 분석하면, 실험 개시로부터 중반(20분 전후)에 걸쳐서는, 표준적인 깜빡임의 종류인 Class 1의 감소와 함께, 피크 높이가 작은 Class 2의 깜빡임의 종류와 확실히 큰 Class 3의 깜빡임의 종류의 비율이 증가했다.
20분을 경계로, Class 1과 Class 3의 깜빡임의 종류는 거의 볼 수 없어지고, 이후 Class 4∼7의 완만한 깜빡임의 종류가 대부분을 차지했다.
Class 8이나 Class 9에서 볼 수 있는, 빠르고 작은 깜빡임의 종류는, 단속적으로 증감하지만, 상대적으로는 실험의 후반에 증가했다.
실험 시의 고찰이나 관찰 기록에 따르면 본 대상자는, 실험의 초기에서 가벼운 졸음을 느끼고 있고, 중반에서 후반에 걸쳐 더욱 강한 졸음을 느끼고 있었다.
또한, 외적 요인 등에 의해 일시적으로 각성하는 경우도 있었지만, 각성 상태의 저하는 계속되어, 실험 종료 직후에는 수면에 든 것에 이르고 있다.
깜빡임의 종류의 특징의 경시 변화와의 대응 및 동화상 기록과의 대응으로부터, Class 2의 깜빡임에 있어서의 눈을 뜬 상태는, 각성 시의 표준적인 Class 1의 깜빡임에서의 반쯤 감은 눈의 상태에 유사하여, 졸음에 의해 눈꺼풀이 내려온 상태라고 생각된다.
이에 비해, 실험 중반에 걸쳐 Class 2의 깜빡임의 증가와 함께 증가하는 Class 3의 확실하게 큰 깜빡임은, 졸음에 대항하기 위한 의도적인 깜빡임으로 생각된다.
실험의 중반 이후에서 종반에 걸쳐서는, 대상자의 각성 상태가 현저하게 저하하고 있다고 추정되기 때문에, Class 4∼7로 분류되는 깜빡임이 저각성 시의 파형이라고 생각된다.
따라서, 일정 시간 구간 내의 각 깜빡임의 종류의 생기 비율이나 생기 횟수가, 시간의 경과에 수반하여 추이하는 형상을 패턴 인식의 대상으로 삼음으로써, 대상자의 각성 수준을 판정하는 것이 가능해진다.
본 실시형태에서는, 패턴 인식에 이용하는 특징량 데이터로서, 분석 구간의 계열에서 각 깜빡임의 종류의 생기 비율을 구하여, 이 생기 비율의 어떤 시간 구간 내에 있어서의 시간적 변화를 이용한다.
도 8(a)는 상기 특징량인 제2 특징량 데이터를 도시하는 설명도이다.
분석 구간으로서, 단위 시간(도면 중의 T)이나 소정의 깜빡임 횟수 등을 정의한다. 그리고, 각 깜빡임의 종류의 생기 비율을 일정한 시간 간격(도면 중의 ts)마다, 인접하는 분석 구간과 오버랩시키면서 구한다.
또한, 이와 같이 하여 구한 각 깜빡임의 종류의 생기 비율을, 소정의 횟수만큼(도면 중의 N) 통합하는 것으로 제2 특징량 데이터를 생성한다.
전술한 바와 같이 하여 소정의 횟수만큼 통합된 분석 구간이 분석 구간의 계열이다. 예컨대, 8개의 깜빡임의 종류에 대한 제2 특징량 데이터는 도 8(b)로 나타낸다.
여기서, 도 8(b)의 Ri,j는 제j 분석 구간에 있어서의 깜빡임 종류 i의 생기 비율을 나타낸다. 본 실시형태에 있어서는, 각 깜빡임의 종류의 생기 비율을 이용했지만, 깜빡임의 생기 빈도도 특징량에 부가하기 위해 각 깜빡임의 종류의 생기 횟수를 이용할 수 있다(단계 S112).
또한, 제2 학습 데이터 기억부(16)에 학습 데이터로서 기억되는 각성 상태 정보 데이터에 대해 설명한다. 각성 상태 정보 데이터는, 제2 학습 데이터 기억부(16)에 기억된 제2 특징량 데이터에 대해 대상자의 각성 상태를 나타내는 각성 상태 정보가 부여된 데이터이다.
본 실시형태에 있어서는, 실험시의 생체·생리 데이터로부터의 판단, 고찰이나 관찰 기록으로부터 추찰한 결과에 기초하여, 실험 중인 대상자의 각성 상태를 고각성 상태, 졸음 대항 상태, 저각성 상태의 3상태로 표시하고, 도 9에 도시하는 각성 상태 정보 데이터를 사용했다. 여기서, 깜빡임의 종류의 분류수는 9이다.
또한, 이 실시예에서는 대상자의 각성 상태를 고각성 상태, 졸음 대항 상태, 저각성 상태의 3상태, 깜빡임의 종류의 분류수를 9로 했지만, 애플리케이션에 따라 상태수나 분류수를 바꾸는 것은 가능하다.
각성 상태 패턴 모델 생성부(17)는 제2 학습 데이터 기억부(16)를 통해 기억 장치(40)의 소정 영역에, 생성한 제2 특징량 데이터를 기억한다(단계 S114).
다음으로, 각성 상태 패턴 모델 생성부(17)는 제2 학습 데이터 기억부(16)를 통해, 기억 장치(40)로부터 제2 특징량 데이터와 각성 상태 정보 데이터를 취득한다(단계 S116).
그리고, 상기 취득한 제2 특징량 데이터와 각성 상태 정보 데이터를 학습 데이터로 하여 통계 모델을 학습시켜, 제2 특징량 데이터를 입력으로 하고, 각성 상태 정보에 대한 우도를 출력으로 하는 각성 상태 패턴 모델(제2 패턴 모델)을 생성한다(단계 S118).
본 실시형태에 있어서는, 깜빡임 파형 패턴 모델(제1 패턴 모델)의 경우와 마찬가지로 통계 모델로서 HMM을 이용한다.
상기 깜빡임 파형 데이터로서, 안전도(EOG) 파형 데이터를 이용했지만, 그 대신에, 눈의 동화상을 이용하는 경우에 대해 설명한다.
구체적인 예로서, 도 10(a)에 도시하는 바와 같이, 눈의 동화상에 있어서의 안구 부분을 중앙에 가로 11화소×세로 30화소의 추출 영역 화상을 추출하여, 이 추출한 추출 영역 화상을 구성하는 각 라인(가로 11 화소)의 휘도 합계치를 산출하고, 예컨대, 도 10(b)에 도시하는 바와 같은 특성을 나타내는, 추출 영역 화상의 30 라인분의 각 라인마다의 휘도 합계치의 데이터를 생성한다.
본 실시형태에 있어서는, 이 휘도 합계치의 데이터를, 한 번의 깜빡임에 대응하는 깜빡임 파형 데이터에 대해 생성한 것이, 각 깜빡임 파형 데이터로부터 추출되는 제1 특징량 데이터가 된다.
또, 제1 특징량으로서는, 그 외에도 눈 영역 화상을 주파수 변환한 주파수 스펙트럼 성분, 그 주파수 스펙트럼 성분의 전후 프레임과의 프레임간 차분 성분, 눈 영역 화상의 멜켑 스트럼(MFCC) 성분, 눈 영역 화상의 프레임내 모멘트 성분, 프레임간 모멘트 성분 등이나, 이들의 조합 등이 있다.
또한, 각 깜빡임 파형 데이터를 구성하는 깜빡임 화상 데이터의 프레임수는, 촬영 수단의 성능이나 깜빡임의 종류 등에 따라 변한다[통상의 CCD 카메라(30 프레임/초)를 이용한 경우는, 예컨대, 한 번의 깜빡임에 대해 8∼11 프레임 정도로 됨].
상기 제1 실시형태에 있어서, 깜빡임 데이터 기억부(10)는 청구항 7에 기재한 깜빡임 데이터 기억 수단에 대응하고, 제1 특징량 데이터 추출부(11)는 청구항 7에 기재한 특징량 데이터 수단에 대응하며, 제1 학습 데이터 기억부(12)는 청구항 3에 기재한 학습 데이터 기억 수단에 대응하고, 깜빡임 파형 패턴 모델 생성부(13)는 청구항 3에 기재한 깜빡임 파형 패턴 모델 생성 수단에 대응하며, 깜빡임 파형 패턴 모델 기억부(14)는 청구항 7에 기재한 제1 패턴 모델 기억 수단에 대응하고, 특징량 데이터 생성부(15)는 청구항 3에 기재한 특징량 데이터 생성 수단에 대응하며, 제2 학습 데이터 기억부(16)는 청구항 7에 기재한 제2 특징량 데이터 기억 수단에 대응하고, 각성 상태 패턴 모델 생성부(17)는 청구항 1에 기재한 각성 상태 패턴 모델 생성 수단에 대응하며, 각성 상태 패턴 모델 기억부(18)는 청구항 7에 기재한 제2 패턴 모델 기억 수단에 대응하고, 각성 상태 패턴 모델 생성부(81)는 청구항 2에 기재한 각성 상태 판정 모델 생성 장치에 대응한다.
또한, 상기 제1 실시형태에 있어서, 단계 S100∼S104는 청구항 14 또는 청구항 19에 기재한 깜빡임 파형 패턴 모델 생성 단계에 대응하고, 단계 S106은 청구항 16 또는 청구항 21에 기재한 제1 패턴 모델 기억 단계에 대응하며, 단계 S108∼S112는 청구항 14 또는 청구항 19에 기재한 특징량 데이터 생성 단계에 대응하고, 단계 S114는 청구항 16 또는 청구항 21에 기재한 제2 특징량 데이터 기억 단계에 대응하며, 단계 S116∼S118은 청구항 12 또는 청구항 17에 기재한 각성 상태 패턴 모델 생성 단계에 대응하고, 단계 S120은 청구항 14 또는 청구항 19에 기재한 제2 패턴 모델 기억 단계에 대응한다.
〔제2 실시형태〕
다음으로, 본 발명의 제2 실시형태를 도면에 기초하여 설명한다. 도 11∼도 21은 본 발명에 따른 각성 상태 판정 장치, 각성 상태 판정 프로그램 및 각성 상태 판정 방법의 실시형태를 도시하는 도면이다.
우선, 본 발명에 따른 각성 상태 판정 장치의 구성을 도면에 기초하여 설명한다. 도 11은 본 발명에 따른 각성 상태 판정 장치(900)의 구성을 도시하는 블록 도이다.
깜빡임 종류 취득부(90)는 대상자의 각성 상태의 변화를 수반한 각 분석 구간에 있어서의, 특정 종류의 깜빡임 파형마다에 분류된 각 깜빡임 파형이 생기한 시각 등을 나타내는 생기 시각 정보를 취득한다.
특징량 데이터 생성부(91)는 깜빡임 종류 취득부(90)에서 취득된 각 깜빡임 파형의 생기 시각 정보에 기초하여, 각 분석 구간에 대해 깜빡임의 분류 항목마다의 생기 비율이나 생기 횟수를 구하여, 생기 비율이나 생기 횟수가 요소로 되는 데이터를 분석 구간마다 작성한다. 이 데이터가 깜빡임 종류 특징량 데이터이다.
각성 상태 패턴 모델 기억부(92)는 상기 제1 실시형태의 각성 상태 판정 모델 생성 장치(800)에서 생성된 각성 상태 패턴 모델을 기억하도록 되어 있다.
각성 상태 판정부(93)는 특징량 데이터 생성부(91)에서 생성한 깜빡임 종류 특징량 데이터와, 각성 상태 패턴 모델 기억부(92)에 기억된 각성 상태 패턴 모델에 기초하여 대상자의 각성 상태를 판정한다.
상기 판정하는 각성 상태로서는, 의식이 분명한 고각성 상태로부터, 졸음에 대항하고 있는 상태, 저각성 상태 등을 지나서 앉아서 졸기에 이르기까지의 동안에 단계적으로 변화되는 상태가 포함된다.
예컨대, 정상적인 고각성 상태, 졸음을 느끼고 있는 상태, 졸음에 대항하고 있는 상태, 강한 졸음을 느끼고 있는 저각성 상태, 앉아서 조는 상태 등이 포함된다.
다음으로, 본 실시형태의 경고 장치는, 상기 제1 실시형태의 각성 상태 판정 모델 생성 장치(100)에 있어서 생성된 깜빡임 파형 패턴 모델 및 각성 상태 패턴 모델을 구비하고, 이들 패턴 모델을 이용하여, 운전자의 분석 구간의 계열마다의 각성 상태의 식별을 행하도록 되어 있다.
우선, 본 발명에 따른 경고 장치의 구성을 도면에 기초하여 설명한다.
도 12는 본 발명에 따른 경고 장치(200)의 구성을 도시하는 블록도이다.
도 12에 도시하는 바와 같이, 경고 장치(200)는, 운전자의 적어도 한쪽 눈의 눈꺼풀의 개방도의 시간 변화를 포함하는 깜빡임 데이터를 취득하는 깜빡임 데이터 취득부(20)와, 상기 제1 실시형태의 각성 상태 판정 모델 생성 장치(100)에 있어서 생성된 깜빡임 파형 패턴 모델을 기억하는 깜빡임 파형 패턴 모델 기억부(21)와, 깜빡임 데이터 취득부(20)에서 취득된 깜빡임 데이터로부터 제1 특징량 데이터를 추출하는 특징량 데이터 추출부(22)와, 깜빡임 파형 패턴 모델 기억부(21)에 기억된 깜빡임 파형 패턴 모델과, 특징량 데이터 추출부(22)에서 추출된 제1 특징량 데이터에 기초하여 깜빡임 파형의 종류를 식별하는 깜빡임 종류 식별부(23)와, 깜빡임 종류 식별부(23)에서 식별된 깜빡임 파형의 종류의 식별 결과에 기초하여 제2 특징량 데이터를 생성하는 특징량 데이터 생성부(24)와, 상기 제1 실시형태의 각성 상태 판정 모델 생성 장치(100)에 있어서 생성된 각성 상태 패턴 모델을 기억하는 각성 상태 패턴 모델 기억부(25)와, 특징량 데이터 생성부(24)에서 생성한 제2 특징량 데이터와, 각성 상태 패턴 모델 기억부(25)에 기억된 각성 상태 패턴 모델에 기초하여 대상자의 각성 상태를 판정하는 각성 상태 판정부(26)를 포함한 구성으로 되어 있다.
깜빡임 데이터 취득부(20)는, 생체 계측용 교류 앰프를 갖고 있어, 운전자의 눈거풀의 상하에 장착된 전극을 통해, 리얼 타임으로 수직 EOG[안전도(EOG) 파형]을 측정하도록 되어 있다.
깜빡임 파형 패턴 모델 기억부(21)는, 상기 제1 실시형태의 각성 상태 판정 모델 생성 장치(100)에서 생성된 깜빡임 파형 패턴 모델을, 후술하는 기억 장치(60)의 소정 영역에 기억하도록 되어 있다.
특징량 데이터 추출부(22)는, 깜빡임 데이터 취득부(20)에서 취득된 깜빡임의 안전도(EOG) 파형 데이터(깜빡임 파형 데이터)로부터, 상기 제1 실시형태와 마찬가지로, 깜빡임 파형의 피크 높이(거리) x1, 깜빡임의 개시로부터 피크 높이까지의 상승 시간 x2, 피크 높이로부터 깜빡임의 종료까지의 하강 시간 x3의 3개의 특징 파라미터로부터 구한 제1 특징량 데이터를 특징량 데이터로서 추출하도록 되어 있다.
깜빡임 종류 식별부(23)는, 깜빡임 파형 패턴 모델 기억부(21)에 기억된 깜빡임 파형 패턴 모델과, 특징량 데이터 추출부(22)에서 추출된 제1 특징량 데이터에 기초하여 깜빡임 파형의 종류를 식별한다.
특징량 데이터 생성부(24)는, 깜빡임 종류 식별부(23)에서 식별된 깜빡임 파형의 종류의 식별 결과에 기초하여 제2 특징량 데이터를 생성하여, 각성 상태 판정부(26)에 출력한다.
즉, 우선, 분석 구간의 계열에서 각 깜빡임의 종류의 식별 결과의 생기 비율이나 생기 횟수를 구하여, 제2 특징량 데이터로서, 이 생기 비율이나 생기 횟수의 어느 시간 구간 내에 있어서의 시간적 변화를 이용한다.
각성 상태 패턴 모델 기억부(25)는, 상기 제1 실시형태의 각성 상태 판정 모델 생성 장치(100)에서 생성된, 각성 상태 패턴 모델을, 후술하는 기억 장치(60)의 소정 영역에 기억하도록 되어 있다.
각성 상태 판정부(26)는, 특징량 데이터 생성부(24)에서 생성한 제2 특징량 데이터와, 각성 상태 패턴 모델 기억부(25)에 기억된 각성 상태 패턴 모델에 기초하여 대상자의 각성 상태를 판정한다.
상기 판정하는 각성 상태로서는, 의식이 분명한 고각성 상태로부터, 졸음에 대항하고 있는 상태, 저각성 상태 등을 지나서 앉아서 졸기에 이르기까지의 동안에 단계적으로 변화되는 상태가 포함된다.
예컨대, 정상적인 고각성 상태, 졸음을 느끼고 있는 상태, 졸음에 대항하고 있는 상태, 강한 졸음을 느끼고 있는 저각성 상태, 앉아서 조는 상태 등이 포함된다.
경고 장치(200)는, 각성 상태 판정부(26)의 판정 결과에 기초하여 운전자에게 경고를 부여하는 경고부(27)를 더 포함한 구성으로 되어있다.
경고부(27)는, 각성 상태 판정부(26)의 판정 결과에 기초하여, 각성 상태의 내용에 따른 경고를 운전자에게 부여하게 되어 있다.
구체적으로는, 예컨대, 약한 졸음을 느끼고 있다고 판정된 경우는 휴식을 취하는 것을 권하는 음성 메시지를 출력하고, 졸음에 대항하고 있는 상태라고 판정된 경우는, 약간 큰 음량으로 경고음을 출력하며, 강한 졸음을 느끼고 있는 저각성 상 태 또는 앉아서 조는 상태라고 판정된 경우는, 매우 큰 음량이나 강한 메시지 내용으로 경고음을 출력한다.
또한, 경고 장치(200)는, 상기 각 부의 제어를 소프트웨어 상에서 실현하기 위한 컴퓨터 시스템을 구비하고 있고, 그 하드웨어 구성은, 도 13에 도시하는 바와 같이, 각종 제어나 연산 처리를 담당하는 중앙 연산 처리 장치인 CPU(Central Processing Unit)(50)와, 주기억 장치(Main Storage)를 구성하는 RAM(Random Access Memory)(52)와, 판독 전용의 기억 장치인 ROM(Read Only Memory)(54) 사이를 PCI(Peripheral Component Interconnect) 버스나 ISA(Industrial Standard Architecture) 버스 등으로 이루어지는 각종 내외 버스(58)로 접속하고, 이 버스(58)에 입출력 인터페이스(I/F)(56)를 통해, HDD(Hard Disk Drive) 등의 내부 또는 외부 기억 장치(Secondary Storage)(60)나, LCD 모니터 등의 출력 장치(62), 조작 패널이나 리모콘 등의 입력 장치(64) 및 도시하지 않은 외부 장치 등과 통신하기 위한 네트워크(L) 등을 접속한 것이다.
그리고, 전원을 투입하면, ROM(54) 등에 기억된 BIOS 등의 시스템 프로그램이, ROM(54)에 미리 기억된 각종 전용의 컴퓨터 프로그램, 혹은, CD-ROM이나 DVD-ROM, 플렉서블 디스크(FD) 등의 기억 매체를 통해, 또는 인터넷 등의 통신 네트워크(L)를 통해 기억 장치(60)에 인스톨된 각종 전용의 컴퓨터 프로그램을 RAM(52)에 로드하고, 그 RAM(52)에 로드된 프로그램에 기술된 명령에 따라 CPU(50)가 각종 리소스를 구사하여 소정의 제어 및 연산 처리를 행하는 것으로 전술한 바와 같은 각 수단의 각 기능을 소프트웨어 상에서 실현할 수 있도록 되어 있다.
(제2 실시형태의 동작)
다음으로, 도 14에 기초하여, 이러한 구성을 한 경고 장치(200)에 있어서의, 제1 특징량 데이터의 추출 처리의 흐름을 설명한다.
여기서, 도 14는 경고 장치(200)에 있어서의 제1 특징량 데이터의 추출 처리를 도시하는 흐름도이다.
제1 특징량 데이터의 데이터 추출 처리는, 도 14에 도시하는 바와 같이, 우선 단계 S200으로 이행하여, 특징량 데이터 추출부(22)에 있어서, 깜빡임 데이터 취득부(20)에서 취득된 깜빡임의 안전도(EOG) 파형 데이터(깜빡임 파형 데이터)를 취득하여 단계 S202로 이행한다.
단계 S202에서는, 특징량 데이터 추출부(22)에 있어서, 단계 S200에서 취득한 깜빡임 파형 데이터로부터, 상기 제1 실시형태와 동일하게, 단위가 상이한 복수의 특징 파라미터로부터 구한 제1 특징량 데이터를, 특징량 데이터로서 추출하여 단계 S204로 이행한다.
단계 S204에서는, 깜빡임 종류 식별부(23)에 있어서, 깜빡임 파형 패턴 모델 기억부(21)로부터 깜빡임 파형 패턴 모델을 취득하여, 상기 취득한 깜빡임 파형 패턴 모델과, 단계 S202에서 추출한 제1 특징량 데이터에 기초하여, 상기 제1 특징량 데이터에 대응하는 깜빡임 종류를 식별하여 처리를 종료한다.
본 실시형태에 있어서는, 제1 특징량 데이터를 입력으로 하고, 운전자의 깜빡임 종류에 대한 우도를 출력으로 하는 깜빡임 파형 패턴 모델로서, HMM을 이용한다.
도 18(a)는 제2 특징량 데이터를 도시하는 설명도이다. 분석 구간으로서, 단위 시간(도면 중의 T)이나 소정의 깜빡임 횟수 등을 정의한다.
그리고, 각 깜빡임의 종류의 생기 비율을, 일정한 시간 간격(도면 중의 ts)마다, 인접하는 분석 구간과 오버랩시키면서 구한다.
또한, 이와 같이 하여 구한 각 깜빡임의 종류의 생기 비율을, 소정의 횟수만큼(도면 중의 N) 통합함으로써 제2 특징량 데이터를 생성한다.
상기 소정의 횟수만큼 통합된 분석 구간이 분석 구간의 계열이다. 예컨대, 8개의 깜빡임의 종류에 대한 제2 특징량 데이터는 도 18(b)로 나타낸다.
본 실시형태에 있어서는, 각 깜빡임의 종류의 생기 비율을 이용했지만, 각 깜빡임의 종류의 생기 횟수를 이용할 수 있다.
다음으로, 도 15에 기초하여, 경고 장치(200)에 있어서의 제2 특징량 데이터 생성 처리의 흐름을 설명한다.
여기서, 도 15는 경고 장치(200)에 있어서의 제2 특징량 데이터 생성 처리를 도시하는 흐름도이다.
제2 특징량 데이터 생성 처리는, 도 15의 흐름도에 도시하는 바와 같이, 우선 단계 S300에서, 특징량 데이터 생성부(24)에 있어서, 제2 특징량 데이터 생성 처리를 종료했는지의 여부를 판정하여, 종료했다고 판정된 경우(Yes)에는 처리를 종료하고, 그렇지 않은 경우(No)에는 단계 S302로 이행한다.
단계 S302로 이행한 경우에는, 특징량 데이터 생성부(24)에 있어서, 깜빡임 종류 식별부(23)로부터 식별 결과를 취득했는지의 여부를 판정하여, 취득했다고 판정된 경우(Yes)에는 단계 S304로 이행하고, 그렇지 않은 경우(No)에는 취득할 때까지 대기한다.
본 실시형태에 있어서, 식별 결과는, 식별 결과의 깜빡임 종류의 정보와, 제1 특징량 데이터에 대응하는 깜빡임 파형 데이터의 생기 시각의 정보를 포함하고 있다.
단계 S304로 이행한 경우는, 특징량 데이터 생성부(24)에 있어서, 식별 결과를 RAM(52) 또는 기억 장치(60)의 소정 영역에 기억하여 단계 S306으로 이행한다.
본 실시형태에 있어서는, RAM(52)을 우선 사용하고, RAM(52)의 메모리 용량에 따라, 적절하게 기억처를 변경한다.
단계 S306에서는, 특징량 데이터 생성부(24)에 있어서, 식별 결과의 시각 시간이 제2 특징량 데이터 갱신 시각(tupdate= nts)를 넘었는지의 여부를 판정하여, 넘었다고 판정된 경우(Yes)는, 단계 S310으로 이행하고, 그렇지 않은 경우(No)에는, 단계 S308로 이행한다. 단, n은 0 이상의 정수이고, ts는 갱신 시간 간격이다.
본 실시형태에 있어서는, 경고 장치(200)의 동작 개시 시에, 시간 t 및 tupdate를 리셋한다(t= 0, tupdate= 0).
단계 S308로 이행한 경우는, 특징량 데이터 생성부(24)에 있어서, 단계 S304에서 기억한 식별 결과를 이용하여 제2 특징량 데이터용의 기억 영역을 갱신하여 단계 S300로 이행한다.
도 18(b)에 상기 제2 특징량 데이터용의 기억 영역을 도시한다. 제2 특징량 데이터 전체는 기억 영역(70)에 기억되고, 기억 영역(70)의 일부를 구성하는 기억 영역(71)에 있어서, 상기 식별 결과가 나타내는 깜빡임 종류와 일치하는 깜빡임의 종류의 식별 결과의 생기 횟수에 1을 가산한다.
단계 S310으로 이행한 경우는, 특징량 데이터 생성부(24)에 있어서, 기억 영역에 기억된 각 깜빡임의 종류의 식별 결과의 생기 횟수에 기초하여, 각각의 생기 비율이나 생기 횟수를 구하여, 상기 생기 비율이나 상기 생기 횟수로 기억 영역을 덮어쓰기하여 단계 S312로 이행한다.
단계 S312에서는, 특징량 데이터 생성부(24)에 있어서, 기억 영역에 기억된 각 깜빡임의 종류의 식별 결과의 생기 비율의 시간 변화나 생기 횟수의 시간 변화로부터, 제2 특징량 데이터를 생성하여 단계 S314로 이행한다.
단계 S314에서는, 특징량 데이터 생성부(24)에 있어서, 단계 S312에서 생성한 제2 특징량 데이터를, RAM(52) 또는 기억 장치(60)의 소정 영역에 기억하여 단계 S300으로 이행한다.
다음으로, 도 16에 기초하여, 경고 장치(200)에 있어서의 각성 상태 판정 처리 및 경고 처리의 흐름을 설명한다.
여기서, 도 16은 경고 장치(200)에 있어서의 각성 상태 판정 처리 및 경고 처리를 도시하는 흐름도이다.
각성 상태 판정 처리 및 경고 처리는, 도 16의 흐름도에 도시하는 바와 같 이, 우선 단계 S400으로 이행하여, 각성 상태 판정부(26)에 있어서, 각성 상태 판정 처리를 종료했는지의 여부를 판정하여, 종료했다고 판정된 경우(Yes)에는 처리를 종료하고, 그렇지 않은 경우(No)에는 단계 S402로 이행한다.
단계 S402로 한 경우는, 각성 상태 판정부(26)에 있어서, 특징량 데이터 생성부(24)로부터 제2 특징량 데이터를 취득했는지의 여부를 판정하여, 취득했다고 판정된 경우(Yes)에는 단계 S404로 이행하고, 그렇지 않은 경우(No)에는 취득할 때까지 대기한다.
단계 S404로 이행한 경우는, 각성 상태 판정부(26)에 있어서, 단계 S402에서 취득한 제2 특징량 데이터와, 각성 상태 패턴 모델 기억부(25)에 기억된 각성 상태 패턴 모델에 기초하여, 운전자의 각성 상태를 판정하여 단계 S406으로 이행한다.
본 실시형태에 있어서는, 제2 특징량 데이터를 입력으로 하고, 운전자의 각성 상태를 나타내는 각성 상태 정보에 대한 우도를 출력으로 하는 각성 상태 패턴 모델로서, HMM을 이용한다.
단계 S406에서는, 경고부(27)에 있어서, 단계 S404의 판정 결과에 기초하여, 운전자는 졸음을 느낀 상태인지의 여부를 판정하여, 졸음을 느낀 상태인 경우(Yes)는 단계 S408로 이행하고, 그렇지 않은 경우(No)에는 단계 S410으로 이행한다.
단계 S408로 이행한 경우는, 경고부(27)에서, 경고 처리(1)를 실행하고 단계 S400으로 이행한다. 여기서, 경고 처리(1)를 실행하면, 휴식을 취하는 것을 진행시키는 음성 메시지가 출력된다.
한편, 단계 S410으로 이행한 경우는, 경고부(27)에 있어서, 운전자는 졸음에 대항하고 있는 상태인지의 여부를 판정하여, 졸음에 대항하고 있는 상태인 경우(Yes)에는 단계 S412로 이행하고, 그렇지 않은 경우(No)에는 단계 S414로 이행한다.
단계 S412로 이행한 경우는, 경고부(27)에 있어서, 경고 처리(2)를 실행하고 단계 S400으로 이행한다. 여기서, 경고 처리(2)를 실행하면, 차 내에 배치된 스피커로부터 약간 큰 음량(예컨대, 50%의 볼륨)으로 경고음 및 경고 메시지가 출력된다.
한편, 단계 S414로 이행한 경우는, 경고부(27)에 있어서, 강한 졸음을 느낀 저각성 상태인지의 여부 또는 앉아서 조는 상태인지의 여부를 판정하여, 강한 졸음을 느낀 저각성 상태 또는 앉아서 조는 상태인 경우(Yes)에는 단계 S416으로 이행하고, 그렇지 않은 경우(No)에는 단계 S400으로 이행한다.
단계 S416으로 이행한 경우는, 경고부(27)에 있어서, 경고 처리(3)를 실행하고 단계 S400으로 이행한다. 여기서, 경고 처리(3)를 실행하면, 차 내에 배치된 스피커로부터 매우 큰 음량(예컨대, 70% 이상의 볼륨)으로 경고음 및 경고 메시지가 출력된다.
상기 깜빡임 파형 데이터로서, 안전도(EOG) 파형 데이터를 이용했지만, 그 대신에, 눈의 동화상을 이용하는 경우에 대해 설명한다.
깜빡임 데이터 취득부(20)는, 자동차 내의 내측 미러에 설치된 CCD 카메라에 의해, 운전석에 앉아 있는 운전자의 얼굴 화상을 프레임 단위로 리얼 타임으로 촬영하도록 되어 있다.
또, 촬영한 얼굴 영상은 디지털의 얼굴 영상 데이터로서 출력한다. 또, CCD 카메라의 설치 위치는, 내측 미러에 한정되지 않고, 촬영 대상자의 얼굴 전체를 포함하는 화상이 촬영 가능한 위치이면, 스티어링·칼럼 위치, 센터·패널 위치, 프론트·필러 위치 등의 별도의 장소라도 좋다.
특징량 데이터 추출부(22)는, 깜빡임 데이터 취득부(20)에서 촬영된 운전자의 얼굴 영상 데이터로부터, SVM을 이용하여, 눈 부분의 영상 데이터를 추출하고, 상기 추출한 눈 부분의 영상 데이터로부터 특징량 데이터를 추출하도록 되어 있다.
상기한 예에서는 운전자의 얼굴 화상부터의 눈 부분의 영상 데이터의 추출에 SVM을 이용했지만, 그 외의 얼굴 기관 검출 알고리즘을 이용한 눈 부분의 추출을 행하여도 좋다.
그리고 특징량 데이터의 추출은, 구체적으로는, 이미 기술한 제1 실시형태와 마찬가지로, 우측 눈 부분의 영상 데이터를 구성하는 각 깜빡임 화상 데이터로부터, 안구를 중앙으로 가로 11 화소× 세로 30 화소의 추출 영역 화상을 추출하여, 상기 추출 영역 화상의 각 화소 라인(가로 11 화소)마다의 휘도의 합계치를 산출하고, 이 산출한 휘도 합계치 데이터(한 번의 깜빡임 영상분)를 특징량 데이터로 한다.
또, 특징량 데이터로서는, 그 외에도 눈 영역 화상을 주파수 변환한 주파수 스펙트럼 성분, 그 주파수 스펙트럼 성분의 전후 프레임과의 프레임간 차분 성분, 눈 영역 화상의 멜켑 스트럼(MFCC) 성분, 눈 영역 화상의 프레임내 모멘트 성분, 프레임간 모멘트 성분 등이나, 이들의 조합 등이 있다.
경고 장치(200)에 있어서, 특징량 데이터 추출부(22)는, 깜빡임 데이터 취득부(20)로부터 깜빡임 파형 데이터를 취득한다(단계 S200).
그리고, 상기 취득한 깜빡임 파형 데이터로부터, 상기 제1 실시형태의 패턴 모델 생성 장치(100)에 있어서의 제1 특징량 데이터 추출부(11)와 마찬가지로, 깜빡임 파형의 피크 높이(거리) x1, 깜빡임의 개시로부터 피크 높이까지의 상승 시간 x2, 피크 높이로부터 깜빡임의 종료까지의 하강 시간 x3의 3개의 특징 파라미터로부터 구한 제1 특징량 데이터를 특징량 데이터로서 추출한다(단계 S202).
특징량 데이터가 추출되면, 깜빡임 종류 식별부(23)는, 깜빡임 파형 패턴 모델 기억부(21)를 통해, 기억 장치(60)에 기억된 깜빡임 파형 패턴 모델을 취득하고, 상기 취득한 깜빡임 파형 패턴 모델에 제1 특징량 데이터를 입력하여, 깜빡임 파형 패턴 모델로부터 출력되는 각 깜빡임 종류(Class 1∼Class 12)에 대한 우도에 기초하여, 깜빡임 종류를 식별한다(단계 S204). 그리고, 식별 결과를, 특징량 데이터 생성부(24)에 출력한다.
특징량 데이터 생성부(24)는, 상기 식별 결과를 취득할 때마다(단계 S302의「Yes」의 분기), 상기 식별 결과를 RAM(52) 또는 기억 장치(60)의 소정 영역에 기억한다(단계 S304).
여기서, 전술한 바와 같이, 식별 결과는, 식별 시의 제1 특징량 데이터에 대응하는 깜빡임 파형 데이터의 취득 시각 정보와, 식별된 깜빡임의 종류 정보를 포함하는 정보이다.
그리고, 식별 결과의 시각 시간이 제2 특징량 데이터 갱신 시각(tupdate= nts)를 넘었는지의 여부를 판정한다(단계 S306).
식별 결과의 시각 시간이 제2 특징량 데이터 갱신 시각을 넘었다고 판정된 경우(단계 S306의 「Yes」의 분기)에는, 기억 영역에 기억된 각 깜빡임의 종류의 식별 결과의 생기 횟수에 기초해서, 각각의 생기 비율이나 생기 횟수를 구하여, 상기 생기 비율이나 상기 생기 횟수로 기억 영역을 덮어쓰기 한다(단계 S310).
전술한 바와 같이 하여 기억 영역에 기억된 각 깜빡임의 종류의 식별 결과의 생기 비율의 시간 변화나 생기 횟수의 시간 변화로부터, 제2 특징량 데이터를 생성한다(단계 S312).
또한, 제2 특징량 데이터를, RAM(52) 또는 기억 장치(60)의 소정 영역에 기억한다(단계 S314).
한편, 식별 결과의 시각 시간이 제2 특징량 데이터 갱신 시각을 넘지 않는다고 판정된 경우(단계 S306의「No」의 분기)에는, 특징량 데이터 생성부(24)에 있어서, 단계 S304에서 기억한 식별 결과를 이용하여 제2 특징량 데이터용의 기억 영역을 갱신한다(단계 S308).
각성 상태 판정부(26)는 특징량 데이터 생성부(24)로부터 제2 특징량 데이터를 취득하면(단계 S402의「Yes」의 분기), 제2 특징량 데이터와, 각성 상태 패턴 모델 기억부(25) 기억된 각성 상태 패턴 모델에 기초하여, 운전자의 각성 상태를 판정한다(단계 S404).
도면의 예의 경우는, 초반으로부터 잠시 동안은, 운전자가 약한 졸음을 느끼고 있다고 판정하고(단계 S406의 「Yes」의 분기), 경고부(27)에서 경고 처리(1)를 실행하여, 휴식을 재촉하는 음성 메시지를 출력한다(단계 S408).
또한, 도중에서 중반까지는 운전자가 졸음을 느끼고 있다고 판정하고(단계 S410의「Yes」의 분기), 경고부(27)에서 경고 처리(2)를 실행하여, 최대 음량의 50%의 음량으로 경고음을 출력한다(단계 S412).
또한, 중반에서 후반에 걸쳐서는, 운전자가 강한 졸음을 느끼고 있는 또는 앉아서 조는 상태라고 판정하고(단계 S414의「Yes」의 분기), 경고부(27)에서 경고 처리(3)를 실행하여, 최대 음량의 70% 이상의 음량으로 경고음을 출력한다(단계 S414).
전술에 있어서는, 깜빡임 파형 데이터로서, 안전도(EOG) 파형 데이터를 이용했지만, 그 대신에, 눈의 동화상을 이용하는 경우에 대해 다음에 설명한다.
특징량 데이터 추출부(22)에 있어서, 깜빡임 데이터 취득부(20)로부터 눈의 동화상을 취득한다(단계 S200). 또한, 특징량 데이터 추출부(22)는, SVM을 이용하여 취득한 눈의 동화상으로부터 우측 눈의 깜빡임 영상 데이터를 검출하여, 상기 검출한 깜빡임 영상 데이터로부터 특징량 데이터를 추출한다(단계 S202).
이 특징량 데이터의 추출은, 이미 기술한 제1 실시형태의 각성 상태 판정 모델 생성 장치(100)에 있어서의 제1 특징량 데이터 추출부(11)와 동일한 방법을 이용한다.
즉, 한 번의 깜빡임에 대응하는 깜빡임 영상 데이터를 구성하는 각 깜빡임 화상 데이터에 있어서의, 추출 영역 화상의 30 라인만큼의 각 라인마다의 휘도 합계치의 데이터가 특징량 데이터로서 추출된다.
또, 특징량 데이터로서는, 이밖에도, 눈 영역 화상을 주파수 변환한 주파수 스펙트럼 성분, 그 주파수 스펙트럼 성분의 전후 프레임과의 프레임간 차분 성분, 눈 영역 화상의 멜켑 스트럼(MFCC) 성분, 눈 영역 화상의 프레임내 모멘트 성분, 프레임간 모멘트 성분 등이나, 이들의 조합 등이 있다.
다음으로, 본 발명에 따른 효과를 확인하기 위해, 대상자의 각성 상태를 판정한 결과의 예를 도 19∼도 21에 도시한다.
도 19(a)는, 깜빡임 파형 데이터가 안전도(EOG) 파형 데이터이고, 1명의 특정 대상자(이하, 대상자 A라고 함)의 깜빡임 파형 패턴 모델과 각성 상태 패턴 모델을 이용한 경우에 있어서의, 깜빡임 종류 식별부(23)에서 식별된 대상자 A의 깜빡임 파형의 종류의 식별 결과에 기초하여 얻어진 일정 시간 구간 내의 각 깜빡임의 종류의 생기 빈도의 일례를 도시하는 도면이다.
또한, 도 19(b)는, 전술한 깜빡임 파형의 종류의 식별 결과로부터 특징량 데이터 생성부(24)가 생성한 제2 특징량 데이터와, 각성 상태 패턴 모델 기억부(25)에 기억된 각성 상태 패턴 모델에 기초하여, 각성 상태 판정부(26)가 대상자 A의 각성 상태를 판정한 결과를 도시한다.
또한, 도 20(a)은, 깜빡임 파형 데이터가 눈의 동화상이고, 도 19와 동일한 특정 대상자 A의 깜빡임 파형 패턴 모델과 각성 상태 패턴 모델을 이용한 경우 에 있어서의, 깜빡임 종류 식별부(23)에서 식별된 대상자 A의 깜빡임 파형의 종류의 식별 결과에 기초하여 얻어진 일정 시간 구간 내의 각 깜빡임의 종류의 생기 빈도의 일례를 도시하는 도면이다.
또한, 도 20(b)은, 전술한 깜빡임 파형의 종류의 식별 결과로부터 특징량 데이터 생성부(24)가 생성한 제2 특징량 데이터와, 각성 상태 패턴 모델 기억부(25)에 기억된 각성 상태 패턴 모델에 기초하여, 각성 상태 판정부(26)가 대상자 A의 각성 상태를 판정한 결과를 도시한다.
이들의 결과로부터, 깜빡임 파형 데이터로서 안전도(EOG) 파형 데이터를 이용한 경우도, 눈의 동화상을 이용한 경우도 모두, 도 19(b)와 도 20(b)에 나타내는 각성 상태 판정 결과가, 도 9에 있어서의 실험 시의 생체·생리 데이터로부터의 판단이나, 고찰이나 관찰 기록으로부터 추찰한 대상자 A의 각성 상태를 재현하고 있는 것을 알 수 있다.
또한, 각성 상태 판정 결과가, 도 9에 표시된 실험시의 생체·생리 데이터로부터의 판단이나, 고찰이나 관찰 기록으로부터 추찰한 각성 상태보다도 더욱 정밀한 대상자 A의 각성 상태의 천이를 판정하고 있어, 각성 상태 변화의 징후를 조속하게 잡을 수 있는 것을 나타내고 있다.
한편, 도 21(a)는 깜빡임 파형 데이터가 눈의 동화상에 따른 것으로, 불특정의 대상자의 깜빡임 파형 패턴 모델과 각성 상태 패턴 모델을 이용한 경우에 있어서의, 깜빡임 종류 식별부(23)에서 식별된 대상자 A의 깜빡임 파형의 종류의 식별 결과에 기초하여 얻어진 일정 시간 구간 내의 각 깜빡임의 종류의 생기 빈도의 일례를 도시하는 도면이다.
이 불특정한 대상자의 깜빡임 파형 패턴 모델을 각성 상태 판정 모델 생성 장치(100)가 생성하기 위해 이용한 학습 데이터는, 4명의 대상자(대상자 A, B, C, 및 D)의 깜빡임 파형 데이터(눈의 동화상)로부터 추출한 제1 특징량 데이터와, 이들 4명의 대상자의 깜빡임 파형 식별 정보 데이터이다.
또한, 도 21(d)는 전술한 깜빡임 파형의 종류의 식별 결과로부터 특징량 데이터 생성부(24)가 생성한 제2 특징량 데이터와, 각성 상태 패턴 모델 기억부(25)에 기억된 불특정한 대상자의 각성 상태 패턴 모델에 기초하여, 각성 상태 판정부(26)가 대상자 A의 각성 상태를 판정한 결과를 도시한다.
이 불특정의 대상자의 각성 상태 패턴 모델은, 4명의 대상자(대상자 A, B, C, 및 D)에 대한 학습 데이터를 이용하여, 각성 상태 판정 모델 생성 장치(100)를 생성한 것이다.
불특정 대상자용의 깜빡임 파형 패턴 모델과 각성 상태 패턴 모델을 이용한 경우도, 도 21(d)에 도시되는 각성 상태 판정 결과가, 실험 시의 생체·생리 데이터로부터의 판단이나, 고찰이나 관찰 기록으로부터 추찰한 대상자 A의 각성 상태를 도시한 도 21(b)을 재현하고 있는 것을 알 수 있다.
따라서, 깜빡임 파형 패턴 모델과 각성 상태 패턴 모델에 불특정 대상자용 모델을 이용함으로써, 미리 대상자마다 대응한 전용 모델을 준비할 필요없이 각성 상태의 천이를 판정하는 것이 가능하다.
전술한 예에 있어서는, 깜빡임 파형 패턴 모델과 각성 상태 패턴 모델의 양쪽의 모델에 함께 특정 대상자 모델, 혹은 불특정 대상자 모델을 이용했지만, 한쪽 의 모델에 특정 대상자 모델을 이용하고, 다른 한 쪽의 모델에 불특정 대상자 모델을 이용하는 조합도 가능하다.
또한, 본 발명에 따른 대상자의 각성 상태의 판정 결과를 특허 문헌 1의 종래 기술과 비교한 경우의 예를 도 21(c), 도 21(d), 도 22에 도시한다. 비교의 대상으로 삼은 종래 기술로서는, 복수의 특정 종류의 깜빡임 파형 패턴의 발생 빈도에 대해 소정의 임계치 지표를 설치하여 대상자의 각성 상태를 판정한다.
도 21(c)는, 종래 기술을 이용하여 대상자 A의 각성 상태를 판정한 예를 도시한다. 대상자 A의 깜빡임 파형 데이터는 눈의 동화상이다. 또한, 깜빡임 파형 패턴 모델로서, 전술한 불특정의 대상자의 깜빡임 파형 패턴 모델을 이용했다.
각성 상태의 판정은, 일정 시간 구간 내의 각 깜빡임의 종류의 생기 빈도에 대해 소정의 임계치 지표를 설치함으로써 행해졌다.
구체적으로는, 실험 시의 생체·생리 데이터로부터의 판단이나, 고찰이나 관찰 기록으로부터 추찰한 대상자 A의 각성 상태인 도 21(b)에 가장 잘 일치하도록 임계치 지표를 정했다.
그 결과, 도 21(c)는 본 발명에 따른 대상자 A의 각성 상태의 판정 결과인 도 21(d)와 비교하면 약간의 차이는 있지만, 유사한 결과를 나타낸다.
도 22(a)는, 깜빡임 파형 데이터가 눈의 동화상이고, 불특정의 대상자의 깜빡임 파형 패턴 모델과 각성 상태 패턴 모델을 이용한 경우에 있어서의, 깜빡임 종류 식별부(23)에서 식별된 대상자 B의 깜빡임 파형의 종류의 식별 결과에 기초하여 얻어진 일정 시간 구간 내의 각 깜빡임의 종류의 생기 빈도의 일례를 도시하는 도 면이다.
도 22(b)는, 실험 시의 생체·생리 데이터로부터의 판단이나, 고찰이나 관찰 기록으로부터 추찰한 대상자 B의 각성 상태를 나타낸다.
도 22(c)는, 종래 기술을 이용하여, 대상자 A에 이용한 임계치 지표를 이용하여 대상자 B의 각성 상태를 판정한 예를 도시한다.
도 22(d)는, 본 발명에 따른 대상자 B의 각성 상태를 판정한 예를 도시한다.
종래 기술에서는, 각성 상태 정보 데이터에서의 고각성 상태 구간과 저각성 상태 구간의 양쪽에서 각각 저각성 상태와 고각성 상태라고 오판정하고 있는 경우가 있는 데다, 졸음 대항 상태 구간에서는 졸음 대항 상태의 판정에 실패하고 있다.
즉, 특정한 대상자에게 이용한 임계치 지표를 다른 대상자에게 이용할 수 없는 것을 나타내고 있다.
한편, 본 발명에서는 각성 상태 정보 데이터에서의 고각성 상태 구간에서 극히 단시간만 졸음 대항 상태라고 오판정하고, 저각성 상태 구간에서 극히 단시간만 고각성 상태라고 오판정하고 있다.
또한, 졸음 대항 상태 구간의 후반에서는 졸음 대항 상태라고 판정하고 있다. 이와 같이, 본 발명에 따른 각성 상태의 판정 결과는, 종래 기술과 비교하여, 각성 상태 정보 데이터에 보다 가깝다. 즉, 불특정 대상자용 모델을 이용한 판정이 가능한 것을 나타내고 있다.
또한, HMM로 대표되는 통계적인 패턴 모델을 이용한 식별의 응용으로서는 음 성 인식이 알려져 있지만, 본 발명의 각성 상태 판정과 음성 인식에서는 대상으로 삼는 특징량이 본질적으로 상이하다.
구체적으로는, 일반적으로 음성 인식의 인식 대상은 인간의 발화하는 음소 이고, 음소간의 특징량으로서의 차는, 발화자나 발화 상황의 차이에 의해 동일한 음소라도 분포에 넓어짐을 갖지만, 음소마다의 특징량은 이산적인 것이다.
이에 비해, 깜빡임 데이터는 생리·생체 데이터이기 때문에, 인식의 대상이 되는 깜빡임 파형의 변화는, 대상자의 각성 상태의 변화에 따라 어떤 종류로부터 별도의 종류로 연속적으로 변화되는 것으로, 깜빡임 종류 사이의 차는 본질적으로 연속적인 것이다.
양자의 인식 대상인 특징량에는, 이러한 본질적인 차가 있고, 본 발명에 따른 각성 상태 판정은, 대상자의 각성 상태에 따라 연속적으로 어느 종류로부터 별도의 종류로 변화를 하는 깜빡임 파형을 대상으로 삼아, 일정 시간 구간 내의 각 깜빡임 파형의 종류의 생기 빈도를 패턴 모델을 이용하여 식별하는 점에서, 음성 인식의 패턴 인식과는 본질적으로 상이하다.
상기 제2 실시형태에 있어서, 깜빡임 데이터 취득부(20)는 청구항 6에 기재한 깜빡임 데이터 취득 수단에 대응하고, 깜빡임 파형 패턴 모델 기억부(21)에 기억된 깜빡임 파형 패턴 모델은 청구항 6에 기재한 제1 패턴 모델에 대응하며, 특징량 데이터 추출부(22)는 청구항 6에 기재한 제1 특징량 데이터 추출 수단에 대응하고, 깜빡임 종류 식별부(23)는 청구항 6에 기재한 깜빡임 파형 식별 수단에 대응하며, 특징량 데이터 생성부(24)는 청구항 6에 기재한 제2 특징량 데이터 생성 수단 에 대응하고, 각성 상태 패턴 모델 기억부(25)에 기억된 각성 상태 패턴 모델은 청구항 6에 기재한 제2 패턴 모델에 대응하며, 각성 상태 판정부(26)는 청구항 6에 기재한 각성 상태 판정 수단에 대응하고, 경고부(27)는 청구항 10에 기재한 경고 수단에 대응한다.
또한, 상기 제2 실시형태에 있어서, 단계 S200은 청구항 15 또는 청구항 20에 기재한 깜빡임 데이터 취득 단계에 대응하고, 단계 S202는 청구항 15 또는 청구항 20에 기재한 제1 특징량 데이터 추출 단계에 대응하며, 단계 S204는 청구항 15 또는 청구항 20에 기재한 깜빡임 파형 식별 단계에 대응하고, 단계 S300∼S314는 청구항 15 또는 청구항 20에 기재한 제2 특징량 데이터 생성 단계에 대응하며, 단계 S400∼S404는 청구항 15 또는 청구항 20에 기재한 각성 상태 판정 단계에 대응하다.
또, 상기 제1 실시형태에 있어서는, 패턴 모델을 HMM으로 구성하는 예를 설명했지만, 여기에 한정되지 않고, SVM이나 뉴럴 네트워크(neural network) 등의 다른 통계 모델로부터 구성하도록 하여도 좋다.
또한, 상기 제1 및 제2 실시형태에 있어서는, 눈의 동화상으로부터 추출한 추출 부분 화상의 라인마다 휘도 합계를 제1 특징량 데이터로서 추출하도록 했지만, 여기에 한정되지 않고, 깜빡임 화상 데이터를 푸리에 변환하여 그 주파수 스펙트럼 성분을 특징량으로서 추출하는 등, 다른 특징량을 추출하도록 하여도 좋다.
또한, 상기 제2 실시형태에 있어서는, 제2 특징량 데이터에 기초하여 대상자(운전자)의 각성 상태를 판정하도록 했지만, 여기에 한정되지 않고, 제2 특징량 데이터에 기초하여 대상자의 긴장 상태나 피로 상태 등, 대상자의 다른 상태를 판정하도록 하여도 좋다.
또한, 상기 제1 및 제2 실시형태에 있어서, 제2 특징량 데이터는 분석 구간의 계열에 있어서의 특정 종류의 깜빡임 파형마다의 생기 비율이나 생기 횟수의 시간적 변화로만 구성되어 있었지만, 분석 구간의 계열에 있어서의 깜빡임 횟수의 시간적 변화 혹은 눈 감는 시간의 누적치의 시간적 변화 등의 각성 상태와 관련성이 있는 특징량을, 더 부가하여도 좋다.
본 발명은, 각성 상태의 판정에 유효하다고 되어 있는, 특정 종류의 깜빡임의 생기 빈도, 특정 종류의 깜빡임의 군발 등의 소정 시간 내에 있어서의 특정 종류의 깜빡임의 생기 빈도의 변화에 부가하여, 분석 구간의 계열에 있어서의 각 특정 종류의 깜빡임의 생기 비율에 관련된 데이터에 기초하여, 고정밀도의 각성 상태의 판정을 행하는 것이 가능하다.
이 때문에, 완전히 앉아서 조는 상태가 되기 전의 앉아서 조는 상태로 이행 중인 드라이버의 각성 수준(상태)나 졸음에 대항하고 있는 각성 수준(상태) 등을 판정할 수 있다.
따라서, 잠에 빠질 것 같은 상태의 대상자에 대해, 경고음이나 빛의 점멸 등에 의한 경고를 부여함으로써, 미연에 사고를 막는다고 하는 기술분야에 적합하다.
또한, 동일하게 특정 종류의 깜빡임의 생기 빈도 정보에 관련된 데이터에 기초하여, 드라이버의 긴장 상태나 피로 상태 등을 판정하여, 드라이버의 운전 지원 을 행하는 것도 가능하다.

Claims (23)

  1. 삭제
  2. 삭제
  3. 대상자의 각성 상태를 판정하는 통계 모델을 생성하는 각성 상태 판정 모델 생성 장치로서,
    각 대상자의 깜빡임 시의 적어도 한쪽 눈의 깜빡임 데이터로부터 추출된 제1 특징량 데이터와, 상기 깜빡임 데이터의 각 깜빡임에 대해 특정 종류의 깜빡임 파형을 나타내는 깜빡임 파형 식별 정보를 부여한 깜빡임 파형 식별 정보 데이터를 기억하는 학습 데이터 기억 수단과,
    상기 학습 데이터 기억 수단에 기억된 상기 제1 특징량 데이터와, 상기 깜빡임 파형 식별 정보 데이터를 학습 데이터로 하여 통계 모델을 학습시켜, 상기 제1 특징량 데이터를 입력으로 하고, 상기 제1 특징량 데이터에 대한 깜빡임 파형 식별 정보에 대한 우도(尤度, likelihood)를 출력으로 하는 제1 패턴 모델을 생성하는 깜빡임 파형 패턴 모델 생성 수단과,
    상기 학습 데이터 기억 수단에 기억된 상기 깜빡임 파형 식별 정보 데이터에 기초하여, 분석 구간에 있어서의 상기 특정 종류의 깜빡임 파형마다의 생기(生起) 비율에 관련된 데이터를 포함하는 제2 특징량 데이터를 생성하는 특징량 데이터 생성 수단과,
    상기 특징량 데이터 생성 수단에 의해 생성된 상기 제2 특징량 데이터와, 상기 분석 구간의 계열마다에 상기 각 대상자의 각성 상태를 나타내는 각성 상태 정보를 부여한 각성 상태 정보 데이터를 학습 데이터로 하여 통계 모델을 학습시켜, 상기 제2 특징량 데이터를 입력으로 하고, 상기 제2 특징량 데이터에 대한 각성 상태 정보에 대한 우도를 출력으로 하는 제2 패턴 모델을 생성하는 각성 상태 패턴 모델 생성 수단
    을 포함하는 것을 특징으로 하는 각성 상태 판정 모델 생성 장치.
  4. 제3항에 있어서,
    상기 깜빡임 데이터는, 안전도(EOG, electro-oculogram) 파형의 데이터 또는 눈의 동화상인 것을 특징으로 하는 각성 상태 판정 모델 생성 장치.
  5. 제3항 또는 제4항에 있어서,
    상기 생기 비율에 관련된 데이터는, 생기 비율의 시간 변화 또는 생기 횟수의 시간 변화인 것을 특징으로 하는 각성 상태 판정 모델 생성 장치.
  6. 제3항 또는 제4항에 있어서,
    상기 통계 모델은 HMM(Hidden Markov Model)인 것을 특징으로 하는 각성 상태 판정 모델 생성 장치.
  7. 제3항 또는 제4항에 있어서,
    상기 각 대상자의 깜빡임 시의 적어도 한쪽 눈의 상기 깜빡임 데이터를 기억하는 깜빡임 데이터 기억 수단과,
    상기 깜빡임 데이터 기억 수단으로부터 취득한 깜빡임 데이터로부터, 상기 제1 특징량 데이터를 추출하는 특징량 데이터 추출 수단과,
    상기 깜빡임 파형 패턴 모델 생성 수단에 의해 생성된 제1 패턴 모델을 기억하는 제1 패턴 모델 기억 수단과,
    상기 특징량 데이터 생성 수단에 의해 생성한 상기 제2 특징량 데이터를 기억하는 제2 특징량 데이터 기억 수단과,
    상기 각성 상태 패턴 모델 생성 수단에 의해 생성한 제2 패턴 모델을 기억하는 제2 패턴 모델 기억 수단
    을 더 포함하는 것을 특징으로 하는 각성 상태 판정 모델 생성 장치.
  8. 대상자의 각성 상태를 판정하는 각성 상태 판정 장치로서,
    상기 대상자의 깜빡임 시의 적어도 한쪽 눈의 깜빡임 데이터를 취득하는 깜빡임 데이터 취득 수단과,
    제3항 또는 제4항에 기재한 각성 상태 판정 모델 생성 장치에 의해 생성된 제1 패턴 모델과,
    상기 깜빡임 데이터 취득 수단에 의해 취득한 깜빡임 데이터로부터, 상기 제1 패턴 모델에 대응하는 제1 특징량 데이터를 추출하는 제1 특징량 데이터 추출 수단과,
    상기 제1 특징량 데이터 추출 수단에 의해 추출한 제1 특징량 데이터와, 상기 제1 패턴 모델에 기초하여, 상기 제1 특징량 데이터에 대응한 특정 종류의 깜빡임 파형을 식별하는 깜빡임 파형 식별 수단과,
    분석 구간의 계열에 있어서 취득된 상기 대상자의 깜빡임 데이터에 대한 상기 깜빡임 파형 식별 수단의 식별 결과에 기초하여, 상기 특정 종류의 깜빡임 파형마다의 생기 비율에 관련된 데이터를 포함하는 제2 특징량 데이터를 생성하는 제2 특징량 데이터 생성 수단과,
    제3항 또는 제4항에 기재한 각성 상태 판정 모델 생성 장치에 의해 생성된 제2 패턴 모델과,
    상기 제2 특징량 데이터 생성 수단에 의해 생성한 제2 특징량 데이터와, 상기 제2 패턴 모델에 기초하여, 상기 대상자의 각성 상태를 판정하는 각성 상태 판정 수단
    을 포함하는 것을 특징으로 하는 각성 상태 판정 장치.
  9. 제8항에 있어서,
    상기 깜빡임 데이터는, 안전도(EOG) 파형의 데이터 또는 눈의 동화상인 것을 특징으로 하는 각성 상태 판정 장치.
  10. 제8항에 있어서,
    상기 생기 비율에 관련된 데이터는, 생기 비율의 시간 변화 또는 생기 횟수의 시간 변화인 것을 특징으로 하는 각성 상태 판정 장치.
  11. 제8항에 있어서,
    상기 제1 패턴 모델과 상기 제2 패턴 모델은 HMM(Hidden Markov Model)인 것을 특징으로 하는 각성 상태 판정 장치.
  12. 제8항에 기재한 각성 상태 판정 장치와,
    상기 각성 상태 판정 장치에 있어서의 상기 각성 상태의 판정 결과에 기초하여, 상기 대상자에게 경고를 부여하는 경고 수단
    을 포함하는 것을 특징으로 하는 경고 장치.
  13. 제12항에 기재한 경고 장치를 포함하는 것을 특징으로 하는 차량.
  14. 대상자의 각성 상태를 판정하는 통계 모델을 생성하는 각성 상태 판정 모델 생성 방법으로서,
    각 대상자의 깜빡임 시의 적어도 한쪽 눈의 깜빡임 데이터로부터 추출된 제1 특징량 데이터와, 상기 깜빡임 데이터의 각 깜빡임에 대해 특정 종류의 깜빡임 파형을 나타내는 깜빡임 파형 식별 정보를 부여한 깜빡임 파형 식별 정보 데이터를 기억하는 학습 데이터 기억 단계와,
    상기 학습 데이터 기억 단계에 기억된 상기 제1 특징량 데이터와, 상기 깜빡임 파형 식별 정보 데이터를 학습 데이터로 하여 통계 모델을 학습시켜, 상기 제1 특징량 데이터를 입력으로 하고, 상기 제1 특징량 데이터에 대한 깜빡임 파형 식별 정보에 대한 우도를 출력으로 하는 제1 패턴 모델을 생성하는 깜빡임 파형 패턴 모델 생성 단계와,
    상기 학습 데이터 기억 단계에 기억된 상기 깜빡임 파형 식별 정보 데이터에 기초하여, 분석 구간에 있어서의 상기 특정 종류의 깜빡임 파형마다의 생기 비율에 관련된 데이터를 포함하는 제2 특징량 데이터를 생성하는 특징량 데이터 생성 단계 와,
    상기 특징량 데이터 생성 단계에서 생성된 상기 제2 특징량 데이터와, 상기 분석 구간의 계열마다에 상기 각 대상자의 각성 상태를 나타내는 각성 상태 정보를 부여한 각성 상태 정보 데이터를 학습 데이터로 하여 통계 모델을 학습시켜, 상기 제2 특징량 데이터를 입력으로 하고, 상기 제2 특징량 데이터에 대한 각성 상태 정보에 대한 우도를 출력으로 하는 제2 패턴 모델을 생성하는 각성 상태 패턴 모델 생성 단계
    를 포함하는 것을 특징으로 하는 각성 상태 판정 모델 생성 방법.
  15. 제14항에 있어서,
    상기 생기 비율에 관련된 데이터는, 생기 비율의 시간 변화 또는 생기 횟수의 시간 변화인 것을 특징으로 하는 각성 상태 판정 모델 생성 방법.
  16. 제14항 또는 제15항에 있어서,
    상기 각 대상자의 깜빡임 시의 적어도 한쪽 눈의 상기 깜빡임 데이터를 깜빡임 데이터 기억 수단에 기억하는 깜빡임 데이터 기억 단계와,
    상기 깜빡임 데이터 기억 수단에 기억된 깜빡임 데이터로부터, 상기 제1 특징량 데이터를 추출하는 특징량 데이터 추출 단계와,
    상기 깜빡임 파형 패턴 모델 생성 단계에서 생성된 제1 패턴 모델을 기억하는 제1 패턴 모델 기억 단계와,
    상기 특징량 데이터 생성 단계에서 생성한 상기 제2 특징량 데이터를 기억하는 제2 특징량 데이터 기억 단계와,
    상기 각성 상태 패턴 모델 생성 단계에서 생성한 제2 패턴 모델을 기억하는 제2 패턴 모델 기억 단계
    를 더 포함하는 것을 특징으로 하는 각성 상태 판정 모델 생성 방법.
  17. 대상자의 각성 상태를 판정하는 각성 상태 판정 방법으로서,
    상기 대상자의 깜빡임 시의 적어도 한쪽 눈의 깜빡임 데이터를 취득하는 깜빡임 데이터 취득 단계와,
    상기 깜빡임 데이터 취득 단계에서 취득한 깜빡임 데이터로부터, 제14항 또는 제15항에 기재한 각성 상태 판정 모델 생성 방법에 의해 생성된 제1 패턴 모델에 대응하는 제1 특징량 데이터를 추출하는 제1 특징량 데이터 추출 단계와,
    상기 제1 특징량 데이터 추출 단계에서 추출한 제1 특징량 데이터와, 상기 제1 패턴 모델에 기초하여, 상기 제1 특징량 데이터에 대응한 특정 종류의 깜빡임 파형을 식별하는 깜빡임 파형 식별 단계와,
    분석 구간의 계열에 있어서 취득된 상기 대상자의 깜빡임 데이터에 대한 상기 깜빡임 파형 식별 단계의 식별 결과에 기초하여, 상기 특정 종류의 깜빡임 파형마다의 생기 비율에 관련된 데이터를 포함하는 제2 특징량 데이터를 생성하는 제2 특징량 데이터 생성 단계와,
    상기 제2 특징량 데이터 생성 단계에서 생성한 제2 특징량 데이터와, 제14항 또는 제15항에 기재한 각성 상태 판정 모델 생성 방법에 의해 생성된 제2 패턴 모델에 기초하여, 상기 대상자의 각성 상태를 판정하는 각성 상태 판정 단계
    를 포함하는 것을 특징으로 하는 각성 상태 판정 방법.
  18. 제17항에 있어서,
    상기 생기 비율에 관련된 데이터는, 생기 비율의 시간 변화 또는 생기 횟수의 시간 변화인 것을 특징으로 하는 각성 상태 판정 방법.
  19. 대상자의 각성 상태를 판정하는 통계 모델을 생성하는 각성 상태 판정 모델 생성 프로그램을 기록한 컴퓨터 판독 가능 기록매체로서,
    컴퓨터를,
    각 대상자의 깜빡임 시의 적어도 한쪽 눈의 깜빡임 데이터로부터 추출된 제1 특징량 데이터와, 상기 깜빡임 데이터의 각 깜빡임에 대해 특정 종류의 깜빡임 파형을 나타내는 깜빡임 파형 식별 정보를 부여한 깜빡임 파형 식별 정보 데이터를 기억하는 학습 데이터 기억 수단,
    상기 학습 데이터 기억 수단에 기억된 상기 제1 특징량 데이터와, 상기 깜빡임 파형 식별 정보 데이터를 학습 데이터로 하여 통계 모델을 학습시켜, 상기 제1 특징량 데이터를 입력으로 하고, 상기 제1 특징량 데이터에 대한 깜빡임 파형 식별 정보에 대한 우도를 출력으로 하는 제1 패턴 모델을 생성하는 깜빡임 파형 패턴 모델 생성 수단,
    상기 학습 데이터 기억 수단에 기억된 상기 깜빡임 파형 식별 정보 데이터에 기초하여, 분석 구간에서의 상기 특정 종류의 깜빡임 파형마다의 생기 비율에 관련된 데이터를 포함하는 제2 특징량 데이터를 생성하는 특징량 데이터 생성 수단, 및
    상기 특징량 데이터 생성 수단에서 생성된 상기 제2 특징량 데이터와, 상기 분석 구간의 계열마다에 상기 각 대상자의 각성 상태를 나타내는 각성 상태 정보를 부여하는 각성 상태 정보 데이터를 학습 데이터로 하여 통계 모델을 학습시켜, 상기 제2 특징량 데이터를 입력으로 하고, 상기 제2 특징량 데이터에 대한 각성 상태 정보에 대한 우도를 출력으로 하는 제2 패턴 모델을 생성하는 각성 상태 패턴 모델 생성 수단
    으로서 기능시키는 것을 특징으로 하는 각성 상태 판정 모델 생성 프로그램을 기록한 컴퓨터 판독 가능 기록매체.
  20. 제19항에 있어서,
    상기 생기 비율에 관련된 데이터는, 생기 비율의 시간 변화 또는 생기 횟수의 시간 변화인 것을 특징으로 하는 각성 상태 판정 모델 생성 프로그램을 기록한 컴퓨터 판독 가능 기록매체.
  21. 제19항 또는 제20항에 있어서,
    상기 각성 상태 판정 모델 생성 프로그램은,
    컴퓨터를,
    상기 각 대상자의 깜빡임 시의 적어도 한쪽 눈의 상기 깜빡임 데이터를 기억하는 깜빡임 데이터 기억 수단,
    상기 깜빡임 데이터 기억 수단에 기억된 깜빡임 데이터로부터, 상기 제1 특징량 데이터를 추출하는 특징량 데이터 추출 수단,
    상기 깜빡임 파형 패턴 모델 생성 수단에서 생성된 제1 패턴 모델을 기억하는 제1 패턴 모델 기억 수단,
    상기 특징량 데이터 생성 수단에서 생성한 상기 제2 특징량 데이터를 기억하는 제2 특징량 데이터 기억 수단, 및
    상기 각성 상태 패턴 모델 생성 수단에서 생성한 제2 패턴 모델을 기억하는 제2 패턴 모델 기억 수단
    으로서 더 기능시키는 것을 특징으로 하는 각성 상태 판정 모델 생성 프로그램을 기록한 컴퓨터 판독 가능 기록매체.
  22. 대상자의 각성 상태를 판정하는 각성 상태 판정 프로그램을 기록한 컴퓨터 판독 가능 기록매체로서,
    컴퓨터를,
    상기 대상자의 깜빡임 시의 적어도 한쪽 눈의 깜빡임 데이터를 취득하는 깜빡임 데이터 취득 수단,
    상기 깜빡임 데이터 취득 수단에서 취득한 깜빡임 데이터로부터, 제19항 또는 제20항에 기재한 각성 상태 판정 모델 생성 프로그램에 의해 생성된 제1 패턴 모델에 대응하는 제1 특징량 데이터를 추출하는 제1 특징량 데이터 추출 수단,
    상기 제1 특징량 데이터 추출 수단에서 추출한 제1 특징량 데이터와, 상기 제1 패턴 모델에 기초하여, 상기 제1 특징량 데이터에 대응한 특정 종류의 깜빡임 파형을 식별하는 깜빡임 파형 식별 수단,
    분석 구간의 계열에 있어서 취득된 상기 대상자의 깜빡임 데이터에 대한 상기 깜빡임 파형 식별 수단의 식별 결과에 기초하여, 상기 특정 종류의 깜빡임 파형마다의 생기 비율에 관련된 데이터를 포함하는 제2 특징량 데이터를 생성하는 제2 특징량 데이터 생성 수단, 및
    상기 제2 특징량 데이터 생성 수단에서 생성한 제2 특징량 데이터와, 제19항 또는 제20항에 기재한 각성 상태 판정 모델 생성 프로그램에 의해 생성되는 제2 패턴 모델에 기초하여, 상기 대상자의 각성 상태를 판정하는 각성 상태 판정 수단
    으로서 기능시키는 것을 특징으로 하는 각성 상태 판정 프로그램을 기록한 컴퓨터 판독 가능 기록매체.
  23. 제22항에 있어서,
    상기 생기 비율에 관련된 데이터는, 생기 비율의 시간 변화 또는 생기 횟수의 시간 변화인 것을 특징으로 하는 각성 상태 판정 프로그램을 기록한 컴퓨터 판독 가능 기록매체.
KR1020097014860A 2007-01-19 2008-01-21 각성 상태 판정 모델 생성 장치, 각성 상태 판정 장치, 경고 장치, 차량, 각성 상태 판정 모델 생성 방법, 각성 상태 판정 방법, 각성 상태 판정 모델 생성 프로그램을 기록한 컴퓨터 판독 가능 기록매체, 및 각성 상태 판정 프로그램을 기록한 컴퓨터 판독 가능 기록매체 Expired - Fee Related KR101078466B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2007-009729 2007-01-19
JP2007009729 2007-01-19

Publications (2)

Publication Number Publication Date
KR20090091335A KR20090091335A (ko) 2009-08-27
KR101078466B1 true KR101078466B1 (ko) 2011-10-31

Family

ID=39636066

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097014860A Expired - Fee Related KR101078466B1 (ko) 2007-01-19 2008-01-21 각성 상태 판정 모델 생성 장치, 각성 상태 판정 장치, 경고 장치, 차량, 각성 상태 판정 모델 생성 방법, 각성 상태 판정 방법, 각성 상태 판정 모델 생성 프로그램을 기록한 컴퓨터 판독 가능 기록매체, 및 각성 상태 판정 프로그램을 기록한 컴퓨터 판독 가능 기록매체

Country Status (6)

Country Link
US (1) US8400313B2 (ko)
EP (2) EP2111796B1 (ko)
JP (1) JP4805358B2 (ko)
KR (1) KR101078466B1 (ko)
CN (1) CN101583313B (ko)
WO (1) WO2008088070A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101776717B1 (ko) 2011-12-01 2017-09-08 현대자동차 주식회사 자동차의 디스플레이를 이용한 시력검사 시스템 및 방법
KR20190120561A (ko) 2018-04-16 2019-10-24 (주) 이즈테크놀로지 운전자 상태 모니터링 기반 운전자와 상호 작용을 통한 운전자 졸음 예방 방법 및 시스템
WO2024053751A1 (ko) 2022-09-06 2024-03-14 엘지전자 주식회사 차량의 운전자 모니터링 장치 및 그것의 동작방법
WO2024053752A1 (ko) 2022-09-06 2024-03-14 엘지전자 주식회사 차량의 운전자 모니터링 장치 및 그것의 동작방법

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5270415B2 (ja) * 2009-03-19 2013-08-21 トヨタ自動車株式会社 眠気判定装置及びプログラム
JP5642945B2 (ja) * 2009-05-29 2014-12-17 浜松ホトニクス株式会社 瞬目計測装置
JP5516192B2 (ja) * 2010-07-28 2014-06-11 富士通株式会社 モデル作成装置、モデル作成プログラムおよびモデル作成方法
US9043042B2 (en) * 2011-07-19 2015-05-26 GM Global Technology Operations LLC Method to map gaze position to information display in vehicle
JP2013043044A (ja) * 2011-08-26 2013-03-04 Canon Inc 瞬目計測装置、方法、及びプログラム
JP2013215549A (ja) * 2012-03-16 2013-10-24 Fujitsu Ltd 画像処理装置、画像処理プログラムおよび画像処理方法
EP2885150B1 (en) 2012-08-20 2019-01-02 Veoneer Sweden AB Eyelid movement processing for detection of drowsiness
JP5888205B2 (ja) * 2012-11-02 2016-03-16 ソニー株式会社 画像表示装置並びに情報入力装置
KR102181927B1 (ko) * 2012-12-11 2020-11-24 아미 클린 교감 및 지각된 자극 현저성의 표지로서 깜박임 억제를 검출하기 위한 시스템들 및 방법들
JP6118097B2 (ja) * 2012-12-14 2017-04-19 株式会社デルタツーリング 運転時生体状態判定装置及びコンピュータプログラム
US8930269B2 (en) 2012-12-17 2015-01-06 State Farm Mutual Automobile Insurance Company System and method to adjust insurance rate based on real-time data about potential vehicle operator impairment
US8981942B2 (en) * 2012-12-17 2015-03-17 State Farm Mutual Automobile Insurance Company System and method to monitor and reduce vehicle operator impairment
KR101519217B1 (ko) 2013-09-13 2015-05-11 현대자동차주식회사 부주의 운전 판정 장치 및 그 방법
CN104464192B (zh) * 2013-09-18 2017-02-08 武汉理工大学 机动车驾驶人不稳定性驾驶状态检测预警装置与方法
DE102013224026A1 (de) * 2013-11-25 2015-05-28 Robert Bosch Gmbh Verfahren zur Bewertung des Fahrerverhaltens in einem Fahrzeug
DE102014220759B4 (de) * 2014-10-14 2019-06-19 Audi Ag Überwachung eines Aufmerksamkeitsgrads eines Fahrers eines Fahrzeugs
US11039784B2 (en) * 2014-12-05 2021-06-22 Agency For Science, Technology And Research Sleep profiling system with feature generation and auto-mapping
US20170042461A1 (en) * 2015-07-16 2017-02-16 Battelle Memorial Institute Techniques to evaluate and enhance cognitive performance
DE102015225109A1 (de) * 2015-12-14 2017-06-14 Robert Bosch Gmbh Verfahren und Vorrichtung zum Klassieren von Augenöffnungsdaten zumindest eines Auges eines Insassen eines Fahrzeugs und Verfahren und Vorrichtung zum Erfassen einer Schläfrigkeit und/oder eines Sekundenschlafes eines Insassen eines Fahrzeugs
CN106974658B (zh) * 2016-01-15 2021-03-02 松下知识产权经营株式会社 信息终端装置的控制方法以及体动测定装置
CN105997094B (zh) * 2016-05-09 2019-03-29 北京科技大学 一种姿态识别装置及方法
CN106446830B (zh) * 2016-09-21 2019-06-11 广州视源电子科技股份有限公司 智能辅助睡眠中的催眠状态识别方法和系统
CN106344008B (zh) * 2016-09-21 2019-05-07 广州视源电子科技股份有限公司 睡眠状态分析中清醒状态检测方法和系统
CN106175754B (zh) * 2016-09-21 2019-04-09 广州视源电子科技股份有限公司 睡眠状态分析中清醒状态检测装置
JP6535694B2 (ja) 2017-02-22 2019-06-26 株式会社ジンズ 情報処理方法、情報処理装置及びプログラム
KR102287315B1 (ko) * 2017-04-14 2021-08-09 현대자동차주식회사 피로도 기반 차량 제어 장치 및 방법
TWI647666B (zh) * 2017-08-28 2019-01-11 緯創資通股份有限公司 瞌睡偵測裝置及其瞌睡偵測方法
CN108245171B (zh) * 2017-12-28 2020-12-25 东软集团股份有限公司 获取参数模型的方法、疲劳检测方法及装置、介质及设备
CN109191791B (zh) * 2018-10-30 2021-02-09 罗普特科技集团股份有限公司 一种融合多特征的疲劳检测方法以及装置
US11235776B2 (en) * 2019-01-31 2022-02-01 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for controlling a vehicle based on driver engagement
JP7334415B2 (ja) * 2019-02-01 2023-08-29 オムロン株式会社 画像処理装置
CN111724651B (zh) * 2019-03-19 2023-04-21 中国人民解放军第四军医大学 一种飞行员错觉训练系统及方法
CN109907753B (zh) * 2019-04-23 2022-07-26 杭州电子科技大学 一种多维度ecg信号智能诊断系统
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
CN110807351A (zh) * 2019-08-28 2020-02-18 杭州勒格网络科技有限公司 一种基于人脸识别的智能化车载疲劳检测系统、方法及装置
US11033214B1 (en) * 2020-05-19 2021-06-15 United Arab Emirates University Wearable eye tracking system
WO2022016341A1 (zh) * 2020-07-20 2022-01-27 华为技术有限公司 一种信号处理方法及装置
CN115067944B (zh) * 2022-08-22 2022-11-11 深圳市心流科技有限公司 一种眼动状态评估方法、装置、终端设备及存储介质
KR102706297B1 (ko) * 2022-08-23 2024-09-12 주식회사 한글과컴퓨터 문서 작성 중인 사용자의 눈 피로도를 낮추기 위한 전자 단말 장치 및 그 동작 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1156801A (ja) * 1997-08-22 1999-03-02 Mitsuaki Yamamoto 携帯型プログラマブル生体情報長期計測・記憶システム
JPH11137530A (ja) * 1997-11-14 1999-05-25 Nec Corp 特徴脳電磁波検出装置
JP2003331270A (ja) * 2002-05-09 2003-11-21 Sony Corp 生体パターン検出方法及び生体パターン検出装置、生体認証方法及び生体認証装置

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59153627A (ja) * 1983-02-18 1984-09-01 Nissan Motor Co Ltd 居眠り運転警報装置
JPS60592A (ja) * 1983-06-15 1985-01-05 三菱電機株式会社 いねむり防止装置
JP3369201B2 (ja) * 1991-10-02 2003-01-20 マツダ株式会社 覚醒度維持装置
JP3127760B2 (ja) * 1995-02-20 2001-01-29 株式会社豊田中央研究所 運転者の覚醒度検出装置
US5566067A (en) * 1995-03-23 1996-10-15 The President And Fellows Of Harvard College Eyelid vigilance detector system
JPH09135826A (ja) 1995-11-15 1997-05-27 Omron Corp 集中度判定方法、目の疲労度判定方法、及び難易度制御方法
JP3480483B2 (ja) * 1997-03-31 2003-12-22 三菱自動車工業株式会社 覚醒度推定装置
JP3413065B2 (ja) * 1997-07-03 2003-06-03 松下電器産業株式会社 番組情報処理装置
FR2773521B1 (fr) * 1998-01-15 2000-03-31 Carlus Magnus Limited Procede et dispositif pour surveiller en continu l'etat de vigilance du conducteur d'un vehicule automobile, afin de detecter et prevenir une tendance eventuelle a l'endormissement de celui-ci
US6496724B1 (en) * 1998-12-31 2002-12-17 Advanced Brain Monitoring, Inc. Method for the quantification of human alertness
JP2002331850A (ja) 2001-05-07 2002-11-19 Nissan Motor Co Ltd 運転行動意図検出装置
US7233933B2 (en) * 2001-06-28 2007-06-19 Microsoft Corporation Methods and architecture for cross-device activity monitoring, reasoning, and visualization for providing status and forecasts of a users' presence and availability
US6927694B1 (en) * 2001-08-20 2005-08-09 Research Foundation Of The University Of Central Florida Algorithm for monitoring head/eye motion for driver alertness with one camera
JP3908583B2 (ja) * 2002-04-10 2007-04-25 独立行政法人科学技術振興機構 眠気度検出装置及びそれと連動した覚醒装置
US20050180620A1 (en) 2002-05-09 2005-08-18 Kiyoaki Takiguchi Method of detecting biological pattern, biological pattern detector, method of biological certificate and biological certificate apparatus
JP4247656B2 (ja) 2002-05-09 2009-04-02 ソニー株式会社 生体パターン検出方法及び生体パターン検出装置
EP2322958A1 (en) 2003-07-01 2011-05-18 Transitions Optical, Inc. Alignment facilities for optical dyes
GB0326539D0 (en) * 2003-11-14 2003-12-17 Qinetiq Ltd Dynamic blind signal separation
WO2005114576A1 (ja) 2004-05-21 2005-12-01 Asahi Kasei Kabushiki Kaisha 動作内容判定装置
FI117409B (fi) * 2004-06-10 2006-09-29 Abb Oy Anturiresistanssin isoloitu mittauspiiri
JP4622439B2 (ja) * 2004-10-13 2011-02-02 日産自動車株式会社 覚醒度判定装置
US7403124B2 (en) * 2005-05-10 2008-07-22 Fuji Jukogyo Kabushiki Kaisha Driving support equipment for vehicles
US7689008B2 (en) * 2005-06-10 2010-03-30 Delphi Technologies, Inc. System and method for detecting an eye
JP4864541B2 (ja) * 2006-05-23 2012-02-01 旭化成株式会社 まばたきデータ種別装置、覚醒状態判定装置及び覚醒状態判断装置
US8062129B2 (en) * 2006-09-29 2011-11-22 Pope Alan T Physiological user interface for a multi-user virtual environment
JP4985428B2 (ja) * 2007-02-01 2012-07-25 株式会社デンソー ドライバ管理装置および運行管理システム
JP4259585B2 (ja) * 2007-03-08 2009-04-30 株式会社デンソー 眠気判定装置，プログラムおよび眠気判定方法
US8036736B2 (en) * 2007-03-21 2011-10-11 Neuro Vista Corporation Implantable systems and methods for identifying a contra-ictal condition in a subject

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1156801A (ja) * 1997-08-22 1999-03-02 Mitsuaki Yamamoto 携帯型プログラマブル生体情報長期計測・記憶システム
JPH11137530A (ja) * 1997-11-14 1999-05-25 Nec Corp 特徴脳電磁波検出装置
JP2003331270A (ja) * 2002-05-09 2003-11-21 Sony Corp 生体パターン検出方法及び生体パターン検出装置、生体認証方法及び生体認証装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101776717B1 (ko) 2011-12-01 2017-09-08 현대자동차 주식회사 자동차의 디스플레이를 이용한 시력검사 시스템 및 방법
KR20190120561A (ko) 2018-04-16 2019-10-24 (주) 이즈테크놀로지 운전자 상태 모니터링 기반 운전자와 상호 작용을 통한 운전자 졸음 예방 방법 및 시스템
WO2024053751A1 (ko) 2022-09-06 2024-03-14 엘지전자 주식회사 차량의 운전자 모니터링 장치 및 그것의 동작방법
WO2024053752A1 (ko) 2022-09-06 2024-03-14 엘지전자 주식회사 차량의 운전자 모니터링 장치 및 그것의 동작방법

Also Published As

Publication number Publication date
US8400313B2 (en) 2013-03-19
CN101583313A (zh) 2009-11-18
WO2008088070A1 (ja) 2008-07-24
CN101583313B (zh) 2011-04-13
JP4805358B2 (ja) 2011-11-02
EP2363067B1 (en) 2016-01-06
JPWO2008088070A1 (ja) 2010-05-13
EP2111796A1 (en) 2009-10-28
EP2111796B1 (en) 2014-07-02
US20100036290A1 (en) 2010-02-11
KR20090091335A (ko) 2009-08-27
EP2363067A1 (en) 2011-09-07
EP2111796A4 (en) 2011-03-02

Similar Documents

Publication Publication Date Title
KR101078466B1 (ko) 각성 상태 판정 모델 생성 장치, 각성 상태 판정 장치, 경고 장치, 차량, 각성 상태 판정 모델 생성 방법, 각성 상태 판정 방법, 각성 상태 판정 모델 생성 프로그램을 기록한 컴퓨터 판독 가능 기록매체, 및 각성 상태 판정 프로그램을 기록한 컴퓨터 판독 가능 기록매체
JP4864541B2 (ja) まばたきデータ種別装置、覚醒状態判定装置及び覚醒状態判断装置
Lu et al. Detecting driver fatigue using heart rate variability: A systematic review
Friedrichs et al. Camera-based drowsiness reference for driver state classification under real driving conditions
US7948387B2 (en) Drowsiness determination apparatus, program, and method
JP5326521B2 (ja) 覚醒状態判断装置及び覚醒状態判断方法
US7821409B2 (en) Drowsiness alarm apparatus and program
Salzillo et al. Evaluation of driver drowsiness based on real-time face analysis
Triyanti et al. Challenges in detecting drowsiness based on driver’s behavior
CN117770821A (zh) 人因智能座舱驾驶人疲劳检测方法、装置、车辆及介质
Arefnezhad et al. Driver drowsiness classification using data fusion of vehicle-based measures and ECG signals
JP3480483B2 (ja) 覚醒度推定装置
Pandey et al. A survey on visual and non-visual features in Driver’s drowsiness detection
Liu et al. Driver fatigue detection through pupil detection and yawing analysis
Thorslund Electrooculogram analysis and development of a system for defining stages of drowsiness
JP4867215B2 (ja) 生理・心理状態判定装置、生理・心理状態判定方法、リファレンスデータ生成装置、及びリファレンスデータ生成方法。
Lee et al. Development of three driver state detection models from driving information using vehicle simulator; normal, drowsy and drunk driving
CN113598773B (zh) 数据处理装置以及用于评估用户不适的方法
Antunes et al. An intelligent system to detect drowsiness at the wheel
Dehankar et al. Design of drowsiness and yawning detection system
CN117885743A (zh) 一种驾驶员异常状态识别恢复方法及系统
CN114399752B (zh) 一种基于微眼跳特性的眼动多特征融合疲劳检测系统及检测方法
JPH08332871A (ja) 覚醒度検出装置
Momin et al. Current status and future research directions in monitoring vigilance of individual or mass audience in monotonous working environment
Murugan et al. Analysis of different measures to detect driver states: A review

Legal Events

Date Code Title Description
A201 Request for examination
PA0105 International application

Patent event date: 20090716

Patent event code: PA01051R01D

Comment text: International Patent Application

PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20090716

Comment text: Request for Examination of Application

PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20110107

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20111014

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20111025

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20111025

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20141007

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20141007

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20151001

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20151001

Start annual number: 5

End annual number: 5

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20190805