[go: up one dir, main page]

KR20180104235A - 운전자 상태 모니터링 방법 및 장치 - Google Patents

운전자 상태 모니터링 방법 및 장치 Download PDF

Info

Publication number
KR20180104235A
KR20180104235A KR1020170030487A KR20170030487A KR20180104235A KR 20180104235 A KR20180104235 A KR 20180104235A KR 1020170030487 A KR1020170030487 A KR 1020170030487A KR 20170030487 A KR20170030487 A KR 20170030487A KR 20180104235 A KR20180104235 A KR 20180104235A
Authority
KR
South Korea
Prior art keywords
driver
vehicle
state
carelessness
condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR1020170030487A
Other languages
English (en)
Inventor
김범규
박하빛
김기만
김신욱
Original Assignee
만도헬라일렉트로닉스(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 만도헬라일렉트로닉스(주) filed Critical 만도헬라일렉트로닉스(주)
Priority to KR1020170030487A priority Critical patent/KR20180104235A/ko
Priority to US15/820,308 priority patent/US10679079B2/en
Priority to DE102017221253.5A priority patent/DE102017221253A1/de
Publication of KR20180104235A publication Critical patent/KR20180104235A/ko
Ceased legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • A61B5/024—Measuring pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • A61B5/024—Measuring pulse rate or heart rate
    • A61B5/02444—Details of sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/62—Sense-of-movement determination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B60W2420/42—
    • B60W2420/52—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2306/00—Other features of vehicle sub-units
    • B60Y2306/13—Failsafe arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/90—Driver alarms
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9322—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using additional data, e.g. driver condition, road state or weather data

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Multimedia (AREA)
  • Cardiology (AREA)
  • Mechanical Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Mathematical Physics (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Electromagnetism (AREA)
  • Social Psychology (AREA)

Abstract

운전자 상태 모니터링 방법 및 장치가 개시된다. 본 발명의 일실시예에 따른 운전자 상태 모니터링 장치는 운전자 상태를 운전자상태감지부와, 차량 상태를 감지하는 차량상태감지부와, 운전자의 부주의 상태를 경고하는 경고부 및 상기 운전자상태감지부를 통해 감지된 운전자 상태와 상기 차량상태감지부를 통해 감지된 차량상태에 따라 운전자의 부주의 레벨을 산출하고, 산출된 운전자 부주의 레벨을 근거로 하여 운전자가 부주의 상태인지 정상 상태인지를 판단하고, 부주의 상태이면 경고부를 통해 경고하는 제어부를 포함한다.

Description

운전자 상태 모니터링 방법 및 장치{METHOD AND APPARATUS FOR MONITORING DRIVER STATUS}
본 발명은 운전자 상태 모니터링 방법 및 장치에 관한 것으로, 보다 상세하게는 운전자의 안전한 주행을 지원하는 운전자 상태 모니터링 방법 및 장치에 관한 것이다.
일반적으로, 졸음운전 및 운전자 부주의로 인한 교통사고로 인해 매년 많은 인명 피해가 발생한다. 특히 버스나 트럭과 같은 대형 차량의 운전자가 졸음운전 혹은 운전 부주의 등으로 차량 사고를 일으킬 경우 많은 인해 피해가 우려된다.
기존에는 카메라를 통한 눈동자의 깜박임이나 심박수 감지부를 통한 심박 측정을 이용하여 운전자의 부주의 상태를 판단하고 경고한다.
운전자의 부주의 상태를 판단하기 위해 눈동자를 인식할 경우, 차량 내부의 조도, 조명 상태 혹은 외부 날씨에 영향을 많이 받는다.
또한, 운전자의 부주의 상태를 판단하기 위해 심박수 등의 생체 신호를 인식할 경우, 별도 장비의 추가 장착으로 인해 많은 비용이 소요될 수 있다.
대한민국 등록특허 제10-1646418호
본 발명의 실시예는 운전자의 부주의 상태를 보다 정확하고 효과적으로 판단하여 경고할 수 있는 운전자 상태 모니터링 방법 및 장치를 제공하고자 한다.
본 발명의 일 측면에 따르면, 운전자 상태를 감지하는 운전자상태감지부; 차량 상태를 감지하는 차량상태감지부; 운전자의 부주의 상태를 경고하는 경고부; 및 상기 운전자상태감지부를 통해 감지된 운전자 상태와 상기 차량상태감지부를 통해 감지된 차량상태에 따라 운전자의 부주의 레벨을 산출하고, 상기 산출된 운전자 부주의 레벨을 근거로 하여 상기 운전자가 부주의 상태인지 정상 상태인지를 판단하고, 상기 부주의 상태이면 상기 경고부를 통해 경고하는 제어부를 포함하는 운전자 상태 모니터링 장치가 제공될 수 있다.
또한, 차량의 주변 환경 상태를 감지하는 주변환경상태감지부를 포함하고, 상기 제어부는 상기 운전자 부주의 레벨 산출시 상기 주변환경상태감지부를 통해 감지된 주변환경상태를 근거로 상기 감지된 운전자 상태 및 상기 감지된 차량 상태에 가중치를 각각 부여하고, 상기 각각 부여된 가중치를 적용하여 상기 운전자 부주의 레벨을 산출할 수 있다.
또한, 상기 운전자상태감지부는 운전자 영상을 촬영하는 실내카메라, 운전자의 심박을 측정하는 레이더를 포함하고, 상기 차량상태감지부는 전방 영상을 촬영하는 실외카메라, 차량과 캔 통신을 통해 차량 정보를 수신하는 캔 인터페이스를 포함하고, 상기 제어부는, 상기 실내카메라로부터 출력된 운전자 부주의 레벨값과, 상기 레이더로부터 출력된 운전자 부주의 레벨값, 상기 실외카메라로부터 출력된 운전자 부주의 레벨값 및 상기 캔 인터페이스로부터 출력된 운전자 부주의 레벨값을 통합한 운전자 부주의 레벨값을 연산하는 부주의 레벨 연산부; 및 상기 부주의 레벨 연산부(21)의 운전자 부주의 레벨값 연산시 상기 감지된 주변 환경 상태를 기준으로 상기 실내카메라, 레이더, 실외카메라 및 캔 인터페이스의 센서 가중치를 각각 조정하는 센서 가중치 조정부를 포함할 수 있다.
또한, 상기 주변환경상태에 따라 상기 실내카메라, 레이더, 실외카메라 및 캔 인터페이스의 센서 가중치가 미리 저장된 룩업테이블을 포함할 수 있다.
본 발명의 다른 측면에 따르면, 운전자 영상을 촬영하는 실내카메라; 상기 운전자의 심박을 측정하는 레이더; 차량의 전방 영상을 촬영하는 실외카메라; 상기 차량과 캔 통신을 통해 차량 정보를 수신하는 캔 인터페이스; 상기 차량의 주변환경상태를 감지하는 주변환경상태감지부; 운전자의 부주의 상태를 경고하는 경고부; 및 상기 실내카메라로부터 출력된 운전자 부주의 레벨값과, 상기 레이더로부터 출력된 운전자 부주의 레벨값, 상기 실외카메라로부터 출력된 운전자 부주의 레벨값 및 상기 캔 인터페이스로부터 출력된 운전자 부주의 레벨값을 통합한 운전자 부주의 레벨값을 연산하고, 상기 연산된 상기 운전자 부주의 레벨값을 근거로 하여 상기 운전자가 부주의 상태인지 정상 상태인지를 판단하고, 상기 부주의 상태이면 상기 경고부를 통해 경고하는 제어부를 포함하고, 상기 제어부는 상기 운전자 부주의 레벨값 연산시 상기 감지된 주변환경상태를 기준으로 상기 실내카메라, 레이더, 실외카메라 및 캔 인터페이스의 센서 가중치를 각각 조정하고, 상기 각각 조정된 센서 가중치를 적용하여 상기 운전자 부주의 레벨값을 연산하는 운전자 상태 모니터링 장치가 제공될 수 있다.
또한, 상기 제어부는 상기 주변환경상태에 따라 상기 실내카메라, 레이더, 실외카메라 및 캔 인터페이스의 센서 가중치가 미리 저장된 룩업테이블을 이용하여 상기 센서 가중치를 각각 조정할 수 있다.
본 발명의 또 다른 측면에 따르면, 운전자 상태를 감지하고, 차량 상태를 감지하고, 상기 감지된 운전자 상태 및 차량 상태에 따라 운전자의 부주의 레벨을 산출하고, 상기 산출된 부주의 레벨을 근거로 하여 상기 운전자가 부주의 상태인지 정상 상태인지를 판단하고, 상기 부주의 상태이면 경고하는 운전자 상태 모니터링 방법이 제공될 수 있다.
또한, 상기 부주의 레벨 산출은, 상기 차량의 주변환경상태를 감지하고, 상기 감지된 주변환경상태를 근거로 상기 감지된 운전자 상태 및 상기 감지된 차량 상태에 가중치를 각각 부여하고, 상기 각각 부여된 가중치를 적용하여 상기 부주의 레벨을 산출할 수 있다.
본 발명의 실시예는 운전자 상태를 모니터링한 센서정보, 차량 상태를 모니터링한 센서정보와 차량 주변 환경을 모니터링한 센서정보를 융합하여 운전자의 상태를 판단함으로써 보다 정확하고 효과적으로 판단하여 경고할 수 있다.
본 발명의 실시예는 주변 환경 상태를 기준으로 각 센서정보들의 중요도 및 우선순위에 따라 센서정보들의 가중치 인자를 조정하여 각 센서가 지닌 환경에 대한 민감성 및 신뢰성 저하를 보완할 수 있어 보다 정확한 운전자 부주의 상태 인식이 가능하다.
본 발명의 실시예는 운전자의 눈동자 인식 등이 불가능한 상황에서도 심박 측정, 차선이탈 감지, 차속 변경 등의 정보를 이용하여 운전자의 졸음 상태 및 부주의 상태를 감지할 수 있다.
본 발명의 실시예는 운전자 부주의 레벨을 사전에 정의한 룩 업 테이블을 이용하여 연산처리가 간단하여 운전자에게 실시간으로 경고할 수 있어 운전자의 부주의 상태를 보다 빠르게 경고할 수 있다.
도 1은 본 발명의 일실시예에 따른 운전자 상태 모니터링 장치의 제어블록도이다.
도 2는 본 발명의 일실시예에 따른 운전자 상태 모니터링 장치에서 제어부를 설명하기 위한 도면이다.
도 3은 본 발명의 일실시예에 따른 운전자 상태 모니터링 장치의 제어흐름도이다.
도 4는 본 발명의 일실시예에 따른 운전자 상태 모니터링 장치에서 센서 가중치를 조정하기 위한 룩업 테이블의 일예이다.
이하에서는 본 발명의 실시예들을 첨부 도면을 참조하여 상세히 설명한다. 이하에 소개되는 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 사상을 충분히 전달할 수 있도록 하기 위해 예로서 제공하는 것이다. 본 발명은 이하 설명되는 실시예들에 한정하지 않고 다른 형태로 구체화할 수도 있다. 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 도면에서 생략하였으며 도면들에 있어서, 구성요소의 폭, 길이, 두께 등은 편의를 위하여 과장하여 표현할 수 있다. 명세서 전체에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다.
본 발명의 실시예에서는 차량 내외부에서 사용 가능한 통합 센서들을 이용하여 각 센서로부터 감지한 결과를 하나의 연산으로 융합하여 운전자 부주의 레벨을 나타내는 결과값을 연산하고, 연산된 결과의 임계값을 설정하여 보다 정확하게 전반적인 운전자의 상태를 인식할 수 있는 방법을 제시한다.
또한, 본 발명의 실시예에서는 조도, 온도, 습도 등의 주변 환경 변화에 따른 각 센서의 중요도 및 우선순위를 연산 내의 인자 변경을 통해 쉽게 조정하는 방법을 제시한다.
또한, 본 발명의 실시예에서는 차량의 종류, 시스템 정확도에 대한 요구도, 비용 등에 따라 적용 가능한 센서의 종류가 가감될 수 있으며, 기존 차량에 장착되어 있는 주변환경감지센서들(예를 들면, 조도 센서, 온도 센서, 습도센서 등)을 그대로 활용할 수도 있다.
도 1은 본 발명의 일실시예에 따른 운전자 상태 모니터링 장치의 제어블록도이다.
도 1을 참조하면, 운전자 상태 모니터링 장치는 운전자상태감지부(10), 차량상태감지부(20), 주변환경상태감지부(30), 제어부(40) 및 경고부(50)를 포함할 수 있다.
제어부(40)에는 운전자상태감지부(10), 차량상태감지부(20), 주변환경상태감지부(30) 및 경고부(50)가 전기적으로 연결되어 있다.
운전자상태감지부(10)는 운전자의 상태를 감지한다. 운전자상태감지부(10)는 실내카메라(11)와 레이더(12)를 포함할 수 있다.
실내카메라(11)는 운전자의 상태(눈깜박임, 고개숙임 등)를 감지할 수 있도록 운전자를 촬영한다.
실내카메라(11)는 RGB 방식의 디지털 이미지 스트림 또는 IR 이미지 센서 등을 활용하여 운전자 상태를 감시한다. 이때, 실내카메라(11)는 핸들의 회전이나 운전자의 신장, 전후 위치에 가장 영향을 적게 받을 수 있는 위치에 마련된다.
실내카메라(11)는 촬영된 영상 신호를 제어부(40)로 전송한다.
레이더(12)는 생체 인식 감지할 수 있도록 운전자의 심폐에 레이더 신호를 방사하고 심폐로부터 반사되는 생체 인식 신호(예를 들면, 심박, 호흡)를 수신한다.
레이더(12)는 심장과 폐에 일직선상으로 가장 가까운 운전석 시트에 마련될 수 있다.
레이더(12)는 수신된 생체 인식 신호를 제어부(40)로 전송한다.
운전자상태감지부(10)는 실내카메라(11)와 레이더(12) 외에도 운전자의 상태를 감지할 수 있는 다양한 센서들을 포함할 수 있다.
차량상태감지부(20)는 차량의 상태를 감지한다. 차량상태감지부(20)는 실외카메라(21)와 캔 인터페이스(CAN I/F ; Controller Area Network Interface)(22)를 포함할 수 있다.
실외카메라(21)는 차량의 주행 상태를 감지할 수 있도록 차선 및 교통표지판 등을 촬영한다.
실외카메라(21)는 백미러 뒤에 탑재되어 차량이 주행하는 전방을 촬영한다.
실외카메라(21)는 촬영된 영상 신호를 제어부(40)로 전송한다.
캔 인터페이스(22)는 제어부(40)의 제어신호에 따라 차량에 장착된 전자 브레이크 시스템과의 캔 통신을 수행한다.
캔 인터페이스(22)는 전자 브레이크 시스템으로부터 차속 및 조향 변화 등의 차량 정보를 수신한다.
캔 인터페이스(22)는 수신된 차량 정보를 제어부(40)로 전송한다. 예를 들면, 전자 브레이크 시스템은 차량 정보를 가진 ESC(Electronic Stable Control) 시스템이나 ABS(Anti-lock Brake System) 등일 수 있다.
캔 인터페이스(22)는 전자 브레이크 시스템 외에도 차속과 조향각을 포함하는 차량 정보를 가진 어떠한 시스템과도 캔 통신하여 차량 정보를 수신할 수 있다.
차량상태감지부(20)는 실외카메라(21)와 캔 인터페이스(22) 외에도 차량의 주행 상태 및 차량 정보를 감지하기 위한 각종 센서를 포함할 수 있다.
주변환경상태감지부(30)는 차량의 주변 환경 상태를 감지한다.
주변환경상태감지부(30)는 조도센서(31), 온도센서(32) 및 습도센서(33)를 포함할 수 있다.
조도센서(31)는 외부로부터 유입된 광량을 측정한다.
조도센서(31)는 차량의 크래쉬보드 상에 마련되어 주변 전체의 영역에서 입사되는 빛을 받아들여 광량을 측정할 수 있다. 조도센서(31)는 측정된 광량을 제어부(40)로 전송한다.
온도센서(32)는 차량의 외부온도를 측정한다.
온도센서(32)는 차량의 라디에이터 그릴 내측에 마련되어 차량의 외부온도를 측정할 수 있다.
습도센서(33)는 차량의 외부습도를 측정한다.
주변환경상태감지부(30)는 조도센서(31), 온도센서(32) 및 습도센서(33) 외에도 차량의 주변 환경 상태를 감지할 수 있는 각종 센서들을 포함할 수 있다.
주변환경상태감지부(30)는 주변 환경 상태를 감지하여 운전자 상태 인식에 대한 신뢰성을 높이는 데 사용된다. 기존 차량에 장착되어 있는 조도센서와 온도센서를 사용할 수 있다.
경고부(50)는 제어부(40)의 제어신호에 따라 운전자의 부주의 상태를 화면 또는/및 음성으로 경고한다.
제어부(40)는 마이크로프로세서로 이루어질 수 있다.
제어부(40)는 실내카메라(11)와 레이더(12)를 이용하여 운전자의 눈 깜박임, 심박 측정 등을 통해 운전자 상태를 감지한다. 운전자 상태 감지 출력은 사전에 룩업 테이블(Look-Up Table ; LUT) 형태로 정의된 운전자 부주의 레벨값이 된다.
제어부(40)는 실외카메라(21)와 캔 인터페이스(22)를 이용하여 차량의 주행 상태 및 차량 정보를 획득 및 인식한다. 제어부(40)는 실외카메라(21)로 차선을 인식하여 차선 이탈 주행 상황(횟수 및 지속시간) 등을 감지한다. 또한, 제어부(40)는 속도 표지판 및 신호등을 인식하여 규정 속도 준수 여부 및 신호 변화에 따른 반응 속도를 인식한다. 이때, 캔 인터페이스(22)는 차량 조향 변화, 차량의 헤딩 각도, 차속 등의 정보를 종합적으로 수신한다. 주행 상태 및 차량 정보 감지 출력은 사전에 LUT 형태로 정의된 운전자 부주의 레벨값이 된다.
제어부(40)는 주변환경상태감지부(30)를 통해 차량 주변 환경 상태를 획득한다. 제어부(40)는 주변 환경 변화에 따라 시스템을 구성하는 각 센서들의 신뢰도를 가변적으로 설정하기 위한 기본 정보를 획득한다.
제어부(40)는 주변환경상태감지부(30)를 통해 감지된 주변 환경 상태를 기준으로 운전자상태감지부(10)와 차량상태감지부(20)의 각 센서들의 센서 가중치를 조정할 수 있다. 예를 들면, 제어부(40)는 조도센서(31)를 통해 밤낮을 구분하고, 온도센서(32)를 통해 저온, 평온, 고온을 구분할 수 있다. 제어부(40)는 조도센서(31) 및 온도센서(32)의 출력에 따라 밤낮와 온도를 기준으로 실내카메라(11), 레이더(12), 실외카메라(21) 및 캔 인터페이스(22)의 센서 가중치를 각각 조정할 수 있다.
이와 같이, 제어부(40)는 실내카메라(11)와 레이더(12)를 이용하여 운전자 상태를 모니터링한 정보와, 실외카메라(21)와 캔 인터페이스(22)를 이용하여 차량 상태를 모니터링한 정보를 융합하고, 융합된 정보들을 근거로 하여 운전자의 부주의 상태를 판단함으로써 운전자의 부주의 상태를 보다 정확하고 효과적으로 판단할 수 있다. 즉, 제어부(40)는 운전자 상태를 모니터링한 정보와 차량 상태를 모니터링한 정보를 융합하고, 융합된 정보들을 근거로 하여 운전자의 부주의 레벨을 산출하고, 산출된 부주의 레벨을 근거로 하여 운전자가 부주의 상태인지 정상 상태인지를 판단하고, 운전자가 부주의 상태일 경우 경고부(50)를 통해 운전자 부주의 상태를 경고한다.
제어부(40)는 운전자의 부주의 상태를 판단하는 과정에서 주변환경상태감지부(30)를 통해 주변 환경 상태를 모니터링하고, 모니터링한 주변 환경 상태에 따라 실내카메라(11), 레이더(12), 실외카메라(21), 캔 인터페이스(22) 등 각 센서의 우선순위 및 중요도를 가변시킬 수 있다. 제어부(40)는 주변 환경 상태를 센서 가중치 인자 조정에 사용으로써 각 센서가 지닌 환경에 대한 민감성 및 신뢰성 저하를 보완할 수 있다.
도 2는 본 발명의 일실시예에 따른 운전자 상태 모니터링 장치에서 제어부를 설명하기 위한 도면이다.
도 2를 참조하면, 제어부(40)는 부주의 레벨 연산부(41)와 센서 가중치 조정부(42)를 포함할 수 있다.
부주의 레벨 연산부(42)는 운전자 상태를 감지하는 센서들(11,12)와 차량 상태를 감지하는 센서들(21,22)로부터 출력된 운전자 부주의 레벨을 하나의 연산으로 융합하고 하나의 출력값을 생성하여 출력한다. 예를 들면, 실내카메라(11), 레이더(12), 실외카메라(21) 및 캔 인터페이스(22)로부터 각각 출력된 운전자 부주의 레벨을 하나의 출력값으로 연산한다.
부주의 레벨 연산부(41)는 센서 개수에 따라 다음의 식 [1]에 의해 부주의 레벨을 연산한다.
Figure pat00001
식 [1]
여기서,
Figure pat00002
는 가중치 조정인자, Sn은 각 센서 부주의레벨이다.
가중치 조정인자 및 각 센서의 부주의 레벨 출력수는 센서 개수에 따른다.
센서 가중치 조정부(42)는 부주의 레벨 연산부(41)의 연산에 사용되는 각 센서(11,12,21,22)의 가중치를 조정한다.
예를 들면, 제어부(40)는 조도센서(31) 및 온도센서(32)를 통해 각각 측정된 온도와 밤낮을 기준으로 각 센서들의 중요도 및 우선순위에 따라 센서들의 가중치 인자를 조정할 수 있다. 이에 따라, 운전자 부주의 레벨 연산을 위한 각 센서의 가중치가 산출된다. 각 센서들의 가중치 조정 인자의 합이 1이 되게 하여, 비율 조정을 한다.
도 3은 본 발명의 일실시예에 따른 운전자 상태 모니터링 장치에서 센서 가중치를 조정하기 위한 룩업 테이블의 일예이다.
도 3을 참조하면, 룩업 테이블에서 평온&낮의 경우, 레이더, 실내카메라, 실외카메라, 차량용 CAN 모두 동일한 센서 가중치를 가지도록 설정되어 있다.
평온&밤의 경우, 레이더와 차량용 CAN에 대한 센서 가중치가 실내카메라와 실외카메라에 비해 상대적으로 높게 설정되어 있다.
고온&낮의 경우, 차량용 CAN에 대한 센서 가중치가 가장 높고 레이더에 대한 센서 가중치가 가장 낮게 설정되어 있다.
고온&밤의 경우, 차량용 CAN에 대한 센서 가중치가 가장 높고 실내카메라와 실외카메라에 대한 센서 가중치가 가장 낮게 설정되어 있다.
저온&낮의 경우, 각 센서들에 대한 센서 가중치가 고온&낮의 경우와 동일하게 설정되어 있다.
저온&밤의 경우, 각 센서들에 대한 센서 가중치가 고온&밤의 경우와 동일하게 설정되어 있다.
야간의 경우, 카메라 인식 결과의 신뢰성이 낮기 때문에 실내카메라 및 실외카메라의 가중치를 낮추고 레이더 및 차량용 CAN에서 수신된 차량 상태 정보에 대한 중요도를 높게 설정되어 있다.
다시 도 2를 참조하면, 제어부(40)는 부주의 레벨 연산부(41)에서 출력된 부주의 레벨값이 미리 설정된 값(임계값) 이상의 값을 갖는지 확인한다. 부주의 레벨값이 미리 설정된 값 이상이면 부주의 상태로 인식 및 판단할 수 있다. 부주의 상태는 졸음 운전 및 전방 주시 태만을 포함한 운전에 위해가 될 수 있는 모든 운전자 상태를 말한다.
제어부(40)는 운전자 상태 인식 과정을 통해 운전자 부주의 상태로 판단될 경우, 경고부(50)를 통한 경고 출력으로 운전자에게 경고할 수 있다.
또한, 제어부(40)는 핸들 혹은 시트를 진동시키는 진동장치가 장착된 경우, 그 진동장치를 작동시켜 핸들 혹은 시트를 진동시킴으로써 운전자의 주의를 환기시킬 수 있다.
또한, 제어부(40)는 윈도우 장치를 작동시켜 창문을 개방시킴으로써 운전자가 부주의한 상태를 벗어날 수 있도록 지원할 수 있다.
한편, 운전자 상태 모니터링 장치는 운전패턴저장부(60)를 포함할 수 있다.
운전패턴저장부(60)는 제어부(40)에 의해 산출된 운전자의 부주의 레벨을 저장한다.
운전패턴저장부(60)에는 제어부(40)의 제어신호에 따라 운전자 부주의 레벨값은 운전자의 운행 패턴을 시간 단위로 저장한다. 따라서, 사용자가 운전자 상태 모니터링 장치에 연결된 모니터에서 시간대 별 운전 부주의 패턴 등을 확인함으로써 부주의한 운전 습관을 개선할 수 있는 로깅 서비스를 제공할 수 있다.
도 4는 본 발명의 일실시예에 따른 운전자 상태 모니터링 장치의 제어흐름도이다.
도 4를 참조하면, 먼저, 제어부(40)는 실내카메라(11)와 레이더(12)를 이용하여 운전자 상태를 모니터링한다(100).
제어부(40)는 실외카메라(21)와 캔 인터페이스(22)를 이용하여 차량 상태를 모니터링한다(102).
제어부(40)는 조도센서(31)와 온도센서(32)를 이용하여 주변 환경 상태를 모니터링한다(104).
제어부(40)는 센서 가중치 조정이 필요한지를 판단한다. 예를 들면, 주변 환경 상태가 평온&낮인 상태가 초기값이라고 가정할 경우, 조도와 온도를 확인하여 평온&낮이면, 센서 가중치 조정이 불필요한 것으로 판단하고, 그렇지 않으면, 센서 가중치 조정이 필요한 것으로 판단할 수 있다.
만약, 작동모드 106의 판단결과 센서 가중치 조정이 필요하면, 제어부(40)는 조도와 온도를 기준으로 룩업 테이블에 따라 레이더, 실내카메라, 실외카메라, 캔 인터페이스의 각 센서 가중치를 조정한다(108).
제어부(40)는 각 조정된 센서 가중치를 적용하여 운전자 부주의 레벨을 연산한다(110). 즉, 제어부(40)는 실내카메라(11), 레이더(12), 실외카메라(21) 및 캔 인터페이스(22)로부터 각각 출력된 운전자 부주의 레벨에 각 조정된 센서 가중치를 식 [1]과 같이 적용하여 하나의 운전자 부주의 레벨을 연산한다.
한편, 작동모드 106의 판단결과 센서 가중치 조정이 불필요하면, 제어부(40)는 작동모드 110에서 초기 센서 가중치를 적용하여 운전자 부주의 레벨을 연산한다(110). 즉, 제어부(40)는 실내카메라(11), 레이더(12), 실외카메라(21) 및 캔 인터페이스(22)로부터 각각 출력된 운전자 부주의 레벨에 각 초기 센서 가중치를 식 [1]과 같이 적용하여 하나의 운전자 부주의 레벨을 연산한다.
제어부(40)는 연산된 운전자 부주의 레벨을 운전자의 운행패턴으로 운행패턴저장부(60)에 저장시킨다(112).
제어부(40)는 연산된 운전자 부주의 레벨(L)과 미리 설정된 값(Lf)을 비교하여 연산된 운전자 부주의 레벨(L)이 미리 설정된 값(Lf) 이상인지를 판단한다(114).
만약, 작동모드 114의 판단결과 연산된 운전자 부주의 레벨(L)이 미리 설정된 값(Lf) 이상이면, 제어부(40)는 운전자 상태를 부주의 상태로 판단하고(116), 운전자 부주의 상태를 경고부(50)를 통해 경고한다(118).
한편, 작동모드 114의 판단결과 연산된 운전자 부주의 레벨(L)이 미리 설정된 값(Lf) 미만이면, 운전자 상태를 정상 상태로 판단한다(120). 이후 미리 설정된 루틴으로 리턴한다.
이상과 같이, 본 발명의 실시예는 실내카메라와 레이더를 이용하여 감지한 운전자 상태, 실외카메라와 캔 인터페이스를 통해 감지한 차량 상태를 개별적으로 처리하지 않고, 융합 형태의 부주의 레벨 연산을 통해 감지된 운전자 상태와 차량 상태가 갖는 데이터 신뢰성 저하에 대한 보완이 가능하다. 또한, 조도 및 온도센서를 이용하여 감지한 주변 환경 상태를 이용하여 실내카메라, 레이더, 실외카메라, 캔 인터페이스 등 각 센서의 센서 가중치를 조정함으로써 각 센서가 지닌 환경에 대한 민감성 및 신뢰도 저하를 줄일 수 있다.
10 : 운전자상태감지부 11 : 실내카메라
12 : 레이더 20 : 차량상태감지부
21 : 실외카메라 22 : 캔 인터페이스
30 : 주변환경상태감지부 31 : 조도센서
32 : 온도센서 33 : 습도센서
40 : 제어부 41 : 부주의레벨 연산부
42 : 센서가중치조정부 50 : 경고부
60 : 운행패턴저장부

Claims (8)

  1. 운전자 상태를 감지하는 운전자상태감지부;
    차량 상태를 감지하는 차량상태감지부;
    운전자의 부주의 상태를 경고하는 경고부; 및
    상기 운전자상태감지부를 통해 감지된 운전자 상태와 상기 차량상태감지부를 통해 감지된 차량상태에 따라 운전자의 부주의 레벨을 산출하고, 상기 산출된 운전자 부주의 레벨을 근거로 하여 상기 운전자가 부주의 상태인지 정상 상태인지를 판단하고, 상기 부주의 상태이면 상기 경고부를 통해 경고하는 제어부를 포함하는 운전자 상태 모니터링 장치.
  2. 제1항에 있어서,
    차량의 주변 환경 상태를 감지하는 주변환경상태감지부를 포함하고,
    상기 제어부는 상기 운전자 부주의 레벨 산출시 상기 주변환경상태감지부를 통해 감지된 주변환경상태를 근거로 상기 감지된 운전자 상태 및 상기 감지된 차량 상태에 가중치를 각각 부여하고, 상기 각각 부여된 가중치를 적용하여 상기 운전자 부주의 레벨을 산출하는 운전자 상태 모니터링 장치.
  3. 제2항에 있어서,
    상기 운전자상태감지부는 운전자 영상을 촬영하는 실내카메라, 운전자의 심박을 측정하는 레이더를 포함하고,
    상기 차량상태감지부는 전방 영상을 촬영하는 실외카메라, 차량과 캔 통신을 통해 차량 정보를 수신하는 캔 인터페이스를 포함하고,
    상기 제어부는, 상기 실내카메라로부터 출력된 운전자 부주의 레벨값과, 상기 레이더로부터 출력된 운전자 부주의 레벨값, 상기 실외카메라로부터 출력된 운전자 부주의 레벨값 및 상기 캔 인터페이스로부터 출력된 운전자 부주의 레벨값을 통합한 운전자 부주의 레벨값을 연산하는 부주의 레벨 연산부; 및
    상기 부주의 레벨 연산부(21)의 운전자 부주의 레벨값 연산시 상기 감지된 주변 환경 상태를 기준으로 상기 실내카메라, 레이더, 실외카메라 및 캔 인터페이스의 센서 가중치를 각각 조정하는 센서 가중치 조정부를 포함하는 운전자 상태 모니터링 장치.
  4. 제3항에 있어서,
    상기 주변환경상태에 따라 상기 실내카메라, 레이더, 실외카메라 및 캔 인터페이스의 센서 가중치가 미리 저장된 룩업테이블을 포함하는 운전자 상태 모니터링 장치.
  5. 운전자 영상을 촬영하는 실내카메라;
    상기 운전자의 심박을 측정하는 레이더;
    차량의 전방 영상을 촬영하는 실외카메라;
    상기 차량과 캔 통신을 통해 차량 정보를 수신하는 캔 인터페이스;
    상기 차량의 주변환경상태를 감지하는 주변환경상태감지부;
    운전자의 부주의 상태를 경고하는 경고부; 및
    상기 실내카메라로부터 출력된 운전자 부주의 레벨값과, 상기 레이더로부터 출력된 운전자 부주의 레벨값, 상기 실외카메라로부터 출력된 운전자 부주의 레벨값 및 상기 캔 인터페이스로부터 출력된 운전자 부주의 레벨값을 통합한 운전자 부주의 레벨값을 연산하고, 상기 연산된 상기 운전자 부주의 레벨값을 근거로 하여 상기 운전자가 부주의 상태인지 정상 상태인지를 판단하고, 상기 부주의 상태이면 상기 경고부를 통해 경고하는 제어부를 포함하고,
    상기 제어부는 상기 운전자 부주의 레벨값 연산시 상기 감지된 주변환경상태를 기준으로 상기 실내카메라, 레이더, 실외카메라 및 캔 인터페이스의 센서 가중치를 각각 조정하고, 상기 각각 조정된 센서 가중치를 적용하여 상기 운전자 부주의 레벨값을 연산하는 운전자 상태 모니터링 장치.
  6. 제5항에 있어서,
    상기 제어부는 상기 주변환경상태에 따라 상기 실내카메라, 레이더, 실외카메라 및 캔 인터페이스의 센서 가중치가 미리 저장된 룩업테이블을 이용하여 상기 센서 가중치를 각각 조정하는 운전자 상태 모니터링 장치.
  7. 운전자 상태를 감지하고,
    차량 상태를 감지하고,
    상기 감지된 운전자 상태 및 차량 상태에 따라 운전자의 부주의 레벨을 산출하고,
    상기 산출된 부주의 레벨을 근거로 하여 상기 운전자가 부주의 상태인지 정상 상태인지를 판단하고,
    상기 부주의 상태이면 경고하는 운전자 상태 모니터링 방법.
  8. 제7항에 있어서,
    상기 부주의 레벨 산출은, 상기 차량의 주변환경상태를 감지하고, 상기 감지된 주변환경상태를 근거로 상기 감지된 운전자 상태 및 상기 감지된 차량 상태에 가중치를 각각 부여하고, 상기 각각 부여된 가중치를 적용하여 상기 부주의 레벨을 산출하는 운전자 상태 모니터링 방법.
KR1020170030487A 2017-03-10 2017-03-10 운전자 상태 모니터링 방법 및 장치 Ceased KR20180104235A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020170030487A KR20180104235A (ko) 2017-03-10 2017-03-10 운전자 상태 모니터링 방법 및 장치
US15/820,308 US10679079B2 (en) 2017-03-10 2017-11-21 Driver state monitoring method and apparatus
DE102017221253.5A DE102017221253A1 (de) 2017-03-10 2017-11-28 Verfahren und Vorrichtung zum Überwachen eines Fahrerzustands

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170030487A KR20180104235A (ko) 2017-03-10 2017-03-10 운전자 상태 모니터링 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20180104235A true KR20180104235A (ko) 2018-09-20

Family

ID=63258579

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170030487A Ceased KR20180104235A (ko) 2017-03-10 2017-03-10 운전자 상태 모니터링 방법 및 장치

Country Status (3)

Country Link
US (1) US10679079B2 (ko)
KR (1) KR20180104235A (ko)
DE (1) DE102017221253A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111071257A (zh) * 2018-10-18 2020-04-28 株式会社万都 用于车辆的紧急控制装置
KR20200075930A (ko) * 2018-12-11 2020-06-29 만도헬라일렉트로닉스(주) 사각지대 감지 시스템
KR20200104447A (ko) * 2019-02-26 2020-09-04 주식회사 삼일비앤씨 운전자 위험상황 예방 시스템
KR102482165B1 (ko) * 2021-08-11 2022-12-27 한양대학교 에리카산학협력단 주행안정성 통합평가 지표 생성 방법 및 주행안정성 통합평가 지표

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200062246A1 (en) * 2018-08-27 2020-02-27 Mando Corporation Emergency braking device for vehicle
US11427216B2 (en) * 2019-06-06 2022-08-30 GM Global Technology Operations LLC User activity-based customization of vehicle prompts
CN110705502B (zh) * 2019-10-14 2023-07-28 首约科技(北京)有限公司 一种驾驶员监控设备优化方法
US12277779B2 (en) * 2021-10-06 2025-04-15 Qualcomm Incorporated Vehicle and mobile device interface for vehicle occupant assistance

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1568618A (zh) * 2001-10-10 2005-01-19 松下电器产业株式会社 图像处理装置
EP2347400B1 (en) * 2008-11-07 2014-03-12 Volvo Lastvagnar AB Method and system for combining sensor data
US9460601B2 (en) * 2009-09-20 2016-10-04 Tibet MIMAR Driver distraction and drowsiness warning and sleepiness reduction for accident avoidance
US8384534B2 (en) * 2010-01-14 2013-02-26 Toyota Motor Engineering & Manufacturing North America, Inc. Combining driver and environment sensing for vehicular safety systems
US9352751B2 (en) * 2014-06-23 2016-05-31 Honda Motor Co., Ltd. System and method for determining the information transfer rate between a driver and vehicle
US9751534B2 (en) * 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
KR101551001B1 (ko) 2013-12-12 2015-09-07 현대자동차주식회사 사용자 인증 방법과 이를 수행하는 사용자 인증 장치 및 사용자 인증 시스템
US9135803B1 (en) * 2014-04-17 2015-09-15 State Farm Mutual Automobile Insurance Company Advanced vehicle operator intelligence system
KR102051142B1 (ko) * 2014-06-13 2019-12-02 현대모비스 주식회사 차량용 운전자 위험 지수 관리 시스템 및 그 방법
CN105313898B (zh) * 2014-07-23 2018-03-20 现代摩比斯株式会社 驾驶员状态感应装置及其方法
WO2016028228A1 (en) * 2014-08-21 2016-02-25 Avennetz Technologies Pte Ltd System, method and apparatus for determining driving risk
KR102267097B1 (ko) 2014-10-30 2021-06-21 현대모비스 주식회사 차량의 주행안정성 감지장치 및 그 제어방법
KR102286541B1 (ko) 2015-01-22 2021-08-09 주식회사 만도 차량 제어 장치 및 방법
KR101730321B1 (ko) * 2015-08-03 2017-04-27 엘지전자 주식회사 운전자 보조 장치 및 그 제어방법
US20170267251A1 (en) * 2016-03-15 2017-09-21 Palo Alto Research Center Incorporated System And Method For Providing Context-Specific Vehicular Driver Interactions

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111071257A (zh) * 2018-10-18 2020-04-28 株式会社万都 用于车辆的紧急控制装置
KR20200046179A (ko) * 2018-10-18 2020-05-07 주식회사 만도 차량 긴급 제어 장치
CN111071257B (zh) * 2018-10-18 2024-06-18 汉拿科锐动电子股份公司 用于车辆的紧急控制装置
KR20200075930A (ko) * 2018-12-11 2020-06-29 만도헬라일렉트로닉스(주) 사각지대 감지 시스템
KR20200104447A (ko) * 2019-02-26 2020-09-04 주식회사 삼일비앤씨 운전자 위험상황 예방 시스템
KR102482165B1 (ko) * 2021-08-11 2022-12-27 한양대학교 에리카산학협력단 주행안정성 통합평가 지표 생성 방법 및 주행안정성 통합평가 지표

Also Published As

Publication number Publication date
US20180260642A1 (en) 2018-09-13
DE102017221253A1 (de) 2018-09-13
US10679079B2 (en) 2020-06-09

Similar Documents

Publication Publication Date Title
KR20180104235A (ko) 운전자 상태 모니터링 방법 및 장치
CN108877261B (zh) 具有用于检测从后方靠近的车辆的装置的摩托车
KR101950476B1 (ko) 운전자 상태 감지 시스템, 운전자 상태 감지 방법 및 운전자 감지 시스템을 장착한 차량
JP5974915B2 (ja) 覚醒度検出装置、および覚醒度検出方法
US8184008B2 (en) On-board warning apparatus and warning method
US10023199B2 (en) Method and device for ascertaining a state of drowsiness of a driver
US20100007479A1 (en) Adaptive driver warning methodology
US20100214087A1 (en) Anti-drowsing device and anti-drowsing method
KR101938314B1 (ko) 운전 습관에 따른 후측방 경보 장치 및 방법
KR102239992B1 (ko) 차량 충돌 경고 방법 및 장치
JP4529394B2 (ja) ドライバの車両運転特性推定装置
KR20140019571A (ko) 후측방 경보 시스템 및 방법
EP2670147A2 (en) Abnormality diagnosis device and method, imager including the abnormality diagnosis device, mobile vehicle control system and mobile vehicle
EP2908726A1 (en) Driver attentiveness detection method and device
KR20200069841A (ko) 차량의 안전 하차 보조 장치, 그를 포함한 시스템 및 그 방법
KR20120074820A (ko) 얼굴 인식 기능을 이용한 차량 제어 시스템
JP2018125639A (ja) 熱画像処理装置、赤外線撮像装置、熱画像処理方法、及び熱画像処理プログラム
KR20140107880A (ko) 졸음 운전 방지 시스템 및 그 방법
US11608070B2 (en) System and method for monitoring driver
CN115965857A (zh) 一种环境光处理方法及dms系统
KR20150006983A (ko) 전방 차량 충돌 경고 장치 및 방법
WO2014162654A1 (ja) 監視システム
KR20120052547A (ko) 페일세이프 기능을 구비한 비전 시스템 및 그 비전 시스템의 페일세이프 방법
KR101823385B1 (ko) 사이드 카메라를 이용한 차선 이탈 경보 시스템의 인식률 향상 장치 및 방법
JP2007133644A (ja) 歩行者認識装置

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20170310

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20180402

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20180903

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20180402

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

PG1501 Laying open of application
AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20180903

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20180601

Comment text: Amendment to Specification, etc.

PX0601 Decision of rejection after re-examination

Comment text: Decision to Refuse Application

Patent event code: PX06014S01D

Patent event date: 20181022

Comment text: Amendment to Specification, etc.

Patent event code: PX06012R01I

Patent event date: 20181002

Comment text: Decision to Refuse Application

Patent event code: PX06011S01I

Patent event date: 20180903

Comment text: Amendment to Specification, etc.

Patent event code: PX06012R01I

Patent event date: 20180601

Comment text: Notification of reason for refusal

Patent event code: PX06013S01I

Patent event date: 20180402