[go: up one dir, main page]

KR101901417B1 - 감성기반 안전운전 자동차 서비스 시스템, 안전운전 서비스를 위한 감성인지 처리 장치 및 안전운전 서비스 장치, 감성기반 차량용 안전운전 서비스 방법 - Google Patents

감성기반 안전운전 자동차 서비스 시스템, 안전운전 서비스를 위한 감성인지 처리 장치 및 안전운전 서비스 장치, 감성기반 차량용 안전운전 서비스 방법 Download PDF

Info

Publication number
KR101901417B1
KR101901417B1 KR1020110086370A KR20110086370A KR101901417B1 KR 101901417 B1 KR101901417 B1 KR 101901417B1 KR 1020110086370 A KR1020110086370 A KR 1020110086370A KR 20110086370 A KR20110086370 A KR 20110086370A KR 101901417 B1 KR101901417 B1 KR 101901417B1
Authority
KR
South Korea
Prior art keywords
vehicle
state
service
driving
safe
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020110086370A
Other languages
English (en)
Other versions
KR20130023535A (ko
Inventor
신현순
이용귀
조준
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020110086370A priority Critical patent/KR101901417B1/ko
Priority to US13/594,003 priority patent/US8862317B2/en
Publication of KR20130023535A publication Critical patent/KR20130023535A/ko
Application granted granted Critical
Publication of KR101901417B1 publication Critical patent/KR101901417B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0836—Inactivity or incapacity of driver due to alcohol
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2510/00—Input parameters relating to a particular sub-units
    • B60W2510/06—Combustion engines, Gas turbines
    • B60W2510/0604—Throttle position
    • B60W2510/0609—Throttle change rate
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/04—Vehicle stop
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/18—Propelling the vehicle
    • B60Y2300/18008—Propelling the vehicle related to particular drive situations
    • B60Y2300/18091—Preparing for stopping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/80—Technologies aiming to reduce greenhouse gasses emissions common to all road transportation technologies
    • Y02T10/84—Data processing systems or methods, management, administration

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 운전자 또는 탑승자의 감성과 자동차의 감성을 인지하여 이를 기반으로 안전 운전 서비스를 제공해 주는 감성인지기반 안전운전 자동차 시스템 및 그 제어 방법에 관한 것으로, 자동차의 핸들이나 좌석, 변속기, 천정 등 에 멀티센서 노드를 구축하고 운전환경에서 인간의 자율신경계 반응을 통해 나타나는 생체신호 및 환경신호를 센싱하여 운전자 및 탑승자의 감성 및 운전 상황을 인지하고, 인지된 감성정보에 기반한 안전운전 제어 및 서비스를 제공할 수 있는 감성인지기반 안전운전 자동차 시스템 및 그 제어 방법에 관한 것이다. 이를 위하여 차량용 멀티 감성센싱 노드, 상기 멀티 센서 노드로부터 센싱된 신호를 기반으로 운전자 및 탑승자와 자동차의 감성상태를 인지하는 감성인지장치와 인지된 감성상태를 기반으로 안전운전 서비스를 제공하는 감성인지기반 안전운전 서비스 장치를 포함할 수 있다.

Description

감성기반 안전운전 자동차 서비스 시스템, 안전운전 서비스를 위한 감성인지 처리 장치 및 안전운전 서비스 장치, 감성기반 차량용 안전운전 서비스 방법{SYSTEM OF SAFE DRIVING CAR EMOTION COGNITIVE-BASED AND METHOD FOR CONTROLLING THE SAME}
본 발명은 감성기반 차량용 안전운전 서비스 기술에 관한 것으로, 더욱 상세하게는 운전자 및 탑승자의 감성정보와 차량의 상태정보를 인지하여 이를 기반으로 안전 운전 서비스를 제공하는데 적합한 감성기반 안전운전 자동차 서비스 시스템, 안전운전 서비스를 위한 감성인지 처리 장치 및 안전운전 서비스 장치, 감성기반 차량용 안전운전 서비스 방법에 관한 것이다.
전 세계적 라이프 패러다임(life paradigm)은 삶의 질 향상을 위한 인간 도우미가 될 수 있는 전문 기술을 요구하고 있다. 특히, 현대 생활의 필수품인 자동차의 홍수 속에서 안전하고 편리한 운전환경을 제공하는 자동차의 필요성이 대두되고 있으나 아직까지 창의적 신개념의 감성인지기반의 감성적 안전운전 기능을 제공하는 자동차 기술은 전무한 상태이다.
특히, 최근 사회적인 문제가 되고 있는 차량을 통한 범죄나 음주운전, 광란의 질주, 운전 중 휴대전화 통화 등을 자동 인지하여 위험상황이나 범행상황 발생을 미리 예측하고 예방할 수 있는 차량용 안전운전 서비스 기술이 필요한 실정이다.
한국공개특허 2011-0060061호, 패드인쇄층을 가지는 자동차 내장재 및 그 제조 방법, 2011.06.08 공개 한국공개특허 2011-0062970, 전방 차량 감지 시스템, 2011.06.10 공개
이에 본 발명의 실시예에서는, 운전자, 탑승자의 감성 및 자동차의 감성을 자동 인지하여 위험상황이나 범행상황 발생을 사전 예방할 수 있는 감성인지기반 차량용 안전운전 서비스 기술을 제안하고자 한다.
또한, 본 발명의 실시예에서는, 자동차의 핸들이나 좌석, 변속기, 천정 등에 멀티센서 노드를 구축하여 운전환경에서 인간의 자율신경계 반응을 통해 나타나는 생체신호 및 환경신호를 센싱하여 운전자 및 탑승자의 감성 및 운전 상황을 인지하고, 인지된 감성정보에 기반한 안전운전 제어 및 서비스를 제공할 수 있는 감성인지기반 차량용 안전운전 서비스 기술을 제안하고자 한다.
본 발명의 실시예에 따른 감성기반 안전운전 자동차 서비스 시스템은, 차량 내의 운전자 및 탑승자의 감성신호를 센싱하는 멀티 감성센서 노드 그룹과, 상기 멀티 감성센서 노드 그룹으로부터 제공되는 센싱정보를 분석하여 감성 인지정보를 생성하는 감성인지 처리 장치와, 상기 감성인지 처리 장치의 감성 인지정보에 따라 감성기반 안전운전 서비스를 제공하는 안전운전 서비스 장치를 포함할 수 있다.
여기서, 상기 멀티 감성센서 노드 그룹은, 핸들 센서노드 또는 운전석 센서노드 또는 탑승석 센서노드 또는 변속기 센서노드 또는 천정 센서노드 또는 앞 유리 센서노드 중 적어도 하나를 포함할 수 있다.
또한, 상기 멀티 감성센서 노드 그룹의 각각의 센서노드는, 심박센서 또는 피부반응센서 또는 체온센서 또는 음성센서 또는 영상센서 또는 가속도센서 또는 기울기센서 중 적어도 하나를 포함할 수 있다.
또한, 상기 감성 인지정보는, 사용자 감성정보와 차량 상태정보를 포함할 수 있다.
본 발명의 실시예에 따른 안전운전 서비스를 위한 감성인지 처리 장치는, 차량 내 운전자와 탑승자의 감성정보를 인지하는 사용자 감성 인지부와, 상기 차량의 상태정보를 인지하는 차량상태 인지부를 포함하며, 상기 사용자 감성 인지부는, 다채널로 센싱된 생체신호를 기반으로 감성인지에 필요한 정보를 분석하는 다중 생체신호기반 감성신호 분석부와, 다채널로 센싱된 영상신호를 기반으로 감성인지에 필요한 정보를 분석하는 영상신호 기반 감성신호 분석부와, 다채널로 센싱된 음성신호를 기반으로 감성인지에 필요한 정보를 분석하는 음성신호 기반 감성신호 분석부와, 다채널로 센싱된 움직임신호를 기반으로 감성인지에 필요한 정보를 분석하는 움직임 기반 감성신호 추출부와, 다채널로 센싱된 냄새정보를 기반으로 감성인지에 필요한 정보를 분석하는 냄새 인식기반 감성신호 분석부와, 다채널로 센싱된 온도 및 습도를 기반으로 감성인지에 필요한 정보를 분석하는 온도/습도 신호 분석부와, 다채널로 센싱된 위치정보를 기반으로 감성인지에 필요한 정보를 분석하는 위치인식 및 분석부와, 다채널로 센싱된 상기 운전자의 감성상태를 기반으로 감성인지에 필요한 정보를 분석하는 운전자 감성상태 인지부와, 다채널로 센싱된 상기 탑승자의 감성상태를 기반으로 감성인지에 필요한 정보를 분석하는 탑승자 감성상태 인지부를 포함하며, 상기 차량상태 인지부는, 상기 차량의 흡기 매니폴드(manifold)의 압력변화를 감지하는 맵(MAPS, Manifold Absolute Pressure Sensor) 센서부와, 상기 차량의 냉각수량을 감지하는 냉각수 센서부와, 상기 차량의 주변 밝기를 감지하는 조도 센서부와, 상기 차량의 속도를 감지하는 가속 센서부와, 상기 차량의 스로틀(throttle) 바디 측면에 장착되어 스로틀 밸브의 열림량을 감지하는 스로틀 포지션(throttle position) 센서부와, 상기 차량의 엔진의 이상연소를 감지하는 노크(knock) 센서부를 포함할 수 있다.
여기서, 상기 감성인지 처리 장치는, 근거리 무선 네트워크를 통해 상기 운전자 및 탑승자의 감성을 인지하는데 필요한 센싱신호정보와 상기 차량의 상태신호정보를 수신할 수 있다.
본 발명의 실시예에 따른 안전운전 서비스 장치는, 안전운전 서비스 장치의 사용자 인터페이스 환경을 제공하는 차량 감성단말 UI(User Interface)와, 감성인지 처리 장치로부터 제공되는 감성 인지정보를 관리하고 외부와 연동하는 감성정보 관리부와, 상기 감성정보 관리부를 통해 관리되는 감성 인지정보에 따라 차량의 ECU 연동 안전운전을 제어하는 ECU 연동 안전운전 제어부와, 상기 ECU 연동 안전운전 제어부를 통해 상기 차량이 제어될 때 상기 차량 주변의 감성케어 안전운전을 서비스하는 감성케어 안전운전 서비스부를 포함할 수 있다.
여기서, 상기 감성정보 관리부는, 사용자 감성정보 관리부와, ECU 연동부와, 차량 상태정보 관리부와, 개인단말 연동 관리부와, 외부망 연동 인터페이스부를 포함할 수 있다.
또한, 상기 ECU 연동 안전운전 제어부는, 핸들 제어부와, 가속 패달 제어부와, 브레이크 제어부와, 시동 락(lock) 제어부와, 자동 차량속도 감속제어부와, 자동 차량정지 제어부를 포함할 수 있다.
또한, 상기 감성케어 안전운전 서비스부는, 차량외부 UI 플랫폼부와, 감성상태정보와 경고를 안내하는 안내 방송부와, 감성케어와 관련된 오디오 정보를 서비스하는 감성케어 오디오 서비스부와, 상기 감성케어와 관련된 비디오 정보를 서비스하는 감성케어 비디오 서비스부와, 상기 차량의 상황을 영상으로 서비스하는 실시간 차량상황 영상 전송부와, 긴급출동신고 메시지 긴급출동 서비스 센터에 신고하기 위한 메시지, 또는 지인에게 알림 정보를 보내기 위한 메시지에 대한 발송을 처리하는 차량상황정보 메시지 처리부와, 상기 감성케어와 관련된 조명을 설정하는 조명 설정부와, 상기 감성케어와 관련된 공기 환기를 위한 공조기, 에어컨디셔너, 유리창 개폐를 조절하는 환기 조절부를 포함할 수 있다.
본 발명의 실시예에 따른 감성기반 안전운전 서비스 방법은, 차량 내의 운전자 및 탑승자를 인식하여 센싱타겟을 객체화 하고, 멀티 감성센서 노드에 포함되는 다수의 센서들을 이용하여 감성인지에 필요한 정보를 센싱하는 과정과, 센싱되는 아날로그 신호를 디지털화하고 필터링하는 신호처리 과정과, 상기 신호처리 과정의 수행 후, 상기 멀티 감성센서 노드에 의해 검출된 멀티감성 센싱신호를 메시지 정보로 변환하는 과정과, 상기 메시지 정보로 변환되는 상기 멀티감성 센싱신호를 네트워크를 통해 감성인지 처리 장치로 전송하는 과정을 포함할 수 있다.
여기서, 상기 감성 인지정보는 상기 차량 내의 운전자 및 탑승자의 감성정보와 상기 차량의 상태정보를 포함할 수 있다.
또한, 상기 멀티 감성센서 노드는 다수의 센서들을 포함하며, 상기 다수의 센서들은, 심박 센서 또는 피부반응 센서 또는 체온 센서 또는 음성 센서 또는 영상 센서 또는 가속도 및 기울기 센서 중 적어도 하나를 포함할 수 있다.
또한, 상기 신호처리 하는 과정은, 상기 심박 센서로부터 센싱된 신호들을 분석하여 HRV/맥파 및 혈류 산화포화도 및 혈류의 세기를 검출하는 과정과, 상기 피부반응 센서로부터 센싱된 신호들을 분석하여 피부전도도를 검출하는 과정과, 상기 체온 센서로부터 센싱된 신호를 분석하여 피부온도를 검출하는 과정과, 상기 음성 센서로부터 센싱된 신호를 분석하여 음성 및 음파를 검출하는 과정과, 상기 영상 센서로부터 센싱된 신호를 분석하여 동공 및 안면의 상태를 검출하는 과정과, 상기 가속도 및 기울기 센서로부터 센싱된 신호를 분석하여 움직임 및 활동상태를 검출하는 과정을 포함할 수 있다.
본 발명의 실시예에 따른 감성기반 안전운전 서비스 방법은, 멀티 감성센서 노드로부터 수신되는 센싱신호를 분류하는 과정과, 분류되는 상기 센싱신호를 특성에 따라 분석하는 과정과, 상기 분석 결과에 따라 차량 내의 운전자 및 탑승자에 대해 감성 추론 알고리즘을 적용하여 상기 차량 내의 운전자 및 탑승자에 대한 감성정보를 추출하고 감성을 인지하는 과정과, 분류되는 상기 센싱신호를 센서노드의 특성에 따라 분석하여 상기 차량의 상태정보를 추출하는 과정과, 상기 운전자 및 탑승자에 대한 감성정보와, 상기 차량의 상태정보를 분석하고, 분석 결과를 안전운전 서비스 장치로 제공하여 선택적인 안전운전 서비스가 제공되도록 하는 과정을 포함할 수 있다.
여기서, 상기 차량 내의 운전자 및 탑승자에 대한 감성정보는, 상기 운전자 및 탑승자에 대한 생리 감성정보 및 심리 감성정보를 포함할 수 있다.
또한, 상기 안전운전 서비스 장치는, 상기 분석 결과를 바탕으로 상기 운전자의 상태가 졸음 운전 상태인 경우, 또는 피곤/건강악화 상태인 경우, 또는 음주 운전 상태인 경우, 또는 화가 난 상태인 경우, 또는 공포감을 느끼는 경우, 또는 운전 중 통화 중인 경우로 각각 구분하여 안전운전 서비스를 선택적으로 수행할 수 있다.
또한, 상기 안전운전 서비스 장치는, 상기 분석 결과에 따라 감성케어를 위한 비디오 서비스 및 오디오 서비스를 제공할 수 있다.
또한, 상기 안전운전 서비스 장치는, 상기 분석 결과에 따라 경고 메시지 또는 감성상태 메시지 및 경고 화면 또는 감성상태 화면을 출력할 수 있다.
또한, 상기 안전운전 서비스 장치는, 상기 분석 결과에 따라 상기 차량의 속도 또는 핸들강도 또는 페달강도를 조절할 수 있다.
또한, 상기 안전운전 서비스 장치는, 상기 분석 결과에 따라 긴급출동 서비스 센터에 자동 신고하거나 상기 차량의 위치정보를 수집할 수 있다.
또한, 상기 선택적인 안전운전 서비스는, 상기 운전자의 현재 상태가 졸음 운전 상태인 경우에 상기 안전운전 서비스 장치가 차량 외부에 졸음운전상태를 표현하는 과정과, 졸음운전 상황에서 안전운전 제어를 위한 ECU와의 연동 프로세스를 구동시켜 졸음 강도에 따른 차량 속도 저하 제어 또는 핸들 강도 조절 또는 패달 강도 조절을 위한 제어를 수행하는 과정과, 상기 안전운전 서비스 장치가 졸음 감성 서비스를 구동하여 차량단말을 통한 졸음 상태에 대한 안내방송을 수행하고, 공조 시스템 제어를 통한 차량내 공기를 환기시키는 과정과, 상기 안전운전 서비스 장치가 졸음 각성을 위한 뮤직 서비스를 제공하고, 차량 사이드길 주정차 유도 안내방송을 수행하는 과정과, 상기 안전운전 서비스 장치가 졸음 상태를 계속 모니터링할 수 있으며, 계속 졸음상태가 유지되고 있는 것으로 판단되면, 상기 안전운전 서비스 장치가 기동 순찰대와 연동하여 차량 사이드길 정차를 유도하는 과정과, 상기 안전운전 서비스 장치가 상기 ECU와 연동하여 사이드길로 정차제어를 수행하여 졸음운전은 중지 시키고 상기 ECU의 연동 및 졸음 각성 서비스 프로세스를 종료하는 과정과, 졸음상태로부터 각성되어 있으면, 상기 안전운전 서비스 장치가 졸음상태로부터 운전가능 상태로 각성되었음을 안내하고, 상기 ECU의 연동 및 졸음 각성 서비스 프로세스를 종료하는 과정을 포함할 수 있다.
또한, 상기 선택적인 안전운전 서비스는, 상기 운전자의 현재 상태가 피곤 또는 건강악화 상태이면 상기 안전운전 서비스 장치가 차량 외부에 운전자 피곤상태를 표시하는 과정과, 운전자 건강상태에 따른 안전운전 서비스 프로세스를 구동시켜 차량단말을 통한 피곤 및 건강 상태를 안내방송하고 건강상태를 차량단말에 디스플레이 하는 과정과, 상기 안전운전 서비스 장치가 피곤 및 건강상태가 운전불가 임계치에 도달했는지를 판단하는 과정과, 상기 판단 결과, 상기 운전자의 피곤 및 건강상태가 운전불가 상태이면, 상기 안전운전 서비스 장치가 긴급출동 서비스에 신고를 수행하고, 상기 차량의 위치정보를 수집한 후 이를 119 및 기동 순찰대에 통보하는 과정과, 상기 안전운전 서비스 장치가 상기 운전자의 지인에게 건강악화 상태를 통보하고 ECU연동 및 건강상태 안전운전 서비스 프로세스를 종료하는 과정과, 상기 판단 결과, 상기 운전자의 피곤 및 건강상태가 운전불가 상태가 아니면, 상기 안전운전 서비스 장치가 피곤상태 안전운전 제어를 위한 ECU연동 프로세스를 구동하여 상기 차량의 안전속도 제어를 수행하며, 차량단말 네비게이션과 연동하여 목적지 안전운전 제어를 수행하고 ECU연동 및 건강상태 안전운전 서비스 프로세스를 종료하는 과정을 포함할 수 있다.
또한, 상기 선택적인 안전운전 서비스는, 상기 운전자의 현재 상태가 음주운전 상태이면, 상기 안전운전 서비스 장치가 상기 차량의 외부에 음주운전 상태임을 표현하는 과정과, 상기 안전운전 서비스 장치가 음주운전 방지 서비스 프로세스를 구동시켜 차량단말을 통한 알코올농도를 디스플레이 하고, 상기 차량단말을 통한 음주운전 경고 안내 방송을 수행하는 과정과, 상기 안전운전 서비스 장치가 상기 차량이 운전정지 상태인지를 판단하는 과정과, 상기 판단 결과, 운전정지 상태이면 음주운전 방지 서비스 프로세스를 종료하는 과정과, 상기 판단 결과, 상기 차량이 계속 운전 중인 것으로 판단한 경우에는 상기 안전운전 서비스 장치가 ECU 연동 프로세스를 구동시켜 차량 사이드 길 정차 제어를 수행하고, 음주 상태에서 더 이상 운전을 할 수 없도록 상기 차량의 시동 락(lock) 제어를 수행하는 과정과, 상기 안전운전 서비스 장치가 기동 순찰대 자동연동을 통해 음주운전 차량의 정보를 통보하고, 차량의 위치정보를 수집하여 기동순찰대에게 통보하는 과정과, 상기 안전운전 서비스 장치가 ECU연동 및 음주운전 방지 서비스 프로세스를 종료하는 과정을 포함할 수 있다.
또한, 상기 선택적인 안전운전 서비스는, 상기 운전자의 현재 상태가 화가 난 상태인 경우에 상기 안전운전 서비스 장치가 상기 차량 외부에 운전자가 화남감성의 난폭운전 상태임을 표현하고, 난폭운전 방지 서비스 프로세스를 구동시켜 차량단말을 통한 난폭운전 경고 안내 방송을 수행하는 과정과, 상기 안전운전 서비스 장치가 상기 차량이 지속적으로 운행 중인지를 체크하는 과정과, 상기 체크 결과, 상기 운전자가 난폭운전을 정지(포기)하고 차량을 주/정차 시킨 것으로 판단한 경우에는 상기 안전운전 서비스 장치가 난폭운전 방지 서비스 프로세스를 종료하는 과정과, 상기 체크 결과, 상기 운전자가 난폭운전을 포기하지 않고 계속 차량을 운전하는 것으로 판단한 경우에는 상기 안전운전 서비스 장치가 ECU 연동 프로세스를 구동시켜 핸들강도 조절제어를 수행하고 가속페달 강도 제어를 수행하는 과정과, 상기 안전운전 서비스 장치가 감성 케어 음악을 재생시키고, 기동 순찰대 자동연동을 통해 난폭운전 차량정보를 통보하며, 상기 차량의 위치정보를 수집하여 기동순찰대에 통보하는 과정과, 상기 안전운전 서비스 장치가 ECU연동 및 난폭운전 방지 서비스 프로세스를 종료하는 과정을 포함할 수 있다.
또한, 상기 선택적인 안전운전 서비스는, 상기 운전자 또는 탑승자가 공포감을 느끼는 것으로 파악된 경우에 상기 안전운전 서비스 장치가 상기 차량 외부에 차량 내부 공포상태임을 표현하고, 공포상태로부터의 구출 서비스 프로세스를 구동시켜 공포로부터 보호하는 서비스를 제공하는 과정과, 상기 안전운전 서비스 장치가 차량 내부의 상황 실시간 영상/음성 데이터를 수집하고, 112, 119 기동 또는 기동순찰대에 자동신고를 수행하며, 수집 데이터를 112, 119 기동 또는 기동순찰대 센터로 실시간 송출하는 과정과, 상기 안전운전 서비스 장치가 상기 차량의 위치정보를 수집하고, 수집된 위치정보를 상기 112, 119 기동 또는 기동순찰대 센터로 실시간 송출하는 과정과, 상기 112, 119 기동 또는 기동순찰대 센터가 수신된 정보를 분석하여 상기 차량의 추적 및 정지 제어가 필요한지를 판단하는 과정과, 상기 판단 결과, 차량 정지제어가 필요하지 않다고 판단되면, 상기 안전운전 서비스 장치가 상기 과정들을 공포상태 감지가 해소될 때까지 반복 수행하는 과정과, 상기 판단 결과, 차량 정지제어가 필요하다고 판단되면, 상기 안전운전 서비스 장치가 ECU 연동 프로세스를 구동시켜 차량 정차 제어를 수행하고, 112, 119 기동 또는 기동순찰대가 도착할 때까지 시동 락 제어를 수행하는 과정과, 상기 안전운전 서비스 장치가 ECU연동 및 공포상태로부터 구출 서비스 프로세스를 종료하는 과정을 포함할 수 있다.
또한, 상기 선택적인 안전운전 서비스는, 상기 운전자가 운전 중 통화상태이면, 상기 안전운전 서비스 장치가 상기 차량 외부에 운전 중 휴대전화 통화상태를 표현하고, 운전 중 휴대전화 통화 방지 서비스 프로세스를 구동시켜 차량단말을 이용하여 운전 중 휴대전화 통화 중지 안내를 방송하고, 핸즈프리 연결 통화를 유도하는 과정과, 상기 안전운전 서비스 장치가 운전자의 자발적 핸즈프리 연결통화가 이루어지는지를 체크하는 과정과, 상기 체크 결과, 운전자의 자발적 핸즈프리 연결통화가 이루어진 것으로 판단한 경우에는 상기 안전운전 서비스 장치가 운전 중 휴대전화 통화 방지 서비스 프로세스를 종료하는 과정과, 상기 체크 결과, 운전자의 자발적 핸즈프리 연결통화가 이루어지지 않은 것으로 판단한 경우, 상기 안전운전 서비스 장치가 상기 차량단말을 이용하여 무선 핸즈프리 자동연결 통화 기능 제공을 안내하고, 상기 무선 핸즈프리 자동연결 통화 기능 제공을 수락할 것인지를 입력 받아 수락여부를 조사하는 과정과, 상기 조사 결과, 연결 수락인 경우에 상기 안전운전 서비스 장치가 자동 무선통신 핸즈프리 연결 기능을 수행하여 핸즈프리 통화 서비스를 제공하고, 운전 중 휴대폰 통화방지 서비스 프로세스를 종료하는 과정과, 상기 조사 결과, 연결 수락이 아닌 경우에 상기 안전운전 서비스 장치가 ECU 연동 프로세스를 구동하여 핸들 강도 조절 제어를 수행하고 가속페달 감속제어를 수행하며 교통흐름 및 안전운전 환경 구축을 위해 사이드 길(갓 길) 정차제어를 수행하고 운전 중 휴대폰 통화방지 서비스 프로세스 및 ECU 연동 프로세스를 종료하는 과정과, 상기 안전운전 서비스 장치가 통화포기 유도 서비스 프로세스를 구동하여 통화품질 다운(down) 기능을 수행하여 통화중단을 유도하며 운전중 휴대전화 통화를 포기하는지를 체크하는 과정과, 상기 체크 결과, 운전 중 휴대전화 통화를 포기하지 않으면, 상기 통화품질다운 기능을 통화가 끝날 때까지 계속 수행하고, 운전 중 휴대전화 통화를 포기한 것으로 체크된 경우에는 상기 안전운전 서비스 장치가 운전 중 휴대폰 통화방지 서비스 프로세스 및 ECU 연동 프로세스를 종료하는 과정을 포함할 수 있다.
본 발명에 의하면, 감성인식 기술이 적용된 보호/안전 운전 체제를 구현하여 자동차가 단순한 이동수단이 아니라 사람의 건강상태나 감성상태를 케어(care)하고 관리하는 도구로 활용될 수 있으며, 스마트폰과 같이 개인에 특화된 생활도구로서의 가치가 더욱 상승되게 될 것이다. 또한, 운전자 및 동승자의 감성상태를 인식하여 이를 안전운전에 활용하여 교통사고 감소에 도움을 줄 수 있다. 또한, 각종 차량 범죄를 미연에 예방하고 범죄 발생 시 신속한 감지가 가능하여 범죄율 감소에 도움을 줄 수 있다.
도 1은 본 발명의 실시예에 따른 감성인지기반 차량용 안전운전 서비스 시스템에 대한 개략적인 블록 구성도,
도 2는 본 발명의 실시예에 따른 안전운전 서비스를 위한 차량용 멀티 감성센서 노드, 예컨대 도 1의 멀티 감성센서 노드 그룹(100)의 상세 개념도,
도 3은 본 발명의 실시예에 따른 안전운전 서비스를 위한 감성인지 처리 장치, 예컨대 도 1의 감성인지 처리 장치(200)의 상세 구성 블록도,
도 4는 본 발명의 실시예에 따른 안전운전 서비스를 위한 장치, 예컨대 도 1의 안전운전 서비스 장치(300)의 상세 구성 블록도,
도 5는 본 발명의 실시예에 따른 멀티 감성센서 노드(100)의 감성기반 안전운전 서비스 방법을 설명하기 위한 흐름도,
도 6은 본 발명의 실시예에 따른 감성인지 처리 장치(200)의 감성기반 안전운전 서비스 방법을 설명하기 위한 흐름도,
도 7 내지 도 12는 도 6의 감성 인지정보에 대한 감성상태 및 운전상황 분석 결과에 따라 안전운전 서비스 장치(300)에서 행해지는 감성기반 안전운전 서비스 방법의 세부 서비스 과정을 예시적으로 나타낸 흐름도들.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 도면부호는 동일 구성 요소를 지칭한다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또한, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
실시예의 설명에 앞서, 본 발명은 자동차에서 사용자가 접한 상황에 따라 반응하는 감성을 인지하여 안전운전 서비스를 제공하는 감성기반 차량용 안전운전 서비스 기술을 제안하고자 하는 것으로, 이러한 기술사상으로부터 본 발명의 목적으로 하는 바를 용이하게 달성할 수 있을 것이다.
이하, 본 발명의 실시예에 대해 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 감성기반 차량용 안전운전 서비스 시스템에 대한 전체 구성 블록도로서, 멀티 감성센서 노드 그룹(100), 네트워크(10), 감성인지 처리 장치(200), 안전운전 서비스 장치(300) 등을 포함할 수 있다.
도 1에 도시한 바와 같이, 멀티 감성센서 노드 그룹(100)은 운전자 및 탑승자의 감성정보와 차량의 상태정보를 센싱하는 다수의 센서노드들을 포함할 수 있으며, 센싱되는 센싱정보를 후술하는 네트워크(10)를 통해 감성인지 처리 장치(200)로 전달할 수 있다.
네트워크(10)는 멀티 감성센서 노드 그룹(100)에서 센싱되는 센싱정보를 감성인지 처리 장치(200)로 전달하기 위한 통신 수단으로서, 예컨대 근거리 네트워크 통신 수단을 포함할 수 있다. 여기서, 근거리 네트워크 통신 수단에는, 예를 들어 블루투스(bluetooth), NFC(Near Field Communication), RFID(Radio Frequency Identification), 지그비(Zigbee) 등의 근거리 무선 네트워크 통신 방식이 적용될 수 있다.
감성인지 처리 장치(200)는 멀티 감성센서 노드 그룹(100)으로부터 제공되는 센싱정보로부터 사용자 감성인지정보와 차량상태정보를 인지하고, 인지되는 사용자의 감성정보 및 차량의 상태정보를 안전운전 서비스 장치(300)로 전달하는 역할을 할 수 있다.
안전운전 서비스 장치(300)는 감성인지 처리 장치(200)로부터 제공되는 감성 인지정보에 따라 안전운전 서비스를 제공하는 역할을 할 수 있다.
도 2는 본 발명의 실시예에 따른 차량용 멀티 감성센서 노드 그룹(100)을 보다 상세하게 설명하기 위한 도면이다.
도 2를 참조하면, 차량용 멀티 감성센서 노드 그룹(100)은, 핸들 센서노드(102), 운전석 센서노드(104), 탑승석 센서노드(106), 변속기 센서노드(108), 천정 센서노드(110), 앞 유리 센서노드(112) 등을 포함할 수 있다.
이들 각각의 멀티 감성센서 노드들(102~112)은 차량 내에 장착되어 다양한 형태의 센싱정보, 즉 사용자의 감성을 인지하는데 필요한 생체 및 환경신호정보와 차량의 상태신호정보를 센싱하고, 센싱되는 센싱정보를 네트워크(10)를 통해 감성인지 처리 장치(200)로 전송할 수 있다.
이때의 센싱정보는 도 2에 예시한 바와 같이, 동공정보, 안면정보, 피부 전도도, 산소포화도, 음성정보, 냄새정보, 체온정보, 심박정보 등을 포함할 수 있으며, 각각의 센서노드, 예를 들어 핸들 센서노드(102)에는 이러한 정보들을 센싱하기 위한 다수의 센서들이 장착될 수 있다.
본 발명의 실시예에서는 운전석 센서노드(104)에 냄새 측정센서, 체온 측정센서, 심박 측정센서 등이 장착될 수 있는 것으로 예시하였으나, 이는 실시예를 설명하기 위한 예시일 뿐, 필요에 따라 보다 다양한 종류의 센서들이 장착될 수 있음을 당업자라면 용이하게 알 수 있을 것이다.
도 3은 본 발명의 실시예에 따른 차량 내 운전자와 탑승자의 감성정보와 차량의 상태정보를 인지하는 차량용 감성인지 처리 장치(200)를 보다 상세하게 설명하기 위한 블록도면이다.
도 3을 참조하면, 상기 차량용 감성인지 처리 장치(200)는 사용자 감성 인지부(2100), 차량상태 인지부(2200) 등을 포함할 수 있다.
도 3에 도시한 바와 같이, 사용자 감성 인지부(2100)는 다채널로 센싱된 생체신호를 기반으로 감성인지에 필요한 정보를 분석하는 다중 생체신호기반 감성신호 분석부(2102), 다채널로 센싱된 영상신호를 기반으로 감성인지에 필요한 정보를 분석하는 영상신호 기반 감성신호 분석부(2104), 다채널로 센싱된 음성신호를 기반으로 감성인지에 필요한 정보를 분석하는 음성신호 기반 감성신호 분석부(2106), 다채널로 센싱된 움직임신호를 기반으로 감성인지에 필요한 정보를 분석하는 움직임 기반 감성신호 추출부(2108), 다채널로 센싱된 냄새정보를 기반으로 감성인지에 필요한 정보를 분석하는 냄새 인식기반 감성신호 분석부(2110), 다채널로 센싱된 온도 및 습도를 기반으로 감성인지에 필요한 정보를 분석하는 온도/습도 신호 분석부(2112), 다채널로 센싱된 위치정보를 기반으로 감성인지에 필요한 정보를 분석하는 위치인식 및 분석부(2114), 다채널로 센싱된 운전자의 감성상태를 기반으로 감성인지에 필요한 정보를 분석하는 운전자 감성상태 인지부(2116), 다채널로 센싱된 탑승자의 감성상태를 기반으로 감성인지에 필요한 정보를 분석하는 탑승자 감성상태 인지부(2118) 등을 포함할 수 있다.
차량상태 인지부(2200)는 차량의 흡기 매니폴드(manifold)의 압력변화를 감지하는 맵(MAPS, Manifold Absolute Pressure Sensor) 센서부(2202), 차량의 냉각수량을 감지하는 냉각수 센서부(2204), 차량의 주변 밝기를 감지하는 조도 센서부(2206), 차량의 속도를 감지하는 가속 센서부(2208), 스로틀(throttle) 바디 측면에 장착되어 스로틀 밸브의 열림량을 감지하는 스로틀 포지션(throttle position) 센서부(2210), 차량의 엔진의 이상연소를 감지하는 노크(knock) 센서부(2212) 등을 포함할 수 있다.
도 4는 본 발명의 실시예에 따른 감성인지 처리 장치(200)로부터 제공되는 감성 인지정보에 따라 안전운전 서비스를 제공하기 위한 감성기반 안전운전 서비스 장치(300)를 보다 상세하게 설명하기 위한 블록도면이다.
도 4에 도시한 바와 같이, 본 발명의 실시예에 따른 감성기반의 안전운전 서비스 장치(300)는, 안전운전 서비스 장치의 사용자 인터페이스 환경을 제공하는 차량 감성단말 UI(User Interface)(3100), 감성인지 처리 장치(200)로부터 제공되는 감성 인지정보를 관리하고 외부와 연동하는 감성정보 관리부(3200), 감성정보 관리부(3200)를 통해 관리되는 감성 인지정보에 따라 차량의 ECU 연동 안전운전을 제어하는 ECU 연동 안전운전 제어부(3300), 감성정보 관리부(3200)를 통해 관리되는 감성 인지정보에 따라 감성케어를 통해 안전운전을 서비스하는 감성케어 안전운전 서비스부(3400) 등을 포함할 수 있다.
여기서, 감성정보 관리부(3200)는, 사용자 감성정보 관리부(3202), ECU 연동부(3204), 차량 상태정보 관리부(3206), 개인단말 연동 관리부(3208), 외부망 연동 인터페이스부(3210) 등을 포함할 수 있다.
또한, ECU 연동 안전운전 제어부(3300)는 핸들 제어부(3302), 가속 패달 제어부(3304), 브레이크 제어부(3306), 시동 락(lock) 제어부(3308), 자동 차량속도 감속제어부(3310), 자동 차량정지 제어부(3312) 등을 포함할 수 있다.
또한, 감성케어 안전운전 서비스부(3400)는 차량외부 UI 플랫폼부(3402), 운전자 및 탑승자의 감성상태 및 안전운전 유도를 위한 정보를 안내하는 안내 방송부(3404), 감성케어와 관련된 오디오 정보를 서비스하는 감성케어 오디오 서비스부(3406), 감성케어와 관련된 비디오 정보를 서비스하는 감성케어 비디오 서비스부(3408), 차량상황을 영상으로 서비스하는 실시간 차량상황 영상 전송부(3410), 긴급출동신고 메시지, 예를 들어 기동순찰대, 112, 119 등에 신고하기 위한 메시지나 지인에게 알림 정보를 보내기 위한 메시지 등에 대한 발송을 처리하는 차량상황정보 메시지 처리부(3412), 감성케어와 관련된 조명을 설정하는 조명 설정부(3414), 감성케어와 관련된 공기 환기를 위한 공조기, 에어컨디셔너, 유리창 개폐 등을 조절하는 환기 조절부(3416)를 포함할 수 있다.
도 5는 본 발명의 실시예에 따른 감성기반 안전운전 서비스 방법, 구체적으로 도 1의 멀티 감성센서 노드 그룹(100)의 임의의 멀티 감성센서 노드에서 수행되는 동작 과정을 예시적으로 도시한 흐름도이다.
도 5에 도시된 바와 같이, 상기 멀티 감성센서 노드는 운전자 및 탑승자를 인식하여(S100) 센싱타겟을 객체화 하고(S102), 멀티 감성센서 노드에 포함되는 다수의 센서들을 이용하여 운전자 및 탑승자의 감성신호정보와 차량의 상태신호정보를 센싱할 수 있다.
이때, 도 5의 실시예에서는 멀티 감성센서 노드에 포함되는 다수의 센서들을 심박 센서, 피부반응 센서, 체온 센서, 음성 센서, 영상 센서, 가속도 및 기울기 센서로 예시하였다. 즉, 멀티 감성센서 노드를 통해 심박, 피부반응, 체온, 음성, 영상(동공이나 안면), 가속도 및 기울기 등을 센싱할 수 있다(S104)(S106)(S108)(S110)(S112)(S114).
이후, 단계(S116)에서 멀티 감성센서 노드는 이와 같이 센싱된 아날로그 신호를 디지털 신호로 신호처리 할 수 있다(S116). 이때의 신호처리 과정에는, 예를 들어 변환, 증폭 및 필터링 과정 등이 포함될 수 있을 것이다.
구체적으로, 심박 센서로부터 센싱된 신호들을 분석하여 HRV/맥파, 혈류 산화포화도, 혈류의 세기 등을 검출하고(S118), 피부반응 센서로부터 센싱된 신호들을 분석하여 피부전도도를 검출하며(S120), 체온 센서로부터 센싱된 신호를 분석하여 피부온도를 검출하며(S122), 음성인식 센서로부터 센싱된 신호를 분석하여 음성 및 음파를 검출하고(S124), 영상 센서로부터 센싱된 신호를 분석하여 동공 및 안면의 상태를 검출하며(S126), 가속도 및 기울기 센서로부터 센싱된 신호를 분석하여 움직임 및 활동상태를 검출(S128)할 수 있다.
이와 같은 과정들(S118~S128)의 수행 후, 멀티 감성센서 노드는 검출된 센싱신호를 메시지 정보로 변환할 수 있으며(S130), 멀티 감성센서 노드는 메시지 정보로 변환된 센싱신호를 네트워크(10)를 통해 감성인지 처리 장치(200)로 전송할 수 있다(S132).
도 6은 본 발명의 실시예에 따른 감성기반 차량용 안전운전 서비스 방법으로서, 예컨대 감성인지 처리 장치(200)에서 수행되는 안전운전 서비스 과정을 예시한 흐름도이다.
도 6에 도시한 바와 같이, 멀티 감성센서 노드로부터 센싱신호가 수신되면(S200), 감성인지 처리 장치(200)는 수신되는 센싱신호를 분류할 수 있다 (S202).
이후, 감성인지 처리 장치(200)는 분류되는 센싱정보를 센서노드의 특성에 따라 분석하고(S204), 분석 결과에 따라 운전자 및 탑승자에 대해 감성 추론 알고리즘을 적용하여(S206) 운전자 및 탑승자에 대한 감성정보, 예컨대 운전자 및 탑승자에 대한 생리 감성정보 및 심리 감성정보를 추출, 즉 감성상태를 인지할 수 있다(S208).
또한, 감성인지 처리 장치(200)는 분류되는 센싱정보를 센서노드의 특성에 따라 분석하여 차량의 상태정보를 추출할 수 있다.
본 발명의 실시예에서는 이러한 차량의 상태정보와 운전자 및 탑승자의 감성정보를 명명할 수 있으며, 감성인지 처리 장치(200)는 이러한 감성 인지정보를 분석하고, 분석 결과를 안전운전 서비스 장치(300)로 제공할 수 있다.
안전운전 서비스 장치(300)는 이와 같은 감성 인지정보의 분석 결과를 바탕으로 안전운전 서비스를 선택적으로 수행할 수 있다. 예를 들어, 감성 인지정보 분석 결과에 따른 운전자의 상태가 졸음 운전 상태인 경우, 또는 피곤/건강악화 상태인 경우, 또는 음주 운전 상태인 경우, 또는 화가 난 상태인 경우, 또는 공포감을 느끼는 경우, 또는 운전중 통화 중인 경우 등을 구분하여 안전운전 서비스를 수행할 수 있다.
도 7 내지 도 12는 이러한 감성 인지정보의 분석 결과에 따라 선택적으로 행해지는 안전운전 서비스 장치(300)의 안전운전 서비스 과정들을 예시적으로 도시한 것이다.
먼저, 도 7은 운전자의 현재 상태가 졸음 운전 상태인 경우의 안전운전 서비스 과정을 예시한 것이다.
졸음 운전 상태인 경우에, 안전운전 서비스 장치(300)는 차량 외부에 졸음운전상태를 표현하고(S300), 졸음운전 상황에서 안전운전 제어를 위한 ECU 연동 프로세스를 구동시켜(S302) 졸음 강도에 따른 차량 속도 저하 제어(S304), 핸들 강도 조절(S306), 패달 강도 조절(S308) 등의 제어를 수행할 수 있다.
이와 병행하여, 안전운전 서비스 장치(300)는 졸음 감성 서비스를 구동하여(S310) 차량단말을 통한 졸음 상태에 대한 안내방송을 수행하고(S312), 공조 시스템 제어를 통한 차량내 공기를 환기시킬 수 있다(S314). 또한, 안전운전 서비스 장치(300)는 졸음 각성을 위한 뮤직 서비스를 제공할 수 있으며(S316), 차량 사이드길 주정차 유도 안내방송을 수행할 수 있다(S318).
이러한 과정 수행 후 안전운전 서비스 장치(300)는 졸음 상태를 계속 모니터링할 수 있으며(S320), 계속 졸음상태가 유지되고 있는 것으로 판단되면, 안전운전 서비스 장치(300)는 기동 순찰대와 연동하여 차량 사이드길 정차를 유도하고(S322), ECU와 연동하여 사이드길로 정차제어를 수행하여 졸음운전은 중지 시키고(S324) ECU연동 및 졸음 각성 서비스 프로세스를 종료할 수 있다(S326).
반면, 졸음상태로부터 각성되어 있으면, 졸음상태로부터 운전가능 상태로 각성되었음을 안내하고(S328), ECU연동 및 졸음 각성 서비스 프로세스를 종료할 수 있다(S330).
도 8은 운전자의 현재 상태가 피곤 또는 건강악화 상태인 경우의 안전운전 서비스 과정을 예시한 것이다.
현재 상태가 피곤 또는 건강악화 상태이면 안전운전 서비스 장치(300)는 차량 외부에 운전자 피곤상태를 표시하고(S400), 운전자 건강상태에 따른 안전운전 서비스 프로세스를 구동시켜(S402) 차량단말을 통한 피곤 및 건강 상태를 안내방송하고(S404) 건강상태를 차량단말에 디스플레이 할 수 있다(S406).
상기 과정들(S400~S406)의 수행 후, 안전운전 서비스 장치(300)는 피곤 및 건강상태가 운전불가 임계치에 도달했는지를 판단할 수 있다(S408).
단계(S408)의 수행 결과, 운전자의 피곤 및 건강상태가 운전불가 상태이면, 안전운전 서비스 장치(300)는 긴급출동 서비스, 예를 들어 119 서비스 등에 신고를 수행하고(S416), 차량의 위치정보를 수집한 후 이를 119 및 기동 순찰대 등에 통보할 수 있다(S418). 또한, 안전운전 서비스 장치(300)는 지인에게 건강악화 상태를 통보하여(S420) 가족들이 대처할 수 있도록 하고 ECU연동 및 건강상태 안전운전 서비스 프로세스를 종료할 수 있다(S422).
반면, 단계(S408)의 수행 결과, 운전자의 피곤 및 건강상태가 운전불가 상태가 아니면, 안전운전 서비스 장치(300)는 피곤상태 안전운전 제어를 위한 ECU연동 프로세스를 구동하여(S410) 차량의 안전속도 제어를 수행하며(S412), 차량단말 네비게이션과 연동하여 목적지 안전운전 제어를 수행하고(S414) ECU연동 및 건강상태 안전운전 서비스 프로세스를 종료할 수 있다(S422).
도 9는 운전자의 현재 상태가 음주운전 상태인 경우의 안전운전 서비스 과정을 예시한 것이다.
운전자의 현재 상태가 음주운전 상태이면, 안전운전 서비스 장치(300)는 차량 외부에 음주운전 상태임을 표현하고(S500), 음주운전 방지 서비스 프로세스를 구동시켜(S502) 차량단말을 통한 알코올농도를 디스플레이 하고(S504), 차량단말을 통한 음주운전 경고 안내 방송을 할 수 있다(S506).
이러한 과정들(S500~S506)의 수행 후 안전운전 서비스 장치(300)는 운전자가 음주운전을 중단하였는지, 즉 현재 차량이 운전정지 상태인지를 판단할 수 있다(S508).
단계(S508)의 판단 결과, 운전정지 상태이면 음주운전 방지 서비스 프로세스를 종료할 수 있다(S522).
반면, 단계(S508)의 판단 결과, 현재 운전자가 음주운전을 포기하지 않고 계속 차량을 운전하는 것으로 판단한 경우에는, 안전운전 서비스 장치(300)는 ECU 연동 프로세스를 구동시켜(S510) 차량 사이드 길(갓 길) 정차 제어를 수행하고(S512), 음주 상태에서 더 이상 운전을 할 수 없도록 시동 락(lock) 제어를 수행할 수 있다(S514).
이와 함께, 안전운전 서비스 장치(300)는 기동 순찰대 자동연동을 통해 음주운전 차량의 정보를 통보하고(S516), 차량의 위치정보를 수집하여 기동순찰대 등에게 통보할 수 있다(S518).
이러한 단계들(S510~S518)의 수행 후, 안전운전 서비스 장치(300)는 ECU연동 및 음주운전 방지 서비스 프로세스를 종료할 수 있다(S520).
도 10은 운전자의 현재 상태가 화가 난 상태인 경우의 안전운전 서비스 과정을 예시한 것이다.
현재 운전자의 감성 인지정보를 파악하여 화남상태인 것으로 판단한 경우에 안전운전 서비스 장치(300)는 차량 외부에 운전자가 화남감성의 난폭운전 상태임을 표현하고(S600), 난폭운전 방지 서비스 프로세스를 구동시켜(S602) 차량단말을 통한 난폭운전 경고 안내 방송을 할 수 있다(S604).
이들 단계들(S600~S604)의 수행 후, 안전운전 서비스 장치(300)는 운전자가 계속 난폭운전을 하는지를 체크할 수 있다(S606).
단계(S606)의 체크 결과, 운전자가 난폭운전을 정지(포기)하고 차량을 주/정차 시킨 것으로 판단한 경우에는 안전운전 서비스 장치(300)는 난폭운전 방지 서비스 프로세스를 종료할 수 있다(S622).
반면, 단계(S606)의 체크 결과, 운전자가 난폭운전을 포기하지 않고 계속 차량을 운전하는 것으로 판단한 경우에는 안전운전 서비스 장치(300)는 ECU 연동 프로세스를 구동시켜(S608) 핸들강도 조절제어를 수행하고(S610) 가속페달 강도 제어를 수행할 수 있다(S612).
이와 함께, 안전운전 서비스 장치(300)는 감성 케어 음악을 재생시키고(S614) 기동 순찰대 자동연동을 통해 난폭운전 차량정보를 통보할 수 있으며(S616), 차량의 위치정보를 수집하여 기동순찰대에 통보할 수 있다(S618).
이들 과정들(S608~S618)의 수행 후, 안전운전 서비스 장치(300)는 ECU연동 및 난폭운전 방지 서비스 프로세스를 종료할 수 있다(S620).
도 11은 운전자 또는 탑승자가 공포감을 느끼는 경우의 안전운전 서비스 과정을 예시한 것이다.
운전자 또는 탑승자가 공포감을 느끼는 것으로 파악된 경우에 안전운전 서비스 장치(300)는 차량 외부에 차량 내부 공포상태임을 표현하고(S700), 공포상태로부터의 구출 서비스 프로세스를 구동시켜(S702) 공포로부터 보호하는 서비스를 제공한다.
이후, 안전운전 서비스 장치(300)는 차량 내부의 상황 실시간 영상/음성 데이터를 수집하고(S704), 112, 119 기동 또는 기동순찰대에 자동신고를 수행할 수 있으며(S706), 수집 데이터를 112, 119 기동 또는 기동순찰대 센터로 실시간 송출할 수 있다(S708).
이와 병행하여 안전운전 서비스 장치(300)는 차량의 위치정보를 수집하고(S710) 수집된 위치정보를 112, 119 기동 또는 기동순찰대 센터로 실시간 송출할 수 있다(S712).
112, 119 기동 또는 기동순찰대 센터는 상기 단계들(S704~S712)을 통해 수신된 정보를 분석하여(S714) 차량의 추적 및 정지 제어가 필요한지를 판단할 수 있다(S716).
단계(S716)의 판단 결과, 차량 정지제어가 필요하지 않다고 판단되면, 안전운전 서비스 장치(300)는 상기 과정들(S704~S714)들을 공포상태 감지가 해소될 때까지 반복 수행할 수 있다.
반면, 단계(S716)의 판단 결과, 차량 정지제어가 필요하다고 판단되면, 안전운전 서비스 장치(300)는 ECU 연동 프로세스를 구동시켜(S718) 차량 정차 제어를 수행하고(S720), 112, 119 기동 또는 기동순찰대가 도착할 때까지 시동 락 제어를 수행할 수 있다(S722).
이들 단계들(S720)(S722)의 수행 후, 안전운전 서비스 장치(300)는 ECU연동 및 공포상태로부터 구출 서비스 프로세스를 종료할 수 있다(S724).
도 12는 운전자가 운전 중 통화상태인 경우의 안전운전 서비스 과정을 예시한 것이다.
운전자가 운전 중 통화상태이면, 안전운전 서비스 장치(300)는 차량 외부에 운전 중 휴대전화 통화상태를 표현하고(S800), 운전 중 휴대전화 통화 방지 서비스 프로세스를 구동시켜(S802) 차량단말을 이용하여 운전 중 휴대전화 통화 중지 안내를 방송하고(S804), 핸즈프리 연결 통화를 유도할 수 있다(S806).
이후, 안전운전 서비스 장치(300)는 운전자의 자발적 핸즈프리 연결통화가 이루어지는지를 체크할 수 있다(S808).
단계(S808)의 수행 결과, 운전자의 자발적 핸즈프리 연결통화가 이루어진 것으로 판단한 경우에는 안전운전 서비스 장치(300)는 운전 중 휴대전화 통화 방지 서비스 프로세스를 종료할 수 있다(S810).
반면, 단계(S808)의 수행 결과, 운전자의 자발적 핸즈프리 연결통화가 이루어 지지 않은 것으로 판단한 경우, 안전운전 서비스 장치(300)는 차량단말을 이용하여 무선 핸즈프리 자동연결 통화 기능 제공을 안내(제안)하고(S812), 무선 핸즈프리 자동연결 통화 기능 제공을 수락 여부를 입력 받아 수락여부를 조사할 수 있다(S814).
단계(S814)의 수행 결과, 연결 수락인 경우에 안전운전 서비스 장치(300)는 자동 무선통신 핸즈프리 연결 기능을 수행하여(S816) 핸즈프리 통화 서비스를 제공하고(S818), 운전 중 휴대폰 통화방지 서비스 프로세스를 종료할 수 있다(S820).
단계(S814)의 수행 결과, 연결 수락이 아닌 경우, 안전운전 서비스 장치(300)는 ECU 연동 프로세스를 구동하여(S822) 핸들 강도 조절 제어를 수행하고(S824) 가속페달 감속제어를 수행할 수 있으며(S826), 교통흐름 및 안전운전 환경 구축을 위해 사이드 길(갓 길) 정차제어를 수행하고(S828) 운전 중 휴대폰 통화방지 서비스 프로세스 및 ECU 연동 프로세스를 종료할 수 있다(S830).
이와 함께, 안전운전 서비스 장치(300)는 통화포기 유도 서비스 프로세스를 구동하여(S832) 통화 품질 다운(down) 기능을 수행하여(S834) 통화중단을 유도하며 운전중 휴대전화 통화를 포기하는지를 체크할 수 있다(S836).
단계(S836)의 체크 결과, 운전 중 휴대전화 통화를 포기하지 않으면, 통화품질다운 기능을 통화가 끝날 때까지 계속 수행하고, 운전 중 휴대전화 통화를 포기한 것으로 체크된 경우에는 안전운전 서비스 장치(300)는 운전 중 휴대폰 통화방지 서비스 프로세스 및 ECU 연동 프로세스를 종료할 수 있다(S838).
이상 설명한 바와 같은 본 발명의 실시예에 의하면, 운전자, 탑승자의 감성 및 자동차의 감성을 자동 인지하여 위험상황이나 범행상황 발생을 사전 예방할 수 있는 감성인지기반 차량용 안전운전 서비스 기술을 구현하였으며, 자동차의 핸들이나 좌석, 변속기, 천정 등에 멀티센서 노드를 구축하여 운전환경에서 인간의 자율신경계 반응을 통해 나타나는 생체신호 및 환경신호를 센싱하여 운전자 및 탑승자의 감성 및 운전 상황을 인지하고, 인지된 감성정보에 기반한 안전운전 제어 및 서비스를 제공할 수 있도록 구현한 것이다.
100: 멀티 감성센서 노드 그룹
200: 감성인지 처리 장치
2100: 사용자 감성 인지부
2200: 차량상태 인지부
300: 안전운전 서비스 장치
3200: 감성정보 관리부
3300: ECU연동 안전운전 제어부
3400: 감성케어 안전운전 서비스부

Claims (20)

  1. 차량 내의 운전자 및 탑승자의 감성신호를 센싱하는 멀티 감성센서 노드 그룹과,
    상기 멀티 감성센서 노드 그룹으로부터 제공되는 센싱정보를 분석하여 감성 인지정보를 생성하는 감성인지 처리 장치와,
    상기 감성인지 처리 장치의 감성 인지정보에 따라 감성기반 안전운전 서비스를 제공하는 안전운전 서비스 장치를 포함하고,
    상기 안전운전 서비스 장치는,
    상기 감성 인지정보의 분석 결과에 따른 운전자의 상태가 졸음 운전 상태, 피곤 또는 건강악화 상태, 음주 운전 상태, 화가 난 상태, 공포감 상태, 통화 중 상태 중 적어도 하나에 해당하는지에 따라 선택적인 안전운전 서비스를 제공하고,
    상기 선택적인 안전운전 서비스는,
    상기 운전자의 현재 상태가 피곤 또는 건강악화 상태이면 상기 안전운전 서비스 장치가 차량 외부에 운전자 피곤상태를 표시하는 과정과,
    운전자 건강상태에 따른 안전운전 서비스 프로세스를 구동시켜 차량단말을 통한 피곤 및 건강 상태를 안내방송하고 건강상태를 차량단말에 디스플레이 하는 과정과,
    상기 안전운전 서비스 장치가 피곤 및 건강상태가 운전불가 임계치에 도달했는지를 판단하는 과정과,
    상기 판단 결과, 상기 운전자의 피곤 및 건강상태가 운전불가 상태이면, 상기 안전운전 서비스 장치가 긴급출동 서비스에 신고를 수행하고, 상기 차량의 위치정보를 수집한 후 이를 119 및 기동 순찰대에 통보하는 과정과,
    상기 안전운전 서비스 장치가 상기 운전자의 지인에게 건강악화 상태를 통보하고 ECU연동 및 건강상태 안전운전 서비스 프로세스를 종료하는 과정과,
    상기 판단 결과, 상기 운전자의 피곤 및 건강상태가 운전불가 상태가 아니면, 상기 안전운전 서비스 장치가 피곤상태 안전운전 제어를 위한 ECU연동 프로세스를 구동하여 상기 차량의 안전속도 제어를 수행하며, 차량단말 네비게이션과 연동하여 목적지 안전운전 제어를 수행하고 ECU연동 및 건강상태 안전운전 서비스 프로세스를 종료하는 과정을 포함하는, 감성기반 안전운전 자동차 서비스 시스템.
  2. 제 1 항에 있어서,
    상기 멀티 감성센서 노드 그룹은,
    핸들 센서노드 또는 운전석 센서노드 또는 탑승석 센서노드 또는 변속기 센서노드 또는 천정 센서노드 또는 앞 유리 센서노드 중 적어도 하나를 포함하는
    감성기반 안전운전 자동차 서비스 시스템.
  3. 제 2 항에 있어서,
    상기 멀티 감성센서 노드 그룹의 각각의 센서노드는,
    심박센서 또는 피부반응센서 또는 체온센서 또는 음성센서 또는 영상센서 또는 가속도센서 또는 기울기센서 중 적어도 하나를 포함하는
    감성기반 안전운전 자동차 서비스 시스템.
  4. 제 1 항에 있어서,
    상기 감성 인지정보는, 사용자 감성정보와 차량 상태정보를 포함하는
    감성기반 안전운전 자동차 서비스 시스템.
  5. 차량 내 운전자와 탑승자의 감성정보를 인지하는 사용자 감성 인지부와,
    상기 차량의 상태정보를 인지하는 차량상태 인지부를 포함하며,
    상기 사용자 감성 인지부는,
    다채널로 센싱된 생체신호, 영상신호, 음성신호, 움직임신호, 냄새정보, 온도, 습도, 위치정보, 상기 운전자의 감성상태 및 상기 탑승자의 감성상태를 기반으로 감성인지에 필요한 정보를 분석하고,
    상기 차량상태 인지부는,
    상기 차량의 흡기 매니폴드(manifold)의 압력변화를 감지하는 맵(MAPS, Manifold Absolute Pressure Sensor) 센서부와,
    상기 차량의 냉각수량을 감지하는 냉각수 센서부와,
    상기 차량의 주변 밝기를 감지하는 조도 센서부와,
    상기 차량의 속도를 감지하는 가속 센서부와,
    상기 차량의 스로틀(throttle) 바디 측면에 장착되어 스로틀 밸브의 열림량을 감지하는 스로틀 포지션(throttle position) 센서부와,
    상기 차량의 엔진의 이상연소를 감지하는 노크(knock) 센서부를 포함하는
    안전운전 서비스를 위한 감성인지 처리 장치.
  6. 제 5 항에 있어서,
    상기 감성인지 처리 장치는,
    근거리 무선 네트워크를 통해 상기 운전자 및 탑승자의 감성정보와 상기 차량의 상태정보를 수신하는
    안전운전 서비스를 위한 감성인지 처리 장치.
  7. 안전운전 서비스 장치의 사용자 인터페이스 환경을 제공하는 차량 감성단말 UI(User Interface)와,
    감성인지 처리 장치로부터 제공되는 감성 인지정보를 관리하고 외부와 연동하는 감성정보 관리부와,
    상기 감성정보 관리부를 통해 관리되는 감성 인지정보에 따라 차량의 ECU 연동 안전운전을 제어하는 ECU 연동 안전운전 제어부와,
    상기 ECU 연동 안전운전 제어부를 통해 상기 차량이 제어될 때 상기 차량 주변의 감성케어 안전운전을 서비스하는 감성케어 안전운전 서비스부를 포함하고,
    상기 ECU 연동 안전운전 제어부는,
    핸들 제어부, 가속 패달 제어부, 브레이크 제어부, 시동 락(lock) 제어부, 자동 차량속도 감속제어부 및 자동 차량정지 제어부를 포함하는, 감성기반 안전운전 서비스 장치.
  8. 제 7 항에 있어서,
    상기 감성정보 관리부는,
    사용자 감성정보 관리부와,
    ECU 연동부와,
    차량 상태정보 관리부와,
    개인단말 연동 관리부와,
    외부망 연동 인터페이스부를 포함하는
    감성기반 안전운전 서비스 장치.
  9. 삭제
  10. 제 7 항에 있어서,
    상기 감성케어 안전운전 서비스부는,
    차량외부 UI 플랫폼부와,
    차량주변의 감성케어와 관련된 정보를 안내하는 안내 방송부와,
    상기 차량주변의 감성케어와 관련된 오디오 정보를 서비스하는 감성케어 오디오 서비스부와,
    상기 차량주변의 감성케어와 관련된 비디오 정보를 서비스하는 감성케어 비디오 서비스부와,
    상기 차량주변의 실시간 교통정보를 영상으로 서비스하는 실시간 차량상황 영상 전송부와,
    긴급출동신고 메시지 긴급출동 서비스 센터에 신고하기 위한 메시지, 또는 지인에게 알림 정보를 보내기 위한 메시지에 대한 발송을 처리하는 차량상황정보 메시지 처리부와,
    상기 차량주변의 감성케어와 관련된 조명을 설정하는 조명 설정부와,
    상기 차량주변의 감성케어와 관련된 공기 환기를 조절하는 환기 조절부를 포함하는
    감성기반 안전운전 서비스 장치.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 감성기반 안전운전 서비스 장치의 안전운전 서비스 방법으로,
    감성인지 처리 장치로부터 제공되는 감성 인지정보의 분석 결과를 수신하여 관리하는 단계; 및
    상기 감성 인지정보의 분석 결과에 따라 차량의 ECU와 연동하여 선택적인 안전운전 서비스를 수행하는 단계를 포함하고,
    상기 선택적인 안전운전 서비스는,
    상기 감성 인지정보의 분석 결과에 따른 운전자의 상태가 졸음 운전 상태, 피곤 또는 건강악화 상태, 음주 운전 상태, 화가 난 상태, 공포감 상태, 통화 중 상태 중 적어도 하나에 해당하는지에 따라 선택적인 안전운전 서비스를 제공하고,
    상기 선택적인 안전운전 서비스는,
    상기 운전자의 현재 상태가 졸음 운전 상태인 경우에 상기 안전운전 서비스 장치가 차량 외부에 졸음운전상태를 표현하는 과정과,
    졸음운전 상황에서 안전운전 제어를 위한 ECU와의 연동 프로세스를 구동시켜 졸음 강도에 따른 차량 속도 저하 제어 또는 핸들 강도 조절 또는 패달 강도 조절을 위한 제어를 수행하는 과정과,
    상기 안전운전 서비스 장치가 졸음 감성 서비스를 구동하여 차량단말을 통한 졸음 상태에 대한 안내방송을 수행하고, 공조 시스템 제어를 통한 차량내 공기를 환기시키는 과정과,
    상기 안전운전 서비스 장치가 졸음 각성을 위한 뮤직 서비스를 제공하고, 차량 사이드길 주정차 유도 안내방송을 수행하는 과정과,
    상기 안전운전 서비스 장치가 졸음 상태를 계속 모니터링할 수 있으며, 계속 졸음상태가 유지되고 있는 것으로 판단되면, 상기 안전운전 서비스 장치가 기동 순찰대와 연동하여 차량 사이드길 정차를 유도하는 과정과,
    상기 안전운전 서비스 장치가 상기 ECU와 연동하여 사이드길로 정차제어를 수행하여 졸음운전은 중지 시키고 상기 ECU의 연동 및 졸음 각성 서비스 프로세스를 종료하는 과정과,
    졸음상태로부터 각성되어 있으면, 상기 안전운전 서비스 장치가 졸음상태로부터 운전가능 상태로 각성되었음을 안내하고, 상기 ECU의 연동 및 졸음 각성 서비스 프로세스를 종료하는 과정을 포함하는, 감성기반 안전운전 서비스 장치의 안전운전 서비스 방법.
  15. 삭제
  16. 제 14 항에 있어서,
    상기 선택적인 안전운전 서비스는,
    상기 운전자의 현재 상태가 피곤 또는 건강악화 상태이면 상기 안전운전 서비스 장치가 차량 외부에 운전자 피곤상태를 표시하는 과정과,
    운전자 건강상태에 따른 안전운전 서비스 프로세스를 구동시켜 차량단말을 통한 피곤 및 건강 상태를 안내방송하고 건강상태를 차량단말에 디스플레이 하는 과정과,
    상기 안전운전 서비스 장치가 피곤 및 건강상태가 운전불가 임계치에 도달했는지를 판단하는 과정과,
    상기 판단 결과, 상기 운전자의 피곤 및 건강상태가 운전불가 상태이면, 상기 안전운전 서비스 장치가 긴급출동 서비스에 신고를 수행하고, 상기 차량의 위치정보를 수집한 후 이를 119 및 기동 순찰대에 통보하는 과정과,
    상기 안전운전 서비스 장치가 상기 운전자의 지인에게 건강악화 상태를 통보하고 ECU연동 및 건강상태 안전운전 서비스 프로세스를 종료하는 과정과,
    상기 판단 결과, 상기 운전자의 피곤 및 건강상태가 운전불가 상태가 아니면, 상기 안전운전 서비스 장치가 피곤상태 안전운전 제어를 위한 ECU연동 프로세스를 구동하여 상기 차량의 안전속도 제어를 수행하며, 차량단말 네비게이션과 연동하여 목적지 안전운전 제어를 수행하고 ECU연동 및 건강상태 안전운전 서비스 프로세스를 종료하는 과정을 포함하는
    감성기반 안전운전 서비스 장치의 안전운전 서비스 방법.
  17. 제 14 항에 있어서,
    상기 선택적인 안전운전 서비스는,
    상기 운전자의 현재 상태가 음주운전 상태이면, 상기 안전운전 서비스 장치가 상기 차량의 외부에 음주운전 상태임을 표현하는 과정과,
    상기 안전운전 서비스 장치가 음주운전 방지 서비스 프로세스를 구동시켜 차량단말을 통한 알코올농도를 디스플레이 하고, 상기 차량단말을 통한 음주운전 경고 안내 방송을 수행하는 과정과,
    상기 안전운전 서비스 장치가 상기 차량이 운전정지 상태인지를 판단하는 과정과,
    상기 판단 결과, 운전정지 상태이면 음주운전 방지 서비스 프로세스를 종료하는 과정과,
    상기 판단 결과, 상기 차량이 계속 운전 중인 것으로 판단한 경우에는 상기 안전운전 서비스 장치가 ECU 연동 프로세스를 구동시켜 차량 사이드 길 정차 제어를 수행하고, 음주 상태에서 더 이상 운전을 할 수 없도록 상기 차량의 시동 락(lock) 제어를 수행하는 과정과,
    상기 안전운전 서비스 장치가 기동 순찰대 자동연동을 통해 음주운전 차량의 정보를 통보하고, 차량의 위치정보를 수집하여 기동순찰대에게 통보하는 과정과,
    상기 안전운전 서비스 장치가 ECU연동 및 음주운전 방지 서비스 프로세스를 종료하는 과정을 포함하는
    감성기반 안전운전 서비스 장치의 안전운전 서비스 방법.
  18. 제 14 항에 있어서,
    상기 선택적인 안전운전 서비스는,
    상기 운전자의 현재 상태가 화가 난 상태인 경우에 상기 안전운전 서비스 장치가 상기 차량 외부에 운전자가 화남감성의 난폭운전 상태임을 표현하고, 난폭운전 방지 서비스 프로세스를 구동시켜 차량단말을 통한 난폭운전 경고 안내 방송을 수행하는 과정과,
    상기 안전운전 서비스 장치가 상기 차량이 지속적으로 운행 중인지를 체크하는 과정과,
    상기 체크 결과, 상기 운전자가 난폭운전을 정지(포기)하고 차량을 주/정차 시킨 것으로 판단한 경우에는 상기 안전운전 서비스 장치가 난폭운전 방지 서비스 프로세스를 종료하는 과정과,
    상기 체크 결과, 상기 운전자가 난폭운전을 포기하지 않고 계속 차량을 운전하는 것으로 판단한 경우에는 상기 안전운전 서비스 장치가 ECU 연동 프로세스를 구동시켜 핸들강도 조절제어를 수행하고 가속페달 강도 제어를 수행하는 과정과,
    상기 안전운전 서비스 장치가 감성 케어 음악을 재생시키고, 기동 순찰대 자동연동을 통해 난폭운전 차량정보를 통보하며, 상기 차량의 위치정보를 수집하여 기동순찰대에 통보하는 과정과,
    상기 안전운전 서비스 장치가 ECU연동 및 난폭운전 방지 서비스 프로세스를 종료하는 과정을 포함하는
    감성기반 안전운전 서비스 장치의 안전운전 서비스 방법.
  19. 제 14 항에 있어서,
    상기 선택적인 안전운전 서비스는,
    상기 운전자 또는 탑승자가 공포감을 느끼는 것으로 파악된 경우에 상기 안전운전 서비스 장치가 상기 차량 외부에 차량 내부 공포상태임을 표현하고, 공포상태로부터의 구출 서비스 프로세스를 구동시켜 공포로부터 보호하는 서비스를 제공하는 과정과,
    상기 안전운전 서비스 장치가 차량 내부의 상황 실시간 영상/음성 데이터를 수집하고, 112, 119 기동 또는 기동순찰대에 자동신고를 수행하며, 수집 데이터를 112, 119 기동 또는 기동순찰대 센터로 실시간 송출하는 과정과,
    상기 안전운전 서비스 장치가 상기 차량의 위치정보를 수집하고, 수집된 위치정보를 상기 112, 119 기동 또는 기동순찰대 센터로 실시간 송출하는 과정과,
    상기 112, 119 기동 또는 기동순찰대 센터가 수신된 정보를 분석하여 상기 차량의 추적 및 정지 제어가 필요한지를 판단하는 과정과,
    상기 판단 결과, 차량 정지제어가 필요하지 않다고 판단되면, 상기 안전운전 서비스 장치가 상기 과정들을 공포상태 감지가 해소될 때까지 반복 수행하는 과정과,
    상기 판단 결과, 차량 정지제어가 필요하다고 판단되면, 상기 안전운전 서비스 장치가 ECU 연동 프로세스를 구동시켜 차량 정차 제어를 수행하고, 112, 119 기동 또는 기동순찰대가 도착할 때까지 시동 락 제어를 수행하는 과정과,
    상기 안전운전 서비스 장치가 ECU연동 및 공포상태로부터 구출 서비스 프로세스를 종료하는 과정을 포함하는
    감성기반 안전운전 서비스 장치의 안전운전 서비스 방법.
  20. 제 14 항에 있어서,
    상기 선택적인 안전운전 서비스는,
    상기 운전자가 운전 중 통화상태이면, 상기 안전운전 서비스 장치가 상기 차량 외부에 운전 중 휴대전화 통화상태를 표현하고, 운전 중 휴대전화 통화 방지 서비스 프로세스를 구동시켜 차량단말을 이용하여 운전 중 휴대전화 통화 중지 안내를 방송하고, 핸즈프리 연결 통화를 유도하는 과정과,
    상기 안전운전 서비스 장치가 운전자의 자발적 핸즈프리 연결통화가 이루어지는지를 체크하는 과정과,
    상기 체크 결과, 운전자의 자발적 핸즈프리 연결통화가 이루어진 것으로 판단한 경우에는 상기 안전운전 서비스 장치가 운전 중 휴대전화 통화 방지 서비스 프로세스를 종료하는 과정과,
    상기 체크 결과, 운전자의 자발적 핸즈프리 연결통화가 이루어지지 않은 것으로 판단한 경우, 상기 안전운전 서비스 장치가 상기 차량단말을 이용하여 무선 핸즈프리 자동연결 통화 기능 제공을 안내하고, 상기 무선 핸즈프리 자동연결 통화 기능 제공을 수락할 것인지를 입력 받아 수락여부를 조사하는 과정과,
    상기 조사 결과, 연결 수락인 경우에 상기 안전운전 서비스 장치가 자동 무선통신 핸즈프리 연결 기능을 수행하여 핸즈프리 통화 서비스를 제공하고, 운전 중 휴대폰 통화방지 서비스 프로세스를 종료하는 과정과,
    상기 조사 결과, 연결 수락이 아닌 경우에 상기 안전운전 서비스 장치가 ECU 연동 프로세스를 구동하여 핸들 강도 조절 제어를 수행하고 가속페달 감속제어를 수행하며 교통흐름 및 안전운전 환경 구축을 위해 사이드 길(갓 길) 정차제어를 수행하고 운전 중 휴대폰 통화방지 서비스 프로세스 및 ECU 연동 프로세스를 종료하는 과정과,
    상기 안전운전 서비스 장치가 통화포기 유도 서비스 프로세스를 구동하여 통화품질 다운(down) 기능을 수행하여 통화중단을 유도하며 운전중 휴대전화 통화를 포기하는지를 체크하는 과정과,
    상기 체크 결과, 운전 중 휴대전화 통화를 포기하지 않으면, 상기 통화품질다운 기능을 통화가 끝날 때까지 계속 수행하고, 운전 중 휴대전화 통화를 포기한 것으로 체크된 경우에는 상기 안전운전 서비스 장치가 운전 중 휴대폰 통화방지 서비스 프로세스 및 ECU 연동 프로세스를 종료하는 과정을 포함하는
    감성기반 안전운전 서비스 장치의 안전운전 서비스 방법.
KR1020110086370A 2011-08-29 2011-08-29 감성기반 안전운전 자동차 서비스 시스템, 안전운전 서비스를 위한 감성인지 처리 장치 및 안전운전 서비스 장치, 감성기반 차량용 안전운전 서비스 방법 Active KR101901417B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110086370A KR101901417B1 (ko) 2011-08-29 2011-08-29 감성기반 안전운전 자동차 서비스 시스템, 안전운전 서비스를 위한 감성인지 처리 장치 및 안전운전 서비스 장치, 감성기반 차량용 안전운전 서비스 방법
US13/594,003 US8862317B2 (en) 2011-08-29 2012-08-24 Emotion-based vehicle service system, emotion cognition processing apparatus, safe driving apparatus, and emotion-based safe driving service method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110086370A KR101901417B1 (ko) 2011-08-29 2011-08-29 감성기반 안전운전 자동차 서비스 시스템, 안전운전 서비스를 위한 감성인지 처리 장치 및 안전운전 서비스 장치, 감성기반 차량용 안전운전 서비스 방법

Publications (2)

Publication Number Publication Date
KR20130023535A KR20130023535A (ko) 2013-03-08
KR101901417B1 true KR101901417B1 (ko) 2018-09-27

Family

ID=47744827

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110086370A Active KR101901417B1 (ko) 2011-08-29 2011-08-29 감성기반 안전운전 자동차 서비스 시스템, 안전운전 서비스를 위한 감성인지 처리 장치 및 안전운전 서비스 장치, 감성기반 차량용 안전운전 서비스 방법

Country Status (2)

Country Link
US (1) US8862317B2 (ko)
KR (1) KR101901417B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11315362B2 (en) 2020-07-29 2022-04-26 Hyundai Motor Company Emotion-recognition-based service provision apparatus for vehicle and method of controlling the same
US11393249B2 (en) 2020-07-29 2022-07-19 Hyundai Motor Company Apparatus and method of providing vehicle service based on individual emotion recognition
US11440554B2 (en) 2020-07-29 2022-09-13 Hyundai Motor Company Method and system for determining driver emotions in conjuction with driving environment

Families Citing this family (109)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130145297A1 (en) * 2011-11-16 2013-06-06 Flextronics Ap, Llc Configurable heads-up dash display
KR20130098640A (ko) * 2012-02-28 2013-09-05 삼성전자주식회사 개인 의료 정보를 이용한 차량 제어 장치 및 방법, 그리고 이동 단말
US9378601B2 (en) 2012-03-14 2016-06-28 Autoconnect Holdings Llc Providing home automation information via communication with a vehicle
US9412273B2 (en) 2012-03-14 2016-08-09 Autoconnect Holdings Llc Radar sensing and emergency response vehicle detection
US9384609B2 (en) 2012-03-14 2016-07-05 Autoconnect Holdings Llc Vehicle to vehicle safety and traffic communications
US20140309865A1 (en) * 2013-04-15 2014-10-16 Flextronics Ap, Llc Facial recognition database created from social networking sites
KR20140080727A (ko) * 2012-12-14 2014-07-01 한국전자통신연구원 운전자 감성제어 장치 및 그 방법
US9196248B2 (en) * 2013-02-13 2015-11-24 Bayerische Motoren Werke Aktiengesellschaft Voice-interfaced in-vehicle assistance
CN104321620A (zh) 2013-04-15 2015-01-28 弗莱克斯电子有限责任公司 基于用户简档信息通过改变的地图路线进行行为修改
US9103688B2 (en) * 2013-08-21 2015-08-11 Continental Automotive Systems, Inc. Adapting vehicle personality using analyzed driver performance metrics
CN103818257A (zh) * 2014-01-08 2014-05-28 吉林大学 汽车车载酒驾主动响应系统
US9623878B2 (en) * 2014-04-02 2017-04-18 Magna Electronics Inc. Personalized driver assistance system for vehicle
US10046618B2 (en) * 2014-10-15 2018-08-14 Honda Motor Co., Ltd. System and method for vehicle control integrating environmental conditions
CA2972892A1 (en) * 2015-01-02 2016-07-07 Driven by Safety, Inc. Mobile safety platform
WO2016114918A1 (en) 2015-01-15 2016-07-21 Pcms Holdings, Inc. Systems and methods for providing navigation directions based on emotions and activities
KR101698515B1 (ko) * 2015-01-16 2017-01-20 현대자동차주식회사 웨어러블 기기를 이용한 길 안내 제공 방법 및 이를 수행하는 차량
US10285634B2 (en) * 2015-07-08 2019-05-14 Samsung Electronics Company, Ltd. Emotion evaluation
KR102330385B1 (ko) * 2015-08-10 2021-11-23 현대모비스 주식회사 감성 인식 차량 제어 장치, 시스템 및 방법
KR101706142B1 (ko) * 2015-09-17 2017-02-15 주식회사 디맨드 차량의 스마트 케어 장치 및 차량의 스마트 케어 방법
US10692126B2 (en) 2015-11-17 2020-06-23 Nio Usa, Inc. Network-based system for selling and servicing cars
US10431215B2 (en) * 2015-12-06 2019-10-01 Voicebox Technologies Corporation System and method of conversational adjustment based on user's cognitive state and/or situational state
US9711056B1 (en) 2016-03-14 2017-07-18 Fuvi Cognitive Network Corp. Apparatus, method, and system of building and processing personal emotion-based computer readable cognitive sensory memory and cognitive insights for enhancing memorization and decision making skills
US9864374B2 (en) 2016-05-04 2018-01-09 Delphi Technologies, Inc. Redundant-controls system for an automated vehicle
US10065651B2 (en) 2016-05-10 2018-09-04 Samsung Electronics Co., Ltd Electronic device and method for determining a state of a driver
CN105976602B (zh) * 2016-05-25 2018-03-13 中南民族大学 一种专车营运安全保障方法及系统
US20180012197A1 (en) 2016-07-07 2018-01-11 NextEv USA, Inc. Battery exchange licensing program based on state of charge of battery pack
US9928734B2 (en) 2016-08-02 2018-03-27 Nio Usa, Inc. Vehicle-to-pedestrian communication systems
EP3300655A1 (en) 2016-09-28 2018-04-04 Stichting IMEC Nederland A method and system for emotion-triggered capturing of audio and/or image data
WO2018061354A1 (ja) * 2016-09-30 2018-04-05 本田技研工業株式会社 情報提供装置、及び移動体
JP6466385B2 (ja) * 2016-10-11 2019-02-06 本田技研工業株式会社 サービス提供装置、サービス提供方法およびサービス提供プログラム
US10031523B2 (en) 2016-11-07 2018-07-24 Nio Usa, Inc. Method and system for behavioral sharing in autonomous vehicles
US10694357B2 (en) 2016-11-11 2020-06-23 Nio Usa, Inc. Using vehicle sensor data to monitor pedestrian health
US10410064B2 (en) 2016-11-11 2019-09-10 Nio Usa, Inc. System for tracking and identifying vehicles and pedestrians
KR101888815B1 (ko) * 2016-11-11 2018-09-20 주식회사 삼일비앤씨 운전중 건강상태 모니터링 및 실시간 알림 시스템
US10708547B2 (en) 2016-11-11 2020-07-07 Nio Usa, Inc. Using vehicle sensor data to monitor environmental and geologic conditions
US10515390B2 (en) 2016-11-21 2019-12-24 Nio Usa, Inc. Method and system for data optimization
US10249104B2 (en) 2016-12-06 2019-04-02 Nio Usa, Inc. Lease observation and event recording
US10074223B2 (en) 2017-01-13 2018-09-11 Nio Usa, Inc. Secured vehicle for user use only
US10471829B2 (en) 2017-01-16 2019-11-12 Nio Usa, Inc. Self-destruct zone and autonomous vehicle navigation
US9984572B1 (en) 2017-01-16 2018-05-29 Nio Usa, Inc. Method and system for sharing parking space availability among autonomous vehicles
US10031521B1 (en) 2017-01-16 2018-07-24 Nio Usa, Inc. Method and system for using weather information in operation of autonomous vehicles
US10286915B2 (en) 2017-01-17 2019-05-14 Nio Usa, Inc. Machine learning for personalized driving
US10464530B2 (en) 2017-01-17 2019-11-05 Nio Usa, Inc. Voice biometric pre-purchase enrollment for autonomous vehicles
US10897469B2 (en) 2017-02-02 2021-01-19 Nio Usa, Inc. System and method for firewalls between vehicle networks
JP6906046B2 (ja) 2017-04-12 2021-07-21 川崎重工業株式会社 車両の会話情報出力装置、及び会話情報出力方法
US11106426B2 (en) * 2017-04-12 2021-08-31 Kawasaki Jukogyo Kabushiki Kaisha Vehicle conversation information output device and conversation information output method
MY192254A (en) * 2017-06-01 2022-08-11 Univ Kebangsaan Malaysia A system and a method to determine and control emotional state of a vehicle operator
US10234302B2 (en) 2017-06-27 2019-03-19 Nio Usa, Inc. Adaptive route and motion planning based on learned external and internal vehicle environment
CN107235045A (zh) * 2017-06-29 2017-10-10 吉林大学 考虑生理与操控信息的驾驶员路怒状态车载识别交互系统
US10369974B2 (en) 2017-07-14 2019-08-06 Nio Usa, Inc. Control and coordination of driverless fuel replenishment for autonomous vehicles
US10710633B2 (en) 2017-07-14 2020-07-14 Nio Usa, Inc. Control of complex parking maneuvers and autonomous fuel replenishment of driverless vehicles
DE102017212535A1 (de) * 2017-07-21 2018-06-28 Audi Ag Verfahren und System zum Betreiben eines Kraftfahrzeugs
US10419878B1 (en) * 2017-07-24 2019-09-17 BlueOwl, LLC Technology for capturing and analyzing sensor data to facilitate alternative transportation
US10837790B2 (en) 2017-08-01 2020-11-17 Nio Usa, Inc. Productive and accident-free driving modes for a vehicle
US10635109B2 (en) 2017-10-17 2020-04-28 Nio Usa, Inc. Vehicle path-planner monitor and controller
US10935978B2 (en) 2017-10-30 2021-03-02 Nio Usa, Inc. Vehicle self-localization using particle filters and visual odometry
US10606274B2 (en) 2017-10-30 2020-03-31 Nio Usa, Inc. Visual place recognition based self-localization for autonomous vehicles
KR20190050633A (ko) 2017-11-03 2019-05-13 주식회사 만도 운전자 상태 기반 차량 제어 시스템 및 방법
DE102018204103A1 (de) * 2017-11-06 2019-05-09 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben eines Assistenzsystems in einem Kraftfahrzeug
US10717412B2 (en) 2017-11-13 2020-07-21 Nio Usa, Inc. System and method for controlling a vehicle using secondary access methods
US10512025B2 (en) * 2017-11-14 2019-12-17 Apple Inc. Activity mode for a cellular connection
US10769461B2 (en) * 2017-12-14 2020-09-08 COM-IoT Technologies Distracted driver detection
KR102302917B1 (ko) * 2017-12-18 2021-09-15 현대모비스 주식회사 안전운전 지원 장치 및 방법
US10745019B2 (en) * 2017-12-18 2020-08-18 International Business Machines Corporation Automatic and personalized control of driver assistance components
KR102491730B1 (ko) * 2017-12-27 2023-01-27 현대자동차주식회사 차량 및 그 제어 방법
JP2019123327A (ja) * 2018-01-15 2019-07-25 本田技研工業株式会社 車両用制御装置及び車載装置
CN108501956A (zh) * 2018-03-13 2018-09-07 深圳市海派通讯科技有限公司 一种基于情绪识别的智能刹车方法
KR102016356B1 (ko) 2018-03-20 2019-10-21 주식회사 만도 스마트 기기와 차량 간 통신을 이용한 안전 주행 시스템 및 방법
KR102525120B1 (ko) 2018-04-19 2023-04-25 현대자동차주식회사 데이터 분류 장치, 이를 포함하는 차량, 및 데이터 분류 장치의 제어방법
US10867218B2 (en) * 2018-04-26 2020-12-15 Lear Corporation Biometric sensor fusion to classify vehicle passenger state
US10369966B1 (en) 2018-05-23 2019-08-06 Nio Usa, Inc. Controlling access to a vehicle using wireless access devices
US10850746B2 (en) * 2018-07-24 2020-12-01 Harman International Industries, Incorporated Coordinating delivery of notifications to the driver of a vehicle to reduce distractions
US11726210B2 (en) 2018-08-05 2023-08-15 COM-IoT Technologies Individual identification and tracking via combined video and lidar systems
KR102625398B1 (ko) * 2018-08-17 2024-01-17 현대자동차주식회사 차량 및 그 제어방법
CN109389542A (zh) * 2018-09-14 2019-02-26 百度在线网络技术（北京）有限公司 预测酒驾高发地区的方法、装置、计算机设备及存储介质
WO2020069517A2 (en) 2018-09-30 2020-04-02 Strong Force Intellectual Capital, Llc Intelligent transportation systems
KR102634349B1 (ko) * 2018-10-11 2024-02-07 현대자동차주식회사 차량의 제어 장치 및 방법
KR102675289B1 (ko) 2018-10-29 2024-06-17 현대자동차주식회사 차량 및 그 제어 방법
KR102546441B1 (ko) * 2018-11-07 2023-06-26 현대모비스 주식회사 안전운전 지원 장치 및 방법
KR102533295B1 (ko) * 2018-11-13 2023-05-18 현대자동차주식회사 차량 및 그 제어 방법
JP2020091526A (ja) * 2018-12-03 2020-06-11 トヨタ自動車株式会社 情報処理システム、プログラム、及び制御方法
US10730527B2 (en) 2018-12-05 2020-08-04 International Business Machines Corporation Implementing cognitive state recognition within a telematics system
KR102179661B1 (ko) * 2018-12-10 2020-11-17 주식회사 바이오브레인 핸즈온정보 및 생체정보 복합검출 기반의 안전운전 및 헬스케어 제공 시스템
KR102777377B1 (ko) * 2019-01-07 2025-03-11 현대자동차주식회사 차량 및 그 제어방법
JP6785889B2 (ja) * 2019-01-09 2020-11-18 本田技研工業株式会社 サービス提供装置
DE102019204116A1 (de) * 2019-03-26 2020-10-01 Robert Bosch Gmbh Verfahren zum Erstellen einer Landkarte eines Straßensystems mit einer aktuellen Stimmung von Verkehrsteilnehmern
US11396304B2 (en) 2019-06-18 2022-07-26 Lg Electronics Inc. Vehicle control method
US12059980B2 (en) 2019-06-21 2024-08-13 Lear Corporation Seat system and method of control
CN110239345A (zh) * 2019-07-02 2019-09-17 郭飞红 一种汽车安全驾驶预警器
CN110334669B (zh) * 2019-07-10 2021-06-08 深圳市华腾物联科技有限公司 一种形态特征识别的方法和设备
US11524691B2 (en) 2019-07-29 2022-12-13 Lear Corporation System and method for controlling an interior environmental condition in a vehicle
US11390298B2 (en) * 2019-09-26 2022-07-19 Pony Ai Inc. System and method for resolving a condition in a vehicle
US11562206B2 (en) 2019-09-30 2023-01-24 Wipro Limited System and method for providing personalized driving or navigation assistance
KR102407081B1 (ko) 2019-11-26 2022-06-13 한국전자통신연구원 운전자 활성도 검출 시스템 및 방법
KR102169168B1 (ko) * 2019-12-02 2020-10-22 고준택 안전운전 서비스 제공 시스템
DE102020111201A1 (de) 2020-04-24 2021-10-28 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Fahrzeug und System zur Bereitstellung von Fahrdienstleistungen
US11753047B2 (en) * 2020-06-29 2023-09-12 Micron Technology, Inc. Impaired driver assistance
CN114003759A (zh) * 2020-07-14 2022-02-01 佛吉亚歌乐电子(厦门)有限公司 推荐装置及方法
CN114084160B (zh) * 2020-07-29 2024-11-22 奥迪股份公司 驾驶辅助装置以及相应的车辆、方法、计算机设备和介质
US11161409B1 (en) * 2020-10-21 2021-11-02 Ford Global Technologies, Llc Systems and methods to securely limit drivability of a vehicle by impaired users
KR20220138063A (ko) * 2021-04-02 2022-10-12 삼성전자주식회사 자율 주행 차량의 자율 주행 프로파일 개선 방법 및 장치
DE102021112062A1 (de) * 2021-05-08 2022-11-10 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Vorrichtung, Computerprogramm und computerlesbares Speichermedium zur Ermittlung einer automatisierten Erzeugung einer Nachricht in einem Fahrzeug
KR20240006527A (ko) 2021-05-11 2024-01-15 하만 베커 오토모티브 시스템즈 게엠베하 생체 신호 추출을 개선하기 위한 융합 상황 센서
CN114445888A (zh) * 2022-01-21 2022-05-06 常州大学 基于情绪感知和语音交互的车载交互系统
CN115056786A (zh) * 2022-06-07 2022-09-16 公安部第三研究所 一种基于驾驶人情绪干预的安全驾驶预警系统
CN115100861B (zh) * 2022-06-22 2023-07-21 公安部交通管理科学研究所 一种酒驾车辆识别方法
CN115376115B (zh) * 2022-10-25 2023-01-17 中国第一汽车股份有限公司 鲁莽驾驶行为标记方法、车辆、云端服务器和存储介质
EP4420911A1 (en) 2023-02-24 2024-08-28 Bayerische Motoren Werke Aktiengesellschaft Control device and method for adjusting a digital assistant of a vehicle
DE102023107023A1 (de) 2023-03-21 2024-09-26 Bayerische Motoren Werke Aktiengesellschaft Steuervorrichtung und verfahren zum anpassen eines intelligenten persönlichen assistenten für ein kraftfahrzeug

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3328005B2 (ja) * 1993-06-22 2002-09-24 マツダ株式会社 車両の制御装置
JP2010057664A (ja) * 2008-09-03 2010-03-18 Mazda Motor Corp 車両用乗員体調管理装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8024084B2 (en) * 1995-06-07 2011-09-20 Automotive Technologies International, Inc. Vehicle diagnostic techniques
JPH10289006A (ja) * 1997-04-11 1998-10-27 Yamaha Motor Co Ltd 疑似感情を用いた制御対象の制御方法
US6249780B1 (en) * 1998-08-06 2001-06-19 Yamaha Hatsudoki Kabushiki Kaisha Control system for controlling object using pseudo-emotions and pseudo-personality generated in the object
US6230111B1 (en) * 1998-08-06 2001-05-08 Yamaha Hatsudoki Kabushiki Kaisha Control system for controlling object using pseudo-emotions and pseudo-personality generated in the object
US6526395B1 (en) * 1999-12-31 2003-02-25 Intel Corporation Application of personality models and interaction with synthetic characters in a computing system
JP3632607B2 (ja) * 2001-03-22 2005-03-23 トヨタ自動車株式会社 乗物の表現動作制御システム及び乗物のコミュニケーションシステム、表現動作を行う乗物
EP1256937B1 (en) * 2001-05-11 2006-11-02 Sony France S.A. Emotion recognition method and device
CN101401724A (zh) * 2001-06-13 2009-04-08 康普麦迪克斯有限公司 用于监测意识的方法和设备
JP2003072488A (ja) * 2001-08-31 2003-03-12 Sony Corp 車載装置、車両及び車両情報の処理方法
US20050177290A1 (en) * 2004-02-11 2005-08-11 Farmer Michael E. System or method for classifying target information captured by a sensor
KR20060066822A (ko) 2004-12-14 2006-06-19 현대자동차주식회사 차량용 운전자 생체변화 자가감시 및 피드백 시스템
JP2009508553A (ja) * 2005-09-16 2009-03-05 アイモーションズ−エモーション テクノロジー エー／エス 眼球性質を解析することで、人間の感情を決定するシステムおよび方法
EP2007271A2 (en) * 2006-03-13 2008-12-31 Imotions - Emotion Technology A/S Visual attention and emotional response detection and display system
US10076273B2 (en) * 2006-07-06 2018-09-18 Biorics Nv Real-time monitoring and control of physical and arousal status of individual organisms
US8195593B2 (en) * 2007-12-20 2012-06-05 The Invention Science Fund I Methods and systems for indicating behavior in a population cohort
US20110043635A1 (en) * 2008-02-28 2011-02-24 Ryujiro Fujita Vehicle driving evaluation apparatus and method, and computer program
JP2010122732A (ja) 2008-11-17 2010-06-03 Aisin Seiki Co Ltd 安全運転支援システム
KR101025510B1 (ko) 2009-06-10 2011-04-04 연세대학교 산학협력단 감성인식장치의 개인별 최적화시스템 및 그 최적화 방법
US8649533B2 (en) * 2009-10-02 2014-02-11 Ford Global Technologies, Llc Emotive advisory system acoustic environment
KR20110060061A (ko) 2009-11-30 2011-06-08 한일이화주식회사 패드인쇄층을 가지는 자동차 내장재 및 그 제조방법
KR101230827B1 (ko) 2009-12-04 2013-02-07 기아자동차주식회사 전방 차량 감지시스템
US20120011477A1 (en) * 2010-07-12 2012-01-12 Nokia Corporation User interfaces
US8364395B2 (en) * 2010-12-14 2013-01-29 International Business Machines Corporation Human emotion metrics for navigation plans and maps

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3328005B2 (ja) * 1993-06-22 2002-09-24 マツダ株式会社 車両の制御装置
JP2010057664A (ja) * 2008-09-03 2010-03-18 Mazda Motor Corp 車両用乗員体調管理装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11315362B2 (en) 2020-07-29 2022-04-26 Hyundai Motor Company Emotion-recognition-based service provision apparatus for vehicle and method of controlling the same
US11393249B2 (en) 2020-07-29 2022-07-19 Hyundai Motor Company Apparatus and method of providing vehicle service based on individual emotion recognition
US11440554B2 (en) 2020-07-29 2022-09-13 Hyundai Motor Company Method and system for determining driver emotions in conjuction with driving environment

Also Published As

Publication number Publication date
KR20130023535A (ko) 2013-03-08
US8862317B2 (en) 2014-10-14
US20130054090A1 (en) 2013-02-28

Similar Documents

Publication Publication Date Title
KR101901417B1 (ko) 감성기반 안전운전 자동차 서비스 시스템, 안전운전 서비스를 위한 감성인지 처리 장치 및 안전운전 서비스 장치, 감성기반 차량용 안전운전 서비스 방법
EP3675121B1 (en) Computer-implemented interaction with a user
CN106585624B (zh) 驾驶员状态监控方法及装置
JP6331975B2 (ja) 停車時車両制御装置
US9558414B1 (en) Method for calculating a response time
CN103978977B (zh) 基于人体通信的汽车监控系统和方法
JP6593485B2 (ja) 停車時車両制御装置
US20170006151A1 (en) System and method for anti texting in cell phones during vehicle driving
JP4534925B2 (ja) 車両用情報提供装置
JP2006119965A (ja) 車載型警報システム
EP2942012A1 (en) Driver assistance system
JP2006195580A (ja) 緊急通報システム
US11198389B1 (en) Systems and methods for detecting and reducing distracted driving
JP2009075695A (ja) 危険報知装置およびシステム
WO2018061474A1 (ja) 車両運行管理システム
KR102167009B1 (ko) 차량의 제어방식 자동 전환 장치
JP2013128226A (ja) 携帯端末使用制限装置
KR101750871B1 (ko) 이어셋 장치 및 그 장치의 제어 방법
WO2023019211A1 (en) System and method for use of a sensor matrix in a vehicle interior
JP2016207001A (ja) 運転支援装置
KR102270011B1 (ko) 시각장애인을 위한 딥러닝 기반 자율주행차량 시각화 시스템 및 방법
JP2018055445A (ja) 車両運行管理システム
KR20190063986A (ko) 클라우드서버를 기반을 하는 인공지능 대쉬보드로봇을 이용한 사용자 상태인식시스템
JP4725215B2 (ja) 情報出力装置、情報出力方法及び情報出力システム
KR20130026857A (ko) 졸음 운전 방지 장치

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20110829

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20160802

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20110829

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20171205

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20180605

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20171205

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20180605

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20180205

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20180717

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20180704

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20180605

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20180205

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20180917

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20180917

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20210825

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20220825

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20230823

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20240823

Start annual number: 7

End annual number: 7