[go: up one dir, main page]

KR101657900B1 - 운전 중 위험 정보를 결정하는 방법 및 운전 중 위험 정보를 전달하는 방법 - Google Patents

운전 중 위험 정보를 결정하는 방법 및 운전 중 위험 정보를 전달하는 방법 Download PDF

Info

Publication number
KR101657900B1
KR101657900B1 KR1020150078339A KR20150078339A KR101657900B1 KR 101657900 B1 KR101657900 B1 KR 101657900B1 KR 1020150078339 A KR1020150078339 A KR 1020150078339A KR 20150078339 A KR20150078339 A KR 20150078339A KR 101657900 B1 KR101657900 B1 KR 101657900B1
Authority
KR
South Korea
Prior art keywords
driver
vehicle
image
map
ham
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020150078339A
Other languages
English (en)
Inventor
정민영
이석한
구자헌
안현국
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020150078339A priority Critical patent/KR101657900B1/ko
Application granted granted Critical
Publication of KR101657900B1 publication Critical patent/KR101657900B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2040/08—
    • B60W2050/08—

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Traffic Control Systems (AREA)

Abstract

운전 중 위험 정보를 결정하는 방법은 차량에 설치된 시선 추적 장치가 운전자의 시선을 추적하고, 상기 차량에 설치된 카메라가 상기 운전자 시선을 추적한 시간에 상기 차량 외부의 영상을 획득하는 단계, 상기 시선 추적 장치가 시선 추적 데이터를 이용하여 HAM(human attention map)을 생성하는 단계, 상기 카메라 또는 상기 영상을 전달받은 연산 장치가 상기 영상을 기준으로 현저 맵(saliency map)을 생성하는 단계 및 상기 연산 장치가 상기 HAM과 현저 맵의 상관 관계를 연산하고, 상기 상관 관계의 정도를 기준으로 위험 정보를 결정하는 단계를 포함한다.

Description

운전 중 위험 정보를 결정하는 방법 및 운전 중 위험 정보를 전달하는 방법{DETERMINING METHOD FOR DANGER INFORMATION ON DRIVING CAR AND TRANSFERRING METHOD FOR DANGER INFORMATION ON DRIVING CAR}
이하 설명하는 기술은 차량 운전 중 위험 정보를 결정하고, 차량 주변에 위험 정보를 전달하는 기법에 관한 것이다.
차량의 운행 중 발생될 수 있는 위험상황에 대비하여 차체의 움직임을 자동적으로 제어하는 다양한 형태의 안전장치가 마련되고 있으며, 이와 함께 잠재적 위험요소에 대한 운전자의 주의를 환기시키고 운전자에게 운행 중 위험상황을 알리기 위한 경보장치들이 추가적으로 마련되고 있다. 최근에는 운전자의 시선 움직임을 추적하여 위험 상황을 알려주는 기술이 등장하였다.
한국공개특허 제10-2012-0055011호 한국공개특허 제10-2012-0071220호
이하 설명하는 기술은 운전자의 시선 추적 및 카메라로 획득한 영상 정보를 조합하여 운전자의 위험 상황을 인지하고, 위험 상황에 대한 경고를 운전자가 소지한 단말을 통해 알려주는 방법을 제공하고자 한다.
운전 중 위험 정보를 결정하는 방법은 차량에 설치된 시선 추적 장치가 운전자의 시선을 추적하고, 상기 차량에 설치된 카메라가 상기 운전자 시선을 추적한 시간에 상기 차량 외부의 영상을 획득하는 단계, 상기 시선 추적 장치가 시선 추적 데이터를 이용하여 HAM(human attention map)을 생성하는 단계, 상기 카메라 또는 상기 영상을 전달받은 연산 장치가 상기 영상을 기준으로 현저 맵(saliency map)을 생성하는 단계 및 상기 연산 장치가 상기 HAM과 현저 맵의 상관 관계를 연산하고, 상기 상관 관계의 정도를 기준으로 위험 정보를 결정하는 단계를 포함한다.
운전 중 위험 정보를 전달하는 방법은 차량의 주행 보조 시스템과 운전자 단말 사이에 V2D(Vehicle-to-Device) 통신 세션이 수립되는 단계, 상기 주행 보조 시스템이 운전자의 시선 추적을 기반으로 생성되는 HAM(human attention map) 및 상기 운전자의 시선을 추적한 시간에 획득한 상기 차량의 외부 영상에 대한 현저 맵(saliency map)을 기준으로 상기 HAM과 현저 맵의 상관 관계를 연산하고, 연산된 상관 관계가 높은 순위를 기준으로 위험 정보를 결정하는 단계, 상기 주행 보조 시스템이 상기 위험 정보를 포함하는 메시지를 상기 운전자 단말에 전송하는 단계 및 상기 주행 보조 시스템 또는 상기 운전자 단말이 상기 위험 정보를 소리, 진동 또는 영상 중 적어도 하나를 통해 상기 위험 정보를 출력하는 단계를 포함한다.
이하 설명하는 기술은 운전자의 시선 추적 및 카메라로 획득한 영상을 이용하여 보다 정확하게 위험 상황을 결정하고, 일종의 D2D(Device to Device) 통해 위험 상황을 운전자 또는 주변 차량에 전달할 수 있다.
도 1은 운전 중 위험 정보를 결정하는 방법에 대한 순서도의 예이다.
도 2는 특정 환경에서 시선 추적과 현저 맵을 이용한 연관 맵을 생성하는 예이다.
도 3은 주행 보조 시스템에서 위험 정보를 결정하는 과정에 대한 예이다.
도 4는 운전자의 위험 정보를 전달하는 시스템의 구성을 도시한 블록도의 예이다.
도 5는 차량 또는 교통 시설 장치에 운전자의 위험 정보를 전달하는 과정에 대한 예이다.
이하 설명하는 기술은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 이하 설명하는 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 이하 설명하는 기술의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 이하 설명하는 기술의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설시된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.
도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다.
또, 방법 또는 동작 방법을 수행함에 있어서, 상기 방법을 이루는 각 과정들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 과정들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
이하 설명하는 기술은 차량에서 운전자의 시선 추적 및 시선 방향의 영상을 이용하여 위험 정보를 추출하는 기법 및 추출한 위험 정보를 주변 차량 등에 전달하는 기법으로 구분할 수 있다.
먼저 위험 정보를 추출하는 기법에 대해 설명하기로 한다. 위험 정보란 차량의 운행 중에 차량 주변에서 발생하는 위험한 상황에 관한 정보를 의미한다. 차량에서 주행을 보조하기 위한 시스템이 위험 정보를 인지한다. 차량에서 위험 정보를 인지하는 시스템을 이하 주행 보조 시스템이라고 명명한다. 주행 보조 시스템은 인포테인먼트 시스템의 범주에 포함될 수도 있다.
위험 정보를 결정하기 위한 소스 데이터는 두 가지 이다. 하나는 운전자의 시선을 추적한 데이터이고, 또 다른 하나는 운전자의 시선 방향을 촬영한 영상 데이터이다.
운전자 시선 추적을 위한 종래의 연구가 있었고, 다양한 장치가 고안되었다. 이하 운전자의 시선을 추적하는 장치를 시선 추적 장치라고 명명한다. 시선 추적 장치는 일반적으로 운전자를 촬영한 영상을 분석하여 운전자의 양안(兩眼)이 향하는 방향 및 지점을 분석하는 장치이다. 최근에는 스마트 안경과 같은 형태의 시선 추적 장치도 시장에 나오고 있다. 이하 설명에서 시선 추적 장치는 특정한 방법이나 형태로 제한되는 것이 아니다. 따라서 시선 추적 장치에 대한 상세한 설명은 생략한다. 시선 추적 데이터는 특정 영상에서 운전자의 시선이 향하는 지점 내지 영역을 나타내는 데이터이다.
차량에서 운전자의 시선 “‡향을 촬영하는 장치가 필요하다. 이미 차량에 이용되고 있는 많은 카메라 장치가 있다. 예컨대, 블랙박스, 운행 보조를 위한 카메라 장치 등이 있다. 어떤 카메라 장치를 사용하던지 관계없고, 상기 시선 추적 장치가 추적하는 방향의 영상을 획득하면 된다. 시선 추적 장치가 이미 카메라를 사용하고 있으므로, 별도의 카메라를 이용하지 않고, 시선 추적 장치가 획득한 영상을 이용할 수도 있다. 이하 후술하는 현저 맵(saliency map)을 생성하기 위한 원본 영상을 촬영하는 장치를 카메라 장치라고 명명한다. 카메라 장치는 현저 맵을 생성하기 위한 전용 카메라일 수도 있고, 다른 목적으로 차량 외부를 촬영하는 카메라일 수도 있다.
도 1은 운전 중 위험 정보를 결정하는 방법(100)에 대한 순서도의 예이다. 먼저 시선 추적 장치가 운전자 시선을 추적하고, 동시에 카메라 장치가 차량 외부의 영상을 획득한다(110). 한편 카메라 장치가 획득한 영상을 운전자의 시선 방향의 영상이어야 한다. 따라서 사전에 카메라는 차량의 전면 방향의 영상, 측면 방향의 영상 및 후면 방향의 영상까지 모두 촬영하는 것이 바람직하다. 이를 위해서는 복수의 카메라가 필요할 것이다.
시선 추적 장치는 일반적으로 시선 추적을 위해 HAM(human attention map)을 생성한다(120). 따라서 시선 추적 장치가 생성한 HAM 영상을 사용한다. 경우에 따라서는 시선 추적 장치가 생성하니 시선 추적 데이터를 이용하여 주행 보조 시스템이 HAM을 생성할 수도 있을 것이다.
카메라 장치는 촬영한 외부 영상(소스 영상)을 기준으로 현저 맵(saliency map)을 생성한다(130). 또는 카메라 장치가 획득한 소스 영상을 이용하여 주행 보조 시스템이 현저 맵을 생성한다(130). 카메라 장치는 시선 추적 장치가 시선을 추적하는 동안의 영상을 획득해야 한다.
주행 보조 시스템은 HAM 및 현저 맵을 기준으로 상관 관계를 연산한다(140). 주행 보조 시스템은 상관 관계에 따라 영상에서 위험 정보를 결정한다(140). 나아가 주행 보조 시스템은 상관 관계의 정도에 따라 영상에 나타낸 위험 요소에 대한 순위를 결정할 수도 있다(150). 상관 관계 연산 과정에 대해서는 후술한다.
도 2는 특정 환경에서 시선 추적과 현저 맵을 이용한 연관 맵을 생성하는 예이다. 도 2(a)는 차량에서 촬영한 영상은 아니지만, 시선 추적 장치가 촬영한 영상의 예이다. 도 2(a)에서 작은 노란색 원은 시선이 위치했던 고정 지점(fixation point)을 나타낸다. HAM는 모든 고정 지점들을 하나의 맵(map)으로 구성한 것이다. 고정 지점이 많은 영역은 결국 사람의 시선이 집중한 부분에 해당한다. HAM은 고정 지점이 가장 많이 모여 있는 경우 또는 고정 지점이 가장 오랫동안 머물러 있는 경우에 대한 정보를 영상 데이터로 표현한다. 도 2(b)는 도 2(a)에 대한 HAM의 예이다. 도 2(b)를 살펴보면 고정 지점이 많았던 영역이 밝은 색으로 표현된 것을 알 수 있다. HAM 영상을 다른 색상으로도 표현은 가능하겠지만, 기본적으로 영상의 밝기로 표현한다고 가정한다. 도 2(b)의 HAM은 이진 영상에서 흰색의 분포를 나타낸다.
카메라 장치가 측정한 소스 영상에서 현저 맵(saliency map)을 생성하는 방법은 몇 가지가 있다. 현저 맵이란 결국 어떤 영상에서 도드라진 객체를 구분한 영상에 해당한다. 객체의 색상, 객체의 모양, 객체 의 방향 등과 같은 기준을 이용하여 현저 맵을 생성할 수 있다.
현저 맵은 상향식(Bottom-up saliency) 기법과 하향식(Top-down saliency) 기법이 있다. 기본적인 bottom-up saliency 모델은 Itti의 현저 모델(saliency model)이 있다. Itti의 현저 모델은 주변 환경에서 색깔, 조도, 방향성 중에 특출되어지는 부분을 검출하여 하나의 맵핑 모델을 만든다.
Top-down이란 단어는 정의하기로는 사람이 살아오면서 겪은 경험에 대한 기억 또는 뇌 속에 있는 다양한 정보라고 정의 한다. 이를 컴퓨터를 이용하여 모델링을 구현할 경우 주변환경에 중요 특징 값들을 입력하는 방식이 있다.
한편 도 2(c)는 도 2(a)의 소스 영상을 상향식 기법 및 하향식 기법을 조합하여 생성한 맵핑 모델의 예이다. 상향식 기법은 피부 색상, 에지, 색상이라는 특징값을 적용할 수 있고, 하향식 기법은 피부 색상 히스트그램, 얼굴 모양 및 특정 객체 모양을 특징값으로 적용할 수 있다. 현저 맵 생성을 위한 구체적인 설명은 생략한다.
도 2(d)는 도 2(b)의 HAM 및 도 2(c)의 현저 맵을 조합한 상관 영상의 예이다. 도 2(d)를 살펴보면 붉은색이 HAM을 나타내고, 파란색이 현저 맵을 나타내며, 보라색은 HAM과 현저 맵이 중첩된 부분을 나타낸다.
이제 HAM 및 현저 맵을 이용한 상관 관계(상관 계수)를 결정하는 과정을 설명한다. 상관 계수(Correlation)는 아래의 수학식 1과 같이 표현될 수 있다.
Figure 112015053455619-pat00001
x는 영상의 좌표, Mh(x)는 HAM, μh는 HAM의 평균픽셀값, Mc(c)는 현저 맵, μc는 현저 맵의 평균픽셀값이다. 상기 상관 계수가 1에 가까울 수록 상관 관계의 정도가 높고, 0에 가까울 수록 상관 관계는 낮다고 할 수 있다.
차량의 운전자에 상기 상관 관계를 적용해 보면, 상관 관계가 높은 경우 운전자가 해당 지점(또는 영역)을 주시하고 있고, 해당 영역에는 특정 객체가 존재한다고 할 수 있다. 상관 관계가 높은 경우 위험 요소가 있다고 판단한다.
도 3은 주행 보조 시스템에서 위험 정보를 결정하는 과정에 대한 예이다. 차량에서 주행 보조 시스템이 실시간으로 HAM과 현저 맵을 이용하여 상관 관계를 연산한다.
차량의 시선 추적 장치는 운전자 시선을 추적한다(211). 예컨대, 운전자가 전방을 보고 있다면 전방 차량, 전방 차량의 차선 변경, 전방의 교통 신호, 전방의 사고 차량 등을 주시한다. 차량의 시선 추적 장치는 운전자의 전방 시선을 감시한다(212). 한편 블랙박스 또는 다른 카메라(전술한 카메라 장치)는 운전자의 시선 방향을 촬영한다(221). 운전자의 시선이 다른 방향으로 변경될 수도 있으므로, 카메라 장치는 전방 또는 후방 등의 방향을 촬영할 수 있다(222).
시선 추적 장치 또는 주행 보조 장치는 시선의 고정 지점을 포함한 시선 추적 데이터를 기반으로 데이터를 일정한 시퀀스화하고, 맵핑 데이터(HAM)를 산출한다(230). 주행 보조 장치는 카메라 장치가 획득한 영상을 실시간으로 처리하여 현저 맵에 대한 맵핑 데이터를 산출한다(240).
주행 보조 장치는 HAM과 현저 맵을 상관 계수를 산출한다(250). 주행 보조 장치는 상관 계수의 결과에 따라 위험 인지도를 산출한다(260). 즉, 주행 보조 장치는 상관 계수가 높을 수록(1에 가까울 수록) 위험 요소에 해당한다고 판단한다. 이때 주행 보조 장치는 상관 계수의 순위에 따라 몇 개의 위험 요소를 결정할 수도 있다. 예컨대, 상위 3개의 상관 계수를 갖는 영역을 위험 요소로 결정할 수 있다.
위험 요소 결정에 예외 사항이 있을 수 있다. 예컨대, 상관 계수는 낮지만 운전자의 시선이 일정한 기준 시간(예컨대, 5초) 이상 머무는 지점 내지 영역이 있는 경우 주행 보조 장치는 해당 영역을 위험 요소로 결정할 수도 있다(270). 주행 보조 장치는 위험 요소를 식별한 정보를 위험 정보로 가공할 수 있다.
이하 운전자가 소지하는 단말을 이용하여 주행 보조 시스템이 생성한 위험 정보를 전달하는 과정을 설명한다. 도 4는 운전자의 위험 정보를 전달하는 시스템의 구성을 도시한 블록도의 예이다. 기본적으로 위험 정보를 전달하는 과정은 D2D(Device-to-Device) 통신을 사용한다고 가정한다. D2D 통신은 이동통신 네트워크에 기반한 단말 간 통신을 사용한다고 가정한다. 3GPP 표준에서 정의하는 D2D 통신은 크게 기지국(BS)의 관여없이 단말 간에서 데이터를 교환하는 방식과 기지국의 두 개의 단말 사이의 데이터 통신을 제어하는 방식이 있다. D2D 통신 기법에 대한 상세한 설명은 생략한다. D2D 통신을 차량 시스템에 적용하면 V2V(Vehicle-to-Vehicle), V2I(Vehicle-to-Infrastructure) 등으로 명칭하기도 한다. V2V는 차량과 차량 사이의 통신을 의미하고, V2I는 차량과 도로변에 설치된 인프라 시설(신호등, 교통 신호 조절 장치 등) 사이의 통신을 의미한다.
먼저 차량의 주행 보조 시스템(10)은 차량 운전자가 소지한 또는 차량에 배치된 운전자 단말(20)과 통신 채널을 수립한다(①). 이 과정은 차량과 단말 사이의 통신(Vehicle-to-Device, V2D)을 수립하는 과정에 해당한다. V2D도 D2D 통신에 해당한다.
이후 주행 보조 시스템(10)의 운전자의 시선을 추적하고, 카메라 장치가 획득한 영상을 수신한다(②). 주행 보조 시스템(10)은 HAM과 현저 맵을 기준으로 상관 관계를 연산하고, 영상에서 위험 요소를 나타내는 위험 정보 A를 생성한다.
주행 보조 시스템(10)이 곧바로 운전자에게 위험 정보 A를 알릴 수 있다(③). 예컨대, 디스플레이 장치로 일정한 정보를 출력하거나, 스피커를 통해 경고 메시지를 출력할 수 있다.
주행 보조 시스템(10)은 위험 정보 A를 운전자 단말(20)에 전달한다. 운전자 단말(20)은 주변 차량의 단말(80)에 위험 정보 A를 전송한다. 도 4와 같이 기지국(50)을 거쳐 위험 정보 A를 주변의 하나 이상의 차량에 전송할 수 있다. 또는 기지국의 관여없이 직접 운전자 단말(20)이 위험 정보 A를 주변 차량의 단말에 전송할 수도 있을 것이다.
한편 위험 정보 A를 수신한 운전자 단말(20)은 위험 정보 A를 운전자에게 알려줄 수도 있다. 운전자 단말(20)은 진동, 소리, 영상 등을 통해 운전자에게 위험 정보를 알려줄 수 있다.
위험 정보 A를 수신한 주변 단말(80)은 해당 위험 정보 A를 직접 운전자에게 알려주거나, 해당 차량의 주행 보조 시스템을 통해 위험 정보 A를 알려줄 수 있다.
나아가 주변 단말(80)도 해당 차량의 주행 보조 시스템이 생성한 위험 정보 B를 운전자 단말(20)에 전송할 수 있다. 도 4에서 주변 단말(80)이 배치되는 차량 이나 주행 보조 시스템은 도시하지 않았다. 위험 정보 B는 위험 정보 A와 동일하거나 연관된 정보일 수도 있고, 전혀 별개의 위험 정보일 수도 있다.
운전자 단말(20)은 위험 정보 B를 직접 사용자에게 알릴 수 있다. 또한 운전자 단말(20)은 위험 정보 B를 주행 보조 시스템이 전달할 수 있다(④). 주행 보조 시스템은 위험 정보 B를 운전자에게 알려줄 수 있다(④).
위험 정보가 전달되는 구체적인 예를 들어 설명하기로 한다. 도 5는 차량 또는 교통 시설 장치에 운전자의 위험 정보를 전달하는 과정에 대한 예이다.
도 5를 살펴보면 차량(510) 주행 방향에 차량 사고가 발생하였고, 차량(510)의 운전자는 차량 사고를 주시하였고, 차량(510)의 주행 보조 시스템은 차량 사고 영역을 위험 요소로 결정하였다.
차량(510)은 주변에 위치한 차량(520)에 직접 위험 정보를 전송하였고, 기지국(BS)을 통해 차량(530)에 위험 정보를 전송하였고, 또한 기지국(BS)을 통해 교통 시설 장치(신호등 및 제어 장치, 550)에 위험 정보를 전송하였다.
차량(510)의 주행 보조 시스템은 운전자의 조작이 없더라도 사고 발생 지점에 이르기 전에 차량의 제동 시스템을 가동할 수 있다. 또한 차량(520)은 자신의 예상 경로에 차량 사고가 발생한 것을 인지하고 내비게이션을 가동하여 우회 경로를 산출할 수 있다. 차량(530)은 위험 정보를 수신하였지만, 자신의 예상 경로와 관계 없는 경우 해당 위험 정보를 운전자에게 알려주기만 할 수 있다. 나아가 교통 시설 장치(550)는 위험 정보를 수신하여 화살표 주행 경로에 사고가 발생하였음을 인지하고, 해당 경로로의 주행을 잠시 정지할 수 있다.
본 실시예 및 본 명세서에 첨부된 도면은 전술한 기술에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 전술한 기술의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시예는 모두 전술한 기술의 권리범위에 포함되는 것이 자명하다고 할 것이다.
10 : 주행 보조 시스템 20 : 운전자 단말
50 : 기지국(AP) 80 : 다른 차량의 단말
510, 520, 530 : 차량 550 : 교통 시설 장치

Claims (11)

  1. 차량에 설치된 시선 추적 장치가 운전자의 시선을 추적하고, 상기 차량에 설치된 카메라가 상기 운전자 시선을 추적한 시간에 상기 차량 외부의 영상을 획득하는 단계;
    상기 시선 추적 장치가 시선 추적 데이터를 이용하여 HAM(human attention map)을 생성하는 단계;
    상기 카메라 또는 상기 영상을 전달받은 연산 장치가 상기 영상을 기준으로 현저 맵(saliency map)을 생성하는 단계; 및
    상기 연산 장치가 상기 HAM과 현저 맵의 상관 관계를 연산하고, 상기 상관 관계의 정도를 기준으로 위험 정보를 결정하는 단계를 포함하되,
    상기 상관 관계는 상기 HAM에서 운전자의 시선 위치의 픽셀값과 상기 HAM의 전체 평균 픽셀값의 차이와 상기 현저 맵에서 운전자의 시선 위치의 픽셀값과 상기 현저 맵의 전체 평균 픽셀값의 차이를 기준으로 연산되는 운전 중 위험 정보를 결정하는 방법.
  2. 제1항에 있어서,
    상기 연산 장치는 상기 상관 관계가 높은 순서로 상기 영상의 일정한 영역에 대한 순위를 결정하고, 상기 순위는 위험 정도에 대응하는 운전 중 위험 정보를 결정하는 방법.
  3. 제1항에 있어서,
    상기 연산 장치는 상기 시선 추적 장치가 전달하는 시선 추적 데이터를 기반으로 상기 운전자의 시선이 기준 시간 이상 같은 영역을 주시한다고 판단한 경우 상기 순위에 관계없이 상기 같은 영역을 가장 위험 정도가 높은 위험 정보로 결정하는 운전 중 위험 정보를 결정하는 방법.
  4. 제1항에 있어서,
    상기 연산 장치는 상기 HAM 및 상기 현저 맵에 대해 각각 색상 또는 밝기가 배경과 다른 정도를 기준으로 상기 상관 관계를 연산하는 운전 중 위험 정보를 결정하는 방법.
  5. 제1항에 있어서,
    상기 상관 관계(Correlation)는 아래의 수식으로 표현되는 운전 중 위험 정보를 결정하는 방법.
    Figure 112015053455619-pat00002

    (여기서, x는 영상의 좌표, Mh(x)는 HAM, μh는 HAM의 평균픽셀값, Mc(c)는 현저 맵, μc는 현저 맵의 평균픽셀값임)
  6. 차량의 주행 보조 시스템과 운전자 단말 사이에 V2D(Vehicle-to-Device) 통신 세션이 수립되는 단계;
    상기 주행 보조 시스템이 운전자의 시선 추적을 기반으로 생성되는 HAM(human attention map) 및 상기 운전자의 시선을 추적한 시간에 획득한 상기 차량의 외부 영상에 대한 현저 맵(saliency map)을 기준으로 상기 HAM과 현저 맵의 상관 관계를 연산하고, 연산된 상관 관계가 높은 순위를 기준으로 위험 정보를 결정하는 단계;
    상기 주행 보조 시스템이 상기 위험 정보를 포함하는 메시지를 상기 V2D 통신 세션을 통해 상기 운전자 단말에 전송하는 단계; 및
    상기 주행 보조 시스템 또는 상기 운전자 단말이 상기 위험 정보를 소리, 진동 또는 영상 중 적어도 하나를 통해 상기 위험 정보를 출력하는 단계를 포함하되,
    상기 상관 관계는 상기 HAM에서 운전자의 시선 위치의 픽셀값과 상기 HAM의 전체 평균 픽셀값의 차이와 상기 현저 맵에서 운전자의 시선 위치의 픽셀값과 상기 현저 맵의 전체 평균 픽셀값의 차이를 기준으로 연산되는 운전 중 위험 정보를 전달하는 방법.
  7. 제6항에 있어서,
    상기 결정하는 단계는
    상기 차량에 설치된 시선 추적 장치가 운전자의 시선을 추적하고, 상기 차량에 설치된 카메라가 상기 운전자 시선을 추적한 시간에 상기 차량 외부의 영상을 획득하는 단계;
    상기 시선 추적 장치가 시선 추적 데이터를 이용하여 HAM(human attention map)을 생성하는 단계;
    상기 카메라 또는 상기 영상을 전달받은 상기 주행 보조 시스템이 상기 영상을 기준으로 현저 맵(saliency map)을 생성하는 단계; 및
    상기 주행 보조 시스템이 상기 HAM과 현저 맵의 상관 관계를 연산하고, 연산된 상관 관계가 높은 순위를 기준으로 위험 정보를 결정하는 단계를 포함하는 운전 중 위험 정보를 전달하는 방법.
  8. 제6항에 있어서,
    상기 주행 보조 시스템은 상기 상관 관계가 높은 순서로 상기 영상의 일정한 영역에 대한 순위를 결정하고, 상기 순위는 위험 정도에 대응하는 운전 중 위험 정보를 결정하는 운전 중 위험 정보를 전달하는 방법.
  9. 제6항에 있어서,
    상기 주행 보조 시스템은 시선 추적을 기반으로 상기 운전자의 시선이 기준 시간 이상 같은 영역을 주시한다고 판단한 경우 상기 순위에 관계없이 상기 같은 영역을 가장 위험 정도가 높은 위험 정보로 결정하는 운전 중 위험 정보를 전달하는 방법.
  10. 제6항에 있어서,
    상기 상관 관계(Correlation)는 아래의 수식으로 표현되는 운전 중 위험 정보를 전달하는 방법.
    Figure 112015053455619-pat00003

    (여기서, x는 영상의 좌표, Mh(x)는 HAM, μh는 HAM의 평균픽셀값, Mc(c)는 현저 맵, μc는 현저 맵의 평균픽셀값임)
  11. 제6항에 있어서,
    상기 운전자 단말이 이동통신 네트워크의 D2D 통신 방식으로 상기 차량 주변에 있는 다른 차량의 단말 또는 상기 차량 주변에 있는 교통 시설 장치에 상기 메시지를 전송하는 단계를 더 포함하는 운전 중 위험 정보를 전달하는 방법.
KR1020150078339A 2015-06-03 2015-06-03 운전 중 위험 정보를 결정하는 방법 및 운전 중 위험 정보를 전달하는 방법 Expired - Fee Related KR101657900B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150078339A KR101657900B1 (ko) 2015-06-03 2015-06-03 운전 중 위험 정보를 결정하는 방법 및 운전 중 위험 정보를 전달하는 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150078339A KR101657900B1 (ko) 2015-06-03 2015-06-03 운전 중 위험 정보를 결정하는 방법 및 운전 중 위험 정보를 전달하는 방법

Publications (1)

Publication Number Publication Date
KR101657900B1 true KR101657900B1 (ko) 2016-09-19

Family

ID=57102801

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150078339A Expired - Fee Related KR101657900B1 (ko) 2015-06-03 2015-06-03 운전 중 위험 정보를 결정하는 방법 및 운전 중 위험 정보를 전달하는 방법

Country Status (1)

Country Link
KR (1) KR101657900B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111565978A (zh) * 2018-01-29 2020-08-21 华为技术有限公司 主预览区域和基于视线的驾驶员分心检测

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005267108A (ja) * 2004-03-17 2005-09-29 Denso Corp 運転支援装置
KR20120055011A (ko) 2010-11-22 2012-05-31 현대자동차주식회사 운전자 시선 거리 추적 방법
KR20120071220A (ko) 2010-12-22 2012-07-02 한국전자통신연구원 시선추적을 통한 안전운전 지원 장치 및 방법
KR20120106691A (ko) * 2012-09-12 2012-09-26 한양대학교 에리카산학협력단 차량의 사행 운전 검지 및 제어 방법
JP2013254409A (ja) * 2012-06-08 2013-12-19 Toyota Central R&D Labs Inc 漫然運転検出装置及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005267108A (ja) * 2004-03-17 2005-09-29 Denso Corp 運転支援装置
KR20120055011A (ko) 2010-11-22 2012-05-31 현대자동차주식회사 운전자 시선 거리 추적 방법
KR20120071220A (ko) 2010-12-22 2012-07-02 한국전자통신연구원 시선추적을 통한 안전운전 지원 장치 및 방법
JP2013254409A (ja) * 2012-06-08 2013-12-19 Toyota Central R&D Labs Inc 漫然運転検出装置及びプログラム
KR20120106691A (ko) * 2012-09-12 2012-09-26 한양대학교 에리카산학협력단 차량의 사행 운전 검지 및 제어 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
이석한 외 2인. Eye-Tracker 를 이용한 시선경로와 saliency map에 대한 비교, 분석에 관한 연구. HCI 2010, 2010.1, 730-732 pages. *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111565978A (zh) * 2018-01-29 2020-08-21 华为技术有限公司 主预览区域和基于视线的驾驶员分心检测
US11977675B2 (en) 2018-01-29 2024-05-07 Futurewei Technologies, Inc. Primary preview region and gaze based driver distraction detection
US12346498B2 (en) 2018-01-29 2025-07-01 Futurewei Technologies, Inc. Primary preview region and gaze based driver distraction detection

Similar Documents

Publication Publication Date Title
US10800424B2 (en) Driver condition detection system
CN112470231B (zh) 信息处理装置、信息处理方法和程序
KR20240074777A (ko) 차량 탑승자 보조를 위한 차량 및 모바일 디바이스 인터페이스
CN105225508B (zh) 路况提示方法及装置
KR20240067906A (ko) 차량 탑승자 보조를 위한 차량 및 모바일 디바이스 인터페이스
Schoop et al. Hindsight: enhancing spatial awareness by sonifying detected objects in real-time 360-degree video
CN111386701A (zh) 图像处理装置和图像处理方法
CN107850944A (zh) 在机动车辆中运行数据眼镜的方法以及带有数据眼镜的系统
US20220180483A1 (en) Image processing device, image processing method, and program
JP6939283B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US20230090975A1 (en) Driving assistance processing method and apparatus, computer-readable medium, and electronic device
WO2022041869A1 (zh) 路况提示方法、装置、电子设备、存储介质及程序产品
CN111216127A (zh) 一种机器人控制方法、装置、服务器及介质
CN111710189B (zh) 电子装置的控制方法、电子装置以及记录介质
WO2017163514A1 (ja) 眼鏡型ウェアラブル端末、その制御方法および制御プログラム
CN106696824A (zh) 车辆行驶辅助方法及装置、车辆
CN108140124B (zh) 提示信息确定方法、装置、电子设备
US20180232868A1 (en) Image processing apparatus and image processing method
CN111064936A (zh) 一种路况信息显示方法及ar设备
KR101657900B1 (ko) 운전 중 위험 정보를 결정하는 방법 및 운전 중 위험 정보를 전달하는 방법
CN206914229U (zh) 实景互联网打车辅助系统
CN111263133A (zh) 信息处理方法及系统
JP2024124855A (ja) 車両用制御装置
CN116071949A (zh) 一种用于辅助驾驶的增强现实的方法及装置
KR101935853B1 (ko) 라이다 및 레이더를 이용한 나이트 비전 시스템

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

Fee payment year number: 1

St.27 status event code: A-2-2-U10-U11-oth-PR1002

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

Fee payment year number: 4

St.27 status event code: A-4-4-U10-U11-oth-PR1001

PR1001 Payment of annual fee

Fee payment year number: 5

St.27 status event code: A-4-4-U10-U11-oth-PR1001

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

Fee payment year number: 6

St.27 status event code: A-4-4-U10-U11-oth-PR1001

PR1001 Payment of annual fee

Fee payment year number: 7

St.27 status event code: A-4-4-U10-U11-oth-PR1001

PC1903 Unpaid annual fee

Not in force date: 20230909

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

St.27 status event code: A-4-4-U10-U13-oth-PC1903

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R11-asn-PN2301

St.27 status event code: A-5-5-R10-R13-asn-PN2301

PC1903 Unpaid annual fee

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20230909

St.27 status event code: N-4-6-H10-H13-oth-PC1903

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000