[go: up one dir, main page]

KR101502511B1 - 가상 차선 생성 장치와 방법 및 상기 장치를 구비하는 차선 유지 제어 시스템 - Google Patents

가상 차선 생성 장치와 방법 및 상기 장치를 구비하는 차선 유지 제어 시스템 Download PDF

Info

Publication number
KR101502511B1
KR101502511B1 KR20130146212A KR20130146212A KR101502511B1 KR 101502511 B1 KR101502511 B1 KR 101502511B1 KR 20130146212 A KR20130146212 A KR 20130146212A KR 20130146212 A KR20130146212 A KR 20130146212A KR 101502511 B1 KR101502511 B1 KR 101502511B1
Authority
KR
South Korea
Prior art keywords
lane
vehicle
lanes
normally detected
offset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR20130146212A
Other languages
English (en)
Inventor
유은영
류경진
황태훈
이규훈
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR20130146212A priority Critical patent/KR101502511B1/ko
Priority to US14/140,767 priority patent/US9552523B2/en
Priority to CN201410317376.5A priority patent/CN104670229B/zh
Application granted granted Critical
Publication of KR101502511B1 publication Critical patent/KR101502511B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/025—Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D6/00—Arrangements for automatically controlling steering depending on driving conditions sensed and responded to, e.g. control circuits
    • B62D6/08—Arrangements for automatically controlling steering depending on driving conditions sensed and responded to, e.g. control circuits responsive only to driver input torque
    • B62D6/10—Arrangements for automatically controlling steering depending on driving conditions sensed and responded to, e.g. control circuits responsive only to driver input torque characterised by means for sensing or determining torque
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2510/00—Input parameters relating to a particular sub-units
    • B60W2510/20—Steering systems
    • B60W2510/202—Steering torque
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/20—Steering systems
    • B60W2710/202—Steering torque
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/10—Path keeping
    • B60Y2300/12—Lane keeping

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Steering Control In Accordance With Driving Conditions (AREA)

Abstract

본 발명은 각측 차선의 검출 여부에 따라 미검출 차선을 보상하거나 추정하는 가상 차선 생성 장치와 방법 및 상기 장치를 구비하는 차선 유지 제어 시스템을 제안한다. 본 발명에 따른 가상 차선 생성 장치는 전방 영상을 기초로 전방 도로의 양측 차선들이 정상적으로 검출되는지 여부를 판단하는 차선 검출 판단부; 양측 차선들 중에서 일측 차선이 정상적으로 검출되지 않는 것으로 판단되면 타측 차선을 기초로 일측 차선을 보상하여 가상 차선을 생성하는 차선 보상부; 및 양측 차선들이 정상적으로 검출되지 않는 것으로 판단되면 이전 검출된 차선 정보를 기초로 양측 차선을 추정하여 가상 차선을 생성하는 차선 추정부를 포함한다.

Description

가상 차선 생성 장치와 방법 및 상기 장치를 구비하는 차선 유지 제어 시스템 {Apparatus and method for generating virtual lane, and system for controlling lane keeping of vehicle with the said apparatus}
본 발명은 미인식 또는 오인식으로 검출되지 않는 차선을 가상으로 생성하는 장치와 방법에 관한 것이다. 또한 본 발명은 검출된 차선 또는 가상으로 생성된 차선을 이용하여 차량의 차선 유지를 제어하는 시스템에 관한 것이다.
차선 유지 보조 시스템(LKAS; Lane Keeping Assistance System)은 센서를 통해 차선을 검출하고, 검출된 차선의 위치 정보를 토크값으로 변화시켜 차량의 차선 이탈을 막는 시스템이다.
이러한 차선 유지 보조 시스템은 카메라를 통해 측정된 도로 정보를 이용하여 차량이 차선을 이탈하지 않도록 도와줌에 있어서 카메라의 정확도에 큰 영향을 받는다.
도로 주행시 가드 레일, 브레이크 자국, 이중 차선, 눈, 비 등의 환경적 요인에 의해 카메라가 차선을 미인식하거나 오인식하는 사례가 빈번히 발생하며, 이러한 차선의 미인식 및 오인식에 따라 LKAS 제어가 오작동되는 경우 운전자에게 이질감을 느끼게 할 수 있을 뿐만 아니라 위험한 상황을 초래할 수 있다.
국내공개특허 제2011-0126820호는 차선 인식 장치에 대하여 기술하고 있다. 그런데 이 장치는 카메라 신호의 신뢰도를 이용하여 차선을 예측하기 때문에 양측 차선이 모두 검출되지 않는 경우에 대한 해결안이 없다. 그래서 이 장치는 전술한 문제점을 해결할 수가 없다.
본 발명은 상기한 문제점을 해결하기 위해 안출된 것으로서, 각측 차선의 검출 여부에 따라 미검출 차선을 보상하거나 추정하는 가상 차선 생성 장치와 방법 및 상기 장치를 구비하는 차선 유지 제어 시스템을 제안하는 것을 목적으로 한다.
그러나 본 발명의 목적은 상기에 언급된 사항으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명은 상기한 목적을 달성하기 위해 안출된 것으로서, 전방 영상을 기초로 전방 도로의 양측 차선들이 정상적으로 검출되는지 여부를 판단하는 차선 검출 판단부; 상기 양측 차선들 중에서 일측 차선이 정상적으로 검출되지 않는 것으로 판단되면 타측 차선을 기초로 상기 일측 차선을 보상하여 가상 차선을 생성하는 차선 보상부; 및 상기 양측 차선들이 정상적으로 검출되지 않는 것으로 판단되면 이전 검출된 차선 정보를 기초로 상기 양측 차선을 추정하여 상기 가상 차선을 생성하는 차선 추정부를 포함하는 것을 특징으로 하는 가상 차선 생성 장치를 제안한다.
바람직하게는, 상기 차선 검출 판단부는 차량과 각측 차선 사이의 오프셋을 기초로 상기 양측 차선들이 정상적으로 검출되는지 여부를 판단한다.
바람직하게는, 상기 차선 검출 판단부는 차량과 각측 차선 사이의 오프셋, 상기 차량의 헤딩각(heading angle), 및 차선 정확도를 기초로 상기 양측 차선들이 정상적으로 검출되는지 여부를 판단한다.
바람직하게는, 상기 차선 검출 판단부는 차량과 좌측 차선간 오프셋 변화율 및 상기 차량과 우측 차선간 오프셋 변화율 사이의 차이값을 기초로 상기 양측 차선들이 정상적으로 검출되는지 여부를 판단한다.
바람직하게는, 상기 차선 검출 판단부는 차량과 좌측 차선간 오프셋 변화율 및 상기 차량과 우측 차선간 오프셋 변화율 사이의 제1 차이값, 상기 차량의 좌측 헤딩각과 우측 헤딩각 사이의 제2 차이값, 및 상기 차선 정확도와 기준값 사이의 제3 차이값을 기초로 상기 양측 차선들이 정상적으로 검출되는지 여부를 판단한다.
바람직하게는, 상기 차선 검출 판단부는 상기 제1 차이값, 상기 제2 차이값 및 상기 제3 차이값을 대입하여 얻은 인덱스 값이 제1 임계값과 같으면 상기 양측 차선들이 정상적으로 검출되는 것으로 판단하고, 상기 인덱스 값이 상기 제1 임계값 초과 제2 임계값 미만이면 일측 차선이 정상적으로 검출되지 않는 것으로 판단하며, 상기 인덱스 값이 상기 제2 임계값 초과이면 상기 양측 차선들이 정상적으로 검출되지 않는 것으로 판단한다.
바람직하게는, 상기 차선 검출 판단부는 상기 인덱스 값이 상기 제2 임계값과 같으면 이전 가상 차선 생성 결과를 기초로 상기 일측 차선이 정상적으로 검출되지 않는지 아니면 상기 양측 차선들이 정상적으로 검출되지 않는지를 판단한다.
바람직하게는, 상기 차선 보상부는 차량과 각측 차선 사이의 오프셋, 상기 차량의 헤딩각, 및 상기 전방 도로의 곡률을 기초로 상기 일측 차선을 보상한다.
바람직하게는, 상기 차선 보상부는 상기 일측 차선이 좌측 차선일 경우 상기 차량과 우측 차선 사이의 오프셋에 차선 폭을 더한 값을 상기 차량과 상기 좌측 차선 사이의 오프셋으로 하여 상기 좌측 차선을 보상하며, 상기 일측 차선이 우측 차선일 경우 상기 차량과 상기 좌측 차선 사이의 오프셋에서 상기 차선 폭을 뺀 값을 상기 차량과 상기 우측 차선 사이의 오프셋으로 하여 상기 우측 차선을 보상한다.
바람직하게는, 상기 차선 보상부는 상기 차량의 양측 헤딩각이 동일해지도록 상기 일측 차선을 보상하거나, 상기 전방 도로에서 양측 차선의 곡률이 동일해지도록 상기 일측 차선을 보상한다.
바람직하게는, 상기 차선 추정부는 이전에 차선 정보를 정상 검출할 때에 이용된 전방 영상으로부터 얻은 차량의 제1 주행 상태 정보와 상기 차량에 장착된 센서들로부터 얻은 상기 차량의 제2 주행 상태 정보를 기초로 상기 양측 차선들을 추정한다.
바람직하게는, 상기 차선 추정부는 상기 제1 주행 상태 정보로 상기 차량과 각측 차선 사이의 오프셋, 상기 차량의 헤딩각, 및 상기 전방 도로의 곡률을 이용하며, 상기 제2 주행 상태 정보로 상기 차량의 속도와 요레이트를 이용한다.
또한 본 발명은 전방 영상을 기초로 전방 도로의 양측 차선들이 정상적으로 검출되는지 여부를 판단하는 단계; 상기 양측 차선들 중에서 일측 차선이 정상적으로 검출되지 않는 것으로 판단되면 타측 차선을 기초로 상기 일측 차선을 보상하여 가상 차선을 생성하는 단계; 및 상기 양측 차선들이 정상적으로 검출되지 않는 것으로 판단되면 이전 검출된 차선 정보를 기초로 상기 양측 차선을 추정하여 상기 가상 차선을 생성하는 단계를 포함하는 것을 특징으로 하는 가상 차선 생성 방법을 제안한다.
바람직하게는, 상기 전방 영상을 기초로 전방 도로의 양측 차선들이 정상적으로 검출되는지 여부를 판단하는 단계는, 차량과 각측 차선 사이의 오프셋, 상기 차량의 헤딩각(heading angle), 및 차선 정확도를 기초로 상기 양측 차선들이 정상적으로 검출되는지 여부를 판단한다.
바람직하게는, 상기 양측 차선들 중에서 일측 차선이 정상적으로 검출되지 않는 것으로 판단되면 타측 차선을 기초로 상기 일측 차선을 보상하여 가상 차선을 생성하는 단계는, 차량과 각측 차선 사이의 오프셋, 상기 차량의 헤딩각, 및 상기 전방 도로의 곡률을 기초로 상기 일측 차선을 보상한다.
바람직하게는, 상기 양측 차선들이 정상적으로 검출되지 않는 것으로 판단되면 이전 검출된 차선 정보를 기초로 상기 양측 차선을 추정하여 상기 가상 차선을 생성하는 단계는, 상기 차량과 각측 차선 사이의 오프셋, 상기 차량의 헤딩각, 상기 전방 도로의 곡률, 상기 차량의 속도, 및 상기 차량의 요레이트를 기초로 상기 양측 차선들을 추정한다.
또한 본 발명은 전방 영상을 기초로 전방 도로의 양측 차선들이 정상적으로 검출되는지 여부를 판단하는 차선 검출 판단부; 상기 전방 영상으로부터 정상적으로 검출되는 차선을 획득하는 차선 검출부; 상기 양측 차선들 중에서 일측 차선이 정상적으로 검출되지 않는 것으로 판단되면 타측 차선을 기초로 상기 일측 차선을 보상하여 가상 차선을 생성하는 차선 보상부; 상기 양측 차선들이 정상적으로 검출되지 않는 것으로 판단되면 이전 검출된 차선 정보를 기초로 상기 양측 차선을 추정하여 상기 가상 차선을 생성하는 차선 추정부; 검출, 보상 및 추정 중 적어도 하나의 방법으로 얻은 양측 차선과 차량의 주행 상태 정보를 기초로 상기 차량을 제어하기 위한 조향 토크를 산출하는 조향 토크 산출부; 및 상기 조향 토크를 기초로 상기 차량의 차선 유지를 제어하는 차선 유지 제어부를 포함하는 것을 특징으로 하는 차선 유지 제어 시스템을 제안한다.
본 발명은 각측 차선의 검출 여부에 따라 미검출 차선을 보상하거나 추정함으로써 다음 효과를 얻을 수 있다.
첫째, 계측된 데이터를 바탕으로 차선의 오인식/미인식 사례를 분석하고 이를 토대로 생성한 인덱스를 바탕으로 가상 차선 알고리즘을 구성 및 검증함으로써 로직의 신뢰성을 향상시킬 수 있다.
둘째, 전방 영상 센서로부터 측정된 차선 정보의 오인식 및 미인식 여부를 판단하고 차선 정보를 보상하여 차선의 신뢰성을 향상시킴으로써 시스템의 성능을 향상시킬 수 있다.
셋째, 차선 유지 보조 시스템을 장착한 차량의 제어 성능을 향상시킬 수 있다.
도 1은 본 발명의 일실시예에 따른 차선 유지 보조 시스템의 개념도이다.
도 2는 오인식/미인식 발생 유형 및 분석 사례를 도시한 테이블도이다.
도 3은 인덱스용 변수를 정의한 테이블도이다.
도 4는 일례에 따른 차선 추정 구간과 차선 보상 구간의 구분 기준을 보여주는 그래프이다.
도 5는 변수와 인덱스 간 관계를 정의한 테이블도이다.
도 6은 가상 차선 알고리즘의 각 State를 정의한 테이블도이다.
도 7은 가상 차선 알고리즘을 순차적으로 도시한 흐름도이다.
도 8은 가상 차선 알고리즘 적용 결과를 보여주는 테이블도이다.
도 9는 차선의 오인식 사례를 보여주는 참고도이다.
도 10은 차선의 미인식 사례를 보여주는 참고도이다.
도 11은 본 발명의 바람직한 실시예에 따른 가상 차선 생성 장치를 개략적으로 도시한 블록도이다.
도 12는 본 발명의 바람직한 실시예에 따른 차선 유지 제어 시스템을 개략적으로 도시한 블록도이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
본 발명은 차선 유지 보조 시스템의 성능 및 작동율을 향상시키기 위하여 전방 영상 센서에서 측정된 차선의 미인식/오인식을 판단하고 가상 차선 알고리즘을 통하여 보상함으로써 차선의 신뢰성 및 인식성을 향상시키는 것을 목적으로 한다.
도 1은 본 발명의 일실시예에 따른 차선 유지 보조 시스템의 개념도이다. 차선 유지 보조 시스템(100)은 운전자의 부주의 등으로 차량이 현재 주행 차선으로부터 이탈되는 것을 방지하기 위한 시스템이다.
전방 영상 센서(110)는 차선 감지 알고리즘을 이용하여 오프셋, 차선 곡률, 헤딩각 등 차선 정보를 산출한다.
차량 센서에는 요레이트 센서(Yawrate sensor; 120), 조향각 센서(Steering angle sensor; 130), EMS(Engine Management System; 140) 등이 있다. 요레이트 센서(120)는 요레이트 정보를 산출하고, 조향각 센서(130)는 조향각 정보를 산출하며, EMS(140)는 차량 속도를 산출한다. 차량 센서는 요레이트 정보, 조향각 정보, 차량 속도 등을 차량 상태 정보로 산출한다.
LKAS(Lane Keeping Assistance System) 제어부(150)는 차선 정보와 차량 상태 정보를 기반으로 조향 토크를 산출하며, 제어 알고리즘(154)을 이용하여 MDPS(Motor Driven Power Steering; 160)를 제어한다. LKAS 제어부(150)는 MDPS 제어를 통해 차선 이탈 방지를 수행한다.
따라서 전방 영상 센서(110)에서 출력되는 차선 신호의 이상 유무에 따라 시스템(100)의 성능 및 작동율과 직접적인 영향을 갖는다.
본 발명은 전방 영상 센서(110)에서 일반적으로 발생할 수 있는 오인식/미인식 사례를 분석하고, 분석한 결과를 기초로 가상 차선 알고리즘(151)을 구현함으로써 차선 유지 보조 시스템(100)의 성능 및 작동율을 향상시킬 수 있다.
전방 영상 센서(110)의 차선 인식율은 환경 요인이나 노후된 도로 환경에 따라 오인식 또는 미인식되는 경우가 발생할 수 있다. 예를 들면 눈, 비, 역광 및 가드 레일 그림자 ,터널 진/출입, 도로 합류 지점 등에 따라 차선 오인식 또는 미인식되는 경우가 발생할 수 있다. 미인식 또는 오인식된 차선 정보를 이용하여 계산된 조향 토크에 의한 차선 이탈 방지 제어는 신뢰성이 보장되지 않으며 운전자의 불안감을 야기할 수 있다.
본 발명은 차선 유지 보조 시스템(100)의 성능 및 작동율을 향상시키기 위하여 전방 영상 센서(110)에서 측정된 차선의 미인식/오인식을 판단하고 가상 차선 알고리즘(151)에 따른 차선 보상 로직(152)으로 차선을 보상하거나 차선 추정 로직(153)으로 차선을 추정함으로써 차선의 신뢰성 및 인식성을 향상시키는 것을 목적으로 한다.
차선 유지 보조 시스템(100)을 위한 전방 영상 카메라는 일반적으로 현재 주행 차선에서의 옵셋, 차선 곡률, 헤딩각, 차선 정확도 등의 정보를 출력한다. 가상 차선 알고리즘(151)을 구현하기 위하여 국내 고속화 도로 환경에서 차선 인식 사례 분석을 하였으며 옵셋, 차선 곡률, 헤딩각, 차선 정확도 등을 중심으로 데이터 계측을 수행하였다. 계측한 도로는 오인식/미인식 현상이 주로 발생될 수 있는 터널, 분기 도로, 가드 레일 등이 포함된 도로이며 총 계측 구간은 약 43km 구간이다.
도 2는 계측한 데이터 중 오인식/미인식 발생 유형 및 케이스에 따라 분석한 결과이다.
대부분의 오인식 및 미인식 사례는 오프셋을 이용하여 정상 인식과 구분할 수 있으며, 오프셋으로 구분되지 않는 사례는 헤딩각 및 차선 정확도를 이용하여 구분 가능하다.
가상 차선 알고리즘(151)은 도 1에 도시된 바와 같이 차선 보상 로직(152)과 차선 추정 로직(153)으로 구성되어 있다.
차선 보상 로직(152)은 좌/우 두 차선 중 한쪽 차선은 오인식/미인식, 나머지 차선은 정상 인식으로 판단되는 경우로 정상 인식 차선을 이용하여 반대 차선을 계산한다.
차선 추정 로직(153)은 좌/우 두 차선 모두 오인식/미인식으로 판단되는 경우로 일정 시간동안 이전 차선 정보를 이용하여 현재 차선을 계산한다.
가상 차선 알고리즘(151)의 시작 및 해제를 위하여 인덱스 1과 인덱스 2를 생성하였으며, 인덱스용 변수는 오프셋, 헤딩각, 차선 정확도 등을 이용하여 계산한다. 도 3은 인덱스용 변수를 설명하고 있다.
L은 좌/우 오프셋 변화율의 차이가 제한값(L_th) 이상일 경우 1을, 미만일 경우 0을 내보낸다.
H는 좌우 헤딩각이 상이할 때 1을, 동일할 때 0을 내보낸다.
QL은 좌/우 차선 차선 정확도가 모두 낮다고 판단되는 경우 2, 한쪽만 낮은 경우 1, 모두 낮지 않은 경우 0 값을 내보낸다.
QH은 좌/우 차선 차선 정확도가 모두 높다고 판단되는 경우 2, 한쪽만 높은 경우 1, 모두 높지 않은 경우 0 값을 내보낸다.
QHL은 QH가 2로 일정 시간 유지되는 경우 1, 그렇지 않은 경우 0을 내보낸다.
LD는 전방 영상 센서(110)의 차선과 가상 차선 알고리즘(151)에서 계산된 차선 오프셋의 차이가 제한값(LD_th) 이상인 경우 1을, 미만인 경우 0을 내보낸다.
인덱스 1은 차선의 정상 인식 및 오인식/미인식을 판단하고 가상 차선 알고리즘(151)에서 차선 보상 로직(152) 및 차선 추정 로직(153)의 동작을 결정하며 다음 수학식으로 나타낼 수 있다.
Index 1 = aL × 2QL + bH|QL - 1| + cHQL(QL - 1) + dLD(LD - 1)
상기에서 a, b, c, d는 임의의 상수를 의미한다.
도 4는 일례에 따른 차선 추정 구간과 차선 보상 구간의 구분 기준을 보여주는 그래프이다. 그리고 도 5는 변수와 인덱스 간 관계를 정의한 테이블도이다.
도 4와 도 5는 각 변수의 크기에 따른 인덱스 1의 값 및 인덱스 1에 따른 차선 보상 구간(152) 및 차선 추정 구간(153)의 구분을 나타내고 있다.
인덱스 1이 0인 경우 좌/우 차선 모두 정상 인식으로 차선 보상 로직(152) 또는 차선 추정 로직(153)은 동작하지 않는다.
인덱스 1이 0 초과인 경우 좌/우 차선 중 한쪽 혹은 양쪽 모두 오인식/미인식으로 차선 보상 로직(152) 또는 차선 추정 로직(153)이 동작한다. 0.4를 기준으로 차선 보상 로직(152)과 차선 추정 로직(153)이 구분되는데, 0.4 미만인 경우 차선 보상 로직(152)이 동작하며, 초과일 경우 차선 추정 로직(153)이 동작한다. 0.4인 경우 이전 스텝에 따라 보상 또는 추정이 결정된다. 이전 스텝에서 일측 차선만 정상 인식이 아닌 경우 차선 보상 로직(152)이 동작하며, 그 외의 경우에는 차선 추정 로직(153)이 동작한다. 그 이유는 예컨대 좌/우 헤딩각만 다를 경우 헤딩값만을 이용하여 어느 차선 정보가 정상 인식인지 판단하기 어렵기 때문이다.
인덱스 2는 차선 보상 로직(152) 및 차선 추정 로직(153)의 해제를 결정하며 다음 수학식으로 나타낼 수 있다.
Index 2 = QHF - 4QL × (L + LD + H)
인덱스 2가 1 이상인 경우 좌/우 차선 모두 정상 인식이며, 전방 영상 센서(110)를 통한 차선 즉, 가상 차선 알고리즘(151)의 입력과 가상 차선 알고리즘(151)의 출력의 단차가 제한값(LD_th) 이하인 상태로 차선 보상 로직(152)이나 차선 추정 로직(153)은 동작이 해제된다.
가상 차선 알고리즘(151)은 총 5개의 state로 구분된다. 도 6은 각 state에 대한 설명을 나타내며7, 도 7은 조건에 따른 state 변경을 나타낸다.
가상 차선 알고리즘(151)은 state 0(210)부터 시작되며, 인덱스 1이 0, 인덱스 2가 1인 경우 state 1(220)로 이동한다.
state 1(220)은 좌/우 차선 모두 정상 인식으로 전방 영상 센서(110)에서 들어오는 오프셋, 헤딩각, 차선 곡률값 등을 출력으로 내보낸다. State 1(220)에서는 차선 보상 로직(152)에서 사용된 차선 폭을 계산하는데, 차선 폭은 일정 시간 동안의 차선 폭의 평균값으로 계산한다.
인덱스 1이 0에서 0.4 사이의 값을 갖는 경우 차선 보상 로직(152)이 동작되는 상태를 나타내는 state 2/state 3(230)로 이동하며 이 경우 정상 인식이라고 판단되는 차선을 바탕으로 반대편 차선을 보상한다.
인덱스 1이 0.4 이상인 경우 차선 보상 로직(152)이 동작되는 상태를 나타내는 state 4(240)로 이동하며, 이 경우 차량 센서 정보 및 전방 영상 센서 신호를 이용하여 차선을 보상한다. state 4(240)일 때 state 4(240)에 머무른 시간이 제한값 1(Time_th1) 미만인 경우 인덱스 1이 0.4 미만의 값을 가지면 state 1(220) 또는 state 2/state 3(230)으로 이동하며, 제한값 2(Time_th2) 초과일 경우 state 0(210)으로 이동하며 보상을 중지한다. 또한 각 state에서 인덱스 1이 0이고 인덱스 2가 1인 경우 state 1(220)로 이동한다.
차선 보상 로직(152)은 좌/우 차선 중 정상 상태라고 판단되는 차선을 바탕으로 반대 차선을 계산하는 것으로 전방 영상 센서 신호를 이용하여 다음과 같이 계산한다.
- 좌측 보상(state 2)
: 좌측 옵셋 = 우측 옵셋 - 차선 폭
: 좌측 헤딩각 = 우측 헤딩각
: 좌측 차선 곡률 = 우측 차선 곡률
- 우측 차선 보상(State 3)
: 우측 옵셋 = 좌측 옵셋 + 차선 폭
: 우측 헤딩각 = 좌측 헤딩각
: 우측 차선 곡률 = 좌측 차선 곡률
차선 추정 로직(153)은 좌/우 차선 모두 오인식/미인식인 상태로 차량 센서에서 들어오는 차속과 요레이트 정보 및 전방 영상 센서 신호를 이용하여 다음 수학식 1과 같이 계산한다.
Figure 112013108878099-pat00001
상기에서 ε는 오프셋(offset)을 의미하며, φ는 헤딩각(heading angle)을 의미한다. ρ는 차선 곡률(curvature)을 의미하며, ρ'는 차선 곡률의 미분값(derivative of curvature)을 의미한다. u는 차량 속도(velocity of vehicle)를 의미하며 γ는 요레이트(yawrate)를 의미한다.
위의 사례 분석을 위해 계측한 데이터를 바탕으로 가상 차선 알고리즘(151)의 검증을 수행하였다. 약 43km 구간에서 총 38건의 오인식/미인식 사례가 발생하였고 가상 차선 알고리즘(151)을 통하여 36건(95%)가 보상되는 결과를 확인할 수 있다.
도 8은 가상 차선 알고리즘(151)을 적용한 결과를 나타낸다.
도 9는 차선의 오인식 사례를 보여주는 참고도이다. 그리고 도 10은 차선의 미인식 사례를 보여주는 참고도이다.
도 9는 가드 레일 그림자에 의하여 왼쪽 차선 오인식 상황으로 차선 보상 로직을 통하여 왼쪽 차선이 보상된 것을 볼 수 있다.
도 10은 좌/우 차선 모두 미인식 상황으로 차선 추정 로직을 통하여 일정 시간동안 차선 추정된 것을 볼 수 있다.
추가적으로 일반 도로 및 고속도로 300km 이상의 오인식/미인식 사례에 대한 보상율을 확인한 결과 총 430건 중 398건(93%)이 적정 보상된 것이 확인되었다.
이상 도 1 내지 도 10을 참조하여 가상 차선 알고리즘에 대하여 설명하였다. 다음으로 가상 차선 알고리즘에 기초한 장치 즉 가상 차선 생성 장치에 대하여 설명한다. 도 11은 본 발명의 바람직한 실시예에 따른 가상 차선 생성 장치를 개략적으로 도시한 블록도이다.
도 11에 따르면, 가상 차선 생성 장치(300)는 차선 검출 판단부(310), 차선 보상부(320), 차선 추정부(330), 전원부(340) 및 주제어부(350)를 포함한다.
전원부(340)는 가상 차선 생성 장치(300)를 구성하는 각 구성에 전원을 공급하는 기능을 수행한다. 주제어부(350)는 가상 차선 생성 장치(300)를 구성하는 각 구성의 전체 작동을 제어하는 기능을 수행한다. 가상 차선 생성 장치(300)가 차량 내 메인 ECU에 의해 제어되거나 ECU 내에 탑재될 수 있는 것임을 참작할 때, 전원부(340)와 주제어부(350)는 본 실시예에서 구비되지 않아도 무방하다.
차선 검출 판단부(310)는 전방 영상을 기초로 전방 도로의 양측 차선들이 정상적으로 검출되는지 여부를 판단하는 기능을 수행한다.
차선 검출 판단부(310)는 차량과 각측 차선 사이의 오프셋을 기초로 양측 차선들이 정상적으로 검출되는지 여부를 판단할 수 있다. 이때 차선 검출 판단부(310)는 차량과 좌측 차선간 오프셋 변화율 및 차량과 우측 차선간 오프셋 변화율 사이의 차이값을 기초로 양측 차선들이 정상적으로 검출되는지 여부를 판단할 수 있다.
차선 검출 판단부(310)는 차량과 각측 차선 사이의 오프셋, 차량의 헤딩각(heading angle), 및 차선 정확도를 기초로 양측 차선들이 정상적으로 검출되는지 여부를 판단할 수 있다. 이때 차선 검출 판단부(310)는 차량과 좌측 차선간 오프셋 변화율 및 차량과 우측 차선간 오프셋 변화율 사이의 제1 차이값, 차량의 좌측 헤딩각과 우측 헤딩각 사이의 제2 차이값, 및 차선 정확도와 기준값 사이의 제3 차이값을 기초로 양측 차선들이 정상적으로 검출되는지 여부를 판단할 수 있다.
차선 검출 판단부(310)는 제1 차이값, 제2 차이값 및 제3 차이값을 대입하여 얻은 인덱스 값이 제1 임계값과 같으면 양측 차선들이 정상적으로 검출되는 것으로 판단하고, 인덱스 값이 제1 임계값 초과 제2 임계값 미만이면 일측 차선이 정상적으로 검출되지 않는 것으로 판단하며, 인덱스 값이 제2 임계값 초과이면 양측 차선들이 정상적으로 검출되지 않는 것으로 판단할 수 있다.
또한 차선 검출 판단부(310)는 인덱스 값이 제2 임계값과 같으면 이전 가상 차선 생성 결과를 기초로 일측 차선이 정상적으로 검출되지 않는지 아니면 양측 차선들이 정상적으로 검출되지 않는지를 판단할 수 있다. 상기에서 제1 임계값은 0일 수 있고 제2 임계값은 0.4일 수 있다.
차선 보상부(320)는 양측 차선들 중에서 일측 차선이 정상적으로 검출되지 않는 것으로 판단되면 타측 차선을 기초로 일측 차선을 보상하여 가상 차선을 생성하는 기능을 수행한다.
차선 보상부(320)는 차량과 각측 차선 사이의 오프셋, 차량의 헤딩각, 및 전방 도로의 곡률을 기초로 일측 차선을 보상할 수 있다.
차선 보상부(320)는 일측 차선이 좌측 차선일 경우 차량과 우측 차선 사이의 오프셋에 차선 폭을 더한 값을 차량과 좌측 차선 사이의 오프셋으로 하여 좌측 차선을 보상하며, 일측 차선이 우측 차선일 경우 차량과 좌측 차선 사이의 오프셋에서 차선 폭을 뺀 값을 차량과 우측 차선 사이의 오프셋으로 하여 우측 차선을 보상할 수 있다.
또한 차선 보상부(320)는 차량의 양측 헤딩각이 동일해지도록 일측 차선을 보상하거나, 전방 도로에서 양측 차선의 곡률이 동일해지도록 일측 차선을 보상할 수 있다.
차선 추정부(330)는 양측 차선들이 정상적으로 검출되지 않는 것으로 판단되면 이전 검출된 차선 정보를 기초로 양측 차선을 추정하여 가상 차선을 생성하는 기능을 수행한다.
차선 추정부(330)는 이전에 차선 정보를 정상 검출할 때에 이용된 전방 영상으로부터 얻은 차량의 제1 주행 상태 정보와 차량에 장착된 센서들로부터 얻은 차량의 제2 주행 상태 정보를 기초로 양측 차선들을 추정할 수 있다. 이때 차선 추정부(330)는 제1 주행 상태 정보로 차량과 각측 차선 사이의 오프셋, 차량의 헤딩각, 및 전방 도로의 곡률을 이용하며, 제2 주행 상태 정보로 차량의 속도와 요레이트를 이용할 수 있다.
다음으로 가상 차선 생성 장치(300)의 작동 방법에 대하여 설명한다.
먼저 차선 검출 판단부(310)가 전방 영상을 기초로 전방 도로의 양측 차선들이 정상적으로 검출되는지 여부를 판단한다. 차선 검출 판단부(310)는 차량과 각측 차선 사이의 오프셋, 차량의 헤딩각(heading angle), 및 차선 정확도를 기초로 양측 차선들이 정상적으로 검출되는지 여부를 판단한다.
양측 차선들 중에서 일측 차선이 정상적으로 검출되지 않는 것으로 판단되면, 차선 보상부(320)가 타측 차선을 기초로 일측 차선을 보상하여 가상 차선을 생성한다. 차선 보상부(320)는 차량과 각측 차선 사이의 오프셋, 차량의 헤딩각, 및 전방 도로의 곡률을 기초로 상기 일측 차선을 보상한다.
반면 양측 차선들이 정상적으로 검출되지 않는 것으로 판단되면, 차선 추정부(330)가 이전 검출된 차선 정보를 기초로 양측 차선을 추정하여 가상 차선을 생성한다. 차선 추정부(330)는 차량과 각측 차선 사이의 오프셋, 차량의 헤딩각, 전방 도로의 곡률, 차량의 속도, 및 차량의 요레이트를 기초로 양측 차선들을 추정한다.
다음으로 도 11을 참조하여 설명한 가상 차선 생성 장치(300)를 구비하는 차선 유지 제어 시스템에 대하여 설명한다. 도 12는 본 발명의 바람직한 실시예에 따른 차선 유지 제어 시스템을 개략적으로 도시한 블록도이다.
도 12에 따르면, 차선 유지 제어 시스템(400)은 가상 차선 생성 장치(300), 차선 검출부(410), 조향 토크 산출부(420), 차선 유지 제어부(430) 및 총괄 제어부(미도시)를 포함할 수 있다.
총괄 제어부는 차선 유지 제어 시스템(400)을 구성하는 각 구성의 전체 작동을 제어하는 것이다.
가상 차선 생성 장치(300)에 대해서는 도 11을 참조하여 전술하였는 바, 여기서는 자세한 설명을 생략한다.
차선 검출부(410)는 전방 영상으로부터 정상적으로 검출되는 차선을 획득하는 기능을 수행한다.
조향 토크 산출부(420)는 검출, 보상 및 추정 중 적어도 하나의 방법으로 얻은 양측 차선과 차량의 주행 상태 정보를 기초로 차량을 제어하기 위한 조향 토크를 산출하는 기능을 수행한다.
차선 유지 제어부(430)는 조향 토크를 기초로 차량의 차선 유지를 제어하는 기능을 수행한다.
이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 상세한 설명에서 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (17)

  1. 전방 영상을 기초로 전방 도로의 양측 차선들이 정상적으로 검출되는지 여부를 판단하는 차선 검출 판단부;
    상기 양측 차선들 중에서 일측 차선이 정상적으로 검출되지 않는 것으로 판단되면 타측 차선을 기초로 상기 일측 차선을 보상하여 가상 차선을 생성하는 차선 보상부; 및
    상기 양측 차선들이 정상적으로 검출되지 않는 것으로 판단되면 이전 검출된 차선 정보를 기초로 상기 양측 차선을 추정하여 상기 가상 차선을 생성하는 것으로서, 이전에 차선 정보를 정상 검출할 때에 이용된 전방 영상으로부터 얻은 차량의 제1 주행 상태 정보와 상기 차량에 장착된 센서들로부터 얻은 상기 차량의 제2 주행 상태 정보를 기초로 상기 양측 차선들을 추정하는 차선 추정부
    를 포함하는 것을 특징으로 하는 가상 차선 생성 장치.
  2. 제 1 항에 있어서,
    상기 차선 검출 판단부는 차량과 각측 차선 사이의 오프셋을 기초로 상기 양측 차선들이 정상적으로 검출되는지 여부를 판단하는 것을 특징으로 하는 가상 차선 생성 장치.
  3. 제 1 항에 있어서,
    상기 차선 검출 판단부는 차량과 각측 차선 사이의 오프셋, 상기 차량의 헤딩각(heading angle), 및 차선 정확도를 기초로 상기 양측 차선들이 정상적으로 검출되는지 여부를 판단하는 것을 특징으로 하는 가상 차선 생성 장치.
  4. 제 1 항에 있어서,
    상기 차선 검출 판단부는 차량과 좌측 차선간 오프셋 변화율 및 상기 차량과 우측 차선간 오프셋 변화율 사이의 차이값을 기초로 상기 양측 차선들이 정상적으로 검출되는지 여부를 판단하는 것을 특징으로 하는 가상 차선 생성 장치.
  5. 제 1 항에 있어서,
    상기 차선 검출 판단부는 차량과 좌측 차선간 오프셋 변화율 및 상기 차량과 우측 차선간 오프셋 변화율 사이의 제1 차이값, 상기 차량의 좌측 헤딩각과 우측 헤딩각 사이의 제2 차이값, 및 상기 차선 정확도와 기준값 사이의 제3 차이값을 기초로 상기 양측 차선들이 정상적으로 검출되는지 여부를 판단하는 것을 특징으로 하는 가상 차선 생성 장치.
  6. 제 5 항에 있어서,
    상기 차선 검출 판단부는 상기 제1 차이값, 상기 제2 차이값 및 상기 제3 차이값을 대입하여 얻은 인덱스 값이 제1 임계값과 같으면 상기 양측 차선들이 정상적으로 검출되는 것으로 판단하고, 상기 인덱스 값이 상기 제1 임계값 초과 제2 임계값 미만이면 일측 차선이 정상적으로 검출되지 않는 것으로 판단하며, 상기 인덱스 값이 상기 제2 임계값 초과이면 상기 양측 차선들이 정상적으로 검출되지 않는 것으로 판단하는 것을 특징으로 하는 가상 차선 생성 장치.
  7. 제 6 항에 있어서,
    상기 차선 검출 판단부는 상기 인덱스 값이 상기 제2 임계값과 같으면 이전 가상 차선 생성 결과를 기초로 상기 일측 차선이 정상적으로 검출되지 않는지 아니면 상기 양측 차선들이 정상적으로 검출되지 않는지를 판단하는 것을 특징으로 하는 가상 차선 생성 장치.
  8. 제 1 항에 있어서,
    상기 차선 보상부는 차량과 각측 차선 사이의 오프셋, 상기 차량의 헤딩각, 및 상기 전방 도로의 곡률을 기초로 상기 일측 차선을 보상하는 것을 특징으로 하는 가상 차선 생성 장치.
  9. 제 8 항에 있어서,
    상기 차선 보상부는 상기 일측 차선이 좌측 차선일 경우 상기 차량과 우측 차선 사이의 오프셋에 차선 폭을 더한 값을 상기 차량과 상기 좌측 차선 사이의 오프셋으로 하여 상기 좌측 차선을 보상하며, 상기 일측 차선이 우측 차선일 경우 상기 차량과 상기 좌측 차선 사이의 오프셋에서 상기 차선 폭을 뺀 값을 상기 차량과 상기 우측 차선 사이의 오프셋으로 하여 상기 우측 차선을 보상하는 것을 특징으로 하는 가상 차선 생성 장치.
  10. 제 8 항에 있어서,
    상기 차선 보상부는 상기 차량의 양측 헤딩각이 동일해지도록 상기 일측 차선을 보상하거나, 상기 전방 도로에서 양측 차선의 곡률이 동일해지도록 상기 일측 차선을 보상하는 것을 특징으로 하는 가상 차선 생성 장치.
  11. 삭제
  12. 제 1 항에 있어서,
    상기 차선 추정부는 상기 제1 주행 상태 정보로 상기 차량과 각측 차선 사이의 오프셋, 상기 차량의 헤딩각, 및 상기 전방 도로의 곡률을 이용하며, 상기 제2 주행 상태 정보로 상기 차량의 속도와 요레이트를 이용하는 것을 특징으로 하는 가상 차선 생성 장치.
  13. 전방 영상을 기초로 전방 도로의 양측 차선들이 정상적으로 검출되는지 여부를 판단하는 단계;
    상기 양측 차선들 중에서 일측 차선이 정상적으로 검출되지 않는 것으로 판단되면 타측 차선을 기초로 상기 일측 차선을 보상하여 가상 차선을 생성하는 단계; 및
    상기 양측 차선들이 정상적으로 검출되지 않는 것으로 판단되면 이전 검출된 차선 정보를 기초로 상기 양측 차선을 추정하여 상기 가상 차선을 생성하되, 이전에 차선 정보를 정상 검출할 때에 이용된 전방 영상으로부터 얻은 차량의 제1 주행 상태 정보와 상기 차량에 장착된 센서들로부터 얻은 상기 차량의 제2 주행 상태 정보를 기초로 상기 양측 차선들을 추정하는 단계
    를 포함하는 것을 특징으로 하는 가상 차선 생성 방법.
  14. 제 13 항에 있어서,
    상기 전방 영상을 기초로 전방 도로의 양측 차선들이 정상적으로 검출되는지 여부를 판단하는 단계는,
    차량과 각측 차선 사이의 오프셋, 상기 차량의 헤딩각(heading angle), 및 차선 정확도를 기초로 상기 양측 차선들이 정상적으로 검출되는지 여부를 판단하는 것을 특징으로 하는 가상 차선 생성 방법.
  15. 제 13 항에 있어서,
    상기 양측 차선들 중에서 일측 차선이 정상적으로 검출되지 않는 것으로 판단되면 타측 차선을 기초로 상기 일측 차선을 보상하여 가상 차선을 생성하는 단계는,
    차량과 각측 차선 사이의 오프셋, 상기 차량의 헤딩각, 및 상기 전방 도로의 곡률을 기초로 상기 일측 차선을 보상하는 것을 특징으로 하는 가상 차선 생성 방법.
  16. 제 13 항에 있어서,
    상기 양측 차선들이 정상적으로 검출되지 않는 것으로 판단되면 이전 검출된 차선 정보를 기초로 상기 양측 차선을 추정하여 상기 가상 차선을 생성하는 단계는,
    상기 차량과 각측 차선 사이의 오프셋, 상기 차량의 헤딩각, 상기 전방 도로의 곡률, 상기 차량의 속도, 및 상기 차량의 요레이트를 기초로 상기 양측 차선들을 추정하는 것을 특징으로 하는 가상 차선 생성 방법.
  17. 전방 영상을 기초로 전방 도로의 양측 차선들이 정상적으로 검출되는지 여부를 판단하는 차선 검출 판단부;
    상기 전방 영상으로부터 정상적으로 검출되는 차선을 획득하는 차선 검출부;
    상기 양측 차선들 중에서 일측 차선이 정상적으로 검출되지 않는 것으로 판단되면 타측 차선을 기초로 상기 일측 차선을 보상하여 가상 차선을 생성하는 차선 보상부;
    상기 양측 차선들이 정상적으로 검출되지 않는 것으로 판단되면 이전 검출된 차선 정보를 기초로 상기 양측 차선을 추정하여 상기 가상 차선을 생성하는 것으로서, 이전에 차선 정보를 정상 검출할 때에 이용된 전방 영상으로부터 얻은 차량의 제1 주행 상태 정보와 상기 차량에 장착된 센서들로부터 얻은 상기 차량의 제2 주행 상태 정보를 기초로 상기 양측 차선들을 추정하는 차선 추정부;
    검출, 보상 및 추정 중 적어도 하나의 방법으로 얻은 양측 차선과 차량의 주행 상태 정보를 기초로 상기 차량을 제어하기 위한 조향 토크를 산출하는 조향 토크 산출부; 및
    상기 조향 토크를 기초로 상기 차량의 차선 유지를 제어하는 차선 유지 제어부
    를 포함하는 것을 특징으로 하는 차선 유지 제어 시스템.
KR20130146212A 2013-11-28 2013-11-28 가상 차선 생성 장치와 방법 및 상기 장치를 구비하는 차선 유지 제어 시스템 Active KR101502511B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR20130146212A KR101502511B1 (ko) 2013-11-28 2013-11-28 가상 차선 생성 장치와 방법 및 상기 장치를 구비하는 차선 유지 제어 시스템
US14/140,767 US9552523B2 (en) 2013-11-28 2013-12-26 Apparatus and method for generating virtual lane, and system for controlling lane keeping of vehicle with the apparatus
CN201410317376.5A CN104670229B (zh) 2013-11-28 2014-07-04 假想车道线生成装置与方法及车道线保持控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130146212A KR101502511B1 (ko) 2013-11-28 2013-11-28 가상 차선 생성 장치와 방법 및 상기 장치를 구비하는 차선 유지 제어 시스템

Publications (1)

Publication Number Publication Date
KR101502511B1 true KR101502511B1 (ko) 2015-03-13

Family

ID=53027552

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130146212A Active KR101502511B1 (ko) 2013-11-28 2013-11-28 가상 차선 생성 장치와 방법 및 상기 장치를 구비하는 차선 유지 제어 시스템

Country Status (3)

Country Link
US (1) US9552523B2 (ko)
KR (1) KR101502511B1 (ko)
CN (1) CN104670229B (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170030814A (ko) * 2015-09-10 2017-03-20 주식회사 만도 차선 유지 보조 시스템 및 차선 유지 보조 방법
KR20180056322A (ko) * 2016-11-18 2018-05-28 국민대학교산학협력단 단거리 레이더 센서 기반의 가상 차선 생성 방법
WO2018101709A1 (ko) * 2016-11-30 2018-06-07 현대엠엔소프트 주식회사 자율 주행 제어 장치 및 방법
KR20180097082A (ko) * 2017-02-22 2018-08-30 한양대학교 산학협력단 차선 유지 제어 방법 및 그 장치
US10127820B2 (en) 2015-08-05 2018-11-13 Lg Electronics Inc. Driver assistance apparatus and vehicle including the same
KR102061140B1 (ko) * 2019-02-12 2020-02-12 주식회사 만도 차로 유지 장치, 그를 가지는 차량 및 그 제어 방법
KR20210064369A (ko) * 2018-09-30 2021-06-02 그레이트 월 모터 컴퍼니 리미티드 차도선 피팅 방법 및 시스템
US11294392B2 (en) 2018-08-27 2022-04-05 Samsung Electronics Co., Ltd. Method and apparatus for determining road line

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014204002A1 (de) * 2014-03-05 2015-09-10 Conti Temic Microelectronic Gmbh Verfahren zur Identifikation eines projizierten Symbols auf einer Straße in einem Fahrzeug, Vorrichtung und Fahrzeug
CN107111742B (zh) 2014-08-18 2021-04-02 无比视视觉技术有限公司 在导航中对车道限制和施工区域的识别和预测
US10366285B2 (en) * 2015-04-09 2019-07-30 Bendix Commercial Vehicle Systems Llc Method and apparatus for determining the operation of a vehicle safety system
US10019014B2 (en) * 2016-05-13 2018-07-10 Delphi Technologies, Inc. Lane-keeping system for automated vehicles
CA3030538C (en) * 2016-07-12 2024-06-11 Nissan Motor Co., Ltd. Travel control method and travel control apparatus
CN106627575B (zh) * 2016-12-30 2019-04-26 吉林大学 一种车辆偏航预警方法及系统
US10518776B2 (en) * 2017-01-18 2019-12-31 Denso International America, Inc. Vehicle system, vehicle controller, and method of controlling vehicle
EP3360747A1 (en) 2017-02-13 2018-08-15 Autoliv Development AB Improvements in or relating to driver assistance systems
CN107499310A (zh) * 2017-08-17 2017-12-22 广州大学 基于车联网和车载道路识别的车道保持辅助方法及系统
KR20200030617A (ko) * 2017-08-30 2020-03-20 닛산 지도우샤 가부시키가이샤 운전 지원 차량의 위치 오차 보정 방법 및 위치 오차 보정 장치
US11130497B2 (en) * 2017-12-18 2021-09-28 Plusai Limited Method and system for ensemble vehicle control prediction in autonomous driving vehicles
US11273836B2 (en) 2017-12-18 2022-03-15 Plusai, Inc. Method and system for human-like driving lane planning in autonomous driving vehicles
US20190185012A1 (en) 2017-12-18 2019-06-20 PlusAI Corp Method and system for personalized motion planning in autonomous driving vehicles
KR102496290B1 (ko) * 2018-07-06 2023-02-06 현대모비스 주식회사 헤딩각 보상 장치 및 방법
CN110967026B (zh) * 2018-09-30 2022-02-22 毫末智行科技有限公司 车道线拟合方法及系统
CN110967025B (zh) * 2018-09-30 2022-05-13 毫末智行科技有限公司 车道线筛选方法及系统
CN111213154A (zh) * 2019-03-08 2020-05-29 深圳市大疆创新科技有限公司 一种车道线检测方法、设备、移动平台及存储介质
CN110667574B (zh) * 2019-09-25 2021-01-05 东南大学 一种多情景车道偏离预警系统及方法
CN111267862B (zh) * 2020-01-13 2021-04-02 清华大学 一种依赖跟随目标的虚拟车道线构造方法和系统
CN111169371B (zh) * 2020-01-14 2022-08-02 吉利汽车研究院（宁波）有限公司 一种车辆转向灯的控制方法、装置、电子设备和存储介质
JP2022125932A (ja) * 2021-02-17 2022-08-29 本田技研工業株式会社 ヨーレート推定装置
CN113353074B (zh) * 2021-08-10 2021-10-29 天津所托瑞安汽车科技有限公司 一种车辆控制方法、装置、电子设备和存储介质
CN114937372B (zh) * 2022-05-18 2023-09-05 安徽蔚来智驾科技有限公司 一种车辆定位系统、定位方法、车辆和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100104495A (ko) * 2009-03-18 2010-09-29 현대자동차주식회사 가상 차선을 이용하는 차선 이탈 경보 방법 및 그에 따른 시스템
KR20110054144A (ko) * 2009-11-17 2011-05-25 주식회사 만도 차선 유지 제어 방법 및 시스템
JP2013025535A (ja) * 2011-07-20 2013-02-04 Denso Corp 車線認識装置

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3890928B2 (ja) * 2001-07-26 2007-03-07 日産自動車株式会社 仕切線認識装置
US7697698B2 (en) * 2003-08-22 2010-04-13 William Sumner Brown Sound-based vehicle safety system
US7019669B1 (en) * 2003-12-01 2006-03-28 Robert Carey Carr Trail safe alert system
JP4161938B2 (ja) * 2004-06-01 2008-10-08 トヨタ自動車株式会社 走行制御装置
DE102005018697A1 (de) * 2004-06-02 2005-12-29 Daimlerchrysler Ag Verfahren und Vorrichtung zur Warnung eines Fahrers im Falle eines Verlassens der Fahrspur
DE102004057296A1 (de) * 2004-11-26 2006-06-08 Daimlerchrysler Ag Lane-Departure-Warning mit Unterscheidung zwischen Fahrbahnrandmarkierung und baulicher Begrenzung des Fahrbahnrandes
US7561032B2 (en) * 2005-09-26 2009-07-14 Gm Global Technology Operations, Inc. Selectable lane-departure warning system and method
US7388475B2 (en) * 2006-01-19 2008-06-17 Gm Global Technology Operations, Inc. Lane departure warning and avoidance system with warning modification criteria
US20070179697A1 (en) * 2006-01-31 2007-08-02 Bendix Commercial Vehicle Systems Llc Lane departure warning system and method
US7400235B2 (en) * 2006-02-28 2008-07-15 Nissan Technical Center North America, Inc. Lane departure warning mirror
TWI306816B (en) * 2006-12-13 2009-03-01 Ind Tech Res Inst Lane departure warning method and apparatus of using the same
EP1974998B1 (en) * 2007-03-26 2011-05-25 Aisin AW Co., Ltd. Driving support method and driving support apparatus
TWI334517B (en) * 2007-08-30 2010-12-11 Ind Tech Res Inst Method for predicting lane line and lane departure warning system using the same
US8355539B2 (en) * 2007-09-07 2013-01-15 Sri International Radar guided vision system for vehicle validation and vehicle motion characterization
US8111147B2 (en) * 2008-05-13 2012-02-07 GM Global Technology Operations LLC Lane departure warning and change assist system utilizing active materials
US20100013929A1 (en) * 2008-07-19 2010-01-21 Chih-Wei Lo Event Data Recorder with Lane Departure Warning Function
US8094001B2 (en) * 2008-12-15 2012-01-10 Delphi Technologies, Inc. Vehicle lane departure warning system and method
US8204087B2 (en) * 2008-12-19 2012-06-19 Electronics And Telecommunications Research Institute Multi-lane signal transmitting and receiving apparatuses
TWI338643B (en) * 2009-01-19 2011-03-11 Univ Nat Taiwan Science Tech Lane departure warning method and system thereof
US8587649B2 (en) * 2009-04-21 2013-11-19 Create Electronic Optical Co., Ltd. Lane departure warning system
US20100295707A1 (en) * 2009-05-19 2010-11-25 Brian Bennie System and method for lane departure warning
JP5007840B2 (ja) * 2009-05-22 2012-08-22 トヨタ自動車株式会社 運転支援装置
US9406232B2 (en) * 2009-11-27 2016-08-02 Toyota Jidosha Kabushiki Kaisha Driving support apparatus and driving support method
US8350684B2 (en) * 2009-12-14 2013-01-08 Delphi Technologies, Inc. Vehicle lane departure warning system having trailer mode and method
EP2517189B1 (en) * 2009-12-22 2014-03-19 Leddartech Inc. Active 3d monitoring system for traffic detection
JP5350297B2 (ja) * 2010-03-17 2013-11-27 クラリオン株式会社 車両姿勢角算出装置及びそれを用いた車線逸脱警報システム
KR101166349B1 (ko) 2010-05-18 2012-07-18 주식회사 와이즈오토모티브 차선 인식 장치 및 방법
US20110301813A1 (en) * 2010-06-07 2011-12-08 Denso International America, Inc. Customizable virtual lane mark display
JP5276637B2 (ja) * 2010-09-08 2013-08-28 富士重工業株式会社 車線推定装置
US8405522B2 (en) * 2010-09-30 2013-03-26 Ford Global Technologies, Llc Lane departure haptic warning with compensation for road-caused vibration
KR101472615B1 (ko) * 2010-12-21 2014-12-16 삼성전기주식회사 차선이탈 경보 시스템 및 방법
US20120206252A1 (en) * 2011-02-16 2012-08-16 Toyota Motor Engineering & Manufacturing North America, Inc. Lane departure warning system
JP5281664B2 (ja) * 2011-02-23 2013-09-04 クラリオン株式会社 車線逸脱警報装置および車線逸脱警報システム
JP5389864B2 (ja) * 2011-06-17 2014-01-15 クラリオン株式会社 車線逸脱警報装置
US8665078B2 (en) * 2011-07-25 2014-03-04 Ford Global Technologies Width calibration of lane departure warning system
US9373044B2 (en) * 2011-07-25 2016-06-21 Ford Global Technologies, Llc Trailer lane departure warning system
TWI438729B (zh) * 2011-11-16 2014-05-21 Ind Tech Res Inst 車道偏移警示方法及系統
KR101362324B1 (ko) * 2012-06-05 2014-02-24 현대모비스 주식회사 차선 이탈 경보 시스템 및 방법
KR101428165B1 (ko) * 2012-06-29 2014-08-07 엘지이노텍 주식회사 차선이탈 경고 시스템 및 차선이탈 경고 방법
KR101382902B1 (ko) * 2012-06-29 2014-04-23 엘지이노텍 주식회사 차선이탈 경고 시스템 및 차선이탈 경고 방법
JP5887219B2 (ja) * 2012-07-03 2016-03-16 クラリオン株式会社 車線逸脱警報装置
US9261601B2 (en) * 2013-06-01 2016-02-16 Savari, Inc. System and method for lane boundary estimation and host vehicle position and orientation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100104495A (ko) * 2009-03-18 2010-09-29 현대자동차주식회사 가상 차선을 이용하는 차선 이탈 경보 방법 및 그에 따른 시스템
KR20110054144A (ko) * 2009-11-17 2011-05-25 주식회사 만도 차선 유지 제어 방법 및 시스템
JP2013025535A (ja) * 2011-07-20 2013-02-04 Denso Corp 車線認識装置

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10127820B2 (en) 2015-08-05 2018-11-13 Lg Electronics Inc. Driver assistance apparatus and vehicle including the same
KR20170030814A (ko) * 2015-09-10 2017-03-20 주식회사 만도 차선 유지 보조 시스템 및 차선 유지 보조 방법
KR102355321B1 (ko) 2015-09-10 2022-01-25 주식회사 만도모빌리티솔루션즈 차선 유지 보조 시스템 및 차선 유지 보조 방법
KR20180056322A (ko) * 2016-11-18 2018-05-28 국민대학교산학협력단 단거리 레이더 센서 기반의 가상 차선 생성 방법
US11194332B2 (en) 2016-11-30 2021-12-07 Hyundai Mnsoft, Inc. Autonomous driving control apparatus and method
WO2018101709A1 (ko) * 2016-11-30 2018-06-07 현대엠엔소프트 주식회사 자율 주행 제어 장치 및 방법
KR20180097082A (ko) * 2017-02-22 2018-08-30 한양대학교 산학협력단 차선 유지 제어 방법 및 그 장치
KR101954510B1 (ko) * 2017-02-22 2019-03-05 한양대학교 산학협력단 차선 유지 제어 방법 및 그 장치
US11294392B2 (en) 2018-08-27 2022-04-05 Samsung Electronics Co., Ltd. Method and apparatus for determining road line
KR20210064369A (ko) * 2018-09-30 2021-06-02 그레이트 월 모터 컴퍼니 리미티드 차도선 피팅 방법 및 시스템
KR102512207B1 (ko) * 2018-09-30 2023-03-21 그레이트 월 모터 컴퍼니 리미티드 차도선 피팅 방법 및 시스템
US12007243B2 (en) 2018-09-30 2024-06-11 Great Wall Motor Company Limited Traffic lane line fitting method and system
US10926764B2 (en) 2019-02-12 2021-02-23 Mando Corporation Lane keeping assistance apparatus, vehicle having the same and method for controlling the same
KR102061140B1 (ko) * 2019-02-12 2020-02-12 주식회사 만도 차로 유지 장치, 그를 가지는 차량 및 그 제어 방법

Also Published As

Publication number Publication date
CN104670229B (zh) 2017-12-05
US9552523B2 (en) 2017-01-24
US20150145664A1 (en) 2015-05-28
CN104670229A (zh) 2015-06-03

Similar Documents

Publication Publication Date Title
KR101502511B1 (ko) 가상 차선 생성 장치와 방법 및 상기 장치를 구비하는 차선 유지 제어 시스템
KR101502510B1 (ko) 차량의 차선 유지 제어 장치 및 방법
US9704391B2 (en) Traffic accident detection device and method of detecting traffic accident
US20080291276A1 (en) Method for Driver Assistance and Driver Assistance Device on the Basis of Lane Information
KR102355321B1 (ko) 차선 유지 보조 시스템 및 차선 유지 보조 방법
KR101470189B1 (ko) 차량의 주행제어 장치 및 방법
JP2013225295A5 (ko)
EP3896672A1 (en) Other vehicle motion prediction method and other vehicle motion prediction device
KR101490905B1 (ko) 차량의 자율 주행 시스템 및 그 방법
US10150472B2 (en) Method for automatically assessing a risk of collision between a vehicle and an object
US20200282985A1 (en) Side collision risk estimation system for a vehicle
KR20140062240A (ko) 차선 인식 시스템 및 방법
EP3576069A1 (en) Method for a host vehicle to assess risk of overtaking a target vehicle on a pedestrian crossing
US20180276989A1 (en) Method and Device for Detecting the Passage of a Motor Vehicle Through a Road Sign Gantry
US20160203375A1 (en) Method and device for determining a lane course of a vehicle
KR101628547B1 (ko) 주행 차선 확인 장치 및 방법
EP3035315A1 (en) Information retrieval arrangement
KR20240172966A (ko) 자율 주행 차량 및 그의 제어 방법
US11807205B2 (en) RCTB system of vehicle and control method thereof
US12142056B2 (en) Information processing device, information processing method, and computer readable medium for determining a latent event
CN112352268A (zh) 用于车辆的驾驶辅助系统、带驾驶辅助系统的车辆和用于车辆的驾驶辅助方法
KR101491315B1 (ko) 차량의 주행제어 장치 및 방법
JP5682302B2 (ja) 走行道路推定装置、方法およびプログラム
KR20190050217A (ko) 컷인 의도 판단 장치 및 방법
CN105730330B (zh) 行车安全系统及其障碍物筛选方法

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20131128

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20141122

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20150225

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20150309

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20150309

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20180222

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20180222

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20200302

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20200302

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20210302

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20220302

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20240227

Start annual number: 10

End annual number: 10

PR1001 Payment of annual fee

Payment date: 20250225

Start annual number: 11

End annual number: 11