KR102751271B1

KR102751271B1 - 차선 인식 장치 및 그 방법

Info

Publication number: KR102751271B1
Application number: KR1020190007656A
Authority: KR
Inventors: 민경득
Original assignee: 현대자동차주식회사; 기아 주식회사
Priority date: 2019-01-21
Filing date: 2019-01-21
Publication date: 2025-01-10
Anticipated expiration: 2039-01-21
Also published as: US11164011B2; CN111462527A; CN111462527B; US20200234063A1; KR20200090527A

Abstract

본 발명은 차선 인식 장치 및 그 방법에 관한 것으로, 도로상에 그려진 차선의 형태를 고려하여 상기 차선을 복수의 3차 방정식으로 표현함으로써, 도로상의 차선이 매끄러운 곡선의 형태로 휘지 않고 소정의 각을 형성하도록 꺾인 경우(일례로, 한 점에서 두 직선이 소정의 각을 형성하는 형태의 차선)에도 정확도 높게 차선을 인식할 수 있는 차선 인식 장치 및 그 방법을 제공하고자 한다.
이를 위하여, 본 발명은 차선 인식 장치에 있어서, 차량의 전방영상을 촬영하는 카메라; 및 상기 카메라에 의해 촬영된 차량의 전방영상에서 차선을 검출하고, 상기 차선의 꺾인점을 기준으로 복수의 차선 방정식을 생성하며, 상기 복수의 차선 방정식에 기초하여 차선을 인식하는 제어부를 포함한다.

Description

차선 인식 장치 및 그 방법{APPARATUS FOR RECOGNIZING LANE AND METHOD THEREOF}

본 발명은 차량에서 차선을 인식하는 기술에 관한 것이다.

차량의 기능이 고급화되면서 다양한 안전 시스템을 구비한 차량이 증가하고 있다. 이러한 안전 시스템은 주행중이나 주차중에 발생할 수 있는 사고를 각종 센서와 비전 시스템 및 레이저 시스템을 이용하여 감지한 후 운전자에게 경고하거나 차량을 제어하는 시스템으로서, ESP(Electric Stability Program), ACC(Adaptive Cruise Control), LKAS(Lane Keeping Assist System), LDWS(Lane Departure Warning System) 등을 들 수 있다.

이러한 안전 시스템들은 기본적으로 차선을 인식하고, 상기 인식된 차선을 기반으로 차간 거리 유지, 차선 유지 등의 서비스를 제공한다.

종래의 차선 인식 기술은 차량에 탑재된 카메라를 통해 차량의 전방영상을 촬영하고, 상기 촬영된 차량의 전방영상에서 차선을 검출하며, 상기 검출된 차선의 위치좌표(x,y) 집합을 커브 피팅(Curve Fitting)하여 차선의 3차 방정식으로 근사화한 후 이에 기초하여 차선을 인식한다. 이렇게 근사화된 차선의 3차 방정식은 하기의 [수학식 1]과 같다.

[수학식 1]

여기서, C₀는 차선의 횡방향 오프셋(Offset), C₁는 차선의 기울기(Heading Angle slope), C₂은 차선의 곡률(Curvature), C₃는 차선의 곡률의 변화율(Curvature Rate)을 각각 나타낸다. 이때, 차선의 횡방향 오프셋은 차량 중심으로부터 차선이 얼마나 떨어져 있는지를 나타내는 파라미터이고, 차선의 기울기는 차선과 차량 진행방향 간의 기울기를 나타내는 파라미터이다.

이러한 종래의 차선 인식 기술은 도로상의 차선이 매끄러운 곡선의 형태로 휘지 않고 소정의 각을 형성하도록 꺾인 경우(일례로, 한 점에서 두 직선이 소정의 각을 형성하는 형태의 차선), 이를 고려하지 않고 실제 차선을 차선의 3차 방정식으로 표현하기 때문에 실제 차선과 차선의 3차 방정식(인식 차선) 간의 오차가 커져 차량의 주행안전을 보장할 수 없는 문제점이 있다.

대한민국등록특허 제10-1333459호

상기와 같은 종래 기술의 문제점을 해결하기 위하여, 본 발명은 도로상에 그려진 차선의 형태를 고려하여 상기 차선을 복수의 3차 방정식으로 표현함으로써, 도로상의 차선이 매끄러운 곡선의 형태로 휘지 않고 소정의 각을 형성하도록 꺾인 경우(일례로, 한 점에서 두 직선이 소정의 각을 형성하는 형태의 차선)에도 정확도 높게 차선을 인식할 수 있는 차선 인식 장치 및 그 방법을 제공하는데 그 목적이 있다.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.

상기 목적을 달성하기 위한 본 발명의 장치는, 차선 인식 장치에 있어서, 차량의 전방영상을 촬영하는 카메라; 및 상기 카메라에 의해 촬영된 차량의 전방영상에서 획득되는 차선의 꺾인점을 기준으로 차선을 인식하는 제어부를 포함한다.

여기서, 상기 제어부는 상기 카메라에 의해 촬영된 차량의 전방영상에서 차선을 검출하고, 상기 차선의 꺾인점을 기준으로 복수의 차선 방정식을 생성하며, 상기 복수의 차선 방정식에 기초하여 도로상의 차선을 인식할 수 있다.

또한, 상기 제어부는 상기 검출된 차선을 카메라 좌표계에서 도로 좌표계로 변환할 수 있다.

또한, 상기 제어부는 상기 차량의 전방영상 내 설정구간(d_min ~ d_max)에서 차선을 검출하고, 상기 검출한 차선을 차선 방정식으로 근사화하여 상기 차선과 상기 차선 방정식 사이의 오차가 제1 임계치를 초과하는 경우에 상기 꺾인점을 검출할 수 있다. 이때, 상기 오차는 상기 차선과 상기 차선 방정식이 이루는 면적이 바람직하다.

또한, 상기 제어부는 상기 검출한 차선을 구성하는 차선집합(x,y)을 대상으로 x값 기준 오름차순(ascending order)으로 커브 피팅(curve fitting)을 수행하는 과정에서 차선과 차선 방정식 사이의 제1 오차 그래프를 생성하고, 상기 차선집합을 대상을 대상으로 x값 기준 내림차순(descending order)으로 커브 피팅을 수행하는 과정에서 차선과 차선 방정식 사이의 제2 오차 그래프를 생성하며, 상기 제1 오차 그래프와 제2 오차 그래프가 만나는 점을 꺾인점(d_c)으로 설정할 수 있다.

또한, 상기 제어부는 d_min ~ d_c 구간 내 차선집합(x,y)을 대상으로 x값 기준 오름차순(ascending order)으로 커브 피팅을 수행하여 제1 차선 방정식을 생성하고, d_max ~ d_c 구간 내 차선집합(x,y)을 대상으로 x값 기준 내림차순(descending order)으로 커브 피팅을 수행하여 제2 차선 방정식을 생성할 수 있다.

이러한 본 발명의 장치는 선행차량의 위치와 상대속도를 검출하는 레이더를 더 포함할 수 있다. 이때, 상기 제어부는 상기 선행차량의 위치와 상대속도에 기초하여 주행궤적을 산출하고, 상기 산출된 주행궤적을 구성하는 집합(x,y)을 대상으로 커브 피팅을 수행하며, 상기 주행궤적의 곡률의 변화율이 제2 임계치를 초과하면 상기 제1 임계치를 감소시킬 수 있다.

이러한 본 발명의 장치는 주행궤적 서버로부터 현재 주행도로의 주행궤적을 획득하는 통신부를 더 포함할 수 있다. 이때, 상기 제어부는 상기 통신부를 통해 획득한 주행궤적을 구성하는 집합(x,y)을 대상으로 커브 피팅을 수행하며, 상기 주행궤적의 곡률의 변화율이 제2 임계치를 초과하면 상기 제1 임계치를 감소시킬 수 있다.

상기 목적을 달성하기 위한 본 발명의 방법은, 차선 인식 방법에 있어서, 카메라가 차량의 전방영상을 촬영하는 단계; 및 제어부가 상기 차량의 전방영상에서 획득되는 차선의 꺾인점을 기준으로 차선을 인식하는 단계를 포함한다.

여기서, 상기 차선을 인식하는 단계는 상기 차량의 전방영상에서 차선을 검출하는 단계; 상기 차선의 꺾인점을 기준으로 복수의 차선 방정식을 생성하는 단계; 및 상기 복수의 차선 방정식에 기초하여 도로상의 차선을 인식하는 단계를 포함할 수 있다. 이때, 상기 차선을 검출하는 단계는 상기 검출된 차선을 카메라 좌표계에서 도로 좌표계로 변환하는 단계를 포함할 수 있다.

또한, 상기 복수의 차선 방정식을 산출하는 단계는 상기 차량의 전방영상 내 설정구간(d_min ~ d_max)에서 차선을 검출하고, 상기 검출한 차선을 차선 방정식으로 근사화하여 상기 차선과 상기 차선 방정식 사이의 오차가 제1 임계치를 초과하는 경우에 상기 꺾인점(d_c)을 검출하는 단계를 포함할 수 있다. 이때, 상기 오차는 상기 차선과 상기 차선 방정식이 이루는 면적이 바람직하다.

또한, 상기 꺾인점을 검출하는 단계는 상기 검출한 차선을 구성하는 차선집합(x,y)을 대상으로 x값 기준 오름차순(ascending order)으로 커브 피팅(curve fitting)을 수행하는 과정에서 차선과 차선 방정식 사이의 제1 오차 그래프를 생성하는 단계; 상기 차선집합을 대상을 대상으로 x값 기준 내림차순(descending order)으로 커브 피팅을 수행하는 과정에서 차선과 차선 방정식 사이의 제2 오차 그래프를 생성하는 단계; 및 상기 제1 오차 그래프와 제2 오차 그래프가 만나는 점을 꺾인점(d_c)으로 설정하는 단계를 포함할 수 있다.

또한, 상기 복수의 차선 방정식을 산출하는 단계는 d_min ~ d_c 구간 내 차선집합(x,y)을 대상으로 x값 기준 오름차순(ascending order)으로 커브 피팅을 수행하여 제1 차선 방정식을 생성하는 단계; 및 d_max ~ d_c 구간 내 차선집합(x,y)을 대상으로 x값 기준 내림차순(descending order)으로 커브 피팅을 수행하여 제2 차선 방정식을 생성하는 단계를 포함할 수 있다.

또한, 상기 복수의 차선 방정식을 산출하는 단계는 상기 선행차량의 위치와 상대속도에 기초하여 주행궤적을 산출하고, 상기 주행궤적을 구성하는 집합(x,y)을 대상으로 커브 피팅을 수행하며, 상기 주행궤적의 곡률의 변화율이 제2 임계치를 초과하면 상기 제1 임계치를 감소시키는 단계를 포함할 수 있다.

또한, 상기 복수의 차선 방정식을 산출하는 단계는 주행궤적 서버로부터 현재 주행도로의 주행궤적을 획득하고, 상기 주행궤적을 구성하는 집합(x,y)을 대상으로 커브 피팅을 수행하며, 상기 주행궤적의 곡률의 변화율이 제2 임계치를 초과하면 상기 제1 임계치를 감소시키는 단계를 포함할 수 있다.

본 발명의 일 실시예에 따른 차선 인식 장치 및 그 방법은, 도로상에 그려진 차선의 형태를 고려하여 상기 차선을 복수의 3차 방정식으로 표현함으로써, 도로상의 차선이 매끄러운 곡선의 형태로 휘지 않고 소정의 각을 형성하도록 꺾인 경우(일례로, 한 점에서 두 직선이 소정의 각을 형성하는 형태의 차선)에도 정확도 높게 차선을 인식할 수 있다.

도 1 은 본 발명이 적용된 차량이 주행하는 도로 환경에 대한 일예시도,
도 2 는 본 발명의 일 실시에에 따른 차선 인식 장치에 대한 구성도,
도 3 은 본 발명의 일 실시예에 따른 차선 인식 장치가 카메라 좌표계를 도로 좌표계로 변환하는 과정을 나타내는 설명도,
도 4 는 본 발명의 일 실시예에 따른 차선 인식 장치가 카메라 좌표계 영상을 도로 좌표계 영상으로 변환한 결과를 나타내는 예시도,
도 5a 내지 도 5d 는 본 발명의 일 실시예에 따른 차선 인식 장치가 차선상에서 꺾인점을 검출하는 과정을 나타내는 설명도,
도 6 은 본 발명의 일 실시예에 따른 차선 인식 장치가 생성한 복수의 차선 방정식에 대한 일예시도,
도 7 은 본 발명의 일 실시예에 따른 차선 인식 방법에 대한 흐름도,
도 8 은 본 발명의 일 실시예에 따른 차선 인식 방법을 실행하기 위한 컴퓨팅 시스템을 보여주는 블록도이다.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.

본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

도 1 은 본 발명이 적용된 차량이 주행하는 도로 환경에 대한 일예시도이다.

도 1에 도시된 바와 같이, 자차(10)는 도로상을 주행하고 있으며, 자차(20)의 전방에는 선행차량(20)이 주행하고 있다.

또한, 차선(30)은 매끄러운 곡선의 형태로 휘지 않고 '50' 지점에서 소정의 각도로 꺾여 있다. 즉, 차선(30)은 분할점(50)을 기준으로 두 직선이 소정의 각을 형성하는 형태를 갖는다. 참고로, 3차 방정식은 이러한 차선(30)을 정확히 표현하는데 한계가 있다.

도 1에서, '40'은 도로 구조물로서 가드레일, 중앙분리대 등을 나타내고, '11'은 자차(10)에 탑재된 카메라의 촬영영역을 나타내며, '12'는 자차(10)에 탑재된 전방레이더의 탐지영역을 나타내고, '21'은 선행차량(20)의 주행궤적을 나타낸다.

또한, 자차(10)에 표시된 좌표계(x,y)는 자차(10)에 탑재된 카메라의 좌표계로서, 카메라에 의해 촬영된 전방영상 내 객체들의 위치를 나타내는 기준이 된다. 이때, x는 자차(10)의 종방향을 나타낼 수도 있고, y는 자차(10)의 횡방향을 나타낼 수도 있다.

도 2 는 본 발명의 일 실시에에 따른 차선 인식 장치에 대한 구성도이다.

도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 차선 인식 장치(200)는, 메모리(210), 카메라(220), 레이더(230), GPS 수신기(240), 통신부(Tranceiver, 250), 및 제어부(Controller, 260) 등을 포함할 수 있다. 한편, 본 발명의 일 실시예에 따른 차선 인식 장치를 실시하는 방식에 따라 각 구성요소는 서로 결합되어 하나로 구비될 수 있으며, 아울러 발명을 실시하는 방식에 따라 일부의 구성요소가 생략될 수도 있다.

상기 각 구성요소들에 대해 살펴보면, 먼저 메모리(210)는 도로상에 그려진 차선의 형태를 고려하여 상기 차선을 복수의 3차 방정식으로 표현하는데 필요한 각종 로직과 알고리즘 및 프로그램을 저장할 수 있다.

또한, 메모리(210)는 최소 자승법(least square method) 등에 기초하여 실제 차선을 3차 방정식으로 근사화하는 커브 피팅(Curve Fitting) 기법을 저장할 수 있다.

이러한 메모리(210)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 마이크로 타입(micro type), 및 카드 타입(예컨대, SD 카드(Secure Digital Card) 또는 XD 카드(eXtream Digital Card)) 등의 메모리와, 램(RAM, Random Access Memory), SRAM(Static RAM), 롬(ROM, Read-Only Memory), PROM(Programmable ROM), EEPROM(Electrically Erasable PROM), 자기 메모리(MRAM, Magnetic RAM), 자기 디스크(magnetic disk), 및 광디스크(optical disk) 타입의 메모리 중 적어도 하나의 타입의 기록 매체(storage medium)를 포함할 수 있다.

다음으로, 카메라(220)는 차량에 탑재되어 차량의 전방영상을 촬영하는 모듈로서, 도 1에 도시된 바와 같이 '11'에 해당하는 촬영범위를 갖을 수 있다. 일례로, 카메라(220)에 의해 촬영된 차량의 전방영상은 도 4에 도시된 바와 같다.

다음으로, 레이더(230)는 차량에 탑재되어 차량의 전방영역을 탐지하는 모듈로서, 도 1에 도시된 바와 같이 '12'에 해당하는 탐지영역을 갖을 수 있다. 이러한 레이더(230)는 선행차량(20)의 위치와 상대속도를 탐지하고, 아울러 도로 구조물의 위치를 탐지할 수 있다.

또한, 레이더(230)는 카메라(220)를 보조하는 역할을 수행할 수 있다. 즉, 레이더(230)를 통해 획득된 데이터는 카메라(220)에 의해 촬영된 전방영상에서 차선을 검출할 때 추가로 이용될 수 있다.

다음으로, GPS(Global Positioning System) 수신기(240)는 GPS 위성으로부터 위치정보(좌표)를 수신하는 모듈로서, 자차(10)의 현재 위치를 확인하는데 이용될 수 있다.

다음으로, 통신부(250)는 주행궤적 서버(300)와의 통신 인터페이스를 제공하는 모듈로서, 주행궤적 서버(300)로부터 자차(10)가 주행중인 도로에 대한 주행궤적을 획득할 수 있다. 이때, 주행궤적은 이전에 상기 도로를 주행한 차량의 주행궤적일 수 있으며, 이전에 상기 도로를 주행한 차량들의 주행궤적(복수의 주행궤적)으로부터 도출한 최적의 주행궤적일 수도 있다. 일례로, 최적의 주행궤적은 이동평균에 기초하여 도출할 수 있다.

이러한 통신부(250)는 이동통신모듈과 무선인터넷모듈 및 근거리통신모듈을 구비할 수 있다.

여기서, 이동통신모듈은 이동통신을 위한 기술표준 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTEA(Long Term Evolution-Advanced) 등)에 따라 구축된 이동통신망을 통해 주행궤적 서버(300)와 무선신호를 송수신할 수 있다. 이때, 무선신호는 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.

무선인터넷모듈은 무선 인터넷 기술에 따른 통신망에서 무선신호를 송수신하도록 이루어진다. 무선 인터넷 기술로는, 예를 들어 WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등이 있다.

근거리통신모듈은 근거리 통신(Short range communication)을 위한 것으로서, 블루투스(Bluetooth™ ), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다.

다음으로 제어부(260)는 상기 각 구성요소들이 제 기능을 정상적으로 수행할 수 있도록 전반적인 제어를 수행한다. 이러한 제어부(260)는 하드웨어 또는 소프트웨어의 형태로 구현될 수 있으며, 하드웨어 및 소프트웨어가 결합된 형태로도 존재할 수 있다. 바람직하게는, 제어부(260)는 마이크로프로세서로 구현될 수 있으나 이에 한정되지 않는다.

이러한 제어부(260)는 도로상에 그려진 차선의 형태를 고려하여 상기 차선을 복수의 3차 방정식으로 근사화하고, 상기 근사화된 3차 방정식에 기초하여 도로상의 차선을 인식하는 과정을 수행하는데 필요한 각종 제어를 수행한다.

이하, 도 3 내지 도 6을 참조하여 제어부(260)의 동작에 대해 상세히 살펴보도록 한다.

먼저, 제어부(260)은 카메라(220)에 의해 촬영된 차량의 전방영상에서 차선을 검출한다. 이렇게 검출된 차선은 카메라 좌표계(i,j)의 집합으로 표현된다.

이후, 제어부(260)는 카메라 좌표계로 표현된 차선집합을 도로 좌표계(x,y)로 변환한다.

도 3 은 본 발명의 일 실시예에 따른 차선 인식 장치가 카메라 좌표계를 도로 좌표계로 변환하는 과정을 나타내는 설명도이다.

도 3에 도시된 바와 같이, 제어부(260)는 초점을 기준으로 카메라 좌표계(i,j)를 도로 좌표계(x,y)로 변환한다. 즉, 제어부(260)는 하기의 [수학식 2]에 기초하여 변환 과정을 수행할 수 있다.

[수학식 2]

여기서, x는 도로의 x 좌표값, y는 도로의 y 좌표값, C_h는 카메라의 수평 소실점, i는 카메라의 수평 픽셀, j는 카메라의 수직 픽셀, A_p는 1픽셀 당 화각을 각각 의미한다. 이때, A_p는 하기의 [수학식 3]을 만족하고, X(j)는 하기의 [수학식 4]를 만족한다.

[수학식 3]

여기서, F_h는 수평 화각, F_v는 수직 화각, P_h는 수평 해상도, P_v는 수직 해상도를 각각 의미한다.

[수학식 4]

여기서, H_c는 카메라 높이, C_v는 카메라의 수직 소실점을 각각 의미한다.

도 4 는 본 발명의 일 실시예에 따른 차선 인식 장치가 카메라 좌표계 영상을 도로 좌표계 영상으로 변환한 결과를 나타내는 예시도이다.

제어부(260)는 상기 [수학식 2]에 기초하여 카메라 좌표계 영상을 도로 좌표계 영상으로 변환할 수 있다. 이때, 카메라 좌표계 영상 내에는 차선이 포함되어 있어, 변환과정에서 카메라 좌표계의 차선이 도로 좌표계의 차선으로 변환된다. 물론, 제어부(260)는 전체 영상을 도로 좌표계로 변환하지 않고, 카메라 좌표계 영상에서 차선을 검출한 후 상기 검출한 차선만을 도로 좌표계로 변환할 수도 있다.

이후, 제어부(260)는 도로 좌표계로 표현된 차선(30)에 꺾인점(50)이 위치하는지 파악하는 과정을 수행한다.

도 5a 내지 도 5d 는 본 발명의 일 실시예에 따른 차선 인식 장치가 차선상에서 꺾인점을 검출하는 과정을 나타내는 설명도이다.

먼저, 제어부(260)는 차선상에서 꺾인점을 검출할지의 여부를 결정하기 위해 도 5a에 도시된 바와 같이 전체 오차(E_a)를 검출하는 과정을 수행한다. 즉, 제어부(260)는 꺾인점(50)을 고려하지 않고 설정구간(d_min ~ d_max)에서 실제 차선(310, 320)을 차선의 3차 방정식(330)으로 근사화한다. 이때, d_min은 자차(10)로부터 가장 가까운 거리를 나타내며, d_max는 자차(10)로부터 가장 먼 거리를 나타낸다.

설정구간에 대해서 실제 차선(310, 32)을 차선의 3차 방정식으로 근사화했을 때, 차선의 3차 방정식(330)과 실제 차선(310, 320) 간의 오차(E_a)가 임계치(E_th)를 초과하면 꺾인점(50)이 존재하는 것으로 판단하여 꺾인점(50)을 검출하는 과정을 수행한다. 이때, 오차의 크기는 실제 차선(310), 320)과 차선의 3차 방정식(330)이 이루는 면적의 크기로 표현할 수 있다.

이후, 제어부(260)는 도 5b에 도시된 바와 같이, 실제 차선(310, 320)으로부터 검출한 차선집합을 대상으로 d_min 지점에서 d_max 지점 방향(화살표)으로 3차 방정식으로 근사화하는 과정(커브 피팅)을 수행한다. 이 과정에서 제어부(26)는 주기적으로 제1 오차(E_b)를 산출한다.

또한, 제어부(260)는 도 5c에 도시된 바와 같이, 실제 차선(310, 320)으로부터 검출한 차선집합을 대상으로 d_max 지점에서 d_min 지점 방향(화살표)으로 3차 방정식으로 근사화하는 과정(커브 피팅)을 수행한다. 이 과정에서 제어부(26)는 주기적으로 제2 오차(E_c)를 산출한다.

이후, 제어부(260)는 도 5d에 도시된 바와 같이, 주기적으로 산출한 제1 오차(E_b)와 제2 오차(E_c)를 그래프로 나타낸다.

이후, 제어부(260)는 제1 오차(E_b) 그래프와 제2 오차(E_c) 그래프가 만나는 지점(d_c)을 꺾인점(50)으로 검출한다.

이후, 제어부(260)는 도 5b에 도시된 바와 같이 d_min ~ d_c(50) 구간에서 화살표 방향(510)으로 차선집합(310)을 차선의 3차 방정식으로 근사화하고, 도 5c에 도시된 바와 같이 d_max ~ d_c(50) 구간에서 화살표 방향(520)으로 차선집합(320)을 차선의 3차 방정식으로 근사화하여, 도 6에 도시된 바와 같이 꺾인점(d_c)을 기준으로 차선집합(310)에 상응하는 차선의 3차 방정식(313)과 차선집합(320)에 상응하는 차선의 3차 방정식(323)을 생성한다.

도 5a와 도 6을 비교했을 때 도 6에 도시된 차선의 3차 방정식이 실제 차선과 더 유사함을 알 수 있다.

한편, 제어부(260)는 카메라(220)에 의해 촬영된 전방영상과 레이더(230)의 탐지결과에 기초하여 선행차량(20)의 주행궤적(21)을 검출할 수 있다. 이러한 주행궤적의 검출과정은 주지 관용의 기술이므로 상세 설명은 생략한다.

이후, 제어부(260)는 선행차량(20)의 주행궤적(21)을 3차 방정식으로 근사화(커브 피팅)한다. 이렇게 근사화된 3차 방정식은 하기의 [수학식 5]와 같다.

[수학식 5]

여기서, P₀는 주행궤적의 횡방향 오프셋(Offset), P₁는 주행궤적의 기울기(Heading Angle slope), P₂은 주행궤적의 곡률(Curvature), P₃는 주행궤적의 곡률의 변화율(Curvature Rate)을 각각 나타낸다.

이후, 제어부(260)는 P₃가 임계치(P_th)를 초과하면 임계치(E_th)에 가중치(w)를 곱하여 임계치(E_th)를 더 작은 값으로 설정할 수 있다. 이때, 가중치(w)는 0에서 1 사이의 값이 바람직하다.

한편, 제어부(260)는 통신부(250)를 통해 주행궤적 서버(300)로부터 획득한 현재 주행도로의 주행궤적을 획득하고, 상기 획득한 주행궤적에 기초하여 임계치(E_th)를 설정할 수도 있다. 이때, 주행궤적 서버(300)로부터 획득한 주행궤적은 좌표정보(x,y)를 포함한다.

도 7 은 본 발명의 일 실시예에 따른 차선 인식 방법에 대한 흐름도이다.

먼저, 카메라(220)가 차량의 전방영상을 촬영한다(701).

이후, 제어부(260)가 상기 차량의 전방영상에서 차선을 검출한다(702). 즉, 제어부(260)는 차량의 전방영상에서 차선을 검출하고, 상기 검출한 차선을 구성하는 차선집합(x,y)을 대상으로 x값 기준 오름차순(ascending order)으로 커브 피팅(curve fitting)을 수행하는 과정에서 차선과 차선 방정식 사이의 제1 오차 그래프를 생성하며, 상기 차선집합을 대상을 대상으로 x값 기준 내림차순(descending order)으로 커브 피팅을 수행하는 과정에서 차선과 차선 방정식 사이의 제2 오차 그래프를 생성하고, 상기 제1 오차 그래프와 제2 오차 그래프가 만나는 점을 꺾인점(d_c)으로 설정한다.

이후, 제어부(260)가 상기 차선의 꺾인점을 기준으로 복수의 차선 방정식을 생성한다(703). 즉, 제어부(260)는 d_min ~ d_c 구간 내 차선집합(x,y)을 대상으로 x값 기준 오름차순(ascending order)으로 커브 피팅을 수행하여 제1 차선 방정식을 생성하고, d_max ~ d_c 구간 내 차선집합(x,y)을 대상으로 x값 기준 내림차순(descending order)으로 커브 피팅을 수행하여 제2 차선 방정식을 생성한다.

이후, 제어부(260)가 상기 복수의 차선 방정식에 기초하여 도로상의 차선을 인식한다(704).

도 8 은 본 발명의 일 실시예에 따른 차선 인식 방법을 실행하기 위한 컴퓨팅 시스템을 보여주는 블록도이다.

도 8을 참조하면, 상술한 본 발명의 일 실시예에 따른 차선 인식 방법은 컴퓨팅 시스템을 통해서도 구현될 수 있다. 컴퓨팅 시스템(1000)은 시스템 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.

프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.

따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, SSD(Solid State Drive), 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.

따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

210: 메모리
220: 카메라
230: 레이더
240: GPS 수신기
250: 통신부
260: 제어부

Claims

차량의 전방영상을 촬영하는 카메라; 및
상기 카메라에 의해 촬영된 차량의 전방영상에서 획득되는 차선의 꺾인점을 기준으로 차선을 인식하는 제어부를 포함하되,
상기 제어부는,
상기 카메라에 의해 촬영된 차량의 전방영상에서 차선을 검출하고, 상기 차선의 꺾인점을 기준으로 복수의 차선 방정식을 생성하며, 상기 복수의 차선 방정식에 기초하여 도로상의 차선을 인식하며,
상기 차량의 전방영상 내 설정구간(d_min ~ d_max)에서 차선을 검출하고, 상기 검출한 차선을 차선 방정식으로 근사화하여 상기 차선과 상기 차선 방정식 사이의 오차가 제1 임계치를 초과하는 경우에 상기 꺾인점을 검출하는 것을 특징으로 하는 차선 인식 장치.
삭제
제 1 항에 있어서,
상기 제어부는,
상기 검출된 차선을 카메라 좌표계에서 도로 좌표계로 변환하는 것을 특징으로 하는 차선 인식 장치.
삭제
제 1 항에 있어서,
상기 오차는,
상기 차선과 상기 차선 방정식이 이루는 면적인 것을 특징으로 하는 차선 인식 장치.
제 1 항에 있어서,
상기 제어부는,
상기 검출한 차선을 구성하는 차선집합(x,y)을 대상으로 x값 기준 오름차순(ascending order)으로 커브 피팅(curve fitting)을 수행하는 과정에서 차선과 차선 방정식 사이의 제1 오차 그래프를 생성하고, 상기 차선집합을 대상을 대상으로 x값 기준 내림차순(descending order)으로 커브 피팅을 수행하는 과정에서 차선과 차선 방정식 사이의 제2 오차 그래프를 생성하며, 상기 제1 오차 그래프와 제2 오차 그래프가 만나는 점을 꺾인점(d_c)으로 설정하는 것을 특징으로 하는 차선 인식 장치.
제 6 항에 있어서,
상기 제어부는,
d_min ~ d_c 구간 내 차선집합(x,y)을 대상으로 x값 기준 오름차순(ascending order)으로 커브 피팅을 수행하여 제1 차선 방정식을 생성하고, d_max ~ d_c 구간 내 차선집합(x,y)을 대상으로 x값 기준 내림차순(descending order)으로 커브 피팅을 수행하여 제2 차선 방정식을 생성하는 것을 특징으로 하는 차선 인식 장치.
제 7 항에 있어서,
상기 제어부는,
상기 제1 차선 방정식과 상기 제2 차선 방정식에 기초하여 차선을 인식하는 것을 특징으로 하는 차선 인식 장치.
제 1 항에 있어서,
선행차량의 위치와 상대속도를 검출하는 레이더
를 더 포함하는 차선 인식 장치.
제 9 항에 있어서,
상기 제어부는,
상기 선행차량의 위치와 상대속도에 기초하여 주행궤적을 산출하고, 상기 산출된 주행궤적을 구성하는 집합(x,y)을 대상으로 커브 피팅을 수행하며, 상기 주행궤적의 곡률의 변화율이 제2 임계치를 초과하면 상기 제1 임계치를 감소시키는 것을 특징으로 하는 차선 인식 장치.
제 1 항에 있어서,
주행궤적 서버로부터 현재 주행도로의 주행궤적을 획득하는 통신부
를 더 포함하는 차선 인식 장치.
제 11 항에 있어서,
상기 제어부는,
상기 통신부를 통해 획득한 주행궤적을 구성하는 집합(x,y)을 대상으로 커브 피팅을 수행하며, 상기 주행궤적의 곡률의 변화율이 제2 임계치를 초과하면 상기 제1 임계치를 감소시키는 것을 특징으로 하는 차선 인식 장치.
카메라가 차량의 전방영상을 촬영하는 단계; 및
제어부가 상기 차량의 전방영상에서 획득되는 차선의 꺾인점을 기준으로 차선을 인식하는 단계를 포함하되,
상기 차선을 인식하는 단계는,
상기 차량의 전방영상에서 차선을 검출하는 단계;
상기 차선의 꺾인점을 기준으로 복수의 차선 방정식을 생성하는 단계; 및
상기 복수의 차선 방정식에 기초하여 도로상의 차선을 인식하는 단계를 포함하고,
상기 복수의 차선 방정식을 생성하는 단계는,
상기 차량의 전방영상 내 설정구간(d_min ~ d_max)에서 차선을 검출하고, 상기 검출한 차선을 차선 방정식으로 근사화하여 상기 차선과 상기 차선 방정식 사이의 오차가 제1 임계치를 초과하는 경우에 상기 꺾인점(d_c)을 검출하는 단계
를 포함하는 차선 인식 방법.
삭제
제 13 항에 있어서,
상기 차선을 검출하는 단계는,
상기 검출된 차선을 카메라 좌표계에서 도로 좌표계로 변환하는 단계
를 포함하는 차선 인식 방법.
삭제
제 13 항에 있어서,
상기 꺾인점을 검출하는 단계는,
상기 검출한 차선을 구성하는 차선집합(x,y)을 대상으로 x값 기준 오름차순(ascending order)으로 커브 피팅(curve fitting)을 수행하는 과정에서 차선과 차선 방정식 사이의 제1 오차 그래프를 생성하는 단계;
상기 차선집합을 대상을 대상으로 x값 기준 내림차순(descending order)으로 커브 피팅을 수행하는 과정에서 차선과 차선 방정식 사이의 제2 오차 그래프를 생성하는 단계; 및
상기 제1 오차 그래프와 제2 오차 그래프가 만나는 점을 꺾인점(d_c)으로 설정하는 단계
를 포함하는 차선 인식 방법.
제 17 항에 있어서,
상기 복수의 차선 방정식을 산출하는 단계는,
d_min ~ d_c 구간 내 차선집합(x,y)을 대상으로 x값 기준 오름차순(ascending order)으로 커브 피팅을 수행하여 제1 차선 방정식을 생성하는 단계; 및
d_max ~ d_c 구간 내 차선집합(x,y)을 대상으로 x값 기준 내림차순(descending order)으로 커브 피팅을 수행하여 제2 차선 방정식을 생성하는 단계
를 포함하는 차선 인식 방법.
제 13 항에 있어서,
상기 복수의 차선 방정식을 산출하는 단계는,
선행차량의 위치와 상대속도에 기초하여 주행궤적을 산출하고, 상기 주행궤적을 구성하는 집합(x,y)을 대상으로 커브 피팅을 수행하며, 상기 주행궤적의 곡률의 변화율이 제2 임계치를 초과하면 상기 제1 임계치를 감소시키는 단계
를 더 포함하는 차선 인식 방법.
제 13 항에 있어서,
상기 복수의 차선 방정식을 산출하는 단계는,
주행궤적 서버로부터 현재 주행도로의 주행궤적을 획득하고, 상기 주행궤적을 구성하는 집합(x,y)을 대상으로 커브 피팅을 수행하며, 상기 주행궤적의 곡률의 변화율이 제2 임계치를 초과하면 상기 제1 임계치를 감소시키는 단계
를 더 포함하는 차선 인식 방법.