[go: up one dir, main page]

KR101998584B1 - 차선 검출 장치 및 차선 검출 방법 - Google Patents

차선 검출 장치 및 차선 검출 방법 Download PDF

Info

Publication number
KR101998584B1
KR101998584B1 KR1020170152560A KR20170152560A KR101998584B1 KR 101998584 B1 KR101998584 B1 KR 101998584B1 KR 1020170152560 A KR1020170152560 A KR 1020170152560A KR 20170152560 A KR20170152560 A KR 20170152560A KR 101998584 B1 KR101998584 B1 KR 101998584B1
Authority
KR
South Korea
Prior art keywords
lane
area
image
top view
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020170152560A
Other languages
English (en)
Other versions
KR20190055634A (ko
Inventor
최병호
황영배
윤주홍
박민규
허환
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020170152560A priority Critical patent/KR101998584B1/ko
Publication of KR20190055634A publication Critical patent/KR20190055634A/ko
Application granted granted Critical
Publication of KR101998584B1 publication Critical patent/KR101998584B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G06K9/00798—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06K9/6202—
    • G06K9/6267—
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

탑 뷰(Top View) 영상으로부터 추출된 복수의 차선 세그먼트(Segment)를 연결하여 차선 영역을 검출하는 차선 검출 장치 및 차선 검출 방법을 제공한다.
개시된 발명의 일 실시예에 따른 차선 검출 장치는, 전방 영상을 탑 뷰(Top View) 영상으로 변환하는 영상 변환부; 상기 탑 뷰 영상 내 각 픽셀 및 상기 각 픽셀의 양측으로 기준 거리 만큼 이격된 복수의 픽셀의 밝기 정보에 기초하여 상기 탑 뷰 영상을 필터링하는 필터링부; 상기 필터링된 영상으로부터 복수의 차선 세그먼트를 추출하고, 상기 복수의 차선 세그먼트 간 유사도를 기초로 차선 영역을 검출하는 차선 영역 검출부; 및 상기 검출된 차선 영역을 상기 전방 영상에 매핑(Mapping)하는 매핑부를 포함할 수 있다.

Description

차선 검출 장치 및 차선 검출 방법{LANE DETECTION APPARATUS AND LANE DETECTION METHOD}
전방 영상에서 차선을 검출하는 차선 검출 장치 및 차선 검출 방법에 관한 것이다.
운전자 보조 시스템(Advanced Driver Assistance System; ADAS) 또는 자율주행 시스템(Autonomous Driving System; ADS)은 주행 중인 차량의 주변 환경에 따라 차량 제어를 수행하므로, 차량의 주변 환경 정보를 감지하는 것이 중요하다.
차량의 주변 환경 정보는 전방, 후방, 및/또는 측방 차량의 존재 정보, 속도 정보, 거리 정보와, 보행자, 교통신호 등과 같은 인접 차량 이외의 정보 등을 포함할 수 있다. 또한, 차량의 주변 환경 정보는 차선 정보를 포함하는 주행 도로 정보를 포함할 수도 있다.
다수의 운전자 보조 시스템이나 자율 주행 시스템은 전방 차선 정보에 기초해서 동작하도록 마련되므로, 운전자의 주행 편의성 및 주행 안전성을 높이기 위해서는 전방의 주행 도로 상의 차선을 사전에 검출하여 인지할 필요가 있다.
종래의 차선 검출 알고리즘의 경우, 에지 영상에서 허프 변환이나 RANSAC 기반의 모델 맞춤(Model Fitting)을 이용하여 차선 정보를 추정하였다. 그 결과, 주행 도로 상의 숫자/글자 나 차선이 아닌 곳에서 발생하는 에지 정보에 의해 차선 오검출이 발생될 확률이 높다.
또한, 기존 차선 검출 알고리즘은 차선의 위치를 하나의 직선 또는 곡선을 이용하여 표시하였으나, 실제 차선은 특정 크기를 갖는 영역이므로, 차선 검출 결과와 실제 차선 간의 차이가 발생할 수 있다.
개시된 발명의 일 측면은 탑 뷰(Top View) 영상으로부터 추출된 복수의 차선 세그먼트(Segment)를 연결하여 차선 영역을 검출하는 차선 검출 장치 및 차선 검출 방법을 제공한다.
개시된 발명의 일 실시예에 따른 차선 검출 장치는, 전방 영상을 탑 뷰(Top View) 영상으로 변환하는 영상 변환부; 상기 탑 뷰 영상 내 각 픽셀 및 상기 각 픽셀의 양측으로 기준 거리 만큼 이격된 복수의 픽셀의 밝기 정보에 기초하여 상기 탑 뷰 영상을 필터링하는 필터링부; 상기 필터링된 영상으로부터 복수의 차선 세그먼트를 추출하고, 상기 복수의 차선 세그먼트 간 유사도를 기초로 차선 영역을 검출하는 차선 영역 검출부; 및 상기 검출된 차선 영역을 상기 전방 영상에 매핑(Mapping)하는 매핑부를 포함할 수 있다.
또한, 상기 필터링부는, 상기 탑 뷰 영상 내 각 픽셀, 및 차선 폭에 의해 결정되는 상기 기준 거리만큼 상기 각 픽셀의 양측으로 이격된 상기 복수의 픽셀의 밝기 값, 및 밝기 분포 중 적어도 하나를 포함하는 상기 밝기 정보에 기초하여 상기 탑 뷰 영상을 필터링할 수 있다.
또한, 상기 차선 영역 검출부는, 상기 필터링된 영상 내 픽셀에 대해 방향성 테스트를 수행하여 픽셀을 군집화하고, 상기 군집된 픽셀을 차선 세그먼트로 추출할 수 있다.
또한, 상기 차선 영역 검출부는, 최소 자승법(Least Square)을 이용하여 상기 복수의 차선 세그먼트 각각의 선분 방정식을 추정하고, 상기 추정된 선분 방정식을 이용하여 상기 복수의 차선 세그먼트 중 어느 두 개를 외삽(Extrapolation)한 선분과 임계값을 비교하여 상기 차선 세그먼트 간 유사도를 산정할 수 있다.
또한, 상기 매핑부는, 상기 전방 영상을 구성하는 복수의 픽셀의 측방향 밝기 변화에 따라 검출된 에지 성분과 상기 차선 영역의 경계를 일치시킴으로써 상기 검출된 차선 영역을 매핑할 수 있다.
또한, 상기 매핑부는, 상기 전방 영상 중 미리 정해진 근거리 영역에서 직선 모델에 따라 상기 검출된 차선 영역을 매핑하고, 상기 전방 영상 중 상기 근거리 영역 이외의 원거리 영역에서 상기 직선 모델 및 쌍곡선 모델 중 어느 하나에 따라 상기 검출된 차선 영역을 매핑할 수 있다.
개시된 발명의 일 실시 예에 따른 차선 검출 방법은, 전방 영상을 탑 뷰(Top View) 영상으로 변환하는 단계; 상기 탑 뷰 영상 내 각 픽셀 및 상기 각 픽셀의 양측으로 기준 거리 만큼 이격된 복수의 픽셀의 밝기 정보에 기초하여 상기 탑 뷰 영상을 필터링하는 단계; 상기 필터링된 영상으로부터 복수의 차선 세그먼트를 추출하는 단계; 상기 복수의 차선 세그먼트 간 유사도를 기초로 차선 영역을 검출하는 단계; 및 상기 검출된 차선 영역을 상기 전방 영상에 매핑(Mapping)하는 단계; 를 포함할 수 있다.
또한, 상기 탑 뷰 영상을 필터링하는 단계는, 상기 탑 뷰 영상 내 각 픽셀, 및 차선 폭에 의해 결정되는 상기 기준 거리만큼 상기 각 픽셀의 양측으로 이격된 상기 복수의 픽셀의 밝기 값, 및 밝기 분포 중 적어도 하나를 포함하는 상기 밝기 정보에 기초하여 상기 탑 뷰 영상을 필터링할 수 있다.
또한, 상기 복수의 차선 세그먼트를 추출하는 단계는, 상기 필터링된 영상 내 픽셀에 대해 방향성 테스트를 수행하여 픽셀을 군집화하고, 상기 군집된 픽셀을 차선 세그먼트로 추출할 수 있다.
또한, 상기 차선 영역을 검출하는 단계는, 최소 자승법(Least Square)을 이용하여 상기 복수의 차선 세그먼트 각각의 선분 방정식을 추정하고, 상기 추정된 선분 방정식을 이용하여 상기 복수의 차선 세그먼트 중 어느 두 개를 외삽(Extrapolation)한 선분과 임계값을 비교하여 상기 차선 세그먼트 간 유사도를 산정할 수 있다.
또한, 상기 차선 영역을 매핑하는 단계는, 상기 전방 영상을 구성하는 복수의 픽셀의 측방향 밝기 변화에 따라 검출된 에지 성분과 상기 차선 영역의 경계를 일치시킴으로써 상기 검출된 차선 영역을 매핑할 수 있다.
또한, 상기 차선 영역을 매핑하는 단계는, 상기 전방 영상 중 미리 정해진 근거리 영역에서 직선 모델에 따라 상기 검출된 차선 영역을 매핑하고, 상기 전방 영상 중 상기 근거리 영역 이외의 원거리 영역에서 상기 직선 모 및 쌍곡선 모델 중 어느 하나에 따라 상기 검출된 차선 영역을 매핑할 수 있다.
본 발명은 차선 세그먼트를 만들고 세그먼트 군집화 및 이상치 제거를 통해 모델 맞춤 과정없이 전방에 존재하는 차선을 유추 할 수 있으므로 종래 기술에 비비하여 차선 오검출을 줄일 수 있고, 중앙선과 같이 중첩된 형태의 차선에 대한 검출 (중앙선) 및 점선/실선의 분류도 동시에 수행할 수 있다. 또한, 본 발명은 하나의 선분을 이용해서 하나의 차선을 표현하지 않고, 차선의 좌우측 끝을 지역화 함으로써 영상에서의 차선의 너비를 동시에 추정할 수 있다.
본 발명을 통해 검출된 차선 정보는 차량의 차선이탈경고(Lande Departure Warning), 차선유지보조시스템(Lane Keeping Assist System), 적응형순항제어(Adaptive Cruise Control)과 같은 자율주행차량의 핵심 기술을 위해 사용될 수 있다.
도 1은 개시된 발명의 일 실시 예에 따른 차선 검출 장치의 제어 블록도이다.
도 2 는 개시된 발명의 일 실시 예에 따른 촬영부에 의해 획득된 전방 영상을 나타내는 도면이다.
도 3은 개시된 발명의 일 실시 예에 따른 좌표계 변환부에 의해 획득된 탑 뷰(Top View) 영상을 나타내는 도면이다.
도 4는 개시된 발명의 일 실시 예에 따른 필터링부의 Step Row Filter에 의해 탑 뷰 영상이 필터링된 결과를 나타내는 도면이다.
도 5는 개시된 발명의 일 실시 예에 따른 필터링부에 의해 차선 세그먼트(Segment)가 추출된 영상을 나타내는 도면이다.
도 6은 개시된 발명의 일 실시 예에 따른 차선 영역 검출부에 의해 차선 영역이 검출된 영상을 나타내는 도면이다.
도 7은 개시된 발명의 일 실시 예에 따른 차선 영역 매핑부에 의해 차선 영역이 매핑된 전방 영상을 나타내는 도면이다.
도 8은 개시된 발명의 일 실시 예에 따른 차선 검출 방법의 흐름도이다.
본 명세서에 기재된 실시 예와 도면에 도시된 구성은 개시된 발명의 바람직한 일 예에 불과할 뿐이며, 본 출원의 출원시점에 있어서 본 명세서의 실시 예와 도면을 대체할 수 있는 다양한 변형 예들이 있을 수 있다.
본 명세서에서 사용한 용어는 실시 예를 설명하기 위해 사용된 것으로, 개시된 발명을 제한 및/또는 한정하려는 의도가 아니다.
예를 들어, 본 명세서에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
또한, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들의 조합이 존재함을 표현하고자 하는 것이며, 하나 또는 그 이상의 다른 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들의 조합의 추가적인 존재 또는 부가 가능성을 배제하지 않는다.
또한, "제1", "제2" 등과 같이 서수를 포함하는 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위하여 사용되며, 상기 하나의 구성요소들을 한정하지 않는다.
또한, "~부", "~기", "~블록", "~부재", "~모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미할 수 있다. 예를 들어, 상기 용어들은 FPGA (field-programmable gate array)/ ASIC (application specific integrated circuit) 등 적어도 하나의 하드웨어, 메모리에 저장된 적어도 하나의 소프트웨어 또는 프로세서에 의하여 처리되는 적어도 하나의 프로세스를 의미할 수 있다.
이하에서는 첨부한 도면을 참조하여 개시된 발명의 일 실시 예를 상세하게 설명한다. 첨부된 도면에서 제시된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낼 수 있다.
도 1은 개시된 발명의 일 실시예에 따른 차선 검출 장치의 제어 블록도이고,도 2 는 개시된 발명의 일 실시예에 따른 촬영부에 의해 획득된 전방 영상을 나타내고, 도 3은 개시된 발명의 일 실시예에 따른 좌표계 변환부에 의해 획득된 탑 뷰(Top View) 영상을 나타내고, 도 4는 개시된 발명의 일 실시예에 따른 필터링부의 Step Row Filter에 의해 탑 뷰 영상이 필터링된 결과를 나타내고, 도 5는 개시된 발명의 일 실시예에 따른 필터링부에 의해 차선 세그먼트(Segment)가 추출된 영상을 나타내고, 도 6은 개시된 발명의 일 실시예에 따른 차선 영역 검출부에 의해 차선 영역이 검출된 영상을 나타내고, 도 7은 개시된 발명의 일 실시예에 따른 차선 영역 매핑부에 의해 차선 영역이 매핑된 전방 영상을 나타내는 도면이다.
도 1을 참조하면, 개시된 발명의 일 실시예에 따른 차선 검출 장치는 전방 영상을 획득하는 촬영부(100); 획득된 전방 영상으로부터 차선 영역을 검출하고, 검출된 차선 영역을 전방 영상에 매핑하는 영상 처리부(200); 및 차선 영역이 매핑된 전방 영상을 표시하는 디스플레이부(D); 를 포함할 수 있다.
촬영부(100)는 전방 영상을 획득할 수 있다. 여기서, 전방 영상이란 차량의 진행 방향 상에 존재하는 주행 도로를 포함하는 영상을 의미할 수 있다. 도 2를 참조하면, 전방 영상은 주행 도로, 주행 도로를 주행하는 선행 차량, 주행 도로 외부에 존재하는 물체 등을 포함할 수 있고, 주행 도로 상의 차선을 포함할 수 있다.
전방 영상을 획득하기 위해, 촬영부(100)는 차량의 전방을 향하도록 차량의 내부 또는 외부에 설치될 수 있다. 차량에 설치되는 촬영부(100)는 지면으로부터의 높이, 전방에 대하여 기울어진 각도(Pitch Angle) 등의 고유 값을 가질 수 있다.
또한, 촬영부(100)는 단안 카메라 또는 스테레오 카메라일 수 있으나, 이하에서는 단안 카메라를 전제로 설명한다.
도 1에서는 촬영부(100)가 차선 검출 장치의 일 구성으로 마련되는 경우를 예시하나, 이와는 달리 촬영부(100)가 차선 검출 장치와 독립된 별개의 장치로 마련될 수도 있다.
다시 도 1을 참조하면, 영상 처리부(200)는 촬영부(100)에 의해 획득된 전방 영상에서 차선 영역을 검출하고, 검출된 차선 영역을 전방 영상 상에 매핑할 수 있다. 이를 위해, 개시된 발명의 일 실시예에 따른 영상 처리부(200)는 전방 영상을 탑 뷰(Top View) 영상으로 변환하는 영상 변환부(210); 탑 뷰 영상을 필터링하는 필터링부(220); 필터링된 영상으로부터 추출된 복수의 차선 세그먼트를 연결하여 차선 영역을 검출하는 차선 영역 검출부(230); 및 검출된 차선 영역을 전방 영상에 매핑하는 매핑부(240); 를 포함할 수 있다.
영상 변환부(210)는 입력 영상의 시점이 변경된 영상을 획득하도록 마련될 수 있다. 구체적으로, 영상 변환부(210)는 전방 영상을 탑 뷰(Top View) 영상으로 변환할 수 있다. 이를 위해, 영상 변환부(210)는 입력 영상의 좌표계를 변환함으로써, 변경된 좌표계에 따른 영상을 획득할 수 있다.
예를 들어, 영상 변환부(210)는 입력된 전방 영상의 좌표계를 변환하여 탑 뷰 영상을 획득하거나, 입력된 탑 뷰 영상의 좌표계를 변환하여 전방 영상을 획득할 수 있다.
만약, 차량이 존재하는 3차원 공간의 공간 좌표계가 차량의 진행 방향인 X축, 차량의 진행 방향에 수직이고, 지면에 평행한 방향인 Y축, 및 차량의 진행 방향에 수직이고, 지면에 수직인 방향을 Z축 으로 구성되는 경우, 전방 영상의 평면 좌표계는 X-Z 평면을 기준으로 설정될 수 있다. 구체적으로, 전방 영상의 평면 좌표계는 X-Z 평면을 기준으로 상술한 촬영부(100)의 설치 위치에 따른 고유 값인 지면으로부터의 높이, 전방에 대하여 기울어진 각도(Pitch Angle)와 촬영부(100) 내부의 파라미터 값을 고려하여 결정될 수 있다.
영상 변환부(210)는 결정된 전방 영상의 평면 좌표계를 X-Y 평면 좌표계로 변환함으로써 X-Y 평면 상의 탑 뷰 영상을 획득할 수 있다. 도 3은 도 2의 전방 영상의 좌표계를 변경함으로써 획득된 탑 뷰 영상을 예시한다. 도 3을 참조하면, 탑 뷰 영상은 전방 영상이 나타내는 전방에 대한 시각적인 정보를 나타낼 수 있다. 예를 들어, 탑 뷰 영상은 주행 도로의 차선을 포함할 수 있고, 도로의 차선 폭(Width)이 w로 확인될 수 있다.
필터링부(220)는 탑 뷰 영상의 각 픽셀 및 각 픽셀 양측으로 기준 거리 만큼 이격된 복수의 픽셀의 밝기 정보에 따라 탑 뷰 영상을 필터링 할 수 있다. 여기서 기준 거리는 차선 폭에 의해 결정될 수 있다.
구체적으로, 필터링부(220)는 탑 뷰 영상 내 각 픽셀, 및 차선 폭에 의해 결정되는 기준 거리만큼 각 픽셀의 양측으로 이격된 복수의 픽셀의 밝기 값, 및 밝기 분포 중 적어도 하나를 포함하는 밝기 정보에 기초하여 탑 뷰 영상을 필터링할 수 있다.
일 실시 예에 따른 필터링부(220)는 수학식 1에 따른 Step Row Filter 에 의해 탑 뷰 영상을 필터링 할 수 있다.
[수학식 1]
E(x, y) = 2 * I(x, y) I(x-t, y) I(x+t, y) -|I(x-t, y)-I(x+t, y)|
여기서, I는 탑 뷰 영상을 나타내고, E는 Step Row Filter 에 의해 필터링 된 영상을 나타내고, x, 및 y는 X-Y 평면상의 영상을 구성하는 픽셀의 좌표를 나타내고, t는 기준 거리를 의미할 수 있다. 일 실시예에 따른 기준 거리는 탑 뷰 영상에서 차선 폭 w의 절반이상의 거리를 의미할 수 있다.수학식 1을 참조하면, Step Row Filter는 임의의 픽셀과 해당 픽셀로부터 기준 거리 만큼 이격된 두 픽셀 각각과의 밝기 차이, 및 해당 픽셀로부터 기준 거리 만큼 이격된 두 픽셀 간의 밝기 차이가 클수록, 해당 픽셀에 큰 밝기 값을 할당할 수 있다.
도 4는 필터링된 탑 뷰 영상을 예시한다. 이처럼, 필터링부(220)는 Step Row Filter에 의해 탑 뷰 영상으로부터 차선에 대한 정보만을 추출할 수 있다.
다시 도 1을 참조하면, 차선 영역 검출부(230)는 필터링된 탑 뷰 영상에 대한 이진화(Binarization)를 수행할 수 있다. 구체적으로, 필터링부(220)는 필터링된 탑 뷰 영상을 구성하는 복수의 픽셀 각각의 밝기 값을 미리 정해진 임계값과 비교하여, 임계값 이상의 픽셀에 밝기 값1을 할당하고, 그 이외의 픽셀에 밝기 값 0을 할당할 수 있다.
이진화를 수행한 후, 차선 영역 검출부(230)는 이진화된 영상에 대한 군집화(Clustering)를 수행할 수 있다. 구체적으로, 차선 영역 검출부(230)는 이진화된 영상을 구성하는 복수의 픽셀 각각에 대하여 인접한 4방향의 픽셀과의 1차 연결성 테스트를 수행할 수 있다. 만약, 인접한 픽셀 중 미리 정해진 임계값 이상의 연결성을 가지는 픽셀이 존재하는 경우, 차선 영역 검출부(230)는 해당 픽셀을 동일 영역으로 간주함으로써 군집화를 수행할 수 있다.
이를 통해, 차선 영역 검출부(230)는 복수의 차선 세그먼트를 추출할 수 있다. 여기서, 차선 세그먼트란 필터링 된 탑 뷰 영상의 군집화된 픽셀의 집합을 의미할 수 있다. 도 5는 군집화에 의해 차선 세그먼트가 추출된 탑 뷰 영상을 예시한다. 도 5는 도 4의 필터링된 탑뷰 영상을 이진화한 후, 군집화한 결과를 나타내며, 차선 세그먼트가 컬러 영역으로 예시되고 있다.
그 다음, 차선 영역 검출부(230)는 추출된 복수의 차선 세그먼트를 연결하여 차선 영역을 검출할 수 있다. 구체적으로, 차선 영역 검출부(230)는 복수의 차선 세그먼트 간 유사도를 기초로 차선 세그먼트를 연결할 수 있다. 이를 위해, 차선 영역 검출부(230)는 복수의 차선 세그먼트 각각의 기준선을 구할 수 있다.
여기서, 기준선이란 차선 세그먼트에 대하여 최소자승법(Method of Least Squares)를 적용하여 획득된 선분의 방정식을 의미할 수 있다. 복수의 차선 세그먼트 각각에 대한 복수의 기준선이 구해지면, 차선 영역 검출부(230)는 기준선을 이용하여 임의의 두 차선 세그먼트를 외삽(Extrapolation)하고, 외삽한 선분과 임계값을 비교하여 차선 세그먼트 간 유사도를 산정할 수 있다.
차선 영역 검출부(230)는 유사도가 높은 복수의 차선 세그먼트를 연결함으로써 차선 영역을 검출할 수 있다. 도 6은 도 5의 복수의 차선 세그먼트를 연결함으로써 차선 영역이 검출되는 경우를 예시하며, 차선이 직선이 아닌 영역으로 검출됨을 확인할 수 있다.
또한, 차선 영역 검출부(230)는 검출된 차선 영역과 미리 저장된 도로 정보를 비교하여 노이즈(Noise)를 제거할 수도 있다. 예를 들어, 차선 영역 검출부(230)는 검출된 차선 영역 중 미리 저장된 주행 도로의 차선 수, 차선 폭, 차선 간 거리, 차선의 형태 등의 조건을 만족하지 않는 차선 영역을 제거할 수 있다.
다시 도 1을 참조하면, 차선 검출이 완료된 후, 차선 영역 매핑부(240)는 검출된 차선 영역을 전방 영상에 매핑(Mapping)할 수 있다. 이를 위해, 검출된 차선 영역은 상술한 좌표계 변환부(210)에 의해 X-Y 좌표계로부터 전방 영상에 대한 평면 좌표계로 좌표계가 변환될 수 있다.
차선 영역의 좌표계가 변환되면, 차선 영역 매핑부(240)는 전방 영상 상에 검출된 차선 영역을 매핑할 수 있다. 이 때, 차선 영역 매핑부(240)는 매핑된 차선 영역의 인접 영역 내에서 지역화(Localization)를 수행할 수 있다. 여기서 인접 영역이란 매핑된 차선 영역으로부터 일정 거리 내에 속하는 영역을 의미할 수 있고, 지역화란 매핑된 차선 영역의 양 측을 전방 영상 상의 차선 경계와 일치시키는 것을 의미할 수 있다.
이를 위해, 차선 영역 매핑부(240)는 매핑된 차선 영역에 따라 결정되는 인접 영역 내에서 전방 영상의 측방향 밝기 변화를 기초로 차선으로 추정되는 영역을 설정할 수 있다. 예를 들어, 차선 영역 매핑부(240)는 인접 영역 내에서 측방향으로의 밝기가 급격하게 밝아지는 경계 및 측방향으로의 밝기가 급격하게 어두워지는 경계를 차선 경계로 추정할 수 있다. 이 때, 차선 영역 검출부(230)는 밝기가 급격하게 밝아지거나, 급격하게 어두워지는 것을 미리 정해진 임계값과의 비교를 통해 판단할 수 있다.
차선 경계가 되면, 차선 영역 매핑부(240)는 전방 영상에서 매핑된 차선 영역의 양 측을 전방 영상에서 추정되는 차선 경계와 일치시킴으로써 지역화를 수행할 수 있다.
이 때, 차선 영역 매핑부(240)는 시점으로부터의 거리에 따라 매핑 방법을 달리 적용할 수 있다. 구체적으로, 차선 영역 매핑부(240)는 전방 영상 중 시점으로부터 미리 결정되는 인접 거리 이내에 속하는 근거리 영역에서는 직선 모델에 따라 차선 영역을 매핑할 수 있다. 또한, 차선 영역 매핑부(240)는 전방 영상 중 시점으로부터 인접 거리를 초과하는 영역인 원거리 영역에서는 쌍곡선 모델에 따라 차선 영역을 매핑할 수 있다.
도 7 은 도 6의 탑 뷰 영상에서 검출된 차선 영역을 전방 영상에 매핑한 결과를 나타내며, 녹색의 영역이 매핑된 차선 영역을 의미한다.
다시 도 1을 참조하면, 이렇게 차선 영역이 매핑된 전방 영상은 디스플레이부(D)에 의해 사용자에게 제공될 수 있다. 도 1에서는 차선 검출 장치가 디스플레이부(D)를 포함하는 경우를 예시하나, 디스플레이부(D)가 차선 검출 장치와 별개의 독립적인 장치로 마련될 수도 있다.
도 8은 개시된 발명의 일 실시 예에 따른 차선 검출 방법의 흐름도이다.
먼저, 영상 변환부(210)에 의해, 전방 영상을 탑 뷰(Top View) 영상으로 변환할 수 있다.(S100) 구체적으로, 영상 변환부(210)는 전방 영상의 좌표계를 변환함으로써 전방 영상을 탑 뷰 영상으로 변환할 수 있다. 전방 영상의 좌표계는 촬영부(100)의 지면으로부터의 높이, 전방에 대하여 기울어진 각도(Pitch Angle) 등의 고유 값과 촬영부(100) 내부에 설정된 파라미터 등을 고려하여 결정되므로, 이를 고려하여 탑 뷰 영상으로의 좌표계 변환이 이루어질 수 있다.
탑 뷰 영상이 획득된 후, 필터링부(220)에 의해, 탑 뷰 영상 내 각 픽셀 및 각 픽셀의 양측으로 기준 거리 만큼 이격된 복수의 픽셀의 밝기 정보에 기초하여 탑 뷰 영상을 필터링할 수 있다.(S110) 예를 들어, 필터링부(220)는 수학식 1에 따른 Step Row Filter를 이용하여 탑 뷰 영상을 필터링함으로써 탑 뷰 영상의 각 픽셀, 각 픽셀의 양측으로 기준 거리만큼 이격된 두 픽셀 간의 밝기 차이가 큰 해당 픽셀의 밝기를 크게 설정할 수 있다.
필터링이 완료되면, 차선 영역 검출부(230)는 필터링된 영상으로부터 복수의 차선 세그먼트(Segment)를 추출할 수 있다.(S120) 이를 위해, 차선 영역 검출부(230)에 의해, 필터링된 탑 뷰 영상을 이진화(Binarization)할 수 있다. 그 다음, 차선 영역 검출부(230)에 의해, 이진화된 영상의 복수의 픽셀에 대한 군집화를 통해 차선 세그먼트를 추출할 수 있다.
차선 세그먼트가 추출되면, 차선 영역 검출부(230)에 의해, 복수의 차선 세그먼트 간 유사도를 기초로 차선 영역을 검출할 수 있다.(S130) 구체적으로, 차선 영역 검출부(230)에 의해, 복수의 차선 세그먼트 각각에 대한 복수의 기준선을 구하고, 기준선을 이용하여 임의의 두 차선 세그먼트를 외삽한 선분과 임계값을 비교하여 두 개의 차선 세그먼트간 유사도를 산정할 수 있다. 산정된 유사도가 크면, 차선 영역 검출부(230)에 의해, 해당 두 차선 세그먼트를 연결함으로써 차선 영역을 검출할 수 있다.
마지막으로, 차선 영역 매핑부(240)에 의해, 검출된 차선 영역을 전방 영상에 매핑할 수 있다.(S140) 이 때, 차선 영역 매핑부(240)는 전방 영상의 측방향 밝기 변화에 따른 경계를 설정하고, 설정된 경계와 검출된 차선 영역을 일치시킴으로써 차선 영역을 전방 영상에 매핑할 수 있다.
개시된 바와 같이, 일 실시예에 따른 차선 검출 장치 및 차선 검출 방법에 따르면, 차선을 영역으로서 검출하므로, 도로 상의 차선이 아닌 숫자나 글자에 의해 발생하는 오검출을 줄일 수 있다. 또한, 중앙선과 같이 겹선 형태의 차선에 대한 검출 및 점선/실선의 분류도 함께 수행할 수 있다.
다른 실시예에 따른 차선 검출 장치 및 차선 검출 방법에 따르면, 차선 영역의 매핑 시 양 측을 전방 영상 상에서 지역화 하므로, 영상에서의 차선 폭 추정이 가능할 수 있다.
이상의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 개시된 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 개시된 발명의 등가적 범위 내에서의 모든 변경은 개시된 발명의 범위에 포함된다.
100: 촬영부
200: 영상 처리부
210: 좌표계 변환부
220: 필터링부
230: 차선 영역 검출부
240: 차선 영역 매핑부
D: 디스플레이부

Claims (12)

  1. 전방 영상을 탑 뷰(Top View) 영상으로 변환하는 영상 변환부;
    상기 탑 뷰 영상 내 각 픽셀 및 상기 각 픽셀의 양측으로 기준 거리 만큼 이격된 복수의 픽셀의 밝기 정보에 기초하여 상기 탑 뷰 영상을 필터링하는 필터링부;
    상기 기준 거리는 차선 폭에 의해 결정되고,
    상기 필터링된 영상으로부터 군집화를 통해 복수의 차선 세그먼트를 추출하고, 상기 복수의 차선 세그먼트 간 유사도를 기초로 차선 영역을 검출하는 차선 영역 검출부; 및
    상기 검출된 차선 영역을 상기 전방 영상에 매핑(Mapping)하는 매핑부를 포함하는 차선 검출 장치.
  2. 제 1 항에 있어서,
    상기 필터링부는,
    상기 탑 뷰 영상 내 각 픽셀, 및 상기 기준 거리만큼 상기 각 픽셀의 양측으로 이격된 상기 복수의 픽셀의 밝기 값, 및 밝기 분포 중 적어도 하나를 포함하는 상기 밝기 정보에 기초하여 상기 탑 뷰 영상을 필터링하는 차선 검출 장치.
  3. 제 1 항에 있어서,
    상기 차선 영역 검출부는,
    상기 필터링된 영상 내 픽셀에 대해 방향성 테스트를 수행하여 픽셀을 군집화하고, 상기 군집된 픽셀을 차선 세그먼트로 추출하는 차선 검출 장치.
  4. 제 1 항에 있어서,
    상기 차선 영역 검출부는,
    최소 자승법(Least Square)을 이용하여 상기 복수의 차선 세그먼트 각각의 선분 방정식을 추정하고, 상기 추정된 선분 방정식을 이용하여 상기 복수의 차선 세그먼트 중 어느 두 개를 외삽(Extrapolation)한 선분과 임계값을 비교하여 상기 차선 세그먼트 간 유사도를 산정하는 차선 검출 장치
  5. 제 1 항에 있어서,
    상기 매핑부는,
    상기 전방 영상을 구성하는 복수의 픽셀의 측방향 밝기 변화에 따라 검출된 에지 성분과 상기 차선 영역의 경계를 일치시킴으로써 상기 검출된 차선 영역을 매핑하는 차선 검출 장치.
  6. 제 1 항에 있어서,
    상기 매핑부는,
    상기 전방 영상 중 미리 정해진 근거리 영역에서 직선 모델에 따라 상기 검출된 차선 영역을 매핑하고,
    상기 전방 영상 중 상기 근거리 영역 이외의 원거리 영역에서 상기 직선 모델 및 쌍곡선 모델 중 어느 하나에 따라 상기 검출된 차선 영역을 매핑하는 차선 검출 장치.
  7. 전방 영상을 탑 뷰(Top View) 영상으로 변환하는 단계;
    상기 탑 뷰 영상 내 각 픽셀 및 상기 각 픽셀의 양측으로 기준 거리 만큼 이격된 복수의 픽셀의 밝기 정보에 기초하여 상기 탑 뷰 영상을 필터링하는 단계;
    상기 기준 거리는 차선 폭에 의해 결정되고,
    상기 필터링된 영상으로부터 군집화를 통해 복수의 차선 세그먼트를 추출하는 단계;
    상기 복수의 차선 세그먼트 간 유사도를 기초로 차선 영역을 검출하는 단계; 및
    상기 검출된 차선 영역을 상기 전방 영상에 매핑(Mapping)하는 단계; 를 포하는 차선 검출 방법.
  8. 제 7 항에 있어서,
    상기 탑 뷰 영상을 필터링하는 단계는,
    상기 탑 뷰 영상 내 각 픽셀, 및 상기 기준 거리만큼 상기 각 픽셀의 양측으로 이격된 상기 복수의 픽셀의 밝기 값, 및 밝기 분포 중 적어도 하나를 포함하는 상기 밝기 정보에 기초하여 상기 탑 뷰 영상을 필터링하는 차선 검출 방법.
  9. 제 7 항에 있어서,
    상기 복수의 차선 세그먼트를 추출하는 단계는,
    상기 필터링된 영상 내 픽셀에 대해 방향성 테스트를 수행하여 픽셀을 군집화하고, 상기 군집된 픽셀을 차선 세그먼트로 추출하는 차선 검출 방법.
  10. 제 7 항에 있어서,
    상기 차선 영역을 검출하는 단계는,
    최소 자승법(Least Square)을 이용하여 상기 복수의 차선 세그먼트 각각의 선분 방정식을 추정하고, 상기 추정된 선분 방정식을 이용하여 상기 복수의 차선 세그먼트 중 어느 두 개를 외삽(Extrapolation)한 선분과 임계값을 비교하여 상기 차선 세그먼트 간 유사도를 산정하는 차선 검출 방법.
  11. 제 7 항에 있어서,
    상기 차선 영역을 매핑하는 단계는,
    상기 전방 영상을 구성하는 복수의 픽셀의 측방향 밝기 변화에 따라 검출된 에지 성분과 상기 차선 영역의 경계를 일치시킴으로써 상기 검출된 차선 영역을 매핑하는 차선 검출 방법.
  12. 제 7 항에 있어서,
    상기 차선 영역을 매핑하는 단계는,
    상기 전방 영상 중 미리 정해진 근거리 영역에서 직선 모델에 따라 상기 검출된 차선 영역을 매핑하고,
    상기 전방 영상 중 상기 근거리 영역 이외의 원거리 영역에서 상기 직선 모델 및 쌍곡선 모델 중 어느 하나에 따라 상기 검출된 차선 영역을 매핑하는 차선 검출 방법.
KR1020170152560A 2017-11-15 2017-11-15 차선 검출 장치 및 차선 검출 방법 Active KR101998584B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170152560A KR101998584B1 (ko) 2017-11-15 2017-11-15 차선 검출 장치 및 차선 검출 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170152560A KR101998584B1 (ko) 2017-11-15 2017-11-15 차선 검출 장치 및 차선 검출 방법

Publications (2)

Publication Number Publication Date
KR20190055634A KR20190055634A (ko) 2019-05-23
KR101998584B1 true KR101998584B1 (ko) 2019-07-10

Family

ID=66681299

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170152560A Active KR101998584B1 (ko) 2017-11-15 2017-11-15 차선 검출 장치 및 차선 검출 방법

Country Status (1)

Country Link
KR (1) KR101998584B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102255924B1 (ko) * 2019-09-27 2021-05-25 주식회사 서울로보틱스 레인을 검출하는 차량 및 방법
CN112989991B (zh) * 2021-03-09 2024-09-20 贵州京邦达供应链科技有限公司 车道线检测方法及装置、电子设备和计算机可读存储介质
CN114022863B (zh) * 2021-10-28 2022-10-11 广东工业大学 基于深度学习的车道线检测方法、系统、计算机及存储介质
CN117723043B (zh) * 2023-12-13 2024-09-24 酷哇科技有限公司 高精度地图道路内双黄车道线生成方法和系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101637535B1 (ko) * 2015-04-14 2016-07-07 주식회사 와이즈오토모티브 탑뷰 영상 왜곡 보정 장치 및 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101738034B1 (ko) * 2015-07-09 2017-05-22 현대자동차주식회사 개선된 차선 인식 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101637535B1 (ko) * 2015-04-14 2016-07-07 주식회사 와이즈오토모티브 탑뷰 영상 왜곡 보정 장치 및 방법

Also Published As

Publication number Publication date
KR20190055634A (ko) 2019-05-23

Similar Documents

Publication Publication Date Title
CN110443225B (zh) 一种基于特征像素统计的虚实车道线识别方法及其装置
US9846812B2 (en) Image recognition system for a vehicle and corresponding method
CN106650708B (zh) 一种自动驾驶障碍物视觉检测方法与系统
CN106778593B (zh) 一种基于多地面标志融合的车道级定位方法
EP2728546B1 (en) Method and system for detecting object on a road
CN108052904B (zh) 车道线的获取方法及装置
JP5787024B2 (ja) 立体物検出装置
CN101303735B (zh) 探测车辆盲点区域内运动物体的方法及盲点探测装置
RU2568777C2 (ru) Устройство обнаружения движущихся тел и система обнаружения движущихся тел
EP3545464B1 (en) Information processing device, imaging device, equipment control system, mobile object, information processing method, and computer-readable recording medium
JP6442834B2 (ja) 路面高度形状推定方法とシステム
CN104902261B (zh) 用于低清晰度视频流中的路面识别的装置和方法
KR101998584B1 (ko) 차선 검출 장치 및 차선 검출 방법
WO2020154990A1 (zh) 目标物体运动状态检测方法、设备及存储介质
CN105426864A (zh) 一种基于等距边缘点匹配的多车道线检测方法
KR101285106B1 (ko) 영상 데이터 융합 기반의 장애물체 검출 방법 및 장치
CN104916163A (zh) 泊车位检测方法
Liu et al. Development of a vision-based driver assistance system with lane departure warning and forward collision warning functions
KR20110001427A (ko) 관심영역 추출에 의한 차선 고속검출 방법
JP2012243051A (ja) 環境認識装置および環境認識方法
EP2833096A1 (en) Method for determining a current distance and/or a current speed of a target object based on a reference point in a camera image, camera system and motor vehicle
Yiruo et al. Complex ground plane detection based on v-disparity map in off-road environment
Petrovai et al. A stereovision based approach for detecting and tracking lane and forward obstacles on mobile devices
JP2019114150A (ja) 車外環境認識装置
Oniga et al. A fast ransac based approach for computing the orientation of obstacles in traffic scenes

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20171115

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20181207

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20190627

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20190704

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20190704

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20220705

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20230621

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20240624

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20250624

Start annual number: 7

End annual number: 7