[go: up one dir, main page]

KR20130051681A - 노면 표식물 인식 시스템 및 방법 - Google Patents

노면 표식물 인식 시스템 및 방법 Download PDF

Info

Publication number
KR20130051681A
KR20130051681A KR1020110116970A KR20110116970A KR20130051681A KR 20130051681 A KR20130051681 A KR 20130051681A KR 1020110116970 A KR1020110116970 A KR 1020110116970A KR 20110116970 A KR20110116970 A KR 20110116970A KR 20130051681 A KR20130051681 A KR 20130051681A
Authority
KR
South Korea
Prior art keywords
information
image
road
marker
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
KR1020110116970A
Other languages
English (en)
Inventor
변재민
노명찬
나기인
김성훈
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020110116970A priority Critical patent/KR20130051681A/ko
Priority to US13/673,108 priority patent/US20130120575A1/en
Publication of KR20130051681A publication Critical patent/KR20130051681A/ko
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Geometry (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 카메라의 영상 정보 및 레이저 스캐너의 반사량 및 거리 정보를 용합하여 다양한 주변 환경 변화와 날씨 변화에 대해서 정확한 노면 표식물을 인식할 수 있는 노면 표식물 인식 시스템 및 방법에 관한 것이다.
이를 위하여 본 발명의 실시 예에 따른 노면 표식물 인식 시스템은, 전방의 영상 정보, 거리 정보 및 반사량 정보를 출력하는 센서부와, 상기 센서부로부터 제공받은 영상 정보, 거리 정보 및 반사량 정보를 기반으로 상기 전방의 표식물을 인식하는 인식부와, 상기 인식부에서 인식한 표식물의 정보를 출력하는 출력부를 포함할 수 있다.

Description

노면 표식물 인식 시스템 및 방법{SYSTEM AND METHOD FOR RECOGNIZING ROAD SIGN}
본 발명은 표식물 인식에 관한 것으로, 더욱 상세하게는 카메라의 영상 정보 및 레이저 스캐너의 반사량 및 거리 정보를 용합하여 다양한 주변 환경 변화와 날씨 변화에 대해서 정확한 노면 표식물을 인식할 수 있는 노면 표식물 인식 시스템 및 방법에 관한 것이다.
노면 표식물 인식 기술 개발은 도로 환경에서 운전자의 편의 및 안전성을 보장하기 위해서 운전자 보조 장치 등으로 개발이 진행되어 왔다. 차량의 전방에 있는 노면 표식물 인식 기술은 운전자의 부주의로 인해서 감지하지 못했을 경우에, 차선을 이탈하거나 정지선 및 횡단보도 표식물을 지나서 차량 사고 및 인명 사고가 발생하는 것을 막기 위해서 전방에 있는 표식물의 정보들을 미리 알려주는 경고장치 시스템 형태로 기존에 개발이 되었다.
종래에는 노면 표식물 인식을 위해서 카메라를 활용하여 영상 정보들을 활용하여 표식물을 추출하는 방법으로 진행되어 왔으며, 단일/다중 카메라를 통해서 다양한 각도로 도로 정보를 조사하여 영상 왜곡 및 노이즈 제거를 위해서 진행하였지만, 다양한 조명 변화 및 그림자 등의 환경적인 요소와 비/눈 같은 날씨 등에 영향에 민감하게 반응하는 문제점이 있다.
또한, 일반적으로 단일 카메라를 사용하다 보니 투영된 정보 2D를 3D 정보로 변환해야 하는 과정 속에서 원거리 정보들이 왜곡되는 현상과 도로 면이 평평해야 한다는 구속 조건을 가지고 진행되었다.
대한민국 공개특허공보 공개번호 10-2009-0098167호(공개일자 2009년 09월 17일)의 거리 센서를 이용한 차선 인식 방법 및 그 시스템에는 레이저 스캐너의 거리 정보만을 이용하여 관심 영역(ROI : Region Of Interest)을 결정하고, 결정된 관심 영역 내의 영상 정보만을 활용하여 차선을 인식할 수 있는 기술이 개시되어 있다.
본 발명은 이와 같은 종래 기술의 문제점을 해결하기 위해 제안한 것으로서, 카메라의 영상 정보 및 레이저 스캐너의 반사량 및 거리 정보를 용합하여 다양한 주변 환경 변화와 날씨 변화에 대해서 정확한 노면 표식물을 인식할 수 있는 노면 표식물 인식 시스템 및 방법을 제공하는데 그 목적이 있다.
본 발명의 일 관점에 따르면, 본 발명의 실시 예에 따른 노면 표식물 인식 시스템은, 전방의 영상 정보, 거리 정보 및 반사량 정보를 출력하는 센서부와, 상기 센서부로부터 제공받은 영상 정보, 거리 정보 및 반사량 정보를 기반으로 상기 전방의 표식물을 인식하는 인식부와, 상기 인식부에서 인식한 표식물의 정보를 출력하는 출력부를 포함할 수 있다.
본 발명의 실시 예에 따른 노면 표식물 인식 시스템에서 상기 센서부는, 상기 전방의 촬영을 통해 영상 정보를 생성하는 카메라와, 상기 거리 정보 및 반사량 정보를 생성하는 레이저 스캐너를 포함하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 노면 표식물 인식 시스템에서 상기 인식부는, 상기 카메라로부터 제공받은 영상 정보의 좌표계를 변환하여 상기 전방에 단일 좌표계에 일치시킨 이미지를 생성하는 영상 정보 처리부와, 상기 반사량 정보를 정규화시키기 위한 반사량 정보 처리부와, 상기 거리 정보를 활용하여 노면과 노면이 아닌 영역을 구분하여 관심 영역을 결정하는 거리 정보 처리부와, 상기 이미지와 상기 정규화된 반사량 정보 및 관심 영역을 기반으로 상기 표식물을 결정하는 노면 표식물 인식 결정부를 포함하는 것을 특징으로 할 수 있다.
본 발명의 실시 예에 따른 노면 표식물 인식 시스템에서 상기 영상 정보 처리부는, 상기 카메라의 캘리브레이션 과정을 통해 획득한 카메라 파라미터를 토대로 좌표계의 변환과정을 수행하여 버드 뷰 이미지를 생성하는 역 원근 변환부와, 상기 버드 뷰 이미지에 대한 노이즈 제거를 실시하여 상기 이미지를 생성하는 노이즈 필터부를 포함하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 노면 표식물 인식 시스템에서 상기 반사량 정보 처리부는, 상기 레이저 스캐너로부터 제공받은 반사량 정보에 대한 히스토그램을 생성하는 히스토그램 처리부와, 상기 히스토그램을 토대로 상기 반사량 정보에 대한 정규화 과정을 수행하는 정규화 처리부를 포함하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 노면 표식물 인식 시스템에서 상기 거리 정보 처리부는, 상기 레이저 스캐너로부터 제공받은 거리 정보를 활용하여 상기 전방에 대한 3D 고도 맵을 생성하는 맵 생성부와, 상기 3D 고도 맵을 기반으로 노면과 노면이 아닌 영역을 구분하여 상기 표식물의 인식을 위한 관심 영역을 결정하는 ROI 결정부를 포함하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 노면 표식물 인식 시스템에서 상기 노면 표식물 인식 결정부는, 상기 이미지에서 상기 관심 영역에 해당되는 부분의 에지를 추출하고, 추출된 에지를 기반으로 라인 피팅을 수행하여 표식물의 방향 및 크기를 고려한 후보군을 선정하며, 상기 반사량 정보를 기반으로 상기 선정된 후보군 중 적어도 하나의 선택을 통해 상기 표식물을 결정하는 것을 특징으로 한다.
본 발명의 다른 관점에 따르면, 본 발명의 실시 예에 따른 본 발명의 실시 예에 따른 노면 표식물 인식 방법은 전방의 영상 정보, 거리 정보 및 반사량 정보를 센싱하는 단계와, 상기 센싱된 영상 정보, 거리 정보 및 반사량 정보를 기반으로 상기 전방의 표식물을 인식하는 단계와, 상기 인식한 표식물의 정보를 출력하는 출력부를 포함할 수 있다.
본 발명의 실시 예에 따른 노면 표식물 인식 방법에서 상기 센싱하는 단계는, 카메라를 이용하여 상기 전방의 촬영을 통해 영상 정보를 생성하는 단계와, 레이저 스캐너를 이용하여 상기 거리 정보 및 반사량 정보를 생성하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 노면 표식물 인식 방법에서 상기 인식하는 단계는, 상기 카메라로부터 제공받은 영상 정보의 좌표계를 변환하여 상기 전방에 단일 좌표계에 일치시킨 이미지를 생성하는 단계와, 상기 반사량 정보를 정규화시키는 단계와, 상기 거리 정보를 활용하여 노면과 노면이 아닌 영역을 구분하여 관심 영역을 결정하는 단계와, 상기 이미지와 상기 정규화된 반사량 정보 및 관심 영역을 기반으로 상기 표식물을 결정하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 노면 표식물 인식 방법에서 상기 이미지를 생성하는 단계는, 상기 카메라의 캘리브레이션 과정을 통해 획득한 카메라 파라미터를 토대로 좌표계의 변환과정을 수행하여 버드 뷰 이미지를 생성하는 단계와, 상기 버드 뷰 이미지의 노이즈 제거하여 상기 이미지를 생성하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 노면 표식물 인식 방법에서 상기 정규화시키는 단계는, 상기 레이저 스캐너로부터 제공받은 반사량 정보에 대한 히스토그램을 생성하는 단계와, 상기 히스토그램을 토대로 상기 반사량 정보에 대한 정규화 과정을 수행하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 노면 표식물 인식 방법에서 상기 관심 영역을 결정하는 단계는, 상기 레이저 스캐너로부터 제공받은 거리 정보를 활용하여 상기 전방에 대한 3D 고도 맵을 생성하는 단계와, 상기 3D 고도 맵을 기반으로 노면과 노면이 아닌 영역을 구분하여 상기 표식물의 인식을 위한 관심 영역을 결정하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 본 발명의 실시 예에 따른 노면 표식물 인식 방법에서 상기 표식물을 결정하는 단계는, 상기 이미지에서 상기 관심 영역에 해당되는 부분의 에지를 추출하는 단계와, 상기 추출된 에지를 기반으로 라인 피팅을 수행하여 표식물의 방향 및 크기를 고려한 후보군을 선정하는 단계와, 상기 반사량 정보를 기반으로 상기 선정된 후보군 중 적어도 하나 이상의 선택을 통해 상기 표식물을 결정하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 실시 예에 의하면, 카메라의 영상 정보와 레이저 스캐너의 거리 정보 및 반사량 정보를 이용하여 노면 표식물(차선, 정지선, 횡단보도, 과속방지턱)을 인식하고, 인식된 결과로 노면 표식물 존재 유무 및 위치에 대한 정보를 추출함으로써, 조명 및 날씨 변화, 그림자 등과 같은 환경 변화에 대해서 영향을 많이 받지 않으면서 표식물에 대한 높은 인식률 및 신뢰성을 제공하는 이점이 있다.
도 1은 본 발명의 실시 예에 따른 노면 표식물 인식 시스템에 대한 개념을 설명하기 위한 구성도,
도 2는 본 발명의 실시 예에 따른 노면 표식물 인식 시스템의 내부 구성을 도시한 블록도,
도 3은 본 발명의 실시 예에 따른 노면 표식물 인식 시스템이 표식물을 인식하는 과정을 도시한 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
도 1은 본 발명의 실시 예에 따른 노면 표식물 인식 시스템에 대한 개념을 설명하기 위한 구성도이다.
도 1을 참조하면, 본 발명의 실시 예에 따른 노면 표식물 인식 시스템은 차량의 전방을 주시하는 단일 칼라 카메라(101)와 거리 및 반사량을 감지하는 레이저 스캐너(102)를 포함할 수 있다.
노면 표식물 인식 시스템은 단일 칼라 카메라(101)와 레이저 스캐너(102)를 이용하여 노면 표식물인 차선(103)과 정지선(104)을 인식할 수 있다.
도 1과 같은 구성을 갖는 노면 표식물 인식 시스템의 동작 과정에 대해 설명하면 아래와 같다.
먼저, 노면 표식물 인식 시스템은 레이저 스캐너(102)로부터 제공받은 거리 정보들을 통해서 3차원 고도맵을 생성한 후 노면과 노면이 아닌 임의의 높이를 갖는 영역들을 구분하는 과정을 수행하여 영역 정보를 제공하고, 그 노면 영역 내에서 각 위치에 대한 반사량을 제공하여 표식물과 노면에 대한 구분을 가능케 하는 정보를 제공할 수 있다. 단일 칼라 카메라(101)는 전방에 대한 색상 및 형태 정보를 제공한다. 예를 들어 차량의 왼쪽에 중앙 차선인 노란 차선이 있으며, 오른쪽에는 일반 차선이 있으며, 전방에 노란색 정지선이 있는 도로의 환경에서 본 발명의 실시 예에 따른 노면 표식물 인식 시스템이 장착된 차량의 주행을 한다고 가정하면, 본 발명의 실시 예에 따른 노면 표식물 인식 시스템은 레이저 스캐너(102)를 통해서 입력된 정보를 기반으로 전방에 차량이 주행 가능한 영역을 결정하고, 단일 칼라 카메라(101)의 영상 정보와 레이저의 반사량을 기준으로 양쪽 차선의 형태를 인식함과 더불어 단일 칼라 카메라(101)를 통해서 입력된 정보를 이용하여 차선의 색상 정보를 인식할 수 있다.
그런 다음, 노면 표식물 인식 시스템은 양쪽 차선과 차량과의 상대적인 위치를 결정함과 더불어 전방에 있는 정지선에 대해서는 레이저 스캐너(102)의 반사량을 통해서 표식물의 크기 및 형태와 영상에 의한 색상 정보들 통해서 최종적으로 존재 유무 및 위치를 결정할 수 있다.
상술한 바와 같은 동작을 위한 본 발명의 실시 예에 따른 노면 표식물 인식 시스템의 세부 구성에 대해 도 2을 참조하여 설명한다.
도 2는 본 발명의 실시 예에 따른 노면 표식물 인식 시스템의 내부 구성을 도시한 블록도로서, 센서부(200), 인식부(220) 및 출력부(240)로 구성될 수 있다.
센서부(200)는 전방을 주시하는 카메라(202)와 거리 및 노면의 색상을 그레이 값, 즉 반사량으로 출력하는 레이저 스캐너(204)로 구성될 수 있다. 즉, 센서부(200)의 카메라(202)는 전방의 영상 정보를 인식부(220)에 제공하며, 레이저 스캐너(204)는 거리 정보와 반사량 정보를 인식부(220)에 제공할 수 있다.
본 발명의 실시 예에 따른 카메라(202)는 전방에 대해서 노면을 향해 기울어져 장착될 수 있으며, 노면 표식물의 색깔 및 형상을 추출하기 위한 칼라 영상을 인식부(220)에 제공할 수 있다.
레이저 스캐너(204)는 전방 노면을 주시할 수 있도록 기울어져 장착되며, 차량과 표식물 사이의 상대적인 위치 및 높이에 대한 정보를 획득할 수 있는 거리 정보와 각 위치에 해당되는 색상 및 명도 값을 알 수 있는 반사량 정보를 획득한 후 이를 인식부(220)에 제공할 수 있다.
인식부(220)는 카메라(202)로부터 제공받은 영상 정보의 좌표계를 변환하여 변환된 좌표계가 적용된 이미지를 생성할 수 있는데, 이를 위하여 카메라(202)의 캘리브레이션 과정을 통해서 얻어진 내/외 카메라 파라미터를 기반으로 영상 정보를 투영 좌표계로부터 버드 뷰(Bird-View) 이미지로 변환을 수행하는 역원근 변환부(222), 변환된 버드 뷰 이미지의 노이즈 제거 및 영상 개선을 위한 노이즈 필터부(224)를 구비할 수 있다.
또한, 인식부(220)는 레이저 스캐너(204)로부터 제공받은 반사량 정보에 대한 정규화를 수행할 수 있는데, 이를 위하여 레이저 스캐너(204)로 제공받은 노면의 반사량에 대한 히스토그램을 생성하는 히스토그램 처리부(226), 히스토그램 기반으로 반사량의 값을 정규화 과정을 수행하는 정규화 처리부(228)를 포함할 수 있다.
인식부(220)는 레이저 스캐너(204)로부터 제공받은 거리 정보를 기반으로 관심 영역(ROI : Region Of Interest)을 설정할 수 있는데, 이를 위하여 레이저 스캐너(204)로부터 제공받은 거리 정보를 활용하여 차량 전방에 대한 3D 고도 맵을 생성하는 맵 생성부(230), 고도 맵을 기반으로 노면과 노면이 아닌 영역을 구분하여 실제 표식물 인식을 위한 관심 영역을 결정하는 ROI결정부(232)를 포함할 수 있다.
또한, 인식부(220)는 정규화된 반사량 정보, 노이즈가 제거된 영상 정보(이미지) 및 관심 영역을 노면 표식물 인식 결정부(234)에 제공할 수 있다.
노면 표식물 인식 결정부(234)는 이미지, 정규화된 반사량 정보 및 관심 영역을 기반으로 표식물을 결정할 수 있는데, 즉 이미지에서 ROI 결정부(232)에서 결정된 관심 영역에 해당되는 부분에 노이즈 제거 과정 등을 수행한 후 수행된 이미지 부분을 기반으로 에지 추출 및 라인 피팅 과정을 수행할 수 있으며, 영상 내의 반사량 값을 기반으로 표식과 노면을 구분한 후 확률론적인 방법을 통해 최종적인 노면과 표식물의 형태 및 위치를 결정할 수 있다. 이렇게 결정된 노면과 표식물의 형태 및 위치에 대한 정보를 출력부(240)에 제공할 수 있다.
출력부(240)는 노면 표식물 인식 결정부(234)에서 결정된 노면 표식물의 존재 유무 및 상대적인 위치들을 운전자가 쉽게 인지할 수 있도록 정보를 제공하는 수단으로써, 차선의 경우 전방 임의의 거리 기준으로 양쪽 차선과 차량까지의 거리, 색깔, 형태, 기울기, 존재 유무 등에 대한 정보를 제공하며, 정지선/과속 방지턱/횡단보도 표식물들의 경우 차량 전방의 존재 유무 및 차량의 상대적인 위치를 제공할 수 있다.
상술한 바와 같은 구성을 갖는 노면 표식물 인식 시스템이 노면 상의 표식물을 인식한 결과를 표시해주는 과정에 대해 도 3을 참조하여 설명한다.
도 3은 본 발명의 실시 예에 따른 노면 표식물 인식 시스템이 표식물을 인식하는 과정을 도시한 흐름도이다.
도 3에 도시된 바와 같이, 인식부(220)는 차량의 전방 노면에 대한 센서 데이터, 즉 영상, 거리 및 반사량 정보 등을 센서부(200)로부터 수신할 수 있다(S300).
그런 다음, 인식부(220)는 센서부(200)의 카메라(202) 투영된 영상 좌표계 및 레이저 스캐너(204)의 설치 위치 등을 고려하여 차량의 전방에 단일 좌표계로 일치시키기 위한 각 좌표계를 변환하는 과정을 수행한다(S302). 즉, 카메라(202)의 캘리브레이션을 과정을 통해 얻어진 내/외 카메라 파라미터를 기반으로 영상 정보의 투영 좌표계를 이용하여 카메라(202)로부터 제공받은 영상 정보를 버드 뷰 이미지로 변환할 수 있다.
또한, 인식부(220)는 차량의 전방에 노면 영역과 노면이 아닌 임의의 높이를 가지는 영역을 표시하는 3D 고도 맵을 생성하고, 3D 고도 맵을 기반으로 노면 표식물이 존재할 수 있는 관심 영역(ROI)을 결정한다(S304).
이후, 인식부(220)는 버드 뷰 형태의 영상 정보에 대해서 노이즈 제거 및 영상 개선을 위한 필터링을 수행하며(S306), 관심 영역에 해당되는 영상 부분에서 에지를 추출하고, 추출된 에지를 기반으로 호프만 변환 방법과 같은 파인 피팅 방법을 통해 표식물의 방향 및 크기 등을 고려한 후보군을 선정한다(S308).
그런 다음, 인식부(220)는 선정된 후보군 중에서 반사량의 값을 기반으로 확률론적인 방법을 통해 최종적인 표식물을 추출하며(S310), 추출한 표식물을 출력부(240)를 통해 디스플레이해준다(S312).
본 발명의 실시 예에 의하면, 카메라의 영상 정보와 레이저 스캐너의 거리 정보 및 반사량 정보를 이용하여 노면 표식물(차선, 정지선, 횡단보도, 과속방지턱)을 인식하고, 인식된 결과로 노면 표식물 존재 유무 및 위치에 대한 정보를 추출함으로써, 조명 및 날씨 변화, 그림자 등과 같은 환경 변화에 대해서 영향을 많이 받지 않으면서 표식물에 대한 높은 인식률 및 신뢰성을 제공할 수 있다.
본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
200 : 센서부 202 : 카메라
204 : 레이저 스캐너 220 : 인식부
222 : 역 원근 변환부 224 : 노이즈 필터부
226 : 히스토그램 처리부 228 : 정규화 처리부
230 : 맵 생성부 232 : ROI 결정부
234 : 노면 표식물 인식 결정부 240 : 출력부

Claims (14)

  1. 전방의 영상 정보, 거리 정보 및 반사량 정보를 출력하는 센서부와,
    상기 센서부로부터 제공받은 영상 정보, 거리 정보 및 반사량 정보를 기반으로 상기 전방의 표식물을 인식하는 인식부와,
    상기 인식부에서 인식한 표식물의 정보를 출력하는 출력부를 포함하는
    노면 표식물 인식 시스템.
  2. 제 1 항에 있어서,
    상기 센서부는,
    상기 전방의 촬영을 통해 영상 정보를 생성하는 카메라와,
    상기 거리 정보 및 반사량 정보를 생성하는 레이저 스캐너를 포함하는 것을 특징으로 하는
    노면 표식물 인식 시스템.
  3. 제 2 항에 있어서,
    상기 인식부는,
    상기 카메라로부터 제공받은 영상 정보의 좌표계를 변환하여 상기 전방에 단일 좌표계에 일치시킨 이미지를 생성하는 영상 정보 처리부와,
    상기 반사량 정보를 정규화시키기 위한 반사량 정보 처리부와,
    상기 거리 정보를 활용하여 노면과 노면이 아닌 영역을 구분하여 관심 영역을 결정하는 거리 정보 처리부와,
    상기 이미지와 상기 정규화된 반사량 정보 및 관심 영역을 기반으로 상기 표식물을 결정하는 노면 표식물 인식 결정부를 포함하는 것을 특징으로 하는
    노면 표식물 인식 시스템.
  4. 제 3 항에 있어서,
    상기 영상 정보 처리부는,
    상기 카메라의 캘리브레이션 과정을 통해 획득한 카메라 파라미터를 토대로 좌표계의 변환과정을 수행하여 버드 뷰 이미지를 생성하는 역 원근 변환부와,
    상기 버드 뷰 이미지에 대한 노이즈 제거를 실시하여 상기 이미지를 생성하는 노이즈 필터부를 포함하는 것을 특징으로 하는
    노면 표식물 인식 시스템.
  5. 제 3 항에 있어서,
    상기 반사량 정보 처리부는,
    상기 레이저 스캐너로부터 제공받은 반사량 정보에 대한 히스토그램을 생성하는 히스토그램 처리부와,
    상기 히스토그램을 토대로 상기 반사량 정보에 대한 정규화 과정을 수행하는 정규화 처리부를 포함하는 것을 특징으로 하는
    노면 표식물 인식 시스템.
  6. 제 3 항에 있어서,
    상기 거리 정보 처리부는,
    상기 레이저 스캐너로부터 제공받은 거리 정보를 활용하여 상기 전방에 대한 3D 고도 맵을 생성하는 맵 생성부와,
    상기 3D 고도 맵을 기반으로 노면과 노면이 아닌 영역을 구분하여 상기 표식물의 인식을 위한 관심 영역을 결정하는 ROI 결정부를 포함하는 것을 특징으로 하는
    노면 표식물 인식 시스템.
  7. 제 3 항에 있어서,
    상기 노면 표식물 인식 결정부는,
    상기 이미지에서 상기 관심 영역에 해당되는 부분의 에지를 추출하고, 추출된 에지를 기반으로 라인 피팅을 수행하여 표식물의 방향 및 크기를 고려한 후보군을 선정하며, 상기 반사량 정보를 기반으로 상기 선정된 후보군 중 적어도 하나의 선택을 통해 상기 표식물을 결정하는 것을 특징으로 하는
    노면 표식물 인식 시스템.
  8. 전방의 영상 정보, 거리 정보 및 반사량 정보를 센싱하는 단계와,
    상기 센싱된 영상 정보, 거리 정보 및 반사량 정보를 기반으로 상기 전방의 표식물을 인식하는 단계와,
    상기 인식한 표식물의 정보를 출력하는 출력부를 포함하는
    노면 표식물 인식 방법.
  9. 제 8 항에 있어서,
    상기 센싱하는 단계는,
    카메라를 이용하여 상기 전방의 촬영을 통해 영상 정보를 생성하는 단계와,
    레이저 스캐너를 이용하여 상기 거리 정보 및 반사량 정보를 생성하는 단계를 포함하는 것을 특징으로 하는
    노면 표식물 인식 방법.
  10. 제 9 항에 있어서,
    상기 인식하는 단계는,
    상기 카메라로부터 제공받은 영상 정보의 좌표계를 변환하여 상기 전방에 단일 좌표계에 일치시킨 이미지를 생성하는 단계와,
    상기 반사량 정보를 정규화시키는 단계와,
    상기 거리 정보를 활용하여 노면과 노면이 아닌 영역을 구분하여 관심 영역을 결정하는 단계와,
    상기 이미지와 상기 정규화된 반사량 정보 및 관심 영역을 기반으로 상기 표식물을 결정하는 단계를 포함하는 것을 특징으로 하는
    노면 표식물 인식 방법.
  11. 제 10 항에 있어서,
    상기 이미지를 생성하는 단계는,
    상기 카메라의 캘리브레이션 과정을 통해 획득한 카메라 파라미터를 토대로 좌표계의 변환과정을 수행하여 버드 뷰 이미지를 생성하는 단계와,
    상기 버드 뷰 이미지의 노이즈 제거하여 상기 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는
    노면 표식물 인식 방법.
  12. 제 10 항에 있어서,
    상기 정규화시키는 단계는,
    상기 레이저 스캐너로부터 제공받은 반사량 정보에 대한 히스토그램을 생성하는 단계와,
    상기 히스토그램을 토대로 상기 반사량 정보에 대한 정규화 과정을 수행하는 단계를 포함하는 것을 특징으로 하는
    노면 표식물 인식 방법.
  13. 제 10 항에 있어서,
    상기 관심 영역을 결정하는 단계는,
    상기 레이저 스캐너로부터 제공받은 거리 정보를 활용하여 상기 전방에 대한 3D 고도 맵을 생성하는 단계와,
    상기 3D 고도 맵을 기반으로 노면과 노면이 아닌 영역을 구분하여 상기 표식물의 인식을 위한 관심 영역을 결정하는 단계를 포함하는 것을 특징으로 하는
    노면 표식물 인식 방법.
  14. 제 10 항에 있어서,
    상기 표식물을 결정하는 단계는,
    상기 이미지에서 상기 관심 영역에 해당되는 부분의 에지를 추출하는 단계와,
    상기 추출된 에지를 기반으로 라인 피팅을 수행하여 표식물의 방향 및 크기를 고려한 후보군을 선정하는 단계와,
    상기 반사량 정보를 기반으로 상기 선정된 후보군 중 적어도 하나 이상의 선택을 통해 상기 표식물을 결정하는 단계를 포함하는 것을 특징으로 하는
    노면 표식물 인식 방법.


KR1020110116970A 2011-11-10 2011-11-10 노면 표식물 인식 시스템 및 방법 Withdrawn KR20130051681A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110116970A KR20130051681A (ko) 2011-11-10 2011-11-10 노면 표식물 인식 시스템 및 방법
US13/673,108 US20130120575A1 (en) 2011-11-10 2012-11-09 Apparatus and method for recognizing road markers

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110116970A KR20130051681A (ko) 2011-11-10 2011-11-10 노면 표식물 인식 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20130051681A true KR20130051681A (ko) 2013-05-21

Family

ID=48280267

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110116970A Withdrawn KR20130051681A (ko) 2011-11-10 2011-11-10 노면 표식물 인식 시스템 및 방법

Country Status (2)

Country Link
US (1) US20130120575A1 (ko)
KR (1) KR20130051681A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016036126A1 (ko) * 2014-09-03 2016-03-10 신동윤 원거리 식별 이미지 생성 장치 및 그 동작 방법
KR101868898B1 (ko) * 2017-02-06 2018-06-20 국방과학연구소 자율주행을 위한 차선 인식 방법 및 장치
CN111079541A (zh) * 2019-11-19 2020-04-28 重庆大学 一种基于单目视觉的道路停止线检测方法

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130202155A1 (en) * 2012-02-03 2013-08-08 Gopal Gudhur Karanam Low-cost lane marker detection
JP6540009B2 (ja) * 2013-12-27 2019-07-10 株式会社リコー 画像処理装置、画像処理方法、プログラム、画像処理システム
KR102287958B1 (ko) * 2015-02-06 2021-08-09 한국전자통신연구원 차량 창유리 가시광선 투과율 원격 검사 시스템 및 방법
KR101910453B1 (ko) 2016-03-03 2018-10-24 한국전자통신연구원 정보표시를 위한 핵심선 추출 장치 및 방법
US10846541B2 (en) * 2017-01-04 2020-11-24 Qualcomm Incorporated Systems and methods for classifying road features
CN109117866B (zh) * 2018-07-17 2021-10-29 芯启源（南京）半导体科技有限公司 车道识别算法评估方法、计算机设备及存储介质
CN109101924B (zh) * 2018-08-14 2021-05-04 武汉大学 一种基于机器学习的路面交通标志识别方法
US10769813B2 (en) 2018-08-28 2020-09-08 Bendix Commercial Vehicle Systems, Llc Apparatus and method for calibrating surround-view camera systems
US10976747B2 (en) * 2018-10-29 2021-04-13 Here Global B.V. Method and apparatus for generating a representation of an environment
US10930155B2 (en) * 2018-12-03 2021-02-23 Continental Automotive Systems, Inc. Infrastructure sensor detection and optimization method
WO2020121838A1 (ja) * 2018-12-12 2020-06-18 日立オートモティブシステムズ株式会社 外界認識装置
CN111771137A (zh) * 2019-01-30 2020-10-13 深圳市大疆创新科技有限公司 雷达外参标定方法、装置及存储介质
CN110031829B (zh) * 2019-04-18 2021-07-09 北京联合大学 一种基于单目视觉的目标精准测距方法
CN112907676B (zh) * 2019-11-19 2022-05-10 浙江商汤科技开发有限公司 传感器的标定方法、装置、系统、车辆、设备及存储介质
JP7507587B2 (ja) * 2020-03-30 2024-06-28 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
CN116385529B (zh) * 2023-04-14 2023-12-26 小米汽车科技有限公司 确定减速带位置的方法、装置、存储介质以及车辆

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4248558B2 (ja) * 2006-03-24 2009-04-02 トヨタ自動車株式会社 道路区画線検出装置
JP4869858B2 (ja) * 2006-10-05 2012-02-08 クラリオン株式会社 車両の走行制御システム
US8319666B2 (en) * 2009-02-20 2012-11-27 Appareo Systems, Llc Optical image monitoring system and method for vehicles
CN102918833B (zh) * 2010-06-15 2015-07-08 三菱电机株式会社 车辆周边监视装置
US9077958B2 (en) * 2010-08-30 2015-07-07 Honda Motor Co., Ltd. Road departure warning system
KR101030763B1 (ko) * 2010-10-01 2011-04-26 위재영 이미지 획득 유닛, 방법 및 연관된 제어 유닛

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016036126A1 (ko) * 2014-09-03 2016-03-10 신동윤 원거리 식별 이미지 생성 장치 및 그 동작 방법
US10373289B2 (en) 2014-09-03 2019-08-06 Dong-yun Shin Long-range discernible image generating apparatus and method of operating same
KR101868898B1 (ko) * 2017-02-06 2018-06-20 국방과학연구소 자율주행을 위한 차선 인식 방법 및 장치
CN111079541A (zh) * 2019-11-19 2020-04-28 重庆大学 一种基于单目视觉的道路停止线检测方法

Also Published As

Publication number Publication date
US20130120575A1 (en) 2013-05-16

Similar Documents

Publication Publication Date Title
KR20130051681A (ko) 노면 표식물 인식 시스템 및 방법
JP4263737B2 (ja) 歩行者検知装置
US8305445B2 (en) Lane marker recognizing apparatus
KR102371587B1 (ko) 횡단보도 인식 결과를 이용한 안내 정보 제공 장치 및 방법
EP2282295B1 (en) Object recognizing device and object recognizing method
KR101392850B1 (ko) 영상인식 기반의 차선 이탈 감지 방법 및 시스템
KR101281260B1 (ko) 차량 인식 방법 및 장치
JP5223675B2 (ja) 車両検知装置，車両検知方法並びに車両検知プログラム
JP5220787B2 (ja) 車載白線認識装置
JP5894201B2 (ja) 境界線認識装置
CN101630412A (zh) 基于相机的车道标志检测
CN102303563B (zh) 前车碰撞预警系统及方法
CN107886034B (zh) 行车提醒方法、装置及车辆
CN106679633A (zh) 一种车载测距系统及方法
CN109635737A (zh) 基于道路标记线视觉识别辅助车辆导航定位方法
CN111968132A (zh) 一种基于全景视觉的无线充电对位的相对位姿解算方法
JP2005316607A (ja) 画像処理装置及び画像処理方法
CN102099842B (zh) 车辆周边监视装置
JP2013140555A (ja) 車用色検出器
KR20140024681A (ko) 차선 인식 장치 및 그 방법
JP5316337B2 (ja) 画像認識システム、方法、及び、プログラム
JP5166933B2 (ja) 車両認識装置、及び車両
JP4813304B2 (ja) 車両周辺監視装置
JP5204144B2 (ja) 車載白線認識装置
CN101978392A (zh) 车辆用图像处理装置和图像处理程序

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20111110

PG1501 Laying open of application
PC1203 Withdrawal of no request for examination
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid