KR101281260B1

KR101281260B1 - 차량 인식 방법 및 장치

Info

Publication number: KR101281260B1
Application number: KR1020090030030A
Authority: KR
Inventors: 조영하
Original assignee: 주식회사 만도
Priority date: 2009-04-07
Filing date: 2009-04-07
Publication date: 2013-07-05
Anticipated expiration: 2029-04-07
Also published as: KR20100111543A

Abstract

본 발명은 차량 인식 방법 및 장치에 관한 것이다.

본 발명은 라이다(Lidar) 센서를 통해 전방에 대한 라이다 데이터를 획득하는 라이다 데이터 획득부; 카메라 센서를 통해 상기 전방에 대한 영상을 획득하는 영상 획득부; 및 상기 획득된 라이다 데이터로부터 얻어진 거리정보 및 상기 획득된 영상에 근거하여, 상기 전방에 있는 전방 차량을 인식하는 전방 차량 인식부를 포함하는 것을 특징으로 하는 차량 인식 장치를 제공한다.

본 발명에 의하면, 라이다 센서와 카메라 센서를 병합하여 전방 차량을 보다 정확하게 인식하고, 이를 통해 전방 충돌 방지를 효과적으로 제공하는 효과가 있다.

차량 인식, 라이다 센서, 카메라 센서

Description

차량 인식 방법 및 장치{Method and Apparatus for Recognizing Vehicle}

본 발명은 차량 인식 방법 및 장치에 관한 것이다. 더욱 상세하게는, 정확한 거리정보를 얻을 수 있는 라이다 센서와 높은 물체 판별 정확성을 보이는 카메라 센서를 병합하여 전방 차량을 인식함으로써, 차량 인식의 정확성을 높여주는 차량 인식 방법 및 장치에 관한 것이다.

요즈음, 차량이 고도로 지능화되어 차량에 탑재된 각종 센서를 이용하여 여러가지 지능화 기능을 수행하는데, 그 중에서 전방 차량을 감지하여 충돌을 미연에 방지하는 전방 충돌 방지 시스템(FCW: Foward Collision Warning)이 있다.

이러한 전방 충돌 방지 시스템에서 전방 충돌을 효과적으로 방지하기 위해서는, 라이다(Lidar) 센서 또는 카메라 센서와 같은 특정 센서를 통해, 전방 차량 간의 거리정보를 정확하게 알아내야만 하고, 전방에 있는 전방 차량과 비 차량 간의 정확한 물체 판별력을 가져야만 한다.

종래의 전방 충돌 방지 시스템에서 이용하는 라이다 센서는 물체 판별 정확성은 다소 떨어지나 정확한 거리정보를 얻을 수 있는 장점이 있고, 이에 비해 카메라 센서는 획득되는 영상이 단안 영상이기에 거리정보의 정확성은 떨어지나 높은 물체 판별 정확성을 보이는 장점이 있다.

종래의 전방 충돌 방지 시스템은 라이다(Lidar) 센서만을 이용하여 전방 차량을 인식하거나, 카메라 센서만을 이용하여 전방 차량을 인식하기 때문에, 물체 판별 정확성 또는 거리정보의 정확성이 떨어져 제대로 된 차량 인식이 불가능한 문제점을 가진다.

전술한 문제점을 해결하기 위한 본 발명의 목적은, 정확한 거리정보를 얻을 수 있는 라이다 센서와 높은 물체 판별 정확성을 보이는 카메라 센서를 병합하여 전방 차량을 인식함으로써, 차량 인식의 정확성을 높이는 데 있다.

또한, 본 발명의 다른 목적은, 라이다 센서와 카메라 센서를 병합하여 전방 차량을 보다 정확하게 인식하고, 이를 통해 전방 충돌 방지를 효과적으로 제공하는 데 있다.

전술한 목적을 달성하기 위한 본 발명은, 라이다(Lidar) 센서를 통해 전방에 대한 라이다 데이터를 획득하는 라이다 데이터 획득부; 카메라 센서를 통해 상기 전방에 대한 영상을 획득하는 영상 획득부; 및 상기 획득된 라이다 데이터로부터 얻어진 거리정보 및 상기 획득된 영상에 근거하여, 상기 전방에 있는 전방 차량을 인식하는 전방 차량 인식부를 포함하는 것을 특징으로 하는 차량 인식 장치를 제공한다.

상기 전방 차량 인식부는, 상기 라이다 데이터를 상기 영상에 매핑하고, 상기 라이다 데이터가 매핑된 영상을 토대로 상기 거리정보에 근거하여 관심영 역(ROI: Region of Interest)을 설정하는 라이다 데이터 매핑부; 미리 정의된 에지 추출 연산자를 토대로 상기 설정된 관심영역에서의 수직 에지(Edge)를 추출하는 수직 에지 추출부; 상기 추출된 수직 에지의 프로파일(Profile)을 구하고, 상기 구해진 프로파일을 토대로 실제 차량의 실제 차량 수직 에지 후보를 추출하는 실제 차량 수직 에지 후보 추출부; 상기 추출된 실제 차량 수직 에지 후보를 토대로, 미리 정의된 차량 후보 영역 검출 조건에 따라, 상기 실제 차량이 존재할 차량 후보 영역을 검출하는 차량 후보 영역 검출부; 상기 검출된 차량 후보 영역에 대한 대칭성 검사를 통해, 최종 차량 후보군을 추출하는 최종 차량 후보군 추출부; 및 상기 추출된 최총 차량 후보군에 포함된 최종 차량 후보가 상기 실제 차량인지를 판별하고, 상기 실제 차량으로 판별된 최종 차량 후보를 상기 전방 차량으로 결정하는 차량 판별부를 포함하는 것을 특징으로 한다.

또한, 본 발명은, 라이다(Lidar) 센서를 통해 전방에 대한 라이다 데이터를 획득하는 라이다 데이터 획득 단계; 카메라 센서를 통해 상기 전방에 대한 영상을 획득하는 영상 획득 단계; 및 상기 획득된 라이다 데이터로부터 얻어진 거리정보 및 상기 획득된 영상에 근거하여, 상기 전방에 있는 전방 차량을 인식하는 전방 차량 인식 단계를 포함하는 것을 특징으로 하는 차량 인식 방법을 제공한다.

이상에서 설명한 바와 같이 본 발명에 의하면, 정확한 거리정보를 얻을 수 있는 라이다 센서와 높은 물체 판별 정확성을 보이는 카메라 센서를 병합하여 전방 차량을 인식함으로써, 차량 인식의 정확성을 높이는 효과가 있다.

또한, 본 발명에 의하면, 라이다 센서와 카메라 센서를 병합하여 전방 차량 을 보다 정확하게 인식하고, 이를 통해 전방 충돌 방지를 효과적으로 제공하는 효과가 있다.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.

도 1은 본 발명의 일 실시예에 따른 차량 인식 장치(100)에 대한 블록 구성도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 차량 인식 장치(100)는, 라이다(Lidar) 센서(11)를 통해 전방에 대한 라이다 데이터를 획득하는 라이다 데이터 획득부(110); 카메라 센서(12)를 통해 전방에 대한 영상을 획득하는 영상 획득부(120); 및 획득된 라이다 데이터로부터 얻어진 거리정보 및 획득된 영상에 근거하여, 전방에 있는 전방 차량을 인식하는 전방 차량 인식부(130) 등을 포함한다.

위에서 언급한 라이다 센서(11) 및 카메라 센서(12)는 해당 차량의 전면부(예: 전면 유리 근처 등)에 장착될 수 있으며, 각각은 고유의 FOV(Field Of View) 또는 측정가능거리 등이 설정되거나 정의되어 있을 수 있다.

도 1에 도시된 본 발명의 일 실시예에 따른 차량 인식 장치(100)는, 전방 차량 인식시 필요한 거리정보 및 물체 판별을 위해, 물체 판별 정확성은 다소 떨어지나 정확한 거리정보를 얻을 수 있는 라이다(Lidar) 센서(11)와, 획득되는 영상이 단안 영상이기에 거리정보의 정확성은 떨어지나 높은 물체 판별 정확성을 보이는 카메라 센서(12)를 동시에 이용함으로써, 전방 차량에 대한 높은 차량 인식을 가능하게 한다.

도 1에 도시된 본 발명의 일 실시예에 따른 차량 인식 장치(100)는, 전방 차량을 인식하여 인식된 전방 차량에 대한 충돌(Collision)을 미연에 방지하는 전방 충돌 방지(FCW: Foward Collision Warning) 시스템에 포함되어, 전방 충돌 방지 효과를 높일 수 있다.

도 1을 참조하여 전술한 본 발명의 일 실시예에 따른 차량 인식 장치(100)에 포함된 전방 차량 인식부(130)는 도 2를 참조하여 더욱 상세하게 설명한다.

도 2는 본 발명의 일 실시예에 따른 차량 인식 장치(100)에 포함된 전방 차량 인식부(130)에 대한 블록 구성도이다.

도 2를 참조하면, 본 발명의 일 실시예에 따른 차량 인식 장치(100)에 포함된 전방 차량 인식부(130)는, 라이다 데이터 매핑부(210), 수직 에지 추출부(220), 실제 차량 수직 에지 후보 추출부(230), 차량 후보 영역 검출부(240), 최종 차량 후보군 검출부(250) 및 차량 판별부(260) 등을 포함한다.

라이다 데이터 매핑부(210)는, 라이다 센서(11)를 통해 획득된 라이다 데이터를 카메라 센서(12)를 통해 획득된 영상에 매핑(Mapping)하고, 라이다 데이터가 매핑된 영상을 토대로 라이다 데이터에 포함된 거리정보에 근거하여 관심영역(ROI: Region of Interest)을 설정한다. 수직 에지 추출부(220)는, 미리 정의된 에지 추출 연산자를 토대로 앞에서 설정된 관심영역에서의 수직 에지(Edge)를 추출한다. 실제 차량 수직 에지 후보 추출부(230)는, 추출된 수직 에지의 프로파일(Profile)을 구하고, 이렇게 구해진 프로파일을 토대로 실제 차량의 실제 차량 수직 에지 후보를 추출한다. 차량 후보 영역 검출부(240)는, 추출된 실제 차량 수직 에지 후보를 토대로, 미리 정의된 차량 후보 영역 검출 조건에 따라, 실제 차량이 존재할 차량 후보 영역을 검출한다. 최종 차량 후보군 검출부(250)는 검출된 차량 후보 영역에 대한 대칭성 검사를 통해, 최종 차량 후보군을 추출한다. 차량 판별부(260)는, 추출된 최총 차량 후보군에 포함된 최종 차량 후보가 실제 차량인지를 판별하고, 실제 차량으로 판별된 최종 차량 후보를 전방 차량으로 결정한다.

전술한 라이다 데이터 매핑부(210)는, 라이다 센서(110)를 통해 획득된 라이다 데이터를 미리 정의된 매트릭스(Matrix)를 통해 뷰(View) 데이터로 변환하고 변환된 뷰 데이터를 영상 좌표로 다시 역변환함으로써, 라이다 데이터를 카레라 센 서(12)를 통해 획득된 영상에 매핑한다. 라이다 데이터 매핑부(210)를 통해, 라이다 데이터가 매핑된 영상은 도 3에 예시되어 있다.

위에서 언급한 미리 정의된 매트릭스(H)는, 아래 예시된 식을 참조하면, 카메라 센서(12)에 대하여, 지면에 대한 카메라 센서(12)의 장착 높이(H _c ), 이미지 플레인(Image Plane)의 피치각(Pitch Angle)(φ), 이미지 플레인(Image Plane)의 요각(Yaw Angle)(θ) 및 렌즈의 초점거리(f) 등에서 하나 이상의 카메라 센서 설정 정보를 포함한다.

전술한 라이다 데이터 매핑부(210)는, 전술한 방식에 따라 라이다 데이터가 매핑된 영상을 토대로 라이다 데이터에 포함된 거리정보에 근거하여 차량 인식을 위해 관심을 갖게 되는 관심영역(ROI: Region of Interest)을 도 5에서와 같이 설정하는데, 이때 설정된 관심영역은, 라이다 센서(11)와 전방 차량 간의 거리에 따른 측정된 차량 폭(차폭)에 대한 '차폭 및 거리 간의 관계 특성'으로 인해, 종래 차량 인식 기술에 따른 관심영역에 비해 상당히 줄어들게 된다. 그로 인해, 본 발명에서는 관심영역 설정 및 그와 관련된 기능을 수행하기 위한 연산량이 상당히 줄어든다.

본 발명에서 설정된 관심영역을 줄어들게 하는 요인이 되는, 라이다 센 서(11)와 전방 차량 간의 거리에 따른 측정된 차량 폭(차폭)에 대한 '차폭 및 거리 간의 관계 특성'은 도 4의 그래프를 통해 확인해볼 수 있다. 도 4를 참조하면, 라이다 센서(11)와 전방 차량 간의 거리(X축)가 멀어짐에 따라 측정된 차폭도 증가하게 되는데, 대략 10m 이하의 근거리에서는 1.8m로 가정한 실제 차폭보다 작은 값으로 차폭이 측정되고, 대략 10m가 넘는 원거리에서는 .8m로 가정한 실제 차폭보다 큰 값으로 차폭이 측정되는 '차폭 및 거리 간의 관계 특성'을 가지게 된다.

전술한 방식에 따라, 라이다 데이터 매핑부(210)에서는, 차량 인식을 위한 영역을 관심영역으로 줄이게 되며, 전술한 수직 에지 추출부(220)는 이렇게 줄여진 영역인 관심영역에서 수직 에지(Edge)를 추출한다. 여기서, 에지는, 물체의 외곽을 나타낸 선, 영상 중 물체와 물체의 경계, 또는 물체와 배경의 경계 등을 의미할 수 있다.

수직 에지를 추출하기 위해, 수직 에지 추출부(220)는, 미리 정의된 에지 추출 연산자를 토대로 설정된 관심영역에서의 수직 에지(Edge)를 추출할 수 있다. 일 예로서, 수직 에지 추출부(220)는 미리 정의된 에지 추출 연산자로서 아래와 같은 '소벨(Sobel) 연산자(G)'를 이용할 수 있으며, 그 추출 결과인 수직 에지에 대한 영상은 도 6에서 확인할 수 있다.

위에서는, 수직 에지 추출부(220)는, 수직 에지 추출을 위한 에지 추출 연산자로서, 소벨(Sobel) 연산자 이외에도, 로버트(Roberts) 연산자, 프리위트(Prewitt) 연산자 및 프라이-첸(Frei-Chen) 연산자 등을 이용할 수도 있다.

전술한 실제 차량 수직 에지 후보 추출부(230)는, 열(Column)에 대한 수직 에지의 행의 합(Row Sum of Vertical Edge)에 대한 수직 에지의 프로파일을 나타내는 도 7의 그래프와 같이, 수직 에지 추출부(220)에서 추출된 수직 에지의 프로파일(Profile)을 구하고, 이렇게 구해진 프로파일을 토대로 실제 차량의 실제 차량 수직 에지 후보를 추출하게 되는데, 이때, 일 예로서, 구해진 프로파일을 이루는 곡선을 구하고, '사프니스 체크(Sharpness Check)'를 이용하여 곡선에서 실제 차량 수직 에지 후보를 추출할 수 있다. 더 상세하게는, 구해진 곡선에서 피크(Peak)가 있는 부분에 대하여 표준편차를 계산하고, 이렇게 계산된 표준편차가 미리 정의된 임계값(예: 10)을 초과한 부분을 실제 차량에 대한 실제 차량 수직 에지 후보로서 추출할 수 있다. 이렇게 추출된 실제 차량 수직 에지 후보를 관심영역의 영상에 나타낸 것을 도 8에 예시적으로 도시한다. 도 8를 참조하면, 실제 차량 수직 에지 후보(길게 표시된 수직선으로 표시됨)가 영상의 가운데 있는 실제 차량 이외에도 다른 물체나 부분에 표시된 것을 확인할 수 있다. 따라서, 차량 후보 영역 검출부(240)는 추출된 실제 차량 수직 에지 후보들 중에서 실제로 존재할 것 같은 수직 에지 후보를 검출하여 그를 통해 차량 후보 영역을 검출한다.

다시 말해, 전술한 차량 후보 영역 검출부(240)는, 추출된 실제 차량 수직 에지 후보를 토대로, 미리 정의된 차량 후보 영역 검출 조건에 따라, 실제 차량이 존재할 차량 후보 영역을 검출한다.

이와 같이, 차량 후보 영역 검출부(240)에 의해 수행된 차량 후보 영역 검출 방식을 더 상세하게 설명하면, 차량 후보 영역 검출부(240)는, 추출된 실제 차량 수직 에지 후보를 2개씩 묶어, 한 쌍(Pair)으로 묶인 2개의 실제 차량 수직 에지 후보를 하나의 실제 차량 수직 에지 후보 쌍으로 하여, 실제 차량 수직 에지 후보 쌍을 하나 이상 구하고, 이렇게 구해진 하나 이상의 실제 차량 수직 에지 후보 쌍 각각에 대하여 예측 차폭을 구하며, 구해진 예측 차폭 중에서 '미리 정의된 차량 후보 영역 검출 조건'을 만족하는 예측 차폭을 갖는 실제 차량 수직 에지 후보 쌍을 추출하고, 추출된 실제 차량 수직 에지 후보 쌍이 이루는 영역을 실제 차량이 존재할 차량 후보 영역으로 검출한다. 도 9에서는, 검출된 차량 후보 영역을 이루는 실제 차량 수직 에지 후보 쌍을 나타낸다.

위에서 언급한 '미리 정의된 차량 후보 영역 검출 조건'은, 일 예로서, 구해진 예측 차폭이 미리 정의된 기준 차폭의 절반값을 초과하고 기준 차폭의 2배 값보다 작은 조건일 수 있다.

또한, 차량 후보 영역 검출부(240)는, 구해진 하나 이상의 실제 차량 수직 에지 후보 쌍 각각에 대하여 예측 차폭을 구하기 위한 방법으로서, 라이다 데이터에 포함된 거리 정보를 영상에 투영하여, 구해진 하나 이상의 실제 차량 수직 에지 후보 쌍을 이루는 2개의 실제 차량 수직 후보 간의 픽셀 거리 정보를 구함으로써, 구해진 하나 이상의 실제 차량 수직 에지 후보 쌍 각각에 대하여, 예측 차폭을 구 할 수 있다.

이후, 전술한 최종 차량 후보군 추출부(250)는, 차량 후보 영역 검출부(240)에서 검출한 차량 후보 영역을 토대로 하나 이상의 최종 차량 후보를 포함하는 최종 차량 후보군을 추출한다. 이를 위해, 최종 차량 후보군 추출부(250)는, 검출된 차량 후보 영역에 대하여, 영상 내의 대칭축을 기준으로 좌우 밝기 정보의 차이를 비교하여, 그 차이의 합이 미리 정의된 기준 값보다 작은 경우를 최종 차량 후보로 결정하고, 이렇게 결정된 최종 차량 후보를 최종 차량 후보군에 포함시키는 '대칭성 검사'를 수행함으로써, 최종 차량 후보군을 추출한다.

위에서 언급한 '대칭성 검사'는, 영상 내의 대칭축을 기준으로 좌우 밝기 정보의 차이를 비교하여, 그 차이의 합을 아래의 수학식 1을 이용하여 ISE(Intensity Symmetry Error)를 계산하여 계산된 값을 미리 정의된 기준 값과 비교하여 비교 결과를 토대로 최종 차량 후보군을 추출하는 검사이다.

상기 수학식 1에서, w는 검출된 차량 후보 영역에 대한 폭(즉, 차량 후보 영상의 폭)이고, I는 각 픽셀의 밝기 값이다. 상기 수학식 1을 통해 계산된 ISE 값을 차량과 차량이 아닌 물체(비 차량)에 대하여 각각 나타내면 도 10과 같다.

전술한 차량 판별부(260)는, 앞서 최종 차량 후보군 추출부(250)를 통해 추출된 최종 차량 후보군에 포함된 최종 차량 후보가 실제 차량인지 아닌지를 판별하여 차량 인식을 마무리하게 된다. 그 예로서, 차량 판별부(260)는 '서포트 벡터 머신(SVM: Support Vector Machine)'의 학습 데이터에 근거하여, 추출된 최총 차량 후보군에 포함된 최종 차량 후보가 실제 차량인지 판별함으로써, 실제 차량으로 판별된 최종 차량 후보를 전방 차량으로 결정하여 차량 인식이 마무리된다. 이렇게 전방 차량으로 결정되어 인식된 차량은 도 11에서 도시하며, 도 3에서의 영상에서 차량 부분만 인식된 것을 확인할 수 있다.

도 12는 이상에서 전술한 본 발명의 일 실시예에 따른 차량 인식 장치(100)가 수행하는 차량 인식 방법에 대한 흐름도로서, 이 차량 인식 방법은, 라이다(Lidar) 센서(11)를 통해 전방에 대한 라이다 데이터를 획득하는 라이다 데이터 획득 단계(S1200); 카메라 센서(12)를 통해 전방에 대한 영상을 획득하는 영상 획득 단계(S1202) 및 획득된 라이다 데이터로부터 얻어진 거리정보 및 획득된 영상에 근거하여, 전방에 있는 전방 차량을 인식하는 전방 차량 인식 단계(S1204)를 포함한다.

도 13은 전술한 전방 차량 인식 단계(S1204)에 대한 세부 흐름도를 나타낸 것으로서, 도 13을 참조하면, 전술한 전방 차량 인식 단계(S1204)는, 라이다 데이터를 영상에 매핑하고, 라이다 데이터가 매핑된 영상을 토대로 라이다 데이터에 포함된 거리정보에 근거하여 관심영역(ROI: Region of Interest)을 설정하는 라이다 데이터 매핑 단계(S1300); 미리 정의된 에지 추출 연산자를 토대로 설정된 관심영 역에서의 수직 에지(Edge)를 추출하는 수직 에지 추출 단계(S1302); 추출된 수직 에지의 프로파일(Profile)을 구하고, 구해진 프로파일을 토대로 실제 차량의 실제 차량 수직 에지 후보를 추출하는 실제 차량 수직 에지 후보 추출 단계(S1304); 추출된 실제 차량 수직 에지 후보를 토대로, 미리 정의된 차량 후보 영역 검출 조건에 따라, 실제 차량이 존재할 차량 후보 영역을 검출하는 차량 후보 영역 검출 단계(S1306); 검출된 차량 후보 영역에 대한 대칭성 검사를 통해, 최종 차량 후보군을 추출하는 최종 차량 후보군 추출 단계(S1308); 및 추출된 최총 차량 후보군에 포함된 최종 차량 후보가 실제 차량인지를 판별하고, 실제 차량으로 판별된 최종 차량 후보를 전방 차량으로 결정하는 차량 판별 단계(S1310) 등을 포함한다.

이상에서 설명한 바와 같이 본 발명에 의하면, 정확한 거리정보를 얻을 수 있는 라이다 센서(11)와, 높은 물체 판별 정확성을 보이는 카메라 센서(12)를 병합하여 전방 차량을 인식함으로써, 차량 인식의 정확성을 높이는 효과가 있다.

또한, 본 발명에 의하면, 라이다 센서(11)와 카메라 센서(12)를 병합하여 전방 차량을 보다 정확하게 인식하고, 이를 통해 전방 충돌 방지를 효과적으로 제공하는 효과가 있다.

이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들 의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.

또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따 라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

도 1은 본 발명의 일 실시예에 따른 차량 인식 장치에 대한 블록 구성도,

도 2는 본 발명의 일 실시예에 따른 차량 인식 장치에 포함된 전방 차량 인식부에 대한 블록 구성도,

도 3은 라이다 데이터가 매핑된 영상을 예시적으로 나타낸 도면,

도 4는 라이다 센서와 전방 차량 간의 거리에 따른 측정된 차폭에 대한 관계 그래프,

도 5는 라이다 데이터에 포함된 거리정보를 이용하여 줄어든 관심영역을 나타낸 도면,

도 6은 추출된 수직 에지에 대한 영상을 나타낸 도면,

도 7은 수직 에지의 프로파일을 나타낸 도면,

도 8은 추출된 실제 차량 수직 에지 후보를 관심영역의 영상에 나타낸 도면,

도 9는 검출된 차량 후보 영역을 이루는 실제 차량 수직 에지 후보 쌍을 나타낸 도면,

도 10은 대칭성 검사시, 차량과 차량이 아닌 물체에 대하여 각각 계산된 ISE를 나타낸 그래프,

도 11은 인식된 차량을 나타낸 도면,

도 12는 본 발명의 일 실시예에 따른 차량 인식 방법에 대한 흐름도,

도 13은 본 발명의 일 실시예에 따른 차량 인식 방법에 포함된 차량 인식 단계에 대한 세부 흐름도이다.

< 도면의 주요 부분에 대한 부호의 설명 >

11: 라이다 센서

12: 카메라 센서

100: 차량 인식 장치

110: 라이다 데이터 획득부

120: 영상 획득부

130: 전방 차량 인식부

210: 라이다 데이터 매핑부

220: 수직 에지 추출부

230: 실제 차량 수직 에지 후보 추출부

240: 차량 후보 영역 검출부

250: 최종 차량 후보군 추출부

260: 차량 판별부

Claims

차량 인식 장치에 있어서,

라이다(Lidar) 센서를 통해 전방에 대한 라이다 데이터를 획득하는 라이다 데이터 획득부;

카메라 센서를 통해 상기 전방에 대한 영상을 획득하는 영상 획득부; 및

상기 획득된 라이다 데이터로부터 얻어진 거리정보 및 상기 획득된 영상에 근거하여, 상기 전방에 있는 전방 차량을 인식하는 전방 차량 인식부를 포함하되,

상기 전방 차량 인식부는,

상기 라이다 데이터를 상기 영상에 매핑하고, 상기 라이다 데이터로부터 얻어진 거리정보에 근거하여 상기 라이다 데이터가 매핑된 상기 영상에서 상기 전방 차량을 인식하기 위한 관심영역(ROI: Region of Interest)을 설정하고, 상기 설정된 관심영역에서의 수직 에지 추출 결과에 근거하여 상기 전방 차량을 인식하는 것을 특징으로 하는 차량 인식 장치.
제 1항에 있어서,

상기 전방 차량 인식부는,

상기 라이다 데이터를 상기 영상에 매핑하고, 상기 라이다 데이터로부터 얻어진 거리정보에 근거하여, 상기 라이다 데이터가 매핑된 상기 영상에서 상기 관심영역을 설정하는 라이다 데이터 매핑부;

미리 정의된 에지 추출 연산자를 토대로 상기 설정된 관심영역에서의 수직 에지(Edge)를 추출하는 수직 에지 추출부;

상기 추출된 수직 에지의 프로파일(Profile)을 구하고, 상기 구해진 프로파일을 토대로 실제 차량의 실제 차량 수직 에지 후보를 추출하는 실제 차량 수직 에지 후보 추출부;

상기 추출된 실제 차량 수직 에지 후보를 토대로, 미리 정의된 차량 후보 영역 검출 조건에 따라, 상기 실제 차량이 존재할 차량 후보 영역을 검출하는 차량 후보 영역 검출부;

상기 검출된 차량 후보 영역에 대한 대칭성 검사를 통해, 최종 차량 후보군을 추출하는 최종 차량 후보군 추출부; 및

상기 추출된 최총 차량 후보군에 포함된 최종 차량 후보가 상기 실제 차량인지를 판별하고, 상기 실제 차량으로 판별된 최종 차량 후보를 상기 전방 차량으로 결정하는 차량 판별부

를 포함하는 것을 특징으로 하는 차량 인식 장치.
제 2항에 있어서,

상기 라이다 데이터 매핑부는,

상기 라이다 데이터를 미리 정의된 매트릭스를 통해 뷰 데이터로 변환하고 상기 뷰 데이터를 영상 좌표로 역변환함으로써, 상기 라이다 데이터를 상기 영상에 매핑하는 것을 특징으로 하는 차량 인식 장치.
제 3항에 있어서,

상기 미리 정의된 매트릭스는,

상기 카메라 센서에 대하여, 지면에 대한 장착 높이, 이미지 플레인(Image Plane)의 피치각(Pitch Angle), 상기 이미지 플레인(Image Plane)의 요각(Yaw Angle) 및 렌즈의 초점거리 중 하나 이상의 카메라 센서 설정 정보를 포함하는 것을 특징으로 하는 차량 인식 장치.
제 2항에 있어서,

상기 수직 에지 추출부는,

상기 미리 정의된 에지 추출 연산자로서 소벨(Sobel) 연산자를 이용하는 것을 특징으로 하는 차량 인식 장치.
제 2항에 있어서,

상기 실제 차량 수직 에지 후보 추출부는,

상기 구해진 프로파일을 이루는 곡선을 구하고, 사프니스 체크(Sharpness Check)를 이용하여 상기 곡선에서 상기 실제 차량 수직 에지 후보를 추출하는 것을 특징으로 하는 차량 인식 장치.
제 6항에 있어서,

상기 실제 차량 수직 에지 후보 추출부는,

상기 곡선에서 피크(Peak)가 있는 부분에 대하여 표준편차를 계산하고, 상기 계산된 표준편차가 미리 정의된 임계값을 초과한 부분을 상기 실제 차량 수직 에지 후보로서 추출하는 것을 특징으로 하는 차량 인식 장치.
제 2항에 있어서,

상기 차량 후보 영역 검출부는,

상기 추출된 실제 차량 수직 에지 후보를 2개씩 묶어, 상기 묶인 2개의 실제 차량 수직 에지 후보를 하나의 실제 차량 수직 에지 후보 쌍으로 하여, 상기 실제 차량 수직 에지 후보 쌍을 하나 이상 구하고,

상기 구해진 하나 이상의 실제 차량 수직 에지 후보 쌍 각각에 대하여 예측 차폭을 구하며,

상기 구해진 예측 차폭 중에서 상기 미리 정의된 차량 후보 영역 검출 조건을 만족하는 예측 차폭을 갖는 실제 차량 수직 에지 후보 쌍을 추출하고,

상기 추출된 실제 차량 수직 에지 후보 쌍이 이루는 영역을 상기 실제 차량이 존재할 상기 차량 후보 영역으로 검출하는 것을 특징으로 하는 차량 인식 장치.
제 8항에 있어서,

상기 미리 정의된 차량 후보 영역 검출 조건은,

상기 구해진 예측 차폭이 미리 정의된 기준 차폭의 절반값을 초과하고 상기 기준 차폭의 2배 값보다 작은 조건인 것을 특징으로 하는 차량 인식 장치.
제 8항에 있어서,

상기 차량 후보 영역 검출부는,

상기 라이다 데이터에 포함된 거리 정보를 상기 영상에 투영하여, 상기 구해 진 하나 이상의 실제 차량 수직 에지 후보 쌍을 이루는 2개의 실제 차량 수직 후보 간의 픽셀 거리 정보를 구함으로써, 상기 구해진 하나 이상의 실제 차량 수직 에지 후보 쌍 각각에 대하여, 상기 예측 차폭을 구하는 것을 특징으로 차량 인식 장치.
제 2항에 있어서,

상기 최종 차량 후보군 추출부는,

상기 검출된 차량 후보 영역에 대하여, 상기 영상 내의 대칭축을 기준으로 좌우 밝기 정보의 차이를 비교하여, 상기 차이의 합이 미리 정의된 기준 값보다 작은 경우를 상기 최종 차량 후보로 결정하고, 상기 결정된 최종 차량 후보를 상기 최종 차량 후보군에 포함시키는 상기 대칭성 검사를 수행함으로써, 상기 최종 차량 후보군을 추출하는 것을 특징으로 하는 차량 인식 장치.
제 2항에 있어서,

상기 차량 판별부는,

서포트 벡터 머신(SVM: Support Vector Machine)의 학습 데이터에 근거하여, 상기 추출된 최총 차량 후보군에 포함된 최종 차량 후보가 상기 실제 차량인지 판별하는 것을 특징으로 하는 차량 인식 장치.
제 1항에 있어서,

상기 차량 인식 장치는,

상기 전방 차량에 대한 충돌을 방지하는 전방 충돌 방지 시스템에 포함되는 것을 특징으로 하는 차량 인식 장치.
차량 인식 방법에 있어서,

라이다(Lidar) 센서를 통해 전방에 대한 라이다 데이터를 획득하는 라이다 데이터 획득 단계;

카메라 센서를 통해 상기 전방에 대한 영상을 획득하는 영상 획득 단계; 및

상기 획득된 라이다 데이터로부터 얻어진 거리정보 및 상기 획득된 영상에 근거하여, 상기 전방에 있는 전방 차량을 인식하는 전방 차량 인식 단계를 포함하되,

상기 전방 차량 인식 단계는,

상기 라이다 데이터를 상기 영상에 매핑하고, 상기 라이다 데이터로부터 얻어진 거리정보에 근거하여 상기 라이다 데이터가 매핑된 상기 영상에서 상기 전방 차량을 인식하기 위한 관심영역(ROI: Region of Interest)을 설정하고, 상기 설정된 관심영역에서의 수직 에지 추출 결과에 근거하여 상기 전방 차량을 인식하는 것을 특징으로 하는 차량 인식 방법.
제 14항에 있어서,

상기 전방 차량 인식 단계는,

상기 라이다 데이터를 상기 영상에 매핑하고, 상기 라이다 데이터로부터 얻어진 거리정보에 근거하여, 상기 라이다 데이터가 매핑된 상기 영상에서 상기 관심영역을 설정하는 라이다 데이터 매핑 단계;

미리 정의된 에지 추출 연산자를 토대로 상기 설정된 관심영역에서의 수직 에지(Edge)를 추출하는 수직 에지 추출 단계;

상기 추출된 수직 에지의 프로파일(Profile)을 구하고, 상기 구해진 프로파일을 토대로 실제 차량의 실제 차량 수직 에지 후보를 추출하는 실제 차량 수직 에지 후보 추출 단계;

상기 추출된 실제 차량 수직 에지 후보를 토대로, 미리 정의된 차량 후보 영역 검출 조건에 따라, 상기 실제 차량이 존재할 차량 후보 영역을 검출하는 차량 후보 영역 검출 단계;

상기 검출된 차량 후보 영역에 대한 대칭성 검사를 통해, 최종 차량 후보군을 추출하는 최종 차량 후보군 추출 단계; 및

상기 추출된 최총 차량 후보군에 포함된 최종 차량 후보가 상기 실제 차량인지를 판별하고, 상기 실제 차량으로 판별된 최종 차량 후보를 상기 전방 차량으로 결정하는 차량 판별 단계

를 포함하는 것을 특징으로 하는 차량 인식 방법.