[go: up one dir, main page]

KR101826628B1 - 선행 차량 인식 방법과 장치 - Google Patents

선행 차량 인식 방법과 장치 Download PDF

Info

Publication number
KR101826628B1
KR101826628B1 KR1020170042929A KR20170042929A KR101826628B1 KR 101826628 B1 KR101826628 B1 KR 101826628B1 KR 1020170042929 A KR1020170042929 A KR 1020170042929A KR 20170042929 A KR20170042929 A KR 20170042929A KR 101826628 B1 KR101826628 B1 KR 101826628B1
Authority
KR
South Korea
Prior art keywords
trajectory
vehicle
information
host vehicle
preceding vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020170042929A
Other languages
English (en)
Inventor
금병직
김봉주
오형석
박성호
윤순표
김호준
Original Assignee
현대오트론 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대오트론 주식회사 filed Critical 현대오트론 주식회사
Priority to KR1020170042929A priority Critical patent/KR101826628B1/ko
Application granted granted Critical
Publication of KR101826628B1 publication Critical patent/KR101826628B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G06K9/00825—
    • G06K9/00798—
    • G06K9/52—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 선행 차량 인식 방법 및 장치에 관한 것으로, 제어부가 카메라부를 통해 입력되는 영상을 처리하여 차선 정보와 객체들의 위치 정보를 산출하는 단계; 상기 제어부가 상기 객체들을 각기 추적하여 궤적을 생성하는 단계; 상기 제어부가 상기 객체들에 중첩 궤적이 생성되었는지 체크하는 단계; 상기 차선 정보가 산출되면, 상기 제어부가 호스트 차량을 기준으로 좌/우 차선과 각 객체 간의 거리를 추정하고, 해당 객체가 호스트 차량이 있는 차로에 있을 확률을 연산하는 단계; 및 상기 제어부가 상기 산출하거나 생성한 적어도 하나 이상의 기 지정된 정보에 기초하여 호스트 차량의 선행 차량을 추정하되, 각 객체별 위치 확률 중 호스트 차량이 존재하는 가운데 차로 확률이 미리 정해 놓은 임계치 이상이 되면 해당 객체를 선행 차량으로 인식하고, 객체가 2개 이상일 경우에는 가까운 객체를 선행 차량으로 인식하는 단계;를 포함한다.

Description

선행 차량 인식 방법과 장치{PRECEDING VEHICLE RECOGNIZING METHOD AND APPARATUS}
본 발명은 선행 차량 인식 방법과 장치에 관한 것으로, 보다 상세하게는 차선 정보가 있을 경우에 차선 인식을 안정화하고 차량의 위치 확률에 기초하여 선행 차량을 인식하고, 차선 정보가 없을 경우에는 전방 차량들의 궤적을 이용하여 선행 차량을 인식할 수 있도록 하는 선행 차량 인식 방법과 장치에 관한 것이다.
최근 출시되는 차량에는 스마트 크루즈 컨트롤(Smart Cruise Control) 시스템이 장착되고 있다. 상기 스마트 크루즈 컨트롤 시스템은 레이더 센서를 이용하여 선행 차량과의 거리 및 상대속도를 측정하여 차간 거리를 자동으로 일정하게 유지시키는 시스템이다.
예컨대 스마트 크루즈 컨트롤 시스템이 장착된 차량은 선행 차량이 느려질 경우에 브레이크를 자동으로 작동하며 필요한 경우에는 꺼지지 않고 계속 제동 상태를 유지하고, 선행 차량이 빨라질 경우에는 차량을 자동으로 가속하여 차량간 거리를 일정하게 유지하고, 코너링을 할 경우에는 운전대의 회전각을 인식하여 코너링 중 실수로 선행 차량이 없는 것으로 오 인식하여 가속하지 않도록 하는 안정 기능이 포함되어 있다.
상기와 같은 스마트 크루즈 컨트롤 시스템뿐만 아니라, 자율주행 시스템, 및 증강현실 HUD(Head Up Display) 시스템에서는 전방의 객체(즉, 차량) 중 호스트 차량(즉, 자차)과 같은 차로에 있는 선행 차량을 인식하는 기능이 매우 중요한다.
하지만 기존에는 선행 차량을 구분하기 위하여 차선 정보를 검출함에 있어서(즉, 동일한 차로를 주행하고 있는 전방 차량을 검출함에 있어서), 카메라를 이용하여 검출하는 차선 정보에 노이즈가 많고 차선을 인식하지 못하는 경우도 많이 발생하기 때문에 선행 차량(즉, 자차가 주행하는 동일한 차로의 전방에서 주행하는 차량)을 인식하는데 한계가 있었다.
따라서 이러한 문제점을 해결하기 위하여 좀 더 안정적이고 정확하게 선행 차량을 인식할 수 있도록 하는 방법이 요구되고 있다.
본 발명의 배경기술은 대한민국 공개특허 10-2009-0039501호(2009.04.22. 공개, 안전 주행을 위한 선행 차량 검지 방법)에 개시되어 있다.
본 발명의 일 측면에 따르면, 본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 차선 정보가 있을 경우에 차선 인식을 안정화하고 차량의 위치 확률에 기초하여 선행 차량을 인식하고, 차선 정보가 없을 경우에는 전방 차량들의 궤적을 이용하여 선행 차량을 인식할 수 있도록 하는 선행 차량 인식 방법과 장치를 제공하는데 그 목적이 있다.
본 발명의 일 측면에 따른 선행 차량 인식 방법은, 제어부가 카메라부를 통해 입력되는 영상을 처리하여 차선 정보와 객체들의 위치 정보를 산출하는 단계; 상기 제어부가 상기 객체들을 각기 추적하여 궤적을 생성하는 단계; 상기 제어부가 상기 객체들에 중첩 궤적이 생성되었는지 체크하는 단계; 상기 차선 정보가 산출되면, 상기 제어부가 호스트 차량을 기준으로 좌/우 차선과 각 객체 간의 거리를 추정하고, 해당 객체가 호스트 차량이 있는 차로에 있을 확률을 연산하는 단계; 및 상기 제어부가 상기 산출하거나 생성한 적어도 하나 이상의 기 지정된 정보에 기초하여 호스트 차량의 선행 차량을 추정하되, 각 객체별 위치 확률 중 호스트 차량이 존재하는 가운데 차로 확률이 미리 정해 놓은 임계치 이상이 되면 해당 객체를 선행 차량으로 인식하고, 객체가 2개 이상일 경우에는 가까운 객체를 선행 차량으로 인식하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 적어도 하나 이상의 기 지정된 정보는, 차선 정보, 객체의 궤적 정보, 및 객체가 있는 해당 차로 정보 중 적어도 하나 이상을 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 차선 정보와 객체 위치 정보는, 호스트 차량을 기준으로 산출되는 정보인 것을 특징으로 한다.
본 발명에 있어서, 상기 객체의 궤적을 생성하기 위하여, 상기 제어부는, 좌표 변환을 수행하여 호스트 차량의 시작 위치에서 상대좌표계를 만들고, 상기 제어부는, 호스트 차량의 이동량과 헤딩(heading) 정보를 보상하여 상기 상대좌표계에서의 객체 위치 정보와 차선 정보를 산출하는 것을 특징으로 한다.
본 발명에 있어서, 상기 호스트 차량의 이동량과 헤딩(heading) 정보는, 차속 센서 정보, 조향각 센서 정보, 및 요(Yaw)센서 정보를 이용하여 산출되는 것을 특징으로 한다.
본 발명에 있어서, 적어도 하나 이상의 각 객체를 구별하기 위하여, 상기 제어부는, 각 객체별 아이디(ID)를 지정할 수 있으며, 선행 차량의 표시를 위해서 각 객체별 색상을 지정할 수 있음을 특징으로 한다.
본 발명에 있어서, 상기 차선 정보를 안정화하기 위하여, 상기 제어부는, 기 설정된 필터를 이용하여 차선의 노이즈를 제거하며, 또한 저장 공간의 용량을 줄이고, 연산 과정의 효율성을 증대하기 위하여 차선을 기 지정된 일정 간격으로 샘플링 하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제어부는, 상기 카메라부를 통해 입력되는 연속된 영상의 프레임 간의 객체들을 거리와 궤적방향 기반으로 추적하여, 연속성이 있는 객체를 '추적 객체'로서 마스킹하고, 신규 생성된 객체를 '생성 객체'로서 마스킹하며, 더 이상 존재하지 않는 객체를 '소멸 객체'로서 각기 마스킹하여 관리하는 것을 특징으로 한다.
본 발명에 있어서, 상기 객체들을 각기 추적하여 궤적을 생성하는 단계에서 상기 궤적은 객체의 이동 경로를 나타내며, 상기 제어부는, 추적 객체에 대한 궤적 생성 시 필요한 저장 공간의 용량을 줄이고, 연산 과정의 효율성을 증대하기 위하여 기 지정된 일정 간격으로 객체의 이동 경로를 샘플링 하는 것을 특징으로 한다.
본 발명에 있어서, 상기 중첩 궤적이 생성되는지 체크하는 단계는, 어느 하나의 객체의 위치와 가장 가까운 두 개의 궤적 샘플을 찾고, 상기 두 개의 궤적 샘플을 연결한 선분과 객체 간의 거리를 계산하여 미리 정해 놓은 임계치 이하가 되는지 여부에 따라 중첩 궤적인지를 판단하는 것을 특징으로 한다.
본 발명에 있어서, 상기 확률을 연산하는 단계에서, 상기 제어부는, 상기 추정한 객체와 차선 간의 거리에 기초하여, 각 객체의 위치에서 정규 분포로 확률을 연산하는 것을 특징으로 한다.
본 발명에 있어서, 상기 차선 정보가 검출되지 않았거나, 확률 기반으로 선행 차량을 인식할 수 없을 경우, 상기 제어부는, 궤적 기반으로 선행 차량 후보 객체를 선정하고, 상기 선행 차량 후보 객체가 다른 객체의 궤적을 중첩하는지를 체크하여, 상기 선행 차량 후보 객체가 다른 객체의 궤적을 중첩할 경우 호스트 차량도 해당 궤적을 중첩하는지를 체크하고, 상기 호스트 차량도 해당 궤적을 중첩할 경우 상기 후보 객체를 선행 차량으로 판단하며, 상기 호스트 차량이 해당 궤적을 중첩하지 않을 경우에 상기 후보 객체는 선행 차량으로 판단하지 않는 것을 특징으로 한다.
본 발명에 있어서, 상기 궤적 기반으로 선행 차량 후보를 선정하기 위하여, 상기 제어부는, 호스트 차량 위치에서 각 객체의 궤적들과의 거리를 계산하여 미리 설정된 임계치 이하가 되는 궤적들을 찾고, 상기 임계치 이하가 되는 궤적이 1개 이면 해당 궤적의 객체를 선행 차량 후보로 선정하며, 상기 임계치 이하가 되는 궤적이 2개 이상이면 다른 객체의 궤적에 중첩하고 있는 객체를 선행 차량 후보 객체로 선정하는 것을 특징으로 한다.
본 발명의 다른 측면에 따른 선행 차량 인식 장치는, 호스트 차량의 전방 영상을 촬영하는 카메라부; 상기 호스트 차량의 이동량과 헤딩(heading) 정보 검출을 위한 차속 센서, 조향각 센서, 및 요(Yaw)센서를 포함하는 센서부; 상기 전방 영상을 처리하여 차선 정보와 객체들의 위치 정보를 산출하고, 상기 객체들 중 호스트 차량이 있는 차로에 있는 객체들을 추정하고, 상기 호스트 차량이 있는 차로에 있는 것으로 추정된 객체들 중 상기 호스트 차량에 가장 가까운 객체를 선행 차량으로 인식하는 제어부;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제어부는, 상기 호스트 차량을 기준으로 좌/우 차선과 각 객체 간의 거리를 추정하여 해당 객체가 호스트 차량이 있는 차로에 있을 확률을 연산하고, 각 객체별 위치 확률 중 호스트 차량이 존재하는 가운데 차로 확률이 미리 정해 놓은 임계치 이상이 되면 해당 객체를 선행 차량으로 인식하되, 객체가 2개 이상일 경우에는 가까운 객체를 선행 차량으로 인식하는 것을 특징으로 한다.
본 발명에 있어서, 상기 객체는, 상기 호스트 차량의 전방에서 주행하는 차량으로서, 상기 호스트 차량의 바로 앞에서 주행하는 객체가 선행 차량이 되고, 상기 선행 차량에 해당하는 객체를 제외한 나머지 객체는 모두 전방 차량인 것을 특징으로 한다.
본 발명의 다른 측면에 따른 선행 차량 인식 장치는, 호스트 차량의 전방 영상을 촬영하는 카메라부; 상기 호스트 차량의 이동량과 헤딩(heading) 정보 검출을 위한 차속 센서, 조향각 센서, 및 요(Yaw)센서를 포함하는 센서부; 상기 전방 영상을 처리하여 차선 정보와 객체들의 위치 정보를 산출하고, 상기 객체들을 각기 추적하여 궤적을 생성하며, 상기 객체들에 중첩 궤적이 생성되었는지 체크하고, 상기 호스트 차량을 기준으로 좌/우 차선과 각 객체 간의 거리를 추정하여 해당 객체가 호스트 차량이 있는 차로에 있을 확률을 연산하고, 상기 추정한 차선 정보, 객체 궤적 정보, 및 객체가 있는 해당 차로 정보에 기초하여 호스트 차량의 선행 차량을 추정하되, 각 객체별 위치 확률 중 호스트 차량이 존재하는 가운데 차로 확률이 미리 정해 놓은 임계치 이상이 되면 해당 객체를 선행 차량으로 인식하고, 객체가 2개 이상일 경우에는 가까운 객체를 선행 차량으로 인식하는 제어부;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제어부는, 상기 객체의 궤적을 생성하기 위하여, 좌표 변환을 수행하여 호스트 차량의 시작 위치에서 상대좌표계를 만들고, 상기 호스트 차량의 이동량과 헤딩(heading) 정보를 보상하여 상기 상대좌표계에서의 객체 위치 정보와 차선 정보를 산출하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제어부는, 상기 차선 정보를 안정화하기 위하여, 익스포넨셜 필터(exponential filter)나 칼만 필터(kalman filter)를 이용하여 차선 정보의 노이즈를 제거하며, 또한 저장 공간의 용량을 줄이고, 연산 과정의 효율성을 증대하기 위하여 차선을 기 지정된 일정 간격으로 샘플링 하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제어부는, 상기 중첩 궤적이 생성되는지 체크하기 위하여, 어느 하나의 객체의 위치와 가장 가까운 두 개의 궤적 샘플을 찾고, 상기 두 개의 궤적 샘플을 연결한 선분과 객체 간의 거리를 계산하여 미리 정해 놓은 임계치 이하가 되는지 여부에 따라 중첩 궤적인지를 판단하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제어부는, 해당 객체가 호스트 차량이 있는 차로에 있을 확률을 연산함에 있어서, 상기 추정한 객체와 차선 간의 거리에 기초하여, 각 객체의 위치에서 정규 분포로 확률을 연산하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제어부는, 상기 차선 정보가 검출되지 않았거나 확률 기반으로 선행 차량을 인식할 수 없을 경우, 궤적 기반으로 선행 차량 후보를 선정하되, 상기 선행 차량 후보 객체가 다른 객체의 궤적을 중첩하는지를 체크하여, 상기 선행 차량 후보 객체가 다른 객체의 궤적을 중첩할 경우 호스트 차량도 해당 궤적을 중첩하는지를 체크하고, 상기 호스트 차량도 해당 궤적을 중첩할 경우 상기 후보 객체를 선행 차량으로 판단하며, 상기 호스트 차량이 해당 궤적을 중첩하지 않을 경우에 상기 후보 객체는 선행 차량으로 판단하지 않는 것을 특징으로 한다.
본 발명의 일 측면에 따르면, 본 발명은 차선 정보가 있을 경우에 차선 인식을 안정화하고 차량의 위치 확률에 기초하여 선행 차량을 인식하고, 차선 정보가 없을 경우에는 전방 차량들의 궤적을 이용하여 선행 차량을 인식할 수 있도록 함으로써, 좀 더 안정적이고 정확하게 선행 차량을 인식할 수 있도록 한다.
도 1은 본 발명의 일 실시예에 따른 선행 차량 인식 장치의 개략적인 구성을 보인 예시도.
도 2는 본 발명의 일 실시예에 따른 선행 차량 인식 방법을 설명하기 위한 흐름도.
도 3은 상기 도 2에 있어서, 호스트 차량을 기준으로 산출되는 차선 정보와 객체 위치 정보를 보인 예시도.
도 4는 상기 도 2에 있어서, 중첩 궤적이 생성된 객체를 체크하는 방법을 설명하기 위하여 보인 예시도.
도 5는 상기 도 4에 있어서, 중첩 궤적이 생성된 객체 간의 관계를 테이블 형태로 보인 예시도.
도 6은 상기 도 2에 있어서, 좌/우의 두 차선과 객체 간의 거리에 기초하여 해당 각체가 각 차로에 존재할 확률을 연산하는 방법을 설명하기 위한 예시도.
도 7은 본 발명의 일 실시예에 따라 인식한 선행 차량을 HUD에 표시하는 방법을 설명하기 위하여 보인 예시도.
이하, 첨부된 도면을 참조하여 본 발명에 따른 선행 차량 인식 방법과 장치의 일 실시예를 설명한다.
이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 선행 차량 인식 장치의 개략적인 구성을 보인 예시도이다.
도 1에 도시된 바와 같이, 본 실시예에 따른 선행 차량 인식 장치는, 카메라부(110), 센서부(120), 제어부(130), 정보 입력부(140), 및 정보 출력부(150)를 포함한다.
상기 카메라부(110)는 차량의 전면에 장착되어 자차의 전방 영상을 촬영한다. 또한 상기 카메라부(110)는 전방의 차선 형상(도로 형상), 전방 차량의 크기 및 종류 판단을 위한 정보를 제공한다.
상기 제어부(130)는 상기 카메라부(110)에서 촬영한 영상 프레임을 이용하여 객체(즉, 전방 차량)의 궤적 및 차선 등을 검출한다.
상기 센서부(120)는 레이더(radar) 센서나 적외선 센서 등을 이용해 전방에서 주행하는 객체(즉, 전방 차량)와 호스트 차량 간의 거리를 측정한다.
상기 정보 입력부(140)는 호스트 차량에 자체적으로 구비되어 있는 센서(예 : 차속 센서, 조향각 센서, 자이로 센서, 요레이트(Yaw rate) 센서, 지피에스 센서 등)를 이용해 차량의 자세, 속도, 헤딩각 등의 차량정보를 검출한다.
여기서, 요 레이트 센서는 차량의 선회여부 및 주행 차선 이탈여부를 확인하는데 사용되고, 자이로 센서는 경사구간 및 곡선구간 진입여부를 판단하는데 사용되며 경사도를 측정한다.
또한 상기 정보 입력부(140)는 내비게이션 단말(미도시)과 연동하여 주행 도로의 형상(예 : 직선로, 경사로, 곡선로 등)에 대한 정보, 및 호스트 차량의 위치와 현재 주행하고 있는 지도 데이터(또는 지도 정보)를 전송받을 수 있다.
상기 정보 출력부(150)는 AVN(Audio Video Navigation) 장치의 디스플레이 수단, 또는 헤드 업 디스플레이(Head Up Display, HUD) 등을 통해 선행 차량 정보를 표시한다.
상기 제어부(130)는 상기 카메라부(110)를 통해 촬영된 전방 영상을 처리하여 차선 정보와 객체들의 위치 정보를 산출하고, 상기 객체들 중 호스트 차량이 있는 차로에 있는 객체들을 추정하며, 상기 호스트 차량이 있는 차로에 있는 것으로 추정된 객체들 중 상기 호스트 차량에 가장 가까운 객체(즉, 전방 객체)를 선행 차량으로서 인식한다.
그리고 상기 제어부(130)는 상기 인식한(또는 판단한) 차선, 객체(즉, 전방 차량), 및 선행 차량을 판단하여 상기 정보 출력부(150)(예 : AVN, HUD 등)를 통해 표시하거나 음성을 이용한 안내 동작을 수행할 수 있으며(도 7 참조), 또는 선행 차량 정보를 다른 시스템(예 : 스마트 크루즈 컨트롤 시스템, 자율주행 시스템 등)에 출력할 수도 있다.
이하 상기 제어부(130)의 구체적인 동작에 대해서 도 2의 흐름도를 참조하여 설명한다.
도 2는 본 발명의 일 실시예에 따른 선행 차량 인식 방법을 설명하기 위한 흐름도이다.
도 2를 참조하면, 제어부(130)는 카메라부(110)를 통해 입력되는 영상을 처리하여 차선 정보와 객체(즉, 전방 차량) 위치 정보를 산출한다.
여기서 상기 차선 정보와 객체(즉, 전방 차량) 위치 정보는 호스트 차량(즉, 자차)을 기준으로 산출되는 정보이다.
상기 제어부(130)는 상기 객체(즉, 전방 차량)의 궤적을 생성하기 위해 좌표 변환을 수행한다.
상기 제어부(130)는 상기 호스트 차량의 시작 위치에서 상대좌표계를 만들고, 도 3에 도시된 바와 같이, 호스트 차량의 이동량과 헤딩(heading) 정보를 보상하여 객체(즉, 전방 차량) 위치 정보와 차선 정보를 산출한다(S101).
상기 산출된 객체(즉, 전방 차량) 위치 정보와 차선 정보는, 정보 출력부(150)(예 : 디스플레이 수단, HUD 등)를 통해, 도 3에 도시된 바와 같이 표시될 수 있다.
여기서 상기 호스트 차량의 이동량과 헤딩(heading) 정보는, 차속 센서 정보, 조향각 센서 정보, 및 요(Yaw)센서 정보 등을 이용하여 계산할 수 있다.
도 3은 상기 도 2에 있어서, 호스트 차량을 기준으로 산출되는 차선 정보와 객체(즉, 전방 차량) 위치 정보를 보인 예시도이다.
도 3에 도시된 바와 같이, 상기 제어부(130)는 카메라부(110)를 통해 입력되는 영상을 미리 설정된 방식으로 처리하여, 차선 정보와 객체(즉, 전방 차량) 위치 정보를 산출할 수 있다.
이때 상기 제어부(130)는 각 객체(즉, 전방 차량)들을 구별하기 위해서 각기 아이디(ID)를 지정할 수 있으며, 표시를 위해서 각 객체(즉, 전방 차량)별로 색상을 지정할 수도 있다.
여기서 상기 객체들(예 : ID 1 ~ ID 4) 중 호스트 차량이 주행하는 동일한 차로에서 보다 앞서 주행하는 객체(예 : ID 2)가 선행 차량이 된다.
다시 도 2를 참조하면, 상기 제어부(130)는 차선 정보(또는 차선 데이터)를 안정화하기 위해 익스포넨셜 필터(exponential filter)나 칼만 필터(kalman filter)를 이용하여 차선의 노이즈를 제거하여 보다 정확한 차선을 추정한다(S102).
이때 상기 제어부(130)는 저장 공간(또는 메모리 공간)의 용량을 줄이고, 연산 과정의 효율성을 증대하기 위하여, 도 3에 도시된 바와 같이, 차선을 기 지정된 일정 간격으로 샘플링 한다.
상기와 같이 제어부(130)는 상기 카메라부(110)를 통해 촬영한 영상을 처리하여 인식한 객체(즉, 전방 차량)들에 아이디(ID)를 할당하여 추적한다(S103).
예컨대 상기 제어부(130)는 연속된 영상 프레임 간의 객체들을 거리와 궤적방향 기반으로 추적하여, 연속성이 있는 객체를 '추적 객체'로서 마스킹하고, 신규 생성된 객체를 '생성 객체'로서 마스킹하며, 더 이상 존재하지 않는 객체를 '소멸 객체'로서 각기 마스킹 한다.
또한 상기 제어부(130)는, 도 3에 도시된 바와 같이, 상기 각 '추적 객체'에 대하여 궤적을 생성한다(S104).
여기서 상기 궤적은 각 객체의 이동 경로를 나타내며, 상기 궤적 생성 시 필요한 저장 공간(또는 메모리 공간)의 용량을 줄이고, 연산 과정의 효율성을 증대하기 위하여 기 지정된 일정 간격으로 샘플링 한다.
또한 상기 제어부(130)는 상기 각 객체의 궤적이 서로 겹치는 경우가 있는지(즉, 중첩 궤적이 생성되었는지)를 서칭(또는 체크)한다(S105).
예컨대 상기 중첩 궤적이 생성되는지 서칭(또는 체크)하는 단계(S105)(즉, 상기 각 객체의 위치가 다른 객체의 궤적과 겹치는지를 판단하는 단계)는, 도 4에 도시된 바와 같이, 어느 하나의 객체(즉, 전방 차량)(예 : ID 2)의 위치와 가장 가까운 두 개의 궤적 샘플을 찾고, 상기 두 개의 궤적 샘플을 연결한 선분과 객체 간의 거리를 계산하여 미리 정해 놓은 임계치 이하가 되는지를 보고 중첩 궤적인지를 판단할 수 있다.
도 4는 상기 도 2에 있어서, 중첩 궤적이 생성된 객체를 체크하는 방법을 설명하기 위하여 보인 예시도이고, 도 5는 상기 도 4에 있어서, 중첩 궤적이 생성된 객체 간의 관계를 테이블 형태로 보인 예시도이다.
상기 도 4와 도 5를 참조하면, 중첩 궤적이 생성된 객체(예 : ID 1, ID 2)가 무엇인지를 쉽게 알 수 있다.
또한 상기 제어부(130)는 상기 차선이 인식되었을 때(또는 차선 정보가 산출되었을 때) 호스트 차량을 기준으로 좌/우 차선과 각 객체 간의 거리(즉, 객체-차선 간 거리)를 추정한다(S106).
예컨대 상기 제어부(130)는, 도 6에 도시된 바와 같이, 각 객체의 위치에서 가장 가까운 좌/우의 두 차선 샘플을 찾고, 상기 좌/우의 두 차선 샘플을 연결한 선분과 객체 간의 거리를 계산(또는 추정)한다. 여기서 상기 좌/우의 두 차선과 객체 간의 거리 계산은 좌/우 차선 각각에 대해서 수행한다.
또한 상기 제어부(130)는 상기 차선이 인식되었을 때(또는 차선 정보가 산출되었을 때) 객체(즉, 전방 차량)가 해당 차로에 있을 확률을 연산한다(S107).
예컨대 호스트 차량(즉, 자차)을 기준으로 좌 차로/가운데 차로/우 차로의 3차로가 있다고 가정할 때, 객체가 상기 3차로의 각 차로에 대해 존재할 확률을 연산하는데 있어서, 상기 제어부(130)는, 도 6에 도시된 바와 같이, 상기 추정한 객체-차선 간 거리에 기초하여 각 객체의 위치에서 정규 분포(또는 확률 분포)로 확률을 연산하고, 각 객체별로 연산된 확률을 지정된 시간 간격으로 누적(예 : 확률 값을 노멀라이징(normalizing)하여 생성된 빈(bin)의 보팅(Voting) 값을 누적)한다. 실질적으로 상기 누적한 값에 의해 객체가 있는 차로를 추정하게 된다.
도 6은 상기 도 2에 있어서, 좌/우의 두 차선과 객체 간의 거리에 기초하여 해당 객체가 각 차로에 존재할 확률을 연산하는 방법을 설명하기 위한 예시도이다.
또한 상기 제어부(130)는 상기 추정한 정보들(예 : 차선, 객체 궤적, 객체가 있는 해당 차로 등)을 바탕으로 호스트 차량의 선행 차량을 추정한다(S108).
예컨대 상기 제어부(130)는 차선이 인식되었을 경우(또는 차선 정보가 검출되었을 경우)에는 각 객체별 위치 확률 중 가운데 차로 확률이 미리 정해 놓은 임계치(예 : 상기 보팅 값에 대한 임계치) 이상이 되면 해당 객체를 선행 차량으로 인식하고, 만약 객체가 2개 이상일 경우에는 가까운 객체를 선행 차량으로 인식한다.
그러나 차선이 인식되지 않았거나(또는 차선 정보가 검출되지 않았거나) 확률 기반으로 선행 차량을 인식할 수 없을 경우, 상기 제어부(130)는 궤적 기반으로 선행 차량 후보를 선정한다.
예컨대 상기 제어부(130)는 호스트 차량 위치에서 각 궤적들과의 거리를 계산하여 미리 설정된 임계치 이하가 되는 궤적들을 찾는다. 이때 임계치 이하가 되는 궤적이 1개 이면 해당 궤적의 객체가 선행 차량 후보가 되며, 임계치 이하가 되는 궤적이 2개 이상이면(예 : 같은 차로에서 2개 이상의 차량이 근접한 거리에서 앞뒤로 연속해서 주행하고 있는 경우) 다른 객체의 궤적에 중첩하고 있는 객체가 선행 차량 후보 객체가 된다. 다음 상기 제어부(130)는 상기 선행 차량 후보 객체가 다른 객체의 궤적을 중첩하는지를 체크하여, 상기 2개 이상의 객체 중 선행 차량 후보 객체가 다른 객체의 궤적을 중첩할 경우 호스트 차량도 해당 궤적을 중첩하는지를 체크하고, 상기 호스트 차량도 해당 궤적을 중첩할 경우 상기 후보 객체를 선행 차량으로 판단하며, 상기 호스트 차량이 해당 궤적을 중첩하지 않을 경우에 상기 후보 객체는 선행 차량으로 판단하지 않는다.
다음 상기와 같이 차선, 객체(즉, 전방 차량), 및 선행 차량을 판단(인식)하면, 상기 제어부(130)는, 도 7에 도시된 바와 같이, 차량에 장착된 정보 출력부(150)(예 : AVN, HUD 등)를 통해 선행 차량을 표시(예 : 전방 차량과 구분되게 하는 테두리 등의 시각적인 표시)하거나 음성을 이용해 선행 차량 정보에 대한 안내 동작을 수행한다.
이상으로 본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다.
110 : 카메라부
120 : 센서부
130 : 제어부
140 : 정보 입력부
150 : 정보 출력부

Claims (22)

  1. 제어부가 카메라부를 통해 입력되는 영상을 처리하여 차선 정보와 객체들의 위치 정보를 산출하는 단계;
    상기 제어부가 상기 객체들을 각기 추적하여 궤적을 생성하는 단계;
    상기 제어부가 상기 객체들에 중첩 궤적이 생성되었는지 체크하는 단계;
    상기 차선 정보가 산출되면, 상기 제어부가 호스트 차량을 기준으로 좌/우 차선과 각 객체 간의 거리를 추정하고, 해당 객체가 호스트 차량이 있는 차로에 있을 확률을 연산하는 단계; 및
    상기 제어부가 상기 산출하거나 생성한 적어도 하나 이상의 기 지정된 정보에 기초하여 호스트 차량의 선행 차량을 추정하되, 각 객체별 위치 확률 중 호스트 차량이 존재하는 가운데 차로 확률이 미리 정해 놓은 임계치 이상이 되면 해당 객체를 선행 차량으로 인식하고, 객체가 2개 이상일 경우에는 가까운 객체를 선행 차량으로 인식하는 단계;를 포함하되,
    상기 차선 정보가 검출되지 않았거나, 확률 기반으로 선행 차량을 인식할 수 없을 경우,
    상기 제어부는,
    궤적 기반으로 선행 차량 후보 객체를 선정하고, 상기 선행 차량 후보 객체가 다른 객체의 궤적을 중첩하는지를 체크하여, 상기 선행 차량 후보 객체가 다른 객체의 궤적을 중첩할 경우 호스트 차량도 해당 궤적을 중첩하는지를 체크하고,
    상기 호스트 차량도 해당 궤적을 중첩할 경우 상기 후보 객체를 선행 차량으로 판단하며, 상기 호스트 차량이 해당 궤적을 중첩하지 않을 경우에 상기 후보 객체는 선행 차량으로 판단하지 않는 것을 특징으로 하는 선행 차량 인식 방법.
  2. 제 1항에 있어서, 상기 적어도 하나 이상의 기 지정된 정보는,
    차선 정보, 객체의 궤적 정보, 및 객체가 있는 해당 차로 정보 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 선행 차량 인식 방법.
  3. 제 1항에 있어서, 상기 차선 정보와 객체들의 위치 정보는,
    호스트 차량을 기준으로 산출되는 정보인 것을 특징으로 하는 선행 차량 인식 방법.
  4. 제 1항에 있어서, 상기 객체의 궤적을 생성하기 위하여,
    상기 제어부는, 좌표 변환을 수행하여 호스트 차량의 시작 위치에서 상대좌표계를 만들고,
    상기 제어부는, 호스트 차량의 이동량과 헤딩(heading) 정보를 보상하여 상기 상대좌표계에서의 객체 위치 정보와 차선 정보를 산출하는 것을 특징으로 하는 선행 차량 인식 방법.
  5. 제 4항에 있어서, 상기 호스트 차량의 이동량과 헤딩(heading) 정보는,
    차속 센서 정보, 조향각 센서 정보, 및 요(Yaw)센서 정보를 이용하여 산출되는 것을 특징으로 하는 선행 차량 인식 방법.
  6. 제 1항에 있어서, 적어도 하나 이상의 각 객체를 구별하기 위하여,
    상기 제어부는,
    각 객체별 아이디(ID)를 지정할 수 있으며, 선행 차량의 표시를 위해서 각 객체별 색상을 지정할 수 있음을 특징으로 하는 선행 차량 인식 방법.
  7. 제 1항에 있어서, 상기 차선 정보를 안정화하기 위하여,
    상기 제어부는, 기 설정된 필터를 이용하여 차선의 노이즈를 제거하며, 또한
    저장 공간의 용량을 줄이고, 연산 과정의 효율성을 증대하기 위하여 차선을 기 지정된 일정 간격으로 샘플링 하는 것을 특징으로 하는 선행 차량 인식 방법.
  8. 제 1항에 있어서, 상기 제어부는,
    상기 카메라부를 통해 입력되는 연속된 영상의 프레임 간의 객체들을 거리와 궤적방향 기반으로 추적하여, 연속성이 있는 객체를 '추적 객체'로서 마스킹하고, 신규 생성된 객체를 '생성 객체'로서 마스킹하며, 더 이상 존재하지 않는 객체를 '소멸 객체'로서 각기 마스킹하여 관리하는 것을 특징으로 하는 선행 차량 인식 방법.
  9. 제 1항에 있어서, 상기 객체들을 각기 추적하여 궤적을 생성하는 단계에서 상기 궤적은 객체의 이동 경로를 나타내며,
    상기 제어부는,
    추적 객체에 대한 궤적 생성 시 필요한 저장 공간의 용량을 줄이고, 연산 과정의 효율성을 증대하기 위하여 기 지정된 일정 간격으로 객체의 이동 경로를 샘플링 하는 것을 특징으로 하는 선행 차량 인식 방법.
  10. 제 1항에 있어서, 상기 중첩 궤적이 생성되는지 체크하는 단계는,
    어느 하나의 객체의 위치와 가장 가까운 두 개의 궤적 샘플을 찾고, 상기 두 개의 궤적 샘플을 연결한 선분과 객체 간의 거리를 계산하여 미리 정해 놓은 임계치 이하가 되는지 여부에 따라 중첩 궤적인지를 판단하는 것을 특징으로 하는 선행 차량 인식 방법.
  11. 제 1항에 있어서, 상기 확률을 연산하는 단계에서,
    상기 제어부는,
    상기 추정한 객체와 차선 간의 거리에 기초하여, 각 객체의 위치에서 정규 분포로 확률을 연산하는 것을 특징으로 하는 선행 차량 인식 방법.
  12. 삭제
  13. 제 1항에 있어서,
    상기 궤적 기반으로 선행 차량 후보를 선정하기 위하여,
    상기 제어부는,
    호스트 차량 위치에서 각 객체의 궤적들과의 거리를 계산하여 미리 설정된 임계치 이하가 되는 궤적들을 찾고, 상기 임계치 이하가 되는 궤적이 1개 이면 해당 궤적의 객체를 선행 차량 후보로 선정하며, 상기 임계치 이하가 되는 궤적이 2개 이상이면 다른 객체의 궤적에 중첩하고 있는 객체를 선행 차량 후보 객체로 선정하는 것을 특징으로 하는 선행 차량 인식 방법.
  14. 호스트 차량의 전방 영상을 촬영하는 카메라부;
    상기 호스트 차량의 이동량과 헤딩(heading) 정보 검출을 위한 차속 센서, 조향각 센서, 및 요(Yaw)센서를 포함하는 센서부;
    상기 전방 영상을 처리하여 차선 정보와 객체들의 위치 정보를 산출하고, 상기 객체들 중 호스트 차량이 있는 차로에 있는 객체들을 추정하고, 상기 호스트 차량이 있는 차로에 있는 것으로 추정된 객체들 중 상기 호스트 차량에 가장 가까운 객체를 선행 차량으로 인식하는 제어부;를 포함하되,
    상기 제어부는,
    상기 차선 정보가 검출되지 않았거나 확률 기반으로 선행 차량을 인식할 수 없을 경우, 궤적 기반으로 선행 차량 후보를 선정하되,
    상기 선행 차량 후보 객체가 다른 객체의 궤적을 중첩하는지를 체크하여, 상기 선행 차량 후보 객체가 다른 객체의 궤적을 중첩할 경우 호스트 차량도 해당 궤적을 중첩하는지를 체크하고,
    상기 호스트 차량도 해당 궤적을 중첩할 경우 상기 후보 객체를 선행 차량으로 판단하며, 상기 호스트 차량이 해당 궤적을 중첩하지 않을 경우에 상기 후보 객체는 선행 차량으로 판단하지 않는 것을 특징으로 하는 선행 차량 인식 장치.
  15. 제 14항에 있어서, 상기 제어부는,
    상기 호스트 차량을 기준으로 좌/우 차선과 각 객체 간의 거리를 추정하여 해당 객체가 호스트 차량이 있는 차로에 있을 확률을 연산하고,
    각 객체별 위치 확률 중 호스트 차량이 존재하는 가운데 차로 확률이 미리 정해 놓은 임계치 이상이 되면 해당 객체를 선행 차량으로 인식하되, 객체가 2개 이상일 경우에는 가까운 객체를 선행 차량으로 인식하는 것을 특징으로 하는 선행 차량 인식 장치.
  16. 제 14항에 있어서, 상기 객체는,
    상기 호스트 차량의 전방에서 주행하는 차량으로서,
    상기 호스트 차량의 바로 앞에서 주행하는 객체가 선행 차량이 되고, 상기 선행 차량에 해당하는 객체를 제외한 나머지 객체는 모두 전방 차량인 것을 특징으로 하는 선행 차량 인식 장치.
  17. 호스트 차량의 전방 영상을 촬영하는 카메라부;
    상기 호스트 차량의 이동량과 헤딩(heading) 정보 검출을 위한 차속 센서, 조향각 센서, 및 요(Yaw)센서를 포함하는 센서부;
    상기 전방 영상을 처리하여 차선 정보와 객체들의 위치 정보를 산출하고, 상기 객체들을 각기 추적하여 궤적을 생성하며, 상기 객체들에 중첩 궤적이 생성되었는지 체크하고, 상기 호스트 차량을 기준으로 좌/우 차선과 각 객체 간의 거리를 추정하여 해당 객체가 호스트 차량이 있는 차로에 있을 확률을 연산하고, 상기 추정한 차선 정보, 객체 궤적 정보, 및 객체가 있는 해당 차로 정보에 기초하여 호스트 차량의 선행 차량을 추정하되, 각 객체별 위치 확률 중 호스트 차량이 존재하는 가운데 차로 확률이 미리 정해 놓은 임계치 이상이 되면 해당 객체를 선행 차량으로 인식하고, 객체가 2개 이상일 경우에는 가까운 객체를 선행 차량으로 인식하는 제어부;를 포함하는 것을 특징으로 하는 선행 차량 인식 장치.
  18. 제 17항에 있어서, 상기 제어부는,
    상기 객체의 궤적을 생성하기 위하여, 좌표 변환을 수행하여 호스트 차량의 시작 위치에서 상대좌표계를 만들고,
    상기 호스트 차량의 이동량과 헤딩(heading) 정보를 보상하여 상기 상대좌표계에서의 객체 위치 정보와 차선 정보를 산출하는 것을 특징으로 하는 선행 차량 인식 장치.
  19. 제 17항에 있어서, 상기 제어부는,
    상기 차선 정보를 안정화하기 위하여, 익스포넨셜 필터(exponential filter)나 칼만 필터(kalman filter)를 이용하여 차선 정보의 노이즈를 제거하며, 또한
    저장 공간의 용량을 줄이고, 연산 과정의 효율성을 증대하기 위하여 차선을 기 지정된 일정 간격으로 샘플링 하는 것을 특징으로 하는 선행 차량 인식 장치.
  20. 제 17항에 있어서, 상기 제어부는,
    상기 중첩 궤적이 생성되는지 체크하기 위하여, 어느 하나의 객체의 위치와 가장 가까운 두 개의 궤적 샘플을 찾고, 상기 두 개의 궤적 샘플을 연결한 선분과 객체 간의 거리를 계산하여 미리 정해 놓은 임계치 이하가 되는지 여부에 따라 중첩 궤적인지를 판단하는 것을 특징으로 하는 선행 차량 인식 장치.
  21. 제 17항에 있어서, 상기 제어부는,
    해당 객체가 호스트 차량이 있는 차로에 있을 확률을 연산함에 있어서,
    상기 추정한 객체와 차선 간의 거리에 기초하여, 각 객체의 위치에서 정규 분포로 확률을 연산하는 것을 특징으로 하는 선행 차량 인식 장치.
  22. 삭제
KR1020170042929A 2017-04-03 2017-04-03 선행 차량 인식 방법과 장치 Active KR101826628B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170042929A KR101826628B1 (ko) 2017-04-03 2017-04-03 선행 차량 인식 방법과 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170042929A KR101826628B1 (ko) 2017-04-03 2017-04-03 선행 차량 인식 방법과 장치

Publications (1)

Publication Number Publication Date
KR101826628B1 true KR101826628B1 (ko) 2018-02-08

Family

ID=61232275

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170042929A Active KR101826628B1 (ko) 2017-04-03 2017-04-03 선행 차량 인식 방법과 장치

Country Status (1)

Country Link
KR (1) KR101826628B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10832578B2 (en) 2017-02-28 2020-11-10 Mando Corporation System and method for collision prevention
US11501539B2 (en) 2019-06-14 2022-11-15 Hl Klemove Corp. Vehicle control system, sensing device and sensing data processing method
KR20240008223A (ko) * 2022-07-11 2024-01-18 주식회사 이화네트웍스 커넥티드 카 환경에서의 전방 차량 인식 모듈 및 전방 차량 인식 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4555699B2 (ja) * 2005-02-01 2010-10-06 本田技研工業株式会社 先行車認識装置
JP2017056783A (ja) * 2015-09-15 2017-03-23 株式会社デンソー 車両制御装置、及び車両制御方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4555699B2 (ja) * 2005-02-01 2010-10-06 本田技研工業株式会社 先行車認識装置
JP2017056783A (ja) * 2015-09-15 2017-03-23 株式会社デンソー 車両制御装置、及び車両制御方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10832578B2 (en) 2017-02-28 2020-11-10 Mando Corporation System and method for collision prevention
US10916143B2 (en) 2017-02-28 2021-02-09 Mando Corporation System and method for intersection collision prevention
US11501539B2 (en) 2019-06-14 2022-11-15 Hl Klemove Corp. Vehicle control system, sensing device and sensing data processing method
KR20240008223A (ko) * 2022-07-11 2024-01-18 주식회사 이화네트웍스 커넥티드 카 환경에서의 전방 차량 인식 모듈 및 전방 차량 인식 방법
KR102700666B1 (ko) 2022-07-11 2024-08-29 주식회사 이화네트웍스 커넥티드 카 환경에서의 전방 차량 인식 모듈 및 전방 차량 인식 방법

Similar Documents

Publication Publication Date Title
EP3678113B1 (en) Travel control method and travel control device for driving-assist vehicle
JP5747787B2 (ja) 車線認識装置
US10019017B2 (en) Autonomous driving system
EP3678110B1 (en) Method for correcting positional error and device for correcting positional error in a drive-assisted vehicle
CN107646114B (zh) 用于估计车道的方法
US11526173B2 (en) Traveling trajectory correction method, traveling control method, and traveling trajectory correction device
EP0810569B1 (en) Lane detection sensor and navigation system employing the same
US8380382B2 (en) Unmanned transport apparatus and operating method thereof
US6665614B2 (en) Vehicle surroundings monitoring apparatus and vehicle traveling control system incorporating the apparatus
JP6416293B2 (ja) 自動車に接近する対象車両を自動車のカメラシステムにより追跡する方法、カメラシステムおよび自動車
KR101573764B1 (ko) 차량의 주행 차로 인식 시스템 및 방법
US9676412B2 (en) Driving assistance apparatus and method
US9786172B2 (en) Warning guidance system, method, and program that provide information to vehicle navigation systems
US20170066445A1 (en) Vehicle control apparatus
CN108367722A (zh) 停车辅助方法及装置
US20180012083A1 (en) Demarcation line recognition apparatus
JP2004531424A (ja) 車用の感知装置
US20210402992A1 (en) Apparatus and method for setting planned trajectory
CN106373417A (zh) 生成并从主车辆向车对车网络传送车道信息的系统和方法
CN112644489A (zh) 车道跟随控制设备和方法
JP2017146724A (ja) 地図情報出力装置
KR101826628B1 (ko) 선행 차량 인식 방법과 장치
KR20180039900A (ko) 진행경로 시나리오에 따라 충돌가능성을 판단하고 차량을 제어하는 장치 및 방법
KR101588787B1 (ko) 전방차량의 횡방향 거리 결정 방법 및 이를 이용한 헤드 업 디스플레이 장치
JP2007178271A (ja) 自位置認識システム

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20170403

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20170719

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20180129

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20180201

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20180202

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20210201

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20211201

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20221104

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20231218

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20250120

Start annual number: 8

End annual number: 8