[go: up one dir, main page]

KR102485318B1 - 단안 영상 기반 추월 및 합류 차량 인식 시스템 및 방법 - Google Patents

단안 영상 기반 추월 및 합류 차량 인식 시스템 및 방법 Download PDF

Info

Publication number
KR102485318B1
KR102485318B1 KR1020160064950A KR20160064950A KR102485318B1 KR 102485318 B1 KR102485318 B1 KR 102485318B1 KR 1020160064950 A KR1020160064950 A KR 1020160064950A KR 20160064950 A KR20160064950 A KR 20160064950A KR 102485318 B1 KR102485318 B1 KR 102485318B1
Authority
KR
South Korea
Prior art keywords
vehicle
motion
image
lane
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020160064950A
Other languages
English (en)
Other versions
KR20170133756A (ko
Inventor
윤성원
나용천
이재홍
권구도
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020160064950A priority Critical patent/KR102485318B1/ko
Publication of KR20170133756A publication Critical patent/KR20170133756A/ko
Application granted granted Critical
Publication of KR102485318B1 publication Critical patent/KR102485318B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/22—Source localisation; Inverse modelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 단안 영상 기반 추월 및 합류 차량 인식 시스템 및 방법에 대하여 개시한다. 본 발명의 일면에 따른 추월 및 합류(Cut-in) 차량 인식 시스템은, 차량 전방 또는 측방 카메라에 의해 촬영된 단안 영상을 IPM(Inverse Perspective Mapping) 영상으로 변환하는 IPM 영상 생성부; 상기 IMP 영상의 연속 프레임에서 움직임 성분을 검출하는 움직임 검출부; 및 각 움직임 성분의 움직임 벡터에서 종방향 속도와 횡방향 속도를 계산하고, 계산된 상기 종방향 속도와 횡방향 속도 중 적어도 하나를 기반으로 차량의 주행차선으로 끼어드는 대상물체와의 충돌 가능성을 판정하는 충돌 판정부를 포함하는 것을 특징으로 한다.

Description

단안 영상 기반 추월 및 합류 차량 인식 시스템 및 방법{System and Method for Recognizing Cut-in Vehicle on the basis of Monocular Image}
본 발명은 추월 및 합류 차량 검출 기술에 관한 것으로서, 더 구체적으로는 단안 영상을 이용하여 추월 및 합류 차량을 인식할 수 있는 단안 영상 기반 추월 및 합류 차량 인식 시스템 및 방법에 관한 것이다.
종래의 차량 검출 방법은 차량의 특징점을 추출한 후 기계학습을 기반으로 차량 형태를 검출하는 방식이었다. 그런데, 차량의 전측방이나 전후방에 위치한 차량은 그 모습이 다 보이지 않아 전술한 방식으로 검출되기는 어려웠다.
한편, 이를 보안할 수 있는 종래의 레이더 기반 차량 검출 방법은 센서의 특성상 측면에서 자차 방향으로 합류하는 합류 차량의 후면 또는 후측면이 노출된 L자 형태의 구조가 파악될 시점에 이르러서야 합류 차량을 인식 가능하였다.
이에, 종래의 레이더 기반 차량 검출 방법은 합류 차량이 끼어들기 이전 시점 또는 끼어드는 순간인 합류 차량의 후면이 보이기 전 시점에는 합류 차량을 인식할 수 없었다.
또한, 종래의 차선 인식 기반의 끼어들기 검출 방법은 차선이 미인식된 경우에는 끼어들기를 예측할 수 없었고, 정체 등의 상황과 같이 저속주행 상황에서는 차선 자체를 인식하기 어려운 문제가 있었다.
본 발명은 전술한 바와 같은 기술적 배경에서 안출된 것으로서, 단안 영상의 움직임 성분을 이용하여 추월 및 합류 차량을 인식할 수 있는 단안 영상 기반 추월 및 합류 차량 인식 시스템 및 방법을 제공하는 것을 목적으로 한다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일면에 따른 추월 및 합류(Cut-in) 차량 인식 시스템은, 차량 전방 또는 측방 카메라에 의해 촬영된 단안 영상을 IPM(Inverse Perspective Mapping) 영상으로 변환하는 IPM 영상 생성부; 상기 IMP 영상의 연속 프레임에서 움직임 성분을 검출하는 움직임 검출부; 및 각 움직임 성분의 움직임 벡터에서 종방향 속도와 횡방향 속도를 계산하고, 계산된 상기 종방향 속도와 횡방향 속도 중 적어도 하나를 기반으로 차량의 주행차선으로 끼어드는 대상물체와의 충돌 가능성을 판정하는 충돌 판정부를 포함하는 것을 특징으로 한다.
본 발명의 다른 면에 따른 적어도 하나의 프로세서에 의한 추월 및 합류 차량 인식 방법은, 차량 전방 또는 측방 카메라에 의해 촬영된 단안 영상을 IPM(Inverse Perspective Mapping) 영상으로 변환하는 단계; 상기 IMP 영상의 연속 프레임에서 움직임 성분을 검출하는 단계; 각 움직임 성분의 움직임 벡터에서 종방향 속도와 횡방향 속도를 계산하는 단계; 및 계산된 상기 종방향 속도와 횡방향 속도 중 적어도 하나를 기반으로 차량의 주행차선으로 끼어드는 대상물체와의 충돌 가능성을 판정하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 영상의 움직임 성분을 이용하여 자차의 주행차선으로 진입 시도하는 차량을 검출할 수 있다.
도 1은 본 발명의 실시예에 따른 추월 및 합류 차량 인식 시스템을 도시한 구성도.
도 2는 본 발명의 실시예에 따른 IPM 영상 및 보정 영상을 도시한 사진.
도 3은 본 발명의 실시예에 따른 움직임 벡터 및 종/횡방향 속도를 설명하기 위한 도면.
도 4는 본 발명의 실시예에 따른 추월 및 합류 차량 인식 방법을 도시한 흐름도.
본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
이제 본 발명의 실시예에 대하여 첨부한 도면을 참조하여 상세히 설명하기로 한다. 도 1은 본 발명의 실시예에 따른 추월 및 합류 차량 인식 시스템을 도시한 구성도이고, 도 2는 본 발명의 실시예에 따른 IPM 영상 및 보정 영상을 도시한 사진이며, 도 3은 본 발명의 실시예에 따른 움직임 벡터 및 종/횡방향 속도를 설명하기 위한 도면이다.
도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 추월 및 합류 차량 인식 시스템(10)은 제1 영상 획득부(111), 제1 움직임 검출부(121), 유효성 검출부(130), 제2 영상 획득부(112), IPM 영상 생성부(140), 차선 인식부(150), 회전 보정부(160), 제2 움직임 검출부(122), 차선기반 충돌판정부(170), 움직임기반 충돌판정부(180) 및 경보부(190)를 포함한다.
제1 영상 획득부(111)는 본 발명에 따른 추월 및 합류 차량 인식 시스템(10)이 장착된 차량의 전방 영상을 획득한다. 이때, 제1 영상 획득부(111)는 차량 전방 등에 장착되어 차량 전방을 촬영하는 단안 카메라일 수 있으며, 해당 단안 카메라로부터 영상을 획득하는 수신수단일 수도 있다. 본 명세서에서는 제1 영상 획득부(111)가 단안 카메라인 경우를 예로 들어 설명한다.
제1 움직임 검출부(121)는 제1 영상 획득부(111)에 의해 획득된 영상의 연속 프레임에서 움직임 성분을 검출한다.
이때, 제1 움직임 검출부(121)는 영상 프레임의 일부 영역 예컨대, 관심영역(ROI; Region Of Interest)만을 추출하고, 관심영역 내에서 광학 플로우를 산출하거나, 두 인접 영상 간의 차이를 통해 움직임 성분을 검출할 수 있다. 예컨대, 관심영역은 차량의 좌측방 영역 또는 우측방 영역일 수 있다.
이에 따라, 본 발명에서는 움직임 성분을 고속으로 계산할 수 있다. 이하의 명세서에서는 제1 움직임 검출부(121)가 관심영역에 대해서만 움직임 성분을 검출하는 경우를 예로 들어 설명한다.
유효성 검출부(130)는 검출된 관심영역의 움직임 성분을 입력 받으면, 해당 움직임 성분이 유효한 움직임 성분인지를 확인한다. 여기서, 유효한 움직임 성분은 자차와 가깝거나, 추월 또는 합류 시도중인 차량임이 유력한 움직임 성분일 수 있다.
이때, 유효성 검출부(130)는 관심영역에서 기설정된 일정면적 내 움직임 성분의 개수로 유효성 움직임 성분 여부를 판정할 수 있다. 더 상세하게는, 유효성 검출부(130)는 움직임 성분이 일정면적 내 기설정된 임계개수 이상 존재하면, 유효 움직임인 것으로 판정할 수 있다.
부가적으로, 유효성 검출부(130)는 움직임 성분이 존재하는 영역 또는 관심차선(좌측방, 우측방) 내 주기적인 컬러 변화를 인식하면, 움직임 성분이 유효 움직임인 것으로 판정할 수 있다. 참조로, 차량의 사이드 미러 또는 방향지시등은 등화 시에 주기적으로 점등 및 점멸되는 특징이 있으므로, 본 발명에서는 이러한 특징을 이용하여 유효 움직임을 판정할 수 있다.
유효성 검출부(130)는 검출된 움직임 성분이 유효한 움직임인 것으로 판정하면, 경보부(190)를 통해 주변 차량 접근을 1차 경보할 수 있다.
제2 영상 획득부(112)는 본 발명에 따른 추월 및 합류 차량 인식 시스템(10)이 장착된 차량의 전방 영상, 좌측방 또는 우측방 영상을 획득한다.
이때, 제2 영상 획득부(112)는 차량 전방, 좌측방 또는 우측방에 장착되어 차량 전방, 좌측방 또는 우측방을 촬영하는 단안 카메라일 수 있으며, 해당 단안 카메라로부터 영상을 획득하는 수신수단일 수도 있다. 본 명세서에서는 제2 영상 획득부(112)가 단안 카메라인 경우를 예로 들어 설명한다.
이러한, 제2 영상 획득부(112)가 제1 영상 획득부(111)와 동일한 방향의 영상을 획득하는 경우에 제2 영상 획득부(112)는 제1 영상 획득부(111)로 통합될 수 있다.
IPM 영상 생성부(140)는 제1 영상 획득부(111)로부터의 전방 영상 또는 제2 영상 획득부(112)로부터의 전방, 우측방 또는 좌측방 영상을 각기 IPM(Inverse Perspective Mapping) 영상으로 변환한다. 여기서, IPM 영상 생성부(140)는 1차로 움직임 정보가 검출되는 관심영역이 아닌 영상 프레임의 전체 영역을 대상으로 하여 IPM 영상을 생성할 수 있다.
이때, IPM 영상 생성부(140)는 카메라의 내부(Intrinsic) 파라미터와 외부(extrinsic) 파라미터를 바탕으로 IPM 변환을 수행한 결과, 탑뷰(TOP-View) 영상인 IPM 영상을 생성할 수 있다.
차선 인식부(150)는 IPM 영상 상의 직선의 성분을 이용하여 IPM 영상으로부터 차선을 인식한다. 참고로, 자차와 측방 차량은 차선을 변경하지 않는 경우에도 매 순간 정확히 평형을 이루는 것이 아니라, 미세하게 가까워지거나 멀어지는 것을 반복한다. 그런데 이러한 경우마다 접근경보가 발생하면, 운전자의 운전에 오히려 방해될 수 있으므로, 본 발명에서는 충돌이 우려되는 상황을 좀 더 확실히 판단하기 위해 차선 인식을 수행한다.
회전 보정부(160)는 IPM 영상 생성에 사용된 영상을 제공하는 제1 또는 제2 영상 획득부(111, 112)의 중심(도 2의 붉은색 점)을 회전중심으로 하여 차량의 주행방향과 IPM 영상으로부터 인식된 차선과 평행하도록 IPM 영상을 회전시켜 보정 영상을 생성한다.
예를 들면, IPM 영상 상의 차선은 도 2의 왼쪽 사진과 같이, 차량의 진행방향과 소정각도(θ)만큼 좌측으로 기울어져 있을 수 있다.
이 경우, 회전 보정부(160)는 IPM 영상을 우측으로 소정각도(θ)만큼 회전시키는 보정을 수행하여 도 2의 오른쪽 사진과 같은 보정 영상을 생성한다.
이때, 회전 보정부(160)는 원 영상(x, y)의 각 화소를 하기의 수학식 1에 의해 산출된 위치(x', y')로 이동 배치함에 따라 회전 보정을 수행하여 보정 영상(도 2의 오른쪽 사진)을 출력할 수 있다.
Figure 112016050859569-pat00001
그런데, 도로 곡률, 경사 또는 운전행동 등으로 차량이 주행중인 자차의 주행차선에 순간적으로 평행을 이루지 못하는 경우 등에는 차선 인식부(150)가 차선을 인식하지 못할 수 있다. 이러한 경우에, 회전 보정부(160)는 이전에 인식된 차선과 차량의 조향정보를 기반으로 차선 위치를 판단할 수 있다. 이때, 차선 인식 기술은 종래 기술로부터 도출 가능한 구성이므로, 더 세부적인 설명은 생략하기로 한다.
예를 들어, 회전 보정부(160)는 차선 및 차량 폭 중 적어도 하나를 기반으로 차선을 표현하는 직선의 x 값인 n1, n2을 결정할 수 있다(도 2의 오른쪽 사진 참조).
다시 도 1로 돌아가서, 제2 움직임 검출부(122)는 보정 영상의 연속 프레임에서 움직임 성분을 검출한다. 이때, 제2 움직임 검출부(122)는 제1 움직임 검출부(121)에 의해 산출된 유효 움직임 성분을 보정 영상 위에 투영시켜 추가적인 움직임 정보로 이용할 수도 있다.
이러한, 제2 움직임 검출부(122)는 제1 움직임 검출부(121)와 동일 구성요소일 수도 있다.
차선기반 충돌판정부(170)는 제2 움직임 검출부(122)에 의해 검출된 움직임 성분을 이용하여 자차의 주행차선 내로 추월 및 합류하려는 차량이 존재하는지를 확인한다.
차선기반 충돌판정부(170)는 검출된 움직임 성분에 따른 움직임 벡터 중에서 차량 좌측방에 존재하는 움직임 벡터의 x좌표가 보정 영상으로부터 인식된 차량의 주행차선의 좌측 차선의 x좌표보다 큰 좌측방 차량이 끼어들기 상황인지를 확인한다. 또한, 차선기반 충돌판정부(170)는 검출된 움직임 성분 중에서 차량 우측방에 존재하는 움직임 벡터의 x좌표가 보정 영상으로부터 인식된 차량의 주행차선의 우측 차선의 x좌표보다 작은 우측방 차량의 끼어들기 상황이 발생하는지를 확인한다.
좌측방 차량 또는 우측방 차량의 끼어들기 상황임을 확인하면, 차선기반 충돌판정부(170)는 경보부(190)를 통해 차량 접근을 2차 경보 한다.
움직임기반 충돌판정부(180)는 각 움직임 벡터에서 종방향 속도와 횡방향 속도를 계산하고, 종방향 속도와 횡방향 속도 중 적어도 하나를 기반으로 자차의 주행차선으로 끼어드는 대상물체와의 충돌 가능성을 판정한다.
구체적으로, 도 3을 참조하면, 움직임기반 충돌판정부(180)는 제2 움직임 검출부(122)에서 검출된 움직임 벡터
Figure 112016050859569-pat00002
를 x, y 성분으로 분해하고, 하기의 수학식 2를 이용하여 종방향 속도 Vy와 횡방향 속도 Vx를 계산한다.
Figure 112016050859569-pat00003
Figure 112016050859569-pat00004
만약, 횡방향 속도가 기설정된 기준속도 이상이면, 움직임기반 충돌판정부(180)는 경보 출력 및 차량 감속 제어 중 적어도 하나를 지시한다. 구체적으로, 횡방향 속도 Vx가 기설정된 기준속도(Vth) 이상이면, 자차가 지나가기 전에 측방 차량이 자차로에 진입하여 충돌이 예상되므로, 3차 경보 및 긴급 감속 제어 중 적어도 하나를 지시할 수 있다.
이때, 기준속도는 자차 속도와 측방 차량의 종방향 속도를 TTC(Time to Correlation)에 기반해 고려하여 측방 차량이 자차에 부딪힐지 여부를 판단할 수 있는 기준치로서, 실험적으로 결정될 수 있다.
감속 제어를 수행하는 경우, 움직임기반 충돌판정부(180)는 종방향 속도 Vy를 기반으로 감속 제어를 위한 감속 양을 결정할 수 있다. 예를 들어, 움직임기반 충돌판정부(180)는 차량 속도가 종방향 속도 이하가 되도록 감속 양을 결정할 수 있다.
또는, 횡방향 속도가 기설정된 기준속도 미만이면, 움직임기반 충돌판정부(180)는 2차 경보의 출력 여부에 따라 별도의 제어 지시를 하지 않거나, 충돌 방지를 위한 제어를 지시한다
구체적으로, 횡방향 속도가 기설정된 기준속도 미만이면, 움직임기반 충돌판정부(180)는 차선기반 충돌판정부(170)에 의해 2차 경보가 지시되었는지를 확인한다.
확인결과, 2차 경고가 지시되었으면, 움직임기반 충돌판정부(180)는 차량 감속 제어, 경보 제어 및 차선 변경 제어 중 적어도 하나를 지시한다. 더 상세하게는, 횡방향 속도가 기설정된 기준속도 미만이면서, 이전에 2차 경고가 지시된 경우는 측방 차량이 이미 자차의 주행차선으로 진입했지만, 자차 전방으로 천천히 진입하여 자차와의 충돌이 예상되는 경우이다. 이에, 움직임기반 충돌판정부(180)는 자차에 대한 완만한 감속 제어 또는 진입하는 측방 차량의 반대쪽 차선으로 차선 변경을 지시하면서 경보부(190)를 통한 3차 경고를 지시할 수 있다.
반면, 2차 경고가 지시되지 않았으면, 움직임기반 충돌판정부(180)는 별다른 제어(감속, 경보 및 차선 변경)를 수행하지 않을 수 있다.
경보부(190)는 스피커, 부저 등의 소리를 출력하는 구성요소로서, 유효성 판정부, 차선기반 충돌판정부(170) 및 움직임기반 충돌판정부(180) 중 적어도 하나의 지시에 따라 운전자에게 소리로 위험을 경보한다. 또는, 경보부(190)는 화면(Display)이나, 햅틱(Haptic)일 수도 있다.
이와 같이, 본 발명의 실시예는 측방 차량이 자차의 차선으로 진입시도하기 전에 추월 및 합류 차량을 감지할 수 있어, 끼어들기로 인한 사고 발생률을 현저하게 낮출 수 있다.
또한, 본 발명의 실시예는 추월 및 합류 차량을 감지하면, 경보는 물론, 감속 제어나 차선 변경 제어 등의 적극적인 제어를 수행할 수 있도록 지원하여 운전자의 주의 부족 시에도 사고를 방지할 수 있다.
그뿐만 아니라, 본 발명의 실시예는 단안 영상을 이용하여 끼어들기 시도하는 차량을 감지할 수 있어, 스테레오 카메라, 라이더(Lidar) 또는 레이더(Radar) 등의 추가 센서 설치 등에 소요되는 비용과 노력을 절감할 수 있다.
이하, 도 4를 참조하여 본 발명의 실시예에 따른 추월 및 합류 차량 인식 방법에 대하여 설명한다.
도 4를 참조하면, 제1 영상 획득부(111)는 차량 전방을 촬영하여 영상 프레임을 생성한다(S400).
제1 움직임 검출부(121)는 제1 영상 획득부(111)로부터의 연속 영상 프레임을 입력받아, 움직임 성분을 검출한다(S410). 이때, 제1 움직임 검출부(121)는 각 영상 프레임에서 관심영역(예컨대, 좌측방 또는 우측방)을 지정하여 해당 관심영역에 대해서만 움직임 성분을 검출할 수 있다.
유효성 검출부(130)는 관심영역 내 유효한 움직임이 존재하는지를 확인한다(S420).
이때, 유효성 검출부(130)는 관심영역 내 주기적인 색 변화가 발생하는지를 인지할 수 있다. 또는, 유효성 검출부(130)는 관심영역 내 일정수 이상의 움직임이 있으면 유효 움직인 것으로 판단할 수 있다.
여기서, 유효성 검출부(130)는 관심영역 내 유효한 움직임을 감지하면, 경보부(190)를 통해 주변 차량 접근을 1차 경보할 수 있다(S510).
이후, 제2 영상 획득부(112)는 차량 전방 또는 차량 좌 또는 우 측방을 촬영하여 좌 측방 또는 우 측방 영상 프레임을 생성한다(S430).
이때, 제2 영상 획득부(112)가 제1 영상 획득부(111)와 마찬가지로 차량 전방을 촬영하는 경우, 제2 영상 획득부(112)는 제1 영상 획득부(111)로 대체될 수 있다.
IPM 영상 생성부(140)는 제2 영상 획득부(112)에 의해 생성된 각 영상 프레임에 대한 IPM 영상으로 변환한다(S440).
이어서, 회전 보정부(160)는 일 차선의 중심을 기준으로 IPM 영상을 회전시켜, 보정 영상 상에 차선이 그 수직축과 평행하도록 보정 영상을 생성한다(S450).
제2 움직임 검출부(122)는 보정 영상의 연속 프레임으로부터 움직임 성분을 검출한다(S460). 이때, 제2 움직임 검출부(122)는 제1 움직임 검출부(121)에 의해 검출된 유효 움직임을 보정 영상 위로 투영시켜 추가적인 움직임 정보로 사용할 수도 있다.
차선기반 충돌판정부(170)는 2차로 추출된 움직임 성분에서 자차의 좌측 차선 및 자차의 우측 차선 중 적어도 하나의 방향으로 자차의 주행차선에의 진입 시도가 있는지를 확인한다(S470).
자차의 주행차선에의 진입 시도의 존재 여부에 상관없이, 움직임기반 충돌판정부(180)는 전체 움직임 성분의 움직임 벡터를 검출하고, 각 움직임 벡터의 횡/종방향 속도를 계산한다(S480).
이어서, 움직임기반 충돌판정부(180)는 계산된 횡방향 속도가 기설정된 기준속도 이상인지를 확인한다(S490).
계산된 횡방향 속도가 기준속도 이상이면, 움직임기반 충돌판정부(180)는 감속 제어를 수행한다(S500). 이때, 움직임기반 충돌판정부(180)는 경보부(190)에 3차 경고를 지시할 수 있다(S510).
반면, 계산된 횡방향 속도가 기준속도 미만이면, 움직임기반 충돌판정부(180)는 자차의 주행차선에의 진입 시도가 있었는지 여부에 따라 감속 제어를 수행하거나, 별다른 제어를 수행하지 않을 수 있다.
구체적으로, 자차의 주행차선에의 진입 시도가 있었으면서 횡방향 속도가 기준속도 미만이면, 차선기반 충돌판정부(170)는 경보부(190)를 통해 차량 접근을 경고한다(S510).
또한, 자차의 주행차선에의 진입 시도가 없으면서, 횡방향 속도가 기준속도 미만이면, 차선기반 충돌판정부(170)는 별다른 제어를 지시하지 않는다.
이와 같이, 본 발명의 실시예는 측방 차량이 자차의 차선으로 진입시도하기 전에 추월 및 합류 차량을 감지할 수 있어, 끼어들기로 인한 사고 발생률을 현저하게 낮출 수 있다.
또한, 본 발명의 실시예는 추월 및 합류 차량을 감지하면, 경보는 물론, 감속 제어나 차선 변경 제어 등의 적극적인 제어를 수행할 수 있도록 지원하여 운전자의 주의 부족 시에도 사고를 방지할 수 있다.
그뿐만 아니라, 본 발명의 실시예는 단안 영상을 이용하여 끼어들기 시도하는 차량을 감지할 수 있어, 스테레오 카메라, 라이더(Lidar) 또는 레이더(Radar) 등의 추가 센서 설치 등에 소요되는 비용과 노력을 절감할 수 있다.
이상, 본 발명의 구성에 대하여 첨부 도면을 참조하여 상세히 설명하였으나, 이는 예시에 불과한 것으로서, 본 발명이 속하는 기술분야에 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 변형과 변경이 가능함은 물론이다. 따라서 본 발명의 보호 범위는 전술한 실시예에 국한되어서는 아니되며 이하의 특허청구범위의 기재에 의하여 정해져야 할 것이다.
10: 추월 및 합류 차량 인식 시스템
111, 112: 제1 및 제2 영상 획득부 121, 122: 제1 및 제2 움직임 검출부
130: 유효성 판정부 140: IPM 영상 생성부
150: 차선 인식부 160: 회전 보정부
170: 차선기반 충돌판정부 180: 움직임기반 충돌판정부
190: 경보부

Claims (15)

  1. 차량 전방 또는 측방 카메라에 의해 촬영된 단안 영상 영상의 연속 프레임에서 움직임 성분을 검출하는 제1 움직임 검출부;
    상기 단안 영상으로부터 검출된 움직임 성분에서 유효한 움직임이 있으면, 경보부를 통해 경보하는 유효성 검출부;
    상기 단안 영상을 IPM(Inverse Perspective Mapping) 영상으로 변환하는 IPM 영상 생성부;
    상기 IPM 영상의 연속 프레임에서 움직임 성분을 검출하는 제2 움직임 검출부;
    각 움직임 성분의 움직임 벡터에서 종방향 속도와 횡방향 속도를 계산하고, 계산된 상기 종방향 속도와 횡방향 속도 중 적어도 하나를 기반으로 차량의 주행차선으로 끼어드는 대상물체와의 충돌 가능성을 판정하는 움직임기반 충돌 판정부;를 포함하고,
    상기 유효성 검출부는,
    상기 단안 영상으로부터 검출된 움직임 성분이 존재하는 관심영역에서 주기적인 색 변화를 인지한 경우 상기 유효한 움직임이 있는 것으로 판정하는 것을 특징으로 하는 추월 및 합류(Cut-in) 차량 인식 시스템.
  2. 삭제
  3. 제1항에서, 상기 유효성 검출부는,
    상기 단안 영상으로부터 검출된 움직임 성분이 기설정된 일정면적 내 임계개수 이상의 움직임이 존재하는 경우 상기 유효한 움직임이 있는 것으로 판정하는 것인 추월 및 합류 차량 인식 시스템.
  4. 제1항에서,
    상기 전방 또는 측방 카메라의 중심을 회전중심으로 하여 상기 차량의 진행방향과 상기 IPM 영상으로부터 인식된 차선과 평행하도록 상기 IPM 영상을 회전시키는 회전 보정부
    를 더 포함하는 추월 및 합류 차량 인식 시스템.
  5. 제1항에서,
    각 움직임 벡터 중에서 상기 차량의 좌측방에 존재하는 움직임 벡터의 x좌표가 상기 IPM 영상으로부터 인식된 상기 차량의 주행차선의 좌측 차선의 x좌표보다 크거나, 상기 차량의 우측방에 존재하는 움직임 벡터의 x좌표가 상기 IPM 영상으로부터 인식된 상기 차량의 주행차선의 우측 차선의 x좌표보다 작은 끼어들기 상황이 발생하는지를 확인하고, 상기 끼어들기 상황이 발생하면 경보부를 통해 경보하는 차선기반 충돌 판정부;
    를 더 포함하는 추월 및 합류 차량 인식 시스템.
  6. 제5항에서, 상기 움직임기반 충돌 판정부는,
    상기 횡방향 속도가 기설정된 기준속도 미만이면, 상기 차선기반 충돌 판정부에 의해 상기 끼어들기 상황이 판정되었는지를 확인하고, 상기 끼어들기 상황이 판정되지 않았으면, 감속 및 경보 제어를 수행하지 않는 것인 추월 및 합류 차량 인식 시스템.
  7. 제5항에서, 상기 움직임기반 충돌 판정부는,
    상기 횡방향 속도가 기설정된 기준속도 미만이면, 상기 차선기반 충돌 판정부에 의해 상기 끼어들기 상황이 판정되었는지를 확인하고, 상기 끼어들기 상황이 판정되었으면, 차량 감속 제어, 경보 제어 및 차선 변경 제어 중 적어도 하나를 지시하는 것인 추월 및 합류 차량 인식 시스템.
  8. 제1항에서, 상기 움직임기반 충돌 판정부는,
    상기 횡방향 속도가 기설정된 기준속도 이상이면, 경보 출력 및 차량 감속 제어 중 적어도 하나를 지시하는 것인 추월 및 합류 차량 인식 시스템.
  9. 적어도 하나의 프로세서에 의한 추월 및 합류 차량 인식 방법으로서,
    제1 움직임 검출부가, 차량 전방 또는 측방 카메라에 의해 촬영된 단안 영상의 연속 프레임에서 움직임 성분을 검출하는 단계;
    유효성 검출부가, 상기 단안 영상으로부터 검출된 움직임 성분에서 유효한 움직임이 있으면, 경보부를 통해 경보하는 단계;
    IPM 영상 생성부가, 차량 전방 또는 측방 카메라에 의해 촬영된 단안 영상을 IPM(Inverse Perspective Mapping) 영상으로 변환하는 단계;
    움직임 검출부가, 상기 IPM 영상의 연속 프레임에서 움직임 성분을 검출하는 단계;
    움직임기반 충돌 판정부가, 각 움직임 성분의 움직임 벡터에서 종방향 속도와 횡방향 속도를 계산하는 단계;
    상기 움직임기반 충돌 판정부가, 계산된 상기 종방향 속도와 횡방향 속도 중 적어도 하나를 기반으로 차량의 주행차선으로 끼어드는 대상물체와의 충돌 가능성을 판정하는 단계;를 포함하고,
    상기 유효성 검출부가 상기 경보부를 통해 경보하는 단계는,
    상기 단안 영상으로부터 검출된 움직임 성분이 존재하는 영역에서 주기적인 색 변화가 발생하는 것을 바탕으로 수행되는 것을 특징으로 하는 추월 및 합류(Cut-in) 차량 인식 방법.
  10. 삭제
  11. 제9항에서, 상기 유효성 검출부가 상기 경보부를 통해 경보하는 단계는,
    상기 단안 영상으로부터 검출된 움직임 성분이 기설정된 일정면적 내 임계개수 이상의 움직임이 존재하는지를 확인하는 단계; 및
    상기 임계개수 이상의 움직임이 존재할 경우, 상기 경보부를 통해 경보하는 단계를 더 포함하는 것인 추월 및 합류 차량 인식 방법.
  12. 제9항에서,
    회전 보정부가, 상기 전방 또는 측방 카메라의 중심을 회전중심으로 하여 상기 차량의 진행방향이 상기 IPM 영상으로부터 인식된 차선과 평행하도록 상기 IPM 영상을 회전시켜 보정 영상을 생성하는 단계;
    차선기반 충돌 판정부가, 상기 보정 영상에서 생성된 각 움직임 벡터 중에서 상기 차량의 좌측방에 존재하는 움직임 벡터의 x좌표가 상기 IPM 영상으로부터 인식된 상기 차량의 주행차선의 좌측 차선의 x좌표보다 크거나, 상기 차량의 우측방에 존재하는 움직임 벡터의 x좌표가 상기 IPM 영상으로부터 인식된 상기 차량의 주행차선의 우측 차선의 x좌표보다 작은 끼어들기 상황이 발생하는지를 확인하는 단계; 및
    상기 차선기반 충돌 판정부가, 상기 끼어들기 상황이 발생하면 경보부를 통해 경보하는 단계
    를 더 포함하는 추월 및 합류 차량 인식 방법.
  13. 제12항에서, 상기 대상물체와의 충돌 가능성을 판정하는 단계는,
    상기 횡방향 속도가 기설정된 기준속도 미만이면, 상기 차선기반 충돌 판정부에 의해 상기 끼어들기 상황이 판정되었는지를 확인하는 단계; 및
    상기 끼어들기 상황이 판정되지 않았으면, 감속 및 경보 제어를 수행하지 않는 단계를 포함하는 것인 추월 및 합류 차량 인식 방법.
  14. 제12항에서, 상기 대상물체와의 충돌 가능성을 판정하는 단계는,
    상기 횡방향 속도가 기설정된 기준속도 미만이면, 상기 차선기반 충돌 판정부에 의해 상기 끼어들기 상황이 판정되었는지를 확인하는 단계; 및
    상기 끼어들기 상황이 판정되었으면, 차량 감속 제어, 경보 제어 및 차선 변경 제어 중 적어도 하나를 지시하는 단계를 포함하는 것인 추월 및 합류 차량 인식 방법.
  15. 제9항에서, 상기 대상물체와의 충돌 가능성을 판정하는 단계는,
    상기 횡방향 속도가 기설정된 기준속도 이상이면, 경보 출력 및 차량 감속 제어 중 적어도 하나를 지시하는 단계
    를 포함하는 것인 추월 및 합류 차량 인식 방법.
KR1020160064950A 2016-05-26 2016-05-26 단안 영상 기반 추월 및 합류 차량 인식 시스템 및 방법 Active KR102485318B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160064950A KR102485318B1 (ko) 2016-05-26 2016-05-26 단안 영상 기반 추월 및 합류 차량 인식 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160064950A KR102485318B1 (ko) 2016-05-26 2016-05-26 단안 영상 기반 추월 및 합류 차량 인식 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20170133756A KR20170133756A (ko) 2017-12-06
KR102485318B1 true KR102485318B1 (ko) 2023-01-05

Family

ID=60922512

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160064950A Active KR102485318B1 (ko) 2016-05-26 2016-05-26 단안 영상 기반 추월 및 합류 차량 인식 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102485318B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102281260B1 (ko) * 2019-12-05 2021-07-23 주식회사 만도 차체 제어 장치 및 방법
CN113465573A (zh) * 2021-06-30 2021-10-01 深圳市优必选科技股份有限公司 单目测距方法、装置及智能装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011113340A (ja) * 2009-11-27 2011-06-09 Daihatsu Motor Co Ltd 障害物認識装置
JP2015035055A (ja) * 2013-08-08 2015-02-19 日産自動車株式会社 移動物体進入判定装置及び移動物体進入判定方法
JP2015090499A (ja) * 2013-11-05 2015-05-11 日産自動車株式会社 物体検出装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101428094B1 (ko) * 2008-09-17 2014-08-07 현대자동차주식회사 차선이 표시된 측방/후방 영상 제공 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011113340A (ja) * 2009-11-27 2011-06-09 Daihatsu Motor Co Ltd 障害物認識装置
JP2015035055A (ja) * 2013-08-08 2015-02-19 日産自動車株式会社 移動物体進入判定装置及び移動物体進入判定方法
JP2015090499A (ja) * 2013-11-05 2015-05-11 日産自動車株式会社 物体検出装置

Also Published As

Publication number Publication date
KR20170133756A (ko) 2017-12-06

Similar Documents

Publication Publication Date Title
JP7397807B2 (ja) ライダー支援システム及び方法
JP5345350B2 (ja) 車両の運転支援装置
CN106485233B (zh) 可行驶区域检测方法、装置和电子设备
JP6611353B2 (ja) 画像処理装置、外界認識装置
KR101362324B1 (ko) 차선 이탈 경보 시스템 및 방법
CN102779430B (zh) 基于视觉的夜间后碰撞警告系统、控制器及其操作方法
CN107845104B (zh) 一种检测超车车辆的方法、相关处理系统、超车车辆检测系统以及车辆
JP5938569B2 (ja) 方位情報を考慮する高度運転者支援システム、及びその動作方法
JP5849040B2 (ja) 車両の運転支援制御装置
CN106663374B (zh) 信号机检测装置以及信号机检测方法
US9704404B2 (en) Lane detection apparatus and operating method for the same
JP6453192B2 (ja) 画像認識処理装置、及びプログラム
US10618467B2 (en) Stereo image generating method using mono cameras in vehicle and providing method for omnidirectional image including distance information in vehicle
KR101103526B1 (ko) 스테레오 카메라를 이용한 충돌회피 방법
CN202169907U (zh) 车外环境识别装置
CN106030679A (zh) 车辆周围监视装置
KR20170079096A (ko) 지능형 차량용 블랙박스
US9365195B2 (en) Monitoring method of vehicle and automatic braking apparatus
US20200247318A1 (en) Vehicle control device
CN108694363A (zh) 对车辆周围的行人进行检测的方法和装置
KR20150096924A (ko) 전방 충돌 차량 선정 방법 및 시스템
WO2017208601A1 (ja) 画像処理装置、外界認識装置
KR20120018614A (ko) 차선 변경 보조기능이 구비된 자동차 및 차선변경방법
KR102485318B1 (ko) 단안 영상 기반 추월 및 합류 차량 인식 시스템 및 방법
KR20210031011A (ko) 객체 인식 장치 및 그 방법

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20160526

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20201104

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20160526

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20220614

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20221129

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20230102

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20230103

End annual number: 3

Start annual number: 1

PG1601 Publication of registration