[go: up one dir, main page]

KR101143176B1 - 조감도를 이용한 주차구획 인식 방법, 장치 및 그를 이용한주차 보조 시스템 - Google Patents

조감도를 이용한 주차구획 인식 방법, 장치 및 그를 이용한주차 보조 시스템 Download PDF

Info

Publication number
KR101143176B1
KR101143176B1 KR1020060089335A KR20060089335A KR101143176B1 KR 101143176 B1 KR101143176 B1 KR 101143176B1 KR 1020060089335 A KR1020060089335 A KR 1020060089335A KR 20060089335 A KR20060089335 A KR 20060089335A KR 101143176 B1 KR101143176 B1 KR 101143176B1
Authority
KR
South Korea
Prior art keywords
parking
camera
bird
reference point
eye view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020060089335A
Other languages
English (en)
Other versions
KR20080024772A (ko
Inventor
정호기
Original Assignee
주식회사 만도
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 만도 filed Critical 주식회사 만도
Priority to KR1020060089335A priority Critical patent/KR101143176B1/ko
Priority to DE102007043110.6A priority patent/DE102007043110B4/de
Priority to US11/901,001 priority patent/US7659835B2/en
Publication of KR20080024772A publication Critical patent/KR20080024772A/ko
Application granted granted Critical
Publication of KR101143176B1 publication Critical patent/KR101143176B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0285—Parking performed automatically
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 조감도를 이용한 주차구획 인식 방법, 장치 및 그를 이용한 주차 보조 시스템에 관한 것이다.
본 발명은 카메라로부터 입력 영상을 전달받고, 사용자 인터페이스부로부터 기준점을 전달받으면, 입력 영상을 조감도로 변환하고, 조감도 상에서 거리에 대한 지향성 밝기변화도를 이용하여 다수 개의 표시선분과 다수 개의 표시선분의 방향을 추정하며, 다수 개의 표시선분 중에서 카메라로부터 기준점까지의 시선 방향과 교차하는 적어도 하나 이상의 표시선분 중 카메라와 더욱 가까운 표시선분을 안내선으로서 인식하며, 안내선과 수직한 방향으로 다수 개의 분할선분을 인식하고 안내선과 다수 개의 분할선분을 주차구획으로서 인식하는 주차구획 인식부를 포함하는 것을 특징으로 하는 조감도를 이용한 주차구획 인식 장치를 제공한다.
본 발명에 의하면, 운전자로부터 입력받은 기준점을 기초로 하여 주차구획을 정확하고 빠르게 인식할 수 있다.
차량, 주차, 구획, 조감도, 안내선, 분할선분, 기준점, 지향성, 밝기변화도

Description

조감도를 이용한 주차구획 인식 방법, 장치 및 그를 이용한 주차 보조 시스템{Method and Apparatus for Recognizing Parking Slot Marking by Using Bird's Eye View and Parking Assist System Using Same}
도 1은 본 발명의 바람직한 실시예에 따른 조감도를 이용한 주차 보조 시스템을 간략하게 나타낸 블록 구성도,
도 2는 본 발명의 바람직한 실시예에 따른 조감도를 이용한 주차구획 인식 방법을 설명하기 위한 순서도,
도 3은 본 발명의 바람직한 실시예에 따라 기준점을 지정하는 과정을 나타낸 예시도,
도 4는 조감도 변환 과정을 설명하기 위한 예시도,
도 5는 조감도 상에서 안내선과 분할선분을 나타낸 예시도,
도 6은 조감도 상에서 기준점으로부터 카메라까지의 벡터를 나타낸 예시도,
도 7은 기준점과 카메라 사이의 밝기를 예시적으로 나타낸 예시도,
도 8은 기준점과 카메라 사이의 밝기변화도를 예시적으로 나타낸 예시도,
도 9는 임계값과 인식된 양의 피크를 나타낸 예시도,
도 10은 인식된 양의 피크에 대응하는 위치를 조감도 상에 나타낸 예시도,
도 11은 교점 주변 윈도우의 밝기와 지향성 밝기변화도른 나타낸 예시도,
도 12는 지향성 밝기변화도를 3 차원으로 나타낸 예시도,
도 13은 fitnessridge(φ)를 0~180° 범위 내에서 구한 결과를 나타낸 예시도,
도 14는 코사인 함수의 파라미터를 성공적으로 추정하는 모습을 나타낸 예시도,
도 15는 추정된 표시선분의 방향을 이용하여 성공적으로 표시선분의 방향을 추정한 모습을 나타낸 예시도,
도 16은 모서리 추적의 수행 과정을 설명하기 위한 예시도,
도 17은 모서리 추적의 결과를 나타낸 예시도,
도 18은 검출된 표시선분들 중에서 안내선을 인식한 결과를 나타낸 예시도,
도 19는 Ion(s), Ioff(s)의 탐색 과정을 나타내는 예시도,
도 20은 Pselection을 시점으로 양방향으로 Ion(s)와 Ioff(s)를 계산한 결과를 나타낸 예시도,
도 21은 Pselection을 시점으로 양방향으로 Lseparating(s)를 탐색한 결과를 나타낸 예시도,
도 22는 분할선분을 인식한 결과를 나타낸 예시도,
도 23은 조감도 상에서의 인식된 주차구획을 나타낸 예시도,
도 25는 실험을 위한 장비 장착을 나타낸 예시도,
도 26은 주변의 주차구획에 다른 차량이 존재하는 경우의 주차구획 인식 과정을 나타낸 예시도,
도 27은 양옆의 주차구획에 차량이 존재하고 역광인 경우의 주차구획 인식 과정을 나타낸 예시도,
도 28은 영상 부분들의 밝기에 많은 차이가 있는 경우의 주차구획 인식 과정을 나타낸 예시도이다.
< 도면의 주요 부분에 대한 부호의 설명 >
100: 주차 보조 시스템 110: 목표 주차 위치 설정부
112: 카메라 114: 주차구획 인식부
116: 사용자 인터페이스부 120: 감지부
130: 주차 보조 제어부 132: 경로 계획 생성부
134: 경로 추적 제업 136: 위치 추정부
140: 능동 조향부
본 발명은 조감도를 이용한 주차구획 인식 방법, 장치 및 그를 이용한 주차 보조 시스템에 관한 것이다. 더욱 상세하게는, 차량에서 컴퓨터 비전(Computer Vision) 기반으로 주차구획을 인식하는 데 있어서, 운전자로부터 기준점을 입력받아 카메라로부터 기준점까지의 선분 상에서 지향성 밝기변화도를 이용하여 표시선분을 인식하고, 지향성 밝기변화도의 특성을 이용하여 표시선분의 방향을 추정하며, 모서리 추적을 통해 표시선분의 방향을 정밀화하며, 카메라로부터 기준점까지 의 시선 방향과 교차하는 표시선분들 중에서 카메라로부터 가까운 표시선분을 안내선으로서 인식한 후, 안내선 방향으로 분할선분을 인식함으로써 정확한 주차구획을 인식하는 주차구획 인식 방법, 장치 및 그를 이용한 주차 보조 시스템에 관한 것이다.
반자동주차시스템은 주차 과정에 필요한 조향 조작을 자동화한 운전자의 편의를 위한 장치이다. 운전자들은 주차 보조 시스템에 대한 관심이 크기 때문에, 주요 자동차의 제조사 및 부품 회사들은 다양한 형태의 주차 보조 시스템을 개발하고 있다.
이러한 주차 보조 시스템을 이용하여 주차하는 경우에는 최우선으로 주차하고자 하는 목표 주차위치를 선정하는 것이 필수적이다. 따라서, 많은 자동차의 제조사 및 부품 회사들은 주차하고자 하는 목표 주차위치를 선정하는 방법에 대한 연구를 계속하고 있다.
목표 주차위치를 선정하는 방법으로서는 레이져 스캐너(Razer Scanner)를 이용하여 빈 주차 공간을 인식하는 방법, 단거리 레이더(SRR: Short Range Radar)의 네트워크를 이용하는 방법, 컴퓨터 비전(Computer Vision)을 이용하는 방법, 위성항법장치(GPS: Flobal Positioning System)와 디지털 맵(Digital Map)을 이용하는 방법과 운전자가 수동으로 지정하는 방법 등이 있다.
토요타(Toyota)와 아신 세이키(AISIN SEIKI)가 2003년에 양산한 프리우스 지능형 주차 보조 시스템(Prius IPAS: Prius Intelligent Parking Assist System)은 운전자가 수동으로 목표 주차위치를 지정하는 반자동 주차 보조 시스템이다.
컴퓨터 비전을 이용하는 방법은 운전자에게 주차과정을 영상으로 보여줄 수 있는 장점이 있어 최근 크게 주목 받고 있다. 컴퓨터 비전을 이용하는 방법에는 주변의 차량을 인식하는 방법, 주차구획의 표시를 인식하는 방법과 주변 차량과 주차구획의 표시 모두를 인식하는 방법 등이 있다. 니코 캠프첸(Nico Kaempchen)은 스테레오 비전(Stereo Vision) 기반으로 주변 차량을 인식하여 빈 주차 공간을 인식하는 방법을 개발하였다. 진쭈(Jin Xu)는 신경 회로망(Neural Network)를 이용하는 단안시(Monocular Vision)를 기반으로 한 주차구획의 표시를 인식하는 기술을 개발하였다.
또한, 이외에도 주변 차량을 고려한 입체시(Stereo Vision)를 기반으로한 주차구획 표시 인식 시스템이 개발되었고, 최근에는 아신 세이키에서 모션 스테레오(Motion Stereo)를 이용하여 주변 차량을 3 차원적으로 인식하고 운전자에게 주차과정을 이해하기 쉬운 관점에서 바라 본 영상을 중간 시점 재구성(IVR: Intermediate View Reconstruction)을 통하여 제공하는 기술을 개발하고 있는 실정이다. 이러한 목표 주차위치의 선정에 관한 기술들은 주차위치를 더욱 정확하고 빠르게 인식하기 위한 것으로서, 각각 나름대로의 장점과 단점을 내재한다.
따라서, 운전자의 간단한 조작만으로도 목표 주차위치를 더욱 정확하고 더욱 빠르게 선정하여 인식할 수 있는 주차구획의 인식 기술의 개발이 요구된다.
이러한 요구에 부응하기 위해 본 발명은, 차량에서 컴퓨터 비전 기반으로 주차구획을 주차구획을 인식하는 데 있어서, 운전자로부터 기준점을 입력받아 카메라 로부터 기준점까지의 선분 상에서 지향성 밝기변화도를 이용하여 표시선분을 인식하고, 지향성 밝기변화도의 특성을 이용하여 표시선분의 방향을 추정하며, 모서리 추적을 통해 표시선분의 방향을 정밀화하며, 카메라로부터 기준점까지의 시선 방향과 교차하는 표시선분들 중에서 카메라로부터 가까운 표시선분을 안내선으로서 인식한 후, 안내선 방향으로 분할선분을 인식함으로써 정확한 주차구획을 인식하는 주차구획 인식 방법, 장치 및 그를 이용한 주차 보조 시스템을 제공하는 데 그 목적이 있다.
이러한 목적을 달성하기 위해 본 발명은, 차량에서 주차 공간을 촬영하여 입력 영상을 생성한 후 전달하는 카메라와 운전자로부터 주차 공간 중 주차하고자 하는 기준점을 입력받아 전달하는 사용자 인터페이스부를 구비하여 주차구획을 인식하는 장치에 있어서, 카메라로부터 입력 영상을 전달받고, 사용자 인터페이스부로부터 기준점을 전달받으면, 입력 영상을 조감도로 변환하고, 조감도 상에서 거리에 대한 지향성 밝기변화도를 이용하여 다수 개의 표시선분과 다수 개의 표시선분의 방향을 추정하며, 다수 개의 표시선분 중에서 카메라로부터 기준점까지의 시선 방향과 교차하는 적어도 하나 이상의 표시선분 중 카메라와 더욱 가까운 표시선분을 안내선으로서 인식하며, 안내선의 방향으로 다수 개의 분할선분을 인식함으로써 안내선과 다수 개의 분할선분을 주차구획으로서 인식하는 주차구획 인식부를 포함하는 것을 특징으로 하는 조감도를 이용한 주차구획 인식 장치를 제공한다.
또한, 본 발명의 다른 목적에 의하면, 차량에서 주차 공간을 촬영하여 입력 영상을 생성한 후 전달하는 카메라 및 운전자로부터 주차 공간 중 주차하고자 하는 기준점을 입력받아 전달하는 사용자 인터페이스부와 연결되어 주차구획을 인식하는 주차구획 인식부에서, 주차구획을 인식하는 방법에 있어서, (a) 입력 영상과 기준점을 전달받고, 입력 영상을 조감도로 변환하는 단계; (b) 조감도 상에서 거리에 대한 지향성 밝기변화도를 이용하여 다수 개의 표시선분과 다수 개의 표시선분의 방향을 추정하는 단계; (c) 다수 개의 표시선분 중에서 카메라로부터 기준점까지의 시선 방향과 교차하는 적어도 하나 이상의 표시선분 중 카메라와 더욱 가까운 표시선분을 안내선으로서 인식하는 단계; 및 (d) 안내선의 방향으로 다수 개의 분할선분을 인식함으로써 안내선과 다수 개의 분할선분을 주차구획으로서 인식하는 단계를 포함하는 것을 특징으로 하는 조감도를 이용한 주차구획 인식 방법을 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 주차구획을 인식하여 차량의 주차를 보조하는 주차 보조 시스템에 있어서, 카메라와 사용자 인터페이스를 구비하고, 카메라로부터 입력 영상을 전달받고, 사용자 인터페이스부로부터 기준점을 전달받으면, 입력 영상을 조감도로 변환하고, 조감도 상에서 거리에 대한 지향성 밝기변화도를 이용하여 다수 개의 표시선분과 다수 개의 표시선분의 방향을 추정하며, 다수 개의 표시선분 중에서 카메라로부터 기준점까지의 시선 방향과 교차하는 적어도 하나 이상의 표시선분 중 카메라와 더욱 가까운 표시선분을 안내선으로서 인식하며, 안내선의 방향으로 다수 개의 분할선분을 인식함으로써 안내선과 다수 개의 분할선분을 주차구획으로서 인식하여 목표주차구획을 전달하는 주차구획 인식부; 차량의 운전상황을 인식하기 위한 다수 개의 센서를 구비하여 차량의 운전상황정보를 생성하여 전달하는 감지부; 감지부로부터 운전상황에 대한 정보를 수신하여 차량의 위치를 추정하며, 목표주차구획을 전달받아 주차구획으로 주차하기 위한 경로 계획을 생성하고 위치를 고려하여 주차구획으로 주차하기 위한 제어 신호를 생성하여 전달하는 주차 보조 제어부; 및 제어 신호를 수신하면 제어 신호에 따라 차량을 운전하는 능동 조향부를 포함하는 것을 특징으로 하는 조감도를 이용한 주차보조 시스템을 제공한다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
도 1은 본 발명의 바람직한 실시예에 따른 조감도를 이용한 주차 보조 시스템을 간략하게 나타낸 블록 구성도이다.
본 발명의 바람직한 실시예에 따른 조감도를 이용한 주차 보조 시스템(100)은 목표 주차 위치 설정부(110), 감지부(120), 주차 보조 제어부(130) 및 능동 조향부(140)를 포함한다.
목표 주차 위치 설정부(110)는 카메라(112), 주차구획 인식부(114) 및 사용자 인터페이스부(116)를 포함하여, 카메라(112)에서 주차 공간을 촬영한 입력 영상과 운전자가 사용자 인터페이스부(116)를 이용하여 주차하고자 하는 주차 위치를 지정한 기준점을 이용하여 주차구획을 인식하고 운전자가 주차하고자 하는 목표주차구획을 설정하여 전달하는 수단이다.
본 발명의 바람직한 실시예에 따른 카메라(112)는 주차 공간을 촬영하여 입력 영상을 생성한 후 전달한다.
본 발명의 바람직한 실시예에 따른 주차구획 인식부(114)는 카메라(112)로부터 입력 영상을 전달받고 사용자 인터페이스부(116)로부터 기준점을 입력받으면, 입력 영상을 조감도로 변환하고, 조감도 상에서 거리에 대한 지향성 밝기변화도를 측정하여 다수 개의 표시선분과 다수 개의 표시선분의 방향을 추정하며, 다수 개의 표시선분 중에서 카메라(112)로부터 기준점까지의 시선 방향과 교차하는 적어도 하나 이상의 표시선분 중 카메라(112)와 더욱 가까운 표시선분을 안내선으로서 인식하며, 안내선의 방향으로 다수 개의 분할선분을 인식함으로써 안내선과 다수 개의 분할선분을 주차구획으로서 인식한 후, 목표주차구획을 생성하여 설정하고 주차 보조 제어부(130)로 전달한다. 또한, 주차구획 인식부(114)는 필요한 경우, 주차구획을 인식한 결과를 출력 영상으로 생성하여 사용자 인터페이스부(116)로 전달할 수 있다.
이를 위해, 본 발명의 바람직한 실시예에 따른 주차구획 인식부(114)는 주차 구획을 인식하기 위한 알고리즘의 소프트웨어 및 데이터를 저장하는 메모리와 메모리에 저장된 프로그램을 실행하여 주차구획을 인식하는 마이크로프로세서 등을 구비한다.
본 발명의 바람직한 실시예에 따른 사용자 인터페이스(116)는 입력 영상이 전달되면 구비한 화면에 출력하고, 운전자로부터 기준점이 입력되면 기준점을 주차구획 인식부(114)로 전달하며, 출력 영상이 전달되면 화면에 출력한다. 이를 위해 본 발명의 바람직한 실시예에 따른 사용자 인터페이스(116)는 액정화면(LCD: Liquid Crystal Display), 터치패드(Touch Pad), 키보드 등을 구비한다.
감지부(120)는 다수 개의 센서 즉, 차륜속 센서, 조향각 센서, 요레이트(Yaw Rate) 센서, 가속도 센서 등을 구비하여 차량의 운전 상황을 감지하고 그에 따른 전기적인 신호인 감지 신호를 주차 보조 제어부(130)의 위치 추정부(138)로 전달한다.
주차보조 제어부(130)는 경로 계획 생성부(132), 경로 추적 제어부(134), 위치 추정부(136)를 포함하여, 목표 주차 위치 설정부(110)로부터 전달된 목표주차구획을 이용하여 주차하기 위한 경로 계획을 설정하고, 차량의 위치와 운전 상황을 고려하고 설정한 경로 계획을 추적하여 차량을 목표주차구획에 주차하도록 제어하기 위한 제어 신호를 생성한 후 능동 조향부(140)로 전달한다.
능동 조향부(140)는 운전자의 조향 입력에 대해 각종 센서와 제어 장치를 이용하여 조향의 안전성을 획득할 수 있도록 조향을 유도하는 조향 보조 장치로서, 주차보조 제어부(130)로부터 전달된 제어 신호에 따라 차량을 제어한다.
여기서, 감지부(120), 주차보조 제어부(130) 및 능동 조향부(140)는 통상적인 자동 주차 시스템 또는 반자동 주차 시스템의 역할 및 기능과 동일 또는 유사하므로, 그에 대한 상세한 설명은 생략한다.
도 2는 본 발명의 바람직한 실시예에 따른 조감도를 이용한 주차구획 인식 방법을 설명하기 위한 순서도이다.
카메라(112)에서 주차 공간을 촬영하여 입력 영상을 생성한 후, 주차구획 인식부(114)로 전달하면, 주차구획 인식부(114)는 입력 영상을 사용자 인터페이스부(116)로 전달하고, 사용자 인터페이스부(116)는 운전자로부터 기준점을 입력받아 주차구획 인식부(114)로 전달한다(S210).
주차구획 인식부(114)는 입력영상을 조감도로 변환하고(S220), 조감도 상의 기준점으로부터 카메라까지를 연결하는 선분 상에서 지향성 밝기변화도를 측정하고 지향성 밝기변화도의 값이 기 설정된 임계값 이상을 갖는 양의 피크를 갖는 지점을 검출하여 기준점으로부터 양의 피크를 갖는 지점을 다수 개의 표시선분 각각에 대한 표시선분 교점으로서 인식한다(S230). 여기서, 임계값은 기준점과 카메라를 연결하는 선분 상의 밝기의 최대값에서 평균값을 뺀 후 일정한 정수(예를 들어, 3)으로 나눈 값이 될 수 있다.
다수 개의 표시선분에 대한 표시선분 교점을 인식한 주차구획 인식부(114)는 기준점과 카메라 간을 연결하는 선분과 다수 개의 표시선분들 간의 교점인 표시선분 교점의 주변에서 지향성 밝기변화도를 측정하고, 표시선분 교점 주변의 지향성 밝기변화도의 값이 이루는 산등성이(Ridge)의 방향을 추정하고, 추정한 산등성이 방향을 다수 개의 표시선분의 방향으로서 추정한다(S240).
다수 개의 표시선분의 방향을 추정한 주차구획 인식부(114)는 기준점과 카메라 간을 연결하는 선분과 다수 개의 표시선분 간의 교점(즉, 다수 개의 표시선분 교점)과 표시선분의 방향을 근거로 표시선분 각각에 대한 모서리 추적(Edge Following)을 수행함으로써 다수 개의 표시선분의 방향을 재추정하여 표시선분의 방향을 정밀화한다(S250).
표시선분의 방향을 정밀화한 주차구획 인식부(114)는 카메라(112)로부터 기준점까지의 시선 방향과 교차하는 표시선분들 중에서 카메라(112)로부터 가장 가까운 표시선분을 안내선으로서 인식한다(S260).
안내선을 인식한 주차구획 인식부(114)는 기준점을 안내선 위로 사영한 점으로부터 안내선의 방향의 단위 벡터의 양방향으로 검색하여 'T'자형 템플리트 매칭('T' Shape Template Matching)을 수행함으로써 안내선과 수직한 방향인 다수 개의 분할선분을 인식한다(S270).
다수 개의 분할선분을 인식한 주차구획 인식부(114)는 안내선과 다수 개의 분할선분을 주차구획으로서 인식하고, 목표주차구획을 주차 보조 제어부(130)로 전달하고, 필요한 경우 주차구획을 인식한 조감도를 출력 영상으로 변환하여 사용자 인터페이스부(116)로 전달하여, 사용자 인터페이스부(116)에서 출력 영상을 출력한다(S280).
이하에서는 본 발명의 바람직한 실시예에 따른 목표 주차 위치 설정부(110) 특히, 주차 구획 인식부(114)에서 입력 영상으로부터 주차구획을 인식하는 과정에 대해 상세히 설명한다.
도 3은 본 발명의 바람직한 실시예에 따라 기준점(Seed Point)을 지정하는 과정을 나타낸 예시도이다.
본 발명은 운전자가 사용자 인터페이스부(116)의 터치 스크린 등을 이용하여 주차 공간 내에서 주차하고자 하는 임의의 지점 즉, 기준점을 지정하면, 주차구획 인식부(114)에서 기준점을 근거로 주차구획을 인식하는 기술에 대한 것이다. 즉, 카메라(112)가 주차 공간을 촬영하여 입력 영상을 생성하고, 사용자 인터페이스부(116)에서 입력 영상을 출력하면, 운전자가 기준점을 입력함으로써 주차구획의 인식 과정이 수행된다. 이와 같이, 입력 영상에서 기준점이 지정되면 입력 영상을 조감도로 변환하여 주차구획을 인식한다.
1. 조감도 구조(Bird's Eye View Construction)
입력 영상의 어안렌즈 왜곡을 보정하고 호모그래피(Homography)를 이용하여 조감도로 변환한다. 주차 과정에서 넓은 시야(FOV: Field Of View)를 확보하기 위하여, 카메라는 어안렌즈 또는 광각렌즈(Wide Angle Lens)를 사용한다.
도 4는 조감도 변환 과정을 설명하기 위한 예시도이다.
4A는 카메라에서 주차 공간을 촬영하여 생성한 입력 영상을 나타낸 것이고, 4B는 입력 영상을 변환한 왜곡 보정 영상을 나타낸 것이며, 4C는 왜곡 보정 영상을 변환한 조감도를 나타낸 것이다. 4A에 도시된 바와 같이, 어안렌즈를 통하여 입력된 영상은 넓은 시야를 제공하는 대신 심한 왜곡을 포함하고 있다. 어안렌즈에 의한 입력 영상의 왜곡은 주로 영상의 중심으로부터의 거리에 대하여 정의되는 방사 왜곡(Radial Distortion)에 의한 것이다. 어안렌즈의 왜곡을 캘테크 캘리브레이션 툴박스(Caltech Calibration Toolbox)을 이용하여 5차 다항식으로 모델링하고 왜곡계수를 이용한 매핑(Inverse Mapping) 역시 5차 다항식으로 근사화함으로써, 4B에 도시한 바와 같은 왜곡 보정 영상을 얻을 수 있다.
또한, 지표면에 대한 카메라의 높이와 각도를 이용하여 왜곡 영상과 조감도 좌표를 일대일로 대응시키는 호모그래피(Homography)를 계산할 수 있다. 여기서, 조감도란 영상 내의 모든 물체가 지표면에 붙어 있다고 가정하고, 하늘에서 바라볼 때의 영상을 의미한다. 통상적인 핀홀(Pin-Hole) 카메라 모델은 거리에 따라서 그 크기가 변화하는 원근 왜곡(Perspective Distortion)을 포함한다. 반면, 조감도는 지표 상의 물체에 대한 원근 왜곡을 제거하기 때문에, 지표 상의 물체를 인식하는데 적합하다. 4B에 도시한 왜곡 보정 영상을 호모그래피를 이용하여 변환하면 4C에 도시한 바와 같은 조감도를 얻을 수 있다. 본 발명에서 이후의 모든 영상 처리는 조감도 상에서 이루어 진다.
2. 안내선 인식(Guideline Recognition)
주차구획은 안내선과 분할선분(Separating Line-Segment)들로 구성된다. 주차구획을 인식하기 위해선, 주차구획과 도로부분을 구별하는 주차구획표시선분을 인식해야 한다. 주차구획표시선분이 나머지 인식과정의 기준이 되기 때문에, 안내선이라고 부른다.
도 5는 조감도 상에서 안내선과 분할선분을 나타낸 예시도이다.
각각의 주차구획은 도 5에 도시한 바와 같이, 안내선에 수직인 선분들에 의하여 구별되는데, 이를 분할선분이라고 부른다.
삭제
3.1 지향성 밝기변화도를 이용한 주차구획표시선분 인식
운전자가 지정한 기준점(Seed Point)과 카메라를 잇는 선분 상에서, 지향성 밝기변화도(Directional Intensity Gradient)를 이용하여 주차구획표시선분들을 인 식한다.
도 6은 조감도 상에서 기준점으로부터 카메라까지의 벡터를 나타낸 예시도이다.
도 6에 도시한 바와 같이, 기준점으로부터 카메라까지의 벡터를 vseed point-camera로 가정하고, 해당 단위벡터를 useed point-camera로 가정하면, 도 6에 도시한 벡터는 기준점으로부터 카메라까지 선분 상의 픽셀(Pixel)들의 명암(Intensity)를 픽셀 단위길이 s에 대하여 표시한 것이다. 이때, 시작점 ps와 벡터 u가 결정된 경우, ps 에서 u 방향으로 s만큼 떨어진 점의 명암인 I(pBs+s?u)는 I(s)로서 간단히 표현된다.
도 7은 기준점과 카메라 사이의 밝기를 예시적으로 나타낸 예시도이다.
도 7에 도시한 바와 같이, 기준점으로부터 카메라까지의 벡터인 vseed point-camera가 조감도 상에서 두 개의 표시선분을 가로질러 감에 따라, 표시선분의 폭만큼의 거리를 갖는 두 개의 피크(Peak)가 발생함을 알 수 있다.
Figure 112006066590815-pat00001
수학식 1은 임의의 점인 p(x, y)의 벡터 u에 대한 지향성 밝기변화도인 dI(p, u)를 정의한 방정식이다. 시작점인 ps에서 벡터 u 방향으로 s 픽셀 길이만큼 떨어진 임의의 점의 벡터 u에 대한 지향성 밝기변화도는 dI(ps+s?u, u)와 같이 계 산할 수 있다. dI(ps+s?u, u)는 ps, u가 결정된 경우에는 dI(s)와 같이 간단히 표현할 수 있다.
만일, 카메라가 지면에 대하여 고정된 높이와 각도를 유지한다면, 지면 상에 그려진 표시선분은 조감도 상에서 비교적 일정한 폭인 W를 가질 것이다. 따라서, 본 발명에서는 지향성 밝기변화도를 W/2 길이의 평균밝기를 사용하도록 정의함으로써, 잡음에 강인하면서도 모서리(Edge)를 안정적으로 검출한다.
도 8은 기준점과 카메라 사이의 밝기변화도를 예시적으로 나타낸 예시도이다.
도 8은 기준점 pseed point에서 useed pointcamera 방향으로의 지향성 밝기변화도인 dI(s)를 구한 결과를 나타낸 것이다. 도 8에 도시한 바와 같이, 표시선분의 카메라쪽의 모서리는 양의 피크(Positive Peak)로 나타나고, 카메라로부터 먼 쪽의 모서리는 음의 피크(Negative Peak)로 나타남을 알 수 있다. 표시선분의 카메라쪽 모서리가 모서리 추적(Edge Following)이 용이하기 때문에, 양의 피크를 표시선분 교점의 위치로 인식한다. 양의 피크를 인식하기 위한 임계값 θpositive peak는 수학식 2와 같이 기준점으로부터 카메라까지의 선분의 밝기의 최대값과 평균값을 고려하여 설정한다. 적응적으로 임계값이 설정되면, 조명 조건에 무관하게 표시선분 교점을 검출할 수 있다.
Figure 112006066590815-pat00002
도 9는 임계값과 인식된 양의 피크를 나타낸 예시도이다.
전술한 바와 같이 설정된 임계값에 의해 인식된 양의 피크는 도 9에 도시한 바와 같다.
도 10은 인식된 양의 피크에 대응하는 위치를 조감도 상에 나타낸 예시도이다.
도 9에 도시한 바와 같이 인식된 양의 피크를 이용하여 조감도 상에서 위치를 표현하면 도 10과 같이 나타낼 수 있다. 도 10과 같은 조감도 상에서 잘못 검출된 표시선분이 있다면 후술할 모서리 추적을 통해 제거한다.
3.2 표시선분 방향 추정
검출된 표시선분 교점은 기준점으로부터 카메라까지의 선과 표시선분의 교점에 대한 정보만을 가지고 있다. 이 교점 주변의 지향성 밝기변화도가 모서리를 따라 산등성이(Ridge)를 이루는 점을 이용하여, 산등성이의 방향을 추정함으로써 모서리의 방향을 추정할 수 있다.
중심점 pc(xc,yc)에 대하여 (dx,dy) 만큼의 변위를 가지는 점의 u 방향에 대한 지향성 밝기변화도는 dI(pc+(dx,dy),u)로 계산할 수 있다. pc와 u가 결정된 경우엔, dI(pc+(dx,dy),u)는 dI(dx,dy)와 같이 간단히 표현한다. 검출된 교점 pcross을 중심으로 하는 (W+1)x(W+1) 윈도우(Windoe)에 대하여, 지향성 밝기변화도인 dI(pcross+(dx,dy),useed point-camera)를 구한다. 이때, dx,dy는 -W/2 내지 W/2의 범위를 가진다. 교점을 검출했던 경우와 같이, 지향성 평균을 사용하기 때문에 잡음에 강 인하다.
도 11은 교점 주변 윈도우의 밝기와 지향성 밝기변화도른 나타낸 예시도이다.
11A는 교점 주변의 윈도우의 밝기를 나타낸 것이고, 11B는 표시선분 교점주변의 지향성 밝기변환도를 그레이 레벨(Grey Level)로 나타낸 것이다.
도 12는 지향성 밝기변화도를 3 차원으로 나타낸 예시도이다.
도 12에 도시한 바와 같이, 지향성 밝기변화도인 dI(dx,dy)를 3 차원으로 표현하면, dI(dx,dy)가 모서리 방향으로 산등성이를 이루는 것을 알 수 있다.
교점을 중심으로 φ만큼 회전한 선이 산등성이의 방향과 일치하는 정도를 측정하는 fitnessridge(φ)를 수학식 3과 같이 정의하면, 최대값이 되는 φ를 산등성이의 방향으로 인식할 수 있다. 본 발명에서 제안하는 척도는 윈도우 중앙을 중심으로 φ만큼 회전한 선분 상의 지향성 밝기변화도의 합과 이와 수직한 선분 상의 지향성 밝기변화도 합의 차이이다.
Figure 112006066590815-pat00003
도 13은 fitnessridge(φ)를 0~180° 범위 내에서 구한 결과를 나타낸 예시도이다.
도 12에 도시한 바와 같은 지향성 밝기변화도에 대해 fitnessridge(φ)를 0~180° 범위 내에서 구하면 도 13과 같이 나타낼 수 있다.
도 13에 도시된 fitnessridge(φ)는 주파수 f0가 1/180°인 코사인(Cosine) 함수로 근사화할 수 있다. 산등성이의 방향은 fitnessridge(φ)가 최대값을 갖을 때의 φ로 인식할 수도 있으나, 잡음에 의한 영향을 최소화하기 위하여 수학식 4와 같이 정의된 코사인 함수의 추정된 위상(phase) 파라미터(Parameter)를 사용하는 것이 바람직하다.
Figure 112006066590815-pat00004
주파수가 알려진 코사인 함수의 크기와 위상 파라미터는 최대우도추정(MLE: Maximum Likelihood Estimation)에 의하여 수학식 5와 같이 추정된다.
Figure 112006066590815-pat00005
추정된 파라미터들을 이용하여, fitnessridge[n]의 값이 최대가 되는 n을 수학식 6과 같이 산등성이의 방향 추정치를 φridge로 인식한다.
Figure 112006066590815-pat00006
도 14는 코사인 함수의 파라미터를 성공적으로 추정하는 모습을 나타낸 예시도이다.
도 14에 도시한 바와 같이, 코사인 함수의 파라미터가 성공적으로 추정되었음을 알 수 있다.
도 15는 추정된 표시선분의 방향을 이용하여 성공적으로 표시선분의 방향을 추정한 모습을 나타낸 예시도이다.
도 14에 도시한 바와 같이, 코사인 함수의 파라미터를 추정하여 획득한 산등성이의 방향 추정치가 표시선분에서 카메라쪽 모서리의 방향과 거의 일치함을 알 수 있다.
3.3 모서리 추적을 통한 표시선분 방향의 정밀화
기준점으로부터 카메라까지의 선과 표시선분 사이 교점, 즉 표시선분 교점과 초기 모서리(Initial Edge) 방향을 근거로 모서리 추적을 실시하여, 표시선분의 방향을 정밀화하고 신뢰도를 평가한다. 초기 모서리 방향이 주어졌기 때문에, 수학식 1에서 정의한 지향성 밝기변화도를 사용할 수 있다.
따라서, 표시선분 방향의 모서리만을 선택적으로 고려하면서 모서리를 추적할 수 있다. 더욱이, W/2 길이의 평균 밝기를 사용하기 때문에, 잡음에 대하여 강인하다. 표시선분의 카메라쪽 모서리를 추적하면서, 새로이 인식되는 모서리를 기준으로 표시선분의 방향을 반복적으로 갱신한다.
도 16은 모서리 추적의 수행 과정을 설명하기 위한 예시도이다.
n+1 번째 모서리 위치 추정치 Pedge[n+1]는 수학식 7과 같이, 교점 pedge[0]과 n번째 모서리 방향 단위 벡터 uedge[n]으로 계산된다.
Figure 112006066590815-pat00007
여기서, ds는 양수의 상수로서, 탐색 간격의 길이를 말한다. 일단, Pedge[n+1]가 추정되면, 수학식 8과 같이 모서리에 대한 단위 수직 벡터 nedge[n] 방향으로 -W/2 내지 W/2 범위 내에서 지향성 밝기변화도인 dI(t)를 계산한다.
Figure 112006066590815-pat00008
dI(t)를 최대화하는 t를 tmax[n+1]이라 가정하면, pedge[n+1]은 수학식 9와 같이 계산된다.
Figure 112006066590815-pat00009
결과적으로, uedge[n+1]은 pedge[0]로부터 pedge[n+1]로 향하는 단위 벡터로 설정된다. 이때, 기준점으로부터 카메라까지의 방향이 아닌 인식된 모서리에 수직한 방향을 지향성 밝기변화도의 기준 방향으로 사용하는 것을 주의해야 한다.
전술한 바와 같은 탐색은 일정 횟수만큼 반복되지만, 수학식 10과 같이 새로운 모서리의 지향성 밝기변화도가 교점의 지향성 밝기변화도에 비하여 현저히(예 를 들어, 70 % 이하) 작아지면 중단한다. 모서리 추적이 성공한 횟수 또는 거리에 대한 임계치 θedge following보다 작은 교점은 표시선분이 아니라고 가정하여 제거한다.
Figure 112006066590815-pat00010
한편, 전술한 방법은 안내선이 비교적 긴 표시선분으로 보이며 안내선만이 모서리 추적을 거친 표시선분으로 인식하고자 하는 목표이기 때문에 정당화될 수 있다.
도 17은 모서리 추적의 결과를 나타낸 예시도이다.
각각의 교점에 대하여 모서리 추적을 수행한 결과, 도 17에 도시한 바와 같이, 최종적으로 추정된 표시선분의 방향이 결정된다.
3.4 안내선 인식
도 18은 검출된 표시선분들 중에서 안내선을 인식한 결과를 나타낸 예시도이다.
특정 시선 방향과 교차하는 표시선분들 중에서 카메라에 가까운 것이 안내선이라는 사실을 이용하여 안내선을 인식한다. 운전자가 지적한 기준점이 유효한 주차구획 내에 존재한다면, 기준점로부터 카메라까지의 선은 반드시 표시선분과 한번 이상 교차한다. 더욱이, 안내선이 주차구획과 도로를 구별하는 표시선분이기 때문에, 기준점으로부터 카메라까지의 방향에서 카메라에 가장 가까운 표시선분이 안내선임은 당연하다. 따라서, 도 18에 도시한 바와 같이, 모서리 추적을 거쳐 유효한 표시선분임이 밝혀진 교차점들 중에서 카메라로부터의 거리가 즉, │pcamera-pedge[0]│가 가장 작은 교차점에 해당하는 표시선분이 안내선이다.
4. 목표 주차구획(Target Parking Slot) 인식
기준점을 안내선 위로 사영(projection)시킨 점을 기준으로 안내선 방향으로 분할선분을 인식함으로써 운전자가 지정한 목표주차구획의 정확한 위치를 인식한다.
도 19는 Ion(s), Ioff(s)의 탐색 과정을 나타내는 예시도이다.
기준점 pseed point을 안내선 위로 사영한 점 pselection은 수학식 11과 같이 교차점 pcross와 안내선 방향의 단위벡터 uguideline으로 정의된다.
Figure 112006066590815-pat00011
pselection을 시작점으로 안내선의 방향인 uguideline의 양방향으로 검색하며, 'T"형 템플리트 매칭(Template Matching)을 실시하여 분할선분을 인식한다. 안내선 위 영역과 카메라에서 멀어지는 안내선 바깥 영역의 평균 밝기를 수학식 12, 수학식 13과 같이 각각 Ion(s), Ioff(s)로 정의한다. 이때, usearching는 uguideline 또는 - uguideline이고,분할선분의 방향을 나타내는 nguideline은 uguideline에 수직하고 카메라에서 멀어지는 방향의 단위벡터이다.
Figure 112006066590815-pat00012
Figure 112006066590815-pat00013
도 20은 Pselection을 시점으로 양방향으로 Ion(s)와 Ioff(s)를 계산한 결과를 나타낸 예시도이다.
20A는 -uGuideline 방향으로 탐색한 결과를 나타낸 것이고, 20B는 uGuideline 방향으로 탐색한 결과를 나타낸 것이다. 도 20에 도시한 Ion(s)와 Ioff(s)와 같이, 안내선과 분할선분이 만나는 'T' 교점(Junction) 근처에서 Ion(s)와 Ioff(s)가 비슷하고, 다른 부분에선 Ioff(s)가 Ion(s)에 비하여 월등히 작음을 알 수 있다. 따라서, 분할선분이 발견될 가능성인 Lseparating(s)는 수학식 14와 같이 정의되고, 임의의 임계치 θseparating보다 큰 첫번째 구간을 분할선분으로 인식한다.
Figure 112006066590815-pat00014
도 21은 Pselection을 시점으로 양방향으로 Lseparating(s)를 탐색한 결과를 나타낸 예시도이다.
21A는 -uGuideline 방향으로 탐색한 결과를 나타낸 것이고, 21B는 uGuideline 방향으로 탐색한 결과를 나타낸 것이다. 수학식 14를 기반으로 Pselection을 시점으로 양방향 즉, -uGuideline 방향과 uGuideline 방향으로 Lseparating(s)를 탐색하면 도 21에 도시한 바와 같이, Lseparating(s)를 구할 수 있다.
도 22는 분할선분을 인식한 결과를 나타낸 예시도이다.
전술한 바와 같이 인식된 분할선분이 안내선과 만나는 'T' 교점(Junction)의 위치를 안내선 상에 표시하면 도 22와 같이 나타낼 수 있다. Ion(s)와 Ioff(s)의 비율을 근거로 분할선분을 인식하기 때문에, 카메라로부터의 거리에 따라 변화하는 조명변화를 보상할 수 있다.
도 23은 조감도 상에서의 인식된 주차구획을 나타낸 예시도이다.
전술한 바와 같이 인식된 안내선 상의 분할선분 들의 T 교점 위치와 분할선분의 방향벡터인 nguideline 방향을 고려하여 설정한 주차구획을 조감도 상에서 표현하면 도 23에 도시한 바와 같이 나타낼 수 있다.
도 24는 왜곡 보정 영상 상에서의 인식된 주차구획을 나타낸 예시도이다.
도 23에 도시한 바와 같은 조감도 상에서의 주차구획을 왜곡 보정 영상에서 표현하면 도 24와 같이 나타낼 수 있다. 도24에 도시한 바와 같이, 운전자가 기준점으로 설정한 주차구획이 성공적으로 인식되었음을 알 수 있다.
5. 실험 결과(Experimental Results)
주변에 다른 차량이 주차되어 있는 경우와 다양한 조명 조건에서도 본 발명 의 바람직한 실시예에 따르면 성공적으로 주차구획을 인식할 수 있다.
도 25는 실험을 위한 장비 장착을 나타낸 예시도이다.
25A는 차량의 후미에 장착된 카메라를 나타낸 것이고, 25B는 차량의 실내에장착된 터치 스크린을 나타낸 것이다. 카메라에서 주차 공간을 촬영하면 터치 스크린에 촬영된 추차 공간인 입력 영상이 출력되고, 운전자는 터치 스크린을 조작하여 기준점을 선택한다.
도 26은 주변의 주차구획에 다른 차량이 존재하는 경우의 주차구획 인식 과정을 나타낸 예시도이다.
조감도 상에서 지표 위에 존재하는 물체는 카메라로부터 퍼져 나가는 것처럼 보인다. 따라서, 안내선과 주차구획의 'T' 교점이 보이기만 하면, 본 발명의 바람직한 실시예에 따라 인식에 필요한 교차점들, 표시선분들과 분할선분들을 성공적으로 인식할 수 있다.
26A는 명암의 대조(Contrast)가 크고, 그림자가 진하며, 주변 주차구획에 다른 차량이 존재하는 경우를 나타낸 것이다. 26B는 교차점과 표시선분들의 검출 결과를 나타낸 것이다. 26B를 통해 명암 대조가 크고, 그림자가 진하며, 주변 주차구획에 다른 차량이 존재하는 경우에도 교차점과 표시선분들이 성공적으로 검출되는 것을 알 수 있다. 26C는 조감도 상에서 인식된 주차구획을 나타낸 것이다. 26D는 조감도 상에서 인식된 주차구획을 왜곡 보정 영상으로 나타낸 것이다.
도 27은 양옆의 주차구획에 차량이 존재하고 역광인 경우의 주차구획 인식 과정을 나타낸 예시도이다.
본 발명의 바람직한 실시예에 따르면 도 27에 도시한 바와 같이, 표시선분의 폭을 고려한 지향성 밝기변화도를 사용하기 때문에, 표시선분 상의 잡음과 조명 조건의 변화에 강인하다.
27A는 양옆의 주차구획에 차량이 존재하고 역광이 있는 경우의 입력 영상과 기준점을 나타낸 것이다. 27B는 양옆의 주차구획에 차량이 존재하고 역광이 있는 경우에 주차구획을 인식한 결과를 왜곡 보정 영상으로 나타낸 것이다. 27C는 모서리 추적이 표시선분 방향을 정확하게 검출한 것을 나타낸 것이다. 27C에 도시한 바와 같이, 모서리 추적에 의해 낡은 표시선분 때문에 발생한 교차점의 초기 방향의 오류를 극복하고, 표시선분의 방향을 정확하게 검출할 수 있다.
도 28은 영상 부분들의 밝기에 많은 차이가 있는 경우의 주차구획 인식 과정을 나타낸 예시도이다.
본 발명의 바람직한 실시예에 따르면 지역적인 밝기 변화를 고려하여 분할선분을 검출하기 때문에, 위치에 따라 밝기가 크게 차이 나는 경우에도 분할선분을 성공적으로 검출할 수 있다. 28A는 입력 영상의 각 부분의 밝기의 차이가 큰 경우를 나타낸 것이다. 28B는 입력 영상의 각 부분의 밝기의 차이가 큰 경우에 주차구획을 인식한 결과를 나타낸 것이다. 28C는 Ion(s)와 Ioff(s)가 s에 따라 큰 차이가 있음을 나타낸 것이고, 28D는 Lseperating(s)가 이러한 차이를 보상하고 분할선분을 성공적으로 검출함을 나타낸 것이다.
이상에서 설명한 바와 같이, 본 발명은 운전자가 차량 내의 화면에 촬영되어 출력된 주차 공간에서 주차하고자 하는 위치를 찍어주는 기준점을 기준으로 주차구획을 인식하는 방법을 제안한다. 이를 위해, 본 발명은 지향성 밝기변화도를 이용하여 기준점으로부터 카메라까지의 선과 표시선분의 교차점, 교차점의 초기 방향, 모서리 추적 등을 이용한다. 본 발명에서 조감도 상의 표시선분의 폭에 대한 사전 지식을 이용함에 따라 밝기 정보(Intensity Profile) 상의 일종의 대역통과필터(BPF: Band-Pass Filterer)의 역할을 수행하는 것과 같은 효과를 나타내었다. 또한, 본 발명에서는 밝기변화도를 기준점으로부터 카메라까지의 방향에 대하여 지향적으로 검출함으로써 표시선분의 방향에 대한 사전 지식을 적극적으로 사용할 수 있다. 본 발명에서 가장 큰 특징은 주차장을 촬영한 조감도에서 주차된 차량들은 카메라에서 멀어지는 방향으로 사영되기 때문에, 안내선과 'T'자형 교차점만 보인다면 카메라에 가까운 교차점을 인식함으로써 간단하게 안내선을 인식할 수 있음을 제안한 것이다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 발명에 의하면, 운전자로부터 입력받은 기준점을 기초로 하여 주차구획을 정확하고 빠르게 인식할 수 있다.
또한, 본 발명에 의하면, 지향성 밝기변화도를 이용하여 표시선분을 인식함으로써 잡음 및 조명 변환에 관계없이 표시선분을 정확하게 검출할 수 있다.
또한, 본 발명에 의하면, 지향성 밝기변화도를 W/2 길이의 평균 밝기를 사용하도록 정의하여 잡음에 강인하면서도 안정적으로 표시선분의 모서리를 검출할 수 있다.
또한, 본 발명에 의하면, 교점 주변의 지향성 밝기변화도가 모서리를 따라 산등성이를 이루는 점을 고려하여 산등성이의 방향을 추정함으로써 모서리의 방향을 추정하고 그에 따라 표시선분의 방향을 정확하게 추정할 수 있다.
또한, 본 발명에 의하면, 기준점과 카메라 사이의 선분과 표시선분 간의 교점과 초기 모서리 방향을 근거로 모서리 추적을 수행함으로써 표시선분의 방향을 정밀화하고 추정된 신뢰도를 높일 수 있다.
또한, 본 발명에 의하면, 카메라로부터 기준점으로 향하는 시선 방향과 교차하는 표시선분들 중에서 카메라에 가까운 표시선분을 안내선으로 인식함을써, 주차구획을 인식하는 데 가장 큰 비중을 차지하는 안내선을 정확하고 빠르게 인식할 수 있다.
또한, 본 발명에 의하면, 기준점을 안내선 위로 사용한 점을 기준으로 안내선 방향으로 분할선분을 인식함으로써, 운전자에 의해 지정된 주차구획을 정확하게 인식할 수 있다.
또한, 본 발명에 의하면, 주변에 다른 차량 등 장애물이 있는 경우, 주차 공간이 역광으로 촬영된 경우, 주변의 밝기가 큰 차이를 보이는 경우 등 잡음과 조명 변화에 관계없이 주차구획을 정확하게 인식할 수 있다.

Claims (12)

  1. 차량에서 주차 공간을 촬영하여 입력 영상을 생성한 후 전달하는 카메라와 운전자로부터 상기 주차 공간 중 주차하고자 하는 기준점을 입력받아 전달하는 사용자 인터페이스부를 구비하여 주차구획을 인식하는 장치에 있어서,
    상기 카메라로부터 상기 입력 영상을 전달받고, 상기 사용자 인터페이스부로부터 상기 기준점을 전달받으면, 상기 입력 영상을 조감도로 변환하고, 상기 조감도 상에서 거리에 대한 지향성 밝기변화도를 이용하여 상기 주차구획 설정을 위한 다수 개의 표시선분과 상기 다수 개의 표시선분의 방향을 추정하며, 상기 다수 개의 표시선분 중에서 상기 카메라로부터 상기 기준점까지의 시선 방향과 교차하는 적어도 하나 이상의 표시선분 중 상기 카메라와 가장 가까운 표시선분을 안내선으로서 인식하며, 상기 안내선과 수직한 방향으로 다수 개의 분할선분을 인식하고, 상기 안내선과 상기 다수 개의 분할선분을 상기 주차구획으로서 인식하는 주차구획 인식부
    를 포함하는 것을 특징으로 하는 조감도를 이용한 주차구획 인식 장치.
  2. 제 1 항에 있어서, 상기 주차구획 인식부는,
    상기 조감도 상의 상기 기준점과 상기 카메라 간을 연결하는 선분 상에서 상기 지향성 밝기변화도를 측정하고, 상기 기준점으로부터 상기 지향성 밝기변화도의 값이 기 설정된 임계값 이상인 양의 피크(Positive Peak)를 갖는 지점을 상기 다수 개의 표시선분에 대한 표시선분 교점으로서 검출하는 것을 특징으로 하는 조감도를 이용한 주차구획 인식 장치.
  3. 제 2 항에 있어서, 상기 임계값은,
    상기 기준점과 상기 카메라 간을 연결하는 선분 상의 밝기의 최대값에서 평균값을 뺀 후 일정한 정수로 나눈 값인 것을 특징으로 하는 조감도를 이용한 주차구획 인식 장치.
  4. 제 1 항에 있어서, 상기 주차구획 인식부는,
    상기 기준점과 상기 카메라 간을 연결하는 선분과 상기 다수 개의 표시선분들 간의 교점인 표시선분 교점 주변의 지향성 밝기변화도를 측정하여, 상기 표시선분 교점 주변의 지향성 밝기변화도의 값이 이루는 산등성이(Ridge)의 방향을 추정하고, 상기 산등성이의 방향을 상기 다수 개의 표시선분의 방향으로서 추정하는 것을 특징으로 하는 조감도를 이용한 주차구획 인식 장치.
  5. 제 4 항에 있어서, 상기 주차구획 인식부는,
    상기 다수 개의 표시선분 각각에 대하여 모서리 추적(Edge Following)을 수행함으로써 상기 다수 개의 표시선분 각각의 방향을 재추정하는 정밀화 과정을 수행하는 것을 특징으로 하는 조감도를 이용한 주차구획 인식 장치.
  6. 제 1 항에 있어서, 상기 주차구획 인식부는,
    상기 기준점을 상기 안내선 위로 사영한 점으로부터 상기 안내선의 방향의 단위 벡터의 양방향으로 검색하여 'T'자형 템플리트 매칭('T' Shape Template Matching)을 수행함으로써 상기 다수 개의 분할선분을 인식하는 것을 특징으로 하는 조감도를 이용한 주차구획 인식 장치.
  7. 제 6 항에 있어서, 상기 주차구획 인식부는,
    상기 안내선 위의 영역의 밝기에 대한 상기 카메라에서 멀어지는 안내선의 바깥 영역의 평균 밝기의 비율이 기 설정된 임계치보다 큰 첫번째 구간을 상기 다수 개의 분할선분으로서 인식하는 것을 특징으로 하는 조감도를 이용한 주차구획 인식 장치.
  8. 차량에서 주차 공간을 촬영하여 입력 영상을 생성한 후 전달하는 카메라 및 운전자로부터 상기 주차 공간 중 주차하고자 하는 기준점을 입력받아 전달하는 사용자 인터페이스부와 연결되어 주차구획을 인식하는 주차구획 인식부에서, 상기 주차구획을 인식하는 방법에 있어서,
    (a) 상기 입력 영상과 상기 기준점을 전달받고, 상기 입력 영상을 조감도로 변환하는 단계;
    (b) 상기 조감도 상에서 거리에 대한 지향성 밝기변화도를 이용하여 상기 주차구획 설정을 위한 다수 개의 표시선분과 상기 다수 개의 표시선분의 방향을 추정하는 단계;
    (c) 상기 다수 개의 표시선분 중에서 상기 카메라로부터 상기 기준점까지의 시선 방향과 교차하는 적어도 하나 이상의 표시선분 중 상기 카메라와 가장 가까운 표시선분을 안내선으로서 인식하는 단계; 및
    (d) 상기 안내선과 수직한 방향으로 다수 개의 분할선분을 인식하고, 상기 안내선과 상기 다수 개의 분할선분을 상기 주차구획으로서 인식하는 단계
    를 포함하는 것을 특징으로 하는 조감도를 이용한 주차구획 인식 방법.
  9. 제 8 항에 있어서, 상기 단계 (b)는,
    (b1) 상기 조감도 상에서 상기 기준점과 상기 카메라 간을 연결하는 선분 상의 상기 지향성 밝기변화도를 측정하는 단계;
    (b2) 상기 기준점으로부터 상기 지향성 밝기변화도의 값 중 기 설정된 임계값 이상의 양의 피크(Positive Peak)를 갖는 지점을 상기 다수 개의 표시선분 각각에 대한 표시선분 교점으로서 인식하는 단계;
    (b3) 상기 표시선분 교점 주변의 지향성 밝기변화도를 측정하는 단계;
    (b4) 상기 표시선분 교점 주변의 지향성 밝기변화도의 값이 이루는 산등성이(Ridge)의 방향을 추정하고 상기 산등성이 방향을 상기 다수 개의 표시선분 각각의 방향으로서 추정하는 단계
    를 추가로 포함하는 것을 특징으로 하는 조감도를 이용한 주차구획 인식 방법.
  10. 제 9 항에 있어서, 상기 방법은,
    상기 단계 (b4) 이후에,
    (b5) 상기 다수 개의 표시선분 각각에 대하여 모서리 추적(Edge Following)을 수행함으로써 상기 다수 개의 표시선분 각각의 방향을 재추정하는 정밀화 단계
    를 추가로 포함하는 것을 특징으로 하는 조감도를 이용한 주차구획 인식 방법.
  11. 제 8 항에 있어서, 상기 단계 (d)는,
    (d1) 상기 기준점을 상기 안내선의 위로 사영한 점으로부터 상기 안내선의 방향의 단위 벡터의 양방향으로 검색하여 'T'자형 템플리트 매칭('T' Shape Template Matching)을 수행함으로써 상기 다수 개의 분할선분을 인식하는 단계
    를 추가로 포함하는 것을 특징으로 하는 조감도를 이용한 주차구획 인식 방법.
  12. 주차구획을 인식하여 차량의 주차를 보조하는 주차 보조 시스템에 있어서,
    차량에서 주차 공간을 촬영하여 입력 영상을 생성한 후 전달하는 카메라와 운전자로부터 상기 주차 공간 중 주차하고자 하는 기준점을 입력받아 전달하는 사용자 인터페이스를 구비하고, 상기 카메라로부터 상기 입력 영상을 전달받고, 상기 사용자 인터페이스부로부터 상기 기준점을 전달받으면, 상기 입력 영상을 조감도로 변환하고, 상기 조감도 상에서 거리에 대한 지향성 밝기변화도를 이용하여 상기 기준점과 관련된 목표주차구획 설정을 위한 다수 개의 표시선분과 상기 다수 개의 표시선분의 방향을 추정하며, 상기 다수 개의 표시선분 중에서 상기 카메라로부터 상기 기준점까지의 시선 방향과 교차하는 적어도 하나 이상의 표시선분 중 상기 카메라와 가장 가까운 표시선분을 안내선으로서 인식하며, 상기 안내선과 수직한 방향으로 다수 개의 분할선분을 인식하고, 상기 안내선과 상기 다수 개의 분할선분을 상기 목표주차구획으로서 인식하는 주차구획 인식부;
    상기 차량의 운전상황을 인식하기 위한 다수 개의 센서를 구비하여 상기 차량의 운전상황정보를 생성하여 전달하는 감지부;
    상기 감지부로부터 상기 운전상황에 대한 정보를 수신하여 상기 차량의 위치를 추정하며, 상기 목표주차구획의 정보를 전달받아 상기 목표주차구획으로 주차하기 위한 경로 계획을 생성하고 상기 위치를 고려하여 상기 목표주차구획으로 주차하기 위한 제어 신호를 생성하여 전달하는 주차 보조 제어부; 및
    상기 제어 신호를 수신하면 상기 제어 신호에 따라 상기 차량을 운전하는 능동 조향부
    를 포함하는 것을 특징으로 하는 조감도를 이용한 주차보조 시스템.
KR1020060089335A 2006-09-14 2006-09-14 조감도를 이용한 주차구획 인식 방법, 장치 및 그를 이용한주차 보조 시스템 Active KR101143176B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020060089335A KR101143176B1 (ko) 2006-09-14 2006-09-14 조감도를 이용한 주차구획 인식 방법, 장치 및 그를 이용한주차 보조 시스템
DE102007043110.6A DE102007043110B4 (de) 2006-09-14 2007-09-10 Verfahren und Vorrichtung zum Erkennen einer Parklücke unter Nutzung einer Vogelperspektivansicht und ein diese verwendendes Einparkhilfesystem
US11/901,001 US7659835B2 (en) 2006-09-14 2007-09-14 Method and apparatus for recognizing parking slot by using bird's eye view and parking assist system using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060089335A KR101143176B1 (ko) 2006-09-14 2006-09-14 조감도를 이용한 주차구획 인식 방법, 장치 및 그를 이용한주차 보조 시스템

Publications (2)

Publication Number Publication Date
KR20080024772A KR20080024772A (ko) 2008-03-19
KR101143176B1 true KR101143176B1 (ko) 2012-05-08

Family

ID=39185127

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060089335A Active KR101143176B1 (ko) 2006-09-14 2006-09-14 조감도를 이용한 주차구획 인식 방법, 장치 및 그를 이용한주차 보조 시스템

Country Status (3)

Country Link
US (1) US7659835B2 (ko)
KR (1) KR101143176B1 (ko)
DE (1) DE102007043110B4 (ko)

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10878646B2 (en) 2005-12-08 2020-12-29 Smartdrive Systems, Inc. Vehicle event recorder systems
US9201842B2 (en) 2006-03-16 2015-12-01 Smartdrive Systems, Inc. Vehicle event recorder systems and networks having integrated cellular wireless communications systems
US8996240B2 (en) 2006-03-16 2015-03-31 Smartdrive Systems, Inc. Vehicle event recorders with integrated web server
US8649933B2 (en) 2006-11-07 2014-02-11 Smartdrive Systems Inc. Power management systems for automotive video event recorders
US8989959B2 (en) 2006-11-07 2015-03-24 Smartdrive Systems, Inc. Vehicle operator performance history recording, scoring and reporting systems
US8868288B2 (en) 2006-11-09 2014-10-21 Smartdrive Systems, Inc. Vehicle exception event management systems
TW200829464A (en) * 2007-01-03 2008-07-16 Delta Electronics Inc Bird view visual system with fish eye improvement and method thereof
US8239092B2 (en) 2007-05-08 2012-08-07 Smartdrive Systems Inc. Distributed vehicle event recorder systems having a portable memory data transfer system
JP4900232B2 (ja) * 2007-12-26 2012-03-21 日産自動車株式会社 車両用駐車支援装置および映像表示方法
JP4661917B2 (ja) * 2008-07-25 2011-03-30 日産自動車株式会社 駐車支援装置および駐車支援方法
US8705792B2 (en) * 2008-08-06 2014-04-22 Toyota Motor Engineering & Manufacturing North America, Inc. Object tracking using linear features
US8289189B2 (en) * 2009-05-11 2012-10-16 Robert Bosch Gmbh Camera system for use in vehicle parking
CN101582164B (zh) * 2009-06-24 2012-07-18 北京万得嘉瑞汽车技术有限公司 一种辅助倒车系统的图像处理方法
TWI392366B (zh) * 2009-12-31 2013-04-01 Ind Tech Res Inst 全周鳥瞰影像距離介面產生方法與系統
US20110221606A1 (en) * 2010-03-11 2011-09-15 Laser Technology , Inc. System and method for detecting a moving object in an image zone
US8799201B2 (en) 2011-07-25 2014-08-05 Toyota Motor Engineering & Manufacturing North America, Inc. Method and system for tracking objects
US8996234B1 (en) 2011-10-11 2015-03-31 Lytx, Inc. Driver performance determination based on geolocation
US9298575B2 (en) 2011-10-12 2016-03-29 Lytx, Inc. Drive event capturing based on geolocation
DE102011087797A1 (de) * 2011-12-06 2013-06-06 Robert Bosch Gmbh Verfahren und Vorrichtung zur Lokalisation einer vordefinierten Parkposition
US8768583B2 (en) 2012-03-29 2014-07-01 Harnischfeger Technologies, Inc. Collision detection and mitigation systems and methods for a shovel
KR101877570B1 (ko) 2012-04-04 2018-07-11 현대자동차주식회사 Ａｖ 영상 기반의 주차위치 설정 장치 및 그 방법
KR101947826B1 (ko) * 2012-04-10 2019-02-13 현대자동차주식회사 차량의 주차구획 인식방법
US9798325B2 (en) 2012-07-17 2017-10-24 Elwha Llc Unmanned device interaction methods and systems
US20140024999A1 (en) 2012-07-17 2014-01-23 Elwha LLC, a limited liability company of the State of Delaware Unmanned device utilization methods and systems
US9728228B2 (en) 2012-08-10 2017-08-08 Smartdrive Systems, Inc. Vehicle event playback apparatus and methods
KR101393881B1 (ko) * 2012-10-24 2014-05-12 현대자동차주식회사 차량의 주차구획 인식방법
EP2928182B1 (en) * 2012-11-27 2019-07-17 Clarion Co., Ltd. Onboard image processing system
WO2014083830A1 (ja) * 2012-11-27 2014-06-05 日産自動車株式会社 車両用加速抑制装置及び車両用加速抑制方法
WO2014084256A1 (ja) * 2012-11-27 2014-06-05 クラリオン株式会社 車載画像処理装置
CN104812646B (zh) * 2012-11-27 2016-08-17 日产自动车株式会社 车辆用加速抑制装置
US9344683B1 (en) * 2012-11-28 2016-05-17 Lytx, Inc. Capturing driving risk based on vehicle state and automatic detection of a state of a location
JP2014110028A (ja) * 2012-12-04 2014-06-12 Sony Corp 画像処理装置、画像処理方法およびプログラム
JP6223685B2 (ja) * 2013-01-30 2017-11-01 富士通テン株式会社 画像処理装置および画像処理方法
KR101449295B1 (ko) * 2013-06-04 2014-10-13 현대자동차주식회사 주차구획 추적 장치 및 방법
KR20150022436A (ko) * 2013-08-23 2015-03-04 주식회사 만도 주차 제어 장치, 방법 및 시스템
US9501878B2 (en) 2013-10-16 2016-11-22 Smartdrive Systems, Inc. Vehicle event playback apparatus and methods
US9610955B2 (en) 2013-11-11 2017-04-04 Smartdrive Systems, Inc. Vehicle fuel consumption monitor and feedback systems
KR101470240B1 (ko) * 2013-11-14 2014-12-08 현대자동차주식회사 주차 영역 검출 장치 및 그 방법
US8892310B1 (en) 2014-02-21 2014-11-18 Smartdrive Systems, Inc. System and method to detect execution of driving maneuvers
KR101611194B1 (ko) 2014-04-04 2016-04-11 주식회사 와이즈오토모티브 차량 주변 이미지 생성 장치 및 방법
KR101566912B1 (ko) 2014-08-04 2015-11-13 현대모비스 주식회사 Avm 장치 및 방법
US9663127B2 (en) 2014-10-28 2017-05-30 Smartdrive Systems, Inc. Rail vehicle event detection and recording system
FR3027861B1 (fr) * 2014-10-30 2018-03-09 Renault S.A.S. Systeme et procede de parking automatique de vehicule
US11069257B2 (en) 2014-11-13 2021-07-20 Smartdrive Systems, Inc. System and method for detecting a vehicle event and generating review criteria
KR101714131B1 (ko) * 2014-12-26 2017-03-08 현대자동차주식회사 주차구획 인식 장치 및 방법
US9679420B2 (en) 2015-04-01 2017-06-13 Smartdrive Systems, Inc. Vehicle event recording system and method
KR101637536B1 (ko) 2015-04-30 2016-07-07 주식회사 와이즈오토모티브 블랭크 영상 영역 보간 장치 및 방법
US10872244B2 (en) * 2015-08-31 2020-12-22 Intel Corporation Road marking extraction from in-vehicle video
KR101806619B1 (ko) * 2015-09-21 2017-12-07 현대자동차주식회사 차량의 주차 안내 장치 및 방법
KR101795151B1 (ko) * 2015-10-05 2017-12-01 현대자동차주식회사 주차안내 장치 및 방법
KR101850795B1 (ko) * 2015-11-09 2018-04-20 엘지전자 주식회사 주차 수행 장치 및 차량
DE102016202044A1 (de) * 2016-02-11 2017-08-17 Robert Bosch Gmbh Sensorvorrichtung, Verfahren zum Ermitteln einer Parkposition sowie Verfahren zum Erstellen einer digitalen Parkraumkarte
KR101949438B1 (ko) * 2016-10-05 2019-02-19 엘지전자 주식회사 차량용 디스플레이 장치 및 이를 포함하는 차량
US10481609B2 (en) * 2016-12-09 2019-11-19 Ford Global Technologies, Llc Parking-lot-navigation system and method
KR102406504B1 (ko) * 2016-12-14 2022-06-10 현대자동차주식회사 차량의 자동 주차 제어 장치, 그를 포함한 시스템 및 그 방법
CN107284455B (zh) * 2017-05-16 2019-06-21 浙江理工大学 一种基于图像处理的adas系统
CN107316492B (zh) * 2017-07-25 2020-10-23 纵目科技（上海）股份有限公司 在图像中定位停车位的方法及系统
US11110915B2 (en) * 2017-08-31 2021-09-07 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Auto park human machine interface display based control
CN108090435B (zh) * 2017-12-13 2022-01-25 深圳市航盛电子股份有限公司 一种可停车区域识别方法、系统及介质
JP7135339B2 (ja) * 2018-02-28 2022-09-13 株式会社デンソー 車両に搭載される撮像システム、対象物識別装置、および対象物識別方法
EP3624001B1 (en) 2018-09-13 2024-05-01 Volvo Car Corporation Methods and systems for parking line marker detection and pairing and parking spot detection and classification
CN111488977B (zh) * 2019-01-25 2023-11-07 北京地平线机器人技术研发有限公司 神经网络模型训练方法和装置
DE102019102561A1 (de) 2019-02-01 2020-08-06 Connaught Electronics Ltd. Verfahren zum Erkennen einer Pflastermarkierung
JP2020175828A (ja) * 2019-04-19 2020-10-29 公立大学法人岩手県立大学 誘導装置
CN113492829B (zh) 2020-04-08 2022-08-26 华为技术有限公司 数据处理的方法和装置
CN112820141B (zh) * 2021-01-14 2022-04-19 浙江吉利控股集团有限公司 一种泊车车位的检测方法和检测系统
CN113487908B (zh) * 2021-08-24 2022-11-08 京东鲲鹏(江苏)科技有限公司 车辆停车位置的确定方法、装置以及存储介质
KR20230106195A (ko) * 2022-01-05 2023-07-13 현대모비스 주식회사 주차공간 인식방법 및 장치
US20230230379A1 (en) * 2022-01-19 2023-07-20 Target Brands, Inc. Safety compliance system and method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000289548A (ja) 1999-04-12 2000-10-17 Toyota Autom Loom Works Ltd 車両後退支援装置
JP2003115100A (ja) 2001-10-03 2003-04-18 Denso Corp 車両周辺画像処理装置
KR20060008487A (ko) * 2004-07-21 2006-01-27 현대자동차주식회사 자동 주차 방법
JP2006160147A (ja) 2004-12-09 2006-06-22 Nissan Motor Co Ltd 駐車支援装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10045616B4 (de) * 2000-09-15 2011-03-17 Volkswagen Ag Verfahren zum automatischen Einparken eines Kraftfahrzeugs
JP4861574B2 (ja) * 2001-03-28 2012-01-25 パナソニック株式会社 運転支援装置
JP2002334322A (ja) * 2001-05-10 2002-11-22 Sharp Corp 透視投影画像生成システム、透視投影画像生成方法、透視投影画像生成プログラムおよび透視投影画像生成プログラムを記憶した記憶媒体
JP4156214B2 (ja) * 2001-06-13 2008-09-24 株式会社デンソー 車両周辺画像処理装置及び記録媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000289548A (ja) 1999-04-12 2000-10-17 Toyota Autom Loom Works Ltd 車両後退支援装置
JP2003115100A (ja) 2001-10-03 2003-04-18 Denso Corp 車両周辺画像処理装置
KR20060008487A (ko) * 2004-07-21 2006-01-27 현대자동차주식회사 자동 주차 방법
JP2006160147A (ja) 2004-12-09 2006-06-22 Nissan Motor Co Ltd 駐車支援装置

Also Published As

Publication number Publication date
US20080136673A1 (en) 2008-06-12
DE102007043110A1 (de) 2008-04-17
US7659835B2 (en) 2010-02-09
DE102007043110B4 (de) 2014-10-30
KR20080024772A (ko) 2008-03-19

Similar Documents

Publication Publication Date Title
KR101143176B1 (ko) 조감도를 이용한 주차구획 인식 방법, 장치 및 그를 이용한주차 보조 시스템
CN104854637B (zh) 移动物体位置姿态角推定装置及移动物体位置姿态角推定方法
CN113160594B (zh) 变化点检测装置以及地图信息发布系统
JP5089545B2 (ja) 道路境界検出判断装置
JP4871909B2 (ja) 物体認識装置、および物体認識方法
JP6473571B2 (ja) Ｔｔｃ計測装置およびｔｔｃ計測プログラム
KR100816377B1 (ko) 호프 변환을 이용한 주차구획 인식 방법, 장치 및 그를이용한 주차 보조 시스템
JP6453192B2 (ja) 画像認識処理装置、及びプログラム
EP1251032A2 (en) Apparatus and method of recognizing vehicle travelling behind
US20150292891A1 (en) Vehicle position estimation system
JP2019008460A (ja) 物体検出装置、物体検出方法およびプログラム
KR20160123668A (ko) 무인자동주차 기능 지원을 위한 장애물 및 주차구획 인식 장치 및 그 방법
CN108692719A (zh) 物体检测装置
KR101035761B1 (ko) 차선 인식을 위한 영상 처리 방법 및 시스템
CN110088801A (zh) 可行驶区域检测装置以及行驶辅助系统
KR20190067578A (ko) 오버랩 촬영 영역을 가지는 이종 카메라를 이용한 충돌 경고 장치 및 방법
JP2017181476A (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
US20200193184A1 (en) Image processing device and image processing method
CN112334947A (zh) 基于传感器和存储器表示周围环境的方法、显示装置和具有显示装置的车辆
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체
CN115597550A (zh) 一种基于消失点和目标接地点的坡道单目测距方法及装置
JP2011033594A (ja) 車両用距離算出装置
JP2017117105A (ja) 見通し判定装置
JP7613406B2 (ja) 地物検出装置、地物検出方法及び地物検出用コンピュータプログラム
EP3288260A1 (en) Image processing device, imaging device, equipment control system, equipment, image processing method, and carrier means

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20060914

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20100512

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20060914

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20111118

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20120426

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20120427

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20120427

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20160330

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20160330

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20170320

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20170320

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20190403

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20190403

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20200319

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20210324

Start annual number: 10

End annual number: 10

PR1001 Payment of annual fee

Payment date: 20220329

Start annual number: 11

End annual number: 11

PR1001 Payment of annual fee

Payment date: 20230322

Start annual number: 12

End annual number: 12