KR101188588B1

KR101188588B1 - 모노큘러 모션 스테레오 기반의 주차 공간 검출 장치 및방법

Info

Publication number: KR101188588B1
Application number: KR1020080028581A
Authority: KR
Inventors: 서재규; 정호기; 배광혁; 김재희
Original assignee: 주식회사 만도
Priority date: 2008-03-27
Filing date: 2008-03-27
Publication date: 2012-10-08
Anticipated expiration: 2028-03-27
Also published as: DE102009012435B4; DE102009012435A1; US8134479B2; KR20090103165A; US20090243889A1

Abstract

본 발명은 단안 모션 스테레오 기반의 자동 주차 공간 검출 시스템(Monocular Motion Stereo-Based Automatic Free Parking Space Detection System)에 관한 것이다.

본 발명은 영상 시퀀스(Image Sequences)를 하나의 후방 어안 카메라(Rearview Fisheye Camera)로 획득하고 차량의 후방의 모습을 대응점(Point Correspondences)을 이용하여 3차원으로 재구성하며, 측량 정보(Metric Information)를 알려진 카메라 높이로부터 복구하여 주변 차량들의 위치를 예측함으로써 주차 공간을 검출한다.

본 발명에 따르면, 역회전 기반의 방법과 3차원 구조 모자이크 방법 통해 에피폴 근처에서 주변 구조가 부정확해지는 문제를 해결할 수 있고, 3차원 점 구름에서 주차 공간의 위치를 효율적으로 측정할 수 있으며, 정확도가 도로 사정에 크게 의존되어 신뢰성이 떨어지는 오도메트리를 사용하지 않을 수 있다.

모노큘러 모션 스테레오, 주차 공간 검출, 오도메트리, Range data Mosaiking

Description

모노큘러 모션 스테레오 기반의 주차 공간 검출 장치 및 방법{Monocular Motion Stereo-Based Free Parking Space Detection Apparatus and Method}

본 발명은 모노큘러 모션 스테리오 기반의 주차 공간 검출 장치 및 방법에 관한 것으로서, 차량의 후방의 모습을 촬영하고 촬영한 영상에서 주차 공간을 검출하는 장치 및 방법에 관한 것이다.

자동 주차 시스템은 주차 공간을 자동으로 탐색하고 주차 공간들로 자동차를 조향함으로써 운전자들에게 편리함을 제공한다. 최근, 자동 주차 시스템에 대한 관심이 증가하고 있다. 소비자의 관심과 몇몇 자동 주차 시스템의 성공적인 예로 인해, 많은 자동차 제조사들과 부품 제조사들은 자동 주차 제품의 양산을 준비하고 있다.

자동 주차 시스템은 세 개의 구성 즉, 경로 계획(주차 공간 검출을 포함), 계획된 궤도를 구현하는데 사용되는 자동 조향 시스템과 자동 브레이크 시스템 및 운전자의 입력을 받고 주차 과정을 진행하는 과정에서의 시각 정보를 제공하는 데 사용될 수 있는 HMI(Human Machine Interface)로 구성된다.

주차 공간 검출은 다양한 방법들 즉, 초음파 센서 기반 방법, 레이저 스캐너 기반 방법, 단거리 레이더 네트워크 기반 방법 및 비전(Vision) 기반 방법을 이용하여 구현되어 왔다. 이러한 방법들 중에서 비전 기반 방법이 주차 상황을 시각화하고 운전자로 하여금 안전한 느낌이 들도록 하는 절차들을 수행하기 때문에 운전자들에게 가장 매력적인 방법으로 검증되었다. 비전 기반 방법은 네 가지의 접근법들 즉, 주차 공간 표시 기반 접근법, 바이노큘러 스테레오 기반 접근법, 빛줄무늬 투영 기반 접근법과 모노큘러 스테리오/오도메트리 기반 접근법(Parking Space Marking-based Approach, Binocular Stereo-based Approach, Light Stripe Projection-based Approach, Monocular Motion Stereo and Odometry-based approach)으로 분류될 수 있다.

첫 번째 접근법은 주차 공간 표시들을 인식한다. 쿠(Xu) 등은 주차 공간의 컬러 비전 기반 위치 측정(Developed Color Vision-based Localization of Parking Spaces)을 개발했다. 이 방법은 RCE 신경망을 기반으로 한 색상 분할(컬러 세그먼테이션), 최소 자승법(Least Square Method)을 기반으로 한 윤곽 추출(Contour Extraction)과 역 투영 변환(Inverse Perspective Transformation). 정 등은 광각 카메라로 캡쳐한 조감도 이미지에서 호프 변환을 이용하여 표시선들을 인식하는 반자동 주차 보조 시스템을 제안했다. 이러한 방법에서, 목표 공간들은 상대적으로 낮은 계산적 비용으로 하나의 이미지로 검출될 수 있다. 또한, 후방 카메라(하나의 어안 카메라)의 일반적인 설정이 사용될 수 있다. 하지만, 주차 공간 표시들이 보이지 않을 때는 사용될 수 없다. 또한, 얼룩, 그림자 또는 주변 차량들에 의한 폐색과 같은 열악한 시각 조건들에 의해 성능이 저하될 수 있다.

두 번째 접근법은 단안 스테레오 기반의 3차원 재구성 방법을 이용하여 주변 차량들을 인식한다. 캡첸 등은 특징 기반의 스테레오 알고리즘, 깊이 맵(Depth Map)상에서의 템플릿 매칭 알고리즘과 차량의 2차원 평면 모델에 대한 3차원 맞춤을 이용한 주차 공간 평가 시스템을 개발했다. 이 접근법은 기초선의 정해진 길이로부터 측량 정보를 쉽게 복구할 수 있고 카메라의 외부 파라메터가 매번 평가될 필요가 없다. 그러나, 이 접근법은 스테레오 카메라가 후방 카메라의 일반적인 설정이 아니기 때문에 장비를 위한 추가의 비용과 공간이 필요하다. en 대의 카메라 사이의 거리가 가까운 경우에는 서브-픽셀 정확도를 얻는 것이 필요하게 되고, 거리가 먼 경우에는 대응점들을 추출하기가 어려워 진다.

정 등은 주차 공간 표시를 기반으로 한 접근법과 단안 스테레오를 기반으로한 접근법을 결합한 방법을 개발했다. 이 연구원들은 탐색 영역을 수립하기 위해 장애물 깊이 맵을 이용했고 주차 공간의 정확한 위치를 찾기 위해 간단한 템플릿 매칭을 이용했다. 이 방법은 주차 공간 표시 기반의 방법과 비교할 때 얼룩, 쓰레기와 그림자와 같은 잡음 요인들에 강인하지만, 장애물 깊이 맵과 주차 공간 표시들을 모두 이용할 수 있을 때만 사용될 수 있다.

세 번째 접근법은 레이저 투영기와 하나의 후방 카메라를 이용하여 주변 차량들을 인식한다. 정 등은 레이저 투영기에 의해 생성되는 (후방의 장애물상의) 빛줄무늬를 분석함으로써 주차 공간을 인식하는 방법을 개발했다. 이 접근법은 어두운 지하 주차장에 적용될 수 있고 3차원 정보를 획득하기 위한 알고리즘이 상대적으로 간단하다. 후방 카메라의 일반적인 설정이 사용될 수 있다. 하지만, 이 접근 법은 햇빛의 존재 때문에 낮 동안에는 사용될 수 없다.

네 번째 접근법은 모노큘러 모션 스테레오 방법과 오도메트리를 이용하여 주변 차량들을 인식한다. 핀첼 등은 주차 상황과 절차를 더욱 잘 이해하기 위해 가상의 시점으로부터 묘사된 이미지를 제공하는 시스템을 제안했다. 이 시스템은 오도메트리로부터 외부의 파라미터들과 측량 정보를 얻고 대응점들을 이용하여 주차 공간의 3차원 구조를 재구성한다. 하지만, 이 연구원들은 주차 공간 검출 방법을 제안하지 않았다. 후방 카메라의 일반적인 설정은 이용될 수 있다. 하지만, 비나 눈으로 인해 도로 사정이 미끄러울 때에는 오도메트리 정보가 잘못될 수 있다.

전술한 문제점을 해결하기 위해 본 발명은, 자동차의 후방 영상 촬영부로 주차 공간을 촬영하여 영상 시퀀스를 획득하고 영상 시퀀스 상의 대응점들을 이용하여 3차원 구조를 재구성하며, 알려진 영상 촬영부 높이로부터 3차원 구조상의 거리 정보를 복구하고 주변 차량들의 위치를 예측함으로써 주차 공간을 검출하는 데 그 주된 목적이 있다.

전술한 목적을 달성하기 위해 본 발명은, 차량의 주차 공간을 검출하는 장치에 있어서, 영상 촬영부로부터 입력 영상을 수신하고 입력 영상을 분석하여 대응점을 획득함으로써 특징점을 추적하는 특징점 추적부; 특징점을 이용하여 주차 공간을 3차원으로 재구성하여 3차원 구조를 생성하는 3차원 구조 생성부; 역회전 기반 특징 선택을 이용하여 특징점을 재선택하여 3차원 구조를 재구성하고 닮음 변환을 평가함으로써 재구성한 3차원 구조를 모자이크로 구성하여 3차원 구조 모자이크를 생성하는 3차원 모자이크 구조 생성부; 영상 촬영부 높이 비율을 이용하여 3차원 구조 모자이크에서 거리 정보를 획득하는 거리 복구부; 및 3차원 구조 모자이크에서 주변 차량의 위치를 예측함으로써 주차 공간을 검출하는 공간 검출부를 포함하는 것을 특징으로 하는 주차 공간 검출 장치를 제공한다.

또한, 본 발명의 다른 목적에 의하면, 차량의 주차를 보조하는 주차 보조 시스템에 있어서, 주차 공간을 촬영하여 입력 영상을 생성하고 전달하는 영상 촬영부; 주차 공간을 검출한 출력 영상을 출력하는 사용자 인터페이스부; 입력 영상을 전달받으면 입력 영상을 분석하여 대응점을 획득함으로써 특징점을 추적하고, 특징점을 이용하여 주차 공간을 3차원으로 재구성하여 3차원 구조를 생성하며, 역회전 기반 특징 선택을 이용하여 특징점을 재선택하여 3차원 구조를 재구성하고 닮음 변환을 평가함으로써 재구성한 3차원 구조를 모자이크로 구성하여 3차원 구조 모자이크를 생성하며, 영상 촬영부 높이 비율을 이용하여 3차원 구조 모자이크에서 거리 정보를 획득하고 3차원 구조 모자이크에서 주변 차량의 위치를 예측함으로써 주차 공간을 검출하여 주차 공간 검출 결과를 생성하여 전달하는 주차 공간 검출부; 차량의 운전상황을 인식하기 위한 다수 개의 센서를 구비하여 차량의 운전상황정보를 생성하여 전달하는 감지부; 감지부로부터 운전상황정보를 수신하여 차량의 위치를 추정하며, 주차 공간 검출 결과를 전달받아 주차 공간으로 주차하기 위한 경로 계획을 생성하고 주차 공간으로 주차하기 위한 제어 신호를 생성하여 전달하는 주차 보조 제어부; 제어 신호를 수신하면 제어 신호에 따라 차량을 조향하는 능동 조향부; 및 제어 신호를 수신하면 제어 신호에 따라 차량을 제동하는 능동 제동부를 포 함하는 것을 특징으로 하는 주차 공간 검출 장치를 이용한 주차 보조 시스템을 제공한다.

또한, 본 발명의 또 다른 목적에 의하면, 주차 공간 검출 장치가 주차 공간을 검출하는 방법에 있어서, (a) 영상 촬영부로부터 입력 영상을 수신하고 입력 영상을 분석하여 대응점을 획득함으로써 특징점을 추적하는 단계; (b) 특징점을 이용하여 주차 공간을 3차원으로 재구성하여 3차원 구조를 생성하는 단계; (c) 역회전 기반 특징 선택을 이용하여 특징점을 재선택하여 3차원 구조를 재구성하는 단계; (d) 닮음 변환을 평가함으로써 재구성한 3차원 구조를 모자이크로 구성하여 3차원 구조 모자이크를 생성하는 단계; (e) 영상 촬영부 높이 비율을 이용하여 3차원 구조 모자이크에서 거리 정보를 획득하는 단계; 및 (f) 3차원 구조 모자이크에서 주변 차량의 위치를 예측함으로써 주차 공간을 검출하는 단계를 포함하는 것을 특징으로 하는 주차 공간 검출 방법을 제공한다.

이상에서 설명한 바와 같이 본 발명에 의하면, 에피폴 근처의 3차원 구조의 저급화를 역 회전 기반의 특징 선택과 3차원 구조 모자이크를 이용하여 해결할 수 있다.

또한, 3차원 구름에서 주차 공간을 검출하기 위한 효과적인 방법을 제안할 수 있다.

또한, 외부 파라미터들은 단지 영상 정보만을 이용하여 예측하고 측량 정보는 재구성된 세상과 실제 세상에서의 카메라 높이의 비율로부터 복구함으로써, 정확도가 도로 사정들에 의존적이어서 신뢰성이 떨어지는 오도메트리를 사용하지 않 을 수 있다.

이를 통해, 모노큘러 모션 스테레오 기반 자동 주차 공간 검출 시스템을 실질적으로 구현할 수 있다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

도 1은 본 발명의 일 실시예에 따른 모노큘러 모션 스테레오 기반의 주차 공간 검출 장치(Monocular Motion Stereo-Based Free Parking Space Detection Apparatus)를 이용한 주차 보조 시스템의 구성을 간략하게 나타낸 블록 구성도이다.

본 발명의 일 실시예에 따른 모노큘러 모션 스테레오 기반의 주차 공간 검출 장치를 이용한 주차 보조 시스템(100)은 영상 촬영부(110), 사용자 인터페이스부(120), 주차 공간 검출부(130), 주차 보조 제어부(140), 감지부(150), 능동 조향부(160) 및 능동 제동부(170)를 포함한다.

영상 촬영부(110)는 차량에 장착되어 촬영하는 촬영 수단으로서, 차량의 전방, 후방, 측방 등 다양한 위치에 장착되어 주차 공간을 촬영하여 입력 영상을 생 성한 후 사용자 인터페이스부(120), 주차 공간 검출부(130)와 주차 보조 제어부(140) 등으로 전달한다. 이를 위해, 영상 촬영부(110)는 필름 카메라, 디지털 카메라, 디지털 캠코더, CCTV 등 다양한 촬영 장치로 구현될 수 있다.

사용자 인터페이스부(120)는 차량에 장착되어 데이터 또는 명령어를 입력하고 출력하는 입출력수단으로서, 차량의 실내, 운전석이나 보조석 주위에 장착되어 운전자로부터 데이터 또는 명령어를 입력받아 주차 공간 검출부(130)와 주차 보조 제어부(140) 등으로 전달하고 영상 촬영부(110), 주차 공간 검출부(130), 주차 보조 제어부(140) 등으로부터 데이터를 수신하여 출력한다.

또한, 사용자 인터페이스부(120)는 영상 촬영부(110)로부터 입력 영상을 수신하면 출력하고 주차 공간 검출부(130)로 전달한다. 이를 위해, 사용자 인터페이스부(120)는 액정화면(LCD: Liquid Crystal Display), 터치 패드(Touch Pad), 키보드, 마우스, 터치 스크린(Touch Screen) 등 다양한 입출력 장치로 구현될 수 있다.

주차 공간 검출부(130)는 데이터 통신과 연산을 수행하는 데이터 처리 수단으로서, 영상 촬영부(110)로부터 입력 영상을 수신하면 입력 영상에서 주차 공간을 검출하고 검출된 주차 공간을 표시한 영상을 출력 영상으로서 생성하여 사용자 인터페이스부(120)로 전달함으로써 사용자 인터페이스부(120)가 출력 영상을 출력하도록 제어한다.

이를 위해, 주차 공간 검출부(130)는 특징점 추적부(132), 3차원 구조 생성부(134), 3차원 모자이크 구조 생성부(136), 거리 복구부(138) 및 공간 검출부(139)를 포함하여 구성된다.

특징점 추적부(132)는 영상 촬영부(110)로부터 입력 영상을 수신하고 입력 영상을 분석하여 대응점(Point Correspondences)을 획득함으로써 특징점(Feature Point)을 추적한다. 여기서, 특징점 추적부(132)는 입력 영상을 분석하여 특징점을 검출하고 루카스-케네디 방법(Lucas-Kanade Method)을 이용하여 입력 영상을 통해 특징점을 추적한다.

3차원 구조 생성부(134)는 특징점을 이용하여 주차 공간을 3차원으로 재구성하여 3차원 구조(3 Dimensional Structure)를 생성한다. 여기서, 3차원 구조 생성부(134)는 입력 영상의 키 프레임(Key Frame)을 선택하고 키 프레임에서 움직임 변수(Motion Parameters)를 예측한 후 선형 삼각법(Linear Triangulation Method)을 이용하여 특징점의 3차원 좌표를 계산함으로써 3차원 구조를 생성한다.

3차원 모자이크 구조 생성부(136)는 역회전 기반 특징 선택(De-Rotation-Based Feature Selection)을 이용하여 특징점을 선택하여 3차원 구조를 재구성하고 닮음 변환(Similarity Transformation)을 평가함으로써 재구성한 3차원 구조를 모자이킹(Mosaicking)하여 3차원 구조 모자이크(3 Dimensional Structure Mosaic)를 생성한다.

거리 복구부(138)는 카메라 높이 비율을 이용하여 3차원 구조 모자이크에서 거리 정보를 획득한다. 여기서, 거리 복구부(138)는 경사각을 보상하고(Tilting Angle Compensation), 밀도 예측 기반으로 지면을 검출(Density Estimation Based Ground Plane Detection)하며, 3차원 평면 예측 기반으로 지면의 위치와 방향을 예측함으로써 3차원 모자이크 구조에서의 카메라 높이를 결정하여 카메라 높이 비율 을 획득한다.

공간 검출부(139)는 3차원 구조 모자이크에서 주변 차량의 위치를 예측함으로써 주차 공간을 검출한다. 여기서, 공간 검출부(139)는 평면 시야(Top-View)를 이용하여 3차원 구조 모자이크의 차원(Dimension)을 줄이고, 이웃(Neighborhood)들로부터 고립된 점(Isolated Point)을 제거하며, 입력각과 카메라 중심으로부터의 거리를 이용하여 주변 차량의 외곽점(Outline Points)을 구하고 주변 차량의 모서리 점(Corner Point)과 방향(Orientation)을 예측함으로써 주차 공간을 검출한다.

또한, 공간 검출부는(139)는 소정의 반경을 갖는 원을 검색 영역(Search Range)으로 설정하여 주변 차량의 반대편의 다른 차량을 추가로 예측한다. 여기서, 원의 중심은 전술한 주변 차량의 방향과 직교하는 방향에서 모서리 점으로부터 소정의 거리에 위치하도록 설정된다.

여기서, 주차 공간 검출부(130)와 그를 구성하는 특징점 추적부(132), 3차원 구조 생성부(134), 3차원 모자이크 구조 생성부(136), 거리 복구부(138) 및 공간 검출부(139)는 해당 기능을 수행하는 프로그램을 저장하는 메모리와 메모리에 저장된 프로그램을 실행하는 마이크로프로세서 등을 구비하는 하나의 독립적인 장치로서 구현될 수 있지만, 주차 보조 시스템(100)에 구비되는 하드웨어(메모리와 마이크로프로세서 등)에서 동작하는 소프트웨어 모듈로서 구현될 수도 있을 것이다.

주차 보조 제어부(140)는 감지부(150)로부터 운전상황정보를 수신하여 차량의 위치를 추정하며, 주차 공간 검출부(130)로부터 주차 공간 검출 결과를 수신하여 주차 공간으로 주차하기 위한 경로 계획을 생성하고 주차 공간으로 주차하기 위 한 제어 신호를 생성하여 능동 조향부(160)와 능동 제어부(170)로 송신한다.

또한, 주차 보조 제어부(140)는 생성한 경로 계획을 사용자 인터페이스부(120)로 송신하여 출력하도록 제어하고, 주차 공간으로 주차하는 과정을 영상 촬영부(110)를 이용하여 촬영하고 촬영한 영상을 사용자 인터페이스부(120)로 송신하여 출력하도록 제어할 수 있다.

이를 위해, 주차 보조 제어부(140)는 주차 공간 검출부(130)로부터 전달된 주차 공간 검출 결과를 이용하여 주차하기 위한 경로 계획을 설정하는 경로 계획 생성부(142), 차량의 위치와 운전상황을 고려하고 설정한 경로 계획을 추적하여 차량을 주차 공간으로 주차하도록 제어하기 위한 제어 신호를 생성한 후 능동 조향부(160)와 능동 제동부(170)로 송신하는 경로 추적 제어부(144) 및 감지부(150)로부터 수신하는 운전상황정보를 이용하여 차량의 위치를 추정하는 위치 추정부(146)를 포함한다.

여기서, 주차 보조 제어부(140)와 그를 구성하는 경로 계획 생성부(142), 경로 추적 제어부(144) 및 위치 추정부(146)는 해당 기능을 수행하는 프로그램을 저장하는 메모리와 메모리에 저장된 프로그램을 실행하는 마이크로프로세서 등을 구비하는 하나의 독립적인 장치로서 구현될 수 있지만, 주차 보조 시스템(100)에 구비되는 하드웨어(메모리와 마이크로프로세서 등)에서 동작하는 소프트웨어 모듈로서 구현될 수도 있을 것이다.

감지부(150)는 차량의 운전상황을 인식하기 위한 다수 개의 센서 즉, 차륜속 센서, 조향각 센서, 요레이트(Yaw Rate) 센서, 가속도 센서 등을 구비하여 차량의 운전 상황을 감지하고 그에 따른 전기적인 신호인 감지 신호를 차량의 운전상황정보로서 생성하여 주차 보조 제어부(140)의 위치 추정부(146)로 송신한다.

능동 조향부(160)는 운전자의 조향 입력에 대해 각종 센서와 제어 장치를 이용하여 조향의 안전성을 획득할 수 있도록 조향을 유도하는 조향 보조 장치로서, 주차 보조 제어부(140)로부터 수신하는 제어 신호에 따라 차량을 조향한다.

이를 위해, 능동 조향부(160)는 전동식 조향장치(EPS: Electronic Power Steering), 모터구동 조향장치(MDPS: Motor Driven Power Steering), 능동전륜 조향장치(AFS: Active Front Steering) 등을 포함하는 개념일 수 있으나 반드시 이에 한정되는 것은 아니다.

능동 제동부(170)는 차량의 이동 속도를 제한하는 제동 장치로서, 주차 보조 제어부(140)로부터 수신하는 제어 신호에 따라 차량의 제동 상태를 변환하여 차량을 제동한다.

이를 위해, 능동 제동부(170)는 안티록 브레이크 시스템(ABS: Anti-lock Brake System), 전자 안정성 제어(ESC: Electronic Stability Control) 시스템 등을 포함하는 개념일 수 있지만, 반드시 이에 한정되는 것은 아니다.

도 2는 본 발명의 일 실시예에 따른 모노큘러 모션 스테레오 기반의 주차 공간 검출 방법을 설명하기 위한 순서도이다.

본 발명의 일 실시예에 따른 모노큘러 모션 스테레오 기반의 주차 공간 검출 방법은 주차 공간 검출 장치(100)가 영상 촬영부(110)로부터 주차 공간을 촬영한 입력 영상을 수신하면(210), 입력 영상에서 특징점을 추적하고(S220), 특징점을 이 용하여 주차 공간의 구조를 3차원으로 재구성하며(S230), 역회전 기반 특징 선택을 이용하여 특징점을 선택하여(S240), 선택된 특징점을 이용하여 3차원 구조들을 재구성하고 닮음 변환을 평가하여 재구성한 3차원 구조들을 3차원 구조 모자이크로 구성한 후(S250), 카메라 높이 비율을 이용하여 3차원 구조의 거리를 복구하고(S260), 주변 차량의 위치를 예측하여 주차 공간을 검출(S270)한다. 이때, 주차 공간 검출 장치(100)는 검출된 주차 공간을 표시한 영상을 출력 영상으로 생성하여 사용자 인터페이스부(120)로 전달하여 출력하도록 할 수 있다(S280).

본 발명에서는 동영상(이미지 시퀀스) 획득, 특징점 추적, 3차원 재구성, 3차원 구조 모자이킹, 거리 복구와 주차 공간 검출 등의 절차를 통해, 하나의 어안 카메라를 이용하여 후방 구조들을 3차원으로 재구성하며 3차원 구조에서 주차 공간들을 탐색한다.

종래 기술과 비교할 때, 본 발명은 후술하는 바와 같은 세 개의 중요한 장점이 있다. 첫째로, 에피폴 근처의 3차원 구조의 저급화를 역 회전 기반의 특징 선택 방법과 3차원 구조 모자이킹에 의해 해결할 수 있다. 에피폴은 통상적으로 정확하게 재구성되어야 하는 주변 차량의 영상위에 위치하기 때문에 자동차의 후방 카메라를 이용하여 3차원 구조들을 재구성할 때 중요한 문제이다. 둘째로, 3차원 구름에서 효율적으로 주차 공간을 검출할 수 있다. 셋째로, 정확도가 도로 사정들에 의존적일 수 있어 신뢰성이 떨어지는 오도메트리(Odometry)를 사용하지 않을 수 있다. 외부 변수들은 단지 영상 정보만을 이용하여 평가할 수 있으며, 측량 정보를 재구성된 세상과 실제 세상에서의 카메라 높이의 비율로부터 복구할 수 있다.

이하에서는, 본 발명의 구체적인 실시예를 섹션 1 내지 섹션 4을 통해 설명한다. 섹션 1에서는 대응점들과 3차원 재구성을 위한 과정을 설명한다. 섹션 2에서는 에피폴의 문제를 설명하고 해법을 설명한다. 섹션 3에서는 거리 복구와 주차 공간 검출 절차를 설명한다. 섹션 4에서는 레이저 스캐너 데이터와 비교할 때의 실험 결과를 설명한다. 또한, 이하에서는 설명의 편의를 위해 영상 촬영부(110)를 '카메라'로 칭하기로 한다.

1. 모노큘러 모션 스테레오 기반 3차원 재구성(Monocular Motion Stereo-Based 3D Recinstruction)

1.1 대응점들(Point Correspondences)

움직임 변수(Motion Parameter)들과 3차원 구조들을 평가하기 위해서는 이동하는 카메라를 이용하여 획득한 두 개의 다른 영상들에서 대응점들을 찾아야 한다. 본 발명에서는 세 개의 다른 접근법들이 비교된다. 첫 번째 접근법은 영상 쌍에서 소수의 신뢰할 수 있는 대응점들을 통해 펀더멘털 행렬을 추정하고 에피폴 구속조건을 이용하여 다수의 특징점들을 대응시키는 방법이다. 이는 대응점 재탐색(Guided Matching)이라고 불리는데, 이를 위해서는 왜곡이 보정되고 수정된 어안 영상이 필요하다.

두 번째 접근법은 단순한 알고리즘을 이용하여 대응점들을 찾고, 지능형 차량들의 카메라들을 위해 고안된 아웃라이어 배제 방법을 이용하여 잘못 대응된 것 들을 배제한다. 이러한 접근법이 빠르고 잘못 대응된 것들은 몇 안되게 산출함에도 불구하고, 자동차 표면들에서는 특징들이 없기 때문에 자동차 표면들에서 대응점을 찾기 어렵다.

세 번째 접근법은 특징점을 검출하고 영상 시퀀스들을 통해 특징점들을 추적한다. 이 방법은 연속하는 영상들 중에서 특징점들을 추적하기 때문에, 자동차 표면들에서 많은 대응점들을 찾을 수 있다. 하지만, 알고리즘이 많은 영상들에 적용되어야 하므로 연산량이 많다.

첫 번째와 두 번째 접근법들은 적어도 두 개의 영상을 필요로 한다. 영상들을 저장하는 데 필요한 메모리 크기는 작지만, 전체의 시퀀스를 저장하지 않고 키 프레임들을 선택하기가 어렵다. 세 번째 접근법 또한 FPGA(Field-Programmable Gate Array)를 이용하여 실시간으로 구현된다면, 매 순간마다 적어도 두 개의 영상들을 필요로 한다. 각 프레임에 대해 대응점들을 저장하기 때문에, 추적 결과들을 이용하여 키 프레임들을 선택할 수 있다. 이러한 비교를 통해, 본 발명에서는 세 번째 접근법인 추적 접근법을 사용한다.

본 발명에서는 추적을 위해, 루카스-카나데 방법(Lucas-Kanade Method)을 선택한다. 루카스-카나데 방법은 정확한 결과들을 산출하고, 적절한 연산량을 요구하며, 실시간 하드웨어 구현 예들이 몇 가지 존재하기 때문이다. 또한, 루카스-카나데 방법은 광흐름(Optical Flows)의 최소 자승 해법(Least Square Solution)을 이용한다.

와

가 두 개의 연속된 영상들이고,

와

가 각각 특징 위 치(Feature Location)와

의 작은 공간적 이웃(Small Spatial Neighborhood)을 표시한다면, 광흐름 벡터

는 수학식 1과 같이 축약될 수 있다.

수학식 1의 해법을 이용하면,

는 수학식 2를 통해 구할 수 있다.

와

는 각각 수평 방향들과 수직 방향들에서의 영상 기울기(Image Gradient)들이고,

는 영상 픽셀 차이다. 행렬

는 비단일 행렬(Non-Singular Matrix)이어야 하기 때문에, 행렬

의 최소 고유치(Minimum Eigenvalue)가 임계값(Threshold)보다 큰 영상 위치가 특징점으로서 선택되고 영상 시퀀스를 통해 추적된다.

1.2 3차원 재구성(3D Reconstruction)

대응점들이 획득되면, 주차 공간의 구조는 세 개의 단계들 즉, 키 프레임 선택(Key Frame Selection), 움직임 변수 예측(Motion Parameter Estimation) 및 삼각화(Triangulation)를 이용하여 3차원으로 재구성된다. 3차원 재구성을 위해서는 3차원 재구성 간격을 결정하는 키 프레임들이 선택되어야 한다. 두 개의 프레임들 간에 충분한 카메라 움직임이 없다면 펀더멘털 행렬에 대한 연산이 부정확해지며, 반대의 경우에는 대응점의 수가 감소될 수 있다.

본 발명에서는 광흐름의 평균 길이를 이용하는 방법을 사용한다. 회전적 움직임(Rotational Motion)은 항상 차량의 후방 카메라(Rearview Canera)들에서의 변환적 움직임(Translational Motion)에 의해 야기되기 때문에 이 방법은 잘 동작한다. 주차 공간들은 운전자의 요청으로 재구성되기 때문에, 마지막 프레임은 첫 번째 키 프레임으로서 선택된다. 두 번째 키 프레임은 광흐름의 평균 길이가 임계값을 초과할 때 첫 번째 키 프레임으로부터 선택된다. 다음 키 프레임은 같은 방법으로 선택된다. 임계값은 50 픽셀들로 설정되고 이는 기초선이 약 100~150 cm가 되도록 한다.

키 프레임들이 선택되면, 펀더멘털 행렬이 상대적 회전(Relative Rotation)과 두 개의 카메라들 간의 변환값(Translation Value)들을 추출하기 위해 평가된다. 이러한 작업을 위해, 랜덤 샘플 컨센서스(RANSAC: Random Sample Consensus, 이하 'RANSAC'라 칭함) 방법과 M-예측기(M-Estimator) 방법을 이용했다. 위의 조합 은 토르와 머레이(Torr and Murray)에 의해 경험적으로 적정한 결합(Combination)임을 밝혀졌다.

RANSAC는 선형 방법(Linear Method)을 이용함으로써 펀더멘털 행렬의 후보들을 연산하기 위해 일련의 점들을 임의로 선택하는 것에 기초한다. RANSAC는 각 펀더멘털 행렬을 위한 인라이어(Inlier)들의 수를 계산하고 그 수를 최대화하기 위한 하나를 선택한다. 실험에서, 펀더멘털 행렬이 결정되면, 모든 인라이어들을 이용하여 정제된다. M-예측기는 각 대응점의 나머지값을 측정함으로써 아웃라이어(Outlier)들의 영향을 줄이는 데 사용된다.

를

의 나머지값이며,

와

가 두 개의 영상에서 대응점의 좌표들이고,

는 펀더멘털 행렬이라고 가정하면, M-예측기들은 수학식 3에 기반하여 예측한다.

여기서,

는 무게 함수이고, 수학식 4와 같은 허버(Huber) 함수를 사용한다.

를 구하기 위해, 수학식 5와 같은 신뢰있는 표준편차를 사용한다.

필수 행렬(Essential Matrix)은 펀더멘털 행렬과 카메라 내부 변수 행렬(Camera Intrinsic Parameter Matrix,

)을 이용함으로써 계산된다. 본 발명에서 카메라 내부 변수들은 바뀌지 않기 때문에 미리 측정된다. 회전 행렬(Rotation Matrix,

)과 변환 벡터(Translation Vector,

)의 네 개의 조합(Combination)은 필수 행렬로부터 추출된다. 오직 올바른 조합만이 3차원 점들을 두 개의 카메라들 앞에 위치하도록 할 수 있기 때문에, 임의로 선택된 여러 개의 점들을 사용하여 올바른 조합을 선택한다. 이후, 각 대응점의 3차원 좌표들이 선형 삼각법(Linear Triangulation Method)을 이용하여 계산된다.

와

가 두 개의 카메라들의 투영 행렬(Projection Matrix)을 나타내고

가 대응점들의 3차원 좌표들을 나타낸다면, 수학식 6이 도출된다.

수학식 6에서 나타낸 두 개의 방정식을

의 형태로 조합함으로써, 3차원 좌표(

)는 가장 작은 특이값(Singular Value)

와 대응하는 단위 특이 벡터(Singular Vector)를 찾음으로써 간단히 구해진다. 이것은 특이값 분해(SVD: Singular Value Decomposition)를 이용함으로써 구해진다. 행렬

는 수학식 7과 같이 나타낼 수 있다.

와

는 각각

와

의 i 번째 열들을 나타내고,

와

는 대응점들의 영상 좌표들을 나타낸다. 계산을 위한 비용이 너무 많이 소요되기 때문에, 3차원 재구성을 위해 번들 조정(Bundle Adjustment)과 같은 복잡한 최적화 알고리즘을 이용하지 않는다.

2. 특징 선택과 3차원 구조 모자이킹(Feature Selection and 3D Structure Mosaicking)

2.1 에피폴 근처의 3차원 구조 저급화(Degradation of 3D Structure near Epipole)

일반적으로 3차원 구조들을 재구성할 때, 상당한 저급화가 에피폴 근처에서 나타날 수 있다. 이것은 삼각법이 매우 작은 각도에서 수행되어야 하기 때문에 대응점 추출의 오차와 영상의 양자화 오차가 3차원 좌표의 정확도에 큰 영향을 미치게 되기 때문이다. 이 것은 수학식 7에서 나타낸 행렬

의 등급 비효율로서 나타날 수 있다. 두 개의 카메라들의 투영 행렬(Projection Matrix)들은 각각 수학식 8과 같은

와

로서 나타낼 수 있다.

와

는 각각 3×3 카메라 내부 변수 행렬과 3×3 단위 행렬(Identity Matrix)을 나타내고

과

는 3×3 회전 행렬과 3×1 변환 벡터를 나타내며,

는 에피폴이다.

의 마지막 열이 에피폴의 좌표들을 나타내므로, 대응점들이 에피폴 근저에 있을 때

의 마지막 열이 0에 더욱 가까워 진다.

이러한 문제가 3차원 재구성에서 매우 중요함에도 불구하고 두 가지의 이유 때문에 종래 기술에서는 실제로 다루어지지 않았다. 첫째, 에피폴은 카메라 설정 때문에 많은 적용예에서 영상 내에 위치하지 않는다. 이러한 현상은, 3차원 구조가 스테레오 카메라 또는 광학축 방향의 변환이 다른 축 방향의 변환보다 상대적으로 주요하지 않은 이동 카메라를 이용함으로써 재구성될 때 발생한다. 둘째, 에피폴은 영상 안에 위치하지만 목표물상에 있지 않다. 이러한 형상은, 하나의 전방(또는 후방) 주시 카메라를 갖는 이동 로봇이 도로 또는 복도를 따라 이동할 때, 발생한다. 이러한 경우, 에피폴은 영상 안에 위치하지만 통상적으로 카메라로부터 멀리 떨어진 사물위에 있어서, 에피폴 주변의 지역은 관심의 대상이 아니다.

제안된 방법에서, 광학축에서의 변환은 꽤 주요하다. 그래서, 에피폴은 항상 영상 안에 위치한다. 또한, 에피폴은 통상적으로 주차 공간의 위치를 파악하기 위해 사용되는 우리의 목표물인 주변 차량위에 위치한다.

도 3은 전형적인 주차 상황에서의 에피폴 위치를 나타낸 예시도이다.

도시한 바와 같이, 에피폴은 자동차의 후방 카메라의 움직임 특성으로 인해 통상적으로 주변 차량의 영상위에 위치한다. 이러한 이유로, 주변 차량의 3차원 구조는 잘못 재구성된다.

도 4는 영상 시퀀스의 마지막 프레임에서 에피폴의 위치와 재구성된 후방 구 조이다.

4A는 전형적인 에피폴의 위치를 나타낸 것이고, 4B는 지면 근처의 점들을 제거한 후 위에서 바라본 재구성된 3차원 구조를 나타낸 것이다.

지면 근처에서 점들을 제거한 후 위에서 바라본 구조를 나타내면 도 4A와 같다. 도 4A에서 주변 차량 위의 에피폴 근처의 3차원 점들은 정확도가 매우 떨어지게 되고 이것은 주차 공간 결정에 악영항을 미치게 된다. 이러한 문제점을 해결하기 위해, 역회전 기반 특징 선택(De-Rotation-Based Feature Selection)과 3차원 구조 모자이킹(3D Structure Mosaicking)을 사용한다.

2.2 역회전 기반 특징 선택과 3차원 구조 모자이킹

에피폴의 문제를 해결하고 정확한 3차원 후방 구조를 구하기 위해, 두 단계로 이루어진 방법을 사용한다. 첫 번째 단계에서, 광흐름으로부터 회전적 효과(Rotational Effect)를 제거하고 변환 효과(Translation Effect)만을 남긴다. 순변환(Pure Translation)에서의 광흐름 길이(Optical Flow Length)가 3차원 구조 정확도에 비례하므로, 우리는 임계값보다 더 짧은 광흐름 길이들을 갖는 대응점들을 제거한다. 이 것은 3차원 구조가 잘못 재구성된 점들을 포함하는 것을 방지한다. 광흐름의 회전적 효과를 제거하기 위해서, 콘주게이트 회전(Conjugate Rotation)가 이용된다.

와

가 순회전(Pure Rotation) 전후의 3차원 점

의 영상들이라면, 수학식 9와 같이 나타낼 수 있다.

따라서,

일 때,

가 된다. 이러한 호모그래피를 이용함으로써 회전 효과물 없애고 순변환에 의한 효과만을 남길 수 있게 된다.

도 5는 역회전 기반 특징 선택 절차를 나타낸 예시도이다.

5A는 왜곡되지 않은 대응점들을 나타낸 것이고, 5B는 역회전된 대응점들을 나타낸 것이다. 먼저 어안 영상에서 대응점들의 왜곡을 제거하여 5A와 같이 변환한다. 그 후, 왜곡되지 않은 대응점들은 5B에 도시한 바와 같이 호모그래피를 이용하여 역회전된다. 회전적 영향이 완전히 제거되기 때문에 모든 대응점들과 만나는 선들은 에피폴의 방향을 가리킨다. 이 경우, 에피폴은 확장의 중심(Focus of Expansion)으로서 알려진다.

빨간색 선들은 역회전 기반 방법에 의해 분류된 신뢰할 수 없는 대응점들을 가리킨다. 신뢰할 수 없는 대응점들은 에피폴 근처의 특징점들을 포함하고 카메라로부터 멀리 떨어져 있다. 광흐름 길이에 대한 임계값은 10 픽셀로 정해진다.

두번 째 절차에서, 선택된 대응점들을 이용하여 여러 개의 3차원 구조들을 재구성하고 닮음 변환(Similarity Transformation)을 추정함으로써 재구성한 3차원 구조들을 모자이크로 만들어 하나의 구조가 되게 한다.

닮음 변환 파라미터들은

(3×3 회전 행렬),

(3×1 변환 행렬)과

(스케일링)으로 구성되고 추적 결과들로부터 알려진 3차원 대응점들로 최소 자승 조절(Least Square Fitting) 방법을 사용한다. 재구성된 3차원 점들이 잘못될 수도 있고 아웃라이어들을 포함할 수 있으므로, RANSAC 접근법은 파라미터 평가에 활용된다. 최소 자승 조절 방법은 다음과 같이 설명될 수 있다. 3차원 공간에서 두 개의 대응점 세트

와

(여기서, i=1, 2, …, n)가 주어지고,

와

가 3×1 열 벡터들이며, n이 3 보다 크거나 같다고 가정하면,

와

간의 관계는 수학식 10과 같이 나타낼 수 있다.

두 개의 세트의 점들의 평균 제곱 오차(Mean Square Error)는 수학식 11과 같이 나타낼 수 있다.

와

가 각각

와

의 3×n 행 렬이고,

가

(

)라면, 평균 제곱 오차를 최소화하는 변환 파라미터(Translation Parameter)들은 수학식 12를 통해 계산될 수 있다.

그리고

,

와

는 수학식 13과 같이 정의될 수 있다.

도 6은 특징 선택과 3차원 모자이킹 방법을 사용할 때와 사용하지 않을 때 재구성한 3차원 구조들을 나타낸 예시도이다.

6A는 키 프레임 영상들을 나타낸 것이고, 6B는 특징 선택 방법을 사용하지 않고 재구성한 3차원 구조들이며, 6C는 특징 선택 방법을 사용하여 재구성한 3차원 구조들이다.

3차원 구조들은 (지면 근처에서 점들을 제거한 후) 위에서 바라본 것처럼 나타난다. 6A에서는 키 프레임 영상들과 키 프레임 영상들의 에피폴 위치들을 나타내었다. 에피폴들은 주변 차량에 따라 다른 위치에 있음 알 수 있다. 6B에서는 각 키 프레임을 재구성한 3차원 구조들을 나타내었다. 나타낸 바와 같이, 에피폴들 근처의 구조들은 좋지 않게 재구성된다. 하지만, 하나의 구조에서 잘못 재구성된 부분은 또 다른 구조에서 올바르게 재구성된다. 6C에서는 역회전 기반 방법을 이용함으로써 대응점들을 제거한 후 각 키프레임을 재구성한 3차원 구조들을 나타내었다. 6B에서 나타난 잘못된 3차원 점들의 대부분이 제거된다.

도 7은 특징점 선택과 3차원 모자이킹 방법을 이용한 경우와 이용하지 않은 경우의 3차원 구조들을 나타낸 예시도이다.

7A는 특징점 선택과 3차원 모자이킹 방법을 이용한 경우의 3차원 구조들을 나타낸 것이고, 7B는 특징점 선택과 3차원 모자이킹 방법을 사용하지 않은 경우의 3차원 구조들을 나타낸 것이다. 빨간 점들은 카메라 중심을 가리킨다. 에피폴 근처의 3차원 구조의 저급화는 본 발명에 따른 방법에 의해 해결된다.

3. 주차 공간 검출(Free Parking Space Detection)

3.1 카메라 높이 비율을 이용한 거리 복구(Metic Recovery by Using Camera Height Ratio)

센티미터 단위로 주차 공간의 위치를 측정하기 위해서는, 3차원 구조의 측량 정보가 복구 되어야 한다. 이는 통상적으로 이미 알려진 기초선(Baseline) 길이 또는 3차원 구조의 사전 정보(Prior Knowledge) 를 이용하여 이루어진다. 본 발며에서 실제 세계에서의 카메라 높이는 미리 알고 있기 때문에, 재구성된 세계에서의 카메라 높이를 예측하고 이 두 카메라 높이의 비율을 이용하여 거리를 복구한다. 실제 세계에서의 카메라 높이는 정해진 것으로 가정한다. 높이 센서는 화물들이나 승객들의 변화로 인해 발생할 수 있는 카메라 높이의 변동으로 활용될 수 있다.

카메라 위치는 원점으로 설정되기 때문에 카메라 높이 비율을 계산하기 위해서는 재구성된 세계의 지면이 예측될 수 있어야 한다. 예측 절차는 세 개의 절차 즉, 경사각 보상; 밀도 예측 기반 지면 검출 및 3차원 평면 예측 기반 지면 정화로 구성된다. 경사각이 계산되면 3차원 구조는 이 계산에 따라 회전된다. 이러한 절차는 지면이 XZ-평면과 평행이 되도록 한다.

도 8은 후방 카메라의 설정을 나타낸 예시도이다.

도 8에 도시한 바와 같은 카메라 설정에서, 경사각(

)은 수학식 14를 이용하여 계산된다.

와

는 각각 에피폴과 주점(Principal Point)의 y축 좌표이다.

는 카메라의 초점 거리(Focal Length)이다.

지면은 Y-축에서 3차원 점들의 밀도를 이용하여 거칠게 검출된다. XZ-평면과 평행한 것은 통상적으로 하나의 평면(지면)이므로, 3차원 점들의 Y-축 좌표의 밀도는 지면의 위치에서 최대값이 된다.

도 9은 3차원 점들의 Y-축 좌표의 밀도를 나타낸 예시도이다.

도 9에서 최대 위치는 지면의 위치로부터 인식되고 최대 위치로부터의 원점까지의 거리는 3차원 구조에서 카메라 높이로서 인식된다.

실험에서, 지면의 정확한 위치와 방향은 3차원 평면 예측에 의해 추정된다. 거칠게 예측된 지면 근처의 3차원 점들이 선택되고 RANSAC 접근법이 3차원 평면을 예측하기 위해 사용된다. 카메라 높이는 카메라 원점과 지면 간의 수직 거리를 계산함으로써 정의된다. 3차원 구조는 카메라 높이 비율을 이용하여 센티미터로 크기가 결정된다. 그런 후, 카메라 원점으로부터 멀리 떨어진 3차원 점들은 제거되고 남아있는 점들은 지면을 XZ-평면과 평행하도록 하기 위해 3차원 평면 방향에 따라 회전된다.

도 10은 거리 복구의 최종 결과를 나타낸 예시도이다.

10A는 카메라로부터의 시야에서의 거리 복구 결과를 나타낸 것이고, 10B는 위로부터 시야에서의 거리 복구 결과를 나타낸 것이다. 여기서, 좌표 (0, 0, 0)의 점은 카메라 중심을 카리킨다.

3.2 주차 공간 검출(Free Parking Space Detection)

후방 시야의 유클리드의 3차원 구조가 재구성되면, 3차원 점들의 그름 사이에서 주차공간을 설정해야 한다. 이러한 작업을 위해, 주변 차량들의 위치를 예측하고 그에 따라 주차 공간의 위치를 측정한다. 위치 예측은 복잡하고 시간이 소요되기 때문에, 평면 시야(Top-view)를 이용하여 3차원으로부터 2차원으로 구조의 차 원을 줄인다. 지면으로부터의 높이가 30~160 cm 사이인 3차원 점들이 선택되고, 높이 정보가 차원을 줄이기 위해 제거된다.

도 11은 차원 축소 결과를 나타낸 예시도이다.

11A는 차원 축소 결과를 나타낸 것이고, 11B는 고립된 점을 제거한 결과를 나타낸 것이다.

도시한 바와 같이, 차원 축소 결과에서는 주변 차량의 아웃라이어들과 다른 장애물들이 나타날 수 있다. 도 11에서는 3차원 재구성 오류로 인해 발생할 수 있는 몇 개의 고립된 점들이 존재하므로, 수학식 15로 정의되는 이웃들의 수를 세어 고립된 점들을 제거한다.

와

는 2차원 점들을 나타내고

은 반경을 나타낸다.

가 임계값이하라면

는 고립된 점으로서 정의되어 제거된다.

11B에 도시한 결과는

과 임계값을 각각 10cm와 3으로 설정했을 때, 고립된 점들을 제거한 결과이다. 여기서, 점 (0, 0)은 카메라 중심을 가리킨다.

도 11에서 모든 점들은 자동차의 최외곽 표면에 속하지 않기 때문에, 입력각과 카메라 중심으로부터 거리 간의 관계를 이용하여 외곽 점들을 선택한다. 이러한 절차는 주변 차량의 위치를 더욱 잘 예측하기 위해 수행된다. 입력각은 카메라 중 심과 2차원 점이 만나는 선과 수평축 간의 각도이다.

도 12은 외곽점 선택을 나타낸 예시도이다.

12A는 입력각과 카메라 중심으로부터의 거리로 2차원 점들을 다시 나타낸 것이고, 12B는 외곽점 선택 결과를 나타낸 것이다.

12B는 입력각과 카메라 중심으로부터의 거리를 이용하여 12A와 같이 다시 도시될 있다. 12A에서 나타낸 같은 수직선 상의 점들은 같은 입력각으로부터 도출될 수 있으므로, 같은 수직선 상의 점들 중에서 카메라 중심으로부터 가장 가까운 점을 외곽점으로서 인식할 수 있다.

차량의 모양이 위에서 바라보는 것처럼 사각형이라면, 주변 차량의 위치는 모서리 점과 방향에 의해 나타낼 수 있다. 그러므로, 주변 차량의 모서리 점과 방향을 예측하고 주차 공간의 위치를 측정하는 데 이 모서리 점과 방향을 이용한다. 재구성된 구조는 잡음이 있고 주변 차량들뿐만 아니라 다른 장애물들도 포함하고 있으므로, 투영 기반 방법을 사용한다. 이러한 방법은 2차원 점들을 회전시키고 X-축과 Z-축으로 투영한다. 이를 통해, 두 개의 투영 결과들의 최대 값의 합을 최대화하는 회전각이 구해진다. 투영 결과 최대값의 합을 가장 크게 만드는 회전각과 위치는 각각 방향과 모서리 점으로서 인식된다. 이러한 방법은 방향과 모서리점을 동시에 예측하며 잡음이 많은 데이터에서도 신뢰할 만한 결과를 얻을 수 있게 해준다.

하지만, 이러한 방법을 이용하면 예측된 방향이 세로인지 가로인지 여부를 알 수가 없다. 이를 결정하기 위해, 주차 공간이 좌측에 있을 때 운전자는 오른쪽 으로 돌리며 그 반대인 경우에는 그 반대로 돌린다고 가정한다. 이러한 가정을 이용하면, 예측된 방향이 세로인지 또는 가로인지 여부를 결정할 수 있다. 자동차의 회전 방향은 펀더멘털 행렬로부터 추출된 회전 행렬로부터 예측된다.

방향과 모서리 점을 예측한 후, 주변 차량의 세로 방향에서의 점들을 선택하고 RANSAC 기반의 선 예측을 이용하여 방향을 정하는 데 사용한다. 자동차들의 가로측이 통상적으로 구부러져서 세로측이 더욱 정확한 방향 정보를 제공하기 때문에 이러한 절차가 요구된다. 모서리 점 또한 정해진 방향에따라 추정된다.

도 13은 다른 주변 차량의 검색 영역과 주차 공간 위치 측정을 나타낸 예시도이다.

13A는 다른 주변 차량의 검색 영역을 나타낸 것이고, 13B는 주차 공간 위치 측정을 나타낸 것이다. 가장 올바른 주차 공간의 위치를 측정하기 위해서는 예측된 차량 반대에 위치한 다른 주변 차량들도 검색된다. 검색 영역은 예측된 모서리 점과 방향을 이용하여 13A와 같이 설정된다. 150 cm의 반경을 갖는 원을 설정하고 그 중심이 방향과 직교하는 방향에서의 모서리 점으로부터 300 cm에 위치하는 것으로 설정한다.

검색 영역 내에서의 점 구름들이 있다면, 다른 차량이 있는 것으로 간주하며 주차 공간은 가로 방향에서의 두 개의 차량들의 중앙에 위치한다. 두 개의 주변 차량들의 모서리 점들은 세로 방향으로 투영되고 바깥쪽 하나는 주차 공간의 위치를 측정하는 데 사용된다. 13B에서 이러한 과정을 설명한다. 13B에서 모서리 점(Corner Point) 1은 외곽의 한 점이기 때문에 선택된다. 다른 차량이 찾아지지 않는다면(모서리 점(Corner Oint) 2가 찾아지지 않는다면), 주차 공간은 검출된 차량 옆에서 50cm 간격을 두고 위치한다.

도 14는 영상 시퀀스의 마지막 프레임에 그려진 주차 공간 검출의 최종 결과를 나타낸 예시도이다.

도 14에서는 주차 공간의 폭과 길이가 각각 180 cm와 480 cm로서 설정되었다.

4. 실험 결과

본 발명에 따라 154 개의 다른 주차 상황에서 실험하였다. 데이터베이스로부터 53 개의 시퀀스들이 레이저 스캐너 데이터로 취해졌고 101 개의 시퀀스들이 레이저 스캐너 데이터 없이 취하여, 성공률과 검출 정확도의 관점에서 결과를 분석했다.

4,1 재구성된 후방 구조(Rearview Structure)들의 비교

이 실험에서, 본 발명에 따라 특징 선택과 3차원 모자이킹 방법을 사용할 때와 사용하지 않을 때의 3차원 후방 시야 구조들을 재구성하고 레이저 스케너 데이터와 비교하였다. 사용된 레이저 스캐너의 각도 해상도와 깊이 해상도는 각각 0.125°와 3.9mm이고 구조적인 오류는 ±25mm이다.

도 15은 자동차에 탑재된 어안 카메라와 레이저 스캐너를 나타낸 예시도이다.

이러한 두 개의 센서의 관계는 미리 파악되었다.

도 16는 제안된 방법을 이용할 때와 이용하지 않을 때의 재구성된 후방 시야 구조들의 비교를 나타낸 예시도이다.

16A는 두 개의 영상 시퀀스들의 마지막 프레임들을 나타낸 것이고, 16B는 제안된 방법을 이용할 때 재구성된 후방 시야 구조들을 나타낸 것이며, 16C는 제안된 방법을 사용하지 않을 때 재구성된 후방 시야 구조들을 나타낸 것이다.

재구성된 구조들은 지면 근처의 점들을 제거한 후, 위에서 바라본 모습으로 다시 도시되었다. 차량 위의 점들은 에피폴들의 위치를 가리킨다. 16B와 16C에서 파란색과 빨간색의 점들은 각각 재구성된 점들과 레이저 스캐너 데이터를 가리킨다.

이러한 비교를 통해, 다음과 같은 장점을 도출하였다. 첫째, 본 발명에 따르면 잘못 재구성된 점들의 수가 준다. 본 발명에서는 에피폴의 근처에 있고 카메라 중심으로부터 멀리 떨어진 대응점들을 제거하기 때문에 16C에서는 16B에서 보다 더 많은 그라운드 트루쓰 데이터 밖의 잘못된 점들이 나타난다. 둘째, 본 발명에 따르면 주변 차량에 대한 정보의 양이 증가한다. 주변 차량 위의 점들의 밀도가 모자이크된 3차원 구조들에 의해 증가하므로 16B에서의 구조가 16C에서의 구조보다 더 자세하다. 마지막으로, 본 발명에 따르면 거리 복구 결과가 향상된다. 16C에서, 재구성된 구조의 크기는 그라운드 트루쓰와 다르다. 이는 본 발명에 따르면 지면상에 더 많은 점들을 생산하여 지면 평가를 더욱 정확하게 하기 때문이다.

4.2 주차 공간 검출 결과

본 발명은 154 개의 실제 주차 상황에 적용되었다. 지면은 아스팔트, 흙, 눈, 물과 주차 표시선으로 덮혔다. 자동차들은 어두운 색으로부터 밝은 색까지 다양했고 승용차, SUV, 트럭, 밴과 버스 등을 포함했다. 환경은 다양한 형식의 빌딩들, 차량들과 나무들을 포함햇다.

도 17는 여섯 개의 성공적인 예제들을 나타낸 예시도이다.

17A와 17C는 영상 시퀀스들의 마지막 프레임들을 나타내고, 17B와 17D는 각각 17A와 17C와 대응하는 후방 시야 구조들을 나타낸 것이다. 도 17에서 (0, 0)은 카메라 중심을 가리킨다.

시스템이 성공적으로 동작하는지 여부를 결정하기 위해, 영상 시퀀스의 마지막 프레임에서 검출된 주차 공간을 출력한다. 두 개의 주변 차량들 사이의 주차 공간 내에 검출된 주차 공간이 위치한다면, 결과는 성공한 것으로 볼 수 있다. 이러한 방식으로 시스템은 139 개의 상황들에서 성공했고 15 개의 상황들에서 실패해서, 검출률은 90.3%가 되었다.

도 18은 4 개의 실패한 예를 나타낸 예시도이다.

18A는 반사된 햇빛으로 인해 실패한 형태를 나타내고, 18B는 그림자진 지역 아래의 어두운 차량으로 인해 실패한 형태를 나타내고, 18C는 멀리 떨어진 주차 공간으로 인해 실패한 형태를 나타내며, 18D는 울퉁불퉁한 지면으로 인해 실패한 형태를 나타낸 것이다.

18A에서는 태양이 주변 차량과 피면에 표면에 강하게 반사되어 특징 점 추적에 실패하였다. 18B에서는 주변 차량이 매우 어둡고 그림자가 진 지역 내에 위치하여 몇 안되는 점들만이 차량의 표면 위에서 검출되고 추적되었다. 18C에서는 주차 공간이 카메라로부터 아주 멀리 떨어져 있어서, 하얀색 차량의 옆이 회색 밴의 옆보다 더욱 자세히 재구성되었다. 이것이 잘못된 검출을 야기했다. 18D에서는 주차 공간(더욱 어두운 지역)상의 지면의 일부가 아스팔트로 덮여서, 지면이 평평하지 않았다. 이것이 지면 예측이 잘못되도록 만든다.

15 개의 실패들 중 세 개는 18A와 같이 다시 도시할 수 있고, 9 개는 16B와 같이 다시 도시할 수 있으며, 두 개는 18C와 같이 다시 도시할 수 있으며, 한 개는 16D와 같이 다시 도시할 수 있다.

4.3 주변 차량 검출의 정확도

본 발명에 따른 자동 주차 검출 방법은 주변 차량의 모서리 점과 방향을 예측하고 그에 따라 목표 공간의 위치를 측정한다. 검출 결과는 모서리 점과 방향의 예측에 의존하기 때문에, 이들을 사용하여 정확도를 평가하였다. 모서리 점과 방향의 그라운드 트루쓰는 레이저 스캐너 데이터를 이용함으로써 획득된다. 모서리 점들의 오류는 예측된 점으로부터 측정된 점까지의 유클리드 거리이고 방향의 오류는 예측된 각도와 측정된 각도 간의 절대값의 차이다. 이러한 평가를 위해, 47 개의 영상 시퀀스들과 그에 대응하는 레이저 스캐너 데이터가 사용되었다. 주변 차량의 모서리 점과 방향은 각 영상 시퀀스마다 10 번씩 예측되었다. 이는 재구성된 구조가 파라미터 예측 결과로 인해 매번 조금씩 다를 수 있기 때문이다.

도 19는 레이저 데이터를 이용한 평가 결과를 나타낸 예시도이다.

19A는 모서리 점 오류를 나타낸 것이고, 19B는 방향 오류를 나타낸 것이다.

19A와 19B에서, 모서리 점과 방향의 오류는 히스토그램으로 다시 도시될 수 있다. 모서리 점의 평균과 최대 오류는 각각 14.9cm와 42.7cm이다. 모서리 점과 카메라 중심 간의 거리는 281.4 cm와 529.2cm이다. 두 개의 차량 간의 가로의 거리가 통상적인 주차장 주차 상황에서 약 280 cm와 300 cm이므로, 차량의 각 측면에서 약 50 cm의 추가 공간이 있다. 이는 모서리 점의 최대 오류가 주차 공간의 위치 측정에서 허용될 만한 수준임을 의미한다. 방향의 평균과 최대 오류는 각각 1.4°와 7.7°이었다. 방향의 평균 오류는 허용될 만했지만, 방향의 최대 오류는 다소 컸다. 특징의 부재로 인해 자동차의 측면은 몇 안되는 대응점을 나타내고 이는 방향 예측을 어렵게 하기 때문이다. 이러한 평가는 제안된 시스템이 주차 공간을 검출하기 위한 허용할 만한 결과를 산출한다는 것을 나타낸다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어 야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

도 1은 본 발명의 일 실시예에 따른 모노큘러 모션 스테레오 기반의 주차 공간 검출 장치를 이용한 주차 보조 시스템의 구성을 간략하게 나타낸 블록 구성도,

도 2는 본 발명의 일 실시예에 따른 모노큘러 모션 스테레오 기반의 주차 공간 검출 방법을 설명하기 위한 순서도,

도 3은 전형적인 주차 상황에서의 에피폴 위치를 나타낸 예시도,

도 4는 영상 시퀀스의 마지막 프레임에서 에피폴의 위치와 재구성된 후방 구조도,

도 5는 역회전 기반 특징 선택 절차를 나타낸 예시도,

도 6은 특징 선택과 3차원 모자이킹 방법을 사용할 때와 사용하지 않을 때 재구성한 3차원 구조들을 나타낸 예시도,

도 7은 특징점 선택과 3차원 모자이킹 방법을 이용한 경우와 이용하지 않은 경우의 3차원 구조들을 나타낸 예시도,

도 8은 후방 카메라의 설정을 나타낸 예시도,

도 9은 3차원 점들의 Y-축 좌표의 밀도를 나타낸 예시도,

도 10은 거리 복구의 최종 결과를 나타낸 예시도,

도 11은 차원 축소 결과를 나타낸 예시도,

도 12은 외곽점 선택을 나타낸 예시도,

도 13은 다른 주변 차량의 검색 영역과 주차 공간 위치 측정을 나타낸 예시도,

도 14는 영상 시퀀스의 마지막 프레임에 그려진 주차 공간 검출의 최종 결과를 나타낸 예시도,

도 15은 자동차에 탑재된 어안 카메라와 레이저 스캐너를 나타낸 예시도,

도 16는 제안된 방법을 이용할 때와 이용하지 않을 때의 재구성된 후방 시야 구조들의 비교를 나타낸 예시도,

도 17는 여섯 개의 성공적인 예제들을 나타낸 예시도,

도 18은 4 개의 실패한 예를 나타낸 예시도,

Claims

차량의 주차 공간을 검출하는 장치에 있어서,

영상 촬영부로부터 입력 영상을 수신하고 상기 입력 영상을 분석하여 대응점을 획득함으로써 특징점을 추적하는 특징점 추적부;

상기 특징점을 이용하여 상기 주차 공간을 3차원으로 재구성하여 3차원 구조를 생성하는 3차원 구조 생성부;

역회전 기반 특징 선택을 이용하여 상기 특징점을 재선택하여 상기 3차원 구조를 재구성하고 닮음 변환을 평가함으로써 상기 재구성한 3차원 구조를 모자이크로 구성하여 3차원 구조 모자이크를 생성하는 3차원 모자이크 구조 생성부;

영상 촬영부 높이 비율을 이용하여 상기 3차원 구조 모자이크에서 거리 정보를 획득하는 거리 복구부; 및

상기 3차원 구조 모자이크에서 주변 차량의 위치를 예측함으로써 상기 주차 공간을 검출하는 공간 검출부

를 포함하는 것을 특징으로 하는 주차 공간 검출 장치.
제 1 항에 있어서, 상기 특징점 추적부는,

상기 특징점을 검출하고 루카스-케네디 방법을 이용하여 상기 입력 영상을 통해 상기 특징점을 추적하는 것을 특징으로 하는 주차 공간 검출 장치.
제 1 항에 있어서, 상기 3차원 구조 생성부는,

상기 입력 영상의 키 프레임을 선택하고 상기 키 프레임에서 움직임 변수를 예측한 후 선형 삼각법을 이용하여 상기 특징점의 3차원 좌표를 계산함으로써 상기 3차원 구조를 생성하는 것을 특징으로 하는 주차 공간 검출 장치.
제 1 항에 있어서, 상기 공간 검출부는,

평면 시야를 이용하여 상기 3차원 구조 모자이크의 차원을 줄이고, 이웃들로부터 고립된 점을 제거하며, 입력각과 영상 촬영부 중심으로부터의 거리를 이용하여 상기 주변 차량의 외곽점을 구하고 상기 주변 차량의 모서리 점과 방향을 예측함으로써 상기 주차 공간을 검출하는 것을 특징으로 하는 주차 공간 검출 장치.
제 4 항에 있어서, 상기 공간 검출부는,

소정의 반경을 갖는 원을 검색 영역으로 설정하여 상기 주변 차량의 반대편의 다른 차량을 추가로 예측하되, 상기 원의 중심은 상기 방향과 직교하는 방향에서 상기 모서리 점으로부터 소정의 거리에 위치하도록 설정되는 것을 특징으로 하는 주차 공간 검출 장치.
제 1 항에 있어서, 상기 거리 복구부는,

경사각을 보상하고 밀도 예측 기반으로 지면을 검출하며 3차원 평면 예측 기 반으로 상기 지면의 위치와 방향을 예측함으로써 상기 3차원 모자이크 구조에서의 영상 촬영부 높이를 결정하여 상기 영상 촬영부 높이 비율을 획득하는 것을 특징으로 하는 주차 공간 검출 장치.
차량의 주차를 보조하는 주차 보조 시스템에 있어서,

주차 공간을 촬영하여 입력 영상을 생성하고 전달하는 영상 촬영부;

상기 주차 공간을 검출한 출력 영상을 출력하는 사용자 인터페이스부;

상기 입력 영상을 전달받으면 상기 입력 영상을 분석하여 대응점을 획득함으로써 특징점을 추적하고, 상기 특징점을 이용하여 상기 주차 공간을 3차원으로 재구성하여 3차원 구조를 생성하며, 역회전 기반 특징 선택을 이용하여 상기 특징점을 재선택하여 상기 3차원 구조를 재구성하고 닮음 변환을 평가함으로써 상기 재구성한 3차원 구조를 모자이크로 구성하여 3차원 구조 모자이크를 생성하며, 영상 촬영부 높이 비율을 이용하여 상기 3차원 구조 모자이크에서 거리 정보를 획득하고 상기 3차원 구조 모자이크에서 주변 차량의 위치를 예측함으로써 상기 주차 공간을 검출하여 주차 공간 검출 결과를 생성하여 전달하는 주차 공간 검출부

상기 차량의 운전상황을 인식하기 위한 다수 개의 센서를 구비하여 상기 차량의 운전상황정보를 생성하여 전달하는 감지부;

상기 감지부로부터 상기 운전상황정보를 수신하여 상기 차량의 위치를 추정하며, 상기 주차 공간 검출 결과를 전달받아 상기 주차 공간으로 주차하기 위한 경로 계획을 생성하고 상기 주차 공간으로 주차하기 위한 제어 신호를 생성하여 전달 하는 주차 보조 제어부;

상기 제어 신호를 수신하면 상기 제어 신호에 따라 상기 차량을 조향하는 능동 조향부; 및

상기 제어 신호를 수신하면 상기 제어 신호에 따라 상기 차량을 제동하는 능동 제동부

를 포함하는 것을 특징으로 하는 주차 공간 검출 장치를 이용한 주차 보조 시스템.
주차 공간 검출 장치가 주차 공간을 검출하는 방법에 있어서,

(a) 영상 촬영부로부터 입력 영상을 수신하고 상기 입력 영상을 분석하여 대응점을 획득함으로써 특징점을 추적하는 단계;

(b) 상기 특징점을 이용하여 상기 주차 공간을 3차원으로 재구성하여 3차원 구조를 생성하는 단계;

(c) 역회전 기반 특징 선택을 이용하여 상기 특징점을 재선택하여 상기 3차원 구조를 재구성하는 단계;

(d) 닮음 변환을 평가함으로써 상기 재구성한 3차원 구조를 모자이크로 구성하여 3차원 구조 모자이크를 생성하는 단계;

(e) 영상 촬영부 높이 비율을 이용하여 상기 3차원 구조 모자이크에서 거리 정보를 획득하는 단계; 및

(f) 상기 3차원 구조 모자이크에서 주변 차량의 위치를 예측함으로써 상기 주차 공간을 검출하는 단계

를 포함하는 것을 특징으로 하는 주차 공간 검출 방법.