KR102241324B1 - 단안 카메라를 이용한 영상 기반의 전방 추돌 경고 시스템의 거리 추정 방법 - Google Patents

Abstract

본 발명은 하기의 식 (4)를 이용하여

고정된 실제의 차량의 평균 폭이 검출된 차량의 위치와 상기 차량 폭의 정보로부터 가상 지평선 값을 구하는 과정 및
하기의 식 (2)를 이용하여

차량 위치로부터 거리를 추정하는 과정을 포함하는 것을 단안 카메라를 이용한 거리 추정 방법을 개시한다.

Description

단안 카메라를 이용한 영상 기반의 전방 추돌 경고 시스템의 거리 추정 방법{Method for Range Estimation with Monocular Camera for Vision-Based Forward Collision Warning System}

본 발명은 영상 기반의 전방 추돌 경고 시스템에 사용되는 단안 카메라를 이용한 거리 추정 방법에 관한 것이다.

자동차의 숫자가 증가하면서, 안전 운전은 중요한 이슈가 되어왔다. 운전자의 부주의에 기인하여 발생한 교통 사고의 숫자가 고려해야 할만한 숫자이기 때문에 임박한 충돌을 검출하고, 적절한 시간에 운전자에게 경고를 제공함으로써 운전자 부주의에 의해 발생하는 교통 사고의 심각성과 숫자를 경감할 수 있는 것은 유의미한 일이다. 전방 추돌 경고 시스템(FCW : Forward Collision Warning System)은 전방의 차량을 검출하고 운전자에게 경고를 미리 발생시킴으로써 추돌로부터 야기되는 위험을 완화하거나 회피하는 것이다. 전방 추돌 경고 시스템은 본 차량의 앞에서 정차 또는 주행하는 목표 차량과의 거리를 이용하여, 충돌 예측 시간(Time-to-collision TTC)을 계산하고, 충돌 예측 시간이 특정한 문턱치보다 작을 때 충돌 경고를 발생한다.

시기 적절한 충돌 경고가 발생하기 위해서는, 목표 차량과의 거리를 정확하게 결정되어야 한다. 레이더 센서는 이와 같은 목적에 보편적으로 사용되어 왔다. 레이더 센서는 심지어는 조도환경이 안 좋은 경우에도 원거리에서 목표 차량을 검출할 수 있다. 레이더의 높은 비용과 제한된 각도 정확성 때문에, 많은 연구자들에 의해 저렴한 가격의 영상 센서를 사용하는 영상 기반의 전방 추돌 경고 시스템이 일반적으로 연구되어왔다. 레이더 센서와 반대로, 영상 센서는 거리 정보를 제공하지 않는다. 거리는 영상 센서의 차량의 크기와 위치 등의 정보에 의해 추정되어야 한다. 영상의 차량 폭은 자동차와의 거리와 반비례하기 때문에, 영상의 차량 폭으로부터 차량과의 거리를 추정할 수 있다. 그러나, 차량의 폭을 이용한 거리 추정은 차량의 실제 폭에 대한 사전정보가 없는 경우 심각한 오류를 발생시킬 수 있는데, 차량의 실제 폭은 1.4미터에서 2.6미터에 이르기 때문이다. 영상에서 차량의 하단으로부터 지평선까지의 거리는 차량의 거리와 반비례한다. 만약에 지평선을 정확하게 위치 지울 수 있다면, 영상에서의 차량 하 단위치를 이용하여 차량까지의 거리를 정확하게 추정할 수 있다. 차량의 움직임과 도로의 경사 때문에 지평선의 위치가 변화하기 때문에, 지평선의 위치를 실시간으로 위치 지어야 한다. 지평선의 위치는 차선의 마킹을 분석함으로써 정할 수 있다. 그러나 이와 같은 방법은 언덕길 등에서 도로의 경사가 지속적으로 변하거나, 혼잡한 도로에서 차선을 찾지 못하게 되는 경우 적절하게 사용할 수 없다. 더군다나, 근거리에서 차선 마킹을 분석하여 추정된 수평선은 특히 차량이 언덕의 정상에 있는 경우 큰 값의 거리 오류를 발생할 수 있다.

본 발명은 도로경사가 지속적으로 변화하거나 차선 마킹이 보이지 않는 경우에도 거리 정보를 제공할 수 있는 단안 카메라를 이용한 영상기반의 전방 추돌 경고 시스템의 거리 추정 방법을 제공한다.

본 발명의 단안 카메라를 이용한 영상기반의 전방 추돌 경고 시스템의 거리 추정 방법은 차량의 크기 및 위치정보로부터 가상의 수평선을 추정하고, 추정된 가상의 수평선과 차량의 위치정보로부터 거리를 계산하여 거리를 추정하는 것을 특징으로 한다.

본 발명은 도로경사가 지속적으로 변화하거나 차선 마킹이 보이지 않는 경우에도 거리 정보를 제공할 수 있는 효과가 있다.

또한, 본 발명은 고속도로 교통 환경뿐만 아니라 도심 교통환경에서도 양호하게 거리를 추정할 수 있는 효과가 있다.

도 1은 대상물 검출 알고리즘을 이용하는 영상 기반이 전방 충돌 경고 시스템이 수행하는 업무 흐름도이다.
도 2는 핀홀 카메라를 이용한 영상의 차량 위치를 추정하는 방법에 대한 모식도이다.
도 3은 취득된 동영상으로부터 추출된 정지 영상을 나타낸다.
도 4는 고속도로 교통 동영상에서 제안된 방법으로 추정한 가상 지평선과 참조 지평선에 대한 그래프이다.
도 5는 도심 교통 동영상에서의 참조 지평선과 가상지평선에 대한 그래프이다.
도 6은 언덕 구간의 영상에서 참조 지평선과 가상 지평선을 보여주는 사진이다.
도 7은 실측 거리와 각 동영상에서 추정된 거리들을 보여주는 그래프이다.
도 8은 여러 개의 영상들이 가상 지평선이 참조 지평선보다 낮게 위치하고 있음을 보여주는 그래프이다.

이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 따른 단안 카메라를 이용한 영상기반의 전방 추돌 경고 시스템의 거리 추정 방법에 대하여 설명한다.

먼저, 전형적인 전방 추돌 경고 시스템에 대하여 간단하게 설명한다.

도 1은 대상물 검출 알고리즘을 이용하는 영상 기반이 전방 충돌 경고 시스템이 수행하는 업무 흐름도이다.

대상 검출은 외란이 존재하는 배경으로부터 얼굴, 보행자 그리고 차량등과 같은 큰 변동성이 있는 같은 부류로부터 특정한 부류의 대상을 구별해 내는 것이다. 다수의 영상 기반의 차량 검출 시스템은 일반적으로 차선이 잘 마킹 되어있고 곡률 반경이 천천히 변화하는 오직 고속도로 교통 상황과 같은 곳에서 설계되어 왔다. 그러나, 차량 검출 시스템은 고속도로 교통 환경과 같은 배경으로부터 차량이 적절히 분리되어 표현되는 것뿐만 아니라, 도심 교통 환경과 같이 배경이 더욱 많은 외란을 갖고 있어도 차량이 구분되어야 한다. 대부분의 전방 충돌 경고 시스템은 이와 같은 목적으로 대상물을 검출하는 알고리즘으로 채용되어 왔다.

도 1은 대상물 검출 알고리즘을 다양한 영상 기반의 전방 충돌 경고 시스템이 수행하는 업무 흐름도이다. 이 흐름도는 2개의 단계로 구성되어 있는데, 대상물 검출 및 추적 단계와 경고 단계로 구성된다. 대상물 검출 및 추적 단계에서, 영상의 차량 크기와 위치가 결정된다. 대부분의 대상물 검출 알고리즘은 대상 후보 생성과 대상후보 확정 단계로 구성되어있다. 차량의 후보 표현은 차량의 색상, 질감, 대칭, 모서리 및 수평 및 수직 경계선을 사용하는 것과 같이 선행 연구를 통한 지식을 사용하여 후보를 생성한다. 후보 확정 단계는 차량의 특징점들의 연속성을 계산하여 배경으로부터 차량을 구분하는 분류기를 이용하여 후보를 확정하여 차량을 표현한다. 일부 개발자는 특징점 추출을 위해서 하알 웨이브렛 분해(Harr wavelet decomposition)를 사용하고 분류기를 위해서 서포트 벡터 머신(Support Vector Machine: SVM) 기법을 채용하고 있다. 또한, 일부 개발자는 특징점 추출을 위해서 하알-라이크 특징(Haar-like feature), 대상 확정을 위한 분류 기법으로 아다부스트(AdaBoost) 기법을 사용하였다. 대상 검출의 정확도는 추적 기법을 병행함으로써 개선되었다. 향후에 나타날 영상 프레임에 차량이 출현하는 것에 대한 후보 생성은 현재 영상 프레임의 검출 결과를 사용하였고, 입증된 과거 검출 결과를 이용하여 검출 오류를 낮췄다. 또한, 일부 개발자는 검출을 입증하기 위해 추적된 영역 안에서 정련된 검출을 사용하였다. 또한, 일부 개발자는 오 검출을 줄이기 위해서 단순화한 루카스-카네이드(Simplified Lucas-Kanade) 알고리즘을 채용하였다.

경고 단계에서, 목표 차량과의 충돌 예측 시간(TTC)을 계산하여 충돌 경고를 발생시킨다. 차선 정보 및 핸들 각도, Yaw, 속도등의 차량의 신호를 이용하여 본 차량의 궤적을 예측한다. 본 차량의 궤적안에 위치한 가장 근거리 차량을 목표차량으로 정의한다. 충돌경고를 발생시키기 위해서, 목표 차량과의 거리를 결정하고 이 거리를 이용하여 충돌 예측 시간을 계산한다. 충돌 경고는 특정 문턱치보다 충돌 예측 시간이 작을 때 발생하는데, 미국 고속도로 교통 안전국 (NHTSA)의 신차 평가프로그램(NCAP)에 따른 전방 충돌 경고 시스템 인증 평가(Forward Collision Warning System Confirmation Test)에 따르면 충돌 예측 시간 2.0~2.4 초에 경고하게 되어있다.

다음은 전형적인 단안 카메라를 이용한 영상 기반의 거리 추정 방법에 대하여 설명한다.

영상 센서는 거리 정보를 제공하지 않기 때문에, 핀홀 카메라 기하학 정보를 이용하여 영상의 차량의 크기 또는 위치로부터 거리를 추정해야만 한다. 영상 정보에서의 차량의 폭은 핀홀 카메라 기하학에 의하면 차량의 실제 폭과 비례한다. 만약 실제 차량폭을 알고 있다고 가정하면 자동차까지의 거리 d 는 아래의 식 (1)과 같은 식으로 계산될 수 있다.

여기서, F_c는 카메라의 초점거리이며, ω_a와 W_a는 각각 영상에서의 차량 폭과 실제 차량의 폭이다. 차량의 폭은 1.4~1.6m의 사이에서 변한다. 차량의 실제 폭에 대한 사전 정보가 없다면 위 식을 이용한 거리추정에서는 의미 있는 오류가 발생할 수 있는데, 만약 고정 차량 폭(예: W_a=1.82m)을 사용하는 경우 그 오류는 최대 30%에 이른다. 이 값은 충돌 예측 시간을 계산할 만큼 충분하지는 않지만, 분별 정리를 위해서는 사용할 수 있다.

다음은 전형적인 위치 정보를 이용한 거리 추정 방법에 대하여 설명한다.

카메라의 롤(roll: 차량의 전방을 볼 때 시계/반시계 방향 회전각)과 요(yaw: 차량의 수직 방향 아래를 볼 때 시계/반시계 방향 회전각)의 각도가 0도라고 가정하면, 도 2에서 보여주는 것처럼 핀홀 카메라 기하학을 이용하여 영상의 차량 위치를 추정하여 거리를 예측할 수 있다. 카메라의 피치(pitch: 차량 옆면에서 볼때 시계/반시계 회전각) 각도가 0도인 경우와 0도가 아닌 경우의 거리 예측을 도 2(a)와 2(b)에 그려진 것처럼 거리를 예측할 수 있다. 도 2(a)는 카메라 피치 각도가 0인 경우이며, 도 2(b)는 카메라 피치 각도가 0이 아닌 경우에를 나타낸다. 영상에서 차량의 하단 끝과 도로표면이 접촉하는 선을 하단선(bottom line)이라고 하고 소실점을 지나는 가로의 직선을 지평선이라고 하자. 차량의 하단 끝 선이 지평선에 근접하면 차량이 카메라로부터 아주 멀어진다고 볼 수 있다. 지평선은 카메라의 광학 축이 노면과 평행하게 될 때 영상의 중심으로 지평선이 지나게 된다. 이 지평선은 카메라의 피치 각도에 따라 올라가거나 내려간다.

차량의 하단끝 선과 지평선의 사이 거리는 차량과의 거리에 반비례한다. 카메라의 피차 각도가 무시할 만큼 작다면, 차량까지의 거리 d는 아래의 식 (2)에 의하여 계산될 수 있다.

여기서, F_c가 카메라의 초점거리이고, H_c는 카메라의 높이, 그리고 y_b와 y_h는 차량 하단 끝 선의 상대적인 수직 좌표이다. 카메라의 피치 각도 θ가 유의미하게 커진다면, 거리는 아래의 식 (3)에 의해 계산되어질 수 있다.

만약 θ가 작다면, θ가 작아 무시할 만하다면 거리오류의 결과도 작기 때문에 식 (2)는 식(3) 대신에 사용될 수 있다. 예를 들면, 카메라 높이 H_c가 1.3m이고 θ가 10도라면 1/cos² θ가 1.03이 되고 식 (3)에서의 두 번째 항목은 0.23m가 된다. 그런데, 만약 θ가 0이 아니고, 지평선이 영상의 중심을 더 이상 지나가지 않게 된다면, 차량의 위치가 결정된다.

차량이 멀리 지나가고 있을 때 식 (2)에서의 y_b-y_h의 분모는 아주 작아지기 때문에 수평선의 위치의 작은 변화는 큰 거리 오차를 발생할 수 있다. 고속도로 교통환경에서 지평선은 아주 작은 폭에서 변화하기 때문에 차량의 거리는 카메라 검정(calibration)을 통한 고정 지평선을 사용함으로써 결정할 수 있다. 도심 교통환경에서는 차량의 움직임과 도로의 경사에 기인하여 지평선의 큰 폭으로 변화하기 때문에, 지평선은 실시간으로 위치지어져야 한다. 지평선은 차선의 마킹을 분석함으로써 결정할 수 있지만, 차선 마킹을 이용하는 방법은 도로경사가 지속적으로 변하거나 차선 마킹이 안 보이는 경우에는 사용하기에 부적절하다.

다음은 단안 카메라를 이용한 영상 기반의 전방 추돌 경고 시스템의 거리 추정 방법에 대하여 설명한다.

만약 실제 차량폭인 W_a를 알 수 있고 영상에서의 차량의 크기와 위치가 주어진다면 수평선상의 수직 좌표 y_h는 식 (1)과 식 (2)에 의해 아래와 같이 표시될 수 있다.

H_c는 카메라의 높이로 상수이며 영상에서의 y_b와 ω_a는 차량의 하단 끝 위치와 차량의 폭을 나타내고 각각 대상 검출 단계에서 얻어진다. 차량의 실제 폭인 W_a는

+ △W_a로 표시될 수 있고, 여기서,

는 실제 차량 폭의 평균이며 △W_a는 실제 차량 폭과 실제 평균 차량 폭과의 차이 값이다. 만약 충분할 만큼 많은 차량이 검출된다면, ∑△W_a는 0으로 수렴하게 되므로 무시할 수 있다. 결과적으로, 지평선은 고정된 실제의 평균 차량 폭(예를 들면

=1.82m)의 검출된 차량의 위치와 차량 폭의 정보로부터 결정될 수 있다.

대상 검출 단계에서 여러 대의 차량이 검출되게 되면, 평균 지평선 y_h는 아래의 식(5)에서와 같이 확정된 실제 차 폭을 갖는 여러 차량들의 차량 폭 값의 평균과 차량위치의 평균값으로부터 결정될 수 있다.

여기서, N은 검출된 차량의 숫자이고, y_{b ,i}와 ω_a,i는 각각의 검출된 차량의 폭과 위치 값들이다.

와

는 각각 검출된 차량들의 위치의 평균 및 차량 폭의 평균값이다. △W_{a ,i}는 검출된 차량의 실제 차량 폭과 (5)에서 무시된 실제 차량의 고정 폭 평균인

와의 차이 값이다.

추정된 지평선의 위치는 본 차량의 진동과 가속으로 인한 피치 각도의 움직임뿐만 아니라 충분히 많지 않은 검출된 차량의 수 및 오 검출로 기인해 변동을 거듭할 수 있다. 본 차량의 피치 움직임에 기인한 지평선의 거듭되는 변동은 그 피치 움직임에 의해 영상에서 차량의 위치와 수평선이 동시에 영향을 받게 되므로 무시할 수 있다. 피치 각도 자체에 기인한 거리 오차는 만약 상기에서 서술한 바와 같이 피치 각도가 작다면 무시할 수 있다. 그렇지만, 검출된 차량의 수가 충분히 많지 않거나 오 검출에 의한 지평선의 잦은 변동은 제거되어야 한다. 대부분의 경우에 도로의 경사가 천천히 변화한다고 보면, 지평선의 잦은 변동은 이전에 추정된 지평선의 정보를 반영하게 되면 감소시킬 수 있다. t번째 영상에서의 가상 지평성은 아래의 식(6)과 같이 추정될 수 있다.

y_h(t)와 y_h(t-1)은 각각 t번째, t-1번째 영상에서 추정된 가상 지평선 값이고,

는 식 (5)을 적용했을 때 얻어지는 t번째 영상으로부터 계산된 평균 지평선 값이다. γ는 실험적으로 얻어진 상수이다. t=0 일 때, 기본 지평선 위치는 y_h(t-1)을 사용한다. 한번 가상 지평선이 결정되면, 식 (2)에 의한 가상 지평선을 이용한 차량위치로부터 거리를 계산할 수 있다.

대상 검출 단계에서 검출된 차량의 폭을 제한함으로써 오 검출을 줄일 수 있다. 식 (4)에서와 같이 기존의 영상프레임에서 추정된 y_h(t-1)은 가상 지평선을 적용하게 되면, 이미지상에서 y_b위치의 차량 폭의 최소/최대값은 아래의 식 (7)에서와 같이 제한된다.

W_{a , min}과 W_{a , max}는 실제 차량폭 (예를 들면 W_{a , min} =1.4, W_{a , max}=2.6m)이다. 영상에서 검출된 차량의 폭이 실제 차량폭의 값을 넘어서게 되면 오인식이다.

정확도를 고려하면, 영상에서의 차량 폭을 이용한 거리 추정 값은 차량의 실제 차량 폭이 주어져야만 정확한 거리 정보를 제공할 수 있다, 따라서 상기에서 서술한 바와 같이 실제 차량의 폭 대신 고정 차량 폭을 사용한다면 거리 오차는 30%에 이를 수 있다. 한편 영상에서의 차량의 위치에 의한 거리 추정은 지평선이 정확히 위치 지어질 때 정확한 거리 정보를 제공할 수 있다. 지평선 위치의 작은 변화가 큰 거리 오차를 결과할 수 있다. 지평선은 언제나 차량의 하단 끝 선보다 상위에 위치해야만 한다. 그러나 전통적인 방법에 의한 근접한 거리에서의 차선 마킹을 분석함으로써 추정하는 지평선의 경우, 특히 차량이 언덕 위에 있는 경우를 예를 들면 심지어는 차량의 하단 끝 선 아래에 위치하는 경우도 있다.

본 발명에서 가상 지평선은 차량의 위치로부터 추정하게 됨으로써 가상 지평선은 언제나 차량의 하단 끝 선의 상위에 위치하게 되고, 검출된 차량의 위치와 크기 두 가지 모두의 상태를 통해 차량과의 거리 오차가 제한하게 되므로 정확하다. 오직 하나의 차량만 검출된 경우에는, 식 (5)에서 제안된 방법론은 식 (1)에서의 크기 정보를 이용하여 거리를 추정한다. 특별히 검출된 1개의 차량의 폭이 아주 작거나 또는 아주 크게 되면, 거리오차는 최대 30%까지 될 수 있는데, 이것이 본 발명에서의 상위 거리 오차의 제한값이 된다.

다음은 단안 카메라를 이용한 영상 기반의 전방 추돌 경고 시스템의 거리 추정 방법에 의한 평가 결과에 대하여 설명한다.

먼저, 평가를 위하여 하알-라이크 특징점과 아다부스트를 기반으로 하는 대상 검출 알고리즘이 적용된 영상 기반의 전방 충돌 경고 시스템을 시행하였다. 평가를 위한 동영상 클립을 취득하기 위하여 차량에 단안 카메라를 설치하고 고속도로와 도심 교통 환경에서 주행하여 영상을 취득하였다. 카메라의 센서는 1280 x 672의 해상도를 갖고 있으며 초당 15프레임의 영상을 보내온다. 고속도로의 비디오 클립은 미국 고속도로 교통 안전국 (NHTSA)의 신차검증프로그램(NCAP)의 전방추돌 경고시스템 확인 실험에 의거하여 취득되었다. 이번 평가는 목표 차량이 정지, 감속, 저속으로 이동하는 시나리오로 구성하였다. 모든 시나리오에서 본 차량은 동일한 속도로 이동하도록 하였다. 도심 교통 환경에서의 주행에 대한 동영상 클립은 차선 마킹이 보이지 않는 교차로 및 도로 경사가 변화하는 언덕 구간을 포함하였다. 도 3은 취득된 동영상으로부터 추출된 정지 영상을 나타낸다.

정지 영상은 각 동영상 클립으로부터 캡쳐되어 추출되었으며, 각 캡쳐된 정지 영상에는 차선 마킹을 분석하여 수동으로 정의된 참조 지평선이 존재한다. 고속도로 교통 동영상 클립은 각각 56, 152 그리고 88 프레임의 길이이며, 도심 교통 동영상은 884프레임으로 되어있다. 여기서 추정된 가상 지평선은 참조 지평선과 비교하였다. 본 평가에서는 식 (6)에 따른 가상 지평선을 계산하기 위해서 γ=0.2가 사용되었다. 각 고속도로 교통 동영상 클립에서 거리를 측정하기 위해서 미분 지피에스가 사용되었다. 상기에서 기술된 종래의 방법을 사용한 추정 거리와 미분 지피에스를 사용하여 산출된 거리와 본 발명의 방법을 사용하여 추정된 거리를 비교하였다. 자동차의 위치로부터 거리를 추정하는 전통 방법을 사용하여, 참조 지평선과 고정 지평선 모두를 사용하여 거리를 계산하였다. 고정 지평선은 참조 지평선의 각 정지 영상의 참조 지평선의 평균을 사용하여 결정하였다. 도심 교통 동영상 클립에서는, 미분 지피에스를 이용한 거리 측정이 진행되지 않았다. 본 발명의 방법을 이용한 추정거리는 종래의 방법을 사용하여 추정된 거리와 비교하였다.

다음으로 가상 추정 지평선을 검증하기 위하여, 본 발명의 방법으로 추정된 가상 지평선들을 참조 지평선들과 비교하였다. 참조 지평선의 위치는 고속도로 교통 동영상에서는 12 픽셀(364와 376 픽셀 사이)의 거리 사이에서 변화하고, 도심 교통 동영상에서는 66 픽셀(311과 377 픽셀 사이)의 거리에서 변화한다. 도심 교통 동영상은 언덕 구간과 교차로 구간을 포함하고 있다. 결과적으로 도심 교통 동영상에서는 지평선의 위치 변화가 크게 증가하였다.

도 4는 고속도로 교통 동영상에서 제안된 방법으로 추정한 가상 지평선과 참조 지평선을 보여준다. 첫 번째 클립에서는 본 차량이 정지된 차량과 조우하고, 그림4(a)와 같이 본 발명의 방법에 따른 지평선 오차는 아주 낮다. 참조 지평선과 가상 지평선 사이의 평균값과 표준편차는 각각 1.4 픽셀과 1.2 픽셀이다. 두 번째와 세 번째 동영상은 본 차량이 움직이는 목표 차량을 추종하고 있는데, 지평선 오차는 도 4(b)와 4(c)에서 보여준다. 본 차량과 목표 차량이 움직이고 있기 때문에 이 동 영상들에서 대상 검츨의 정확도가 떨어지면서 오차가 증가하고 있다. 평균과 표준편차는 두 번째 동영상에서 각각 2.8 픽셀과 1.9 픽셀이고, 세 번째 영상에서는 각각 3.4 픽셀과 2.0 픽셀이다. 고속도로 교통 동영상에서는 도 3(a)에서 보여지는 것처럼 본 차량의 앞에는 오직 1대의 차량만이 존재한다. 본 발명에서 차량들의 위치평균과 차량 폭 평균으로부터 가상 지평선을 추정하기 때문에, 만약 대상 검출의 정확도가 개선되고 하나의 영상에서 여러 대의 차량을 검출하게 된다면 지평선 추정의 정확도는 개선될 수 있다.

도 5는 도심 교통 동영상에서의 참조 지평선과 가상 지평선을 보여준다. 비록 참조 지평선과 가상 지평선이 잦은 변동을 하고 있기는 하지만, 그들의 위치는 대부분의 영상에서 아주 유사하다. 참조 지평선과 가상 지평선 사이의 평균과 표준편차는 각각 6.0 픽셀과 5.0 픽셀이다. 참조 지평선이 도심 교통 영상에서는 66 픽셀의 거리 사이에서 변화하고, 반면에 고속도로 교통 영상에서는 12 픽셀의 거리에서 변화한다는 것을 고려할 때, 도심 교통 동영상에서 정확도가 떨어지지 않았다고 할 수 있다. 심지어는 도심 교통 동영상은 교차로 구간과 도로 구간을 포함하고 있는데도, 도 3(b)와 같이 여러 대의 차량이 보여지는데도 정확도가 떨어지지 않았다. 이 결과는 도심 교통 환경에서 본 발명의 방법을 사용하는 것이 적절하다는 것을 확인해 준다.

본 차량이 도심 교통 동영상의 400번째 영상부터 700번째 영상까지는 언덕길을 주행하고 있는데, 도 5에서와 같이 참조 지평선과 가상 지평선의 차이가 커지고 있다. 언덕 구간에서 도로 경사가 연속적으로 변화하고 있는데, 근접 거리의 차선 마킹을 분석하여 얻어진 지평선은 차량들이 언덕 위쪽의 차량 위치는 통상적으로 위쪽에 위치하고 언덕 아래쪽의 차량은 아래쪽에 위치해 보이기 때문에 먼 거리 차량의 거리를 추정하는데 부적절해 보인다. 반면, 본 발명의 방법에서 추정된 가상지평선은 차량의 크기와 위치에 근거해 추정되기 때문에 언덕길에서 거리 추정이 보다 적절하다고 할 수 있다. 도 6은 언덕 구간의 영상에서 참조 지평선과 가상 지평선을 보여주고 있다. 본 발명의 방법에 의하여 추정된 가상 지평선은 참조 지평선 대비 오르막길에서는 상위에 위치하고 내리막길에서는 참조 지평선의 하위에 위치한다.

.본 발명의 방법에 의한 추정 거리의 검증을 위하여. 고속도로 교통 동영상에서 종래의 방법으로 추정된 거리와 실측 거리를 본 발명의 방법으로 추정한 거리와 비교하였다. 도 7은 실측 거리와 각 동영상에서 추정된 거리들을 보여준다. 모든 동영상에서 각각의 추정된 거리는 목표 차량이 실측 거리가 50m 이내에 있을 때는 정확하게 산출되었다. 그렇지만, 목표 차량이 50m 이후에 있을 때는, 평가에 사용된 전방 충돌 경고 시스템의 대상 검출 정확도가 떨어지는 이유로 각각의 방법에 의한 거리오차가 증가함을 보여준다. 모든 고속도로 교통 동영상에는 본 차량의 전방에 오직 1대의 차량만 존재한다. 상기에서 설명한 바와 같이 만약 1개의 정지 영상에 여러 대의 차량이 검출된다면 거리 오차는 줄어들 수 있다. 표 1은 각 고속도로 교통 영상안의 거리 오차의 평균과 표준편차를 보여준다. 본 발명의 방법의 평균 거리 오차는 참조 지평선에 의한 차량 위치를 가지고 추정한 평균 거리 오차와 비교할 수 있었다.

평가 영상 클립	참조 지평선		고정 지평선		크기		본 발명
	μ	σ	μ	σ	μ	σ	μ	σ
정지 목표 차량	5.3%	3.6%	5.8%	3.2%	7.2%	5.6%	4.6%	2.9%
감속 목표 차량	3.1%	2.2%	3.4%	2.4%	8.1%	4.7%	5.0%	3.2%
서행 목표 차량	6.7%	4.8%	5.4%	5.0%	11.2%	6.9%	7.1%	4.5%

도심 교통 동영상에서는 측정된 거리 값들이 준비되지 않았다. 본 발명의 방법을 사용한 추정 거리는 종래의 방법을 사용하여 추정된 거리와 비교하였다. 이전의 실험에서, 50m 이내에 차량이 위치한 경우 추정된 거리들은 상당히 정확하였다. 보다 정확한 거리를 얻기 위하여, 도심 교통 동영상은 본 차량이 목표차량을 대략 30m 거리를 유지하며 추종하는 상태로 취득되었다. 도 8은 도심 교통 동영상에서 추정된 거리를 보여준다. 다른 방법(참조 지평선, 가상 지평선)들에 의해 추정된 거리들은 대부분의 영상에서 매우 유사함에도 고정 지평선에 의한 차량위치를 기반으로 추정된 거리는 몇 개의 정지영상들에서 잦은 변동이 크게 일어남을 보여준다. 이 결과는 고정 지평선에 의한 차량거리 추정으로 거리를 추정하는 방법이 도심 교통환경에서는 사용될 수 없음을 보여준다.

언덕 구간을 주행하는 400부터 700번째 영상으로부터, 차량 크기로부터 추정된 거리와 본 발명의 방법으로 추정된 거리가 유사한 반면, 참조 지평선을 기준으로 한 차량 위치로부터 추정된 거리는 차량 크기로부터 추정된 거리보다 작아진다. 언덕 정상에서는 목표 차량이 통상보다 아래에 위치하는 것으로 보여지게 되므로 차량의 위치로부터 추정된 거리는 상대적으로 작아지게 된다. 차량의 크기로부터 추정된 거리가 차량의 위치에 따른 영향을 받지 않게 된다면, 거리는 차량의 위치에 영향을 받는 상태로 추정되는 거리보다 더욱 정확해 질 수 있다. 본 발명의 방법은, 가상 지평선을 추정하므로 낮아진 차량 위치를 이미 보정함으로써 차량 거리 추정시 낮아진 차량 위치의 영향을 받지 않게 될 것이다. 도 8에서는 여러 개의 영상들이 가상 지평선이 참조 지평선보다 낮게 위치하고 있음을 보여준다. 이와 같은 결과는 본 발명의 방법이 경사진 도로에서 연속적으로 도로경사가 변화하는 동안에 더욱 적절한 방법임을 확인해 준다.

본 발명의 발명은 상기의 평가 결과에서 보는 바와 같이 고속도로뿐만 아니라 도심 교통 환경에서 영상 기반의 전방 추돌 경고 시스템에서 사용하는 것이 가능하다. 본 발명의 방법은 대상 검출 알고리즘에 의해 얻어진 영상 안의 차량 위치와 크기 정보를 이용하여 가상 지평선을 추정하고, 이 가상 지평선을 이용하여 영상 안의 차량 위치로부터 거리를 계산하는 것이다. 또한, 종래의 방법은 차선의 마킹을 분석하여 지평선을 결정하게 되므로 언덕길에서 도로 경사가 연속적으로 변화하거나 복잡한 도로에서 차선 마킹이 보이지 않는 경우에는 결정된 지평선들이 적절하게 위치하지 못하게 된다. 다른 한편으로, 본 발명의 방법은 영상에서의 차량의 크기와 위치 정보로부터 지평선을 추정하므로, 만약 영상에서 차량들이 검출된다면 가상 지평선은 항상 위치할 수 있다. 또한, 가상 지평선 위치의 작은 변화는 거리오차가 큰 결과를 초래할 수 있다. 차선의 마킹을 분석하므로 결정된 지평선은 차량들이 언덕에 위치하게 되는 특별한 경우에는 심지어 차량의 아래쪽에 위치할 수도 있게 되므로, 차량거리 오차의 한계가 제한되지 않은 결과가 초래될 수도 있다. 가상 지평선은 차량의 위치로부터 추정하게 되므로 항상 검출된 차량의 하단 끝 선보다 상위에 위치하게 되므로 거리 오차가 제한된다. 본 발명의 방법은 평가 과정에서 영상기반의 전방추돌시스템을 시행하고 고속도로 및 도심 주행환경에서 취득된 동영상 클립들을 이용하여 검증하였다. 따라서, 본 발명의 방법은 평가를 통하여 고속도로 교통 환경뿐만 아니라 도심 교통환경에서도 강건한 결과를 제공함이 확인되었다.

Claims (1)

1. 단안 카메라의 영상에서의 차량 위치 정보와 차량 폭 정보를 이용하여 차량 거리를 추정하는 방법으로,
   하기의 식 (4)를 이용하여
   

   

   
   (여기서, y_h는 가상 지평선 값, y_b는 차량 하단 끝 선의 상대적인 수직 좌표이며, H_c는 카메라의 높이이며,ω_a와 W_a는 각각 영상에서의 차량 폭과 실제 차량의 폭이다.)
   고정된 실제 차량의 평균 폭이 검출된 차량의 상기 차량 위치 정보와 상기 차량 폭 정보로부터 가상 지평선 값을 구하는 과정 및
   상기 가상 지평선 값과 하기의 식 (2)를 이용하여
   

   

   
   (여기서 d는 차량 거리, F_c가 카메라의 초점거리이다.)
   차량 위치로부터 거리를 추정하는 과정을 포함하는 것을 특징으로 하는 단안 카메라를 이용한 거리 추정 방법.

Images