[go: up one dir, main page]

KR101207343B1 - 영상 밝기 조절 방법 및 그 장치와, 스테레오 카메라 - Google Patents

영상 밝기 조절 방법 및 그 장치와, 스테레오 카메라 Download PDF

Info

Publication number
KR101207343B1
KR101207343B1 KR1020120095537A KR20120095537A KR101207343B1 KR 101207343 B1 KR101207343 B1 KR 101207343B1 KR 1020120095537 A KR1020120095537 A KR 1020120095537A KR 20120095537 A KR20120095537 A KR 20120095537A KR 101207343 B1 KR101207343 B1 KR 101207343B1
Authority
KR
South Korea
Prior art keywords
image
brightness value
left image
right image
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020120095537A
Other languages
English (en)
Inventor
김현우
권순
이장우
하재욱
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to KR1020120095537A priority Critical patent/KR101207343B1/ko
Application granted granted Critical
Publication of KR101207343B1 publication Critical patent/KR101207343B1/ko
Priority to US14/129,042 priority patent/US20150042761A1/en
Priority to PCT/KR2013/006248 priority patent/WO2014035050A1/ko
Priority to CN201380020190.7A priority patent/CN104285443B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

본 발명은 영상 밝기 조절 기술에 관한 것으로서, 더욱 상세하게는, 스테레오 카메라를 통해 촬영되는 두 영상 간의 밝기 오차를 줄여주는 영상 밝기 조절 방법과 그 장치, 밝기 오차가 작은 두 영상을 획득할 수 있는 스테레오 카메라에 관한 것이다.

Description

영상 밝기 조절 방법 및 그 장치와, 스테레오 카메라{METHOD, APPARATUS, AND STEREO CAMERA FOR CONTROLLING IMAGE LIGHTNESS}
본 발명은 영상 밝기 조절 기술에 관한 것이다.
최근 카메라의 발전과 보급으로 디지털 카메라뿐 아니라 PC웹캠, 보안, 차량용 블랙박스, 스마트 폰에 걸쳐 다양하게 사용되고 있다. 현재 시중에 나와 있는 대부분의 카메라는 단일 카메라를 사용하고 있다. 기존의 방법은 단일 카메라에서 어두운 영역과 밝은 영역에 맞게 촬영할 수 있는 자동밝기 조절 방법을 사용하고 있다.
최근 스테레오 카메라를 이용하여 보안이나 자동차, 로봇, 3D측정 등 다양한 분야에서 연구와 활용이 이루어지고 있다.
하지만, 종래의 이러한 스테레오 카메라의 구조에서, 두 대의 카메라를 다른 모델의 카메라로 사용하거나, 두 대의 카메라는 초기 설정이 다를 수 있으며, 각기 다른 위치에서 영상을 획득하는 등과 같이 단일 카메라와 다른 특성이 있기 때문에, 두 대의 카메라 각각을 통해 획득되는 영상은 밝기 간의 차이가 상당히 커질 수 있는 문제점이 있다.
이러한 배경에서, 본 발명의 목적은, 스테레오 카메라를 통해 촬영되는 두 영상 간의 밝기 오차를 줄여주는 영상 밝기 조절 방법과, 이를 위한 영상 밝기 조절 장치를 제공하는 데 있다.
본 발명의 다른 목적은, 밝기 오차가 작은 두 영상을 획득할 수 있는 스테레오 카메라를 제공하는 데 있다.
전술한 목적을 달성하기 위하여, 일 측면에서, 본 발명은, 스테레오 카메라를 통해 촬영된 좌 영상 및 우 영상을 입력받는 영상 입력부; 상기 좌 영상 및 상기 우 영상 각각에 대한 평균 밝기값을 획득하는 평균 밝기값 획득부; 및 상기 좌 영상 및 상기 우 영상 각각에 대하여 획득된 평균 밝기값과 목표 밝기값을 토대로 상기 스테레오 카메라의 노출 시간을 제어함으로써, 상기 좌 영상 및 상기 우 영상 중 하나 이상에 대한 영상 밝기를 조절하는 영상 밝기 조절부를 포함하는 영상 밝기 조절 장치를 제공한다.
상기 평균 밝기값 획득부는, 상기 좌 영상 및 상기 우 영상이 서로 대응되는 영역을 파악하고, 상기 좌 영상에서 대응되는 영역 내 지점 각각의 밝기값을 평균하여 상기 좌 영상에 대한 평균 밝기값을 획득하며, 상기 우 영상에서 대응되는 영역 내 지점 각각의 밝기값을 평균하여 상기 우 영상에 대한 평균 밝기값을 획득할 수 있다.
다른 측면에서, 본 발명은, 영상 밝기 조절 장치가 제공하는 영상 밝기 조절 방법에 있어서, 스테레오 카메라를 통해 촬영된 좌 영상 및 우 영상을 입력받는 단계; 상기 좌 영상 및 상기 우 영상 각각에 대한 평균 밝기값을 획득하는 단계; 및 상기 좌 영상 및 상기 우 영상 각각에 대하여 획득된 평균 밝기값과 목표 밝기값을 토대로 상기 스테레오 카메라의 노출 시간을 제어함으로써, 상기 좌 영상 및 상기 우 영상 중 하나 이상에 대한 영상 밝기를 조절하는 단계를 포함하는 영상 밝기 조절 방법을 제공한다.
이상에서 설명한 바와 같이 본 발명에 의하면, 스테레오 카메라를 통해 촬영되는 두 영상 간의 밝기 오차를 줄여주는 영상 밝기 조절 방법과, 이를 위한 영상 밝기 조절 장치를 제공하는 효과가 있다.
또한, 본 발명에 의하면, 밝기 오차가 작은 두 영상을 획득할 수 있는 스테레오 카메라를 제공하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 영상 밝기 조절 장치에 대한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 영상 밝기 조절 장치에 대한 상세 블록도이다.
도 3은 스테레오 카메라의 구조를 나타낸 도면이다.
도 4는 깊이 영상을 얻는 과정을 나타낸 도면이다.
도 5는 노출 시간 제어 과정을 예시적으로 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 영상 밝기 조절 방법에 대한 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 영상 밝기 조절 방법에서 평균 밝기값 획득 단계에 대한 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 영상 밝기 조절 방법에 대한 다른 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 스테레오 카메라에 대한 블록도이다.
본 발명의 일 실시예에 따른 영상 밝기 조절 장치는, 스테레오 카메라를 통해 촬영된 좌 영상 및 우 영상의 밝기 오차를 줄여주는 장치이다.
이러한 본 발명의 일 실시예에 따른 영상 밝기 조절 장치는 좌 영상 및 우 영상 각각의 촬영을 위한 노출 시간의 증감을 제어함으로써 좌 영상 및 우 영상의 밝기 오차를 줄여줄 수 있다.
또한, 본 발명의 일 실시예에 따른 영상 밝기 조절 장치는 좌 영상 및 우 영상의 밝기 오차를 줄여주기 위하여, 좌 영상의 촬영을 위한 노출 시간과 우 영상의 촬영을 위한 노출 시간을 길게 할지 짧게 할지를 결정해야 하고, 경우에 따라서는, 얼마나 길게 또는 짧게 조절해야 하는지를 결정해야할 수도 있다.
이와 같이, 본 발명의 일 실시예에 따른 영상 밝기 조절 장치가 노출 시간의 조절 정도(증가(+), 감소(-), 조절량 등)를 결정하기 위해서는, 영상 밝기 조절 장치가 현재 촬영된 좌 영상 및 우 영상 각각의 밝기 정도가 기준이 되는 밝기 정보(목표 밝기값)에 비해 어느 정도가 되는지를 알아야 한다.
이에 따라, 본 발명의 일 실시예에 따른 영상 밝기 조절 장치는, 현재 촬영된 좌 영상 및 우 영상 각각의 밝기 정도를 "좌 영상에 대한 평균 밝기값"과 "우 영상에 대한 평균 밝기값"으로서 획득하고, 획득된 좌 영상에 대한 평균 밝기값과 우 영상에 대한 평균 밝기값 각각을 목표 밝기값과 비교하여, 좌 영상에 대한 평균 밝기값과 우 영상에 대한 평균 밝기값 중 어느 하나 이상이 목표 밝기값과 허용 오차 범위 이내에서 차이가 발생하지 않으면, 좌 영상에 대한 평균 밝기값과 우 영상에 대한 평균 밝기값 중 어느 하나 이상이 목표 밝기값과 허용 오차 범위 이내에서 차이가 나도록, 좌 영상 및 우 영상 중 하나 이상의 촬영시 영상 밝기에 영향을 끼치는 노출 시간의 증가 또는 감소, 더 나아가, 증가량 또는 감소량 등을 제어함으로써, 좌 영상 및 우 영상 간의 밝기 오차를 줄여줄 수 있다.
이상에서 간략하게 설명한 본 발명의 일 실시예에 따른 영상 밝기 조절 장치와, 이 영상 밝기 조절 장치가 제공하는 영상 밝기 조절 방법에 대하여, 이하에서, 예시적인 도면을 통해 더욱 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 영상 밝기 조절 장치(100)에 대한 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 영상 밝기 조절 장치(100)는, 스테레오 카메라를 통해 촬영된 좌 영상 및 우 영상을 입력받는 영상 입력부(110)와, 좌 영상 및 우 영상 각각에 대한 평균 밝기값을 획득하는 평균 밝기값 획득부(120)와, 좌 영상 및 우 영상 각각에 대하여 획득된 평균 밝기값을 토대로 스테레오 카메라의 노출 시간을 제어함으로써, 좌 영상 및 우 영상 중 하나 이상에 대한 영상 밝기를 조절하는 영상 밝기 조절부(130) 등을 포함한다.
전술한 본 발명의 일 실시예에 따른 영상 밝기 조절 장치(100)에서 평균 밝기값 획득부(120) 및 영상 밝기 조절부(130)에 대하여, 영상 밝기 조절 장치(100)에 대한 상세 블록도인 도 2를 참조하여 더욱 상세하게 설명한다.
도 2를 참조하면, 평균 밝기값 획득부(120)는, 좌 영상 및 우 영상 각각에 대한 밝기 정보를 획득함에 있어서, 더욱 정확한 밝기 정보를 획득하기 위하여, 좌 영상의 전체 영역에서 밝기 정보를 획득하고 우 영상의 전체 영역에서 밝기 정보를 획득하는 것이 아니라, 좌 영상의 전체 영역 중에서 우 영상과 대응되는 영역에서 평균 밝기값(밝기 정보)을 획득하고, 우 영상의 전체 영역 중에서 좌 영상과 대응되는 영역에서 평균 밝기값(밝기 정보)을 획득할 수 있다.
스테레오 카메라의 구조를 개략화하여 나타낸 도 3을 참조하여, 다시 설명하면, 평균 밝기값 획득부(120)는, 좌 영상 및 우 영상의 전체 영역(310, 320)에서 밝기 정보를 획득하는 것이 아니라, 좌 영상과 우 영상의 상호 관계를 고려하여 좌 영상 및 우 영상이 서로 대응되는 영역(300)에서 밝기 정보를 획득한다.
이를 위해, 평균 밝기값 획득부(120)는, 좌 영상 및 우 영상이 서로 대응되는 영역(300)을 파악하는 대응 영역 파악부(210)와, 좌 영상에서 우 영상과 대응되는 영역(300) 내 지점 각각의 밝기값을 얻고, 이렇게 얻어진 밝기값을 평균하여 좌 영상에 대한 평균 밝기값을 획득하는 좌 영상 평균 밝기값 획득부(220)와, 우 영상에서 좌 영상과 대응되는 영역(300) 내 지점 각각의 밝기값을 얻고, 이렇게 얻어진 밝기값을 평균하여 우 영상에 대한 평균 밝기값을 획득하는 우 영상 평균 밝기값 획득부(230) 등을 포함할 수 있다.
대응 영역 파악부(210)는, 깊이 영상을 얻는 과정과 연계되는 스테레오 정합(Stereo Matching) 프로세스를 수행하는 단계에서, 좌 영상 및 우 영상이 서로 대응되는 영역(300)을 파악할 수 있다.
여기서, 스테레오 카메라에서 시차값을 계산하기 위해 좌 영상과 우 영상이 일치하는 영역, 즉, 좌 영상과 우 영상이 대응되는 영역을 찾는 것을 "스테레오 정합"이라고 하며, 이러한 방법은 좌 영상 및 우 영상에서 비교하고자 하는 대응 영역 간의 유사도를 계산하며, 계산된 유사도가 가장 높은 지점을 정합이 이루어지는 영역이라고 판단한다. 하지만, 이러한 방법에는 좌 영상 및 우 영상에서 비교하는 영역들의 구분성이 떨어질 경우 실제로 대응되지 않는 영역이 선택되는 오류의 가능성도 존재할 수 있다. 따라서, 본 발명에서는, 좌 영상 및 우 영상에서 대응영역 후보들 간의 유사도를 구한 후 임계값을 적용하여 정합의 신뢰성이 높은 대응영역만을 선별하여 사용한다. 즉, 대응되는 영역에서 신뢰성이 높은 밝기값만을 가져와서 평균 밝기값을 획득한다.
대응 영역 파악부(210)는, 스테레오 정합을 통해 얻어진 대응되는 영역에서 오류가 발생하는 지점이 있으면, 이는 신뢰성이 떨어지는 지점으로 판단하여 밝기값을 획득하는 영역에서 제외한다.
이러한 대응 영역 파악부(210)는, 좌 영상 및 우 영상 중 어느 하나의 영상(좌 영상 또는 우 영상)을 기준으로 나머지 영상(우 영상 또는 좌 영상)의 좌표를 움직여 가면서, 좌 영상과 우 영상 간의 차이 정보를 구하고, 구해진 차이 정보를 토대로 좌 영상과 우 영상 간의 유사도를 산출하고, 이렇게 산출된 유사도가 임계값 이상이 되는 지점들이 포함된 영역을 좌 영상 및 우 영상이 서로 대응되는 영역으로서 파악할 수 있다.
깊이 영상을 얻는 과정을 나타낸 도 4를 참조하여, 좌 영상 및 우 영상이 서로 대응되는 영역을 파악하는 방식을 예를 들어 설명하면, 대응 영역 파악부(210)는, 좌 영상 내 어느 한 지점(즉, 픽셀 p)을 기준으로, 우 영상의 좌표를 움직여서 우 영상 내 지점(즉, 픽셀 p+d, d는 좌 영상 내 지점과 우 영상 내 지점의 거리)을 변경하고, 우 영상 내 변경된 지점(픽셀 p+d)에 대하여, 좌 영상 내 어느 한 지점의 픽셀값 L(p)과 우 영상 내 변경된 제2의 픽셀값 R(p+d) 간의 차이 정보를 구하여, 이를 토대로 좌 영상 내 지점과 우 영상 내 지점 간의 유사도(s)를 산출하고, 이를 종합하여, 좌 영상 내 지점과 우 영상 내 지점 간의 거리 d의 변화에 따른, 즉, 우 영상 내 지점의 변경에 따른 좌 영상 내 지점과 우 영상 내 지점 간의 유사도 정보를 산출할 수 있다. 이와 같이, 하나의 좌 영상 내 한 지점에 대하여 좌표가 변경된 우 영상 내 여러 지점들과의 산출된 유사도 정보를 나타낸 그래프는 도 4를 통해 확인할 수 있다.
도 4를 참조하면, 대응 영역 파악부(210)는, 전술한 유사도 정보 산출 방식을 좌 영상 내 모든 지점에 대하여 수행하여, 좌 영상 내 모든 지점 중, 임계값(Sth) 이상의 유사도(S)가 산출될 수 있는 우 영상 내 지점이 존재하면, 이때 존재하는 우 영상 내 지점들(또는 이와 대응되는 좌 영상 내 지점들)을 모두 포함하는 영역을 대응되는 영역으로서 파악할 수 있다.
좌 영상과 우 영상 각각에 대하여, 하기 수학식 1을 이용하여, 앞에서 파악된 대응되는 영역 내 각 지점의 밝기값을 얻고, 하기 수학식 2를 이용하여 각 지점의 밝기값을 평균하여 평균 밝기값을 획득할 수 있다.
Figure 112012070000037-pat00001
Figure 112012070000037-pat00002
수학식 1 및 2에서, Si는 좌 영상에서 신뢰 되는 유사성 위치(좌 영상에서 임계값 이상의 유사도가 산출되는 지점)의 밝기값, Sj는 우 영상에서 신뢰 되는 유사성 위치(좌 영상에서 임계값 이상의 유사도가 산출되는 지점)의 밝기값, L(x, y)는 좌 영상의 픽셀값, R(x+d, y)는 우 영상의 픽셀값, Sv는 유사도(Similarity), Sth는 임계값(Threshold), n은 좌 영상/우 영상에서 신뢰 되는 유사성 위치(좌 영상에서 임계값 이상의 유사도가 산출되는 지점)의 개수이다. 그리고, Savg1은 좌 영상에서 신뢰 되는 유사성 밝기의 평균 밝기값, Savg2는 우 영상에서 신뢰 되는 유사성 밝기의 평균 밝기값이다.
도 2를 참조하면, 전술한 영상 밝기 조절부(130)는, 좌 영상에 대하여 획득된 평균 밝기값을 목표 밝기값과 비교하고, 목표 밝기값과 좌 영상에 대하여 획득된 평균 밝기값 간의 차이값이 허용 오차 범위를 벗어나면, 목표 밝기값과의 차이값이 허용 오차 범위이내에 들어오도록 하는 평균 밝기값이 좌 영상에 대하여 획득되도록 스테레오 카메라에서 좌 영상의 촬영과 관계되는 노출 시간에 대한 증감을 제어하는 좌 영상 밝기 조절부(240)와, 우 영상에 대하여 획득된 평균 밝기값을 목표 밝기값과 비교하고, 목표 밝기값과 우 영상에 대하여 획득된 평균 밝기값 간의 차이값이 허용 오차 범위를 벗어나면, 목표 밝기값과의 차이값이 허용 오차 범위이내에 들어오도록 하는 평균 밝기값이 우 영상에 대하여 획득되도록 스테레오 카메라에서 우 영상의 촬영과 관계되는 노출 시간에 대한 증감을 제어하는 우 영상 밝기 조절부(250) 중 하나 이상을 포함할 수 있다.
좌 영상 밝기 조절부(240)는, 목표 밝기값과 좌 영상에 대하여 획득된 평균 밝기값 간의 차이값이 허용 오차 범위(-k 이상 k 이하)의 하한값(-k)보다 작으면 스테레오 카메라에서 좌 영상의 촬영과 관계되는 노출 시간을 줄여주고, 목표 밝기값과 좌 영상에 대하여 획득된 평균 밝기값 간의 차이값이 허용 오차 범위(-k 이상 k 이하)의 상한값(+k)보다 크면, 스테레오 카메라에서 좌 영상의 촬영과 관계되는 노출 시간을 늘여줄 수 있다.
우 영상 밝기 조절부(250), 목표 밝기값과 우 영상에 대하여 획득된 평균 밝기값 간의 차이값이 허용 오차 범위(-k 이상 k 이하)의 하한값(-k)보다 작으면 스테레오 카메라에서 우 영상의 촬영과 관계되는 노출 시간을 줄여주고, 목표 밝기값과 우영상에 대하여 획득된 평균 밝기값 간의 차이값이 허용 오차 범위(-k 이상 k 이하)의 상한값(+k)보다 크면, 스테레오 카메라에서 우 영상의 촬영과 관계되는 노출 시간을 늘여줄 수 있다.
본 명세서에서 언급되는 "목표 밝기값"은, 디폴트 설정 값을 토대로 설정되는 값이거나, 좌 영상에 대하여 획득된 평균 밝기값과 우 영상에 대하여 획득된 평균 밝기값을 토대로 설정되는 값이거나, 사용자 설정 값을 토대로 설정되는 값이거나, 밝기 감지 센서 등을 통해 감지된 주변 밝기 정보를 토대로 설정되는 값일 수 있다.
또한, "목표 밝기값"은, 좌 영상에 대하여 획득된 평균 밝기값과 우 영상에 대하여 획득된 평균 밝기값 중 하나일 수 있다.
이 경우, 좌 영상과 우 영상 중 어느 하나의 촬영과 관련된 노출 시간만을 제어하기만 하면 된다. 이에 따라, 영상 밝기 조절부(130)는, 우 영상 밝기 조절부(250)를 포함하지 않고 좌 영상 밝기 조절부(240)만을 포함할 수도 있다.
한편, 위에서 언급한 허용 오차 범위는 목표 밝기값과 평균 밝기값 간의 차이값이 허용 가능 오차인지 아닌지를 판단하는데 기준이 되는 정보로서, 목표 밝기값과 평균 밝기값(측정값) 간의 차이값이 허용 오차 범위에 속하면, 해당 영상에 대한 영상 밝기 조절이 불필요하고, 목표 밝기값과 평균 밝기값(측정값) 간의 차이값이 허용 오차 범위를 벗어나면, 해당 영상에 대한 영상 밝기 조절이 필요하다.
이러한 허용 오차 범위는, 각 영상에 대한 평균 밝기값의 획득 오차의 발생 가능성 등의 실제 상황에서의 여러 요인을 고려하여 설정될 수 있다.
이러한 허용 오차 범위는 -k(하한치) 이상에서 +k(상한치) 이하의 범위로 표현될 수 있다.
허용 오차 범위는, 특수한 예로, k=0인 경우, 상수값 0(zero)이 될 수도 있다. 이는, 목표 밝기값과 획득된 평균 밝기값 간의 차이값이 0(zero)인 경우에만 영상 밝기 조절을 하지 않도록 허용하는 이상적 상황만으로 고려하는 것으로서, 좌 영상의 밝기와 우 영상의 밝기를 목표 밝기에 완전히 동일하게 맞추어야 하는 경우에 설정될 수 있다.
한편, 영상 밝기 조절부(130)는, 목표 밝기값(Tavg)과 좌 영상에 대하여 획득된 평균 밝기값(Savg1) 간의 차이값(Tavg-Savg1)의 크기에 따라, 스테레오 카메라에서 좌 영상 촬영과 관련된 노출 시간의 증가량 또는 감소량을 다르게 제어할 수 있다.
그리고, 동일하게, 영상 밝기 조절부(130)는, 목표 밝기값(Tavg)과 우 영상에 대하여 획득된 평균 밝기값(Savg2) 간의 차이값(Tavg-Savg2)의 크기에 따라, 스테레오 카메라에서 우 영상 촬영과 관련된 노출 시간의 증가량 또는 감소량을 다르게 제어할 수 있다.
이상에서 설명한 본 발명의 일 실시예에 따른 영상 밝기 조절 장치(100)가 노출 시간 제어를 통해 영상 밝기를 조절하는 방법에 대하여, 노출 시간 제어 과정을 예시적으로 나타낸 도 5를 참조하여 다시 설명한다.
단, 도 5의 예시에서는, 허용 오차 범위가 특수한 예로서 0(zero)이 경우에 해당한다. 즉, 좌 영상(510)의 밝기와 우 영상(520)의 밝기가 동일한 경우에만 허용하고, 동일하지 않은 경우에는 밝기 조절을 해야 하는 상황을 관리한다.
도 5를 참조하면, 영상 밝기 조절 장치(100)는, 스테레오 카메라를 통해 좌 영상(510)과 우 영상(520)이 촬영되면, 촬영된 좌 영상(510)과 우 영상(520)을 통해 깊이 영상(530)을 얻는 과정을 통해, 촬영된 좌 영상(510)과 우 영상(520) 각각에서 서로 유사도가 임계값 이상이 되어 신뢰성이 높은 지점(위치)을 파악함으로써, 촬영된 좌 영상(510)과 우 영상(520)에서 서로 대응되는 영역(300)을 파악하고, 좌 영상(510)에서 우 영상(520)과 대응되는 영역(300) 내 각 지점의 밝기값을 평균하여 좌 영상(510)에 대한 평균 밝기값을 획득하고, 우 영상(520)에서 좌 영상(510)과 대응되는 영역(300) 내 각 지점의 밝기값을 평균하여 우 영상(520)에 대한 평균 밝기값을 획득한다.
이에 따라, 좌 영상(510)에 대한 평균 밝기값이 120으로 획득되고, 우 영상(520)에 대한 평균 밝기값이 110으로 획득된 경우, 그리고, 만약 목표 밝기값이 128인 경우, 목표 밝기값과 좌 영상(510)에 대한 평균 밝기값 간의 차이값(8=128-120)이 0(k=0인 경우의 허용 오차 범위)보다 크므로, 현재 설정된 노출 시간에 비해, 좌 영상(510)에 대한 평균 밝기값이 목표 밝기값이 되도록, 즉, 좌 영상(510)에 대한 평균 밝기값이 허용 오차 범위에 속하도록, 좌 영상(510)의 촬영과 관련된 노출 시간을 계산된 차이(8)에 해당하는 만큼 더 길게 해준다.
그리고, 목표 밝기값과 우 영상(520)에 대한 평균 밝기값 간의 차이값(18=128-110)이 0(k=0인 경우의 허용 오차 범위)보다 크므로, 우 영상(520)에 대한 평균 밝기값이 목표 밝기값이 되도록, 즉, 우 영상(520)에 대한 평균 밝기값이 허용 오차 범위에 속하도록, 현재 설정된 노출 시간에 비해, 우 영상(520)의 촬영과 관련된 노출 시간을 계산된 차이(18)에 해당하는 만큼 더 길게 해준다.
이때, 목표 밝기값과 획득된 평균 밝기값의 차이값이 우 영상(520)에서 더 크기 때문에, 우 영상(520)을 좌 영상(510)보다 더 많이 밝게 해주어야, 좌 영상(510)과 우 영상(520)의 밝기가 동일해진다. 즉, 좌 영상(510)과 우 영상(520)의 밝기가 동일해지도록 해주기 위하여, 우 영상(520)의 촬영과 관련된 노출 시간이 길어지는 증가량은, 좌 영상(510)의 촬영과 관련된 노출 시간이 길어지는 증가량보다 더 크게 제어한다.
이상에서는 본 발명의 일 실시예에 따른 영상 발기 조절 장치(100)에 대하여 설명하였으며, 이하에서는, 본 발명의 일 실시예에 따른 영상 발기 조절 장치(100)가 제공하는 영상 밝기 조절 방법에 대하여 설명한다.
도 6은 본 발명의 일 실시예에 따른 영상 밝기 조절 방법에 대한 흐름도이다.
도 6을 참조하면, 본 발명의 일 실시예에 따른 영상 밝기 조절 장치(100)가 제공하는 영상 밝기 조절 방법은, 영상 입력부(110)가 스테레오 카메라를 통해 촬영된 좌 영상 및 우 영상을 입력받는 단계(S600)와, 평균 밝기값 획득부(120)가 좌 영상 및 우 영상 각각에 대한 평균 밝기값을 획득하는 단계(S602)와, 영상 밝기 조절부(130)가 좌 영상 및 우 영상 각각에 대하여 획득된 평균 밝기값을 토대로 스테레오 카메라의 노출 시간을 제어하는 단계(S604) 등을 포함한다.
두 영상(좌 영상, 우 영상) 각각에 대한 평균 밝기값을 획득하는 단계(S602)는, 도 7에 도시된 바와 같이, 좌 영상 및 우 영상이 서로 대응되는 영역을 파악하는 단계(S700)와, 좌 영상에서 우 영상과 대응되는 영역 내 지점 각각의 밝기값을 평균하여 좌 영상에 대한 평균 밝기값을 획득하고, 우 영상에서 좌 영상과 대응되는 영역 내 지점 각각의 밝기값을 평균하여 우 영상에 대한 평균 밝기값을 획득하는 단계(S702) 등을 포함한다.
대응되는 영역을 파악하는 단계(S700)에서, 평균 밝기값 획득부(120)는, 좌 영상 및 우 영상 중 어느 하나의 영상(좌 영상 또는 우 영상)을 기준으로 나머지 영상(우 영상 또는 좌 영상)의 좌표를 움직여 가면서, 좌 영상과 우 영상 간의 차이 정보를 구하고, 구해진 차이 정보를 토대로 좌 영상과 우 영상 간의 유사도를 산출하고, 산출된 유사도가 임계값 이상이 되는 지점들이 포함된 영역을 대응되는 영역으로서 파악할 수 있다.
노출 시간을 제어하는 단계(S604)에서, 영상 밝기 조절부(130)는, 좌 영상에 대하여 획득된 평균 밝기값을 목표 밝기값과 비교하고, 목표 밝기값과 좌 영상에 대하여 획득된 평균 밝기값 간의 차이값이 허용 오차 범위를 벗어나면, 목표 밝기값과의 차이값이 허용 오차 범위 이내에 들어오도록 하는 평균 밝기값이 좌 영상에 대하여 획득되도록 스테레오 카메라에서 좌 영상의 촬영과 관계되는 노출 시간에 대한 증감을 제어하고, 우 영상에 대하여 획득된 평균 밝기값을 목표 밝기값과 비교하고, 목표 밝기값과 우 영상에 대하여 획득된 평균 밝기값 간의 차이값이 허용 오차 범위를 벗어나면, 목표 밝기값과의 차이값이 허용 오차 범위이내에 들어오도록 하는 평균 밝기값이 우 영상에 대하여 획득되도록 스테레오 카메라에서 우 영상의 촬영과 관계되는 노출 시간에 대한 증감을 제어한다.
도 6 및 도 7을 참조하여 설명한 본 발명의 일 실시예에 따른 영상 밝기 조절 방법에 대하여 도 8을 참조하여 다시 설명한다. 단, 도 8에서는, 허용 오차 범위가 특수한 예로서 0(zero)이 경우에 해당한다. 즉, 좌 영상의 밝기와 우 영상의 밝기가 동일한 경우에만 허용하고, 동일하지 않은 경우에는 좌 영상의 평균 밝기값과 우 영상의 평균 밝기값이 목표 밝기값과 모두 동일해지도록 각각의 노출 시간을 제어하여 밝기 조절을 해야 한다.
도 8은 본 발명의 일 실시예에 따른 영상 밝기 조절 방법에 대한 다른 흐름도이다.
도 8을 참조하면, 영상 밝기 조절 장치(100)는, 노출 시간을 디폴트값 또는 감지된 주변 밝기 등에 따라 노출 시간을 조절하고(S800), 이렇게 조절된 노출 시간에 따라 스테레오 카메라에 촬영된 좌 영상 및 우 영상을 입력받는다(S801, S802).
이후, 영상 밝기 조절 장치(100)는, 입력받은 좌 영상 및 우 영상을 이용하여 깊이 영상을 구하고, 이 과정에서, 도 4를 참조하여 설명한 바와 같이, 좌 영상과 우 영상 간의 유사성 정보를 획득한다(S803).
영상 밝기 조절 장치(100)는, S803 단계에서 깊이 영상을 구하는 과정을 수행하고, 이 과정에서 획득된 유사성 정보를 토대로, 입력받은 좌 영상 및 우 영상이 서로 대응되는 영역을 파악할 수 있다.
이후, 영상 밝기 조절 장치(100)는, 좌 영상의 유사성 정보(즉, 우 영상과 대응되는 영역)에서 평균 밝기값을 획득하고, 우 영상의 유사성 정보(즉, 좌 영상과 대응되는 영역)에서 평균 밝기값을 획득할 수 있다(S805, S806).
이후, 영상 밝기 조절 장치(100)는, 목표 밝기값(Tavg)과 좌 영상에 대하여 획득된 평균 밝기값(Savg)의 차이값을 산출하고, 또한, 목표 밝기값(Tavg)과 우 영상에 대하여 획득된 평균 밝기값(Savg)의 차이값을 산출한다(S807, S808).
이후, 영상 밝기 조절 장치(100)는, 목표 밝기값(Tavg)과 좌 영상에 대하여 획득된 평균 밝기값(Savg)의 차이값이 0(zero)인지를 판단한다(S809).
S809 단계의 판단 결과, 목표 밝기값(Tavg)과 좌 영상에 대하여 획득된 평균 밝기값(Savg)의 차이값이 0(zero)이면, 즉, 목표 밝기값(Tavg)과 좌 영상에 대하여 획득된 평균 밝기값(Savg)이 동일하면, 영상 밝기 조절 장치(100)는, 영상 밝기 조절 방법을 종료하고, 스테레오 카메라가 피사체 촬영을 진행하면 된다.
S809 단계의 판단 결과, 목표 밝기값(Tavg)과 좌 영상에 대하여 획득된 평균 밝기값(Savg)의 차이값이 0(zero)이 아니면, 즉, 목표 밝기값(Tavg)과 좌 영상에 대하여 획득된 평균 밝기값(Savg)이 동일하지 않으면, 영상 밝기 조절 장치(100)는, 목표 밝기값(Tavg)과 좌 영상에 대하여 획득된 평균 밝기값(Savg)의 차이값이 양(+)인지를 판단한다(S810).
S810 단계의 판단 결과, 목표 밝기값(Tavg)과 좌 영상에 대하여 획득된 평균 밝기값(Savg)의 차이값이 양(+)이면, 즉, 목표 밝기값(Tavg)이 좌 영상에 대하여 획득된 평균 밝기값(Savg)보다 크면, 좌 영상이 목표로 하는 밝기보다 어둡다는 것이므로, 영상 밝기 조절 장치(100)는 노출 시간을 증가시키는 조절을 한다(S800).
S810 단계의 판단 결과, 목표 밝기값(Tavg)과 좌 영상에 대하여 획득된 평균 밝기값(Savg)의 차이값이 음(-)이면, 즉, 목표 밝기값(Tavg)이 좌 영상에 대하여 획득된 평균 밝기값(Savg)보다 작으면, 좌 영상이 목표로 하는 밝기보다 너무 밝다는 것이므로, 영상 밝기 조절 장치(100)는 노출 시간을 감소시키는 조절을 한다(S800). 이로써, 좌 영상의 밝기는 목표로 하는 밝기와 동일하게 맞추어진다.
전술한 좌 영상 밝기 조절과 동일한 방식으로 아래와 같이 우 영상 밝기 조절을 하면 된다.
S809 단계의 판단 결과, 목표 밝기값(Tavg)과 우 영상에 대하여 획득된 평균 밝기값(Savg)의 차이값이 0(zero)이 아니면, 즉, 목표 밝기값(Tavg)과 우 영상에 대하여 획득된 평균 밝기값(Savg)이 동일하지 않으면, 영상 밝기 조절 장치(100)는, 목표 밝기값(Tavg)과 우 영상에 대하여 획득된 평균 밝기값(Savg)의 차이값이 양(+)인지를 판단한다(S810).
S810 단계의 판단 결과, 목표 밝기값(Tavg)과 우 영상에 대하여 획득된 평균 밝기값(Savg)의 차이값이 양(+)이면, 즉, 목표 밝기값(Tavg)이 우 영상에 대하여 획득된 평균 밝기값(Savg)보다 크면, 우 영상이 목표로 하는 밝기보다 어둡다는 것이므로, 영상 밝기 조절 장치(100)는 노출 시간을 증가시키는 조절을 한다(S800).
S810 단계의 판단 결과, 목표 밝기값(Tavg)과 우 영상에 대하여 획득된 평균 밝기값(Savg)의 차이값이 음(-)이면, 즉, 목표 밝기값(Tavg)이 우 영상에 대하여 획득된 평균 밝기값(Savg)보다 작으면, 우 영상이 목표로 하는 밝기보다 너무 밝다는 것이므로, 영상 밝기 조절 장치(100)는 노출 시간을 감소시키는 조절을 한다(S800). 이로써, 우 영상의 밝기는 목표로 하는 밝기와 동일하게 맞추어진다.
이러한 좌 영상과 우 영상 밝기 조절을 통해, 좌 영상과 우 영상의 밝기가 동일해져서 밝기 오차가 없어지거나 많이 줄어들 수 있다.
이상에서는 본 발명의 일 실시예에 따른 영상 밝기 조절 방법이 도 6, 도 7, 도 8에서와 같은 절차로 수행되는 것으로 설명되었으나, 이는 설명의 편의를 위한 것일 뿐, 본 발명의 본질적인 개념을 벗어나지 않는 범위 내에서, 구현 방식에 따라 각 단계의 수행 절차가 바뀌거나 둘 이상의 단계가 통합되거나 하나의 단계가 둘 이상의 단계로 분리되어 수행될 수도 있다.
이상에서 설명한 본 발명의 일 실시예에 따른 영상 밝기 조절 장치(100)는, 스테레오 카메라에 포함되는 자동노출(Auto Exposure) 조절 관련 모듈일 수 있으며, 스테레오 카메라 그 자체일 수도 있다.
도 9는 본 발명의 일 실시예에 따른 스테레오 카메라(900)에 대한 블록도이다.
도 9는 본 발명의 일 실시예에 따른 스테레오 카메라(900)는, 좌 영상 및 우 영상을 획득하는 2개의 이미지 센싱부(910, 920)와, 2개의 이미지 센싱부(910, 920)에서 획득된 좌 영상 및 우 영상 각각에 대한 평균 밝기값을 획득하는 평균 밝기값 획득부(930)와, 좌 영상 및 우 영상 각각에 대한 평균 밝기값을 토대로, 좌 영상 및 우 영상 각각에 대한 밝기 보정 정보를 파악하는 밝기 보정 처리부(940)와, 좌 영상 및 우 영상 각각에 대하여 파악된 밝기 보정 정보에 근거하여, 좌 영상 및 우 영상 각각에 대한 획득에 관계되는 노출 시간을 조절하는 노출 시간 조절부(950, 960) 등을 포함한다.
좌 영상 및 우 영상 각각에 대한 평균 밝기값은, 좌 영상의 전체 영역과 우 영상의 전체 영역에서 획득되는 것이 아니라, 좌 영상과 우 영상이 서로 대응되는 영역에서만 제한적으로 획득될 수 있다.
위에서 언급한 좌 영상 및 우 영상 각각에 대한 밝기 보정 정보는, 목표 밝기값과 평균 밝기값의 차이값, 밝기 증가 여부 정보 또는 밝기 감소 여부 정보, 밝기 증가량 정보 또는 밝기 감소량 정보 등 중 하나 이상을 포함할 수 있다.
이상에서 설명한 바와 같이 본 발명에 의하면, 스테레오 카메라를 통해 촬영되는 두 영상 간의 밝기 오차를 줄여주는 영상 밝기 조절 방법과, 이를 위한 영상 밝기 조절 장치를 제공하는 효과가 있다.
또한, 본 발명에 의하면, 밝기 오차가 작은 두 영상을 획득할 수 있는 스테레오 카메라를 제공하는 효과가 있다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (12)

  1. 스테레오 카메라를 통해 촬영된 좌 영상 및 우 영상을 입력받는 영상 입력부;
    상기 좌 영상 및 상기 우 영상 각각에 대한 평균 밝기값을 획득하는 평균 밝기값 획득부; 및
    상기 좌 영상 및 상기 우 영상 각각에 대하여 획득된 평균 밝기값과 목표 밝기값을 토대로 상기 스테레오 카메라의 노출 시간을 제어함으로써, 상기 좌 영상 및 상기 우 영상 중 하나 이상에 대한 영상 밝기를 조절하는 영상 밝기 조절부를 포함하는 영상 밝기 조절 장치.
  2. 제1항에 있어서,
    상기 평균 밝기값 획득부는,
    스테레오 정합을 통해 상기 좌 영상 및 상기 우 영상이 서로 대응되는 영역을 파악하는 대응 영역 파악부;
    상기 좌 영상에서 상기 대응되는 영역 내 지점 각각의 밝기값을 평균하여 상기 좌 영상에 대한 평균 밝기값을 획득하는 좌 영상 평균 밝기값 획득부; 및
    상기 우 영상에서 상기 대응되는 영역 내 지점 각각의 밝기값을 평균하여 상기 우 영상에 대한 평균 밝기값을 획득하는 우 영상 평균 밝기값 획득부를 포함하는 영상 밝기 조절 장치.
  3. 제2항에 있어서,
    상기 대응 영역 파악부는,
    상기 좌 영상 및 상기 우 영상 중 어느 하나의 영상을 기준으로 나머지 영상의 좌표를 움직여 가면서, 상기 좌 영상과 상기 우 영상 간의 차이 정보를 구하고, 상기 구해진 차이 정보를 토대로 상기 좌 영상과 우 영상 간의 유사도를 산출하고, 상기 산출된 유사도가 임계값 이상이 되는 지점들이 포함된 영역을 상기 대응되는 영역으로서 파악하는 것을 특징으로 하는 영상 밝기 조절 장치.
  4. 제1항에 있어서,
    상기 영상 밝기 조절부는,
    상기 좌 영상에 대하여 획득된 평균 밝기값을 목표 밝기값과 비교하고, 상기 목표 밝기값과 상기 좌 영상에 대하여 획득된 평균 밝기값 간의 차이값이 허용 오차 범위를 벗어나면, 상기 목표 밝기값과의 차이값이 상기 허용 오차 범위이내에 들어오도록 하는 평균 밝기값이 상기 좌 영상에 대하여 획득되도록 상기 스테레오 카메라에서 상기 좌 영상의 촬영과 관계되는 노출 시간에 대한 증감을 제어하는 좌 영상 밝기 조절부; 및
    상기 우 영상에 대하여 획득된 평균 밝기값을 목표 밝기값과 비교하고, 상기 목표 밝기값과 상기 우 영상에 대하여 획득된 평균 밝기값 간의 차이값이 허용 오차 범위를 벗어나면, 상기 목표 밝기값과의 차이값이 상기 허용 오차 범위이내에 들어오도록 하는 평균 밝기값이 상기 우 영상에 대하여 획득되도록 상기 스테레오 카메라에서 상기 우 영상의 촬영과 관계되는 노출 시간에 대한 증감을 제어하는 우 영상 밝기 조절부 중 하나 이상을 포함하는 것을 특징으로 하는 영상 밝기 조절 장치.
  5. 제4항에 있어서,
    상기 좌 영상 밝기 조절부는,
    상기 목표 밝기값과 상기 좌 영상에 대하여 획득된 평균 밝기값 간의 차이값이 상기 허용 오차 범위의 하한값보다 작으면 상기 스테레오 카메라에서 상기 좌 영상의 촬영과 관계되는 노출 시간을 줄여주고, 상기 목표 밝기값과 상기 좌 영상에 대하여 획득된 평균 밝기값 간의 차이값이 상기 허용 오차 범위의 상한값보다 크면, 상기 스테레오 카메라에서 상기 좌 영상의 촬영과 관계되는 노출 시간을 늘여주며,
    상기 우 영상 밝기 조절부는,
    상기 목표 밝기값과 상기 우 영상에 대하여 획득된 평균 밝기값 간의 차이값이 상기 허용 오차 범위의 하한값보다 작으면 상기 스테레오 카메라에서 상기 우 영상의 촬영과 관계되는 노출 시간을 줄여주고, 상기 목표 밝기값과 상기 우영상에 대하여 획득된 평균 밝기값 간의 차이값이 상기 허용 오차 범위의 상한값보다 크면, 상기 스테레오 카메라에서 상기 우 영상의 촬영과 관계되는 노출 시간을 늘여주는 것을 특징으로 하는 영상 밝기 조절 장치.
  6. 제1항에 있어서,
    상기 목표 밝기값은,
    디폴트 설정 값을 토대로 설정되는 값이거나, 좌 영상에 대하여 획득된 평균 밝기값과 우 영상에 대하여 획득된 평균 밝기값을 토대로 설정되는 값이거나, 사용자 설정 값을 토대로 설정되는 값이거나, 감지된 주변 밝기 정보를 토대로 설정되는 값인 것을 특징으로 하는 영상 밝기 조절 장치.
  7. 제1항에 있어서,
    상기 목표 밝기값은,
    상기 좌 영상에 대하여 획득된 평균 밝기값과 상기 우 영상에 대하여 획득된 평균 밝기값 중 하나인 것을 특징으로 하는 영상 밝기 조절 장치.
  8. 영상 밝기 조절 장치가 제공하는 영상 밝기 조절 방법에 있어서,
    스테레오 카메라를 통해 촬영된 좌 영상 및 우 영상을 입력받는 단계;
    상기 좌 영상 및 상기 우 영상 각각에 대한 평균 밝기값을 획득하는 단계; 및
    상기 좌 영상 및 상기 우 영상 각각에 대하여 획득된 평균 밝기값과 목표 밝기값을 토대로 상기 스테레오 카메라의 노출 시간을 제어함으로써, 상기 좌 영상 및 상기 우 영상 중 하나 이상에 대한 영상 밝기를 조절하는 단계를 포함하는 영상 밝기 조절 방법.
  9. 제8항에 있어서,
    상기 획득하는 단계는,
    상기 좌 영상 및 상기 우 영상이 서로 대응되는 영역을 파악하는 단계; 및
    상기 좌 영상에서 상기 대응되는 영역 내 지점 각각의 밝기값을 평균하여 상기 좌 영상에 대한 평균 밝기값을 획득하고, 상기 우 영상에서 상기 대응되는 영역 내 지점 각각의 밝기값을 평균하여 상기 우 영상에 대한 평균 밝기값을 획득하는 단계를 포함하는 영상 밝기 조절 방법.
  10. 제9항에 있어서,
    상기 대응되는 영역을 파악하는 단계는,
    상기 좌 영상 및 상기 우 영상 중 어느 하나의 영상을 기준으로 나머지 영상의 좌표를 움직여 가면서,
    상기 좌 영상과 상기 우 영상 간의 차이 정보를 구하고, 상기 구해진 차이 정보를 토대로 상기 좌 영상과 우 영상 간의 유사도를 산출하고,
    상기 산출된 유사도가 임계값 이상이 되는 지점들이 포함된 영역을 상기 대응되는 영역으로서 파악하는 것을 특징으로 하는 영상 밝기 조절 방법.
  11. 제8항에 있어서,
    상기 제어하는 단계는,
    상기 좌 영상에 대하여 획득된 평균 밝기값을 목표 밝기값과 비교하고, 상기 목표 밝기값과 상기 좌 영상에 대하여 획득된 평균 밝기값 간의 차이값이 허용 오차 범위를 벗어나면, 상기 목표 밝기값과의 차이값이 상기 허용 오차 범위이내에 들어오도록 하는 평균 밝기값이 상기 좌 영상에 대하여 획득되도록 상기 스테레오 카메라에서 상기 좌 영상의 촬영과 관계되는 노출 시간에 대한 증감을 제어하고,
    상기 우 영상에 대하여 획득된 평균 밝기값을 목표 밝기값과 비교하고, 상기 목표 밝기값과 상기 우 영상에 대하여 획득된 평균 밝기값 간의 차이값이 허용 오차 범위를 벗어나면, 상기 목표 밝기값과의 차이값이 상기 허용 오차 범위이내에 들어오도록 하는 평균 밝기값이 상기 우 영상에 대하여 획득되도록 상기 스테레오 카메라에서 상기 우 영상의 촬영과 관계되는 노출 시간에 대한 증감을 제어하는 것을 특징으로 하는 영상 밝기 조절 방법.
  12. 좌 영상 및 우 영상을 획득하는 2개의 이미지 센싱부;
    상기 좌 영상 및 상기 우 영상 각각에 대한 평균 밝기값을 획득하는 평균 밝기값 획득부;
    상기 좌 영상 및 상기 우 영상 각각에 대한 평균 밝기값을 토대로, 상기 좌 영상 및 상기 우 영상 각각에 대한 밝기 보정 정보를 파악하는 밝기 보정 처리부; 및
    상기 좌 영상 및 상기 우 영상 각각에 대하여 파악된 밝기 보정 정보에 근거하여, 상기 좌 영상 및 상기 우 영상 각각에 대한 획득에 관계되는 노출 시간을 조절하는 노출 시간 조절부
    를 포함하는 스테레오 카메라.
KR1020120095537A 2012-08-30 2012-08-30 영상 밝기 조절 방법 및 그 장치와, 스테레오 카메라 Active KR101207343B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020120095537A KR101207343B1 (ko) 2012-08-30 2012-08-30 영상 밝기 조절 방법 및 그 장치와, 스테레오 카메라
US14/129,042 US20150042761A1 (en) 2012-08-30 2013-07-12 Method, apparatus, and stereo camera for controlling image lightness
PCT/KR2013/006248 WO2014035050A1 (ko) 2012-08-30 2013-07-12 영상 밝기 조절 방법 및 그 장치와, 스테레오 카메라
CN201380020190.7A CN104285443B (zh) 2012-08-30 2013-07-12 影像亮度调节方法及其装置、立体摄像机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120095537A KR101207343B1 (ko) 2012-08-30 2012-08-30 영상 밝기 조절 방법 및 그 장치와, 스테레오 카메라

Publications (1)

Publication Number Publication Date
KR101207343B1 true KR101207343B1 (ko) 2012-12-04

Family

ID=47906715

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120095537A Active KR101207343B1 (ko) 2012-08-30 2012-08-30 영상 밝기 조절 방법 및 그 장치와, 스테레오 카메라

Country Status (4)

Country Link
US (1) US20150042761A1 (ko)
KR (1) KR101207343B1 (ko)
CN (1) CN104285443B (ko)
WO (1) WO2014035050A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102053307B1 (ko) * 2018-07-31 2020-01-07 주식회사 아이알웨이브 멀티 열상 카메라의 멀티 감응 보정 장치 및 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3067011B1 (de) * 2015-03-09 2022-05-25 Renfert GmbH Dentalbilderfassungsvorrichtung
CN106657974B (zh) * 2017-02-27 2024-02-09 北京图森智途科技有限公司 双目摄像机的控制方法及装置、双目摄像机
WO2019104622A1 (zh) * 2017-11-30 2019-06-06 深圳市大疆创新科技有限公司 差异校准方法、双目视觉系统和计算机可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003158751A (ja) 2001-11-20 2003-05-30 Fuji Heavy Ind Ltd ステレオカメラの調整装置
JP2006279239A (ja) 2005-03-28 2006-10-12 Toyota Motor Corp ステレオカメラの補正方法、ステレオカメラ補正装置

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3035434B2 (ja) * 1993-10-13 2000-04-24 キヤノン株式会社 複眼撮像装置
JP2001028056A (ja) * 1999-07-14 2001-01-30 Fuji Heavy Ind Ltd フェールセーフ機能を有するステレオ式車外監視装置
US7162074B2 (en) * 2001-11-20 2007-01-09 Fuji Jukogyo Kabushiki Kaisha Adjusting apparatus for stereoscopic camera
JP4275378B2 (ja) * 2002-09-27 2009-06-10 富士重工業株式会社 ステレオ画像処理装置およびステレオ画像処理方法
JP3945430B2 (ja) * 2003-03-19 2007-07-18 コニカミノルタホールディングス株式会社 画像による対象物の計測方法および撮像装置
US7791640B2 (en) * 2004-01-23 2010-09-07 Olympus Corporation Electronic camera and image generating apparatus generating stereo image
JP4522307B2 (ja) * 2005-04-08 2010-08-11 キヤノン株式会社 画像撮像装置、画像撮像方法
JP4398969B2 (ja) * 2006-11-07 2010-01-13 富士フイルム株式会社 多眼撮影装置および多眼撮影装置における露出設定方法並びにプログラム
KR100942925B1 (ko) * 2008-08-11 2010-02-22 한국전자통신연구원 스테레오 비전 시스템 및 그 제어방법
KR101552112B1 (ko) * 2008-10-20 2015-09-10 현대모비스 주식회사 자동차 시스템
JP5256060B2 (ja) * 2009-01-23 2013-08-07 トヨタ自動車株式会社 撮像装置
JP2010204304A (ja) * 2009-03-02 2010-09-16 Panasonic Corp 撮像装置、運転者監視装置および顔部測距方法
JP5450200B2 (ja) * 2009-07-17 2014-03-26 富士フイルム株式会社 撮像装置、方法およびプログラム
US9380292B2 (en) * 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
US8654195B2 (en) * 2009-11-13 2014-02-18 Fujifilm Corporation Distance measuring apparatus, distance measuring method, distance measuring program, distance measuring system, and image pickup apparatus
JP4983905B2 (ja) * 2009-12-25 2012-07-25 カシオ計算機株式会社 撮像装置、３ｄモデリングデータ生成方法、および、プログラム
US8502863B2 (en) * 2010-03-31 2013-08-06 Fujifilm Corporation Stereoscopic imaging apparatus
GB2479932A (en) * 2010-04-30 2011-11-02 Sony Corp Stereoscopic camera system with two cameras having synchronised control functions
JP5367640B2 (ja) * 2010-05-31 2013-12-11 パナソニック株式会社 撮像装置および撮像方法
WO2012002157A1 (ja) * 2010-06-28 2012-01-05 富士フイルム株式会社 立体視用画像撮影装置およびその制御方法
CN102972020B (zh) * 2010-06-30 2016-08-03 Lg伊诺特有限公司 相机模块和驱动相机模块的方法
US8885978B2 (en) * 2010-07-05 2014-11-11 Apple Inc. Operating a device to capture high dynamic range images
JP2012027263A (ja) * 2010-07-23 2012-02-09 Sony Corp 撮像装置、その制御方法およびプログラム
JP2012065204A (ja) * 2010-09-16 2012-03-29 Toshiba Corp 複眼撮像装置、信号処理装置、複眼撮像装置の制御方法
JP5411842B2 (ja) * 2010-12-07 2014-02-12 シャープ株式会社 撮像装置
KR101694292B1 (ko) * 2010-12-17 2017-01-09 한국전자통신연구원 스테레오 영상 정합 장치 및 그 방법
JP2012142748A (ja) * 2010-12-28 2012-07-26 Sony Corp 撮像制御装置、撮像制御方法及び撮像制御プログラム並びに撮像装置
JP5644489B2 (ja) * 2010-12-28 2014-12-24 ソニー株式会社 制御装置、制御方法及び制御プログラム
JP5786412B2 (ja) * 2011-03-31 2015-09-30 ソニー株式会社 画像処理装置、画像処理方法及び画像処理プログラム
KR20130127867A (ko) * 2012-05-15 2013-11-25 삼성전자주식회사 스테레오 비전 장치와 이의 제어 방법
KR101864829B1 (ko) * 2012-05-30 2018-07-04 삼성전자주식회사 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 기록매체

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003158751A (ja) 2001-11-20 2003-05-30 Fuji Heavy Ind Ltd ステレオカメラの調整装置
JP2006279239A (ja) 2005-03-28 2006-10-12 Toyota Motor Corp ステレオカメラの補正方法、ステレオカメラ補正装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102053307B1 (ko) * 2018-07-31 2020-01-07 주식회사 아이알웨이브 멀티 열상 카메라의 멀티 감응 보정 장치 및 방법

Also Published As

Publication number Publication date
CN104285443A (zh) 2015-01-14
CN104285443B (zh) 2016-09-07
US20150042761A1 (en) 2015-02-12
WO2014035050A1 (ko) 2014-03-06

Similar Documents

Publication Publication Date Title
US7929042B2 (en) Imaging apparatus, control method of imaging apparatus, and computer program
US7945152B2 (en) Focus adjustment method, focus adjustment apparatus, and control method thereof
US7734165B2 (en) Imaging apparatus
JP4420909B2 (ja) 撮像装置
US9258481B2 (en) Object area tracking apparatus, control method, and program of the same
JP6800628B2 (ja) 追跡装置、追跡方法、及びプログラム
US8520130B2 (en) Image capturing apparatus and auto-focus control method thereof
US20140063287A1 (en) Imaging apparatus
US8648961B2 (en) Image capturing apparatus and image capturing method
KR20110102695A (ko) 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체
US20090095880A1 (en) Autofocus control circuit, autofocus control method and image pickup apparatus
GB2545551A (en) Imaging device and imaging method
CN108289170B (zh) 能够检测计量区域的拍照装置、方法及计算机可读介质
US20130163813A1 (en) Image processing apparatus and image processing method
CN109922325B (zh) 图像处理设备及其控制方法和计算机可读存储介质
KR20120025341A (ko) 디지털 촬영 장치 및 이의 제어 방법
KR101207343B1 (ko) 영상 밝기 조절 방법 및 그 장치와, 스테레오 카메라
JP6525503B2 (ja) 画像処理装置および撮像装置
US20120188437A1 (en) Electronic camera
JP4668863B2 (ja) 撮像装置
JP2013098746A (ja) 撮像装置、撮像方法およびプログラム
CN114143421A (zh) 双传感器摄像系统及其校准方法
JP6921606B2 (ja) 画像処理装置、画像処理方法およびプログラム
US11727716B2 (en) Information processing apparatus, imaging apparatus, which determines exposure amount with respect to face detection and human body detection
JP5615012B2 (ja) 白バランス安定調整装置およびその制御方法，白バランス安定調整のためのプログラム

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20120830

PA0201 Request for examination
A302 Request for accelerated examination
PA0302 Request for accelerated examination

Patent event date: 20120831

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

Patent event date: 20120830

Patent event code: PA03021R01I

Comment text: Patent Application

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20121123

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20121127

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20121128

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20151119

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20151119

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20160928

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20160928

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20170918

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20170918

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20180918

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20180918

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20200921

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20210927

Start annual number: 10

End annual number: 10