[go: up one dir, main page]

KR101323099B1 - 모자이크 영상 생성 장치 - Google Patents

모자이크 영상 생성 장치 Download PDF

Info

Publication number
KR101323099B1
KR101323099B1 KR1020110121197A KR20110121197A KR101323099B1 KR 101323099 B1 KR101323099 B1 KR 101323099B1 KR 1020110121197 A KR1020110121197 A KR 1020110121197A KR 20110121197 A KR20110121197 A KR 20110121197A KR 101323099 B1 KR101323099 B1 KR 101323099B1
Authority
KR
South Korea
Prior art keywords
image
subject
still images
coordinate
navigation information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020110121197A
Other languages
English (en)
Other versions
KR20130055447A (ko
Inventor
김태화
황현덕
최욱현
Original Assignee
(주)쎄트렉아이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)쎄트렉아이 filed Critical (주)쎄트렉아이
Priority to KR1020110121197A priority Critical patent/KR101323099B1/ko
Publication of KR20130055447A publication Critical patent/KR20130055447A/ko
Application granted granted Critical
Publication of KR101323099B1 publication Critical patent/KR101323099B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C17/00—Compasses; Devices for ascertaining true or magnetic north for navigation or surveying purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Automation & Control Theory (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 모자이크 영상 생성 장치 및 방법에 관한 것으로서, 상기 모자이크 영상 생성 장치는, 위치 이동하는 카메라가 피사체를 촬영함으로써 획득되는 복수 개의 정지 영상을 연결하여 모자이크 영상을 생성하는 장치에 있어서, 상기 카메라에 의하여 촬영된 영상 정보로부터 상기 복수 개의 정지 영상과 그 정지 영상 각각이 촬영된 촬영 시각을 획득하는 영상 정보 획득부; 상기 카메라의 위치와 이동 속도 및 자세 등의 항법 정보를 시간의 흐름에 따라 측정하여 획득하는 항법 정보 획득부; 공선조건식을 이용하여, 상기 정지 영상 상의 특정한 좌표인 사진좌표에 대응되는, 상기 피사체 상에 형성되는 피사체좌표를 획득하는 좌표 변환부; 상기 피사체좌표를 이용하여 상기 정지 영상들을 배열함으로써, 상기 모자이크 영상을 생성하고 표시하는 영상 전시부;를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 상기 카메라의 위치와 이동 속도 및 자세 등을 획득하는 항법 정보 획득부와, 공선조건식을 이용하여 상기 정지 영상 상의 특정한 좌표인 사진좌표에 대응되는, 상기 피사체 상에 형성되는 피사체좌표를 획득하는 좌표 변환부와, 상기 피사체좌표를 이용하여 상기 정지 영상들을 배열하는 영상 전시부를 구비함으로써, 항공기 등의 이동체를 이용하는 이동 촬영에서 실시간으로 정확한 모자이크 영상을 생성시킬 수 있는 효과가 있다.

Description

모자이크 영상 생성 장치 {Device of generating Mosaic images}
본 발명은 모자이크 영상 생성 장치 및 방법에 관한 것으로서, 특히 항공기 등의 이동체를 이용하는 이동 촬영에서 실시간으로 정확한 모자이크 영상을 생성시킬 수 있는 모자이크 영상 생성 장치 및 방법에 관한 것이다.
모자이크 영상(Mosaic image)이란, 카메라가 피사체의 일부를 각각 촬영함으로써 획득되는 복수 개의 정지 영상을 서로 연결함으로써 합성되며, 피사체 전체를 표현하는 하나의 연속적인(seamless) 영상을 의미한다. 상기 복수 개의 정지 영상들은, 비디오카메라에 의해 촬영된 동영상으로부터 추출되거나 디지털카메라에 의해 촬영된다. 이러한 모자이크 영상 생성 방법은, 카메라가 한 번에 담을 수 있는 시야각(viewing angle)이 제한적이기 때문에 널리 사용되고 있다.
종래의 모자이크 영상 생성 방법은, 상기 정지 영상들을 서로 연결시키는 방법에 따라, 화소(pixel)에 기초한 방법과 특징(feature)에 기초한 방법으로 나눌 수 있다.
상기 화소에 기초한 방법은, 서로 연결할 두 개의 정지 영상에 존재하는 대응되는 화소들에 대하여, 연결 오차가 최소가 되도록 하는 위치를 반복적으로 찾는 방법으로서, 비록 정확하지만, 계산상 복잡도가 상당히 높으며, 영상 간의 중복도가 낮을 경우 모자이크 성능이 급격하게 저하되는 문제점이 있다.
그리고, 상기 특징에 기초한 방법은, 피사체에서 특징점(feature point) 추출하고 그 특징점을 통한 대응관계를 설정하여, 촬영된 영상으로부터 카메라의 위치와 움직임을 분석하고 장면(scene)에 대한 3차원 모델을 구성하는 방법으로서, 대상 장면 내 물체에 의하여 특징점이 가려지는 경우(occlusion)나, 특징점이 영상 경계를 벗어나는 경우(out of Image), 특징점이 적은 경우에는 모자이크 제작이 매우 어렵게 되며, 이미지 중복구간에 뚜렷하게 공통되는 포인트가 없거나 비슷한 특징들이 많을 경우 엉뚱한 모양의 이미지를 합성할 가능성도 높은 문제점이 있다.
한편, 상기 종래의 모자이크 영상 생성 방법들은, 영상 처리에 필요한 계산량이 매우 많아, 영상 처리가 실시간에 이루어질 수 없는 문제점도 있다.
본 발명은 상기 문제를 해결하기 위해 안출된 것으로서, 그 목적은 항공기 등의 이동체를 이용하는 이동 촬영에서 실시간으로 정확한 모자이크 영상을 생성시킬 수 있도록 구조가 개선된 모자이크 영상 생성 장치 및 방법을 제공하기 위함이다.
상기 목적을 달성하기 위하여 본 발명에 따른 모자이크 영상 생성 장치는, 위치 이동하는 카메라가 피사체를 촬영함으로써 획득되는 복수 개의 정지 영상을 연결하여 모자이크 영상을 생성하는 장치에 있어서, 상기 카메라에 의하여 촬영된 영상 정보로부터 상기 복수 개의 정지 영상과 그 정지 영상 각각이 촬영된 촬영 시각을 획득하는 영상 정보 획득부; 상기 카메라의 위치와 이동 속도 및 자세 등의 항법 정보를 시간의 흐름에 따라 측정하여 획득하는 항법 정보 획득부; 공선조건식을 이용하여, 상기 정지 영상 상의 특정한 좌표인 사진좌표에 대응되는, 상기 피사체 상에 형성되는 피사체좌표를 획득하는 좌표 변환부; 상기 좌표 변환부에서 획득된 피사체좌표를 이용하여 상기 정지 영상들을 배열함으로써, 상기 모자이크 영상을 생성하고 표시하는 영상 전시부;를 포함하는 것을 특징으로 한다.
여기서, 상기 정지 영상과 상기 항법 정보를 동기화시킴으로써, 상기 정지 영상의 각 촬영 시각에 대한 상기 항법 정보를 획득하는 항법 정보 동기화부를 포함하는 것이 바람직하다.
여기서, 상기 좌표 변환부는 상기 정지 영상 상의 네 코너의 사진좌표를 피사체좌표로 변환하는 것이 바람직하다.
여기서, 상기 정지 영상 및 상기 항법 정보를 미리 정한 시간 내에 처리함으로써, 실시간으로 작동하는 것이 바람직하다.
여기서, 상기 항법 정보 획득부는 관성 항법 시스템을 구비하는 것이 바람직하다.
여기서, 상기 항법 정보 획득부는, 나침반 또는 위성 항법 시스템을 구비하는 것이 바람직하다.
여기서, 상기 영상 정보 획득부는, 상기 피사체의 형상이 끊김 없이 연속적으로 표현되도록 상기 정지 영상들을 획득하는 것이 바람직하다.
여기서, 상기 영상 정보 획득부는, 상기 획득되는 정지 영상의 샘플링 주기 및 해상도를 조절할 수 있는 것이 바람직하다.
상기 목적을 달성하기 위하여 본 발명에 따른 모자이크 영상 생성 방법은, 위치 이동하는 카메라가 피사체를 촬영함으로써 획득되는 복수 개의 정지 영상을 연결하여 모자이크 영상을 생성하는 방법으로서, 상기 카메라에 의하여 촬영된 영상 정보로부터 상기 복수 개의 정지 영상과 그 정지 영상 각각이 촬영된 촬영 시각을 획득하는 영상 정보 획득 단계; 상기 카메라의 위치와 이동 속도 및 자세 등의 항법 정보를 시간의 흐름에 따라 측정하여 획득하는 항법 정보 획득 단계; 공선조건식을 이용하여, 상기 정지 영상 상의 특정한 좌표인 사진좌표에 대응되는, 상기 피사체 상에 형성되는 피사체좌표를 획득하는 좌표 변환 단계; 상기 좌표 변환 단계에서 획득된 피사체좌표를 이용하여 상기 정지 영상들을 배열함으로써, 상기 모자이크 영상을 생성하고 표시하는 영상 전시 단계;를 구비하는 것을 특징으로 한다.
여기서, 상기 정지 영상과 상기 항법 정보를 동기화시킴으로써, 상기 정지 영상의 각 촬영 시각에 대한 상기 항법 정보를 획득하는 항법 정보 동기화 단계를 구비하는 것이 바람직하다.
여기서, 상기 좌표 변환 단계에서는, 상기 정지 영상 상의 네 코너의 사진좌표가 피사체좌표로 변환되는 것이 바람직하다.
여기서, 상기 단계들은 미리 정한 시간 내에 실시간으로 처리되는 것이 바람직하다.
여기서, 상기 영상 정보 획득 단계에서는, 상기 피사체의 형상이 끊김 없이 연속적으로 표현되도록 상기 정지 영상들이 획득되는 것이 바람직하다.
본 발명에 따르면, 상기 카메라의 위치와 이동 속도 및 자세 등을 획득하는 항법 정보 획득부와, 공선조건식을 이용하여 상기 정지 영상 상의 특정한 좌표인 사진좌표에 대응되는, 상기 피사체 상에 형성되는 피사체좌표를 획득하는 좌표 변환부와, 상기 피사체좌표를 이용하여 상기 정지 영상들을 배열하는 영상 전시부를 구비함으로써, 항공기 등의 이동체를 이용하는 이동 촬영에서 실시간으로 정확한 모자이크 영상을 생성시킬 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예인 모자이크 영상 생성 장치의 구성도를 나타내는 도면이다.
도 2는 도 1에 도시된 모자이크 영상 생성 장치를 이용하여 모자이크 영상을 생성하는 방법 일례를 설명하기 위한 흐름도이다.
도 3은 정지 영상 상의 특정한 좌표인 사진좌표와, 상기 사진좌표에 대응하는 상기 피사체 상에 형성되는 피사체좌표와의 관계를 나타내는 도면이다.
도 4는 비행중인 항공기에서 촬영할 지면을 나타내는 도면이다.
도 5는 피사체인 지면을 서로 일부분 겹치는 3개의 정지 영상으로 나누어 촬영하는 상태를 나타내는 도면이다.
도 6은 도 5에서 촬영된 3개의 정지 영상을 피사체좌표를 이용하여 배열함으로써 끊김 없이 연속적으로 표현된 모자이크 영상을 생성하는 상태를 나타내는 도면이다.
도 7은 피사체인 지면을 서로 겹치지 않는 3개의 정지 영상으로 나누어 촬영하는 상태를 나타내는 도면이다.
도 8은 도 7에서 촬영된 3개의 정지 영상을 피사체좌표를 이용하여 배열함으로써 끊김은 있으나 연속성은 유지하는 모자이크 영상을 생성하는 상태를 나타내는 도면이다.
이하에서, 첨부된 도면들을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명하기로 한다.
도 1은 본 발명의 일 실시예인 모자이크 영상 생성 장치의 구성도를 나타내는 도면이며, 도 2는 도 1에 도시된 모자이크 영상 생성 장치를 이용하여 모자이크 영상을 생성하는 방법 일례를 설명하기 위한 흐름도이다. 도 3은 정지 영상 상의 특정한 좌표인 사진좌표와, 상기 사진좌표에 대응하는 상기 피사체 상에 형성되는 피사체좌표와의 관계를 나타내는 도면이며, 도 4는 비행중인 항공기에서 촬영할 지면을 나타내는 도면이다.
도 1 내지 도 4를 참조하면, 본 발명의 바람직한 실시예에 따른 모자이크 영상 생성 장치(100)는, 위치 이동하는 카메라(미도시)가 피사체(M)를 촬영함으로써 획득되는 복수 개의 정지 영상(P1, P2, P3,..Pn...)을 연결하여 모자이크 영상을 생성하는 장치로서, 영상 정보 획득부(10)와, 항법 정보 획득부(20)와, 항법 정보 동기화부(30)와, 좌표 변환부(40)와, 영상 전시부(50)를 포함하여 구성된다. 이하에서는 항공기를 이용하여 비행하면서 도로나 논밭이 있는 지면(M)을 항공 촬영하는 것을 전제로 설명하기로 한다.
상기 영상 정보 획득부(10)는, 항공기에 탑재되어 위치 이동하는 카메라(미도시)에 의하여 촬영된 동영상(video) 정보로부터, 도 5에 도시된 바와 같이 상기 복수 개의 정지 영상(P1, P2, P3,..Pn...)을 추출하는 부분이다. 이때 상기 영상 정보 획득부(10)는, 획득되는 정지 영상(P1, P2, P3,..Pn...)들 각각이 촬영된 촬영 시각(T1, T2, T3,..Tn...)도 함께 기록한다.
상기 영상 정보 획득부(10)는, 도 5에 도시된 바와 같이, 서로 일부분 겹치는 정지 영상(P1, P2, P3,..Pn...)으로 획득할 수 있으며, 도 7에 도시된 바와 같이, 서로 겹치지 않는 정지 영상(P1, P2, P3,..Pn...)으로 획득할 수도 있다. 본 실시예에서, 상기 영상 정보 획득부(10)는 도 5에 도시된 바와 같이 서로 일부분 겹치는 정지 영상(P1, P2, P3,..Pn...)으로 획득한다.
본 실시예에서, 상기 영상 정보 획득부(10)는, 상기 동영상(video) 정보로부터 획득되는 정지 영상(P1, P2, P3,..Pn...)의 초당 촬영 프레임(frame)을 조절하기 위하여 샘플링 주기(sampling period)(SP1)를 조절할 수 있으며, 상기 정지 영상(P1, P2, P3,..Pn...)들의 해상도(resolution)를 조절할 수 있다.
상기 항법 정보 획득부(20)는, 상기 카메라의 위치와 이동 속도 및 자세 등의 항법 정보를 시간의 흐름에 따라 측정하여 획득하는 장치로서, 상기 카메라가 탑재된 항공기의 위치와 이동 속도 및 자세를 측정함으로써 상기 카메라의 위치와 이동 속도 및 자세 등을 측정한다.
상기 항법 정보 획득부(20)는, 관성 항법 시스템(INS, Inertial Navigation System)과 위성 항법 시스템(satellite navigation system)을 함께 구비하는 복합항법시스템(Hybrid or Integrated Navigation System)이다.
상기 관성 항법 시스템(INS)은, 복수의 자이로와 가속도계를 조합시켜 그 신호를 컴퓨터로 처리하여 항공기의 위치나 자세 등의 항법정보를 얻는 장치로서, 획득한 가속도 정보와 각속도 정보를 적분하여 항공기의 현재 위치, 속도, 각도 등을 짧은 시간 동안 정확하게 계산한다.
본 실시예에서, 상기 관성 항법 시스템은, 상기 영상 정보 획득부(10)의 샘플링 주기(SP1)와는 다른 값의 샘플링 주기(SP2)로 작동하므로 상기 항법 정보의 측정 시각(t1, t2, t3,...tn...)이 상기 정지 영상(P1, P2, P3,..Pn...)의 촬영 시각(T1, T2, T3,..Tn...)과 일치하지는 않는다. 일반적으로 상기 항법 정보의 샘플링 주기(SP2)가 상기 영상 정보 획득부(10)의 샘플링 주기(SP1)보다 더 짧은 것이 보통이다.
상기 위성 항법 시스템은, 인공위성을 위치 측정의 기준점으로 사용하는 항법 장치로서, 위성에서 발사된 전파를 관측하거나 위성을 중계국으로 이용해서 항공기의 위치를 확인한다. 상기 위성 항법 시스템의 대표적인 예로서는, GPS(Global Positiong System)또는 DGPS(Differencial Global Positiong System)를 들 수 있다. 본 실시예에서, 상기 위성 항법 시스템은, 상기 관성 항법 시스템에 의하여 누적되는 적분 오차를 감소시키기 위하여 마련된 보조적 장치이다.
상기 항법 정보 획득부(20)는, 기준 위치로부터 항해한 침로와 거리를 이용하여 현재 위치를 산정하는 추측 항법(dead reckoning)을 사용한다.
상기 항법 정보 동기화부(30)는, 상기 정지 영상(P1, P2, P3,..Pn...)과 상기 항법 정보를 서로 동기화시키는 부분이다.
상기 항법 정보 동기화부(30)는 상기 정지 영상(P1, P2, P3,..Pn...)의 각 촬영 시각(T1, T2, T3,..Tn...)을 기준으로 그에 대응하는 상기 항법 정보를 획득한다. 이때, 상기 항법 정보 획득부(20)로부터 출력되는 상기 항법 정보를 보간함으로써, 상기 촬영 시각(T1, T2, T3,..Tn...)에 각각 대응하는 항법 정보를 획득한다.
상기 좌표 변환부(40)는, 상기 항법 정보 동기화부(30)에 의하여 동기화된 상기 정지 영상(P1, P2, P3,..Pn...)과 항법 정보를 이용하여, 도 3에 도시된 바와 같이, 상기 정지 영상(P) 상의 특정한 좌표인 사진좌표 (xP,yP)에 대응되는, 상기 피사체(M) 상에 형성되는 피사체좌표 (XP,YP)를 획득하는 부분이다.
상기 좌표 변환부(40)는, 아래의 식(1)과 같은 공선조건식(Collinearity condition Equation)을 이용하게 되는데, 상기 식(1)은 도 3에 도시된 바와 같이 피사체(M) 상의 임의의 점 (XP,YP)과 상기 (XP,YP)에 대응하는 정지 영상(P) 상의 대응점 (xP,yP)와 카메라의 투영중심(C)가 동일한 직선상에 존재한다는 공선조건(Collinearity condition)에서 유도된다.
Figure 112011091571278-pat00001
----식(1)
여기서, f는 카메라의 초점거리이며, (X0,Y0,Z0)는 투영중심(C)의 피사체(M) 상의 좌표이며, (x0,y0)는 투영중심(C)의 정지 영상(P) 상의 사진좌표이며, mij는 카메라의 자세에 대한 회전행렬 M의 i행, j열 값으로서, 상기 카메라의 위치와 자세에 의하여 결정되는 값이다. 이때, 상기 투영중심(C)의 위치와 이동 속도 등은 상기 카메라의 위치와 이동 속도 등으로부터 계산할 수 있다.
따라서, 상기 식(1)에 의하며, 현재 시각과 현재 위치에서, x-y 좌표평면상에 있는 정지 영상(P) 상의 임의점 x P = (xP,yP)을 대입하면, 그에 대응하는 X-Y 좌표평면상의 점 X P = (XP,YP)값을 획득할 수 있다.
본 실시예에서, 상기 좌표 변환부(40)는 도 3에 도시된 바와 같이 1개의 정지 영상(P)에 대하여 5개의 사진좌표를 5개의 피사체좌표로 변환하는데, 상기 정지 영상(P) 상의 네 코너의 사진좌표 (x1,y1), (x2,y2), (x3,y3), (x4,y4)를 각각 피사체좌표 (X1,Y1), (X2,Y2), (X3,Y3), (X4,Y4)로 변환하고, 투영중심(C)의 사진좌표인 (x0,y0)를 (X0,Y0)로 변환한다. 여기서, Z=0인 평면에 상기 피사체(M)가 존재하는 것으로 가정하는 바, Z0=Z1=Z2=Z3=Z4=0이다.
상기 영상 전시부(50)는, 상기 5개의 피사체좌표 (X0,Y0), (X1,Y1), (X2,Y2), (X3,Y3), (X4,Y4)를 이용하여, 도 6에 도시된 바와 같이 상기 정지 영상(P1, P2, P3,..Pn...)을 배열함으로써 상기 모자이크 영상을 생성하고 표시하는 부분이다.
여기서, 상기 복수 개의 정지 영상(Pi, i=1,2,3)의 사진좌표는 x ij =(xij,yij)(j=1,2,3,4)로 표현되며, 상기 정지 영상(Pi, i=1,2,3)의 피사체좌표는 X ij =(Xij,Yij)(j=0,1,2,3,4)로 표현된다.
상기 모자이크 영상 생성 장치(100)의 각 구성요소들은, 상기 정지 영상(P1, P2, P3,..Pn...) 및 상기 항법 정보를 미리 정한 시간 내에 처리함으로써 실시간으로 작동할 수 있도록 구성되어 있다.
상술한 구성의 모자이크 영상 생성 장치(100)는, 상기 카메라의 위치와 이동 속도 및 자세 등을 획득하는 항법 정보 획득부(20)와, 공선조건식을 이용하여 상기 정지 영상(P) 상의 특정한 좌표인 사진좌표 (xP,yP)에 대응되는, 상기 피사체(M) 상에 형성되는 피사체좌표 (XP,YP)를 획득하는 좌표 변환부(40)와, 상기 피사체좌표 (XP,YP)를 이용하여 상기 정지 영상(P)들을 배열하는 영상 전시부(50)를 구비하고 있으므로, 항공기의 항법 정보를 이용하여 상기 정지 영상(P)들의 배열 위치를 간단하게 산출할 수 있는 바, 항공기 등의 이동체를 이용하는 이동 촬영에서 정확하고 끊김 없는(seamless) 모자이크 영상을 생성시킬 수 있는 장점이 있다.
그리고, 상기 모자이크 영상 생성 장치(100)는, 상기 종래의 모자이크 영상 생성 방법들과는 달리, 영상 처리에 필요한 계산량이 매우 적으므로, 상기 정지 영상(P) 및 상기 항법 정보를 미리 정한 시간 내에 처리하여 실시간으로 작동될 수 있는 장점이 있다. 따라서, 상기 모자이크 영상 생성 장치(100)는, 피해 현황의 조사가 긴급한 재해 발생 시 등에 항공기에 탑재되어 사용되면, 실시간으로 신속하게 재해 현장 전체를 조망할 수 있도록, 비행 궤적에 따라 생성된 넓은 시야각(viewing angle)의 모자이크 영상을 제공할 수 있다는 장점이 있다.
또한, 상기 모자이크 영상 생성 장치(100)는, 상기 정지 영상(P)의 각 촬영 시각에 대한 상기 항법 정보를 획득하는 항법 정보 동기화부를 포함하고 있으므로, 상기 영상 정보 획득부(10)의 샘플링 주기(SP1)와 상기 항법 정보 획득부(20)의 샘플링 주기(SP2)가 서로 일치하지는 않는 경우에도, 상기 정지 영상(P)과 상기 항법 정보를 동기화시킴으로써, 상기 정지 영상(P)의 각 촬영 시각(T1, T2, T3,..Tn...)을 기준으로 그에 대응하는 상기 항법 정보를 획득할 수 있는 장점이 있다.
아울러, 상기 모자이크 영상 생성 장치(100)는, 상기 좌표 변환부(40)가 상기 정지 영상(P) 상의 네 코너의 사진좌표 (x1,y1), (x2,y2), (x3,y3), (x4,y4)를 각각 피사체좌표 (X1,Y1), (X2,Y2), (X3,Y3), (X4,Y4)로 변환하고 있으므로, 상기 정지 영상(P)들 간의 연결이 끊김 없이 연속적으로(seamlessly) 표현될 수 있는 장점이 있다. 만약, 5개의 사진좌표를 이용하지 않고, 상기 좌표 (x0,y0)과 상기 좌표 (x1,y1)만을 사용하게 된다면, 나머지 3개의 코너부에서 상기 정지 영상(P)들 간의 연결이 매끄럽지 못하고 끊어질 가능성이 높아진다.
또한, 상기 모자이크 영상 생성 장치(100)는, 상기 항법 정보 획득부(20)가 관성 항법 시스템(INS)을 구비하고 있으므로, 복수 개의 자이로와 가속도계로부터 획득한 가속도 정보와 각속도 정보를 적분하여 항공기의 현재 위치, 속도, 각도 등을 짧은 시간 동안 정확하게 계산할 수 있는 장점이 있다.
그리고, 상기 모자이크 영상 생성 장치(100)는, 상기 항법 정보 획득부(20)가 보조적 장치로서 위성 항법 시스템(satellite navigation system)을 함께 구비하고 있으므로, 상기 관성 항법 시스템(INS)에 의하여 시간에 따라 누적되는 적분 오차를 감소시킬 수 있는 장점이 있다.
한편, 상기 모자이크 영상 생성 장치(100)는, 상기 영상 정보 획득부(10)가 도 5에 도시된 바와 같이 서로 일부분 겹치는 정지 영상(P1, P2, P3,..Pn...)을 획득하므로, 상기 피사체(M)의 형상이 끊김 없이 연속적으로 표현되도록 상기 모자이크 영상을 생성할 수 있는 장점이 있다.
그리고, 상기 모자이크 영상 생성 장치(100)는, 상기 영상 정보 획득부(10)가 상기 획득되는 정지 영상(P)의 샘플링 주기(SP1) 및 해상도를 조절할 수 있으므로, 원본 영상인 상기 동영상(video)의 해상도가 지나치게 높은 경우에 상기 정지 영상(P)의 해상도를 낮출 수 있어, 상기 정지 영상(P)의 처리 속도를 증가시키고 상기 정지 영상(P)의 저장 공간을 감소시킬 수 있는 장점이 있다.
이하에서는, 상술한 구성의 모자이크 영상 생성 장치(100)를 이용하여 모자이크 영상을 생성하는 방법의 일례를 설명하기로 한다.
먼저, 상기 영상 정보 획득부(10)를 이용하여, 항공기에 탑재되어 위치 이동하는 카메라(미도시)에 의하여 촬영된 동영상(video) 정보로부터, 도 5에 도시된 바와 같이 상기 복수 개의 정지 영상(P1, P2, P3,..Pn...)을 추출한다. 이때 획득되는 정지 영상(P1, P2, P3,..Pn...)들 각각이 촬영된 촬영 시각(T1, T2, T3,..Tn...)도 함께 기록한다. 본 실시예에서는, 도 5에 도시된 바와 같이 서로 일부분 겹치는 정지 영상(P1, P2, P3,..Pn...)으로 획득한다. 여기서 필요한 경우에는, 정지 영상(P1, P2, P3,..Pn...)의 초당 촬영 프레임(frame)을 조절하기 위하여 샘플링 주기(sampling period)(SP1)를 조절할 수 있으며, 상기 정지 영상(P1, P2, P3,..Pn...)들의 해상도(resolution)를 조절할 수도 있다. (영상 정보 획득 단계, S100)
한편, 상기 영상 정보 획득 단계(S100)가 수행되면서 이와 동시에, 상기 항법 정보 획득부(20)를 이용하여, 시간의 흐름에 따라 상기 카메라의 위치와 이동 속도 및 자세 등의 항법 정보를 측정하여 획득한다. 상기 항법 정보는 상기 샘플링 주기(SP2)에 의하여 각각의 측정 시각(t1, t2, t3,...tn...)에 대응한 값이 저장된다. (항법 정보 획득 단계, S200)
이렇게 상기 정지 영상(P1, P2, P3,..Pn...)들과 상기 항법 정보가 획득되면, 상기 항법 정보 동기화부(30)를 이용하여, 상기 각 정지 영상(P1, P2, P3,..Pn...)의 촬영 시각(T1, T2, T3,..Tn...)을 기준으로 그에 대응하는 각각의 항법 정보를 획득한다. (항법 정보 동기화 단계, S300)
상기 항법 정보 동기화 단계(S300)에서 상기 정지 영상(P1, P2, P3,..Pn...)과 상기 항법 정보를 서로 동기화시킨 후, 상기 좌표 변환부(40)를 이용하여, 도 3에 도시된 바와 같이, 각각의 정지 영상(P1, P2, P3,..Pn...)들에 대하여 5개의 사진좌표를 5개의 피사체좌표로 변환하는데, 상기 정지 영상(P) 상의 네 코너의 사진좌표 (x1,y1), (x2,y2), (x3,y3), (x4,y4)와 투영중심(C)의 사진좌표인 (x0,y0)를 각각 피사체좌표 (X1,Y1), (X2,Y2), (X3,Y3), (X4,Y4)와 (X0,Y0)로 변환한다. 이때, 상술한 식(1)의 공선조건식(Collinearity condition Equation)이 사용된다. (좌표 변환 단계, S400)
이렇게 상기 정지 영상(P1, P2, P3,..Pn...)의 좌표 변환을 수행한 후, 상기 5개의 피사체좌표 (X0,Y0), (X1,Y1), (X2,Y2), (X3,Y3), (X4,Y4)를 이용하여, 도 6에 도시된 바와 같이 X-Y 좌표평면에서, 상기 정지 영상(P1, P2, P3,..Pn...)을 항공기의 비행 궤적에 따라 배열하며, 상기 피사체(M)의 형상이 끊김 없이 연속적으로(seamlessly) 표현된 모자이크 영상이 생성되어 표시된다. (영상 전시 단계, S500)
상술한 단계들은, 상기 모자이크 영상 생성 장치(100)를 항공기에 탑재함으로써, 항공기가 비행하는 중에 미리 정한 시간 내에 실시간으로 수행될 수 있다.
상술한 모자이크 영상 생성 방법은, 상기 카메라의 위치와 이동 속도 및 자세 등을 획득하는 항법 정보 획득 단계(S200)와, 공선조건식을 이용하여 상기 정지 영상(P) 상의 특정한 좌표인 사진좌표 (xP,yP)에 대응되는, 상기 피사체(M) 상에 형성되는 피사체좌표 (XP,YP)를 획득하는 좌표 변환 단계(S400)와, 상기 피사체좌표 (XP,YP)를 이용하여 상기 정지 영상(P)들을 배열하는 영상 전시 단계(S500)를 구비하고 있으므로, 항공기의 항법 정보를 이용하여 상기 정지 영상(P)들의 배열 위치를 간단하게 산출할 수 있는 바, 항공기 등의 이동체를 이용하는 이동 촬영에서 정확하고 끊김 없는(seamless) 모자이크 영상을 생성시킬 수 있는 장점이 있다.
그리고, 상기 모자이크 영상 생성 방법은, 상기 정지 영상(P)의 각 촬영 시각에 대한 상기 항법 정보를 획득하는 항법 정보 동기화 단계(S300)를 포함하고 있으므로, 상기 영상 정보 획득부(10)의 샘플링 주기(SP1)와 상기 항법 정보 획득부(20)의 샘플링 주기(SP2)가 서로 일치하지는 않는 경우에도, 상기 정지 영상(P)과 상기 항법 정보를 동기화시킴으로써, 상기 정지 영상(P)의 각 촬영 시각(T1, T2, T3,..Tn...)을 기준으로 그에 대응하는 상기 항법 정보를 획득할 수 있는 장점이 있다.
또한, 상기 모자이크 영상 생성 방법은, 상기 좌표 변환 단계(S400)에서 상기 정지 영상(P) 상의 네 코너의 사진좌표 (x1,y1), (x2,y2), (x3,y3), (x4,y4)가 각각 피사체좌표 (X1,Y1), (X2,Y2), (X3,Y3), (X4,Y4)로 변환되고 있으므로, 상기 정지 영상(P)들 간의 연결이 끊김 없이 연속적으로(seamlessly) 표현될 수 있는 장점이 있다.
아울러, 상기 모자이크 영상 생성 방법은, 상기 종래의 모자이크 영상 생성 방법들과는 달리, 영상 처리에 필요한 계산량이 매우 적으므로, 상기 정지 영상(P) 및 상기 항법 정보를 미리 정한 시간 내에 처리하여 실시간으로 상기 모자이크 영상을 생성할 수 있는 장점이 있다.
그리고 상기 모자이크 영상 생성 방법은, 상기 영상 정보 획득 단계(S100)에서, 도 5에 도시된 바와 같이 서로 일부분 겹치는 정지 영상(P1, P2, P3,..Pn...)이 획득되므로, 상기 피사체(M)의 형상이 끊김 없이 연속적으로 표현되도록 상기 모자이크 영상을 생성할 수 있는 장점이 있다.
본 실시예에서는, 상기 관성 항법 시스템에 의하여 누적되는 적분 오차를 감소시키기 위하여 상기 위성 항법 시스템이 사용되고 있으나, 상기 위성 항법 시스템 대신에 또는 함께, 나침반(compass)이 사용될 수도 있음은 물론이다.
본 실시예에서는, 상기 영상 정보 획득 단계(S100)에서 도 5에 도시된 바와 같이 서로 일부분 겹치는 정지 영상(P1, P2, P3,..Pn...)이 획득되고 있으나, 도 7에 도시된 바와 같이 서로 겹치지 않는 정지 영상(P1, P2, P3,..Pn...)이 획득될 수도 있음은 물론이다. 이 경우에는 도 8에 도시된 바와 같이 도로나 논밭의 끊김은 있으나 그 형태의 연속성이 유지되는 모자이크 영상이 생성될 수 있다. 즉, 상기 모자이크 영상 생성 방법은, 상기 종래의 모자이크 영상 생성 방법들과는 달리, 서로 겹치지 않는 정지 영상(P)들을 사용하여서도 모자이크 영상을 생성할 수 있는 장점이 있다.
본 실시예에서는, 상기 영상 정보 획득부(10)가 원본인 동영상(video) 정보로부터 상기 정지 영상(P)들을 추출하고 있으나, 디지털카메라에 의하여 촬영된 정지 화상을 원본 영상으로 할 수 있음은 물론이다.
본 실시예에서는, 항법 정보 동기화부(30)가 상기 정지 영상(P1, P2, P3,..Pn...)과 상기 항법 정보를 서로 동기화시키고 있으나, 상기 항법 정보 획득부(20)가 상기 영상 정보 획득부(10)의 샘플링 주기(SP1)와 동일한 샘플링 주기(SP2)로 작동될 경우에는, 상기 항법 정보 동기화부(30)에 의한 동기화가 필요하지 않을 수도 있다.
이상으로 본 발명을 설명하였는데, 본 발명의 기술적 범위는 상술한 실시예에 기재된 내용으로 한정되는 것은 아니며, 해당 기술 분야의 통상의 지식을 가진 자에 의해 수정 또는 변경된 등가의 구성은 본 발명의 기술적 사상의 범위를 벗어나지 않는 것임은 명백하다.
＊ 도면의 주요부위에 대한 부호의 설명 ＊
100 : 모자이크 영상 생성 장치 10 : 영상 정보 획득부
20 : 항법 정보 획득부 30 : 항법 정보 동기화부
40 : 좌표 변환부 50 :영상 전시부
P, P1, P2, P3 : 정지 영상 M : 피사체
C : 투영중심

Claims (13)

  1. 위치 이동하는 카메라가 피사체를 촬영함으로써 획득되는 복수 개의 정지 영상을 연결하여 모자이크 영상을 생성하는 장치에 있어서,
    상기 카메라에 의하여 촬영된 영상 정보로부터 상기 복수 개의 정지 영상과 그 정지 영상 각각이 촬영된 촬영 시각을 획득하는 영상 정보 획득부;
    상기 카메라의 위치와 이동 속도 및 자세 등의 항법 정보를 시간의 흐름에 따라 측정하여 획득하는 항법 정보 획득부;
    공선조건식을 이용하여, 상기 정지 영상 상의 특정한 좌표인 사진좌표에 대응되는, 상기 피사체 상에 형성되는 피사체좌표를 획득하는 좌표 변환부;
    상기 정지 영상들을 배열함으로써, 상기 모자이크 영상을 생성하고 표시하는 영상 전시부;
    를 포함하며,
    상기 영상 전시부는, 상기 좌표 변환부에서 획득된 피사체좌표를 이용하여, 상기 정지 영상들을 배열하며,
    상기 영상 정보 획득부는, 상기 획득되는 정지 영상의 샘플링 주기 및 해상도를 조절할 수 있는 것을 특징으로 하는 모자이크 영상 생성 장치.
  2. 제 1항에 있어서,
    상기 정지 영상과 상기 항법 정보를 동기화시킴으로써, 상기 정지 영상의 각 촬영 시각에 대한 상기 항법 정보를 획득하는 항법 정보 동기화부를 포함하는 것을 특징으로 하는 모자이크 영상 생성 장치.
  3. 제 1항에 있어서,
    상기 좌표 변환부는 상기 정지 영상 상의 네 코너의 사진좌표를 피사체좌표로 변환하는 것을 특징으로 하는 모자이크 영상 생성 장치.
  4. 제 1항에 있어서,
    상기 정지 영상 및 상기 항법 정보를 미리 정한 시간 내에 처리함으로써, 실시간으로 작동하는 것을 특징으로 하는 모자이크 영상 생성 장치.
  5. 제 1항에 있어서,
    상기 항법 정보 획득부는 관성 항법 시스템을 구비하는 것을 특징으로 하는 모자이크 영상 생성 장치.
  6. 제 5항에 있어서,
    상기 항법 정보 획득부는,
    나침반 또는 위성 항법 시스템을 구비하는 것을 특징으로 하는 모자이크 영상 생성 장치.
  7. 제 1항에 있어서,
    상기 영상 정보 획득부는,
    상기 피사체의 형상이 끊김 없이 연속적으로 표현될 수 있게, 상기 정지 영상들 중 서로 인접하는 정지 영상들이 일부분 겹치도록, 상기 정지 영상들을 획득하는 것을 특징으로 하는 모자이크 영상 생성 장치.
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
KR1020110121197A 2011-11-18 2011-11-18 모자이크 영상 생성 장치 Active KR101323099B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110121197A KR101323099B1 (ko) 2011-11-18 2011-11-18 모자이크 영상 생성 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110121197A KR101323099B1 (ko) 2011-11-18 2011-11-18 모자이크 영상 생성 장치

Publications (2)

Publication Number Publication Date
KR20130055447A KR20130055447A (ko) 2013-05-28
KR101323099B1 true KR101323099B1 (ko) 2013-10-30

Family

ID=48663932

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110121197A Active KR101323099B1 (ko) 2011-11-18 2011-11-18 모자이크 영상 생성 장치

Country Status (1)

Country Link
KR (1) KR101323099B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150109919A (ko) 2014-03-21 2015-10-02 한국전자통신연구원 파노라마 영상 생성을 위한 시스템 및 방법
KR101591197B1 (ko) * 2014-10-01 2016-02-04 한국항공우주연구원 보조 정보를 이용한 모자이크 영상 생성 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004127322A (ja) * 2003-12-24 2004-04-22 Asahi Koyo Kk ステレオ画像形成方法及び装置
KR100822814B1 (ko) * 2007-07-18 2008-04-18 (주)지에스엠솔루션 Ｇｐｓ/ｉｎｓ 장비를 이용한 측량 정보 및 ｇｉｓ 지리정보, 실시간 영상정보를 결합한 공간정보 서비스방법
KR20100087034A (ko) * 2007-11-14 2010-08-02 인터그래프 소프트웨어 테크놀로지스 캄파니 항공 측량 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004127322A (ja) * 2003-12-24 2004-04-22 Asahi Koyo Kk ステレオ画像形成方法及び装置
KR100822814B1 (ko) * 2007-07-18 2008-04-18 (주)지에스엠솔루션 Ｇｐｓ/ｉｎｓ 장비를 이용한 측량 정보 및 ｇｉｓ 지리정보, 실시간 영상정보를 결합한 공간정보 서비스방법
KR20100087034A (ko) * 2007-11-14 2010-08-02 인터그래프 소프트웨어 테크놀로지스 캄파니 항공 측량 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150109919A (ko) 2014-03-21 2015-10-02 한국전자통신연구원 파노라마 영상 생성을 위한 시스템 및 방법
KR101591197B1 (ko) * 2014-10-01 2016-02-04 한국항공우주연구원 보조 정보를 이용한 모자이크 영상 생성 장치 및 방법

Also Published As

Publication number Publication date
KR20130055447A (ko) 2013-05-28

Similar Documents

Publication Publication Date Title
CN105627991B (zh) 一种无人机影像实时全景拼接方法及系统
CN110675450B (zh) 基于slam技术的正射影像实时生成方法及系统
US9083859B2 (en) System and method for determining geo-location(s) in images
KR101285360B1 (ko) 증강현실을 이용한 관심 지점 표시 장치 및 방법
JP2016057108A (ja) 演算装置、演算システム、演算方法およびプログラム
US20110261187A1 (en) Extracting and Mapping Three Dimensional Features from Geo-Referenced Images
GB2591857A (en) Photographing-based 3D modeling system and method, and automatic 3D modeling apparatus and method
CN102322859B (zh) 一种航空惯性导航测量系统及姿态校正方法
JP2010504711A (ja) 地理空間モデルにおいて移動しているオブジェクトを追跡する映像監視システム及びその方法
US20190158716A1 (en) Method and system of geolocation and attitude correction for mobile rolling shutter cameras
KR101011813B1 (ko) 인접된 항공사진들 간의 중첩지역 표시장치
CN105352509A (zh) 地理信息时空约束下的无人机运动目标跟踪与定位方法
JP4077385B2 (ja) 画像処理を用いたグローバル座標取得装置
JP2014186004A (ja) 計測装置、方法及びプログラム
TWI444593B (zh) 地面目標定位系統與方法
JP3957888B2 (ja) 撮像装置及び撮像画像合成方法
KR101224830B1 (ko) 지리 참조 영상 획득을 위한 휴대용 멀티센서 시스템 및 그 방법
KR20030070553A (ko) 촬영영상 처리방법
JP4588369B2 (ja) 撮影装置及び撮影方法
Liu et al. A new approach to fast mosaic UAV images
JP2011169658A (ja) 撮影位置特定装置および撮影位置特定方法
KR101323099B1 (ko) 모자이크 영상 생성 장치
CN117522681A (zh) 无人机热红外遥感影像实时拼接方法及系统
CN116524159A (zh) 无人机ar稳定成像的方法及装置
JP3781034B2 (ja) ステレオ画像形成方法及び装置

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20111118

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20130125

Patent event code: PE09021S01D

AMND Amendment
PG1501 Laying open of application
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20130729

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20130125

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20130729

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20130228

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20130828

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20130826

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20130729

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20130228

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20131023

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20131023

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20171019

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20171019

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20181018

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20181018

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20201022

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20211019

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20220804

Start annual number: 10

End annual number: 10

PR1001 Payment of annual fee

Payment date: 20230823

Start annual number: 11

End annual number: 11

PR1001 Payment of annual fee

Payment date: 20241002

Start annual number: 12

End annual number: 12