[go: up one dir, main page]

KR102340527B1 - 프레임 센서모델에 기반하여 드론에 의해 촬영되는 비디오 데이터와 텔레메트리 데이터를 동기화하는 동기화 장치 및 방법 - Google Patents

프레임 센서모델에 기반하여 드론에 의해 촬영되는 비디오 데이터와 텔레메트리 데이터를 동기화하는 동기화 장치 및 방법 Download PDF

Info

Publication number
KR102340527B1
KR102340527B1 KR1020210129031A KR20210129031A KR102340527B1 KR 102340527 B1 KR102340527 B1 KR 102340527B1 KR 1020210129031 A KR1020210129031 A KR 1020210129031A KR 20210129031 A KR20210129031 A KR 20210129031A KR 102340527 B1 KR102340527 B1 KR 102340527B1
Authority
KR
South Korea
Prior art keywords
synchronization
telemetry data
video
data
telemetry
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020210129031A
Other languages
English (en)
Inventor
권혁태
구민희
Original Assignee
(주)픽소니어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)픽소니어 filed Critical (주)픽소니어
Priority to KR1020210129031A priority Critical patent/KR102340527B1/ko
Application granted granted Critical
Publication of KR102340527B1 publication Critical patent/KR102340527B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

프레임 센서모델에 기반하여 드론에 의해 촬영되는 비디오 데이터와 텔레메트리 데이터를 동기화하는 동기화 장치 및 방법이 개시된다. 본 발명에 따른 동기화 장치는, 프레임 센서모델에 기반하여 드론에 의해 촬영되는 비디오 데이터와 텔레메트리 데이터를 동기화하는 동기화 장치에 있어서, 입력 텔레메트리 데이터 파일로부터, 설정된 필수 메타데이터 항목을 추출하는 항목 추출부; 항목 추출부에 의해 추출된 필수 메타데이터 항목으로 구성된 텔레메트리 데이터로부터 프레임 센서모델을 형성하고, 비디오 영상 프레임의 중심점과 설정된 개수의 꼭지점에 대한 지리좌표를 계산하여 촬영영역을 산출하는 촬영영역 산출부; 및 비디오 영상 프레임에 대한 비디오 데이터와 추출된 필수 메타데이터 항목으로 구성된 텔레메트리 데이터의 적어도 하나의 시점을 이동시켜 동기화를 수행하는 동기화 수행부;를 포함하는 것을 특징으로 한다.

Description

프레임 센서모델에 기반하여 드론에 의해 촬영되는 비디오 데이터와 텔레메트리 데이터를 동기화하는 동기화 장치 및 방법{APPARATUS AND METHOD FOR VIDEO AND TELEMETRY DATA SYNCHRONIZATION BASED ON FRAME SENSOR MODEL}
본 발명은 비디오 데이터와 텔레메트리 데이터를 동기화하는 동기화 장치 및 방법에 관한 것으로서, 보다 상세하게는 프레임 센서모델에 기반하여 드론에 의해 촬영되는 비디오 데이터와 텔레메트리 데이터를 동기화하는 동기화 장치 및 방법에 관한 것이다.
텔레메트리(telemetry)는 비행중인 비행체에서 발생하는 이벤트를 감지하고, 비행 상태와 궤도를 실시간으로 확인하고 분석하기 위하여 센서 등을 통해 계측되는 상태 및 비행정보를 지상의 수신기로 전송하는 것을 말한다.
즉, 텔레메트리는 비행체의 비행 중에 비행체의 위치와 자세, 기압, 습도, 전압, 전류, 속도 등의 다양한 센서를 통해 측정되는 상태 및 비행 정보를 무선으로 지상의 수신기에 전송하는 신호를 의미한다.
이와 같은 텔레메트리는 대기오염 감시, 공장관리, 도로 교통량 조사, 하천의 수위 측정, 의료 장비, 위성 등의 상용적인 목적과 유도무기, 무인기 등의 군사적인 목적으로 원거리 전자 장비의 제어 및 정보 송수신을 위해 널리 사용된다. 특히, 비행체의 영상 센서를 활용하여 원격지를 관찰하는 원격 탐사 및 감시정찰 분야에서 텔레메트리 데이터는 영상 데이터와 함께 촬영하는 위치와 촬영기하 등 맥락 정보를 제공하여 영상에 포착된 지점의 지리좌표를 계산하는 등의 공간정보 활용에 사용된다.
한편, 드론을 이용하여 원거리의 영상을 촬영하는 경우, 드론에 의해 촬영되는 비디오 데이터와 텔레메트리 데이터가 각각 독립적인 구성요소로부터 수집되어 서로 일치하지 않는 경우가 있다. 이와 같은 경우, 비디오 데이터와 텔레메트리 데이터의 동일 시점의 프레임을 찾아 동기화하여야 할 필요가 있다.
등록특허공보 제10-2206796호 (등록일자: 2021.01.19)
본 발명은 전술한 필요성에 따라 창안된 것으로서, 프레임 센서모델에 기반하여 드론에 의해 촬영되는 비디오 데이터와 텔레메트리 데이터를 동기화하는 동기화 장치 및 방법을 제공하는 것을 목적으로 한다.
전술한 목적을 달성하기 위한 본 발명의 일 측면에 따른 동기화 장치는, 프레임 센서모델에 기반하여 드론에 의해 촬영되는 비디오 데이터와 텔레메트리 데이터를 동기화하는 동기화 장치에 있어서, 입력 텔레메트리 데이터 파일로부터, 설정된 필수 메타데이터 항목을 추출하는 항목 추출부; 상기 항목 추출부에 의해 추출된 필수 메타데이터 항목으로 구성된 텔레메트리 데이터로부터 프레임 센서모델을 형성하고, 비디오 영상 프레임의 중심점과 설정된 개수의 꼭지점에 대한 지리좌표를 계산하여 촬영영역을 산출하는 촬영영역 산출부; 및 상기 비디오 영상 프레임에 대한 비디오 데이터와 상기 추출된 필수 메타데이터 항목으로 구성된 텔레메트리 데이터의 적어도 하나의 시점을 이동시켜 동기화를 수행하는 동기화 수행부;를 포함하는 것을 특징으로 한다.
여기서, 상기 동기화 수행부는, 상기 비디오 영상 프레임에 대한 비디오 데이터와 상기 추출된 필수 메타데이터 항목으로 구성된 텔레메트리 데이터의 시점을 동시에 동기화 이동하는 경우, 현재 설정된 동기화를 유지한 채 비디오 데이터와 텔레메트리 데이터를 동시에 재생하거나, 특정 시점으로 탐색 이동할 때에 비디오 데이터와 텔레메트리 타임라인에서 각 타임라인의 범위는 유지하며 현재 재생 시점을 나타내는 위치 표시선을 해당 시점으로 이동할 수 있다.
또한, 상기 동기화 수행부는, 상기 추출된 필수 메타데이터 항목으로 구성된 텔레메트리 데이터의 시점은 유지한 채 상기 비디오 영상 프레임에 대한 비디오 데이터의 시점을 이동할 수도 있다.
또한, 상기 동기화 수행부는, 상기 비디오 영상 프레임에 대한 비디오 데이터의 시점은 유지한 채 상기 추출된 필수 메타데이터 항목으로 구성된 텔레메트리 데이터의 시점을 이동할 수도 있다.
또한, 상기 동기화 수행부는, 텔레메트리 데이터에서 이착륙 시작시점, 종료시점, 회전 시작시점, 및 회전 종료시점을 이벤트로 등록하며, 등록된 상기 이벤트에 기반하여 동기화 시점을 선택할 수 있다.
전술한 목적을 달성하기 위한 본 발명의 일 측면에 따른 동기화 방법은, 프레임 센서모델에 기반하여 드론에 의해 촬영되는 비디오 데이터와 텔레메트리 데이터를 동기화하는 동기화 장치의 동기화 방법에 있어서, 입력 텔레메트리 데이터 파일로부터, 설정된 필수 메타데이터 항목을 추출하는 단계; 상기 추출된 필수 메타데이터 항목으로 구성된 텔레메트리 데이터로부터 프레임 센서모델을 형성하고, 비디오 영상 프레임의 중심점과 설정된 개수의 꼭지점에 대한 지리좌표를 계산하여 촬영영역을 산출하는 단계; 및 상기 비디오 영상 프레임에 대한 비디오 데이터와 상기 추출된 필수 메타데이터 항목으로 구성된 텔레메트리 데이터의 적어도 하나의 시점을 이동시켜 동기화를 수행하는 단계;를 포함하는 것을 특징으로 한다.
여기서, 상기 동기화를 수행하는 단계는, 상기 비디오 영상 프레임에 대한 비디오 데이터와 상기 추출된 필수 메타데이터 항목으로 구성된 텔레메트리 데이터의 시점을 동시에 동기화 이동하는 경우, 현재 설정된 동기화를 유지한 채 비디오 데이터와 텔레메트리 데이터를 동시에 재생하거나, 특정 시점으로 탐색 이동할 때에 비디오 데이터와 텔레메트리 타임라인에서 각 타임라인의 범위는 유지하며 현재 재생 시점을 나타내는 위치 표시선을 해당 시점으로 이동할 수 있다.
또한, 상기 동기화를 수행하는 단계는, 상기 추출된 필수 메타데이터 항목으로 구성된 텔레메트리 데이터의 시점은 유지한 채 상기 비디오 영상 프레임에 대한 비디오 데이터의 시점을 이동할 수도 있다.
또한, 상기 동기화를 수행하는 단계는, 상기 비디오 영상 프레임에 대한 비디오 데이터의 시점은 유지한 채 상기 추출된 필수 메타데이터 항목으로 구성된 텔레메트리 데이터의 시점을 이동할 수도 있다.
또한, 상기 동기화를 수행하는 단계는, 텔레메트리 데이터에서 이착륙 시작시점, 종료시점, 회전 시작시점, 및 회전 종료시점을 이벤트로 등록하며, 등록된 상기 이벤트에 기반하여 동기화 시점을 선택할 수 있다.
본 발명에 따르면, 비디오와 텔레메트리 데이터의 다양한 주요 국면들을 조사하고 이벤트로 등록함으로써 비디오와 텔레메트리 데이터의 시점을 효율적으로 동기화하며 비디오와 텔레메트리 시점을 각각 이동할 수 있게 하여 동기화 시점의 미세 조정이 가능하다.
또한, 본 발명에 따르면, 정교하게 동기화된 비디오 데이터와 텔레메트리 데이터를 병합하여 비디오 응용 분야에서 공간정보 활용을 촉진할 수 있다.
도 1은 본 발명의 실시예에 따른 동기화 장치의 구성을 개략적으로 도시한 도면이다.
도 2는 입력 텔레메트리 데이터 파일에서 필수 텔레메트리 메타데이터 항목을 추출하는 예를 나타낸 도면이다.
도 3은 바늘구멍 사진기의 공선조건을 예시한 도면이다.
도 4는 비디오 데이터와 텔레메트리 데이터를 각각 비디오 재생 화면과 촬영 영역이 표시된 지도 화면으로 나타낸 예이다.
도 5는 비디오 데이터와 텔레메트리 데이터의 타임라인과 두 데이터의 시점 동기화를 설명하기 위한 도면이다.
도 6은 비디오 시점을 이동하는 경우의 동기화하는 과정을 설명하기 위한 도면이다.
도 7은 텔레메트리 데이터 시점을 이동하는 경우의 동기화하는 과정을 설명하기 위한 도면이다.
도 8은 사용자가 비디오나 텔레메트리 데이터의 주요 국면을 이벤트로 등록하는 예를 설명하기 위해 도시한 도면이다.
도 9는 텔레메트리 데이터에서 이착륙 시작, 종료 시점을 획득하는 방법의 흐름도이다.
도 10은 텔레메트리 데이터에서 회전 시작, 종료 시점을 획득하는 방법의 흐름도이다.
도 11은 본 발명의 실시예에 따른 동기화 방법을 나타낸 흐름도이다.
이하, 본 발명의 일부 실시 예들을 예시적인 도면을 통해 설명한다. 각 도면의 구성요소들에 참조부호를 기재함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호로 표시한다. 또한, 본 발명의 실시 예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시 예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 실시 예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결, 결합 또는 접속될 수 있지만, 그 구성 요소와 그 다른 구성요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 1은 본 발명의 실시예에 따른 동기화 장치의 구성을 개략적으로 도시한 도면이다. 본 발명의 실시예에 따른 동기화 장치(100)는 항목 추출부(102), 촬영영역 산출부(104) 및 동기화 수행부(106)를 포함할 수 있다. 여기서, 본 발명의 실시예에 따른 동기화 장치(100)는 프레임 센서모델에 기반하여, 드론에 의해 촬영되는 비디오 데이터와 텔레메트리 데이터를 동기화시킨다.
항목 추출부(102)는 드론(도시하지 않음)으로부터 입력되는 입력 텔레메트리 데이터 파일로부터, 설정된 필수 메타데이터 항목을 추출한다. 이때, 항목 추출부(102)는 사용자 인터페이스를 통해 입력 텔레메트리에서 필수 메타데이터 항목을 추출할 수 있다. 예를 들어, 항목 추출부(102)는 도 2에 도시한 바와 같이, 사용자 인터페이스를 통해 시간 정보와 프레임 센서모델을 구성하는 필수 텔레메트리 메타데이터 항목으로 DateTime(211), Millisecond(212), Latitude(213), Longitude(214), Altitude(215), FOV(Field Of View)(216), Platform Heading(221), Platform Pitch(222), Platform Roll(223), Sensor Azimuth(224), Sensor Elevation(225), Sensor Roll(226)의 열두 개 항목의 값을 설정하고, 입력 텔레메트리 데이터 파일에서 이에 대응하는 항목의 값들을 추출할 수 있다.
추출되는 필수 텔레메트리 메타데이터 항목들의 값들은 CSV(Creating Shared ValueComma-Separated Values) 형태의 입력 텔레메트리 데이터 파일에서 각 열의 이름을 헤더 A(231), 헤더 B(232), 헤더 C(233), 헤더 D(234) 등의 입력 데이터 파일에 지정된 열 이름과 개수대로 목록화할 수 있다.
이때, 필수 메타데이터 항목별로 대응하는 입력 데이터 항목을 설정하며, 사용자 그래픽 인터페이스에서 그룹화된 항목 집합에서 동시에 하나의 항목만 선택되는 라디오 버튼으로 각각의 항목이 대응되도록 구현할 수 있다. 이 경우, 필수 메타데이터 항목과 입력 데이터 파일 항목을 각각 라디오 버튼 그룹으로 구성하며, 입력 항목을 지정할 필수 메타데이터 항목 라디오 버튼을 선택한 후에 대응하는 입력 데이터 파일 항목의 라디오 버튼을 선택할 수 있다.
여기서, 현재 대응 설정 상태 확인과 중복 선택을 막기 위하여, 이미 필수 메타데이터 항목에 연결된 입력 데이터 파일 항목 라디오 버튼은 현재 선택된 필수 메타데이터 항목에 연결된 항목인 경우에 선택 표시가 되고 다른 필수 메타데이터 항목에 연결된 항목이면 비활성화되는 것이 바람직하다. 예를 들어, FOV(216) 라디오 버튼을 클릭하고 헤더 B(232) 라디오 버튼을 선택한 경우, Millisecond(212) 라디오 버튼을 선택하면 헤더 B(232) 라디오 버튼이 비활성화된다.
이때, 텔레메트리 데이터는 필수 메타데이터 항목별 연결된 입력 데이터 파일 항목의 값들로 구성될 수 있다. 만약, 대응하는 입력 데이터 파일 항목이 존재하지 않는 경우, 기 설정된 기본값(241)이 선택될 수 있다. 기본값 선택에 대한 그래픽 사용자 인터페이스 구현은 체크 박스로 하며, 기본값은 텍스트 박스로 입력될 수 있다. 체크 박스를 선택하면 해당 텔레메트리 데이터 항목에 대응하는 값은 모두 프로그램 상에서 설정된 값으로 입력된다.
드론을 이용하여 영상을 반복 촬영하는 경우, 처음 메타데이터 항목 연결 작업을 한 후, 설정 정보 저장(251) 버튼을 클릭하여 설정 정보를 저장하고 추후 작업 시 해당 정보를 불러서 자동 설정하도록 할 수 있다. 설정 정보는 XML(extensible markup language) 파일로 사용자가 지정한 파일명으로 프로그램 설정 경로에 저장되며, 추후에 설정 정보 불러오기(261) 버튼 하단에 추가될 수 있다. 예를 들어, 사용자가 'InputFormat'이라는 파일명으로 저장한 경우, InputFormat(262) 버튼이 추가될 수 있으며, 추후 동일한 드론을 사용한 텔레메트리 데이터 정보 입력 시 InputFormat(262) 버튼을 클릭하여 설정 정보를 자동으로 설정할 수 있다. 프로그램 설정 경로 외의 다른 경로에 존재하는 XML 파일을 이용하여 설정 정보를 입력하는 경우에는 설정 정보 불러오기(261) 버튼을 클릭하여 해당 파일을 불러와서 적용할 수 있다.
입력 설정 초기화(271) 버튼을 클릭하면 기존에 입력했던 항목 연결 설정 정보들을 모두 초기화하여 기본값(241)으로 설정한다.
촬영영역 산출부(104)는 항목 추출부(102)에 의해 추출된 필수 메타데이터 항목으로 구성된 텔레메트리 데이터로부터 프레임 센서모델을 형성하고, 비디오 영상 프레임의 중심점과 설정된 개수의 꼭지점에 대한 지리좌표를 계산하여 촬영영역을 산출한다. 이때, 촬영영역 산출부(104)는 비디오 영상 프레임의 중심점과 네 개의 꼭지점에 대한 지리좌표를 계산하여 촬영영역을 산출하는 것이 바람직하다.
일반적인 카메라로 촬영하는 비디오 영상은 바늘구멍 사진기와 같은 '프레임 센서모델'을 이용하여 실세계를 투영한 것으로 볼 수 있다. 예를 들어, 광학적 왜곡이 없고 주점이 영상 중앙에 투영되는 바늘구멍 사진기에서 상하가 반전되는 영상 투영면을 바늘구멍 앞으로 대칭 이동시키면 도 3과 같이, 바늘구멍(O)에서 초점거리(c)만큼 떨어진 위치에 상하 반전이 없는 영상면(xy-평면)이 놓이게 된다. 이 경우, 촬영 범위 안에 있는 임의의 실세계 지상점(A)과, 그 지점이 영상면에 투영된 영상점(a)과, 바늘구멍(O)은 일직선상에 놓이는 '공선조건'을 형성하며, 이러한 공선조건을 만족하는 영상점과 지상점의 대응관계를 나타내는 센서모델링을 통해 영상점에 대응하는 지리좌표를 찾을 수 있다.
여기서, 바늘구멍(O)의 위치는 촬영 카메라의 위치로 근사할 수 있으며, 카메라와 지상점의 위치를 나타내는 실세계 좌표계 상에서 카메라의 위치와 자세가 주어지면 투영 영상면의 좌표축 방향을 결정할 수 있다. 또한, 초점거리와 영상 크기가 주어지면 영상면의 좌표계 원점과 영상면 크기를 결정할 수 있다. 따라서, 카메라의 위치, 자세, 초점거리 또는 이와 대등한 화각, 영상 크기가 프레임 센서모델을 구성하는 모수들이며, 비디오 데이터로부터 얻을 수 있는 영상 크기를 제외한 나머지 항목들은 별도의 텔레메트리 데이터로 수집되어야 한다.
드론 촬영 동영상의 경우, 비행제어 장치와 기타 센서들로부터 드론의 위치와 자세, 카메라가 장착된 짐벌의 자세, 시간 정보 등을 로그 형식으로 기록하여 수집할 수 있다.
별개의 파일로 구분되어 저장된 비디오 데이터와 텔레메트리 데이터는 일반적으로 파일에 기록된 두 데이터의 시작 시각과 전체 기록 시간이 정확하게 일치하지 않는다. 이 두 데이터를 병합하는 과정에서 동일 시점의 비디오 프레임과 텔레메트리 데이터를 찾아서 두 데이터를 동기화하는 것이 중요하다.
텔레메트리 데이터를 이용하여 구성하는 프레임 센서모델로부터 비디오 영상 프레임의 중심점과 네 꼭지점의 지리좌표를 계산할 수 있다. 이렇게 계산되는 촬영 영역과 비디오 영상을 지도 등을 활용하여 비교함으로써 비디오 프레임과 텔레메트리 데이터 프레임의 일치 여부를 판단한다.
이와 같이 비디오 프레임과 텔레메트리 데이터 프레임의 촬영 영역을 비교하는 과정에서 특정 텔레메트리 데이터 프레임에 대하여 비디오 재생 시점을 이동하여 두 정보의 시점을 맞춰 동기화를 진행할 수 있다.
그런데, 이와 같은 방식은 하나의 특정 시점에서만 비디오 프레임 정보와 텔레메트리 데이터 프레임의 촬영 영역을 기준으로 동기화를 진행하게 되는데, 이 경우에 사용자가 육안으로 비디오 영상과 촬영 영역을 비교하고 동기화 프레임을 설정하는 것이기 때문에 유사한 국면에 대하여 오판할 가능성이 있다.
또한, 영상 데이터와 텔레메트리 데이터의 기록 시간과 길이가 다를 경우, 비디오 영상에 포함된 시점의 텔레메트리 데이터를 특정하여야만 동기화 프레임을 위한 조사 시간을 단축할 수 있다. 따라서, 비디오와 텔레메트리 데이터에서 특징적인 여러 주요 국면들을 찾아서 데이터의 맥락을 파악하고, 그 맥락 안에서 동기화 프레임을 찾을 필요가 있다. 또한, 국면들의 나열로 형성되는 맥락을 통해 비디오 데이터와 멜텔레메트리 데이터가 겹치는 구간도 파악할 수 있다. 이때, 드론에 의해 촬영되는 동영상의 경우, 영상의 변화로 관찰 가능한 이착륙, 회전 구간 등을 특징적인 주요 국면으로 간주할 수 있다.
비디오 데이터와 텔레메트리 메타데이터를 MPEG-2 TS(Moving Picture Experts Group-2 Transport Stream) 형식으로 병합하는 방식은 MISP(Motion Imagery Standard Profile)와 MISB(Motion Imagery Standard Boards) ST(Standard) 0601 UAS(Unmanned Air System) Datalink Local Set에 규격화되어 있다. 이 방식은 비디오 영상에 대응하는 프레임 센서모델 모수들을 이진 형식으로 부호화하여 비디오 프레임과 같은 타임스탬프를 가지는 데이터 프레임을 생성하고, 비디오 스트림과 데이터 스트림을 가지는 MPEG-2 TS 형식으로 비디오 프레임과 함께 다중화한다. 이 방식은 MPEG-2 TS 결과물을 역다중화하여 타임스탬프로 동기화된 비디오 프레임과 데이터 프레임을 얻게 되는데, 얻어진 각각의 결과물을 각각 정해진 방식으로 복호화하여 활용할 수 있다.
도 4는 비디오 데이터와 텔레메트리 데이터를 각각 비디오 재생 화면과 촬영 영역이 표시된 지도 화면으로 나타낸 예이다. 필수 메타데이터 항목으로 구성된 텔레메트리 데이터로부터 프레임 센서모델을 형성하고 비디오 영상 프레임의 중심점과 네 꼭지점에 대한 지리좌표를 계산하여 촬영 영역을 구한다. 재생되는 비디오 프레임과 동기화된 텔레메트리 데이터로 구한 촬영 영역이 지도 위에 중첩 표시된다.
동기화 수행부(106)는 비디오 영상 프레임에 대한 비디오 데이터와 필수 메타데이터 항목으로 구성된 텔레메트리 데이터의 적어도 하나의 시점을 이동시켜 동기화를 수행한다.
이때, 동기화 수행부(106)는 비디오 영상 프레임에 대한 비디오 데이터와 추출된 필수 메타데이터 항목으로 구성된 텔레메트리 데이터의 시점을 동시에 동기화 이동하는 경우, 현재 설정된 동기화를 유지한 채 비디오 데이터와 텔레메트리 데이터를 동시에 재생하거나, 특정 시점으로 탐색 이동할 때에 비디오 데이터와 텔레메트리 타임라인에서 각 타임라인의 범위는 유지하며 현재 재생 시점을 나타내는 위치 표시선을 해당 시점으로 이동할 수 있다.
또한, 동기화 수행부(106)는 추출된 필수 메타데이터 항목으로 구성된 텔레메트리 데이터의 시점은 유지한 채 비디오 영상 프레임에 대한 비디오 데이터의 시점을 이동할 수도 있다.
또한, 동기화 수행부(106)는 비디오 영상 프레임에 대한 비디오 데이터의 시점은 유지한 채 추출된 필수 메타데이터 항목으로 구성된 텔레메트리 데이터의 시점을 이동할 수도 있다.
도 5는 비디오 데이터와 텔레메트리 데이터의 타임라인과 두 데이터의 시점 동기화를 설명하기 위한 도면이다.
전체 타임라인은 비디오 데이터를 기준으로 타임라인의 범위가 정해지며, 일반적으로 비디오 데이터와 텔레메트리 데이터의 기록 시간이 일치하지 않을 수 있기 때문에 텔레메트리 데이터의 타임라인은 비디오 데이터 타임라인을 벗어나는 일부가 도시 범위 밖에 놓이거나 비디오 데이터 타임라인보다 짧게 표시될 수 있다. 예를 들어, 비디오 시간이 4분이고 텔레메트리 데이터 시간이 10분인 경우 재생 타임라인(410)을 4분 길이로 생성하고 텔레메트리 데이터 타임라인(431)은 4분 구간만 도시한다. 타임라인 상에서 두 데이터의 동기화는 동일 세로선상(441)에 위치하는 비디오 프레임과 텔레메트리 데이터 프레임이 동일 시점인 것으로 나타나며, 동기화 기준 시점이 변경되면 비디오 타임라인은 변하지 않고 텔레메트리 타임라인이 시점에 따라 좌우로 이동하여 동일 시점 프레임이 세로로 나란히 놓이도록 동기화가 맞춰진다. 현재 설정된 동기화를 유지한 채 비디오 데이터와 텔레메트리 데이터를 동시에 재생하거나 특정 시점으로 탐색 이동할 때 비디오 데이터와 텔레메트리 타임라인에서 각 타임라인의 범위는 유지되고 현재 재생 시점을 나타내는 위치 표시선만 해당 시점으로 이동한다.
도 5에서와 같이 동기화 시점이 비디오 타임라인(420)과 텔레메트리 타임라인이 점선인 양방향 화살표(431)에서 세로 실선(441)으로 설정되어 있을 때, 동기화 시점을 비디오 타임라인(420)에서 세로 실선(442) 위치의 시점과 메타데이터 타임라인(431)에 표시된 한 시점(t)으로 변경하면, 새로운 동기화 시점을 나타내는 세로 실선(442)에 메타데이터 타임라인의 표시 시점(t)이 위치하도록 텔레메트리 타임라인이 실선인 양방향 화살표(432)로 이동한다.세로 점선(441)에서 세로 실선(442)으로 이동하였을 때, 텔레메트리 타임라인이 점선인 양방향 화살표(431)에서 실선인 양방향 화살표(432)로 이동한다.
도 6은 비디오 시점을 이동하는 경우의 동기화하는 과정을 설명하기 위한 도면이다.
비디오와 텔레메트리 데이터의 시점을 동기화하기 위해 비디오만 재생하거나 한 프레임 앞, 뒤로 세밀하게 이동하여 비디오 시점만 이동할 수 있다. 즉, 텔레메트리 데이터 시점은 유지한 채 비디오만 이동하는 것으로 도 65에서와 같이 재생 타임라인(510)은 비디오 기준으로 생성되기 때문에 비디오 시점이 이동하면 텔레메트리 데이터 타임라인이 이동한다. 도 6의 양방향 화살표가 점선인 경우(531)는 비디오 시점이 이동하기 전이고 화살표가 실선인 경우(532)는 비디오 시점이 이동한 후의 텔레메트리 데이터 타임라인을 나타낸다. 비디오 재생 시점이 이동한 만큼 텔레메트리 데이터 타임라인 전체가 이동하여 동기화 시점(t)의 텔레메트리 데이터 프레임이 현재 재생되는 비디오 프레임에 대응되도록 한다.
도 7은 텔레메트리 데이터 시점을 이동하는 경우의 동기화하는 과정을 설명하기 위한 도면이다.
비디오와 텔레메트리 데이터의 시점을 동기화하기 위해 비디오와 마찬가지로 텔레메트리 데이터만 재생하거나 한 프레임 앞, 뒤로 이동하여 텔레메트리 데이터 시점만 이동할 수 있다. 또한, 텔레메트리 데이터 타임라인을 마우스 드래그와 같은 조작으로 움직여서 텔레메트리 데이터의 시점만 이동할 수도 있다. 도 7의 양방향 화살표가 점선인 경우(631)는 텔레메트리 데이터 시점이 이동하기 전이고 화살표가 실선인 경우(632)는 텔레메트리 데이터 시점이 이동한 후의 텔레메트리 데이터 타임라인을 나타낸다. 즉, 비디오 시점은 유지한 채 텔레메트리 데이터만 이동하는 것으로 재생 타임라인(610)은 비디오 기준으로 생성되기 때문에 재생 타임라인의 재생 위치는 유지한 채로 텔레메트리 데이터 타임라인(6320)만 이동한다.
도 8은 사용자가 비디오나 텔레메트리 데이터의 주요 국면을 이벤트로 등록하는 예를 설명하기 위해 도시한 도면이다.
비디오 촬영 시각을 알고 있는 경우, 사용자 인터페이스를 통해 비디오 데이터 재생 시각과 텔레메트리 데이터의 해당 시각을 입력함으로써 비디오와 텔레메트리 데이터 시점을 동기화시킬 수 있다. 이러한 시점들을 이벤트로 등록하여 해당 시점으로 바로 이동할 수 있도록 하면 비디오 이벤트와 텔레메트리 데이터 이벤트들을 대응시켜 비교해보면서 최종 동기화 시점을 선택하는데 용이하다.
비디오 이벤트를 추가하기 위해 [비디오 이벤트 목록](710) 라디오 버튼을 클릭하면, 비디오 [이벤트 목록](730)이 표시되며, 텔레메트리 데이터 이벤트를 추가하기 위해서는 [텔레메트리 데이터 이벤트 목록](720) 라디오 버튼을 클릭하면, 텔레메트리 데이터 [이벤트 목록](730)이 표시될 수 있다.
이 상태에서 [이벤트 추가](740) 버튼을 클릭하면 비디오나 텔레메트리 데이터 해당 시점의 이벤트를 추가할 수 있다. 또한, 추가된 이벤트들은 타임라인 상의 해당 위치에 표시되는데, [이벤트 목록](730)에서 이벤트를 클릭하면 타임라인 상의 이벤트 표시 가장자리 색상이 변하고 타임라인에서 이벤트를 더블 클릭하면 해당 시점으로 데이터가 이동할 수 있다. 예를 들어, [텔레메트리 데이터 이벤트 목록](720) 라디오 버튼을 클릭한 후 [이벤트 추가](740) 버튼을 클릭하여 추가하고자 하는 이벤트 정보 '이벤트 D'를 입력하면 타임라인에 [이벤트 D](750)와 타임라인에 이벤트가 [이벤트 목록](730)에 [이벤트 D](760)가 추가된다. 또한, [이벤트 C](770)을 선택하면 타임라인의 [이벤트 C](780)의 가장자리테두리 색상이 변하고 타임라인의 [이벤트 C](7870)을 더블 클릭하면 해당 시점으로 텔레메트리 데이터 시점이 이동한다.
[이벤트 저장](750) 버튼은 비디오 데이터 다중화를 종료 후에도 재작업이 가능하도록 설정 이벤트 목록을 저장하고 불러올 수 있다. 이벤트 저장의 경우, 처음 저장하면 비디오나 텔레메트리 데이터 파일명과 관련된 파일명으로 이벤트를 저장하여 데이터를 입력받을 때 자동으로 입력된다. 또한, 비디오 파일을 불러올 때는 데이터의 처음과 끝 시점에 자동으로 이벤트를 등록하고 텔레메트리 데이터 파일을 불러올 때는 이에 추가적으로 고도, 자세 등을 분석하여 이착륙 회전 시작과 종료 시점에 이벤트를 자동 등록한다. 텔레메트리 데이터의 국면 분석은 동기화 작업을 돕기 위해 경험칙으로 분석한 결과로 이는 도 9 및 도 10을 참조하여 더욱 자세히 설명한다.
도 9는 텔레메트리 데이터에서 이착륙 시작, 종료 시점을 획득하는 방법의 흐름도이다.
텔레메트리 데이터 파일에서 추출된 비행체 높이 정보를 시간순으로 최대 100개씩 누적하여 가장 마지막 높이와 첫 번째 높이의 차가 일정 임계값을 초과할 때는 이륙 시작 시점으로, 미만일 때는 착륙 시작 시점으로 판단한다. 이륙 시작 시점 획득 후 해당 값이 일정 임계값 미만일 때에는 이륙 종료 시점으로, 착륙 시작 시점 획득 후 해당 값이 일정 임계값 초과할 때에는 착륙 종료 시점으로 판단한다. 100개를 초과하는 경우, 첫 번째 높이를 제거하고 최근 프레임의 높이를 추가하는 방식으로 최대 100개의 누적값을 유지한다.
도 10은 텔레메트리 데이터에서 회전 시작, 종료 시점을 획득하는 방법의 흐름도이다.
텔레메트리 데이터 파일에서 추출된 비행체 및 센서 회전각 정보를 시간순으로 최대 100개씩 누적하여 가장 마지막 회전각과 첫 번째 회전각의 차가 일정 임계값을 초과할 때는 회전 시작 시점으로 판단한다. 이때 회전각은 회전축별로 각각 조사하며, 각도의 경계(0도, 360도, -180도, 180도 등)에서 각도 차이가 의도치 않게 커지지 않도록 일반각을 고려하여 각도 차이를 계산한다. 회전 시작 시점 획득 후 해당 값이 일정 임계값 미만일 때에는 회전 종료 시점으로 판단한다. 100개를 초과하는 경우, 첫 번째 회전각 정보를 제거하고 최근 프레임의 회전각 정보를 추가하는 방식으로 최대 100개의 누적값을 유지한다.
도 11은 본 발명의 실시예에 따른 동기화 방법을 나타낸 흐름도이다. 본 발명의 실시예에 따른 동기화 방법은 도 1에 나타낸 동기화 장치(100)에 의해 수행될 수 있다.
동기화 장치(100)는 드론으로부터 입력되는 입력 텔레메트리 데이터 파일로부터, 설정된 필수 메타데이터 항목을 추출한다(S302). 이때, 동기화 장치(100)는 사용자 인터페이스를 통해 입력 텔레메트리에서 필수 메타데이터 항목을 추출할 수 있다.
동기화 장치(100)는 추출된 필수 메타데이터 항목으로 구성된 텔레메트리 데이터로부터 프레임 센서모델을 형성하고, 비디오 영상 프레임의 중심점과 설정된 개수의 꼭지점에 대한 지리좌표를 계산하여 촬영영역을 산출한다(S304).
동기화 장치(100)는 비디오 영상 프레임에 대한 비디오 데이터와 필수 메타데이터 항목으로 구성된 텔레메트리 데이터의 적어도 하나의 시점을 이동시켜 동기화를 수행한다(S306).
이때, 동기화 장치(100)는 비디오 영상 프레임에 대한 비디오 데이터와 추출된 필수 메타데이터 항목으로 구성된 텔레메트리 데이터의 시점을 동시에 동기화 이동하는 경우, 현재 설정된 동기화를 유지한 채 비디오 데이터와 텔레메트리 데이터를 동시에 재생하거나, 특정 시점으로 탐색 이동할 때에 비디오 데이터와 텔레메트리 타임라인에서 각 타임라인의 범위는 유지하며 현재 재생 시점을 나타내는 위치 표시선을 해당 시점으로 이동할 수 있다.
또한, 동기화 장치(100)는 추출된 필수 메타데이터 항목으로 구성된 텔레메트리 데이터의 시점은 유지한 채 비디오 영상 프레임에 대한 비디오 데이터의 시점을 이동할 수도 있다.
또한, 동기화 장치(100)는 비디오 영상 프레임에 대한 비디오 데이터의 시점은 유지한 채 추출된 필수 메타데이터 항목으로 구성된 텔레메트리 데이터의 시점을 이동할 수도 있다.
본 발명은 비디오와 텔레메트리 데이터 정보를 비교하기 위해 비디오 영상 표시 화면과 텔레메트리 데이터로 구성하는 프레임 센서로부터 계산되는 촬영 영역을 지도(항공·위성영상 배경지도 포함) 위에 중첩 표시하는 지도 화면을 이용하고, 두 데이터를 동기화하기 위해 두 데이터의 시점을 각각 이동시킬 수 있다. 즉, 비디오의 시점을 고정한 채로 텔레메트리 데이터 시점만 이동하면서 고정된 비디오 화면과 변화하는 지도 화면을 비교하면서 동기화 시점을 설정하거나 텔레메트리 데이터 시점을 고정한 채로 비디오의 시점만 이동하여 고정된 지도 화면과 변화하는 비디오 화면을 비교하면서 동기화 시점을 설정할 수 있다.
또한, 현재 설정된 동기화가 전체 데이터에 대해 바르게 설정되었는지 확인하기 위하여 동기화 시점을 유지하며 비디오 데이터와 텔레메트리 데이터 시점을 동시에 이동시킬 수 있다. 데이터 시점의 이동은 비디오 재생과 같이 일정 간격으로 연속하여 다음 데이터 프레임으로 이동하는 재생 이동, 바로 다음 또는 직전 데이터 프레임으로 이동하는 분석 이동, 임의의 시점으로 이동하는 탐색 이동이 있다.
본 발명은 비디오와 텔레메트리 데이터 주요 국면을 이벤트로 등록하여 동기화 기준 시점으로 활용한다. 이벤트는 시점과 내용으로 구성되는 정보 단위인데, 비디오 이벤트의 시점은 비디오 재생시간이 되고, 텔레메트리 데이터 이벤트의 시점은 텔레메트리 데이터 항목에 기록된 실제 시간이다. 본 발명에서는 드론 촬영에서 주요 국면이 되는 이착륙, 회전 시작과 종료 시점을 텔레메트리 데이터에서 고도, 방위각, 고각, 회전각의 변화로 분석하여 해당 시점에서 이벤트를 자동으로 등록한다. 사용자가 비디오 영상을 보면서 이착륙과 회전 구간을 판단하여 시점을 찾으면 등록된 이벤트들을 이용하여 비디오와 텔레메트리 데이터의 시점을 동기화할 수 있다. 수동으로 이벤트를 등록하는 것에는 제한이 없으며, 비디오 데이터와 텔레메트리 데이터의 기록 시간의 차이가 클 때 각 데이터의 시작과 종료 시점을 다른 데이터의 시점에서 파악하여 동기화에 활용할 수 있다.
본 발명을 통해 주요 국면 이벤트를 활용하여 비디오 데이터와 텔레메트리 데이터의 대략적인 동기화를 맞추고 분석 이동 등을 통해 데이터 시점을 이동시켜 정교하게 동기화 시점을 맞춘다.
이상에서 본 발명에 따른 실시예들이 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 범위의 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 보호 범위는 다음의 특허청구범위뿐만 아니라 이와 균등한 것들에 의해 정해져야 한다.

Claims (10)

  1. 프레임 센서모델에 기반하여 드론에 의해 촬영되는 비디오 데이터와 텔레메트리 데이터를 동기화하는 동기화 장치에 있어서,
    입력 텔레메트리 데이터 파일로부터, 설정된 필수 메타데이터 항목을 추출하는 항목 추출부;
    상기 항목 추출부에 의해 추출된 필수 메타데이터 항목으로 구성된 텔레메트리 데이터로부터 프레임 센서모델을 형성하고, 비디오 영상 프레임의 중심점과 설정된 개수의 꼭지점에 대한 지리좌표를 계산하여 촬영영역을 산출하는 촬영영역 산출부; 및
    상기 비디오 영상 프레임에 대한 비디오 데이터와 상기 추출된 필수 메타데이터 항목으로 구성된 텔레메트리 데이터의 적어도 하나의 시점을 이동시켜 동기화를 수행하는 동기화 수행부;
    를 포함하는 것을 특징으로 하는 동기화 장치.
  2. 제1항에 있어서,
    상기 동기화 수행부는,
    상기 비디오 영상 프레임에 대한 비디오 데이터와 상기 추출된 필수 메타데이터 항목으로 구성된 텔레메트리 데이터의 시점을 동시에 동기화 이동하는 경우, 현재 설정된 동기화를 유지한 채 비디오 데이터와 텔레메트리 데이터를 동시에 재생하거나, 특정 시점으로 탐색 이동할 때에 비디오 데이터와 텔레메트리 타임라인에서 각 타임라인의 범위는 유지하며 현재 재생 시점을 나타내는 위치 표시선을 해당 시점으로 이동하는 것을 특징으로 하는 동기화 장치.
  3. 제1항에 있어서,
    상기 동기화 수행부는,
    상기 추출된 필수 메타데이터 항목으로 구성된 텔레메트리 데이터의 시점은 유지한 채 상기 비디오 영상 프레임에 대한 비디오 데이터의 시점을 이동하는 것을 특징으로 하는 동기화 장치.
  4. 제1항에 있어서,
    상기 동기화 수행부는,
    상기 비디오 영상 프레임에 대한 비디오 데이터의 시점은 유지한 채 상기 추출된 필수 메타데이터 항목으로 구성된 텔레메트리 데이터의 시점을 이동하는 것을 특징으로 하는 동기화 장치.
  5. 제1항에 있어서,
    상기 동기화 수행부는,
    텔레메트리 데이터에서 이착륙 시작시점, 종료시점, 회전 시작시점, 및 회전 종료시점을 이벤트로 등록하며, 등록된 상기 이벤트에 기반하여 동기화 시점을 선택하는 것을 특징으로 하는 동기화 장치.
  6. 프레임 센서모델에 기반하여 드론에 의해 촬영되는 비디오 데이터와 텔레메트리 데이터를 동기화하는 동기화 장치의 동기화 방법에 있어서,
    입력 텔레메트리 데이터 파일로부터, 설정된 필수 메타데이터 항목을 추출하는 단계;
    상기 추출된 필수 메타데이터 항목으로 구성된 텔레메트리 데이터로부터 프레임 센서모델을 형성하고, 비디오 영상 프레임의 중심점과 설정된 개수의 꼭지점에 대한 지리좌표를 계산하여 촬영영역을 산출하는 단계; 및
    상기 비디오 영상 프레임에 대한 비디오 데이터와 상기 추출된 필수 메타데이터 항목으로 구성된 텔레메트리 데이터의 적어도 하나의 시점을 이동시켜 동기화를 수행하는 단계;
    를 포함하는 것을 특징으로 하는 동기화 방법.
  7. 제6항에 있어서,
    상기 동기화를 수행하는 단계는,
    상기 비디오 영상 프레임에 대한 비디오 데이터와 상기 추출된 필수 메타데이터 항목으로 구성된 텔레메트리 데이터의 시점을 동시에 동기화 이동하는 경우, 현재 설정된 동기화를 유지한 채 비디오 데이터와 텔레메트리 데이터를 동시에 재생하거나, 특정 시점으로 탐색 이동할 때에 비디오 데이터와 텔레메트리 타임라인에서 각 타임라인의 범위는 유지하며 현재 재생 시점을 나타내는 위치 표시선을 해당 시점으로 이동하는 것을 특징으로 하는 동기화 방법.
  8. 제6항에 있어서,
    상기 동기화를 수행하는 단계는,
    상기 추출된 필수 메타데이터 항목으로 구성된 텔레메트리 데이터의 시점은 유지한 채 상기 비디오 영상 프레임에 대한 비디오 데이터의 시점을 이동하는 것을 특징으로 하는 동기화 방법.
  9. 제6항에 있어서,
    상기 동기화를 수행하는 단계는,
    상기 비디오 영상 프레임에 대한 비디오 데이터의 시점은 유지한 채 상기 추출된 필수 메타데이터 항목으로 구성된 텔레메트리 데이터의 시점을 이동하는 것을 특징으로 하는 동기화 방법.
  10. 제6항에 있어서,
    상기 동기화를 수행하는 단계는,
    텔레메트리 데이터에서 이착륙 시작시점, 종료시점, 회전 시작시점, 및 회전 종료시점을 이벤트로 등록하며, 등록된 상기 이벤트에 기반하여 동기화 시점을 선택하는 것을 특징으로 하는 동기화 방법.
KR1020210129031A 2021-09-29 2021-09-29 프레임 센서모델에 기반하여 드론에 의해 촬영되는 비디오 데이터와 텔레메트리 데이터를 동기화하는 동기화 장치 및 방법 Active KR102340527B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210129031A KR102340527B1 (ko) 2021-09-29 2021-09-29 프레임 센서모델에 기반하여 드론에 의해 촬영되는 비디오 데이터와 텔레메트리 데이터를 동기화하는 동기화 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210129031A KR102340527B1 (ko) 2021-09-29 2021-09-29 프레임 센서모델에 기반하여 드론에 의해 촬영되는 비디오 데이터와 텔레메트리 데이터를 동기화하는 동기화 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102340527B1 true KR102340527B1 (ko) 2021-12-20

Family

ID=79033863

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210129031A Active KR102340527B1 (ko) 2021-09-29 2021-09-29 프레임 센서모델에 기반하여 드론에 의해 촬영되는 비디오 데이터와 텔레메트리 데이터를 동기화하는 동기화 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102340527B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114401460A (zh) * 2022-01-19 2022-04-26 航天科工火箭技术有限公司 一种遥测图像的播放处理方法和装置
KR20230114583A (ko) * 2022-01-25 2023-08-01 한국전자통신연구원 드론 영상의 메타 데이터 정합 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180098912A (ko) * 2017-02-27 2018-09-05 한국전자통신연구원 360도 영상의 파노라마 뷰와 지도 뷰를 연동하여 시각화하는 서비스 제공 방법 및 그 시스템
KR20190051704A (ko) * 2017-11-07 2019-05-15 공간정보기술 주식회사 스테레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템
KR102206796B1 (ko) 2019-10-10 2021-01-22 고려대학교 산학협력단 저전력 양방향 무선 데이터 텔레메트리 장치 및 방법
JP2021044849A (ja) * 2015-06-25 2021-03-18 パナソニックＩｐマネジメント株式会社 映像同期装置及び映像同期方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021044849A (ja) * 2015-06-25 2021-03-18 パナソニックＩｐマネジメント株式会社 映像同期装置及び映像同期方法
KR20180098912A (ko) * 2017-02-27 2018-09-05 한국전자통신연구원 360도 영상의 파노라마 뷰와 지도 뷰를 연동하여 시각화하는 서비스 제공 방법 및 그 시스템
KR20190051704A (ko) * 2017-11-07 2019-05-15 공간정보기술 주식회사 스테레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템
KR102206796B1 (ko) 2019-10-10 2021-01-22 고려대학교 산학협력단 저전력 양방향 무선 데이터 텔레메트리 장치 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114401460A (zh) * 2022-01-19 2022-04-26 航天科工火箭技术有限公司 一种遥测图像的播放处理方法和装置
KR20230114583A (ko) * 2022-01-25 2023-08-01 한국전자통신연구원 드론 영상의 메타 데이터 정합 방법 및 장치
KR102818222B1 (ko) 2022-01-25 2025-06-11 한국전자통신연구원 드론 영상의 메타 데이터 정합 방법 및 장치

Similar Documents

Publication Publication Date Title
US9363462B2 (en) System and method for simultaneous display of multiple geo-tagged videos of a particular geographical location
KR102203135B1 (ko) 드론을 이용한 인공지능 기반 재난 피해정보 탐지 방법 및 시스템
US11516557B2 (en) System and method for enhanced video image recognition using motion sensors
Küng et al. The accuracy of automatic photogrammetric techniques on ultra-light UAV imagery
KR102680675B1 (ko) 비행 제어 방법 및 이를 지원하는 전자 장치
CN102668534B (zh) 视频和遥测数据的数据搜索、解析和同步
KR102340527B1 (ko) 프레임 센서모델에 기반하여 드론에 의해 촬영되는 비디오 데이터와 텔레메트리 데이터를 동기화하는 동기화 장치 및 방법
CN102436738A (zh) 一种基于无人机的交通监测装置
KR102417591B1 (ko) 온보드 비행제어 컴퓨터가 구비된 드론 및 그를 이용한 드론 카메라 동영상 객체 위치 좌표 획득 시스템
CN106056075A (zh) 基于无人机的社区网格化中重点人员识别及跟踪系统
US9418299B2 (en) Surveillance process and apparatus
US9460554B2 (en) Aerial video annotation
Schleiss et al. VPAIR--Aerial Visual Place Recognition and Localization in Large-scale Outdoor Environments
CN106998434A (zh) 一种移动视频轨迹在电子地图中与视频播放同步显示的方法
KR102028319B1 (ko) 연관 영상 제공장치 및 방법
KR20160087284A (ko) 영상 처리 장치, 영상 처리 장치가 수행하는 영상 저장 방법 및 영상 검색 방법
KR101308745B1 (ko) 지리공간정보가 적용된 멀티 기능 기반의 수치지도 시스템
Schultz et al. System for real-time generation of georeferenced terrain models
KR102592988B1 (ko) 항공영상에서의 객체 탐지방법 및 장치
CN114586335A (zh) 图像处理装置、图像处理方法、程序及记录介质
KR102211769B1 (ko) 멀티 카메라 촬영 영상의 기하보정 방법 및 장치
Se et al. Automated UAV-based mapping for airborne reconnaissance and video exploitation
KR102494973B1 (ko) 유도 비행체의 탄착 정보 계측 방법 및 그를 위한 장치
KR101647021B1 (ko) 위성 스케줄 검색 및 궤도 표출 기법
Peng et al. Development of an UAS for earthquake emergency response and its application in two disastrous earthquakes

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20210929

PA0201 Request for examination
PA0302 Request for accelerated examination

Patent event date: 20210930

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

Patent event date: 20210929

Patent event code: PA03021R01I

Comment text: Patent Application

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20211208

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20211214

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20211214

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20241216

Start annual number: 4

End annual number: 4