[go: up one dir, main page]

KR101502071B1 - 랜드마크 기반 비전항법시스템을 위한 카메라 데이터 생성기와 그것을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체 - Google Patents

랜드마크 기반 비전항법시스템을 위한 카메라 데이터 생성기와 그것을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체 Download PDF

Info

Publication number
KR101502071B1
KR101502071B1 KR1020130078925A KR20130078925A KR101502071B1 KR 101502071 B1 KR101502071 B1 KR 101502071B1 KR 1020130078925 A KR1020130078925 A KR 1020130078925A KR 20130078925 A KR20130078925 A KR 20130078925A KR 101502071 B1 KR101502071 B1 KR 101502071B1
Authority
KR
South Korea
Prior art keywords
camera
landmark
candidate group
unit
error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020130078925A
Other languages
English (en)
Other versions
KR20150005253A (ko
Inventor
황동환
김영선
김태원
Original Assignee
충남대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 충남대학교산학협력단 filed Critical 충남대학교산학협력단
Priority to KR1020130078925A priority Critical patent/KR101502071B1/ko
Publication of KR20150005253A publication Critical patent/KR20150005253A/ko
Application granted granted Critical
Publication of KR101502071B1 publication Critical patent/KR101502071B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G01C11/12—Interpretation of pictures by comparison of two or more pictures of the same area the pictures being supported in the same relative position as when they were taken
    • G01C11/26—Interpretation of pictures by comparison of two or more pictures of the same area the pictures being supported in the same relative position as when they were taken using computers to control the position of the pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G01C11/28—Special adaptation for recording picture point data, e.g. for profiles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C7/00—Tracing profiles
    • G01C7/02—Tracing profiles of land surfaces
    • G01C7/04—Tracing profiles of land surfaces involving a vehicle which moves along the profile to be traced
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Navigation (AREA)

Abstract

본 발명은 랜드마크 기반 비전항법시스템을 위한 카메라 데이터 생성기 및 카메라 데이터 생성기를 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체에 관한 것으로, 카메라 데이터 생성기는, 항체에 탑재된 카메라의 위치 및 자세 정보와 기 입력된 랜드마크 정보를 토대로 카메라에 대한 랜드마크의 상대위치를 계산하는 상대위치 산출부, 랜드마크의 상대위치를 토대로 일정 거리 내의 랜드마크를 1차 후보군으로 추출하는 제1 추출부, 카메라의 화각 특성에 따라 1차 후보군에서 2차 후보군을 추출하는 제2 추출부, 2차 후보군의 랜드마크를 카메라의 초점면에 투영하는 투영부, 및 랜드마크의 투영점을 카메라의 픽셀좌표로 변환하고 랜드마크의 픽셀좌표를 포함한 카메라 데이터를 출력하는 변환부를 포함한다.

Description

랜드마크 기반 비전항법시스템을 위한 카메라 데이터 생성기와 그것을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체{Camera Data Generator for Landmark-based Vision Navigation System and Computer-readable Media Recording Program for Executing the Same}
본 발명은 랜드마크 기반 비전항법시스템을 위한 카메라 데이터 생성기와 카메라 데이터 생성기를 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체에 관한 것이다.
관성항법시스템(INS: Inertial Navigation System)은 센서에서 측정한 가속도와 각속도를 적분하여 항법해를 제공하는 장치로, 짧은 시간에는 정확한 항법해를 제공하지만 시간이 지남에 따라 적분 과정에서 오차가 누적되어 항법 오차가 증가하는 특성이 있다. INS의 단점을 극복하기 위해 INS/GPS(Global Positioning System) 통합 시스템이 제안되어 있다. 그러나 GPS는 전파방해, 장애물과 같은 외부 간섭에 취약한 단점이 있다. 따라서 최근에는 비전센서, 레이저, 초음파센서, 고도계 등을 이용하여 통합 시스템의 GPS를 대체하는 연구도 활발히 이루어지고 있다.
비전센서를 이용하는 비전항법시스템(Vision Navigation System)은 가볍고 소모전력이 적으며 가격이 저렴한 장점 때문에 소형/무인 항공기, 차량, 이동 로봇 등에 많이 이용되고 있다. 비전항법시스템은 크게 랜드마크 기반 방식과 맵(Map) 기반 방식으로 구분한다. 랜드마크 기반 방식은 맵 기반 방식에 비해 알고리즘이 간단한 장점을 가진다. 또한, 랜드마크 기반의 비전항법시스템은 비전센서에서 촬영한 랜드마크를 이용하여 항체의 위치 및 자세를 계산하므로 장시간 항법에도 오차의 누적 없이 일정 수준의 항법성능을 보이는 장점이 있다.
최근 로봇에 대한 관심이 증가함에 따라 다양한 종류의 로봇이 제안되고 있으며, 이러한 로봇의 항법에 적용하기 위한 비전항법시스템이나 비전항법시스템을 이용한 통합항법시스템에 대한 연구가 현재 활발히 진행되고 있다.
로봇들은 다양한 응용을 위하여 제작되고 있는데, 예를 들면, 생산라인 등의 산업현장에서 공장자동화의 일환으로 사용되는 무인운반차 등과 같은 이동체를 조종하기 위해서는 지도 작성(Map building) 기능, 자기위치인식(Self localization) 기능, 경로설정(Path planning) 기능 및 장애물회피(Obstacle avoidance) 기능에 관련된 4가지 기능이 갖추어져야 한다.
지도작성 기능은 주어진 공간, 즉 작업공간에 대한 지도를 구축하는 기능으로써, 이동체에 주어질 작업을 계획하는 데에 있어 필수적이며, 자기위치인식 기능은 주어진 명령을 수행하기 위하여 현재의 위치를 파악하는 기능을 의미한다. 또한, 경로설정기능은 처음 상태로부터 최종 목적 상태까지 진행하기 위한 계획을 세우는 기능이며, 장애물회피 기능은 예정된 작업의 수행시 예기치 못한 장애물이 발생했을 때 이를 감지하고 회피하는 기능이다.
이동체를 보다 용이하게 조종하기 위해서는 이동체에 정확한 위치와 방향 정보(방위 정보 등)를 제공하여 인식하도록 하는 것이 유리하다. 이러한 정보를 이동체에 제공하기 위한 방법으로는 거리와 방향을 이용한 추측항법(Dead reckoning), 가속도계와 자이로 센서를 이용한 관성항법(Inertial navigation) 및 위성데이터를 이용한 위성 기반 위치인식(Satellite-based positioning) 방법 등이 있다.
그러나 상기의 방법들은 비용 및 정확도 면에서 각각의 장단점을 내포하고 있는데, 추측항법은 이동체의 기계적 및 물리적 미끄러짐에 의한 오차를 인식하지 못하고, 관성항법은 이동체의 경로오차 누적에 의한 정확도가 떨어지는 문제가 있으며, 위성기반 위치인식방법은 위성 수신기가 있으면 거리 및 방향이 비교적 정확히 계산되지만 전파수신이 어려운 실내에서 사용시 제 역할을 수행하지 못하는 단점이 있다.
따라서 상기와 같은 문제점을 극복하기 위하여 비전항법시스템의 작업환경 내의 이미 알고 있는 위치에 배치된 랜드마크를 사용하여 이동체에 위치 및 방향 정보를 제공하거나 이동체가 자기위치를 신뢰성 있게 인식할 수 있도록 하는 방법이 대두되고 있다.
그러나, 종래에는 비전항법 혹은 통합항법 알고리즘 개발을 위하여 실측 카메라 데이터를 직접 사용함으로써, 알고리즘 개발에 시간이 많이 소요되었다. 또한 항체의 동적 운동이나, 카메라 설치정보, 다양한 카메라 사양을 적용하지 못해 항법 알고리즘 개발 및 검증에 제한이 있을 수 있을 뿐만 아니라 실제 카메라와 다른 좌표계에서의 데이터를 제공하여 개발한 항법 알고리즘을 항법 시스템에 바로적용하지 못하는 단점이 있었다.
본 발명의 목적은 비전항법 알고리즘 혹은 통합항법 알고리즘 개발시, 종래의 비효율적인 카메라 데이터 사용을 개선하기 위한 것으로, 항체의 궤적, 랜드마크 위치, 카메라 설치위치 및 카메라 사양을 이용하여 랜드마크에 대한 카메라 데이터를 생성함으로써 효과적으로 항법 알고리즘을 개발할 수 있도록 하는 카메라 데이터 생성기와 이러한 카메라 데이터 생성기를 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체를 제공하는 것이다.
본 발명의 다른 목적은, 랜드마크에 대한 카메라 데이터 생성하여 랜드마크의 지도 작성 알고리즘을 효과적으로 개발하면서 실시간으로 카메라 데이터를 자체 검증할 수 있는 카메라 데이터 생성기와 이러한 카메라 데이터 생성기를 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체를 제공하는 것이다.
상기 기술적 과제를 해결하기 위하여 본 발명의 일 측면에 의한 카메라 데이터 생성기는, 랜드마크 기반 비전항법 시스템을 위한 카메라 데이터 생성기로서, 항체(Vehicle)의 궤적과 카메라의 설치정보와 기 입력된 랜드마크 정보를 토대로 카메라에 대한 랜드마크의 상대위치를 계산하는 상대위치 산출부; 랜드마크의 상대위치를 토대로 일정 거리 내의 랜드마크를 1차 후보군으로 추출하는 제1 추출부; 카메라의 화각 특성에 따라 1차 후보군에서 2차 후보군을 추출하는 제2 추출부; 2차 후보군의 랜드마크를 카메라의 초점면에 투영하는 투영부; 및 랜드마크의 투영점을 카메라의 픽셀좌표로 변환하고 랜드마크의 픽셀좌표를 포함한 카메라 데이터를 출력하는 변환부;를 포함한다.
일 실시예에서, 카메라 데이터 생성기는, 상대위치 산출부의 입력측에 연결되며, 항체 궤적과 카메라 설치정보를 이용하여 카메라의 위치 및 자세를 계산하고, 카메라의 위치 및 자세 정보를 출력하는 카메라 위치자세 산출부를 더 포함한다.
일 실시예에서, 제1 추출부는, 카메라의 특성과 랜드마크의 위치에 따라 설정되는 일정 거리를 토대로 1차 후보군을 추출한다.
일 실시예에서, 카메라 데이터 생성기는, 제1 추출부, 제2 추출부, 투영부 및 변환부에 카메라 특성 정보를 제공하는 카메라 모델 설정부를 더 포함한다.
일 실시예에서, 카메라 데이터 생성기는, 투영부 및 변환부에 카메라 오차 정보를 제공하는 카메라 오차 모델 설정부를 더 포함한다.
일 실시예에서, 투영부는 카메라의 렌즈 왜곡 파라미터, 초점 거리 오차 및 잡음 특성을 토대로 2차 후보군의 랜드마크를 카메라 초점면에 투영한다.
일 실시예에서, 투영부는 카메라의 렌즈 왜곡 파라미터, 초점 거리 오차 및 잡음 특성을 반영하는 제1 설정에 따라 2차 후보군의 랜드마크를 카메라 초점면에 투영하고, 카메라의 렌즈의 왜곡 파라미터, 초점 거리의 오차 및 잡음 특성을 반영하지 않는 제2 설정에 따라 2차 후보군의 랜드마크를 카메라 초점면에 투영한다.
일 실시예에서, 변환부는 제1 설정에 따른 2차 후보군의 랜드마크의 투영점에 대한 제1 픽셀좌표와 제2 설정에 따른 2차 후보군의 랜드마크의 투영점에 대한 제2 픽셀좌표를 각각 생성하여 출력한다.
일 실시예에서, 카메라 데이터 생성기는, 제1 픽셀좌표와 제2 픽셀좌표와의 비교를 토대로 현재 궤적에서 2차 후보군의 랜드마크의 카메라 데이터를 검증하는 검증부를 더 포함한다.
일 실시예에서, 변환부는, 카메라의 바이어스 오차, 환산계수 오차 및 잡음 특성을 반영하여 2차 후보군의 랜드마크의 투영점을 픽셀좌표로 변환한다.
본 발명의 다른 일 측면에 의하면, 카메라 데이터 생성기를 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체로서, 항체에 탑재된 카메라의 설치정보와 랜드마크 정보를 수신하는 제1 단계와, 카메라의 위치 및 자세 정보와 랜드마크 위치 정보를 토대로 카메라에 대한 랜드마크의 상대위치를 산출하는 제2 단계와, 항체의 현재 궤적에서 카메라의 측정 범위 내에 위치하는 랜드마크를 1차 후보군으로 추출하는 제3 단계와, 카메라의 화각 특성에 따라 1차 후보군에서 2차 후보군을 추출하는 제4 단계와, 2차 후보군의 랜드마크를 카메라의 초점면에 투영하는 제5 단계와, 랜드마크의 투영점을 카메라의 픽셀좌표로 변환하는 제6 단계를 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체가 제공된다.
일 실시예에서, 상기의 매체에는, 카메라의 설치정보를 토대로 카메라의 위치 및 자세 정보를 산출하는 단계를 더 실행시키기 위한 프로그램이 기록된다.
일 실시예에서, 제3 단계는, 카메라의 위치 및 자세와 랜드마크의 위치에 따라 설정되는 일정 거리를 토대로 1차 후보군을 추출한다.
일 실시예에서, 제3 단계 내지 제6 단계는 카메라 모델 설정부로부터의 카메라 특성 정보를 토대로 수행된다.
일 실시예에서, 제5 단계 및 제6 단계는 카메라 오차 모델 설정부로부터의 카메라 오차 정보를 토대로 수행된다.
일 실시예에서, 제5 단계는, 카메라의 렌즈 왜곡 파라미터, 초점 거리 오차 및 잡음 특성을 반영하여 2차 후보군의 랜드마크를 카메라 초점면에 투영한다.
일 실시예에서, 제5 단계는, 카메라의 렌즈 왜곡 파라미터, 초점 거리 오차 및 잡음 특성을 반영하는 제1 설정에 따라 2차 후보군의 랜드마크를 카메라 초점면에 투영하고, 카메라의 렌즈의 왜곡 파라미터, 초점 거리의 오차 및 잡음 특성을 반영하지 않는 제2 설정에 따라 2차 후보군의 랜드마크를 카메라 초점면에 투영한다.
일 실시예에서, 제6 단계는, 제1 설정에 따른 2차 후보군의 랜드마크의 투영점에 대한 제1 픽셀좌표와 제2 설정에 따른 2차 후보군의 랜드마크의 투영점에 대한 제2 픽셀좌표를 각각 생성한다.
일 실시예에서, 상기의 매체에는 제1 픽셀좌표와 제2 픽셀좌표와의 비교를 토대로 현재 궤적에서 랜드마크의 카메라 데이터를 검증하는 단계를 더 실행시키기 위한 프로그램이 기록된다.
일 실시예에서, 제6 단계는, 카메라의 바이어스 오차, 환산계수 오차 및 잡음 특성을 반영하여 2차 후보군의 랜드마크의 투영점을 픽셀좌표로 변환한다.
본 발명에 의하면, 항체의 궤적, 랜드마크 위치, 카메라 설치위치 및 카메라 사양에 따라 효율적으로 카메라 데이터를 생성하며, 임의로 카메라 사양을 정할 수 있어 항법대상, 항법 알고리즘 목적에 따라 효율적으로 비전항법, 통합항법 알고리즘을 개발할 수 있도록 하는 효과가 있다.
또한, 카메라 데이터 생성기는 랜드마크에 대한 카메라 데이터를 원시 데이터 형태인 픽셀좌표로 제공하므로 측정모델에 따라 다양한 형태의 통합항법 알고리즘을 개발할 수 있도록 하는 효과가 있다.
아울러, 본 발명의 실시예에 따른 카메라 데이터 생성기는 랜드마크의 지도 작성 알고리즘을 개발하는데 유용하게 이용될 수 있다. 특히, 개발한 항법 알고리즘이나 그 카메라 데이터를 자체 검증함으로써 항법 알고리즘이나 장치의 신뢰성을 높이는 효과가 있다.
도 1a는 본 발명의 카메라 데이터 생성기를 적용할 수 있는 비전항법시스템의 개략도.
도 1b는 본 발명의 카메라 데이터 생성기를 설명하기 위한 항법 알고리즘 개발 과정에 대한 개략적인 블록도.
도 2는 본 발명의 일 실시예에 따른 카메라 데이터 생성기의 블록도.
도 3은 본 발명의 다른 일 실시예에 따른 카메라 데이터 생성기의 주요 구성을 나타낸 블록도.
도 4는 본 발명의 또 다른 일 실시예에 따른 카메라 데이터 생성기의 주요 구성을 나타낸 블록도.
도 5는 본 발명의 또 다른 일 실시예에 따른 카메라 데이터 생성기의 주요 구성을 나타낸 블록도.
도 6은 본 발명의 일 실시예에 따른 카메라 데이터 생성기를 실행시키는 프로그램의 주요 알고리즘을 설명하기 위한 순서도.
도 7은 본 발명의 일 실시예에 따른 카메라 핀홀 모델 및 랜드마크의 초점면 투영 과정을 나타낸 도면.
도 8은 본 발명의 일 실시예에 따른 카메라 초점면에 투영된 랜드마크의 투영점을 픽셀좌표로 변환하는 과정을 설명하기 위한 도면.
도 9는 카메라 오차 모델의 광학계 오차의 일례를 설명하기 위한 도면.
도 10은 본 발명의 또 다른 일 실시예에 따른 카메라 데이터 생성기의 주요 구성을 나타낸 블록도.
도 11은 도 10의 카메라 데이터 생성기를 실행시키는 프로그램의 주요 알고리즘을 설명하기 위한 순서도.
이하에서는 첨부한 도면을 참조하여 바람직한 실시 형태들에 대해서 상세히 설명한다. 다만, 실시형태를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다. 아울러, 도면에서의 각 구성요소들의 크기는 설명을 위하여 과장될 수 있으며, 실제로 적용되는 크기를 의미하는 것은 아니다.
도 1a는 본 발명의 카메라 데이터 생성기를 적용할 수 있는 비전항법시스템의 개략도이고, 도 1b는 본 발명의 카메라 데이터 생성기를 설명하기 위한 항법 알고리즘 개발 과정에 대한 개략적인 블록도이다.
도 1a 및 도 1b를 참조하면, 본 실시예에 따른 카메라 데이터 생성기(20)는 카메라 설치정보(10), 데이터베이스(30), 항체 궤적 생성기(40) 및 비전항법 알고리즘 개발기(50)에 연결된다. 카메라 데이터 생성기(20)는 카메라 설치정보(10)와 데이터베이스(30)에서 입력되는 카메라 정보 및 랜드마크 정보를 이용하여 비전항법 혹은 통합항법 알고리즘을 개발할 수 있는 카메라 데이터를 생성하고, 생성된 카메라 데이터를 비전항법/통합항법 알고리즘 개발기(50)에 제공한다.
카메라 설치정보(10)는 카메라 데이터 생성기(20)가 항체에 대한 카메라의 위치 및 자세를 계산하도록 한다.
카메라 데이터 생성기(20)는 항체의 궤적, 랜드마크 DB(Database), 카메라 설치정보(10), 카메라 사양을 이용하여 카메라 데이터를 생성한다. 항체(Vehicle)는 소형/무인 항공기, 차량, 이동 로봇 등을 포함한다.
또한, 카메라 데이터 생성기(20)에서는 항법 대상, 항법 알고리즘 개발 목적 등에 따라 카메라 특성 및 사양을 설정할 수 있다. 즉, 카메라 데이터 생성기(20)는 카메라 모델 파라미터를 설정할 수 있다. 카메라 모델 파라미터는 특성 파라미터와 오차 파라미터로 구성된다.
특성 파라미터는 수평/수직 화각, 수평/수직 픽셀 크기, 수평/수직 픽셀 수, 및 초점거리로 이루어진 그룹에서 선택되는 적어도 어느 하나로 이루어진다. 그리고 오차 파라미터는 왜곡, 초점거리 오차, 수평/수직 환산계수 오차, 초점거리 오차, 수평/수직 바이어스 오차, 수평/수직 광학계 가우시안 잡음, 및 수평/수직 초점면 가우시안 잡음으로 이루어진 그룹에서 선택되는 하나 또는 둘 이상으로 이루어진다. 일 실시예에서, 카메라 파라미터는 다음의 표 1과 같은 사양을 가질 수 있다.
Figure 112013060669308-pat00001
카메라 데이터 생성기(20)는 불필요한 연산과 에러를 줄이기 위해 항체의 궤적과 카메라 설치정보(10)로부터 랜드마크의 상대위치를 계산한 후, 상대위치에 따른 카메라 측정범위 안의 랜드마크만을 랜드마크 DB(32)로부터 추출한다. 추출한 랜드마크의 상대위치와 카메라 사양을 적용하여 랜드마크를 카메라의 초점면(비전센서 초점면)에 투영한다. 랜드마크의 투영점은 카메라 좌표계의 픽셀좌표로 변환될 수 있다. 성능 분석을 위해 카메라 데이터 생성기(20)는 참값과 오차가 반영된 값을 함께 생성할 수 있다.
데이터베이스(30)는 카메라 DB(31)와 랜드마크 DB(32)를 구비한다. 카메라 DB(31)는 표 1과 같은 카메라 모델 파라미터 등을 저장한다. 랜드마크 DB(32)에는 랜드마크의 식별자(Identification, ID), 특징, 위치 등이 저장된다. 이러한 데이터베이스(30)는 카메라 데이터 생성기(20) 내에 탑재되거나 비전항법 알고리즘 개발기(50)에 포함될 수 있다. 또한, 구현에 따라서 데이터베이스(30)는 네트워크상에 위치하는 데이터베이스 서버를 포함할 수 있다. 여기서, 네트워크는 유선 또는 무선 통신 네트워크, 인터넷 등을 포함한다.
항체 궤적 생성기(40)는 시간에 따른 항체의 위치, 속도, 자세에 대한 정보를 제공한다. 항체 궤적 생성기(40)는 항체의 동적 운동을 표현하는 수단이나 이러한 수단에 상응하는 기능을 수행하는 구성부로 구현될 수 있다.
도 2는 본 발명의 일 실시예에 따른 카메라 데이터 생성기의 블록도이다.
도 2를 참조하면, 카메라 데이터 생성기(20)는, 상대위치 산출부(22), 제1 추출부(23), 제2 추출부(24), 투영부(25) 및 변환부(26)를 구비한다.
상대위치 산출부(22)는 항체 궤적에 따라 항체에 탑재된 카메라의 위치 및 자세 정보와 기 입력된 랜드마크 정보를 토대로 카메라에 대한 랜드마크의 상대위치를 계산한다.
항체 궤적은 항체 궤적 생성기로부터 입력되고, 카메라 위치 및 자세 정보는 데이터베이스 또는 카메라 DB로부터 입력되며, 랜드마크 정보는 데이터베이스 또는 랜드마크 DB로부터 입력될 수 있다.
제1 추출부(23)는 상대위치 산출부(22)로부터 받은 랜드마크의 상대위치를 토대로 일정 거리 내에 위치하는 랜드마크를 1차 후보군으로 추출한다.
제2 추출부(24)는 제1 추출부(23)의 출력측에 연결되며, 카메라의 화각 특성에 따라 1차 후보군에서 일부 랜드마크를 추출하여 2차 후보군을 생성한다.
카메라의 화각 특성은 카메라 모델 설정부를 통해 카메라 데이터 생성기(20)의 동작 환경에 미리 설정된다. 한편, 구현에 따라서 카메라 화각 특성은, 카메라 데이터 생성기(20)의 메모리나 저장장치에 기록되어 있거나 네트워크를 통해 외부로부터 카메라 데이터 생성기에 제공될 수 있다.
제1 추출부(23) 및 제2 추출부(24)를 이용하면, 카메라 측정범위 또는 카메라 촬영 각도에 따라 랜드마크의 초점면 투영 과정을 시작하기 전에 카메라 측정범위 내의 랜드마크 후보군을 유효 후보군으로 한정하여 설정함으로써, 모든 랜드마크에 대하여 카메라 데이터 생성 과정을 수행할 때 발생하는 연산량의 증가와 불필요한 에러 발생을 방지할 수 있다.
투영부(25)는 제2 추출부(24)의 출력측에 연결되며, 2차 후보군의 랜드마크를 카메라의 초점면에 투영한다.
변환부(26)는 투영부(25)에 의해 카메라의 초점면에 투영된 랜드마크의 투영점을 카메라의 픽셀좌표로 변환한다. 변환된 랜드마크의 픽셀좌표를 포함하는 카메라 데이터는 변환부(26)에서 비전항법시스템으로 출력된다.
제1 추출부(23), 제2 추출부(24), 투영부(25) 및 변환부(26)은 카메라 모델 설정부로부터 카메라 특성 정보를 수신할 수 있다. 또한, 투영부(25) 및 변환부(26)는 카메라 오차 설정부로부터 카메라 오차 정보를 수신할 수 있다.
본 실시예에 따른 카메라 데이터 생성기(20)는 카메라로부터 영상데이터를 획득한 후 획득한 영상데이터를 처리하는 영상데이터 처리 장치로 구현될 수 있다. 즉, 카메라 데이터 생성기(20)는 본 실시예에 따른 카메라 데이터 생성 알고리즘이 적용된 프로그램을 저장하는 매체(메모리 등)와 이 매체에 저장된 프로그램을 실행하는 프로세서로 이루어질 수 있다. 전술한 경우, 상대위치 산출부(22), 제1 추출부(23), 제2 추출부(24), 투영부(25) 및 변환부(26)는 상기의 프로그램에 의해 프로세서에서 해당 기능을 수행하는 수단이나 이러한 수단에 상응하는 기능을 수행하는 구성부로 지칭될 수 있다.
도 3은 본 발명의 다른 일 실시예에 따른 카메라 데이터 생성기의 주요 구성을 나타낸 블록도이다.
도 3을 참조하면, 본 실시예에 따른 카메라 데이터 생성기는 도 2의 카메라 데이터 생성기(20)의 구성에 더하여 카메라 위치자세 산출부(21)를 더 구비한다.
카메라 위치자세 산출부(21)는 입력되는 항체 궤적과 항체의 위치 및 자세 정보와 카메라 설치정보를 토대로 카메라 위치 및 자세 정보를 생성하고, 생성한 카메라 위치 및 자세 정보를 상대위치 산출부(22)에 제공한다.
카메라 위치자세 산출부(21)는 항체 궤적 생성기로부터 항체 궤적 및 항체의 위치 및 자세 정보를 받고, 카메라 DB로부터 카메라 설치정보를 받을 수 있다.
본 실시예에서 항체 궤적은 카메라 위치자세 산출부(21)를 거쳐 상대위치 산출부(22)로 전달되는 것으로 도시되어 있으나, 본 실시예는 그러한 구성으로 한정되지 않고 항체 궤적을 카메라 위치자세 산출부(21)와 상대위치 산출부(22)에 각각 제공하는 것을 포함할 수 있다.
카메라 위치자세 산출부(21)를 이용하면, 카메라의 영상 정보뿐만 아니라 영상 정보를 생성한 카메라의 촬영각도와 랜드마크의 위치 등을 고려하여 카메라 데이터를 생성함으로써, 카메라 데이터의 신뢰성을 효과적으로 향상시킬 수 있다.
도 4는 본 발명의 또 다른 일 실시예에 따른 카메라 데이터 생성기의 주요 구성을 나타낸 블록도이다.
도 4를 참조하면, 본 실시예에 따른 카메라 데이터 생성기는, 도 2의 카메라 데이터 생성기(20) 또는 도 3의 카메라 데이터 생성기의 구성에 더하여 카메라 모델 설정부(27)를 더 구비한다.
카메라 모델 설정부(27)는 입력되는 카메라 특성 파라미터를 저장하고, 카메라 특성 파라미터에 따른 카메라 특성 정보를 제1 추출부(23), 제2 추출부(24), 투영부(25) 및 변환부(26) 중 적어도 어느 하나에 제공한다.
카메라 모델 설정부(27)는 카메라 DB로부터 카메라 특성 파라미터를 받을 수 있다. 카메라 특성 파라미터는 카메라 모델 파라미터 중 특성 파라미터에 해당한다.
도 5는 본 발명의 또 다른 일 실시예에 따른 카메라 데이터 생성기의 주요 구성을 나타낸 블록도이다.
도 5를 참조하면, 본 실시예에 따른 카메라 데이터 생성기는, 도 2의 카메라 데이터 생성기(20), 도 3의 카메라 데이터 생성기, 또는 도 4의 카메라 데이터 생성기의 구성에 더하여 카메라 오차 모델 설정부(28)를 더 구비한다.
카메라 오차 모델 설정부(28)는 입력되는 카메라 오차 파라미터를 저장하고, 카메라 오차 파라미터에 따른 카메라 오차 정보를 투영부(25) 및 변환부(26) 중 적어도 어느 하나에 제공한다.
카메라 오차 모델 설정부(28)는 카메라 DB로부터 카메라 오차 파라미터를 받을 수 있다. 카메라 오차 파라미터는 카메라 모델 파라미터의 오차 파라미터에 대응한다.
본 실시예에 의하면, 항체의 궤적, 랜드마크 위치, 카메라 설치위치 및 카메라 사양을 이용하여 카메라 데이터를 생성할 때 랜드마크를 포함한 카메라의 영상 정보에 더하여 랜드마크를 촬영하는 카메라의 사양과 촬영각도에 따른 오차를 반영함으로써 랜드마크 기반 비전항법시스템을 위한 고신뢰성의 카메라 데이터를 생성할 수 있다.
도 6은 본 발명의 카메라 데이터 생성기를 실행시키는 프로그램의 주요 알고리즘의 일 실시예를 설명하기 위한 순서도이다.
도면에 도시하지는 않았지만, 정상적인 실행을 위하여 카메라 데이터 생성기의 환경을 설정할 수 있다. 여기서, 환경은 항체의 궤적, 랜드마크 DB(ID, 특징, 위치 등), 카메라 설치정보, 카메라 특성(화각, 초점거리, 픽셀 수, 픽셀 크기 등), 그리고 카메라 오차(렌즈 왜곡, 중심점 바이어스, 초점거리 오차, 환산계수 오차, 잡음 등)을 포함한다. 이러한 환경 설정 정보는 카메라 모델 설정부 또는 카메라 오차 모델 설정부에 저장될 수 있다.
카메라 데이터 생성기의 환경 설정이 완료되면, 도 6에 도시한 바와 같이, 카메라 데이터 생성기는 항체 궤적 생성기로부터 항체 궤적을 수신하고, 데이터베이스로부터 항체(Vehicle)에 탑재된 카메라의 설치정보와 랜드마크 정보를 수신한다(S61).
카메라 설치정보는 카메라가 항체의 상부, 하부, 전면부, 후면부 및 측면부 중 어느 곳에 설치되어 있는지를 나타내는 제1 설치정보와, 카메라의 높이, 촬영 방향 등에 대한 제2 설치 정보를 포함할 수 있다.
다음, 현재 궤적에서 랜드마크의 카메라 데이터를 생성한다(S62 ~ S67). 현재 궤적에서 랜드마크의 카메라 데이터 생성 과정을 좀더 상세히 설명하면 다음과 같다.
먼저, 항체의 위치 및 자세 정보를 획득한다. 그리고, 카메라 설치정보로부터 카메라의 위치 및 자세를 계산한다. 그 다음에, 카메라의 위치 및 자세 정보와 랜드마크 위치 정보를 토대로 카메라에 대한 랜드마크의 상대위치를 계산한다(S62).
다음으로, 카메라와 랜드마크 간의 거리를 계산하여 일정 거리 안의 랜드마크만으로 1차 후보군을 추출한다(S63). 여기서, 거리는 사용자가 카메라 특성과 랜드마크 특성에 맞추어 설정할 수 있다.
카메라와 랜드마크의 상대거리로부터 랜드마크의 1차 후보군을 추출하는데 있어서, 카메라와 랜드마크 사이의 거리가 너무 멀면 카메라의 초점면에 랜드마크의 상이 맺히지 않는다. 또한, 랜드마크의 크기가 너무 작으면 초점면에 상이 맺히지 않는다. 따라서, 본 실시예의 카메라 데이터 생성기는 카메라와 랜드마크의 상대위치를 이용하여 랜드마크를 일정거리로 투영시킨 후, 랜드마크가 일정크기 이상인 랜드마크만을 1차 후보군으로 추출하고 추출된 1차 후보군의 랜드마크에 대해서만 데이터 생성 과정을 수행할 수 있다.
다음으로, 1차 후보군을 토대로 카메라의 화각 특성에 맞추어 2차 후보군을 추출한다(S64).
본 단계(S64)를 좀더 상세히 설명하면, 랜드마크의 1차 후보군 중에서 카메라의 화각 안에 들어오는 랜드마크는 카메라의 초점면에 상을 맺힌다. 랜드마크가 카메라의 화각 안에 들어오는지는 카메라와 랜드마크의 상대 자세로부터 계산할 수 있다. 따라서, 본 실시예에서는 1차 후보군 모두에 대하여 카메라의 화각 안에 들어오는지 판단한 후 이를 만족하는 랜드마크만을 2차 후보군으로 추출한다.
다음으로, 2차 후보군의 랜드마크들을 카메라의 초점면에 투영한다(S65).
본 단계(S65)는 카메라 모델 또는 카메라 오차 모델을 반영하여 수행될 수 있다. 여기서, 카메라 오차 모델은 렌즈의 왜곡 파라미터, 초점거리 오차, 잡음 특성 또는 이들의 조합을 포함한다.
다음으로, 랜드마크의 투영점을 카메라 좌표계의 픽셀좌표로 변환한다(S66). 변환부에서 2차 후보군의 랜드마크의 투영점을 카메라의 픽셀좌표로 변환할 때, 변환부는 카메라의 픽셀 수, 픽셀 크기 등의 정보를 이용할 수 있다. 또한, 변환부는 변환된 카메라 데이터의 신뢰성을 더욱 높이기 위하여 바이어스 오차, 환산계수 오차, 잡음 특성을 반영할 수 있다.
다음, 현재 궤적에서 랜드마크의 카메라 데이터 생성 과정이 완료되면, 전체 궤적에 대하여 카메라 데이터 생성 과정을 수행한다(S67). 여기서, 전체 궤적에 대한 카메라 데이터 생성 과정은 현재 궤적에서 랜드마크의 카메라 데이터를 생성하는 과정을 반복 수행하는 것을 지칭한다.
다음, 전체 궤적에 대하여 랜드마크의 카메라 데이터 생성 과정이 완료되면, 랜드마크의 카메라 데이터를 출력한다(S68).
이하에서는 카메라 핀홀 모델과 랜드마크 DB를 이용하여 카메라 데이터를 생성하는 과정 및 이 과정에 적용된 오차 모델의 일 실시예를 도 7 내지 도 9를 참조하여 설명한다.
도 7은 본 발명의 일 실시예에 따른 카메라 핀홀 모델 및 랜드마크의 초점면 투영 과정을 나타낸 도면이다. 도 8은 본 발명의 일 실시예에 따른 카메라 초점면에 투영된 랜드마크의 투영점을 픽셀좌표로 변환하는 과정을 설명하기 위한 도면이다.
먼저, 이상적인 카메라에서의 카메라 데이터 생성과정을 도 7을 참조하여 설명하면 다음과 같다.
도 7에 나타낸 바와 같이, 카메라의 초점면은 카메라 중심(Oc)으로부터 광축 방향으로 f만큼 떨어진 거리에 위치한 카메라 본체에 대하여 수직으로 정렬되어 있다. Pic(Xi, Yi, Zi)에 위치하는 랜드마크는 카메라 핀홀 모델에 따라 카메라 초점면에 투영된다. 앞으로 서술되는 도면(도 7 등) 및 수식에서 위첨자 c, i는 기술되는 값이 각각 카메라 좌표계(Camera frame)와 픽셀 좌표계(Image frame)에서 표현된다는 것을 나타내고, 아래첨자 i는 랜드마크 식별자를 의미한다.
본 실시예에서는 3D 항법에서 카메라 또는 비전센서의 초점면에 투영된 랜드마크 측정값(ui, vi)을 카메라 좌표계에서 나타내면 다음의 수학식 1과 같다.
Figure 112013060669308-pat00002
버전항법에서 센서는 픽셀 좌표계에서 랜드마크를 측정하고, 이를 카메라 좌표계로 변환한 후, 랜드마크의 시선각을 계산하고 카메라 좌표계와 동체 좌표계 그리고 동체 좌표계와 항법 좌표계 간의 좌표변환 관계식을 이용하여 항법해를 계산한다. 이러한 좌표변환은 본 기술분야에 이미 잘 알려져 있으므로 그것에 대한 상세 설명은 생략한다.
다만, 참고로, 카메라 핀홀 모델은 띤 렌즈 모델(Thin Lens Model)에서 물체가 카메라 초점 길이에 비해 충분히 멀리 있다고 볼 수 있으므로, 물체에서 렌즈까지의 거리의 역수와 물체가 맺힌 상(Image)과 렌즈까지의 거리의 역수의 합이 렌즈에서 초점면까지의 거리의 역수와 동일하다고 가정한다.
이러한 가정에 기초하면 초점면에 투영된 랜드마크의 투영점을 도 8에 나타낸 관계를 이용하여 픽셀좌표로 변환할 수 있다.
도 8에 나타낸 바와 같이, 본 실시예에 따른 카메라 데이터 생성기는 랜드마크의 투영점을 카메라의 픽셀좌표로 변환할 때 카메라의 픽셀 수와 픽셀 크기(또는 픽셀 간격)를 이용함으로써 카메라 사양에 적합한 카메라 데이터를 생성할 수 있다.
도 9는 카메라 오차 모델의 광학계 오차의 일례를 설명하기 위한 도면이다.
실제 카메라는 광학계 오차, 초점면 오차 등이 존재하여 이상적인 카메라와 다른 카메라 데이터를 생성하게 된다. 예를 들어, 광학계 오차는 렌즈의 왜곡, 초점거리 오차, 가우시안 잡음 등을 포함한다. 렌즈 왜곡은 렌즈 자체나 렌즈 정렬 오차로 인하여 발생하며 방사 방향(Radial) 오차와 접선 방향(Tangential) 오차로 구분할 수 있다.
도 9에 나타낸 바와 같이, 랜드마크가 투영되는 투영점에 상응하는 초점면에서의 실제 지점(Ideal point)이 방사 방향(dr) 및 접선 방향(dt)에서 렌즈 왜곡 영향에 의해 왜곡된 지점(Position with distrotion)으로 이동되는 것을 알 수 있다.
카메라 초점면에서 왜곡으로 인한 랜드마크의 투영점(xd, yd)은 수학식 2와 같이 표현할 수 있다.
Figure 112013060669308-pat00003
여기서, δx 및 δy는 왜곡으로 생기는 투영점 오차이다.
왜곡은 주로 렌즈 곡면 오차(δxr, δyr)와 렌즈 조립 오차(δxa, δya) 등으로 발생한다.
렌즈 곡면 오차를 모델링하면 다음의 수학식 3과 같이 표현할 수 있다.
Figure 112013060669308-pat00004
렌즈 조립 오차를 모델링하면 수학식 4와 같이 나타낼 수 있다.
Figure 112013060669308-pat00005
수학식 4 및 수학식 5에서, k1,k2,k3,p1,p2,p3와 같은 왜곡 파라미터는 렌즈나 카메라의 제조사에서 제공하거나 특별한 캘리브레이션(Calibration) 환경에서 측정할 수 있다.
결과적으로, 카메라의 초점면에 투영된 랜드마크의 투영점의 측정값(수학식 1 참조)에 대하여 렌즈 왜곡을 반영하면 다음의 수학식 5와 같다. 여기서, 렌즈 왜곡은 렌즈 곡면 오차(δxr, δyr)와 렌즈 조립 오차(δxa, δya)를 지칭한다.
Figure 112013060669308-pat00006
또한, 광학계 오차에서 초점거리 오차(δf)가 존재하는데, 이를 반영하면 수학식 6과 같다.
Figure 112013060669308-pat00007
또한, 초점거리 오차에 더하여 가우시안 잡음(Nu, Nv)을 추가하면 수학식 7과 같다.
Figure 112013060669308-pat00008
다음으로, 초점면 오차를 설명하면 다음과 같다.
초점면 오차로는 바이어스 오차, 환산계수 오차, 가우시안 잡음을 고려한다. 실제로 카메라의 렌즈와 초점면을 조립할 때, 광축이 초점면의 중심을 지나가도록 하는 것은 매우 어렵기 때문에 초점면과 광축에 바이어스 오차가 존재한다. 바이어스 오차는 수평축 바이어스 오차, 수직축 바이어스 오차로 구분할 수 있다.
카메라의 초점면에 투영된 랜드마크의 투영점의 측정값(수학식 1 참조)에 대하여 초점면 오차(Bu, Bv)를 반영하면 다음의 수학식 8과 같다. 여기서, 수학식의 전개를 간단히 하기 위하여 광학계 오차는 없다고 가정한다.
Figure 112013060669308-pat00009
또한, 픽셀 크기를 의미하는 환산계수 역시 센서(CCD, CMOS 등)의 제조과정에서 오차(δsu, δsv)가 존재하게 된다. 이러한 오차는 초점면에 투영된 물체를 픽셀 좌표계에서의 픽셀좌표(ci, ri)로 바꾸는 과정에서 고려된다. 이 오차를 반영한 랜드마크의 투영점을 카메라의 픽셀좌표로 나타내면 수학식 9와 같이 표현될 수 있다.
Figure 112013060669308-pat00010
여기서, a는 수평축 픽셀수, b는 수직축 픽셀수이다.
또한, 초점면 오차에서도 모델링 오차 등이 존재하며, 이를 가우시안 잡음(Nc, Nr)으로 반영하여 수학식 9를 다시 나타내면 다음의 수학식 10과 같다.
Figure 112013060669308-pat00011
전술한 설명에 의하면, 본 실시예의 카메라 데이터 생성기는 항체의 궤적, 랜드마크 DB, 카메라 설치정보, 카메라 사양을 이용하여 카메라 데이터를 생성할 수 있다. 즉, 카메라 데이터 생성기는 항체와 랜드마크의 상대적인 위치와 항체의 자세에 따른 위치 오차와 자세 오차 변화를 반영함으로써 비전항법시스템에서 더욱 정확한 항법해를 얻을 수 있도록 한다.
도 10은 본 발명의 또 다른 일 실시예에 따른 카메라 데이터 생성기의 주요 구성을 나타낸 블록도이다.
도 10을 참조하면, 본 실시예에 따른 카메라 데이터 생성기는, 도 2의 카메라 데이터 생성기(20), 도 3의 카메라 데이터 생성기, 도 4의 카메라 데이터 생성기, 또는 도 5의 카메라 데이터 생성기의 구성에 더하여 검증부(29)를 더 구비한다.
검증부(29)는 현재 궤적에서 2차 후보군의 랜드마크의 제1 픽셀좌표를 포함한 카메라 데이터와 2차 후보군의 랜드마크의 제2 픽셀좌표를 포함한 카메라 데이터를 받고, 이것들의 비교 결과를 토대로 현재 궤적에서 랜드마크의 카메라 데이터를 검증한다. 검증된 카메라 데이터는 비전항법 시스템으로 전달될 수 있다.
제1 픽셀좌표는 제1 설정에 따라 2차 후보군의 랜드마크의 투영점을 카메라 좌표계로 변환한 픽셀좌표이고, 제2 픽셀좌표는 제2 설정에 따라 2차 후보군의 랜드마크의 투영점을 카메라 좌표계로 변환한 픽셀좌표이다.
여기서, 제1 설정은 투영부가 카메라의 렌즈 왜곡 파라미터, 초점 거리 오차 및 잡음 특성을 반영하여 2차 후보군의 랜드마크를 카메라 초점면에 투영하는 것을 지칭하고, 제2 설정은 투영부가 카메라의 렌즈의 왜곡 파라미터, 초점 거리의 오차 및 잡음 특성을 반영하지 않고 2차 후보군의 랜드마크를 카메라 초점면에 투영하는 것을 지칭한다.
또한, 검증부(29)는, 검증 결과에서 카메라 데이터에 이상이 검출되는 경우, 해당 카메라 데이터를 제외하도록 변환부에 제어 명령을 전송할 수 있다. 여기서, 카메라 데이터의 이상은 카메라의 화각 안에 들어오지만 렌즈 왜곡, 초점면 오차 등에 의해 초점면 바깥에 상이 맺히는 랜드마크의 카메라 데이터 등을 지칭한다.
본 실시예의 검증부를 이용하면, 랜드마크의 카메라 데이터에서 이상 데이터를 제외함으로써 비전항법시스템으로 전달되는 카메라 데이터에 대한 신뢰성을 더욱 향상시킬 수 있다.
도 11은 도 10의 카메라 데이터 생성기를 실행시키는 프로그램의 주요 알고리즘을 설명하기 위한 순서도이다.
도 11에 나타낸 바와 같이, 기설정 환경에 따라 카메라 데이터 생성기는 항체 궤적 생성기로부터 항체 궤적을 수신하고, 데이터베이스로부터 항체(Vehicle)에 탑재된 카메라의 설치정보와 랜드마크 정보를 수신한다(S71).
다음, 현재 궤적에서 랜드마크의 카메라 데이터를 생성한다(S72 ~ S79). 현재 궤적에서 랜드마크의 카메라 데이터 생성 또는 삭제 과정을 좀더 상세히 설명하면 다음과 같다.
먼저, 항체의 위치 및 자세 정보를 획득한다. 그리고, 카메라 설치정보로부터 카메라의 위치 및 자세를 계산한다. 그 다음에, 상대위치 산출부는 카메라의 위치 및 자세 정보와 랜드마크 위치 정보를 토대로 카메라에 대한 랜드마크의 상대위치를 계산한다(S72).
다음으로, 제1 추출부는 기 설정된 카메라 특성과 랜드마크 특성에 맞추어 카메라와 랜드마크 간의 거리를 계산하고, 계산된 일정 거리 안의 일정 크기 이상의 랜드마크만으로 1차 후보군을 추출한다(S73).
다음으로, 제2 추출부는 1차 후보군을 토대로 카메라의 화각 특성에 맞추어 2차 후보군을 추출한다(S74).
다음으로, 투영부는 2차 후보군의 랜드마크들을 카메라의 초점면에 투영한다(S75).
본 단계(S75)에서 카메라 데이터 생성기는 본 실시예에서 생성된 카메라 데이터를 이용하는 항법 알고리즘의 성능 평가를 위하여 카메라 데이터의 참값도 함께 생성하여 출력한다. 참값은 카메라 모델 또는 카메라 오차 모델이 반영되지 않은 카메라 데이터를 지칭한다.
다음으로, 변환부는 랜드마크의 투영점을 카메라 좌표계의 픽셀좌표로 변환한다(S76). 변환부는 카메라의 픽셀 수, 픽셀 크기 등의 정보를 이용할 수 있다.
본 단계(S76)에 있어서, 변환부는 바이어스 오차, 환산계수 오차, 잡음 특성 등을 반영하는 제1 설정을 토대로 얻은 제1 픽셀좌표와 제1 설정을 반영하지 않는 제2 설정을 토대로 얻은 제2 픽셀좌표를 생성한다.
다음으로, 검증부는 제1 픽셀좌표와 제2 픽셀좌표와의 비교를 토대로 카메라 데이터를 검증한다(S77). 검증 결과(S77a), 검증값이 소정의 기준값보다 크면, 검증부는 변환부에 제어명령을 전달하여 현재 궤적에서 랜드마크의 카메라 데이터를 삭제한다(S78). 한편, 검증 결과, 검증값이 기준값 이하이면, 검증부는 변환부에 제어명령을 전송하여 현재 궤적에서의 랜드마크의 카메라 데이터를 생성한다(S79).
상기의 단계(S78 또는 S79)를 통해 현재 궤적에서의 랜드마크의 카메라 데이터 생성 또는 삭제 과정이 완료되면, 전체 궤적에 대하여 카메라 데이터 생성 과정을 반복 수행한다(도 6의 S67 참조). 그리고, 전체 궤적에 대하여 랜드마크의 카메라 데이터 생성/삭제 과정이 완료되면, 전체 궤적에 대하여 생성된 랜드마크의 카메라 데이터를 출력한다(도 6의 S68 참조).
본 실시예에 의하면, 항체 궤적, 랜드마크 위치, 카메라 설치위치 및 카메라 사양을 이용하여 카메라 데이터를 생성할 때, 현재의 항체의 위치에서 데이터베이스에 있는 모든 랜드마크에 대하여 카메라 데이터 생성 과정을 수행하지 않고 카메라 측정 범위의 랜드마크를 추출하여 이용함으로써 불필요한 연산량의 증가를 방지하고 에러율을 낮추며, 그에 의해 효율적으로 카메라 데이터를 생성할 수 있다.
아울러, 2차 후보군은 모두 카메라의 초점면 투영 과정을 거치게 된다. 그러나, 랜드마크가 카메라의 화각안에 들어온다 할지라도 렌즈 왜곡, 초점면 오차 등에 의하여 초점면 바깥에 상이 맺힐 수 있다. 따라서, 본 실시예에서는 데이터 검증 과정을 통하여 이상이 있는 카메라 데이터를 제외함으로써 종래 대비 높은 신뢰성을 갖는 카메라 데이터를 생성할 수 있다.
전술한 바와 같은 본 발명의 상세한 설명에서는 구체적인 실시예에 관해 설명하였다. 그러나 본 발명의 범주에서 벗어나지 않는 한도 내에서는 여러 가지 변형이 가능하다. 본 발명의 기술적 사상은 본 발명의 전술한 실시예에 국한되어 정해져서는 안 되며, 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
10: 카메라
20: 카메라 데이터 생성기
21: 카메라 위치자세 산출부
22: 상대위치 산출부
23: 제1 추출부
24: 제2 추출부
25: 투영부
26: 변환부
27: 카메라 모델 설정부
28: 카메라 오차 모델 설정부
29: 검증부
30: 데이터베이스
40: 항체 궤적 생성기

Claims (20)

  1. 랜드마크 기반 비전항법 시스템을 위한 카메라 데이터 생성기로서,
    항체(Vehicle)의 궤적과 상기 항체에 대한 카메라의 설치정보와 기 입력된 랜드마크 정보를 토대로 상기 카메라에 대한 랜드마크의 상대위치를 계산하는 상대위치 산출부;
    상기 랜드마크의 상대위치를 토대로 일정 거리 내의 랜드마크를 1차 후보군으로 추출하는 제1 추출부;
    상기 카메라의 화각 특성에 따라 상기 1차 후보군에서 2차 후보군을 추출하는 제2 추출부;
    상기 2차 후보군의 랜드마크를 상기 카메라의 초점면에 투영하는 투영부; 및
    상기 랜드마크의 투영점을 상기 카메라의 픽셀좌표로 변환하고 상기 랜드마크의 픽셀좌표를 포함한 카메라 데이터를 출력하는 변환부;
    를 포함하며,
    상기 제1 추출부는, 상기 카메라의 특성과 상기 랜드마크의 위치에 따라 설정되는 상대거리를 토대로 상기 1차 후보군을 추출하는 카메라 데이터 생성기.
  2. 청구항 1에 있어서,
    상기 상대위치 산출부의 입력측에 연결되며, 상기 항체에 대한 항체 궤적과 기 입력된 상기 항체의 위치 및 자세 정보와 카메라 설치정보를 이용하여 상기 카메라의 위치 및 자세를 계산하고, 상기 카메라의 위치 및 자세 정보를 출력하는 카메라 위치자세 산출부를 더 포함하는 카메라 데이터 생성기.
  3. 삭제
  4. 청구항 1에 있어서,
    상기 제1 추출부, 상기 제2 추출부, 상기 투영부 및 상기 변환부에 카메라 특성 정보를 제공하는 카메라 모델 설정부를 더 포함하는 카메라 데이터 생성기.
  5. 청구항 4에 있어서,
    상기 투영부 및 상기 변환부에 카메라 오차 정보를 제공하는 카메라 오차 모델 설정부를 더 포함하는 카메라 데이터 생성기.
  6. 청구항 5에 있어서,
    상기 투영부는 상기 카메라의 렌즈 왜곡 파라미터, 초점 거리 오차 및 잡음 특성을 토대로 상기 2차 후보군의 랜드마크를 카메라 초점면에 투영하는 카메라 데이터 생성기.
  7. 청구항 5에 있어서,
    상기 투영부는 상기 카메라의 렌즈 왜곡 파라미터, 초점 거리 오차 및 잡음 특성을 반영하는 제1 설정에 따라 상기 2차 후보군의 랜드마크를 카메라 초점면에 투영하고, 상기 카메라의 렌즈의 왜곡 파라미터, 초점 거리의 오차 및 잡음 특성을 반영하지 않는 제2 설정에 따라 상기 2차 후보군의 랜드마크를 상기 카메라 초점면에 투영하는 카메라 데이터 생성기.
  8. 청구항 7에 있어서,
    상기 변환부는 상기 제1 설정에 따른 상기 2차 후보군의 랜드마크의 투영점에 대한 제1 픽셀좌표와 상기 제2 설정에 따른 상기 2차 후보군의 랜드마크의 투영점에 대한 제2 픽셀좌표를 각각 생성하여 출력하는 카메라 데이터 생성기.
  9. 청구항 8에 있어서,
    상기 제1 픽셀좌표와 상기 제2 픽셀좌표와의 비교를 토대로 상기 항체의 궤적에서 상기 2차 후보군의 랜드마크의 카메라 데이터를 검증하는 검증부를 더 포함하는 카메라 데이터 생성기.
  10. 청구항 8에 있어서,
    상기 변환부는, 상기 카메라의 바이어스 오차, 환산계수 오차 및 잡음 특성을 반영하여 상기 2차 후보군의 랜드마크의 투영점을 픽셀좌표로 변환하는 카메라 데이터 생성기.
  11. 카메라 데이터 생성기를 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체로서,
    항체에 탑재된 카메라의 설치정보와 랜드마크 정보를 수신하는 제1 단계;
    상기 카메라의 위치 및 자세 정보와 랜드마크 위치 정보를 토대로 상기 카메라에 대한 상기 랜드마크의 상대위치를 산출하는 제2 단계;
    상기 항체의 현재 궤적에서 카메라의 측정 범위 내에 위치하는 랜드마크를 1차 후보군으로 추출하는 제3 단계-여기서, 제3 단계는, 상기 카메라의 위치 및 자세와 상기 랜드마크의 위치에 따라 설정되는 상대거리를 토대로 상기 1차 후보군을 추출함-;
    상기 카메라의 화각 특성에 따라 상기 1차 후보군에서 2차 후보군을 추출하는 제4 단계;
    상기 2차 후보군의 랜드마크를 상기 카메라의 초점면에 투영하는 제5 단계; 및
    상기 랜드마크의 투영점을 상기 카메라의 픽셀좌표로 변환하는 제6 단계;
    를 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체.
  12. 청구항 11에 있어서,
    상기 카메라의 설치정보를 토대로 상기 카메라의 위치 및 자세 정보를 산출하는 단계를 더 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체.
  13. 삭제
  14. 청구항 11에 있어서,
    상기 제3 단계 내지 상기 제6 단계는 카메라 모델 설정부로부터의 카메라 특성 정보를 토대로 수행되는 것을 특징으로 하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체.
  15. 청구항 14에 있어서,
    상기 제5 단계 및 상기 제6 단계는 카메라 오차 모델 설정부로부터의 카메라 오차 정보를 토대로 수행되는 것을 특징으로 하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체.
  16. 청구항 15에 있어서,
    상기 제5 단계는, 상기 카메라의 렌즈 왜곡 파라미터, 초점 거리 오차 및 잡음 특성을 반영하여 상기 2차 후보군의 랜드마크를 카메라 초점면에 투영하는 것을 특징으로 하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체.
  17. 청구항 15에 있어서,
    상기 제5 단계는, 상기 카메라의 렌즈 왜곡 파라미터, 초점 거리 오차 및 잡음 특성을 반영하는 제1 설정에 따라 상기 2차 후보군의 랜드마크를 카메라 초점면에 투영하고, 상기 카메라의 렌즈의 왜곡 파라미터, 초점 거리의 오차 및 잡음 특성을 반영하지 않는 제2 설정에 따라 상기 2차 후보군의 랜드마크를 상기 카메라 초점면에 투영하는 것을 특징으로 하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체.
  18. 청구항 17에 있어서,
    상기 제6 단계는, 상기 제1 설정에 따른 상기 2차 후보군의 랜드마크의 투영점에 대한 제1 픽셀좌표와 상기 제2 설정에 따른 상기 2차 후보군의 랜드마크의 투영점에 대한 제2 픽셀좌표를 각각 생성하는 것을 특징으로 하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체.
  19. 청구항 18에 있어서,
    상기 제1 픽셀좌표와 상기 제2 픽셀좌표와의 비교를 토대로 상기 현재 궤적에서 랜드마크의 카메라 데이터를 검증하는 단계를 더 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체.
  20. 청구항 18에 있어서,
    상기 제6 단계는, 상기 카메라의 바이어스 오차, 환산계수 오차 및 잡음 특성을 반영하여 상기 2차 후보군의 랜드마크의 투영점을 픽셀좌표로 변환하는 것을 특징으로 하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체.
KR1020130078925A 2013-07-05 2013-07-05 랜드마크 기반 비전항법시스템을 위한 카메라 데이터 생성기와 그것을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체 Active KR101502071B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130078925A KR101502071B1 (ko) 2013-07-05 2013-07-05 랜드마크 기반 비전항법시스템을 위한 카메라 데이터 생성기와 그것을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130078925A KR101502071B1 (ko) 2013-07-05 2013-07-05 랜드마크 기반 비전항법시스템을 위한 카메라 데이터 생성기와 그것을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체

Publications (2)

Publication Number Publication Date
KR20150005253A KR20150005253A (ko) 2015-01-14
KR101502071B1 true KR101502071B1 (ko) 2015-03-12

Family

ID=52477148

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130078925A Active KR101502071B1 (ko) 2013-07-05 2013-07-05 랜드마크 기반 비전항법시스템을 위한 카메라 데이터 생성기와 그것을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체

Country Status (1)

Country Link
KR (1) KR101502071B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102031331B1 (ko) * 2018-03-09 2019-10-11 주식회사 케이티 영상 내의 이동체를 식별하는 방법, 장치 및 컴퓨터 판독가능 매체
CN113624231B (zh) * 2021-07-12 2023-09-12 北京自动化控制设备研究所 基于异源图像匹配的惯性视觉组合导航定位方法及飞行器
WO2024122807A1 (ko) * 2022-12-09 2024-06-13 서울대학교산학협력단 포인트 클라우드 데이터의 오차를 예측하는 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101107735B1 (ko) * 2010-02-26 2012-01-20 서울대학교산학협력단 카메라 포즈 결정 방법
JP2012145598A (ja) * 2012-05-07 2012-08-02 Canon Inc 情報処理方法及び情報処理装置
KR20130046741A (ko) * 2011-10-28 2013-05-08 포항공과대학교 산학협력단 상향식 단일 카메라를 이용한 중대형 공간에서의 자율적 위상지도 생성 방법
KR101265110B1 (ko) * 2009-11-03 2013-05-20 한국전자통신연구원 랜드마크를 이용한 조향 제어 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101265110B1 (ko) * 2009-11-03 2013-05-20 한국전자통신연구원 랜드마크를 이용한 조향 제어 장치 및 방법
KR101107735B1 (ko) * 2010-02-26 2012-01-20 서울대학교산학협력단 카메라 포즈 결정 방법
KR20130046741A (ko) * 2011-10-28 2013-05-08 포항공과대학교 산학협력단 상향식 단일 카메라를 이용한 중대형 공간에서의 자율적 위상지도 생성 방법
JP2012145598A (ja) * 2012-05-07 2012-08-02 Canon Inc 情報処理方法及び情報処理装置

Also Published As

Publication number Publication date
KR20150005253A (ko) 2015-01-14

Similar Documents

Publication Publication Date Title
US10436884B2 (en) Calibration of laser and vision sensors
TWI827649B (zh) 用於ｖｓｌａｍ比例估計的設備、系統和方法
JP6760114B2 (ja) 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム
JP5992184B2 (ja) 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム
US8213706B2 (en) Method and system for real-time visual odometry
CN112785702A (zh) 一种基于2d激光雷达和双目相机紧耦合的slam方法
US12062210B2 (en) Data processing method and apparatus
CN106441275A (zh) 一种机器人规划路径的更新方法及装置
US20110123135A1 (en) Method and device of mapping and localization method using the same
CN108519615A (zh) 基于组合导航和特征点匹配的移动机器人自主导航方法
KR20140003987A (ko) 비젼 센서 정보와 모션 센서 정보를 융합한 모바일 로봇용 ｓｌａｍ 시스템
CN112254729A (zh) 一种基于多传感器融合的移动机器人定位方法
CN112068152A (zh) 使用3d扫描仪同时进行2d定位和2d地图创建的方法和系统
JP6333396B2 (ja) モバイルプラットフォームの変位を計測する方法及び装置
CN105844692A (zh) 基于双目立体视觉的三维重建装置、方法、系统及无人机
CN112506200A (zh) 机器人定位方法、装置、机器人及存储介质
CN111862214A (zh) 计算机设备定位方法、装置、计算机设备和存储介质
KR101502071B1 (ko) 랜드마크 기반 비전항법시스템을 위한 카메라 데이터 생성기와 그것을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체
CN116184430A (zh) 一种激光雷达、可见光相机、惯性测量单元融合的位姿估计算法
Wang et al. Micro aerial vehicle navigation with visual-inertial integration aided by structured light
Jametoni et al. A study on autonomous drone positioning method
CN119104050A (zh) 载体位置的确定方法、装置、计算机设备及存储介质
CN112762929A (zh) 一种智能导航方法、装置和设备
CN113034538A (zh) 一种视觉惯导设备的位姿跟踪方法、装置及视觉惯导设备
US20240134033A1 (en) Method for determining a movement state of a rigid body

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20130705

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20140623

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20141208

PG1501 Laying open of application
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20150306

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20150309

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20180219

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20180219

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20190226

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20190226

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20200224

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20200224

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20210205

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20220223

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20230227

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20240228

Start annual number: 10

End annual number: 10