[go: up one dir, main page]

KR20160051473A - 영상 정합 알고리즘을 설정하는 방법 - Google Patents

영상 정합 알고리즘을 설정하는 방법 Download PDF

Info

Publication number
KR20160051473A
KR20160051473A KR1020140151584A KR20140151584A KR20160051473A KR 20160051473 A KR20160051473 A KR 20160051473A KR 1020140151584 A KR1020140151584 A KR 1020140151584A KR 20140151584 A KR20140151584 A KR 20140151584A KR 20160051473 A KR20160051473 A KR 20160051473A
Authority
KR
South Korea
Prior art keywords
image
camera
images
matching algorithm
reference image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020140151584A
Other languages
English (en)
Other versions
KR102225617B1 (ko
Inventor
오재윤
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to KR1020140151584A priority Critical patent/KR102225617B1/ko
Priority to US14/882,870 priority patent/US10078899B2/en
Priority to CN201510736765.6A priority patent/CN105574847B/zh
Publication of KR20160051473A publication Critical patent/KR20160051473A/ko
Application granted granted Critical
Publication of KR102225617B1 publication Critical patent/KR102225617B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4545—Input to filtering algorithms, e.g. filtering a region of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

제1 카메라와 제2 카메라가 일체식으로 설치된 스테레오 카메라 시스템에서, 제1 카메라와 제2 카메라로부터의 영상들을 정합시키기 위한 영상 정합 알고리즘을 설정하는 방법에 있어서, 단계들 (a) 및 (b)를 포함한다. 단계 (a)에서는, 제1 카메라와 제2 카메라가 일체식으로 패닝 및 틸팅을 수행하면서 단일 기준 피사체를 촬영함에 의하여, 단일 기준 피사체의 영상이 서로 다른 위치에 있는 복수의 영상들이 구해진다. 단계 (b)에서는, 구해진 복수의 영상들이 사용되어 영상 정합 알고리즘이 설정된다.

Description

영상 정합 알고리즘을 설정하는 방법{Method of setting algorithm for image registration}
본 발명은, 영상 정합 알고리즘을 설정하는 방법에 관한 것으로서, 보다 상세하게는, 제1 카메라와 제2 카메라가 일체식으로 설치된 스테레오 카메라 시스템에서, 상기 제1 카메라와 상기 제2 카메라로부터의 영상들을 정합시키기 위한 영상 정합 알고리즘을 설정하는 방법에 관한 것이다.
일반적으로, 동일한 촬영 대상으로부터의 두 영상들을 한 영상으로 변화시키기 위해서는 정합(registration)과 융합(fusion)이 필요하다. 정합은 두 영상들의 위치를 일치시키는 처리 과정이다. 즉, 정합은, 제2 카메라로부터의 제2 영상의 위치를 제1 카메라로부터의 제1 영상의 위치에 일치시키는 처리 과정이다. 융합은 정합 결과의 영상에 대하여 원래의 두 영상들의 계조를 조정하는 처리 과정이다. 본 명세서에서는 영상 정합(registration) 알고리즘을 설정하는 방법이 기술된다.
일반적으로 감시를 위하여 패닝(panning) 및 틸팅(tilting)을 수행하는 스테레오 카메라에서는 제1 카메라와 제2 카메라가 일체식으로 설치된다. 여기에서, 제1 카메라로서 가시(可視) 영상 카메라가 사용되고, 제2 카메라로서 열(熱)-영상 카메라가 사용된다. 대부분의 경우, 가시(可視) 영상 카메라는 줌 렌즈를 구비하지만, 제조 비용을 줄이기 위하여 열(熱)-영상 카메라는 고정 초점 렌즈를 구비한다. 따라서, 열(熱)-영상 카메라는 고정된 화각을 가진다. 또한, 제조 비용을 줄이기 위하여 열(熱)-영상 카메라의 화소 수는 가시(可視) 영상 카메라의 화소 수보다 적다.
가시(可視) 영상 카메라의 줌 배율의 범위별로 영상 정합 알고리즘을 설정함에 있어서, 종래에는 "체크 보드(check board)"라 불리우는 특정 패턴의 기준 피사체가 사용되었다. 여기에서, 열(熱)-영상 카메라로부터의 열(熱)-영상의 경우, 열(熱)-영상 데이터 자체를 처리하는 디지털 주밍이 수행된다. "체크 보드(check board)"는 가장 낮은 줌 배율(즉, 가장 넓은 화각)에 대응하도록 방대한 크기를 가진다.
따라서, 상대적으로 높은 줌 배율에서 영상 정합 알고리즘을 설정할 경우, 즉, 상대적으로 좁은 화각에서 영상 정합 알고리즘을 설정할 경우, 열(熱)-영상의 해상도가 더욱 낮아지게 된다. 그럼에도 불구하고 종래에는 "체크 보드(check board)"와 같은 고정적인 기준 피사체가 사용되므로, 열(熱)-영상에서 특징점들을 정확하게 찾을 수 없는 어려움이 있다.
상기 배경 기술의 문제점은, 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 내용으로서, 반드시 본 발명의 출원 전에 일반 공중에게 공지된 내용이라 할 수는 없다.
일본 공개특허 공보 제1997-233461호 (출원인 : Fujitsu Ltd., 발명의 명칭 : 적외선 화재 감시 장치)
본 발명의 실시예는, 제1 카메라와 제2 카메라가 일체식으로 설치된 스테레오 카메라 시스템에서 보다 용이하고 정확하게 영상 정합 알고리즘을 설정할 수 있게 해주는 방법을 제공하고자 한다.
본 발명의 일 측면에 의하면, 제1 카메라와 제2 카메라가 일체식으로 설치된 스테레오 카메라 시스템에서, 상기 제1 카메라와 상기 제2 카메라로부터의 영상들을 정합시키기 위한 영상 정합 알고리즘을 설정하는 방법에 있어서, 단계들 (a) 및 (b)를 포함한다.
상기 단계 (a)에서는, 상기 제1 카메라와 상기 제2 카메라가 일체식으로 패닝 및 틸팅을 수행하면서 단일 기준 피사체를 촬영함에 의하여, 상기 단일 기준 피사체의 영상이 서로 다른 위치에 있는 복수의 영상들이 구해진다.
상기 단계 (b)에서는, 구해진 상기 복수의 영상들이 사용되어 상기 영상 정합 알고리즘이 설정된다.
바람직하게는, 상기 단일 기준 피사체의 영상이 서로 다른 위치에 있는 상기 복수의 영상들 각각에서, 상기 단일 기준 피사체의 영상을 제외한 나머지 영상의 화소들의 계조가 영(0)이 된다.
또한, 상기 단계 (b)에서 상기 영상 정합 알고리즘을 설정함에 있어서, 서로 다른 위치에 있는 상기 단일 기준 피사체의 영상의 중심 좌표들이 특징점들의 좌표들로서 사용될 수 있다.
또한, 상기 단계 (b)는 단계들 (b1) 내지 (b3)을 포함할 수 있다.
상기 단계 (b1)에서는, 상기 제1 카메라로부터의 상기 복수의 영상들이 합성되어 제1 기준 영상이 구해진다.
상기 단계 (b2)에서는, 상기 제2 카메라로부터의 상기 복수의 영상들이 합성되어 제2 기준 영상이 구해진다.
상기 단계 (b3)에서는, 상기 제1 기준 영상과 상기 제2 기준 영상이 사용되어, 상기 영상 정합 알고리즘이 설정된다.
또한, 상기 단계 (b3)은 단계들 (b31) 내지 (b33)을 포함할 수 있다.
상기 단계 (b31)에서는, 상기 제1 기준 영상의 3차원적 성분이 2차원적 성분으로 변환되도록 상기 제1 기준 영상에 대하여 투영(projection)이 수행되어, 투영된 결과의 제1 기준 영상이 구해진다.
상기 단계 (b32)에서는, 상기 제2 기준 영상의 3차원적 성분이 2차원적 성분으로 변환되도록 상기 제2 기준 영상에 대하여 투영(projection)이 수행되어, 투영된 결과의 제2 기준 영상이 구해진다.
상기 단계 (b33)에서는, 상기 투영된 결과의 제1 및 제2 기준 영상들이 사용되어, 상기 제2 기준 영상의 각 화소의 위치 변환을 위한 상기 영상 정합 알고리즘으로서의 2차원 호모그래피(homography) 행렬이 구해진다.
또한, 상기 단계 (b33)은 단계들 (b331) 내지 (b333)을 포함할 수 있다.
상기 단계 (b331)에서는, 상기 투영된 결과의 제1 기준 영상에서, 특징점들의 좌표들에 의한 직선 방정식들이 구해진다.
상기 단계 (b332)에서는, 상기 투영된 결과의 제2 기준 영상에서, 특징점들의 좌표들에 의한 직선 방정식들이 구해진다.
상기 단계 (b333)에서는, 상기 투영된 결과의 제1 기준 영상 및 제2 기준 영상의 상기 직선 방정식들이 사용되어, 상기 영상 정합 알고리즘으로서의 2차원 호모그래피(homography) 행렬이 구해진다.
본 발명의 일 측면의 상기 영상 정합 알고리즘을 설정하는 방법에 의하면, 상기 제1 카메라와 상기 제2 카메라가 일체식으로 패닝 및 틸팅을 수행하면서 단일 기준 피사체를 촬영함에 의하여, 상기 단일 기준 피사체의 영상이 서로 다른 위치에 있는 복수의 영상들이 구해진다. 또한, 구해진 상기 복수의 영상들이 사용되어 상기 영상 정합 알고리즘이 설정된다.
따라서, 다음과 같은 효과들이 있다.
첫째, 영상 정합에 적합한 개수의 기준 피사체 영상들이 자유롭게 배치될 수 있다.
둘째, 기준 피사체 영상들이 영상 정합에 적합한 위치들에 자유롭게 배치될 수 있다.
셋째, 영상 정합에 적합한 단일 기준 피사체가 다양하게 선정될 수 있다.
그리고 넷째, 가장 낮은 줌 배율(즉, 가장 넓은 화각)에 대응하기 위하여 방대한 크기의 기준 피사체를 설치할 필요가 없다.
따라서, 보다 용이하고 정확하게 영상 정합 알고리즘이 설정될 수 있다. 예를 들어, 상대적으로 높은 줌 배율에서 영상 정합 알고리즘을 설정할 경우, 즉, 상대적으로 좁은 화각에서 영상 정합 알고리즘을 설정할 경우, 열(熱)-영상의 해상도가 더욱 낮아지게 된다. 하지만, 기준 피사체 영상들이 자유롭고 적절하게 생성될 수 있으므로, 열(熱)-영상에서 특징점들을 정확하게 찾을 수 있다.
도 1은 본 발명의 실시예의 영상 정합 알고리즘을 설정하는 방법이 수행되는 스테레오 카메라 시스템을 보여주는 도면이다.
도 2는 본 발명의 실시예의 영상 정합 알고리즘을 설정하는 방법을 보여주는 흐름도이다.
도 3은 스테레오 카메라가 도 2의 단계 (a)를 수행하는 예를 보여주는 도면이다.
도 4는 도 2의 단계 (a)를 수행한 결과의 예를 보여주는 도면이다.
도 5는 도 2의 단계 (b)의 상세 과정의 예를 보여주는 흐름도이다.
도 6은 도 5의 단계들 (b1) 및 (b2)를 수행한 결과의 예를 보여주는 도면이다.
도 7은 도 2의 영상 정합 알고리즘을 총괄적으로 설명하기 위한 도면이다.
도 8은 도 5의 단계 (b3)의 상세 과정의 예를 보여주는 흐름도이다.
도 9는 도 8의 단계들 (b31) 및 (b33)을 설명하기 위한 도면이다.
도 10은 도 8의 단계 (b33)의 상세 과정의 예를 보여주는 흐름도이다.
하기의 설명 및 첨부된 도면은 본 발명에 따른 동작을 이해하기 위한 것이며, 본 기술 분야의 통상의 기술자가 용이하게 구현할 수 있는 부분은 생략될 수 있다.
또한 본 명세서 및 도면은 본 발명을 제한하기 위한 목적으로 제공된 것은 아니고, 본 발명의 범위는 청구의 범위에 의하여 정해져야 한다. 본 명세서에서 사용된 용어들은 본 발명을 가장 적절하게 표현할 수 있도록 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
이하 첨부된 도면들을 참조하여 본 발명의 실시예가 상세히 설명된다.
도 1은 본 발명의 실시예의 영상 정합 알고리즘을 설정하는 방법이 수행되는 스테레오 카메라 시스템을 보여준다.
도 1의 스테레오 카메라 시스템을 참조하면, 제2 카메라(102)로서의 열(熱)-영상 카메라는 피사체의 온도에 따른 열(熱) 영상으로서의 제2 영상(Ithe)을 출력한다. 제1 카메라(101)로서의 가시(可視) 영상 카메라는 피사체의 가시(可視) 영상으로서의 제1 영상(Ivis)을 출력한다.
제어 장치(103)는, 제1 카메라(101)로부터의 제1 영상(Ivis)과 제2 카메라(102)로부터의 제2 영상(Ithe)에 대하여 정합(registration) 및 융합(fusion)을 수행한다. 정합은 두 영상들의 위치를 일치시키는 처리 과정이다. 융합은 정합 결과의 영상에 대하여 원래의 두 영상들의 계조를 조정하는 처리 과정이다.
제어 장치(103)는 정합 및 융합 결과의 영상(Imix)을 디스플레이 장치(104) 또는 클라이언트 단말기들(도시되지 않음)에게 제공한다. 물론, 제어 장치(103)는 제1 영상(Ivis), 제2 영상(Ithe), 또는 융합 결과의 영상(Imix)을 기록기에 저장할 수도 있다.
상기 정합 동작을 위하여, 도 1의 제어 장치(103)에는 영상 정합 알고리즘이 설정되어야 한다. 이하, 본 실시예의 영상 정합 알고리즘을 설정하는 방법이 상세히 설명된다.
도 2는 본 발명의 실시예의 영상 정합 알고리즘을 설정하는 방법을 보여준다.
도 3은 스테레오 카메라(301)가 도 2의 단계 (a)를 수행하는 예를 보여준다. 도 3에서 패닝(panning) 및 틸팅(tilting)을 수행하는 스테레오 카메라(301) 내에는 제1 카메라(도 1의 101)로서의 가시(可視) 영상 카메라와 제2 카메라(도 1의 102)로서의 열(熱)-영상 카메라가 일체식으로 설치되어 있다.
도 3에서 참조 부호 302는 단일 기준 피사체(304)의 배경 영역을, 303은 촬영 대상 영역을, 그리고 304는 단일 기준 피사체로서의 카메라 교정용 흑체원(black body source)을 각각 가리킨다. 도 3을 참조하면, 스테레오 카메라(301)는, 단일 기준 피사체(304)가 중앙에 위치하도록 촬영한 후, 하향 틸팅 및 우향 패닝에 의하여 단일 기준 피사체(304)가 좌상단에 위치하도록 촬영하고 있다.
도 4는 도 2의 단계 (a)를 수행한 결과의 예를 보여준다. 도 4에서 참조 부호 401a 내지 401e는 제1 카메라(도 1의 101)로부터의 복수의 영상들, 402a 내지 402e는 제2 카메라(도 1의 102)로부터의 복수의 영상들을, 그리고 403은 단일 기준 피사체의 영상을 각각 가리킨다.
도 1 내지 4를 참조하여 본 실시예의 영상 정합 알고리즘을 설정하는 방법을 설명하면 다음과 같다.
스테레오 카메라(301)는 제어 장치(103)의 제어에 의하여 다음과 같이 동작한다.
스테레오 카메라(301) 내의 제1 카메라(101)와 제2 카메라(102)는, 일체식으로 패닝 및 틸팅을 수행하면서 단일 기준 피사체(304)를 촬영함에 의하여, 단일 기준 피사체의 영상(403)이 서로 다른 위치에 있는 복수의 영상들(401a 내지 401e, 402a 내지 402e)을 구한다(단계 (a)).
여기에서, 보다 정밀한 정합 알고리즘을 설정하기 위하여, 제어 장치(103)는 복수의 영상들(401a 내지 401e, 402a 내지 402e) 각각에서 단일 기준 피사체의 영상(403)을 제외한 나머지 영상의 화소들의 계조가 영(0)이 되게 할 수 있다. 즉, 제어 장치(103)는 마스킹 처리를 할 수 있다.
그리고, 제어 장치(103)는 구해진 복수의 영상들(401a 내지 401e, 402a 내지 402e)을 사용하여 영상 정합 알고리즘을 설정한다(단계 (b)). 여기에서, 서로 다른 위치에 있는 단일 기준 피사체의 영상(403)의 중심 좌표들이 특징점들의 좌표들로서 사용된다.
따라서, 상기와 같은 본 실시예의 영상 정합 알고리즘을 설정하는 방법에 의하면, 다음과 같은 효과들이 있다.
첫째, 영상 정합에 적합한 개수의 기준 피사체 영상들(403)이 자유롭게 배치될 수 있다.
둘째, 기준 피사체 영상들(403)이 영상 정합에 적합한 위치들에 자유롭게 배치될 수 있다.
셋째, 영상 정합에 적합한 단일 기준 피사체(304)가 다양하게 선정될 수 있다.
그리고 넷째, 가장 낮은 줌 배율(즉, 가장 넓은 화각)에 대응하기 위하여 방대한 크기의 기준 피사체를 설치할 필요가 없다.
따라서, 보다 용이하고 정확하게 영상 정합 알고리즘이 설정될 수 있다. 예를 들어, 상대적으로 높은 줌 배율에서 영상 정합 알고리즘을 설정할 경우, 즉, 상대적으로 좁은 화각에서 영상 정합 알고리즘을 설정할 경우, 열(熱)-영상의 해상도가 더욱 낮아지게 된다. 하지만, 기준 피사체 영상들(403)이 자유롭고 적절하게 생성될 수 있으므로, 열(熱)-영상(402a 내지 402e)에서 특징점들을 정확하게 찾을 수 있다.
도 5는 도 2의 단계 (b)의 상세 과정의 예를 보여준다.
도 6은 도 5의 단계들 (b1) 및 (b2)를 수행한 결과의 예를 보여준다. 도 6에서 참조 부호 403은 단일 기준 피사체의 영상을, 601은 제1 기준 영상을, 그리고 602는 제2 기준 영상을 각각 가리킨다.
도 1 및 도 4 내지 6을 참조하여 도 2의 단계 (b)의 상세 과정의 예를 설명하면 다음과 같다.
제어 장치(103)는 제1 카메라(101)로부터의 상기 복수의 영상들(401a 내지 401e)을 합성하여 제1 기준 영상(601)을 구한다(단계 (b1)).
또한, 제어 장치(103)는 제2 카메라(102)로부터의 상기 복수의 영상들(402a 내지 402e)을 합성하여 제2 기준 영상(602)을 구한다(단계 (b2)).
그리고, 제어 장치(103)는 제1 기준 영상(601)과 제2 기준 영상(602)을 사용하여, 영상 정합 알고리즘을 설정한다(단계 (b3)).
도 7은 도 2의 영상 정합 알고리즘을 총괄적으로 설명하기 위한 도면이다.
도 1 및 7을 참조하면, 보다 정밀한 정합 알고리즘의 설정을 위하여, 제1 카메라(101)로부터의 복수의 영상들(701a 내지 701e)은 마스킹 처리된 복수의 영상들(703a 내지 703e)로 변환된다. 즉, 복수의 영상들(701a 내지 701e) 각각에서 단일 기준 피사체의 영상을 제외한 나머지 영상의 화소들의 계조가 영(0)이 된다.
이와 마찬가지로, 보다 정밀한 정합 알고리즘의 설정을 위하여, 제2 카메라(102)로부터의 복수의 영상들(702a 내지 702e)은 마스킹 처리된 복수의 영상들(704a 내지 704e)로 변환된다. 즉, 복수의 영상들(702a 내지 702e) 각각에서 단일 기준 피사체의 영상을 제외한 나머지 영상의 화소들의 계조가 영(0)이 된다.
다음에, 마스킹 처리된 제1 복수의 영상들(703a 내지 703e)이 서로 합성됨에 의하여 제1 기준 영상(705)이 구해진다.
이와 마찬가지로, 마스킹 처리된 제2 복수의 영상들(704a 내지 704e)이 서로 합성됨에 의하여 제2 기준 영상(706)이 구해진다.
그래서, 제1 기준 영상(705)과 제2 기준 영상(706)이 사용되어, 영상 정합 알고리즘이 설정된다.
도 8은 도 5의 단계 (b3)의 상세 과정의 예를 보여준다.
도 9는 도 8의 단계들 (b31) 및 (b33)을 설명하기 위한 도면이다. 도 9에서, 참조 부호 901은 2차원 투영(projection) 평면을, 902는 투영된 결과의 제1 기준 영상을, 그리고 903은 투영된 결과의 제2 기준 영상을 가리킨다.
도 1 및 도 7 내지 9를 참조하여 도 5의 단계 (b3)의 상세 과정의 예를 설명하면 다음과 같다.
제어 장치(103)는, 제1 기준 영상(705)의 3차원적 성분이 2차원적 성분으로 변환되도록 제1 기준 영상(705)에 대하여 투영(projection)을 수행하여, 투영된 결과의 제1 기준 영상(902)을 구한다(단계 (b31)). 영상에서의 3차원적 성분을 2차원적 성분으로 변환하기 위한 투영(projection) 방법은, 이미 잘 알려져 있으므로, 그 설명이 생략된다.
이와 마찬가지로, 제어 장치(103)는, 제2 기준 영상(706)의 3차원적 성분이 2차원적 성분으로 변환되도록 제1 기준 영상(706)에 대하여 투영(projection)을 수행하여, 투영된 결과의 제2 기준 영상(903)을 구한다(단계 (b32)).
그리고, 제어 장치(103)는, 투영된 결과의 제1 및 제2 기준 영상들(902, 903)을 사용하여, 투영된 결과의 제2 기준 영상(902)의 각 화소의 위치 변환을 위한 상기 영상 정합 알고리즘으로서의 2차원 호모그래피(homography) 행렬을 구한다(단계 (b33)).
도 9에서 특징점 A1은 A2에 대응하고, 특징점 B1은 B2에 대응하며, 특징점 C1은 C2에 대응하고, 특징점 D1은 D2에 대응하며, 특징점 E1은 E2에 대응한다. 여기에서, 서로 다른 위치에 있는 단일 기준 피사체의 영상의 중심 좌표들이 특징점들의 좌표들로서 사용된다. 도 9에 도시된 바와 같이 대응 특징점들의 위치가 서로 다른 이유는, 3차원적 성분이 2차원적 성분으로 변환되는 과정에서 거리(depth) 성분이 반영되기 때문이다.
도 10은 도 8의 단계 (b33)의 상세 과정의 예를 보여준다.
도 1, 9 및 10을 참조하여 도 8의 단계 (b33)의 상세 과정의 예를 상세히 설명하면 다음과 같다.
제어 장치(103)는, 투영된 결과의 제1 기준 영상(902)에서, 특징점들(A1 내지 E1)의 좌표들에 의한 직선 방정식들을 구한다(단계 (b331)). 상기한 바와 같이, 서로 다른 위치에 있는 단일 기준 피사체의 영상의 중심 좌표들이 특징점들의 좌표들로서 사용된다.
이와 마찬가지로, 제어 장치(103)는, 투영된 결과의 제2 기준 영상(903)에서, 특징점들(A2 내지 E2)의 좌표들에 의한 직선 방정식들을 구한다(단계 (b332)).
그리고, 제어 장치(103)는, 투영된 결과의 제1 기준 영상(902) 및 제2 기준 영상(902)의 상기 직선 방정식들을 사용하여, 상기 영상 정합 알고리즘으로서의 2차원 호모그래피(homography) 행렬을 구한다(단계 (b333)).
영상 정합을 위한 2차원 호모그래피 행렬의 설정 방법은, 이미 잘 알려져 있으므로, 그 상세한 설명이 생략된다.
예를 들어, 스테레오 카메라의 경우, 투영된 결과의 제2 기준 영상(403)의 각 화소의 위치 변환을 위한 2차원 호모그래피(homography) 행렬 H는 아래의 수학식 1과 같이 구해질 수 있다.
Figure pat00001
상기 수학식 1에서 변수 원소 h13은 대상 화소의 x-좌표 차이 값을, 그리고 h23은 대상 화소의 y-좌표 차이 값을 각각 가리킨다. 즉, 상기 수학식 1을 사용하여, 제2 영상(도 1의 Ithe)의 모든 화소들 각각에 대한 정합 결과로서의 x-좌표 값 및 y-좌표 값이 구해질 수 있다.
이상 설명된 바와 같이, 본 발명의 실시예의 영상 정합 알고리즘을 설정하는 방법에 의하면, 제1 카메라와 제2 카메라가 일체식으로 패닝 및 틸팅을 수행하면서 단일 기준 피사체를 촬영함에 의하여, 단일 기준 피사체의 영상이 서로 다른 위치에 있는 복수의 영상들이 구해진다. 또한, 구해진 복수의 영상들이 사용되어 영상 정합 알고리즘이 설정된다.
따라서, 다음과 같은 효과들이 있다.
첫째, 영상 정합에 적합한 개수의 기준 피사체 영상들이 자유롭게 배치될 수 있다.
둘째, 기준 피사체 영상들이 영상 정합에 적합한 위치들에 자유롭게 배치될 수 있다.
셋째, 영상 정합에 적합한 단일 기준 피사체가 다양하게 선정될 수 있다.
그리고 넷째, 가장 낮은 줌 배율(즉, 가장 넓은 화각)에 대응하기 위하여 방대한 크기의 기준 피사체를 설치할 필요가 없다.
따라서, 보다 용이하고 정확하게 영상 정합 알고리즘이 설정될 수 있다. 예를 들어, 상대적으로 높은 줌 배율에서 영상 정합 알고리즘을 설정할 경우, 즉, 상대적으로 좁은 화각에서 영상 정합 알고리즘을 설정할 경우, 열(熱)-영상의 해상도가 더욱 낮아지게 된다. 하지만, 기준 피사체 영상들이 자유롭고 적절하게 생성될 수 있으므로, 열(熱)-영상에서 특징점들을 정확하게 찾을 수 있다.
이제까지 본 발명에 대하여 바람직한 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다.
그러므로 상기 개시된 실시예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 특허청구범위에 의해 청구된 발명 및 청구된 발명과 균등한 발명들은 본 발명에 포함된 것으로 해석되어야 한다.
두 영상들의 정합 뿐만 아니라, 세 개 이상의 영상들의 정합에도 이용될 가능성이 있다.
101 : 제1 카메라, Ivis : 제1 영상,
102 : 제2 카메라, Ithe : 제2 영상,
103 : 제어 장치,
Imix : 정합 및 융합 결과의 영상, 301 : 스테레오 카메라,
302 : 단일 기준 피사체의 배경 영역, 303 : 촬영 대상 영역,
304 : 카메라 교정용 흑체원(black body source),
401a 내지 401e : 제1 카메라로부터의 복수의 영상들,
402a 내지 402e : 제2 카메라로부터의 복수의 영상들,
403 : 단일 기준 피사체의 영상, 601 : 제1 기준 영상,
602 : 제2 기준 영상,
701a 내지 701e : 제1 카메라로부터의 복수의 영상들,
702a 내지 702e : 제2 카메라로부터의 복수의 영상들,
703a 내지 703e : 마스킹 처리된 복수의 영상들,
704a 내지 704e : 마스킹 처리된 복수의 영상들,
705 : 제1 기준 영상, 706 : 제2 기준 영상,
901 : 2차원 투영(projection) 평면,
902 : 투영된 결과의 제1 기준 영상,
903 : 투영된 결과의 제2 기준 영상.

Claims (6)

  1. 제1 카메라와 제2 카메라가 일체식으로 설치된 스테레오 카메라 시스템에서, 상기 제1 카메라와 상기 제2 카메라로부터의 영상들을 정합시키기 위한 영상 정합 알고리즘을 설정하는 방법에 있어서,
    (a) 상기 제1 카메라와 상기 제2 카메라가 일체식으로 패닝 및 틸팅을 수행하면서 단일 기준 피사체를 촬영함에 의하여, 상기 단일 기준 피사체의 영상이 서로 다른 위치에 있는 복수의 영상들을 구함; 및
    (b) 구해진 상기 복수의 영상들을 사용하여 상기 영상 정합 알고리즘을 설정함;을 포함한, 영상 정합 알고리즘을 설정하는 방법.
  2. 제1항에 있어서, 상기 단일 기준 피사체의 영상이 서로 다른 위치에 있는 상기 복수의 영상들 각각에서,
    상기 단일 기준 피사체의 영상을 제외한 나머지 영상의 화소들의 계조가 영(0)이 되는, 영상 정합 알고리즘을 설정하는 방법.
  3. 제1항에 있어서, 상기 단계 (b)에서 상기 영상 정합 알고리즘을 설정함에 있어서,
    서로 다른 위치에 있는 상기 단일 기준 피사체의 영상의 중심 좌표들이 특징점들의 좌표들로서 사용되는, 영상 정합 알고리즘을 설정하는 방법.
  4. 제1항에 있어서, 상기 단계 (b)는,
    (b1) 상기 제1 카메라로부터의 상기 복수의 영상들을 합성하여 제1 기준 영상을 구함;
    (b2) 상기 제2 카메라로부터의 상기 복수의 영상들을 합성하여 제2 기준 영상을 구함; 및
    (b3) 상기 제1 기준 영상과 상기 제2 기준 영상을 사용하여, 상기 영상 정합 알고리즘을 설정함;을 포함한, 영상 정합 알고리즘을 설정하는 방법.
  5. 제4항에 있어서, 상기 단계 (b3)은,
    (b31) 상기 제1 기준 영상의 3차원적 성분이 2차원적 성분으로 변환되도록 상기 제1 기준 영상에 대하여 투영(projection)을 수행하여, 투영된 결과의 제1 기준 영상을 구함;
    (b32) 상기 제2 기준 영상의 3차원적 성분이 2차원적 성분으로 변환되도록 상기 제2 기준 영상에 대하여 투영(projection)을 수행하여, 투영된 결과의 제2 기준 영상을 구함; 및
    (b33) 상기 투영된 결과의 제1 및 제2 기준 영상들을 사용하여, 상기 투영된 결과의 제2 기준 영상의 각 화소의 위치 변환을 위한 상기 영상 정합 알고리즘으로서의 2차원 호모그래피(homography) 행렬을 구함;을 포함한, 영상 정합 알고리즘을 설정하는 방법.
  6. 제4항에 있어서, 상기 단계 (b33)은,
    (b331) 상기 투영된 결과의 제1 기준 영상에서, 특징점들의 좌표들에 의한 직선 방정식들을 구함;
    (b332) 상기 투영된 결과의 제2 기준 영상에서, 특징점들의 좌표들에 의한 직선 방정식들을 구함; 및
    (b333) 상기 투영된 결과의 제1 기준 영상 및 제2 기준 영상의 상기 직선 방정식들을 사용하여, 상기 영상 정합 알고리즘으로서의 2차원 호모그래피(homography) 행렬을 구함;을 포함한, 영상 정합 알고리즘을 설정하는 방법.
KR1020140151584A 2014-11-03 2014-11-03 영상 정합 알고리즘을 설정하는 방법 Active KR102225617B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020140151584A KR102225617B1 (ko) 2014-11-03 2014-11-03 영상 정합 알고리즘을 설정하는 방법
US14/882,870 US10078899B2 (en) 2014-11-03 2015-10-14 Camera system and image registration method thereof
CN201510736765.6A CN105574847B (zh) 2014-11-03 2015-11-03 相机系统及其图像配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140151584A KR102225617B1 (ko) 2014-11-03 2014-11-03 영상 정합 알고리즘을 설정하는 방법

Publications (2)

Publication Number Publication Date
KR20160051473A true KR20160051473A (ko) 2016-05-11
KR102225617B1 KR102225617B1 (ko) 2021-03-12

Family

ID=55853201

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140151584A Active KR102225617B1 (ko) 2014-11-03 2014-11-03 영상 정합 알고리즘을 설정하는 방법

Country Status (3)

Country Link
US (1) US10078899B2 (ko)
KR (1) KR102225617B1 (ko)
CN (1) CN105574847B (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101932547B1 (ko) * 2014-10-23 2018-12-27 한화테크윈 주식회사 카메라 시스템 및 이의 영상 정합 방법
WO2018112820A1 (en) * 2016-12-22 2018-06-28 Motorola Solutions, Inc. Method and system for tracking an object of interest in a talkgroup
WO2019130827A1 (ja) * 2017-12-25 2019-07-04 キヤノン株式会社 画像処理装置およびその制御方法
JP7058585B2 (ja) * 2017-12-25 2022-04-22 キヤノン株式会社 画像処理装置およびその制御方法
CN108399631B (zh) * 2018-03-01 2022-02-11 北京中测智绘科技有限公司 一种尺度不变性的倾斜影像多视密集匹配方法
GB2572795A (en) * 2018-04-11 2019-10-16 Nokia Technologies Oy Camera registration
CN111741209A (zh) * 2019-03-25 2020-10-02 浙江宇视科技有限公司 一种图像采集方法、系统、可读存储介质及电子设备
CN110322485B (zh) * 2019-06-25 2022-08-26 南京智谱科技有限公司 一种异构多相机成像系统的快速图像配准方法
US11270448B2 (en) 2019-11-26 2022-03-08 Microsoft Technology Licensing, Llc Using machine learning to selectively overlay image content
US11321939B2 (en) 2019-11-26 2022-05-03 Microsoft Technology Licensing, Llc Using machine learning to transform image styles
CN111429493B (zh) * 2020-03-20 2023-05-05 青岛联合创智科技有限公司 一种多图像间特征点匹配方法
CN113971689B (zh) * 2021-09-08 2024-12-17 浙江大华技术股份有限公司 图像配准方法以及相关装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040189674A1 (en) * 2003-03-31 2004-09-30 Zhengyou Zhang System and method for whiteboard scanning to obtain a high resolution image
US20070014347A1 (en) * 2005-04-07 2007-01-18 Prechtl Eric F Stereoscopic wide field of view imaging system
US20130004021A1 (en) * 2010-03-01 2013-01-03 Honda Motor Co., Ltd. Vehicle perimeter monitoring device
US20140036085A1 (en) * 2011-03-22 2014-02-06 Bruno Avignon Monitoring System

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1213784A (zh) * 1998-08-28 1999-04-14 清华大学 一种立体图片制作方法
US6856344B2 (en) * 2002-04-02 2005-02-15 Robert H. Franz Vehicle undercarriage inspection and imaging method and system
JP4075892B2 (ja) 2002-10-22 2008-04-16 トヨタ自動車株式会社 画像処理方法および画像処理装置
CN1229751C (zh) * 2003-08-14 2005-11-30 中国人民解放军第一军医大学 基于相同重叠区框架下的多设备医学图像刚性配准方法
US7103399B2 (en) * 2003-09-08 2006-09-05 Vanderbilt University Apparatus and methods of cortical surface registration and deformation tracking for patient-to-image alignment in relation to image-guided surgery
US7436429B2 (en) * 2003-11-24 2008-10-14 The Boeing Company Virtual pan/tilt camera system and method for vehicles
KR20050063991A (ko) 2003-12-23 2005-06-29 한국전자통신연구원 영상 피라미드를 이용한 영상정합 처리방법 및 장치
EP1831657B1 (en) * 2004-12-03 2018-12-05 Fluke Corporation Method for a visible light and ir combined image camera
JP4817881B2 (ja) * 2006-02-24 2011-11-16 キヤノン株式会社 画像処理方法及び画像処理装置
JP5036260B2 (ja) * 2006-09-14 2012-09-26 キヤノン株式会社 位置姿勢算出方法及び装置
JP2008164367A (ja) * 2006-12-27 2008-07-17 Matsushita Electric Ind Co Ltd 固体撮像装置、カメラ、車両及び監視装置
JP4694581B2 (ja) * 2008-01-25 2011-06-08 富士フイルム株式会社 ファイル生成装置および方法、３次元形状再生装置および方法並びにプログラム
KR100986809B1 (ko) 2008-07-17 2010-10-08 인하대학교 산학협력단 크기불변특징변환을 이용한 다중해상도 위성영상간자동기하보정 방법
CN101339658B (zh) * 2008-08-12 2010-09-01 北京航空航天大学 航拍交通视频的快速鲁棒配准方法
US7924312B2 (en) * 2008-08-22 2011-04-12 Fluke Corporation Infrared and visible-light image registration
CN101388115B (zh) * 2008-10-24 2011-07-27 北京航空航天大学 一种结合纹理信息的深度图像自动配准方法
US8310539B2 (en) * 2009-05-29 2012-11-13 Mori Seiki Co., Ltd Calibration method and calibration device
US20100328456A1 (en) * 2009-06-30 2010-12-30 Nokia Corporation Lenslet camera parallax correction using distance information
JP2011043419A (ja) * 2009-08-21 2011-03-03 Sony Corp 情報処理装置、および情報処理方法、並びにプログラム
JP5364528B2 (ja) 2009-10-05 2013-12-11 株式会社日立ハイテクノロジーズ パターンマッチング方法、パターンマッチングプログラム、電子計算機、電子デバイス検査装置
US8633810B2 (en) * 2009-11-19 2014-01-21 Robert Bosch Gmbh Rear-view multi-functional camera system
US20120019614A1 (en) * 2009-12-11 2012-01-26 Tessera Technologies Ireland Limited Variable Stereo Base for (3D) Panorama Creation on Handheld Device
US8447136B2 (en) * 2010-01-12 2013-05-21 Microsoft Corporation Viewing media in the context of street-level images
EP2375376B1 (en) * 2010-03-26 2013-09-11 Alcatel Lucent Method and arrangement for multi-camera calibration
JP5521888B2 (ja) * 2010-08-19 2014-06-18 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び電子装置
CN101937565B (zh) * 2010-09-16 2013-04-24 上海交通大学 基于运动目标轨迹的动态图像配准方法
WO2012064106A2 (en) * 2010-11-12 2012-05-18 Samsung Electronics Co., Ltd. Method and apparatus for video stabilization by compensating for view direction of camera
US9204062B2 (en) * 2011-08-24 2015-12-01 Fluke Corporation Thermal imaging camera with range detection
KR101323141B1 (ko) 2011-12-13 2013-10-30 전자부품연구원 가시광선센서와 열영상센서의 동시 보정장치 및 방법
TW201329426A (zh) * 2012-01-12 2013-07-16 Hon Hai Prec Ind Co Ltd 鏡頭檢測裝置及檢測方法
CN102801994B (zh) * 2012-06-19 2014-08-20 西北工业大学 一种信息物理图像融合装置与方法
CN103927739B (zh) * 2014-01-10 2016-11-23 北京航天飞行控制中心 一种基于拼接图像的巡视器定位方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040189674A1 (en) * 2003-03-31 2004-09-30 Zhengyou Zhang System and method for whiteboard scanning to obtain a high resolution image
US20070014347A1 (en) * 2005-04-07 2007-01-18 Prechtl Eric F Stereoscopic wide field of view imaging system
US20130004021A1 (en) * 2010-03-01 2013-01-03 Honda Motor Co., Ltd. Vehicle perimeter monitoring device
US20140036085A1 (en) * 2011-03-22 2014-02-06 Bruno Avignon Monitoring System

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
일본 공개특허 공보 제1997-233461호 (출원인 : Fujitsu Ltd., 발명의 명칭 : 적외선 화재 감시 장치)

Also Published As

Publication number Publication date
US20160125585A1 (en) 2016-05-05
CN105574847B (zh) 2020-11-10
US10078899B2 (en) 2018-09-18
CN105574847A (zh) 2016-05-11
KR102225617B1 (ko) 2021-03-12

Similar Documents

Publication Publication Date Title
KR102225617B1 (ko) 영상 정합 알고리즘을 설정하는 방법
KR102149276B1 (ko) 영상 정합 방법
US10425638B2 (en) Equipment and method for promptly performing calibration and verification of intrinsic and extrinsic parameters of a plurality of image capturing elements installed on electronic device
KR101803712B1 (ko) 화상처리장치, 제어 방법, 프로그램 및 기록 매체
CN110809786B (zh) 校准装置、校准图表、图表图案生成装置和校准方法
KR101932547B1 (ko) 카메라 시스템 및 이의 영상 정합 방법
TWI253006B (en) Image processing system, projector, information storage medium, and image processing method
KR101521008B1 (ko) 어안 렌즈를 사용하여 얻은 왜곡영상에 대한 보정방법 및 이를 구현하기 위한 영상 디스플레이 시스템
TW200425736A (en) Image processing system, projector and image processing method
US9030553B2 (en) Projector image correction device and method
JP2015035658A (ja) 画像処理装置、画像処理方法、および撮像装置
EP3606059B1 (en) Projector calibration method and projection system using the same
JP6604908B2 (ja) 画像処理装置、その制御方法、および制御プログラム
JP2013123123A (ja) ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム
KR101801100B1 (ko) 몰입형 콘텐츠 제작 지원용 영상 제공 장치 및 방법
TW201225658A (en) Imaging device, image-processing device, image-processing method, and image-processing program
JP2015036841A (ja) 画像処理装置、距離計測装置、撮像装置、画像処理方法
CN111279393A (zh) 相机标定方法、装置、设备及存储介质
KR101842141B1 (ko) 3차원 스캐닝 장치 및 방법
JP2020088708A (ja) 制御装置、撮像装置およびプログラム
JP2019029721A (ja) 画像処理装置、画像処理方法およびプログラム
JP6700935B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP6622621B2 (ja) 多視点カメラ制御装置及びそのプログラム、並びに、多視点映像撮影システム
JP2005258953A (ja) 魚眼カメラ、及び魚眼カメラにおけるキャリブレーション方法
CN105472263A (zh) 影像撷取方法及使用此方法的影像撷取设备

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20141103

PG1501 Laying open of application
N231 Notification of change of applicant
PN2301 Change of applicant

Patent event date: 20180919

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20190924

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20141103

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20200730

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20210127

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20210303

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20210304

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20240222

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20250225

Start annual number: 5

End annual number: 5