KR101806045B1 - Real time image composing equipment using infrared camera and visible camera and method for controlling the same - Google Patents
Real time image composing equipment using infrared camera and visible camera and method for controlling the same Download PDFInfo
- Publication number
- KR101806045B1 KR101806045B1 KR1020160134627A KR20160134627A KR101806045B1 KR 101806045 B1 KR101806045 B1 KR 101806045B1 KR 1020160134627 A KR1020160134627 A KR 1020160134627A KR 20160134627 A KR20160134627 A KR 20160134627A KR 101806045 B1 KR101806045 B1 KR 101806045B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- visible light
- infrared
- camera
- infrared camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 21
- 230000002194 synthesizing effect Effects 0.000 claims description 26
- 239000011159 matrix material Substances 0.000 claims description 20
- 230000015572 biosynthetic process Effects 0.000 claims description 10
- 238000003786 synthesis reaction Methods 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 2
- 206010028980 Neoplasm Diseases 0.000 description 7
- 201000011510 cancer Diseases 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 239000003086 colorant Substances 0.000 description 5
- 239000000470 constituent Substances 0.000 description 5
- 238000001308 synthesis method Methods 0.000 description 5
- 238000005192 partition Methods 0.000 description 3
- 238000007626 photothermal therapy Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 206010037660 Pyrexia Diseases 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002105 nanoparticle Substances 0.000 description 1
- 230000003647 oxidation Effects 0.000 description 1
- 238000007254 oxidation reaction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H04N5/2258—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
Description
이하의 설명은 적외선 및 가시광 카메라의 실시간 이미지 합성 장치 및 그 제어 방법에 관한 것이다.The following description relates to a real-time image synthesizing apparatus of an infrared ray and visible light camera and a control method thereof.
암을 치료를 하는 과정에서 금 나노입자를 암세포에 전달하고 빛을 조사하여 암세포를 괴사시킬 수 있는 광열 치료가 수행될 수 있다. 이러한 광열 치료의 모니터링을 위해서 적외선 카메라와 가시광 카메라에서 촬영한 이미지를 실시간으로 합성하여, 암 조직의 발열부위, 분포 및 발열량을 실시간으로 측정할 수 있다.In the course of cancer treatment, photothermal therapy can be performed that can deliver gold nanoparticles to cancer cells and light them to necrotize cancer cells. In order to monitor such photothermal therapy, images captured by an infrared camera and a visible light camera can be synthesized in real time, and the fever region, distribution, and calorific value of cancer tissue can be measured in real time.
가시광 카메라와 적외선 카메라에서 촬영한 이미지를 합성하는 과정에서 가시광 카메라와 적외선 카메라의 캘리브레이션 과정이 필요할 수 있다. 이때, 하나의 캘리브레이션 보드를 사용하여 캘리브레이션을 진행하는 것이 유용할 수 있다. 하지만 적외선 및 가시광 카메라를 동시에 캘리브레이션 하는 기존의 캘리브레이션 보드는 다수의 기구적인 결합으로 인해 제작이 복잡할 수 있다.The process of calibrating the visible light camera and the infrared camera may be necessary in the process of synthesizing the images captured by the visible light camera and the infrared camera. At this time, it may be useful to carry out the calibration using one calibration board. However, existing calibration boards that simultaneously calibrate infrared and visible light cameras can be complicated to fabricate due to the large number of mechanical combinations.
또한, 하나의 캘리브레이션 보드를 사용하여 획득한 정보의 활용이 왜곡 영상 보정에 한정되어있다.In addition, the utilization of the information obtained by using one calibration board is limited to the distortion image correction.
예를 들어, 기존의 가시광 및 적외선 영상의 합성 장치는 실시간으로 촬영 대상물의 외곽 및 엣지(Edge)를 파악 및 연산함과 동시에 영상 이미지의 합성을 수행하기 때문에, 연산 부하가 커질 수 있으며, 이에 따라 영상 이미지의 합성에 딜레이가 생길 수 있으며 외곽 및 엣지 형상이 뚜렷하지 않은 대상물의 경우 합성이 어려울 수 있다.For example, a conventional apparatus for synthesizing visible light and infrared images can grasp the outer edges and edges of an object to be photographed in real time and perform synthesis of image images at the same time, Delays may occur in the synthesis of video images and may be difficult to synthesize for objects whose edges and edges are not distinct.
일 실시 예의 목적은, 적외선 및 가시광 카메라의 실시간 이미지 합성 장치 및 방법을 제공하는 것이다.It is an object of one embodiment to provide an apparatus and method for real-time image synthesis of infrared and visible light cameras.
일 실시 예에 따른, 가시광 및 적외선 카메라의 실시간 이미지 합성 장치는, 캘리브레이션 타깃보드; 가시광 카메라; 적외선 카메라; 상기 가시광 카메라 및 상기 적외선 카메라를 사용하여 촬영한 각각의 가시광 영상 이미지와 적외선 영상 이미지의 캘리브레이션을 수행하고, 상기 각각의 가시광 영상 이미지와 적외선 영상 이미지의 실시간 합성을 수행하는 제어부; 및 상기 가시광 영상 이미지와 상기 적외선 영상 이미지가 합성된 영상 이미지를 출력하는 디스플레이를 포함할 수 있다.According to one embodiment, a real-time image synthesizing apparatus for a visible light and an infrared camera includes: a calibration target board; Visible light camera; infrared camera; A controller for performing calibration of each visible light image and an infrared image captured using the visible light camera and the infrared camera, and performing real-time synthesis of the visible light image and the infrared image, respectively; And a display for outputting a combined image of the visible light image and the infrared image.
상기 캘리브레이션 타깃보드는, 제 1 색상 및 제 1 방사율을 갖는 제 1 구획 영역과, 제 2 색상 및 제 2 방사율을 갖는 제 2 구획 영역을 포함하는 패턴이 형성될 수 있다.The calibration target board may be patterned to include a first compartment area having a first color and a first emissivity and a second compartment area having a second color and a second emissivity.
상기 패턴은, 일정 간격으로 배열된 점들로 이루어진 격자점 패턴, 또는, 일정 간격으로 배열된 선들로 이루어진 격자선 패턴을 포함하는 가시광 카메라가 인식할 수 있다.The pattern can be recognized by a visible light camera including a lattice point pattern composed of dots arranged at regular intervals or a lattice pattern composed of lines arranged at regular intervals.
가시광 및 적외선 카메라의 실시간 이미지 합성 방법은, 캘리브레이션 타깃보드를 이용하여 가시광 카메라 및 적외선 카메라 의 내부 파라미터 및 외부 파라미터를 획득하는 단계; 획득한 상기 내부 파라미터 및 상기 외부 파라미터로부터, 상기 가시광 카메라 및 상기 적외선 카메라로 촬영한 가시광 영상 이미지 및 적외선 영상 이미지의 전역 좌표를 계산하는 단계; 및 획득한 상기 가시광 영상 이미지 및 상기 적외선 영상 이미지 각각의 상기 전역 좌표를 바탕으로 가시광 영상 이미지와 적외선 영상 이미지를 실시간으로 합성하는 단계를 포함할 수 있다.A real-time image synthesis method of a visible light and an infrared camera includes the steps of acquiring internal parameters and external parameters of a visible light camera and an infrared camera using a calibration target board; Calculating global coordinates of a visible light image and an infrared image captured by the visible light camera and the infrared camera from the acquired internal parameter and the external parameter; And synthesizing the visible light image and the infrared image in real time based on the acquired global coordinates of the visible light image and the infrared image, respectively.
상기 내부 파라미터는, 초점거리, 주점(Principal Point) 및 비대칭 계수를 포함하고, 상기 외부 파라미터는, 상기 적외선 카메라 및 상기 가시광 카메라 각각의 영상 이미지 좌표계와 전역 좌표계사이의 회전 및 평행이동을 수행하는 변환 행렬을 포함할 수 있다.Wherein the internal parameter includes a focal length, a principal point, and an asymmetry coefficient, and the external parameter is a transform that performs rotation and translation between a video image coordinate system and a global coordinate system of each of the infrared camera and the visible light camera, ≪ / RTI > matrix.
상기 내부 파라미터 및 외부 파라미터를 획득하는 단계는, 상기 가시광 카메라 및 상기 적외선 카메라 각각으로 상기 캘리브레이션 타깃보드를 촬영하여 복수개의 제 1 특이점 및 제 2 특이점을 추출하는 단계; 추출한 상기 제 1 특이점 및 상기 제 2 특이점 각각의 상기 전역 좌표와 대응하는 상기 가시광 영상 이미지 및 상기 적외선 영상 이미지 각각의 영상 이미지 좌표를 매칭하여 상기 가시광 카메라 및 상기 적외선 카메라의 매칭 데이터를 생성하는 단계; 상기 매칭 데이터를 이용하여 상기 가시광 카메라 및 상기 적외선 카메라 각각의 상기 내부 파라미터를 구하는 단계; 및 상기 내부 파라미터와 상기 매칭 데이터를 통해서 상기 가시광 카메라 및 상기 적외선 카메라 각각의 상기 외부 파라미터를 구하는 단계를 포함할 수 있다.Wherein the acquiring of the internal parameter and the external parameter comprises: capturing the calibration target board with the visible light camera and the infrared camera, respectively, to extract a plurality of first and second singularities; Generating matching data of the visible light camera and the infrared camera by matching the visual image coordinates of each of the visible light image and the infrared image corresponding to the global coordinates of the extracted first singular point and the second singular point; Obtaining the internal parameters of each of the visible light camera and the infrared camera using the matching data; And obtaining the external parameter of each of the visible light camera and the infrared camera through the internal parameter and the matching data.
상기 가시광 이미지 및 적외선 이미지의 전역 좌표를 계산하는 단계는, 상기 내부 파라미터 및 외부 파라미터를 획득하는 단계에서 획득한 상기 내부 파라미터 및 상기 외부 파라미터를 바탕으로 캘리브레이션 행렬 연산을 수행하여 상기 가시광 카메라 및 상기 적외선 카메라로 촬영한 상기 가시광 영상 이미지 및 상기 적외선 영상 이미지 각각의 상기 전역 좌표를 구하는 단계를 포함할 수 있다.Wherein the step of calculating the global coordinates of the visible light image and the infrared image comprises performing a calibration matrix operation based on the internal parameter and the external parameter obtained in the step of acquiring the internal parameter and the external parameter, And obtaining the global coordinates of the visible light image and the infrared image captured by the camera.
상기 가시광 영상 이미지와 적외선 영상 이미지를 실시간으로 합성하는 단계는, 가시광 영상 이미지 및 적외선 영상 이미지의 스케일을 일치시키는 단계; 가시광 영상 이미지 및 적외선 영상 이미지가 일치하도록 회전 이동하는 단계; 및 가시광 영상 이미지 및 적외선 영상 이미지가 일치하도록 전이 이동하는 단계를 포함할 수 있다.The step of synthesizing the visible light image and the infrared image in real time comprises: matching the visible light image and the infrared image with each other; Rotating and moving the infrared light image so that the visible light image and the infrared image coincide with each other; And moving the transition so that the visible light image and the infrared image match each other.
상기 가시광 이미지와 적외선 이미지를 실시간으로 합성하는 단계 이후에 수행되는 합성된 영상 이미지를 출력하는 단계를 더 포함할 수 있다.And outputting the combined image image that is performed after the step of synthesizing the visible light image and the infrared image in real time.
상기 복수개의 제 1 특이점 및 제 2 특이점을 추출하는 단계는, 상기 캘리브레이션 타깃보드의 위치 및 각도를 바꿔가면서 복수 번 촬영하는 단계를 포함할 수 있다.The extracting of the first plurality of singularities and the second plurality of singularities may include photographing a plurality of times while changing the position and angle of the calibration target board.
일 실시 예에 따른, 적외선 및 가시광 카메라의 실시간 이미지 합성 장치 및 그 제어 방법에 의하면, 하나의 캘리브레이션 타깃보드를 사용하여 캘리브레이션을 수행할 수 있고, 촬영된 영상 이미지를 실시간으로 합성할 수 있다.According to the real-time image synthesizing apparatus and control method for an infrared ray and visible light camera according to an embodiment, it is possible to perform calibration using one calibration target board and synthesize the photographed image images in real time.
캘리브레이션 타깃보드는 전면의 패턴을 형성하는 부분이 서로 다른 색상과 방사율(Emissivity)을 가지므로, 가시광 및 적외선 카메라를 동시에 캘리브레이션할 수 있다.The calibration target board can calibrate the visible light and the infrared camera at the same time, since the parts forming the pattern on the front face have different colors and emissivity.
또한, 별도의 기구적인 조립과 결합이 필요 없기 때문에 제작이 간단할 수 있다. In addition, since it is not necessary to have a separate mechanical assembly and connection, manufacturing can be simplified.
가시광 카메라 및 적외선 카메라의 사양 및 규격이 서로 다르더라도 캘리브레이션 및 영상 이미지의 합성을 수행 함에 있어서 문제가 없으며, 기존의 가시광 및 적외선 카메라를 사용하는 것이 가능하다.It is possible to use the existing visible light and infrared camera without any problem in performing calibration and synthesis of image images even if specifications and specifications of the visible light camera and the infrared camera are different from each other.
제어부에서는 한번의 캘리브레이션 과정을 거친 후에는 별도의 캘리브레이션 과정을 수행하지 않기 때문에, 영상 이미지의 합성을 수행함에 있어서, 연산로드를 줄일 수 있다. 따라서, 영상 이미지의 합성을 딜레이 없이 실시간으로 수행할 수 있다.Since the control unit does not perform a separate calibration process after a single calibration process, it is possible to reduce the calculation load in performing image image synthesis. Therefore, the synthesis of the image can be performed in real time without delay.
위와 같은 효과에 따르면, 암을 치료하는 광열 치료과정에서 암세포의 발열과정을 가시광 영상과 적외선 영상이 합성된 영상을 통해 실시간으로 모니터링 하는 것이 가능해지고, 암세포의 발열을 실시간으로 관찰하면서 그 상대적인 크기 및 위치를 파악하는 것이 가능할 수 있다.According to the above effect, it is possible to monitor the heat process of the cancer cells in the photothermal treatment process for treating cancer in real time through the combined image of the visible light image and the infrared image, and to observe the cancer cell heat in real time, It may be possible to determine the location.
도 1은 가시광 및 적외선 카메라의 실시간 이미지 합성 장치의 구성을 나타내는 블록도이다.
도 2는 가시광 및 적외선 카메라의 실시간 이미지 합성 장치의 구성을 나타내는 도면이다.
도 3은 캘리브레이션 타깃보드의 구성을 나타내는 도면이다.
도 4는 가시광 및 적외선 카메라의 실시간 이미지 합성 방법을 나타내는 도면이다.
도 5a는 가시광 및 적외선 카메라의 실시간 이미지 합성 방법을 나타내는 순서도이다.
도 5b는 내부 파라미터 및 외부 파라미터를 획득하는 단계를 나타낸 순서도이다.
도 5c는 가시광 영상 이미지와 적외선 영상 이미지를 실시간으로 합성하는 단계를 나타낸 순서도이다.1 is a block diagram showing a configuration of a real-time image synthesizing apparatus for a visible light and an infrared camera.
2 is a view showing a configuration of a real-time image synthesizing apparatus for a visible light and an infrared camera.
3 is a diagram showing a configuration of a calibration target board.
4 is a view showing a real-time image synthesis method of a visible light and an infrared camera.
5A is a flowchart showing a real-time image synthesizing method of a visible light and an infrared camera.
FIG. 5B is a flowchart showing steps of acquiring an internal parameter and an external parameter.
5C is a flowchart showing a step of synthesizing a visible light image and an infrared image in real time.
이하, 실시 예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 실시 예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 실시 예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다. Hereinafter, embodiments will be described in detail with reference to exemplary drawings. It should be noted that, in adding reference numerals to the constituent elements of the drawings, the same constituent elements are denoted by the same reference symbols as possible even if they are shown in different drawings. In the following description of the embodiments, detailed description of known functions and configurations incorporated herein will be omitted when it may make the best of an understanding clear.
또한, 실시 예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다. In describing the components of the embodiment, terms such as first, second, A, B, (a), and (b) may be used. These terms are intended to distinguish the constituent elements from other constituent elements, and the terms do not limit the nature, order or order of the constituent elements. When a component is described as being "connected", "coupled", or "connected" to another component, the component may be directly connected or connected to the other component, Quot; may be "connected," "coupled," or "connected. &Quot;
어느 하나의 실시 예에 포함된 구성요소와, 공통적인 기능을 포함하는 구성요소는, 다른 실시 예에서 동일한 명칭을 사용하여 설명하기로 한다. 반대되는 기재가 없는 이상, 어느 하나의 실시 예에 기재한 설명은 다른 실시 예에도 적용될 수 있으며, 중복되는 범위에서 구체적인 설명은 생략하기로 한다. The components included in any one embodiment and the components including common functions will be described using the same names in other embodiments. Unless otherwise stated, the description of any one embodiment may be applied to other embodiments, and a detailed description thereof will be omitted in the overlapping scope.
도 1은 일 실시 예에 따른 가시광 및 적외선 카메라의 실시간 이미지 합성 장치(100)의 구성을 나타내는 블록도이다.1 is a block diagram showing a configuration of a real-time
도 1을 참조하면, 일 실시 예에 따른 가시광 및 적외선 카메라의 실시간 이미지 합성 장치(100)는, 복수 개의 카메라를 이용하여 각각의 카메라에서 촬영된 영상을 실시간으로 합성하여 사용자에게 제공할 수 있다. 가시광 및 적외선 카메라의 실시간 이미지 합성 장치(100)는, 가시광 카메라(110), 적외선 카메라(120), 캘리브레이션 타깃보드(130), 제어부(140) 및 디스플레이(150)를 포함할 수 있다.Referring to FIG. 1, a real-time
가시광 카메라(110)는 제어부(140)와 연결되어 있고, 가시광선 영역에서 촬영된 영상 이미지를 제어부(140)로 전송할 수 있다.The
적외선 카메라(120)는 제어부(140)와 연결되어 있고, 적외선 영역에서 촬영된 영상 이미지를 제어부(140)로 전송할 수 있다.The
캘리브레이션 타깃보드(130)는 전면부에 일정한 간격의 격자무늬를 가진 패턴(131)이 형성되어 있는 보드일 수 있으며, 이를 통해, 가시광 카메라(110) 및 적외선 카메라(120)의 캘리브레이션을 수행할 수 있다. 해당 구성에 대하여 이하 도면과 함께 구체적으로 설명하기로 한다.The
제어부(140)는 가시광 카메라(110) 및 적외선 카메라(120)를 제어하고 상기 각각의 카메라(110, 120)의 캘리브레이션을 수행할 수 있고, 이를 통해 상기 각각의 카메라(110, 120)의 가시광 영상 이미지와 적외선 영상 이미지를 실시간으로 합성할 수 있으며, 합성한 이미지를 디스플레이(150)에 출력할 수 있다.The
제어부(140)는 캘리브레이션을 수행하기 위하여 후술할 내부 파라미터 및 외부 파라미터를 획득하는 단계(910) 및 가시광 영상 이미지 및 적외선 영상 이미지의 전역 좌표를 계산하는 단계(920)를 수행할 수 있고, 이미지의 합성을 위하여 가시광 영상 이미지와 적외선 영상 이미지를 합성하는 단계(930)를 수행할 수 있다.The
디스플레이(150)는 제어부(140)를 통하여 합성된 영상 이미지를 출력할 수 있다.The
도 2는 일 실시 예에 따른 가시광 및 적외선 카메라의 실시간 이미지 합성 장치(100)의 구성을 나타내는 도면이다.2 is a diagram showing a configuration of a real-time
도 2를 참조하면, 가시광 카메라(110) 및 적외선 카메라(120)는 캘리브레이션을 수행하기 위하여 캘리브레이션 타깃보드(130)를 촬영하여 캘리브레이션을 수행할 수 있다. Referring to FIG. 2, the
대상물(10)은 가시광 및 적외선 카메라의 실시간 이미지 합성 장치(100)의 실시 대상이다. 예를 들어, 가시광 영상 이미지와 적외선 영상 이미지를 합성하는 단계(930, 도 5a 참조)에서, 대상물(10)은 캘리브레이션 타깃보드(130)의 전면에 올려진 상태로 놓여져 촬영될 수 있다.The
한편, 캘리브레이션에 필요한 정보가 이미 획득된 상태에서, 캘리브레이션 타깃보드(130)는 가시광 영상 이미지와 적외선 영상 이미지를 합성하는 단계(930)에서 제거될 수도 있다.On the other hand, with the information necessary for the calibration already obtained, the
가시광 카메라(110) 및 적외선 카메라(120)는 지지대 또는 스탠드에 부착될 수 있으며, 각각의 카메라(110, 120)는 서로 인접하게 위치한 상태로 고정되어, 캘리브레이션 타깃보드(130) 및/또는 대상물(10)을 바라보며 촬영할 수 있도록 설치될 수 있다.The
도 3은 일 실시 예에 따른 캘리브레이션 타깃보드(130)의 구성을 나타내는 도면이다.3 is a diagram illustrating a configuration of a
도 3을 참조하면, 일 실시 예에 따른 캘리브레이션 타깃보드(130)는, 전면부에 일정한 간격을 가진 격자 무늬의 패턴(131)이 형성될 수 있다.Referring to FIG. 3, the
패턴(131)은 체스 보드와 같은 격자선 패턴일 수 있으며, 일정 간격으로 배열된 점으로 이루어진 격자점 패턴일 수도 있다.The
예를 들어, 패턴(131)은 제 1 색상 및 제 1 방사율을 갖는 제 1 구획 영역(131a)과, 제 2 색상 및 제 2 방사율을 갖는 제 2 구획 영역(131b)을 포함할 수 있다.For example, the
제 1 및 제 2 구획 영역(131a, 131b)은 서로 다른 제 1 색상 및 제 2 색상으로 구성될 수 있고, 이를 통해 가시광 카메라(110)가 패턴(131)의 색상의 차이를 인식함에 따라, 제어부(140)가 캘리브레이션을 수행할 수 있다. The first and
또한, 제 1 및 제 2 구획 영역(131a, 131b)은 서로 다른 방사율(Emissivity)의 차이를 갖는 제 1 방사율 및 제 2 방사율을 가진 영역으로 형성될 수 있고, 예를 들어, 방사율의 차이는 재질, 광택, 거칠기 및 산화로 인한 표면의 차이를 통해 형성될 수 있다. 이를 통해 적외선 카메라(120)가 패턴(131)의 방사율의 차이를 인식함에 따라, 제어부(140)가 캘리브레이션을 수행할 수 있다.Also, the first and
위와 같은 구조에 따르면, 가시광 카메라(110) 및 적외선 카메라(120)는 캘리브레이션 타깃보드(130)를 촬영하면서 동시에 캘리브레이션을 수행하는 것이 가능하다.According to the above structure, the visible
도 4는 일 실시 예에 따른 가시광 및 적외선 카메라의 실시간 이미지 합성 방법을 개략적으로 나타내는 도면이다.4 is a diagram schematically showing a real-time image synthesizing method of a visible light and an infrared camera according to an embodiment.
일 실시 예에 따르면, 가시광 및 적외선 카메라의 실시간 이미지 합성 방법은 도 4와 같이 실시될 수 있다.According to one embodiment, a real-time image synthesis method for visible light and infrared cameras can be implemented as shown in FIG.
가시광 카메라(110) 및 적외선 카메라(120) 각각은 캘리브레이션 타깃보드(130)를 촬영하여 각각의 캘리브레이션을 수행할 수 있으며, 이 과정에서 후술할 내부 파라미터 및 외부 파라미터를 획득하는 단계(910, 도 5a 참조) 및 가시광 영상 이미지 및 적외선 영상 이미지의 전역 좌표를 계산하는 단계(920, 도 5a 참조)가 수행될 수 있다. Each of the visible
캘리브레이션을 마친 후에는 대상물(10)을 캘리브레이션 타깃보드(130)의 전면에 올려 놓고 촬영을 수행할 수 있으며, 캘리브레이션 타깃보드(130)를 제거하고 대상물(10)만을 촬영하는 것도 가능할 수 있다.After the calibration is completed, the subject 10 can be placed on the front surface of the
가시광 카메라(110) 및 적외선 카메라(120) 각각은 대상물(10)을 촬영하여 획득한 각각의 가시광 영상 이미지와 적외선 영상 이미지를 제어부(140)로 전송할 수 있다.Each of the visible
제어부(140)는 전송 받은 가시광 영상 이미지 및 적외선 영상 이미지를 실시간으로 합성하는 과정을 수행할 수 있으며, 이 과정에서 가시광 영상 이미지와 적외선 영상 이미지를 실시간으로 합성하는 단계(930, 도 5a 참조)를 수행할 수 있다. The
도 5a는 일 실시 예에 따른 가시광 및 적외선 카메라의 실시간 이미지 합성 방법을 나타내는 순서도이고, 도 5b는 내부 파라미터 및 외부 파라미터를 획득하는 단계(910)의 세부 단계를 나타내는 순서도이며, 도 5c는 가시광 영상 이미지와 적외선 영상 이미지를 실시간으로 합성하는 단계(930)의 세부 단계를 나타내는 순서도이다.5A is a flowchart showing a real-time image synthesis method of a visible light and an infrared camera according to an exemplary embodiment, FIG. 5B is a flowchart showing detailed steps of acquiring an internal parameter and an external parameter (step 910), FIG. 5C is a flowchart (930) of synthesizing an image and an infrared image in real time.
도 5a를 참조하면, 일 실시 예에 따른 가시광 및 적외선 카메라의 실시간 이미지 합성 방법은 제어부(140)를 통하여 수행 될 수 있다. Referring to FIG. 5A, a method for real-time image synthesis of a visible light and an infrared camera according to an exemplary embodiment may be performed through the
예를 들어, 가시광 및 적외선 카메라의 실시간 이미지 합성 방법은 내부 파라미터 및 외부 파라미터를 획득하는 단계(910), 가시광 영상 이미지 및 적외선 영상 이미지의 전역 좌표를 계산하는 단계(920), 가시광 영상 이미지와 적외선 영상 이미지를 실시간으로 합성하는 단계(930) 및 합성된 영상 이미지를 출력하는 단계(940)를 포함할 수 있다.For example, a real-time image synthesis method for a visible light and an infrared camera may include a
도 5b를 참조하면, 내부 파라미터 및 외부 파라미터를 획득하는 단계(910)에서, 제어부(140)는 가시광 카메라(110) 및 적외선 카메라(120) 각각의 내부 파라미터 및 외부 파라미터를 구할 수 있다.Referring to FIG. 5B, in
예를 들어, 내부 파라미터 및 외부 파라미터를 획득하는 단계(910)는, 복수개의 제 1 특이점 및 제 2 특이점을 추출하는 단계(911), 매칭 데이터를 생성하는 단계(912), 내부 파라미터를 구하는 단계(913) 및 외부 파라미터를 구하는 단계(914)를 포함할 수 있다.For example, acquiring 910 an internal parameter and an external parameter may include extracting 911 a plurality of first and second singularities, generating 912 matching data, obtaining an internal parameter (913) and obtaining an external parameter (914).
복수개의 제 1 특이점 및 제 2 특이점을 추출하는 단계(911)에서는, 가시광 카메라(110) 및 적외선 카메라(120) 각각이 캘리브레이션 타깃보드(130)를 촬영한 각각의 영상 이미지를 제어부(140)에 전송하고, 제어부(140)가 각각의 복수개의 제 1 특이점 및 제 2 특이점을 찾는 과정을 포함할 수 있다.In
예를 들어, 복수개의 제 1 특이점 및 제 2 특이점을 추출하는 단계(911)에서는, 가시광 카메라(110)는 캘리브레이션 타깃보드(130)의 패턴(130)을 촬영하고, 제 1 및 제 2 구획 영역(131a, 131b)이 서로 색상이 다른 제 1 색상 및 제 2 색상으로 형성됨에 따라서, 제 1 및 제 2 구획 영역(131a, 131b)이 서로 다른 색상의 차이로 구분되는 가시광 영상 이미지를 제어부(140)에 전송할 수 있다.For example, in
따라서, 제어부(140)는 가시광 영상 이미지에 나타나는 제 1 구획 영역(131a)과 제 2 구획 영역(131b)의 색상의 차이를 인식하여 제 1 구획 영역(131a) 및 제 2 구획 영역(131b)의 복수개의 꼭지점을 복수개의 제 1 특이점으로 인식할 수 있다. Accordingly, the
한편, 적외선 카메라(120) 또한 캘리브레이션 타깃보드(130)의 패턴(131)을 촬영하고, 제 1 및 제 2 구획 영역(131a, 131b)이 서로 방사율이 다른 제 1 방사율 및 제 2 방사율을 가진 색상 및/또는 재질로 형성됨에 따라서, 제 1 및 제 2 구획 영역이 서로 다른 색상의 차이로 구분되는 적외선 영상 이미지를 제어부(140)에 전송할 수 있다.The
따라서, 제어부(140)는 적외선 영상 이미지에 나타나는 제 1 구획 영역(131a)과 제 2 구획 영역(131b)의 색상의 차이를 인식하여 제 1 구획 영역(131a) 및 제 2 구획 영역(131b)의 복수개의 꼭지점을 복수개의 제 2 특이점으로 인식할 수 있다.Accordingly, the
매칭 데이터를 생성하는 단계(912)에서는, 가시광 카메라(110)를 통하여 추출한 복수개의 제 1 특이점을 임의의 전역좌표로 설정한 좌표와 가시광 카메라(110)로 촬영한 영상 이미지의 좌표를 제어부(140)를 통해 설정 및 추출할 수 있고, 제어부(140)는 각각의 좌표를 1:1 대응시킨 가시광 카메라(140)의 매칭 데이터를 생성할 수 있다.In
마찬가지로, 적외선 카메라(120)를 통하여 추출한 복수개의 제 2 특이점을 임의의 전역좌표로 설정한 좌표와 적외선 카메라(120)로 촬영한 영상 이미지의 좌표를 제어부(140)를 통해 설정 및 추출할 수 있고, 제어부(140)는 각각의 좌표를 1:1 대응시킨 적외선 카메라(120)의 매칭 데이터를 생성할 수 있다.Similarly, the coordinates of the plurality of second outliers extracted through the
내부 파라미터를 구하는 단계(913)는, 상기 매칭 데이터를 생성하는 단계(912)에서 생성한 가시광 카메라(110) 및 적외선 카메라(120) 각각의 매칭 데이터를 바탕으로, 제어부(140)가 상기 각각의 카메라(110, 120)의 내부 파라미터 값을 구하는 단계일 수 있다. The internal
예를 들면, 내부 파라미터는 초점거리, 주점(Principal Point) 및 비대칭 계수 등을 포함할 수 있으며, 행렬로 표현될 수도 있다. For example, the internal parameters may include a focal length, a principal point and an asymmetric coefficient, and may be represented by a matrix.
예를 들어, 내부 파라미터를 구하는 단계(913)는, 제어부(140)에서 수행되며, 획득한 매칭 데이터 및 패턴(131)의 사이즈를 관계식에 대입하여 가시광 카메라(110) 및 적외선 카메라(120) 각각의 내부 파라미터를 구하는 과정을 포함할 수 있다.For example, the step of obtaining an
외부 파라미터를 구하는 단계(914)는 가시광 카메라(110) 및 적외선 카메라(120) 각각의 영상 이미지의 좌표와 전역 좌표간의 변환을 수행하는 캘리브레이션 행렬 관계식에 필요한 가시광 카메라(110) 및 적외선 카메라(120) 각각의 외부 파라미터를 구하는 단계일 수 있다. The
여기서, 캘리브레이션 행렬 관계식은 영상 이미지 좌표와 전역 좌표가 변수로 설정되고 내부 및 외부 파라미터를 계수로 설정된 행렬 관계식일 수 있다.Here, the calibration matrix relation may be a matrix relation in which image image coordinates and global coordinates are set as variables and internal and external parameters are set as coefficients.
예를 들어, 외부 파라미터는 변환 행렬로 표현될 수 있다. 구체적으로, 변환 행렬은 캘리브레이션 행렬 관계식에서 행렬화된 전역 좌표와 행렬 곱셈 연산을 통하여 전역 좌표가 영상 이미지의 좌표로 변환될 수 있도록, 전역 좌표를 회전 및 평행이동 시킬 수 있다.For example, an external parameter may be represented by a transformation matrix. Specifically, the transformation matrix can rotate and translate the global coordinates so that the global coordinates can be transformed into the coordinates of the image image through the matrix multiplication and matrix multiplication operations in the calibration matrix relation.
예를 들어, 외부 파라미터를 구하는 단계(914)는, 제어부(140)에서 수행되며, 캘리브레이션 행렬 관계식에 매칭 데이터가 포함하고 있는 제 1 특이점 및 제 2 특이점의 전역 좌표와 이에 대응하는 가시광 카메라(110) 및 적외선 카메라(120) 각각의 영상 이미지의 좌표를 대입하여 외부 파라미터를 구하는 과정을 포함할 수 있다. For example, the step of obtaining an
가시광 영상 이미지 및 적외선 영상 이미지의 전역 좌표를 계산하는 단계(920)에서는, 내부 파라미터 및 외부 파라미터를 획득하는 단계(910)에서 획득한 가시광 카메라(110) 및 적외선 카메라(120) 각각의 내부 파라미터 및 외부 파라미터를 바탕으로 상기 각각의 카메라(110, 120)의 캘리브레이션 행렬 관계식을 완성할 수 있다. 다시 말하면, 가시광 카메라(110)에서 촬영된 가시광 영상 이미지 좌료를 임의의 전역 좌표로 변환시키기 위한 제 1 행렬 관계식과, 적외선 카메라(120)에서 촬영된 적외선 영상 이미지 좌표를 임의의 전역 좌표로 변환시키기 위한 제 2 행렬 관계식을 구할 수 있다.In
위와 같은 단계를 따르면, 가시광 카메라(110) 및 적외선 카메라(120)로 촬영한 가시광 영상 이미지 및 적외선 영상 이미지의 영상 이미지의 좌표를 캘리브레이션 행렬 관계식에 대입하여 상기 각각의 카메라(110, 120)로 촬영한 영상 이미지의 전역 좌표를 구할 수 있다.According to the above steps, the coordinates of the visible image of the visible light image and the infrared image of the infrared image captured by the visible
도 5c를 참조하면, 일 실시 예에 따른, 가시광 영상 이미지와 적외선 영상 이미지를 실시간으로 합성하는 단계(930)는, 가시광 카메라(110) 및 적외선 카메라(120)에서 촬영된 가시광 영상 이미지 및 적외선 영상 이미지의 전역좌표를 바탕으로 제어부(140)가 가시광 카메라(110) 및 적외선 카메라(120) 각각으로부터 전송 받은 각각의 영상 이미지를 합성하는 단계를 포함할 수 있다.Referring to FIG. 5C, in
또한, 가시광 영상 이미지와 적외선 영상 이미지를 실시간으로 합성하는 단계(930)에서, 제어부(140)는 가시광 영상 이미지 및 적외선 영상 이미지 중 적어도 하나의 이미지가 임의의 투명도(transparency)를 가지도록 할 수 있다.In addition, in
예를 들어, 가시광 영상 이미지와 적외선 영상 이미지를 실시간으로 합성하는 단계(930)는, 가시광 영상 이미지 및 적외선 영상 이미지의 스케일을 일치시키는 단계(931), 가시광 영상 이미지 및 적외선 영상 이미지가 일치하도록 회전 이동하는 단계(932) 및 가시광 영상 이미지 및 적외선 영상 이미지가 일치하도록 전이 이동하는 단계(933)를 포함할 수 있다.For example, the
가시광 영상 이미지 및 적외선 영상 이미지의 스케일을 일치시키는 단계(931)는, 가시광 카메라(110) 및 적외선 카메라(120)의 해상도 및 위치 차이에 의해 생기는 가시광 영상 이미지 및 적외선 영상 이미지의 스케일 값의 차이를 제어부(140)가 일치시키는 단계를 포함할 수 있다.The
예를 들어, 스케일 값은, 내부 파라미터 및 외부 파라미터를 획득하는 단계(910)에서 구해질 수 있다. For example, the scale value may be obtained in
예를 들어, 가시광 영상 이미지 및 적외선 영상 이미지의 스케일을 일치시키는 단계(931)에서는, 가시광 영상 이미지 및 적외선 영상 이미지의 스케일 값을 임의로 설정한 스케일 값으로 변환 시키는 단계, 가시광 영상 이미지의 스케일 값을 적외선 영상 이미지의 스케일 값으로 변환 시키는 단계 및 적외선 영상 이미지의 스케일 값을 가시광 영상 이미지의 스케일 값으로 변환하는 단계 중 어느 하나이상을 포함할 수 있다.For example, in
가시광 영상 이미지 및 적외선 영상 이미지가 일치하도록 회전 이동하는 단계(932)는, 가시광 카메라(110) 및 적외선 카메라(120)의 각도 및 위치 차이에 의해 생기는 가시광 영상 이미지 및 적외선 영상 이미지의 각도 차이를 제어부(140)가 보정하는 단계를 포함할 수 있다.The
예를 들어, 가시광 영상 이미지 및 적외선 영상 이미지가 일치하도록 회전 이동하는 단계(932)에서는, 가시광 영상 이미지 및 적외선 영상 이미지 각각의 전역 좌표를 바탕으로 각각의 영상 이미지의 각도를 파악할 수 있다.For example, in
예를 들어, 가시광 영상 이미지 및 적외선 영상 이미지가 일치하도록 회전 이동하는 단계(932)에서는, 가시광 영상 이미지 및 적외선 영상 이미지를 임의로 설정한 각도로 회전 시키는 단계, 가시광 영상 이미지의 각도를 적외선 영상 이미지의 각도로 변환 시키는 단계 및 적외선 영상 이미지의 각도를 가시광 영상 이미지의 각도로 변환하는 단계 중 어느 하나 이상을 포함할 수 있다.For example, in
가시광 영상 이미지 및 적외선 영상 이미지가 일치하도록 전이 이동하는 단계(933)는 제어부(140)가 가시광 영상 이미지 및 적외선 영상 이미지의 전역 좌표가 일치하도록 가시광 영상 이미지 및/또는 적외선 영상 이미지를 평행 이동 시키는 단계를 포함할 수 있다.A
예를 들어, 가시광 영상 이미지 및 적외선 영상 이미지가 일치하도록 평행 이동하는 단계(933)에서는, 가시광 영상 이미지 및 적외선 영상 이미지의 전역 좌표를 임의로 설정한 지점으로 평행 이동 시키는 단계, 가시광 영상 이미지의 전역 좌표를 적외선 영상 이미지의 전역 좌표로 평행 이동 시키는 단계 및 적외선 영상 이미지의 전역 좌표를 가시광 영상 이미지의 전역 좌표로 평행 이동 시키는 단계 중 어느 하나 이상을 포함할 수 있다.For example, in a
예를 들어, 앞서 상술한 가시광 영상 이미지와 적외선 영상 이미지를 실시간으로 합성하는 단계(930)의 세부 단계(931, 932, 933)는 도 5c와 같은 순서로 진행 될 수 있지만, 임의의 순서로 진행되어도 가능함은 물론이다.For example, the
이상과 같이 비록 한정된 도면에 의해 실시 예들이 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 구조, 장치 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.Although the preferred embodiments of the present invention have been disclosed for illustrative purposes, those skilled in the art will appreciate that various modifications, additions and substitutions are possible, without departing from the scope and spirit of the invention as disclosed in the accompanying claims. For example, it is contemplated that the techniques described may be performed in a different order than the described methods, and / or that components of the described structures, devices, and the like may be combined or combined in other ways than the described methods, Appropriate results can be achieved even if they are replaced or replaced.
그러므로, 다른 구현들, 다른 실시 예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments and equivalents to the claims are within the scope of the following claims.
Claims (10)
획득한 상기 내부 파라미터 및 상기 외부 파라미터로부터, 상기 가시광 카메라 및 상기 적외선 카메라로 촬영한 가시광 영상 이미지 및 적외선 영상 이미지의 전역 좌표를 계산하는 단계; 및
획득한 상기 가시광 영상 이미지 및 상기 적외선 영상 이미지 각각의 상기 전역 좌표를 바탕으로 가시광 영상 이미지와 적외선 영상 이미지를 실시간으로 합성하는 단계를 포함하고,
상기 내부 파라미터 및 외부 파라미터를 획득하는 단계는,
상기 가시광 카메라 및 상기 적외선 카메라 각각으로 상기 캘리브레이션 타깃보드를 촬영하여 복수개의 제 1 특이점 및 제 2 특이점을 추출하는 단계;
추출한 상기 제 1 특이점 및 상기 제 2 특이점 각각의 상기 전역 좌표와 대응하는 상기 가시광 영상 이미지 및 상기 적외선 영상 이미지 각각의 영상 이미지 좌표를 매칭하여 상기 가시광 카메라 및 상기 적외선 카메라의 매칭 데이터를 생성하는 단계;
상기 매칭 데이터를 이용하여 상기 가시광 카메라 및 상기 적외선 카메라 각각의 상기 내부 파라미터를 구하는 단계; 및
상기 내부 파라미터와 상기 매칭 데이터를 통해서 상기 가시광 카메라 및 상기 적외선 카메라 각각의 상기 외부 파라미터를 구하는 단계를 포함하고,
상기 가시광 영상 이미지 및 적외선 영상 이미지의 전역 좌표를 계산하는 단계는,
상기 내부 파라미터 및 외부 파라미터를 획득하는 단계에서 획득한 상기 내부 파라미터 및 상기 외부 파라미터를 바탕으로 캘리브레이션 행렬 연산을 수행하여 상기 가시광 카메라 및 상기 적외선 카메라로 촬영한 상기 가시광 영상 이미지 및 상기 적외선 영상 이미지 각각의 상기 전역 좌표를 구하는 단계를 포함하고,
상기 복수개의 제 1 특이점 및 제 2 특이점을 추출하는 단계는,
상기 캘리브레이션 타깃보드의 위치 및 각도를 바꿔가면서 복수 번 촬영하는 단계를 포함하고,
상기 캘리브레이션 타깃보드는,
제 1 색상 및 제 1 방사율을 갖는 제 1 구획 영역과, 제 2 색상 및 제 2 방사율을 갖는 제 2 구획 영역을 포함하는 패턴이 형성되는 가시광 및 적외선 카메라의 실시간 이미지 합성 방법.
Obtaining an internal parameter and an external parameter of the visible light camera and the infrared camera using the calibration target board;
Calculating global coordinates of a visible light image and an infrared image captured by the visible light camera and the infrared camera from the acquired internal parameter and the external parameter; And
And combining the visible light image and the infrared image in real time based on the acquired global coordinates of the visible light image and the infrared image, respectively,
Wherein obtaining the internal and external parameters comprises:
Capturing the calibration target board with the visible light camera and the infrared camera to extract a plurality of first and second outliers;
Generating matching data of the visible light camera and the infrared camera by matching the visual image coordinates of each of the visible light image and the infrared image corresponding to the global coordinates of the extracted first singular point and the second singular point;
Obtaining the internal parameters of each of the visible light camera and the infrared camera using the matching data; And
Obtaining the external parameter of each of the visible light camera and the infrared camera through the internal parameter and the matching data,
Wherein the calculating the global coordinates of the visible light image and the infrared image comprises:
Performing a calibration matrix operation based on the internal parameter and the external parameter obtained in the step of acquiring the internal parameter and the external parameter to calculate the calibration matrix of each of the visible light image and the infrared image captured by the visible light camera and the infrared camera And obtaining the global coordinates,
Wherein the extracting of the plurality of first singularities and second singularities comprises:
And photographing a plurality of times while changing the position and angle of the calibration target board,
The calibration target board includes:
A method for real-time image synthesis of a visible light and infrared camera in which a pattern including a first segment region having a first color and a first emissivity and a second segment region having a second color and a second emissivity is formed.
상기 내부 파라미터는, 초점거리, 주점(Principal Point) 및 비대칭 계수를 포함하고,
상기 외부 파라미터는, 상기 적외선 카메라 및 상기 가시광 카메라 각각의 영상 이미지 좌표계와 전역 좌표계사이의 회전 및 평행이동을 수행하는 변환 행렬을 포함하는 적외선 및 가시광 카메라의 실시간 이미지 합성 방법.
5. The method of claim 4,
Wherein the internal parameter includes a focal length, a principal point and an asymmetry coefficient,
Wherein the external parameter comprises a transformation matrix for performing rotation and translation between a video image coordinate system and a global coordinate system of each of the infrared camera and the visible light camera.
상기 가시광 영상 이미지와 적외선 영상 이미지를 실시간으로 합성하는 단계는,
가시광 영상 이미지 및 적외선 영상 이미지의 스케일을 일치시키는 단계;
가시광 영상 이미지 및 적외선 영상 이미지가 일치하도록 회전 이동하는 단계; 및
가시광 영상 이미지 및 적외선 영상 이미지가 일치하도록 전이 이동하는 단계를 포함하는 가시광 및 적외선 카메라의 실시간 이미지 합성 방법.
5. The method of claim 4,
The step of synthesizing the visible light image and the infrared image in real-
Matching the scales of the visible light image and the infrared image;
Rotating and moving the infrared light image so that the visible light image and the infrared image coincide with each other; And
And moving the infrared ray image so that the visible light image and the infrared ray image coincide with each other.
상기 가시광 영상 이미지와 적외선 영상 이미지를 실시간으로 합성하는 단계 이후에 수행되는 합성된 영상 이미지를 출력하는 단계를 더 포함하는 가시광 및 적외선 카메라의 실시간 이미지 합성 방법.5. The method of claim 4,
Further comprising the step of outputting a synthesized image image that is performed after the step of synthesizing the visible light image and the infrared image in real time.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160134627A KR101806045B1 (en) | 2016-10-17 | 2016-10-17 | Real time image composing equipment using infrared camera and visible camera and method for controlling the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160134627A KR101806045B1 (en) | 2016-10-17 | 2016-10-17 | Real time image composing equipment using infrared camera and visible camera and method for controlling the same |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101806045B1 true KR101806045B1 (en) | 2017-12-07 |
Family
ID=60920546
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160134627A Active KR101806045B1 (en) | 2016-10-17 | 2016-10-17 | Real time image composing equipment using infrared camera and visible camera and method for controlling the same |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101806045B1 (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200016507A (en) * | 2018-08-07 | 2020-02-17 | 주식회사 한컴엠디에스 | Method and Apparatus for Synthesizing Image |
| CN112257664A (en) * | 2020-11-12 | 2021-01-22 | Oppo广东移动通信有限公司 | Image fusion method and device, computer equipment and storage medium |
| CN112634374A (en) * | 2020-12-18 | 2021-04-09 | 杭州海康威视数字技术股份有限公司 | Binocular camera three-dimensional calibration method, device and system and binocular camera |
| WO2021098080A1 (en) * | 2019-11-22 | 2021-05-27 | 大连理工大学 | Multi-spectral camera extrinsic parameter self-calibration algorithm based on edge features |
| CN115063455A (en) * | 2019-08-29 | 2022-09-16 | 深圳市道通智能航空技术股份有限公司 | Method and device for calibrating imaging of double-optical camera and double-optical camera |
| KR20230030069A (en) * | 2021-08-23 | 2023-03-06 | 한국자동차연구원 | Pattern forming apparatus for image calibration |
| KR102565989B1 (en) | 2022-04-18 | 2023-08-11 | 동국대학교 산학협력단 | Apparatus and method for fusing visible light image and infrared image based on multi-scale network |
| KR20240085395A (en) * | 2022-12-08 | 2024-06-17 | 한국전자기술연구원 | Plate and stereo calibration method for calibration between thermal imaging camera and general camera |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004312402A (en) * | 2003-04-08 | 2004-11-04 | Hitachi Ltd | Road monitoring system, road monitoring device |
| JP2005031800A (en) | 2003-07-08 | 2005-02-03 | Mitsubishi Electric Corp | Thermal image display device |
| US20080055583A1 (en) | 2004-05-25 | 2008-03-06 | Insidix | Surface Strain Measuring Device |
| JP2015103906A (en) | 2013-11-22 | 2015-06-04 | 株式会社リコー | Image processing apparatus, imaging system, image processing method, and program |
| JP2016151841A (en) * | 2015-02-17 | 2016-08-22 | レノボ・シンガポール・プライベート・リミテッド | Discrimination method for existence of object by means of stereo camera, device control system and computer program |
-
2016
- 2016-10-17 KR KR1020160134627A patent/KR101806045B1/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004312402A (en) * | 2003-04-08 | 2004-11-04 | Hitachi Ltd | Road monitoring system, road monitoring device |
| JP2005031800A (en) | 2003-07-08 | 2005-02-03 | Mitsubishi Electric Corp | Thermal image display device |
| US20080055583A1 (en) | 2004-05-25 | 2008-03-06 | Insidix | Surface Strain Measuring Device |
| JP2015103906A (en) | 2013-11-22 | 2015-06-04 | 株式会社リコー | Image processing apparatus, imaging system, image processing method, and program |
| JP2016151841A (en) * | 2015-02-17 | 2016-08-22 | レノボ・シンガポール・プライベート・リミテッド | Discrimination method for existence of object by means of stereo camera, device control system and computer program |
Non-Patent Citations (3)
| Title |
|---|
| 멀티모달 다중 카메라의 영상 보정방법, 한국정보통신학회논문지 Vol.19, No.9(2015)* |
| 적외선 열화상 카메라용 캘리브레이션 타겟 개발, 비파괴검사학회지 제34권 제3호(2014.06.)* |
| 카메라 캘리브레이션(Camera Calibration), 블로그, 다크 프로그래머(2013.02.01.) 출처: http://darkpgmr.tistory.com/32* |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102096576B1 (en) * | 2018-08-07 | 2020-04-02 | 주식회사 한컴엠디에스 | Method and Apparatus for Synthesizing Image |
| KR20200016507A (en) * | 2018-08-07 | 2020-02-17 | 주식회사 한컴엠디에스 | Method and Apparatus for Synthesizing Image |
| CN115063455B (en) * | 2019-08-29 | 2025-04-25 | 深圳市道通智能航空技术股份有限公司 | A method and device for calibrating dual-light camera imaging, and dual-light camera |
| CN115063455A (en) * | 2019-08-29 | 2022-09-16 | 深圳市道通智能航空技术股份有限公司 | Method and device for calibrating imaging of double-optical camera and double-optical camera |
| WO2021098080A1 (en) * | 2019-11-22 | 2021-05-27 | 大连理工大学 | Multi-spectral camera extrinsic parameter self-calibration algorithm based on edge features |
| US11398053B2 (en) | 2019-11-22 | 2022-07-26 | Dalian University Of Technology | Multispectral camera external parameter self-calibration algorithm based on edge features |
| CN112257664A (en) * | 2020-11-12 | 2021-01-22 | Oppo广东移动通信有限公司 | Image fusion method and device, computer equipment and storage medium |
| CN112634374A (en) * | 2020-12-18 | 2021-04-09 | 杭州海康威视数字技术股份有限公司 | Binocular camera three-dimensional calibration method, device and system and binocular camera |
| CN112634374B (en) * | 2020-12-18 | 2023-07-14 | 杭州海康威视数字技术股份有限公司 | Stereo calibration method, device, system for binocular camera and binocular camera |
| KR102651634B1 (en) * | 2021-08-23 | 2024-03-27 | 한국자동차연구원 | Pattern forming apparatus for image calibration |
| KR20230030069A (en) * | 2021-08-23 | 2023-03-06 | 한국자동차연구원 | Pattern forming apparatus for image calibration |
| KR102565989B1 (en) | 2022-04-18 | 2023-08-11 | 동국대학교 산학협력단 | Apparatus and method for fusing visible light image and infrared image based on multi-scale network |
| KR20240085395A (en) * | 2022-12-08 | 2024-06-17 | 한국전자기술연구원 | Plate and stereo calibration method for calibration between thermal imaging camera and general camera |
| KR102821521B1 (en) * | 2022-12-08 | 2025-06-17 | 한국전자기술연구원 | Plate and stereo calibration method for calibration between thermal imaging camera and general camera |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101806045B1 (en) | Real time image composing equipment using infrared camera and visible camera and method for controlling the same | |
| CN109816731B (en) | Method for accurately registering RGB (Red Green blue) and depth information | |
| CN107564069B (en) | Method and device for determining calibration parameters and computer readable storage medium | |
| KR101012691B1 (en) | 3D stereo camera system | |
| TWI555379B (en) | An image calibrating, composing and depth rebuilding method of a panoramic fish-eye camera and a system thereof | |
| CN109118581A (en) | Image processing method and device, electronic equipment, computer readable storage medium | |
| Zhuang et al. | Automatic extrinsic self-calibration for fusing data from monocular vision and 3-D laser scanner | |
| JP2008275391A (en) | Position attitude measurement device and method | |
| CN103337094A (en) | Method for realizing three-dimensional reconstruction of movement by using binocular camera | |
| Adán et al. | Fusion of thermal imagery and LiDAR data for generating TBIM models | |
| KR20220049465A (en) | Comparison of color images of three-dimensional dental structures | |
| CN104807449A (en) | Power transmission line crossing measuring system based on stereo photogrammetry measurement | |
| WO2013187204A1 (en) | Synthesis-parameter generation device for three-dimensional measurement apparatus | |
| CN109190533B (en) | Image processing method and apparatus, electronic device, computer-readable storage medium | |
| JPWO2017033692A1 (en) | 3D shape data creation method and program | |
| CN104732557A (en) | Color point cloud generating method of ground laser scanner | |
| Chernov et al. | 3D dynamic thermography system for biomedical applications | |
| Stojcsics et al. | High resolution 3D thermal imaging using FLIR DUO R sensor | |
| JP2010281811A (en) | Temperature image three-dimensional device | |
| JP7040511B2 (en) | Information processing equipment and methods | |
| JP2005063041A (en) | Three-dimensional modeling apparatus, method, and program | |
| JP4221808B2 (en) | Three-dimensional data input method and apparatus | |
| CN116866522A (en) | Remote monitoring method | |
| TW201616443A (en) | A method, apparatus and computer program product for real-time images synthesizing | |
| JP3637416B2 (en) | Three-dimensional measurement method, three-dimensional measurement system, image processing apparatus, and computer program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20161017 |
|
| PA0201 | Request for examination | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20170627 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20171127 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20171130 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20171130 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee |
Payment date: 20201111 Start annual number: 4 End annual number: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20210914 Start annual number: 5 End annual number: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20230627 Start annual number: 7 End annual number: 7 |
|
| PR1001 | Payment of annual fee |
Payment date: 20241120 Start annual number: 8 End annual number: 8 |