[go: up one dir, main page]

KR20150021353A - 영상 융합 시스템 및 그 방법 - Google Patents

영상 융합 시스템 및 그 방법

Info

Publication number
KR20150021353A
KR20150021353A KR20130098609A KR20130098609A KR20150021353A KR 20150021353 A KR20150021353 A KR 20150021353A KR 20130098609 A KR20130098609 A KR 20130098609A KR 20130098609 A KR20130098609 A KR 20130098609A KR 20150021353 A KR20150021353 A KR 20150021353A
Authority
KR
South Korea
Prior art keywords
image
camera
visible light
infrared
thermal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR20130098609A
Other languages
English (en)
Inventor
오재윤
Original Assignee
삼성테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성테크윈 주식회사 filed Critical 삼성테크윈 주식회사
Priority to KR20130098609A priority Critical patent/KR20150021353A/ko
Priority to US14/323,494 priority patent/US9369612B2/en
Priority to CN201410412571.6A priority patent/CN104427245B/zh
Publication of KR20150021353A publication Critical patent/KR20150021353A/ko
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 촬영 불가 영역 없도록 동일 화각으로 가시광 카메라, 열상 카메라 및 적외선 카메라가 촬영한 영상을 융합하여 출력하고 이를 모니터링 함으로서 최적의 감시 성능을 구현할 수 있는 영상 융합 시스템 및 그 방법에 관한 것이다. 영상 융합 방법은, 임의의 화각에서 가시광 카메라로 물체의 휘도 분포를 표현하는 가시광 영상을 생성하는 단계, 가시광 카메라와 동일한 화각으로 제어된 열상 카메라로 물체의 온도 정보를 표현하는 열상 영상을 생성하는 단계, 가시광 카메라 및 열상 카메라와 동일한 화각으로 제어된 적외선 카메라로 물체에 적외선을 발광하여 수신한 적외선 영상을 생성하는 단계, 및 가시광 영상, 열상 영상 및 적외선 영상을 하나의 영상으로 융합하는 단계를 포함한다.

Description

영상 융합 시스템 및 그 방법{IMAGE SYSTHESIS SYSTEM AND IMAGE SYNTHESIS METHOD}
본 발명은 가시광 카메라, 열상 카메라 및 적외선 카메라의 화각 제어에 기반한 영상 융합 시스템 및 그 방법에 관한 것이다.
일반적인 감시 시스템용 가시광 카메라, 예를 들어 CCD 카메라는 다른 카메라에 비해 기술적으로 높은 수준에 도달해 있으며 광범위한 범위에 응용이 되고 있다. 그러나, CCD 카메라는 빛이 있는 곳에서만 감시 기능을 구현할 수 있으며 빛이 없는 곳에서는 감시 기능을 구현하는 것이 불가능하기 때문에 별도의 조명을 사용하지 않는 감시 시스템에 이용하기가 어렵다. 빛이 전혀 없는 환경에서의 감시를 위해 열상카메라를 이용할 수 있다. 열상카메라는 조명이 없는 곳에서의 감시 기능을 구현함은 물론이고 피사체의 열 손실 탐지, 회로 기판의 분석과 같은 열 방출과 관련된 다양한 범위에 응용되고 있다. 열상 카메라는 열이 방출되는 곳에서만 감시 기능을 구현할 수 있으며, 열이 방출되지 않는 곳에서는 감시 기능을 구현하는 것이 불가능하다.
국내 공개 특허 공보 제2007-0013512호
본 발명이 해결하고자 하는 기술적인 과제는 촬영 불가 영역 없도록 동일 화각으로 가시광 카메라, 열상 카메라 및 적외선 카메라가 촬영한 영상을 융합하여 출력하고 이를 모니터링 함으로서 최적의 감시 성능을 구현할 수 있는 영상 융합 시스템 및 그 방법을 제공하는데 있다.
본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 일 실시 예에 다른 영상 융합 시스템은, 임의의 화각에서 제1 영상을 생성하는 제1 카메라; 상기 제1 카메라와 동일한 화각으로 제어되어 제2 영상을 생성하는 제2 카메라; 상기 제1 및 제2 카메라와 동일한 화각으로 제어되어 제3 영상을 생성하는 제3 카메라; 및 상기 제1 영상, 제2 영상, 및 제3 영상을 하나의 영상으로 융합하는 영상 융합부;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제1 카메라는, 물체의 휘도 분포를 표현하는 가시광 영상으로써 상기 제1 영상을 생성하는 가시광 카메라이고, 상기 제2 카메라는, 상기 물체의 온도 정보를 표현하는 열상 영상으로써 상기 제2 영상을 생성하는 열상 카메라이고, 상기 제3 카메라는, 상기 물체로 적외선을 발광하여 수신한 적외선 영상으로써 상기 제3 영상을 생성하는 적외선 카메라인 것을 특징으로 한다.
본 발명에 있어서, 상기 영상 융합부는, 상기 제1 영상, 제2 영상, 및 제3 영상의 사이즈를 동일하게 제어하는 사이즈 변경부; 및 상기 제1 영상에 표시되지 않고 상기 제2 영상에 표시되는 물체를 추출하고, 상기 제1 및 제2 영상에 표시되지 않고 상기 제3 영상에 표시되는 물체를 추출하여, 상기 가시광 영상 위에 열상 영상 및 적외선 영상을 중첩하여 추출된 상기 물체들이 가시광 영상에 표시되도록 제어하는 정보 융합부;를 포함하는 것을 특징으로 한다.
본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 일 실시 예에 다른 영상 융합 방법은, 임의의 화각에서 가시광 카메라로 물체의 휘도 분포를 표현하는 가시광 영상을 생성하는 단계; 상기 가시광 카메라와 동일한 화각으로 제어된 열상 카메라로 상기 물체의 온도 정보를 표현하는 열상 영상을 생성하는 단계; 상기 가시광 카메라 및 상기 열상 카메라와 동일한 화각으로 제어된 적외선 카메라로 상기 물체에 적외선을 발광하여 수신한 적외선 영상을 생성하는 단계; 및 상기 가시광 영상, 열상 영상 및 적외선 영상을 하나의 영상으로 융합하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 융합하는 단계는, 상기 가시광 영상, 열상 영상 및 적외선 영상의 사이즈를 동일하게 제어하는 단계;를 더 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 융합하는 단계는, 상기 가시광 영상에 표시되지 않고 상기 열상 영상에 표시되는 물체를 추출하는 단계; 상기 가시광 영상 및 열상 영상에 표시되지 않고 상기 적외선 영상에 표시되는 물체를 추출하는 단계; 및 상기 가시광 영상 위에 열상 영상 및 적외선 영상을 중첩하여 추출된 상기 물체들이 가시광 영상에 표시되도록 제어하는 단계;를 포함하는 것을 특징으로 한다.
상술한 바와 같이 본 발명에 따르면, 촬영 불가 영역 없도록 동일 화각으로 가시광 카메라, 열상 카메라 및 적외선 카메라가 촬영한 영상을 융합하여 출력하고 이를 모니터링 함으로서 최적의 감시 성능을 구현할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 영상 융합 시스템을 개략적으로 도시한 블록도 이다.
도 2는 본 발명의 일 실시 예에 따른 영상 융합부의 구성을 개략적으로 도시한 블록도 이다.
도 3은 본 발명의 일 실시 예에 따른 영상 융합 화면을 보이는 도면이다.
도 4는 본 발명의 일 실시 예에 따른 영상 융합 방법의 동작을 보이는 흐름도 이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명에의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 잇는 것과 유사하게, 본 발명은 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. 매커니즘, 요소, 수단, 구성과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
이하, 본 발명의 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 영상 융합 시스템을 개략적으로 도시한 블록도 이다.
도 1을 참조하면, 본 발명의 영상 융합 시스템은 가시광 카메라(100), 열상 카메라(200), 적외선 조명(310)을 포함하는 적외선 카메라(300), 영상 융합부(400), 및 디스플레이부(500)를 포함한다.
가시광 카메라(100)는 빛(light)을 검출하는 방식으로 영상 정보를 획득하여 물체의 휘도 분포에 따른 가시광 영상을 생성하는 일반적인 감시 카메라로서, 사람의 눈과 같이 가시광선 영역의 물체를 감시하는데 사용된다. 예를 들어, 가시광 카메라(100)는 CCD(Charge Coupled Device)를 촬상소자로 사용하는 CCD 카메라일 수 있다. 가시광 카메라(100)는 사무실, 주택, 병원은 물론 은행이나 보안이 요구되는 공공건물 등의 내외에 설치되어 출입관리나 방범용으로 사용되며, 그 설치 장소 및 사용목적에 따라 일자형, 돔형 등 다양한 형태를 가질 수 있다. 본 명세서에서 물체는 배경 및 피사체를 포함하는 용어로 사용된다.
가시광 카메라(100)는 일반 촬영 조건에서 탁월한 감도와 고해상도의 화질을 제공하고, 가시광 카메라(100)의 이미지 센서는 다른 센서에 비해 비교적 넓은 다이나믹 레인지를 갖는다.
열상 카메라(200)는 물체가 발산하는 복사 에너지(열에너지)를 감지하여 전자파의 일종인 적외선 파장 형태로 검출하고, 열에너지의 강도를 측정하여 강도에 따라 각각 다른 색상의 열상 영상을 생성한다. 열상 영상은 물체 표면을 온도의 높낮이에 따라 서로 다른 색으로 매핑하여 표현한다.
열상 카메라(200)는 빛이 없는 환경에서도 물체의 영상을 획득할 수 있으나, 가시광 카메라(100)에 비해 해상도가 낮아 촬영된 영상 내의 물체를 인식하기가 어렵다는 단점이 있다.
적외선 카메라(300)는 300 내지 700nm 사이의 빛의 영역을 감지하기에, 사람의 눈으로 감지할 수 없는 적외선 영역을 감지하는 감광 센서를 구비한 카메라로서, 어두운 곳이나 얇은 소재를 투시 촬영할 수 있다. 이러한 적외선 카메라(300)는 적외선 조명(310) 예를 들어, IR-LED를 발광하고, 물체로부터 반사된 적외선을 수신하여 물체를 촬영한다.
가시광 카메라(100), 열상 카메라(200) 및 적외선 카메라(300)는 동일한 화각에서 영상을 촬영하도록 줌렌즈가 제어된다. 각 카메라에 장착된 센서의 크기와 줌 렌즈의 줌 구간별 초점 거리가 상이할 수 있으므로, 가시광 카메라(100), 열상 카메라(200) 및 적외선 카메라(300) 카메라가 촬영하는 영상의 화각이 동일해지도록 줌 렌즈를 정밀하게 제어할 필요가 있다.
영상 융합부(400)는 수신된 영상 신호를 디스플레이 규격에 맞는 신호로 출력하는 신호 처리를 수행한다. 영상 융합부(400)는 가시광 카메라(100)가 출력하는 가시광 영상과, 열상 카메라(200)가 출력하는 열상 영상 및 적외선 카메라(300)가 출력하는 적외선 영상을 융합한다. 가시광 카메라(100)는 빛이 없는 어두운 곳의 물체를 나타낼 수 없고, 열상 카메라(200)는 조명이 없는 곳에서도 열을 방출하는 물체를 나타낼 수 있으나, 조명이 없는 곳에서 열을 방출하지 않는 물체를 나타낼 수 없고, 적외선 카메라(300)는 조명이 없는 곳에서 열을 방출하지 않는 물체를 나타낼 수 있다. 영상 융합부(400)는 이와 같이 가시광 카메라(100), 열상 카메라(200) 및 적외선 카메라(300)의 장단점을 적절히 이용하여 물체의 영상을 표시할 수 있다.
영상 융합부(400)는 가시광 카메라(100)가 출력하는 가시광 영상, 열상 카메라(200)가 출력하는 열상 영상 및 적외선 카메라(300)가 출력하는 적외선 영상을 융합한다. 영상 융합부(400)는 가시광 영상과 열상 영상을 비교하여 가시광 영상에 표시되지 않고 열상 영상에 표시되는 물체를 추출하고, 영상 융합부(400)는 가시광영상 및 열상영상과 적외선 영상을 비교하여 가시광영상 및 열상영상에 표시되지 않고 적외선 영상에 표시되는 물체를 추출한다. 영상 융합부(400)는 가시광 영상 위에 열상 영상 및 적외선 영상을 중첩하여, 추출된 물체들이 가시광 영상에 표시되도록 한다. 여기서, 영상 융합부(400)는 물체 추출 시에, 해당 물체의 크기 및 위치를 산출할 수 있다.
디스플레이부(500)는 영상 융합부(400)로부터 출력되는 가시광 영상, 열상 영상 및 적외선 영상이 융합된 비디오 신호를 신호 처리하여 사용자에게 제공함으로써, 사용자가 디스플레이되는 영상을 모니터링할 수 있도록 한다. 디스플레이부(500)는 가시광 영상 위에 열상 영상 및 적외선 영상이 중첩된 융합 영상을 디스플레이한다. 디스플레이부(500)는 액정 디스플레이 패널(LCD), 유기 발광 디스플레이 패널(OLED), 전기 영동 디스플레이 패널(EPD) 등으로 이루어질 수 있다. 디스플레이부(500)는 사용자의 터치를 통하여 입력을 받을 수 있도록 터치스크린 형태로 구비되어, 사용자 입력 인터페이스로서 동작할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 영상 융합부의 구성을 개략적으로 도시한 블록도 이다.
도 2를 참조하면, 영상 융합부(400)는 가시광 영상 처리부(410), 열상 영상 처리부(420), 적외선 영상 처리부(430), 정보 융합부(440), 코덱(450), 영상 출력부(460) 및 출력 제어부(470)를 포함한다.
가시광 영상 처리부(410)는 A/D 변환부(412), 전처리부(414), 사이즈 변경부(416)를 포함한다.
A/D 변환부(412)는 가시광 카메라로부터 입력된 아날로그 가시광 영상 신호를 처리하여, 노이즈를 제거하고 진폭을 조정한 후, 디지털 영상 데이터로 변환시킨다.
전처리부(414)는 디지털 영상 데이터에 대해 정규화 등 이미지 프로세싱을 위한 전처리(pre-processing)를 수행한다.
사이즈 변경부(416)는 가시광 영상과 열상 영상이 서로 매칭이 가능하도록 가시광 영상을 열상 영상과 동일한 사이즈로 변환한다. 사이즈 변경부(416)는 사이즈 변환을 위해 픽셀 보간을 수행하고, 이때 픽셀 보간 방법으로 선형 보간 방법 등 다양한 방법이 사용될 수 있다.
열상 영상 처리부(420)는 A/D 변환부(422), 전처리부(424), 사이즈 변경부(426)를 포함한다.
A/D 변환부(422)는 열상 카메라로부터 입력된 아날로그 열상 영상 신호를 처리하여, 노이즈를 제거하고 진폭을 조정한 후, 디지털 영상 데이터로 변환시킨다.
전처리부(424)는 디지털 영상 데이터에 대해 정규화 등 이미지 프로세싱을 위한 전처리(pre-processing)를 수행한다.
사이즈 변경부(426)는 열상 영상과 가시광 영상이 서로 매칭이 가능하도록 열상 영상을 가시광 영상과 동일한 사이즈로 변환한다. 사이즈 변경부(426)는 사이즈 변환을 위해 픽셀 보간을 수행하고, 픽셀 보간 방법으로 선형 보간 방법 등 다양한 방법이 사용될 수 있다. 대체로 열상 영상의 픽셀 수가 가시광 영상의 픽셀 수보다 적기 때문에, 열상 영상이 가시광 영상과 동일 사이즈를 갖도록 픽셀 보간이 수행될 수 있다.
적외선 영상 처리부(430)는 A/D 변환부(432), 전처리부(434), 사이즈 변경부(436)를 포함한다.
A/D 변환부(432)는 적외선 카메라로부터 입력된 아날로그 적외선 영상 신호를 처리하여, 노이즈를 제거하고 진폭을 조정한 후, 디지털 영상 데이터로 변환시킨다.
전처리부(424)는 디지털 영상 데이터에 대해 정규화 등 이미지 프로세싱을 위한 전처리(pre-processing)를 수행한다.
사이즈 변경부(426)는 가시광 영상, 열상 영상 및 적외선 영상이 서로 매칭이 가능하도록 적외선 영상을 가시광 영상 및 열상 영상과 동일한 사이즈로 변환한다. 사이즈 변경부(426)는 사이즈 변환을 위해 픽셀 보간을 수행하고, 픽셀 보간 방법으로 선형 보간 방법 등 다양한 방법이 사용될 수 있다.
정보 융합부(440)는 동일한 사이즈의 디지털 가시광 영상, 디지털 열상 영상 및 디지털 가시광 영상을 융합한다. 정보 융합부(440)는 가시광 영상과 열상 영상을 비교하여 가시광 영상에 표시되지 않고 열상 영상에 표시되는 물체를 추출하고, 가시광영상 및 열상영상과 적외선 영상을 비교하여 가시광영상 및 열상영상에 표시되지 않고 적외선 영상에 표시되는 물체를 추출한다. 정보 융합부(440)는 가시광 영상 위에 열상 영상 및 적외선 영상을 중첩하여, 추출된 물체들이 가시광 영상에 표시되도록 한다.
코덱(450)은 정보 융합부(440)로부터 출력되는 가시광 영상과 고해상도 열상 영상을 코딩하여 영상 출력부(460)를 통해 단일 영상으로 출력한다.
출력 제어부(470)는 정보 융합부(440)가 출력하는 영상의 유형을 제어한다. 또한, 출력 제어부(470)는 가시광 카메라(100), 열상 카메라(200) 및 적외선 카메라(300)의 출력을 제어한다.
도 3은 본 발명의 일 실시 예에 따른 영상 융합 화면을 보이는 도면이다.
도 3을 참조하면, 도 3a는 가시광 카메라(100)에 의해 촬영된 영상이 도시되어 있으며, 빛이 있는 물체(310)를 표현할 수 있다. 도 3b는 열상 카메라(200)에 의해 촬영된 영상이 도시되어 있으며, 열을 방출하는 물체(320)를 표현할 수 있다. 도 3c는 적외선 카메라(300)에 의해 촬영된 영상이 도시되어 있으며, 적외선 조명을 발광하여 수신한 물체(330)를 표현할 수 있다.
영상 융합부(400)는 도 3a 내지 도 3b에서 각각 표현되는 물체(310, 320, 330)를 추출하고, 가시광 영상 위에 열상 영상 및 적외선 영상을 중첩하여 도 3d와 같이 모든 물체(310, 320, 330)를 표현한 융합 영상을 생성하여 디스플레이부(500)로 출력한다.
이와 같이 촬영 불가 영역 없도록 동일 화각으로 가시광 카메라, 열상 카메라 및 적외선 카메라가 촬영한 영상을 융합하여 모니터링 함으로서 최적의 감시 성능을 구현할 수 있게 된다.
이하, 도 4를 참조하여 본 발명의 일 실시 예에 따른 영상 융합 방법의 동작을 설명하기로 한다. 본 발명의 실시 예에 따른 영상 융합 방법은 도 1 및 도 2에 도시된 바와 같이 영상 융합 시스템 내부에서 수행될 수 있다. 이하의 설명에서, 도 1 내지 도 3에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.
도 4를 참조하면, 가시광 카메라(100)는 임의의 화각에서 물체의 휘도 분포를 표현하는 가시광 영상을 생성하는 단계(S410)를 수행한다.
열상 카메라(200)는 가시광 카메라(100)와 동일한 화각으로 제어되어 물체의 온도 정보를 표현하는 열상 영상을 생성하는 단계(S420)를 수행한다.
적외선 카메라(300)는 가시광 카메라(100) 및 열상 카메라(200)와 동일한 화각으로 제어되어 물체에 적외선을 발광하여 수신한 적외선 영상을 생성하는 단계(S430)를 수행한다.
영상 융합부(400)는 가시광 영상, 열상 영상 및 적외선 영상을 수신하여 융합하는 단계(S440)를 수행한다. 영상 융합부(400)는 수신한 가시광 영상, 열상 영상 및 적외선 영상을 디지털 영상 데이터로 변환시키고, 정규화 등 이미지 프로세싱을 위한 전처리(pre-processing)를 수행한 후, 가시광 영상, 열상 영상 및 적외선 영상이 서로 매칭이 가능하도록 동일한 사이즈로 변환한다. 이 후 영상 융합부(400)는 가시광 영상과 열상 영상을 비교하여 가시광 영상에 표시되지 않고 열상 영상에 표시되는 물체를 추출하고, 영상 융합부(400)는 가시광영상 및 열상영상과 적외선 영상을 비교하여 가시광영상 및 열상영상에 표시되지 않고 적외선 영상에 표시되는 물체를 추출한다. 여기서, 영상 융합부(400)는 물체 추출 시에, 해당 물체의 크기 및 위치를 산출할 수 있다. 영상 융합부(400)는 가시광 영상 위에 열상 영상 및 적외선 영상을 중첩하여, 추출된 물체들이 가시광 영상에 표시되도록 제어한다.
한편, 본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이제까지 본 발명에 대하여 바람직한 실시 예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.
100: 가시광 카메라 200: 열상 카메라
300: 적외선 카메라 310: 적외선 조명
400: 영상 융합부 410: 가시광 영상 처리부
420: 열상 영상 처리부 430: 적외선 영상 처리부
440: 정보 융합부 450: 코덱
460: 영상 출력부 470: 출력 제어부
500: 디스플레이부

Claims (6)

  1. 임의의 화각에서 제1 영상을 생성하는 제1 카메라;
    상기 제1 카메라와 동일한 화각으로 제어되어 제2 영상을 생성하는 제2 카메라;
    상기 제1 및 제2 카메라와 동일한 화각으로 제어되어 제3 영상을 생성하는 제3 카메라; 및
    상기 제1 영상, 제2 영상, 및 제3 영상을 하나의 영상으로 융합하는 영상 융합부;를 포함하는 것을 특징으로 하는 영상 융합 시스템.
  2. 제 1항에 있어서,
    상기 제1 카메라는, 물체의 휘도 분포를 표현하는 가시광 영상으로써 상기 제1 영상을 생성하는 가시광 카메라이고,
    상기 제2 카메라는, 상기 물체의 온도 정보를 표현하는 열상 영상으로써 상기 제2 영상을 생성하는 열상 카메라이고,
    상기 제3 카메라는, 상기 물체로 적외선을 발광하여 수신한 적외선 영상으로써 상기 제3 영상을 생성하는 적외선 카메라인 것을 특징으로 하는 영상 융합 시스템.
  3. 제 2항에 있어서, 상기 영상 융합부는,
    상기 제1 영상, 제2 영상, 및 제3 영상의 사이즈를 동일하게 제어하는 사이즈 변경부; 및
    상기 제1 영상에 표시되지 않고 상기 제2 영상에 표시되는 물체를 추출하고, 상기 제1 및 제2 영상에 표시되지 않고 상기 제3 영상에 표시되는 물체를 추출하여, 상기 가시광 영상 위에 열상 영상 및 적외선 영상을 중첩하여 추출된 상기 물체들이 가시광 영상에 표시되도록 제어하는 정보 융합부;를 포함하는 것을 특징으로 하는 영상 융합 시스템.
  4. 임의의 화각에서 가시광 카메라로 물체의 휘도 분포를 표현하는 가시광 영상을 생성하는 단계;
    상기 가시광 카메라와 동일한 화각으로 제어된 열상 카메라로 상기 물체의 온도 정보를 표현하는 열상 영상을 생성하는 단계;
    상기 가시광 카메라 및 상기 열상 카메라와 동일한 화각으로 제어된 적외선 카메라로 상기 물체에 적외선을 발광하여 수신한 적외선 영상을 생성하는 단계; 및
    상기 가시광 영상, 열상 영상 및 적외선 영상을 하나의 영상으로 융합하는 단계;를 포함하는 것을 특징으로 하는 영상 융합 방법.
  5. 제 4항에 있어서, 상기 융합하는 단계는,
    상기 가시광 영상, 열상 영상 및 적외선 영상의 사이즈를 동일하게 제어하는 단계;를 더 포함하는 것을 특징으로 하는 영상 융합 방법.
  6. 제 5항에 있어서, 상기 융합하는 단계는,
    상기 가시광 영상에 표시되지 않고 상기 열상 영상에 표시되는 물체를 추출하는 단계;
    상기 가시광 영상 및 열상 영상에 표시되지 않고 상기 적외선 영상에 표시되는 물체를 추출하는 단계; 및
    상기 가시광 영상 위에 열상 영상 및 적외선 영상을 중첩하여 추출된 상기 물체들이 가시광 영상에 표시되도록 제어하는 단계;를 포함하는 것을 특징으로 하는 영상 융합 방법.
KR20130098609A 2013-08-20 2013-08-20 영상 융합 시스템 및 그 방법 Ceased KR20150021353A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR20130098609A KR20150021353A (ko) 2013-08-20 2013-08-20 영상 융합 시스템 및 그 방법
US14/323,494 US9369612B2 (en) 2013-08-20 2014-07-03 Image fusion system and method
CN201410412571.6A CN104427245B (zh) 2013-08-20 2014-08-20 图像融合系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130098609A KR20150021353A (ko) 2013-08-20 2013-08-20 영상 융합 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR20150021353A true KR20150021353A (ko) 2015-03-02

Family

ID=52480450

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130098609A Ceased KR20150021353A (ko) 2013-08-20 2013-08-20 영상 융합 시스템 및 그 방법

Country Status (3)

Country Link
US (1) US9369612B2 (ko)
KR (1) KR20150021353A (ko)
CN (1) CN104427245B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106803940A (zh) * 2017-03-06 2017-06-06 广州英卓电子科技有限公司 一种远红外智能监控系统
KR102235127B1 (ko) * 2019-12-18 2021-04-01 세종대학교산학협력단 멀티모달 영상의 적응적 융합 방법 및 그 장치

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8724910B1 (en) * 2010-08-31 2014-05-13 Google Inc. Selection of representative images
US9392189B2 (en) * 2014-02-28 2016-07-12 Intel Corporation Mechanism for facilitating fast and efficient calculations for hybrid camera arrays
CN106455974B (zh) * 2014-06-20 2018-12-14 拉姆伯斯公司 用于有透镜和无透镜的光学感测的系统和方法
US10033924B2 (en) 2014-10-10 2018-07-24 Iec Infrared Systems, Llc Panoramic view imaging system
SG10201407100PA (en) 2014-10-30 2016-05-30 Nec Asia Pacific Pte Ltd System For Monitoring Event Related Data
CN110830779B (zh) 2015-08-28 2022-06-03 杭州海康威视数字技术股份有限公司 一种图像信号的处理方法和系统
JP6356925B2 (ja) * 2015-10-27 2018-07-11 富士フイルム株式会社 撮像システム、並びにオブジェクト検出装置及びその作動方法
KR102441328B1 (ko) * 2016-01-28 2022-09-08 삼성전자주식회사 이동 로봇이 전송한 화면을 표시하는 방법 및 그 전자장치
CN105809640B (zh) * 2016-03-09 2019-01-22 长春理工大学 基于多传感器融合的低照度视频图像增强方法
WO2017177370A1 (zh) * 2016-04-12 2017-10-19 深圳华盛昌机械实业有限公司 图像融合方法、装置和红外热像设备
CN109478315B (zh) * 2016-07-21 2023-08-01 前视红外系统股份公司 融合图像优化系统和方法
KR102547104B1 (ko) * 2016-09-06 2023-06-23 삼성전자주식회사 전자 장치 및 복수의 영상을 처리하는 방법
US20180089972A1 (en) * 2016-09-26 2018-03-29 Mobotix Ag System and method for surveilling a scene comprising an allowed region and a restricted region
US10742890B2 (en) * 2016-10-28 2020-08-11 Kyocera Corporation Imaging apparatus, imaging system, moving body, and imaging method
CN110169044B (zh) * 2017-01-06 2021-04-23 富士胶片株式会社 图像处理装置、图像处理方法及存储有程序的记录介质
CN108429886A (zh) * 2017-02-13 2018-08-21 中兴通讯股份有限公司 一种拍照方法及终端
DE102017104777A1 (de) 2017-03-07 2018-09-13 Rheinmetall Defence Electronics Gmbh Kamerakranz zur Erstellung eines Panoramabildes
US10778910B2 (en) * 2017-03-22 2020-09-15 Humaneyes Technologies Ltd. System and methods for correcting overlapping digital images of a panorama
CN108737745A (zh) * 2017-04-21 2018-11-02 杭州海康威视数字技术股份有限公司 视频融合方法及装置
CN108496138B (zh) * 2017-05-25 2022-04-22 深圳市大疆创新科技有限公司 一种跟踪方法及装置
CN107610240A (zh) * 2017-08-09 2018-01-19 广东欧珀移动通信有限公司 头像替换方法、装置和移动终端
TWI637352B (zh) * 2017-08-23 2018-10-01 緯創資通股份有限公司 影像處理裝置和方法
JP7013210B2 (ja) 2017-11-10 2022-01-31 キヤノン株式会社 撮像装置、撮像方法、表示装置および表示方法
CN109951646B (zh) * 2017-12-20 2021-01-15 杭州海康威视数字技术股份有限公司 图像融合方法、装置、电子设备及计算机可读存储介质
CN108093240A (zh) * 2017-12-22 2018-05-29 成都先锋材料有限公司 3d深度图获取方法及装置
TWM568359U (zh) * 2017-12-28 2018-10-11 宇博先進電子工業有限公司 標示物體溫度的穿戴式裝置
ES2681571A1 (es) * 2018-03-22 2018-09-13 Álvaro GIMÉNEZ GARCÍA-COURTOY Sistema para vigilancia para fincas cinegéticas y procedimiento para dicho sistema
EP3762909A1 (en) * 2018-05-28 2021-01-13 Greenwave Systems PTE. LTD. Area monitoring and communication
CN110796690B (zh) * 2018-08-01 2023-04-07 株式会社理光 图像匹配方法和图像匹配装置
CN112911159B (zh) * 2018-08-27 2023-04-18 深圳市大疆创新科技有限公司 图像呈现方法、图像获取设备及终端装置
CN109474786B (zh) * 2018-12-24 2021-07-23 维沃移动通信有限公司 一种预览图像生成方法及终端
CN110082355A (zh) * 2019-04-08 2019-08-02 安徽驭风风电设备有限公司 一种风电叶片探测系统
CN110378861B (zh) 2019-05-24 2022-04-19 浙江大华技术股份有限公司 一种图像融合方法及装置
CN110519540A (zh) * 2019-08-29 2019-11-29 深圳市道通智能航空技术有限公司 一种图像处理方法、装置、设备及存储介质
US11423510B2 (en) 2019-10-28 2022-08-23 Samsung Electronics Co., Ltd System and method for providing dolly zoom view synthesis
US11222401B2 (en) * 2019-11-14 2022-01-11 Hand Held Products, Inc. Apparatuses and computer-implemented methods for middle frame image processing
CN110866889A (zh) * 2019-11-18 2020-03-06 成都威爱新经济技术研究院有限公司 一种监控系统中的多相机数据融合方法
CN111083381B (zh) * 2019-12-31 2021-10-22 深圳市道通智能航空技术股份有限公司 一种图像融合的方法、装置及双光相机、无人机
CN111340746A (zh) * 2020-05-19 2020-06-26 深圳应急者安全技术有限公司 一种基于物联网的消防方法及消防系统
CN111681195B (zh) * 2020-06-09 2023-06-30 中国人民解放军63811部队 红外图像和可见光图像的融合方法、装置及可读存储介质
TWI837496B (zh) * 2020-07-28 2024-04-01 鈺立微電子股份有限公司 二維陣列影像專注點處理方法及應用其之電子裝置
CN112017111B (zh) * 2020-08-28 2023-08-04 杭州海康威视数字技术股份有限公司 一种全景图的合成方法、装置及电子设备
JP7132643B2 (ja) * 2020-11-17 2022-09-07 株式会社タナカ技研 撮影装置、画像の生産方法、およびプログラム
TWI768709B (zh) * 2021-01-19 2022-06-21 福邦科技國際股份有限公司 雙影像融合方法與裝置
CN113570617B (zh) * 2021-06-24 2022-08-23 荣耀终端有限公司 图像处理方法、装置和电子设备
CN113822831B (zh) * 2021-09-03 2023-06-16 郑州大学 一种基于空间变换的红外与可见光融合方法
US11972525B2 (en) 2022-02-21 2024-04-30 International Business Machines Corporation Generating training data through image augmentation
CN114418920B (zh) * 2022-03-30 2022-06-28 青岛大学附属医院 一种内窥镜多焦点图像融合方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001082593A1 (en) * 2000-04-24 2001-11-01 The Government Of The United States Of America, As Represented By The Secretary Of The Navy Apparatus and method for color image fusion
US6982743B2 (en) * 2002-01-31 2006-01-03 Trustees Of The University Of Pennsylvania Multispectral omnidirectional optical sensor and methods therefor
JP2005249723A (ja) 2004-03-08 2005-09-15 T & D:Kk 温度分布を含む画像の出力装置およびその制御方法
WO2006060746A2 (en) * 2004-12-03 2006-06-08 Infrared Solutions, Inc. Visible light and ir combined image camera with a laser pointer
JP4534756B2 (ja) * 2004-12-22 2010-09-01 ソニー株式会社 画像処理装置、画像処理方法、撮像装置、プログラム、及び記録媒体
US7206136B2 (en) * 2005-02-18 2007-04-17 Eastman Kodak Company Digital camera using multiple lenses and image sensors to provide an extended zoom range
KR100709780B1 (ko) 2005-03-02 2007-04-19 김배훈 영상 조합기를 이용한 감시 카메라 장치
KR100777428B1 (ko) 2005-07-26 2007-11-20 한국원자력연구원 화상처리 장치 및 방법
US7613360B2 (en) * 2006-02-01 2009-11-03 Honeywell International Inc Multi-spectral fusion for video surveillance
JP2009105764A (ja) 2007-10-24 2009-05-14 Skymap Kk カメラシステム
US8600193B2 (en) * 2008-07-16 2013-12-03 Varian Medical Systems, Inc. Image stitching and related method therefor
KR100972360B1 (ko) 2008-08-08 2010-07-26 뷰-하이텍주식회사 전방위 감시 카메라 시스템
US8520970B2 (en) * 2010-04-23 2013-08-27 Flir Systems Ab Infrared resolution and contrast enhancement with fusion
CN101742102B (zh) * 2009-12-09 2012-05-30 广州科易光电技术有限公司 一种可见光摄像机与红外热像仪的一体机
WO2012027739A2 (en) * 2010-08-27 2012-03-01 Milwaukee Electric Tool Corporation Thermal detection systems, methods, and devices
CN201927079U (zh) * 2011-03-07 2011-08-10 山东电力研究院 一种对于可见光图像和红外图像的快速实时融合处理系统
KR101314259B1 (ko) 2011-03-24 2013-10-02 삼성테크윈 주식회사 영상 융합 시스템 및 그 방법
EP2764686B1 (en) * 2011-10-07 2019-10-02 Flir Systems, Inc. Smart surveillance camera systems and methods
US20130155248A1 (en) * 2011-12-20 2013-06-20 Fluke Corporation Thermal imaging camera for infrared rephotography
US9492065B2 (en) * 2012-06-27 2016-11-15 Camplex, Inc. Surgical retractor with video cameras

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106803940A (zh) * 2017-03-06 2017-06-06 广州英卓电子科技有限公司 一种远红外智能监控系统
KR102235127B1 (ko) * 2019-12-18 2021-04-01 세종대학교산학협력단 멀티모달 영상의 적응적 융합 방법 및 그 장치

Also Published As

Publication number Publication date
CN104427245A (zh) 2015-03-18
US9369612B2 (en) 2016-06-14
US20150055886A1 (en) 2015-02-26
CN104427245B (zh) 2019-04-19

Similar Documents

Publication Publication Date Title
KR20150021353A (ko) 영상 융합 시스템 및 그 방법
KR101314259B1 (ko) 영상 융합 시스템 및 그 방법
US11501535B2 (en) Image processing apparatus, image processing method, and storage medium for reducing a visibility of a specific image region
US8754942B2 (en) Detection device and method for detecting fires and/or signs of fire
JP6003135B2 (ja) 画像処理装置、画像処理方法及び撮像装置
KR102144394B1 (ko) 영상 정합 장치 및 이를 이용한 영상 정합 방법
US20150199008A1 (en) Display apparatus and method of controlling the same
US20190370591A1 (en) Camera and image processing method of camera
JP2015127668A (ja) 計測装置、システムおよびプログラム
US9967478B2 (en) Imaging device and infrared image generation method
KR101625471B1 (ko) 보급형 열화상 카메라의 해상도 향상 방법 및 장치
KR102083926B1 (ko) 영상 융합 시스템 및 그 방법
JP2010193227A (ja) 映像処理システム
JP2010146094A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
KR102474697B1 (ko) 촬상 장치 및 영상 처리 방법
JP2006258651A (ja) 不特定撮像装置の検出方法および装置
KR101132407B1 (ko) 이미지 센서를 포함하는 촬영 장치
KR20150021352A (ko) 영상 정합 장치 및 이를 이용한 영상 정합 방법
JP6213640B2 (ja) 画像処理装置、画像処理方法、撮像装置、及びシステム
KR102232493B1 (ko) 디지털 영상 투영 장치
KR20190024244A (ko) 영상 처리 시스템 및 그에 의한 영상 처리 방법
CN108632503B (zh) 影像输出方法及影像撷取设备
KR101090969B1 (ko) 알람 기능을 포함하는 이미지 센싱 장치
KR20170006057A (ko) 방범용 전방위 카메라 시스템
KR101436837B1 (ko) 오토포커싱을 실행하는 디지털 촬영 장치 및 이의 제어방법

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20130820

PG1501 Laying open of application
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20180706

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20130820

Comment text: Patent Application

PN2301 Change of applicant

Patent event date: 20181005

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20190718

Patent event code: PE09021S01D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20191002

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20190718

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I