KR101937249B1 - 열상카메라의 영상 잡음 레벨에 기반한 대조비 향상 기법 및 장치 - Google Patents
열상카메라의 영상 잡음 레벨에 기반한 대조비 향상 기법 및 장치 Download PDFInfo
- Publication number
- KR101937249B1 KR101937249B1 KR1020120112117A KR20120112117A KR101937249B1 KR 101937249 B1 KR101937249 B1 KR 101937249B1 KR 1020120112117 A KR1020120112117 A KR 1020120112117A KR 20120112117 A KR20120112117 A KR 20120112117A KR 101937249 B1 KR101937249 B1 KR 101937249B1
- Authority
- KR
- South Korea
- Prior art keywords
- list
- brightness
- image
- transfer function
- noise level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000001931 thermography Methods 0.000 title description 6
- 238000012546 transfer Methods 0.000 claims abstract description 60
- 238000004364 calculation method Methods 0.000 claims description 16
- 230000003321 amplification Effects 0.000 claims description 13
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 238000012937 correction Methods 0.000 claims description 7
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 230000005457 Black-body radiation Effects 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 10
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 239000000470 constituent Substances 0.000 description 5
- 230000000295 complement effect Effects 0.000 description 3
- 230000001186 cumulative effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000005315 distribution function Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
열상카메라의 영상 잡음 레벨에 기반한 대조비 향상 기법을 개시한다.
영상을 입력받는 영상입력부; 상기 영상을 분할하여 밝은 부분인 명부와 어두운 부분인 암부를 검출하는 명부/암부 분할영역 검출부; 상기 명부와 상기 암부를 분석하여, 상기 명부의 노이즈 레벨, 상기 암부의 노이즈 레벨, 상기 명부의 밝기영역 및 상기 암부의 밝기영역을 특정하는 파라미터를 계산하는 파라미터 계산부; 상기 명부의 노이즈 레벨 및 상기 암부의 노이즈 레벨과 시스템 자체가 가진 시스템 노이즈를 비교하여 차이를 반영하는 제한인자를 계산하는 개선 제한인자 계산부; 상기 영상의 밝기에 따른 히스토그램을 계산하는 히스토그램 계산부; 상기 히스토그램을 분석하여 전달함수(CDF)를 계산하고 상기 제한인자를 적용하여 상기 전달함수를 수정 및 적용하여 명암비가 증폭된 영상을 출력하는 CDF 계산/수정 및 출력변환부; 및 명암비가 증폭된 상기 영상을 출력하는 영상 출력부를 포함하는 것을 특징으로 하는 열화상 대조비 향상 장치를 제공한다.
영상을 입력받는 영상입력부; 상기 영상을 분할하여 밝은 부분인 명부와 어두운 부분인 암부를 검출하는 명부/암부 분할영역 검출부; 상기 명부와 상기 암부를 분석하여, 상기 명부의 노이즈 레벨, 상기 암부의 노이즈 레벨, 상기 명부의 밝기영역 및 상기 암부의 밝기영역을 특정하는 파라미터를 계산하는 파라미터 계산부; 상기 명부의 노이즈 레벨 및 상기 암부의 노이즈 레벨과 시스템 자체가 가진 시스템 노이즈를 비교하여 차이를 반영하는 제한인자를 계산하는 개선 제한인자 계산부; 상기 영상의 밝기에 따른 히스토그램을 계산하는 히스토그램 계산부; 상기 히스토그램을 분석하여 전달함수(CDF)를 계산하고 상기 제한인자를 적용하여 상기 전달함수를 수정 및 적용하여 명암비가 증폭된 영상을 출력하는 CDF 계산/수정 및 출력변환부; 및 명암비가 증폭된 상기 영상을 출력하는 영상 출력부를 포함하는 것을 특징으로 하는 열화상 대조비 향상 장치를 제공한다.
Description
본 실시예는 열상카메라의 영상 잡음 레벨에 기반한 대조비 향상 방법에 관한 것이다. 더욱 상세하게는, 영상 잡음이 대조비와 함께 증폭되지 않도록 영상 잡음 수준을 파악하여 대조비 증폭 폭을 조절하는 열상카메라의 영상 잡음 레벨에 기반한 대조비 향상 방법에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
일반적인 CCD(Charge Coupled Device)/CMOS(Complementary Metal-Oxide Semiconductor) EO(Electro Optical) System 광원(Source)이 피사체에 방사되었을 때 파장에 따른 피사체의 반사율에 기반하여 영상을 디스플레이하지만 열화상 카메라(Thermal Camera)는 피사체 자체가 방출하는 열에너지를 영상으로 디스플레이 하는 구조를 가지고 있다. 따라서 광원이 필요 없으므로 빛이 없는 야간에서도 영상 획득이 가능하다. 야간에서 영상을 획득하기 위해 사용되는 다른 방법으로는 CCD/CMOS 센서 앞의 적외선 필터(IR Filter)를 제거하여 적외선 파장대의 에너지를 통과시키면서 피사체에 적외선 광원을 방사하여 피사체가 반사하는 적외선 파장대의 에너지를 영상화시킴으로써 야간에서도 영상획득이 가능하다. 그러나 적외선 광원의 방사 거리가 제한적이라 열화상 센서에 비해 원거리 영상획득이 어려운 단점을 가지고 있다. 하지만 열화상 센서는 기술의 발달이 아직 고도화되지 않아 CCD/CMOS 센서에 비해 해상도가 낮으며 화소간의 불균일성(Non-Uniformity)이 다수 존재한다. 또한 배경과 표적 사이에 온도 분포가 커서 영상의 동작대역(Dynamic Range)이 상당히 넓어서 8bit 영상 디스플레이 시 허상(Artifact)이 생기거나 부자연스러움을 가지기도 한다. 따라서 열화상 카메라에서 CEM(Contrast Enhancement Method)은 전체 시스템의 성능을 좌우하는 아주 중요한 기술이다.
도 1은 기존의 열화상 카메라 시스템의 블록 구성도이다. 열화상 카메라의 유효 파장대역(LW/MW/SW)에서의 에너지를 투과/집광하는 렌즈부, 유효 파장 대역의 에너지를 검출하는 센서부, 센서부의 아날로그 신호를 디지털화하는 ADC(Analogue-Digital Converter), 센서의 불균일성을 보정하는 NUC(Non-Uniformity Controller), 원영상에 대하여 시인성을 높여주도록 명암비를 조정하는 CEM, 그리고 디스플레이 장치로 이루어져 있다. 기존에 사용되고 있는 대표적인 알고리즘은 히스토그램 평활화(Histogram Equalization), 명암비 스트레칭(Contrast Stretching), 플래토 평활화(Plateau Equalization)가 있다. 위의 알고리즘은 전역처리 방법이다. 구성도를 보면 알 수 있듯이 기존의 열화상 시스템은 대부분 현재 프레임의 전역 정보를 사용하여 명암비를 향상시키는 알고리즘을 사용하고 있다. 이는 국소처리방법은 실시간 시스템에 적용이 어렵기 때문이다.
따라서 열화상 카메라의 영상 특성상 과도한 명암비 향상은 허상(Artifact)이 늘어나고 노이즈 증폭이 커지는 문제가 있다.
따라서 명암비 향상 폭을 상황에 따라 조절하는 기술 및 방법을 필요로 한다.
본 실시예는, 영상 잡음이 증폭되지 않도록 영상 잡음 수준을 파악하여 대조비 증폭 비율을 조절하는 방법 및 시스템을 제공하는 데 주된 목적이 있다.
본 실시예의 일 측면에 의하면, 영상을 입력받는 영상입력부; 상기 영상을 분할하여 밝은 부분인 명부와 어두운 부분인 암부를 검출하는 명부/암부 분할영역 검출부; 상기 명부와 상기 암부를 분석하여, 상기 명부의 노이즈 레벨, 상기 암부의 노이즈 레벨, 상기 명부의 밝기영역 및 상기 암부의 밝기영역을 특정하는 파라미터를 계산하는 파라미터 계산부; 상기 명부의 노이즈 레벨 및 상기 암부의 노이즈 레벨과 시스템 자체가 가진 시스템 노이즈를 비교하여 차이를 반영하는 제한인자를 계산하는 개선 제한인자 계산부; 상기 영상의 밝기에 따른 히스토그램을 계산하는 히스토그램 계산부; 상기 히스토그램을 분석하여 전달함수(CDF)를 계산하고 상기 제한인자를 적용하여 상기 전달함수를 수정 및 적용하여 명암비가 증폭된 영상을 출력하는 CDF 계산/수정 및 출력변환부; 및 명암비가 증폭된 상기 영상을 출력하는 영상 출력부를 포함하는 것을 특징으로 하는 열화상 대조비 향상 장치를 제공한다.
또한, 본 실시예의 다른 측면에 의하면, 영상을 입력받아 기설정된 크기인 k×k'(k 및 k'는 자연수)크기의 상기 영상에서 가장 밝은 부분인 명부와 상기 영상에서 가장 어두운 부분인 암부를 특정하는 명부/암부 특정 과정; 상기 명부와 상기 암부를 분석하여, 상기 명부의 노이즈 레벨, 상기 암부의 노이즈 레벨 및 밝기영역을 특정하는 파라미터를 계산하는 파라미터 계산 과정; 상기 명부의 노이즈 레벨과 시스템 자체가 가진 고온 영상에 대한 시스템 노이즈 레벨을 비교하고 상기 암부의 노이즈 레벨과 저온 영상에 대한 상기 시스템 노이즈 레벨을 비교하여 상기 암부의 최저밝기(D_min)의 변환치(D_min')와 상기 명부의 최고밝기(B_max)의 변환치(B_max')을 제한인자로서 계산하는 제한인자 계산 과정; 상기 영상을 입력받아 밝기에 따른 히스토그램을 계산하는 히스토그램 계산 과정; 상기 히스토그램을 분석하여 명암비의 증폭 비율을 결정하는 전달함수를 계산하여 생성하는 과정; 및 상기 전달함수를 상기 제한인자를 이용하여 수정하는 제한인자를 이용한 전달함수 수정과정을 포함하는 것을 특징으로 하는 잡음 레벨에 기반한 대조비 향상 방법을 제공한다.
이상에서 설명한 바와 같이 본 실시예에 의하면, 영상의 잡음 레벨에 기반하여 잡음이 큰 경우 영상의 대조비 향상을 억제하여 잡음 증폭을 억제하고, 잡음이 작을 경우 대조비 향상을 유지시키므로 적응적인 영상 화질 개선이 가능한 열화상 카메라를 구현할 수 있다.
도 1은 기존의 열화상 카메라 시스템의 블록 구성도이다.
도 2는 본 발명의 일 실시예에 따른 객체 검출 장치의 블록도이다.
도 3은 본 발명의 일 실시예에 따른 명부 검출 과정을 나타낸 프레임 분할도이다.
도 4는 본 발명의 일 실시예를 위한 시스템 노이즈 측정을 위한 장치의 모듈도이다.
도 5는 본 발명의 일 실시예에 따른 명부와 암부의 최고 최고밝기 영상의 히스토그램에 나타낸 그래프이다.
도 6은 본 발명의 일 실시예에 따른 명암비 증폭을 영상 잡음에 따라 조절할 수 있는 방법을 나타낸 순서도이다.
도 7은 본 발명의 일 실시예에 따른 수정 전의 전달함수와 수정 후의 전달함수를 비교한 그래프이다.
도 2는 본 발명의 일 실시예에 따른 객체 검출 장치의 블록도이다.
도 3은 본 발명의 일 실시예에 따른 명부 검출 과정을 나타낸 프레임 분할도이다.
도 4는 본 발명의 일 실시예를 위한 시스템 노이즈 측정을 위한 장치의 모듈도이다.
도 5는 본 발명의 일 실시예에 따른 명부와 암부의 최고 최고밝기 영상의 히스토그램에 나타낸 그래프이다.
도 6은 본 발명의 일 실시예에 따른 명암비 증폭을 영상 잡음에 따라 조절할 수 있는 방법을 나타낸 순서도이다.
도 7은 본 발명의 일 실시예에 따른 수정 전의 전달함수와 수정 후의 전달함수를 비교한 그래프이다.
이하, 첨부된 도면을 참조하여 상세하게 설명한다.
각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
명암비를 증폭시킴에 있어서, 국지적으로 가장 밝은 영역(이하 명부)과 어두운 영역(이하 암부)을 추출하여 표준 편차를 구하고, 국지적인 균등 밝기에 있어서 표준편차가 크다면 노이즈가 크다고 판단할 수 있으므로 표준편차의 크기에 따라 명암비 증폭 비율을 조절한다.
이하 도면을 참조하여 상세히 설명한다.
도 2는 본 발명의 일 실시예에 따른 객체 검출 장치의 블록도이다. 영상입력부(210)는 센서 등을 통해 열화상을 입력받는다. 명부/암부 분할 영역 검출부(220)는 입력 영상의 프레임을 일정한 크기로 분할한 영역들 중 가장 밝은 영역인 명부와 가장 어두운 영역인 암부를 검출한다. 파라미터 계산부(230)는 검출된 명부와 암부의 밝기의 표준편차를 구하고 이 표준편차와 실험적으로 결정한 시스템 노이즈 레벨을 근거로 명암비 증폭비를 수정하기 위한 변환인자를 계산한다. 개선 제한인자 계산부(240)는 변환인자를 기준으로 암부의 최저밝기와 명부의 최고밝기의 변환값을 구한다. 한편 히스토그램 계산부(250)는 각 픽셀별 밝기를 기준으로 히스토그램을 계산하고 CDF 계산/수정 및 출력 변환부(260)는 명암비를 증폭하는 비율을 정하는 전달함수를 계산한다. 본 실시예에서는 누적분포함수(CDF: Cumulative Distribution Function)를 이용하는 것으로 예로 들었다. CDF 계산/수정 및 출력 변환부(230)는 미리 계산한 전달함수값을 암부의 최저밝기와 명부의 최고밝기 변환값에 따라 수정하여 수정된 전달함수에 맞게 영상의 명암비를 증폭한다. 영상출력부(270)는 명암비가 증폭된 영상을 출력한다. 일 실시예로서 본 블록도는 발명의 사상을 해석함에 있어 전체적으로 해석되어야 한다. 각 블록은 관념적으로 분리되는 기능들을 수행하는 모듈을 나타내는 것일 뿐이므로 동일한 물리적 요소가 두 가지 이상의 기능을 함께 수행할 수 있다. 예를들어 파라미터 계산부(230)는 계산하는 기능을 하므로 개선 제한인자를 함께 계산할 수 있다. 본 발명은 시스템 자체가 지닌 노이즈보다 높은 노이즈 레벨을 지닐 경우를 확인하는 방법과 해당 레벨을 이용하여 증폭 비율을 수정하는 방법 및 장치를 제공한다. 기술적(記述的)인 요소에 한정하여 본 발명의 권리범위를 지나치게 협소하게 해석하여서는 안 될 것이다.
이하 각 블록의 동작방법을 설명한다.
수신한 영상 프레임 내의 암부/명부는 k×k의 크기를 가진다. 여기서 k는 [수학식 1]의 룰을 따른다.
(k: 분할 영상의 길이, Frame Width: 프레임 너비, n: 분할 횟수)
여기서 n은 영상의 크기에 따라 사용자가 지정한다. 명부와 암부를 찾는 과정은 높이와 너비를 둘로 나누어 각각의 면에 대하여 비교하여 밝은 면과 어두운 면을 찾는 과정을 반복한다. 따라서 k의 크기는 프레임의 높이와 너비를 분할 횟수만큼 나눈 크기가 된다. 따라서 k는 동일한 식에 의하여 계산되나 높이와 너비가 다른 직사각형 모양일 수 있다.(k×k') 이때 k값은 입력 프레임에 따라 명암비를 확장할 최적 범위를 선택한 것일 뿐 이값에 고정되는 것은 아니다. 명부와 암부의 크기가 명암비를 확장할 범위를 특정하는 역할을 하는 이유에 대하여는 후술한다.
입력 영상의 해상도에 따라 최적의 명부와 암부의 크기가 달라지므로 영상 분할의 횟수 역시 달라진다. 열상카메라의 경우 해상도가 320*240 또는 640*480정도가 일반적이다. 이 경우 각각 4회/5회 정도의 분할 및 비교를 통해 적당한 크기의 명부와 암부를 특정할 수 있다. 따라서 분할한 횟수를 확인하여 명부와 암부를 검출했는지 확인할 수도 있다.
도 3은 본 발명의 일 실시예에 따른 명부 검출 과정을 나타낸 프레임 분할도이다. 명부/암부 분할 영역 검출부(220)는 입력 프레임이 들어오면 이를 사분하고 각 분할 영상의 대표값을 계산한다. 대표값은 분할 영상의 평균 밝기를 통해 획득한다. 이때, 각 분할 영상에 대해 대표값을 비교하여, 가장 대표값이 큰 분할 영상을 선택한다. 선택된 분할 영상에 대하여 위의 과정을 반복하여 명부를 검출하고 대표값이 가장 작은 부분에 대하여 암부 검출을 수행한다. 본 실시예에서는 [수학식 1]에서 제안한 바와 같이 16×16의 분할면에 대하여 명부와 암부가 각각 존재하고 이를 네 번의 비교를 통해 선택하는 방법을 나타내었다. 명부와 암부는 각각 전체적으로 밝은 부분에 가장 밝은 부분이 존재하고 전체적으로 밝은 부분에 가장 어두운 부분이 존재할 것이라는 가정 하에 근사화를 반복하여 특정하는 것을 실시예로서 활용하였다. 그러나 명부와 암부를 특정하는 방법은 X좌표와 Y좌표의 포락선을 검출하여 평면상의 포락면을 기초로 추측하는 방법 등 다양한 변용이 가능할 것이다.
파라미터 계산부(230)는 검출된 암부/명부에 대하여 표준편차값을 계산한다. 명부에 대한 표준편차를 STD_B라고 정의하고 암부에 대한 표준편차를 STD_D라고 정의한다. 기존의 명암비 증폭비율은 시스템 자체가 지닌 노이즈를 반영한 값일 것이므로 우선 시스템 자체가 가지는 시스템 노이즈에 대한 측정이 우선되어야 한다.
도 4는 본 발명의 일 실시예를 위한 시스템 노이즈 측정을 위한 장치의 모듈도이다. 균일한 에너지 분포를 가지는 흑체(Black Body)가 저온일 경우와 고온일 경우에 대한 영상을 카메라로 입력받은 후 영상 전체에 대한 표준편차를 측정하고 이를 시스템이 가지는 노이즈 레벨(STD_S)이라고 정의하며 고온과 저온에 대하여 각각 STD_SC, STD_SH라고 정의한다. 실제로 계산에서 사용하는 값은 STD_S에 여유치를 둔 STD_S의 네 배값이므로 4×STD_S를 시스템 노이즈로 정의할 수도 있으나 본 실시예에서는 STD_S를 시스템 노이즈로 정의한다.
개선 제한인자 계산부(240)는 계산된 각 표준편차값을 기준으로 변환인자와 변환인자에 따라 수정된 암부의 최저밝기와 명부의 최고밝기를 [수학식 2]를 따라 정한다.
(BrightEnhanceFactor: 명부 변환인자, DarkEnhanceFactor: 암부 변환인자, D_min': 변환된 암부 최저밝기, D_min: 암부 최저밝기, D_max: 암부 최고밝기, B_max': 변환된 명부 최고밝기, B_max: 명부 최고밝기, B_min: 명부 최저밝기)
STD_B, STD_D가 STD_SC, STD_SH의 보다 크면 이는 배경 또는 타겟의 노이즈가 크다는 것을 의미하므로 이때 명암비를 확장하게 되면 노이즈가 높은 영상을 출력하게 된다. 따라서 암부/명부의 노이즈가 시스템 노이즈의 네 배보다 클 경우 명암비 확장을 제한하여야 하고 시스템 노이즈의 네 배와 같거나 작은 경우 기존의 명암비 확장을 그대로 사용할 수 있다. 이를 고려하여 명부의 변환인자는 명부의 표준편차와, 명부의 표준편차와 STD_SC의 네 배값 중 더 작은 값과의 비가 되며 암부의 변환인자는 암부의 표준편차와, 암부의 표준편차와 STD_SH의 네 배값 중 더 작은 값과의 비가 된다. 변환인자를 고려하여 수정한 암부의 최저밝기는 계측된 암부의 최고밝기와 최저밝기의 차에 1에 대한 암부 변환인자의 보수(補數)를 곱하여 계측된 암부의 최저밝기에 합산한 값으로 정한다. 수정한 명부의 최고밝기는 계측된 명부의 밝기 폭에 명부의 변환인자의 곱을 계측된 명부의 최고밝기에 합산한 값으로 정한다.
따라서 D_max'과 B_min'은 D_max와 B_min의 계산 값과 노이즈 레벨에 따라 정해지며, D_max와 B_min은 명부와 암부에 포함된 픽셀의 최고/최저 밝기 값에 따라 정해지므로 명부와 암부의 넓이에 따라 정해진다.
도 5는 본 발명의 일 실시예에 따른 명부와 암부의 최고 최저밝기를 영상의 히스토그램에 나타낸 그래프이다. 히스토그램 계산부(250)는 영상 전체는 밝기에 따라 주파수를 히스토그램으로 나타낼 수 있다. 이때 암부는 최저밝기에, 명부는 최고밝기에 일정한 영역으로 나타난다.
CDF 계산/수정 및 출력 변환부(230)는 계산된 히스토그램을 이용하여 종래기술을 이용하여 명암비를 확장하는 전달함수를 구한다. 본 실시예에서 누적분포함수(CDF: Cumulative Distribution Function)를 이용하는 것을 예로 들었다. [수학식 2]에서 구한 파라미터에 따라 히스토그램으로 계산한 전달함수(CDF)에 대하여 값을 [수학식 3]에 따라 조정한다.
(i: 밝기, D_min': 수정된 암부 최저밝기, D_max: 암부 최고밝기, CDF'(i): 밝기에 따른 수정된 전달함수, CDF(D_max): D_max에서 원본 전달함수의 값)
수식의 의미를 설명하면, 밝기가 0에서 변환된 최저밝기인 D_min'까지의 전달함수는 0이 되어야 하고 밝기가 D_min'에서 D_max까지는 표준편차를 통해 노이즈를 고려하여 결정한 인자인 D_min'을 이용하여 수정한다. 수정된 전달함수 CDF'은 밝기 i에 따라 D_max에서 원본 전달함수값을 D_max와 D_min'의 차로 나눈 값에 i를 곱하고 D_max에서의 원본 전달함수값의 절반에 1에 대한 D_max와 D_min'의 차의 역수의 보수를 곱하여 합산한 값이 된다.
B_min 보다 높은 영역의 수정된 전달함수(CDF')를 수학식으로 나타내면 [수학식 4]와 같다.
(i: 밝기, B_min: 명부의 최저밝기, B_max': 수정된 명부의 최고밝기, CDF'(i): 밝기에 따른 수정된 전달함수, CDF(B_max'): B_max'에서 원본 전달함수의 값, Maximum Grey Level: 전달함수의 최대치)
D_max에서 B_min 구간의 전달함수(CDF)는 수정하지 않고 B_min에서 B_max'까지의 값을 수정한다. 수정된 전달함수 CDF'은 밝기 i에 따라 B_max'에서 원본 전달함수값을 B_max'와 B_min의 차로 나눈 값에 i를 곱하고 B_max'에서의 원본 전달함수값의 절반에 B_max'와 B_min의 차의 역수에 1을 더한 값을 곱하여 합산한 값이 된다.i가 B_max'보다 높은 값은 전달함수의 최대치로 정한다.
도 6은 본 발명의 일 실시예에 따른 명암비 증폭을 영상 잡음에 따라 조절할 수 있는 방법을 나타낸 순서도이다.
블록 분할 과정(S610)에서는 영상을 수신하고 수신한 영상을 4개의 블록으로 분할하여 각 블록의 평균밝기를 구한다. 블록별 밝기 비교/선택 과정(S620)에서 각 블록의 평균 밝기를 비교하여 가장 밝은 블록과 가장 어두운 블록을 찾는다. 블록의 크기비교 과정(S630)에서 찾은 블록이 원하는 크기의 블록인지 확인하여 크다면 블록 분할 과정(S610)으로 돌아가서 정해진 크기(k×k')의 블록이 될 때까지 반복한다. 물론 크기를 [수학식 1]과 같이 분할 횟수를 통해 정하는 경우 정해진 크기가 아닌 비교 횟수를 근거로 원하는 크기인지 여부를 확인할 수도 있다. 명부와 암부가 결정되면 파라미터를 계산하는 과정(S640)에서 명부와 암부의 표준편차를 계산하고 명부와 암부의 픽셀 중 최고밝기와 최저밝기(B_min, B_max, D_min, D_max)를 각각 구한다. 제한인자를 계산하는 과정(S650)에서는 고온과 저온의 흑체 복사를 근거로 측정한 시스템 노이즈값과 명부와 암부의 표준편차값을 비교하여 표준편차값이 더 큰 경우 노이즈가 큰 것이므로 노이즈가 클 경우 명암비 증폭비율이 낮도록 제한인자로서 명부 밝기의 최고치의 변환 값과 암부 밝기의 최저치의 변환 값을 구한다. 한편 히스토그램을 계산하는 과정에서는 입력된 영상을 분석하여 히스토그램 계산 과정(S660)을 통해 밝기의 히스토그램을 구하고 CDF 계산 및 전달함수 생성과정(S670)에서 히스토그램을 분석하여 전달함수(CDF)를 구한다. 이때 전달함수는 누적분포함수(Cumulative Distribution Function)를 이용할 수 있다. 제한인자를 이용한 전달함수 수정과정(S680)에서 계산된 전달함수를 S650을 통해 구한 제한인자를 이용하여 노이즈가 큰 경우 작은 비율로, 노이즈가 작은 경우 큰 비율로 명암비를 증폭하는 전달함수로 수정한다.
이를 통해 정해진 영상에 대하여 영상 잡음 레벨을 고려한 명암비 증폭을 위한 전달함수를 추출할 수 있으며 추출된 전달함수에 따라 명암비를 증폭한 영상을 생성할 수 있다.
도 7은 본 발명의 일 실시예에 따른 수정 전의 전달함수와 수정 후의 전달함수를 비교한 그래프이다.
(a)는 수정 전의 전달함수로서 어두운 영역은 더 어둡게 만들고 밝은 부분은 더 밝은 출력을 유도하여 명암비 증폭 역할을 하는 전달함수이다.
(b)는 노이즈가 크다고 판단되어 수정된 전달함수이다. 암부의 D_min값이 D_min'으로 높아지고 0에서 D_min'까지의 값이 0으로 고정되며 B_max'값이 낮아져서 양 극단의 전달함수값은 낮아지고 D_max와 B_min값은 전달함수의 값이 커짐을 알 수 있다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
230: 파라미터 계산부 240: 개선 제한인자 계산부
Claims (14)
- 영상을 입력받는 영상입력부;
상기 영상을 분할하여 밝은 부분인 명부와 어두운 부분인 암부를 검출하는 명부/암부 분할영역 검출부;
상기 명부와 상기 암부를 분석하여, 상기 명부의 노이즈 레벨, 상기 암부의 노이즈 레벨, 상기 명부의 밝기영역 및 상기 암부의 밝기영역을 특정하기 위한 각각의 파라미터를 계산하고, 상기 파라미터 및 시스템 자체가 가진 시스템 노이즈를 비교하여 명암비를 수정하기 위한 변환인자를 계산하는 파라미터 계산부;
상기 암부의 노이즈 레벨 및 상기 명부의 노이즈 레벨에 상기 변환인자를 각각 반영하여 제한인자를 계산하는 개선 제한인자 계산부;
상기 영상의 밝기에 따른 히스토그램을 계산하는 히스토그램 계산부;
상기 히스토그램을 분석하여 전달함수(CDF)를 계산하고 상기 제한인자를 적용하여 상기 전달함수를 수정 및 적용하여 명암비가 증폭된 영상을 출력하는 CDF 계산/수정 및 출력변환부; 및
명암비가 증폭된 상기 영상을 출력하는 영상 출력부
를 포함하는 것을 특징으로 하는 열화상 대조비 향상 장치. - 제1항에 있어서,
상기 파라미터는 상기 명부의 표준편차(STD_B), 상기 암부의 표준편차(STD_D), 상기 명부의 최저밝기(B_min), 상기 명부의 최고밝기(B_max), 상기 암부의 최저밝기(D_min) 및 상기 암부의 최고밝기(D_max)인 것을 특징으로 하는 열화상 대조비 향상 장치. - 제1항에 있어서,
상기 시스템 자체가 가진 노이즈는 고온 흑체의 열영상 표준편차를 계산하여 고온영상의 상기 시스템 자체가 가진 노이즈로 사용하고 저온 흑체의 열영상 표준편차를 계산하여 저온영상의 상기 시스템 자체가 가진 노이즈로 사용하는 것을 특징으로 하는 열화상 대조비 향상 장치. - 제1항에 있어서,
상기 개선 제한인자는 상기 명부의 개선인자(BrightEnhanceFactor), 상기 암부의 개선인자(DarkEnhanceFactor), 수정된 명부의 최고밝기(B_max') 및 수정된 암부의 최저밝기(D_min')인 것을 특징으로 하는 열화상 대조비 향상 장치. - 제4항에 있어서,
상기 명부의 개선인자(BrightEnhanceFactor)는 수학식
으로 표현되고
상기 암부의 개선인자(DarkEnhanceFactor)는 수학식
으로 표현되고
상기 수정된 명부의 최고 밝기(B_max')는 수학식
으로 표현되고
상기 수정된 암부의 최저밝기(D_min')는 수학식
으로 표현되되, 여기서 STD_B는 상기 명부의 표준편차, STD_SH는 고온영상의 시스템 노이즈, STD_SC는 저온영상의 시스템 노이즈, STD_D는 상기 암부의 표준편차, D_min은 상기 암부의 최저밝기, D_max는 상기 암부의 최고밝기, B_min은 상기 명부의 최저밝기, B_max는 상기 명부의 최고밝기, BrightEnhanceFactor는 상기 명부의 개선인자, DarkEnhanceFactor는 상기 암부의 개선인자, D_min'은 상기 수정된 암부의 최저밝기, B_max'은 상기 수정된 명부의 최고밝기인 것을 특징으로 하는 열화상 대조비 향상 장치. - 제5항에 있어서,
상기 CDF 계산/수정 및 출력변환부는 전달함수(CDF)를 수정하되,
밝기 0 내지 상기 수정된 암부의 최저밝기(D_min')까지의 수정된 전달함수 값은 0으로 정하고 상기 수정된 암부의 최저밝기(D_min') 내지 상기 암부의 최고밝기(D_max)까지의 상기 수정된 전달함수 값은 상기 전달함수(CDF)의 상기 암부의 최고밝기에서의 값을 이용하여 수정하며, 상기 명부의 최저밝기(B_min) 내지 상기 수정된 명부의 최고밝기(B_max')의 상기 수정된 전달함수 값은 상기 전달함수(CDF)의 상기 수정된 명부의 최고밝기에서의 값을 이용하여 수정하며, 상기 수정된 명부의 최고밝기보다 밝은 영역은 상기 전달함수가 선택할 수 있는 최대값으로 정하는 것을 특징으로 하는 열화상 대조비 향상 장치. - 제6항에 있어서,
상기 CDF 계산/수정 및 출력변환부는 상기 전달함수(CDF)를 상기 수정된 전달함수(CDF')으로 수학식
에 따라 0에서 상기 수정된 암부의 최저밝기(D_min')까지의 값으로 수정하고 수학식
에 따라 상기 명부의 최저밝기(B_min) 이상의 상기 전달함수(CDF)의 값을 수정하되,
i는 밝기, D_min'은 상기 수정된 암부의 최저밝기, 상기 D_max는 암부 최고밝기, CDF'(i)는 밝기에 따른 상기 수정된 전달함수, CDF(D_max)는 D_max에서 원본 전달함수의 값, B_min은 상기 명부의 최저밝기, B_max'는 상기 수정된 명부의 최고밝기, CDF(B_max')는 B_max'에서 원본 전달함수의 값, Maximum Grey Level은 전달함수의 최대치인 것을 특징으로 하는 열화상 대조비 향상 장치. - ◈청구항 8은(는) 설정등록료 납부시 포기되었습니다.◈영상을 입력받아 기설정된 k×k'(k 및 k'는 자연수)크기의 상기 영상에서 가장 밝은 부분인 명부와 상기 영상에서 가장 어두운 부분인 암부를 특정하는 명부/암부 특정 과정;
상기 명부와 상기 암부를 분석하여, 상기 명부의 노이즈 레벨, 상기 암부의 노이즈 레벨, 상기 명부의 밝기영역 및 상기 암부의 밝기영역을 특정하는 파라미터를 계산하고, 상기 파라미터 및 시스템 자체가 가진 시스템 노이즈를 비교하여 명암비를 수정하기 위한 변환인자를 계산하는 파라미터 계산 과정;
상기 암부의 노이즈 레벨 및 상기 명부의 노이즈 레벨에 상기 변환인자를 각각 반영하여 제한인자를 계산하는 제한인자 계산 과정;
상기 영상을 입력받아 밝기에 따른 히스토그램을 계산하는 히스토그램 계산 과정;
상기 히스토그램을 분석하여 명암비의 증폭 비율을 결정하는 전달함수를 계산하여 생성하는 과정; 및
상기 전달함수를 상기 제한인자를 이용하여 수정하는 제한인자를 이용한 전달함수 수정과정
을 포함하는 것을 특징으로 하는 잡음 레벨에 기반한 대조비 향상 방법. - ◈청구항 9은(는) 설정등록료 납부시 포기되었습니다.◈제8항에 있어서,
상기 명부/암부 특정 과정은,
상기 영상을 입력받아 복수 개의 블록으로 분할한 후 상기 블록의 평균 밝기를 계산하는 블록 분할 과정; 및
상기 블록의 평균 밝기를 비교하여 가장 밝은 블록과 어두운 블록을 찾는 블록별 밝기 비교/선택 과정
을 기설정된 횟수만큼 반복하여 상기 명부와 상기 암부를 특정하는 것을 특징으로 하는 잡음 레벨에 기반한 대조비 향상 방법. - ◈청구항 10은(는) 설정등록료 납부시 포기되었습니다.◈제8항에 있어서,
상기 명부/암부 특정 과정은,
상기 영상을 입력받아 복수 개의 블록으로 분할한 후 상기 블록의 평균 밝기를 계산하는 블록 분할 과정;
상기 블록의 평균 밝기를 비교하여 가장 밝은 블록과 어두운 블록을 찾는 블록별 밝기 비교/선택 과정; 및
상기 블록의 크기를 확인하여 상기 k×k'(k 및 k'는 자연수) 크기가 아니라면 상기 블록 분할 과정으로 돌아가서 추가적인 블록 분할을 수행하고 상기 k×k' 크기가 맞다면 상기 명부와 상기 암부로 확정하는 명부/암부 크기 확인 과정
을 포함하는 것을 특징으로 하는 잡음 레벨에 기반한 대조비 향상 방법. - ◈청구항 11은(는) 설정등록료 납부시 포기되었습니다.◈제8항에 있어서,
상기 파라미터는 상기 명부의 표준편차, 상기 암부의 표준편차, 상기 명부의 최고밝기, 상기 명부의 최저밝기, 상기 암부의 최고밝기 및 상기 암부의 최저밝기인 것을 특징으로 하는 대조비 향상 방법. - ◈청구항 12은(는) 설정등록료 납부시 포기되었습니다.◈제11항에 있어서,
상기 제한인자 계산과정은 고온 흑체 복사 영상의 표준편차를 고온 영상의 시스템의 노이즈 레벨로 정의하고 저온 흑체 복사 영상의 표준편차를 저온 영상의 시스템의 노이즈 레벨로 정의하고 상기 명부의 표준편차와 상기 암부의 표준편차를 입력된 상기 영상의 노이즈 레벨로 판단하여 제한인자를 계산하는 것을 특징으로 하는 대조비 향상 방법. - ◈청구항 13은(는) 설정등록료 납부시 포기되었습니다.◈제11항에 있어서,
상기 제한인자는 고온영상의 시스템 노이즈 레벨의 네 배와 상기 명부의 표준편차를 비교하여 작은 쪽을 기준으로 상기 명부의 표준편차와의 비를 구하고 저온영상의 시스템 노이즈 레벨의 네 배와 상기 암부의 표준편차를 비교하여 작은 쪽을 기준으로 상기 암부의 표준편차와의 비를 구하여, 상기 명부의 표준편차 및 상기 암부의 표준편차와 고온영상의 시스템 노이즈 레벨 및 저온영상의 시스템 노이즈 레벨의 비율을 반영하는 개선인자를 포함하는 것을 특징으로 하는 대조비 향상 방법. - ◈청구항 14은(는) 설정등록료 납부시 포기되었습니다.◈제11항에 있어서,
상기 암부의 최저밝기와 상기 명부의 최고밝기를 변환하는 방법은 상기 암부의 최저밝기의 변환치(D_min')는 수학식
으로 표현되고
상기 명부의 최고밝기의 변환치(B_max')는 수학식
으로 표현되되, 여기서 STD_B는 상기 명부의 표준편차, STD_SH는 고온에서 시스템 노이즈, STD_SC는 저온에서 시스템 노이즈, STD_D는 상기 암부의 표준편차, D_min은 상기 암부의 최저밝기, D_max는 상기 암부의 최고밝기, B_min은 상기 명부의 최저밝기, B_max는 상기 명부의 최고밝기, D_min'은 상기 암부의 최저밝기의 변환치, B_max'은 상기 명부의 최고밝기의 변환치인 것을 특징으로 하는 대조비 향상 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120112117A KR101937249B1 (ko) | 2012-10-09 | 2012-10-09 | 열상카메라의 영상 잡음 레벨에 기반한 대조비 향상 기법 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120112117A KR101937249B1 (ko) | 2012-10-09 | 2012-10-09 | 열상카메라의 영상 잡음 레벨에 기반한 대조비 향상 기법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20140045856A KR20140045856A (ko) | 2014-04-17 |
| KR101937249B1 true KR101937249B1 (ko) | 2019-04-11 |
Family
ID=50653125
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120112117A Active KR101937249B1 (ko) | 2012-10-09 | 2012-10-09 | 열상카메라의 영상 잡음 레벨에 기반한 대조비 향상 기법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101937249B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102359473B1 (ko) | 2020-10-21 | 2022-02-08 | 써모아이 주식회사 | 열화상 카메라 노이즈 보상 방법 및 장치 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102104321B1 (ko) * | 2018-12-27 | 2020-04-24 | 한화시스템 주식회사 | 열상 카메라의 소프트 불량 픽셀 검출 방법 |
| KR102144577B1 (ko) * | 2019-01-17 | 2020-08-13 | 정인호 | 최적의 감마보정 기반 저조도 영상 보정방법 |
| KR102193913B1 (ko) * | 2019-06-27 | 2020-12-22 | 한화시스템 주식회사 | 후천적 불량 픽셀의 검출을 위한 열상 카메라의 소프트 불량 픽셀 검출 장치 |
| KR102198748B1 (ko) * | 2019-06-27 | 2021-01-05 | 한화시스템 주식회사 | 후천적 불량 픽셀의 검출을 위한 열상 카메라의 소프트 불량 픽셀 검출 방법 |
| CN113436121B (zh) * | 2021-06-28 | 2022-12-02 | 西安电子科技大学 | 基于arm-neon扩展指令集的图像直方图统计方法 |
| KR102814604B1 (ko) * | 2023-01-25 | 2025-05-30 | 한국전자통신연구원 | 영상 처리 장치 및 방법 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000059649A (ja) | 1998-06-02 | 2000-02-25 | Deutsche Thomson Brandt Gmbh | ビデオ画像の動的コントラスト改良方法及び装置 |
| JP2006319781A (ja) * | 2005-05-13 | 2006-11-24 | Olympus Corp | 画像処理装置、画像処理プログラム |
| KR100661794B1 (ko) | 2006-05-24 | 2006-12-28 | 주훈 | 적외선 흑체가 내장된 적외선 열상 현미경 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100776134B1 (ko) * | 2005-12-23 | 2007-11-15 | 매그나칩 반도체 유한회사 | 이미지 센서 및 이미지 밝기 분포 조절방법 |
-
2012
- 2012-10-09 KR KR1020120112117A patent/KR101937249B1/ko active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000059649A (ja) | 1998-06-02 | 2000-02-25 | Deutsche Thomson Brandt Gmbh | ビデオ画像の動的コントラスト改良方法及び装置 |
| JP2006319781A (ja) * | 2005-05-13 | 2006-11-24 | Olympus Corp | 画像処理装置、画像処理プログラム |
| KR100661794B1 (ko) | 2006-05-24 | 2006-12-28 | 주훈 | 적외선 흑체가 내장된 적외선 열상 현미경 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102359473B1 (ko) | 2020-10-21 | 2022-02-08 | 써모아이 주식회사 | 열화상 카메라 노이즈 보상 방법 및 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20140045856A (ko) | 2014-04-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101937249B1 (ko) | 열상카메라의 영상 잡음 레벨에 기반한 대조비 향상 기법 및 장치 | |
| US7791656B2 (en) | Image sensing apparatus and image processing method | |
| KR100990904B1 (ko) | 다수 영상의 생성 및 합성을 통한 영상 보정 장치 및 그 방법 | |
| US10560642B2 (en) | Image processing device, image processing method and imaging device | |
| JP4736939B2 (ja) | 撮像装置及び画像処理方法 | |
| JP5988093B2 (ja) | 画像処理装置、物体識別装置、及びプログラム | |
| JP2007082181A (ja) | 撮像装置及び画像処理方法 | |
| US8085316B2 (en) | Image-processing unit, imaging apparatus, and computer program product | |
| JPH11331592A (ja) | 画像読み取り装置及びコンピュータ読み取り可能な記憶媒体 | |
| US20120236174A1 (en) | Methods and Systems for Flicker Correction | |
| JP2016081427A (ja) | 画像処装置および画像処理方法、並びにプログラム | |
| JP5437414B2 (ja) | 画像処理装置、画像処理方法、プログラムおよび記録媒体 | |
| KR20100012992A (ko) | 적외선 열상 장치 및 그것을 이용한 영상신호 처리방법 | |
| JP6552325B2 (ja) | 撮像装置、撮像装置の制御方法、及びプログラム | |
| JP4550016B2 (ja) | 輝度変換装置 | |
| JP5487581B2 (ja) | 画像処理装置、画像処理方法、プログラム、及び、撮像装置 | |
| JP2004007462A (ja) | フレア光の影響に対しデジタル画像を補正する方法 | |
| JP2007028088A (ja) | 撮像装置及び画像処理方法 | |
| JP5537995B2 (ja) | 画像処理装置および画像処理プログラム | |
| KR20160051463A (ko) | 저조도 영상의 전처리 시스템 및 그 방법 | |
| KR101950433B1 (ko) | 중적외선 영상에서의 물체 검출 방법 및 장치 | |
| KR102011490B1 (ko) | 열화상 영상의 모션벡터에 기반한 히스토그램 안정화 방법 및 장치 | |
| JP5041056B2 (ja) | 撮像システム及び制御装置 | |
| JP4274316B2 (ja) | 撮像システム | |
| JP2019040382A (ja) | 画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20121009 |
|
| PG1501 | Laying open of application | ||
| A201 | Request for examination | ||
| PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20170818 Comment text: Request for Examination of Application Patent event code: PA02011R01I Patent event date: 20121009 Comment text: Patent Application |
|
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20180604 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20181221 |
|
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20190104 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20190104 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee |
Payment date: 20220103 Start annual number: 4 End annual number: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20231212 Start annual number: 6 End annual number: 6 |
|
| PR1001 | Payment of annual fee |
Payment date: 20241219 Start annual number: 7 End annual number: 7 |