[go: up one dir, main page]

KR101514249B1 - 가시도를 개선한 영상 획득 장치 - Google Patents

가시도를 개선한 영상 획득 장치 Download PDF

Info

Publication number
KR101514249B1
KR101514249B1 KR1020130137847A KR20130137847A KR101514249B1 KR 101514249 B1 KR101514249 B1 KR 101514249B1 KR 1020130137847 A KR1020130137847 A KR 1020130137847A KR 20130137847 A KR20130137847 A KR 20130137847A KR 101514249 B1 KR101514249 B1 KR 101514249B1
Authority
KR
South Korea
Prior art keywords
wavefront
unit
channel
distortion
signal
Prior art date
Application number
KR1020130137847A
Other languages
English (en)
Inventor
박승규
백성훈
정도영
남성모
최영수
정경민
Original Assignee
한국원자력연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국원자력연구원 filed Critical 한국원자력연구원
Priority to KR1020130137847A priority Critical patent/KR101514249B1/ko
Application granted granted Critical
Publication of KR101514249B1 publication Critical patent/KR101514249B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Light Control Or Optical Switches (AREA)

Abstract

본 발명은, 대상체에 광을 조사하는 조명부, 상기 대상체에서 대한 영상을 획득하는 영상 획득부, 상기 대상체에서 반사된 광신호의 파면(wave front)왜곡 정보를 획득하는 파면 획득부, 상기 파면 획득부에서 획득한 파면왜곡 정보를 분할하는 역할 분할기, 상기 역할 분할기에서 분할된 파면왜곡 정보 중에서 기울기 왜곡을 보정하도록 이루어지는 기울기 거울, 상기 역할 분할기에서 분할된 파면왜곡 정보 중에서 기울기 왜곡을 제외한 나머지 파면왜곡 정보를 전달받아 정밀제어 신호를 생성하는 정밀제어 지원부, 상기 정밀제어 지원부에서 생성된 정밀제어 신호를 전달받아 나머지 파면왜곡을 보정하는 파면 제어부, 및 상기 영상 획득부에서 생성된 상기 대상체의 영상을 출력하고, 상기 역할 분할기에서 생성되는 분할된 파면왜곡 정보를 전달받아 상기 기울기 거울의 반사각을 제어하며, 파면왜곡을 보정하기 위한 보정신호를 생성하고, 상기 보정신호를 상기 정밀제어 지원부로 전송하는 제어부를 포함하는 것을 특징으로 하는 영상 획득 장치를 제공한다.

Description

가시도를 개선한 영상 획득 장치{IMAGE ACQUISITION APPARATUS WITH IMPROVED VISIBILITY}
본 발명은 광의 파면에 의한 왜곡을 보정하여 개선된 영상을 획득하는 장치에 관한 것이다.
원거리에 위치한 대상체의 반사광을 이용하여 영상을 획득하면 광의 파면(wave front)왜곡으로 인하여 깨끗한 화질의 영상을 획득할 수 없다. 예를 들어, 아지랑이가 피여오르는 들판에 위치한 대상체의 영상을 카메라로 획득해 보면 영상이 왜곡되게 보여진다. 이와 같은 영상의 왜곡은 피여오르는 아지랑이에 의한 광의 파면왜곡 때문이다.
따라서, 광의 파면왜곡 현상이 발생되는 환경에서도 깨끗한 화질의 영상을 획득하는 장치의 개발이 고려될 수 있다.
본 발명은 원거리에 위치한 대상체의 깨끗한 화질의 영상을 획득하기 위하여, 광의 파면왜곡을 보정할 수 있는 영상 획득 장치를 제공하기 위한 것이다.
이와 같은 본 발명의 해결 과제를 달성하기 위하여, 본 발명의 일 실시예에 따른 영상 획득 장치는, 대상체에 광을 조사하는 조명부, 상기 대상체에서 대한 영상을 획득하는 영상 획득부, 상기 대상체에서 반사된 광신호의 파면(wave front)왜곡 정보를 획득하는 파면 획득부, 상기 파면 획득부에서 획득한 파면왜곡 정보를 분할하는 역할 분할기, 상기 역할 분할기에서 분할된 파면왜곡 정보 중에서 기울기 왜곡을 보정하도록 이루어지는 기울기 거울, 상기 역할 분할기에서 분할된 파면왜곡 정보 중에서 기울기 왜곡을 제외한 나머지 파면왜곡 정보를 전달받아 정밀제어 신호를 생성하는 정밀제어 지원부, 상기 정밀제어 지원부에서 생성된 정밀제어 신호를 전달받아 나머지 파면왜곡을 보정하는 파면 제어부, 및 상기 영상 획득부에서 생성된 상기 대상체의 영상을 출력하고 상기 역할 분할기에서 생성되는 분할된 파면왜곡 정보를 전달받아 상기 기울기 거울의 반사각을 제어하며 파면왜곡을 보정하기 위한 보정신호를 생성하고 상기 보정신호를 상기 정밀제어 지원부로 전송하는 제어부를 포함한다.
본 발명과 관련한 일 예에 따르면, 상기 파면 제어부는, 상기 대상체에서 반사된 광파면을 제어하는 복수의 변형거울, 및 상기 복수의 변형거울을 각각 제어하는 복수의 변형거울 드라이버를 포함할 수 있다.
본 발명과 관련한 다른 일 예에 따르면, 상기 파면 획득부는, 상기 대상체의 일 영역에 대한 파면왜곡 정보를 획득하는 파면센서, 상기 파면센서에서 획득하지 못한 상기 대상체의 다른 일 영역의 파면왜곡 정보를 상기 파면센서에서 획득한 이웃하는 파면왜곡 정보로부터 보간(interpolation)함으로써 보완하는 파면 보완기, 및 상기 파면 보완기에 의해 보완된 파면왜곡 정보를 추출하는 파면신호 처리기를 포함할 수 있다.
본 발명과 관련한 또 다른 일 예에 따르면, 상기 역할 분할기는, 변형거울의 개수별, 특정 제르니케 계수별, 또는 파면의 영역별로, 상기 파면 획득부에서 획득한 파면왜곡 정보를 분할할 수 있다.
본 발명과 관련한 또 다른 일 예에 따르면, 상기 정밀제어 지원부는 복수의 채널 보완기를 포함하고, 상기 채널 보완기는 상기 제어부로부터 전달받은 파면왜곡 보정신호에서 상기 변형거울의 각 채널에 인가될 전압값을 인식하고, 상기 전압값이 설정되지 않은 채널의 전압값은 이웃하는 채널의 전압값을 사용하거나 보간(interpolation)함으로써 보완할 수 있다.
상기 정밀제어 지원부는 복수의 채널 안정기를 더 포함하고, 상기 채널 안정기는 상기 파면 제어부에 인가되는 보정신호들이 유효한 보정신호인지 판단하고, 상기 보정신호가 유효한 신호일 경우, 상기 파면 제어부로 유효한 보정신호를 전송하며, 상기 보정신호가 무효한 신호일 경우, 상기 채널의 보정을 중단시킬 수 있다.
상기 채널 안정기는, 상기 대상체의 파면의 실효치 값이 특정 경계값 이하일 경우, 보정하기 전의 파면형상과 보정 후의 파면형상의 유사도가 특정값 이상일 경우, 상기 변형거울의 각 채널에 인가되는 전압값의 실효치가 특정 경계값 이하일 경우, 또는 상기 변형거울의 각 채널에 인가되는 전압 분포 형태와 보정되기 전 전압 분포 형태의 유사도가 특정값 이상일 경우, 상기 보정신호를 무효로 판단하여 상기 채널의 보정을 중단시킬 수 있다.
또한, 상기한 과제를 실현하기 위하여 본 발명은 다른 일 실시예에 따른 영상 획득 장치를 제안한다. 상기 영상 획득 장치는, 광을 발생시켜 대상체를 조사하는 조명부, 상기 대상체에서 반사되는 광을 반사시키는 기울기 거울, 상기 기울기 거울에서 반사되는 광을 반사시키는 복수의 변형거울, 상기 복수의 변형거울에서 반사되는 광을 투과광과 반사광으로 분할하는 빔 분할부, 상기 반사광으로부터 상기 대상체의 전기적 영상 신호를 추출하는 영상 획득부, 상기 투과광으로부터 상기 대상체의 기울기 왜곡과 기울기 왜곡을 제외한 나머지 파면왜곡 정보를 획득하는 파면 획득부, 상기 영상 획득부에서 생성된 상기 대상체의 영상을 출력하고, 상기 파면 획득부로부터 상기 나머지 파면왜곡 정보를 전달받아 상기 나머지 파면왜곡의 보정신호를 생성하는 제어부, 및 상기 제어부로부터 상기 보정신호를 전달받아 정밀 제어신호를 생성하는 정밀제어 지원부를 포함하고, 상기 기울기 거울은 상기 파면 획득부에서 생성되는 기울기 왜곡정보를 전달받은 상기 제어부에 의해 반사각이 조절되도록 이루어지고, 상기 복수의 변형거울은, 상기 정밀제어 지원부로부터 전달받은 정밀 제어 신호에 따라 각 채널에 전압이 인가되어 상기 파면왜곡을 보정한다.
본 발명과 관련한 일 예에 따르면, 상기 파면 획득부는, 상기 투과광으로부터 상기 대상체의 파면의 일 영역에 대한 파면 정보를 획득하는 파면센서, 및 상기 파면 센서에서 획득한 이웃하는 파면 정보로부터, 측정되지 못한 다른 일 영역을 보간(interpolation)함으로써 보완된 파면 정보를 획득하는 파면 보완기를 포함할 수 있다.
상기 파면 획득부에서 획득된 상기 파면왜곡 정보가 분할되어 처리될 수 있도록, 상기 파면 획득부에서 전달받은 상기 파면왜곡 정보를 분할하여 상기 제어부로 전달하는 역할 분할기를 더 포함할 수 있다.
본 발명과 관련한 일 예에 따르면, 상기 정밀제어 지원부는 채널 보완기를 포함하고, 상기 채널 보완기는, 상기 제어부에서 보정신호가 생성되지 않은 상기 채널의 전압의 크기를, 상기 보정신호가 생성된 영역의 전압의 크기로부터 보간(interpolation) 하거나, 이웃하는 상기 채널의 전압 크기로 설정하여 정밀 제어신호를 생성할 수 있다.
상기 정밀제어 지원부는, 상기 정밀 제어신호가 유효한 신호인지 판단하고,
상기 정밀 제어신호가 유효한 신호일 경우 유효한 정밀 제어신호를 상기 복수의 변형거울로 전달하고, 상기 정밀 제어신호가 무효한 신호일 경우 상기 채널의 보정을 중단시키는 채널 안정기를 더 포함할 수 있다.
본 발명의 영상 획득 장치는 파면센서에서 측정하지 못한 파면의 특정 영역에 대한 정보를 보간 방법으로 보완하여 획득함으로써, 정밀한 보정신호를 생성할 수 있다.
또한, 본 발명의 영상 획득 장치는 파면 획득부에서 획득한 파면왜곡 정보를 특정 비율로 분할하여 보정함으로써, 파면왜곡의 보정을 효율적으로 수행할 수 있다.
또한, 본 발명의 영상 획득 장치는 보정신호가 생성되지 않은 변형거울의 채널 전압을 이웃하는 유효 채널 전압으로 보완하여 보정의 정밀도를 향상시키고, 아울러, 보정신호가 유효한지 판단하고 유효한 보정신호만을 이용함으로써 보정의 효율성을 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 획득 장치를 나타낸 개념도.
도 2는 도 1에 도시된 영상 획득 장치에서의 광의 경로를 상세하게 나타낸 개념도.
도 3은 도 1에 도시된 파면 센서가 측정하는 파면의 영역을 나타낸 개념도.
도 4는 도 1에 도시된 변형거울의 구성하는 채널을 나타낸 개념도.
도 5는 도 1에 도시된 채널 안정기가 동작하지 않은 상태에서 측정된, 보정 수에 따른 파면 위상의 실효치 및 최대-최소값을 나타낸 그래프.
도 6은 도 1에 도시된 채널 안정기가 동작하지 않은 상태에서 측정된, 고정된 파면왜곡에 대해 보정한 결과인 보정 수에 따른 채널의 전압값을 나타낸 그래프.
도 7은 도 1에 도시된 채널 안정기가 동작하고 고정된 파면왜곡 환경에서 측정된, 보정 수에 따른 파면 위상의 실효치 및 최대-최소값을 나타낸 그래프.
도 8은 도 1에 도시된 채널 안정기가 동작하는 상태에서 측정된, 보정 수에 따른 채널의 전압값을 나타낸 그래프.
도 9는 고정된 파면왜곡이 발생하는 환경에서 획득한 대상체의 영상을 나타낸 이미지.
도 10은 도 9와 같은 조건에서, 도 1에 도시된 영상 획득 장치를 이용하여 획득한 대상체의 영상을 나타낸 이미지.
이하, 본 발명의 가시도를 개선한 영상 획득 장치에 대하여 첨부된 도면을 참조하여 상세히 설명한다.
본 명세서에서는 서로 다른 실시예라도 동일·유사한 구성에 대해서는 동일·유사한 참조번호를 부여하고, 그 설명은 처음 설명으로 갈음한다. 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
도 1은 본 발명의 일 실시예에 따른 영상 획득 장치(100)를 나타낸 개념도이고, 도 2는 도 1에 도시된 영상 획득 장치(100)에서의 광의 경로를 상세하게 나타낸 개념도이다.
도 1 및 도 2를 참조하면, 영상 획득 장치(100)는 조명부(110), 영상 획득부(120), 파면 획득부(130), 역할 분할기(140), 기울기 거울(150), 정밀제어 지원부(160), 파면 제어부(170) 및 제어부(180)를 포함한다.
조명부(110)는 대상체(10)에 광을 조사한다. 예를 들어, 조명부(110)는 빛을 발생시키는 광원(미도시)을 포함하고, 상기 광원으로부터 발생되는 빛을 대상체(10)에 조사한다. 상기 빛은 적외선으로 형성될 수 있다. 또한, 상기 광은 거울(20)에 의해 반사되어 대상체(10)에 조사될 수 있다.
영상 획득부(120)는 대상체(10)에 대한 영상을 획득한다. 예를 들어, 영상 획득부(120)는 광신호를 전기적인 영상신호로 추출하는 영상획득 센서(미도시)를 포함하여 대상체(10)에 대한 영상을 획득한다.
파면 획득부(130)는 대상체(10)에서 반사된 광신호의 파면(wave front)왜곡 정보를 획득한다. 한편, 파면 획득부(130)는 파면센서(131), 파면 보완기(133) 및 파면신호 처리기(135)를 포함할 수 있다.
파면센서(131)는 대상체(10)의 일 영역에 대한 파면왜곡 정보를 획득한다. 한편, 파면 센서(131)는 샥-하트만 파면센서(Shack-Hartmann wave front sensors)로 이루어질 수 있다.
파면 보완기(133)는 파면왜곡의 정도가 심하여 파면센서(131)로 획득하지 못한 대상체(10)의 파면왜곡 정보를, 파면센서(131)로 획득한 파면왜곡 정보로부터 보간(interpolation)함으로써 보완할 수 있다.
파면신호 처리기(135)는 파면 보완기(133)에서 보완된 데이터로부터 파면왜곡 정보를 추출할 수 있다.
파면센서(131)와 파면신호 처리기(135)는 광의 파면왜곡 정보를 획득하는 장치로서, 파면 기울기 정보를 측정할 수 있다. 예를 들어, 대상체(10)가 점 영상인 경우, 파면신호 처리기(135)에서 각 배열렌즈에서의 중심점 위치를 얻기 위하여 상기 배열렌즈에서 맺히는 영상픽셀 강도의 중심을 찾는 무게중심법(center of mass)을 사용하여 파면 기울기 정보를 측정한다.
또는, 파면센서(131)가 면 영상인 대상체(10)에 대한 파면정보를 획득하는 경우, 유사도를 찾는 관계법인 절대차합(SAD:sum of absolute difference) 기법을 이용하여, 기준 파면과 유사도 관계를 갖는 영상정보를 얻은 이후, 세부적으로 보간(interpolation)하여 상기 배열렌즈에서의 파면 기울기 정보를 추출할 수 있다.
예를 들어, 상기 무게중심법으로 각 배열렌즈에서 맺히는 점 영상에 대한 X축 기울기 Tiltx 와 Y축 방향의 파면 기울기 Tilty 정보는 식 (1-1) 및 식 (1-2)와 같은 방법으로 구할 수 있다.
Figure 112013103505248-pat00001
식 (1-1)
Figure 112013103505248-pat00002
식 (1-2)
여기서, Ii ,j는 X축이 i이고 Y축이 j인 (i,j)위치에서의 픽셀 강도이고, NxN은 사용자에 의해 설정된 각 점 영상의 탐색영역을 픽셀단위로 설정한 값이다.
그리고, 유사도를 찾는 관계법에 의한 각 배열렌즈에 맺히는 영상에서의 파면기울기 정보는, 현재 입력 영상 IL(NxN)과 기준 영상 IR(MxM, M<N)의 관계를 나타낸 식 (2-1)에 의하여 상기 절대차합 기법으로 상관도를 추출한다.
Figure 112013103505248-pat00003
식 (2-1)
상기 상관도를 추출한 이후, X축과 Y축 방향의 서브픽셀 단위의 세부적인 기울기 정보는 식 (2-2)와 식(2-3)과 같이 보간방법에 의해 구해질 수 있다.
Figure 112013103505248-pat00004
식 (2-2)
Figure 112013103505248-pat00005
식(2-3)
여기서, (xmin, ymin)은 DLR(x,y)에서 최소값이 되는 X축 픽셀 위치 xmin이고 Y축 픽셀 위치 ymin을 의미한다.
제어부(180)는 영상 획득부(120)에서 생성된 대상체(10)의 영상을 출력하고, 파면 획득부(130)에서 생성되는 파면왜곡 정보를 전달받아 기울기 거울(150)의 반사각을 제어하며, 파면왜곡을 보정하기 위한 보정신호를 생성하고, 상기 보정신호를 정밀제어 지원부(160)로 전송한다.
구체적으로, 파면 획득부(130)에서 생성된 파면왜곡 정보가 제어부(180)로 전달되면, 제어부(180)는 식 (3-1)을 사용하여 파면의 왜곡을 보정하기 위한 보정 전압값을 계산하고, 상기 전압값에 따라 기울기 거울(150)을 제어하고, 정밀제어 지원부(160)로 파면보정 정보를 전달하여 파면왜곡을 보정한다.
[V]=[T][Z] 식 (3-1)
여기서, Z는 파면센서(131)가 현재 측정한 파면왜곡에 대한 제르니케 계수 행렬이며, T는 식 (3-2)로 생성되는 계수 행렬이다.
[T]=[M+][Zb] 식 (3-2)
여기서, M+는 변형거울의 영향 함수 M의 유사 역행렬이며, 행렬 Zb는 기본 함수인 제르니케 계수 영상별로 추출한, 계수별 제르니케 기울기를 모아놓은 제르니케 기본 함수 행렬이다.
예를들어, 샥-하트만 파면센서의 배열렌즈 개수가 2N개이고 변형거울(171,172)의 구동축이 K개인 경우의 변형거울 영향함수 행렬 M은 다음과 같이 표현될 수 있다.
Figure 112013103505248-pat00006
여기서, 행렬 M의
Figure 112013103505248-pat00007
는 K 번째 변형거울 구동기에 일정한 전압을 인가하였을 때 10번째 파면센서 배열렌즈의 점 영상의 Y축 방향의 기울기 데이터이다.
역할 분할기(140)는 파면 획득부(130)에서 획득한 파면왜곡 정보를 특정 비율로 분할한다.
구체적으로, 역할 분할기(14)는 특정 제르니케 계수의 왜곡량을 N% 대 M% 로 분할할 수 있다. (여기서, N+M=100%), 또는, 역할 분할기(140)는 제르니케 계수별로 N1부터 N2까지는 제1 변형거울(171)이 담당하고 N2+1부터 N3까지는 제2 변형거울(172)이 담당하도록 분할할 수 있다. 또한, 역할 분할기(140)는 파면의 영역별로 보정량을 분할할 수도 있다. 이에 따라, 파면왜곡의 정도가 심할 경우, 보정량을 복수의 변형거울(171,172)로 분할하여 수행하므로 효율적인 제어가 가능하다.
기울기 거울(150)은 역할 분할기(140)에서 분할된 파면왜곡 정보 중에서 기울기 왜곡을 보정하도록 이루어진다. 예를 들어, 기울기 거울(150)은 제르니케 계수 1과 계수 2는 X축과 Y축 방향의 기울기 값이므로, 이를 상기 기술한 방법을 이용하여 상기 기울기 왜곡을 보정할 수 있다.
정밀제어 지원부(160)는 역할 분할기에서 분할된 파면왜곡 정보 중에서 기울기 왜곡을 제외한 파면왜곡 정보를 전달받아 정밀제어 신호를 생성한다. 정밀제어 지원부(160)의 상세한 메커니즘에 대해서는 이후 도 3 내지 도 7을 참조하여 설명하도록 한다.
파면 제어부(170) 정밀제어 지원부(160)에서 생성된 제어 신호를 전달받아 파면왜곡 정보를 제어한다. 파면 제어부(170)는 복수의 변형거울(171,172)과 복수의 변형거울 드라이버(175,176)를 포함할 수 있다. 변형거울(171,172)은 광파면을 제어하고, 변형거울 드라이버(175,176)는 정밀제어 지원부(160)로부터 제어 신호를 전달받아 변형거울(171,172)을 제어하도록 이루어진다.
이하, 파면보완기(133) 파면정보를 보완하는 메커니즘에 대하여 도 3을 참조하여 상세히 설명한다.
도 3은 도 1에 도시된 파면 센서가 측정하는 파면의 영역을 나타낸 개념도이다. 예를 들어, 도 3에 도시된 바와 같이 15x15 배열렌즈로 구성된 파면센서(131)에서, 파면센서(131)가 파면센서(131)가 측정하는 영역은 A 영역(A)이고, 정도가 심한 왜곡이나 잡음으로 인하여 측정하지 못하는 영역이 B 영역(B)의 외곽 부분이고, 실제 측정이 가능한 영역을 B 영역(B)이라고 가정할 때, 유효한 실측영역은 사각형이 채워진 점 영상으로 구성된 B 영역(B)라고 할 수 있다.
이때, 파면보완기(133)는 파면센서(131)로부터 얻어지는 유효한 실측영역(B)의 파면왜곡 정보로부터, 전체 영역인 전체영역(A)에서 측정되지 않은 영역을 보완하는 작업을 수행한다.
상기 보완작업은 파면센서(131)로부터 측정된 데이터를 보간함으로써 수행된다. 예를 들어, 두 픽셀간의 간단한 선형보간 방법을 사용할 경우, 도 2에 도시된 바와 같이 (8,1), (1,8), (15,8) 및 (8,15) 위치에서의 파면값 W(8,1), W(1,8), W(15,8) 및 W(8,15)는 다음과 같이 계산될 수 있다.
W(8,1)= W(8,2)+DYU(8,2)
W(1,8)= W(2, 8)+DXR(2,8)
W(15,8)= W(14,8)+DXL(14,8)
W(8,15)= W(8,14)+DYD(8,14)
이때, DYU(8,2)=W(8,2)-W(8,2+1),
DXR(2,8)=W(2,8)-W(2+1,8),
DXL(14,8)=W(14,8)-W(14-1,8),
DYD(8,14)=W(8,14)-W(8,14-1) 이다.
상기와 같은 보간 방법은 비선형 방법으로 보간될 수도 있다. 예를 들어, 상기 비선형 방법은 2차원 영상에서 큐빅 B-스플라인 곡선을 이용할 수 있다.
이하, 정밀제어 지원부(160)의 상세한 메커니즘에 대하여 도 4 내지 도 8을 참조하여 상세히 설명한다.
도 4는 도 1에 도시된 변형거울의 구성하는 채널을 나타낸 개념도이고, 도 5는 도 1에 도시된 채널 안정기가 동작하지 않은 상태에서 측정된, 고정된 파면왜곡에 대해 보정한 결과인 보정 수에 따른 파면 위상의 실효치 및 최대-최소값을 나타낸 그래프이며, 도 6은 도 1에 도시된 채널 안정기가 동작하지 않은 상태에서 측정된, 고정된 파면왜곡에 대해 보정한 결과인 보정 수에 따른 채널의 전압값을 나타낸 그래프이고, 도 7은 도 1에 도시된 채널 안정기가 동작하고 고정된 파면왜곡 환경에서 측정된, 보정 수에 따른 파면 위상의 실효치 및 최대-최소값을 나타낸 그래프이며, 도 8은 도 1에 도시된 채널 안정기가 동작하는 상태에서 측정된, 보정 수에 따른 채널의 전압값을 나타낸 그래프이다.
도 4 내지 도 8을 참조하면, 정밀제어 지원부(160)는 복수의 채널 보완기(161,162)를 포함할 수 있다.
채널 보완기(161,162)는 제어부(180)로부터 전달받은 파면왜곡 보정신호에서 변형거울(171,172)의 각 채널에 인가될 전압값을 인식하고, 상기 전압값이 설정되지 않은 채널의 전압값은 이웃하는 채널의 전압값을 사용하거나 보간(interpolation)함으로써 채널에 인가되는 전압값을 보완한다.
구체적으로, 채널 보완기(161,162)는 파면 보정에 직접적으로 기여하지 않는 변형거울의 채널을 보완하는 기능을 수행한다. 예를 들어, 도 4에는 변형거울(171,172)의 1부터 225까지의 각 채널이 도시된다. 여기서 변형거울(171,172)의 외곽부분을 제외한 보정영역(C)의 사각형 안의 채널을 실제 파면 보정에 사용한다고 가정하면, 보정영역(C)의 내부의 각 채널은 파면왜곡을 보정하기 위하여 지속적으로 인가되는 전압이 변화한다. 반면, 보정영역(C) 외부에 위치한 채널은 전압이 인가되지 않는 0V 또는, 기본 바이어스 전?값으로 고정값이 인가된다. 이 경우, 보정영역(C)의 경계면 부근에서 측정되는 파면센서(131)의 점 영상은 왜곡이 크게 발생할 수 있다.
이때, 채널 보완기(161,162)는 보정영역(C)의 외곽 부분에 배치된 채널을 보간 방법으로 보상하여, 파면센서(131)가 정밀한 측정을 할 수 있도록 보완하는 역할을 한다. 보정영역(C)의 외곽 부분에 배치된 채널의 보완 방법은 ZOH(zero order hold) 방법 즉, 이웃하는 채널의 전압값을 그대로 채워 넣을 수 있고, 이차원 영역에서 선형보간법으로 보간하여 채워 넣을 수도 있다. 예를 들어, 상기 ZOH 방법을 사용한다고 가정하면, 채널 23, 107, 119 및 203의 채널 전압은 각각 채널 38, 108, 118, 188의 전압값을 가진다. 또한, 채널 8, 106, 120 및 218의 채널 전압은 채널 23, 107, 119 및 203의 채널 전압값을 갖게 된다. 이에 따라, 파면센서(131)에 잡히는 점 영상의 왜곡을 줄임으로써, 파면왜곡을 정밀하게 측정할 수 있다.
한편, 정밀제어 지원부(160)는 복수의 채널 안정기(165,166)를 포함할 수 있다.
채널 안정기(165,166)는 파면 제어부(170)에 인가되는 보정신호들이 유효한 보정신호인지 판단하고, 상기 보정신호가 유효한 신호일 경우, 파면 제어부(170)로 유효한 보정신호를 전송하여 파면왜곡의 보정이 이루어진다.
구체적으로, 영상 획득 장치(100)가 파면왜곡의 보정을 한계치 가까이 완료하였는데 계속하여 보정을 수행하는 경우, 파면이 보정된 영상을 획득할 수는 있지만, 변형거울(171,172)의 채널의 전압 자원을 소모한다. 예를 들어, 도 5 및 도 6에 도시된 바와 같이 실제 2번 또는 3번의 보정으로 한계치에 가깝게 파면왜곡의 보정이 완료되었지만, 계속하여 보정을 반복하는 경우 보정은 정상적으로 수행한다. 하지만, 도 6에 도시된 바와 같이 채널에 인가되는 전압이 한계 전압인 +150V 또는 -150V까지 도달함에 따라, 다음에 입사되는 파면왜곡을 보정하기 위해 필요한 자원을 미리 소비하는 낭비가 발생한다.
채널 안정기(165,166)는 현재 파면의 실효치(RMS value)가 특정 경계값 이하일 경우, 또는 보정되기 전의 파면형상과 보정 후의 파면 형상의 유사도가 특정값 이상일 경우, 또는 변형거울(171,172)의 각 채널에 인가되는 전압값이 특정 경계값 이하일 경우, 또는 보정되기 전의 변형거울(171,172)의 채널 전압의 형상과 보정 후의 파면 형상의 유사도가 특정값 이상일 경우, 파면 보정을 을 더 이상 수행하지 않고 현재 상태를 유지한다. 이에 따라, 도 7 및 도 8에 도시된 바와 같이 채널 안정기(165,166)의 동작에 의하여, 특정 경계값 이상으로 파면의 보정이 완료되면, 더 이상 보정을 수행하지 않고 변형거울(171,172)의 채널전압에 사용되는 자원을 보존함으로써 영상 획득 장치(100)의 효율성을 높일 수 있다.
이하, 광의 흐름에 따라 영상 획득 장치(100)가 대상체(10)의 파면왜곡을 보정하는 메커니즘에 대하여 도 2, 도 9 및 도 10을 참조하여 설명한다.
도 9는 고정된 파면왜곡이 발생하는 환경에서 획득한 대상체의 영상을 나타낸 이미지이고, 도 10은 도 9와 같은 조건에서 도 1에 도시된 영상 획득 장치를 이용하여 획득한 대상체의 영상을 나타낸 이미지이다.
도 2를 참조하면, 조명부(110)에서 조사된 광은 거울(24)과 렌즈(26)를 통과하여 대상체(10)에 조사되고, 대상체(10)에서 반사된 광은 렌즈(26)와 기울기 거울(150)과 복수의 변형거울(171,172)과 렌즈(27)를 통과한다.
그리고, 상기 복수의 변형거울(171,172)에서 반사되는 광을 투과광과 반사광으로 분할하는 빔 분할기(190)를 통과한 상기 광 중에서 상기 반사광의 광신호는 렌즈(28), 공간필터(30) 및 렌즈(28)를 통과하여 영상 획득부(120)에 의해 전기적 영상신호로 획득되고, 상기 획득된 영상신호는 제어부(180)에 의해 영상으로 출력된다.
이때, 상기 투과광의 광신호는 파면 획득부(130)에 구비되는 파면센서(131)에 의해 전기적 파면 신호로 변환되며, 파면보완기(133)에 의해 상기 투과광의 광신호 중에서 신호가 약하거나 왜곡의 정도가 심하여 측정되지 못한 영역의 파면 신호가 보완된 후에 파면신호 처리기(135)로 전달되고, 파면신호 처리기(135)에 의해 파면왜곡 정보가 추출된다.
상기 추출된 파면왜곡 정보는 역할분할기(140)에 의해 복수의 변형거울(171,172)의 개수만큼 분할된다. 분할된 각각의 파면왜곡 정보는 제어부(180)에서 상기 파면왜곡을 보정할 수 있는 보정신호가 생성된다.
그리고, 제어부(180)는 상기 보정신호 중에서 기울기 왜곡을 기울기 거울(150)을 제어하여 보정하고, 상기 기울기 왜곡을 제외한 나머지 파면왜곡을 보정할 수 있는 보정신호는 정밀제어 지원부(160)에 전송한다.
정밀제어 지원부(160)에 구비되는 채널 보완기(161,162)는 각각의 변형거울(171,172)을 제어하는 정밀 제어신호에서 사용하지 않는 변형거울(171,172)의 채널의 정밀 제어신호를 보완한다. 그리고, 채널 안정기(165,166)는 상기 정밀 제어신호가 유효한 신호인지 판단하고, 유효한 정밀제어 신호일 경우 각각의 변형거울 드라이버(175,176)에 전송하며, 상기 변형거울 드라이버(175,176)는 복수의 변형거울(171,172)을 제어하여 파면왜곡을 보정한다.
이에 따라, 영상 획득 장치(100)는, 광원이 점(point)인 영상을 획득할 경우, 도 9에 도시된 바와 같이 점 형상의 주위에 아지랑이가 피여오르는 현상으로 인하여 광신호의 파면의 왜곡이 발생하고 이로 인하여 흐린영상이 획득된다. 이때, 상기 영상 획득 장치(100)을 이용하면, 상기 파면의 왜곡을 보정하여 도 10에 도시된 바와 같이 개선된 대상체(10)의 영상을 획득할 수 있다.
다만, 본 발명의 권리범위는 위에서 설명된 실시예들의 구성과 방법에 한정됨은 아니고, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다. 또한, 특허청구범위로부터 파악되는 본 발명의 권리범위와 비교하여 당해 분야의 통상의 지식을 가진 자 수준에서 변형, 부가, 삭제, 치환 가능한 발명 등 모든 균등한 수준의 발명에 대하여는 모두 본 발명의 권리 범위에 속함은 자명하다.
100 : 영상 획득 장치 110 : 조명부
120 : 영상 획득부 130 : 파면 획득부
140 : 역할 분할기 150 : 기울기 거울
160 : 정밀제어 지원부 170 : 파면 제어부
180 : 제어부 190 : 빔 분할기

Claims (12)

  1. 대상체에 광을 조사하는 조명부;
    상기 대상체에서 대한 영상을 획득하는 영상 획득부;
    상기 대상체에서 반사된 광신호의 파면(wave front)왜곡 정보를 획득하는 파면 획득부;
    상기 파면 획득부에서 획득한 파면왜곡 정보를 분할하는 역할 분할기;
    상기 역할 분할기에서 분할된 파면왜곡 정보 중에서 기울기 왜곡을 보정하도록 이루어지는 기울기 거울;
    상기 역할 분할기에서 분할된 파면왜곡 정보 중에서 기울기 왜곡을 제외한 나머지 파면왜곡 정보를 전달받아 정밀제어 신호를 생성하는 정밀제어 지원부;
    상기 정밀제어 지원부에서 생성된 정밀제어 신호를 전달받아 나머지 파면왜곡을 보정하는 파면 제어부; 및
    상기 영상 획득부에서 생성된 상기 대상체의 영상을 출력하고, 상기 역할 분할기에서 생성되는 분할된 파면왜곡 정보를 전달받아 상기 기울기 거울의 반사각을 제어하며, 상기 역할 분할기에서 분할된 파면왜곡 정보 중에서 기울기 왜곡을 제외한 나머지 파면왜곡 정보를 상기 정밀제어 지원부로 전송하는 제어부를 포함하는 것을 특징으로 하는 영상 획득 장치.
  2. 제1항에 있어서,
    상기 파면 제어부는,
    상기 대상체에서 반사된 광파면을 제어하는 복수의 변형거울; 및
    상기 복수의 변형거울을 각각 제어하는 복수의 변형거울 드라이버를 포함하는 것을 특징으로 하는 영상 획득 장치.
  3. 제1항에 있어서,
    상기 파면 획득부는,
    상기 대상체의 일 영역에 대한 파면왜곡 정보를 획득하는 파면센서;
    상기 파면센서에서 획득하지 못한 상기 대상체의 다른 일 영역의 파면왜곡 정보를, 상기 파면센서에서 획득한 이웃하는 파면왜곡 정보로부터 보간(interpolation)함으로써 보완하는 파면 보완기; 및
    상기 파면 보완기에 의해 보완된 파면왜곡 정보를 추출하는 파면신호 처리기를 포함하는 것을 특징으로 하는 영상 획득 장치.
  4. 제1항에 있어서,
    상기 역할 분할기는,
    변형거울의 개수별, 특정 제르니케 계수별, 또는 파면의 영역별로, 상기 파면 획득부에서 획득한 파면왜곡 정보를 분할하는 것을 특징으로 하는 영상 획득 장치.
  5. 제2항에 있어서,
    상기 정밀제어 지원부는 복수의 채널 보완기를 포함하고,
    상기 채널 보완기는 상기 제어부로부터 전달받은 파면왜곡 보정신호에서 상기 변형거울의 각 채널에 인가될 전압값을 인식하고, 상기 전압값이 설정되지 않은 채널의 전압값은 이웃하는 채널의 전압값을 사용하거나 보간(interpolation)함으로써 보완하는 것을 특징으로 하는 영상 획득 장치.
  6. 제5항에 있어서,
    상기 정밀제어 지원부는 복수의 채널 안정기를 더 포함하고,
    상기 채널 안정기는 상기 파면 제어부에 인가되는 보정신호들이 유효한 보정신호인지 판단하고,
    상기 보정신호가 유효한 신호일 경우, 상기 파면 제어부로 유효한 보정신호를 전송하며,
    상기 보정신호가 무효한 신호일 경우, 상기 채널의 보정을 중단시키는 것을 특징으로 하는 영상 획득 장치.
  7. 제6항에 있어서,
    상기 채널 안정기는,
    상기 대상체의 파면의 실효치 값이 특정 경계값 이하일 경우,
    또는 보정하기 전의 파면형상과 보정 후의 파면형상의 유사도가 특정값 이상일 경우,
    또는 상기 변형거울의 각 채널에 인가되는 전압값의 실효치가 특정 경계값 이하일 경우, 또는
    상기 변형거울의 각 채널에 인가되는 전압 분포 형태와 보정되기 전 전압 분포 형태의 유사도가 특정값 이상일 경우,
    상기 보정신호를 무효로 판단하여 상기 채널의 보정을 중단시키는 것을 특징으로 하는 영상 획득 장치.
  8. 광을 발생시켜 대상체를 조사하는 조명부;
    상기 대상체에서 반사되는 광을 반사시키는 기울기 거울;
    상기 기울기 거울에서 반사되는 광을 반사시키는 복수의 변형거울;
    상기 복수의 변형거울에서 반사되는 광을 투과광과 반사광으로 분할하는 빔 분할부;
    상기 반사광으로부터 상기 대상체의 전기적 영상 신호를 추출하는 영상 획득부;
    상기 투과광으로부터 상기 대상체의 기울기 왜곡과 기울기 왜곡을 제외한 나머지 파면왜곡 정보를 획득하는 파면 획득부;
    상기 영상 획득부에서 생성된 상기 대상체의 영상을 출력하고, 상기 파면 획득부로부터 상기 나머지 파면왜곡 정보를 전달받아 상기 나머지 파면왜곡의 보정신호를 생성하는 제어부; 및
    상기 제어부로부터 상기 보정신호를 전달받아 정밀 제어신호를 생성하는 정밀제어 지원부를 포함하고,
    상기 기울기 거울은, 상기 파면 획득부에서 생성되는 기울기 왜곡정보를 전달받은 상기 제어부에 의해 반사각이 조절되도록 이루어지고,
    상기 복수의 변형거울은, 상기 정밀제어 지원부로부터 전달받은 정밀 제어 신호에 따라, 각 채널에 전압이 인가되어 상기 나머지 파면왜곡을 보정하는 것을 특징으로 하는 영상 획득 장치.
  9. 제8항에 있어서,
    상기 파면 획득부는,
    상기 투과광으로부터 상기 대상체의 파면의 일 영역에 대한 파면 정보를 획득하는 파면센서; 및
    상기 파면 센서에서 획득한 이웃하는 파면 정보로부터, 측정되지 못한 다른 일 영역을 보간(interpolation)함으로써 보완된 파면 정보를 획득하는 파면 보완기를 포함하는 것을 특징으로 하는 영상 획득 장치.
  10. 제9항에 있어서,
    상기 파면 획득부에서 획득된 상기 파면왜곡 정보가 분할되어 처리될 수 있도록, 상기 파면 획득부에서 전달받은 상기 파면왜곡 정보를 분할하여 상기 제어부로 전달하는 역할 분할기를 더 포함하는 것을 특징으로 하는 영상 획득 장치.
  11. 제8항에 있어서,
    상기 정밀제어 지원부는 채널 보완기를 포함하고,
    상기 채널 보완기는, 상기 제어부에서 보정신호가 생성되지 않은 상기 채널의 전압의 크기를, 상기 보정신호가 생성된 영역의 전압의 크기로부터 보간(interpolation) 하거나, 이웃하는 상기 채널의 전압 크기로 설정하여 정밀 제어신호를 생성하는 것을 특징으로 하는 영상 획득 장치.
  12. 제11항에 있어서,
    상기 정밀제어 지원부는, 상기 정밀 제어신호가 유효한 신호인지 판단하고,
    상기 정밀 제어신호가 유효한 신호일 경우, 유효한 정밀 제어신호를 상기 복수의 변형거울로 전달하고,
    상기 정밀 제어신호가 무효한 신호일 경우, 상기 채널의 보정을 중단시키는 채널 안정기를 더 포함하는 것을 특징으로 하는 영상 획득 장치.
KR1020130137847A 2013-11-13 2013-11-13 가시도를 개선한 영상 획득 장치 KR101514249B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130137847A KR101514249B1 (ko) 2013-11-13 2013-11-13 가시도를 개선한 영상 획득 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130137847A KR101514249B1 (ko) 2013-11-13 2013-11-13 가시도를 개선한 영상 획득 장치

Publications (1)

Publication Number Publication Date
KR101514249B1 true KR101514249B1 (ko) 2015-04-22

Family

ID=53053827

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130137847A KR101514249B1 (ko) 2013-11-13 2013-11-13 가시도를 개선한 영상 획득 장치

Country Status (1)

Country Link
KR (1) KR101514249B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017039171A1 (ko) * 2015-09-03 2017-03-09 (주)이오테크닉스 레이저 가공장치 및 레이저 가공방법
KR101726771B1 (ko) * 2016-03-16 2017-04-13 국방과학연구소 스트렐 비율을 이용한 변형거울의 평활화 방법 및 장치
KR102061859B1 (ko) * 2018-11-23 2020-01-02 주식회사 한화 레이저 빔의 파면을 보정하는 장치 및 그 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100419192B1 (ko) * 2002-04-10 2004-02-21 한국수력원자력 주식회사 다중 입사광의 파면왜곡 정밀측정 장치 및 그 방법
JP2005501587A (ja) * 2001-08-30 2005-01-20 ユニバーシティー オブ ロチェスター 生体眼の網膜領域撮像方法及びそのシステム
JP2012134799A (ja) * 2010-12-22 2012-07-12 Nippon Hoso Kyokai <Nhk> 適応光学を用いた撮像装置及び制御方法
JP2012150143A (ja) * 2011-01-17 2012-08-09 Nikon Corp 防振補償光学装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005501587A (ja) * 2001-08-30 2005-01-20 ユニバーシティー オブ ロチェスター 生体眼の網膜領域撮像方法及びそのシステム
KR100419192B1 (ko) * 2002-04-10 2004-02-21 한국수력원자력 주식회사 다중 입사광의 파면왜곡 정밀측정 장치 및 그 방법
JP2012134799A (ja) * 2010-12-22 2012-07-12 Nippon Hoso Kyokai <Nhk> 適応光学を用いた撮像装置及び制御方法
JP2012150143A (ja) * 2011-01-17 2012-08-09 Nikon Corp 防振補償光学装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017039171A1 (ko) * 2015-09-03 2017-03-09 (주)이오테크닉스 레이저 가공장치 및 레이저 가공방법
KR101825923B1 (ko) * 2015-09-03 2018-03-22 주식회사 이오테크닉스 레이저 가공장치 및 레이저 가공방법
CN108025393A (zh) * 2015-09-03 2018-05-11 Eo科技股份有限公司 激光加工装置以及激光加工方法
US10286485B2 (en) 2015-09-03 2019-05-14 Eo Technics Co., Ltd. Laser processing device and laser processing method
KR101726771B1 (ko) * 2016-03-16 2017-04-13 국방과학연구소 스트렐 비율을 이용한 변형거울의 평활화 방법 및 장치
KR102061859B1 (ko) * 2018-11-23 2020-01-02 주식회사 한화 레이저 빔의 파면을 보정하는 장치 및 그 방법

Similar Documents

Publication Publication Date Title
US12193912B2 (en) Thermal calibration of scanning system
US10902623B1 (en) Three-dimensional imaging with spatial and temporal coding for depth camera assembly
KR102211136B1 (ko) 흑체를 구비한 온도 계측 시스템 및 방법
US10276130B1 (en) Display latency calibration for organic light emitting diode (OLED) display
US20200259989A1 (en) High dynamic range camera assembly with augmented pixels
KR101514249B1 (ko) 가시도를 개선한 영상 획득 장치
CN110007289B (zh) 一种基于飞行时间深度相机的运动伪差减小方法
US10574938B1 (en) Variable frame rate depth camera assembly
US8749640B2 (en) Blur-calibration system for electro-optical sensors and method using a moving multi-focal multi-target constellation
JP2001045381A (ja) 画像処理装置および方法、並びに媒体
JP2017090457A (ja) ピクセル非一様性補正
CN114967129A (zh) 一种新型扩展目标自适应光学成像系统及其方法
CN102621688A (zh) 基于差分传感器的自适应光学系统
US20210364883A1 (en) An imaging device
JP2008292597A5 (ko)
US20190251700A1 (en) Method and device for depth detection using stereo images
JP5990560B2 (ja) スキャナからの歪みの像に基づく修正
JP5949519B2 (ja) 撮像装置及び画像処理方法
WO2021084892A1 (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び画像処理システム
Miyamura Image based deformable mirror control for adaptive optics in satellite telescope
Yang et al. Coupling and alignment of optical systems based on the hartmann-sensor and fast tilt-mirrors

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20131113

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20141005

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20150413

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20150416

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20150417

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20180406

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20180406

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20190328

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20190328

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20200324

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20210415

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20220503

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20230417

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20240523

Start annual number: 10

End annual number: 10