KR102058780B1 - 라인 스캐닝 방식의 공초점 현미경에서의 자동초점조절 방법 및 장치 - Google Patents

Abstract

본 발명은 롤링 셔터 센서를 사용하는 레이저 스캐닝 공초점 현미경에서의 자동 초점 검출 방법을 제공한다. 본 자동 초점 검출 모듈의 일부 광학계를 기본 현미경 시스템과 공동으로 하여 전체 시스템의 복잡성을 낮추고, 획득한 영상에서 빛의 세기만을 분석하여 자동으로 초점 검출 시간을 줄일 수 있다.

Description

라인 스캐닝 방식의 공초점 현미경에서의 자동초점조절 방법 및 장치 {A method for auto-focus controlling in a line-scanning confocal microscopy and the apparatus therefor}

본 발명은 공초점 현미경에서의 자동초점조절 방법 및 장치에 관한 것이다.

종래 현미경에서 사용하는 자동초점조절 (auto-focus controlling) 방법은 크게 두 가지 방법으로 구분된다. 하나는 이미지 (영상) 분석 기반 자동초점조절 방법이고, 다른 하나는 레이저를 이용한 자동초점조절 방법이다. 이미지 분석 기반 자동초점조절 방법은, 관측을 위한 대상물체 (specimen 또는 sample)의 영상을 분석하여 최적의 초점위치를 검출하고 조절하는 방법이다. 이미지 분석 방법은 측정 대상물체의 영상을 수득하고 이의 콘트라스트 (contrast)를 분석하는 것을 포함하는 SW (software) 알고리즘만으로 자동초점조절을 수행할 수 있으므로, 자동초점조절을 위한 별도의 광학 시스템이 필요하지 않다는 장점이 있다. 또한, 이미지 분석 알고리즘의 효용 정도에 따라 초점위치를 조절하는데 있어 오차율이 매우 적다는 장점이 있다. 그러나, 현미경은 수 ㎛ 단위의 변화에 민감하기 때문에 정확한 초점위치를 찾기 위해서는 미세 단위로 분할된 깊이 영상 (depth image)을 획득하여야 하고, 무작위한 위치의 샘플을 찾고, 영상을 촬영하여 분석하기까지 많은 시간이 소요되어 속도가 느리다는 단점이 있다. 또한, 대상물체가 놓인 슬라이드나 플레이트 자체의 물리적인 두께 오차로 인해, 샘플 위치를 변경하는 과정에서 초점위치를 찾기 위한 스캐닝 영역이 수 ㎜까지 차이가 발생할 수 있다. 따라서, 이러한 물리적인 오차를 보완하기 위해 깊이 방향으로의 영상 획득 영역을 넓게 설정해야 할 필요가 있으며, 이 경우 자동초점조절은 더욱 느려지게 된다.

다른 방법은, 형광 현미경에서 사용하는 형광 광원 외의 파장대역 (예를 들어, 근적외선)을 갖는 광원을 사용하여 별도 모듈 (module)을 구성하고, 측정하고자 하는 대상물체로부터 반사되는 빛을 별도의 센서로 받아 분석하는 방법이다. 예를 들어, 레이저 자동초점조절 방법은 대상물체에서 반사되어 되돌아오는 빛을 슬릿 (slit) 또는 핀홀 (pin-hole)에 통과시킨 후 PD (photo diode)로 세기 (intensity)를 검출하여 초점위치를 확인한다. 이와 같은 레이저 자동초점조절 방법은 기본 공초점 현미경 시스템 공간 외의 영역에 자동초점모듈의 구성을 위한 공간이 요구되지만, 이미지 분석이 필요 없고, 신속한 스캐닝이 가능하므로, 자동초점조절 속도가 빠르다는 장점이 있다. 또한, 외부 진동에 의해 대상물체가 놓인 플레이트 또는 스테이지 (stage)의 위치가 흔들리더라도 넓은 영역에 대해 빠른 스캐닝이 가능하기 때문에, 상기한 최대 수 ㎜까지 발생하는 대상물체를 포함하는 샘플이 놓이는 플레이트의 물리적인 두께 오차에 대한 문제점을 극복할 수 있다. 이러한 방법은, 측정 대상물체의 실제 초점위치가 아닌 광의 굴절률이 변하는 계면, 즉, 광 도파 매질이 변하는 지점, 예를 들어, air, water, oil 등 과 샘플 플레이트 혹은 슬라이드글라스 사이의 계면, 글라스와 샘플 사이의 계면, 샘플과 커버글라스 사이의 계면 등을 기준위치로써 검출하는 것으로서, 검출된 계면에 따라 실제 초점위치와 약 1 mm 이하의 오차를 갖는다. 따라서, 상기 검출된 계면 또는 기준위치로부터 측정 대상물체의 초점위치까지 일정 오프셋 (offset) 거리만큼 이동이 필요하다. 이 때 오프셋 거리는 초기 설정값으로써, 시야 또는 관찰 위치 (FOV, field of view)에 무관하게 고정된 값으로 주어지므로, 대상물체의 분포 및 형태에 따른 초점위치 오차가 발생하게 된다.

최근에는 상기 이미지 (영상) 분석 기반 자동초점조절과 레이저 오토포커스 (Laser Auto Focus)의 신속한 스캐닝 속도를 결합한 방법이 제안된 바 있다. 예를 들어, 먼저 레이저 오토포커스 방식으로 상기 계면을 검출한 후, 이 위치로부터 일정 오프셋을 이동하고 상기 이동된 오프셋 위치로부터 특정 영역을 미세 단위로 스캐닝 한 영상을 추가로 분석함으로써 측정 대상물체의 초점위치를 검출 및 조절하는 방법이 있다. 다른 예로서, 자동초점조절을 위한 광원의 빛이 대상물체로부터 반사되어 돌아오는 빔 패턴 (beam pattern)을 별도의 센서가 아닌 기본 현미경 구성 중의 촬상소자 (imaging device), 예를 들어, CCD (Charge Coupled Device) 및 CMOS (Complementary metaloxidesemiconductor)로 획득하여 분석하는 방식이 있다. 이 때 영상의 전 영역이 아닌 반사되는 빔 패턴이 존재하는 일부 영역만을 분석함으로써, 상기 샘플 플레이트의 물리적인 두께 오차범위를 포함하는 영역의 스캐닝 및 분석 시간을 줄일 수 있다. 이와 같이, 공초점 현미경에서 자동초점에 소요되는 시간을 줄이기 위한 다양한 방법이 개발되고 있으나, 만족할 만한 방법 및 구조는 여전히 요구되는 실정이다.

이에, 본 발명자들은 공초점 현미경에서 자동초점조절을 보다 더 효과적으로 수행할 수 있는 방법을 찾고자 부단히 노력하였으며, 그 결과 본 발명을 완성하였다.

한국등록특허 제 10-0602915호 한국특허등록 제 10-0781095호

본 발명은 상기와 같은 문제점을 해결하기 위하여 고안된 것으로서, 본 발명은 공초점 현미경에서 자동으로 초점을 조절하는 방법을 제공하는 것을 목적으로 한다.

또한, 본 발명은 자동초점조절 장치가 구비된 공초점 현미경 시스템을 제공하는 것을 목적으로 한다.

또한, 본 발명은 광학장치의 자동초점조절을 위한 시스템을 제공하는 것을 목적으로 한다.

상기 목적을 달성하기 위해, 본 발명은 레이저 스캐닝 공초점현미경 (laser scanning confocal microscope)의 샘플 스캐닝 속도를 개선한 라인 스캐닝 현미경 (line scanning confocal microscope)을 이용한 자동초점조절 방법을 제공한다.

본 발명의 일 예에서, 본 발명의 자동초점조절 방법은, 광원부, 빔 스캐닝부, 검출부 및 대물렌즈부가 구비된 공초점 현미경을 포함하는 시스템 구성부, 시스템 제어부 및 신호처리부로 구성된 공초점 현미경의 자동초점조절 시스템에서, i) 기준위치로부터 초점위치의 오프셋 값을 계산하고 저장하는 단계; ⅱ) 상기 기준위치를 기준으로 일정영역에 대해 라인 (line) 형태의 빔 (beam)을 측정 대상물체 (specimen)에 조사하여 빔 스캐닝을 수행하여, 대물렌즈를 통해 입사한 이미지 신호를 2차원 배열 형태의 픽셀로 구성하여 스캐닝 이미지를 생성하고, 하나 이상의 다이크로익 빔 스플리터 (dichroic beam splitter)를 통과시켜 상기 생성된 스캐닝 이미지를 분리, 정렬하여 빔 스캐닝 패턴을 생성하는 단계; ⅲ) 상기 빔 스캐닝부와 동기화된 이미지 센서로 상기 분리 및 정렬된 빔 스캐닝 패턴을 분석하여 영상을 획득하는 단계; ⅳ) 상기 획득한 영상에서 라인 선예도 (sharpness) 또는 라인 세기 (intensity) 또는 둘 모두를 분석하여 초점위치까지의 거리를 추정하고 대물렌즈부를 Z-축 방향으로 이동시키는 단계; 및 ⅴ) 새로운 시야 (field of view)로 이동 여부를 확인하고, 상기 영상 회득 및 분석을 선택적으로 반복 수행하는 것을 포함하여, 공초점 현미경의 자동초점조절 방법을 제공한다.

본 발명의 다른 일 예에서, 상기 ii)의 스캐닝은 스캐닝 미러 (scanning mirror)로 수행되고, 상기 이미지 센서는 상기 스캐닝 미러와 동기화된 롤링 셔터 (rolling shutter)를 포함하는 카메라인 것을 사용하여 샘플의 깊이방향(Z-축 방향) 노이즈를 제거하는 공초점 현미경 시스템을 구성하고, 본 시스템에 대해 특화된 자동초점조절 방법을 제공한다.

본 발명의 또 다른 일 예에서, 상기 측정 대상물체는 1개 이상의 대물렌즈를 포함하는 모듈이 구비된 스테이지 상에 마운팅되고, 상기 스테이지가 z-축 방향으로 이동함에 의해, 상기 스테이지의 위치 값에 대응하는 영상이 이미지 센서 앞단의 셔터를 통해 깊이 방향 노이즈가 제거된 신호가 획득되는 것인, 공초점 현미경의 자동초점조절 방법을 제공한다.

본 발명의 또 다른 일 예에서, 상기 빔 스캐닝 수행과 카메라 롤링 셔터의 수행은 서로 반대방향으로 이동 및 수행되어, 시야 (FOV) 중앙부의 라인 형태의 영상을 획득하여 분석하는 것인, 공초점 현미경의 자동초점조절 방법을 제공한다.

본 발명은 또한 라인 형태의 빔을 출사하는 광원부; 상기 광원부로부터 출사된 빔의 경로를 조절하고 상기 빔을 스테이지 (stage)에 마운팅 (mounting)된 측정 대상물체 (specimen) 상에 조사하고 대물렌즈를 통해 입사한 이미지 신호를 2차원 배열 형태의 픽셀로 구성하여 스캐닝 이미지를 생성하는 빔 스캐닝부; 상기 측정 대상물체에서 상기 빔의 초점이 형성되도록 상기 빔 스캐닝부를 통과한 빛을 상기 대상물체로 안내하는 대물렌즈, 및 상기 대물렌즈를 포함하는 모듈이 구비되고 측정 대상물체가 마운팅 되는 스테이지를 포함하는 대물렌즈부; 및 상기 빔 스캐닝부와 동기화된 이미지 센서로 상기 빔 스캐닝 패턴을 분석하여 영상을 획득하고 분석하는 검출부를 포함하는, 자동초점조절이 수행되는 공초점 현미경을 제공한다.

본 발명의 일 예예서, 상기 라인 형태의 빔은 레이저 빔 (laser beam)이고 상기 이미지 센서는 CMOS 이미지 센서와 롤링 셔터 (rolling shutter) 카메라를 포함하는 것인, 자동초점조절이 수행되는 공초점 현미경이 제공된다.

본 발명의 다른 일 예에서, 상기 광원부는 하나 이상의 파장을 제공하는 광원모듈, 여기필터, 및 빔 익스펜더 (beam expander)가 순차적으로 구비된 것인, 자동초점이 수행되는 공초점 현미경을 제공한다.

본 발명의 또 다른 일 예에서, 본 발명의 빔 스캐닝부는 갈바노메터 미러(galvanometer mirror) (132), 회전다면경 (polygonal rotation mirror) 및 MEMS (microelectro-mechanical systems)로부터 선택된 제1 다이크로익 미러 (dichroic mirror) 및 제2 다이크로익 미러를 포함하며, 예를 들어, 제1 다이크로익 미러가 X-축을 스캐닝하는 회전다면경인 경우, 제2 다이크로익 미러는 갈비노미터 미러이며 Y-축을 스캐닝하는 것인, 자동초점이 수행되는 공초점 현미경을 제공한다.

본 발명의 또 다른 일 예에서, 상기 빔 스캐닝부는, 상기 제1 다이크로인 미러 및 상기 제2 다이크로익 미러 중 어느 하나를 통과한 빔을 다른 하나로 안내하는 릴레이 광학계를 추가로 포함하도록 고안된다.

본 발명의 또 다른 일 예에서, 광학시스템 구성부, 시스템제어부 및 신호처리부로 구성된 공초점현미경의 자동초점조절 시스템으로서, 상기 광학시스템 구성부가, 라인 (line) 형태의 빔 (beam)을 출사하는 광원부; 상기 광원부로부터 출사된 빔의 경로를 조절하고 상기 빔을 스테이지 (stage)에 마운팅 (mounting)된 측정 대상물체 (specimen) 상에 조사하며, 상기 대물렌즈를 통해 입사한 이미지 신호로부터 빔 스캐닝 패턴을 생성하는 빔 스캐닝부; 상기 측정 대상물체에서 상기 빔의 초점이 형성되도록 상기 빔 스캐닝부를 통과한 빛을 상기 대상물체로 안내하는 대물렌즈, 및 상기 대물렌즈를 포함하는 테릿이 구비되고 측정 대상물체가 마운팅 되는 스테이지를 포함하는 대물렌즈부; 및 상기 이미지 센서로서 롤링 셔터 (rolling shutter) 카메라를 포함하는 검출부를 포함하고; 상기 시스템 제어부는, 컴퓨터로 판독 가능한 기록매체를 포함하며, 라인 형태 빔의 스캐닝 속도와 롤링셔터 카메라의 셔터 속도를 동기화시키고, 카메라 센서의 픽셀이 동기화되는 방향과 라인 빔의 스캐닝 방향이 반대로 수행되도록 제어하여, 시야 (FOV) 중앙에서만 신호를 받을 수 있도록 함으로써 분석하고자 하는 영상의 영역을 제한하며, 상기 신호처리부는, 컴퓨터로 판독 가능한 기록매체를 포함하며, 상기 수득한 영상의 라인 선예도 또는 라인 세기를 분석하여 초점거리를 측정하는 것인, 공초점현미경의 자동초점조절 시스템을 제공한다.

본 발명에서, 기준위치는 측정 대상물체의 실제 초점위치가 아닌 대상물체에 조사된 광의 굴절률이 변하는 계면 (기준위치)을 의미한다.

본 발명에서, 측정 대상물체는 측정물체, 샘플 또는 시편과 같은 의미를 갖는 것으로 이해되며, 현미경으로 관찰하고자 하는 대상을 의미한다.

본 발명에서, 빔 확장기 (beam expander)는 입사광을 시스템 내부로 받아들여 출력 시 입사된 빔을 더 크게 확장하는 기능을 하는 부품 또는 장치이다.

본 발명에서, 빔 스플리터 (beam splitter)는 빔 스캐닝부에서 스캐닝된 이미지를 지정된 비율에 따라 두 개의 빔으로 분리하거나 두 개의 다른 빔을 단일 빔으로 결합하는데 사용되는 부품 또는 장치이다.

본 발명에서, z-축 방향은 측정 대상물체가 놓이는 면에 수직인 방향을 의미하며, 대상물체에 입사되는 빔 또는 광의 진행방향과 평행인 방향을 의미한다.

본 발명에서, X축 방향 및 Y축 방향은 스테이지 표면상에서 상호 수직인 관계를 이루는 축을 의미한다.

본 발명에서, 동기화는 2개 이상의 부품 또는 장치가 동시에 구동되어 실시간으로 연동되는 것을 의미한다.

본 발명에서. 시야 (FOV, field of view)는 현미경 하에서 관찰되는 대상물체의 특정 영역을 의미한다.

본 발명에 따른 공초점 현미경의 자동초점조절 방법은 시야의 고정된 중심부 영역을 분석하므로, 분석 및 처리에 소요되는 시간이 단축되고 향상된 정확도를 갖는 결과를 제공할 수 있다. 또한, 본 발명의 자동초점조절 방법에 따르면, 간단한 연산으로 초점위치를 자동 분석하므로 자동초점조절에 필요한 시간은 측정 대상물체가 올려진 스테이지의 이동시간에만 의존한다. 또한, 본 발명의 방법으로 얻은 라인 패턴은 이미지 센서의 롤링 셔터와 연동하여 동기화 되도록 구동되므로, 기준위치가 아닌 영역으로부터의 빔은 노이즈로서 제거되고 목적하는 위치에서의 신호만 실시간으로 확인 및 분석할 수 있다.

도 1은 광학시스템 구성부, 시스템 제어부 및 신호처리부로 구성된 본 발명의 시스템 구성을 개략적으로 나타낸 것이다.
도 2 및 도 3은 본 발명의 광학시스템 구성부를 도시한 것이다.
도 4는 롤링 셔터 카메라를 이용한 라인 스캐닝 시스템 제어 방식으로 일반 영상을 획득하는 것을 나타낸 것이다.
도 5는 본 발명의 시스템에서 자동초점을 위한 영상을 획득하는 것을 나타낸 것이다.
도 6은 본 발명의 신호처리부의 작동순서를 나타낸 것이다.

이하, 도면 및 실시예에 의거하여 본 발명을 설명한다. 본 발명의 도면 및 실시예는 본 발명을 설명하기 위한 예시에 불가한 것이며, 본 발명의 권리범위가 이에 제한되는 것은 아니다.

도 1에 따르면, 본 발명의 시스템은 광학시스템 구성부 (10), 시스템 제어부 (20) 및 신호처리부 (30)로 구성되며, 상기 광학시스템 구성부는 광원부, 빔스캐닝부 및 대물렌즈부를 포함하는 공초점 현미경으로 구성된다. 상기 시스템 제어부는, 자동초점 분석 및 조정을 위한 영상을 얻기 위해 상기 광학시스템 구성부를 제어하고, 또한 상기 광학시스템 구성부로부터 획득한 영상 이미지를 이용한 초점 위치정보에 따라 상기 광학시스템 구성부를 제어한다. 상기 신호처리부는 상기 광학시스템 구성부로부터 수득한 영상 (신호)를 분석하여 초점 위치정보를 획득하며 이를 상기 시스템 제어부에 제공한다. 상기 시스템 제어부 및 신호처리부는 각각 시스템 제어 및 신호처리 프로그램을 기록한 컴퓨터에 의해 판독 가능한 기록매체를 포함할 수 있다.

도 2 및 3을 참조하여 본 발명의 광학시스템 구성부를 설명한다. 본 발명에서 광원부 (150)는 공초점 현미경에서 라인 형태 빔 스캐닝 및 영상 분석 이미지 센서에 필요한 빔을 출사한다. 상기 광원부 (150)는, 예를 들어, 라인 형태의 레이저 빔을 방출하도록, 1개 이상의 단파장 레이저 빔을 제공하는 광원모듈 (151), 여기필터 (ex filter) (152), 및 빔 익스펜더 (beam expander) (154)가 빔의 진행 방향을 따라 순차적으로 구비될 수 있다. 본 발명의 빔 스캐닝부 (130)는 빔 익스펜더 다음에 구비될 수 있고, 광원부 (130)에서 출사된 하나 이상의 단파장 레이저는, 각각의 레이저 파장에 맞는 적절한 제1 및 제 2 다이크로익 미러 (134, 132)를 통해 하나의 광으로 콜리메이션 (colimation)되고 빔의 경로는 특정 방향으로 변경할 수 있다. 상기 제1 다이크로익 미러 및 제2 다이크로익 미러는 각각 갈바노메터 미러(galvanometer mirror) (132), 회전다면경 (polygonal rotation mirror), AOD (acoustic optical deflector), DMD (digital micromirror device) 및 MEMS (microelectro-mechanical systems)를 포함하여 빔의 경로를 변경할 수 있는 임의의 수단으로부터 선택될 수 있다. 예를 들어, 제1 다이크로익 미러가 X-라인을 스캐닝하는 회전다면경인 경우, 제2 다이크로익 미러는 Y-라인을 스캐닝 하는 갈비노미터 미러일 수 있다. 빔 스캐닝부 (130)에 의해 경로가 변경된 빔은 대물렌즈 (142)로 진행하고, 상기 대물렌즈 (142)는 대상물체 상에 빔의 초점을 형성할 수 있도록 상기 빔 스캐닝부 (130)를 통과한 빔을 굴절시켜 대상물체를 향하도록 한다. 본 발명에서, 빔 스캐닝부 (130)는, 대상물체가 그 위에 장착된 스테이지 (141) 또는 플레이트가 z-축 방향을 따라 움직이는 동안, 라인 형태의 빔으로대상물체를 스캐닝 (scanning) 하도록 한다. 본 발명에서, 상기 다이크로익 미러 (134)는 이를 구동시키기 위한 수단, 예를 들어, 모터가 장착된 구동부가 구비되도록 할 수 있다. 상기 빔 스캐닝부 (130)는 상기 다이크로익 미러 (134) 및 갈바노미터스캐너 (132) 중 어느 하나를 통과한 빔을 다른 하나로 전달하기 위한 릴레이 광학계를 필요에 따라 추가로 포함할 수 있음은 물론이다.

또한, 도 2 및 도 3에 도시된 바와 같이, 측정 대상물체가 놓인 스테이지 (141)는 대상물체를 수평 (xy-축) 및 수직 (z-축)으로 이동시킬 수 있는 구동수단을 더 포함할 수 있다. 본 발명에서 구동부는 모터 또는 롤러를 포함하는 컨베이어 시스템일 수 있으나 이에 제한되는 것은 아니다. 본 발명에서, 상기 스테이지가 z-축 방향으로 이동하면서 대물렌즈 (142)와 대상물체 사이의 거리를 조절하며, 이에 따라 자동초점조절이 수행된다. 스테이지 (141)의 z-축 방향 수직 이동을 위해 압전소자를 포함하는 압변환기 (piezo transducer)가 추가로 장착될 수 있다.

또한, 도 2 및 3을 참조하면, 본 발명의 검출부 (110)는 EM 필터모듈 (113), 카메라경통 (112) 및 롤링 셔터 (111)를 갖는 카메라를 순차적으로 포함한다. 측정 대상물체로부터 반사된 빔 또는 광은 대물렌즈 (142) 및 빔 스캐닝부 (130)을 통과하여 검출부 (110)으로 전달된다. 빔 스캐닝부 (130)의 빔 스필리터는 스캐닝된 빔 패턴을 생성하고, 생성된 빔 패턴은 EM 필터 (Emission filter), 카메라경통을 통해 빔 스캐닝부와 동기화된 롤링 셔터 카메라로 전달되어 영상이 획득된다.

도 4 및 도 5를 참조하여 본 발명의 시스템 제어부를 설명한다. 도 4는 일반 영상획득 방식에서 시스템 제어를 설명한다. 도 4에서 롤링 셔터 카메라 센서의 픽셀 (pixel) 수는 2048 * 2048이다. 수평픽셀 (horizontal pixels)은 거의 동시에 활성화 (activation) 되고, 수직 (vertical) 방향의 경우 설정한 인터벌 (interval) 값의 지연 (delay)를 가지고 순차적으로 활성화된다. 또한, 설정한 카메라 노출시간 (exposure time) 동안 라인단위 픽셀의 활성화 상태가 유지되고, 노출시간이 끝나면 순차적으로 비활성화(deactivation) 된다. 도 4의 시스템 제어부에서, 롤링 셔터 카메라를 이용한 공초점 방식은, 라인 스캐닝 방식의 현미경 시스템으로서, 하나의 시야 (FOV)를 촬영하기 위해 라인 형태의 빔을 x축 또는 y축 방향으로 스캐닝하고, 이때 빔의 스캐닝 속도를, 상기 셔터속도 (pixels의 activation 속도)와 동기화하여, 빛이 샘플에 비추고 있는 영역에 대해서만 신호를 받고 다른 영역에서 오는 노이즈는 제거한다. 도 4에 도시한 것과 같이, 스캐닝 속도 (= 셔터속도)에 따라 도 4의 회색영역(pixel active region), 노란색 영역 (line beam illumination region)의 기울기가 변동한다. 픽셀 활성화 영역은 입력 파라미터에 따라 변동한다 (도 4의 오른 쪽에서 3번째 참조). 속도 동기화는 기울기 (절대적인 속도)를 동일하게 맞추는 것이 아니고 각 영역이 겹치는 시작과 끝의 타이밍을 맞추는 것을 특징으로 한다 (도 4의 우측 상단 빨간 점선 표시부 참조). 따라서, 두 영역이 겹쳐 실제 신호를 받는 영역은 검은 점선으로 표시한 영역이 될 것이다. 노란색으로 나타낸 라인 빔은 광학 시스템 구성에 따라 고정된 두께 (도 4에서 수직방향)를 갖는다. 반면에 길이 방향 (도 4의 수평방향)은 시간(속도)을 나타낸다. 그러나, 실제로는 도 4에 도시한 것과 같이, 여러 행이 동시에 존재할 수 없으며, 스캐닝 하는 동안 실제 픽셀 활성화 영역과 겹치게 되는 부분은 도 4에서 검은 점선으로 표시(Actual signal acquisition region)한 영역이 된다. 상기 검은 점선영역과 회색 영역의 차이가 작을수록 빛이 존재할 때만 픽셀이 활성화 됨을 의미하며, 노이즈 제거율 (공초점 효과)이 증가한다. 그러나, 겹치는 영역이 작을수록 그만큼 신호의 세기도 감소하기 때문에 SNR (signal/noise ratio)가 작아진다. 이에 빔 스캐닝 속도와 픽셀 활성화 시간의 적절한 비율 조절이 필요하다. 도 4에서 사용한 센서 사이즈는 13.312 mm * 13.312 mm이고, 측정되는 라인 빔의 두께는 FWHM(full width harf maximum) = 약 1.7 μm이었다. 도 4에 도시된 시스템 제어부는 시스템을 구성하는 광학계에 따라 획득하는 이미지의 픽셀이 의미하는 사이즈는 달라지는데, 예를 들어, 20 x 대물렌즈를 사용하는 경우, 최종 이미지의 픽셀 크기는 약 0.585 μm이고, 이는 라인 빔이 고정된 상태에서 4 픽셀 라인을 동시에 비추고 있다는 것을 의미한다. 이 경우, 라인 노출 시간은 인터벌 시간의 약 4배로 설정하면 최적의 SNR을 얻을 수 있다.

도 5는 본 발명의 시스템에서 자동초점분석을 위한 영상을 획득하는 방법을 나타낸 것이다. 도 5에 나타낸 것과 같이, 라인 빔의 스캐닝 속도와 셔터의 속도를 동기화 시켜 공초점 효과를 얻는 것과 동시에, 카메라 센서의 픽셀이 동기화되는 방향과 라인 빔의 스캔 방향을 반대로 함으로써, 시야 (FOV) 중앙에서만 신호를 받을수 있도록 하여 분석하고자 하는 영상의 영역을 제한할 수 있다. 이때, 사용하는 광원의 파장은 근적외선 영역이다. 획득되는 신호는 굴절률이 달라지는 계면으로부터 오는 것으로 하고, 실제 샘플의 초점위치를 찾는 데에 참고 (reference) 할 수 있다. 롤링 셔터가 동작하는 속도와 스캐닝 거울의 속도는 상기 설명한 것과 동일하게 동기화되나, 서로 반대 방향이 되도록 함으로써 픽셀의 수직방향으로 중앙 영역에 한정된 신호를 받을 수 있다. 이때 픽셀 활성화 인터벌 시간 (pixel active interval time)과 노출 시간을 조절함으로써 겹치는 영역의 두께를 조절할 수 있다. 상기 두께가 겹치는 영역의 최대값은 조명하는 라인 빔의 두께로서, 본 발명의 시스템을 구성하는 광학계에 의해 결정된다. 본 발명의 시스템 제어부는 상기한 것과 같이 본 발명의 방식으로 시야의 중앙영역에만 신호를 받아 획득한 영상을 신호처리부에서 처리하게 되며, 별도의 복잡한 연산없이 세기 (intensity)만을 분석하여 초점거리를 찾는다. 이와 같이, 세기만으로 영상 분석이 가능한 것은 본 발명의 시스템에서 획득한 영상이 라인 빔의 스캐닝 속도와 셔터 속도를 동기화하여 수득한 공초점 영상이기 때문이다. 본 발명의 다른 예로서, 라인 빔을 스캐닝하지 않고 중앙에 고정한 상태에서 촬영하여 라인 영상을 획득하고, 라인 선예도와 세기를 분석하여 초점위치를 찾는 방식도 가능하다.

도 6에 따라 신호처리부에서 자동초점조절이 수행되는 과정을 설명한다. 본 발명에 따르면, 광학시스템 구성부 시스템 제어부 및 신호처리부로 구성된 본 발명의 시스템은 다음 단계를 포함하는 자동초점조절 방법을 제공한다:

i) 기준위치로부터 초점위치의 오프셋 값을 계산하고 저장하는 단계;

ⅱ) 상기 기준위치를 기준으로 일정영역에 대해 라인 (line) 형태의 빔 (beam)을 측정 대상물체에 조사하고, 상기 대상물체로부터 반사된 빔 스캐닝 패턴 (beam scanning pattern)으로부터 이미지 센서 (image sensor)를 통해 영상을 획득하는 단계;

ⅲ) 상기 획득한 영상에서 라인 선예도 (sharpness) 또는 라인 세기 (intensity)를 분석하고, 초점거리를 추정하여 스테이지를 z-축 방향으로 이동시키는 단계; 및

ⅳ) 새로운 시야 (field of view, FOV)로 이동 여부를 확인하고, 필요에 따라 이동한 후 상기 영상회득 및 분석을 반복 수행하는 단계.

본 발명의 방법에 따르면, 상기 영상 획득 및 분석 단계에서, 라인 선예도가 가장 높은 것을 자동초점 위치의 레퍼런스로 할 수 있다. 빔 스캐닝이 없는 상태에서, 1개 이상의 대물렌즈를 포함하는 테릿 (terret)이 구비되고 측정 대상물체가 놓인 스테이지 (stage)를 z-축 방향으로 상하 이동함에 따라 상기 스테이지의 위치 값과 이에 대응하는 영상을 획득하여 분석하며, 이때 상기 이미지 센서의 카메라 셔터 모드는 글로벌셔터 (global shutter) (open aperture) 모드일 수 있다.

본 발명의 다른 방법에 따르면, 상기 ⅱ)는 라인 형태의 빔을 사용하고 스캐닝 미러 (scanning mirror)를 사용하여 대상물체를 빔 스캐닝하고, 상기 빔 스캐닝과 동기화된 롤링 셔터 (rolling shutter)를 이미지 센서의 카메라 셔터로 이용하여 분석하고자 하는 영상을 획득한다. 또한, 상기 ⅲ)의 영상으로부터 라인 선예도 또는 라인 세기를 분석하는 단계는, 1개 이상의 대물렌즈를 포함하는 테릿이 구비되고 측정 대상물체가 장착되는 스테이지를 z-축 방향으로 이동하면서 상기 스테이지의 위치 값과 이에 대응하는 영상을 동시에 획득하여 분석할 수 있다. 본 발명의 영상 획득 및 분석 과정에서, 스캐닝 미러의 이동과 카메라 롤링 셔터의 수행은 서로 반대방향으로 설정되며, 이를 통해 시야의 중심부로부터 라인 형태의 영상을 획득하여 분석할 수 있다. 이와 같이, 본 발명에서, 이미지 센서의 카메라 셔터 모드는 스캐닝 미러와 동기화된 롤링 셔터 모드 일 수 있다. 본 발명의 자동초점조절 과정에서, 라인 형태의 빔 패턴은 롤링 셔터와 연동되고 동기화되므로, 목적하는 기준위치가 아닌 다른 영역으로부터 전달되는 빔은 노이즈로서 제거되고, 이에 따라 보다 더 정확한 깊이 위치 정보를 포함한 3차원 분석 및 자동초점 검출이 가능하다.

본 발명의 방법에서, 기준위치를 검출하는 과정이 선행될 수 있다. 구체적으로, 먼저 대상물체에 대해 라인 형태의 빔 스캐닝을 z-축 방향으로 수행함과 동시에 이와 동기화된 영상을 이미지 센서를 통해 획득하고, 상기 수득한 영상으로부터 라인 선예도 및 세기를 분석하여 기준위치를 추정한다. 다음, 상기 추정된 기준위치로 스테이지를 이동시킨 후, 초점 위치까지 수동 또는 자동으로 이동시킨 후 위치 값 오프셋을 계산하고 저장한다.

본 발명은 공초점 현미경의 자동초점검출 및 조절에 유용하게 이용될 수 있다. 따라서, 공초점 현미경을 포함한 관측장비의 활용도를 높여 관련 산업분야에 널리 이용될 수 있을 것이다.

10: 광학시스템 구성부
20: 시스템 제어부
30: 신호 처리부
110: 검출부;
111: 롤링 셔터를 포함하는 카메라;
112: 튜브렌즈 (카메라 경통); 113: EM 필터
130: 빔 스캐닝 부;
131: 라인 빔에 대한 빔 shaper;
132: 갈바노미터 스캐닝 미러; 133: 스캔렌즈 경통; 134: 다이크로익 미러;
141: 스테이지; 142: 대물렌즈

Claims (10)

1. 광원부, 대물렌즈부, 빔 스캐닝부 및 검출부를 포함하는 자동초점조절이 수행되는 공초점 현미경으로서,
   상기 광원부는 1개 이상의 단파장 레이저 빔을 제공하는 광원모듈을 포함하여, 라인(line) 형태의 빔(beam)을 출사하고;
   상기 대물렌즈부는 측정 대상물체(specimen)에 상기 라인형태의 빔의 초점이 형성되도록 상기 빔 스캐닝부를 통과한 빛을 상기 측정 대상물체로 안내하는 대물렌즈, 및 상기 대물렌즈를 포함하는 테릿(terret)이 구비되고 측정 대상물체가 그 위에 마운팅 되는 스테이지를 포함하며;
   상기 빔 스캐닝부는 상기 광원부로부터 출사된 빔의 경로를 조절하고 상기 빔을 스테이지에 마운팅된 측정 대상물체 상에 조사하며, 상기 대물렌즈를 통해 입사한 이미지 신호로부터 빔 스캐닝 패턴을 생성하고; 및
   상기 검출부는 상기 빔 스캐닝부와 연동하고 이동 속도가 동기화된 이미지 센서로서, 상기 빔 스캐닝부와 서로 반대 방향으로 수행되는 이미지 센서를 포함하여, 상기 빔 스캐닝 패턴을 분석하고 영상을 획득 및 분석하는 것인,
   자동초점조절이 수행되는 공초점 현미경.
2. 제 1항에 있어서, 상기 라인 형태의 빔은 레이저 빔이고 상기 이미지 센서가 CMOS 이미지 센서 및 롤링 셔터 (rolling shutter) 카메라를 포함하는 것인, 자동초점조절이 수행되는 공초점 현미경.
3. 제 1항 또는 제 2항에 있어서, 상기 광원부는 하나 이상의 파장을 제공하는 광원모듈, 여기필터, 빔 익스펜더 (beam expander) 및 빔 스플리터 (beam splitter) 순차적으로 구비된 것인, 자동초점이 수행되는 공초점 현미경.
4. 제 1항에 있어서, 상기 빔 스캐닝부는 제 1 다이크로익 미러 (dichroic mirror) 및 제 2 다이크로익 미러를 포함하는 것인, 자동초점조절이 수행되는 공초점 현미경.
5. 제 4항에 있어서, 상기 빔 스캐닝부는, 상기 제1 다이크로익 미러 및 상기 제 2 다이크로익 미러 중 어느 하나를 통과한 빔을 다른 하나로 안내하는 릴레이 광학계를 더 포함하는 것인, 자동초점조절이 수행되는 공초점 현미경.
6. 광원부, 대물렌즈부, 빔 스캐닝부 및 검출부로 구성된 공초점 현미경을 포함하는 광원시스템 구성부, 시스템제어부 및 신호처리부로 구성된 공초점 현미경의 자동초점조절 방법으로서,
   i) 기준위치로부터 초점위치의 오프셋 값을 계산하고 저장하는 단계;
   ⅱ) 상기 기준위치를 기준으로 일정영역에 대해 라인 형태의 빔을 측정 대상물체에 조사하여 빔 스캐닝을 수행하고, 대물렌즈를 통해 입사한 이미지 신호로부터 빔 스캐닝 패턴을 생성하는 단계;
   ⅲ) 상기 빔 스캐닝부와 연동하고 이동 속도가 동기화된 이미지 센서로서, 상기 빔 스캐닝부와 서로 반대 방향으로 수행되는 이미지 센서로 상기 빔 스캐닝 패턴을 분석하여, 시야 (field of view) 중앙부의 라인 형태의 영상을 획득 및 분석하는 것인 단계;
   ⅳ) 상기 획득한 영상에서 라인 선예도 (sharpness) 또는 라인 세기 (intensity) 또는 둘 모두를 분석하여 초점위치까지의 거리를 측정하고 대물렌즈부를 Z-축 방향으로 이동시키는 단계; 및
   ⅴ) 새로운 시야 (field of view)로 이동 여부를 확인하고, 상기 영상 획득 및 분석을 반복 수행하는 것을 포함하는,
   공초점 현미경의 자동초점조절 방법.
7. 제 6항에 있어서, 상기 ii)의 스캐닝은 스캐닝 미러 (scanning mirror)로 수행되고, 상기 이미지 센서는 상기 스캐닝 미러와 동기화된 롤링 셔터 (rolling shutter) 카메라를 포함하는 것인, 공초점 현미경의 자동초점조절 방법.
8. 제 7항에 있어서, 상기 대상물체는 1개 이상의 대물렌즈를 포함하는 테릿 (terret)이 구비된 스테이지 상에 마운팅되고, 상기 스테이지가 Z-축 방향으로 이동함에 의해, 상기 스테이지 위치에 대응하는 영상이 상기 빔 스캐닝과 동시에 획득되는 것인, 공초점 현미경의 자동초점조절 방법.
   
9. 삭제
10. 광학시스템 구성부, 시스템제어부 및 신호처리부로 구성된 공초점현미경의 자동초점조절 시스템에 있어서,
    상기 광학시스템 구성부는,
    광원부, 대물렌즈부, 빔 스캐닝부 및 검출부를 포함하는 자동초점조절이 수행되는 공초점 현미경으로서,
    상기 광원부는 1개 이상의 단파장 레이저 빔을 제공하는 광원모듈, 여기필터 및 빔 익스펜더가 빔의 진행방향을 따라 순차적으로 구비되어, 라인 형태의 빔을 출사하고;
    상기 대물렌즈부는 측정 대상물체에서 상기 라인형태의 빔의 초점이 형성되도록 상기 빔 스캐닝부를 통과한 빛을 상기 대상물체로 안내하는 대물렌즈, 및 상기 대물렌즈를 포함하는 테릿이 구비되고 측정 대상물체가 마운팅 되는 스테이지를 포함하며;
    상기 빔 스캐닝부는 상기 광원부로부터 출사된 빔의 경로를 조절하고 상기 빔을 스테이지에 마운팅된 측정 대상물체 상에 조사하며, 상기 대물렌즈를 통해 입사한 이미지 신호로부터 빔 스캐닝 패턴을 생성하고; 및
    상기 검출부는 상기 빔 스캐닝부와 연동하고 이동 속도가 동기화된 이미지 센서로서, 상기 빔 스캐닝부와 서로 반대 방향으로 수행되는 이미지 센서를 포함하여, 상기 빔 스캐닝 패턴을 분석하고 영상을 획득 및 분석하며;
    상기 시스템 제어부는,
    컴퓨터로 판독가능한 기록매체를 포함하며, 상기 빔 스캐닝부와 상기 이미지 센서가 연동하여 이동 속도가 동기화되도록 하되 서로 반대 방향으로 수행되도록 제어하여, 시야 중앙에서만 신호를 받을 수 있도록 함으로써 분석하고자 하는 영상의 영역을 제한하며,
    상기 신호처리부는,
    컴퓨터로 판독가능한 기록매체를 포함하며, 상기 분석하고자 하는 영상의 라인 선예도 또는 라인 세기를 분석하여 초점거리를 측정하는 것인,
    공초점현미경의 자동초점조절 시스템.

Images